入力装置、疑似体験方法及びエンタテインメント・システム
【課題】 撮影の被写体としての反射体を備え、情報処理装置に対する入力／非入力の制御を簡易に行うことのできる入力装置を提供することである。
【解決手段】 再帰反射シート３２が透明体４４の内面に取り付けられる。ベルト４０が透明体４４の底面に沿って取り付けられ、環状体を構成する。オペレータは、その手のひら側に透明体４４が位置するように、ベルト４０に中指及び薬指を通す。情報処理装置１は、手を開いた状態では、再帰反射シート３２が撮影されるため、入力があったと判断でき、手を閉じた状態では、再帰反射シート３２は撮影されず、入力がないと判断できる。
【解決手段】 再帰反射シート３２が透明体４４の内面に取り付けられる。ベルト４０が透明体４４の底面に沿って取り付けられ、環状体を構成する。オペレータは、その手のひら側に透明体４４が位置するように、ベルト４０に中指及び薬指を通す。情報処理装置１は、手を開いた状態では、再帰反射シート３２が撮影されるため、入力があったと判断でき、手を閉じた状態では、再帰反射シート３２は撮影されず、入力がないと判断できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体としての反射体を備えた入力装置及びその関連技術に関する。
【背景技術】
【０００２】
本件出願人による特許文献１に開示されているゴルフゲームシステムは、ゲーム機及びゴルフクラブ型入力装置を含み、ゲーム機のハウジングの内部には撮像ユニットが収納され、この撮像ユニットは、イメージセンサ及び赤外発光ダイオード等から構成される。赤外発光ダイオードによって撮像ユニットの前方の所定範囲に赤外光が間欠的に照射され、したがって、イメージセンサは、その範囲内で移動するゴルフクラブ型入力装置に設けられた反射体を間欠的に撮影する。このような反射体のストロボ映像を処理することによって、ゲーム機の入力となる入力装置の速度などを計算する。このように、ストロボスコープを用いてコンピュータやゲーム機にリアルタイムで入力を与えることができる。
【０００３】
【特許文献１】特開２００４−８５５２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
そこで、本発明の目的は、被写体としての反射体を備え、情報処理装置に対してリアルタイムで入力を与えることができ、かつ、入力／非入力の制御を簡易に行うことのできる入力装置及びその関連技術を提供することである。
【０００５】
本発明の他の目的は、現実世界では体験できないことを、現実世界の動作と表示装置に表示される画像とを通じて体験できる疑似体験方法、エンタテインメント・システム及びその関連技術を提供することである。
【０００６】
本発明の更に他の目的は、架空の世界のキャラクタの活躍を疑似体験することができるエンタテインメント・システム及びその関連技術を提供することである。
【課題を解決するための手段】
【０００７】
本発明の第１の形態によると、入力装置は、プログラムに従った処理を実行する情報処理装置に対して、入力を与えることができる、撮影の被写体としての入力装置であって、照射された光を反射する第１の反射体と、前記第１の取付体に取り付けられ、オペレータの手に装着される装着体と、を備える入力装置。
【０００８】
この構成によれば、入力装置を手に装着して操作できるので、オペレータは、情報処理装置に対する入力／非入力の制御を簡易に行うことができる。この入力装置において、前記装着体は、オペレータの手のひら側に前記第１の反射体が位置するように、前記オペレータの手に装着される。
【０００９】
この入力装置において、前記装着体は、オペレータの手のひら側に前記第１の反射体が位置するように、前記オペレータの手に装着される。
【００１０】
この構成によれば、オペレータは、入力装置を装着した手を開いたり閉じたりするだけで、情報処理装置に対する入力／非入力の制御を簡易に行うことができる。つまり、情報処理装置は、手を開いた状態では、第１の反射体が撮影されるため、入力があったと判断でき、手を閉じた状態では、第１の反射体は撮影されず、入力がないと判断できる。
【００１１】
この場合、前記第１の反射体は、透明体（半透明及び有色透明を含む。）で覆われてもよい。この構成によれば、第１の反射体が直接オペレータの手に触れることがないため、第１の反射体の耐久性を向上できる。
【００１２】
一方、上記入力装置において、前記装着体は、オペレータの手の甲の側に前記第１の反射体が位置するように、前記オペレータの手に装着されてもよい。この構成によれば、オペレータは、こぶしを閉じたまま、情報処理装置に対する入力／非入力の制御を簡易に行うことができる。
【００１３】
この場合、前記第１の反射体の反射面は、前記入力装置が前記オペレータの手に装着された状態で、前記オペレータの側を向くように形成される。
【００１４】
この構成によれば、第１の反射体の反射面は、オペレータの手の甲の側であってオペレータを向くように位置するので、オペレータが積極的に反射面を撮影装置に向けない限り、撮影されることはない。従って、誤入力を防止できる。
【００１５】
上記入力装置は、照射された光を反射する第２の反射体をさらに備え、前記第２の反射体は、前記第１の反射体に対向するように、前記装着体に取り付けられ、前記装着体は、前記オペレータの手のひら側に前記第１の反射体が位置するように、かつ、前記オペレータの手の甲の側に前記第２の反射体が位置するように、前記オペレータの手に装着されることができる。
【００１６】
この構成によれば、手の平の側及び甲の側に、それぞれ、第１の反射体及び第２の反射体が装着されるので、入力装置を装着した手を開いたり閉じたりして、情報処理装置に対する入力／非入力の制御を行なうこともできるし、こぶしを閉じたまま、情報処理装置に対する入力／非入力の制御を行うこともできる。
【００１７】
この場合、前記第２の反射体の反射面は、前記入力装置が前記オペレータの手に装着された状態で、前記オペレータの側を向くように形成される。
【００１８】
この構成によれば、第２の反射体の反射面は、オペレータの手の甲の側であってオペレータを向くように位置するので、オペレータが積極的に反射面を撮影装置に向けない限り、撮影されることはない。従って、オペレータが第１の反射体を用いて入力／非入力を行う場合に、第２の反射体が撮影されることはなく、誤入力を防止できる。
【００１９】
上記入力装置において、前記装着体は、帯状の部材である。この構成によれば、オペレータは、簡易に、入力装置を手に装着できる。
【００２０】
本発明の第２の形態によると、入力装置は、プログラムに従った処理を実行する情報処理装置に対して、入力を与えることができる、撮影の被写体としての入力装置であって、照射された光を反射する第１の反射体と、底面を含む複数の面を有し、少なくとも前記底面以外の前記面の側に前記第１の反射体が取り付けられる第１の取付体と、前記底面に沿って前記第１の取付体に取り付けられ、環状体を構成する帯体と、を備え、前記帯体には、オペレータの指が挿入される。
【００２１】
この構成によれば、入力装置を指に装着して操作できるので、オペレータは、情報処理装置に対する入力／非入力の制御を簡易に行うことができる。この入力装置において、前記帯体には、オペレータの手のひら側に前記第１の取付体が位置するように、前記オペレータの指が挿入される。この構成によれば、オペレータは、入力装置を装着した手を開いたり閉じたりするだけで、情報処理装置に対する入力／非入力の制御を簡易に行うことができる。つまり、情報処理装置は、手を開いた状態では、第１の反射体が撮影されるため、入力があったと判断でき、手を閉じた状態では、第１の反射体は撮影されず、入力がないと判断できる。
【００２２】
さらに、この入力装置において、前記第１の反射体は、前記第１の取付体の前記底面以外の前記面の内面に取付けられ、少なくとも前記第１の反射体が取り付けられる前記内面から前記面までは透明色（半透明及び有色透明を含む。）の素材で構成される。
【００２３】
この構成によれば、第１の反射体が直接オペレータの手に触れることがないため、第１の反射体の耐久性を向上できる。
【００２４】
一方、上記入力装置において、前記帯体には、オペレータの指の背面に前記第１の取付体が位置するように、前記オペレータの指が挿入されてもよい。この構成によれば、オペレータは、こぶしを閉じたまま、情報処理装置に対する入力／非入力の制御を簡易に行うことができる。この場合、前記第１の反射体が取り付けられる側の前記面は、前記帯体に前記オペレータの指が差し込まれた状態で、前記オペレータの側を向くように形成されることができる。
【００２５】
この構成によれば、第１の反射体は、オペレータの指の背面であってオペレータを向くように位置するので、オペレータが積極的に第１の反射体を撮影装置に向けない限り、撮影されることはない。従って、誤入力を防止できる。
【００２６】
上記入力装置は、照射された光を反射する第２の反射体と、少なくとも底面を含む複数の面を有し、少なくとも前記底面以外の前記面の側に前記第２の反射体が取り付けられる第２の取付体と、をさらに備え、前記帯体は、前記第１の取付体の前記底面と前記第２の取付体の前記底面とが対向するように、前記各底面に沿って取り付けられ、前記帯体には、前記オペレータの手のひら側に前記第１の取付体が位置するように、かつ、前記オペレータの指の背面に前記第２の取付体が位置するように、前記オペレータの指が挿入されてもよい。
【００２７】
この構成によれば、手の平及び指の背面に、それぞれ、第１の反射体及び第２の反射体が装着されるので、入力装置を装着した手を開いたり閉じたりして、情報処理装置に対する入力／非入力の制御を行なうこともできるし、こぶしを閉じたまま、情報処理装置に対する入力／非入力の制御を行うこともできる。
【００２８】
この入力装置において、前記第２の反射体が取り付けられる側の前記面は、前記帯体に前記オペレータの指が差し込まれた状態で、前記オペレータの側を向くように形成される。この構成によれば、第２の反射体は、オペレータの指の背面であってオペレータを向くように位置するので、オペレータが積極的に第２の反射体を撮影装置に向けない限り、撮影されることはない。従って、オペレータが第１の反射体を用いて入力／非入力を行う場合に、第２の反射体が撮影されることはなく、誤入力を防止できる。
【００２９】
本発明の第３の形態によると、疑似体験方法は、各々オペレータの左右の手で動きが与えられる２つの操作物を検出して、検出結果に基づいて所定の画像を表示装置に表示する疑似体験方法であって、前記操作物を撮影するステップと、前記撮影により得られた画像に基づいて、少なくとも、第１条件及び第２条件を満足したか否かを判定するステップと、少なくとも、前記第１条件及び前記第２条件を満足したときに、前記所定の画像を表示するステップと、を含み、前記第１条件は、前記撮影により得られた前記画像上に前記２つの操作物が写ってないことであり、前記第２条件は、前記第１条件を満足した後、前記撮影により得られた前記画像上に少なくとも１つの前記操作物が写ったことである。
【００３０】
この構成によれば、オペレータは、現実世界では体験できないことを、現実世界の動作（操作物の操作）と表示装置に表示される所定の画像とを通じて体験できる。
【００３１】
この疑似体験方法において、前記第２条件を、前記第１条件を満足した後、前記撮影によって得られた前記画像上に前記２つの操作物が写ったこと、とすることもできる。また、前記第２条件を、前記第１条件を満足した後、前記撮影によって得られた前記画像上に前記２つの操作物が所定の配置で写っていること、とすることもできる。
【００３２】
上記疑似体験方法において、前記所定の画像を表示する前記ステップでは、前記第１条件及び前記第２条件に加えて、第３条件及び第４条件を満足したときに、前記所定の画像を表示し、前記第３条件は、前記第２条件を満足した後、前記撮影によって得られた前記画像上に前記２つの操作物のいずれも写ってないことであり、前記第４条件は、前記第３条件を満足した後、前記撮影によって得られた前記画像上に少なくとも１つの前記操作物が写ったことである。
【００３３】
本発明の第４の形態によると、架空の世界のキャラクタの活躍を疑似体験できるエンタテインメント・システムは、前記エンタテインメント・システムを利用する際に、オペレータが両手に装着し、夫々反射面を有する１対の操作物と、前記操作物を撮像する撮影装置と、前記キャラクタの複数の所定の動作に対応する前記操作物の動きを示す複数の動作パターンと、前記複数の動作パターンに対応して設けられ、前記キャラクタの前記所定の動作によってもたらされる現象を示す複数の動作画像とを記憶する記憶手段とを備え、前記オペレータが、前記操作物を両手に装着し、前記キャラクタの所定の動作のいずれかを行った場合、前記情報処理装置は、前記操作物の位置に基づいて、前記オペレータの行った前記所定の動作が、前記動作パターンのいずれに対応するかを決定し、この決定された動作パターンに対応する前記動作画像を表示するためのビデオ信号を生成する。
【００３４】
この構成によれば、オペレータは、架空の世界のキャラクタの活躍を疑似体験することができる。ここで、この場合のキャラクタは、生成されたビデオ信号に応じて表示装置に映し出される仮想空間のキャラクタという意味ではなく、その仮想空間のモデルとなった架空の世界のキャラクタという意味である。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付してその説明を援用する。
【００３６】
図１は、本発明の実施の形態による情報処理システムの全体構成を示すブロック図である。図１に示すように、この情報処理システムは、情報処理装置１、本発明に関わる入力装置３Ｌ及び３Ｒ、並びにテレビジョンモニタ５を備えており、本発明に関わるエンタテインメント・システムを構成し、本発明に関わる疑似体験方法を実施できる。ここで、入力装置３Ｌ及び３Ｒを区別する必要がないときは、入力装置３と表記する。
【００３７】
図２（ａ）及び図２（ｂ）は、図１の入力装置３の斜視図である。これらの図に示されるように、入力装置３は、透明体４２及び透明体４４のそれぞれの底面側にベルト４０を通して、そのベルト４０を透明体４２の内部で固定してなる。透明体４２の平坦な斜面には、矩形状の再帰反射シート３０が取り付けられる。一方、透明体４４は中空に形成され、その内面全体にわたって（底面側を除く）、再帰反射シート３２が取り付けられる。入力装置３の使用方法は後述する。ここで、入力装置３Ｌ及び３Ｒを区別する必要があるときは、入力装置３Ｌの透明体４２、再帰反射シート３０、透明体４４、及び再帰反射シート３２を、それぞれ、透明体４２Ｌ、再帰反射シート３０Ｌ、透明体４４Ｌ、及び再帰反射シート３２Ｌと表記し、入力装置３Ｒの透明体４２、再帰反射シート３０、透明体４４、及び再帰反射シート３２を、それぞれ、透明体４２Ｒ、再帰反射シート３０Ｒ、透明体４４Ｒ、及び再帰反射シート３２Ｒと表記する。
【００３８】
図１に戻って、情報処理装置１は、ＡＶケーブル７により、テレビジョンモニタ５に接続される。さらに、情報処理装置１には、図示していないが、ＡＣアダプタあるいは電池により電源電圧が供給される。情報処理装置１の背面には、電源スイッチ（図示せず）が設けられる。
【００３９】
情報処理装置１は、その前面側に、赤外光のみを透過する赤外線フィルタ２０が設けられ、さらに、赤外線フィルタ２０を囲むように、赤外光を発生する４つの赤外発光ダイオード１４が露出している。赤外線フィルタ２０の背面側には、後述のイメージセンサ１２が配置される。
【００４０】
４つの赤外発光ダイオード１４は、間欠的に赤外光を発光する。そして、赤外発光ダイオード１４からの赤外光は、入力装置３に取り付けられた再帰反射シート３０あるいは３２により反射され、赤外線フィルタ２０の背面側に設けられたイメージセンサ１２に入力される。このようにして、イメージセンサ１２により、入力装置３が撮影される。赤外光は間欠的に照射されるところ、赤外光の非照射時においても、イメージセンサ１２による撮影処理は行われている。情報処理装置１は、オペレータにより動かされた入力装置３の、赤外光照射時の画像信号と非照射時の画像信号との差分を求めて、この差分信号ＤＩ（差分画像ＤＩ）を基に、入力装置３（つまり再帰反射シート３０あるいは３２）の位置等を算出する。
【００４１】
このように、差分を求めることで、再帰反射シート３０及び３２からの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射シート３０及び３２を検出できる。
【００４２】
図３（ａ）は、図１の入力装置３の使用状態の一例を示す説明図である。図３（ｂ）は、図１の入力装置３の使用状態の他の例を示す説明図である。図３（ｃ）は、図１の入力装置３の使用状態のさらに他の例を示す説明図である。
【００４３】
図３（ａ）に示すように、オペレータは、例えば、中指及び薬指を、透明体４２Ｒの再帰反射シート３０Ｒ側から（図２（ａ）参照）、ベルト４０に通して、図３（ｂ）に示すように、透明体４４Ｒを握り締める。そうすると、透明体４４Ｒ、つまり、再帰反射シート３２Ｒは、手の中に隠れてしまい、イメージセンサ１２に撮影されない。この場合、透明体４２Ｒは、指の背面に位置するため、イメージセンサ１２に撮影されうる。図３（ａ）に戻って、オペレータが、イメージセンサ１２に向けて手を開くと、透明体４４Ｒ、つまり、再帰反射シート３２Ｒが現れ、この再帰反射シート３２Ｒが撮影される。入力装置３Ｌも左手に装着され、入力装置３Ｒと同様に用いられる。
【００４４】
オペレータは、手を開いたり閉じたりする動作によって、イメージセンサ１２に再帰反射シート３２を撮影させたり撮影させなかったりすることにより、情報処理装置１に対する入力を行う場合がある。この場合、指の背面に位置する透明体４２の再帰反射シート３０は、オペレータ側を向くように取り付けられているため、上記のような入力を行う場合、再帰反射シート３０の方は、イメージセンサ１２の撮影範囲に入らないので、透明体４４の再帰反射シート３２だけを撮影することができる。一方、オペレータは、手を握り締めてスイング（例えばフックなどのパンチ）することにより、イメージセンサ１２に、透明体４２の再帰反射シート３０だけを撮影させることができる。
【００４５】
図３（ｃ）に示すように、オペレータは、両方の手首を互いに密着させて、両方の手の平を垂直方向に開くことにより、垂直方向に並んだ２つの再帰反射シート３２Ｌ及び３２Ｒを、イメージセンサ１２に撮影させて、情報処理装置１への入力とすることもできる。もちろん、水平方向でも可能である。
【００４６】
図４は、図１の情報処理装置１の電気的構成を示す図である。図４に示すように、情報処理装置１は、マルチメディアプロセッサ１０、イメージセンサ１２、赤外発光ダイオード１４、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６、及びバス１８を含む。
【００４７】
マルチメディアプロセッサ１０は、バス１８を通じて、ＲＯＭ１６にアクセスできる。従って、マルチメディアプロセッサ１０は、ＲＯＭ１６に格納されたプログラムを実行でき、また、ＲＯＭ１６に格納されたデータをリードして処理することができる。このＲＯＭ１６に、プログラム、画像データ、及び音声データ等が予め格納される。
【００４８】
このマルチメディアプロセッサは、図示しないが、中央演算処理装置（以下、「ＣＰＵ」と呼ぶ。）、グラフィックスプロセシングユニット（以下、「ＧＰＵ」と呼ぶ。）、サウンドプロセシングユニット（以下、「ＳＰＵ」と呼ぶ。）、ジオメトリエンジン（以下、「ＧＥ」と呼ぶ。）、外部インタフェースブロック、メインＲＡＭ、及びＡ／Ｄコンバータ（以下、「ＡＤＣ」と呼ぶ。）などを具備する。
【００４９】
ＣＰＵは、ＲＯＭ１６に格納されたプログラムを実行して、各種演算やシステム全体の制御を行う。グラフィックス処理に関するＣＰＵの処理として、ＲＯＭ１６に格納されたプログラムを実行して、各オブジェクトの拡大・縮小、回転、及び／又は平行移動のパラメータ、視点座標（カメラ座標）、並びに視線ベクトルの算出等を行う。ここで、１または複数のポリゴン又はスプライトから構成され、同じ拡大・縮小、回転、及び平行移動の変換が適用される単位を「オブジェクト」と呼ぶ。
【００５０】
ＧＰＵは、ポリゴン及びスプライトから構成される三次元イメージをリアルタイムに生成し、アナログのコンポジットビデオ信号に変換する。ＳＰＵは、ＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）波形データ、アンプリチュードデータ、及びメインボリュームデータを生成し、これらをアナログ乗算して、アナログオーディオ信号を生成する。ＧＥは、三次元イメージを表示するための幾何演算を実行する。具体的には、ＧＥは、行列積、ベクトルアフィン変換、ベクトル直交変換、透視投影変換、頂点明度／ポリゴン明度計算（ベクトル内積）、及びポリゴン裏面カリング処理（ベクトル外積）などの演算を実行する。
【００５１】
外部インタフェースブロックは、周辺装置（本実施の形態ではイメージセンサ１２及び赤外発光ダイオード１４）とのインタフェースであり、２４チャンネルのプログラマブルなデジタル入出力（Ｉ／Ｏ）ポートを含む。ＡＤＣは、４チャンネルのアナログ入力ポートに接続され、これらを介して、アナログ入力装置（本実施の形態ではイメージセンサ１２）から入力されたアナログ信号をデジタル信号に変換する。メインＲＡＭは、ＣＰＵのワーク領域、変数格納領域、および仮想記憶機構管理領域等として利用される。
【００５２】
さて、入力装置３は、赤外発光ダイオード１４の赤外光に照射され、その赤外光を再帰反射シート３０あるいは３２で反射する。この再帰反射シート３０あるいは３２からの反射光がイメージセンサ１２によって撮影され、したがって、イメージセンサ１２からは再帰反射シート３０あるいは３２を含む画像信号が出力される。上記のように、マルチメディアプロセッサ１０は、ストロボ撮影のために、赤外発光ダイオード１４を間欠的に点滅するので、イメージセンサ１２からは、赤外光消灯時の画像信号も出力される。イメージセンサ１２からのこれらのアナログ画像信号はマルチメディアプロセッサ１０に内蔵されたＡＤＣによってデジタルデータに変換される。
【００５３】
マルチメディアプロセッサ１０は、イメージセンサ１２からＡＤＣを介して入力されるデジタル画像信号から上記の差分信号ＤＩ（差分画像ＤＩ）を生成して、これに基づき、入力装置３による入力の有無の判定や、入力装置３の位置等の算出を行い、他の演算、グラフィック処理、及びサウンド処理等を実行し、ビデオ信号およびオーディオ信号を出力する。ビデオ信号およびオーディオ信号は、ＡＶケーブル７によりテレビジョンモニタ５に与えられ、応じて、テレビジョンモニタ５に映像が表示され、そのスピーカ（図示せず）から音声が出力される。
【００５４】
さて、次に、図５から図７を適宜参照しながら、情報処理装置１に対する入力装置３によるいくつかの入力例及びそれに対する情報処理装置１の応答例を説明する。図５から図７では、プレイヤの視点で表示された画面の例であり、プレイヤキャラクタが敵キャラクタと戦う戦闘ゲームを例に挙げている。従って、ゲーム画面にはプレイヤキャラクタは表示されない。
【００５５】
図５は、図１のテレビジョンモニタ５に表示されるゲーム画面の例示図である。図５に示すように、このゲーム画面は、敵キャラクタ５０、敵キャラクタ５０の体力を示す体力ゲージ５６、プレイヤキャラクタの体力を示す体力ゲージ５２、及びプレイヤキャラクタの気を示す気ゲージ５４を含む。体力ゲージ５２及び５６が示す体力は、相手から有効な攻撃を受けるたびに減少する。
【００５６】
無入力の状態（つまり、いずれの再帰反射シート３０Ｌ，３０Ｒ，３２Ｌ及び３２Ｒも検知（撮影）されていない状態）から、再帰反射シート３０Ｌ，３０Ｒ，３２Ｌあるいは３２Ｒのいずれか１つが検知（撮影）された場合であって、かつ、遠距離戦（敵キャラクタとプレイヤキャラクタとの間の仮想空間内での距離が一定値を超えている場合）の場合は、図５に示すように、情報処理装置１は、テレビジョンモニタ５に、再帰反射シートの検知位置に応じた位置から、画面の奥の方へ飛んでいく攻撃オブジェクト６４（以下、「弾オブジェクト６４」と呼ぶ。）を次々に表示する（連射）。従って、このような入力操作を適切な位置で行うと、弾オブジェクト６４を敵キャラクタ５０に当てることができる。
【００５７】
ここで、無入力の状態から、再帰反射シート３０Ｌ，３０Ｒ，３２Ｌあるいは３２Ｒのいずれか１つが検知された場合とは、例えば、透明体４４を握り締めた片方の手をイメージセンサ１２（情報処理装置１）に向けて開くことによって、再帰反射シート３２が撮影される場合である。
【００５８】
気ゲージ５４が示す気は、弾オブジェクト６４の出現数（つまり、発射数）に伴って減少していく。このように、気ゲージ５４が示す気は、発射のたびに減少し、また、後述の必殺技ＡあるいはＢを使うと一気に「０」になるが、一定時間で回復する。気ゲージ５４が示す気が、エリア５８，６０及び６２のうちのどのエリアに位置するかによって、弾オブジェクト６４の連射速度が異なる。
【００５９】
図６は、図１のテレビジョンモニタ５に表示されるゲーム画面の他の例示図である。所定時間を超えて２つの再帰反射シートが垂直方向に並んで検出（撮影）された場合は、図６に示すように、情報処理装置１は、テレビジョンモニタ５に、画面の奥の方へ延びていく攻撃オブジェクト８２（以下、「攻撃波８２」と呼ぶ。）を表示する（必殺技Ａ）。
【００６０】
この場合、情報処理装置１は、イメージセンサ１２に基づく上記した差分画像ＤＩ上の一方再帰反射シートの水平座標と他方再帰反射シートの水平座標との差が水平一定値より小さく、かつ、当該差分画像ＤＩ上の当該一方再帰反射シートの垂直座標と当該他方再帰反射シートの垂直座標との差が垂直一定値を超えていることを、２つの再帰反射シートが垂直方向に並んで検出されたと判断する条件にする。なお、水平一定値＜垂直一定値、である。
【００６１】
ここで、２つの再帰反射シートが垂直方向に並んで検出される場合とは、例えば、図３（ｃ）に示した状態で、再帰反射シート３２Ｌ及び３２Ｒが検出される場合である。
【００６２】
さて、情報処理装置１は、巧く戦ったり防御したりすることにより増加する隠しパラメータ設け、これをゲームに反映させることができる。上記の必殺技Ａを繰り出せる条件として、この隠しパラメータが第１の一定値を超えていることをさらに追加することができる。
【００６３】
図７は、図１のテレビジョンモニタ５に表示されるゲーム画面のさらに他の例示図である。所定時間を超えて２つの再帰反射シートが垂直方向に並んで検出（撮影）され、かつ、隠しパラメータが第２の一定値（＞第１の一定値）を超えている場合は、図７に示すように、情報処理装置１は、テレビジョンモニタ５に、攻撃オブジェクト９２（以下、「攻撃玉９２」と呼ぶ。）を表示する。
【００６４】
そして、２つの再帰反射シートが水平方向に並んで検出（撮影）された状態から、それらが垂直上方向に移動すると（つまり、プレイヤが両手を離して両腕を垂直上方向に移動させると）、これに伴って攻撃玉９２も垂直上方向に移動し、さらに、それらが垂直下方向に移動すると（つまり、プレイヤが両手を離して両腕を垂直下方向に移動させると）、これに伴って攻撃玉９２も垂直下方向に移動し、攻撃玉９２が爆発する（必殺技Ｂ）。
【００６５】
上記以外にも例えば、次のような入力及び応答がある。情報処理装置１は、再帰反射シート３０Ｌ，３０Ｒ，３２Ｌあるいは３２Ｒのいずれか１つが検知（撮影）された場合であって、かつ、遠距離戦の場合であって、かつ、検知された再帰反射シートが、上記した差分画像ＤＩ上で、一定速度を超えて移動した場合に、検知された再帰反射シートの動きに応じて動く盾オブジェクトをテレビジョンモニタ５に表示することもできる。この盾オブジェクトによって、敵キャラクタの攻撃を防御できる。
【００６６】
また、情報処理装置１は、所定時間を超えて２つの再帰反射シートが水平方向に並んで検出（撮影）された場合は、気ゲージ５４が示す気を急速にチャージすることができる。さらに、情報処理装置１は、気ゲージ５４がフルチャージの場合であって、かつ、遠距離戦の場合で、かつ、所定時間を超えて２つの再帰反射シートが水平方向に並んで検出（撮影）された場合は、攻撃力を示す攻撃力パラメータを増大させることもできる（プレイヤキャラクタの変身）。
【００６７】
情報処理装置１は、無入力の状態から、再帰反射シート３０Ｌ，３０Ｒ，３２Ｌあるいは３２Ｒのいずれか１つが検知（撮影）された場合であって、かつ、近距離戦（敵キャラクタとプレイヤキャラクタとの間の仮想空間内での距離が一定値以下）の場合は、テレビジョンモニタ５に、再帰反射シートの検知位置に応じた位置から、画面の奥の方へ向かう軌跡を描くパンチを表示する。従って、このような入力操作を適切な位置で行うと、パンチを敵キャラクタ５０に当てることができる。
【００６８】
また、再帰反射シート３０Ｌ，３０Ｒ，３２Ｌあるいは３２Ｒのいずれか１つが検知（撮影）された場合であって、かつ、近距離戦の場合、かつ、検知された再帰反射シートが、上記した差分画像ＤＩ上で、一定速度を超えて移動した場合に、検知された再帰反射シートの動きに応じた軌跡を描くパンチをテレビジョンモニタ５に表示することもできる。従って、このような入力操作を適切な位置で行うと、パンチを敵キャラクタ５０に当てることができる。
【００６９】
次に、入力装置３による入力の種類について説明する。なお、入力の判断は、ビデオフレームを更新するたびに（例えば、１／６０秒ごと）、差分画像ＤＩに基づきマルチメディアプロセッサ１０によって行われる。図８（ａ）乃至図８（ｉ）及び図９（ａ）乃至図９（ｌ）は、図１の入力装置３による入力態様の説明図である。図８（ａ）に示すように、入力装置３のいずれもがイメージセンサ１２に撮影されていない状態から、いずれかの入力装置３の再帰反射シートが撮影された場合、マルチメディアプロセッサ１０は、第一の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、両手を握り締めた状態から一方の手を開いた場合である。
【００７０】
図８（ｂ）に示すように、入力装置３の一方の再帰反射シートが継続して撮影された場合、マルチメディアプロセッサ１０は、第二の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、一方の手を握り締めている一方、他方の手を開いた状態を続けている場合である。
【００７１】
図８（ｃ）に示すように、入力装置３の一方が一定値を超える速度で移動した場合、移動方向に関係なく、マルチメディアプロセッサ１０は、第三の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、一方の手を握り締めている一方、他方の手を開いた状態で動かす場合や、両手を握り締めながらも、一方の手でパンチ（例えばフック）を行う場合である。
【００７２】
図８（ｄ）に示すように、入力装置３Ｌ及び３Ｒのいずれもがイメージセンサ１２に撮影されていない状態から、双方の入力装置３Ｌ及び３Ｒの再帰反射シートが撮影された場合であって、双方間の水平方向の距離が第１水平所定値を超え、かつ、双方間の垂直方向の距離が第１垂直所定値以下の場合に、マルチメディアプロセッサ１０は、第四の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に並べた両手を握り締めた状態から両手を開いた場合である。第１水平所定値＞第１垂直所定値、である。なお、入力装置３Ｌ及び３Ｒのいずれもがイメージセンサ１２に撮影されていない状態から、双方の入力装置３Ｌ及び３Ｒの再帰反射シートが撮影された場合に、第四の入力があったと判断することもできる。
【００７３】
図８（ｅ）に示すように、入力装置３Ｌ及び３Ｒのいずれもがイメージセンサ１２に撮影されていない状態から、双方の入力装置３Ｌ及び３Ｒの再帰反射シートが撮影された場合であって、双方間の水平方向の距離が第２水平所定値以下であり、かつ、双方間の垂直方向の距離が第２垂直所定値を超えた場合に、マルチメディアプロセッサ１０は、第五の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、垂直方向に並べた両手を握り締めた状態から両手を開いた場合である。第２水平所定値＜第２垂直所定値、である。
【００７４】
図８（ｆ）に示すように、双方の入力装置３Ｌ及び３Ｒの再帰反射シートが継続して撮影された場合であって、双方間の水平方向の距離が上記第１水平所定値を超え、かつ、双方間の垂直方向の距離が上記第１垂直所定値以下の場合に、マルチメディアプロセッサ１０は、第六の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に並べた両手を継続して開いている場合である。なお、双方の入力装置３Ｌ及び３Ｒの再帰反射シートが継続して撮影された場合に、第六の入力があったと判断することもできる。
【００７５】
図８（ｇ）に示すように、双方の入力装置３Ｌ及び３Ｒの再帰反射シートが継続して撮影された場合であって、双方間の水平方向の距離が上記第２水平所定値以下であり、かつ、双方間の垂直方向の距離が上記第２垂直所定値を超えている場合に、マルチメディアプロセッサ１０は、第七の入力があったと判断することができる。例えば、図３（ｃ）に示すような状態が継続した場合である。
【００７６】
図８（ｈ）に示すように、入力装置３Ｌ及び３Ｒのそれぞれが、垂直上方向に一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第八の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に並べた両手を開いたまま、垂直上方向に動かした場合である。
【００７７】
図８（ｉ）に示すように、入力装置３Ｌ及び３Ｒのそれぞれが、垂直下方向に一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第九の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に並べた両手を開いたまま、垂直下方向に動かした場合である。
【００７８】
図９（ａ）に示すように、入力装置３Ｌ及び３Ｒのそれぞれが、斜め上方向に広がるように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に近接して並んだ両手を開いたまま、斜め上方向に広がるように動かした場合である。
【００７９】
図９（ｂ）に示すように、入力装置３Ｌ及び３Ｒのそれぞれが、斜め下方向に狭まるように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十一の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に離れて並んだ両手を開いたまま、斜め下方向に狭まるように動かした場合である。
【００８０】
図９（ｃ）に示すように、入力装置３Ｌ及び３Ｒのそれぞれが、斜め下方向に広がるように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十二の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に近接して並んだ両手を開いたまま、斜め下方向に広がるように動かした場合である。
【００８１】
図９（ｄ）に示すように、入力装置３Ｌ及び３Ｒのそれぞれが、斜め上方向に狭まるように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十三の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に離れて並んだ両手を開いたまま、斜め上方向に狭まるように動かした場合である。
【００８２】
図９（ｅ）に示すように、入力装置３Ｌ及び３Ｒが、左右に開くように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十四の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に近接して並んだ両手を開いたまま、左右に開くように動かした場合である。
【００８３】
図９（ｆ）に示すように、水平方向に離れて並んだ入力装置３Ｌ及び３Ｒが、閉じるように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十五の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に離れて並んだ両手を閉じるように、かつ手の平を開いたまま動かした場合である。
【００８４】
図９（ｇ）に示すように、入力装置３Ｌ及び３Ｒが、上下に開くように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十六の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、垂直方向に近接して並んだ両手を開いたまま、上下に開くように動かした場合である。
【００８５】
図９（ｈ）に示すように、垂直方向に離れて並んだ入力装置３Ｌ及び３Ｒが、閉じるよう一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十七の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、垂直方向に離れて並んだ両手を閉じるように、かつ手の平を開いたまま動かした場合である。
【００８６】
図９（ｉ）に示すように、近接した入力装置３Ｌ及び３Ｒのそれぞれが、右から左に一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十八の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、手の平を開いたまま右から左に近接した両手を動かした場合である。
【００８７】
図９（ｊ）に示すように、近接した入力装置３Ｌ及び３Ｒのそれぞれが、左から右に一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十九の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、手の平を開いたまま左から右に近接した両手を動かした場合である。
【００８８】
図９（ｋ）に示すように、近接した入力装置３Ｌ及び３Ｒのそれぞれが、上から下に一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第二十の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、手の平を開いたまま上から下に近接した両手を動かした場合である。
【００８９】
図９（ｌ）に示すように、近接した入力装置３Ｌ及び３Ｒのそれぞれが、下から上に一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第二十一の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、手の平を開いたまま下から上に近接した両手を動かした場合である。
【００９０】
以上のように、２１種類の入力例を挙げた。従って、この例では、マルチメディアプロセッサ１０は、各入力に対応する演算を実行して、各入力に対応する画像を生成できる。また、同じ種類の入力であっても、シーン（例えば、遠距離戦と近距離戦、プレイヤキャラクタの変身状態、ゲームの進行によって変動するパラメータ（例えば、隠しパラメータ）、それらの組み合わせ等）によって、応答（生成する画像）を異ならせることもできる。
【００９１】
入力の特定の組み合わせが特定の順番で行われたときに、特定の入力があったと判断して、その特定の入力に対応する演算を実行して、対応する画像を生成することもできる。また、入力の特定の組み合わせが特定の順番で行われたときでも、シーン（例えば、遠距離戦と近距離戦、プレイヤキャラクタの変身状態、ゲームの進行によって変動するパラメータ（例えば、隠しパラメータ）、それらの組み合わせ等）によって、応答（生成する画像）を異ならせることもできる。
【００９２】
所定の応答が行われる条件として、入力状態の一定時間以上の継続を加えることができる。また、所定の応答が行われる条件として、所定あるいは任意の音声入力があったことを加えることができる。この場合には、マイクロフォン等の音声入力装置を搭載する必要がある。
【００９３】
入力に対する応答についていくつか例示する。マルチメディアプロセッサ１０が上記した必殺技Ａの画像８２を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ａを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ａを発動するための条件とする。そして、いずれの入力装置３も撮影されない無入力状態が一定時間以上続いた後、図８（ｇ）の第七の入力があったとき、マルチメディアプロセッサ１０は、必殺技Ａの画像８２を生成して、これがテレビジョンモニタ５に表示される。
【００９４】
マルチメディアプロセッサ１０が上記した必殺技Ｂの画像９２を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ｂを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ｂを発動するための条件とする。そして、図８（ｈ）の第八の入力があって、次に、図８（ｆ）の第６の入力が一定時間以上継続し、さらに次に、図８（ｉ）の第九の入力があったときに、マルチメディアプロセッサ１０は、必殺技Ｂの画像９２を生成して、これがテレビジョンモニタ５に表示される。
【００９５】
マルチメディアプロセッサ１０が必殺技Ｃの画像（図示せず）を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ｃを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ｃを発動するための条件とする。そして、図８（ｆ）の第六の入力が一定時間以上継続し、次に、無入力の状態を経て、図８（ｃ）の第三の入力があったとき、その第三の入力が、入力装置３が下から上に向かう垂直方向への移動である場合に、マルチメディアプロセッサ１０は、必殺技Ｃの画像を生成して、これがテレビジョンモニタ５に表示される。
【００９６】
マルチメディアプロセッサ１０が必殺技Ｄの画像（図示せず）を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ｄを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ｄを発動するための条件とする。そして、図８（ｂ）の第二の入力が一定時間以上継続し、無入力の状態を経て、図８（ａ）の第一の入力があったときに、マルチメディアプロセッサ１０は、必殺技Ｄの画像を生成して、これがテレビジョンモニタ５に表示される。
【００９７】
マルチメディアプロセッサ１０が必殺技Ｅの画像（図示せず）を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ｅを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ｅを発動するための条件とする。そして、図９（ａ）の第十の入力があって、次に、図９（ｆ）の第十五の入力があったときに、マルチメディアプロセッサ１０は、必殺技Ｅの画像を生成して、これがテレビジョンモニタ５に表示される。
【００９８】
マルチメディアプロセッサ１０が必殺技Ｆの画像（図示せず）を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ｆを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ｆを発動するための条件とする。そして、図８（ｆ）の第六の入力が一定時間以上継続し、次に、図８（ａ）の第一の入力があったときに、マルチメディアプロセッサ１０は、必殺技Ｆの画像を生成して、これがテレビジョンモニタ５に表示される。
【００９９】
マルチメディアプロセッサ１０が必殺技Ｇの画像（図示せず）を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ｇを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ｇを発動するための条件とする。そして、図８（ｈ）の第八の入力があり、次に、図８（ｉ）の第九の入力があったときに、マルチメディアプロセッサ１０は、必殺技Ｇの画像を生成して、これがテレビジョンモニタ５に表示される。
【０１００】
マルチメディアプロセッサ１０がプレイヤキャラクタを変身させる条件を説明する。図９（ａ）の第十の入力があったとき、マルチメディアプロセッサ１０は、一定量の体力消費（例えば、満タンの１／８）を条件に、プレイヤキャラクタを変身させる。この場合、プレイヤキャラクタの変身状態によって、同じ入力でも、必殺技の画像を異ならせることができる。
【０１０１】
マルチメディアプロセッサ１０が攻撃オブジェクトｓｈ１の画像（図示せず）を生成する条件を説明する。遠距離戦の場合であって、図８（ｂ）の第二の入力が一定時間以上継続し、次に、無入力の状態を経て、図８（ｄ）の第四の入力があったとき、マルチメディアプロセッサ１０は、攻撃オブジェクトｓｈ１の画像を生成して、これがテレビジョンモニタ５に表示される。
【０１０２】
マルチメディアプロセッサ１０が帯状の透明又は半透明の盾オブジェクトＳＬ１（図示せず）を表示する条件を説明する。マルチメディアプロセッサ１０は、遠距離戦であって、図８（ｃ）の第三の入力があったとき、入力装置３の移動方向に移動し、かつ、入力装置３の移動方向に応じた傾きを持った盾オブジェクトＳＬ１の画像を生成して、これがテレビジョンモニタ５に表示される。この盾オブジェクトＳＬ１によって敵キャラクタの攻撃を防御できる。
【０１０３】
マルチメディアプロセッサ１０が所定形状の盾オブジェクトＳＬ２（図示せず）の画像を表示する条件を説明する。マルチメディアプロセッサ１０は、近距離戦であって、図８（ｆ）の第六の入力があったとき、盾オブジェクトＳＬ２の画像を生成して、これがテレビジョンモニタ５に表示される。この盾オブジェクトＳＬ２によって敵キャラクタの攻撃を防御できる。
【０１０４】
マルチメディアプロセッサ１０が弾オブジェクト６４の画像を表示する条件を説明する。マルチメディアプロセッサ１０は、遠距離戦のとき、図８（ａ）の第一の入力があったことをトリガとして、図８（ｂ）の第二の入力状態が続く限り、入力装置３の検知位置に応じた位置から、画面の奥の方へ飛んでいく弾オブジェクト６４を次々に生成して、これらがテレビジョンモニタ５に表示される。
【０１０５】
マルチメディアプロセッサ１０がストレートパンチ画像ＰＣ１（図示せず）を表示する条件を説明する。マルチメディアプロセッサ１０は、近距離戦のとき、図８（ａ）の第一の入力があった場合、ストレートパンチ画像ＰＣ１を生成して、これがテレビジョンモニタ５に表示される。
【０１０６】
マルチメディアプロセッサ１０がフックパンチ画像ＰＣ２（図示せず）を表示する条件を説明する。マルチメディアプロセッサ１０は、近距離戦のとき、図８（ｃ）の第三の入力があった場合、入力装置３の移動方向に繰り出されるフックパンチ画像ＰＣ２を生成して、これがテレビジョンモニタ５に表示される。
【０１０７】
以上、複数入力の組み合わせに対応した応答の例および単独入力に対応した応答の例を挙げたが、入力及び応答の組み合わせはこれらに限定されない。
【０１０８】
さて、次に、図１の情報処理装置１による処理をフローチャートを用いて説明する。
【０１０９】
図１０は、図１の情報処理装置１による全体処理の流れの一例を示すフローチャートである。図１０を参照して、ステップＳ１では、マルチメディアプロセッサ１０は、システムの初期化処理を実行する。この初期化処理には、各種フラグ、各種カウンタ、及び各種変数の初期設定が含まれる。ステップＳ２にて、マルチメディアプロセッサ１０は、赤外発光ダイオード１４を駆動して、入力装置３の撮影処理を行う。
【０１１０】
図１１は、図１０のステップＳ２の撮影処理の流れの一例を示すフローチャートである。図１１を参照して、ステップＳ２０において、マルチメディアプロセッサ１０は、赤外発光ダイオード１４を点灯する。ステップＳ２１で、マルチメディアプロセッサ１０は、イメージセンサ１２から、赤外光点灯時の画像データを取得して、内部のメインＲＡＭに格納する。以下、イメージセンサ１２が生成した３２ピクセル×３２ピクセルの画像（データ）を「センサイメージ（データ）」と呼ぶ。
【０１１１】
ここで、本実施の形態では、イメージセンサ１２の例として、３２ピクセル×３２ピクセルのＣＭＯＳイメージセンサを使用する。そして、水平方向をＸ軸、垂直方向をＹ軸とする。従って、イメージセンサ１２からは、センサイメージデータとして、３２ピクセル×３２ピクセルのピクセルデータ（ピクセル単位の輝度データ）が出力される。この全てのピクセルデータは、内部のＡＤＣにより、デジタルデータに変換されて、内部のメインＲＡＭ上の配列Ｐ１［Ｘ］［Ｙ］に格納される。
【０１１２】
ステップＳ２２で、マルチメディアプロセッサ１０は、赤外発光ダイオード１４を消灯する。ステップＳ２３にて、マルチメディアプロセッサ１０は、イメージセンサ１２から、赤外光消灯時のセンサイメージデータ（３２ピクセル×３２ピクセルのピクセルデータ）を取得して、デジタルデータに変換後、内部のメインＲＡＭに格納する。この場合、赤外光消灯時のセンサイメージデータは、メインＲＡＭ上の配列Ｐ２［Ｘ］［Ｙ］に格納される。
【０１１３】
以上のようにして、ストロボ撮影が行われる。なお、本実施の形態では、３２ピクセル×３２ピクセルのイメージセンサ１２を用いているため、Ｘ＝０〜３１、Ｙ＝０〜３１であり、左上角を原点とし、水平右方向をＸ軸の正方向、垂直下方向をＹ軸の正方向とする。
【０１１４】
図１０に戻って、ステップＳ３にて、マルチメディアプロセッサ１０は、入力装置３の位置を示す注目点の抽出処理を実行する。
【０１１５】
図１２は、図１０のステップＳ３の注目点抽出処理の流れの一例を示すフローチャートである。図１２を参照して、ステップＳ３０にて、マルチメディアプロセッサ１０は、センサイメージの全ピクセルに対して、赤外発光ダイオード１４の点灯時のピクセルデータＰ１［Ｘ］［Ｙ］と、赤外発光ダイオード１４の消灯時のピクセルデータＰ２［Ｘ］［Ｙ］と、の差分を算出して、差分データを、配列Ｄｉｆ［Ｘ］[Ｙ]に代入する。
【０１１６】
このように、差分データ（差分画像）を求めることで、入力装置３（再帰反射シート３０及び３２）からの反射光以外の光によるノイズを極力除去でき、精度良く入力装置３（再帰反射シート３０及び３２）を検出できる。
【０１１７】
ステップＳ３１にて、マルチメディアプロセッサ１０は、配列Ｄｉｆ［Ｘ］［Ｙ］の全要素をスキャンして、その中から、最大値、つまり、最大輝度値Ｄｉｆ［Ｘｃ１］［Ｙｃ１］を検出する（ステップＳ３２）。ステップＳ３３にて、マルチメディアプロセッサ１０は、検出した最大輝度値と所定の閾値Ｔｈとを比較して、最大輝度値が大きい場合はステップＳ３４に進み、それ以外はステップＳ４２及びＳ４３に進んで、第１抽出フラグ及び第２抽出フラグをオフにする。
【０１１８】
ステップＳ３４では、マルチメディアプロセッサ１０は、最大輝度値Ｄｉｆ［Ｘｃ１］［Ｙｃ１］を有するピクセルの座標（Ｘｃ１，Ｙｃ１）を注目点の座標とする。そして、ステップＳ３５にて、マルチメディアプロセッサ１０は、注目点が一つ抽出されたことを示す第１抽出フラグをオンにする。
【０１１９】
ステップＳ３６にて、マルチメディアプロセッサ１０は、最大輝度値Ｄｉｆ［Ｘｃ１］［Ｙｃ１］のピクセルを中心に所定範囲をマスクする。ステップＳ３７にて、マルチメディアプロセッサ１０は、マスクされた所定範囲を除いて、配列Ｄｉｆ［Ｘ］［Ｙ］の要素をスキャンし、その中から、最大値、つまり、最大輝度値Ｄｉｆ［Ｘｃ２］［Ｙｃ２］を検出する（ステップＳ３８）。
【０１２０】
ステップＳ３９にて、マルチメディアプロセッサ１０は、検出した最大輝度値と所定の閾値Ｔｈとを比較して、最大輝度値が大きい場合はステップＳ４０に進み、それ以外はステップＳ４３に進んで、第２抽出フラグをオフにする。
【０１２１】
ステップＳ４０では、マルチメディアプロセッサ１０は、最大輝度値Ｄｉｆ［Ｘｃ２］［Ｙｃ２］に対応するピクセルの座標（Ｘｃ２，Ｙｃ２）を注目点の座標とする。そして、ステップＳ４１にて、マルチメディアプロセッサ１０は、注目点が２つ抽出されたことを示す第２抽出フラグをオンにする。
【０１２２】
ステップＳ４４にて、マルチメディアプロセッサ１０は、第１抽出フラグのみがオンの場合は、今回の注目点（Ｘｃ１，Ｙｃ１）と前回の第１注目点との距離Ｄ１と、今回の注目点（Ｘｃ１，Ｙｃ１）と前回の第２注目点との距離Ｄ２と、を比較し、前回の第１注目点に近いときは、今回の注目点（Ｘｃ１，Ｙｃ１）を今回の第１注目点とし、前回の第２注目点に近いときは、今回の注目点（Ｘｃ１，Ｙｃ１）を今回の第２注目点とする。なお、距離Ｄ１とＤ２とが同じ場合は、今回の注目点（Ｘｃ１，Ｙｃ１）を今回の第１注目点とする。
【０１２３】
一方、マルチメディアプロセッサ１０は、第２抽出フラグがオン（当然、第１抽出フラグもオン）の場合は、今回の注目点（Ｘｃ１，Ｙｃ１）と前回の第１注目点との距離Ｄ３と、今回の注目点（Ｘｃ２，Ｙｃ２）と前回の第１注目点との距離Ｄ４と、を比較し、今回の注目点（Ｘｃ１，Ｙｃ１）が前回の第１注目点に近いときは、今回の注目点（Ｘｃ１，Ｙｃ１）を今回の第１注目点とするとともに、今回の注目点（Ｘｃ２，Ｙｃ２）を今回の第２注目点とし、今回の注目点（Ｘｃ２，Ｙｃ２）が前回の第１注目点に近いときは、今回の注目点（Ｘｃ２，Ｙｃ２）を今回の第１注目点とするとともに、今回の注目点（Ｘｃ１，Ｙｃ１）を今回の第２注目点とする。なお、距離Ｄ３とＤ４とが同じ場合は、今回の注目点（Ｘｃ１，Ｙｃ１）を今回の第１注目点とするとともに、今回の注目点（Ｘｃ２，Ｙｃ２）を今回の第２注目点とする。
【０１２４】
なお、第１抽出フラグのみがオンの場合と同様にして、第２抽出フラグがオンの場合の今回の第１注目点を決定し、その後、第２注目点を決定してもよい。
【０１２５】
以上のような図１２の処理は、入力装置３Ｌの再帰反射シート３０Ｌ又は３２Ｌ、および、入力装置３Ｒの再帰反射シート３０Ｒ又は３２Ｒの検出処理である。
【０１２６】
図１０に戻って、ステップＳ４では、入力判定処理を実行する。
【０１２７】
図１３は、図１０のステップＳ４の入力判定処理の流れの一例を示すフローチャートである。図１３を参照して、ステップＳ５０にて、マルチメディアプロセッサ１０は、カウンタｉをクリアする。ステップＳ５１にて、マルチメディアプロセッサ１０は、カウンタｉを１つインクリメントする。
【０１２８】
ステップＳ５２にて、マルチメディアプロセッサ１０は、カウント値ｗ１［ｉ−１］が所定値Ｔｗ１以下か否かを判断し、「Ｙｅｓ」を判断するとステップＳ５３に進み、「Ｎｏ」を判断するとステップＳ６２に進む。ステップＳ５３にて、マルチメディアプロセッサ１０は、第ｉ入力フラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ５８に進み、「Ｎｏ」を判断するとステップＳ５４に進む。
【０１２９】
ステップＳ５４では、マルチメディアプロセッサ１０は、第ｉ注目点が存在するか否かを判断し、「Ｙｅｓ」を判断するとステップＳ５５に進み、「Ｎｏ」を判断するとステップＳ５９に進む。
【０１３０】
ステップＳ５９では、マルチメディアプロセッサ１０は、同時入力フラグをオフにし、続くステップＳ６０にて、カウンタｔ［ｉ−１］を１つインクリメントして、ステップＳ６１に進む。
【０１３１】
ステップＳ５４で「Ｙｅｓ」が判断された後、ステップＳ５５では、マルチメディアプロセッサ１０は、同時入力フラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ５７に進み、「Ｎｏ」を判断するとステップＳ５６に進む。ステップＳ５６では、マルチメディアプロセッサ１０は、カウント値ｔ［ｉ−１］が所定値Ｔ以上か否かを判断し、「Ｎｏ」を判断するとステップＳ６１に進む。
【０１３２】
ステップＳ５５で「Ｙｅｓ」が判断された後、あるいは、ステップＳ５６で「Ｙｅｓ」が判断された後、ステップＳ５７では、マルチメディアプロセッサ１０は、第ｉ入力フラグをオンにして、ステップＳ６１に進む。
【０１３３】
ステップＳ５３で「Ｙｅｓ」が判断された後、ステップＳ５８にて、マルチメディアプロセッサ１０は、カウンタｗ１［ｉ−１］を１つインクリメントして、ステップＳ６１に進む。
【０１３４】
ステップＳ６１でカウント値ｉ＝２になるまで、あるいは、ステップＳ５２で「Ｎｏ」が判断されるまで、ステップＳ５１〜Ｓ６１が繰り返される。
【０１３５】
ステップＳ５２で「Ｎｏ」が判断された後、ステップＳ６２では、マルチメディアプロセッサ１０は、第１及び第２入力フラグの双方がオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ６３に進み、「Ｎｏ」を判断するとステップＳ６５に進む。
【０１３６】
ステップＳ６３では、マルチメディアプロセッサ１０は、同時入力フラグをオンにする。ステップＳ６４にて、マルチメディアプロセッサ１０は、第１及び第２入力フラグの双方をオフにする。
【０１３７】
ステップＳ６４の後、あるいは、ステップＳ６２で「Ｎｏ」が判断された後、マルチメディアプロセッサ１０は、ステップＳ６５で、カウンタｗ１［０］，ｗ１［１］，ｔ［０］及びｔ［１］をクリアして、図１０のメインルーチンへリターンする。
【０１３８】
以上のような図１３の処理は、第１注目点について、所定時間Ｔ（ステップＳ５６参照）以上の無検出期間があった後、第１注目点が検出された場合に（ステップＳ５４）、第１入力フラグをオンにすることによって（ステップＳ５７）、入力があったことを示す。第２注目点についても同様である。
【０１３９】
ただし、第１入力フラグ及び第２入力フラグが同時にオンになった場合や、第１入力フラグあるいは第２入力フラグのいずれかがオンになった後、所定時間Ｔｗ１（ステップＳ５２）内に、他方の入力フラグがオンになった場合は、同時入力フラグをオンにして（ステップＳ６３）、入力装置３Ｌ及び３Ｒによる入力が同時に行われたことを示す。同時入力フラグがオンになったときは、第１及び第２入力フラグはオフにされる（ステップＳ６４）。つまり、片方入力よりも同時入力のほうが優先される。
【０１４０】
図１０に戻って、ステップＳ５にて、マルチメディアプロセッサ１０は、スイング判定処理を実行する。
【０１４１】
図１４は、図１０のステップＳ５のスイング判定処理の流れの一例を示すフローチャートである。図１４を参照して、ステップＳ７０にて、マルチメディアプロセッサ１０は、必殺技Ａ実行可能ステートである場合あるいは第１条件フラグがオフの場合は、ステップＳ７１〜Ｓ８７をスキップして、図１０のメインルーチンへリターンし、それ以外の場合はステップＳ７１に進む。
【０１４２】
ステップＳ７１にて、マルチメディアプロセッサ１０は、カウンタｋをクリアする。ステップＳ７２にて、マルチメディアプロセッサ１０は、カウンタｋを１つインクリメントする。
【０１４３】
ステップＳ７３にて、マルチメディアプロセッサ１０は、カウント値ｗ２［ｋ−１］が所定値Ｔｗ２以下か否かを判断し、「Ｙｅｓ」を判断するとステップＳ７４に進み、「Ｎｏ」を判断するとステップＳ８４に進む。ステップＳ７４にて、マルチメディアプロセッサ１０は、第ｋスイングフラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ８１に進み、「Ｎｏ」を判断するとステップＳ７５に進む。
【０１４４】
ステップＳ７５では、マルチメディアプロセッサ１０は、第ｋ注目点の今回と前回の座標に基づいて、第ｋ注目点の速度、つまり、速さと方向を算出する。この場合、方向として、８方向を定めており、その中から一つの方向を決定する。つまり、３６０度を８分割して、８つの角度範囲を設定し、第ｋ注目点の速度（ベクトル）が、いずれの角度範囲に属するかによって、第ｋ注目点の方向を決定する。
【０１４５】
ステップＳ７６では、マルチメディアプロセッサ１０は、第ｋ注目点の速さと所定値ＶＣとを比較して、第ｋ注目点の速さが大きいか否かを判断し、「Ｙｅｓ」を判断するとステップＳ７７に進み、「Ｎｏ」を判断するとステップＳ８２に進んで、カウンタＮ［ｋ−１］をクリアして、ステップＳ８３に進む。
【０１４６】
ステップＳ７７では、マルチメディアプロセッサ１０は、カウンタＮ［ｋ−１］を１つインクリメントする。ステップＳ７８では、マルチメディアプロセッサ１０は、カウント値Ｎ［ｋ−１］が「２」か否かを判断し、「Ｙｅｓ」を判断するとステップＳ７９に進み、「Ｎｏ」を判断するとステップＳ８３に進む。
【０１４７】
ステップＳ７９にて、マルチメディアプロセッサ１０は、第ｋスイングフラグをオンにし、続く、ステップＳ８０にて、同時入力フラグ、第１入力フラグ、及び第２入力フラグをオフにして、ステップＳ８３に進む。
【０１４８】
ステップＳ７４で「Ｙｅｓ」が判断された後、ステップＳ８１にて、マルチメディアプロセッサ１０は、カウンタｗ２［ｋ−１］を１つインクリメントして、ステップＳ８３に進む。
【０１４９】
ステップＳ８３でカウント値ｋ＝２になるまで、あるいは、ステップＳ７３で「Ｎｏ」が判断されるまで、ステップＳ７２〜Ｓ８３が繰り返される。
【０１５０】
ステップＳ７３で「Ｎｏ」が判断された後、ステップＳ８４では、マルチメディアプロセッサ１０は、第１及び第２スイングフラグの双方がオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ８５に進み、「Ｎｏ」を判断するとステップＳ８７に進む。
【０１５１】
ステップＳ８５では、マルチメディアプロセッサ１０は、同時スイングフラグをオンにする。ステップＳ８６にて、マルチメディアプロセッサ１０は、第１及び第２スイングフラグの双方をオフにする。
【０１５２】
ステップＳ８６の後、あるいは、ステップＳ８４で「Ｎｏ」が判断された後、マルチメディアプロセッサ１０は、ステップＳ８７で、カウンタｗ２［０］，ｗ２［１］，Ｎ［０］及びＮ［１］をクリアして、図１０のメインルーチンへリターンする。
【０１５３】
以上のような図１４の処理は、第１注目点の速度を算出して（ステップＳ７５）、その大きさが（つまり、速さが）一定値ＶＣを超えたことが、連続して２回発生した場合に（ステップＳ７８）、第１スイングフラグをオンにして、スイングが行われたことを示す。第２注目点についても同様である。
【０１５４】
ただし、第１スイングフラグ及び第２スイングフラグが同時にオンになった場合や、第１スイングフラグあるいは第２スイングフラグのいずれかがオンになった後、所定時間Ｔｗ２（ステップＳ７３）内に、他方のスイングフラグがオンになった場合は、同時スイングフラグをオンにして（ステップＳ８５）、入力装置３Ｌ及び３Ｒによるスイングが同時に行われたことを示す。
【０１５５】
同時スイングフラグがオンになったときは、第１及び第２スイングフラグはオフにされる（ステップＳ８６）。また、第１スイングフラグあるいは第２スイングフラグの少なくとも一方がオンになると、同時入力フラグ、第１入力フラグ、及び第２入力フラグはオフされる（ステップＳ８０）。つまり、第１入力フラグ及び第２入力フラグよりも、同時入力フラグが優先され、これらよりも片方スイングが優先され、片方スイングよりも同時スイングのほうが優先される。
【０１５６】
図１０に戻って、ステップＳ６では、第１注目点及び第２注目点の左右判定処理を実行する。
【０１５７】
図１５は、図１０のステップＳ６の左右判定処理の流れの一例を示すフローチャートである。図１５を参照して、ステップＳ１００にて、マルチメディアプロセッサ１０は、第１注目点及び第２注目点の双方が存在するか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１０１に進み、「Ｎｏ」を判断するとステップＳ１０２に進む。ステップＳ１０１では、マルチメディアプロセッサ１０は、第１注目点と第２注目点との相対的な位置関係から、いずれが左で、いずれが右かを決定し、図１０のメインルーチンへリターンする。
【０１５８】
ステップＳ１００で「Ｎｏ」が判断された後、ステップＳ１０２にて、マルチメディアプロセッサ１０は、第１注目点が存在するか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１０３に進み、「Ｎｏ」を判断するとステップＳ１０４に進む。ステップＳ１０３にて、マルチメディアプロセッサ１０は、第１注目点の座標が、イメージセンサ１２による差分画像の左エリアに位置する場合は、第１注目点を左と判断し、第１注目点の座標が、差分画像の右エリアに位置する場合は、第１注目点を右と判断して、図１０のメインルーチンへリターンする。
【０１５９】
ステップＳ１０２で「Ｎｏ」が判断された後、ステップＳ１０４にて、マルチメディアプロセッサ１０は、第２注目点が存在するか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１０５に進み、「Ｎｏ」を判断すると図１０のメインルーチンへリターンする。ステップＳ１０５にて、マルチメディアプロセッサ１０は、第２注目点の座標が、イメージセンサ１２による差分画像の左エリアに位置する場合は、第２注目点を左と判断し、第２注目点の座標が、差分画像の右エリアに位置する場合は、第２注目点を右と判断して、図１０のメインルーチンへリターンする。
【０１６０】
図１０に戻って、ステップＳ７では、マルチメディアプロセッサ１０は、入力装置３の動き、つまり、第１及び／又は第２注目点の動きに応じて、エフェクトのアニメーションを設定する。
【０１６１】
図１６は、図１０のステップＳ７のエフェクト制御処理の流れの一例を示すフローチャートである。図１６を参照して、ステップＳ１１０にて、マルチメディアプロセッサ１０は、必殺技Ａ（図６参照）の実行判定処理を行う。ただし、必殺技Ａを繰り出す条件として、上述と異なる例を挙げている。
【０１６２】
図１７及び図１８は、図１６のステップＳ１１０の必殺技Ａ実行判定処理の流れの一例を示すフローチャートである。図１７を参照して、ステップＳ１２０にて、マルチメディアプロセッサ１０は、必殺技Ａの実行可能ステートであるか否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１２１に進み、「Ｎｏ」を判断したときはステップＳ１３６に進む。ステップＳ１３６では、マルチメディアプロセッサ１０は、必殺条件フラグをオフにし、ステップＳ１３７にて、カウンタＣ１をクリアして、図１６のルーチンへリターンする。
【０１６３】
ステップＳ１２０で「Ｙｅｓ」が判断された後、ステップＳ１２１にて、マルチメディアプロセッサ１０は、必殺条件フラグがオンか否かを判断して、「Ｙｅｓ」を判断したときは図１８のステップＳ１２９に進み、「Ｎｏ」を判断したときはステップＳ１２２に進む。
【０１６４】
ステップＳ１２２にて、マルチメディアプロセッサ１０は、同時入力フラグがオンか否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１２３に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１６５】
ステップＳ１２３にて、マルチメディアプロセッサ１０は、第１注目点と第２注目点との水平距離（Ｘ方向距離）ｈが所定値ＨＣ以下か否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１２４に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１６６】
ステップＳ１２４にて、マルチメディアプロセッサ１０は、第１注目点と第２注目点との垂直距離（Ｙ方向距離）ｖが所定値ＶＣ以上か否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１２５に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１６７】
ここで、ＨＣ＞ＶＣである。
【０１６８】
ステップＳ１２５にて、マルチメディアプロセッサ１０は、垂直距離ｖが水平距離ｈより大きいか否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１２６に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１６９】
ステップＳ１２６にて、マルチメディアプロセッサ１０は、第１注目点と第２注目点との間の距離を算出して、その距離が所定値ＤＣ以下か否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１２７に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１７０】
ステップＳ１２７にて、マルチメディアプロセッサ１０は、必殺条件フラグをオンにし、ステップＳ１２８にて、同時入力フラグをオフにして、図１０のステップＳ８に進む。
【０１７１】
ステップＳ１２１で「Ｙｅｓ」が判断された後、図１８のステップＳ１２９にて、マルチメディアプロセッサ１０は、無入力か否か、つまり、第１及び第２の注目点の双方が存在しないか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１３０に進んで、カウンタＣ１をインクリメントし、図１０のステップＳ８に進み、「Ｎｏ」を判断するとステップＳ１３１に進む。
【０１７２】
ステップＳ１３１では、マルチメディアプロセッサ１０は、カウント値Ｃ１が所定値Ｚ１以上か否かを判断し、「Ｎｏ」を判断するとステップＳ１３２に進んで、カウンタＣ１をクリアして図１０のステップＳ８に進み、「Ｙｅｓ」を判断すると、ステップＳ１３３に進む。
【０１７３】
ステップＳ１３３にて、マルチメディアプロセッサ１０は、必殺技Ａのアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。この場合、敵キャラクタ５０との関係で、必殺技Ａの出現始点を決定し、そこから、必殺技Ａが表示されるように、表示座標を設定する。
【０１７４】
ステップＳ１３４にて、マルチメディアプロセッサ１０は、カウンタＣ１をクリアし、ステップＳ１３５で、必殺条件フラグをオフにして、図１０のステップＳ８に進む。
【０１７５】
以上のような図１７及び図１８の処理は、ステップＳ１２０の条件を満たすことを前提として、ステップＳ１２２〜Ｓ１２６の全てを満たした後（つまり、ステップＳ１２７で必殺条件フラグがオンになった後）、第１及び第２注目点の無検出期間が所定期間Ｚ１以上存在し、その後、第１及び第２注目点の少なくとも一つが検出されたこと（ステップＳ１２９及びＳ１３１）を、必殺技Ａを出現させるための条件としている（ステップＳ１３３）。ここで、ステップＳ１２２〜Ｓ１２６は、図３（ｃ）、つまり、図８（ｅ）の状態を検出する処理である。
【０１７６】
図１６に戻って、ステップＳ１１１にて、マルチメディアプロセッサ１０は、必殺技Ｂ（図７参照）の実行判定処理を行う。ただし、必殺技Ｂを繰り出す条件として、上述と異なる例を挙げている。
【０１７７】
図１９及び図２０は、図１６のステップＳ１１１の必殺技Ｂ実行判定処理の流れの一例を示すフローチャートである。図１９を参照して、ステップＳ１５０にて、マルチメディアプロセッサ１０は、必殺技Ｂの実行可能ステートであるか否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１５１に進み、「Ｎｏ」を判断したときはステップＳ１７６に進む。ステップＳ１７６では、マルチメディアプロセッサ１０は、第１〜第３条件フラグをオフにし、ステップＳ１７７にて、カウンタＣ２をクリアして、図１６のルーチンへリターンする。
【０１７８】
ステップＳ１５０で「Ｙｅｓ」が判断された後、ステップＳ１５１にて、マルチメディアプロセッサ１０は、第１条件フラグがオンか否かを判断して、「Ｙｅｓ」を判断したときはステップＳ１５９に進み、「Ｎｏ」を判断したときはステップＳ１５２に進む。
【０１７９】
ステップＳ１５２にて、マルチメディアプロセッサ１０は、同時入力フラグがオンか否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１５３に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１８０】
ステップＳ１５３にて、マルチメディアプロセッサ１０は、第１注目点と第２注目点との水平距離（Ｘ方向距離）ｈが所定値ＨＣ以下か否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１５４に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１８１】
ステップＳ１５４にて、マルチメディアプロセッサ１０は、第１注目点と第２注目点との垂直距離（Ｙ方向距離）ｖが所定値ＶＣ以上か否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１５５に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１８２】
ここで、ＨＣ＞ＶＣである。
【０１８３】
ステップＳ１５５にて、マルチメディアプロセッサ１０は、垂直距離ｖが水平距離ｈより大きいか否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１５６に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１８４】
ステップＳ１５６にて、マルチメディアプロセッサ１０は、第１注目点と第２注目点との間の距離を算出して、その距離が所定値ＤＣ以下か否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１５７に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１８５】
ステップＳ１５７にて、マルチメディアプロセッサ１０は、第１条件フラグをオンにし、ステップＳ１５８にて、同時入力フラグをオフにして、図１０のステップＳ８に進む。
【０１８６】
ステップＳ１５１で「Ｙｅｓ」が判断された後、ステップＳ１５９にて、マルチメディアプロセッサ１０は、第２条件フラグがオンか否かを判断し、「Ｙｅｓ」を判断したときは図２０のステップＳ１６５に進み、「Ｎｏ」を判断したときはステップＳ１６０に進む。ステップＳ１６０では、マルチメディアプロセッサ１０は、無入力か否か、つまり、第１及び第２の注目点の双方が存在しないか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１６４に進んで、カウンタＣ２をインクリメントし、図１０のステップＳ８に進み、「Ｎｏ」を判断するとステップＳ１６１に進む。
【０１８７】
ステップＳ１６１では、マルチメディアプロセッサ１０は、カウント値Ｃ２が所定値Ｚ２以上か否かを判断し、「Ｎｏ」を判断するとステップＳ１６３に進んで、カウンタＣ２をクリアして図１０のステップＳ８に進み、「Ｙｅｓ」を判断すると、ステップＳ１６２に進む。ステップＳ１６２では、マルチメディアプロセッサ１０は、第２条件フラグをオンにして、図１０のステップＳ８に進む。
【０１８８】
ステップＳ１５９で「Ｙｅｓ」が判断された後、図２０のステップＳ１６５では、マルチメディアプロセッサ１０は、第３条件フラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１７０に進み、「Ｎｏ」を判断するとステップＳ１６６に進む。
【０１８９】
ステップＳ１６６では、マルチメディアプロセッサ１０は、同時スイングフラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１６７に進み、「Ｎｏ」を判断すると図１０のステップＳ８に進む。
【０１９０】
ステップＳ１６７では、マルチメディアプロセッサ１０は、同時スイングフラグをオフにして、ステップＳ１６８に進む。ステップＳ１６８では、マルチメディアプロセッサ１０は、第１注目点及び第２注目点の速度の方向が、Ｙ軸の負方向である場合は、ステップＳ１６９に進み、それ以外は図１０のステップＳ８に進む。ステップＳ１６９にて、マルチメディアプロセッサ１０は、第３条件フラグをオンにして、図１０のステップＳ８に進む。
【０１９１】
ステップＳ１６５で「Ｙｅｓ」が判断された後、ステップＳ１７０では、マルチメディアプロセッサ１０は、同時スイングフラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１７１に進み、「Ｎｏ」を判断すると図１０のステップＳ８に進む。
【０１９２】
ステップＳ１７１では、マルチメディアプロセッサ１０は、同時スイングフラグをオフにして、ステップＳ１７２に進む。ステップＳ１７２では、マルチメディアプロセッサ１０は、第１注目点及び第２注目点の速度の方向が、Ｙ軸の正方向である場合は、ステップＳ１７３に進み、それ以外は図１０のステップＳ８に進む。
【０１９３】
ステップＳ１７３にて、マルチメディアプロセッサ１０は、必殺技Ｂのアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。ステップＳ１７４にて、マルチメディアプロセッサ１０は、カウンタＣ２をクリアし、ステップＳ１７５で、第１〜第３条件フラグをオフにして、図１０のステップＳ８に進む。
【０１９４】
以上のような図１９及び図２０の処理は、ステップＳ１５０を満たすことを前提として、ステップＳ１５２〜Ｓ１５６の全てを満たした後（つまり、ステップＳ１５７で第１条件フラグがオンになった後）、第１及び第２注目点の無検出期間が所定期間Ｚ２以上存在し（ステップＳ１６１）、その後、ステップＳ１６６及びＳ１６８の全てを満たし（つまり、ステップＳ１６９で第３条件フラグオン）、さらに、ステップＳ１７０及びＳ１７２の全てを満たすことを、必殺技Ｂを出現させるための条件としている（ステップＳ１７３）。
【０１９５】
ここで、ステップＳ１５２〜Ｓ１５６は、図３（ｃ）、つまり、図８（ｅ）の状態を検出する処理である。ステップＳ１６６及びＳ１６８は、図８（ｈ）の状態を検出する処理である。ステップＳ１７０及びＳ１７３は、図８（ｉ）の状態を検出する処理である。
【０１９６】
図１６に戻って、ステップＳ１１２では、マルチメディアプロセッサ１０は、特殊スイング技の実行判定処理を行う。
【０１９７】
図２１は、図１６のステップＳ１１２の特殊スイング技実行判定処理の流れの一例を示すフローチャートである。図２１を参照して、ステップＳ１９０にて、マルチメディアプロセッサ１０は、同時スイングフラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１９１に進み、「Ｎｏ」を判断すると図１６のルーチンへリターンする。
【０１９８】
ステップＳ１９１にて、マルチメディアプロセッサ１０は、戦闘ステージが遠距離戦か近距離戦かを判断し、遠距離戦の場合はステップＳ１９２に進み、近距離戦の場合はステップＳ１９４に進む。
【０１９９】
ステップＳ１９２では、マルチメディアプロセッサ１０は、第１注目点及び第２注目点の速度の方向が、所定方向ＤＦである場合は、ステップＳ１９３に進み、それ以外は図１６のルーチンへリターンする。ステップＳ１９３では、マルチメディアプロセッサ１０は、遠距離戦の場合の特殊スイング技のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。
【０２００】
一方、ステップＳ１９４では、第１注目点及び第２注目点の速度の方向が、所定方向ＤＮである場合は、ステップＳ１９５に進み、それ以外は図１６のルーチンへリターンする。ステップＳ１９５では、マルチメディアプロセッサ１０は、近距離戦の場合の特殊スイング技のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。
【０２０１】
ステップＳ１９３及びＳ１９５では、前々回の第１注目点Ｘ座標及び第２注目点Ｘ座標の平均座標を、テレビジョンモニタ５のスクリーン座標系に変換した座標を起点として、特殊スイング技が表示されるように、表示座標を設定する。
【０２０２】
ステップＳ１９３及びＳ１９５の後のステップＳ１９６では、マルチメディアプロセッサ１０は、同時スイングフラグをオフにして図１６のルーチンへリターンする。
【０２０３】
以上のような図２１の処理は、両手同時のスイングが検出された場合であって（ステップＳ１９０）、スイングの方向が所定方向（ＤＦ、ＤＮ）であること（ステップＳ１９２及びＳ１９４）を条件に、特殊スイング技をテレビ画面に出現させる。
【０２０４】
図１６に戻って、ステップＳ１１３では、マルチメディアプロセッサ１０は、通常スイング技の実行判定処理を行う。
【０２０５】
図２２は、図１６のステップＳ１１３の通常スイング技実行判定処理の流れの一例を示すフローチャートである。図２２を参照して、ステップＳ２００にて、マルチメディアプロセッサ１０は、同時スイングフラグ、第１スイングフラグ、あるいは第２スイングフラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ２０１に進み、「Ｎｏ」を判断すると図１６のルーチンへリターンする。
【０２０６】
ステップＳ２０１にて、マルチメディアプロセッサ１０は、戦闘ステージが遠距離戦か近距離戦かを判断し、遠距離戦の場合はステップＳ２０２に進み、近距離戦の場合はステップＳ２０３に進む。
【０２０７】
ステップＳ２０２では、マルチメディアプロセッサ１０は、遠距離戦の場合の通常スイング技のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。一方、ステップＳ２０３では、マルチメディアプロセッサ１０は、近距離戦の場合の通常スイング技のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。
【０２０８】
ステップＳ２０２及びＳ２０３の後のステップＳ２０４では、マルチメディアプロセッサ１０は、同時スイングフラグ、第１スイングフラグ、及び第２スイングフラグをオフにして図１６のルーチンへリターンする。
【０２０９】
以上のような図２２の処理は、両手同時のスイングあるいは片手スイングが検出された場合に（ステップＳ２００）、通常スイング技をテレビ画面に出現させる。
【０２１０】
例えば、近距離戦の場合では、通常スイング技として、上述のフックパンチ画像ＰＣ２を出現させる。この場合、検出されたスイングに対応する前々回の第１注目点座標あるいは前々回の第２注目点座標（同時スイングの場合は、前々回の第１注目点座標）を、テレビジョンモニタ５のスクリーン座標系に変換した座標を起点として、スイングの方向に動くフックパンチ画像ＰＣ２が表示されるように、表示座標を設定する。
【０２１１】
例えば、遠距離戦の場合では、通常スイング技として、上述の盾オブジェクトＳＬ１を出現させる。この場合、検出されたスイングに対応する前々回の第１注目点座標あるいは前々回の第２注目点座標（同時スイングの場合は、前々回の第１注目点座標）を、テレビジョンモニタ５のスクリーン座標系に変換した座標を起点として、スイングの方向に動く盾オブジェクトＳＬ１が表示されるように、表示座標を設定する。
【０２１２】
なお、上記のように、スイング方向は、８方向のいずれかに決定されるので、方向ごとに画像情報を割り当てておき、検知したスイング方向に割り当てられた画像情報をメインＲＡＭに設定することで、スイング方向に動くアニメーションを表示する。
【０２１３】
図１６に戻って、ステップＳ１１４では、マルチメディアプロセッサ１０は、両手弾の実行判定処理を行う。
【０２１４】
図２３は、図１６のステップＳ１１４の両手弾実行判定処理の流れの一例を示すフローチャートである。図２３を参照して、ステップＳ２１０にて、マルチメディアプロセッサ１０は、同時入力フラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ２１１に進み、「Ｎｏ」を判断すると図１６のルーチンへリターンする。
【０２１５】
ステップＳ２１１にて、マルチメディアプロセッサ１０は、戦闘ステージが遠距離戦か近距離戦かを判断し、遠距離戦の場合はステップＳ２１２に進み、近距離戦の場合はステップＳ２１３に進む。
【０２１６】
ステップＳ２１２では、マルチメディアプロセッサ１０は、遠距離戦の場合の両手弾のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定して図１６のルーチンへリターンする。一方、ステップＳ２１３では、マルチメディアプロセッサ１０は、近距離戦の場合の両手弾のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定し、ステップＳ２１４にて、同時入力フラグをオフにして図１６のルーチンへリターンする。
【０２１７】
ステップＳ２１２及びＳ２１３では、第１注目点座標及び第２注目点座標の平均座標を、テレビジョンモニタ５のスクリーン座標系に変換した座標を起点として、両手弾画像が表示されるように、表示座標を設定する。
【０２１８】
以上のような図２３の処理は、両手同時入力が検出された場合に（ステップＳ２１０）、両手弾画像をテレビ画面に出現させる。例えば、近距離戦の場合では、両手弾画像として、上述の盾オブジェクトＳＬ２を出現させる。例えば、遠距離戦の場合では、両手弾画像として、上述の攻撃オブジェクトｓｈ１を出現させる。
【０２１９】
図１６に戻って、ステップＳ１１５では、マルチメディアプロセッサ１０は、片手弾の実行判定処理を行う。
【０２２０】
図２４は、図１６のステップＳ１１５の片手弾実行判定処理の流れの一例を示すフローチャートである。図２４を参照して、ステップＳ２２０にて、マルチメディアプロセッサ１０は、第１入力フラグあるいは第２入力フラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ２２１に進み、「Ｎｏ」を判断すると図１６のルーチンへリターンする。
【０２２１】
ステップＳ２２１にて、マルチメディアプロセッサ１０は、戦闘ステージが遠距離戦か近距離戦かを判断し、遠距離戦の場合はステップＳ２２４に進み、近距離戦の場合はステップＳ２２２に進む。
【０２２２】
ステップＳ２２４では、マルチメディアプロセッサ１０は、無入力か否か、つまり、第１及び第２の注目点の双方が存在しないか否かを判断し、「Ｙｅｓ」を判断するとステップＳ２２６に進んで、第１及び第２入力フラグをオフにして図１６のルーチンへリターンし、「Ｎｏ」を判断するとステップＳ２２５に進む。ステップＳ２２５では、マルチメディアプロセッサ１０は、遠距離戦の場合の片手弾のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定して図１６のルーチンへリターンする。
【０２２３】
一方、ステップＳ２２２では、マルチメディアプロセッサ１０は、近距離戦の場合の片手弾のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定し、ステップＳ２２３にて、第１及び第２入力フラグをオフにして図１６のルーチンへリターンする。
【０２２４】
ステップＳ２２２及びＳ２２５では、第１注目点及び第２注目点のうち、検出された注目点の座標を、テレビジョンモニタ５のスクリーン座標系に変換した座標を起点として、片手弾画像が表示されるように、表示座標を設定する。
【０２２５】
以上のような図２４の処理は、片手入力が検出された場合に（ステップＳ２２０）、片手弾画像をテレビ画面に出現させる。例えば、近距離戦の場合では、片手弾画像として、上述のパンチ画像ＰＣ１を出現させる。例えば、遠距離戦の場合では、片手弾画像として、上述の弾オブジェクト６４を出現させる。
【０２２６】
図１０に戻って、ステップＳ８では、マルチメディアプロセッサ１０は、敵キャラクタの動きを制御すべく、プログラムに従って、敵キャラクタ５０のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。ステップＳ９では、マルチメディアプロセッサ１０は、背景を制御すべく、プログラムに従って、背景のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。
【０２２７】
ステップＳ１０では、マルチメディアプロセッサ１０は、敵キャラクタ５０の攻撃・防御およびプレイヤキャラクタの攻撃・防御に基づいて、双方の攻撃のヒット判定を行い、ヒット時のエフェクトのアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。ステップＳ１１では、マルチメディアプロセッサ１０は、ステップＳ１０のヒット判定の結果に従って、体力ゲージ５２及び５６、気ゲージ５４、隠しパラメータ、及び攻撃力パラメータを制御するとともに、必殺技Ａ及びＢの実行可能ステートへの移行および通常ステートへの移行を制御する。
【０２２８】
マルチメディアプロセッサ１０は、ステップＳ１２にて、「ＹＥＳ」であれば、即ち、ビデオ同期の割込み待ちであれば（ビデオ同期信号による割り込みがなければ）、同じステップＳ１２に戻る。一方、ステップＳ１２で「ＮＯ」であれば、即ち、ビデオ同期の割込み待ちでなければ（ビデオ同期信号による割り込みがあれば）、ステップＳ１３に進む。ステップＳ１３では、マルチメディアプロセッサ１０は、ステップＳ７〜Ｓ１１による設定に従って、テレビジョンモニタ５に表示される画面の更新処理を実行して、ステップＳ２に進む。
【０２２９】
ステップＳ１４の音声処理は、音声割り込みが発生したときに実行され、それによって、音楽や効果音を出力する。
【０２３０】
さて、以上のように、本実施の形態によれば、オペレータは、入力装置３を装着した手を開いたり閉じたりするだけで、情報処理装置１に対する入力／非入力の制御を簡易に行うことができる。つまり、情報処理装置１は、手を開いた状態では、再帰反射シート３２が撮影されるため、入力があったと判断でき、手を閉じた状態では、再帰反射シート３２は撮影されず、入力がないと判断できる。
【０２３１】
また、本実施の形態によれば、再帰反射シート３２は、透明体４４の内面に取り付けられるので、再帰反射シート３２が直接オペレータの手に触れることがなく、再帰反射シート３２の耐久性を向上できる。
【０２３２】
さらに、本実施の形態によれば、再帰反射シート３０は、オペレータの指の背面であって、オペレータを向くように位置するので、オペレータが積極的に再帰反射シート３０を情報処理装置１（イメージセンサ１２）に向けない限り、撮影されることはない。従って、オペレータが再帰反射シート３２を用いて入力／非入力を行う場合に、再帰反射シート３０が撮影されることはなく、誤入力を防止できる。
【０２３３】
さらに、本実施の形態によれば、簡易な構成により、現実世界では体験できない、例えば、映画やアニメーションといった架空の世界で主人公等が行う特殊な動作や現象を、現実世界の動作（入力装置３の操作）とテレビジョンモニタ５に表示される画像（例えば、図５〜図７の画像６４，８２，９２）とを通じて体験できる。
【０２３４】
なお、本発明は、上記の実施の形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能であり、例えば、以下のような変形も可能である。
【０２３５】
（１）情報処理装置１に対する入力装置３による入力例及びそれに対する情報処理装置１の応答例を説明したが、入力及び応答はこれらに限定されない。様々な入力あるいはその組み合わせに応じて、様々な応答（表示）をすることができる。
【０２３６】
（２）透明体４２及び４４の透明には、半透明や有色透明が含まれる。
【０２３７】
（３）再帰反射シート３２を、透明体４４の内側ではなく、その表面に取り付けることもできる。この場合は、透明体４４は、透明である必要はない。また、再帰反射シート３０を、透明体４２の内面に取り付けることもできる。なお、上記のように、再帰反射シート３０を、透明体４２の表面に取り付ける場合は、透明体４２は、透明である必要はない。
【０２３８】
（４）上記では、入力装置３に、中指及び薬指を通す例を挙げたが、挿入する指及びその数はこれに限定されず、例えば、中指のみを通すようにしてもよい。
【０２３９】
（５）上記では、入力装置３Ｌ及び３Ｒの双方が検出されない状態から、一方あるいは双方が検出されたことを、入力の条件として例に挙げた（図１３参照）。ただし、入力装置３Ｌ及び３Ｒの双方が検出されている状態から、双方が検出されなくなったことを入力の条件とすることもできる。例えば、入力装置３Ｌ及び３Ｒの双方が検出されている状態が一定時間以上続いた後に、無検出の状態になることを入力の条件とすることができる。また、入力装置３Ｌ及び３Ｒのうちの一方のみが検出されている状態から、双方が検出されなくなったことを入力の条件とすることもできる。例えば、入力装置３Ｌ及び３Ｒのうちの一方のみが検出されている状態が一定時間以上続いた後に、無検出の状態になることを入力の条件とすることができる。
【０２４０】
（６）上記では、再帰反射シート３０を取り付けた透明体４２と、再帰反射シート３２を取り付けた透明体４４と、を入力装置のベルト４０に取り付けた。ただし、再帰反射シート３０を取り付けた透明体４２だけをベルト４０に取り付けて入力装置とすることもできるし、再帰反射シート３２を取り付けた透明体４４だけをベルト４０に取り付けて入力装置とすることもできる。
【０２４１】
（７）上記では、ベルト４０を指に嵌めることで、入力装置３を手に装着している。しかし、入力装置３の固定方法はこれに限定されず、同じ目的で様々な態様が考えられる。例えば、指ではなく、親指の付け根と人指し指の付け根の間から、小指の付け根を通って、手の甲と手のひらの周囲に装着するベルトを用いてもよい。この場合、透明体４２および透明体４４は、それぞれ、手の甲と手のひらの中央付近の位置に取り付けられする。また、ベルトの代わりに、サイクリング・グローブのようなグローブを用い、ベルクロ（商標）テープを利用することにより、透明体４２および透明体４４の取付位置を可変とすることもできる。この場合、透明体４２及び４４を設けずに、再帰反射シート３０及び３２を直接グローブに取り付けてもよい。もちろん、ベルクロ（商標）テープを用いずに、再帰反射シート３０及び３２をグローブに取り外しできない様に固定することも可能である。更に、ベルトを用いずに、オペレータが入力装置３を直接手に持って、適宜、イメージセンサ１２に向けて再帰反射シート３０をかざす様にしてもよい。更に、上記では、環状のベルト４０を指に嵌めることで、入力装置３を手に装着しているが、適当な長さのゴム紐によって、透明体４２と透明体４４とを接続して、このゴム紐を利用して入力装置３を手に装着するようにしてもよい。
【０２４２】
（８）上記では、入力装置３は、中空で多面体の透明体４２及び透明体４４を備えていた。入力装置３の構造はこれに限定されず、同じ目的で様々な態様が考えられる。例えば、透明体４２及び透明体４４を、多面体ではなく、卵形のような丸い形状とすることができる。また、透明体４２及び透明体４４の代わりに、不透明な多面体状または丸い形状の部材とすることができる。この場合、再帰反射シートは、手の甲と手のひらに接する部分を除く外側の表面に設けられる。
【図面の簡単な説明】
【０２４３】
【図１】図１は、本発明の実施の形態による情報処理システムの全体構成を示すブロック図である。
【図２】図２（ａ）及び図２（ｂ）は、図１の入力装置３Ｌ（３Ｒ）の斜視図である。
【図３】図３（ａ）は、図１の入力装置３Ｌ（３Ｒ）の使用状態の一例を示す説明図である。図３（ｂ）は、図１の入力装置３Ｌ（３Ｒ）の使用状態の他の例を示す説明図である。図３（ｃ）は、図１の入力装置３Ｌ（３Ｒ）の使用状態のさらに他の例を示す説明図である。
【図４】図４は、図１の情報処理装置１の電気的構成を示す図である。
【図５】図５は、図１のテレビジョンモニタ５に表示されるゲーム画面の例示図である。
【図６】図６は、図１のテレビジョンモニタ５に表示されるゲーム画面の他の例示図である。
【図７】図７は、図１のテレビジョンモニタ５に表示されるゲーム画面のさらに他の例示図である。
【図８】図８（ａ）から図８（ｉ）は、図１の入力装置３Ｌ及び３Ｒによる入力態様の説明図である。
【図９】図９（ａ）から図９（ｌ）は、図１の入力装置３Ｌ及び３Ｒによる入力態様の説明図である。
【図１０】図１０は、図１の情報処理装置１による全体処理の流れの一例を示すフローチャートである。
【図１１】図１１は、図１０のステップＳ２の撮影処理の流れの一例を示すフローチャートであるである。
【図１２】図１２は、図１０のステップＳ３の注目点抽出処理の流れの一例を示すフローチャートである。
【図１３】図１３は、図１０のステップＳ４の入力判定処理の流れの一例を示すフローチャートである。
【図１４】図１４は、図１０のステップＳ５のスイング判定処理の流れの一例を示すフローチャートである。
【図１５】図１５は、図１０のステップＳ６の左右判定処理の流れの一例を示すフローチャートである。
【図１６】図１６は、図１０のステップＳ７のエフェクト制御処理の流れの一例を示すフローチャートである。
【図１７】図１７は、図１６のステップＳ１１０の必殺技Ａ実行判定処理の流れの一例の一部を示すフローチャートである。
【図１８】図１８は、図１６のステップＳ１１０の必殺技Ａ実行判定処理の流れの一例の他の一部を示すフローチャートである。
【図１９】図１９は、図１６のステップＳ１１１の必殺技Ｂ実行判定処理の流れの一例の一部を示すフローチャートである。
【図２０】図２０は、図１６のステップＳ１１１の必殺技Ｂ実行判定処理の流れの一例の他の一部を示すフローチャートである。
【図２１】図２１は、図１６のステップＳ１１２の特殊スイング技実行判定処理の流れの一例を示すフローチャートである。
【図２２】図２２は、図１６のステップＳ１１３の通常スイング技実行判定処理の流れの一例を示すフローチャートである。
【図２３】図２３は、図１６のステップＳ１１４の両手弾実行判定処理の流れの一例を示すフローチャートである。
【図２４】図２４は、図１６のステップＳ１１５の片手弾実行判定処理の流れの一例を示すフローチャートである。
【符号の説明】
【０２４４】
１…情報処理装置、３…入力装置、５…テレビジョンモニタ、１０…マルチメディアプロセッサ、１２…イメージセンサ、１４…赤外発光ダイオード、１６…ＲＯＭ、１８…バス、３０，３２…再帰反射シート、４０…ベルト、４２，４４…透明体。
【技術分野】
【０００１】
本発明は、被写体としての反射体を備えた入力装置及びその関連技術に関する。
【背景技術】
【０００２】
本件出願人による特許文献１に開示されているゴルフゲームシステムは、ゲーム機及びゴルフクラブ型入力装置を含み、ゲーム機のハウジングの内部には撮像ユニットが収納され、この撮像ユニットは、イメージセンサ及び赤外発光ダイオード等から構成される。赤外発光ダイオードによって撮像ユニットの前方の所定範囲に赤外光が間欠的に照射され、したがって、イメージセンサは、その範囲内で移動するゴルフクラブ型入力装置に設けられた反射体を間欠的に撮影する。このような反射体のストロボ映像を処理することによって、ゲーム機の入力となる入力装置の速度などを計算する。このように、ストロボスコープを用いてコンピュータやゲーム機にリアルタイムで入力を与えることができる。
【０００３】
【特許文献１】特開２００４−８５５２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
そこで、本発明の目的は、被写体としての反射体を備え、情報処理装置に対してリアルタイムで入力を与えることができ、かつ、入力／非入力の制御を簡易に行うことのできる入力装置及びその関連技術を提供することである。
【０００５】
本発明の他の目的は、現実世界では体験できないことを、現実世界の動作と表示装置に表示される画像とを通じて体験できる疑似体験方法、エンタテインメント・システム及びその関連技術を提供することである。
【０００６】
本発明の更に他の目的は、架空の世界のキャラクタの活躍を疑似体験することができるエンタテインメント・システム及びその関連技術を提供することである。
【課題を解決するための手段】
【０００７】
本発明の第１の形態によると、入力装置は、プログラムに従った処理を実行する情報処理装置に対して、入力を与えることができる、撮影の被写体としての入力装置であって、照射された光を反射する第１の反射体と、前記第１の取付体に取り付けられ、オペレータの手に装着される装着体と、を備える入力装置。
【０００８】
この構成によれば、入力装置を手に装着して操作できるので、オペレータは、情報処理装置に対する入力／非入力の制御を簡易に行うことができる。この入力装置において、前記装着体は、オペレータの手のひら側に前記第１の反射体が位置するように、前記オペレータの手に装着される。
【０００９】
この入力装置において、前記装着体は、オペレータの手のひら側に前記第１の反射体が位置するように、前記オペレータの手に装着される。
【００１０】
この構成によれば、オペレータは、入力装置を装着した手を開いたり閉じたりするだけで、情報処理装置に対する入力／非入力の制御を簡易に行うことができる。つまり、情報処理装置は、手を開いた状態では、第１の反射体が撮影されるため、入力があったと判断でき、手を閉じた状態では、第１の反射体は撮影されず、入力がないと判断できる。
【００１１】
この場合、前記第１の反射体は、透明体（半透明及び有色透明を含む。）で覆われてもよい。この構成によれば、第１の反射体が直接オペレータの手に触れることがないため、第１の反射体の耐久性を向上できる。
【００１２】
一方、上記入力装置において、前記装着体は、オペレータの手の甲の側に前記第１の反射体が位置するように、前記オペレータの手に装着されてもよい。この構成によれば、オペレータは、こぶしを閉じたまま、情報処理装置に対する入力／非入力の制御を簡易に行うことができる。
【００１３】
この場合、前記第１の反射体の反射面は、前記入力装置が前記オペレータの手に装着された状態で、前記オペレータの側を向くように形成される。
【００１４】
この構成によれば、第１の反射体の反射面は、オペレータの手の甲の側であってオペレータを向くように位置するので、オペレータが積極的に反射面を撮影装置に向けない限り、撮影されることはない。従って、誤入力を防止できる。
【００１５】
上記入力装置は、照射された光を反射する第２の反射体をさらに備え、前記第２の反射体は、前記第１の反射体に対向するように、前記装着体に取り付けられ、前記装着体は、前記オペレータの手のひら側に前記第１の反射体が位置するように、かつ、前記オペレータの手の甲の側に前記第２の反射体が位置するように、前記オペレータの手に装着されることができる。
【００１６】
この構成によれば、手の平の側及び甲の側に、それぞれ、第１の反射体及び第２の反射体が装着されるので、入力装置を装着した手を開いたり閉じたりして、情報処理装置に対する入力／非入力の制御を行なうこともできるし、こぶしを閉じたまま、情報処理装置に対する入力／非入力の制御を行うこともできる。
【００１７】
この場合、前記第２の反射体の反射面は、前記入力装置が前記オペレータの手に装着された状態で、前記オペレータの側を向くように形成される。
【００１８】
この構成によれば、第２の反射体の反射面は、オペレータの手の甲の側であってオペレータを向くように位置するので、オペレータが積極的に反射面を撮影装置に向けない限り、撮影されることはない。従って、オペレータが第１の反射体を用いて入力／非入力を行う場合に、第２の反射体が撮影されることはなく、誤入力を防止できる。
【００１９】
上記入力装置において、前記装着体は、帯状の部材である。この構成によれば、オペレータは、簡易に、入力装置を手に装着できる。
【００２０】
本発明の第２の形態によると、入力装置は、プログラムに従った処理を実行する情報処理装置に対して、入力を与えることができる、撮影の被写体としての入力装置であって、照射された光を反射する第１の反射体と、底面を含む複数の面を有し、少なくとも前記底面以外の前記面の側に前記第１の反射体が取り付けられる第１の取付体と、前記底面に沿って前記第１の取付体に取り付けられ、環状体を構成する帯体と、を備え、前記帯体には、オペレータの指が挿入される。
【００２１】
この構成によれば、入力装置を指に装着して操作できるので、オペレータは、情報処理装置に対する入力／非入力の制御を簡易に行うことができる。この入力装置において、前記帯体には、オペレータの手のひら側に前記第１の取付体が位置するように、前記オペレータの指が挿入される。この構成によれば、オペレータは、入力装置を装着した手を開いたり閉じたりするだけで、情報処理装置に対する入力／非入力の制御を簡易に行うことができる。つまり、情報処理装置は、手を開いた状態では、第１の反射体が撮影されるため、入力があったと判断でき、手を閉じた状態では、第１の反射体は撮影されず、入力がないと判断できる。
【００２２】
さらに、この入力装置において、前記第１の反射体は、前記第１の取付体の前記底面以外の前記面の内面に取付けられ、少なくとも前記第１の反射体が取り付けられる前記内面から前記面までは透明色（半透明及び有色透明を含む。）の素材で構成される。
【００２３】
この構成によれば、第１の反射体が直接オペレータの手に触れることがないため、第１の反射体の耐久性を向上できる。
【００２４】
一方、上記入力装置において、前記帯体には、オペレータの指の背面に前記第１の取付体が位置するように、前記オペレータの指が挿入されてもよい。この構成によれば、オペレータは、こぶしを閉じたまま、情報処理装置に対する入力／非入力の制御を簡易に行うことができる。この場合、前記第１の反射体が取り付けられる側の前記面は、前記帯体に前記オペレータの指が差し込まれた状態で、前記オペレータの側を向くように形成されることができる。
【００２５】
この構成によれば、第１の反射体は、オペレータの指の背面であってオペレータを向くように位置するので、オペレータが積極的に第１の反射体を撮影装置に向けない限り、撮影されることはない。従って、誤入力を防止できる。
【００２６】
上記入力装置は、照射された光を反射する第２の反射体と、少なくとも底面を含む複数の面を有し、少なくとも前記底面以外の前記面の側に前記第２の反射体が取り付けられる第２の取付体と、をさらに備え、前記帯体は、前記第１の取付体の前記底面と前記第２の取付体の前記底面とが対向するように、前記各底面に沿って取り付けられ、前記帯体には、前記オペレータの手のひら側に前記第１の取付体が位置するように、かつ、前記オペレータの指の背面に前記第２の取付体が位置するように、前記オペレータの指が挿入されてもよい。
【００２７】
この構成によれば、手の平及び指の背面に、それぞれ、第１の反射体及び第２の反射体が装着されるので、入力装置を装着した手を開いたり閉じたりして、情報処理装置に対する入力／非入力の制御を行なうこともできるし、こぶしを閉じたまま、情報処理装置に対する入力／非入力の制御を行うこともできる。
【００２８】
この入力装置において、前記第２の反射体が取り付けられる側の前記面は、前記帯体に前記オペレータの指が差し込まれた状態で、前記オペレータの側を向くように形成される。この構成によれば、第２の反射体は、オペレータの指の背面であってオペレータを向くように位置するので、オペレータが積極的に第２の反射体を撮影装置に向けない限り、撮影されることはない。従って、オペレータが第１の反射体を用いて入力／非入力を行う場合に、第２の反射体が撮影されることはなく、誤入力を防止できる。
【００２９】
本発明の第３の形態によると、疑似体験方法は、各々オペレータの左右の手で動きが与えられる２つの操作物を検出して、検出結果に基づいて所定の画像を表示装置に表示する疑似体験方法であって、前記操作物を撮影するステップと、前記撮影により得られた画像に基づいて、少なくとも、第１条件及び第２条件を満足したか否かを判定するステップと、少なくとも、前記第１条件及び前記第２条件を満足したときに、前記所定の画像を表示するステップと、を含み、前記第１条件は、前記撮影により得られた前記画像上に前記２つの操作物が写ってないことであり、前記第２条件は、前記第１条件を満足した後、前記撮影により得られた前記画像上に少なくとも１つの前記操作物が写ったことである。
【００３０】
この構成によれば、オペレータは、現実世界では体験できないことを、現実世界の動作（操作物の操作）と表示装置に表示される所定の画像とを通じて体験できる。
【００３１】
この疑似体験方法において、前記第２条件を、前記第１条件を満足した後、前記撮影によって得られた前記画像上に前記２つの操作物が写ったこと、とすることもできる。また、前記第２条件を、前記第１条件を満足した後、前記撮影によって得られた前記画像上に前記２つの操作物が所定の配置で写っていること、とすることもできる。
【００３２】
上記疑似体験方法において、前記所定の画像を表示する前記ステップでは、前記第１条件及び前記第２条件に加えて、第３条件及び第４条件を満足したときに、前記所定の画像を表示し、前記第３条件は、前記第２条件を満足した後、前記撮影によって得られた前記画像上に前記２つの操作物のいずれも写ってないことであり、前記第４条件は、前記第３条件を満足した後、前記撮影によって得られた前記画像上に少なくとも１つの前記操作物が写ったことである。
【００３３】
本発明の第４の形態によると、架空の世界のキャラクタの活躍を疑似体験できるエンタテインメント・システムは、前記エンタテインメント・システムを利用する際に、オペレータが両手に装着し、夫々反射面を有する１対の操作物と、前記操作物を撮像する撮影装置と、前記キャラクタの複数の所定の動作に対応する前記操作物の動きを示す複数の動作パターンと、前記複数の動作パターンに対応して設けられ、前記キャラクタの前記所定の動作によってもたらされる現象を示す複数の動作画像とを記憶する記憶手段とを備え、前記オペレータが、前記操作物を両手に装着し、前記キャラクタの所定の動作のいずれかを行った場合、前記情報処理装置は、前記操作物の位置に基づいて、前記オペレータの行った前記所定の動作が、前記動作パターンのいずれに対応するかを決定し、この決定された動作パターンに対応する前記動作画像を表示するためのビデオ信号を生成する。
【００３４】
この構成によれば、オペレータは、架空の世界のキャラクタの活躍を疑似体験することができる。ここで、この場合のキャラクタは、生成されたビデオ信号に応じて表示装置に映し出される仮想空間のキャラクタという意味ではなく、その仮想空間のモデルとなった架空の世界のキャラクタという意味である。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付してその説明を援用する。
【００３６】
図１は、本発明の実施の形態による情報処理システムの全体構成を示すブロック図である。図１に示すように、この情報処理システムは、情報処理装置１、本発明に関わる入力装置３Ｌ及び３Ｒ、並びにテレビジョンモニタ５を備えており、本発明に関わるエンタテインメント・システムを構成し、本発明に関わる疑似体験方法を実施できる。ここで、入力装置３Ｌ及び３Ｒを区別する必要がないときは、入力装置３と表記する。
【００３７】
図２（ａ）及び図２（ｂ）は、図１の入力装置３の斜視図である。これらの図に示されるように、入力装置３は、透明体４２及び透明体４４のそれぞれの底面側にベルト４０を通して、そのベルト４０を透明体４２の内部で固定してなる。透明体４２の平坦な斜面には、矩形状の再帰反射シート３０が取り付けられる。一方、透明体４４は中空に形成され、その内面全体にわたって（底面側を除く）、再帰反射シート３２が取り付けられる。入力装置３の使用方法は後述する。ここで、入力装置３Ｌ及び３Ｒを区別する必要があるときは、入力装置３Ｌの透明体４２、再帰反射シート３０、透明体４４、及び再帰反射シート３２を、それぞれ、透明体４２Ｌ、再帰反射シート３０Ｌ、透明体４４Ｌ、及び再帰反射シート３２Ｌと表記し、入力装置３Ｒの透明体４２、再帰反射シート３０、透明体４４、及び再帰反射シート３２を、それぞれ、透明体４２Ｒ、再帰反射シート３０Ｒ、透明体４４Ｒ、及び再帰反射シート３２Ｒと表記する。
【００３８】
図１に戻って、情報処理装置１は、ＡＶケーブル７により、テレビジョンモニタ５に接続される。さらに、情報処理装置１には、図示していないが、ＡＣアダプタあるいは電池により電源電圧が供給される。情報処理装置１の背面には、電源スイッチ（図示せず）が設けられる。
【００３９】
情報処理装置１は、その前面側に、赤外光のみを透過する赤外線フィルタ２０が設けられ、さらに、赤外線フィルタ２０を囲むように、赤外光を発生する４つの赤外発光ダイオード１４が露出している。赤外線フィルタ２０の背面側には、後述のイメージセンサ１２が配置される。
【００４０】
４つの赤外発光ダイオード１４は、間欠的に赤外光を発光する。そして、赤外発光ダイオード１４からの赤外光は、入力装置３に取り付けられた再帰反射シート３０あるいは３２により反射され、赤外線フィルタ２０の背面側に設けられたイメージセンサ１２に入力される。このようにして、イメージセンサ１２により、入力装置３が撮影される。赤外光は間欠的に照射されるところ、赤外光の非照射時においても、イメージセンサ１２による撮影処理は行われている。情報処理装置１は、オペレータにより動かされた入力装置３の、赤外光照射時の画像信号と非照射時の画像信号との差分を求めて、この差分信号ＤＩ（差分画像ＤＩ）を基に、入力装置３（つまり再帰反射シート３０あるいは３２）の位置等を算出する。
【００４１】
このように、差分を求めることで、再帰反射シート３０及び３２からの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射シート３０及び３２を検出できる。
【００４２】
図３（ａ）は、図１の入力装置３の使用状態の一例を示す説明図である。図３（ｂ）は、図１の入力装置３の使用状態の他の例を示す説明図である。図３（ｃ）は、図１の入力装置３の使用状態のさらに他の例を示す説明図である。
【００４３】
図３（ａ）に示すように、オペレータは、例えば、中指及び薬指を、透明体４２Ｒの再帰反射シート３０Ｒ側から（図２（ａ）参照）、ベルト４０に通して、図３（ｂ）に示すように、透明体４４Ｒを握り締める。そうすると、透明体４４Ｒ、つまり、再帰反射シート３２Ｒは、手の中に隠れてしまい、イメージセンサ１２に撮影されない。この場合、透明体４２Ｒは、指の背面に位置するため、イメージセンサ１２に撮影されうる。図３（ａ）に戻って、オペレータが、イメージセンサ１２に向けて手を開くと、透明体４４Ｒ、つまり、再帰反射シート３２Ｒが現れ、この再帰反射シート３２Ｒが撮影される。入力装置３Ｌも左手に装着され、入力装置３Ｒと同様に用いられる。
【００４４】
オペレータは、手を開いたり閉じたりする動作によって、イメージセンサ１２に再帰反射シート３２を撮影させたり撮影させなかったりすることにより、情報処理装置１に対する入力を行う場合がある。この場合、指の背面に位置する透明体４２の再帰反射シート３０は、オペレータ側を向くように取り付けられているため、上記のような入力を行う場合、再帰反射シート３０の方は、イメージセンサ１２の撮影範囲に入らないので、透明体４４の再帰反射シート３２だけを撮影することができる。一方、オペレータは、手を握り締めてスイング（例えばフックなどのパンチ）することにより、イメージセンサ１２に、透明体４２の再帰反射シート３０だけを撮影させることができる。
【００４５】
図３（ｃ）に示すように、オペレータは、両方の手首を互いに密着させて、両方の手の平を垂直方向に開くことにより、垂直方向に並んだ２つの再帰反射シート３２Ｌ及び３２Ｒを、イメージセンサ１２に撮影させて、情報処理装置１への入力とすることもできる。もちろん、水平方向でも可能である。
【００４６】
図４は、図１の情報処理装置１の電気的構成を示す図である。図４に示すように、情報処理装置１は、マルチメディアプロセッサ１０、イメージセンサ１２、赤外発光ダイオード１４、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６、及びバス１８を含む。
【００４７】
マルチメディアプロセッサ１０は、バス１８を通じて、ＲＯＭ１６にアクセスできる。従って、マルチメディアプロセッサ１０は、ＲＯＭ１６に格納されたプログラムを実行でき、また、ＲＯＭ１６に格納されたデータをリードして処理することができる。このＲＯＭ１６に、プログラム、画像データ、及び音声データ等が予め格納される。
【００４８】
このマルチメディアプロセッサは、図示しないが、中央演算処理装置（以下、「ＣＰＵ」と呼ぶ。）、グラフィックスプロセシングユニット（以下、「ＧＰＵ」と呼ぶ。）、サウンドプロセシングユニット（以下、「ＳＰＵ」と呼ぶ。）、ジオメトリエンジン（以下、「ＧＥ」と呼ぶ。）、外部インタフェースブロック、メインＲＡＭ、及びＡ／Ｄコンバータ（以下、「ＡＤＣ」と呼ぶ。）などを具備する。
【００４９】
ＣＰＵは、ＲＯＭ１６に格納されたプログラムを実行して、各種演算やシステム全体の制御を行う。グラフィックス処理に関するＣＰＵの処理として、ＲＯＭ１６に格納されたプログラムを実行して、各オブジェクトの拡大・縮小、回転、及び／又は平行移動のパラメータ、視点座標（カメラ座標）、並びに視線ベクトルの算出等を行う。ここで、１または複数のポリゴン又はスプライトから構成され、同じ拡大・縮小、回転、及び平行移動の変換が適用される単位を「オブジェクト」と呼ぶ。
【００５０】
ＧＰＵは、ポリゴン及びスプライトから構成される三次元イメージをリアルタイムに生成し、アナログのコンポジットビデオ信号に変換する。ＳＰＵは、ＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）波形データ、アンプリチュードデータ、及びメインボリュームデータを生成し、これらをアナログ乗算して、アナログオーディオ信号を生成する。ＧＥは、三次元イメージを表示するための幾何演算を実行する。具体的には、ＧＥは、行列積、ベクトルアフィン変換、ベクトル直交変換、透視投影変換、頂点明度／ポリゴン明度計算（ベクトル内積）、及びポリゴン裏面カリング処理（ベクトル外積）などの演算を実行する。
【００５１】
外部インタフェースブロックは、周辺装置（本実施の形態ではイメージセンサ１２及び赤外発光ダイオード１４）とのインタフェースであり、２４チャンネルのプログラマブルなデジタル入出力（Ｉ／Ｏ）ポートを含む。ＡＤＣは、４チャンネルのアナログ入力ポートに接続され、これらを介して、アナログ入力装置（本実施の形態ではイメージセンサ１２）から入力されたアナログ信号をデジタル信号に変換する。メインＲＡＭは、ＣＰＵのワーク領域、変数格納領域、および仮想記憶機構管理領域等として利用される。
【００５２】
さて、入力装置３は、赤外発光ダイオード１４の赤外光に照射され、その赤外光を再帰反射シート３０あるいは３２で反射する。この再帰反射シート３０あるいは３２からの反射光がイメージセンサ１２によって撮影され、したがって、イメージセンサ１２からは再帰反射シート３０あるいは３２を含む画像信号が出力される。上記のように、マルチメディアプロセッサ１０は、ストロボ撮影のために、赤外発光ダイオード１４を間欠的に点滅するので、イメージセンサ１２からは、赤外光消灯時の画像信号も出力される。イメージセンサ１２からのこれらのアナログ画像信号はマルチメディアプロセッサ１０に内蔵されたＡＤＣによってデジタルデータに変換される。
【００５３】
マルチメディアプロセッサ１０は、イメージセンサ１２からＡＤＣを介して入力されるデジタル画像信号から上記の差分信号ＤＩ（差分画像ＤＩ）を生成して、これに基づき、入力装置３による入力の有無の判定や、入力装置３の位置等の算出を行い、他の演算、グラフィック処理、及びサウンド処理等を実行し、ビデオ信号およびオーディオ信号を出力する。ビデオ信号およびオーディオ信号は、ＡＶケーブル７によりテレビジョンモニタ５に与えられ、応じて、テレビジョンモニタ５に映像が表示され、そのスピーカ（図示せず）から音声が出力される。
【００５４】
さて、次に、図５から図７を適宜参照しながら、情報処理装置１に対する入力装置３によるいくつかの入力例及びそれに対する情報処理装置１の応答例を説明する。図５から図７では、プレイヤの視点で表示された画面の例であり、プレイヤキャラクタが敵キャラクタと戦う戦闘ゲームを例に挙げている。従って、ゲーム画面にはプレイヤキャラクタは表示されない。
【００５５】
図５は、図１のテレビジョンモニタ５に表示されるゲーム画面の例示図である。図５に示すように、このゲーム画面は、敵キャラクタ５０、敵キャラクタ５０の体力を示す体力ゲージ５６、プレイヤキャラクタの体力を示す体力ゲージ５２、及びプレイヤキャラクタの気を示す気ゲージ５４を含む。体力ゲージ５２及び５６が示す体力は、相手から有効な攻撃を受けるたびに減少する。
【００５６】
無入力の状態（つまり、いずれの再帰反射シート３０Ｌ，３０Ｒ，３２Ｌ及び３２Ｒも検知（撮影）されていない状態）から、再帰反射シート３０Ｌ，３０Ｒ，３２Ｌあるいは３２Ｒのいずれか１つが検知（撮影）された場合であって、かつ、遠距離戦（敵キャラクタとプレイヤキャラクタとの間の仮想空間内での距離が一定値を超えている場合）の場合は、図５に示すように、情報処理装置１は、テレビジョンモニタ５に、再帰反射シートの検知位置に応じた位置から、画面の奥の方へ飛んでいく攻撃オブジェクト６４（以下、「弾オブジェクト６４」と呼ぶ。）を次々に表示する（連射）。従って、このような入力操作を適切な位置で行うと、弾オブジェクト６４を敵キャラクタ５０に当てることができる。
【００５７】
ここで、無入力の状態から、再帰反射シート３０Ｌ，３０Ｒ，３２Ｌあるいは３２Ｒのいずれか１つが検知された場合とは、例えば、透明体４４を握り締めた片方の手をイメージセンサ１２（情報処理装置１）に向けて開くことによって、再帰反射シート３２が撮影される場合である。
【００５８】
気ゲージ５４が示す気は、弾オブジェクト６４の出現数（つまり、発射数）に伴って減少していく。このように、気ゲージ５４が示す気は、発射のたびに減少し、また、後述の必殺技ＡあるいはＢを使うと一気に「０」になるが、一定時間で回復する。気ゲージ５４が示す気が、エリア５８，６０及び６２のうちのどのエリアに位置するかによって、弾オブジェクト６４の連射速度が異なる。
【００５９】
図６は、図１のテレビジョンモニタ５に表示されるゲーム画面の他の例示図である。所定時間を超えて２つの再帰反射シートが垂直方向に並んで検出（撮影）された場合は、図６に示すように、情報処理装置１は、テレビジョンモニタ５に、画面の奥の方へ延びていく攻撃オブジェクト８２（以下、「攻撃波８２」と呼ぶ。）を表示する（必殺技Ａ）。
【００６０】
この場合、情報処理装置１は、イメージセンサ１２に基づく上記した差分画像ＤＩ上の一方再帰反射シートの水平座標と他方再帰反射シートの水平座標との差が水平一定値より小さく、かつ、当該差分画像ＤＩ上の当該一方再帰反射シートの垂直座標と当該他方再帰反射シートの垂直座標との差が垂直一定値を超えていることを、２つの再帰反射シートが垂直方向に並んで検出されたと判断する条件にする。なお、水平一定値＜垂直一定値、である。
【００６１】
ここで、２つの再帰反射シートが垂直方向に並んで検出される場合とは、例えば、図３（ｃ）に示した状態で、再帰反射シート３２Ｌ及び３２Ｒが検出される場合である。
【００６２】
さて、情報処理装置１は、巧く戦ったり防御したりすることにより増加する隠しパラメータ設け、これをゲームに反映させることができる。上記の必殺技Ａを繰り出せる条件として、この隠しパラメータが第１の一定値を超えていることをさらに追加することができる。
【００６３】
図７は、図１のテレビジョンモニタ５に表示されるゲーム画面のさらに他の例示図である。所定時間を超えて２つの再帰反射シートが垂直方向に並んで検出（撮影）され、かつ、隠しパラメータが第２の一定値（＞第１の一定値）を超えている場合は、図７に示すように、情報処理装置１は、テレビジョンモニタ５に、攻撃オブジェクト９２（以下、「攻撃玉９２」と呼ぶ。）を表示する。
【００６４】
そして、２つの再帰反射シートが水平方向に並んで検出（撮影）された状態から、それらが垂直上方向に移動すると（つまり、プレイヤが両手を離して両腕を垂直上方向に移動させると）、これに伴って攻撃玉９２も垂直上方向に移動し、さらに、それらが垂直下方向に移動すると（つまり、プレイヤが両手を離して両腕を垂直下方向に移動させると）、これに伴って攻撃玉９２も垂直下方向に移動し、攻撃玉９２が爆発する（必殺技Ｂ）。
【００６５】
上記以外にも例えば、次のような入力及び応答がある。情報処理装置１は、再帰反射シート３０Ｌ，３０Ｒ，３２Ｌあるいは３２Ｒのいずれか１つが検知（撮影）された場合であって、かつ、遠距離戦の場合であって、かつ、検知された再帰反射シートが、上記した差分画像ＤＩ上で、一定速度を超えて移動した場合に、検知された再帰反射シートの動きに応じて動く盾オブジェクトをテレビジョンモニタ５に表示することもできる。この盾オブジェクトによって、敵キャラクタの攻撃を防御できる。
【００６６】
また、情報処理装置１は、所定時間を超えて２つの再帰反射シートが水平方向に並んで検出（撮影）された場合は、気ゲージ５４が示す気を急速にチャージすることができる。さらに、情報処理装置１は、気ゲージ５４がフルチャージの場合であって、かつ、遠距離戦の場合で、かつ、所定時間を超えて２つの再帰反射シートが水平方向に並んで検出（撮影）された場合は、攻撃力を示す攻撃力パラメータを増大させることもできる（プレイヤキャラクタの変身）。
【００６７】
情報処理装置１は、無入力の状態から、再帰反射シート３０Ｌ，３０Ｒ，３２Ｌあるいは３２Ｒのいずれか１つが検知（撮影）された場合であって、かつ、近距離戦（敵キャラクタとプレイヤキャラクタとの間の仮想空間内での距離が一定値以下）の場合は、テレビジョンモニタ５に、再帰反射シートの検知位置に応じた位置から、画面の奥の方へ向かう軌跡を描くパンチを表示する。従って、このような入力操作を適切な位置で行うと、パンチを敵キャラクタ５０に当てることができる。
【００６８】
また、再帰反射シート３０Ｌ，３０Ｒ，３２Ｌあるいは３２Ｒのいずれか１つが検知（撮影）された場合であって、かつ、近距離戦の場合、かつ、検知された再帰反射シートが、上記した差分画像ＤＩ上で、一定速度を超えて移動した場合に、検知された再帰反射シートの動きに応じた軌跡を描くパンチをテレビジョンモニタ５に表示することもできる。従って、このような入力操作を適切な位置で行うと、パンチを敵キャラクタ５０に当てることができる。
【００６９】
次に、入力装置３による入力の種類について説明する。なお、入力の判断は、ビデオフレームを更新するたびに（例えば、１／６０秒ごと）、差分画像ＤＩに基づきマルチメディアプロセッサ１０によって行われる。図８（ａ）乃至図８（ｉ）及び図９（ａ）乃至図９（ｌ）は、図１の入力装置３による入力態様の説明図である。図８（ａ）に示すように、入力装置３のいずれもがイメージセンサ１２に撮影されていない状態から、いずれかの入力装置３の再帰反射シートが撮影された場合、マルチメディアプロセッサ１０は、第一の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、両手を握り締めた状態から一方の手を開いた場合である。
【００７０】
図８（ｂ）に示すように、入力装置３の一方の再帰反射シートが継続して撮影された場合、マルチメディアプロセッサ１０は、第二の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、一方の手を握り締めている一方、他方の手を開いた状態を続けている場合である。
【００７１】
図８（ｃ）に示すように、入力装置３の一方が一定値を超える速度で移動した場合、移動方向に関係なく、マルチメディアプロセッサ１０は、第三の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、一方の手を握り締めている一方、他方の手を開いた状態で動かす場合や、両手を握り締めながらも、一方の手でパンチ（例えばフック）を行う場合である。
【００７２】
図８（ｄ）に示すように、入力装置３Ｌ及び３Ｒのいずれもがイメージセンサ１２に撮影されていない状態から、双方の入力装置３Ｌ及び３Ｒの再帰反射シートが撮影された場合であって、双方間の水平方向の距離が第１水平所定値を超え、かつ、双方間の垂直方向の距離が第１垂直所定値以下の場合に、マルチメディアプロセッサ１０は、第四の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に並べた両手を握り締めた状態から両手を開いた場合である。第１水平所定値＞第１垂直所定値、である。なお、入力装置３Ｌ及び３Ｒのいずれもがイメージセンサ１２に撮影されていない状態から、双方の入力装置３Ｌ及び３Ｒの再帰反射シートが撮影された場合に、第四の入力があったと判断することもできる。
【００７３】
図８（ｅ）に示すように、入力装置３Ｌ及び３Ｒのいずれもがイメージセンサ１２に撮影されていない状態から、双方の入力装置３Ｌ及び３Ｒの再帰反射シートが撮影された場合であって、双方間の水平方向の距離が第２水平所定値以下であり、かつ、双方間の垂直方向の距離が第２垂直所定値を超えた場合に、マルチメディアプロセッサ１０は、第五の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、垂直方向に並べた両手を握り締めた状態から両手を開いた場合である。第２水平所定値＜第２垂直所定値、である。
【００７４】
図８（ｆ）に示すように、双方の入力装置３Ｌ及び３Ｒの再帰反射シートが継続して撮影された場合であって、双方間の水平方向の距離が上記第１水平所定値を超え、かつ、双方間の垂直方向の距離が上記第１垂直所定値以下の場合に、マルチメディアプロセッサ１０は、第六の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に並べた両手を継続して開いている場合である。なお、双方の入力装置３Ｌ及び３Ｒの再帰反射シートが継続して撮影された場合に、第六の入力があったと判断することもできる。
【００７５】
図８（ｇ）に示すように、双方の入力装置３Ｌ及び３Ｒの再帰反射シートが継続して撮影された場合であって、双方間の水平方向の距離が上記第２水平所定値以下であり、かつ、双方間の垂直方向の距離が上記第２垂直所定値を超えている場合に、マルチメディアプロセッサ１０は、第七の入力があったと判断することができる。例えば、図３（ｃ）に示すような状態が継続した場合である。
【００７６】
図８（ｈ）に示すように、入力装置３Ｌ及び３Ｒのそれぞれが、垂直上方向に一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第八の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に並べた両手を開いたまま、垂直上方向に動かした場合である。
【００７７】
図８（ｉ）に示すように、入力装置３Ｌ及び３Ｒのそれぞれが、垂直下方向に一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第九の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に並べた両手を開いたまま、垂直下方向に動かした場合である。
【００７８】
図９（ａ）に示すように、入力装置３Ｌ及び３Ｒのそれぞれが、斜め上方向に広がるように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に近接して並んだ両手を開いたまま、斜め上方向に広がるように動かした場合である。
【００７９】
図９（ｂ）に示すように、入力装置３Ｌ及び３Ｒのそれぞれが、斜め下方向に狭まるように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十一の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に離れて並んだ両手を開いたまま、斜め下方向に狭まるように動かした場合である。
【００８０】
図９（ｃ）に示すように、入力装置３Ｌ及び３Ｒのそれぞれが、斜め下方向に広がるように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十二の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に近接して並んだ両手を開いたまま、斜め下方向に広がるように動かした場合である。
【００８１】
図９（ｄ）に示すように、入力装置３Ｌ及び３Ｒのそれぞれが、斜め上方向に狭まるように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十三の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に離れて並んだ両手を開いたまま、斜め上方向に狭まるように動かした場合である。
【００８２】
図９（ｅ）に示すように、入力装置３Ｌ及び３Ｒが、左右に開くように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十四の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に近接して並んだ両手を開いたまま、左右に開くように動かした場合である。
【００８３】
図９（ｆ）に示すように、水平方向に離れて並んだ入力装置３Ｌ及び３Ｒが、閉じるように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十五の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、水平方向に離れて並んだ両手を閉じるように、かつ手の平を開いたまま動かした場合である。
【００８４】
図９（ｇ）に示すように、入力装置３Ｌ及び３Ｒが、上下に開くように一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十六の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、垂直方向に近接して並んだ両手を開いたまま、上下に開くように動かした場合である。
【００８５】
図９（ｈ）に示すように、垂直方向に離れて並んだ入力装置３Ｌ及び３Ｒが、閉じるよう一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十七の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、垂直方向に離れて並んだ両手を閉じるように、かつ手の平を開いたまま動かした場合である。
【００８６】
図９（ｉ）に示すように、近接した入力装置３Ｌ及び３Ｒのそれぞれが、右から左に一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十八の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、手の平を開いたまま右から左に近接した両手を動かした場合である。
【００８７】
図９（ｊ）に示すように、近接した入力装置３Ｌ及び３Ｒのそれぞれが、左から右に一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第十九の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、手の平を開いたまま左から右に近接した両手を動かした場合である。
【００８８】
図９（ｋ）に示すように、近接した入力装置３Ｌ及び３Ｒのそれぞれが、上から下に一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第二十の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、手の平を開いたまま上から下に近接した両手を動かした場合である。
【００８９】
図９（ｌ）に示すように、近接した入力装置３Ｌ及び３Ｒのそれぞれが、下から上に一定速度を超えて移動した場合に、マルチメディアプロセッサ１０は、第二十一の入力があったと判断することができる。例えば、入力装置３を把持したプレイヤが、手の平を開いたまま下から上に近接した両手を動かした場合である。
【００９０】
以上のように、２１種類の入力例を挙げた。従って、この例では、マルチメディアプロセッサ１０は、各入力に対応する演算を実行して、各入力に対応する画像を生成できる。また、同じ種類の入力であっても、シーン（例えば、遠距離戦と近距離戦、プレイヤキャラクタの変身状態、ゲームの進行によって変動するパラメータ（例えば、隠しパラメータ）、それらの組み合わせ等）によって、応答（生成する画像）を異ならせることもできる。
【００９１】
入力の特定の組み合わせが特定の順番で行われたときに、特定の入力があったと判断して、その特定の入力に対応する演算を実行して、対応する画像を生成することもできる。また、入力の特定の組み合わせが特定の順番で行われたときでも、シーン（例えば、遠距離戦と近距離戦、プレイヤキャラクタの変身状態、ゲームの進行によって変動するパラメータ（例えば、隠しパラメータ）、それらの組み合わせ等）によって、応答（生成する画像）を異ならせることもできる。
【００９２】
所定の応答が行われる条件として、入力状態の一定時間以上の継続を加えることができる。また、所定の応答が行われる条件として、所定あるいは任意の音声入力があったことを加えることができる。この場合には、マイクロフォン等の音声入力装置を搭載する必要がある。
【００９３】
入力に対する応答についていくつか例示する。マルチメディアプロセッサ１０が上記した必殺技Ａの画像８２を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ａを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ａを発動するための条件とする。そして、いずれの入力装置３も撮影されない無入力状態が一定時間以上続いた後、図８（ｇ）の第七の入力があったとき、マルチメディアプロセッサ１０は、必殺技Ａの画像８２を生成して、これがテレビジョンモニタ５に表示される。
【００９４】
マルチメディアプロセッサ１０が上記した必殺技Ｂの画像９２を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ｂを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ｂを発動するための条件とする。そして、図８（ｈ）の第八の入力があって、次に、図８（ｆ）の第６の入力が一定時間以上継続し、さらに次に、図８（ｉ）の第九の入力があったときに、マルチメディアプロセッサ１０は、必殺技Ｂの画像９２を生成して、これがテレビジョンモニタ５に表示される。
【００９５】
マルチメディアプロセッサ１０が必殺技Ｃの画像（図示せず）を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ｃを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ｃを発動するための条件とする。そして、図８（ｆ）の第六の入力が一定時間以上継続し、次に、無入力の状態を経て、図８（ｃ）の第三の入力があったとき、その第三の入力が、入力装置３が下から上に向かう垂直方向への移動である場合に、マルチメディアプロセッサ１０は、必殺技Ｃの画像を生成して、これがテレビジョンモニタ５に表示される。
【００９６】
マルチメディアプロセッサ１０が必殺技Ｄの画像（図示せず）を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ｄを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ｄを発動するための条件とする。そして、図８（ｂ）の第二の入力が一定時間以上継続し、無入力の状態を経て、図８（ａ）の第一の入力があったときに、マルチメディアプロセッサ１０は、必殺技Ｄの画像を生成して、これがテレビジョンモニタ５に表示される。
【００９７】
マルチメディアプロセッサ１０が必殺技Ｅの画像（図示せず）を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ｅを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ｅを発動するための条件とする。そして、図９（ａ）の第十の入力があって、次に、図９（ｆ）の第十五の入力があったときに、マルチメディアプロセッサ１０は、必殺技Ｅの画像を生成して、これがテレビジョンモニタ５に表示される。
【００９８】
マルチメディアプロセッサ１０が必殺技Ｆの画像（図示せず）を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ｆを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ｆを発動するための条件とする。そして、図８（ｆ）の第六の入力が一定時間以上継続し、次に、図８（ａ）の第一の入力があったときに、マルチメディアプロセッサ１０は、必殺技Ｆの画像を生成して、これがテレビジョンモニタ５に表示される。
【００９９】
マルチメディアプロセッサ１０が必殺技Ｇの画像（図示せず）を生成する条件を説明する。マルチメディアプロセッサ１０が、必殺技Ｇを繰り出すことが可能な状態であることを示す文字等をテレビジョンモニタ５に表示する。この画像が表示されているときに、図８（ｅ）の第五の入力があったことを、必殺技Ｇを発動するための条件とする。そして、図８（ｈ）の第八の入力があり、次に、図８（ｉ）の第九の入力があったときに、マルチメディアプロセッサ１０は、必殺技Ｇの画像を生成して、これがテレビジョンモニタ５に表示される。
【０１００】
マルチメディアプロセッサ１０がプレイヤキャラクタを変身させる条件を説明する。図９（ａ）の第十の入力があったとき、マルチメディアプロセッサ１０は、一定量の体力消費（例えば、満タンの１／８）を条件に、プレイヤキャラクタを変身させる。この場合、プレイヤキャラクタの変身状態によって、同じ入力でも、必殺技の画像を異ならせることができる。
【０１０１】
マルチメディアプロセッサ１０が攻撃オブジェクトｓｈ１の画像（図示せず）を生成する条件を説明する。遠距離戦の場合であって、図８（ｂ）の第二の入力が一定時間以上継続し、次に、無入力の状態を経て、図８（ｄ）の第四の入力があったとき、マルチメディアプロセッサ１０は、攻撃オブジェクトｓｈ１の画像を生成して、これがテレビジョンモニタ５に表示される。
【０１０２】
マルチメディアプロセッサ１０が帯状の透明又は半透明の盾オブジェクトＳＬ１（図示せず）を表示する条件を説明する。マルチメディアプロセッサ１０は、遠距離戦であって、図８（ｃ）の第三の入力があったとき、入力装置３の移動方向に移動し、かつ、入力装置３の移動方向に応じた傾きを持った盾オブジェクトＳＬ１の画像を生成して、これがテレビジョンモニタ５に表示される。この盾オブジェクトＳＬ１によって敵キャラクタの攻撃を防御できる。
【０１０３】
マルチメディアプロセッサ１０が所定形状の盾オブジェクトＳＬ２（図示せず）の画像を表示する条件を説明する。マルチメディアプロセッサ１０は、近距離戦であって、図８（ｆ）の第六の入力があったとき、盾オブジェクトＳＬ２の画像を生成して、これがテレビジョンモニタ５に表示される。この盾オブジェクトＳＬ２によって敵キャラクタの攻撃を防御できる。
【０１０４】
マルチメディアプロセッサ１０が弾オブジェクト６４の画像を表示する条件を説明する。マルチメディアプロセッサ１０は、遠距離戦のとき、図８（ａ）の第一の入力があったことをトリガとして、図８（ｂ）の第二の入力状態が続く限り、入力装置３の検知位置に応じた位置から、画面の奥の方へ飛んでいく弾オブジェクト６４を次々に生成して、これらがテレビジョンモニタ５に表示される。
【０１０５】
マルチメディアプロセッサ１０がストレートパンチ画像ＰＣ１（図示せず）を表示する条件を説明する。マルチメディアプロセッサ１０は、近距離戦のとき、図８（ａ）の第一の入力があった場合、ストレートパンチ画像ＰＣ１を生成して、これがテレビジョンモニタ５に表示される。
【０１０６】
マルチメディアプロセッサ１０がフックパンチ画像ＰＣ２（図示せず）を表示する条件を説明する。マルチメディアプロセッサ１０は、近距離戦のとき、図８（ｃ）の第三の入力があった場合、入力装置３の移動方向に繰り出されるフックパンチ画像ＰＣ２を生成して、これがテレビジョンモニタ５に表示される。
【０１０７】
以上、複数入力の組み合わせに対応した応答の例および単独入力に対応した応答の例を挙げたが、入力及び応答の組み合わせはこれらに限定されない。
【０１０８】
さて、次に、図１の情報処理装置１による処理をフローチャートを用いて説明する。
【０１０９】
図１０は、図１の情報処理装置１による全体処理の流れの一例を示すフローチャートである。図１０を参照して、ステップＳ１では、マルチメディアプロセッサ１０は、システムの初期化処理を実行する。この初期化処理には、各種フラグ、各種カウンタ、及び各種変数の初期設定が含まれる。ステップＳ２にて、マルチメディアプロセッサ１０は、赤外発光ダイオード１４を駆動して、入力装置３の撮影処理を行う。
【０１１０】
図１１は、図１０のステップＳ２の撮影処理の流れの一例を示すフローチャートである。図１１を参照して、ステップＳ２０において、マルチメディアプロセッサ１０は、赤外発光ダイオード１４を点灯する。ステップＳ２１で、マルチメディアプロセッサ１０は、イメージセンサ１２から、赤外光点灯時の画像データを取得して、内部のメインＲＡＭに格納する。以下、イメージセンサ１２が生成した３２ピクセル×３２ピクセルの画像（データ）を「センサイメージ（データ）」と呼ぶ。
【０１１１】
ここで、本実施の形態では、イメージセンサ１２の例として、３２ピクセル×３２ピクセルのＣＭＯＳイメージセンサを使用する。そして、水平方向をＸ軸、垂直方向をＹ軸とする。従って、イメージセンサ１２からは、センサイメージデータとして、３２ピクセル×３２ピクセルのピクセルデータ（ピクセル単位の輝度データ）が出力される。この全てのピクセルデータは、内部のＡＤＣにより、デジタルデータに変換されて、内部のメインＲＡＭ上の配列Ｐ１［Ｘ］［Ｙ］に格納される。
【０１１２】
ステップＳ２２で、マルチメディアプロセッサ１０は、赤外発光ダイオード１４を消灯する。ステップＳ２３にて、マルチメディアプロセッサ１０は、イメージセンサ１２から、赤外光消灯時のセンサイメージデータ（３２ピクセル×３２ピクセルのピクセルデータ）を取得して、デジタルデータに変換後、内部のメインＲＡＭに格納する。この場合、赤外光消灯時のセンサイメージデータは、メインＲＡＭ上の配列Ｐ２［Ｘ］［Ｙ］に格納される。
【０１１３】
以上のようにして、ストロボ撮影が行われる。なお、本実施の形態では、３２ピクセル×３２ピクセルのイメージセンサ１２を用いているため、Ｘ＝０〜３１、Ｙ＝０〜３１であり、左上角を原点とし、水平右方向をＸ軸の正方向、垂直下方向をＹ軸の正方向とする。
【０１１４】
図１０に戻って、ステップＳ３にて、マルチメディアプロセッサ１０は、入力装置３の位置を示す注目点の抽出処理を実行する。
【０１１５】
図１２は、図１０のステップＳ３の注目点抽出処理の流れの一例を示すフローチャートである。図１２を参照して、ステップＳ３０にて、マルチメディアプロセッサ１０は、センサイメージの全ピクセルに対して、赤外発光ダイオード１４の点灯時のピクセルデータＰ１［Ｘ］［Ｙ］と、赤外発光ダイオード１４の消灯時のピクセルデータＰ２［Ｘ］［Ｙ］と、の差分を算出して、差分データを、配列Ｄｉｆ［Ｘ］[Ｙ]に代入する。
【０１１６】
このように、差分データ（差分画像）を求めることで、入力装置３（再帰反射シート３０及び３２）からの反射光以外の光によるノイズを極力除去でき、精度良く入力装置３（再帰反射シート３０及び３２）を検出できる。
【０１１７】
ステップＳ３１にて、マルチメディアプロセッサ１０は、配列Ｄｉｆ［Ｘ］［Ｙ］の全要素をスキャンして、その中から、最大値、つまり、最大輝度値Ｄｉｆ［Ｘｃ１］［Ｙｃ１］を検出する（ステップＳ３２）。ステップＳ３３にて、マルチメディアプロセッサ１０は、検出した最大輝度値と所定の閾値Ｔｈとを比較して、最大輝度値が大きい場合はステップＳ３４に進み、それ以外はステップＳ４２及びＳ４３に進んで、第１抽出フラグ及び第２抽出フラグをオフにする。
【０１１８】
ステップＳ３４では、マルチメディアプロセッサ１０は、最大輝度値Ｄｉｆ［Ｘｃ１］［Ｙｃ１］を有するピクセルの座標（Ｘｃ１，Ｙｃ１）を注目点の座標とする。そして、ステップＳ３５にて、マルチメディアプロセッサ１０は、注目点が一つ抽出されたことを示す第１抽出フラグをオンにする。
【０１１９】
ステップＳ３６にて、マルチメディアプロセッサ１０は、最大輝度値Ｄｉｆ［Ｘｃ１］［Ｙｃ１］のピクセルを中心に所定範囲をマスクする。ステップＳ３７にて、マルチメディアプロセッサ１０は、マスクされた所定範囲を除いて、配列Ｄｉｆ［Ｘ］［Ｙ］の要素をスキャンし、その中から、最大値、つまり、最大輝度値Ｄｉｆ［Ｘｃ２］［Ｙｃ２］を検出する（ステップＳ３８）。
【０１２０】
ステップＳ３９にて、マルチメディアプロセッサ１０は、検出した最大輝度値と所定の閾値Ｔｈとを比較して、最大輝度値が大きい場合はステップＳ４０に進み、それ以外はステップＳ４３に進んで、第２抽出フラグをオフにする。
【０１２１】
ステップＳ４０では、マルチメディアプロセッサ１０は、最大輝度値Ｄｉｆ［Ｘｃ２］［Ｙｃ２］に対応するピクセルの座標（Ｘｃ２，Ｙｃ２）を注目点の座標とする。そして、ステップＳ４１にて、マルチメディアプロセッサ１０は、注目点が２つ抽出されたことを示す第２抽出フラグをオンにする。
【０１２２】
ステップＳ４４にて、マルチメディアプロセッサ１０は、第１抽出フラグのみがオンの場合は、今回の注目点（Ｘｃ１，Ｙｃ１）と前回の第１注目点との距離Ｄ１と、今回の注目点（Ｘｃ１，Ｙｃ１）と前回の第２注目点との距離Ｄ２と、を比較し、前回の第１注目点に近いときは、今回の注目点（Ｘｃ１，Ｙｃ１）を今回の第１注目点とし、前回の第２注目点に近いときは、今回の注目点（Ｘｃ１，Ｙｃ１）を今回の第２注目点とする。なお、距離Ｄ１とＤ２とが同じ場合は、今回の注目点（Ｘｃ１，Ｙｃ１）を今回の第１注目点とする。
【０１２３】
一方、マルチメディアプロセッサ１０は、第２抽出フラグがオン（当然、第１抽出フラグもオン）の場合は、今回の注目点（Ｘｃ１，Ｙｃ１）と前回の第１注目点との距離Ｄ３と、今回の注目点（Ｘｃ２，Ｙｃ２）と前回の第１注目点との距離Ｄ４と、を比較し、今回の注目点（Ｘｃ１，Ｙｃ１）が前回の第１注目点に近いときは、今回の注目点（Ｘｃ１，Ｙｃ１）を今回の第１注目点とするとともに、今回の注目点（Ｘｃ２，Ｙｃ２）を今回の第２注目点とし、今回の注目点（Ｘｃ２，Ｙｃ２）が前回の第１注目点に近いときは、今回の注目点（Ｘｃ２，Ｙｃ２）を今回の第１注目点とするとともに、今回の注目点（Ｘｃ１，Ｙｃ１）を今回の第２注目点とする。なお、距離Ｄ３とＤ４とが同じ場合は、今回の注目点（Ｘｃ１，Ｙｃ１）を今回の第１注目点とするとともに、今回の注目点（Ｘｃ２，Ｙｃ２）を今回の第２注目点とする。
【０１２４】
なお、第１抽出フラグのみがオンの場合と同様にして、第２抽出フラグがオンの場合の今回の第１注目点を決定し、その後、第２注目点を決定してもよい。
【０１２５】
以上のような図１２の処理は、入力装置３Ｌの再帰反射シート３０Ｌ又は３２Ｌ、および、入力装置３Ｒの再帰反射シート３０Ｒ又は３２Ｒの検出処理である。
【０１２６】
図１０に戻って、ステップＳ４では、入力判定処理を実行する。
【０１２７】
図１３は、図１０のステップＳ４の入力判定処理の流れの一例を示すフローチャートである。図１３を参照して、ステップＳ５０にて、マルチメディアプロセッサ１０は、カウンタｉをクリアする。ステップＳ５１にて、マルチメディアプロセッサ１０は、カウンタｉを１つインクリメントする。
【０１２８】
ステップＳ５２にて、マルチメディアプロセッサ１０は、カウント値ｗ１［ｉ−１］が所定値Ｔｗ１以下か否かを判断し、「Ｙｅｓ」を判断するとステップＳ５３に進み、「Ｎｏ」を判断するとステップＳ６２に進む。ステップＳ５３にて、マルチメディアプロセッサ１０は、第ｉ入力フラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ５８に進み、「Ｎｏ」を判断するとステップＳ５４に進む。
【０１２９】
ステップＳ５４では、マルチメディアプロセッサ１０は、第ｉ注目点が存在するか否かを判断し、「Ｙｅｓ」を判断するとステップＳ５５に進み、「Ｎｏ」を判断するとステップＳ５９に進む。
【０１３０】
ステップＳ５９では、マルチメディアプロセッサ１０は、同時入力フラグをオフにし、続くステップＳ６０にて、カウンタｔ［ｉ−１］を１つインクリメントして、ステップＳ６１に進む。
【０１３１】
ステップＳ５４で「Ｙｅｓ」が判断された後、ステップＳ５５では、マルチメディアプロセッサ１０は、同時入力フラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ５７に進み、「Ｎｏ」を判断するとステップＳ５６に進む。ステップＳ５６では、マルチメディアプロセッサ１０は、カウント値ｔ［ｉ−１］が所定値Ｔ以上か否かを判断し、「Ｎｏ」を判断するとステップＳ６１に進む。
【０１３２】
ステップＳ５５で「Ｙｅｓ」が判断された後、あるいは、ステップＳ５６で「Ｙｅｓ」が判断された後、ステップＳ５７では、マルチメディアプロセッサ１０は、第ｉ入力フラグをオンにして、ステップＳ６１に進む。
【０１３３】
ステップＳ５３で「Ｙｅｓ」が判断された後、ステップＳ５８にて、マルチメディアプロセッサ１０は、カウンタｗ１［ｉ−１］を１つインクリメントして、ステップＳ６１に進む。
【０１３４】
ステップＳ６１でカウント値ｉ＝２になるまで、あるいは、ステップＳ５２で「Ｎｏ」が判断されるまで、ステップＳ５１〜Ｓ６１が繰り返される。
【０１３５】
ステップＳ５２で「Ｎｏ」が判断された後、ステップＳ６２では、マルチメディアプロセッサ１０は、第１及び第２入力フラグの双方がオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ６３に進み、「Ｎｏ」を判断するとステップＳ６５に進む。
【０１３６】
ステップＳ６３では、マルチメディアプロセッサ１０は、同時入力フラグをオンにする。ステップＳ６４にて、マルチメディアプロセッサ１０は、第１及び第２入力フラグの双方をオフにする。
【０１３７】
ステップＳ６４の後、あるいは、ステップＳ６２で「Ｎｏ」が判断された後、マルチメディアプロセッサ１０は、ステップＳ６５で、カウンタｗ１［０］，ｗ１［１］，ｔ［０］及びｔ［１］をクリアして、図１０のメインルーチンへリターンする。
【０１３８】
以上のような図１３の処理は、第１注目点について、所定時間Ｔ（ステップＳ５６参照）以上の無検出期間があった後、第１注目点が検出された場合に（ステップＳ５４）、第１入力フラグをオンにすることによって（ステップＳ５７）、入力があったことを示す。第２注目点についても同様である。
【０１３９】
ただし、第１入力フラグ及び第２入力フラグが同時にオンになった場合や、第１入力フラグあるいは第２入力フラグのいずれかがオンになった後、所定時間Ｔｗ１（ステップＳ５２）内に、他方の入力フラグがオンになった場合は、同時入力フラグをオンにして（ステップＳ６３）、入力装置３Ｌ及び３Ｒによる入力が同時に行われたことを示す。同時入力フラグがオンになったときは、第１及び第２入力フラグはオフにされる（ステップＳ６４）。つまり、片方入力よりも同時入力のほうが優先される。
【０１４０】
図１０に戻って、ステップＳ５にて、マルチメディアプロセッサ１０は、スイング判定処理を実行する。
【０１４１】
図１４は、図１０のステップＳ５のスイング判定処理の流れの一例を示すフローチャートである。図１４を参照して、ステップＳ７０にて、マルチメディアプロセッサ１０は、必殺技Ａ実行可能ステートである場合あるいは第１条件フラグがオフの場合は、ステップＳ７１〜Ｓ８７をスキップして、図１０のメインルーチンへリターンし、それ以外の場合はステップＳ７１に進む。
【０１４２】
ステップＳ７１にて、マルチメディアプロセッサ１０は、カウンタｋをクリアする。ステップＳ７２にて、マルチメディアプロセッサ１０は、カウンタｋを１つインクリメントする。
【０１４３】
ステップＳ７３にて、マルチメディアプロセッサ１０は、カウント値ｗ２［ｋ−１］が所定値Ｔｗ２以下か否かを判断し、「Ｙｅｓ」を判断するとステップＳ７４に進み、「Ｎｏ」を判断するとステップＳ８４に進む。ステップＳ７４にて、マルチメディアプロセッサ１０は、第ｋスイングフラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ８１に進み、「Ｎｏ」を判断するとステップＳ７５に進む。
【０１４４】
ステップＳ７５では、マルチメディアプロセッサ１０は、第ｋ注目点の今回と前回の座標に基づいて、第ｋ注目点の速度、つまり、速さと方向を算出する。この場合、方向として、８方向を定めており、その中から一つの方向を決定する。つまり、３６０度を８分割して、８つの角度範囲を設定し、第ｋ注目点の速度（ベクトル）が、いずれの角度範囲に属するかによって、第ｋ注目点の方向を決定する。
【０１４５】
ステップＳ７６では、マルチメディアプロセッサ１０は、第ｋ注目点の速さと所定値ＶＣとを比較して、第ｋ注目点の速さが大きいか否かを判断し、「Ｙｅｓ」を判断するとステップＳ７７に進み、「Ｎｏ」を判断するとステップＳ８２に進んで、カウンタＮ［ｋ−１］をクリアして、ステップＳ８３に進む。
【０１４６】
ステップＳ７７では、マルチメディアプロセッサ１０は、カウンタＮ［ｋ−１］を１つインクリメントする。ステップＳ７８では、マルチメディアプロセッサ１０は、カウント値Ｎ［ｋ−１］が「２」か否かを判断し、「Ｙｅｓ」を判断するとステップＳ７９に進み、「Ｎｏ」を判断するとステップＳ８３に進む。
【０１４７】
ステップＳ７９にて、マルチメディアプロセッサ１０は、第ｋスイングフラグをオンにし、続く、ステップＳ８０にて、同時入力フラグ、第１入力フラグ、及び第２入力フラグをオフにして、ステップＳ８３に進む。
【０１４８】
ステップＳ７４で「Ｙｅｓ」が判断された後、ステップＳ８１にて、マルチメディアプロセッサ１０は、カウンタｗ２［ｋ−１］を１つインクリメントして、ステップＳ８３に進む。
【０１４９】
ステップＳ８３でカウント値ｋ＝２になるまで、あるいは、ステップＳ７３で「Ｎｏ」が判断されるまで、ステップＳ７２〜Ｓ８３が繰り返される。
【０１５０】
ステップＳ７３で「Ｎｏ」が判断された後、ステップＳ８４では、マルチメディアプロセッサ１０は、第１及び第２スイングフラグの双方がオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ８５に進み、「Ｎｏ」を判断するとステップＳ８７に進む。
【０１５１】
ステップＳ８５では、マルチメディアプロセッサ１０は、同時スイングフラグをオンにする。ステップＳ８６にて、マルチメディアプロセッサ１０は、第１及び第２スイングフラグの双方をオフにする。
【０１５２】
ステップＳ８６の後、あるいは、ステップＳ８４で「Ｎｏ」が判断された後、マルチメディアプロセッサ１０は、ステップＳ８７で、カウンタｗ２［０］，ｗ２［１］，Ｎ［０］及びＮ［１］をクリアして、図１０のメインルーチンへリターンする。
【０１５３】
以上のような図１４の処理は、第１注目点の速度を算出して（ステップＳ７５）、その大きさが（つまり、速さが）一定値ＶＣを超えたことが、連続して２回発生した場合に（ステップＳ７８）、第１スイングフラグをオンにして、スイングが行われたことを示す。第２注目点についても同様である。
【０１５４】
ただし、第１スイングフラグ及び第２スイングフラグが同時にオンになった場合や、第１スイングフラグあるいは第２スイングフラグのいずれかがオンになった後、所定時間Ｔｗ２（ステップＳ７３）内に、他方のスイングフラグがオンになった場合は、同時スイングフラグをオンにして（ステップＳ８５）、入力装置３Ｌ及び３Ｒによるスイングが同時に行われたことを示す。
【０１５５】
同時スイングフラグがオンになったときは、第１及び第２スイングフラグはオフにされる（ステップＳ８６）。また、第１スイングフラグあるいは第２スイングフラグの少なくとも一方がオンになると、同時入力フラグ、第１入力フラグ、及び第２入力フラグはオフされる（ステップＳ８０）。つまり、第１入力フラグ及び第２入力フラグよりも、同時入力フラグが優先され、これらよりも片方スイングが優先され、片方スイングよりも同時スイングのほうが優先される。
【０１５６】
図１０に戻って、ステップＳ６では、第１注目点及び第２注目点の左右判定処理を実行する。
【０１５７】
図１５は、図１０のステップＳ６の左右判定処理の流れの一例を示すフローチャートである。図１５を参照して、ステップＳ１００にて、マルチメディアプロセッサ１０は、第１注目点及び第２注目点の双方が存在するか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１０１に進み、「Ｎｏ」を判断するとステップＳ１０２に進む。ステップＳ１０１では、マルチメディアプロセッサ１０は、第１注目点と第２注目点との相対的な位置関係から、いずれが左で、いずれが右かを決定し、図１０のメインルーチンへリターンする。
【０１５８】
ステップＳ１００で「Ｎｏ」が判断された後、ステップＳ１０２にて、マルチメディアプロセッサ１０は、第１注目点が存在するか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１０３に進み、「Ｎｏ」を判断するとステップＳ１０４に進む。ステップＳ１０３にて、マルチメディアプロセッサ１０は、第１注目点の座標が、イメージセンサ１２による差分画像の左エリアに位置する場合は、第１注目点を左と判断し、第１注目点の座標が、差分画像の右エリアに位置する場合は、第１注目点を右と判断して、図１０のメインルーチンへリターンする。
【０１５９】
ステップＳ１０２で「Ｎｏ」が判断された後、ステップＳ１０４にて、マルチメディアプロセッサ１０は、第２注目点が存在するか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１０５に進み、「Ｎｏ」を判断すると図１０のメインルーチンへリターンする。ステップＳ１０５にて、マルチメディアプロセッサ１０は、第２注目点の座標が、イメージセンサ１２による差分画像の左エリアに位置する場合は、第２注目点を左と判断し、第２注目点の座標が、差分画像の右エリアに位置する場合は、第２注目点を右と判断して、図１０のメインルーチンへリターンする。
【０１６０】
図１０に戻って、ステップＳ７では、マルチメディアプロセッサ１０は、入力装置３の動き、つまり、第１及び／又は第２注目点の動きに応じて、エフェクトのアニメーションを設定する。
【０１６１】
図１６は、図１０のステップＳ７のエフェクト制御処理の流れの一例を示すフローチャートである。図１６を参照して、ステップＳ１１０にて、マルチメディアプロセッサ１０は、必殺技Ａ（図６参照）の実行判定処理を行う。ただし、必殺技Ａを繰り出す条件として、上述と異なる例を挙げている。
【０１６２】
図１７及び図１８は、図１６のステップＳ１１０の必殺技Ａ実行判定処理の流れの一例を示すフローチャートである。図１７を参照して、ステップＳ１２０にて、マルチメディアプロセッサ１０は、必殺技Ａの実行可能ステートであるか否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１２１に進み、「Ｎｏ」を判断したときはステップＳ１３６に進む。ステップＳ１３６では、マルチメディアプロセッサ１０は、必殺条件フラグをオフにし、ステップＳ１３７にて、カウンタＣ１をクリアして、図１６のルーチンへリターンする。
【０１６３】
ステップＳ１２０で「Ｙｅｓ」が判断された後、ステップＳ１２１にて、マルチメディアプロセッサ１０は、必殺条件フラグがオンか否かを判断して、「Ｙｅｓ」を判断したときは図１８のステップＳ１２９に進み、「Ｎｏ」を判断したときはステップＳ１２２に進む。
【０１６４】
ステップＳ１２２にて、マルチメディアプロセッサ１０は、同時入力フラグがオンか否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１２３に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１６５】
ステップＳ１２３にて、マルチメディアプロセッサ１０は、第１注目点と第２注目点との水平距離（Ｘ方向距離）ｈが所定値ＨＣ以下か否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１２４に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１６６】
ステップＳ１２４にて、マルチメディアプロセッサ１０は、第１注目点と第２注目点との垂直距離（Ｙ方向距離）ｖが所定値ＶＣ以上か否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１２５に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１６７】
ここで、ＨＣ＞ＶＣである。
【０１６８】
ステップＳ１２５にて、マルチメディアプロセッサ１０は、垂直距離ｖが水平距離ｈより大きいか否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１２６に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１６９】
ステップＳ１２６にて、マルチメディアプロセッサ１０は、第１注目点と第２注目点との間の距離を算出して、その距離が所定値ＤＣ以下か否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１２７に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１７０】
ステップＳ１２７にて、マルチメディアプロセッサ１０は、必殺条件フラグをオンにし、ステップＳ１２８にて、同時入力フラグをオフにして、図１０のステップＳ８に進む。
【０１７１】
ステップＳ１２１で「Ｙｅｓ」が判断された後、図１８のステップＳ１２９にて、マルチメディアプロセッサ１０は、無入力か否か、つまり、第１及び第２の注目点の双方が存在しないか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１３０に進んで、カウンタＣ１をインクリメントし、図１０のステップＳ８に進み、「Ｎｏ」を判断するとステップＳ１３１に進む。
【０１７２】
ステップＳ１３１では、マルチメディアプロセッサ１０は、カウント値Ｃ１が所定値Ｚ１以上か否かを判断し、「Ｎｏ」を判断するとステップＳ１３２に進んで、カウンタＣ１をクリアして図１０のステップＳ８に進み、「Ｙｅｓ」を判断すると、ステップＳ１３３に進む。
【０１７３】
ステップＳ１３３にて、マルチメディアプロセッサ１０は、必殺技Ａのアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。この場合、敵キャラクタ５０との関係で、必殺技Ａの出現始点を決定し、そこから、必殺技Ａが表示されるように、表示座標を設定する。
【０１７４】
ステップＳ１３４にて、マルチメディアプロセッサ１０は、カウンタＣ１をクリアし、ステップＳ１３５で、必殺条件フラグをオフにして、図１０のステップＳ８に進む。
【０１７５】
以上のような図１７及び図１８の処理は、ステップＳ１２０の条件を満たすことを前提として、ステップＳ１２２〜Ｓ１２６の全てを満たした後（つまり、ステップＳ１２７で必殺条件フラグがオンになった後）、第１及び第２注目点の無検出期間が所定期間Ｚ１以上存在し、その後、第１及び第２注目点の少なくとも一つが検出されたこと（ステップＳ１２９及びＳ１３１）を、必殺技Ａを出現させるための条件としている（ステップＳ１３３）。ここで、ステップＳ１２２〜Ｓ１２６は、図３（ｃ）、つまり、図８（ｅ）の状態を検出する処理である。
【０１７６】
図１６に戻って、ステップＳ１１１にて、マルチメディアプロセッサ１０は、必殺技Ｂ（図７参照）の実行判定処理を行う。ただし、必殺技Ｂを繰り出す条件として、上述と異なる例を挙げている。
【０１７７】
図１９及び図２０は、図１６のステップＳ１１１の必殺技Ｂ実行判定処理の流れの一例を示すフローチャートである。図１９を参照して、ステップＳ１５０にて、マルチメディアプロセッサ１０は、必殺技Ｂの実行可能ステートであるか否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１５１に進み、「Ｎｏ」を判断したときはステップＳ１７６に進む。ステップＳ１７６では、マルチメディアプロセッサ１０は、第１〜第３条件フラグをオフにし、ステップＳ１７７にて、カウンタＣ２をクリアして、図１６のルーチンへリターンする。
【０１７８】
ステップＳ１５０で「Ｙｅｓ」が判断された後、ステップＳ１５１にて、マルチメディアプロセッサ１０は、第１条件フラグがオンか否かを判断して、「Ｙｅｓ」を判断したときはステップＳ１５９に進み、「Ｎｏ」を判断したときはステップＳ１５２に進む。
【０１７９】
ステップＳ１５２にて、マルチメディアプロセッサ１０は、同時入力フラグがオンか否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１５３に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１８０】
ステップＳ１５３にて、マルチメディアプロセッサ１０は、第１注目点と第２注目点との水平距離（Ｘ方向距離）ｈが所定値ＨＣ以下か否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１５４に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１８１】
ステップＳ１５４にて、マルチメディアプロセッサ１０は、第１注目点と第２注目点との垂直距離（Ｙ方向距離）ｖが所定値ＶＣ以上か否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１５５に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１８２】
ここで、ＨＣ＞ＶＣである。
【０１８３】
ステップＳ１５５にて、マルチメディアプロセッサ１０は、垂直距離ｖが水平距離ｈより大きいか否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１５６に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１８４】
ステップＳ１５６にて、マルチメディアプロセッサ１０は、第１注目点と第２注目点との間の距離を算出して、その距離が所定値ＤＣ以下か否かを判断し、「Ｙｅｓ」を判断したときはステップＳ１５７に進み、「Ｎｏ」を判断したときは図１０のステップＳ８に進む。
【０１８５】
ステップＳ１５７にて、マルチメディアプロセッサ１０は、第１条件フラグをオンにし、ステップＳ１５８にて、同時入力フラグをオフにして、図１０のステップＳ８に進む。
【０１８６】
ステップＳ１５１で「Ｙｅｓ」が判断された後、ステップＳ１５９にて、マルチメディアプロセッサ１０は、第２条件フラグがオンか否かを判断し、「Ｙｅｓ」を判断したときは図２０のステップＳ１６５に進み、「Ｎｏ」を判断したときはステップＳ１６０に進む。ステップＳ１６０では、マルチメディアプロセッサ１０は、無入力か否か、つまり、第１及び第２の注目点の双方が存在しないか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１６４に進んで、カウンタＣ２をインクリメントし、図１０のステップＳ８に進み、「Ｎｏ」を判断するとステップＳ１６１に進む。
【０１８７】
ステップＳ１６１では、マルチメディアプロセッサ１０は、カウント値Ｃ２が所定値Ｚ２以上か否かを判断し、「Ｎｏ」を判断するとステップＳ１６３に進んで、カウンタＣ２をクリアして図１０のステップＳ８に進み、「Ｙｅｓ」を判断すると、ステップＳ１６２に進む。ステップＳ１６２では、マルチメディアプロセッサ１０は、第２条件フラグをオンにして、図１０のステップＳ８に進む。
【０１８８】
ステップＳ１５９で「Ｙｅｓ」が判断された後、図２０のステップＳ１６５では、マルチメディアプロセッサ１０は、第３条件フラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１７０に進み、「Ｎｏ」を判断するとステップＳ１６６に進む。
【０１８９】
ステップＳ１６６では、マルチメディアプロセッサ１０は、同時スイングフラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１６７に進み、「Ｎｏ」を判断すると図１０のステップＳ８に進む。
【０１９０】
ステップＳ１６７では、マルチメディアプロセッサ１０は、同時スイングフラグをオフにして、ステップＳ１６８に進む。ステップＳ１６８では、マルチメディアプロセッサ１０は、第１注目点及び第２注目点の速度の方向が、Ｙ軸の負方向である場合は、ステップＳ１６９に進み、それ以外は図１０のステップＳ８に進む。ステップＳ１６９にて、マルチメディアプロセッサ１０は、第３条件フラグをオンにして、図１０のステップＳ８に進む。
【０１９１】
ステップＳ１６５で「Ｙｅｓ」が判断された後、ステップＳ１７０では、マルチメディアプロセッサ１０は、同時スイングフラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１７１に進み、「Ｎｏ」を判断すると図１０のステップＳ８に進む。
【０１９２】
ステップＳ１７１では、マルチメディアプロセッサ１０は、同時スイングフラグをオフにして、ステップＳ１７２に進む。ステップＳ１７２では、マルチメディアプロセッサ１０は、第１注目点及び第２注目点の速度の方向が、Ｙ軸の正方向である場合は、ステップＳ１７３に進み、それ以外は図１０のステップＳ８に進む。
【０１９３】
ステップＳ１７３にて、マルチメディアプロセッサ１０は、必殺技Ｂのアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。ステップＳ１７４にて、マルチメディアプロセッサ１０は、カウンタＣ２をクリアし、ステップＳ１７５で、第１〜第３条件フラグをオフにして、図１０のステップＳ８に進む。
【０１９４】
以上のような図１９及び図２０の処理は、ステップＳ１５０を満たすことを前提として、ステップＳ１５２〜Ｓ１５６の全てを満たした後（つまり、ステップＳ１５７で第１条件フラグがオンになった後）、第１及び第２注目点の無検出期間が所定期間Ｚ２以上存在し（ステップＳ１６１）、その後、ステップＳ１６６及びＳ１６８の全てを満たし（つまり、ステップＳ１６９で第３条件フラグオン）、さらに、ステップＳ１７０及びＳ１７２の全てを満たすことを、必殺技Ｂを出現させるための条件としている（ステップＳ１７３）。
【０１９５】
ここで、ステップＳ１５２〜Ｓ１５６は、図３（ｃ）、つまり、図８（ｅ）の状態を検出する処理である。ステップＳ１６６及びＳ１６８は、図８（ｈ）の状態を検出する処理である。ステップＳ１７０及びＳ１７３は、図８（ｉ）の状態を検出する処理である。
【０１９６】
図１６に戻って、ステップＳ１１２では、マルチメディアプロセッサ１０は、特殊スイング技の実行判定処理を行う。
【０１９７】
図２１は、図１６のステップＳ１１２の特殊スイング技実行判定処理の流れの一例を示すフローチャートである。図２１を参照して、ステップＳ１９０にて、マルチメディアプロセッサ１０は、同時スイングフラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ１９１に進み、「Ｎｏ」を判断すると図１６のルーチンへリターンする。
【０１９８】
ステップＳ１９１にて、マルチメディアプロセッサ１０は、戦闘ステージが遠距離戦か近距離戦かを判断し、遠距離戦の場合はステップＳ１９２に進み、近距離戦の場合はステップＳ１９４に進む。
【０１９９】
ステップＳ１９２では、マルチメディアプロセッサ１０は、第１注目点及び第２注目点の速度の方向が、所定方向ＤＦである場合は、ステップＳ１９３に進み、それ以外は図１６のルーチンへリターンする。ステップＳ１９３では、マルチメディアプロセッサ１０は、遠距離戦の場合の特殊スイング技のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。
【０２００】
一方、ステップＳ１９４では、第１注目点及び第２注目点の速度の方向が、所定方向ＤＮである場合は、ステップＳ１９５に進み、それ以外は図１６のルーチンへリターンする。ステップＳ１９５では、マルチメディアプロセッサ１０は、近距離戦の場合の特殊スイング技のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。
【０２０１】
ステップＳ１９３及びＳ１９５では、前々回の第１注目点Ｘ座標及び第２注目点Ｘ座標の平均座標を、テレビジョンモニタ５のスクリーン座標系に変換した座標を起点として、特殊スイング技が表示されるように、表示座標を設定する。
【０２０２】
ステップＳ１９３及びＳ１９５の後のステップＳ１９６では、マルチメディアプロセッサ１０は、同時スイングフラグをオフにして図１６のルーチンへリターンする。
【０２０３】
以上のような図２１の処理は、両手同時のスイングが検出された場合であって（ステップＳ１９０）、スイングの方向が所定方向（ＤＦ、ＤＮ）であること（ステップＳ１９２及びＳ１９４）を条件に、特殊スイング技をテレビ画面に出現させる。
【０２０４】
図１６に戻って、ステップＳ１１３では、マルチメディアプロセッサ１０は、通常スイング技の実行判定処理を行う。
【０２０５】
図２２は、図１６のステップＳ１１３の通常スイング技実行判定処理の流れの一例を示すフローチャートである。図２２を参照して、ステップＳ２００にて、マルチメディアプロセッサ１０は、同時スイングフラグ、第１スイングフラグ、あるいは第２スイングフラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ２０１に進み、「Ｎｏ」を判断すると図１６のルーチンへリターンする。
【０２０６】
ステップＳ２０１にて、マルチメディアプロセッサ１０は、戦闘ステージが遠距離戦か近距離戦かを判断し、遠距離戦の場合はステップＳ２０２に進み、近距離戦の場合はステップＳ２０３に進む。
【０２０７】
ステップＳ２０２では、マルチメディアプロセッサ１０は、遠距離戦の場合の通常スイング技のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。一方、ステップＳ２０３では、マルチメディアプロセッサ１０は、近距離戦の場合の通常スイング技のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。
【０２０８】
ステップＳ２０２及びＳ２０３の後のステップＳ２０４では、マルチメディアプロセッサ１０は、同時スイングフラグ、第１スイングフラグ、及び第２スイングフラグをオフにして図１６のルーチンへリターンする。
【０２０９】
以上のような図２２の処理は、両手同時のスイングあるいは片手スイングが検出された場合に（ステップＳ２００）、通常スイング技をテレビ画面に出現させる。
【０２１０】
例えば、近距離戦の場合では、通常スイング技として、上述のフックパンチ画像ＰＣ２を出現させる。この場合、検出されたスイングに対応する前々回の第１注目点座標あるいは前々回の第２注目点座標（同時スイングの場合は、前々回の第１注目点座標）を、テレビジョンモニタ５のスクリーン座標系に変換した座標を起点として、スイングの方向に動くフックパンチ画像ＰＣ２が表示されるように、表示座標を設定する。
【０２１１】
例えば、遠距離戦の場合では、通常スイング技として、上述の盾オブジェクトＳＬ１を出現させる。この場合、検出されたスイングに対応する前々回の第１注目点座標あるいは前々回の第２注目点座標（同時スイングの場合は、前々回の第１注目点座標）を、テレビジョンモニタ５のスクリーン座標系に変換した座標を起点として、スイングの方向に動く盾オブジェクトＳＬ１が表示されるように、表示座標を設定する。
【０２１２】
なお、上記のように、スイング方向は、８方向のいずれかに決定されるので、方向ごとに画像情報を割り当てておき、検知したスイング方向に割り当てられた画像情報をメインＲＡＭに設定することで、スイング方向に動くアニメーションを表示する。
【０２１３】
図１６に戻って、ステップＳ１１４では、マルチメディアプロセッサ１０は、両手弾の実行判定処理を行う。
【０２１４】
図２３は、図１６のステップＳ１１４の両手弾実行判定処理の流れの一例を示すフローチャートである。図２３を参照して、ステップＳ２１０にて、マルチメディアプロセッサ１０は、同時入力フラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ２１１に進み、「Ｎｏ」を判断すると図１６のルーチンへリターンする。
【０２１５】
ステップＳ２１１にて、マルチメディアプロセッサ１０は、戦闘ステージが遠距離戦か近距離戦かを判断し、遠距離戦の場合はステップＳ２１２に進み、近距離戦の場合はステップＳ２１３に進む。
【０２１６】
ステップＳ２１２では、マルチメディアプロセッサ１０は、遠距離戦の場合の両手弾のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定して図１６のルーチンへリターンする。一方、ステップＳ２１３では、マルチメディアプロセッサ１０は、近距離戦の場合の両手弾のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定し、ステップＳ２１４にて、同時入力フラグをオフにして図１６のルーチンへリターンする。
【０２１７】
ステップＳ２１２及びＳ２１３では、第１注目点座標及び第２注目点座標の平均座標を、テレビジョンモニタ５のスクリーン座標系に変換した座標を起点として、両手弾画像が表示されるように、表示座標を設定する。
【０２１８】
以上のような図２３の処理は、両手同時入力が検出された場合に（ステップＳ２１０）、両手弾画像をテレビ画面に出現させる。例えば、近距離戦の場合では、両手弾画像として、上述の盾オブジェクトＳＬ２を出現させる。例えば、遠距離戦の場合では、両手弾画像として、上述の攻撃オブジェクトｓｈ１を出現させる。
【０２１９】
図１６に戻って、ステップＳ１１５では、マルチメディアプロセッサ１０は、片手弾の実行判定処理を行う。
【０２２０】
図２４は、図１６のステップＳ１１５の片手弾実行判定処理の流れの一例を示すフローチャートである。図２４を参照して、ステップＳ２２０にて、マルチメディアプロセッサ１０は、第１入力フラグあるいは第２入力フラグがオンか否かを判断し、「Ｙｅｓ」を判断するとステップＳ２２１に進み、「Ｎｏ」を判断すると図１６のルーチンへリターンする。
【０２２１】
ステップＳ２２１にて、マルチメディアプロセッサ１０は、戦闘ステージが遠距離戦か近距離戦かを判断し、遠距離戦の場合はステップＳ２２４に進み、近距離戦の場合はステップＳ２２２に進む。
【０２２２】
ステップＳ２２４では、マルチメディアプロセッサ１０は、無入力か否か、つまり、第１及び第２の注目点の双方が存在しないか否かを判断し、「Ｙｅｓ」を判断するとステップＳ２２６に進んで、第１及び第２入力フラグをオフにして図１６のルーチンへリターンし、「Ｎｏ」を判断するとステップＳ２２５に進む。ステップＳ２２５では、マルチメディアプロセッサ１０は、遠距離戦の場合の片手弾のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定して図１６のルーチンへリターンする。
【０２２３】
一方、ステップＳ２２２では、マルチメディアプロセッサ１０は、近距離戦の場合の片手弾のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定し、ステップＳ２２３にて、第１及び第２入力フラグをオフにして図１６のルーチンへリターンする。
【０２２４】
ステップＳ２２２及びＳ２２５では、第１注目点及び第２注目点のうち、検出された注目点の座標を、テレビジョンモニタ５のスクリーン座標系に変換した座標を起点として、片手弾画像が表示されるように、表示座標を設定する。
【０２２５】
以上のような図２４の処理は、片手入力が検出された場合に（ステップＳ２２０）、片手弾画像をテレビ画面に出現させる。例えば、近距離戦の場合では、片手弾画像として、上述のパンチ画像ＰＣ１を出現させる。例えば、遠距離戦の場合では、片手弾画像として、上述の弾オブジェクト６４を出現させる。
【０２２６】
図１０に戻って、ステップＳ８では、マルチメディアプロセッサ１０は、敵キャラクタの動きを制御すべく、プログラムに従って、敵キャラクタ５０のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。ステップＳ９では、マルチメディアプロセッサ１０は、背景を制御すべく、プログラムに従って、背景のアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。
【０２２７】
ステップＳ１０では、マルチメディアプロセッサ１０は、敵キャラクタ５０の攻撃・防御およびプレイヤキャラクタの攻撃・防御に基づいて、双方の攻撃のヒット判定を行い、ヒット時のエフェクトのアニメーションを表示するための画像情報（表示座標や画像格納位置情報など）をメインＲＡＭに設定する。ステップＳ１１では、マルチメディアプロセッサ１０は、ステップＳ１０のヒット判定の結果に従って、体力ゲージ５２及び５６、気ゲージ５４、隠しパラメータ、及び攻撃力パラメータを制御するとともに、必殺技Ａ及びＢの実行可能ステートへの移行および通常ステートへの移行を制御する。
【０２２８】
マルチメディアプロセッサ１０は、ステップＳ１２にて、「ＹＥＳ」であれば、即ち、ビデオ同期の割込み待ちであれば（ビデオ同期信号による割り込みがなければ）、同じステップＳ１２に戻る。一方、ステップＳ１２で「ＮＯ」であれば、即ち、ビデオ同期の割込み待ちでなければ（ビデオ同期信号による割り込みがあれば）、ステップＳ１３に進む。ステップＳ１３では、マルチメディアプロセッサ１０は、ステップＳ７〜Ｓ１１による設定に従って、テレビジョンモニタ５に表示される画面の更新処理を実行して、ステップＳ２に進む。
【０２２９】
ステップＳ１４の音声処理は、音声割り込みが発生したときに実行され、それによって、音楽や効果音を出力する。
【０２３０】
さて、以上のように、本実施の形態によれば、オペレータは、入力装置３を装着した手を開いたり閉じたりするだけで、情報処理装置１に対する入力／非入力の制御を簡易に行うことができる。つまり、情報処理装置１は、手を開いた状態では、再帰反射シート３２が撮影されるため、入力があったと判断でき、手を閉じた状態では、再帰反射シート３２は撮影されず、入力がないと判断できる。
【０２３１】
また、本実施の形態によれば、再帰反射シート３２は、透明体４４の内面に取り付けられるので、再帰反射シート３２が直接オペレータの手に触れることがなく、再帰反射シート３２の耐久性を向上できる。
【０２３２】
さらに、本実施の形態によれば、再帰反射シート３０は、オペレータの指の背面であって、オペレータを向くように位置するので、オペレータが積極的に再帰反射シート３０を情報処理装置１（イメージセンサ１２）に向けない限り、撮影されることはない。従って、オペレータが再帰反射シート３２を用いて入力／非入力を行う場合に、再帰反射シート３０が撮影されることはなく、誤入力を防止できる。
【０２３３】
さらに、本実施の形態によれば、簡易な構成により、現実世界では体験できない、例えば、映画やアニメーションといった架空の世界で主人公等が行う特殊な動作や現象を、現実世界の動作（入力装置３の操作）とテレビジョンモニタ５に表示される画像（例えば、図５〜図７の画像６４，８２，９２）とを通じて体験できる。
【０２３４】
なお、本発明は、上記の実施の形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能であり、例えば、以下のような変形も可能である。
【０２３５】
（１）情報処理装置１に対する入力装置３による入力例及びそれに対する情報処理装置１の応答例を説明したが、入力及び応答はこれらに限定されない。様々な入力あるいはその組み合わせに応じて、様々な応答（表示）をすることができる。
【０２３６】
（２）透明体４２及び４４の透明には、半透明や有色透明が含まれる。
【０２３７】
（３）再帰反射シート３２を、透明体４４の内側ではなく、その表面に取り付けることもできる。この場合は、透明体４４は、透明である必要はない。また、再帰反射シート３０を、透明体４２の内面に取り付けることもできる。なお、上記のように、再帰反射シート３０を、透明体４２の表面に取り付ける場合は、透明体４２は、透明である必要はない。
【０２３８】
（４）上記では、入力装置３に、中指及び薬指を通す例を挙げたが、挿入する指及びその数はこれに限定されず、例えば、中指のみを通すようにしてもよい。
【０２３９】
（５）上記では、入力装置３Ｌ及び３Ｒの双方が検出されない状態から、一方あるいは双方が検出されたことを、入力の条件として例に挙げた（図１３参照）。ただし、入力装置３Ｌ及び３Ｒの双方が検出されている状態から、双方が検出されなくなったことを入力の条件とすることもできる。例えば、入力装置３Ｌ及び３Ｒの双方が検出されている状態が一定時間以上続いた後に、無検出の状態になることを入力の条件とすることができる。また、入力装置３Ｌ及び３Ｒのうちの一方のみが検出されている状態から、双方が検出されなくなったことを入力の条件とすることもできる。例えば、入力装置３Ｌ及び３Ｒのうちの一方のみが検出されている状態が一定時間以上続いた後に、無検出の状態になることを入力の条件とすることができる。
【０２４０】
（６）上記では、再帰反射シート３０を取り付けた透明体４２と、再帰反射シート３２を取り付けた透明体４４と、を入力装置のベルト４０に取り付けた。ただし、再帰反射シート３０を取り付けた透明体４２だけをベルト４０に取り付けて入力装置とすることもできるし、再帰反射シート３２を取り付けた透明体４４だけをベルト４０に取り付けて入力装置とすることもできる。
【０２４１】
（７）上記では、ベルト４０を指に嵌めることで、入力装置３を手に装着している。しかし、入力装置３の固定方法はこれに限定されず、同じ目的で様々な態様が考えられる。例えば、指ではなく、親指の付け根と人指し指の付け根の間から、小指の付け根を通って、手の甲と手のひらの周囲に装着するベルトを用いてもよい。この場合、透明体４２および透明体４４は、それぞれ、手の甲と手のひらの中央付近の位置に取り付けられする。また、ベルトの代わりに、サイクリング・グローブのようなグローブを用い、ベルクロ（商標）テープを利用することにより、透明体４２および透明体４４の取付位置を可変とすることもできる。この場合、透明体４２及び４４を設けずに、再帰反射シート３０及び３２を直接グローブに取り付けてもよい。もちろん、ベルクロ（商標）テープを用いずに、再帰反射シート３０及び３２をグローブに取り外しできない様に固定することも可能である。更に、ベルトを用いずに、オペレータが入力装置３を直接手に持って、適宜、イメージセンサ１２に向けて再帰反射シート３０をかざす様にしてもよい。更に、上記では、環状のベルト４０を指に嵌めることで、入力装置３を手に装着しているが、適当な長さのゴム紐によって、透明体４２と透明体４４とを接続して、このゴム紐を利用して入力装置３を手に装着するようにしてもよい。
【０２４２】
（８）上記では、入力装置３は、中空で多面体の透明体４２及び透明体４４を備えていた。入力装置３の構造はこれに限定されず、同じ目的で様々な態様が考えられる。例えば、透明体４２及び透明体４４を、多面体ではなく、卵形のような丸い形状とすることができる。また、透明体４２及び透明体４４の代わりに、不透明な多面体状または丸い形状の部材とすることができる。この場合、再帰反射シートは、手の甲と手のひらに接する部分を除く外側の表面に設けられる。
【図面の簡単な説明】
【０２４３】
【図１】図１は、本発明の実施の形態による情報処理システムの全体構成を示すブロック図である。
【図２】図２（ａ）及び図２（ｂ）は、図１の入力装置３Ｌ（３Ｒ）の斜視図である。
【図３】図３（ａ）は、図１の入力装置３Ｌ（３Ｒ）の使用状態の一例を示す説明図である。図３（ｂ）は、図１の入力装置３Ｌ（３Ｒ）の使用状態の他の例を示す説明図である。図３（ｃ）は、図１の入力装置３Ｌ（３Ｒ）の使用状態のさらに他の例を示す説明図である。
【図４】図４は、図１の情報処理装置１の電気的構成を示す図である。
【図５】図５は、図１のテレビジョンモニタ５に表示されるゲーム画面の例示図である。
【図６】図６は、図１のテレビジョンモニタ５に表示されるゲーム画面の他の例示図である。
【図７】図７は、図１のテレビジョンモニタ５に表示されるゲーム画面のさらに他の例示図である。
【図８】図８（ａ）から図８（ｉ）は、図１の入力装置３Ｌ及び３Ｒによる入力態様の説明図である。
【図９】図９（ａ）から図９（ｌ）は、図１の入力装置３Ｌ及び３Ｒによる入力態様の説明図である。
【図１０】図１０は、図１の情報処理装置１による全体処理の流れの一例を示すフローチャートである。
【図１１】図１１は、図１０のステップＳ２の撮影処理の流れの一例を示すフローチャートであるである。
【図１２】図１２は、図１０のステップＳ３の注目点抽出処理の流れの一例を示すフローチャートである。
【図１３】図１３は、図１０のステップＳ４の入力判定処理の流れの一例を示すフローチャートである。
【図１４】図１４は、図１０のステップＳ５のスイング判定処理の流れの一例を示すフローチャートである。
【図１５】図１５は、図１０のステップＳ６の左右判定処理の流れの一例を示すフローチャートである。
【図１６】図１６は、図１０のステップＳ７のエフェクト制御処理の流れの一例を示すフローチャートである。
【図１７】図１７は、図１６のステップＳ１１０の必殺技Ａ実行判定処理の流れの一例の一部を示すフローチャートである。
【図１８】図１８は、図１６のステップＳ１１０の必殺技Ａ実行判定処理の流れの一例の他の一部を示すフローチャートである。
【図１９】図１９は、図１６のステップＳ１１１の必殺技Ｂ実行判定処理の流れの一例の一部を示すフローチャートである。
【図２０】図２０は、図１６のステップＳ１１１の必殺技Ｂ実行判定処理の流れの一例の他の一部を示すフローチャートである。
【図２１】図２１は、図１６のステップＳ１１２の特殊スイング技実行判定処理の流れの一例を示すフローチャートである。
【図２２】図２２は、図１６のステップＳ１１３の通常スイング技実行判定処理の流れの一例を示すフローチャートである。
【図２３】図２３は、図１６のステップＳ１１４の両手弾実行判定処理の流れの一例を示すフローチャートである。
【図２４】図２４は、図１６のステップＳ１１５の片手弾実行判定処理の流れの一例を示すフローチャートである。
【符号の説明】
【０２４４】
１…情報処理装置、３…入力装置、５…テレビジョンモニタ、１０…マルチメディアプロセッサ、１２…イメージセンサ、１４…赤外発光ダイオード、１６…ＲＯＭ、１８…バス、３０，３２…再帰反射シート、４０…ベルト、４２，４４…透明体。
【特許請求の範囲】
【請求項１】
プログラムに従った処理を実行する情報処理装置に対して、入力を与えることができる、撮影の被写体としての入力装置であって、
照射された光を反射する第１の反射体と、前記第１の取付体に取り付けられ、オペレータの手に装着される装着体と、を備える入力装置。
【請求項２】
前記装着体は、オペレータの手のひら側に前記第１の反射体が位置するように、前記オペレータの手に装着される、請求項１記載の入力装置。
【請求項３】
前記第１の反射体は、透明体で覆われる、請求項２記載の入力装置。
【請求項４】
前記装着体は、オペレータの手の甲の側に前記第１の反射体が位置するように、前記オペレータの手に装着される、請求項１記載の入力装置。
【請求項５】
前記第１の反射体の反射面は、前記入力装置が前記オペレータの手に装着された状態で前記オペレータの側を向くように形成される、請求項４記載の入力装置。
【請求項６】
照射された光を反射する第２の反射体をさらに備え、前記第２の反射体は、前記第１の反射体に対向するように、前記装着体に取り付けられ、
前記装着体は、前記オペレータの手のひら側に前記第１の反射体が位置するように、かつ、前記オペレータの手の甲の側に前記第２の反射体が位置するように、前記オペレータの手に装着される、請求項２又は３記載の入力装置。
【請求項７】
前記第２の反射体の反射面は、前記入力装置が前記オペレータの手に装着された状態で、前記オペレータの側を向くように形成される請求項６記載の入力装置。
【請求項８】
前記装着体は、帯状の部材である、請求項１から７記載の入力装置。
【請求項９】
各々オペレータの左右の手で動きが与えられる２つの操作物を検出して、検出結果に基づいて所定の画像を表示装置に表示する疑似体験方法であって、
反射体を有する前記操作物を撮影するステップと、前記撮影によって得られた画像に基づいて、少なくとも、第１条件及び第２条件を満足したか否かを判定するステップと、
少なくとも、前記第１条件及び前記第２条件を満足したときに、前記所定の画像を表示するステップと、を含み、
前記第１条件は、前記撮影によって得られた前記画像上に前記２つの操作物のいずれも写ってないことであり、
前記第２条件は、前記第１条件を満足した後、前記撮影によって得られた前記画像上に少なくとも１つの前記操作物が写ったことである、疑似体験方法。
【請求項１０】
前記第２条件は、前記第１条件を満足した後、前記撮影によって得られた前記画像上に前記２つの操作物が写ったことである、請求項９記載の疑似体験方法。
【請求項１１】
前記第２条件は、前記第１条件を満足した後、前記撮影によって得られた前記画像上に前記２つの操作物が所定の配置で写っていることである、請求項１０記載の疑似体験方法。
【請求項１２】
前記所定の画像を表示する前記ステップでは、前記第１条件及び前記第２条件に加えて、第３条件及び第４条件を満足したときに、前記所定の画像を表示し、
前記第３条件は、前記第２条件を満足した後、前記撮影によって得られた前記画像上に前記２つの操作物のいずれも写ってないことであり、
前記第４条件は、前記第３条件を満足した後、前記撮影によって得られた前記画像上に少なくとも１つの前記操作物が写ったことである、請求項９から１１記載の疑似体験方法。
【請求項１３】
架空の世界のキャラクタの活躍を疑似体験できるエンタテインメント・システムであって、
前記エンタテインメント・システムを利用する際に、オペレータが両手に装着し、夫々反射面を有する１対の操作物と、
前記操作物を撮像する撮影装置と、
前記撮影装置に接続され、前記撮影装置から前記操作物の画像を受け取り、前記操作物の画像に基づいて、前記操作物の位置を決定する情報処理装置と、
前記キャラクタの複数の所定の動作に対応する前記操作物の動きを示す複数の動作パターンと、前記複数の動作パターンに対応して設けられ、前記キャラクタの前記所定の動作によってもたらされる現象を示す複数の動作画像と、を記憶する記憶手段と、を備え
前記オペレータが、前記操作物を両手に装着し、前記キャラクタの所定の動作のいずれかを行った場合、前記情報処理装置は、前記操作物の位置に基づいて、前記オペレータの行った前記所定の動作が、前記動作パターンのいずれに対応するかを決定し、この決定された動作パターンに対応する前記動作画像を表示するためのビデオ信号を生成するエンタテインメント・システム。
【請求項１】
プログラムに従った処理を実行する情報処理装置に対して、入力を与えることができる、撮影の被写体としての入力装置であって、
照射された光を反射する第１の反射体と、前記第１の取付体に取り付けられ、オペレータの手に装着される装着体と、を備える入力装置。
【請求項２】
前記装着体は、オペレータの手のひら側に前記第１の反射体が位置するように、前記オペレータの手に装着される、請求項１記載の入力装置。
【請求項３】
前記第１の反射体は、透明体で覆われる、請求項２記載の入力装置。
【請求項４】
前記装着体は、オペレータの手の甲の側に前記第１の反射体が位置するように、前記オペレータの手に装着される、請求項１記載の入力装置。
【請求項５】
前記第１の反射体の反射面は、前記入力装置が前記オペレータの手に装着された状態で前記オペレータの側を向くように形成される、請求項４記載の入力装置。
【請求項６】
照射された光を反射する第２の反射体をさらに備え、前記第２の反射体は、前記第１の反射体に対向するように、前記装着体に取り付けられ、
前記装着体は、前記オペレータの手のひら側に前記第１の反射体が位置するように、かつ、前記オペレータの手の甲の側に前記第２の反射体が位置するように、前記オペレータの手に装着される、請求項２又は３記載の入力装置。
【請求項７】
前記第２の反射体の反射面は、前記入力装置が前記オペレータの手に装着された状態で、前記オペレータの側を向くように形成される請求項６記載の入力装置。
【請求項８】
前記装着体は、帯状の部材である、請求項１から７記載の入力装置。
【請求項９】
各々オペレータの左右の手で動きが与えられる２つの操作物を検出して、検出結果に基づいて所定の画像を表示装置に表示する疑似体験方法であって、
反射体を有する前記操作物を撮影するステップと、前記撮影によって得られた画像に基づいて、少なくとも、第１条件及び第２条件を満足したか否かを判定するステップと、
少なくとも、前記第１条件及び前記第２条件を満足したときに、前記所定の画像を表示するステップと、を含み、
前記第１条件は、前記撮影によって得られた前記画像上に前記２つの操作物のいずれも写ってないことであり、
前記第２条件は、前記第１条件を満足した後、前記撮影によって得られた前記画像上に少なくとも１つの前記操作物が写ったことである、疑似体験方法。
【請求項１０】
前記第２条件は、前記第１条件を満足した後、前記撮影によって得られた前記画像上に前記２つの操作物が写ったことである、請求項９記載の疑似体験方法。
【請求項１１】
前記第２条件は、前記第１条件を満足した後、前記撮影によって得られた前記画像上に前記２つの操作物が所定の配置で写っていることである、請求項１０記載の疑似体験方法。
【請求項１２】
前記所定の画像を表示する前記ステップでは、前記第１条件及び前記第２条件に加えて、第３条件及び第４条件を満足したときに、前記所定の画像を表示し、
前記第３条件は、前記第２条件を満足した後、前記撮影によって得られた前記画像上に前記２つの操作物のいずれも写ってないことであり、
前記第４条件は、前記第３条件を満足した後、前記撮影によって得られた前記画像上に少なくとも１つの前記操作物が写ったことである、請求項９から１１記載の疑似体験方法。
【請求項１３】
架空の世界のキャラクタの活躍を疑似体験できるエンタテインメント・システムであって、
前記エンタテインメント・システムを利用する際に、オペレータが両手に装着し、夫々反射面を有する１対の操作物と、
前記操作物を撮像する撮影装置と、
前記撮影装置に接続され、前記撮影装置から前記操作物の画像を受け取り、前記操作物の画像に基づいて、前記操作物の位置を決定する情報処理装置と、
前記キャラクタの複数の所定の動作に対応する前記操作物の動きを示す複数の動作パターンと、前記複数の動作パターンに対応して設けられ、前記キャラクタの前記所定の動作によってもたらされる現象を示す複数の動作画像と、を記憶する記憶手段と、を備え
前記オペレータが、前記操作物を両手に装着し、前記キャラクタの所定の動作のいずれかを行った場合、前記情報処理装置は、前記操作物の位置に基づいて、前記オペレータの行った前記所定の動作が、前記動作パターンのいずれに対応するかを決定し、この決定された動作パターンに対応する前記動作画像を表示するためのビデオ信号を生成するエンタテインメント・システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２００７−１５２０８０（Ｐ２００７−１５２０８０Ａ）
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願番号】特願２００６−１６１４７５（Ｐ２００６−１６１４７５）
【出願日】平成１８年６月９日（２００６．６．９）
【出願人】（３９６０２５８６１）新世代株式会社 (138)
【Ｆターム（参考）】
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願日】平成１８年６月９日（２００６．６．９）
【出願人】（３９６０２５８６１）新世代株式会社 (138)
【Ｆターム（参考）】
[ Back to top ]