エンターテインメント装置、位置及びタイミング指示装置、映像制御方法、並びに、位置及びタイミング指示方法
【課題】 同一音声であっても、プレイヤが、音声に合わせて、異なるパターンの入力操作を行うことができるエンターテインメント装置を提供することである。
【解決手段】 プロセッサ３１は、撮像されたグローブ７Ｌ及び７Ｒの動きに応じて、テレビジョンモニタ５に表示されたグローブ画像５１Ｌ及び５１Ｒを移動する。プロセッサ３１は、位置指示オブジェクト５３を、音楽に合わせて、経路５８−１〜５８−４のいずれかに出現させ、降下させる。どの経路５８−１〜５８−４に位置指示オブジェクト５３を出現させるかは、ランダムに決定される。位置指示オブジェクト５３がタイミング指示バンド５５に到達したタイミングで、位置指示オブジェクト５３にグローブ画像５１Ｌ又は５１Ｒを当てると、その位置指示オブジェクト５３は画面奥に向かって打ち返され、プレイヤのパンチ動作は音楽に合ったものとなる。
【解決手段】 プロセッサ３１は、撮像されたグローブ７Ｌ及び７Ｒの動きに応じて、テレビジョンモニタ５に表示されたグローブ画像５１Ｌ及び５１Ｒを移動する。プロセッサ３１は、位置指示オブジェクト５３を、音楽に合わせて、経路５８−１〜５８−４のいずれかに出現させ、降下させる。どの経路５８−１〜５８−４に位置指示オブジェクト５３を出現させるかは、ランダムに決定される。位置指示オブジェクト５３がタイミング指示バンド５５に到達したタイミングで、位置指示オブジェクト５３にグローブ画像５１Ｌ又は５１Ｒを当てると、その位置指示オブジェクト５３は画面奥に向かって打ち返され、プレイヤのパンチ動作は音楽に合ったものとなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プレイヤに画面上で操作の位置及びタイミングを指示して、指示に合った操作をプレイヤに行わせるエンターテインメント装置及びその関連技術に関する。
【背景技術】
【０００２】
本件出願人によるボールパドルゲーム装置が特許文献１に開示されている。特許文献１に開示されているボールパドルゲーム装置は、テレビジョンモニタに接続されるゲーム機を有する。このゲーム機には、４つのパドルキーが設けられる。そして、テレビジョンモニタのゲーム画面に、４つのパドルキーに対応して、４つのパドル図形が表示される。４つのパドル図形に対応した４つのボール移動経路を、ボールが移動する。パドルキーが押下されると、対応するパドル図形が、対応する移動経路のボールを打ち返す。パドルキーの位置及び操作タイミングとボールの経路及び移動タイミングとが合致すれば成功、そうでなければ失敗となる。ボールを音楽に合わせて落下させれば、プレイヤは、音楽と一緒にゲームを楽しむことができる。
【０００３】
【特許文献１】特開２００１−１０４６３５号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のボールパドルゲーム装置では、ボールの出現経路及び出現タイミングは、音楽に合わせて予め設定されている。このように、ボールの出現経路及び出現タイミングが音楽ごとに固定的に設定されているので、同一音楽では、プレイヤの入力操作も固定的になる。プレイヤが異なった入力操作を行いたい場合、音楽を変えればよい。しかしながら、ゲーム機に搭載された音楽の全てがプレイヤの好みに合っているとは限らない。一般に、プレイヤは、好みの音楽でプレイしたいはずである。仮に、カートリッジ等の記録媒体により、音楽及びゲームプログラムを提供したとしても、提供可能な音楽等には限りがある。なぜなら、メーカは、通常、市場に応じて、音楽等を選択・提供するからである。
【０００５】
そこで、本発明は、同一音声であっても、プレイヤが、音声に合わせて、異なるパターンの入力操作を行うことができるエンターテインメント装置及びその関連技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の観点によれば、エンターテインメント装置は、プレイヤからの入力に応答する操作オブジェクトを表示装置に表示する第１制御手段と、前記操作オブジェクトを合わせるべき位置を指示する位置指示オブジェクトの出現位置又は第１の所定の変化を開始する位置をランダムに決定する位置決定手段と、前記位置決定手段が決定した位置で、音声に応じて、前記位置指示オブジェクトの出現又は前記第１の所定の変化を開始する第２制御手段と、前記位置指示オブジェクトが所定の状態に達するタイミングで、前記操作オブジェクトの位置が、前記位置指示オブジェクトの位置と実質的に一致したか否かを判断する判断手段と、前記判断手段が一致したと判断した場合、エフェクトを生成するエフェクト手段と、を備える。
【０００７】
この構成によれば、位置指示オブジェクトの出現位置や変化開始位置がランダムに決定される。つまり、位置指示オブジェクトには、その出現位置や変化開始位置が動的に割り当てられる。従って、同一音声であっても、プレイヤに異なるパターンの入力動作を行わせることができる。しかも、位置指示オブジェクトの出現や変化開始は音声に応じて実行されるので、プレイヤに音声に応じた入力を行わせることができる。以上により、プレイヤは、同一音声であっても、異なるパターンの入力を、音声に合わせて行うことができる。
【０００８】
ここで、「第１の所定の変化」とは、位置の所定の変化及び形態の所定の変化を含む意味である。「所定の状態」とは、位置が所定の位置になること及び形態が所定の形態になることを含む意味である。これらの定義において、「形態」とは、形状、模様及び色彩を含む意味である。「音声（ａｕｄｉｏ）」とは、音楽、音響、ボイス及びサウンド等の音を意味する。
【０００９】
このエンターテインメント装置は、撮像により得られた画像に基づいて、三次元空間中の前記プレイヤの動きを検出する検出手段をさらに備え、前記第１制御手段は、検出された前記プレイヤの動きに応答する前記操作オブジェクトを表示する。
【００１０】
この構成によれば、三次元空間中のプレイヤの動き、つまり、プレイヤの任意の動きに基づいて操作オブジェクトが応答するので、操作オブジェクトは画面の任意の位置に移動又は出現することができる。従って、位置指示オブジェクトの出現位置や変化開始位置がランダムに決定される場合に好適である。
【００１１】
このエンターテインメント装置において、前記検出手段は、前記プレイヤの動きを撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する。
【００１２】
この構成によれば、プレイヤの動きを撮影して入力とするので、プレイヤは電子機器を操作して入力を行う必要がない。このため、電子機器の把持等が不要であり、身体を動かして入力を行うエンターテインメント装置に好適である。また、プレイヤは撮像範囲内であれば、特に制限を受けることなく、自由に体を動かすことができ、大きな動きをすることができる。その結果、本システムを用いたプレイが運動につながり、ひいては、運動不足の解消や健康の維持・増進に貢献できる。
【００１３】
このエンターテインメント装置において、前記検出手段は、前記プレイヤが動かす再帰反射体を撮像する側から所定の光を照射した時に撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する。
【００１４】
この構成によれば、光を再帰反射する再帰反射体を撮像するので、撮像画像に写り込んだ再帰反射体の像の抽出が容易になり、再帰反射体、つまり、プレイヤの動きを高速かつ精度良く検出できる。また、再帰反射体には電子機器や機構等が不要であるため、再帰反射体の形状や位置等に制限はなく、それらを任意の決定できる。
【００１５】
このエンターテインメント装置において、前記検出手段は、前記所定の光を照射した時に撮像した画像と、前記所定の光を消灯した時に撮像した画像と、の差分画像に基づいて、三次元空間中の前記プレイヤの動きを検出する。
【００１６】
この構成によれば、再帰反射体からの反射光以外の光を簡易に除去でき、より高速かつ精度良くプレイヤの動きを検出できる。
【００１７】
また、上記エンターテインメント装置において、前記検出手段は、前記表示装置の画面の縁に沿って配置された複数のマーカを前記プレイヤが動かす撮像装置により撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出することもできる。
【００１８】
この構成によれば、プレイヤが撮像装置を向けている方向が分かるので、その方向に応じた位置に操作オブジェクトを表示できる。
【００１９】
上記エンターテインメント装置は、各々前記プレイヤの入力操作を検出する所定数の入力部を有し、前記各入力部からの操作信号を受け付ける検出手段をさらに備え、前記第１制御手段は、前記操作信号に応答する前記操作オブジェクトを表示することもできる。
【００２０】
この構成によれば、操作信号により、操作オブジェクトを制御しているので、動きの検知のための画像処理等が不要で、処理負荷を軽減できる。
【００２１】
上記エンターテインメント装置は、前記操作オブジェクトを前記位置指示オブジェクトの位置に合わせるタイミングを指示するタイミング指示オブジェクトを表示する第３制御手段をさらに備える。
【００２２】
この構成によれば、タイミング指示オブジェクトにより、操作オブジェクトを位置指示オブジェクトの位置に合わせるタイミングが指示されるので、プレイヤにとって、操作オブジェクトの操作タイミングが分かり易くなる。
【００２３】
このエンターテインメント装置において、前記第２制御手段は、前記位置指示オブジェクトを、前記タイミング指示オブジェクトの位置に向かって移動又は前記タイミング指示オブジェクトの形態に向かって変化させ、前記所定の状態に達するタイミングは、前記位置指示オブジェクトが前記タイミング指示オブジェクトに達するタイミングであり、前記第２制御手段は、前記位置指示オブジェクトが前記タイミング指示オブジェクトに達するタイミングが前記音声に合うように、前記位置指示オブジェクトを制御する。
【００２４】
この構成によれば、プレイヤにとって位置指示オブジェクトの出現や変化開始の時期及び位置を予測することは不可能又は困難であるが、位置指示オブジェクトはタイミング指示オブジェクトに向かって移動又は変化し、指示されるタイミングまで時間があるので、プレイヤは操作オブジェクトを位置指示オブジェクトに合わせる位置及び時期を予測することができる。従って、プレイヤは音声に合わせた滑らかな動きを行い易くなる。ここで、「形態」とは、形状、模様及び色彩を含む意味である。
【００２５】
このエンターテインメント装置において、前記第３制御手段は、前記位置指示オブジェクトが前記所定の状態に達するタイミングで、前記タイミング指示オブジェクトに所定の結果を引き起こす。
【００２６】
この構成によれば、位置指示オブジェクトが所定の状態に達するタイミングで、つまり、プレイヤに指示する操作タイミングで、所定の結果を引き起こすように、タイミング指示オブジェクトが制御される。このように、タイミング指示オブジェクトの変化により、操作のタイミングが指示されるので、プレイヤは、タイミング指示オブジェクトだけで操作のタイミングを認識できる。このため、位置指示オブジェクトの位置との関連で初めて操作のタイミングを指示できるタイミング指示オブジェクトと比較して、プレイヤは直感的に操作のタイミングを認識でき、操作のリズムないしはテンポをとり易い。操作の位置は、プレイヤは位置指示オブジェクトを見ることで認識できる。
【００２７】
上記エンターテインメント装置において、前記音声は予め定められた音声である。
【００２８】
この構成によれば、音楽等の音声が予め定められているので、外部から任意の音声を入力する場合と比較して、ソフトウェア及びハードウェアを簡素化できる。ちなみに、外部から任意の音声を入力する場合、音声に合わせて位置指示オブジェクトを制御するためには、音声の解析が必要になり、ソフトウェア及びハードウェアが複雑化する。
【００２９】
また、上記エンターテインメント装置において、前記音声は、外部から入力される音声であってもよい。
【００３０】
この構成によれば、外部から音楽等の音声を入力できるので、プレイヤは、自分の好きな音声でプレイしたり、また、飽きた場合は異なる音声を入力してプレイできる。
【００３１】
このエンターテインメント装置において、前記第２制御手段は、外部から入力される前記音声を解析して、当該音声中の周期的な反復を検出し、当該周期的な反復の起点の発生タイミングを予測する予測手段と、予測された前記発生タイミングで、前記位置指示オブジェクトが前記所定の状態に達するように、前記位置指示オブジェクトの制御を実行する実行手段と、を含む。
【００３２】
この構成によれば、外部入力の音声の周期的な反復の起点（例えばビート）の発生タイミングを予測し、予測結果に基づいて位置指示オブジェクトを制御するので、リアルタイム処理が可能となって、音声を一旦格納し分析した後に音声を再生して位置指示オブジェクトを制御する場合と比較して、メモリ等の記憶手段の規模を小さくできるし、また、格納された音声を再生するための装置は不要であり、コストの削減を図ることができる。なお、入力された音声を一旦格納し分析した後に音声を再生して位置指示オブジェクトを制御する場合は、格納、分析、再生のために、遅延が発生し、リアルタイム処理と言えない。
【００３３】
また、音声の周期的な反復の起点の発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来発生する、音声の周期的な反復の起点（例えばビート）で、位置指示オブジェクトを所定の状態にすることができる。
【００３４】
このエンターテインメント装置において、前記実行手段は、予測された前記発生タイミングで、前記位置指示オブジェクトが前記所定の状態に達するように、前記位置指示オブジェクトの位置及び／又は形態の変化を制御する。ここで、「形態」とは、形状、模様及び色彩を含む意味である。
【００３５】
このエンターテインメント装置において、前記実行手段は、予測された前記発生タイミングに基づいて、前記位置指示オブジェクトの変化開始タイミング、画面への出現タイミング、軌道、速度及び加速度のうちの少なくとも１つを決定し、決定結果に基づいて、前記位置指示オブジェクトの位置及び／又は形態の変化を制御する。
【００３６】
ここで、「変化開始タイミング」とは、位置の変化開始タイミング及び形態の変化開始タイミングを含む意味である。「形態」とは、形状、模様及び色彩を含む意味である。
【００３７】
本発明の第２の観点によれば、位置及びタイミング指示装置は、表示装置の画面上で、操作の位置及びタイミングを指示する位置及びタイミング指示装置であって、前記画面上で前記操作の位置を指示する位置指示オブジェクトを制御する第１制御手段と、前記画面上で前記操作のタイミングを指示するタイミング指示オブジェクトを制御する第２制御手段と、を備え、前記第１制御手段は、前記位置指示オブジェクトの位置又は形態を所定状態に向かって変化させ、前記第２制御手段は、前記位置指示オブジェクトが前記所定状態に達するタイミングで、前記タイミング指示オブジェクトに所定の結果を引き起こし、前記タイミング指示オブジェクトが前記所定の結果を引き起こした時が、前記操作のタイミングである。
【００３８】
この構成によれば、プレイヤに指示する操作タイミングで所定の結果を引き起こすように、タイミング指示オブジェクトが制御される。このように、タイミング指示オブジェクトの変化により、操作のタイミングが指示されるので、プレイヤは、タイミング指示オブジェクトだけで操作のタイミングを認識できる。このため、位置指示オブジェクトの位置との関連で初めて操作のタイミングを指示できるタイミング指示オブジェクトと比較して、プレイヤは直感的に操作のタイミングを認識でき、操作のリズムないしはテンポをとり易い。操作の位置は、プレイヤは位置指示オブジェクトを見ることで認識できる。ここで、「形態」とは、形状、模様及び色彩を含む意味である。
【００３９】
例えば、前記第２制御手段は、前記位置指示オブジェクトと前記所定状態との間の関係が第１所定関係になった時に、前記タイミング指示オブジェクトを出現又は変化を開始し、前記位置指示オブジェクトが前記所定状態に達したタイミングで前記タイミング指示オブジェクトに前記所定の結果を引き起こし、前記位置指示オブジェクトが前記所定状態を通過した後、前記位置指示オブジェクトと前記所定状態との間の関係が第２所定関係になった時に、前記タイミング指示オブジェクトを消滅又は変化を停止する。
【００４０】
上記位置及びタイミング指示装置において、前記第１制御手段は、前記位置指示オブジェクトが前記所定状態に達するタイミングが音声に合うように、前記位置指示オブジェクトを制御する。
【００４１】
この構成によれば、位置指示オブジェクトが指示する位置及び所定状態に達するタイミングで操作を行うことにより、音声に合った操作を行うことができる。
【００４２】
この位置及びタイミング指示装置において、前記音声は、外部から入力される音声である。
【００４３】
この構成によれば、外部から音楽等の音声を入力できるので、プレイヤは、自分の好きな音声でプレイしたり、また、飽きた場合は異なる音声を入力してプレイできる。
【００４４】
また、上記位置及びタイミング指示装置において、前記音声は予め定められた音声であってもよい。
【００４５】
この構成によれば、音楽等の音声が予め定められているので、外部から任意の音声を入力する場合と比較して、ソフトウェア及びハードウェアを簡素化できる。ちなみに、外部から任意の音声を入力する場合、音声に合わせて位置指示オブジェクトを制御するためには、音声の解析が必要になり、ソフトウェア及びハードウェアが複雑化する。また、音声が予め定められているので、その音声に最適な位置指示オブジェクト及びタイミング指示オブジェクトの表示が可能になる。
【００４６】
上記位置及びタイミング指示装置は、プレイヤからの入力に応答する操作オブジェクトを前記表示装置に表示する第３制御手段をさらに備え、前記位置指示オブジェクトは、前記操作オブジェクトを合わせるべき位置を指示し、前記タイミング指示オブジェクトは、前記操作オブジェクトを前記位置指示オブジェクトの位置に合わせるタイミングを指示する。
【００４７】
この構成によれば、プレイヤは、操作オブジェクトを、タイミング指示オブジェクトが指示するタイミングで位置指示オブジェクトに合わせることにより、指示に合った入力操作を行うことができる。例えば、位置指示オブジェクトが所定状態に達するタイミングが音声に合うように、位置指示オブジェクトが制御される場合、プレイヤは、操作オブジェクトを、タイミング指示オブジェクトが指示するタイミングで位置指示オブジェクトに合わせることにより、音声に合った入力操作を行うことができる。
【００４８】
この位置及びタイミング指示装置は、撮像により得られた画像に基づいて、三次元空間中の前記プレイヤの動きを検出する検出手段をさらに備え、前記第３制御手段は、検出された前記プレイヤの動きに応答する前記操作オブジェクトを表示する。
【００４９】
この構成によれば、三次元空間中のプレイヤの動き、つまり、プレイヤの任意の動きに基づいて操作オブジェクトが応答するので、操作オブジェクトは画面の任意の位置に移動又は出現することができる。従って、操作オブジェクトを位置指示オブジェクトに合わせる位置がランダムに決定される場合に好適である。
【００５０】
また、上記位置及びタイミング指示装置は、各々前記プレイヤの入力操作を検出する所定数の入力部を有し、前記各入力部からの操作信号を受け付ける検出手段をさらに備え、前記第３制御手段は、前記操作信号に応答する前記操作オブジェクトを表示することもできる。
【００５１】
この構成によれば、操作信号により、操作オブジェクトを制御しているので、動きの検知のための画像処理等が不要で、処理負荷を軽減できる。
【００５２】
本発明の第３の観点によれば、映像制御方法は、プレイヤからの入力に応答する操作オブジェクトを表示装置に表示するステップと、前記操作オブジェクトを合わせるべき位置を指示する位置指示オブジェクトの出現位置又は第１の所定の変化を開始する位置をランダムに決定するステップと、決定した前記位置で、音声に応じて、前記位置指示オブジェクトの出現又は前記第１の所定の変化を開始するステップと、前記位置指示オブジェクトが所定の状態に達するタイミングで、前記操作オブジェクトの位置が、前記位置指示オブジェクトの位置と実質的に一致したか否かを判断するステップと、一致したと判断した場合、エフェクトを生成するステップと、を含む。
【００５３】
この構成によれば、上記第１の観点によるエンターテインメント装置と同様の効果を奏する。
【００５４】
本発明の第４の観点によれば、位置及びタイミング指示方法は、表示装置の画面上で、操作の位置及びタイミングを指示する位置及びタイミング指示方法であって、前記画面上で前記操作の位置を指示する位置指示オブジェクトを制御するステップと、前記画面上で前記操作のタイミングを指示するタイミング指示オブジェクトを制御するステップと、を含み、前記位置指示オブジェクトを制御する前記ステップは、前記位置指示オブジェクトの位置又は形態を所定状態に向かって変化させるステップを含み、前記タイミング指示オブジェクトを制御するステップは、前記位置指示オブジェクトが前記所定状態に達するタイミングで、前記タイミング指示オブジェクトに所定の結果を引き起こすステップを含み、前記タイミング指示オブジェクトが前記所定の結果を引き起こした時が、前記操作のタイミングである。
【００５５】
この構成によれば、上記第２の観点による位置及びタイミング指示装置と同様の効果を奏する。
【発明を実施するための最良の形態】
【００５６】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付してその説明を援用する。
【００５７】
図１は、本発明の実施の形態によるエンターテインメントシステムの全体構成を示す図である。図１に示すように、このエンターテインメントシステムは、アダプタ１、カートリッジ３、グローブ型入力具７Ｌ（図には現れていない。）、グローブ型入力具７Ｒ、及びテレビジョンモニタ５を備える。以下、グローブ型入力具７Ｌ及び７Ｒをそれぞれグローブ７Ｌ及び７Ｒと呼ぶ。
【００５８】
アダプタ１には、カートリッジ３が装着される。また、アダプタ１には、ケーブル４２により、デジタルオーディオプレーヤ４４が接続される。従って、デジタルオーディオプレーヤ４４が再生したオーディオ信号は、アダプタ１を介してカートリッジ３に与えられる。
【００５９】
アダプタ１は、ＡＶケーブル９により、テレビジョンモニタ５に接続される。従って、カートリッジ３からのビデオ信号及びオーディオ信号は、アダプタ１及びＡＶケーブル９を介して、テレビジョンモニタ５に与えられる。
【００６０】
グローブ７Ｌ及びグローブ７Ｒは、それぞれ、プレイヤの左手及び右手に装着される。
【００６１】
図２は、図１のグローブ７Ｒの斜視図である。図２を参照して、グローブ７Ｒの表面には、受けた光を再帰反射する再帰反射シート１１Ｒが取り付けられる。この再帰反射シート１１Ｒは、グローブ７Ｒの底部にまわり込んで取り付けられる。なお、図示は省略したが、グローブ７Ｌの構成は、グローブ７Ｒと左右対称の構成であり、同様に、その表面に再帰反射シート１１Ｌが取り付けられる。
【００６２】
図３は、図１のカートリッジ３の斜視図である。図３を参照して、カートリッジ３は、平たい直方体状の本体および撮像ユニット１３からなる。カートリッジ３の本体上面には、撮像ユニット１３が取付けられる。この場合、撮像ユニット１３の表面が、カートリッジ３の表面に対して所定角度（例えば４０度）傾斜するように取り付けられる。撮像ユニット１３の表面中央部には、赤外光のみを透過する円形の赤外線フィルタ１５が取り付けられ、それを取り囲むように、４個の赤外発光ダイオード１７が配置される。なお、赤外線フィルタ１５の後ろ側に、後述のイメージセンサ３７が配置される。
【００６３】
図４は、図１のカートリッジ３の電気的構成を示す図である。図４を参照して、カートリッジ３は、プロセッサ３１、外部メモリ３３、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｅｒ Ｕｎｉｔ）３５、イメージセンサ３７、赤外発光ダイオード１７、ローパスフィルタ（ＬＰＦ）３９、並びに、ミキシング回路４１Ｌ，４１Ｒ及び４３を含む。プロセッサ３１、外部メモリ３３、ＭＣＵ３５、ローパスフィルタ３９、並びに、ミキシング回路４１Ｌ，４１Ｒ及び４３は、カートリッジ本体に内蔵される。イメージセンサ３７は、撮像ユニット１３に内蔵され、赤外発光ダイオード１７は、撮像ユニット１３に取り付けられ、その発光部が露出している。
【００６４】
プロセッサ３１には、外部メモリ３３が接続される。外部メモリ３３は、例えば、フラッシュメモリ、ＲＯＭ、及び／又はＲＡＭ等により構成される。外部メモリ３３は、プログラム領域、画像データ領域、および音声データ領域を含む。プログラム領域には、後述のフローチャートに示す各種処理をプロセッサ３１に実行させる制御プログラムが格納される。画像データ領域には、テレビジョンモニタ５に表示される画面を構成するすべての画像データや、他の必要な画像データが格納されている。音声データ領域には、効果音等ための音声データが格納されている。プロセッサ３１は、プログラム領域の制御プログラムを実行して、画像データ領域の画像データ及び音声データ領域の音声データを読み出し、必要な処理を施して、ビデオ信号ＶＤ並びにオーディオ信号ＡＬＩ及びＡＲＩを生成する。ビデオ信号ＶＤは、ＡＶケーブル９を通して、テレビジョンモニタ５に与えられる。オーディオ信号ＡＬＩ及びＡＲＩは、それぞれ、ミキシング回路４１Ｌ及び４１Ｒに与えられる。
【００６５】
プロセッサ３１は、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックスプロセサ、サウンドプロセサおよびＤＭＡコントローラ等の各種機能ブロックを含むとともに、アナログ信号を取り込むときに用いられるＡ／Ｄコンバータ、赤外線信号やキー操作信号のような入力デジタル信号を受けかつ出力デジタル信号を外部機器に与える入出力制御回路、及び内部メモリ等を含む。
【００６６】
ＣＰＵは、外部メモリ３３に格納された制御プログラムを実行する。Ａ／Ｄコンバータからのデジタル信号および入出力制御回路からのデジタル信号はＣＰＵに与えられ、ＣＰＵは、制御プログラムに従って、それらの信号に応じて必要な演算を実行する。グラフィックスプロセサは、外部メモリ３３に格納された画像データに対して、ＣＰＵの演算結果によって必要になったグラフィック処理を実行して、テレビジョンモニタ５に表示する画像を表すビデオ信号ＶＤを生成する。サウンドプロセサは、外部メモリ３３に格納された音声データに対して、ＣＰＵの演算結果によって必要になったサウンド処理を実行して、効果音等を表すオーディオ信号ＡＬＩ及びＡＲＩを生成する。内部メモリは、例えば、ＲＡＭにより構成され、ワーキング領域、カウンタ領域、レジスタ領域、テンポラリデータ領域、及び／又はフラグ領域等として利用される。
【００６７】
イメージセンサ３７は、例えば、６４画素×６４画素のＣＭＯＳイメージセンサである。イメージセンサ３７は、プロセッサ３１からの制御を受けて動作する。具体的には、次の通りである。イメージセンサ３７は、赤外発光ダイオード１７を間欠的に駆動する。従って、赤外発光ダイオード１７は、間欠的に赤外光を発光する。これにより、グローブ７Ｌ及び７Ｒの再帰反射シート１１Ｌ及び１１Ｒには、間欠的に赤外光が照射される。イメージセンサ３７は、赤外光点灯時及び消灯時のそれぞれにおいて、再帰反射シート１１Ｌ及び１１Ｒを撮影する。そして、イメージセンサ３７は、赤外光点灯時の画像信号と赤外光消灯時の画像信号との差分画像信号を生成して、プロセッサ３１に出力する。差分画像信号を求めることで、再帰反射シート１１Ｌ及び１１Ｒからの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射シート１１Ｌ及び１１Ｒを検出できる。
【００６８】
ＭＣＵ３５は、デジタル信号処理の演算を高速に行うためのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を有する。デジタルオーディオプレーヤ４４からのオーディオ信号ＡＬＥ０及びＡＲＥ０は、ＭＣＵ３５に与えられる。ＭＣＵ３５は、アナログのオーディオ信号ＡＬＥ０及びＡＲＥ０をデジタル信号に変換して、パルス幅変調（ＰＷＭ：Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）を行い、ＰＷＭ信号としてオーディオ信号ＡＬＥ１及びＡＲＥ１を生成し、ローパスフィルタ３９に出力する。ＭＣＵ３５は、パルス幅変調を行う際に、プロセッサ３１からの要求に応じて、ボリューム調整を行う。
【００６９】
ＰＷＭ信号であるオーディオ信号ＡＬＥ１及びＡＲＥ１は、ローパスフィルタ３９によって、アナログのオーディオ信号ＡＬＥ２及びＡＲＥ２に変換され、それぞれ、ミキシング回路４１Ｌ及び４１Ｒに与えられる。
【００７０】
ミキシング回路４１Ｌは、プロセッサ３１からのオーディオ信号ＡＬＩとローパスフィルタ３９からのオーディオ信号ＡＬＥ２（デジタルオーディオプレーヤ４４から入力されたオーディオ信号ＡＬＥ０に相当）とをミキシングして、オーディオ信号ＡＬＭとして出力する。ミキシング回路４１Ｒは、プロセッサ３１からのオーディオ信号ＡＲＩとローパスフィルタ３９からのオーディオ信号ＡＲＥ２（デジタルオーディオプレーヤ４４から入力されたオーディオ信号ＡＲＥ０に相当）とをミキシングして、オーディオ信号ＡＲＭとして出力する。オーディオ信号ＡＬＭ及びＡＲＭは、ＡＶケーブル９によりテレビジョンモニタ５に与えられる。
【００７１】
ミキシング回路４３は、デジタルオーディオプレーヤ４４からのオーディオ信号ＡＬＥ０とＡＲＥ０とをミキシングして、オーディオ信号ＡＬＲとして、ＭＣＵ３５に与える。ＭＣＵ３５は、アナログのオーディオ信号ＡＬＲをデジタル信号に変換して、その解析を行う。具体的には、ＭＣＵ３５は、オーディオ信号ＡＬＲのビート（外部ビート）を検出し、新たにビート（内部ビート）を生成する。なお、一般に、ビートは、拍と呼ばれる。また、ＭＣＵ３５は、オーディオ信号ＡＬＲに対して、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を実行し、パワースペクトルを求める。さらに、ＭＣＵ３５は、所定時間（以下、この１所定時間を１フレームと呼ぶ。）におけるオーディオ信号ＡＬＲの最大値を検出する。なお、本実施の形態では、例えば、１フレームを１／６０秒とする。
【００７２】
ところで、後述するが、プロセッサ３１は、ビデオ同期信号に基づく割り込みに同期して、テレビジョンモニタ５に表示する画面を更新する（図１６のステップＳ１５参照）。この場合の割り込みは、一定時間ごとに発生する（以下、この１一定時間を１ビデオフレームと呼ぶ。）。本実施の形態では、例えば、１ビデオフレームを１／６０秒とする。このように、本実施の形態では、ＭＣＵ３５における１フレームとプロセッサ３１における１ビデオフレームとを一致させている。このため、両者を区別する必要がない場合は、双方を単にフレームと呼ぶこともある。
【００７３】
ＭＣＵ３５は、プロセッサ３１からの要求に応じて、１フレーム毎に、音声関連データをプロセッサ３１に送信する。音声関連データは、ビートビット、パワー及び１フレームにおけるオーディオ信号ＡＬＲの最大値を含む。ビートビットは、内部ビート生成時に「１」にセットされ、それ以外では「０」にセットされる。従って、ビートビットの「１」から次の「１」までの時間が、内部ビートの間隔になる。なお、一般に、ビート間隔は、テンポと呼ばれる。また、パワーは、パワースペクトルのうち、プロセッサ３１が要求した周波数のパワーである。
【００７４】
次に、本エンターテインメントシステムにより提供されるコンテンツの一例を説明する。
【００７５】
図５は、図１のテレビジョンモニタ５に表示されたプレイ画面の例示図である。図５を参照して、プロセッサ３１がテレビジョンモニタ５に表示するプレイ画面は、グローブ画像５１Ｌ及び５１Ｒを含む。プロセッサ３１は、再帰反射シート１１Ｌの動きに応じて、グローブ画像５１Ｌを移動し、再帰反射シート１１Ｒの動きに応じて、グローブ画像５１Ｒを移動する。従って、プレイヤは、グローブ７Ｌ及び７Ｒを動かすことによって、画面中のグローブ画像５１Ｌ及び５１Ｒを操作できる。また、実際には表示されないが、プレイ画面には、垂直方向に延びる４本の経路５８−１〜５８−４及びそれらに垂直な基準線５７が設定される。
【００７６】
ここで、画面中心を原点とし、水平方向をｘ軸、垂直方向をｙ軸とした二次元座標を設定する。グローブ７Ｌの再帰反射シート１１Ｌの動きが所定の条件を満足すると、プレイヤがパンチを放ったと判断され、画面奥に向かって移動するグローブ画像５１Ｌのアニメーション（パンチアニメーション）が表示される。この場合、グローブ画像５１Ｌのｘ座標は、差分画像上の再帰反射シート１１Ｌの水平座標に応じて設定される。ただし、グローブ画像５１Ｌのアニメーションの最終的な（一番奥の）ｙ座標は、基準線５７のｙ座標に一致するように設定される。また、グローブ画像５１Ｌの軌道は、パンチの種類（ストレート、クロス）に応じて決定される。
【００７７】
グローブ画像５１Ｒの制御は、グローブ７Ｒに基づき、グローブ画像５１Ｌと同様に行われる。
【００７８】
なお、グローブ７Ｌ及び７Ｒを包括してグローブ７と呼ぶこともある。再帰反射シート１１Ｌ及び１１Ｒを包括して再帰反射シート１１と呼ぶこともある。グローブ画像５１Ｌ及び５１Ｒを包括してグローブ画像５１と呼ぶこともある。経路５８−１〜５８−４を包括して経路５８と呼ぶこともある。
【００７９】
プロセッサ３１は、位置指示オブジェクト５３を画面上端に出現させ、基準線５７に向かって、経路５８に沿って、一定速度で下降させる。この場合、プロセッサ３１は、位置指示オブジェクト５３が基準線５７に到達した時に、デジタルオーディオプレーヤ４４からのオーディオ信号ＡＬＲのビートに一致するように、位置指示オブジェクト５３を画面上端に出現させる。従って、プレイヤが、グローブ７を動かして、位置指示オブジェクト５３が基準線５７に到達したタイミングで、グローブ画像５１を当該位置指示オブジェクト５３に当てることができれば、デジタルオーディオプレーヤ４４からのオーディオ信号ＡＬＲのビートに合っていることになる。言い換えれば、プレイヤが、グローブ７を動かし、グローブ画像５１を操作して、基準線５７の位置でタイミング良く、位置指示オブジェクト５３に当てる動作を繰り返えせば、必然的に、デジタルオーディオプレーヤ４４からのオーディオ信号ＡＬＲに基づく音楽に合わせて、グローブ７を動かしていることになる。
【００８０】
プロセッサ３１は、位置指示オブジェクト５３を出現させる経路５８を４本の中からランダムに決定する。このように、位置指示オブジェクト５３には経路５８が動的に割り当てられるので、音楽の異同に関係なく、常に、プレイヤに異なるパターンの入力動作を行わせることができる。しかも、位置指示オブジェクト５３の出現タイミングは音楽に応じて決定されるので、プレイヤに音楽に応じた入力を行わせることができる。
【００８１】
また、プロセッサ３１は、グローブ画像５１を位置指示オブジェクト５３に当てるタイミングをプレイヤに明示すべく、タイミング指示オブジェクト（以下、「タイミング指示バンド」と呼ぶ。）５５を表示する。
【００８２】
図６は、図５のタイミング指示バンド５５の説明図である。図６を参照して、直線Ｐは、位置指示オブジェクト５３の位置Ｐと時間との関係を示す。折線Ｗは、タイミング指示バンド５５の幅Ｗと時間との関係を示す。プロセッサ３１は、移動開始位置から位置指示オブジェクト５３の移動を開始し、画面の消滅位置に向かって、経路５８に沿って、一定速度で下降させる。この場合、プロセッサ３１は、位置指示オブジェクト５３と基準線５７との間の距離がＬになった時に、タイミング指示バンド５５の表示を開始し、位置指示オブジェクト５３の基準線５７への接近に伴って、その幅Ｗを大きくし、位置指示オブジェクト５３が基準線５７に到達した時に、その幅Ｗを最大とする。そして、さらに、プロセッサ３１は、位置指示オブジェクト５３が基準線５７から離れるに従って、その幅Ｗを小さくし、位置指示オブジェクト５３と基準線５７との間の距離がＬになった時に、タイミング指示バンド５５の表示を終了する。
【００８３】
プレイヤは、区間ＨＡのタイミングで、つまり、概ねタイミング指示バンド５５が表示されている間に、グローブ７を動かしてグローブ画像５１を、タイミング指示バンド５５に重なった位置指示オブジェクト５３に当てると、位置指示オブジェクト５３が画面奥に向かって打ち返される。位置指示オブジェクト５３を基準線５７に完全に一致したタイミングで打ち返すことができなかった場合でも、区間ＨＡのタイミングで位置指示オブジェクト５３を打ち返すことができれば、人間の感覚では、グローブ７を動かす動作は、オーディオ信号ＡＬＲのビートに一致する。
【００８４】
以上のように、位置指示オブジェクト５３は、グローブ画像５１による打撃の水平位置（ｘ軸方向）を、下降する経路５８によって示す。また、タイミング指示バンド５５は、グローブ画像５１による打撃のタイミング及び垂直位置（ｙ軸方向）を示す。
【００８５】
なお、タイミング指示バンド５５の幅Ｗは、位置指示オブジェクト５３と基準線５７との間の距離に応じて制御される。また、位置指示オブジェクト５３は、それが基準線５７に到達するタイミングがオーディオ信号ＡＬＲのビートに合うように制御される。よって、タイミング指示バンド５５の幅Ｗもまた、音楽に合わせて制御されると言える。
【００８６】
ここで、楽曲の種類に関係なく、位置指示オブジェクト５３は一定速度で下降する。そして、位置指示オブジェクト５３の移動開始位置から基準線５７までの下降時間を、ビート間隔に一致させている。デジタルオーディオプレーヤ４４から入力されるオーディオ信号ＡＬＲのビートは、再生する楽曲によって異なってくる。従って、プロセッサ３１は、オーディオ信号ＡＬＲのビート間隔に応じて、位置指示オブジェクト５３の移動開始位置を調整する。つまり、オーディオ信号ＡＬＲのビート間隔が短いほど、移動開始位置は基準線５７に近くなるし、ビート間隔が長いほど、移動開始位置は基準線５７から遠くなる。従って、ビート間隔によっては、画面の上端が丁度、移動開始位置になる場合もあるし、画面の中に移動開始位置がある場合もあるし、画面の外に移動開始位置がある場合もある。
【００８７】
次に、図面を参照しながら、ＭＣＵ３５によるオーディオ信号ＡＬＲの解析方法を説明する。
【００８８】
ＭＣＵ３５は、例えば、サンプリング周波数５０ｋＨｚでオーディオ信号ＡＬＲを取り込む。そして、ＭＣＵ３５は、１フレームにおけるオーディオ信号ＡＬＲの最大値をフレーム毎に取得する。さらに、ＭＣＵ３５は、今回のフレームにおけるオーディオ信号ＡＬＲの最大値から、前回のフレームにおけるオーディオ信号ＡＬＲの最大値を減算し、差分音声信号Ｄｆを得る。ただし、得られた差分音声信号Ｄｆのレベルが０以下の場合は、その差分音声信号Ｄｆは０に設定される。従って、前フレームと比較して、オーディオ信号ＡＬＲのレベルが上昇した場合にのみ、差分音声信号Ｄｆのレベルは０より大きくなる。
【００８９】
図７（ａ）は、図１のＭＣＵ３５に入力される音声信号ＡＬＲの波形図である。図７（ａ）を参照して、縦軸はデジタルオーディオプレーヤ４４から入力されたオーディオ信号ＡＬＲのレベルを示し、横軸は時間ｔを示す。時間ｔの単位はフレームである。ただし、図示のオーディオ信号ＡＬＲは、１フレームにおける最大値である。図７（ｂ）は、図７（ａ）の波形から得られた差分音声信号Ｄｆの波形図である。図７（ｂ）を参照して、縦軸は差分音声信号Ｄｆのレベルを示し、横軸は時間ｔを示す。時間ｔの単位はフレームである。
【００９０】
図７（ａ）に示すように、ＭＣＵ３５は、オーディオ信号ＡＬＲを所定時間Ｔｃ（例えば、８０フレーム）単位で解析する。すなわち、図７（ｂ）に示すように、ＭＣＵ３５は、所定時間Ｔｃで得られた差分音声信号Ｄｆのうち、最大レベルの差分音声信号Ｄｆの時刻ＰＶ１（単位はフレーム）と第２番目に大きいレベルの差分音声信号Ｄｆの時刻ＰＶ２（単位はフレーム）との差の絶対値Ｔｖ（ｉ），Ｔｖ（ｉ＋１），…を算出する。この場合、第２番目に大きいレベルの差分音声信号Ｄｆの時刻ＰＶ２は、所定時間Ｔｃ中、最大レベルの差分音声信号Ｄｆの時刻ＰＶ１を中心とした±Ｂ（例えば５）フレームの範囲外から取得される。
【００９１】
このようにして、ＭＣＵ３５は、所定時間Ｔｃ中の最大レベルの差分音声信号Ｄｆと第２番目に大きいレベルの差分音声信号Ｄｆとをオーディオ信号ＡＬＲのビートとみなしている。このように、分析の結果得られたオーディオ信号ＡＬＲのビートを「外部ビート」と呼ぶ。また、外部ビート及び後述の内部ビートを、オーディオ信号ＡＬＲの本来のビートと区別するために、オーディオ信号ＡＬＲの本来のビートを「オリジナルビート」と呼ぶこともある。
【００９２】
従って、絶対値Ｔｖ（ｉ），Ｔｖ（ｉ＋１），…の各々は、外部ビートの間隔、つまり、外部ビートのテンポである。外部ビート間隔Ｔｖ（ｉ），Ｔｖ（ｉ＋１），…を包括して、外部ビート間隔Ｔｖと呼ぶ。
【００９３】
そして、外部ビート間隔Ｔｖを検出する度に、つまり、所定時間Ｔｃごとに、ＭＣＵ３５は、図８（ａ）に示す発生頻度テーブルを更新する。つまり、ＭＣＵ３５は、外部ビート間隔Ｔｖを検出する度に、発生頻度テーブルにおいて、検出した外部ビート間隔Ｔｖに１ポイントを投票（加算）する。従って、発生頻度テーブルの投票数（ポイント数）は、各外部ビート間隔Ｔｖの発生頻度を表す。発生頻度テーブルをグラフ化すると、図８（ｂ）のようになる。このグラフにより、外部ビート間隔Ｔｖの発生頻度の分布が容易に認識できる。
【００９４】
ＭＣＵ３５は、発生頻度テーブルにおいて、最も発生頻度が高い、つまり、最も投票数（ポイント数）が多い外部ビート間隔Ｔｖを暫定内部ビート間隔Ｔｕとする。このように、外部ビート間隔Ｔｖを統計処理して求めた暫定内部ビート間隔Ｔｕを、暫定的にオーディオ信号ＡＬＲのオリジナルビートの間隔とみなす。そして、ＭＣＵ３５は、暫定内部ビート間隔Ｔｕに基づいて、直近の将来発生するオリジナルビートの発生時を予測する。ＭＣＵ３５は、このようにして予測したオリジナルビートの発生時に、内部ビートを生成する。このように、内部ビートは、ＭＣＵ３５によって予測された時刻に生成されるビートである。
【００９５】
図９は、内部ビートの生成方法の詳細な説明図である。なお、時間ｔの単位はフレームである。また、暫定内部ビート間隔Ｔｕは、暫定内部ビート間隔Ｔｕ（ｊ），Ｔｕ（ｊ＋１），…を包括した表記である。図９を参照して、ＭＣＵ３５が、時刻ｔ０から、暫定内部ビート間隔Ｔｕ（ｊ）が経過した時刻ｔ１に内部ビートを生成したとする。この場合、ＭＣＵ３５は、内部ビートを生成した時刻ｔ１を中心とした±Ａ（例えば５）フレームの範囲から、差分音声信号Ｄｆの最大レベルを検出する。そして、ＭＣＵ３５は、最大レベルの差分音声信号Ｄｆの時刻ｔ２から、その時の最新の暫定内部ビート間隔Ｔｕ（ｊ＋１）が経過した時刻ｔ３に内部ビートを生成する。従って、時刻ｔ２での内部ビートの生成時から、時刻ｔ３での内部ビートの生成時までの時間は、暫定内部ビート間隔Ｔｕと一致しないことがある。内部ビートの生成時から、次の内部ビートの生成時までの時間を、内部ビート間隔Ｔｔと呼ぶ。
【００９６】
このように、内部ビートの生成の度に、暫定内部ビート間隔Ｔｕの起点を調整することにより、最終的な内部ビート間隔Ｔｔを決定し、内部ビートとオリジナルビートとの間に生じる誤差の蓄積を除去する。また、ＭＣＵ３５は、時刻ｔ１の内部ビートの生成時に、次の内部ビートの生成時刻ｔ３を決定している。すなわち、ＭＣＵ３５は、時刻ｔ１の内部ビート生成時の最新の暫定内部ビート間隔Ｔｕを調整した内部ビート間隔Ｔｔをオリジナルビートの間隔とみなして、内部ビートの生成時ｔ１から内部ビート間隔Ｔｔが経過した時点ｔ３を、直近の将来発生するオリジナルビートの発生時であると予測し、時刻ｔ３で次の内部ビートを生成している。
【００９７】
次に、グローブ検出処理、左右決定処理、およびグローブ動き判定処理について図面を用いて説明する。
【００９８】
図１０は、グローブ検出処理の説明図である。図１０には、イメージセンサ３７が出力する差分画像信号に基づく画像（６４×６４ピクセル）が図示されている。図中、小さい正方形は１ピクセルを示す。また、左上角をＸＹ座標軸の原点とする。
【００９９】
この画像には、輝度値が大きい２つの領域４５及び４７が含まれる。領域４５及び４７は、それぞれ、再帰反射シート１１Ｌ及び１１Ｒの像である。ただし、この時点では、どの領域がどの再帰反射シートに対応するかは判別できない。
【０１００】
まず、プロセッサ３１は、Ｙ＝０を出発点として、Ｘ＝０からＸ＝６３まで、差分画像をスキャンし、次に、Ｙをインクリメントし、Ｘ＝０からＸ＝６３まで、差分画像をスキャンする。このような処理をＹ＝６３まで行い、６４×６４ピクセルの差分画像をスキャンして、閾値ＴｈＬより大きいピクセルデータの上端位置ｍｉｎＹ、下端位置ｍａｘＹ、左端位置ｍｉｎＸ、及び右端位置ｍａｘＸを求める。
【０１０１】
次に、プロセッサ３１は、座標（ｍｉｎＸ，ｍｉｎＹ）を出発点として、Ｘ軸の正方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＬＴを算出する。また、プロセッサ３１は、座標（ｍａｘＸ，ｍｉｎＹ）を出発点として、Ｘ軸の負方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＲＴを算出する。さらに、プロセッサ３１は、座標（ｍｉｎＸ，ｍａｘＹ）を出発点として、Ｘ軸の正方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＬＢを算出する。さらに、プロセッサ３１は、座標（ｍａｘＸ，ｍａｘＹ）を出発点として、Ｘ軸の負方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＲＢを算出する。
【０１０２】
プロセッサ３１は、距離ＬＴ＞ＲＴのときは、座標（ｍａｘＸ，ｍｉｎＹ）を第１抽出点とし、距離ＬＴ≦ＲＴのときは、座標（ｍｉｎＸ，ｍｉｎＹ）を第１抽出点とする。また、プロセッサ３１は、距離ＬＢ＞ＲＢのときは、座標（ｍａｘＸ，ｍａｘＹ）を第２抽出点とし、距離ＬＢ≦ＲＢのときは、座標（ｍｉｎＸ，ｍａｘＹ）を第２抽出点とする。
【０１０３】
図１１は、左右決定処理の説明図である。図１１には、前回（１ビデオフレーム前）の再帰反射シート１１Ｌの位置ＴＰＬ２及び前々回（２ビデオフレーム前）の位置ＴＰＬ１、並びに、前回（１ビデオフレーム前）の再帰反射シート１１Ｒの位置ＴＰＲ２及び前々回（１ビデオフレーム前）の位置ＴＰＲ１が図示されている。位置ＴＰＬ１，ＴＰＬ２，ＴＰＲ１及びＴＰＲ２は、差分画像上の位置である。
【０１０４】
なお、テレビジョンモニタ５のビデオフレームは、一定時間毎に更新されるところ、本実施の形態では、この一定時間は、ＭＣＵ３５の処理で用いた１フレーム時間と一致する。
【０１０５】
プロセッサ３１は、位置ＴＰＬ１を始点、位置ＴＰＬ２を終点とする速度ベクトルＶＬを算出する。そして、位置ＴＰＬ２を始点とする速度ベクトルＶＬの終点を、再帰反射シート１１Ｌの予測位置ＴＰＬｐとする。一方、プロセッサ３１は、位置ＴＰＲ１を始点、位置ＴＰＲ２を終点とする速度ベクトルＶＲを算出する。そして、位置ＴＰＲ２を始点とする速度ベクトルＶＲの終点を、再帰反射シート１１Ｒの予測位置ＴＰＲｐとする。
【０１０６】
プロセッサ３１は、第１抽出点ＴＰＮ１と予測位置ＴＰＬｐとの距離ＬＤ１、第１抽出点ＴＰＮ１と予測位置ＴＰＲｐとの距離ＲＤ１、第２抽出点ＴＰＮ２と予測位置ＴＰＬｐとの距離ＬＤ２、及び、第２抽出点ＴＰＮ２と予測位置ＴＰＲｐとの距離ＲＤ２を求める。
【０１０７】
プロセッサ３１は、距離ＬＤ１＞ＲＤ１ならば、第１抽出点ＴＰＮ１を再帰反射シート１１Ｒの今回の位置とし、距離ＬＤ１≦ＲＤ１ならば、第１抽出点ＴＰＮ１を再帰反射シート１１Ｌの今回の位置とする。また、プロセッサ３１は、距離ＬＤ２＞ＲＤ２ならば、第２抽出点ＴＰＮ２を再帰反射シート１１Ｒの今回の位置とし、距離ＬＤ２≦ＲＤ２ならば、第２抽出点ＴＰＮ２を再帰反射シート１１Ｌの今回の位置とする。なお、プレイの開始時点等、左右の予測位置ＴＰＬｐ及びＴＰＲｐが算出できない場合は、Ｘ座標がｍｉｎＸである第１抽出点ＴＰＮ１及び第２抽出点ＴＰＮ２の一方の座標を再帰反射シート１１Ｌの座標とし、Ｘ座標がｍａｘＸである他方の抽出点の座標を再帰反射シート１１Ｒの座標とする。
【０１０８】
このように、左右の予測位置ＴＰＬｐ及びＴＰＲｐに基づいて、第１抽出点ＴＰＮ１及び第２抽出点ＴＰＮ２に左右を割り当てているため、再帰反射シート１１Ｌと１１Ｒとの左右が入れ替わった場合でも（クロスした場合でも）、プロセッサ３１は、差分画像上において、再帰反射シート１１Ｌ及び１１Ｒの各々を的確に認識できる。
【０１０９】
図１２（ａ）、図１２（ｃ）、図１２（ｅ）は、プロセッサ３１による速度ベクトル算出の説明図、図１２（ｂ）、図１２（ｄ）、図１２（ｆ）は、プロセッサ３１によるグローブ動き判定処理の説明図である。これらの図は、グローブ７Ｌの再帰反射シート１１Ｌの動き判定の説明図である。
【０１１０】
図１２（ａ）、図１２（ｃ）、図１２（ｅ）には、再帰反射シート１１Ｌの位置ＴＰＬ１〜ＴＰＬ３が図示されている。位置ＴＰＬ１〜ＴＰＬ３は、差分画像上の位置である。これらの図に示すように、プロセッサ３１は、２ビデオフレーム前の再帰反射シート１１Ｌの位置（例えば、位置ＴＰＬ１）を始点とし、今回の位置（例えば、位置ＴＰＬ３）を終点とする速度ベクトルＶを算出する。
【０１１１】
そして、プロセッサ３１は、図１２（ｂ）、図１２（ｄ）、図１２（ｆ）に示すような仮想画面上（６４×６４ピクセル）で、速度ベクトルＶの始点ＴＰＬ１を原点とし、終点ＴＰＬ３がどの領域に位置するかを判定する。プロセッサ３１は、ベクトルＶの終点ＴＰＬ３が領域「不動」に位置する場合は、プレイヤが左パンチを出さなかったと判断する（図１２（ｂ）参照）。つまり、再帰反射シート１１Ｌは動いたが、それをパンチとは判断しない。プロセッサ３１は、ベクトルＶの終点ＴＰＬ３が領域「ストレート」に位置する場合は、プレイヤが左のストレートパンチを出したと判断する（図１２（ｄ）参照）。つまり、再帰反射シート１１Ｌが、真っ直ぐ動かされたと判断する。プロセッサ３１は、ベクトルＶの終点ＴＰＬ３が領域「クロス」に位置する場合は、プレイヤが左のクロスパンチを出したと判断する（図１２（ｆ）参照）。つまり、再帰反射シート１１Ｌが、クロスして動かされたと判断する。
【０１１２】
図１２（ｂ）、図１２（ｄ）、図１２（ｆ）から分かるように、このような動き判定において、プロセッサ３１は、速度ベクトルＶの始点ＴＰＬ１を、仮想画面の原点に置く。仮想画面の原点は、その下辺の中央である。
【０１１３】
グローブ７Ｒに対しては、図１２（ｂ）、図１２（ｄ）、図１２（ｆ）に示す仮想画面と左右対称の仮想画面が用意され、グローブ７Ｌと同様にして、動き（不動、ストレート、クロス）判定が行われる。
【０１１４】
次に、フローチャートを用いて、ＭＣＵ３５の処理の流れを説明する。
【０１１５】
図１３は、図４のＭＣＵ３５による音声データ取得処理の流れを示すフローチャートである。図１３を参照して、ステップＳ３００にて、ＭＣＵ３５は、タイマをセットする。このタイマは、１フレームの経過をＭＣＵ３５に通知する。ステップＳ３０２にて、ＭＣＵ３５は、図４のミキシング回路４３が出力したオーディオ信号ＡＬＲを取り込む（サンプリング）。ステップＳ３０４にて、ＭＣＵ３５は、取り込んだオーディオ信号ＡＬＲのレベルと現在の最大音声データＡｔｍｘのレベルとを比較する。ステップＳ３０６にて、ＭＣＵ３５は、オーディオ信号ＡＬＲのレベルが最大音声データＡｔｍｘのレベルより大きい場合はステップＳ３０８に進み、それ以外はステップＳ３１０に進む。ステップＳ３０８では、ＭＣＵ３５は、最大音声データＡｔｍｘに、オーディオ信号ＡＬＲを代入する。
【０１１６】
ステップＳ３１０にて、ＭＣＵ３５は、１フレームが経過したか否かを判断し、経過していない場合は、つまり、タイマから通知を受けていない場合は、ステップＳ３０２に戻り、経過した場合は、つまり、タイマから通知を受けた場合は、ステップＳ３１２に進む。ここで、ステップＳ３１０で１フレームが経過したと判断された時の最大音声データＡｔｍｘは、１フレーム間におけるオーディオ信号ＡＬＲの最大値である。
【０１１７】
ステップＳ３１０で「ＹＥＳ」が判断された後、ステップＳ３１２にて、ＭＣＵ３５は、変数Ａｆｍｘに、最大音声データＡｔｍｘを格納する。ステップＳ３１４にて、ＭＣＵ３５は、１フレーム間のオーディオ信号ＡＬＲに対して、ＦＦＴを実行し、パワースペクトルを求め、ステップＳ３０２に戻る。
【０１１８】
図１４は、図４のＭＣＵ３５による外部ビート検出処理の流れを示すフローチャートである。図１４を参照して、ステップＳ３３０にて、ＭＣＵ３５は、タイマをセットする。このタイマは、１フレームの経過をＭＣＵ３５に通知する。ステップＳ３３２にて、ＭＣＵ３５は、変数ｋ，ｎ及びｍに「０」を代入する。ステップＳ３３４にて、ＭＣＵ３５は、１フレームが経過した場合（タイマから通知を受けた場合）ステップＳ３３６に進み、経過していない場合（タイマから通知を受けていない場合）ステップＳ３３４に戻る。
【０１１９】
ステップＳ３３６にて、ＭＣＵ３５は、最新の変数Ａｆｍｘの値（最新の１フレーム中の最大音声データＡｔｍｘ）から、前回の変数Ａｆｍｘの値（前回の１フレーム中の最大音声データＡｔｍｘ）を減算し、減算結果を変数（差分）Ｄｆに格納する。ステップＳ３３８にて、ＭＣＵ３５は、差分Ｄｆが０より小さいか否かを判断し、小さい場合はステップＳ３４０に進み、それ以外はステップＳ３４４に進む。ステップＳ３４０では、ＭＣＵ３５は、差分Ｄｆに「０」を代入する。
【０１２０】
ステップＳ３４４にて、ＭＣＵ３５は、今回の差分Ｄｆと前回の差分Ｄｆとを比較する。そして、ステップＳ３４６にて、今回の差分Ｄｆが前回の差分Ｄｆより大きい場合はステップＳ３４８に進み、それ以外はステップＳ３５２に進む。ステップＳ３４８にて、ＭＣＵ３５は、変数Ｄｍｘ［ｎ］に今回の差分Ｄｆを代入する。ステップＳ３５０では、ＭＣＵ３５は、変数Ｋ［ｎ］に変数ｋの値を代入する。
【０１２１】
ステップＳ３５２にて、ＭＣＵ３５は、変数ｍ及びｋをそれぞれ１つインクリメントする。ステップＳ３５４にて、ＭＣＵ３５は、変数ｍが１０に到達したか否かを判断し、到達した場合ステップＳ３５６に進み、到達していない場合ステップＳ３３６に進む。ステップＳ３５６では、ＭＣＵ３５は、変数ｍに「０」を代入する。ステップＳ３５８にて、ＭＣＵ３５は、変数ｎを１つインクリメントする。
【０１２２】
ステップＳ３６０にて、ＭＣＵ３５は、変数ｋの値が「８０」に到達したか否かを判断し、到達した場合はステップＳ３６２に進み、到達していない場合はステップＳ３３６に進む。ステップＳ３６２では、ＭＣＵ３５は、変数ｎ及びｋにそれぞれ「０」を代入する。
【０１２３】
ステップＳ３６４にて、ＭＣＵ３５は、変数Ｄｍｘ［０］〜Ｄｍｘ［９］から最大値と二番目に大きい値を検出し、最大値に対応する変数Ｋ［］の値ＰＶ１と、二番目に大きい値に対応する変数Ｋ［］の値ＰＶ２と、の差の絶対値、つまり、外部ビート間隔Ｔｖを算出する。例えば、最大値がＤｍｘ［２］で、二番目に大きい値がＤｍｘ［６］の場合、差（Ｋ［２］−Ｋ［６］）の絶対値が、外部ビート間隔Ｔｖである。ステップＳ３６６にて、ＭＣＵ３５は、発生頻度テーブル（図８（ａ）参照）において、ステップＳ３６４で算出した外部ビート間隔Ｔｖに１ポイントを投票し、ステップＳ３３４に戻る。
【０１２４】
上記ステップＳ３５４の補足説明を行う。このステップは、１０フレーム間の差分Ｄｆの最大値を求め（ステップＳ３４６）、変数Ｄｍｘ［ｎ］に格納すると共に、その時の変数ｋの値（つまり、フレーム時間）を変数Ｋ［ｎ］に格納するために設けられる。このため、変数ｎは１０フレームごとにインクリメントされ（ステップＳ３５８）、変数ｍは１０フレームごとにリセットされる（ステップＳ３５６）。
【０１２５】
上記ステップＳ３６０の補足説明を行う。このステップは、８０フレームごとに、つまり、時間Ｔｃごとに（図７参照）、外部ビート間隔Ｔｖを求めるために設けられる（ステップＳ３６４）。このため、変数ｎ及びｋは８０フレームごとにリセットされる（ステップＳ３６２）。
【０１２６】
ところで、ステップＳ３５４を設けて、１０フレーム単位で差分Ｄｆの最大値を求めるのは、次の理由による。時間Ｔｃにおける差分Ｄｆの最大値と二番目に大きい値を求める必要がある（図７参照）。この場合、上記のように、第２番目に大きいレベルの差分Ｄｆの時刻ＰＶ２は、最大レベルの差分Ｄｆの時刻ＰＶ１を中心とした±Ｂフレームの範囲外から取得する。このフローでは、Ｂ＝５としている。このため、１０フレーム単位で差分Ｄｆの最大値を取得し、８０フレーム分の差分Ｄｆの最大値Ｄｍｘ［０］〜Ｄｍｘ［９］が取得できたところで、ステップＳ３６４において、その中から、最大値と二番目に大きい値を求めるのである。
【０１２７】
図１５は、図４のＭＣＵ３５による内部ビート生成処理の流れを示すフローチャートである。図１５を参照して、ステップＳ３８０にて、ＭＣＵ３５は、タイマをセットする。このタイマは、１フレームの経過をＭＣＵ３５に通知する。ステップＳ３８２にて、ＭＣＵ３５は、発生頻度テーブル（図８（ａ）参照）から、最も投票数の多い（最もポイントの高い）外部ビート間隔Ｔｖを取得し、暫定内部ビート間隔Ｔｕに設定する。なお、外部ビート間隔Ｔｖ及び暫定内部ビート間隔Ｔｕの単位はフレームである。
【０１２８】
ステップＳ３８４にて、ＭＣＵ３５は、カウンタＣｂがステップＳ３８２で設定した暫定内部ビート間隔Ｔｕに一致したか否かを判断し、一致した場合ステップＳ３８６に進み、不一致の場合ステップＳ３９０に進む。ステップＳ３８６では、ＭＣＵ３５は、ビートフラグを「１」にセットする。ステップＳ３８８にて、ＭＣＵ３５は、カウンタＣｂを「０」にする。一方、ステップＳ３９０では、ＭＣＵ３５は、ビートフラグを「０」にセットする。
【０１２９】
ステップＳ３９２にて、ＭＣＵ３５は、１フレームが経過した場合（タイマから通知を受けた場合）ステップＳ３９４に進み、経過していない場合（タイマから通知を受けていない場合）ステップＳ３９２に戻る。ステップＳ３９４にて、ＭＣＵ３５は、ビートビットをビートフラグの値にセットする。この場合、ビートフラグの値が「１」でビートビットに「１」が設定されることは、内部ビートの生成を意味する。ステップＳ３９６にて、ＭＣＵ３５は、カウンタＣｂを１つインクリメントする。
【０１３０】
ステップＳ４００にて、ＭＣＵ３５は、カウンタＣｂが定数Ａに一致したか否かを判断し、一致した場合ステップＳ４０２に進み、それ以外はステップＳ３８２に進む。ステップＳ４０２では、ＭＣＵ３５は、最新の内部ビートの生成時を中心とした±Ａフレームの範囲から、最も大きい差分Ｄｆの時刻ｔｍｘを検出する（図９参照）。
【０１３１】
ここで、時刻ｔｍｘの単位はフレームである。また、最新の内部ビートの生成時を「０」として、正方向の時刻を、１，２，…Ａとし、負方向の時刻を、−１，−２，…−Ａとする。従って、時刻ｔｍｘは、正負の符号付きの値である。
【０１３２】
そして、ステップＳ４０４にて、ＭＣＵ３５は、現在のカウンタＣｂの値から時刻ｔｍｘを減算して、ステップＳ３８２に戻る。このように、内部ビートの生成の度に、カウンタＣｂの値を修正して、上述したように、暫定内部ビート間隔Ｔｕの起点を調整し、内部ビートとオリジナルビートとの間に生じる誤差の蓄積を除去する。このような調整によって、結果的に、内部ビート間隔Ｔｔで、内部ビートが生成されることになる。なお、もちろん、カウンタＣｂを調整する代わりに、暫定内部ビート間隔Ｔｕに時刻ｔｍｘを加算することにより、内部ビート間隔Ｔｔを求めてもよい。
【０１３３】
次に、フローチャートを用いて、プロセッサ３１の処理の流れを説明する。
【０１３４】
図１６は、図４のプロセッサ３１による処理の流れを示すフローチャートである。図１６を参照して、ステップＳ１にて、プロセッサ３１は、初期化処理を実行する。具体的には、システムハードウエア及び各変数を初期化する。
【０１３５】
ステップＳ３にて、プロセッサ３１は、イメージセンサ３７を制御し、グローブ７Ｌ及び７Ｒの再帰反射シート１１Ｌ及び１１Ｒの撮影処理を実行させる。ステップＳ５にて、プロセッサ３１は、イメージセンサ３７からの差分画像信号に基づいて、グローブ７Ｌ及び７Ｒの再帰反射シート１１Ｌ及び１１Ｒの検出処理を実行する。ステップＳ７にて、プロセッサ３１は、グローブ７Ｌ及び７Ｒの再帰反射シート１１Ｌ及び１１Ｒの動きに従って、グローブ画像５１Ｌ及び５１Ｒを制御する。ステップＳ９にて、プロセッサ３１は、位置指示オブジェクト５３を制御する。ステップＳ１０にて、プロセッサ３１は、タイミング指示バンド５５を制御する。ステップＳ１１にて、プロセッサ３１は、グローブ画像５１Ｌ及び５１Ｒが位置指示オブジェクト５３に当ったか否かの判定を実行する。
【０１３６】
ステップＳ１３にて、プロセッサ３１は、ビデオ同期信号により割り込み待ちか否かを判断し、割り込み待ちの場合ステップＳ１３に戻り、割り込み待ちでない場合、つまり、ビデオ同期信号による割り込みが発生した場合ステップＳ１５に進む。ビデオ同期信号による割り込みは、例えば、１／６０秒間隔で発生する。そして、プロセッサ３１は、ステップＳ１５において、ステップＳ７〜Ｓ１１での設定に基づき、テレビジョンモニタ５に表示する画像の更新を行うと共に、ステップＳ１７において、音声処理を実行し、ステップＳ３に戻る。
【０１３７】
図１７は、図１６のステップＳ３の撮影処理の流れを示すフローチャートである。図１７を参照して、ステップＳ２０において、プロセッサ３１は、イメージセンサ３７に赤外発光ダイオード１７を点灯させる。ステップＳ２２にて、プロセッサ３１は、イメージセンサ３７に赤外光点灯時の撮影を実行させる。ステップＳ２４にて、プロセッサ３１は、イメージセンサ３７に赤外発光ダイオード１７を消灯させる。ステップＳ２６にて、プロセッサ３１は、イメージセンサ３７に赤外光消灯時の撮影を実行させる。ステップＳ２８にて、プロセッサ３１は、イメージセンサ３７に、赤外光点灯時の画像と赤外光消灯時の画像との差分画像を生成及び出力させる。以上のようにして、プロセッサ３１の制御に応答して、イメージセンサ３７は、赤外光の点灯時及び消灯時の撮影、つまり、ストロボ撮影を実行する。また、以上の制御により、赤外発光ダイオード１７は、ストロボスコープとして機能する。
【０１３８】
図１８は、図１６のステップＳ５の実グローブ検出処理の流れを示すフローチャートである。図１８を参照して、ステップＳ３０にて、プロセッサ３１は、イメージセンサ３７が出力した差分画像を取得し、６４×６４の差分ピクセルデータを、配列Ｄｉｆ［Ｘ］［Ｙ］に格納する。本実施の形態では、Ｘ＝０〜６３、Ｙ＝０〜６３である。
【０１３９】
ステップＳ３２にて、プロセッサ３１は、図１０で説明した左右上下端（ｍｉｎＸ、ｍａｘＸ、ｍｉｎＹ、ｍａｘＹ）の検出処理を実行する。ステップＳ３４にて、プロセッサ３１は、図１０で説明した２点位置（第１抽出点（Ｘｔｐ［０］，Ｙｔｐ［０］）、第２抽出点（Ｘｔｐ［１］，Ｙｔｐ［１］））の決定処理を実行する。ステップＳ３６にて、プロセッサ３１は、第１抽出点（Ｘｔｐ［０］，Ｙｔｐ［０］）と第２抽出点（Ｘｔｐ［１］，Ｙｔｐ［１］）との中点座標を算出する。そして、この中点座標をスクリーン座標に変換する。
【０１４０】
ステップＳ３７にて、プロセッサ３１は、第１抽出点及び第２抽出点のうち、どちらが左でどちらが右かを決定する。ステップＳ３９にて、プロセッサ３１は、グローブ画像５１Ｌ及び５１Ｒの動きを判定し、ストレートパンチ、クロスパンチ、あるいはパンチなしの状態を決定する。
【０１４１】
図１９は、図１８のステップＳ３２の左右上下端検出処理の流れを示すフローチャートである。このフローチャートは、図１０で説明した左右上下端検出処理の流れの一例である。
【０１４２】
図１９を参照して、ステップＳ４０にて、プロセッサ３１は、「Ｘ」、「Ｙ」、「ｍａｘＸ」、「ｍａｘＹ」、及び「ｋ」に「０」を代入する。また、プロセッサ３１は、「ｍｉｎＸ」及び「ｍｉｎＹ」に「６３」を代入する。
【０１４３】
ステップＳ４１にて、プロセッサ３１は、配列Ｄｉｆ［Ｘ］［Ｙ］の要素を所定の閾値ＴｈＬと比較する。ステップＳ４２にて、プロセッサ３１は、配列Ｄｉｆ［Ｘ］［Ｙ］の要素が所定の閾値ＴｈＬより大きい場合は、ステップＳ４３に進み、所定の閾値ＴｈＬ以下の場合は、ステップＳ５５に進む。
【０１４４】
ステップＳ４１，Ｓ４２の処理は、グローブ７Ｌ及び７Ｒが撮影されたか否かを検出するための処理である。グローブ７Ｌ及び７Ｒは、再帰反射シート１１Ｌ及び１１Ｒを有しているので、グローブ７Ｌ及び７Ｒが撮影されると、差分画像上では、再帰反射シート１１Ｌ及び１１Ｒに相当するピクセルの輝度値が大きくなる。このため、閾値ＴｈＬにより、輝度値の大小を峻別して、閾値ＴｈＬより大きい輝度値を持つピクセルを、撮影された再帰反射シート１１Ｌ及び１１Ｒの一部であると認識する。
【０１４５】
ステップＳ４３にて、プロセッサ３１は、カウント値ｋを１つインクリメントする。ステップＳ４４にて、プロセッサ３１は、カウント値ｋが「１」か否かを判断し、ｋ＝１であれば、ステップＳ４５に進み、それ以外では、ステップＳ４６に進む。
【０１４６】
ステップＳ４５では、プロセッサ３１は、最小Ｙ座標ｍｉｎＹに、現在のＹ座標を代入する。つまり、スキャンは、（Ｘ，Ｙ）＝（０，０）から開始して、Ｘ＝０〜６３まで行い、Ｙをインクリメントして、再び、Ｘ＝０〜６３まで行う、という処理を繰り返すので（後述のステップＳ５５〜Ｓ５９参照）、最初に閾値ＴｈＬを超えた要素（つまりピクセル）を持つ配列Ｄｉｆ［Ｘ］［Ｙ］の「Ｙ」が最小Ｙ座標ｍｉｎＹとなる。
【０１４７】
ステップＳ４６では、プロセッサ３１は、現在の最大Ｙ座標ｍａｘＹと現在のＹ座標とを比較する。ステップＳ４７にて、プロセッサ３１は、現在の最大Ｙ座標ｍａｘＹより現在のＹ座標が大きい場合は、ステップＳ４８に進み、それ以外はステップＳ４９に進む。ステップＳ４８では、プロセッサ３１は、最大Ｙ座標ｍａｘＹに、現在のＹ座標を代入する。
【０１４８】
ステップＳ４９では、プロセッサ３１は、現在の最小Ｘ座標ｍｉｎＸと現在のＸ座標とを比較する。ステップＳ５０にて、プロセッサ３１は、現在の最小Ｘ座標ｍｉｎＸより現在のＸ座標が小さい場合は、ステップＳ５１に進み、それ以外はステップＳ５２に進む。ステップＳ５１では、プロセッサ３１は、最小Ｘ座標ｍｉｎＸに、現在のＸ座標を代入する。
【０１４９】
ステップＳ５２では、プロセッサ３１は、現在の最大Ｘ座標ｍａｘＸと現在のＸ座標とを比較する。ステップＳ５３にて、プロセッサ３１は、現在の最大Ｘ座標ｍａｘＸより現在のＸ座標が大きい場合は、ステップＳ５４に進み、それ以外はステップＳ５５に進む。ステップＳ５４では、プロセッサ３１は、最大Ｘ座標ｍａｘＸに、現在のＸ座標を代入する。
【０１５０】
ステップＳ５５では、プロセッサ３１は、「Ｘ」を１つインクリメントする。ステップＳ５６にて、プロセッサ３１は、Ｘ＝６４のときは（つまり、差分画像のピクセル１行分の処理が終了したときは）ステップＳ５７に進み、それ以外はステップＳ４１に進む。
【０１５１】
ステップＳ５７では、プロセッサ３１は、「Ｘ」に「０」を代入する。ステップＳ５８にて、プロセッサ３１は、「Ｙ」を１つインクリメントする。ステップＳ５７及びＳ５８の処理は、差分画像の１行分の処理が終了したため、次の１行分の処理を進めるために実行される。
【０１５２】
ステップＳ５９にて、プロセッサ３１は、Ｙ＝６４のときは（つまり、差分画像の６４×６４ピクセル分の処理が終了したときは）、図１８のルーチンにリターンし、それ以外はステップＳ４１に進む。
【０１５３】
上記ステップＳ４１〜Ｓ５９を繰り返すことにより、Ｙ＝６４となった時点で、最小Ｘ座標ｍｉｎＸ、最大Ｘ座標ｍａｘＸ、最小Ｙ座標ｍｉｎＹ、及び最大Ｙ座標ｍａｘＹが全て確定する。
【０１５４】
図２０は、図１８のステップＳ３４の２点位置決定処理の流れを示すフローチャートである。このフローチャートは、図１０で説明した２点位置決定処理の流れの一例である。
【０１５５】
図２０を参照して、プロセッサ３１は、ステップＳ７０にて、「Ｍ」に「０」を代入して、ステップＳ７１からステップＳ８７までの処理を繰り返す。ここで、ステップＳ７１に示すように、一回目のループのときは、Ｙｔｂ＝ｍｉｎＹ、二回目のループのときは、Ｙｔｂ＝ｍａｘＹ、である。ステップＳ７２にて、プロセッサ３１は、座標（ｍｉｎＸ，Ｙｔｂ）を始点としてスキャンを開始する。
【０１５６】
ステップＳ７３にて、プロセッサ３１は、カウント値Ｃｌに「０」を代入する。ステップＳ７４にて、プロセッサ３１は、差分データＤｉｆ［Ｘ］［Ｙ］と閾値ＴｈＬとを比較して、差分データが閾値より大きい場合は、ステップＳ７７に進み、それ以外は、ステップＳ７５に進む。ステップＳ７５では、プロセッサ３１は、カウント値Ｃｌを１つインクリメントする。ステップＳ７６にて、プロセッサ３１は、座標Ｘを１つインクリメントして、ステップＳ７４に進む。
【０１５７】
ステップＳ７４で、Ｄｉｆ［Ｘ］［Ｙ］＞ＴｈＬと判断された時点のカウント値Ｃｌは、図１０の距離ＬＴあるいはＬＢに相当する。ステップＳ７２で、Ｙｔｂ＝ｍｉｎＹのときは、Ｃｌ＝ＬＴであり、Ｙｔｂ＝ｍａｘＹのときは、Ｃｌ＝ＬＢである。
【０１５８】
ステップＳ７７にて、プロセッサ３１は、座標（ｍａｘＸ，Ｙｔｂ）を始点としてスキャンを開始する。ステップＳ７８にて、プロセッサ３１は、カウント値Ｃｒに「０」を代入する。ステップＳ７９にて、プロセッサ３１は、差分データＤｉｆ［Ｘ］［Ｙ］と閾値ＴｈＬとを比較して、差分データが閾値より大きい場合は、ステップＳ８２に進み、それ以外は、ステップＳ８０に進む。ステップＳ８０では、プロセッサ３１は、カウント値Ｃｒを１つインクリメントする。ステップＳ８１にて、プロセッサ３１は、座標Ｘを１つデクリメントして、ステップＳ７９に進む。
【０１５９】
ステップＳ７９で、Ｄｉｆ［Ｘ］［Ｙ］＞ＴｈＬと判断された時点のカウント値Ｃｒは、図１０の距離ＲＴあるいはＲＢに相当する。ステップＳ７２で、Ｙｔｂ＝ｍｉｎＹのときは、Ｃｒ＝ＲＴであり、Ｙｔｂ＝ｍａｘＹのときは、Ｃｒ＝ＲＢである。
【０１６０】
ステップ８２では、プロセッサ３１は、距離ＣｌとＣｒとを比較する。ステップＳ８３にて、距離Ｃｌが距離Ｃｒより大きい場合は、ステップＳ８５に進み、それ以外は、ステップＳ８４に進む。
【０１６１】
ステップＳ８４では、「Ｘｔｐ［Ｍ］」に「ｍｉｎＸ」を代入するとともに、「Ｙｔｐ［Ｍ］」に「Ｙｔｂ」を代入する。一方、ステップＳ８５では、「Ｘｔｐ［Ｍ］」に「ｍａｘＸ」を代入するとともに、「Ｙｔｐ［Ｍ］」に「Ｙｔｂ」を代入する。
【０１６２】
ここで、座標（Ｘｔｐ［０］，Ｙｔｐ［０］）は、図１０で説明した第１抽出点の座標であり、座標（Ｘｔｐ［１］，Ｙｔｐ［１］）は、第２抽出点の座標である。
【０１６３】
ステップＳ８６では、プロセッサ３１は、「Ｍ」を１つインクリメントして、ステップＳ８７へ進む。ステップＳ７１からステップＳ８７までのループが終了すると、図１８のルーチンにリターンする。
【０１６４】
図２１は、図１８のステップＳ３７の左右決定処理の流れを示すフローチャートである。このフローチャートは、図１１で説明した左右決定処理の流れの一例である。なお、再帰反射シート１１Ｌの位置を左抽出点、再帰反射シート１１Ｒの位置を右抽出点と呼ぶ。
【０１６５】
図２１を参照して、ステップＳ１４０にて、プロセッサ３１は、前回の左抽出点の位置（ＸＬ［０］，ＹＬ［０］）からの今回の左抽出点の位置（Ｘｎｌ，Ｙｎｌ）を予測する。ステップＳ１４１にて、プロセッサ３１は、前回の右抽出点の位置（ＸＲ［０］，ＹＲ［０］）からの今回の右抽出点の位置（Ｘｎｒ，Ｙｎｒ）を予測する。ここで、左抽出点（Ｘｎｌ，Ｙｎｌ）は、図１１の予測位置ＴＰＬｐに相当し、右抽出点の位置（Ｘｎｒ，Ｙｎｒ）は、予測位置ＴＰＲｐに相当する。
【０１６６】
ステップＳ１４２にて、プロセッサ３１は、「Ｍ」に「０」を代入する。ステップＳ１４３にて、プロセッサ３１は、予測位置（Ｘｎｌ，Ｙｎｌ）と抽出点（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）との間の距離Ｄｌを算出する。ステップＳ１４４にて、プロセッサ３１は、予測位置（Ｘｎｒ，Ｙｎｒ）と抽出点（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）との間の距離Ｄｒを算出する。
【０１６７】
ここで、抽出点（Ｘｔｐ［０］，Ｙｔｐ［０］）は、図２０のルーチンで求めた第１抽出点であり、抽出点（Ｘｔｐ［１］，Ｙｔｐ［１］）は、図２０のルーチンで求めた第２抽出点である。Ｍ＝０のときは、距離Ｄｌは、図１１の距離ＬＤ１に相当し、距離Ｄｒは、距離ＲＤ１に相当する。Ｍ＝１のときは、距離Ｄｌは、図１１の距離ＬＤ２に相当し、距離Ｄｒは、距離ＲＤ２に相当する。
【０１６８】
ステップＳ１４５にて、プロセッサ３１は、距離Ｄｌと距離Ｄｒとを比較する。ステップＳ１４６にて、プロセッサ３１は、Ｄｌ＞ＤｒならばステップＳ１４８に進み、それ以外はステップＳ１４７に進む。
【０１６９】
ステップＳ１４７では、プロセッサ３１は、前々回の左抽出点の位置（ＸＬ［１］，ＹＬ［１］）を、位置（ＸＬ［２］，ＹＬ［２］）とし、前回の左抽出点の位置（ＸＬ［０］，ＹＬ［０］）を、位置（ＸＬ［１］，ＹＬ［１］）とする。そして、プロセッサ３１は、今回の左抽出点の位置（ＸＬ［０］，ＹＬ［０］）を、座標（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）とする。
【０１７０】
一方、ステップＳ１４８では、プロセッサ３１は、前々回の右抽出点の位置（ＸＲ［１］，ＹＲ［１］）を、位置（ＸＲ［２］，ＹＲ［２］）とし、前回の右抽出点の位置（ＸＲ［０］，ＹＲ［０］）を、位置（ＸＲ［１］，ＹＲＬ［１］）とする。そして、プロセッサ３１は、今回の右抽出点の位置（ＸＲ［０］，ＹＲ［０］）を、座標（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）とする。
【０１７１】
ステップＳ１４９では、プロセッサ３１は、「Ｍ」を１つインクリメントする。ステップＳ１５０にて、プロセッサ３１は、Ｍ＝２か否かを判断し、Ｍ＝２であれば図２０のルーチンにリターンし、それ以外はステップＳ１４３に進む。
【０１７２】
図２２は、図１８のステップＳ３９のグローブ動き判定処理の流れを示すフローチャートである。このフローチャートは、図１２で説明したグローブ動き判定処理の流れの一例である。
【０１７３】
図２２を参照して、プロセッサ３１は、ステップＳ１６０からステップＳ１６９までの処理を繰り返す。ｉ＝０では、再帰反射シート１１Ｌの動き判定を行い、ｉ＝１では、再帰反射シート１１Ｒの動き判定を行う。
【０１７４】
ステップＳ１６１では、プロセッサ３１は、次式により、速度ベクトルＶｉを算出する。
【０１７５】
Ｖｉ＝（Ｘｉ［０］−Ｘｉ［２］，Ｙｉ［０］−Ｙｉ［２］）
【０１７６】
ここで、座標（Ｘ０［０］，Ｙ０［０］）は今回の左抽出点（ＸＬ［０］，ＹＬ［０］）（図１２の左位置ＴＰＬ３に相当）であり、座標（Ｘ０［２］，Ｙ０［２］）は前々回の左抽出点（ＸＬ［２］，ＹＬ［２］）（図１２の左位置ＴＰＬ１に相当）である。従って、速度ベクトルＶ０は、図１２の速度ベクトルＶに相当する。また、座標（Ｘ１［０］，Ｙ１［０］）は今回の右抽出点（ＸＲ［０］，ＹＲ［０］）であり、座標（Ｘ１［２］，Ｙ１［２］）は前々回の右抽出点（ＸＲ［２］，ＹＲ［２］）である。
【０１７７】
ステップＳ１６２にて、プロセッサ３１は、速度ベクトルＶｉの始点を原点として、速度ベクトルＶｉの終点が存在する仮想画面上の領域を判定する（図１２（ｂ）、図１２（ｄ）、図１２（ｆ）参照）。ステップＳ１６３にて、プロセッサ３１は、速度ベクトルＶｉの終点が不動領域に存在する場合は、ステップＳ１６４に進み、不動フラグＩＦｉをオンにし、それ以外は、ステップＳ１６５に進む。
【０１７８】
ステップＳ１６５にて、プロセッサ３１は、速度ベクトルＶｉの終点がストレート領域に存在する場合は、ステップＳ１６７に進み、ストレートフラグＳＦｉをオンにし、それ以外はクロス領域に存在することになるので、ステップＳ１６６に進んで、クロスフラグＣＦｉをオンにする。ステップＳ１６８にて、プロセッサ３１は、パンチの回数をカウントするパンチカウンタＮｐを１つインクリメントして、ステップＳ１６９に進む。このように、パンチ回数のカウントにおいては、ストレート及びクロス、並びに左右は区別していない。
【０１７９】
ステップＳ１６０からＳ１６９までの処理が２回行われた後、つまり、左右のグローブ７Ｌ及び７Ｒの判定が完了した後、図１８のルーチンにリターンする。
【０１８０】
図２３は、図１６のステップＳ７のグローブ画像制御処理の流れを示すフローチャートである。図２３を参照して、プロセッサ３１は、ステップＳ１８０からＳ１９０までの処理を繰り返す。ｉ＝０のときは、グローブ画像５１Ｌに関する処理であり、ｉ＝１のときは、グローブ画像５１Ｒに関する処理である。
【０１８１】
ステップＳ１８１にて、プロセッサ３１は、不動フラグＩＦｉがオンか否かを判断し、オンであればステップＳ１８２に進み、該当するグローブ画像５１Ｌあるいは５１Ｒの位置を更新し、それ以外はステップＳ１８４に進む。ここで、グローブ画像５１Ｌ及び５１Ｒの位置は、それぞれ、スクリーン座標への変換後の今回の左抽出点の位置及び今回の右抽出点の位置に設定される。ただし、グローブ画像５１Ｌ及び５１Ｒは、水平方向には自由に移動可能であるが、垂直方向については、移動可能な位置が制限される（例えば、グローブ画像５１Ｌ及び５１Ｒの中心がスクリーンの垂直方向下１／３まで）。この場合のグローブ画像５１Ｌ及び５１Ｒは、プレイヤによる非入力を示す画像（基本的姿態を示す画像）の例である。ステップＳ１８３では、プロセッサ３１は、不動フラグＩＦｉをオフにする。
【０１８２】
ステップＳ１８４では、プロセッサ３１は、ストレートフラグＳＦｉがオンか否かを判断し、オンであればステップＳ１８５に進んで、該当するグローブ画像５１Ｌあるいは５１Ｒのストレートパンチのアニメーション（プレイヤによる入力を示す画像（基本的姿態から変化する画像）の例）を設定し、それ以外はステップＳ１８７に進む。ここで、ステップＳ１８５では、グローブ画像５１Ｌのｘ座標は、差分画像上の再帰反射シート１１Ｌの水平座標に応じて設定される。ただし、グローブ画像５１Ｌのアニメーションの最終的な（一番奥の）ｙ座標は、基準線５７（図５参照）のｙ座標に一致するように設定される。つまり、ストレートパンチは、必ず最終的には基準線５７上に到達する。また、グローブ画像５１Ｌの軌道は、ストレートパンチの軌道に設定される。ステップＳ１８６では、プロセッサ３１は、ストレートフラグＳＦｉをオフにする。
【０１８３】
ステップＳ１８７では、プロセッサ３１は、クロスフラグＣＦｉがオンか否かを判断し、オンであればステップＳ１８８に進んで、該当するグローブ画像５１Ｌあるいは５１Ｒのクロスパンチのアニメーション（プレイヤによる入力を示す画像（基本的姿態から変化する画像）の他の例）を設定する。ここで、ステップＳ１８８では、グローブ画像５１Ｌのｘ座標は、差分画像上の再帰反射シート１１Ｌの水平座標に応じて設定される。ただし、グローブ画像５１Ｌのアニメーションの最終的な（一番奥の）ｙ座標は、基準線５７（図５参照）のｙ座標に一致するように設定される。つまり、クロスパンチは、必ず最終的には基準線５７上に到達する。また、グローブ画像５１Ｌの軌道は、クロスパンチの軌道に設定される。ステップＳ１８９では、プロセッサ３１は、クロスフラグＣＦｉをオフにする。
【０１８４】
ステップＳ１８０からＳ１９０までの処理が２回行われた後、つまり、左右のグローブ画像５１Ｌ及び５１Ｒの位置更新が完了した後、ステップＳ１９１に進む。ステップＳ１９１では、プロセッサ３１は、左のグローブ画像５１Ｌと右のグローブ画像５１Ｒとがクロスしているか否か、つまり、左右が入れ替わっているか否かを判断し、クロスしている場合はステップＳ１９２に進む。ステップＳ１９２にて、プロセッサ３１は、クロス後規定時間経過したか否かを判断し、経過したときはステップＳ１９３に進んで、右側に表示されたグローブ画像５１Ｌと左側に表示されたグローブ画像５１Ｒとを左右入れ替えるアニメーションを設定する。
【０１８５】
図２４は、図１６のステップＳ９の位置指示オブジェクト制御処理の流れを示すフローチャートである。図２４を参照して、ステップＳ２２０にて、プロセッサ３１は、ＭＣＵ３５から音声関連データを取得する。上述のように、音声関連データは、ビートビット、パワー及び１フレームにおけるオーディオ信号ＡＬＲの最大値を含む。ステップＳ２２２にて、プロセッサ３１は、ビートビットの値をチェックする。ステップＳ２２４にて、プロセッサ３１は、ビートビットが「１」の場合、つまり、内部ビートが生成された場合、ステップＳ２２６に進み、「０」の場合ステップＳ２３２に進む。
【０１８６】
ステップＳ２２６では、プロセッサ３１は、カウンタＣＢに基づいて、新たに出現させる位置指示オブジェクト５３の移動開始垂直位置（ｙ座標）を決定する。カウンタＣＢは、ビートビットが「１」になってから、次に「１」になるまでの時間（単位はフレーム）、つまり、内部ビート間隔Ｔｔを計数するカウンタである。従って、ステップＳ２２６でのカウンタＣＢの値は、前回ビートビットが「１」になってから今回ビートビットが「１」になるまでの時間である。このため、言い換えると、ステップＳ２２６では、最新の内部ビート間隔Ｔｔに基づいて、位置指示オブジェクト５３の移動開始垂直位置を決定している。理由は、次の通りである。
【０１８７】
位置指示オブジェクト５３の下降速度をｖ、位置指示オブジェクト５３の移動開始垂直位置から基準線５７までの長さをｈ、下降速度ｖで位置指示オブジェクト５３が下降して基準線５７に到達するまでの時間をｔとする。そうすると、次式が成立する。
【０１８８】
ｈ＝ｖ＊ｔ …（１）
【０１８９】
この式において、下降速度ｖは一定である。また、時間ｔには、最新の内部ビート間隔Ｔｔ、つまり、ステップＳ２２６時点でのカウンタＣＢの値を代入する。そうすると、基準線５７からの高さｈが分かるので、基準線５７のｙ座標をｙｒとすると、移動開始垂直位置（ｙ座標）は、ｙｒ＋ｈとなる。
【０１９０】
本実施の形態では、位置指示オブジェクト５３が基準線５７に到達した時点を、オーディオ信号ＡＬＲのオリジナルビートに合わせることを１つの目的としている。従って、最新の内部ビートの生成時（ビートビットが「１」）から、最新の内部ビート間隔Ｔｔが経過した時点で、オーディオ信号ＡＬＲの次のオリジナルビートが発生すると予測する。その結果、上記の式に基づき、位置指示オブジェクト５３の移動開始垂直位置を決定することにより、予測したオリジナルビートの発生時に、位置指示オブジェクト５３が基準線５７に到達するように制御できる。
【０１９１】
さて、ステップＳ２２７にて、プロセッサ３１は、乱数を生成して、位置指示オブジェクト５３の移動開始水平位置（ｘ座標）を、４本の経路５８−１〜５８−４から、ランダムに１つの経路を選択する。ステップＳ２２８にて、プロセッサ３１は、ステップＳ２２６で決定した移動開始垂直位置及びステップＳ２２７で決定した移動開始水平位置に、新たに出現させる位置指示オブジェクト５３の座標を設定する。このように、ビートビットが「１」になった時に、新たに出現させる位置指示オブジェクト５３を設定する。ステップＳ２３０にて、プロセッサ３１は、カウンタＣＢに「０」を代入する。一方、ステップＳ２３２では、プロセッサ３１は、カウンタＣＢを１つインクリメントする。
【０１９２】
ステップＳ２３２にて、プロセッサ３１は、下降速度ｖに基づいて、移動経路５８−１〜５８−４上に存在する全ての位置指示オブジェクト５３の垂直座標（ｙ座標）を更新する。ステップＳ２３３にて、プロセッサ３１は、画面下端の消滅位置に到達した位置指示オブジェクト５３が存在するか否かを判断し、存在する場合ステップＳ２３４に進み、それ以外はリターンする。ステップＳ２３４にて、プロセッサ３１は、消滅位置に到達した位置指示オブジェクト５３の消滅設定を行いリターンする。
【０１９３】
図２５は、図１６のステップＳ１０のタイミング指示バンド制御処理の流れを示すフローチャートである。図２５を参照して、ステップＳ２５０にて、プロセッサ３１は、経路５８−１〜５８−４上の位置指示オブジェクト５３の垂直位置をチェックする。ステップＳ２５２にて、プロセッサ３１は、位置指示オブジェクト５３と基準線５７との間の距離が、定数Ｌ以内か否かを判断し、定数Ｌ以内の場合ステップＳ２５４に進み、それ以外はステップＳ２５６に進む。ステップＳ２５４では、プロセッサ３１は、位置指示オブジェクト５３と基準線５７との間の距離に応じた幅Ｗのタイミング指示バンド５５を設定する（図６参照）。ステップＳ２５６にて、プロセッサ３１は、経路５８−１〜５８−４上の全ての位置指示オブジェクト５３に対して、ステップＳ２５０〜Ｓ２５４の処理が完了したか否かを判断し、完了した場合はリターンし、完了していない場合はステップＳ２５０に戻る。
【０１９４】
図２６は、図１６のステップＳ１１の当り判定処理の流れを示すフローチャートである。図２６を参照して、ステップＳ２９０にて、プロセッサ３１は、グローブ画像５１Ｌが位置指示オブジェクト５３に接触したか否かを判断し、接触した場合ステップＳ２９２に進み、それ以外はステップＳ２９４に進む。ステップＳ２９２では、プロセッサ３１は、グローブ画像５１Ｌと接触した位置指示オブジェクト５３が画面奥に向かって飛んでいく（弾き返される）アニメーションを設定する。
【０１９５】
ステップＳ２９４にて、プロセッサ３１は、経路５８−１〜５８−４上の全ての位置指示オブジェクト５３に対して、ステップＳ２９０の処理を行ったか否かを判断し、全てに対して未だ完了していない場合ステップＳ２９０に戻り、全てに対して完了した場合はステップＳ２９６に進む。ステップＳ２９６では、左右のグローブ画像５１Ｌ及び５１Ｒについて、ステップＳ２９０〜Ｓ２９４の処理が完了したか否かを判断し、完了していない場合ステップＳ２９０に戻り、グローブ画像５１Ｒに対して、ステップＳ２９０〜Ｓ２９４の処理を実行し、完了した場合はリターンする。
【０１９６】
さて、以上のように、本実施の形態では、位置指示オブジェクト５３の出現位置（経路５８−１〜５８−４）がランダムに決定される。つまり、位置指示オブジェクト５３には、その出現位置が動的に割り当てられる。従って、同一音楽であっても、プレイヤに異なるパターンの入力動作を行わせることができる。しかも、位置指示オブジェクト５３の制御は音楽に応じて実行されるので、プレイヤに音楽に応じた入力を行わせることができる。以上により、プレイヤは、同一音楽であっても、異なるパターンの入力を、音楽に合わせて行うことができる。
【０１９７】
また、本実施の形態では、撮像により得られた画像に基づいて、三次元空間中のグローブ７の動きを検出し、グローブ画像５１は、グローブ７の動きに応答する。このように、三次元空間中のグローブ７の動き、つまり、グローブ７の任意の動きに基づいてグローブ画像５１が応答するので、グローブ画像５１は画面の任意の位置に移動又は出現することができる。従って、本実施の形態のように、位置指示オブジェクト５３の出現位置がランダムに決定される場合に好適である。
【０１９８】
具体的には、グローブ７の動きを撮像した画像に基づいて、三次元空間中のグローブ７の動きを検出する。このように、グローブ７の動きを撮影して入力とするので、プレイヤは電子機器を操作して入力を行う必要がない。このため、電子機器の把持等が不要であり、身体を動かして入力を行うエンターテインメントシステムに好適である。また、プレイヤは撮像範囲内であれば、特に制限を受けることなく、自由にパンチを繰り出すことができ、大きな動きをすることができる。その結果、本システムを用いたプレイが運動につながり、ひいては、運動不足の解消や健康の維持・増進に貢献できる。
【０１９９】
また、グローブ７に取り付けられた、光を再帰反射する再帰反射シート１１を撮像するので、撮像画像に写り込んだ被写体（つまり再帰反射シート１１）の像の抽出が容易になり、再帰反射シート１１、つまり、グローブ７の動きを高速かつ精度良く検出できる。また、再帰反射シート１１には電子機器や機構等が不要であるため、再帰反射シート１１の形状や取付位置等に制限はなく、それらを任意の決定できる。
【０２００】
さらに、赤外光を照射した時に撮像した画像と、赤外光を消灯した時に撮像した画像と、の差分画像に基づいて、グローブ７の動きを検出する。このため、グローブ７の再帰反射シート１１からの反射光以外の光を簡易に除去でき、より高速かつ精度良くグローブ７の動きを検出できる。
【０２０１】
また、本実施の形態では、タイミング指示バンド５５により、グローブ画像５１を位置指示オブジェクト５３の位置に合わせるタイミングが指示されるので、プレイヤにとって、グローブ画像５１の操作タイミングが分かり易くなる。
【０２０２】
さらに、本実施の形態では、プレイヤにとって位置指示オブジェクト５３の出現の時期及び位置を予測することは不可能又は困難であるが、位置指示オブジェクト５３はタイミング指示バンド５５に向かって移動し、指示されるタイミングまで時間があるので、プレイヤはグローブ画像５１を位置指示オブジェクト５３に合わせる位置及び時期を予測することができる。従って、プレイヤは音声に合わせた滑らかな動きを行い易くなる。
【０２０３】
さらに、本実施の形態では、タイミング指示バンド５５の幅Ｗの変化により、操作のタイミングが指示されるので、プレイヤは、タイミング指示バンド５５だけで操作のタイミングを認識できる。このため、位置指示オブジェクト５３の位置との関連で初めて操作のタイミングを指示できるタイミング指示バンドと比較して、プレイヤは直感的に操作のタイミングを認識でき、操作のリズムないしはテンポをとり易い。操作の位置は、プレイヤは位置指示オブジェクト５３を見ることで認識できる。
【０２０４】
ちなみに、静止し、変化しない若しくは変化してもタイミングの指示と無関係に変化するタイミング指示バンドを表示する場合、プレイヤは、そのタイミング指示バンドだけを見ても操作タイミングは分からない。この場合は、位置指示オブジェクト５３の位置との関連で初めて操作タイミングが分かる。つまり、位置指示オブジェクト５３がタイミング指示バンドに到達するタイミングが、操作タイミングである。
【０２０５】
さらに、本実施の形態では、音楽は外部（上記例では、デジタルオーディオプレーヤ４４）から入力される。このため、プレイヤは、自分の好きな音楽でプレイしたり、また、飽きた場合は異なる音楽を入力してプレイできる。
【０２０６】
この場合、外部入力の音楽のビートの発生タイミングを予測し、予測結果に基づいて位置指示オブジェクト５３を制御するので、リアルタイム処理が可能となって、音楽を一旦格納し分析した後に音楽を再生して位置指示オブジェクト５３を制御する場合と比較して、メモリ等の記憶手段の規模を小さくできるし、また、格納された音楽を再生するための装置は不要であり、コストの削減を図ることができる。なお、入力された音楽を一旦格納し分析した後に音楽を再生して位置指示オブジェクト５３を制御する場合は、格納、分析、再生のために、遅延が発生し、リアルタイム処理と言えない。
【０２０７】
また、音楽のビートの発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来のビートの発生タイミングで、位置指示オブジェクト５３を基準線５７に到達させることができる。
【０２０８】
さらに、本実施の形態では、プレイヤは、グローブ７を操作して、グローブ画像５１を、タイミング指示バンド５５が指示するタイミングで位置指示オブジェクト５３に合わせることにより、音楽に合った入力操作（パンチ動作）を行うことができる。
【０２０９】
なお、本発明は、上記の実施の形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能であり、例えば、以下のような変形も可能である。
【０２１０】
（１）上記では、移動経路５８を４本としたが、数はこれに限定されず、任意の数とすることができる。また、位置指示オブジェクト５３は、画面上端に出現し、垂直に下降した。ただし、位置指示オブジェクト５３は、画面下端に出現し、垂直に上昇してもよいし、画面右端に出現し、水平に左端に向かって移動してもよいし、その逆であってもよい。これらの場合、タイミング指示バンド５５は、位置指示オブジェクト５３の移動方向と直交するように配置する。また、位置指示オブジェクト５３は、画面の縁の任意の位置から出現し、斜め方向に直進移動してもよい。例えば、位置指示オブジェクト５３は、画面の縁の任意の位置から、画面中央に向かって直進し、出現位置と点対称の位置に向かって移動してもよい。この場合、例えば、円形のタイミング指示オブジェクトを画面中央に表示する。さらに、位置指示オブジェクト５３の軌道は、直線に限られず、放物線やジグザグ線などの任意の軌道とすることができる。
【０２１１】
（２）上記では、位置指示オブジェクト５３を移動（下降）させた。ただし、位置の変化である移動に限らず、形態の変化であってもよい。「形態」とは、形状、模様及び色彩を含む意味である。
【０２１２】
（第１変形例）例えば、画面上のランダムに決定した位置に、所定形状の位置指示オブジェクトを出現させると共に、その位置指示オブジェクトと相似な図形をタイミング指示オブジェクトとして中心位置を同一にして表示する。そして、位置指示オブジェクトをタイミング指示オブジェクトに向かって変化させる。この場合、タイミング指示オブジェクトが位置指示オブジェクトより大きい場合は、位置指示オブジェクトを拡大していき、小さい場合は縮小していく。そして、位置指示オブジェクトがタイミング指示オブジェクトに達したタイミングが、グローブ画像５１を位置指示オブジェクトに当てるタイミングである。指示されたタイミングでグローブ画像５１が位置指示オブジェクトに当ったか否かが判断され、当ったと判断された場合、エフェクト（音声及び／又は画像）が生成される。もちろん、位置指示オブジェクトがタイミング指示オブジェクトに達した時が、オーディオ信号ＡＬＲのビートに合うように、位置指示オブジェクトの変化を制御する。また、位置指示オブジェクトの変化は、タイミング指示オブジェクトに達した時に停止・消滅してもよいし、そこから継続して変化させ、所定条件で停止・消滅してもよい。
【０２１３】
（第２変形例）また、例えば、画面上のランダムに決定した位置に、第１所定模様の位置指示オブジェクトを出現させると共に、その位置指示オブジェクトに近接して第２所定模様のタイミング指示オブジェクトを表示する。そして、位置指示オブジェクトの模様を第１所定模様から第２所定模様に向かって変化させる。位置指示オブジェクトの模様がタイミング指示オブジェクトの模様、つまり、第２所定模様に達したタイミングが、グローブ画像５１を位置指示オブジェクトに当てるタイミングである。指示されたタイミングでグローブ画像５１が位置指示オブジェクトに当ったか否かが判断され、当ったと判断された場合、エフェクト（音声及び／又は画像）が生成される。もちろん、位置指示オブジェクトの模様がタイミング指示オブジェクトが指示する第２所定模様に達した時が、オーディオ信号ＡＬＲのビートに合うように、位置指示オブジェクトの変化を制御する。また、位置指示オブジェクトの変化は、第２所定模様に達した時に停止・消滅してもよいし、そこから継続して変化させ、所定条件で停止・消滅してもよい。
【０２１４】
（第３変形例）位置指示オブジェクトの色彩を変化させることもできる。この場合は、位置指示オブジェクトの模様を変化させる場合と同様の例を適用できる。つまり、上記模様の例において、「模様」を「色彩」と読みかえればよい。
【０２１５】
（３）上記では、音楽に応じて位置指示オブジェクト５３を画面に出現（非表示から表示）させた。ただし、各経路５８−１〜５８−４の画面上端に、予め位置指示オブジェクト５３を表示しておき、その中からランダムに位置指示オブジェクト５３を選択して、音楽に応じて、移動（位置の変化）を開始させることもできる。この場合も、位置指示オブジェクト５３が基準線５７に到達した時が、オーディオ信号ＡＬＲのビートに合うように、位置指示オブジェクトの移動（位置の変化）開始時期を制御する。
【０２１６】
この例では、位置指示オブジェクト５３を移動させた。ただし、位置の変化である移動に限らず、形態の変化であってもよい。「形態」とは、形状、模様及び色彩を含む意味である。
【０２１７】
例えば、上記第１変形例の変形を例に挙げる。画面上の任意の複数の位置に予め所定形状の位置指示オブジェクトを表示しておくと共に、その位置指示オブジェクトと相似な図形をタイミング指示オブジェクトとして中心位置を同一にして表示する。そして、複数の位置指示オブジェクトからランダムに位置指示オブジェクトを選択する。そして、選択した位置指示オブジェクトをタイミング指示オブジェクトに向かって変化させる。それ以降は、上記第１変形例と同じである。
【０２１８】
また、例えば、上記第２変形例の変形を例に挙げる。画面上の任意の複数の位置に予め第１所定模様の位置指示オブジェクトを表示しておくと共に、それぞれに近接して、第２所定模様のタイミング指示オブジェクトを表示する。そして、複数の位置指示オブジェクトからランダムに位置指示オブジェクトを選択する。そして、選択した位置指示オブジェクトの模様を第１所定模様から第２所定模様に向かって変化させる。それ以降は、上記第２変形例と同じである。この例において、「模様」を「色彩」と読みかえることもできる。
【０２１９】
（４）上記では、グローブ画像５１が位置指示オブジェクト５３にタイミングよく当った場合、エフェクトとして、位置指示オブジェクト５３を画面奥に弾き返した。ただし、エフェクトは、これに限定されず、効果音等の音声であってもよいし、位置指示オブジェクト５３に他の変化（移動だけでなく形態等の変化）を与えてもよいし、音声と画像との双方のエフェクトを与えてもよい。
【０２２０】
（５）上記では、外部から入力する音声（ａｕｄｉｏ）の例として、音楽を挙げた。ただし、音楽に限らず、音響、ボイス及びサウンド等、その他の音でもよい。ただし、それらがビート（拍）を有することが好ましい。
【０２２１】
また、外部からの音声信号は、デジタルオーディオプレーヤ４４から入力された。ただし、ＣＤやＤＶＤ等、他の記録媒体に記録された音声を再生する装置から入力することもできる。また、マイクロフォンにより、音声（ボイスや演奏等）を電気信号に変換したものを、外部からの入力音声信号とすることもできる。さらに、外部からの音声信号は、ＬＡＮやインターネット等の通信回線を介して与えられるものでもよい。
【０２２２】
（６）上記では、タイミング指示バンド５５の幅Ｗの変化により、操作タイミングを指示した。これは、上記の第１〜第３変形例にも適用できる。具体的には次の通りである。
【０２２３】
上記第１変形例において、表示はされないが、位置指示オブジェクトと相似な基準図形（基準線５７に相当）を、位置指示オブジェクトと中心を同一にして配置する。位置指示オブジェクトの形状が変化して基準図形に達した時が、音楽のビートに一致するように、位置指示オブジェクトの形状を変化させる。そうすると、基準図形と位置指示オブジェクトとの位置関係が第１所定関係（例えば第１所定距離）になった時に、基準図形に重ねてタイミング指示オブジェクトの表示を開始し、その線幅を大きくしていき、基準図形と位置指示オブジェクトとが一致した時に、タイミング指示オブジェクトの線幅を最も大きくし、それを過ぎて位置指示オブジェクトが変化することに応じて、タイミング指示オブジェクトの線幅を小さくしていき、基準図形と位置指示オブジェクトとの位置関係が第２所定関係（例えば第２所定距離）になった時に、タイミング指示オブジェクトを消滅する。
【０２２４】
また、上記第２変形例において、表示はされないが、位置指示オブジェクトと近接して基準点を配置する。位置指示オブジェクトの模様は第１所定模様から変化するところ、位置指示オブジェクトの模様と第２所定模様との関係が第１所定関係になった時に、基準点に重ねてタイミング指示オブジェクトの表示を開始し、その面積を大きくしていき、位置指示オブジェクトの模様が第２所定模様になった時に、タイミング指示オブジェクトの面積を最も大きくし、それを過ぎて位置指示オブジェクトが変化することに応じて、タイミング指示オブジェクトの面積を小さくしていき、位置指示オブジェクトの模様と第２所定模様との関係が第２所定関係になった時に、タイミング指示オブジェクトを消滅する。この例において、「模様」を「色彩」と読みかえることもできる。
【０２２５】
（７）上記では、タイミング指示バンド５５の幅Ｗの変化により、操作タイミングを指示した。ただし、タイミング指示バンド５５の模様又は色彩といった形態の変化により、操作タイミングを指示することもできる。また、操作タイミングを指示するタイミング指示オブジェクトの一例として、タイミング指示バンド５５を挙げたが、タイミング指示オブジェクトの形態はこれに限定されない。また、タイミング指示オブジェクトを経路５８ごとに設けることもできる。
【０２２６】
（８）上記では、位置指示オブジェクト５３との位置関係に基づき、タイミング指示バンド５５を変化させ、タイミング指示バンド５５だけで、操作タイミングが分かるようにした。ただし、位置指示オブジェクト５３との関連で始めて操作タイミングが分かるようにしてもよい。例えば、基準線５７上にタイミング指示バンド５５を予め表示しておき変化を与えない。また、例えば、タイミング指示とは無関係に、演出として変化を与える。
【０２２７】
また、指示すべきタイミングの時点又はその時点を挟む所定時間だけ、一定のタイミング指示バンド５５を表示することもできる。
【０２２８】
（９）上記では、操作タイミングを明示すべく、タイミング指示バンド５５を表示した。ただし、コンテンツによっては、操作タイミングを指示するタイミング指示オブジェクトを表示しなくても、プレイヤが操作タイミングを推測できる場合もあるので、タイミング指示オブジェクトを表示しないこともできる。
【０２２９】
（１０）上記では、位置指示オブジェクト５３と基準線５７との位置関係に応じて、タイミング指示バンド５５を画面に出現（非表示から表示）させた。ただし、基準線５７上に、予めタイミング指示バンド５５を表示しておき、位置指示オブジェクト５３と基準線５７との位置関係に応じて、上記の規則に従って、その幅Ｗを変化させることもできる。模様や色彩といった他の形態を変化させる場合も同様である。また、上記（６）の第１〜第３変形例の変形においても、同様であり、予めタイミング指示オブジェクトを表示しておき、それぞれの規則に従って変化させる。
【０２３０】
（１１）上記では、オーディオ信号ＡＬＲのビートの発生タイミングを予測して、その予測結果に基づいて、位置指示オブジェクト５３の移動開始垂直位置を決定し（図２４のステップＳ２２６）、位置指示オブジェクト５３が基準線５７に到達した時をオーディオ信号ＡＬＲのビートに合わせた。このように、移動開始垂直位置を制御して、基準線５７にて位置指示オブジェクト５３とビートとを合わせた。移動開始垂直位置に応じて、位置指示オブジェクト５３の画面への出現時期が変わるので、移動開始垂直位置の制御は、位置指示オブジェクト５３の画面への出現タイミングの制御に相当する。また、移動開始垂直位置の制御は、変化開始タイミングの制御と言うこともできるし、また、軌道の制御と言うこともできる。
【０２３１】
また、上記の式（１）の長さｈを一定にして、位置指示オブジェクト５３の降下速度ｖを、内部ビート間隔ｔに応じて、変化させ、位置指示オブジェクト５３が基準線５７に到達した時をオーディオ信号ＡＬＲのビートに合わせることもできる。つまり、ｖ＝ｈ／ｔ、である。さらに、内部ビート間隔に応じて、位置指示オブジェクト５３の加速度を制御し、位置指示オブジェクト５３が基準線５７に到達した時をオーディオ信号ＡＬＲのビートに合わせることもできる。
【０２３２】
以上のように、内部ビート間隔に応じて、位置指示オブジェクト５３の出現タイミング、変化開始タイミング、軌道、速度又は加速度を制御することにより、その位置を制御して、位置指示オブジェクト５３が基準線５７に到達した時をオーディオ信号ＡＬＲのビートに合わせることができる。もちろん、出現タイミング、変化開始タイミング、軌道、速度及び加速度のうちの任意の組合せにより、位置指示オブジェクト５３が基準線５７に到達した時をオーディオ信号ＡＬＲのビートに合わせることもできる。なお、軌道は直線に限られず、例えば、放物線等の曲線やジグザグ線など、任意に設定可能である。
【０２３３】
また、上記第１〜第３変形例では、位置指示オブジェクトの形態が所定状態に達した時が、オーディオ信号ＡＬＲのビートに合うように、位置指示オブジェクトの出現や形態の変化を制御した。このような制御は、内部ビート間隔に応じて、位置指示オブジェクト５３の出現タイミング、変化開始タイミング、変化速度若しくは変化加速度又はそれらの任意の組合せにより行うことができる。
【０２３４】
（１２）上記では、オーディオ信号ＡＬＲは、外部から入力した。ただし、オーディオ信号ＡＬＲを外部メモリ３３に予め格納しておき、位置指示オブジェクト５３を移動する経路５８やタイミングを予め設定しておくこともできる。この場合は、オーディオ信号ＡＬＲの解析が不要になるので、外部から任意のオーディオ信号ＡＬＲを入力する場合と比較して、ソフトウェア及びハードウェアを簡素化できる。もちろん、上記第１〜第３変形例においても同様である。
【０２３５】
（１３）グローブ７に再帰反射シート１１を取り付ける代わりに、赤外発光ダイオードのような自発光装置を取り付けることもできる。この場合は、カートリッジ３には、赤外発光ダイオード１７は不要である。また、入力装置を使用せずに、イメージセンサやＣＣＤなどの撮像装置により、被写体（例えばプレイヤの拳）を撮影し、画像解析して、動きを検出することもできる。
【０２３６】
（１４）上記のストロボ撮影（赤外発光ダイオード１７の点滅）及び差分処理は、好適な例を示しただけであって、本発明に必須の要素ではない。つまり、赤外発光ダイオード１７は、点滅させなくてもよいし、また、赤外発光ダイオード１７がなくてもよい。照射する光は赤外光に限られない。また、再帰反射シート１１は本発明に必須の要素ではなく、撮像画像を解析して、入力装置（例えばグローブ）あるいは身体の特定部位（例えば手）が検知できればよい。撮像素子は、イメージセンサに限られず、ＣＣＤなどの他の撮像素子を使用できる。
【０２３７】
（１５）グローブ７に代えて、プレイヤに撮像素子を備えた電子機器を持たせて、これを入力装置とすることもできる。この場合、テレビジョンモニタ５の画面の縁に沿って複数のマーカを取り付ける。このマーカを入力装置の撮像素子で撮影し、プレイヤが、画面のどこを指し示しているかを判断し、そこに操作オブジェクトを表示する。マーカは、例えば、赤外発光ダイオードである。また、マーカを再帰反射シートとすることもできる。この場合は、入力装置に、発光素子を取り付ける。さらに、発光素子を点滅させて、差分画像を処理すれば、上記と同様の効果を得ることができる。
【０２３８】
（１６）上記では、グローブ７に再帰反射シート１１を取り付けたが、再帰反射シートを取り付ける対象はグローブに限定されない。また、グローブは１つでもよい。実行する内容によって、入力具の形状や再帰反射シートを取り付ける位置を任意に設定できる。
【０２３９】
（１７）上記では、撮像により得られた画像に基づいて、グローブ７の動きを検出し、グローブ画像５１を操作した。ただし、グローブ画像５１等の操作オブジェクトの操作は、ジョイスティックや方向キー等を備えた一般的なゲーム機用コントローラで行うこともできる。
【０２４０】
また、各々プレイヤの入力操作を検出する所定数の入力部（例えばスイッチ）を有し、各入力部からの操作信号を受け付け、それらをプロセッサ３１に与えるコントローラを使用することができる。プロセッサ３１は、このコントローラからの各入力部の操作信号に応答する操作オブジェクトを表示する。この場合、例えば、４つの入力部を用意し、それぞれを、経路５８−１〜５８−４に対応させる。経路５８−１を移動する位置指示オブジェクト５３は、対応する入力部の操作にだけ応答する。他の経路５８−２〜５８−４の位置指示オブジェクト５３についても同じである。
【０２４１】
これらのようなコントローラを用いれば、操作信号により、操作オブジェクトを制御できるので、動きの検知のための画像処理等が不要で、処理負荷を軽減できる。なお、このようなコントローラは、プレイヤが、各入力部を手で操作するものであってもよいし、マット型にして足で踏み込んで操作するものであってもよい。
【０２４２】
（１８）上記では、カートリッジ方式を採用しているが、これを採用せず、カートリッジ３に搭載した各機能をアダプタ１に搭載することもできる。
【０２４３】
（１９）上記では、グローブ動き判定は、２回だけ過去の位置を原点として行った（図１２（ａ）〜図１２（ｆ）参照）。しかし、この回数は、これに限定されず、試行錯誤して、３以上の適切な回数を設定できる。また、図１６に示すように、次のビデオ同期信号による割り込みがあるまでに１回の処理を完了している。つまり、１ビデオフレームの表示中に１回の処理を完了している。ただし、１回の処理を、２ビデオフレームなどのＮ（Ｎは２以上の整数）ビデオフレームで完了するようにすることもできる。例えば、１回の処理を２ビデオフレームで完了するようにすると、グローブ７Ｌ及び７Ｒの位置は、２ビデオフレームに１回算出されることになる。
【０２４４】
（２０）上記の左右決定処理では、図１１に示すように、前々回の位置ＴＰＬ１，ＴＰＲ１と前回の位置ＴＰＬ２，ＴＰＲ２とから求めた速度ベクトルＶＬ，ＶＲのみに基づいて、グローブ７Ｌ，７Ｒの予測位置ＴＰＬｐ，ＴＰＲｐを算出した。ただし、前々回の位置ＴＰＬ１，ＴＰＲ１のさらに前の位置ＴＰＬ０，ＴＰＲ０をも利用して、予測位置ＴＰＬｐ，ＴＰＲｐを算出することもできる。位置ＴＰＬ０，ＴＰＬ１及びＴＰＬ２に注目する（左予測）。位置ＴＰＬ０を始点、位置ＴＰＬ１を終点とする速度ベクトルＶＬ０、及び、位置ＴＰＬ１を始点、位置ＴＰＬ２を終点とする速度ベクトルＶＬ１を算出する。速度ベクトルＶＬ０とＶＬ１とのなす角度と、速度ベクトルＶＬ１と予測ベクトルＶＬｐとのなす角度と、が同じになるように、予測ベクトルＶＬｐの方向を決定する。さらに、比ｒ＝（速度ベクトルＶＬ１の大きさ）／（速度ベクトルＶＬ０の大きさ）を求めて、比ｒを速度ベクトルＶＬ１の大きさに乗算し、その結果を、予測ベクトルＶＬｐの大きさとする。そして、速度ベクトルＶＬ１の終点を予測ベクトルＶＬｐの始点とし、予測ベクトルＶＬｐの終点を、予測位置ＴＰＬｐとする。右予測についても同様である。このようにすると、より精度良く、予測位置を算出できる。
【０２４５】
（２１）上記では、仮想画面は、不動領域、ストレート領域、及びクロス領域により構成されていた。そして、入力具７Ｌ，７Ｒが位置する領域に応じて、基本的姿態のグローブ、ストレートパンチ、及びクロスパンチが表示された。ただし、仮想画面の構成は、これに限定されず、コンテンツに応じて、領域の数を増減したり、各領域の機能（入力具がその領域に位置したときに、どのような画像を表示するかとか、どのような処理をするかとか）を変更したり、することができる。
【０２４６】
（２２）上記では、左用と右用に、左右対称の２つの仮想画面を用意した。なぜなら、左手用の入力具７Ｌの機能（パンチのため）と右手用の入力具７Ｒの機能（パンチのため）とが同じだからである。ただし、必ずしも左右対称の仮想画面を用意する必要はなく、コンテンツに応じて、左右で全く異なる仮想画面を用意することもできる。例えば、左手用の入力具の機能（例えば盾を動かすため）と右手用の入力具の機能（例えば剣を振るため）とが異なる場合、左右の仮想画面を異ならせることができる。仮想画面が異なるとは、仮想画面に形成された領域の数、範囲、及び／又は機能が異なることである。
【０２４７】
（２３）上記では、外部ビート間隔Ｔｖを求める際に定数Ｂを使用し、その例として、５フレームを挙げた（図７参照）。また、暫定内部ビート間隔Ｔｕの起点を調整するための定数Ａの例として、５フレームを例に挙げた（図９参照）。ただし、定数Ａ及びＢの値は、適宜変更可能であり、これらに限定されるものではない。
【０２４８】
（２４）上記では、タイミング指示バンド５５の出現開始のための距離Ｌと、タイミング指示バンド５５の消滅のための距離Ｌと、を同一にした（図６参照）。ただし、これらを異ならせることもできる。
【図面の簡単な説明】
【０２４９】
【図１】本発明の実施の形態によるエンターテインメントシステムの全体構成を示す図である。
【図２】図１のグローブ７Ｒの斜視図である。
【図３】図１のカートリッジ３の斜視図である。
【図４】図１のカートリッジ３の電気的構成を示す図である。
【図５】図１のテレビジョンモニタ５に表示されたプレイ画面の例示図である。
【図６】図５のタイミング指示バンド５５の説明図である。
【図７】（ａ）図１のＭＣＵ３５に入力される音声信号ＡＬＲの波形図である。（ｂ）図７（ａ）の波形から得られた差分音声信号Ｄｆの波形図である。
【図８】（ａ）発生頻度テーブルの例示図である。（ｂ）外部ビート間隔Ｔｖの発生頻度の分布図である。
【図９】内部ビートの生成方法の詳細な説明図である。
【図１０】グローブ検出処理の説明図である。
【図１１】左右決定処理の説明図である。
【図１２】（ａ）速度ベクトル算出の説明図である。（ｂ）グローブ動き判定処理の説明図である。（ｃ）速度ベクトル算出の説明図である。（ｄ）グローブ動き判定処理の説明図である。（ｅ）速度ベクトル算出の説明図である。（ｆ）グローブ動き判定処理の説明図である。
【図１３】図４のＭＣＵ３５による音声データ取得処理の流れを示すフローチャートである。
【図１４】図４のＭＣＵ３５による外部ビート検出処理の流れを示すフローチャートである。
【図１５】図４のＭＣＵ３５による内部ビート生成処理の流れを示すフローチャートである。
【図１６】図４のプロセッサ３１による処理の流れを示すフローチャートである。
【図１７】図１６のステップＳ３の撮影処理の流れを示すフローチャートである。
【図１８】図１６のステップＳ５の実グローブ検出処理の流れを示すフローチャートである。
【図１９】図１８のステップＳ３２の左右上下端検出処理の流れを示すフローチャートである。
【図２０】図１８のステップＳ３４の２点位置決定処理の流れを示すフローチャートである。
【図２１】図１８のステップＳ３７の左右決定処理の流れを示すフローチャートである。
【図２２】図１８のステップＳ３９のグローブ動き判定処理の流れを示すフローチャートである。
【図２３】図１６のステップＳ７のグローブ画像制御処理の流れを示すフローチャートである。
【図２４】図１６のステップＳ９の位置指示オブジェクト制御処理の流れを示すフローチャートである。
【図２５】図１６のステップＳ１０のタイミング指示バンド制御処理の流れを示すフローチャートである。
【図２６】図１６のステップＳ１１の当り判定処理の流れを示すフローチャートである。
【符号の説明】
【０２５０】
１…アダプタ、３…カートリッジ、５…テレビジョンモニタ、７Ｌ，７Ｒ…グローブ、９…ＡＶケーブル、１１Ｌ，１１Ｒ…再帰反射シート、１３…撮像ユニット、１５…赤外線フィルタ、１７…赤外発光ダイオード、３１…プロセッサ、３３…外部メモリ、３７…イメージセンサ、３５…ＭＣＵ、４４…デジタルオーディオプレーヤ、５１Ｌ，５１Ｒ…グローブ画像、５３…位置指示オブジェクト、５５…タイミング指示バンド、５７…基準線、５８−１〜５８−４…移動経路。
【技術分野】
【０００１】
本発明は、プレイヤに画面上で操作の位置及びタイミングを指示して、指示に合った操作をプレイヤに行わせるエンターテインメント装置及びその関連技術に関する。
【背景技術】
【０００２】
本件出願人によるボールパドルゲーム装置が特許文献１に開示されている。特許文献１に開示されているボールパドルゲーム装置は、テレビジョンモニタに接続されるゲーム機を有する。このゲーム機には、４つのパドルキーが設けられる。そして、テレビジョンモニタのゲーム画面に、４つのパドルキーに対応して、４つのパドル図形が表示される。４つのパドル図形に対応した４つのボール移動経路を、ボールが移動する。パドルキーが押下されると、対応するパドル図形が、対応する移動経路のボールを打ち返す。パドルキーの位置及び操作タイミングとボールの経路及び移動タイミングとが合致すれば成功、そうでなければ失敗となる。ボールを音楽に合わせて落下させれば、プレイヤは、音楽と一緒にゲームを楽しむことができる。
【０００３】
【特許文献１】特開２００１−１０４６３５号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のボールパドルゲーム装置では、ボールの出現経路及び出現タイミングは、音楽に合わせて予め設定されている。このように、ボールの出現経路及び出現タイミングが音楽ごとに固定的に設定されているので、同一音楽では、プレイヤの入力操作も固定的になる。プレイヤが異なった入力操作を行いたい場合、音楽を変えればよい。しかしながら、ゲーム機に搭載された音楽の全てがプレイヤの好みに合っているとは限らない。一般に、プレイヤは、好みの音楽でプレイしたいはずである。仮に、カートリッジ等の記録媒体により、音楽及びゲームプログラムを提供したとしても、提供可能な音楽等には限りがある。なぜなら、メーカは、通常、市場に応じて、音楽等を選択・提供するからである。
【０００５】
そこで、本発明は、同一音声であっても、プレイヤが、音声に合わせて、異なるパターンの入力操作を行うことができるエンターテインメント装置及びその関連技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の観点によれば、エンターテインメント装置は、プレイヤからの入力に応答する操作オブジェクトを表示装置に表示する第１制御手段と、前記操作オブジェクトを合わせるべき位置を指示する位置指示オブジェクトの出現位置又は第１の所定の変化を開始する位置をランダムに決定する位置決定手段と、前記位置決定手段が決定した位置で、音声に応じて、前記位置指示オブジェクトの出現又は前記第１の所定の変化を開始する第２制御手段と、前記位置指示オブジェクトが所定の状態に達するタイミングで、前記操作オブジェクトの位置が、前記位置指示オブジェクトの位置と実質的に一致したか否かを判断する判断手段と、前記判断手段が一致したと判断した場合、エフェクトを生成するエフェクト手段と、を備える。
【０００７】
この構成によれば、位置指示オブジェクトの出現位置や変化開始位置がランダムに決定される。つまり、位置指示オブジェクトには、その出現位置や変化開始位置が動的に割り当てられる。従って、同一音声であっても、プレイヤに異なるパターンの入力動作を行わせることができる。しかも、位置指示オブジェクトの出現や変化開始は音声に応じて実行されるので、プレイヤに音声に応じた入力を行わせることができる。以上により、プレイヤは、同一音声であっても、異なるパターンの入力を、音声に合わせて行うことができる。
【０００８】
ここで、「第１の所定の変化」とは、位置の所定の変化及び形態の所定の変化を含む意味である。「所定の状態」とは、位置が所定の位置になること及び形態が所定の形態になることを含む意味である。これらの定義において、「形態」とは、形状、模様及び色彩を含む意味である。「音声（ａｕｄｉｏ）」とは、音楽、音響、ボイス及びサウンド等の音を意味する。
【０００９】
このエンターテインメント装置は、撮像により得られた画像に基づいて、三次元空間中の前記プレイヤの動きを検出する検出手段をさらに備え、前記第１制御手段は、検出された前記プレイヤの動きに応答する前記操作オブジェクトを表示する。
【００１０】
この構成によれば、三次元空間中のプレイヤの動き、つまり、プレイヤの任意の動きに基づいて操作オブジェクトが応答するので、操作オブジェクトは画面の任意の位置に移動又は出現することができる。従って、位置指示オブジェクトの出現位置や変化開始位置がランダムに決定される場合に好適である。
【００１１】
このエンターテインメント装置において、前記検出手段は、前記プレイヤの動きを撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する。
【００１２】
この構成によれば、プレイヤの動きを撮影して入力とするので、プレイヤは電子機器を操作して入力を行う必要がない。このため、電子機器の把持等が不要であり、身体を動かして入力を行うエンターテインメント装置に好適である。また、プレイヤは撮像範囲内であれば、特に制限を受けることなく、自由に体を動かすことができ、大きな動きをすることができる。その結果、本システムを用いたプレイが運動につながり、ひいては、運動不足の解消や健康の維持・増進に貢献できる。
【００１３】
このエンターテインメント装置において、前記検出手段は、前記プレイヤが動かす再帰反射体を撮像する側から所定の光を照射した時に撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する。
【００１４】
この構成によれば、光を再帰反射する再帰反射体を撮像するので、撮像画像に写り込んだ再帰反射体の像の抽出が容易になり、再帰反射体、つまり、プレイヤの動きを高速かつ精度良く検出できる。また、再帰反射体には電子機器や機構等が不要であるため、再帰反射体の形状や位置等に制限はなく、それらを任意の決定できる。
【００１５】
このエンターテインメント装置において、前記検出手段は、前記所定の光を照射した時に撮像した画像と、前記所定の光を消灯した時に撮像した画像と、の差分画像に基づいて、三次元空間中の前記プレイヤの動きを検出する。
【００１６】
この構成によれば、再帰反射体からの反射光以外の光を簡易に除去でき、より高速かつ精度良くプレイヤの動きを検出できる。
【００１７】
また、上記エンターテインメント装置において、前記検出手段は、前記表示装置の画面の縁に沿って配置された複数のマーカを前記プレイヤが動かす撮像装置により撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出することもできる。
【００１８】
この構成によれば、プレイヤが撮像装置を向けている方向が分かるので、その方向に応じた位置に操作オブジェクトを表示できる。
【００１９】
上記エンターテインメント装置は、各々前記プレイヤの入力操作を検出する所定数の入力部を有し、前記各入力部からの操作信号を受け付ける検出手段をさらに備え、前記第１制御手段は、前記操作信号に応答する前記操作オブジェクトを表示することもできる。
【００２０】
この構成によれば、操作信号により、操作オブジェクトを制御しているので、動きの検知のための画像処理等が不要で、処理負荷を軽減できる。
【００２１】
上記エンターテインメント装置は、前記操作オブジェクトを前記位置指示オブジェクトの位置に合わせるタイミングを指示するタイミング指示オブジェクトを表示する第３制御手段をさらに備える。
【００２２】
この構成によれば、タイミング指示オブジェクトにより、操作オブジェクトを位置指示オブジェクトの位置に合わせるタイミングが指示されるので、プレイヤにとって、操作オブジェクトの操作タイミングが分かり易くなる。
【００２３】
このエンターテインメント装置において、前記第２制御手段は、前記位置指示オブジェクトを、前記タイミング指示オブジェクトの位置に向かって移動又は前記タイミング指示オブジェクトの形態に向かって変化させ、前記所定の状態に達するタイミングは、前記位置指示オブジェクトが前記タイミング指示オブジェクトに達するタイミングであり、前記第２制御手段は、前記位置指示オブジェクトが前記タイミング指示オブジェクトに達するタイミングが前記音声に合うように、前記位置指示オブジェクトを制御する。
【００２４】
この構成によれば、プレイヤにとって位置指示オブジェクトの出現や変化開始の時期及び位置を予測することは不可能又は困難であるが、位置指示オブジェクトはタイミング指示オブジェクトに向かって移動又は変化し、指示されるタイミングまで時間があるので、プレイヤは操作オブジェクトを位置指示オブジェクトに合わせる位置及び時期を予測することができる。従って、プレイヤは音声に合わせた滑らかな動きを行い易くなる。ここで、「形態」とは、形状、模様及び色彩を含む意味である。
【００２５】
このエンターテインメント装置において、前記第３制御手段は、前記位置指示オブジェクトが前記所定の状態に達するタイミングで、前記タイミング指示オブジェクトに所定の結果を引き起こす。
【００２６】
この構成によれば、位置指示オブジェクトが所定の状態に達するタイミングで、つまり、プレイヤに指示する操作タイミングで、所定の結果を引き起こすように、タイミング指示オブジェクトが制御される。このように、タイミング指示オブジェクトの変化により、操作のタイミングが指示されるので、プレイヤは、タイミング指示オブジェクトだけで操作のタイミングを認識できる。このため、位置指示オブジェクトの位置との関連で初めて操作のタイミングを指示できるタイミング指示オブジェクトと比較して、プレイヤは直感的に操作のタイミングを認識でき、操作のリズムないしはテンポをとり易い。操作の位置は、プレイヤは位置指示オブジェクトを見ることで認識できる。
【００２７】
上記エンターテインメント装置において、前記音声は予め定められた音声である。
【００２８】
この構成によれば、音楽等の音声が予め定められているので、外部から任意の音声を入力する場合と比較して、ソフトウェア及びハードウェアを簡素化できる。ちなみに、外部から任意の音声を入力する場合、音声に合わせて位置指示オブジェクトを制御するためには、音声の解析が必要になり、ソフトウェア及びハードウェアが複雑化する。
【００２９】
また、上記エンターテインメント装置において、前記音声は、外部から入力される音声であってもよい。
【００３０】
この構成によれば、外部から音楽等の音声を入力できるので、プレイヤは、自分の好きな音声でプレイしたり、また、飽きた場合は異なる音声を入力してプレイできる。
【００３１】
このエンターテインメント装置において、前記第２制御手段は、外部から入力される前記音声を解析して、当該音声中の周期的な反復を検出し、当該周期的な反復の起点の発生タイミングを予測する予測手段と、予測された前記発生タイミングで、前記位置指示オブジェクトが前記所定の状態に達するように、前記位置指示オブジェクトの制御を実行する実行手段と、を含む。
【００３２】
この構成によれば、外部入力の音声の周期的な反復の起点（例えばビート）の発生タイミングを予測し、予測結果に基づいて位置指示オブジェクトを制御するので、リアルタイム処理が可能となって、音声を一旦格納し分析した後に音声を再生して位置指示オブジェクトを制御する場合と比較して、メモリ等の記憶手段の規模を小さくできるし、また、格納された音声を再生するための装置は不要であり、コストの削減を図ることができる。なお、入力された音声を一旦格納し分析した後に音声を再生して位置指示オブジェクトを制御する場合は、格納、分析、再生のために、遅延が発生し、リアルタイム処理と言えない。
【００３３】
また、音声の周期的な反復の起点の発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来発生する、音声の周期的な反復の起点（例えばビート）で、位置指示オブジェクトを所定の状態にすることができる。
【００３４】
このエンターテインメント装置において、前記実行手段は、予測された前記発生タイミングで、前記位置指示オブジェクトが前記所定の状態に達するように、前記位置指示オブジェクトの位置及び／又は形態の変化を制御する。ここで、「形態」とは、形状、模様及び色彩を含む意味である。
【００３５】
このエンターテインメント装置において、前記実行手段は、予測された前記発生タイミングに基づいて、前記位置指示オブジェクトの変化開始タイミング、画面への出現タイミング、軌道、速度及び加速度のうちの少なくとも１つを決定し、決定結果に基づいて、前記位置指示オブジェクトの位置及び／又は形態の変化を制御する。
【００３６】
ここで、「変化開始タイミング」とは、位置の変化開始タイミング及び形態の変化開始タイミングを含む意味である。「形態」とは、形状、模様及び色彩を含む意味である。
【００３７】
本発明の第２の観点によれば、位置及びタイミング指示装置は、表示装置の画面上で、操作の位置及びタイミングを指示する位置及びタイミング指示装置であって、前記画面上で前記操作の位置を指示する位置指示オブジェクトを制御する第１制御手段と、前記画面上で前記操作のタイミングを指示するタイミング指示オブジェクトを制御する第２制御手段と、を備え、前記第１制御手段は、前記位置指示オブジェクトの位置又は形態を所定状態に向かって変化させ、前記第２制御手段は、前記位置指示オブジェクトが前記所定状態に達するタイミングで、前記タイミング指示オブジェクトに所定の結果を引き起こし、前記タイミング指示オブジェクトが前記所定の結果を引き起こした時が、前記操作のタイミングである。
【００３８】
この構成によれば、プレイヤに指示する操作タイミングで所定の結果を引き起こすように、タイミング指示オブジェクトが制御される。このように、タイミング指示オブジェクトの変化により、操作のタイミングが指示されるので、プレイヤは、タイミング指示オブジェクトだけで操作のタイミングを認識できる。このため、位置指示オブジェクトの位置との関連で初めて操作のタイミングを指示できるタイミング指示オブジェクトと比較して、プレイヤは直感的に操作のタイミングを認識でき、操作のリズムないしはテンポをとり易い。操作の位置は、プレイヤは位置指示オブジェクトを見ることで認識できる。ここで、「形態」とは、形状、模様及び色彩を含む意味である。
【００３９】
例えば、前記第２制御手段は、前記位置指示オブジェクトと前記所定状態との間の関係が第１所定関係になった時に、前記タイミング指示オブジェクトを出現又は変化を開始し、前記位置指示オブジェクトが前記所定状態に達したタイミングで前記タイミング指示オブジェクトに前記所定の結果を引き起こし、前記位置指示オブジェクトが前記所定状態を通過した後、前記位置指示オブジェクトと前記所定状態との間の関係が第２所定関係になった時に、前記タイミング指示オブジェクトを消滅又は変化を停止する。
【００４０】
上記位置及びタイミング指示装置において、前記第１制御手段は、前記位置指示オブジェクトが前記所定状態に達するタイミングが音声に合うように、前記位置指示オブジェクトを制御する。
【００４１】
この構成によれば、位置指示オブジェクトが指示する位置及び所定状態に達するタイミングで操作を行うことにより、音声に合った操作を行うことができる。
【００４２】
この位置及びタイミング指示装置において、前記音声は、外部から入力される音声である。
【００４３】
この構成によれば、外部から音楽等の音声を入力できるので、プレイヤは、自分の好きな音声でプレイしたり、また、飽きた場合は異なる音声を入力してプレイできる。
【００４４】
また、上記位置及びタイミング指示装置において、前記音声は予め定められた音声であってもよい。
【００４５】
この構成によれば、音楽等の音声が予め定められているので、外部から任意の音声を入力する場合と比較して、ソフトウェア及びハードウェアを簡素化できる。ちなみに、外部から任意の音声を入力する場合、音声に合わせて位置指示オブジェクトを制御するためには、音声の解析が必要になり、ソフトウェア及びハードウェアが複雑化する。また、音声が予め定められているので、その音声に最適な位置指示オブジェクト及びタイミング指示オブジェクトの表示が可能になる。
【００４６】
上記位置及びタイミング指示装置は、プレイヤからの入力に応答する操作オブジェクトを前記表示装置に表示する第３制御手段をさらに備え、前記位置指示オブジェクトは、前記操作オブジェクトを合わせるべき位置を指示し、前記タイミング指示オブジェクトは、前記操作オブジェクトを前記位置指示オブジェクトの位置に合わせるタイミングを指示する。
【００４７】
この構成によれば、プレイヤは、操作オブジェクトを、タイミング指示オブジェクトが指示するタイミングで位置指示オブジェクトに合わせることにより、指示に合った入力操作を行うことができる。例えば、位置指示オブジェクトが所定状態に達するタイミングが音声に合うように、位置指示オブジェクトが制御される場合、プレイヤは、操作オブジェクトを、タイミング指示オブジェクトが指示するタイミングで位置指示オブジェクトに合わせることにより、音声に合った入力操作を行うことができる。
【００４８】
この位置及びタイミング指示装置は、撮像により得られた画像に基づいて、三次元空間中の前記プレイヤの動きを検出する検出手段をさらに備え、前記第３制御手段は、検出された前記プレイヤの動きに応答する前記操作オブジェクトを表示する。
【００４９】
この構成によれば、三次元空間中のプレイヤの動き、つまり、プレイヤの任意の動きに基づいて操作オブジェクトが応答するので、操作オブジェクトは画面の任意の位置に移動又は出現することができる。従って、操作オブジェクトを位置指示オブジェクトに合わせる位置がランダムに決定される場合に好適である。
【００５０】
また、上記位置及びタイミング指示装置は、各々前記プレイヤの入力操作を検出する所定数の入力部を有し、前記各入力部からの操作信号を受け付ける検出手段をさらに備え、前記第３制御手段は、前記操作信号に応答する前記操作オブジェクトを表示することもできる。
【００５１】
この構成によれば、操作信号により、操作オブジェクトを制御しているので、動きの検知のための画像処理等が不要で、処理負荷を軽減できる。
【００５２】
本発明の第３の観点によれば、映像制御方法は、プレイヤからの入力に応答する操作オブジェクトを表示装置に表示するステップと、前記操作オブジェクトを合わせるべき位置を指示する位置指示オブジェクトの出現位置又は第１の所定の変化を開始する位置をランダムに決定するステップと、決定した前記位置で、音声に応じて、前記位置指示オブジェクトの出現又は前記第１の所定の変化を開始するステップと、前記位置指示オブジェクトが所定の状態に達するタイミングで、前記操作オブジェクトの位置が、前記位置指示オブジェクトの位置と実質的に一致したか否かを判断するステップと、一致したと判断した場合、エフェクトを生成するステップと、を含む。
【００５３】
この構成によれば、上記第１の観点によるエンターテインメント装置と同様の効果を奏する。
【００５４】
本発明の第４の観点によれば、位置及びタイミング指示方法は、表示装置の画面上で、操作の位置及びタイミングを指示する位置及びタイミング指示方法であって、前記画面上で前記操作の位置を指示する位置指示オブジェクトを制御するステップと、前記画面上で前記操作のタイミングを指示するタイミング指示オブジェクトを制御するステップと、を含み、前記位置指示オブジェクトを制御する前記ステップは、前記位置指示オブジェクトの位置又は形態を所定状態に向かって変化させるステップを含み、前記タイミング指示オブジェクトを制御するステップは、前記位置指示オブジェクトが前記所定状態に達するタイミングで、前記タイミング指示オブジェクトに所定の結果を引き起こすステップを含み、前記タイミング指示オブジェクトが前記所定の結果を引き起こした時が、前記操作のタイミングである。
【００５５】
この構成によれば、上記第２の観点による位置及びタイミング指示装置と同様の効果を奏する。
【発明を実施するための最良の形態】
【００５６】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付してその説明を援用する。
【００５７】
図１は、本発明の実施の形態によるエンターテインメントシステムの全体構成を示す図である。図１に示すように、このエンターテインメントシステムは、アダプタ１、カートリッジ３、グローブ型入力具７Ｌ（図には現れていない。）、グローブ型入力具７Ｒ、及びテレビジョンモニタ５を備える。以下、グローブ型入力具７Ｌ及び７Ｒをそれぞれグローブ７Ｌ及び７Ｒと呼ぶ。
【００５８】
アダプタ１には、カートリッジ３が装着される。また、アダプタ１には、ケーブル４２により、デジタルオーディオプレーヤ４４が接続される。従って、デジタルオーディオプレーヤ４４が再生したオーディオ信号は、アダプタ１を介してカートリッジ３に与えられる。
【００５９】
アダプタ１は、ＡＶケーブル９により、テレビジョンモニタ５に接続される。従って、カートリッジ３からのビデオ信号及びオーディオ信号は、アダプタ１及びＡＶケーブル９を介して、テレビジョンモニタ５に与えられる。
【００６０】
グローブ７Ｌ及びグローブ７Ｒは、それぞれ、プレイヤの左手及び右手に装着される。
【００６１】
図２は、図１のグローブ７Ｒの斜視図である。図２を参照して、グローブ７Ｒの表面には、受けた光を再帰反射する再帰反射シート１１Ｒが取り付けられる。この再帰反射シート１１Ｒは、グローブ７Ｒの底部にまわり込んで取り付けられる。なお、図示は省略したが、グローブ７Ｌの構成は、グローブ７Ｒと左右対称の構成であり、同様に、その表面に再帰反射シート１１Ｌが取り付けられる。
【００６２】
図３は、図１のカートリッジ３の斜視図である。図３を参照して、カートリッジ３は、平たい直方体状の本体および撮像ユニット１３からなる。カートリッジ３の本体上面には、撮像ユニット１３が取付けられる。この場合、撮像ユニット１３の表面が、カートリッジ３の表面に対して所定角度（例えば４０度）傾斜するように取り付けられる。撮像ユニット１３の表面中央部には、赤外光のみを透過する円形の赤外線フィルタ１５が取り付けられ、それを取り囲むように、４個の赤外発光ダイオード１７が配置される。なお、赤外線フィルタ１５の後ろ側に、後述のイメージセンサ３７が配置される。
【００６３】
図４は、図１のカートリッジ３の電気的構成を示す図である。図４を参照して、カートリッジ３は、プロセッサ３１、外部メモリ３３、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｅｒ Ｕｎｉｔ）３５、イメージセンサ３７、赤外発光ダイオード１７、ローパスフィルタ（ＬＰＦ）３９、並びに、ミキシング回路４１Ｌ，４１Ｒ及び４３を含む。プロセッサ３１、外部メモリ３３、ＭＣＵ３５、ローパスフィルタ３９、並びに、ミキシング回路４１Ｌ，４１Ｒ及び４３は、カートリッジ本体に内蔵される。イメージセンサ３７は、撮像ユニット１３に内蔵され、赤外発光ダイオード１７は、撮像ユニット１３に取り付けられ、その発光部が露出している。
【００６４】
プロセッサ３１には、外部メモリ３３が接続される。外部メモリ３３は、例えば、フラッシュメモリ、ＲＯＭ、及び／又はＲＡＭ等により構成される。外部メモリ３３は、プログラム領域、画像データ領域、および音声データ領域を含む。プログラム領域には、後述のフローチャートに示す各種処理をプロセッサ３１に実行させる制御プログラムが格納される。画像データ領域には、テレビジョンモニタ５に表示される画面を構成するすべての画像データや、他の必要な画像データが格納されている。音声データ領域には、効果音等ための音声データが格納されている。プロセッサ３１は、プログラム領域の制御プログラムを実行して、画像データ領域の画像データ及び音声データ領域の音声データを読み出し、必要な処理を施して、ビデオ信号ＶＤ並びにオーディオ信号ＡＬＩ及びＡＲＩを生成する。ビデオ信号ＶＤは、ＡＶケーブル９を通して、テレビジョンモニタ５に与えられる。オーディオ信号ＡＬＩ及びＡＲＩは、それぞれ、ミキシング回路４１Ｌ及び４１Ｒに与えられる。
【００６５】
プロセッサ３１は、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックスプロセサ、サウンドプロセサおよびＤＭＡコントローラ等の各種機能ブロックを含むとともに、アナログ信号を取り込むときに用いられるＡ／Ｄコンバータ、赤外線信号やキー操作信号のような入力デジタル信号を受けかつ出力デジタル信号を外部機器に与える入出力制御回路、及び内部メモリ等を含む。
【００６６】
ＣＰＵは、外部メモリ３３に格納された制御プログラムを実行する。Ａ／Ｄコンバータからのデジタル信号および入出力制御回路からのデジタル信号はＣＰＵに与えられ、ＣＰＵは、制御プログラムに従って、それらの信号に応じて必要な演算を実行する。グラフィックスプロセサは、外部メモリ３３に格納された画像データに対して、ＣＰＵの演算結果によって必要になったグラフィック処理を実行して、テレビジョンモニタ５に表示する画像を表すビデオ信号ＶＤを生成する。サウンドプロセサは、外部メモリ３３に格納された音声データに対して、ＣＰＵの演算結果によって必要になったサウンド処理を実行して、効果音等を表すオーディオ信号ＡＬＩ及びＡＲＩを生成する。内部メモリは、例えば、ＲＡＭにより構成され、ワーキング領域、カウンタ領域、レジスタ領域、テンポラリデータ領域、及び／又はフラグ領域等として利用される。
【００６７】
イメージセンサ３７は、例えば、６４画素×６４画素のＣＭＯＳイメージセンサである。イメージセンサ３７は、プロセッサ３１からの制御を受けて動作する。具体的には、次の通りである。イメージセンサ３７は、赤外発光ダイオード１７を間欠的に駆動する。従って、赤外発光ダイオード１７は、間欠的に赤外光を発光する。これにより、グローブ７Ｌ及び７Ｒの再帰反射シート１１Ｌ及び１１Ｒには、間欠的に赤外光が照射される。イメージセンサ３７は、赤外光点灯時及び消灯時のそれぞれにおいて、再帰反射シート１１Ｌ及び１１Ｒを撮影する。そして、イメージセンサ３７は、赤外光点灯時の画像信号と赤外光消灯時の画像信号との差分画像信号を生成して、プロセッサ３１に出力する。差分画像信号を求めることで、再帰反射シート１１Ｌ及び１１Ｒからの反射光以外の光によるノイズを極力除去でき、精度良く再帰反射シート１１Ｌ及び１１Ｒを検出できる。
【００６８】
ＭＣＵ３５は、デジタル信号処理の演算を高速に行うためのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を有する。デジタルオーディオプレーヤ４４からのオーディオ信号ＡＬＥ０及びＡＲＥ０は、ＭＣＵ３５に与えられる。ＭＣＵ３５は、アナログのオーディオ信号ＡＬＥ０及びＡＲＥ０をデジタル信号に変換して、パルス幅変調（ＰＷＭ：Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）を行い、ＰＷＭ信号としてオーディオ信号ＡＬＥ１及びＡＲＥ１を生成し、ローパスフィルタ３９に出力する。ＭＣＵ３５は、パルス幅変調を行う際に、プロセッサ３１からの要求に応じて、ボリューム調整を行う。
【００６９】
ＰＷＭ信号であるオーディオ信号ＡＬＥ１及びＡＲＥ１は、ローパスフィルタ３９によって、アナログのオーディオ信号ＡＬＥ２及びＡＲＥ２に変換され、それぞれ、ミキシング回路４１Ｌ及び４１Ｒに与えられる。
【００７０】
ミキシング回路４１Ｌは、プロセッサ３１からのオーディオ信号ＡＬＩとローパスフィルタ３９からのオーディオ信号ＡＬＥ２（デジタルオーディオプレーヤ４４から入力されたオーディオ信号ＡＬＥ０に相当）とをミキシングして、オーディオ信号ＡＬＭとして出力する。ミキシング回路４１Ｒは、プロセッサ３１からのオーディオ信号ＡＲＩとローパスフィルタ３９からのオーディオ信号ＡＲＥ２（デジタルオーディオプレーヤ４４から入力されたオーディオ信号ＡＲＥ０に相当）とをミキシングして、オーディオ信号ＡＲＭとして出力する。オーディオ信号ＡＬＭ及びＡＲＭは、ＡＶケーブル９によりテレビジョンモニタ５に与えられる。
【００７１】
ミキシング回路４３は、デジタルオーディオプレーヤ４４からのオーディオ信号ＡＬＥ０とＡＲＥ０とをミキシングして、オーディオ信号ＡＬＲとして、ＭＣＵ３５に与える。ＭＣＵ３５は、アナログのオーディオ信号ＡＬＲをデジタル信号に変換して、その解析を行う。具体的には、ＭＣＵ３５は、オーディオ信号ＡＬＲのビート（外部ビート）を検出し、新たにビート（内部ビート）を生成する。なお、一般に、ビートは、拍と呼ばれる。また、ＭＣＵ３５は、オーディオ信号ＡＬＲに対して、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を実行し、パワースペクトルを求める。さらに、ＭＣＵ３５は、所定時間（以下、この１所定時間を１フレームと呼ぶ。）におけるオーディオ信号ＡＬＲの最大値を検出する。なお、本実施の形態では、例えば、１フレームを１／６０秒とする。
【００７２】
ところで、後述するが、プロセッサ３１は、ビデオ同期信号に基づく割り込みに同期して、テレビジョンモニタ５に表示する画面を更新する（図１６のステップＳ１５参照）。この場合の割り込みは、一定時間ごとに発生する（以下、この１一定時間を１ビデオフレームと呼ぶ。）。本実施の形態では、例えば、１ビデオフレームを１／６０秒とする。このように、本実施の形態では、ＭＣＵ３５における１フレームとプロセッサ３１における１ビデオフレームとを一致させている。このため、両者を区別する必要がない場合は、双方を単にフレームと呼ぶこともある。
【００７３】
ＭＣＵ３５は、プロセッサ３１からの要求に応じて、１フレーム毎に、音声関連データをプロセッサ３１に送信する。音声関連データは、ビートビット、パワー及び１フレームにおけるオーディオ信号ＡＬＲの最大値を含む。ビートビットは、内部ビート生成時に「１」にセットされ、それ以外では「０」にセットされる。従って、ビートビットの「１」から次の「１」までの時間が、内部ビートの間隔になる。なお、一般に、ビート間隔は、テンポと呼ばれる。また、パワーは、パワースペクトルのうち、プロセッサ３１が要求した周波数のパワーである。
【００７４】
次に、本エンターテインメントシステムにより提供されるコンテンツの一例を説明する。
【００７５】
図５は、図１のテレビジョンモニタ５に表示されたプレイ画面の例示図である。図５を参照して、プロセッサ３１がテレビジョンモニタ５に表示するプレイ画面は、グローブ画像５１Ｌ及び５１Ｒを含む。プロセッサ３１は、再帰反射シート１１Ｌの動きに応じて、グローブ画像５１Ｌを移動し、再帰反射シート１１Ｒの動きに応じて、グローブ画像５１Ｒを移動する。従って、プレイヤは、グローブ７Ｌ及び７Ｒを動かすことによって、画面中のグローブ画像５１Ｌ及び５１Ｒを操作できる。また、実際には表示されないが、プレイ画面には、垂直方向に延びる４本の経路５８−１〜５８−４及びそれらに垂直な基準線５７が設定される。
【００７６】
ここで、画面中心を原点とし、水平方向をｘ軸、垂直方向をｙ軸とした二次元座標を設定する。グローブ７Ｌの再帰反射シート１１Ｌの動きが所定の条件を満足すると、プレイヤがパンチを放ったと判断され、画面奥に向かって移動するグローブ画像５１Ｌのアニメーション（パンチアニメーション）が表示される。この場合、グローブ画像５１Ｌのｘ座標は、差分画像上の再帰反射シート１１Ｌの水平座標に応じて設定される。ただし、グローブ画像５１Ｌのアニメーションの最終的な（一番奥の）ｙ座標は、基準線５７のｙ座標に一致するように設定される。また、グローブ画像５１Ｌの軌道は、パンチの種類（ストレート、クロス）に応じて決定される。
【００７７】
グローブ画像５１Ｒの制御は、グローブ７Ｒに基づき、グローブ画像５１Ｌと同様に行われる。
【００７８】
なお、グローブ７Ｌ及び７Ｒを包括してグローブ７と呼ぶこともある。再帰反射シート１１Ｌ及び１１Ｒを包括して再帰反射シート１１と呼ぶこともある。グローブ画像５１Ｌ及び５１Ｒを包括してグローブ画像５１と呼ぶこともある。経路５８−１〜５８−４を包括して経路５８と呼ぶこともある。
【００７９】
プロセッサ３１は、位置指示オブジェクト５３を画面上端に出現させ、基準線５７に向かって、経路５８に沿って、一定速度で下降させる。この場合、プロセッサ３１は、位置指示オブジェクト５３が基準線５７に到達した時に、デジタルオーディオプレーヤ４４からのオーディオ信号ＡＬＲのビートに一致するように、位置指示オブジェクト５３を画面上端に出現させる。従って、プレイヤが、グローブ７を動かして、位置指示オブジェクト５３が基準線５７に到達したタイミングで、グローブ画像５１を当該位置指示オブジェクト５３に当てることができれば、デジタルオーディオプレーヤ４４からのオーディオ信号ＡＬＲのビートに合っていることになる。言い換えれば、プレイヤが、グローブ７を動かし、グローブ画像５１を操作して、基準線５７の位置でタイミング良く、位置指示オブジェクト５３に当てる動作を繰り返えせば、必然的に、デジタルオーディオプレーヤ４４からのオーディオ信号ＡＬＲに基づく音楽に合わせて、グローブ７を動かしていることになる。
【００８０】
プロセッサ３１は、位置指示オブジェクト５３を出現させる経路５８を４本の中からランダムに決定する。このように、位置指示オブジェクト５３には経路５８が動的に割り当てられるので、音楽の異同に関係なく、常に、プレイヤに異なるパターンの入力動作を行わせることができる。しかも、位置指示オブジェクト５３の出現タイミングは音楽に応じて決定されるので、プレイヤに音楽に応じた入力を行わせることができる。
【００８１】
また、プロセッサ３１は、グローブ画像５１を位置指示オブジェクト５３に当てるタイミングをプレイヤに明示すべく、タイミング指示オブジェクト（以下、「タイミング指示バンド」と呼ぶ。）５５を表示する。
【００８２】
図６は、図５のタイミング指示バンド５５の説明図である。図６を参照して、直線Ｐは、位置指示オブジェクト５３の位置Ｐと時間との関係を示す。折線Ｗは、タイミング指示バンド５５の幅Ｗと時間との関係を示す。プロセッサ３１は、移動開始位置から位置指示オブジェクト５３の移動を開始し、画面の消滅位置に向かって、経路５８に沿って、一定速度で下降させる。この場合、プロセッサ３１は、位置指示オブジェクト５３と基準線５７との間の距離がＬになった時に、タイミング指示バンド５５の表示を開始し、位置指示オブジェクト５３の基準線５７への接近に伴って、その幅Ｗを大きくし、位置指示オブジェクト５３が基準線５７に到達した時に、その幅Ｗを最大とする。そして、さらに、プロセッサ３１は、位置指示オブジェクト５３が基準線５７から離れるに従って、その幅Ｗを小さくし、位置指示オブジェクト５３と基準線５７との間の距離がＬになった時に、タイミング指示バンド５５の表示を終了する。
【００８３】
プレイヤは、区間ＨＡのタイミングで、つまり、概ねタイミング指示バンド５５が表示されている間に、グローブ７を動かしてグローブ画像５１を、タイミング指示バンド５５に重なった位置指示オブジェクト５３に当てると、位置指示オブジェクト５３が画面奥に向かって打ち返される。位置指示オブジェクト５３を基準線５７に完全に一致したタイミングで打ち返すことができなかった場合でも、区間ＨＡのタイミングで位置指示オブジェクト５３を打ち返すことができれば、人間の感覚では、グローブ７を動かす動作は、オーディオ信号ＡＬＲのビートに一致する。
【００８４】
以上のように、位置指示オブジェクト５３は、グローブ画像５１による打撃の水平位置（ｘ軸方向）を、下降する経路５８によって示す。また、タイミング指示バンド５５は、グローブ画像５１による打撃のタイミング及び垂直位置（ｙ軸方向）を示す。
【００８５】
なお、タイミング指示バンド５５の幅Ｗは、位置指示オブジェクト５３と基準線５７との間の距離に応じて制御される。また、位置指示オブジェクト５３は、それが基準線５７に到達するタイミングがオーディオ信号ＡＬＲのビートに合うように制御される。よって、タイミング指示バンド５５の幅Ｗもまた、音楽に合わせて制御されると言える。
【００８６】
ここで、楽曲の種類に関係なく、位置指示オブジェクト５３は一定速度で下降する。そして、位置指示オブジェクト５３の移動開始位置から基準線５７までの下降時間を、ビート間隔に一致させている。デジタルオーディオプレーヤ４４から入力されるオーディオ信号ＡＬＲのビートは、再生する楽曲によって異なってくる。従って、プロセッサ３１は、オーディオ信号ＡＬＲのビート間隔に応じて、位置指示オブジェクト５３の移動開始位置を調整する。つまり、オーディオ信号ＡＬＲのビート間隔が短いほど、移動開始位置は基準線５７に近くなるし、ビート間隔が長いほど、移動開始位置は基準線５７から遠くなる。従って、ビート間隔によっては、画面の上端が丁度、移動開始位置になる場合もあるし、画面の中に移動開始位置がある場合もあるし、画面の外に移動開始位置がある場合もある。
【００８７】
次に、図面を参照しながら、ＭＣＵ３５によるオーディオ信号ＡＬＲの解析方法を説明する。
【００８８】
ＭＣＵ３５は、例えば、サンプリング周波数５０ｋＨｚでオーディオ信号ＡＬＲを取り込む。そして、ＭＣＵ３５は、１フレームにおけるオーディオ信号ＡＬＲの最大値をフレーム毎に取得する。さらに、ＭＣＵ３５は、今回のフレームにおけるオーディオ信号ＡＬＲの最大値から、前回のフレームにおけるオーディオ信号ＡＬＲの最大値を減算し、差分音声信号Ｄｆを得る。ただし、得られた差分音声信号Ｄｆのレベルが０以下の場合は、その差分音声信号Ｄｆは０に設定される。従って、前フレームと比較して、オーディオ信号ＡＬＲのレベルが上昇した場合にのみ、差分音声信号Ｄｆのレベルは０より大きくなる。
【００８９】
図７（ａ）は、図１のＭＣＵ３５に入力される音声信号ＡＬＲの波形図である。図７（ａ）を参照して、縦軸はデジタルオーディオプレーヤ４４から入力されたオーディオ信号ＡＬＲのレベルを示し、横軸は時間ｔを示す。時間ｔの単位はフレームである。ただし、図示のオーディオ信号ＡＬＲは、１フレームにおける最大値である。図７（ｂ）は、図７（ａ）の波形から得られた差分音声信号Ｄｆの波形図である。図７（ｂ）を参照して、縦軸は差分音声信号Ｄｆのレベルを示し、横軸は時間ｔを示す。時間ｔの単位はフレームである。
【００９０】
図７（ａ）に示すように、ＭＣＵ３５は、オーディオ信号ＡＬＲを所定時間Ｔｃ（例えば、８０フレーム）単位で解析する。すなわち、図７（ｂ）に示すように、ＭＣＵ３５は、所定時間Ｔｃで得られた差分音声信号Ｄｆのうち、最大レベルの差分音声信号Ｄｆの時刻ＰＶ１（単位はフレーム）と第２番目に大きいレベルの差分音声信号Ｄｆの時刻ＰＶ２（単位はフレーム）との差の絶対値Ｔｖ（ｉ），Ｔｖ（ｉ＋１），…を算出する。この場合、第２番目に大きいレベルの差分音声信号Ｄｆの時刻ＰＶ２は、所定時間Ｔｃ中、最大レベルの差分音声信号Ｄｆの時刻ＰＶ１を中心とした±Ｂ（例えば５）フレームの範囲外から取得される。
【００９１】
このようにして、ＭＣＵ３５は、所定時間Ｔｃ中の最大レベルの差分音声信号Ｄｆと第２番目に大きいレベルの差分音声信号Ｄｆとをオーディオ信号ＡＬＲのビートとみなしている。このように、分析の結果得られたオーディオ信号ＡＬＲのビートを「外部ビート」と呼ぶ。また、外部ビート及び後述の内部ビートを、オーディオ信号ＡＬＲの本来のビートと区別するために、オーディオ信号ＡＬＲの本来のビートを「オリジナルビート」と呼ぶこともある。
【００９２】
従って、絶対値Ｔｖ（ｉ），Ｔｖ（ｉ＋１），…の各々は、外部ビートの間隔、つまり、外部ビートのテンポである。外部ビート間隔Ｔｖ（ｉ），Ｔｖ（ｉ＋１），…を包括して、外部ビート間隔Ｔｖと呼ぶ。
【００９３】
そして、外部ビート間隔Ｔｖを検出する度に、つまり、所定時間Ｔｃごとに、ＭＣＵ３５は、図８（ａ）に示す発生頻度テーブルを更新する。つまり、ＭＣＵ３５は、外部ビート間隔Ｔｖを検出する度に、発生頻度テーブルにおいて、検出した外部ビート間隔Ｔｖに１ポイントを投票（加算）する。従って、発生頻度テーブルの投票数（ポイント数）は、各外部ビート間隔Ｔｖの発生頻度を表す。発生頻度テーブルをグラフ化すると、図８（ｂ）のようになる。このグラフにより、外部ビート間隔Ｔｖの発生頻度の分布が容易に認識できる。
【００９４】
ＭＣＵ３５は、発生頻度テーブルにおいて、最も発生頻度が高い、つまり、最も投票数（ポイント数）が多い外部ビート間隔Ｔｖを暫定内部ビート間隔Ｔｕとする。このように、外部ビート間隔Ｔｖを統計処理して求めた暫定内部ビート間隔Ｔｕを、暫定的にオーディオ信号ＡＬＲのオリジナルビートの間隔とみなす。そして、ＭＣＵ３５は、暫定内部ビート間隔Ｔｕに基づいて、直近の将来発生するオリジナルビートの発生時を予測する。ＭＣＵ３５は、このようにして予測したオリジナルビートの発生時に、内部ビートを生成する。このように、内部ビートは、ＭＣＵ３５によって予測された時刻に生成されるビートである。
【００９５】
図９は、内部ビートの生成方法の詳細な説明図である。なお、時間ｔの単位はフレームである。また、暫定内部ビート間隔Ｔｕは、暫定内部ビート間隔Ｔｕ（ｊ），Ｔｕ（ｊ＋１），…を包括した表記である。図９を参照して、ＭＣＵ３５が、時刻ｔ０から、暫定内部ビート間隔Ｔｕ（ｊ）が経過した時刻ｔ１に内部ビートを生成したとする。この場合、ＭＣＵ３５は、内部ビートを生成した時刻ｔ１を中心とした±Ａ（例えば５）フレームの範囲から、差分音声信号Ｄｆの最大レベルを検出する。そして、ＭＣＵ３５は、最大レベルの差分音声信号Ｄｆの時刻ｔ２から、その時の最新の暫定内部ビート間隔Ｔｕ（ｊ＋１）が経過した時刻ｔ３に内部ビートを生成する。従って、時刻ｔ２での内部ビートの生成時から、時刻ｔ３での内部ビートの生成時までの時間は、暫定内部ビート間隔Ｔｕと一致しないことがある。内部ビートの生成時から、次の内部ビートの生成時までの時間を、内部ビート間隔Ｔｔと呼ぶ。
【００９６】
このように、内部ビートの生成の度に、暫定内部ビート間隔Ｔｕの起点を調整することにより、最終的な内部ビート間隔Ｔｔを決定し、内部ビートとオリジナルビートとの間に生じる誤差の蓄積を除去する。また、ＭＣＵ３５は、時刻ｔ１の内部ビートの生成時に、次の内部ビートの生成時刻ｔ３を決定している。すなわち、ＭＣＵ３５は、時刻ｔ１の内部ビート生成時の最新の暫定内部ビート間隔Ｔｕを調整した内部ビート間隔Ｔｔをオリジナルビートの間隔とみなして、内部ビートの生成時ｔ１から内部ビート間隔Ｔｔが経過した時点ｔ３を、直近の将来発生するオリジナルビートの発生時であると予測し、時刻ｔ３で次の内部ビートを生成している。
【００９７】
次に、グローブ検出処理、左右決定処理、およびグローブ動き判定処理について図面を用いて説明する。
【００９８】
図１０は、グローブ検出処理の説明図である。図１０には、イメージセンサ３７が出力する差分画像信号に基づく画像（６４×６４ピクセル）が図示されている。図中、小さい正方形は１ピクセルを示す。また、左上角をＸＹ座標軸の原点とする。
【００９９】
この画像には、輝度値が大きい２つの領域４５及び４７が含まれる。領域４５及び４７は、それぞれ、再帰反射シート１１Ｌ及び１１Ｒの像である。ただし、この時点では、どの領域がどの再帰反射シートに対応するかは判別できない。
【０１００】
まず、プロセッサ３１は、Ｙ＝０を出発点として、Ｘ＝０からＸ＝６３まで、差分画像をスキャンし、次に、Ｙをインクリメントし、Ｘ＝０からＸ＝６３まで、差分画像をスキャンする。このような処理をＹ＝６３まで行い、６４×６４ピクセルの差分画像をスキャンして、閾値ＴｈＬより大きいピクセルデータの上端位置ｍｉｎＹ、下端位置ｍａｘＹ、左端位置ｍｉｎＸ、及び右端位置ｍａｘＸを求める。
【０１０１】
次に、プロセッサ３１は、座標（ｍｉｎＸ，ｍｉｎＹ）を出発点として、Ｘ軸の正方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＬＴを算出する。また、プロセッサ３１は、座標（ｍａｘＸ，ｍｉｎＹ）を出発点として、Ｘ軸の負方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＲＴを算出する。さらに、プロセッサ３１は、座標（ｍｉｎＸ，ｍａｘＹ）を出発点として、Ｘ軸の正方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＬＢを算出する。さらに、プロセッサ３１は、座標（ｍａｘＸ，ｍａｘＹ）を出発点として、Ｘ軸の負方向にスキャンを実行して、最初に閾値ＴｈＬを超えるピクセルまでの距離ＲＢを算出する。
【０１０２】
プロセッサ３１は、距離ＬＴ＞ＲＴのときは、座標（ｍａｘＸ，ｍｉｎＹ）を第１抽出点とし、距離ＬＴ≦ＲＴのときは、座標（ｍｉｎＸ，ｍｉｎＹ）を第１抽出点とする。また、プロセッサ３１は、距離ＬＢ＞ＲＢのときは、座標（ｍａｘＸ，ｍａｘＹ）を第２抽出点とし、距離ＬＢ≦ＲＢのときは、座標（ｍｉｎＸ，ｍａｘＹ）を第２抽出点とする。
【０１０３】
図１１は、左右決定処理の説明図である。図１１には、前回（１ビデオフレーム前）の再帰反射シート１１Ｌの位置ＴＰＬ２及び前々回（２ビデオフレーム前）の位置ＴＰＬ１、並びに、前回（１ビデオフレーム前）の再帰反射シート１１Ｒの位置ＴＰＲ２及び前々回（１ビデオフレーム前）の位置ＴＰＲ１が図示されている。位置ＴＰＬ１，ＴＰＬ２，ＴＰＲ１及びＴＰＲ２は、差分画像上の位置である。
【０１０４】
なお、テレビジョンモニタ５のビデオフレームは、一定時間毎に更新されるところ、本実施の形態では、この一定時間は、ＭＣＵ３５の処理で用いた１フレーム時間と一致する。
【０１０５】
プロセッサ３１は、位置ＴＰＬ１を始点、位置ＴＰＬ２を終点とする速度ベクトルＶＬを算出する。そして、位置ＴＰＬ２を始点とする速度ベクトルＶＬの終点を、再帰反射シート１１Ｌの予測位置ＴＰＬｐとする。一方、プロセッサ３１は、位置ＴＰＲ１を始点、位置ＴＰＲ２を終点とする速度ベクトルＶＲを算出する。そして、位置ＴＰＲ２を始点とする速度ベクトルＶＲの終点を、再帰反射シート１１Ｒの予測位置ＴＰＲｐとする。
【０１０６】
プロセッサ３１は、第１抽出点ＴＰＮ１と予測位置ＴＰＬｐとの距離ＬＤ１、第１抽出点ＴＰＮ１と予測位置ＴＰＲｐとの距離ＲＤ１、第２抽出点ＴＰＮ２と予測位置ＴＰＬｐとの距離ＬＤ２、及び、第２抽出点ＴＰＮ２と予測位置ＴＰＲｐとの距離ＲＤ２を求める。
【０１０７】
プロセッサ３１は、距離ＬＤ１＞ＲＤ１ならば、第１抽出点ＴＰＮ１を再帰反射シート１１Ｒの今回の位置とし、距離ＬＤ１≦ＲＤ１ならば、第１抽出点ＴＰＮ１を再帰反射シート１１Ｌの今回の位置とする。また、プロセッサ３１は、距離ＬＤ２＞ＲＤ２ならば、第２抽出点ＴＰＮ２を再帰反射シート１１Ｒの今回の位置とし、距離ＬＤ２≦ＲＤ２ならば、第２抽出点ＴＰＮ２を再帰反射シート１１Ｌの今回の位置とする。なお、プレイの開始時点等、左右の予測位置ＴＰＬｐ及びＴＰＲｐが算出できない場合は、Ｘ座標がｍｉｎＸである第１抽出点ＴＰＮ１及び第２抽出点ＴＰＮ２の一方の座標を再帰反射シート１１Ｌの座標とし、Ｘ座標がｍａｘＸである他方の抽出点の座標を再帰反射シート１１Ｒの座標とする。
【０１０８】
このように、左右の予測位置ＴＰＬｐ及びＴＰＲｐに基づいて、第１抽出点ＴＰＮ１及び第２抽出点ＴＰＮ２に左右を割り当てているため、再帰反射シート１１Ｌと１１Ｒとの左右が入れ替わった場合でも（クロスした場合でも）、プロセッサ３１は、差分画像上において、再帰反射シート１１Ｌ及び１１Ｒの各々を的確に認識できる。
【０１０９】
図１２（ａ）、図１２（ｃ）、図１２（ｅ）は、プロセッサ３１による速度ベクトル算出の説明図、図１２（ｂ）、図１２（ｄ）、図１２（ｆ）は、プロセッサ３１によるグローブ動き判定処理の説明図である。これらの図は、グローブ７Ｌの再帰反射シート１１Ｌの動き判定の説明図である。
【０１１０】
図１２（ａ）、図１２（ｃ）、図１２（ｅ）には、再帰反射シート１１Ｌの位置ＴＰＬ１〜ＴＰＬ３が図示されている。位置ＴＰＬ１〜ＴＰＬ３は、差分画像上の位置である。これらの図に示すように、プロセッサ３１は、２ビデオフレーム前の再帰反射シート１１Ｌの位置（例えば、位置ＴＰＬ１）を始点とし、今回の位置（例えば、位置ＴＰＬ３）を終点とする速度ベクトルＶを算出する。
【０１１１】
そして、プロセッサ３１は、図１２（ｂ）、図１２（ｄ）、図１２（ｆ）に示すような仮想画面上（６４×６４ピクセル）で、速度ベクトルＶの始点ＴＰＬ１を原点とし、終点ＴＰＬ３がどの領域に位置するかを判定する。プロセッサ３１は、ベクトルＶの終点ＴＰＬ３が領域「不動」に位置する場合は、プレイヤが左パンチを出さなかったと判断する（図１２（ｂ）参照）。つまり、再帰反射シート１１Ｌは動いたが、それをパンチとは判断しない。プロセッサ３１は、ベクトルＶの終点ＴＰＬ３が領域「ストレート」に位置する場合は、プレイヤが左のストレートパンチを出したと判断する（図１２（ｄ）参照）。つまり、再帰反射シート１１Ｌが、真っ直ぐ動かされたと判断する。プロセッサ３１は、ベクトルＶの終点ＴＰＬ３が領域「クロス」に位置する場合は、プレイヤが左のクロスパンチを出したと判断する（図１２（ｆ）参照）。つまり、再帰反射シート１１Ｌが、クロスして動かされたと判断する。
【０１１２】
図１２（ｂ）、図１２（ｄ）、図１２（ｆ）から分かるように、このような動き判定において、プロセッサ３１は、速度ベクトルＶの始点ＴＰＬ１を、仮想画面の原点に置く。仮想画面の原点は、その下辺の中央である。
【０１１３】
グローブ７Ｒに対しては、図１２（ｂ）、図１２（ｄ）、図１２（ｆ）に示す仮想画面と左右対称の仮想画面が用意され、グローブ７Ｌと同様にして、動き（不動、ストレート、クロス）判定が行われる。
【０１１４】
次に、フローチャートを用いて、ＭＣＵ３５の処理の流れを説明する。
【０１１５】
図１３は、図４のＭＣＵ３５による音声データ取得処理の流れを示すフローチャートである。図１３を参照して、ステップＳ３００にて、ＭＣＵ３５は、タイマをセットする。このタイマは、１フレームの経過をＭＣＵ３５に通知する。ステップＳ３０２にて、ＭＣＵ３５は、図４のミキシング回路４３が出力したオーディオ信号ＡＬＲを取り込む（サンプリング）。ステップＳ３０４にて、ＭＣＵ３５は、取り込んだオーディオ信号ＡＬＲのレベルと現在の最大音声データＡｔｍｘのレベルとを比較する。ステップＳ３０６にて、ＭＣＵ３５は、オーディオ信号ＡＬＲのレベルが最大音声データＡｔｍｘのレベルより大きい場合はステップＳ３０８に進み、それ以外はステップＳ３１０に進む。ステップＳ３０８では、ＭＣＵ３５は、最大音声データＡｔｍｘに、オーディオ信号ＡＬＲを代入する。
【０１１６】
ステップＳ３１０にて、ＭＣＵ３５は、１フレームが経過したか否かを判断し、経過していない場合は、つまり、タイマから通知を受けていない場合は、ステップＳ３０２に戻り、経過した場合は、つまり、タイマから通知を受けた場合は、ステップＳ３１２に進む。ここで、ステップＳ３１０で１フレームが経過したと判断された時の最大音声データＡｔｍｘは、１フレーム間におけるオーディオ信号ＡＬＲの最大値である。
【０１１７】
ステップＳ３１０で「ＹＥＳ」が判断された後、ステップＳ３１２にて、ＭＣＵ３５は、変数Ａｆｍｘに、最大音声データＡｔｍｘを格納する。ステップＳ３１４にて、ＭＣＵ３５は、１フレーム間のオーディオ信号ＡＬＲに対して、ＦＦＴを実行し、パワースペクトルを求め、ステップＳ３０２に戻る。
【０１１８】
図１４は、図４のＭＣＵ３５による外部ビート検出処理の流れを示すフローチャートである。図１４を参照して、ステップＳ３３０にて、ＭＣＵ３５は、タイマをセットする。このタイマは、１フレームの経過をＭＣＵ３５に通知する。ステップＳ３３２にて、ＭＣＵ３５は、変数ｋ，ｎ及びｍに「０」を代入する。ステップＳ３３４にて、ＭＣＵ３５は、１フレームが経過した場合（タイマから通知を受けた場合）ステップＳ３３６に進み、経過していない場合（タイマから通知を受けていない場合）ステップＳ３３４に戻る。
【０１１９】
ステップＳ３３６にて、ＭＣＵ３５は、最新の変数Ａｆｍｘの値（最新の１フレーム中の最大音声データＡｔｍｘ）から、前回の変数Ａｆｍｘの値（前回の１フレーム中の最大音声データＡｔｍｘ）を減算し、減算結果を変数（差分）Ｄｆに格納する。ステップＳ３３８にて、ＭＣＵ３５は、差分Ｄｆが０より小さいか否かを判断し、小さい場合はステップＳ３４０に進み、それ以外はステップＳ３４４に進む。ステップＳ３４０では、ＭＣＵ３５は、差分Ｄｆに「０」を代入する。
【０１２０】
ステップＳ３４４にて、ＭＣＵ３５は、今回の差分Ｄｆと前回の差分Ｄｆとを比較する。そして、ステップＳ３４６にて、今回の差分Ｄｆが前回の差分Ｄｆより大きい場合はステップＳ３４８に進み、それ以外はステップＳ３５２に進む。ステップＳ３４８にて、ＭＣＵ３５は、変数Ｄｍｘ［ｎ］に今回の差分Ｄｆを代入する。ステップＳ３５０では、ＭＣＵ３５は、変数Ｋ［ｎ］に変数ｋの値を代入する。
【０１２１】
ステップＳ３５２にて、ＭＣＵ３５は、変数ｍ及びｋをそれぞれ１つインクリメントする。ステップＳ３５４にて、ＭＣＵ３５は、変数ｍが１０に到達したか否かを判断し、到達した場合ステップＳ３５６に進み、到達していない場合ステップＳ３３６に進む。ステップＳ３５６では、ＭＣＵ３５は、変数ｍに「０」を代入する。ステップＳ３５８にて、ＭＣＵ３５は、変数ｎを１つインクリメントする。
【０１２２】
ステップＳ３６０にて、ＭＣＵ３５は、変数ｋの値が「８０」に到達したか否かを判断し、到達した場合はステップＳ３６２に進み、到達していない場合はステップＳ３３６に進む。ステップＳ３６２では、ＭＣＵ３５は、変数ｎ及びｋにそれぞれ「０」を代入する。
【０１２３】
ステップＳ３６４にて、ＭＣＵ３５は、変数Ｄｍｘ［０］〜Ｄｍｘ［９］から最大値と二番目に大きい値を検出し、最大値に対応する変数Ｋ［］の値ＰＶ１と、二番目に大きい値に対応する変数Ｋ［］の値ＰＶ２と、の差の絶対値、つまり、外部ビート間隔Ｔｖを算出する。例えば、最大値がＤｍｘ［２］で、二番目に大きい値がＤｍｘ［６］の場合、差（Ｋ［２］−Ｋ［６］）の絶対値が、外部ビート間隔Ｔｖである。ステップＳ３６６にて、ＭＣＵ３５は、発生頻度テーブル（図８（ａ）参照）において、ステップＳ３６４で算出した外部ビート間隔Ｔｖに１ポイントを投票し、ステップＳ３３４に戻る。
【０１２４】
上記ステップＳ３５４の補足説明を行う。このステップは、１０フレーム間の差分Ｄｆの最大値を求め（ステップＳ３４６）、変数Ｄｍｘ［ｎ］に格納すると共に、その時の変数ｋの値（つまり、フレーム時間）を変数Ｋ［ｎ］に格納するために設けられる。このため、変数ｎは１０フレームごとにインクリメントされ（ステップＳ３５８）、変数ｍは１０フレームごとにリセットされる（ステップＳ３５６）。
【０１２５】
上記ステップＳ３６０の補足説明を行う。このステップは、８０フレームごとに、つまり、時間Ｔｃごとに（図７参照）、外部ビート間隔Ｔｖを求めるために設けられる（ステップＳ３６４）。このため、変数ｎ及びｋは８０フレームごとにリセットされる（ステップＳ３６２）。
【０１２６】
ところで、ステップＳ３５４を設けて、１０フレーム単位で差分Ｄｆの最大値を求めるのは、次の理由による。時間Ｔｃにおける差分Ｄｆの最大値と二番目に大きい値を求める必要がある（図７参照）。この場合、上記のように、第２番目に大きいレベルの差分Ｄｆの時刻ＰＶ２は、最大レベルの差分Ｄｆの時刻ＰＶ１を中心とした±Ｂフレームの範囲外から取得する。このフローでは、Ｂ＝５としている。このため、１０フレーム単位で差分Ｄｆの最大値を取得し、８０フレーム分の差分Ｄｆの最大値Ｄｍｘ［０］〜Ｄｍｘ［９］が取得できたところで、ステップＳ３６４において、その中から、最大値と二番目に大きい値を求めるのである。
【０１２７】
図１５は、図４のＭＣＵ３５による内部ビート生成処理の流れを示すフローチャートである。図１５を参照して、ステップＳ３８０にて、ＭＣＵ３５は、タイマをセットする。このタイマは、１フレームの経過をＭＣＵ３５に通知する。ステップＳ３８２にて、ＭＣＵ３５は、発生頻度テーブル（図８（ａ）参照）から、最も投票数の多い（最もポイントの高い）外部ビート間隔Ｔｖを取得し、暫定内部ビート間隔Ｔｕに設定する。なお、外部ビート間隔Ｔｖ及び暫定内部ビート間隔Ｔｕの単位はフレームである。
【０１２８】
ステップＳ３８４にて、ＭＣＵ３５は、カウンタＣｂがステップＳ３８２で設定した暫定内部ビート間隔Ｔｕに一致したか否かを判断し、一致した場合ステップＳ３８６に進み、不一致の場合ステップＳ３９０に進む。ステップＳ３８６では、ＭＣＵ３５は、ビートフラグを「１」にセットする。ステップＳ３８８にて、ＭＣＵ３５は、カウンタＣｂを「０」にする。一方、ステップＳ３９０では、ＭＣＵ３５は、ビートフラグを「０」にセットする。
【０１２９】
ステップＳ３９２にて、ＭＣＵ３５は、１フレームが経過した場合（タイマから通知を受けた場合）ステップＳ３９４に進み、経過していない場合（タイマから通知を受けていない場合）ステップＳ３９２に戻る。ステップＳ３９４にて、ＭＣＵ３５は、ビートビットをビートフラグの値にセットする。この場合、ビートフラグの値が「１」でビートビットに「１」が設定されることは、内部ビートの生成を意味する。ステップＳ３９６にて、ＭＣＵ３５は、カウンタＣｂを１つインクリメントする。
【０１３０】
ステップＳ４００にて、ＭＣＵ３５は、カウンタＣｂが定数Ａに一致したか否かを判断し、一致した場合ステップＳ４０２に進み、それ以外はステップＳ３８２に進む。ステップＳ４０２では、ＭＣＵ３５は、最新の内部ビートの生成時を中心とした±Ａフレームの範囲から、最も大きい差分Ｄｆの時刻ｔｍｘを検出する（図９参照）。
【０１３１】
ここで、時刻ｔｍｘの単位はフレームである。また、最新の内部ビートの生成時を「０」として、正方向の時刻を、１，２，…Ａとし、負方向の時刻を、−１，−２，…−Ａとする。従って、時刻ｔｍｘは、正負の符号付きの値である。
【０１３２】
そして、ステップＳ４０４にて、ＭＣＵ３５は、現在のカウンタＣｂの値から時刻ｔｍｘを減算して、ステップＳ３８２に戻る。このように、内部ビートの生成の度に、カウンタＣｂの値を修正して、上述したように、暫定内部ビート間隔Ｔｕの起点を調整し、内部ビートとオリジナルビートとの間に生じる誤差の蓄積を除去する。このような調整によって、結果的に、内部ビート間隔Ｔｔで、内部ビートが生成されることになる。なお、もちろん、カウンタＣｂを調整する代わりに、暫定内部ビート間隔Ｔｕに時刻ｔｍｘを加算することにより、内部ビート間隔Ｔｔを求めてもよい。
【０１３３】
次に、フローチャートを用いて、プロセッサ３１の処理の流れを説明する。
【０１３４】
図１６は、図４のプロセッサ３１による処理の流れを示すフローチャートである。図１６を参照して、ステップＳ１にて、プロセッサ３１は、初期化処理を実行する。具体的には、システムハードウエア及び各変数を初期化する。
【０１３５】
ステップＳ３にて、プロセッサ３１は、イメージセンサ３７を制御し、グローブ７Ｌ及び７Ｒの再帰反射シート１１Ｌ及び１１Ｒの撮影処理を実行させる。ステップＳ５にて、プロセッサ３１は、イメージセンサ３７からの差分画像信号に基づいて、グローブ７Ｌ及び７Ｒの再帰反射シート１１Ｌ及び１１Ｒの検出処理を実行する。ステップＳ７にて、プロセッサ３１は、グローブ７Ｌ及び７Ｒの再帰反射シート１１Ｌ及び１１Ｒの動きに従って、グローブ画像５１Ｌ及び５１Ｒを制御する。ステップＳ９にて、プロセッサ３１は、位置指示オブジェクト５３を制御する。ステップＳ１０にて、プロセッサ３１は、タイミング指示バンド５５を制御する。ステップＳ１１にて、プロセッサ３１は、グローブ画像５１Ｌ及び５１Ｒが位置指示オブジェクト５３に当ったか否かの判定を実行する。
【０１３６】
ステップＳ１３にて、プロセッサ３１は、ビデオ同期信号により割り込み待ちか否かを判断し、割り込み待ちの場合ステップＳ１３に戻り、割り込み待ちでない場合、つまり、ビデオ同期信号による割り込みが発生した場合ステップＳ１５に進む。ビデオ同期信号による割り込みは、例えば、１／６０秒間隔で発生する。そして、プロセッサ３１は、ステップＳ１５において、ステップＳ７〜Ｓ１１での設定に基づき、テレビジョンモニタ５に表示する画像の更新を行うと共に、ステップＳ１７において、音声処理を実行し、ステップＳ３に戻る。
【０１３７】
図１７は、図１６のステップＳ３の撮影処理の流れを示すフローチャートである。図１７を参照して、ステップＳ２０において、プロセッサ３１は、イメージセンサ３７に赤外発光ダイオード１７を点灯させる。ステップＳ２２にて、プロセッサ３１は、イメージセンサ３７に赤外光点灯時の撮影を実行させる。ステップＳ２４にて、プロセッサ３１は、イメージセンサ３７に赤外発光ダイオード１７を消灯させる。ステップＳ２６にて、プロセッサ３１は、イメージセンサ３７に赤外光消灯時の撮影を実行させる。ステップＳ２８にて、プロセッサ３１は、イメージセンサ３７に、赤外光点灯時の画像と赤外光消灯時の画像との差分画像を生成及び出力させる。以上のようにして、プロセッサ３１の制御に応答して、イメージセンサ３７は、赤外光の点灯時及び消灯時の撮影、つまり、ストロボ撮影を実行する。また、以上の制御により、赤外発光ダイオード１７は、ストロボスコープとして機能する。
【０１３８】
図１８は、図１６のステップＳ５の実グローブ検出処理の流れを示すフローチャートである。図１８を参照して、ステップＳ３０にて、プロセッサ３１は、イメージセンサ３７が出力した差分画像を取得し、６４×６４の差分ピクセルデータを、配列Ｄｉｆ［Ｘ］［Ｙ］に格納する。本実施の形態では、Ｘ＝０〜６３、Ｙ＝０〜６３である。
【０１３９】
ステップＳ３２にて、プロセッサ３１は、図１０で説明した左右上下端（ｍｉｎＸ、ｍａｘＸ、ｍｉｎＹ、ｍａｘＹ）の検出処理を実行する。ステップＳ３４にて、プロセッサ３１は、図１０で説明した２点位置（第１抽出点（Ｘｔｐ［０］，Ｙｔｐ［０］）、第２抽出点（Ｘｔｐ［１］，Ｙｔｐ［１］））の決定処理を実行する。ステップＳ３６にて、プロセッサ３１は、第１抽出点（Ｘｔｐ［０］，Ｙｔｐ［０］）と第２抽出点（Ｘｔｐ［１］，Ｙｔｐ［１］）との中点座標を算出する。そして、この中点座標をスクリーン座標に変換する。
【０１４０】
ステップＳ３７にて、プロセッサ３１は、第１抽出点及び第２抽出点のうち、どちらが左でどちらが右かを決定する。ステップＳ３９にて、プロセッサ３１は、グローブ画像５１Ｌ及び５１Ｒの動きを判定し、ストレートパンチ、クロスパンチ、あるいはパンチなしの状態を決定する。
【０１４１】
図１９は、図１８のステップＳ３２の左右上下端検出処理の流れを示すフローチャートである。このフローチャートは、図１０で説明した左右上下端検出処理の流れの一例である。
【０１４２】
図１９を参照して、ステップＳ４０にて、プロセッサ３１は、「Ｘ」、「Ｙ」、「ｍａｘＸ」、「ｍａｘＹ」、及び「ｋ」に「０」を代入する。また、プロセッサ３１は、「ｍｉｎＸ」及び「ｍｉｎＹ」に「６３」を代入する。
【０１４３】
ステップＳ４１にて、プロセッサ３１は、配列Ｄｉｆ［Ｘ］［Ｙ］の要素を所定の閾値ＴｈＬと比較する。ステップＳ４２にて、プロセッサ３１は、配列Ｄｉｆ［Ｘ］［Ｙ］の要素が所定の閾値ＴｈＬより大きい場合は、ステップＳ４３に進み、所定の閾値ＴｈＬ以下の場合は、ステップＳ５５に進む。
【０１４４】
ステップＳ４１，Ｓ４２の処理は、グローブ７Ｌ及び７Ｒが撮影されたか否かを検出するための処理である。グローブ７Ｌ及び７Ｒは、再帰反射シート１１Ｌ及び１１Ｒを有しているので、グローブ７Ｌ及び７Ｒが撮影されると、差分画像上では、再帰反射シート１１Ｌ及び１１Ｒに相当するピクセルの輝度値が大きくなる。このため、閾値ＴｈＬにより、輝度値の大小を峻別して、閾値ＴｈＬより大きい輝度値を持つピクセルを、撮影された再帰反射シート１１Ｌ及び１１Ｒの一部であると認識する。
【０１４５】
ステップＳ４３にて、プロセッサ３１は、カウント値ｋを１つインクリメントする。ステップＳ４４にて、プロセッサ３１は、カウント値ｋが「１」か否かを判断し、ｋ＝１であれば、ステップＳ４５に進み、それ以外では、ステップＳ４６に進む。
【０１４６】
ステップＳ４５では、プロセッサ３１は、最小Ｙ座標ｍｉｎＹに、現在のＹ座標を代入する。つまり、スキャンは、（Ｘ，Ｙ）＝（０，０）から開始して、Ｘ＝０〜６３まで行い、Ｙをインクリメントして、再び、Ｘ＝０〜６３まで行う、という処理を繰り返すので（後述のステップＳ５５〜Ｓ５９参照）、最初に閾値ＴｈＬを超えた要素（つまりピクセル）を持つ配列Ｄｉｆ［Ｘ］［Ｙ］の「Ｙ」が最小Ｙ座標ｍｉｎＹとなる。
【０１４７】
ステップＳ４６では、プロセッサ３１は、現在の最大Ｙ座標ｍａｘＹと現在のＹ座標とを比較する。ステップＳ４７にて、プロセッサ３１は、現在の最大Ｙ座標ｍａｘＹより現在のＹ座標が大きい場合は、ステップＳ４８に進み、それ以外はステップＳ４９に進む。ステップＳ４８では、プロセッサ３１は、最大Ｙ座標ｍａｘＹに、現在のＹ座標を代入する。
【０１４８】
ステップＳ４９では、プロセッサ３１は、現在の最小Ｘ座標ｍｉｎＸと現在のＸ座標とを比較する。ステップＳ５０にて、プロセッサ３１は、現在の最小Ｘ座標ｍｉｎＸより現在のＸ座標が小さい場合は、ステップＳ５１に進み、それ以外はステップＳ５２に進む。ステップＳ５１では、プロセッサ３１は、最小Ｘ座標ｍｉｎＸに、現在のＸ座標を代入する。
【０１４９】
ステップＳ５２では、プロセッサ３１は、現在の最大Ｘ座標ｍａｘＸと現在のＸ座標とを比較する。ステップＳ５３にて、プロセッサ３１は、現在の最大Ｘ座標ｍａｘＸより現在のＸ座標が大きい場合は、ステップＳ５４に進み、それ以外はステップＳ５５に進む。ステップＳ５４では、プロセッサ３１は、最大Ｘ座標ｍａｘＸに、現在のＸ座標を代入する。
【０１５０】
ステップＳ５５では、プロセッサ３１は、「Ｘ」を１つインクリメントする。ステップＳ５６にて、プロセッサ３１は、Ｘ＝６４のときは（つまり、差分画像のピクセル１行分の処理が終了したときは）ステップＳ５７に進み、それ以外はステップＳ４１に進む。
【０１５１】
ステップＳ５７では、プロセッサ３１は、「Ｘ」に「０」を代入する。ステップＳ５８にて、プロセッサ３１は、「Ｙ」を１つインクリメントする。ステップＳ５７及びＳ５８の処理は、差分画像の１行分の処理が終了したため、次の１行分の処理を進めるために実行される。
【０１５２】
ステップＳ５９にて、プロセッサ３１は、Ｙ＝６４のときは（つまり、差分画像の６４×６４ピクセル分の処理が終了したときは）、図１８のルーチンにリターンし、それ以外はステップＳ４１に進む。
【０１５３】
上記ステップＳ４１〜Ｓ５９を繰り返すことにより、Ｙ＝６４となった時点で、最小Ｘ座標ｍｉｎＸ、最大Ｘ座標ｍａｘＸ、最小Ｙ座標ｍｉｎＹ、及び最大Ｙ座標ｍａｘＹが全て確定する。
【０１５４】
図２０は、図１８のステップＳ３４の２点位置決定処理の流れを示すフローチャートである。このフローチャートは、図１０で説明した２点位置決定処理の流れの一例である。
【０１５５】
図２０を参照して、プロセッサ３１は、ステップＳ７０にて、「Ｍ」に「０」を代入して、ステップＳ７１からステップＳ８７までの処理を繰り返す。ここで、ステップＳ７１に示すように、一回目のループのときは、Ｙｔｂ＝ｍｉｎＹ、二回目のループのときは、Ｙｔｂ＝ｍａｘＹ、である。ステップＳ７２にて、プロセッサ３１は、座標（ｍｉｎＸ，Ｙｔｂ）を始点としてスキャンを開始する。
【０１５６】
ステップＳ７３にて、プロセッサ３１は、カウント値Ｃｌに「０」を代入する。ステップＳ７４にて、プロセッサ３１は、差分データＤｉｆ［Ｘ］［Ｙ］と閾値ＴｈＬとを比較して、差分データが閾値より大きい場合は、ステップＳ７７に進み、それ以外は、ステップＳ７５に進む。ステップＳ７５では、プロセッサ３１は、カウント値Ｃｌを１つインクリメントする。ステップＳ７６にて、プロセッサ３１は、座標Ｘを１つインクリメントして、ステップＳ７４に進む。
【０１５７】
ステップＳ７４で、Ｄｉｆ［Ｘ］［Ｙ］＞ＴｈＬと判断された時点のカウント値Ｃｌは、図１０の距離ＬＴあるいはＬＢに相当する。ステップＳ７２で、Ｙｔｂ＝ｍｉｎＹのときは、Ｃｌ＝ＬＴであり、Ｙｔｂ＝ｍａｘＹのときは、Ｃｌ＝ＬＢである。
【０１５８】
ステップＳ７７にて、プロセッサ３１は、座標（ｍａｘＸ，Ｙｔｂ）を始点としてスキャンを開始する。ステップＳ７８にて、プロセッサ３１は、カウント値Ｃｒに「０」を代入する。ステップＳ７９にて、プロセッサ３１は、差分データＤｉｆ［Ｘ］［Ｙ］と閾値ＴｈＬとを比較して、差分データが閾値より大きい場合は、ステップＳ８２に進み、それ以外は、ステップＳ８０に進む。ステップＳ８０では、プロセッサ３１は、カウント値Ｃｒを１つインクリメントする。ステップＳ８１にて、プロセッサ３１は、座標Ｘを１つデクリメントして、ステップＳ７９に進む。
【０１５９】
ステップＳ７９で、Ｄｉｆ［Ｘ］［Ｙ］＞ＴｈＬと判断された時点のカウント値Ｃｒは、図１０の距離ＲＴあるいはＲＢに相当する。ステップＳ７２で、Ｙｔｂ＝ｍｉｎＹのときは、Ｃｒ＝ＲＴであり、Ｙｔｂ＝ｍａｘＹのときは、Ｃｒ＝ＲＢである。
【０１６０】
ステップ８２では、プロセッサ３１は、距離ＣｌとＣｒとを比較する。ステップＳ８３にて、距離Ｃｌが距離Ｃｒより大きい場合は、ステップＳ８５に進み、それ以外は、ステップＳ８４に進む。
【０１６１】
ステップＳ８４では、「Ｘｔｐ［Ｍ］」に「ｍｉｎＸ」を代入するとともに、「Ｙｔｐ［Ｍ］」に「Ｙｔｂ」を代入する。一方、ステップＳ８５では、「Ｘｔｐ［Ｍ］」に「ｍａｘＸ」を代入するとともに、「Ｙｔｐ［Ｍ］」に「Ｙｔｂ」を代入する。
【０１６２】
ここで、座標（Ｘｔｐ［０］，Ｙｔｐ［０］）は、図１０で説明した第１抽出点の座標であり、座標（Ｘｔｐ［１］，Ｙｔｐ［１］）は、第２抽出点の座標である。
【０１６３】
ステップＳ８６では、プロセッサ３１は、「Ｍ」を１つインクリメントして、ステップＳ８７へ進む。ステップＳ７１からステップＳ８７までのループが終了すると、図１８のルーチンにリターンする。
【０１６４】
図２１は、図１８のステップＳ３７の左右決定処理の流れを示すフローチャートである。このフローチャートは、図１１で説明した左右決定処理の流れの一例である。なお、再帰反射シート１１Ｌの位置を左抽出点、再帰反射シート１１Ｒの位置を右抽出点と呼ぶ。
【０１６５】
図２１を参照して、ステップＳ１４０にて、プロセッサ３１は、前回の左抽出点の位置（ＸＬ［０］，ＹＬ［０］）からの今回の左抽出点の位置（Ｘｎｌ，Ｙｎｌ）を予測する。ステップＳ１４１にて、プロセッサ３１は、前回の右抽出点の位置（ＸＲ［０］，ＹＲ［０］）からの今回の右抽出点の位置（Ｘｎｒ，Ｙｎｒ）を予測する。ここで、左抽出点（Ｘｎｌ，Ｙｎｌ）は、図１１の予測位置ＴＰＬｐに相当し、右抽出点の位置（Ｘｎｒ，Ｙｎｒ）は、予測位置ＴＰＲｐに相当する。
【０１６６】
ステップＳ１４２にて、プロセッサ３１は、「Ｍ」に「０」を代入する。ステップＳ１４３にて、プロセッサ３１は、予測位置（Ｘｎｌ，Ｙｎｌ）と抽出点（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）との間の距離Ｄｌを算出する。ステップＳ１４４にて、プロセッサ３１は、予測位置（Ｘｎｒ，Ｙｎｒ）と抽出点（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）との間の距離Ｄｒを算出する。
【０１６７】
ここで、抽出点（Ｘｔｐ［０］，Ｙｔｐ［０］）は、図２０のルーチンで求めた第１抽出点であり、抽出点（Ｘｔｐ［１］，Ｙｔｐ［１］）は、図２０のルーチンで求めた第２抽出点である。Ｍ＝０のときは、距離Ｄｌは、図１１の距離ＬＤ１に相当し、距離Ｄｒは、距離ＲＤ１に相当する。Ｍ＝１のときは、距離Ｄｌは、図１１の距離ＬＤ２に相当し、距離Ｄｒは、距離ＲＤ２に相当する。
【０１６８】
ステップＳ１４５にて、プロセッサ３１は、距離Ｄｌと距離Ｄｒとを比較する。ステップＳ１４６にて、プロセッサ３１は、Ｄｌ＞ＤｒならばステップＳ１４８に進み、それ以外はステップＳ１４７に進む。
【０１６９】
ステップＳ１４７では、プロセッサ３１は、前々回の左抽出点の位置（ＸＬ［１］，ＹＬ［１］）を、位置（ＸＬ［２］，ＹＬ［２］）とし、前回の左抽出点の位置（ＸＬ［０］，ＹＬ［０］）を、位置（ＸＬ［１］，ＹＬ［１］）とする。そして、プロセッサ３１は、今回の左抽出点の位置（ＸＬ［０］，ＹＬ［０］）を、座標（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）とする。
【０１７０】
一方、ステップＳ１４８では、プロセッサ３１は、前々回の右抽出点の位置（ＸＲ［１］，ＹＲ［１］）を、位置（ＸＲ［２］，ＹＲ［２］）とし、前回の右抽出点の位置（ＸＲ［０］，ＹＲ［０］）を、位置（ＸＲ［１］，ＹＲＬ［１］）とする。そして、プロセッサ３１は、今回の右抽出点の位置（ＸＲ［０］，ＹＲ［０］）を、座標（Ｘｔｐ［Ｍ］，Ｙｔｐ［Ｍ］）とする。
【０１７１】
ステップＳ１４９では、プロセッサ３１は、「Ｍ」を１つインクリメントする。ステップＳ１５０にて、プロセッサ３１は、Ｍ＝２か否かを判断し、Ｍ＝２であれば図２０のルーチンにリターンし、それ以外はステップＳ１４３に進む。
【０１７２】
図２２は、図１８のステップＳ３９のグローブ動き判定処理の流れを示すフローチャートである。このフローチャートは、図１２で説明したグローブ動き判定処理の流れの一例である。
【０１７３】
図２２を参照して、プロセッサ３１は、ステップＳ１６０からステップＳ１６９までの処理を繰り返す。ｉ＝０では、再帰反射シート１１Ｌの動き判定を行い、ｉ＝１では、再帰反射シート１１Ｒの動き判定を行う。
【０１７４】
ステップＳ１６１では、プロセッサ３１は、次式により、速度ベクトルＶｉを算出する。
【０１７５】
Ｖｉ＝（Ｘｉ［０］−Ｘｉ［２］，Ｙｉ［０］−Ｙｉ［２］）
【０１７６】
ここで、座標（Ｘ０［０］，Ｙ０［０］）は今回の左抽出点（ＸＬ［０］，ＹＬ［０］）（図１２の左位置ＴＰＬ３に相当）であり、座標（Ｘ０［２］，Ｙ０［２］）は前々回の左抽出点（ＸＬ［２］，ＹＬ［２］）（図１２の左位置ＴＰＬ１に相当）である。従って、速度ベクトルＶ０は、図１２の速度ベクトルＶに相当する。また、座標（Ｘ１［０］，Ｙ１［０］）は今回の右抽出点（ＸＲ［０］，ＹＲ［０］）であり、座標（Ｘ１［２］，Ｙ１［２］）は前々回の右抽出点（ＸＲ［２］，ＹＲ［２］）である。
【０１７７】
ステップＳ１６２にて、プロセッサ３１は、速度ベクトルＶｉの始点を原点として、速度ベクトルＶｉの終点が存在する仮想画面上の領域を判定する（図１２（ｂ）、図１２（ｄ）、図１２（ｆ）参照）。ステップＳ１６３にて、プロセッサ３１は、速度ベクトルＶｉの終点が不動領域に存在する場合は、ステップＳ１６４に進み、不動フラグＩＦｉをオンにし、それ以外は、ステップＳ１６５に進む。
【０１７８】
ステップＳ１６５にて、プロセッサ３１は、速度ベクトルＶｉの終点がストレート領域に存在する場合は、ステップＳ１６７に進み、ストレートフラグＳＦｉをオンにし、それ以外はクロス領域に存在することになるので、ステップＳ１６６に進んで、クロスフラグＣＦｉをオンにする。ステップＳ１６８にて、プロセッサ３１は、パンチの回数をカウントするパンチカウンタＮｐを１つインクリメントして、ステップＳ１６９に進む。このように、パンチ回数のカウントにおいては、ストレート及びクロス、並びに左右は区別していない。
【０１７９】
ステップＳ１６０からＳ１６９までの処理が２回行われた後、つまり、左右のグローブ７Ｌ及び７Ｒの判定が完了した後、図１８のルーチンにリターンする。
【０１８０】
図２３は、図１６のステップＳ７のグローブ画像制御処理の流れを示すフローチャートである。図２３を参照して、プロセッサ３１は、ステップＳ１８０からＳ１９０までの処理を繰り返す。ｉ＝０のときは、グローブ画像５１Ｌに関する処理であり、ｉ＝１のときは、グローブ画像５１Ｒに関する処理である。
【０１８１】
ステップＳ１８１にて、プロセッサ３１は、不動フラグＩＦｉがオンか否かを判断し、オンであればステップＳ１８２に進み、該当するグローブ画像５１Ｌあるいは５１Ｒの位置を更新し、それ以外はステップＳ１８４に進む。ここで、グローブ画像５１Ｌ及び５１Ｒの位置は、それぞれ、スクリーン座標への変換後の今回の左抽出点の位置及び今回の右抽出点の位置に設定される。ただし、グローブ画像５１Ｌ及び５１Ｒは、水平方向には自由に移動可能であるが、垂直方向については、移動可能な位置が制限される（例えば、グローブ画像５１Ｌ及び５１Ｒの中心がスクリーンの垂直方向下１／３まで）。この場合のグローブ画像５１Ｌ及び５１Ｒは、プレイヤによる非入力を示す画像（基本的姿態を示す画像）の例である。ステップＳ１８３では、プロセッサ３１は、不動フラグＩＦｉをオフにする。
【０１８２】
ステップＳ１８４では、プロセッサ３１は、ストレートフラグＳＦｉがオンか否かを判断し、オンであればステップＳ１８５に進んで、該当するグローブ画像５１Ｌあるいは５１Ｒのストレートパンチのアニメーション（プレイヤによる入力を示す画像（基本的姿態から変化する画像）の例）を設定し、それ以外はステップＳ１８７に進む。ここで、ステップＳ１８５では、グローブ画像５１Ｌのｘ座標は、差分画像上の再帰反射シート１１Ｌの水平座標に応じて設定される。ただし、グローブ画像５１Ｌのアニメーションの最終的な（一番奥の）ｙ座標は、基準線５７（図５参照）のｙ座標に一致するように設定される。つまり、ストレートパンチは、必ず最終的には基準線５７上に到達する。また、グローブ画像５１Ｌの軌道は、ストレートパンチの軌道に設定される。ステップＳ１８６では、プロセッサ３１は、ストレートフラグＳＦｉをオフにする。
【０１８３】
ステップＳ１８７では、プロセッサ３１は、クロスフラグＣＦｉがオンか否かを判断し、オンであればステップＳ１８８に進んで、該当するグローブ画像５１Ｌあるいは５１Ｒのクロスパンチのアニメーション（プレイヤによる入力を示す画像（基本的姿態から変化する画像）の他の例）を設定する。ここで、ステップＳ１８８では、グローブ画像５１Ｌのｘ座標は、差分画像上の再帰反射シート１１Ｌの水平座標に応じて設定される。ただし、グローブ画像５１Ｌのアニメーションの最終的な（一番奥の）ｙ座標は、基準線５７（図５参照）のｙ座標に一致するように設定される。つまり、クロスパンチは、必ず最終的には基準線５７上に到達する。また、グローブ画像５１Ｌの軌道は、クロスパンチの軌道に設定される。ステップＳ１８９では、プロセッサ３１は、クロスフラグＣＦｉをオフにする。
【０１８４】
ステップＳ１８０からＳ１９０までの処理が２回行われた後、つまり、左右のグローブ画像５１Ｌ及び５１Ｒの位置更新が完了した後、ステップＳ１９１に進む。ステップＳ１９１では、プロセッサ３１は、左のグローブ画像５１Ｌと右のグローブ画像５１Ｒとがクロスしているか否か、つまり、左右が入れ替わっているか否かを判断し、クロスしている場合はステップＳ１９２に進む。ステップＳ１９２にて、プロセッサ３１は、クロス後規定時間経過したか否かを判断し、経過したときはステップＳ１９３に進んで、右側に表示されたグローブ画像５１Ｌと左側に表示されたグローブ画像５１Ｒとを左右入れ替えるアニメーションを設定する。
【０１８５】
図２４は、図１６のステップＳ９の位置指示オブジェクト制御処理の流れを示すフローチャートである。図２４を参照して、ステップＳ２２０にて、プロセッサ３１は、ＭＣＵ３５から音声関連データを取得する。上述のように、音声関連データは、ビートビット、パワー及び１フレームにおけるオーディオ信号ＡＬＲの最大値を含む。ステップＳ２２２にて、プロセッサ３１は、ビートビットの値をチェックする。ステップＳ２２４にて、プロセッサ３１は、ビートビットが「１」の場合、つまり、内部ビートが生成された場合、ステップＳ２２６に進み、「０」の場合ステップＳ２３２に進む。
【０１８６】
ステップＳ２２６では、プロセッサ３１は、カウンタＣＢに基づいて、新たに出現させる位置指示オブジェクト５３の移動開始垂直位置（ｙ座標）を決定する。カウンタＣＢは、ビートビットが「１」になってから、次に「１」になるまでの時間（単位はフレーム）、つまり、内部ビート間隔Ｔｔを計数するカウンタである。従って、ステップＳ２２６でのカウンタＣＢの値は、前回ビートビットが「１」になってから今回ビートビットが「１」になるまでの時間である。このため、言い換えると、ステップＳ２２６では、最新の内部ビート間隔Ｔｔに基づいて、位置指示オブジェクト５３の移動開始垂直位置を決定している。理由は、次の通りである。
【０１８７】
位置指示オブジェクト５３の下降速度をｖ、位置指示オブジェクト５３の移動開始垂直位置から基準線５７までの長さをｈ、下降速度ｖで位置指示オブジェクト５３が下降して基準線５７に到達するまでの時間をｔとする。そうすると、次式が成立する。
【０１８８】
ｈ＝ｖ＊ｔ …（１）
【０１８９】
この式において、下降速度ｖは一定である。また、時間ｔには、最新の内部ビート間隔Ｔｔ、つまり、ステップＳ２２６時点でのカウンタＣＢの値を代入する。そうすると、基準線５７からの高さｈが分かるので、基準線５７のｙ座標をｙｒとすると、移動開始垂直位置（ｙ座標）は、ｙｒ＋ｈとなる。
【０１９０】
本実施の形態では、位置指示オブジェクト５３が基準線５７に到達した時点を、オーディオ信号ＡＬＲのオリジナルビートに合わせることを１つの目的としている。従って、最新の内部ビートの生成時（ビートビットが「１」）から、最新の内部ビート間隔Ｔｔが経過した時点で、オーディオ信号ＡＬＲの次のオリジナルビートが発生すると予測する。その結果、上記の式に基づき、位置指示オブジェクト５３の移動開始垂直位置を決定することにより、予測したオリジナルビートの発生時に、位置指示オブジェクト５３が基準線５７に到達するように制御できる。
【０１９１】
さて、ステップＳ２２７にて、プロセッサ３１は、乱数を生成して、位置指示オブジェクト５３の移動開始水平位置（ｘ座標）を、４本の経路５８−１〜５８−４から、ランダムに１つの経路を選択する。ステップＳ２２８にて、プロセッサ３１は、ステップＳ２２６で決定した移動開始垂直位置及びステップＳ２２７で決定した移動開始水平位置に、新たに出現させる位置指示オブジェクト５３の座標を設定する。このように、ビートビットが「１」になった時に、新たに出現させる位置指示オブジェクト５３を設定する。ステップＳ２３０にて、プロセッサ３１は、カウンタＣＢに「０」を代入する。一方、ステップＳ２３２では、プロセッサ３１は、カウンタＣＢを１つインクリメントする。
【０１９２】
ステップＳ２３２にて、プロセッサ３１は、下降速度ｖに基づいて、移動経路５８−１〜５８−４上に存在する全ての位置指示オブジェクト５３の垂直座標（ｙ座標）を更新する。ステップＳ２３３にて、プロセッサ３１は、画面下端の消滅位置に到達した位置指示オブジェクト５３が存在するか否かを判断し、存在する場合ステップＳ２３４に進み、それ以外はリターンする。ステップＳ２３４にて、プロセッサ３１は、消滅位置に到達した位置指示オブジェクト５３の消滅設定を行いリターンする。
【０１９３】
図２５は、図１６のステップＳ１０のタイミング指示バンド制御処理の流れを示すフローチャートである。図２５を参照して、ステップＳ２５０にて、プロセッサ３１は、経路５８−１〜５８−４上の位置指示オブジェクト５３の垂直位置をチェックする。ステップＳ２５２にて、プロセッサ３１は、位置指示オブジェクト５３と基準線５７との間の距離が、定数Ｌ以内か否かを判断し、定数Ｌ以内の場合ステップＳ２５４に進み、それ以外はステップＳ２５６に進む。ステップＳ２５４では、プロセッサ３１は、位置指示オブジェクト５３と基準線５７との間の距離に応じた幅Ｗのタイミング指示バンド５５を設定する（図６参照）。ステップＳ２５６にて、プロセッサ３１は、経路５８−１〜５８−４上の全ての位置指示オブジェクト５３に対して、ステップＳ２５０〜Ｓ２５４の処理が完了したか否かを判断し、完了した場合はリターンし、完了していない場合はステップＳ２５０に戻る。
【０１９４】
図２６は、図１６のステップＳ１１の当り判定処理の流れを示すフローチャートである。図２６を参照して、ステップＳ２９０にて、プロセッサ３１は、グローブ画像５１Ｌが位置指示オブジェクト５３に接触したか否かを判断し、接触した場合ステップＳ２９２に進み、それ以外はステップＳ２９４に進む。ステップＳ２９２では、プロセッサ３１は、グローブ画像５１Ｌと接触した位置指示オブジェクト５３が画面奥に向かって飛んでいく（弾き返される）アニメーションを設定する。
【０１９５】
ステップＳ２９４にて、プロセッサ３１は、経路５８−１〜５８−４上の全ての位置指示オブジェクト５３に対して、ステップＳ２９０の処理を行ったか否かを判断し、全てに対して未だ完了していない場合ステップＳ２９０に戻り、全てに対して完了した場合はステップＳ２９６に進む。ステップＳ２９６では、左右のグローブ画像５１Ｌ及び５１Ｒについて、ステップＳ２９０〜Ｓ２９４の処理が完了したか否かを判断し、完了していない場合ステップＳ２９０に戻り、グローブ画像５１Ｒに対して、ステップＳ２９０〜Ｓ２９４の処理を実行し、完了した場合はリターンする。
【０１９６】
さて、以上のように、本実施の形態では、位置指示オブジェクト５３の出現位置（経路５８−１〜５８−４）がランダムに決定される。つまり、位置指示オブジェクト５３には、その出現位置が動的に割り当てられる。従って、同一音楽であっても、プレイヤに異なるパターンの入力動作を行わせることができる。しかも、位置指示オブジェクト５３の制御は音楽に応じて実行されるので、プレイヤに音楽に応じた入力を行わせることができる。以上により、プレイヤは、同一音楽であっても、異なるパターンの入力を、音楽に合わせて行うことができる。
【０１９７】
また、本実施の形態では、撮像により得られた画像に基づいて、三次元空間中のグローブ７の動きを検出し、グローブ画像５１は、グローブ７の動きに応答する。このように、三次元空間中のグローブ７の動き、つまり、グローブ７の任意の動きに基づいてグローブ画像５１が応答するので、グローブ画像５１は画面の任意の位置に移動又は出現することができる。従って、本実施の形態のように、位置指示オブジェクト５３の出現位置がランダムに決定される場合に好適である。
【０１９８】
具体的には、グローブ７の動きを撮像した画像に基づいて、三次元空間中のグローブ７の動きを検出する。このように、グローブ７の動きを撮影して入力とするので、プレイヤは電子機器を操作して入力を行う必要がない。このため、電子機器の把持等が不要であり、身体を動かして入力を行うエンターテインメントシステムに好適である。また、プレイヤは撮像範囲内であれば、特に制限を受けることなく、自由にパンチを繰り出すことができ、大きな動きをすることができる。その結果、本システムを用いたプレイが運動につながり、ひいては、運動不足の解消や健康の維持・増進に貢献できる。
【０１９９】
また、グローブ７に取り付けられた、光を再帰反射する再帰反射シート１１を撮像するので、撮像画像に写り込んだ被写体（つまり再帰反射シート１１）の像の抽出が容易になり、再帰反射シート１１、つまり、グローブ７の動きを高速かつ精度良く検出できる。また、再帰反射シート１１には電子機器や機構等が不要であるため、再帰反射シート１１の形状や取付位置等に制限はなく、それらを任意の決定できる。
【０２００】
さらに、赤外光を照射した時に撮像した画像と、赤外光を消灯した時に撮像した画像と、の差分画像に基づいて、グローブ７の動きを検出する。このため、グローブ７の再帰反射シート１１からの反射光以外の光を簡易に除去でき、より高速かつ精度良くグローブ７の動きを検出できる。
【０２０１】
また、本実施の形態では、タイミング指示バンド５５により、グローブ画像５１を位置指示オブジェクト５３の位置に合わせるタイミングが指示されるので、プレイヤにとって、グローブ画像５１の操作タイミングが分かり易くなる。
【０２０２】
さらに、本実施の形態では、プレイヤにとって位置指示オブジェクト５３の出現の時期及び位置を予測することは不可能又は困難であるが、位置指示オブジェクト５３はタイミング指示バンド５５に向かって移動し、指示されるタイミングまで時間があるので、プレイヤはグローブ画像５１を位置指示オブジェクト５３に合わせる位置及び時期を予測することができる。従って、プレイヤは音声に合わせた滑らかな動きを行い易くなる。
【０２０３】
さらに、本実施の形態では、タイミング指示バンド５５の幅Ｗの変化により、操作のタイミングが指示されるので、プレイヤは、タイミング指示バンド５５だけで操作のタイミングを認識できる。このため、位置指示オブジェクト５３の位置との関連で初めて操作のタイミングを指示できるタイミング指示バンドと比較して、プレイヤは直感的に操作のタイミングを認識でき、操作のリズムないしはテンポをとり易い。操作の位置は、プレイヤは位置指示オブジェクト５３を見ることで認識できる。
【０２０４】
ちなみに、静止し、変化しない若しくは変化してもタイミングの指示と無関係に変化するタイミング指示バンドを表示する場合、プレイヤは、そのタイミング指示バンドだけを見ても操作タイミングは分からない。この場合は、位置指示オブジェクト５３の位置との関連で初めて操作タイミングが分かる。つまり、位置指示オブジェクト５３がタイミング指示バンドに到達するタイミングが、操作タイミングである。
【０２０５】
さらに、本実施の形態では、音楽は外部（上記例では、デジタルオーディオプレーヤ４４）から入力される。このため、プレイヤは、自分の好きな音楽でプレイしたり、また、飽きた場合は異なる音楽を入力してプレイできる。
【０２０６】
この場合、外部入力の音楽のビートの発生タイミングを予測し、予測結果に基づいて位置指示オブジェクト５３を制御するので、リアルタイム処理が可能となって、音楽を一旦格納し分析した後に音楽を再生して位置指示オブジェクト５３を制御する場合と比較して、メモリ等の記憶手段の規模を小さくできるし、また、格納された音楽を再生するための装置は不要であり、コストの削減を図ることができる。なお、入力された音楽を一旦格納し分析した後に音楽を再生して位置指示オブジェクト５３を制御する場合は、格納、分析、再生のために、遅延が発生し、リアルタイム処理と言えない。
【０２０７】
また、音楽のビートの発生タイミングを予測しているので、リアルタイム処理を行いながらも、将来のビートの発生タイミングで、位置指示オブジェクト５３を基準線５７に到達させることができる。
【０２０８】
さらに、本実施の形態では、プレイヤは、グローブ７を操作して、グローブ画像５１を、タイミング指示バンド５５が指示するタイミングで位置指示オブジェクト５３に合わせることにより、音楽に合った入力操作（パンチ動作）を行うことができる。
【０２０９】
なお、本発明は、上記の実施の形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能であり、例えば、以下のような変形も可能である。
【０２１０】
（１）上記では、移動経路５８を４本としたが、数はこれに限定されず、任意の数とすることができる。また、位置指示オブジェクト５３は、画面上端に出現し、垂直に下降した。ただし、位置指示オブジェクト５３は、画面下端に出現し、垂直に上昇してもよいし、画面右端に出現し、水平に左端に向かって移動してもよいし、その逆であってもよい。これらの場合、タイミング指示バンド５５は、位置指示オブジェクト５３の移動方向と直交するように配置する。また、位置指示オブジェクト５３は、画面の縁の任意の位置から出現し、斜め方向に直進移動してもよい。例えば、位置指示オブジェクト５３は、画面の縁の任意の位置から、画面中央に向かって直進し、出現位置と点対称の位置に向かって移動してもよい。この場合、例えば、円形のタイミング指示オブジェクトを画面中央に表示する。さらに、位置指示オブジェクト５３の軌道は、直線に限られず、放物線やジグザグ線などの任意の軌道とすることができる。
【０２１１】
（２）上記では、位置指示オブジェクト５３を移動（下降）させた。ただし、位置の変化である移動に限らず、形態の変化であってもよい。「形態」とは、形状、模様及び色彩を含む意味である。
【０２１２】
（第１変形例）例えば、画面上のランダムに決定した位置に、所定形状の位置指示オブジェクトを出現させると共に、その位置指示オブジェクトと相似な図形をタイミング指示オブジェクトとして中心位置を同一にして表示する。そして、位置指示オブジェクトをタイミング指示オブジェクトに向かって変化させる。この場合、タイミング指示オブジェクトが位置指示オブジェクトより大きい場合は、位置指示オブジェクトを拡大していき、小さい場合は縮小していく。そして、位置指示オブジェクトがタイミング指示オブジェクトに達したタイミングが、グローブ画像５１を位置指示オブジェクトに当てるタイミングである。指示されたタイミングでグローブ画像５１が位置指示オブジェクトに当ったか否かが判断され、当ったと判断された場合、エフェクト（音声及び／又は画像）が生成される。もちろん、位置指示オブジェクトがタイミング指示オブジェクトに達した時が、オーディオ信号ＡＬＲのビートに合うように、位置指示オブジェクトの変化を制御する。また、位置指示オブジェクトの変化は、タイミング指示オブジェクトに達した時に停止・消滅してもよいし、そこから継続して変化させ、所定条件で停止・消滅してもよい。
【０２１３】
（第２変形例）また、例えば、画面上のランダムに決定した位置に、第１所定模様の位置指示オブジェクトを出現させると共に、その位置指示オブジェクトに近接して第２所定模様のタイミング指示オブジェクトを表示する。そして、位置指示オブジェクトの模様を第１所定模様から第２所定模様に向かって変化させる。位置指示オブジェクトの模様がタイミング指示オブジェクトの模様、つまり、第２所定模様に達したタイミングが、グローブ画像５１を位置指示オブジェクトに当てるタイミングである。指示されたタイミングでグローブ画像５１が位置指示オブジェクトに当ったか否かが判断され、当ったと判断された場合、エフェクト（音声及び／又は画像）が生成される。もちろん、位置指示オブジェクトの模様がタイミング指示オブジェクトが指示する第２所定模様に達した時が、オーディオ信号ＡＬＲのビートに合うように、位置指示オブジェクトの変化を制御する。また、位置指示オブジェクトの変化は、第２所定模様に達した時に停止・消滅してもよいし、そこから継続して変化させ、所定条件で停止・消滅してもよい。
【０２１４】
（第３変形例）位置指示オブジェクトの色彩を変化させることもできる。この場合は、位置指示オブジェクトの模様を変化させる場合と同様の例を適用できる。つまり、上記模様の例において、「模様」を「色彩」と読みかえればよい。
【０２１５】
（３）上記では、音楽に応じて位置指示オブジェクト５３を画面に出現（非表示から表示）させた。ただし、各経路５８−１〜５８−４の画面上端に、予め位置指示オブジェクト５３を表示しておき、その中からランダムに位置指示オブジェクト５３を選択して、音楽に応じて、移動（位置の変化）を開始させることもできる。この場合も、位置指示オブジェクト５３が基準線５７に到達した時が、オーディオ信号ＡＬＲのビートに合うように、位置指示オブジェクトの移動（位置の変化）開始時期を制御する。
【０２１６】
この例では、位置指示オブジェクト５３を移動させた。ただし、位置の変化である移動に限らず、形態の変化であってもよい。「形態」とは、形状、模様及び色彩を含む意味である。
【０２１７】
例えば、上記第１変形例の変形を例に挙げる。画面上の任意の複数の位置に予め所定形状の位置指示オブジェクトを表示しておくと共に、その位置指示オブジェクトと相似な図形をタイミング指示オブジェクトとして中心位置を同一にして表示する。そして、複数の位置指示オブジェクトからランダムに位置指示オブジェクトを選択する。そして、選択した位置指示オブジェクトをタイミング指示オブジェクトに向かって変化させる。それ以降は、上記第１変形例と同じである。
【０２１８】
また、例えば、上記第２変形例の変形を例に挙げる。画面上の任意の複数の位置に予め第１所定模様の位置指示オブジェクトを表示しておくと共に、それぞれに近接して、第２所定模様のタイミング指示オブジェクトを表示する。そして、複数の位置指示オブジェクトからランダムに位置指示オブジェクトを選択する。そして、選択した位置指示オブジェクトの模様を第１所定模様から第２所定模様に向かって変化させる。それ以降は、上記第２変形例と同じである。この例において、「模様」を「色彩」と読みかえることもできる。
【０２１９】
（４）上記では、グローブ画像５１が位置指示オブジェクト５３にタイミングよく当った場合、エフェクトとして、位置指示オブジェクト５３を画面奥に弾き返した。ただし、エフェクトは、これに限定されず、効果音等の音声であってもよいし、位置指示オブジェクト５３に他の変化（移動だけでなく形態等の変化）を与えてもよいし、音声と画像との双方のエフェクトを与えてもよい。
【０２２０】
（５）上記では、外部から入力する音声（ａｕｄｉｏ）の例として、音楽を挙げた。ただし、音楽に限らず、音響、ボイス及びサウンド等、その他の音でもよい。ただし、それらがビート（拍）を有することが好ましい。
【０２２１】
また、外部からの音声信号は、デジタルオーディオプレーヤ４４から入力された。ただし、ＣＤやＤＶＤ等、他の記録媒体に記録された音声を再生する装置から入力することもできる。また、マイクロフォンにより、音声（ボイスや演奏等）を電気信号に変換したものを、外部からの入力音声信号とすることもできる。さらに、外部からの音声信号は、ＬＡＮやインターネット等の通信回線を介して与えられるものでもよい。
【０２２２】
（６）上記では、タイミング指示バンド５５の幅Ｗの変化により、操作タイミングを指示した。これは、上記の第１〜第３変形例にも適用できる。具体的には次の通りである。
【０２２３】
上記第１変形例において、表示はされないが、位置指示オブジェクトと相似な基準図形（基準線５７に相当）を、位置指示オブジェクトと中心を同一にして配置する。位置指示オブジェクトの形状が変化して基準図形に達した時が、音楽のビートに一致するように、位置指示オブジェクトの形状を変化させる。そうすると、基準図形と位置指示オブジェクトとの位置関係が第１所定関係（例えば第１所定距離）になった時に、基準図形に重ねてタイミング指示オブジェクトの表示を開始し、その線幅を大きくしていき、基準図形と位置指示オブジェクトとが一致した時に、タイミング指示オブジェクトの線幅を最も大きくし、それを過ぎて位置指示オブジェクトが変化することに応じて、タイミング指示オブジェクトの線幅を小さくしていき、基準図形と位置指示オブジェクトとの位置関係が第２所定関係（例えば第２所定距離）になった時に、タイミング指示オブジェクトを消滅する。
【０２２４】
また、上記第２変形例において、表示はされないが、位置指示オブジェクトと近接して基準点を配置する。位置指示オブジェクトの模様は第１所定模様から変化するところ、位置指示オブジェクトの模様と第２所定模様との関係が第１所定関係になった時に、基準点に重ねてタイミング指示オブジェクトの表示を開始し、その面積を大きくしていき、位置指示オブジェクトの模様が第２所定模様になった時に、タイミング指示オブジェクトの面積を最も大きくし、それを過ぎて位置指示オブジェクトが変化することに応じて、タイミング指示オブジェクトの面積を小さくしていき、位置指示オブジェクトの模様と第２所定模様との関係が第２所定関係になった時に、タイミング指示オブジェクトを消滅する。この例において、「模様」を「色彩」と読みかえることもできる。
【０２２５】
（７）上記では、タイミング指示バンド５５の幅Ｗの変化により、操作タイミングを指示した。ただし、タイミング指示バンド５５の模様又は色彩といった形態の変化により、操作タイミングを指示することもできる。また、操作タイミングを指示するタイミング指示オブジェクトの一例として、タイミング指示バンド５５を挙げたが、タイミング指示オブジェクトの形態はこれに限定されない。また、タイミング指示オブジェクトを経路５８ごとに設けることもできる。
【０２２６】
（８）上記では、位置指示オブジェクト５３との位置関係に基づき、タイミング指示バンド５５を変化させ、タイミング指示バンド５５だけで、操作タイミングが分かるようにした。ただし、位置指示オブジェクト５３との関連で始めて操作タイミングが分かるようにしてもよい。例えば、基準線５７上にタイミング指示バンド５５を予め表示しておき変化を与えない。また、例えば、タイミング指示とは無関係に、演出として変化を与える。
【０２２７】
また、指示すべきタイミングの時点又はその時点を挟む所定時間だけ、一定のタイミング指示バンド５５を表示することもできる。
【０２２８】
（９）上記では、操作タイミングを明示すべく、タイミング指示バンド５５を表示した。ただし、コンテンツによっては、操作タイミングを指示するタイミング指示オブジェクトを表示しなくても、プレイヤが操作タイミングを推測できる場合もあるので、タイミング指示オブジェクトを表示しないこともできる。
【０２２９】
（１０）上記では、位置指示オブジェクト５３と基準線５７との位置関係に応じて、タイミング指示バンド５５を画面に出現（非表示から表示）させた。ただし、基準線５７上に、予めタイミング指示バンド５５を表示しておき、位置指示オブジェクト５３と基準線５７との位置関係に応じて、上記の規則に従って、その幅Ｗを変化させることもできる。模様や色彩といった他の形態を変化させる場合も同様である。また、上記（６）の第１〜第３変形例の変形においても、同様であり、予めタイミング指示オブジェクトを表示しておき、それぞれの規則に従って変化させる。
【０２３０】
（１１）上記では、オーディオ信号ＡＬＲのビートの発生タイミングを予測して、その予測結果に基づいて、位置指示オブジェクト５３の移動開始垂直位置を決定し（図２４のステップＳ２２６）、位置指示オブジェクト５３が基準線５７に到達した時をオーディオ信号ＡＬＲのビートに合わせた。このように、移動開始垂直位置を制御して、基準線５７にて位置指示オブジェクト５３とビートとを合わせた。移動開始垂直位置に応じて、位置指示オブジェクト５３の画面への出現時期が変わるので、移動開始垂直位置の制御は、位置指示オブジェクト５３の画面への出現タイミングの制御に相当する。また、移動開始垂直位置の制御は、変化開始タイミングの制御と言うこともできるし、また、軌道の制御と言うこともできる。
【０２３１】
また、上記の式（１）の長さｈを一定にして、位置指示オブジェクト５３の降下速度ｖを、内部ビート間隔ｔに応じて、変化させ、位置指示オブジェクト５３が基準線５７に到達した時をオーディオ信号ＡＬＲのビートに合わせることもできる。つまり、ｖ＝ｈ／ｔ、である。さらに、内部ビート間隔に応じて、位置指示オブジェクト５３の加速度を制御し、位置指示オブジェクト５３が基準線５７に到達した時をオーディオ信号ＡＬＲのビートに合わせることもできる。
【０２３２】
以上のように、内部ビート間隔に応じて、位置指示オブジェクト５３の出現タイミング、変化開始タイミング、軌道、速度又は加速度を制御することにより、その位置を制御して、位置指示オブジェクト５３が基準線５７に到達した時をオーディオ信号ＡＬＲのビートに合わせることができる。もちろん、出現タイミング、変化開始タイミング、軌道、速度及び加速度のうちの任意の組合せにより、位置指示オブジェクト５３が基準線５７に到達した時をオーディオ信号ＡＬＲのビートに合わせることもできる。なお、軌道は直線に限られず、例えば、放物線等の曲線やジグザグ線など、任意に設定可能である。
【０２３３】
また、上記第１〜第３変形例では、位置指示オブジェクトの形態が所定状態に達した時が、オーディオ信号ＡＬＲのビートに合うように、位置指示オブジェクトの出現や形態の変化を制御した。このような制御は、内部ビート間隔に応じて、位置指示オブジェクト５３の出現タイミング、変化開始タイミング、変化速度若しくは変化加速度又はそれらの任意の組合せにより行うことができる。
【０２３４】
（１２）上記では、オーディオ信号ＡＬＲは、外部から入力した。ただし、オーディオ信号ＡＬＲを外部メモリ３３に予め格納しておき、位置指示オブジェクト５３を移動する経路５８やタイミングを予め設定しておくこともできる。この場合は、オーディオ信号ＡＬＲの解析が不要になるので、外部から任意のオーディオ信号ＡＬＲを入力する場合と比較して、ソフトウェア及びハードウェアを簡素化できる。もちろん、上記第１〜第３変形例においても同様である。
【０２３５】
（１３）グローブ７に再帰反射シート１１を取り付ける代わりに、赤外発光ダイオードのような自発光装置を取り付けることもできる。この場合は、カートリッジ３には、赤外発光ダイオード１７は不要である。また、入力装置を使用せずに、イメージセンサやＣＣＤなどの撮像装置により、被写体（例えばプレイヤの拳）を撮影し、画像解析して、動きを検出することもできる。
【０２３６】
（１４）上記のストロボ撮影（赤外発光ダイオード１７の点滅）及び差分処理は、好適な例を示しただけであって、本発明に必須の要素ではない。つまり、赤外発光ダイオード１７は、点滅させなくてもよいし、また、赤外発光ダイオード１７がなくてもよい。照射する光は赤外光に限られない。また、再帰反射シート１１は本発明に必須の要素ではなく、撮像画像を解析して、入力装置（例えばグローブ）あるいは身体の特定部位（例えば手）が検知できればよい。撮像素子は、イメージセンサに限られず、ＣＣＤなどの他の撮像素子を使用できる。
【０２３７】
（１５）グローブ７に代えて、プレイヤに撮像素子を備えた電子機器を持たせて、これを入力装置とすることもできる。この場合、テレビジョンモニタ５の画面の縁に沿って複数のマーカを取り付ける。このマーカを入力装置の撮像素子で撮影し、プレイヤが、画面のどこを指し示しているかを判断し、そこに操作オブジェクトを表示する。マーカは、例えば、赤外発光ダイオードである。また、マーカを再帰反射シートとすることもできる。この場合は、入力装置に、発光素子を取り付ける。さらに、発光素子を点滅させて、差分画像を処理すれば、上記と同様の効果を得ることができる。
【０２３８】
（１６）上記では、グローブ７に再帰反射シート１１を取り付けたが、再帰反射シートを取り付ける対象はグローブに限定されない。また、グローブは１つでもよい。実行する内容によって、入力具の形状や再帰反射シートを取り付ける位置を任意に設定できる。
【０２３９】
（１７）上記では、撮像により得られた画像に基づいて、グローブ７の動きを検出し、グローブ画像５１を操作した。ただし、グローブ画像５１等の操作オブジェクトの操作は、ジョイスティックや方向キー等を備えた一般的なゲーム機用コントローラで行うこともできる。
【０２４０】
また、各々プレイヤの入力操作を検出する所定数の入力部（例えばスイッチ）を有し、各入力部からの操作信号を受け付け、それらをプロセッサ３１に与えるコントローラを使用することができる。プロセッサ３１は、このコントローラからの各入力部の操作信号に応答する操作オブジェクトを表示する。この場合、例えば、４つの入力部を用意し、それぞれを、経路５８−１〜５８−４に対応させる。経路５８−１を移動する位置指示オブジェクト５３は、対応する入力部の操作にだけ応答する。他の経路５８−２〜５８−４の位置指示オブジェクト５３についても同じである。
【０２４１】
これらのようなコントローラを用いれば、操作信号により、操作オブジェクトを制御できるので、動きの検知のための画像処理等が不要で、処理負荷を軽減できる。なお、このようなコントローラは、プレイヤが、各入力部を手で操作するものであってもよいし、マット型にして足で踏み込んで操作するものであってもよい。
【０２４２】
（１８）上記では、カートリッジ方式を採用しているが、これを採用せず、カートリッジ３に搭載した各機能をアダプタ１に搭載することもできる。
【０２４３】
（１９）上記では、グローブ動き判定は、２回だけ過去の位置を原点として行った（図１２（ａ）〜図１２（ｆ）参照）。しかし、この回数は、これに限定されず、試行錯誤して、３以上の適切な回数を設定できる。また、図１６に示すように、次のビデオ同期信号による割り込みがあるまでに１回の処理を完了している。つまり、１ビデオフレームの表示中に１回の処理を完了している。ただし、１回の処理を、２ビデオフレームなどのＮ（Ｎは２以上の整数）ビデオフレームで完了するようにすることもできる。例えば、１回の処理を２ビデオフレームで完了するようにすると、グローブ７Ｌ及び７Ｒの位置は、２ビデオフレームに１回算出されることになる。
【０２４４】
（２０）上記の左右決定処理では、図１１に示すように、前々回の位置ＴＰＬ１，ＴＰＲ１と前回の位置ＴＰＬ２，ＴＰＲ２とから求めた速度ベクトルＶＬ，ＶＲのみに基づいて、グローブ７Ｌ，７Ｒの予測位置ＴＰＬｐ，ＴＰＲｐを算出した。ただし、前々回の位置ＴＰＬ１，ＴＰＲ１のさらに前の位置ＴＰＬ０，ＴＰＲ０をも利用して、予測位置ＴＰＬｐ，ＴＰＲｐを算出することもできる。位置ＴＰＬ０，ＴＰＬ１及びＴＰＬ２に注目する（左予測）。位置ＴＰＬ０を始点、位置ＴＰＬ１を終点とする速度ベクトルＶＬ０、及び、位置ＴＰＬ１を始点、位置ＴＰＬ２を終点とする速度ベクトルＶＬ１を算出する。速度ベクトルＶＬ０とＶＬ１とのなす角度と、速度ベクトルＶＬ１と予測ベクトルＶＬｐとのなす角度と、が同じになるように、予測ベクトルＶＬｐの方向を決定する。さらに、比ｒ＝（速度ベクトルＶＬ１の大きさ）／（速度ベクトルＶＬ０の大きさ）を求めて、比ｒを速度ベクトルＶＬ１の大きさに乗算し、その結果を、予測ベクトルＶＬｐの大きさとする。そして、速度ベクトルＶＬ１の終点を予測ベクトルＶＬｐの始点とし、予測ベクトルＶＬｐの終点を、予測位置ＴＰＬｐとする。右予測についても同様である。このようにすると、より精度良く、予測位置を算出できる。
【０２４５】
（２１）上記では、仮想画面は、不動領域、ストレート領域、及びクロス領域により構成されていた。そして、入力具７Ｌ，７Ｒが位置する領域に応じて、基本的姿態のグローブ、ストレートパンチ、及びクロスパンチが表示された。ただし、仮想画面の構成は、これに限定されず、コンテンツに応じて、領域の数を増減したり、各領域の機能（入力具がその領域に位置したときに、どのような画像を表示するかとか、どのような処理をするかとか）を変更したり、することができる。
【０２４６】
（２２）上記では、左用と右用に、左右対称の２つの仮想画面を用意した。なぜなら、左手用の入力具７Ｌの機能（パンチのため）と右手用の入力具７Ｒの機能（パンチのため）とが同じだからである。ただし、必ずしも左右対称の仮想画面を用意する必要はなく、コンテンツに応じて、左右で全く異なる仮想画面を用意することもできる。例えば、左手用の入力具の機能（例えば盾を動かすため）と右手用の入力具の機能（例えば剣を振るため）とが異なる場合、左右の仮想画面を異ならせることができる。仮想画面が異なるとは、仮想画面に形成された領域の数、範囲、及び／又は機能が異なることである。
【０２４７】
（２３）上記では、外部ビート間隔Ｔｖを求める際に定数Ｂを使用し、その例として、５フレームを挙げた（図７参照）。また、暫定内部ビート間隔Ｔｕの起点を調整するための定数Ａの例として、５フレームを例に挙げた（図９参照）。ただし、定数Ａ及びＢの値は、適宜変更可能であり、これらに限定されるものではない。
【０２４８】
（２４）上記では、タイミング指示バンド５５の出現開始のための距離Ｌと、タイミング指示バンド５５の消滅のための距離Ｌと、を同一にした（図６参照）。ただし、これらを異ならせることもできる。
【図面の簡単な説明】
【０２４９】
【図１】本発明の実施の形態によるエンターテインメントシステムの全体構成を示す図である。
【図２】図１のグローブ７Ｒの斜視図である。
【図３】図１のカートリッジ３の斜視図である。
【図４】図１のカートリッジ３の電気的構成を示す図である。
【図５】図１のテレビジョンモニタ５に表示されたプレイ画面の例示図である。
【図６】図５のタイミング指示バンド５５の説明図である。
【図７】（ａ）図１のＭＣＵ３５に入力される音声信号ＡＬＲの波形図である。（ｂ）図７（ａ）の波形から得られた差分音声信号Ｄｆの波形図である。
【図８】（ａ）発生頻度テーブルの例示図である。（ｂ）外部ビート間隔Ｔｖの発生頻度の分布図である。
【図９】内部ビートの生成方法の詳細な説明図である。
【図１０】グローブ検出処理の説明図である。
【図１１】左右決定処理の説明図である。
【図１２】（ａ）速度ベクトル算出の説明図である。（ｂ）グローブ動き判定処理の説明図である。（ｃ）速度ベクトル算出の説明図である。（ｄ）グローブ動き判定処理の説明図である。（ｅ）速度ベクトル算出の説明図である。（ｆ）グローブ動き判定処理の説明図である。
【図１３】図４のＭＣＵ３５による音声データ取得処理の流れを示すフローチャートである。
【図１４】図４のＭＣＵ３５による外部ビート検出処理の流れを示すフローチャートである。
【図１５】図４のＭＣＵ３５による内部ビート生成処理の流れを示すフローチャートである。
【図１６】図４のプロセッサ３１による処理の流れを示すフローチャートである。
【図１７】図１６のステップＳ３の撮影処理の流れを示すフローチャートである。
【図１８】図１６のステップＳ５の実グローブ検出処理の流れを示すフローチャートである。
【図１９】図１８のステップＳ３２の左右上下端検出処理の流れを示すフローチャートである。
【図２０】図１８のステップＳ３４の２点位置決定処理の流れを示すフローチャートである。
【図２１】図１８のステップＳ３７の左右決定処理の流れを示すフローチャートである。
【図２２】図１８のステップＳ３９のグローブ動き判定処理の流れを示すフローチャートである。
【図２３】図１６のステップＳ７のグローブ画像制御処理の流れを示すフローチャートである。
【図２４】図１６のステップＳ９の位置指示オブジェクト制御処理の流れを示すフローチャートである。
【図２５】図１６のステップＳ１０のタイミング指示バンド制御処理の流れを示すフローチャートである。
【図２６】図１６のステップＳ１１の当り判定処理の流れを示すフローチャートである。
【符号の説明】
【０２５０】
１…アダプタ、３…カートリッジ、５…テレビジョンモニタ、７Ｌ，７Ｒ…グローブ、９…ＡＶケーブル、１１Ｌ，１１Ｒ…再帰反射シート、１３…撮像ユニット、１５…赤外線フィルタ、１７…赤外発光ダイオード、３１…プロセッサ、３３…外部メモリ、３７…イメージセンサ、３５…ＭＣＵ、４４…デジタルオーディオプレーヤ、５１Ｌ，５１Ｒ…グローブ画像、５３…位置指示オブジェクト、５５…タイミング指示バンド、５７…基準線、５８−１〜５８−４…移動経路。
【特許請求の範囲】
【請求項１】
プレイヤからの入力に応答する操作オブジェクトを表示装置に表示する第１制御手段と、
前記操作オブジェクトを合わせるべき位置を指示する位置指示オブジェクトの出現位置又は第１の所定の変化を開始する位置をランダムに決定する位置決定手段と、
前記位置決定手段が決定した位置で、音声に応じて、前記位置指示オブジェクトの出現又は前記第１の所定の変化を開始する第２制御手段と、
前記位置指示オブジェクトが所定の状態に達するタイミングで、前記操作オブジェクトの位置が、前記位置指示オブジェクトの位置と実質的に一致したか否かを判断する判断手段と、
前記判断手段が一致したと判断した場合、エフェクトを生成するエフェクト手段と、を備えるエンターテインメント装置。
【請求項２】
撮像により得られた画像に基づいて、三次元空間中の前記プレイヤの動きを検出する検出手段をさらに備え、
前記第１制御手段は、検出された前記プレイヤの動きに応答する前記操作オブジェクトを表示する、請求項１記載のエンターテインメント装置。
【請求項３】
前記検出手段は、前記プレイヤの動きを撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する、請求項２記載のエンターテインメント装置。
【請求項４】
前記検出手段は、前記プレイヤが動かす再帰反射体を撮像する側から所定の光を照射した時に撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する、請求項３記載のエンターテインメント装置。
【請求項５】
前記検出手段は、前記所定の光を照射した時に撮像した画像と、前記所定の光を消灯した時に撮像した画像と、の差分画像に基づいて、三次元空間中の前記プレイヤの動きを検出する、請求項４記載のエンターテインメント装置。
【請求項６】
前記検出手段は、前記表示装置の画面の縁に沿って配置された複数のマーカを前記プレイヤが動かす撮像装置により撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する、請求項２記載のエンターテインメント装置。
【請求項７】
各々前記プレイヤの入力操作を検出する所定数の入力部を有し、前記各入力部からの操作信号を受け付ける検出手段をさらに備え、
前記第１制御手段は、前記操作信号に応答する前記操作オブジェクトを表示する、請求項１記載のエンターテインメント装置。
【請求項８】
前記操作オブジェクトを前記位置指示オブジェクトの位置に合わせるタイミングを指示するタイミング指示オブジェクトを表示する第３制御手段をさらに備える請求項１から７のいずれかに記載のエンターテインメント装置。
【請求項９】
前記第２制御手段は、前記位置指示オブジェクトを、前記タイミング指示オブジェクトの位置に向かって移動又は前記タイミング指示オブジェクトの形態に向かって変化させ、
前記所定の状態に達するタイミングは、前記位置指示オブジェクトが前記タイミング指示オブジェクトに達するタイミングであり、
前記第２制御手段は、前記位置指示オブジェクトが前記タイミング指示オブジェクトに達するタイミングが前記音声に合うように、前記位置指示オブジェクトを制御する、請求項８記載のエンターテインメント装置。
【請求項１０】
前記第３制御手段は、前記位置指示オブジェクトが前記所定の状態に達するタイミングで、前記タイミング指示オブジェクトに所定の結果を引き起こす、請求項９記載のエンターテインメント装置。
【請求項１１】
前記音声は予め定められた音声である、請求項１から１０のいずれかに記載のエンターテインメント装置。
【請求項１２】
前記音声は、外部から入力される音声である、請求項１から１０のいずれかに記載のエンターテインメント装置。
【請求項１３】
前記第２制御手段は、
外部から入力される前記音声を解析して、当該音声中の周期的な反復を検出し、当該周期的な反復の起点の発生タイミングを予測する予測手段と、
予測された前記発生タイミングで、前記位置指示オブジェクトが前記所定の状態に達するように、前記位置指示オブジェクトの制御を実行する実行手段と、を含む請求項１２記載のエンターテインメント装置。
【請求項１４】
前記実行手段は、予測された前記発生タイミングで、前記位置指示オブジェクトが前記所定の状態に達するように、前記位置指示オブジェクトの位置及び／又は形態の変化を制御する、請求項１３記載のエンターテインメント装置。
【請求項１５】
前記実行手段は、予測された前記発生タイミングに基づいて、前記位置指示オブジェクトの変化開始タイミング、画面への出現タイミング、軌道、速度及び加速度のうちの少なくとも１つを決定し、決定結果に基づいて、前記位置指示オブジェクトの位置及び／又は形態の変化を制御する、請求項１４記載のエンターテインメント装置。
【請求項１６】
表示装置の画面上で、操作の位置及びタイミングを指示する位置及びタイミング指示装置であって、
前記画面上で前記操作の位置を指示する位置指示オブジェクトを制御する第１制御手段と、
前記画面上で前記操作のタイミングを指示するタイミング指示オブジェクトを制御する第２制御手段と、を備え、
前記第１制御手段は、前記位置指示オブジェクトの位置又は形態を所定状態に向かって変化させ、
前記第２制御手段は、前記位置指示オブジェクトが前記所定状態に達するタイミングで、前記タイミング指示オブジェクトに所定の結果を引き起こし、
前記タイミング指示オブジェクトが前記所定の結果を引き起こした時が、前記操作のタイミングである、位置及びタイミング指示装置。
【請求項１７】
前記第２制御手段は、前記位置指示オブジェクトと前記所定状態との間の関係が第１所定関係になった時に、前記タイミング指示オブジェクトを出現又は変化を開始し、前記位置指示オブジェクトが前記所定状態に達したタイミングで前記タイミング指示オブジェクトに前記所定の結果を引き起こし、前記位置指示オブジェクトが前記所定状態を通過した後、前記位置指示オブジェクトと前記所定状態との間の関係が第２所定関係になった時に、前記タイミング指示オブジェクトを消滅又は変化を停止する、請求項１６記載の位置及びタイミング指示装置。
【請求項１８】
前記第１制御手段は、前記位置指示オブジェクトが前記所定状態に達するタイミングが音声に合うように、前記位置指示オブジェクトを制御する、請求項１６又は１８記載の位置及びタイミング指示装置。
【請求項１９】
前記音声は、外部から入力される音声である、請求項１８記載の位置及びタイミング指示装置。
【請求項２０】
前記音声は予め定められた音声である、請求項１８記載の位置及びタイミング指示装置。
【請求項２１】
プレイヤからの入力に応答する操作オブジェクトを前記表示装置に表示する第３制御手段をさらに備え、
前記位置指示オブジェクトは、前記操作オブジェクトを合わせるべき位置を指示し、
前記タイミング指示オブジェクトは、前記操作オブジェクトを前記位置指示オブジェクトの位置に合わせるタイミングを指示する、請求項１６から２０のいずれかに記載の位置及びタイミング指示装置。
【請求項２２】
撮像により得られた画像に基づいて、三次元空間中の前記プレイヤの動きを検出する検出手段をさらに備え、
前記第３制御手段は、検出された前記プレイヤの動きに応答する前記操作オブジェクトを表示する、請求項２１記載の位置及びタイミング指示装置。
【請求項２３】
各々前記プレイヤの入力操作を検出する所定数の入力部を有し、前記各入力部からの操作信号を受け付ける検出手段をさらに備え、
前記第３制御手段は、前記操作信号に応答する前記操作オブジェクトを表示する、請求項２１記載の位置及びタイミング指示装置。
【請求項２４】
プレイヤからの入力に応答する操作オブジェクトを表示装置に表示するステップと、
前記操作オブジェクトを合わせるべき位置を指示する位置指示オブジェクトの出現位置又は第１の所定の変化を開始する位置をランダムに決定するステップと、
決定した前記位置で、音声に応じて、前記位置指示オブジェクトの出現又は前記第１の所定の変化を開始するステップと、
前記位置指示オブジェクトが所定の状態に達するタイミングで、前記操作オブジェクトの位置が、前記位置指示オブジェクトの位置と実質的に一致したか否かを判断するステップと、
一致したと判断した場合、エフェクトを生成するステップと、を含む映像制御方法。
【請求項２５】
表示装置の画面上で、操作の位置及びタイミングを指示する位置及びタイミング指示方法であって、
前記画面上で前記操作の位置を指示する位置指示オブジェクトを制御するステップと、
前記画面上で前記操作のタイミングを指示するタイミング指示オブジェクトを制御するステップと、を含み、
前記位置指示オブジェクトを制御する前記ステップは、前記位置指示オブジェクトの位置又は形態を所定状態に向かって変化させるステップを含み、
前記タイミング指示オブジェクトを制御するステップは、前記位置指示オブジェクトが前記所定状態に達するタイミングで、前記タイミング指示オブジェクトに所定の結果を引き起こすステップを含み、
前記タイミング指示オブジェクトが前記所定の結果を引き起こした時が、前記操作のタイミングである、位置及びタイミング指示方法。
【請求項１】
プレイヤからの入力に応答する操作オブジェクトを表示装置に表示する第１制御手段と、
前記操作オブジェクトを合わせるべき位置を指示する位置指示オブジェクトの出現位置又は第１の所定の変化を開始する位置をランダムに決定する位置決定手段と、
前記位置決定手段が決定した位置で、音声に応じて、前記位置指示オブジェクトの出現又は前記第１の所定の変化を開始する第２制御手段と、
前記位置指示オブジェクトが所定の状態に達するタイミングで、前記操作オブジェクトの位置が、前記位置指示オブジェクトの位置と実質的に一致したか否かを判断する判断手段と、
前記判断手段が一致したと判断した場合、エフェクトを生成するエフェクト手段と、を備えるエンターテインメント装置。
【請求項２】
撮像により得られた画像に基づいて、三次元空間中の前記プレイヤの動きを検出する検出手段をさらに備え、
前記第１制御手段は、検出された前記プレイヤの動きに応答する前記操作オブジェクトを表示する、請求項１記載のエンターテインメント装置。
【請求項３】
前記検出手段は、前記プレイヤの動きを撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する、請求項２記載のエンターテインメント装置。
【請求項４】
前記検出手段は、前記プレイヤが動かす再帰反射体を撮像する側から所定の光を照射した時に撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する、請求項３記載のエンターテインメント装置。
【請求項５】
前記検出手段は、前記所定の光を照射した時に撮像した画像と、前記所定の光を消灯した時に撮像した画像と、の差分画像に基づいて、三次元空間中の前記プレイヤの動きを検出する、請求項４記載のエンターテインメント装置。
【請求項６】
前記検出手段は、前記表示装置の画面の縁に沿って配置された複数のマーカを前記プレイヤが動かす撮像装置により撮像した画像に基づいて、三次元空間中の前記プレイヤの動きを検出する、請求項２記載のエンターテインメント装置。
【請求項７】
各々前記プレイヤの入力操作を検出する所定数の入力部を有し、前記各入力部からの操作信号を受け付ける検出手段をさらに備え、
前記第１制御手段は、前記操作信号に応答する前記操作オブジェクトを表示する、請求項１記載のエンターテインメント装置。
【請求項８】
前記操作オブジェクトを前記位置指示オブジェクトの位置に合わせるタイミングを指示するタイミング指示オブジェクトを表示する第３制御手段をさらに備える請求項１から７のいずれかに記載のエンターテインメント装置。
【請求項９】
前記第２制御手段は、前記位置指示オブジェクトを、前記タイミング指示オブジェクトの位置に向かって移動又は前記タイミング指示オブジェクトの形態に向かって変化させ、
前記所定の状態に達するタイミングは、前記位置指示オブジェクトが前記タイミング指示オブジェクトに達するタイミングであり、
前記第２制御手段は、前記位置指示オブジェクトが前記タイミング指示オブジェクトに達するタイミングが前記音声に合うように、前記位置指示オブジェクトを制御する、請求項８記載のエンターテインメント装置。
【請求項１０】
前記第３制御手段は、前記位置指示オブジェクトが前記所定の状態に達するタイミングで、前記タイミング指示オブジェクトに所定の結果を引き起こす、請求項９記載のエンターテインメント装置。
【請求項１１】
前記音声は予め定められた音声である、請求項１から１０のいずれかに記載のエンターテインメント装置。
【請求項１２】
前記音声は、外部から入力される音声である、請求項１から１０のいずれかに記載のエンターテインメント装置。
【請求項１３】
前記第２制御手段は、
外部から入力される前記音声を解析して、当該音声中の周期的な反復を検出し、当該周期的な反復の起点の発生タイミングを予測する予測手段と、
予測された前記発生タイミングで、前記位置指示オブジェクトが前記所定の状態に達するように、前記位置指示オブジェクトの制御を実行する実行手段と、を含む請求項１２記載のエンターテインメント装置。
【請求項１４】
前記実行手段は、予測された前記発生タイミングで、前記位置指示オブジェクトが前記所定の状態に達するように、前記位置指示オブジェクトの位置及び／又は形態の変化を制御する、請求項１３記載のエンターテインメント装置。
【請求項１５】
前記実行手段は、予測された前記発生タイミングに基づいて、前記位置指示オブジェクトの変化開始タイミング、画面への出現タイミング、軌道、速度及び加速度のうちの少なくとも１つを決定し、決定結果に基づいて、前記位置指示オブジェクトの位置及び／又は形態の変化を制御する、請求項１４記載のエンターテインメント装置。
【請求項１６】
表示装置の画面上で、操作の位置及びタイミングを指示する位置及びタイミング指示装置であって、
前記画面上で前記操作の位置を指示する位置指示オブジェクトを制御する第１制御手段と、
前記画面上で前記操作のタイミングを指示するタイミング指示オブジェクトを制御する第２制御手段と、を備え、
前記第１制御手段は、前記位置指示オブジェクトの位置又は形態を所定状態に向かって変化させ、
前記第２制御手段は、前記位置指示オブジェクトが前記所定状態に達するタイミングで、前記タイミング指示オブジェクトに所定の結果を引き起こし、
前記タイミング指示オブジェクトが前記所定の結果を引き起こした時が、前記操作のタイミングである、位置及びタイミング指示装置。
【請求項１７】
前記第２制御手段は、前記位置指示オブジェクトと前記所定状態との間の関係が第１所定関係になった時に、前記タイミング指示オブジェクトを出現又は変化を開始し、前記位置指示オブジェクトが前記所定状態に達したタイミングで前記タイミング指示オブジェクトに前記所定の結果を引き起こし、前記位置指示オブジェクトが前記所定状態を通過した後、前記位置指示オブジェクトと前記所定状態との間の関係が第２所定関係になった時に、前記タイミング指示オブジェクトを消滅又は変化を停止する、請求項１６記載の位置及びタイミング指示装置。
【請求項１８】
前記第１制御手段は、前記位置指示オブジェクトが前記所定状態に達するタイミングが音声に合うように、前記位置指示オブジェクトを制御する、請求項１６又は１８記載の位置及びタイミング指示装置。
【請求項１９】
前記音声は、外部から入力される音声である、請求項１８記載の位置及びタイミング指示装置。
【請求項２０】
前記音声は予め定められた音声である、請求項１８記載の位置及びタイミング指示装置。
【請求項２１】
プレイヤからの入力に応答する操作オブジェクトを前記表示装置に表示する第３制御手段をさらに備え、
前記位置指示オブジェクトは、前記操作オブジェクトを合わせるべき位置を指示し、
前記タイミング指示オブジェクトは、前記操作オブジェクトを前記位置指示オブジェクトの位置に合わせるタイミングを指示する、請求項１６から２０のいずれかに記載の位置及びタイミング指示装置。
【請求項２２】
撮像により得られた画像に基づいて、三次元空間中の前記プレイヤの動きを検出する検出手段をさらに備え、
前記第３制御手段は、検出された前記プレイヤの動きに応答する前記操作オブジェクトを表示する、請求項２１記載の位置及びタイミング指示装置。
【請求項２３】
各々前記プレイヤの入力操作を検出する所定数の入力部を有し、前記各入力部からの操作信号を受け付ける検出手段をさらに備え、
前記第３制御手段は、前記操作信号に応答する前記操作オブジェクトを表示する、請求項２１記載の位置及びタイミング指示装置。
【請求項２４】
プレイヤからの入力に応答する操作オブジェクトを表示装置に表示するステップと、
前記操作オブジェクトを合わせるべき位置を指示する位置指示オブジェクトの出現位置又は第１の所定の変化を開始する位置をランダムに決定するステップと、
決定した前記位置で、音声に応じて、前記位置指示オブジェクトの出現又は前記第１の所定の変化を開始するステップと、
前記位置指示オブジェクトが所定の状態に達するタイミングで、前記操作オブジェクトの位置が、前記位置指示オブジェクトの位置と実質的に一致したか否かを判断するステップと、
一致したと判断した場合、エフェクトを生成するステップと、を含む映像制御方法。
【請求項２５】
表示装置の画面上で、操作の位置及びタイミングを指示する位置及びタイミング指示方法であって、
前記画面上で前記操作の位置を指示する位置指示オブジェクトを制御するステップと、
前記画面上で前記操作のタイミングを指示するタイミング指示オブジェクトを制御するステップと、を含み、
前記位置指示オブジェクトを制御する前記ステップは、前記位置指示オブジェクトの位置又は形態を所定状態に向かって変化させるステップを含み、
前記タイミング指示オブジェクトを制御するステップは、前記位置指示オブジェクトが前記所定状態に達するタイミングで、前記タイミング指示オブジェクトに所定の結果を引き起こすステップを含み、
前記タイミング指示オブジェクトが前記所定の結果を引き起こした時が、前記操作のタイミングである、位置及びタイミング指示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２００９−２１９５６９（Ｐ２００９−２１９５６９Ａ）
【公開日】平成２１年１０月１日（２００９．１０．１）
【国際特許分類】
【出願番号】特願２００８−６５１３８（Ｐ２００８−６５１３８）
【出願日】平成２０年３月１４日（２００８．３．１４）
【出願人】（３９６０２５８６１）新世代株式会社 (138)
【Ｆターム（参考）】
【公開日】平成２１年１０月１日（２００９．１０．１）
【国際特許分類】
【出願日】平成２０年３月１４日（２００８．３．１４）
【出願人】（３９６０２５８６１）新世代株式会社 (138)
【Ｆターム（参考）】
[ Back to top ]