ゲーム装置および情報記憶媒体
【課題】プレーヤの動作検出または動作の特定に要する処理を軽減し、プレーヤの全身を使った動きに応じたゲームの進行を可能とすること。
【解決手段】画像センサ２０によってプレーヤの動作が検出されるが、この検出されたプレーヤの動作の内、許容範囲決定部１２０によって決定された許容範囲内のプレーヤの動作が、類似度判定部１１６によって、所与の出題動作と比較され、類似度が判定される。
【解決手段】画像センサ２０によってプレーヤの動作が検出されるが、この検出されたプレーヤの動作の内、許容範囲決定部１２０によって決定された許容範囲内のプレーヤの動作が、類似度判定部１１６によって、所与の出題動作と比較され、類似度が判定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゲーム装置等に関する。
【背景技術】
【０００２】
プレーヤが全身を使って体感的にゲームを楽しむことができるゲーム装置として、ＣＣＤカメラなどの撮像装置を備えたビデオゲーム装置が知られている。このようなビデオゲーム装置では、まず、撮像装置でプレーヤを撮像する。そして、撮影した画像から背景を取り除き、プレーヤのみを抽出する特徴抽出処理を行い、次いで、この特徴抽出処理を行った画像を用いて、プレーヤの形状（体形）や動作を認識する。
【０００３】
このようなビデオゲーム装置の一例が、特開平７−１５５４６７号公報に開示されている。この特開平７−１５５４６７号公報に開示されているビデオゲーム装置では、画面の四隅近傍に白色あるいは赤色が付された指示パターンが表示され、この指示パターンを見たプレーヤが左右の手に持った白色あるいは赤色の旗を上げ下げして、前記指示パターンとプレーヤが上げ下げした旗の色との一致不一致が判定される旗揚げゲームが行われる。
【０００４】
このような従来のビデオゲーム装置においては、以下のような技術的な問題点があった。即ち、プレーヤをＣＣＤカメラで撮像しているため、プレーヤの動作を検出するための特徴抽出処理等に多大な演算時間を要し、ゲームの実行に求められる処理速度とすることが困難であるという点である。このため、上記特開平７−１５５４６７号公報に開示されたビデオゲーム装置におけるプレーヤの旗の上げ下げの認識（パターン認識）は、所与の領域において旗の色データが所定（面積）以上あるか否かによって判定されるものであり、プレーヤの動作自体を検出しているものではなかった。
【０００５】
また、ＣＣＤカメラによって撮像された画像の内、判別対象とする領域を設定・限定することによって、処理の高速化を図った従来技術として、特開平１１−１２８５３４号公報の姿勢検出ゲーム装置がある。この特開平１１−１２８５３４号公報に開示されている姿勢検出ゲーム装置では、まず、撮像画像におけるプレーヤ（当該公報においては「人体」と表現している。）の略面積に応じて、画像信号の信号強度を検出するための複数個の領域が設定される。次に、「前方へのパンチ」や「後方へのキック」等に応じた姿勢検出用の領域が設定される。そして、信号強度検出用の各領域におけるプレーヤの信号強度に基づいて、いずれの姿勢が取られたのかが判別される。
【０００６】
この姿勢検出ゲーム装置においては、特定の領域内における撮像信号の強度に基づいて、プレーヤの姿勢が判別されるため、処理速度の改善は図られるが、以下のような技術的な問題点があった。即ち、プレーヤの姿勢の判別は、撮像信号の強度に基づいて行われるため、例えば、プレーヤが単に手を伸ばしているだけの状態が「前方へのパンチ」と誤認されてしまったり、プレーヤが実際にパンチをしたにも関わらず、素早い動きのために画像信号の強度が弱くなってしまって、「パンチがなされていない」と判別されるといった問題、姿勢検出用の領域を特定する必要があるために、限られた数の姿勢しか判別できないといった問題等である。このため、特開平１１−１２８５３４号公報に開示された技術を、プレーヤが全身を使って体感的にゲームを楽しむことができるゲーム装置へ適用し、プレーヤの動作を認識するために実用化することは極めて困難であった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平７−１５５４６７号公報
【特許文献２】特開平１１−１２８５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した通り、特開平７−１５５４６７号公報に開示されたビデオゲーム装置では、所与の領域に旗があるか否かによってプレーヤの動作が判断されるため、プレーヤの動作自体は判断されず、特開平１１−１２８５３４号公報に開示された姿勢検出ゲーム装置では、限られた数のプレーヤの姿勢が判別されるに止まるため、プレーヤの動作を認識することは困難であるといった問題点があった。
【０００９】
本発明の課題は、プレーヤの動作検出または動作の特定に要する処理を軽減し、プレーヤの全身を使った動きに応じたゲームの進行を可能とすることである。
【課題を解決するための手段】
【００１０】
以上の課題を解決するための第１の形態は、プレーヤの動作を検出するための動作検出手段（例えば、図６の画像センサ２０）を備え、当該動作検出手段によって検出されるプレーヤの動作に基づいて、所与のゲームを実行するためのゲーム装置であって、動作対象とする許容範囲（例えば、図１０の許容範囲１２０ａ内であって、マスク範囲１２０ｂ外の範囲）を決定するための範囲決定手段（例えば、図６の許容範囲決定部１２０）と、前記動作検出手段によって検出されるプレーヤの動作の内、前記許容範囲内のプレーヤの動作を、所与の出題動作と比較して類似度を判定するための類似度判定手段（例えば、図６の類似度判定部１１６）と、を備えるゲーム装置である。
【００１１】
この第１の形態によれば、類似度の判定対象となる動作を特定することができる。従って、プレーヤの動作に対する判断処理の効率化、高速化を図ることができるため、プレーヤの全身を使った動きに応じたゲームの進行を可能ならしめることができる。また、プレーヤの動作を一旦入力し、その後、当該動作に基づく処理を行うといった処理の遅延を生ぜず、リアルタイム性を損なわないゲームを実現することができる。尚、許容範囲とは、実施の形態において説明するように、図１０に示す許容範囲１２０ａ内の範囲のみとしてもよいし、マスク範囲１２０ｂ外の範囲全てを許容範囲としてもよいし、許容範囲１２０ａ内であってマスク範囲１２０ｂ外の範囲としてもよい。
【００１２】
また、第２の形態として、第１の形態のゲーム装置において、前記許容範囲における複数の検出領域（例えば、図２２の第１領域から第４領域）を決定する検出領域決定手段を備え、前記類似度判定手段は、前記検出領域毎に、当該検出領域に対応するプレーヤの動作を、当該検出領域に対応する前記所与の出題動作と比較して類似度を判定することとしてもよい。
【００１３】
この第２の形態によれば、許容範囲内に複数の検出領域を決定し、検出領域毎に、類似度が判定されるため、類似度の判定を容易ならしめ、類似度の判定における処理の高速化を図ることができる。
【００１４】
また、第３の形態として、第１または第２の形態のゲーム装置において、前記範囲決定手段は、前記動作検出手段によって検出される所与の条件に応じて、前記許容範囲を決定することとしてもよい。
【００１５】
この場合、第４の形態として、前記所与の条件は、前記動作検出手段によって検出されるプレーヤの体形に係る条件であることとしてもよいし、第５の形態として、前記所用の条件は、前記動作検出手段によって検出されるプレーヤの位置であることとしてもよい。
【００１６】
この第３から第５の形態によれば、許容範囲は動作検出手段によって検出される所与の条件に応じて決定されるため、例えば、プレーヤが操作入力するといった煩わしい作業を削減することができる。また、第４の形態によれば、プレーヤの体形によって有利・不利となる要因を取り除くことができる。また、第５の形態によれば、プレーヤがゲーム途中に位置を移動した場合にあってもその位置に応じて許容範囲が決定されるため、換言すれば、位置を移動する出題動作とすることができる。
【００１７】
また、第６の形態として、第１または第２の形態のゲーム装置において、前記所与のゲームは、前記動作検出手段によって検出される複数のプレーヤの動作に基づくゲームであり、前記範囲決定手段は、前記動作検出手段によって検出される各プレーヤの位置に応じて、当該各プレーヤに対応する前記許容範囲を決定する（例えば、図１８や図１９）こととしてもよい。
【００１８】
この第６の形態によれば、複数人プレーのゲームにおいて、プレーヤ毎に許容範囲を決定するため、例えば、プレーヤ間において、同時に行った動作の優劣をお互いに即座に知ることができたり、チームプレーのような、プレーヤ全員の動作に対する評価を得るといったことが可能となる。
【００１９】
また、第７の形態として、第１または第２の形態のゲーム装置において、前記範囲決定手段は、前記所与のゲームの進行または前記所与のゲームの種類に応じて、前記許容範囲を決定することとしてもよい。
【００２０】
ここで、ゲームの進行とは、ゲームステージからゲームステージへの移行等の、一般的なゲームの進行に係るものを指し、ゲームの種類とは、ダンスゲームやジェスチャーゲーム等のゲームそのものの種類の他、複数プレーヤ用のゲーム等の、プレーヤの人数に応じたゲームの種類をも含む意である。
【００２１】
この第７の形態によれば、ゲームの進行に応じて、例えば、ゲームステージ毎に許容範囲を広狭変化させたり、ラインダンスのような動きを所与の出題動作としたゲームの種類において、足の動きに着目した許容範囲とすることが可能となる。
【００２２】
また、第８の形態として、第１または第２の形態のゲーム装置において、前記範囲決定手段は、前記類似度判定手段によって判定される類似度に応じて、前記許容範囲を決定することとしてもよい。
【００２３】
この第８の形態によれば、例えば、類似度の判定結果が良い場合には許容範囲を狭め、判定対象となる動きを制限することによって、当該ゲームにおける上級者へ対応することとしてもよい。また許容範囲を広げる等としてもよい。
【００２４】
また、第９の形態として、第１から第８のいずれかの形態のゲーム装置において、前記動作検出手段は、人工網膜チップを用いて前記プレーヤの動作を検出することとしてもよい。
【００２５】
この第９の形態によれば、動作検出手段は人工網膜チップを用いてプレーヤの動作を検出するため、当該検出に係る特徴抽出処理等の処理を容易に行うことができ、かつ装置全体としての処理の分散化を図ることができるため、装置全体としての処理を高速化することができる。
【００２６】
また、第１０の形態は、プレーヤの動作を検出するための動作検出手段を備えるコンピュータが実行可能なソフトウェアが記憶されている情報記憶媒体であって、所与の出題動作に係る情報と、動作対象とする許容範囲を決定するための範囲決定情報と、前記動作検出手段によって検出されるプレーヤの動作の内、前記許容範囲内のプレーヤの動作を、前記所与の出題動作と比較して類似度を判定するための類似度判定情報と、を含む情報記憶媒体である。
【００２７】
また、第１１の形態は、プレーヤの動作を検出するための動作検出手段を備えるコンピュータが実行可能なソフトウェアが記憶されている情報記憶媒体であって、所与の出題動作に係る情報と、動作対象としないマスク範囲を決定するための範囲決定情報と、前記動作検出手段によって検出されるプレーヤの動作の内、前記マスク範囲外のプレーヤの動作を、前記所与の出題動作と比較して類似度を判定するための類似度判定情報と、を含む情報記憶媒体である。
【００２８】
この第１０または第１１の形態によれば、類似度の判定対象となる動作を特定することができる。従って、プレーヤの動作に対する判断処理の効率化、高速化を図ることができるため、プレーヤの全身を使った動きに応じたゲームの進行を可能ならしめることができる。また、プレーヤの動作を一旦入力し、その後、当該動作に基づく処理を行うといった処理の遅延を生ぜず、リアルタイム性を損なわないゲームを実現することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明を適用した業務用のゲーム装置７００の筐体の外観正面図である。
【図２】本発明を適用した業務用のゲーム装置７００の断面図である。
【図３】記憶モードにおける一画面例である。
【図４】ダンスモードにおける一画面例である。
【図５】ダンスモードにおける一画面例である。
【図６】本実施の形態のゲーム装置における機能ブロック図の一例である。
【図７】キャラ動作データ５３４の一例を示す図である。
【図８】判定基準データ５３６の一例を示す図である。
【図９】許容範囲を決定するために手足等を動かしているプレーヤを示す図である。
【図１０】図９のプレーヤの画像に基づいて決定された許容範囲１２０ａおよびマスク範囲１２０ｂを示す図である。
【図１１】プレーヤが中心位置から移動した場合の許容範囲１２０ａおよびマスク範囲１２０ｂを示す図である。
【図１２】プレーヤが伸ばしていた手を下ろした場面を示す図である。
【図１３】図１２のプレーヤの動作に対する動きベクトルを示す図である。
【図１４】図１３の動きベクトルの内、特定された動きベクトルを示す図である。
【図１５】本実施の形態のゲーム装置における処理動作の一例を示すフローチャートである。
【図１６】本実施の形態を実現できるハードウェアの構成の一例を示す図である。
【図１７】本発明が適用される種々の形態の装置の例を示す図である。
【図１８】本発明を２人プレーに適用する一例を示す図である。
【図１９】本発明を２人プレーに適用する一例を示す図である。
【図２０】本発明を２人プレーに適用する一例を示す図である。
【図２１】本発明を複数人のプレーに適用する一例を示す図である。
【図２２】許容範囲を複数の領域に分割した場合の適用例を示す図である。
【図２３】許容範囲を複数の領域に分割した場合の判定基準データ５３６の例を示す図である。
【図２４】許容範囲を複数の領域に分割した場合に特定される動きベクトルの例を示す図である。
【発明を実施するための形態】
【００３０】
以下、本発明の好適な実施形態について図面を参照して説明する。なお以下では、本発明をダンスゲームに適用した場合を例に取って説明するが、本発明が適用されるものはこれに限られない。
【００３１】
図１及び図２は、本発明を適用した業務用のゲーム装置７００の一例を示す図である。図１は、ゲーム装置７００の筐体の外観正面図であり、図２は、プレーヤ８００と筐体内部に設けられた画像センサ７２０とディスプレイ７３０との位置関係を示すゲーム装置７００の断面図である。
【００３２】
ゲーム装置７００は、プレーヤ８００の動作を検出するための画像センサ７２０と、ゲーム画面を表示するためのディスプレイ７３０と、ゲーム開始指示等を入力するための操作部７１０と、ダンスのＢＧＭやリズムを取るための音声等を出力するためのスピーカ７４０と、照明のためのライト７６０とを有している。ゲーム装置７００は、画像センサ７２０によって検出されるプレーヤ８００の動きが、出題されたダンス（以下、出題ダンスという。）と同じ動作であるか否か等を判定することによって、ダンスゲームの進行および得点計算を行うゲーム装置である。
【００３３】
ゲーム装置７００は、プレーヤによってダンスの難易度等が選択された後、ダンスゲームを開始する前に、「大きく手を広げて、頭や足を動かしてね」といったメッセージを表示または音声出力することにより、プレーヤの動作範囲（以下、許容範囲という。）を特定する処理を行う。そして、ゲーム装置７００は、プレーヤにダンスを記憶させるための記憶モードと、プレーヤのダンスを判定するためのダンスモードの２種類のモードを繰り返し実行することによって、ダンスゲームを進行する。
【００３４】
図３〜５は、ディスプレイ７３０に表示されたゲーム中の一画面例を示す図である。
図３は、記憶モードにおける一画面例を示す図であり、画面右上に記憶モードであることを示すモード表示７３２が表示される。記憶モードの画面においては、正しい動きを示すダンスがインストラクタキャラクタ（以下、インストラクタキャラという。）７７０の動きによって示される（実際には、左右反転した動作が表示されるが、簡明のため、インストラクタキャラの動作は正しい動作であるとして説明する。）。この記憶モードの画面が表示されている間に、プレーヤは正しいダンスを記憶する。
【００３５】
また、記憶モードとダンスモードの画面には、共通的に、得点表示７３４と、レベルゲージ７３５と、タイミングゲージ７３６とが表示される。得点表示７３４は現在までの累積的な得点を示す。レベルゲージ７３５はプレーヤのダンス（動作）の判定結果を累積したプレーヤのダンスレベルを示し、正しい動作であると判定された場合にはレベルが上がり、不正な動作であると判定された場合にはレベルが下がる。タイミングゲージ７３６はダンスのテンポに応じた速度で指示針が回転表示されるように構成されており、一種のメトロノームの役割を果たす。
【００３６】
図４は、ダンスモードの一画面例を示す図であり、モード表示７３２にはダンスモードである旨表示される。ダンスモードの画面においては、インストラクタキャラ７７０による正しいダンスが表示されると共に、プレーヤの動作が画像センサ７２０によって検出され、正しいダンスの動きをしているか否かの判断がなされる。
【００３７】
図５は、ダンスモードにおいて判定結果が表示されている一画面例を示す図である。図５において、画面右方の判定結果表示７３７には、正しい動きであると判定された「極」の文字が表示されている。ダンスモードにおいては、所与の時間間隔毎や、出題ダンスの動き毎、ＢＧＭのテンポ毎等にプレーヤのダンス（動き）が正しいか否かが判断され、判定結果が表示される。なお、判定結果としては「極」の他に、ほぼ正しいを示す「良」や、やや正しいを示す「苦」、全く正しい動作でないことを示す「駄」が表示される。
【００３８】
ゲーム装置７００は、上記の記憶モードとダンスモードとを繰り返し実行することによってダンスゲームを進行するが、プレーヤにおいては、自由な動きが得点等に反映されるため、入力動作に制限のない、全身を使った体感的なダンスゲームを楽しむことができる。
【００３９】
次に、プレーヤの動作の検出・判定を行う原理について説明する。本実施の形態のゲーム装置における機能ブロック図の一例を図６に示す。機能ブロックとしては、操作部１０と、画像センサ２０と、処理部１００と、表示部３０と、スピーカ４０と、情報記憶媒体５００とから構成される。
【００４０】
操作部１０は、ダンスゲームの開始や出題ダンスの難易度等を指示入力するボタンを備え、入力された指示信号は処理部１００に出力される。また、図１のゲーム装置７００においては、操作部７１０がこれに該当する。
【００４１】
画像センサ２０は、受光部２２と、受光制御部２４と、画像解析部２６とを有し、人工網膜チップ等によって実現されるものであり、図１のゲーム装置７００における画像センサ７２０がこれに該当する。この画像センサ２０による動き検出の技術は、従来技術として開発されているものであるため、詳細な説明は省略するが、本発明の趣旨との違いを明確化するために、その概要を説明する。
【００４２】
画像センサ２０は、画像を検出するための画像検出処理と、検出された画像の特徴抽出処理（例えば、画像中の対象物の輪郭線を検出するエッジ検出処理、画素をまとめて読み出すことによる解像度可変処理、画像のなかから対象物を抽出するパターンマッチング処理、画像中の任意の箇所のみを検出するランダムアクセス処理等）とを行う。また、画像センサ２０は、処理画像に基づいて、プレーヤの動きを検出し、またプレーヤの重心位置等を判別する処理を行うが、具体的には以下説明する処理を行う。
【００４３】
受光部２２は、二次元アレイ状に配置されている複数の受光素子からなり、各受光素子の光検出感度が受光制御部２４により制御される。即ち、受光部２２の光検出感度が受光制御部２４によって制御されるため、受光部２２は、画像対象物の輪郭線のみを検出するエッジ検出処理等の各種処理が施された処理画像を、受光とともに得ることができる。また、受光部２２によって得られた処理画像は、処理画像信号として画像解析部２６に出力される。
【００４４】
画像解析部２６は、受光部２２から入力される処理画像信号毎に、オプティカルフロー等により、二次元の動きを検出する。即ち、各画素の明るさの時間的、空間的変化を基に、各画素毎の動きの方向と強さを検出する。そして、画像解析部２６は、検出されたオプティカルフローから強い動きを持った部分を特定し、当該部分全体として持つ二次元の動きの方向、大きさ、速さを計算する。具体的には強い動きを持った部分全体に含まれるオプティカルフローのベクトル平均により求める。画像センサ２０は、以上のようにして物体の動きを検出する。以下、この画像センサ２０によって検出された動きは、起点位置、方向、大きさ、速さの要素からなる動きベクトルとして説明する。
【００４５】
即ち、画像センサ２０は、プレーヤの動きベクトルを常時監視・検出しており、検出した動きベクトルを、随時、処理部１００に出力する。また、画像センサ２０は、特徴抽出処理によって得られたプレーヤの輪郭線等に基づいてプレーヤの重心位置を判別し、また、プレーヤの画像自体の検出をも行っている。そして、判別したプレーヤの重心位置および画像は、動きベクトルと併せて、処理部１００に出力される。
【００４６】
処理部１００は主に、ゲーム演算部１１０と、画像生成部１３０と、音楽生成部１４０とから構成されている。ゲーム演算部１１０は、情報記憶媒体５００からゲームプログラム５１０を読み出してダンスゲームを実行し、キャラ動作データ５３４に基づいてインストラクタキャラをオブジェクト空間内で動作させる（ダンスさせる）処理や、類似度の判定対象とするプレーヤの動きの範囲（許容範囲）を決定するための許容範囲決定処理、画像センサ２０から入力される動きベクトルの内、許容範囲内の動きベクトルを特定する処理、許容範囲内と判断された動きベクトルと判定基準データ５３６とを比較する類似度判定処理等のゲーム進行及び得点計算に係る処理を行う。
【００４７】
ゲーム演算部１１０には、出題ダンス設定部１１４と、許容範囲決定部１２０と、動作特定部１１８と、類似度判定部１１６とが含まれる。
【００４８】
出題ダンス設定部１１４は、ダンスゲームを開始する前に、操作部１０から選択・入力される難易度等に応じて、出題データ５３０から、出題ダンスと、ＢＧＭとなる曲と、テンポとを決定する処理を行う。具体的には、正しいダンスとしてインストラクタキャラを動作させるためのキャラ動作データ５３４と、プレーヤのダンスを判定するための判定基準データ５３６との内、出題ダンスに該当するものを決定するとともに、当該出題ダンスのＢＧＭとなる曲を音楽データ５３２内から決定し、最後に出題ダンスの速さと曲の速さを揃えるべくテンポを決定する処理を行う。以下、簡明のため、出題ダンスの種類は、ダンスＡおよびダンスＢの２種類のみとして説明する。
【００４９】
図７は、キャラ動作データ５３４の一例を示す図である。図７において、キャラ動作データ５３４は、ダンスＡおよびダンスＢにおける、インストラクタキャラの各部位に対応したオブジェクト空間における位置データが、キーフレーム毎に格納されている。例えば、ダンスＡにおけるインストラクタキャラの部位ａ（例えば右手肘）に対応する第１フレームの位置データは、Ｘ座標がＸａ１、Ｙ座標がＹａ１、Ｚ座標がＺａ１である。また、第２フレームの位置データは、Ｘ座標がＸａ２、Ｙ座標がＹａ２、Ｚ座標がＺａ２である。なお、各フレーム間のインストラクタキャラの動作は補間される。
【００５０】
図８は、判定基準データ５３６の一例を示す図である。図８において、判定基準データ５３６は、ダンスＡおよびダンスＢそれぞれに対応した方向、大きさ、速さの判定基準データが、所与のタイミング（時間）毎に格納されている。図８において、例えば、ダンスＡの時間ｔ１における判定基準データは、方向がα１ａ、大きさがβ１ａ、速さがγ１ａである。また時間ｔ２における判定基準データは、方向がα２ａ、大きさがβ２ａ、速さがγ２ａである。
【００５１】
時間ｔ１や時間ｔ２等の所与のタイミング（時間）は、プレーヤのダンスの判定を行う際のタイミングであり、この時点における判定基準データに基づいて、プレーヤの動作に対する判断がなされる。従って、この所与のタイミング（時間）は、出題ダンス設定部１１４によって決定される出題ダンスや曲のテンポに合わせたり、所与の時間間隔毎等の任意に定めうるものである。この所与のタイミングを、出題ダンスや曲のテンポに合わせることとすれば、プレーヤの動作が、テンポに合っているか否かを判定することが可能となる。
【００５２】
許容範囲決定部１２０は、ダンスゲームを開始する前に、類似度の判定対象となる許容範囲を決定する処理を行う。即ち、まず、ダンスゲーム開始前に、「大きく手を広げて、頭や足を動かしてね」といったメッセージを表示又は音声出力し、画像センサ２０によるエッジ検出処理等によってプレーヤの輪郭線を検出する。図９は、許容範囲を決定するために手足を動かしているプレーヤの画像を示す図である。そして、エッジ検出による当該プレーヤの輪郭線等から、許容範囲決定部１２０が、プレーヤの身長や手足の長さ等に基づいて、類似度の判定対象とする許容範囲１２０ａを決定する。またさらに、頭部や胴体部の動きに対する動きベクトルを取り除く（以下、マスクという。）ため、許容範囲決定部１２０は、マスク範囲１２０ｂを決定する。
【００５３】
図１０は、図９のプレーヤの画像に基づいて決定された許容範囲１２０ａおよびマスク範囲１２０ｂを示す図である。図１０において、許容範囲１２０ａにおける動きベクトルは、類似度の判定対象となるが、マスク範囲１２０ｂにおける動きベクトルは、類似度の判定対象から除かれる。尚、出題ダンスの動きやレベル、難易度等に応じて、マスク範囲１２０ｂを胴体部だけとし、頭部の動きに対する動きベクトルを類似度の判定対象とする等、許容範囲１２０ａやマスク範囲１２０ｂを広狭変化させることとしてもよい。
【００５４】
また、許容範囲決定部１２０は、画像センサ２０から入力されるプレーヤの重心位置に対する、許容範囲１２０ａおよびマスク範囲１２０ｂの相対位置をも併せて判別・決定する。即ち、許容範囲決定部１２０は、画像センサ２０から随時入力されるプレーヤの重心位置に応じて、動的に、許容範囲１２０ａとマスク範囲１２０ｂとを変更する処理を行う。図１１は、プレーヤが中心位置から移動した場合の許容範囲１２０ａおよびマスク範囲１２０ｂを示す図である。図１１において、×印は画像センサ２０から入力されたプレーヤの重心位置を示す。尚、他の図面においては、簡明のため×印を省略する。
【００５５】
動作特定部１１８は、画像センサ２０から随時入力される動きベクトルの内、許容範囲決定部１２０によって決定された許容範囲１２０ａ内の動きベクトルを特定する処理を行う。具体的に図を参照して説明する。図１２は、プレーヤが伸ばしていた手を下ろした場面を示す図である。この場面において、画像センサ２０から入力される動きベクトルは、図１３に示すように、プレーヤの上腕部や肘部、手先等に係る動きベクトルである。ここで、動作特定部１１８は、許容範囲１２０ａ内の動きベクトルであって、マスク範囲１２０ｂの範囲外のものを特定する。即ち、各動きベクトルの起点位置等と、許容範囲１２０ａおよびマスク範囲１２０ｂとに基づいて、図１４に示すように、手先の動きベクトルのみが特定される。この特定された動きベクトルは、後述するように、類似度判定部１１６による類似度の判定の対象となる。
【００５６】
従って、許容範囲１２０ａおよびマスク範囲１２０ｂの範囲に応じて、類似度の判定として不要な動きベクトルを排除することができ、類似度判定処理等の処理を効率化することができる。たとえば、図１３において、手を下ろしたか否かを判定したい場合にあっては、手先に係る動きベクトルが特定できれば足りる。従って、上腕部や肘部の動きベクトルが、動作特定部１１８によって排除（マスク）されることにより、後の処理を効率的に行うことができる。また、プレーヤ以外の者の動作が画像センサ２０によって検出された場合であっても、許容範囲１２０ａ外の動作であれば、排除することができる。
【００５７】
類似度判定部１１６は、出題ダンスに対応する判定基準データ５３６と、動作特定部１１８によって特定された動きベクトルとの類似度を判定する。すなわち、例えば、出題ダンスがダンスＡであって、時間ｔ１となった時には、ダンスＡの時間ｔ１における判定基準データ５３６と、当該時点におけるプレーヤ動作データとの類似度が判定される。具体的な類似度の判定方法としては、方向、大きさ、速さを総合的に勘案するパターンマッチングの手法を用いたり、初心者向けのダンスに対しては方向の要素のみで類似度を判定し、上級者に対しては方向、大きさ、速さの全ての要素を対象として類似度を判定するといった手法等、何れの手法に対しても本発明は適用可能である。
【００５８】
また、画像センサ２０から入力される動きベクトルの数はプレーヤの動きに応じて動的に変化する。従って、動作特定部１１８によって特定された動きベクトルが複数ある場合もあり得るが、その場合には、判定基準データ５３６を複数用意し、各動きベクトルに対する類似度を判定することにより、同時に２以上の動作を行う動き（ダンス）の判定をより正確に行うことができる。
【００５９】
画像生成部１３０は、図３から図５において説明したゲームの実行画面等の画像を生成する処理を行うものである。その処理としては、ゲーム演算部１１０により設定されたオブジェクト空間でダンスするインストラクタキャラを、所与の視点から見た画像を生成する処理や、得点表示７３４やタイミングゲージ７３６を表示するための画像を生成する処理等が含まれ、生成された画像は、表示部３０において表示される。
【００６０】
音楽生成部１４０は、出題ダンス設定部１１４によって決定されたテンポで、同じく出題ダンス設定部１１４によって決定された音楽データ５３２に基づく音楽を生成し、スピーカ４０に出力させる処理を行う。尚、音楽データ５３２は、出題ダンスのＢＧＭとなる音楽として説明したが、リズムをとるための音声であってもよく、その場合には、音楽生成部１４０は、出題ダンス設定部１１４によって決定されたテンポに合わせた音声を生成することとなる。
【００６１】
上述した処理部１００の機能は、ＣＩＳＣ型やＲＩＳＣ型のＣＰＵ、ＤＳＰ、画像取込専用ＩＣなどのハードウェアにより実現できる。
【００６２】
表示部３０は、画像生成部１３０により生成された画像等を表示するものであり、例えば、ＣＲＴ、ＬＣＤ、プラズマディスプレイ等によって実現され、図１のゲーム装置７００におけるディスプレイ７３０がこれに該当する。
【００６３】
情報記憶媒体５００は、ダンスゲームに係るゲームプログラム５１０の他、上述した、音楽データ５３２とキャラ動作データ５３４と判定基準データ５３６を含む出題データ５３０等を記憶している。この情報記憶媒体５００の機能は、ＣＤ−ＲＯＭ、ゲームカセット、ＩＣカード、ＭＯ、ＦＤ、ＤＶＤ、メモリ、ハードディスクなどのハードウェアにより実現できる。上述した通り、処理部１００は、この情報記憶媒体５００に記憶されたプログラムやデータ等に基づいて種々の処理を行う。
【００６４】
次に、本実施の形態のゲーム装置の動作について説明する。図１５は、本実施の形態のゲーム装置における処理動作の一例を示すフローチャートである。
【００６５】
図１５において、まず、操作部１０から難易度等の入力がなされると、当該難易度に応じた出題ダンスを出題ダンス設定部１１４が設定する（ステップＳ１）。この際、出題ダンス設定部１１４は、当該出題ダンスに対応する音楽データ５３２と、キャラ動作データ５３４と、判定基準データ５３６と、出題ダンスおよびＢＧＭとなる音楽のテンポを決定する。
【００６６】
次いで、許容範囲決定部１２０によって、許容範囲およびマスク範囲が設定される（ステップＳ２）。尚、この際、許容範囲およびマスク範囲の設定を容易ならしめるため、プレーヤに対して「手や足を大きく動かしてね」といったメッセージを表示又は音声出力することとしてもよい。
【００６７】
次いで、ゲーム演算部１１０および画像生成部１３０によって、記憶モードに係る処理、すなわち、インストラクタキャラによる出題ダンスの動作表示等がなされる（ステップＳ３）。
【００６８】
次いで、ダンスモードが開始されると（ステップＳ４）、動作特定部１１８は、画像センサ２０から入力される動きベクトルから、許容範囲内であってマスク範囲外である動きベクトルを特定する（ステップＳ５）。そして、類似度判定部１１６は、ステップＳ５において特定された動きベクトルと、判定基準データ５３６とを比較して類似度を判定する（ステップＳ６）。次いで、ゲーム演算部１１０は、画像生成部１３０を介して、判定結果を表示部３０に表示し、判定した類似度に係る得点処理を行う（ステップＳ７）。
【００６９】
次いで、ゲーム演算部１１０は、出題ダンスが終了したか否かを判断し（ステップＳ８）、終了していないと判断した場合にはステップＳ３へ処理を移行し、終了したと判定した場合には、総合点数を算出して表示する得点処理を行って（ステップＳ９）、ゲームを終了する。
【００７０】
次に、本実施の形態を実現できるハードウェアの構成の一例について図１６を用いて説明する。同図に示す装置では、ＣＰＵ１０００、ＲＯＭ１００２、ＲＡＭ１００４、情報記憶媒体１００６、音生成ＩＣ１００８、画像生成ＩＣ１０１０、Ｉ／Ｏポート１０１２、１０１４、１０２８が、システムバス１０１６により相互にデータ入出力可能に接続されている。そして画像生成ＩＣ１０１０にはディスプレイ１０１８が接続され、音生成ＩＣ１００８にはスピーカ１０２０が接続され、Ｉ／Ｏポート１０１２にはコントロール装置１０２２が接続され、Ｉ／Ｏポート１０１４には通信装置１０２４が接続され、Ｉ／Ｏポート１０２８には画像センサ１０２６が接続されている。
【００７１】
情報記憶媒体１００６は、プログラム、表示物を表現するための画像データ、音データ、プレイデータ等が主に格納されるものであり、図６における情報記憶媒体５００に相当する。例えば本実施の形態を実現するものがコンピュータである場合には、ゲームプログラム等を格納する情報記憶媒体としてＣＤ−ＲＯＭ、ＤＶＤ等が、家庭用ゲーム装置である場合には、これらの他にゲームカセット等が用いられる。また業務用ゲーム装置として実現する場合には、ＲＯＭ等のメモリやハードディスクが用いられ、この場合には情報記憶媒体１００６はＲＯＭ１００２になる。
【００７２】
コントロール装置１０２２はゲームコントローラ、操作パネル等に相当するものであり、プレーヤがゲームの難易度や実行開始等の指示を装置本体に入力するための装置である。
【００７３】
情報記憶媒体１００６に格納されるプログラム、ＲＯＭ１００２に格納されるシステムプログラム（装置本体の初期化情報等）、コントロール装置１０２２から入力される信号等に従って、ＣＰＵ１０００は装置全体の制御や各種データ処理を行う。ＲＡＭ１００４はこのＣＰＵ１０００の作業領域等として用いられる記憶手段であり、情報記憶媒体１００６やＲＯＭ１００２の所与の内容、或いはＣＰＵ１０００の演算結果等が格納される。
【００７４】
更に、この装置には音生成ＩＣ１００８と画像生成ＩＣ１０１０とが設けられていてゲーム音やゲーム画像の好適な出力が行えるようになっている。音生成ＩＣ１００８は情報記憶媒体１００６やＲＯＭ１００２に記憶される情報に基づいてＢＧＭ等の音楽やダンスのリズムをとるための音声等を生成する集積回路であり、生成された音楽等はスピーカ１０２０によって出力される。また、画像生成ＩＣ１０１０は、ＲＡＭ１００４、ＲＯＭ１００２、情報記憶媒体１００６等から送られる画像情報に基づいてディスプレイ１０１８に出力するための画素情報を生成する集積回路である。なおディスプレイ１０１８は発光機能を有していることが必要であり、例えばＣＲＴ、ＬＣＤ、プラズマディスプレイ等が適している。
【００７５】
画像センサ２０は人工網膜チップ等によって構成され、プレーヤの動きやプレーヤの画像等を検出する。
【００７６】
また通信装置１０２４は装置内部で利用される各種の情報を外部とやりとりするものであり、他の装置と接続されてゲームプログラム等に応じた所与の情報を送受したり、通信回線を介してゲームプログラムや、新たな出題データ等の情報を送受すること等に利用される。
【００７７】
そして、図１〜１４を参照して説明した種々の処理は、図１５のフローチャートに示した処理等を行うプログラムを格納した情報記憶媒体１００６と、該プログラムに従って動作するＣＰＵ１０００、画像生成ＩＣ１０１０、音生成ＩＣ１００８等によって実現される。なお画像生成ＩＣ１０１０等で行われる処理は、ＣＰＵ１０００あるいは汎用のＤＳＰ等によりソフトウェア的に行うこととしてもよい。
【００７８】
さて、前述した図１および図２は、本発明を業務用のゲーム装置に適用した場合の例を示すものである。この場合、装置に内蔵されるシステム基板に、ＣＰＵ、画像生成ＩＣ、音生成ＩＣ等が実装されている。そして、図６におけるゲームプログラム５１０や出題データ５３０等のダンスゲームに係る情報は、システム基板上の情報記憶媒体であるメモリに格納される。以下、このダンスゲームに係る情報を格納情報という。
【００７９】
図１７（ａ）に、本発明をコンピュータシステムに適用した場合の例を示す。プレーヤはディスプレイ１２００に映し出された画像を見ながら、画像センサ１２２０に向かってダンス（動作）することにより、ダンスゲームを楽しむ。この場合、上記格納情報は、本体装置に着脱可能な情報記憶媒体であるＣＤ−ＲＯＭやＤＶＤ等に格納されている。
【００８０】
図１７（ｂ）に、ホスト装置１３００と、このホスト装置１３００と通信回線１３０２を介して接続される端末１３０４−１〜１３０４−ｎとを含むゲームシステムに本発明を適用した場合の例を示す。この場合、上記格納情報は、例えばホスト装置１３００が制御可能な磁気ディスク装置、磁気テープ装置、メモリ等の情報記憶媒体１３０６に格納されている。端末１３０４−１〜１３０４−ｎが、ＣＰＵ、画像生成ＩＣ、音生成ＩＣ、画像センサを有し、スタンドアロンでゲーム画像、ゲーム音（ＢＧＭ等）を生成できるものである場合には、ホスト装置１３００からは、ゲーム画像、ゲーム音を生成するためのゲームプログラム等が端末１３０４−１〜１３０４−ｎに配送される。一方、スタンドアロンで生成できない場合には、ホスト装置１３００がゲーム画像、ゲーム音を生成し、これを端末１３０４−１〜１３０４−ｎに伝送して端末において出力することとなる。
【００８１】
以上のように、本発明によれば、許容範囲およびマスク範囲を設定することができるため、プレーヤの動作を検出した結果である複数の動きベクトルの内、類似度の判定対象となる動きベクトルを特定することができる。従って、プレーヤの動作に対する判断処理の効率化、高速化を図ることができるため、プレーヤの全身を使った動きに応じたゲームの進行を可能ならしめることができる。また、プレーヤの動作を一旦入力し、その後、当該動作に基づく処理を行うといった処理の遅延を生ぜず、リアルタイム性を損なわないゲームを実現することができる。
【００８２】
尚、本発明は、上記実施の形態で説明したのもに限らず、種々の変形実施が可能である。例えば、上記実施の形態においては、ダンスゲームを例にとって説明したが、プレーヤの動作をいかに検出し、その検出した動作の内で、類似度の判定対象とする動作をいかに特定するかが本発明の趣旨の１つであるため、例えば、ジェスチャーゲームといったプレーヤの動作の判定が必要な他のゲームに対しても適用が可能である。また、曲の間奏や、プレーヤの得点経過等のゲームの進行に応じて、許容範囲およびマスク範囲を変化させることとしてもよい。
【００８３】
また、上記実施の形態においては、プレーヤを１人として説明したが２人以上であってもよい。図１８（ａ）は、２人プレー用のインストラクタキャラの表示例を示す図であり、図１８（ｂ）は、２人のプレーヤに対する許容範囲１２０ａおよびマスク範囲１２０ｂを示す図である。２人プレーに対応するための実現方法は以下の通りである。
【００８４】
まず、許容範囲決定部１２０が、２人分の許容範囲およびマスク範囲を決定する。次いで、ダンスゲームを開始すると、画像センサ２０からは、画像センサ２０の検出範囲における全ての動きベクトルが出力されるが、画像センサ２０からは、各プレーヤの重心位置をも出力される。従って、許容範囲決定部１２０は、各プレーヤに対応する許容範囲およびマスク範囲を動的に決定することができ、ひいては動作特定部１１８は、各プレーヤに対応する動きベクトルの特定をすることができる。そして、予め用意した各プレーヤに対応する判定基準データ５３６と、各プレーヤの動きベクトルとを比較することによって、２人のプレーヤに対するゲームプレイを実現することができる。
【００８５】
また、２人プレーにおいて、各プレーヤの許容範囲およびマスク範囲が重なり合うこととしてもよい。図１９は、各プレーヤの許容範囲およびマスク範囲が重なり合う場合の一例を示す図である。図１９（ｂ）に示すように、同図（ａ）のインストラクタキャラの動作を各プレーヤが行う場合には、許容範囲およびマスク範囲が重なり合うこととなる。しかし、動作特定部１１８が、各プレーヤに対する動きベクトルを特定するのではなく、何れかのプレーヤの許容範囲内であって、何れかのプレーヤのマスク範囲外である動きベクトルを特定することによって実現することができる。すなわち、特定される動きベクトルは何れのプレーヤに対応するものかは判別できないが、判定基準データ５３６に、対応する複数の基準データを用意することによって、２人のプレーヤの動作全体に対する類似度を判定することができる。
【００８６】
さらに、図１８および図１９を参照して説明した手法を応用することにより、図２０に示す二人三脚のような、２人のプレーヤが協力し合って行わねばならないダンス等を、出題ダンスの途中に挿入し、当該２人プレーヤに対する類似度を判定することとしてもよい。尚、図１９（ｂ）における２人プレーは、擬似的に１人プレーとして判断することも可能である。
【００８７】
尚、図１８から図２０を参照して説明した手法は２人以上のプレーヤに対しても適用が可能であることは言うまでもない。また、２人以上のプレーヤに対して、次のように、許容範囲およびマスク範囲を設定することとしてもよい。即ち、図２１に示すように、例えば、ラインダンスのような、複数のプレーヤがダンス（動作）することを前提とした出題ダンスとして、プレーヤの上半身に対してマスク範囲１２０ｂを設定し、下半身に対して許容範囲１２０ａを設定することとしてもよい。この場合には、プレーヤのダンス（動作）全体に対する類似度の判定がなされることとなるが、複数人でダンスすることができるといった面白みを持たせることができる。
【００８８】
またさらに、許容範囲を複数の領域に分割し、領域毎に動きベクトルと判定基準データとの比較を行うこととしてもよい。即ち、図２２に示すように、例えば、許容範囲１２０ａの内、左上の領域を第１領域、右上の領域を第２領域、左下の領域を第３領域、右下の領域を第４領域として設定し、判定基準データ５３６として、図２３に示すように、各領域に対応する判定基準データを用意することとしてもよい。この場合には、動作特定部１１８が、動きベクトルの起点位置等に基づいて、各領域に対応する動きベクトルを特定し、類似度判定部１１６によって領域毎の類似度を判定することにより実現可能である。この場合には、図２２に示すような、両手を下げる動作に対しては、図２４に示すような動きベクトルが検出・特定されるため、複雑な動作に対してもより正確な類似度の判定を行うことができる。また、判定する対象となる領域を特定することにより、類似度の判定に係る処理の効率化を図ることも可能である。
【００８９】
尚、言うまでもなく、図２２から２４を参照して説明した許容範囲を複数の領域に分割する手法は、図１８から２１を参照して説明した複数プレーヤに対する処理に対しても適用が可能である。
【符号の説明】
【００９０】
１０ 操作部
２０ 画像センサ
１００ 処理部
１１０ ゲーム演算部
１１４ 出題ダンス設定部
１１６ 類似度判定部
１１８ 動作特定部
１２０ 許容範囲決定部
１３０ 画像生成部
１４０ 音楽生成部
３０ 表示部
４０ スピーカ
５００ 情報記憶媒体
５１０ ゲームプログラム
５３０ 出題データ
５３２ 音楽データ
５３４ キャラ動作データ
５３６ 判定基準データ
【技術分野】
【０００１】
本発明は、ゲーム装置等に関する。
【背景技術】
【０００２】
プレーヤが全身を使って体感的にゲームを楽しむことができるゲーム装置として、ＣＣＤカメラなどの撮像装置を備えたビデオゲーム装置が知られている。このようなビデオゲーム装置では、まず、撮像装置でプレーヤを撮像する。そして、撮影した画像から背景を取り除き、プレーヤのみを抽出する特徴抽出処理を行い、次いで、この特徴抽出処理を行った画像を用いて、プレーヤの形状（体形）や動作を認識する。
【０００３】
このようなビデオゲーム装置の一例が、特開平７−１５５４６７号公報に開示されている。この特開平７−１５５４６７号公報に開示されているビデオゲーム装置では、画面の四隅近傍に白色あるいは赤色が付された指示パターンが表示され、この指示パターンを見たプレーヤが左右の手に持った白色あるいは赤色の旗を上げ下げして、前記指示パターンとプレーヤが上げ下げした旗の色との一致不一致が判定される旗揚げゲームが行われる。
【０００４】
このような従来のビデオゲーム装置においては、以下のような技術的な問題点があった。即ち、プレーヤをＣＣＤカメラで撮像しているため、プレーヤの動作を検出するための特徴抽出処理等に多大な演算時間を要し、ゲームの実行に求められる処理速度とすることが困難であるという点である。このため、上記特開平７−１５５４６７号公報に開示されたビデオゲーム装置におけるプレーヤの旗の上げ下げの認識（パターン認識）は、所与の領域において旗の色データが所定（面積）以上あるか否かによって判定されるものであり、プレーヤの動作自体を検出しているものではなかった。
【０００５】
また、ＣＣＤカメラによって撮像された画像の内、判別対象とする領域を設定・限定することによって、処理の高速化を図った従来技術として、特開平１１−１２８５３４号公報の姿勢検出ゲーム装置がある。この特開平１１−１２８５３４号公報に開示されている姿勢検出ゲーム装置では、まず、撮像画像におけるプレーヤ（当該公報においては「人体」と表現している。）の略面積に応じて、画像信号の信号強度を検出するための複数個の領域が設定される。次に、「前方へのパンチ」や「後方へのキック」等に応じた姿勢検出用の領域が設定される。そして、信号強度検出用の各領域におけるプレーヤの信号強度に基づいて、いずれの姿勢が取られたのかが判別される。
【０００６】
この姿勢検出ゲーム装置においては、特定の領域内における撮像信号の強度に基づいて、プレーヤの姿勢が判別されるため、処理速度の改善は図られるが、以下のような技術的な問題点があった。即ち、プレーヤの姿勢の判別は、撮像信号の強度に基づいて行われるため、例えば、プレーヤが単に手を伸ばしているだけの状態が「前方へのパンチ」と誤認されてしまったり、プレーヤが実際にパンチをしたにも関わらず、素早い動きのために画像信号の強度が弱くなってしまって、「パンチがなされていない」と判別されるといった問題、姿勢検出用の領域を特定する必要があるために、限られた数の姿勢しか判別できないといった問題等である。このため、特開平１１−１２８５３４号公報に開示された技術を、プレーヤが全身を使って体感的にゲームを楽しむことができるゲーム装置へ適用し、プレーヤの動作を認識するために実用化することは極めて困難であった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平７−１５５４６７号公報
【特許文献２】特開平１１−１２８５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した通り、特開平７−１５５４６７号公報に開示されたビデオゲーム装置では、所与の領域に旗があるか否かによってプレーヤの動作が判断されるため、プレーヤの動作自体は判断されず、特開平１１−１２８５３４号公報に開示された姿勢検出ゲーム装置では、限られた数のプレーヤの姿勢が判別されるに止まるため、プレーヤの動作を認識することは困難であるといった問題点があった。
【０００９】
本発明の課題は、プレーヤの動作検出または動作の特定に要する処理を軽減し、プレーヤの全身を使った動きに応じたゲームの進行を可能とすることである。
【課題を解決するための手段】
【００１０】
以上の課題を解決するための第１の形態は、プレーヤの動作を検出するための動作検出手段（例えば、図６の画像センサ２０）を備え、当該動作検出手段によって検出されるプレーヤの動作に基づいて、所与のゲームを実行するためのゲーム装置であって、動作対象とする許容範囲（例えば、図１０の許容範囲１２０ａ内であって、マスク範囲１２０ｂ外の範囲）を決定するための範囲決定手段（例えば、図６の許容範囲決定部１２０）と、前記動作検出手段によって検出されるプレーヤの動作の内、前記許容範囲内のプレーヤの動作を、所与の出題動作と比較して類似度を判定するための類似度判定手段（例えば、図６の類似度判定部１１６）と、を備えるゲーム装置である。
【００１１】
この第１の形態によれば、類似度の判定対象となる動作を特定することができる。従って、プレーヤの動作に対する判断処理の効率化、高速化を図ることができるため、プレーヤの全身を使った動きに応じたゲームの進行を可能ならしめることができる。また、プレーヤの動作を一旦入力し、その後、当該動作に基づく処理を行うといった処理の遅延を生ぜず、リアルタイム性を損なわないゲームを実現することができる。尚、許容範囲とは、実施の形態において説明するように、図１０に示す許容範囲１２０ａ内の範囲のみとしてもよいし、マスク範囲１２０ｂ外の範囲全てを許容範囲としてもよいし、許容範囲１２０ａ内であってマスク範囲１２０ｂ外の範囲としてもよい。
【００１２】
また、第２の形態として、第１の形態のゲーム装置において、前記許容範囲における複数の検出領域（例えば、図２２の第１領域から第４領域）を決定する検出領域決定手段を備え、前記類似度判定手段は、前記検出領域毎に、当該検出領域に対応するプレーヤの動作を、当該検出領域に対応する前記所与の出題動作と比較して類似度を判定することとしてもよい。
【００１３】
この第２の形態によれば、許容範囲内に複数の検出領域を決定し、検出領域毎に、類似度が判定されるため、類似度の判定を容易ならしめ、類似度の判定における処理の高速化を図ることができる。
【００１４】
また、第３の形態として、第１または第２の形態のゲーム装置において、前記範囲決定手段は、前記動作検出手段によって検出される所与の条件に応じて、前記許容範囲を決定することとしてもよい。
【００１５】
この場合、第４の形態として、前記所与の条件は、前記動作検出手段によって検出されるプレーヤの体形に係る条件であることとしてもよいし、第５の形態として、前記所用の条件は、前記動作検出手段によって検出されるプレーヤの位置であることとしてもよい。
【００１６】
この第３から第５の形態によれば、許容範囲は動作検出手段によって検出される所与の条件に応じて決定されるため、例えば、プレーヤが操作入力するといった煩わしい作業を削減することができる。また、第４の形態によれば、プレーヤの体形によって有利・不利となる要因を取り除くことができる。また、第５の形態によれば、プレーヤがゲーム途中に位置を移動した場合にあってもその位置に応じて許容範囲が決定されるため、換言すれば、位置を移動する出題動作とすることができる。
【００１７】
また、第６の形態として、第１または第２の形態のゲーム装置において、前記所与のゲームは、前記動作検出手段によって検出される複数のプレーヤの動作に基づくゲームであり、前記範囲決定手段は、前記動作検出手段によって検出される各プレーヤの位置に応じて、当該各プレーヤに対応する前記許容範囲を決定する（例えば、図１８や図１９）こととしてもよい。
【００１８】
この第６の形態によれば、複数人プレーのゲームにおいて、プレーヤ毎に許容範囲を決定するため、例えば、プレーヤ間において、同時に行った動作の優劣をお互いに即座に知ることができたり、チームプレーのような、プレーヤ全員の動作に対する評価を得るといったことが可能となる。
【００１９】
また、第７の形態として、第１または第２の形態のゲーム装置において、前記範囲決定手段は、前記所与のゲームの進行または前記所与のゲームの種類に応じて、前記許容範囲を決定することとしてもよい。
【００２０】
ここで、ゲームの進行とは、ゲームステージからゲームステージへの移行等の、一般的なゲームの進行に係るものを指し、ゲームの種類とは、ダンスゲームやジェスチャーゲーム等のゲームそのものの種類の他、複数プレーヤ用のゲーム等の、プレーヤの人数に応じたゲームの種類をも含む意である。
【００２１】
この第７の形態によれば、ゲームの進行に応じて、例えば、ゲームステージ毎に許容範囲を広狭変化させたり、ラインダンスのような動きを所与の出題動作としたゲームの種類において、足の動きに着目した許容範囲とすることが可能となる。
【００２２】
また、第８の形態として、第１または第２の形態のゲーム装置において、前記範囲決定手段は、前記類似度判定手段によって判定される類似度に応じて、前記許容範囲を決定することとしてもよい。
【００２３】
この第８の形態によれば、例えば、類似度の判定結果が良い場合には許容範囲を狭め、判定対象となる動きを制限することによって、当該ゲームにおける上級者へ対応することとしてもよい。また許容範囲を広げる等としてもよい。
【００２４】
また、第９の形態として、第１から第８のいずれかの形態のゲーム装置において、前記動作検出手段は、人工網膜チップを用いて前記プレーヤの動作を検出することとしてもよい。
【００２５】
この第９の形態によれば、動作検出手段は人工網膜チップを用いてプレーヤの動作を検出するため、当該検出に係る特徴抽出処理等の処理を容易に行うことができ、かつ装置全体としての処理の分散化を図ることができるため、装置全体としての処理を高速化することができる。
【００２６】
また、第１０の形態は、プレーヤの動作を検出するための動作検出手段を備えるコンピュータが実行可能なソフトウェアが記憶されている情報記憶媒体であって、所与の出題動作に係る情報と、動作対象とする許容範囲を決定するための範囲決定情報と、前記動作検出手段によって検出されるプレーヤの動作の内、前記許容範囲内のプレーヤの動作を、前記所与の出題動作と比較して類似度を判定するための類似度判定情報と、を含む情報記憶媒体である。
【００２７】
また、第１１の形態は、プレーヤの動作を検出するための動作検出手段を備えるコンピュータが実行可能なソフトウェアが記憶されている情報記憶媒体であって、所与の出題動作に係る情報と、動作対象としないマスク範囲を決定するための範囲決定情報と、前記動作検出手段によって検出されるプレーヤの動作の内、前記マスク範囲外のプレーヤの動作を、前記所与の出題動作と比較して類似度を判定するための類似度判定情報と、を含む情報記憶媒体である。
【００２８】
この第１０または第１１の形態によれば、類似度の判定対象となる動作を特定することができる。従って、プレーヤの動作に対する判断処理の効率化、高速化を図ることができるため、プレーヤの全身を使った動きに応じたゲームの進行を可能ならしめることができる。また、プレーヤの動作を一旦入力し、その後、当該動作に基づく処理を行うといった処理の遅延を生ぜず、リアルタイム性を損なわないゲームを実現することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明を適用した業務用のゲーム装置７００の筐体の外観正面図である。
【図２】本発明を適用した業務用のゲーム装置７００の断面図である。
【図３】記憶モードにおける一画面例である。
【図４】ダンスモードにおける一画面例である。
【図５】ダンスモードにおける一画面例である。
【図６】本実施の形態のゲーム装置における機能ブロック図の一例である。
【図７】キャラ動作データ５３４の一例を示す図である。
【図８】判定基準データ５３６の一例を示す図である。
【図９】許容範囲を決定するために手足等を動かしているプレーヤを示す図である。
【図１０】図９のプレーヤの画像に基づいて決定された許容範囲１２０ａおよびマスク範囲１２０ｂを示す図である。
【図１１】プレーヤが中心位置から移動した場合の許容範囲１２０ａおよびマスク範囲１２０ｂを示す図である。
【図１２】プレーヤが伸ばしていた手を下ろした場面を示す図である。
【図１３】図１２のプレーヤの動作に対する動きベクトルを示す図である。
【図１４】図１３の動きベクトルの内、特定された動きベクトルを示す図である。
【図１５】本実施の形態のゲーム装置における処理動作の一例を示すフローチャートである。
【図１６】本実施の形態を実現できるハードウェアの構成の一例を示す図である。
【図１７】本発明が適用される種々の形態の装置の例を示す図である。
【図１８】本発明を２人プレーに適用する一例を示す図である。
【図１９】本発明を２人プレーに適用する一例を示す図である。
【図２０】本発明を２人プレーに適用する一例を示す図である。
【図２１】本発明を複数人のプレーに適用する一例を示す図である。
【図２２】許容範囲を複数の領域に分割した場合の適用例を示す図である。
【図２３】許容範囲を複数の領域に分割した場合の判定基準データ５３６の例を示す図である。
【図２４】許容範囲を複数の領域に分割した場合に特定される動きベクトルの例を示す図である。
【発明を実施するための形態】
【００３０】
以下、本発明の好適な実施形態について図面を参照して説明する。なお以下では、本発明をダンスゲームに適用した場合を例に取って説明するが、本発明が適用されるものはこれに限られない。
【００３１】
図１及び図２は、本発明を適用した業務用のゲーム装置７００の一例を示す図である。図１は、ゲーム装置７００の筐体の外観正面図であり、図２は、プレーヤ８００と筐体内部に設けられた画像センサ７２０とディスプレイ７３０との位置関係を示すゲーム装置７００の断面図である。
【００３２】
ゲーム装置７００は、プレーヤ８００の動作を検出するための画像センサ７２０と、ゲーム画面を表示するためのディスプレイ７３０と、ゲーム開始指示等を入力するための操作部７１０と、ダンスのＢＧＭやリズムを取るための音声等を出力するためのスピーカ７４０と、照明のためのライト７６０とを有している。ゲーム装置７００は、画像センサ７２０によって検出されるプレーヤ８００の動きが、出題されたダンス（以下、出題ダンスという。）と同じ動作であるか否か等を判定することによって、ダンスゲームの進行および得点計算を行うゲーム装置である。
【００３３】
ゲーム装置７００は、プレーヤによってダンスの難易度等が選択された後、ダンスゲームを開始する前に、「大きく手を広げて、頭や足を動かしてね」といったメッセージを表示または音声出力することにより、プレーヤの動作範囲（以下、許容範囲という。）を特定する処理を行う。そして、ゲーム装置７００は、プレーヤにダンスを記憶させるための記憶モードと、プレーヤのダンスを判定するためのダンスモードの２種類のモードを繰り返し実行することによって、ダンスゲームを進行する。
【００３４】
図３〜５は、ディスプレイ７３０に表示されたゲーム中の一画面例を示す図である。
図３は、記憶モードにおける一画面例を示す図であり、画面右上に記憶モードであることを示すモード表示７３２が表示される。記憶モードの画面においては、正しい動きを示すダンスがインストラクタキャラクタ（以下、インストラクタキャラという。）７７０の動きによって示される（実際には、左右反転した動作が表示されるが、簡明のため、インストラクタキャラの動作は正しい動作であるとして説明する。）。この記憶モードの画面が表示されている間に、プレーヤは正しいダンスを記憶する。
【００３５】
また、記憶モードとダンスモードの画面には、共通的に、得点表示７３４と、レベルゲージ７３５と、タイミングゲージ７３６とが表示される。得点表示７３４は現在までの累積的な得点を示す。レベルゲージ７３５はプレーヤのダンス（動作）の判定結果を累積したプレーヤのダンスレベルを示し、正しい動作であると判定された場合にはレベルが上がり、不正な動作であると判定された場合にはレベルが下がる。タイミングゲージ７３６はダンスのテンポに応じた速度で指示針が回転表示されるように構成されており、一種のメトロノームの役割を果たす。
【００３６】
図４は、ダンスモードの一画面例を示す図であり、モード表示７３２にはダンスモードである旨表示される。ダンスモードの画面においては、インストラクタキャラ７７０による正しいダンスが表示されると共に、プレーヤの動作が画像センサ７２０によって検出され、正しいダンスの動きをしているか否かの判断がなされる。
【００３７】
図５は、ダンスモードにおいて判定結果が表示されている一画面例を示す図である。図５において、画面右方の判定結果表示７３７には、正しい動きであると判定された「極」の文字が表示されている。ダンスモードにおいては、所与の時間間隔毎や、出題ダンスの動き毎、ＢＧＭのテンポ毎等にプレーヤのダンス（動き）が正しいか否かが判断され、判定結果が表示される。なお、判定結果としては「極」の他に、ほぼ正しいを示す「良」や、やや正しいを示す「苦」、全く正しい動作でないことを示す「駄」が表示される。
【００３８】
ゲーム装置７００は、上記の記憶モードとダンスモードとを繰り返し実行することによってダンスゲームを進行するが、プレーヤにおいては、自由な動きが得点等に反映されるため、入力動作に制限のない、全身を使った体感的なダンスゲームを楽しむことができる。
【００３９】
次に、プレーヤの動作の検出・判定を行う原理について説明する。本実施の形態のゲーム装置における機能ブロック図の一例を図６に示す。機能ブロックとしては、操作部１０と、画像センサ２０と、処理部１００と、表示部３０と、スピーカ４０と、情報記憶媒体５００とから構成される。
【００４０】
操作部１０は、ダンスゲームの開始や出題ダンスの難易度等を指示入力するボタンを備え、入力された指示信号は処理部１００に出力される。また、図１のゲーム装置７００においては、操作部７１０がこれに該当する。
【００４１】
画像センサ２０は、受光部２２と、受光制御部２４と、画像解析部２６とを有し、人工網膜チップ等によって実現されるものであり、図１のゲーム装置７００における画像センサ７２０がこれに該当する。この画像センサ２０による動き検出の技術は、従来技術として開発されているものであるため、詳細な説明は省略するが、本発明の趣旨との違いを明確化するために、その概要を説明する。
【００４２】
画像センサ２０は、画像を検出するための画像検出処理と、検出された画像の特徴抽出処理（例えば、画像中の対象物の輪郭線を検出するエッジ検出処理、画素をまとめて読み出すことによる解像度可変処理、画像のなかから対象物を抽出するパターンマッチング処理、画像中の任意の箇所のみを検出するランダムアクセス処理等）とを行う。また、画像センサ２０は、処理画像に基づいて、プレーヤの動きを検出し、またプレーヤの重心位置等を判別する処理を行うが、具体的には以下説明する処理を行う。
【００４３】
受光部２２は、二次元アレイ状に配置されている複数の受光素子からなり、各受光素子の光検出感度が受光制御部２４により制御される。即ち、受光部２２の光検出感度が受光制御部２４によって制御されるため、受光部２２は、画像対象物の輪郭線のみを検出するエッジ検出処理等の各種処理が施された処理画像を、受光とともに得ることができる。また、受光部２２によって得られた処理画像は、処理画像信号として画像解析部２６に出力される。
【００４４】
画像解析部２６は、受光部２２から入力される処理画像信号毎に、オプティカルフロー等により、二次元の動きを検出する。即ち、各画素の明るさの時間的、空間的変化を基に、各画素毎の動きの方向と強さを検出する。そして、画像解析部２６は、検出されたオプティカルフローから強い動きを持った部分を特定し、当該部分全体として持つ二次元の動きの方向、大きさ、速さを計算する。具体的には強い動きを持った部分全体に含まれるオプティカルフローのベクトル平均により求める。画像センサ２０は、以上のようにして物体の動きを検出する。以下、この画像センサ２０によって検出された動きは、起点位置、方向、大きさ、速さの要素からなる動きベクトルとして説明する。
【００４５】
即ち、画像センサ２０は、プレーヤの動きベクトルを常時監視・検出しており、検出した動きベクトルを、随時、処理部１００に出力する。また、画像センサ２０は、特徴抽出処理によって得られたプレーヤの輪郭線等に基づいてプレーヤの重心位置を判別し、また、プレーヤの画像自体の検出をも行っている。そして、判別したプレーヤの重心位置および画像は、動きベクトルと併せて、処理部１００に出力される。
【００４６】
処理部１００は主に、ゲーム演算部１１０と、画像生成部１３０と、音楽生成部１４０とから構成されている。ゲーム演算部１１０は、情報記憶媒体５００からゲームプログラム５１０を読み出してダンスゲームを実行し、キャラ動作データ５３４に基づいてインストラクタキャラをオブジェクト空間内で動作させる（ダンスさせる）処理や、類似度の判定対象とするプレーヤの動きの範囲（許容範囲）を決定するための許容範囲決定処理、画像センサ２０から入力される動きベクトルの内、許容範囲内の動きベクトルを特定する処理、許容範囲内と判断された動きベクトルと判定基準データ５３６とを比較する類似度判定処理等のゲーム進行及び得点計算に係る処理を行う。
【００４７】
ゲーム演算部１１０には、出題ダンス設定部１１４と、許容範囲決定部１２０と、動作特定部１１８と、類似度判定部１１６とが含まれる。
【００４８】
出題ダンス設定部１１４は、ダンスゲームを開始する前に、操作部１０から選択・入力される難易度等に応じて、出題データ５３０から、出題ダンスと、ＢＧＭとなる曲と、テンポとを決定する処理を行う。具体的には、正しいダンスとしてインストラクタキャラを動作させるためのキャラ動作データ５３４と、プレーヤのダンスを判定するための判定基準データ５３６との内、出題ダンスに該当するものを決定するとともに、当該出題ダンスのＢＧＭとなる曲を音楽データ５３２内から決定し、最後に出題ダンスの速さと曲の速さを揃えるべくテンポを決定する処理を行う。以下、簡明のため、出題ダンスの種類は、ダンスＡおよびダンスＢの２種類のみとして説明する。
【００４９】
図７は、キャラ動作データ５３４の一例を示す図である。図７において、キャラ動作データ５３４は、ダンスＡおよびダンスＢにおける、インストラクタキャラの各部位に対応したオブジェクト空間における位置データが、キーフレーム毎に格納されている。例えば、ダンスＡにおけるインストラクタキャラの部位ａ（例えば右手肘）に対応する第１フレームの位置データは、Ｘ座標がＸａ１、Ｙ座標がＹａ１、Ｚ座標がＺａ１である。また、第２フレームの位置データは、Ｘ座標がＸａ２、Ｙ座標がＹａ２、Ｚ座標がＺａ２である。なお、各フレーム間のインストラクタキャラの動作は補間される。
【００５０】
図８は、判定基準データ５３６の一例を示す図である。図８において、判定基準データ５３６は、ダンスＡおよびダンスＢそれぞれに対応した方向、大きさ、速さの判定基準データが、所与のタイミング（時間）毎に格納されている。図８において、例えば、ダンスＡの時間ｔ１における判定基準データは、方向がα１ａ、大きさがβ１ａ、速さがγ１ａである。また時間ｔ２における判定基準データは、方向がα２ａ、大きさがβ２ａ、速さがγ２ａである。
【００５１】
時間ｔ１や時間ｔ２等の所与のタイミング（時間）は、プレーヤのダンスの判定を行う際のタイミングであり、この時点における判定基準データに基づいて、プレーヤの動作に対する判断がなされる。従って、この所与のタイミング（時間）は、出題ダンス設定部１１４によって決定される出題ダンスや曲のテンポに合わせたり、所与の時間間隔毎等の任意に定めうるものである。この所与のタイミングを、出題ダンスや曲のテンポに合わせることとすれば、プレーヤの動作が、テンポに合っているか否かを判定することが可能となる。
【００５２】
許容範囲決定部１２０は、ダンスゲームを開始する前に、類似度の判定対象となる許容範囲を決定する処理を行う。即ち、まず、ダンスゲーム開始前に、「大きく手を広げて、頭や足を動かしてね」といったメッセージを表示又は音声出力し、画像センサ２０によるエッジ検出処理等によってプレーヤの輪郭線を検出する。図９は、許容範囲を決定するために手足を動かしているプレーヤの画像を示す図である。そして、エッジ検出による当該プレーヤの輪郭線等から、許容範囲決定部１２０が、プレーヤの身長や手足の長さ等に基づいて、類似度の判定対象とする許容範囲１２０ａを決定する。またさらに、頭部や胴体部の動きに対する動きベクトルを取り除く（以下、マスクという。）ため、許容範囲決定部１２０は、マスク範囲１２０ｂを決定する。
【００５３】
図１０は、図９のプレーヤの画像に基づいて決定された許容範囲１２０ａおよびマスク範囲１２０ｂを示す図である。図１０において、許容範囲１２０ａにおける動きベクトルは、類似度の判定対象となるが、マスク範囲１２０ｂにおける動きベクトルは、類似度の判定対象から除かれる。尚、出題ダンスの動きやレベル、難易度等に応じて、マスク範囲１２０ｂを胴体部だけとし、頭部の動きに対する動きベクトルを類似度の判定対象とする等、許容範囲１２０ａやマスク範囲１２０ｂを広狭変化させることとしてもよい。
【００５４】
また、許容範囲決定部１２０は、画像センサ２０から入力されるプレーヤの重心位置に対する、許容範囲１２０ａおよびマスク範囲１２０ｂの相対位置をも併せて判別・決定する。即ち、許容範囲決定部１２０は、画像センサ２０から随時入力されるプレーヤの重心位置に応じて、動的に、許容範囲１２０ａとマスク範囲１２０ｂとを変更する処理を行う。図１１は、プレーヤが中心位置から移動した場合の許容範囲１２０ａおよびマスク範囲１２０ｂを示す図である。図１１において、×印は画像センサ２０から入力されたプレーヤの重心位置を示す。尚、他の図面においては、簡明のため×印を省略する。
【００５５】
動作特定部１１８は、画像センサ２０から随時入力される動きベクトルの内、許容範囲決定部１２０によって決定された許容範囲１２０ａ内の動きベクトルを特定する処理を行う。具体的に図を参照して説明する。図１２は、プレーヤが伸ばしていた手を下ろした場面を示す図である。この場面において、画像センサ２０から入力される動きベクトルは、図１３に示すように、プレーヤの上腕部や肘部、手先等に係る動きベクトルである。ここで、動作特定部１１８は、許容範囲１２０ａ内の動きベクトルであって、マスク範囲１２０ｂの範囲外のものを特定する。即ち、各動きベクトルの起点位置等と、許容範囲１２０ａおよびマスク範囲１２０ｂとに基づいて、図１４に示すように、手先の動きベクトルのみが特定される。この特定された動きベクトルは、後述するように、類似度判定部１１６による類似度の判定の対象となる。
【００５６】
従って、許容範囲１２０ａおよびマスク範囲１２０ｂの範囲に応じて、類似度の判定として不要な動きベクトルを排除することができ、類似度判定処理等の処理を効率化することができる。たとえば、図１３において、手を下ろしたか否かを判定したい場合にあっては、手先に係る動きベクトルが特定できれば足りる。従って、上腕部や肘部の動きベクトルが、動作特定部１１８によって排除（マスク）されることにより、後の処理を効率的に行うことができる。また、プレーヤ以外の者の動作が画像センサ２０によって検出された場合であっても、許容範囲１２０ａ外の動作であれば、排除することができる。
【００５７】
類似度判定部１１６は、出題ダンスに対応する判定基準データ５３６と、動作特定部１１８によって特定された動きベクトルとの類似度を判定する。すなわち、例えば、出題ダンスがダンスＡであって、時間ｔ１となった時には、ダンスＡの時間ｔ１における判定基準データ５３６と、当該時点におけるプレーヤ動作データとの類似度が判定される。具体的な類似度の判定方法としては、方向、大きさ、速さを総合的に勘案するパターンマッチングの手法を用いたり、初心者向けのダンスに対しては方向の要素のみで類似度を判定し、上級者に対しては方向、大きさ、速さの全ての要素を対象として類似度を判定するといった手法等、何れの手法に対しても本発明は適用可能である。
【００５８】
また、画像センサ２０から入力される動きベクトルの数はプレーヤの動きに応じて動的に変化する。従って、動作特定部１１８によって特定された動きベクトルが複数ある場合もあり得るが、その場合には、判定基準データ５３６を複数用意し、各動きベクトルに対する類似度を判定することにより、同時に２以上の動作を行う動き（ダンス）の判定をより正確に行うことができる。
【００５９】
画像生成部１３０は、図３から図５において説明したゲームの実行画面等の画像を生成する処理を行うものである。その処理としては、ゲーム演算部１１０により設定されたオブジェクト空間でダンスするインストラクタキャラを、所与の視点から見た画像を生成する処理や、得点表示７３４やタイミングゲージ７３６を表示するための画像を生成する処理等が含まれ、生成された画像は、表示部３０において表示される。
【００６０】
音楽生成部１４０は、出題ダンス設定部１１４によって決定されたテンポで、同じく出題ダンス設定部１１４によって決定された音楽データ５３２に基づく音楽を生成し、スピーカ４０に出力させる処理を行う。尚、音楽データ５３２は、出題ダンスのＢＧＭとなる音楽として説明したが、リズムをとるための音声であってもよく、その場合には、音楽生成部１４０は、出題ダンス設定部１１４によって決定されたテンポに合わせた音声を生成することとなる。
【００６１】
上述した処理部１００の機能は、ＣＩＳＣ型やＲＩＳＣ型のＣＰＵ、ＤＳＰ、画像取込専用ＩＣなどのハードウェアにより実現できる。
【００６２】
表示部３０は、画像生成部１３０により生成された画像等を表示するものであり、例えば、ＣＲＴ、ＬＣＤ、プラズマディスプレイ等によって実現され、図１のゲーム装置７００におけるディスプレイ７３０がこれに該当する。
【００６３】
情報記憶媒体５００は、ダンスゲームに係るゲームプログラム５１０の他、上述した、音楽データ５３２とキャラ動作データ５３４と判定基準データ５３６を含む出題データ５３０等を記憶している。この情報記憶媒体５００の機能は、ＣＤ−ＲＯＭ、ゲームカセット、ＩＣカード、ＭＯ、ＦＤ、ＤＶＤ、メモリ、ハードディスクなどのハードウェアにより実現できる。上述した通り、処理部１００は、この情報記憶媒体５００に記憶されたプログラムやデータ等に基づいて種々の処理を行う。
【００６４】
次に、本実施の形態のゲーム装置の動作について説明する。図１５は、本実施の形態のゲーム装置における処理動作の一例を示すフローチャートである。
【００６５】
図１５において、まず、操作部１０から難易度等の入力がなされると、当該難易度に応じた出題ダンスを出題ダンス設定部１１４が設定する（ステップＳ１）。この際、出題ダンス設定部１１４は、当該出題ダンスに対応する音楽データ５３２と、キャラ動作データ５３４と、判定基準データ５３６と、出題ダンスおよびＢＧＭとなる音楽のテンポを決定する。
【００６６】
次いで、許容範囲決定部１２０によって、許容範囲およびマスク範囲が設定される（ステップＳ２）。尚、この際、許容範囲およびマスク範囲の設定を容易ならしめるため、プレーヤに対して「手や足を大きく動かしてね」といったメッセージを表示又は音声出力することとしてもよい。
【００６７】
次いで、ゲーム演算部１１０および画像生成部１３０によって、記憶モードに係る処理、すなわち、インストラクタキャラによる出題ダンスの動作表示等がなされる（ステップＳ３）。
【００６８】
次いで、ダンスモードが開始されると（ステップＳ４）、動作特定部１１８は、画像センサ２０から入力される動きベクトルから、許容範囲内であってマスク範囲外である動きベクトルを特定する（ステップＳ５）。そして、類似度判定部１１６は、ステップＳ５において特定された動きベクトルと、判定基準データ５３６とを比較して類似度を判定する（ステップＳ６）。次いで、ゲーム演算部１１０は、画像生成部１３０を介して、判定結果を表示部３０に表示し、判定した類似度に係る得点処理を行う（ステップＳ７）。
【００６９】
次いで、ゲーム演算部１１０は、出題ダンスが終了したか否かを判断し（ステップＳ８）、終了していないと判断した場合にはステップＳ３へ処理を移行し、終了したと判定した場合には、総合点数を算出して表示する得点処理を行って（ステップＳ９）、ゲームを終了する。
【００７０】
次に、本実施の形態を実現できるハードウェアの構成の一例について図１６を用いて説明する。同図に示す装置では、ＣＰＵ１０００、ＲＯＭ１００２、ＲＡＭ１００４、情報記憶媒体１００６、音生成ＩＣ１００８、画像生成ＩＣ１０１０、Ｉ／Ｏポート１０１２、１０１４、１０２８が、システムバス１０１６により相互にデータ入出力可能に接続されている。そして画像生成ＩＣ１０１０にはディスプレイ１０１８が接続され、音生成ＩＣ１００８にはスピーカ１０２０が接続され、Ｉ／Ｏポート１０１２にはコントロール装置１０２２が接続され、Ｉ／Ｏポート１０１４には通信装置１０２４が接続され、Ｉ／Ｏポート１０２８には画像センサ１０２６が接続されている。
【００７１】
情報記憶媒体１００６は、プログラム、表示物を表現するための画像データ、音データ、プレイデータ等が主に格納されるものであり、図６における情報記憶媒体５００に相当する。例えば本実施の形態を実現するものがコンピュータである場合には、ゲームプログラム等を格納する情報記憶媒体としてＣＤ−ＲＯＭ、ＤＶＤ等が、家庭用ゲーム装置である場合には、これらの他にゲームカセット等が用いられる。また業務用ゲーム装置として実現する場合には、ＲＯＭ等のメモリやハードディスクが用いられ、この場合には情報記憶媒体１００６はＲＯＭ１００２になる。
【００７２】
コントロール装置１０２２はゲームコントローラ、操作パネル等に相当するものであり、プレーヤがゲームの難易度や実行開始等の指示を装置本体に入力するための装置である。
【００７３】
情報記憶媒体１００６に格納されるプログラム、ＲＯＭ１００２に格納されるシステムプログラム（装置本体の初期化情報等）、コントロール装置１０２２から入力される信号等に従って、ＣＰＵ１０００は装置全体の制御や各種データ処理を行う。ＲＡＭ１００４はこのＣＰＵ１０００の作業領域等として用いられる記憶手段であり、情報記憶媒体１００６やＲＯＭ１００２の所与の内容、或いはＣＰＵ１０００の演算結果等が格納される。
【００７４】
更に、この装置には音生成ＩＣ１００８と画像生成ＩＣ１０１０とが設けられていてゲーム音やゲーム画像の好適な出力が行えるようになっている。音生成ＩＣ１００８は情報記憶媒体１００６やＲＯＭ１００２に記憶される情報に基づいてＢＧＭ等の音楽やダンスのリズムをとるための音声等を生成する集積回路であり、生成された音楽等はスピーカ１０２０によって出力される。また、画像生成ＩＣ１０１０は、ＲＡＭ１００４、ＲＯＭ１００２、情報記憶媒体１００６等から送られる画像情報に基づいてディスプレイ１０１８に出力するための画素情報を生成する集積回路である。なおディスプレイ１０１８は発光機能を有していることが必要であり、例えばＣＲＴ、ＬＣＤ、プラズマディスプレイ等が適している。
【００７５】
画像センサ２０は人工網膜チップ等によって構成され、プレーヤの動きやプレーヤの画像等を検出する。
【００７６】
また通信装置１０２４は装置内部で利用される各種の情報を外部とやりとりするものであり、他の装置と接続されてゲームプログラム等に応じた所与の情報を送受したり、通信回線を介してゲームプログラムや、新たな出題データ等の情報を送受すること等に利用される。
【００７７】
そして、図１〜１４を参照して説明した種々の処理は、図１５のフローチャートに示した処理等を行うプログラムを格納した情報記憶媒体１００６と、該プログラムに従って動作するＣＰＵ１０００、画像生成ＩＣ１０１０、音生成ＩＣ１００８等によって実現される。なお画像生成ＩＣ１０１０等で行われる処理は、ＣＰＵ１０００あるいは汎用のＤＳＰ等によりソフトウェア的に行うこととしてもよい。
【００７８】
さて、前述した図１および図２は、本発明を業務用のゲーム装置に適用した場合の例を示すものである。この場合、装置に内蔵されるシステム基板に、ＣＰＵ、画像生成ＩＣ、音生成ＩＣ等が実装されている。そして、図６におけるゲームプログラム５１０や出題データ５３０等のダンスゲームに係る情報は、システム基板上の情報記憶媒体であるメモリに格納される。以下、このダンスゲームに係る情報を格納情報という。
【００７９】
図１７（ａ）に、本発明をコンピュータシステムに適用した場合の例を示す。プレーヤはディスプレイ１２００に映し出された画像を見ながら、画像センサ１２２０に向かってダンス（動作）することにより、ダンスゲームを楽しむ。この場合、上記格納情報は、本体装置に着脱可能な情報記憶媒体であるＣＤ−ＲＯＭやＤＶＤ等に格納されている。
【００８０】
図１７（ｂ）に、ホスト装置１３００と、このホスト装置１３００と通信回線１３０２を介して接続される端末１３０４−１〜１３０４−ｎとを含むゲームシステムに本発明を適用した場合の例を示す。この場合、上記格納情報は、例えばホスト装置１３００が制御可能な磁気ディスク装置、磁気テープ装置、メモリ等の情報記憶媒体１３０６に格納されている。端末１３０４−１〜１３０４−ｎが、ＣＰＵ、画像生成ＩＣ、音生成ＩＣ、画像センサを有し、スタンドアロンでゲーム画像、ゲーム音（ＢＧＭ等）を生成できるものである場合には、ホスト装置１３００からは、ゲーム画像、ゲーム音を生成するためのゲームプログラム等が端末１３０４−１〜１３０４−ｎに配送される。一方、スタンドアロンで生成できない場合には、ホスト装置１３００がゲーム画像、ゲーム音を生成し、これを端末１３０４−１〜１３０４−ｎに伝送して端末において出力することとなる。
【００８１】
以上のように、本発明によれば、許容範囲およびマスク範囲を設定することができるため、プレーヤの動作を検出した結果である複数の動きベクトルの内、類似度の判定対象となる動きベクトルを特定することができる。従って、プレーヤの動作に対する判断処理の効率化、高速化を図ることができるため、プレーヤの全身を使った動きに応じたゲームの進行を可能ならしめることができる。また、プレーヤの動作を一旦入力し、その後、当該動作に基づく処理を行うといった処理の遅延を生ぜず、リアルタイム性を損なわないゲームを実現することができる。
【００８２】
尚、本発明は、上記実施の形態で説明したのもに限らず、種々の変形実施が可能である。例えば、上記実施の形態においては、ダンスゲームを例にとって説明したが、プレーヤの動作をいかに検出し、その検出した動作の内で、類似度の判定対象とする動作をいかに特定するかが本発明の趣旨の１つであるため、例えば、ジェスチャーゲームといったプレーヤの動作の判定が必要な他のゲームに対しても適用が可能である。また、曲の間奏や、プレーヤの得点経過等のゲームの進行に応じて、許容範囲およびマスク範囲を変化させることとしてもよい。
【００８３】
また、上記実施の形態においては、プレーヤを１人として説明したが２人以上であってもよい。図１８（ａ）は、２人プレー用のインストラクタキャラの表示例を示す図であり、図１８（ｂ）は、２人のプレーヤに対する許容範囲１２０ａおよびマスク範囲１２０ｂを示す図である。２人プレーに対応するための実現方法は以下の通りである。
【００８４】
まず、許容範囲決定部１２０が、２人分の許容範囲およびマスク範囲を決定する。次いで、ダンスゲームを開始すると、画像センサ２０からは、画像センサ２０の検出範囲における全ての動きベクトルが出力されるが、画像センサ２０からは、各プレーヤの重心位置をも出力される。従って、許容範囲決定部１２０は、各プレーヤに対応する許容範囲およびマスク範囲を動的に決定することができ、ひいては動作特定部１１８は、各プレーヤに対応する動きベクトルの特定をすることができる。そして、予め用意した各プレーヤに対応する判定基準データ５３６と、各プレーヤの動きベクトルとを比較することによって、２人のプレーヤに対するゲームプレイを実現することができる。
【００８５】
また、２人プレーにおいて、各プレーヤの許容範囲およびマスク範囲が重なり合うこととしてもよい。図１９は、各プレーヤの許容範囲およびマスク範囲が重なり合う場合の一例を示す図である。図１９（ｂ）に示すように、同図（ａ）のインストラクタキャラの動作を各プレーヤが行う場合には、許容範囲およびマスク範囲が重なり合うこととなる。しかし、動作特定部１１８が、各プレーヤに対する動きベクトルを特定するのではなく、何れかのプレーヤの許容範囲内であって、何れかのプレーヤのマスク範囲外である動きベクトルを特定することによって実現することができる。すなわち、特定される動きベクトルは何れのプレーヤに対応するものかは判別できないが、判定基準データ５３６に、対応する複数の基準データを用意することによって、２人のプレーヤの動作全体に対する類似度を判定することができる。
【００８６】
さらに、図１８および図１９を参照して説明した手法を応用することにより、図２０に示す二人三脚のような、２人のプレーヤが協力し合って行わねばならないダンス等を、出題ダンスの途中に挿入し、当該２人プレーヤに対する類似度を判定することとしてもよい。尚、図１９（ｂ）における２人プレーは、擬似的に１人プレーとして判断することも可能である。
【００８７】
尚、図１８から図２０を参照して説明した手法は２人以上のプレーヤに対しても適用が可能であることは言うまでもない。また、２人以上のプレーヤに対して、次のように、許容範囲およびマスク範囲を設定することとしてもよい。即ち、図２１に示すように、例えば、ラインダンスのような、複数のプレーヤがダンス（動作）することを前提とした出題ダンスとして、プレーヤの上半身に対してマスク範囲１２０ｂを設定し、下半身に対して許容範囲１２０ａを設定することとしてもよい。この場合には、プレーヤのダンス（動作）全体に対する類似度の判定がなされることとなるが、複数人でダンスすることができるといった面白みを持たせることができる。
【００８８】
またさらに、許容範囲を複数の領域に分割し、領域毎に動きベクトルと判定基準データとの比較を行うこととしてもよい。即ち、図２２に示すように、例えば、許容範囲１２０ａの内、左上の領域を第１領域、右上の領域を第２領域、左下の領域を第３領域、右下の領域を第４領域として設定し、判定基準データ５３６として、図２３に示すように、各領域に対応する判定基準データを用意することとしてもよい。この場合には、動作特定部１１８が、動きベクトルの起点位置等に基づいて、各領域に対応する動きベクトルを特定し、類似度判定部１１６によって領域毎の類似度を判定することにより実現可能である。この場合には、図２２に示すような、両手を下げる動作に対しては、図２４に示すような動きベクトルが検出・特定されるため、複雑な動作に対してもより正確な類似度の判定を行うことができる。また、判定する対象となる領域を特定することにより、類似度の判定に係る処理の効率化を図ることも可能である。
【００８９】
尚、言うまでもなく、図２２から２４を参照して説明した許容範囲を複数の領域に分割する手法は、図１８から２１を参照して説明した複数プレーヤに対する処理に対しても適用が可能である。
【符号の説明】
【００９０】
１０ 操作部
２０ 画像センサ
１００ 処理部
１１０ ゲーム演算部
１１４ 出題ダンス設定部
１１６ 類似度判定部
１１８ 動作特定部
１２０ 許容範囲決定部
１３０ 画像生成部
１４０ 音楽生成部
３０ 表示部
４０ スピーカ
５００ 情報記憶媒体
５１０ ゲームプログラム
５３０ 出題データ
５３２ 音楽データ
５３４ キャラ動作データ
５３６ 判定基準データ
【特許請求の範囲】
【請求項１】
受光部によって得られた画像からプレーヤの動きを検出するための検出手段を備え、当該検出手段によって検出されるプレーヤの動きに基づいて、所与のゲームを実行するためのゲーム装置であって、
前記検出手段による検出可能範囲のうち、前記プレーヤが動作し得る範囲である許容範囲を設定する許容範囲設定手段と、
前記検出手段による検出可能範囲のうち、類似度判定の対象から除外する範囲であるマスク範囲を設定するマスク範囲設定手段と、
前記検出手段によって検出されたプレーヤの動きの内、前記許容範囲内であって前記マスク範囲外のプレーヤの動きを特定する特定手段と、
前記特定手段により特定された動きと所与の判定基準の動きとを比較して類似度を判定する類似度判定手段と、
を備えたゲーム装置。
【請求項２】
前記マスク範囲設定手段は、前記許容範囲内の前記プレーヤの胴部相当位置に前記マスク範囲を設定する、
請求項１に記載のゲーム装置。
【請求項３】
前記検出手段は、前記プレーヤの動きを動きベクトルとして検出し、
前記特定手段は、前記検出手段によって検出された動きベクトルのうち、前記許容範囲内であって前記マスク範囲外の動きベクトルを特定し、
前記類似度判定手段は、前記特定された動きベクトルを前記判定基準の動きと比較して類似度を判定する、
請求項１又は２に記載のゲーム装置。
【請求項４】
前記特定手段は、少なくとも前記動きベクトルの起点位置に基づいて、前記許容範囲内であって前記マスク範囲外の動きベクトルを特定する、
請求項３に記載のゲーム装置。
【請求項５】
前記許容範囲設定手段及び前記マスク範囲設定手段は、それぞれ、前記プレーヤの前記画像中の位置の変化に追従させて前記許容範囲及び前記マスク範囲の位置を設定変更する、
請求項１〜４の何れか一項に記載のゲーム装置。
【請求項６】
前記許容範囲設定手段及び前記マスク範囲設定手段は、それぞれ、前記所与のゲームの進行または前記所与のゲームの種類に応じて、前記許容範囲及び前記マスク範囲を設定変更する、
請求項１〜５の何れか一項に記載のゲーム装置。
【請求項７】
前記許容範囲設定手段及び前記マスク範囲設定手段は、それぞれ、前記類似度判定手段によって判定される類似度に応じて、前記許容範囲及び前記マスク範囲を設定変更する、
請求項１〜６の何れか一項に記載のゲーム装置。
【請求項８】
受光部によって得られた画像からプレーヤの動きを検出するための検出手段を備えたコンピュータに、当該検出手段によって検出されるプレーヤの動きに基づいて所与のゲームを実行させるためのプログラムであって、
前記検出手段による検出可能範囲のうち、前記プレーヤが動作し得る範囲である許容範囲を設定する許容範囲設定手段、
前記検出手段による検出可能範囲のうち、類似度判定の対象から除外する範囲であるマスク範囲を設定するマスク範囲設定手段、
前記検出手段によって検出されたプレーヤの動きの内、前記許容範囲内であって前記マスク範囲外のプレーヤの動きを特定する特定手段、
前記特定手段により特定された動きと所与の判定基準の動きとを比較して類似度を判定する類似度判定手段、
として前記コンピュータを機能させるためのプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
【請求項１】
受光部によって得られた画像からプレーヤの動きを検出するための検出手段を備え、当該検出手段によって検出されるプレーヤの動きに基づいて、所与のゲームを実行するためのゲーム装置であって、
前記検出手段による検出可能範囲のうち、前記プレーヤが動作し得る範囲である許容範囲を設定する許容範囲設定手段と、
前記検出手段による検出可能範囲のうち、類似度判定の対象から除外する範囲であるマスク範囲を設定するマスク範囲設定手段と、
前記検出手段によって検出されたプレーヤの動きの内、前記許容範囲内であって前記マスク範囲外のプレーヤの動きを特定する特定手段と、
前記特定手段により特定された動きと所与の判定基準の動きとを比較して類似度を判定する類似度判定手段と、
を備えたゲーム装置。
【請求項２】
前記マスク範囲設定手段は、前記許容範囲内の前記プレーヤの胴部相当位置に前記マスク範囲を設定する、
請求項１に記載のゲーム装置。
【請求項３】
前記検出手段は、前記プレーヤの動きを動きベクトルとして検出し、
前記特定手段は、前記検出手段によって検出された動きベクトルのうち、前記許容範囲内であって前記マスク範囲外の動きベクトルを特定し、
前記類似度判定手段は、前記特定された動きベクトルを前記判定基準の動きと比較して類似度を判定する、
請求項１又は２に記載のゲーム装置。
【請求項４】
前記特定手段は、少なくとも前記動きベクトルの起点位置に基づいて、前記許容範囲内であって前記マスク範囲外の動きベクトルを特定する、
請求項３に記載のゲーム装置。
【請求項５】
前記許容範囲設定手段及び前記マスク範囲設定手段は、それぞれ、前記プレーヤの前記画像中の位置の変化に追従させて前記許容範囲及び前記マスク範囲の位置を設定変更する、
請求項１〜４の何れか一項に記載のゲーム装置。
【請求項６】
前記許容範囲設定手段及び前記マスク範囲設定手段は、それぞれ、前記所与のゲームの進行または前記所与のゲームの種類に応じて、前記許容範囲及び前記マスク範囲を設定変更する、
請求項１〜５の何れか一項に記載のゲーム装置。
【請求項７】
前記許容範囲設定手段及び前記マスク範囲設定手段は、それぞれ、前記類似度判定手段によって判定される類似度に応じて、前記許容範囲及び前記マスク範囲を設定変更する、
請求項１〜６の何れか一項に記載のゲーム装置。
【請求項８】
受光部によって得られた画像からプレーヤの動きを検出するための検出手段を備えたコンピュータに、当該検出手段によって検出されるプレーヤの動きに基づいて所与のゲームを実行させるためのプログラムであって、
前記検出手段による検出可能範囲のうち、前記プレーヤが動作し得る範囲である許容範囲を設定する許容範囲設定手段、
前記検出手段による検出可能範囲のうち、類似度判定の対象から除外する範囲であるマスク範囲を設定するマスク範囲設定手段、
前記検出手段によって検出されたプレーヤの動きの内、前記許容範囲内であって前記マスク範囲外のプレーヤの動きを特定する特定手段、
前記特定手段により特定された動きと所与の判定基準の動きとを比較して類似度を判定する類似度判定手段、
として前記コンピュータを機能させるためのプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１０−１３７０９７（Ｐ２０１０−１３７０９７Ａ）
【公開日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願番号】特願２０１０−６５７４９（Ｐ２０１０−６５７４９）
【出願日】平成２２年３月２３日（２０１０．３．２３）
【分割の表示】特願２０００−４２０５０（Ｐ２０００−４２０５０）の分割
【原出願日】平成１２年２月１８日（２０００．２．１８）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
【公開日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願日】平成２２年３月２３日（２０１０．３．２３）
【分割の表示】特願２０００−４２０５０（Ｐ２０００−４２０５０）の分割
【原出願日】平成１２年２月１８日（２０００．２．１８）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
[ Back to top ]