ゲーム装置、ゲーム制御方法、ならびに、プログラム
【課題】撮影されたプレイヤの画像を、プレイ操作の結果に応じてゲーム画面に表示することにより、プレイヤの満足感を満たすのに好適なゲーム装置、ゲーム制御方法、ならびに、プログラムを提供する。
【解決手段】撮影部６０１により撮影されたプレイヤの画像を、プレイヤがコントローラを操作するタイミングを検知部６０４により検知して、評価部６０６による成績が一定の評価以上の成績であった場合には、画像処理をして表示部６０８によりモニタに表示する。また、プレイヤ以外の人物が、撮影された場合には、認識部６０２により人物の顔を認識して、検出部６０３によりその顔が移動しているか否か判別し、検知部６０４の判断により、プレイヤを特定する。
【解決手段】撮影部６０１により撮影されたプレイヤの画像を、プレイヤがコントローラを操作するタイミングを検知部６０４により検知して、評価部６０６による成績が一定の評価以上の成績であった場合には、画像処理をして表示部６０８によりモニタに表示する。また、プレイヤ以外の人物が、撮影された場合には、認識部６０２により人物の顔を認識して、検出部６０３によりその顔が移動しているか否か判別し、検知部６０４の判断により、プレイヤを特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影されたプレイヤの画像を、プレイ操作の結果に応じてゲーム画面に表示することにより、プレイヤの満足感を満たすのに好適なゲーム装置、ゲーム制御方法、ならびに、プログラムに関する。
【背景技術】
【０００２】
プレイヤのプレイ結果を評価することは、ゲーム装置においては、一般的に行われている。例えば、特許文献１には、踏み位置と踏み動作タイミングで表わされる課題を画面に表示し、プレイヤが指示に従ってプレイするとダンス感覚を楽しめるゲーム装置が開示されている。このゲーム装置は、プレイヤの踏み動作を検出し、踏み位置と踏み動作タイミングの指示と、プレイヤの実際の踏み動作とのずれによって、プレイヤの動作を採点する。プレイヤは表示される課題に従って体を動かすことにより、再生中の音楽のリズムに合わせてダンスを楽しむことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３００３８５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この種のゲーム装置では、プレイヤのプレイ結果、すなわち、踏み位置と踏み動作タイミングの指示と、プレイヤの実際の踏み動作との「ずれ」がどれだけあるかを評価している。評価結果は、成績の良否に応じて、画面上に点数や文字として表示され、プレイヤは、表示結果を見ることで、自己の巧拙を認識していた。
しかし、これらの評価表示方法は、ゲーム装置一般において、よく用いられる方法であり、より一層、プレイヤの達成感、ゲームへの一体感を満足させることが求められていた。
【０００５】
本発明は、以上のような課題を解決するためのものであり、撮影されたプレイヤの画像を、プレイ操作の結果に応じてゲーム画面に表示することにより、プレイヤの満足感を満たすのに好適なゲーム装置、ゲーム制御方法、ならびに、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係るゲーム装置は、表示部と、検知部と、撮影部と、評価部と、を備える。
【０００７】
表示部では、プレイヤがとるべき動作の種類とそのタイミングを示す指示画像を画面に表示する。ここで、プレイヤがとるべき動作の種類とそのタイミングを示す指示画像とは、画面の特定部分に固定的に表示される基準マークに、一定方向にスクロールする踏み位置指示マークが重なることにより、プレイヤに動作の種類とそのタイミングを示す画像である。基準マーク及び踏み位置指示マークは、複数種類の動作方向を示すマークであり、基準マークと踏み位置指示マークは、同一種類のマークが重なるように配置されている。
【０００８】
例えば、音楽ゲームにおいて、画面に表示された動作方向、すなわち、左右上下を示す踏み位置指示マークが、画面の下方向から上方向へスクロールされる。そして、画面の上部に固定的に表示され、踏み位置指示マークに対応する方向を示す基準マークに重なった時、プレイヤは、その踏み位置指示マークに示された動作方向（例えば、右）と同一の動作方向（右）の入力操作をコントローラで行う。
ここで、コントローラとは、ゲーム実行時に、プレイヤが操作する対象をいい、例えば、マット型のコントローラ、手で把持するタイプのコントローラ又は携帯端末のタッチパネル等である。コントローラには、複数のボタン、キー、フットスイッチ等が配置されていてもよい。 コントローラの操作部には、踏み位置指示マークに対応する方向を指示できるボタン等が設けられている。
また、プレイヤをカメラを用いて撮影し、プレイヤの動作自体を入力装置として機能させるゲーム装置においては、仮想的なコントローラにより指示操作を行うことになる。
【０００９】
検知部では、プレイヤがとった動作の検知をする。
音楽ゲームにおいて、検知部は、プレイヤの押圧したコントローラの種類と、押圧したタイミングを検知するものである。
すなわち、プレイヤは、画面に表示される踏み位置指示マークが基準マークに重なった場合に、コントローラ、例えば、足踏み式のコントローラでは、画面に表示された踏み位置指示マークと同一のマークが表示されたボタンを足で押圧して、入力操作を行う。プレイヤが足で足踏み式のコントローラのボタンを押圧したときに、ボタン下部に内蔵されたセンサにより入力が検知される。
【００１０】
撮影部は、プレイヤを撮影する。撮影手段として、ＣＣＤ（Charge Couple Device Image）カメラ等が用いられる。
【００１１】
すなわち、ゲーム装置には、撮影部であるカメラが取り付けられている。カメラは、プレイヤのプレイ中の画像を、一定間隔で静止画として撮影する。
【００１２】
評価部は、指示画像が指示した動作の種類とそのタイミングと、検知部で検知されたプレイヤがとった動作の種類とそのタイミングとが合致するか否かに基づいて成績を評価する。
【００１３】
すなわち、評価部は、プレイヤが画面に表示された踏み位置指示マークの種類と同一のコントローラ上の操作ボタン等を押圧し、その操作ボタンを押圧したタイミングが、踏み位置指示マークと基準マークが重なったタイミングと合致したかを判断して、プレイヤの成績を評価する。
【００１４】
評価部による評価が所定以上の場合、表示部は、撮影部により撮影された画像を指示画像とともに画面に表示する。
すなわち、表示部は、評価部による成績評価が所定以上であれば、撮影されたプレイヤの撮影画像と指示画像とを同一画面上で表示することで、ゲーム進行と共に、撮影されたプレイヤの画像を表示することができる。
【００１５】
本発明のゲーム装置によれば、プレイヤは、撮影部により撮影された自己の画像を、ゲームプレイの成績評価に応じて、表示部に表示することが可能となり、よりゲームに対する満足感及び一体感を得ることができる。
【００１６】
本発明のゲーム装置は、さらに、認識部と、検出部と、判定部と、を備える。
認識部は、撮影部により撮影した画像に基づいて人の顔を認識し、検出部は、認識部により認識した人の顔の移動を検出し、判定部は、検知部により検知したプレイヤの動作と検出部により検出した人の顔の移動とが連動している場合に、当該人をプレイヤと判定する。
【００１７】
すなわち、ゲーム装置に備えたＣＣＤカメラ等に、顔検出機能を搭載することで、プレイヤの画像を撮影した際に、顔がどこであるかを認識することができる。一般的に、この種のゲーム装置、例えば、業務用ゲーム装置または家庭用テレビゲーム装置では、プレイヤの背後には、観客等のプレイヤ以外の人がいることが多い。したがって、顔検出機能を搭載した撮影装置で撮影した場合に、プレイヤ以外の人の顔も認識することになる。
本願では、検知部により検知したプレイヤの動作と、検出部により検出した人の顔の移動とが連動している場合には、その人をプレイヤとして判定する。
【００１８】
本発明のゲーム装置によれば、顔を認識できる機能を搭載することにより、プレイヤの特定が容易となり、プレイヤの画像の取り込みの精度を高くすることができる。
【００１９】
本発明のゲーム装置は、撮影部により撮影された画像は、評価部による評価に対応付けられる画像フィルタが適用されてから、表示部により、画面に表示される。
【００２０】
本発明のゲーム装置によれば、評価部により評価された成績が良好であるほど、画像フィルタによる演出が派手になる等、成績に応じて画像フィルタを選択的に適用することができるので、プレイヤの満足度を高めることができる。
【００２１】
本発明のゲーム装置は、撮影部は、画面に表示された指示画像が示す動作をとるべきタイミングで、プレイヤの画像を撮影する。
【００２２】
すなわち、撮影するタイミングと指示画像で操作を指示されたタイミングとが合致した状態で撮影を行い、その時の画像を画面に表示する。
【００２３】
本発明のゲーム装置によれば、操作を指示されたタイミング時点でのプレイヤを撮影することができるので、プレイヤ自身が画像を観ることで、自己のプレイの巧拙を画面で確認できるとともに、評価が高い場合には、優れたプレイヤの様子を観客に誇示することができる。
【００２４】
本発明のその他の観点に係る制御方法は、表示部、検知部、撮影部、評価部を有するゲーム装置が実行する制御方法であって、表示工程、検知工程、撮影工程、評価工程を備える。
【００２５】
表示工程では、表示部が、プレイヤがとるべき動作の種類とそのタイミングを示す指示画像を画面に表示し、検知工程では、検知部が、プレイヤがとった動作の検知をし、撮影工程では、撮影部が、プレイヤを撮影し、評価工程では、評価部が、指示画像が指示した動作の種類とそのタイミングと、検知部で検知されたプレイヤがとった動作の種類とタイミングとが合致するか否かに基づいて成績を評価する。
そして、評価工程による評価が所定以上の場合、表示部が、撮影工程により撮影された画像を指示画像とともに画面に表示する。
【００２６】
本発明のその他の観点に係るプログラムは、コンピュータをゲーム装置として機能させ、コンピュータにゲーム制御方法を実行させるように構成し、ゲーム装置は、表示部、検知部、撮影部、評価部を備える。
【００２７】
ここで、表示部は、プレイヤがとるべき動作の種類とそのタイミングを示す指示画像を画面に表示し、検知部は、プレイヤがとった動作の検知をし、撮影部は、プレイヤを撮影し、評価部は、指示画像が指示した動作の種類とそのタイミングと、検知部で検知されたプレイヤがとった動作の種類とそのタイミングが合致するか否かに基づいて成績を評価する。
【００２８】
評価部による評価が所定以上の場合、表示部は、撮影部により撮影された画像を指示画像とともに画面に表示する。
【００２９】
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記録媒体に記録することができる。上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配付・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配付・販売することができる。
【発明の効果】
【００３０】
本発明によれば、撮影されたプレイヤの画像を、プレイ操作の結果に応じてゲーム画面に表示することにより、プレイヤの満足感を満たすのに好適なゲーム装置、ゲーム制御方法、ならびに、プログラムを提供することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態に係るゲーム装置が実現される典型的な情報処理装置の概要構成を示す模式図である。
【図２】本発明の実施形態に係るゲーム装置の外観を示す斜視図である。
【図３】本発明の実施形態に係るゲーム装置に接続可能なマット型コントローラの概要構成を示す模式図である。
【図４】本発明の実施形態に係るゲーム装置の表示画面の一例を示す図である。
【図５】本発明の実施形態に係るゲーム装置の課題データの構成を示す模式図である。
【図６】本発明の実施形態に係るゲーム装置の構成を示すブロック図である。
【図７】本発明の実施形態に係るゲーム装置において、閾時間内の評価区分を示す図である。
【図８】本発明の第１の実施形態に係るゲーム装置が実行するゲーム制御処理を示すフローチャートである。
【図９】本発明の第１の実施形態に係るゲーム装置において、カメラで撮影された画像を示す図である。
【図１０】本発明の第１の実施形態に係るゲーム装置において、撮影画像を画像処理して背景画像に重ねて表示した画面の一例を示す図である。
【図１１】本発明の第２の実施形態に係るゲーム装置において、カメラで撮影された画像を示す図である。
【図１２】本発明の第２の実施形態に係るゲーム装置が実行するゲーム制御処理を示すフローチャートである。
【図１３】本発明の第３の実施形態に係るゲーム装置が実行するゲーム制御処理を示すフローチャートである。
【図１４】本発明の第３の実施形態に係るゲーム装置において、カメラで撮影された画像を示す図である。
【図１５】本発明の第３の実施形態において、撮影画像を画像処理して背景画像に重ねて表示した画面の一例を示す図である。
【図１６】本発明の第３の実施形態において、プレイヤの動作と顔の動きと、の関連を示す図である。
【図１７Ａ】本発明の第３の実施形態において、プレイヤの顔の上下移動量と経過時間との関係を示すグラフである。
【図１７Ｂ】本発明の第３の実施形態において、検知部により検知された信号の状態と経過時間との関係を示すグラフである。
【図１７Ｃ】本発明の第３の実施形態において、プレイヤの顔の上下移動量と検知部により検知された信号との相関関係を示すグラフである。
【図１８】本発明の第４の実施形態において、２人のプレイヤでプレイをする場合の外観図を示す図である。
【図１９】本発明の第４の実施形態において、２人のプレイヤの画像を特定するための画面を示す図である。
【図２０】本発明の第４の実施態様において、２人のプレイヤでプレイをする場合のゲーム画面を示す図である。
【図２１】本発明の第４の実施形態において、２人のプレイヤでプレイをする場合に、プレイヤの撮影画像が背景画像に重ねて表示した画面の一例を示す図である。
【発明を実施するための形態】
【００３２】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００３３】
（実施形態１）
図１はプログラムを実行することにより、本発明の実施形態に係るゲーム装置の機能を果たす典型的な情報処理装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【００３４】
情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ １０２と、ＲＡＭ（Random Access Memory）１０３と、インターフェース１０４と、マット型コントローラ１０５と、外部メモリ１０６と、画像処理部１０７と、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ１０８と、ＮＩＣ（Network Interface Card）１０９と、音声処理部１１０と、モニタ１１１と、ＲＴＣ １１２と、カメラ１１３と、を備える。
【００３５】
ＣＰＵ １０１は、情報処理装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、ＣＰＵ １０１は、レジスタ（図示せず）という高速アクセスが可能な記憶域に対してＡＬＵ（Arithmetic Logic Unit）（図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、ＣＰＵ １０１自身が構成されているものや、コプロセッサを備えて実現するものがある。ＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、情報処理装置１００の電源を入れることにより、本実施形態のゲーム装置が実現される。
【００３６】
ＲＯＭ １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ １０３に読み出してＣＰＵ １０１による実行が開始される。また、ＲＯＭ １０２には、情報処理装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
【００３７】
ＲＡＭ １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、ＣＰＵ １０１は、ＲＡＭ １０３に変数領域を設け、当該変数に格納された値に対して直接ＡＬＵを作用させて演算を行ったり、ＲＡＭ １０３に格納された値を一旦レジスタに格納してからレジスタに対して演算を行い、演算結果をメモリに書き戻す、などの処理を行う。
【００３８】
インターフェース１０４を介して接続されたマット型コントローラ１０５は、プレイヤがゲーム実行の際に行う操作入力を受け付ける。
【００３９】
図３は、床面に設置されたマット型コントローラ１０５を真上から眺めたときのマット型コントローラ１０５の概略図である。マット型コントローラ１０５の所定領域には、“左”を指示する入力をプレイヤから受け付けるボタン３０１ａ、“後”を指示する入力をプレイヤから受け付けるボタン３０１ｂ、“前”を指示する入力をプレイヤから受け付けるボタン３０１ｃ、“右”を指示する入力をプレイヤから受け付けるボタン３０１ｄ、がそれぞれ配置されている。また、図３において点線の円で示した位置が、プレイヤのホームポジションＨＰである。
【００４０】
以下の説明では、ボタン３０１ａ〜３０１ｄがプレイヤによって押圧されている状態を「押圧状態」と呼び、押圧されていない状態を「非押圧状態」と呼ぶこととする。ＣＰＵ １０１は、ボタン３０１のそれぞれについて、押圧状態か非押圧状態かを判別する。
【００４１】
本実施形態では、マット型コントローラ１０５は、床面に配置する形状に限られず、手で把持する形状であってもよい。
【００４２】
インターフェース１０４を介して着脱自在に接続された外部メモリ１０６には、ゲーム等のプレイ状況（過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ（記録）のデータなどが書き換え可能に記憶される。プレイヤは、マット型コントローラ１０５を介して指示入力を行うことにより、これらのデータを適宜外部メモリ１０６に記録することができる。
【００４３】
画像処理部１０７は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ １０１や画像処理部１０７が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０７が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０７に接続されるモニタ１１１へ出力される。これにより、各種の画像表示が可能となる。
【００４４】
ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。ＣＰＵ １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ １０３等に一時的に記憶される。
【００４５】
また、画像演算プロセッサは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
【００４６】
また、仮想空間が３次元にて構成される場合には、当該３次元空間内に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Ｚバッファ法によりレンダリングして、所定の視点位置から仮想空間に配置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速実行も可能である。
【００４７】
さらに、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画したりすることが可能である。
【００４８】
ＮＩＣ １０９は、情報処理装置１００をインターネット等のコンピュータ通信網（図示せず）に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ １０１との仲立ちを行うインターフェース（図示せず）により構成される。
【００４９】
音声処理部１１０は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ（図示せず）から出力させる。また、ＣＰＵ １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。
【００５０】
ＤＶＤ−ＲＯＭに記録された音声データがＭＩＤＩデータである場合には、音声処理部１１０は、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してＰＣＭデータに変換する。ＰＣＭデータは、そのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換を行って、スピーカに出力することにより、音声出力が可能となる。
【００５１】
モニタ１１１は、画像処理部１０７に接続され、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、画像情報を表示する。モニタ１１１は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬディスプレイ（organic Electro-Luminescence display）等により構成され、一般的な置き型ディスプレイの形式又は装着型のＨＭＤの形式で用いられる。
【００５２】
ＲＴＣ １１２は、水晶振動子や発振回路などを備える計時用のデバイスである。ＲＴＣ １１２は、内蔵電池から電源を供給され、情報処理装置１００の電源がオフのときでも動作し続ける。
【００５３】
カメラ１１３は、プレイヤのプレイの様子を、一定間隔毎に静止画として撮影する。
【００５４】
このほか、情報処理装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ １０２、ＲＡＭ １０３、外部メモリ１０６、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。
【００５５】
以上で説明した情報処理装置１００は、いわゆる「家庭用テレビゲーム装置」に相当するものであるが、仮想空間を表示するような画像処理を行うものであれば本発明を実現することができる。したがって、携帯電話、携帯ゲーム機器、カラオケ装置、一般的なビジネス用コンピュータなど、種々の計算機上で本発明を実現することが可能である。
【００５６】
例えば、一般的なコンピュータは、上記情報処理装置１００と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＤＶＤ−ＲＯＭドライブ、及び、ＮＩＣを備え、情報処理装置１００よりも簡易な機能を備えた画像処理部を備え、外部記憶装置としてハードディスクを有する他、フレキシブルディスク、光磁気ディスク、磁気テープ等が利用できるようになっている。また、マット型コントローラ１０５ではなく、キーボードやマウスなどを入力装置として利用する。
【００５７】
図２は、情報処理装置１００にモニター１１１が接続された状態を示す外観図である。モニター１１１には、撮影用のＣＣＤカメラ１１３が備えられている。
ＣＰＵ １０１は、カメラ１１３によって撮影された画像を表す画像データを解析し、画像に含まれるユーザの部位（例えばユーザの手、足、顔など）を判別する。画像解析の手法には、例えば、パターン認識による解析、特徴点の抽出による解析、空間周波数の算出による解析などがある。カメラ１１３による撮影は、ゲームプレイ中に一定間隔毎、継続的に行われる。
【００５８】
また、モニター１１１に、入力装置２０１を接続し、当該入力装置２０１をゲーム画面が表示されるモニター１１１付近に設置してもよい。この入力装置２０１は、マット型コントローラの代わりに用いられる入力装置であり、ユーザの様子などを撮影するカメラを備える。
入力装置２０１は、入力装置２０１からユーザ（もしくはユーザの任意の部位）までの距離を測定する深度センサーを備える。例えば、入力装置２０１は、赤外線を周囲に照射し、この赤外線の反射波を検知する。そして、入力装置２０１は、照射波と反射波との位相差や、赤外線が発射されてからその反射光が検知されるまでの時間（飛行時間）に基づいて、照射波の発射口から照射波を反射した物体までの距離（以下「深度」ともいう。）を求める。深度センサーによる深度の検知は、赤外線を発射可能な方向のそれぞれについて、所定の時間間隔で繰り返し行われる。
【００５９】
深度センサーを備えることにより、情報処理装置１００は、現実空間に配置された物体の３次元的な位置や形状をより詳しく把握することが可能になる。具体的には、ＣＰＵ １０１が第１の時刻に取得された第１の画像データと第２の時刻に取得された第２の画像データとを画像解析した結果、第１の画像データと第２の画像データの両方にユーザの頭部を表す部分が含まれていることを判別したとする。ＣＰＵ １０１は、第１の画像データ内における頭部の位置と、第２の画像データ内における頭部の位置と、の変化から、カメラから見てユーザの頭部が上下左右のどの方向にどの程度動いたのかを判別することができるだけでなく、第１の画像データにおける頭部の深度と、第２の画像データにおける頭部の深度と、の変化から、カメラから見てユーザの頭部が前後のどちらの方向にどの程度動いたのか（どの程度カメラに近づいたりカメラから遠ざかったりしたのか）を判別することもできる。
【００６０】
このように、ＣＰＵ １０１は、入力装置２０１が備えるカメラによって撮影された画像と、入力装置２０１が備える深度センサーによって測定された距離（深度）と、に基づいて、いわゆるモーションキャプチャーのように、現実空間におけるユーザの３次元的な動きをデジタル化して把握することができる。
【００６１】
例えば、ダンスゲームにおいて、プレイヤがモニター１１１画面の前（つまり入力装置２０１の前）で、指示画像に対応したモーションを適切なタイミングで行うと、ＣＰＵ １０１は、プレイヤタイミングに応じたモーションを行ったことを認識することができる。そして、ＣＰＵ １０１は、認識したモーションに応じて、ゲームを進行することができる。つまり、プレイヤは、タッチパッド型のコントローラなどを持つことなく、自分の体を自由に動かすことによって、所望の指示を入力することができる。入力装置２０１は、プレイヤからの指示入力を受け付ける、いわゆる“コントローラ”の役割を果たす。
【００６２】
（表示画面の説明）
ここで、本実施形態に係るゲーム装置の表示画面について、図４を参照して説明する。なお、本実施形態に係るゲーム装置は、ダンスゲームを実行するゲーム装置であるものとして説明する。
【００６３】
ゲーム装置は、ダンスゲームに必要な種々の情報を表示する。例えば、ゲーム装置は、ゲーム開始前に、楽曲リスト等を表示し、プレイヤに所望の楽曲を選択するように促す。そして、楽曲が選択されると、ゲームが開始される。
【００６４】
図４は、本実施形態に係るゲーム装置の表示画面の一例である。このゲーム画面４００における、基準マーク４０１ａ、４０１ｂ、４０１ｃ、４０１ｄ（以下、必要に応じてこれらを総称して基準マーク４０１という。）は、プレイヤに踏み動作のタイミングを示す固定画像である。踏み位置指示マーク４０２ａ、４０２ｂ、４０２ｃ、４０２ｄ（以下、必要に応じてこれらを総称して踏み位置指示マーク４０２という。）は、画面下方から上方に向かってスクロール表示される。スクロールされた踏み位置指示マーク４０２が、基準マーク４０１と重なるタイミングにおいて、プレイヤが要求された踏み動作を行うと、得点が加算されたり、ゲージ（ダンスメーター４０３）が示す値がアップしたりする。
ダンスメーター４０３は、本実施形態においては、画面の上部に表示される。
また、背景には、ゲーム音楽やゲーム内容に合わせて、背景画像４０４が表示される。
【００６５】
図４のゲーム画面では、踏み位置指示マーク４０２が画面の下方から上方へ移動する場合を示している。しかしながら、踏み位置指示マーク４０２の移動方向はこれに限られず任意である。例えば、踏み位置指示マーク４０２は、画面の上方から下方へ移動してもよい。また、踏み位置指示マーク４０２は、横方向（画面の右側から左側、又は、画面の左側から右側）等へ移動してもよい。なお、踏み位置指示マーク４０２の形状は、一例であり、他の形状であってもよい。
【００６６】
（課題データの構成）
本実施形態においては、ゲーム制御処理を実現するためのデータとして、楽曲データ列と、課題データとが用意される。課題データは、複数の課題時間と、当該複数の課題時間のそれぞれに対応付けられた操作入力の種類と、閾時間と、を含むデータである。課題データの模式図を図５に示す。
【００６７】
課題データ５００は、音楽の分野における楽譜に相当するものである。本実施形態では、課題データ５００は、複数のレコード５０２からなる表５０１と、閾時間５０６（この値をｄとする。）と、終了時刻５０７と、を含む。各レコード５０２には、課題時間５０３、操作入力の種類５０４、状態５０５を記録する領域がある。各レコード５０２は、音符に相当する。
【００６８】
課題時間５０３は、ゲーム開始から、対応する踏み位置指示マーク４０２が基準マーク４０１に到達するまでの時間である。本実施形態においては、課題時間５０３は、垂直同期割込周期を単位とする整数値により示される。なお、課題時間５０３は、ＤＶＤ−ＲＯＭから読み出される情報である。
【００６９】
操作入力の種類５０４は、ゲーム開始から対応付けられた課題時間が経過したときに、マット型コントローラ１０５のボタン３０１a、３０１ｂ、３０１ｃ、３０１ｄのうち、どのボタンをプレイヤが踏むべきかを示すデータである。操作入力の種類５０４は、ＤＶＤ−ＲＯＭから読み出される情報である。操作入力の種類４０４には、操作を行うべきボタンの種類が「１」〜「４」の数字で記録されている。例えば、ボタン３０1aが「１」、ボタン３０２bが「２」、ボタン３０２cが「３」、ボタン３０２dが「４」でそれぞれ示される。なお、ボタンの種類を表す値はこれに限られず、任意の値が対応付けられてもよい。
【００７０】
状態５０５は、各レコード５０２における操作入力の状況を示す。ゲーム開始直後に、状態５０５は「未処理」を表す「０」に初期化され、以降の処理において「成功」を表す「１」、失敗を表す「２」等に変更される。なお、状態を表す値はこれに限られず、任意の値が対応付けられてもよい。
【００７１】
閾時間５０６は、プレイヤによる操作入力と課題時間５０３とのずれの許容値を表す。要求された操作入力が行われたタイミングと、課題時間５０３との時間差が閾時間５０６以下であり、操作入力の種類５０４と押圧されたボタン３０１の種類が一致した場合、操作入力は成功とみなされる。
閾時間ｄは、課題時間５０３を境に、図７に示すように前半のｄ１と後半のｄ２から構成されている。
また、閾時間５０６は、垂直同期割込周期を単位とする整数値で表現される。
【００７２】
終了時刻５０７は、ゲーム開始から、楽曲の再生が終了するまでの時間を示す。なお、終了時刻５０７は、垂直同期割込周期を単位とする整数値で表現される。
【００７３】
（ゲーム装置の構成）
次に、本実施形態のゲーム装置の各部の構成について、図６を参照して説明する。
【００７４】
本実施形態に係る情報処理装置１００は、撮影部６０１、検知部６０４、評価部６０６、表示部６０８、を備える。
【００７５】
撮影部６０１は、上述したようにＣＣＤカメラ１１３等を用いて、プレイヤのプレイ画像を撮影するものである。プレイヤのプレイする様子を一定期間ごとの静止画として撮影された画像が、RAM等に記憶される。撮影は、好ましくは、指示画像が示す動作をとるべきタイミングで行われる。
また、入力装置２０１を用いた場合には、入力装置２０１に内蔵されたカメラを使用することで、同一の効果を奏することができる。
【００７６】
検知部６０４は、プレイヤによる操作がされたか否かを検知し、マット型コントローラ１０５等に内蔵されたセンサにより実現される。
プレイヤによる押圧操作がされた場合には、検知部６０４は、マット型コントローラ１０５上の、当該押圧操作がされたボタン３０１a〜３０１ｄの種類及び押圧されたタイミングを検知する。
すなわち、検知部６０４は、課題時間５０３より閾時間（ｄ１）５０６だけ先行する時刻から閾時間（ｄ２）５０６が経過した時刻の間に、コントローラ１０５の押されたタイミングが含まれるか否かを検知すると同時に、指示された動作と同一のコントローラが押圧されているかを検知する。
【００７７】
評価部６０６は、検知部６０４の検知結果に基づき、例えば、閾時間内の押圧操作であれば、「良」と判断し、閾時間外の押圧操作であれば「不良」と評価する。
例えば、課題時間１１００に該当する閾時間ｄおいて、要求される操作入力の種類は「４」である。閾時間ｄ内で、右方向のボタンに該当するボタン３０２ｄが押圧されると、操作入力は成功と判断され、状態レコードは、１となる。
また、課題時間１２００に該当する閾時間ｄにおいて、要求される操作入力の種類４０４は「３」である。閾時間ｄ内で、上方向のボタンに該当するボタン３０２ｃが押圧されると、操作入力は成功と判定され、状態レコードは、１となる。
【００７８】
図７に示すように閾時間ｄは、さらに段階に応じて３つに分けることも可能である。閾時間ｄ内において、課題時間をＸとした場合、Ｘに一番近い前後の一定範囲をＡ、その外側の一定範囲をＢ、さらにその外側の一定範囲をＣと区分する。
検知されるプレイヤの動作タイミングが、上述のＡ、Ｂ、Ｃのどの範囲に含まれるかによって成績が判断され、その成績に応じた画像処理が行われる。すなわち、検知されるプレイヤの動作タイミングが、どの成績区間に該当するかによって、後述するように、成績に応じた画像フィルタを選択的に適用して、成績により表示される画像に変化をつけることができる。
【００７９】
表示部６０８は、モニター１１１に、課題時間５０３より第１の時間だけ先行する時刻から、課題時間５０３から第２の時間だけ経過した時刻まで、対応する踏み位置指示マーク４０２を画面に表示させる信号を出力する。また、表示部６０８は、背景画像や、各種のメッセージ等を画面に表示させる。
なお、本発明において、表示部６０８は、少なくとも、課題時間５０３において、対応する踏み位置指示マーク３０１を画面に表示させればよい。
【００８０】
表示部６０８は、評価部６０６で評価された成績が一定以上の場合、例えば、閾時間ｄ内のＡ区間及びＢ区間に該当する期間内に入力操作を行った場合には、成績を良と判断して、プレイヤの撮影画像を、画面の背景画像に重畳させて表示することができる。
【００８１】
（ゲーム処理の流れ）
次に、本実施態様に係るゲーム装置の動作について、図８を参照して説明する。図８は、本実施形態に係る情報処理装置１００が実行するゲーム制御処理を示すフローチャートである。
【００８２】
まず、ＣＰＵ １０１は、課題データ５００、楽曲データ、画像データを、ＤＶＤ−ＲＯＭからＲＡＭ １０３の所定のデータ領域に読み出して初期化する（ステップＳ８０１）。
そして、ゲームの再生を開始し、プレイヤはゲーム画面に表示される指示画像に従ってゲームをプレイする（ステップＳ８０２）。ゲーム再生中のゲーム画像は、図４に示すとおりであり、上述したように、固定的に表示された基準マーク４０１と、画面の下方から上方に向かってスクロールする踏み位置指示マーク４０２と、背景画像４０４と、ダンスメーター４０３を表示している。
【００８３】
ゲームの再生が開始されると、ＣＰＵ １０１は、時間計測を始める（ステップＳ８０３）。そして、計測された時刻が、課題データ５００で定めた課題時間５０３と合致するか否かを判断する（ステップＳ８０４）。
【００８４】
課題時間と同じであれば（ＹＥＳ；ステップＳ８０４）、プレイヤの画像を撮影部５０１であるカメラで撮影する（ステップＳ８０５）。課題時間と同じでなければ（ＮＯ；ステップＳ８０４）、時間の計測を継続する。
プレイヤの画像撮影は、図９に示すように、プレイヤ９０１を静止画９０２の状態で撮影され、撮影された画像は、ＲＡＭ １０３等に記憶する。
【００８５】
撮影のタイミングは、本実施態様においては、課題時間と同期しており、課題時間の時に撮影するようになっている。撮影のタイミングは、この時点に限られず、一定間隔毎に撮影を行っても構わない。すなわち、ゲーム開始から一定時間毎に継続的に撮影することも可能である。
【００８６】
そして、検知部６０４が、コントローラの状態を検知する。（ステップＳ８０６）すなわち、指示画像で示されたマークと同一種類のマークに該当するコントローラのボタンで、基準マーク４０１と踏み位置指示マーク４０２が重なったときに、コントローラが押圧されたか否かが検知される。
【００８７】
検知部６０４で検知された結果に基づき、評価部６０６で成績を判断され（ステップＳ８０７）、成績が一定以上であれば、成績「良」（良；ステップＳ８０７）と判断され、画像処理へ移行する（ステップＳ８０８）。成績が一定以上でなければ、成績が「不良」（不良；ステップＳ８０７））と判断され、プレイヤの撮影画像は、表示されず、図４で示したように、基準マーク４１０、踏み位置指示マーク４０２、背景画像４０４、ダンスメータ４０３のみが示された画像を表示する（ステップＳ８１０）。
【００８８】
ここで、成績の良否については、種々の判断基準を採用することができる。すなわち、閾時間ｄ内で、コントローラの入力操作を行ったときを成績「良」とし、閾時間ｄ外にあるときを成績「不良」とする場合、閾時間ｄの「Ａ」及び「Ｂ」の範囲でコントローラの入力を行った時を「良」とし、それ以外を「不良」とする場合、閾時間ｄの「Ａ」の範囲内のみでコントローラの入力を行った場合を「良」とし、それ以外を「不良」とする等の各種の判断基準を採用することができる。
【００８９】
画像処理（ステップＳ８０８）へ移行した場合には、撮影されたプレイヤの画像は、ゲーム画面に貼り付けるのに適した大きさするために、適切な大きさに切り取る画像処理がなされる。すなわち、図９の撮影画像９０２において、プレイヤ９０１が撮影された部分を表示画像９０３としてトリミング等の技術を用いて切り出す。
画像処理の手法としては、画像の一部だけを切り出すトリミング処理や、画像フィルタ６０７を使用した処理等がある。
画像フィルター６０７には、画像を明るくするためのフィルター、白黒にするフィルター、解像度を上下させるフィルター、エッジを強調するフィルター、ソラリゼーションを用いたフィルターなどがある。ここで、ソラリゼーションとは、現像時に、露光をある程度過多にすることによりモノクロの写真の白と黒を反転させる手法である。
【００９０】
画像処理を施されたプレイヤの撮影画像は、ゲーム画面において、背景画像の上に重畳される（ステップＳ８１０）。具体的には、ゲーム画面の画像は、背景画像４０４、表示画像９０３、指示画像４０１及び４０２の順に重ねられる。全ての画像の重畳処理が完了すると、その内容で画面に表示されることになる（ステップＳ８１０）。
図１０は、画像処理が施された撮影画像を、背景画像の上に重畳して、モニターに表示した例を示す。画像は、背景画像４０４、撮影画像９０１、指示画像４０１，４０２の順に重ねられて表示されている。
プレイヤは、成績が一定評価以上の場合には、ゲーム画面に自己の撮影画像を背景画像に重ねて表示された画像として見ることができる。
なお、本実施形態においては、表示される画像は、課題時間と同じ時に撮影された画像であるが、ゲーム開始時から一定間隔毎に撮影する場合には、表示画面に表示される直前に撮影された画像を用いることになる。
【００９１】
本実施態様では、評価部における評価は、「良」「不良」の２つであり、「良」場合のみ、プレイヤの撮影画像が、表示画像として表示される。上述したように、閾時間ｄは、Ａ，Ｂ、Ｃというように数段階に分けてられているので、段階的に評価することが可能である。
従って、「良」と判断される場合を複数段階の区分けすることが可能であり、その評価段階に応じて、プレイヤの撮影画像の表示方法を変更することができる。プレイヤの動作タイミングがＡ、Ｂ、Ｃのいずれかの区間に属するかによって、例えば、Ａ＝成績優秀(Marveruous)、Ｂ＝成績優良（Excellent)、Ｃ＝成績並（Good）と評価される。
【００９２】
画像処理には、トリミングや画像フィルタを用いた手法の処理が可能である。上述した成績Ａ、Ｂ、Ｃに応じて異なる画像処理を行う。
例えば、画像フィルタを用いた場合には、成績が良いほど解像度を上げたり、エッジの強調を強くしたり、ソラリゼーションによる白黒のコントラストを強くしたり等の成績が良いほど派手な演出ができるように、差別化を図った表示をすることができる。
【００９３】
（実施形態２）
次に、本発明のその他の実施形態について説明する。上記の実施形態１では、マット型コントローラを用いた入力装置を用いた場合について説明した。
本実施形態では、上述した入力装置２０１が備えるカメラによって撮影された画像と、入力装置２０１が備える深度センサーによって測定された距離（深度）と、に基づいて、現実空間におけるユーザの３次元的な動きをデジタル化して入力する場合について、説明する。
【００９４】
この場合、プレイヤは、マット型コントローラのようにコントローラを置いた場所でプレイする必要がない。従って、図１１に示すように、プレイヤ１１０１が、画面の隅で撮影される場合もある。このような場合には、プレイヤの位置を確認して、プレイヤが撮影された部分のみを切り取って画像処理する必要がある。
【００９５】
そこで、本発明の実施形態では、さらに、認識部６０２を備える。
認識部６０２は、カメラによって撮影された画像に基づいて、人の顔を認識する。人の顔を認識するためには、一般的に使用されている顔検出技術を用いる。顔検出技術としては、例えば顔の肌色を検出して顔と認識するもの、顔の目・鼻・口等のパーツを特徴点として抽出するもの、多数の顔のサンプルを蓄積してそのサンプルと撮影画像を比較するものなどがある。
【００９６】
本実施形態における情報処理装置１００は、図８に示したフローチャートと同様な処理を行う。しかしながら、撮影処理（ステップＳ８０５）の部分が相違する。本実施例の撮影処理部分について、図１２を参考にして説明する。
【００９７】
プレイヤの画像を撮影すると（ステップＳ１２０１）、認識部６０２によりプレイヤの顔がどこにあるのかを認識する。すなわち、認識部６０２による顔検出技術によって、図１１に示すように顔の部分１１０２が認識され（ステップＳ１２０２）、プレイヤの顔部分１１０２が認識されることで、プレイヤが撮影画像１１０３のどこにいるのかが特定される（ステップＳ１２０３）。尚、撮影された画像は、ＲＡＭ １０３等に保存される。
その後は、コントローラの状況すなわち、操作の種類及びタイミングが判断され（ステップＳ８０６）、成績が評価され、一定の成績以上あれば画像処理の段階に移行する（ステップＳ８０８）。
【００９８】
画像処理の段階（ステップＳ８０８）では、認識部６０２でプレイヤの顔が検出されプレイヤの位置が特定されているので、撮影画像からプレイヤの部分のみ切り取る処理、具体的には、図１１で点線１１０４で示す表示画像を切り取る。表示画像１１０４は、切り取られた後、図８の場合と同様に、背景画像４０４、表示画像１１０４、指示画像４０１及び４０２の順に重ねられる（ステップＳ８０９）。全ての画像の重畳処理が完了すると、その内容で画面に表示されることになる（ステップＳ８１０）。
【００９９】
（実施形態３）
上述の実施形態では、撮影される対象は、プレイヤ１人のみであった。しかし、現実的には、プレイヤがゲームプレイを行う場合には、一人のみでプレイすることは少ない。家庭用テレビゲーム装置でプレイする場合には、周りに家族や友人等がゲームの参加者あるいは観客として存在することが多く、業務用ゲーム装置でプレイする場合には、ゲームセンターに一緒に行った友人あるいは、不特定の観客が周りに存在する。
このような場合には、プレイヤ以外の人物も撮影されることになり、どの人物がプレイヤか判断できず、正式なプレイヤを画面表示できないことがある。本実施態様は、このような場合に好適な実施態様であり、以下、複数人が撮影された場合の処理を具体的に説明する。
【０１００】
本実施形態は、さらに、検出部６０３、判定部６０５を備える。
検出部６０３は、顔を検出した複数の人物のうち、動いている人はどの人物かを検出する。撮影は、一定時間毎に行われ、その画像は保存されるので、時間経過における人物の移動を追跡することができる。
【０１０１】
具体的には、ＣＰＵ １０１が第１の時刻に取得された第１の画像データと第２の時刻に取得された第２の画像データとを画像解析した結果、第１の画像データと第２の画像データの両方にプレイヤの顔を表す部分が含まれていることを判別したとする。ＣＰＵ １０１は、第１の画像データ内における顔の位置と、第２の画像データ内における顔の位置と、の変化から、カメラから見てユーザの顔が上下左右のどの方向にどの程度動いたのかを判別することができる。
尚、カメラを用いて撮影することに加えて、深度センサを使用すれば、更に前後方向の移動も検知することが可能である。
【０１０２】
図１６に、検出部６０３により検出された各人物の顔の動きと、検知部６０４の検知結果からプレイヤを判定するための判定データ１６００を示す表である。
判定データ１６００は、検出時間１６０１と、顔の動きの有無１６０２と、検知有無を示すデータから構成されている。
【０１０３】
検出時間１６０１は、検出部６０４により顔の移動、特に、上下動の動きがあったか否かを判断する時間であり、ゲーム開始からの経過時間を一定間隔毎に示した時間である。検出時間１６０１は、垂直同期割込周期を単位とする整数値により示される。なお、検出時間１６０１は、ＤＶＤ−ＲＯＭから読み出される情報である。また、検出時間１６０１において下線部が引かれた時間は、課題時間５０３である。
【０１０４】
顔の移動の有無の欄１６０２は、顔が認識された人物に対して、任意の認証記号を与え、認証記号が与えられた人物毎に、顔の移動（上下動）の有無を記入する。本実施態様では、顔の認識された人物に対して、Ａ、Ｂ、Ｃ、Ｄの認証記号を付与している。認証記号は、アルファベット、数字等各人物を区別するために、任意の記号を付与することができる。
検出部６０３により顔の動きがあったと判断された場合には、各人物の顔の移動の有無の欄１６０２に「１」、動きがなかったと判断された場合は「０」と記入される。
【０１０５】
検知の有無の欄１６０３は、該当する検出時間において、検知部６０４が、コントローラが押圧されたと判断した場合には、「１」と、押圧されないと判断した場合には、「０」と記入される。
【０１０６】
判定部６０５は、検知部６０４によって検知されたプレイヤの動作（検知の有無）と、検出部６０３により検出した人の顔の移動（顔の移動の有無）が連動しているか否かを判定する。
すなわち、特定の検出時間において、検出部６０３により顔が動いていると判断された人で、検知部６０４でコントローラが押圧されていることが検知されていない場合には、プレイヤの動作とは連動していないと判断されるので、その人物は正式なプレイヤとは判定されない。これらの一連の処理により、撮影画像中の複数の人物のうちだれが正式なプレイヤかということが特定される。
【０１０７】
本実施形態における情報処理装置１００は、図８に示したフローチャートと同様な処理を行う。しかしながら、撮影処理（ステップＳ８０５）の部分が相違する。本実施形態の撮影処理部分ついて、図１３を参考して説明する。
【０１０８】
カメラによりプレイヤが撮影されると（ステップＳ１３０１）、図１４に示すように、プレイヤ１４０１と観客１４０２a〜１４０２ｃが撮影される。そして、認識部６０２により人物の顔がどこにあるのかを認識する（ステップＳ１３０２）。人物の顔部分が検出されることで、各人物がどこにいるのかが特定される。
【０１０９】
人物の顔部分が検出されたときに、各人物の顔に対して認証記号を与えて区別する。本実施形態では、顔が検出された各人物に対して、人物Ａ、人物Ｂ、人物Ｃ、人物Ｄと認証記号を与えて４人の人物を特定する。
【０１１０】
そして、特定の人物について、検出部６０３により、一定時間毎に撮影した顔の移動を検出する（ステップＳ１３０３）。検出は、検出時間の直前に撮影した第１の画像データと、検出時間の時に撮影した第２の画像データを比較して、人物の顔が移動しているか否かを判断する。例えば、検出時間「１１００」の場合、検出時間「１１００」の直前に撮影した第１の画像データと、検出時間「１１００」に撮影した第２の画像データを比較し、人物の顔が移動しているか否かを判断する。
移動していると判断された場合には、顔の移動の有無の欄１６０２の対応する人物の欄に「１」と、移動していないと判断された場合には、顔の移動の欄１６０２の対応する人物の欄に「０」と記入される。
【０１１１】
同時に、検知部６０４は、動作、すなわちコントローラの操作が検知されたか否かを判断する。検知部６０４により動作が検知された場合には、検知有無の欄１６０３の対応する人物の欄に「１」と、動作が検知されない場合には、検知有無の欄１６０３の対応する人物の欄に「０」と記入される。
【０１１２】
判定部６０５は、検知部６０４によって検出されたプレイヤの動きと、検出部６０３によって検出した顔の移動に連動性があるか否かを判断する（ステップＳ１３０４）。
すなわち、検出時間「１１００」の時に、顔の移動があり、検知部６０４による入力検知があった場合には、連動性ありと判断される（ＹＥＳ；ステップＳ１３０４）。顔の移動があっても、検出部６０４による入力検知がなかった場合には、連動性なしと判断され（ＮＯ；ステップＳ１３０４）、再度、顔の移動を検出する。
【０１１３】
これらの動作処理は、各人物毎、すなわち人物Ａ〜人物Ｄまで繰り返し行われる。
図１６によれば、各人物Ａ、Ｂ、Ｃ、Ｄの顔の移動の有無があるか否かの結果と、検出部６０４によるコントローラの操作があったか否かの結果が対比されて、双方とも「１」と表示されているものがあれば連動性があると判断される。
すなわち、図１６において、斜線で示した部分が連動性があると判断される部分である。
【０１１４】
本実施態様の場合には、図１６に示すように、人物Ｃの顔の動きと、検知された動作の連動性が高いので、人物Ｃがプレイヤ１４０１であると特定される（ステップＳ１３０５）。
その後は、コントローラの状態を検知して（ステップＳ８０６）、成績が判断され（ステップＳ８０７）、一定の成績以上あれば画像処理の段階に移行する（ステップＳ８０８）。
【０１１５】
本実施形態では、検出部６０３によるプレイヤの顔の移動の有無と検知部６０４によるコントローラ操作の有無を二値化して求め、判定部６０５によりプレイヤを特定する手法を用いたが、変化を連続的に検知して、より正確に判定することも可能である。
【０１１６】
すなわち、図１７Ａは、横軸に経過時間をとり、縦軸上方向に検出部６０３により検出される特定の人物の顔の上下の移動量をとり、移動の推移を示したグラフである。横軸のｔ１は課題時間１１００を、ｔ２は課題時間１２００を、ｔ３は課題時間１７００を、ｔ４は課題時間１９００を示している。
図１７Ｂは、検知部６０４で検知した検知信号、すなわちプレイヤがボタンを押したか否かの状態を、時系列に沿って示したグラフである。
【０１１７】
図１７Ａにおいて、顔の上下移動の移動量は、課題時間の部分で上方向の動きが大きくなっており、図１７Ｂにおいては、検知部６０４で踏み込んだ信号も課題時間の部分で入力されたことを示している。
このような推移において、図１７Ａで示される顔の上下動の動きをｆ（ｔ）という関数で、図１７Ｂで示される検知値信号の状態をｇ（ｔ）という関数で表すと、両者の相関関係は、∫ｆ(t)ｇ(t)dtと表され、この値が大きいほど、相関関係があるということになる。
また、図１７Ａで示される値と、図１７Ｂで示される値を、課題時間単位で積分すると、すなわちΣｆ(Δｔ・i）ｇ(Δｔ・i）で計算した値は、図１７Ｃで示すことができ、積分値が大きければ、両者は相関関係が大きいと判断される。これらの処理は、判定部６０５で行われ、相関関係が大きいと判断されると、グラフで検知した顔の人物がプレイヤであると特定される。このような処理を人物毎に判断する。
【０１１８】
本実施態様では、プレイヤ１４０１の成績が、一定評価以上であれば、「良」と判断され、対応する撮影画像は、画像処理段階へ移行する。すなわち、図１４に点線で示されるように、プレイヤを含む表示画像１４０３を切り取る。
そして、それを図１５に示すように、背景画像４０４に重ねて貼り付けて、画面に表示する。
【０１１９】
なお、本実施態様でも、成績評価は、「良」「不良」の２段階だけではなく、閾時間ｄ内の区分けＡ、Ｂ、Ｃのいずれかに属するかを判断することで、成績を段階的に評価して、画像表示に反映させることが可能である。
【０１２０】
（実施形態４）
また、上述した実施形態１〜実施形態３までは、プレイヤが１人でプレイすることを前提に説明したが、複数人でプレイすることも可能であり、その場合には、複数のプレイヤが画面に表示されることとなる。
以下、図１８及び図１９を用いて説明する。
【０１２１】
図１８に示すように、プレイヤが２人いる場合、プレイヤＡ（１８０３）は、マット型コントローラ１８０１を使用し、プレイヤＢ（１８０４）は、マット型コントローラ１８０２を使用する。各々のマット型コントローラには、マットが踏まれたか否かを判断する検知部（図示せず）が設けられている。
また、モニタ１１１には、カメラ１１３が備えられており、プレイヤＡ，プレイヤＢを撮影する。
【０１２２】
本実施態様においても、実施形態２及び３と同様に、認識部６０２により顔を認識し顔の部分が検出部６０３により検出される。しかし、プレイヤが２人いるため、検出された顔と、プレイヤを予めひも付ける必要がある。
そのために図１９に示すように、プレイ開始前に、プレイヤを撮影して、顔を認識した画像をモニタ１１１に表示する。プレイヤＡ（１８０３）の撮影画像近傍に矢印を表示し、同時に「コントローラを踏んでください」（１９０２）という指示が表示される。矢印が表示され、指示されたときに、プレイヤＡは、自分のマット型コントローラのいずれかのボタンを踏む。これにより、プレイヤＡの画像とマット型コントローラのひも付けが行われる。
同様に、プレイヤＢ（１８０４）の撮影画像近傍に矢印と指示が表示されるので、プレイヤＢは、自分のマット型コントローラのいずれかのボタンを踏むことで、プレイヤＢの画像とマット型コントローラのひも付けが行われる。
このようなひも付け処理が終了してから、ゲームが開始される。
ゲームの進行自体は、プレイヤ１人で行う場合と同様なステップで進んでいくことも可能である。その場合には、撮影画像とプレイヤの押圧操作が連動していれば、そのプレイヤの画像をモニタに表示する等の処理をプレイヤ毎に個別に行う。
一方、対戦ゲーム特有のゲーム展開を行うことも可能である。
【０１２３】
すなわち、図２０に示すように、ゲーム画面にプレイヤＡ、プレイヤＢの撮影画像自体を指示画像として使用することで、対戦ゲームを楽しむことができる。
図２０において、ゲーム画面２０００上部には、基準マーク４０１が固定的に表示され、画面の下方向から上方向に左右上下を示す踏み位置指示マーク４０２がスクロール表示されている。このスクロール表示される踏み位置指示マーク４０２の一部をプレイヤの撮影画像で置き換えたり、追加するように表示する。プレイヤの撮影画像は、好ましくは、プレイヤの顔部分を撮影画像から切り出して表示し、プレイヤＡの顔表示（２００１）、プレイヤＢの顔表示（２００２）が踏み位置指示マークとして下方向から上方向にスクロール表示される。
ゲーム画面において、枠線２００３の表示部分は、プレイヤＡ用のゲーム画面であり、枠線２００４の表示部分は、プレイヤＢ用のゲーム画面である。
【０１２４】
このようなゲーム画面２０００が表示された状態で、ゲームが行われた場合、プレイヤＡ、Ｂは、各々のゲーム画面表示２００３、２００４に表示された指示画像に従って各々のコントローラを操作し、ゲームを進行していく。
各プレイヤは、ゲーム画面２０００にスクロール表示されたプレイヤＡ及びプレイヤＢの顔表示（２００１、２００２）が、各顔表示が基準マーク４０１と重なった時に、コントローラの対応するボタンを押すことになる。
そして、コントローラを押すタイミングにより成績が評価されて、プレイヤの撮影画像がゲーム画面上に表示されることになる。対戦ゲームでは、プレイヤＡ及びプレイヤＢが顔表示に対してどのタイミングでコントローラボタンを押したかにより、画面に表示される撮影画像が異なってくる。
【０１２５】
すなわち、図２１に示すようにプレイヤＡの顔表示２００１が基準マーク４０１に重なった際に、プレイヤＡのコントローラ操作が評価部６０６により成績が一定以上と判断され、プレイヤＢのコントローラ操作が評価部６０６により成績が一定以下と判断された場合には、プレイヤＡの評価が高いので、プレイヤＡの撮影画像が、ゲーム画面に重畳されて表示される。例えば、図２１に示されるように、プレイヤＡの撮影画像が切り取られる画像処理が施され、ゲーム画面上に表示される（２１０１）。
このような表示をすることにより、プレイヤＡはプレイヤＢに対して、自己の実力をアピールすることができる。
【０１２６】
一方、同じ場面で、プレイヤＡのコントローラ操作もプレイヤＢのコントローラ操作も評価部６０６により一定の成績以上と判断された場合には、プレイヤＢもコントローラ操作に成功しているので、プレイヤＡの撮影画像は表示されない。
また、プレイヤＡのコントローラ操作が一定の成績以下であり、プレイヤＢのコントローラ操作が一定の成績以上であった場合には、プレイヤＢの評価が高いので、プレイヤＡの撮影画像は表示されない。
このとき、プレイヤＢの撮影画像を表示してもよい。このような表示をすることで、プレイヤＢは、自らのコントローラ操作が、プレイヤＡよりも優れていることを誇示することができる。
【０１２７】
また、プレイヤＢの顔画像２００２が、基準マーク４０１上に重なった場合には、上述とは逆の処理がなされる。
尚、プレイヤＡとプレイヤＢの顔画像は、上述したように１つのゲーム中に２つ表示してもよいし、どちらか一方のみ表示してもよい。
【０１２８】
本実施形態によれば、対戦ゲームを通して、どちらのプレイヤがコントローラの操作が巧みであるかを、自らの撮影画像をモニターに表示させることあるいは、相手方のプレイヤの撮影画像をモニターに表示させないことができる。プレイヤは、このようなゲーム方法を実践することで、プレイヤ自身の優位性を誇示することが出来る。
【産業上の利用可能性】
【０１２９】
以上説明したように、撮影されたプレイヤの画像を、プレイ操作の結果に応じてゲーム画面に表示することにより、プレイヤの満足感を満たすのに好適なゲーム装置、ゲーム処理方法、ならびに、プログラムを提供することができる。
【符号の説明】
【０１３０】
１００：情報処理装置
１０１：ＣＰＵ
１０２：ＲＯＭ
１０３：ＲＡＭ
１０４：インターフェース
１０５：マット型コントローラ
１０６：外部メモリ
１０７：画像処理部
１０８：ＤＶＤ−ＲＯＭドライブ
１０９：ＮＩＣ
１１０：音声処理部
１１１：モニタ
１１２：ＲＴＣ
１１３：カメラ
２０１：入力装置
３０１：マット型コントローラのボタン
４０１：基準マーク
４０２：踏み位置指示マーク
４０３：ダンスメータ
４０４：背景画像
５００：課題データ
５０１：表
５０２：レコード
５０３：課題時間
５０４：操作入力の種類
５０５：操作入力の状態
５０６：閾時間
５０７：終了時刻
６０１：撮影部
６０２：認識部
６０３：検出部
６０４：検知部
６０５：判定部
６０６：評価部
６０７：画像フィルタ
６０８：表示部
９０１：プレイヤ
９０２：撮影画像
９０３：表示画像
１１０１：プレイヤ
１１０２：顔検出
１１０３：撮影画像
１１０４：表示画像
１４０１：プレイヤ
１４０２：観客
１４０３：表示画像
１６００：判定データ
１６０１：検出時間
１６０２：顔の移動の有無
１６０３：検知の有無
１８０１：プレイヤＡ用マット型コントローラ
１８０２：プレイヤＢ用マット型コントローラ
１８０３：プレイヤＡ
１８０４：プレイヤＢ
２０００：ゲーム画面
２００１：プレイヤＡの顔表示
２００２：プレイヤＢの顔表示
２００３：プレイヤＡ用ゲーム画面
２００４：プレイヤＢ用ゲーム画面
２１０１：撮影画像
【技術分野】
【０００１】
本発明は、撮影されたプレイヤの画像を、プレイ操作の結果に応じてゲーム画面に表示することにより、プレイヤの満足感を満たすのに好適なゲーム装置、ゲーム制御方法、ならびに、プログラムに関する。
【背景技術】
【０００２】
プレイヤのプレイ結果を評価することは、ゲーム装置においては、一般的に行われている。例えば、特許文献１には、踏み位置と踏み動作タイミングで表わされる課題を画面に表示し、プレイヤが指示に従ってプレイするとダンス感覚を楽しめるゲーム装置が開示されている。このゲーム装置は、プレイヤの踏み動作を検出し、踏み位置と踏み動作タイミングの指示と、プレイヤの実際の踏み動作とのずれによって、プレイヤの動作を採点する。プレイヤは表示される課題に従って体を動かすことにより、再生中の音楽のリズムに合わせてダンスを楽しむことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３００３８５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この種のゲーム装置では、プレイヤのプレイ結果、すなわち、踏み位置と踏み動作タイミングの指示と、プレイヤの実際の踏み動作との「ずれ」がどれだけあるかを評価している。評価結果は、成績の良否に応じて、画面上に点数や文字として表示され、プレイヤは、表示結果を見ることで、自己の巧拙を認識していた。
しかし、これらの評価表示方法は、ゲーム装置一般において、よく用いられる方法であり、より一層、プレイヤの達成感、ゲームへの一体感を満足させることが求められていた。
【０００５】
本発明は、以上のような課題を解決するためのものであり、撮影されたプレイヤの画像を、プレイ操作の結果に応じてゲーム画面に表示することにより、プレイヤの満足感を満たすのに好適なゲーム装置、ゲーム制御方法、ならびに、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係るゲーム装置は、表示部と、検知部と、撮影部と、評価部と、を備える。
【０００７】
表示部では、プレイヤがとるべき動作の種類とそのタイミングを示す指示画像を画面に表示する。ここで、プレイヤがとるべき動作の種類とそのタイミングを示す指示画像とは、画面の特定部分に固定的に表示される基準マークに、一定方向にスクロールする踏み位置指示マークが重なることにより、プレイヤに動作の種類とそのタイミングを示す画像である。基準マーク及び踏み位置指示マークは、複数種類の動作方向を示すマークであり、基準マークと踏み位置指示マークは、同一種類のマークが重なるように配置されている。
【０００８】
例えば、音楽ゲームにおいて、画面に表示された動作方向、すなわち、左右上下を示す踏み位置指示マークが、画面の下方向から上方向へスクロールされる。そして、画面の上部に固定的に表示され、踏み位置指示マークに対応する方向を示す基準マークに重なった時、プレイヤは、その踏み位置指示マークに示された動作方向（例えば、右）と同一の動作方向（右）の入力操作をコントローラで行う。
ここで、コントローラとは、ゲーム実行時に、プレイヤが操作する対象をいい、例えば、マット型のコントローラ、手で把持するタイプのコントローラ又は携帯端末のタッチパネル等である。コントローラには、複数のボタン、キー、フットスイッチ等が配置されていてもよい。 コントローラの操作部には、踏み位置指示マークに対応する方向を指示できるボタン等が設けられている。
また、プレイヤをカメラを用いて撮影し、プレイヤの動作自体を入力装置として機能させるゲーム装置においては、仮想的なコントローラにより指示操作を行うことになる。
【０００９】
検知部では、プレイヤがとった動作の検知をする。
音楽ゲームにおいて、検知部は、プレイヤの押圧したコントローラの種類と、押圧したタイミングを検知するものである。
すなわち、プレイヤは、画面に表示される踏み位置指示マークが基準マークに重なった場合に、コントローラ、例えば、足踏み式のコントローラでは、画面に表示された踏み位置指示マークと同一のマークが表示されたボタンを足で押圧して、入力操作を行う。プレイヤが足で足踏み式のコントローラのボタンを押圧したときに、ボタン下部に内蔵されたセンサにより入力が検知される。
【００１０】
撮影部は、プレイヤを撮影する。撮影手段として、ＣＣＤ（Charge Couple Device Image）カメラ等が用いられる。
【００１１】
すなわち、ゲーム装置には、撮影部であるカメラが取り付けられている。カメラは、プレイヤのプレイ中の画像を、一定間隔で静止画として撮影する。
【００１２】
評価部は、指示画像が指示した動作の種類とそのタイミングと、検知部で検知されたプレイヤがとった動作の種類とそのタイミングとが合致するか否かに基づいて成績を評価する。
【００１３】
すなわち、評価部は、プレイヤが画面に表示された踏み位置指示マークの種類と同一のコントローラ上の操作ボタン等を押圧し、その操作ボタンを押圧したタイミングが、踏み位置指示マークと基準マークが重なったタイミングと合致したかを判断して、プレイヤの成績を評価する。
【００１４】
評価部による評価が所定以上の場合、表示部は、撮影部により撮影された画像を指示画像とともに画面に表示する。
すなわち、表示部は、評価部による成績評価が所定以上であれば、撮影されたプレイヤの撮影画像と指示画像とを同一画面上で表示することで、ゲーム進行と共に、撮影されたプレイヤの画像を表示することができる。
【００１５】
本発明のゲーム装置によれば、プレイヤは、撮影部により撮影された自己の画像を、ゲームプレイの成績評価に応じて、表示部に表示することが可能となり、よりゲームに対する満足感及び一体感を得ることができる。
【００１６】
本発明のゲーム装置は、さらに、認識部と、検出部と、判定部と、を備える。
認識部は、撮影部により撮影した画像に基づいて人の顔を認識し、検出部は、認識部により認識した人の顔の移動を検出し、判定部は、検知部により検知したプレイヤの動作と検出部により検出した人の顔の移動とが連動している場合に、当該人をプレイヤと判定する。
【００１７】
すなわち、ゲーム装置に備えたＣＣＤカメラ等に、顔検出機能を搭載することで、プレイヤの画像を撮影した際に、顔がどこであるかを認識することができる。一般的に、この種のゲーム装置、例えば、業務用ゲーム装置または家庭用テレビゲーム装置では、プレイヤの背後には、観客等のプレイヤ以外の人がいることが多い。したがって、顔検出機能を搭載した撮影装置で撮影した場合に、プレイヤ以外の人の顔も認識することになる。
本願では、検知部により検知したプレイヤの動作と、検出部により検出した人の顔の移動とが連動している場合には、その人をプレイヤとして判定する。
【００１８】
本発明のゲーム装置によれば、顔を認識できる機能を搭載することにより、プレイヤの特定が容易となり、プレイヤの画像の取り込みの精度を高くすることができる。
【００１９】
本発明のゲーム装置は、撮影部により撮影された画像は、評価部による評価に対応付けられる画像フィルタが適用されてから、表示部により、画面に表示される。
【００２０】
本発明のゲーム装置によれば、評価部により評価された成績が良好であるほど、画像フィルタによる演出が派手になる等、成績に応じて画像フィルタを選択的に適用することができるので、プレイヤの満足度を高めることができる。
【００２１】
本発明のゲーム装置は、撮影部は、画面に表示された指示画像が示す動作をとるべきタイミングで、プレイヤの画像を撮影する。
【００２２】
すなわち、撮影するタイミングと指示画像で操作を指示されたタイミングとが合致した状態で撮影を行い、その時の画像を画面に表示する。
【００２３】
本発明のゲーム装置によれば、操作を指示されたタイミング時点でのプレイヤを撮影することができるので、プレイヤ自身が画像を観ることで、自己のプレイの巧拙を画面で確認できるとともに、評価が高い場合には、優れたプレイヤの様子を観客に誇示することができる。
【００２４】
本発明のその他の観点に係る制御方法は、表示部、検知部、撮影部、評価部を有するゲーム装置が実行する制御方法であって、表示工程、検知工程、撮影工程、評価工程を備える。
【００２５】
表示工程では、表示部が、プレイヤがとるべき動作の種類とそのタイミングを示す指示画像を画面に表示し、検知工程では、検知部が、プレイヤがとった動作の検知をし、撮影工程では、撮影部が、プレイヤを撮影し、評価工程では、評価部が、指示画像が指示した動作の種類とそのタイミングと、検知部で検知されたプレイヤがとった動作の種類とタイミングとが合致するか否かに基づいて成績を評価する。
そして、評価工程による評価が所定以上の場合、表示部が、撮影工程により撮影された画像を指示画像とともに画面に表示する。
【００２６】
本発明のその他の観点に係るプログラムは、コンピュータをゲーム装置として機能させ、コンピュータにゲーム制御方法を実行させるように構成し、ゲーム装置は、表示部、検知部、撮影部、評価部を備える。
【００２７】
ここで、表示部は、プレイヤがとるべき動作の種類とそのタイミングを示す指示画像を画面に表示し、検知部は、プレイヤがとった動作の検知をし、撮影部は、プレイヤを撮影し、評価部は、指示画像が指示した動作の種類とそのタイミングと、検知部で検知されたプレイヤがとった動作の種類とそのタイミングが合致するか否かに基づいて成績を評価する。
【００２８】
評価部による評価が所定以上の場合、表示部は、撮影部により撮影された画像を指示画像とともに画面に表示する。
【００２９】
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記録媒体に記録することができる。上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配付・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配付・販売することができる。
【発明の効果】
【００３０】
本発明によれば、撮影されたプレイヤの画像を、プレイ操作の結果に応じてゲーム画面に表示することにより、プレイヤの満足感を満たすのに好適なゲーム装置、ゲーム制御方法、ならびに、プログラムを提供することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態に係るゲーム装置が実現される典型的な情報処理装置の概要構成を示す模式図である。
【図２】本発明の実施形態に係るゲーム装置の外観を示す斜視図である。
【図３】本発明の実施形態に係るゲーム装置に接続可能なマット型コントローラの概要構成を示す模式図である。
【図４】本発明の実施形態に係るゲーム装置の表示画面の一例を示す図である。
【図５】本発明の実施形態に係るゲーム装置の課題データの構成を示す模式図である。
【図６】本発明の実施形態に係るゲーム装置の構成を示すブロック図である。
【図７】本発明の実施形態に係るゲーム装置において、閾時間内の評価区分を示す図である。
【図８】本発明の第１の実施形態に係るゲーム装置が実行するゲーム制御処理を示すフローチャートである。
【図９】本発明の第１の実施形態に係るゲーム装置において、カメラで撮影された画像を示す図である。
【図１０】本発明の第１の実施形態に係るゲーム装置において、撮影画像を画像処理して背景画像に重ねて表示した画面の一例を示す図である。
【図１１】本発明の第２の実施形態に係るゲーム装置において、カメラで撮影された画像を示す図である。
【図１２】本発明の第２の実施形態に係るゲーム装置が実行するゲーム制御処理を示すフローチャートである。
【図１３】本発明の第３の実施形態に係るゲーム装置が実行するゲーム制御処理を示すフローチャートである。
【図１４】本発明の第３の実施形態に係るゲーム装置において、カメラで撮影された画像を示す図である。
【図１５】本発明の第３の実施形態において、撮影画像を画像処理して背景画像に重ねて表示した画面の一例を示す図である。
【図１６】本発明の第３の実施形態において、プレイヤの動作と顔の動きと、の関連を示す図である。
【図１７Ａ】本発明の第３の実施形態において、プレイヤの顔の上下移動量と経過時間との関係を示すグラフである。
【図１７Ｂ】本発明の第３の実施形態において、検知部により検知された信号の状態と経過時間との関係を示すグラフである。
【図１７Ｃ】本発明の第３の実施形態において、プレイヤの顔の上下移動量と検知部により検知された信号との相関関係を示すグラフである。
【図１８】本発明の第４の実施形態において、２人のプレイヤでプレイをする場合の外観図を示す図である。
【図１９】本発明の第４の実施形態において、２人のプレイヤの画像を特定するための画面を示す図である。
【図２０】本発明の第４の実施態様において、２人のプレイヤでプレイをする場合のゲーム画面を示す図である。
【図２１】本発明の第４の実施形態において、２人のプレイヤでプレイをする場合に、プレイヤの撮影画像が背景画像に重ねて表示した画面の一例を示す図である。
【発明を実施するための形態】
【００３２】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００３３】
（実施形態１）
図１はプログラムを実行することにより、本発明の実施形態に係るゲーム装置の機能を果たす典型的な情報処理装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【００３４】
情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ １０２と、ＲＡＭ（Random Access Memory）１０３と、インターフェース１０４と、マット型コントローラ１０５と、外部メモリ１０６と、画像処理部１０７と、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ１０８と、ＮＩＣ（Network Interface Card）１０９と、音声処理部１１０と、モニタ１１１と、ＲＴＣ １１２と、カメラ１１３と、を備える。
【００３５】
ＣＰＵ １０１は、情報処理装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、ＣＰＵ １０１は、レジスタ（図示せず）という高速アクセスが可能な記憶域に対してＡＬＵ（Arithmetic Logic Unit）（図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、ＣＰＵ １０１自身が構成されているものや、コプロセッサを備えて実現するものがある。ＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、情報処理装置１００の電源を入れることにより、本実施形態のゲーム装置が実現される。
【００３６】
ＲＯＭ １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ １０３に読み出してＣＰＵ １０１による実行が開始される。また、ＲＯＭ １０２には、情報処理装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
【００３７】
ＲＡＭ １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、ＣＰＵ １０１は、ＲＡＭ １０３に変数領域を設け、当該変数に格納された値に対して直接ＡＬＵを作用させて演算を行ったり、ＲＡＭ １０３に格納された値を一旦レジスタに格納してからレジスタに対して演算を行い、演算結果をメモリに書き戻す、などの処理を行う。
【００３８】
インターフェース１０４を介して接続されたマット型コントローラ１０５は、プレイヤがゲーム実行の際に行う操作入力を受け付ける。
【００３９】
図３は、床面に設置されたマット型コントローラ１０５を真上から眺めたときのマット型コントローラ１０５の概略図である。マット型コントローラ１０５の所定領域には、“左”を指示する入力をプレイヤから受け付けるボタン３０１ａ、“後”を指示する入力をプレイヤから受け付けるボタン３０１ｂ、“前”を指示する入力をプレイヤから受け付けるボタン３０１ｃ、“右”を指示する入力をプレイヤから受け付けるボタン３０１ｄ、がそれぞれ配置されている。また、図３において点線の円で示した位置が、プレイヤのホームポジションＨＰである。
【００４０】
以下の説明では、ボタン３０１ａ〜３０１ｄがプレイヤによって押圧されている状態を「押圧状態」と呼び、押圧されていない状態を「非押圧状態」と呼ぶこととする。ＣＰＵ １０１は、ボタン３０１のそれぞれについて、押圧状態か非押圧状態かを判別する。
【００４１】
本実施形態では、マット型コントローラ１０５は、床面に配置する形状に限られず、手で把持する形状であってもよい。
【００４２】
インターフェース１０４を介して着脱自在に接続された外部メモリ１０６には、ゲーム等のプレイ状況（過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ（記録）のデータなどが書き換え可能に記憶される。プレイヤは、マット型コントローラ１０５を介して指示入力を行うことにより、これらのデータを適宜外部メモリ１０６に記録することができる。
【００４３】
画像処理部１０７は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ １０１や画像処理部１０７が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０７が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０７に接続されるモニタ１１１へ出力される。これにより、各種の画像表示が可能となる。
【００４４】
ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。ＣＰＵ １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ １０３等に一時的に記憶される。
【００４５】
また、画像演算プロセッサは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
【００４６】
また、仮想空間が３次元にて構成される場合には、当該３次元空間内に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Ｚバッファ法によりレンダリングして、所定の視点位置から仮想空間に配置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速実行も可能である。
【００４７】
さらに、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画したりすることが可能である。
【００４８】
ＮＩＣ １０９は、情報処理装置１００をインターネット等のコンピュータ通信網（図示せず）に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ １０１との仲立ちを行うインターフェース（図示せず）により構成される。
【００４９】
音声処理部１１０は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ（図示せず）から出力させる。また、ＣＰＵ １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。
【００５０】
ＤＶＤ−ＲＯＭに記録された音声データがＭＩＤＩデータである場合には、音声処理部１１０は、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してＰＣＭデータに変換する。ＰＣＭデータは、そのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換を行って、スピーカに出力することにより、音声出力が可能となる。
【００５１】
モニタ１１１は、画像処理部１０７に接続され、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、画像情報を表示する。モニタ１１１は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬディスプレイ（organic Electro-Luminescence display）等により構成され、一般的な置き型ディスプレイの形式又は装着型のＨＭＤの形式で用いられる。
【００５２】
ＲＴＣ １１２は、水晶振動子や発振回路などを備える計時用のデバイスである。ＲＴＣ １１２は、内蔵電池から電源を供給され、情報処理装置１００の電源がオフのときでも動作し続ける。
【００５３】
カメラ１１３は、プレイヤのプレイの様子を、一定間隔毎に静止画として撮影する。
【００５４】
このほか、情報処理装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ １０２、ＲＡＭ １０３、外部メモリ１０６、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。
【００５５】
以上で説明した情報処理装置１００は、いわゆる「家庭用テレビゲーム装置」に相当するものであるが、仮想空間を表示するような画像処理を行うものであれば本発明を実現することができる。したがって、携帯電話、携帯ゲーム機器、カラオケ装置、一般的なビジネス用コンピュータなど、種々の計算機上で本発明を実現することが可能である。
【００５６】
例えば、一般的なコンピュータは、上記情報処理装置１００と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＤＶＤ−ＲＯＭドライブ、及び、ＮＩＣを備え、情報処理装置１００よりも簡易な機能を備えた画像処理部を備え、外部記憶装置としてハードディスクを有する他、フレキシブルディスク、光磁気ディスク、磁気テープ等が利用できるようになっている。また、マット型コントローラ１０５ではなく、キーボードやマウスなどを入力装置として利用する。
【００５７】
図２は、情報処理装置１００にモニター１１１が接続された状態を示す外観図である。モニター１１１には、撮影用のＣＣＤカメラ１１３が備えられている。
ＣＰＵ １０１は、カメラ１１３によって撮影された画像を表す画像データを解析し、画像に含まれるユーザの部位（例えばユーザの手、足、顔など）を判別する。画像解析の手法には、例えば、パターン認識による解析、特徴点の抽出による解析、空間周波数の算出による解析などがある。カメラ１１３による撮影は、ゲームプレイ中に一定間隔毎、継続的に行われる。
【００５８】
また、モニター１１１に、入力装置２０１を接続し、当該入力装置２０１をゲーム画面が表示されるモニター１１１付近に設置してもよい。この入力装置２０１は、マット型コントローラの代わりに用いられる入力装置であり、ユーザの様子などを撮影するカメラを備える。
入力装置２０１は、入力装置２０１からユーザ（もしくはユーザの任意の部位）までの距離を測定する深度センサーを備える。例えば、入力装置２０１は、赤外線を周囲に照射し、この赤外線の反射波を検知する。そして、入力装置２０１は、照射波と反射波との位相差や、赤外線が発射されてからその反射光が検知されるまでの時間（飛行時間）に基づいて、照射波の発射口から照射波を反射した物体までの距離（以下「深度」ともいう。）を求める。深度センサーによる深度の検知は、赤外線を発射可能な方向のそれぞれについて、所定の時間間隔で繰り返し行われる。
【００５９】
深度センサーを備えることにより、情報処理装置１００は、現実空間に配置された物体の３次元的な位置や形状をより詳しく把握することが可能になる。具体的には、ＣＰＵ １０１が第１の時刻に取得された第１の画像データと第２の時刻に取得された第２の画像データとを画像解析した結果、第１の画像データと第２の画像データの両方にユーザの頭部を表す部分が含まれていることを判別したとする。ＣＰＵ １０１は、第１の画像データ内における頭部の位置と、第２の画像データ内における頭部の位置と、の変化から、カメラから見てユーザの頭部が上下左右のどの方向にどの程度動いたのかを判別することができるだけでなく、第１の画像データにおける頭部の深度と、第２の画像データにおける頭部の深度と、の変化から、カメラから見てユーザの頭部が前後のどちらの方向にどの程度動いたのか（どの程度カメラに近づいたりカメラから遠ざかったりしたのか）を判別することもできる。
【００６０】
このように、ＣＰＵ １０１は、入力装置２０１が備えるカメラによって撮影された画像と、入力装置２０１が備える深度センサーによって測定された距離（深度）と、に基づいて、いわゆるモーションキャプチャーのように、現実空間におけるユーザの３次元的な動きをデジタル化して把握することができる。
【００６１】
例えば、ダンスゲームにおいて、プレイヤがモニター１１１画面の前（つまり入力装置２０１の前）で、指示画像に対応したモーションを適切なタイミングで行うと、ＣＰＵ １０１は、プレイヤタイミングに応じたモーションを行ったことを認識することができる。そして、ＣＰＵ １０１は、認識したモーションに応じて、ゲームを進行することができる。つまり、プレイヤは、タッチパッド型のコントローラなどを持つことなく、自分の体を自由に動かすことによって、所望の指示を入力することができる。入力装置２０１は、プレイヤからの指示入力を受け付ける、いわゆる“コントローラ”の役割を果たす。
【００６２】
（表示画面の説明）
ここで、本実施形態に係るゲーム装置の表示画面について、図４を参照して説明する。なお、本実施形態に係るゲーム装置は、ダンスゲームを実行するゲーム装置であるものとして説明する。
【００６３】
ゲーム装置は、ダンスゲームに必要な種々の情報を表示する。例えば、ゲーム装置は、ゲーム開始前に、楽曲リスト等を表示し、プレイヤに所望の楽曲を選択するように促す。そして、楽曲が選択されると、ゲームが開始される。
【００６４】
図４は、本実施形態に係るゲーム装置の表示画面の一例である。このゲーム画面４００における、基準マーク４０１ａ、４０１ｂ、４０１ｃ、４０１ｄ（以下、必要に応じてこれらを総称して基準マーク４０１という。）は、プレイヤに踏み動作のタイミングを示す固定画像である。踏み位置指示マーク４０２ａ、４０２ｂ、４０２ｃ、４０２ｄ（以下、必要に応じてこれらを総称して踏み位置指示マーク４０２という。）は、画面下方から上方に向かってスクロール表示される。スクロールされた踏み位置指示マーク４０２が、基準マーク４０１と重なるタイミングにおいて、プレイヤが要求された踏み動作を行うと、得点が加算されたり、ゲージ（ダンスメーター４０３）が示す値がアップしたりする。
ダンスメーター４０３は、本実施形態においては、画面の上部に表示される。
また、背景には、ゲーム音楽やゲーム内容に合わせて、背景画像４０４が表示される。
【００６５】
図４のゲーム画面では、踏み位置指示マーク４０２が画面の下方から上方へ移動する場合を示している。しかしながら、踏み位置指示マーク４０２の移動方向はこれに限られず任意である。例えば、踏み位置指示マーク４０２は、画面の上方から下方へ移動してもよい。また、踏み位置指示マーク４０２は、横方向（画面の右側から左側、又は、画面の左側から右側）等へ移動してもよい。なお、踏み位置指示マーク４０２の形状は、一例であり、他の形状であってもよい。
【００６６】
（課題データの構成）
本実施形態においては、ゲーム制御処理を実現するためのデータとして、楽曲データ列と、課題データとが用意される。課題データは、複数の課題時間と、当該複数の課題時間のそれぞれに対応付けられた操作入力の種類と、閾時間と、を含むデータである。課題データの模式図を図５に示す。
【００６７】
課題データ５００は、音楽の分野における楽譜に相当するものである。本実施形態では、課題データ５００は、複数のレコード５０２からなる表５０１と、閾時間５０６（この値をｄとする。）と、終了時刻５０７と、を含む。各レコード５０２には、課題時間５０３、操作入力の種類５０４、状態５０５を記録する領域がある。各レコード５０２は、音符に相当する。
【００６８】
課題時間５０３は、ゲーム開始から、対応する踏み位置指示マーク４０２が基準マーク４０１に到達するまでの時間である。本実施形態においては、課題時間５０３は、垂直同期割込周期を単位とする整数値により示される。なお、課題時間５０３は、ＤＶＤ−ＲＯＭから読み出される情報である。
【００６９】
操作入力の種類５０４は、ゲーム開始から対応付けられた課題時間が経過したときに、マット型コントローラ１０５のボタン３０１a、３０１ｂ、３０１ｃ、３０１ｄのうち、どのボタンをプレイヤが踏むべきかを示すデータである。操作入力の種類５０４は、ＤＶＤ−ＲＯＭから読み出される情報である。操作入力の種類４０４には、操作を行うべきボタンの種類が「１」〜「４」の数字で記録されている。例えば、ボタン３０1aが「１」、ボタン３０２bが「２」、ボタン３０２cが「３」、ボタン３０２dが「４」でそれぞれ示される。なお、ボタンの種類を表す値はこれに限られず、任意の値が対応付けられてもよい。
【００７０】
状態５０５は、各レコード５０２における操作入力の状況を示す。ゲーム開始直後に、状態５０５は「未処理」を表す「０」に初期化され、以降の処理において「成功」を表す「１」、失敗を表す「２」等に変更される。なお、状態を表す値はこれに限られず、任意の値が対応付けられてもよい。
【００７１】
閾時間５０６は、プレイヤによる操作入力と課題時間５０３とのずれの許容値を表す。要求された操作入力が行われたタイミングと、課題時間５０３との時間差が閾時間５０６以下であり、操作入力の種類５０４と押圧されたボタン３０１の種類が一致した場合、操作入力は成功とみなされる。
閾時間ｄは、課題時間５０３を境に、図７に示すように前半のｄ１と後半のｄ２から構成されている。
また、閾時間５０６は、垂直同期割込周期を単位とする整数値で表現される。
【００７２】
終了時刻５０７は、ゲーム開始から、楽曲の再生が終了するまでの時間を示す。なお、終了時刻５０７は、垂直同期割込周期を単位とする整数値で表現される。
【００７３】
（ゲーム装置の構成）
次に、本実施形態のゲーム装置の各部の構成について、図６を参照して説明する。
【００７４】
本実施形態に係る情報処理装置１００は、撮影部６０１、検知部６０４、評価部６０６、表示部６０８、を備える。
【００７５】
撮影部６０１は、上述したようにＣＣＤカメラ１１３等を用いて、プレイヤのプレイ画像を撮影するものである。プレイヤのプレイする様子を一定期間ごとの静止画として撮影された画像が、RAM等に記憶される。撮影は、好ましくは、指示画像が示す動作をとるべきタイミングで行われる。
また、入力装置２０１を用いた場合には、入力装置２０１に内蔵されたカメラを使用することで、同一の効果を奏することができる。
【００７６】
検知部６０４は、プレイヤによる操作がされたか否かを検知し、マット型コントローラ１０５等に内蔵されたセンサにより実現される。
プレイヤによる押圧操作がされた場合には、検知部６０４は、マット型コントローラ１０５上の、当該押圧操作がされたボタン３０１a〜３０１ｄの種類及び押圧されたタイミングを検知する。
すなわち、検知部６０４は、課題時間５０３より閾時間（ｄ１）５０６だけ先行する時刻から閾時間（ｄ２）５０６が経過した時刻の間に、コントローラ１０５の押されたタイミングが含まれるか否かを検知すると同時に、指示された動作と同一のコントローラが押圧されているかを検知する。
【００７７】
評価部６０６は、検知部６０４の検知結果に基づき、例えば、閾時間内の押圧操作であれば、「良」と判断し、閾時間外の押圧操作であれば「不良」と評価する。
例えば、課題時間１１００に該当する閾時間ｄおいて、要求される操作入力の種類は「４」である。閾時間ｄ内で、右方向のボタンに該当するボタン３０２ｄが押圧されると、操作入力は成功と判断され、状態レコードは、１となる。
また、課題時間１２００に該当する閾時間ｄにおいて、要求される操作入力の種類４０４は「３」である。閾時間ｄ内で、上方向のボタンに該当するボタン３０２ｃが押圧されると、操作入力は成功と判定され、状態レコードは、１となる。
【００７８】
図７に示すように閾時間ｄは、さらに段階に応じて３つに分けることも可能である。閾時間ｄ内において、課題時間をＸとした場合、Ｘに一番近い前後の一定範囲をＡ、その外側の一定範囲をＢ、さらにその外側の一定範囲をＣと区分する。
検知されるプレイヤの動作タイミングが、上述のＡ、Ｂ、Ｃのどの範囲に含まれるかによって成績が判断され、その成績に応じた画像処理が行われる。すなわち、検知されるプレイヤの動作タイミングが、どの成績区間に該当するかによって、後述するように、成績に応じた画像フィルタを選択的に適用して、成績により表示される画像に変化をつけることができる。
【００７９】
表示部６０８は、モニター１１１に、課題時間５０３より第１の時間だけ先行する時刻から、課題時間５０３から第２の時間だけ経過した時刻まで、対応する踏み位置指示マーク４０２を画面に表示させる信号を出力する。また、表示部６０８は、背景画像や、各種のメッセージ等を画面に表示させる。
なお、本発明において、表示部６０８は、少なくとも、課題時間５０３において、対応する踏み位置指示マーク３０１を画面に表示させればよい。
【００８０】
表示部６０８は、評価部６０６で評価された成績が一定以上の場合、例えば、閾時間ｄ内のＡ区間及びＢ区間に該当する期間内に入力操作を行った場合には、成績を良と判断して、プレイヤの撮影画像を、画面の背景画像に重畳させて表示することができる。
【００８１】
（ゲーム処理の流れ）
次に、本実施態様に係るゲーム装置の動作について、図８を参照して説明する。図８は、本実施形態に係る情報処理装置１００が実行するゲーム制御処理を示すフローチャートである。
【００８２】
まず、ＣＰＵ １０１は、課題データ５００、楽曲データ、画像データを、ＤＶＤ−ＲＯＭからＲＡＭ １０３の所定のデータ領域に読み出して初期化する（ステップＳ８０１）。
そして、ゲームの再生を開始し、プレイヤはゲーム画面に表示される指示画像に従ってゲームをプレイする（ステップＳ８０２）。ゲーム再生中のゲーム画像は、図４に示すとおりであり、上述したように、固定的に表示された基準マーク４０１と、画面の下方から上方に向かってスクロールする踏み位置指示マーク４０２と、背景画像４０４と、ダンスメーター４０３を表示している。
【００８３】
ゲームの再生が開始されると、ＣＰＵ １０１は、時間計測を始める（ステップＳ８０３）。そして、計測された時刻が、課題データ５００で定めた課題時間５０３と合致するか否かを判断する（ステップＳ８０４）。
【００８４】
課題時間と同じであれば（ＹＥＳ；ステップＳ８０４）、プレイヤの画像を撮影部５０１であるカメラで撮影する（ステップＳ８０５）。課題時間と同じでなければ（ＮＯ；ステップＳ８０４）、時間の計測を継続する。
プレイヤの画像撮影は、図９に示すように、プレイヤ９０１を静止画９０２の状態で撮影され、撮影された画像は、ＲＡＭ １０３等に記憶する。
【００８５】
撮影のタイミングは、本実施態様においては、課題時間と同期しており、課題時間の時に撮影するようになっている。撮影のタイミングは、この時点に限られず、一定間隔毎に撮影を行っても構わない。すなわち、ゲーム開始から一定時間毎に継続的に撮影することも可能である。
【００８６】
そして、検知部６０４が、コントローラの状態を検知する。（ステップＳ８０６）すなわち、指示画像で示されたマークと同一種類のマークに該当するコントローラのボタンで、基準マーク４０１と踏み位置指示マーク４０２が重なったときに、コントローラが押圧されたか否かが検知される。
【００８７】
検知部６０４で検知された結果に基づき、評価部６０６で成績を判断され（ステップＳ８０７）、成績が一定以上であれば、成績「良」（良；ステップＳ８０７）と判断され、画像処理へ移行する（ステップＳ８０８）。成績が一定以上でなければ、成績が「不良」（不良；ステップＳ８０７））と判断され、プレイヤの撮影画像は、表示されず、図４で示したように、基準マーク４１０、踏み位置指示マーク４０２、背景画像４０４、ダンスメータ４０３のみが示された画像を表示する（ステップＳ８１０）。
【００８８】
ここで、成績の良否については、種々の判断基準を採用することができる。すなわち、閾時間ｄ内で、コントローラの入力操作を行ったときを成績「良」とし、閾時間ｄ外にあるときを成績「不良」とする場合、閾時間ｄの「Ａ」及び「Ｂ」の範囲でコントローラの入力を行った時を「良」とし、それ以外を「不良」とする場合、閾時間ｄの「Ａ」の範囲内のみでコントローラの入力を行った場合を「良」とし、それ以外を「不良」とする等の各種の判断基準を採用することができる。
【００８９】
画像処理（ステップＳ８０８）へ移行した場合には、撮影されたプレイヤの画像は、ゲーム画面に貼り付けるのに適した大きさするために、適切な大きさに切り取る画像処理がなされる。すなわち、図９の撮影画像９０２において、プレイヤ９０１が撮影された部分を表示画像９０３としてトリミング等の技術を用いて切り出す。
画像処理の手法としては、画像の一部だけを切り出すトリミング処理や、画像フィルタ６０７を使用した処理等がある。
画像フィルター６０７には、画像を明るくするためのフィルター、白黒にするフィルター、解像度を上下させるフィルター、エッジを強調するフィルター、ソラリゼーションを用いたフィルターなどがある。ここで、ソラリゼーションとは、現像時に、露光をある程度過多にすることによりモノクロの写真の白と黒を反転させる手法である。
【００９０】
画像処理を施されたプレイヤの撮影画像は、ゲーム画面において、背景画像の上に重畳される（ステップＳ８１０）。具体的には、ゲーム画面の画像は、背景画像４０４、表示画像９０３、指示画像４０１及び４０２の順に重ねられる。全ての画像の重畳処理が完了すると、その内容で画面に表示されることになる（ステップＳ８１０）。
図１０は、画像処理が施された撮影画像を、背景画像の上に重畳して、モニターに表示した例を示す。画像は、背景画像４０４、撮影画像９０１、指示画像４０１，４０２の順に重ねられて表示されている。
プレイヤは、成績が一定評価以上の場合には、ゲーム画面に自己の撮影画像を背景画像に重ねて表示された画像として見ることができる。
なお、本実施形態においては、表示される画像は、課題時間と同じ時に撮影された画像であるが、ゲーム開始時から一定間隔毎に撮影する場合には、表示画面に表示される直前に撮影された画像を用いることになる。
【００９１】
本実施態様では、評価部における評価は、「良」「不良」の２つであり、「良」場合のみ、プレイヤの撮影画像が、表示画像として表示される。上述したように、閾時間ｄは、Ａ，Ｂ、Ｃというように数段階に分けてられているので、段階的に評価することが可能である。
従って、「良」と判断される場合を複数段階の区分けすることが可能であり、その評価段階に応じて、プレイヤの撮影画像の表示方法を変更することができる。プレイヤの動作タイミングがＡ、Ｂ、Ｃのいずれかの区間に属するかによって、例えば、Ａ＝成績優秀(Marveruous)、Ｂ＝成績優良（Excellent)、Ｃ＝成績並（Good）と評価される。
【００９２】
画像処理には、トリミングや画像フィルタを用いた手法の処理が可能である。上述した成績Ａ、Ｂ、Ｃに応じて異なる画像処理を行う。
例えば、画像フィルタを用いた場合には、成績が良いほど解像度を上げたり、エッジの強調を強くしたり、ソラリゼーションによる白黒のコントラストを強くしたり等の成績が良いほど派手な演出ができるように、差別化を図った表示をすることができる。
【００９３】
（実施形態２）
次に、本発明のその他の実施形態について説明する。上記の実施形態１では、マット型コントローラを用いた入力装置を用いた場合について説明した。
本実施形態では、上述した入力装置２０１が備えるカメラによって撮影された画像と、入力装置２０１が備える深度センサーによって測定された距離（深度）と、に基づいて、現実空間におけるユーザの３次元的な動きをデジタル化して入力する場合について、説明する。
【００９４】
この場合、プレイヤは、マット型コントローラのようにコントローラを置いた場所でプレイする必要がない。従って、図１１に示すように、プレイヤ１１０１が、画面の隅で撮影される場合もある。このような場合には、プレイヤの位置を確認して、プレイヤが撮影された部分のみを切り取って画像処理する必要がある。
【００９５】
そこで、本発明の実施形態では、さらに、認識部６０２を備える。
認識部６０２は、カメラによって撮影された画像に基づいて、人の顔を認識する。人の顔を認識するためには、一般的に使用されている顔検出技術を用いる。顔検出技術としては、例えば顔の肌色を検出して顔と認識するもの、顔の目・鼻・口等のパーツを特徴点として抽出するもの、多数の顔のサンプルを蓄積してそのサンプルと撮影画像を比較するものなどがある。
【００９６】
本実施形態における情報処理装置１００は、図８に示したフローチャートと同様な処理を行う。しかしながら、撮影処理（ステップＳ８０５）の部分が相違する。本実施例の撮影処理部分について、図１２を参考にして説明する。
【００９７】
プレイヤの画像を撮影すると（ステップＳ１２０１）、認識部６０２によりプレイヤの顔がどこにあるのかを認識する。すなわち、認識部６０２による顔検出技術によって、図１１に示すように顔の部分１１０２が認識され（ステップＳ１２０２）、プレイヤの顔部分１１０２が認識されることで、プレイヤが撮影画像１１０３のどこにいるのかが特定される（ステップＳ１２０３）。尚、撮影された画像は、ＲＡＭ １０３等に保存される。
その後は、コントローラの状況すなわち、操作の種類及びタイミングが判断され（ステップＳ８０６）、成績が評価され、一定の成績以上あれば画像処理の段階に移行する（ステップＳ８０８）。
【００９８】
画像処理の段階（ステップＳ８０８）では、認識部６０２でプレイヤの顔が検出されプレイヤの位置が特定されているので、撮影画像からプレイヤの部分のみ切り取る処理、具体的には、図１１で点線１１０４で示す表示画像を切り取る。表示画像１１０４は、切り取られた後、図８の場合と同様に、背景画像４０４、表示画像１１０４、指示画像４０１及び４０２の順に重ねられる（ステップＳ８０９）。全ての画像の重畳処理が完了すると、その内容で画面に表示されることになる（ステップＳ８１０）。
【００９９】
（実施形態３）
上述の実施形態では、撮影される対象は、プレイヤ１人のみであった。しかし、現実的には、プレイヤがゲームプレイを行う場合には、一人のみでプレイすることは少ない。家庭用テレビゲーム装置でプレイする場合には、周りに家族や友人等がゲームの参加者あるいは観客として存在することが多く、業務用ゲーム装置でプレイする場合には、ゲームセンターに一緒に行った友人あるいは、不特定の観客が周りに存在する。
このような場合には、プレイヤ以外の人物も撮影されることになり、どの人物がプレイヤか判断できず、正式なプレイヤを画面表示できないことがある。本実施態様は、このような場合に好適な実施態様であり、以下、複数人が撮影された場合の処理を具体的に説明する。
【０１００】
本実施形態は、さらに、検出部６０３、判定部６０５を備える。
検出部６０３は、顔を検出した複数の人物のうち、動いている人はどの人物かを検出する。撮影は、一定時間毎に行われ、その画像は保存されるので、時間経過における人物の移動を追跡することができる。
【０１０１】
具体的には、ＣＰＵ １０１が第１の時刻に取得された第１の画像データと第２の時刻に取得された第２の画像データとを画像解析した結果、第１の画像データと第２の画像データの両方にプレイヤの顔を表す部分が含まれていることを判別したとする。ＣＰＵ １０１は、第１の画像データ内における顔の位置と、第２の画像データ内における顔の位置と、の変化から、カメラから見てユーザの顔が上下左右のどの方向にどの程度動いたのかを判別することができる。
尚、カメラを用いて撮影することに加えて、深度センサを使用すれば、更に前後方向の移動も検知することが可能である。
【０１０２】
図１６に、検出部６０３により検出された各人物の顔の動きと、検知部６０４の検知結果からプレイヤを判定するための判定データ１６００を示す表である。
判定データ１６００は、検出時間１６０１と、顔の動きの有無１６０２と、検知有無を示すデータから構成されている。
【０１０３】
検出時間１６０１は、検出部６０４により顔の移動、特に、上下動の動きがあったか否かを判断する時間であり、ゲーム開始からの経過時間を一定間隔毎に示した時間である。検出時間１６０１は、垂直同期割込周期を単位とする整数値により示される。なお、検出時間１６０１は、ＤＶＤ−ＲＯＭから読み出される情報である。また、検出時間１６０１において下線部が引かれた時間は、課題時間５０３である。
【０１０４】
顔の移動の有無の欄１６０２は、顔が認識された人物に対して、任意の認証記号を与え、認証記号が与えられた人物毎に、顔の移動（上下動）の有無を記入する。本実施態様では、顔の認識された人物に対して、Ａ、Ｂ、Ｃ、Ｄの認証記号を付与している。認証記号は、アルファベット、数字等各人物を区別するために、任意の記号を付与することができる。
検出部６０３により顔の動きがあったと判断された場合には、各人物の顔の移動の有無の欄１６０２に「１」、動きがなかったと判断された場合は「０」と記入される。
【０１０５】
検知の有無の欄１６０３は、該当する検出時間において、検知部６０４が、コントローラが押圧されたと判断した場合には、「１」と、押圧されないと判断した場合には、「０」と記入される。
【０１０６】
判定部６０５は、検知部６０４によって検知されたプレイヤの動作（検知の有無）と、検出部６０３により検出した人の顔の移動（顔の移動の有無）が連動しているか否かを判定する。
すなわち、特定の検出時間において、検出部６０３により顔が動いていると判断された人で、検知部６０４でコントローラが押圧されていることが検知されていない場合には、プレイヤの動作とは連動していないと判断されるので、その人物は正式なプレイヤとは判定されない。これらの一連の処理により、撮影画像中の複数の人物のうちだれが正式なプレイヤかということが特定される。
【０１０７】
本実施形態における情報処理装置１００は、図８に示したフローチャートと同様な処理を行う。しかしながら、撮影処理（ステップＳ８０５）の部分が相違する。本実施形態の撮影処理部分ついて、図１３を参考して説明する。
【０１０８】
カメラによりプレイヤが撮影されると（ステップＳ１３０１）、図１４に示すように、プレイヤ１４０１と観客１４０２a〜１４０２ｃが撮影される。そして、認識部６０２により人物の顔がどこにあるのかを認識する（ステップＳ１３０２）。人物の顔部分が検出されることで、各人物がどこにいるのかが特定される。
【０１０９】
人物の顔部分が検出されたときに、各人物の顔に対して認証記号を与えて区別する。本実施形態では、顔が検出された各人物に対して、人物Ａ、人物Ｂ、人物Ｃ、人物Ｄと認証記号を与えて４人の人物を特定する。
【０１１０】
そして、特定の人物について、検出部６０３により、一定時間毎に撮影した顔の移動を検出する（ステップＳ１３０３）。検出は、検出時間の直前に撮影した第１の画像データと、検出時間の時に撮影した第２の画像データを比較して、人物の顔が移動しているか否かを判断する。例えば、検出時間「１１００」の場合、検出時間「１１００」の直前に撮影した第１の画像データと、検出時間「１１００」に撮影した第２の画像データを比較し、人物の顔が移動しているか否かを判断する。
移動していると判断された場合には、顔の移動の有無の欄１６０２の対応する人物の欄に「１」と、移動していないと判断された場合には、顔の移動の欄１６０２の対応する人物の欄に「０」と記入される。
【０１１１】
同時に、検知部６０４は、動作、すなわちコントローラの操作が検知されたか否かを判断する。検知部６０４により動作が検知された場合には、検知有無の欄１６０３の対応する人物の欄に「１」と、動作が検知されない場合には、検知有無の欄１６０３の対応する人物の欄に「０」と記入される。
【０１１２】
判定部６０５は、検知部６０４によって検出されたプレイヤの動きと、検出部６０３によって検出した顔の移動に連動性があるか否かを判断する（ステップＳ１３０４）。
すなわち、検出時間「１１００」の時に、顔の移動があり、検知部６０４による入力検知があった場合には、連動性ありと判断される（ＹＥＳ；ステップＳ１３０４）。顔の移動があっても、検出部６０４による入力検知がなかった場合には、連動性なしと判断され（ＮＯ；ステップＳ１３０４）、再度、顔の移動を検出する。
【０１１３】
これらの動作処理は、各人物毎、すなわち人物Ａ〜人物Ｄまで繰り返し行われる。
図１６によれば、各人物Ａ、Ｂ、Ｃ、Ｄの顔の移動の有無があるか否かの結果と、検出部６０４によるコントローラの操作があったか否かの結果が対比されて、双方とも「１」と表示されているものがあれば連動性があると判断される。
すなわち、図１６において、斜線で示した部分が連動性があると判断される部分である。
【０１１４】
本実施態様の場合には、図１６に示すように、人物Ｃの顔の動きと、検知された動作の連動性が高いので、人物Ｃがプレイヤ１４０１であると特定される（ステップＳ１３０５）。
その後は、コントローラの状態を検知して（ステップＳ８０６）、成績が判断され（ステップＳ８０７）、一定の成績以上あれば画像処理の段階に移行する（ステップＳ８０８）。
【０１１５】
本実施形態では、検出部６０３によるプレイヤの顔の移動の有無と検知部６０４によるコントローラ操作の有無を二値化して求め、判定部６０５によりプレイヤを特定する手法を用いたが、変化を連続的に検知して、より正確に判定することも可能である。
【０１１６】
すなわち、図１７Ａは、横軸に経過時間をとり、縦軸上方向に検出部６０３により検出される特定の人物の顔の上下の移動量をとり、移動の推移を示したグラフである。横軸のｔ１は課題時間１１００を、ｔ２は課題時間１２００を、ｔ３は課題時間１７００を、ｔ４は課題時間１９００を示している。
図１７Ｂは、検知部６０４で検知した検知信号、すなわちプレイヤがボタンを押したか否かの状態を、時系列に沿って示したグラフである。
【０１１７】
図１７Ａにおいて、顔の上下移動の移動量は、課題時間の部分で上方向の動きが大きくなっており、図１７Ｂにおいては、検知部６０４で踏み込んだ信号も課題時間の部分で入力されたことを示している。
このような推移において、図１７Ａで示される顔の上下動の動きをｆ（ｔ）という関数で、図１７Ｂで示される検知値信号の状態をｇ（ｔ）という関数で表すと、両者の相関関係は、∫ｆ(t)ｇ(t)dtと表され、この値が大きいほど、相関関係があるということになる。
また、図１７Ａで示される値と、図１７Ｂで示される値を、課題時間単位で積分すると、すなわちΣｆ(Δｔ・i）ｇ(Δｔ・i）で計算した値は、図１７Ｃで示すことができ、積分値が大きければ、両者は相関関係が大きいと判断される。これらの処理は、判定部６０５で行われ、相関関係が大きいと判断されると、グラフで検知した顔の人物がプレイヤであると特定される。このような処理を人物毎に判断する。
【０１１８】
本実施態様では、プレイヤ１４０１の成績が、一定評価以上であれば、「良」と判断され、対応する撮影画像は、画像処理段階へ移行する。すなわち、図１４に点線で示されるように、プレイヤを含む表示画像１４０３を切り取る。
そして、それを図１５に示すように、背景画像４０４に重ねて貼り付けて、画面に表示する。
【０１１９】
なお、本実施態様でも、成績評価は、「良」「不良」の２段階だけではなく、閾時間ｄ内の区分けＡ、Ｂ、Ｃのいずれかに属するかを判断することで、成績を段階的に評価して、画像表示に反映させることが可能である。
【０１２０】
（実施形態４）
また、上述した実施形態１〜実施形態３までは、プレイヤが１人でプレイすることを前提に説明したが、複数人でプレイすることも可能であり、その場合には、複数のプレイヤが画面に表示されることとなる。
以下、図１８及び図１９を用いて説明する。
【０１２１】
図１８に示すように、プレイヤが２人いる場合、プレイヤＡ（１８０３）は、マット型コントローラ１８０１を使用し、プレイヤＢ（１８０４）は、マット型コントローラ１８０２を使用する。各々のマット型コントローラには、マットが踏まれたか否かを判断する検知部（図示せず）が設けられている。
また、モニタ１１１には、カメラ１１３が備えられており、プレイヤＡ，プレイヤＢを撮影する。
【０１２２】
本実施態様においても、実施形態２及び３と同様に、認識部６０２により顔を認識し顔の部分が検出部６０３により検出される。しかし、プレイヤが２人いるため、検出された顔と、プレイヤを予めひも付ける必要がある。
そのために図１９に示すように、プレイ開始前に、プレイヤを撮影して、顔を認識した画像をモニタ１１１に表示する。プレイヤＡ（１８０３）の撮影画像近傍に矢印を表示し、同時に「コントローラを踏んでください」（１９０２）という指示が表示される。矢印が表示され、指示されたときに、プレイヤＡは、自分のマット型コントローラのいずれかのボタンを踏む。これにより、プレイヤＡの画像とマット型コントローラのひも付けが行われる。
同様に、プレイヤＢ（１８０４）の撮影画像近傍に矢印と指示が表示されるので、プレイヤＢは、自分のマット型コントローラのいずれかのボタンを踏むことで、プレイヤＢの画像とマット型コントローラのひも付けが行われる。
このようなひも付け処理が終了してから、ゲームが開始される。
ゲームの進行自体は、プレイヤ１人で行う場合と同様なステップで進んでいくことも可能である。その場合には、撮影画像とプレイヤの押圧操作が連動していれば、そのプレイヤの画像をモニタに表示する等の処理をプレイヤ毎に個別に行う。
一方、対戦ゲーム特有のゲーム展開を行うことも可能である。
【０１２３】
すなわち、図２０に示すように、ゲーム画面にプレイヤＡ、プレイヤＢの撮影画像自体を指示画像として使用することで、対戦ゲームを楽しむことができる。
図２０において、ゲーム画面２０００上部には、基準マーク４０１が固定的に表示され、画面の下方向から上方向に左右上下を示す踏み位置指示マーク４０２がスクロール表示されている。このスクロール表示される踏み位置指示マーク４０２の一部をプレイヤの撮影画像で置き換えたり、追加するように表示する。プレイヤの撮影画像は、好ましくは、プレイヤの顔部分を撮影画像から切り出して表示し、プレイヤＡの顔表示（２００１）、プレイヤＢの顔表示（２００２）が踏み位置指示マークとして下方向から上方向にスクロール表示される。
ゲーム画面において、枠線２００３の表示部分は、プレイヤＡ用のゲーム画面であり、枠線２００４の表示部分は、プレイヤＢ用のゲーム画面である。
【０１２４】
このようなゲーム画面２０００が表示された状態で、ゲームが行われた場合、プレイヤＡ、Ｂは、各々のゲーム画面表示２００３、２００４に表示された指示画像に従って各々のコントローラを操作し、ゲームを進行していく。
各プレイヤは、ゲーム画面２０００にスクロール表示されたプレイヤＡ及びプレイヤＢの顔表示（２００１、２００２）が、各顔表示が基準マーク４０１と重なった時に、コントローラの対応するボタンを押すことになる。
そして、コントローラを押すタイミングにより成績が評価されて、プレイヤの撮影画像がゲーム画面上に表示されることになる。対戦ゲームでは、プレイヤＡ及びプレイヤＢが顔表示に対してどのタイミングでコントローラボタンを押したかにより、画面に表示される撮影画像が異なってくる。
【０１２５】
すなわち、図２１に示すようにプレイヤＡの顔表示２００１が基準マーク４０１に重なった際に、プレイヤＡのコントローラ操作が評価部６０６により成績が一定以上と判断され、プレイヤＢのコントローラ操作が評価部６０６により成績が一定以下と判断された場合には、プレイヤＡの評価が高いので、プレイヤＡの撮影画像が、ゲーム画面に重畳されて表示される。例えば、図２１に示されるように、プレイヤＡの撮影画像が切り取られる画像処理が施され、ゲーム画面上に表示される（２１０１）。
このような表示をすることにより、プレイヤＡはプレイヤＢに対して、自己の実力をアピールすることができる。
【０１２６】
一方、同じ場面で、プレイヤＡのコントローラ操作もプレイヤＢのコントローラ操作も評価部６０６により一定の成績以上と判断された場合には、プレイヤＢもコントローラ操作に成功しているので、プレイヤＡの撮影画像は表示されない。
また、プレイヤＡのコントローラ操作が一定の成績以下であり、プレイヤＢのコントローラ操作が一定の成績以上であった場合には、プレイヤＢの評価が高いので、プレイヤＡの撮影画像は表示されない。
このとき、プレイヤＢの撮影画像を表示してもよい。このような表示をすることで、プレイヤＢは、自らのコントローラ操作が、プレイヤＡよりも優れていることを誇示することができる。
【０１２７】
また、プレイヤＢの顔画像２００２が、基準マーク４０１上に重なった場合には、上述とは逆の処理がなされる。
尚、プレイヤＡとプレイヤＢの顔画像は、上述したように１つのゲーム中に２つ表示してもよいし、どちらか一方のみ表示してもよい。
【０１２８】
本実施形態によれば、対戦ゲームを通して、どちらのプレイヤがコントローラの操作が巧みであるかを、自らの撮影画像をモニターに表示させることあるいは、相手方のプレイヤの撮影画像をモニターに表示させないことができる。プレイヤは、このようなゲーム方法を実践することで、プレイヤ自身の優位性を誇示することが出来る。
【産業上の利用可能性】
【０１２９】
以上説明したように、撮影されたプレイヤの画像を、プレイ操作の結果に応じてゲーム画面に表示することにより、プレイヤの満足感を満たすのに好適なゲーム装置、ゲーム処理方法、ならびに、プログラムを提供することができる。
【符号の説明】
【０１３０】
１００：情報処理装置
１０１：ＣＰＵ
１０２：ＲＯＭ
１０３：ＲＡＭ
１０４：インターフェース
１０５：マット型コントローラ
１０６：外部メモリ
１０７：画像処理部
１０８：ＤＶＤ−ＲＯＭドライブ
１０９：ＮＩＣ
１１０：音声処理部
１１１：モニタ
１１２：ＲＴＣ
１１３：カメラ
２０１：入力装置
３０１：マット型コントローラのボタン
４０１：基準マーク
４０２：踏み位置指示マーク
４０３：ダンスメータ
４０４：背景画像
５００：課題データ
５０１：表
５０２：レコード
５０３：課題時間
５０４：操作入力の種類
５０５：操作入力の状態
５０６：閾時間
５０７：終了時刻
６０１：撮影部
６０２：認識部
６０３：検出部
６０４：検知部
６０５：判定部
６０６：評価部
６０７：画像フィルタ
６０８：表示部
９０１：プレイヤ
９０２：撮影画像
９０３：表示画像
１１０１：プレイヤ
１１０２：顔検出
１１０３：撮影画像
１１０４：表示画像
１４０１：プレイヤ
１４０２：観客
１４０３：表示画像
１６００：判定データ
１６０１：検出時間
１６０２：顔の移動の有無
１６０３：検知の有無
１８０１：プレイヤＡ用マット型コントローラ
１８０２：プレイヤＢ用マット型コントローラ
１８０３：プレイヤＡ
１８０４：プレイヤＢ
２０００：ゲーム画面
２００１：プレイヤＡの顔表示
２００２：プレイヤＢの顔表示
２００３：プレイヤＡ用ゲーム画面
２００４：プレイヤＢ用ゲーム画面
２１０１：撮影画像
【特許請求の範囲】
【請求項１】
プレイヤがとるべき動作の種類とそのタイミングを示す指示画像を画面に表示する表示部、
前記プレイヤがとった動作の検知をする検知部、
前記プレイヤを撮影する撮影部、
前記指示画像が指示した動作の種類とそのタイミングと、前記検知部で検知された前記プレイヤがとった動作の種類とそのタイミングとが合致するか否かに基づいて成績を評価する評価部、
を備え、
前記評価部による評価が所定以上の場合、前記表示部は、前記撮影部により撮影された画像を前記指示画像とともに前記画面に表示する
ことを特徴とするゲーム装置。
【請求項２】
請求項１に記載のゲーム装置であって、
前記撮影部により撮影した画像に基づいて人の顔を認識する認識部、
前記認識部により認識した前記人の顔の移動を検出する検出部、
前記検知部により検知した前記プレイヤの動作と前記検出部により検出した前記人の顔の移動とが連動している場合、前記人を前記プレイヤと判定する判定部、
を備えることを特徴とするゲーム装置。
【請求項３】
請求項１又は２に記載のゲーム装置であって、
前記撮影部により撮影された画像は、前記評価部による評価に対応付けられる画像フィルタが適用されてから、前記表示部により、前記画面に表示される
ことを特徴とするゲーム装置。
【請求項４】
請求項１乃至３のいずれか１項に記載のゲーム装置であって、
前記撮影部は、前記画面に表示された前記指示画像が示す動作をとるべきタイミングで、前記プレイヤの画像を撮影する
ことを特徴とするゲーム装置。
【請求項５】
表示部、検知部、撮影部、評価部を備えるゲーム装置が実行する制御方法であって、
前記表示部が、プレイヤがとるべき動作の種類とそのタイミングを示す指示画像を画面に表示する表示工程、
前記検知部が、前記プレイヤがとった動作の検知をする検知工程、
前記撮影部が、前記プレイヤを撮影する撮影工程、
前記評価部が、前記指示画像が指示した動作の種類とそのタイミングと、前記検知部で検知された前記プレイヤがとった動作の種類とそのタイミングとが合致するか否かに基づいて成績を評価する評価工程、
を備え、
前記評価工程による評価が所定以上の場合、前記表示部が、前記撮影工程により撮影された画像を前記指示画像とともに前記画面に表示する工程
をさらに備えることを特徴とするゲーム制御方法。
【請求項６】
コンピュータを、
プレイヤがとるべき動作の種類とそのタイミングを示す指示画像を画面に表示する表示部、
前記プレイヤがとった動作の検知をする検知部、
前記プレイヤを撮影する撮影部、
前記指示画像が指示した動作の種類とそのタイミングと、前記検知部で検知された前記プレイヤがとった動作の種類とそのタイミングとが合致するか否かに基づいて成績を評価する評価部、
として機能させ、
前記評価部による評価が所定以上の場合、前記表示部を、前記撮影部により撮影された画像を前記指示画像とともに前記画面に表示する
ようにさらに機能させることを特徴とするプログラム。
【請求項１】
プレイヤがとるべき動作の種類とそのタイミングを示す指示画像を画面に表示する表示部、
前記プレイヤがとった動作の検知をする検知部、
前記プレイヤを撮影する撮影部、
前記指示画像が指示した動作の種類とそのタイミングと、前記検知部で検知された前記プレイヤがとった動作の種類とそのタイミングとが合致するか否かに基づいて成績を評価する評価部、
を備え、
前記評価部による評価が所定以上の場合、前記表示部は、前記撮影部により撮影された画像を前記指示画像とともに前記画面に表示する
ことを特徴とするゲーム装置。
【請求項２】
請求項１に記載のゲーム装置であって、
前記撮影部により撮影した画像に基づいて人の顔を認識する認識部、
前記認識部により認識した前記人の顔の移動を検出する検出部、
前記検知部により検知した前記プレイヤの動作と前記検出部により検出した前記人の顔の移動とが連動している場合、前記人を前記プレイヤと判定する判定部、
を備えることを特徴とするゲーム装置。
【請求項３】
請求項１又は２に記載のゲーム装置であって、
前記撮影部により撮影された画像は、前記評価部による評価に対応付けられる画像フィルタが適用されてから、前記表示部により、前記画面に表示される
ことを特徴とするゲーム装置。
【請求項４】
請求項１乃至３のいずれか１項に記載のゲーム装置であって、
前記撮影部は、前記画面に表示された前記指示画像が示す動作をとるべきタイミングで、前記プレイヤの画像を撮影する
ことを特徴とするゲーム装置。
【請求項５】
表示部、検知部、撮影部、評価部を備えるゲーム装置が実行する制御方法であって、
前記表示部が、プレイヤがとるべき動作の種類とそのタイミングを示す指示画像を画面に表示する表示工程、
前記検知部が、前記プレイヤがとった動作の検知をする検知工程、
前記撮影部が、前記プレイヤを撮影する撮影工程、
前記評価部が、前記指示画像が指示した動作の種類とそのタイミングと、前記検知部で検知された前記プレイヤがとった動作の種類とそのタイミングとが合致するか否かに基づいて成績を評価する評価工程、
を備え、
前記評価工程による評価が所定以上の場合、前記表示部が、前記撮影工程により撮影された画像を前記指示画像とともに前記画面に表示する工程
をさらに備えることを特徴とするゲーム制御方法。
【請求項６】
コンピュータを、
プレイヤがとるべき動作の種類とそのタイミングを示す指示画像を画面に表示する表示部、
前記プレイヤがとった動作の検知をする検知部、
前記プレイヤを撮影する撮影部、
前記指示画像が指示した動作の種類とそのタイミングと、前記検知部で検知された前記プレイヤがとった動作の種類とそのタイミングとが合致するか否かに基づいて成績を評価する評価部、
として機能させ、
前記評価部による評価が所定以上の場合、前記表示部を、前記撮影部により撮影された画像を前記指示画像とともに前記画面に表示する
ようにさらに機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−２３９７１９（Ｐ２０１２−２３９７１９Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１４１００（Ｐ２０１１−１１４１００）
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
[ Back to top ]