ゲーム装置、ゲーム装置の制御方法、及びプログラム
【課題】ユーザが意図するようなゲームプレイの補助をすること。
【解決手段】特徴情報取得手段（６２）は、音声入力手段（１４）から入力される音声の特徴情報を取得する。基準特徴情報取得手段（６４）は、予め定められた基準特徴情報を記憶する手段から基準特徴情報を取得する。特徴情報比較手段（６６）は、音声入力手段（１４）から入力される音声の特徴情報と、基準特徴情報と、を比較する。基準ゲーム状況情報取得手段（６８）は、予め定められた基準ゲーム状況情報を記憶する手段から基準ゲーム状況情報を取得する。ゲーム状況比較手段（７０）は、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、を比較する。ゲーム実行手段（７２）は、特徴情報比較手段（６６）の比較結果と、ゲーム状況比較手段（７０）の比較結果と、に基づいてゲーム処理を実行する。
【解決手段】特徴情報取得手段（６２）は、音声入力手段（１４）から入力される音声の特徴情報を取得する。基準特徴情報取得手段（６４）は、予め定められた基準特徴情報を記憶する手段から基準特徴情報を取得する。特徴情報比較手段（６６）は、音声入力手段（１４）から入力される音声の特徴情報と、基準特徴情報と、を比較する。基準ゲーム状況情報取得手段（６８）は、予め定められた基準ゲーム状況情報を記憶する手段から基準ゲーム状況情報を取得する。ゲーム状況比較手段（７０）は、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、を比較する。ゲーム実行手段（７２）は、特徴情報比較手段（６６）の比較結果と、ゲーム状況比較手段（７０）の比較結果と、に基づいてゲーム処理を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゲーム装置、ゲーム装置の制御方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、ゲームの難易度をユーザの技量に応じて変更するゲーム装置が知られている。例えば、特許文献１には、ユーザの操作に供される領域の表示形態をゲームの難易度に基づいて変更し、入力操作の困難性を制御するゲーム装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１１９３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のようなゲーム装置では、ユーザがいったんゲームを開始すると難易度を変更することができない。例えば、ユーザが高すぎる難易度を設定してしまった場合、ユーザは、ゲームが難しすぎるので、ゲームクリアを途中であきらめてしまう可能性がある。ユーザがゲームクリアをあきらめないようにするために、例えば、実行中のゲームがゲームオーバーになりそうな状況になった場合に、自動的に難易度を低下させてユーザのゲームプレイの補助をすることも考えられる。
【０００５】
しかし、ゲームオーバーになりそうな状況であっても、ユーザは、ゲームクリアを途中であきらめるとは限らない。即ち、このような状況であっても、ユーザは、高い難易度のままプレイを継続したい場合がある。この場合には、ゲーム装置は、難易度は変更させずにユーザが高揚するような音声出力処理等を行ってゲームプレイの補助をしたほうがよいと考えられる。したがって、ゲームの状況のみを考慮して難易度を変更させても、ユーザが意図するようなゲームプレイの補助をすることができない可能性がある。
【０００６】
本発明は上記課題に鑑みてなされたものであって、その目的は、ユーザが意図するようなゲームプレイの補助をすることが可能なゲーム装置、ゲーム装置の制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係るゲーム装置は、ゲームを実行するゲーム装置であって、音声入力手段から入力される音声の特徴情報を取得する特徴情報取得手段と、予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得手段と、前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較手段と、予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段と、実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段と、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいてゲーム処理を実行するゲーム実行手段と、を含むことを特徴とする。
【０００８】
また、本発明に係るゲーム装置の制御方法は、ゲームを実行するゲーム装置の制御方法であって、音声入力手段から入力される音声の特徴情報を取得する特徴情報取得ステップと、予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得ステップと、前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較ステップと、予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得ステップと、実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較ステップと、前記特徴情報比較ステップの比較結果と、前記ゲーム状況比較ステップの比較結果と、に基づいてゲーム処理を実行するゲーム実行ステップと、を含むことを特徴とする。
【０００９】
また、本発明に係るプログラムは、ゲームを実行するゲーム装置としてコンピュータを機能させるためのプログラムであって、音声入力手段から入力される音声の特徴情報を取得する特徴情報取得手段、予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得手段、前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較手段、予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段、実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいてゲーム処理を実行するゲーム実行手段、を含むゲーム装置として前記コンピュータを機能させることを特徴とする。
【００１０】
また、本発明に係る情報記憶媒体は、上記プログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。
【００１１】
本発明によれば、ユーザが意図するようなゲームプレイの補助をすることが可能になる。
【００１２】
また、本発明の一態様では、前記ゲーム実行手段は、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、の組み合わせに対応付けて前記ゲーム実行手段が実行すべきゲーム処理を示すゲーム処理情報を記憶する手段から前記ゲーム処理情報を取得する手段を含み、当該取得されたゲーム処理情報が示すゲーム処理を実行する、ことを特徴とする。
【００１３】
また、本発明の一態様では、前記特徴情報及び前記基準特徴情報は、前記音声の音量に関する特徴量情報を含み、前記特徴情報比較手段は、前記音声入力手段から入力される音声の前記特徴量情報と、前記基準特徴情報に含まれる前記特徴量情報と、を比較することを特徴とする。
【００１４】
また、本発明の一態様では、前記ゲーム装置は、ユーザの人数を示すユーザ数情報を取得するユーザ数取得手段を含み、前記基準特徴情報取得手段は、前記ユーザ数情報に基づいて前記基準特徴情報を変更する手段を含む、ことを特徴とする。
【００１５】
また、本発明の一態様では、前記ゲーム装置は、前記音声入力手段から音声が入力された場合の時間に関する入力時間情報を取得する手段を更に含み、前記基準特徴情報取得手段は、前記入力時間情報に基づいて前記基準特徴情報を変更する手段を含む、ことを特徴とする。
【００１６】
また、本発明の一態様では、前記ゲーム装置は、ユーザを撮影する撮影手段から得られる画像に対して表情認識処理を行うことによって、当該ユーザの表情に関する表情情報を取得する表情情報取得手段を更に含み、前記基準特徴情報取得手段は、前記表情情報に基づいて前記基準特徴情報を変更する手段を含む、ことを特徴とする。
【００１７】
また、本発明の一態様では、前記ゲーム実行手段は、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいて前記ゲームの難易度を変更させる、ことを特徴とする。
【図面の簡単な説明】
【００１８】
【図１】本発明に係るゲーム装置とユーザとの位置関係を示す図である。
【図２】ＣＣＤカメラによって生成される撮影画像の一例を示す図である。
【図３】赤外線センサによるユーザの深度の測定方法を説明するための図である。
【図４】赤外線センサによって得られる深度画像の一例を示す図である。
【図５】位置検出装置により生成される３次元位置情報の一例を示す図である。
【図６】３次元位置情報によって特定されるユーザの位置を示す図である。
【図７】ゲーム画面の一例を示す図である。
【図８】注目領域の半径と判定領域の半径とが一致した場合のゲーム画面の一例を示す図である。
【図９】位置検出装置のハードウェア構成を示す図である。
【図１０】ゲーム装置のハードウェア構成を示す図である。
【図１１】ゲーム装置で実現される機能のうち、本発明に関連する機能を示す機能ブロック図である。
【図１２】判定基準情報の一例を示す図である。
【図１３】基準タイミング情報の一例を示す図である。
【図１４】現在状況情報の一例を示す図である。
【図１５】基準特徴情報のデータ格納例を示す図である。
【図１６】基準ゲーム状況情報のデータ格納例を示す図である。
【図１７】ゲーム処理情報のデータ格納例を示す図である。
【図１８】ゲーム装置が実行する処理を示すフロー図である。
【図１９】実施形態２のゲーム装置において実現される機能ブロック図である。
【図２０】実施形態２における基準特徴情報のデータ格納例を示す図である。
【図２１】ゲーム装置が実行する処理を示すフロー図である。
【図２２】実施形態３のゲーム装置において実現される機能ブロック図である。
【図２３】実施形態３における基準特徴情報のデータ格納例を示す図である。
【図２４】ゲーム装置が実行する処理を示すフロー図である。
【図２５】実施形態４のゲーム装置において実現される機能ブロック図である。
【図２６】実施形態４における基準特徴情報のデータ格納例を示す図である。
【図２７】ゲーム装置が実行する処理を示すフロー図である。
【発明を実施するための形態】
【００１９】
［１．実施形態１］
以下、本発明の実施形態の例について図面に基づき詳細に説明する。
【００２０】
［１−１．ゲームシステムの概要］
図１は、本発明に係るゲーム装置２０とユーザ１００との位置関係を示す図である。ゲーム装置２０は、例えば、位置検出装置１とデータ通信可能に接続される。図１に示すように、ユーザ１００は、例えば、位置検出装置１の前方に位置する。
【００２１】
位置検出装置１は、ユーザ１００を撮影して得られる画像と、位置検出装置１とユーザ１００との距離に関する情報と、に基づいて３次元空間におけるユーザ１００の位置に関する情報を生成する。例えば、位置検出装置１は、ユーザ１００の体を構成する複数の部位（例えば、頭や両ひじ等）のそれぞれに対応する３次元座標を検出する。
【００２２】
ゲーム装置２０は、ユーザ１００の位置に関する情報を位置検出装置１から取得する。ゲーム装置２０は、例えば、３次元空間におけるユーザ１００の立ち位置やユーザ１００の各部位の位置を示す３次元座標を位置検出装置１から取得する。ゲーム装置２０は、例えば、この３次元座標の変化に基づいてゲームの制御を行う。
【００２３】
ユーザ１００に対応する３次元座標の変化は、ユーザ１００の動作に対応する。例えば、ユーザ１００が右手を上げる動作をした場合、このユーザ１００の右ひじ及び右手に対応する３次元座標が、主に変化する。
【００２４】
また、位置検出装置１は、ユーザ１００が発した音声を検出し、この音声に対応する音声情報をゲーム装置２０に送信する。本実施形態においては、ゲーム装置２０は、ユーザ１００が発した音声の特徴と、実行中のゲームの状況と、に基づいてユーザ１００を補助するようなゲーム処理を実行する。例えば、ゲーム装置２０は、ゲームオーバーになりそうな状況で、ユーザ１００がパニックになっているような声をあげている場合、ゲームの難易度を低下させる処理を行う。
【００２５】
［１−２．位置検出装置の動作］
まず、位置検出装置１が、３次元空間におけるユーザ１００の位置に関する情報（３次元位置情報）を生成する処理について説明する。
【００２６】
図１に示すように、位置検出装置１は、例えば、ＣＣＤカメラ２、赤外線センサ３、複数のマイクロフォンを含むマイク４等を備える。本実施形態においては、ＣＣＤカメラ２及び赤外線センサ３から得られる情報に基づいてユーザ１００の３次元位置情報が生成される。
【００２７】
ＣＣＤカメラ２は、ＣＣＤイメージセンサを備えた公知のカメラである。ＣＣＤカメラ２は、ユーザ１００を撮影する。ＣＣＤカメラ２は、例えば、所定時間毎（例えば１／６０秒毎）にユーザ１００を撮影した静止画像（例えば、ＲＧＢデジタル画像）を生成する。以降、ＣＣＤカメラ２により生成される静止画像を撮影画像という。
【００２８】
図２は、ＣＣＤカメラ２によって生成される撮影画像の一例を示す図である。図２に示すように、撮影画像には、ＣＣＤカメラ２に対応する視野内に配置された物体が含まれる。なお、説明の簡略化のため図２では省略しているが、ＣＣＤカメラ２の視野内に家具や壁等が含まれている場合、撮影画像には、これらが含まれる。
【００２９】
撮影画像には、互いに直行するＸｓ軸、Ｙｓ軸が設定される。例えば、撮影画像の左上を、原点Ｏｓ（０，０）とする。また例えば、撮影画像の右下を、座標Ｐｍａｘ（Ｘｍａｘ，Ｙｍａｘ）とする。撮影画像に対応する各画素の位置は、それぞれの画素に割り当てられる２次元座標（Ｘｓ−Ｙｓ座標）によって特定される。
【００３０】
赤外線センサ３は、例えば、赤外線発光素子及び赤外線受光素子（例えば、赤外線ダイオード）から構成される。赤外線センサ３は、赤外線光を照射して得られる反射光を検出する。赤外線センサ３は、この反射光の検出結果に基づいて被写体（例えば、ユーザ１００）の深度を測定する。
【００３１】
被写体の深度とは、測定基準位置（例えば、赤外線センサ３の赤外線受光素子の位置）と被写体の位置との距離間隔である。測定基準位置とは、ユーザ１００の位置の深度（奥行き）を測定する際の基準となる位置である。測定基準位置は、位置検出装置１の配置位置と関連付けられる所定の位置であればよい。赤外線センサ３は、例えば、赤外線を照射してから反射光を受光するまでの飛行時間（ＴＯＦ:Time of Flight）に基づいてユーザ１００の深度を測定する。
【００３２】
図３は、赤外線センサ３によるユーザ１００の深度の測定方法を説明するための図である。図３に示すように、赤外線センサ３は、所定間隔でパルス状の赤外線光を照射する。
【００３３】
赤外線センサ３から照射された赤外線光は、赤外線センサ３の発光位置を中心点として球状に広がる。赤外線センサ３から照射された赤外線光は、例えば、ユーザ１００の体等の表面に当たる。これらの表面に当たった赤外線光は、反射する。反射した赤外線光は、赤外線センサ３の赤外線受光素子により検出される。即ち、赤外線センサ３は、照射した赤外線に対して位相が１８０度反転した反射光を検出する。
【００３４】
例えば、図１に示すように、ユーザ１００が両手を前に突き出している場合、この突き出された両手は、ユーザ１００の胴体よりも赤外線センサ３に近い。つまり、ユーザ１００の両手によって反射される赤外線光の飛行時間は、ユーザ１００の胴体によって反射される赤外線光の飛行時間よりも短い。
【００３５】
赤外線センサ３が赤外線光を照射してから反射光を検出するまでの時間（つまり、飛行時間）と、赤外線の速度と、を乗算して半分で割った値は、測定基準位置とユーザ１００との距離間隔（即ち、深度）に相当する。このようにして、赤外線センサ３は、ユーザ１００の深度を測定することができる。
【００３６】
また、例えば、ユーザ１００の後方に物体が配置されていない場合、ユーザ１００の周囲に対して照射された赤外線光は、ユーザ１００の後方にある壁に反射することが考えられる。そこで、反射した赤外線光から得られる深度差が大きい箇所に基づいて被写体（ユーザ１００）の輪郭を検出することもできる。例えば、周囲との深度差が大きい箇所をつなぎ合わせることによって、ユーザ１００の輪郭を検出することができる。
【００３７】
なお、ユーザ１００の輪郭を検出する方法は、上記の例に限られない。他にも例えば、ＣＣＤカメラ２によって得られる撮影画像の各画素の輝度に基づいて輪郭を検知するようにしてもよい。この場合も、例えば、画素間の輝度差が大きい箇所をつなぎ合わせることによってユーザ１００の輪郭を検出することができる。
【００３８】
上記のようにして検出されるユーザ１００の深度に関する情報（深度情報）は、例えば、深度画像として表現される。
【００３９】
図４は、赤外線センサ３によって得られる深度画像の一例を示す図である。図４に示すように、例えば、深度情報は、グレースケールの深度画像（例えば、２５６ビットのグレースケールの画像データ）として表現される。深度画像においては、例えば、赤外線センサ３に近い物体は明るく（輝度が高く）、遠い物体は暗く（輝度が低く）表現される。
【００４０】
例えば、深度画像が２５６ビットのグレースケールの画像データとして表される場合、ユーザ１００の深度は、深度画像の輝度（画素値）に対応する。即ち、例えば、ユーザ１００の深度が２センチ異なる毎に深度画像の輝度が１ビット異なる。この場合、赤外線センサ３は、被写体の深度を２センチ単位で検出することが可能であることを示す。
【００４１】
本実施形態においては、赤外線センサ３は、ＣＣＤカメラ２と同様に所定時間毎（例えば１／６０秒毎）に、深度画像を生成する。ＣＣＤカメラ２により得られる撮影画像と、赤外線センサ３により得られる深度画像と、に基づいてユーザ１００の部位の位置に関する３次元位置情報が生成される。
【００４２】
例えば、ＣＣＤカメラ２により得られる撮影画像（ＲＧＢデータ）に、深度画像が示す深度情報（Ｄ：Ｄｅｐｔｈ）が合算された合成画像（ＲＧＢＤデータ）が生成される。即ち、合成画像は、各画素ごとに、色情報（ＲＧＢそれぞれの明度）と深度情報とを含む。
【００４３】
なお、合成画像が生成される際には、ＣＣＤカメラ２と赤外線センサ３との位置間隔に基づいて、撮影画像と深度画像との少なくとも一方の位置が変更される。例えば、ＣＣＤカメラ２と赤外線センサ３が水平方向に２センチ離れている場合、深度画像の各画素の座標を、２センチに対応する画素数だけ移動させることによって、位置の変更が行われる。
【００４４】
この合成画像に基づいて３次元位置情報が生成される。例えば、３次元位置情報は、ユーザ１００の複数の部位の位置に関する複数の情報を含む。本実施形態においては、３次元位置情報が、ユーザ１００の体の各部位（例えば、頭や肩等）に対応する３次元座標を含む場合を説明する。
【００４５】
具体的には、例えば、次のようにして３次元位置情報が生成される。
【００４６】
まず、先述のように、深度画像に基づいてユーザ１００の輪郭に対応する画素が特定される。ユーザ１００の輪郭によって囲まれる画素は、ユーザ１００の体に対応する画素である。
【００４７】
次いで、撮影画像のうち、上記の輪郭によって囲まれた画素の色情報（ＲＧＢの明度）が参照される。撮影画像の色情報に基づいて、ユーザ１００の体の各部位に対応する画素が特定される。この特定方法としては、例えば、比較画像（教師画像）との比較によって画像の中から対象物（即ち、ユーザ１００の体の各部位）を抽出するパターンマッチング法等、公知の手法を適用可能である。
【００４８】
他にも例えば、撮影画像の各画素の色情報の変化から体の各部位の速度ベクトルを算出し、物体の運動を表すオプティカルフロー（例えば、勾配法又はフィルタリング法）等に基づいて各画素の動きベクトルを検出し、ユーザ１００の頭の位置や両肘の位置等に対応する画素が特定されるようにしてもよい。
【００４９】
上記のようにして特定された画素の画素値（ＲＧＢＤ値）に基づいて、ユーザ１００の頭や両ひじ等の３次元座標が算出される。例えば、この画素値に対して所定の行列変換処理が施されることによって、３次元座標が生成される。この行例変換処理は、例えば、３Ｄグラフィックにおけるワールド座標−スクリーン座標の２つの座標系の変換処理と同様の行例演算によって実行される。つまり、画素の色情報を示すＲＧＢ値と奥行きを示すＤ値と、が所定の行列式に代入されることにより、この画素の３次元座標が算出される。即ち、ユーザ１００の各部位の３次元座標が算出される。
【００５０】
なお、画素値（ＲＧＢＤ値）から画素に対応する３次元座標が算出される方法は、公知の手法を適用可能であり、この算出方法は、上記の例に限られない。他にも例えば、ルックアップテーブルを用いて座標変換が行われるようにしてもよい。
【００５１】
図５は、位置検出装置１により生成される３次元位置情報の一例を示す図である。図５に示すように、３次元位置情報は、例えば、ユーザ１００の各部位と、３次元座標と、が対応付けられて格納される。
【００５２】
図６は、３次元位置情報によって特定されるユーザ１００の位置（頭Ｐ１〜左つま先Ｐ１６）を示す図である。図６に示すように、ユーザ１００の各部位の３次元座標が、３次元位置情報によって特定される。なお、３次元位置情報によって示されるユーザ１００の体の部位は、プレイヤの体（骨格）のうちで予め定められた部位のものであってよい。例えば、この部位は、先述したパターンマッチング法によって特定可能な体の部位であればどこでもよい。
【００５３】
本実施形態においては、先述のように、所定間隔で生成される撮影画像と深度画像とに基づいて、所定間隔毎（例えば、１／６０秒毎）に３次元位置情報が生成される。生成された３次元位置情報は、所定時間毎に位置検出装置１からゲーム装置２０に対して送信される。
【００５４】
ゲーム装置２０は、位置検出装置１から３次元位置情報を受信して、この３次元位置情報に基づいてユーザ１００の体の位置を把握する。つまり、ユーザ１００が踊ったりボールを蹴ったりする動作をすると、この動作に対応するように３次元位置情報が変化するので、ゲーム装置２０は、３次元位置情報の変化に基づいてプレイヤの動きを把握することができる。
【００５５】
また例えば、ゲーム装置２０は、３次元位置情報に含まれるユーザ１００の各部の位置関係に基づいてユーザ１００のポーズ（姿勢）を把握する。このように、ゲーム装置２０は、３次元位置情報に基づいてユーザ１００の体の動きやポーズを把握してゲームを実行する。
【００５６】
また、ユーザ１００が複数人である場合、上記と同様の処理によって、複数のユーザ１００のそれぞれについて３次元位置情報が生成される。例えば、赤外線センサ３によって検出されるユーザ１００の輪郭の個数に基づいて、位置検出装置１は、ユーザ１００の人数を把握することができる。それぞれのユーザ１００に対応する画素に対して上記と同様の処理が実行されることによって、複数のユーザ１００の３次元位置情報を生成することができる。
【００５７】
［１−３．ゲーム装置で実行されるゲーム］
次に、ゲーム装置２０が実行するゲームについて説明する。本実施形態においては、ゲーム装置２０が、ユーザ１００が楽曲（ＢＧＭ）に合わせてゲームキャラクタと同じ動作をする、又は、ゲームキャラクタと同じポーズをとるダンスゲームを実行する例を挙げて説明する。先述のように、ユーザ１００の動作及びポーズは、３次元位置情報に基づいて判別される。
【００５８】
図７は、ゲーム画面５０の一例を示す図である。図７に示すように、ゲーム画面５０は、例えば、ゲームキャラクタ５１、判定領域５２、注目領域５３、ゲージ５４、メッセージ５５、観客キャラクタ５６を含む。ゲームキャラクタ５１は、例えば、判定領域５２の上に立つように配置される。ゲームキャラクタ５１は、所定のアニメーション情報に基づいて種々のポーズをとりながらダンスを踊る。
【００５９】
判定領域５２及び注目領域５３は、例えば、それぞれ同心円（又は同心楕円）である。例えば、注目領域５３の半径Ｒ５３は、判定領域５２の半径Ｒ５２よりも大きい。時間が経過すると、注目領域５３の半径Ｒ５３は、小さくなっていく。即ち、時間が経過すると、注目領域５３は、判定領域５２の大きさに近づくように縮んでいく。やがて、注目領域５３の半径Ｒ５３は、判定領域５２の半径Ｒ５２と一致する。
【００６０】
図８は、注目領域５３の半径Ｒ５３と判定領域５２の半径Ｒ５２とが一致した場合のゲーム画面５０の一例を示す図である。本実施形態のゲームでは、例えば、注目領域５３の半径Ｒ５３と、判定領域５２の半径Ｒ５２が一致するタイミングは、ユーザ１００が、ゲームキャラクタ５１と類似の動作をすべき、又は、ゲームキャラクタ５１と類似のポーズをとるべきタイミング（以降、単に基準タイミングという。）になっている。
【００６１】
このため、注目領域５３の半径Ｒ５３と、判定領域５２の半径Ｒ５２が一致するタイミングで、ユーザ１００がゲームキャラクタ５１と類似の動作をした場合、又は、ゲームキャラクタ５１と類似のポーズを取っていた場合、このユーザ１００に得点が加算される。なお、ユーザ１００が動作をしたタイミング又はポーズをとったタイミングと、基準タイミングと、のずれ具合に応じて加算される得点が異なるようにしてもよい。
【００６２】
例えば、図８の例の場合、ユーザ１００が、ゲームキャラクタ５１と同様に両手を上げていた場合、ユーザ１００に得点が加算される。加算された得点は、例えば、ゲージ５４に反映される。例えば、ゲージ５４のうち斜線で示す領域が、ユーザ１００の得点を示す。また例えば、得点が加算された場合、観客キャラクタ５６が喜ぶようなアニメーション処理が行われる。
【００６３】
一方、例えば、基準タイミングにおいて、ユーザ１００が、ゲームキャラクタ５１と類似のポーズを取ることができなかった場合、このユーザ１００の得点が減少する。例えば、ゲージ５４のうち斜線で示す領域が、得点の減少に伴って減少する。また例えば、得点が減少された場合、観客キャラクタ５６が、がっかりするようなアニメーション処理が行われる。
【００６４】
ユーザ１００の得点が所定範囲（例えば、０）になった場合、ゲームオーバーとなる。また、ユーザ１００が連続して得点を加算した場合、この回数（コンボ数）がメッセージ５５として表示される。
【００６５】
基準タイミングが到来した後、注目領域５３の半径Ｒ５３は、再び、判定領域５２の半径Ｒ５２よりも大きくなる。つまり、注目領域５３と判定領域５２との大小関係は、図７のように元に戻る。そして、注目領域５３の半径Ｒ５３は、次の基準タイミングが近づくにつれて注目領域５３の半径Ｒ５３が少しずつ小さくなっていく。以降のゲーム処理は、上記の繰り返しとなる。
【００６６】
また、本実施形態においては、ゲーム装置２０が実行するゲームには、難易度が設定される。難易度は、例えば、ゲームプレイの困難性の程度を示す数値である。難易度が比較的高い場合、例えば、基準タイミングが訪れる間隔が短くなる。この場合、ユーザ１００は、短い時間でたくさんポーズをとらなければならないので、ゲームが比較的難しくなる。一方、難易度が比較的低い場合、例えば、基準タイミングが訪れる間隔が長くなる。この場合、ユーザ１００は、あまりたくさんポーズをとらなくてよいので、ゲームが比較的簡単になる。
【００６７】
なお、上記では、基準タイミングが近づくにつれて、注目領域５３の半径Ｒ５３が少しずつ小さくなっていく例を挙げたが、ゲーム画面５０は、基準タイミングを案内することができる表示をすればよい。例えば、基準タイミングが近づくにつれて注目領域５３の半径Ｒ５３が少しずつ大きくなっていくようにしてもよい。他にも例えば、基準タイミングを案内する画像（案内画像）が、基準タイミングに対応する領域に近づいていくようにしてもよい。
【００６８】
本実施形態においては、上記のように実行されるゲームが所定の状況になり、かつ、ユーザ１００が発した音声の特徴情報が所定の特徴を示しているである場合、ゲームの状況とユーザ１００の状態との組み合わせに対応付けられたゲーム処理が実行される。音声の特徴情報とは、音声の特徴を示す指標の役割を果たし、例えば、音声の音量や波形の振幅のような音の特徴を定量的に評価するための特徴量である。
【００６９】
例えば、得点が少なくなった状態で、ユーザ１００が「まだまだ！」という大きく高揚するような音声を発した場合、観客キャラクタ５６がユーザ１００を応援するようなアニメーション処理（ゲーム処理）が実行される。ユーザ１００が、このような大きな声を発する場合、得点が少なくなってもゲームクリアをあきらめていないことが考えられるので、このユーザ１００が、観客キャラクタ５６の応援を受けながら心地よくゲームをプレイすることができるようになる。
【００７０】
他にも例えば、得点が少なくなった状態で、ユーザ１００が「もうだめだ」という小さく残念そうな音声を発した場合、ゲームの難易度を低下させるゲーム処理が実行される。ユーザ１００が、このような小さな声を発する場合、得点が少なくなりゲームクリアをあきらめかけていることが考えられるので、例えば、基準タイミングが訪れる時間間隔を広げるようなゲーム処理が実行され、このユーザ１００が、ゲームをあきらめずにプレイすることができるようになる。
【００７１】
以降、上記の機能を実現する技術について詳細に説明する。まず、位置検出装置１及びゲーム装置２０の構成について説明する。
【００７２】
［１−４．位置検出装置の構成］
図９は、位置検出装置１のハードウェア構成を示す図である。図９に示すように、位置検出装置１は、制御部１０、記憶部１１、撮影部１２、深度測定部１３、音声入力部１４、通信インタフェース部１５から構成される。位置検出装置１の各構成要素は、バス１６によってデータ送受信可能に接続される。
【００７３】
制御部１０は、例えばＣＰＵ（Central Processing Unit）等から構成される。制御部１０は、記憶部１１に記憶されるオペレーティングシステム、各種プログラムに基づいて位置検出装置１の各部を制御する。
【００７４】
記憶部１１は、オペレーティングシステムや撮影部１２、深度測定部１３を動作させるためのプログラム、各種パラメータを記憶する。また、記憶部１１は、撮影画像及び深度画像に基づいて３次元位置情報を生成するためのプログラムを記憶する。
【００７５】
撮影部１２は、ＣＣＤカメラ２等から構成される。撮影部１２は、例えば、ユーザ１００の撮影画像を生成する。撮影画像は、例えば、記憶部１１に記憶される。
【００７６】
深度測定部１３は、赤外線センサ３等から構成される。深度測定部１３は、例えば、赤外線センサ３により得られる飛行時間に基づいて深度画像を生成する。深度画像は、例えば、記憶部１１に記憶される。
【００７７】
制御部１０は、先述のように、撮影部１２により生成される撮影画像と、深度測定部１３により生成される深度画像と、に基づいて、３次元位置情報を生成する。具体的には、まず、制御部１０は、撮影画像に基づいてユーザ１００の各部（例えば、頭や両ひじ）に対応する画素の位置を特定する。
【００７８】
次いで、制御部１０は、この特定された画素のＲＧＢＤ値に基づいて座標変換処理を実行して３次元座標を算出する。この座標変換処理は、先述のように、行列演算に基づいた処理である。これらの一連の処理によって、３次元位置情報が、所定時間毎（例えば、１／６０秒毎）に生成される。
【００７９】
音声入力部１４は、マイク４等から構成される。例えば、音声入力部１４は、複数のマイクロフォン（いわゆるアレイマイク。例えば、３つ。）に基づいて検出した音声のずれ時間に基づいて、ユーザ１００が音声を発した位置を特定することができる。
【００８０】
音声入力部１４が受け付けたユーザ１００の音声を示す音声情報は、ゲーム装置２０に送信される。位置検出装置１からゲーム装置２０に対して送信される音声情報としては、所定周波数ごとにサンプリングされたデジタル形式のデータであってもよいし、音声の波形を示すアナログ形式のデータであってもよい。
【００８１】
また、音声入力部１４のマイク４としては、ＣＣＤカメラ２の視線方向と同じ方向にある発音源からの音を検知する単一指向性のマイクを適用可能である。
【００８２】
また、音声入力部１４は、所定周波数成分の音成分を除去するバンドパスフィルタを備えていてもよい。例えば、ゲーム音楽に対応する周波数成分を除去し、人間の声のみを検出するようにしてもよい。
【００８３】
即ち、例えば、ユーザ１００がゲームをプレイする部屋には、ゲーム音楽が出力されているので、このゲーム音楽やノイズを除去することによって、ユーザ１００の音声のみを取得することができる。特定の音を除去する手法としては、フィードバック回路によってキャンセリングを行う方法等、公知の種々の手法を適用可能である。また例えば、位置検出装置１ではなくゲーム装置２０によって、ゲーム音楽の音成分が除去される処理が行われるようにしてもよい。
【００８４】
通信インタフェース部１５は、ゲーム装置２０に対して３次元位置情報や音声情報等の各種データを送信するためのインタフェースである。
【００８５】
［１−５．ゲーム装置の構成］
ゲーム装置２０は、例えば、家庭用ゲーム機（据置型ゲーム機）、携帯用ゲーム機、携帯電話機、携帯情報端末（ＰＤＡ）、又はパーソナルコンピュータによって実現される。図１０は、ゲーム装置２０のハードウェア構成を示す図である。図１０に示すように、ゲーム装置２０は、制御部２１、主記憶部２２、補助記憶部２３、光ディスク再生部２４、通信インタフェース部２５、操作部２６、表示部２７、及び音声出力部２８を含む。
【００８６】
制御部２１は、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）、及びＳＰＵ（Sound Processing Unit）等を含む。制御部２１は、オペレーティングシステムやその他のプログラムに従って各種処理を実行する。
【００８７】
主記憶部２２は、例えば、ＲＡＭ（Random Access Memory）を含む。主記憶部２２は、補助記憶部２３又は光ディスク（情報記憶媒体）から読み出されたプログラムやデータを記憶する。また、主記憶部２２は、処理の過程で必要なデータを記憶するワークメモリとしても用いられる。また例えば、主記憶部２２は、位置検出装置１から受信される３次元位置情報を、受信時間と対応付けて一時的に記憶する。
【００８８】
補助記憶部２３は、例えば、ハードディスク装置（情報記億媒体）を含む。補助記憶部２３は、例えば、位置検出装置１から受信された音声情報を記憶する。
【００８９】
光ディスク再生部２４は、光ディスクに記憶されたプログラムやデータを読み取る。光ディスクには、例えば、ゲームプログラムが記憶されている。
【００９０】
通信インタフェース部２５は、ゲーム装置２０を通信ネットワークに通信接続するためのインタフェースである。ゲーム装置２０は、通信インタフェース部２５を介して３次元位置情報や音声情報を、位置検出装置１から取得する。
【００９１】
操作部２６は、ユーザ１００が操作を行うためのものである。操作部２６は、例えばゲームコントローラ、タッチパネル、マウス、又はキーボード等を含む。
【００９２】
表示部２７は、例えば、家庭用テレビ受像機又は液晶表示パネル等である。表示部２７は、制御部２１の指示に従って画面を表示する。
【００９３】
音声出力部２８は、例えば、スピーカ又はヘッドホン等を含む。音声出力部２８は、補助記憶部２３から読み出された音声情報や、光ディスクに記憶されたゲーム音楽等を制御部２１の指示に従って出力する。
【００９４】
上記のように、本実施形態においては、ゲームの実行に際して必要なプログラムやデータは、光ディスクを介してゲーム装置２０に供給される場合を説明する。なお、これらのプログラムやデータは、他の情報記憶媒体（例えば、メモリカード）を介してゲーム装置２０に供給されるようにしてもよい。または、プログラムやデータは、通信ネットワークを介して遠隔地からゲーム装置２０に供給されるようにしてもよい。
【００９５】
ゲーム装置２０では、光ディスクから読み出されたゲームプログラムによってゲームが実行される。例えば、ゲーム装置２０においては、ゲームキャラクタ５１と同じポーズをとるようなダンスゲーム（図７、図８）が実行される。
【００９６】
［１−６．ゲームシステムにおいて実現される機能］
次に、ゲーム装置２０において実現される機能について説明する。図１１は、ゲーム装置２０で実現される機能のうち、本発明に関連する機能を示す機能ブロック図である。図１１に示すように、ゲーム装置２０は、ゲームデータ記憶部６０、特徴情報取得部６２、基準特徴情報取得部６４、特徴情報比較部６６、基準ゲーム状況情報取得部６８、ゲーム状況比較部７０、及びゲーム実行部７２を含む。
【００９７】
［１−６−１．ゲームデータ記憶部］
ゲームデータ記憶部６０は、例えば、主記憶部２２、補助記憶部２３、及び光ディスクを主として実現される。ゲームデータ記憶部６０は、ゲームを実行するために必要な情報やデータを記憶する。例えば、ゲームデータ記憶部６０は、ゲームキャラクタ５１の動きを示すアニメーション情報を記憶する。
【００９８】
また例えば、本実施形態に係るゲームは、主に、ゲームデータ記憶部６０に記憶される以下の６つの情報に基づいて実行される。
（１）判定基準情報（図１２）
（２）基準タイミング情報（図１３）
（３）現在状況情報（図１４）
（４）基準特徴情報（図１５）
（５）基準ゲーム状況情報（図１６）
（６）ゲーム処理情報（図１７）
【００９９】
以下、上記の６つの情報について説明する。
【０１００】
［判定基準情報］
例えば、ゲームデータ記憶部６０は、３次元位置情報に基づいてユーザ１００の動作又はポーズを判断する際の基準（条件）となる判定基準情報を記憶する。
【０１０１】
図１２は、判定基準情報の一例を示す図である。図１２に示すように、判定基準情報は、例えば、ユーザ１００の動作又はポーズを識別する情報と、ユーザ１００の３次元位置情報に関する判定基準と、を対応付けたものである。判定基準とは、３次元位置情報が満たすべき条件である。判定基準としては、例えば、３次元位置情報に含まれるユーザ１００の各部位の３次元座標の変化速度、変化量、変化方向を示す情報や、３次元空間におけるユーザ１００の各部位の位置関係を示す情報である。
【０１０２】
制御部２１は、３次元位置情報が示す各部位の変化や位置関係が、判定基準情報に含まれる判定基準を満たすか否か、に基づいてユーザ１００の動作やポーズを判定する。例えば、ユーザ１００の両ひじ及び両手の３次元座標が、上方に所定速度で所定距離の変化をした場合、制御部２１は、ユーザ１００が両手を上げたと判定する。また例えば、ユーザ１００の頭の３次元座標と両手の３次元座標とが所定の位置関係にあった場合、制御部２１は、ユーザ１００がファイティングポーズをとっていると判定する。
【０１０３】
［基準タイミング情報］
また、ゲームデータ記憶部６０は、ユーザ１００が、どのタイミングでどのような動作をすべきか又はポーズをとるべきか、を識別するための基準タイミング情報を記憶する。
【０１０４】
図１３は、基準タイミング情報の一例を示す図である。図１３に示すように、基準タイミング情報には、基準タイミング（時間）と、ユーザ１００がすべき動作又はポーズを識別する情報と、が対応付けられている。基準タイミングは、例えば、ゲームが開始されてからの経過時間が格納される。図１３のデータ格納例では、ゲームが開始されてから時間ｔ１が経過した場合、ユーザ１００は両手を上げるべきであることを示す。
【０１０５】
先述したアニメーション情報は、基準タイミング情報に基づいて作成されている。即ち、基準タイミングが訪れた場合、ゲームキャラクタ５１が、この基準タイミングに対応付けられている動作又はポーズと類似した動作又はポーズをとるようになっている。
【０１０６】
ゲーム実行部７２は、アニメーション情報や基準タイミング情報に基づいてゲーム画面５０の表示制御を行う。具体的には、ゲーム実行部７２は、例えば、アニメーション情報に基づいてゲームキャラクタ５１の画像を表示させる。また例えば、ゲーム実行部７２は、現在の時間と基準タイミングとの時間差に基づいて、注目領域５３の半径Ｒ５３の大きさ制御する。
【０１０７】
［現在状況情報］
また、ゲームデータ記憶部６０は、ゲーム状況を示すゲーム状況情報を現在状況情報として記憶する。なお、本実施形態における「ゲーム状況」とは、ゲーム画面５０の表示状況やゲームの進行状況（経過状況）を意味する。
【０１０８】
図１４は、現在状況情報の一例を示す図である。図１４に示すように、例えば、下記に示す情報が現在状況情報に含まれる。
（１）得点情報（例えば、現在のユーザ１００の得点や、コンボ数を示す情報等）
（２）時間情報（例えば、ステージクリアまでの残り時間や、ステージクリアまでに訪れる基準タイミングの回数等）
（３）表示情報（例えば、判定領域５２の半径Ｒ５２や注目領域５３の半径Ｒ５２等）
（４）ゲーム経過情報（例えば、得点が加算又は減少されていく様子を示す情報や、ミスをした回数を示す情報等）
【０１０９】
なお、実行中のゲームにおけるゲーム状況は、例えば、上記の現在状況情報に基づいて判別される。ゲーム状況の判別方法は、現在状況情報に格納される各値に基づいて予め定められた方法で判別されるようにすればよい。例えば、得点情報が示す得点が基準値よりも低いか否かによって、ゲーム状況が判定される。また例えば、残り時間が所定時間以内であるか否かによって、ゲーム状況が判定される。
【０１１０】
ゲームデータ記憶部６０に記憶される現在状況情報は、例えば、後述するゲーム実行部７２によって内容が更新される。更新された現在状況情報は、例えば、更新時間と対応付けられてゲームデータ記憶部６０に記憶されるようにしてもよい。この場合、現在状況情報が更新される度に、現在状況情報が蓄積されることになる。これにより、ゲーム装置２０は、現在及び過去のゲーム状況を把握することができる。
【０１１１】
なお、現在状況情報のデータ形式は、ゲーム作成者によって予め定められたものであればよい。つまり、ゲーム状況を示すための情報の形式は、図１４に示す例に限られない。ゲームの状況を示すための情報の形式は、ゲーム装置２０において実行されるゲームの種類に応じて適宜変更可能である。
【０１１２】
［基準特徴情報］
また例えば、ゲームデータ記憶部６０は、音声の特徴情報を示す基準特徴情報を記憶する。音声の特徴情報とは、ゲーム装置２０がユーザ１００の状態を判定する際に使用される特徴パラメータである。基準特徴情報とは、ゲーム実行部７２がゲーム処理を実行するか否かの条件となる音声の特徴情報である。
【０１１３】
図１５は、基準特徴情報のデータ格納例を示す図である。図１５に示すように、基準特徴情報は、例えば、音声が示すユーザ１００の状態と、音声の特徴情報（例えば、基準特徴量）と、が対応付けられて格納される。本実施形態においては、基準特徴情報が示す音声の特徴情報が、音声の音量に関する特徴量情報を含む場合を説明する。音声情報が示す音量は、例えば、音声の波形の振幅に基づいて取得される。
【０１１４】
図１５のデータ格納例では、例えば、音声情報が示す音声の音量が、１０段階に分けられている。以降では、１段階目が最も音量が小さく、１０段階目が最も音量が大きい場合を説明する。例えば、音量が比較的小さい場合（例えば、１段階目〜３段階目）、ユーザ１００の状態が「あきらめている」こと示す。また例えば、音量が比較的中くらいの場合（例えば、４段階目〜７段階目）、ユーザ１００の状態が「頑張っている」ことを示す。また例えば、音量が比較的大きい場合（例えば、８段階目〜１０段階目）、ユーザ１００の状態が「パニックになっている」ことを示す。
【０１１５】
［基準ゲーム状況情報］
また、ゲームデータ記憶部６０は、基準ゲーム状況情報を記憶する。基準ゲーム状況情報は、予め定められた（所定の）ゲーム状況を示すためのものである。基準ゲーム状況情報が示すゲーム状況は、ゲーム実行部７２によってゲーム処理が実行されるべきタイミングを示すゲーム状況である。
【０１１６】
図１６は、基準ゲーム状況情報のデータ格納例を示す図である。図１６に示すように、基準ゲーム状況情報には、ゲーム状況を識別する情報と、予め定められたゲーム状況を示すゲーム状況情報と、が対応付けられて格納される。ゲーム状況情報のデータ格納例は、図１４に示す現在状況情報と同様であるので説明を省略する。
【０１１７】
本実施形態においては、基準ゲーム状況情報に格納されるゲーム状況と、現在状況情報が示す現在のゲーム状況と、の類似具合を示す類似度（詳細後述）が所定範囲である場合、基準ゲーム状況情報が示すゲーム状況である、と判定される。例えば、図１６の場合、ゲーム状況情報Ａが示すゲーム状況と、現在状況情報が示すゲーム状況と、の類似度が所定範囲である場合、実行中のゲームの状況が「ピンチ」であると判定される。
【０１１８】
［ゲーム処理情報］
また、本実施形態においては、ゲームデータ記憶部６０は、ゲーム処理情報を記憶する。
【０１１９】
図１７は、ゲーム処理情報のデータ格納例を示す図である。図１７に示すように、ゲーム処理情報には、例えば、ユーザ１００の状態を示す情報と、現在のゲーム状況を示す情報と、ゲーム実行部７２が実行すべきゲーム処理と、の組み合わせが格納される。
【０１２０】
ゲーム処理情報に含まれるユーザ１００の状態とは、即ち、特徴情報比較部６６の比較結果である。ゲーム処理情報に含まれる現在のゲーム状況とは、即ち、ゲーム状況比較部７０の比較結果である。
【０１２１】
つまり、本実施形態においては、ゲーム処理情報に含まれる組み合わせによって、ゲーム実行部７２が実行すべきゲーム処理が特定される。例えば、ユーザ１００が頑張っている状態であり、かつ、実行中のゲーム状況が「ピンチ」の場合、ゲーム実行部７２は、応援エフェクト処理（例えば、観客キャラクタ５６がユーザ１００を応援するようなアニメーション処理を行ったり、音声出力部２８から歓声を出力させる等）を実行する。
【０１２２】
［１−６−２．特徴情報取得部］
特徴情報取得部６２は、制御部２１を主として実現される。特徴情報取得部６２は、音声入力手段（音声入力部１４）から入力される音声の特徴情報を取得する。例えば、特徴情報取得部６２は、音声情報が示す音声の音量（特徴量）に関する情報を取得する。先述のように、音声の音量に関する特徴量情報は、例えば、音声情報の波形の振幅に基づいて取得される。例えば、所定時間の音量の平均値が特徴情報として取得される。
【０１２３】
［１−６−３．基準特徴情報取得部］
基準特徴情報取得部６４は、制御部２１を主として実現される。基準特徴情報取得部６４は、予め定められた基準特徴情報を記憶する手段から基準特徴情報を取得する。例えば、基準特徴情報取得部６４は、ゲームデータ記憶部６０から基準特徴情報を取得する。
【０１２４】
［１−６−４．特徴情報比較部］
特徴情報比較部６６は、制御部２１を主として実現される。特徴情報比較部６６は、音声入力手段（音声入力部１４）から入力される音声の特徴情報と、基準特徴情報と、を比較する。特徴情報比較部６６は、例えば、音声入力部１４から入力される音声の特徴量情報と、基準特徴情報に含まれる特徴量情報と、を比較する。
【０１２５】
［１−６−５．基準ゲーム状況情報取得部］
基準ゲーム状況情報取得部６８は、制御部２１を主として実現される。基準ゲーム状況情報取得部６８は、予め定められた基準ゲーム状況情報を記憶する手段から基準ゲーム状況情報を取得する。例えば、基準ゲーム状況情報取得部６８は、基準ゲーム状況情報をゲームデータ記憶部６０から取得する。
【０１２６】
［１−６−６．ゲーム状況比較部］
ゲーム状況比較部７０は、制御部２１を主として実現される。ゲーム状況比較部７０は、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、を比較する。例えば、ゲーム状況比較部７０は、ゲームデータ記憶部６０に記憶された現在状況情報を取得して、基準ゲーム状況情報が示すゲーム状況と比較する。この比較の方法としては、先述のように例えば、互いの情報の類似具合を示す類似度を用いた方法が挙げられる。
【０１２７】
類似度は、例えば、次のようにして算出される。例えば、ゲーム状況比較部７０は、ゲーム状況に関するｎ個の指標値を現在のゲーム状況に関して取得する。ここで、指標値はゲーム状況の特徴を表すような数値であり、ゲーム状況が類似しているか否かを評価するための数値である。同様に、制御部２１は、上記のｎ個の指標値を、基準ゲーム状況情報が示すゲーム状況に関しても取得する。
【０１２８】
そして、上記のｎ個の指標値をｎ次元のベクトルとみなして、ゲーム状況比較部７０は、現在のゲーム状況に対応するベクトルと、音声テーブルに含まれるレコードの基準ゲーム状況情報が示すゲーム状況に対応するベクトルと、のなす角度（θ）に基づいて、類似度を算出する。例えば、この角度の余弦（ｃｏｓθ）が類似度として用いられる。
【０１２９】
この余弦が１に近いほど、両者のベクトルが同じ方向を示していることになるため、上記のｎ個の指標値が互いに類似していることを示す。即ち、現在のゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、が類似していることを示す。
【０１３０】
一方、例えば、上記の余弦が０に近いほど、上記のｎ個の指標値が互いに類似しないことを示す。即ち、現在のゲーム状況と、比較対象のレコードの基準ゲーム状況情報が示すゲーム状況と、が類似していないことを示す。
【０１３１】
例えば、実行中のゲームにおけるゲーム経過情報が示す得点の増減の状況と、基準ゲーム状況情報が示すゲーム経過情報が示す得点の増減の状況と、の類似度が取得される。ここで、「得点の増減の状況」とは、得点情報が増減する時系列的な様子である。この場合の類似度は、例えば、時系列的な得点の増減の具合について、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況との間で上記のように比較されることによって算出されることになる。
【０１３２】
［１−６−７．ゲーム実行部］
ゲーム実行部７２は、制御部２１を主として実現される。ゲーム実行部７２は、ゲームを実行する。例えば、ゲーム実行部７２は、ゲーム画面５０を表示部２７に表示させたり、基準タイミングにおいて、ユーザ１００が基準となる動作又はポーズ（姿勢）をしたか否かを判定して得点を増減させる処理を実行する。即ち例えば、ゲーム実行部７２は、ユーザ１００の３次元位置情報に基づいてゲームを制御する。
【０１３３】
また、ゲーム実行部７２は、ゲームデータ記憶部６０に記憶される現在状況情報を更新する。例えば、ゲーム実行部７２は、基準タイミングが訪れた場合、ユーザ１００がゲームキャラクタ５１と類似の動作又はポーズをしているか否かに基づいて、得点情報を更新する。基準タイミングが訪れた場合とは、例えば、基準タイミングから所定時間前後した時間を含む意である。
【０１３４】
また例えば、ゲーム実行部７２は、ゲームが開始されてからユーザ１００の得点の増減の経過を時系列的に示すゲーム経過情報を更新する。また例えば、ゲーム実行部７２は、時間経過に伴って時間情報や表示情報を、所定のアルゴリズムに基づいて更新する。
【０１３５】
ゲーム実行部７２は、特徴情報比較部６６の比較結果と、ゲーム状況比較部７０の比較結果と、に基づいてゲーム処理を実行する。例えば、特徴情報比較部６６の比較結果が所定の結果であり、かつ、ゲーム状況比較部７０の比較結果が所定の結果である場合、ゲーム処理情報に格納されたゲーム処理を実行する。このゲーム処理は、例えば、ユーザ１００のゲームプレイに影響を与えるゲーム処理である。
【０１３６】
ここで、「特徴情報比較部６６の比較結果が所定の結果である」とは、例えば、特徴情報が示す音声の特徴情報と、基準特徴情報が示す音声の特徴情報と、が一致又は類似する場合である。言い換えれば、「特徴情報比較部６６の比較結果が所定の結果である」とは、例えば、特徴情報が示す音声の音量が、基準特徴情報が示す音声の音量に含まれる場合である。
【０１３７】
また、「ゲーム状況比較部７０の比較結果が所定の結果である場合」とは、例えば、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、が一致又は類似する場合である。言い換えれば、「ゲーム状況比較部７０の比較結果が所定の結果である場合」とは、例えば、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、の類似度が所定範囲（例えば、０．８以上）の場合である。
【０１３８】
本実施形態においては、ゲーム実行部７２は、特徴情報比較部６６の比較結果と、ゲーム状況比較部７０の比較結果と、の組み合わせに対応付けてゲーム実行部７２が実行すべきゲーム処理を示すゲーム処理情報を記憶する記憶手段（例えば、ゲームデータ記憶部６０）からゲーム処理情報を取得する手段を含む場合を説明する。即ち、ゲーム実行部７２は、この取得されたゲーム処理情報が示すゲーム処理を実行する。
【０１３９】
また例えば、ゲーム装置２０において実行されるゲームが、難易度が設定されるゲームである場合、ゲーム実行部７２は、特徴情報比較部６６の比較結果と、ゲーム状況比較部７０の比較結果と、に基づいてゲームの難易度を変更する処理（難易度を上げる処理、又は、難易度を下げる処理）を実行する。ゲームの難易度が上がると、例えば、基準タイミングが訪れる間隔が短くなる。ゲームの難易度が下がると、例えば、基準タイミングが訪れる間隔が長くなる。
【０１４０】
［１−７．ゲーム装置において実行される処理］
次に、ゲーム装置２０で実行される処理について説明する。図１８は、ダンスゲームが開始された場合、ゲーム装置２０が実行する処理を示すフロー図である。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図１８に示す処理を実行する。
【０１４１】
まず、制御部２１は、所定のタイミングが訪れたか否かを判定する（Ｓ１０１）。所定のタイミングとは、ゲーム処理情報に格納されたゲーム処理を実行すべきタイミングである。例えば、一定時間ごとにこのタイミングが訪れるようにしてもよいし、得点が所定範囲になった場合に、このタイミングが訪れるようにしてもよい。
【０１４２】
所定のタイミングが訪れた場合（Ｓ１０１；Ｙ）、制御部２１は、音声入力部１４から音声の入力があるか否かを判定する（Ｓ１０２）。Ｓ１０２においては、例えば、音声情報が示す音声の音量が基準値以上であった場合に、音声入力部１４から音声の入力があると判定される。
【０１４３】
音声の入力がある場合（Ｓ１０２；Ｙ）、制御部２１（特徴情報取得部６２）は、音声入力部１４を介して入力されたユーザ１００の音声の特徴情報を取得する（Ｓ１０３）。例えば、音声情報が示す音声の振幅に基づいて音量が取得される。
【０１４４】
制御部２１（基準特徴情報取得部６４）は、基準特徴情報を取得する（Ｓ１０４）。制御部２１（特徴情報比較部６６）は、入力された音声の特徴情報と、基準特徴情報と、を比較する（Ｓ１０５）。この比較結果（例えば、ユーザ１００の状態を示す情報）は、例えば、主記憶部２２に一時的に記憶される。
【０１４５】
制御部２１は、現在のゲーム状況を示す現在状況情報を取得する（Ｓ１０６）。制御部２１（基準ゲーム状況情報取得部６８）は、基準ゲーム状況情報を取得する（Ｓ１０７）。制御部２１（ゲーム状況比較部７０）は、現在状況情報が示すゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、を比較する（Ｓ１０８）。この比較結果（例えば、類似度が０．９以上のゲーム状況を示す情報）は、例えば、主記憶部２２に一時的に記憶される。
【０１４６】
次いで、制御部２１（ゲーム実行部７２）は、Ｓ１０５の比較結果と、Ｓ１０７の比較結果と、の組み合わせに基づいて決定されるゲーム処理を実行する（Ｓ１０９）。例えば、ゲーム処理情報が参照されて、ユーザ１００の状態を示す情報（Ｓ１０５の比較結果）と、現在のゲーム状況を示す情報（Ｓ１０７の比較結果）と、の２つに対応付けられているゲーム処理が実行される。
【０１４７】
制御部２１は、終了条件を満たすか否かを判定する（Ｓ１１０）。例えば、ダンスゲームが終了（ステージクリアやゲームオーバー等）するタイミングが訪れたか否かが判定される。
【０１４８】
終了条件を満たす場合（Ｓ１１０；Ｙ）、制御部２１は、処理を終了する。終了条件を満たさない場合（Ｓ１１０；Ｎ）、処理は、Ｓ１０１に戻る。
【０１４９】
以上説明したゲーム装置２０によれば、ユーザ１００が発した音声の特徴と、現在のゲーム状況と、の両者を考慮してゲーム処理を実行するようにしたので、ユーザ１００の意図を反映してゲームプレイの補助をすることができる。例えば、あきらめずに頑張っているユーザ１００に対してはプレイを応援する処理を行い、このユーザ１００のゲームクリアをリアルタイムに補助（支援）をすることができる。また例えば、あきらめかけているユーザ１００に対してはゲームの難易度を下げる処理を行い、このユーザ１００に対してゲームを続けるように促すことができる。
【０１５０】
このように、ユーザ１００が、ゲームプレイがうまくいかなくてゲームオーバーになってしまいそうな状況であっても、この状況を自分の力によって難局を上手く切り抜けたように感じさせることができ、ゲームの趣向性が向上する。さらに、ゲーム装置２０が応援エフェクト処理等のゲーム処理を実行することによって、ユーザ１００は、自然と高揚感を感じながらゲームをプレイすることができる。
【０１５１】
なお、本実施形態においては、ゲーム状況の比較方法として、類似度を用いた場合を説明したが、ゲーム状況の比較方法は、これに限られない。他にも、現在状況情報の各値と基準ゲーム状況の各値とが所定の数式に代入されることによって、ゲーム状況が比較されるようにしてもよい。
【０１５２】
［２．実施形態２］
以下、実施形態２について説明する。実施形態１のゲーム装置２０は、ユーザ１００が発した音声の特徴と、現在のゲーム状況と、に基づいてユーザ１００の意図を推測してゲームの難易度を下げる処理や応援エフェクト処理等のゲーム処理を実行する。
【０１５３】
これに対して実施形態２は、撮影画像等からユーザ１００の人数を把握し、この人数を考慮して上記のようなゲーム処理を実行する点に特徴がある。
【０１５４】
例えば、ユーザ１００が１人で遊んでいる場合には、ゲーム状況が変化しても、このユーザ１００はあまり大きな声を発しないことが考えられる。そこで、この場合には、ゲーム装置２０は、基準特徴情報が示す音量が比較的小さくなるように変更する。
【０１５５】
一方、ユーザ１００が大人数で遊んでいる場合には、ゲーム状況が少し変化しただけで、ユーザ１００が大きな声を発することが考えられる。そこで、この場合には、ゲーム装置２０は、基準特徴情報が示す音量が比較的大きくなるように変更する。
【０１５６】
なお、実施形態２に係る位置検出装置１及びゲーム装置２０のハードウェア構成は、実施形態１（図９、図１０参照）と同様であるため、説明を省略する。
【０１５７】
［２−１．実施形態２において実現される機能］
図１９は、実施形態２のゲーム装置２０において実現される機能ブロック図である。図１９に示すように、実施形態２のゲーム装置２０では、実施形態１の機能に加えてユーザ数取得部７４が実現される。
【０１５８】
［２−１−１．ユーザ数取得部］
ユーザ数取得部７４は、ユーザ１００の人数を示すユーザ数情報を取得する。例えば、ユーザ数取得部７４は、ゲーム装置２０が位置検出装置１から受信する３次元位置情報に基づいてユーザ１００の人数を取得する。先述のように、位置検出装置１が複数のユーザ１００を検出した場合、これら複数のユーザ１００のそれぞれについての３次元位置情報が、ゲーム装置２０に対して送信される。ユーザ数取得部７４は、例えば、３次元位置情報が示すユーザ１００の数を、ユーザ１００の人数を示す情報として取得する。
【０１５９】
なお、ユーザ数取得部７４が、ユーザ１００の人数を示す情報を取得する方法は、上記の例に限られない。例えば、ゲーム装置２０が、ＣＣＤカメラ２によって撮影される撮影画像を位置検出装置１から取得し、ユーザ数取得部７４が、この撮影画像に含まれるユーザ１００の人数を取得するようにしてもよい。この場合、例えば、撮影画像に含まれるユーザ１００の輪郭の数に基づいてユーザ１００の人数が取得される。
【０１６０】
他にも例えば、ゲーム装置２０が、ユーザ１００の深度を示す深度画像を取得し、ユーザ数取得部７４が、上記と同様に、ユーザ１００の輪郭の数に基づいて人数を取得するようにしてもよい。また他にも例えば、マイク４が検出した音声に基づいて、ユーザ１００の数が検出されるようにしてもよい。具体的には、音声情報が示す音声が音声認識されることによって、ユーザ１００の人数が検出されるようにしてもよい。また例えば、ユーザ１００に操作部２６を介して自分達の人数を直接入力させることによって、ユーザ数取得部７４は、ユーザ１００の人数を取得するようにしてもよい。上記のような手法のうちの少なくとも１つが実行されるようにすればよい。
【０１６１】
［２−１−２．実施形態２のゲームデータ記憶部６０］
実施形態２のゲームデータ記憶部６０は、例えば、音声が示すユーザ１００の状態と、音声の特徴情報と、ユーザ１００の人数と、を対応付けて記憶する。
【０１６２】
図２０は、実施形態２における基準特徴情報のデータ格納例を示す図である。図２０に示すように、実施形態２の基準特徴情報には、ユーザ１００の人数が対応付けられている。例えば、ユーザ１００の状態を識別するための条件を示す音声の特徴情報は、ユーザ１００の人数によって異なる。
【０１６３】
例えば、ユーザ１００の人数が「２人以下」である場合、音量が所定範囲（例えば、２段階目〜４段階目）である場合、ユーザ１００の状態が「頑張っている」と判定される。一方、ユーザ１００の人数が「３人以上」である場合、音量が上記とは異なる範囲（例えば、３段階目〜６段階目）である場合、ユーザ１００の状態が「頑張っている」と判定される。
【０１６４】
上記のように、ユーザ１００の人数が対応付けられている基準特徴情報によれば、例えば、ユーザ１００の人数が比較的少ない場合には、ユーザ１００があまり大きな声を発しないと考えられるので、小さめの音量でユーザ１００の状態が判別されるようになる。一方、ユーザ１００の人数が比較的多い場合には、ユーザ１００が大げさに声を発すると考えられるので、大きめの音量でユーザ１００の状態が判別されるようになる。
【０１６５】
［２−１−３．実施形態２の基準特徴情報取得部］
実施形態２の基準特徴情報取得部６４は、ユーザ数情報に基づいて基準特徴情報を変更する手段を含む。例えば、基準特徴情報取得部６４は、ユーザ数取得部７４が取得したユーザ１００の人数に対応付けられた音声の特徴情報を参照することによって、基準特徴情報をユーザ１００の人数に基づいて変更する。つまり、基準特徴情報取得部６４は、例えば、特徴情報比較部６６の比較対象となる基準特徴情報を変更する。
【０１６６】
［２−２．実施形態２のゲーム装置において実行される処理］
図２１は、ダンスゲームが開始された場合、ゲーム装置２０が実行する処理を示すフロー図である。図２１の処理は、図１８の処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２１に示す処理を実行する。
【０１６７】
図２１に示すように、Ｓ２０１〜Ｓ２０３は、それぞれＳ１０１〜Ｓ１０３と同様であるので説明を省略する。
【０１６８】
制御部２１（ユーザ数取得部７４）は、ユーザ１００の人数を取得する（Ｓ２０４）。例えば、主記憶部２２に記憶された３次元位置情報が示す人数に基づいて、ユーザ１００の人数を取得する。
【０１６９】
制御部２１（基準特徴情報取得部６４）は、ユーザ１００の人数に基づいて基準特徴情報を変更する（Ｓ２０５）。例えば、基準特徴情報のうちでユーザ１００の人数に対応する情報のみが参照される。
【０１７０】
制御部２１（特徴情報比較部６６）は、入力された音声の特徴情報と、変更された基準特徴情報と、を比較する（Ｓ２０６）。Ｓ２０６においては、基準特徴情報のうちでユーザ１００の人数の条件に対応する基準特徴量のみが比較対象となる。
【０１７１】
以降のＳ２０７〜Ｓ２１１は、それぞれＳ１０６〜Ｓ１１０と同様であるので説明を省略する。
【０１７２】
以上説明した実施形態２のゲーム装置２０によれば、ユーザ１００が発した音声と、実行中のゲーム状況と、ユーザ１００の人数と、を考慮してゲーム処理を実行することができる。つまり、ゲームをプレイするユーザ１００の数により音声の大きさが変わってしまっても、ユーザ１００の意図を反映して、このユーザ１００の補助をするようなゲーム処理を行うことができる。
【０１７３】
［３．実施形態３］
以下、実施形態３について説明する。実施形態２のゲーム装置２０は、ゲームの難易度を下げたり、応援エフェクト処理を実行したりする場合に、ユーザ１００の人数を考慮する。
【０１７４】
これに対して実施形態３は、ユーザ１００の音声が入力された場合の時間を考慮して、上記のゲーム処理を実行する点に特徴がある。
【０１７５】
例えば、ユーザ１００が、夜の時間帯にゲームをプレイしている場合には、あまり大きな声を発しないことが考えられる。そこで、この場合には、基準特徴情報が示す音量が比較的小さくなるように変更される。
【０１７６】
一方、ユーザ１００が昼の時間帯にゲームをプレイしている場合には、比較的大きな声を発することが考えられる。そこで、この場合には、基準特徴情報が示す音量が比較的大きくなるように変更される。
【０１７７】
なお、実施形態３に係る位置検出装置１及びゲーム装置２０のハードウェア構成は、実施形態１（図９、図１０参照）と同様であるため、説明を省略する。
【０１７８】
［３−１．実施形態３において実現される機能］
図２２は、実施形態３のゲーム装置２０において実現される機能ブロック図である。図２２に示すように、実施形態３のゲーム装置２０では、実施形態１の機能に加えて時間取得部７６が実現される。
【０１７９】
［３−１−１．時間取得部］
時間取得部７６は、制御部２１を主として実現される。音声入力手段（音声入力部１４）から音声が入力された場合の時間に関する入力時間情報を取得する。音声が入力された場合とは、音声入力部１４から音声が入力された時点から所定時間前後した時間幅を含む。例えば、時間取得部７６は、位置検出装置１から音声情報を受信した時間を取得する。この時間は、例えば、ゲーム装置２０の時間関数プログラム等に基づいて生成される。
【０１８０】
また例えば、位置検出装置１が時刻を取得する手段を有する場合、時間取得部７６は、音声入力部１４が音声を受け付けた時間を位置検出装置１から取得するようにしてもよい。
【０１８１】
［３−１−２．実施形態３のゲームデータ記憶部６０］
実施形態３のゲームデータ記憶部６０は、例えば、音声が示すユーザ１００の状態と、音声の特徴情報と、音声入力部１４によってユーザ１００の音声が入力された場合の時間と、を対応付けて記憶する。
【０１８２】
図２３は、実施形態３における基準特徴情報のデータ格納例を示す図である。図２３に示すように、実施形態３の基準特徴情報には、音声入力部１４によってユーザ１００の音声が入力された人数が対応付けられている。例えば、基準特徴情報に格納される音声の特徴情報は、ユーザ１００の音声が入力された時間によって異なる。
【０１８３】
例えば、ユーザ１００の音声を受け付けた時間が「夜」である場合（例えば、入力時間情報が示す時間が第１時間帯に属する場合）、音声情報が示す音声の音量が所定範囲（例えば、２段階目〜３段階目）であれば、ユーザ１００の状態が「頑張っている」と判定される。一方、ユーザ１００の音声が入力された時間が「昼」である場合（例えば、入力時間情報が示す時間が第２時間帯に属する場合）、音声情報が示す音声の音量が上記とは異なる所定範囲（例えば、３段階目〜５段階目）であれば、ユーザ１００の状態が「頑張っている」と判定される。
【０１８４】
上記のように、ユーザ１００の音声が入力された時間が対応付けられている基準特徴情報によれば、例えば、ユーザ１００の音声が入力された時間が夜であれば、ユーザ１００があまり大きな声を発しないと考えられるので、小さめの音量でユーザ１００の状態が判別されるようになる。一方、ユーザ１００の音声が入力された時間が昼であれば、ユーザ１００が大きな声を発すると考えられるので、大きめの音量でユーザ１００の状態が判別されるようになる。
【０１８５】
［３−１−３．実施形態３の基準特徴情報取得部］
実施形態３の基準特徴情報取得部６４は、入力時間情報に基づいて基準特徴情報を変更する手段を含む。例えば、基準特徴情報取得部６４は、時間取得部７６が取得した入力時間情報が示す時間に対応付けられた音声の特徴情報を使用することによって、基準特徴情報をユーザ１００の音声が入力された時間に基づいて変更する。つまり、基準特徴情報取得部６４は、例えば、特徴情報比較部６６の比較対象となる基準特徴情報を変更する。
【０１８６】
また例えば、基準特徴情報取得部６４は、入力時間情報が示す時間が第１時間帯（例えば、夜間の時間帯）に属する場合、前記入力時間情報が示す時間が第２時間帯（例えば、昼間の時間帯）に属する場合よりも、基準特徴情報が示す音量が小さくなるように変更する。この変更方法は、入力時間情報が示す時間が属する時間帯によって決定されるようにすればよい。
【０１８７】
［３−２．実施形態３のゲーム装置において実行される処理］
図２４は、ダンスゲームが開始された場合、ゲーム装置２０が実行する処理を示すフロー図である。図２４の処理は、図１８の処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２４に示す処理を実行する。
【０１８８】
図２４に示すように、Ｓ３０１〜Ｓ３０３は、それぞれＳ１０１〜Ｓ１０３と同様であるので説明を省略する。
【０１８９】
制御部２１（時間取得部７６）は、ユーザ１００の音声が入力された場合の時間を取得する（Ｓ３０４）。例えば、音声情報を位置検出装置１から受信した受信時間が参照される。
【０１９０】
制御部２１（基準特徴情報取得部６４）は、ユーザ１００の音声が入力された時間に基づいて基準特徴情報を変更する（Ｓ３０５）。例えば、基準特徴情報のうちでユーザ１００の音声が入力された時間に対応する情報のみが参照される。
【０１９１】
制御部２１（特徴情報比較部６６）は、入力された音声の特徴情報と、変更された基準特徴情報と、を比較する（Ｓ３０６）。Ｓ３０６においては、基準特徴情報のうちでユーザ１００の音声が入力された時間の条件に対応する基準特徴量のみが比較対象となる。
【０１９２】
以降のＳ３０７〜Ｓ３１１は、それぞれＳ１０６〜Ｓ１１０と同様であるので説明を省略する。
【０１９３】
以上説明した実施形態３のゲーム装置２０によれば、ユーザ１００が発した音声と、実行中のゲーム状況と、音声が入力された時間と、を考慮してゲーム処理を実行することができる。つまり、ユーザ１００がゲームをプレイする時間によって声の大きさが変わってしまっても、ユーザ１００の意図を反映して、このユーザ１００の補助をするようなゲーム処理を行うことができる。
【０１９４】
［４．実施形態４］
以下、実施形態４について説明する。実施形態３のゲーム装置２０は、ユーザ１００の音声が入力された時間を考慮してゲームの難易度を下げたり、応援エフェクト処理を実行したりする。
【０１９５】
これに対して実施形態４は、撮影画像から取得されるユーザ１００の表情を考慮して、上記のゲーム処理を実行する点に特徴がある。
【０１９６】
例えば、ユーザ１００が同じような声を発した場合でも、表情次第でユーザ１００の状態が異なる場合がある。例えば、「よし！」という声を発した場合であっても、ユーザ１００が笑っていれば比較的余裕があることが考えられる。一方、同じような声を発した場合でも、ユーザ１００が眉間にしわを寄せていれば、あまり余裕がないことが考えられる。そこで、実施形態４のゲーム装置２０は、ユーザ１００の表情を考慮してゲーム処理を実行する。
【０１９７】
なお、実施形態４に係る位置検出装置１及びゲーム装置２０のハードウェア構成は、実施形態１（図９、図１０参照）と同様であるため、説明を省略する。
【０１９８】
［４−１．実施形態４において実現される機能］
図２５は、実施形態４のゲーム装置２０において実現される機能ブロック図である。図２５に示すように、実施形態４のゲーム装置２０では、実施形態１の機能に加えて表情取得部７８が実現される。
【０１９９】
［４−１−１．表情取得部］
表情取得部７８は、制御部２１を主として実現される。表情取得部７８は、ユーザ１００を撮影する撮影手段（撮影部１２）から得られる撮影画像に対して表情認識処理を行うことによって、当該ユーザ１００の表情に関する表情情報を取得する。つまり、実施形態４のゲーム装置２０は、撮影画像（図２）を位置検出装置１より取得する。この撮影画像は、例えば、ゲームデータ記憶部６０に一時的に記憶される。
【０２００】
撮影画像から被写体（ユーザ１００）の表情を取得する方法として、本実施形態では、参照画像を用いる場合を説明する。例えば、この参照画像は、ユーザ１００が無表情になった場合の撮影画像である。即ち、ユーザ１００が無表情の撮影画像（参照画像）と、ゲームをプレイしている最中のユーザ１００の撮影画像と、が比較されて、ユーザ１００の表情が取得される。
【０２０１】
具体的には、まず、ゲーム装置２０は、予めユーザ１００の無表情の参照画像を位置検出装置１から取得する。例えば、表示部２７に「口を閉じて無表情になってください」というメッセージを表示させる。この状態で、ゲーム装置２０は、位置検出装置１にユーザ１００を撮影させ、参照画像を取得する。
【０２０２】
次いで、この取得された参照画像に対して所定の特徴点を抽出する処理が実行される。特徴点は、ユーザ１００の表情を認識するための基準となる点であり、例えば、眉や口角、目尻の位置等である。この特徴点の抽出方法としては、先述したパターンマッチング法と同様の手法を適用可能である。即ち、参照画像と、予めゲーム作成者が用意した教師画像とのマッチングによって、特徴点が抽出される。
【０２０３】
ゲームが開始されると、撮影画像の特徴点の間の距離と、上記の参照画像の特徴点間の距離と、が比較される。例えば、この差分値に基づいてユーザ１００の表情が認識される。即ち、左右の口角の間の距離が基準値以上となっている場合には、ユーザ１００が「笑っている」と判定される。他にも例えば、両眉の距離が基準値以下となっている場合には、ユーザ１００が「顔をしかめている」と判定される。この基準値は、予めゲーム装置２０に記憶されている。
【０２０４】
なお、ユーザ１００の表情を認識する処理は、公知の種々の手法を適用可能である。他にも例えば、撮影画像に対してウェーブレット変換を施して、所定周波数帯域ごとに平均電力を算出し、この電力の差分値に基づいて表情が認識されるようにしてもよい。
【０２０５】
［４−１−２．実施形態４のゲームデータ記憶部］
実施形態４のゲームデータ記憶部６０は、例えば、音声が示すユーザ１００の状態と、音声の特徴情報と、ユーザ１００の表情を示す表情情報と、を対応付けて記憶する。
【０２０６】
図２６は、実施形態４における基準特徴情報のデータ格納例を示す図である。図２６に示すように、実施形態４の基準特徴情報には、ユーザ１００の表情を識別する情報が対応付けられている。図２６に示すように、例えば、音声の特徴情報は、ユーザ１００の表情によって異なる。
【０２０７】
例えば、ユーザ１００がゲームをあきらめずに頑張っていても顔をしかめている場合、ユーザ１００が笑っている場合よりも余裕がないので、声が大きくなってしまうことが考えられる。そこで、ユーザ１００が顔をしかめている場合、ユーザ１００が笑っている場合よりも、基準特徴情報が示す音量が小さくなるように変更される。
【０２０８】
［４−１−３．実施形態４の基準特徴情報取得部］
実施形態４の基準特徴情報取得部６４は、表情情報が示すユーザ１００の表情に基づいて基準特徴情報を変更する手段を含む。例えば、基準特徴情報取得部６４は、表情取得部７８が取得したユーザ１００の表情に対応付けられた音声の特徴情報を使用することによって、基準特徴情報をユーザ１００の表情に基づいて変更する。つまり、基準特徴情報取得部６４は、例えば、特徴情報比較部６６の比較対象となる基準特徴情報を変更する。
【０２０９】
［４−２．実施形態４のゲーム装置において実行される処理］
図２７は、ダンスゲームが開始された場合、ゲーム装置２０が実行する処理を示すフロー図である。図２７の処理は、図１８の処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２７に示す処理を実行する。
【０２１０】
図２７に示すように、Ｓ４０１〜Ｓ４０３は、それぞれＳ１０１〜Ｓ１０３と同様であるので説明を省略する。
【０２１１】
制御部２１（時間取得部７６）は、ユーザ１００の表情を取得する（Ｓ４０４）。例えば、位置検出装置１から受信した撮影画像に表情認識処理が施されてユーザ１００の表情を示す表情情報が取得される。
【０２１２】
制御部２１（基準特徴情報取得部６４）は、ユーザ１００の表情に基づいて基準特徴情報を変更する（Ｓ４０５）。例えば、基準特徴情報のうちでユーザ１００の表情に対応する情報のみが参照される。
【０２１３】
制御部２１（特徴情報比較部６６）は、入力された音声の特徴情報と、変更された基準特徴情報と、を比較する（Ｓ４０６）。Ｓ４０６においては、基準特徴情報のうちでユーザ１００の表情に対応する基準特徴量のみが比較対象となる。
【０２１４】
以降のＳ４０７〜Ｓ４１１は、それぞれＳ１０６〜Ｓ１１０と同様であるので説明を省略する。
【０２１５】
以上説明した実施形態４のゲーム装置２０によれば、ユーザ１００が発した音声と、実行中のゲーム状況と、ユーザ１００の表情と、を考慮してゲーム処理を実行することができる。つまり、同じような大きさの声を発した場合であっても、ユーザ１００の表情を考慮することによって、ユーザ１００の意図を反映して、このユーザ１００の補助をするようなゲーム処理を行うことができる。
【０２１６】
［５．変形例］
なお、本発明は以上に説明した実施の形態に限定されるものではない。例えば、実施形態１〜実施形態４の何れか２つ、３つ、又は４つを組み合わせるようにしてもよい。
【０２１７】
（１）また、実施形態２〜４においては、基準特徴情報を、ユーザ数情報、入力時間情報、又は表情情報と、を対応づけて記憶し、必要な情報（基準特徴量）のみが参照されることによって基準特徴情報が変更される場合を説明した。基準特徴情報の変更方法は、この例に限られない。例えば、基準特徴情報を一つだけ記憶しておいて、ユーザ数情報、入力時間情報、又は表情情報に基づいて、この基準特徴情報の値が補正されるようにしてもよい。
【０２１８】
（２）また、上記実施形態においては、位置検出装置１によって検出されたユーザ１００の動作又はポーズに基づいてゲーム処理が実行されるようにしたが、操作部２６のコントローラ等からの操作入力によってゲーム処理が実行されるようにしてもよい。即ち、ゲーム装置２０は、位置検出装置１を含まなくてもよい。この場合、音声入力部１４がゲーム装置２０に含まれる、又は、音声入力部１４がゲーム装置２０に外部接続されることになる。
【０２１９】
（３）また、本実施形態においては、ゲーム装置２０が難易度を変更させる処理の具体例として、基準タイミングの間隔を変更させる場合を説明したが、ゲームの難易度に関するパラメータや条件等を変更させるようにすればよく、難易度の変更方法は、これに限られない。例えば、ゲーム装置２０は、得点が増減する程度を変更するようにしてもよい。
【０２２０】
（４）また、ゲーム実行部７２が行うゲーム処理は、難易度を変更させる処理や応援エフェクト処理に限られない。ユーザ１００のゲームプレイを補助するようなゲーム処理が実行されるようにすればよい。例えば、ゲームパラメータが変更されるとユーザ１００が有利又は不利になるゲームが実行される場合、ゲーム実行部７２は、ユーザ１００が有利な状態になるゲーム処理（つまり、ゲームパラメータを変更させる処理）が実行されるようにしてもよい。即ち、この場合、ゲーム装置２０は、ユーザ１００が有利になるようにゲームパラメータを変更させて、ユーザ１００のゲームプレイを補助することができる。
【０２２１】
また例えば、上記実施形態のようなダンスゲームにおいて、楽曲のコーラスが追加する処理が実行されてゲームを少し延長させてプレイさせるようにしてもよい。この場合には、ユーザ１００が得点を得る機会が与えられるので、ゲーム装置２０は、ユーザ１００のゲームプレイを補助することができる。
【０２２２】
他にも例えば、操作部２６が、制御部２１の指示信号によって振動するバイブレータを含む場合、このバイブレータを振動させる処理が実行されるようにしてもよい。つまり、ユーザ１００が頑張っていると判定された場合、操作部２６が振動することになる。このようにすることによって、ゲームの趣向性を向上させることができる。
【０２２３】
（５）また例えば、ゲーム装置２０で実行されるゲームは、ダンスゲーム以外のゲーム（例えば、スポーツゲーム、格闘ゲーム又はレースゲーム）であってもよい。また例えば、本発明の実施形態に係るゲーム装置２０で実行されるゲームは、サッカーゲームのようにキャラクタグループ（例えばチーム）同士が対戦するゲームでもあってもよいし、一のキャラクタと一のキャラクタとが対戦するゲームであってもよいし、一のキャラクタとキャラクタグループとが対戦するゲームであってもよい。
【０２２４】
ゲーム実行部７２によって実行されるゲーム処理は、ゲーム装置２０によって実行されるゲームの種類に応じて異なる。例えば、ゲーム装置２０がサッカーゲームを実行する場合、特徴情報比較部６６の比較結果と、ゲーム状況比較部７０の比較結果と、に基づいて、サッカーゲームの試合時間（例えば、ロスタイム等）が長くなるような処理が実行されるようにしてもよい。
【０２２５】
この場合、ユーザ１００が劣勢な状況であっても、このユーザ１００が頑張っていると判定された場合、試合時間が長くなるので試合を逆転する機会が与えられる。即ち、ゲーム装置２０は、ゲームプレイを頑張っていてあきらめていないユーザ１００を補助するようなゲーム処理をサッカーゲームにおいても実行することができる。他にも例えば、コンピュータと対戦している場合には、対戦相手のゲームパラメータが不利になるようなゲーム処理が実行されるようにしてもよい。
【０２２６】
（６）また、本実施形態においては、音声の特徴情報が音量である場合を例に挙げたが、音声の特徴情報は、ゲーム装置２０が音声情報から把握できる情報であればよい。例えば、音声の特徴情報として、音声信号の振幅を用いてもよい。この場合、例えば、基準特徴情報には、振幅の変化を示す値や、所定周波数帯域ごとの振幅の強さを示す値が格納されることになる。周波数帯域ごとの振幅の強さは、例えば、音声情報に対してフーリエ変換が実行されることによって抽出される。
【０２２７】
他にも例えば、音声認識処理によって取得される情報を音声の特徴情報としてもよい。例えば、音声に含まれるキーワードが音声の特徴情報として参照されるようにしてもよい。キーワードとは、予めゲーム作成者等によって指定された単語（又は文章）である。
【０２２８】
この場合、例えば、ゲーム装置２０が実行する音声認識処理は、種々の手法を適用可能である。例えば、音声認識処理の一例として、メル周波数ケプストラム係数（ＭＦＣＣ：Mel-Frequency Cepstrum Coefficient）や隠れマルコフモデルを用いた統計的手法を説明する。統計的手法では、例えば、音声情報が示す音声の特徴情報と、予め用意しておいたデータと、が比較されることによって音声認識処理が行われる。例えば、時系列的な振幅の変化や、周波数成分ごとの音の強さが比較されることになる。
【０２２９】
即ち、予めモニタとなる人間の音声をサンプリングした基準音情報と、音声情報が示すユーザ１００の音声と、が比較されることによって、音声認識処理が実行される。この音声認識処理によって取得される情報（例えば、音声に対応する文字列）に、予め定められたキーワードが含まれるか否かが判定されることになる。
【０２３０】
この場合、特徴情報比較部６６は、基準特徴情報に含まれるキーワードと、音声情報に含まれるキーワードと、が一致するか否かを比較する。一致するキーワードに対応付けられたユーザ１００の状態に基づいて、ゲーム実行部７２はゲーム処理を実行する。この処理については、実施形態１〜４と同様である。このように、音声の特徴情報としてキーワードを用いることよって、音声情報が示す音声に基づいてユーザ１００の意図をより詳しく解析することができる。
【符号の説明】
【０２３１】
１ 位置検出装置、２ ＣＣＤカメラ、３ 赤外線センサ、４ マイク、２０ ゲーム装置、１０，２１ 制御部、１１ 記憶部、１２ 撮影部，１３ 深度測定部、１４ 音声入力部、２２ 主記憶部、２３ 補助記憶部、２４ 光ディスク再生部、１５，２５ 通信インタフェース部、１６ バス、２６ 操作部、２７ 表示部、２８ 音声出力部、５０ ゲーム画面、５１ ゲームキャラクタ、５２ 判定領域、５３ 注目領域、Ｒ５２，Ｒ５３ 半径、５４ ゲージ、５５ メッセージ、５６ 観客キャラクタ、６０ ゲームデータ記憶部、６２ 特徴情報取得部、６４ 基準特徴情報取得部、６６ 特徴情報比較部、６８ 基準ゲーム状況情報取得部、７０ ゲーム状況比較部、７２ ゲーム実行部、７４ ユーザ数取得部、７６ 時間取得部、７８ 表情取得部、１００ ユーザ、Ｐ１ 頭、Ｐ１６ 左つま先、Ｏｓ 原点、Ｐｍａｘ 座標。
【技術分野】
【０００１】
本発明は、ゲーム装置、ゲーム装置の制御方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、ゲームの難易度をユーザの技量に応じて変更するゲーム装置が知られている。例えば、特許文献１には、ユーザの操作に供される領域の表示形態をゲームの難易度に基づいて変更し、入力操作の困難性を制御するゲーム装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１１９３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のようなゲーム装置では、ユーザがいったんゲームを開始すると難易度を変更することができない。例えば、ユーザが高すぎる難易度を設定してしまった場合、ユーザは、ゲームが難しすぎるので、ゲームクリアを途中であきらめてしまう可能性がある。ユーザがゲームクリアをあきらめないようにするために、例えば、実行中のゲームがゲームオーバーになりそうな状況になった場合に、自動的に難易度を低下させてユーザのゲームプレイの補助をすることも考えられる。
【０００５】
しかし、ゲームオーバーになりそうな状況であっても、ユーザは、ゲームクリアを途中であきらめるとは限らない。即ち、このような状況であっても、ユーザは、高い難易度のままプレイを継続したい場合がある。この場合には、ゲーム装置は、難易度は変更させずにユーザが高揚するような音声出力処理等を行ってゲームプレイの補助をしたほうがよいと考えられる。したがって、ゲームの状況のみを考慮して難易度を変更させても、ユーザが意図するようなゲームプレイの補助をすることができない可能性がある。
【０００６】
本発明は上記課題に鑑みてなされたものであって、その目的は、ユーザが意図するようなゲームプレイの補助をすることが可能なゲーム装置、ゲーム装置の制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係るゲーム装置は、ゲームを実行するゲーム装置であって、音声入力手段から入力される音声の特徴情報を取得する特徴情報取得手段と、予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得手段と、前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較手段と、予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段と、実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段と、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいてゲーム処理を実行するゲーム実行手段と、を含むことを特徴とする。
【０００８】
また、本発明に係るゲーム装置の制御方法は、ゲームを実行するゲーム装置の制御方法であって、音声入力手段から入力される音声の特徴情報を取得する特徴情報取得ステップと、予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得ステップと、前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較ステップと、予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得ステップと、実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較ステップと、前記特徴情報比較ステップの比較結果と、前記ゲーム状況比較ステップの比較結果と、に基づいてゲーム処理を実行するゲーム実行ステップと、を含むことを特徴とする。
【０００９】
また、本発明に係るプログラムは、ゲームを実行するゲーム装置としてコンピュータを機能させるためのプログラムであって、音声入力手段から入力される音声の特徴情報を取得する特徴情報取得手段、予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得手段、前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較手段、予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段、実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいてゲーム処理を実行するゲーム実行手段、を含むゲーム装置として前記コンピュータを機能させることを特徴とする。
【００１０】
また、本発明に係る情報記憶媒体は、上記プログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。
【００１１】
本発明によれば、ユーザが意図するようなゲームプレイの補助をすることが可能になる。
【００１２】
また、本発明の一態様では、前記ゲーム実行手段は、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、の組み合わせに対応付けて前記ゲーム実行手段が実行すべきゲーム処理を示すゲーム処理情報を記憶する手段から前記ゲーム処理情報を取得する手段を含み、当該取得されたゲーム処理情報が示すゲーム処理を実行する、ことを特徴とする。
【００１３】
また、本発明の一態様では、前記特徴情報及び前記基準特徴情報は、前記音声の音量に関する特徴量情報を含み、前記特徴情報比較手段は、前記音声入力手段から入力される音声の前記特徴量情報と、前記基準特徴情報に含まれる前記特徴量情報と、を比較することを特徴とする。
【００１４】
また、本発明の一態様では、前記ゲーム装置は、ユーザの人数を示すユーザ数情報を取得するユーザ数取得手段を含み、前記基準特徴情報取得手段は、前記ユーザ数情報に基づいて前記基準特徴情報を変更する手段を含む、ことを特徴とする。
【００１５】
また、本発明の一態様では、前記ゲーム装置は、前記音声入力手段から音声が入力された場合の時間に関する入力時間情報を取得する手段を更に含み、前記基準特徴情報取得手段は、前記入力時間情報に基づいて前記基準特徴情報を変更する手段を含む、ことを特徴とする。
【００１６】
また、本発明の一態様では、前記ゲーム装置は、ユーザを撮影する撮影手段から得られる画像に対して表情認識処理を行うことによって、当該ユーザの表情に関する表情情報を取得する表情情報取得手段を更に含み、前記基準特徴情報取得手段は、前記表情情報に基づいて前記基準特徴情報を変更する手段を含む、ことを特徴とする。
【００１７】
また、本発明の一態様では、前記ゲーム実行手段は、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいて前記ゲームの難易度を変更させる、ことを特徴とする。
【図面の簡単な説明】
【００１８】
【図１】本発明に係るゲーム装置とユーザとの位置関係を示す図である。
【図２】ＣＣＤカメラによって生成される撮影画像の一例を示す図である。
【図３】赤外線センサによるユーザの深度の測定方法を説明するための図である。
【図４】赤外線センサによって得られる深度画像の一例を示す図である。
【図５】位置検出装置により生成される３次元位置情報の一例を示す図である。
【図６】３次元位置情報によって特定されるユーザの位置を示す図である。
【図７】ゲーム画面の一例を示す図である。
【図８】注目領域の半径と判定領域の半径とが一致した場合のゲーム画面の一例を示す図である。
【図９】位置検出装置のハードウェア構成を示す図である。
【図１０】ゲーム装置のハードウェア構成を示す図である。
【図１１】ゲーム装置で実現される機能のうち、本発明に関連する機能を示す機能ブロック図である。
【図１２】判定基準情報の一例を示す図である。
【図１３】基準タイミング情報の一例を示す図である。
【図１４】現在状況情報の一例を示す図である。
【図１５】基準特徴情報のデータ格納例を示す図である。
【図１６】基準ゲーム状況情報のデータ格納例を示す図である。
【図１７】ゲーム処理情報のデータ格納例を示す図である。
【図１８】ゲーム装置が実行する処理を示すフロー図である。
【図１９】実施形態２のゲーム装置において実現される機能ブロック図である。
【図２０】実施形態２における基準特徴情報のデータ格納例を示す図である。
【図２１】ゲーム装置が実行する処理を示すフロー図である。
【図２２】実施形態３のゲーム装置において実現される機能ブロック図である。
【図２３】実施形態３における基準特徴情報のデータ格納例を示す図である。
【図２４】ゲーム装置が実行する処理を示すフロー図である。
【図２５】実施形態４のゲーム装置において実現される機能ブロック図である。
【図２６】実施形態４における基準特徴情報のデータ格納例を示す図である。
【図２７】ゲーム装置が実行する処理を示すフロー図である。
【発明を実施するための形態】
【００１９】
［１．実施形態１］
以下、本発明の実施形態の例について図面に基づき詳細に説明する。
【００２０】
［１−１．ゲームシステムの概要］
図１は、本発明に係るゲーム装置２０とユーザ１００との位置関係を示す図である。ゲーム装置２０は、例えば、位置検出装置１とデータ通信可能に接続される。図１に示すように、ユーザ１００は、例えば、位置検出装置１の前方に位置する。
【００２１】
位置検出装置１は、ユーザ１００を撮影して得られる画像と、位置検出装置１とユーザ１００との距離に関する情報と、に基づいて３次元空間におけるユーザ１００の位置に関する情報を生成する。例えば、位置検出装置１は、ユーザ１００の体を構成する複数の部位（例えば、頭や両ひじ等）のそれぞれに対応する３次元座標を検出する。
【００２２】
ゲーム装置２０は、ユーザ１００の位置に関する情報を位置検出装置１から取得する。ゲーム装置２０は、例えば、３次元空間におけるユーザ１００の立ち位置やユーザ１００の各部位の位置を示す３次元座標を位置検出装置１から取得する。ゲーム装置２０は、例えば、この３次元座標の変化に基づいてゲームの制御を行う。
【００２３】
ユーザ１００に対応する３次元座標の変化は、ユーザ１００の動作に対応する。例えば、ユーザ１００が右手を上げる動作をした場合、このユーザ１００の右ひじ及び右手に対応する３次元座標が、主に変化する。
【００２４】
また、位置検出装置１は、ユーザ１００が発した音声を検出し、この音声に対応する音声情報をゲーム装置２０に送信する。本実施形態においては、ゲーム装置２０は、ユーザ１００が発した音声の特徴と、実行中のゲームの状況と、に基づいてユーザ１００を補助するようなゲーム処理を実行する。例えば、ゲーム装置２０は、ゲームオーバーになりそうな状況で、ユーザ１００がパニックになっているような声をあげている場合、ゲームの難易度を低下させる処理を行う。
【００２５】
［１−２．位置検出装置の動作］
まず、位置検出装置１が、３次元空間におけるユーザ１００の位置に関する情報（３次元位置情報）を生成する処理について説明する。
【００２６】
図１に示すように、位置検出装置１は、例えば、ＣＣＤカメラ２、赤外線センサ３、複数のマイクロフォンを含むマイク４等を備える。本実施形態においては、ＣＣＤカメラ２及び赤外線センサ３から得られる情報に基づいてユーザ１００の３次元位置情報が生成される。
【００２７】
ＣＣＤカメラ２は、ＣＣＤイメージセンサを備えた公知のカメラである。ＣＣＤカメラ２は、ユーザ１００を撮影する。ＣＣＤカメラ２は、例えば、所定時間毎（例えば１／６０秒毎）にユーザ１００を撮影した静止画像（例えば、ＲＧＢデジタル画像）を生成する。以降、ＣＣＤカメラ２により生成される静止画像を撮影画像という。
【００２８】
図２は、ＣＣＤカメラ２によって生成される撮影画像の一例を示す図である。図２に示すように、撮影画像には、ＣＣＤカメラ２に対応する視野内に配置された物体が含まれる。なお、説明の簡略化のため図２では省略しているが、ＣＣＤカメラ２の視野内に家具や壁等が含まれている場合、撮影画像には、これらが含まれる。
【００２９】
撮影画像には、互いに直行するＸｓ軸、Ｙｓ軸が設定される。例えば、撮影画像の左上を、原点Ｏｓ（０，０）とする。また例えば、撮影画像の右下を、座標Ｐｍａｘ（Ｘｍａｘ，Ｙｍａｘ）とする。撮影画像に対応する各画素の位置は、それぞれの画素に割り当てられる２次元座標（Ｘｓ−Ｙｓ座標）によって特定される。
【００３０】
赤外線センサ３は、例えば、赤外線発光素子及び赤外線受光素子（例えば、赤外線ダイオード）から構成される。赤外線センサ３は、赤外線光を照射して得られる反射光を検出する。赤外線センサ３は、この反射光の検出結果に基づいて被写体（例えば、ユーザ１００）の深度を測定する。
【００３１】
被写体の深度とは、測定基準位置（例えば、赤外線センサ３の赤外線受光素子の位置）と被写体の位置との距離間隔である。測定基準位置とは、ユーザ１００の位置の深度（奥行き）を測定する際の基準となる位置である。測定基準位置は、位置検出装置１の配置位置と関連付けられる所定の位置であればよい。赤外線センサ３は、例えば、赤外線を照射してから反射光を受光するまでの飛行時間（ＴＯＦ:Time of Flight）に基づいてユーザ１００の深度を測定する。
【００３２】
図３は、赤外線センサ３によるユーザ１００の深度の測定方法を説明するための図である。図３に示すように、赤外線センサ３は、所定間隔でパルス状の赤外線光を照射する。
【００３３】
赤外線センサ３から照射された赤外線光は、赤外線センサ３の発光位置を中心点として球状に広がる。赤外線センサ３から照射された赤外線光は、例えば、ユーザ１００の体等の表面に当たる。これらの表面に当たった赤外線光は、反射する。反射した赤外線光は、赤外線センサ３の赤外線受光素子により検出される。即ち、赤外線センサ３は、照射した赤外線に対して位相が１８０度反転した反射光を検出する。
【００３４】
例えば、図１に示すように、ユーザ１００が両手を前に突き出している場合、この突き出された両手は、ユーザ１００の胴体よりも赤外線センサ３に近い。つまり、ユーザ１００の両手によって反射される赤外線光の飛行時間は、ユーザ１００の胴体によって反射される赤外線光の飛行時間よりも短い。
【００３５】
赤外線センサ３が赤外線光を照射してから反射光を検出するまでの時間（つまり、飛行時間）と、赤外線の速度と、を乗算して半分で割った値は、測定基準位置とユーザ１００との距離間隔（即ち、深度）に相当する。このようにして、赤外線センサ３は、ユーザ１００の深度を測定することができる。
【００３６】
また、例えば、ユーザ１００の後方に物体が配置されていない場合、ユーザ１００の周囲に対して照射された赤外線光は、ユーザ１００の後方にある壁に反射することが考えられる。そこで、反射した赤外線光から得られる深度差が大きい箇所に基づいて被写体（ユーザ１００）の輪郭を検出することもできる。例えば、周囲との深度差が大きい箇所をつなぎ合わせることによって、ユーザ１００の輪郭を検出することができる。
【００３７】
なお、ユーザ１００の輪郭を検出する方法は、上記の例に限られない。他にも例えば、ＣＣＤカメラ２によって得られる撮影画像の各画素の輝度に基づいて輪郭を検知するようにしてもよい。この場合も、例えば、画素間の輝度差が大きい箇所をつなぎ合わせることによってユーザ１００の輪郭を検出することができる。
【００３８】
上記のようにして検出されるユーザ１００の深度に関する情報（深度情報）は、例えば、深度画像として表現される。
【００３９】
図４は、赤外線センサ３によって得られる深度画像の一例を示す図である。図４に示すように、例えば、深度情報は、グレースケールの深度画像（例えば、２５６ビットのグレースケールの画像データ）として表現される。深度画像においては、例えば、赤外線センサ３に近い物体は明るく（輝度が高く）、遠い物体は暗く（輝度が低く）表現される。
【００４０】
例えば、深度画像が２５６ビットのグレースケールの画像データとして表される場合、ユーザ１００の深度は、深度画像の輝度（画素値）に対応する。即ち、例えば、ユーザ１００の深度が２センチ異なる毎に深度画像の輝度が１ビット異なる。この場合、赤外線センサ３は、被写体の深度を２センチ単位で検出することが可能であることを示す。
【００４１】
本実施形態においては、赤外線センサ３は、ＣＣＤカメラ２と同様に所定時間毎（例えば１／６０秒毎）に、深度画像を生成する。ＣＣＤカメラ２により得られる撮影画像と、赤外線センサ３により得られる深度画像と、に基づいてユーザ１００の部位の位置に関する３次元位置情報が生成される。
【００４２】
例えば、ＣＣＤカメラ２により得られる撮影画像（ＲＧＢデータ）に、深度画像が示す深度情報（Ｄ：Ｄｅｐｔｈ）が合算された合成画像（ＲＧＢＤデータ）が生成される。即ち、合成画像は、各画素ごとに、色情報（ＲＧＢそれぞれの明度）と深度情報とを含む。
【００４３】
なお、合成画像が生成される際には、ＣＣＤカメラ２と赤外線センサ３との位置間隔に基づいて、撮影画像と深度画像との少なくとも一方の位置が変更される。例えば、ＣＣＤカメラ２と赤外線センサ３が水平方向に２センチ離れている場合、深度画像の各画素の座標を、２センチに対応する画素数だけ移動させることによって、位置の変更が行われる。
【００４４】
この合成画像に基づいて３次元位置情報が生成される。例えば、３次元位置情報は、ユーザ１００の複数の部位の位置に関する複数の情報を含む。本実施形態においては、３次元位置情報が、ユーザ１００の体の各部位（例えば、頭や肩等）に対応する３次元座標を含む場合を説明する。
【００４５】
具体的には、例えば、次のようにして３次元位置情報が生成される。
【００４６】
まず、先述のように、深度画像に基づいてユーザ１００の輪郭に対応する画素が特定される。ユーザ１００の輪郭によって囲まれる画素は、ユーザ１００の体に対応する画素である。
【００４７】
次いで、撮影画像のうち、上記の輪郭によって囲まれた画素の色情報（ＲＧＢの明度）が参照される。撮影画像の色情報に基づいて、ユーザ１００の体の各部位に対応する画素が特定される。この特定方法としては、例えば、比較画像（教師画像）との比較によって画像の中から対象物（即ち、ユーザ１００の体の各部位）を抽出するパターンマッチング法等、公知の手法を適用可能である。
【００４８】
他にも例えば、撮影画像の各画素の色情報の変化から体の各部位の速度ベクトルを算出し、物体の運動を表すオプティカルフロー（例えば、勾配法又はフィルタリング法）等に基づいて各画素の動きベクトルを検出し、ユーザ１００の頭の位置や両肘の位置等に対応する画素が特定されるようにしてもよい。
【００４９】
上記のようにして特定された画素の画素値（ＲＧＢＤ値）に基づいて、ユーザ１００の頭や両ひじ等の３次元座標が算出される。例えば、この画素値に対して所定の行列変換処理が施されることによって、３次元座標が生成される。この行例変換処理は、例えば、３Ｄグラフィックにおけるワールド座標−スクリーン座標の２つの座標系の変換処理と同様の行例演算によって実行される。つまり、画素の色情報を示すＲＧＢ値と奥行きを示すＤ値と、が所定の行列式に代入されることにより、この画素の３次元座標が算出される。即ち、ユーザ１００の各部位の３次元座標が算出される。
【００５０】
なお、画素値（ＲＧＢＤ値）から画素に対応する３次元座標が算出される方法は、公知の手法を適用可能であり、この算出方法は、上記の例に限られない。他にも例えば、ルックアップテーブルを用いて座標変換が行われるようにしてもよい。
【００５１】
図５は、位置検出装置１により生成される３次元位置情報の一例を示す図である。図５に示すように、３次元位置情報は、例えば、ユーザ１００の各部位と、３次元座標と、が対応付けられて格納される。
【００５２】
図６は、３次元位置情報によって特定されるユーザ１００の位置（頭Ｐ１〜左つま先Ｐ１６）を示す図である。図６に示すように、ユーザ１００の各部位の３次元座標が、３次元位置情報によって特定される。なお、３次元位置情報によって示されるユーザ１００の体の部位は、プレイヤの体（骨格）のうちで予め定められた部位のものであってよい。例えば、この部位は、先述したパターンマッチング法によって特定可能な体の部位であればどこでもよい。
【００５３】
本実施形態においては、先述のように、所定間隔で生成される撮影画像と深度画像とに基づいて、所定間隔毎（例えば、１／６０秒毎）に３次元位置情報が生成される。生成された３次元位置情報は、所定時間毎に位置検出装置１からゲーム装置２０に対して送信される。
【００５４】
ゲーム装置２０は、位置検出装置１から３次元位置情報を受信して、この３次元位置情報に基づいてユーザ１００の体の位置を把握する。つまり、ユーザ１００が踊ったりボールを蹴ったりする動作をすると、この動作に対応するように３次元位置情報が変化するので、ゲーム装置２０は、３次元位置情報の変化に基づいてプレイヤの動きを把握することができる。
【００５５】
また例えば、ゲーム装置２０は、３次元位置情報に含まれるユーザ１００の各部の位置関係に基づいてユーザ１００のポーズ（姿勢）を把握する。このように、ゲーム装置２０は、３次元位置情報に基づいてユーザ１００の体の動きやポーズを把握してゲームを実行する。
【００５６】
また、ユーザ１００が複数人である場合、上記と同様の処理によって、複数のユーザ１００のそれぞれについて３次元位置情報が生成される。例えば、赤外線センサ３によって検出されるユーザ１００の輪郭の個数に基づいて、位置検出装置１は、ユーザ１００の人数を把握することができる。それぞれのユーザ１００に対応する画素に対して上記と同様の処理が実行されることによって、複数のユーザ１００の３次元位置情報を生成することができる。
【００５７】
［１−３．ゲーム装置で実行されるゲーム］
次に、ゲーム装置２０が実行するゲームについて説明する。本実施形態においては、ゲーム装置２０が、ユーザ１００が楽曲（ＢＧＭ）に合わせてゲームキャラクタと同じ動作をする、又は、ゲームキャラクタと同じポーズをとるダンスゲームを実行する例を挙げて説明する。先述のように、ユーザ１００の動作及びポーズは、３次元位置情報に基づいて判別される。
【００５８】
図７は、ゲーム画面５０の一例を示す図である。図７に示すように、ゲーム画面５０は、例えば、ゲームキャラクタ５１、判定領域５２、注目領域５３、ゲージ５４、メッセージ５５、観客キャラクタ５６を含む。ゲームキャラクタ５１は、例えば、判定領域５２の上に立つように配置される。ゲームキャラクタ５１は、所定のアニメーション情報に基づいて種々のポーズをとりながらダンスを踊る。
【００５９】
判定領域５２及び注目領域５３は、例えば、それぞれ同心円（又は同心楕円）である。例えば、注目領域５３の半径Ｒ５３は、判定領域５２の半径Ｒ５２よりも大きい。時間が経過すると、注目領域５３の半径Ｒ５３は、小さくなっていく。即ち、時間が経過すると、注目領域５３は、判定領域５２の大きさに近づくように縮んでいく。やがて、注目領域５３の半径Ｒ５３は、判定領域５２の半径Ｒ５２と一致する。
【００６０】
図８は、注目領域５３の半径Ｒ５３と判定領域５２の半径Ｒ５２とが一致した場合のゲーム画面５０の一例を示す図である。本実施形態のゲームでは、例えば、注目領域５３の半径Ｒ５３と、判定領域５２の半径Ｒ５２が一致するタイミングは、ユーザ１００が、ゲームキャラクタ５１と類似の動作をすべき、又は、ゲームキャラクタ５１と類似のポーズをとるべきタイミング（以降、単に基準タイミングという。）になっている。
【００６１】
このため、注目領域５３の半径Ｒ５３と、判定領域５２の半径Ｒ５２が一致するタイミングで、ユーザ１００がゲームキャラクタ５１と類似の動作をした場合、又は、ゲームキャラクタ５１と類似のポーズを取っていた場合、このユーザ１００に得点が加算される。なお、ユーザ１００が動作をしたタイミング又はポーズをとったタイミングと、基準タイミングと、のずれ具合に応じて加算される得点が異なるようにしてもよい。
【００６２】
例えば、図８の例の場合、ユーザ１００が、ゲームキャラクタ５１と同様に両手を上げていた場合、ユーザ１００に得点が加算される。加算された得点は、例えば、ゲージ５４に反映される。例えば、ゲージ５４のうち斜線で示す領域が、ユーザ１００の得点を示す。また例えば、得点が加算された場合、観客キャラクタ５６が喜ぶようなアニメーション処理が行われる。
【００６３】
一方、例えば、基準タイミングにおいて、ユーザ１００が、ゲームキャラクタ５１と類似のポーズを取ることができなかった場合、このユーザ１００の得点が減少する。例えば、ゲージ５４のうち斜線で示す領域が、得点の減少に伴って減少する。また例えば、得点が減少された場合、観客キャラクタ５６が、がっかりするようなアニメーション処理が行われる。
【００６４】
ユーザ１００の得点が所定範囲（例えば、０）になった場合、ゲームオーバーとなる。また、ユーザ１００が連続して得点を加算した場合、この回数（コンボ数）がメッセージ５５として表示される。
【００６５】
基準タイミングが到来した後、注目領域５３の半径Ｒ５３は、再び、判定領域５２の半径Ｒ５２よりも大きくなる。つまり、注目領域５３と判定領域５２との大小関係は、図７のように元に戻る。そして、注目領域５３の半径Ｒ５３は、次の基準タイミングが近づくにつれて注目領域５３の半径Ｒ５３が少しずつ小さくなっていく。以降のゲーム処理は、上記の繰り返しとなる。
【００６６】
また、本実施形態においては、ゲーム装置２０が実行するゲームには、難易度が設定される。難易度は、例えば、ゲームプレイの困難性の程度を示す数値である。難易度が比較的高い場合、例えば、基準タイミングが訪れる間隔が短くなる。この場合、ユーザ１００は、短い時間でたくさんポーズをとらなければならないので、ゲームが比較的難しくなる。一方、難易度が比較的低い場合、例えば、基準タイミングが訪れる間隔が長くなる。この場合、ユーザ１００は、あまりたくさんポーズをとらなくてよいので、ゲームが比較的簡単になる。
【００６７】
なお、上記では、基準タイミングが近づくにつれて、注目領域５３の半径Ｒ５３が少しずつ小さくなっていく例を挙げたが、ゲーム画面５０は、基準タイミングを案内することができる表示をすればよい。例えば、基準タイミングが近づくにつれて注目領域５３の半径Ｒ５３が少しずつ大きくなっていくようにしてもよい。他にも例えば、基準タイミングを案内する画像（案内画像）が、基準タイミングに対応する領域に近づいていくようにしてもよい。
【００６８】
本実施形態においては、上記のように実行されるゲームが所定の状況になり、かつ、ユーザ１００が発した音声の特徴情報が所定の特徴を示しているである場合、ゲームの状況とユーザ１００の状態との組み合わせに対応付けられたゲーム処理が実行される。音声の特徴情報とは、音声の特徴を示す指標の役割を果たし、例えば、音声の音量や波形の振幅のような音の特徴を定量的に評価するための特徴量である。
【００６９】
例えば、得点が少なくなった状態で、ユーザ１００が「まだまだ！」という大きく高揚するような音声を発した場合、観客キャラクタ５６がユーザ１００を応援するようなアニメーション処理（ゲーム処理）が実行される。ユーザ１００が、このような大きな声を発する場合、得点が少なくなってもゲームクリアをあきらめていないことが考えられるので、このユーザ１００が、観客キャラクタ５６の応援を受けながら心地よくゲームをプレイすることができるようになる。
【００７０】
他にも例えば、得点が少なくなった状態で、ユーザ１００が「もうだめだ」という小さく残念そうな音声を発した場合、ゲームの難易度を低下させるゲーム処理が実行される。ユーザ１００が、このような小さな声を発する場合、得点が少なくなりゲームクリアをあきらめかけていることが考えられるので、例えば、基準タイミングが訪れる時間間隔を広げるようなゲーム処理が実行され、このユーザ１００が、ゲームをあきらめずにプレイすることができるようになる。
【００７１】
以降、上記の機能を実現する技術について詳細に説明する。まず、位置検出装置１及びゲーム装置２０の構成について説明する。
【００７２】
［１−４．位置検出装置の構成］
図９は、位置検出装置１のハードウェア構成を示す図である。図９に示すように、位置検出装置１は、制御部１０、記憶部１１、撮影部１２、深度測定部１３、音声入力部１４、通信インタフェース部１５から構成される。位置検出装置１の各構成要素は、バス１６によってデータ送受信可能に接続される。
【００７３】
制御部１０は、例えばＣＰＵ（Central Processing Unit）等から構成される。制御部１０は、記憶部１１に記憶されるオペレーティングシステム、各種プログラムに基づいて位置検出装置１の各部を制御する。
【００７４】
記憶部１１は、オペレーティングシステムや撮影部１２、深度測定部１３を動作させるためのプログラム、各種パラメータを記憶する。また、記憶部１１は、撮影画像及び深度画像に基づいて３次元位置情報を生成するためのプログラムを記憶する。
【００７５】
撮影部１２は、ＣＣＤカメラ２等から構成される。撮影部１２は、例えば、ユーザ１００の撮影画像を生成する。撮影画像は、例えば、記憶部１１に記憶される。
【００７６】
深度測定部１３は、赤外線センサ３等から構成される。深度測定部１３は、例えば、赤外線センサ３により得られる飛行時間に基づいて深度画像を生成する。深度画像は、例えば、記憶部１１に記憶される。
【００７７】
制御部１０は、先述のように、撮影部１２により生成される撮影画像と、深度測定部１３により生成される深度画像と、に基づいて、３次元位置情報を生成する。具体的には、まず、制御部１０は、撮影画像に基づいてユーザ１００の各部（例えば、頭や両ひじ）に対応する画素の位置を特定する。
【００７８】
次いで、制御部１０は、この特定された画素のＲＧＢＤ値に基づいて座標変換処理を実行して３次元座標を算出する。この座標変換処理は、先述のように、行列演算に基づいた処理である。これらの一連の処理によって、３次元位置情報が、所定時間毎（例えば、１／６０秒毎）に生成される。
【００７９】
音声入力部１４は、マイク４等から構成される。例えば、音声入力部１４は、複数のマイクロフォン（いわゆるアレイマイク。例えば、３つ。）に基づいて検出した音声のずれ時間に基づいて、ユーザ１００が音声を発した位置を特定することができる。
【００８０】
音声入力部１４が受け付けたユーザ１００の音声を示す音声情報は、ゲーム装置２０に送信される。位置検出装置１からゲーム装置２０に対して送信される音声情報としては、所定周波数ごとにサンプリングされたデジタル形式のデータであってもよいし、音声の波形を示すアナログ形式のデータであってもよい。
【００８１】
また、音声入力部１４のマイク４としては、ＣＣＤカメラ２の視線方向と同じ方向にある発音源からの音を検知する単一指向性のマイクを適用可能である。
【００８２】
また、音声入力部１４は、所定周波数成分の音成分を除去するバンドパスフィルタを備えていてもよい。例えば、ゲーム音楽に対応する周波数成分を除去し、人間の声のみを検出するようにしてもよい。
【００８３】
即ち、例えば、ユーザ１００がゲームをプレイする部屋には、ゲーム音楽が出力されているので、このゲーム音楽やノイズを除去することによって、ユーザ１００の音声のみを取得することができる。特定の音を除去する手法としては、フィードバック回路によってキャンセリングを行う方法等、公知の種々の手法を適用可能である。また例えば、位置検出装置１ではなくゲーム装置２０によって、ゲーム音楽の音成分が除去される処理が行われるようにしてもよい。
【００８４】
通信インタフェース部１５は、ゲーム装置２０に対して３次元位置情報や音声情報等の各種データを送信するためのインタフェースである。
【００８５】
［１−５．ゲーム装置の構成］
ゲーム装置２０は、例えば、家庭用ゲーム機（据置型ゲーム機）、携帯用ゲーム機、携帯電話機、携帯情報端末（ＰＤＡ）、又はパーソナルコンピュータによって実現される。図１０は、ゲーム装置２０のハードウェア構成を示す図である。図１０に示すように、ゲーム装置２０は、制御部２１、主記憶部２２、補助記憶部２３、光ディスク再生部２４、通信インタフェース部２５、操作部２６、表示部２７、及び音声出力部２８を含む。
【００８６】
制御部２１は、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）、及びＳＰＵ（Sound Processing Unit）等を含む。制御部２１は、オペレーティングシステムやその他のプログラムに従って各種処理を実行する。
【００８７】
主記憶部２２は、例えば、ＲＡＭ（Random Access Memory）を含む。主記憶部２２は、補助記憶部２３又は光ディスク（情報記憶媒体）から読み出されたプログラムやデータを記憶する。また、主記憶部２２は、処理の過程で必要なデータを記憶するワークメモリとしても用いられる。また例えば、主記憶部２２は、位置検出装置１から受信される３次元位置情報を、受信時間と対応付けて一時的に記憶する。
【００８８】
補助記憶部２３は、例えば、ハードディスク装置（情報記億媒体）を含む。補助記憶部２３は、例えば、位置検出装置１から受信された音声情報を記憶する。
【００８９】
光ディスク再生部２４は、光ディスクに記憶されたプログラムやデータを読み取る。光ディスクには、例えば、ゲームプログラムが記憶されている。
【００９０】
通信インタフェース部２５は、ゲーム装置２０を通信ネットワークに通信接続するためのインタフェースである。ゲーム装置２０は、通信インタフェース部２５を介して３次元位置情報や音声情報を、位置検出装置１から取得する。
【００９１】
操作部２６は、ユーザ１００が操作を行うためのものである。操作部２６は、例えばゲームコントローラ、タッチパネル、マウス、又はキーボード等を含む。
【００９２】
表示部２７は、例えば、家庭用テレビ受像機又は液晶表示パネル等である。表示部２７は、制御部２１の指示に従って画面を表示する。
【００９３】
音声出力部２８は、例えば、スピーカ又はヘッドホン等を含む。音声出力部２８は、補助記憶部２３から読み出された音声情報や、光ディスクに記憶されたゲーム音楽等を制御部２１の指示に従って出力する。
【００９４】
上記のように、本実施形態においては、ゲームの実行に際して必要なプログラムやデータは、光ディスクを介してゲーム装置２０に供給される場合を説明する。なお、これらのプログラムやデータは、他の情報記憶媒体（例えば、メモリカード）を介してゲーム装置２０に供給されるようにしてもよい。または、プログラムやデータは、通信ネットワークを介して遠隔地からゲーム装置２０に供給されるようにしてもよい。
【００９５】
ゲーム装置２０では、光ディスクから読み出されたゲームプログラムによってゲームが実行される。例えば、ゲーム装置２０においては、ゲームキャラクタ５１と同じポーズをとるようなダンスゲーム（図７、図８）が実行される。
【００９６】
［１−６．ゲームシステムにおいて実現される機能］
次に、ゲーム装置２０において実現される機能について説明する。図１１は、ゲーム装置２０で実現される機能のうち、本発明に関連する機能を示す機能ブロック図である。図１１に示すように、ゲーム装置２０は、ゲームデータ記憶部６０、特徴情報取得部６２、基準特徴情報取得部６４、特徴情報比較部６６、基準ゲーム状況情報取得部６８、ゲーム状況比較部７０、及びゲーム実行部７２を含む。
【００９７】
［１−６−１．ゲームデータ記憶部］
ゲームデータ記憶部６０は、例えば、主記憶部２２、補助記憶部２３、及び光ディスクを主として実現される。ゲームデータ記憶部６０は、ゲームを実行するために必要な情報やデータを記憶する。例えば、ゲームデータ記憶部６０は、ゲームキャラクタ５１の動きを示すアニメーション情報を記憶する。
【００９８】
また例えば、本実施形態に係るゲームは、主に、ゲームデータ記憶部６０に記憶される以下の６つの情報に基づいて実行される。
（１）判定基準情報（図１２）
（２）基準タイミング情報（図１３）
（３）現在状況情報（図１４）
（４）基準特徴情報（図１５）
（５）基準ゲーム状況情報（図１６）
（６）ゲーム処理情報（図１７）
【００９９】
以下、上記の６つの情報について説明する。
【０１００】
［判定基準情報］
例えば、ゲームデータ記憶部６０は、３次元位置情報に基づいてユーザ１００の動作又はポーズを判断する際の基準（条件）となる判定基準情報を記憶する。
【０１０１】
図１２は、判定基準情報の一例を示す図である。図１２に示すように、判定基準情報は、例えば、ユーザ１００の動作又はポーズを識別する情報と、ユーザ１００の３次元位置情報に関する判定基準と、を対応付けたものである。判定基準とは、３次元位置情報が満たすべき条件である。判定基準としては、例えば、３次元位置情報に含まれるユーザ１００の各部位の３次元座標の変化速度、変化量、変化方向を示す情報や、３次元空間におけるユーザ１００の各部位の位置関係を示す情報である。
【０１０２】
制御部２１は、３次元位置情報が示す各部位の変化や位置関係が、判定基準情報に含まれる判定基準を満たすか否か、に基づいてユーザ１００の動作やポーズを判定する。例えば、ユーザ１００の両ひじ及び両手の３次元座標が、上方に所定速度で所定距離の変化をした場合、制御部２１は、ユーザ１００が両手を上げたと判定する。また例えば、ユーザ１００の頭の３次元座標と両手の３次元座標とが所定の位置関係にあった場合、制御部２１は、ユーザ１００がファイティングポーズをとっていると判定する。
【０１０３】
［基準タイミング情報］
また、ゲームデータ記憶部６０は、ユーザ１００が、どのタイミングでどのような動作をすべきか又はポーズをとるべきか、を識別するための基準タイミング情報を記憶する。
【０１０４】
図１３は、基準タイミング情報の一例を示す図である。図１３に示すように、基準タイミング情報には、基準タイミング（時間）と、ユーザ１００がすべき動作又はポーズを識別する情報と、が対応付けられている。基準タイミングは、例えば、ゲームが開始されてからの経過時間が格納される。図１３のデータ格納例では、ゲームが開始されてから時間ｔ１が経過した場合、ユーザ１００は両手を上げるべきであることを示す。
【０１０５】
先述したアニメーション情報は、基準タイミング情報に基づいて作成されている。即ち、基準タイミングが訪れた場合、ゲームキャラクタ５１が、この基準タイミングに対応付けられている動作又はポーズと類似した動作又はポーズをとるようになっている。
【０１０６】
ゲーム実行部７２は、アニメーション情報や基準タイミング情報に基づいてゲーム画面５０の表示制御を行う。具体的には、ゲーム実行部７２は、例えば、アニメーション情報に基づいてゲームキャラクタ５１の画像を表示させる。また例えば、ゲーム実行部７２は、現在の時間と基準タイミングとの時間差に基づいて、注目領域５３の半径Ｒ５３の大きさ制御する。
【０１０７】
［現在状況情報］
また、ゲームデータ記憶部６０は、ゲーム状況を示すゲーム状況情報を現在状況情報として記憶する。なお、本実施形態における「ゲーム状況」とは、ゲーム画面５０の表示状況やゲームの進行状況（経過状況）を意味する。
【０１０８】
図１４は、現在状況情報の一例を示す図である。図１４に示すように、例えば、下記に示す情報が現在状況情報に含まれる。
（１）得点情報（例えば、現在のユーザ１００の得点や、コンボ数を示す情報等）
（２）時間情報（例えば、ステージクリアまでの残り時間や、ステージクリアまでに訪れる基準タイミングの回数等）
（３）表示情報（例えば、判定領域５２の半径Ｒ５２や注目領域５３の半径Ｒ５２等）
（４）ゲーム経過情報（例えば、得点が加算又は減少されていく様子を示す情報や、ミスをした回数を示す情報等）
【０１０９】
なお、実行中のゲームにおけるゲーム状況は、例えば、上記の現在状況情報に基づいて判別される。ゲーム状況の判別方法は、現在状況情報に格納される各値に基づいて予め定められた方法で判別されるようにすればよい。例えば、得点情報が示す得点が基準値よりも低いか否かによって、ゲーム状況が判定される。また例えば、残り時間が所定時間以内であるか否かによって、ゲーム状況が判定される。
【０１１０】
ゲームデータ記憶部６０に記憶される現在状況情報は、例えば、後述するゲーム実行部７２によって内容が更新される。更新された現在状況情報は、例えば、更新時間と対応付けられてゲームデータ記憶部６０に記憶されるようにしてもよい。この場合、現在状況情報が更新される度に、現在状況情報が蓄積されることになる。これにより、ゲーム装置２０は、現在及び過去のゲーム状況を把握することができる。
【０１１１】
なお、現在状況情報のデータ形式は、ゲーム作成者によって予め定められたものであればよい。つまり、ゲーム状況を示すための情報の形式は、図１４に示す例に限られない。ゲームの状況を示すための情報の形式は、ゲーム装置２０において実行されるゲームの種類に応じて適宜変更可能である。
【０１１２】
［基準特徴情報］
また例えば、ゲームデータ記憶部６０は、音声の特徴情報を示す基準特徴情報を記憶する。音声の特徴情報とは、ゲーム装置２０がユーザ１００の状態を判定する際に使用される特徴パラメータである。基準特徴情報とは、ゲーム実行部７２がゲーム処理を実行するか否かの条件となる音声の特徴情報である。
【０１１３】
図１５は、基準特徴情報のデータ格納例を示す図である。図１５に示すように、基準特徴情報は、例えば、音声が示すユーザ１００の状態と、音声の特徴情報（例えば、基準特徴量）と、が対応付けられて格納される。本実施形態においては、基準特徴情報が示す音声の特徴情報が、音声の音量に関する特徴量情報を含む場合を説明する。音声情報が示す音量は、例えば、音声の波形の振幅に基づいて取得される。
【０１１４】
図１５のデータ格納例では、例えば、音声情報が示す音声の音量が、１０段階に分けられている。以降では、１段階目が最も音量が小さく、１０段階目が最も音量が大きい場合を説明する。例えば、音量が比較的小さい場合（例えば、１段階目〜３段階目）、ユーザ１００の状態が「あきらめている」こと示す。また例えば、音量が比較的中くらいの場合（例えば、４段階目〜７段階目）、ユーザ１００の状態が「頑張っている」ことを示す。また例えば、音量が比較的大きい場合（例えば、８段階目〜１０段階目）、ユーザ１００の状態が「パニックになっている」ことを示す。
【０１１５】
［基準ゲーム状況情報］
また、ゲームデータ記憶部６０は、基準ゲーム状況情報を記憶する。基準ゲーム状況情報は、予め定められた（所定の）ゲーム状況を示すためのものである。基準ゲーム状況情報が示すゲーム状況は、ゲーム実行部７２によってゲーム処理が実行されるべきタイミングを示すゲーム状況である。
【０１１６】
図１６は、基準ゲーム状況情報のデータ格納例を示す図である。図１６に示すように、基準ゲーム状況情報には、ゲーム状況を識別する情報と、予め定められたゲーム状況を示すゲーム状況情報と、が対応付けられて格納される。ゲーム状況情報のデータ格納例は、図１４に示す現在状況情報と同様であるので説明を省略する。
【０１１７】
本実施形態においては、基準ゲーム状況情報に格納されるゲーム状況と、現在状況情報が示す現在のゲーム状況と、の類似具合を示す類似度（詳細後述）が所定範囲である場合、基準ゲーム状況情報が示すゲーム状況である、と判定される。例えば、図１６の場合、ゲーム状況情報Ａが示すゲーム状況と、現在状況情報が示すゲーム状況と、の類似度が所定範囲である場合、実行中のゲームの状況が「ピンチ」であると判定される。
【０１１８】
［ゲーム処理情報］
また、本実施形態においては、ゲームデータ記憶部６０は、ゲーム処理情報を記憶する。
【０１１９】
図１７は、ゲーム処理情報のデータ格納例を示す図である。図１７に示すように、ゲーム処理情報には、例えば、ユーザ１００の状態を示す情報と、現在のゲーム状況を示す情報と、ゲーム実行部７２が実行すべきゲーム処理と、の組み合わせが格納される。
【０１２０】
ゲーム処理情報に含まれるユーザ１００の状態とは、即ち、特徴情報比較部６６の比較結果である。ゲーム処理情報に含まれる現在のゲーム状況とは、即ち、ゲーム状況比較部７０の比較結果である。
【０１２１】
つまり、本実施形態においては、ゲーム処理情報に含まれる組み合わせによって、ゲーム実行部７２が実行すべきゲーム処理が特定される。例えば、ユーザ１００が頑張っている状態であり、かつ、実行中のゲーム状況が「ピンチ」の場合、ゲーム実行部７２は、応援エフェクト処理（例えば、観客キャラクタ５６がユーザ１００を応援するようなアニメーション処理を行ったり、音声出力部２８から歓声を出力させる等）を実行する。
【０１２２】
［１−６−２．特徴情報取得部］
特徴情報取得部６２は、制御部２１を主として実現される。特徴情報取得部６２は、音声入力手段（音声入力部１４）から入力される音声の特徴情報を取得する。例えば、特徴情報取得部６２は、音声情報が示す音声の音量（特徴量）に関する情報を取得する。先述のように、音声の音量に関する特徴量情報は、例えば、音声情報の波形の振幅に基づいて取得される。例えば、所定時間の音量の平均値が特徴情報として取得される。
【０１２３】
［１−６−３．基準特徴情報取得部］
基準特徴情報取得部６４は、制御部２１を主として実現される。基準特徴情報取得部６４は、予め定められた基準特徴情報を記憶する手段から基準特徴情報を取得する。例えば、基準特徴情報取得部６４は、ゲームデータ記憶部６０から基準特徴情報を取得する。
【０１２４】
［１−６−４．特徴情報比較部］
特徴情報比較部６６は、制御部２１を主として実現される。特徴情報比較部６６は、音声入力手段（音声入力部１４）から入力される音声の特徴情報と、基準特徴情報と、を比較する。特徴情報比較部６６は、例えば、音声入力部１４から入力される音声の特徴量情報と、基準特徴情報に含まれる特徴量情報と、を比較する。
【０１２５】
［１−６−５．基準ゲーム状況情報取得部］
基準ゲーム状況情報取得部６８は、制御部２１を主として実現される。基準ゲーム状況情報取得部６８は、予め定められた基準ゲーム状況情報を記憶する手段から基準ゲーム状況情報を取得する。例えば、基準ゲーム状況情報取得部６８は、基準ゲーム状況情報をゲームデータ記憶部６０から取得する。
【０１２６】
［１−６−６．ゲーム状況比較部］
ゲーム状況比較部７０は、制御部２１を主として実現される。ゲーム状況比較部７０は、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、を比較する。例えば、ゲーム状況比較部７０は、ゲームデータ記憶部６０に記憶された現在状況情報を取得して、基準ゲーム状況情報が示すゲーム状況と比較する。この比較の方法としては、先述のように例えば、互いの情報の類似具合を示す類似度を用いた方法が挙げられる。
【０１２７】
類似度は、例えば、次のようにして算出される。例えば、ゲーム状況比較部７０は、ゲーム状況に関するｎ個の指標値を現在のゲーム状況に関して取得する。ここで、指標値はゲーム状況の特徴を表すような数値であり、ゲーム状況が類似しているか否かを評価するための数値である。同様に、制御部２１は、上記のｎ個の指標値を、基準ゲーム状況情報が示すゲーム状況に関しても取得する。
【０１２８】
そして、上記のｎ個の指標値をｎ次元のベクトルとみなして、ゲーム状況比較部７０は、現在のゲーム状況に対応するベクトルと、音声テーブルに含まれるレコードの基準ゲーム状況情報が示すゲーム状況に対応するベクトルと、のなす角度（θ）に基づいて、類似度を算出する。例えば、この角度の余弦（ｃｏｓθ）が類似度として用いられる。
【０１２９】
この余弦が１に近いほど、両者のベクトルが同じ方向を示していることになるため、上記のｎ個の指標値が互いに類似していることを示す。即ち、現在のゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、が類似していることを示す。
【０１３０】
一方、例えば、上記の余弦が０に近いほど、上記のｎ個の指標値が互いに類似しないことを示す。即ち、現在のゲーム状況と、比較対象のレコードの基準ゲーム状況情報が示すゲーム状況と、が類似していないことを示す。
【０１３１】
例えば、実行中のゲームにおけるゲーム経過情報が示す得点の増減の状況と、基準ゲーム状況情報が示すゲーム経過情報が示す得点の増減の状況と、の類似度が取得される。ここで、「得点の増減の状況」とは、得点情報が増減する時系列的な様子である。この場合の類似度は、例えば、時系列的な得点の増減の具合について、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況との間で上記のように比較されることによって算出されることになる。
【０１３２】
［１−６−７．ゲーム実行部］
ゲーム実行部７２は、制御部２１を主として実現される。ゲーム実行部７２は、ゲームを実行する。例えば、ゲーム実行部７２は、ゲーム画面５０を表示部２７に表示させたり、基準タイミングにおいて、ユーザ１００が基準となる動作又はポーズ（姿勢）をしたか否かを判定して得点を増減させる処理を実行する。即ち例えば、ゲーム実行部７２は、ユーザ１００の３次元位置情報に基づいてゲームを制御する。
【０１３３】
また、ゲーム実行部７２は、ゲームデータ記憶部６０に記憶される現在状況情報を更新する。例えば、ゲーム実行部７２は、基準タイミングが訪れた場合、ユーザ１００がゲームキャラクタ５１と類似の動作又はポーズをしているか否かに基づいて、得点情報を更新する。基準タイミングが訪れた場合とは、例えば、基準タイミングから所定時間前後した時間を含む意である。
【０１３４】
また例えば、ゲーム実行部７２は、ゲームが開始されてからユーザ１００の得点の増減の経過を時系列的に示すゲーム経過情報を更新する。また例えば、ゲーム実行部７２は、時間経過に伴って時間情報や表示情報を、所定のアルゴリズムに基づいて更新する。
【０１３５】
ゲーム実行部７２は、特徴情報比較部６６の比較結果と、ゲーム状況比較部７０の比較結果と、に基づいてゲーム処理を実行する。例えば、特徴情報比較部６６の比較結果が所定の結果であり、かつ、ゲーム状況比較部７０の比較結果が所定の結果である場合、ゲーム処理情報に格納されたゲーム処理を実行する。このゲーム処理は、例えば、ユーザ１００のゲームプレイに影響を与えるゲーム処理である。
【０１３６】
ここで、「特徴情報比較部６６の比較結果が所定の結果である」とは、例えば、特徴情報が示す音声の特徴情報と、基準特徴情報が示す音声の特徴情報と、が一致又は類似する場合である。言い換えれば、「特徴情報比較部６６の比較結果が所定の結果である」とは、例えば、特徴情報が示す音声の音量が、基準特徴情報が示す音声の音量に含まれる場合である。
【０１３７】
また、「ゲーム状況比較部７０の比較結果が所定の結果である場合」とは、例えば、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、が一致又は類似する場合である。言い換えれば、「ゲーム状況比較部７０の比較結果が所定の結果である場合」とは、例えば、実行中のゲームにおけるゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、の類似度が所定範囲（例えば、０．８以上）の場合である。
【０１３８】
本実施形態においては、ゲーム実行部７２は、特徴情報比較部６６の比較結果と、ゲーム状況比較部７０の比較結果と、の組み合わせに対応付けてゲーム実行部７２が実行すべきゲーム処理を示すゲーム処理情報を記憶する記憶手段（例えば、ゲームデータ記憶部６０）からゲーム処理情報を取得する手段を含む場合を説明する。即ち、ゲーム実行部７２は、この取得されたゲーム処理情報が示すゲーム処理を実行する。
【０１３９】
また例えば、ゲーム装置２０において実行されるゲームが、難易度が設定されるゲームである場合、ゲーム実行部７２は、特徴情報比較部６６の比較結果と、ゲーム状況比較部７０の比較結果と、に基づいてゲームの難易度を変更する処理（難易度を上げる処理、又は、難易度を下げる処理）を実行する。ゲームの難易度が上がると、例えば、基準タイミングが訪れる間隔が短くなる。ゲームの難易度が下がると、例えば、基準タイミングが訪れる間隔が長くなる。
【０１４０】
［１−７．ゲーム装置において実行される処理］
次に、ゲーム装置２０で実行される処理について説明する。図１８は、ダンスゲームが開始された場合、ゲーム装置２０が実行する処理を示すフロー図である。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図１８に示す処理を実行する。
【０１４１】
まず、制御部２１は、所定のタイミングが訪れたか否かを判定する（Ｓ１０１）。所定のタイミングとは、ゲーム処理情報に格納されたゲーム処理を実行すべきタイミングである。例えば、一定時間ごとにこのタイミングが訪れるようにしてもよいし、得点が所定範囲になった場合に、このタイミングが訪れるようにしてもよい。
【０１４２】
所定のタイミングが訪れた場合（Ｓ１０１；Ｙ）、制御部２１は、音声入力部１４から音声の入力があるか否かを判定する（Ｓ１０２）。Ｓ１０２においては、例えば、音声情報が示す音声の音量が基準値以上であった場合に、音声入力部１４から音声の入力があると判定される。
【０１４３】
音声の入力がある場合（Ｓ１０２；Ｙ）、制御部２１（特徴情報取得部６２）は、音声入力部１４を介して入力されたユーザ１００の音声の特徴情報を取得する（Ｓ１０３）。例えば、音声情報が示す音声の振幅に基づいて音量が取得される。
【０１４４】
制御部２１（基準特徴情報取得部６４）は、基準特徴情報を取得する（Ｓ１０４）。制御部２１（特徴情報比較部６６）は、入力された音声の特徴情報と、基準特徴情報と、を比較する（Ｓ１０５）。この比較結果（例えば、ユーザ１００の状態を示す情報）は、例えば、主記憶部２２に一時的に記憶される。
【０１４５】
制御部２１は、現在のゲーム状況を示す現在状況情報を取得する（Ｓ１０６）。制御部２１（基準ゲーム状況情報取得部６８）は、基準ゲーム状況情報を取得する（Ｓ１０７）。制御部２１（ゲーム状況比較部７０）は、現在状況情報が示すゲーム状況と、基準ゲーム状況情報が示すゲーム状況と、を比較する（Ｓ１０８）。この比較結果（例えば、類似度が０．９以上のゲーム状況を示す情報）は、例えば、主記憶部２２に一時的に記憶される。
【０１４６】
次いで、制御部２１（ゲーム実行部７２）は、Ｓ１０５の比較結果と、Ｓ１０７の比較結果と、の組み合わせに基づいて決定されるゲーム処理を実行する（Ｓ１０９）。例えば、ゲーム処理情報が参照されて、ユーザ１００の状態を示す情報（Ｓ１０５の比較結果）と、現在のゲーム状況を示す情報（Ｓ１０７の比較結果）と、の２つに対応付けられているゲーム処理が実行される。
【０１４７】
制御部２１は、終了条件を満たすか否かを判定する（Ｓ１１０）。例えば、ダンスゲームが終了（ステージクリアやゲームオーバー等）するタイミングが訪れたか否かが判定される。
【０１４８】
終了条件を満たす場合（Ｓ１１０；Ｙ）、制御部２１は、処理を終了する。終了条件を満たさない場合（Ｓ１１０；Ｎ）、処理は、Ｓ１０１に戻る。
【０１４９】
以上説明したゲーム装置２０によれば、ユーザ１００が発した音声の特徴と、現在のゲーム状況と、の両者を考慮してゲーム処理を実行するようにしたので、ユーザ１００の意図を反映してゲームプレイの補助をすることができる。例えば、あきらめずに頑張っているユーザ１００に対してはプレイを応援する処理を行い、このユーザ１００のゲームクリアをリアルタイムに補助（支援）をすることができる。また例えば、あきらめかけているユーザ１００に対してはゲームの難易度を下げる処理を行い、このユーザ１００に対してゲームを続けるように促すことができる。
【０１５０】
このように、ユーザ１００が、ゲームプレイがうまくいかなくてゲームオーバーになってしまいそうな状況であっても、この状況を自分の力によって難局を上手く切り抜けたように感じさせることができ、ゲームの趣向性が向上する。さらに、ゲーム装置２０が応援エフェクト処理等のゲーム処理を実行することによって、ユーザ１００は、自然と高揚感を感じながらゲームをプレイすることができる。
【０１５１】
なお、本実施形態においては、ゲーム状況の比較方法として、類似度を用いた場合を説明したが、ゲーム状況の比較方法は、これに限られない。他にも、現在状況情報の各値と基準ゲーム状況の各値とが所定の数式に代入されることによって、ゲーム状況が比較されるようにしてもよい。
【０１５２】
［２．実施形態２］
以下、実施形態２について説明する。実施形態１のゲーム装置２０は、ユーザ１００が発した音声の特徴と、現在のゲーム状況と、に基づいてユーザ１００の意図を推測してゲームの難易度を下げる処理や応援エフェクト処理等のゲーム処理を実行する。
【０１５３】
これに対して実施形態２は、撮影画像等からユーザ１００の人数を把握し、この人数を考慮して上記のようなゲーム処理を実行する点に特徴がある。
【０１５４】
例えば、ユーザ１００が１人で遊んでいる場合には、ゲーム状況が変化しても、このユーザ１００はあまり大きな声を発しないことが考えられる。そこで、この場合には、ゲーム装置２０は、基準特徴情報が示す音量が比較的小さくなるように変更する。
【０１５５】
一方、ユーザ１００が大人数で遊んでいる場合には、ゲーム状況が少し変化しただけで、ユーザ１００が大きな声を発することが考えられる。そこで、この場合には、ゲーム装置２０は、基準特徴情報が示す音量が比較的大きくなるように変更する。
【０１５６】
なお、実施形態２に係る位置検出装置１及びゲーム装置２０のハードウェア構成は、実施形態１（図９、図１０参照）と同様であるため、説明を省略する。
【０１５７】
［２−１．実施形態２において実現される機能］
図１９は、実施形態２のゲーム装置２０において実現される機能ブロック図である。図１９に示すように、実施形態２のゲーム装置２０では、実施形態１の機能に加えてユーザ数取得部７４が実現される。
【０１５８】
［２−１−１．ユーザ数取得部］
ユーザ数取得部７４は、ユーザ１００の人数を示すユーザ数情報を取得する。例えば、ユーザ数取得部７４は、ゲーム装置２０が位置検出装置１から受信する３次元位置情報に基づいてユーザ１００の人数を取得する。先述のように、位置検出装置１が複数のユーザ１００を検出した場合、これら複数のユーザ１００のそれぞれについての３次元位置情報が、ゲーム装置２０に対して送信される。ユーザ数取得部７４は、例えば、３次元位置情報が示すユーザ１００の数を、ユーザ１００の人数を示す情報として取得する。
【０１５９】
なお、ユーザ数取得部７４が、ユーザ１００の人数を示す情報を取得する方法は、上記の例に限られない。例えば、ゲーム装置２０が、ＣＣＤカメラ２によって撮影される撮影画像を位置検出装置１から取得し、ユーザ数取得部７４が、この撮影画像に含まれるユーザ１００の人数を取得するようにしてもよい。この場合、例えば、撮影画像に含まれるユーザ１００の輪郭の数に基づいてユーザ１００の人数が取得される。
【０１６０】
他にも例えば、ゲーム装置２０が、ユーザ１００の深度を示す深度画像を取得し、ユーザ数取得部７４が、上記と同様に、ユーザ１００の輪郭の数に基づいて人数を取得するようにしてもよい。また他にも例えば、マイク４が検出した音声に基づいて、ユーザ１００の数が検出されるようにしてもよい。具体的には、音声情報が示す音声が音声認識されることによって、ユーザ１００の人数が検出されるようにしてもよい。また例えば、ユーザ１００に操作部２６を介して自分達の人数を直接入力させることによって、ユーザ数取得部７４は、ユーザ１００の人数を取得するようにしてもよい。上記のような手法のうちの少なくとも１つが実行されるようにすればよい。
【０１６１】
［２−１−２．実施形態２のゲームデータ記憶部６０］
実施形態２のゲームデータ記憶部６０は、例えば、音声が示すユーザ１００の状態と、音声の特徴情報と、ユーザ１００の人数と、を対応付けて記憶する。
【０１６２】
図２０は、実施形態２における基準特徴情報のデータ格納例を示す図である。図２０に示すように、実施形態２の基準特徴情報には、ユーザ１００の人数が対応付けられている。例えば、ユーザ１００の状態を識別するための条件を示す音声の特徴情報は、ユーザ１００の人数によって異なる。
【０１６３】
例えば、ユーザ１００の人数が「２人以下」である場合、音量が所定範囲（例えば、２段階目〜４段階目）である場合、ユーザ１００の状態が「頑張っている」と判定される。一方、ユーザ１００の人数が「３人以上」である場合、音量が上記とは異なる範囲（例えば、３段階目〜６段階目）である場合、ユーザ１００の状態が「頑張っている」と判定される。
【０１６４】
上記のように、ユーザ１００の人数が対応付けられている基準特徴情報によれば、例えば、ユーザ１００の人数が比較的少ない場合には、ユーザ１００があまり大きな声を発しないと考えられるので、小さめの音量でユーザ１００の状態が判別されるようになる。一方、ユーザ１００の人数が比較的多い場合には、ユーザ１００が大げさに声を発すると考えられるので、大きめの音量でユーザ１００の状態が判別されるようになる。
【０１６５】
［２−１−３．実施形態２の基準特徴情報取得部］
実施形態２の基準特徴情報取得部６４は、ユーザ数情報に基づいて基準特徴情報を変更する手段を含む。例えば、基準特徴情報取得部６４は、ユーザ数取得部７４が取得したユーザ１００の人数に対応付けられた音声の特徴情報を参照することによって、基準特徴情報をユーザ１００の人数に基づいて変更する。つまり、基準特徴情報取得部６４は、例えば、特徴情報比較部６６の比較対象となる基準特徴情報を変更する。
【０１６６】
［２−２．実施形態２のゲーム装置において実行される処理］
図２１は、ダンスゲームが開始された場合、ゲーム装置２０が実行する処理を示すフロー図である。図２１の処理は、図１８の処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２１に示す処理を実行する。
【０１６７】
図２１に示すように、Ｓ２０１〜Ｓ２０３は、それぞれＳ１０１〜Ｓ１０３と同様であるので説明を省略する。
【０１６８】
制御部２１（ユーザ数取得部７４）は、ユーザ１００の人数を取得する（Ｓ２０４）。例えば、主記憶部２２に記憶された３次元位置情報が示す人数に基づいて、ユーザ１００の人数を取得する。
【０１６９】
制御部２１（基準特徴情報取得部６４）は、ユーザ１００の人数に基づいて基準特徴情報を変更する（Ｓ２０５）。例えば、基準特徴情報のうちでユーザ１００の人数に対応する情報のみが参照される。
【０１７０】
制御部２１（特徴情報比較部６６）は、入力された音声の特徴情報と、変更された基準特徴情報と、を比較する（Ｓ２０６）。Ｓ２０６においては、基準特徴情報のうちでユーザ１００の人数の条件に対応する基準特徴量のみが比較対象となる。
【０１７１】
以降のＳ２０７〜Ｓ２１１は、それぞれＳ１０６〜Ｓ１１０と同様であるので説明を省略する。
【０１７２】
以上説明した実施形態２のゲーム装置２０によれば、ユーザ１００が発した音声と、実行中のゲーム状況と、ユーザ１００の人数と、を考慮してゲーム処理を実行することができる。つまり、ゲームをプレイするユーザ１００の数により音声の大きさが変わってしまっても、ユーザ１００の意図を反映して、このユーザ１００の補助をするようなゲーム処理を行うことができる。
【０１７３】
［３．実施形態３］
以下、実施形態３について説明する。実施形態２のゲーム装置２０は、ゲームの難易度を下げたり、応援エフェクト処理を実行したりする場合に、ユーザ１００の人数を考慮する。
【０１７４】
これに対して実施形態３は、ユーザ１００の音声が入力された場合の時間を考慮して、上記のゲーム処理を実行する点に特徴がある。
【０１７５】
例えば、ユーザ１００が、夜の時間帯にゲームをプレイしている場合には、あまり大きな声を発しないことが考えられる。そこで、この場合には、基準特徴情報が示す音量が比較的小さくなるように変更される。
【０１７６】
一方、ユーザ１００が昼の時間帯にゲームをプレイしている場合には、比較的大きな声を発することが考えられる。そこで、この場合には、基準特徴情報が示す音量が比較的大きくなるように変更される。
【０１７７】
なお、実施形態３に係る位置検出装置１及びゲーム装置２０のハードウェア構成は、実施形態１（図９、図１０参照）と同様であるため、説明を省略する。
【０１７８】
［３−１．実施形態３において実現される機能］
図２２は、実施形態３のゲーム装置２０において実現される機能ブロック図である。図２２に示すように、実施形態３のゲーム装置２０では、実施形態１の機能に加えて時間取得部７６が実現される。
【０１７９】
［３−１−１．時間取得部］
時間取得部７６は、制御部２１を主として実現される。音声入力手段（音声入力部１４）から音声が入力された場合の時間に関する入力時間情報を取得する。音声が入力された場合とは、音声入力部１４から音声が入力された時点から所定時間前後した時間幅を含む。例えば、時間取得部７６は、位置検出装置１から音声情報を受信した時間を取得する。この時間は、例えば、ゲーム装置２０の時間関数プログラム等に基づいて生成される。
【０１８０】
また例えば、位置検出装置１が時刻を取得する手段を有する場合、時間取得部７６は、音声入力部１４が音声を受け付けた時間を位置検出装置１から取得するようにしてもよい。
【０１８１】
［３−１−２．実施形態３のゲームデータ記憶部６０］
実施形態３のゲームデータ記憶部６０は、例えば、音声が示すユーザ１００の状態と、音声の特徴情報と、音声入力部１４によってユーザ１００の音声が入力された場合の時間と、を対応付けて記憶する。
【０１８２】
図２３は、実施形態３における基準特徴情報のデータ格納例を示す図である。図２３に示すように、実施形態３の基準特徴情報には、音声入力部１４によってユーザ１００の音声が入力された人数が対応付けられている。例えば、基準特徴情報に格納される音声の特徴情報は、ユーザ１００の音声が入力された時間によって異なる。
【０１８３】
例えば、ユーザ１００の音声を受け付けた時間が「夜」である場合（例えば、入力時間情報が示す時間が第１時間帯に属する場合）、音声情報が示す音声の音量が所定範囲（例えば、２段階目〜３段階目）であれば、ユーザ１００の状態が「頑張っている」と判定される。一方、ユーザ１００の音声が入力された時間が「昼」である場合（例えば、入力時間情報が示す時間が第２時間帯に属する場合）、音声情報が示す音声の音量が上記とは異なる所定範囲（例えば、３段階目〜５段階目）であれば、ユーザ１００の状態が「頑張っている」と判定される。
【０１８４】
上記のように、ユーザ１００の音声が入力された時間が対応付けられている基準特徴情報によれば、例えば、ユーザ１００の音声が入力された時間が夜であれば、ユーザ１００があまり大きな声を発しないと考えられるので、小さめの音量でユーザ１００の状態が判別されるようになる。一方、ユーザ１００の音声が入力された時間が昼であれば、ユーザ１００が大きな声を発すると考えられるので、大きめの音量でユーザ１００の状態が判別されるようになる。
【０１８５】
［３−１−３．実施形態３の基準特徴情報取得部］
実施形態３の基準特徴情報取得部６４は、入力時間情報に基づいて基準特徴情報を変更する手段を含む。例えば、基準特徴情報取得部６４は、時間取得部７６が取得した入力時間情報が示す時間に対応付けられた音声の特徴情報を使用することによって、基準特徴情報をユーザ１００の音声が入力された時間に基づいて変更する。つまり、基準特徴情報取得部６４は、例えば、特徴情報比較部６６の比較対象となる基準特徴情報を変更する。
【０１８６】
また例えば、基準特徴情報取得部６４は、入力時間情報が示す時間が第１時間帯（例えば、夜間の時間帯）に属する場合、前記入力時間情報が示す時間が第２時間帯（例えば、昼間の時間帯）に属する場合よりも、基準特徴情報が示す音量が小さくなるように変更する。この変更方法は、入力時間情報が示す時間が属する時間帯によって決定されるようにすればよい。
【０１８７】
［３−２．実施形態３のゲーム装置において実行される処理］
図２４は、ダンスゲームが開始された場合、ゲーム装置２０が実行する処理を示すフロー図である。図２４の処理は、図１８の処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２４に示す処理を実行する。
【０１８８】
図２４に示すように、Ｓ３０１〜Ｓ３０３は、それぞれＳ１０１〜Ｓ１０３と同様であるので説明を省略する。
【０１８９】
制御部２１（時間取得部７６）は、ユーザ１００の音声が入力された場合の時間を取得する（Ｓ３０４）。例えば、音声情報を位置検出装置１から受信した受信時間が参照される。
【０１９０】
制御部２１（基準特徴情報取得部６４）は、ユーザ１００の音声が入力された時間に基づいて基準特徴情報を変更する（Ｓ３０５）。例えば、基準特徴情報のうちでユーザ１００の音声が入力された時間に対応する情報のみが参照される。
【０１９１】
制御部２１（特徴情報比較部６６）は、入力された音声の特徴情報と、変更された基準特徴情報と、を比較する（Ｓ３０６）。Ｓ３０６においては、基準特徴情報のうちでユーザ１００の音声が入力された時間の条件に対応する基準特徴量のみが比較対象となる。
【０１９２】
以降のＳ３０７〜Ｓ３１１は、それぞれＳ１０６〜Ｓ１１０と同様であるので説明を省略する。
【０１９３】
以上説明した実施形態３のゲーム装置２０によれば、ユーザ１００が発した音声と、実行中のゲーム状況と、音声が入力された時間と、を考慮してゲーム処理を実行することができる。つまり、ユーザ１００がゲームをプレイする時間によって声の大きさが変わってしまっても、ユーザ１００の意図を反映して、このユーザ１００の補助をするようなゲーム処理を行うことができる。
【０１９４】
［４．実施形態４］
以下、実施形態４について説明する。実施形態３のゲーム装置２０は、ユーザ１００の音声が入力された時間を考慮してゲームの難易度を下げたり、応援エフェクト処理を実行したりする。
【０１９５】
これに対して実施形態４は、撮影画像から取得されるユーザ１００の表情を考慮して、上記のゲーム処理を実行する点に特徴がある。
【０１９６】
例えば、ユーザ１００が同じような声を発した場合でも、表情次第でユーザ１００の状態が異なる場合がある。例えば、「よし！」という声を発した場合であっても、ユーザ１００が笑っていれば比較的余裕があることが考えられる。一方、同じような声を発した場合でも、ユーザ１００が眉間にしわを寄せていれば、あまり余裕がないことが考えられる。そこで、実施形態４のゲーム装置２０は、ユーザ１００の表情を考慮してゲーム処理を実行する。
【０１９７】
なお、実施形態４に係る位置検出装置１及びゲーム装置２０のハードウェア構成は、実施形態１（図９、図１０参照）と同様であるため、説明を省略する。
【０１９８】
［４−１．実施形態４において実現される機能］
図２５は、実施形態４のゲーム装置２０において実現される機能ブロック図である。図２５に示すように、実施形態４のゲーム装置２０では、実施形態１の機能に加えて表情取得部７８が実現される。
【０１９９】
［４−１−１．表情取得部］
表情取得部７８は、制御部２１を主として実現される。表情取得部７８は、ユーザ１００を撮影する撮影手段（撮影部１２）から得られる撮影画像に対して表情認識処理を行うことによって、当該ユーザ１００の表情に関する表情情報を取得する。つまり、実施形態４のゲーム装置２０は、撮影画像（図２）を位置検出装置１より取得する。この撮影画像は、例えば、ゲームデータ記憶部６０に一時的に記憶される。
【０２００】
撮影画像から被写体（ユーザ１００）の表情を取得する方法として、本実施形態では、参照画像を用いる場合を説明する。例えば、この参照画像は、ユーザ１００が無表情になった場合の撮影画像である。即ち、ユーザ１００が無表情の撮影画像（参照画像）と、ゲームをプレイしている最中のユーザ１００の撮影画像と、が比較されて、ユーザ１００の表情が取得される。
【０２０１】
具体的には、まず、ゲーム装置２０は、予めユーザ１００の無表情の参照画像を位置検出装置１から取得する。例えば、表示部２７に「口を閉じて無表情になってください」というメッセージを表示させる。この状態で、ゲーム装置２０は、位置検出装置１にユーザ１００を撮影させ、参照画像を取得する。
【０２０２】
次いで、この取得された参照画像に対して所定の特徴点を抽出する処理が実行される。特徴点は、ユーザ１００の表情を認識するための基準となる点であり、例えば、眉や口角、目尻の位置等である。この特徴点の抽出方法としては、先述したパターンマッチング法と同様の手法を適用可能である。即ち、参照画像と、予めゲーム作成者が用意した教師画像とのマッチングによって、特徴点が抽出される。
【０２０３】
ゲームが開始されると、撮影画像の特徴点の間の距離と、上記の参照画像の特徴点間の距離と、が比較される。例えば、この差分値に基づいてユーザ１００の表情が認識される。即ち、左右の口角の間の距離が基準値以上となっている場合には、ユーザ１００が「笑っている」と判定される。他にも例えば、両眉の距離が基準値以下となっている場合には、ユーザ１００が「顔をしかめている」と判定される。この基準値は、予めゲーム装置２０に記憶されている。
【０２０４】
なお、ユーザ１００の表情を認識する処理は、公知の種々の手法を適用可能である。他にも例えば、撮影画像に対してウェーブレット変換を施して、所定周波数帯域ごとに平均電力を算出し、この電力の差分値に基づいて表情が認識されるようにしてもよい。
【０２０５】
［４−１−２．実施形態４のゲームデータ記憶部］
実施形態４のゲームデータ記憶部６０は、例えば、音声が示すユーザ１００の状態と、音声の特徴情報と、ユーザ１００の表情を示す表情情報と、を対応付けて記憶する。
【０２０６】
図２６は、実施形態４における基準特徴情報のデータ格納例を示す図である。図２６に示すように、実施形態４の基準特徴情報には、ユーザ１００の表情を識別する情報が対応付けられている。図２６に示すように、例えば、音声の特徴情報は、ユーザ１００の表情によって異なる。
【０２０７】
例えば、ユーザ１００がゲームをあきらめずに頑張っていても顔をしかめている場合、ユーザ１００が笑っている場合よりも余裕がないので、声が大きくなってしまうことが考えられる。そこで、ユーザ１００が顔をしかめている場合、ユーザ１００が笑っている場合よりも、基準特徴情報が示す音量が小さくなるように変更される。
【０２０８】
［４−１−３．実施形態４の基準特徴情報取得部］
実施形態４の基準特徴情報取得部６４は、表情情報が示すユーザ１００の表情に基づいて基準特徴情報を変更する手段を含む。例えば、基準特徴情報取得部６４は、表情取得部７８が取得したユーザ１００の表情に対応付けられた音声の特徴情報を使用することによって、基準特徴情報をユーザ１００の表情に基づいて変更する。つまり、基準特徴情報取得部６４は、例えば、特徴情報比較部６６の比較対象となる基準特徴情報を変更する。
【０２０９】
［４−２．実施形態４のゲーム装置において実行される処理］
図２７は、ダンスゲームが開始された場合、ゲーム装置２０が実行する処理を示すフロー図である。図２７の処理は、図１８の処理に対応する。制御部２１が、補助記憶部２３又は光ディスクに記憶されたプログラムに従って、図２７に示す処理を実行する。
【０２１０】
図２７に示すように、Ｓ４０１〜Ｓ４０３は、それぞれＳ１０１〜Ｓ１０３と同様であるので説明を省略する。
【０２１１】
制御部２１（時間取得部７６）は、ユーザ１００の表情を取得する（Ｓ４０４）。例えば、位置検出装置１から受信した撮影画像に表情認識処理が施されてユーザ１００の表情を示す表情情報が取得される。
【０２１２】
制御部２１（基準特徴情報取得部６４）は、ユーザ１００の表情に基づいて基準特徴情報を変更する（Ｓ４０５）。例えば、基準特徴情報のうちでユーザ１００の表情に対応する情報のみが参照される。
【０２１３】
制御部２１（特徴情報比較部６６）は、入力された音声の特徴情報と、変更された基準特徴情報と、を比較する（Ｓ４０６）。Ｓ４０６においては、基準特徴情報のうちでユーザ１００の表情に対応する基準特徴量のみが比較対象となる。
【０２１４】
以降のＳ４０７〜Ｓ４１１は、それぞれＳ１０６〜Ｓ１１０と同様であるので説明を省略する。
【０２１５】
以上説明した実施形態４のゲーム装置２０によれば、ユーザ１００が発した音声と、実行中のゲーム状況と、ユーザ１００の表情と、を考慮してゲーム処理を実行することができる。つまり、同じような大きさの声を発した場合であっても、ユーザ１００の表情を考慮することによって、ユーザ１００の意図を反映して、このユーザ１００の補助をするようなゲーム処理を行うことができる。
【０２１６】
［５．変形例］
なお、本発明は以上に説明した実施の形態に限定されるものではない。例えば、実施形態１〜実施形態４の何れか２つ、３つ、又は４つを組み合わせるようにしてもよい。
【０２１７】
（１）また、実施形態２〜４においては、基準特徴情報を、ユーザ数情報、入力時間情報、又は表情情報と、を対応づけて記憶し、必要な情報（基準特徴量）のみが参照されることによって基準特徴情報が変更される場合を説明した。基準特徴情報の変更方法は、この例に限られない。例えば、基準特徴情報を一つだけ記憶しておいて、ユーザ数情報、入力時間情報、又は表情情報に基づいて、この基準特徴情報の値が補正されるようにしてもよい。
【０２１８】
（２）また、上記実施形態においては、位置検出装置１によって検出されたユーザ１００の動作又はポーズに基づいてゲーム処理が実行されるようにしたが、操作部２６のコントローラ等からの操作入力によってゲーム処理が実行されるようにしてもよい。即ち、ゲーム装置２０は、位置検出装置１を含まなくてもよい。この場合、音声入力部１４がゲーム装置２０に含まれる、又は、音声入力部１４がゲーム装置２０に外部接続されることになる。
【０２１９】
（３）また、本実施形態においては、ゲーム装置２０が難易度を変更させる処理の具体例として、基準タイミングの間隔を変更させる場合を説明したが、ゲームの難易度に関するパラメータや条件等を変更させるようにすればよく、難易度の変更方法は、これに限られない。例えば、ゲーム装置２０は、得点が増減する程度を変更するようにしてもよい。
【０２２０】
（４）また、ゲーム実行部７２が行うゲーム処理は、難易度を変更させる処理や応援エフェクト処理に限られない。ユーザ１００のゲームプレイを補助するようなゲーム処理が実行されるようにすればよい。例えば、ゲームパラメータが変更されるとユーザ１００が有利又は不利になるゲームが実行される場合、ゲーム実行部７２は、ユーザ１００が有利な状態になるゲーム処理（つまり、ゲームパラメータを変更させる処理）が実行されるようにしてもよい。即ち、この場合、ゲーム装置２０は、ユーザ１００が有利になるようにゲームパラメータを変更させて、ユーザ１００のゲームプレイを補助することができる。
【０２２１】
また例えば、上記実施形態のようなダンスゲームにおいて、楽曲のコーラスが追加する処理が実行されてゲームを少し延長させてプレイさせるようにしてもよい。この場合には、ユーザ１００が得点を得る機会が与えられるので、ゲーム装置２０は、ユーザ１００のゲームプレイを補助することができる。
【０２２２】
他にも例えば、操作部２６が、制御部２１の指示信号によって振動するバイブレータを含む場合、このバイブレータを振動させる処理が実行されるようにしてもよい。つまり、ユーザ１００が頑張っていると判定された場合、操作部２６が振動することになる。このようにすることによって、ゲームの趣向性を向上させることができる。
【０２２３】
（５）また例えば、ゲーム装置２０で実行されるゲームは、ダンスゲーム以外のゲーム（例えば、スポーツゲーム、格闘ゲーム又はレースゲーム）であってもよい。また例えば、本発明の実施形態に係るゲーム装置２０で実行されるゲームは、サッカーゲームのようにキャラクタグループ（例えばチーム）同士が対戦するゲームでもあってもよいし、一のキャラクタと一のキャラクタとが対戦するゲームであってもよいし、一のキャラクタとキャラクタグループとが対戦するゲームであってもよい。
【０２２４】
ゲーム実行部７２によって実行されるゲーム処理は、ゲーム装置２０によって実行されるゲームの種類に応じて異なる。例えば、ゲーム装置２０がサッカーゲームを実行する場合、特徴情報比較部６６の比較結果と、ゲーム状況比較部７０の比較結果と、に基づいて、サッカーゲームの試合時間（例えば、ロスタイム等）が長くなるような処理が実行されるようにしてもよい。
【０２２５】
この場合、ユーザ１００が劣勢な状況であっても、このユーザ１００が頑張っていると判定された場合、試合時間が長くなるので試合を逆転する機会が与えられる。即ち、ゲーム装置２０は、ゲームプレイを頑張っていてあきらめていないユーザ１００を補助するようなゲーム処理をサッカーゲームにおいても実行することができる。他にも例えば、コンピュータと対戦している場合には、対戦相手のゲームパラメータが不利になるようなゲーム処理が実行されるようにしてもよい。
【０２２６】
（６）また、本実施形態においては、音声の特徴情報が音量である場合を例に挙げたが、音声の特徴情報は、ゲーム装置２０が音声情報から把握できる情報であればよい。例えば、音声の特徴情報として、音声信号の振幅を用いてもよい。この場合、例えば、基準特徴情報には、振幅の変化を示す値や、所定周波数帯域ごとの振幅の強さを示す値が格納されることになる。周波数帯域ごとの振幅の強さは、例えば、音声情報に対してフーリエ変換が実行されることによって抽出される。
【０２２７】
他にも例えば、音声認識処理によって取得される情報を音声の特徴情報としてもよい。例えば、音声に含まれるキーワードが音声の特徴情報として参照されるようにしてもよい。キーワードとは、予めゲーム作成者等によって指定された単語（又は文章）である。
【０２２８】
この場合、例えば、ゲーム装置２０が実行する音声認識処理は、種々の手法を適用可能である。例えば、音声認識処理の一例として、メル周波数ケプストラム係数（ＭＦＣＣ：Mel-Frequency Cepstrum Coefficient）や隠れマルコフモデルを用いた統計的手法を説明する。統計的手法では、例えば、音声情報が示す音声の特徴情報と、予め用意しておいたデータと、が比較されることによって音声認識処理が行われる。例えば、時系列的な振幅の変化や、周波数成分ごとの音の強さが比較されることになる。
【０２２９】
即ち、予めモニタとなる人間の音声をサンプリングした基準音情報と、音声情報が示すユーザ１００の音声と、が比較されることによって、音声認識処理が実行される。この音声認識処理によって取得される情報（例えば、音声に対応する文字列）に、予め定められたキーワードが含まれるか否かが判定されることになる。
【０２３０】
この場合、特徴情報比較部６６は、基準特徴情報に含まれるキーワードと、音声情報に含まれるキーワードと、が一致するか否かを比較する。一致するキーワードに対応付けられたユーザ１００の状態に基づいて、ゲーム実行部７２はゲーム処理を実行する。この処理については、実施形態１〜４と同様である。このように、音声の特徴情報としてキーワードを用いることよって、音声情報が示す音声に基づいてユーザ１００の意図をより詳しく解析することができる。
【符号の説明】
【０２３１】
１ 位置検出装置、２ ＣＣＤカメラ、３ 赤外線センサ、４ マイク、２０ ゲーム装置、１０，２１ 制御部、１１ 記憶部、１２ 撮影部，１３ 深度測定部、１４ 音声入力部、２２ 主記憶部、２３ 補助記憶部、２４ 光ディスク再生部、１５，２５ 通信インタフェース部、１６ バス、２６ 操作部、２７ 表示部、２８ 音声出力部、５０ ゲーム画面、５１ ゲームキャラクタ、５２ 判定領域、５３ 注目領域、Ｒ５２，Ｒ５３ 半径、５４ ゲージ、５５ メッセージ、５６ 観客キャラクタ、６０ ゲームデータ記憶部、６２ 特徴情報取得部、６４ 基準特徴情報取得部、６６ 特徴情報比較部、６８ 基準ゲーム状況情報取得部、７０ ゲーム状況比較部、７２ ゲーム実行部、７４ ユーザ数取得部、７６ 時間取得部、７８ 表情取得部、１００ ユーザ、Ｐ１ 頭、Ｐ１６ 左つま先、Ｏｓ 原点、Ｐｍａｘ 座標。
【特許請求の範囲】
【請求項１】
ゲームを実行するゲーム装置であって、
音声入力手段から入力される音声の特徴情報を取得する特徴情報取得手段と、
予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得手段と、
前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較手段と、
予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段と、
実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段と、
前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいてゲーム処理を実行するゲーム実行手段と、
を含むことを特徴とするゲーム装置。
【請求項２】
前記ゲーム実行手段は、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、の組み合わせに対応付けて前記ゲーム実行手段が実行すべきゲーム処理を示すゲーム処理情報を記憶する手段から前記ゲーム処理情報を取得する手段を含み、当該取得されたゲーム処理情報が示すゲーム処理を実行する、ことを特徴とする請求項１に記載のゲーム装置。
【請求項３】
前記特徴情報及び前記基準特徴情報は、前記音声の音量に関する特徴量情報を含み、
前記特徴情報比較手段は、前記音声入力手段から入力される音声の前記特徴量情報と、前記基準特徴情報に含まれる前記特徴量情報と、を比較することを特徴とする請求項１又は２に記載のゲーム装置。
【請求項４】
前記ゲーム装置は、ユーザの人数を示すユーザ数情報を取得するユーザ数取得手段を含み、
前記基準特徴情報取得手段は、前記ユーザ数情報に基づいて前記基準特徴情報を変更する手段を含む、
ことを特徴とする請求項１〜３の何れか一項に記載のゲーム装置。
【請求項５】
前記ゲーム装置は、前記音声入力手段から音声が入力された場合の時間に関する入力時間情報を取得する手段を更に含み、
前記基準特徴情報取得手段は、前記入力時間情報に基づいて前記基準特徴情報を変更する手段を含む、
ことを特徴とする請求項１〜４の何れか一項に記載のゲーム装置。
【請求項６】
前記ゲーム装置は、ユーザを撮影する撮影手段から得られる画像に対して表情認識処理を行うことによって、当該ユーザの表情に関する表情情報を取得する表情情報取得手段を更に含み、
前記基準特徴情報取得手段は、前記表情情報に基づいて前記基準特徴情報を変更する手段を含む、
ことを特徴とする請求項１〜５の何れか一項に記載のゲーム装置。
【請求項７】
前記ゲーム実行手段は、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいて前記ゲームの難易度を変更させる、ことを特徴とする請求項１〜６の何れか一項に記載のゲーム装置。
【請求項８】
ゲームを実行するゲーム装置の制御方法であって、
音声入力手段から入力される音声の特徴情報を取得する特徴情報取得ステップと、
予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得ステップと、
前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較ステップと、
予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得ステップと、
実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較ステップと、
前記特徴情報比較ステップの比較結果と、前記ゲーム状況比較ステップの比較結果と、に基づいてゲーム処理を実行するゲーム実行ステップと、
を含むことを特徴とするゲーム装置の制御方法。
【請求項９】
ゲームを実行するゲーム装置としてコンピュータを機能させるためのプログラムであって、
音声入力手段から入力される音声の特徴情報を取得する特徴情報取得手段、
予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得手段、
前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較手段、
予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段、
実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段、
前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいてゲーム処理を実行するゲーム実行手段、
を含むゲーム装置として前記コンピュータを機能させることを特徴とするプログラム。
【請求項１】
ゲームを実行するゲーム装置であって、
音声入力手段から入力される音声の特徴情報を取得する特徴情報取得手段と、
予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得手段と、
前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較手段と、
予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段と、
実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段と、
前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいてゲーム処理を実行するゲーム実行手段と、
を含むことを特徴とするゲーム装置。
【請求項２】
前記ゲーム実行手段は、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、の組み合わせに対応付けて前記ゲーム実行手段が実行すべきゲーム処理を示すゲーム処理情報を記憶する手段から前記ゲーム処理情報を取得する手段を含み、当該取得されたゲーム処理情報が示すゲーム処理を実行する、ことを特徴とする請求項１に記載のゲーム装置。
【請求項３】
前記特徴情報及び前記基準特徴情報は、前記音声の音量に関する特徴量情報を含み、
前記特徴情報比較手段は、前記音声入力手段から入力される音声の前記特徴量情報と、前記基準特徴情報に含まれる前記特徴量情報と、を比較することを特徴とする請求項１又は２に記載のゲーム装置。
【請求項４】
前記ゲーム装置は、ユーザの人数を示すユーザ数情報を取得するユーザ数取得手段を含み、
前記基準特徴情報取得手段は、前記ユーザ数情報に基づいて前記基準特徴情報を変更する手段を含む、
ことを特徴とする請求項１〜３の何れか一項に記載のゲーム装置。
【請求項５】
前記ゲーム装置は、前記音声入力手段から音声が入力された場合の時間に関する入力時間情報を取得する手段を更に含み、
前記基準特徴情報取得手段は、前記入力時間情報に基づいて前記基準特徴情報を変更する手段を含む、
ことを特徴とする請求項１〜４の何れか一項に記載のゲーム装置。
【請求項６】
前記ゲーム装置は、ユーザを撮影する撮影手段から得られる画像に対して表情認識処理を行うことによって、当該ユーザの表情に関する表情情報を取得する表情情報取得手段を更に含み、
前記基準特徴情報取得手段は、前記表情情報に基づいて前記基準特徴情報を変更する手段を含む、
ことを特徴とする請求項１〜５の何れか一項に記載のゲーム装置。
【請求項７】
前記ゲーム実行手段は、前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいて前記ゲームの難易度を変更させる、ことを特徴とする請求項１〜６の何れか一項に記載のゲーム装置。
【請求項８】
ゲームを実行するゲーム装置の制御方法であって、
音声入力手段から入力される音声の特徴情報を取得する特徴情報取得ステップと、
予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得ステップと、
前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較ステップと、
予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得ステップと、
実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較ステップと、
前記特徴情報比較ステップの比較結果と、前記ゲーム状況比較ステップの比較結果と、に基づいてゲーム処理を実行するゲーム実行ステップと、
を含むことを特徴とするゲーム装置の制御方法。
【請求項９】
ゲームを実行するゲーム装置としてコンピュータを機能させるためのプログラムであって、
音声入力手段から入力される音声の特徴情報を取得する特徴情報取得手段、
予め定められた基準特徴情報を記憶する手段から前記基準特徴情報を取得する基準特徴情報取得手段、
前記音声入力手段から入力される音声の前記特徴情報と、前記基準特徴情報と、を比較する特徴情報比較手段、
予め定められた基準ゲーム状況情報を記憶する手段から前記基準ゲーム状況情報を取得する基準ゲーム状況情報取得手段、
実行中の前記ゲームにおけるゲーム状況と、前記基準ゲーム状況情報が示すゲーム状況と、を比較するゲーム状況比較手段、
前記特徴情報比較手段の比較結果と、前記ゲーム状況比較手段の比較結果と、に基づいてゲーム処理を実行するゲーム実行手段、
を含むゲーム装置として前記コンピュータを機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１１−２０６４７１（Ｐ２０１１−２０６４７１Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７９８０４（Ｐ２０１０−７９８０４）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
[ Back to top ]