ビデオゲーム装置
【課題】深度センサを備えたビデオゲーム装置において、深度センサに対するプレイヤの向きにかかわらずジェスチャを精度よく認識する。
【解決手段】プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する深度センサと、前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記統計情報に基づいてプレイヤのジェスチャを認識するジェスチャ認識部とを備える。
【解決手段】プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する深度センサと、前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記統計情報に基づいてプレイヤのジェスチャを認識するジェスチャ認識部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオゲーム装置の制御技術に関する。
【背景技術】
【０００２】
ビデオゲーム装置の新たな仕組として、プレイヤがコントローラを操作することなく、プレイヤのジェスチャ（体の姿勢や身振り手振り等）や音声によりゲーム進行をコントロールするものが提案されている。なお、従来においてもプレイヤのポーズ（ジェスチャ）によりゲーム操作を行う技術が提案されている（例えば、特許文献１等を参照。）。
【０００３】
前述したビデオゲーム装置の新たな仕組においては、骨格追跡と呼ばれる技術を用いてプレイヤのジェスチャを認識し、認識したジェスチャに対応したゲーム進行を行うようにしている。骨格追跡とは、カメラや深度センサ（カメラの撮像画素に対応した各点につき、センサからの距離を測定する機器）により取得したプレイヤの姿態の情報に基づき、体の特徴的な端部（頭、腕、胴体、脚等）を認識し、その内部の骨および関節の位置を推定し、その動きを追跡するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−６８３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した骨格追跡は、カメラや深度センサに対してプレイヤが正面を向き、ほぼ全身が撮影されている場合には有効に機能する。しかし、プレイヤが横向きになったような場合には、体のかなりの部分の部位、具体的にはカメラ・センサ位置の反対側の腕、手、脚および足首等の位置がカメラや深度センサから観測できなくなってしまうため、骨格追跡の処理が不安定になり、処理が破綻してしまう場合もあった。
【０００６】
骨格追跡の処理の不安定さを回避するために、計算に遊び（Dead Zone）を入れる手法が存在するが、その結果、わずかな姿勢変化や体重移動等を見逃してしまうこととなり、微細なコントロールを要するビデオゲームには適用できないという問題があった。例えば、サーフボードやスケートボード等のコントロールをプレイヤのジェスチャにより操作するようなビデオゲームの場合、プレイヤはカメラや深度センサに対して顔を右または左に９０度横に向け、体を横向きにした状態でゲーム操作を行うため、微妙な姿勢変化や体重移動を行うものであることから、特にカメラ・センサと反対側の位置にある身体部位の計測においてかかる点は特に問題となる。
【０００７】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、深度センサに対するプレイヤの向きにかかわらずジェスチャを精度よく認識することのできるビデオゲーム装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明にあっては、請求項１に記載されるように、プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する深度センサと、前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記統計情報に基づいてプレイヤのジェスチャを認識するジェスチャ認識部とを備えるビデオゲーム装置を要旨としている。
【０００９】
また、請求項２に記載されるように、請求項１に記載のビデオゲーム装置において、前記ジェスチャ認識部は、前記画像における前記プレイヤのシルエットの面積中心を算出し、該面積中心位置に基づいて前記画像を複数の区画に分割するようにすることができる。
【００１０】
また、請求項３に記載されるように、請求項１または２のいずれか一項に記載のビデオゲーム装置において、前記ジェスチャ認識部は、前記プレイヤに対して複数の所定の姿勢をとるよう誘導を行い、個々の姿勢について前記統計情報に対する補正パラメータを算出するようにすることができる。
【００１１】
また、請求項４に記載されるように、ビデオゲーム装置の深度センサが、プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する手順と、ジェスチャ認識部が、前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記深度情報に基づいてプレイヤのジェスチャを認識する行う手順とを前記ビデオゲーム装置のコンピュータに実行させるビデオゲーム制御プログラムとして構成することができる。
【発明の効果】
【００１２】
本発明のビデオゲーム装置にあっては、深度センサに対するプレイヤの向きにかかわらずジェスチャを精度よく認識することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態にかかるビデオゲーム装置の構成例を示す図である。
【図２】画像情報および深度情報のデータ構造例を示す図である。
【図３】ジェスチャ認識およびゲーム制御の処理例を示すフローチャートである。
【図４】分割位置の算出の処理例を示すフローチャートである。
【図５】ジェスチャ認識の例を示す図である。
【図６】ゲーム制御の例を示す図である。
【図７】補正パラメータの算出の処理例を示すフローチャートである。
【図８】補正パラメータの算出における画面および算出情報の例を示す図（その１）である。
【図９】補正パラメータの算出における画面および算出情報の例を示す図（その２）である。
【発明を実施するための形態】
【００１４】
以下、本発明の好適な実施形態につき説明する。
【００１５】
＜構成＞
図１は本発明の一実施形態にかかるビデオゲーム装置１の構成例を示す図である。
【００１６】
図１において、ビデオゲーム装置１は、制御部１０１とメモリ１０８とカメラ１１１と深度センサ１１２とマイク１１３と映像出力部１１４と音声出力部１１５と通信部１１６とモニタ１１７とスピーカ１１８とを備えている。なお、カメラ１１１、深度センサ１１２、モニタ１１７、スピーカ１１８をビデオゲーム装置１内のものとして図示しているが、ケーブル等による外付けとしてもよい。
【００１７】
制御部１０１は、ＣＰＵ（Central Processing Unit）等から構成され、コンピュータプログラムに従って主たる制御動作を行う。
【００１８】
メモリ１０８は、制御部１０１の作業用領域としてデータを保持する。
【００１９】
カメラ１１１は、プレイヤが存在する空間を撮像して画像情報を取得する。データ構造については後述する。
【００２０】
深度センサ１１２は、プレイヤが存在する空間に対して赤外線光等を照射して撮像し、発信から受信までの時間（飛行時間）から、撮像された画像（例：図５（ａ）〜（ｃ））の各画素ごとの深度情報（距離情報）を取得する。データ構造については後述する。
【００２１】
マイク１１３は、プレイヤが通常存在する空間から音声を入力する。
【００２２】
映像出力部１１４は、モニタ１１７に出力する映像信号を生成する。
【００２３】
音声出力部１１５は、スピーカ１１８に出力する音声信号を生成する。
【００２４】
通信部１１６は、有線もしくは無線により他の機器やネットワークとデータ通信を行う。
【００２５】
一方、制御部１０１は、機能部として、カメラ／深度センサ制御部１０２とプレイヤ追跡部１０３と骨格追跡部１０４とジェスチャ認識部１０５と音声認識部１０６とゲーム進行制御部１０７を構成している。
【００２６】
カメラ／深度センサ制御部１０２は、カメラ１１１および深度センサ１１２の制御を行い、カメラ１１１により撮像された画像情報１０９と深度センサ１１２から取得された深度情報１１０をメモリ１０８に格納する。画像情報１０９は、図２（ａ）に示すように、ＲＧＢ（Red, Green, Blue）等の画像データが画像内の各画素（ピクセル）に対応付けて格納される。深度情報１１０は、図２（ｂ）に示すように、深度センサ１１２から被測定対象表面までの距離を示す深度データと、どのプレイヤの深度データであるかを示すフラグ（例えば、２プレイヤ対応の場合、「１」はプレイヤ＃１、「２」はプレイヤ＃２、「３」はその他の物体）とが、撮像された画像の各画素（ピクセル）に対応付けて格納される。なお、深度情報１１０のフラグはプレイヤ追跡部１０３により設定されるものであり、深度センサ１１２から取得した時点ではブランクである。また、画像情報１０９の解像度と深度情報１１０の解像度は同じである必要はない。
【００２７】
図１に戻り、プレイヤ追跡部１０３は、メモリ１０８に格納された深度情報１１０（必要に応じて画像情報１０９を利用することも可能）を追跡し、プレイヤを特定するフラグを設定する。例えば、特定のプレイヤ（２プレイヤ対応の場合、プレイヤ＃１かプレイヤ＃２）であることを所定のジェスチャにより認識した後、そのプレイヤのシルエット（深度情報のうち背景に比べて前景として認識される部分）を追跡し、同じプレイヤのシルエットに含まれると推定される深度情報１１０に当該プレイヤを示すフラグを設定する。プレイヤのシルエットと推定されない深度情報１１０にはその旨を示すフラグを設定する。なお、プレイヤ追跡部１０３は、骨格追跡部１０４に含まれるものとしてもよい。
【００２８】
骨格追跡部１０４は、メモリ１０８に格納された深度情報１１０（必要に応じて画像情報１０９を利用することも可能）に基づき、プレイヤの体の特徴的な端部（頭、腕、胴体、脚等）を認識し、その内部の骨および関節の位置を推定し、その動きを追跡する。
【００２９】
ジェスチャ認識部１０５は、骨格追跡部１０４の追跡結果の他、メモリ１０８に格納された深度情報１１０（必要に応じて画像情報１０９を利用することも可能）を利用し、画像を複数の区画（例えば、４個の区画）に区分した上での深度情報１１０の統計情報に基づいてジェスチャの認識を行う。処理の詳細については後述する。
【００３０】
音声認識部１０６は、マイク１１３から入力された音声情報に基づき、音声認識を行う。
【００３１】
ゲーム進行制御部１０７は、骨格追跡部１０４、ジェスチャ認識部１０５および音声認識部１０６の処理結果に基づいてゲーム進行を制御する。
【００３２】
＜動作＞
図３はジェスチャ認識およびゲーム制御の処理例を示すフローチャートである。なお、ジェスチャ認識およびゲーム制御は複数のプレイヤが存在する場合には、プレイヤ毎に行う。また、図３における処理は原則としてフレーム（ゲーム画像の画面更新単位）毎に行うものである。
【００３３】
図３において、処理を開始すると（ステップＳ１０１）、ジェスチャ認識部１０５は、メモリ１０８から深度情報１１０を取得する（ステップＳ１０２）。
【００３４】
次いで、ジェスチャ認識部１０５は、深度情報１１０の画像の分割位置を算出する（ステップＳ１０３）。
【００３５】
図４は分割位置の算出（図３のステップＳ１０３）の処理例を示すフローチャートである。なお、ここでは、４個の区画に分割するための分割位置として１個の座標を求める場合について説明する。更に多くの区画に分割する場合は、分割位置の座標を複数求める。例えば、２（横方向）×４（縦方向）の場合は、上記の分割位置により区分される領域を縦方向に更に２分割する位置のそれぞれが新たな分割位置として追加される。
【００３６】
その場合、分割の方法としては、例えば上下に分割した各領域を高さ方向の情報で単純に２等分してもよいし、または各領域内での深度情報で求められた面積中心を元に重心となる点を求め、その縦軸座標を元に更に分割してもよい。また、画像認識情報を元に上半身側であれば首の位置、下半身側であれば膝の位置で領域分割を行うことも可能である。
【００３７】
図４において、処理を開始すると（ステップＳ２０１）、深度情報１１０の個々のデータのフラグから該当プレイヤの深度情報を特定する（ステップＳ２０２）。
【００３８】
次いで、該当プレイヤのシルエットの深度情報１１０の面積中心（重心）を算出する（ステップＳ２０３）。例えば、画像の横軸をｘ、縦軸をｙとすると、該当プレイヤに対応するフラグが設定された深度情報１１０の個々につき、ｘ値の総和を深度情報１１０の総数で除したものを面積中心のｘ座標とし、ｙ値の総和を深度情報１１０の総数で除したものを面積中心のｙ座標とする。
【００３９】
次いで、算出した面積中心の深度値を取得する（ステップＳ２０４）。すなわち、面積中心の座標に対応する深度情報１１０の深度データを参照する。
【００４０】
次いで、取得した深度値から前後所定値範囲内の該当プレイヤの深度情報１１０をフィルタリングする（ステップＳ２０５）。すなわち、該当プレイヤに対応するフラグが設定された深度情報１１０について深度データを参照し、所定値範囲内でないものを除去する。これは、プレイヤの前後に存在する障害物によるノイズを除去するためである。
【００４１】
次いで、フィルタリング後の深度情報１１０の面積中心を算出して分割位置とし（ステップＳ２０６）、処理を終了する（ステップＳ２０７）。
【００４２】
図３に戻り、ジェスチャ認識部１０５は、求められた分割位置により画像のエリア分割を行う（ステップＳ１０４）。具体的には、求められた分割位置をエリア分割の座標値として設定する。
【００４３】
次いで、ジェスチャ認識部１０５は、分割区画毎のフィルタリング後の深度情報１１０の統計情報を算出する（ステップＳ１０５）。図５（ａ）（ｂ）は統計情報の算出の例を示しており、異なる姿勢における統計情報の算出の例である。図５（ａ）（ｂ）において、四隅に示された括弧でくくられた２つの数字は、第１要素が、対応する区画における該当プレイヤのシルエットの面積値（深度情報１１０の数）、第２要素が、対応する区画における該当プレイヤのシルエットの平均深度値（深度情報１１０の深度値の平均値）である。なお、統計情報としてはこれらの例に限らない。
【００４４】
図３に戻り、ジェスチャ認識部１０５は、算出した統計情報を内部的に保存する（ステップＳ１０６）。
【００４５】
次いで、ジェスチャ認識部１０５は、前回保存した統計情報と今回保存した統計情報との分割区画毎の差分を算出する（ステップＳ１０７）。図５（ｃ）は、前回保存した統計情報を図５（ａ）の四隅の値とし、今回保存した統計情報を図５（ｂ）の四隅の値とした場合の差分の例を示している。
【００４６】
図３に戻り、ジェスチャ認識部１０５は、前回保存した統計情報と今回保存した統計情報との分割区画毎の差分に基づき、ジェスチャ認識結果を算出してゲーム進行制御部１０７に出力し（ステップＳ１０８）、深度情報の取得（ステップＳ１０２）に再び移行する。図５（ｃ）に示した例では、左上の区画の面積値が増加し、右上の区画の面積値が減少し、左下と右下の面積値の増加幅が小さいことから、プレイヤが図の左方向に体をかがめた（前に反らした）と認識することができる。反らした量は、左上の区画の面積値の増加量（これに、右上の面積値の減少量（増加量を符号反転）を加算してもよい）に比例したものとすることができる。なお、ジェスチャ認識結果の算出に深度値の平均値の差分を含めてもよい。
【００４７】
図３に戻り、ジェスチャ認識結果を取得したゲーム進行制御部１０７は、ジェスチャの種類に応じて予め取得された補正パラメータに従って補正を行う（ステップＳ１０９）。例えば、一般に前への反りと後ろへの反りでは、後ろへの反りが小さくなるプレイヤが多いため、サーフボードのように前後の反りで同じ程度の操作を行わせたい場合、認識結果そのままでは偏った操作しか行えなくなってしまう。そのため、予めプレイヤに前後に反らせた場合の認識結果から補正パラメータを計算しておき、後ろへの反りの場合に補正パラメータを乗算することで補正を行い、前後の反りに対して均等な操作を行えるようにする。なお、プレイヤの前後の反りに対する補正パラメータの算出および適用（補正実行）にあたっては、プレイヤが前に反っているのか、後ろに反っているのかを判断するために、プレイヤがどちら（右側、左側）を向いているのかを知る必要があるが、そのプレイヤの向きについては骨格追跡部１０４の出力する情報を用いることができる。骨格追跡部１０４はプレイヤの体の骨および関節の３次元上の位置を逐次把握しているので、プレイヤが深度センサ方向に対して右側・左側どちらを向いているかを判断することができる。補正パラメータの計算の詳細については後述する。
【００４８】
次いで、ゲーム進行制御部１０７は、ジェスチャ認識結果（補正が行われる場合は補正後のジェスチャ認識結果）に基づいてゲーム進行を制御する（ステップＳ１１０）。図６はゲーム制御の例を示しており、プレイヤの姿勢に連動するキャラクタ２１がサーフボード２２に乗って走行している状態を示している。ここで、プレイヤの姿勢が図５（ａ）の状態の時のゲーム画面が図６（ａ）であったとすると、図５（ｂ）のようにプレイヤが前に反ることで、図６（ｂ）のようにキャラクタ２１を前に反らせ、サーフボード２２を右方向に回転させる。
【００４９】
図７はゲーム制御時の補正（図３のステップＳ１０９）で用いられる補正パラメータの算出の処理例を示すフローチャートである。なお、この処理はプログラムロード中やゲーム開始前等において行うことができる。
【００５０】
図７において、処理を開始すると（ステップＳ３０１）、プレイヤに正面を向いて直立させるための誘導を行うための画面表示を行う（ステップＳ３０２）。図８（ａ）はキャラクタが正面向きに立った状態の画面例である。なお、「補正のため、正面を向いて直立してください。」等のメッセージを併せて表示することができる。なお、正面向き直立の測定は、基本位置のデータを取得するためのものであり、補正パラメータを計算するためには用いないので、省略することができる。続く、ステップＳ３０３も同様である。
【００５１】
次いで、図７に戻り、深度情報の取得、分割位置の算出、エリア分割、分割区画毎の深度情報の統計情報の算出／保存を行う（ステップＳ３０３：Ｓ３０４〜Ｓ３０７）。ここで、深度情報の取得（ステップＳ３０４）は、図３の深度情報の取得（ステップＳ１０２）に示したのと同様の処理である。分割位置の算出（ステップＳ３０５）は、図３の分割位置の算出（ステップＳ１０３）に示したのと同様の処理であり、詳細は図４に示したとおりである。エリア分割（ステップＳ３０６）は、図３のエリア分割（ステップＳ１０４）と同様の処理である。分割区画毎の深度情報の統計情報の算出／保存（ステップＳ３０７）は、図３の分割区画毎の深度情報の統計情報の算出（ステップＳ１０５）と統計情報の保存（ステップＳ１０６）と同様の処理である。取得される統計情報の例を図８（ｂ）に示している。
【００５２】
次いで、図７に戻り、プレイヤに横向き直立の誘導を行うための画面表示を行う（ステップＳ３０８）。図８（ｃ）（ｄ）はキャラクタが横向き直立になった状態の画面例であり、図８（ｃ）はレギュラースタンス（プレイヤの左足が前）、図８（ｄ）はグーフィースタンス（プレイヤの右足が前）の場合である。どちらかを選択させてもよいし、両者に対応できる画面としてもよい。なお、「横を向いて直立してください。」等のメッセージを併せて表示することができる。
【００５３】
次いで、図７に戻り、深度情報の取得、分割位置の算出、エリア分割、分割区画毎の深度情報の統計情報の算出／保存を行う（ステップＳ３０９）。ステップＳ３０３（ステップＳ３０４〜Ｓ３０７）と同様の処理である。取得される統計情報の例を図８（ｅ）（ｆ）に示している。なお、誘導した通りの方向をプレイヤが向かない場合に備え、骨格追跡部１０４の出力する情報等によるプレイヤの向きの情報を併せて取得／保存するようにしてもよい。
【００５４】
次いで、図７に戻り、プレイヤに前反りの誘導を行うための画面表示を行う（ステップＳ３１０）。図９（ａ）（ｂ）はキャラクタが前反りになった状態の画面例であり、図９（ａ）はレギュラースタンスの場合、図９（ｂ）はグーフィースタンスの場合である。なお、「前に最大まで反って（かがんで）ください。」等のメッセージを併せて表示することができる。
【００５５】
次いで、図７に戻り、深度情報の取得、分割位置の算出、エリア分割、分割区画毎の深度情報の統計情報の算出／保存を行う（ステップＳ３１１）。ステップＳ３０３（ステップＳ３０４〜Ｓ３０７）と同様の処理である。取得される統計情報の例を図９（ｃ）（ｄ）に示している。
【００５６】
次いで、図７に戻り、プレイヤに後ろ反りの誘導を行うための画面表示を行う（ステップＳ３１２）。図９（ｅ）（ｆ）はキャラクタが後ろ反りになった状態の画面例であり、図９（ｅ）はレギュラースタンスの場合、図９（ｆ）はグーフィースタンスの場合である。なお、「後ろに最大まで反ってください。」等のメッセージを併せて表示することができる。
【００５７】
次いで、図７に戻り、深度情報の取得、分割位置の算出、エリア分割、分割区画毎の深度情報の統計情報の算出／保存を行う（ステップＳ３１３）。ステップＳ３０３（ステップＳ３０４〜Ｓ３０７）と同様の処理である。取得される統計情報の例を図９（ｇ）（ｈ）に示している。なお、誘導した通りの方向をプレイヤが向かない場合に備え、骨格追跡部１０４の出力する情報等によるプレイヤの向きの情報を併せて取得／保存するようにしてもよい。
【００５８】
次いで、図７に戻り、横向き直立時の統計情報と前反り時の統計情報の差分と、横向き直立時の統計情報と後ろ反り時の統計情報の差分を算出し、これらから補正パラメータを算出する（ステップＳ３１４）。前反りか後ろ反りかは統計情報取得時の誘導内容に従うか、併せて取得／保存したプレイヤの向きの情報から判断する。
【００５９】
例えば、図８（ｅ）、図９（ｃ）、（ｇ）の統計情報が取得された場合、図８（ｅ）と図９（ｃ）の統計情報の差分のうちの左上の区画の面積値の増加量（これに、右上の面積値の減少量（増加量を符号反転）を加算してもよい）を、図８（ｅ）と図９（ｇ）の統計情報の差分のうちの右上の区画の面積値の増加量（これに、左上の面積値の減少量（増加量を符号反転）を加算してもよい）で割った値を補正パラメータとする。
【００６０】
図７に戻り、その後、処理を終了する（ステップＳ３１５）。
【００６１】
なお、前後の反りに対する補正パラメータの算出について説明したが、補正の対象はこの例に限らない。例えば、深度情報を用いたパンチのリーチの補正パラメータの算出、キックの高さ等の補正パラメータの算出を行うことができる。
【００６２】
＜総括＞
以上説明した実施形態によれば、プレイヤの向きにかかわらずジェスチャを精度よく認識することができるとともに、体の部位の特性に起因する補正を適切に行うことができる。
【００６３】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【符号の説明】
【００６４】
１ ビデオゲーム装置
１０１ 制御部
１０２ カメラ／深度センサ制御部
１０３ プレイヤ追跡部
１０４ 骨格追跡部
１０５ ジェスチャ認識部
１０６ 音声認識部
１０７ ゲーム進行制御部
１０８ メモリ
１０９ 画像情報
１１０ 深度情報
１１１ カメラ
１１２ 深度センサ
１１３ マイク
１１４ 映像出力部
１１５ 音声出力部
１１６ 通信部
１１７ モニタ
１１８ スピーカ
【技術分野】
【０００１】
本発明はビデオゲーム装置の制御技術に関する。
【背景技術】
【０００２】
ビデオゲーム装置の新たな仕組として、プレイヤがコントローラを操作することなく、プレイヤのジェスチャ（体の姿勢や身振り手振り等）や音声によりゲーム進行をコントロールするものが提案されている。なお、従来においてもプレイヤのポーズ（ジェスチャ）によりゲーム操作を行う技術が提案されている（例えば、特許文献１等を参照。）。
【０００３】
前述したビデオゲーム装置の新たな仕組においては、骨格追跡と呼ばれる技術を用いてプレイヤのジェスチャを認識し、認識したジェスチャに対応したゲーム進行を行うようにしている。骨格追跡とは、カメラや深度センサ（カメラの撮像画素に対応した各点につき、センサからの距離を測定する機器）により取得したプレイヤの姿態の情報に基づき、体の特徴的な端部（頭、腕、胴体、脚等）を認識し、その内部の骨および関節の位置を推定し、その動きを追跡するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−６８３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した骨格追跡は、カメラや深度センサに対してプレイヤが正面を向き、ほぼ全身が撮影されている場合には有効に機能する。しかし、プレイヤが横向きになったような場合には、体のかなりの部分の部位、具体的にはカメラ・センサ位置の反対側の腕、手、脚および足首等の位置がカメラや深度センサから観測できなくなってしまうため、骨格追跡の処理が不安定になり、処理が破綻してしまう場合もあった。
【０００６】
骨格追跡の処理の不安定さを回避するために、計算に遊び（Dead Zone）を入れる手法が存在するが、その結果、わずかな姿勢変化や体重移動等を見逃してしまうこととなり、微細なコントロールを要するビデオゲームには適用できないという問題があった。例えば、サーフボードやスケートボード等のコントロールをプレイヤのジェスチャにより操作するようなビデオゲームの場合、プレイヤはカメラや深度センサに対して顔を右または左に９０度横に向け、体を横向きにした状態でゲーム操作を行うため、微妙な姿勢変化や体重移動を行うものであることから、特にカメラ・センサと反対側の位置にある身体部位の計測においてかかる点は特に問題となる。
【０００７】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、深度センサに対するプレイヤの向きにかかわらずジェスチャを精度よく認識することのできるビデオゲーム装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明にあっては、請求項１に記載されるように、プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する深度センサと、前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記統計情報に基づいてプレイヤのジェスチャを認識するジェスチャ認識部とを備えるビデオゲーム装置を要旨としている。
【０００９】
また、請求項２に記載されるように、請求項１に記載のビデオゲーム装置において、前記ジェスチャ認識部は、前記画像における前記プレイヤのシルエットの面積中心を算出し、該面積中心位置に基づいて前記画像を複数の区画に分割するようにすることができる。
【００１０】
また、請求項３に記載されるように、請求項１または２のいずれか一項に記載のビデオゲーム装置において、前記ジェスチャ認識部は、前記プレイヤに対して複数の所定の姿勢をとるよう誘導を行い、個々の姿勢について前記統計情報に対する補正パラメータを算出するようにすることができる。
【００１１】
また、請求項４に記載されるように、ビデオゲーム装置の深度センサが、プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する手順と、ジェスチャ認識部が、前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記深度情報に基づいてプレイヤのジェスチャを認識する行う手順とを前記ビデオゲーム装置のコンピュータに実行させるビデオゲーム制御プログラムとして構成することができる。
【発明の効果】
【００１２】
本発明のビデオゲーム装置にあっては、深度センサに対するプレイヤの向きにかかわらずジェスチャを精度よく認識することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態にかかるビデオゲーム装置の構成例を示す図である。
【図２】画像情報および深度情報のデータ構造例を示す図である。
【図３】ジェスチャ認識およびゲーム制御の処理例を示すフローチャートである。
【図４】分割位置の算出の処理例を示すフローチャートである。
【図５】ジェスチャ認識の例を示す図である。
【図６】ゲーム制御の例を示す図である。
【図７】補正パラメータの算出の処理例を示すフローチャートである。
【図８】補正パラメータの算出における画面および算出情報の例を示す図（その１）である。
【図９】補正パラメータの算出における画面および算出情報の例を示す図（その２）である。
【発明を実施するための形態】
【００１４】
以下、本発明の好適な実施形態につき説明する。
【００１５】
＜構成＞
図１は本発明の一実施形態にかかるビデオゲーム装置１の構成例を示す図である。
【００１６】
図１において、ビデオゲーム装置１は、制御部１０１とメモリ１０８とカメラ１１１と深度センサ１１２とマイク１１３と映像出力部１１４と音声出力部１１５と通信部１１６とモニタ１１７とスピーカ１１８とを備えている。なお、カメラ１１１、深度センサ１１２、モニタ１１７、スピーカ１１８をビデオゲーム装置１内のものとして図示しているが、ケーブル等による外付けとしてもよい。
【００１７】
制御部１０１は、ＣＰＵ（Central Processing Unit）等から構成され、コンピュータプログラムに従って主たる制御動作を行う。
【００１８】
メモリ１０８は、制御部１０１の作業用領域としてデータを保持する。
【００１９】
カメラ１１１は、プレイヤが存在する空間を撮像して画像情報を取得する。データ構造については後述する。
【００２０】
深度センサ１１２は、プレイヤが存在する空間に対して赤外線光等を照射して撮像し、発信から受信までの時間（飛行時間）から、撮像された画像（例：図５（ａ）〜（ｃ））の各画素ごとの深度情報（距離情報）を取得する。データ構造については後述する。
【００２１】
マイク１１３は、プレイヤが通常存在する空間から音声を入力する。
【００２２】
映像出力部１１４は、モニタ１１７に出力する映像信号を生成する。
【００２３】
音声出力部１１５は、スピーカ１１８に出力する音声信号を生成する。
【００２４】
通信部１１６は、有線もしくは無線により他の機器やネットワークとデータ通信を行う。
【００２５】
一方、制御部１０１は、機能部として、カメラ／深度センサ制御部１０２とプレイヤ追跡部１０３と骨格追跡部１０４とジェスチャ認識部１０５と音声認識部１０６とゲーム進行制御部１０７を構成している。
【００２６】
カメラ／深度センサ制御部１０２は、カメラ１１１および深度センサ１１２の制御を行い、カメラ１１１により撮像された画像情報１０９と深度センサ１１２から取得された深度情報１１０をメモリ１０８に格納する。画像情報１０９は、図２（ａ）に示すように、ＲＧＢ（Red, Green, Blue）等の画像データが画像内の各画素（ピクセル）に対応付けて格納される。深度情報１１０は、図２（ｂ）に示すように、深度センサ１１２から被測定対象表面までの距離を示す深度データと、どのプレイヤの深度データであるかを示すフラグ（例えば、２プレイヤ対応の場合、「１」はプレイヤ＃１、「２」はプレイヤ＃２、「３」はその他の物体）とが、撮像された画像の各画素（ピクセル）に対応付けて格納される。なお、深度情報１１０のフラグはプレイヤ追跡部１０３により設定されるものであり、深度センサ１１２から取得した時点ではブランクである。また、画像情報１０９の解像度と深度情報１１０の解像度は同じである必要はない。
【００２７】
図１に戻り、プレイヤ追跡部１０３は、メモリ１０８に格納された深度情報１１０（必要に応じて画像情報１０９を利用することも可能）を追跡し、プレイヤを特定するフラグを設定する。例えば、特定のプレイヤ（２プレイヤ対応の場合、プレイヤ＃１かプレイヤ＃２）であることを所定のジェスチャにより認識した後、そのプレイヤのシルエット（深度情報のうち背景に比べて前景として認識される部分）を追跡し、同じプレイヤのシルエットに含まれると推定される深度情報１１０に当該プレイヤを示すフラグを設定する。プレイヤのシルエットと推定されない深度情報１１０にはその旨を示すフラグを設定する。なお、プレイヤ追跡部１０３は、骨格追跡部１０４に含まれるものとしてもよい。
【００２８】
骨格追跡部１０４は、メモリ１０８に格納された深度情報１１０（必要に応じて画像情報１０９を利用することも可能）に基づき、プレイヤの体の特徴的な端部（頭、腕、胴体、脚等）を認識し、その内部の骨および関節の位置を推定し、その動きを追跡する。
【００２９】
ジェスチャ認識部１０５は、骨格追跡部１０４の追跡結果の他、メモリ１０８に格納された深度情報１１０（必要に応じて画像情報１０９を利用することも可能）を利用し、画像を複数の区画（例えば、４個の区画）に区分した上での深度情報１１０の統計情報に基づいてジェスチャの認識を行う。処理の詳細については後述する。
【００３０】
音声認識部１０６は、マイク１１３から入力された音声情報に基づき、音声認識を行う。
【００３１】
ゲーム進行制御部１０７は、骨格追跡部１０４、ジェスチャ認識部１０５および音声認識部１０６の処理結果に基づいてゲーム進行を制御する。
【００３２】
＜動作＞
図３はジェスチャ認識およびゲーム制御の処理例を示すフローチャートである。なお、ジェスチャ認識およびゲーム制御は複数のプレイヤが存在する場合には、プレイヤ毎に行う。また、図３における処理は原則としてフレーム（ゲーム画像の画面更新単位）毎に行うものである。
【００３３】
図３において、処理を開始すると（ステップＳ１０１）、ジェスチャ認識部１０５は、メモリ１０８から深度情報１１０を取得する（ステップＳ１０２）。
【００３４】
次いで、ジェスチャ認識部１０５は、深度情報１１０の画像の分割位置を算出する（ステップＳ１０３）。
【００３５】
図４は分割位置の算出（図３のステップＳ１０３）の処理例を示すフローチャートである。なお、ここでは、４個の区画に分割するための分割位置として１個の座標を求める場合について説明する。更に多くの区画に分割する場合は、分割位置の座標を複数求める。例えば、２（横方向）×４（縦方向）の場合は、上記の分割位置により区分される領域を縦方向に更に２分割する位置のそれぞれが新たな分割位置として追加される。
【００３６】
その場合、分割の方法としては、例えば上下に分割した各領域を高さ方向の情報で単純に２等分してもよいし、または各領域内での深度情報で求められた面積中心を元に重心となる点を求め、その縦軸座標を元に更に分割してもよい。また、画像認識情報を元に上半身側であれば首の位置、下半身側であれば膝の位置で領域分割を行うことも可能である。
【００３７】
図４において、処理を開始すると（ステップＳ２０１）、深度情報１１０の個々のデータのフラグから該当プレイヤの深度情報を特定する（ステップＳ２０２）。
【００３８】
次いで、該当プレイヤのシルエットの深度情報１１０の面積中心（重心）を算出する（ステップＳ２０３）。例えば、画像の横軸をｘ、縦軸をｙとすると、該当プレイヤに対応するフラグが設定された深度情報１１０の個々につき、ｘ値の総和を深度情報１１０の総数で除したものを面積中心のｘ座標とし、ｙ値の総和を深度情報１１０の総数で除したものを面積中心のｙ座標とする。
【００３９】
次いで、算出した面積中心の深度値を取得する（ステップＳ２０４）。すなわち、面積中心の座標に対応する深度情報１１０の深度データを参照する。
【００４０】
次いで、取得した深度値から前後所定値範囲内の該当プレイヤの深度情報１１０をフィルタリングする（ステップＳ２０５）。すなわち、該当プレイヤに対応するフラグが設定された深度情報１１０について深度データを参照し、所定値範囲内でないものを除去する。これは、プレイヤの前後に存在する障害物によるノイズを除去するためである。
【００４１】
次いで、フィルタリング後の深度情報１１０の面積中心を算出して分割位置とし（ステップＳ２０６）、処理を終了する（ステップＳ２０７）。
【００４２】
図３に戻り、ジェスチャ認識部１０５は、求められた分割位置により画像のエリア分割を行う（ステップＳ１０４）。具体的には、求められた分割位置をエリア分割の座標値として設定する。
【００４３】
次いで、ジェスチャ認識部１０５は、分割区画毎のフィルタリング後の深度情報１１０の統計情報を算出する（ステップＳ１０５）。図５（ａ）（ｂ）は統計情報の算出の例を示しており、異なる姿勢における統計情報の算出の例である。図５（ａ）（ｂ）において、四隅に示された括弧でくくられた２つの数字は、第１要素が、対応する区画における該当プレイヤのシルエットの面積値（深度情報１１０の数）、第２要素が、対応する区画における該当プレイヤのシルエットの平均深度値（深度情報１１０の深度値の平均値）である。なお、統計情報としてはこれらの例に限らない。
【００４４】
図３に戻り、ジェスチャ認識部１０５は、算出した統計情報を内部的に保存する（ステップＳ１０６）。
【００４５】
次いで、ジェスチャ認識部１０５は、前回保存した統計情報と今回保存した統計情報との分割区画毎の差分を算出する（ステップＳ１０７）。図５（ｃ）は、前回保存した統計情報を図５（ａ）の四隅の値とし、今回保存した統計情報を図５（ｂ）の四隅の値とした場合の差分の例を示している。
【００４６】
図３に戻り、ジェスチャ認識部１０５は、前回保存した統計情報と今回保存した統計情報との分割区画毎の差分に基づき、ジェスチャ認識結果を算出してゲーム進行制御部１０７に出力し（ステップＳ１０８）、深度情報の取得（ステップＳ１０２）に再び移行する。図５（ｃ）に示した例では、左上の区画の面積値が増加し、右上の区画の面積値が減少し、左下と右下の面積値の増加幅が小さいことから、プレイヤが図の左方向に体をかがめた（前に反らした）と認識することができる。反らした量は、左上の区画の面積値の増加量（これに、右上の面積値の減少量（増加量を符号反転）を加算してもよい）に比例したものとすることができる。なお、ジェスチャ認識結果の算出に深度値の平均値の差分を含めてもよい。
【００４７】
図３に戻り、ジェスチャ認識結果を取得したゲーム進行制御部１０７は、ジェスチャの種類に応じて予め取得された補正パラメータに従って補正を行う（ステップＳ１０９）。例えば、一般に前への反りと後ろへの反りでは、後ろへの反りが小さくなるプレイヤが多いため、サーフボードのように前後の反りで同じ程度の操作を行わせたい場合、認識結果そのままでは偏った操作しか行えなくなってしまう。そのため、予めプレイヤに前後に反らせた場合の認識結果から補正パラメータを計算しておき、後ろへの反りの場合に補正パラメータを乗算することで補正を行い、前後の反りに対して均等な操作を行えるようにする。なお、プレイヤの前後の反りに対する補正パラメータの算出および適用（補正実行）にあたっては、プレイヤが前に反っているのか、後ろに反っているのかを判断するために、プレイヤがどちら（右側、左側）を向いているのかを知る必要があるが、そのプレイヤの向きについては骨格追跡部１０４の出力する情報を用いることができる。骨格追跡部１０４はプレイヤの体の骨および関節の３次元上の位置を逐次把握しているので、プレイヤが深度センサ方向に対して右側・左側どちらを向いているかを判断することができる。補正パラメータの計算の詳細については後述する。
【００４８】
次いで、ゲーム進行制御部１０７は、ジェスチャ認識結果（補正が行われる場合は補正後のジェスチャ認識結果）に基づいてゲーム進行を制御する（ステップＳ１１０）。図６はゲーム制御の例を示しており、プレイヤの姿勢に連動するキャラクタ２１がサーフボード２２に乗って走行している状態を示している。ここで、プレイヤの姿勢が図５（ａ）の状態の時のゲーム画面が図６（ａ）であったとすると、図５（ｂ）のようにプレイヤが前に反ることで、図６（ｂ）のようにキャラクタ２１を前に反らせ、サーフボード２２を右方向に回転させる。
【００４９】
図７はゲーム制御時の補正（図３のステップＳ１０９）で用いられる補正パラメータの算出の処理例を示すフローチャートである。なお、この処理はプログラムロード中やゲーム開始前等において行うことができる。
【００５０】
図７において、処理を開始すると（ステップＳ３０１）、プレイヤに正面を向いて直立させるための誘導を行うための画面表示を行う（ステップＳ３０２）。図８（ａ）はキャラクタが正面向きに立った状態の画面例である。なお、「補正のため、正面を向いて直立してください。」等のメッセージを併せて表示することができる。なお、正面向き直立の測定は、基本位置のデータを取得するためのものであり、補正パラメータを計算するためには用いないので、省略することができる。続く、ステップＳ３０３も同様である。
【００５１】
次いで、図７に戻り、深度情報の取得、分割位置の算出、エリア分割、分割区画毎の深度情報の統計情報の算出／保存を行う（ステップＳ３０３：Ｓ３０４〜Ｓ３０７）。ここで、深度情報の取得（ステップＳ３０４）は、図３の深度情報の取得（ステップＳ１０２）に示したのと同様の処理である。分割位置の算出（ステップＳ３０５）は、図３の分割位置の算出（ステップＳ１０３）に示したのと同様の処理であり、詳細は図４に示したとおりである。エリア分割（ステップＳ３０６）は、図３のエリア分割（ステップＳ１０４）と同様の処理である。分割区画毎の深度情報の統計情報の算出／保存（ステップＳ３０７）は、図３の分割区画毎の深度情報の統計情報の算出（ステップＳ１０５）と統計情報の保存（ステップＳ１０６）と同様の処理である。取得される統計情報の例を図８（ｂ）に示している。
【００５２】
次いで、図７に戻り、プレイヤに横向き直立の誘導を行うための画面表示を行う（ステップＳ３０８）。図８（ｃ）（ｄ）はキャラクタが横向き直立になった状態の画面例であり、図８（ｃ）はレギュラースタンス（プレイヤの左足が前）、図８（ｄ）はグーフィースタンス（プレイヤの右足が前）の場合である。どちらかを選択させてもよいし、両者に対応できる画面としてもよい。なお、「横を向いて直立してください。」等のメッセージを併せて表示することができる。
【００５３】
次いで、図７に戻り、深度情報の取得、分割位置の算出、エリア分割、分割区画毎の深度情報の統計情報の算出／保存を行う（ステップＳ３０９）。ステップＳ３０３（ステップＳ３０４〜Ｓ３０７）と同様の処理である。取得される統計情報の例を図８（ｅ）（ｆ）に示している。なお、誘導した通りの方向をプレイヤが向かない場合に備え、骨格追跡部１０４の出力する情報等によるプレイヤの向きの情報を併せて取得／保存するようにしてもよい。
【００５４】
次いで、図７に戻り、プレイヤに前反りの誘導を行うための画面表示を行う（ステップＳ３１０）。図９（ａ）（ｂ）はキャラクタが前反りになった状態の画面例であり、図９（ａ）はレギュラースタンスの場合、図９（ｂ）はグーフィースタンスの場合である。なお、「前に最大まで反って（かがんで）ください。」等のメッセージを併せて表示することができる。
【００５５】
次いで、図７に戻り、深度情報の取得、分割位置の算出、エリア分割、分割区画毎の深度情報の統計情報の算出／保存を行う（ステップＳ３１１）。ステップＳ３０３（ステップＳ３０４〜Ｓ３０７）と同様の処理である。取得される統計情報の例を図９（ｃ）（ｄ）に示している。
【００５６】
次いで、図７に戻り、プレイヤに後ろ反りの誘導を行うための画面表示を行う（ステップＳ３１２）。図９（ｅ）（ｆ）はキャラクタが後ろ反りになった状態の画面例であり、図９（ｅ）はレギュラースタンスの場合、図９（ｆ）はグーフィースタンスの場合である。なお、「後ろに最大まで反ってください。」等のメッセージを併せて表示することができる。
【００５７】
次いで、図７に戻り、深度情報の取得、分割位置の算出、エリア分割、分割区画毎の深度情報の統計情報の算出／保存を行う（ステップＳ３１３）。ステップＳ３０３（ステップＳ３０４〜Ｓ３０７）と同様の処理である。取得される統計情報の例を図９（ｇ）（ｈ）に示している。なお、誘導した通りの方向をプレイヤが向かない場合に備え、骨格追跡部１０４の出力する情報等によるプレイヤの向きの情報を併せて取得／保存するようにしてもよい。
【００５８】
次いで、図７に戻り、横向き直立時の統計情報と前反り時の統計情報の差分と、横向き直立時の統計情報と後ろ反り時の統計情報の差分を算出し、これらから補正パラメータを算出する（ステップＳ３１４）。前反りか後ろ反りかは統計情報取得時の誘導内容に従うか、併せて取得／保存したプレイヤの向きの情報から判断する。
【００５９】
例えば、図８（ｅ）、図９（ｃ）、（ｇ）の統計情報が取得された場合、図８（ｅ）と図９（ｃ）の統計情報の差分のうちの左上の区画の面積値の増加量（これに、右上の面積値の減少量（増加量を符号反転）を加算してもよい）を、図８（ｅ）と図９（ｇ）の統計情報の差分のうちの右上の区画の面積値の増加量（これに、左上の面積値の減少量（増加量を符号反転）を加算してもよい）で割った値を補正パラメータとする。
【００６０】
図７に戻り、その後、処理を終了する（ステップＳ３１５）。
【００６１】
なお、前後の反りに対する補正パラメータの算出について説明したが、補正の対象はこの例に限らない。例えば、深度情報を用いたパンチのリーチの補正パラメータの算出、キックの高さ等の補正パラメータの算出を行うことができる。
【００６２】
＜総括＞
以上説明した実施形態によれば、プレイヤの向きにかかわらずジェスチャを精度よく認識することができるとともに、体の部位の特性に起因する補正を適切に行うことができる。
【００６３】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【符号の説明】
【００６４】
１ ビデオゲーム装置
１０１ 制御部
１０２ カメラ／深度センサ制御部
１０３ プレイヤ追跡部
１０４ 骨格追跡部
１０５ ジェスチャ認識部
１０６ 音声認識部
１０７ ゲーム進行制御部
１０８ メモリ
１０９ 画像情報
１１０ 深度情報
１１１ カメラ
１１２ 深度センサ
１１３ マイク
１１４ 映像出力部
１１５ 音声出力部
１１６ 通信部
１１７ モニタ
１１８ スピーカ
【特許請求の範囲】
【請求項１】
プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する深度センサと、
前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記統計情報に基づいてプレイヤのジェスチャを認識するジェスチャ認識部と
を備えたことを特徴とするビデオゲーム装置。
【請求項２】
請求項１に記載のビデオゲーム装置において、
前記ジェスチャ認識部は、前記画像における前記プレイヤのシルエットの面積中心を算出し、該面積中心位置に基づいて前記画像を複数の区画に分割する
ことを特徴とするビデオゲーム装置。
【請求項３】
請求項１または２のいずれか一項に記載のビデオゲーム装置において、
前記ジェスチャ認識部は、前記プレイヤに対して複数の所定の姿勢をとるよう誘導を行い、個々の姿勢について前記統計情報に対する補正パラメータを算出する
ことを特徴とするビデオゲーム装置。
【請求項４】
ビデオゲーム装置の深度センサが、プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する手順と、
ジェスチャ認識部が、前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記深度情報に基づいてプレイヤのジェスチャを認識する行う手順と
を前記ビデオゲーム装置のコンピュータに実行させるビデオゲーム制御プログラム。
【請求項１】
プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する深度センサと、
前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記統計情報に基づいてプレイヤのジェスチャを認識するジェスチャ認識部と
を備えたことを特徴とするビデオゲーム装置。
【請求項２】
請求項１に記載のビデオゲーム装置において、
前記ジェスチャ認識部は、前記画像における前記プレイヤのシルエットの面積中心を算出し、該面積中心位置に基づいて前記画像を複数の区画に分割する
ことを特徴とするビデオゲーム装置。
【請求項３】
請求項１または２のいずれか一項に記載のビデオゲーム装置において、
前記ジェスチャ認識部は、前記プレイヤに対して複数の所定の姿勢をとるよう誘導を行い、個々の姿勢について前記統計情報に対する補正パラメータを算出する
ことを特徴とするビデオゲーム装置。
【請求項４】
ビデオゲーム装置の深度センサが、プレイヤが存在する空間を撮像し、各画素ごとに深度情報を取得する手順と、
ジェスチャ認識部が、前記撮像された画像を複数の区画に区分した上で前記深度情報の統計情報を区画毎に算出し、算出した前記深度情報に基づいてプレイヤのジェスチャを認識する行う手順と
を前記ビデオゲーム装置のコンピュータに実行させるビデオゲーム制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１６５（Ｐ２０１２−１６５Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３５６０９（Ｐ２０１０−１３５６０９）
【出願日】平成２２年６月１４日（２０１０．６．１４）
【出願人】（０００１３２４７１）株式会社セガ (811)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１４日（２０１０．６．１４）
【出願人】（０００１３２４７１）株式会社セガ (811)
【Ｆターム（参考）】
[ Back to top ]