プログラム、情報記憶媒体及び画像生成システム
【課題】プレーヤのつかみ動作を検出してつかみ動作を反映した画像を生成できるプログラム、情報記憶媒体、画像生成システム等の提供。
【解決手段】画像生成システムは、画像センサからの画像情報を取得する画像情報取得部と、画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定するつかみ準備動作判定部と、つかみ準備動作が行われていると判定された場合には、つかみ準備動作を行っているプレーヤの手に対応する画像に対して画像処理を行い、画像処理の結果に基づいて、プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定するつかみ動作判定部と、つかみ動作の判定結果に基づいて画像を生成する画像生成部を含む。
【解決手段】画像生成システムは、画像センサからの画像情報を取得する画像情報取得部と、画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定するつかみ準備動作判定部と、つかみ準備動作が行われていると判定された場合には、つかみ準備動作を行っているプレーヤの手に対応する画像に対して画像処理を行い、画像処理の結果に基づいて、プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定するつかみ動作判定部と、つかみ動作の判定結果に基づいて画像を生成する画像生成部を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及び画像生成システム等に関する。
【背景技術】
【０００２】
近年、従来の操作ボタンや方向キーを備えたゲームコントローラに代わって、モーションセンサを内蔵するゲームコントローラを用いてゲーム操作が可能なゲーム装置が人気を博している。このような操作インターフェースを備えるゲーム装置によれば、プレーヤの直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献１に開示される技術がある。
【０００３】
しかしながら、このようなモーションセンサを内蔵するゲームコントローラでは、プレーヤが手を振る動作については検知できるが、プレーヤが物をつかむ動作を検知することは難しい。
【０００４】
また、プレーヤに対応するキャラクタが、相手キャラクタの方に手を伸ばす動作を行った場合に、その手の動作が、単に相手キャラクタに対して手を伸ばしただけなのか、或いは手を伸ばして相手キャラクタをつかむ動作なのかを判定することは容易ではない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−８９６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、プレーヤのつかみ動作を検出してつかみ動作を反映した画像を生成できるプログラム、情報記憶媒体、画像生成システム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定するつかみ準備動作判定部と、つかみ準備動作が行われていると判定された場合には、つかみ準備動作を行っている前記プレーヤの手に対応する画像に対して画像処理を行い、前記画像処理の結果に基づいて、前記プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定するつかみ動作判定部と、前記つかみ動作の判定結果に基づいて画像を生成する画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００８】
本発明の一態様によれば、プレーヤがつかみ準備動作を行っているか否かが、画像センサからの画像情報に基づき判定される。そしてつかみ準備動作が行われていると判定されると、つかみ準備動作を行っている手についての画像に対して画像処理が行われ、この画像処理により、プレーヤがつかみ動作を行っているか否かが判定され、その判定結果に応じた画像が生成される。このように本発明の一態様によれば、プレーヤのつかみ準備動作と、それに続くつかみ動作を、画像センサからの画像情報に基づき判定できる。従って、プレーヤの動きが、生成される画像に直感的に反映されるようになり、これまでにはない画像の生成が可能になる。また、プレーヤの動作がそのまま画像に反映するため、プレーヤの仮想現実感等を向上できる。
【０００９】
また本発明の一態様では、前記つかみ動作判定部は、つかみ準備動作を行っていると判定された前記プレーヤの手の部分に対応する画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００１０】
このようにすれば、プレーヤがつかみ動作を行っているか否かを、つかみ準備動作を行っている手の部分に対応する画像領域の情報を有効利用して判定できるようになる。
【００１１】
また本発明の一態様では、前記つかみ動作判定部は、所与の期間又は所与のタイミングにおける前記画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００１２】
このように所与の期間における画像領域の情報を用いて判定を行えば、例えば画像領域の情報が瞬間的に変化した場合に、それをつかみ動作と誤判定してしまう事態などを防止できる。また所与のタイミングにおける画像領域の情報を用いて判定を行えば、例えば、つかみ動作が成功したか否かをそのタイミングにおいて判定することなどが可能になるため、これまでにないタイプのゲームの提供等が可能になる。
【００１３】
また本発明の一態様では、前記つかみ動作判定部は、前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００１４】
このようにすれば、プレーヤがつかみ動作を行っているか否かを、画像領域の面積を求めるという画像処理で実現できるようになり、簡素な画像処理でつかみ動作の判定処理を実現できる
また本発明の一態様では、前記画像情報取得部は、前記画像情報として、各画素位置にカラー値が設定されたカラー画像情報を取得し、前記つかみ動作判定部は、前記カラー画像情報における前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００１５】
このようにすれば、画像センサにより得られたカラー画像情報を利用した画像処理により、プレーヤのつかみ動作の判定処理を実現できる。
【００１６】
また本発明の一態様では、前記画像情報取得部は、前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、前記つかみ動作判定部は、前記デプス情報における前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００１７】
このようにすれば、画像センサにより得られたデプス情報を利用した画像処理により、プレーヤのつかみ動作の判定処理を実現できる。
【００１８】
また本発明の一態様では、前記つかみ動作判定部は、前記画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させてもよい。
【００１９】
このようにすれば、表示部とプレーヤとの間の距離が変化した場合にも、精度の良いつかみ動作の判定処理を実現できる。
【００２０】
また本発明の一態様では、前記つかみ動作判定部は、前記プレーヤが手に装着する認識用部材の画像情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００２１】
このようにすれば、認識部材の画像情報を用いてプレーヤのつかみ動作の判定処理を実現できるため、プレーヤの手の画像だけを用いる手法に比べて、判定処理の精度等を向上できる。
【００２２】
また本発明の一態様では、前記認識用部材は、手のひら側が第１の色に設定され、前記つかみ動作判定部は、前記プレーヤがつかみ準備動作を行っていると判断された後に、前記第１の色の画像領域の面積が減少した場合に、前記プレーヤがつかみ動作を行っていると判定してもよい。
【００２３】
このようにすれば、プレーヤがつかみ準備動作を行っていると判断された後に、第１の色の画像領域の面積の減少を検出するという簡素な処理で、プレーヤのつかみ動作の判定処理を実現できるようになる。
【００２４】
また本発明の一態様では、前記認識用部材は、手の甲側が第２の色に設定され、前記つかみ動作判定部は、前記プレーヤがつかみ準備動作を行っていると判断された後に、前記第１の色の画像領域の面積が第１の判定しきい値よりも小さくなり、且つ、前記第２の色の画像領域の面積が第２の判定しきい値よりも小さい場合に、前記プレーヤがつかみ動作を行っていると判定してもよい。
【００２５】
このようにすれば、例えば単に手が回転した場合と手がつかみ動作を行った場合とを判別することが可能になり、つかみ動作の判定精度等を向上できる。
【００２６】
また本発明の一態様では、前記つかみ動作判定部は、前記第１の判定しきい値及び前記第２の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させてもよい。
【００２７】
このようにすれば、表示部とプレーヤとの間の距離が変化した場合にも、精度の良いつかみ動作の判定処理を実現できる。
【００２８】
また本発明の一態様では、前記つかみ動作判定部は、つかみ準備動作を行っていると判定された前記プレーヤの手の部分の画像情報に対する形状認識処理により、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００２９】
このようにすれば、例えばプレーヤの手のひらが開いている状態から閉じた状態になることを形状認識処理により検出することで、プレーヤのつかみ動作の判定処理を実現できるようになる。
【００３０】
また本発明の一態様では、前記つかみ準備動作判定部は、前記プレーヤが複数の第１〜第Ｎのつかみ準備動作（Ｍは２以上の整数）のうちのいずれのつかみ準備動作を行っているかを、前記画像センサからの前記画像情報に基づいて判定してもよい。
【００３１】
このようにすれば、第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行ったかを判定して、その後に続くつかみ動作の判定や、その判定結果による画像を生成できるため、多様なつかみ動作画像の生成が可能になる。
【００３２】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部を含み（情報取得部としてコンピュータを機能させ）、前記つかみ準備動作判定部は、前記プレーヤの前記スケルトン情報に基づいて、前記プレーヤが前記第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを判定してもよい。
【００３３】
このようにすれば、スケルトン情報を有効活用して、第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作をプレーヤが行ったのかを判定できるようになる。
【００３４】
また本発明の一態様では、前記つかみ準備動作判定部は、前記プレーヤが前記第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを、前記スケルトン情報の関節位置情報に基づいて判定してもよい。
【００３５】
このようにすれば、プレーヤが第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行ったのかを、スケルトン情報の関節位置情報の変化等を検出することで判定できるようになる。
【００３６】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部を含み（情報取得部としてコンピュータを機能させ）、前記つかみ準備動作判定部は、前記プレーヤの前記スケルトン情報に基づいて、前記プレーヤがつかみ準備動作を行っているか否かを判定してもよい。
【００３７】
このようにすれば、スケルトン情報を有効活用して、プレーヤのつかみ準備動作の判定処理を実現できるようになる。
【００３８】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、つかみ動作を判定するための前記画像処理の処理領域を設定する情報取得部を含んでもよい（情報取得部としてコンピュータを機能させてもよい）。
【００３９】
このようにすれば、設定された処理領域において画像処理を行えば済むようになるため、画像処理の処理負荷を軽減でき、少ない処理負荷でつかみ動作の判定処理を実現できるようになる。
【００４０】
また本発明の一態様では、前記プレーヤに対応するキャラクタの制御を行うキャラクタ制御部を含み（キャラクタ制御部としてコンピュータを機能させ）、前記画像生成部は、前記プレーヤがつかみ動作を行っていると判定された場合には、前記キャラクタがつかみ動作を行う画像を生成してもよい。
【００４１】
このようにすれば、プレーヤがつかみ動作を行うと、それに対応してゲーム空間内のキャラクタもつかみ動作を行うようになるため、プレーヤの仮想現実感を向上できる。
【図面の簡単な説明】
【００４２】
【図１】本実施形態の画像生成システムの構成例。
【図２】図２（Ａ）、図２（Ｂ）は画像センサを用いたカラー画像情報、デプス情報の取得手法の説明図。
【図３】図３（Ａ）、図３（Ｂ）はプレーヤのつかみ準備動作を判定する手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）はプレーヤのつかみ動作を判定する手法の説明図。
【図５】本実施形態により生成される画像の例。
【図６】図６（Ａ）〜図６（Ｃ）は手の部分の画像領域の面積に基づきつかみ動作を判定する手法の説明図。
【図７】図７（Ａ）〜図７（Ｃ）は判定しきい値を距離に応じて変化させる手法の説明図。
【図８】図８（Ａ）、図８（Ｂ）は認識用部材である手袋の説明図。
【図９】図９（Ａ）〜図９（Ｄ）は認識用部材を用いた判定手法の説明図。
【図１０】図１０（Ａ）〜図１０（Ｃ）は認識用部材を用いた判定における問題点についての説明図。
【図１１】図１１（Ａ）〜図１１（Ｃ）は認識用部材を用いた判定手法の説明図。
【図１２】図１２（Ａ）、図１２（Ｂ）は複数のつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを判定する手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）は本実施形態により生成される画像の例。
【図１４】デプス情報に基づいてプレーヤのスケルトン情報を求める手法の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）はプレーヤのスケルトン情報を用いてつかみ準備動作を判定する手法の説明図。
【図１６】図１６（Ａ）、図１６（Ｂ）はプレーヤのスケルトン情報を用いて画像処理の処理領域を設定する手法の説明図。
【図１７】本実施形態の処理を説明するフローチャート。
【図１８】本実施形態の処理を説明するフローチャート。
【図１９】本実施形態の処理を説明するフローチャート。
【発明を実施するための形態】
【００４３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４４】
１．構成
図１に本実施形態の画像生成システム（ゲーム装置）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４５】
操作部１６０は、プレーヤが操作データを入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
【００４６】
また操作部１６０は、例えばカラー画像センサやデプスセンサなどにより実現される画像センサを含む。なお操作部１６０の機能を画像センサだけで実現してもよい。
【００４７】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００４８】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００４９】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００５０】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００５１】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００５２】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００５３】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００５４】
処理部１００は、画像情報取得部１０２、情報取得部１０４、ゲーム演算部１０６、つかみ準備動作判定部１０７、つかみ動作判定部１０８、つかみ連動動作判定部１０９、攻撃演算部１１０、オブジェクト空間設定部１１２、キャラクタ制御部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。また情報取得部１０４はスケルトン情報取得部１０５を含み、キャラクタ制御部１１４は移動処理部１１５、モーション処理部１１６を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５５】
画像情報取得部１０２は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部１７０の画像情報記憶部１７１に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部１７２に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部１７３に保存される。画像情報取得部１０２は、これらの画像情報を画像情報記憶部１７１から読み出すことで画像情報を取得する。
【００５６】
情報取得部１０４は、画像情報取得部１０２が取得した画像情報に基づいて、スケルトン情報を取得する。そして、取得されたスケルトン情報に基づいて、プレーヤの動作を特定する。またスケルトン情報に基づいて、例えば画像処理の処理領域などを設定する。
【００５７】
ゲーム演算部１０６はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００５８】
つかみ準備動作判定部１０７、つかみ動作判定部１０８、つかみ連動動作判定部１０９は、各々、つかみ準備動作、つかみ動作、つかみ連動動作の判定処理を行う。攻撃演算部１１０は、プレーヤに対応するキャラクタの攻撃演算処理を行う。これらの詳細については後述する。
【００５９】
オブジェクト空間設定部１１２は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７５には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００６０】
キャラクタ制御部１１４は、オブジェクト空間を移動（動作）するキャラクタの制御を行う。例えばキャラクタ制御部１１４が含む移動処理部１１５は、キャラクタ（モデルオブジェクト、移動オブジェクト）を移動させる処理を行う。例えば操作部１６０によりプレーヤが入力した操作情報や、プログラム（移動アルゴリズム）や、各種データなどに基づいて、キャラクタをオブジェクト空間内で移動させる。具体的には、キャラクタの移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動処理やモーション処理や画像生成処理を行う時間の単位である。
【００６１】
キャラクタ制御部１１４が含むモーション処理部１１６は、キャラクタにモーション（アニメーション）を行わせるモーション処理（モーション再生、モーション生成）を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部１７６に記憶されているモーションデータに基づいて再生することなどで実現できる。
【００６２】
具体的にはモーションデータ記憶部１７６には、キャラクタ（モデルオブジェクト）のスケルトンを構成する各骨（キャラクタを構成する各パーツオブジェクト）の位置又は回転角度（親の骨に対する子の骨の３軸周りの回転角度）等を含むモーションデータが記憶されている。またモデルデータ記憶部１７７は、キャラクタを表すモデルオブジェクトのモデルデータを記憶する。モーション処理部１１６は、このモーションデータをモーションデータ記憶部１７６から読み出し、読み出されたモーションデータに基づいてスケルトンを構成する各骨（パーツオブジェクト）を動かすことで（スケルトン形状を変形させることで）、キャラクタのモーションを再生する。
【００６３】
仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００６４】
例えば仮想カメラによりキャラクタを後方から撮影する場合には、キャラクタの位置又は回転の変化に仮想カメラが追従するように、仮想カメラの位置又は回転角度（仮想カメラの向き）を制御する。この場合には、移動処理部１１５で得られたキャラクタの位置、回転角度又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は回転角度を特定するための仮想カメラデータに基づいて仮想カメラを制御する。
【００６５】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７９（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。
【００６６】
なお、画像生成部１２０が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラと右目用仮想カメラを配置設定する。そして画像生成部１２０が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。
【００６７】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００６８】
そして本実施形態では、画像情報取得部１０２が画像センサからの画像情報を取得すると、つかみ準備動作判定部１０７は、取得された画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定する。ここで、つかみ準備動作は、プレーヤの手がつかむ動作を行う前に行われる一連の動作であり、つかみ動作の前提となる動作である。具体的には、相手キャラクタやアイテムなどを手でつかむために、プレーヤが腕を伸ばしたり、曲げたり、或いは手首を曲げたりするなどの準備動作である。
【００６９】
そしてつかみ準備動作判定部１０７により、つかみ準備動作が行われていると判定されると、つかみ動作判定部１０８は、つかみ準備動作を行っているプレーヤの手に対応する画像に対して画像処理を行う。そして画像処理の結果に基づいて、プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定する。
【００７０】
例えば、プレーヤの左手（左腕）がつかみ準備動作（例えば左腕を伸ばしたり曲げる動作）を行っていると判定された場合には、左手に対応する画像（例えば左手を内包する画像領域の画像）に対して画像処理を行う。またプレーヤの右手（右腕）がつかみ準備動作（例えば右腕を伸ばしたり曲げる動作）を行っていると判定された場合には、右手に対応する画像（例えば右手を内包する画像領域の画像）に対して画像処理を行う。そして画像処理の結果に基づいて、プレーヤの左手や右手がつかみ動作を行っているか否かを判定する。すると画像生成部１２０は、つかみ動作の判定結果に基づいて画像を生成する。例えばつかみ動作を行っていると判定された場合には、プレーヤに対応するキャラクタ（キャラクタの手）がつかみ動作を行う画像を生成する。
【００７１】
またつかみ動作判定部１０８は、つかみ準備動作を行っていると判定されたプレーヤの手の部分に対応する画像領域の情報に基づいて、プレーヤがつかみ動作を行っているか否かを判定する。具体的には、当該画像領域の面積に基づいて、つかみ動作を行っているか否かを判定する。例えばプレーヤの左手がつかみ準備動作を行っていると判定された場合には、左手の画像が占める画像領域の面積を求めて、左手がつかみ動作を行っているか否かを判定する。またプレーヤの右手がつかみ準備動作を行っていると判定された場合には、右手の画像が占める画像領域の面積を求めて、右手がつかみ動作を行っているか否かを判定する。
【００７２】
そして画像情報取得部１０２が、画像情報としてカラー画像情報を取得した場合に、つかみ動作判定部１０８は、カラー画像情報における画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定する。例えば手の色（肌色等）の画像領域の面積を求めて、プレーヤがつかみ動作を行っているか否かを判定する。ここでカラー画像情報は、例えば各画素位置にカラー値が設定された画像情報である。また画像情報取得部１０２が、画像情報としてデプス情報を取得した場合に、つかみ動作判定部１０８は、デプス情報における画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定してもよい。例えば手のデプス値に対応する画像領域の面積を求めて、プレーヤがつかみ動作を行っているか否かを判定する。ここでデプス情報は、各画素位置にデプス値が設定された画像情報である。
【００７３】
また、つかみ動作判定部１０８は、画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部１９０とプレーヤとの距離情報に応じて変化させてもよい。例えば表示部１９０とプレーヤとの距離が近いと判断された場合には、画像領域の面積を判定する際の判定しきい値を大きな値にする。一方、表示部１９０とプレーヤとの距離が遠いと判断された場合には、画像領域の面積を判定する際の判定しきい値を小さな値にする。このようにすることで、表示部１９０とプレーヤとの距離に応じた適切な値に、判定しきい値を設定できる。なお、表示部１９０とプレーヤとの距離情報は、表示部１９０とプレーヤとの距離そのものであってもよいし、その距離と同等な情報であってもよい。例えば、プレーヤの代表位置やプレーヤの手の位置でのデプス値を、表示部１９０とプレーヤとの距離情報として、判定しきい値を変化させてもよい。
【００７４】
なお、つかみ動作を判定する際に使用される画像領域の情報は、画像領域の面積には限定されず、面積以外の画像領域の情報に基づいて、つかみ動作を行っているか否かを判定してもよい。例えば画像領域でのカラー画像情報自体やデプス情報自体に基づいて、つかみ動作を判定してもよい。
【００７５】
また、つかみ動作の判定の際には、所与の期間における画像領域の情報に基づいてつかみ動作を判定することが望ましい。例えばつかみ準備動作を行っていると判定されてから、複数フレーム分の画像領域の情報を用いて、つかみ動作を行っているか否かを判定する。即ち、画像領域の面積等の情報が瞬間的に変化した場合には、この瞬間的に変化した情報については判定処理の対象にはせずに、所与の期間だけ維持された画像領域の情報を判定処理の対象にする。このようにすれば、ノイズ等により画像領域の情報が瞬間的に変化した場合に、プレーヤがつかみ動作を行っていないのにつかみ動作を行っていると誤判定してしまう事態を防止できるようになる。
【００７６】
また、つかみ動作の判定の際には、所与のタイミングにおける画像領域の情報に基づいてつかみ動作を判定することが望ましい。例えば、つかみ動作を行うべきタイミングを、画像や音などを用いてプレーヤに対して指示し、その指示タイミング（所与のタイミング）における画像領域の情報に基づいて、つかみ動作の判定を行う。そして、その指示タイミングでの画像領域の情報から、その指示タイミングでプレーヤがつかみ動作を行うことに成功したと判定された場合には、プレーヤに対して得点等を付与する。このようにすることで、音楽ゲーム、アクションゲーム、スポーツゲーム等の分野において、これまでにないタイプのゲームを提供することが可能になる。
【００７７】
また、つかみ動作判定部１０８は、プレーヤが手に装着する認識用部材の画像情報に基づいて、プレーヤがつかみ動作を行っているか否かを判定してもよい。例えば認識用部材として、後述するような手袋等をプレーヤに装着させる。そして、手袋等の認識用部材のカラー画像情報等に基づいて、プレーヤがつかみ動作を行っているか否かを判定する。
【００７８】
具体的には、認識用部材の手のひら側を第１の色に設定する。そしてつかみ動作判定部１０８は、プレーヤがつかみ準備動作を行っていると判断された後に、第１の色の画像領域の面積が減少した場合に、プレーヤがつかみ動作を行っていると判定する。例えばカラー画像情報から、第１の色の画素を抽出し、その画素数等から第１の色の画像領域の面積を求める。そしてこの面積が所定の判定しきい値よりも小さくなった場合に、プレーヤがつかみ動作を行っていると判定する。
【００７９】
また認識用部材の手の甲側を第２の色に設定してもよい。この場合にはつかみ動作判定部１０８は、プレーヤがつかみ準備動作を行っていると判断された後に、第１の色の画像領域の面積が第１の判定しきい値よりも小さくなり、且つ、第２の色の画像領域の面積が第２の判定しきい値よりも小さい場合に、プレーヤがつかみ動作を行っていると判定すればよい。
【００８０】
この場合に、つかみ動作判定部１０８は、第１の判定しきい値及び第２の判定しきい値を、表示部１９０とプレーヤとの間の距離情報に応じて変化させてもよい。例えば、表示部１９０とプレーヤとの距離が近いと判断された場合には、第１、第２の判定しきい値を大きな値にする。一方、表示部１９０とプレーヤとの距離が遠いと判断された場合には、第１、第２の判定しきい値を小さな値にする。このようにすることで、表示部１９０とプレーヤとの距離に応じた適切な値に、第１、第２の判定しきい値を設定できる。
【００８１】
なお、つかみ動作判定部１０８は、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像情報に対する形状認識処理により、プレーヤがつかみ動作を行っているか否かを判定してもよい。例えば左手がつかみ準備動作を行っていると判定された場合には、つかみ動作判定部１０８は、左手に対応する画像情報に対して形状認識処理を行う。そして形状認識処理により、左手の手のひらが開いた状態（パーの状態）から閉じた状態（グーの状態）に変化したと判断された場合には、左手のつかみ動作が行われたと判定する。また右手がつかみ準備動作を行っていると判定された場合には、つかみ動作判定部１０８は、右手に対応する画像情報に対して形状認識処理を行う。そして形状認識処理により、右手の手のひらが開いた状態から閉じた状態に変化したと判断された場合には、右手のつかみ動作が行われたと判定する。この場合の形状認識処理は、手のひらが開いた状態や閉じた状態での手の形状を表すテンプレート画像を用意し、このテンプレート画像とのマッチング処理を行うことなどで実現できる。
【００８２】
また、つかみ準備動作判定部１０７は、プレーヤが複数の第１〜第Ｎのつかみ準備動作（Ｍは２以上の整数）のうちのいずれのつかみ準備動作を行っているかを、画像センサからの画像情報に基づいて判定してもよい。例えば腕を下方向から伸ばして相手キャラクタの胸ぐらをつかむためのつかみ準備動作を行っているのか、或いは腕を上方向から伸ばして相手キャラクタの頭部をつかむためのつかみ準備動作を行っているのかを、画像センサからの画像情報に基づいて判定する。
【００８３】
また情報取得部１０４は、画像センサからの画像情報に基づいて、画像センサから見えるプレーヤの動作を特定するスケルトン情報を取得する。この取得されたスケルトン情報はスケルトン情報記憶部１７４に保存される。
【００８４】
ここでスケルトン情報は、例えば画像センサから見えるプレーヤの動作を特定する情報である。具体的には、このスケルトン情報は、プレーヤの複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は３次元座標情報により構成される。各関節を結合するものが骨（ボーン）となり、複数の骨の結合によりスケルトンが構成される。
【００８５】
そして、つかみ準備動作判定部１０７は、プレーヤのスケルトン情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定する。また、スケルトン情報に基づいてプレーヤが第１〜第Ｎのつかみ準備動作のいずれのつかみ準備動作を行っているかを判定する。具体的には、プレーヤが第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを、スケルトン情報の関節位置情報に基づいて判定する。例えば第１〜第Ｎのつかみ準備動作でのスケルトン情報を表すテンプレートとなる第１〜第Ｎの基準スケルトン情報を用意する。そして、画像情報により検出されたプレーヤのスケルトン情報と、第１〜第Ｎの基準スケルトン情報とのマッチング処理を行う。そしてマッチング処理の評価関数の結果を用いて、プレーヤが第１〜第Ｎのつかみ準備動作のいずれのつかみ準備動作を行っているのかを判定する。この場合のマッチング処理は例えば複数フレームに亘って行ってもよい。
【００８６】
また、情報取得部１０４は、このようなスケルトン情報が取得されると、このスケルトン情報に基づいて、つかみ動作を判定するための画像処理の処理領域を設定する。例えばプレーヤの左手がつかみ準備動作を行っていると判定された場合には、情報取得部１０４は、スケルトン情報に基づいて左手の位置を特定し、特定された位置を含む所定サイズの領域（画面よりも小さな領域）を処理領域に設定する。そしてつかみ動作判定部１０８は、設定された処理領域の画像情報（カラー画像情報、デプス情報）に対して画像処理を行って、左手がつかみ動作を行っているか否かを判定する。またプレーヤの右手がつかみ準備動作を行っていると判定された場合には、情報取得部１０４は、スケルトン情報に基づいて右手の位置を特定し、特定された位置を含む所定サイズの領域を処理領域に設定する。そしてつかみ動作判定部１０８は、設定された処理領域の画像情報に対して画像処理を行って、右手がつかみ動作を行っているか否かを判定する。
【００８７】
またキャラクタ制御部１１４は、プレーヤに対応するキャラクタの制御を行う。ここでキャラクタは、三人称視点の場合には実際に表示されるオブジェクトになるが、一人称視点の場合には、表示部１９０に表示されない仮想的なオブジェクトになる。
【００８８】
そして画像生成部１２０は、プレーヤがつかみ動作を行っていると判定された場合には、キャラクタがつかみ動作を行う画像を生成する。例えば、キャラクタがつかみ準備動作を行い、その後につかみ動作を行う画像を生成する。この場合のキャラクタの一連の動作は、画像センサからの画像情報により取得されたプレーヤのスケルトン情報を用いてモーション再生することで実現してもよい。
【００８９】
また本実施形態では、つかみ連動動作判定部１０９が、プレーヤが、つかみ動作に続くつかみ連動動作を行ったか否かを判定する。例えばつかみ動作判定部１０８は、画像センサからの画像情報に基づいて、プレーヤの右手、左手の一方の手がつかみ動作を行っているか否かを判定する。そして、つかみ連動動作判定部１０９は、一方の手がつかみ動作を行っていると判定された場合には、画像情報に基づいて、一方の手とは異なる他方の手が、つかみ動作に続くつかみ連動動作を行っているか否かを判定する。例えばプレーヤの一方の手である左手がつかみ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手である右手がつかみ連動動作を行っているか否かを判定する。またプレーヤの一方の手である右手がつかみ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手である左手がつかみ連動動作を行っているか否かを判定する。
【００９０】
そして画像生成部１２０は、つかみ動作及びつかみ連動動作の判定結果に基づいて画像を生成する。例えばプレーヤに対応するキャラクタがつかみ動作を行った後、それに続くつかみ連動動作を行う画像を生成する。
【００９１】
ここで、つかみ連動動作（つかみ連携動作）は、つかみ動作の後に、そのつかみ動作に連動（連携）して行われる動作である。例えば、つかみ動作に続いて行われることが予定されている動作であり、つかみ動作に連動（連携）して行われることが予め関連づけられている動作である。このつかみ連動動作としては、例えば攻撃動作（殴る動作、投げる動作等）、撫でる動作、叩く動作、調べる動作、持つ動作、或いは他方の手で更につかむ動作（両手でつかむ動作）などがある。
【００９２】
また、つかみ連動動作判定部１０９は、他方の手が複数の第１〜第Ｍのつかみ連動動作（Ｍは２以上の整数）のうちのいずれのつかみ連動動作を行っているかを、画像センサからの画像情報に基づいて判定する。ここで、第１〜第Ｍのつかみ連動動作は、上述した攻撃動作、撫でる動作、叩く動作、調べる動作、持つ動作、他方の手で更につかむ動作などである。例えばプレーヤの一方の手（例えば左手）が相手キャラクタ等をつかむ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手（例えば右手）が、これらの攻撃動作、撫でる動作、叩く動作等である第１〜第Ｍのつかみ連動動作のいずれのつかみ連動動作を行っているかを判定する。具体的には、画像センサからの画像情報に基づいてつかみ連動動作を判定する。そして、第１〜第Ｍのつかみ連動動作のうちの第Ｋのつかみ連動動作（１≦Ｋ≦Ｍ）を行っていると判定された場合には、画像生成部１２０は、プレーヤに対応するキャラクタが、一方の手によるつかみ動作の後に、他方の手による第Ｋのつかみ連動動作を行っている画像を生成する。
【００９３】
この場合に、つかみ連動動作判定部１０９は、他方の手の部分に対応する画像領域の面積に基づいて、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。例えば、他方の手の部分に対応するカラー画像情報における画像領域の面積、或いは他方の手の部分に対応するデプス情報における画像領域の面積に基づいて、他方の手（他方の腕）が、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。この場合に画像領域の面積を判定する際の判定しきい値を、他方の手の部分でのデプス値に基づいて変化させてもよい。
【００９４】
またつかみ連動動作判定部１０９は、他方の手の部分の画像情報に対する形状認識処理により、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。或いは他方の手の部分の画像情報における動きベクトル情報に基づいて、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。また他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを、スケルトン情報に基づいて判定してもよい。具体的にはスケルトン情報の関節位置情報に基づいて判定する。
【００９５】
またつかみ連動動作判定部１０９は、画像センサからの画像情報に基づいて、他方の手がつかみ連動動作として攻撃動作を行っているか否かを判定する。この場合に攻撃演算部１１０は、画像センサからの画像情報に基づいて、他方の手による攻撃動作の攻撃演算用パラメータ（攻撃力や、相手キャラクタの硬直時間等のパラメータ）を設定する。そして攻撃演算用パラメータに基づいて攻撃演算処理を行う。
【００９６】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【００９７】
２．１ つかみ動作の判定
一般的に、ゲーム装置では、ゲームコントローラのボタンやレバーを操作してゲーム操作を行う。またゲームコントローラにモーションセンサ（６軸センサ）を設け、プレーヤがゲームコントローラそのものを動かすことでゲーム操作を行うゲーム装置もある。
【００９８】
しかしながら、このような操作インターフェースのゲーム装置では、ゲーム操作にゲームコントローラが必要になり、プレーヤの手の動きなどのジェスチャをそのまま反映させるようなゲーム操作については実現できず、プレーヤの仮想現実感を今ひとつ向上できない。
【００９９】
そこで本実施形態では、画像センサで撮像された画像情報に基づきプレーヤの操作入力を可能にする操作インターフェースを採用している。
【０１００】
例えば図２（Ａ）では、表示部１９０に対応する位置に、デプスセンサ（赤外線センサ等）やカラー画像センサ（ＣＣＤやＣＭＯＳセンサなどのＲＧＢセンサ）により実現される画像センサＩＳＥが設置されている。この画像センサＩＳＥは、例えばその撮像方向（光軸方向）が表示部１９０からプレーヤＰＬの方に向く方向になるように設置されており、表示部１９０側から見たプレーヤＰＬのカラー画像情報やデプス情報を撮像する。なお画像センサＩＳＥは、表示部１９０に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。
【０１０１】
そして図２（Ａ）の画像センサＩＳＥを用いて、図２（Ｂ）に示すようなカラー画像情報とデプス情報を取得する。例えばカラー画像情報では、プレーヤＰＬやその周りの風景の色情報が得られる。一方、デプス情報では、プレーヤＰＬやその周りの風景のデプス値（奥行き値）が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置にカラー値（ＲＧＢ）が設定された画像情報であり、デプス情報は、その各画素位置にデプス値（奥行き値）が設定された画像情報である。なお、画像センサＩＳＥは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。
【０１０２】
デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサＩＳＥ（デプスセンサ）から赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間（Time Of Flight）を検出することで、デプス情報を取得し、画像センサＩＳＥの位置から見たプレーヤＰＬなどの物体のシェイプを検出する。具体的には、デプス情報は、例えば画像センサＩＳＥから近い物体では明るくなり、画像センサＩＳＥから遠い物体では暗くなるグレースケールデータとして表される。なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばＣＭＯＳセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報（被写体までの距離情報）を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。
【０１０３】
そして本実施形態では、画像センサＩＳＥからの画像情報に基づきプレーヤＰＬがつかみ準備動作を行っていると判定された場合に、つかみ準備動作を行っている手に対応する画像に対して画像処理行い、つかみ準備動作に続くつかみ動作を行っているか否かを判定する。
【０１０４】
例えば図３（Ａ）、図３（Ｂ）では、プレーヤＰＬは、つかみ動作を行うために、左手ＨＤＬを徐々に上げるつかみ準備動作を行っている。この場合に本実施形態では、画像センサＩＳＥにより図２（Ｂ）に示すようなカラー画像情報やデプス情報などの画像情報を取得する。そして、取得された画像情報に基づいて、プレーヤＰＬが、つかみ動作のためのつかみ準備動作を行っているか否かを判定する。
【０１０５】
例えば図２（Ｂ）に示すようなカラー画像情報やデプス情報に基づいて、プレーヤＰＬの動作を検知して、つかみ準備動作を行っているか否かを判定する。具体的には、後述するように図２（Ｂ）のデプス情報に基づいてプレーヤＰＬのスケルトン情報を検出し、スケルトン情報での関節の動きを解析して、プレーヤＰＬがつかみ準備動作を行っているか否かを判定する。例えばプレーヤＰＬが行うと考えられる複数の第１〜第Ｎのつかみ準備動作に対応する、テンプレートとなる第１〜第Ｎの基準スケルトン情報を用意する。そして、デプス情報により求められたプレーヤＰＬのスケルトン情報と、これらの第１〜第Ｎの基準スケルトン情報とのマッチング処理を行う。そして例えば第１〜第Ｎの基準スケルトン情報のうちの第Ｌの基準スケルトン情報（１≦Ｌ≦Ｎ）と、プレーヤＰＬのスケルトン情報とのマッチングの評価関数の値が、所定値以下になった場合に、マッチングしたと判定する。そして、第Ｌの基準スケルトン情報に対応する第Ｌのつかみ準備動作をプレーヤＰＬが行っていると判定する。
【０１０６】
なお、画像情報に基づくつかみ準備動作の判定手法は、このようなスケルトン情報を用いた手法には限定されず、公知の種々の動作判定手法を採用できる。例えばカラー画像情報やデプス情報そのものを用いて、マッチング処理を行って、プレーヤＰＬがつかみ準備動作を行っているか否かを判定してもよい。或いは、例えばスケルトン情報での手首や肘などの関節位置の情報の変化だけを監視して、プレーヤＰＬがつかみ準備動作を行っているか否かを判定してもよい。
【０１０７】
そして、プレーヤＰＬが図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作を行っていると判定された場合には、つかみ準備動作を行っている手の付近の画像に対して画像処理を行う。例えば手の付近の画像領域でのカラー画像情報やデプス情報に対して画像処理を行い、その画像処理の結果に基づいて、プレーヤがつかみ準備動作に続いてつかみ動作を行っているか否かを判定する。
【０１０８】
例えば図４（Ａ）、図４（Ｂ）に、画像センサＩＳＥにより撮像されたカラー画像情報（デプス情報）の例を示す。図４（Ａ）では、プレーヤＰＬの左手ＨＤＬの手のひらが開いた状態（パーの状態）になっている。一方、図４（Ｂ）では、左手ＨＤＬの手のひらが閉じた状態（グーの状態）になっている。このように、手のひらが開いた状態から閉じた状態に変化した場合には、プレーヤＰＬがつかみ準備動作に続いてつかみ動作を行っていると判定する。
【０１０９】
そして、このようにつかみ動作が行われたと判定されると、例えば図５に示すような画像を生成して表示部１９０に表示する。図５では、プレーヤＰＬに対応するキャラクタの手ＨＬＯＢ（手のオブジェクト）が、相手キャラクタ（ターゲットオブジェクトＴＯＢ）の肩をつかんでいる画像が生成されている。即ち、本実施形態では、プレーヤＰＬの操作により、オブジェクト空間（ゲーム空間）において、プレーヤＰＬに対応するキャラクタを動作させる。この場合のプレーヤＰＬの操作は、例えばプレーヤＰＬの動作を画像センサＩＳＥにより検出することなどにより実現される。そして、プレーヤＰＬが図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作を行った後、図４（Ａ）、図４（Ｂ）に示すようなつかみ動作を行うと、図５に示すような画像が生成される。
【０１１０】
なお、図５は、一人称視点の画像の例であるが、三人称視点の画像を生成してもよい。三人称視点の画像では、キャラクタの全身（或いは少なくともキャラクタの頭部）が表示されるのに対して、一人称視点の画像では、キャラクタの全身（頭部）は表示されず、例えば図５に示すようにキャラクタの手などの部位の一部だけが表示される。
【０１１１】
以上の本実施形態の手法によれば、プレーヤのつかみ準備動作と、それに続くつかみ動作を、画像センサからの画像情報に基づいて判定できる。従って、ゲームコントローラを用いたゲーム操作によっては検出することが難しいプレーヤのつかみ動作を検知して、プレーヤがつかみ動作を行ったか否かを判定できるようになる。従って、プレーヤに対応するキャラクタがゲーム空間（オブジェクト空間）内を移動して、相手キャラクタやアイテム等をつかむことでゲームが進行するようなゲームを実現できる。また、プレーヤは、現実世界と同様なつかみ動作を行うことで、自身に対応するキャラクタもつかみ動作を行うようになる。従って、プレーヤの動きがゲーム画像に直感的に反映されるようになり、これまでにはないゲーム画像の生成が可能になる。また、プレーヤの動作がそのままゲーム画像に反映するため、プレーヤの仮想現実感を向上できる。
【０１１２】
また本実施形態では、プレーヤがつかみ準備動作を行ったと判定された場合に、つかみ準備動作を行っているプレーヤの手の画像に対して画像処理が行われて、プレーヤがつかみ動作を行っているか否かが判定される。従って、プレーヤのつかみ動作を、適切且つ確実に検出することが可能になる。
【０１１３】
即ち、図４（Ａ）、図４（Ｂ）に示すように、プレーヤの手のひらが開いた状態から閉じた状態に変化したことだけを検知して、つかみ動作を判定してしまうと、つかみ動作ではない動作を誤ってつかみ動作と判定してしまうおそれがある。また、プレーヤの手のひらが開いた状態から閉じた状態に変化したことを検出するつかみ動作検出用の画像処理を、例えば画面全体の画像に対して行わなければならなくなり、処理負荷も増加してしまう。特に、このようなつかみ動作検出用の画像処理を、全てのフレームにおいて実行すると、処理負荷が過大になってしまう。
【０１１４】
この点、本実施形態では、図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作が行われたと判定されたことを条件に、図４（Ａ）、図４（Ｂ）で説明したつかみ動作検出用の画像処理が実行される。従って、例えば全てのフレームにおいてつかみ動作検出用の画像処理を実行する必要はなくなるため、処理負荷を軽減できる。また、つかみ動作の判定の前に、つかみ準備動作を判定すれば、つかみ動作検出用の画像処理を行う範囲を限定することが可能になる。例えば左手がつかみ準備動作を行っていると判定された場合には、左手に対応する画像領域の画像に対してだけ、つかみ動作検出用の画像処理を行えば済むようになる。また右手がつかみ準備動作を行っていると判定された場合には、右手に対応する画像領域の画像に対してだけ、つかみ動作検出用の画像処理を行えば済むようになる。従って、画像処理の処理負荷を軽減できる。特に、後述するように、スケルトン情報を有効活用して画像処理を行う処理領域を設定すれば、画像処理を行う処理領域を更に限定することが可能になり、画像処理の処理負荷を更に軽減することが可能になる。
【０１１５】
２．２ 画像領域の面積に基づく判定処理
次に、図４（Ａ）、図４（Ｂ）のつかみ動作を判定する具体的な手法の例について説明する。例えば本実施形態では、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定している。
【０１１６】
例えば図６（Ａ）は、プレーヤの手のひらが開いた時の状態（パーの状態）を示し、図６（Ｂ）は、プレーヤの手のひらが閉じた時の状態（グーの状態）を示している。図６（Ａ）、図６（Ｂ）に示すように、プレーヤの手の画像領域の面積Ｓは、図６（Ａ）の手のひらが開いた状態よりも、図６（Ｂ）の手のひらが閉じた状態の方が小さくなる。従って、手の画像領域の面積Ｓが、判定しきい値ＶＴよりも大きい場合には、手のひらが開いた状態であると判定でき、面積ＳがＶＴよりも小さい場合には、手のひらが閉じた状態であると判定できる。
【０１１７】
従って、図６（Ｃ）に示すように、プレーヤのつかみ準備動作が行われたと判定された後に、対応する手の画像領域の面積Ｓが減少し、面積Ｓが判定しきい値ＶＴよりも小さくなった場合に、プレーヤがつかみ動作を行ったと判定できる。一方、つかみ準備動作が行われたと判定された後、所定時間が経過しても、手の画像領域の面積Ｓが、判定しきい値ＶＴよりも小さくならなかった場合には、つかみ動作は行われなかったと判定できる。
【０１１８】
なお、面積Ｓは、図２（Ｂ）に示すカラー画像情報における画像領域の面積であってもよいし、デプス情報における画像領域の面積であってもよい。例えばカラー画像情報を用いる場合には、手の色（肌の色）に対応する色相範囲を設定し、カラー画像情報の各画素位置の色が、この色相範囲に入るか否かを判断する。そして色相値が色相範囲に入る画素の数を算出することにより、面積Ｓを求めればよい。またデプス情報を用いる場合には、手のデプス値に対応するデプス範囲を設定し、デプス情報の各画素位置のデプス値が、このデプス範囲に入るか否かを判断する。そしてデプス値がデプス範囲に入る画素の数を算出することにより、面積Ｓを求めればよい。
【０１１９】
また、図７（Ａ）に示すように表示部１９０にプレーヤＰＬが近づいた場合と、図７（Ｂ）に示すように表示部１９０からプレーヤＰＬが遠ざかった場合とでは、手の画像領域の面積Ｓは異なった面積になってしまう。例えば図７（Ａ）のように表示部１９０とプレーヤＰＬとの間の距離が短い距離ＬＤＮである場合には、面積Ｓは大きな値になり、図７（Ｂ）のように長い距離ＬＤＦである場合には、面積Ｓは小さな値になる。
【０１２０】
そこで本実施形態では、画像領域の面積Ｓを判定する際の判定しきい値ＶＴを、表示部１９０とプレーヤＰＬとの距離情報に応じて変化させる。例えば図７（Ｃ）に示すように、表示部１９０とプレーヤＰＬとの距離Ｌが短い距離ＬＤＮである場合には、判定しきい値ＶＴを大きなしきい値ＶＴＮに設定する。一方、距離Ｌが長い距離ＬＤＦである場合には、判定しきい値ＶＴを小さなしきい値ＶＴＦに設定する。即ち、距離Ｌが長くなるにつれて、判定しきい値ＶＴを小さくする。
【０１２１】
このようにすることで、図７（Ａ）のように表示部１９０にプレーヤＰＬが近づいた場合にも、図７（Ｂ）のように遠ざかった場合にも、適切な判定しきい値ＶＴを用いて、画像領域の面積Ｓを判定できるようになる。従って、面積Ｓに基づくつかみ動作の判定処理の精度を向上できる。
【０１２２】
なお図７（Ｃ）では、表示部１９０とプレーヤＰＬとの距離Ｌそのものを用いて、判定しきい値ＶＴを設定しているが、本実施形態はこれに限定されない。例えば、キャラクタＣＨやキャラクタＣＨの手ＨＤＬのデプス値により、判定しきい値ＶＴを設定してもよい。この場合には、このデプス値が、表示部１９０とプレーヤＰＬの距離を表す距離情報に相当することになる。
【０１２３】
また画像処理の精度や正確性を高めるためには、プレーヤに、つかみ動作の判定のための認識用部材を装着させ、その認識用部材の画像情報に基づいて、プレーヤがつかみ動作を行っているか否かを判定することが望ましい。
【０１２４】
例えば図８（Ａ）、図８（Ｂ）に、このような認識用部材の一例である手袋ＥＴＨを示す。図８（Ａ）に示すように、この手袋ＥＴＨ（広義には認識用部材）は、その手のひら側が赤（広義には第１の色）に設定されている。また図８（Ｂ）に示すように、その手の甲側が青（広義には第２の色）に設定されている。このように、手のひらと手の甲とで色を異ならせることで、プレーヤが手のひらの方を表示部１９０に向けているのか手の甲の方を向けているのかを、容易に判定できるようになる。
【０１２５】
そして図９（Ａ）は、手袋ＥＴＨを装着した手のひらが開いた状態（パーの状態）を示している。この場合には、手の画像領域の大部分において、手袋ＥＴＨの手のひら側の色である赤が占めるようになる。一方、図９（Ｂ）は、手袋ＥＴＨを装着した手のひらが閉じた状態（グーの状態）を示している。この場合には、手の画像領域の第１の領域では、手のひら側の色である赤が占め、第２の領域では、手の甲側の色である青が占めるようになる。
【０１２６】
そこで本実施形態では、図９（Ｃ）に示すように、プレーヤの手がつかみ準備動作を行っていると判断された後に、手のひら側の色である赤（第１の色）の画像領域の面積ＳＲが減少した場合に、プレーヤがつかみ動作を行っていると判定する。具体的には、赤の色の面積ＳＲが、判定しきい値ＶＴＲよりも小さくなった場合に、プレーヤがつかみ動作を行っていると判定する。
【０１２７】
なお図９（Ｄ）に示すように、手の甲側の色である青（第２の色）の画像領域の面積ＳＢが増加した場合に、プレーヤがつかみ動作を行っていると判定してもよい。具体的には、青の色の面積ＳＢが、判定しきい値ＶＴＢよりも大きくなった場合に、プレーヤがつかみ動作を行っていると判定する。
【０１２８】
さて、図９（Ａ）〜図９（Ｄ）で説明した判定手法では、以下に説明する問題が生じるおそれがある。
【０１２９】
例えばプレーヤの手が図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）のように回転した場合を考える。図１０（Ａ）では、手のひら側が表示部１９０（画像センサ）の方に向いており、その後の図１０（Ｂ）では、例えば手の親指側が表示部１９０の方に向いている。また、その後の図１０（Ｃ）では、手の甲側が表示部１９０の方に向いている。
【０１３０】
そして図１０（Ａ）から図１０（Ｂ）に変化した時に、赤の面積ＳＲは減少する。従って、このような手の回転により図９（Ｃ）のように赤の面積ＳＲが判定しきい値ＶＴＲよりも小さくなってしまうと、誤判定が生じる。即ち、図１０（Ａ）〜図１０（Ｃ）のように手が回転した場合においても、図９（Ａ）、図９（Ｂ）に示すつかみ動作が行われていると誤判定してしまう。図９（Ｄ）に示すように青の面積ＳＢの増加を検出した場合にも、同様の誤判定が生じる。
【０１３１】
そこで本実施形態では図１１（Ａ）、図１１（Ｂ）に示すように、プレーヤの手がつかみ準備動作を行っていると判断された後に、赤（第１の色）の画像領域ＳＢの面積が第１の判定しきい値ＶＴＲよりも小さくなり、且つ、青（第２の色）の画像領域の面積ＳＢが第２の判定しきい値ＶＴＢ２よりも小さい場合に、プレーヤがつかみ動作を行っていると判定する。このようにすれば図１０（Ａ）〜図１０（Ｃ）のように手が回転した場合と、図９（Ａ）、図９（Ｂ）に示すようにつかみ動作が行われた場合とを、区別して判定することが可能になる。
【０１３２】
即ち図１０（Ａ）〜図１０（Ｃ）のように手が回転した場合には、図１１（Ａ）に示すように赤の面積ＳＲは減少するが、図１１（Ｃ）に示すように、青の面積ＳＢも第２の判定しきい値ＶＴＢ２を超えるようになる。従って、赤の面積ＳＲが減少し、且つ、青の面積ＳＢが第２の判定しきい値ＶＴＢ２を超えないことを検出すれば、図９（Ａ）、図９（Ｂ）のつかみ動作を、誤判定が生じることなく判定することが可能になる。
【０１３３】
なお図１１（Ａ）、図１１（Ｂ）の第１の判定しきい値ＶＴＲ及び第２の判定しきい値ＶＴＢ２についても、図７（Ｃ）の場合と同様に、表示部１９０とプレーヤとの間の距離情報に応じて変化させることが望ましい。即ち、表示部１９０とプレーヤとの距離Ｌが長くなるにつれて、第１の判定しきい値ＶＴＲ及び第２の判定しきい値ＶＴＢ２を小さくする。
【０１３４】
このようにすれば、表示部１９０とプレーヤとの間の距離が変化した場合にも、適切な判定しきい値ＶＴＲ、ＶＴＢ２を用いて、画像領域の面積ＳＲ、ＳＢを判定できるようになり、つかみ動作の判定処理の精度を向上できる。
【０１３５】
なお、認識用部材である手袋の色の設定は図８（Ａ）、図８（Ｂ）のような設定に限定されず、種々の変形実施が可能である。また色自体ではなくて、手袋に描かれた模様等の特定のパターンの画像情報に基づいて、プレーヤのつかみ動作を判定してもよい。また、認識用部材は手袋には限定されない。例えばプレーヤの指に装着した指輪等を認識用部材とし、その指輪等の画像情報に基づいて、プレーヤのつかみ動作を判定してもよい。
【０１３６】
また、手の形状認識処理により、プレーヤがつかみ動作を行っているか否かを判定してもよい。具体的には、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像情報に対する形状認識処理を行うことで、プレーヤがつかみ動作を行っているか否かを判定する。例えば画像認識された手の形状が、図６（Ａ）の形状から図６（Ｂ）の形状に変化した場合に、プレーヤがつかみ動作を行っていると判定する。この場合の形状認識処理としては、公知の様々な画像認識処理を採用できる。
【０１３７】
２．３ つかみ準備動作の判定
さて、プレーヤのつかみ準備動作やつかみ動作としては種々の動作が考えられる。例えば図１２（Ａ）では、プレーヤＰＬは、左腕を伸ばしながら左手ＨＤＬを下から上に上げるつかみ準備動作を行っている。そして、この場合には、図１３（Ａ）に示すように、ゲーム空間内のキャラクタは、例えば相手キャラクタ（ターゲットオブジェクトＴＯＢ）の胸ぐらを左手ＨＬＯＢでつかむ動作を行う。
【０１３８】
一方、図１２（Ｂ）では、プレーヤＰＬは、左腕を伸ばしながら左手ＨＤＬを上から下に下げるつかみ準備動作を行っている。そして、この場合には、図１３（Ｂ）に示すように、ゲーム空間内のキャラクタは、例えば相手キャラクタの頭部を左手ＨＬＯＢでつかむ動作を行う。
【０１３９】
このように、プレーヤＰＬが行うつかみ準備動作としては、複数のつかみ準備動作（第１〜第Ｎのつかみ準備動作）を想定できる。例えば図１２（Ａ）、図１２（Ｂ）に示すような異なる形態のつかみ準備動作である。
【０１４０】
そこで本実施形態では、このような複数のつかみ準備動作のうちのいずれのつかみ準備動作をプレーヤＰＬが行っているかを、画像センサＩＳＥからの画像情報に基づいて判定する。即ち、図１２（Ａ）に示すようなつかみ準備動作が行われたのか、図１２（Ｂ）に示すようなつかみ準備動作が行われたのかを、プレーヤＰＬを撮像する画像センサＩＳＥからの画像情報に基づき判定する。
【０１４１】
このようにすれば、例えば図１２（Ａ）のつかみ準備動作が行われた場合には、このつかみ準備動作に関連づけられたつかみ動作をキャラクタに行わせることで、図１３（Ａ）に示すような画像を生成できるようになる。また図１２（Ｂ）のつかみ準備動作が行われた場合には、このつかみ準備動作に関連づけられたつかみ動作をキャラクタに行わせることで、図１３（Ｂ）に示すような画像を生成できるようになる。
【０１４２】
従って、プレーヤＰＬの動きに応じて、様々なつかみ動作画像が生成されるようになり、生成される画像の多様性を増すことができる。また、プレーヤＰＬの動きに忠実なつかみ動作画像を生成できるため、プレーヤＰＬの仮想現実感を向上できる。
【０１４３】
この場合に本実施形態では、プレーヤＰＬがつかみ準備動作を行っているか否かを、プレーヤＰＬのスケルトン情報に基づいて判定してもよい。例えば、図１２（Ａ）、図１２（Ｂ）で説明したような複数のつかみ準備動作（第１〜第Ｎのつかみ準備動作）のいずれのつかみ準備動作を行っているかを、プレーヤＰＬのスケルトン情報に基づいて判定する。
【０１４４】
即ち本実施形態では図１４に示すように、図２（Ｂ）のデプス情報等の画像情報に基づいて、プレーヤＰＬの動作を特定するためのスケルトン情報を取得する。図１４ではスケルトン情報として、スケルトンの関節Ｃ０〜Ｃ１９の位置情報（３次元座標）が取得されている。これらの関節Ｃ０〜Ｃ１０は、画像センサＩＳＥに映るプレーヤＰＬの関節に対応するものである。なお画像センサＩＳＥにプレーヤＰＬの全身が映らない場合には、映った部分だけの関節の位置情報を有するスケルトン情報を生成すればよい。
【０１４５】
例えば図２（Ｂ）のデプス情報を用いれば、画像センサＩＳＥ側から見たプレーヤＰＬ等の３次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などによりプレーヤＰＬの顔等の部位の領域も特定できる。そこで、これらの３次元形状の情報等に基づいて、プレーヤＰＬの各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の２次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の３次元座標情報を求め、図１４に示すようなスケルトン情報を取得する。
【０１４６】
このようなスケルトン情報を用いれば、プレーヤＰＬのジェスチャ等の動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばモーションデータとして利用して、オブジェクト空間においてキャラクタを動作させることも可能になる。
【０１４７】
そして本実施形態では、プレーヤＰＬのつかみ準備動作を、図１４のスケルトン情報を用いて判断する。
【０１４８】
例えば図１５（Ａ）は、図１２（Ａ）のようなつかみ準備動作を行っているプレーヤＰＬを、画像センサＩＳＥで撮像することで得られたスケルトン情報の例である。一方、図１５（Ｂ）は、図１２（Ｂ）のようなつかみ準備動作を行っているプレーヤＰＬを、画像センサＩＳＥで撮像することで得られたスケルトン情報の例である。
【０１４９】
図１５（Ａ）、図１５（Ｂ）に示すように、スケルトン情報の関節位置Ｃ０〜Ｃ１９の情報を用いることで、プレーヤＰＬが、図１２（Ａ）、図１２（Ｂ）のいずれのつかみ準備動作を行ったのかを判定できる。
【０１５０】
例えば図１２（Ａ）の左手ＨＤＬに対応する図１５（Ａ）の関節Ｃ１１、Ｃ１０の位置の変化を検出することで、左腕を伸ばしながら左手ＨＤＬを下から上に上げる図１２（Ａ）のつかみ準備動作を判別できる。また図１２（Ｂ）の左手ＨＤＬに対応する図１５（Ｂ）の関節Ｃ１１、Ｃ１０の位置の変化を検出することで、左腕を伸ばしながら左手ＨＤＬを上から下に下げる図１２（Ｂ）のつかみ準備動作を判別できる。
【０１５１】
そして図１５（Ａ）に示すようなスケルトン情報が検出された場合には、図１２（Ａ）のつかみ準備動作に対応するつかみ動作の画像として、図１３（Ａ）に示すような画像を生成する。また図１５（Ｂ）に示すようなスケルトン情報が検出された場合には、図１２（Ｂ）のつかみ準備動作に対応するつかみ動作の画像として、図１３（Ｂ）に示すような画像を生成する。
【０１５２】
このように、デプス情報から得られるスケルトン情報を用いて、つかみ準備動作を判定すれば、より正確で適切な判定処理を実現できる。また例えばキャラクタのモーションを再生するために使用されるスケルトン情報を有効活用して、つかみ準備動作の判定処理を実現できるようになる。
【０１５３】
また本実施形態では、図１４に示すように取得されたスケルトン情報を用いて、画像処理の処理領域を設定してもよい。
【０１５４】
例えば図１２（Ａ）、図１２（Ｂ）に示すようなつかみ準備動作が行われたことが、図１５（Ａ）、図１５（Ｂ）に示すスケルトン情報に基づいて判定されたとする。この場合には、つかみ準備動作を行っている手が左手ＨＤＬであることが、スケルトン情報に基づき判別されている。従って、この場合には、図１６（Ａ）、図１６（Ｂ）に示すように、プレーヤＰＬの左手ＨＤＬに対応する関節Ｃ１１、Ｃ１０の位置を含む画像領域を、画像処理の処理領域ＲＰＣに設定する。そして、設定された処理領域ＲＰＣでのデプス情報やカラー画像情報に対して、つかみ動作の判定のための画像処理を行う。
【０１５５】
例えば、図４（Ａ）、図４（Ｂ）に示すつかみ動作を判定する際に、設定された処理領域ＲＰＣでのカラー画像情報やデプス情報に対して画像処理を行う。具体的には、この処理領域ＲＰＣにおいて、図６（Ａ）〜図１１（Ｃ）で説明したような画像領域の面積を求める画像処理を行う。或いは、この処理領域ＲＰＣにおいて、つかみ動作を判定するための手の形状認識処理を行う。
【０１５６】
このようにすれば、全ての領域において画像処理を行う必要がなくなり、画面サイズよりも小さな処理領域ＲＰＣにおいて画像処理を行えば済むようになる。従って、画像処理の処理負荷を軽減でき、少ない処理負荷で、つかみ動作の判定のための画像処理を実行できるようになる。
【０１５７】
２．４ 詳細な処理例
次に本実施形態の詳細な処理例について図１７〜図１９のフローチャートを用いて説明する。図１７は、本実施形態の全体的な処理を示すフローチャートである。
【０１５８】
まず、図２（Ａ）、図２（Ｂ）で説明したように、画像センサからの画像情報を取得する（ステップＳ１）。そして、取得された画像情報に基づいて、図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作をプレーヤが行っているか否かを判定する（ステップＳ２）。
【０１５９】
そして、つかみ準備動作を行っていると判定された場合には（ステップＳ３）、つかみ準備動作を行っている手に対応する画像に対する画像処理を行って、図４（Ａ）、図４（Ｂ）に示すようなつかみ動作をプレーヤが行っているか否かを判定する（ステップＳ４）。そして、つかみ動作を行っていると判定された場合には（ステップＳ５）、図５に示すように、プレーヤに対応するキャラクタがつかみ動作を行う画像を生成する（ステップＳ６）。
【０１６０】
図１８は、プレーヤのスケルトン情報を用いて、プレーヤがつかみ準備動作やつかみ動作を行っているか否かを判定する処理のフローチャートである。
【０１６１】
まず、図２（Ａ）、図２（Ｂ）で説明したように、画像センサによりカラー画像情報、デプス情報等の画像情報を取得する（ステップＳ１１）。次に、取得されたデプス情報等を用いて、図１４で説明したプレーヤのスケルトン情報を求める（ステップＳ１２）。そして、求められたスケルトン情報に基づいて、図１５（Ａ）、図１５（Ｂ）で説明したように、プレーヤがつかみ準備動作を行っているか否かを判定する（ステップＳ１３）。
【０１６２】
そして、つかみ準備動作を行っていると判定された場合には（ステップＳ１４）、図１６（Ａ）、図１６（Ｂ）で説明したように、スケルトン情報に基づき、つかみ準備動作を行っている手の位置を特定し、特定された位置を含む画像領域を、画像処理の処理領域に設定する（ステップＳ１５）。次に、設定された処理領域での画像情報に基づき画像処理を行って、プレーヤがつかみ動作を行っているか否かを判定する（ステップＳ１６）。
【０１６３】
そして、つかみ動作を行っていると判定された場合には（ステップＳ１７）、図５に示すように、プレーヤに対応するキャラクタがつかみ動作を行う画像を生成する（ステップＳ１８）。
【０１６４】
図１９は、画像領域の面積に基づく判定処理のフローチャートである。
【０１６５】
まず、図８（Ａ）〜図９（Ｄ）で説明したように、つかみ準備動作を行っている手の部分に対応する第１の色（例えば赤）の画像領域の面積ＳＲを求める（ステップＳ２１）。また、つかみ準備動作を行っている手の部分に対応する第２の色（例えば青）の画像領域の面積ＳＢを求める（ステップＳ２２）。
【０１６６】
次に、図１１（Ａ）で説明したように、第１の色の画像領域の面積ＳＲと第１の判定しきい値ＶＴＲとの間に、ＳＲ＜ＶＴＲの関係が成り立つか否かを判定する（ステップＳ２３）。そしてＳＲ＜ＶＴＲである場合には、第２の色の画像領域の面積ＳＲと第２の判定しきい値ＶＴＢ２との間に、ＳＢ＜ＶＴＢ２の関係が成り立つか否かを判定する（ステップＳ２４）。そして、ＳＲ＜ＶＴＲ、且つ、ＳＢ＜ＶＴＢ２である場合には、プレーヤがつかみ動作を行っていると判断する（ステップＳ２５）。
【０１６７】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像情報に基づくプレーヤのつかみ準備動作やつかみ動作やつかみ連動動作の判定手法、画像領域の面積に基づく判定手法、スケルトン情報の取得手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【符号の説明】
【０１６８】
ＩＳＥ 画像センサ、ＰＬ プレーヤ、ＳＣ 画面、ＨＤＬ 左手、ＨＤＲ 右手、
ＨＬＯＢ キャラクタの左手、ＴＯＢ ターゲットオブジェクト（相手キャラクタ）、
ＲＰＣ 処理領域、ＥＴＨ 手袋（認識用部材）、
１００ 処理部、１０２ 画像情報取得部、１０４ 情報取得部、
１０５ スケルトン情報取得部、１０６ ゲーム演算部、１０７ つかみ準備動作判定部、
１０９ つかみ動作判定部、１０９ つかみ連動動作判定部、１１０ 攻撃動作判定部、
１１２ オブジェクト空間設定部、１１４ キャラクタ制御部、１１５ 移動処理部、
１１６ モーション処理部、１１８ 仮想カメラ制御部、１２０ 画像生成部、
１３０ 音生成部、１６０ 操作部、１７０ 記憶部、１７１ 画像情報記憶部、
１７２ カラー画像情報記憶部、１７３ デプス情報記憶部、
１７４ スケルトン情報記憶部、１７５ オブジェクトデータ記憶部、
１７６ モーションデータ記憶部、１７７ モデルデータ記憶部、１７９ 描画バッファ、
１８０ 情報記憶媒体、１９０ 表示部、１９２ 音出力部、１９４ 補助記憶装置、
１９６ 通信部
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及び画像生成システム等に関する。
【背景技術】
【０００２】
近年、従来の操作ボタンや方向キーを備えたゲームコントローラに代わって、モーションセンサを内蔵するゲームコントローラを用いてゲーム操作が可能なゲーム装置が人気を博している。このような操作インターフェースを備えるゲーム装置によれば、プレーヤの直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献１に開示される技術がある。
【０００３】
しかしながら、このようなモーションセンサを内蔵するゲームコントローラでは、プレーヤが手を振る動作については検知できるが、プレーヤが物をつかむ動作を検知することは難しい。
【０００４】
また、プレーヤに対応するキャラクタが、相手キャラクタの方に手を伸ばす動作を行った場合に、その手の動作が、単に相手キャラクタに対して手を伸ばしただけなのか、或いは手を伸ばして相手キャラクタをつかむ動作なのかを判定することは容易ではない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−８９６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、プレーヤのつかみ動作を検出してつかみ動作を反映した画像を生成できるプログラム、情報記憶媒体、画像生成システム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定するつかみ準備動作判定部と、つかみ準備動作が行われていると判定された場合には、つかみ準備動作を行っている前記プレーヤの手に対応する画像に対して画像処理を行い、前記画像処理の結果に基づいて、前記プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定するつかみ動作判定部と、前記つかみ動作の判定結果に基づいて画像を生成する画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００８】
本発明の一態様によれば、プレーヤがつかみ準備動作を行っているか否かが、画像センサからの画像情報に基づき判定される。そしてつかみ準備動作が行われていると判定されると、つかみ準備動作を行っている手についての画像に対して画像処理が行われ、この画像処理により、プレーヤがつかみ動作を行っているか否かが判定され、その判定結果に応じた画像が生成される。このように本発明の一態様によれば、プレーヤのつかみ準備動作と、それに続くつかみ動作を、画像センサからの画像情報に基づき判定できる。従って、プレーヤの動きが、生成される画像に直感的に反映されるようになり、これまでにはない画像の生成が可能になる。また、プレーヤの動作がそのまま画像に反映するため、プレーヤの仮想現実感等を向上できる。
【０００９】
また本発明の一態様では、前記つかみ動作判定部は、つかみ準備動作を行っていると判定された前記プレーヤの手の部分に対応する画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００１０】
このようにすれば、プレーヤがつかみ動作を行っているか否かを、つかみ準備動作を行っている手の部分に対応する画像領域の情報を有効利用して判定できるようになる。
【００１１】
また本発明の一態様では、前記つかみ動作判定部は、所与の期間又は所与のタイミングにおける前記画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００１２】
このように所与の期間における画像領域の情報を用いて判定を行えば、例えば画像領域の情報が瞬間的に変化した場合に、それをつかみ動作と誤判定してしまう事態などを防止できる。また所与のタイミングにおける画像領域の情報を用いて判定を行えば、例えば、つかみ動作が成功したか否かをそのタイミングにおいて判定することなどが可能になるため、これまでにないタイプのゲームの提供等が可能になる。
【００１３】
また本発明の一態様では、前記つかみ動作判定部は、前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００１４】
このようにすれば、プレーヤがつかみ動作を行っているか否かを、画像領域の面積を求めるという画像処理で実現できるようになり、簡素な画像処理でつかみ動作の判定処理を実現できる
また本発明の一態様では、前記画像情報取得部は、前記画像情報として、各画素位置にカラー値が設定されたカラー画像情報を取得し、前記つかみ動作判定部は、前記カラー画像情報における前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００１５】
このようにすれば、画像センサにより得られたカラー画像情報を利用した画像処理により、プレーヤのつかみ動作の判定処理を実現できる。
【００１６】
また本発明の一態様では、前記画像情報取得部は、前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、前記つかみ動作判定部は、前記デプス情報における前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００１７】
このようにすれば、画像センサにより得られたデプス情報を利用した画像処理により、プレーヤのつかみ動作の判定処理を実現できる。
【００１８】
また本発明の一態様では、前記つかみ動作判定部は、前記画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させてもよい。
【００１９】
このようにすれば、表示部とプレーヤとの間の距離が変化した場合にも、精度の良いつかみ動作の判定処理を実現できる。
【００２０】
また本発明の一態様では、前記つかみ動作判定部は、前記プレーヤが手に装着する認識用部材の画像情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００２１】
このようにすれば、認識部材の画像情報を用いてプレーヤのつかみ動作の判定処理を実現できるため、プレーヤの手の画像だけを用いる手法に比べて、判定処理の精度等を向上できる。
【００２２】
また本発明の一態様では、前記認識用部材は、手のひら側が第１の色に設定され、前記つかみ動作判定部は、前記プレーヤがつかみ準備動作を行っていると判断された後に、前記第１の色の画像領域の面積が減少した場合に、前記プレーヤがつかみ動作を行っていると判定してもよい。
【００２３】
このようにすれば、プレーヤがつかみ準備動作を行っていると判断された後に、第１の色の画像領域の面積の減少を検出するという簡素な処理で、プレーヤのつかみ動作の判定処理を実現できるようになる。
【００２４】
また本発明の一態様では、前記認識用部材は、手の甲側が第２の色に設定され、前記つかみ動作判定部は、前記プレーヤがつかみ準備動作を行っていると判断された後に、前記第１の色の画像領域の面積が第１の判定しきい値よりも小さくなり、且つ、前記第２の色の画像領域の面積が第２の判定しきい値よりも小さい場合に、前記プレーヤがつかみ動作を行っていると判定してもよい。
【００２５】
このようにすれば、例えば単に手が回転した場合と手がつかみ動作を行った場合とを判別することが可能になり、つかみ動作の判定精度等を向上できる。
【００２６】
また本発明の一態様では、前記つかみ動作判定部は、前記第１の判定しきい値及び前記第２の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させてもよい。
【００２７】
このようにすれば、表示部とプレーヤとの間の距離が変化した場合にも、精度の良いつかみ動作の判定処理を実現できる。
【００２８】
また本発明の一態様では、前記つかみ動作判定部は、つかみ準備動作を行っていると判定された前記プレーヤの手の部分の画像情報に対する形状認識処理により、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００２９】
このようにすれば、例えばプレーヤの手のひらが開いている状態から閉じた状態になることを形状認識処理により検出することで、プレーヤのつかみ動作の判定処理を実現できるようになる。
【００３０】
また本発明の一態様では、前記つかみ準備動作判定部は、前記プレーヤが複数の第１〜第Ｎのつかみ準備動作（Ｍは２以上の整数）のうちのいずれのつかみ準備動作を行っているかを、前記画像センサからの前記画像情報に基づいて判定してもよい。
【００３１】
このようにすれば、第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行ったかを判定して、その後に続くつかみ動作の判定や、その判定結果による画像を生成できるため、多様なつかみ動作画像の生成が可能になる。
【００３２】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部を含み（情報取得部としてコンピュータを機能させ）、前記つかみ準備動作判定部は、前記プレーヤの前記スケルトン情報に基づいて、前記プレーヤが前記第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを判定してもよい。
【００３３】
このようにすれば、スケルトン情報を有効活用して、第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作をプレーヤが行ったのかを判定できるようになる。
【００３４】
また本発明の一態様では、前記つかみ準備動作判定部は、前記プレーヤが前記第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを、前記スケルトン情報の関節位置情報に基づいて判定してもよい。
【００３５】
このようにすれば、プレーヤが第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行ったのかを、スケルトン情報の関節位置情報の変化等を検出することで判定できるようになる。
【００３６】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部を含み（情報取得部としてコンピュータを機能させ）、前記つかみ準備動作判定部は、前記プレーヤの前記スケルトン情報に基づいて、前記プレーヤがつかみ準備動作を行っているか否かを判定してもよい。
【００３７】
このようにすれば、スケルトン情報を有効活用して、プレーヤのつかみ準備動作の判定処理を実現できるようになる。
【００３８】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、つかみ動作を判定するための前記画像処理の処理領域を設定する情報取得部を含んでもよい（情報取得部としてコンピュータを機能させてもよい）。
【００３９】
このようにすれば、設定された処理領域において画像処理を行えば済むようになるため、画像処理の処理負荷を軽減でき、少ない処理負荷でつかみ動作の判定処理を実現できるようになる。
【００４０】
また本発明の一態様では、前記プレーヤに対応するキャラクタの制御を行うキャラクタ制御部を含み（キャラクタ制御部としてコンピュータを機能させ）、前記画像生成部は、前記プレーヤがつかみ動作を行っていると判定された場合には、前記キャラクタがつかみ動作を行う画像を生成してもよい。
【００４１】
このようにすれば、プレーヤがつかみ動作を行うと、それに対応してゲーム空間内のキャラクタもつかみ動作を行うようになるため、プレーヤの仮想現実感を向上できる。
【図面の簡単な説明】
【００４２】
【図１】本実施形態の画像生成システムの構成例。
【図２】図２（Ａ）、図２（Ｂ）は画像センサを用いたカラー画像情報、デプス情報の取得手法の説明図。
【図３】図３（Ａ）、図３（Ｂ）はプレーヤのつかみ準備動作を判定する手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）はプレーヤのつかみ動作を判定する手法の説明図。
【図５】本実施形態により生成される画像の例。
【図６】図６（Ａ）〜図６（Ｃ）は手の部分の画像領域の面積に基づきつかみ動作を判定する手法の説明図。
【図７】図７（Ａ）〜図７（Ｃ）は判定しきい値を距離に応じて変化させる手法の説明図。
【図８】図８（Ａ）、図８（Ｂ）は認識用部材である手袋の説明図。
【図９】図９（Ａ）〜図９（Ｄ）は認識用部材を用いた判定手法の説明図。
【図１０】図１０（Ａ）〜図１０（Ｃ）は認識用部材を用いた判定における問題点についての説明図。
【図１１】図１１（Ａ）〜図１１（Ｃ）は認識用部材を用いた判定手法の説明図。
【図１２】図１２（Ａ）、図１２（Ｂ）は複数のつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを判定する手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）は本実施形態により生成される画像の例。
【図１４】デプス情報に基づいてプレーヤのスケルトン情報を求める手法の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）はプレーヤのスケルトン情報を用いてつかみ準備動作を判定する手法の説明図。
【図１６】図１６（Ａ）、図１６（Ｂ）はプレーヤのスケルトン情報を用いて画像処理の処理領域を設定する手法の説明図。
【図１７】本実施形態の処理を説明するフローチャート。
【図１８】本実施形態の処理を説明するフローチャート。
【図１９】本実施形態の処理を説明するフローチャート。
【発明を実施するための形態】
【００４３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４４】
１．構成
図１に本実施形態の画像生成システム（ゲーム装置）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４５】
操作部１６０は、プレーヤが操作データを入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
【００４６】
また操作部１６０は、例えばカラー画像センサやデプスセンサなどにより実現される画像センサを含む。なお操作部１６０の機能を画像センサだけで実現してもよい。
【００４７】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００４８】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００４９】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００５０】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００５１】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００５２】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００５３】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００５４】
処理部１００は、画像情報取得部１０２、情報取得部１０４、ゲーム演算部１０６、つかみ準備動作判定部１０７、つかみ動作判定部１０８、つかみ連動動作判定部１０９、攻撃演算部１１０、オブジェクト空間設定部１１２、キャラクタ制御部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。また情報取得部１０４はスケルトン情報取得部１０５を含み、キャラクタ制御部１１４は移動処理部１１５、モーション処理部１１６を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５５】
画像情報取得部１０２は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部１７０の画像情報記憶部１７１に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部１７２に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部１７３に保存される。画像情報取得部１０２は、これらの画像情報を画像情報記憶部１７１から読み出すことで画像情報を取得する。
【００５６】
情報取得部１０４は、画像情報取得部１０２が取得した画像情報に基づいて、スケルトン情報を取得する。そして、取得されたスケルトン情報に基づいて、プレーヤの動作を特定する。またスケルトン情報に基づいて、例えば画像処理の処理領域などを設定する。
【００５７】
ゲーム演算部１０６はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００５８】
つかみ準備動作判定部１０７、つかみ動作判定部１０８、つかみ連動動作判定部１０９は、各々、つかみ準備動作、つかみ動作、つかみ連動動作の判定処理を行う。攻撃演算部１１０は、プレーヤに対応するキャラクタの攻撃演算処理を行う。これらの詳細については後述する。
【００５９】
オブジェクト空間設定部１１２は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７５には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００６０】
キャラクタ制御部１１４は、オブジェクト空間を移動（動作）するキャラクタの制御を行う。例えばキャラクタ制御部１１４が含む移動処理部１１５は、キャラクタ（モデルオブジェクト、移動オブジェクト）を移動させる処理を行う。例えば操作部１６０によりプレーヤが入力した操作情報や、プログラム（移動アルゴリズム）や、各種データなどに基づいて、キャラクタをオブジェクト空間内で移動させる。具体的には、キャラクタの移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動処理やモーション処理や画像生成処理を行う時間の単位である。
【００６１】
キャラクタ制御部１１４が含むモーション処理部１１６は、キャラクタにモーション（アニメーション）を行わせるモーション処理（モーション再生、モーション生成）を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部１７６に記憶されているモーションデータに基づいて再生することなどで実現できる。
【００６２】
具体的にはモーションデータ記憶部１７６には、キャラクタ（モデルオブジェクト）のスケルトンを構成する各骨（キャラクタを構成する各パーツオブジェクト）の位置又は回転角度（親の骨に対する子の骨の３軸周りの回転角度）等を含むモーションデータが記憶されている。またモデルデータ記憶部１７７は、キャラクタを表すモデルオブジェクトのモデルデータを記憶する。モーション処理部１１６は、このモーションデータをモーションデータ記憶部１７６から読み出し、読み出されたモーションデータに基づいてスケルトンを構成する各骨（パーツオブジェクト）を動かすことで（スケルトン形状を変形させることで）、キャラクタのモーションを再生する。
【００６３】
仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００６４】
例えば仮想カメラによりキャラクタを後方から撮影する場合には、キャラクタの位置又は回転の変化に仮想カメラが追従するように、仮想カメラの位置又は回転角度（仮想カメラの向き）を制御する。この場合には、移動処理部１１５で得られたキャラクタの位置、回転角度又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は回転角度を特定するための仮想カメラデータに基づいて仮想カメラを制御する。
【００６５】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７９（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。
【００６６】
なお、画像生成部１２０が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラと右目用仮想カメラを配置設定する。そして画像生成部１２０が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。
【００６７】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００６８】
そして本実施形態では、画像情報取得部１０２が画像センサからの画像情報を取得すると、つかみ準備動作判定部１０７は、取得された画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定する。ここで、つかみ準備動作は、プレーヤの手がつかむ動作を行う前に行われる一連の動作であり、つかみ動作の前提となる動作である。具体的には、相手キャラクタやアイテムなどを手でつかむために、プレーヤが腕を伸ばしたり、曲げたり、或いは手首を曲げたりするなどの準備動作である。
【００６９】
そしてつかみ準備動作判定部１０７により、つかみ準備動作が行われていると判定されると、つかみ動作判定部１０８は、つかみ準備動作を行っているプレーヤの手に対応する画像に対して画像処理を行う。そして画像処理の結果に基づいて、プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定する。
【００７０】
例えば、プレーヤの左手（左腕）がつかみ準備動作（例えば左腕を伸ばしたり曲げる動作）を行っていると判定された場合には、左手に対応する画像（例えば左手を内包する画像領域の画像）に対して画像処理を行う。またプレーヤの右手（右腕）がつかみ準備動作（例えば右腕を伸ばしたり曲げる動作）を行っていると判定された場合には、右手に対応する画像（例えば右手を内包する画像領域の画像）に対して画像処理を行う。そして画像処理の結果に基づいて、プレーヤの左手や右手がつかみ動作を行っているか否かを判定する。すると画像生成部１２０は、つかみ動作の判定結果に基づいて画像を生成する。例えばつかみ動作を行っていると判定された場合には、プレーヤに対応するキャラクタ（キャラクタの手）がつかみ動作を行う画像を生成する。
【００７１】
またつかみ動作判定部１０８は、つかみ準備動作を行っていると判定されたプレーヤの手の部分に対応する画像領域の情報に基づいて、プレーヤがつかみ動作を行っているか否かを判定する。具体的には、当該画像領域の面積に基づいて、つかみ動作を行っているか否かを判定する。例えばプレーヤの左手がつかみ準備動作を行っていると判定された場合には、左手の画像が占める画像領域の面積を求めて、左手がつかみ動作を行っているか否かを判定する。またプレーヤの右手がつかみ準備動作を行っていると判定された場合には、右手の画像が占める画像領域の面積を求めて、右手がつかみ動作を行っているか否かを判定する。
【００７２】
そして画像情報取得部１０２が、画像情報としてカラー画像情報を取得した場合に、つかみ動作判定部１０８は、カラー画像情報における画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定する。例えば手の色（肌色等）の画像領域の面積を求めて、プレーヤがつかみ動作を行っているか否かを判定する。ここでカラー画像情報は、例えば各画素位置にカラー値が設定された画像情報である。また画像情報取得部１０２が、画像情報としてデプス情報を取得した場合に、つかみ動作判定部１０８は、デプス情報における画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定してもよい。例えば手のデプス値に対応する画像領域の面積を求めて、プレーヤがつかみ動作を行っているか否かを判定する。ここでデプス情報は、各画素位置にデプス値が設定された画像情報である。
【００７３】
また、つかみ動作判定部１０８は、画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部１９０とプレーヤとの距離情報に応じて変化させてもよい。例えば表示部１９０とプレーヤとの距離が近いと判断された場合には、画像領域の面積を判定する際の判定しきい値を大きな値にする。一方、表示部１９０とプレーヤとの距離が遠いと判断された場合には、画像領域の面積を判定する際の判定しきい値を小さな値にする。このようにすることで、表示部１９０とプレーヤとの距離に応じた適切な値に、判定しきい値を設定できる。なお、表示部１９０とプレーヤとの距離情報は、表示部１９０とプレーヤとの距離そのものであってもよいし、その距離と同等な情報であってもよい。例えば、プレーヤの代表位置やプレーヤの手の位置でのデプス値を、表示部１９０とプレーヤとの距離情報として、判定しきい値を変化させてもよい。
【００７４】
なお、つかみ動作を判定する際に使用される画像領域の情報は、画像領域の面積には限定されず、面積以外の画像領域の情報に基づいて、つかみ動作を行っているか否かを判定してもよい。例えば画像領域でのカラー画像情報自体やデプス情報自体に基づいて、つかみ動作を判定してもよい。
【００７５】
また、つかみ動作の判定の際には、所与の期間における画像領域の情報に基づいてつかみ動作を判定することが望ましい。例えばつかみ準備動作を行っていると判定されてから、複数フレーム分の画像領域の情報を用いて、つかみ動作を行っているか否かを判定する。即ち、画像領域の面積等の情報が瞬間的に変化した場合には、この瞬間的に変化した情報については判定処理の対象にはせずに、所与の期間だけ維持された画像領域の情報を判定処理の対象にする。このようにすれば、ノイズ等により画像領域の情報が瞬間的に変化した場合に、プレーヤがつかみ動作を行っていないのにつかみ動作を行っていると誤判定してしまう事態を防止できるようになる。
【００７６】
また、つかみ動作の判定の際には、所与のタイミングにおける画像領域の情報に基づいてつかみ動作を判定することが望ましい。例えば、つかみ動作を行うべきタイミングを、画像や音などを用いてプレーヤに対して指示し、その指示タイミング（所与のタイミング）における画像領域の情報に基づいて、つかみ動作の判定を行う。そして、その指示タイミングでの画像領域の情報から、その指示タイミングでプレーヤがつかみ動作を行うことに成功したと判定された場合には、プレーヤに対して得点等を付与する。このようにすることで、音楽ゲーム、アクションゲーム、スポーツゲーム等の分野において、これまでにないタイプのゲームを提供することが可能になる。
【００７７】
また、つかみ動作判定部１０８は、プレーヤが手に装着する認識用部材の画像情報に基づいて、プレーヤがつかみ動作を行っているか否かを判定してもよい。例えば認識用部材として、後述するような手袋等をプレーヤに装着させる。そして、手袋等の認識用部材のカラー画像情報等に基づいて、プレーヤがつかみ動作を行っているか否かを判定する。
【００７８】
具体的には、認識用部材の手のひら側を第１の色に設定する。そしてつかみ動作判定部１０８は、プレーヤがつかみ準備動作を行っていると判断された後に、第１の色の画像領域の面積が減少した場合に、プレーヤがつかみ動作を行っていると判定する。例えばカラー画像情報から、第１の色の画素を抽出し、その画素数等から第１の色の画像領域の面積を求める。そしてこの面積が所定の判定しきい値よりも小さくなった場合に、プレーヤがつかみ動作を行っていると判定する。
【００７９】
また認識用部材の手の甲側を第２の色に設定してもよい。この場合にはつかみ動作判定部１０８は、プレーヤがつかみ準備動作を行っていると判断された後に、第１の色の画像領域の面積が第１の判定しきい値よりも小さくなり、且つ、第２の色の画像領域の面積が第２の判定しきい値よりも小さい場合に、プレーヤがつかみ動作を行っていると判定すればよい。
【００８０】
この場合に、つかみ動作判定部１０８は、第１の判定しきい値及び第２の判定しきい値を、表示部１９０とプレーヤとの間の距離情報に応じて変化させてもよい。例えば、表示部１９０とプレーヤとの距離が近いと判断された場合には、第１、第２の判定しきい値を大きな値にする。一方、表示部１９０とプレーヤとの距離が遠いと判断された場合には、第１、第２の判定しきい値を小さな値にする。このようにすることで、表示部１９０とプレーヤとの距離に応じた適切な値に、第１、第２の判定しきい値を設定できる。
【００８１】
なお、つかみ動作判定部１０８は、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像情報に対する形状認識処理により、プレーヤがつかみ動作を行っているか否かを判定してもよい。例えば左手がつかみ準備動作を行っていると判定された場合には、つかみ動作判定部１０８は、左手に対応する画像情報に対して形状認識処理を行う。そして形状認識処理により、左手の手のひらが開いた状態（パーの状態）から閉じた状態（グーの状態）に変化したと判断された場合には、左手のつかみ動作が行われたと判定する。また右手がつかみ準備動作を行っていると判定された場合には、つかみ動作判定部１０８は、右手に対応する画像情報に対して形状認識処理を行う。そして形状認識処理により、右手の手のひらが開いた状態から閉じた状態に変化したと判断された場合には、右手のつかみ動作が行われたと判定する。この場合の形状認識処理は、手のひらが開いた状態や閉じた状態での手の形状を表すテンプレート画像を用意し、このテンプレート画像とのマッチング処理を行うことなどで実現できる。
【００８２】
また、つかみ準備動作判定部１０７は、プレーヤが複数の第１〜第Ｎのつかみ準備動作（Ｍは２以上の整数）のうちのいずれのつかみ準備動作を行っているかを、画像センサからの画像情報に基づいて判定してもよい。例えば腕を下方向から伸ばして相手キャラクタの胸ぐらをつかむためのつかみ準備動作を行っているのか、或いは腕を上方向から伸ばして相手キャラクタの頭部をつかむためのつかみ準備動作を行っているのかを、画像センサからの画像情報に基づいて判定する。
【００８３】
また情報取得部１０４は、画像センサからの画像情報に基づいて、画像センサから見えるプレーヤの動作を特定するスケルトン情報を取得する。この取得されたスケルトン情報はスケルトン情報記憶部１７４に保存される。
【００８４】
ここでスケルトン情報は、例えば画像センサから見えるプレーヤの動作を特定する情報である。具体的には、このスケルトン情報は、プレーヤの複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は３次元座標情報により構成される。各関節を結合するものが骨（ボーン）となり、複数の骨の結合によりスケルトンが構成される。
【００８５】
そして、つかみ準備動作判定部１０７は、プレーヤのスケルトン情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定する。また、スケルトン情報に基づいてプレーヤが第１〜第Ｎのつかみ準備動作のいずれのつかみ準備動作を行っているかを判定する。具体的には、プレーヤが第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを、スケルトン情報の関節位置情報に基づいて判定する。例えば第１〜第Ｎのつかみ準備動作でのスケルトン情報を表すテンプレートとなる第１〜第Ｎの基準スケルトン情報を用意する。そして、画像情報により検出されたプレーヤのスケルトン情報と、第１〜第Ｎの基準スケルトン情報とのマッチング処理を行う。そしてマッチング処理の評価関数の結果を用いて、プレーヤが第１〜第Ｎのつかみ準備動作のいずれのつかみ準備動作を行っているのかを判定する。この場合のマッチング処理は例えば複数フレームに亘って行ってもよい。
【００８６】
また、情報取得部１０４は、このようなスケルトン情報が取得されると、このスケルトン情報に基づいて、つかみ動作を判定するための画像処理の処理領域を設定する。例えばプレーヤの左手がつかみ準備動作を行っていると判定された場合には、情報取得部１０４は、スケルトン情報に基づいて左手の位置を特定し、特定された位置を含む所定サイズの領域（画面よりも小さな領域）を処理領域に設定する。そしてつかみ動作判定部１０８は、設定された処理領域の画像情報（カラー画像情報、デプス情報）に対して画像処理を行って、左手がつかみ動作を行っているか否かを判定する。またプレーヤの右手がつかみ準備動作を行っていると判定された場合には、情報取得部１０４は、スケルトン情報に基づいて右手の位置を特定し、特定された位置を含む所定サイズの領域を処理領域に設定する。そしてつかみ動作判定部１０８は、設定された処理領域の画像情報に対して画像処理を行って、右手がつかみ動作を行っているか否かを判定する。
【００８７】
またキャラクタ制御部１１４は、プレーヤに対応するキャラクタの制御を行う。ここでキャラクタは、三人称視点の場合には実際に表示されるオブジェクトになるが、一人称視点の場合には、表示部１９０に表示されない仮想的なオブジェクトになる。
【００８８】
そして画像生成部１２０は、プレーヤがつかみ動作を行っていると判定された場合には、キャラクタがつかみ動作を行う画像を生成する。例えば、キャラクタがつかみ準備動作を行い、その後につかみ動作を行う画像を生成する。この場合のキャラクタの一連の動作は、画像センサからの画像情報により取得されたプレーヤのスケルトン情報を用いてモーション再生することで実現してもよい。
【００８９】
また本実施形態では、つかみ連動動作判定部１０９が、プレーヤが、つかみ動作に続くつかみ連動動作を行ったか否かを判定する。例えばつかみ動作判定部１０８は、画像センサからの画像情報に基づいて、プレーヤの右手、左手の一方の手がつかみ動作を行っているか否かを判定する。そして、つかみ連動動作判定部１０９は、一方の手がつかみ動作を行っていると判定された場合には、画像情報に基づいて、一方の手とは異なる他方の手が、つかみ動作に続くつかみ連動動作を行っているか否かを判定する。例えばプレーヤの一方の手である左手がつかみ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手である右手がつかみ連動動作を行っているか否かを判定する。またプレーヤの一方の手である右手がつかみ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手である左手がつかみ連動動作を行っているか否かを判定する。
【００９０】
そして画像生成部１２０は、つかみ動作及びつかみ連動動作の判定結果に基づいて画像を生成する。例えばプレーヤに対応するキャラクタがつかみ動作を行った後、それに続くつかみ連動動作を行う画像を生成する。
【００９１】
ここで、つかみ連動動作（つかみ連携動作）は、つかみ動作の後に、そのつかみ動作に連動（連携）して行われる動作である。例えば、つかみ動作に続いて行われることが予定されている動作であり、つかみ動作に連動（連携）して行われることが予め関連づけられている動作である。このつかみ連動動作としては、例えば攻撃動作（殴る動作、投げる動作等）、撫でる動作、叩く動作、調べる動作、持つ動作、或いは他方の手で更につかむ動作（両手でつかむ動作）などがある。
【００９２】
また、つかみ連動動作判定部１０９は、他方の手が複数の第１〜第Ｍのつかみ連動動作（Ｍは２以上の整数）のうちのいずれのつかみ連動動作を行っているかを、画像センサからの画像情報に基づいて判定する。ここで、第１〜第Ｍのつかみ連動動作は、上述した攻撃動作、撫でる動作、叩く動作、調べる動作、持つ動作、他方の手で更につかむ動作などである。例えばプレーヤの一方の手（例えば左手）が相手キャラクタ等をつかむ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手（例えば右手）が、これらの攻撃動作、撫でる動作、叩く動作等である第１〜第Ｍのつかみ連動動作のいずれのつかみ連動動作を行っているかを判定する。具体的には、画像センサからの画像情報に基づいてつかみ連動動作を判定する。そして、第１〜第Ｍのつかみ連動動作のうちの第Ｋのつかみ連動動作（１≦Ｋ≦Ｍ）を行っていると判定された場合には、画像生成部１２０は、プレーヤに対応するキャラクタが、一方の手によるつかみ動作の後に、他方の手による第Ｋのつかみ連動動作を行っている画像を生成する。
【００９３】
この場合に、つかみ連動動作判定部１０９は、他方の手の部分に対応する画像領域の面積に基づいて、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。例えば、他方の手の部分に対応するカラー画像情報における画像領域の面積、或いは他方の手の部分に対応するデプス情報における画像領域の面積に基づいて、他方の手（他方の腕）が、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。この場合に画像領域の面積を判定する際の判定しきい値を、他方の手の部分でのデプス値に基づいて変化させてもよい。
【００９４】
またつかみ連動動作判定部１０９は、他方の手の部分の画像情報に対する形状認識処理により、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。或いは他方の手の部分の画像情報における動きベクトル情報に基づいて、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。また他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを、スケルトン情報に基づいて判定してもよい。具体的にはスケルトン情報の関節位置情報に基づいて判定する。
【００９５】
またつかみ連動動作判定部１０９は、画像センサからの画像情報に基づいて、他方の手がつかみ連動動作として攻撃動作を行っているか否かを判定する。この場合に攻撃演算部１１０は、画像センサからの画像情報に基づいて、他方の手による攻撃動作の攻撃演算用パラメータ（攻撃力や、相手キャラクタの硬直時間等のパラメータ）を設定する。そして攻撃演算用パラメータに基づいて攻撃演算処理を行う。
【００９６】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【００９７】
２．１ つかみ動作の判定
一般的に、ゲーム装置では、ゲームコントローラのボタンやレバーを操作してゲーム操作を行う。またゲームコントローラにモーションセンサ（６軸センサ）を設け、プレーヤがゲームコントローラそのものを動かすことでゲーム操作を行うゲーム装置もある。
【００９８】
しかしながら、このような操作インターフェースのゲーム装置では、ゲーム操作にゲームコントローラが必要になり、プレーヤの手の動きなどのジェスチャをそのまま反映させるようなゲーム操作については実現できず、プレーヤの仮想現実感を今ひとつ向上できない。
【００９９】
そこで本実施形態では、画像センサで撮像された画像情報に基づきプレーヤの操作入力を可能にする操作インターフェースを採用している。
【０１００】
例えば図２（Ａ）では、表示部１９０に対応する位置に、デプスセンサ（赤外線センサ等）やカラー画像センサ（ＣＣＤやＣＭＯＳセンサなどのＲＧＢセンサ）により実現される画像センサＩＳＥが設置されている。この画像センサＩＳＥは、例えばその撮像方向（光軸方向）が表示部１９０からプレーヤＰＬの方に向く方向になるように設置されており、表示部１９０側から見たプレーヤＰＬのカラー画像情報やデプス情報を撮像する。なお画像センサＩＳＥは、表示部１９０に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。
【０１０１】
そして図２（Ａ）の画像センサＩＳＥを用いて、図２（Ｂ）に示すようなカラー画像情報とデプス情報を取得する。例えばカラー画像情報では、プレーヤＰＬやその周りの風景の色情報が得られる。一方、デプス情報では、プレーヤＰＬやその周りの風景のデプス値（奥行き値）が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置にカラー値（ＲＧＢ）が設定された画像情報であり、デプス情報は、その各画素位置にデプス値（奥行き値）が設定された画像情報である。なお、画像センサＩＳＥは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。
【０１０２】
デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサＩＳＥ（デプスセンサ）から赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間（Time Of Flight）を検出することで、デプス情報を取得し、画像センサＩＳＥの位置から見たプレーヤＰＬなどの物体のシェイプを検出する。具体的には、デプス情報は、例えば画像センサＩＳＥから近い物体では明るくなり、画像センサＩＳＥから遠い物体では暗くなるグレースケールデータとして表される。なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばＣＭＯＳセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報（被写体までの距離情報）を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。
【０１０３】
そして本実施形態では、画像センサＩＳＥからの画像情報に基づきプレーヤＰＬがつかみ準備動作を行っていると判定された場合に、つかみ準備動作を行っている手に対応する画像に対して画像処理行い、つかみ準備動作に続くつかみ動作を行っているか否かを判定する。
【０１０４】
例えば図３（Ａ）、図３（Ｂ）では、プレーヤＰＬは、つかみ動作を行うために、左手ＨＤＬを徐々に上げるつかみ準備動作を行っている。この場合に本実施形態では、画像センサＩＳＥにより図２（Ｂ）に示すようなカラー画像情報やデプス情報などの画像情報を取得する。そして、取得された画像情報に基づいて、プレーヤＰＬが、つかみ動作のためのつかみ準備動作を行っているか否かを判定する。
【０１０５】
例えば図２（Ｂ）に示すようなカラー画像情報やデプス情報に基づいて、プレーヤＰＬの動作を検知して、つかみ準備動作を行っているか否かを判定する。具体的には、後述するように図２（Ｂ）のデプス情報に基づいてプレーヤＰＬのスケルトン情報を検出し、スケルトン情報での関節の動きを解析して、プレーヤＰＬがつかみ準備動作を行っているか否かを判定する。例えばプレーヤＰＬが行うと考えられる複数の第１〜第Ｎのつかみ準備動作に対応する、テンプレートとなる第１〜第Ｎの基準スケルトン情報を用意する。そして、デプス情報により求められたプレーヤＰＬのスケルトン情報と、これらの第１〜第Ｎの基準スケルトン情報とのマッチング処理を行う。そして例えば第１〜第Ｎの基準スケルトン情報のうちの第Ｌの基準スケルトン情報（１≦Ｌ≦Ｎ）と、プレーヤＰＬのスケルトン情報とのマッチングの評価関数の値が、所定値以下になった場合に、マッチングしたと判定する。そして、第Ｌの基準スケルトン情報に対応する第Ｌのつかみ準備動作をプレーヤＰＬが行っていると判定する。
【０１０６】
なお、画像情報に基づくつかみ準備動作の判定手法は、このようなスケルトン情報を用いた手法には限定されず、公知の種々の動作判定手法を採用できる。例えばカラー画像情報やデプス情報そのものを用いて、マッチング処理を行って、プレーヤＰＬがつかみ準備動作を行っているか否かを判定してもよい。或いは、例えばスケルトン情報での手首や肘などの関節位置の情報の変化だけを監視して、プレーヤＰＬがつかみ準備動作を行っているか否かを判定してもよい。
【０１０７】
そして、プレーヤＰＬが図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作を行っていると判定された場合には、つかみ準備動作を行っている手の付近の画像に対して画像処理を行う。例えば手の付近の画像領域でのカラー画像情報やデプス情報に対して画像処理を行い、その画像処理の結果に基づいて、プレーヤがつかみ準備動作に続いてつかみ動作を行っているか否かを判定する。
【０１０８】
例えば図４（Ａ）、図４（Ｂ）に、画像センサＩＳＥにより撮像されたカラー画像情報（デプス情報）の例を示す。図４（Ａ）では、プレーヤＰＬの左手ＨＤＬの手のひらが開いた状態（パーの状態）になっている。一方、図４（Ｂ）では、左手ＨＤＬの手のひらが閉じた状態（グーの状態）になっている。このように、手のひらが開いた状態から閉じた状態に変化した場合には、プレーヤＰＬがつかみ準備動作に続いてつかみ動作を行っていると判定する。
【０１０９】
そして、このようにつかみ動作が行われたと判定されると、例えば図５に示すような画像を生成して表示部１９０に表示する。図５では、プレーヤＰＬに対応するキャラクタの手ＨＬＯＢ（手のオブジェクト）が、相手キャラクタ（ターゲットオブジェクトＴＯＢ）の肩をつかんでいる画像が生成されている。即ち、本実施形態では、プレーヤＰＬの操作により、オブジェクト空間（ゲーム空間）において、プレーヤＰＬに対応するキャラクタを動作させる。この場合のプレーヤＰＬの操作は、例えばプレーヤＰＬの動作を画像センサＩＳＥにより検出することなどにより実現される。そして、プレーヤＰＬが図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作を行った後、図４（Ａ）、図４（Ｂ）に示すようなつかみ動作を行うと、図５に示すような画像が生成される。
【０１１０】
なお、図５は、一人称視点の画像の例であるが、三人称視点の画像を生成してもよい。三人称視点の画像では、キャラクタの全身（或いは少なくともキャラクタの頭部）が表示されるのに対して、一人称視点の画像では、キャラクタの全身（頭部）は表示されず、例えば図５に示すようにキャラクタの手などの部位の一部だけが表示される。
【０１１１】
以上の本実施形態の手法によれば、プレーヤのつかみ準備動作と、それに続くつかみ動作を、画像センサからの画像情報に基づいて判定できる。従って、ゲームコントローラを用いたゲーム操作によっては検出することが難しいプレーヤのつかみ動作を検知して、プレーヤがつかみ動作を行ったか否かを判定できるようになる。従って、プレーヤに対応するキャラクタがゲーム空間（オブジェクト空間）内を移動して、相手キャラクタやアイテム等をつかむことでゲームが進行するようなゲームを実現できる。また、プレーヤは、現実世界と同様なつかみ動作を行うことで、自身に対応するキャラクタもつかみ動作を行うようになる。従って、プレーヤの動きがゲーム画像に直感的に反映されるようになり、これまでにはないゲーム画像の生成が可能になる。また、プレーヤの動作がそのままゲーム画像に反映するため、プレーヤの仮想現実感を向上できる。
【０１１２】
また本実施形態では、プレーヤがつかみ準備動作を行ったと判定された場合に、つかみ準備動作を行っているプレーヤの手の画像に対して画像処理が行われて、プレーヤがつかみ動作を行っているか否かが判定される。従って、プレーヤのつかみ動作を、適切且つ確実に検出することが可能になる。
【０１１３】
即ち、図４（Ａ）、図４（Ｂ）に示すように、プレーヤの手のひらが開いた状態から閉じた状態に変化したことだけを検知して、つかみ動作を判定してしまうと、つかみ動作ではない動作を誤ってつかみ動作と判定してしまうおそれがある。また、プレーヤの手のひらが開いた状態から閉じた状態に変化したことを検出するつかみ動作検出用の画像処理を、例えば画面全体の画像に対して行わなければならなくなり、処理負荷も増加してしまう。特に、このようなつかみ動作検出用の画像処理を、全てのフレームにおいて実行すると、処理負荷が過大になってしまう。
【０１１４】
この点、本実施形態では、図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作が行われたと判定されたことを条件に、図４（Ａ）、図４（Ｂ）で説明したつかみ動作検出用の画像処理が実行される。従って、例えば全てのフレームにおいてつかみ動作検出用の画像処理を実行する必要はなくなるため、処理負荷を軽減できる。また、つかみ動作の判定の前に、つかみ準備動作を判定すれば、つかみ動作検出用の画像処理を行う範囲を限定することが可能になる。例えば左手がつかみ準備動作を行っていると判定された場合には、左手に対応する画像領域の画像に対してだけ、つかみ動作検出用の画像処理を行えば済むようになる。また右手がつかみ準備動作を行っていると判定された場合には、右手に対応する画像領域の画像に対してだけ、つかみ動作検出用の画像処理を行えば済むようになる。従って、画像処理の処理負荷を軽減できる。特に、後述するように、スケルトン情報を有効活用して画像処理を行う処理領域を設定すれば、画像処理を行う処理領域を更に限定することが可能になり、画像処理の処理負荷を更に軽減することが可能になる。
【０１１５】
２．２ 画像領域の面積に基づく判定処理
次に、図４（Ａ）、図４（Ｂ）のつかみ動作を判定する具体的な手法の例について説明する。例えば本実施形態では、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定している。
【０１１６】
例えば図６（Ａ）は、プレーヤの手のひらが開いた時の状態（パーの状態）を示し、図６（Ｂ）は、プレーヤの手のひらが閉じた時の状態（グーの状態）を示している。図６（Ａ）、図６（Ｂ）に示すように、プレーヤの手の画像領域の面積Ｓは、図６（Ａ）の手のひらが開いた状態よりも、図６（Ｂ）の手のひらが閉じた状態の方が小さくなる。従って、手の画像領域の面積Ｓが、判定しきい値ＶＴよりも大きい場合には、手のひらが開いた状態であると判定でき、面積ＳがＶＴよりも小さい場合には、手のひらが閉じた状態であると判定できる。
【０１１７】
従って、図６（Ｃ）に示すように、プレーヤのつかみ準備動作が行われたと判定された後に、対応する手の画像領域の面積Ｓが減少し、面積Ｓが判定しきい値ＶＴよりも小さくなった場合に、プレーヤがつかみ動作を行ったと判定できる。一方、つかみ準備動作が行われたと判定された後、所定時間が経過しても、手の画像領域の面積Ｓが、判定しきい値ＶＴよりも小さくならなかった場合には、つかみ動作は行われなかったと判定できる。
【０１１８】
なお、面積Ｓは、図２（Ｂ）に示すカラー画像情報における画像領域の面積であってもよいし、デプス情報における画像領域の面積であってもよい。例えばカラー画像情報を用いる場合には、手の色（肌の色）に対応する色相範囲を設定し、カラー画像情報の各画素位置の色が、この色相範囲に入るか否かを判断する。そして色相値が色相範囲に入る画素の数を算出することにより、面積Ｓを求めればよい。またデプス情報を用いる場合には、手のデプス値に対応するデプス範囲を設定し、デプス情報の各画素位置のデプス値が、このデプス範囲に入るか否かを判断する。そしてデプス値がデプス範囲に入る画素の数を算出することにより、面積Ｓを求めればよい。
【０１１９】
また、図７（Ａ）に示すように表示部１９０にプレーヤＰＬが近づいた場合と、図７（Ｂ）に示すように表示部１９０からプレーヤＰＬが遠ざかった場合とでは、手の画像領域の面積Ｓは異なった面積になってしまう。例えば図７（Ａ）のように表示部１９０とプレーヤＰＬとの間の距離が短い距離ＬＤＮである場合には、面積Ｓは大きな値になり、図７（Ｂ）のように長い距離ＬＤＦである場合には、面積Ｓは小さな値になる。
【０１２０】
そこで本実施形態では、画像領域の面積Ｓを判定する際の判定しきい値ＶＴを、表示部１９０とプレーヤＰＬとの距離情報に応じて変化させる。例えば図７（Ｃ）に示すように、表示部１９０とプレーヤＰＬとの距離Ｌが短い距離ＬＤＮである場合には、判定しきい値ＶＴを大きなしきい値ＶＴＮに設定する。一方、距離Ｌが長い距離ＬＤＦである場合には、判定しきい値ＶＴを小さなしきい値ＶＴＦに設定する。即ち、距離Ｌが長くなるにつれて、判定しきい値ＶＴを小さくする。
【０１２１】
このようにすることで、図７（Ａ）のように表示部１９０にプレーヤＰＬが近づいた場合にも、図７（Ｂ）のように遠ざかった場合にも、適切な判定しきい値ＶＴを用いて、画像領域の面積Ｓを判定できるようになる。従って、面積Ｓに基づくつかみ動作の判定処理の精度を向上できる。
【０１２２】
なお図７（Ｃ）では、表示部１９０とプレーヤＰＬとの距離Ｌそのものを用いて、判定しきい値ＶＴを設定しているが、本実施形態はこれに限定されない。例えば、キャラクタＣＨやキャラクタＣＨの手ＨＤＬのデプス値により、判定しきい値ＶＴを設定してもよい。この場合には、このデプス値が、表示部１９０とプレーヤＰＬの距離を表す距離情報に相当することになる。
【０１２３】
また画像処理の精度や正確性を高めるためには、プレーヤに、つかみ動作の判定のための認識用部材を装着させ、その認識用部材の画像情報に基づいて、プレーヤがつかみ動作を行っているか否かを判定することが望ましい。
【０１２４】
例えば図８（Ａ）、図８（Ｂ）に、このような認識用部材の一例である手袋ＥＴＨを示す。図８（Ａ）に示すように、この手袋ＥＴＨ（広義には認識用部材）は、その手のひら側が赤（広義には第１の色）に設定されている。また図８（Ｂ）に示すように、その手の甲側が青（広義には第２の色）に設定されている。このように、手のひらと手の甲とで色を異ならせることで、プレーヤが手のひらの方を表示部１９０に向けているのか手の甲の方を向けているのかを、容易に判定できるようになる。
【０１２５】
そして図９（Ａ）は、手袋ＥＴＨを装着した手のひらが開いた状態（パーの状態）を示している。この場合には、手の画像領域の大部分において、手袋ＥＴＨの手のひら側の色である赤が占めるようになる。一方、図９（Ｂ）は、手袋ＥＴＨを装着した手のひらが閉じた状態（グーの状態）を示している。この場合には、手の画像領域の第１の領域では、手のひら側の色である赤が占め、第２の領域では、手の甲側の色である青が占めるようになる。
【０１２６】
そこで本実施形態では、図９（Ｃ）に示すように、プレーヤの手がつかみ準備動作を行っていると判断された後に、手のひら側の色である赤（第１の色）の画像領域の面積ＳＲが減少した場合に、プレーヤがつかみ動作を行っていると判定する。具体的には、赤の色の面積ＳＲが、判定しきい値ＶＴＲよりも小さくなった場合に、プレーヤがつかみ動作を行っていると判定する。
【０１２７】
なお図９（Ｄ）に示すように、手の甲側の色である青（第２の色）の画像領域の面積ＳＢが増加した場合に、プレーヤがつかみ動作を行っていると判定してもよい。具体的には、青の色の面積ＳＢが、判定しきい値ＶＴＢよりも大きくなった場合に、プレーヤがつかみ動作を行っていると判定する。
【０１２８】
さて、図９（Ａ）〜図９（Ｄ）で説明した判定手法では、以下に説明する問題が生じるおそれがある。
【０１２９】
例えばプレーヤの手が図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）のように回転した場合を考える。図１０（Ａ）では、手のひら側が表示部１９０（画像センサ）の方に向いており、その後の図１０（Ｂ）では、例えば手の親指側が表示部１９０の方に向いている。また、その後の図１０（Ｃ）では、手の甲側が表示部１９０の方に向いている。
【０１３０】
そして図１０（Ａ）から図１０（Ｂ）に変化した時に、赤の面積ＳＲは減少する。従って、このような手の回転により図９（Ｃ）のように赤の面積ＳＲが判定しきい値ＶＴＲよりも小さくなってしまうと、誤判定が生じる。即ち、図１０（Ａ）〜図１０（Ｃ）のように手が回転した場合においても、図９（Ａ）、図９（Ｂ）に示すつかみ動作が行われていると誤判定してしまう。図９（Ｄ）に示すように青の面積ＳＢの増加を検出した場合にも、同様の誤判定が生じる。
【０１３１】
そこで本実施形態では図１１（Ａ）、図１１（Ｂ）に示すように、プレーヤの手がつかみ準備動作を行っていると判断された後に、赤（第１の色）の画像領域ＳＢの面積が第１の判定しきい値ＶＴＲよりも小さくなり、且つ、青（第２の色）の画像領域の面積ＳＢが第２の判定しきい値ＶＴＢ２よりも小さい場合に、プレーヤがつかみ動作を行っていると判定する。このようにすれば図１０（Ａ）〜図１０（Ｃ）のように手が回転した場合と、図９（Ａ）、図９（Ｂ）に示すようにつかみ動作が行われた場合とを、区別して判定することが可能になる。
【０１３２】
即ち図１０（Ａ）〜図１０（Ｃ）のように手が回転した場合には、図１１（Ａ）に示すように赤の面積ＳＲは減少するが、図１１（Ｃ）に示すように、青の面積ＳＢも第２の判定しきい値ＶＴＢ２を超えるようになる。従って、赤の面積ＳＲが減少し、且つ、青の面積ＳＢが第２の判定しきい値ＶＴＢ２を超えないことを検出すれば、図９（Ａ）、図９（Ｂ）のつかみ動作を、誤判定が生じることなく判定することが可能になる。
【０１３３】
なお図１１（Ａ）、図１１（Ｂ）の第１の判定しきい値ＶＴＲ及び第２の判定しきい値ＶＴＢ２についても、図７（Ｃ）の場合と同様に、表示部１９０とプレーヤとの間の距離情報に応じて変化させることが望ましい。即ち、表示部１９０とプレーヤとの距離Ｌが長くなるにつれて、第１の判定しきい値ＶＴＲ及び第２の判定しきい値ＶＴＢ２を小さくする。
【０１３４】
このようにすれば、表示部１９０とプレーヤとの間の距離が変化した場合にも、適切な判定しきい値ＶＴＲ、ＶＴＢ２を用いて、画像領域の面積ＳＲ、ＳＢを判定できるようになり、つかみ動作の判定処理の精度を向上できる。
【０１３５】
なお、認識用部材である手袋の色の設定は図８（Ａ）、図８（Ｂ）のような設定に限定されず、種々の変形実施が可能である。また色自体ではなくて、手袋に描かれた模様等の特定のパターンの画像情報に基づいて、プレーヤのつかみ動作を判定してもよい。また、認識用部材は手袋には限定されない。例えばプレーヤの指に装着した指輪等を認識用部材とし、その指輪等の画像情報に基づいて、プレーヤのつかみ動作を判定してもよい。
【０１３６】
また、手の形状認識処理により、プレーヤがつかみ動作を行っているか否かを判定してもよい。具体的には、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像情報に対する形状認識処理を行うことで、プレーヤがつかみ動作を行っているか否かを判定する。例えば画像認識された手の形状が、図６（Ａ）の形状から図６（Ｂ）の形状に変化した場合に、プレーヤがつかみ動作を行っていると判定する。この場合の形状認識処理としては、公知の様々な画像認識処理を採用できる。
【０１３７】
２．３ つかみ準備動作の判定
さて、プレーヤのつかみ準備動作やつかみ動作としては種々の動作が考えられる。例えば図１２（Ａ）では、プレーヤＰＬは、左腕を伸ばしながら左手ＨＤＬを下から上に上げるつかみ準備動作を行っている。そして、この場合には、図１３（Ａ）に示すように、ゲーム空間内のキャラクタは、例えば相手キャラクタ（ターゲットオブジェクトＴＯＢ）の胸ぐらを左手ＨＬＯＢでつかむ動作を行う。
【０１３８】
一方、図１２（Ｂ）では、プレーヤＰＬは、左腕を伸ばしながら左手ＨＤＬを上から下に下げるつかみ準備動作を行っている。そして、この場合には、図１３（Ｂ）に示すように、ゲーム空間内のキャラクタは、例えば相手キャラクタの頭部を左手ＨＬＯＢでつかむ動作を行う。
【０１３９】
このように、プレーヤＰＬが行うつかみ準備動作としては、複数のつかみ準備動作（第１〜第Ｎのつかみ準備動作）を想定できる。例えば図１２（Ａ）、図１２（Ｂ）に示すような異なる形態のつかみ準備動作である。
【０１４０】
そこで本実施形態では、このような複数のつかみ準備動作のうちのいずれのつかみ準備動作をプレーヤＰＬが行っているかを、画像センサＩＳＥからの画像情報に基づいて判定する。即ち、図１２（Ａ）に示すようなつかみ準備動作が行われたのか、図１２（Ｂ）に示すようなつかみ準備動作が行われたのかを、プレーヤＰＬを撮像する画像センサＩＳＥからの画像情報に基づき判定する。
【０１４１】
このようにすれば、例えば図１２（Ａ）のつかみ準備動作が行われた場合には、このつかみ準備動作に関連づけられたつかみ動作をキャラクタに行わせることで、図１３（Ａ）に示すような画像を生成できるようになる。また図１２（Ｂ）のつかみ準備動作が行われた場合には、このつかみ準備動作に関連づけられたつかみ動作をキャラクタに行わせることで、図１３（Ｂ）に示すような画像を生成できるようになる。
【０１４２】
従って、プレーヤＰＬの動きに応じて、様々なつかみ動作画像が生成されるようになり、生成される画像の多様性を増すことができる。また、プレーヤＰＬの動きに忠実なつかみ動作画像を生成できるため、プレーヤＰＬの仮想現実感を向上できる。
【０１４３】
この場合に本実施形態では、プレーヤＰＬがつかみ準備動作を行っているか否かを、プレーヤＰＬのスケルトン情報に基づいて判定してもよい。例えば、図１２（Ａ）、図１２（Ｂ）で説明したような複数のつかみ準備動作（第１〜第Ｎのつかみ準備動作）のいずれのつかみ準備動作を行っているかを、プレーヤＰＬのスケルトン情報に基づいて判定する。
【０１４４】
即ち本実施形態では図１４に示すように、図２（Ｂ）のデプス情報等の画像情報に基づいて、プレーヤＰＬの動作を特定するためのスケルトン情報を取得する。図１４ではスケルトン情報として、スケルトンの関節Ｃ０〜Ｃ１９の位置情報（３次元座標）が取得されている。これらの関節Ｃ０〜Ｃ１０は、画像センサＩＳＥに映るプレーヤＰＬの関節に対応するものである。なお画像センサＩＳＥにプレーヤＰＬの全身が映らない場合には、映った部分だけの関節の位置情報を有するスケルトン情報を生成すればよい。
【０１４５】
例えば図２（Ｂ）のデプス情報を用いれば、画像センサＩＳＥ側から見たプレーヤＰＬ等の３次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などによりプレーヤＰＬの顔等の部位の領域も特定できる。そこで、これらの３次元形状の情報等に基づいて、プレーヤＰＬの各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の２次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の３次元座標情報を求め、図１４に示すようなスケルトン情報を取得する。
【０１４６】
このようなスケルトン情報を用いれば、プレーヤＰＬのジェスチャ等の動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばモーションデータとして利用して、オブジェクト空間においてキャラクタを動作させることも可能になる。
【０１４７】
そして本実施形態では、プレーヤＰＬのつかみ準備動作を、図１４のスケルトン情報を用いて判断する。
【０１４８】
例えば図１５（Ａ）は、図１２（Ａ）のようなつかみ準備動作を行っているプレーヤＰＬを、画像センサＩＳＥで撮像することで得られたスケルトン情報の例である。一方、図１５（Ｂ）は、図１２（Ｂ）のようなつかみ準備動作を行っているプレーヤＰＬを、画像センサＩＳＥで撮像することで得られたスケルトン情報の例である。
【０１４９】
図１５（Ａ）、図１５（Ｂ）に示すように、スケルトン情報の関節位置Ｃ０〜Ｃ１９の情報を用いることで、プレーヤＰＬが、図１２（Ａ）、図１２（Ｂ）のいずれのつかみ準備動作を行ったのかを判定できる。
【０１５０】
例えば図１２（Ａ）の左手ＨＤＬに対応する図１５（Ａ）の関節Ｃ１１、Ｃ１０の位置の変化を検出することで、左腕を伸ばしながら左手ＨＤＬを下から上に上げる図１２（Ａ）のつかみ準備動作を判別できる。また図１２（Ｂ）の左手ＨＤＬに対応する図１５（Ｂ）の関節Ｃ１１、Ｃ１０の位置の変化を検出することで、左腕を伸ばしながら左手ＨＤＬを上から下に下げる図１２（Ｂ）のつかみ準備動作を判別できる。
【０１５１】
そして図１５（Ａ）に示すようなスケルトン情報が検出された場合には、図１２（Ａ）のつかみ準備動作に対応するつかみ動作の画像として、図１３（Ａ）に示すような画像を生成する。また図１５（Ｂ）に示すようなスケルトン情報が検出された場合には、図１２（Ｂ）のつかみ準備動作に対応するつかみ動作の画像として、図１３（Ｂ）に示すような画像を生成する。
【０１５２】
このように、デプス情報から得られるスケルトン情報を用いて、つかみ準備動作を判定すれば、より正確で適切な判定処理を実現できる。また例えばキャラクタのモーションを再生するために使用されるスケルトン情報を有効活用して、つかみ準備動作の判定処理を実現できるようになる。
【０１５３】
また本実施形態では、図１４に示すように取得されたスケルトン情報を用いて、画像処理の処理領域を設定してもよい。
【０１５４】
例えば図１２（Ａ）、図１２（Ｂ）に示すようなつかみ準備動作が行われたことが、図１５（Ａ）、図１５（Ｂ）に示すスケルトン情報に基づいて判定されたとする。この場合には、つかみ準備動作を行っている手が左手ＨＤＬであることが、スケルトン情報に基づき判別されている。従って、この場合には、図１６（Ａ）、図１６（Ｂ）に示すように、プレーヤＰＬの左手ＨＤＬに対応する関節Ｃ１１、Ｃ１０の位置を含む画像領域を、画像処理の処理領域ＲＰＣに設定する。そして、設定された処理領域ＲＰＣでのデプス情報やカラー画像情報に対して、つかみ動作の判定のための画像処理を行う。
【０１５５】
例えば、図４（Ａ）、図４（Ｂ）に示すつかみ動作を判定する際に、設定された処理領域ＲＰＣでのカラー画像情報やデプス情報に対して画像処理を行う。具体的には、この処理領域ＲＰＣにおいて、図６（Ａ）〜図１１（Ｃ）で説明したような画像領域の面積を求める画像処理を行う。或いは、この処理領域ＲＰＣにおいて、つかみ動作を判定するための手の形状認識処理を行う。
【０１５６】
このようにすれば、全ての領域において画像処理を行う必要がなくなり、画面サイズよりも小さな処理領域ＲＰＣにおいて画像処理を行えば済むようになる。従って、画像処理の処理負荷を軽減でき、少ない処理負荷で、つかみ動作の判定のための画像処理を実行できるようになる。
【０１５７】
２．４ 詳細な処理例
次に本実施形態の詳細な処理例について図１７〜図１９のフローチャートを用いて説明する。図１７は、本実施形態の全体的な処理を示すフローチャートである。
【０１５８】
まず、図２（Ａ）、図２（Ｂ）で説明したように、画像センサからの画像情報を取得する（ステップＳ１）。そして、取得された画像情報に基づいて、図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作をプレーヤが行っているか否かを判定する（ステップＳ２）。
【０１５９】
そして、つかみ準備動作を行っていると判定された場合には（ステップＳ３）、つかみ準備動作を行っている手に対応する画像に対する画像処理を行って、図４（Ａ）、図４（Ｂ）に示すようなつかみ動作をプレーヤが行っているか否かを判定する（ステップＳ４）。そして、つかみ動作を行っていると判定された場合には（ステップＳ５）、図５に示すように、プレーヤに対応するキャラクタがつかみ動作を行う画像を生成する（ステップＳ６）。
【０１６０】
図１８は、プレーヤのスケルトン情報を用いて、プレーヤがつかみ準備動作やつかみ動作を行っているか否かを判定する処理のフローチャートである。
【０１６１】
まず、図２（Ａ）、図２（Ｂ）で説明したように、画像センサによりカラー画像情報、デプス情報等の画像情報を取得する（ステップＳ１１）。次に、取得されたデプス情報等を用いて、図１４で説明したプレーヤのスケルトン情報を求める（ステップＳ１２）。そして、求められたスケルトン情報に基づいて、図１５（Ａ）、図１５（Ｂ）で説明したように、プレーヤがつかみ準備動作を行っているか否かを判定する（ステップＳ１３）。
【０１６２】
そして、つかみ準備動作を行っていると判定された場合には（ステップＳ１４）、図１６（Ａ）、図１６（Ｂ）で説明したように、スケルトン情報に基づき、つかみ準備動作を行っている手の位置を特定し、特定された位置を含む画像領域を、画像処理の処理領域に設定する（ステップＳ１５）。次に、設定された処理領域での画像情報に基づき画像処理を行って、プレーヤがつかみ動作を行っているか否かを判定する（ステップＳ１６）。
【０１６３】
そして、つかみ動作を行っていると判定された場合には（ステップＳ１７）、図５に示すように、プレーヤに対応するキャラクタがつかみ動作を行う画像を生成する（ステップＳ１８）。
【０１６４】
図１９は、画像領域の面積に基づく判定処理のフローチャートである。
【０１６５】
まず、図８（Ａ）〜図９（Ｄ）で説明したように、つかみ準備動作を行っている手の部分に対応する第１の色（例えば赤）の画像領域の面積ＳＲを求める（ステップＳ２１）。また、つかみ準備動作を行っている手の部分に対応する第２の色（例えば青）の画像領域の面積ＳＢを求める（ステップＳ２２）。
【０１６６】
次に、図１１（Ａ）で説明したように、第１の色の画像領域の面積ＳＲと第１の判定しきい値ＶＴＲとの間に、ＳＲ＜ＶＴＲの関係が成り立つか否かを判定する（ステップＳ２３）。そしてＳＲ＜ＶＴＲである場合には、第２の色の画像領域の面積ＳＲと第２の判定しきい値ＶＴＢ２との間に、ＳＢ＜ＶＴＢ２の関係が成り立つか否かを判定する（ステップＳ２４）。そして、ＳＲ＜ＶＴＲ、且つ、ＳＢ＜ＶＴＢ２である場合には、プレーヤがつかみ動作を行っていると判断する（ステップＳ２５）。
【０１６７】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像情報に基づくプレーヤのつかみ準備動作やつかみ動作やつかみ連動動作の判定手法、画像領域の面積に基づく判定手法、スケルトン情報の取得手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【符号の説明】
【０１６８】
ＩＳＥ 画像センサ、ＰＬ プレーヤ、ＳＣ 画面、ＨＤＬ 左手、ＨＤＲ 右手、
ＨＬＯＢ キャラクタの左手、ＴＯＢ ターゲットオブジェクト（相手キャラクタ）、
ＲＰＣ 処理領域、ＥＴＨ 手袋（認識用部材）、
１００ 処理部、１０２ 画像情報取得部、１０４ 情報取得部、
１０５ スケルトン情報取得部、１０６ ゲーム演算部、１０７ つかみ準備動作判定部、
１０９ つかみ動作判定部、１０９ つかみ連動動作判定部、１１０ 攻撃動作判定部、
１１２ オブジェクト空間設定部、１１４ キャラクタ制御部、１１５ 移動処理部、
１１６ モーション処理部、１１８ 仮想カメラ制御部、１２０ 画像生成部、
１３０ 音生成部、１６０ 操作部、１７０ 記憶部、１７１ 画像情報記憶部、
１７２ カラー画像情報記憶部、１７３ デプス情報記憶部、
１７４ スケルトン情報記憶部、１７５ オブジェクトデータ記憶部、
１７６ モーションデータ記憶部、１７７ モデルデータ記憶部、１７９ 描画バッファ、
１８０ 情報記憶媒体、１９０ 表示部、１９２ 音出力部、１９４ 補助記憶装置、
１９６ 通信部
【特許請求の範囲】
【請求項１】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定するつかみ準備動作判定部と、
つかみ準備動作が行われていると判定された場合には、つかみ準備動作を行っている前記プレーヤの手に対応する画像に対して画像処理を行い、前記画像処理の結果に基づいて、前記プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定するつかみ動作判定部と、
前記つかみ動作の判定結果に基づいて画像を生成する画像生成部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項２】
請求項１において、
前記つかみ動作判定部は、
つかみ準備動作を行っていると判定された前記プレーヤの手の部分に対応する画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項３】
請求項２において、
前記つかみ動作判定部は、
所与の期間又は所与のタイミングにおける前記画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項４】
請求項２又は３において、
前記つかみ動作判定部は、
前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項５】
請求項４において、
前記画像情報取得部は、
前記画像情報として、各画素位置にカラー値が設定されたカラー画像情報を取得し、
前記つかみ動作判定部は、
前記カラー画像情報における前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項６】
請求項４において、
前記画像情報取得部は、
前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、
前記つかみ動作判定部は、
前記デプス情報における前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項７】
請求項４乃至６のいずれかにおいて、
前記つかみ動作判定部は、
前記画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させることを特徴とするプログラム。
【請求項８】
請求項１において、
前記つかみ動作判定部は、
前記プレーヤが手に装着する認識用部材の画像情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項９】
請求項８において、
前記認識用部材は、手のひら側が第１の色に設定され、
前記つかみ動作判定部は、
前記プレーヤがつかみ準備動作を行っていると判断された後に、前記第１の色の画像領域の面積が減少した場合に、前記プレーヤがつかみ動作を行っていると判定することを特徴とするプログラム。
【請求項１０】
請求項９において、
前記認識用部材は、手の甲側が第２の色に設定され、
前記つかみ動作判定部は、
前記プレーヤがつかみ準備動作を行っていると判断された後に、前記第１の色の画像領域の面積が第１の判定しきい値よりも小さくなり、且つ、前記第２の色の画像領域の面積が第２の判定しきい値よりも小さい場合に、前記プレーヤがつかみ動作を行っていると判定することを特徴とするプログラム。
【請求項１１】
請求項１０において、
前記つかみ動作判定部は、
前記第１の判定しきい値及び前記第２の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させることを特徴とするプログラム。
【請求項１２】
請求項１において、
前記つかみ動作判定部は、
つかみ準備動作を行っていると判定された前記プレーヤの手の部分の画像情報に対する形状認識処理により、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記つかみ準備動作判定部は、
前記プレーヤが複数の第１〜第Ｎのつかみ準備動作（Ｍは２以上の整数）のうちのいずれのつかみ準備動作を行っているかを、前記画像センサからの前記画像情報に基づいて判定することを特徴とするプログラム。
【請求項１４】
請求項１３において、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部として、
コンピュータを機能させ、
前記つかみ準備動作判定部は、
前記プレーヤの前記スケルトン情報に基づいて、前記プレーヤが前記第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを判定することを特徴とするプログラム。
【請求項１５】
請求項１４において、
前記つかみ準備動作判定部は、
前記プレーヤが前記第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを、前記スケルトン情報の関節位置情報に基づいて判定することを特徴とするプログラム。
【請求項１６】
請求項１乃至１２のいずれかにおいて、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部として、
コンピュータを機能させ、
前記つかみ準備動作判定部は、
前記プレーヤの前記スケルトン情報に基づいて、前記プレーヤがつかみ準備動作を行っているか否かを判定することを特徴とするプログラム。
【請求項１７】
請求項１乃至１２のいずれかにおいて、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、つかみ動作を判定するための前記画像処理の処理領域を設定する情報取得部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１８】
請求項１乃至１７のいずれかにおいて、
前記プレーヤに対応するキャラクタの制御を行うキャラクタ制御部として、
コンピュータを機能させ、
前記画像生成部は、
前記プレーヤがつかみ動作を行っていると判定された場合には、前記キャラクタがつかみ動作を行う画像を生成することを特徴とするプログラム。
【請求項１９】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至１８のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項２０】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定するつかみ準備動作判定部と、
つかみ準備動作が行われていると判定された場合には、つかみ準備動作を行っている前記プレーヤの手に対応する画像に対して画像処理を行い、前記画像処理の結果に基づいて、前記プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定するつかみ動作判定部と、
前記つかみ動作の判定結果に基づいて画像を生成する画像生成部と、
を含むことを特徴とする画像生成システム。
【請求項１】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定するつかみ準備動作判定部と、
つかみ準備動作が行われていると判定された場合には、つかみ準備動作を行っている前記プレーヤの手に対応する画像に対して画像処理を行い、前記画像処理の結果に基づいて、前記プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定するつかみ動作判定部と、
前記つかみ動作の判定結果に基づいて画像を生成する画像生成部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項２】
請求項１において、
前記つかみ動作判定部は、
つかみ準備動作を行っていると判定された前記プレーヤの手の部分に対応する画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項３】
請求項２において、
前記つかみ動作判定部は、
所与の期間又は所与のタイミングにおける前記画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項４】
請求項２又は３において、
前記つかみ動作判定部は、
前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項５】
請求項４において、
前記画像情報取得部は、
前記画像情報として、各画素位置にカラー値が設定されたカラー画像情報を取得し、
前記つかみ動作判定部は、
前記カラー画像情報における前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項６】
請求項４において、
前記画像情報取得部は、
前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、
前記つかみ動作判定部は、
前記デプス情報における前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項７】
請求項４乃至６のいずれかにおいて、
前記つかみ動作判定部は、
前記画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させることを特徴とするプログラム。
【請求項８】
請求項１において、
前記つかみ動作判定部は、
前記プレーヤが手に装着する認識用部材の画像情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項９】
請求項８において、
前記認識用部材は、手のひら側が第１の色に設定され、
前記つかみ動作判定部は、
前記プレーヤがつかみ準備動作を行っていると判断された後に、前記第１の色の画像領域の面積が減少した場合に、前記プレーヤがつかみ動作を行っていると判定することを特徴とするプログラム。
【請求項１０】
請求項９において、
前記認識用部材は、手の甲側が第２の色に設定され、
前記つかみ動作判定部は、
前記プレーヤがつかみ準備動作を行っていると判断された後に、前記第１の色の画像領域の面積が第１の判定しきい値よりも小さくなり、且つ、前記第２の色の画像領域の面積が第２の判定しきい値よりも小さい場合に、前記プレーヤがつかみ動作を行っていると判定することを特徴とするプログラム。
【請求項１１】
請求項１０において、
前記つかみ動作判定部は、
前記第１の判定しきい値及び前記第２の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させることを特徴とするプログラム。
【請求項１２】
請求項１において、
前記つかみ動作判定部は、
つかみ準備動作を行っていると判定された前記プレーヤの手の部分の画像情報に対する形状認識処理により、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記つかみ準備動作判定部は、
前記プレーヤが複数の第１〜第Ｎのつかみ準備動作（Ｍは２以上の整数）のうちのいずれのつかみ準備動作を行っているかを、前記画像センサからの前記画像情報に基づいて判定することを特徴とするプログラム。
【請求項１４】
請求項１３において、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部として、
コンピュータを機能させ、
前記つかみ準備動作判定部は、
前記プレーヤの前記スケルトン情報に基づいて、前記プレーヤが前記第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを判定することを特徴とするプログラム。
【請求項１５】
請求項１４において、
前記つかみ準備動作判定部は、
前記プレーヤが前記第１〜第Ｎのつかみ準備動作のうちのいずれのつかみ準備動作を行っているかを、前記スケルトン情報の関節位置情報に基づいて判定することを特徴とするプログラム。
【請求項１６】
請求項１乃至１２のいずれかにおいて、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部として、
コンピュータを機能させ、
前記つかみ準備動作判定部は、
前記プレーヤの前記スケルトン情報に基づいて、前記プレーヤがつかみ準備動作を行っているか否かを判定することを特徴とするプログラム。
【請求項１７】
請求項１乃至１２のいずれかにおいて、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、つかみ動作を判定するための前記画像処理の処理領域を設定する情報取得部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１８】
請求項１乃至１７のいずれかにおいて、
前記プレーヤに対応するキャラクタの制御を行うキャラクタ制御部として、
コンピュータを機能させ、
前記画像生成部は、
前記プレーヤがつかみ動作を行っていると判定された場合には、前記キャラクタがつかみ動作を行う画像を生成することを特徴とするプログラム。
【請求項１９】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至１８のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項２０】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定するつかみ準備動作判定部と、
つかみ準備動作が行われていると判定された場合には、つかみ準備動作を行っている前記プレーヤの手に対応する画像に対して画像処理を行い、前記画像処理の結果に基づいて、前記プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定するつかみ動作判定部と、
前記つかみ動作の判定結果に基づいて画像を生成する画像生成部と、
を含むことを特徴とする画像生成システム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【公開番号】特開２０１１−２１５９２１（Ｐ２０１１−２１５９２１Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８３８９３（Ｐ２０１０−８３８９３）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
[ Back to top ]