プログラム、情報記憶媒体及び画像生成システム
【課題】プレーヤのつかみ動作及びつかみ連動動作を検出して画像を生成できるプログラム、情報記憶媒体、画像生成システム等の提供。
【解決手段】画像生成システムは、画像センサからの画像情報を取得する画像情報取得部と、画像情報に基づいて、プレーヤの右手、左手の一方の手がつかみ動作を行っているか否かを判定するつかみ動作判定部と、一方の手がつかみ動作を行っていると判定された場合には、画像情報に基づいて、一方の手とは異なる他方の手が、つかみ動作に続くつかみ連動動作を行っているか否かを判定するつかみ連動動作判定部と、つかみ動作及びつかみ連動動作の判定結果に基づいて画像を生成する画像生成部を含む。
【解決手段】画像生成システムは、画像センサからの画像情報を取得する画像情報取得部と、画像情報に基づいて、プレーヤの右手、左手の一方の手がつかみ動作を行っているか否かを判定するつかみ動作判定部と、一方の手がつかみ動作を行っていると判定された場合には、画像情報に基づいて、一方の手とは異なる他方の手が、つかみ動作に続くつかみ連動動作を行っているか否かを判定するつかみ連動動作判定部と、つかみ動作及びつかみ連動動作の判定結果に基づいて画像を生成する画像生成部を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及び画像生成システム等に関する。
【背景技術】
【０００２】
近年、従来の操作ボタンや方向キーを備えたゲームコントローラに代わって、モーションセンサを内蔵するゲームコントローラを用いてゲーム操作が可能なゲーム装置が人気を博している。このような操作インターフェースを備えるゲーム装置によれば、プレーヤの直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献１に開示される技術がある。
【０００３】
しかしながら、このようなモーションセンサを内蔵するゲームコントローラでは、プレーヤが手を振る動作については検知できるが、プレーヤが物をつかむ動作を検知することは難しい。
【０００４】
また、プレーヤに対応するキャラクタが、相手キャラクタの方に手を伸ばす動作を行った場合に、その手の動作が、単に相手キャラクタに対して手を伸ばしただけなのか、或いは手を伸ばして相手キャラクタをつかむ動作なのかを判定することは容易ではない。
【０００５】
更に、プレーヤがつかむ動作を行った後、そのつかむ動作に続いてプレーヤが行いたい動作を、如何にして判別するかが課題になる。例えば、一方の手である左手で相手キャラクタの右肩をつかんだ後、他方の手である右手で相手キャラクタに攻撃を加える場合もあるし、その右手で相手キャラクタの左肩をつかむ場合もある。従って、このようなつかみ動作に連動して行われる動作を如何にして判別するかが課題になる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−８９６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の幾つかの態様によれば、プレーヤのつかみ動作及びつかみ連動動作を検出して画像を生成できるプログラム、情報記憶媒体、画像生成システム等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像情報に基づいて、プレーヤの右手、左手の一方の手がつかみ動作を行っているか否かを判定するつかみ動作判定部と、前記一方の手がつかみ動作を行っていると判定された場合には、前記画像情報に基づいて、前記一方の手とは異なる他方の手が、前記つかみ動作に続くつかみ連動動作を行っているか否かを判定するつかみ連動動作判定部と、前記つかみ動作及びつかみ連動動作の判定結果に基づいて画像を生成する画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００９】
本発明の一態様によれば、プレーヤの一方の手がつかみ動作を行っているか否かが、画像センサからの画像情報に基づき判定される。そしてつかみ動作が行われていると判定されると、プレーヤの他方の手がつかみ連動動作を行っているか否かが画像情報に基づき判定され、これらの判定結果に応じた画像が生成される。このように本発明の一態様によれば、プレーヤのつかみ動作と、それに続くつかみ連動動作を、画像センサからの画像情報に基づき判定できる。従って、プレーヤの動きが、生成される画像に直感的に反映されるようになり、これまでにはない画像の生成が可能になる。また、プレーヤの動作がそのまま画像に反映するため、プレーヤの仮想現実感等を向上できる。また、つかみ動作に続くつかみ連動動作についても判定することで、これまでは実現することが難しかった様々なゲームを提供でき、ゲーム展開やゲーム進行の多様化を図れる。
【００１０】
また本発明の一態様では、前記つかみ連動動作判定部は、前記他方の手が複数の第１〜第Ｍのつかみ連動動作（Ｍは２以上の整数）のうちのいずれのつかみ連動動作を行っているかを、前記画像センサからの前記画像情報に基づいて判定してもよい。
【００１１】
このようにすれば、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行ったかを判定し、その判定結果による画像を生成できるため、多様なつかみ連動動作画像の生成が可能になる。
【００１２】
また本発明の一態様では、前記つかみ連動動作判定部は、前記他方の手の部分に対応する画像領域の情報に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００１３】
このようにすれば、プレーヤがいずれのつかみ連動動作を行っているかを、他方の手の部分に対応する画像領域の情報を有効利用して判定できるようになる。
【００１４】
また本発明の一態様では、前記つかみ連動動作判定部は、所与の期間又は所与のタイミングにおける前記画像領域の情報に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００１５】
このように所与の期間における画像領域の情報を用いて判定を行えば、例えば画像領域の情報が瞬間的に変化した場合に、それをつかみ連動動作と誤判定してしまう事態などを防止できる。また所与のタイミングにおける画像領域の情報を用いて判定を行えば、例えば、つかみ連動動作が成功したか否かをそのタイミングにおいて判定することなどが可能になるため、これまでにないタイプのゲームの提供等が可能になる。
【００１６】
また本発明の一態様では、前記つかみ連動動作判定部は、前記画像領域の面積に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００１７】
このようにすれば、プレーヤがいずれのつかみ連動動作を行っているかを、画像領域の面積を求めるという画像処理で実現できるようになり、簡素な画像処理でつかみ連動動作の判定処理を実現できる。
【００１８】
また本発明の一態様では、前記画像情報取得部は、前記画像情報として、各画素位置にカラー値が設定されたカラー画像情報を取得し、前記つかみ連動動作判定部は、前記他方の手の部分に対応する前記カラー画像情報における前記画像領域の面積に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００１９】
このようにすれば、画像センサにより得られたカラー画像情報を利用した画像処理により、つかみ連動動作の判定処理を実現できる。
【００２０】
また本発明の一態様では、前記画像情報取得部は、前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、前記つかみ連動動作判定部は、前記他方の手に対応する前記デプス情報における前記画像領域の面積に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００２１】
このようにすれば、画像センサにより得られたデプス情報を利用した画像処理により、つかみ連動動作の判定処理を実現できる。
【００２２】
また本発明の一態様では、前記つかみ連動動作判定部は、前記画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させてもよい。
【００２３】
このようにすれば、表示部とプレーヤとの間の距離が変化した場合にも、精度の良いつかみ連動動作の判定処理を実現できる。
【００２４】
また本発明の一態様では、前記つかみ連動動作判定部は、前記プレーヤが手に装着する認識用部材の画像情報に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００２５】
このようにすれば、認識部材の画像情報を用いてつかみ連動動作の判定処理を実現できるため、プレーヤの手の画像だけを用いる手法に比べて、判定処理の精度等を向上できる。
【００２６】
また本発明の一態様では、前記つかみ連動動作判定部は、前記他方の手の部分の画像情報に対する形状認識処理により、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００２７】
このようにすれば、プレーヤの一方の手によりつかみ動作が行われた場合に、他方の手の画像に対する形状認識処理を行うことで、プレーヤのつかみ連動動作の判定処理を実現できるようになる。
【００２８】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部を含み（情報取得部としてコンピュータを機能させ）、前記つかみ連動動作判定部は、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを、前記スケルトン情報に基づいて判定してもよい。
【００２９】
このようにすれば、スケルトン情報を有効活用して、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を他方の手が行ったのかを判定できるようになる。
【００３０】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部を含み（情報取得部としてコンピュータを機能させ）、前記つかみ連動動作判定部は、前記他方の手がつかみ連動動作を行っているか否かを、前記スケルトン情報に基づいて判定してもよい。
【００３１】
このようにすれば、スケルトン情報を有効活用して、プレーヤのつかみ連動動作の判定処理を実現できるようになる。
【００３２】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、つかみ動作又はつかみ連動動作を判定するための画像処理の処理領域を設定する情報取得部を含んでもよい（情報取得部としてコンピュータを機能させてもよい）。
【００３３】
このようにすれば、設定された処理領域において画像処理を行えば済むようになるため、画像処理の処理負荷を軽減でき、少ない処理負荷でつかみ連動動作の判定処理を実現できるようになる。
【００３４】
また本発明の一態様では、前記プレーヤに対応するキャラクタの制御を行うキャラクタ制御部を含み（キャラクタ制御部としてコンピュータを機能させ）、前記画像生成部は、前記プレーヤがつかみ動作及びつかみ連動動作を行っていると判定された場合には、前記キャラクタがつかみ動作及びつかみ連動動作を行う画像を生成してもよい。
【００３５】
このようにすれば、プレーヤがつかみ動作及びつかみ連動動作を行うと、それに対応してゲーム空間内のキャラクタもつかみ動作及びつかみ連動動作を行うようになるため、プレーヤの仮想現実感を向上できる。
【００３６】
また本発明の一態様では、前記つかみ連動動作判定部は、前記画像センサからの前記画像情報に基づいて、前記他方の手がつかみ連動動作として攻撃動作を行っているか否かを判定してもよい。
【００３７】
このようにすれば、例えば相手キャラクタ等を一方の手でつかみ、他方の手で攻撃するというような一連の動作を判定して、それに対応した画像を生成できるようになる。
【００３８】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記他方の手による攻撃動作の攻撃演算用パラメータを設定し、攻撃演算用パラメータに基づいて攻撃演算処理を行う攻撃演算部を含んでもよい（攻撃演算部としてコンピュータを機能させてもよい）。
【００３９】
このように、つかみ動作やつかみ連動動作の判定のみならず、攻撃演算用パラメータの設定処理においても、画像センサからの画像情報を用いれば、画像情報の有効活用を図れる。
【００４０】
また本発明の一態様では、前記画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定するつかみ準備動作判定部を含み（つかみ準備動作判定部としてコンピュータを機能させ）、前記つかみ動作判定部は、つかみ準備動作が行われていると判定された場合には、つかみ準備動作を行っている前記プレーヤの手に対応する画像に対して画像処理を行い、前記画像処理の結果に基づいて、前記プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定してもよい。
【００４１】
このようにすれば、プレーヤのつかみ準備動作と、それに続くつかみ動作を、画像センサからの画像情報に基づき判定できる。従って、プレーヤの動きが、生成される画像に直感的に反映されるようになり、これまでにはない画像の生成が可能になる。
【００４２】
また本発明の一態様では、前記つかみ動作判定部は、つかみ準備動作を行っていると判定された前記プレーヤの手の部分に対応する画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００４３】
このようにすれば、プレーヤがつかみ動作を行っているか否かを、つかみ準備動作を行っている手の部分に対応する画像領域の情報を有効利用して判定できるようになる。
【００４４】
また本発明の一態様では、前記つかみ動作判定部は、所与の期間又は所与のタイミングにおける前記画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００４５】
このように所与の期間における画像領域の情報を用いて判定を行えば、例えば画像領域の情報が瞬間的に変化した場合に、それをつかみ動作と誤判定してしまう事態などを防止できる。また所与のタイミングにおける画像領域の情報を用いて判定を行えば、例えば、つかみ動作が成功したか否かをそのタイミングにおいて判定することなどが可能になるため、これまでにないタイプのゲームの提供等が可能になる。
【００４６】
また本発明の一態様では、前記つかみ動作判定部は、前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００４７】
このようにすれば、プレーヤがつかみ動作を行っているか否かを、画像領域の面積を求めるという画像処理で実現できるようになり、簡素な画像処理でつかみ動作の判定処理を実現できる。
【００４８】
また本発明の一態様では、前記つかみ動作判定部は、前記画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させてもよい。
【００４９】
このようにすれば、表示部とプレーヤとの間の距離が変化した場合にも、精度の良いつかみ動作の判定処理を実現できる。
【００５０】
また本発明の一態様では、前記つかみ動作判定部は、前記プレーヤが手に装着する認識用部材の画像情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００５１】
このようにすれば、認識部材の画像情報を用いてプレーヤのつかみ動作の判定処理を実現できるため、プレーヤの手の画像だけを用いる手法に比べて、判定処理の精度等を向上できる。
【００５２】
また本発明の一態様では、前記つかみ動作判定部は、つかみ準備動作を行っていると判定された前記プレーヤの手の部分の画像情報に対する形状認識処理により、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００５３】
このようにすれば、例えばプレーヤの手のひらが開いている状態から閉じた状態になることを形状認識処理により検出することで、プレーヤのつかみ動作の判定処理を実現できるようになる。
【図面の簡単な説明】
【００５４】
【図１】本実施形態の画像生成システムの構成例。
【図２】図２（Ａ）、図２（Ｂ）は画像センサを用いたカラー画像情報、デプス情報の取得手法の説明図。
【図３】図３（Ａ）、図３（Ｂ）はプレーヤのつかみ準備動作を判定する手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）はプレーヤのつかみ動作を判定する手法の説明図。
【図５】本実施形態により生成される画像の例。
【図６】図６（Ａ）、図６（Ｂ）はつかみ連動動作を判定する手法の説明図。
【図７】図７（Ａ）、図７（Ｂ）はつかみ連動動作を判定する手法の説明図。
【図８】図８（Ａ）、図８（Ｂ）は本実施形態により生成される画像の例。
【図９】図９（Ａ）〜図９（Ｃ）は手の部分の画像領域の面積に基づきつかみ動作やつかみ連動動作を判定する手法の説明図。
【図１０】図１０（Ａ）〜図１０（Ｃ）は判定しきい値を距離に応じて変化させる手法の説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）は認識用部材である手袋の説明図。
【図１２】図１２（Ａ）〜図１２（Ｄ）は認識用部材を用いた判定手法の説明図。
【図１３】図１３（Ａ）〜図１３（Ｃ）は認識用部材を用いた判定における問題点についての説明図。
【図１４】図１４（Ａ）〜図１４（Ｃ）は認識用部材を用いた判定手法の説明図。
【図１５】デプス情報に基づいてプレーヤのスケルトン情報を求める手法の説明図。
【図１６】図１６（Ａ）、図１６（Ｂ）はプレーヤのスケルトン情報を用いてつかみ連動動作を判定する手法の説明図。
【図１７】図１７（Ａ）、図１７（Ｂ）はプレーヤのスケルトン情報を用いて画像処理の処理領域を設定する手法の説明図。
【図１８】攻撃演算用パラメータのテーブルデータの例。
【図１９】本実施形態の処理を説明するフローチャート。
【図２０】本実施形態の処理を説明するフローチャート。
【発明を実施するための形態】
【００５５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５６】
１．構成
図１に本実施形態の画像生成システム（ゲーム装置）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５７】
操作部１６０は、プレーヤが操作データを入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
【００５８】
また操作部１６０は、例えばカラー画像センサやデプスセンサなどにより実現される画像センサを含む。なお操作部１６０の機能を画像センサだけで実現してもよい。
【００５９】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００６０】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００６１】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００６２】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００６３】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００６４】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００６５】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００６６】
処理部１００は、画像情報取得部１０２、情報取得部１０４、ゲーム演算部１０６、つかみ準備動作判定部１０７、つかみ動作判定部１０８、つかみ連動動作判定部１０９、攻撃演算部１１０、オブジェクト空間設定部１１２、キャラクタ制御部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。また情報取得部１０４はスケルトン情報取得部１０５を含み、キャラクタ制御部１１４は移動処理部１１５、モーション処理部１１６を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００６７】
画像情報取得部１０２は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部１７０の画像情報記憶部１７１に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部１７２に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部１７３に保存される。画像情報取得部１０２は、これらの画像情報を画像情報記憶部１７１から読み出すことで画像情報を取得する。
【００６８】
情報取得部１０４は、画像情報取得部１０２が取得した画像情報に基づいて、スケルトン情報を取得する。そして、取得されたスケルトン情報に基づいて、プレーヤの動作を特定する。またスケルトン情報に基づいて、例えば画像処理の処理領域などを設定する。
【００６９】
ゲーム演算部１０６はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００７０】
つかみ準備動作判定部１０７、つかみ動作判定部１０８、つかみ連動動作判定部１０９は、各々、つかみ準備動作、つかみ動作、つかみ連動動作の判定処理を行う。攻撃演算部１１０は、プレーヤに対応するキャラクタの攻撃演算処理を行う。これらの詳細については後述する。
【００７１】
オブジェクト空間設定部１１２は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７５には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００７２】
キャラクタ制御部１１４は、オブジェクト空間を移動（動作）するキャラクタの制御を行う。例えばキャラクタ制御部１１４が含む移動処理部１１５は、キャラクタ（モデルオブジェクト、移動オブジェクト）を移動させる処理を行う。例えば操作部１６０によりプレーヤが入力した操作情報や、プログラム（移動アルゴリズム）や、各種データなどに基づいて、キャラクタをオブジェクト空間内で移動させる。具体的には、キャラクタの移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動処理やモーション処理や画像生成処理を行う時間の単位である。
【００７３】
キャラクタ制御部１１４が含むモーション処理部１１６は、キャラクタにモーション（アニメーション）を行わせるモーション処理（モーション再生、モーション生成）を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部１７６に記憶されているモーションデータに基づいて再生することなどで実現できる。
【００７４】
具体的にはモーションデータ記憶部１７６には、キャラクタ（モデルオブジェクト）のスケルトンを構成する各骨（キャラクタを構成する各パーツオブジェクト）の位置又は回転角度（親の骨に対する子の骨の３軸周りの回転角度）等を含むモーションデータが記憶されている。またモデルデータ記憶部１７７は、キャラクタを表すモデルオブジェクトのモデルデータを記憶する。モーション処理部１１６は、このモーションデータをモーションデータ記憶部１７６から読み出し、読み出されたモーションデータに基づいてスケルトンを構成する各骨（パーツオブジェクト）を動かすことで（スケルトン形状を変形させることで）、キャラクタのモーションを再生する。
【００７５】
仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００７６】
例えば仮想カメラによりキャラクタを後方から撮影する場合には、キャラクタの位置又は回転の変化に仮想カメラが追従するように、仮想カメラの位置又は回転角度（仮想カメラの向き）を制御する。この場合には、移動処理部１１５で得られたキャラクタの位置、回転角度又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は回転角度を特定するための仮想カメラデータに基づいて仮想カメラを制御する。
【００７７】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７９（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。
【００７８】
なお、画像生成部１２０が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラと右目用仮想カメラを配置設定する。そして画像生成部１２０が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。
【００７９】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００８０】
そして本実施形態では、画像情報取得部１０２が画像センサからの画像情報を取得すると、つかみ動作判定部１０８は、取得された画像情報に基づいて、プレーヤの右手、左手の一方の手がつかみ動作を行っているか否かを判定する。
【００８１】
そして、つかみ動作判定部１０８により、つかみ動作が行われていると判定されると、つかみ連動動作判定部１０９は、画像センサからの画像情報に基づいて、プレーヤの他方の手が、つかみ動作に続くつかみ連動動作を行っているか否かを判定する。例えばプレーヤの一方の手である左手がつかみ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手である右手がつかみ連動動作を行っているか否かを判定する。またプレーヤの一方の手である右手がつかみ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手である左手がつかみ連動動作を行っているか否かを判定する。
【００８２】
そして画像生成部１２０は、つかみ動作及びつかみ連動動作の判定結果に基づいて画像を生成する。例えばプレーヤに対応するキャラクタがつかみ動作を行った後、それに続くつかみ連動動作を行う画像を生成する。
【００８３】
ここで、つかみ連動動作（つかみ連携動作）は、つかみ動作の後に、そのつかみ動作に連動（連携）して行われる動作である。例えば、つかみ動作に続いて行われることが予定されている動作であり、つかみ動作に連動（連携）して行われることが予め関連づけられている動作である。このつかみ連動動作としては、例えば攻撃動作（殴る動作、投げる動作等）、撫でる動作、叩く動作、調べる動作、持つ動作、或いは他方の手で更につかむ動作（両手でつかむ動作）などがある。
【００８４】
また、つかみ連動動作判定部１０９は、他方の手が複数の第１〜第Ｍのつかみ連動動作（Ｍは２以上の整数）のうちのいずれのつかみ連動動作を行っているかを、画像センサからの画像情報に基づいて判定する。ここで、第１〜第Ｍのつかみ連動動作は、上述した攻撃動作、撫でる動作、叩く動作、調べる動作、持つ動作、他方の手で更につかむ動作などである。例えばプレーヤの一方の手（例えば左手）が相手キャラクタ等をつかむ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手（例えば右手）が、これらの攻撃動作、撫でる動作、叩く動作等である第１〜第Ｍのつかみ連動動作のいずれのつかみ連動動作を行っているかを判定する。具体的には、画像センサからの画像情報に基づいてつかみ連動動作を判定する。そして、第１〜第Ｍのつかみ連動動作のうちの第Ｋのつかみ連動動作（１≦Ｋ≦Ｍ）を行っていると判定された場合には、画像生成部１２０は、プレーヤに対応するキャラクタが、一方の手によるつかみ動作の後に、他方の手による第Ｋのつかみ連動動作を行う画像を生成する。
【００８５】
この場合に、つかみ連動動作判定部１０９は、他方の手の部分に対応する画像領域の情報に基づいて、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。具体的には、当該画像領域の面積に基づいて、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行ってるかを判定する。例えばプレーヤの右手がつかみ連動動作を行っていると判定された場合には、右手の画像が占める画像領域の面積を求めて、右手が、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。またプレーヤの左手がつかみ連動動作を行っていると判定された場合には、左手の画像が占める画像領域の面積を求めて、左手が、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。
【００８６】
そして画像情報取得部１０２が、画像情報としてカラー画像情報を取得した場合に、つかみ連動動作判定部１０９は、カラー画像情報における画像領域の面積に基づいて、プレーヤの他方の手が、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。例えば他方の手の色（肌色等）の画像領域の面積を求めて、他方の手が、いずれのつかみ連動動作を行っているか否かを判定する。ここでカラー画像情報は、例えば各画素位置にカラー値が設定された画像情報である。また画像情報取得部１０２が、画像情報としてデプス情報を取得した場合に、つかみ連動動作判定部１０９は、デプス情報における画像領域の面積に基づいて、プレーヤの他方の手が、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているか否かを判定してもよい。例えば他方の手のデプス値に対応する画像領域の面積を求めて、他方の手が、いずれのつかみ連動動作を行っているか否かを判定する。ここでデプス情報は、各画素位置にデプス値が設定された画像情報である。
【００８７】
また、つかみ連動動作判定部１０９は、画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部１９０とプレーヤとの距離情報に応じて変化させてもよい。例えば表示部１９０とプレーヤとの距離が近いと判断された場合には、画像領域の面積を判定する際の判定しきい値を大きな値にする。一方、表示部１９０とプレーヤとの距離が遠いと判断された場合には、画像領域の面積を判定する際の判定しきい値を小さな値にする。このようにすることで、表示部１９０とプレーヤとの距離に応じた適切な値に、判定しきい値を設定できる。なお、表示部１９０とプレーヤとの距離情報は、表示部１９０とプレーヤとの距離そのものであってもよいし、その距離と同等な情報であってもよい。例えば、プレーヤの代表位置やプレーヤの手の位置でのデプス値を、表示部１９０とプレーヤとの距離情報として、判定しきい値を変化させてもよい。
【００８８】
なお、つかみ連動動作を判定する際に使用される画像領域の情報は、画像領域の面積には限定されず、面積以外の画像領域の情報に基づいて、つかみ連動動作を判定してもよい。例えば画像領域でのカラー画像情報自体やデプス情報自体に基づいて、つかみ連動動作を判定してもよい。
【００８９】
また、つかみ連動動作の判定の際には、所与の期間における画像領域の情報に基づいてつかみ動作を判定することが望ましい。例えばつかみ動作を行っていると判定されてから、複数フレーム分の画像領域の情報を用いて、つかみ連動動作の判定を行う。即ち、画像領域の面積等の情報が瞬間的に変化した場合には、この瞬間的に変化した情報については判定処理の対象にはせずに、所与の期間だけ維持された画像領域の情報を判定処理の対象にする。このようにすれば、ノイズ等により画像領域の情報が瞬間的に変化した場合に、プレーヤがつかみ連動動作を行っていないのにつかみ連動動作を行っていると誤判定してしまう事態を防止できるようになる。
【００９０】
また、つかみ連動動作の判定の際には、所与のタイミングにおける画像領域の情報に基づいてつかみ連動動作を判定することが望ましい。例えば、つかみ連動動作を行うべきタイミングを、画像や音などを用いてプレーヤに対して指示し、その指示タイミング（所与のタイミング）における画像領域の情報に基づいて、つかみ連動動作の判定を行う。そして、その指示タイミングでの画像領域の情報から、その指示タイミングでプレーヤがつかみ連動動作を行うことに成功したと判定された場合には、プレーヤに対して得点等を付与する。このようにすることで、音楽ゲーム、アクションゲーム、スポーツゲーム等の分野において、これまでにないタイプのゲームを提供することが可能になる。
【００９１】
また、つかみ連動動作判定部１０９は、プレーヤが手に装着する認識用部材の画像情報に基づいて、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。例えば認識用部材として、後述するような手袋等をプレーヤに装着させる。そして、手袋等の認識用部材のカラー画像情報等に基づいて、プレーヤのつかみ連動動作を判定する。
【００９２】
また、つかみ連動動作判定部１０９は、他方の手の部分の画像情報に対する形状認識処理により、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。例えば形状認識処理により、他方の手のひらが開いた状態（パーの状態）であると判断された場合には、つかみ連動動作として、平手による攻撃動作を行ったと判定する。一方、他方の手のひらが閉じた状態（グーの状態）であると判断された場合には、つかみ連動動作として、パンチ（げんこつ）による攻撃動作を行ったと判定する。この場合の形状認識処理は、手のひらが開いた状態や閉じた状態での手の形状を表すテンプレート画像を用意し、このテンプレート画像とのマッチング処理を行うことなどで実現できる。
【００９３】
なお、つかみ連動動作の判定処理を、他方の手の部分の画像情報における動きベクトル情報や速度情報に基づいて実現してもよい。例えば、他方の手の動きベクトルや速度を検出し、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを、検出された動きベクトルや速度に基づいて判定する。
【００９４】
また情報取得部１０４は、画像センサからの画像情報に基づいて、画像センサから見えるプレーヤの動作を特定するスケルトン情報を取得する。この取得されたスケルトン情報はスケルトン情報記憶部１７４に保存される。
【００９５】
ここでスケルトン情報は、例えば画像センサから見えるプレーヤの動作を特定する情報である。具体的には、このスケルトン情報は、プレーヤの複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は３次元座標情報により構成される。各関節を結合するものが骨（ボーン）となり、複数の骨の結合によりスケルトンが構成される。
【００９６】
そして、つかみ連動動作判定部１０９は、プレーヤのスケルトン情報に基づいて、プレーヤの他方の手がつかみ連動動作を行っているか否かを判定する。また、スケルトン情報に基づいて、プレーヤの他方の手が第１〜第Ｍのつかみ連動動作のいずれのつかみ連動動作を行っているかを判定する。具体的には、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを、スケルトン情報の関節位置情報に基づいて判定する。例えば第１〜第Ｍのつかみ連動動作でのスケルトン情報を表すテンプレートとなる第１〜第Ｍの基準スケルトン情報を用意する。そして、画像情報により検出されたプレーヤのスケルトン情報と、第１〜第Ｍの基準スケルトン情報とのマッチング処理を行う。そしてマッチング処理の評価関数の結果を用いて、プレーヤが第１〜第Ｍのつかみ連動動作のいずれのつかみ連動動作を行っているのかを判定する。この場合のマッチング処理は例えば複数フレームに亘って行ってもよい。
【００９７】
また、情報取得部１０４は、このようなスケルトン情報が取得されると、このスケルトン情報に基づいて、つかみ動作又はつかみ連動動作を判定するための画像処理の処理領域を設定する。例えばプレーヤの左手が、後述するつかみ準備動作を行っていると判定された場合には、情報取得部１０４は、スケルトン情報に基づいて左手の位置を特定し、特定された位置を含む所定サイズの領域（画面よりも小さな領域）を処理領域に設定する。そしてつかみ動作判定部１０８は、設定された処理領域の画像情報（カラー画像情報、デプス情報）に対して画像処理を行って、左手がつかみ動作を行っているか否かを判定する。またプレーヤの右手がつかみ準備動作を行っていると判定された場合には、情報取得部１０４は、スケルトン情報に基づいて右手の位置を特定し、特定された位置を含む所定サイズの領域を処理領域に設定する。そしてつかみ動作判定部１０８は、設定された処理領域の画像情報に対して画像処理を行って、右手がつかみ動作を行っているか否かを判定する。
【００９８】
また、例えばプレーヤの一方の手がつかみ動作を行っていると判定された場合には、情報取得部１０４は、スケルトン情報に基づいて他方の手の位置を特定し、特定された位置を含む所定サイズの領域を処理領域に設定する。そしてつかみ連動動作判定部１０９は、設定された処理領域の画像情報に対して画像処理を行って、他方の手がつかみ連動動作を行っているか否かを判定する。
【００９９】
またキャラクタ制御部１１４は、プレーヤに対応するキャラクタの制御を行う。ここでキャラクタは、三人称視点の場合には実際に表示されるオブジェクトになるが、一人称視点の場合には、表示部１９０に表示されない仮想的なオブジェクトになる。
【０１００】
そして画像生成部１２０は、プレーヤがつかみ動作及びつかみ連動動作を行っていると判定された場合には、キャラクタがつかみ動作及びつかみ連動動作を行う画像を生成する。例えば、キャラクタがつかみ動作を行い、その後につかみ連動動作を行う画像を生成する。この場合のキャラクタの一連の動作は、画像センサからの画像情報により取得されたプレーヤのスケルトン情報を用いてモーション再生することで実現してもよい。
【０１０１】
またつかみ連動動作判定部１０９は、画像センサからの画像情報に基づいて、他方の手がつかみ連動動作として攻撃動作を行っているか否かを判定する。この場合に攻撃演算部１１０は、画像センサからの画像情報に基づいて、他方の手による攻撃動作の攻撃演算用パラメータ（攻撃力、硬直時間等のパラメータ）を設定する。そして攻撃演算用パラメータに基づいて攻撃演算処理を行う。例えば画像情報やスケルトン情報により、他方の手の動きベクトル情報や速度情報を取得して、これらの動きベクトル情報や速度情報に基づいて、他方の手による攻撃動作の攻撃演算用パラメータを設定する。
【０１０２】
また、つかみ準備動作判定部１０７は、画像センサからの画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定する。ここで、つかみ準備動作は、プレーヤの手がつかむ動作を行う前に行われる一連の動作であり、つかみ動作の前提となる動作である。具体的には、相手キャラクタやアイテムなどを手でつかむために、プレーヤが腕を伸ばしたり、曲げたり、或いは手首を曲げたりするなどの準備動作である。
【０１０３】
そしてつかみ準備動作判定部１０７により、つかみ準備動作が行われていると判定されると、つかみ動作判定部１０８は、つかみ準備動作を行っているプレーヤの手に対応する画像に対して画像処理を行う。そして画像処理の結果に基づいて、プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定する。
【０１０４】
例えば、プレーヤの左手（左腕）がつかみ準備動作（例えば左腕を伸ばしたり曲げる動作）を行っていると判定された場合には、左手に対応する画像（例えば左手を内包する画像領域の画像）に対して画像処理を行う。またプレーヤの右手（右腕）がつかみ準備動作（例えば右腕を伸ばしたり曲げる動作）を行っていると判定された場合には、右手に対応する画像（例えば右手を内包する画像領域の画像）に対して画像処理を行う。そして画像処理の結果に基づいて、プレーヤの左手や右手がつかみ動作を行っているか否かを判定する。すると画像生成部１２０は、つかみ動作の判定結果に基づいて画像を生成する。例えばつかみ動作を行っていると判定された場合には、プレーヤに対応するキャラクタ（キャラクタの手）がつかみ動作を行う画像を生成する。
【０１０５】
またつかみ動作判定部１０８は、つかみ準備動作を行っていると判定されたプレーヤの手の部分に対応する画像領域の情報に基づいて、プレーヤがつかみ動作を行っているか否かを判定する。具体的には、当該画像領域の面積に基づいて、つかみ動作を行っているか否かを判定する。例えばプレーヤの左手がつかみ準備動作を行っていると判定された場合には、左手の画像が占める画像領域の面積を求めて、左手がつかみ動作を行っているか否かを判定する。またプレーヤの右手がつかみ準備動作を行っていると判定された場合には、右手の画像が占める画像領域の面積を求めて、右手がつかみ動作を行っているか否かを判定する。
【０１０６】
そして画像情報取得部１０２が、画像情報としてカラー画像情報を取得した場合に、つかみ動作判定部１０８は、カラー画像情報における画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定する。例えば手の色（肌色等）の画像領域の面積を求めて、プレーヤがつかみ動作を行っているか否かを判定する。また画像情報取得部１０２が、画像情報としてデプス情報を取得した場合に、つかみ動作判定部１０８は、デプス情報における画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定してもよい。例えば手のデプス値に対応する画像領域の面積を求めて、プレーヤがつかみ動作を行っているか否かを判定する。
【０１０７】
また、つかみ動作判定部１０８は、画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部１９０とプレーヤとの距離情報に応じて変化させてもよい。
【０１０８】
なお、つかみ動作を判定する際に使用される画像領域の情報は、画像領域の面積には限定されず、面積以外の画像領域の情報に基づいて、つかみ動作を行っているか否かを判定してもよい。例えば画像領域でのカラー画像情報自体やデプス情報自体に基づいて、つかみ動作を判定してもよい。
【０１０９】
また、つかみ動作の判定の際には、所与の期間における画像領域の情報に基づいてつかみ動作を判定することが望ましい。例えばつかみ準備動作を行っていると判定されてから、複数フレーム分の画像領域の情報を用いて、つかみ動作を行っているか否かを判定する。このようにすれば、ノイズ等によりつかみ動作の誤判定が行われてしまう事態を防止できるようになる。
【０１１０】
また、つかみ動作の判定の際には、所与のタイミングにおける画像領域の情報に基づいてつかみ動作を判定することが望ましい。例えば、つかみ動作を行うべきタイミングを、画像や音などを用いてプレーヤに対して指示し、その指示タイミング（所与のタイミング）における画像領域の情報に基づいて、つかみ動作の判定を行う。そして、その指示タイミングでの画像領域の情報から、その指示タイミングでプレーヤがつかみ動作を行うことに成功したと判定された場合には、プレーヤに対して得点等を付与する。このようにすることで、これまでにないタイプのゲームを提供することが可能になる。
【０１１１】
また、つかみ動作判定部１０８は、プレーヤが手に装着する認識用部材の画像情報に基づいて、プレーヤがつかみ動作を行っているか否かを判定してもよい。
【０１１２】
また、つかみ動作判定部１０８は、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像情報に対する形状認識処理により、プレーヤがつかみ動作を行っているか否かを判定してもよい。
【０１１３】
また、つかみ準備動作判定部１０７は、プレーヤのスケルトン情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定してもよい。例えばつかみ準備動作でのスケルトン情報を表すテンプレートとなる基準スケルトン情報を用意する。そして、画像情報により検出されたプレーヤのスケルトン情報と、基準スケルトン情報とのマッチング処理を行い、マッチング処理の評価関数の結果に基づいて、プレーヤがつかみ準備動作を行ったか否かを判定する。
【０１１４】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【０１１５】
２．１ つかみ動作、つかみ連動動作の判定
一般的に、ゲーム装置では、ゲームコントローラのボタンやレバーを操作してゲーム操作を行う。またゲームコントローラにモーションセンサ（６軸センサ）を設け、プレーヤがゲームコントローラそのものを動かすことでゲーム操作を行うゲーム装置もある。
【０１１６】
しかしながら、このような操作インターフェースのゲーム装置では、ゲーム操作にゲームコントローラが必要になり、プレーヤの手の動きなどのジェスチャをそのまま反映させるようなゲーム操作については実現できず、プレーヤの仮想現実感を今ひとつ向上できない。
【０１１７】
そこで本実施形態では、画像センサで撮像された画像情報に基づきプレーヤの操作入力を可能にする操作インターフェースを採用している。
【０１１８】
例えば図２（Ａ）では、表示部１９０に対応する位置に、デプスセンサ（赤外線センサ等）やカラー画像センサ（ＣＣＤやＣＭＯＳセンサなどのＲＧＢセンサ）により実現される画像センサＩＳＥが設置されている。この画像センサＩＳＥは、例えばその撮像方向（光軸方向）が表示部１９０からプレーヤＰＬの方に向く方向になるように設置されており、表示部１９０側から見たプレーヤＰＬのカラー画像情報やデプス情報を撮像する。なお画像センサＩＳＥは、表示部１９０に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。
【０１１９】
そして図２（Ａ）の画像センサＩＳＥを用いて、図２（Ｂ）に示すようなカラー画像情報とデプス情報を取得する。例えばカラー画像情報では、プレーヤＰＬやその周りの風景の色情報が得られる。一方、デプス情報では、プレーヤＰＬやその周りの風景のデプス値（奥行き値）が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置にカラー値（ＲＧＢ）が設定された画像情報であり、デプス情報は、その各画素位置にデプス値（奥行き値）が設定された画像情報である。なお、画像センサＩＳＥは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。
【０１２０】
デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサＩＳＥ（デプスセンサ）から赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間（Time Of Flight）を検出することで、デプス情報を取得し、画像センサＩＳＥの位置から見たプレーヤＰＬなどの物体のシェイプを検出する。具体的には、デプス情報は、例えば画像センサＩＳＥから近い物体では明るくなり、画像センサＩＳＥから遠い物体では暗くなるグレースケールデータとして表される。なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばＣＭＯＳセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報（被写体までの距離情報）を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。
【０１２１】
そして本実施形態では、画像センサＩＳＥからの画像情報に基づきプレーヤＰＬがつかみ準備動作を行っていると判定された場合に、つかみ準備動作を行っている手に対応する画像に対して画像処理行い、つかみ準備動作に続くつかみ動作を行っているか否かを判定する。
【０１２２】
例えば図３（Ａ）、図３（Ｂ）では、プレーヤＰＬは、つかみ動作を行うために、左手ＨＤＬを徐々に上げるつかみ準備動作を行っている。この場合に本実施形態では、画像センサＩＳＥにより図２（Ｂ）に示すようなカラー画像情報やデプス情報などの画像情報を取得する。そして、取得された画像情報に基づいて、プレーヤＰＬが、つかみ動作のためのつかみ準備動作を行っているか否かを判定する。
【０１２３】
例えば図２（Ｂ）に示すようなカラー画像情報やデプス情報に基づいて、プレーヤＰＬの動作を検知して、つかみ準備動作を行っているか否かを判定する。具体的には、後述するように図２（Ｂ）のデプス情報に基づいてプレーヤＰＬのスケルトン情報を検出し、スケルトン情報での関節の動きを解析して、プレーヤＰＬがつかみ準備動作を行っているか否かを判定する。例えばプレーヤＰＬが行うと考えられる複数の第１〜第Ｎのつかみ準備動作に対応する、テンプレートとなる第１〜第Ｎの基準スケルトン情報を用意する。そして、デプス情報により求められたプレーヤＰＬのスケルトン情報と、これらの第１〜第Ｎの基準スケルトン情報とのマッチング処理を行う。そして例えば第１〜第Ｎの基準スケルトン情報のうちの第Ｌの基準スケルトン情報（１≦Ｌ≦Ｎ）と、プレーヤＰＬのスケルトン情報とのマッチングの評価関数の値が、所定値以下になった場合に、マッチングしたと判定する。そして、第Ｌの基準スケルトン情報に対応する第Ｌのつかみ準備動作をプレーヤＰＬが行っていると判定する。
【０１２４】
なお、画像情報に基づくつかみ準備動作の判定手法は、このようなスケルトン情報を用いた手法には限定されず、公知の種々の動作判定手法を採用できる。例えばカラー画像情報やデプス情報そのものを用いて、マッチング処理を行って、プレーヤＰＬがつかみ準備動作を行っているか否かを判定してもよい。或いは、例えばスケルトン情報での手首や肘などの関節位置の情報の変化だけを監視して、プレーヤＰＬがつかみ準備動作を行っているか否かを判定してもよい。
【０１２５】
そして、プレーヤＰＬが図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作を行っていると判定された場合には、つかみ準備動作を行っている手の付近の画像に対して画像処理を行う。例えば手の付近の画像領域でのカラー画像情報やデプス情報に対して画像処理を行い、その画像処理の結果に基づいて、プレーヤがつかみ準備動作に続いてつかみ動作を行っているか否かを判定する。
【０１２６】
例えば図４（Ａ）、図４（Ｂ）に、画像センサＩＳＥにより撮像されたカラー画像情報（デプス情報）の例を示す。図４（Ａ）では、プレーヤＰＬの左手ＨＤＬの手のひらが開いた状態（パーの状態）になっている。一方、図４（Ｂ）では、左手ＨＤＬの手のひらが閉じた状態（グーの状態）になっている。このように、手のひらが開いた状態から閉じた状態に変化した場合には、プレーヤＰＬがつかみ準備動作に続いてつかみ動作を行っていると判定する。
【０１２７】
そして、このようにつかみ動作が行われたと判定されると、例えば図５に示すような画像を生成して表示部１９０に表示する。図５では、プレーヤＰＬに対応するキャラクタの手ＨＬＯＢ（手のオブジェクト）が、相手キャラクタ（ターゲットオブジェクトＴＯＢ）の肩をつかんでいる画像が生成されている。即ち、本実施形態では、プレーヤＰＬの操作により、オブジェクト空間（ゲーム空間）において、プレーヤＰＬに対応するキャラクタを動作させる。この場合のプレーヤＰＬの操作は、例えばプレーヤＰＬの動作を画像センサＩＳＥにより検出することなどにより実現される。そして、プレーヤＰＬが図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作を行った後、図４（Ａ）、図４（Ｂ）に示すようなつかみ動作を行うと、図５に示すような画像が生成される。
【０１２８】
なお、図５は、一人称視点の画像の例であるが、三人称視点の画像を生成してもよい。三人称視点の画像では、キャラクタの全身（或いは少なくともキャラクタの頭部）が表示されるのに対して、一人称視点の画像では、キャラクタの全身（頭部）は表示されず、例えば図５に示すようにキャラクタの手などの部位の一部だけが表示される。
【０１２９】
また本実施形態では、図４（Ａ）、図４（Ｂ）で説明した手法により、プレーヤの一方の手がつかみ動作を行っていると判定された場合に、画像センサＩＳＥからの画像情報に基づいて、一方の手とは異なる他方の手が、つかみ動作に続くつかみ連動動作を行っているか否かを判定する。
【０１３０】
例えば図６（Ａ）、図６（Ｂ）では、プレーヤＰＬは、一方の手である左手ＨＤＬで図４（Ａ）、図４（Ｂ）に示すようなつかみ動作を行った後に、他方の手である右手ＨＤＲでつかみ連動動作を行っている。具体的には、図６（Ａ）では、左手ＨＤＬで相手キャラクタをつかむ動作を行った後、右手ＨＤＲで相手キャラクタを平手で攻撃するつかみ連動動作を行っている。一方、図６（Ｂ）では、左手ＨＤＬで相手キャラクタをつかむ動作を行った後、右手ＨＤＲで相手キャラクタをパンチで攻撃するつかみ連動動作を行っている。
【０１３１】
この場合に本実施形態では、画像センサＩＳＥにより図２（Ｂ）に示すようなカラー画像情報やデプス情報などの画像情報を取得する。そして、取得された画像情報に基づいて、プレーヤＰＬが、つかみ動作に続くつかみ連動動作を行っているか否かを判定する。
【０１３２】
例えば図２（Ｂ）に示すようなカラー画像情報やデプス情報に基づいて、プレーヤＰＬの動作を検知して、つかみ連動動作を行っているか否かを判定する。具体的には、後述するように図２（Ｂ）のデプス情報に基づいてプレーヤＰＬのスケルトン情報を検出し、スケルトン情報での関節の動きを解析して、プレーヤＰＬがつかみ連動動作を行っているか否かを判定する。例えばプレーヤＰＬが行うと考えられる複数の第１〜第Ｍのつかみ連動動作に対応する、テンプレートとなる第１〜第Ｍの基準スケルトン情報を用意する。そして、デプス情報により求められたプレーヤＰＬのスケルトン情報と、これらの第１〜第Ｍの基準スケルトン情報とのマッチング処理を行う。そして例えば第１〜第Ｍの基準スケルトン情報のうちの第Ｋの基準スケルトン情報（１≦Ｋ≦Ｍ）と、プレーヤＰＬのスケルトン情報とのマッチングの評価関数の値が、所定値以下になった場合に、マッチングしたと判定する。そして、第Ｋの基準スケルトン情報に対応する第Ｋのつかみ連動動作をプレーヤＰＬが行っていると判定する。
【０１３３】
このようにすれば、プレーヤの他方の手が複数の第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを、画像センサＩＳＥからの画像情報に基づき判定できる。
【０１３４】
なお、画像情報に基づくつかみ連動動作の判定手法は、このようなスケルトン情報を用いた手法には限定されず、公知の種々の動作判定手法を採用できる。例えばカラー画像情報やデプス情報そのものを用いて、マッチング処理を行って、プレーヤＰＬがつかみ連動動作を行っているか否かを判定してもよい。或いは、例えばスケルトン情報での手首や肘などの関節位置の情報の変化だけを監視して、プレーヤＰＬがつかみ連動動作を行っているか否かを判定してもよい。
【０１３５】
或いは、つかみ連動動作を行っている他方の手に対応する画像領域に対する画像処理を行って、他方の手が、つかみ連動動作を行っているか否かを判定したり、複数の第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【０１３６】
例えば図７（Ａ）、図７（Ｂ）に、画像センサＩＳＥにより撮像されたカラー画像情報（デプス情報）の例を示す。
【０１３７】
図７（Ａ）では、一方の手である左手ＨＤＬは、相手キャラクタ等をつかむ動作を行っている。この場合には、他方の手である右手ＨＤＲに対応する画像領域に対して画像処理を行う。そして図７（Ａ）では、他方の手である右手ＨＤＲが、手のひらが開いた状態（パーの状態）になっていることが、画像処理により検出される。このように、一方の手である左手ＨＤＬがつかみ動作を行っており、他方の手である右手ＨＤＲが、手のひらが開いた状態であることが、画像処理により検出されると、プレーヤＰＬが、図６（Ａ）に示すように、平手で攻撃するつかみ連動動作を行っていると判定する。
【０１３８】
また図７（Ｂ）では、一方の手である左手ＨＤＬは、相手キャラクタ等をつかむ動作を行っているため、他方の手である右手ＨＤＲに対応する画像領域に対して画像処理を行う。そして図７（Ｂ）では、他方の手である右手ＨＤＲが、手のひらが閉じた状態（グーの状態）であることが、画像処理により検出される。このように、一方の手である左手ＨＤＬがつかみ動作を行っており、他方の手である右手ＨＤＲが、手のひらが閉じた状態であることが、画像処理により検出されると、プレーヤＰＬが、図６（Ｂ）に示すように、パンチで攻撃するつかみ連動動作を行っていると判定する。
【０１３９】
このように図７（Ａ）、図７（Ｂ）で説明した手法によれば、プレーヤＰＬの他方の手が、つかみ連動動作を行っているか否かを判定したり、複数の第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定できる。即ち、他方の手が、平手攻撃のつかみ連動動作やパンチ攻撃のつかみ連動動作のうち（第１〜第Ｍのつかみ連動動作のうち）、いずれのつかみ連動動作を行っているかを判定できる。
【０１４０】
そして、このようにつかみ連動動作が行われたと判定されると、例えば図８（Ａ）、図８（Ｂ）に示すような画像を生成して表示部１９０に表示する。図８（Ａ）では、プレーヤＰＬに対応するキャラクタの左手ＨＬＯＢが、相手キャラクタの肩をつかみ、右手ＨＲＯＢが、相手キャラクタに平手攻撃を行っている画像が生成されている。また図８（Ｂ）では、キャラクタの左手ＨＬＯＢが、相手キャラクタの肩をつかみ、右手ＨＲＯＢが、相手キャラクタにパンチ攻撃（げんこつ攻撃）を行っている画像が生成されている。
【０１４１】
以上の本実施形態の手法によれば、プレーヤのつかみ動作と、それに続くつかみ連動動作を、画像センサからの画像情報に基づいて判定できる。従って、ゲームコントローラを用いたゲーム操作によっては検出することが難しいプレーヤのつかみ動作やつかみ連動動作を検知して、プレーヤがつかみ動作やつかみ連動動作を行ったか否かを判定できるようになる。従って、プレーヤに対応するキャラクタがゲーム空間（オブジェクト空間）内を移動して、相手キャラクタやアイテム等をつかむことでゲームが進行するようなゲームを実現できる。また、プレーヤは、現実世界と同様なつかみ動作を行うことで、自身に対応するキャラクタもつかみ動作を行うようになる。従って、プレーヤの動きがゲーム画像に直感的に反映されるようになり、これまでにはないゲーム画像の生成が可能になる。また、プレーヤの動作がそのままゲーム画像に反映するため、プレーヤの仮想現実感を向上できる。
【０１４２】
また、つかみ動作に続くつかみ連動動作についても判定することで、これまでは実現することが難しかった様々なゲームを提供できる。例えば、ゲーム空間内の相手キャラクタを一方の手でつかんで、他方の手で、平手攻撃を行ったり、パンチ攻撃を行ったり、投げ攻撃を行うこと可能になる。或いは、ゲーム空間に配置されるアイテムを一方の手でつかんで、他方の手でアイテムを叩いたり、撫でたり、調べたりすることが可能になる。この場合に本実施形態によれば、他方の手によるつかみ連動動作が、どのような内容の動作であるかを判別できる。即ち、他方の手によるつかみ連動動作が、平手攻撃なのか、パンチ攻撃なのか、投げ攻撃なのかを判定したり、叩く動作なのか、撫でる動作なのか、調べる動作なのかを判定できる。従って、その判定結果に応じて、その後のゲーム進行やゲーム展開を変化させることが可能になり、これまでにないゲームの実現が可能になる。
【０１４３】
また本実施形態では、一方の手がつかみ動作を行っていると判定された場合に、他方の手についてのスケルトン情報や、他方の手に対する画像処理が行われて、他方の手によるつかみ連動動作が判定される。従って、プレーヤのつかみ連動動作を、適切且つ確実に検出することが可能になる。
【０１４４】
即ち、図７（Ａ）、図７（Ｂ）の右手ＨＤＲの動作だけを画像処理やスケルトン情報で検知して、つかみ連動動作を判定してしまうと、つかみ連動動作ではない動作を誤ってつかみ連動動作と判定してしまうおそれがある。また、つかみ連動動作検出用の画像処理等を、例えば画面全体の画像に対して行わなければならなくなり、処理負荷も増加してしまう。特に、このようなつかみ連動動作検出用の画像処理やスケルトン情報によるつかみ連動動作の検出処理を、全てのフレームにおいて実行すると、処理負荷が過大になってしまう。
【０１４５】
この点、本実施形態では、図４（Ａ）、図４（Ｂ）に示すようなつかみ動作が行われたと判定されたことを条件に、図７（Ａ）、図７（Ｂ）で説明したつかみ連動動作検出用の画像処理やスケルトン情報によるつかみ連動動作の検出処理が実行される。従って、例えば全てのフレームにおいてつかみ連動動作検出用の画像処理やスケルトン情報によるつかみ連動動作の検出処理を実行する必要はなくなるため、処理負荷を軽減できる。また、つかみ連動動作の判定の前に、つかみ動作を判定すれば、つかみ連動動作検出用の画像処理等を行う範囲を限定することが可能になる。例えば、プレーヤの一方の手である左手がつかみ動作を行っていると判定された場合には、他方の手である右手に対してだけ、つかみ連動動作検出用の画像処理等を行えば済むようになるため、処理負荷を軽減できる。
【０１４６】
また本実施形態では、プレーヤがつかみ準備動作を行ったと判定された場合に、つかみ準備動作を行っているプレーヤの手の画像に対して画像処理が行われて、プレーヤがつかみ動作を行っているか否かが判定される。従って、プレーヤのつかみ動作を、適切且つ確実に検出することが可能になる。
【０１４７】
即ち、図４（Ａ）、図４（Ｂ）に示すように、プレーヤの手のひらが開いた状態から閉じた状態に変化したことだけを検知して、つかみ動作を判定してしまうと、つかみ動作ではない動作を誤ってつかみ動作と判定してしまうおそれがある。また、プレーヤの手のひらが開いた状態から閉じた状態に変化したことを検出するつかみ動作検出用の画像処理を、例えば画面全体の画像に対して行わなければならなくなり、処理負荷も増加してしまう。
【０１４８】
この点、本実施形態では、図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作が行われたと判定されたことを条件に、図４（Ａ）、図４（Ｂ）で説明したつかみ動作検出用の画像処理が実行される。従って、例えば全てのフレームにおいてつかみ動作検出用の画像処理を実行する必要はなくなるため、処理負荷を軽減できる。またつかみ動作検出用の画像処理を行う範囲も限定できるため、処理負荷を更に軽減できる。
【０１４９】
２．２ 画像領域の面積に基づく判定処理
次に、図４（Ａ）、図４（Ｂ）のつかみ動作や図７（Ａ）、図７（Ｂ）のつかみ連動動作を判定する具体的な手法の例について説明する。例えば本実施形態では、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定している。また本実施形態では、一方の手がつかみ動作を行っていると判定された場合には、他方の手の部分の画像領域の面積に基づいて、プレーヤがつかみ連動動作を行っている否かを判定している。なお以下では、画像領域の面積に基づくつかみ動作の判定手法を主に例にとり説明するが、この判定手法は、つかみ連動動作の判定に対しても同様に適用できる。
【０１５０】
例えば図９（Ａ）は、プレーヤの手のひらが開いた時の状態（パーの状態）を示し、図９（Ｂ）は、プレーヤの手のひらが閉じた時の状態（グーの状態）を示している。図９（Ａ）、図９（Ｂ）に示すように、プレーヤの手の画像領域の面積Ｓは、図９（Ａ）の手のひらが開いた状態よりも、図９（Ｂ）の手のひらが閉じた状態の方が小さくなる。従って、手の画像領域の面積Ｓが、判定しきい値ＶＴよりも大きい場合には、手のひらが開いた状態であると判定でき、面積ＳがＶＴよりも小さい場合には、手のひらが閉じた状態であると判定できる。
【０１５１】
従って、図９（Ｃ）に示すように、プレーヤのつかみ準備動作が行われたと判定された後に、対応する手の画像領域の面積Ｓが減少し、面積Ｓが判定しきい値ＶＴよりも小さくなった場合に、プレーヤがつかみ動作を行ったと判定できる。一方、つかみ準備動作が行われたと判定された後、所定時間が経過しても、手の画像領域の面積Ｓが、判定しきい値ＶＴよりも小さくならなかった場合には、つかみ動作は行われなかったと判定できる。
【０１５２】
なお、面積Ｓは、図２（Ｂ）に示すカラー画像情報における画像領域の面積であってもよいし、デプス情報における画像領域の面積であってもよい。例えばカラー画像情報を用いる場合には、手の色（肌の色）に対応する色相範囲を設定し、カラー画像情報の各画素位置の色が、この色相範囲に入るか否かを判断する。そして色相値が色相範囲に入る画素の数を算出することにより、面積Ｓを求めればよい。またデプス情報を用いる場合には、手のデプス値に対応するデプス範囲を設定し、デプス情報の各画素位置のデプス値が、このデプス範囲に入るか否かを判断する。そしてデプス値がデプス範囲に入る画素の数を算出することにより、面積Ｓを求めればよい。
【０１５３】
また、図１０（Ａ）に示すように表示部１９０にプレーヤＰＬが近づいた場合と、図１０（Ｂ）に示すように表示部１９０からプレーヤＰＬが遠ざかった場合とでは、手の画像領域の面積Ｓは異なった面積になってしまう。例えば図１０（Ａ）のように表示部１９０とプレーヤＰＬとの間の距離が短い距離ＬＤＮである場合には、面積Ｓは大きな値になり、図１０（Ｂ）のように長い距離ＬＤＦである場合には、面積Ｓは小さな値になる。
【０１５４】
そこで本実施形態では、画像領域の面積Ｓを判定する際の判定しきい値ＶＴを、表示部１９０とプレーヤＰＬとの距離情報に応じて変化させる。例えば図１０（Ｃ）に示すように、表示部１９０とプレーヤＰＬとの距離Ｌが短い距離ＬＤＮである場合には、判定しきい値ＶＴを大きなしきい値ＶＴＮに設定する。一方、距離Ｌが長い距離ＬＤＦである場合には、判定しきい値ＶＴを小さなしきい値ＶＴＦに設定する。即ち、距離Ｌが長くなるにつれて、判定しきい値ＶＴを小さくする。
【０１５５】
このようにすることで、図１０（Ａ）のように表示部１９０にプレーヤＰＬが近づいた場合にも、図１０（Ｂ）のように遠ざかった場合にも、適切な判定しきい値ＶＴを用いて、画像領域の面積Ｓを判定できるようになる。従って、面積Ｓに基づくつかみ動作やつかみ連動動作の判定処理の精度を向上できる。
【０１５６】
なお図１０（Ｃ）では、表示部１９０とプレーヤＰＬとの距離Ｌそのものを用いて、判定しきい値ＶＴを設定しているが、本実施形態はこれに限定されない。例えば、キャラクタＣＨやキャラクタＣＨの手のデプス値により、判定しきい値ＶＴを設定してもよい。この場合には、このデプス値が、表示部１９０とプレーヤＰＬの距離を表す距離情報に相当することになる。
【０１５７】
また画像処理の精度や正確性を高めるためには、プレーヤに、つかみ動作やつかみ連動動作の判定のための認識用部材を装着させ、その認識用部材の画像情報に基づいて、プレーヤがつかみ動作やつかみ連動動作を行っているか否かを判定することが望ましい。
【０１５８】
例えば図１１（Ａ）、図１１（Ｂ）に、このような認識用部材の一例である手袋ＥＴＨを示す。図１１（Ａ）に示すように、この手袋ＥＴＨ（広義には認識用部材）は、その手のひら側が赤（広義には第１の色）に設定されている。また図１１（Ｂ）に示すように、その手の甲側が青（広義には第２の色）に設定されている。このように、手のひらと手の甲とで色を異ならせることで、プレーヤが手のひらの方を表示部１９０に向けているのか手の甲の方を向けているのかを、容易に判定できるようになる。
【０１５９】
そして図１２（Ａ）は、手袋ＥＴＨを装着した手のひらが開いた状態（パーの状態）を示している。この場合には、手の画像領域の大部分において、手袋ＥＴＨの手のひら側の色である赤が占めるようになる。一方、図１２（Ｂ）は、手のひらが閉じた状態（グーの状態）を示している。この場合には、手の画像領域の第１の領域では、手のひら側の色である赤が占め、第２の領域では、手の甲側の色である青が占めるようになる。
【０１６０】
そこで本実施形態では、図１２（Ｃ）に示すように、プレーヤの手がつかみ準備動作を行っていると判断された後に、手のひら側の色である赤（第１の色）の画像領域の面積ＳＲが減少した場合に、プレーヤがつかみ動作を行っていると判定する。具体的には、赤の色の面積ＳＲが、判定しきい値ＶＴＲよりも小さくなった場合に、プレーヤがつかみ動作を行っていると判定する。
【０１６１】
なお図１２（Ｄ）に示すように、手の甲側の色である青（第２の色）の画像領域の面積ＳＢが増加した場合に、プレーヤがつかみ動作を行っていると判定してもよい。具体的には、青の色の面積ＳＢが、判定しきい値ＶＴＢよりも大きくなった場合に、プレーヤがつかみ動作を行っていると判定する。
【０１６２】
さて、図１２（Ａ）〜図１２（Ｄ）で説明した判定手法では、以下に説明する問題が生じるおそれがある。
【０１６３】
例えばプレーヤの手が図１３（Ａ）、図１３（Ｂ）、図１３（Ｃ）のように回転した場合を考える。図１３（Ａ）では、手のひら側が表示部１９０（画像センサ）の方に向いており、その後の図１３（Ｂ）では、例えば手の親指側が表示部１９０の方に向いている。また、その後の図１３（Ｃ）では、手の甲側が表示部１９０の方に向いている。
【０１６４】
そして図１３（Ａ）から図１３（Ｂ）に変化した時に、赤の面積ＳＲは減少する。従って、このような手の回転により図１２（Ｃ）のように赤の面積ＳＲが判定しきい値ＶＴＲよりも小さくなってしまうと、誤判定が生じる。即ち、図１３（Ａ）〜図１３（Ｃ）のように手が回転した場合においても、図１２（Ａ）、図１２（Ｂ）に示すつかみ動作が行われていると誤判定してしまう。図１２（Ｄ）に示すように青の面積ＳＢの増加を検出した場合にも、同様の誤判定が生じる。
【０１６５】
そこで本実施形態では図１４（Ａ）、図１４（Ｂ）に示すように、プレーヤの手がつかみ準備動作を行っていると判断された後に、赤（第１の色）の画像領域ＳＢの面積が第１の判定しきい値ＶＴＲよりも小さくなり、且つ、青（第２の色）の画像領域の面積ＳＢが第２の判定しきい値ＶＴＢ２よりも小さい場合に、プレーヤがつかみ動作を行っていると判定する。このようにすれば図１３（Ａ）〜図１３（Ｃ）のように手が回転した場合と、図１２（Ａ）、図１２（Ｂ）に示すようにつかみ動作が行われた場合とを、区別して判定することが可能になる。
【０１６６】
即ち図１３（Ａ）〜図１３（Ｃ）のように手が回転した場合には、図１４（Ａ）に示すように赤の面積ＳＲは減少するが、図１４（Ｃ）に示すように、青の面積ＳＢも第２の判定しきい値ＶＴＢ２を超えるようになる。従って、赤の面積ＳＲが減少し、且つ、青の面積ＳＢが第２の判定しきい値ＶＴＢ２を超えないことを検出すれば、図１２（Ａ）、図１２（Ｂ）のつかみ動作を、誤判定が生じることなく判定することが可能になる。
【０１６７】
なお図１４（Ａ）、図１４（Ｂ）の第１の判定しきい値ＶＴＲ及び第２の判定しきい値ＶＴＢ２についても、図１０（Ｃ）の場合と同様に、表示部１９０とプレーヤとの間の距離情報に応じて変化させることが望ましい。即ち、表示部１９０とプレーヤとの距離Ｌが長くなるにつれて、第１の判定しきい値ＶＴＲ及び第２の判定しきい値ＶＴＢ２を小さくする。
【０１６８】
このようにすれば、表示部１９０とプレーヤとの間の距離が変化した場合にも、適切な判定しきい値ＶＴＲ、ＶＴＢ２を用いて、画像領域の面積ＳＲ、ＳＢを判定できるようになり、つかみ動作の判定処理の精度を向上できる。
【０１６９】
なお、以上に説明したつかみ動作の判定手法は、つかみ連動動作に対しても適用できる。
【０１７０】
例えば、図９（Ａ）〜図９（Ｃ）で説明した画像領域の面積に基づく判定処理は、つかみ動作のみならず、つかみ連動動作の判定に対しても適用できる。具体的には、プレーヤの一方の手がつかみ動作を行っていると判定された場合には、他方の手の部分に対応する画像領域の面積に基づいて、他方の手が、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。例えば図９（Ａ）に示すように画像領域の面積Ｓが大きい場合には、図６（Ａ）に示す平手攻撃のつかみ連動動作が行われたと判定する。一方、図９（Ｂ）に示すように画像領域の面積Ｓが小さい場合には、図６（Ｂ）に示すパンチ攻撃のつかみ連動動作が行われたと判定する。
【０１７１】
この場合に、カラー画像情報における画像領域の面積に基づいて、つかみ連動動作を判定してもよいし、デプス情報における画像領域の面積に基づいて、つかみ連動動作を判定してもよい。
【０１７２】
また、つかみ連動動作の判定の場合にも、図１０（Ａ）〜図１０（Ｃ）で説明したように、画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部１９０とプレーヤＰＬとの間の距離情報に応じて変化させることが望ましい。
【０１７３】
また図１１（Ａ）〜図１４（Ｃ）で説明した認識用部材の画像情報に基づく判定処理も、つかみ動作のみならず、つかみ連動動作の判定に対しても適用できる。具体的には、プレーヤが手に装着する認識用部材の画像情報に基づいて、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。例えば図１２（Ａ）に示すように赤（第１の色）の画像領域の面積ＳＲが大きい場合には、図６（Ａ）に示す平手攻撃のつかみ連動動作が行われたと判定する。一方、図１２（Ｂ）に示すように赤の画像領域の面積ＳＲが小さくなったり、青（第２の色）の画像領域の面積ＳＢが大きくなった場合には、図６（Ｂ）に示すパンチ攻撃のつかみ連動動作が行われたと判定する。
【０１７４】
また、認識用部材である手袋の色の設定は図１１（Ａ）、図１１（Ｂ）のような設定に限定されず、種々の変形実施が可能である。また色自体ではなくて、手袋に描かれた模様等の特定のパターンの画像情報に基づいて、プレーヤのつかみ動作やつかみ連動動作を判定してもよい。また、認識用部材は手袋には限定されない。例えばプレーヤの指に装着した指輪等を認識用部材とし、その指輪等の画像情報に基づいて、プレーヤのつかみ動作やつかみ連動動作を判定してもよい。
【０１７５】
また、手の形状認識処理により、プレーヤのつかみ動作やつかみ連動動作を判定してもよい。具体的には、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像情報に対する形状認識処理を行うことで、プレーヤがつかみ動作やつかみ連動動作を行っているか否かを判定する。例えば画像認識された手の形状が、図９（Ａ）の形状から図９（Ｂ）の形状に変化した場合に、プレーヤがつかみ動作を行っていると判定する。或いは、画像認識された手の形状が、図９（Ａ）の形状である場合には、図６（Ａ）に示す平手攻撃のつかみ連動動作が行われたと判定し、図９（Ｂ）の形状である場合には、図６（Ｂ）に示すパンチ攻撃のつかみ連動動作が行われたと判定する。この場合の形状認識処理としては、公知の様々な画像認識処理を採用できる。
【０１７６】
２．３ つかみ連動動作
さて、前述したように本実施形態では、複数のつかみ連動動作のうちのいずれのつかみ連動動作をプレーヤＰＬが行っているかを、画像センサＩＳＥからの画像情報に基づいて判定する。即ち、図６（Ａ）に示すようなつかみ連動動作（平手攻撃）が行われたのか、図６（Ｂ）に示すようなつかみ連動動作（パンチ攻撃）が行われたのかを、プレーヤＰＬを撮像する画像センサＩＳＥからの画像情報に基づき判定する。
【０１７７】
このようにすれば、例えば図６（Ａ）のつかみ連動動作が行われた場合には、このつかみ連動動作に対応する動作をキャラクタに行わせることで、図８（Ａ）に示すような画像を生成できるようになる。また図６（Ｂ）のつかみ連動動作が行われた場合には、このつかみ連動動作に対応する動作をキャラクタに行わせることで、図８（Ｂ）に示すような画像を生成できるようになる。
【０１７８】
従って、プレーヤＰＬの動きに応じて、様々なつかみ連動動作画像が生成されるようになり、生成される画像の多様性を増すことができる。また、プレーヤＰＬの動きに忠実なつかみ連動動作画像を生成できるため、プレーヤＰＬの仮想現実感を向上できる。
【０１７９】
この場合に本実施形態では、プレーヤＰＬがつかみ連動動作を行っているか否かを、プレーヤＰＬのスケルトン情報に基づいて判定してもよい。例えば、図６（Ａ）、図６（Ｂ）で説明したような複数のつかみ連動動作（第１〜第Ｍのつかみ連動動作）のいずれのつかみ連動動作を行っているかを、プレーヤＰＬのスケルトン情報に基づいて判定する。
【０１８０】
即ち本実施形態では図１５示すように、図２（Ｂ）のデプス情報等の画像情報に基づいて、プレーヤＰＬの動作を特定するためのスケルトン情報を取得する。図１５ではスケルトン情報として、スケルトンの関節Ｃ０〜Ｃ１９の位置情報（３次元座標）が取得されている。これらの関節Ｃ０〜Ｃ１０は、画像センサＩＳＥに映るプレーヤＰＬの関節に対応するものである。なお画像センサＩＳＥにプレーヤＰＬの全身が映らない場合には、映った部分だけの関節の位置情報を有するスケルトン情報を生成すればよい。
【０１８１】
例えば図２（Ｂ）のデプス情報を用いれば、画像センサＩＳＥ側から見たプレーヤＰＬ等の３次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などによりプレーヤＰＬの顔等の部位の領域も特定できる。そこで、これらの３次元形状の情報等に基づいて、プレーヤＰＬの各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の２次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の３次元座標情報を求め、図１５に示すようなスケルトン情報を取得する。
【０１８２】
このようなスケルトン情報を用いれば、プレーヤＰＬのジェスチャ等の動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばモーションデータとして利用して、オブジェクト空間においてキャラクタを動作させることも可能になる。
【０１８３】
そして本実施形態では、プレーヤＰＬのつかみ連動動作を、図１５のスケルトン情報を用いて判断する。
【０１８４】
例えば図１６（Ａ）は、図６（Ａ）のようなつかみ連動動作を行っているプレーヤＰＬを、画像センサＩＳＥで撮像することで得られたスケルトン情報の例である。一方、図１６（Ｂ）は、図６（Ｂ）のようなつかみ連動動作を行っているプレーヤＰＬを、画像センサＩＳＥで撮像することで得られたスケルトン情報の例である。
【０１８５】
図１６（Ａ）、図１６（Ｂ）に示すように、スケルトン情報の関節位置Ｃ０〜Ｃ１９の情報を用いることで、プレーヤＰＬが、図６（Ａ）、図６（Ｂ）のいずれのつかみ連動動作を行ったのかを判定できる。
【０１８６】
例えば図６（Ａ）の右手ＨＤＲに対応する図１６（Ａ）の関節Ｃ７、Ｃ６の位置の変化を検出することで、右手ＨＤＲで平手攻撃を行っている図６（Ａ）のつかみ連動動作を判別できる。また図６（Ｂ）の右手ＨＤＲに対応する図１６（Ｂ）の関節Ｃ７、Ｃ６の位置の変化を検出することで、右手ＨＤＲでパンチ攻撃を行っている図６（Ｂ）のつかみ連動動作を判別できる。
【０１８７】
そして図１６（Ａ）に示すようなスケルトン情報が検出された場合には、図６（Ａ）のつかみ連動動作の画像として、図８（Ａ）に示すような画像を生成する。また図１６（Ｂ）に示すようなスケルトン情報が検出された場合には、図６（Ｂ）のつかみ動作動作の画像として、図８（Ｂ）に示すような画像を生成する。
【０１８８】
このように、デプス情報から得られるスケルトン情報を用いて、つかみ連動動作を判定すれば、より正確で適切な判定処理を実現できる。また例えばキャラクタのモーションを再生するために使用されるスケルトン情報を有効活用して、つかみ連動動作の判定処理を実現できるようになる。
【０１８９】
なお、以上に説明したスケルトン情報に基づく動作判定処理は、つかみ連動動作のみならず、図３（Ａ）、図３（Ａ）等で説明したつかみ準備動作の判定処理に対しても適用できる。
【０１９０】
また本実施形態では、図１５に示すように取得されたスケルトン情報を用いて、画像処理の処理領域を設定してもよい。
【０１９１】
例えばプレーヤＰＬの一方の手である左手がつかみ動作を行っていると判定されたとする。この場合には、図１７（Ａ）に示すように、プレーヤＰＬの他方の手である右手に対応する関節Ｃ７、Ｃ６の位置を含む画像領域を、画像処理の処理領域ＲＰＣ１に設定する。そして、設定された処理領域ＲＰＣ１でのデプス情報やカラー画像情報に対して、つかみ連動動作の判定のための画像処理を行う。具体的には、この処理領域ＲＰＣ１において、図９（Ａ）〜図１４（Ｃ）で説明したような画像領域の面積を求める画像処理を行う。或いは、この処理領域ＲＰＣ１において、つかみ連動動作を判定するための手の形状認識処理を行う。
【０１９２】
このようにすれば、全ての領域において画像処理を行う必要がなくなり、画面サイズよりも小さな処理領域ＲＰＣ１において画像処理を行えば済むようになる。従って、画像処理の処理負荷を軽減でき、少ない処理負荷で、つかみ連動動作の判定のための画像処理を実行できるようになる。
【０１９３】
なお、以上に説明したスケルトン情報に基づく画像領域の設定処理は、つかみ連動動作の判定処理のみならず、つかみ動作の判定処理にも適用できる。具体的には、プレーヤＰＬのスケルトン情報に基づいて、プレーヤＰＬの左手がつかみ準備動作を行っていると判定されたとする。この場合には図１７（Ａ）、図１７（Ｂ）に示すように、プレーヤＰＬの左手ＨＤＬに対応する関節Ｃ１１、Ｃ１０の位置を含む画像領域を、画像処理の処理領域ＲＰＣ２に設定する。そして、設定された処理領域ＲＰＣ２でのデプス情報やカラー画像情報に対して、つかみ動作の判定のための画像処理を行う。具体的には、この処理領域ＲＰＣ２において、図９（Ａ）〜図１４（Ｃ）で説明したような画像領域の面積を求める画像処理を行う。或いは、この処理領域ＲＰＣ２において、つかみ動作を判定するための手の形状認識処理を行う。このようにすれば、少ない処理負荷で、つかみ動作の判定のための画像処理を実行できるようになる。
【０１９４】
２．４ 攻撃演算処理
本実施形態では、図７（Ａ）〜図８（Ｂ）で説明したように、画像センサＩＳＥからの画像情報に基づいて、他方の手がつかみ連動動作として攻撃動作を行っているか否かを判定する。例えば図７（Ａ）、図８（Ａ）では、他方の手が、平手による攻撃動作を行っているか否かを判定しており、図７（Ｂ）、図８（Ｂ）では、パンチによる攻撃動作を行っているか否かを判定している。
【０１９５】
この場合に、画像センサＩＳＥからの画像情報に基づいて、他方の手による攻撃動作の攻撃演算用パラメータを設定し、攻撃演算用パラメータに基づいて攻撃演算処理を行うことが望ましい。
【０１９６】
例えば図７（Ａ）、図８（Ａ）の平手攻撃において、他方の手である右手ＨＤＲの画像情報に基づいて、右手ＨＤＲを振る速度や、振り幅を検出する。そして、振る速度や振り幅が大きい場合には、攻撃演算用パラメータである攻撃力パラメータの値を大きくする。これにより、平手攻撃による相手キャラクタのダメージ量は大きくなる。一方、振る速度や振り幅が小さい場合には、攻撃力パラメータの値を小さくする。これにより、平手攻撃による相手キャラクタのダメージ量は小さくなる。
【０１９７】
このように、つかみ動作やつかみ連動動作の判定のみならず、攻撃演算用パラメータの設定処理においても、画像センサＩＳＥからの画像情報を用いれば、画像情報の有効活用を図れる。また、プレーヤＰＬの手の動きの速さや手の動き量に応じて、相手キャラクタのダメージ量も大きくなる。従って、プレーヤの動きがゲームに対して更に効果的に反映されるようになり、プレーヤの仮想現実感を向上できる。
【０１９８】
なお図１８に、各つかみ連動動作パターンに対して各攻撃演算用パラメータを対応づけたテーブルデータの例を示す。例えばつかみ連動動作パターンＰＡには、攻撃Ａが対応づけられており、攻撃Ａの攻撃力パラメータや硬直時間パラメータの値が対応づけられている。また、つかみ連動動作パターンＰＢには、攻撃Ｂが対応づけられており、攻撃Ｂの攻撃力パラメータや硬直時間パラメータの値が対応づけられている。ここで、硬直時間パラメータは、攻撃演算用パラメータの１つであり、プレーヤの攻撃がヒットした場合に相手キャラクタを硬直させる時間を表すパラメータである。図１８に示すようなテーブルデータを用意することで、例えばスケルトン情報に基づいてつかみ連動動作パターンを判別し、判別されたパターンに対応づけられた攻撃演算用パラメータを用いて攻撃演算を実行できるようになる。
【０１９９】
２．５ 詳細な処理例
次に本実施形態の詳細な処理例について図１８、図１９のフローチャートを用いて説明する。図１８は、本実施形態の全体的な処理を示すフローチャートである。
【０２００】
まず、図２（Ａ）、図２（Ｂ）で説明したように、画像センサからの画像情報を取得する（ステップＳ１）。そして、取得された画像情報に基づいて、プレーヤの一方の手が、図４（Ａ）、図４（Ｂ）に示すようなつかみ動作を行っているか否かを判定する（ステップＳ２）。
【０２０１】
そして、つかみ動作を行っていると判定された場合には（ステップＳ３）、他方の手に対応する画像に対する画像処理等を行って、他方の手が、図６（Ａ）〜図７（Ｂ）に示すようなつかみ連動動作を行っているか否かを判定する（ステップＳ４）。そして、つかみ連動動作を行っていると判定された場合には（ステップＳ５）、図８（Ａ）、図８（Ｂ）に示すように、プレーヤに対応するキャラクタがつかみ動作及びつかみ連動動作を行う画像を生成する（ステップＳ６）。
【０２０２】
図２０は、プレーヤのスケルトン情報を用いて、プレーヤがつかみ動作やつかみ連動動作を行っているか否かを判定する処理のフローチャートである。
【０２０３】
まず、図２（Ａ）、図２（Ｂ）で説明したように、画像センサによりカラー画像情報、デプス情報等の画像情報を取得する（ステップＳ１１）。次に、取得されたデプス情報等を用いて、図１５で説明したプレーヤのスケルトン情報を求める（ステップＳ１２）。そして、求められたスケルトン情報に基づいて、プレーヤの一方の手がつかみ動作を行っているか否かを判定する（ステップＳ１３）。具体的には、スケルトン情報に基づいてプレーヤの一方の手がつかみ準備動作を行っているか否かを判定し、つかみ準備動作を行っていると判定された場合には、その一方の手がつかみ動作を行っているか否かを判定する。
【０２０４】
そして、つかみ動作を行っていると判定された場合には（ステップＳ１４）、図１７（Ａ）、図１７（Ｂ）で説明したように、スケルトン情報に基づき、他方の手の位置を特定し、特定された位置を含む画像領域を、画像処理の処理領域に設定する（ステップＳ１５）。次に、設定された処理領域での画像情報に基づき画像処理を行って、プレーヤがつかみ連動動作を行っているか否かを判定する（ステップＳ１６）。
【０２０５】
そして、つかみ連動動作を行っていると判定された場合には（ステップＳ１７）、図８（Ａ）、図８（Ｂ）に示すように、プレーヤに対応するキャラクタがつかみ動作及びつかみ連動動作を行う画像を生成する（ステップＳ１８）。
【０２０６】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像情報に基づくプレーヤのつかみ動作やつかみ連動動作やつかみ準備動作の判定手法、画像領域の面積に基づく判定手法、スケルトン情報の取得手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【符号の説明】
【０２０７】
ＩＳＥ 画像センサ、ＰＬ プレーヤ、ＳＣ 画面、ＨＤＬ 左手、ＨＤＲ 右手、
ＨＬＯＢ キャラクタの左手、ＨＲＯＢ キャラクタの右手、
ＴＯＢ ターゲットオブジェクト（相手キャラクタ）、
ＲＰＣ１、ＲＰＣ２ 処理領域、ＥＴＨ 手袋（認識用部材）、
１００ 処理部、１０２ 画像情報取得部、１０４ 情報取得部、
１０５ スケルトン情報取得部、１０６ ゲーム演算部、１０７ つかみ準備動作判定部、
１０９ つかみ動作判定部、１０９ つかみ連動動作判定部、１１０ 攻撃動作判定部、
１１２ オブジェクト空間設定部、１１４ キャラクタ制御部、１１５ 移動処理部、
１１６ モーション処理部、１１８ 仮想カメラ制御部、１２０ 画像生成部、
１３０ 音生成部、１６０ 操作部、１７０ 記憶部、１７１ 画像情報記憶部、
１７２ カラー画像情報記憶部、１７３ デプス情報記憶部、
１７４ スケルトン情報記憶部、１７５ オブジェクトデータ記憶部、
１７６ モーションデータ記憶部、１７７ モデルデータ記憶部、１７９ 描画バッファ、
１８０ 情報記憶媒体、１９０ 表示部、１９２ 音出力部、１９４ 補助記憶装置、
１９６ 通信部
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及び画像生成システム等に関する。
【背景技術】
【０００２】
近年、従来の操作ボタンや方向キーを備えたゲームコントローラに代わって、モーションセンサを内蔵するゲームコントローラを用いてゲーム操作が可能なゲーム装置が人気を博している。このような操作インターフェースを備えるゲーム装置によれば、プレーヤの直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献１に開示される技術がある。
【０００３】
しかしながら、このようなモーションセンサを内蔵するゲームコントローラでは、プレーヤが手を振る動作については検知できるが、プレーヤが物をつかむ動作を検知することは難しい。
【０００４】
また、プレーヤに対応するキャラクタが、相手キャラクタの方に手を伸ばす動作を行った場合に、その手の動作が、単に相手キャラクタに対して手を伸ばしただけなのか、或いは手を伸ばして相手キャラクタをつかむ動作なのかを判定することは容易ではない。
【０００５】
更に、プレーヤがつかむ動作を行った後、そのつかむ動作に続いてプレーヤが行いたい動作を、如何にして判別するかが課題になる。例えば、一方の手である左手で相手キャラクタの右肩をつかんだ後、他方の手である右手で相手キャラクタに攻撃を加える場合もあるし、その右手で相手キャラクタの左肩をつかむ場合もある。従って、このようなつかみ動作に連動して行われる動作を如何にして判別するかが課題になる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−８９６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の幾つかの態様によれば、プレーヤのつかみ動作及びつかみ連動動作を検出して画像を生成できるプログラム、情報記憶媒体、画像生成システム等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像情報に基づいて、プレーヤの右手、左手の一方の手がつかみ動作を行っているか否かを判定するつかみ動作判定部と、前記一方の手がつかみ動作を行っていると判定された場合には、前記画像情報に基づいて、前記一方の手とは異なる他方の手が、前記つかみ動作に続くつかみ連動動作を行っているか否かを判定するつかみ連動動作判定部と、前記つかみ動作及びつかみ連動動作の判定結果に基づいて画像を生成する画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００９】
本発明の一態様によれば、プレーヤの一方の手がつかみ動作を行っているか否かが、画像センサからの画像情報に基づき判定される。そしてつかみ動作が行われていると判定されると、プレーヤの他方の手がつかみ連動動作を行っているか否かが画像情報に基づき判定され、これらの判定結果に応じた画像が生成される。このように本発明の一態様によれば、プレーヤのつかみ動作と、それに続くつかみ連動動作を、画像センサからの画像情報に基づき判定できる。従って、プレーヤの動きが、生成される画像に直感的に反映されるようになり、これまでにはない画像の生成が可能になる。また、プレーヤの動作がそのまま画像に反映するため、プレーヤの仮想現実感等を向上できる。また、つかみ動作に続くつかみ連動動作についても判定することで、これまでは実現することが難しかった様々なゲームを提供でき、ゲーム展開やゲーム進行の多様化を図れる。
【００１０】
また本発明の一態様では、前記つかみ連動動作判定部は、前記他方の手が複数の第１〜第Ｍのつかみ連動動作（Ｍは２以上の整数）のうちのいずれのつかみ連動動作を行っているかを、前記画像センサからの前記画像情報に基づいて判定してもよい。
【００１１】
このようにすれば、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行ったかを判定し、その判定結果による画像を生成できるため、多様なつかみ連動動作画像の生成が可能になる。
【００１２】
また本発明の一態様では、前記つかみ連動動作判定部は、前記他方の手の部分に対応する画像領域の情報に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００１３】
このようにすれば、プレーヤがいずれのつかみ連動動作を行っているかを、他方の手の部分に対応する画像領域の情報を有効利用して判定できるようになる。
【００１４】
また本発明の一態様では、前記つかみ連動動作判定部は、所与の期間又は所与のタイミングにおける前記画像領域の情報に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００１５】
このように所与の期間における画像領域の情報を用いて判定を行えば、例えば画像領域の情報が瞬間的に変化した場合に、それをつかみ連動動作と誤判定してしまう事態などを防止できる。また所与のタイミングにおける画像領域の情報を用いて判定を行えば、例えば、つかみ連動動作が成功したか否かをそのタイミングにおいて判定することなどが可能になるため、これまでにないタイプのゲームの提供等が可能になる。
【００１６】
また本発明の一態様では、前記つかみ連動動作判定部は、前記画像領域の面積に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００１７】
このようにすれば、プレーヤがいずれのつかみ連動動作を行っているかを、画像領域の面積を求めるという画像処理で実現できるようになり、簡素な画像処理でつかみ連動動作の判定処理を実現できる。
【００１８】
また本発明の一態様では、前記画像情報取得部は、前記画像情報として、各画素位置にカラー値が設定されたカラー画像情報を取得し、前記つかみ連動動作判定部は、前記他方の手の部分に対応する前記カラー画像情報における前記画像領域の面積に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００１９】
このようにすれば、画像センサにより得られたカラー画像情報を利用した画像処理により、つかみ連動動作の判定処理を実現できる。
【００２０】
また本発明の一態様では、前記画像情報取得部は、前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、前記つかみ連動動作判定部は、前記他方の手に対応する前記デプス情報における前記画像領域の面積に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００２１】
このようにすれば、画像センサにより得られたデプス情報を利用した画像処理により、つかみ連動動作の判定処理を実現できる。
【００２２】
また本発明の一態様では、前記つかみ連動動作判定部は、前記画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させてもよい。
【００２３】
このようにすれば、表示部とプレーヤとの間の距離が変化した場合にも、精度の良いつかみ連動動作の判定処理を実現できる。
【００２４】
また本発明の一態様では、前記つかみ連動動作判定部は、前記プレーヤが手に装着する認識用部材の画像情報に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００２５】
このようにすれば、認識部材の画像情報を用いてつかみ連動動作の判定処理を実現できるため、プレーヤの手の画像だけを用いる手法に比べて、判定処理の精度等を向上できる。
【００２６】
また本発明の一態様では、前記つかみ連動動作判定部は、前記他方の手の部分の画像情報に対する形状認識処理により、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【００２７】
このようにすれば、プレーヤの一方の手によりつかみ動作が行われた場合に、他方の手の画像に対する形状認識処理を行うことで、プレーヤのつかみ連動動作の判定処理を実現できるようになる。
【００２８】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部を含み（情報取得部としてコンピュータを機能させ）、前記つかみ連動動作判定部は、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを、前記スケルトン情報に基づいて判定してもよい。
【００２９】
このようにすれば、スケルトン情報を有効活用して、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を他方の手が行ったのかを判定できるようになる。
【００３０】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部を含み（情報取得部としてコンピュータを機能させ）、前記つかみ連動動作判定部は、前記他方の手がつかみ連動動作を行っているか否かを、前記スケルトン情報に基づいて判定してもよい。
【００３１】
このようにすれば、スケルトン情報を有効活用して、プレーヤのつかみ連動動作の判定処理を実現できるようになる。
【００３２】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、つかみ動作又はつかみ連動動作を判定するための画像処理の処理領域を設定する情報取得部を含んでもよい（情報取得部としてコンピュータを機能させてもよい）。
【００３３】
このようにすれば、設定された処理領域において画像処理を行えば済むようになるため、画像処理の処理負荷を軽減でき、少ない処理負荷でつかみ連動動作の判定処理を実現できるようになる。
【００３４】
また本発明の一態様では、前記プレーヤに対応するキャラクタの制御を行うキャラクタ制御部を含み（キャラクタ制御部としてコンピュータを機能させ）、前記画像生成部は、前記プレーヤがつかみ動作及びつかみ連動動作を行っていると判定された場合には、前記キャラクタがつかみ動作及びつかみ連動動作を行う画像を生成してもよい。
【００３５】
このようにすれば、プレーヤがつかみ動作及びつかみ連動動作を行うと、それに対応してゲーム空間内のキャラクタもつかみ動作及びつかみ連動動作を行うようになるため、プレーヤの仮想現実感を向上できる。
【００３６】
また本発明の一態様では、前記つかみ連動動作判定部は、前記画像センサからの前記画像情報に基づいて、前記他方の手がつかみ連動動作として攻撃動作を行っているか否かを判定してもよい。
【００３７】
このようにすれば、例えば相手キャラクタ等を一方の手でつかみ、他方の手で攻撃するというような一連の動作を判定して、それに対応した画像を生成できるようになる。
【００３８】
また本発明の一態様では、前記画像センサからの前記画像情報に基づいて、前記他方の手による攻撃動作の攻撃演算用パラメータを設定し、攻撃演算用パラメータに基づいて攻撃演算処理を行う攻撃演算部を含んでもよい（攻撃演算部としてコンピュータを機能させてもよい）。
【００３９】
このように、つかみ動作やつかみ連動動作の判定のみならず、攻撃演算用パラメータの設定処理においても、画像センサからの画像情報を用いれば、画像情報の有効活用を図れる。
【００４０】
また本発明の一態様では、前記画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定するつかみ準備動作判定部を含み（つかみ準備動作判定部としてコンピュータを機能させ）、前記つかみ動作判定部は、つかみ準備動作が行われていると判定された場合には、つかみ準備動作を行っている前記プレーヤの手に対応する画像に対して画像処理を行い、前記画像処理の結果に基づいて、前記プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定してもよい。
【００４１】
このようにすれば、プレーヤのつかみ準備動作と、それに続くつかみ動作を、画像センサからの画像情報に基づき判定できる。従って、プレーヤの動きが、生成される画像に直感的に反映されるようになり、これまでにはない画像の生成が可能になる。
【００４２】
また本発明の一態様では、前記つかみ動作判定部は、つかみ準備動作を行っていると判定された前記プレーヤの手の部分に対応する画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００４３】
このようにすれば、プレーヤがつかみ動作を行っているか否かを、つかみ準備動作を行っている手の部分に対応する画像領域の情報を有効利用して判定できるようになる。
【００４４】
また本発明の一態様では、前記つかみ動作判定部は、所与の期間又は所与のタイミングにおける前記画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００４５】
このように所与の期間における画像領域の情報を用いて判定を行えば、例えば画像領域の情報が瞬間的に変化した場合に、それをつかみ動作と誤判定してしまう事態などを防止できる。また所与のタイミングにおける画像領域の情報を用いて判定を行えば、例えば、つかみ動作が成功したか否かをそのタイミングにおいて判定することなどが可能になるため、これまでにないタイプのゲームの提供等が可能になる。
【００４６】
また本発明の一態様では、前記つかみ動作判定部は、前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００４７】
このようにすれば、プレーヤがつかみ動作を行っているか否かを、画像領域の面積を求めるという画像処理で実現できるようになり、簡素な画像処理でつかみ動作の判定処理を実現できる。
【００４８】
また本発明の一態様では、前記つかみ動作判定部は、前記画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させてもよい。
【００４９】
このようにすれば、表示部とプレーヤとの間の距離が変化した場合にも、精度の良いつかみ動作の判定処理を実現できる。
【００５０】
また本発明の一態様では、前記つかみ動作判定部は、前記プレーヤが手に装着する認識用部材の画像情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００５１】
このようにすれば、認識部材の画像情報を用いてプレーヤのつかみ動作の判定処理を実現できるため、プレーヤの手の画像だけを用いる手法に比べて、判定処理の精度等を向上できる。
【００５２】
また本発明の一態様では、前記つかみ動作判定部は、つかみ準備動作を行っていると判定された前記プレーヤの手の部分の画像情報に対する形状認識処理により、前記プレーヤがつかみ動作を行っているか否かを判定してもよい。
【００５３】
このようにすれば、例えばプレーヤの手のひらが開いている状態から閉じた状態になることを形状認識処理により検出することで、プレーヤのつかみ動作の判定処理を実現できるようになる。
【図面の簡単な説明】
【００５４】
【図１】本実施形態の画像生成システムの構成例。
【図２】図２（Ａ）、図２（Ｂ）は画像センサを用いたカラー画像情報、デプス情報の取得手法の説明図。
【図３】図３（Ａ）、図３（Ｂ）はプレーヤのつかみ準備動作を判定する手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）はプレーヤのつかみ動作を判定する手法の説明図。
【図５】本実施形態により生成される画像の例。
【図６】図６（Ａ）、図６（Ｂ）はつかみ連動動作を判定する手法の説明図。
【図７】図７（Ａ）、図７（Ｂ）はつかみ連動動作を判定する手法の説明図。
【図８】図８（Ａ）、図８（Ｂ）は本実施形態により生成される画像の例。
【図９】図９（Ａ）〜図９（Ｃ）は手の部分の画像領域の面積に基づきつかみ動作やつかみ連動動作を判定する手法の説明図。
【図１０】図１０（Ａ）〜図１０（Ｃ）は判定しきい値を距離に応じて変化させる手法の説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）は認識用部材である手袋の説明図。
【図１２】図１２（Ａ）〜図１２（Ｄ）は認識用部材を用いた判定手法の説明図。
【図１３】図１３（Ａ）〜図１３（Ｃ）は認識用部材を用いた判定における問題点についての説明図。
【図１４】図１４（Ａ）〜図１４（Ｃ）は認識用部材を用いた判定手法の説明図。
【図１５】デプス情報に基づいてプレーヤのスケルトン情報を求める手法の説明図。
【図１６】図１６（Ａ）、図１６（Ｂ）はプレーヤのスケルトン情報を用いてつかみ連動動作を判定する手法の説明図。
【図１７】図１７（Ａ）、図１７（Ｂ）はプレーヤのスケルトン情報を用いて画像処理の処理領域を設定する手法の説明図。
【図１８】攻撃演算用パラメータのテーブルデータの例。
【図１９】本実施形態の処理を説明するフローチャート。
【図２０】本実施形態の処理を説明するフローチャート。
【発明を実施するための形態】
【００５５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５６】
１．構成
図１に本実施形態の画像生成システム（ゲーム装置）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５７】
操作部１６０は、プレーヤが操作データを入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
【００５８】
また操作部１６０は、例えばカラー画像センサやデプスセンサなどにより実現される画像センサを含む。なお操作部１６０の機能を画像センサだけで実現してもよい。
【００５９】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００６０】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００６１】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００６２】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００６３】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００６４】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００６５】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００６６】
処理部１００は、画像情報取得部１０２、情報取得部１０４、ゲーム演算部１０６、つかみ準備動作判定部１０７、つかみ動作判定部１０８、つかみ連動動作判定部１０９、攻撃演算部１１０、オブジェクト空間設定部１１２、キャラクタ制御部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。また情報取得部１０４はスケルトン情報取得部１０５を含み、キャラクタ制御部１１４は移動処理部１１５、モーション処理部１１６を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００６７】
画像情報取得部１０２は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部１７０の画像情報記憶部１７１に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部１７２に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部１７３に保存される。画像情報取得部１０２は、これらの画像情報を画像情報記憶部１７１から読み出すことで画像情報を取得する。
【００６８】
情報取得部１０４は、画像情報取得部１０２が取得した画像情報に基づいて、スケルトン情報を取得する。そして、取得されたスケルトン情報に基づいて、プレーヤの動作を特定する。またスケルトン情報に基づいて、例えば画像処理の処理領域などを設定する。
【００６９】
ゲーム演算部１０６はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００７０】
つかみ準備動作判定部１０７、つかみ動作判定部１０８、つかみ連動動作判定部１０９は、各々、つかみ準備動作、つかみ動作、つかみ連動動作の判定処理を行う。攻撃演算部１１０は、プレーヤに対応するキャラクタの攻撃演算処理を行う。これらの詳細については後述する。
【００７１】
オブジェクト空間設定部１１２は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７５には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００７２】
キャラクタ制御部１１４は、オブジェクト空間を移動（動作）するキャラクタの制御を行う。例えばキャラクタ制御部１１４が含む移動処理部１１５は、キャラクタ（モデルオブジェクト、移動オブジェクト）を移動させる処理を行う。例えば操作部１６０によりプレーヤが入力した操作情報や、プログラム（移動アルゴリズム）や、各種データなどに基づいて、キャラクタをオブジェクト空間内で移動させる。具体的には、キャラクタの移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動処理やモーション処理や画像生成処理を行う時間の単位である。
【００７３】
キャラクタ制御部１１４が含むモーション処理部１１６は、キャラクタにモーション（アニメーション）を行わせるモーション処理（モーション再生、モーション生成）を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部１７６に記憶されているモーションデータに基づいて再生することなどで実現できる。
【００７４】
具体的にはモーションデータ記憶部１７６には、キャラクタ（モデルオブジェクト）のスケルトンを構成する各骨（キャラクタを構成する各パーツオブジェクト）の位置又は回転角度（親の骨に対する子の骨の３軸周りの回転角度）等を含むモーションデータが記憶されている。またモデルデータ記憶部１７７は、キャラクタを表すモデルオブジェクトのモデルデータを記憶する。モーション処理部１１６は、このモーションデータをモーションデータ記憶部１７６から読み出し、読み出されたモーションデータに基づいてスケルトンを構成する各骨（パーツオブジェクト）を動かすことで（スケルトン形状を変形させることで）、キャラクタのモーションを再生する。
【００７５】
仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００７６】
例えば仮想カメラによりキャラクタを後方から撮影する場合には、キャラクタの位置又は回転の変化に仮想カメラが追従するように、仮想カメラの位置又は回転角度（仮想カメラの向き）を制御する。この場合には、移動処理部１１５で得られたキャラクタの位置、回転角度又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は回転角度を特定するための仮想カメラデータに基づいて仮想カメラを制御する。
【００７７】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７９（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。
【００７８】
なお、画像生成部１２０が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラと右目用仮想カメラを配置設定する。そして画像生成部１２０が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。
【００７９】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００８０】
そして本実施形態では、画像情報取得部１０２が画像センサからの画像情報を取得すると、つかみ動作判定部１０８は、取得された画像情報に基づいて、プレーヤの右手、左手の一方の手がつかみ動作を行っているか否かを判定する。
【００８１】
そして、つかみ動作判定部１０８により、つかみ動作が行われていると判定されると、つかみ連動動作判定部１０９は、画像センサからの画像情報に基づいて、プレーヤの他方の手が、つかみ動作に続くつかみ連動動作を行っているか否かを判定する。例えばプレーヤの一方の手である左手がつかみ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手である右手がつかみ連動動作を行っているか否かを判定する。またプレーヤの一方の手である右手がつかみ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手である左手がつかみ連動動作を行っているか否かを判定する。
【００８２】
そして画像生成部１２０は、つかみ動作及びつかみ連動動作の判定結果に基づいて画像を生成する。例えばプレーヤに対応するキャラクタがつかみ動作を行った後、それに続くつかみ連動動作を行う画像を生成する。
【００８３】
ここで、つかみ連動動作（つかみ連携動作）は、つかみ動作の後に、そのつかみ動作に連動（連携）して行われる動作である。例えば、つかみ動作に続いて行われることが予定されている動作であり、つかみ動作に連動（連携）して行われることが予め関連づけられている動作である。このつかみ連動動作としては、例えば攻撃動作（殴る動作、投げる動作等）、撫でる動作、叩く動作、調べる動作、持つ動作、或いは他方の手で更につかむ動作（両手でつかむ動作）などがある。
【００８４】
また、つかみ連動動作判定部１０９は、他方の手が複数の第１〜第Ｍのつかみ連動動作（Ｍは２以上の整数）のうちのいずれのつかみ連動動作を行っているかを、画像センサからの画像情報に基づいて判定する。ここで、第１〜第Ｍのつかみ連動動作は、上述した攻撃動作、撫でる動作、叩く動作、調べる動作、持つ動作、他方の手で更につかむ動作などである。例えばプレーヤの一方の手（例えば左手）が相手キャラクタ等をつかむ動作を行っていると判定された場合には、つかみ連動動作判定部１０９は、他方の手（例えば右手）が、これらの攻撃動作、撫でる動作、叩く動作等である第１〜第Ｍのつかみ連動動作のいずれのつかみ連動動作を行っているかを判定する。具体的には、画像センサからの画像情報に基づいてつかみ連動動作を判定する。そして、第１〜第Ｍのつかみ連動動作のうちの第Ｋのつかみ連動動作（１≦Ｋ≦Ｍ）を行っていると判定された場合には、画像生成部１２０は、プレーヤに対応するキャラクタが、一方の手によるつかみ動作の後に、他方の手による第Ｋのつかみ連動動作を行う画像を生成する。
【００８５】
この場合に、つかみ連動動作判定部１０９は、他方の手の部分に対応する画像領域の情報に基づいて、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。具体的には、当該画像領域の面積に基づいて、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行ってるかを判定する。例えばプレーヤの右手がつかみ連動動作を行っていると判定された場合には、右手の画像が占める画像領域の面積を求めて、右手が、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。またプレーヤの左手がつかみ連動動作を行っていると判定された場合には、左手の画像が占める画像領域の面積を求めて、左手が、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。
【００８６】
そして画像情報取得部１０２が、画像情報としてカラー画像情報を取得した場合に、つかみ連動動作判定部１０９は、カラー画像情報における画像領域の面積に基づいて、プレーヤの他方の手が、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。例えば他方の手の色（肌色等）の画像領域の面積を求めて、他方の手が、いずれのつかみ連動動作を行っているか否かを判定する。ここでカラー画像情報は、例えば各画素位置にカラー値が設定された画像情報である。また画像情報取得部１０２が、画像情報としてデプス情報を取得した場合に、つかみ連動動作判定部１０９は、デプス情報における画像領域の面積に基づいて、プレーヤの他方の手が、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているか否かを判定してもよい。例えば他方の手のデプス値に対応する画像領域の面積を求めて、他方の手が、いずれのつかみ連動動作を行っているか否かを判定する。ここでデプス情報は、各画素位置にデプス値が設定された画像情報である。
【００８７】
また、つかみ連動動作判定部１０９は、画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部１９０とプレーヤとの距離情報に応じて変化させてもよい。例えば表示部１９０とプレーヤとの距離が近いと判断された場合には、画像領域の面積を判定する際の判定しきい値を大きな値にする。一方、表示部１９０とプレーヤとの距離が遠いと判断された場合には、画像領域の面積を判定する際の判定しきい値を小さな値にする。このようにすることで、表示部１９０とプレーヤとの距離に応じた適切な値に、判定しきい値を設定できる。なお、表示部１９０とプレーヤとの距離情報は、表示部１９０とプレーヤとの距離そのものであってもよいし、その距離と同等な情報であってもよい。例えば、プレーヤの代表位置やプレーヤの手の位置でのデプス値を、表示部１９０とプレーヤとの距離情報として、判定しきい値を変化させてもよい。
【００８８】
なお、つかみ連動動作を判定する際に使用される画像領域の情報は、画像領域の面積には限定されず、面積以外の画像領域の情報に基づいて、つかみ連動動作を判定してもよい。例えば画像領域でのカラー画像情報自体やデプス情報自体に基づいて、つかみ連動動作を判定してもよい。
【００８９】
また、つかみ連動動作の判定の際には、所与の期間における画像領域の情報に基づいてつかみ動作を判定することが望ましい。例えばつかみ動作を行っていると判定されてから、複数フレーム分の画像領域の情報を用いて、つかみ連動動作の判定を行う。即ち、画像領域の面積等の情報が瞬間的に変化した場合には、この瞬間的に変化した情報については判定処理の対象にはせずに、所与の期間だけ維持された画像領域の情報を判定処理の対象にする。このようにすれば、ノイズ等により画像領域の情報が瞬間的に変化した場合に、プレーヤがつかみ連動動作を行っていないのにつかみ連動動作を行っていると誤判定してしまう事態を防止できるようになる。
【００９０】
また、つかみ連動動作の判定の際には、所与のタイミングにおける画像領域の情報に基づいてつかみ連動動作を判定することが望ましい。例えば、つかみ連動動作を行うべきタイミングを、画像や音などを用いてプレーヤに対して指示し、その指示タイミング（所与のタイミング）における画像領域の情報に基づいて、つかみ連動動作の判定を行う。そして、その指示タイミングでの画像領域の情報から、その指示タイミングでプレーヤがつかみ連動動作を行うことに成功したと判定された場合には、プレーヤに対して得点等を付与する。このようにすることで、音楽ゲーム、アクションゲーム、スポーツゲーム等の分野において、これまでにないタイプのゲームを提供することが可能になる。
【００９１】
また、つかみ連動動作判定部１０９は、プレーヤが手に装着する認識用部材の画像情報に基づいて、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。例えば認識用部材として、後述するような手袋等をプレーヤに装着させる。そして、手袋等の認識用部材のカラー画像情報等に基づいて、プレーヤのつかみ連動動作を判定する。
【００９２】
また、つかみ連動動作判定部１０９は、他方の手の部分の画像情報に対する形状認識処理により、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。例えば形状認識処理により、他方の手のひらが開いた状態（パーの状態）であると判断された場合には、つかみ連動動作として、平手による攻撃動作を行ったと判定する。一方、他方の手のひらが閉じた状態（グーの状態）であると判断された場合には、つかみ連動動作として、パンチ（げんこつ）による攻撃動作を行ったと判定する。この場合の形状認識処理は、手のひらが開いた状態や閉じた状態での手の形状を表すテンプレート画像を用意し、このテンプレート画像とのマッチング処理を行うことなどで実現できる。
【００９３】
なお、つかみ連動動作の判定処理を、他方の手の部分の画像情報における動きベクトル情報や速度情報に基づいて実現してもよい。例えば、他方の手の動きベクトルや速度を検出し、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを、検出された動きベクトルや速度に基づいて判定する。
【００９４】
また情報取得部１０４は、画像センサからの画像情報に基づいて、画像センサから見えるプレーヤの動作を特定するスケルトン情報を取得する。この取得されたスケルトン情報はスケルトン情報記憶部１７４に保存される。
【００９５】
ここでスケルトン情報は、例えば画像センサから見えるプレーヤの動作を特定する情報である。具体的には、このスケルトン情報は、プレーヤの複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は３次元座標情報により構成される。各関節を結合するものが骨（ボーン）となり、複数の骨の結合によりスケルトンが構成される。
【００９６】
そして、つかみ連動動作判定部１０９は、プレーヤのスケルトン情報に基づいて、プレーヤの他方の手がつかみ連動動作を行っているか否かを判定する。また、スケルトン情報に基づいて、プレーヤの他方の手が第１〜第Ｍのつかみ連動動作のいずれのつかみ連動動作を行っているかを判定する。具体的には、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを、スケルトン情報の関節位置情報に基づいて判定する。例えば第１〜第Ｍのつかみ連動動作でのスケルトン情報を表すテンプレートとなる第１〜第Ｍの基準スケルトン情報を用意する。そして、画像情報により検出されたプレーヤのスケルトン情報と、第１〜第Ｍの基準スケルトン情報とのマッチング処理を行う。そしてマッチング処理の評価関数の結果を用いて、プレーヤが第１〜第Ｍのつかみ連動動作のいずれのつかみ連動動作を行っているのかを判定する。この場合のマッチング処理は例えば複数フレームに亘って行ってもよい。
【００９７】
また、情報取得部１０４は、このようなスケルトン情報が取得されると、このスケルトン情報に基づいて、つかみ動作又はつかみ連動動作を判定するための画像処理の処理領域を設定する。例えばプレーヤの左手が、後述するつかみ準備動作を行っていると判定された場合には、情報取得部１０４は、スケルトン情報に基づいて左手の位置を特定し、特定された位置を含む所定サイズの領域（画面よりも小さな領域）を処理領域に設定する。そしてつかみ動作判定部１０８は、設定された処理領域の画像情報（カラー画像情報、デプス情報）に対して画像処理を行って、左手がつかみ動作を行っているか否かを判定する。またプレーヤの右手がつかみ準備動作を行っていると判定された場合には、情報取得部１０４は、スケルトン情報に基づいて右手の位置を特定し、特定された位置を含む所定サイズの領域を処理領域に設定する。そしてつかみ動作判定部１０８は、設定された処理領域の画像情報に対して画像処理を行って、右手がつかみ動作を行っているか否かを判定する。
【００９８】
また、例えばプレーヤの一方の手がつかみ動作を行っていると判定された場合には、情報取得部１０４は、スケルトン情報に基づいて他方の手の位置を特定し、特定された位置を含む所定サイズの領域を処理領域に設定する。そしてつかみ連動動作判定部１０９は、設定された処理領域の画像情報に対して画像処理を行って、他方の手がつかみ連動動作を行っているか否かを判定する。
【００９９】
またキャラクタ制御部１１４は、プレーヤに対応するキャラクタの制御を行う。ここでキャラクタは、三人称視点の場合には実際に表示されるオブジェクトになるが、一人称視点の場合には、表示部１９０に表示されない仮想的なオブジェクトになる。
【０１００】
そして画像生成部１２０は、プレーヤがつかみ動作及びつかみ連動動作を行っていると判定された場合には、キャラクタがつかみ動作及びつかみ連動動作を行う画像を生成する。例えば、キャラクタがつかみ動作を行い、その後につかみ連動動作を行う画像を生成する。この場合のキャラクタの一連の動作は、画像センサからの画像情報により取得されたプレーヤのスケルトン情報を用いてモーション再生することで実現してもよい。
【０１０１】
またつかみ連動動作判定部１０９は、画像センサからの画像情報に基づいて、他方の手がつかみ連動動作として攻撃動作を行っているか否かを判定する。この場合に攻撃演算部１１０は、画像センサからの画像情報に基づいて、他方の手による攻撃動作の攻撃演算用パラメータ（攻撃力、硬直時間等のパラメータ）を設定する。そして攻撃演算用パラメータに基づいて攻撃演算処理を行う。例えば画像情報やスケルトン情報により、他方の手の動きベクトル情報や速度情報を取得して、これらの動きベクトル情報や速度情報に基づいて、他方の手による攻撃動作の攻撃演算用パラメータを設定する。
【０１０２】
また、つかみ準備動作判定部１０７は、画像センサからの画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定する。ここで、つかみ準備動作は、プレーヤの手がつかむ動作を行う前に行われる一連の動作であり、つかみ動作の前提となる動作である。具体的には、相手キャラクタやアイテムなどを手でつかむために、プレーヤが腕を伸ばしたり、曲げたり、或いは手首を曲げたりするなどの準備動作である。
【０１０３】
そしてつかみ準備動作判定部１０７により、つかみ準備動作が行われていると判定されると、つかみ動作判定部１０８は、つかみ準備動作を行っているプレーヤの手に対応する画像に対して画像処理を行う。そして画像処理の結果に基づいて、プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定する。
【０１０４】
例えば、プレーヤの左手（左腕）がつかみ準備動作（例えば左腕を伸ばしたり曲げる動作）を行っていると判定された場合には、左手に対応する画像（例えば左手を内包する画像領域の画像）に対して画像処理を行う。またプレーヤの右手（右腕）がつかみ準備動作（例えば右腕を伸ばしたり曲げる動作）を行っていると判定された場合には、右手に対応する画像（例えば右手を内包する画像領域の画像）に対して画像処理を行う。そして画像処理の結果に基づいて、プレーヤの左手や右手がつかみ動作を行っているか否かを判定する。すると画像生成部１２０は、つかみ動作の判定結果に基づいて画像を生成する。例えばつかみ動作を行っていると判定された場合には、プレーヤに対応するキャラクタ（キャラクタの手）がつかみ動作を行う画像を生成する。
【０１０５】
またつかみ動作判定部１０８は、つかみ準備動作を行っていると判定されたプレーヤの手の部分に対応する画像領域の情報に基づいて、プレーヤがつかみ動作を行っているか否かを判定する。具体的には、当該画像領域の面積に基づいて、つかみ動作を行っているか否かを判定する。例えばプレーヤの左手がつかみ準備動作を行っていると判定された場合には、左手の画像が占める画像領域の面積を求めて、左手がつかみ動作を行っているか否かを判定する。またプレーヤの右手がつかみ準備動作を行っていると判定された場合には、右手の画像が占める画像領域の面積を求めて、右手がつかみ動作を行っているか否かを判定する。
【０１０６】
そして画像情報取得部１０２が、画像情報としてカラー画像情報を取得した場合に、つかみ動作判定部１０８は、カラー画像情報における画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定する。例えば手の色（肌色等）の画像領域の面積を求めて、プレーヤがつかみ動作を行っているか否かを判定する。また画像情報取得部１０２が、画像情報としてデプス情報を取得した場合に、つかみ動作判定部１０８は、デプス情報における画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定してもよい。例えば手のデプス値に対応する画像領域の面積を求めて、プレーヤがつかみ動作を行っているか否かを判定する。
【０１０７】
また、つかみ動作判定部１０８は、画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部１９０とプレーヤとの距離情報に応じて変化させてもよい。
【０１０８】
なお、つかみ動作を判定する際に使用される画像領域の情報は、画像領域の面積には限定されず、面積以外の画像領域の情報に基づいて、つかみ動作を行っているか否かを判定してもよい。例えば画像領域でのカラー画像情報自体やデプス情報自体に基づいて、つかみ動作を判定してもよい。
【０１０９】
また、つかみ動作の判定の際には、所与の期間における画像領域の情報に基づいてつかみ動作を判定することが望ましい。例えばつかみ準備動作を行っていると判定されてから、複数フレーム分の画像領域の情報を用いて、つかみ動作を行っているか否かを判定する。このようにすれば、ノイズ等によりつかみ動作の誤判定が行われてしまう事態を防止できるようになる。
【０１１０】
また、つかみ動作の判定の際には、所与のタイミングにおける画像領域の情報に基づいてつかみ動作を判定することが望ましい。例えば、つかみ動作を行うべきタイミングを、画像や音などを用いてプレーヤに対して指示し、その指示タイミング（所与のタイミング）における画像領域の情報に基づいて、つかみ動作の判定を行う。そして、その指示タイミングでの画像領域の情報から、その指示タイミングでプレーヤがつかみ動作を行うことに成功したと判定された場合には、プレーヤに対して得点等を付与する。このようにすることで、これまでにないタイプのゲームを提供することが可能になる。
【０１１１】
また、つかみ動作判定部１０８は、プレーヤが手に装着する認識用部材の画像情報に基づいて、プレーヤがつかみ動作を行っているか否かを判定してもよい。
【０１１２】
また、つかみ動作判定部１０８は、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像情報に対する形状認識処理により、プレーヤがつかみ動作を行っているか否かを判定してもよい。
【０１１３】
また、つかみ準備動作判定部１０７は、プレーヤのスケルトン情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定してもよい。例えばつかみ準備動作でのスケルトン情報を表すテンプレートとなる基準スケルトン情報を用意する。そして、画像情報により検出されたプレーヤのスケルトン情報と、基準スケルトン情報とのマッチング処理を行い、マッチング処理の評価関数の結果に基づいて、プレーヤがつかみ準備動作を行ったか否かを判定する。
【０１１４】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【０１１５】
２．１ つかみ動作、つかみ連動動作の判定
一般的に、ゲーム装置では、ゲームコントローラのボタンやレバーを操作してゲーム操作を行う。またゲームコントローラにモーションセンサ（６軸センサ）を設け、プレーヤがゲームコントローラそのものを動かすことでゲーム操作を行うゲーム装置もある。
【０１１６】
しかしながら、このような操作インターフェースのゲーム装置では、ゲーム操作にゲームコントローラが必要になり、プレーヤの手の動きなどのジェスチャをそのまま反映させるようなゲーム操作については実現できず、プレーヤの仮想現実感を今ひとつ向上できない。
【０１１７】
そこで本実施形態では、画像センサで撮像された画像情報に基づきプレーヤの操作入力を可能にする操作インターフェースを採用している。
【０１１８】
例えば図２（Ａ）では、表示部１９０に対応する位置に、デプスセンサ（赤外線センサ等）やカラー画像センサ（ＣＣＤやＣＭＯＳセンサなどのＲＧＢセンサ）により実現される画像センサＩＳＥが設置されている。この画像センサＩＳＥは、例えばその撮像方向（光軸方向）が表示部１９０からプレーヤＰＬの方に向く方向になるように設置されており、表示部１９０側から見たプレーヤＰＬのカラー画像情報やデプス情報を撮像する。なお画像センサＩＳＥは、表示部１９０に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。
【０１１９】
そして図２（Ａ）の画像センサＩＳＥを用いて、図２（Ｂ）に示すようなカラー画像情報とデプス情報を取得する。例えばカラー画像情報では、プレーヤＰＬやその周りの風景の色情報が得られる。一方、デプス情報では、プレーヤＰＬやその周りの風景のデプス値（奥行き値）が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置にカラー値（ＲＧＢ）が設定された画像情報であり、デプス情報は、その各画素位置にデプス値（奥行き値）が設定された画像情報である。なお、画像センサＩＳＥは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。
【０１２０】
デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサＩＳＥ（デプスセンサ）から赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間（Time Of Flight）を検出することで、デプス情報を取得し、画像センサＩＳＥの位置から見たプレーヤＰＬなどの物体のシェイプを検出する。具体的には、デプス情報は、例えば画像センサＩＳＥから近い物体では明るくなり、画像センサＩＳＥから遠い物体では暗くなるグレースケールデータとして表される。なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばＣＭＯＳセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報（被写体までの距離情報）を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。
【０１２１】
そして本実施形態では、画像センサＩＳＥからの画像情報に基づきプレーヤＰＬがつかみ準備動作を行っていると判定された場合に、つかみ準備動作を行っている手に対応する画像に対して画像処理行い、つかみ準備動作に続くつかみ動作を行っているか否かを判定する。
【０１２２】
例えば図３（Ａ）、図３（Ｂ）では、プレーヤＰＬは、つかみ動作を行うために、左手ＨＤＬを徐々に上げるつかみ準備動作を行っている。この場合に本実施形態では、画像センサＩＳＥにより図２（Ｂ）に示すようなカラー画像情報やデプス情報などの画像情報を取得する。そして、取得された画像情報に基づいて、プレーヤＰＬが、つかみ動作のためのつかみ準備動作を行っているか否かを判定する。
【０１２３】
例えば図２（Ｂ）に示すようなカラー画像情報やデプス情報に基づいて、プレーヤＰＬの動作を検知して、つかみ準備動作を行っているか否かを判定する。具体的には、後述するように図２（Ｂ）のデプス情報に基づいてプレーヤＰＬのスケルトン情報を検出し、スケルトン情報での関節の動きを解析して、プレーヤＰＬがつかみ準備動作を行っているか否かを判定する。例えばプレーヤＰＬが行うと考えられる複数の第１〜第Ｎのつかみ準備動作に対応する、テンプレートとなる第１〜第Ｎの基準スケルトン情報を用意する。そして、デプス情報により求められたプレーヤＰＬのスケルトン情報と、これらの第１〜第Ｎの基準スケルトン情報とのマッチング処理を行う。そして例えば第１〜第Ｎの基準スケルトン情報のうちの第Ｌの基準スケルトン情報（１≦Ｌ≦Ｎ）と、プレーヤＰＬのスケルトン情報とのマッチングの評価関数の値が、所定値以下になった場合に、マッチングしたと判定する。そして、第Ｌの基準スケルトン情報に対応する第Ｌのつかみ準備動作をプレーヤＰＬが行っていると判定する。
【０１２４】
なお、画像情報に基づくつかみ準備動作の判定手法は、このようなスケルトン情報を用いた手法には限定されず、公知の種々の動作判定手法を採用できる。例えばカラー画像情報やデプス情報そのものを用いて、マッチング処理を行って、プレーヤＰＬがつかみ準備動作を行っているか否かを判定してもよい。或いは、例えばスケルトン情報での手首や肘などの関節位置の情報の変化だけを監視して、プレーヤＰＬがつかみ準備動作を行っているか否かを判定してもよい。
【０１２５】
そして、プレーヤＰＬが図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作を行っていると判定された場合には、つかみ準備動作を行っている手の付近の画像に対して画像処理を行う。例えば手の付近の画像領域でのカラー画像情報やデプス情報に対して画像処理を行い、その画像処理の結果に基づいて、プレーヤがつかみ準備動作に続いてつかみ動作を行っているか否かを判定する。
【０１２６】
例えば図４（Ａ）、図４（Ｂ）に、画像センサＩＳＥにより撮像されたカラー画像情報（デプス情報）の例を示す。図４（Ａ）では、プレーヤＰＬの左手ＨＤＬの手のひらが開いた状態（パーの状態）になっている。一方、図４（Ｂ）では、左手ＨＤＬの手のひらが閉じた状態（グーの状態）になっている。このように、手のひらが開いた状態から閉じた状態に変化した場合には、プレーヤＰＬがつかみ準備動作に続いてつかみ動作を行っていると判定する。
【０１２７】
そして、このようにつかみ動作が行われたと判定されると、例えば図５に示すような画像を生成して表示部１９０に表示する。図５では、プレーヤＰＬに対応するキャラクタの手ＨＬＯＢ（手のオブジェクト）が、相手キャラクタ（ターゲットオブジェクトＴＯＢ）の肩をつかんでいる画像が生成されている。即ち、本実施形態では、プレーヤＰＬの操作により、オブジェクト空間（ゲーム空間）において、プレーヤＰＬに対応するキャラクタを動作させる。この場合のプレーヤＰＬの操作は、例えばプレーヤＰＬの動作を画像センサＩＳＥにより検出することなどにより実現される。そして、プレーヤＰＬが図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作を行った後、図４（Ａ）、図４（Ｂ）に示すようなつかみ動作を行うと、図５に示すような画像が生成される。
【０１２８】
なお、図５は、一人称視点の画像の例であるが、三人称視点の画像を生成してもよい。三人称視点の画像では、キャラクタの全身（或いは少なくともキャラクタの頭部）が表示されるのに対して、一人称視点の画像では、キャラクタの全身（頭部）は表示されず、例えば図５に示すようにキャラクタの手などの部位の一部だけが表示される。
【０１２９】
また本実施形態では、図４（Ａ）、図４（Ｂ）で説明した手法により、プレーヤの一方の手がつかみ動作を行っていると判定された場合に、画像センサＩＳＥからの画像情報に基づいて、一方の手とは異なる他方の手が、つかみ動作に続くつかみ連動動作を行っているか否かを判定する。
【０１３０】
例えば図６（Ａ）、図６（Ｂ）では、プレーヤＰＬは、一方の手である左手ＨＤＬで図４（Ａ）、図４（Ｂ）に示すようなつかみ動作を行った後に、他方の手である右手ＨＤＲでつかみ連動動作を行っている。具体的には、図６（Ａ）では、左手ＨＤＬで相手キャラクタをつかむ動作を行った後、右手ＨＤＲで相手キャラクタを平手で攻撃するつかみ連動動作を行っている。一方、図６（Ｂ）では、左手ＨＤＬで相手キャラクタをつかむ動作を行った後、右手ＨＤＲで相手キャラクタをパンチで攻撃するつかみ連動動作を行っている。
【０１３１】
この場合に本実施形態では、画像センサＩＳＥにより図２（Ｂ）に示すようなカラー画像情報やデプス情報などの画像情報を取得する。そして、取得された画像情報に基づいて、プレーヤＰＬが、つかみ動作に続くつかみ連動動作を行っているか否かを判定する。
【０１３２】
例えば図２（Ｂ）に示すようなカラー画像情報やデプス情報に基づいて、プレーヤＰＬの動作を検知して、つかみ連動動作を行っているか否かを判定する。具体的には、後述するように図２（Ｂ）のデプス情報に基づいてプレーヤＰＬのスケルトン情報を検出し、スケルトン情報での関節の動きを解析して、プレーヤＰＬがつかみ連動動作を行っているか否かを判定する。例えばプレーヤＰＬが行うと考えられる複数の第１〜第Ｍのつかみ連動動作に対応する、テンプレートとなる第１〜第Ｍの基準スケルトン情報を用意する。そして、デプス情報により求められたプレーヤＰＬのスケルトン情報と、これらの第１〜第Ｍの基準スケルトン情報とのマッチング処理を行う。そして例えば第１〜第Ｍの基準スケルトン情報のうちの第Ｋの基準スケルトン情報（１≦Ｋ≦Ｍ）と、プレーヤＰＬのスケルトン情報とのマッチングの評価関数の値が、所定値以下になった場合に、マッチングしたと判定する。そして、第Ｋの基準スケルトン情報に対応する第Ｋのつかみ連動動作をプレーヤＰＬが行っていると判定する。
【０１３３】
このようにすれば、プレーヤの他方の手が複数の第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを、画像センサＩＳＥからの画像情報に基づき判定できる。
【０１３４】
なお、画像情報に基づくつかみ連動動作の判定手法は、このようなスケルトン情報を用いた手法には限定されず、公知の種々の動作判定手法を採用できる。例えばカラー画像情報やデプス情報そのものを用いて、マッチング処理を行って、プレーヤＰＬがつかみ連動動作を行っているか否かを判定してもよい。或いは、例えばスケルトン情報での手首や肘などの関節位置の情報の変化だけを監視して、プレーヤＰＬがつかみ連動動作を行っているか否かを判定してもよい。
【０１３５】
或いは、つかみ連動動作を行っている他方の手に対応する画像領域に対する画像処理を行って、他方の手が、つかみ連動動作を行っているか否かを判定したり、複数の第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定してもよい。
【０１３６】
例えば図７（Ａ）、図７（Ｂ）に、画像センサＩＳＥにより撮像されたカラー画像情報（デプス情報）の例を示す。
【０１３７】
図７（Ａ）では、一方の手である左手ＨＤＬは、相手キャラクタ等をつかむ動作を行っている。この場合には、他方の手である右手ＨＤＲに対応する画像領域に対して画像処理を行う。そして図７（Ａ）では、他方の手である右手ＨＤＲが、手のひらが開いた状態（パーの状態）になっていることが、画像処理により検出される。このように、一方の手である左手ＨＤＬがつかみ動作を行っており、他方の手である右手ＨＤＲが、手のひらが開いた状態であることが、画像処理により検出されると、プレーヤＰＬが、図６（Ａ）に示すように、平手で攻撃するつかみ連動動作を行っていると判定する。
【０１３８】
また図７（Ｂ）では、一方の手である左手ＨＤＬは、相手キャラクタ等をつかむ動作を行っているため、他方の手である右手ＨＤＲに対応する画像領域に対して画像処理を行う。そして図７（Ｂ）では、他方の手である右手ＨＤＲが、手のひらが閉じた状態（グーの状態）であることが、画像処理により検出される。このように、一方の手である左手ＨＤＬがつかみ動作を行っており、他方の手である右手ＨＤＲが、手のひらが閉じた状態であることが、画像処理により検出されると、プレーヤＰＬが、図６（Ｂ）に示すように、パンチで攻撃するつかみ連動動作を行っていると判定する。
【０１３９】
このように図７（Ａ）、図７（Ｂ）で説明した手法によれば、プレーヤＰＬの他方の手が、つかみ連動動作を行っているか否かを判定したり、複数の第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定できる。即ち、他方の手が、平手攻撃のつかみ連動動作やパンチ攻撃のつかみ連動動作のうち（第１〜第Ｍのつかみ連動動作のうち）、いずれのつかみ連動動作を行っているかを判定できる。
【０１４０】
そして、このようにつかみ連動動作が行われたと判定されると、例えば図８（Ａ）、図８（Ｂ）に示すような画像を生成して表示部１９０に表示する。図８（Ａ）では、プレーヤＰＬに対応するキャラクタの左手ＨＬＯＢが、相手キャラクタの肩をつかみ、右手ＨＲＯＢが、相手キャラクタに平手攻撃を行っている画像が生成されている。また図８（Ｂ）では、キャラクタの左手ＨＬＯＢが、相手キャラクタの肩をつかみ、右手ＨＲＯＢが、相手キャラクタにパンチ攻撃（げんこつ攻撃）を行っている画像が生成されている。
【０１４１】
以上の本実施形態の手法によれば、プレーヤのつかみ動作と、それに続くつかみ連動動作を、画像センサからの画像情報に基づいて判定できる。従って、ゲームコントローラを用いたゲーム操作によっては検出することが難しいプレーヤのつかみ動作やつかみ連動動作を検知して、プレーヤがつかみ動作やつかみ連動動作を行ったか否かを判定できるようになる。従って、プレーヤに対応するキャラクタがゲーム空間（オブジェクト空間）内を移動して、相手キャラクタやアイテム等をつかむことでゲームが進行するようなゲームを実現できる。また、プレーヤは、現実世界と同様なつかみ動作を行うことで、自身に対応するキャラクタもつかみ動作を行うようになる。従って、プレーヤの動きがゲーム画像に直感的に反映されるようになり、これまでにはないゲーム画像の生成が可能になる。また、プレーヤの動作がそのままゲーム画像に反映するため、プレーヤの仮想現実感を向上できる。
【０１４２】
また、つかみ動作に続くつかみ連動動作についても判定することで、これまでは実現することが難しかった様々なゲームを提供できる。例えば、ゲーム空間内の相手キャラクタを一方の手でつかんで、他方の手で、平手攻撃を行ったり、パンチ攻撃を行ったり、投げ攻撃を行うこと可能になる。或いは、ゲーム空間に配置されるアイテムを一方の手でつかんで、他方の手でアイテムを叩いたり、撫でたり、調べたりすることが可能になる。この場合に本実施形態によれば、他方の手によるつかみ連動動作が、どのような内容の動作であるかを判別できる。即ち、他方の手によるつかみ連動動作が、平手攻撃なのか、パンチ攻撃なのか、投げ攻撃なのかを判定したり、叩く動作なのか、撫でる動作なのか、調べる動作なのかを判定できる。従って、その判定結果に応じて、その後のゲーム進行やゲーム展開を変化させることが可能になり、これまでにないゲームの実現が可能になる。
【０１４３】
また本実施形態では、一方の手がつかみ動作を行っていると判定された場合に、他方の手についてのスケルトン情報や、他方の手に対する画像処理が行われて、他方の手によるつかみ連動動作が判定される。従って、プレーヤのつかみ連動動作を、適切且つ確実に検出することが可能になる。
【０１４４】
即ち、図７（Ａ）、図７（Ｂ）の右手ＨＤＲの動作だけを画像処理やスケルトン情報で検知して、つかみ連動動作を判定してしまうと、つかみ連動動作ではない動作を誤ってつかみ連動動作と判定してしまうおそれがある。また、つかみ連動動作検出用の画像処理等を、例えば画面全体の画像に対して行わなければならなくなり、処理負荷も増加してしまう。特に、このようなつかみ連動動作検出用の画像処理やスケルトン情報によるつかみ連動動作の検出処理を、全てのフレームにおいて実行すると、処理負荷が過大になってしまう。
【０１４５】
この点、本実施形態では、図４（Ａ）、図４（Ｂ）に示すようなつかみ動作が行われたと判定されたことを条件に、図７（Ａ）、図７（Ｂ）で説明したつかみ連動動作検出用の画像処理やスケルトン情報によるつかみ連動動作の検出処理が実行される。従って、例えば全てのフレームにおいてつかみ連動動作検出用の画像処理やスケルトン情報によるつかみ連動動作の検出処理を実行する必要はなくなるため、処理負荷を軽減できる。また、つかみ連動動作の判定の前に、つかみ動作を判定すれば、つかみ連動動作検出用の画像処理等を行う範囲を限定することが可能になる。例えば、プレーヤの一方の手である左手がつかみ動作を行っていると判定された場合には、他方の手である右手に対してだけ、つかみ連動動作検出用の画像処理等を行えば済むようになるため、処理負荷を軽減できる。
【０１４６】
また本実施形態では、プレーヤがつかみ準備動作を行ったと判定された場合に、つかみ準備動作を行っているプレーヤの手の画像に対して画像処理が行われて、プレーヤがつかみ動作を行っているか否かが判定される。従って、プレーヤのつかみ動作を、適切且つ確実に検出することが可能になる。
【０１４７】
即ち、図４（Ａ）、図４（Ｂ）に示すように、プレーヤの手のひらが開いた状態から閉じた状態に変化したことだけを検知して、つかみ動作を判定してしまうと、つかみ動作ではない動作を誤ってつかみ動作と判定してしまうおそれがある。また、プレーヤの手のひらが開いた状態から閉じた状態に変化したことを検出するつかみ動作検出用の画像処理を、例えば画面全体の画像に対して行わなければならなくなり、処理負荷も増加してしまう。
【０１４８】
この点、本実施形態では、図３（Ａ）、図３（Ｂ）に示すようなつかみ準備動作が行われたと判定されたことを条件に、図４（Ａ）、図４（Ｂ）で説明したつかみ動作検出用の画像処理が実行される。従って、例えば全てのフレームにおいてつかみ動作検出用の画像処理を実行する必要はなくなるため、処理負荷を軽減できる。またつかみ動作検出用の画像処理を行う範囲も限定できるため、処理負荷を更に軽減できる。
【０１４９】
２．２ 画像領域の面積に基づく判定処理
次に、図４（Ａ）、図４（Ｂ）のつかみ動作や図７（Ａ）、図７（Ｂ）のつかみ連動動作を判定する具体的な手法の例について説明する。例えば本実施形態では、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像領域の面積に基づいて、プレーヤがつかみ動作を行っているか否かを判定している。また本実施形態では、一方の手がつかみ動作を行っていると判定された場合には、他方の手の部分の画像領域の面積に基づいて、プレーヤがつかみ連動動作を行っている否かを判定している。なお以下では、画像領域の面積に基づくつかみ動作の判定手法を主に例にとり説明するが、この判定手法は、つかみ連動動作の判定に対しても同様に適用できる。
【０１５０】
例えば図９（Ａ）は、プレーヤの手のひらが開いた時の状態（パーの状態）を示し、図９（Ｂ）は、プレーヤの手のひらが閉じた時の状態（グーの状態）を示している。図９（Ａ）、図９（Ｂ）に示すように、プレーヤの手の画像領域の面積Ｓは、図９（Ａ）の手のひらが開いた状態よりも、図９（Ｂ）の手のひらが閉じた状態の方が小さくなる。従って、手の画像領域の面積Ｓが、判定しきい値ＶＴよりも大きい場合には、手のひらが開いた状態であると判定でき、面積ＳがＶＴよりも小さい場合には、手のひらが閉じた状態であると判定できる。
【０１５１】
従って、図９（Ｃ）に示すように、プレーヤのつかみ準備動作が行われたと判定された後に、対応する手の画像領域の面積Ｓが減少し、面積Ｓが判定しきい値ＶＴよりも小さくなった場合に、プレーヤがつかみ動作を行ったと判定できる。一方、つかみ準備動作が行われたと判定された後、所定時間が経過しても、手の画像領域の面積Ｓが、判定しきい値ＶＴよりも小さくならなかった場合には、つかみ動作は行われなかったと判定できる。
【０１５２】
なお、面積Ｓは、図２（Ｂ）に示すカラー画像情報における画像領域の面積であってもよいし、デプス情報における画像領域の面積であってもよい。例えばカラー画像情報を用いる場合には、手の色（肌の色）に対応する色相範囲を設定し、カラー画像情報の各画素位置の色が、この色相範囲に入るか否かを判断する。そして色相値が色相範囲に入る画素の数を算出することにより、面積Ｓを求めればよい。またデプス情報を用いる場合には、手のデプス値に対応するデプス範囲を設定し、デプス情報の各画素位置のデプス値が、このデプス範囲に入るか否かを判断する。そしてデプス値がデプス範囲に入る画素の数を算出することにより、面積Ｓを求めればよい。
【０１５３】
また、図１０（Ａ）に示すように表示部１９０にプレーヤＰＬが近づいた場合と、図１０（Ｂ）に示すように表示部１９０からプレーヤＰＬが遠ざかった場合とでは、手の画像領域の面積Ｓは異なった面積になってしまう。例えば図１０（Ａ）のように表示部１９０とプレーヤＰＬとの間の距離が短い距離ＬＤＮである場合には、面積Ｓは大きな値になり、図１０（Ｂ）のように長い距離ＬＤＦである場合には、面積Ｓは小さな値になる。
【０１５４】
そこで本実施形態では、画像領域の面積Ｓを判定する際の判定しきい値ＶＴを、表示部１９０とプレーヤＰＬとの距離情報に応じて変化させる。例えば図１０（Ｃ）に示すように、表示部１９０とプレーヤＰＬとの距離Ｌが短い距離ＬＤＮである場合には、判定しきい値ＶＴを大きなしきい値ＶＴＮに設定する。一方、距離Ｌが長い距離ＬＤＦである場合には、判定しきい値ＶＴを小さなしきい値ＶＴＦに設定する。即ち、距離Ｌが長くなるにつれて、判定しきい値ＶＴを小さくする。
【０１５５】
このようにすることで、図１０（Ａ）のように表示部１９０にプレーヤＰＬが近づいた場合にも、図１０（Ｂ）のように遠ざかった場合にも、適切な判定しきい値ＶＴを用いて、画像領域の面積Ｓを判定できるようになる。従って、面積Ｓに基づくつかみ動作やつかみ連動動作の判定処理の精度を向上できる。
【０１５６】
なお図１０（Ｃ）では、表示部１９０とプレーヤＰＬとの距離Ｌそのものを用いて、判定しきい値ＶＴを設定しているが、本実施形態はこれに限定されない。例えば、キャラクタＣＨやキャラクタＣＨの手のデプス値により、判定しきい値ＶＴを設定してもよい。この場合には、このデプス値が、表示部１９０とプレーヤＰＬの距離を表す距離情報に相当することになる。
【０１５７】
また画像処理の精度や正確性を高めるためには、プレーヤに、つかみ動作やつかみ連動動作の判定のための認識用部材を装着させ、その認識用部材の画像情報に基づいて、プレーヤがつかみ動作やつかみ連動動作を行っているか否かを判定することが望ましい。
【０１５８】
例えば図１１（Ａ）、図１１（Ｂ）に、このような認識用部材の一例である手袋ＥＴＨを示す。図１１（Ａ）に示すように、この手袋ＥＴＨ（広義には認識用部材）は、その手のひら側が赤（広義には第１の色）に設定されている。また図１１（Ｂ）に示すように、その手の甲側が青（広義には第２の色）に設定されている。このように、手のひらと手の甲とで色を異ならせることで、プレーヤが手のひらの方を表示部１９０に向けているのか手の甲の方を向けているのかを、容易に判定できるようになる。
【０１５９】
そして図１２（Ａ）は、手袋ＥＴＨを装着した手のひらが開いた状態（パーの状態）を示している。この場合には、手の画像領域の大部分において、手袋ＥＴＨの手のひら側の色である赤が占めるようになる。一方、図１２（Ｂ）は、手のひらが閉じた状態（グーの状態）を示している。この場合には、手の画像領域の第１の領域では、手のひら側の色である赤が占め、第２の領域では、手の甲側の色である青が占めるようになる。
【０１６０】
そこで本実施形態では、図１２（Ｃ）に示すように、プレーヤの手がつかみ準備動作を行っていると判断された後に、手のひら側の色である赤（第１の色）の画像領域の面積ＳＲが減少した場合に、プレーヤがつかみ動作を行っていると判定する。具体的には、赤の色の面積ＳＲが、判定しきい値ＶＴＲよりも小さくなった場合に、プレーヤがつかみ動作を行っていると判定する。
【０１６１】
なお図１２（Ｄ）に示すように、手の甲側の色である青（第２の色）の画像領域の面積ＳＢが増加した場合に、プレーヤがつかみ動作を行っていると判定してもよい。具体的には、青の色の面積ＳＢが、判定しきい値ＶＴＢよりも大きくなった場合に、プレーヤがつかみ動作を行っていると判定する。
【０１６２】
さて、図１２（Ａ）〜図１２（Ｄ）で説明した判定手法では、以下に説明する問題が生じるおそれがある。
【０１６３】
例えばプレーヤの手が図１３（Ａ）、図１３（Ｂ）、図１３（Ｃ）のように回転した場合を考える。図１３（Ａ）では、手のひら側が表示部１９０（画像センサ）の方に向いており、その後の図１３（Ｂ）では、例えば手の親指側が表示部１９０の方に向いている。また、その後の図１３（Ｃ）では、手の甲側が表示部１９０の方に向いている。
【０１６４】
そして図１３（Ａ）から図１３（Ｂ）に変化した時に、赤の面積ＳＲは減少する。従って、このような手の回転により図１２（Ｃ）のように赤の面積ＳＲが判定しきい値ＶＴＲよりも小さくなってしまうと、誤判定が生じる。即ち、図１３（Ａ）〜図１３（Ｃ）のように手が回転した場合においても、図１２（Ａ）、図１２（Ｂ）に示すつかみ動作が行われていると誤判定してしまう。図１２（Ｄ）に示すように青の面積ＳＢの増加を検出した場合にも、同様の誤判定が生じる。
【０１６５】
そこで本実施形態では図１４（Ａ）、図１４（Ｂ）に示すように、プレーヤの手がつかみ準備動作を行っていると判断された後に、赤（第１の色）の画像領域ＳＢの面積が第１の判定しきい値ＶＴＲよりも小さくなり、且つ、青（第２の色）の画像領域の面積ＳＢが第２の判定しきい値ＶＴＢ２よりも小さい場合に、プレーヤがつかみ動作を行っていると判定する。このようにすれば図１３（Ａ）〜図１３（Ｃ）のように手が回転した場合と、図１２（Ａ）、図１２（Ｂ）に示すようにつかみ動作が行われた場合とを、区別して判定することが可能になる。
【０１６６】
即ち図１３（Ａ）〜図１３（Ｃ）のように手が回転した場合には、図１４（Ａ）に示すように赤の面積ＳＲは減少するが、図１４（Ｃ）に示すように、青の面積ＳＢも第２の判定しきい値ＶＴＢ２を超えるようになる。従って、赤の面積ＳＲが減少し、且つ、青の面積ＳＢが第２の判定しきい値ＶＴＢ２を超えないことを検出すれば、図１２（Ａ）、図１２（Ｂ）のつかみ動作を、誤判定が生じることなく判定することが可能になる。
【０１６７】
なお図１４（Ａ）、図１４（Ｂ）の第１の判定しきい値ＶＴＲ及び第２の判定しきい値ＶＴＢ２についても、図１０（Ｃ）の場合と同様に、表示部１９０とプレーヤとの間の距離情報に応じて変化させることが望ましい。即ち、表示部１９０とプレーヤとの距離Ｌが長くなるにつれて、第１の判定しきい値ＶＴＲ及び第２の判定しきい値ＶＴＢ２を小さくする。
【０１６８】
このようにすれば、表示部１９０とプレーヤとの間の距離が変化した場合にも、適切な判定しきい値ＶＴＲ、ＶＴＢ２を用いて、画像領域の面積ＳＲ、ＳＢを判定できるようになり、つかみ動作の判定処理の精度を向上できる。
【０１６９】
なお、以上に説明したつかみ動作の判定手法は、つかみ連動動作に対しても適用できる。
【０１７０】
例えば、図９（Ａ）〜図９（Ｃ）で説明した画像領域の面積に基づく判定処理は、つかみ動作のみならず、つかみ連動動作の判定に対しても適用できる。具体的には、プレーヤの一方の手がつかみ動作を行っていると判定された場合には、他方の手の部分に対応する画像領域の面積に基づいて、他方の手が、第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。例えば図９（Ａ）に示すように画像領域の面積Ｓが大きい場合には、図６（Ａ）に示す平手攻撃のつかみ連動動作が行われたと判定する。一方、図９（Ｂ）に示すように画像領域の面積Ｓが小さい場合には、図６（Ｂ）に示すパンチ攻撃のつかみ連動動作が行われたと判定する。
【０１７１】
この場合に、カラー画像情報における画像領域の面積に基づいて、つかみ連動動作を判定してもよいし、デプス情報における画像領域の面積に基づいて、つかみ連動動作を判定してもよい。
【０１７２】
また、つかみ連動動作の判定の場合にも、図１０（Ａ）〜図１０（Ｃ）で説明したように、画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部１９０とプレーヤＰＬとの間の距離情報に応じて変化させることが望ましい。
【０１７３】
また図１１（Ａ）〜図１４（Ｃ）で説明した認識用部材の画像情報に基づく判定処理も、つかみ動作のみならず、つかみ連動動作の判定に対しても適用できる。具体的には、プレーヤが手に装着する認識用部材の画像情報に基づいて、他方の手が第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定する。例えば図１２（Ａ）に示すように赤（第１の色）の画像領域の面積ＳＲが大きい場合には、図６（Ａ）に示す平手攻撃のつかみ連動動作が行われたと判定する。一方、図１２（Ｂ）に示すように赤の画像領域の面積ＳＲが小さくなったり、青（第２の色）の画像領域の面積ＳＢが大きくなった場合には、図６（Ｂ）に示すパンチ攻撃のつかみ連動動作が行われたと判定する。
【０１７４】
また、認識用部材である手袋の色の設定は図１１（Ａ）、図１１（Ｂ）のような設定に限定されず、種々の変形実施が可能である。また色自体ではなくて、手袋に描かれた模様等の特定のパターンの画像情報に基づいて、プレーヤのつかみ動作やつかみ連動動作を判定してもよい。また、認識用部材は手袋には限定されない。例えばプレーヤの指に装着した指輪等を認識用部材とし、その指輪等の画像情報に基づいて、プレーヤのつかみ動作やつかみ連動動作を判定してもよい。
【０１７５】
また、手の形状認識処理により、プレーヤのつかみ動作やつかみ連動動作を判定してもよい。具体的には、つかみ準備動作を行っていると判定されたプレーヤの手の部分の画像情報に対する形状認識処理を行うことで、プレーヤがつかみ動作やつかみ連動動作を行っているか否かを判定する。例えば画像認識された手の形状が、図９（Ａ）の形状から図９（Ｂ）の形状に変化した場合に、プレーヤがつかみ動作を行っていると判定する。或いは、画像認識された手の形状が、図９（Ａ）の形状である場合には、図６（Ａ）に示す平手攻撃のつかみ連動動作が行われたと判定し、図９（Ｂ）の形状である場合には、図６（Ｂ）に示すパンチ攻撃のつかみ連動動作が行われたと判定する。この場合の形状認識処理としては、公知の様々な画像認識処理を採用できる。
【０１７６】
２．３ つかみ連動動作
さて、前述したように本実施形態では、複数のつかみ連動動作のうちのいずれのつかみ連動動作をプレーヤＰＬが行っているかを、画像センサＩＳＥからの画像情報に基づいて判定する。即ち、図６（Ａ）に示すようなつかみ連動動作（平手攻撃）が行われたのか、図６（Ｂ）に示すようなつかみ連動動作（パンチ攻撃）が行われたのかを、プレーヤＰＬを撮像する画像センサＩＳＥからの画像情報に基づき判定する。
【０１７７】
このようにすれば、例えば図６（Ａ）のつかみ連動動作が行われた場合には、このつかみ連動動作に対応する動作をキャラクタに行わせることで、図８（Ａ）に示すような画像を生成できるようになる。また図６（Ｂ）のつかみ連動動作が行われた場合には、このつかみ連動動作に対応する動作をキャラクタに行わせることで、図８（Ｂ）に示すような画像を生成できるようになる。
【０１７８】
従って、プレーヤＰＬの動きに応じて、様々なつかみ連動動作画像が生成されるようになり、生成される画像の多様性を増すことができる。また、プレーヤＰＬの動きに忠実なつかみ連動動作画像を生成できるため、プレーヤＰＬの仮想現実感を向上できる。
【０１７９】
この場合に本実施形態では、プレーヤＰＬがつかみ連動動作を行っているか否かを、プレーヤＰＬのスケルトン情報に基づいて判定してもよい。例えば、図６（Ａ）、図６（Ｂ）で説明したような複数のつかみ連動動作（第１〜第Ｍのつかみ連動動作）のいずれのつかみ連動動作を行っているかを、プレーヤＰＬのスケルトン情報に基づいて判定する。
【０１８０】
即ち本実施形態では図１５示すように、図２（Ｂ）のデプス情報等の画像情報に基づいて、プレーヤＰＬの動作を特定するためのスケルトン情報を取得する。図１５ではスケルトン情報として、スケルトンの関節Ｃ０〜Ｃ１９の位置情報（３次元座標）が取得されている。これらの関節Ｃ０〜Ｃ１０は、画像センサＩＳＥに映るプレーヤＰＬの関節に対応するものである。なお画像センサＩＳＥにプレーヤＰＬの全身が映らない場合には、映った部分だけの関節の位置情報を有するスケルトン情報を生成すればよい。
【０１８１】
例えば図２（Ｂ）のデプス情報を用いれば、画像センサＩＳＥ側から見たプレーヤＰＬ等の３次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などによりプレーヤＰＬの顔等の部位の領域も特定できる。そこで、これらの３次元形状の情報等に基づいて、プレーヤＰＬの各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の２次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の３次元座標情報を求め、図１５に示すようなスケルトン情報を取得する。
【０１８２】
このようなスケルトン情報を用いれば、プレーヤＰＬのジェスチャ等の動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばモーションデータとして利用して、オブジェクト空間においてキャラクタを動作させることも可能になる。
【０１８３】
そして本実施形態では、プレーヤＰＬのつかみ連動動作を、図１５のスケルトン情報を用いて判断する。
【０１８４】
例えば図１６（Ａ）は、図６（Ａ）のようなつかみ連動動作を行っているプレーヤＰＬを、画像センサＩＳＥで撮像することで得られたスケルトン情報の例である。一方、図１６（Ｂ）は、図６（Ｂ）のようなつかみ連動動作を行っているプレーヤＰＬを、画像センサＩＳＥで撮像することで得られたスケルトン情報の例である。
【０１８５】
図１６（Ａ）、図１６（Ｂ）に示すように、スケルトン情報の関節位置Ｃ０〜Ｃ１９の情報を用いることで、プレーヤＰＬが、図６（Ａ）、図６（Ｂ）のいずれのつかみ連動動作を行ったのかを判定できる。
【０１８６】
例えば図６（Ａ）の右手ＨＤＲに対応する図１６（Ａ）の関節Ｃ７、Ｃ６の位置の変化を検出することで、右手ＨＤＲで平手攻撃を行っている図６（Ａ）のつかみ連動動作を判別できる。また図６（Ｂ）の右手ＨＤＲに対応する図１６（Ｂ）の関節Ｃ７、Ｃ６の位置の変化を検出することで、右手ＨＤＲでパンチ攻撃を行っている図６（Ｂ）のつかみ連動動作を判別できる。
【０１８７】
そして図１６（Ａ）に示すようなスケルトン情報が検出された場合には、図６（Ａ）のつかみ連動動作の画像として、図８（Ａ）に示すような画像を生成する。また図１６（Ｂ）に示すようなスケルトン情報が検出された場合には、図６（Ｂ）のつかみ動作動作の画像として、図８（Ｂ）に示すような画像を生成する。
【０１８８】
このように、デプス情報から得られるスケルトン情報を用いて、つかみ連動動作を判定すれば、より正確で適切な判定処理を実現できる。また例えばキャラクタのモーションを再生するために使用されるスケルトン情報を有効活用して、つかみ連動動作の判定処理を実現できるようになる。
【０１８９】
なお、以上に説明したスケルトン情報に基づく動作判定処理は、つかみ連動動作のみならず、図３（Ａ）、図３（Ａ）等で説明したつかみ準備動作の判定処理に対しても適用できる。
【０１９０】
また本実施形態では、図１５に示すように取得されたスケルトン情報を用いて、画像処理の処理領域を設定してもよい。
【０１９１】
例えばプレーヤＰＬの一方の手である左手がつかみ動作を行っていると判定されたとする。この場合には、図１７（Ａ）に示すように、プレーヤＰＬの他方の手である右手に対応する関節Ｃ７、Ｃ６の位置を含む画像領域を、画像処理の処理領域ＲＰＣ１に設定する。そして、設定された処理領域ＲＰＣ１でのデプス情報やカラー画像情報に対して、つかみ連動動作の判定のための画像処理を行う。具体的には、この処理領域ＲＰＣ１において、図９（Ａ）〜図１４（Ｃ）で説明したような画像領域の面積を求める画像処理を行う。或いは、この処理領域ＲＰＣ１において、つかみ連動動作を判定するための手の形状認識処理を行う。
【０１９２】
このようにすれば、全ての領域において画像処理を行う必要がなくなり、画面サイズよりも小さな処理領域ＲＰＣ１において画像処理を行えば済むようになる。従って、画像処理の処理負荷を軽減でき、少ない処理負荷で、つかみ連動動作の判定のための画像処理を実行できるようになる。
【０１９３】
なお、以上に説明したスケルトン情報に基づく画像領域の設定処理は、つかみ連動動作の判定処理のみならず、つかみ動作の判定処理にも適用できる。具体的には、プレーヤＰＬのスケルトン情報に基づいて、プレーヤＰＬの左手がつかみ準備動作を行っていると判定されたとする。この場合には図１７（Ａ）、図１７（Ｂ）に示すように、プレーヤＰＬの左手ＨＤＬに対応する関節Ｃ１１、Ｃ１０の位置を含む画像領域を、画像処理の処理領域ＲＰＣ２に設定する。そして、設定された処理領域ＲＰＣ２でのデプス情報やカラー画像情報に対して、つかみ動作の判定のための画像処理を行う。具体的には、この処理領域ＲＰＣ２において、図９（Ａ）〜図１４（Ｃ）で説明したような画像領域の面積を求める画像処理を行う。或いは、この処理領域ＲＰＣ２において、つかみ動作を判定するための手の形状認識処理を行う。このようにすれば、少ない処理負荷で、つかみ動作の判定のための画像処理を実行できるようになる。
【０１９４】
２．４ 攻撃演算処理
本実施形態では、図７（Ａ）〜図８（Ｂ）で説明したように、画像センサＩＳＥからの画像情報に基づいて、他方の手がつかみ連動動作として攻撃動作を行っているか否かを判定する。例えば図７（Ａ）、図８（Ａ）では、他方の手が、平手による攻撃動作を行っているか否かを判定しており、図７（Ｂ）、図８（Ｂ）では、パンチによる攻撃動作を行っているか否かを判定している。
【０１９５】
この場合に、画像センサＩＳＥからの画像情報に基づいて、他方の手による攻撃動作の攻撃演算用パラメータを設定し、攻撃演算用パラメータに基づいて攻撃演算処理を行うことが望ましい。
【０１９６】
例えば図７（Ａ）、図８（Ａ）の平手攻撃において、他方の手である右手ＨＤＲの画像情報に基づいて、右手ＨＤＲを振る速度や、振り幅を検出する。そして、振る速度や振り幅が大きい場合には、攻撃演算用パラメータである攻撃力パラメータの値を大きくする。これにより、平手攻撃による相手キャラクタのダメージ量は大きくなる。一方、振る速度や振り幅が小さい場合には、攻撃力パラメータの値を小さくする。これにより、平手攻撃による相手キャラクタのダメージ量は小さくなる。
【０１９７】
このように、つかみ動作やつかみ連動動作の判定のみならず、攻撃演算用パラメータの設定処理においても、画像センサＩＳＥからの画像情報を用いれば、画像情報の有効活用を図れる。また、プレーヤＰＬの手の動きの速さや手の動き量に応じて、相手キャラクタのダメージ量も大きくなる。従って、プレーヤの動きがゲームに対して更に効果的に反映されるようになり、プレーヤの仮想現実感を向上できる。
【０１９８】
なお図１８に、各つかみ連動動作パターンに対して各攻撃演算用パラメータを対応づけたテーブルデータの例を示す。例えばつかみ連動動作パターンＰＡには、攻撃Ａが対応づけられており、攻撃Ａの攻撃力パラメータや硬直時間パラメータの値が対応づけられている。また、つかみ連動動作パターンＰＢには、攻撃Ｂが対応づけられており、攻撃Ｂの攻撃力パラメータや硬直時間パラメータの値が対応づけられている。ここで、硬直時間パラメータは、攻撃演算用パラメータの１つであり、プレーヤの攻撃がヒットした場合に相手キャラクタを硬直させる時間を表すパラメータである。図１８に示すようなテーブルデータを用意することで、例えばスケルトン情報に基づいてつかみ連動動作パターンを判別し、判別されたパターンに対応づけられた攻撃演算用パラメータを用いて攻撃演算を実行できるようになる。
【０１９９】
２．５ 詳細な処理例
次に本実施形態の詳細な処理例について図１８、図１９のフローチャートを用いて説明する。図１８は、本実施形態の全体的な処理を示すフローチャートである。
【０２００】
まず、図２（Ａ）、図２（Ｂ）で説明したように、画像センサからの画像情報を取得する（ステップＳ１）。そして、取得された画像情報に基づいて、プレーヤの一方の手が、図４（Ａ）、図４（Ｂ）に示すようなつかみ動作を行っているか否かを判定する（ステップＳ２）。
【０２０１】
そして、つかみ動作を行っていると判定された場合には（ステップＳ３）、他方の手に対応する画像に対する画像処理等を行って、他方の手が、図６（Ａ）〜図７（Ｂ）に示すようなつかみ連動動作を行っているか否かを判定する（ステップＳ４）。そして、つかみ連動動作を行っていると判定された場合には（ステップＳ５）、図８（Ａ）、図８（Ｂ）に示すように、プレーヤに対応するキャラクタがつかみ動作及びつかみ連動動作を行う画像を生成する（ステップＳ６）。
【０２０２】
図２０は、プレーヤのスケルトン情報を用いて、プレーヤがつかみ動作やつかみ連動動作を行っているか否かを判定する処理のフローチャートである。
【０２０３】
まず、図２（Ａ）、図２（Ｂ）で説明したように、画像センサによりカラー画像情報、デプス情報等の画像情報を取得する（ステップＳ１１）。次に、取得されたデプス情報等を用いて、図１５で説明したプレーヤのスケルトン情報を求める（ステップＳ１２）。そして、求められたスケルトン情報に基づいて、プレーヤの一方の手がつかみ動作を行っているか否かを判定する（ステップＳ１３）。具体的には、スケルトン情報に基づいてプレーヤの一方の手がつかみ準備動作を行っているか否かを判定し、つかみ準備動作を行っていると判定された場合には、その一方の手がつかみ動作を行っているか否かを判定する。
【０２０４】
そして、つかみ動作を行っていると判定された場合には（ステップＳ１４）、図１７（Ａ）、図１７（Ｂ）で説明したように、スケルトン情報に基づき、他方の手の位置を特定し、特定された位置を含む画像領域を、画像処理の処理領域に設定する（ステップＳ１５）。次に、設定された処理領域での画像情報に基づき画像処理を行って、プレーヤがつかみ連動動作を行っているか否かを判定する（ステップＳ１６）。
【０２０５】
そして、つかみ連動動作を行っていると判定された場合には（ステップＳ１７）、図８（Ａ）、図８（Ｂ）に示すように、プレーヤに対応するキャラクタがつかみ動作及びつかみ連動動作を行う画像を生成する（ステップＳ１８）。
【０２０６】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像情報に基づくプレーヤのつかみ動作やつかみ連動動作やつかみ準備動作の判定手法、画像領域の面積に基づく判定手法、スケルトン情報の取得手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【符号の説明】
【０２０７】
ＩＳＥ 画像センサ、ＰＬ プレーヤ、ＳＣ 画面、ＨＤＬ 左手、ＨＤＲ 右手、
ＨＬＯＢ キャラクタの左手、ＨＲＯＢ キャラクタの右手、
ＴＯＢ ターゲットオブジェクト（相手キャラクタ）、
ＲＰＣ１、ＲＰＣ２ 処理領域、ＥＴＨ 手袋（認識用部材）、
１００ 処理部、１０２ 画像情報取得部、１０４ 情報取得部、
１０５ スケルトン情報取得部、１０６ ゲーム演算部、１０７ つかみ準備動作判定部、
１０９ つかみ動作判定部、１０９ つかみ連動動作判定部、１１０ 攻撃動作判定部、
１１２ オブジェクト空間設定部、１１４ キャラクタ制御部、１１５ 移動処理部、
１１６ モーション処理部、１１８ 仮想カメラ制御部、１２０ 画像生成部、
１３０ 音生成部、１６０ 操作部、１７０ 記憶部、１７１ 画像情報記憶部、
１７２ カラー画像情報記憶部、１７３ デプス情報記憶部、
１７４ スケルトン情報記憶部、１７５ オブジェクトデータ記憶部、
１７６ モーションデータ記憶部、１７７ モデルデータ記憶部、１７９ 描画バッファ、
１８０ 情報記憶媒体、１９０ 表示部、１９２ 音出力部、１９４ 補助記憶装置、
１９６ 通信部
【特許請求の範囲】
【請求項１】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づいて、プレーヤの右手、左手の一方の手がつかみ動作を行っているか否かを判定するつかみ動作判定部と、
前記一方の手がつかみ動作を行っていると判定された場合には、前記画像情報に基づいて、前記一方の手とは異なる他方の手が、前記つかみ動作に続くつかみ連動動作を行っているか否かを判定するつかみ連動動作判定部と、
前記つかみ動作及びつかみ連動動作の判定結果に基づいて画像を生成する画像生成部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項２】
請求項１において、
前記つかみ連動動作判定部は、
前記他方の手が複数の第１〜第Ｍのつかみ連動動作（Ｍは２以上の整数）のうちのいずれのつかみ連動動作を行っているかを、前記画像センサからの前記画像情報に基づいて判定することを特徴とするプログラム。
【請求項３】
請求項２において、
前記つかみ連動動作判定部は、
前記他方の手の部分に対応する画像領域の情報に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項４】
請求項３において、
前記つかみ連動動作判定部は、
所与の期間又は所与のタイミングにおける前記画像領域の情報に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項５】
請求項３又は４において、
前記つかみ連動動作判定部は、
前記画像領域の面積に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項６】
請求項５において、
前記画像情報取得部は、
前記画像情報として、各画素位置にカラー値が設定されたカラー画像情報を取得し、
前記つかみ連動動作判定部は、
前記他方の手の部分に対応する前記カラー画像情報における前記画像領域の面積に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項７】
請求項５において、
前記画像情報取得部は、
前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、
前記つかみ連動動作判定部は、
前記他方の手に対応する前記デプス情報における前記画像領域の面積に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項８】
請求項５乃至７のいずれかにおいて、
前記つかみ連動動作判定部は、
前記画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させることを特徴とするプログラム。
【請求項９】
請求項２において、
前記つかみ連動動作判定部は、
前記プレーヤが手に装着する認識用部材の画像情報に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項１０】
請求項２において、
前記つかみ連動動作判定部は、
前記他方の手の部分の画像情報に対する形状認識処理により、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項１１】
請求項２において、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部として、
コンピュータを機能させ、
前記つかみ連動動作判定部は、
前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを、前記スケルトン情報に基づいて判定することを特徴とするプログラム。
【請求項１２】
請求項１において、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部として、
コンピュータを機能させ、
前記つかみ連動動作判定部は、
前記他方の手がつかみ連動動作を行っているか否かを、前記スケルトン情報に基づいて判定することを特徴とするプログラム。
【請求項１３】
請求項１において、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、つかみ動作又はつかみ連動動作を判定するための画像処理の処理領域を設定する情報取得部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記プレーヤに対応するキャラクタの制御を行うキャラクタ制御部として、
コンピュータを機能させ、
前記画像生成部は、
前記プレーヤがつかみ動作及びつかみ連動動作を行っていると判定された場合には、前記キャラクタがつかみ動作及びつかみ連動動作を行う画像を生成することを特徴とするプログラム。
【請求項１５】
請求項１乃至１４のいずれかにおいて、
前記つかみ連動動作判定部は、
前記画像センサからの前記画像情報に基づいて、前記他方の手がつかみ連動動作として攻撃動作を行っているか否かを判定すること特徴とするプログラム。
【請求項１６】
請求項１５において、
前記画像センサからの前記画像情報に基づいて、前記他方の手による攻撃動作の攻撃演算用パラメータを設定し、攻撃演算用パラメータに基づいて攻撃演算処理を行う攻撃演算部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１７】
請求項１乃至１６のいずれかにおいて、
前記画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定するつかみ準備動作判定部として、
コンピュータを機能させ、
前記つかみ動作判定部は、
つかみ準備動作が行われていると判定された場合には、つかみ準備動作を行っている前記プレーヤの手に対応する画像に対して画像処理を行い、前記画像処理の結果に基づいて、前記プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項１８】
請求項１７において、
前記つかみ動作判定部は、
つかみ準備動作を行っていると判定された前記プレーヤの手の部分に対応する画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項１９】
請求項１８において、
前記つかみ動作判定部は、
所与の期間又は所与のタイミングにおける前記画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項２０】
請求項１８又は１９において、
前記つかみ動作判定部は、
前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項２１】
請求項２０において、
前記つかみ動作判定部は、
前記画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させることを特徴とするプログラム。
【請求項２２】
請求項１７において、
前記つかみ動作判定部は、
前記プレーヤが手に装着する認識用部材の画像情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項２３】
請求項１７において、
前記つかみ動作判定部は、
つかみ準備動作を行っていると判定された前記プレーヤの手の部分の画像情報に対する形状認識処理により、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項２４】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至２３のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項２５】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づいて、プレーヤの右手、左手の一方の手がつかみ動作を行っているか否かを判定するつかみ動作判定部と、
前記一方の手がつかみ動作を行っていると判定された場合には、前記画像情報に基づいて、前記一方の手とは異なる他方の手が、前記つかみ動作に続くつかみ連動動作を行っているか否かを判定するつかみ連動動作判定部と、
前記つかみ動作及びつかみ連動動作の判定結果に基づいて画像を生成する画像生成部と、
を含むことを特徴とする画像生成システム。
【請求項１】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づいて、プレーヤの右手、左手の一方の手がつかみ動作を行っているか否かを判定するつかみ動作判定部と、
前記一方の手がつかみ動作を行っていると判定された場合には、前記画像情報に基づいて、前記一方の手とは異なる他方の手が、前記つかみ動作に続くつかみ連動動作を行っているか否かを判定するつかみ連動動作判定部と、
前記つかみ動作及びつかみ連動動作の判定結果に基づいて画像を生成する画像生成部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項２】
請求項１において、
前記つかみ連動動作判定部は、
前記他方の手が複数の第１〜第Ｍのつかみ連動動作（Ｍは２以上の整数）のうちのいずれのつかみ連動動作を行っているかを、前記画像センサからの前記画像情報に基づいて判定することを特徴とするプログラム。
【請求項３】
請求項２において、
前記つかみ連動動作判定部は、
前記他方の手の部分に対応する画像領域の情報に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項４】
請求項３において、
前記つかみ連動動作判定部は、
所与の期間又は所与のタイミングにおける前記画像領域の情報に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項５】
請求項３又は４において、
前記つかみ連動動作判定部は、
前記画像領域の面積に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項６】
請求項５において、
前記画像情報取得部は、
前記画像情報として、各画素位置にカラー値が設定されたカラー画像情報を取得し、
前記つかみ連動動作判定部は、
前記他方の手の部分に対応する前記カラー画像情報における前記画像領域の面積に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項７】
請求項５において、
前記画像情報取得部は、
前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、
前記つかみ連動動作判定部は、
前記他方の手に対応する前記デプス情報における前記画像領域の面積に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項８】
請求項５乃至７のいずれかにおいて、
前記つかみ連動動作判定部は、
前記画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させることを特徴とするプログラム。
【請求項９】
請求項２において、
前記つかみ連動動作判定部は、
前記プレーヤが手に装着する認識用部材の画像情報に基づいて、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項１０】
請求項２において、
前記つかみ連動動作判定部は、
前記他方の手の部分の画像情報に対する形状認識処理により、前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを判定することを特徴とするプログラム。
【請求項１１】
請求項２において、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部として、
コンピュータを機能させ、
前記つかみ連動動作判定部は、
前記他方の手が前記第１〜第Ｍのつかみ連動動作のうちのいずれのつかみ連動動作を行っているかを、前記スケルトン情報に基づいて判定することを特徴とするプログラム。
【請求項１２】
請求項１において、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得する情報取得部として、
コンピュータを機能させ、
前記つかみ連動動作判定部は、
前記他方の手がつかみ連動動作を行っているか否かを、前記スケルトン情報に基づいて判定することを特徴とするプログラム。
【請求項１３】
請求項１において、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、つかみ動作又はつかみ連動動作を判定するための画像処理の処理領域を設定する情報取得部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記プレーヤに対応するキャラクタの制御を行うキャラクタ制御部として、
コンピュータを機能させ、
前記画像生成部は、
前記プレーヤがつかみ動作及びつかみ連動動作を行っていると判定された場合には、前記キャラクタがつかみ動作及びつかみ連動動作を行う画像を生成することを特徴とするプログラム。
【請求項１５】
請求項１乃至１４のいずれかにおいて、
前記つかみ連動動作判定部は、
前記画像センサからの前記画像情報に基づいて、前記他方の手がつかみ連動動作として攻撃動作を行っているか否かを判定すること特徴とするプログラム。
【請求項１６】
請求項１５において、
前記画像センサからの前記画像情報に基づいて、前記他方の手による攻撃動作の攻撃演算用パラメータを設定し、攻撃演算用パラメータに基づいて攻撃演算処理を行う攻撃演算部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１７】
請求項１乃至１６のいずれかにおいて、
前記画像情報に基づいて、プレーヤがつかみ準備動作を行っているか否かを判定するつかみ準備動作判定部として、
コンピュータを機能させ、
前記つかみ動作判定部は、
つかみ準備動作が行われていると判定された場合には、つかみ準備動作を行っている前記プレーヤの手に対応する画像に対して画像処理を行い、前記画像処理の結果に基づいて、前記プレーヤがつかみ準備動作に続くつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項１８】
請求項１７において、
前記つかみ動作判定部は、
つかみ準備動作を行っていると判定された前記プレーヤの手の部分に対応する画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項１９】
請求項１８において、
前記つかみ動作判定部は、
所与の期間又は所与のタイミングにおける前記画像領域の情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項２０】
請求項１８又は１９において、
前記つかみ動作判定部は、
前記画像領域の面積に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項２１】
請求項２０において、
前記つかみ動作判定部は、
前記画像領域の面積を判定する際の判定しきい値を、生成された画像が表示される表示部と前記プレーヤとの間の距離情報に応じて変化させることを特徴とするプログラム。
【請求項２２】
請求項１７において、
前記つかみ動作判定部は、
前記プレーヤが手に装着する認識用部材の画像情報に基づいて、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項２３】
請求項１７において、
前記つかみ動作判定部は、
つかみ準備動作を行っていると判定された前記プレーヤの手の部分の画像情報に対する形状認識処理により、前記プレーヤがつかみ動作を行っているか否かを判定することを特徴とするプログラム。
【請求項２４】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至２３のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項２５】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づいて、プレーヤの右手、左手の一方の手がつかみ動作を行っているか否かを判定するつかみ動作判定部と、
前記一方の手がつかみ動作を行っていると判定された場合には、前記画像情報に基づいて、前記一方の手とは異なる他方の手が、前記つかみ動作に続くつかみ連動動作を行っているか否かを判定するつかみ連動動作判定部と、
前記つかみ動作及びつかみ連動動作の判定結果に基づいて画像を生成する画像生成部と、
を含むことを特徴とする画像生成システム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【公開番号】特開２０１１−２１５９２２（Ｐ２０１１−２１５９２２Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８３８９４（Ｐ２０１０−８３８９４）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
[ Back to top ]