プログラム、情報記憶媒体及び画像生成システム
【課題】動き情報の検出精度を反映させた画像を生成できるプログラム、情報記憶媒体、画像生成システム等の提供。
【解決手段】画像生成システムは、画像センサからの画像情報を取得する画像情報取得部と、画像センサからの画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、動き情報の検出精度情報を取得する検出精度情報取得部と、表示部に表示される画像を生成する画像生成部を含む。画像生成部は、操作者の動き情報の検出精度情報に応じて、表示部に表示される画像の表示態様を変化させる。
【解決手段】画像生成システムは、画像センサからの画像情報を取得する画像情報取得部と、画像センサからの画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、動き情報の検出精度情報を取得する検出精度情報取得部と、表示部に表示される画像を生成する画像生成部を含む。画像生成部は、操作者の動き情報の検出精度情報に応じて、表示部に表示される画像の表示態様を変化させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及び画像生成システム等に関する。
【背景技術】
【０００２】
近年、従来の操作ボタンや方向キーを備えたコントローラに代わって、モーションセンサを内蔵するコントローラを用いて操作が可能なゲーム装置が人気を博している。このような操作インターフェースを備えるゲーム装置によれば、操作者（プレーヤ、ユーザ）の直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献１に開示される技術がある。
【０００３】
しかしながら、このような直感的なインターフェースでは、操作者の動きにより入力された操作情報の検出精度が低い場合には、入力した操作が、操作者が意図しない操作として誤認識されてしまうおそれがある。また、検出精度が低い操作情報が頻繁に入力されると、システムが不安定になるおそれもある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３６６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の幾つかの態様によれば、動き情報の検出精度を反映させた画像を生成できるプログラム、情報記憶媒体、画像生成システム等を提供できる。
【課題を解決するための手段】
【０００６】
本発明の一態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、前記動き情報の検出精度情報を取得する検出精度情報取得部と、表示部に表示される画像を生成する画像生成部とを含み、前記画像生成部は、前記操作者の前記動き情報の前記検出精度情報に応じて、前記表示部に表示される画像の表示態様を変化させる画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００７】
本発明の一態様では、画像センサから画像情報が取得され、画像情報から操作者の動き情報が取得される。また動き情報の検出精度情報が取得される。そして、取得された検出精度情報に応じて、表示部に表示される画像の表示態様が変化する。このようにすれば、動き情報の検出精度を反映させた画像を生成できるようになり、これまでにない画像生成システムの提供が可能になる。
【０００８】
また本発明の一態様では、オブジェクトを制御するオブジェクト制御部を含み（オブジェクト制御部としてコンピュータを機能させ）、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの表示態様を変化させてもよい。
【０００９】
このようにすれば、動き情報の検出精度が変化すると、オブジェクトの表示態様が変化するため、検出精度の高低を、当該オブジェクトの画像の表示態様の変化により操作者に伝えることが可能になる。
【００１０】
また本発明の一態様では、前記オブジェクト制御部は、前記操作者の前記動き情報に応じて移動又は動作するように前記オブジェクトの制御を行い、前記画像生成部は、前記動き情報に応じて移動又は動作する前記オブジェクトの表示態様を、前記動き情報の前記検出精度情報に基づいて変化させてもよい。
【００１１】
このようにすれば、操作者の動き情報に応じてオブジェクトが移動又は動作すると共に、動き情報の検出精度が変化すると、当該オブジェクトの表示態様が変化する。従って、検出精度の高低を、当該オブジェクトの画像の表示態様の変化により操作者に伝えることが可能になる。
【００１２】
また本発明の一態様では、前記画像生成部は、前記検出精度情報により表される検出精度が低くなるにつれて、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも１つの処理を行ってもよい。
【００１３】
このようにすれば、検出精度が低下すると、オブジェクトがぼけた画像になったり、透明に近づいたり、色が変化するようになり、これらの画像の変化により、検出精度の低下を操作者に伝えることが可能になる。
【００１４】
また本発明の一態様では、前記検出精度情報取得部は、前記操作者の所定部位が前記操作者の他の部位に近づくほど、検出精度が低くなる情報を、前記検出精度情報として取得し、前記画像生成部は、前記操作者の所定部位が前記他の部位に近づくほど、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも１つの処理を行うと共に、前記オブジェクトのサイズを変化させる処理を行ってもよい。
【００１５】
このようにすれば、操作者の所定部位が他の部位に近づくことで検出精度が低下すると、オブジェクトがぼけた画像になったり、透明に近づいたり、色が変化するのに加えて、オブジェクトのサイズも変化する。従って、操作者は、操作者の所定部位が他の部位に近づいたことで検出精度が低下したということを、直感的に把握できるようになる。
【００１６】
また本発明の一態様では、前記画像生成部は、前記検出精度情報により表される検出精度が低くなるにつれて、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、前記オブジェクトの色を変化させる処理、前記オブジェクトの明度を変化させる処理、前記オブジェクトの輪郭線の表示態様を変化させる処理、前記オブジェクトのサイズを変化させる処理、及び前記オブジェクトに施されるエフェクトを変化させる処理の少なくとも１つの処理を行ってもよい。
【００１７】
このようにすれば、検出精度が低下すると、所定部位に対応するオブジェクトがぼけた画像になったり、透明に近づいたり、色が変化したり、明度が変化したり、輪郭線の表示態様が変化したり、サイズが変化したり、エフェクトが変化するようになり、これらの画像の変化により、検出精度の低下を操作者に伝えることが可能になる。
【００１８】
また本発明の一態様では、前記オブジェクトは、前記操作者の手の動きに応じて移動又は動作する手オブジェクトであり、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記手オブジェクトの表示態様を変化させてもよい。
【００１９】
このようにすれば、操作者の手の動きに応じて手オブジェクトが移動又は動作すると共に、検出精度の高低により、その手オブジェクトの表示態様も変化するようになる。
【００２０】
また本発明の一態様では、前記オブジェクトは、前記操作者の所定部位の動きに応じて移動するアイコンであり、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記アイコンの表示態様を変化させてもよい。
【００２１】
このようにすれば、操作者の所定部位の動きに応じてアイコンが移動すると共に、検出精度の高低により、そのアイコンの表示態様も変化するようになる。
【００２２】
また本発明の一態様では、前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記操作対象オブジェクトの表示態様を変化させてもよい。
【００２３】
このようにすれば、操作者の動き情報の検出精度の高低により、操作者の操作対象となる操作対象オブジェクトの表示態様を変化させることが可能になる。
【００２４】
また本発明の一態様では、前記操作対象オブジェクトは、映像機器又はゲーム装置に対して操作指示を行うためのオブジェクトであってもよい。
【００２５】
このようにすれば、映像機器又はゲーム装置に対して操作指示を行う操作対象オブジェクトの表示態様を、操作者の動き情報の検出精度の高低に応じて変化させることが可能になる。
【００２６】
また本発明の一態様では、前記操作対象オブジェクトは、前記映像機器又は前記ゲーム装置に対してコンテンツ選択、機器動作選択、及びコンテンツ再生・記録の少なくも１つを操作指示するためのオブジェクトであってもよい。
【００２７】
このようにすれば、コンテンツ選択、機器動作選択、コンテンツ再生・記録を操作指示するための操作対象オブジェクトの表示態様を、操作者の動き情報の検出精度の高低に応じて変化させることが可能になる。
【００２８】
また本発明の一態様では、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が低くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を制限又は不許可にする制御を行ってもよい。
【００２９】
このようにすれば、操作者の動き情報の検出精度が低い場合には、操作対象オブジェクトに対する操作者の操作が制限又は不許可にされるため、操作者の操作が誤認識されて、映像機器やゲーム装置の誤操作が行われてしまう事態を抑止できる。
【００３０】
また本発明の一態様では、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が高くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を許可する制御を行ってもよい。
【００３１】
このようにすれば、操作者の動き情報の検出精度が高い場合にだけ、操作対象オブジェクトに対する操作者の操作が許可されるため、映像機器やゲーム装置の安定した操作指示を実現できるようになる。
【００３２】
また本発明の一態様では、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が低くなるほど、前記操作対象オブジェクトとなる候補オブジェクトの数を増加させる制御を行ってもよい。
【００３３】
このようにすれば、操作者の動き情報の検出精度が低い場合には、操作対象オブジェクトの候補オブジェクトの数が増加するため、操作者は所望の候補オブジェクトを操作対象オブジェクトとして選択等することで、所望の操作指示を行うことが可能になる。
【００３４】
また本発明の一態様では、前記検出精度情報取得部は、前記操作者の所定部位が前記操作者の他の部位に近づくほど、前記動き情報の検出精度が低くなる情報を、前記検出精度情報として取得してもよい。
【００３５】
このようにすれば、操作者の所定部位が他の部位に近づくことで動き情報の検出精度が低下すると、その検出精度の低下を反映させた画像を生成して、表示部に表示することが可能になる。
【００３６】
また本発明の一態様では、前記検出精度情報取得部は、前記操作者が前記画像センサから所定距離以上離れた場合に、前記動き情報の検出精度が低くなる情報を、前記検出精度情報として取得してもよい。
【００３７】
このようにすれば、操作者が画像センサから所定距離以上離れることで動き情報の検出精度が低下すると、その検出精度の低下を反映させた画像を生成して、表示部に表示することが可能になる。
【００３８】
また本発明の他の態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、前記動き情報の検出精度情報を取得する検出精度情報取得部と、オブジェクトを制御するオブジェクト制御部と、表示部に表示される画像を生成する画像生成部とを含み、前記オブジェクト制御部は、前記操作者の前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの制御を行う画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００３９】
また本発明の他の態様では、前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が低くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を制限又は不許可にする制御を行ってもよい。
【００４０】
また本発明の他の態様では、前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が高くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を許可する制御を行ってもよい。
【図面の簡単な説明】
【００４１】
【図１】本実施形態の画像生成システムの構成例。
【図２】図２（Ａ）、図２（Ｂ）は画像センサからの撮像情報を用いた本実施形態の操作インターフェースの説明図。
【図３】図３（Ａ）、図３（Ｂ）は操作者の操作動作を示す図。
【図４】図４（Ａ）、図４（Ｂ）は動き情報の検出精度情報に基づき画像の表示態様を変化させる手法の説明図。
【図５】動き情報の検出精度情報に基づき画像の表示態様を変化させる手法の説明図。
【図６】図６（Ａ）、図６（Ｂ）は動き情報の検出精度の変化の予測情報を用いる手法の説明図。
【図７】デプス情報等に基づいて操作者のスケルトン情報を求める手法の説明図。
【図８】図８（Ａ）、図８（Ｂ）はスケルトン情報、信頼度情報のデータ構造の例。
【図９】図９（Ａ）、図９（Ｂ）は信頼度、存在確率範囲の説明図。
【図１０】図１０（Ａ）、図１０（Ｂ）は信頼度の説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）は動き情報の検出精度情報に応じたオブジェクトの制御手法の説明図。
【図１２】図１２（Ａ）、図１２（Ｂ）は動き情報の検出精度情報に応じたオブジェクトの制御手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）はオブジェクトの移動、動作を制限する際にウェイト期間を設定する手法の説明図。
【図１４】図１４（Ａ）、図１４（Ｂ）はウェイト期間経過後の選択画面等の表示手法の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）は動き情報の検出精度情報に応じたゲーム演算処理手法の説明図。
【図１６】図１６（Ａ）、図１６（Ｂ）は動き情報の検出精度情報に応じたゲーム演算処理手法の説明図。
【図１７】図１７（Ａ）、図１７（Ｂ）は映像機器への本実施形態の手法の適用例。
【図１８】図１８（Ａ）〜図１８（Ｃ）は操作対象オブジェクトの候補オブジェクトの数を増減させる手法の説明図。
【図１９】図１９（Ａ）、図１９（Ｂ）は映像機器への本実施形態の手法の適用例。
【図２０】本実施形態の処理を説明するフローチャート。
【図２１】本実施形態の処理を説明するフローチャート。
【図２２】本実施形態の処理を説明するフローチャート。
【図２３】本実施形態の処理を説明するフローチャート。
【発明を実施するための形態】
【００４２】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４３】
１．構成
図１に本実施形態の画像生成システム（ゲーム装置、映像機器等）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４４】
操作部１６０は、操作者が操作情報を入力するためのものである。この操作部１６０は、例えばカラー画像センサやデプスセンサなどにより実現される画像センサを含む。なお操作部１６０の機能を、画像センサだけで実現してもよいし、画像センサ以外の操作デバイス（方向指示キー、操作ボタン、アナログスティック、レバー、角速度センサ・加速度センサ等のセンサ、マイク、或いはタッチパネル型ディスプレイ）を用いて実現してもよい。
【００４５】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００４６】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００４７】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００４８】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００４９】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００５０】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００５１】
処理部１００（プロセッサ）は、操作部１６０からの操作情報やプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００５２】
処理部１００は、画像情報取得部１０２、動き情報取得部１０４、検出精度情報取得部１０６、ゲーム演算部１１０、オブジェクト空間設定部１１２、オブジェクト制御部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５３】
画像情報取得部１０２は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部１７０の画像情報記憶部１７１に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部１７２に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部１７３に保存される。画像情報取得部１０２は、これらの画像情報を画像情報記憶部１７１から読み出すことで画像情報を取得する。
【００５４】
動き情報取得部１０４は動き情報を取得し、検出精度情報取得部１０６は検出精度情報を取得する。動き情報、検出精度情報は動き情報記憶部１７４、検出精度情報記憶部１７５に記憶される。動き情報取得部１０４、検出精度情報取得部１０６の詳細については後述する。
【００５５】
ゲーム演算部１１０はゲーム演算処理を行う。ここでゲーム演算処理としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００５６】
オブジェクト空間設定部１１２は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちオブジェクトが３次元オブジェクトである場合には、ワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７６には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００５７】
オブジェクト制御部１１４は、オブジェクトの制御を行う。例えば、操作部１６０により操作者（プレーヤ、ユーザ）が入力した操作情報や、プログラム（移動・動作アルゴリズム）や、各種データなどに基づいて、オブジェクトの移動及び動作の少なくとも一方を制御する。具体的には、オブジェクトの移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。或いはオブジェクトのモーション処理やアニメーション処理などの動作制御を行う。なおフレームは、オブジェクトの移動・動作処理や画像生成処理を行う時間の単位である。
【００５８】
オブジェクト制御部１１４により制御されるオブジェクトは、３次元オブジェクト空間に配置設定される３次元オブジェクトであってもよいし、２次元スクリーン（表示画面）に描画される２次元オブジェクトであってもよい。オブジェクトが、３次元モデルにより表されるキャラクタのオブジェクトである場合には、オブジェクト制御部１１４は、キャラクタにモーションを行わせるモーション処理（モーション再生、モーション生成）を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部１７７に記憶されているモーションデータ等に基づいて再生することなどで実現できる。ここで、モーションデータ記憶部１７７には、キャラクタ（モデルオブジェクト）のスケルトンを構成する各骨（キャラクタを構成する各パーツオブジェクト）の位置又は回転角度（親の骨に対する子の骨の３軸周りの回転角度）等を含むモーションデータが記憶されている。またモデルデータ記憶部１７８には、キャラクタを表すモデルオブジェクトのモデルデータが記憶される。
【００５９】
仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００６０】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７９（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。
【００６１】
なお、画像生成部１２０が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラと右目用仮想カメラを配置設定する。そして画像生成部１２０が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。
【００６２】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００６３】
そして本実施形態では、画像情報取得部１０２が、画像センサからの画像情報を取得すると、動き情報取得部１０４が、画像センサからの画像情報に基づいて、操作者の動き情報を取得する。
【００６４】
ここで動き情報としては、例えば動きベクトルなどのオプティカルフローの情報や、操作者の部位の動きを表す情報や、操作者のスケルトン情報などを想定できる。オプティカルフローの情報は、画像センサの撮像画像での操作者の動きを動きベクトルで表現した情報である。操作者の部位の動きを表す情報は、操作者の各部位がどのように動いているかを特定するための情報である。またスケルトン情報は、画像センサから見える操作者の動作を特定するための情報であり、操作者の複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は３次元座標情報により構成される。各関節を結合するものが骨（ボーン）となり、複数の骨の結合によりスケルトンが構成される。関節位置情報は骨の位置情報として用いられる。
【００６５】
検出精度情報取得部１０６は、動き情報の検出精度を表す検出精度情報を取得する。この検出精度情報は、検出された動き情報の正確性や確からしさを表す情報であり、動き情報がどの程度信頼できる情報であるかを示す情報などである。なお、動き情報と検出精度情報は一体となった情報であってもよい。また例えば動き情報がスケルトン情報である場合には、検出精度情報はスケルトン情報の信頼度情報になる。この信頼度情報は、スケルトン情報により表されるスケルトンを構成する各骨（各関節）に対して、各骨の情報（位置情報、対応づけ情報）の信頼度が関連づけられた情報である。ここで、スケルトン情報は、操作者の各部位（手、足、腰、胴体、首、頭等）に対応づけられた各骨（各関節）の位置情報を含み、この場合には、信頼度情報により表される信頼度は、操作者の各部位と各骨との対応づけと、各骨の位置情報に関する信頼度となる。
【００６６】
但し、検出精度情報は、このようなスケルトン情報の信頼度情報には限定されず、上述のようなオプティカルフローによる動き情報や操作者の部位の動きを表す動き情報において、これらの動き情報の検出精度を表す情報であってもよい。例えば動き情報は、操作者の各部位の形状や色等が、フレーム経過に伴いどのように変化するかを表す情報であってもよく、この場合には検出精度情報は、各部位の形状や色の変化により表される動き情報の精度（確からしさ）を表す情報になる。即ちこの場合の動き情報、検出精度情報は、スケルトンを用いることなく、各部位の形状や色等だけでも判定できることとなる。
【００６７】
そして画像生成部１２０は、操作者の動き情報の検出精度情報に応じて、表示部１９０に表示される画像の表示態様を変化させる。
【００６８】
例えばオブジェクト制御部１１４がオブジェクトの制御を行う場合に、画像生成部１２０は、動き情報の検出精度情報に基づいて、当該オブジェクトの表示態様を変化させる。具体的には、オブジェクト制御部１１４が、操作者の動き情報に応じて移動又は動作するようにオブジェクトの制御を行う場合に、画像生成部１２０は、動き情報に応じて移動又は動作するオブジェクトの表示態様を、動き情報の検出精度情報に基づいて変化させる。ここで、操作者の動き情報に応じて移動又は動作するオブジェクトは、２次元オブジェクトであってもよいし、３次元オブジェクトであってもよい。
【００６９】
そして画像生成部１２０は、検出精度情報により表される検出精度が低くなるにつれて、オブジェクトをぼかす処理（ぼかしフィルタ処理）、オブジェクトを透明に近づける処理（α値を変化させる処理）、及びオブジェクトの色を変化させる処理（ターゲット色に近づける処理）の少なくとも１つの処理を行う。或いは、動き情報の検出精度が低くなるにつれて、オブジェクトの明度（輝度）を変化させる処理、オブジェクトの輪郭線の表示態様（太さ、濃さ）を変化させる処理、オブジェクトのサイズを変化（変形）させる処理、及びオブジェクトに施されるエフェクトを変化させる処理の少なくとも１つの処理を行ってもよい。なお本実施形態でのオブジェクトの表示態様を変化させる処理は、オブジェクト（アイコン）自体を完全に消す処理も含むことができる。
【００７０】
ここで、検出精度情報取得部１０６が、操作者の所定部位（例えば手、足）が操作者の他の部位（例えば胸、頭、他方の手・足）に近づくほど、検出精度が低くなる情報を、検出精度情報として取得したとする。この場合には、画像生成部１２０は、操作者の所定部位が他の部位に近づくほど、オブジェクトをぼかす処理、オブジェクトを透明に近づける処理、及びオブジェクトの色を変化させる処理の少なくとも１つの処理を行うと共に、オブジェクトのサイズを変化させる処理を行ってもよい。このようにすることで、操作者の所定部位が他の部位に近づくことで検出精度が低下したことを、操作者に直感的に認識させることが可能になる。
【００７１】
またオブジェクトは、例えば操作者の手の動きに応じて移動又は動作する手オブジェクトであり、画像生成部１２０は、動き情報の検出精度情報に基づいて、手オブジェクトの表示態様を変化させてもよい。但し、オブジェクトはこのような手オブジェクトには限定されず、操作者の手以外の他の部位の動きに応じて移動又は動作するオブジェクトなどであってもよい。またオブジェクトは、操作者の所定部位の動きに応じて移動するアイコン（カーソル）であってもよい。このアイコンは、操作者の所定部位を、その所定部位を象徴する絵、記号等で表現した表示物である。
【００７２】
またオブジェクトが、操作者の操作の対象となる操作対象オブジェクトである場合には、画像生成部１２０は、動き情報の検出精度情報に基づいて、操作対象オブジェクトの表示態様を変化させる。ここで、操作対象オブジェクトは、例えば映像機器又はゲーム装置に対して操作指示を行うためのオブジェクトである。具体的には、操作対象オブジェクトは、映像機器又はゲーム装置に対してコンテンツ選択（映像、チャンネル等の選択）、機器動作選択（ボリューム等の選択）、及びコンテンツ再生・記録（プレイ、停止、早送り、巻き戻し、録画等）の少なくも１つを操作指示するためのオブジェクトである。
【００７３】
またオブジェクト制御部１１４は、検出精度情報により表される検出精度が低くなった場合に、操作対象オブジェクトに対する操作者の操作を制限又は不許可にする制御を行う。例えば検出精度が所定のしきい値よりも低くなると、操作対象オブジェクトに対する操作が制限されたり、操作が不許可になる。一方、オブジェクト制御部１１４は、検出精度情報により表される検出精度が高くなった場合に、操作対象オブジェクトに対する操作者の操作を許可する制御を行う。例えば検出精度が所定のしきい値よりも高くなると、操作対象オブジェクトに対する操作が許可される。
【００７４】
またオブジェクト制御部１１４は、検出精度情報により表される検出精度が低くなるほど、操作対象オブジェクトとなる候補オブジェクトの数を増加させる制御を行ってもよい。例えば動き情報の検出精度が低い場合には、検出精度が高い場合に比べて、操作対象オブジェクトとなる候補オブジェクトの数が増加し、操作者は、これらの候補オブジェクトの中から操作対象オブジェクトを選択できるようになる。
【００７５】
また検出精度情報取得部１０６は、操作者の所定部位（例えば手、足等）が操作者の他の部位（例えば胴体、頭、他方の手・足等）に近づくほど、動き情報の検出精度が低くなる情報を、検出精度情報として取得する。即ち所定部位と他の部位との区別がつかなくなった場合に検出精度が低くなるような情報を、検出精度情報として取得する。或いは、検出精度情報取得部１０６は、操作者が画像センサから所定距離以上離れた場合に、動き情報の検出精度が低くなる情報を、検出精度情報として取得する。即ち、操作者が画像センサから遠く離れてしまい、画像センサからの画像情報から動き情報を取得できなくなったり取得するのが極めて困難になった場合に検出精度が低くなるような情報を、検出精度情報として取得する。
【００７６】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【００７７】
２．１ 検出精度情報に基づく表示態様の変化処理
一般的に、ゲーム装置や、テレビや記録・再生機器等の映像機器では、コントローラ（リモコン）のボタンやレバーを用いて操作を指示する。またコントローラにモーションセンサ（６軸センサ）を設け、操作者がコントローラそのものを動かすことで操作を指示する機器も考えられる。
【００７８】
しかしながら、このような操作インターフェースの機器では、操作にコントローラが必要になり、操作者の手の動きなどのジェスチャをそのまま反映させるような操作については実現できなかった。
【００７９】
そこで本実施形態では、画像センサで撮像された画像情報に基づき操作者の操作入力を可能にする操作インターフェースを採用している。
【００８０】
例えば図２（Ａ）では、表示部１９０（画面ＳＣ）に対応する位置に、デプスセンサ（赤外線センサ等）やカラー画像センサ（ＣＣＤやＣＭＯＳセンサなどのＲＧＢセンサ）により実現される画像センサＩＳＥが設置されている。この画像センサＩＳＥは、例えばその撮像方向（光軸方向）が表示部１９０から操作者の方に向く方向になるように設置されており、表示部１９０側から見た操作者のカラー画像情報やデプス情報を撮像する。なお画像センサＩＳＥは、表示部１９０に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。また画像ＩＳＥの設置位置は図２（Ａ）に限定されず、任意の位置（例えば表示部１９０の下部）に設定できる。
【００８１】
そして図２（Ａ）の画像センサＩＳＥを用いて、図２（Ｂ）に示すようなカラー画像情報とデプス情報を取得する。例えばカラー画像情報では、操作者やその周りの風景の色情報が得られる。一方、デプス情報では、操作者やその周りの風景のデプス値（奥行き値）が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置にカラー値（ＲＧＢ）が設定された画像情報であり、デプス情報は、その各画素位置にデプス値（奥行き値）が設定された画像情報である。なお、画像センサＩＳＥは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。
【００８２】
デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサＩＳＥ（デプスセンサ）から赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間（Time Of Flight）を検出することで、デプス情報を取得し、画像センサＩＳＥの位置から見た操作者などの物体のシェイプを検出する。具体的には、デプス情報は、例えば画像センサＩＳＥから近い物体では明るくなり、画像センサＩＳＥから遠い物体では暗くなるグレースケールデータとして表される。
【００８３】
なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばＣＭＯＳセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報（被写体までの距離情報）を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。
【００８４】
そして本実施形態では、画像センサＩＳＥからの画像情報に基づき、画像センサＩＳＥから見える操作者（プレーヤ、ユーザ）の動き情報を取得する。また、動き情報の検出精度情報を取得する。そして取得された検出精度情報に基づいて画像の表示態様を変化させる。
【００８５】
例えば図３（Ａ）、図３（Ｂ）は、図２（Ａ）のように表示部１９０の前方に立って、その体の動きにより操作情報を入力している操作者の様子を示す図である。図３（Ａ）では、操作者は、自身の体（胴体）から手を離した状態で、手を動かすことで操作情報を入力している。一方、図３（Ｂ）では、自身の体に手が近い状態で、手を動かすことで操作情報を入力している。
【００８６】
図３（Ａ）では、手と胸は遠くなっているため、手の動き情報の検出精度は高くなり、手の位置情報等は、より正確で確からしい情報になっている。一方、図３（Ｂ）では、手と胸は近くなっているため、手の動き情報の検出精度は低くなり、手の位置情報等は、図３（Ａ）に比べて不正確で不確かな情報になっている。即ち図３（Ｂ）では、実際には胸の位置情報であるものを、手の位置情報として誤認識している可能性がある。
【００８７】
そして、本来は操作者は図３（Ａ）のような状態の手の動きで操作すべきであるのに、図３（Ｂ）のような状態の手の動きでの操作を許容すると、操作者の操作をシステム側が誤認識してしまうおそれがある。即ち、システム側が認識した操作と、操作者が意図する操作との間に不一致が生じるおそれがある。
【００８８】
そこで本実施形態では、図３（Ｂ）のような不適切な操作状態になっていることを操作者に認知させるために、図４（Ａ）、図４（Ｂ）に示すように動き情報の検出精度情報に基づいて画像の表示態様を変化させている。
【００８９】
例えば図４（Ａ）において、ＨＲ、ＨＬは、操作者の手（広義には所定部位）に対応して表示部１９０に表示される手オブジェクト（アイコン、カーソル）である。またＣＨは、操作者に対応するキャラクタ（アバター）のオブジェクトである。
【００９０】
そして図３（Ａ）のように操作者が手を動かすと、その手の動きに応じて図４（Ａ）の手オブジェクトＨＲ、ＨＬが移動（又は動作）する。例えば操作者が右手を上下左右に動かすと、右手オブジェクトＨＲが画面上で上下左右に移動し、操作者が左手を上下左右に動かすと、左手オブジェクトＨＬが上下左右に移動する。操作者は、このように手オブジェクトＨＲ、ＨＬを動かすことで、プレイしたいミニゲームを選択したり、ゲームのスタートを選択する。
【００９１】
そして図４（Ａ）は、図３（Ａ）のように手が体から離れた状態の時に表示される画像の例であり、図４（Ｂ）は、図３（Ｂ）のように手が体の近くにある状態の時に表示される画像の例である。
【００９２】
図３（Ａ）のように動き情報の検出精度が高いと考えられる状態では、図４（Ａ）に示すように、手オブジェクトＨＲ、ＨＬは、はっきりとした画像になる。一方、図３（Ｂ）のように、動き情報の検出精度が低いと考えられる状態では、図４（Ｂ）に示すように、手オブジェクトＨＲ、ＨＬは、図４（Ａ）に比べて例えばぼけた画像になったり、透明に近づいた画像になる。或いは手オブジェクトＨＲ、ＨＬの色が薄い色等に変化する。
【００９３】
このように本実施形態では、操作者の手の情報の検出精度が低くなるにつれて、手（所定部位）に対応する手オブジェクトＨＲ、ＨＬ（広義にはオブジェクト）をぼかす処理、透明に近づける処理、或いは色を変化させる処理などを行う。
【００９４】
ぼかし処理は、例えば手オブジェクトＨＲ、ＨＬに対してぼかしフィルタ等を適用することなどで実現できる。具体的には、バイリニアフィルタリングによるぼかし処理である線形テクスチャフィルタリングの手法や、何枚ものテクスチャを同時に使用するマルチテクスチャによるぼかし処理であるボックスフィルタサンプリングの手法などを採用できる。透明に近づける処理は、手オブジェクトＨＲ、ＨＬのα値を、透明に近いα値に変化させることで実現できる。色を変化させる処理は、手オブジェクトＨＲ、ＨＬをターゲット色に近づけることで実現できる。
【００９５】
なお手オブジェクトＨＲ、ＨＬの表示態様の変化処理は、これらの処理には限定されない。例えば動き情報の検出精度が低くなるにつれて、手オブジェクトＨＲ、ＨＬの明度（輝度）を変化させる処理や、輪郭線の表示態様を変化させる処理や、サイズを変化させる処理や、オブジェクトＨＲ、ＨＬに施されるエフェクトを変化させる処理などを行ってもよい。例えば動き情報の検出精度が低くなるにつれて、手オブジェクトＨＲ、ＨＬの明度を暗くしたり、輪郭線を薄くしたり、細くしたり、サイズを拡大又は縮小する。或いは、手オブジェクトＨＲ、ＨＬに施されるエフェクトを用いて、上述した処理と同等の映像効果を実現してもよい。例えば検出精度が下がるほど、フォグエフェクトがオブジェクトＨＲ、ＨＬ（アイコン）に重畳されて行くことで、オブジェクトＨＲ、ＨＬが見えにくくなり、オブジェクトＨＲ、ＨＬをぼかす処理等と同等の効果を得るようにする。或いは、検出精度が下がるほど、オブジェクトＨＲ、ＨＬ（アイコン）を囲むように別のオブジェクト（アイコン）が重畳されて行くことで、オブジェクトＨＲ、ＨＬをぼかす処理等と同等の効果を得るようにする。或いは、信頼度の低下を警告するような吹き出しやアイコン等のエフェクトを、オブジェクトＨＲ、ＨＬに重畳して表示することで、信頼度の低下を操作者に伝えるようにしてもよい。
【００９６】
或いは動き情報の検出精度に応じて手オブジェクトＨＲ、ＨＬを変形させてもよい。また動き情報の検出精度に基づいて、図４（Ａ）、図４（Ｂ）のキャラクタＣＨ（アバター）の画像の表示態様（ぼかし度、透明度、色等）を変化させてもよい。また、動き情報の検出精度が低くなった場合に、検出精度が低くなったことを警告するアイコンオブジェクトを表示してもよい。
【００９７】
以上のように、動き情報の検出精度に応じて手オブジェクトＨＲ、ＨＬの表示態様を変化させれば、手の操作についての検出精度が低下していることを、操作者は容易に把握できるようになる。例えば図３（Ｂ）のように手が体に近い状態で操作している場合には、図４（Ｂ）のように手オブジェクトＨＲ、ＨＬがぼけた画像になるため、これを見た操作者は、図３（Ａ）のように手を伸ばして操作するようになる。従って、結局、操作者は、図３（Ａ）のように動き情報の検出精度が高い状態で手を動かして操作を行うようになり、操作者の操作が誤認識されてしまう事態を抑止できる。従って、誤操作等が抑止され、快適な操作インターフェース環境を操作者に提供できる。
【００９８】
なお図５では、動き情報の検出精度に基づいて、手オブジェクトＨＲ、ＨＬのぼかし処理や透明に近づける処理等を行うと共に、手オブジェクトＨＲ、ＨＬのサイズを変化させる処理を行っている。具体的には、手オブジェクトＨＲ、ＨＬのサイズを拡大する（或いは逆に縮小してもよい）。このようにすれば、操作者は、手が体に近づいたことが原因で動き情報の検出精度が低下して、手オブジェクトＨＲ、ＨＬがぼけた画像になったということを、直感的に認識できるようになる。従って、検出精度の低下を、より直感的に認識できる表示態様変化処理を実現できる。
【００９９】
また、画像の表示態様を変化させる処理は、検出精度自体の値を用いるものには限定されない。例えば検出精度情報により表される検出精度の変化の予測情報（変化率情報、傾き情報）に基づいて、表示部１９０に表示される画像の表示態様を変化させてもよい。
【０１００】
例えば図６（Ａ）のＡ１では、動き情報の検出精度が所定のしきい値ＶＴＣよりも低くなっているため、図４（Ｂ）のように手オブジェクトＨＲ、ＨＬ等の表示態様を変化させる。
【０１０１】
これに対して図６（Ｂ）のＡ２では、検出精度自体はしきい値ＶＴＣよりも低くなっていないが、検出精度の変化から、検出精度がしきい値ＶＴＣよりも低下することが予測されている。即ち、検出精度の減少の変化が急激であるため、近い将来にしきい値ＶＴＣを下回ることが予測されている。
【０１０２】
このような場合には、検出精度がしきい値ＶＴＣよりも低くなっていなくても、検出精度の変化の予測情報に基づいて、図４（Ｂ）のように手オブジェクトＨＲ、ＨＬ等の表示態様を変化させる。このようにすれば、操作者は、動き情報の検出精度がしきい値ＶＴＣを下回る前に、自身の操作が動き情報の検出精度を低下させる操作になっていることを、認識できるようになる。従って、操作者は、検出精度がしきい値ＶＴＣを下回る前に、例えば手の位置を図３（Ｂ）から図３（Ａ）の状態に戻すようになる。この結果、操作者は、動き情報の検出精度が高い値に維持された状態で、操作を継続することが可能になり、操作者の操作の誤認識を更に抑止することができ、安定した操作インターフェース環境を提供できる。
【０１０３】
２．２ スケルトン情報、信頼度情報
本実施形態の動き情報としては、前述のように、オプティカルフローの情報や、操作者の部位の動きを表す情報や、操作者のスケルトン情報などを想定できる。そして動き情報がスケルトン情報である場合には、検出精度情報として、スケルトン情報の信頼度情報を用いることができる。以下、このスケルトン情報と信頼度情報について説明する。
【０１０４】
例えば本実施形態では図７に示すように、図２（Ｂ）のデプス情報等に基づいて、操作者の動作を特定するためのスケルトン情報（動き情報）を取得する。図７ではスケルトン情報として、スケルトンを構成する骨の位置情報（３次元座標）が、関節Ｃ０〜Ｃ１９の位置情報として取得されている。このスケルトンを構成する各骨は、画像センサＩＳＥに映る操作者の各部位（手、足、胸等）に対応するものであり、関節Ｃ０〜Ｃ１９は、画像センサＩＳＥに映る操作者の関節に対応するものである。
【０１０５】
例えば図２（Ｂ）のデプス情報を用いれば、画像センサＩＳＥ側から見た操作者等の３次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などにより操作者の顔等の部位の領域も特定できる。そこで、これらの３次元形状の情報等や画像の動きベクトル（オプティカルフロー）などを用いて、操作者の各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の２次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の３次元座標情報を求め、図７に示すようなスケルトン情報を取得する。更に具体的には、体型・体格が異なる複数のモデルを用意する。そして画像センサＩＳＥにより得られた操作者のデプス情報やカラー画像情報を用いて、操作者の体型・体格と、これらの複数のモデルの体型・体格とのマッチング処理を行い、体型・体格が類似するモデルを特定する。そして、特定されたモデルの関節位置の情報等を用いて、操作者の関節位置（骨の位置、部位の位置）を推定して、スケルトン情報を取得する。
【０１０６】
このようなスケルトン情報を用いれば、操作者の動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばキャラクタのモーションデータとして利用することで、オブジェクト空間において、操作者に対応するキャラクタ（アバター）を動作させることが可能になる。
【０１０７】
しかしながら、操作者の動きや体型・体格は種々様々である。また操作者が画像センサＩＳＥの撮像範囲の外に出てしまう場合もある。従って、完全に１００パーセントの信頼度のスケルトン情報を取得することは困難である。このため、操作者のスケルトンの骨（部位）を完全にはトラッキングできない場合には、骨の位置（関節位置）の推測処理を行い、推測処理により得られた骨の位置等に対しては、その推測処理の確からしさの程度を表す信頼度（広義には検出精度）を関連づける。
【０１０８】
例えば図８（Ａ）にスケルトン情報（広義には動き情報）のデータ構造の例を示す。このスケルトン情報は、各骨（各関節）に対して、その位置情報が関連づけられている。この各骨（各関節）の位置情報は、例えば画像センサＩＳＥのカメラ座標系での３次元座標情報である。また、各骨（各関節）は、操作者の各部位に対応づけられている。例えばＣ０、Ｃ１、Ｃ２は、各々、腰、胸、首の部位に対応づけられている。この対応づけは、骨の番号（関節番号）などにより実現される。
【０１０９】
図８（Ｂ）に信頼度情報（広義には検出精度情報）のデータ構造の例を示す。図８（Ｂ）に示すように、本実施形態の信頼度情報は、スケルトン情報により表されるスケルトンを構成する各骨（各関節）に対して、信頼度が関連づけられた情報である。この信頼度は、各骨の情報の信頼度を表している。具体的には、図８（Ａ）に示すように、スケルトン情報は、操作者の各部位に対応づけられた各骨の位置情報を含み、図８（Ｂ）の信頼度は、操作者の各部位と各骨（各関節）との対応づけや、各骨（各関節）の位置情報に関する信頼度である。なお、「骨」と「関節」は対応しているため、以下では、適宜、「骨」を「関節」として説明したり、「関節」を「骨」として説明する。
【０１１０】
例えば図９（Ａ）において、関節Ｃ１とＣ７の距離は遠く離れている。ＰＲ１、ＰＲ７は関節Ｃ１、Ｃ７の位置についての存在確率の範囲を表すものである。例えば、ある測定タイミングで関節Ｃ１、Ｃ７が図９（Ａ）に示す位置にあった場合には、次の測定タイミングにおいても、関節Ｃ１、Ｃ７の位置は、これらの存在確率の範囲ＰＲ１、ＰＲ７内に位置することが予想される。骨のトラッキングによるスケルトン情報の推定処理の際には、この存在確率の概念を用いる。そして、図９（Ａ）に示すように関節Ｃ１、Ｃ７の距離が離れている場合には、存在確率の範囲ＰＲ１、ＰＲ７の間に重なりが無いため、関節Ｃ１、Ｃ７の情報（部位との対応づけや位置情報）の信頼度（検出精度）は高い。
【０１１１】
一方、図９（Ｂ）では関節Ｃ１、Ｃ７の距離が近づいており、存在確率の範囲ＰＲ１、ＰＲ７の間に重なりが生じている。従って、この場合には、次の測定タイミングで、関節Ｃ１をＣ７と判断したり、関節Ｃ７をＣ１と判断してしまう可能性があり、骨のトラッキングの推定処理の際に、誤った判断をする可能性がある。従って、図９（Ｂ）の場合には、図９（Ａ）に比べて関節Ｃ１、Ｃ７の情報（部位への対応づけや位置情報）の信頼度（検出精度）が低くなる。
【０１１２】
また図１０（Ａ）では、画像センサＩＳＥと操作者の距離が適正な距離になっている。従って、画像センサＩＳＥの撮像により得られる画像情報の信頼度（解像度等）が高くなり、この画像情報から得られるスケルトン情報（動き情報）の信頼度（検出精度）も高くなる。
【０１１３】
一方、図１０（Ｂ）では、画像センサＩＳＥと操作者の距離が長く、操作者が画像センサＩＳＥから所定の距離（許容距離）ＬＭ以上離れている。従って、画像センサＩＳＥの撮像により得られる画像情報の信頼度が低くなり、この画像情報から得られるスケルトン情報動き情報）の信頼度（検出精度）も低くなる。
【０１１４】
以上のように本実施形態で用いられる信頼度情報（検出精度情報）は、例えば図９（Ａ）、図９（Ｂ）に示すように操作者の所定部位（例えば手、足）が他の部位（例えば胸、腰、頭、他方の手・足）に近づくほど信頼度（検出精度）が低くなる情報である。また図１０（Ａ）、図１０（Ｂ）に示すように、操作者が画像センサＩＳＥから所定距離ＬＭ（例えば４〜５ｍ）以上離れた場合に信頼度（検出精度）が低くなる情報である。但し本実施形態の信頼度情報（検出精度情報）は、これに限定されない。例えば他の人間が近づくことで、操作者の認識の精度が低下し、操作者のスケルトン情報（動き情報）の信頼度（検出精度）が低くなるような情報であってもよい。例えば本実施形態では、所定人数分（例えば２人分）の操作者のスケルトン情報を同時に検出できるようになっている。従って、画像センサＩＳＥにより撮像された操作者の人数が、この所定人数を超えた場合（例えば３人以上になった場合）には、これらの操作者のスケルトン情報の確実な認識が難しくなるため、信頼度（検出精度）が下がったと判断してもよい。
【０１１５】
２．３ 検出精度情報に応じたオブジェクト制御
本実施形態では、動き情報の検出精度情報（信頼度情報）に応じたオブジェクト制御を行うことができる。例えば図１１（Ａ）では、操作者は、両手を前に出して、物を持つ動作を行っている。この時、表示部１９０には図１１（Ｂ）に示すようなゲーム画像が表示されている。ＨＲ、ＨＬは操作者の右手、左手に対応する手オブジェクトであり、図１１（Ａ）のように操作者が物を持つ動作を行うと、その動きに連動して手オブジェクトＨＲ、ＨＬも移動又は動作する。そして操作者は、図１１（Ｂ）の画像を見ながら、操作対象となるオブジェクトＯＢＣをつかみ、指示された方向にオブジェクトＯＢＣを移動する操作を行って、ミニゲームを楽しむ。
【０１１６】
図１１（Ａ）では、操作者の右手と左手は重なっておらず、体からも離れた位置にある。従って、操作者の手に対応する骨（関節）の情報の検出精度（信頼度）は高くなっている。従って、この場合には図１１（Ｂ）に示すように手オブジェクトＨＲ、ＨＬは、はっきりとした画像になる。また、手オブジェクトＨＲ、ＨＬの移動（動作）は制限されておらず、操作者の手（所定部位）の動きに応じて手オブジェクトＨＲ、ＨＬは移動又は動作するように制御される。
【０１１７】
一方、図１２（Ａ）では、操作者の右手と左手が交差している。このため、図９（Ｂ）のように手の存在確率の範囲に重なりが生じており、操作者の手に対応する骨（関節）の情報の検出精度（信頼度）は低くなっている。従って、この場合には図１２（Ｂ）に示すように手オブジェクトＨＲ、ＨＬに対してぼかし処理や透明に近づける処理が行われる。また、手オブジェクトＨＲ、ＨＬの移動又は動作が制限又は停止される。即ち、操作者が手を動かしても、手オブジェクトＨＲ、ＨＬは、この動きに連動することはなく、移動又は動作が制限又は停止する。従って、操作者は、操作対象オブジェクトＯＢＣをつかむことはできず、ゲームを進めることができなくなる。
【０１１８】
操作者は、手オブジェクトＨＲ、ＨＬがぼけた画像になっており、手を動かしても動かないことから、自身の手の状態が図１２（Ａ）のように両手が交差した不適切な状態等であることを認識する。そして、手の状態を図１１（Ａ）に示すような状態に戻して、手を動かすことで、手オブジェクトＨＲ、ＨＬがはっきりした画像に戻り、手の動きに連動して手オブジェクトＨＲ、ＨＬも動くようになり、ゲームを進めることが可能になる。
【０１１９】
このように本実施形態では、動き情報の検出精度が低い場合には、操作者の動きに連動したオブジェクトの移動又は動作を制限又は停止している。このため、不適切な状態での操作者の操作は受け付けられないようになる。従って、操作者の操作を誤認識して、操作者が意図しない不適切な操作が行われたり、不適切な操作によりシステムの処理が破綻してしまうなどの事態を抑止できる。
【０１２０】
図１３（Ａ）では、操作者が、ハンドルの形を模したハンドル型コントローラを持って、ゲームをプレイしている。表示部１９０には、図１４（Ａ）に示すような画像が表示され、操作者がハンドル型コントローラを左右に回すと、これに連動してハンドルオブジェクトＨＤも左右に回り、レースカーのオブジェクトＯＢＤも、左右にコーナリングする。これにより、操作者は、リアルな操作感覚でのレースゲームを楽しむことができる。
【０１２１】
一方、図１３（Ｂ）では、操作者がハンドル型コントローラから右手を離して、頭の方に持って行っている。この場合には図９（Ｂ）のように存在確率範囲が重なる事態が発生し、右手の骨（関節）の情報の検出精度（信頼度）が低下する。或いは図１０（Ａ）、図１０（Ｂ）で説明したように、操作者が画像センサＩＳＥから一時的に離れたような場合にも検出精度（信頼度）が低下する。
【０１２２】
しかしながら、この時に図１４（Ａ）では、ハンドルオブジェクトＨＤやレースカーオブジェクトＯＢＤの移動又は動作を直ぐには制限又は停止せずに、制限又は停止制御の実行を所定ウェイト期間だけウェイトする。そしてウェイト期間の間は、レースカーオブジェクトＯＢＤは所定のアルゴリズムに従って自動走行する。そしてウェイト期間が経過した後に、ハンドルオブジェクトＨＤやレースカーオブジェクトＯＢＤの移動又は動作の制限又は停止制御が実行される。
【０１２３】
具体的にはウェイト期間の経過後にゲーム進行のポーズが行われて、図１４（Ｂ）に示すような選択画面が表示部１９０に表示される。この選択画面において、操作者は、ゲームプレイを継続するか否かを（オブジェクトの制御を継続するか否かを）、選択できる。そしてゲームプレイの継続を選択すると、操作者は、図１３（Ａ）のようなハンドル型コントローラの操作を行うことで、例えばゲーム進行のポーズ時点からのゲームプレイを続行できる。一方、ゲームプレイの終了を選択すると、オブジェクトの移動又は動作が制限又は停止され、ゲームが終了する。
【０１２４】
このように、動き情報の検出精度が低くなった場合に、直ぐにはオブジェクトの移動又は動作を制限又は停止せずに、所定のウェイト期間を設定することで、例えば操作者が図１３（Ｂ）に示すような、ちょっとした動きをした場合にも、オブジェクトの移動又は動作が制限又は停止しないようになる。これにより、スムーズなゲーム進行を実現できる。そして、ウェイト期間の経過後に図１４（Ｂ）に示すような選択画面を表示することで、操作者の動きが、図１３（Ｂ）に示すような、ちょっとした動きなのか、ゲームプレイの終了を意図する動きなのかを、容易に判定することができ、操作者の意図をより反映したゲーム操作を実現できる。
【０１２５】
２．４ 検出精度情報に応じたゲーム演算処理
本実施形態では、動き情報の検出精度情報（信頼度情報）に応じたゲーム演算処理を行うことができる。具体的には検出精度情報に応じたゲーム結果演算処理を行ったり、ゲーム進行処理を行う。
【０１２６】
例えば図１５（Ａ）、図１５（Ｂ）は本実施形態を音楽ゲームに適用した場合の例である。図１５（Ａ）では、操作者は、太鼓ゲームにおいて太鼓を叩く手の動きを行っている。そして、操作者の太鼓を叩く手の動きのタイミングが、ゲーム装置から流れる音楽の基準タイミング（リズム）に一致すると、操作者の得点（ポイント）が加算される。
【０１２７】
そして図１５（Ａ）では、操作者は、体から離れた位置で手を動かしており、動き情報の検出精度が高い状態で、太鼓を叩く手の動きを行っている。従ってこの状態で、図１５（Ｂ）のように操作者の手の動きのタイミングが音楽の基準タイミングに正確に一致すると、操作者に対して高評価が与えられ、操作者の得点に対して高得点が加算される。
【０１２８】
一方、図１６（Ａ）では、操作者は、体に近い位置で手を動かしており、動き情報の検出精度が低い状態で、太鼓を叩く手の動きを行っている。従ってこの状態で、図１６（Ｂ）のように操作者の手の動きのタイミングが音楽の基準タイミングに正確に一致したとしても、図１５（Ｂ）に比べて、操作者に与えられる評価は低くなり、加算される得点も低くなる。
【０１２９】
このように図１５（Ａ）〜図１６（Ｂ）では、動き情報の検出精度に応じたゲーム結果演算処理を行っている。例えば図１６（Ａ）、図１６（Ｂ）のように動き情報の検出精度が低い場合のゲーム結果が、図１５（Ａ）、図１５（Ｂ）のように検出精度が高い場合のゲーム結果に比べて低いゲーム結果になるように、ゲーム結果演算処理が行われる。例えば図１５（Ａ）、図１５（Ｂ）のように動き情報の検出精度が高い場合には、高いランクの評価（VERY VERY GOOD）が操作者に与えられるのに対して、図１６（Ａ）、図１６（Ｂ）のように検出精度が低い場合には、図１５（Ａ）、図１５（Ｂ）よりも低いランクの評価（GOOD）が操作者に与えられる。このようにすれば、適正な手の位置で正しい手の動きを行った操作者に対して高い評価が与えられるようになり、操作の誤認識の抑止や、安定したゲーム演算処理の実現が可能になる。なお、逆に、検出精度が低い場合のゲーム結果が、検出精度が高い場合のゲーム結果に比べて高いゲーム結果になるように、ゲーム結果演算処理を行ってもよい。即ち、動き情報の検出精度が低い場合には、操作情報の正しい検出ができないため、判定から漏れている操作者の操作も存在すると考えられ、この点を推定して、その操作者に得点を加算するようにする。
【０１３０】
なお、図１５（Ａ）〜図１６（Ｂ）では、動き情報の検出精度に応じたゲーム結果演算処理の例について説明したが、本実施形態はこれに限定されない。例えば検出精度に応じたゲーム進行処理等のゲーム演算処理を行ってもよい。例えば、操作者の手の位置等が正しい位置にあることを条件に、ゲームを進行させ、正しい位置にない場合にはゲーム進行を停止したり制限してもよい。また、ゲーム結果演算処理に検出精度を反映されるゲームも図１５（Ａ）〜図１６（Ｂ）のような音楽ゲームには限定されず、種々のゲームへの適用が可能である。
【０１３１】
２．５ 映像機器等への適用例
以上では本実施形態の手法をゲーム装置に適用した場合について主に説明したが、本実施形態の手法はゲーム装置以外の種々の機器に適用できる。
【０１３２】
例えば図１７（Ａ）は、映像機器の１つであるテレビ（表示装置）への本実施形態の手法の適用例である。図１７（Ａ）において、操作対象オブジェクトＯＢＤ、ＯＢＥ、ＯＢＦ、ＯＢＧ、ＯＢＨは、操作者の操作の対象となるオブジェクトであり、例えば映像機器（又はゲーム装置）に対して操作指示を行うためのオブジェクトである。具体的には、映像機器（ゲーム装置）に対してコンテンツ選択、所定の機器動作、及びコンテンツ再生・記録の少なくも１つを操作指示するためのオブジェクトである。例えばＯＢＤ、ＯＢＥ、ＯＢＦは、各々、チャンネル選択（広義にはコンテンツ選択）、ボリュームの操作（広義には機器動作の選択）、消音の操作（広義には機器動作の選択）を行うための操作対象オブジェクトである。ＯＢＧ、ＯＢＨは、各々、コンテンツの再生・記録操作（プレイ、停止、早送り、巻き戻し、録画等）、放送種別（地上デジタル放送、衛星放送等）の選択操作を行うための操作対象オブジェクトである。
【０１３３】
操作者は、チャンネルを切り替えたい場合には、表示部１９０の方に手を伸ばし、手オブジェクトＨＲの位置をチャンネル操作用の操作対象オブジェクトＯＢＤの位置に合わせる。そして手を回すなどの操作を行うことで、チャンネルを切り替えて、所望の放送番組を視聴する。
【０１３４】
また操作者は、ボリュームを変えたい場合には、手を伸ばして、手オブジェクトＨＲの位置をボリューム操作用の操作対象オブジェクトＯＢＥの位置に合わせる。そして手を左右に動かすなどの操作を行うことで、音のボリュームを変更する。同様に消音を行いたい場合には、手オブジェクトＨＲの位置を消音操作用の操作対象オブジェクトＯＢＦの位置に合わせて、手の指で押すなどの操作を行うことで、音声を消音する。操作対象オブジェクトＯＢＧ、ＯＢＨの操作も同様にして実現できる。
【０１３５】
そして、操作者が手を伸ばしており、右手と左手が交差していないというように、動き情報の検出精度が高い場合には、図１７（Ａ）に示すように操作対象オブジェクトＯＢＤ〜ＯＢＨや手オブジェクトＨＲ、ＨＬは、はっきりとした画像で表示部１９０に映し出される。
【０１３６】
また、動き情報の検出精度が高い場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨの操作が許可され、操作者の手等の動きに応じて操作対象オブジェクトＯＢＤ〜ＯＢＨが操作されるようになる。即ち、操作者は、手を回したり、手を左右に動かすことで、チャンネル用の操作対象オブジェクトＯＢＤを操作したり、ボリューム用の操作対象オブジェクトＯＢＥを操作できる。
【０１３７】
一方、操作者の手が体の近くにあったり、右手と左手が交差しているというように、動き情報の検出精度が低い場合には、図１７（Ｂ）に示すように、操作対象オブジェクトＯＢＤ〜ＯＢＨや手オブジェクトＨＲ、ＨＬは、ぼかした画像や透明に近い画像（或いは透明な画像）になる。即ち、動き情報の検出精度情報に基づいて操作対象オブジェクトＯＢＤ〜ＯＢＨや手オブジェクトＨＲ、ＨＬの表示態様が変化し、検出精度が低い場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対してぼかし処理、透明に近づける処理などが行われるようになる。なお動き情報の検出精度が低い場合に、図１７（Ｂ）において手オブジェクトＨＲが触れている操作対象オブジェクトＯＢＤの方の表示態様を変化させてもよい。例えば、手オブジェクトＨＲについては表示態様を変化させずに、操作対象オブジェクトＯＢＤの表示態様（ぼかし度、透明度、色等）だけを変化させる。これにより操作対象オブジェクトＯＢＤに対する操作は適正に実行できないことを、操作者は把握できるようになる。
【０１３８】
また、動き情報の検出精度が低い場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対する操作者の操作が制限又は不許可にされる。即ち、操作者が、手を回したり、手を左右に動かしても、チャンネル用の操作対象オブジェクトＯＢＤやボリューム用の操作対象オブジェクトＯＢＥに対する操作は実行されない。
【０１３９】
このようにすれば、例えば操作者が手を伸ばすことで、図１７（Ａ）に示すように操作対象オブジェクトＯＢＤ〜ＯＢＨが画面に映し出され、これらの操作対象オブジェクトＯＢＤ〜ＯＢＨを操作することで、コンテンツ（映像、音）選択の操作や、機器動作の操作や、コンテンツ再生・記録の操作を行うことが可能になる。
【０１４０】
一方、操作者が手を体の方に近づけて曲げる等の動きをすると、図１７（Ｂ）に示すように操作対象オブジェクトＯＢＤ〜ＯＢＨがぼけて薄い画像になったり、透明になって見えないようになる。従って、画面上において操作対象オブジェクトＯＢＤ〜ＯＢＨが目立たなくなり、操作者は、映像等のコンテンツの視聴を妨げられることなく楽しめるようになる。
【０１４１】
以上のように本実施形態では、動き情報の検出精度が低くなった場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対する操作者の操作が制限又は不許可にされる。一方、検出精度が高くなった場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対する操作者の操作が許可される。従って、これまでにないタイプの操作インターフェース環境を操作者に提供できる。
【０１４２】
また本実施形態では、動き情報の検出精度が低くなるほど、操作対象オブジェクトとなる候補オブジェクトの数を増加させる制御を行ってもよい。即ち、検出精度が低い場合には、検出精度が高い場合に比べて、操作対象オブジェクトとなる候補オブジェクトの数を増加させる。
【０１４３】
例えば図１８（Ａ）では、操作者は手を伸ばして手を回す操作を行っている。このように手を伸ばして、手が体の他の部位から遠ざかると、動き情報の検出精度が高くなる。また、操作者は手を回しており、チャンネルの操作であることを認識できる。従って、この場合には候補オブジェクトは、１つの操作対象オブジェクトＯＢＤだけになり、手を回すことで、チャンネル操作用の操作対象オブジェクトＯＢＤを用いたチャンネルの切換操作が行われるようになる。
【０１４４】
また図１８（Ｂ）では、操作者は手を伸ばして手を左右に動かす操作を行っている。このように手を伸ばして、手が体の他の部位から遠ざかると、動き情報の検出精度が高くなる。また、操作者は手を左右に動かす操作を行っており、ボリュームの操作であることを認識できる。従って、この場合には候補オブジェクトは、１つの操作対象オブジェクトＯＢＥだけになり、手を左右に動かすことで、ボリューム操作用の操作対象オブジェクトＯＢＥを用いた音量ボリュームを上げ下げする操作が行われるようになる。
【０１４５】
一方、図１８（Ｃ）では、操作者は手を曲げている。このように手を曲げると、手が他の部位に近くなり、動き情報の検出精度が低くなる。また、図１８（Ａ）、図１８（Ｂ）のようなチャンネル操作、ボリューム操作を行っていることを確定できない。従って、この場合には、図１８（Ａ）、図１８（Ｂ）のように検出精度が高い場合に比べて、操作対象オブジェクトとなる候補オブジェクトの数を増加させる。即ち、図１８（Ａ）、図１８（Ｂ）では、操作対象オブジェクトの候補オブジェクトの数は１個であったが、図１８（Ｃ）では、例えば３個になる。そして、この状態で、操作者が、右手オブジェクトＨＲの位置を所望のオブジェクトの位置に合わせることで、操作者が所望する操作を行うことが可能になる。
【０１４６】
即ち、図１８（Ａ）、図１８（Ｂ）のように動き情報の検出精度が高い場合には、手を回したり、手を左右に動かすという１回の手の動きで、チャンネル操作やボリューム操作が選択される。これに対して図１８（Ｃ）では、まず、複数の候補オブジェクトを表示し、その後に、操作者が候補オブジェクトの中から操作対象オブジェクトを選択することで、操作者が所望する操作を行うことが可能になる。
【０１４７】
なお、操作者による想定外の動作により、誤認識が発生してしまう事態等を防止するために、システム側が想定している各正解動作（例えば手を回す動作、手を左右に動かす動作等）に対して複数の候補動作パターンをテーブルとして用意しておいてもよい。そして、画像センサにより認識された操作者の動作と、これらの複数の候補動作パターンとのマッチング処理を行い、操作者の動作が正解動作に該当するか否かを判断する。例えば図１８（Ｂ）において、操作対象オブジェクトＯＢＥを操作するために手を横に振る動作としては、操作者が表示部１９０の画面に正対して、手を横に振る第１の動作パターンの他に、操作者が寝転びながら、手を縦に振る第２の動作パターンが考えられる。従って、これらの第１、第２の動作パターンを候補動作パターンとして用意しておき、操作者の動作とのパターンマッチング処理を行うことで、操作者の動作が正解動作なのか否かを判定できる。また、例えばボタンを押す動作と、物をつかむ動作の判別は難しいが、ボタンを押す動作として、想定できるあらゆるパターンの候補動作パターンを用意して、パターンマッチングを行えば、ボタンを押す動作を、物をつかむ動作として誤認識してしまう事態も防止できるようになる。
【０１４８】
図１９（Ａ）、図１９（Ｂ）は、映像機器の１つである録画・再生機器（ＨＤＤレコーダ、ＤＶＤレコーダ等）への本実施形態の手法の適用例である。例えば図１９（Ａ）に示すように、操作者が手を伸ばしていない状態で、例えば左手オブジェクトＨＬで番組表を選択すると、番組表の概略表示が行われる。この時、右手、左手オブジェクトＨＲ、ＨＬは、動き情報の検出精度が低いため、ぼけた画像や透明に近い画像になっている。
【０１４９】
一方、図１９（Ｂ）では、操作者が手を伸ばしており、動き情報の検出精度が高いため、右手、左手オブジェクトＨＲ、ＨＬは、はっきりとした画像になっている。また、番組表の詳細が表示されると共に、例えば番組表において右手オブジェクトＨＲにより選択された番組の録画等を、左手オブジェクトＨＬで選択できるようになる。また、左手オブジェクトＨＬにより、録画の画質（ＨＤ、ＨＰ、ＬＰ、ＳＰ）や放送番組の種別（地上デジタル放送、衛星放送、ＣＡＴＶ）についても、選択できるようになる。更に、右手オブジェクトＨＲにより選択された番組の内容も詳細に表示されるようになる。
【０１５０】
このように本実施形態の手法によれば、テレビや録画・再生機器等の映像機器においても、これまでにない利便性の高い操作インターフェース環境を提供できる。
【０１５１】
２．６ 詳細な処理例
次に本実施形態の詳細な処理例について図２０〜図２３のフローチャートを用いて説明する。図２０は全体的な処理を示すフローチャートである。
【０１５２】
まず、図２（Ａ）、図２（Ｂ）で説明したように画像センサからの画像情報を取得する（ステップＳ１）。次に、画像情報に基づき操作者の動き情報（例えばスケルトン情報）を取得する（ステップＳ２）。また、動き情報に対応する検出精度情報（例えば信頼度情報）を取得する（ステップＳ３）。そして、検出精度情報に基づくオブジェクトの制御処理、ゲーム演算処理、画像の表示態様変化処理を実行する（ステップＳ４）。
【０１５３】
図２１は、動き情報の検出精度情報を用いた画像の表示態様の変化処理の具体例を示すフローチャートである。
【０１５４】
まず、操作者の動き情報（スケルトン情報の手の骨の位置等）に基づき、手オブジェクトの描画位置を求める（ステップＳ１１）。そして手等の動き情報（手の骨等）についての検出精度（信頼度）を取得する（ステップＳ１２）。
【０１５５】
次に、取得された検出精度に基づいて、手オブジェクトのぼかし度合、α値、色等を設定する（ステップＳ１３）。そして、このようにぼかし度合、α値、色等が設定された手オブジェクト、キャラクタ等の描画処理を実行する（ステップＳ１４）。このようにすることで、図４（Ａ）、図４（Ｂ）に示すような画像の表示態様の変化処理を実現できる。
【０１５６】
図２２は、動き情報の検出精度情報を用いたオブジェクトの制御処理の具体例を示すフローチャートである。
【０１５７】
まず、操作者の手等の動き情報についての検出精度（信頼度）を取得する（ステップＳ２１）。そして、取得された検出精度が所定しきい値以下か否かを判断する（ステップＳ２２）。
【０１５８】
検出精度が所定しきい値以下である場合には、図１４（Ａ）で説明したようにオブジェクトの移動、動作の自動制御を行う（ステップＳ２３）。そして、所定のウェイト期間が経過したか否かを判断し、経過していない場合にはステップＳ２１に戻る。一方、ウェイト期間が経過した場合には、図１４（Ｂ）で説明したようにゲーム進行のポーズ処理を行う（ステップＳ２５）。そして、操作者がゲームプレイの継続、終了を選択するための選択画面を表示する（ステップＳ２６）。そして、操作者がゲームプレイの終了を選択したか否かを判断し（ステップＳ２７）、ゲームプレイの終了を選択した場合には、ゲームを終了する（ステップＳ２８）。一方、ゲームプレイの継続を選択した場合には、ゲーム進行を継続する（ステップＳ２９）
図２３は、動き情報の検出精度情報を用いたゲーム演算処理の具体例を示すフローチャートである。
【０１５９】
まず、操作者の動き情報を取得する（ステップＳ３１）。そして取得された動き情報に基づいて、ゲーム演算処理を行い、ゲーム結果を判定する（ステップＳ３２）。
【０１６０】
次に、動き情報に対応する検出精度情報を取得する（ステップＳ３３）。そして、ゲーム結果判定の対象となる部位（骨）の検出精度が所定しきい値以下か否かを判断する（ステップＳ３４）。そして図１５（Ａ）〜図１６（Ｂ）で説明したように、所定のしきい値以下であった場合には、操作者の獲得ポイントのレベルを１ランク下げる処理を行う（ステップＳ３５）。このようにすることで、動き情報の検出精度を反映させたゲーム演算処理を実現できる。
【０１６１】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（動き情報、検出精度情報、所定部位、オブジェクト等）と共に記載された用語（スケルトン情報、信頼度情報、手、手オブジェクト等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、動き情報（スケルトン情報）の取得手法、検出精度情報（信頼度情報）の取得手法、画像の表示態様の変化手法、オブジェクトの制御手法、ゲーム演算手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話、映像機器、音響機器、家電機器等の種々の画像生成システムに適用できる。
【符号の説明】
【０１６２】
ＩＳＥ 画像センサ、ＳＣ 画面（スクリーン）、ＨＬ、ＨＲ 手オブジェクト、
ＣＨ キャラクタ（アバター）、Ｃ０〜Ｃ１９ 関節（骨）、
ＯＢＣ〜ＯＢＨ オブジェクト、
１００ 処理部、１０２ 画像情報取得部、１０４ 動き情報取得部、
１０６ 検出精度情報取得部、１１０ ゲーム演算部、１１２ オブジェクト空間設定部、
１１４ オブジェクト制御部、１１８ 仮想カメラ制御部、１２０ 画像生成部、
１３０ 音生成部、１６０ 操作部、１７０ 記憶部、１７１ 画像情報記憶部、
１７２ カラー画像情報記憶部、１７３ デプス情報記憶部、
１７４ 動き情報記憶部、１７５ 検出精度情報記憶部、
１７６ オブジェクトデータ記憶部、１７７ モーションデータ記憶部、
１７８ モデルデータ記憶部、１７９ 描画バッファ、１８０ 情報記憶媒体、
１９０ 表示部、１９２ 音出力部、１９４ 補助記憶装置、１９６ 通信部
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及び画像生成システム等に関する。
【背景技術】
【０００２】
近年、従来の操作ボタンや方向キーを備えたコントローラに代わって、モーションセンサを内蔵するコントローラを用いて操作が可能なゲーム装置が人気を博している。このような操作インターフェースを備えるゲーム装置によれば、操作者（プレーヤ、ユーザ）の直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献１に開示される技術がある。
【０００３】
しかしながら、このような直感的なインターフェースでは、操作者の動きにより入力された操作情報の検出精度が低い場合には、入力した操作が、操作者が意図しない操作として誤認識されてしまうおそれがある。また、検出精度が低い操作情報が頻繁に入力されると、システムが不安定になるおそれもある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３６６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の幾つかの態様によれば、動き情報の検出精度を反映させた画像を生成できるプログラム、情報記憶媒体、画像生成システム等を提供できる。
【課題を解決するための手段】
【０００６】
本発明の一態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、前記動き情報の検出精度情報を取得する検出精度情報取得部と、表示部に表示される画像を生成する画像生成部とを含み、前記画像生成部は、前記操作者の前記動き情報の前記検出精度情報に応じて、前記表示部に表示される画像の表示態様を変化させる画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００７】
本発明の一態様では、画像センサから画像情報が取得され、画像情報から操作者の動き情報が取得される。また動き情報の検出精度情報が取得される。そして、取得された検出精度情報に応じて、表示部に表示される画像の表示態様が変化する。このようにすれば、動き情報の検出精度を反映させた画像を生成できるようになり、これまでにない画像生成システムの提供が可能になる。
【０００８】
また本発明の一態様では、オブジェクトを制御するオブジェクト制御部を含み（オブジェクト制御部としてコンピュータを機能させ）、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの表示態様を変化させてもよい。
【０００９】
このようにすれば、動き情報の検出精度が変化すると、オブジェクトの表示態様が変化するため、検出精度の高低を、当該オブジェクトの画像の表示態様の変化により操作者に伝えることが可能になる。
【００１０】
また本発明の一態様では、前記オブジェクト制御部は、前記操作者の前記動き情報に応じて移動又は動作するように前記オブジェクトの制御を行い、前記画像生成部は、前記動き情報に応じて移動又は動作する前記オブジェクトの表示態様を、前記動き情報の前記検出精度情報に基づいて変化させてもよい。
【００１１】
このようにすれば、操作者の動き情報に応じてオブジェクトが移動又は動作すると共に、動き情報の検出精度が変化すると、当該オブジェクトの表示態様が変化する。従って、検出精度の高低を、当該オブジェクトの画像の表示態様の変化により操作者に伝えることが可能になる。
【００１２】
また本発明の一態様では、前記画像生成部は、前記検出精度情報により表される検出精度が低くなるにつれて、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも１つの処理を行ってもよい。
【００１３】
このようにすれば、検出精度が低下すると、オブジェクトがぼけた画像になったり、透明に近づいたり、色が変化するようになり、これらの画像の変化により、検出精度の低下を操作者に伝えることが可能になる。
【００１４】
また本発明の一態様では、前記検出精度情報取得部は、前記操作者の所定部位が前記操作者の他の部位に近づくほど、検出精度が低くなる情報を、前記検出精度情報として取得し、前記画像生成部は、前記操作者の所定部位が前記他の部位に近づくほど、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも１つの処理を行うと共に、前記オブジェクトのサイズを変化させる処理を行ってもよい。
【００１５】
このようにすれば、操作者の所定部位が他の部位に近づくことで検出精度が低下すると、オブジェクトがぼけた画像になったり、透明に近づいたり、色が変化するのに加えて、オブジェクトのサイズも変化する。従って、操作者は、操作者の所定部位が他の部位に近づいたことで検出精度が低下したということを、直感的に把握できるようになる。
【００１６】
また本発明の一態様では、前記画像生成部は、前記検出精度情報により表される検出精度が低くなるにつれて、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、前記オブジェクトの色を変化させる処理、前記オブジェクトの明度を変化させる処理、前記オブジェクトの輪郭線の表示態様を変化させる処理、前記オブジェクトのサイズを変化させる処理、及び前記オブジェクトに施されるエフェクトを変化させる処理の少なくとも１つの処理を行ってもよい。
【００１７】
このようにすれば、検出精度が低下すると、所定部位に対応するオブジェクトがぼけた画像になったり、透明に近づいたり、色が変化したり、明度が変化したり、輪郭線の表示態様が変化したり、サイズが変化したり、エフェクトが変化するようになり、これらの画像の変化により、検出精度の低下を操作者に伝えることが可能になる。
【００１８】
また本発明の一態様では、前記オブジェクトは、前記操作者の手の動きに応じて移動又は動作する手オブジェクトであり、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記手オブジェクトの表示態様を変化させてもよい。
【００１９】
このようにすれば、操作者の手の動きに応じて手オブジェクトが移動又は動作すると共に、検出精度の高低により、その手オブジェクトの表示態様も変化するようになる。
【００２０】
また本発明の一態様では、前記オブジェクトは、前記操作者の所定部位の動きに応じて移動するアイコンであり、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記アイコンの表示態様を変化させてもよい。
【００２１】
このようにすれば、操作者の所定部位の動きに応じてアイコンが移動すると共に、検出精度の高低により、そのアイコンの表示態様も変化するようになる。
【００２２】
また本発明の一態様では、前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、前記画像生成部は、前記動き情報の前記検出精度情報に基づいて、前記操作対象オブジェクトの表示態様を変化させてもよい。
【００２３】
このようにすれば、操作者の動き情報の検出精度の高低により、操作者の操作対象となる操作対象オブジェクトの表示態様を変化させることが可能になる。
【００２４】
また本発明の一態様では、前記操作対象オブジェクトは、映像機器又はゲーム装置に対して操作指示を行うためのオブジェクトであってもよい。
【００２５】
このようにすれば、映像機器又はゲーム装置に対して操作指示を行う操作対象オブジェクトの表示態様を、操作者の動き情報の検出精度の高低に応じて変化させることが可能になる。
【００２６】
また本発明の一態様では、前記操作対象オブジェクトは、前記映像機器又は前記ゲーム装置に対してコンテンツ選択、機器動作選択、及びコンテンツ再生・記録の少なくも１つを操作指示するためのオブジェクトであってもよい。
【００２７】
このようにすれば、コンテンツ選択、機器動作選択、コンテンツ再生・記録を操作指示するための操作対象オブジェクトの表示態様を、操作者の動き情報の検出精度の高低に応じて変化させることが可能になる。
【００２８】
また本発明の一態様では、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が低くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を制限又は不許可にする制御を行ってもよい。
【００２９】
このようにすれば、操作者の動き情報の検出精度が低い場合には、操作対象オブジェクトに対する操作者の操作が制限又は不許可にされるため、操作者の操作が誤認識されて、映像機器やゲーム装置の誤操作が行われてしまう事態を抑止できる。
【００３０】
また本発明の一態様では、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が高くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を許可する制御を行ってもよい。
【００３１】
このようにすれば、操作者の動き情報の検出精度が高い場合にだけ、操作対象オブジェクトに対する操作者の操作が許可されるため、映像機器やゲーム装置の安定した操作指示を実現できるようになる。
【００３２】
また本発明の一態様では、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が低くなるほど、前記操作対象オブジェクトとなる候補オブジェクトの数を増加させる制御を行ってもよい。
【００３３】
このようにすれば、操作者の動き情報の検出精度が低い場合には、操作対象オブジェクトの候補オブジェクトの数が増加するため、操作者は所望の候補オブジェクトを操作対象オブジェクトとして選択等することで、所望の操作指示を行うことが可能になる。
【００３４】
また本発明の一態様では、前記検出精度情報取得部は、前記操作者の所定部位が前記操作者の他の部位に近づくほど、前記動き情報の検出精度が低くなる情報を、前記検出精度情報として取得してもよい。
【００３５】
このようにすれば、操作者の所定部位が他の部位に近づくことで動き情報の検出精度が低下すると、その検出精度の低下を反映させた画像を生成して、表示部に表示することが可能になる。
【００３６】
また本発明の一態様では、前記検出精度情報取得部は、前記操作者が前記画像センサから所定距離以上離れた場合に、前記動き情報の検出精度が低くなる情報を、前記検出精度情報として取得してもよい。
【００３７】
このようにすれば、操作者が画像センサから所定距離以上離れることで動き情報の検出精度が低下すると、その検出精度の低下を反映させた画像を生成して、表示部に表示することが可能になる。
【００３８】
また本発明の他の態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、前記動き情報の検出精度情報を取得する検出精度情報取得部と、オブジェクトを制御するオブジェクト制御部と、表示部に表示される画像を生成する画像生成部とを含み、前記オブジェクト制御部は、前記操作者の前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの制御を行う画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００３９】
また本発明の他の態様では、前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が低くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を制限又は不許可にする制御を行ってもよい。
【００４０】
また本発明の他の態様では、前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、前記オブジェクト制御部は、前記検出精度情報により表される検出精度が高くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を許可する制御を行ってもよい。
【図面の簡単な説明】
【００４１】
【図１】本実施形態の画像生成システムの構成例。
【図２】図２（Ａ）、図２（Ｂ）は画像センサからの撮像情報を用いた本実施形態の操作インターフェースの説明図。
【図３】図３（Ａ）、図３（Ｂ）は操作者の操作動作を示す図。
【図４】図４（Ａ）、図４（Ｂ）は動き情報の検出精度情報に基づき画像の表示態様を変化させる手法の説明図。
【図５】動き情報の検出精度情報に基づき画像の表示態様を変化させる手法の説明図。
【図６】図６（Ａ）、図６（Ｂ）は動き情報の検出精度の変化の予測情報を用いる手法の説明図。
【図７】デプス情報等に基づいて操作者のスケルトン情報を求める手法の説明図。
【図８】図８（Ａ）、図８（Ｂ）はスケルトン情報、信頼度情報のデータ構造の例。
【図９】図９（Ａ）、図９（Ｂ）は信頼度、存在確率範囲の説明図。
【図１０】図１０（Ａ）、図１０（Ｂ）は信頼度の説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）は動き情報の検出精度情報に応じたオブジェクトの制御手法の説明図。
【図１２】図１２（Ａ）、図１２（Ｂ）は動き情報の検出精度情報に応じたオブジェクトの制御手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）はオブジェクトの移動、動作を制限する際にウェイト期間を設定する手法の説明図。
【図１４】図１４（Ａ）、図１４（Ｂ）はウェイト期間経過後の選択画面等の表示手法の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）は動き情報の検出精度情報に応じたゲーム演算処理手法の説明図。
【図１６】図１６（Ａ）、図１６（Ｂ）は動き情報の検出精度情報に応じたゲーム演算処理手法の説明図。
【図１７】図１７（Ａ）、図１７（Ｂ）は映像機器への本実施形態の手法の適用例。
【図１８】図１８（Ａ）〜図１８（Ｃ）は操作対象オブジェクトの候補オブジェクトの数を増減させる手法の説明図。
【図１９】図１９（Ａ）、図１９（Ｂ）は映像機器への本実施形態の手法の適用例。
【図２０】本実施形態の処理を説明するフローチャート。
【図２１】本実施形態の処理を説明するフローチャート。
【図２２】本実施形態の処理を説明するフローチャート。
【図２３】本実施形態の処理を説明するフローチャート。
【発明を実施するための形態】
【００４２】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４３】
１．構成
図１に本実施形態の画像生成システム（ゲーム装置、映像機器等）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４４】
操作部１６０は、操作者が操作情報を入力するためのものである。この操作部１６０は、例えばカラー画像センサやデプスセンサなどにより実現される画像センサを含む。なお操作部１６０の機能を、画像センサだけで実現してもよいし、画像センサ以外の操作デバイス（方向指示キー、操作ボタン、アナログスティック、レバー、角速度センサ・加速度センサ等のセンサ、マイク、或いはタッチパネル型ディスプレイ）を用いて実現してもよい。
【００４５】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００４６】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００４７】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００４８】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００４９】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００５０】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００５１】
処理部１００（プロセッサ）は、操作部１６０からの操作情報やプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００５２】
処理部１００は、画像情報取得部１０２、動き情報取得部１０４、検出精度情報取得部１０６、ゲーム演算部１１０、オブジェクト空間設定部１１２、オブジェクト制御部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５３】
画像情報取得部１０２は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部１７０の画像情報記憶部１７１に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部１７２に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部１７３に保存される。画像情報取得部１０２は、これらの画像情報を画像情報記憶部１７１から読み出すことで画像情報を取得する。
【００５４】
動き情報取得部１０４は動き情報を取得し、検出精度情報取得部１０６は検出精度情報を取得する。動き情報、検出精度情報は動き情報記憶部１７４、検出精度情報記憶部１７５に記憶される。動き情報取得部１０４、検出精度情報取得部１０６の詳細については後述する。
【００５５】
ゲーム演算部１１０はゲーム演算処理を行う。ここでゲーム演算処理としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００５６】
オブジェクト空間設定部１１２は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちオブジェクトが３次元オブジェクトである場合には、ワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７６には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００５７】
オブジェクト制御部１１４は、オブジェクトの制御を行う。例えば、操作部１６０により操作者（プレーヤ、ユーザ）が入力した操作情報や、プログラム（移動・動作アルゴリズム）や、各種データなどに基づいて、オブジェクトの移動及び動作の少なくとも一方を制御する。具体的には、オブジェクトの移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。或いはオブジェクトのモーション処理やアニメーション処理などの動作制御を行う。なおフレームは、オブジェクトの移動・動作処理や画像生成処理を行う時間の単位である。
【００５８】
オブジェクト制御部１１４により制御されるオブジェクトは、３次元オブジェクト空間に配置設定される３次元オブジェクトであってもよいし、２次元スクリーン（表示画面）に描画される２次元オブジェクトであってもよい。オブジェクトが、３次元モデルにより表されるキャラクタのオブジェクトである場合には、オブジェクト制御部１１４は、キャラクタにモーションを行わせるモーション処理（モーション再生、モーション生成）を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部１７７に記憶されているモーションデータ等に基づいて再生することなどで実現できる。ここで、モーションデータ記憶部１７７には、キャラクタ（モデルオブジェクト）のスケルトンを構成する各骨（キャラクタを構成する各パーツオブジェクト）の位置又は回転角度（親の骨に対する子の骨の３軸周りの回転角度）等を含むモーションデータが記憶されている。またモデルデータ記憶部１７８には、キャラクタを表すモデルオブジェクトのモデルデータが記憶される。
【００５９】
仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００６０】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７９（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。
【００６１】
なお、画像生成部１２０が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラと右目用仮想カメラを配置設定する。そして画像生成部１２０が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。
【００６２】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００６３】
そして本実施形態では、画像情報取得部１０２が、画像センサからの画像情報を取得すると、動き情報取得部１０４が、画像センサからの画像情報に基づいて、操作者の動き情報を取得する。
【００６４】
ここで動き情報としては、例えば動きベクトルなどのオプティカルフローの情報や、操作者の部位の動きを表す情報や、操作者のスケルトン情報などを想定できる。オプティカルフローの情報は、画像センサの撮像画像での操作者の動きを動きベクトルで表現した情報である。操作者の部位の動きを表す情報は、操作者の各部位がどのように動いているかを特定するための情報である。またスケルトン情報は、画像センサから見える操作者の動作を特定するための情報であり、操作者の複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は３次元座標情報により構成される。各関節を結合するものが骨（ボーン）となり、複数の骨の結合によりスケルトンが構成される。関節位置情報は骨の位置情報として用いられる。
【００６５】
検出精度情報取得部１０６は、動き情報の検出精度を表す検出精度情報を取得する。この検出精度情報は、検出された動き情報の正確性や確からしさを表す情報であり、動き情報がどの程度信頼できる情報であるかを示す情報などである。なお、動き情報と検出精度情報は一体となった情報であってもよい。また例えば動き情報がスケルトン情報である場合には、検出精度情報はスケルトン情報の信頼度情報になる。この信頼度情報は、スケルトン情報により表されるスケルトンを構成する各骨（各関節）に対して、各骨の情報（位置情報、対応づけ情報）の信頼度が関連づけられた情報である。ここで、スケルトン情報は、操作者の各部位（手、足、腰、胴体、首、頭等）に対応づけられた各骨（各関節）の位置情報を含み、この場合には、信頼度情報により表される信頼度は、操作者の各部位と各骨との対応づけと、各骨の位置情報に関する信頼度となる。
【００６６】
但し、検出精度情報は、このようなスケルトン情報の信頼度情報には限定されず、上述のようなオプティカルフローによる動き情報や操作者の部位の動きを表す動き情報において、これらの動き情報の検出精度を表す情報であってもよい。例えば動き情報は、操作者の各部位の形状や色等が、フレーム経過に伴いどのように変化するかを表す情報であってもよく、この場合には検出精度情報は、各部位の形状や色の変化により表される動き情報の精度（確からしさ）を表す情報になる。即ちこの場合の動き情報、検出精度情報は、スケルトンを用いることなく、各部位の形状や色等だけでも判定できることとなる。
【００６７】
そして画像生成部１２０は、操作者の動き情報の検出精度情報に応じて、表示部１９０に表示される画像の表示態様を変化させる。
【００６８】
例えばオブジェクト制御部１１４がオブジェクトの制御を行う場合に、画像生成部１２０は、動き情報の検出精度情報に基づいて、当該オブジェクトの表示態様を変化させる。具体的には、オブジェクト制御部１１４が、操作者の動き情報に応じて移動又は動作するようにオブジェクトの制御を行う場合に、画像生成部１２０は、動き情報に応じて移動又は動作するオブジェクトの表示態様を、動き情報の検出精度情報に基づいて変化させる。ここで、操作者の動き情報に応じて移動又は動作するオブジェクトは、２次元オブジェクトであってもよいし、３次元オブジェクトであってもよい。
【００６９】
そして画像生成部１２０は、検出精度情報により表される検出精度が低くなるにつれて、オブジェクトをぼかす処理（ぼかしフィルタ処理）、オブジェクトを透明に近づける処理（α値を変化させる処理）、及びオブジェクトの色を変化させる処理（ターゲット色に近づける処理）の少なくとも１つの処理を行う。或いは、動き情報の検出精度が低くなるにつれて、オブジェクトの明度（輝度）を変化させる処理、オブジェクトの輪郭線の表示態様（太さ、濃さ）を変化させる処理、オブジェクトのサイズを変化（変形）させる処理、及びオブジェクトに施されるエフェクトを変化させる処理の少なくとも１つの処理を行ってもよい。なお本実施形態でのオブジェクトの表示態様を変化させる処理は、オブジェクト（アイコン）自体を完全に消す処理も含むことができる。
【００７０】
ここで、検出精度情報取得部１０６が、操作者の所定部位（例えば手、足）が操作者の他の部位（例えば胸、頭、他方の手・足）に近づくほど、検出精度が低くなる情報を、検出精度情報として取得したとする。この場合には、画像生成部１２０は、操作者の所定部位が他の部位に近づくほど、オブジェクトをぼかす処理、オブジェクトを透明に近づける処理、及びオブジェクトの色を変化させる処理の少なくとも１つの処理を行うと共に、オブジェクトのサイズを変化させる処理を行ってもよい。このようにすることで、操作者の所定部位が他の部位に近づくことで検出精度が低下したことを、操作者に直感的に認識させることが可能になる。
【００７１】
またオブジェクトは、例えば操作者の手の動きに応じて移動又は動作する手オブジェクトであり、画像生成部１２０は、動き情報の検出精度情報に基づいて、手オブジェクトの表示態様を変化させてもよい。但し、オブジェクトはこのような手オブジェクトには限定されず、操作者の手以外の他の部位の動きに応じて移動又は動作するオブジェクトなどであってもよい。またオブジェクトは、操作者の所定部位の動きに応じて移動するアイコン（カーソル）であってもよい。このアイコンは、操作者の所定部位を、その所定部位を象徴する絵、記号等で表現した表示物である。
【００７２】
またオブジェクトが、操作者の操作の対象となる操作対象オブジェクトである場合には、画像生成部１２０は、動き情報の検出精度情報に基づいて、操作対象オブジェクトの表示態様を変化させる。ここで、操作対象オブジェクトは、例えば映像機器又はゲーム装置に対して操作指示を行うためのオブジェクトである。具体的には、操作対象オブジェクトは、映像機器又はゲーム装置に対してコンテンツ選択（映像、チャンネル等の選択）、機器動作選択（ボリューム等の選択）、及びコンテンツ再生・記録（プレイ、停止、早送り、巻き戻し、録画等）の少なくも１つを操作指示するためのオブジェクトである。
【００７３】
またオブジェクト制御部１１４は、検出精度情報により表される検出精度が低くなった場合に、操作対象オブジェクトに対する操作者の操作を制限又は不許可にする制御を行う。例えば検出精度が所定のしきい値よりも低くなると、操作対象オブジェクトに対する操作が制限されたり、操作が不許可になる。一方、オブジェクト制御部１１４は、検出精度情報により表される検出精度が高くなった場合に、操作対象オブジェクトに対する操作者の操作を許可する制御を行う。例えば検出精度が所定のしきい値よりも高くなると、操作対象オブジェクトに対する操作が許可される。
【００７４】
またオブジェクト制御部１１４は、検出精度情報により表される検出精度が低くなるほど、操作対象オブジェクトとなる候補オブジェクトの数を増加させる制御を行ってもよい。例えば動き情報の検出精度が低い場合には、検出精度が高い場合に比べて、操作対象オブジェクトとなる候補オブジェクトの数が増加し、操作者は、これらの候補オブジェクトの中から操作対象オブジェクトを選択できるようになる。
【００７５】
また検出精度情報取得部１０６は、操作者の所定部位（例えば手、足等）が操作者の他の部位（例えば胴体、頭、他方の手・足等）に近づくほど、動き情報の検出精度が低くなる情報を、検出精度情報として取得する。即ち所定部位と他の部位との区別がつかなくなった場合に検出精度が低くなるような情報を、検出精度情報として取得する。或いは、検出精度情報取得部１０６は、操作者が画像センサから所定距離以上離れた場合に、動き情報の検出精度が低くなる情報を、検出精度情報として取得する。即ち、操作者が画像センサから遠く離れてしまい、画像センサからの画像情報から動き情報を取得できなくなったり取得するのが極めて困難になった場合に検出精度が低くなるような情報を、検出精度情報として取得する。
【００７６】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【００７７】
２．１ 検出精度情報に基づく表示態様の変化処理
一般的に、ゲーム装置や、テレビや記録・再生機器等の映像機器では、コントローラ（リモコン）のボタンやレバーを用いて操作を指示する。またコントローラにモーションセンサ（６軸センサ）を設け、操作者がコントローラそのものを動かすことで操作を指示する機器も考えられる。
【００７８】
しかしながら、このような操作インターフェースの機器では、操作にコントローラが必要になり、操作者の手の動きなどのジェスチャをそのまま反映させるような操作については実現できなかった。
【００７９】
そこで本実施形態では、画像センサで撮像された画像情報に基づき操作者の操作入力を可能にする操作インターフェースを採用している。
【００８０】
例えば図２（Ａ）では、表示部１９０（画面ＳＣ）に対応する位置に、デプスセンサ（赤外線センサ等）やカラー画像センサ（ＣＣＤやＣＭＯＳセンサなどのＲＧＢセンサ）により実現される画像センサＩＳＥが設置されている。この画像センサＩＳＥは、例えばその撮像方向（光軸方向）が表示部１９０から操作者の方に向く方向になるように設置されており、表示部１９０側から見た操作者のカラー画像情報やデプス情報を撮像する。なお画像センサＩＳＥは、表示部１９０に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。また画像ＩＳＥの設置位置は図２（Ａ）に限定されず、任意の位置（例えば表示部１９０の下部）に設定できる。
【００８１】
そして図２（Ａ）の画像センサＩＳＥを用いて、図２（Ｂ）に示すようなカラー画像情報とデプス情報を取得する。例えばカラー画像情報では、操作者やその周りの風景の色情報が得られる。一方、デプス情報では、操作者やその周りの風景のデプス値（奥行き値）が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置にカラー値（ＲＧＢ）が設定された画像情報であり、デプス情報は、その各画素位置にデプス値（奥行き値）が設定された画像情報である。なお、画像センサＩＳＥは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。
【００８２】
デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサＩＳＥ（デプスセンサ）から赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間（Time Of Flight）を検出することで、デプス情報を取得し、画像センサＩＳＥの位置から見た操作者などの物体のシェイプを検出する。具体的には、デプス情報は、例えば画像センサＩＳＥから近い物体では明るくなり、画像センサＩＳＥから遠い物体では暗くなるグレースケールデータとして表される。
【００８３】
なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばＣＭＯＳセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報（被写体までの距離情報）を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。
【００８４】
そして本実施形態では、画像センサＩＳＥからの画像情報に基づき、画像センサＩＳＥから見える操作者（プレーヤ、ユーザ）の動き情報を取得する。また、動き情報の検出精度情報を取得する。そして取得された検出精度情報に基づいて画像の表示態様を変化させる。
【００８５】
例えば図３（Ａ）、図３（Ｂ）は、図２（Ａ）のように表示部１９０の前方に立って、その体の動きにより操作情報を入力している操作者の様子を示す図である。図３（Ａ）では、操作者は、自身の体（胴体）から手を離した状態で、手を動かすことで操作情報を入力している。一方、図３（Ｂ）では、自身の体に手が近い状態で、手を動かすことで操作情報を入力している。
【００８６】
図３（Ａ）では、手と胸は遠くなっているため、手の動き情報の検出精度は高くなり、手の位置情報等は、より正確で確からしい情報になっている。一方、図３（Ｂ）では、手と胸は近くなっているため、手の動き情報の検出精度は低くなり、手の位置情報等は、図３（Ａ）に比べて不正確で不確かな情報になっている。即ち図３（Ｂ）では、実際には胸の位置情報であるものを、手の位置情報として誤認識している可能性がある。
【００８７】
そして、本来は操作者は図３（Ａ）のような状態の手の動きで操作すべきであるのに、図３（Ｂ）のような状態の手の動きでの操作を許容すると、操作者の操作をシステム側が誤認識してしまうおそれがある。即ち、システム側が認識した操作と、操作者が意図する操作との間に不一致が生じるおそれがある。
【００８８】
そこで本実施形態では、図３（Ｂ）のような不適切な操作状態になっていることを操作者に認知させるために、図４（Ａ）、図４（Ｂ）に示すように動き情報の検出精度情報に基づいて画像の表示態様を変化させている。
【００８９】
例えば図４（Ａ）において、ＨＲ、ＨＬは、操作者の手（広義には所定部位）に対応して表示部１９０に表示される手オブジェクト（アイコン、カーソル）である。またＣＨは、操作者に対応するキャラクタ（アバター）のオブジェクトである。
【００９０】
そして図３（Ａ）のように操作者が手を動かすと、その手の動きに応じて図４（Ａ）の手オブジェクトＨＲ、ＨＬが移動（又は動作）する。例えば操作者が右手を上下左右に動かすと、右手オブジェクトＨＲが画面上で上下左右に移動し、操作者が左手を上下左右に動かすと、左手オブジェクトＨＬが上下左右に移動する。操作者は、このように手オブジェクトＨＲ、ＨＬを動かすことで、プレイしたいミニゲームを選択したり、ゲームのスタートを選択する。
【００９１】
そして図４（Ａ）は、図３（Ａ）のように手が体から離れた状態の時に表示される画像の例であり、図４（Ｂ）は、図３（Ｂ）のように手が体の近くにある状態の時に表示される画像の例である。
【００９２】
図３（Ａ）のように動き情報の検出精度が高いと考えられる状態では、図４（Ａ）に示すように、手オブジェクトＨＲ、ＨＬは、はっきりとした画像になる。一方、図３（Ｂ）のように、動き情報の検出精度が低いと考えられる状態では、図４（Ｂ）に示すように、手オブジェクトＨＲ、ＨＬは、図４（Ａ）に比べて例えばぼけた画像になったり、透明に近づいた画像になる。或いは手オブジェクトＨＲ、ＨＬの色が薄い色等に変化する。
【００９３】
このように本実施形態では、操作者の手の情報の検出精度が低くなるにつれて、手（所定部位）に対応する手オブジェクトＨＲ、ＨＬ（広義にはオブジェクト）をぼかす処理、透明に近づける処理、或いは色を変化させる処理などを行う。
【００９４】
ぼかし処理は、例えば手オブジェクトＨＲ、ＨＬに対してぼかしフィルタ等を適用することなどで実現できる。具体的には、バイリニアフィルタリングによるぼかし処理である線形テクスチャフィルタリングの手法や、何枚ものテクスチャを同時に使用するマルチテクスチャによるぼかし処理であるボックスフィルタサンプリングの手法などを採用できる。透明に近づける処理は、手オブジェクトＨＲ、ＨＬのα値を、透明に近いα値に変化させることで実現できる。色を変化させる処理は、手オブジェクトＨＲ、ＨＬをターゲット色に近づけることで実現できる。
【００９５】
なお手オブジェクトＨＲ、ＨＬの表示態様の変化処理は、これらの処理には限定されない。例えば動き情報の検出精度が低くなるにつれて、手オブジェクトＨＲ、ＨＬの明度（輝度）を変化させる処理や、輪郭線の表示態様を変化させる処理や、サイズを変化させる処理や、オブジェクトＨＲ、ＨＬに施されるエフェクトを変化させる処理などを行ってもよい。例えば動き情報の検出精度が低くなるにつれて、手オブジェクトＨＲ、ＨＬの明度を暗くしたり、輪郭線を薄くしたり、細くしたり、サイズを拡大又は縮小する。或いは、手オブジェクトＨＲ、ＨＬに施されるエフェクトを用いて、上述した処理と同等の映像効果を実現してもよい。例えば検出精度が下がるほど、フォグエフェクトがオブジェクトＨＲ、ＨＬ（アイコン）に重畳されて行くことで、オブジェクトＨＲ、ＨＬが見えにくくなり、オブジェクトＨＲ、ＨＬをぼかす処理等と同等の効果を得るようにする。或いは、検出精度が下がるほど、オブジェクトＨＲ、ＨＬ（アイコン）を囲むように別のオブジェクト（アイコン）が重畳されて行くことで、オブジェクトＨＲ、ＨＬをぼかす処理等と同等の効果を得るようにする。或いは、信頼度の低下を警告するような吹き出しやアイコン等のエフェクトを、オブジェクトＨＲ、ＨＬに重畳して表示することで、信頼度の低下を操作者に伝えるようにしてもよい。
【００９６】
或いは動き情報の検出精度に応じて手オブジェクトＨＲ、ＨＬを変形させてもよい。また動き情報の検出精度に基づいて、図４（Ａ）、図４（Ｂ）のキャラクタＣＨ（アバター）の画像の表示態様（ぼかし度、透明度、色等）を変化させてもよい。また、動き情報の検出精度が低くなった場合に、検出精度が低くなったことを警告するアイコンオブジェクトを表示してもよい。
【００９７】
以上のように、動き情報の検出精度に応じて手オブジェクトＨＲ、ＨＬの表示態様を変化させれば、手の操作についての検出精度が低下していることを、操作者は容易に把握できるようになる。例えば図３（Ｂ）のように手が体に近い状態で操作している場合には、図４（Ｂ）のように手オブジェクトＨＲ、ＨＬがぼけた画像になるため、これを見た操作者は、図３（Ａ）のように手を伸ばして操作するようになる。従って、結局、操作者は、図３（Ａ）のように動き情報の検出精度が高い状態で手を動かして操作を行うようになり、操作者の操作が誤認識されてしまう事態を抑止できる。従って、誤操作等が抑止され、快適な操作インターフェース環境を操作者に提供できる。
【００９８】
なお図５では、動き情報の検出精度に基づいて、手オブジェクトＨＲ、ＨＬのぼかし処理や透明に近づける処理等を行うと共に、手オブジェクトＨＲ、ＨＬのサイズを変化させる処理を行っている。具体的には、手オブジェクトＨＲ、ＨＬのサイズを拡大する（或いは逆に縮小してもよい）。このようにすれば、操作者は、手が体に近づいたことが原因で動き情報の検出精度が低下して、手オブジェクトＨＲ、ＨＬがぼけた画像になったということを、直感的に認識できるようになる。従って、検出精度の低下を、より直感的に認識できる表示態様変化処理を実現できる。
【００９９】
また、画像の表示態様を変化させる処理は、検出精度自体の値を用いるものには限定されない。例えば検出精度情報により表される検出精度の変化の予測情報（変化率情報、傾き情報）に基づいて、表示部１９０に表示される画像の表示態様を変化させてもよい。
【０１００】
例えば図６（Ａ）のＡ１では、動き情報の検出精度が所定のしきい値ＶＴＣよりも低くなっているため、図４（Ｂ）のように手オブジェクトＨＲ、ＨＬ等の表示態様を変化させる。
【０１０１】
これに対して図６（Ｂ）のＡ２では、検出精度自体はしきい値ＶＴＣよりも低くなっていないが、検出精度の変化から、検出精度がしきい値ＶＴＣよりも低下することが予測されている。即ち、検出精度の減少の変化が急激であるため、近い将来にしきい値ＶＴＣを下回ることが予測されている。
【０１０２】
このような場合には、検出精度がしきい値ＶＴＣよりも低くなっていなくても、検出精度の変化の予測情報に基づいて、図４（Ｂ）のように手オブジェクトＨＲ、ＨＬ等の表示態様を変化させる。このようにすれば、操作者は、動き情報の検出精度がしきい値ＶＴＣを下回る前に、自身の操作が動き情報の検出精度を低下させる操作になっていることを、認識できるようになる。従って、操作者は、検出精度がしきい値ＶＴＣを下回る前に、例えば手の位置を図３（Ｂ）から図３（Ａ）の状態に戻すようになる。この結果、操作者は、動き情報の検出精度が高い値に維持された状態で、操作を継続することが可能になり、操作者の操作の誤認識を更に抑止することができ、安定した操作インターフェース環境を提供できる。
【０１０３】
２．２ スケルトン情報、信頼度情報
本実施形態の動き情報としては、前述のように、オプティカルフローの情報や、操作者の部位の動きを表す情報や、操作者のスケルトン情報などを想定できる。そして動き情報がスケルトン情報である場合には、検出精度情報として、スケルトン情報の信頼度情報を用いることができる。以下、このスケルトン情報と信頼度情報について説明する。
【０１０４】
例えば本実施形態では図７に示すように、図２（Ｂ）のデプス情報等に基づいて、操作者の動作を特定するためのスケルトン情報（動き情報）を取得する。図７ではスケルトン情報として、スケルトンを構成する骨の位置情報（３次元座標）が、関節Ｃ０〜Ｃ１９の位置情報として取得されている。このスケルトンを構成する各骨は、画像センサＩＳＥに映る操作者の各部位（手、足、胸等）に対応するものであり、関節Ｃ０〜Ｃ１９は、画像センサＩＳＥに映る操作者の関節に対応するものである。
【０１０５】
例えば図２（Ｂ）のデプス情報を用いれば、画像センサＩＳＥ側から見た操作者等の３次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などにより操作者の顔等の部位の領域も特定できる。そこで、これらの３次元形状の情報等や画像の動きベクトル（オプティカルフロー）などを用いて、操作者の各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の２次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の３次元座標情報を求め、図７に示すようなスケルトン情報を取得する。更に具体的には、体型・体格が異なる複数のモデルを用意する。そして画像センサＩＳＥにより得られた操作者のデプス情報やカラー画像情報を用いて、操作者の体型・体格と、これらの複数のモデルの体型・体格とのマッチング処理を行い、体型・体格が類似するモデルを特定する。そして、特定されたモデルの関節位置の情報等を用いて、操作者の関節位置（骨の位置、部位の位置）を推定して、スケルトン情報を取得する。
【０１０６】
このようなスケルトン情報を用いれば、操作者の動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばキャラクタのモーションデータとして利用することで、オブジェクト空間において、操作者に対応するキャラクタ（アバター）を動作させることが可能になる。
【０１０７】
しかしながら、操作者の動きや体型・体格は種々様々である。また操作者が画像センサＩＳＥの撮像範囲の外に出てしまう場合もある。従って、完全に１００パーセントの信頼度のスケルトン情報を取得することは困難である。このため、操作者のスケルトンの骨（部位）を完全にはトラッキングできない場合には、骨の位置（関節位置）の推測処理を行い、推測処理により得られた骨の位置等に対しては、その推測処理の確からしさの程度を表す信頼度（広義には検出精度）を関連づける。
【０１０８】
例えば図８（Ａ）にスケルトン情報（広義には動き情報）のデータ構造の例を示す。このスケルトン情報は、各骨（各関節）に対して、その位置情報が関連づけられている。この各骨（各関節）の位置情報は、例えば画像センサＩＳＥのカメラ座標系での３次元座標情報である。また、各骨（各関節）は、操作者の各部位に対応づけられている。例えばＣ０、Ｃ１、Ｃ２は、各々、腰、胸、首の部位に対応づけられている。この対応づけは、骨の番号（関節番号）などにより実現される。
【０１０９】
図８（Ｂ）に信頼度情報（広義には検出精度情報）のデータ構造の例を示す。図８（Ｂ）に示すように、本実施形態の信頼度情報は、スケルトン情報により表されるスケルトンを構成する各骨（各関節）に対して、信頼度が関連づけられた情報である。この信頼度は、各骨の情報の信頼度を表している。具体的には、図８（Ａ）に示すように、スケルトン情報は、操作者の各部位に対応づけられた各骨の位置情報を含み、図８（Ｂ）の信頼度は、操作者の各部位と各骨（各関節）との対応づけや、各骨（各関節）の位置情報に関する信頼度である。なお、「骨」と「関節」は対応しているため、以下では、適宜、「骨」を「関節」として説明したり、「関節」を「骨」として説明する。
【０１１０】
例えば図９（Ａ）において、関節Ｃ１とＣ７の距離は遠く離れている。ＰＲ１、ＰＲ７は関節Ｃ１、Ｃ７の位置についての存在確率の範囲を表すものである。例えば、ある測定タイミングで関節Ｃ１、Ｃ７が図９（Ａ）に示す位置にあった場合には、次の測定タイミングにおいても、関節Ｃ１、Ｃ７の位置は、これらの存在確率の範囲ＰＲ１、ＰＲ７内に位置することが予想される。骨のトラッキングによるスケルトン情報の推定処理の際には、この存在確率の概念を用いる。そして、図９（Ａ）に示すように関節Ｃ１、Ｃ７の距離が離れている場合には、存在確率の範囲ＰＲ１、ＰＲ７の間に重なりが無いため、関節Ｃ１、Ｃ７の情報（部位との対応づけや位置情報）の信頼度（検出精度）は高い。
【０１１１】
一方、図９（Ｂ）では関節Ｃ１、Ｃ７の距離が近づいており、存在確率の範囲ＰＲ１、ＰＲ７の間に重なりが生じている。従って、この場合には、次の測定タイミングで、関節Ｃ１をＣ７と判断したり、関節Ｃ７をＣ１と判断してしまう可能性があり、骨のトラッキングの推定処理の際に、誤った判断をする可能性がある。従って、図９（Ｂ）の場合には、図９（Ａ）に比べて関節Ｃ１、Ｃ７の情報（部位への対応づけや位置情報）の信頼度（検出精度）が低くなる。
【０１１２】
また図１０（Ａ）では、画像センサＩＳＥと操作者の距離が適正な距離になっている。従って、画像センサＩＳＥの撮像により得られる画像情報の信頼度（解像度等）が高くなり、この画像情報から得られるスケルトン情報（動き情報）の信頼度（検出精度）も高くなる。
【０１１３】
一方、図１０（Ｂ）では、画像センサＩＳＥと操作者の距離が長く、操作者が画像センサＩＳＥから所定の距離（許容距離）ＬＭ以上離れている。従って、画像センサＩＳＥの撮像により得られる画像情報の信頼度が低くなり、この画像情報から得られるスケルトン情報動き情報）の信頼度（検出精度）も低くなる。
【０１１４】
以上のように本実施形態で用いられる信頼度情報（検出精度情報）は、例えば図９（Ａ）、図９（Ｂ）に示すように操作者の所定部位（例えば手、足）が他の部位（例えば胸、腰、頭、他方の手・足）に近づくほど信頼度（検出精度）が低くなる情報である。また図１０（Ａ）、図１０（Ｂ）に示すように、操作者が画像センサＩＳＥから所定距離ＬＭ（例えば４〜５ｍ）以上離れた場合に信頼度（検出精度）が低くなる情報である。但し本実施形態の信頼度情報（検出精度情報）は、これに限定されない。例えば他の人間が近づくことで、操作者の認識の精度が低下し、操作者のスケルトン情報（動き情報）の信頼度（検出精度）が低くなるような情報であってもよい。例えば本実施形態では、所定人数分（例えば２人分）の操作者のスケルトン情報を同時に検出できるようになっている。従って、画像センサＩＳＥにより撮像された操作者の人数が、この所定人数を超えた場合（例えば３人以上になった場合）には、これらの操作者のスケルトン情報の確実な認識が難しくなるため、信頼度（検出精度）が下がったと判断してもよい。
【０１１５】
２．３ 検出精度情報に応じたオブジェクト制御
本実施形態では、動き情報の検出精度情報（信頼度情報）に応じたオブジェクト制御を行うことができる。例えば図１１（Ａ）では、操作者は、両手を前に出して、物を持つ動作を行っている。この時、表示部１９０には図１１（Ｂ）に示すようなゲーム画像が表示されている。ＨＲ、ＨＬは操作者の右手、左手に対応する手オブジェクトであり、図１１（Ａ）のように操作者が物を持つ動作を行うと、その動きに連動して手オブジェクトＨＲ、ＨＬも移動又は動作する。そして操作者は、図１１（Ｂ）の画像を見ながら、操作対象となるオブジェクトＯＢＣをつかみ、指示された方向にオブジェクトＯＢＣを移動する操作を行って、ミニゲームを楽しむ。
【０１１６】
図１１（Ａ）では、操作者の右手と左手は重なっておらず、体からも離れた位置にある。従って、操作者の手に対応する骨（関節）の情報の検出精度（信頼度）は高くなっている。従って、この場合には図１１（Ｂ）に示すように手オブジェクトＨＲ、ＨＬは、はっきりとした画像になる。また、手オブジェクトＨＲ、ＨＬの移動（動作）は制限されておらず、操作者の手（所定部位）の動きに応じて手オブジェクトＨＲ、ＨＬは移動又は動作するように制御される。
【０１１７】
一方、図１２（Ａ）では、操作者の右手と左手が交差している。このため、図９（Ｂ）のように手の存在確率の範囲に重なりが生じており、操作者の手に対応する骨（関節）の情報の検出精度（信頼度）は低くなっている。従って、この場合には図１２（Ｂ）に示すように手オブジェクトＨＲ、ＨＬに対してぼかし処理や透明に近づける処理が行われる。また、手オブジェクトＨＲ、ＨＬの移動又は動作が制限又は停止される。即ち、操作者が手を動かしても、手オブジェクトＨＲ、ＨＬは、この動きに連動することはなく、移動又は動作が制限又は停止する。従って、操作者は、操作対象オブジェクトＯＢＣをつかむことはできず、ゲームを進めることができなくなる。
【０１１８】
操作者は、手オブジェクトＨＲ、ＨＬがぼけた画像になっており、手を動かしても動かないことから、自身の手の状態が図１２（Ａ）のように両手が交差した不適切な状態等であることを認識する。そして、手の状態を図１１（Ａ）に示すような状態に戻して、手を動かすことで、手オブジェクトＨＲ、ＨＬがはっきりした画像に戻り、手の動きに連動して手オブジェクトＨＲ、ＨＬも動くようになり、ゲームを進めることが可能になる。
【０１１９】
このように本実施形態では、動き情報の検出精度が低い場合には、操作者の動きに連動したオブジェクトの移動又は動作を制限又は停止している。このため、不適切な状態での操作者の操作は受け付けられないようになる。従って、操作者の操作を誤認識して、操作者が意図しない不適切な操作が行われたり、不適切な操作によりシステムの処理が破綻してしまうなどの事態を抑止できる。
【０１２０】
図１３（Ａ）では、操作者が、ハンドルの形を模したハンドル型コントローラを持って、ゲームをプレイしている。表示部１９０には、図１４（Ａ）に示すような画像が表示され、操作者がハンドル型コントローラを左右に回すと、これに連動してハンドルオブジェクトＨＤも左右に回り、レースカーのオブジェクトＯＢＤも、左右にコーナリングする。これにより、操作者は、リアルな操作感覚でのレースゲームを楽しむことができる。
【０１２１】
一方、図１３（Ｂ）では、操作者がハンドル型コントローラから右手を離して、頭の方に持って行っている。この場合には図９（Ｂ）のように存在確率範囲が重なる事態が発生し、右手の骨（関節）の情報の検出精度（信頼度）が低下する。或いは図１０（Ａ）、図１０（Ｂ）で説明したように、操作者が画像センサＩＳＥから一時的に離れたような場合にも検出精度（信頼度）が低下する。
【０１２２】
しかしながら、この時に図１４（Ａ）では、ハンドルオブジェクトＨＤやレースカーオブジェクトＯＢＤの移動又は動作を直ぐには制限又は停止せずに、制限又は停止制御の実行を所定ウェイト期間だけウェイトする。そしてウェイト期間の間は、レースカーオブジェクトＯＢＤは所定のアルゴリズムに従って自動走行する。そしてウェイト期間が経過した後に、ハンドルオブジェクトＨＤやレースカーオブジェクトＯＢＤの移動又は動作の制限又は停止制御が実行される。
【０１２３】
具体的にはウェイト期間の経過後にゲーム進行のポーズが行われて、図１４（Ｂ）に示すような選択画面が表示部１９０に表示される。この選択画面において、操作者は、ゲームプレイを継続するか否かを（オブジェクトの制御を継続するか否かを）、選択できる。そしてゲームプレイの継続を選択すると、操作者は、図１３（Ａ）のようなハンドル型コントローラの操作を行うことで、例えばゲーム進行のポーズ時点からのゲームプレイを続行できる。一方、ゲームプレイの終了を選択すると、オブジェクトの移動又は動作が制限又は停止され、ゲームが終了する。
【０１２４】
このように、動き情報の検出精度が低くなった場合に、直ぐにはオブジェクトの移動又は動作を制限又は停止せずに、所定のウェイト期間を設定することで、例えば操作者が図１３（Ｂ）に示すような、ちょっとした動きをした場合にも、オブジェクトの移動又は動作が制限又は停止しないようになる。これにより、スムーズなゲーム進行を実現できる。そして、ウェイト期間の経過後に図１４（Ｂ）に示すような選択画面を表示することで、操作者の動きが、図１３（Ｂ）に示すような、ちょっとした動きなのか、ゲームプレイの終了を意図する動きなのかを、容易に判定することができ、操作者の意図をより反映したゲーム操作を実現できる。
【０１２５】
２．４ 検出精度情報に応じたゲーム演算処理
本実施形態では、動き情報の検出精度情報（信頼度情報）に応じたゲーム演算処理を行うことができる。具体的には検出精度情報に応じたゲーム結果演算処理を行ったり、ゲーム進行処理を行う。
【０１２６】
例えば図１５（Ａ）、図１５（Ｂ）は本実施形態を音楽ゲームに適用した場合の例である。図１５（Ａ）では、操作者は、太鼓ゲームにおいて太鼓を叩く手の動きを行っている。そして、操作者の太鼓を叩く手の動きのタイミングが、ゲーム装置から流れる音楽の基準タイミング（リズム）に一致すると、操作者の得点（ポイント）が加算される。
【０１２７】
そして図１５（Ａ）では、操作者は、体から離れた位置で手を動かしており、動き情報の検出精度が高い状態で、太鼓を叩く手の動きを行っている。従ってこの状態で、図１５（Ｂ）のように操作者の手の動きのタイミングが音楽の基準タイミングに正確に一致すると、操作者に対して高評価が与えられ、操作者の得点に対して高得点が加算される。
【０１２８】
一方、図１６（Ａ）では、操作者は、体に近い位置で手を動かしており、動き情報の検出精度が低い状態で、太鼓を叩く手の動きを行っている。従ってこの状態で、図１６（Ｂ）のように操作者の手の動きのタイミングが音楽の基準タイミングに正確に一致したとしても、図１５（Ｂ）に比べて、操作者に与えられる評価は低くなり、加算される得点も低くなる。
【０１２９】
このように図１５（Ａ）〜図１６（Ｂ）では、動き情報の検出精度に応じたゲーム結果演算処理を行っている。例えば図１６（Ａ）、図１６（Ｂ）のように動き情報の検出精度が低い場合のゲーム結果が、図１５（Ａ）、図１５（Ｂ）のように検出精度が高い場合のゲーム結果に比べて低いゲーム結果になるように、ゲーム結果演算処理が行われる。例えば図１５（Ａ）、図１５（Ｂ）のように動き情報の検出精度が高い場合には、高いランクの評価（VERY VERY GOOD）が操作者に与えられるのに対して、図１６（Ａ）、図１６（Ｂ）のように検出精度が低い場合には、図１５（Ａ）、図１５（Ｂ）よりも低いランクの評価（GOOD）が操作者に与えられる。このようにすれば、適正な手の位置で正しい手の動きを行った操作者に対して高い評価が与えられるようになり、操作の誤認識の抑止や、安定したゲーム演算処理の実現が可能になる。なお、逆に、検出精度が低い場合のゲーム結果が、検出精度が高い場合のゲーム結果に比べて高いゲーム結果になるように、ゲーム結果演算処理を行ってもよい。即ち、動き情報の検出精度が低い場合には、操作情報の正しい検出ができないため、判定から漏れている操作者の操作も存在すると考えられ、この点を推定して、その操作者に得点を加算するようにする。
【０１３０】
なお、図１５（Ａ）〜図１６（Ｂ）では、動き情報の検出精度に応じたゲーム結果演算処理の例について説明したが、本実施形態はこれに限定されない。例えば検出精度に応じたゲーム進行処理等のゲーム演算処理を行ってもよい。例えば、操作者の手の位置等が正しい位置にあることを条件に、ゲームを進行させ、正しい位置にない場合にはゲーム進行を停止したり制限してもよい。また、ゲーム結果演算処理に検出精度を反映されるゲームも図１５（Ａ）〜図１６（Ｂ）のような音楽ゲームには限定されず、種々のゲームへの適用が可能である。
【０１３１】
２．５ 映像機器等への適用例
以上では本実施形態の手法をゲーム装置に適用した場合について主に説明したが、本実施形態の手法はゲーム装置以外の種々の機器に適用できる。
【０１３２】
例えば図１７（Ａ）は、映像機器の１つであるテレビ（表示装置）への本実施形態の手法の適用例である。図１７（Ａ）において、操作対象オブジェクトＯＢＤ、ＯＢＥ、ＯＢＦ、ＯＢＧ、ＯＢＨは、操作者の操作の対象となるオブジェクトであり、例えば映像機器（又はゲーム装置）に対して操作指示を行うためのオブジェクトである。具体的には、映像機器（ゲーム装置）に対してコンテンツ選択、所定の機器動作、及びコンテンツ再生・記録の少なくも１つを操作指示するためのオブジェクトである。例えばＯＢＤ、ＯＢＥ、ＯＢＦは、各々、チャンネル選択（広義にはコンテンツ選択）、ボリュームの操作（広義には機器動作の選択）、消音の操作（広義には機器動作の選択）を行うための操作対象オブジェクトである。ＯＢＧ、ＯＢＨは、各々、コンテンツの再生・記録操作（プレイ、停止、早送り、巻き戻し、録画等）、放送種別（地上デジタル放送、衛星放送等）の選択操作を行うための操作対象オブジェクトである。
【０１３３】
操作者は、チャンネルを切り替えたい場合には、表示部１９０の方に手を伸ばし、手オブジェクトＨＲの位置をチャンネル操作用の操作対象オブジェクトＯＢＤの位置に合わせる。そして手を回すなどの操作を行うことで、チャンネルを切り替えて、所望の放送番組を視聴する。
【０１３４】
また操作者は、ボリュームを変えたい場合には、手を伸ばして、手オブジェクトＨＲの位置をボリューム操作用の操作対象オブジェクトＯＢＥの位置に合わせる。そして手を左右に動かすなどの操作を行うことで、音のボリュームを変更する。同様に消音を行いたい場合には、手オブジェクトＨＲの位置を消音操作用の操作対象オブジェクトＯＢＦの位置に合わせて、手の指で押すなどの操作を行うことで、音声を消音する。操作対象オブジェクトＯＢＧ、ＯＢＨの操作も同様にして実現できる。
【０１３５】
そして、操作者が手を伸ばしており、右手と左手が交差していないというように、動き情報の検出精度が高い場合には、図１７（Ａ）に示すように操作対象オブジェクトＯＢＤ〜ＯＢＨや手オブジェクトＨＲ、ＨＬは、はっきりとした画像で表示部１９０に映し出される。
【０１３６】
また、動き情報の検出精度が高い場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨの操作が許可され、操作者の手等の動きに応じて操作対象オブジェクトＯＢＤ〜ＯＢＨが操作されるようになる。即ち、操作者は、手を回したり、手を左右に動かすことで、チャンネル用の操作対象オブジェクトＯＢＤを操作したり、ボリューム用の操作対象オブジェクトＯＢＥを操作できる。
【０１３７】
一方、操作者の手が体の近くにあったり、右手と左手が交差しているというように、動き情報の検出精度が低い場合には、図１７（Ｂ）に示すように、操作対象オブジェクトＯＢＤ〜ＯＢＨや手オブジェクトＨＲ、ＨＬは、ぼかした画像や透明に近い画像（或いは透明な画像）になる。即ち、動き情報の検出精度情報に基づいて操作対象オブジェクトＯＢＤ〜ＯＢＨや手オブジェクトＨＲ、ＨＬの表示態様が変化し、検出精度が低い場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対してぼかし処理、透明に近づける処理などが行われるようになる。なお動き情報の検出精度が低い場合に、図１７（Ｂ）において手オブジェクトＨＲが触れている操作対象オブジェクトＯＢＤの方の表示態様を変化させてもよい。例えば、手オブジェクトＨＲについては表示態様を変化させずに、操作対象オブジェクトＯＢＤの表示態様（ぼかし度、透明度、色等）だけを変化させる。これにより操作対象オブジェクトＯＢＤに対する操作は適正に実行できないことを、操作者は把握できるようになる。
【０１３８】
また、動き情報の検出精度が低い場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対する操作者の操作が制限又は不許可にされる。即ち、操作者が、手を回したり、手を左右に動かしても、チャンネル用の操作対象オブジェクトＯＢＤやボリューム用の操作対象オブジェクトＯＢＥに対する操作は実行されない。
【０１３９】
このようにすれば、例えば操作者が手を伸ばすことで、図１７（Ａ）に示すように操作対象オブジェクトＯＢＤ〜ＯＢＨが画面に映し出され、これらの操作対象オブジェクトＯＢＤ〜ＯＢＨを操作することで、コンテンツ（映像、音）選択の操作や、機器動作の操作や、コンテンツ再生・記録の操作を行うことが可能になる。
【０１４０】
一方、操作者が手を体の方に近づけて曲げる等の動きをすると、図１７（Ｂ）に示すように操作対象オブジェクトＯＢＤ〜ＯＢＨがぼけて薄い画像になったり、透明になって見えないようになる。従って、画面上において操作対象オブジェクトＯＢＤ〜ＯＢＨが目立たなくなり、操作者は、映像等のコンテンツの視聴を妨げられることなく楽しめるようになる。
【０１４１】
以上のように本実施形態では、動き情報の検出精度が低くなった場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対する操作者の操作が制限又は不許可にされる。一方、検出精度が高くなった場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対する操作者の操作が許可される。従って、これまでにないタイプの操作インターフェース環境を操作者に提供できる。
【０１４２】
また本実施形態では、動き情報の検出精度が低くなるほど、操作対象オブジェクトとなる候補オブジェクトの数を増加させる制御を行ってもよい。即ち、検出精度が低い場合には、検出精度が高い場合に比べて、操作対象オブジェクトとなる候補オブジェクトの数を増加させる。
【０１４３】
例えば図１８（Ａ）では、操作者は手を伸ばして手を回す操作を行っている。このように手を伸ばして、手が体の他の部位から遠ざかると、動き情報の検出精度が高くなる。また、操作者は手を回しており、チャンネルの操作であることを認識できる。従って、この場合には候補オブジェクトは、１つの操作対象オブジェクトＯＢＤだけになり、手を回すことで、チャンネル操作用の操作対象オブジェクトＯＢＤを用いたチャンネルの切換操作が行われるようになる。
【０１４４】
また図１８（Ｂ）では、操作者は手を伸ばして手を左右に動かす操作を行っている。このように手を伸ばして、手が体の他の部位から遠ざかると、動き情報の検出精度が高くなる。また、操作者は手を左右に動かす操作を行っており、ボリュームの操作であることを認識できる。従って、この場合には候補オブジェクトは、１つの操作対象オブジェクトＯＢＥだけになり、手を左右に動かすことで、ボリューム操作用の操作対象オブジェクトＯＢＥを用いた音量ボリュームを上げ下げする操作が行われるようになる。
【０１４５】
一方、図１８（Ｃ）では、操作者は手を曲げている。このように手を曲げると、手が他の部位に近くなり、動き情報の検出精度が低くなる。また、図１８（Ａ）、図１８（Ｂ）のようなチャンネル操作、ボリューム操作を行っていることを確定できない。従って、この場合には、図１８（Ａ）、図１８（Ｂ）のように検出精度が高い場合に比べて、操作対象オブジェクトとなる候補オブジェクトの数を増加させる。即ち、図１８（Ａ）、図１８（Ｂ）では、操作対象オブジェクトの候補オブジェクトの数は１個であったが、図１８（Ｃ）では、例えば３個になる。そして、この状態で、操作者が、右手オブジェクトＨＲの位置を所望のオブジェクトの位置に合わせることで、操作者が所望する操作を行うことが可能になる。
【０１４６】
即ち、図１８（Ａ）、図１８（Ｂ）のように動き情報の検出精度が高い場合には、手を回したり、手を左右に動かすという１回の手の動きで、チャンネル操作やボリューム操作が選択される。これに対して図１８（Ｃ）では、まず、複数の候補オブジェクトを表示し、その後に、操作者が候補オブジェクトの中から操作対象オブジェクトを選択することで、操作者が所望する操作を行うことが可能になる。
【０１４７】
なお、操作者による想定外の動作により、誤認識が発生してしまう事態等を防止するために、システム側が想定している各正解動作（例えば手を回す動作、手を左右に動かす動作等）に対して複数の候補動作パターンをテーブルとして用意しておいてもよい。そして、画像センサにより認識された操作者の動作と、これらの複数の候補動作パターンとのマッチング処理を行い、操作者の動作が正解動作に該当するか否かを判断する。例えば図１８（Ｂ）において、操作対象オブジェクトＯＢＥを操作するために手を横に振る動作としては、操作者が表示部１９０の画面に正対して、手を横に振る第１の動作パターンの他に、操作者が寝転びながら、手を縦に振る第２の動作パターンが考えられる。従って、これらの第１、第２の動作パターンを候補動作パターンとして用意しておき、操作者の動作とのパターンマッチング処理を行うことで、操作者の動作が正解動作なのか否かを判定できる。また、例えばボタンを押す動作と、物をつかむ動作の判別は難しいが、ボタンを押す動作として、想定できるあらゆるパターンの候補動作パターンを用意して、パターンマッチングを行えば、ボタンを押す動作を、物をつかむ動作として誤認識してしまう事態も防止できるようになる。
【０１４８】
図１９（Ａ）、図１９（Ｂ）は、映像機器の１つである録画・再生機器（ＨＤＤレコーダ、ＤＶＤレコーダ等）への本実施形態の手法の適用例である。例えば図１９（Ａ）に示すように、操作者が手を伸ばしていない状態で、例えば左手オブジェクトＨＬで番組表を選択すると、番組表の概略表示が行われる。この時、右手、左手オブジェクトＨＲ、ＨＬは、動き情報の検出精度が低いため、ぼけた画像や透明に近い画像になっている。
【０１４９】
一方、図１９（Ｂ）では、操作者が手を伸ばしており、動き情報の検出精度が高いため、右手、左手オブジェクトＨＲ、ＨＬは、はっきりとした画像になっている。また、番組表の詳細が表示されると共に、例えば番組表において右手オブジェクトＨＲにより選択された番組の録画等を、左手オブジェクトＨＬで選択できるようになる。また、左手オブジェクトＨＬにより、録画の画質（ＨＤ、ＨＰ、ＬＰ、ＳＰ）や放送番組の種別（地上デジタル放送、衛星放送、ＣＡＴＶ）についても、選択できるようになる。更に、右手オブジェクトＨＲにより選択された番組の内容も詳細に表示されるようになる。
【０１５０】
このように本実施形態の手法によれば、テレビや録画・再生機器等の映像機器においても、これまでにない利便性の高い操作インターフェース環境を提供できる。
【０１５１】
２．６ 詳細な処理例
次に本実施形態の詳細な処理例について図２０〜図２３のフローチャートを用いて説明する。図２０は全体的な処理を示すフローチャートである。
【０１５２】
まず、図２（Ａ）、図２（Ｂ）で説明したように画像センサからの画像情報を取得する（ステップＳ１）。次に、画像情報に基づき操作者の動き情報（例えばスケルトン情報）を取得する（ステップＳ２）。また、動き情報に対応する検出精度情報（例えば信頼度情報）を取得する（ステップＳ３）。そして、検出精度情報に基づくオブジェクトの制御処理、ゲーム演算処理、画像の表示態様変化処理を実行する（ステップＳ４）。
【０１５３】
図２１は、動き情報の検出精度情報を用いた画像の表示態様の変化処理の具体例を示すフローチャートである。
【０１５４】
まず、操作者の動き情報（スケルトン情報の手の骨の位置等）に基づき、手オブジェクトの描画位置を求める（ステップＳ１１）。そして手等の動き情報（手の骨等）についての検出精度（信頼度）を取得する（ステップＳ１２）。
【０１５５】
次に、取得された検出精度に基づいて、手オブジェクトのぼかし度合、α値、色等を設定する（ステップＳ１３）。そして、このようにぼかし度合、α値、色等が設定された手オブジェクト、キャラクタ等の描画処理を実行する（ステップＳ１４）。このようにすることで、図４（Ａ）、図４（Ｂ）に示すような画像の表示態様の変化処理を実現できる。
【０１５６】
図２２は、動き情報の検出精度情報を用いたオブジェクトの制御処理の具体例を示すフローチャートである。
【０１５７】
まず、操作者の手等の動き情報についての検出精度（信頼度）を取得する（ステップＳ２１）。そして、取得された検出精度が所定しきい値以下か否かを判断する（ステップＳ２２）。
【０１５８】
検出精度が所定しきい値以下である場合には、図１４（Ａ）で説明したようにオブジェクトの移動、動作の自動制御を行う（ステップＳ２３）。そして、所定のウェイト期間が経過したか否かを判断し、経過していない場合にはステップＳ２１に戻る。一方、ウェイト期間が経過した場合には、図１４（Ｂ）で説明したようにゲーム進行のポーズ処理を行う（ステップＳ２５）。そして、操作者がゲームプレイの継続、終了を選択するための選択画面を表示する（ステップＳ２６）。そして、操作者がゲームプレイの終了を選択したか否かを判断し（ステップＳ２７）、ゲームプレイの終了を選択した場合には、ゲームを終了する（ステップＳ２８）。一方、ゲームプレイの継続を選択した場合には、ゲーム進行を継続する（ステップＳ２９）
図２３は、動き情報の検出精度情報を用いたゲーム演算処理の具体例を示すフローチャートである。
【０１５９】
まず、操作者の動き情報を取得する（ステップＳ３１）。そして取得された動き情報に基づいて、ゲーム演算処理を行い、ゲーム結果を判定する（ステップＳ３２）。
【０１６０】
次に、動き情報に対応する検出精度情報を取得する（ステップＳ３３）。そして、ゲーム結果判定の対象となる部位（骨）の検出精度が所定しきい値以下か否かを判断する（ステップＳ３４）。そして図１５（Ａ）〜図１６（Ｂ）で説明したように、所定のしきい値以下であった場合には、操作者の獲得ポイントのレベルを１ランク下げる処理を行う（ステップＳ３５）。このようにすることで、動き情報の検出精度を反映させたゲーム演算処理を実現できる。
【０１６１】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（動き情報、検出精度情報、所定部位、オブジェクト等）と共に記載された用語（スケルトン情報、信頼度情報、手、手オブジェクト等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、動き情報（スケルトン情報）の取得手法、検出精度情報（信頼度情報）の取得手法、画像の表示態様の変化手法、オブジェクトの制御手法、ゲーム演算手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話、映像機器、音響機器、家電機器等の種々の画像生成システムに適用できる。
【符号の説明】
【０１６２】
ＩＳＥ 画像センサ、ＳＣ 画面（スクリーン）、ＨＬ、ＨＲ 手オブジェクト、
ＣＨ キャラクタ（アバター）、Ｃ０〜Ｃ１９ 関節（骨）、
ＯＢＣ〜ＯＢＨ オブジェクト、
１００ 処理部、１０２ 画像情報取得部、１０４ 動き情報取得部、
１０６ 検出精度情報取得部、１１０ ゲーム演算部、１１２ オブジェクト空間設定部、
１１４ オブジェクト制御部、１１８ 仮想カメラ制御部、１２０ 画像生成部、
１３０ 音生成部、１６０ 操作部、１７０ 記憶部、１７１ 画像情報記憶部、
１７２ カラー画像情報記憶部、１７３ デプス情報記憶部、
１７４ 動き情報記憶部、１７５ 検出精度情報記憶部、
１７６ オブジェクトデータ記憶部、１７７ モーションデータ記憶部、
１７８ モデルデータ記憶部、１７９ 描画バッファ、１８０ 情報記憶媒体、
１９０ 表示部、１９２ 音出力部、１９４ 補助記憶装置、１９６ 通信部
【特許請求の範囲】
【請求項１】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、
前記動き情報の検出精度情報を取得する検出精度情報取得部と、
表示部に表示される画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
前記操作者の前記動き情報の前記検出精度情報に応じて、前記表示部に表示される画像の表示態様を変化させることを特徴とするプログラム。
【請求項２】
請求項１において、
オブジェクトを制御するオブジェクト制御部として、
コンピュータを機能させ、
前記画像生成部は、
前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの表示態様を変化させることを特徴とするプログラム。
【請求項３】
請求項２において、
前記オブジェクト制御部は、
前記操作者の前記動き情報に応じて移動又は動作するように前記オブジェクトの制御を行い、
前記画像生成部は、
前記動き情報に応じて移動又は動作する前記オブジェクトの表示態様を、前記動き情報の前記検出精度情報に基づいて変化させることを特徴とするプログラム。
【請求項４】
請求項２又は３において、
前記画像生成部は、
前記検出精度情報により表される検出精度が低くなるにつれて、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも１つの処理を行うことを特徴とするプログラム。
【請求項５】
請求項４において、
前記検出精度情報取得部は、
前記操作者の所定部位が前記操作者の他の部位に近づくほど、検出精度が低くなる情報を、前記検出精度情報として取得し、
前記画像生成部は、
前記操作者の所定部位が前記他の部位に近づくほど、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも１つの処理を行うと共に、前記オブジェクトのサイズを変化させる処理を行うことを特徴とするプログラム。
【請求項６】
請求項２乃至５のいずれかにおいて、
前記オブジェクトは、前記操作者の手の動きに応じて移動又は動作する手オブジェクトであり、
前記画像生成部は、
前記動き情報の前記検出精度情報に基づいて、前記手オブジェクトの表示態様を変化させることを特徴とするプログラム。
【請求項７】
請求項２乃至５のいずれかにおいて、
前記オブジェクトは、前記操作者の所定部位の動きに応じて移動するアイコンであり、
前記画像生成部は、
前記動き情報の前記検出精度情報に基づいて、前記アイコンの表示態様を変化させることを特徴とするプログラム。
【請求項８】
請求項２乃至５のいずれかにおいて、
前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、
前記画像生成部は、
前記動き情報の前記検出精度情報に基づいて、前記操作対象オブジェクトの表示態様を変化させることを特徴とするプログラム。
【請求項９】
請求項８において、
前記操作対象オブジェクトは、映像機器又はゲーム装置に対して操作指示を行うためのオブジェクトであることを特徴とするプログラム。
【請求項１０】
請求項８において、
前記操作対象オブジェクトは、前記映像機器又は前記ゲーム装置に対してコンテンツ選択、機器動作選択、及びコンテンツ再生・記録の少なくも１つを操作指示するためのオブジェクトであることを特徴とするプログラム。
【請求項１１】
請求項８乃至１０のいずれかにおいて、
前記オブジェクト制御部は、
前記検出精度情報により表される検出精度が低くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を制限又は不許可にする制御を行うことを特徴とするプログラム。
【請求項１２】
請求項８乃至１１のいずれかにおいて、
前記オブジェクト制御部は、
前記検出精度情報により表される検出精度が低くなるほど、前記操作対象オブジェクトとなる候補オブジェクトの数を増加させる制御を行うことを特徴とするプログラム。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記検出精度情報取得部は、
前記操作者の所定部位が前記操作者の他の部位に近づくほど、前記動き情報の検出精度が低くなる情報を、前記検出精度情報として取得することを特徴とするプログラム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記検出精度情報取得部は、
前記操作者が前記画像センサから所定距離以上離れた場合に、前記動き情報の検出精度が低くなる情報を、前記検出精度情報として取得することを特徴とするプログラム。
【請求項１５】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、
前記動き情報の検出精度情報を取得する検出精度情報取得部と、
オブジェクトを制御するオブジェクト制御部と、
表示部に表示される画像を生成する画像生成部として、
コンピュータを機能させ、
前記オブジェクト制御部は、
前記操作者の前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの制御を行うことを特徴とするプログラム。
【請求項１６】
請求項１５において、
前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、
前記オブジェクト制御部は、
前記検出精度情報により表される検出精度が低くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を制限又は不許可にする制御を行うことを特徴とするプログラム。
【請求項１７】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至１６のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１８】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、
前記動き情報の検出精度情報を取得する検出精度情報取得部と、
表示部に表示される画像を生成する画像生成部とを含み、
前記画像生成部は、
前記操作者の前記動き情報の前記検出精度情報に応じて、前記表示部に表示される画像の表示態様を変化させることを特徴とする画像生成システム。
【請求項１９】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、
前記動き情報の検出精度情報を取得する検出精度情報取得部と、
オブジェクトを制御するオブジェクト制御部と、
表示部に表示される画像を生成する画像生成部とを含み、
前記オブジェクト制御部は、
前記操作者の前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの制御を行うことを特徴とする画像生成システム。
【請求項１】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、
前記動き情報の検出精度情報を取得する検出精度情報取得部と、
表示部に表示される画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
前記操作者の前記動き情報の前記検出精度情報に応じて、前記表示部に表示される画像の表示態様を変化させることを特徴とするプログラム。
【請求項２】
請求項１において、
オブジェクトを制御するオブジェクト制御部として、
コンピュータを機能させ、
前記画像生成部は、
前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの表示態様を変化させることを特徴とするプログラム。
【請求項３】
請求項２において、
前記オブジェクト制御部は、
前記操作者の前記動き情報に応じて移動又は動作するように前記オブジェクトの制御を行い、
前記画像生成部は、
前記動き情報に応じて移動又は動作する前記オブジェクトの表示態様を、前記動き情報の前記検出精度情報に基づいて変化させることを特徴とするプログラム。
【請求項４】
請求項２又は３において、
前記画像生成部は、
前記検出精度情報により表される検出精度が低くなるにつれて、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも１つの処理を行うことを特徴とするプログラム。
【請求項５】
請求項４において、
前記検出精度情報取得部は、
前記操作者の所定部位が前記操作者の他の部位に近づくほど、検出精度が低くなる情報を、前記検出精度情報として取得し、
前記画像生成部は、
前記操作者の所定部位が前記他の部位に近づくほど、前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも１つの処理を行うと共に、前記オブジェクトのサイズを変化させる処理を行うことを特徴とするプログラム。
【請求項６】
請求項２乃至５のいずれかにおいて、
前記オブジェクトは、前記操作者の手の動きに応じて移動又は動作する手オブジェクトであり、
前記画像生成部は、
前記動き情報の前記検出精度情報に基づいて、前記手オブジェクトの表示態様を変化させることを特徴とするプログラム。
【請求項７】
請求項２乃至５のいずれかにおいて、
前記オブジェクトは、前記操作者の所定部位の動きに応じて移動するアイコンであり、
前記画像生成部は、
前記動き情報の前記検出精度情報に基づいて、前記アイコンの表示態様を変化させることを特徴とするプログラム。
【請求項８】
請求項２乃至５のいずれかにおいて、
前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、
前記画像生成部は、
前記動き情報の前記検出精度情報に基づいて、前記操作対象オブジェクトの表示態様を変化させることを特徴とするプログラム。
【請求項９】
請求項８において、
前記操作対象オブジェクトは、映像機器又はゲーム装置に対して操作指示を行うためのオブジェクトであることを特徴とするプログラム。
【請求項１０】
請求項８において、
前記操作対象オブジェクトは、前記映像機器又は前記ゲーム装置に対してコンテンツ選択、機器動作選択、及びコンテンツ再生・記録の少なくも１つを操作指示するためのオブジェクトであることを特徴とするプログラム。
【請求項１１】
請求項８乃至１０のいずれかにおいて、
前記オブジェクト制御部は、
前記検出精度情報により表される検出精度が低くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を制限又は不許可にする制御を行うことを特徴とするプログラム。
【請求項１２】
請求項８乃至１１のいずれかにおいて、
前記オブジェクト制御部は、
前記検出精度情報により表される検出精度が低くなるほど、前記操作対象オブジェクトとなる候補オブジェクトの数を増加させる制御を行うことを特徴とするプログラム。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記検出精度情報取得部は、
前記操作者の所定部位が前記操作者の他の部位に近づくほど、前記動き情報の検出精度が低くなる情報を、前記検出精度情報として取得することを特徴とするプログラム。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記検出精度情報取得部は、
前記操作者が前記画像センサから所定距離以上離れた場合に、前記動き情報の検出精度が低くなる情報を、前記検出精度情報として取得することを特徴とするプログラム。
【請求項１５】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、
前記動き情報の検出精度情報を取得する検出精度情報取得部と、
オブジェクトを制御するオブジェクト制御部と、
表示部に表示される画像を生成する画像生成部として、
コンピュータを機能させ、
前記オブジェクト制御部は、
前記操作者の前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの制御を行うことを特徴とするプログラム。
【請求項１６】
請求項１５において、
前記オブジェクトは、前記操作者の操作の対象となる操作対象オブジェクトであり、
前記オブジェクト制御部は、
前記検出精度情報により表される検出精度が低くなった場合に、前記操作対象オブジェクトに対する前記操作者の操作を制限又は不許可にする制御を行うことを特徴とするプログラム。
【請求項１７】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至１６のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項１８】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、
前記動き情報の検出精度情報を取得する検出精度情報取得部と、
表示部に表示される画像を生成する画像生成部とを含み、
前記画像生成部は、
前記操作者の前記動き情報の前記検出精度情報に応じて、前記表示部に表示される画像の表示態様を変化させることを特徴とする画像生成システム。
【請求項１９】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、操作者の動き情報を取得する動き情報取得部と、
前記動き情報の検出精度情報を取得する検出精度情報取得部と、
オブジェクトを制御するオブジェクト制御部と、
表示部に表示される画像を生成する画像生成部とを含み、
前記オブジェクト制御部は、
前記操作者の前記動き情報の前記検出精度情報に基づいて、前記オブジェクトの制御を行うことを特徴とする画像生成システム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【公開番号】特開２０１１−２５８１５８（Ｐ２０１１−２５８１５８Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１３４５８１（Ｐ２０１０−１３４５８１）
【出願日】平成２２年６月１１日（２０１０．６．１１）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月１１日（２０１０．６．１１）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
[ Back to top ]