プログラム、情報記憶媒体及び画像生成システム
【課題】プレーヤの所持物や部位の動きなどを反映させた画像を生成できるプログラム、情報記憶媒体、画像生成システム等の提供。
【解決手段】画像生成システムは、画像センサからの画像情報を取得する画像情報取得部と、画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つを、レンダリング用情報として取得する情報取得部と、方向情報、色情報及び形状情報の少なくとも１つであるレンダリング用情報に基づくレンダリング処理を行って、画像を生成する画像生成部を含む。
【解決手段】画像生成システムは、画像センサからの画像情報を取得する画像情報取得部と、画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つを、レンダリング用情報として取得する情報取得部と、方向情報、色情報及び形状情報の少なくとも１つであるレンダリング用情報に基づくレンダリング処理を行って、画像を生成する画像生成部を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及び画像生成システム等に関する。
【背景技術】
【０００２】
近年、従来の操作ボタンや方向キーを備えたゲームコントローラに代わって、モーションセンサを内蔵するゲームコントローラを用いてゲーム操作が可能なゲーム装置が人気を博している。このような操作インターフェースを備えるゲーム装置によれば、プレーヤの直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献１に開示される技術がある。
【０００３】
しかしながら、モーションセンサを内蔵するゲームコントローラでは、プレーヤの操作対象はゲームコントローラであり、プレーヤの任意の所持物や、プレーヤの手や体そのものを使ってゲーム操作を行うことはできない。このため、プレーヤの手の動き等がそのまま画面に反映されるような直感的なゲーム操作については実現できず、プレーヤの仮想現実感の向上が不十分であるという課題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−８９６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の幾つかの態様によれば、プレーヤの所持物や部位の動きなどを反映させた画像を生成できるプログラム、情報記憶媒体、画像生成システム等を提供できる。
【課題を解決するための手段】
【０００６】
本発明の一態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つを、レンダリング用情報として取得する情報取得部と、前記方向情報、前記色情報及び前記形状情報の少なくとも１つである前記レンダリング用情報に基づくレンダリング処理を行って、画像を生成する画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００７】
本発明の一態様によれば、画像センサからの画像情報に基づく画像処理により、プレーヤの所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つが、レンダリング用情報として取得される。そして、取得されたレンダリング用情報を用いて画像が生成される。このようにすれば、画像情報に基づく画像処理により取得されたプレーヤの所持物又は部位の方向情報、色情報又は形状情報を、レンダリング処理に反映させることが可能になり、プレーヤの所持物や部位の動きなどを反映させた画像を生成できるようになる。
【０００８】
また本発明の一態様では、前記画像生成部は、前記レンダリング用情報に基づいて、オブジェクト空間に配置設定される光源の光源情報を設定し、前記光源情報が設定された前記光源を用いたレンダリング処理を行って、オブジェクト空間内において仮想カメラから見える画像を生成してもよい。
【０００９】
このようにすれば、プレーヤの所持物や部位の動きなどを反映させた光源をオブジェクト空間に出現させて画像を生成することが可能になり、従来にはない表示態様の画像の生成が可能になる。
【００１０】
また本発明の一態様では、前記プレーヤに対応するキャラクタの制御を行うキャラクタ制御部を含み（キャラクタ制御部としてとしてコンピュータを機能させ）、前記情報取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、前記画像生成部は、取得された前記スケルトン情報と前記キャラクタの位置情報に基づいて、前記オブジェクト空間内での前記光源の配置位置を特定してもよい。
【００１１】
このようにすれば、プレーヤのスケルトン情報を有効活用して、オブジェクト空間内での光源の配置位置を設定できるようになるため、処理の効率化等を図れる。
【００１２】
また本発明の一態様では、前記画像情報取得部は、前記画像センサからの前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、前記情報取得部は、前記デプス情報に基づいて、前記プレーヤの前記所持物又は前記部位の前記方向情報及び前記形状情報の少なくとも１つを前記レンダリング用情報として取得してもよい。
【００１３】
このようにデプス情報を用いれば、プレーヤの所持物や部位の方向情報等のレンダリング用情報を、効率良く取得することが可能になる。
【００１４】
また本発明の一態様では、前記情報取得部は、前記デプス情報に基づいて、前記レンダリング用情報の前記方向情報として複数の第１〜第Ｎの方向情報（Ｎは２以上の整数）を取得し、前記画像生成部は、前記レンダリング用情報である前記第１〜第Ｎの方向情報に基づくレンダリング処理を行って、画像を生成してもよい。
【００１５】
このようにすれば、プレーヤの所持物又は部位の第１〜第Ｎの方向情報を反映させたレンダリング処理を行って画像を生成できるため、多様な画像や演出効果の高い画像等の生成が可能になる。
【００１６】
また本発明の一態様では、前記画像生成部は、前記デプス情報に基づき取得された前記所持物又は前記部位の形状情報に基づいてレンダリング範囲を設定し、設定されたレンダリング範囲で前記レンダリング処理を行ってもよい。
【００１７】
このようにすれば、プレーヤの所持物又は部位の形状情報を反映させたレンダリング範囲を設定して画像を生成できるため、多様な画像や演出効果の高い画像等の生成が可能になる。
【００１８】
また本発明の一態様では、前記情報取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記プレーヤの前記所持物又は前記部位についての前記方向情報を取得してもよい。
【００１９】
このようにすれば、プレーヤの所持物や部位の動きをスケルトン情報により検出して、所持物や部位の方向情報を取得できるようになり、スケルトン情報の有効活用を図れる。
【００２０】
また本発明の一態様では、前記情報取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記レンダリング用情報の取得のための前記画像処理の処理領域を設定してもよい。
【００２１】
このようにすれば、特定された処理領域において画像処理を行えば済むようになるため、画像処理の処理負荷を軽減でき、少ない処理負荷でレンダリング用情報を取得することが可能になる。
【００２２】
また本発明の一態様では、オブジェクト空間内に配置設定される仮想カメラの制御を行う仮想カメラ制御部を含み（仮想カメラ制御部としてコンピュータを機能させ）、前記情報取得部は、前記プレーヤの前記所持物又は前記部位の位置情報を取得し、前記仮想カメラ制御部は、前記所持物又は前記部位の前記位置情報に基づいて、前記オブジェクト空間内に前記仮想カメラを配置設定し、前記画像生成部は、前記オブジェクト空間内において前記仮想カメラから見える画像を生成してもよい。
【００２３】
このようにすれば、プレーヤの所持物又は部位の位置情報に対応するオブジェクト空間内の位置に仮想カメラを配置設定して、オブジェクト空間内において仮想カメラから見える画像を生成できるようになる。従って、ヘッドトラッキングのような画像を簡素な処理で生成できるようになり、多様な画像や演出効果の高い画像等の生成が可能になる。
【００２４】
また本発明の一態様では、前記仮想カメラ制御部は、前記所持物又は前記部位の前記位置情報に対応する位置に、前記仮想カメラを配置し、前記所持物又は前記部位の前記方向情報に対応する方向に、前記仮想カメラの方向を向ける制御を行ってもよい。
【００２５】
このようにすれば、プレーヤの所持物又は部位の方向に対応する方向に仮想カメラの方向を向けることが可能になり、プレーヤの動きを、より反映させた画像の生成が可能になる。
【００２６】
また本発明の一態様では、前記情報取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記所持物又は前記部位の前記位置情報を取得してもよい。
【００２７】
このようにすれば、スケルトン情報を有効活用して、プレーヤの所持物又は部位の位置情報を取得し、その位置情報に対応するオブジェクト空間内の位置に仮想カメラを配置設定できるようになる。
【００２８】
また本発明の他の態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報及び形状情報の少なくとも１つを、ヒット演算用情報として取得する情報取得部と、取得された前記ヒット演算用情報に基づいてヒット演算処理を行うヒット演算部と、前記ヒット演算処理の結果に基づいて、画像を生成する画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００２９】
本発明の他の態様によれば、画像センサからの画像情報に基づく画像処理により、プレーヤの所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つが、ヒット演算用情報として取得される。そして、取得されたヒット演算用情報を用いてヒット演算処理が行われ、そのヒット演算処理の結果に基づいて画像が生成される。このようにすれば、画像情報により取得されたプレーヤの所持物又は部位の方向情報、色情報又は形状情報をヒット演算処理に反映させることが可能になり、プレーヤの所持物や部位の動きなどを反映させた画像を生成できるようになる。
【００３０】
また本発明の他の態様では、前記ヒット演算部は、前記ヒット演算用情報の前記方向情報により特定される軌道方向に基づいて、ターゲットオブジェクトに対する前記ヒット演算処理を行ってもよい。
【００３１】
このようにすれば、ヒット演算用情報の方向情報により特定される軌道方向を用いて、ターゲットオブジェクトに弾等がヒットしたか否かを判定することが可能になる。
【００３２】
また本発明の他の態様では、前記画像情報取得部は、前記画像センサからの前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、前記情報取得部は、前記デプス情報に基づいて、前記プレーヤの前記所持物又は前記部位の前記方向情報及び前記形状情報の少なくとも１つを前記ヒット演算用情報として取得してもよい。
【００３３】
このようにデプス情報を用いれば、プレーヤの所持物や部位の方向情報等のヒット演算用情報を、効率良く取得することが可能になる。
【００３４】
また本発明の他の態様では、前記情報取得部は、前記デプス情報に基づいて、前記ヒット演算用情報の前記方向情報として複数の第１〜第Ｎの方向情報（Ｎは２以上の整数）を取得し、前記ヒット演算部は、前記ヒット演算用情報である前記第１〜第Ｎの方向情報に基づいて、前記ヒット演算処理を行ってもよい。
【００３５】
このようにすれば、プレーヤの所持物又は部位の第１〜第Ｎの方向情報を反映させたヒット演算処理を行って画像を生成できるため、多様な画像や演出効果の高い画像等の生成が可能になる。
【００３６】
また本発明の他の態様では、前記ヒット演算部は、前記デプス情報に基づき取得された前記所持物又は前記部位の形状情報に基づいてヒット範囲を設定し、設定されたヒット範囲に基づいて前記ヒット演算処理を行ってもよい。
【００３７】
このようにすれば、プレーヤの所持物又は部位の形状情報を反映させたヒット範囲を設定してヒット演算処理を行い、画像を生成できるようになる。
【００３８】
また本発明の他の態様では、前記情報取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記プレーヤの前記所持物又は前記部位についての前記方向情報を取得してもよい。
【００３９】
このようにすれば、プレーヤの所持物や部位の動きをスケルトン情報により検出して、所持物や部位の方向情報を取得できるようになり、スケルトン情報の有効活用を図れる。
【００４０】
また本発明の他の態様では、前記情報取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記ヒット演算用情報の取得のための前記画像処理の処理領域を設定してもよい。
【００４１】
このようにすれば、特定された処理領域において画像処理を行えば済むようになるため、画像処理の処理負荷を軽減でき、少ない処理負荷でヒット演算用情報を取得することが可能になる。
【００４２】
また本発明の他の態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての位置情報を取得する情報取得部と、オブジェクト空間内に配置設定される仮想カメラの制御を行う仮想カメラ制御部と画像生成部とを含み、前記仮想カメラ制御部は、前記所持物又は前記部位の前記位置情報に基づいて、前記オブジェクト空間内に前記仮想カメラを配置設定し、前記画像生成部は、前記オブジェクト空間内において前記仮想カメラから見える画像を生成する画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００４３】
本発明の他の態様によれば、プレーヤの所持物又は部位の位置情報に対応するオブジェクト空間内の位置に仮想カメラを配置設定して、オブジェクト空間内において仮想カメラから見える画像を生成できるようになる。従って、ヘッドトラッキングのような画像を簡素な処理で生成できるようになり、多様な画像や演出効果の高い画像等の生成が可能になる。
【図面の簡単な説明】
【００４４】
【図１】本実施形態の画像生成システムの構成例。
【図２】図２（Ａ）、図２（Ｂ）は画像センサを用いたカラー画像情報、デプス情報の取得手法の説明図。
【図３】図３（Ａ）、図３（Ｂ）はプレーヤの所持物等の方向情報等をレンダリング用情報として取得する手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）は取得されたレンダリング用情報を用いたレンダリング処理の説明図。
【図５】図５（Ａ）、図５（Ｂ）はプレーヤの所持物等の形状情報、色情報をレンダリング処理に反映させる手法の説明図。
【図６】デプス情報に基づいてプレーヤのスケルトン情報を求める手法の説明図。
【図７】プレーヤのスケルトン情報に基づいて光源の配置位置等を特定する手法の説明図。
【図８】図８（Ａ）、図８（Ｂ）はレンダリング用情報を取得する他の手法の説明図。
【図９】図９（Ａ）、図９（Ｂ）はレンダリング用情報として複数の方向情報を取得する手法の説明図。
【図１０】図１０（Ａ）、図１０（Ｂ）はプレーヤのスケルトン情報を用いてプレーヤの所持物等の方向情報を取得する手法の説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）はプレーヤのスケルトン情報を用いて画像処理の処理領域を設定する手法の説明図。
【図１２】図１２（Ａ）〜図１２（Ｃ）はプレーヤの所持物等の位置情報に基づいて仮想カメラを配置設定する手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）はプレーヤの所持物等の方向情報等をヒット演算用情報として取得する手法の説明図。
【図１４】本実施形態の処理を説明するフローチャート。
【図１５】本実施形態の処理を説明するフローチャート。
【図１６】本実施形態の処理を説明するフローチャート。
【図１７】本実施形態の処理を説明するフローチャート。
【発明を実施するための形態】
【００４５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４６】
１．構成
図１に本実施形態の画像生成システム（ゲーム装置）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４７】
操作部１６０は、プレーヤが操作データを入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
【００４８】
また操作部１６０は、例えばカラー画像センサやデプスセンサなどにより実現される画像センサを含む。なお操作部１６０の機能を画像センサだけで実現してもよい。
【００４９】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００５０】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００５１】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００５２】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００５３】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００５４】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００５５】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００５６】
処理部１００は、画像情報取得部１０２、情報取得部１０４、ゲーム演算部１０８、ヒット演算部１１０、オブジェクト空間設定部１１２、キャラクタ制御部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。また情報取得部１０４はスケルトン情報取得部１０５を含み、キャラクタ制御部１１４は移動処理部１１５、モーション処理部１１６を含む。画像生成部１２０は光源設定部１２２を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５７】
画像情報取得部１０２は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部１７０の画像情報記憶部１７１に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部１７２に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部１７３に保存される。画像情報取得部１０２は、これらの画像情報を画像情報記憶部１７１から読み出すことで画像情報を取得する。
【００５８】
情報取得部１０４は、画像情報取得部１０２が取得した画像情報に基づいて、レンダリング用情報やヒット演算用情報を取得する。
【００５９】
ゲーム演算部１０８はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００６０】
ヒット演算部１１０はヒット演算処理を行う。例えばヒットチェック処理やヒット演出処理などを行う。具体的には、弾等の軌道方向とターゲットオブジェクトのヒットチェックを行い、ヒットしたと判定された場合に、ヒットエフェクトを発生する処理などを行う。
【００６１】
オブジェクト空間設定部１１２は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７５には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００６２】
キャラクタ制御部１１４は、オブジェクト空間を移動（動作）するキャラクタの制御を行う。例えばキャラクタ制御部１１４が含む移動処理部１１５は、キャラクタ（モデルオブジェクト、移動オブジェクト）を移動させる処理を行う。例えば操作部１６０によりプレーヤが入力した操作情報や、プログラム（移動アルゴリズム）や、各種データなどに基づいて、キャラクタをオブジェクト空間内で移動させる。具体的には、キャラクタの移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動処理やモーション処理や画像生成処理を行う時間の単位である。
【００６３】
キャラクタ制御部１１４が含むモーション処理部１１６は、キャラクタにモーション（アニメーション）を行わせるモーション処理（モーション再生、モーション生成）を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部１７６に記憶されているモーションデータに基づいて再生することなどで実現できる。
【００６４】
具体的にはモーションデータ記憶部１７６には、キャラクタ（モデルオブジェクト）のスケルトンを構成する各骨（キャラクタを構成する各パーツオブジェクト）の位置又は回転角度（親の骨に対する子の骨の３軸周りの回転角度）等を含むモーションデータが記憶されている。またモデルデータ記憶部１７７は、キャラクタを表すモデルオブジェクトのモデルデータを記憶する。モーション処理部１１６は、このモーションデータをモーションデータ記憶部１７６から読み出し、読み出されたモーションデータに基づいてスケルトンを構成する各骨（パーツオブジェクト）を動かすことで（スケルトン形状を変形させることで）、キャラクタのモーションを再生する。
【００６５】
仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００６６】
例えば仮想カメラによりキャラクタを後方から撮影する場合には、キャラクタの位置又は回転の変化に仮想カメラが追従するように、仮想カメラの位置又は回転角度（仮想カメラの向き）を制御する。この場合には、移動処理部１１５で得られたキャラクタの位置、回転角度又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は回転角度を特定するための仮想カメラデータに基づいて仮想カメラを制御する。
【００６７】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７９（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。
【００６８】
画像生成部１２０が含む光源設定部１２２は、光源の設定処理を行う。例えば光源の光源方向や光源色や光源位置等の光源情報の設定処理を行う。この光源情報は光源情報記憶部１７８に保存される。
【００６９】
なお、画像生成部１２０が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラと右目用仮想カメラを配置設定する。そして画像生成部１２０が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。
【００７０】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００７１】
そして本実施形態では画像情報取得部１０２が画像センサからの画像情報を取得すると、情報取得部１０４が、画像情報に基づく画像処理を行う。そしてプレーヤ（観者）の所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つを、レンダリング用情報として取得する。
【００７２】
ここで所持物はプレーヤが所持する現実世界の物体である。部位は、プレーヤの体の一部であり、手、足、腕、もも、頭部、胸等である。プレーヤの所持物又は部位の方向情報は、所持物又は部位の方向を表す情報であり、所持物又は部位の向く方向や所持物又は部位の面の法線方向などである。所持物又は部位の色情報は、所持物又は部位の色を表す情報である。所持物又は部位の形状情報は、所持物又は部位の形状を表す情報（形状を概略的に表す情報）であり、多角形、丸等の平面形状や、多面体、球、円柱、錐体等の立体形状などである。レンダリング用情報は、画像のレンダリング処理に使用する情報である。
【００７３】
そして画像生成部は１２０は、これらの方向情報、色情報及び形状情報の少なくとも１つであるレンダリング用情報（シェーディング用情報）に基づくレンダリング処理（シェーディング処理）を行って、画像を生成する。例えば所持物又は部位の方向情報や色情報や形状情報をレンダリング処理のパラメータに設定してレンダリング処理を行い、例えばオブジェクト空間内において仮想カメラから見える画像を生成する。
【００７４】
具体的には画像生成部１２０は、レンダリング用情報に基づいて、オブジェクト空間に配置設定される光源の光源情報（光源属性情報）を設定する。例えば所持物又は部位の方向情報により光源方向を設定したり、色情報により光源色を設定したり、形状情報により光源形状を設定する。そして画像生成部１２０は、このようにして光源情報が設定された光源を用いたレンダリング処理を行って、オブジェクト空間内において仮想カメラから見える画像を生成する。例えば光源の光源情報とオブジェクトのポリゴン（プリミティブ面）の法線ベクトルに基づいてシェーディング処理を行い、画像を生成する。この場合に、ランバート（Lambert）、フォン（Phong）、ブリン（Blinn）などの種々の照明モデルを用いて、グーロー（Gouraud）シェーディング、フォン（Phong）シェーディングなどのシェーディング処理を行う。
【００７５】
またキャラクタ制御部１１４は、プレーヤに対応するキャラクタの制御を行う。ここでキャラクタは、三人称視点の場合には実際に表示されるオブジェクトになるが、一人称視点の場合には、表示部１９０に表示されない仮想的なオブジェクトになる。
【００７６】
そして情報取得部１０４は、画像センサからの画像情報に基づいてプレーヤのスケルトン情報を取得する。例えば情報取得部１０４のスケルトン情報取得部１０５が、デプス情報等の画像情報に基づく画像処理を行ってプレーヤのスケルトン情報を求める。求められたスケルトン情報はスケルトン情報記憶部１７４に保存される。
【００７７】
ここでスケルトン情報は、例えば画像センサから見えるプレーヤの動作を特定する情報である。具体的には、このスケルトン情報は、プレーヤの複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は３次元座標情報により構成される。各関節を結合するものが骨（ボーン）となり、複数の骨の結合によりスケルトンが構成される。
【００７８】
このようにスケルトン情報が取得されると、画像生成部１２０は、取得されたスケルトン情報とキャラクタの位置情報に基づいて、オブジェクト空間内での光源の配置位置を特定する。例えばオブジェクト空間のワールド座標系でのキャラクタの位置情報（代表位置の情報）と、ローカル座標系でのスケルトンの関節位置情報（所持物又は部位に対応する関節の位置情報）に基づいて、光源の配置位置を特定する。
【００７９】
また画像情報取得部１０２は、画像センサからの画像情報としてデプス情報とカラー画像情報を取得する。このデプス情報は、例えば各画素位置にデプス値（奥行き値）が設定された画像情報である。そして情報取得部１０４は、取得されたデプス情報に基づいて、プレーヤの所持物又は部位の方向情報及び形状情報の少なくとも１つをレンダリング用情報として取得する。例えばデプス情報やカラー画像情報に基づいて、プレーヤの所持物や部位の方向や形状を判断して、レンダリング用情報として取得する。
【００８０】
この場合に情報取得部１０４は、デプス情報に基づいて、レンダリング用情報の方向情報として複数の第１〜第Ｎの方向情報（Ｎは２以上の整数）を取得してもよい。例えばプレーヤの所持物や部位の方向情報として複数の方向情報を取得する。すると画像生成部１２０は、レンダリング用情報である第１〜第Ｎの方向情報に基づくレンダリング処理を行って、画像を生成する。即ち複数の方向情報を反映させたレンダリング処理を行って、表示部１９０に表示する画像を生成する。別の言い方をすれば画像生成部１２０は、デプス情報に基づいて取得された所持物又は部位の形状情報に基づいてレンダリング範囲を設定し、設定されたレンダリング範囲でレンダリング処理を行って、画像を生成する。光源によるレンダリング処理を例にとれば、所持物又は部位の形状情報により、レンダリング範囲である光源光の照射範囲を設定し、その照射範囲でレンダリング処理（シェーディング処理）を行う。
【００８１】
また情報取得部１０４は、画像センサからの画像情報に基づいてスケルトン情報を取得し、取得されたスケルトン情報に基づいて、プレーヤの所持物又は部位についての方向情報を取得してもよい。例えばスケルトンの手に対応する第１、第２の関節を結ぶ方向を、プレーヤの所持物又は部位についての方向情報として設定する。
【００８２】
また情報取得部１０４は、取得されたスケルトン情報に基づいて、レンダリング用情報の取得のための画像処理の処理領域を設定してもよい。例えばスケルトン情報に基づいて、プレーヤの所持物又は部位の位置を特定し、特定された位置を含む所定サイズの領域（画面よりも小さな領域）を処理領域に設定する。そして情報取得部１０４は、設定された処理領域でのデプス情報やカラー画像情報を用いて画像処理を行って、プレーヤの所持物又は部位の方向情報や色情報や形状情報を取得する。
【００８３】
また情報取得部１０４がプレーヤの所持物又は部位の位置情報を取得した場合に、仮想カメラ制御部１１８が、所持物又は部位の位置情報に基づいて、オブジェクト空間内に仮想カメラを配置設定してもよい。具体的には、プレーヤの所持物又は部位の位置情報に対応する位置に、仮想カメラを配置し、所持物又は部位の方向情報に対応する方向に、仮想カメラの方向（視線方向）を向ける制御を行う。或いは、仮想カメラの方向を、スクリーンの中心に向くように制御してもよい。そして画像生成部１２０が、オブジェクト空間内において仮想カメラから見える画像を生成する。このようにすることで、ヘッドトラッキングのような画像の生成が可能になる。この場合に情報取得部１０４は、例えばスケルトン情報に基づいて、プレーヤの所持物又は部位の位置情報を取得すればよい。
【００８４】
また情報取得部１０４は、画像センサからの画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報及び形状情報の少なくとも１つを、ヒット演算用情報として取得する。そしてヒット演算部１１０は、取得されたヒット演算用情報に基づいてヒット演算処理を行う。例えばプレーヤの所持物又は部位の方向や形状を反映させたヒット演算処理（ヒットチェック処理）を行う。具体的にはヒット演算用情報の方向情報により特定される軌道方向（ヒット方向）に基づいて、ターゲットオブジェクト（弾等の被ヒット物のヒットのターゲットになるオブジェクト）に対するヒット演算処理を行う。そして画像生成部１２０は、ヒット演算処理の結果に基づいて、画像を生成する。例えば弾等の被ヒット物の画像を生成したり、被ヒット物がターゲットオブジェクトにヒットした場合に、ヒットエフェクト演出用の画像を生成する。
【００８５】
また情報取得部１０４は、画像情報取得部１０２が画像情報としてデプス情報を取得した場合に、取得されたデプス情報に基づいて、プレーヤの所持物又は部位の方向情報及び形状情報の少なくとも１つをヒット演算用情報として取得してもよい。例えばデプス情報やカラー画像情報に基づいて、プレーヤの所持物や部位の方向や形状を判断して、ヒット演算用情報として取得する。
【００８６】
そして情報取得部１０４が、デプス情報に基づいてヒット演算用情報の方向情報として複数の第１〜第Ｎの方向情報を取得すると、ヒット演算部１１０は、これらの第１〜第Ｎの方向情報に基づいて、ヒット演算処理を行う。即ち複数の方向情報を反映させたヒット演算処理を行って、表示部１９０に表示する画像を生成する。例えば複数の方向に弾等の被ヒット物を飛翔させて、ターゲットオブジェクトとのヒット演算処理を行う。別の言い方をすればヒット演算部１１０は、デプス情報に基づいて取得された所持物又は部位の形状情報に基づいてヒット範囲を設定し、設定されたヒット範囲に基づいてヒット演算処理を行う。例えば所持物又は部位の形状により設定されるヒット範囲内にターゲットオブジェクトが位置する場合に、弾等がターゲットオブジェクトにヒットしたと判定する。
【００８７】
なお、情報取得部１０４は、このヒット演算処理の場合にも、レンダリング処理の場合と同様に、スケルトン情報に基づいて、プレーヤの所持物又は部位についての方向情報を取得する。またスケルトン情報に基づいて、ヒット演算用情報の取得のための画像処理の処理領域を設定する。
【００８８】
また情報取得部１０４が、画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての位置情報を取得した場合に、仮想カメラ制御部１１８は、取得された位置情報だけに基づいてオブジェクト空間内に仮想カメラを配置設定してもよい。この場合には仮想カメラの向く方向については、常に一定の方向に向けたり、画面中心に対して向けるように制御すればよい。
【００８９】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【００９０】
２．１ 所持物の方向情報等に基づくレンダリング処理
一般的に、ゲーム装置では、ゲームコントローラのボタンやレバーを操作してゲーム操作を行う。またゲームコントローラにモーションセンサ（６軸センサ）を設け、プレーヤがゲームコントローラそのものを動かすことでゲーム操作を行うゲーム装置もある。
【００９１】
しかしながら、このような操作インターフェースのゲーム装置では、ゲーム操作にゲームコントローラが必要になり、プレーヤの手の動きなどのジェスチャをそのまま反映させるようなゲーム操作については実現できず、プレーヤの仮想現実感を今ひとつ向上できない。
【００９２】
そこで本実施形態では、画像センサで撮像された画像情報に基づきプレーヤの操作入力を可能にする操作インターフェースを採用している。
【００９３】
例えば図２（Ａ）では、表示部１９０に対応する位置に、デプスセンサ（赤外線センサ等）やカラー画像センサ（ＣＣＤやＣＭＯＳセンサなどのＲＧＢセンサ）により実現される画像センサＩＳＥが設置されている。この画像センサＩＳＥは、例えばその撮像方向（光軸方向）が表示部１９０からプレーヤＰＬの方に向く方向になるように設置されており、表示部１９０側から見たプレーヤＰＬのカラー画像情報やデプス情報を撮像する。なお画像センサＩＳＥは、表示部１９０に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。
【００９４】
そして図２（Ａ）の画像センサＩＳＥを用いて、図２（Ｂ）に示すようなカラー画像情報とデプス情報を取得する。例えばカラー画像情報では、プレーヤＰＬやその周りの風景の色情報が得られる。一方、デプス情報では、プレーヤＰＬやその周りの風景のデプス値（奥行き値）が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置にカラー値（ＲＧＢ）が設定された画像情報であり、デプス情報は、その各画素位置にデプス値（奥行き値）が設定された画像情報である。なお、画像センサＩＳＥは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。
【００９５】
デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサＩＳＥ（デプスセンサ）から赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間（Time Of Flight）を検出することで、デプス情報を取得し、画像センサＩＳＥの位置から見たプレーヤＰＬなどの物体のシェイプを検出する。具体的には、デプス情報は、例えば画像センサＩＳＥから近い物体では明るくなり、画像センサＩＳＥから遠い物体では暗くなるグレースケールデータとして表される。なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばＣＭＯＳセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報（被写体までの距離情報）を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。
【００９６】
そして本実施形態では、画像センサＩＳＥからの画像情報に基づく画像処理を行って、プレーヤＰＬの所持物又は部位の方向情報、色情報又は形状情報等を、レンダリング用情報として取得する。
【００９７】
例えば図３（Ａ）ではプレーヤＰＬは板状（直方体、長方形）の所持物ＴＨを所持し、所持物ＴＨの面を表示部１９０側に向けている。この場合に本実施形態では、画像センサＩＳＥにより図３（Ｂ）に示すようなカラー画像情報やデプス情報などの画像情報が取得される。
【００９８】
そして図３（Ｂ）のカラー画像情報に基づいて所持物ＴＨ（或いは部位）の色情報や形状情報を特定する。例えば図３（Ｂ）のカラー画像情報によれば、所持物ＴＨの色や所持物ＴＨの直方体形状や面の四角形状を特定できる。また画像のパースのかかり具合を見ることで所持物ＴＨの面の方向ＤＴＨ（法線方向）を特定できる。
【００９９】
また図３（Ｂ）のデプス情報を用いても所持物ＴＨ（或いは部位）の方向情報（ＤＴＨ）や形状情報（直方体、四角形）を特定できる。即ちデプス情報によれば、画像センサＩＳＥから見た場合のプレーヤＰＬや所持物ＴＨの３次元形状を抽出できる。従って、例えば所持物ＴＨの四角形の面の領域でのデプス情報（デプス値の傾き等）に基づいて、所持物ＴＨの面の向く方向ＤＴＨ（法線方向）を特定できる。またデプス情報に基づいて所持物ＴＨの直方体形状や面の四角形状も特定できる。
【０１００】
そして本実施形態では、このようにして特定された所持物ＴＨ等の方向情報、色情報又は形状情報をレンダリング用情報として、レンダリング処理を行う。なお、以下では、プレーヤＰＬの所持物ＴＨの方向情報、色情報又は形状情報を用いてレンダリング処理やヒット演算処理を行う場合について主に説明するが、プレーヤＰＬの手、足、腕又は頭部等の部位の方向情報、色情報又は形状情報を用いて、レンダリング処理やヒット演算処理を行ってもよい。
【０１０１】
例えば図４（Ａ）において、キャラクタＣＨはプレーヤＰＬに対応するものであり、プレーヤＰＬの操作によりオブジェクト空間内を移動するオブジェクトである。このキャラクタＣＨは、三人称視点の場合にはその全身（或いは頭部を含む体の一部）が表示部１９０の画面ＳＣに表示される。一方、一人称視点の場合には、キャラクタＣＨは画面ＳＣに表示されない仮想的なオブジェクトになる。なお一人称視点の場合に、キャラクタＣＨの手などの一部だけを表示してもよい。即ち一人称視点は少なくともキャラクタＣＨの頭部が表示されない視点設定である。
【０１０２】
そして図４（Ａ）では、プレーヤＰＬの所持物ＴＨの対応する位置に光源ＬＳが設定される。即ち図３（Ａ）ではプレーヤＰＬは右手に所持物ＴＨを持っており、これに対応して図４（Ａ）ではキャラクタＣＨの右手に懐中電灯のライト等の光源ＬＳが配置設定される。そして図３（Ａ）で取得された所持物ＴＨの方向ＤＴＨに対応する方向に、光源ＬＳの光源方向ＤＬＳが設定される。そしてこの光源方向ＤＬＳで照射される光ＲＹによりターゲットオブジェクトＴＯＢのシェーディング処理が行われて、画像がレンダリングされる。これにより図４（Ｂ）に示すように、光源ＬＳからの光ＲＹ等により陰影づけが施された画像が生成されて、表示部１９０に表示されるようになる。
【０１０３】
また本実施形態では、所持物ＴＨの色情報や形状情報が反映された画像を生成する。例えば図５（Ａ）では、所持物ＴＨが円板形状であるため、光の照射面が円状の光源ＬＳが設定されて、その光源ＬＳに応じた光ＲＹの画像や光ＲＹによるシェーディング画像が生成される。また所持物ＴＨの色が赤であるため、光ＲＹの色も赤になり、光ＲＹが照射されるターゲットオブジェクトＴＯＢの画像も、赤の光が照射された画像になる。
【０１０４】
一方、図５（Ｂ）では、所持物ＴＨが直方体形状であるため、光の照射面が長方形の光源ＬＳが設定されて、その光源ＬＳに応じた光ＲＹの画像や光ＲＹによるシェーディング画像が生成される。また所持物ＴＨの色が青であるため、光ＲＹの色も青になり、光ＲＹが照射されるターゲットオブジェクトＴＯＢの画像も、青の光が照射された画像になる。
【０１０５】
また本実施形態では図６に示すように、図３（Ｂ）のデプス情報等の画像情報に基づいて、プレーヤＰＬの動作を特定するためのスケルトン情報を取得する。図６ではスケルトン情報として、スケルトンの関節Ｃ０〜Ｃ１９の位置情報（３次元座標）が取得されている。これらの関節Ｃ０〜Ｃ１０は、画像センサＩＳＥに映るプレーヤＰＬの関節に対応するものである。なお画像センサＩＳＥにプレーヤＰＬの全身が映らない場合には、映った部分だけの関節の位置情報を有するスケルトン情報を生成すればよい。
【０１０６】
例えば図３（Ｂ）のデプス情報を用いれば、画像センサＩＳＥ側から見たプレーヤＰＬ等の３次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などによりプレーヤＰＬの顔等の部位の領域も特定できる。そこで、これらの３次元形状の情報等に基づいて、プレーヤＰＬの各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の２次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の３次元座標情報を求め、図６に示すようなスケルトン情報を取得する。
【０１０７】
このようなスケルトン情報を用いれば、プレーヤＰＬのジェスチャ等の動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタＣＨのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばモーションデータとして利用して、オブジェクト空間においてキャラクタＣＨを動作させることも可能になる。
【０１０８】
そして本実施形態では、このスケルトン情報を用いて、光源ＬＳの配置位置を特定する。具体的には図７において、プレーヤＰＬに対応するキャラクタＣＨの位置情報ＰＲＦ（代表位置情報）を求める。例えば本実施形態では、キャラクタＣＨの移動を指示するプレーヤＰＬの動作を画像センサＩＳＥにより検出したり、ゲームコントローラからの操作情報などに基づいて、オブジェクト空間内でキャラクタＣＨを移動させる演算を行う。この移動演算により、オブジェクト空間のワールド座標系でのキャラクタＣＨの位置情報ＰＲＦが逐次求められる。そして、このワールド座標系での位置情報ＰＲＦと、図６のように求められたスケルトン情報のローカル座標系での関節の位置情報に基づいて、プレーヤＰＬに対応するキャラクタＣＨの手などの位置を求めることができる。そして図７に示すように、この求められた手などの位置を光源ＬＳの配置位置ＰＬＳに設定する。そしてＰＬＳに配置された光源ＬＳを用いてレンダリング処理（シェーディング処理）を行う。
【０１０９】
このようにすれば、プレーヤの動作を特定するスケルトン情報を有効活用して、光源ＬＳの配置位置ＰＬＳを特定できる。そして、あたかもプレーヤＰＬが持った所持物ＴＨの位置に光源ＬＳが配置されて、その光源ＬＳからの光により、プレーヤＰＬに対応するキャラクタＣＨの周囲が照らされているかのように見える画像を生成できるようになる。
【０１１０】
なお、以上では、図３（Ｂ）に示すデプス情報を用いて、プレーヤＰＬの所持物や部位の方向情報、形状情報等を取得する手法について説明したが、本実施形態はこれに限定されない。例えばカラー画像情報だけを用いて、プレーヤの所持物や部位の方向情報等を取得してもよい。
【０１１１】
例えば図８（Ａ）では、プレーヤＰＬの所持物ＴＨとして特別な画像パターンが描かれた部材を用意する。図８（Ａ）の所持物ＴＨでは、その面が４つの領域に分割され、各領域に対して異なった画像パターンが描かれている。そして、このような特別な画像パターンが描かれた所持物ＴＨをプレーヤＰＬが所持し、これを画像センサＩＳＥにより撮像することで、例えば図８（Ｂ）に示すようなカラー画像情報を得ることができる。そして、このカラー画像情報に基づいて、プレーヤの所持物ＴＨの方向情報を特定する。即ち、カラー画像情報での画像パターンの配置位置や、所持物ＴＨの画像のパースのかかり具合などに基づいて、所持物ＴＨの方向情報（面の向く方向）を特定すればよい。
【０１１２】
また本実施形態では、所持物ＴＨ等の方向情報として複数の方向情報（第１〜第Ｎの方向情報）を取得してもよい。
【０１１３】
例えば図９（Ａ）では、所持物ＴＨの方向情報として１つの方向ＤＴＨだけが取得されている。即ち所持物ＴＨの面の法線方向が方向ＤＴＨとして取得されている。
【０１１４】
これに対して図９（Ｂ）では、所持物ＴＨの方向情報として複数の方向ＤＴＨ１、ＤＴＨ２、ＤＴＨ３（第１〜第Ｎの方向情報）が取得されている。そして、このように所持物ＴＨの方向情報として複数の方向ＤＴＨ１〜ＤＴＨ３が取得された場合には、これらの複数の方向ＤＴＨ１〜ＤＴＨ３を用いてレンダリング処理を行えばよい。別の言い方をすれば、これらの複数の方向ＤＴＨ１〜ＤＴＨ３により設定されるレンダリング範囲ＲＲＤを用いて、レンダリング処理を行う。
【０１１５】
例えば所持物ＴＨが、その形状を自在に変形できる部材により形成されていたとする。この場合に図９（Ａ）の変形前の形状では、方向ＤＴＨに対応する１つの照射方向のスポットライト光を、図４（Ａ）の光源ＬＳから照射するようにする。
【０１１６】
一方、図９（Ｂ）のように所持物ＴＨがプレーヤＰＬにより曲げられて変形すると、複数の方向ＤＴＨ１〜ＤＴＨ３に対応する範囲に拡散するような光を、図４（Ａ）の光源ＬＳから照射するようにする。
【０１１７】
このようにすれば、１つの所持物ＴＨを用いて、異なる照射形態の光をゲーム画像内に発生させることが可能になる。これにより、多様なゲーム演出が可能になり、ゲームの演出効果を向上できる。
【０１１８】
そして図９（Ａ）、図９（Ｂ）に示すような所持物ＴＨの形状変形をゲーム画像に反映させるためには、図３（Ｂ）に示すようなデプス情報を用いることが望ましい。即ち、デプス情報を用いれば、所持物ＴＨの奥行き方向の情報を得ることができるため、図９（Ａ）、図９（Ｂ）に示すような形状変形を容易に認識できる。
【０１１９】
例えば図９（Ａ）の形状変形前においては、所持物ＴＨの方向情報として１つの方向ＤＴＨが得られ、この方向ＤＴＨに対応する光源方向のスポット光の画像を生成できる。一方、プレーヤが所持物ＴＨを曲げると、画像センサＩＳＥから見た時に、所持物ＴＨの面の各位置におけるデプス値に傾きが生じる。従って、このデプス情報を用いて、図９（Ｂ）に示すように複数の方向ＤＴＨ１〜ＤＴＨ３を取得できる。これにより、これらの複数の方向ＤＴＨ１〜ＤＴＨ３に対応する照射範囲（レンダリング範囲、シェーディング範囲）の光でレンダリング処理を行って、その照射範囲の光の画像や、その照射範囲の光で物体が陰影づけされた画像を生成できる。従って、プレーヤＰＬが所持物ＴＨを様々な形状に変形することで、ゲーム画像内の光の画像や照射位置の画像も様々に変化するようになり、演出効果の高いゲーム画像を生成できるようになる。
【０１２０】
また本実施形態では図６に示すように取得されたスケルトン情報に基づいて、プレーヤの所持物や部位についての方向情報を取得してもよい。
【０１２１】
例えば図１０（Ａ）では、プレーヤＰＬの動きがスケルトンＳＫの情報として取得されている。この場合には、プレーヤＰＬの手に対応する関節Ｃ６、Ｃ７等の位置に基づいて、所持物ＴＨ等の方向を特定し、その方向を光源方向ＤＬＳとして設定する。同様に図１０（Ｂ）でも、プレーヤＰＬの手に対応する関節Ｃ６、Ｃ７等の位置に基づいて、所持物ＴＨ等の方向を特定し、その方向を光源方向ＤＬＳとして設定する。この場合に関節Ｃ６、Ｃ７の位置はスケルトン情報に基づいて取得できる。
【０１２２】
このようにすれば、プレーヤＰＬが手の向く方向を変えて、所持物ＴＨの向く方向を変化させると、その方向の変化は、スケルトン情報に基づき検出できる。即ちスケルトン情報の関節Ｃ６、Ｃ７等の位置に基づき検出できる。そして、所持物ＴＨの向く方向の変化に応じて、図１０（Ａ）、図１０（Ｂ）に示すように光源方向ＤＬＳも変化するようになり、光源ＬＳからの光ＲＹの照射方向も変化するようになる。従って、プレーヤＰＬが手の向きを変えて所持物ＴＨの向く方向を変化させると、ゲーム画像内での光の方向も変化する。これにより、プレーヤＰＬは自身が所望する様々な方向を光で照らして見ることが可能になる。即ち、デプス情報を用いて取得されたスケルトン情報を有効活用して、これまでにないゲーム演出を実現できるようになる。
【０１２３】
また本実施形態では、図６に示すように取得されたスケルトン情報を用いて、画像処理の処理領域を特定してもよい。
【０１２４】
例えば図１１（Ａ）では、スケルトン情報に基づいて、プレーヤＰＬの手に対応する関節Ｃ７等の位置を特定している。そして、特定されたＣ７等の位置を含む画像領域を、画像処理の処理領域ＲＰＣに設定し、設定された処理領域ＲＰＣでのデプス情報やカラー画像情報に対して画像処理を行う。即ち図３（Ａ）、図３（Ｂ）において、プレーヤＰＬの所持物や部位の方向情報や色情報や形状情報を求める際に、設定された処理領域ＲＰＣでのカラー画像情報やデプス情報に対して画像処理を行う。
【０１２５】
このようにすれば、全ての領域において画像処理を行う必要がなくなり、画面サイズよりも小さな処理領域ＲＰＣにおいて画像処理を行えば済むようになる。従って、画像処理の処理負荷を軽減でき、少ない処理負荷で所持物や部位の方向情報等のレンダリング用情報を取得することが可能になる。
【０１２６】
以上の本実施形態の手法によれば、プレーヤが所持物を持って動かしたり、プレーヤが手などの部位を動かすと、その方向情報や色情報や形状情報が、レンダリング用情報として取得される。そして、そのレンダリング用情報を用いたレンダリング処理が行われて、プレーヤに表示される画像が生成される。従って、プレーヤの動きがゲーム画像に直感的に反映されるようになり、これまでにはないゲーム画像の生成が可能になる。
【０１２７】
この場合に、プレーヤが自身の周りの適当な所持物を持って、動かせば、その所持物の形状や色等を反映した光源がオブジェクト空間内に設定され、その光源からの光の画像や、その光により物体を照らした画像が生成されるようになる。例えば図５（Ａ）、図５（Ｂ）に示すように、所持物が赤の物体であれば赤の光の画像やその照射画像が生成され、青の物体であれば青の光の画像やその照射画像が生成される。従って、これまでのゲームでは実現できなかったゲーム演出等が可能になる。
【０１２８】
また図６で説明したようなスケルトン情報を用いれば、図７に示すように光源の配置位置も容易に特定でき、図１０（Ａ）、図１０（Ｂ）に示すように光源方向も容易に特定できる。更に図１１（Ａ）、図１１（Ｂ）で説明したように、所持物の方向情報等を特定するための画像処理の処理領域を狭い領域に限定することができ、処理負荷を軽減できる。
【０１２９】
また本実施形態のようにデプス情報を用いて所持物の方向情報等を取得すれば、図９（Ａ）、図９（Ｂ）に示すように、所持物や部位の形状が変化することで、光の照射範囲等も変化するようになり、多様なゲーム画像の生成が可能になる。
【０１３０】
２．２ 所持物の位置情報等に基づく仮想カメラの配置
従来よりヘッドトラッキングと呼ばれる技術が知られている。このヘッドトラッキングでは、プレーヤの顔の向きや視線方向をセンサ等により検出し、プレーヤの向く方向に応じた画像を生成して表示部に表示する。
【０１３１】
しかしながら、従来のヘッドトラッキング手法では、プレーヤは、顔の向きや視線方向を検出するための装置を頭部などに装着する必要があり、プレーヤにとって煩雑であった。また顔の向きを検出する装置も大がかりなものになってしまうという問題がある。
【０１３２】
そこで本実施形態では、画像センサからの画像情報によりプレーヤの所持物や部位の位置を検出し、検出された位置に仮想カメラを配置して、ヘッドトラッキングに類似する画像を生成している。
【０１３３】
例えば図１２（Ａ）において、画像センサＩＳＥからの画像情報に基づいて、プレーヤＰＬの所持物ＴＨ（又は手などの部位）の位置情報が取得される。図１２（Ａ）では、プレーヤは、例えばティッシュボックス等の所持物ＴＨをカメラと見なして構えている。
【０１３４】
そして図１２（Ｂ）に示すように、取得された所持物ＴＨ（又は部位）の位置情報に基づいて、オブジェクト空間内に仮想カメラＶＣが配置される。即ち、現実世界での所持物ＴＨの位置に対応するオブジェクト空間内の位置に、仮想カメラＶＣが配置される。そして、オブジェクト空間内において仮想カメラＶＣから見える画像が生成されて、表示部１９０に表示される。
【０１３５】
このようにすれば図１２（Ｃ）に示すように、プレーヤＰＬが身の回りの所持物ＴＨをカメラのように見立てて、表示部１９０の画面ＳＣをのぞき込むことで、カメラから見える画像が表示されるようになる。従って、あたかもヘッドトラッキングのように、ゲーム空間内の自身が所望する場所をカメラを用いて覗くことで、その場所の画像が表示されるようになる。なお仮想カメラＶＣから見える画像については、表示部１９０のメイン画面に対してサブ画面を設けて、そのサブ画面に表示するようにしてもよい。
【０１３６】
また仮想カメラＶＣの方向については、例えば常に仮想スクリーンに直交する方向に設定したり、仮想スクリーンの中心に向かう方向に設定してもよい。或いは所持物ＴＨ（又は部位）の向く方向を、前述のように画像センサＩＳＥからの画像情報に基づき検出し、検出された方向に対応する方向に仮想カメラＶＣの方向（視線方向）を設定してもよい。
【０１３７】
また所持物ＴＨの位置情報については、図６で説明したスケルトン情報に基づいて求めてもよい。具体的には図７で説明したように、キャラクタＣＨの位置ＰＲＦと、スケルトン情報に基づいて、キャラクタＣＨの手などの位置等を求めて、その位置に仮想カメラＶＣを配置する。このようにすれば、仮想カメラＶＣの配置位置を簡素な処理で求めることが可能になる。
【０１３８】
２．３ 所持物の方向情報等に基づくヒット演算処理
以上では、プレーヤの所持物又は部位の方向情報等をレンダリング用情報として、レンダリング処理を行う場合について説明したが、これらの方向情報等をヒット演算用情報として、ヒット演算処理を行ってもよい。
【０１３９】
例えば図１３（Ａ）では、画像センサＩＳＥからの画像情報に基づく画像処理を行って、プレーヤＰＬの所持物ＴＨ（又は部位）についての方向情報及び形状情報の少なくとも１つが、ヒット演算用情報として取得される。例えば所持物ＴＨの方向ＤＴＨがヒット演算用情報として取得される。
【０１４０】
この場合に本実施形態では、このヒット演算用情報に基づいてヒット演算処理が行われる。例えば図１３（Ｂ）では、プレーヤＰＬに対応するキャラクタＣＨがオブジェクト空間内で移動して、敵であるターゲットオブジェクトＴＯＢと遭遇している。この時に図１３（Ａ）に示すようにプレーヤＰＬが所持物ＴＨをターゲットオブジェクトＴＯＢの方向に向けると、図１３（Ｂ）に示すように、所持物ＴＨに対応してキャラクタＣＨが所持する武器ＡＯＢから弾が発射されて、ターゲットオブジェクトＴＯＢに発射される。即ち図１３（Ａ）の所持物ＴＨの方向ＤＴＨにより特定される軌道方向ＤＨＩで弾（拳銃や光線銃の弾）が発射される。そして、弾の軌道方向ＤＨＩとターゲットオブジェクトＴＯＢとのヒットチェックを行うヒット演算処理が行われ、ヒット演算処理の結果に基づいて画像が生成される。具体的には、弾がターゲットオブジェクトＴＯＢにヒットしたと判定されると、ターゲットオブジェクトＴＯＢに弾がヒットしたことを表す演出画像が生成される。
【０１４１】
以上のようにすれば、プレーヤは、自身の周りの適当な所持物を持って、ターゲットオブジェクトの方向に向けることで、その所持物に対応する拳銃や光線銃などの武器から弾が発射されて、敵であるターゲットオブジェクトに命中するようになる。従って、直感的で分かりやすい操作インターフェース環境をプレーヤに提供できる。また、専用のゲームコントローラを用いなくても、図１３（Ａ）、図１３（Ｂ）に示すようなシューティングゲームを実現することが可能になる。
【０１４２】
また本実施形態によれば、プレーヤの所持物や部位の形状を反映させたヒット演算処理も実現できる。例えば所持物又は部位の各形状と各武器とを予め対応づけておく。そしてプレーヤの所持物又は部位の形状を、画像センサからの画像情報に基づいて形状認識する。そして、形状認識の結果に基づいて武器を選択し、選択された武器の画像をゲーム画像上に表示して、その武器からの弾をターゲットオブジェクトに対して発射する。例えば短い形状の所持物であれば、キャラクタに拳銃を所持させ、その拳銃から弾が発射する画像を生成する。一方、長い形状の所持物であれば、キャラクタにライフルを所持させ、そのライフから弾が発射する画像を生成する。このようにすれば、プレーヤが持つ所持物の形状に応じて、多様なゲーム画像が生成されるようになり、これまでにないゲーム演出を実現できるようになる。
【０１４３】
なお図１３（Ａ）、図１３（Ｂ）に示すヒット演算手法においても、図３（Ｂ）の場合と同様に、画像センサからのデプス情報に基づいて、プレーヤの所持物又は部位の方向情報や形状情報をヒット演算用情報として取得することが望ましい。このようにすれば、所持物や部位の方向情報や形状情報を、より正確に効率良く特定することが可能になる。
【０１４４】
また図９（Ａ）、図９（Ｂ）の場合と同様に、画像センサからのデプス情報に基づいてヒット演算用情報の方向情報として複数の方向情報（第１〜第Ｎの方向情報）を取得し、これらの複数の方向情報に基づいて、ヒット演算処理を行ってもよい。別の言い方をすれば、デプス情報に基づき取得された所持物又は部位の形状情報に基づいてヒット範囲（図９（Ｂ）のＲＲＤ）を設定し、設定されたヒット範囲に基づいてヒット演算処理を行う。
【０１４５】
このようにすれば、所持物が図９（Ａ）のような形状である場合には、例えば１つの方向に弾が発射され、図９（Ｂ）のような形状である場合には、複数の方向に弾が発射されるような画像を生成できる。或いは光線銃の場合には、所持物が図９（Ａ）の形状の場合には、１本の細長い光線が発射され、図９（Ｂ）の形状の場合には、ＲＲＤのヒット範囲に広がるような光線が発射される画像を生成できる。
【０１４６】
また図１０（Ａ）、図１０（Ｂ）の場合と同様に、プレーヤのスケルトン情報を取得し、取得されたスケルトン情報に基づいて、プレーヤの所持物又は部位についての方向情報を取得してもよい。
【０１４７】
このようにすれば、例えばスケルトン情報の関節Ｃ６、Ｃ７が図１０（Ａ）のような位置であった場合には、下向きの方向ＤＬＳに弾が発射され、関節Ｃ６、Ｃ７が図１０（Ｂ）のような位置であった場合には、上向きの方向ＤＬＳに弾が発射される画像を生成できる。従って、弾の軌道方向をスケルトン情報を用いた簡素な処理で特定できるようになり、処理を効率化できる。
【０１４８】
また図１１（Ａ）、図１１（Ｂ）の場合と同様に、プレーヤのスケルトン情報を取得し、取得されたスケルトン情報に基づいて、ヒット演算用情報の取得のための画像処理の処理領域を設定してもよい。例えばプレーヤが所持物を持った場合に、スケルトン情報に基づいて、プレーヤの手の位置を含む処理領域を設定する。そして、設定された処理領域でのデプス情報やカラー画像情報に対して画像処理を行って、所持物（又は部位）の方向情報や形状情報を特定する。
【０１４９】
このようにすれば、画像処理の処理領域を小さなサイズに限定できるため、処理負荷の軽減を図れる。
【０１５０】
２．４ 詳細な処理例
次に本実施形態の詳細な処理例について図１４〜図１７のフローチャートを用いて説明する。図１４は、プレーヤの所持物の方向情報等をレンダリング用情報として画像を生成する処理のフローチャートである。
【０１５１】
まず、図３（Ａ）、図３（Ｂ）で説明したように、画像センサにより、カラー画像情報、デプス情報等の画像情報を取得する（ステップＳ１）。そして、取得されたデプス情報等に基づき、プレーヤのスケルトン情報を求める（ステップＳ２）。
【０１５２】
次に、図１１（Ａ）、図１１（Ｂ）で説明したように、スケルトン情報に基づきプレーヤの所持物又は手などの部位の位置を特定し、特定された位置を含む画像領域を画像処理の処理領域に設定する（ステップＳ３）。そして、設定された処理領域でのデプス情報、カラー画像情報等に基づいて、プレーヤの所持物又は部位の方向情報、色情報、形状情報等を、レンダリング用情報として求める（ステップＳ４）。そして、求められたレンダリング用情報を用いてレンダリング処理を行って、表示部に表示する画像を生成する。
【０１５３】
図１５は、プレーヤの所持物の方向情報等により光源方向を設定して画像を生成する処理のフローチャートである。
【０１５４】
図１５のステップＳ１１〜Ｓ１４は図１４のステップＳ１〜Ｓ４と同様であるため説明を省略する。ステップＳ１４でレンダリング用情報を求めた後、図７で説明したようにキャラクタの位置情報とスケルトン情報に基づいて、光源の配置位置を設定する（ステップＳ１５）。またプレーヤの所持物又は部位の方向情報に基づいて光源方向を設定し、所持物又は部位の色情報に基づいて、光源色を設定する（ステップＳ１６、Ｓ１７）。そして、光源情報が設定された光源を用いてレンダリング処理（シェーディング処理）を行って、画像を生成する（ステップＳ１８）。これにより図４（Ｂ）に示すような画像の生成が可能になる。
【０１５５】
図１６は、プレーヤの所持物の位置情報等に基づいて仮想カメラを設定して画像を生成する処理のフローチャートである。
【０１５６】
図１６のステップＳ２１、Ｓ２２は図１４のステップＳ１、Ｓ２と同様であるため説明を省略する。ステップＳ２２でスケルトン情報が求められた後、図１２（Ａ）で説明したように、スケルトン情報に基づき、プレーヤの所持物又は手などの部位の位置を特定する（ステップＳ２３）。そして図１２（Ｂ）で説明したように、特定された位置に対応するオブジェクト空間内の位置に仮想カメラを配置する（ステップＳ２４）。そして、オブジェクト空間内において仮想カメラから見える画像を生成する（ステップＳ２５）。これにより、ヘッドトラッキングのような画像を簡素な処理で生成できるようになる。
【０１５７】
図１７は、プレーヤの所持物の方向情報等に基づいてヒット演算処理を行って画像を生成する処理のフローチャートである。
【０１５８】
図１７のステップＳ３１、Ｓ３２、Ｓ３３は図１４のステップＳ１、Ｓ２、Ｓ３と同様であるため説明を省略する。ステップＳ３３で画像処理の処理領域が設定された後、設定された処理領域でのデプス情報、カラー画像情報等に基づいて、図１３（Ａ）で説明したように、プレーヤの所持物又は部位の方向情報、形状情報等をヒット演算用情報として求める（ステップＳ３４）。そして図１３（Ｂ）で説明したように、プレーヤの所持物又は部位の方向情報に基づいて、弾の軌道方向を設定する（ステップＳ３５）。
【０１５９】
次に、弾の軌道とターゲットオブジェクトとのヒット判定処理を行う（ステップＳ３６）。そして、弾がターゲットオブジェクトにヒットしたか否かを判断し（ステップＳ３７）、ヒットした場合にはヒット演出の画像を生成する（ステップＳ３８）。
【０１６０】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、プレーヤの所持物又は部位の方向情報等の取得手法、スケルトン情報の取得手法、レンダリング用情報に基づくレンダリング処理手法、ヒット演算用情報に基づくヒット演算処理手法、プレーヤの所持物又は部位の位置情報に基づく仮想カメラの設定手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【符号の説明】
【０１６１】
ＩＳＥ 画像センサ、ＰＬ プレーヤ、ＳＣ 画面、ＴＨ 所持物、
ＤＴＨ、ＤＴＨ１〜ＤＴＨ３ 所持物の方向、ＣＨ キャラクタ、
ＬＳ 光源、ＤＬＳ 光源方向、ＲＹ 光線、ＴＯＢ ターゲットオブジェクト、
ＳＫ スケルトン、Ｃ０〜Ｃ１９ 関節、ＲＰＣ 処理領域、ＶＣ 仮想カメラ、
１００ 処理部、１０２ 画像情報取得部、１０４ 情報取得部、
１０５ スケルトン情報取得部、１０８ ゲーム演算部、１１０ ヒット演算部、
１１２ オブジェクト空間設定部、１１４ キャラクタ制御部、１１５ 移動処理部、
１１６ モーション処理部、１１８ 仮想カメラ制御部、１２０ 画像生成部、
１２２ 光源設定部、１３０ 音生成部、１６０ 操作部、
１７０ 記憶部、１７１ 画像情報記憶部、１７２ カラー画像情報記憶部、
１７３ デプス情報記憶部、１７４ スケルトン情報記憶部、
１７５ オブジェクトデータ記憶部、１７６ モーションデータ記憶部、
１７７ モデルデータ記憶部、１７８ 光源情報記憶部、１７９ 描画バッファ、
１８０ 情報記憶媒体、１９０ 表示部、１９２ 音出力部、１９４ 補助記憶装置、
１９６ 通信部
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及び画像生成システム等に関する。
【背景技術】
【０００２】
近年、従来の操作ボタンや方向キーを備えたゲームコントローラに代わって、モーションセンサを内蔵するゲームコントローラを用いてゲーム操作が可能なゲーム装置が人気を博している。このような操作インターフェースを備えるゲーム装置によれば、プレーヤの直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献１に開示される技術がある。
【０００３】
しかしながら、モーションセンサを内蔵するゲームコントローラでは、プレーヤの操作対象はゲームコントローラであり、プレーヤの任意の所持物や、プレーヤの手や体そのものを使ってゲーム操作を行うことはできない。このため、プレーヤの手の動き等がそのまま画面に反映されるような直感的なゲーム操作については実現できず、プレーヤの仮想現実感の向上が不十分であるという課題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−８９６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の幾つかの態様によれば、プレーヤの所持物や部位の動きなどを反映させた画像を生成できるプログラム、情報記憶媒体、画像生成システム等を提供できる。
【課題を解決するための手段】
【０００６】
本発明の一態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つを、レンダリング用情報として取得する情報取得部と、前記方向情報、前記色情報及び前記形状情報の少なくとも１つである前記レンダリング用情報に基づくレンダリング処理を行って、画像を生成する画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００７】
本発明の一態様によれば、画像センサからの画像情報に基づく画像処理により、プレーヤの所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つが、レンダリング用情報として取得される。そして、取得されたレンダリング用情報を用いて画像が生成される。このようにすれば、画像情報に基づく画像処理により取得されたプレーヤの所持物又は部位の方向情報、色情報又は形状情報を、レンダリング処理に反映させることが可能になり、プレーヤの所持物や部位の動きなどを反映させた画像を生成できるようになる。
【０００８】
また本発明の一態様では、前記画像生成部は、前記レンダリング用情報に基づいて、オブジェクト空間に配置設定される光源の光源情報を設定し、前記光源情報が設定された前記光源を用いたレンダリング処理を行って、オブジェクト空間内において仮想カメラから見える画像を生成してもよい。
【０００９】
このようにすれば、プレーヤの所持物や部位の動きなどを反映させた光源をオブジェクト空間に出現させて画像を生成することが可能になり、従来にはない表示態様の画像の生成が可能になる。
【００１０】
また本発明の一態様では、前記プレーヤに対応するキャラクタの制御を行うキャラクタ制御部を含み（キャラクタ制御部としてとしてコンピュータを機能させ）、前記情報取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、前記画像生成部は、取得された前記スケルトン情報と前記キャラクタの位置情報に基づいて、前記オブジェクト空間内での前記光源の配置位置を特定してもよい。
【００１１】
このようにすれば、プレーヤのスケルトン情報を有効活用して、オブジェクト空間内での光源の配置位置を設定できるようになるため、処理の効率化等を図れる。
【００１２】
また本発明の一態様では、前記画像情報取得部は、前記画像センサからの前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、前記情報取得部は、前記デプス情報に基づいて、前記プレーヤの前記所持物又は前記部位の前記方向情報及び前記形状情報の少なくとも１つを前記レンダリング用情報として取得してもよい。
【００１３】
このようにデプス情報を用いれば、プレーヤの所持物や部位の方向情報等のレンダリング用情報を、効率良く取得することが可能になる。
【００１４】
また本発明の一態様では、前記情報取得部は、前記デプス情報に基づいて、前記レンダリング用情報の前記方向情報として複数の第１〜第Ｎの方向情報（Ｎは２以上の整数）を取得し、前記画像生成部は、前記レンダリング用情報である前記第１〜第Ｎの方向情報に基づくレンダリング処理を行って、画像を生成してもよい。
【００１５】
このようにすれば、プレーヤの所持物又は部位の第１〜第Ｎの方向情報を反映させたレンダリング処理を行って画像を生成できるため、多様な画像や演出効果の高い画像等の生成が可能になる。
【００１６】
また本発明の一態様では、前記画像生成部は、前記デプス情報に基づき取得された前記所持物又は前記部位の形状情報に基づいてレンダリング範囲を設定し、設定されたレンダリング範囲で前記レンダリング処理を行ってもよい。
【００１７】
このようにすれば、プレーヤの所持物又は部位の形状情報を反映させたレンダリング範囲を設定して画像を生成できるため、多様な画像や演出効果の高い画像等の生成が可能になる。
【００１８】
また本発明の一態様では、前記情報取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記プレーヤの前記所持物又は前記部位についての前記方向情報を取得してもよい。
【００１９】
このようにすれば、プレーヤの所持物や部位の動きをスケルトン情報により検出して、所持物や部位の方向情報を取得できるようになり、スケルトン情報の有効活用を図れる。
【００２０】
また本発明の一態様では、前記情報取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記レンダリング用情報の取得のための前記画像処理の処理領域を設定してもよい。
【００２１】
このようにすれば、特定された処理領域において画像処理を行えば済むようになるため、画像処理の処理負荷を軽減でき、少ない処理負荷でレンダリング用情報を取得することが可能になる。
【００２２】
また本発明の一態様では、オブジェクト空間内に配置設定される仮想カメラの制御を行う仮想カメラ制御部を含み（仮想カメラ制御部としてコンピュータを機能させ）、前記情報取得部は、前記プレーヤの前記所持物又は前記部位の位置情報を取得し、前記仮想カメラ制御部は、前記所持物又は前記部位の前記位置情報に基づいて、前記オブジェクト空間内に前記仮想カメラを配置設定し、前記画像生成部は、前記オブジェクト空間内において前記仮想カメラから見える画像を生成してもよい。
【００２３】
このようにすれば、プレーヤの所持物又は部位の位置情報に対応するオブジェクト空間内の位置に仮想カメラを配置設定して、オブジェクト空間内において仮想カメラから見える画像を生成できるようになる。従って、ヘッドトラッキングのような画像を簡素な処理で生成できるようになり、多様な画像や演出効果の高い画像等の生成が可能になる。
【００２４】
また本発明の一態様では、前記仮想カメラ制御部は、前記所持物又は前記部位の前記位置情報に対応する位置に、前記仮想カメラを配置し、前記所持物又は前記部位の前記方向情報に対応する方向に、前記仮想カメラの方向を向ける制御を行ってもよい。
【００２５】
このようにすれば、プレーヤの所持物又は部位の方向に対応する方向に仮想カメラの方向を向けることが可能になり、プレーヤの動きを、より反映させた画像の生成が可能になる。
【００２６】
また本発明の一態様では、前記情報取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記所持物又は前記部位の前記位置情報を取得してもよい。
【００２７】
このようにすれば、スケルトン情報を有効活用して、プレーヤの所持物又は部位の位置情報を取得し、その位置情報に対応するオブジェクト空間内の位置に仮想カメラを配置設定できるようになる。
【００２８】
また本発明の他の態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報及び形状情報の少なくとも１つを、ヒット演算用情報として取得する情報取得部と、取得された前記ヒット演算用情報に基づいてヒット演算処理を行うヒット演算部と、前記ヒット演算処理の結果に基づいて、画像を生成する画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００２９】
本発明の他の態様によれば、画像センサからの画像情報に基づく画像処理により、プレーヤの所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つが、ヒット演算用情報として取得される。そして、取得されたヒット演算用情報を用いてヒット演算処理が行われ、そのヒット演算処理の結果に基づいて画像が生成される。このようにすれば、画像情報により取得されたプレーヤの所持物又は部位の方向情報、色情報又は形状情報をヒット演算処理に反映させることが可能になり、プレーヤの所持物や部位の動きなどを反映させた画像を生成できるようになる。
【００３０】
また本発明の他の態様では、前記ヒット演算部は、前記ヒット演算用情報の前記方向情報により特定される軌道方向に基づいて、ターゲットオブジェクトに対する前記ヒット演算処理を行ってもよい。
【００３１】
このようにすれば、ヒット演算用情報の方向情報により特定される軌道方向を用いて、ターゲットオブジェクトに弾等がヒットしたか否かを判定することが可能になる。
【００３２】
また本発明の他の態様では、前記画像情報取得部は、前記画像センサからの前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、前記情報取得部は、前記デプス情報に基づいて、前記プレーヤの前記所持物又は前記部位の前記方向情報及び前記形状情報の少なくとも１つを前記ヒット演算用情報として取得してもよい。
【００３３】
このようにデプス情報を用いれば、プレーヤの所持物や部位の方向情報等のヒット演算用情報を、効率良く取得することが可能になる。
【００３４】
また本発明の他の態様では、前記情報取得部は、前記デプス情報に基づいて、前記ヒット演算用情報の前記方向情報として複数の第１〜第Ｎの方向情報（Ｎは２以上の整数）を取得し、前記ヒット演算部は、前記ヒット演算用情報である前記第１〜第Ｎの方向情報に基づいて、前記ヒット演算処理を行ってもよい。
【００３５】
このようにすれば、プレーヤの所持物又は部位の第１〜第Ｎの方向情報を反映させたヒット演算処理を行って画像を生成できるため、多様な画像や演出効果の高い画像等の生成が可能になる。
【００３６】
また本発明の他の態様では、前記ヒット演算部は、前記デプス情報に基づき取得された前記所持物又は前記部位の形状情報に基づいてヒット範囲を設定し、設定されたヒット範囲に基づいて前記ヒット演算処理を行ってもよい。
【００３７】
このようにすれば、プレーヤの所持物又は部位の形状情報を反映させたヒット範囲を設定してヒット演算処理を行い、画像を生成できるようになる。
【００３８】
また本発明の他の態様では、前記情報取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記プレーヤの前記所持物又は前記部位についての前記方向情報を取得してもよい。
【００３９】
このようにすれば、プレーヤの所持物や部位の動きをスケルトン情報により検出して、所持物や部位の方向情報を取得できるようになり、スケルトン情報の有効活用を図れる。
【００４０】
また本発明の他の態様では、前記情報取得部は、前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記ヒット演算用情報の取得のための前記画像処理の処理領域を設定してもよい。
【００４１】
このようにすれば、特定された処理領域において画像処理を行えば済むようになるため、画像処理の処理負荷を軽減でき、少ない処理負荷でヒット演算用情報を取得することが可能になる。
【００４２】
また本発明の他の態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての位置情報を取得する情報取得部と、オブジェクト空間内に配置設定される仮想カメラの制御を行う仮想カメラ制御部と画像生成部とを含み、前記仮想カメラ制御部は、前記所持物又は前記部位の前記位置情報に基づいて、前記オブジェクト空間内に前記仮想カメラを配置設定し、前記画像生成部は、前記オブジェクト空間内において前記仮想カメラから見える画像を生成する画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００４３】
本発明の他の態様によれば、プレーヤの所持物又は部位の位置情報に対応するオブジェクト空間内の位置に仮想カメラを配置設定して、オブジェクト空間内において仮想カメラから見える画像を生成できるようになる。従って、ヘッドトラッキングのような画像を簡素な処理で生成できるようになり、多様な画像や演出効果の高い画像等の生成が可能になる。
【図面の簡単な説明】
【００４４】
【図１】本実施形態の画像生成システムの構成例。
【図２】図２（Ａ）、図２（Ｂ）は画像センサを用いたカラー画像情報、デプス情報の取得手法の説明図。
【図３】図３（Ａ）、図３（Ｂ）はプレーヤの所持物等の方向情報等をレンダリング用情報として取得する手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）は取得されたレンダリング用情報を用いたレンダリング処理の説明図。
【図５】図５（Ａ）、図５（Ｂ）はプレーヤの所持物等の形状情報、色情報をレンダリング処理に反映させる手法の説明図。
【図６】デプス情報に基づいてプレーヤのスケルトン情報を求める手法の説明図。
【図７】プレーヤのスケルトン情報に基づいて光源の配置位置等を特定する手法の説明図。
【図８】図８（Ａ）、図８（Ｂ）はレンダリング用情報を取得する他の手法の説明図。
【図９】図９（Ａ）、図９（Ｂ）はレンダリング用情報として複数の方向情報を取得する手法の説明図。
【図１０】図１０（Ａ）、図１０（Ｂ）はプレーヤのスケルトン情報を用いてプレーヤの所持物等の方向情報を取得する手法の説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）はプレーヤのスケルトン情報を用いて画像処理の処理領域を設定する手法の説明図。
【図１２】図１２（Ａ）〜図１２（Ｃ）はプレーヤの所持物等の位置情報に基づいて仮想カメラを配置設定する手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）はプレーヤの所持物等の方向情報等をヒット演算用情報として取得する手法の説明図。
【図１４】本実施形態の処理を説明するフローチャート。
【図１５】本実施形態の処理を説明するフローチャート。
【図１６】本実施形態の処理を説明するフローチャート。
【図１７】本実施形態の処理を説明するフローチャート。
【発明を実施するための形態】
【００４５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４６】
１．構成
図１に本実施形態の画像生成システム（ゲーム装置）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４７】
操作部１６０は、プレーヤが操作データを入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
【００４８】
また操作部１６０は、例えばカラー画像センサやデプスセンサなどにより実現される画像センサを含む。なお操作部１６０の機能を画像センサだけで実現してもよい。
【００４９】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００５０】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００５１】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００５２】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００５３】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００５４】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００５５】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００５６】
処理部１００は、画像情報取得部１０２、情報取得部１０４、ゲーム演算部１０８、ヒット演算部１１０、オブジェクト空間設定部１１２、キャラクタ制御部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。また情報取得部１０４はスケルトン情報取得部１０５を含み、キャラクタ制御部１１４は移動処理部１１５、モーション処理部１１６を含む。画像生成部１２０は光源設定部１２２を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００５７】
画像情報取得部１０２は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部１７０の画像情報記憶部１７１に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部１７２に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部１７３に保存される。画像情報取得部１０２は、これらの画像情報を画像情報記憶部１７１から読み出すことで画像情報を取得する。
【００５８】
情報取得部１０４は、画像情報取得部１０２が取得した画像情報に基づいて、レンダリング用情報やヒット演算用情報を取得する。
【００５９】
ゲーム演算部１０８はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００６０】
ヒット演算部１１０はヒット演算処理を行う。例えばヒットチェック処理やヒット演出処理などを行う。具体的には、弾等の軌道方向とターゲットオブジェクトのヒットチェックを行い、ヒットしたと判定された場合に、ヒットエフェクトを発生する処理などを行う。
【００６１】
オブジェクト空間設定部１１２は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７５には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００６２】
キャラクタ制御部１１４は、オブジェクト空間を移動（動作）するキャラクタの制御を行う。例えばキャラクタ制御部１１４が含む移動処理部１１５は、キャラクタ（モデルオブジェクト、移動オブジェクト）を移動させる処理を行う。例えば操作部１６０によりプレーヤが入力した操作情報や、プログラム（移動アルゴリズム）や、各種データなどに基づいて、キャラクタをオブジェクト空間内で移動させる。具体的には、キャラクタの移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動処理やモーション処理や画像生成処理を行う時間の単位である。
【００６３】
キャラクタ制御部１１４が含むモーション処理部１１６は、キャラクタにモーション（アニメーション）を行わせるモーション処理（モーション再生、モーション生成）を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部１７６に記憶されているモーションデータに基づいて再生することなどで実現できる。
【００６４】
具体的にはモーションデータ記憶部１７６には、キャラクタ（モデルオブジェクト）のスケルトンを構成する各骨（キャラクタを構成する各パーツオブジェクト）の位置又は回転角度（親の骨に対する子の骨の３軸周りの回転角度）等を含むモーションデータが記憶されている。またモデルデータ記憶部１７７は、キャラクタを表すモデルオブジェクトのモデルデータを記憶する。モーション処理部１１６は、このモーションデータをモーションデータ記憶部１７６から読み出し、読み出されたモーションデータに基づいてスケルトンを構成する各骨（パーツオブジェクト）を動かすことで（スケルトン形状を変形させることで）、キャラクタのモーションを再生する。
【００６５】
仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００６６】
例えば仮想カメラによりキャラクタを後方から撮影する場合には、キャラクタの位置又は回転の変化に仮想カメラが追従するように、仮想カメラの位置又は回転角度（仮想カメラの向き）を制御する。この場合には、移動処理部１１５で得られたキャラクタの位置、回転角度又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は回転角度を特定するための仮想カメラデータに基づいて仮想カメラを制御する。
【００６７】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７９（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。
【００６８】
画像生成部１２０が含む光源設定部１２２は、光源の設定処理を行う。例えば光源の光源方向や光源色や光源位置等の光源情報の設定処理を行う。この光源情報は光源情報記憶部１７８に保存される。
【００６９】
なお、画像生成部１２０が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラと右目用仮想カメラを配置設定する。そして画像生成部１２０が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。
【００７０】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００７１】
そして本実施形態では画像情報取得部１０２が画像センサからの画像情報を取得すると、情報取得部１０４が、画像情報に基づく画像処理を行う。そしてプレーヤ（観者）の所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つを、レンダリング用情報として取得する。
【００７２】
ここで所持物はプレーヤが所持する現実世界の物体である。部位は、プレーヤの体の一部であり、手、足、腕、もも、頭部、胸等である。プレーヤの所持物又は部位の方向情報は、所持物又は部位の方向を表す情報であり、所持物又は部位の向く方向や所持物又は部位の面の法線方向などである。所持物又は部位の色情報は、所持物又は部位の色を表す情報である。所持物又は部位の形状情報は、所持物又は部位の形状を表す情報（形状を概略的に表す情報）であり、多角形、丸等の平面形状や、多面体、球、円柱、錐体等の立体形状などである。レンダリング用情報は、画像のレンダリング処理に使用する情報である。
【００７３】
そして画像生成部は１２０は、これらの方向情報、色情報及び形状情報の少なくとも１つであるレンダリング用情報（シェーディング用情報）に基づくレンダリング処理（シェーディング処理）を行って、画像を生成する。例えば所持物又は部位の方向情報や色情報や形状情報をレンダリング処理のパラメータに設定してレンダリング処理を行い、例えばオブジェクト空間内において仮想カメラから見える画像を生成する。
【００７４】
具体的には画像生成部１２０は、レンダリング用情報に基づいて、オブジェクト空間に配置設定される光源の光源情報（光源属性情報）を設定する。例えば所持物又は部位の方向情報により光源方向を設定したり、色情報により光源色を設定したり、形状情報により光源形状を設定する。そして画像生成部１２０は、このようにして光源情報が設定された光源を用いたレンダリング処理を行って、オブジェクト空間内において仮想カメラから見える画像を生成する。例えば光源の光源情報とオブジェクトのポリゴン（プリミティブ面）の法線ベクトルに基づいてシェーディング処理を行い、画像を生成する。この場合に、ランバート（Lambert）、フォン（Phong）、ブリン（Blinn）などの種々の照明モデルを用いて、グーロー（Gouraud）シェーディング、フォン（Phong）シェーディングなどのシェーディング処理を行う。
【００７５】
またキャラクタ制御部１１４は、プレーヤに対応するキャラクタの制御を行う。ここでキャラクタは、三人称視点の場合には実際に表示されるオブジェクトになるが、一人称視点の場合には、表示部１９０に表示されない仮想的なオブジェクトになる。
【００７６】
そして情報取得部１０４は、画像センサからの画像情報に基づいてプレーヤのスケルトン情報を取得する。例えば情報取得部１０４のスケルトン情報取得部１０５が、デプス情報等の画像情報に基づく画像処理を行ってプレーヤのスケルトン情報を求める。求められたスケルトン情報はスケルトン情報記憶部１７４に保存される。
【００７７】
ここでスケルトン情報は、例えば画像センサから見えるプレーヤの動作を特定する情報である。具体的には、このスケルトン情報は、プレーヤの複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は３次元座標情報により構成される。各関節を結合するものが骨（ボーン）となり、複数の骨の結合によりスケルトンが構成される。
【００７８】
このようにスケルトン情報が取得されると、画像生成部１２０は、取得されたスケルトン情報とキャラクタの位置情報に基づいて、オブジェクト空間内での光源の配置位置を特定する。例えばオブジェクト空間のワールド座標系でのキャラクタの位置情報（代表位置の情報）と、ローカル座標系でのスケルトンの関節位置情報（所持物又は部位に対応する関節の位置情報）に基づいて、光源の配置位置を特定する。
【００７９】
また画像情報取得部１０２は、画像センサからの画像情報としてデプス情報とカラー画像情報を取得する。このデプス情報は、例えば各画素位置にデプス値（奥行き値）が設定された画像情報である。そして情報取得部１０４は、取得されたデプス情報に基づいて、プレーヤの所持物又は部位の方向情報及び形状情報の少なくとも１つをレンダリング用情報として取得する。例えばデプス情報やカラー画像情報に基づいて、プレーヤの所持物や部位の方向や形状を判断して、レンダリング用情報として取得する。
【００８０】
この場合に情報取得部１０４は、デプス情報に基づいて、レンダリング用情報の方向情報として複数の第１〜第Ｎの方向情報（Ｎは２以上の整数）を取得してもよい。例えばプレーヤの所持物や部位の方向情報として複数の方向情報を取得する。すると画像生成部１２０は、レンダリング用情報である第１〜第Ｎの方向情報に基づくレンダリング処理を行って、画像を生成する。即ち複数の方向情報を反映させたレンダリング処理を行って、表示部１９０に表示する画像を生成する。別の言い方をすれば画像生成部１２０は、デプス情報に基づいて取得された所持物又は部位の形状情報に基づいてレンダリング範囲を設定し、設定されたレンダリング範囲でレンダリング処理を行って、画像を生成する。光源によるレンダリング処理を例にとれば、所持物又は部位の形状情報により、レンダリング範囲である光源光の照射範囲を設定し、その照射範囲でレンダリング処理（シェーディング処理）を行う。
【００８１】
また情報取得部１０４は、画像センサからの画像情報に基づいてスケルトン情報を取得し、取得されたスケルトン情報に基づいて、プレーヤの所持物又は部位についての方向情報を取得してもよい。例えばスケルトンの手に対応する第１、第２の関節を結ぶ方向を、プレーヤの所持物又は部位についての方向情報として設定する。
【００８２】
また情報取得部１０４は、取得されたスケルトン情報に基づいて、レンダリング用情報の取得のための画像処理の処理領域を設定してもよい。例えばスケルトン情報に基づいて、プレーヤの所持物又は部位の位置を特定し、特定された位置を含む所定サイズの領域（画面よりも小さな領域）を処理領域に設定する。そして情報取得部１０４は、設定された処理領域でのデプス情報やカラー画像情報を用いて画像処理を行って、プレーヤの所持物又は部位の方向情報や色情報や形状情報を取得する。
【００８３】
また情報取得部１０４がプレーヤの所持物又は部位の位置情報を取得した場合に、仮想カメラ制御部１１８が、所持物又は部位の位置情報に基づいて、オブジェクト空間内に仮想カメラを配置設定してもよい。具体的には、プレーヤの所持物又は部位の位置情報に対応する位置に、仮想カメラを配置し、所持物又は部位の方向情報に対応する方向に、仮想カメラの方向（視線方向）を向ける制御を行う。或いは、仮想カメラの方向を、スクリーンの中心に向くように制御してもよい。そして画像生成部１２０が、オブジェクト空間内において仮想カメラから見える画像を生成する。このようにすることで、ヘッドトラッキングのような画像の生成が可能になる。この場合に情報取得部１０４は、例えばスケルトン情報に基づいて、プレーヤの所持物又は部位の位置情報を取得すればよい。
【００８４】
また情報取得部１０４は、画像センサからの画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報及び形状情報の少なくとも１つを、ヒット演算用情報として取得する。そしてヒット演算部１１０は、取得されたヒット演算用情報に基づいてヒット演算処理を行う。例えばプレーヤの所持物又は部位の方向や形状を反映させたヒット演算処理（ヒットチェック処理）を行う。具体的にはヒット演算用情報の方向情報により特定される軌道方向（ヒット方向）に基づいて、ターゲットオブジェクト（弾等の被ヒット物のヒットのターゲットになるオブジェクト）に対するヒット演算処理を行う。そして画像生成部１２０は、ヒット演算処理の結果に基づいて、画像を生成する。例えば弾等の被ヒット物の画像を生成したり、被ヒット物がターゲットオブジェクトにヒットした場合に、ヒットエフェクト演出用の画像を生成する。
【００８５】
また情報取得部１０４は、画像情報取得部１０２が画像情報としてデプス情報を取得した場合に、取得されたデプス情報に基づいて、プレーヤの所持物又は部位の方向情報及び形状情報の少なくとも１つをヒット演算用情報として取得してもよい。例えばデプス情報やカラー画像情報に基づいて、プレーヤの所持物や部位の方向や形状を判断して、ヒット演算用情報として取得する。
【００８６】
そして情報取得部１０４が、デプス情報に基づいてヒット演算用情報の方向情報として複数の第１〜第Ｎの方向情報を取得すると、ヒット演算部１１０は、これらの第１〜第Ｎの方向情報に基づいて、ヒット演算処理を行う。即ち複数の方向情報を反映させたヒット演算処理を行って、表示部１９０に表示する画像を生成する。例えば複数の方向に弾等の被ヒット物を飛翔させて、ターゲットオブジェクトとのヒット演算処理を行う。別の言い方をすればヒット演算部１１０は、デプス情報に基づいて取得された所持物又は部位の形状情報に基づいてヒット範囲を設定し、設定されたヒット範囲に基づいてヒット演算処理を行う。例えば所持物又は部位の形状により設定されるヒット範囲内にターゲットオブジェクトが位置する場合に、弾等がターゲットオブジェクトにヒットしたと判定する。
【００８７】
なお、情報取得部１０４は、このヒット演算処理の場合にも、レンダリング処理の場合と同様に、スケルトン情報に基づいて、プレーヤの所持物又は部位についての方向情報を取得する。またスケルトン情報に基づいて、ヒット演算用情報の取得のための画像処理の処理領域を設定する。
【００８８】
また情報取得部１０４が、画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての位置情報を取得した場合に、仮想カメラ制御部１１８は、取得された位置情報だけに基づいてオブジェクト空間内に仮想カメラを配置設定してもよい。この場合には仮想カメラの向く方向については、常に一定の方向に向けたり、画面中心に対して向けるように制御すればよい。
【００８９】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【００９０】
２．１ 所持物の方向情報等に基づくレンダリング処理
一般的に、ゲーム装置では、ゲームコントローラのボタンやレバーを操作してゲーム操作を行う。またゲームコントローラにモーションセンサ（６軸センサ）を設け、プレーヤがゲームコントローラそのものを動かすことでゲーム操作を行うゲーム装置もある。
【００９１】
しかしながら、このような操作インターフェースのゲーム装置では、ゲーム操作にゲームコントローラが必要になり、プレーヤの手の動きなどのジェスチャをそのまま反映させるようなゲーム操作については実現できず、プレーヤの仮想現実感を今ひとつ向上できない。
【００９２】
そこで本実施形態では、画像センサで撮像された画像情報に基づきプレーヤの操作入力を可能にする操作インターフェースを採用している。
【００９３】
例えば図２（Ａ）では、表示部１９０に対応する位置に、デプスセンサ（赤外線センサ等）やカラー画像センサ（ＣＣＤやＣＭＯＳセンサなどのＲＧＢセンサ）により実現される画像センサＩＳＥが設置されている。この画像センサＩＳＥは、例えばその撮像方向（光軸方向）が表示部１９０からプレーヤＰＬの方に向く方向になるように設置されており、表示部１９０側から見たプレーヤＰＬのカラー画像情報やデプス情報を撮像する。なお画像センサＩＳＥは、表示部１９０に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。
【００９４】
そして図２（Ａ）の画像センサＩＳＥを用いて、図２（Ｂ）に示すようなカラー画像情報とデプス情報を取得する。例えばカラー画像情報では、プレーヤＰＬやその周りの風景の色情報が得られる。一方、デプス情報では、プレーヤＰＬやその周りの風景のデプス値（奥行き値）が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置にカラー値（ＲＧＢ）が設定された画像情報であり、デプス情報は、その各画素位置にデプス値（奥行き値）が設定された画像情報である。なお、画像センサＩＳＥは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。
【００９５】
デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサＩＳＥ（デプスセンサ）から赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間（Time Of Flight）を検出することで、デプス情報を取得し、画像センサＩＳＥの位置から見たプレーヤＰＬなどの物体のシェイプを検出する。具体的には、デプス情報は、例えば画像センサＩＳＥから近い物体では明るくなり、画像センサＩＳＥから遠い物体では暗くなるグレースケールデータとして表される。なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばＣＭＯＳセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報（被写体までの距離情報）を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。
【００９６】
そして本実施形態では、画像センサＩＳＥからの画像情報に基づく画像処理を行って、プレーヤＰＬの所持物又は部位の方向情報、色情報又は形状情報等を、レンダリング用情報として取得する。
【００９７】
例えば図３（Ａ）ではプレーヤＰＬは板状（直方体、長方形）の所持物ＴＨを所持し、所持物ＴＨの面を表示部１９０側に向けている。この場合に本実施形態では、画像センサＩＳＥにより図３（Ｂ）に示すようなカラー画像情報やデプス情報などの画像情報が取得される。
【００９８】
そして図３（Ｂ）のカラー画像情報に基づいて所持物ＴＨ（或いは部位）の色情報や形状情報を特定する。例えば図３（Ｂ）のカラー画像情報によれば、所持物ＴＨの色や所持物ＴＨの直方体形状や面の四角形状を特定できる。また画像のパースのかかり具合を見ることで所持物ＴＨの面の方向ＤＴＨ（法線方向）を特定できる。
【００９９】
また図３（Ｂ）のデプス情報を用いても所持物ＴＨ（或いは部位）の方向情報（ＤＴＨ）や形状情報（直方体、四角形）を特定できる。即ちデプス情報によれば、画像センサＩＳＥから見た場合のプレーヤＰＬや所持物ＴＨの３次元形状を抽出できる。従って、例えば所持物ＴＨの四角形の面の領域でのデプス情報（デプス値の傾き等）に基づいて、所持物ＴＨの面の向く方向ＤＴＨ（法線方向）を特定できる。またデプス情報に基づいて所持物ＴＨの直方体形状や面の四角形状も特定できる。
【０１００】
そして本実施形態では、このようにして特定された所持物ＴＨ等の方向情報、色情報又は形状情報をレンダリング用情報として、レンダリング処理を行う。なお、以下では、プレーヤＰＬの所持物ＴＨの方向情報、色情報又は形状情報を用いてレンダリング処理やヒット演算処理を行う場合について主に説明するが、プレーヤＰＬの手、足、腕又は頭部等の部位の方向情報、色情報又は形状情報を用いて、レンダリング処理やヒット演算処理を行ってもよい。
【０１０１】
例えば図４（Ａ）において、キャラクタＣＨはプレーヤＰＬに対応するものであり、プレーヤＰＬの操作によりオブジェクト空間内を移動するオブジェクトである。このキャラクタＣＨは、三人称視点の場合にはその全身（或いは頭部を含む体の一部）が表示部１９０の画面ＳＣに表示される。一方、一人称視点の場合には、キャラクタＣＨは画面ＳＣに表示されない仮想的なオブジェクトになる。なお一人称視点の場合に、キャラクタＣＨの手などの一部だけを表示してもよい。即ち一人称視点は少なくともキャラクタＣＨの頭部が表示されない視点設定である。
【０１０２】
そして図４（Ａ）では、プレーヤＰＬの所持物ＴＨの対応する位置に光源ＬＳが設定される。即ち図３（Ａ）ではプレーヤＰＬは右手に所持物ＴＨを持っており、これに対応して図４（Ａ）ではキャラクタＣＨの右手に懐中電灯のライト等の光源ＬＳが配置設定される。そして図３（Ａ）で取得された所持物ＴＨの方向ＤＴＨに対応する方向に、光源ＬＳの光源方向ＤＬＳが設定される。そしてこの光源方向ＤＬＳで照射される光ＲＹによりターゲットオブジェクトＴＯＢのシェーディング処理が行われて、画像がレンダリングされる。これにより図４（Ｂ）に示すように、光源ＬＳからの光ＲＹ等により陰影づけが施された画像が生成されて、表示部１９０に表示されるようになる。
【０１０３】
また本実施形態では、所持物ＴＨの色情報や形状情報が反映された画像を生成する。例えば図５（Ａ）では、所持物ＴＨが円板形状であるため、光の照射面が円状の光源ＬＳが設定されて、その光源ＬＳに応じた光ＲＹの画像や光ＲＹによるシェーディング画像が生成される。また所持物ＴＨの色が赤であるため、光ＲＹの色も赤になり、光ＲＹが照射されるターゲットオブジェクトＴＯＢの画像も、赤の光が照射された画像になる。
【０１０４】
一方、図５（Ｂ）では、所持物ＴＨが直方体形状であるため、光の照射面が長方形の光源ＬＳが設定されて、その光源ＬＳに応じた光ＲＹの画像や光ＲＹによるシェーディング画像が生成される。また所持物ＴＨの色が青であるため、光ＲＹの色も青になり、光ＲＹが照射されるターゲットオブジェクトＴＯＢの画像も、青の光が照射された画像になる。
【０１０５】
また本実施形態では図６に示すように、図３（Ｂ）のデプス情報等の画像情報に基づいて、プレーヤＰＬの動作を特定するためのスケルトン情報を取得する。図６ではスケルトン情報として、スケルトンの関節Ｃ０〜Ｃ１９の位置情報（３次元座標）が取得されている。これらの関節Ｃ０〜Ｃ１０は、画像センサＩＳＥに映るプレーヤＰＬの関節に対応するものである。なお画像センサＩＳＥにプレーヤＰＬの全身が映らない場合には、映った部分だけの関節の位置情報を有するスケルトン情報を生成すればよい。
【０１０６】
例えば図３（Ｂ）のデプス情報を用いれば、画像センサＩＳＥ側から見たプレーヤＰＬ等の３次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などによりプレーヤＰＬの顔等の部位の領域も特定できる。そこで、これらの３次元形状の情報等に基づいて、プレーヤＰＬの各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の２次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の３次元座標情報を求め、図６に示すようなスケルトン情報を取得する。
【０１０７】
このようなスケルトン情報を用いれば、プレーヤＰＬのジェスチャ等の動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタＣＨのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばモーションデータとして利用して、オブジェクト空間においてキャラクタＣＨを動作させることも可能になる。
【０１０８】
そして本実施形態では、このスケルトン情報を用いて、光源ＬＳの配置位置を特定する。具体的には図７において、プレーヤＰＬに対応するキャラクタＣＨの位置情報ＰＲＦ（代表位置情報）を求める。例えば本実施形態では、キャラクタＣＨの移動を指示するプレーヤＰＬの動作を画像センサＩＳＥにより検出したり、ゲームコントローラからの操作情報などに基づいて、オブジェクト空間内でキャラクタＣＨを移動させる演算を行う。この移動演算により、オブジェクト空間のワールド座標系でのキャラクタＣＨの位置情報ＰＲＦが逐次求められる。そして、このワールド座標系での位置情報ＰＲＦと、図６のように求められたスケルトン情報のローカル座標系での関節の位置情報に基づいて、プレーヤＰＬに対応するキャラクタＣＨの手などの位置を求めることができる。そして図７に示すように、この求められた手などの位置を光源ＬＳの配置位置ＰＬＳに設定する。そしてＰＬＳに配置された光源ＬＳを用いてレンダリング処理（シェーディング処理）を行う。
【０１０９】
このようにすれば、プレーヤの動作を特定するスケルトン情報を有効活用して、光源ＬＳの配置位置ＰＬＳを特定できる。そして、あたかもプレーヤＰＬが持った所持物ＴＨの位置に光源ＬＳが配置されて、その光源ＬＳからの光により、プレーヤＰＬに対応するキャラクタＣＨの周囲が照らされているかのように見える画像を生成できるようになる。
【０１１０】
なお、以上では、図３（Ｂ）に示すデプス情報を用いて、プレーヤＰＬの所持物や部位の方向情報、形状情報等を取得する手法について説明したが、本実施形態はこれに限定されない。例えばカラー画像情報だけを用いて、プレーヤの所持物や部位の方向情報等を取得してもよい。
【０１１１】
例えば図８（Ａ）では、プレーヤＰＬの所持物ＴＨとして特別な画像パターンが描かれた部材を用意する。図８（Ａ）の所持物ＴＨでは、その面が４つの領域に分割され、各領域に対して異なった画像パターンが描かれている。そして、このような特別な画像パターンが描かれた所持物ＴＨをプレーヤＰＬが所持し、これを画像センサＩＳＥにより撮像することで、例えば図８（Ｂ）に示すようなカラー画像情報を得ることができる。そして、このカラー画像情報に基づいて、プレーヤの所持物ＴＨの方向情報を特定する。即ち、カラー画像情報での画像パターンの配置位置や、所持物ＴＨの画像のパースのかかり具合などに基づいて、所持物ＴＨの方向情報（面の向く方向）を特定すればよい。
【０１１２】
また本実施形態では、所持物ＴＨ等の方向情報として複数の方向情報（第１〜第Ｎの方向情報）を取得してもよい。
【０１１３】
例えば図９（Ａ）では、所持物ＴＨの方向情報として１つの方向ＤＴＨだけが取得されている。即ち所持物ＴＨの面の法線方向が方向ＤＴＨとして取得されている。
【０１１４】
これに対して図９（Ｂ）では、所持物ＴＨの方向情報として複数の方向ＤＴＨ１、ＤＴＨ２、ＤＴＨ３（第１〜第Ｎの方向情報）が取得されている。そして、このように所持物ＴＨの方向情報として複数の方向ＤＴＨ１〜ＤＴＨ３が取得された場合には、これらの複数の方向ＤＴＨ１〜ＤＴＨ３を用いてレンダリング処理を行えばよい。別の言い方をすれば、これらの複数の方向ＤＴＨ１〜ＤＴＨ３により設定されるレンダリング範囲ＲＲＤを用いて、レンダリング処理を行う。
【０１１５】
例えば所持物ＴＨが、その形状を自在に変形できる部材により形成されていたとする。この場合に図９（Ａ）の変形前の形状では、方向ＤＴＨに対応する１つの照射方向のスポットライト光を、図４（Ａ）の光源ＬＳから照射するようにする。
【０１１６】
一方、図９（Ｂ）のように所持物ＴＨがプレーヤＰＬにより曲げられて変形すると、複数の方向ＤＴＨ１〜ＤＴＨ３に対応する範囲に拡散するような光を、図４（Ａ）の光源ＬＳから照射するようにする。
【０１１７】
このようにすれば、１つの所持物ＴＨを用いて、異なる照射形態の光をゲーム画像内に発生させることが可能になる。これにより、多様なゲーム演出が可能になり、ゲームの演出効果を向上できる。
【０１１８】
そして図９（Ａ）、図９（Ｂ）に示すような所持物ＴＨの形状変形をゲーム画像に反映させるためには、図３（Ｂ）に示すようなデプス情報を用いることが望ましい。即ち、デプス情報を用いれば、所持物ＴＨの奥行き方向の情報を得ることができるため、図９（Ａ）、図９（Ｂ）に示すような形状変形を容易に認識できる。
【０１１９】
例えば図９（Ａ）の形状変形前においては、所持物ＴＨの方向情報として１つの方向ＤＴＨが得られ、この方向ＤＴＨに対応する光源方向のスポット光の画像を生成できる。一方、プレーヤが所持物ＴＨを曲げると、画像センサＩＳＥから見た時に、所持物ＴＨの面の各位置におけるデプス値に傾きが生じる。従って、このデプス情報を用いて、図９（Ｂ）に示すように複数の方向ＤＴＨ１〜ＤＴＨ３を取得できる。これにより、これらの複数の方向ＤＴＨ１〜ＤＴＨ３に対応する照射範囲（レンダリング範囲、シェーディング範囲）の光でレンダリング処理を行って、その照射範囲の光の画像や、その照射範囲の光で物体が陰影づけされた画像を生成できる。従って、プレーヤＰＬが所持物ＴＨを様々な形状に変形することで、ゲーム画像内の光の画像や照射位置の画像も様々に変化するようになり、演出効果の高いゲーム画像を生成できるようになる。
【０１２０】
また本実施形態では図６に示すように取得されたスケルトン情報に基づいて、プレーヤの所持物や部位についての方向情報を取得してもよい。
【０１２１】
例えば図１０（Ａ）では、プレーヤＰＬの動きがスケルトンＳＫの情報として取得されている。この場合には、プレーヤＰＬの手に対応する関節Ｃ６、Ｃ７等の位置に基づいて、所持物ＴＨ等の方向を特定し、その方向を光源方向ＤＬＳとして設定する。同様に図１０（Ｂ）でも、プレーヤＰＬの手に対応する関節Ｃ６、Ｃ７等の位置に基づいて、所持物ＴＨ等の方向を特定し、その方向を光源方向ＤＬＳとして設定する。この場合に関節Ｃ６、Ｃ７の位置はスケルトン情報に基づいて取得できる。
【０１２２】
このようにすれば、プレーヤＰＬが手の向く方向を変えて、所持物ＴＨの向く方向を変化させると、その方向の変化は、スケルトン情報に基づき検出できる。即ちスケルトン情報の関節Ｃ６、Ｃ７等の位置に基づき検出できる。そして、所持物ＴＨの向く方向の変化に応じて、図１０（Ａ）、図１０（Ｂ）に示すように光源方向ＤＬＳも変化するようになり、光源ＬＳからの光ＲＹの照射方向も変化するようになる。従って、プレーヤＰＬが手の向きを変えて所持物ＴＨの向く方向を変化させると、ゲーム画像内での光の方向も変化する。これにより、プレーヤＰＬは自身が所望する様々な方向を光で照らして見ることが可能になる。即ち、デプス情報を用いて取得されたスケルトン情報を有効活用して、これまでにないゲーム演出を実現できるようになる。
【０１２３】
また本実施形態では、図６に示すように取得されたスケルトン情報を用いて、画像処理の処理領域を特定してもよい。
【０１２４】
例えば図１１（Ａ）では、スケルトン情報に基づいて、プレーヤＰＬの手に対応する関節Ｃ７等の位置を特定している。そして、特定されたＣ７等の位置を含む画像領域を、画像処理の処理領域ＲＰＣに設定し、設定された処理領域ＲＰＣでのデプス情報やカラー画像情報に対して画像処理を行う。即ち図３（Ａ）、図３（Ｂ）において、プレーヤＰＬの所持物や部位の方向情報や色情報や形状情報を求める際に、設定された処理領域ＲＰＣでのカラー画像情報やデプス情報に対して画像処理を行う。
【０１２５】
このようにすれば、全ての領域において画像処理を行う必要がなくなり、画面サイズよりも小さな処理領域ＲＰＣにおいて画像処理を行えば済むようになる。従って、画像処理の処理負荷を軽減でき、少ない処理負荷で所持物や部位の方向情報等のレンダリング用情報を取得することが可能になる。
【０１２６】
以上の本実施形態の手法によれば、プレーヤが所持物を持って動かしたり、プレーヤが手などの部位を動かすと、その方向情報や色情報や形状情報が、レンダリング用情報として取得される。そして、そのレンダリング用情報を用いたレンダリング処理が行われて、プレーヤに表示される画像が生成される。従って、プレーヤの動きがゲーム画像に直感的に反映されるようになり、これまでにはないゲーム画像の生成が可能になる。
【０１２７】
この場合に、プレーヤが自身の周りの適当な所持物を持って、動かせば、その所持物の形状や色等を反映した光源がオブジェクト空間内に設定され、その光源からの光の画像や、その光により物体を照らした画像が生成されるようになる。例えば図５（Ａ）、図５（Ｂ）に示すように、所持物が赤の物体であれば赤の光の画像やその照射画像が生成され、青の物体であれば青の光の画像やその照射画像が生成される。従って、これまでのゲームでは実現できなかったゲーム演出等が可能になる。
【０１２８】
また図６で説明したようなスケルトン情報を用いれば、図７に示すように光源の配置位置も容易に特定でき、図１０（Ａ）、図１０（Ｂ）に示すように光源方向も容易に特定できる。更に図１１（Ａ）、図１１（Ｂ）で説明したように、所持物の方向情報等を特定するための画像処理の処理領域を狭い領域に限定することができ、処理負荷を軽減できる。
【０１２９】
また本実施形態のようにデプス情報を用いて所持物の方向情報等を取得すれば、図９（Ａ）、図９（Ｂ）に示すように、所持物や部位の形状が変化することで、光の照射範囲等も変化するようになり、多様なゲーム画像の生成が可能になる。
【０１３０】
２．２ 所持物の位置情報等に基づく仮想カメラの配置
従来よりヘッドトラッキングと呼ばれる技術が知られている。このヘッドトラッキングでは、プレーヤの顔の向きや視線方向をセンサ等により検出し、プレーヤの向く方向に応じた画像を生成して表示部に表示する。
【０１３１】
しかしながら、従来のヘッドトラッキング手法では、プレーヤは、顔の向きや視線方向を検出するための装置を頭部などに装着する必要があり、プレーヤにとって煩雑であった。また顔の向きを検出する装置も大がかりなものになってしまうという問題がある。
【０１３２】
そこで本実施形態では、画像センサからの画像情報によりプレーヤの所持物や部位の位置を検出し、検出された位置に仮想カメラを配置して、ヘッドトラッキングに類似する画像を生成している。
【０１３３】
例えば図１２（Ａ）において、画像センサＩＳＥからの画像情報に基づいて、プレーヤＰＬの所持物ＴＨ（又は手などの部位）の位置情報が取得される。図１２（Ａ）では、プレーヤは、例えばティッシュボックス等の所持物ＴＨをカメラと見なして構えている。
【０１３４】
そして図１２（Ｂ）に示すように、取得された所持物ＴＨ（又は部位）の位置情報に基づいて、オブジェクト空間内に仮想カメラＶＣが配置される。即ち、現実世界での所持物ＴＨの位置に対応するオブジェクト空間内の位置に、仮想カメラＶＣが配置される。そして、オブジェクト空間内において仮想カメラＶＣから見える画像が生成されて、表示部１９０に表示される。
【０１３５】
このようにすれば図１２（Ｃ）に示すように、プレーヤＰＬが身の回りの所持物ＴＨをカメラのように見立てて、表示部１９０の画面ＳＣをのぞき込むことで、カメラから見える画像が表示されるようになる。従って、あたかもヘッドトラッキングのように、ゲーム空間内の自身が所望する場所をカメラを用いて覗くことで、その場所の画像が表示されるようになる。なお仮想カメラＶＣから見える画像については、表示部１９０のメイン画面に対してサブ画面を設けて、そのサブ画面に表示するようにしてもよい。
【０１３６】
また仮想カメラＶＣの方向については、例えば常に仮想スクリーンに直交する方向に設定したり、仮想スクリーンの中心に向かう方向に設定してもよい。或いは所持物ＴＨ（又は部位）の向く方向を、前述のように画像センサＩＳＥからの画像情報に基づき検出し、検出された方向に対応する方向に仮想カメラＶＣの方向（視線方向）を設定してもよい。
【０１３７】
また所持物ＴＨの位置情報については、図６で説明したスケルトン情報に基づいて求めてもよい。具体的には図７で説明したように、キャラクタＣＨの位置ＰＲＦと、スケルトン情報に基づいて、キャラクタＣＨの手などの位置等を求めて、その位置に仮想カメラＶＣを配置する。このようにすれば、仮想カメラＶＣの配置位置を簡素な処理で求めることが可能になる。
【０１３８】
２．３ 所持物の方向情報等に基づくヒット演算処理
以上では、プレーヤの所持物又は部位の方向情報等をレンダリング用情報として、レンダリング処理を行う場合について説明したが、これらの方向情報等をヒット演算用情報として、ヒット演算処理を行ってもよい。
【０１３９】
例えば図１３（Ａ）では、画像センサＩＳＥからの画像情報に基づく画像処理を行って、プレーヤＰＬの所持物ＴＨ（又は部位）についての方向情報及び形状情報の少なくとも１つが、ヒット演算用情報として取得される。例えば所持物ＴＨの方向ＤＴＨがヒット演算用情報として取得される。
【０１４０】
この場合に本実施形態では、このヒット演算用情報に基づいてヒット演算処理が行われる。例えば図１３（Ｂ）では、プレーヤＰＬに対応するキャラクタＣＨがオブジェクト空間内で移動して、敵であるターゲットオブジェクトＴＯＢと遭遇している。この時に図１３（Ａ）に示すようにプレーヤＰＬが所持物ＴＨをターゲットオブジェクトＴＯＢの方向に向けると、図１３（Ｂ）に示すように、所持物ＴＨに対応してキャラクタＣＨが所持する武器ＡＯＢから弾が発射されて、ターゲットオブジェクトＴＯＢに発射される。即ち図１３（Ａ）の所持物ＴＨの方向ＤＴＨにより特定される軌道方向ＤＨＩで弾（拳銃や光線銃の弾）が発射される。そして、弾の軌道方向ＤＨＩとターゲットオブジェクトＴＯＢとのヒットチェックを行うヒット演算処理が行われ、ヒット演算処理の結果に基づいて画像が生成される。具体的には、弾がターゲットオブジェクトＴＯＢにヒットしたと判定されると、ターゲットオブジェクトＴＯＢに弾がヒットしたことを表す演出画像が生成される。
【０１４１】
以上のようにすれば、プレーヤは、自身の周りの適当な所持物を持って、ターゲットオブジェクトの方向に向けることで、その所持物に対応する拳銃や光線銃などの武器から弾が発射されて、敵であるターゲットオブジェクトに命中するようになる。従って、直感的で分かりやすい操作インターフェース環境をプレーヤに提供できる。また、専用のゲームコントローラを用いなくても、図１３（Ａ）、図１３（Ｂ）に示すようなシューティングゲームを実現することが可能になる。
【０１４２】
また本実施形態によれば、プレーヤの所持物や部位の形状を反映させたヒット演算処理も実現できる。例えば所持物又は部位の各形状と各武器とを予め対応づけておく。そしてプレーヤの所持物又は部位の形状を、画像センサからの画像情報に基づいて形状認識する。そして、形状認識の結果に基づいて武器を選択し、選択された武器の画像をゲーム画像上に表示して、その武器からの弾をターゲットオブジェクトに対して発射する。例えば短い形状の所持物であれば、キャラクタに拳銃を所持させ、その拳銃から弾が発射する画像を生成する。一方、長い形状の所持物であれば、キャラクタにライフルを所持させ、そのライフから弾が発射する画像を生成する。このようにすれば、プレーヤが持つ所持物の形状に応じて、多様なゲーム画像が生成されるようになり、これまでにないゲーム演出を実現できるようになる。
【０１４３】
なお図１３（Ａ）、図１３（Ｂ）に示すヒット演算手法においても、図３（Ｂ）の場合と同様に、画像センサからのデプス情報に基づいて、プレーヤの所持物又は部位の方向情報や形状情報をヒット演算用情報として取得することが望ましい。このようにすれば、所持物や部位の方向情報や形状情報を、より正確に効率良く特定することが可能になる。
【０１４４】
また図９（Ａ）、図９（Ｂ）の場合と同様に、画像センサからのデプス情報に基づいてヒット演算用情報の方向情報として複数の方向情報（第１〜第Ｎの方向情報）を取得し、これらの複数の方向情報に基づいて、ヒット演算処理を行ってもよい。別の言い方をすれば、デプス情報に基づき取得された所持物又は部位の形状情報に基づいてヒット範囲（図９（Ｂ）のＲＲＤ）を設定し、設定されたヒット範囲に基づいてヒット演算処理を行う。
【０１４５】
このようにすれば、所持物が図９（Ａ）のような形状である場合には、例えば１つの方向に弾が発射され、図９（Ｂ）のような形状である場合には、複数の方向に弾が発射されるような画像を生成できる。或いは光線銃の場合には、所持物が図９（Ａ）の形状の場合には、１本の細長い光線が発射され、図９（Ｂ）の形状の場合には、ＲＲＤのヒット範囲に広がるような光線が発射される画像を生成できる。
【０１４６】
また図１０（Ａ）、図１０（Ｂ）の場合と同様に、プレーヤのスケルトン情報を取得し、取得されたスケルトン情報に基づいて、プレーヤの所持物又は部位についての方向情報を取得してもよい。
【０１４７】
このようにすれば、例えばスケルトン情報の関節Ｃ６、Ｃ７が図１０（Ａ）のような位置であった場合には、下向きの方向ＤＬＳに弾が発射され、関節Ｃ６、Ｃ７が図１０（Ｂ）のような位置であった場合には、上向きの方向ＤＬＳに弾が発射される画像を生成できる。従って、弾の軌道方向をスケルトン情報を用いた簡素な処理で特定できるようになり、処理を効率化できる。
【０１４８】
また図１１（Ａ）、図１１（Ｂ）の場合と同様に、プレーヤのスケルトン情報を取得し、取得されたスケルトン情報に基づいて、ヒット演算用情報の取得のための画像処理の処理領域を設定してもよい。例えばプレーヤが所持物を持った場合に、スケルトン情報に基づいて、プレーヤの手の位置を含む処理領域を設定する。そして、設定された処理領域でのデプス情報やカラー画像情報に対して画像処理を行って、所持物（又は部位）の方向情報や形状情報を特定する。
【０１４９】
このようにすれば、画像処理の処理領域を小さなサイズに限定できるため、処理負荷の軽減を図れる。
【０１５０】
２．４ 詳細な処理例
次に本実施形態の詳細な処理例について図１４〜図１７のフローチャートを用いて説明する。図１４は、プレーヤの所持物の方向情報等をレンダリング用情報として画像を生成する処理のフローチャートである。
【０１５１】
まず、図３（Ａ）、図３（Ｂ）で説明したように、画像センサにより、カラー画像情報、デプス情報等の画像情報を取得する（ステップＳ１）。そして、取得されたデプス情報等に基づき、プレーヤのスケルトン情報を求める（ステップＳ２）。
【０１５２】
次に、図１１（Ａ）、図１１（Ｂ）で説明したように、スケルトン情報に基づきプレーヤの所持物又は手などの部位の位置を特定し、特定された位置を含む画像領域を画像処理の処理領域に設定する（ステップＳ３）。そして、設定された処理領域でのデプス情報、カラー画像情報等に基づいて、プレーヤの所持物又は部位の方向情報、色情報、形状情報等を、レンダリング用情報として求める（ステップＳ４）。そして、求められたレンダリング用情報を用いてレンダリング処理を行って、表示部に表示する画像を生成する。
【０１５３】
図１５は、プレーヤの所持物の方向情報等により光源方向を設定して画像を生成する処理のフローチャートである。
【０１５４】
図１５のステップＳ１１〜Ｓ１４は図１４のステップＳ１〜Ｓ４と同様であるため説明を省略する。ステップＳ１４でレンダリング用情報を求めた後、図７で説明したようにキャラクタの位置情報とスケルトン情報に基づいて、光源の配置位置を設定する（ステップＳ１５）。またプレーヤの所持物又は部位の方向情報に基づいて光源方向を設定し、所持物又は部位の色情報に基づいて、光源色を設定する（ステップＳ１６、Ｓ１７）。そして、光源情報が設定された光源を用いてレンダリング処理（シェーディング処理）を行って、画像を生成する（ステップＳ１８）。これにより図４（Ｂ）に示すような画像の生成が可能になる。
【０１５５】
図１６は、プレーヤの所持物の位置情報等に基づいて仮想カメラを設定して画像を生成する処理のフローチャートである。
【０１５６】
図１６のステップＳ２１、Ｓ２２は図１４のステップＳ１、Ｓ２と同様であるため説明を省略する。ステップＳ２２でスケルトン情報が求められた後、図１２（Ａ）で説明したように、スケルトン情報に基づき、プレーヤの所持物又は手などの部位の位置を特定する（ステップＳ２３）。そして図１２（Ｂ）で説明したように、特定された位置に対応するオブジェクト空間内の位置に仮想カメラを配置する（ステップＳ２４）。そして、オブジェクト空間内において仮想カメラから見える画像を生成する（ステップＳ２５）。これにより、ヘッドトラッキングのような画像を簡素な処理で生成できるようになる。
【０１５７】
図１７は、プレーヤの所持物の方向情報等に基づいてヒット演算処理を行って画像を生成する処理のフローチャートである。
【０１５８】
図１７のステップＳ３１、Ｓ３２、Ｓ３３は図１４のステップＳ１、Ｓ２、Ｓ３と同様であるため説明を省略する。ステップＳ３３で画像処理の処理領域が設定された後、設定された処理領域でのデプス情報、カラー画像情報等に基づいて、図１３（Ａ）で説明したように、プレーヤの所持物又は部位の方向情報、形状情報等をヒット演算用情報として求める（ステップＳ３４）。そして図１３（Ｂ）で説明したように、プレーヤの所持物又は部位の方向情報に基づいて、弾の軌道方向を設定する（ステップＳ３５）。
【０１５９】
次に、弾の軌道とターゲットオブジェクトとのヒット判定処理を行う（ステップＳ３６）。そして、弾がターゲットオブジェクトにヒットしたか否かを判断し（ステップＳ３７）、ヒットした場合にはヒット演出の画像を生成する（ステップＳ３８）。
【０１６０】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、プレーヤの所持物又は部位の方向情報等の取得手法、スケルトン情報の取得手法、レンダリング用情報に基づくレンダリング処理手法、ヒット演算用情報に基づくヒット演算処理手法、プレーヤの所持物又は部位の位置情報に基づく仮想カメラの設定手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【符号の説明】
【０１６１】
ＩＳＥ 画像センサ、ＰＬ プレーヤ、ＳＣ 画面、ＴＨ 所持物、
ＤＴＨ、ＤＴＨ１〜ＤＴＨ３ 所持物の方向、ＣＨ キャラクタ、
ＬＳ 光源、ＤＬＳ 光源方向、ＲＹ 光線、ＴＯＢ ターゲットオブジェクト、
ＳＫ スケルトン、Ｃ０〜Ｃ１９ 関節、ＲＰＣ 処理領域、ＶＣ 仮想カメラ、
１００ 処理部、１０２ 画像情報取得部、１０４ 情報取得部、
１０５ スケルトン情報取得部、１０８ ゲーム演算部、１１０ ヒット演算部、
１１２ オブジェクト空間設定部、１１４ キャラクタ制御部、１１５ 移動処理部、
１１６ モーション処理部、１１８ 仮想カメラ制御部、１２０ 画像生成部、
１２２ 光源設定部、１３０ 音生成部、１６０ 操作部、
１７０ 記憶部、１７１ 画像情報記憶部、１７２ カラー画像情報記憶部、
１７３ デプス情報記憶部、１７４ スケルトン情報記憶部、
１７５ オブジェクトデータ記憶部、１７６ モーションデータ記憶部、
１７７ モデルデータ記憶部、１７８ 光源情報記憶部、１７９ 描画バッファ、
１８０ 情報記憶媒体、１９０ 表示部、１９２ 音出力部、１９４ 補助記憶装置、
１９６ 通信部
【特許請求の範囲】
【請求項１】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つを、レンダリング用情報として取得する情報取得部と、
前記方向情報、前記色情報及び前記形状情報の少なくとも１つである前記レンダリング用情報に基づくレンダリング処理を行って、画像を生成する画像生成部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項２】
請求項１において、
前記画像生成部は、
前記レンダリング用情報に基づいて、オブジェクト空間に配置設定される光源の光源情報を設定し、前記光源情報が設定された前記光源を用いたレンダリング処理を行って、オブジェクト空間内において仮想カメラから見える画像を生成することを特徴とするプログラム。
【請求項３】
請求項２において、
前記プレーヤに対応するキャラクタの制御を行うキャラクタ制御部として、
コンピュータを機能させ、
前記情報取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、
前記画像生成部は、
取得された前記スケルトン情報と前記キャラクタの位置情報に基づいて、前記オブジェクト空間内での前記光源の配置位置を特定することを特徴とするプログラム。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記画像情報取得部は、
前記画像センサからの前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、
前記情報取得部は、
前記デプス情報に基づいて、前記プレーヤの前記所持物又は前記部位の前記方向情報及び前記形状情報の少なくとも１つを前記レンダリング用情報として取得することを特徴とするプログラム。
【請求項５】
請求項４において、
前記情報取得部は、
前記デプス情報に基づいて、前記レンダリング用情報の前記方向情報として複数の第１〜第Ｎの方向情報（Ｎは２以上の整数）を取得し、
前記画像生成部は、
前記レンダリング用情報である前記第１〜第Ｎの方向情報に基づくレンダリング処理を行って、画像を生成することを特徴とするプログラム。
【請求項６】
請求項４において、
前記画像生成部は、
前記デプス情報に基づき取得された前記所持物又は前記部位の形状情報に基づいてレンダリング範囲を設定し、設定されたレンダリング範囲で前記レンダリング処理を行うことを特徴とするプログラム。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記情報取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記プレーヤの前記所持物又は前記部位についての前記方向情報を取得することを特徴とするプログラム。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記情報取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記レンダリング用情報の取得のための前記画像処理の処理領域を設定することを特徴とするプログラム。
【請求項９】
請求項１乃至８のいずれかにおいて、
オブジェクト空間内に配置設定される仮想カメラの制御を行う仮想カメラ制御部として、
コンピュータを機能させ、
前記情報取得部は、
前記プレーヤの前記所持物又は前記部位の位置情報を取得し、
前記仮想カメラ制御部は、
前記所持物又は前記部位の前記位置情報に基づいて、前記オブジェクト空間内に前記仮想カメラを配置設定し、
前記画像生成部は、
前記オブジェクト空間内において前記仮想カメラから見える画像を生成することを特徴とするプログラム。
【請求項１０】
請求項９において、
前記仮想カメラ制御部は、
前記所持物又は前記部位の前記位置情報に対応する位置に、前記仮想カメラを配置し、前記所持物又は前記部位の前記方向情報に対応する方向に、前記仮想カメラの方向を向ける制御を行うことを特徴とするプログラム。
【請求項１１】
請求項９又は１０において、
前記情報取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記所持物又は前記部位の前記位置情報を取得することを特徴とするプログラム。
【請求項１２】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報及び形状情報の少なくとも１つを、ヒット演算用情報として取得する情報取得部と、
取得された前記ヒット演算用情報に基づいてヒット演算処理を行うヒット演算部と、
前記ヒット演算処理の結果に基づいて、画像を生成する画像生成部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１３】
請求項１２において、
前記ヒット演算部は、
前記ヒット演算用情報の前記方向情報により特定される軌道方向に基づいて、ターゲットオブジェクトに対する前記ヒット演算処理を行うことを特徴とするプログラム。
【請求項１４】
請求項１２又は１３において、
前記画像情報取得部は、
前記画像センサからの前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、
前記情報取得部は、
前記デプス情報に基づいて、前記プレーヤの前記所持物又は前記部位の前記方向情報及び前記形状情報の少なくとも１つを前記ヒット演算用情報として取得することを特徴とするプログラム。
【請求項１５】
請求項１４において、
前記情報取得部は、
前記デプス情報に基づいて、前記ヒット演算用情報の前記方向情報として複数の第１〜第Ｎの方向情報（Ｎは２以上の整数）を取得し、
前記ヒット演算部は、
前記ヒット演算用情報である前記第１〜第Ｎの方向情報に基づいて、前記ヒット演算処理を行うことを特徴とするプログラム。
【請求項１６】
請求項１４において、
前記ヒット演算部は、
前記デプス情報に基づき取得された前記所持物又は前記部位の形状情報に基づいてヒット範囲を設定し、設定されたヒット範囲に基づいて前記ヒット演算処理を行うことを特徴とするプログラム。
【請求項１７】
請求項１２乃至１６のいずれかにおいて、
前記情報取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記プレーヤの前記所持物又は前記部位についての前記方向情報を取得することを特徴とするプログラム。
【請求項１８】
請求項１２乃至１７のいずれかにおいて、
前記情報取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記ヒット演算用情報の取得のための前記画像処理の処理領域を設定することを特徴とするプログラム。
【請求項１９】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての位置情報を取得する情報取得部と、
オブジェクト空間内に配置設定される仮想カメラの制御を行う仮想カメラ制御部と、
画像生成部として、
コンピュータを機能させ、
前記仮想カメラ制御部は、
前記所持物又は前記部位の前記位置情報に基づいて、前記オブジェクト空間内に前記仮想カメラを配置設定し、
前記画像生成部は、
前記オブジェクト空間内において前記仮想カメラから見える画像を生成することを特徴とするプログラム。
【請求項２０】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至１９のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項２１】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つを、レンダリング用情報として取得する情報取得部と、
前記方向情報、前記色情報及び前記形状情報の少なくとも１つである前記レンダリング用情報に基づくレンダリング処理を行って、画像を生成する画像生成部と、
を含むことを特徴とする画像生成システム。
【請求項２２】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報及び形状情報の少なくとも１つを、ヒット演算用情報として取得する情報取得部と、
取得された前記ヒット演算用情報に基づいてヒット演算処理を行うヒット演算部と、
前記ヒット演算処理の結果に基づいて、画像を生成する画像生成部と、
を含むことを特徴とする画像生成システム。
【請求項２３】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての位置情報を取得する情報取得部と、
オブジェクト空間内に配置設定される仮想カメラの制御を行う仮想カメラ制御部と、
画像生成部とを含み、
前記仮想カメラ制御部は、
前記所持物又は前記部位の前記位置情報に基づいて、前記オブジェクト空間内に前記仮想カメラを配置設定し、
前記画像生成部は、
前記オブジェクト空間内において前記仮想カメラから見える画像を生成することを特徴とする画像生成システム。
【請求項１】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つを、レンダリング用情報として取得する情報取得部と、
前記方向情報、前記色情報及び前記形状情報の少なくとも１つである前記レンダリング用情報に基づくレンダリング処理を行って、画像を生成する画像生成部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項２】
請求項１において、
前記画像生成部は、
前記レンダリング用情報に基づいて、オブジェクト空間に配置設定される光源の光源情報を設定し、前記光源情報が設定された前記光源を用いたレンダリング処理を行って、オブジェクト空間内において仮想カメラから見える画像を生成することを特徴とするプログラム。
【請求項３】
請求項２において、
前記プレーヤに対応するキャラクタの制御を行うキャラクタ制御部として、
コンピュータを機能させ、
前記情報取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、
前記画像生成部は、
取得された前記スケルトン情報と前記キャラクタの位置情報に基づいて、前記オブジェクト空間内での前記光源の配置位置を特定することを特徴とするプログラム。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記画像情報取得部は、
前記画像センサからの前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、
前記情報取得部は、
前記デプス情報に基づいて、前記プレーヤの前記所持物又は前記部位の前記方向情報及び前記形状情報の少なくとも１つを前記レンダリング用情報として取得することを特徴とするプログラム。
【請求項５】
請求項４において、
前記情報取得部は、
前記デプス情報に基づいて、前記レンダリング用情報の前記方向情報として複数の第１〜第Ｎの方向情報（Ｎは２以上の整数）を取得し、
前記画像生成部は、
前記レンダリング用情報である前記第１〜第Ｎの方向情報に基づくレンダリング処理を行って、画像を生成することを特徴とするプログラム。
【請求項６】
請求項４において、
前記画像生成部は、
前記デプス情報に基づき取得された前記所持物又は前記部位の形状情報に基づいてレンダリング範囲を設定し、設定されたレンダリング範囲で前記レンダリング処理を行うことを特徴とするプログラム。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記情報取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記プレーヤの前記所持物又は前記部位についての前記方向情報を取得することを特徴とするプログラム。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記情報取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記レンダリング用情報の取得のための前記画像処理の処理領域を設定することを特徴とするプログラム。
【請求項９】
請求項１乃至８のいずれかにおいて、
オブジェクト空間内に配置設定される仮想カメラの制御を行う仮想カメラ制御部として、
コンピュータを機能させ、
前記情報取得部は、
前記プレーヤの前記所持物又は前記部位の位置情報を取得し、
前記仮想カメラ制御部は、
前記所持物又は前記部位の前記位置情報に基づいて、前記オブジェクト空間内に前記仮想カメラを配置設定し、
前記画像生成部は、
前記オブジェクト空間内において前記仮想カメラから見える画像を生成することを特徴とするプログラム。
【請求項１０】
請求項９において、
前記仮想カメラ制御部は、
前記所持物又は前記部位の前記位置情報に対応する位置に、前記仮想カメラを配置し、前記所持物又は前記部位の前記方向情報に対応する方向に、前記仮想カメラの方向を向ける制御を行うことを特徴とするプログラム。
【請求項１１】
請求項９又は１０において、
前記情報取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記所持物又は前記部位の前記位置情報を取得することを特徴とするプログラム。
【請求項１２】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報及び形状情報の少なくとも１つを、ヒット演算用情報として取得する情報取得部と、
取得された前記ヒット演算用情報に基づいてヒット演算処理を行うヒット演算部と、
前記ヒット演算処理の結果に基づいて、画像を生成する画像生成部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１３】
請求項１２において、
前記ヒット演算部は、
前記ヒット演算用情報の前記方向情報により特定される軌道方向に基づいて、ターゲットオブジェクトに対する前記ヒット演算処理を行うことを特徴とするプログラム。
【請求項１４】
請求項１２又は１３において、
前記画像情報取得部は、
前記画像センサからの前記画像情報として、各画素位置にデプス値が設定されたデプス情報を取得し、
前記情報取得部は、
前記デプス情報に基づいて、前記プレーヤの前記所持物又は前記部位の前記方向情報及び前記形状情報の少なくとも１つを前記ヒット演算用情報として取得することを特徴とするプログラム。
【請求項１５】
請求項１４において、
前記情報取得部は、
前記デプス情報に基づいて、前記ヒット演算用情報の前記方向情報として複数の第１〜第Ｎの方向情報（Ｎは２以上の整数）を取得し、
前記ヒット演算部は、
前記ヒット演算用情報である前記第１〜第Ｎの方向情報に基づいて、前記ヒット演算処理を行うことを特徴とするプログラム。
【請求項１６】
請求項１４において、
前記ヒット演算部は、
前記デプス情報に基づき取得された前記所持物又は前記部位の形状情報に基づいてヒット範囲を設定し、設定されたヒット範囲に基づいて前記ヒット演算処理を行うことを特徴とするプログラム。
【請求項１７】
請求項１２乃至１６のいずれかにおいて、
前記情報取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記プレーヤの前記所持物又は前記部位についての前記方向情報を取得することを特徴とするプログラム。
【請求項１８】
請求項１２乃至１７のいずれかにおいて、
前記情報取得部は、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える前記プレーヤの動作を特定するスケルトン情報を取得し、取得された前記スケルトン情報に基づいて、前記ヒット演算用情報の取得のための前記画像処理の処理領域を設定することを特徴とするプログラム。
【請求項１９】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての位置情報を取得する情報取得部と、
オブジェクト空間内に配置設定される仮想カメラの制御を行う仮想カメラ制御部と、
画像生成部として、
コンピュータを機能させ、
前記仮想カメラ制御部は、
前記所持物又は前記部位の前記位置情報に基づいて、前記オブジェクト空間内に前記仮想カメラを配置設定し、
前記画像生成部は、
前記オブジェクト空間内において前記仮想カメラから見える画像を生成することを特徴とするプログラム。
【請求項２０】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至１９のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項２１】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報、色情報及び形状情報の少なくとも１つを、レンダリング用情報として取得する情報取得部と、
前記方向情報、前記色情報及び前記形状情報の少なくとも１つである前記レンダリング用情報に基づくレンダリング処理を行って、画像を生成する画像生成部と、
を含むことを特徴とする画像生成システム。
【請求項２２】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての方向情報及び形状情報の少なくとも１つを、ヒット演算用情報として取得する情報取得部と、
取得された前記ヒット演算用情報に基づいてヒット演算処理を行うヒット演算部と、
前記ヒット演算処理の結果に基づいて、画像を生成する画像生成部と、
を含むことを特徴とする画像生成システム。
【請求項２３】
画像センサからの画像情報を取得する画像情報取得部と、
前記画像情報に基づく画像処理を行って、プレーヤの所持物又は部位についての位置情報を取得する情報取得部と、
オブジェクト空間内に配置設定される仮想カメラの制御を行う仮想カメラ制御部と、
画像生成部とを含み、
前記仮想カメラ制御部は、
前記所持物又は前記部位の前記位置情報に基づいて、前記オブジェクト空間内に前記仮想カメラを配置設定し、
前記画像生成部は、
前記オブジェクト空間内において前記仮想カメラから見える画像を生成することを特徴とする画像生成システム。
【図１】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−２１５９１９（Ｐ２０１１−２１５９１９Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８３８９１（Ｐ２０１０−８３８９１）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
[ Back to top ]