プログラム、情報記憶媒体及び画像生成システム
【課題】立体視においてプレーヤが感じる不自然さを軽減できるプログラム、情報記憶媒体、画像生成システム等の提供。
【解決手段】画像生成システムは、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、オブジェクト空間において立体視における第１視点から見える第１視点画像と、オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部を含む。画像生成部は、第１視点に対応する第１視点用ビューボリュームと第２視点に対応する第２視点用ビューボリュームとの共通領域の内側描画領域から、内側描画領域の外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、第１視点画像、第２視点画像を生成する。
【解決手段】画像生成システムは、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、オブジェクト空間において立体視における第１視点から見える第１視点画像と、オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部を含む。画像生成部は、第１視点に対応する第１視点用ビューボリュームと第２視点に対応する第２視点用ビューボリュームとの共通領域の内側描画領域から、内側描画領域の外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、第１視点画像、第２視点画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及び画像生成システム等に関する。
【背景技術】
【０００２】
近年、映画やゲーム等の分野において、より臨場感が溢れる画像を生成・表示するシステムとして、立体視画像の生成・表示システムが脚光を浴びている。例えばこの立体視画像生成・表示システムの１つである２眼式の立体視画像生成・表示システムでは、左眼用画像と右眼用画像を生成・表示する。そして例えばプレーヤが立体視用の眼鏡を装着して、左眼は左眼用画像のみを見て、右眼は右眼用画像のみを見るようにすることで、立体視を実現する。このような立体視を実現する画像生成・表示システムの従来技術としては、例えば特許文献１に開示される技術がある。
【０００３】
このような立体視用画像をＣＧ（Computer Graphics）で生成する場合には、左眼用仮想カメラに対応する左眼用ビューボリューム（左眼用視錐台）を視界に設定して、描画処理を行い、左眼用画像を生成する。また右眼用仮想カメラに対応する右眼用ビューボリューム（右眼用視錐台）を視界に設定して、描画処理を行い、右眼用画像を生成する。
【０００４】
しかしながら、このように左眼用、右眼用のビューボリュームを設定した場合に、左眼用ビューボリューム内に存在するオブジェクトが、右眼用ビューボリューム内には存在しなかったり、左眼用ビューボリューム内に存在するオブジェクトが、右眼用ビューボリューム内には存在しなかったりするなどの事態が生じる。即ち、いわゆるフレームバイオレーション（ウィンドウ違反）の問題が存在する。このため、ビューボリュームのクリッピング面付近に位置するオブジェクトが、プレーヤの左眼からは見えるが右眼からは見えなかったり、プレーヤの右眼からは見えるが左眼からは見えなかったりするなどの事態が生じ、プレーヤが不自然さを感じるおそれがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１２６９０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、立体視においてプレーヤが感じる不自然さを軽減できるプログラム、情報記憶媒体、画像生成システム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、前記オブジェクト空間において立体視における第１視点から見える第１視点画像と、前記オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部とを含み、前記画像生成部は、前記第１視点に対応する第１視点用ビューボリュームと前記第２視点に対応する第２視点用ビューボリュームとの共通領域の内側描画領域から、前記内側描画領域の外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成する画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００８】
本発明の一態様によれば、オブジェクト空間において第１視点、第２視点から見える第１視点画像、第２視点画像が生成されることで、立体視が実現される。この場合に本発明の一態様では、第１視点用、第２視点用ビューボリュームの共通領域の内側描画領域から外側へと向かう方向で、オブジェクトの表示態様が変化するような第１視点画像、第２視点画像が生成される。このようにすれば、例えばスクリーンの左右端辺付近等でのオブジェクトの画像の見え方の異なり度合いを低減でき、立体視においてプレーヤが感じる不自然さを軽減することが可能になる。
【０００９】
また本発明の一態様では、前記画像生成部は、前記内側描画領域から前記内側描画領域の外側へと向かう方向で、オブジェクトが徐々に透明に近づく描画処理を行って、前記第１視点画像、前記第２視点画像を生成してもよい。
【００１０】
このようにすれば、内側描画領域から外側に向かうにつれてオブジェクトが徐々に透明になるような第１視点画像、第２視点画像が生成されるようになり、より自然に見える立体視用画像の提供が可能になる。
【００１１】
また本発明の一態様では、前記画像生成部は、前記内側描画領域から前記内側描画領域の外側へと向かう方向で、オブジェクトが徐々にデフォーカスされる描画処理を行って、前記第１視点画像、前記第２視点画像を生成してもよい。
【００１２】
このようにすれば、内側描画領域から外側に向かうにつれてオブジェクトが徐々にデフォーカスされるような第１視点画像、第２視点画像が生成されるようになり、不自然さが軽減された立体視用画像の提供が可能になる。
【００１３】
また本発明の一態様では、前記画像生成部は、前記内側描画領域から前記内側描画領域の外側へと向かう方向で、オブジェクトの色が徐々にターゲット色に近づく描画処理を行って、前記第１視点画像、前記第２視点画像を生成してもよい。
【００１４】
このようにすれば、内側描画領域から外側に向かうにつれてオブジェクトの色が徐々にターゲット色に近づくような第１視点画像、第２視点画像が生成されるようになり、不自然さが軽減された立体視用画像の提供が可能になる。
【００１５】
また本発明の一態様では、画像が表示される表示部の画面の、プレーヤ側から見た場合の周囲の色情報を取得する情報取得部を含み（情報取得部としてコンピュータを機能させ）、前記画像生成部は、取得された前記色情報に基づいて、前記ターゲット色を設定してもよい。
【００１６】
このようにすれば、表示部の画面の存在感を消すことができ、いわゆる光学迷彩のような画像表現が可能になる。
【００１７】
また本発明の一態様では、前記画像生成部は、前記共通領域の前記内側描画領域から、前記共通領域のクリッピング面に近づくにつれて、オブジェクトの表示態様が徐々に変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成してもよい。
【００１８】
このようにすれば、共通領域のクリッピング面に近づくにつれてオブジェクトの表示態様が徐々に変化するような第１視点画像、第２視点画像が生成されるようになる。従って、例えば一方のビューボリュームにおいて、オブジェクトの一部がクリッピング面によってクリッピングされているような場合にも、より自然に見える立体視用画像を提供できるようになる。
【００１９】
また本発明の一態様では、前記画像生成部は、前記第１視点用ビューボリュームにおけるオブジェクトの頂点のスクリーン上での位置である第１視点側頂点スクリーン位置と、前記第２視点用ビューボリュームにおけるオブジェクトの頂点の前記スクリーン上での位置である第２視点側頂点スクリーン位置とを求め、求められた前記第１視点側頂点スクリーン位置、前記第２視点側頂点スクリーン位置に基づいて、オブジェクトの表示態様を変化させる描画処理を行って、前記第１視点画像、前記第２視点画像を生成してもよい。
【００２０】
このようにすれば、第１視点側頂点スクリーン位置や第２視点側頂点スクリーン位置を求めるという頂点処理により、内側描画領域から外側へと向かう方向でオブジェクトの表示態様を変化させる描画処理を実現できる。
【００２１】
また本発明の一態様では、前記画像生成部は、前記第１視点側頂点スクリーン位置と前記スクリーンの前記左右端辺との距離に応じて設定される第１のα値と、前記第２視点側頂点スクリーン位置と前記スクリーンの前記左右端辺との距離に応じて設定される第２のα値とを求め、前記第１、第２のα値に基づいて、オブジェクトの頂点のα値を設定して、前記第１視点画像、前記第２視点画像を生成してもよい。
【００２２】
このようにすれば、第１視点側頂点スクリーン位置により求まる第１のα値と、第２視点側頂点スクリーン位置により求まる第２のα値により、オブジェクトの頂点のα値を設定して、内側描画領域から外側へと向かう方向でオブジェクトの表示態様を変化させる描画処理を実現できる。
【００２３】
また本発明の一態様では、前記第１視点用ビューボリュームと前記第２視点用ビューボリュームとの前記共通領域の内側に前記内側描画領域を設定する領域設定部を含み（領域設定部としてコンピュータを機能させ）、前記領域設定部は、前記共通領域の形状に変化に応じて前記内側描画領域の形状を変化させてもよい。
【００２４】
このようにすれば、第１視点用ビューボリュームや第２視点用ビューボリュームの位置や方向が変化して、これらのビューボリュームの共通領域の形状が変化した場合にも、内側描画領域の形状が変化することで、これに対応することが可能になる。
【００２５】
また本発明の一態様では、前記領域設定部は、自由曲面で形成された前記内側描画領域の形状を、前記共通領域の頂点を制御点として変形させてもよい。
【００２６】
このようにすれば、自由曲面の手法を有効活用して、共通領域の形状変化に応じた内側描画領域の形状変形を実現できる。
【００２７】
また本発明の一態様では、プレーヤの左眼、右眼の位置情報を取得する情報取得部と、視点制御部とを含み（情報取得部、視点制御部としてコンピュータを機能させ）、前記視点制御部は、取得された前記位置情報に基づいて、前記第１視点用ビューボリューム、前記第２視点用ビューボリュームを設定してもよい。
【００２８】
このようにすれば、プレーヤの左眼、右眼の位置に応じて、第１視点用ビューボリューム、第２視点用ビューボリュームの位置や方向が変化するようになる。従って、上記で説明した自然に見える処理が、プレーヤ自身の位置移動に連動するような画像表現を実現できる。
【００２９】
また本発明の一態様では、前記プレーヤが装着する認識用部材には、前記プレーヤの左眼に対応する左眼用マーカと、前記プレーヤの右眼に対応する右眼用マーカとが設けられ、前記情報取得部は、前記プレーヤが装着する認識用部材を撮像する撮像部からの撮像情報に基づいて、前記プレーヤの左眼、右眼の前記位置情報を取得してもよい。
【００３０】
このようにすれば、左眼用マーカと右眼用マーカを認識用部材に設けるだけで、プレーヤの左眼、右眼の位置情報を簡素な処理で取得できるようになる。
【００３１】
また本発明の一態様では、前記情報取得部は、前記プレーヤの左眼と右眼の間の距離情報を取得し、前記視点制御部は、取得された前記距離情報に基づいて、前記第１視点と前記第２視点の間の視点間距離を設定して、前記第１視点用ビューボリューム、前記第２視点用ビューボリュームを設定してもよい。
【００３２】
このようにすれば、プレーヤの左眼と右眼の間の距離情報に応じた距離に、第１視点と第２視点の間の視点間距離を設定できるようになり、プレーヤの両眼間隔（瞳孔間距離）の個人差を反映した立体視用画像の提供が可能になる。
【００３３】
また本発明の一態様では、前記認識用部材は、左眼部分と右眼部分の間の距離を調整するための調整機構を有する眼鏡であり、前記情報取得部は、前記眼鏡の前記左眼部分に設けられた左眼用マーカと前記右眼部分に設けられた右眼用マーカの撮像情報に基づいて、前記プレーヤの左眼と右眼の間の距離情報を取得してもよい。
【００３４】
このようにすれば、プレーヤが、認識用部材である眼鏡の調整機構を使って調整を行うだけで、プレーヤの左眼と右眼の間の距離情報を取得して、第１視点と第２視点の間の視点間距離を設定できるようになる。
【００３５】
また本発明の他の態様は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、前記オブジェクト空間において立体視における第１視点から見える第１視点画像と、前記オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部とを含み、前記画像生成部は、オブジェクトが透視投影されるスクリーンの左右端辺側に近づくにつれて、オブジェクトの表示態様が変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成する画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００３６】
本発明の他の態様によれば、スクリーンの左右端辺側に近づくにつれて、オブジェクトの表示態様が変化するような第１視点画像、第２視点画像が生成される。このようにすれば、例えばスクリーンの左右端辺付近等でのオブジェクトの画像の見え方の異なり度合いを低減でき、立体視においてプレーヤが感じる不自然さを軽減することが可能になる。
【００３７】
また本発明の他の態様では、前記画像生成部は、前記第１視点に対応する第１視点用ビューボリュームにおけるオブジェクトの頂点のスクリーン上での位置である第１視点側頂点スクリーン位置と、前記第２視点に対応する第２視点用ビューボリュームにおけるオブジェクトの頂点の前記スクリーン上での位置である第２視点側頂点スクリーン位置とを求め、求められた前記第１視点側頂点スクリーン位置、前記第２視点側頂点スクリーン位置に基づいて、オブジェクトの表示態様を変化させる描画処理を行って、前記第１視点画像、前記第２視点画像を生成してもよい。
【００３８】
また本発明の一態様では、前記第１視点、前記第２視点は、二眼式立体視における左眼側仮想カメラ、右眼側仮想カメラの視点であってもよい。
【００３９】
また本発明の一態様では、前記第１視点、前記第２視点は、多眼式立体視における視点群のうちの２つの視点、又は空間像方式立体視における設定観察範囲内の任意の２視点であってもよい。
【００４０】
空間像方式立体視では、描画時には特定の視点が想定されないことも多いが、代表的な観察位置は設定される。そこで、この代表的な観察位置に基づく、プレーヤの両眼位置等を、上記の第１視点、第２視点としてもよい。或いは、観察範囲の両端に相当する位置を、上記の第１視点、第２視点としてもよい。
【００４１】
また本発明の一態様では、表示部の画面とプレーヤとの位置関係情報を取得する情報取得部と、取得された前記位置関係情報に基づいて、前記多眼式立体視又は前記空間像方式立体視における前記第１視点と前記第２視点を選択する視点選択部を含んでもよい（情報取得部、視点選択部としてコンピュータを機能させてもよい）。
【００４２】
このようにすれば、画面とプレーヤの位置関係情報に基づき選択された第１視点用ビューボリュームと第２視点用ビューボリュームとの共通領域の内側描画領域から外側へと向かう方向で、オブジェクトの表示態様が変化するような第１視点画像、第２視点画像を生成できるようになる。これにより、立体視においてプレーヤが感じる不自然さを軽減することが可能になり、多眼式立体視や空間像方式立体視に適切な態様での立体視表示が可能になる。
【図面の簡単な説明】
【００４３】
【図１】本実施形態の画像生成システムの構成例。
【図２】左眼用ビューボリューム、右眼用ビューボリュームの設定手法の説明図。
【図３】左眼用ビューボリューム、右眼用ビューボリュームの設定手法の説明図。
【図４】本実施形態の手法の説明図。
【図５】本実施形態の手法の説明図。
【図６】本実施形態の手法を用いなかった場合に生成される左眼用画像、右眼用画像の例。
【図７】本実施形態の手法を用いた場合に生成される左眼用画像、右眼用画像の例。
【図８】ターゲット色の取得手法の説明図。
【図９】図９（Ａ）、図９（Ｂ）は本実施形態の詳細な処理の説明図。
【図１０】本実施形態の詳細な処理を説明するフローチャート。
【図１１】本実施形態の詳細な処理を説明するフローチャート。
【図１２】図１２（Ａ）、図１２（Ｂ）は本実施形態の詳細な処理におけるα値の設定手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）は内側描画領域の設定手法の説明図。
【図１４】図１４（Ａ）、図１４（Ｂ）は内側描画領域の設定手法の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）はプレーヤの左眼、右眼の位置情報の取得手法の説明図。
【図１６】図１６（Ａ）、図１６（Ｂ）はプレーヤの左眼、右眼の位置情報に基づくビューボリュームの設定手法の説明図。
【図１７】プレーヤの左眼、右眼の位置情報に基づくビューボリュームの設定手法の説明図。
【図１８】左眼部分と右眼部分の間の距離を調整するための調整機構を有する眼鏡の例。
【図１９】図１９（Ａ）、図１９（Ｂ）はプレーヤの左眼、右眼の位置情報に基づくカメラ間距離の設定手法の説明図。
【図２０】図２０（Ａ）、図２０（Ｂ）は本実施形態の手法が適用される立体視用画像生成手法の説明図。
【図２１】多眼式立体視等の場合の視点選択手法の説明図。
【図２２】多眼式立体視等の場合の視点選択手法の説明図。
【発明を実施するための形態】
【００４４】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４５】
１．構成
図１に本実施形態の画像生成システム（ゲームシステム）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４６】
操作部１６０は、プレーヤが操作データを入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
【００４７】
撮像部１６２は、被写体を撮像するものであり、ＣＣＤやＣＭＯＳセンサなどの撮像素子や、レンズ等の光学系により実現できる。撮像部１６２の撮像により取得された撮像情報（撮像画像データ）は、撮像情報記憶部１７４に記憶されて保存される。
【００４８】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００４９】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００５０】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、各種プロジェクター型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。また、これらは、タッチパネル等と一体型であってもよい。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００５１】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００５２】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００５３】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００５４】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００５５】
処理部１００は、ゲーム演算部１０２、オブジェクト空間設定部１０４、移動体演算部１０６、仮想カメラ制御部１０８、情報取得部１１０、領域設定部１１２、視点選択部１１４、画像生成部１２０、音生成部１３０を含む。
【００５６】
ゲーム演算部１０２はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００５７】
オブジェクト空間設定部１０４は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７２には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１０４は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００５８】
移動体演算部１０６は、キャラクタ等の移動体を移動させるための演算を行う。また移動体（移動体オブジェクト）を動作させるための演算も行う。即ち操作部１６０によりプレーヤが入力した操作データや、プログラム（移動・動作アルゴリズム）や、各種データ（モーションデータ）などに基づいて、移動体（オブジェクト、モデルオブジェクト）をオブジェクト空間内で移動させたり、移動体を動作（モーション、アニメーション）させる処理を行う。具体的には、移動体の移動情報（位置、回転角度、速度、或いは加速度）や動作情報（パーツオブジェクトの位置、或いは回転角度）を、１フレーム（１／６０秒等）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動体の移動・動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。
【００５９】
仮想カメラ制御部１０８（広義には視点制御部）は視点の制御処理を行う。具体的には、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラの制御処理（広義には視点の制御処理）を行う。例えば、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００６０】
例えば仮想カメラによりキャラクタを後方から撮影する場合には、キャラクタの位置又は方向の変化に仮想カメラが追従するように、仮想カメラの位置（視点位置）や方向（視線方向）を制御する。この場合には、移動体演算部１０６で得られたキャラクタの位置、方向又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は方向を特定するための仮想カメラデータに基づいて仮想カメラを制御する。
【００６１】
情報取得部１１０は、例えば撮像部１６２からの撮像情報等に基づいて種々の情報を取得する。例えば画像が表示される表示部１９０の画面の周囲の色情報（プレーヤから見た場合の周囲の色情報）を取得する。或いは、プレーヤ（観者）の左眼、右眼の位置情報（表示部１９０の画面に対する相対的な位置情報）を取得する。例えば情報取得部１１０は、表示部１９０の画面とプレーヤとの位置関係情報（画面に対するプレーヤの相対的な位置情報）を取得する。
【００６２】
領域設定部１１２は、第１視点用ビューボリューム（狭義には左眼用ビューボリューム）と第２視点用ビューボリューム（狭義には右眼用ビューボリューム）との共通領域（重複する領域）の内側に内側描画領域を設定する処理などを行う。
【００６３】
視点選択部１１４は、多眼式立体視や空間像方式立体視における視点の選択処理を行う。
【００６４】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。
【００６５】
例えば画像生成部１２０は、頂点処理部１２２、ピクセル処理部１２４を含むことができる。
【００６６】
頂点処理部１２２（頂点シェーダ、ジオメトリーシェーダ）は頂点処理を行う。具体的には、オブジェクトの頂点データ（頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）に基づいて、頂点処理（頂点シェーダによるシェーディング）を行う。なお頂点処理を行うに際して、必要に応じてポリゴンを再分割するための頂点生成処理（テッセレーション、曲面分割、ポリゴン分割）を行うようにしてもよい。
【００６７】
頂点処理では、頂点処理プログラム（頂点シェーダプログラム、第１のシェーダプログラム）に従って、頂点の移動処理や、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、あるいは透視変換等のジオメトリ処理が行われ、その処理結果に基づいて、オブジェクトを構成する頂点群について与えられた頂点データを変更（更新、調整）する。そして、頂点処理後の頂点データに基づいてラスタライズ（走査変換）が行われ、ポリゴン（プリミティブ）の面とピクセルとが対応づけられる。
【００６８】
ピクセル処理部１２４（ピクセルシェーダ）はピクセル処理を行う。具体的には、ラスタライズ後に、画像を構成するピクセル（表示画面を構成するフラグメント）を描画するピクセル処理（ピクセルシェーダによるシェーディング、フラグメント処理）を行う。
【００６９】
ピクセル処理では、ピクセル処理プログラム（ピクセルシェーダプログラム、第２のシェーダプログラム）に従って、テクスチャの読み出し（テクスチャマッピング）、色データの設定／変更、半透明合成、アンチエイリアス等の各種処理を行って、画像を構成するピクセルの最終的な描画色を決定し、透視変換されたオブジェクトの描画色を描画バッファ１７８に出力（描画）する。即ち、ピクセル処理では、画像情報（色、法線、輝度、α値等）をピクセル単位で設定あるいは変更するパーピクセル処理を行う。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。
【００７０】
なお頂点処理やピクセル処理は、シェーディング言語によって記述されたシェーダプログラムによって、ポリゴン（プリミティブ）の描画処理をプログラム可能にするハードウェア、いわゆるプログラマブルシェーダ（頂点シェーダやピクセルシェーダ）により実現できる。プログラマブルシェーダでは、頂点単位の処理やピクセル単位の処理がプログラム可能になることで描画処理内容の自由度が高く、従来のハードウェアによる固定的な描画処理に比べて表現力を大幅に向上させることができる。
【００７１】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００７２】
そして本実施形態では、画像生成部１２０が、オブジェクト空間において立体視（二眼式、多眼式、空間像方式）における第１視点から見える第１視点画像と、オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する。
【００７３】
この場合に画像生成部１２０は、第１視点に対応する第１視点用ビューボリューム（第１視点用視錐台）と第２視点に対応する第２視点用ビューボリューム（第２視点用視錐台）との共通領域（重複領域）の内側描画領域（共通領域に内包される領域）から、内側描画領域の外側（左右クリッピング面側）へと向かう方向で、オブジェクトの表示態様（透明度、デフォーカス度又は色等）が変化する描画処理を行って、第１視点画像、第２視点画像を生成する。具体的には、共通領域の内側描画領域から、共通領域のクリッピング面（左側クリッピング面、右側クリッピング面）に近づくにつれて、オブジェクトの表示態様が徐々に変化する描画処理を行って、第１視点画像、第２視点画像を生成する。別の言い方をすれば、オブジェクトが透視投影されるスクリーンの左右端辺側（左端辺側、右端辺側）に近づくにつれて、オブジェクトの表示態様が変化する描画処理を行って、第１視点画像、第２視点画像を生成する。
【００７４】
二眼式立体視を例にとれば、仮想カメラ制御部１０８が、左眼用仮想カメラ及び右眼用仮想カメラの設定を行い、画像生成部１２０は、オブジェクト空間において左眼用仮想カメラ（広義には第１視点）から見える左眼用画像（広義には第１視点画像）と、オブジェクト空間において右眼用仮想カメラ（広義には第２視点）から見える右眼用画像（広義には第２視点画像）を生成する。そして画像生成部１２０は、左眼用仮想カメラに対応する左眼用ビューボリューム（広義には第１視点用ビューボリューム）と右眼用仮想カメラに対応する右眼用ビューボリューム（広義には第２視点用ビューボリューム）との共通領域の内側描画領域から、内側描画領域の外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、左眼用画像、右眼用画像を生成する。
【００７５】
ここで、オブジェクトの表示態様を変化させる処理としては種々の処理を想定できる。例えば画像生成部１２０は、第１視点用ビューボリューム（左眼用ビューボリューム）と第２視点用ビューボリューム（右眼用ビューボリューム）の共通領域の内側描画領域から、内側描画領域の外側へと向かう方向で、オブジェクトが徐々に透明に近づく描画処理を行って、第１視点画像(左眼用画像）、第２視点画像（右眼用画像）を生成する。或いは、内側描画領域から外側へと向かう方向で、オブジェクトが徐々にデフォーカスされたり、オブジェクトの色が徐々にターゲット色に近づく描画処理を行って、第１視点画像（左眼用画像）、第２視点画像（右眼用画像）を生成する。なおオブジェクトの表示態様を変化させる処理は、これらには限定されず、例えば輝度を変化させて徐々に暗くするなどの処理であってもよい。
【００７６】
また、オブジェクトの色を近づけるターゲット色の設定手法としては種々の手法を想定できる。例えば情報取得部１１０は、画像が表示される表示部１９０の画面の、プレーヤ側から見た場合の周囲の色情報を取得する。例えば表示部１９０の画面の縁部（枠部）の色情報を取得したり、表示部１９０の後ろ側の背景の色情報を取得する。そして画像生成部１２０は、取得された色情報に基づいて、ターゲット色を設定し、内側描画領域から外側へと向かう方向で、オブジェクトの色が徐々にターゲット色に近づく描画処理を行って、第１視点画像、第２視点画像を生成する。
【００７７】
また例えば頂点シェーダやピクセルシェーダにより画像を生成する場合には、画像生成部１２０は、第１視点用ビューボリューム（左眼用ビューボリューム）におけるオブジェクトの頂点のスクリーン上での位置である第１視点側頂点スクリーン位置（左眼側頂点スクリーン位置）を求める。即ち、第１視点用ビューボリュームにおいてオブジェクトの頂点をスクリーンに透視投影した位置を、第１視点側頂点スクリーン位置として求める。また画像生成部１２０は、第２視点用ビューボリューム（右眼用ビューボリューム）におけるオブジェクトの頂点のスクリーン上での位置である第２視点側頂点スクリーン位置（右眼側頂点スクリーン位置）を求める。即ち、第２視点用ビューボリュームにおいてオブジェクトの頂点をスクリーンに透視投影した位置を、第２視点側頂点スクリーン位置として求める。
【００７８】
そして画像生成部１２０は、求められた第１視点側頂点スクリーン位置（左眼側頂点スクリーン位置）、第２視点側頂点スクリーン位置（右眼側頂点スクリーン位置）に基づいて、オブジェクトの表示態様（透明度、デフォーカス度又は色等）を徐々に変化させる描画処理を行って、第１視点画像、第２視点画像を生成する。具体的には、第１視点側頂点スクリーン位置とスクリーンの左右端辺（左端辺、右端辺）との距離に応じて設定される第１のα値と、第２視点側頂点スクリーン位置とスクリーンの左右端辺との距離に応じて設定される第２のα値とを求める。そして、求められた第１、第２のα値に基づいて、オブジェクトの頂点のα値を設定して、第１視点画像、第２視点画像を生成する。具体的には、例えば第１、第２のα値のうちの小さい方の値を、オブジェクトの頂点のα値に設定して描画処理を行い、第１視点画像、第２視点画像を生成する。このようにすれば、内側描画領域から、第１視点用、第２視点用ビューボリュームの共通領域のクリッピング面に近づくにつれて、オブジェクトが徐々に透明に近づく第１視点画像、第２視点画像を生成できる。
【００７９】
ここで内側描画領域は、領域設定部１１２が、第１視点用（左眼用）、第２視点用（右眼用）ビューボリュームとの共通領域の内側に設定するようにしてもよい。この場合には領域設定部１１２は、共通領域の形状に変化に応じて内側描画領域の形状を変化させる。即ち、第１視点、第２視点（左眼用、右眼用仮想カメラ）の位置や方向が変化すると、第１視点用、第２視点用ビューボリュームの位置や方向も変化し、これらのビューボリュームの共通領域の形状も変化する。この場合に領域設定部１１２は、共通領域の形状の変化に追従するように、共通領域の内側描画領域の形状を変化させる。例えば自由曲面（NURBS等）で形成された内側描画領域の形状を、共通領域の頂点を制御点として変形させる。即ち共通領域の頂点である制御点の位置の変化に追従するように、自由曲面で形成された内側描画領域の形状を変化させる。
【００８０】
なお仮想カメラ制御部１０８（視点制御部）は、例えば第１視点、第２視点（左眼用、右眼用仮想カメラ）を設定するための基準となる基準視点（基準仮想カメラ、センターカメラ）の制御を行う。そして、得られた基準視点（基準仮想カメラ）の位置情報、方向情報と、設定された視点間距離（カメラ間距離）の情報に基づいて、第１視点、第２視点（左眼用、右眼用仮想カメラ）の位置情報（視点位置）、方向情報（視線方向）を求める。なお仮想カメラ制御部１０８が、第１視点、第２視点（左眼用、右眼用仮想カメラ）を直接制御するようにしてもよい。
【００８１】
また立体視方式としては、２眼分離眼鏡方式や、パララックスバリアやレンティキュラーレンズや、その他、光線の方向を制御することができる光学素子を用いた裸眼方式などの様々な方式を想定できる。２眼分離眼鏡方式としては、例えば偏光眼鏡方式、継時分離方式、色分離方式などがある。偏光眼鏡方式では、例えば表示部１９０の奇数ラインと偶数ラインに左眼用画像と右眼用画像を交互に表示し、これを偏光眼鏡（例えば左眼に水平方向の偏光フィルタ、右眼に垂直方向の偏光フィルタを付けた眼鏡）で見ることで立体視を実現する。或いは左眼用画像と右眼用画像を特殊な偏光フィルタを有するプロジェクタで投影し、投影画像を偏光眼鏡で見ることで立体視を実現してもよい。また継時分離方式（ページ・フリップ方式）では、表示部１９０に左眼用画像、右眼用画像を所定期間毎（例えば１／１２０秒毎、１／６０秒毎）に交互に表示する。そして、この表示の切り替えに連動して液晶シャッター付きの眼鏡の左眼、右眼の液晶シャッターを交互に開閉することで、立体視を実現する。色分離方式では、例えばアナグリフ画像を生成し、赤青眼鏡等で見ることで、立体視を実現する。
【００８２】
また左眼用画像と右眼用画像から立体用視画像を生成する機能は、画像生成部１２０に持たせてもよいし、表示部１９０（テレビ等）に持たせてもよい。例えば画像生成部１２０が、サイドバイサイド方式の画像信号を出力する。すると表示部１９０が、このサイドバイサイドの画像信号に基づいて、奇数ラインと偶数ラインに左眼用画像と右眼用画像が交互に割り当てられるフィールドシーケンシャル方式の画像を表示する。或いは、左眼用画像と右眼用画像が所定期間毎に交互に切り替えられるフレームシーケンシャル方式の画像を表示する。或いは画像生成部１２０の方が、フィールドシーケンシャル方式やフレームシーケンシャル方式の画像を生成して、表示部１９０に出力するようにしてもよい。
【００８３】
また情報取得部１１０は、プレーヤ（観者）の左眼、右眼の位置情報を取得する。例えば表示部１９０の画面に対する左眼、右眼の相対的な位置情報を取得する。そして仮想カメラ制御部１０８（画像生成部）は、取得された位置情報に基づいて、第１視点用ビューボリューム（左眼用ビューボリューム、左眼用仮想カメラ）、第２視点用ビューボリューム（右眼用ビューボリューム、右眼用仮想カメラ）を設定する。例えば第１視点用、第２視点用ビューボリュームの位置や方向を設定する。このようにすることで、プレーヤの左眼や右眼の位置の変化に応じて、第１視点用ビューボリュームや第２視点用ビューボリュームの位置や方向が変化するようになり、後述する両眼トラッキング画像を生成できるようになる。
【００８４】
この場合に例えばプレーヤが装着する認識用部材に、プレーヤの左眼に対応する左眼用マーカと、プレーヤの右眼に対応する右眼用マーカを設けてもよい。そして情報取得部１１０は、プレーヤが装着する認識用部材を撮像する撮像部１６２からの撮像情報に基づいて、プレーヤの左眼、右眼の位置情報を取得する。即ち、プレーヤが装着する認識用部材を撮像部１６２により撮像し、得られた撮像情報に基づく画像認識処理により、認識用部材の左眼用マーカと右眼用マーカを画像認識する。そして、画像認識結果に基づいて左眼用マーカ、右眼用マーカの位置を検出して、プレーヤの左眼、右眼の位置情報を求める。このようにすれば、観者の左眼、右眼の位置情報を、撮像部１６２を有効活用した簡素な処理で検出できるようになる。このマーカーは、メガネ式立体視表示装置の場合には、メガネに取り付けても良い。また、顔認識等の技術により、特にマーカーをつけなくても左眼・右眼の位置を検出できる場合には、もちろんマーカーは不要である。
【００８５】
また情報取得部１１０は、プレーヤの左眼と右眼の間の距離情報を取得してもよい。そして仮想カメラ制御部１０８は、取得された距離情報に基づいて、第１視点（左眼用仮想カメラ）と第２視点（右眼用仮想カメラ）の間の視点間距離（カメラ間距離）を設定して、第１視点用ビューボリューム（左眼用ビューボリューム、左眼用仮想カメラ）、第２視点用ビューボリューム（右眼用ビューボリューム、右眼用仮想カメラ）を設定する。具体的には、認識用部材として、左眼部分と右眼部分の間の距離を調整するための調整機構を有する眼鏡を用意する。そして情報取得部１１０は、眼鏡の左眼部分に設けられた左眼用マーカと右眼部分に設けられた右眼用マーカの撮像情報に基づいて、プレーヤの左眼と右眼の間の距離情報を取得する。このようにすれば、プレーヤが眼鏡の調整機構を用いて、左眼部分と右眼部分の間の距離を変化させた場合にも、これに対応して第１視点（左眼用仮想カメラ）と第２視点（右眼用仮想カメラ）の視点間距離（カメラ間距離）も変化するようになり、より適切な視点間距離での立体視用画像を生成できるようになる。また、両眼間隔の違いに合わせた眼鏡を、色や形状を変えて作っておき、その違いを、カメラ等で撮影して認識することで、それぞれの眼鏡に応じた両眼距離を設定するようにしてもよい。例えば子供用の眼鏡と大人用の眼鏡を異なる色や形状にしておき、この色や形状の違いを認識することで、子供用の視差設定を行う。なお、この手法は、眼鏡全体の色や形状を変えることで実現してもよいし、識別用部材だけの色や形状を変えることで実現してもよい。
【００８６】
なお、第１視点画像、第２視点画像を生成する第１視点、第２視点は、例えば二眼式立体視における左眼側仮想カメラ、右眼側仮想カメラの視点である。或いは、第１視点、第２視点は、多眼式立体視又は空間像方式立体視における視点であってもよい。
【００８７】
また情報取得部１１０は、表示部１９０の画面とプレーヤ（観者）との位置関係情報を取得する。この位置関係情報は、例えばプレーヤの左眼、右眼の位置情報等である。なお、位置関係情報は、表示部１９０の画面とプレーヤ（プレーヤの左眼、右眼）の相対的な位置関係を表す情報であれば十分であり、例えばプレーヤに対する表示部１９０の画面の動き情報を、位置関係情報として取得してもよい。例えば携帯型ゲーム装置において、内蔵するモーションセンサ（ジャイロセンサ、加速度センサ等）を用いて、プレーヤが携帯型ゲーム装置を動かすことによる画面等の動きを検出して、位置関係情報を取得してもよい。
【００８８】
また視点選択部１１４は、取得された位置関係情報に基づいて、多眼式立体視又は空間像方式立体視における第１視点と第２視点を選択する。そして画像生成部１２０は、立体視における第１視点から見える第１視点画像と、第２視点から見える第２視点画像を、立体視用画像として生成する。例えばプレーヤの左眼に見えるべき画像を第１視点画像として生成し、右眼に見えるべき画像を第２視点画像として生成する。空間像方式の場合には、選択された第１視点と第２視点を含むように画像描画範囲を設定した上で、その範囲の画像を生成するようにすればよい。
【００８９】
そして画像生成部１２０は、位置関係情報に基づき選択された第１視点用ビューボリュームと、位置関係情報に基づき選択された第２視点用ビューボリュームとの共通領域（非フレームバイオレーション領域）の内側描画領域から、内側描画領域の外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、第１視点画像、第２視点画像を生成する。例えば、多眼式立体視又は空間像方式立体視において、第１視点画像、第２視点画像を生成するための第１視点、第２視点が選択された場合に、第１視点用ビューボリュームと第２視点用ビューボリュームの共通領域の内側描画領域から外側へと向かう方向で、オブジェクトの表示態様が変化する立体視用画像を生成する。このようにすれば、多眼式立体視又は空間像方式立体視において第１視点、第２視点が選択された場合にも、多眼式立体視や空間像方式立体視に適切な態様での立体視表示が可能になる。
【００９０】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【００９１】
２．１ 内側描画領域から外側に向かう方向での表示態様の変更
まず立体視におけるビューボリュームの設定について説明する。なお、以下では二眼式立体視の場合を主に例に取り説明する。この場合には例えば第１視点が左眼用仮想カメラの視点となり、第２視点が右眼用仮想カメラの視点になる。但し、本実施形態の手法は、このような二眼式立体視に限定されるものではなく、後述するように多眼式立体視、空間像方式立体視などの種々の立体視方式に適用可能である。
【００９２】
例えば図２に示すように、立体視用画像を生成するためには、所与のカメラ間距離だけ離れた位置に設定される左眼用仮想カメラＶＣＬ（広義には第１視点カメラ）と右眼用仮想カメラＶＣＲ（広義には第２視点カメラ）を用いる。
【００９３】
そして左眼用仮想カメラＶＣＬに対応して左眼用ビューボリュームＶＶＬ（左眼用視錐台、第１視点用ビューボリューム、第１視点用視錐台）が設定され、右眼用仮想カメラＶＣＲに対応して右眼用ビューボリュームＶＶＲ（右眼用視錐台、第２視点用ビューボリューム、第２視点用視錐台）が設定される。具体的には左眼用、右眼用仮想カメラＶＣＬ、ＶＣＲの位置や方向に基づいて、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲの位置や方向が設定される。
【００９４】
この場合に左眼用仮想カメラＶＣＬから見える画像である左眼用画像は、左眼用ビューボリュームＶＶＬ内に存在するオブジェクトをスクリーンＳＣに透視投影して描画することで生成される。同様に右眼用仮想カメラＶＣＲから見える画像である右眼用画像は、右眼用ビューボリュームＶＶＲ内に存在するオブジェクトをスクリーンＳＣに透視投影して描画することで生成される。従って、スクリーンＳＣに透視投影されない位置にあるオブジェクトは、描画対象にはならないため、これらのオブジェクトに対して透視投影変換処理を行うと、処理の無駄となる。
【００９５】
このため、実際には、図３に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲを設定している。このようにすれば、スクリーンＳＣに透視投影されないオブジェクトについては、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲを用いたクリッピング処理により描画対象から除外されるようになり、無駄な処理が行われるのが防止され、処理負荷の軽減を図れる。
【００９６】
なお図３において、ＣＮＬ、ＣＦＬは、各々、左眼用ビューボリュームＶＶＬの前方クリッピング面、後方クリッピング面であり、ＣＮＲ、ＣＦＲは、各々、右眼用ビューボリュームＶＶＲの前方クリッピング面、後方クリッピング面である。
【００９７】
さて、図３のようにビューボリュームを設定したとしても、例えばオブジェクトＯＢ１、ＯＢ２は、左眼用ビューボリュームＶＶＬ内には存在するが、右眼用ビューボリュームＶＶＲ内には存在しない。従って、オブジェクトＯＢ１、ＯＢ２については、左眼用画像の生成時にはスクリーンＳＣに描画されるが、右眼用画像の生成時にはスクリーンＳＣに描画されない。従って、オブジェクトＯＢ１、ＯＢ２の画像は、左眼用画像を見るプレーヤの左眼には見えるが、右眼用画像を見るプレーヤの右眼には見えない画像になる。
【００９８】
同様に、オブジェクトＯＢ３、ＯＢ４は、右眼用ビューボリュームＶＶＲ内には存在するが、左眼用ビューボリュームＶＶＬ内には存在しない。従って、オブジェクトＯＢ３、ＯＢ４の画像は、右眼用画像の生成時には描画されるが、左眼用画像の生成時には描画されないため、プレーヤの右眼には見えるが、プレーヤの左眼には見えない画像になる。このように左眼の右眼のいずれか一方のみにしか見えない領域は、フレームバイオレーション領域（ウィンドウ違反領域）と呼ばれる。
【００９９】
そして、このようにプレーヤの左眼と右眼とで、見えるオブジェクトが異なってしまうと、プレーヤが立体視する際に不自然さを感じるおそれがある。特に、ビューボリュームのクリッピング面を横切るようなオブジェクトが存在すると、一方の眼からは、そのオブジェクトがクリッピング面により切れているように見えるのに、他方の眼からは、そのようには見えないため、不自然な立体視になってしまう可能性がある。
【０１００】
そこで本実施形態では、このような問題を解決するために、図４に示す手法を採用している。図４において、内側描画領域ＲＤは、左眼用ビューボリュームＶＶＬと右眼用ビューボリュームＶＶＲの共通領域の内側の領域（内包される領域）である。
【０１０１】
そして図４では、内側描画領域ＲＤから内側描画領域ＲＤの外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、左眼用画像、右眼用画像を生成する。例えば、オブジェクトが徐々に透明に近づいたり、徐々にデフォーカスされたり、徐々にターゲット色に近づくような描画処理を行って、左眼用画像、右眼用画像を生成する。このようにすることで、不自然に見える立体視用画像が生成されてしまう事態を防止できる。
【０１０２】
例えば図５のように、ビューボリュームのクリッピング面を横切るようなオブジェクトＯＢが存在したとする。
【０１０３】
このような場合に、オブジェクトＯＢのＡ１に示す部分は、右眼用仮想カメラＶＶＲにおいては視野内に入っている。これに対して、左眼用仮想カメラＶＶＬからは、左側クリッピング面によりオブジェクトＯＢの一部が切れているように見え、Ａ１に示す部分は視野内に入らなくなっている。またオブジェクトＯＢのＡ２に示す部分は、左眼用仮想カメラＶＶＬにおいては視野内に入っている。これに対して、右眼用仮想カメラＶＶＲからは、右側クリッピング面によりオブジェクトＯＢの一部が切れているように見え、Ａ２に示す部分は視野内に入らなくなっている。従って、左眼用仮想カメラＶＶＬと右眼用仮想カメラＶＶＲとで、クリッピング面付近でのオブジェクトＯＢの見え方が異なってしまい、プレーヤが不自然さを感じるおそれがある。
【０１０４】
この点、本実施形態の手法によれば、内側描画領域ＲＤから外側へと向かう方向で、オブジェクトが徐々に透明になるなど、その表示態様が変化する。従って、スクリーンＳＣの左右端辺付近でのオブジェクトＯＢの画像の見え方の異なり度合いが低減され、より自然に見える立体視用画像をプレーヤに提供できる。
【０１０５】
例えば図６は、本実施形態の手法を採用しなかった場合の左眼用画像ＩＭＬ、右眼用画像ＩＭＲの例である。図６のＢ１に示すように、左眼用画像ＩＭＬでは、ティーポットの注ぎ口の先端部が切れているように見えるのに対して、Ｂ２に示すように、右眼用画像ＩＭＲでは、注ぎ口のほぼ全体が視野に入っている。またＢ３に示すように、右眼用画像ＩＭＲでは、ティーポットの取っ手の後端部が切れているように見えるのに対して、Ｂ４に示すように、左眼用画像ＩＭＬでは、取っ手の後端部の全体が視野に入っている。
【０１０６】
一方、図７は、本実施形態の手法により生成された左眼用画像ＩＭＬ、右眼用画像ＩＭＲの例である。図７のＣ１、Ｃ２、Ｃ３、Ｃ４に示すように、スクリーン（画面）の左右端辺側に近づくにつれて、オブジェクトの表示態様が変化している。具体的には、Ｃ１、Ｃ２に示すように、スクリーンの左端辺に近づくにつれて、注ぎ口の先端部が徐々に透明（半透明）になっている。またＣ３、Ｃ４に示すように、スクリーンの右端辺に近づくにつれて、取っ手の後端部が徐々に透明になっている。従って、スクリーンの左右端辺での左眼用画像ＩＭＬ、右眼用画像ＩＭＲの見え方の違いが、図６に比べると、低減される。これにより、オブジェクトがクリッピング面により切り取られることなどによる画像の不自然さを軽減でき、より自然な立体視用画像の提供が可能になる。
【０１０７】
なお図７では、オブジェクトの表示態様を変化させる手法として、スクリーンの左右端辺側に近づくにつれて（左右クリッピング面に近づくにつれて）、オブジェクトを徐々に透明にする手法について説明したが、本実施形態はこれに限定されない。
【０１０８】
例えばスクリーンの左右端辺側（左右クリッピング面側）に近づくにつれてオブジェクトが徐々にデフォーカス（モーションブラー）される描画処理を行って、左眼用画像、右眼用画像を生成してもよい。このようにすれば、スクリーンの左右端辺側に近づくにつれて、オブジェクトがぼけて見えるようになるため、図７と同様の効果を得ることができる。この場合のデフォーカス処理は、例えばぼかしフィルタ（Blur Filter）などを用いることで実現できる。具体的には、バイリニアフィルタリングによるぼかし処理である線形テクスチャフィルタリングの手法や、何枚ものテクスチャを同時に使用するマルチテクスチャによるぼかし処理であるボックスフィルタサンプリングの手法などを採用できる。
【０１０９】
例えば、あるオブジェクトが、両眼から見えているが、その一部が画面外にはみ出しているため、一方の眼では見えている範囲が大きく、他方の眼では見えている範囲が小さいような場合を想定する。このように、あるオブジェクトが、両眼から見えているが、見えている範囲が違うような場合には、上述のようなデフォーカス処理を行うことで、見えている範囲の大きさの違いによる違和感を緩和できる。
【０１１０】
また、スクリーンの左右端辺側に近づくにつれてオブジェクトの色が徐々にターゲット色に近づく描画処理を行って、左眼用画像、右眼用画像を生成してもよい。このようにすることでも、図７と同様の効果を得ることができる。
【０１１１】
但し、多数のオブジェクトが配置される場合においても、より自然な画像の生成が可能であるという観点からは、図７のようにオブジェクトを徐々に透明にする半透明処理手法や、オブジェクトを徐々にデフォーカス（ブラー）するデフォーカス処理手法が望ましい。例えば背景オブジェクトなどの第１のオブジェクトＯＢ１と、処理対象となる第２のオブジェクトＯＢ２が画面端付近において重ねて表示される場合を想定する。この場合に、上述の半透明処理手法やデフォーカス処理手法では、画面端に近づくにつれてオブジェクトＯＢ２が透明になったりデフォーカスされても、不自然な画像は生成されない。一方、オブジェクトの色をターゲット色に近づける手法では、オブジェクトＯＢ１の領域のうち、オブジェクトＯＢ２に対応する領域がターゲット色に設定されて、その領域がくりぬかれたような画像が生成されてしまうおそれがある。この意味においては、オブジェクトの色をターゲット色に近づける手法よりも、半透明処理手法やデフォーカス処理手法の方が、より望ましい。
【０１１２】
オブジェクトの色を徐々にターゲット色に近づける手法を採用した場合、ターゲット色としては、種々の色を採用できる。例えば、ターゲット色として、画像が表示される表示部１９０の画面の周囲の色（プレーヤ側から見た場合の周囲の色）を採用してもよい。このようにすることで、いわゆる光学迷彩を実現できる。
【０１１３】
具体的には図８に示すように、表示部１９０の後ろ側の背景色や、表示部１９０の画面周囲の縁部の色などを、ターゲット色として採用できる。このようにすれば、表示部１９０の画面の存在感を消すことができ、あたかも空間の中にオブジェクトが存在しているかのように見える画像表現を実現できる。
【０１１４】
図８の手法を採用する場合には、表示部１９０の画面の周囲の色情報を、情報取得部１１０が取得する。具体的には、例えばゲームコントローラ１６１等に設けられた撮像部１６２を用いて、表示部１９０やその周囲の画像を撮像する。そして、得られた撮像情報に基づいて、表示部１９０の画面周囲の縁部の色や表示部１９０の背景色の情報を検出する。そして、検出された色情報に基づいて、ターゲット色を設定する。例えば画面の縁部の色が、黒っぽい色であるある場合には、ターゲット色も黒っぽい色に設定する。また背景の色が青であった場合には、ターゲット色も青又は青に近い色に設定する。このようにすることで、画面に映るゲーム画像が、あたかも背景に溶け込んでいるかのように見える画像を生成できるようになり、これまでにない画像表現を実現できる。
【０１１５】
なお、ターゲット色を取得する撮像部の設置手法としては種々の手法を想定できる。携帯電話機や携帯型ゲーム装置を例にとれば、携帯電話機や携帯型ゲーム装置の表示部の裏側に設けられた撮像部を用いて、画像を撮像することで、後ろ側の背景色を取得して、ターゲット色を設定する。
【０１１６】
２．２ 具体的な処理例
次に、本実施形態の具体的な処理例について説明する。ここでは頂点シェーダ、ピクセルシェーダや用いた場合の処理例を説明する。
【０１１７】
図９（Ａ）にビューボリュームＶＶＬ、ＶＶＲ及びスクリーンＳＣを示す。本実施形態では、下式（１）により、オブジェクト（モデル）の頂点をスクリーンＳＣに透視投影する。
【０１１８】
【数１】
【０１１９】
ここで、（Ｘｍ，Ｙｍ，Ｚｍ）は、オブジェクト形状を定義する頂点の位置である。Ｍは、オブジェクトをスクリーンに透視投影するための射影行列である。（ＸＰ，ＹＰ，ＺＰ，ＷＰ）は、オブジェクトの頂点のスクリーン上の位置である頂点スクリーン位置である。
【０１２０】
そして、この頂点スクリーン位置は、下式（２）により正規化される。
【０１２１】
【数２】
【０１２２】
ここで、（Ｘ，Ｙ，Ｚ）は、深度を含めて正規化された頂点スクリーン位置である。そして図９（Ａ）に示すように、頂点スクリーン位置の座標Ｘの変域は、−１．０≦Ｘ≦１．０になる。本実施形態では、このような変域の座標Ｘを用いて、下式（３）のようにα値（透明度）を求める。
【０１２３】
【数３】
【０１２４】
ここで、ｔは、オブジェクトが透明になり始めるポイント（透明になり始めるビューボリュームの割合）を表すパラメータである。ＭＡＸ（Ａ，Ｂ）は、Ａ、Ｂのうち大きい方の値をとる関数である。
【０１２５】
上式（３）により、図９（Ｂ）に示すように頂点スクリーン位置の座標Ｘに対してα値が設定されるようになる。具体的には−ｔ≦Ｘ≦ｔでは、α＝１．０（不透明）になる。またＸが−ｔよりも小さくなると、αは徐々に小さくなって行き、最終的にはα＝０（透明）になる。またＸがｔよりも大きくなると、αは徐々に小さくなって行き、最終的にはα＝０（透明）になる。このようにα値を設定することで、スクリーンＳＣの左右端辺側に近づくにつれてオブジェクトが徐々に透明になる描画処理を実現できる。
【０１２６】
次に本実施形態の具体的な処理例について図１０、図１１のフローチャートを用いて説明する。
【０１２７】
図１０に示すように、まずオブジェクト空間へのオブジェクトの配置設定処理を行う（ステップＳ１）。例えばプレーヤの操作情報に基づいて、ゲーム演算処理や移動体の移動演算処理を行い、各フレームでのオブジェクトの配置位置を決定して、オブジェクト空間に配置設定する。
【０１２８】
次に左眼用仮想カメラ、右眼用仮想カメラの設定を行う（ステップＳ２）。例えば仮想カメラの制御により求められた基準仮想カメラの位置、方向等に基づいて、左眼用仮想カメラ、右眼用仮想カメラの位置、方向を設定する。
【０１２９】
そして、左眼用ビューボリューム（視錐台）を視界に設定して、描画処理を行う（ステップＳ３、Ｓ４）。これにより左眼用仮想カメラから見える画像である左眼用画像が生成される。また右眼用ビューボリューム（視錐台）を視界に設定して、描画処理を行う（ステップＳ５、Ｓ６）。これにより右眼用仮想カメラから見える画像である右眼用画像が生成される。
【０１３０】
図１１は、図１０のステップＳ４、Ｓ５の描画処理の詳細例を示すフローチャートである。
【０１３１】
まず、左眼用ビューボリュームにおけるオブジェクトの頂点のスクリーン上での位置である左眼側頂点スクリーン位置を求める（ステップＳ１１）。具体的には、左眼用ビューボリュームにおいて、上式（１）、（２）に示すような透視投影変換処理を行って、オブジェクトの頂点に対応する左眼側頂点スクリーン位置を求める。そして上式（３）や図９（Ｂ）に示すように、左眼側頂点スクリーン位置とスクリーンの左右端辺との距離に応じた第１のα値αＬを算出する（ステップＳ１２）。
【０１３２】
次に、右眼用ビューボリュームにおけるオブジェクトの頂点のスクリーン上での位置である右眼側頂点スクリーン位置を求める（ステップＳ１３）。具体的には、右眼用ビューボリュームにおいて、上式（１）、（２）に示すような透視投影変換処理を行って、オブジェクトの頂点に対応する右眼側頂点スクリーン位置を求める。そして上式（３）や図９（Ｂ）に示すように、右眼側頂点スクリーン位置とスクリーンの左右端辺との距離に応じた第２のα値αＲを算出する（ステップＳ１４）。
【０１３３】
次に、αＬとαＲのうち、より透明（０．０）に近いほうのα値を、オブジェクトの頂点のα値αＶとして設定する（ステップＳ１５）。そして、視界に設定された方のビューボリュームでのスクリーン上での位置を、表示用の位置に設定する（ステップＳ１６）。例えば左眼用ボリュームが視界に設定された図１０のステップＳ４の描画処理の場合には、左眼用ボリュームでのスクリーン上での位置が、表示用の位置に設定される。一方、右眼用ボリュームが視界に設定された図１０のステップＳ６の描画処理の場合には、右眼用ボリュームでのスクリーン上での位置が、表示用の位置に設定される。
【０１３４】
以上のステップＳ１１〜Ｓ１６の処理が、頂点シェーダによる頂点ごとの処理として実行されると、ラスタライズ処理が行われる（ステップＳ１７）。そして、設定されたα値αＶを用いて描画処理が行われる（ステップＳ１８）。このステップＳ１８の処理は、ピクセルシェーダによるピクセルごとの処理として実行される。
【０１３５】
次に、ステップＳ１２〜Ｓ１５の処理について、図１２（Ａ）、図１２（Ｂ）を用いて更に詳細に説明する。
【０１３６】
図１２（Ａ）において、ＣＬ２、ＣＬ４は、各々、左眼用ビューボリュームＶＶＬの左側クリッピング面、右側クリッピング面である。またＣＬ１、ＣＬ３は、各々、右眼用ビューボリュームＶＶＲの左側クリッピング面、右側クリッピング面である。
【０１３７】
この場合に上式（３）や図９（Ｂ）のようにα値を求めると、図１１のステップＳ１２、Ｓ１４でα値αＬ、αＲは、図１２（Ｂ）に示すような値に設定される。
【０１３８】
例えばαＬは、内側描画領域ＲＤでは１．０（不透明）になり、左眼用ビューボリュームＶＶＬの左側クリッピング面ＣＬ２に近づくにつれて徐々に減少して、０．０（透明）になる。そしてクリッピング面ＣＬ２とＣＬ１の間ではαＬは０．０に設定される。またαＬは、左眼用ビューボリュームＶＶＬの右側クリッピング面ＣＬ４に近づくにつれて徐々に減少して、０．０（透明）になる。
【０１３９】
一方、αＲは、内側描画領域ＲＤでは１．０になり、右眼用ビューボリュームＶＶＲの左側クリッピング面ＣＬ１に近づくにつれて徐々に減少して、０．０になる。またαＲは、右眼用ビューボリュームＶＶＲの右側クリッピング面ＣＬ３に近づくにつれて徐々に減少して、０．０になる。そしてクリッピング面ＣＬ３とＣＬ４の間ではαＲは０．０に設定される。
【０１４０】
図１１のステップＳ１５に示すように、αＬとαＲのうち、より透明（０．０）に近い方のα値が、オブジェクトの頂点のα値αＶとして設定される。従って、オブジェクトの頂点のα値αＶは、図１２（Ｂ）のように設定されることになる。具体的には、αＶは、内側描画領域ＲＤでは１．０になり、左眼用ビューボリュームＶＶＬの左側クリッピング面ＣＬ２に近づくにつれて徐々に減少して、０．０になる。またαＶは、右眼用ビューボリュームＶＶＲの右側クリッピング面ＣＬ３に近づくにつれて徐々に減少して、０．０になる。
【０１４１】
以上のように求められたα値αＶを用いて描画処理を行うことで、図７に示すような左眼用画像ＩＭＬ、右眼用画像ＩＭＲが生成される。
【０１４２】
例えば図７の左眼用画像ＩＭＬでは、Ｃ１に示すように、左眼用ビューボリュームＶＶＬの左側クリッピング面ＣＬ２により注ぎ口の先端部はクリッピングされている。この時、図１２（Ｂ）に示すようにクリッピング面ＣＬ２に近づくにつれてαＶが徐々に小さくなるため、Ｃ１に示すように注ぎ口の画像は画面の左端辺側に近づくにつれて徐々に透明になる。
【０１４３】
また図１２（Ｂ）に示すように右眼用ビューボリュームＶＶＲの右側クリッピング面ＣＬ３に近づくにつれて、αＶが徐々に小さくなる。このため、Ｃ４に示すように取っ手の画像は画面の右端辺側に近づくにつれて徐々に透明になる。
【０１４４】
また図７の右眼用画像ＩＭＲでは、Ｃ３に示すように、右眼用ビューボリュームＶＶＲの右側クリッピング面ＣＬ３によりティーポットの取っ手の後端部はクリッピングされている。この時、図１２（Ｂ）に示すようにクリッピング面ＣＬ３に近づくにつれてαＶが徐々に小さくなるため、Ｃ３に示すように取っ手の画像は画面の右端辺側に近づくにつれて徐々に透明になる。
【０１４５】
また図１２（Ｂ）に示すように左眼ビューボリュームＶＶＬの左側クリッピング面ＣＬ２に近づくにつれて、αＶが徐々に小さくなる。このため、Ｃ２に示すように注ぎ口の画像は画面の左端辺側に近づくにつれて徐々に透明になる。
【０１４６】
以上のような手法を採用することで、図７に示すように、左眼用画像ＩＭＬと右眼用画像ＩＭＲでのオブジェクトの見え方の異なり度合いが低減され、より自然に見える立体視用画像の提供が可能になる。
【０１４７】
２．３ 内側描画領域の設定
後述するように本実施形態では、プレーヤの左眼、右眼の位置を検出し、左眼、右眼の位置に応じた画像を生成する手法（以下、適宜、両眼トラッキング手法と呼ぶ）を採用している。このような両眼トラッキング手法では、プレーヤの左眼、右眼の位置の変化に応じて、左眼用、右眼用仮想カメラの位置、方向が変化し、左眼用、右眼用ビューボリュームの位置、方向も変化する。このため左眼用、右眼用ビューボリュームの共通領域の形状も変化する。
【０１４８】
例えばプレーヤの両眼が表示部１９０の画面から標準的な位置にある場合には、図１３（Ａ）に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定される。一方、プレーヤが表示部１９０に近づいて、両眼の位置が画面に近い場合には、図１３（Ｂ）に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定される。またプレーヤが表示部１９０から遠ざかって、両眼の位置が画面から遠い場合には、図１４（Ａ）に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定される。従って、図１３（Ａ）、図１３（Ｂ）、図１４（Ａ）に示すように、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲの設定の変化に応じて、ＶＶＬ、ＶＶＲの共通領域もその形状が変化する。
【０１４９】
またプレーヤが表示部１９０の斜め方向に位置する場合には、図１４（Ｂ）に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定され、ＶＶＬ、ＶＶＲの共通領域の形状も変化する。
【０１５０】
そこで本実施形態では、このような両眼トラッキング手法等に基づくＶＶＬ、ＶＶＲの共通領域の形状の変化に応じて、図１３（Ａ）〜図１４（Ｂ）に示すように、共通領域の内側描画領域ＲＤの形状を変化させる。そして図４等で説明したように、このようにして形状が設定された内側描画領域ＲＤから外側へと向かう方向において、オブジェクトの表示態様（透明度等）が変化する描画処理を行って、左眼用画像、右眼用画像を生成する。
【０１５１】
このようにすれば、両眼トラッキング手法等により、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲの位置、方向がリアルタイムに変化した場合にも、その時のＶＶＬ、ＶＶＲの位置、方向に応じた最適な内側描画領域ＲＤを設定し、図７に示すように画面の左右端においてオブジェクトの表示態様が変化するような左眼用画像、右眼用画像を生成できるようになる。従って、プレーヤの左眼、右眼の位置の変化に応じた左眼用画像、右眼用画像をリアルタイムに生成できると共に、プレーヤの左眼と右眼で画像の見え方が異なってしまうような不自然な画像が生成されるのも防止できるようになる。
【０１５２】
ビューボリュームの共通領域の形状の変化に応じて内側描画領域ＲＤの形状を変化させる手法としては、例えば、ベジェ曲面、Bスプライン曲面、NURBS曲面などの自由曲面を利用した手法を想定できる。具体的には、内側描画領域ＲＤを自由曲面で形成し、共通領域の頂点を、自由曲面の制御点に設定する。そして自由曲面で形成された内側描画領域ＲＤの形状を、共通領域の頂点を制御点として変形させる。例えば特開２００１−２１８９７７号公報等に開示されるように、共通領域の頂点である制御点のアフィン変換を行い、アフィン変換後の制御点と、自由曲面（NURBS）のオブジェクトデータが含む係数マトリクス（混ぜ合わせ関数の係数のマトリクス）に基づいて、自由曲面の各点を求める。このようにすれば、特開２００１−２１８９７７号公報等の公知の自由曲面の手法を利用して、内側描画領域ＲＤの形状を変形させて、左眼用画像、右眼用画像を生成できるようになる。
【０１５３】
なお、共通領域の形状の変化に応じた内側描画領域の形状の設定手法は、自由曲面を用いた手法には限定されない。例えば共通領域のスケーリング処理により、内側描画領域を設定してもよい。即ち、共通領域のサイズを小さくするスケーリング処理を行って、スケーリング処理後の領域を内側描画領域に設定する。このようにすれば、自由曲面に比べて簡素で負荷の軽い処理で、内側描画領域の設定処理を実現できるようになる。
【０１５４】
また図１３（Ａ）〜図１４（Ｂ）等では、後述する両眼トラッキングにより左眼用、右眼用の仮想カメラの位置、方向が変化して、共通領域の形状が変化し、その共通領域の形状の変化に応じて内側描画領域ＲＤの形状を変化させる場合について説明したが、本実施形態の手法はこれに限定されない。例えばプレーヤの操作情報やゲーム状況などに応じて共通領域の形状が変化した場合に、その共通領域の形状の変化に応じて内側描画領域ＲＤの形状を変化させてもよい。
【０１５５】
例えばズームアウト操作やズームイン操作が行われて、図１３（Ａ）、図１３（Ｂ）のように共通領域の形状が変化した場合に、その共通領域の形状の変化に応じて内側描画領域ＲＤの形状を変化させて、図４等で説明したオブジェクトの表示態様の変化処理を行ってもよい。またプレーヤの操作等により変化するゲーム状況により、図１４（Ａ）、図１４（Ｂ）のように共通領域の形状が変化した場合に、その共通領域の形状の変化に応じて内側描画領域ＲＤの形状を変化させて、図４等で説明したオブジェクトの表示態様の変化処理を行ってもよい。なお、ズーミングを行う場合には、ズーミングに連動して左右カメラ間距離の調整を行うこともある。図１３（Ａ）、図１３（Ｂ）では、このカメラ間距離の変更については省略して描いているが、実際にはカメラ間距離の調整を行った上で、それによる左右ビューボリューム（視錐台）の形状変化を反映させて、共通領域の形状を変化させてもよい。
【０１５６】
２．４ 両眼トラッキング
次に本実施形態の両眼トラッキング手法について詳細に説明する。本実施形態では、プレーヤの左眼、右眼の位置情報を取得し、取得された位置情報に基づいて、左眼用、右眼用ビューボリュームを設定して、両眼トラッキングを実現する。例えば通常のヘッドトラッキングでは、頭の位置を検出して仮想カメラの位置、方向を設定するが、本実施形態では、プレーヤの左眼、右眼の位置を検出して、左眼用、右眼用の各ビューボリュームの位置、方向を設定する。
【０１５７】
この場合に、プレーヤの左眼、右眼の位置の検出手法としては、種々の手法を想定できる。例えば、撮像部（カメラ）によりアイトラッキングを行って、プレーヤの左眼、右眼の位置を検出してもよい。
【０１５８】
或いは、図１５（Ａ）に示すような眼鏡２００（広義には装着用部材）を用意し、この眼鏡２００に、プレーヤの左眼に対応する左眼用マーカＭＫＬと、右眼に対応する右眼用マーカＭＫＲを設ける。即ち眼鏡２００の左眼部分に対応する位置に左眼用マーカＭＫＬを設け、右眼部分に対応する位置に右眼用マーカＭＫＲを設ける。これらの左眼用、右眼用マーカＭＫＬ、ＭＫＲは、その形状が互いに異なっている。
【０１５９】
次に、図１５（Ｂ）に示すように、プレーヤが装着する眼鏡２００（認識用部材）を撮像する撮像部１６２からの撮像情報に基づいて、プレーヤの左眼、右眼の位置情報を取得する。即ち表示部１９０側からプレーヤを撮像する撮像部１６２を設ける。そして、この撮像部１６２によりプレーヤを撮像し、得られた撮像情報に対して画像認識処理を行って、図１５（Ａ）の左眼用、右眼用マーカＭＫＬ、ＭＫＲの形状を認識する。そして、形状認識の結果により、例えば表示部１９０側から見た場合のプレーヤの左眼、右眼の位置を検出する。
【０１６０】
次に、検出されたプレーヤの左眼、右眼の位置に基づいて、図１３（Ａ）〜図１４（Ｂ）に示すように左眼用、右眼用仮想カメラＶＣＬ、ＶＣＲを設定して、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲを設定する。そして図４〜図１２（Ｂ）等で説明した描画処理を行って、図７に示すような左眼画像、右眼用画像を生成する。このようにすれば、プレーヤの左眼、右眼の位置をトラッキングしてリアルタイムに画像が変化する立体視用画像をプレーヤに提供できるようになる。
【０１６１】
なお本実施形態の両眼トラッキング手法によれば、頭の位置を検出して画像を生成するヘッドトラッキング手法に比べて、より多様な画像の生成が可能になる。
【０１６２】
例えば、図１４（Ｂ）はプレーヤが表示部１９０の斜め方向に位置する場合の例であるが、この場合の視線方向は、表示部１９０の画面に直交する方向になっている。
【０１６３】
これに対して本実施形態の両眼トラッキング手法によれば、図１６（Ｂ）に示すようにプレーヤの視線方向が表示部１９０の画面に対して斜め方向である場合でも、それに応じた左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲを設定して、左眼用画像、右眼用画像を生成できる。従って、プレーヤが正面方向を向いている場合（図１４（Ｂ））と斜め方向を向いている場合（図１６（Ａ））とで、生成される画像が異なるようになり、プレーヤの動きをよりリアルに反映させた立体視用画像を提供できる。
【０１６４】
また図１６（Ｂ）に示すように、表示部１９０の画面に対して上下方向での視点のシフトについても反映させた画像の生成も可能になる。或いは図１７に示すような、プレーヤの左眼と右眼の位置の３次元的なねじれ関係を反映させた画像の生成も可能になる。従って、従来のヘッドトラッキング手法に比べて、プレーヤの眼の動きをより忠実に反映させた立体視用画像の提供が可能になる。なお図１７のＤ１は左眼用、右目用仮想カメラＶＣＬ、ＶＣＲを右側から見た図であり、Ｄ２は上側から見た図である。
【０１６５】
また本実施形態では、プレーヤの左眼と右眼の間の距離情報を取得し、取得された距離情報に基づいて、左眼用、右眼用仮想カメラの間のカメラ間距離を設定して、左眼用、右眼用ビューボリュームを設定してもよい。
【０１６６】
具体的には図１８に示すように、眼鏡２００に、左眼部分と右眼部分の間の距離を調整するための調整機構２１０を設ける。調整機構２１０としては、調整ネジを用いた機構や、スライド部材を用いた機構などを採用できる。このような調整機構２１０を用いた調整により、左眼部分と右眼部分の間の距離が変化すると、眼鏡２００の左眼部分に設けられた左用マーカＭＫＬと、右眼部分に設けられた右眼用マーカＭＫＲの間の距離も変化する。このため、図１５（Ｂ）の撮像部１６２の撮像画像においても、左眼用マーカＭＫＬと右眼用マーカＭＫＲの間の距離が変化する。従って、左眼用マーカＭＫＬと右眼用マーカＭＫＲの撮像情報に基づいて、プレーヤの左眼と右眼の間の距離情報を取得できる。
【０１６７】
そして図１９（Ａ）、図１９（Ｂ）に示すように、取得された距離情報に基づいて、左眼用、右眼用仮想カメラＶＣＬ、ＶＣＲの間のカメラ間距離ＤＣを設定して、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲを設定する。例えば図１９（Ａ）では、プレーヤの左眼と右眼の間の距離が狭いことが検知されたため、左眼用、右眼用仮想カメラＶＣＬ、ＶＣＲのカメラ間距離ＤＣも狭い距離に設定される。また図１９（Ｂ）では、プレーヤの左眼と右眼の間の距離が広いことが検知されたため、左眼用、右眼用仮想カメラＶＣＬ、ＶＣＲのカメラ間距離ＤＣも広い距離に設定される。
【０１６８】
このようにすれば、例えば両眼間隔が狭いと考えられる子供がプレイしている場合には、例えば図１９（Ａ）に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定されて、立体視用画像が生成される。一方、両眼間隔が子供よりも広いと考えられる大人がプレイしている場合には、例えば図１９（Ｂ）に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定されて、立体視用画像が生成される。従って、両眼間隔についてのプレーヤの個人差を反映させることが可能になり、各個人に適したカメラ間距離での立体視用画像を提供できるようになる。
【０１６９】
なお、図１５（Ａ）、図１８では、プレーヤが装着する認識用部材が眼鏡２００である場合を例にとり説明したが、本実施形態の認識用部材はこれに限定されず、少なくともプレーヤの左眼と右眼の位置を認識できるような部材であれば、種々の変形実施が可能である。但し、眼鏡タイプのものであれば、立体視を実現するための前述の液晶シャッター付きの眼鏡により併用できるという利点がある。また、図１５（Ａ）、図１８に示すような左眼用、右眼用マーカＭＫＬ、ＭＫＲを使用せずに、プレーヤの左眼、右眼の位置情報を、撮像部１６２等を用いたアイトラッキングにより直接に検出するようにしてもよい。
【０１７０】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（認識用部材、第１視点画像、第２視点画像、第１視点用ビューボリューム、第２視点用ビューボリューム、第１視点、第２視点等）と共に記載された用語（眼鏡、左眼用画像、右眼用画像、左眼用ビューボリューム、右眼用ビューボリューム、左眼用仮想カメラ、右眼用仮想カメラ等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、ビューボリュームの設定処理、オブジェクトの描画処理、内側描画領域の設定処理等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【０１７１】
また本実施形態の手法は、例えば特開２００４−１７８５８１号公報に記載されるような立体視用画像生成手法にも適用可能である。この画像生成手法では、例えば、図２０（Ａ）に示すように、左眼用仮想カメラＶＣＬからのビューボリュームＶＶＬによって左眼用画像を作成し、右眼用仮想カメラＶＣＲからのビューボリュームＶＶＲによって右眼用画像を作成する。そしてこれらの左眼用画像と右目用画像により立体視が実現され、プレーヤは、図２０（Ｂ）に示すような左眼視点ＶＰＬ、右眼視点ＶＰＲで立体視用画像を鑑賞する。これにより、ピント調整や奥行き感の矛盾が少なく、より自然な立体視を実現できるようになる。
【０１７２】
図２０（Ａ）のような立体視用画像生成手法においても、本実施形態の手法を適用して、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲの共通領域の内側描画領域から外側に向かう方向で、オブジェクトの表示態様が変化するように左眼用画像、右目用画像を生成すればよい。この場合に、図１３（Ａ）の通常の手法と図２０（Ａ）の手法を動的に切り替えるようにしてもよい。例えばプレーヤの視線が画面に対して垂直になるようなモードでは、図１３（Ａ）の手法で立体視用画像を生成し、プレーヤの視線が図２０（Ｂ）に示すように画面に対して斜め方向になるようなモードでは、図２０（Ａ）の手法で立体視用画像を生成すればよい。これらは、瞬時に切り替えてもよいし、カメラが徐々に移動するように、連続的に変化させていってもよい。
【０１７３】
また以上では、二眼式立体視への適用例について説明したが、本実施形態の手法は、多眼式立体視や空間像方式立体視等にも適用可能である。多眼式立体視は、離散的な多視点の立体視方式であり、プレーヤ（観者）の任意の視点での立体視を可能にする。例えば複数の視点画像（視差画像）を用意し、これらの複数の視点画像のうちプレーヤの視点位置に対応する視点画像がプレーヤの左眼、右眼に見えるようにすることとで、任意の視点での立体視を可能にする。このような多眼式立体視としては、例えばパララックスバリアやレンティキュラーレンズなどの光学素子を用いた立体視方式などがある。また空間像方式立体視は、特定の視点を想定しない、すなわち、離散的ではない連続的な視点での立体視を可能にする立体視方式である。空間像方式立体視としては、例えばフラクショナル・ビュー方式、インテグラルイメージング方式、超多眼方式などの立体視方式が知られている。
【０１７４】
例えば図２１は、多眼式立体視等に本実施形態の手法を適用した場合の例である。例えば多眼式立体視の場合には、想定される複数の視点Ｖ１〜ＶＮのうち、最も左側の視点Ｖ１を第１視点とし、最も右側の視点ＶＮを第２視点とすることができる。従って、第１視点Ｖ１用のビューボリュームＶＶ１と第２視点Ｖ２用のビューボリュームＶＶ２の共通領域（共通フレーム領域）は、図２１で太線で囲まれた領域ＲＣ（非フレームバイオレーション領域）になる。
【０１７５】
従って、この場合には、ビューボリュームＶＶ１とＶＶ２の共通領域ＲＣの内側描画領域ＲＤから外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、立体視用画像（第１視点画像、第２視点画像）を生成する。こうすることで、多眼式立体視を採用した場合にも、立体視においてプレーヤが感じる不自然さを軽減することが可能になる。これは、多眼式立体視のみならず空間像方式立体視の場合も同様である。ただし、これらの方式で、同時に表示される観察領域（回り込み範囲）が広い場合、共通領域（非フレームバイオレーション領域）が非常に狭くなってしまうことが懸念される。その場合にはもちろん、より内側の２つの視点（例えば、画面の真正面にプレーヤが位置したと仮定した場合の両眼の位置等）を第１、第２視点Ｖ１、Ｖ２としてもよい。
【０１７６】
或いは、前述のようにアイトラッキング等によりプレーヤの視点と画面との位置関係情報を検出できる場合には、この位置関係情報に基づいて視点を選択し、オブジェクトの表示態様を変化させる描画処理を行ってもよい。
【０１７７】
例えば図２２では、表示部の画面とプレーヤ（観者）との位置関係情報が取得され、取得された位置関係情報に基づいて、多眼式立体視や空間像方式立体視においてプレーヤの左眼、右眼に対応する第１視点Ｖｉ、第２視点Ｖｊが選択されている。この第１視点Ｖｉから見える第１視点画像と第２視点Ｖｊから見える第２視点画像が、プレーヤの両眼に見えるべき立体視用画像として生成される。
【０１７８】
そして図２２では、このような位置関係情報に基づき選択された第１視点Ｖｉ用ビューボリュームＶＶ１と、位置関係情報に基づき選択された第２視点Ｖｊ用ビューボリュームＶＶ２との共通領域ＲＣの内側描画領域ＲＤから外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、立体視用画像を生成する。
【０１７９】
こうすることで、多眼式立体視や空間像方式立体視において、プレーヤの視点位置に対応した最適な共通領域ＲＣを設定し、共通領域ＲＣの内側描画領域ＲＤから外側へと向かう方向で、オブジェクトの表示態様が変化する立体視用画像を生成することが可能になる。従って、多眼式立体視や空間像方式立体視において最適なオブジェクトの立体視表示が可能になる。
【０１８０】
なお、多眼式立体視や空間像方式立体視での視点選択のためのアイトラッキングとして、図１８〜図２０（Ｂ）では、プレーヤの左眼、右眼の位置情報を取得する手法を説明したが、本実施形態はこれに限定されるものではない。例えば通常のヘッドトラッキングにより頭の位置を検出して、視点選択を行ってもよい。また、アイトラッキングの手法も図１８〜図２０（Ｂ）の手法には限定されず、例えば、撮像部（カメラ）により通常のアイトラッキングを行って、プレーヤの左眼、右眼の位置を検出してもよい。
【符号の説明】
【０１８１】
ＶＣＬ 左眼用仮想カメラ、ＶＣＲ 右眼用仮想カメラ、ＳＣ スクリーン、
ＶＶＬ 左眼用ビューボリューム、ＶＶＲ 右眼用ビューボリューム、
ＣＮＬ、ＣＮＲ、ＣＦＬ、ＣＦＲ、ＣＬ１〜ＣＬ４ クリッピング面、
ＯＢ、ＯＢ１〜ＯＢ４ オブジェクト、ＩＭＬ 左眼用画像、ＩＭＲ 右眼用画像、
ＭＫＬ 左眼用マーカ、ＭＫＲ 右眼用マーカ、
１００ 処理部、１０２ ゲーム演算部、１０４ オブジェクト空間設定部、
１０６ 移動体演算部、１０８ 仮想カメラ制御部（視点制御部）、
１１０ 情報取得部、１１２ 領域設定部、１１４ 視点選択部、１２０ 画像生成部、
１２２ 頂点処理部、１２４ ピクセル処理部、１３０ 音生成部、
１６０ 操作部、１６１ ゲームコントローラ、１６２ 撮像部、
１７０ 記憶部、１７２ オブジェクトデータ記憶部、１７４ 撮像情報記憶部、
１７８ 描画バッファ、１８０ 情報記憶媒体、１９０ 表示部、１９２ 音出力部、
１９４ 補助記憶装置、１９６ 通信部、
２００ 眼鏡（認識用部材）、２１０ 調整機構
【技術分野】
【０００１】
本発明は、プログラム、情報記憶媒体及び画像生成システム等に関する。
【背景技術】
【０００２】
近年、映画やゲーム等の分野において、より臨場感が溢れる画像を生成・表示するシステムとして、立体視画像の生成・表示システムが脚光を浴びている。例えばこの立体視画像生成・表示システムの１つである２眼式の立体視画像生成・表示システムでは、左眼用画像と右眼用画像を生成・表示する。そして例えばプレーヤが立体視用の眼鏡を装着して、左眼は左眼用画像のみを見て、右眼は右眼用画像のみを見るようにすることで、立体視を実現する。このような立体視を実現する画像生成・表示システムの従来技術としては、例えば特許文献１に開示される技術がある。
【０００３】
このような立体視用画像をＣＧ（Computer Graphics）で生成する場合には、左眼用仮想カメラに対応する左眼用ビューボリューム（左眼用視錐台）を視界に設定して、描画処理を行い、左眼用画像を生成する。また右眼用仮想カメラに対応する右眼用ビューボリューム（右眼用視錐台）を視界に設定して、描画処理を行い、右眼用画像を生成する。
【０００４】
しかしながら、このように左眼用、右眼用のビューボリュームを設定した場合に、左眼用ビューボリューム内に存在するオブジェクトが、右眼用ビューボリューム内には存在しなかったり、左眼用ビューボリューム内に存在するオブジェクトが、右眼用ビューボリューム内には存在しなかったりするなどの事態が生じる。即ち、いわゆるフレームバイオレーション（ウィンドウ違反）の問題が存在する。このため、ビューボリュームのクリッピング面付近に位置するオブジェクトが、プレーヤの左眼からは見えるが右眼からは見えなかったり、プレーヤの右眼からは見えるが左眼からは見えなかったりするなどの事態が生じ、プレーヤが不自然さを感じるおそれがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１２６９０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、立体視においてプレーヤが感じる不自然さを軽減できるプログラム、情報記憶媒体、画像生成システム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、前記オブジェクト空間において立体視における第１視点から見える第１視点画像と、前記オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部とを含み、前記画像生成部は、前記第１視点に対応する第１視点用ビューボリュームと前記第２視点に対応する第２視点用ビューボリュームとの共通領域の内側描画領域から、前記内側描画領域の外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成する画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００８】
本発明の一態様によれば、オブジェクト空間において第１視点、第２視点から見える第１視点画像、第２視点画像が生成されることで、立体視が実現される。この場合に本発明の一態様では、第１視点用、第２視点用ビューボリュームの共通領域の内側描画領域から外側へと向かう方向で、オブジェクトの表示態様が変化するような第１視点画像、第２視点画像が生成される。このようにすれば、例えばスクリーンの左右端辺付近等でのオブジェクトの画像の見え方の異なり度合いを低減でき、立体視においてプレーヤが感じる不自然さを軽減することが可能になる。
【０００９】
また本発明の一態様では、前記画像生成部は、前記内側描画領域から前記内側描画領域の外側へと向かう方向で、オブジェクトが徐々に透明に近づく描画処理を行って、前記第１視点画像、前記第２視点画像を生成してもよい。
【００１０】
このようにすれば、内側描画領域から外側に向かうにつれてオブジェクトが徐々に透明になるような第１視点画像、第２視点画像が生成されるようになり、より自然に見える立体視用画像の提供が可能になる。
【００１１】
また本発明の一態様では、前記画像生成部は、前記内側描画領域から前記内側描画領域の外側へと向かう方向で、オブジェクトが徐々にデフォーカスされる描画処理を行って、前記第１視点画像、前記第２視点画像を生成してもよい。
【００１２】
このようにすれば、内側描画領域から外側に向かうにつれてオブジェクトが徐々にデフォーカスされるような第１視点画像、第２視点画像が生成されるようになり、不自然さが軽減された立体視用画像の提供が可能になる。
【００１３】
また本発明の一態様では、前記画像生成部は、前記内側描画領域から前記内側描画領域の外側へと向かう方向で、オブジェクトの色が徐々にターゲット色に近づく描画処理を行って、前記第１視点画像、前記第２視点画像を生成してもよい。
【００１４】
このようにすれば、内側描画領域から外側に向かうにつれてオブジェクトの色が徐々にターゲット色に近づくような第１視点画像、第２視点画像が生成されるようになり、不自然さが軽減された立体視用画像の提供が可能になる。
【００１５】
また本発明の一態様では、画像が表示される表示部の画面の、プレーヤ側から見た場合の周囲の色情報を取得する情報取得部を含み（情報取得部としてコンピュータを機能させ）、前記画像生成部は、取得された前記色情報に基づいて、前記ターゲット色を設定してもよい。
【００１６】
このようにすれば、表示部の画面の存在感を消すことができ、いわゆる光学迷彩のような画像表現が可能になる。
【００１７】
また本発明の一態様では、前記画像生成部は、前記共通領域の前記内側描画領域から、前記共通領域のクリッピング面に近づくにつれて、オブジェクトの表示態様が徐々に変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成してもよい。
【００１８】
このようにすれば、共通領域のクリッピング面に近づくにつれてオブジェクトの表示態様が徐々に変化するような第１視点画像、第２視点画像が生成されるようになる。従って、例えば一方のビューボリュームにおいて、オブジェクトの一部がクリッピング面によってクリッピングされているような場合にも、より自然に見える立体視用画像を提供できるようになる。
【００１９】
また本発明の一態様では、前記画像生成部は、前記第１視点用ビューボリュームにおけるオブジェクトの頂点のスクリーン上での位置である第１視点側頂点スクリーン位置と、前記第２視点用ビューボリュームにおけるオブジェクトの頂点の前記スクリーン上での位置である第２視点側頂点スクリーン位置とを求め、求められた前記第１視点側頂点スクリーン位置、前記第２視点側頂点スクリーン位置に基づいて、オブジェクトの表示態様を変化させる描画処理を行って、前記第１視点画像、前記第２視点画像を生成してもよい。
【００２０】
このようにすれば、第１視点側頂点スクリーン位置や第２視点側頂点スクリーン位置を求めるという頂点処理により、内側描画領域から外側へと向かう方向でオブジェクトの表示態様を変化させる描画処理を実現できる。
【００２１】
また本発明の一態様では、前記画像生成部は、前記第１視点側頂点スクリーン位置と前記スクリーンの前記左右端辺との距離に応じて設定される第１のα値と、前記第２視点側頂点スクリーン位置と前記スクリーンの前記左右端辺との距離に応じて設定される第２のα値とを求め、前記第１、第２のα値に基づいて、オブジェクトの頂点のα値を設定して、前記第１視点画像、前記第２視点画像を生成してもよい。
【００２２】
このようにすれば、第１視点側頂点スクリーン位置により求まる第１のα値と、第２視点側頂点スクリーン位置により求まる第２のα値により、オブジェクトの頂点のα値を設定して、内側描画領域から外側へと向かう方向でオブジェクトの表示態様を変化させる描画処理を実現できる。
【００２３】
また本発明の一態様では、前記第１視点用ビューボリュームと前記第２視点用ビューボリュームとの前記共通領域の内側に前記内側描画領域を設定する領域設定部を含み（領域設定部としてコンピュータを機能させ）、前記領域設定部は、前記共通領域の形状に変化に応じて前記内側描画領域の形状を変化させてもよい。
【００２４】
このようにすれば、第１視点用ビューボリュームや第２視点用ビューボリュームの位置や方向が変化して、これらのビューボリュームの共通領域の形状が変化した場合にも、内側描画領域の形状が変化することで、これに対応することが可能になる。
【００２５】
また本発明の一態様では、前記領域設定部は、自由曲面で形成された前記内側描画領域の形状を、前記共通領域の頂点を制御点として変形させてもよい。
【００２６】
このようにすれば、自由曲面の手法を有効活用して、共通領域の形状変化に応じた内側描画領域の形状変形を実現できる。
【００２７】
また本発明の一態様では、プレーヤの左眼、右眼の位置情報を取得する情報取得部と、視点制御部とを含み（情報取得部、視点制御部としてコンピュータを機能させ）、前記視点制御部は、取得された前記位置情報に基づいて、前記第１視点用ビューボリューム、前記第２視点用ビューボリュームを設定してもよい。
【００２８】
このようにすれば、プレーヤの左眼、右眼の位置に応じて、第１視点用ビューボリューム、第２視点用ビューボリュームの位置や方向が変化するようになる。従って、上記で説明した自然に見える処理が、プレーヤ自身の位置移動に連動するような画像表現を実現できる。
【００２９】
また本発明の一態様では、前記プレーヤが装着する認識用部材には、前記プレーヤの左眼に対応する左眼用マーカと、前記プレーヤの右眼に対応する右眼用マーカとが設けられ、前記情報取得部は、前記プレーヤが装着する認識用部材を撮像する撮像部からの撮像情報に基づいて、前記プレーヤの左眼、右眼の前記位置情報を取得してもよい。
【００３０】
このようにすれば、左眼用マーカと右眼用マーカを認識用部材に設けるだけで、プレーヤの左眼、右眼の位置情報を簡素な処理で取得できるようになる。
【００３１】
また本発明の一態様では、前記情報取得部は、前記プレーヤの左眼と右眼の間の距離情報を取得し、前記視点制御部は、取得された前記距離情報に基づいて、前記第１視点と前記第２視点の間の視点間距離を設定して、前記第１視点用ビューボリューム、前記第２視点用ビューボリュームを設定してもよい。
【００３２】
このようにすれば、プレーヤの左眼と右眼の間の距離情報に応じた距離に、第１視点と第２視点の間の視点間距離を設定できるようになり、プレーヤの両眼間隔（瞳孔間距離）の個人差を反映した立体視用画像の提供が可能になる。
【００３３】
また本発明の一態様では、前記認識用部材は、左眼部分と右眼部分の間の距離を調整するための調整機構を有する眼鏡であり、前記情報取得部は、前記眼鏡の前記左眼部分に設けられた左眼用マーカと前記右眼部分に設けられた右眼用マーカの撮像情報に基づいて、前記プレーヤの左眼と右眼の間の距離情報を取得してもよい。
【００３４】
このようにすれば、プレーヤが、認識用部材である眼鏡の調整機構を使って調整を行うだけで、プレーヤの左眼と右眼の間の距離情報を取得して、第１視点と第２視点の間の視点間距離を設定できるようになる。
【００３５】
また本発明の他の態様は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、前記オブジェクト空間において立体視における第１視点から見える第１視点画像と、前記オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部とを含み、前記画像生成部は、オブジェクトが透視投影されるスクリーンの左右端辺側に近づくにつれて、オブジェクトの表示態様が変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成する画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【００３６】
本発明の他の態様によれば、スクリーンの左右端辺側に近づくにつれて、オブジェクトの表示態様が変化するような第１視点画像、第２視点画像が生成される。このようにすれば、例えばスクリーンの左右端辺付近等でのオブジェクトの画像の見え方の異なり度合いを低減でき、立体視においてプレーヤが感じる不自然さを軽減することが可能になる。
【００３７】
また本発明の他の態様では、前記画像生成部は、前記第１視点に対応する第１視点用ビューボリュームにおけるオブジェクトの頂点のスクリーン上での位置である第１視点側頂点スクリーン位置と、前記第２視点に対応する第２視点用ビューボリュームにおけるオブジェクトの頂点の前記スクリーン上での位置である第２視点側頂点スクリーン位置とを求め、求められた前記第１視点側頂点スクリーン位置、前記第２視点側頂点スクリーン位置に基づいて、オブジェクトの表示態様を変化させる描画処理を行って、前記第１視点画像、前記第２視点画像を生成してもよい。
【００３８】
また本発明の一態様では、前記第１視点、前記第２視点は、二眼式立体視における左眼側仮想カメラ、右眼側仮想カメラの視点であってもよい。
【００３９】
また本発明の一態様では、前記第１視点、前記第２視点は、多眼式立体視における視点群のうちの２つの視点、又は空間像方式立体視における設定観察範囲内の任意の２視点であってもよい。
【００４０】
空間像方式立体視では、描画時には特定の視点が想定されないことも多いが、代表的な観察位置は設定される。そこで、この代表的な観察位置に基づく、プレーヤの両眼位置等を、上記の第１視点、第２視点としてもよい。或いは、観察範囲の両端に相当する位置を、上記の第１視点、第２視点としてもよい。
【００４１】
また本発明の一態様では、表示部の画面とプレーヤとの位置関係情報を取得する情報取得部と、取得された前記位置関係情報に基づいて、前記多眼式立体視又は前記空間像方式立体視における前記第１視点と前記第２視点を選択する視点選択部を含んでもよい（情報取得部、視点選択部としてコンピュータを機能させてもよい）。
【００４２】
このようにすれば、画面とプレーヤの位置関係情報に基づき選択された第１視点用ビューボリュームと第２視点用ビューボリュームとの共通領域の内側描画領域から外側へと向かう方向で、オブジェクトの表示態様が変化するような第１視点画像、第２視点画像を生成できるようになる。これにより、立体視においてプレーヤが感じる不自然さを軽減することが可能になり、多眼式立体視や空間像方式立体視に適切な態様での立体視表示が可能になる。
【図面の簡単な説明】
【００４３】
【図１】本実施形態の画像生成システムの構成例。
【図２】左眼用ビューボリューム、右眼用ビューボリュームの設定手法の説明図。
【図３】左眼用ビューボリューム、右眼用ビューボリュームの設定手法の説明図。
【図４】本実施形態の手法の説明図。
【図５】本実施形態の手法の説明図。
【図６】本実施形態の手法を用いなかった場合に生成される左眼用画像、右眼用画像の例。
【図７】本実施形態の手法を用いた場合に生成される左眼用画像、右眼用画像の例。
【図８】ターゲット色の取得手法の説明図。
【図９】図９（Ａ）、図９（Ｂ）は本実施形態の詳細な処理の説明図。
【図１０】本実施形態の詳細な処理を説明するフローチャート。
【図１１】本実施形態の詳細な処理を説明するフローチャート。
【図１２】図１２（Ａ）、図１２（Ｂ）は本実施形態の詳細な処理におけるα値の設定手法の説明図。
【図１３】図１３（Ａ）、図１３（Ｂ）は内側描画領域の設定手法の説明図。
【図１４】図１４（Ａ）、図１４（Ｂ）は内側描画領域の設定手法の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）はプレーヤの左眼、右眼の位置情報の取得手法の説明図。
【図１６】図１６（Ａ）、図１６（Ｂ）はプレーヤの左眼、右眼の位置情報に基づくビューボリュームの設定手法の説明図。
【図１７】プレーヤの左眼、右眼の位置情報に基づくビューボリュームの設定手法の説明図。
【図１８】左眼部分と右眼部分の間の距離を調整するための調整機構を有する眼鏡の例。
【図１９】図１９（Ａ）、図１９（Ｂ）はプレーヤの左眼、右眼の位置情報に基づくカメラ間距離の設定手法の説明図。
【図２０】図２０（Ａ）、図２０（Ｂ）は本実施形態の手法が適用される立体視用画像生成手法の説明図。
【図２１】多眼式立体視等の場合の視点選択手法の説明図。
【図２２】多眼式立体視等の場合の視点選択手法の説明図。
【発明を実施するための形態】
【００４４】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４５】
１．構成
図１に本実施形態の画像生成システム（ゲームシステム）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４６】
操作部１６０は、プレーヤが操作データを入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
【００４７】
撮像部１６２は、被写体を撮像するものであり、ＣＣＤやＣＭＯＳセンサなどの撮像素子や、レンズ等の光学系により実現できる。撮像部１６２の撮像により取得された撮像情報（撮像画像データ）は、撮像情報記憶部１７４に記憶されて保存される。
【００４８】
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。
【００４９】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００５０】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、各種プロジェクター型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。また、これらは、タッチパネル等と一体型であってもよい。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００５１】
補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。
【００５２】
通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００５３】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００５４】
処理部１００（プロセッサ）は、操作部１６０からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。
【００５５】
処理部１００は、ゲーム演算部１０２、オブジェクト空間設定部１０４、移動体演算部１０６、仮想カメラ制御部１０８、情報取得部１１０、領域設定部１１２、視点選択部１１４、画像生成部１２０、音生成部１３０を含む。
【００５６】
ゲーム演算部１０２はゲーム演算処理を行う。ここでゲーム演算としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。
【００５７】
オブジェクト空間設定部１０４は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７２には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１０４は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。
【００５８】
移動体演算部１０６は、キャラクタ等の移動体を移動させるための演算を行う。また移動体（移動体オブジェクト）を動作させるための演算も行う。即ち操作部１６０によりプレーヤが入力した操作データや、プログラム（移動・動作アルゴリズム）や、各種データ（モーションデータ）などに基づいて、移動体（オブジェクト、モデルオブジェクト）をオブジェクト空間内で移動させたり、移動体を動作（モーション、アニメーション）させる処理を行う。具体的には、移動体の移動情報（位置、回転角度、速度、或いは加速度）や動作情報（パーツオブジェクトの位置、或いは回転角度）を、１フレーム（１／６０秒等）毎に順次求めるシミュレーション処理を行う。なおフレームは、移動体の移動・動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。
【００５９】
仮想カメラ制御部１０８（広義には視点制御部）は視点の制御処理を行う。具体的には、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラの制御処理（広義には視点の制御処理）を行う。例えば、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００６０】
例えば仮想カメラによりキャラクタを後方から撮影する場合には、キャラクタの位置又は方向の変化に仮想カメラが追従するように、仮想カメラの位置（視点位置）や方向（視線方向）を制御する。この場合には、移動体演算部１０６で得られたキャラクタの位置、方向又は速度などの情報に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させる制御を行ってもよい。この場合には、仮想カメラの位置（移動経路）又は方向を特定するための仮想カメラデータに基づいて仮想カメラを制御する。
【００６１】
情報取得部１１０は、例えば撮像部１６２からの撮像情報等に基づいて種々の情報を取得する。例えば画像が表示される表示部１９０の画面の周囲の色情報（プレーヤから見た場合の周囲の色情報）を取得する。或いは、プレーヤ（観者）の左眼、右眼の位置情報（表示部１９０の画面に対する相対的な位置情報）を取得する。例えば情報取得部１１０は、表示部１９０の画面とプレーヤとの位置関係情報（画面に対するプレーヤの相対的な位置情報）を取得する。
【００６２】
領域設定部１１２は、第１視点用ビューボリューム（狭義には左眼用ビューボリューム）と第２視点用ビューボリューム（狭義には右眼用ビューボリューム）との共通領域（重複する領域）の内側に内側描画領域を設定する処理などを行う。
【００６３】
視点選択部１１４は、多眼式立体視や空間像方式立体視における視点の選択処理を行う。
【００６４】
画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。
【００６５】
例えば画像生成部１２０は、頂点処理部１２２、ピクセル処理部１２４を含むことができる。
【００６６】
頂点処理部１２２（頂点シェーダ、ジオメトリーシェーダ）は頂点処理を行う。具体的には、オブジェクトの頂点データ（頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）に基づいて、頂点処理（頂点シェーダによるシェーディング）を行う。なお頂点処理を行うに際して、必要に応じてポリゴンを再分割するための頂点生成処理（テッセレーション、曲面分割、ポリゴン分割）を行うようにしてもよい。
【００６７】
頂点処理では、頂点処理プログラム（頂点シェーダプログラム、第１のシェーダプログラム）に従って、頂点の移動処理や、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、あるいは透視変換等のジオメトリ処理が行われ、その処理結果に基づいて、オブジェクトを構成する頂点群について与えられた頂点データを変更（更新、調整）する。そして、頂点処理後の頂点データに基づいてラスタライズ（走査変換）が行われ、ポリゴン（プリミティブ）の面とピクセルとが対応づけられる。
【００６８】
ピクセル処理部１２４（ピクセルシェーダ）はピクセル処理を行う。具体的には、ラスタライズ後に、画像を構成するピクセル（表示画面を構成するフラグメント）を描画するピクセル処理（ピクセルシェーダによるシェーディング、フラグメント処理）を行う。
【００６９】
ピクセル処理では、ピクセル処理プログラム（ピクセルシェーダプログラム、第２のシェーダプログラム）に従って、テクスチャの読み出し（テクスチャマッピング）、色データの設定／変更、半透明合成、アンチエイリアス等の各種処理を行って、画像を構成するピクセルの最終的な描画色を決定し、透視変換されたオブジェクトの描画色を描画バッファ１７８に出力（描画）する。即ち、ピクセル処理では、画像情報（色、法線、輝度、α値等）をピクセル単位で設定あるいは変更するパーピクセル処理を行う。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。
【００７０】
なお頂点処理やピクセル処理は、シェーディング言語によって記述されたシェーダプログラムによって、ポリゴン（プリミティブ）の描画処理をプログラム可能にするハードウェア、いわゆるプログラマブルシェーダ（頂点シェーダやピクセルシェーダ）により実現できる。プログラマブルシェーダでは、頂点単位の処理やピクセル単位の処理がプログラム可能になることで描画処理内容の自由度が高く、従来のハードウェアによる固定的な描画処理に比べて表現力を大幅に向上させることができる。
【００７１】
音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。
【００７２】
そして本実施形態では、画像生成部１２０が、オブジェクト空間において立体視（二眼式、多眼式、空間像方式）における第１視点から見える第１視点画像と、オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する。
【００７３】
この場合に画像生成部１２０は、第１視点に対応する第１視点用ビューボリューム（第１視点用視錐台）と第２視点に対応する第２視点用ビューボリューム（第２視点用視錐台）との共通領域（重複領域）の内側描画領域（共通領域に内包される領域）から、内側描画領域の外側（左右クリッピング面側）へと向かう方向で、オブジェクトの表示態様（透明度、デフォーカス度又は色等）が変化する描画処理を行って、第１視点画像、第２視点画像を生成する。具体的には、共通領域の内側描画領域から、共通領域のクリッピング面（左側クリッピング面、右側クリッピング面）に近づくにつれて、オブジェクトの表示態様が徐々に変化する描画処理を行って、第１視点画像、第２視点画像を生成する。別の言い方をすれば、オブジェクトが透視投影されるスクリーンの左右端辺側（左端辺側、右端辺側）に近づくにつれて、オブジェクトの表示態様が変化する描画処理を行って、第１視点画像、第２視点画像を生成する。
【００７４】
二眼式立体視を例にとれば、仮想カメラ制御部１０８が、左眼用仮想カメラ及び右眼用仮想カメラの設定を行い、画像生成部１２０は、オブジェクト空間において左眼用仮想カメラ（広義には第１視点）から見える左眼用画像（広義には第１視点画像）と、オブジェクト空間において右眼用仮想カメラ（広義には第２視点）から見える右眼用画像（広義には第２視点画像）を生成する。そして画像生成部１２０は、左眼用仮想カメラに対応する左眼用ビューボリューム（広義には第１視点用ビューボリューム）と右眼用仮想カメラに対応する右眼用ビューボリューム（広義には第２視点用ビューボリューム）との共通領域の内側描画領域から、内側描画領域の外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、左眼用画像、右眼用画像を生成する。
【００７５】
ここで、オブジェクトの表示態様を変化させる処理としては種々の処理を想定できる。例えば画像生成部１２０は、第１視点用ビューボリューム（左眼用ビューボリューム）と第２視点用ビューボリューム（右眼用ビューボリューム）の共通領域の内側描画領域から、内側描画領域の外側へと向かう方向で、オブジェクトが徐々に透明に近づく描画処理を行って、第１視点画像(左眼用画像）、第２視点画像（右眼用画像）を生成する。或いは、内側描画領域から外側へと向かう方向で、オブジェクトが徐々にデフォーカスされたり、オブジェクトの色が徐々にターゲット色に近づく描画処理を行って、第１視点画像（左眼用画像）、第２視点画像（右眼用画像）を生成する。なおオブジェクトの表示態様を変化させる処理は、これらには限定されず、例えば輝度を変化させて徐々に暗くするなどの処理であってもよい。
【００７６】
また、オブジェクトの色を近づけるターゲット色の設定手法としては種々の手法を想定できる。例えば情報取得部１１０は、画像が表示される表示部１９０の画面の、プレーヤ側から見た場合の周囲の色情報を取得する。例えば表示部１９０の画面の縁部（枠部）の色情報を取得したり、表示部１９０の後ろ側の背景の色情報を取得する。そして画像生成部１２０は、取得された色情報に基づいて、ターゲット色を設定し、内側描画領域から外側へと向かう方向で、オブジェクトの色が徐々にターゲット色に近づく描画処理を行って、第１視点画像、第２視点画像を生成する。
【００７７】
また例えば頂点シェーダやピクセルシェーダにより画像を生成する場合には、画像生成部１２０は、第１視点用ビューボリューム（左眼用ビューボリューム）におけるオブジェクトの頂点のスクリーン上での位置である第１視点側頂点スクリーン位置（左眼側頂点スクリーン位置）を求める。即ち、第１視点用ビューボリュームにおいてオブジェクトの頂点をスクリーンに透視投影した位置を、第１視点側頂点スクリーン位置として求める。また画像生成部１２０は、第２視点用ビューボリューム（右眼用ビューボリューム）におけるオブジェクトの頂点のスクリーン上での位置である第２視点側頂点スクリーン位置（右眼側頂点スクリーン位置）を求める。即ち、第２視点用ビューボリュームにおいてオブジェクトの頂点をスクリーンに透視投影した位置を、第２視点側頂点スクリーン位置として求める。
【００７８】
そして画像生成部１２０は、求められた第１視点側頂点スクリーン位置（左眼側頂点スクリーン位置）、第２視点側頂点スクリーン位置（右眼側頂点スクリーン位置）に基づいて、オブジェクトの表示態様（透明度、デフォーカス度又は色等）を徐々に変化させる描画処理を行って、第１視点画像、第２視点画像を生成する。具体的には、第１視点側頂点スクリーン位置とスクリーンの左右端辺（左端辺、右端辺）との距離に応じて設定される第１のα値と、第２視点側頂点スクリーン位置とスクリーンの左右端辺との距離に応じて設定される第２のα値とを求める。そして、求められた第１、第２のα値に基づいて、オブジェクトの頂点のα値を設定して、第１視点画像、第２視点画像を生成する。具体的には、例えば第１、第２のα値のうちの小さい方の値を、オブジェクトの頂点のα値に設定して描画処理を行い、第１視点画像、第２視点画像を生成する。このようにすれば、内側描画領域から、第１視点用、第２視点用ビューボリュームの共通領域のクリッピング面に近づくにつれて、オブジェクトが徐々に透明に近づく第１視点画像、第２視点画像を生成できる。
【００７９】
ここで内側描画領域は、領域設定部１１２が、第１視点用（左眼用）、第２視点用（右眼用）ビューボリュームとの共通領域の内側に設定するようにしてもよい。この場合には領域設定部１１２は、共通領域の形状に変化に応じて内側描画領域の形状を変化させる。即ち、第１視点、第２視点（左眼用、右眼用仮想カメラ）の位置や方向が変化すると、第１視点用、第２視点用ビューボリュームの位置や方向も変化し、これらのビューボリュームの共通領域の形状も変化する。この場合に領域設定部１１２は、共通領域の形状の変化に追従するように、共通領域の内側描画領域の形状を変化させる。例えば自由曲面（NURBS等）で形成された内側描画領域の形状を、共通領域の頂点を制御点として変形させる。即ち共通領域の頂点である制御点の位置の変化に追従するように、自由曲面で形成された内側描画領域の形状を変化させる。
【００８０】
なお仮想カメラ制御部１０８（視点制御部）は、例えば第１視点、第２視点（左眼用、右眼用仮想カメラ）を設定するための基準となる基準視点（基準仮想カメラ、センターカメラ）の制御を行う。そして、得られた基準視点（基準仮想カメラ）の位置情報、方向情報と、設定された視点間距離（カメラ間距離）の情報に基づいて、第１視点、第２視点（左眼用、右眼用仮想カメラ）の位置情報（視点位置）、方向情報（視線方向）を求める。なお仮想カメラ制御部１０８が、第１視点、第２視点（左眼用、右眼用仮想カメラ）を直接制御するようにしてもよい。
【００８１】
また立体視方式としては、２眼分離眼鏡方式や、パララックスバリアやレンティキュラーレンズや、その他、光線の方向を制御することができる光学素子を用いた裸眼方式などの様々な方式を想定できる。２眼分離眼鏡方式としては、例えば偏光眼鏡方式、継時分離方式、色分離方式などがある。偏光眼鏡方式では、例えば表示部１９０の奇数ラインと偶数ラインに左眼用画像と右眼用画像を交互に表示し、これを偏光眼鏡（例えば左眼に水平方向の偏光フィルタ、右眼に垂直方向の偏光フィルタを付けた眼鏡）で見ることで立体視を実現する。或いは左眼用画像と右眼用画像を特殊な偏光フィルタを有するプロジェクタで投影し、投影画像を偏光眼鏡で見ることで立体視を実現してもよい。また継時分離方式（ページ・フリップ方式）では、表示部１９０に左眼用画像、右眼用画像を所定期間毎（例えば１／１２０秒毎、１／６０秒毎）に交互に表示する。そして、この表示の切り替えに連動して液晶シャッター付きの眼鏡の左眼、右眼の液晶シャッターを交互に開閉することで、立体視を実現する。色分離方式では、例えばアナグリフ画像を生成し、赤青眼鏡等で見ることで、立体視を実現する。
【００８２】
また左眼用画像と右眼用画像から立体用視画像を生成する機能は、画像生成部１２０に持たせてもよいし、表示部１９０（テレビ等）に持たせてもよい。例えば画像生成部１２０が、サイドバイサイド方式の画像信号を出力する。すると表示部１９０が、このサイドバイサイドの画像信号に基づいて、奇数ラインと偶数ラインに左眼用画像と右眼用画像が交互に割り当てられるフィールドシーケンシャル方式の画像を表示する。或いは、左眼用画像と右眼用画像が所定期間毎に交互に切り替えられるフレームシーケンシャル方式の画像を表示する。或いは画像生成部１２０の方が、フィールドシーケンシャル方式やフレームシーケンシャル方式の画像を生成して、表示部１９０に出力するようにしてもよい。
【００８３】
また情報取得部１１０は、プレーヤ（観者）の左眼、右眼の位置情報を取得する。例えば表示部１９０の画面に対する左眼、右眼の相対的な位置情報を取得する。そして仮想カメラ制御部１０８（画像生成部）は、取得された位置情報に基づいて、第１視点用ビューボリューム（左眼用ビューボリューム、左眼用仮想カメラ）、第２視点用ビューボリューム（右眼用ビューボリューム、右眼用仮想カメラ）を設定する。例えば第１視点用、第２視点用ビューボリュームの位置や方向を設定する。このようにすることで、プレーヤの左眼や右眼の位置の変化に応じて、第１視点用ビューボリュームや第２視点用ビューボリュームの位置や方向が変化するようになり、後述する両眼トラッキング画像を生成できるようになる。
【００８４】
この場合に例えばプレーヤが装着する認識用部材に、プレーヤの左眼に対応する左眼用マーカと、プレーヤの右眼に対応する右眼用マーカを設けてもよい。そして情報取得部１１０は、プレーヤが装着する認識用部材を撮像する撮像部１６２からの撮像情報に基づいて、プレーヤの左眼、右眼の位置情報を取得する。即ち、プレーヤが装着する認識用部材を撮像部１６２により撮像し、得られた撮像情報に基づく画像認識処理により、認識用部材の左眼用マーカと右眼用マーカを画像認識する。そして、画像認識結果に基づいて左眼用マーカ、右眼用マーカの位置を検出して、プレーヤの左眼、右眼の位置情報を求める。このようにすれば、観者の左眼、右眼の位置情報を、撮像部１６２を有効活用した簡素な処理で検出できるようになる。このマーカーは、メガネ式立体視表示装置の場合には、メガネに取り付けても良い。また、顔認識等の技術により、特にマーカーをつけなくても左眼・右眼の位置を検出できる場合には、もちろんマーカーは不要である。
【００８５】
また情報取得部１１０は、プレーヤの左眼と右眼の間の距離情報を取得してもよい。そして仮想カメラ制御部１０８は、取得された距離情報に基づいて、第１視点（左眼用仮想カメラ）と第２視点（右眼用仮想カメラ）の間の視点間距離（カメラ間距離）を設定して、第１視点用ビューボリューム（左眼用ビューボリューム、左眼用仮想カメラ）、第２視点用ビューボリューム（右眼用ビューボリューム、右眼用仮想カメラ）を設定する。具体的には、認識用部材として、左眼部分と右眼部分の間の距離を調整するための調整機構を有する眼鏡を用意する。そして情報取得部１１０は、眼鏡の左眼部分に設けられた左眼用マーカと右眼部分に設けられた右眼用マーカの撮像情報に基づいて、プレーヤの左眼と右眼の間の距離情報を取得する。このようにすれば、プレーヤが眼鏡の調整機構を用いて、左眼部分と右眼部分の間の距離を変化させた場合にも、これに対応して第１視点（左眼用仮想カメラ）と第２視点（右眼用仮想カメラ）の視点間距離（カメラ間距離）も変化するようになり、より適切な視点間距離での立体視用画像を生成できるようになる。また、両眼間隔の違いに合わせた眼鏡を、色や形状を変えて作っておき、その違いを、カメラ等で撮影して認識することで、それぞれの眼鏡に応じた両眼距離を設定するようにしてもよい。例えば子供用の眼鏡と大人用の眼鏡を異なる色や形状にしておき、この色や形状の違いを認識することで、子供用の視差設定を行う。なお、この手法は、眼鏡全体の色や形状を変えることで実現してもよいし、識別用部材だけの色や形状を変えることで実現してもよい。
【００８６】
なお、第１視点画像、第２視点画像を生成する第１視点、第２視点は、例えば二眼式立体視における左眼側仮想カメラ、右眼側仮想カメラの視点である。或いは、第１視点、第２視点は、多眼式立体視又は空間像方式立体視における視点であってもよい。
【００８７】
また情報取得部１１０は、表示部１９０の画面とプレーヤ（観者）との位置関係情報を取得する。この位置関係情報は、例えばプレーヤの左眼、右眼の位置情報等である。なお、位置関係情報は、表示部１９０の画面とプレーヤ（プレーヤの左眼、右眼）の相対的な位置関係を表す情報であれば十分であり、例えばプレーヤに対する表示部１９０の画面の動き情報を、位置関係情報として取得してもよい。例えば携帯型ゲーム装置において、内蔵するモーションセンサ（ジャイロセンサ、加速度センサ等）を用いて、プレーヤが携帯型ゲーム装置を動かすことによる画面等の動きを検出して、位置関係情報を取得してもよい。
【００８８】
また視点選択部１１４は、取得された位置関係情報に基づいて、多眼式立体視又は空間像方式立体視における第１視点と第２視点を選択する。そして画像生成部１２０は、立体視における第１視点から見える第１視点画像と、第２視点から見える第２視点画像を、立体視用画像として生成する。例えばプレーヤの左眼に見えるべき画像を第１視点画像として生成し、右眼に見えるべき画像を第２視点画像として生成する。空間像方式の場合には、選択された第１視点と第２視点を含むように画像描画範囲を設定した上で、その範囲の画像を生成するようにすればよい。
【００８９】
そして画像生成部１２０は、位置関係情報に基づき選択された第１視点用ビューボリュームと、位置関係情報に基づき選択された第２視点用ビューボリュームとの共通領域（非フレームバイオレーション領域）の内側描画領域から、内側描画領域の外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、第１視点画像、第２視点画像を生成する。例えば、多眼式立体視又は空間像方式立体視において、第１視点画像、第２視点画像を生成するための第１視点、第２視点が選択された場合に、第１視点用ビューボリュームと第２視点用ビューボリュームの共通領域の内側描画領域から外側へと向かう方向で、オブジェクトの表示態様が変化する立体視用画像を生成する。このようにすれば、多眼式立体視又は空間像方式立体視において第１視点、第２視点が選択された場合にも、多眼式立体視や空間像方式立体視に適切な態様での立体視表示が可能になる。
【００９０】
２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。
【００９１】
２．１ 内側描画領域から外側に向かう方向での表示態様の変更
まず立体視におけるビューボリュームの設定について説明する。なお、以下では二眼式立体視の場合を主に例に取り説明する。この場合には例えば第１視点が左眼用仮想カメラの視点となり、第２視点が右眼用仮想カメラの視点になる。但し、本実施形態の手法は、このような二眼式立体視に限定されるものではなく、後述するように多眼式立体視、空間像方式立体視などの種々の立体視方式に適用可能である。
【００９２】
例えば図２に示すように、立体視用画像を生成するためには、所与のカメラ間距離だけ離れた位置に設定される左眼用仮想カメラＶＣＬ（広義には第１視点カメラ）と右眼用仮想カメラＶＣＲ（広義には第２視点カメラ）を用いる。
【００９３】
そして左眼用仮想カメラＶＣＬに対応して左眼用ビューボリュームＶＶＬ（左眼用視錐台、第１視点用ビューボリューム、第１視点用視錐台）が設定され、右眼用仮想カメラＶＣＲに対応して右眼用ビューボリュームＶＶＲ（右眼用視錐台、第２視点用ビューボリューム、第２視点用視錐台）が設定される。具体的には左眼用、右眼用仮想カメラＶＣＬ、ＶＣＲの位置や方向に基づいて、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲの位置や方向が設定される。
【００９４】
この場合に左眼用仮想カメラＶＣＬから見える画像である左眼用画像は、左眼用ビューボリュームＶＶＬ内に存在するオブジェクトをスクリーンＳＣに透視投影して描画することで生成される。同様に右眼用仮想カメラＶＣＲから見える画像である右眼用画像は、右眼用ビューボリュームＶＶＲ内に存在するオブジェクトをスクリーンＳＣに透視投影して描画することで生成される。従って、スクリーンＳＣに透視投影されない位置にあるオブジェクトは、描画対象にはならないため、これらのオブジェクトに対して透視投影変換処理を行うと、処理の無駄となる。
【００９５】
このため、実際には、図３に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲを設定している。このようにすれば、スクリーンＳＣに透視投影されないオブジェクトについては、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲを用いたクリッピング処理により描画対象から除外されるようになり、無駄な処理が行われるのが防止され、処理負荷の軽減を図れる。
【００９６】
なお図３において、ＣＮＬ、ＣＦＬは、各々、左眼用ビューボリュームＶＶＬの前方クリッピング面、後方クリッピング面であり、ＣＮＲ、ＣＦＲは、各々、右眼用ビューボリュームＶＶＲの前方クリッピング面、後方クリッピング面である。
【００９７】
さて、図３のようにビューボリュームを設定したとしても、例えばオブジェクトＯＢ１、ＯＢ２は、左眼用ビューボリュームＶＶＬ内には存在するが、右眼用ビューボリュームＶＶＲ内には存在しない。従って、オブジェクトＯＢ１、ＯＢ２については、左眼用画像の生成時にはスクリーンＳＣに描画されるが、右眼用画像の生成時にはスクリーンＳＣに描画されない。従って、オブジェクトＯＢ１、ＯＢ２の画像は、左眼用画像を見るプレーヤの左眼には見えるが、右眼用画像を見るプレーヤの右眼には見えない画像になる。
【００９８】
同様に、オブジェクトＯＢ３、ＯＢ４は、右眼用ビューボリュームＶＶＲ内には存在するが、左眼用ビューボリュームＶＶＬ内には存在しない。従って、オブジェクトＯＢ３、ＯＢ４の画像は、右眼用画像の生成時には描画されるが、左眼用画像の生成時には描画されないため、プレーヤの右眼には見えるが、プレーヤの左眼には見えない画像になる。このように左眼の右眼のいずれか一方のみにしか見えない領域は、フレームバイオレーション領域（ウィンドウ違反領域）と呼ばれる。
【００９９】
そして、このようにプレーヤの左眼と右眼とで、見えるオブジェクトが異なってしまうと、プレーヤが立体視する際に不自然さを感じるおそれがある。特に、ビューボリュームのクリッピング面を横切るようなオブジェクトが存在すると、一方の眼からは、そのオブジェクトがクリッピング面により切れているように見えるのに、他方の眼からは、そのようには見えないため、不自然な立体視になってしまう可能性がある。
【０１００】
そこで本実施形態では、このような問題を解決するために、図４に示す手法を採用している。図４において、内側描画領域ＲＤは、左眼用ビューボリュームＶＶＬと右眼用ビューボリュームＶＶＲの共通領域の内側の領域（内包される領域）である。
【０１０１】
そして図４では、内側描画領域ＲＤから内側描画領域ＲＤの外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、左眼用画像、右眼用画像を生成する。例えば、オブジェクトが徐々に透明に近づいたり、徐々にデフォーカスされたり、徐々にターゲット色に近づくような描画処理を行って、左眼用画像、右眼用画像を生成する。このようにすることで、不自然に見える立体視用画像が生成されてしまう事態を防止できる。
【０１０２】
例えば図５のように、ビューボリュームのクリッピング面を横切るようなオブジェクトＯＢが存在したとする。
【０１０３】
このような場合に、オブジェクトＯＢのＡ１に示す部分は、右眼用仮想カメラＶＶＲにおいては視野内に入っている。これに対して、左眼用仮想カメラＶＶＬからは、左側クリッピング面によりオブジェクトＯＢの一部が切れているように見え、Ａ１に示す部分は視野内に入らなくなっている。またオブジェクトＯＢのＡ２に示す部分は、左眼用仮想カメラＶＶＬにおいては視野内に入っている。これに対して、右眼用仮想カメラＶＶＲからは、右側クリッピング面によりオブジェクトＯＢの一部が切れているように見え、Ａ２に示す部分は視野内に入らなくなっている。従って、左眼用仮想カメラＶＶＬと右眼用仮想カメラＶＶＲとで、クリッピング面付近でのオブジェクトＯＢの見え方が異なってしまい、プレーヤが不自然さを感じるおそれがある。
【０１０４】
この点、本実施形態の手法によれば、内側描画領域ＲＤから外側へと向かう方向で、オブジェクトが徐々に透明になるなど、その表示態様が変化する。従って、スクリーンＳＣの左右端辺付近でのオブジェクトＯＢの画像の見え方の異なり度合いが低減され、より自然に見える立体視用画像をプレーヤに提供できる。
【０１０５】
例えば図６は、本実施形態の手法を採用しなかった場合の左眼用画像ＩＭＬ、右眼用画像ＩＭＲの例である。図６のＢ１に示すように、左眼用画像ＩＭＬでは、ティーポットの注ぎ口の先端部が切れているように見えるのに対して、Ｂ２に示すように、右眼用画像ＩＭＲでは、注ぎ口のほぼ全体が視野に入っている。またＢ３に示すように、右眼用画像ＩＭＲでは、ティーポットの取っ手の後端部が切れているように見えるのに対して、Ｂ４に示すように、左眼用画像ＩＭＬでは、取っ手の後端部の全体が視野に入っている。
【０１０６】
一方、図７は、本実施形態の手法により生成された左眼用画像ＩＭＬ、右眼用画像ＩＭＲの例である。図７のＣ１、Ｃ２、Ｃ３、Ｃ４に示すように、スクリーン（画面）の左右端辺側に近づくにつれて、オブジェクトの表示態様が変化している。具体的には、Ｃ１、Ｃ２に示すように、スクリーンの左端辺に近づくにつれて、注ぎ口の先端部が徐々に透明（半透明）になっている。またＣ３、Ｃ４に示すように、スクリーンの右端辺に近づくにつれて、取っ手の後端部が徐々に透明になっている。従って、スクリーンの左右端辺での左眼用画像ＩＭＬ、右眼用画像ＩＭＲの見え方の違いが、図６に比べると、低減される。これにより、オブジェクトがクリッピング面により切り取られることなどによる画像の不自然さを軽減でき、より自然な立体視用画像の提供が可能になる。
【０１０７】
なお図７では、オブジェクトの表示態様を変化させる手法として、スクリーンの左右端辺側に近づくにつれて（左右クリッピング面に近づくにつれて）、オブジェクトを徐々に透明にする手法について説明したが、本実施形態はこれに限定されない。
【０１０８】
例えばスクリーンの左右端辺側（左右クリッピング面側）に近づくにつれてオブジェクトが徐々にデフォーカス（モーションブラー）される描画処理を行って、左眼用画像、右眼用画像を生成してもよい。このようにすれば、スクリーンの左右端辺側に近づくにつれて、オブジェクトがぼけて見えるようになるため、図７と同様の効果を得ることができる。この場合のデフォーカス処理は、例えばぼかしフィルタ（Blur Filter）などを用いることで実現できる。具体的には、バイリニアフィルタリングによるぼかし処理である線形テクスチャフィルタリングの手法や、何枚ものテクスチャを同時に使用するマルチテクスチャによるぼかし処理であるボックスフィルタサンプリングの手法などを採用できる。
【０１０９】
例えば、あるオブジェクトが、両眼から見えているが、その一部が画面外にはみ出しているため、一方の眼では見えている範囲が大きく、他方の眼では見えている範囲が小さいような場合を想定する。このように、あるオブジェクトが、両眼から見えているが、見えている範囲が違うような場合には、上述のようなデフォーカス処理を行うことで、見えている範囲の大きさの違いによる違和感を緩和できる。
【０１１０】
また、スクリーンの左右端辺側に近づくにつれてオブジェクトの色が徐々にターゲット色に近づく描画処理を行って、左眼用画像、右眼用画像を生成してもよい。このようにすることでも、図７と同様の効果を得ることができる。
【０１１１】
但し、多数のオブジェクトが配置される場合においても、より自然な画像の生成が可能であるという観点からは、図７のようにオブジェクトを徐々に透明にする半透明処理手法や、オブジェクトを徐々にデフォーカス（ブラー）するデフォーカス処理手法が望ましい。例えば背景オブジェクトなどの第１のオブジェクトＯＢ１と、処理対象となる第２のオブジェクトＯＢ２が画面端付近において重ねて表示される場合を想定する。この場合に、上述の半透明処理手法やデフォーカス処理手法では、画面端に近づくにつれてオブジェクトＯＢ２が透明になったりデフォーカスされても、不自然な画像は生成されない。一方、オブジェクトの色をターゲット色に近づける手法では、オブジェクトＯＢ１の領域のうち、オブジェクトＯＢ２に対応する領域がターゲット色に設定されて、その領域がくりぬかれたような画像が生成されてしまうおそれがある。この意味においては、オブジェクトの色をターゲット色に近づける手法よりも、半透明処理手法やデフォーカス処理手法の方が、より望ましい。
【０１１２】
オブジェクトの色を徐々にターゲット色に近づける手法を採用した場合、ターゲット色としては、種々の色を採用できる。例えば、ターゲット色として、画像が表示される表示部１９０の画面の周囲の色（プレーヤ側から見た場合の周囲の色）を採用してもよい。このようにすることで、いわゆる光学迷彩を実現できる。
【０１１３】
具体的には図８に示すように、表示部１９０の後ろ側の背景色や、表示部１９０の画面周囲の縁部の色などを、ターゲット色として採用できる。このようにすれば、表示部１９０の画面の存在感を消すことができ、あたかも空間の中にオブジェクトが存在しているかのように見える画像表現を実現できる。
【０１１４】
図８の手法を採用する場合には、表示部１９０の画面の周囲の色情報を、情報取得部１１０が取得する。具体的には、例えばゲームコントローラ１６１等に設けられた撮像部１６２を用いて、表示部１９０やその周囲の画像を撮像する。そして、得られた撮像情報に基づいて、表示部１９０の画面周囲の縁部の色や表示部１９０の背景色の情報を検出する。そして、検出された色情報に基づいて、ターゲット色を設定する。例えば画面の縁部の色が、黒っぽい色であるある場合には、ターゲット色も黒っぽい色に設定する。また背景の色が青であった場合には、ターゲット色も青又は青に近い色に設定する。このようにすることで、画面に映るゲーム画像が、あたかも背景に溶け込んでいるかのように見える画像を生成できるようになり、これまでにない画像表現を実現できる。
【０１１５】
なお、ターゲット色を取得する撮像部の設置手法としては種々の手法を想定できる。携帯電話機や携帯型ゲーム装置を例にとれば、携帯電話機や携帯型ゲーム装置の表示部の裏側に設けられた撮像部を用いて、画像を撮像することで、後ろ側の背景色を取得して、ターゲット色を設定する。
【０１１６】
２．２ 具体的な処理例
次に、本実施形態の具体的な処理例について説明する。ここでは頂点シェーダ、ピクセルシェーダや用いた場合の処理例を説明する。
【０１１７】
図９（Ａ）にビューボリュームＶＶＬ、ＶＶＲ及びスクリーンＳＣを示す。本実施形態では、下式（１）により、オブジェクト（モデル）の頂点をスクリーンＳＣに透視投影する。
【０１１８】
【数１】
【０１１９】
ここで、（Ｘｍ，Ｙｍ，Ｚｍ）は、オブジェクト形状を定義する頂点の位置である。Ｍは、オブジェクトをスクリーンに透視投影するための射影行列である。（ＸＰ，ＹＰ，ＺＰ，ＷＰ）は、オブジェクトの頂点のスクリーン上の位置である頂点スクリーン位置である。
【０１２０】
そして、この頂点スクリーン位置は、下式（２）により正規化される。
【０１２１】
【数２】
【０１２２】
ここで、（Ｘ，Ｙ，Ｚ）は、深度を含めて正規化された頂点スクリーン位置である。そして図９（Ａ）に示すように、頂点スクリーン位置の座標Ｘの変域は、−１．０≦Ｘ≦１．０になる。本実施形態では、このような変域の座標Ｘを用いて、下式（３）のようにα値（透明度）を求める。
【０１２３】
【数３】
【０１２４】
ここで、ｔは、オブジェクトが透明になり始めるポイント（透明になり始めるビューボリュームの割合）を表すパラメータである。ＭＡＸ（Ａ，Ｂ）は、Ａ、Ｂのうち大きい方の値をとる関数である。
【０１２５】
上式（３）により、図９（Ｂ）に示すように頂点スクリーン位置の座標Ｘに対してα値が設定されるようになる。具体的には−ｔ≦Ｘ≦ｔでは、α＝１．０（不透明）になる。またＸが−ｔよりも小さくなると、αは徐々に小さくなって行き、最終的にはα＝０（透明）になる。またＸがｔよりも大きくなると、αは徐々に小さくなって行き、最終的にはα＝０（透明）になる。このようにα値を設定することで、スクリーンＳＣの左右端辺側に近づくにつれてオブジェクトが徐々に透明になる描画処理を実現できる。
【０１２６】
次に本実施形態の具体的な処理例について図１０、図１１のフローチャートを用いて説明する。
【０１２７】
図１０に示すように、まずオブジェクト空間へのオブジェクトの配置設定処理を行う（ステップＳ１）。例えばプレーヤの操作情報に基づいて、ゲーム演算処理や移動体の移動演算処理を行い、各フレームでのオブジェクトの配置位置を決定して、オブジェクト空間に配置設定する。
【０１２８】
次に左眼用仮想カメラ、右眼用仮想カメラの設定を行う（ステップＳ２）。例えば仮想カメラの制御により求められた基準仮想カメラの位置、方向等に基づいて、左眼用仮想カメラ、右眼用仮想カメラの位置、方向を設定する。
【０１２９】
そして、左眼用ビューボリューム（視錐台）を視界に設定して、描画処理を行う（ステップＳ３、Ｓ４）。これにより左眼用仮想カメラから見える画像である左眼用画像が生成される。また右眼用ビューボリューム（視錐台）を視界に設定して、描画処理を行う（ステップＳ５、Ｓ６）。これにより右眼用仮想カメラから見える画像である右眼用画像が生成される。
【０１３０】
図１１は、図１０のステップＳ４、Ｓ５の描画処理の詳細例を示すフローチャートである。
【０１３１】
まず、左眼用ビューボリュームにおけるオブジェクトの頂点のスクリーン上での位置である左眼側頂点スクリーン位置を求める（ステップＳ１１）。具体的には、左眼用ビューボリュームにおいて、上式（１）、（２）に示すような透視投影変換処理を行って、オブジェクトの頂点に対応する左眼側頂点スクリーン位置を求める。そして上式（３）や図９（Ｂ）に示すように、左眼側頂点スクリーン位置とスクリーンの左右端辺との距離に応じた第１のα値αＬを算出する（ステップＳ１２）。
【０１３２】
次に、右眼用ビューボリュームにおけるオブジェクトの頂点のスクリーン上での位置である右眼側頂点スクリーン位置を求める（ステップＳ１３）。具体的には、右眼用ビューボリュームにおいて、上式（１）、（２）に示すような透視投影変換処理を行って、オブジェクトの頂点に対応する右眼側頂点スクリーン位置を求める。そして上式（３）や図９（Ｂ）に示すように、右眼側頂点スクリーン位置とスクリーンの左右端辺との距離に応じた第２のα値αＲを算出する（ステップＳ１４）。
【０１３３】
次に、αＬとαＲのうち、より透明（０．０）に近いほうのα値を、オブジェクトの頂点のα値αＶとして設定する（ステップＳ１５）。そして、視界に設定された方のビューボリュームでのスクリーン上での位置を、表示用の位置に設定する（ステップＳ１６）。例えば左眼用ボリュームが視界に設定された図１０のステップＳ４の描画処理の場合には、左眼用ボリュームでのスクリーン上での位置が、表示用の位置に設定される。一方、右眼用ボリュームが視界に設定された図１０のステップＳ６の描画処理の場合には、右眼用ボリュームでのスクリーン上での位置が、表示用の位置に設定される。
【０１３４】
以上のステップＳ１１〜Ｓ１６の処理が、頂点シェーダによる頂点ごとの処理として実行されると、ラスタライズ処理が行われる（ステップＳ１７）。そして、設定されたα値αＶを用いて描画処理が行われる（ステップＳ１８）。このステップＳ１８の処理は、ピクセルシェーダによるピクセルごとの処理として実行される。
【０１３５】
次に、ステップＳ１２〜Ｓ１５の処理について、図１２（Ａ）、図１２（Ｂ）を用いて更に詳細に説明する。
【０１３６】
図１２（Ａ）において、ＣＬ２、ＣＬ４は、各々、左眼用ビューボリュームＶＶＬの左側クリッピング面、右側クリッピング面である。またＣＬ１、ＣＬ３は、各々、右眼用ビューボリュームＶＶＲの左側クリッピング面、右側クリッピング面である。
【０１３７】
この場合に上式（３）や図９（Ｂ）のようにα値を求めると、図１１のステップＳ１２、Ｓ１４でα値αＬ、αＲは、図１２（Ｂ）に示すような値に設定される。
【０１３８】
例えばαＬは、内側描画領域ＲＤでは１．０（不透明）になり、左眼用ビューボリュームＶＶＬの左側クリッピング面ＣＬ２に近づくにつれて徐々に減少して、０．０（透明）になる。そしてクリッピング面ＣＬ２とＣＬ１の間ではαＬは０．０に設定される。またαＬは、左眼用ビューボリュームＶＶＬの右側クリッピング面ＣＬ４に近づくにつれて徐々に減少して、０．０（透明）になる。
【０１３９】
一方、αＲは、内側描画領域ＲＤでは１．０になり、右眼用ビューボリュームＶＶＲの左側クリッピング面ＣＬ１に近づくにつれて徐々に減少して、０．０になる。またαＲは、右眼用ビューボリュームＶＶＲの右側クリッピング面ＣＬ３に近づくにつれて徐々に減少して、０．０になる。そしてクリッピング面ＣＬ３とＣＬ４の間ではαＲは０．０に設定される。
【０１４０】
図１１のステップＳ１５に示すように、αＬとαＲのうち、より透明（０．０）に近い方のα値が、オブジェクトの頂点のα値αＶとして設定される。従って、オブジェクトの頂点のα値αＶは、図１２（Ｂ）のように設定されることになる。具体的には、αＶは、内側描画領域ＲＤでは１．０になり、左眼用ビューボリュームＶＶＬの左側クリッピング面ＣＬ２に近づくにつれて徐々に減少して、０．０になる。またαＶは、右眼用ビューボリュームＶＶＲの右側クリッピング面ＣＬ３に近づくにつれて徐々に減少して、０．０になる。
【０１４１】
以上のように求められたα値αＶを用いて描画処理を行うことで、図７に示すような左眼用画像ＩＭＬ、右眼用画像ＩＭＲが生成される。
【０１４２】
例えば図７の左眼用画像ＩＭＬでは、Ｃ１に示すように、左眼用ビューボリュームＶＶＬの左側クリッピング面ＣＬ２により注ぎ口の先端部はクリッピングされている。この時、図１２（Ｂ）に示すようにクリッピング面ＣＬ２に近づくにつれてαＶが徐々に小さくなるため、Ｃ１に示すように注ぎ口の画像は画面の左端辺側に近づくにつれて徐々に透明になる。
【０１４３】
また図１２（Ｂ）に示すように右眼用ビューボリュームＶＶＲの右側クリッピング面ＣＬ３に近づくにつれて、αＶが徐々に小さくなる。このため、Ｃ４に示すように取っ手の画像は画面の右端辺側に近づくにつれて徐々に透明になる。
【０１４４】
また図７の右眼用画像ＩＭＲでは、Ｃ３に示すように、右眼用ビューボリュームＶＶＲの右側クリッピング面ＣＬ３によりティーポットの取っ手の後端部はクリッピングされている。この時、図１２（Ｂ）に示すようにクリッピング面ＣＬ３に近づくにつれてαＶが徐々に小さくなるため、Ｃ３に示すように取っ手の画像は画面の右端辺側に近づくにつれて徐々に透明になる。
【０１４５】
また図１２（Ｂ）に示すように左眼ビューボリュームＶＶＬの左側クリッピング面ＣＬ２に近づくにつれて、αＶが徐々に小さくなる。このため、Ｃ２に示すように注ぎ口の画像は画面の左端辺側に近づくにつれて徐々に透明になる。
【０１４６】
以上のような手法を採用することで、図７に示すように、左眼用画像ＩＭＬと右眼用画像ＩＭＲでのオブジェクトの見え方の異なり度合いが低減され、より自然に見える立体視用画像の提供が可能になる。
【０１４７】
２．３ 内側描画領域の設定
後述するように本実施形態では、プレーヤの左眼、右眼の位置を検出し、左眼、右眼の位置に応じた画像を生成する手法（以下、適宜、両眼トラッキング手法と呼ぶ）を採用している。このような両眼トラッキング手法では、プレーヤの左眼、右眼の位置の変化に応じて、左眼用、右眼用仮想カメラの位置、方向が変化し、左眼用、右眼用ビューボリュームの位置、方向も変化する。このため左眼用、右眼用ビューボリュームの共通領域の形状も変化する。
【０１４８】
例えばプレーヤの両眼が表示部１９０の画面から標準的な位置にある場合には、図１３（Ａ）に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定される。一方、プレーヤが表示部１９０に近づいて、両眼の位置が画面に近い場合には、図１３（Ｂ）に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定される。またプレーヤが表示部１９０から遠ざかって、両眼の位置が画面から遠い場合には、図１４（Ａ）に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定される。従って、図１３（Ａ）、図１３（Ｂ）、図１４（Ａ）に示すように、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲの設定の変化に応じて、ＶＶＬ、ＶＶＲの共通領域もその形状が変化する。
【０１４９】
またプレーヤが表示部１９０の斜め方向に位置する場合には、図１４（Ｂ）に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定され、ＶＶＬ、ＶＶＲの共通領域の形状も変化する。
【０１５０】
そこで本実施形態では、このような両眼トラッキング手法等に基づくＶＶＬ、ＶＶＲの共通領域の形状の変化に応じて、図１３（Ａ）〜図１４（Ｂ）に示すように、共通領域の内側描画領域ＲＤの形状を変化させる。そして図４等で説明したように、このようにして形状が設定された内側描画領域ＲＤから外側へと向かう方向において、オブジェクトの表示態様（透明度等）が変化する描画処理を行って、左眼用画像、右眼用画像を生成する。
【０１５１】
このようにすれば、両眼トラッキング手法等により、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲの位置、方向がリアルタイムに変化した場合にも、その時のＶＶＬ、ＶＶＲの位置、方向に応じた最適な内側描画領域ＲＤを設定し、図７に示すように画面の左右端においてオブジェクトの表示態様が変化するような左眼用画像、右眼用画像を生成できるようになる。従って、プレーヤの左眼、右眼の位置の変化に応じた左眼用画像、右眼用画像をリアルタイムに生成できると共に、プレーヤの左眼と右眼で画像の見え方が異なってしまうような不自然な画像が生成されるのも防止できるようになる。
【０１５２】
ビューボリュームの共通領域の形状の変化に応じて内側描画領域ＲＤの形状を変化させる手法としては、例えば、ベジェ曲面、Bスプライン曲面、NURBS曲面などの自由曲面を利用した手法を想定できる。具体的には、内側描画領域ＲＤを自由曲面で形成し、共通領域の頂点を、自由曲面の制御点に設定する。そして自由曲面で形成された内側描画領域ＲＤの形状を、共通領域の頂点を制御点として変形させる。例えば特開２００１−２１８９７７号公報等に開示されるように、共通領域の頂点である制御点のアフィン変換を行い、アフィン変換後の制御点と、自由曲面（NURBS）のオブジェクトデータが含む係数マトリクス（混ぜ合わせ関数の係数のマトリクス）に基づいて、自由曲面の各点を求める。このようにすれば、特開２００１−２１８９７７号公報等の公知の自由曲面の手法を利用して、内側描画領域ＲＤの形状を変形させて、左眼用画像、右眼用画像を生成できるようになる。
【０１５３】
なお、共通領域の形状の変化に応じた内側描画領域の形状の設定手法は、自由曲面を用いた手法には限定されない。例えば共通領域のスケーリング処理により、内側描画領域を設定してもよい。即ち、共通領域のサイズを小さくするスケーリング処理を行って、スケーリング処理後の領域を内側描画領域に設定する。このようにすれば、自由曲面に比べて簡素で負荷の軽い処理で、内側描画領域の設定処理を実現できるようになる。
【０１５４】
また図１３（Ａ）〜図１４（Ｂ）等では、後述する両眼トラッキングにより左眼用、右眼用の仮想カメラの位置、方向が変化して、共通領域の形状が変化し、その共通領域の形状の変化に応じて内側描画領域ＲＤの形状を変化させる場合について説明したが、本実施形態の手法はこれに限定されない。例えばプレーヤの操作情報やゲーム状況などに応じて共通領域の形状が変化した場合に、その共通領域の形状の変化に応じて内側描画領域ＲＤの形状を変化させてもよい。
【０１５５】
例えばズームアウト操作やズームイン操作が行われて、図１３（Ａ）、図１３（Ｂ）のように共通領域の形状が変化した場合に、その共通領域の形状の変化に応じて内側描画領域ＲＤの形状を変化させて、図４等で説明したオブジェクトの表示態様の変化処理を行ってもよい。またプレーヤの操作等により変化するゲーム状況により、図１４（Ａ）、図１４（Ｂ）のように共通領域の形状が変化した場合に、その共通領域の形状の変化に応じて内側描画領域ＲＤの形状を変化させて、図４等で説明したオブジェクトの表示態様の変化処理を行ってもよい。なお、ズーミングを行う場合には、ズーミングに連動して左右カメラ間距離の調整を行うこともある。図１３（Ａ）、図１３（Ｂ）では、このカメラ間距離の変更については省略して描いているが、実際にはカメラ間距離の調整を行った上で、それによる左右ビューボリューム（視錐台）の形状変化を反映させて、共通領域の形状を変化させてもよい。
【０１５６】
２．４ 両眼トラッキング
次に本実施形態の両眼トラッキング手法について詳細に説明する。本実施形態では、プレーヤの左眼、右眼の位置情報を取得し、取得された位置情報に基づいて、左眼用、右眼用ビューボリュームを設定して、両眼トラッキングを実現する。例えば通常のヘッドトラッキングでは、頭の位置を検出して仮想カメラの位置、方向を設定するが、本実施形態では、プレーヤの左眼、右眼の位置を検出して、左眼用、右眼用の各ビューボリュームの位置、方向を設定する。
【０１５７】
この場合に、プレーヤの左眼、右眼の位置の検出手法としては、種々の手法を想定できる。例えば、撮像部（カメラ）によりアイトラッキングを行って、プレーヤの左眼、右眼の位置を検出してもよい。
【０１５８】
或いは、図１５（Ａ）に示すような眼鏡２００（広義には装着用部材）を用意し、この眼鏡２００に、プレーヤの左眼に対応する左眼用マーカＭＫＬと、右眼に対応する右眼用マーカＭＫＲを設ける。即ち眼鏡２００の左眼部分に対応する位置に左眼用マーカＭＫＬを設け、右眼部分に対応する位置に右眼用マーカＭＫＲを設ける。これらの左眼用、右眼用マーカＭＫＬ、ＭＫＲは、その形状が互いに異なっている。
【０１５９】
次に、図１５（Ｂ）に示すように、プレーヤが装着する眼鏡２００（認識用部材）を撮像する撮像部１６２からの撮像情報に基づいて、プレーヤの左眼、右眼の位置情報を取得する。即ち表示部１９０側からプレーヤを撮像する撮像部１６２を設ける。そして、この撮像部１６２によりプレーヤを撮像し、得られた撮像情報に対して画像認識処理を行って、図１５（Ａ）の左眼用、右眼用マーカＭＫＬ、ＭＫＲの形状を認識する。そして、形状認識の結果により、例えば表示部１９０側から見た場合のプレーヤの左眼、右眼の位置を検出する。
【０１６０】
次に、検出されたプレーヤの左眼、右眼の位置に基づいて、図１３（Ａ）〜図１４（Ｂ）に示すように左眼用、右眼用仮想カメラＶＣＬ、ＶＣＲを設定して、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲを設定する。そして図４〜図１２（Ｂ）等で説明した描画処理を行って、図７に示すような左眼画像、右眼用画像を生成する。このようにすれば、プレーヤの左眼、右眼の位置をトラッキングしてリアルタイムに画像が変化する立体視用画像をプレーヤに提供できるようになる。
【０１６１】
なお本実施形態の両眼トラッキング手法によれば、頭の位置を検出して画像を生成するヘッドトラッキング手法に比べて、より多様な画像の生成が可能になる。
【０１６２】
例えば、図１４（Ｂ）はプレーヤが表示部１９０の斜め方向に位置する場合の例であるが、この場合の視線方向は、表示部１９０の画面に直交する方向になっている。
【０１６３】
これに対して本実施形態の両眼トラッキング手法によれば、図１６（Ｂ）に示すようにプレーヤの視線方向が表示部１９０の画面に対して斜め方向である場合でも、それに応じた左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲを設定して、左眼用画像、右眼用画像を生成できる。従って、プレーヤが正面方向を向いている場合（図１４（Ｂ））と斜め方向を向いている場合（図１６（Ａ））とで、生成される画像が異なるようになり、プレーヤの動きをよりリアルに反映させた立体視用画像を提供できる。
【０１６４】
また図１６（Ｂ）に示すように、表示部１９０の画面に対して上下方向での視点のシフトについても反映させた画像の生成も可能になる。或いは図１７に示すような、プレーヤの左眼と右眼の位置の３次元的なねじれ関係を反映させた画像の生成も可能になる。従って、従来のヘッドトラッキング手法に比べて、プレーヤの眼の動きをより忠実に反映させた立体視用画像の提供が可能になる。なお図１７のＤ１は左眼用、右目用仮想カメラＶＣＬ、ＶＣＲを右側から見た図であり、Ｄ２は上側から見た図である。
【０１６５】
また本実施形態では、プレーヤの左眼と右眼の間の距離情報を取得し、取得された距離情報に基づいて、左眼用、右眼用仮想カメラの間のカメラ間距離を設定して、左眼用、右眼用ビューボリュームを設定してもよい。
【０１６６】
具体的には図１８に示すように、眼鏡２００に、左眼部分と右眼部分の間の距離を調整するための調整機構２１０を設ける。調整機構２１０としては、調整ネジを用いた機構や、スライド部材を用いた機構などを採用できる。このような調整機構２１０を用いた調整により、左眼部分と右眼部分の間の距離が変化すると、眼鏡２００の左眼部分に設けられた左用マーカＭＫＬと、右眼部分に設けられた右眼用マーカＭＫＲの間の距離も変化する。このため、図１５（Ｂ）の撮像部１６２の撮像画像においても、左眼用マーカＭＫＬと右眼用マーカＭＫＲの間の距離が変化する。従って、左眼用マーカＭＫＬと右眼用マーカＭＫＲの撮像情報に基づいて、プレーヤの左眼と右眼の間の距離情報を取得できる。
【０１６７】
そして図１９（Ａ）、図１９（Ｂ）に示すように、取得された距離情報に基づいて、左眼用、右眼用仮想カメラＶＣＬ、ＶＣＲの間のカメラ間距離ＤＣを設定して、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲを設定する。例えば図１９（Ａ）では、プレーヤの左眼と右眼の間の距離が狭いことが検知されたため、左眼用、右眼用仮想カメラＶＣＬ、ＶＣＲのカメラ間距離ＤＣも狭い距離に設定される。また図１９（Ｂ）では、プレーヤの左眼と右眼の間の距離が広いことが検知されたため、左眼用、右眼用仮想カメラＶＣＬ、ＶＣＲのカメラ間距離ＤＣも広い距離に設定される。
【０１６８】
このようにすれば、例えば両眼間隔が狭いと考えられる子供がプレイしている場合には、例えば図１９（Ａ）に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定されて、立体視用画像が生成される。一方、両眼間隔が子供よりも広いと考えられる大人がプレイしている場合には、例えば図１９（Ｂ）に示すように左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲが設定されて、立体視用画像が生成される。従って、両眼間隔についてのプレーヤの個人差を反映させることが可能になり、各個人に適したカメラ間距離での立体視用画像を提供できるようになる。
【０１６９】
なお、図１５（Ａ）、図１８では、プレーヤが装着する認識用部材が眼鏡２００である場合を例にとり説明したが、本実施形態の認識用部材はこれに限定されず、少なくともプレーヤの左眼と右眼の位置を認識できるような部材であれば、種々の変形実施が可能である。但し、眼鏡タイプのものであれば、立体視を実現するための前述の液晶シャッター付きの眼鏡により併用できるという利点がある。また、図１５（Ａ）、図１８に示すような左眼用、右眼用マーカＭＫＬ、ＭＫＲを使用せずに、プレーヤの左眼、右眼の位置情報を、撮像部１６２等を用いたアイトラッキングにより直接に検出するようにしてもよい。
【０１７０】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（認識用部材、第１視点画像、第２視点画像、第１視点用ビューボリューム、第２視点用ビューボリューム、第１視点、第２視点等）と共に記載された用語（眼鏡、左眼用画像、右眼用画像、左眼用ビューボリューム、右眼用ビューボリューム、左眼用仮想カメラ、右眼用仮想カメラ等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、ビューボリュームの設定処理、オブジェクトの描画処理、内側描画領域の設定処理等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【０１７１】
また本実施形態の手法は、例えば特開２００４−１７８５８１号公報に記載されるような立体視用画像生成手法にも適用可能である。この画像生成手法では、例えば、図２０（Ａ）に示すように、左眼用仮想カメラＶＣＬからのビューボリュームＶＶＬによって左眼用画像を作成し、右眼用仮想カメラＶＣＲからのビューボリュームＶＶＲによって右眼用画像を作成する。そしてこれらの左眼用画像と右目用画像により立体視が実現され、プレーヤは、図２０（Ｂ）に示すような左眼視点ＶＰＬ、右眼視点ＶＰＲで立体視用画像を鑑賞する。これにより、ピント調整や奥行き感の矛盾が少なく、より自然な立体視を実現できるようになる。
【０１７２】
図２０（Ａ）のような立体視用画像生成手法においても、本実施形態の手法を適用して、左眼用、右眼用ビューボリュームＶＶＬ、ＶＶＲの共通領域の内側描画領域から外側に向かう方向で、オブジェクトの表示態様が変化するように左眼用画像、右目用画像を生成すればよい。この場合に、図１３（Ａ）の通常の手法と図２０（Ａ）の手法を動的に切り替えるようにしてもよい。例えばプレーヤの視線が画面に対して垂直になるようなモードでは、図１３（Ａ）の手法で立体視用画像を生成し、プレーヤの視線が図２０（Ｂ）に示すように画面に対して斜め方向になるようなモードでは、図２０（Ａ）の手法で立体視用画像を生成すればよい。これらは、瞬時に切り替えてもよいし、カメラが徐々に移動するように、連続的に変化させていってもよい。
【０１７３】
また以上では、二眼式立体視への適用例について説明したが、本実施形態の手法は、多眼式立体視や空間像方式立体視等にも適用可能である。多眼式立体視は、離散的な多視点の立体視方式であり、プレーヤ（観者）の任意の視点での立体視を可能にする。例えば複数の視点画像（視差画像）を用意し、これらの複数の視点画像のうちプレーヤの視点位置に対応する視点画像がプレーヤの左眼、右眼に見えるようにすることとで、任意の視点での立体視を可能にする。このような多眼式立体視としては、例えばパララックスバリアやレンティキュラーレンズなどの光学素子を用いた立体視方式などがある。また空間像方式立体視は、特定の視点を想定しない、すなわち、離散的ではない連続的な視点での立体視を可能にする立体視方式である。空間像方式立体視としては、例えばフラクショナル・ビュー方式、インテグラルイメージング方式、超多眼方式などの立体視方式が知られている。
【０１７４】
例えば図２１は、多眼式立体視等に本実施形態の手法を適用した場合の例である。例えば多眼式立体視の場合には、想定される複数の視点Ｖ１〜ＶＮのうち、最も左側の視点Ｖ１を第１視点とし、最も右側の視点ＶＮを第２視点とすることができる。従って、第１視点Ｖ１用のビューボリュームＶＶ１と第２視点Ｖ２用のビューボリュームＶＶ２の共通領域（共通フレーム領域）は、図２１で太線で囲まれた領域ＲＣ（非フレームバイオレーション領域）になる。
【０１７５】
従って、この場合には、ビューボリュームＶＶ１とＶＶ２の共通領域ＲＣの内側描画領域ＲＤから外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、立体視用画像（第１視点画像、第２視点画像）を生成する。こうすることで、多眼式立体視を採用した場合にも、立体視においてプレーヤが感じる不自然さを軽減することが可能になる。これは、多眼式立体視のみならず空間像方式立体視の場合も同様である。ただし、これらの方式で、同時に表示される観察領域（回り込み範囲）が広い場合、共通領域（非フレームバイオレーション領域）が非常に狭くなってしまうことが懸念される。その場合にはもちろん、より内側の２つの視点（例えば、画面の真正面にプレーヤが位置したと仮定した場合の両眼の位置等）を第１、第２視点Ｖ１、Ｖ２としてもよい。
【０１７６】
或いは、前述のようにアイトラッキング等によりプレーヤの視点と画面との位置関係情報を検出できる場合には、この位置関係情報に基づいて視点を選択し、オブジェクトの表示態様を変化させる描画処理を行ってもよい。
【０１７７】
例えば図２２では、表示部の画面とプレーヤ（観者）との位置関係情報が取得され、取得された位置関係情報に基づいて、多眼式立体視や空間像方式立体視においてプレーヤの左眼、右眼に対応する第１視点Ｖｉ、第２視点Ｖｊが選択されている。この第１視点Ｖｉから見える第１視点画像と第２視点Ｖｊから見える第２視点画像が、プレーヤの両眼に見えるべき立体視用画像として生成される。
【０１７８】
そして図２２では、このような位置関係情報に基づき選択された第１視点Ｖｉ用ビューボリュームＶＶ１と、位置関係情報に基づき選択された第２視点Ｖｊ用ビューボリュームＶＶ２との共通領域ＲＣの内側描画領域ＲＤから外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、立体視用画像を生成する。
【０１７９】
こうすることで、多眼式立体視や空間像方式立体視において、プレーヤの視点位置に対応した最適な共通領域ＲＣを設定し、共通領域ＲＣの内側描画領域ＲＤから外側へと向かう方向で、オブジェクトの表示態様が変化する立体視用画像を生成することが可能になる。従って、多眼式立体視や空間像方式立体視において最適なオブジェクトの立体視表示が可能になる。
【０１８０】
なお、多眼式立体視や空間像方式立体視での視点選択のためのアイトラッキングとして、図１８〜図２０（Ｂ）では、プレーヤの左眼、右眼の位置情報を取得する手法を説明したが、本実施形態はこれに限定されるものではない。例えば通常のヘッドトラッキングにより頭の位置を検出して、視点選択を行ってもよい。また、アイトラッキングの手法も図１８〜図２０（Ｂ）の手法には限定されず、例えば、撮像部（カメラ）により通常のアイトラッキングを行って、プレーヤの左眼、右眼の位置を検出してもよい。
【符号の説明】
【０１８１】
ＶＣＬ 左眼用仮想カメラ、ＶＣＲ 右眼用仮想カメラ、ＳＣ スクリーン、
ＶＶＬ 左眼用ビューボリューム、ＶＶＲ 右眼用ビューボリューム、
ＣＮＬ、ＣＮＲ、ＣＦＬ、ＣＦＲ、ＣＬ１〜ＣＬ４ クリッピング面、
ＯＢ、ＯＢ１〜ＯＢ４ オブジェクト、ＩＭＬ 左眼用画像、ＩＭＲ 右眼用画像、
ＭＫＬ 左眼用マーカ、ＭＫＲ 右眼用マーカ、
１００ 処理部、１０２ ゲーム演算部、１０４ オブジェクト空間設定部、
１０６ 移動体演算部、１０８ 仮想カメラ制御部（視点制御部）、
１１０ 情報取得部、１１２ 領域設定部、１１４ 視点選択部、１２０ 画像生成部、
１２２ 頂点処理部、１２４ ピクセル処理部、１３０ 音生成部、
１６０ 操作部、１６１ ゲームコントローラ、１６２ 撮像部、
１７０ 記憶部、１７２ オブジェクトデータ記憶部、１７４ 撮像情報記憶部、
１７８ 描画バッファ、１８０ 情報記憶媒体、１９０ 表示部、１９２ 音出力部、
１９４ 補助記憶装置、１９６ 通信部、
２００ 眼鏡（認識用部材）、２１０ 調整機構
【特許請求の範囲】
【請求項１】
複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、
前記オブジェクト空間において立体視における第１視点から見える第１視点画像と、前記オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
前記第１視点に対応する第１視点用ビューボリュームと前記第２視点に対応する第２視点用ビューボリュームとの共通領域の内側描画領域から、前記内側描画領域の外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項２】
請求項１において、
前記画像生成部は、
前記内側描画領域から前記内側描画領域の外側へと向かう方向で、オブジェクトが徐々に透明に近づく描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項３】
請求項１において、
前記画像生成部は、
前記内側描画領域から前記内側描画領域の外側へと向かう方向で、オブジェクトが徐々にデフォーカスされる描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項４】
請求項１において、
前記画像生成部は、
前記内側描画領域から前記内側描画領域の外側へと向かう方向で、オブジェクトの色が徐々にターゲット色に近づく描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項５】
請求項４において、
画像が表示される表示部の画面の、プレーヤ側から見た場合の周囲の色情報を取得する情報取得部として、
コンピュータを機能させ、
前記画像生成部は、
取得された前記色情報に基づいて、前記ターゲット色を設定することを特徴とするプログラム。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記画像生成部は、
前記共通領域の前記内側描画領域から、前記共通領域のクリッピング面に近づくにつれて、オブジェクトの表示態様が徐々に変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項７】
請求項１において、
前記画像生成部は、
前記第１視点用ビューボリュームにおけるオブジェクトの頂点のスクリーン上での位置である第１視点側頂点スクリーン位置と、前記第２視点用ビューボリュームにおけるオブジェクトの頂点の前記スクリーン上での位置である第２視点側頂点スクリーン位置とを求め、求められた前記第１視点側頂点スクリーン位置、前記第２視点側頂点スクリーン位置に基づいて、オブジェクトの表示態様を変化させる描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項８】
請求項７において、
前記画像生成部は、
前記第１視点側頂点スクリーン位置と前記スクリーンの前記左右端辺との距離に応じて設定される第１のα値と、前記第２視点側頂点スクリーン位置と前記スクリーンの前記左右端辺との距離に応じて設定される第２のα値とを求め、前記第１、第２のα値に基づいて、オブジェクトの頂点のα値を設定して、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項９】
請求項１において、
前記第１視点用ビューボリュームと前記第２視点用ビューボリュームとの前記共通領域の内側に前記内側描画領域を設定する領域設定部として、
コンピュータを機能させ、
前記領域設定部は、
前記共通領域の形状に変化に応じて前記内側描画領域の形状を変化させることを特徴とするプログラム。
【請求項１０】
請求項９において、
前記領域設定部は、
自由曲面で形成された前記内側描画領域の形状を、前記共通領域の頂点を制御点として変形させることを特徴とするプログラム。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
プレーヤの左眼、右眼の位置情報を取得する情報取得部と、
視点制御部として、
コンピュータを機能させ、
前記視点制御部は、
取得された前記位置情報に基づいて、前記第１視点用ビューボリューム、前記第２視点用ビューボリュームを設定することを特徴とするプログラム。
【請求項１２】
請求項１１において、
前記プレーヤが装着する認識用部材には、前記プレーヤの左眼に対応する左眼用マーカと、前記プレーヤの右眼に対応する右眼用マーカとが設けられ、
前記情報取得部は、
前記プレーヤが装着する認識用部材を撮像する撮像部からの撮像情報に基づいて、前記プレーヤの左眼、右眼の前記位置情報を取得することを特徴とするプログラム。
【請求項１３】
請求項１１又は１２において、
前記情報取得部は、
前記プレーヤの左眼と右眼の間の距離情報を取得し、
前記視点制御部は、
取得された前記距離情報に基づいて、前記第１視点と前記第２視点の間の視点間距離を設定して、前記第１視点用ビューボリューム、前記第２視点用ビューボリュームを設定することを特徴とするプログラム。
【請求項１４】
請求項１３において、
前記認識用部材は、左眼部分と右眼部分の間の距離を調整するための調整機構を有する眼鏡であり、
前記情報取得部は、
前記眼鏡の前記左眼部分に設けられた左眼用マーカと前記右眼部分に設けられた右眼用マーカの撮像情報に基づいて、前記プレーヤの左眼と右眼の間の距離情報を取得することを特徴とするプログラム。
【請求項１５】
複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、
前記オブジェクト空間において立体視における第１視点から見える第１視点画像と、前記オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
オブジェクトが透視投影されるスクリーンの左右端辺側に近づくにつれて、オブジェクトの表示態様が変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項１６】
請求項１５において、
前記画像生成部は、
前記第１視点に対応する第１視点用ビューボリュームにおけるオブジェクトの頂点のスクリーン上での位置である第１視点側頂点スクリーン位置と、前記第２視点に対応する第２視点用ビューボリュームにおけるオブジェクトの頂点の前記スクリーン上での位置である第２視点側頂点スクリーン位置とを求め、求められた前記第１視点側頂点スクリーン位置、前記第２視点側頂点スクリーン位置に基づいて、オブジェクトの表示態様を変化させる描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項１７】
請求項１乃至１６のいずれかにおいて、
前記第１視点、前記第２視点は、二眼式立体視における左眼側仮想カメラ、右眼側仮想カメラの視点であることを特徴とするプログラム。
【請求項１８】
請求項１乃至１６のいずれかにおいて、
前記第１視点、前記第２視点は、多眼式立体視における視点群のうちの２つの視点、又は空間像方式立体視における設定観察範囲内の任意の２視点であることを特徴とするプログラム。
【請求項１９】
請求項１８において、
表示部の画面とプレーヤとの位置関係情報を取得する情報取得部と、
取得された前記位置関係情報に基づいて、前記多眼式立体視又は前記空間像方式立体視における前記第１視点と前記第２視点を選択する視点選択部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項２０】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至１９のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項２１】
複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、
前記オブジェクト空間において立体視における第１視点から見える第１視点画像と、前記オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部とを含み、
前記画像生成部は、
前記第１視点に対応する第１視点用ビューボリュームと前記第２視点に対応する第２視点用ビューボリュームとの共通領域の内側描画領域から、前記内側描画領域の外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とする画像生成システム。
【請求項２２】
複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、
前記オブジェクト空間において立体視における第１視点から見える第１視点画像と、前記オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部とを含み、
前記画像生成部は、
オブジェクトが透視投影されるスクリーンの左右端辺側に近づくにつれて、オブジェクトの表示態様が変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とする画像生成システム。
【請求項１】
複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、
前記オブジェクト空間において立体視における第１視点から見える第１視点画像と、前記オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
前記第１視点に対応する第１視点用ビューボリュームと前記第２視点に対応する第２視点用ビューボリュームとの共通領域の内側描画領域から、前記内側描画領域の外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項２】
請求項１において、
前記画像生成部は、
前記内側描画領域から前記内側描画領域の外側へと向かう方向で、オブジェクトが徐々に透明に近づく描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項３】
請求項１において、
前記画像生成部は、
前記内側描画領域から前記内側描画領域の外側へと向かう方向で、オブジェクトが徐々にデフォーカスされる描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項４】
請求項１において、
前記画像生成部は、
前記内側描画領域から前記内側描画領域の外側へと向かう方向で、オブジェクトの色が徐々にターゲット色に近づく描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項５】
請求項４において、
画像が表示される表示部の画面の、プレーヤ側から見た場合の周囲の色情報を取得する情報取得部として、
コンピュータを機能させ、
前記画像生成部は、
取得された前記色情報に基づいて、前記ターゲット色を設定することを特徴とするプログラム。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記画像生成部は、
前記共通領域の前記内側描画領域から、前記共通領域のクリッピング面に近づくにつれて、オブジェクトの表示態様が徐々に変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項７】
請求項１において、
前記画像生成部は、
前記第１視点用ビューボリュームにおけるオブジェクトの頂点のスクリーン上での位置である第１視点側頂点スクリーン位置と、前記第２視点用ビューボリュームにおけるオブジェクトの頂点の前記スクリーン上での位置である第２視点側頂点スクリーン位置とを求め、求められた前記第１視点側頂点スクリーン位置、前記第２視点側頂点スクリーン位置に基づいて、オブジェクトの表示態様を変化させる描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項８】
請求項７において、
前記画像生成部は、
前記第１視点側頂点スクリーン位置と前記スクリーンの前記左右端辺との距離に応じて設定される第１のα値と、前記第２視点側頂点スクリーン位置と前記スクリーンの前記左右端辺との距離に応じて設定される第２のα値とを求め、前記第１、第２のα値に基づいて、オブジェクトの頂点のα値を設定して、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項９】
請求項１において、
前記第１視点用ビューボリュームと前記第２視点用ビューボリュームとの前記共通領域の内側に前記内側描画領域を設定する領域設定部として、
コンピュータを機能させ、
前記領域設定部は、
前記共通領域の形状に変化に応じて前記内側描画領域の形状を変化させることを特徴とするプログラム。
【請求項１０】
請求項９において、
前記領域設定部は、
自由曲面で形成された前記内側描画領域の形状を、前記共通領域の頂点を制御点として変形させることを特徴とするプログラム。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
プレーヤの左眼、右眼の位置情報を取得する情報取得部と、
視点制御部として、
コンピュータを機能させ、
前記視点制御部は、
取得された前記位置情報に基づいて、前記第１視点用ビューボリューム、前記第２視点用ビューボリュームを設定することを特徴とするプログラム。
【請求項１２】
請求項１１において、
前記プレーヤが装着する認識用部材には、前記プレーヤの左眼に対応する左眼用マーカと、前記プレーヤの右眼に対応する右眼用マーカとが設けられ、
前記情報取得部は、
前記プレーヤが装着する認識用部材を撮像する撮像部からの撮像情報に基づいて、前記プレーヤの左眼、右眼の前記位置情報を取得することを特徴とするプログラム。
【請求項１３】
請求項１１又は１２において、
前記情報取得部は、
前記プレーヤの左眼と右眼の間の距離情報を取得し、
前記視点制御部は、
取得された前記距離情報に基づいて、前記第１視点と前記第２視点の間の視点間距離を設定して、前記第１視点用ビューボリューム、前記第２視点用ビューボリュームを設定することを特徴とするプログラム。
【請求項１４】
請求項１３において、
前記認識用部材は、左眼部分と右眼部分の間の距離を調整するための調整機構を有する眼鏡であり、
前記情報取得部は、
前記眼鏡の前記左眼部分に設けられた左眼用マーカと前記右眼部分に設けられた右眼用マーカの撮像情報に基づいて、前記プレーヤの左眼と右眼の間の距離情報を取得することを特徴とするプログラム。
【請求項１５】
複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、
前記オブジェクト空間において立体視における第１視点から見える第１視点画像と、前記オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
オブジェクトが透視投影されるスクリーンの左右端辺側に近づくにつれて、オブジェクトの表示態様が変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項１６】
請求項１５において、
前記画像生成部は、
前記第１視点に対応する第１視点用ビューボリュームにおけるオブジェクトの頂点のスクリーン上での位置である第１視点側頂点スクリーン位置と、前記第２視点に対応する第２視点用ビューボリュームにおけるオブジェクトの頂点の前記スクリーン上での位置である第２視点側頂点スクリーン位置とを求め、求められた前記第１視点側頂点スクリーン位置、前記第２視点側頂点スクリーン位置に基づいて、オブジェクトの表示態様を変化させる描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とするプログラム。
【請求項１７】
請求項１乃至１６のいずれかにおいて、
前記第１視点、前記第２視点は、二眼式立体視における左眼側仮想カメラ、右眼側仮想カメラの視点であることを特徴とするプログラム。
【請求項１８】
請求項１乃至１６のいずれかにおいて、
前記第１視点、前記第２視点は、多眼式立体視における視点群のうちの２つの視点、又は空間像方式立体視における設定観察範囲内の任意の２視点であることを特徴とするプログラム。
【請求項１９】
請求項１８において、
表示部の画面とプレーヤとの位置関係情報を取得する情報取得部と、
取得された前記位置関係情報に基づいて、前記多眼式立体視又は前記空間像方式立体視における前記第１視点と前記第２視点を選択する視点選択部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項２０】
コンピュータ読み取り可能な情報記憶媒体であって、請求項１乃至１９のいずれかに記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項２１】
複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、
前記オブジェクト空間において立体視における第１視点から見える第１視点画像と、前記オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部とを含み、
前記画像生成部は、
前記第１視点に対応する第１視点用ビューボリュームと前記第２視点に対応する第２視点用ビューボリュームとの共通領域の内側描画領域から、前記内側描画領域の外側へと向かう方向で、オブジェクトの表示態様が変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とする画像生成システム。
【請求項２２】
複数のオブジェクトが配置されるオブジェクト空間の設定処理を行うオブジェクト空間設定部と、
前記オブジェクト空間において立体視における第１視点から見える第１視点画像と、前記オブジェクト空間において立体視における第２視点から見える第２視点画像を生成する画像生成部とを含み、
前記画像生成部は、
オブジェクトが透視投影されるスクリーンの左右端辺側に近づくにつれて、オブジェクトの表示態様が変化する描画処理を行って、前記第１視点画像、前記第２視点画像を生成することを特徴とする画像生成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図６】
【図７】
【公開番号】特開２０１２−７９２９１（Ｐ２０１２−７９２９１Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１１−１７００８０（Ｐ２０１１−１７００８０）
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２３年８月３日（２０１１．８．３）
【出願人】（０００１３４８５５）株式会社バンダイナムコゲームス (1,157)
【Ｆターム（参考）】
[ Back to top ]