3次元画像処理装置、そのプログラム及びその記憶媒体
【課題】裸眼立体視画像の生成において、告知表示を見易くする。
【解決手段】左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置(20)のフレーム画像を生成する3次元画像処理装置は、立体視すべきオブジェクトの画像データから、視差パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する画像生成部(312)と、左目用画像フレームと右目用画像フレームとを合成して、立体視可能な2次元フレーム画像を生成する画像合成部(302)とを有する。画像生成部(312)は、立体視すべき物体に重畳して告知表示する際に、視差パラメータにより、基準面に前記告知表示が位置し、且つ奥行き空間の奥行き量を圧縮又は基準面を奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を作成する。
【解決手段】左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置(20)のフレーム画像を生成する3次元画像処理装置は、立体視すべきオブジェクトの画像データから、視差パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する画像生成部(312)と、左目用画像フレームと右目用画像フレームとを合成して、立体視可能な2次元フレーム画像を生成する画像合成部(302)とを有する。画像生成部(312)は、立体視すべき物体に重畳して告知表示する際に、視差パラメータにより、基準面に前記告知表示が位置し、且つ奥行き空間の奥行き量を圧縮又は基準面を奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を作成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、左右の目の視差作用により立体視できる画像を生成するための3次元画像処理装置、そのプログラム及び記憶媒体に関する。
【背景技術】
【0002】
3次元(3D:Three Dimension)画像技術は、2次元画面で画像を立体視できることに有効である。特に、左右の目の視差作用を利用する裸眼立体視方法は、特殊なメガネを必要としない。このような3D表示は、見る人により現実感を与えることができる。例えば、ゲーム装置においては、3D表示でゲーム内容を表示することにより、より現実感のあるゲームを提供できる。
【0003】
この3D表示において、立体像の他に何らかの文字、画像を表示することは、種々の用途に有効である。例えば、従来の第1の方法では、図柄を変動表示する遊戯機の3D表示において、立体像(前景)に図柄を重畳して表示し、図柄の奥行き位置を変更し、立体像を強調する方法が提案されている(例えば、特許文献1参照)。又、従来の第2の方法では、変動表示ゲーム機において、開始時には、対象物を2D表示し、リーチ状態では、対象物を3D表示する方法が提案されている(例えば、特許文献2参照)。更に、従来の第3の方法では、立体像(3D)画面と別に2D(二次元)画面を設け、2次元画面に3次元画面の立体像と関連する情報を表示する方法が提案されている(例えば、特許文献3参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】日本特許公開2004−287057号公報
【特許文献2】日本特許公開2006−305385号公報
【特許文献3】日本特許公開2010−162287号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
一方、立体像の表示とともに、注目させる告知表示を表示させる場合が生じる。しかしながら、従来の第1の方法は、立体像表示中に特定の識別情報を奥行き方向に変動表示するため、全体として立体像表示である。観察者が立体像を長時間視認していると、人間の目が疲れ、場合によっては、体調不良が生じる。第1の従来技術では、視認性が悪く、観察しにくい。
【0006】
又、第2の従来技術では、表示している画像全体を2次元表示から3次元表示(立体視表示)に切り替えるため、3次元画像を活かしたまま、告知表示を行うことが難しい。更に、第3の従来技術では、表示画面上で3次元画像と2次元画像の領域を別けるため、3次元画像との一体感がなく、且つ表示範囲も制限される。
【0007】
本発明の目的は、告知内容を3次元画像に重畳して表示し、3次元画像と告知内容との一体感を与える3次元画像処理装置、そのプログラム及び記憶媒体を提供することにある。
【0008】
本発明の他の目的は、3次元画像に告知内容を重畳して表示しても、観察者に告知内容を見易く表示する3次元画像処理装置、そのプログラム及び記憶媒体を提供することにある。
【課題を解決するための手段】
【0009】
この目的の達成のため、本発明の3次元画像処理装置は、左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成する3次元画像処理装置において、立体視すべきオブジェクトの画像データから、視差調整パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する画像生成部と、前記左目用画像フレームと前記右目用画像フレームとを合成して、前記左右眼の視差作用によって立体視可能な2次元フレーム画像を生成する画像合成部とを有し、前記画像生成部は、前記立体視すべき物体に重畳して告知表示を表示する際に、前記視差調整パラメータにより、前記奥行き空間の前記基準面に前記告知表示を位置させ、且つ前記奥行き空間の奥行き量を圧縮させ又は前記基準面を前記奥行き空間の奥行き方向の手前に位置させる左目用フレーム画像と右目用フレーム画像を生成する。
【0010】
又、本発明の3次元画像処理装置は、3次元空間座標が設定された仮想空間内に第1のオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する画像生成部を有する3次元画像処理装置において、前記画像生成部は、前記第1のオブジェクトに対して前記第1または第2の視点の少なくとも何れか一方に近い位置に第2のオブジェクトを配置する際に、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更する。
【0011】
更に、本発明の3次元画像処理装置は、3次元空間座標が設定された仮想空間内にオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する画像生成部を有する3次元画像処理装置において、前記画像生成部は、前記第1および第2の二次元の視差画像に告知画像を重畳する際に、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更する。
【0012】
又、本発明の3次元画像処理プログラムは、左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成するプログラムであって、立体視すべきオブジェクトの画像データから、視差調整パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する第1のステップと、前記左目用画像フレームと前記右目用画像フレームとを合成して、前記左右眼の視差作用によって立体視可能な2次元フレーム画像を生成する第2のステップと、前記立体視すべき物体に重畳して告知表示を標示する際に、前記視差調整パラメータにより、前記奥行き空間の前記基準面に前記告知表示を位置させ、且つ前記奥行き空間の奥行き量を圧縮させ又は前記基準面を前記奥行き空間の奥行き方向の手前に位置させる左目用フレーム画像と右目用フレーム画像を生成する第3のステップとをコンピュータに実行させる。
【0013】
更に、本発明の3次元画像処理プログラムは、3次元空間座標が設定された仮想空間内に第1のオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する3次元画像処理プログラムであって、前記第1のオブジェクトに対して前記第1または第2の視点の少なくとも何れか一方に近い位置に第2のオブジェクトを配置するか否か判断するステップと、前記判断により前記第2のオブジェクトを配置すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップとをコンピュータに実行させる。
【0014】
更に、本発明の3次元画像処理プログラムは、3次元空間座標が設定された仮想空間内にオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する3次元画像処理プログラムであって、前記第1および第2の二次元の視差画像に告知画像を重畳するか否か判断するステップと、前記判断により前記告知画像を重畳すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップとをコンピュータに実行させる。
【0015】
本発明の記憶媒体は、左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成するプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、立体視すべきオブジェクトの画像データから、視差調整パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する第1のステップと、前記左目用画像フレームと前記右目用画像フレームとを合成して、前記左右眼の視差作用によって立体視可能な2次元フレーム画像を生成する第2のステップと、前記立体視すべき物体に重畳して告知表示を表示する際に、前記視差調整パラメータにより、前記奥行き空間の前記基準面に前記告知表示を位置させ、且つ前記奥行き空間の奥行き量を圧縮し又は前記基準面を前記奥行き空間の奥行き方向の手前に位置させる左目用フレーム画像と右目用フレーム画像を生成する第3のステップとをコンピュータに実行させるプログラムを格納した。
【発明の効果】
【0016】
3次元表示の奥行き量を左右視差ずらし量に変換するための視差調整パラメータを、告知表示を表示する時だけ変更して、奥行き空間の構造を変更することにより、3次元表示を維持し、3次元表示との一体感を保ちつつ、告知表示を見やすくできる。又、告知等の特定の表示をする時のみ、視点と立体視すべきオブジェクトの距離を離す又は左目用の画像生成に必要な視点と右目用の画像生成に必要な視点との距離を近づける等して、視差の少ない3次元表示を行うことで、3次元表示を維持したまま告知等の特定の表示を見やすくすることができる。
【図面の簡単な説明】
【0017】
【図1】実施の形態の3次元画像処理装置を適用した画像表示装置のブロック図である。
【図2】図1の3次元ディスプレイモニターの第1の実施の形態の構成図である。
【図3】図1の3次元ディスプレイモニターの第2の実施の形態の構成図である。
【図4】本発明の実施の形態による立体視の説明図(その1)である。
【図5】本発明の実施の形態による立体視の説明図(その2)である。
【図6】本発明の実施の形態による立体視の説明図(その3)である。
【図7】図1の3次元画像処理装置の実施の形態のブロック図である。
【図8】本発明の実施の形態による視差調整パラメータによるずらし量変換処理の説明図(その1)である。
【図9】本発明の実施の形態による視差調整パラメータによるずらし量変換処理の説明図(その2)である。
【図10】本発明の実施の形態による視差調整パラメータによるずらし量変換処理の説明図(その3)である。
【図11】本発明の告知表示処理の説明のための3次元画像空間の説明図である。
【図12】本発明の告知表示処理の説明のための3次元画像空間での告知表示の説明図である。
【図13】本発明の第1の実施の形態の3次元空間における告知表示処理の説明図である。
【図14】図13の第1の実施の形態による3次元空間における告知表示例の説明図である。
【図15】本発明の第2の実施の形態の3次元空間における告知表示処理の説明図である。
【図16】図15の第2の実施の形態による3次元空間における告知表示例の説明図である。
【図17】本発明の第3の実施の形態の3次元空間における告知表示処理を伴うゲーム処理フロー図である。
【図18】図17の第3の実施の形態による3次元空間におけるオブジェクト表示例の説明図である。
【図19】本発明の第3の実施の形態の説明のための3次元空間における告知表示処理の説明図である。
【図20】本発明の第3の実施の形態の3次元空間における告知表示処理の説明図である。
【図21】図20のディスプレイの正面図である。
【図22】図21のゲーム処理におけるディスプレイの正面画像例の説明図である。
【発明を実施するための形態】
【0018】
以下、実施の形態の例を、3次元画像処理装置を適用した画像表示装置、3次元画像処理装置、告知表示処理の第1の実施の形態、告知表示処理の第2の実施の形態、告知表示処理の第3の実施の形態、他の実施の形態の順で説明するが、開示の画像表示装置、3次元画像処理装置、告知内容は、この実施の形態に限られない。
【0019】
(3次元画像処理装置を適用した画像表示装置)
図1は、3次元画像処理装置を適用した画像表示装置のブロック図である。図1の画像表示装置は、ゲーム装置を例に示す。
【0020】
ゲーム装置10は、CPU(Central Processing Unit)100(制御部、ゲーム実行部)と、主記憶部110と、補助記憶部120と、BIOSメモリ130と、バックアップメモリ135と、ペリフェラルI/F(InterFace)140(周辺機器接続インタフェイス手段)と、キーチップ145と、バスアービタ150と、グラフィックプロセッサ160(描画部)と、グラフィックメモリ170と、ビデオBIOSメモリ175と、オーディオプロセッサ180と、オーディオメモリ190と、通信I/F(InterFace)200とを含んで構成される。
【0021】
ゲーム装置10は、ペリフェラルI/F140を介して、ゲームプログラムを格納したゲーム媒体(例えば、CD−ROM、DVD,外部メモリ)16を読み込み可能なゲーム媒体リーダ(例えば、ディスク読み取り装置等)15を接続することができる。
【0022】
CPU100は、CISC(Complex Instruction Set Computer、複合命令セットコンピュータ)方式やRISC(Reduced Instruction Set Computer、縮小命令セットコンピュータ)方式のCPU(中央処理装置)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Processor、特定用途向けプロセッサー)等である演算・制御能力を備えた制御回路である。また、CPU100に、後述する主記憶部110やグラフィックプロセッサ160やオーディオプロセッサ180等の機能を備えることも可能である。
【0023】
主記憶部110は、RAM(Random Access Memory)等の主記憶用に使われる高速な記憶回路を含んで構成される。主記憶部110は、ゲーム装置10をコンピュータとして機能させるためのOSを備える。また、主記憶部110は、CPU100が実行する、各種プログラムやオブジェクト等であるプロセスを補助記憶部120からロードされて、記憶する。また、このプロセスに関わるデータについても記憶している。各プロセスはOSのAPI(Application Programming Interface)を介して、ゲーム装置10の各機能にアクセス可能である。
【0024】
補助記憶部120は、SSD(Solid State Drive)等のフラッシュメモリディスク、HDD(Hard Disk Drive)、磁気テープ装置、光ディスク装置等の補助記憶装置である。補助記憶部120は、後述するように、アプリやOSのプログラムやデータを記憶する。これらのプログラムやデータは、CPU100や、DMA(Direct Memory Access)等により、主記憶部110に記憶可能である。この例では、補助記憶部120が、ゲームプログラムを格納する。
【0025】
BIOSメモリ130は、BIOS(Basic Input Output System)が記憶されたROM(Read Only Memory)やNOR型フラッシュメモリやSRAM等の不揮発性記憶媒体である。このBIOSメモリ130は、ファームウェア用のプログラムと、ゲーム装置10の各種機能を実現するためのプログラムと、これらのプログラムの設定を記憶するSRAM等のメモリから構成されている。例えば、BIOSメモリ130のBIOSは、ゲーム装置10が起動する際に、CPU100のマイクロコードの設定を行ったり、各部の初期化を行ったり、補助記憶部120の例えば最初のアドレスのパーティションから、OSが実行されるような指示を行う。
【0026】
なお、BIOSメモリ130のプログラムをNOR型フラッシュメモリ等に記憶し、BIOSメモリ130の設定を記憶するフラッシュメモリ等を別に備えていてもよい。
【0027】
バックアップメモリ135は、バッテリバックアップされたSRAM(Static Random Access Memory)や、EEPROM等の書き換え可能な不揮発性のメモリである。
【0028】
ペリフェラルI/F140は、各種周辺機器(ペリフェラル)に接続するための、USB(Universal Serial Bus)、IEEE1394、シリアル、パラレル、赤外線、無線等のインタフェイスを提供するユニットである。ペリフェラルI/F140は、照明、ICカードリーダ/ライタ、スイッチ、コイン投入部等のようなゲームの実行に必要な周辺機器と接続することができる。
【0029】
他にも、図示しないが、スティック型コントローラー、模擬銃、加速度検出器、振動装置等のフォースフィードバック装置、足踏み/手押し式のスイッチ、ディスプレイモニターの画面上の位置を検出する位置検出器、タッチパッド、タッチパネル、キーボード、マウスやトラックボール等のポインティングデバイス等、各種の操作入力装置を、ペリフェラルI/F140に接続して用いることができる。これによって、操作者からゲーム等のプログラムの進行に必要な操作情報をゲーム装置10に入力することが出来るようになる。更に、この操作情報をパラメータとしてCPU100がゲームプログラムを進行し、操作情報に応じた画像や音声を生成して出力することが出来るようになる。
【0030】
さらに、ペリフェラルI/F140からセキュアなパラレルのインタフェイス等を用いて、以下で説明するキーチップ145にアクセスすることができる。
【0031】
キーチップ145は、ゲームIDと、当該ゲームIDに対応したイメージの復号化ができる鍵データとを備えた、例えば着脱可能なICチップ等である。キーチップ145は、例えば、ゲームの種類毎に用意して、各アプリを実行する際に使用する。ゲーム装置10で実行するゲームのアプリを変更する、すなわちソフトウェアを交換する場合には、このキーチップ145も、そのゲームのアプリに対応したキーチップ145に変更する必要がある。
【0032】
バスアービタ150は、いわゆる「チップセット」等の、各部を接続するためのバスインタフェイスを提供する集積回路である。このバスアービタ150で接続される各部のバスのスピードは異なっていてもよく、上り/下りで非対称であってもよい。また、例えば、CPU100と、主記憶部110と、バスアービタ150との間はFSB(Front Side Bus)等の高速なバスで接続され、グラフィックプロセッサ160とバスアービタ150の間も広帯域なバスで接続されるのが好適である。さらに、CPU100にDDR2/3 SDRAMやXDR DRAM等のバスインタフェイスが内蔵されて、主記憶部110を直接読み書きするように構成されていてもよい。
【0033】
また、バスアービタ150は、ペリフェラルI/F140と、キーチップ145、ゲーム媒体リーダ15との間で、暗号化等されたセキュアなバスを用いて主記憶部110に直接接続することも可能である。このセキュアなバスを用いて主記憶部110と読み書きするデータは、CPU100の特殊な特権モード等でなければアクセスできないように構成することで、よりセキュリティを高めることができる。
【0034】
グラフィックプロセッサ160は、後述するように、3次元CGを描画する機能をもつグラフィックプロセッサである。グラフィックプロセッサ160は、ポリゴンのジオメトリ(座標)の計算を行うジオメトリ部162と、ジオメトリ計算が行われたポリゴンをラスタライズ/レンダリング(描画)するレンダリング部164とを含んで構成される。
【0035】
また、グラフィックプロセッサ160は、描画された画像をディスプレイモニターやプロジェクター等の表示装置に出力するため、RAMDAC(RAM D/Aコンバーター)やHDMIインタフェイス等を備えている。
【0036】
ジオメトリ部162は、ポリゴンの3次元空間での座標(ワールド座標)について、行列の回転や拡大等を行って、アフィン変換等を行い、ポリゴンの2次元空間での座標を求める部位である。また、ジオメトリ部162は、ポリゴンの分割やスプライン補完等のテッセレーションを行う、「ジオメトリシェーダ」(又はバーテックスシェーダ)を備えることもできる。
【0037】
レンダリング部164は、座標計算されたポリゴンについて、テクスチャと呼ばれる画像データを貼り付け、各種効果を加えてグラフィックメモリ170に描画する部位である。この各種効果としては、プログラマブル・シェーダ等を用いて、光点・影(シェーディング)計算、明暗の表現、半透明、ぶれ、霧、ぼかし、HDR(ハイダイナミックレンジ合成)等の計算を行うことができる。また、レンダリング部164が描画するポリゴンの種類としては、点ポリゴン(ポイント)、線ポリゴン(ラインリスト)、三角形や四角形といった面ポリゴン、面ポリゴンの集合体等がある。加えて、レンダリング部164がレイ・トレーシング等を用いて描画を行う際には、円、楕円、球、メタボール等の領域で定義される物体を描画することも可能である。
【0038】
なお、ジオメトリ部162を、CPU100にて処理するように構成することも可能である。この場合は、主記憶部110に記憶するプログラムをCPU100が実行して作成したポリゴンの座標を、グラフィックメモリ170に転送等を行う。レンダリング部164は、このポリゴンの座標に従って、ポリゴンを描画する。
【0039】
グラフィックメモリ170は、グラフィックプロセッサ160が描画するために高速に読み書きができる記憶媒体である。たとえば、このグラフィックメモリとして、GDDR(Graphics Double Data Rate(グラフィックス・ダブル・データレート))等の広帯域なメモリを高レベルのメモリインターリーブ等を用いて接続することができる。また、システムLSIのようにグラフィックメモリをグラフィックプロセッサ160に内蔵する構成も可能である。更に、グラフィックプロセッサ160が描画している間に、ディスプレイモニターに表示するためのデュアルポート構成をとることも可能である。
【0040】
ビデオBIOSメモリ175は、グラフィックプロセッサ160用のBIOSが記憶されたフラッシュメモリ等である。CPU100が、パッチによりこのビデオBIOSメモリ175を更新することで、グラフィックプロセッサ160の機能や表示品質を向上させたり、表示上の不都合(バグ)を直したりすることができる。
【0041】
オーディオプロセッサ180は、音楽や音声や効果音を出力するためのPCM(Wave)音源等を備えたDSP(デジタル・シグナル・プロセッサ)等である。オーディオプロセッサ180は、物理演算音源、FM音源等の計算を行い、残響や反射等の各種音声効果を計算することもできる。
【0042】
オーディオプロセッサ180の出力は、D/A(デジタル・アナログ)変換され、デジタルアンプ等に接続されて、スピーカーで音楽や音声や効果音として再生される。また、オーディオプロセッサ180は、マイクから入力した音声の音声認識等にも対応することができる。
【0043】
オーディオメモリ190は、音楽や音声や効果音のためのデジタル変換されたデータを記憶している記憶媒体である。オーディオプロセッサ180とオーディオメモリ190とを一体的に構成することも当然可能である。
【0044】
通信I/F200は、ネットワーク5に接続するための(有線/無線LAN、電話線、携帯電話網、PHS網、電灯線ネットワーク、IEEE1394等)インタフェイスである。通信I/F200からネットワーク5を介して、ゲーム装置10は、アプリやOSやパッチ等を図示しないマスターサーバからダウンロードすることができる。また、逆に、他のゲーム装置へ、アプリやOSやパッチ等を提供することもできる。さらに、通信I/F200を用いて、ゲーム装置10と図示しないゲーム装置クライアントとで、または、ゲーム装置クライアント同士で、複数のプレイヤーによる対戦ゲーム(対戦などの競争を行うゲーム。以下、同じ。)又は共同ゲーム(協力して課題を解決するゲーム。以下、同じ。)をすることができる。また、複数のゲーム装置10や、ゲーム装置クライアントが通信可能に接続されることにより、メインサーバを介して、ゲームスコア(点数、得点等、以下スコアという。)の集計や、他の遊戯施設に配置されたゲーム装置との間で対戦ゲームを行ったり、ランキングを集計したりすることが可能である。
【0045】
図2は、図1のゲーム装置10に接続される3次元ディスプレイモニターの第1の実施の形態の構成図である。図2は、裸眼3次元表示方式の第1の実施の形態のパララックスバリア方式の説明図である。図2に示すように、ディスプレイモニター20は、カラー液晶ディスプレイパネルで構成される。このディスプレイパネルに、有機EL(Electro Luminescence)パネルやプラズマディスプレイパネルを使用できる。ディスプレイモニター20の前面(観察者側)に、パララックスバリア(Parallax Barrier)22が設けられる。パララックスバリア22は、細いスリット状の開口部を有する。この開口部の裏側に適当な隙間を置いて左右画像をストライプ状に配置する。特定の視点EL,ERからこの開口部を介して見ることにより、立体画像を裸眼で観察できる。
【0046】
ディスプレイモニター20の1つのピクセル(画素)20−1は、3原色(R=赤、G=緑、B=青)の発光体の組み合わせで構成されている。この発光体をサブピクセル20−2と呼ぶ。パララックスバリア22は、サブピクセル20−2に対応した視差バリア(スリット)が設けられる。図2に示すように、左目EL、右目ERからの視線に示すように、左目EL,右目ERのそれぞれの画像の1ピクセルは、実際には、2ピクセルにまたがって表現される。
【0047】
図3は、図1のゲーム装置10に接続される3次元ディスプレイモニターの第2の実施の形態の構成図である。図3は、裸眼3次元表示方式の第2の実施の形態のレンティキュラー方式の説明図である。図3に示すように、ディスプレイモニター20は、カラー液晶ディスプレイパネルで構成される。このディスプレイパネルに、有機EL(Electro Luminescence)パネルやプラズマディスプレイパネルを使用できる。ディスプレイモニター20の前面(観察者側)に、半円筒状の形状をしたレンティキュラーレンズ24が設けられる。ディスプレイモニター20に、適当な隙間を置いて左右画像をストライプ状に配置する。レンズ24は指向性を持っており、視線の届く位置を変化するプリズムとして働く。これにより、ストライプ像は、分離されて左目EL,右目ERに入り、裸眼で立体視できる。
【0048】
図4乃至図6は、立体視の説明図である。図4(A)、図5(A)、図6(A)に示すように、1つの画面(ディスプレイ面)20Aの上下方向をY軸、左右方向をX軸とし、奥行き方向をZ軸とする。ここでは、図2及び図3で説明したパララックスバリア22、レンティキュラーレンズ24によって、左の画像は、左目ELだけに見え、右の画像は、右目ERだけに見えると仮定する。
【0049】
図4(B)に示すように、ディスプレイ面20Aである画像点Aを、左画像用点ALと右画像用点ARにずらした場合に、立体視として、A`の位置に像が結像し、ディスプレイ面(パネル面)20Aの奥に画像があるように見える。
【0050】
又、図5(A)、図5(B)に示すように、ディスプレイ面20Aに左右の画像点Aを同じ位置に表示すると、飛び出して見えない位置A`` 、つまりディスプレイ面20A上に見える。更に、図6(B)に示すように、ディスプレイ面20Aである画像点Aを、図4(A)、図4(B)と逆の方向に左画像用点ALと右画像用点ARにずらした場合に、立体視として、A```の位置に像が結像し、ディスプレイ面(パネル面)20Aから飛び出したように見える。
【0051】
このように、1つの画面に表示するフレーム画面データの各画素の位置を、ディスプレイ面でずらしたフレーム画像を作成することにより、立体視が可能となる。このため、後述するように、左目用フレーム画像と右目用フレーム画像とを作成し、両者を合成して、立体視用フレーム画像を作成する。これをディスプレイに表示することにより、左右の視差を利用した立体視の観察が可能となる。
【0052】
(3次元画像処理装置)
図7は、本発明の3次元画像処理装置の一実施の形態のブロック図である。図8乃至図10は、図7の構成の視差調整パラメータによるずらし量変換処理の説明図である。図7は、図1の画像表示装置における画像処理装置の主要部を示す。即ち、図7は、図1の画像表示装置のCPU100とグラフィックプロセッサ160とを示す。
【0053】
図7に示すように、CPU100は、ゲーム処理300と左右画像合成処理302とを実行する。ゲーム処理300は、プレーヤーの操作に伴いゲーム画面を変更する処理である。即ち、CPU100のゲーム処理300は、操作入力装置から入力された操作情報等に応じて、表示すべき画像のポリゴンデータを計算し、画像のポリゴンデータをグラフィックプロセッサ160のジオメトリ部162(図1参照)に送信する。
【0054】
前述したように、グラフィックプロセッサ160は、ジオメトリ部162(図1参照)とレンダリング部164とを有する。レンダリング部164は、レンダリング処理310と左右画像生成処理312とを実行する。
【0055】
前述したように、ジオメトリ部162は、ポリゴンの3次元空間での座標(ワールド座標)について、行列の回転や拡大等を行って、アフィン変換等を行い、ポリゴンの2次元空間での座標を求める。レンダリング部164のレンダリング処理310は、座標計算されたポリゴンについて、テクスチャと呼ばれる画像データを貼り付け、ピクセル単位のフレーム画像とピクセル毎のZ深度(図4〜図6のZ軸(奥行き方向)の位置)を作成する。
【0056】
レンダリング部164の左右画像生成処理312は、レンダリング処理310からピクセル単位のフレーム画像とピクセル毎のZ深度を受けるとともに、ゲーム処理300から視差調整パラメータを受ける。左右画像生成処理312は、図8乃至図10で説明するように、視差調整パラメータに従い、ピクセル毎のZ深度を視差量に変換する。そして、左右画像生成処理312は、変換した視差量によりフレーム画像から左右画像LF,RFを作成し、図1のグラフィックメモリ170に描画する。
【0057】
CPU100の左右画像合成処理302は、グラフィックメモリ170の左右画像LF,RFを合成し、1つのフレーム画像を作成し、グラフィックメモリ170に書き込む。グラフィックメモリ170の合成画像データは、ディスプレイモニター20に出力される。
【0058】
前述の視差パラメータによる左右画像作成処理312を、図8〜図10で説明する。図8(A)、図9(A)、図10(A)は、3次元空間におけるX軸とZ軸における点X,Y,Zの位置を示す。点X,Y,Zは、ピクセルと見なしてよい。ここで、X軸は、ディスプレイ20Aの左右方向であり、Z軸は、図4〜図6で説明した奥行き方向である。又、Z=0は、立体視する3次元空間の奥行き方向の原点を示し、立体視の最飛び出し位置に相当する。d1、d2、d3は、z深度(原点Z=0から奥行き方向の距離)を示す。更に、Dfocusは、左右の視差がゼロであるフォーカス位置(原点Z=0から奥行き方向の距離)を示す。
【0059】
ここで、左右の画像で点をずらす量をwとすると、z深度d、Dfocusを用いて、例えば、下記式(1)で計算する。尚、Eは定数である。
【0060】
w=(d−Dfocus)/E (1)
例えば、図8(A)に示すように、点Xのz深度d1がDfocusより大きい場合には、式(1)の計算により得られたずらし量wでずらした左右画像の点XL、XRを作成する。これにより、図8(B)に示すように、左目ELと右目ERとによる立体視では、点Xはディスプレイ面22Aより奥に観察される。
【0061】
同様に、図9(A)に示すように、点Yのz深度d2がDfocusと同じ場合には、式(1)の計算によりずらし量wがゼロとなり、ずれのない左右画像の点YL、YRを作成する。これにより、図9(B)に示すように、左目ELと右目ERとによる立体視では、点Yはディイスプレイ面22A上に観察される。
【0062】
更に、図10(A)に示すように、点Zのz深度d3がDfocusより小さい場合には、式(1)の計算により得られたずらし量wでずらした左右画像の点ZL、ZRを作成する。これにより、図10(B)に示すように、左目ELと右目ERとによる立体視では、点Zはディイスプレイ面22Aより手前に飛び出して観察される。
【0063】
本発明の一実施の形態では、このような視差調整パラメータを用いて、3次元表示画像及び告知画像を作成する。
【0064】
(告知表示処理の第1の実施の形態)
図11乃至図14は、本発明の第1の実施の形態の3次元表示空間での表示例を示す。図11乃至図14において、X軸は、ディスプレイ20Aの左右方向であり、Z軸は、図4〜図6、図8〜図10で説明した奥行き方向である。又、aは奥行き方向の原点(最近位置)、bは、視差ゼロ(図8乃至図10のDfocusの位置)、cは奥行き方向の最遠位置を示す。即ち、立体視の奥行きは、位置aから位置cまでである。
【0065】
図11は、左右眼EL,ERがオブジェクトAとオブジェクトBとが立体視している場合のX−Z仮想空間でのオブジェクトA、Bの位置を示す。即ち、左右眼EL,ERが、オブジェクトBの先端が飛び出し、オブジェクトAの先端が飛び出し、後端が奥に引っ込んだ画像を観察している。
【0066】
この3次元画像で文字等による告知表示を表示する。告知表示は、文字等であるため、3次元表示する必要はなく、視差のない2次元画像である。この告知表示を表示する時、図11に示すX−Z空間において、視差ゼロの位置bに告知表示Cを表示した場合には、図12に示すような3次元画像を観察できる。即ち、告知表示Cは仮想空間上の視差ゼロの位置bにあるように観察される。このため、視差の付いたオブジェクトA,Bが、告知表示Cより飛び出して見えたり、告知表示CがオブジェクトA,Bにめりこんだように見える。従って、告知表示Cのように見せたいものが見辛くなる。
【0067】
この告知表示を見やすくするため、図14に示すように、立体視の奥行きを圧縮する。即ち、図14に示すように、奥行き方向の原点(最近位置)aと奥行き方向の最遠位置cとの距離を短く制御する。これにより、告知表示Cを仮想空間上の視差ゼロの位置bにあるように配置しても、視差の付いたオブジェクトA,Bが、奥行き方向に圧縮される。従って、オブジェクトA,Bの飛び出し量が小さくなり、告知表示CがオブジェクトA,Bにめりこんだように見える程度が目立たなくなる。従って、告知表示Cのように見せたいものが見易くなる。
【0068】
図13により、左右画像作成処理312による奥行きの調整処理を説明する。図13(A)は、3次元空間のX−Z空間で、奥行き原点aから奥行き方向にオブジェクトZ,Y、Xが位置している例を示す。この状態で、視差調整パラメータの式(1)の定数Eを大きく設定すると、図8乃至図10で説明したように、換算されるずらし量wも小さくなる。このことは、図8乃至図10で説明したz深度が小さくなることを意味する。このため、図13(B)に示すように、ディスプレイ面20Aより奥に見える奥行き量と手前に飛び出して見える量とが少なくなる。従って、告知表示Cを仮想空間上の視差ゼロの位置bにあるように配置しても、視差の付いたオブジェクトA,B(Z,Y,X)が、奥行き方向に圧縮される。
【0069】
即ち、通常、図13(A)の状態で3次元表示するように、定数Eを設定するが、告知表示する時だけ、定数Eを大きくして、図13(B),図14のように、相対的にずらし量を小さくして、立体物を圧縮する。
【0070】
(告知表示処理の第2の実施の形態)
図15乃至図16は、本発明の第2の実施の形態の3次元表示空間での表示例を示す。図15乃至図16において、X軸は、ディスプレイ20Aの左右方向であり、Z軸は、図4〜図6、図8〜図10で説明した奥行き方向である。又、aは奥行き方向の原点(最近位置)、bは、視差ゼロ(図8乃至図10のDfocusの位置)、cは奥行き方向の最遠位置を示す。即ち、立体視の奥行きは、位置aから位置cまでである。
【0071】
図16でも、図11と同様に、左右眼EL,ERがオブジェクトAとオブジェクトBとが立体視している場合のX−Z仮想空間でのオブジェクトA、Bの位置を示す。即ち、左右眼EL,ERが、オブジェクトBの先端が飛び出し、後端が奥に引っ込んだ、又オブジェクトAの先端が飛び出し、後端が奥に引っ込んだ画像を観察している。図11の3次元表示状態で、文字等による告知表示をする場合に、図16に示すように、図11におけるX−Z空間における視差ゼロの位置bを手前にずらし、位置bに告知表示Cの表示を行う。
【0072】
このため、告知表示Cを仮想空間上の視差ゼロの位置bにあるように配置しても、視差の付いたオブジェクトA,Bが、飛び出し量が小さくなり、告知表示CがオブジェクトA,Bにめりこんだように見える程度を少なくでき、めり込んでいることが目立たなくなる。従って、告知表示Cのように見せたいものが見易くなる。
【0073】
図15により、左右画像作成処理312による奥行きの調整処理を説明する。図13(A)の視差ゼロの位置bを、図15(A)に示す視差ゼロの位置b(Dfocus)にシフトする。尚、図15(A)も、図13(A)と同様に、3次元空間のX−Z空間で、奥行き原点aから奥行き方向にオブジェクトZ,Y、Xが位置している例を示す。このシフトを行うため、視差調整パラメータの式(1)の視差ゼロのフォーカス位置Dfocusを小さく設定すると、見かけ上z深度が大きくなる。このため、図15(B)に示すように、ディスプレイ面20Aより手前に飛び出して見える量が少なくなる。従って、告知表示Cを仮想空間上の視差ゼロの位置bにあるように配置しても、視差の付いたオブジェクトY,Xが、奥に見える。
【0074】
即ち、通常、図13(A)の状態で3次元表示するように、フォーカス位置Dfocusを設定するが、告知表示する時だけ、このフォーカス位置Dfocusを小さくして、図15(B),図16のように、相対的に飛び出し量を小さくして、告知表示Cを見易くする。
【0075】
(告知表示処理の第3の実施の形態)
図17は、本発明の第3の実施の形態の視差調整処理を含むゲーム処理フロー図である。図18乃至図22は、本発明の第3の実施の形態のゲーム処理における視差調整処理の説明図である。図18(A)、図18(B)は、告知表示前の3次元画像の表示状態を示し、図19(A),19(B)は、視差調整なしに告知表示を行った3次元画像の表示状態を示し、図20(A),図20(B)は、視差調整により告知表示を行った3次元画像の表示状態を示す。図21は、視差調整により告知表示を行った3次元画像の正面図であり、図22は、図21における実際のゲーム画面上での表示画面の説明図である。
【0076】
又、図18(A),図18(B),図19(A)、図19(B),図20(A)、図20(B)において、X軸は、ディスプレイ20Aの左右方向であり、Y軸は、ディスプレイ20Aの左右方向、Z軸は、図4〜図6、図8〜図10で説明した奥行き方向である。又、bは、視差ゼロ(図8乃至図10のDfocusの位置)を示す。
【0077】
図18乃至図22を参照して、図18のゲーム処理を説明する。尚、このゲーム処理によるゲームは、例えば、図22に示すように、ディスプレイ(画面)20において、スタートからゴールへ到る海上で敵(ふか)A1,B1が襲ってくる際に、模擬銃で敵を倒すゲームである。そして、告知表示は、1回のゲーム終了後、Continue?(ゲームを継続するか)とスタートからゴールまでの到達位置表示C2等である。尚、告知表示は、横長板状のテクスチャーに「CONTINUE」の文字が付されている。
【0078】
(S10)プレーヤーが図1のゲーム装置の図示しない開始ボタンを押す。
【0079】
(S12)開始ボタンの押下に応じて、CPU100がゲーム処理300を開始する。ゲーム処理では、図18(A)の3次元空間で示すように、ディスプレイ20Aの手前と奥にまたがってオブジェクト(球)A1が、奥にオブジェクト(立方体)B1が見えるように立体視可能な画像を表示する。ここでは、図18(B)に示すように、ディスプレイ20Aの手前と奥にまたがってオブジェクト(球)A1が、奥にオブジェクト(立方体)B1が見えるような位置の立体像である。この場合、CPU100は、レンダリング部164にポリゴンデータを送り、左右画像生成処理部312には、デフォルト値(通常の3次元表示を行うための値)の視差調整パラメータを送る。
【0080】
(S14)CPU100は、1回のゲームが終了したと判断すると、告知表示処理を行う。即ち、CPU100は、告知表示の画像データと変更した視差調整パラメータをレンダリング部164に送る。この時、図19(A)の3次元空間で示すように、図18(A)のディスプレイ20Aの手前にオブジェクト(球)A1が、奥にオブジェクト(立方体)B1が見えるように立体視可能な画像を表示している状態で、視差調整パラメータを変更しない場合には、告知文(ここでは、文字「CONTINUE」)C1は、ディスプレイ20A面に2次元表示される。即ち、図19(B)に示すように、ディスプレイ20Aの手前と奥にまたがってオブジェクト(球)A1に埋もれて告知文(ここでは、CONTINUE)C1が、ディスプレイ20A面に2次元表示され、奥にオブジェクト(立方体)B1が見える。
【0081】
この表示状態では、前述のように、告知文C1がオブジェクトA1に埋もれ、且つ3次元表示のオブジェクトA1が告知文C1より飛び出しているため、告知文C1が見にくい。このため、告知文C1が、オブジェクトA1,B1より手前に観察できるように視差調整パラメータを変更する。ここでは、フォーカス位置Dfocusの値を小さく、例えば、ゼロとする。図18(A)のディスプレイ20Aの手前と奥にまたがってオブジェクト(球)A1が、奥にオブジェクト(立方体)B1が見えるように立体視可能な画像を表示している状態で、フォーカス位置Dfocusを変更した場合には、図20(A)の3次元空間で示すように、告知文(ここでは、CONTINUE)C1は、オブジェクトA1の手前に位置するディスプレイ20A面に2次元表示される。即ち、図20(B)に示すように、ディスプレイ20Aに告知文C1が、その奥にオブジェクト(球)A1、その奥にオブジェクト(立方体)B1が見える。
【0082】
この表示状態をディスプレイ20の正面から見ると、観察者は、告知文(CONTINUE)の奥に、オブジェクトA1,B1を立体視できる。例えば、実際のゲーム画面では、図22に示すように、観察者(プレーヤー)は、Continue?(ゲームを継続するか)とスタートからゴールまでの到達位置表示C2等の告知表示の奥に、スタートからゴールへ到る海上で敵(ふか)A1,B1が襲ってくる画像を立体視できる。
【0083】
(S16)CPU100は、プレーヤーが図1のゲーム装置の継続(Continue)ボタンを押したかを判定する。所定時間内に押さないと、ゲームを終了する。
【0084】
(S18)一方、CPU100は、プレーヤーが図1のゲーム装置の継続(Continue)ボタンを押したと判定すると、視差調整パラメータをデフォルト値に戻し、ステップS12のゲーム処理を再開する。
【0085】
このように、z深さをずらし量に変換するための視差調整パラメータを、告知表示する時だけ変更して、奥行き空間の構造を変更することにより、3次元表示を維持し、3次元表示との一体感を保ちつつ、告知表示を見やすくできる。このため、3次元表示観察者の目の疲れを軽減し、見せたい告知表示を見易くできる。例えば、ゲーム装置では、3次元表示ゲームでも、プレーヤーの体調不良を防止し、プレーヤーの再トライを促すことができる。
【0086】
(他の実施の形態)
前述の実施の形態では、立体視画像生成として、奥行きデータを視差量に変換して、左右のフレーム画像を生成している。しかしながら、視点位置を変更して、左右のフレーム画像を生成する立体カメラ方法も適用できる。即ち、オブジェクトを構成するポリゴンデータに対し、ジオメトリ変換において、視点位置を左目、右目の2つに設定し、この2つの視点位置から見た左目用フレーム画像と左目用フレーム画像とを生成する。この時、視差調整パラメータは、2つの視点位置であり、オブジェクトに対する2つの視点位置の変更、若しくは左右の視点の距離(間隔)を変更することで左右の視差に違いが大きい画像や小さい画像を生成することができる。このため、前述の実施の形態と同様の3次元立体空間の変更動作を実現できる。
【0087】
更には、視点位置を変更せず、視点位置に対してオブジェクトの位置を変更するようにしても、視点位置を変更する場合と同様に、相対的に視点とオブジェクトとの距離が変わるため、これも同様の効果を持った動作を実現することができる。この場合の視差調整パラメータは、視点とオブジェクトとの距離になる。
【0088】
このときの告知表示は、第1の方法として、告知表示用の2次元画像を上記の左右の視点位置に応じて生成された左右のフレーム画像の上に重ねて表示する方法が考えられる。この場合、左右でどの程度の視差をもった告知表示用の2次元画像を左右のフレーム画像に重ねるかによって他のオブジェクトに対する奥行き感が決まる。この場合であっても、プログラムの進行によって告知表示を行なうとCPU100が判断したときに、上述の左右の視点の距離を短く設定する若しくは視点とオブジェクトとの距離を広げる。これにより、告知表示を行なう前よりもオブジェクトが画面に対して奥行き方向に見えるようになるため、立体視を保ったまま告知表示が見やすくなる。
【0089】
告知表示の第2の方法としては、告知表示用のオブジェクトを立体視表示用のオブジェクトと同じ3次元空間座標が設定された仮想空間内に配置する方法が考えられる。この場合、告知表示用のオブジェクトが立体視表示用のオブジェクトによって隠れてしまわないよう、立体視表示用のオブジェクトよりも視点に近い座標位置を計算してそこに告知表示用のオブジェクトを配置する必要がある。
【0090】
しかし、あまりにも視点に近い場合は告知表示用のオブジェクトの視差が大きすぎるため、立体として認識し難い場合がある。このため、告知表示用のオブジェクトと視点との距離が予め定めておいた一定の距離よりも短くなったと判断された場合には、計算された告知表示用のオブジェクトを配置する座標位置と視点までの距離と一定(所定)の距離との差分若しくは差分以上の距離だけ、告知表示用のオブジェクトと立体視表示用のオブジェクトを視点から遠い奥行き方向の位置に配置し直す。これにより、見やすい位置に告知表示用のオブジェクトを配置することが出来るようになる。また、告知表示用のオブジェクトと立体視表示用のオブジェクトの位置を移動させず、左右の視点位置を少なくとも告知表示用のオブジェクトから遠い手前方向の位置に配置しなおすことでも、同様に告知表示用のオブジェクトを見やすくすることが出来る。
【0091】
上記の告知表示における視差調整は、図17のステップS12(ゲーム処理)が終了し、コンティニュー表示が行なわれると判断されたステップS16に至る間のステップS14(視差調整)において実行される。
【0092】
これら実施例におけるハードウェアのブロック図は、図1の画像表示装置と同様になるが、図7のCPU100は、左右の視点からみたポリゴンデータをそれぞれの視点座標系にジオメトリ変換してグラフィックプロセッサ160に転送するため、グラフィックプロセッサ160は視差調整パラメータを必要とせず、CPU100から転送されたポリゴンデータに基づいてレンダリング処理を行うのみとなる。
【0093】
尚、ジオメトリ変換の機能はCPU100ではなく、図1のようにグラフィックプロセッサ160内にあってもよい。ジオメトリ変換の機能がグラフィックプロセッサ160内にある場合は、CPU100から視差調整パラメータをグラフィックプロセッサ160に出力するようにして、グラフィックプロセッサ160内で視差調整パラメータに基づいて左右の視点位置やオブジェクト位置の決定や調整等を行なう。
【0094】
又、この実施の形態や他の実施の形態ではゲーム処理を例に説明したが、通常の画像表示において、2次元画像から3次元画像に変換するものにも適用できる。この場合、告知表示は、テロップ等を使用できる。又、告知表示は「Continue」の他、「Insert Coin」、「Game Over」、「Push *(*は所定のボタン名称) Button」等の操作者や遊戯者に告知する情報や操作を促す表示のほか、カーソル表示やロックオンやターゲットを指し示すマーカー等であってもよい。
【0095】
更に、図1の3次元ディスプレイモニターは、図2のパララックスバリア22や図3のレンティキュラーレンズ24などの裸眼立体方式に限らず、シャッター方式や偏向フィルター方式等の3Dメガネを用いるようなディスプレイにしても良い。
【0096】
シャッター方式の3Dメガネを用いる場合の左右の画像合成は、図7の左右画像合成処理302において、1つのフレーム内で左右の画像を合成するのではなく、フレーム単位で左右の画像を交互に出力するようにし、この出力に同期してメガネ側の左右のシャッターを開閉制御させるようにする。
【0097】
例えば、右目側の画像が出力されたときは3Dメガネの左側のシャッターが閉じ右側のシャッターが開くことで右目のみが右目側の画像を見ることになり、左目側の画像が出力されたときはこの逆の制御を行なうことで画像を立体的に認識することが出来るようになる。
【0098】
偏向フィルター方式の3Dメガネを用いる場合は、左右画像合成処理302は画像の合成を行うのではなく、右目側と左目側の画像をそれぞれ出力し、ディスプレイモニターを例えば右目側の画像と左目側の画像を別々のプロジェクタから出力してスクリーン上で合成するようにする。
【0099】
このとき、例えば右目用のプロジェクタから出力される画像の光路上(プロジェクタのレンズ付近)に水平偏向(若しくは45度偏向)フィルターを、左目用のプロジェクタから出力される画像の光路上(プロジェクタのレンズ付近)に垂直偏向(若しくは135度偏向)フィルターを、といったそれぞれに異なる方向の偏向フィルターを設けておく。3Dメガネにおいても右目側と左目側それぞれに右目用と左目用のプロジェクタと同じ偏向フィルターを設けておくことで、右目側の画像と左目側の画像がそれぞれ右目と左目のみに見えるようになるため、画像を立体的に認識することが出来るようになる。
【0100】
以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、本発明は、種々の変形が可能であり、本発明の範囲からこれらを排除するものではない。
【産業上の利用可能性】
【0101】
3次元表示の奥行き量を左右視差ずらし量に変換するための視差調整パラメータ若しくは視点と3次元表示用オブジェクトとの距離を、告知表示を表示する時だけ変更して、奥行き空間の構造を変更することにより、3次元表示を維持し、3次元表示との一体感を保ちつつ、観察者に見せたい告知表示を見やすくできる。
【符号の説明】
【0102】
10 ゲーム装置
15 ゲーム媒体リーダ
16 ゲーム媒体
20 ディスプレイモニター
20A ディスプレイ面
22 パララックスバリア
24 レンティキュラーレンズ
100 CPU
110 主記憶部
120 補助記憶部
130 BIOSメモリ
135 バックアップメモリ
140 ペリフェラルI/F
145 キーチップ
150 バスアービタ
160 グラフィックプロセッサ
162 ジオメトリ部
164 レンダリング部
170 グラフィックメモリ
175 ビデオBIOSメモリ
180 オーディオプロセッサ
190 オーディオメモリ
200 通信I/F
300 ゲーム処理
302 左右画像合成処理
310 レンダリング処理
312 左右画像生成処理
【技術分野】
【0001】
本発明は、左右の目の視差作用により立体視できる画像を生成するための3次元画像処理装置、そのプログラム及び記憶媒体に関する。
【背景技術】
【0002】
3次元(3D:Three Dimension)画像技術は、2次元画面で画像を立体視できることに有効である。特に、左右の目の視差作用を利用する裸眼立体視方法は、特殊なメガネを必要としない。このような3D表示は、見る人により現実感を与えることができる。例えば、ゲーム装置においては、3D表示でゲーム内容を表示することにより、より現実感のあるゲームを提供できる。
【0003】
この3D表示において、立体像の他に何らかの文字、画像を表示することは、種々の用途に有効である。例えば、従来の第1の方法では、図柄を変動表示する遊戯機の3D表示において、立体像(前景)に図柄を重畳して表示し、図柄の奥行き位置を変更し、立体像を強調する方法が提案されている(例えば、特許文献1参照)。又、従来の第2の方法では、変動表示ゲーム機において、開始時には、対象物を2D表示し、リーチ状態では、対象物を3D表示する方法が提案されている(例えば、特許文献2参照)。更に、従来の第3の方法では、立体像(3D)画面と別に2D(二次元)画面を設け、2次元画面に3次元画面の立体像と関連する情報を表示する方法が提案されている(例えば、特許文献3参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】日本特許公開2004−287057号公報
【特許文献2】日本特許公開2006−305385号公報
【特許文献3】日本特許公開2010−162287号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
一方、立体像の表示とともに、注目させる告知表示を表示させる場合が生じる。しかしながら、従来の第1の方法は、立体像表示中に特定の識別情報を奥行き方向に変動表示するため、全体として立体像表示である。観察者が立体像を長時間視認していると、人間の目が疲れ、場合によっては、体調不良が生じる。第1の従来技術では、視認性が悪く、観察しにくい。
【0006】
又、第2の従来技術では、表示している画像全体を2次元表示から3次元表示(立体視表示)に切り替えるため、3次元画像を活かしたまま、告知表示を行うことが難しい。更に、第3の従来技術では、表示画面上で3次元画像と2次元画像の領域を別けるため、3次元画像との一体感がなく、且つ表示範囲も制限される。
【0007】
本発明の目的は、告知内容を3次元画像に重畳して表示し、3次元画像と告知内容との一体感を与える3次元画像処理装置、そのプログラム及び記憶媒体を提供することにある。
【0008】
本発明の他の目的は、3次元画像に告知内容を重畳して表示しても、観察者に告知内容を見易く表示する3次元画像処理装置、そのプログラム及び記憶媒体を提供することにある。
【課題を解決するための手段】
【0009】
この目的の達成のため、本発明の3次元画像処理装置は、左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成する3次元画像処理装置において、立体視すべきオブジェクトの画像データから、視差調整パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する画像生成部と、前記左目用画像フレームと前記右目用画像フレームとを合成して、前記左右眼の視差作用によって立体視可能な2次元フレーム画像を生成する画像合成部とを有し、前記画像生成部は、前記立体視すべき物体に重畳して告知表示を表示する際に、前記視差調整パラメータにより、前記奥行き空間の前記基準面に前記告知表示を位置させ、且つ前記奥行き空間の奥行き量を圧縮させ又は前記基準面を前記奥行き空間の奥行き方向の手前に位置させる左目用フレーム画像と右目用フレーム画像を生成する。
【0010】
又、本発明の3次元画像処理装置は、3次元空間座標が設定された仮想空間内に第1のオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する画像生成部を有する3次元画像処理装置において、前記画像生成部は、前記第1のオブジェクトに対して前記第1または第2の視点の少なくとも何れか一方に近い位置に第2のオブジェクトを配置する際に、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更する。
【0011】
更に、本発明の3次元画像処理装置は、3次元空間座標が設定された仮想空間内にオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する画像生成部を有する3次元画像処理装置において、前記画像生成部は、前記第1および第2の二次元の視差画像に告知画像を重畳する際に、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更する。
【0012】
又、本発明の3次元画像処理プログラムは、左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成するプログラムであって、立体視すべきオブジェクトの画像データから、視差調整パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する第1のステップと、前記左目用画像フレームと前記右目用画像フレームとを合成して、前記左右眼の視差作用によって立体視可能な2次元フレーム画像を生成する第2のステップと、前記立体視すべき物体に重畳して告知表示を標示する際に、前記視差調整パラメータにより、前記奥行き空間の前記基準面に前記告知表示を位置させ、且つ前記奥行き空間の奥行き量を圧縮させ又は前記基準面を前記奥行き空間の奥行き方向の手前に位置させる左目用フレーム画像と右目用フレーム画像を生成する第3のステップとをコンピュータに実行させる。
【0013】
更に、本発明の3次元画像処理プログラムは、3次元空間座標が設定された仮想空間内に第1のオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する3次元画像処理プログラムであって、前記第1のオブジェクトに対して前記第1または第2の視点の少なくとも何れか一方に近い位置に第2のオブジェクトを配置するか否か判断するステップと、前記判断により前記第2のオブジェクトを配置すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップとをコンピュータに実行させる。
【0014】
更に、本発明の3次元画像処理プログラムは、3次元空間座標が設定された仮想空間内にオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する3次元画像処理プログラムであって、前記第1および第2の二次元の視差画像に告知画像を重畳するか否か判断するステップと、前記判断により前記告知画像を重畳すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップとをコンピュータに実行させる。
【0015】
本発明の記憶媒体は、左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成するプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、立体視すべきオブジェクトの画像データから、視差調整パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する第1のステップと、前記左目用画像フレームと前記右目用画像フレームとを合成して、前記左右眼の視差作用によって立体視可能な2次元フレーム画像を生成する第2のステップと、前記立体視すべき物体に重畳して告知表示を表示する際に、前記視差調整パラメータにより、前記奥行き空間の前記基準面に前記告知表示を位置させ、且つ前記奥行き空間の奥行き量を圧縮し又は前記基準面を前記奥行き空間の奥行き方向の手前に位置させる左目用フレーム画像と右目用フレーム画像を生成する第3のステップとをコンピュータに実行させるプログラムを格納した。
【発明の効果】
【0016】
3次元表示の奥行き量を左右視差ずらし量に変換するための視差調整パラメータを、告知表示を表示する時だけ変更して、奥行き空間の構造を変更することにより、3次元表示を維持し、3次元表示との一体感を保ちつつ、告知表示を見やすくできる。又、告知等の特定の表示をする時のみ、視点と立体視すべきオブジェクトの距離を離す又は左目用の画像生成に必要な視点と右目用の画像生成に必要な視点との距離を近づける等して、視差の少ない3次元表示を行うことで、3次元表示を維持したまま告知等の特定の表示を見やすくすることができる。
【図面の簡単な説明】
【0017】
【図1】実施の形態の3次元画像処理装置を適用した画像表示装置のブロック図である。
【図2】図1の3次元ディスプレイモニターの第1の実施の形態の構成図である。
【図3】図1の3次元ディスプレイモニターの第2の実施の形態の構成図である。
【図4】本発明の実施の形態による立体視の説明図(その1)である。
【図5】本発明の実施の形態による立体視の説明図(その2)である。
【図6】本発明の実施の形態による立体視の説明図(その3)である。
【図7】図1の3次元画像処理装置の実施の形態のブロック図である。
【図8】本発明の実施の形態による視差調整パラメータによるずらし量変換処理の説明図(その1)である。
【図9】本発明の実施の形態による視差調整パラメータによるずらし量変換処理の説明図(その2)である。
【図10】本発明の実施の形態による視差調整パラメータによるずらし量変換処理の説明図(その3)である。
【図11】本発明の告知表示処理の説明のための3次元画像空間の説明図である。
【図12】本発明の告知表示処理の説明のための3次元画像空間での告知表示の説明図である。
【図13】本発明の第1の実施の形態の3次元空間における告知表示処理の説明図である。
【図14】図13の第1の実施の形態による3次元空間における告知表示例の説明図である。
【図15】本発明の第2の実施の形態の3次元空間における告知表示処理の説明図である。
【図16】図15の第2の実施の形態による3次元空間における告知表示例の説明図である。
【図17】本発明の第3の実施の形態の3次元空間における告知表示処理を伴うゲーム処理フロー図である。
【図18】図17の第3の実施の形態による3次元空間におけるオブジェクト表示例の説明図である。
【図19】本発明の第3の実施の形態の説明のための3次元空間における告知表示処理の説明図である。
【図20】本発明の第3の実施の形態の3次元空間における告知表示処理の説明図である。
【図21】図20のディスプレイの正面図である。
【図22】図21のゲーム処理におけるディスプレイの正面画像例の説明図である。
【発明を実施するための形態】
【0018】
以下、実施の形態の例を、3次元画像処理装置を適用した画像表示装置、3次元画像処理装置、告知表示処理の第1の実施の形態、告知表示処理の第2の実施の形態、告知表示処理の第3の実施の形態、他の実施の形態の順で説明するが、開示の画像表示装置、3次元画像処理装置、告知内容は、この実施の形態に限られない。
【0019】
(3次元画像処理装置を適用した画像表示装置)
図1は、3次元画像処理装置を適用した画像表示装置のブロック図である。図1の画像表示装置は、ゲーム装置を例に示す。
【0020】
ゲーム装置10は、CPU(Central Processing Unit)100(制御部、ゲーム実行部)と、主記憶部110と、補助記憶部120と、BIOSメモリ130と、バックアップメモリ135と、ペリフェラルI/F(InterFace)140(周辺機器接続インタフェイス手段)と、キーチップ145と、バスアービタ150と、グラフィックプロセッサ160(描画部)と、グラフィックメモリ170と、ビデオBIOSメモリ175と、オーディオプロセッサ180と、オーディオメモリ190と、通信I/F(InterFace)200とを含んで構成される。
【0021】
ゲーム装置10は、ペリフェラルI/F140を介して、ゲームプログラムを格納したゲーム媒体(例えば、CD−ROM、DVD,外部メモリ)16を読み込み可能なゲーム媒体リーダ(例えば、ディスク読み取り装置等)15を接続することができる。
【0022】
CPU100は、CISC(Complex Instruction Set Computer、複合命令セットコンピュータ)方式やRISC(Reduced Instruction Set Computer、縮小命令セットコンピュータ)方式のCPU(中央処理装置)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Processor、特定用途向けプロセッサー)等である演算・制御能力を備えた制御回路である。また、CPU100に、後述する主記憶部110やグラフィックプロセッサ160やオーディオプロセッサ180等の機能を備えることも可能である。
【0023】
主記憶部110は、RAM(Random Access Memory)等の主記憶用に使われる高速な記憶回路を含んで構成される。主記憶部110は、ゲーム装置10をコンピュータとして機能させるためのOSを備える。また、主記憶部110は、CPU100が実行する、各種プログラムやオブジェクト等であるプロセスを補助記憶部120からロードされて、記憶する。また、このプロセスに関わるデータについても記憶している。各プロセスはOSのAPI(Application Programming Interface)を介して、ゲーム装置10の各機能にアクセス可能である。
【0024】
補助記憶部120は、SSD(Solid State Drive)等のフラッシュメモリディスク、HDD(Hard Disk Drive)、磁気テープ装置、光ディスク装置等の補助記憶装置である。補助記憶部120は、後述するように、アプリやOSのプログラムやデータを記憶する。これらのプログラムやデータは、CPU100や、DMA(Direct Memory Access)等により、主記憶部110に記憶可能である。この例では、補助記憶部120が、ゲームプログラムを格納する。
【0025】
BIOSメモリ130は、BIOS(Basic Input Output System)が記憶されたROM(Read Only Memory)やNOR型フラッシュメモリやSRAM等の不揮発性記憶媒体である。このBIOSメモリ130は、ファームウェア用のプログラムと、ゲーム装置10の各種機能を実現するためのプログラムと、これらのプログラムの設定を記憶するSRAM等のメモリから構成されている。例えば、BIOSメモリ130のBIOSは、ゲーム装置10が起動する際に、CPU100のマイクロコードの設定を行ったり、各部の初期化を行ったり、補助記憶部120の例えば最初のアドレスのパーティションから、OSが実行されるような指示を行う。
【0026】
なお、BIOSメモリ130のプログラムをNOR型フラッシュメモリ等に記憶し、BIOSメモリ130の設定を記憶するフラッシュメモリ等を別に備えていてもよい。
【0027】
バックアップメモリ135は、バッテリバックアップされたSRAM(Static Random Access Memory)や、EEPROM等の書き換え可能な不揮発性のメモリである。
【0028】
ペリフェラルI/F140は、各種周辺機器(ペリフェラル)に接続するための、USB(Universal Serial Bus)、IEEE1394、シリアル、パラレル、赤外線、無線等のインタフェイスを提供するユニットである。ペリフェラルI/F140は、照明、ICカードリーダ/ライタ、スイッチ、コイン投入部等のようなゲームの実行に必要な周辺機器と接続することができる。
【0029】
他にも、図示しないが、スティック型コントローラー、模擬銃、加速度検出器、振動装置等のフォースフィードバック装置、足踏み/手押し式のスイッチ、ディスプレイモニターの画面上の位置を検出する位置検出器、タッチパッド、タッチパネル、キーボード、マウスやトラックボール等のポインティングデバイス等、各種の操作入力装置を、ペリフェラルI/F140に接続して用いることができる。これによって、操作者からゲーム等のプログラムの進行に必要な操作情報をゲーム装置10に入力することが出来るようになる。更に、この操作情報をパラメータとしてCPU100がゲームプログラムを進行し、操作情報に応じた画像や音声を生成して出力することが出来るようになる。
【0030】
さらに、ペリフェラルI/F140からセキュアなパラレルのインタフェイス等を用いて、以下で説明するキーチップ145にアクセスすることができる。
【0031】
キーチップ145は、ゲームIDと、当該ゲームIDに対応したイメージの復号化ができる鍵データとを備えた、例えば着脱可能なICチップ等である。キーチップ145は、例えば、ゲームの種類毎に用意して、各アプリを実行する際に使用する。ゲーム装置10で実行するゲームのアプリを変更する、すなわちソフトウェアを交換する場合には、このキーチップ145も、そのゲームのアプリに対応したキーチップ145に変更する必要がある。
【0032】
バスアービタ150は、いわゆる「チップセット」等の、各部を接続するためのバスインタフェイスを提供する集積回路である。このバスアービタ150で接続される各部のバスのスピードは異なっていてもよく、上り/下りで非対称であってもよい。また、例えば、CPU100と、主記憶部110と、バスアービタ150との間はFSB(Front Side Bus)等の高速なバスで接続され、グラフィックプロセッサ160とバスアービタ150の間も広帯域なバスで接続されるのが好適である。さらに、CPU100にDDR2/3 SDRAMやXDR DRAM等のバスインタフェイスが内蔵されて、主記憶部110を直接読み書きするように構成されていてもよい。
【0033】
また、バスアービタ150は、ペリフェラルI/F140と、キーチップ145、ゲーム媒体リーダ15との間で、暗号化等されたセキュアなバスを用いて主記憶部110に直接接続することも可能である。このセキュアなバスを用いて主記憶部110と読み書きするデータは、CPU100の特殊な特権モード等でなければアクセスできないように構成することで、よりセキュリティを高めることができる。
【0034】
グラフィックプロセッサ160は、後述するように、3次元CGを描画する機能をもつグラフィックプロセッサである。グラフィックプロセッサ160は、ポリゴンのジオメトリ(座標)の計算を行うジオメトリ部162と、ジオメトリ計算が行われたポリゴンをラスタライズ/レンダリング(描画)するレンダリング部164とを含んで構成される。
【0035】
また、グラフィックプロセッサ160は、描画された画像をディスプレイモニターやプロジェクター等の表示装置に出力するため、RAMDAC(RAM D/Aコンバーター)やHDMIインタフェイス等を備えている。
【0036】
ジオメトリ部162は、ポリゴンの3次元空間での座標(ワールド座標)について、行列の回転や拡大等を行って、アフィン変換等を行い、ポリゴンの2次元空間での座標を求める部位である。また、ジオメトリ部162は、ポリゴンの分割やスプライン補完等のテッセレーションを行う、「ジオメトリシェーダ」(又はバーテックスシェーダ)を備えることもできる。
【0037】
レンダリング部164は、座標計算されたポリゴンについて、テクスチャと呼ばれる画像データを貼り付け、各種効果を加えてグラフィックメモリ170に描画する部位である。この各種効果としては、プログラマブル・シェーダ等を用いて、光点・影(シェーディング)計算、明暗の表現、半透明、ぶれ、霧、ぼかし、HDR(ハイダイナミックレンジ合成)等の計算を行うことができる。また、レンダリング部164が描画するポリゴンの種類としては、点ポリゴン(ポイント)、線ポリゴン(ラインリスト)、三角形や四角形といった面ポリゴン、面ポリゴンの集合体等がある。加えて、レンダリング部164がレイ・トレーシング等を用いて描画を行う際には、円、楕円、球、メタボール等の領域で定義される物体を描画することも可能である。
【0038】
なお、ジオメトリ部162を、CPU100にて処理するように構成することも可能である。この場合は、主記憶部110に記憶するプログラムをCPU100が実行して作成したポリゴンの座標を、グラフィックメモリ170に転送等を行う。レンダリング部164は、このポリゴンの座標に従って、ポリゴンを描画する。
【0039】
グラフィックメモリ170は、グラフィックプロセッサ160が描画するために高速に読み書きができる記憶媒体である。たとえば、このグラフィックメモリとして、GDDR(Graphics Double Data Rate(グラフィックス・ダブル・データレート))等の広帯域なメモリを高レベルのメモリインターリーブ等を用いて接続することができる。また、システムLSIのようにグラフィックメモリをグラフィックプロセッサ160に内蔵する構成も可能である。更に、グラフィックプロセッサ160が描画している間に、ディスプレイモニターに表示するためのデュアルポート構成をとることも可能である。
【0040】
ビデオBIOSメモリ175は、グラフィックプロセッサ160用のBIOSが記憶されたフラッシュメモリ等である。CPU100が、パッチによりこのビデオBIOSメモリ175を更新することで、グラフィックプロセッサ160の機能や表示品質を向上させたり、表示上の不都合(バグ)を直したりすることができる。
【0041】
オーディオプロセッサ180は、音楽や音声や効果音を出力するためのPCM(Wave)音源等を備えたDSP(デジタル・シグナル・プロセッサ)等である。オーディオプロセッサ180は、物理演算音源、FM音源等の計算を行い、残響や反射等の各種音声効果を計算することもできる。
【0042】
オーディオプロセッサ180の出力は、D/A(デジタル・アナログ)変換され、デジタルアンプ等に接続されて、スピーカーで音楽や音声や効果音として再生される。また、オーディオプロセッサ180は、マイクから入力した音声の音声認識等にも対応することができる。
【0043】
オーディオメモリ190は、音楽や音声や効果音のためのデジタル変換されたデータを記憶している記憶媒体である。オーディオプロセッサ180とオーディオメモリ190とを一体的に構成することも当然可能である。
【0044】
通信I/F200は、ネットワーク5に接続するための(有線/無線LAN、電話線、携帯電話網、PHS網、電灯線ネットワーク、IEEE1394等)インタフェイスである。通信I/F200からネットワーク5を介して、ゲーム装置10は、アプリやOSやパッチ等を図示しないマスターサーバからダウンロードすることができる。また、逆に、他のゲーム装置へ、アプリやOSやパッチ等を提供することもできる。さらに、通信I/F200を用いて、ゲーム装置10と図示しないゲーム装置クライアントとで、または、ゲーム装置クライアント同士で、複数のプレイヤーによる対戦ゲーム(対戦などの競争を行うゲーム。以下、同じ。)又は共同ゲーム(協力して課題を解決するゲーム。以下、同じ。)をすることができる。また、複数のゲーム装置10や、ゲーム装置クライアントが通信可能に接続されることにより、メインサーバを介して、ゲームスコア(点数、得点等、以下スコアという。)の集計や、他の遊戯施設に配置されたゲーム装置との間で対戦ゲームを行ったり、ランキングを集計したりすることが可能である。
【0045】
図2は、図1のゲーム装置10に接続される3次元ディスプレイモニターの第1の実施の形態の構成図である。図2は、裸眼3次元表示方式の第1の実施の形態のパララックスバリア方式の説明図である。図2に示すように、ディスプレイモニター20は、カラー液晶ディスプレイパネルで構成される。このディスプレイパネルに、有機EL(Electro Luminescence)パネルやプラズマディスプレイパネルを使用できる。ディスプレイモニター20の前面(観察者側)に、パララックスバリア(Parallax Barrier)22が設けられる。パララックスバリア22は、細いスリット状の開口部を有する。この開口部の裏側に適当な隙間を置いて左右画像をストライプ状に配置する。特定の視点EL,ERからこの開口部を介して見ることにより、立体画像を裸眼で観察できる。
【0046】
ディスプレイモニター20の1つのピクセル(画素)20−1は、3原色(R=赤、G=緑、B=青)の発光体の組み合わせで構成されている。この発光体をサブピクセル20−2と呼ぶ。パララックスバリア22は、サブピクセル20−2に対応した視差バリア(スリット)が設けられる。図2に示すように、左目EL、右目ERからの視線に示すように、左目EL,右目ERのそれぞれの画像の1ピクセルは、実際には、2ピクセルにまたがって表現される。
【0047】
図3は、図1のゲーム装置10に接続される3次元ディスプレイモニターの第2の実施の形態の構成図である。図3は、裸眼3次元表示方式の第2の実施の形態のレンティキュラー方式の説明図である。図3に示すように、ディスプレイモニター20は、カラー液晶ディスプレイパネルで構成される。このディスプレイパネルに、有機EL(Electro Luminescence)パネルやプラズマディスプレイパネルを使用できる。ディスプレイモニター20の前面(観察者側)に、半円筒状の形状をしたレンティキュラーレンズ24が設けられる。ディスプレイモニター20に、適当な隙間を置いて左右画像をストライプ状に配置する。レンズ24は指向性を持っており、視線の届く位置を変化するプリズムとして働く。これにより、ストライプ像は、分離されて左目EL,右目ERに入り、裸眼で立体視できる。
【0048】
図4乃至図6は、立体視の説明図である。図4(A)、図5(A)、図6(A)に示すように、1つの画面(ディスプレイ面)20Aの上下方向をY軸、左右方向をX軸とし、奥行き方向をZ軸とする。ここでは、図2及び図3で説明したパララックスバリア22、レンティキュラーレンズ24によって、左の画像は、左目ELだけに見え、右の画像は、右目ERだけに見えると仮定する。
【0049】
図4(B)に示すように、ディスプレイ面20Aである画像点Aを、左画像用点ALと右画像用点ARにずらした場合に、立体視として、A`の位置に像が結像し、ディスプレイ面(パネル面)20Aの奥に画像があるように見える。
【0050】
又、図5(A)、図5(B)に示すように、ディスプレイ面20Aに左右の画像点Aを同じ位置に表示すると、飛び出して見えない位置A`` 、つまりディスプレイ面20A上に見える。更に、図6(B)に示すように、ディスプレイ面20Aである画像点Aを、図4(A)、図4(B)と逆の方向に左画像用点ALと右画像用点ARにずらした場合に、立体視として、A```の位置に像が結像し、ディスプレイ面(パネル面)20Aから飛び出したように見える。
【0051】
このように、1つの画面に表示するフレーム画面データの各画素の位置を、ディスプレイ面でずらしたフレーム画像を作成することにより、立体視が可能となる。このため、後述するように、左目用フレーム画像と右目用フレーム画像とを作成し、両者を合成して、立体視用フレーム画像を作成する。これをディスプレイに表示することにより、左右の視差を利用した立体視の観察が可能となる。
【0052】
(3次元画像処理装置)
図7は、本発明の3次元画像処理装置の一実施の形態のブロック図である。図8乃至図10は、図7の構成の視差調整パラメータによるずらし量変換処理の説明図である。図7は、図1の画像表示装置における画像処理装置の主要部を示す。即ち、図7は、図1の画像表示装置のCPU100とグラフィックプロセッサ160とを示す。
【0053】
図7に示すように、CPU100は、ゲーム処理300と左右画像合成処理302とを実行する。ゲーム処理300は、プレーヤーの操作に伴いゲーム画面を変更する処理である。即ち、CPU100のゲーム処理300は、操作入力装置から入力された操作情報等に応じて、表示すべき画像のポリゴンデータを計算し、画像のポリゴンデータをグラフィックプロセッサ160のジオメトリ部162(図1参照)に送信する。
【0054】
前述したように、グラフィックプロセッサ160は、ジオメトリ部162(図1参照)とレンダリング部164とを有する。レンダリング部164は、レンダリング処理310と左右画像生成処理312とを実行する。
【0055】
前述したように、ジオメトリ部162は、ポリゴンの3次元空間での座標(ワールド座標)について、行列の回転や拡大等を行って、アフィン変換等を行い、ポリゴンの2次元空間での座標を求める。レンダリング部164のレンダリング処理310は、座標計算されたポリゴンについて、テクスチャと呼ばれる画像データを貼り付け、ピクセル単位のフレーム画像とピクセル毎のZ深度(図4〜図6のZ軸(奥行き方向)の位置)を作成する。
【0056】
レンダリング部164の左右画像生成処理312は、レンダリング処理310からピクセル単位のフレーム画像とピクセル毎のZ深度を受けるとともに、ゲーム処理300から視差調整パラメータを受ける。左右画像生成処理312は、図8乃至図10で説明するように、視差調整パラメータに従い、ピクセル毎のZ深度を視差量に変換する。そして、左右画像生成処理312は、変換した視差量によりフレーム画像から左右画像LF,RFを作成し、図1のグラフィックメモリ170に描画する。
【0057】
CPU100の左右画像合成処理302は、グラフィックメモリ170の左右画像LF,RFを合成し、1つのフレーム画像を作成し、グラフィックメモリ170に書き込む。グラフィックメモリ170の合成画像データは、ディスプレイモニター20に出力される。
【0058】
前述の視差パラメータによる左右画像作成処理312を、図8〜図10で説明する。図8(A)、図9(A)、図10(A)は、3次元空間におけるX軸とZ軸における点X,Y,Zの位置を示す。点X,Y,Zは、ピクセルと見なしてよい。ここで、X軸は、ディスプレイ20Aの左右方向であり、Z軸は、図4〜図6で説明した奥行き方向である。又、Z=0は、立体視する3次元空間の奥行き方向の原点を示し、立体視の最飛び出し位置に相当する。d1、d2、d3は、z深度(原点Z=0から奥行き方向の距離)を示す。更に、Dfocusは、左右の視差がゼロであるフォーカス位置(原点Z=0から奥行き方向の距離)を示す。
【0059】
ここで、左右の画像で点をずらす量をwとすると、z深度d、Dfocusを用いて、例えば、下記式(1)で計算する。尚、Eは定数である。
【0060】
w=(d−Dfocus)/E (1)
例えば、図8(A)に示すように、点Xのz深度d1がDfocusより大きい場合には、式(1)の計算により得られたずらし量wでずらした左右画像の点XL、XRを作成する。これにより、図8(B)に示すように、左目ELと右目ERとによる立体視では、点Xはディスプレイ面22Aより奥に観察される。
【0061】
同様に、図9(A)に示すように、点Yのz深度d2がDfocusと同じ場合には、式(1)の計算によりずらし量wがゼロとなり、ずれのない左右画像の点YL、YRを作成する。これにより、図9(B)に示すように、左目ELと右目ERとによる立体視では、点Yはディイスプレイ面22A上に観察される。
【0062】
更に、図10(A)に示すように、点Zのz深度d3がDfocusより小さい場合には、式(1)の計算により得られたずらし量wでずらした左右画像の点ZL、ZRを作成する。これにより、図10(B)に示すように、左目ELと右目ERとによる立体視では、点Zはディイスプレイ面22Aより手前に飛び出して観察される。
【0063】
本発明の一実施の形態では、このような視差調整パラメータを用いて、3次元表示画像及び告知画像を作成する。
【0064】
(告知表示処理の第1の実施の形態)
図11乃至図14は、本発明の第1の実施の形態の3次元表示空間での表示例を示す。図11乃至図14において、X軸は、ディスプレイ20Aの左右方向であり、Z軸は、図4〜図6、図8〜図10で説明した奥行き方向である。又、aは奥行き方向の原点(最近位置)、bは、視差ゼロ(図8乃至図10のDfocusの位置)、cは奥行き方向の最遠位置を示す。即ち、立体視の奥行きは、位置aから位置cまでである。
【0065】
図11は、左右眼EL,ERがオブジェクトAとオブジェクトBとが立体視している場合のX−Z仮想空間でのオブジェクトA、Bの位置を示す。即ち、左右眼EL,ERが、オブジェクトBの先端が飛び出し、オブジェクトAの先端が飛び出し、後端が奥に引っ込んだ画像を観察している。
【0066】
この3次元画像で文字等による告知表示を表示する。告知表示は、文字等であるため、3次元表示する必要はなく、視差のない2次元画像である。この告知表示を表示する時、図11に示すX−Z空間において、視差ゼロの位置bに告知表示Cを表示した場合には、図12に示すような3次元画像を観察できる。即ち、告知表示Cは仮想空間上の視差ゼロの位置bにあるように観察される。このため、視差の付いたオブジェクトA,Bが、告知表示Cより飛び出して見えたり、告知表示CがオブジェクトA,Bにめりこんだように見える。従って、告知表示Cのように見せたいものが見辛くなる。
【0067】
この告知表示を見やすくするため、図14に示すように、立体視の奥行きを圧縮する。即ち、図14に示すように、奥行き方向の原点(最近位置)aと奥行き方向の最遠位置cとの距離を短く制御する。これにより、告知表示Cを仮想空間上の視差ゼロの位置bにあるように配置しても、視差の付いたオブジェクトA,Bが、奥行き方向に圧縮される。従って、オブジェクトA,Bの飛び出し量が小さくなり、告知表示CがオブジェクトA,Bにめりこんだように見える程度が目立たなくなる。従って、告知表示Cのように見せたいものが見易くなる。
【0068】
図13により、左右画像作成処理312による奥行きの調整処理を説明する。図13(A)は、3次元空間のX−Z空間で、奥行き原点aから奥行き方向にオブジェクトZ,Y、Xが位置している例を示す。この状態で、視差調整パラメータの式(1)の定数Eを大きく設定すると、図8乃至図10で説明したように、換算されるずらし量wも小さくなる。このことは、図8乃至図10で説明したz深度が小さくなることを意味する。このため、図13(B)に示すように、ディスプレイ面20Aより奥に見える奥行き量と手前に飛び出して見える量とが少なくなる。従って、告知表示Cを仮想空間上の視差ゼロの位置bにあるように配置しても、視差の付いたオブジェクトA,B(Z,Y,X)が、奥行き方向に圧縮される。
【0069】
即ち、通常、図13(A)の状態で3次元表示するように、定数Eを設定するが、告知表示する時だけ、定数Eを大きくして、図13(B),図14のように、相対的にずらし量を小さくして、立体物を圧縮する。
【0070】
(告知表示処理の第2の実施の形態)
図15乃至図16は、本発明の第2の実施の形態の3次元表示空間での表示例を示す。図15乃至図16において、X軸は、ディスプレイ20Aの左右方向であり、Z軸は、図4〜図6、図8〜図10で説明した奥行き方向である。又、aは奥行き方向の原点(最近位置)、bは、視差ゼロ(図8乃至図10のDfocusの位置)、cは奥行き方向の最遠位置を示す。即ち、立体視の奥行きは、位置aから位置cまでである。
【0071】
図16でも、図11と同様に、左右眼EL,ERがオブジェクトAとオブジェクトBとが立体視している場合のX−Z仮想空間でのオブジェクトA、Bの位置を示す。即ち、左右眼EL,ERが、オブジェクトBの先端が飛び出し、後端が奥に引っ込んだ、又オブジェクトAの先端が飛び出し、後端が奥に引っ込んだ画像を観察している。図11の3次元表示状態で、文字等による告知表示をする場合に、図16に示すように、図11におけるX−Z空間における視差ゼロの位置bを手前にずらし、位置bに告知表示Cの表示を行う。
【0072】
このため、告知表示Cを仮想空間上の視差ゼロの位置bにあるように配置しても、視差の付いたオブジェクトA,Bが、飛び出し量が小さくなり、告知表示CがオブジェクトA,Bにめりこんだように見える程度を少なくでき、めり込んでいることが目立たなくなる。従って、告知表示Cのように見せたいものが見易くなる。
【0073】
図15により、左右画像作成処理312による奥行きの調整処理を説明する。図13(A)の視差ゼロの位置bを、図15(A)に示す視差ゼロの位置b(Dfocus)にシフトする。尚、図15(A)も、図13(A)と同様に、3次元空間のX−Z空間で、奥行き原点aから奥行き方向にオブジェクトZ,Y、Xが位置している例を示す。このシフトを行うため、視差調整パラメータの式(1)の視差ゼロのフォーカス位置Dfocusを小さく設定すると、見かけ上z深度が大きくなる。このため、図15(B)に示すように、ディスプレイ面20Aより手前に飛び出して見える量が少なくなる。従って、告知表示Cを仮想空間上の視差ゼロの位置bにあるように配置しても、視差の付いたオブジェクトY,Xが、奥に見える。
【0074】
即ち、通常、図13(A)の状態で3次元表示するように、フォーカス位置Dfocusを設定するが、告知表示する時だけ、このフォーカス位置Dfocusを小さくして、図15(B),図16のように、相対的に飛び出し量を小さくして、告知表示Cを見易くする。
【0075】
(告知表示処理の第3の実施の形態)
図17は、本発明の第3の実施の形態の視差調整処理を含むゲーム処理フロー図である。図18乃至図22は、本発明の第3の実施の形態のゲーム処理における視差調整処理の説明図である。図18(A)、図18(B)は、告知表示前の3次元画像の表示状態を示し、図19(A),19(B)は、視差調整なしに告知表示を行った3次元画像の表示状態を示し、図20(A),図20(B)は、視差調整により告知表示を行った3次元画像の表示状態を示す。図21は、視差調整により告知表示を行った3次元画像の正面図であり、図22は、図21における実際のゲーム画面上での表示画面の説明図である。
【0076】
又、図18(A),図18(B),図19(A)、図19(B),図20(A)、図20(B)において、X軸は、ディスプレイ20Aの左右方向であり、Y軸は、ディスプレイ20Aの左右方向、Z軸は、図4〜図6、図8〜図10で説明した奥行き方向である。又、bは、視差ゼロ(図8乃至図10のDfocusの位置)を示す。
【0077】
図18乃至図22を参照して、図18のゲーム処理を説明する。尚、このゲーム処理によるゲームは、例えば、図22に示すように、ディスプレイ(画面)20において、スタートからゴールへ到る海上で敵(ふか)A1,B1が襲ってくる際に、模擬銃で敵を倒すゲームである。そして、告知表示は、1回のゲーム終了後、Continue?(ゲームを継続するか)とスタートからゴールまでの到達位置表示C2等である。尚、告知表示は、横長板状のテクスチャーに「CONTINUE」の文字が付されている。
【0078】
(S10)プレーヤーが図1のゲーム装置の図示しない開始ボタンを押す。
【0079】
(S12)開始ボタンの押下に応じて、CPU100がゲーム処理300を開始する。ゲーム処理では、図18(A)の3次元空間で示すように、ディスプレイ20Aの手前と奥にまたがってオブジェクト(球)A1が、奥にオブジェクト(立方体)B1が見えるように立体視可能な画像を表示する。ここでは、図18(B)に示すように、ディスプレイ20Aの手前と奥にまたがってオブジェクト(球)A1が、奥にオブジェクト(立方体)B1が見えるような位置の立体像である。この場合、CPU100は、レンダリング部164にポリゴンデータを送り、左右画像生成処理部312には、デフォルト値(通常の3次元表示を行うための値)の視差調整パラメータを送る。
【0080】
(S14)CPU100は、1回のゲームが終了したと判断すると、告知表示処理を行う。即ち、CPU100は、告知表示の画像データと変更した視差調整パラメータをレンダリング部164に送る。この時、図19(A)の3次元空間で示すように、図18(A)のディスプレイ20Aの手前にオブジェクト(球)A1が、奥にオブジェクト(立方体)B1が見えるように立体視可能な画像を表示している状態で、視差調整パラメータを変更しない場合には、告知文(ここでは、文字「CONTINUE」)C1は、ディスプレイ20A面に2次元表示される。即ち、図19(B)に示すように、ディスプレイ20Aの手前と奥にまたがってオブジェクト(球)A1に埋もれて告知文(ここでは、CONTINUE)C1が、ディスプレイ20A面に2次元表示され、奥にオブジェクト(立方体)B1が見える。
【0081】
この表示状態では、前述のように、告知文C1がオブジェクトA1に埋もれ、且つ3次元表示のオブジェクトA1が告知文C1より飛び出しているため、告知文C1が見にくい。このため、告知文C1が、オブジェクトA1,B1より手前に観察できるように視差調整パラメータを変更する。ここでは、フォーカス位置Dfocusの値を小さく、例えば、ゼロとする。図18(A)のディスプレイ20Aの手前と奥にまたがってオブジェクト(球)A1が、奥にオブジェクト(立方体)B1が見えるように立体視可能な画像を表示している状態で、フォーカス位置Dfocusを変更した場合には、図20(A)の3次元空間で示すように、告知文(ここでは、CONTINUE)C1は、オブジェクトA1の手前に位置するディスプレイ20A面に2次元表示される。即ち、図20(B)に示すように、ディスプレイ20Aに告知文C1が、その奥にオブジェクト(球)A1、その奥にオブジェクト(立方体)B1が見える。
【0082】
この表示状態をディスプレイ20の正面から見ると、観察者は、告知文(CONTINUE)の奥に、オブジェクトA1,B1を立体視できる。例えば、実際のゲーム画面では、図22に示すように、観察者(プレーヤー)は、Continue?(ゲームを継続するか)とスタートからゴールまでの到達位置表示C2等の告知表示の奥に、スタートからゴールへ到る海上で敵(ふか)A1,B1が襲ってくる画像を立体視できる。
【0083】
(S16)CPU100は、プレーヤーが図1のゲーム装置の継続(Continue)ボタンを押したかを判定する。所定時間内に押さないと、ゲームを終了する。
【0084】
(S18)一方、CPU100は、プレーヤーが図1のゲーム装置の継続(Continue)ボタンを押したと判定すると、視差調整パラメータをデフォルト値に戻し、ステップS12のゲーム処理を再開する。
【0085】
このように、z深さをずらし量に変換するための視差調整パラメータを、告知表示する時だけ変更して、奥行き空間の構造を変更することにより、3次元表示を維持し、3次元表示との一体感を保ちつつ、告知表示を見やすくできる。このため、3次元表示観察者の目の疲れを軽減し、見せたい告知表示を見易くできる。例えば、ゲーム装置では、3次元表示ゲームでも、プレーヤーの体調不良を防止し、プレーヤーの再トライを促すことができる。
【0086】
(他の実施の形態)
前述の実施の形態では、立体視画像生成として、奥行きデータを視差量に変換して、左右のフレーム画像を生成している。しかしながら、視点位置を変更して、左右のフレーム画像を生成する立体カメラ方法も適用できる。即ち、オブジェクトを構成するポリゴンデータに対し、ジオメトリ変換において、視点位置を左目、右目の2つに設定し、この2つの視点位置から見た左目用フレーム画像と左目用フレーム画像とを生成する。この時、視差調整パラメータは、2つの視点位置であり、オブジェクトに対する2つの視点位置の変更、若しくは左右の視点の距離(間隔)を変更することで左右の視差に違いが大きい画像や小さい画像を生成することができる。このため、前述の実施の形態と同様の3次元立体空間の変更動作を実現できる。
【0087】
更には、視点位置を変更せず、視点位置に対してオブジェクトの位置を変更するようにしても、視点位置を変更する場合と同様に、相対的に視点とオブジェクトとの距離が変わるため、これも同様の効果を持った動作を実現することができる。この場合の視差調整パラメータは、視点とオブジェクトとの距離になる。
【0088】
このときの告知表示は、第1の方法として、告知表示用の2次元画像を上記の左右の視点位置に応じて生成された左右のフレーム画像の上に重ねて表示する方法が考えられる。この場合、左右でどの程度の視差をもった告知表示用の2次元画像を左右のフレーム画像に重ねるかによって他のオブジェクトに対する奥行き感が決まる。この場合であっても、プログラムの進行によって告知表示を行なうとCPU100が判断したときに、上述の左右の視点の距離を短く設定する若しくは視点とオブジェクトとの距離を広げる。これにより、告知表示を行なう前よりもオブジェクトが画面に対して奥行き方向に見えるようになるため、立体視を保ったまま告知表示が見やすくなる。
【0089】
告知表示の第2の方法としては、告知表示用のオブジェクトを立体視表示用のオブジェクトと同じ3次元空間座標が設定された仮想空間内に配置する方法が考えられる。この場合、告知表示用のオブジェクトが立体視表示用のオブジェクトによって隠れてしまわないよう、立体視表示用のオブジェクトよりも視点に近い座標位置を計算してそこに告知表示用のオブジェクトを配置する必要がある。
【0090】
しかし、あまりにも視点に近い場合は告知表示用のオブジェクトの視差が大きすぎるため、立体として認識し難い場合がある。このため、告知表示用のオブジェクトと視点との距離が予め定めておいた一定の距離よりも短くなったと判断された場合には、計算された告知表示用のオブジェクトを配置する座標位置と視点までの距離と一定(所定)の距離との差分若しくは差分以上の距離だけ、告知表示用のオブジェクトと立体視表示用のオブジェクトを視点から遠い奥行き方向の位置に配置し直す。これにより、見やすい位置に告知表示用のオブジェクトを配置することが出来るようになる。また、告知表示用のオブジェクトと立体視表示用のオブジェクトの位置を移動させず、左右の視点位置を少なくとも告知表示用のオブジェクトから遠い手前方向の位置に配置しなおすことでも、同様に告知表示用のオブジェクトを見やすくすることが出来る。
【0091】
上記の告知表示における視差調整は、図17のステップS12(ゲーム処理)が終了し、コンティニュー表示が行なわれると判断されたステップS16に至る間のステップS14(視差調整)において実行される。
【0092】
これら実施例におけるハードウェアのブロック図は、図1の画像表示装置と同様になるが、図7のCPU100は、左右の視点からみたポリゴンデータをそれぞれの視点座標系にジオメトリ変換してグラフィックプロセッサ160に転送するため、グラフィックプロセッサ160は視差調整パラメータを必要とせず、CPU100から転送されたポリゴンデータに基づいてレンダリング処理を行うのみとなる。
【0093】
尚、ジオメトリ変換の機能はCPU100ではなく、図1のようにグラフィックプロセッサ160内にあってもよい。ジオメトリ変換の機能がグラフィックプロセッサ160内にある場合は、CPU100から視差調整パラメータをグラフィックプロセッサ160に出力するようにして、グラフィックプロセッサ160内で視差調整パラメータに基づいて左右の視点位置やオブジェクト位置の決定や調整等を行なう。
【0094】
又、この実施の形態や他の実施の形態ではゲーム処理を例に説明したが、通常の画像表示において、2次元画像から3次元画像に変換するものにも適用できる。この場合、告知表示は、テロップ等を使用できる。又、告知表示は「Continue」の他、「Insert Coin」、「Game Over」、「Push *(*は所定のボタン名称) Button」等の操作者や遊戯者に告知する情報や操作を促す表示のほか、カーソル表示やロックオンやターゲットを指し示すマーカー等であってもよい。
【0095】
更に、図1の3次元ディスプレイモニターは、図2のパララックスバリア22や図3のレンティキュラーレンズ24などの裸眼立体方式に限らず、シャッター方式や偏向フィルター方式等の3Dメガネを用いるようなディスプレイにしても良い。
【0096】
シャッター方式の3Dメガネを用いる場合の左右の画像合成は、図7の左右画像合成処理302において、1つのフレーム内で左右の画像を合成するのではなく、フレーム単位で左右の画像を交互に出力するようにし、この出力に同期してメガネ側の左右のシャッターを開閉制御させるようにする。
【0097】
例えば、右目側の画像が出力されたときは3Dメガネの左側のシャッターが閉じ右側のシャッターが開くことで右目のみが右目側の画像を見ることになり、左目側の画像が出力されたときはこの逆の制御を行なうことで画像を立体的に認識することが出来るようになる。
【0098】
偏向フィルター方式の3Dメガネを用いる場合は、左右画像合成処理302は画像の合成を行うのではなく、右目側と左目側の画像をそれぞれ出力し、ディスプレイモニターを例えば右目側の画像と左目側の画像を別々のプロジェクタから出力してスクリーン上で合成するようにする。
【0099】
このとき、例えば右目用のプロジェクタから出力される画像の光路上(プロジェクタのレンズ付近)に水平偏向(若しくは45度偏向)フィルターを、左目用のプロジェクタから出力される画像の光路上(プロジェクタのレンズ付近)に垂直偏向(若しくは135度偏向)フィルターを、といったそれぞれに異なる方向の偏向フィルターを設けておく。3Dメガネにおいても右目側と左目側それぞれに右目用と左目用のプロジェクタと同じ偏向フィルターを設けておくことで、右目側の画像と左目側の画像がそれぞれ右目と左目のみに見えるようになるため、画像を立体的に認識することが出来るようになる。
【0100】
以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、本発明は、種々の変形が可能であり、本発明の範囲からこれらを排除するものではない。
【産業上の利用可能性】
【0101】
3次元表示の奥行き量を左右視差ずらし量に変換するための視差調整パラメータ若しくは視点と3次元表示用オブジェクトとの距離を、告知表示を表示する時だけ変更して、奥行き空間の構造を変更することにより、3次元表示を維持し、3次元表示との一体感を保ちつつ、観察者に見せたい告知表示を見やすくできる。
【符号の説明】
【0102】
10 ゲーム装置
15 ゲーム媒体リーダ
16 ゲーム媒体
20 ディスプレイモニター
20A ディスプレイ面
22 パララックスバリア
24 レンティキュラーレンズ
100 CPU
110 主記憶部
120 補助記憶部
130 BIOSメモリ
135 バックアップメモリ
140 ペリフェラルI/F
145 キーチップ
150 バスアービタ
160 グラフィックプロセッサ
162 ジオメトリ部
164 レンダリング部
170 グラフィックメモリ
175 ビデオBIOSメモリ
180 オーディオプロセッサ
190 オーディオメモリ
200 通信I/F
300 ゲーム処理
302 左右画像合成処理
310 レンダリング処理
312 左右画像生成処理
【特許請求の範囲】
【請求項1】
左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成する3次元画像処理装置において、
立体視すべきオブジェクトの画像データから、視差パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する画像生成部と、
前記左目用画像フレームと前記右目用画像フレームとを合成して、前記左右眼の視差作用によって立体視可能な2次元フレーム画像を生成する画像合成部とを有し、
前記画像生成部は、前記立体視すべき物体に重畳して告知表示を表示する際に、前記視差パラメータにより、前記奥行き空間の前記基準面に前記告知表示を位置し、且つ前記奥行き空間の奥行き量を圧縮し又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理装置。
【請求項2】
請求項1の3次元画像処理装置において、
前記画像生成部は、前記立体視すべきオブジェクトの2次元画像データと奥行きデータとから、視差パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理装置。
【請求項3】
請求項1の3次元画像処理装置において、
前記画像生成部は、前記告知表示データと前記奥行き空間を制御する前記視差パラメータとを受け、前記奥行き空間の前記基準面に前記告知表示が位置し、且つ前記奥行き空間の奥行き量を圧縮又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理装置。
【請求項4】
請求項1の3次元画像処理装置において、
前記画像生成部は、前記奥行き空間の基準面の位置を指定する視差パラメータにより、前記奥行き空間の基準面の位置を指定された位置とした前記左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理装置。
【請求項5】
請求項1の3次元画像処理装置において、
前記画像生成部は、前記奥行き方向の深さを指定する視差パラメータにより、前記奥行き空間の奥行き方向の深さを指定された深さとした前記左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理装置。
【請求項6】
3次元空間座標が設定された仮想空間内に第1のオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する画像生成部を有する3次元画像処理装置において、
前記画像生成部は、
前記第1のオブジェクトに対して前記第1または第2の視点の少なくとも何れか一方に近い位置に第2のオブジェクトを配置する際に、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更することを
特徴とする3次元画像処理装置。
【請求項7】
3次元空間座標が設定された仮想空間内にオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する画像生成部を有する3次元画像処理装置において、
前記画像生成部は、
前記第1および第2の二次元の視差画像に告知画像を重畳する際に、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更することを
特徴とする3次元画像処理装置。
【請求項8】
左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成する3次元画像処理プログラムであって、
立体視すべきオブジェクトの画像データから、視差調整パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する第1のステップと、
前記左目用画像フレームと前記右目用画像フレームとを合成して、前記左右眼の視差作用によって立体視可能な2次元フレーム画像を生成する第2のステップと、
前記立体視すべき物体に重畳して告知表示を標示する際に、前記視差調整パラメータにより、前記奥行き空間の前記基準面に前記告知表示が位置し、且つ前記奥行き空間の奥行き量を圧縮又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成する第3のステップとを
コンピュータに実行させることを特徴とする3次元画像処理プログラム。
【請求項9】
請求項8の3次元画像処理プログラムにおいて、
前記第1のステップは、前記立体視すべきオブジェクトの2次元画像データと奥行きデータとから、視差パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成するステップを有する
ことを特徴とする3次元画像処理プログラム。
【請求項10】
請求項8の3次元画像処理プログラムにおいて、
前記第3のステップは、前記告知表示データと前記奥行き空間を制御する視差パラメータとを受け、前記奥行き空間の前記基準面に前記告知表示が位置し、且つ前記奥行き空間の奥行き量を圧縮又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理プログラム。
【請求項11】
請求項8の3次元画像処理プログラムにおいて、
前記第3のステップは、前記奥行き空間の基準面の位置を指定する視差パラメータにより、前記奥行き空間の基準面の位置を指定された位置とした前記左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理プログラム。
【請求項12】
請求項8の3次元画像処理プログラムにおいて、
前記第3のステップは、前記奥行き方向の深さを指定する視差パラメータにより、前記奥行き空間の奥行き方向の深さを指定された深さとした前記左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理プログラム。
【請求項13】
3次元空間座標が設定された仮想空間内に第1のオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する3次元画像処理プログラムであって、
前記第1のオブジェクトに対して前記第1または第2の視点の少なくとも何れか一方に近い位置に第2のオブジェクトを配置するか否か判断するステップと、
前記判断により前記第2のオブジェクトを配置すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップと
をコンピュータに実行させることを特徴とする3次元画像処理プログラム。
【請求項14】
3次元空間座標が設定された仮想空間内にオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する3次元画像処理プログラムであって、
前記第1および第2の二次元の視差画像に告知画像を重畳するか否か判断するステップと、
前記判断により前記告知画像を重畳すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップと
をコンピュータに実行させることを特徴とする3次元画像処理プログラム。
【請求項15】
請求項8乃至14のいずれかに記載の3次元画像処理プログラムを格納したコンピュータ読み取り可能な記憶媒体。
【請求項1】
左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成する3次元画像処理装置において、
立体視すべきオブジェクトの画像データから、視差パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する画像生成部と、
前記左目用画像フレームと前記右目用画像フレームとを合成して、前記左右眼の視差作用によって立体視可能な2次元フレーム画像を生成する画像合成部とを有し、
前記画像生成部は、前記立体視すべき物体に重畳して告知表示を表示する際に、前記視差パラメータにより、前記奥行き空間の前記基準面に前記告知表示を位置し、且つ前記奥行き空間の奥行き量を圧縮し又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理装置。
【請求項2】
請求項1の3次元画像処理装置において、
前記画像生成部は、前記立体視すべきオブジェクトの2次元画像データと奥行きデータとから、視差パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理装置。
【請求項3】
請求項1の3次元画像処理装置において、
前記画像生成部は、前記告知表示データと前記奥行き空間を制御する前記視差パラメータとを受け、前記奥行き空間の前記基準面に前記告知表示が位置し、且つ前記奥行き空間の奥行き量を圧縮又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理装置。
【請求項4】
請求項1の3次元画像処理装置において、
前記画像生成部は、前記奥行き空間の基準面の位置を指定する視差パラメータにより、前記奥行き空間の基準面の位置を指定された位置とした前記左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理装置。
【請求項5】
請求項1の3次元画像処理装置において、
前記画像生成部は、前記奥行き方向の深さを指定する視差パラメータにより、前記奥行き空間の奥行き方向の深さを指定された深さとした前記左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理装置。
【請求項6】
3次元空間座標が設定された仮想空間内に第1のオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する画像生成部を有する3次元画像処理装置において、
前記画像生成部は、
前記第1のオブジェクトに対して前記第1または第2の視点の少なくとも何れか一方に近い位置に第2のオブジェクトを配置する際に、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更することを
特徴とする3次元画像処理装置。
【請求項7】
3次元空間座標が設定された仮想空間内にオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する画像生成部を有する3次元画像処理装置において、
前記画像生成部は、
前記第1および第2の二次元の視差画像に告知画像を重畳する際に、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更することを
特徴とする3次元画像処理装置。
【請求項8】
左右眼の視差作用によって基準面の手前及び奥に物体を視認する立体視可能な画像を表示する表示装置のフレーム画像を生成する3次元画像処理プログラムであって、
立体視すべきオブジェクトの画像データから、視差調整パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成する第1のステップと、
前記左目用画像フレームと前記右目用画像フレームとを合成して、前記左右眼の視差作用によって立体視可能な2次元フレーム画像を生成する第2のステップと、
前記立体視すべき物体に重畳して告知表示を標示する際に、前記視差調整パラメータにより、前記奥行き空間の前記基準面に前記告知表示が位置し、且つ前記奥行き空間の奥行き量を圧縮又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成する第3のステップとを
コンピュータに実行させることを特徴とする3次元画像処理プログラム。
【請求項9】
請求項8の3次元画像処理プログラムにおいて、
前記第1のステップは、前記立体視すべきオブジェクトの2次元画像データと奥行きデータとから、視差パラメータに応じた奥行き空間の視差に応じた左目用フレーム画像と右目用フレーム画像を作成するステップを有する
ことを特徴とする3次元画像処理プログラム。
【請求項10】
請求項8の3次元画像処理プログラムにおいて、
前記第3のステップは、前記告知表示データと前記奥行き空間を制御する視差パラメータとを受け、前記奥行き空間の前記基準面に前記告知表示が位置し、且つ前記奥行き空間の奥行き量を圧縮又は前記基準面を前記奥行き空間の奥行き方向の手前に位置する左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理プログラム。
【請求項11】
請求項8の3次元画像処理プログラムにおいて、
前記第3のステップは、前記奥行き空間の基準面の位置を指定する視差パラメータにより、前記奥行き空間の基準面の位置を指定された位置とした前記左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理プログラム。
【請求項12】
請求項8の3次元画像処理プログラムにおいて、
前記第3のステップは、前記奥行き方向の深さを指定する視差パラメータにより、前記奥行き空間の奥行き方向の深さを指定された深さとした前記左目用フレーム画像と右目用フレーム画像を生成することを
特徴とする3次元画像処理プログラム。
【請求項13】
3次元空間座標が設定された仮想空間内に第1のオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する3次元画像処理プログラムであって、
前記第1のオブジェクトに対して前記第1または第2の視点の少なくとも何れか一方に近い位置に第2のオブジェクトを配置するか否か判断するステップと、
前記判断により前記第2のオブジェクトを配置すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップと
をコンピュータに実行させることを特徴とする3次元画像処理プログラム。
【請求項14】
3次元空間座標が設定された仮想空間内にオブジェクトを配置し、前記3次元空間座標での座標位置が互いに異なる第1の視点と第2の視点を設定し、該第1の視点と第2の視点からそれぞれ第1の投影面と第2の投影面に前記オブジェクトを投影し、該投影による第1および第2の2次元の視差画像を生成する3次元画像処理プログラムであって、
前記第1および第2の二次元の視差画像に告知画像を重畳するか否か判断するステップと、
前記判断により前記告知画像を重畳すると判断した場合、左右眼の視差作用を調整する視差パラメータに基づいて、前記第1の視点と第2の視点の間隔が狭くなる方向に少なくとも何れか一方の視点の座標位置を変更する、及び/又は、前記第1の視点と第2の視点の少なくとも何れか一方の座標位置と前記第1のオブジェクトの座標位置との距離が離れる方向に少なくとも何れか一方の前記座標位置を変更するステップと
をコンピュータに実行させることを特徴とする3次元画像処理プログラム。
【請求項15】
請求項8乃至14のいずれかに記載の3次元画像処理プログラムを格納したコンピュータ読み取り可能な記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【公開番号】特開2012−169790(P2012−169790A)
【公開日】平成24年9月6日(2012.9.6)
【国際特許分類】
【出願番号】特願2011−27916(P2011−27916)
【出願日】平成23年2月10日(2011.2.10)
【出願人】(000132471)株式会社セガ (811)
【Fターム(参考)】
【公開日】平成24年9月6日(2012.9.6)
【国際特許分類】
【出願日】平成23年2月10日(2011.2.10)
【出願人】(000132471)株式会社セガ (811)
【Fターム(参考)】
[ Back to top ]