立体視画像生成方法、その装置、及び立体視画像表示装置
【課題】
立体視画像に透明度の情報を付加して、重ね合わせ処理を施した立体映像に、意図しない境界線のような情報が表示されてしまう場合がある。
【解決手段】
立体視画像をスプライト方式で表示する際に、ディスプレイ上のサブピクセルＰ１〜Ｐ１２ごとに異なる光線方向の情報を割り当てる場合、カラーチャンネル６０、６４のＲＧＢ毎にアルファ情報７０、７２を用意し、ＲＧＢの３つのカラーチャンネルに加えてアルファ情報も３チャンネルで保持し、合計６チャンネルのデータ形式を立体視画像のスプライトとし、各サブピクセルＰ１〜Ｐ１２に対して個別の透明度を保持する。これにより、スプライト方式によるコンテンツ表示において立体映像の画質向上が可能となる。
立体視画像に透明度の情報を付加して、重ね合わせ処理を施した立体映像に、意図しない境界線のような情報が表示されてしまう場合がある。
【解決手段】
立体視画像をスプライト方式で表示する際に、ディスプレイ上のサブピクセルＰ１〜Ｐ１２ごとに異なる光線方向の情報を割り当てる場合、カラーチャンネル６０、６４のＲＧＢ毎にアルファ情報７０、７２を用意し、ＲＧＢの３つのカラーチャンネルに加えてアルファ情報も３チャンネルで保持し、合計６チャンネルのデータ形式を立体視画像のスプライトとし、各サブピクセルＰ１〜Ｐ１２に対して個別の透明度を保持する。これにより、スプライト方式によるコンテンツ表示において立体映像の画質向上が可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のサブピクセルで１ピクセルを構成する形式のフラットパネルディスプレイと光学素子群を組み合わせて構成される立体視画像表示技術に関するものである。
【背景技術】
【０００２】
近年、ユーザが特殊な眼鏡などの装置を身につけなくても立体映像を視聴できる裸眼立体視画像表示装置の研究開発が行われている。この装置の実装方式には様々な種類があり、多方向の情報を統合した立体視画像をディスプレイに表示し、光学素子等を介して立体像を形成する方法に、二眼式・多眼式・空間像方式などがある。二眼式・多眼式はユーザの視点位置の制約があるが、空間像方式は特定の視点位置を想定せず、空間内に像が存在するような光の状態を擬似的に構成するもので、視点位置に対する制約が少ない。
【０００３】
視点数が多い多眼式および空間像方式では、立体視画像を生成するために多方向の情報が必要となるため、ユーザ入力に対してインタラクションを行う立体表示アプリケーションでリアルタイムレンダリングを行う場合には、処理能力の低い立体視画像生成装置では表示内容の更新速度が遅くなるという課題があった。
【０００４】
特許文献１では、二眼式の立体視画像表示装置に関して、あらかじめコンテンツの背景およびキャラクタに対する立体視画像をスプライトとして生成しておき、それらをリアルタイムに重ね合わせることにより立体視画像生成の処理負荷を軽減しながらインタラクティブにキャラクタが動作するコンテンツを実現している。またこの手法を多眼式や、空間像方式の１つであるインテグラルフォトグラフィ（ＩＰ）方式へも適用可能であるとしている。
【０００５】
【特許文献１】特開２００３−６７７８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１のように、ユーザ入力に対してインタラクションを行う立体表示アプリケーションを十分な速度で動作させるために、立体視画像にアルファ情報を付加したものを立体視スプライトとして、スプライト方式を適用する場合、複数のスプライトの重ね合わせを行う際に不要な領域を取り除くために、ＲＧＢ３チャンネルの画像情報に透明度の情報を加えた４チャンネル(Ｒ、Ｇ、Ｂ、アルファ)の画像フォーマットを用いることが一般的である。
【０００７】
しかし、二眼式や多眼式、空間像方式などの立体視表示装置では、ディスプレイのピクセル群を多方向の情報表示に割り当てる際に、表示される立体映像の精細度や色表現などの面で画質を向上するために、精細度（ピクセル密度）が非常に高いディスプレイを用いることに加えて、サブピクセルごとに異なる方向の情報を割り当てる場合がある。
【０００８】
このとき、立体視画像に透明度の情報を付加して４チャンネル(Ｒ、Ｇ、Ｂ、アルファ)のスプライトとして扱うと、重ね合わせ処理を施した立体映像に意図しない境界線のような情報が表示されてしまう場合があるという課題を発見した。
【課題を解決するための手段】
【０００９】
本発明においては、上記の課題を解決するため、立体視画像をスプライト方式で表示する際に、ディスプレイ上のサブピクセルごとに異なる光線方向の情報を割り当てる場合、カラーチャンネル毎にアルファ情報を用意し、ＲＧＢの３つのカラーチャンネルに加えてアルファ情報も３チャンネルで保持し、合計６チャンネルのデータ形式を立体視画像のスプライトとして用いる。
【００１０】
すなわち、上記の課題を解決するため、一つの好適な形態として、制御部と記憶部とを有する画像生成装置における立体視画像生成方法であって、記憶部は、画像を立体的に表示するための立体視画像として、複数のカラーチャンネルの輝度情報、および複数のカラーチャンネル各々に対する複数の透明度情報を記憶しており、制御部は、立体視画像を表示するための制御情報に応じて、記憶部に記憶された、複数のカラーチャンネルの輝度情報と透明度情報を用い、重ね合わせ処理を行う立体視画像生成方法を提供する。
【００１１】
また、他の好適な形態として、立体視画像を生成する立体視画像生成装置であって、制御部と記憶部とを有し、記憶部は、画像を立体的に表示するための立体視画像として、赤（Ｒ）緑（Ｇ）青（Ｂ）の３つのカラーチャンネルの輝度情報、およびカラーチャンネル各々に対応する３つの透明度情報を記憶しており、制御部は、立体視画像を表示するための制御情報に応じて、記憶部に記憶された、カラーチャンネル毎の輝度情報と透明度情報を用い、重ね合わせ処理を行う立体視画像生成装置を提供する。
【００１２】
更に、好適な立体視画像表示装置として、上述の立体視画像生成方法、あるいは、立体視画像生成装置によって生成された立体視画像を表示する、ＲＧＢの３つのサブピクセルで１ピクセルを構成する形式のフラットパネルディスプレイと偏向光学素子群とからなる立体視画像表示装置を提供する。
【発明の効果】
【００１３】
本発明の構成により、ユーザ入力に対してインタラクションを行う立体表示アプリケーションにおいて、スプライト方式によりリアルタイム処理の負荷を軽減しながら、サブピクセル単位の空間分解能を実現し、立体映像の画質を向上することが可能となる。
【発明を実施するための最良の形態】
【００１４】
本発明の実施の形態を図面を用いて説明するに先立ち、本発明の前提となる、インテグラルフォトグラフィ(ＩＰ)方式の立体視画像表示装置と、ＩＰ画像の生成方法、及びＩＰ画像のスプライト（ＩＰスプライト）について図面を用いて説明する。
【００１５】
図１は、空間像方式の１つであるインテグラルフォトグラフィ(ＩＰ)方式の立体視画像表示装置の一模式図である。フラットパネルディスプレイ(ＦＰＤ)１の前面に、光線方向を制御するための多数の小さな凸レンズが並んだレンズアレイ２を配置している。各凸レンズの下には複数のピクセル群３が存在し、各ピクセルが発する光が凸レンズの偏向により放射状に射出されることを用いて、ＦＰＤ１の前方空間における光の状態を制御する。ここでＦＰＤ１上に立体視画像生成装置６から出力された立体視画像(ＩＰ画像)を表示することにより、その空間内に立体物４が存在する場合の光の状態を擬似的に構成し、ユーザ５に立体物４が実在するかのように知覚させることができる。
【００１６】
図２と図３を用いて、横方向の光線方向数を模式的に４とした場合の、コンピュータグラフィクス(ＣＧ)によるＩＰ画像の生成方法を説明する。このＩＰ画像は実写画像から生成することも可能である。
【００１７】
仮想空間７に立体物４のＣＧモデルを配置し、ＦＰＤ１の画面に対応する面８を定義する。さらに、レンズアレイ２を介して放射状に広がる光線の延長線上に対応する位置に、仮想視点Ｖ1〜Ｖ4を設定する。
【００１８】
ＦＰＤ１はＰ1〜Ｐ3のようなＲＧＢの３つのサブピクセルで１ピクセルを構成する方式のディスプレイである。レンズ１０はレンズアレイ２の中のひとつを拡大したものであり、ＩＰ画像１１はＦＰＤ１に表示されるＩＰ画像のうち、レンズ１０の下にあるサブピクセルＰ1〜Ｐ12に表示される部分を示したものである。ＦＰＤ１のサブピクセルＰ1〜Ｐ12から射出される光線は、レンズ１０を介して光線Ｌ1〜Ｌ12のように放射状に広がる。
【００１９】
ＩＰ画像１１は、立体物４のＣＧモデルに対して仮想視点Ｖ1〜Ｖ4からレンダリングした画像２１〜２４を用いて生成される。図３においては、ＩＰ画像１１のサブピクセルＰ1〜Ｐ3の値は、光線Ｌ1〜Ｌ3の延長線に対応する仮想視点Ｖ1からレンダリングした画像２１のピクセルのＲＧＢそれぞれの輝度値Ｐ1〜Ｐ3をコピーする。同様に、ＩＰ画像１１のサブピクセルＰ4〜Ｐ6は、光線Ｌ4〜Ｌ6の延長線に対応する仮想視点Ｖ2からレンダリングした画像２２のＰ4〜Ｐ6の値、ＩＰ画像１１のサブピクセルＰ7〜ＬＰ9は、光線Ｌ7〜Ｌ9の延長線に対応する仮想視点Ｖ3からレンダリングした画像２３のＰ7〜Ｐ9の値、ＩＰ画像１１のサブピクセルＰ10〜Ｐ12は、光線Ｌ10〜Ｌ12の延長線に対応する仮想視点Ｖ4でレンダリングした画像２４のＰ10〜Ｐ12の値となる。画像２１〜２４を用いてレンズアレイ２のすべてのレンズに対して同様の処理を行い、ひとつのＩＰ画像を生成する。
【００２０】
このように生成されたＩＰ画像１１をＦＰＤ１に表示して、観察者５が光線Ｌ1からＬ12の方向に視点位置を動かすと、他のレンズから射出される光も合わせて、順に仮想視点Ｖ1〜Ｖ4でレンダリングした視差を持つ映像を知覚することができる。また、右目と左目が仮想視点Ｖ1からＶ4のうちの異なる２つの視点に対応する光線が入射する位置にあるとき、両眼視差により、立体物４の映像が実在するかのような奥行き方向の立体感を知覚することができる。
【００２１】
空間像方式の立体視画像表示装置では、ＦＰＤ１からレンズ１０を介して放射状に射出される光線の密度が高いほど立体像が鮮明となり、また光線の方向数（サンプリングを行う仮想視点数）が多いほど視差の変化が滑らかになり、立体映像の画質が向上する。図３の場合では、横方向の光線数が１２、光線方向数は４方向となる。
【００２２】
そのため、図４では仮想視点数をＶ1〜Ｖ12に増やし、各仮想視点でレンダリングした画像２１〜２５を用いて、サブピクセルＰ1〜Ｐ12のそれぞれに異なる画像からＲＧＢいずれかの輝度値のみをサブピクセル単位で抽出してコピーすることにより、光線方向数を１２に増やしている。このように、サブピクセルに対して独立に異なる光線方向の情報を割り当てることにより、光線方向数を３倍に増やし、立体映像の画質を向上することができる。
【００２３】
図５はＩＰ画像の生成処理フローである。図４の例のように視点数が増えると、画像２１〜２５の生成処理(ステップＳ１０２)およびＩＰ画像１１への合成処理(ステップＳ１０４)の負荷が高くなるため、ユーザ５からの入力に対してリアルタイムに映像が変化するインタラクティブコンテンツの場合に、毎フレームにステップＳ１００〜Ｓ１０４を行うことが困難となる。
【００２４】
そこで、従来２次元画像のアニメーションやゲームで用いられてきたスプライト方式を立体視画像に用いる。スプライト方式とは、あらかじめ用意しておいた透明度情報を含む画像群（スプライトと呼ぶ）を背景上の適当な位置に重ね合わせて合成することで、表示画像の生成処理を軽減する手法である。
【００２５】
図６において、画像３０〜３２はキャラクタなどのオブジェクト（白い部分）と不要な地の領域（黒い部分）からなるスプライトである。また、画像３６はシーンの背景である。背景画像３６の上に画像３０〜３２を重ね合わせて合成画像３４を生成する。このとき、画像３０〜３２の不要な地の領域を示すために、アルファチャンネルを利用するか、もしくは透過処理を行う色を決めておくことにより透明度の情報を保持し、その領域は下にある画像を透過して表示する。背景画像３６と画像３０〜３２だけでなく、スプライト同士を重ね合わせることも可能である。また、一連の動作アニメーションを複数のスプライトとして用意しておき、背景画像３６上に順次重ね合わせていくことにより、オブジェクトの位置の移動だけでなく、様々な動作のアニメーションを表示することもできる。
【００２６】
また、スプライトが持つアルファ情報は透過と非透過を表す２値だけに限らず、半透明を表す中間値をとることができる。これにより重ね合わせ処理を行う際に、スプライト内で不要となる背景領域を取り除くだけでなく、物体境界のエッジブレンディングを滑らかに行ったり、ガラスや水などの半透明の質感を実現したり、影を落とすなどの効果を加えたりすることができることとなる。
【実施例１】
【００２７】
本発明の第一の実施例として、上述したスプライト方式を用いた画像生成方法、その装置、及び立体画像表示装置の実施例を図７〜図１２を用いて説明する。
【００２８】
ＩＰ画像のような立体視画像の場合に、透明度の情報を付加することにより、スプライト方式を用いて画像生成処理を軽減することができる。図７はスプライト方式を用いた立体視画像生成処理に関する第一の実施例の処理を説明するための図であり、ＩＰ画像形式のスプライト（ＩＰスプライト）の生成処理フローである。
【００２９】
図７において、ステップＳ１１４で透明度の情報を生成する点と、ステップＳ１１８で透明度に対するＩＰ画像を生成してステップＳ１２０でＲＧＢのＩＰ画像と統合する点が、図５のＩＰ画像生成処理と異なる。事前に生成しておいたＩＰスプライト同士や、ＩＰスプライトとアルファ情報を持たないＩＰ画像を重ね合わせることにより、複数のオブジェクトを含む合成ＩＰ画像を生成することが可能である。また、ＩＰスプライトはＦＰＤ１の画面全体に相当する画像サイズである必要はなく、オブジェクトを含む領域のみを切り出した画像サイズで良いため、後で説明する本実施例の立体画像生成装置におけるＩＰスプライトを記憶する記憶部のメモリ容量を節約することもできる。
【００３０】
なお、立体視画像ではないスプライトの場合には、重ね合わせる位置をピクセル単位で自由に調整することができるが、ＩＰスプライトの重ね合わせを行う場合は、画像中のサブピクセルの位置に応じてレンズを介して光線を射出する方向が一意に決まっているため、同じ方向に対応しているサブピクセル同士を重ね合わせなければならず、重ね合わせの位置が制限される。
【００３１】
スプライト方式を用いる立体表示アプリケーションを動作させるためには、事前にコンテンツに含まれるすべてのオブジェクトに対して、必要となるすべての動作アニメーションのＩＰスプライトを、図７のステップＳ１１０〜Ｓ１２０により生成しておく。次にアプリケーションを起動し、リアルタイムにユーザ５からの入力に対するリアクションを示すＩＰスプライトを呼び出して、背景上の適当な位置に重ね合わせて合成ＩＰ画像を生成し、ＦＰＤ１に表示するという処理を繰り返す。この重ね合わせ処理は高速に行うことができるため、アプリケーションのリアルタイム処理が軽減される。
【００３２】
そして、本実施例においては、ＲＧＢ画像のアルファを表す、アルファ画像を生成するステップＳ１１４で、カラーチャンネル毎にこのアルファ画像を生成する。
【００３３】
通常、スプライトのデータ形式は、ＲＧＢの３つのカラーチャンネルに対して透明度を示す１つのアルファチャンネルを持つＰＮＧ（Portable Network Graphics）やＴＧＡ（Truevision Graphics Adapter）などの画像フォーマットが一般的であり、各ピクセルがＲ、Ｇ、Ｂ、アルファの４つの値を持つ。しかし、本実施例におけるＩＰスプライトの場合には、ＦＰＤ１のサブピクセルを最小単位として扱い、重ね合わせもサブピクセル単位で行うこととし、カラーチャンネルと同数のアルファチャンネルを保持する。以下、その理由とその効果を図８〜図１０を用いて説明する。
【００３４】
図８は、上述した一般的なスプライト方式で３チャンネルのカラーチャンネルと１チャンネルのアルファチャンネルというフォーマットのスプライトを重ね合わせる場合の４ピクセル分を例示している。この場合には、スプライトをそれぞれ４チャンネルの画像フォーマットで扱うことが可能である。３チャンネルのカラーチャンネルの値は、ＦＰＤ１上では隣接する３つのサブピクセルに表示される。スプライト８２はカラーチャンネル６１とアルファチャンネル６２からなり、スプライト８４はカラーチャンネル６３とアルファチャンネルが６６からなる。アルファチャンネル６２、６６は白が非透過、斜線が透過を表している。スプライト８２ではサブピクセルＰ1〜Ｐ6の領域が表示すべき領域であり、境界線８０を介したＰ7〜Ｐ12は不要な領域で、対応するアルファ情報Ａ3、Ａ4が透明であることを示している。スプライト８２、８４を重ね合わせた結果のカラーチャンネル６８は、境界線８０をはさみ、スプライト８２、８４の情報が重ね合わされている。このようにして、一般的なスプライト方式ではピクセル単位で重ね合わせを行う。この図８の場合、重ね合わせ処理を施した立体映像に意図しない境界線のような情報が表示されることはない。
【００３５】
次に、図９は図８と同様に３チャンネルのカラーチャンネルと、１チャンネルのアルファチャンネルのスプライトの重ね合わせの場合を説明する。カラーチャンネル６０、６４のデータとしてサブピクセル単位で異なる光線方向を割り当てたＩＰ画像を用いる。このとき、ＩＰスプライト８６において表示すべきオブジェクト領域と不要な領域の境界８０が、同じピクセルのサブピクセルＰ5（Ｇ）とのＰ6（Ｂ）の間に存在しうる。しかし、図９にあって、Ｐ4〜Ｐ6に対して同一のアルファ情報Ａ2を用いてカラーチャンネル６０の値をカラーチャンネル６４の上に重ね合わせると、その結果のカラーチャンネル６８のＰ6がカラーチャンネル６０のＰ6となり、立体映像に意図しない境界線のような情報が表示されてしまうことになる。
【００３６】
そこで、本実施例においては、上述のようなＩＰスプライトにおいて特有に発生する問題を、図７のＳ１１４で、カラーチャンネル毎にアルファ画像を生成し、図１０に示すようにＩＰスプライト９０と９２が、３チャンネルのアルファチャンネル７０と７２を持つようにすることにより解決している。これにより、重ね合わせをサブピクセル単位で行うことができ、結果のカラーチャンネル７４のＰ6にカラーチャンネル６４のＰ6を表示することができる。
【００３７】
なお、３チャンネルのカラーチャンネルと３チャンネルのアルファチャンネルを持つ６チャンネルのＩＰスプライトのフォーマットは、３チャンネルの画像２枚を１組として扱っても良いし、６チャンネルの画像フォーマットを定義して用いても良い。また、６チャンネルとすることでデータ量が増大するが、冗長な情報を多く含むため、何らかの画像圧縮を適用してもよい。また、カラーチャンネルとアルファチャンネルの複数のチャンネル数は３に限定されない。
【００３８】
次に図１１と図１２を用いて、ユーザ入力に対してインタラクションを行う立体表示アプリケーションにおいて、本実施例を適用した、リアルタイムに合成ＩＰ画像の生成処理を行う生成装置、および処理フローの詳細を説明する。
【００３９】
図１１は本実施例の立体視画像生成・表示装置の構成図である。立体視画像表示装置４０は立体視画像生成装置６と立体視画像表示部４４からなる装置で、ディスプレイ付の組み込み機器やパーソナルコンピュータ（ＰＣ）などを想定している。立体視画像生成装置６は通常の中央処理部（Central Processing System, ＣＰＵ）からなる制御部４６と記憶部４８とからなり、入力装置４２からの信号に応じて、制御部の処理により合成ＩＰ画像を生成し、立体視画像表示部４４へ出力する。入力装置４２は、センサやポインティングデバイス、キーボード、ボタンなどのさまざまな入力デバイスであり、立体視画像表示装置４０に含んでいても良いし、外部にあり、図示されない何らかの通信手段で接続しても良い。
【００４０】
制御部４６は種々の立体表示アプリケーションが動作する部分であり、入力装置４２からの信号を処理する入力情報処理部５０と、入力情報および現在の状況に応じて適切な次の動作アニメーションに対応するＩＰスプライトを選択する画像選択部５１と、画像選択部５１で選択されたＩＰスプライトを各ピクセルのカラーチャンネルごとに重ね合わせを行う重ね合わせ処理部５２と、重ね合わせた結果得られた合成ＩＰ画像を立体視画像表示部４４へ出力する画像出力部５３からなる。これらは、通常、先に述べたＣＰＵで実行されるプログラム、アプリケーションで構成される。
【００４１】
また立体画像生成装置６の記憶部４８は、コンテンツに含まれるオブジェクトが画面内のどの位置にあるかを記憶するオブジェクト座標記憶部５４と、入力情報と現在の状況から次の状態への遷移規則を規定したアニメーション遷移規則記憶部５５と、図７のステップＳ１１０〜Ｓ１２０であらかじめ生成されたＩＰスプライトを蓄積するＩＰスプライト記憶部５６と、重ね合わせ処理により合成されたＩＰ画像を記憶する合成ＩＰ画像記憶部５９からなる。
【００４２】
ＩＰスプライト記憶部５６は、図１０に図示したような、３チャンネルのカラーチャンネルの値と３チャンネルのアルファチャンネルの情報とをそれぞれ記憶するＲＧＢ画像記憶部５７とアルファ画像記憶部５８からなる。ＲＧＢ画像記憶部５７とアルファ画像記憶部５８のメモリ領域は、それぞれ独立していても良いし、ＩＰスプライトごとにまとまっていても良い。すべてのＩＰスプライトには、どのオブジェクトのどのアニメーションの何フレーム目のスプライトであるかを示す識別子（ＩＤ）が割り当てられている。
【００４３】
また、立体視画像表示部４４は光線方向制御部６０とＦＰＤ１からなる。光線方向制御部６０は図１に示したレンズアレイ２を用いる場合や、１方向の視差だけを実現するレンチキュラレンズなど、さまざまな光学素子を用いる場合がある。ＦＰＤ１は、液晶ディスプレイや有機ＥＬディスプレイ、プラズマディスプレイなどの、ピクセルがＲＧＢ３つのサブピクセルで構成されるディスプレイを用いる。
【００４４】
次に、図１２は、本実施例における図１１の立体視画像生成装置６において動作する立体表示アプリケーションの処理フローである。アプリケーションが開始されると、画像選択部５１が、コンテンツ内のオブジェクト数と、初期状態における各オブジェクトのＩＰスプライトのＩＤと画面内の表示位置の座標を、アニメーション遷移規則記憶部５５に問い合わせる（ステップＳ２００）。表示位置の座標は、ＦＰＤ１の平面に相当する２次元座標だけでなく、重ね合わせを行う順序の指標となる、画面の奥行き方向の座標も含む。
【００４５】
次に、入力情報処理部５０が入力装置４２からの入力を検出し（ステップＳ２０２）、画像選択部５１が入力情報と現在の各オブジェクトの状態と座標に基づき、アニメーション遷移規則記憶部５５に次の動作に対応するＩＰスプライトのＩＤと座標を問い合わせる（ステップＳ２０４、Ｓ２０６）。次に、重ね合わせ処理部５２が、合成ＩＰ画像の初期値として背景用ＩＰ画像をＩＰスプライト記憶部５６より合成ＩＰ画像記憶部５９に読み込む（ステップＳ２１０）。背景用ＩＰ画像は、ユーザ入力に対して変化しない、画面の奥側に存在するオブジェクトについて生成されたＩＰ画像で、画面の最背面に表示されるため、アルファチャンネルの情報は持たない。
【００４６】
次に、シーンに存在する全オブジェクトに対して重ね合わせ処理を行ったかどうかをチェックし(ステップＳ２１２)、未処理のオブジェクトがあれば、その時点の合成ＩＰ画像を合成ＩＰ画像記憶部５９から読み込み（ステップＳ２１６）、ＩＰ画像選択部５２により指定された、未処理のオブジェクトの中で一番奥側の座標位置となるオブジェクのＩＰスプライトのＩＰ画像（ＲＧＢ）とＩＰ画像（アルファ）をＲＧＢ画像記憶部５７とアルファ画像記憶部５８から順次読み込み（ステップＳ２１８）、上述したように、重ね合わせ処理部５２において、カラーチャンネルごとにＩＰ画像（アルファ）の値を参照してＩＰ画像（ＲＧＢ）を合成ＩＰ画像上に重ね合わせ、合成ＩＰ画像記憶部５９に保存する（ステップＳ２２０）。
【００４７】
すべてのオブジェクトに対して重ね合わせ処理（Ｓ２１６〜Ｓ２２０）が終了したら、最終的な合成ＩＰ画像を画像出力部５３から立体視画像表示部４４へ出力する（ステップＳ２１４）。表示したらステップＳ２０２に戻って繰り返すことにより、ユーザ５からの入力に対してインタラクティブに動作する立体視画像を表示することができる。
【００４８】
重ね合わせ処理（Ｓ２１６〜Ｓ２２０）の処理時間は、３Ｄモデルデータを多視点からレンダリングしてＩＰ画像を生成する処理（ステップＳ１００〜Ｓ１０４）をリアルタイムに行う場合に比べて非常に高速であるため、ユーザ入力に対する表示内容の更新遅延を防ぐことができる。また、サブピクセル単位で重ね合わせを行うことにより滑らかな運動視差を実現し、立体映像の画質向上も実現している。
【００４９】
以上詳述した本発明は、処理性能の低い立体視画像生成装置でも、サブピクセルレベルの分解能を持つ高光線密度の立体映像によるインタラクティブコンテンツの動作を可能にするものである。産業応用としては、ゲームなどのエンタテインメント用途や、携帯端末上のアプリケーション、カーナビゲーション、タッチパネルなど、様々な用途において高画質かつインタラクティブな立体映像を表示し、臨場感やユーザビリティを向上することができる。
【図面の簡単な説明】
【００５０】
【図１】ＩＰ方式の模式図である。
【図２】仮想空間におけるＣＧモデルと仮想視点を示す図である。
【図３】ピクセル単位の光線方向を持つ場合のＩＰ画像の生成方法を示す図である。
【図４】サブピクセル単位の光線方向を持つ場合のＩＰ画像の生成方法を示す図である。
【図５】ＩＰ画像の生成処理を示すフローチャートである。
【図６】スプライト方式の模式図である。
【図７】ＩＰスプライトの生成処理を示すフローチャートである。
【図８】スプライトの生成処理を説明するフローチャートである。
【図９】１チャンネルの透明度を持つ場合のＩＰスプライトの重ね合わせを示す図である。
【図１０】実施例１における３チャンネルの透明度を持つＩＰスプライトの重ね合わせを示す図である。
【図１１】実施例１における立体画像生成装置、及び立体視画像表示装置の構成を示すブロック図である。
【図１２】実施例１におけるインタラクティブコンテンツにおける立体視画像の重ね合わせ処理を示すフローチャートである。
【符号の説明】
【００５１】
１…フラットパネルディスプレイ（ＦＰＤ）
２…レンズアレイ
６…立体視画像生成装置
１０…レンズ
４０…立体視画像表示装置
４４…立体視画像表示部
４６…制御部
４８…記憶部
５６…ＩＰスプライト記憶部
５７…ＲＧＢ情報記憶部
５８…アルファ情報記憶部。
【技術分野】
【０００１】
本発明は、複数のサブピクセルで１ピクセルを構成する形式のフラットパネルディスプレイと光学素子群を組み合わせて構成される立体視画像表示技術に関するものである。
【背景技術】
【０００２】
近年、ユーザが特殊な眼鏡などの装置を身につけなくても立体映像を視聴できる裸眼立体視画像表示装置の研究開発が行われている。この装置の実装方式には様々な種類があり、多方向の情報を統合した立体視画像をディスプレイに表示し、光学素子等を介して立体像を形成する方法に、二眼式・多眼式・空間像方式などがある。二眼式・多眼式はユーザの視点位置の制約があるが、空間像方式は特定の視点位置を想定せず、空間内に像が存在するような光の状態を擬似的に構成するもので、視点位置に対する制約が少ない。
【０００３】
視点数が多い多眼式および空間像方式では、立体視画像を生成するために多方向の情報が必要となるため、ユーザ入力に対してインタラクションを行う立体表示アプリケーションでリアルタイムレンダリングを行う場合には、処理能力の低い立体視画像生成装置では表示内容の更新速度が遅くなるという課題があった。
【０００４】
特許文献１では、二眼式の立体視画像表示装置に関して、あらかじめコンテンツの背景およびキャラクタに対する立体視画像をスプライトとして生成しておき、それらをリアルタイムに重ね合わせることにより立体視画像生成の処理負荷を軽減しながらインタラクティブにキャラクタが動作するコンテンツを実現している。またこの手法を多眼式や、空間像方式の１つであるインテグラルフォトグラフィ（ＩＰ）方式へも適用可能であるとしている。
【０００５】
【特許文献１】特開２００３−６７７８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１のように、ユーザ入力に対してインタラクションを行う立体表示アプリケーションを十分な速度で動作させるために、立体視画像にアルファ情報を付加したものを立体視スプライトとして、スプライト方式を適用する場合、複数のスプライトの重ね合わせを行う際に不要な領域を取り除くために、ＲＧＢ３チャンネルの画像情報に透明度の情報を加えた４チャンネル(Ｒ、Ｇ、Ｂ、アルファ)の画像フォーマットを用いることが一般的である。
【０００７】
しかし、二眼式や多眼式、空間像方式などの立体視表示装置では、ディスプレイのピクセル群を多方向の情報表示に割り当てる際に、表示される立体映像の精細度や色表現などの面で画質を向上するために、精細度（ピクセル密度）が非常に高いディスプレイを用いることに加えて、サブピクセルごとに異なる方向の情報を割り当てる場合がある。
【０００８】
このとき、立体視画像に透明度の情報を付加して４チャンネル(Ｒ、Ｇ、Ｂ、アルファ)のスプライトとして扱うと、重ね合わせ処理を施した立体映像に意図しない境界線のような情報が表示されてしまう場合があるという課題を発見した。
【課題を解決するための手段】
【０００９】
本発明においては、上記の課題を解決するため、立体視画像をスプライト方式で表示する際に、ディスプレイ上のサブピクセルごとに異なる光線方向の情報を割り当てる場合、カラーチャンネル毎にアルファ情報を用意し、ＲＧＢの３つのカラーチャンネルに加えてアルファ情報も３チャンネルで保持し、合計６チャンネルのデータ形式を立体視画像のスプライトとして用いる。
【００１０】
すなわち、上記の課題を解決するため、一つの好適な形態として、制御部と記憶部とを有する画像生成装置における立体視画像生成方法であって、記憶部は、画像を立体的に表示するための立体視画像として、複数のカラーチャンネルの輝度情報、および複数のカラーチャンネル各々に対する複数の透明度情報を記憶しており、制御部は、立体視画像を表示するための制御情報に応じて、記憶部に記憶された、複数のカラーチャンネルの輝度情報と透明度情報を用い、重ね合わせ処理を行う立体視画像生成方法を提供する。
【００１１】
また、他の好適な形態として、立体視画像を生成する立体視画像生成装置であって、制御部と記憶部とを有し、記憶部は、画像を立体的に表示するための立体視画像として、赤（Ｒ）緑（Ｇ）青（Ｂ）の３つのカラーチャンネルの輝度情報、およびカラーチャンネル各々に対応する３つの透明度情報を記憶しており、制御部は、立体視画像を表示するための制御情報に応じて、記憶部に記憶された、カラーチャンネル毎の輝度情報と透明度情報を用い、重ね合わせ処理を行う立体視画像生成装置を提供する。
【００１２】
更に、好適な立体視画像表示装置として、上述の立体視画像生成方法、あるいは、立体視画像生成装置によって生成された立体視画像を表示する、ＲＧＢの３つのサブピクセルで１ピクセルを構成する形式のフラットパネルディスプレイと偏向光学素子群とからなる立体視画像表示装置を提供する。
【発明の効果】
【００１３】
本発明の構成により、ユーザ入力に対してインタラクションを行う立体表示アプリケーションにおいて、スプライト方式によりリアルタイム処理の負荷を軽減しながら、サブピクセル単位の空間分解能を実現し、立体映像の画質を向上することが可能となる。
【発明を実施するための最良の形態】
【００１４】
本発明の実施の形態を図面を用いて説明するに先立ち、本発明の前提となる、インテグラルフォトグラフィ(ＩＰ)方式の立体視画像表示装置と、ＩＰ画像の生成方法、及びＩＰ画像のスプライト（ＩＰスプライト）について図面を用いて説明する。
【００１５】
図１は、空間像方式の１つであるインテグラルフォトグラフィ(ＩＰ)方式の立体視画像表示装置の一模式図である。フラットパネルディスプレイ(ＦＰＤ)１の前面に、光線方向を制御するための多数の小さな凸レンズが並んだレンズアレイ２を配置している。各凸レンズの下には複数のピクセル群３が存在し、各ピクセルが発する光が凸レンズの偏向により放射状に射出されることを用いて、ＦＰＤ１の前方空間における光の状態を制御する。ここでＦＰＤ１上に立体視画像生成装置６から出力された立体視画像(ＩＰ画像)を表示することにより、その空間内に立体物４が存在する場合の光の状態を擬似的に構成し、ユーザ５に立体物４が実在するかのように知覚させることができる。
【００１６】
図２と図３を用いて、横方向の光線方向数を模式的に４とした場合の、コンピュータグラフィクス(ＣＧ)によるＩＰ画像の生成方法を説明する。このＩＰ画像は実写画像から生成することも可能である。
【００１７】
仮想空間７に立体物４のＣＧモデルを配置し、ＦＰＤ１の画面に対応する面８を定義する。さらに、レンズアレイ２を介して放射状に広がる光線の延長線上に対応する位置に、仮想視点Ｖ1〜Ｖ4を設定する。
【００１８】
ＦＰＤ１はＰ1〜Ｐ3のようなＲＧＢの３つのサブピクセルで１ピクセルを構成する方式のディスプレイである。レンズ１０はレンズアレイ２の中のひとつを拡大したものであり、ＩＰ画像１１はＦＰＤ１に表示されるＩＰ画像のうち、レンズ１０の下にあるサブピクセルＰ1〜Ｐ12に表示される部分を示したものである。ＦＰＤ１のサブピクセルＰ1〜Ｐ12から射出される光線は、レンズ１０を介して光線Ｌ1〜Ｌ12のように放射状に広がる。
【００１９】
ＩＰ画像１１は、立体物４のＣＧモデルに対して仮想視点Ｖ1〜Ｖ4からレンダリングした画像２１〜２４を用いて生成される。図３においては、ＩＰ画像１１のサブピクセルＰ1〜Ｐ3の値は、光線Ｌ1〜Ｌ3の延長線に対応する仮想視点Ｖ1からレンダリングした画像２１のピクセルのＲＧＢそれぞれの輝度値Ｐ1〜Ｐ3をコピーする。同様に、ＩＰ画像１１のサブピクセルＰ4〜Ｐ6は、光線Ｌ4〜Ｌ6の延長線に対応する仮想視点Ｖ2からレンダリングした画像２２のＰ4〜Ｐ6の値、ＩＰ画像１１のサブピクセルＰ7〜ＬＰ9は、光線Ｌ7〜Ｌ9の延長線に対応する仮想視点Ｖ3からレンダリングした画像２３のＰ7〜Ｐ9の値、ＩＰ画像１１のサブピクセルＰ10〜Ｐ12は、光線Ｌ10〜Ｌ12の延長線に対応する仮想視点Ｖ4でレンダリングした画像２４のＰ10〜Ｐ12の値となる。画像２１〜２４を用いてレンズアレイ２のすべてのレンズに対して同様の処理を行い、ひとつのＩＰ画像を生成する。
【００２０】
このように生成されたＩＰ画像１１をＦＰＤ１に表示して、観察者５が光線Ｌ1からＬ12の方向に視点位置を動かすと、他のレンズから射出される光も合わせて、順に仮想視点Ｖ1〜Ｖ4でレンダリングした視差を持つ映像を知覚することができる。また、右目と左目が仮想視点Ｖ1からＶ4のうちの異なる２つの視点に対応する光線が入射する位置にあるとき、両眼視差により、立体物４の映像が実在するかのような奥行き方向の立体感を知覚することができる。
【００２１】
空間像方式の立体視画像表示装置では、ＦＰＤ１からレンズ１０を介して放射状に射出される光線の密度が高いほど立体像が鮮明となり、また光線の方向数（サンプリングを行う仮想視点数）が多いほど視差の変化が滑らかになり、立体映像の画質が向上する。図３の場合では、横方向の光線数が１２、光線方向数は４方向となる。
【００２２】
そのため、図４では仮想視点数をＶ1〜Ｖ12に増やし、各仮想視点でレンダリングした画像２１〜２５を用いて、サブピクセルＰ1〜Ｐ12のそれぞれに異なる画像からＲＧＢいずれかの輝度値のみをサブピクセル単位で抽出してコピーすることにより、光線方向数を１２に増やしている。このように、サブピクセルに対して独立に異なる光線方向の情報を割り当てることにより、光線方向数を３倍に増やし、立体映像の画質を向上することができる。
【００２３】
図５はＩＰ画像の生成処理フローである。図４の例のように視点数が増えると、画像２１〜２５の生成処理(ステップＳ１０２)およびＩＰ画像１１への合成処理(ステップＳ１０４)の負荷が高くなるため、ユーザ５からの入力に対してリアルタイムに映像が変化するインタラクティブコンテンツの場合に、毎フレームにステップＳ１００〜Ｓ１０４を行うことが困難となる。
【００２４】
そこで、従来２次元画像のアニメーションやゲームで用いられてきたスプライト方式を立体視画像に用いる。スプライト方式とは、あらかじめ用意しておいた透明度情報を含む画像群（スプライトと呼ぶ）を背景上の適当な位置に重ね合わせて合成することで、表示画像の生成処理を軽減する手法である。
【００２５】
図６において、画像３０〜３２はキャラクタなどのオブジェクト（白い部分）と不要な地の領域（黒い部分）からなるスプライトである。また、画像３６はシーンの背景である。背景画像３６の上に画像３０〜３２を重ね合わせて合成画像３４を生成する。このとき、画像３０〜３２の不要な地の領域を示すために、アルファチャンネルを利用するか、もしくは透過処理を行う色を決めておくことにより透明度の情報を保持し、その領域は下にある画像を透過して表示する。背景画像３６と画像３０〜３２だけでなく、スプライト同士を重ね合わせることも可能である。また、一連の動作アニメーションを複数のスプライトとして用意しておき、背景画像３６上に順次重ね合わせていくことにより、オブジェクトの位置の移動だけでなく、様々な動作のアニメーションを表示することもできる。
【００２６】
また、スプライトが持つアルファ情報は透過と非透過を表す２値だけに限らず、半透明を表す中間値をとることができる。これにより重ね合わせ処理を行う際に、スプライト内で不要となる背景領域を取り除くだけでなく、物体境界のエッジブレンディングを滑らかに行ったり、ガラスや水などの半透明の質感を実現したり、影を落とすなどの効果を加えたりすることができることとなる。
【実施例１】
【００２７】
本発明の第一の実施例として、上述したスプライト方式を用いた画像生成方法、その装置、及び立体画像表示装置の実施例を図７〜図１２を用いて説明する。
【００２８】
ＩＰ画像のような立体視画像の場合に、透明度の情報を付加することにより、スプライト方式を用いて画像生成処理を軽減することができる。図７はスプライト方式を用いた立体視画像生成処理に関する第一の実施例の処理を説明するための図であり、ＩＰ画像形式のスプライト（ＩＰスプライト）の生成処理フローである。
【００２９】
図７において、ステップＳ１１４で透明度の情報を生成する点と、ステップＳ１１８で透明度に対するＩＰ画像を生成してステップＳ１２０でＲＧＢのＩＰ画像と統合する点が、図５のＩＰ画像生成処理と異なる。事前に生成しておいたＩＰスプライト同士や、ＩＰスプライトとアルファ情報を持たないＩＰ画像を重ね合わせることにより、複数のオブジェクトを含む合成ＩＰ画像を生成することが可能である。また、ＩＰスプライトはＦＰＤ１の画面全体に相当する画像サイズである必要はなく、オブジェクトを含む領域のみを切り出した画像サイズで良いため、後で説明する本実施例の立体画像生成装置におけるＩＰスプライトを記憶する記憶部のメモリ容量を節約することもできる。
【００３０】
なお、立体視画像ではないスプライトの場合には、重ね合わせる位置をピクセル単位で自由に調整することができるが、ＩＰスプライトの重ね合わせを行う場合は、画像中のサブピクセルの位置に応じてレンズを介して光線を射出する方向が一意に決まっているため、同じ方向に対応しているサブピクセル同士を重ね合わせなければならず、重ね合わせの位置が制限される。
【００３１】
スプライト方式を用いる立体表示アプリケーションを動作させるためには、事前にコンテンツに含まれるすべてのオブジェクトに対して、必要となるすべての動作アニメーションのＩＰスプライトを、図７のステップＳ１１０〜Ｓ１２０により生成しておく。次にアプリケーションを起動し、リアルタイムにユーザ５からの入力に対するリアクションを示すＩＰスプライトを呼び出して、背景上の適当な位置に重ね合わせて合成ＩＰ画像を生成し、ＦＰＤ１に表示するという処理を繰り返す。この重ね合わせ処理は高速に行うことができるため、アプリケーションのリアルタイム処理が軽減される。
【００３２】
そして、本実施例においては、ＲＧＢ画像のアルファを表す、アルファ画像を生成するステップＳ１１４で、カラーチャンネル毎にこのアルファ画像を生成する。
【００３３】
通常、スプライトのデータ形式は、ＲＧＢの３つのカラーチャンネルに対して透明度を示す１つのアルファチャンネルを持つＰＮＧ（Portable Network Graphics）やＴＧＡ（Truevision Graphics Adapter）などの画像フォーマットが一般的であり、各ピクセルがＲ、Ｇ、Ｂ、アルファの４つの値を持つ。しかし、本実施例におけるＩＰスプライトの場合には、ＦＰＤ１のサブピクセルを最小単位として扱い、重ね合わせもサブピクセル単位で行うこととし、カラーチャンネルと同数のアルファチャンネルを保持する。以下、その理由とその効果を図８〜図１０を用いて説明する。
【００３４】
図８は、上述した一般的なスプライト方式で３チャンネルのカラーチャンネルと１チャンネルのアルファチャンネルというフォーマットのスプライトを重ね合わせる場合の４ピクセル分を例示している。この場合には、スプライトをそれぞれ４チャンネルの画像フォーマットで扱うことが可能である。３チャンネルのカラーチャンネルの値は、ＦＰＤ１上では隣接する３つのサブピクセルに表示される。スプライト８２はカラーチャンネル６１とアルファチャンネル６２からなり、スプライト８４はカラーチャンネル６３とアルファチャンネルが６６からなる。アルファチャンネル６２、６６は白が非透過、斜線が透過を表している。スプライト８２ではサブピクセルＰ1〜Ｐ6の領域が表示すべき領域であり、境界線８０を介したＰ7〜Ｐ12は不要な領域で、対応するアルファ情報Ａ3、Ａ4が透明であることを示している。スプライト８２、８４を重ね合わせた結果のカラーチャンネル６８は、境界線８０をはさみ、スプライト８２、８４の情報が重ね合わされている。このようにして、一般的なスプライト方式ではピクセル単位で重ね合わせを行う。この図８の場合、重ね合わせ処理を施した立体映像に意図しない境界線のような情報が表示されることはない。
【００３５】
次に、図９は図８と同様に３チャンネルのカラーチャンネルと、１チャンネルのアルファチャンネルのスプライトの重ね合わせの場合を説明する。カラーチャンネル６０、６４のデータとしてサブピクセル単位で異なる光線方向を割り当てたＩＰ画像を用いる。このとき、ＩＰスプライト８６において表示すべきオブジェクト領域と不要な領域の境界８０が、同じピクセルのサブピクセルＰ5（Ｇ）とのＰ6（Ｂ）の間に存在しうる。しかし、図９にあって、Ｐ4〜Ｐ6に対して同一のアルファ情報Ａ2を用いてカラーチャンネル６０の値をカラーチャンネル６４の上に重ね合わせると、その結果のカラーチャンネル６８のＰ6がカラーチャンネル６０のＰ6となり、立体映像に意図しない境界線のような情報が表示されてしまうことになる。
【００３６】
そこで、本実施例においては、上述のようなＩＰスプライトにおいて特有に発生する問題を、図７のＳ１１４で、カラーチャンネル毎にアルファ画像を生成し、図１０に示すようにＩＰスプライト９０と９２が、３チャンネルのアルファチャンネル７０と７２を持つようにすることにより解決している。これにより、重ね合わせをサブピクセル単位で行うことができ、結果のカラーチャンネル７４のＰ6にカラーチャンネル６４のＰ6を表示することができる。
【００３７】
なお、３チャンネルのカラーチャンネルと３チャンネルのアルファチャンネルを持つ６チャンネルのＩＰスプライトのフォーマットは、３チャンネルの画像２枚を１組として扱っても良いし、６チャンネルの画像フォーマットを定義して用いても良い。また、６チャンネルとすることでデータ量が増大するが、冗長な情報を多く含むため、何らかの画像圧縮を適用してもよい。また、カラーチャンネルとアルファチャンネルの複数のチャンネル数は３に限定されない。
【００３８】
次に図１１と図１２を用いて、ユーザ入力に対してインタラクションを行う立体表示アプリケーションにおいて、本実施例を適用した、リアルタイムに合成ＩＰ画像の生成処理を行う生成装置、および処理フローの詳細を説明する。
【００３９】
図１１は本実施例の立体視画像生成・表示装置の構成図である。立体視画像表示装置４０は立体視画像生成装置６と立体視画像表示部４４からなる装置で、ディスプレイ付の組み込み機器やパーソナルコンピュータ（ＰＣ）などを想定している。立体視画像生成装置６は通常の中央処理部（Central Processing System, ＣＰＵ）からなる制御部４６と記憶部４８とからなり、入力装置４２からの信号に応じて、制御部の処理により合成ＩＰ画像を生成し、立体視画像表示部４４へ出力する。入力装置４２は、センサやポインティングデバイス、キーボード、ボタンなどのさまざまな入力デバイスであり、立体視画像表示装置４０に含んでいても良いし、外部にあり、図示されない何らかの通信手段で接続しても良い。
【００４０】
制御部４６は種々の立体表示アプリケーションが動作する部分であり、入力装置４２からの信号を処理する入力情報処理部５０と、入力情報および現在の状況に応じて適切な次の動作アニメーションに対応するＩＰスプライトを選択する画像選択部５１と、画像選択部５１で選択されたＩＰスプライトを各ピクセルのカラーチャンネルごとに重ね合わせを行う重ね合わせ処理部５２と、重ね合わせた結果得られた合成ＩＰ画像を立体視画像表示部４４へ出力する画像出力部５３からなる。これらは、通常、先に述べたＣＰＵで実行されるプログラム、アプリケーションで構成される。
【００４１】
また立体画像生成装置６の記憶部４８は、コンテンツに含まれるオブジェクトが画面内のどの位置にあるかを記憶するオブジェクト座標記憶部５４と、入力情報と現在の状況から次の状態への遷移規則を規定したアニメーション遷移規則記憶部５５と、図７のステップＳ１１０〜Ｓ１２０であらかじめ生成されたＩＰスプライトを蓄積するＩＰスプライト記憶部５６と、重ね合わせ処理により合成されたＩＰ画像を記憶する合成ＩＰ画像記憶部５９からなる。
【００４２】
ＩＰスプライト記憶部５６は、図１０に図示したような、３チャンネルのカラーチャンネルの値と３チャンネルのアルファチャンネルの情報とをそれぞれ記憶するＲＧＢ画像記憶部５７とアルファ画像記憶部５８からなる。ＲＧＢ画像記憶部５７とアルファ画像記憶部５８のメモリ領域は、それぞれ独立していても良いし、ＩＰスプライトごとにまとまっていても良い。すべてのＩＰスプライトには、どのオブジェクトのどのアニメーションの何フレーム目のスプライトであるかを示す識別子（ＩＤ）が割り当てられている。
【００４３】
また、立体視画像表示部４４は光線方向制御部６０とＦＰＤ１からなる。光線方向制御部６０は図１に示したレンズアレイ２を用いる場合や、１方向の視差だけを実現するレンチキュラレンズなど、さまざまな光学素子を用いる場合がある。ＦＰＤ１は、液晶ディスプレイや有機ＥＬディスプレイ、プラズマディスプレイなどの、ピクセルがＲＧＢ３つのサブピクセルで構成されるディスプレイを用いる。
【００４４】
次に、図１２は、本実施例における図１１の立体視画像生成装置６において動作する立体表示アプリケーションの処理フローである。アプリケーションが開始されると、画像選択部５１が、コンテンツ内のオブジェクト数と、初期状態における各オブジェクトのＩＰスプライトのＩＤと画面内の表示位置の座標を、アニメーション遷移規則記憶部５５に問い合わせる（ステップＳ２００）。表示位置の座標は、ＦＰＤ１の平面に相当する２次元座標だけでなく、重ね合わせを行う順序の指標となる、画面の奥行き方向の座標も含む。
【００４５】
次に、入力情報処理部５０が入力装置４２からの入力を検出し（ステップＳ２０２）、画像選択部５１が入力情報と現在の各オブジェクトの状態と座標に基づき、アニメーション遷移規則記憶部５５に次の動作に対応するＩＰスプライトのＩＤと座標を問い合わせる（ステップＳ２０４、Ｓ２０６）。次に、重ね合わせ処理部５２が、合成ＩＰ画像の初期値として背景用ＩＰ画像をＩＰスプライト記憶部５６より合成ＩＰ画像記憶部５９に読み込む（ステップＳ２１０）。背景用ＩＰ画像は、ユーザ入力に対して変化しない、画面の奥側に存在するオブジェクトについて生成されたＩＰ画像で、画面の最背面に表示されるため、アルファチャンネルの情報は持たない。
【００４６】
次に、シーンに存在する全オブジェクトに対して重ね合わせ処理を行ったかどうかをチェックし(ステップＳ２１２)、未処理のオブジェクトがあれば、その時点の合成ＩＰ画像を合成ＩＰ画像記憶部５９から読み込み（ステップＳ２１６）、ＩＰ画像選択部５２により指定された、未処理のオブジェクトの中で一番奥側の座標位置となるオブジェクのＩＰスプライトのＩＰ画像（ＲＧＢ）とＩＰ画像（アルファ）をＲＧＢ画像記憶部５７とアルファ画像記憶部５８から順次読み込み（ステップＳ２１８）、上述したように、重ね合わせ処理部５２において、カラーチャンネルごとにＩＰ画像（アルファ）の値を参照してＩＰ画像（ＲＧＢ）を合成ＩＰ画像上に重ね合わせ、合成ＩＰ画像記憶部５９に保存する（ステップＳ２２０）。
【００４７】
すべてのオブジェクトに対して重ね合わせ処理（Ｓ２１６〜Ｓ２２０）が終了したら、最終的な合成ＩＰ画像を画像出力部５３から立体視画像表示部４４へ出力する（ステップＳ２１４）。表示したらステップＳ２０２に戻って繰り返すことにより、ユーザ５からの入力に対してインタラクティブに動作する立体視画像を表示することができる。
【００４８】
重ね合わせ処理（Ｓ２１６〜Ｓ２２０）の処理時間は、３Ｄモデルデータを多視点からレンダリングしてＩＰ画像を生成する処理（ステップＳ１００〜Ｓ１０４）をリアルタイムに行う場合に比べて非常に高速であるため、ユーザ入力に対する表示内容の更新遅延を防ぐことができる。また、サブピクセル単位で重ね合わせを行うことにより滑らかな運動視差を実現し、立体映像の画質向上も実現している。
【００４９】
以上詳述した本発明は、処理性能の低い立体視画像生成装置でも、サブピクセルレベルの分解能を持つ高光線密度の立体映像によるインタラクティブコンテンツの動作を可能にするものである。産業応用としては、ゲームなどのエンタテインメント用途や、携帯端末上のアプリケーション、カーナビゲーション、タッチパネルなど、様々な用途において高画質かつインタラクティブな立体映像を表示し、臨場感やユーザビリティを向上することができる。
【図面の簡単な説明】
【００５０】
【図１】ＩＰ方式の模式図である。
【図２】仮想空間におけるＣＧモデルと仮想視点を示す図である。
【図３】ピクセル単位の光線方向を持つ場合のＩＰ画像の生成方法を示す図である。
【図４】サブピクセル単位の光線方向を持つ場合のＩＰ画像の生成方法を示す図である。
【図５】ＩＰ画像の生成処理を示すフローチャートである。
【図６】スプライト方式の模式図である。
【図７】ＩＰスプライトの生成処理を示すフローチャートである。
【図８】スプライトの生成処理を説明するフローチャートである。
【図９】１チャンネルの透明度を持つ場合のＩＰスプライトの重ね合わせを示す図である。
【図１０】実施例１における３チャンネルの透明度を持つＩＰスプライトの重ね合わせを示す図である。
【図１１】実施例１における立体画像生成装置、及び立体視画像表示装置の構成を示すブロック図である。
【図１２】実施例１におけるインタラクティブコンテンツにおける立体視画像の重ね合わせ処理を示すフローチャートである。
【符号の説明】
【００５１】
１…フラットパネルディスプレイ（ＦＰＤ）
２…レンズアレイ
６…立体視画像生成装置
１０…レンズ
４０…立体視画像表示装置
４４…立体視画像表示部
４６…制御部
４８…記憶部
５６…ＩＰスプライト記憶部
５７…ＲＧＢ情報記憶部
５８…アルファ情報記憶部。
【特許請求の範囲】
【請求項１】
制御部と記憶部とを有する画像生成装置における立体視画像生成方法であって、
前記記憶部は、画像を立体的に表示するための立体視画像として、複数のカラーチャンネルの輝度情報、および前記複数のカラーチャンネル各々に対する複数の透明度情報を記憶しており、
前記制御部は、前記立体視画像を表示するための制御情報に応じて、前記記憶部に記憶された、前記カラーチャンネルの前記輝度情報と前記透明度情報を用い、重ね合わせ処理を行う、
ことを特徴とする立体視画像生成方法。
【請求項２】
請求項１に記載の立体視画像生成方法であって、
前記複数のカラーチャンネルは、赤（Ｒ）緑（Ｇ）青（Ｂ）の３つのチャンネルである、
ことを特徴とする立体視画像生成方法。
【請求項３】
請求項１に記載の立体視画像生成方法であって、
前記複数のカラーチャンネルの前記輝度情報と前記透明情報は、インテグラルフォトグラフィ形式のスプライト(ＩＰスプライト)である、
ことを特徴とする立体視画像生成方法。
【請求項４】
請求項１に記載の立体視画像生成方法であって、
前記複数のカラーチャンネルの前記輝度情報及び前記透明情報は、オブジェクトの相異なる複数の視点からの画像に対応する、
ことを特徴とする立体視画像生成方法。
【請求項５】
立体視画像を生成する立体視画像生成装置であって、
制御部と記憶部とを有し、
前記記憶部は、画像を立体的に表示するための立体視画像として、赤（Ｒ）緑（Ｇ）青（Ｂ）の３つのカラーチャンネルの輝度情報、および前記カラーチャンネル各々に対応する３つの透明度情報を記憶しており、
前記制御部は、前記立体視画像を表示するための制御情報に応じて、前記記憶部に記憶された、前記カラーチャンネル毎の前記輝度情報と前記透明度情報を用い、重ね合わせ処理を行う、
ことを特徴とする立体視画像生成装置。
【請求項６】
請求項５に記載の立体視画像生成装置であって、
前記３つのカラーチャンネルの前記輝度情報と前記透明情報は、インテグラルフォトグラフィ形式のスプライト(ＩＰスプライト)である、
ことを特徴とする立体視画像生成装置。
【請求項７】
請求項６に記載の立体視画像生成装置であって、
前記制御部は、
入力情報に基づき、前記記憶部から前記ＩＰスプライトを選択する画像選択部と、
前記画像選択部で選択された前記ＩＰスプライトを、前記カラーチャンネル毎に重ね合わせして合成ＩＰ画像を得る重ね合わせ処理部と、
前記重ね合わせ処理部によって得られた前記合成ＩＰ画像を出力する画像出力部と、
を有することを特徴とする立体視画像生成装置。
【請求項８】
立体視画像を表示する立体視画像表示装置であって、
制御部と記憶部とを有し、
前記記憶部は、画像を立体的に表示するため、赤（Ｒ）緑（Ｇ）青（Ｂ）の３つのカラーチャンネルの輝度情報および各チャンネルに対応する３チャンネルの透明度情報を保持しており、
前記制御部は、
立体視画像を表示するためのアプリケーションの制御情報に応じて、前記カラーチャンネルごとに前記輝度情報及び透明度情報を用いた重ね合わせ処理を行い、前記立体視画像を生成する立体視画像生成装置と、
前記立体視画像生成装置が生成した前記立体視画像を表示する立体視画像表示部と、
からなることを特徴とする立体視画像表示装置。
【請求項９】
請求項８に記載の立体視画像表示装置であって、
前記立体視画像生成装置における、前記３つのカラーチャンネルの前記輝度情報と前記透明情報は、インテグラルフォトグラフィ形式のスプライト(ＩＰスプライト)である、
ことを特徴とする立体視画像表示装置。
【請求項１０】
請求項９に記載の立体視画像表示装置であって、
前記立体視画像表示部は、
生成された前記立体視画像を表示する、ＲＧＢの３つのサブピクセルで１ピクセルを構成する形式のフラットパネルディスプレイと、
偏向光学素子群とからなる、
ことを特徴とする立体視画像表示装置。
【請求項１】
制御部と記憶部とを有する画像生成装置における立体視画像生成方法であって、
前記記憶部は、画像を立体的に表示するための立体視画像として、複数のカラーチャンネルの輝度情報、および前記複数のカラーチャンネル各々に対する複数の透明度情報を記憶しており、
前記制御部は、前記立体視画像を表示するための制御情報に応じて、前記記憶部に記憶された、前記カラーチャンネルの前記輝度情報と前記透明度情報を用い、重ね合わせ処理を行う、
ことを特徴とする立体視画像生成方法。
【請求項２】
請求項１に記載の立体視画像生成方法であって、
前記複数のカラーチャンネルは、赤（Ｒ）緑（Ｇ）青（Ｂ）の３つのチャンネルである、
ことを特徴とする立体視画像生成方法。
【請求項３】
請求項１に記載の立体視画像生成方法であって、
前記複数のカラーチャンネルの前記輝度情報と前記透明情報は、インテグラルフォトグラフィ形式のスプライト(ＩＰスプライト)である、
ことを特徴とする立体視画像生成方法。
【請求項４】
請求項１に記載の立体視画像生成方法であって、
前記複数のカラーチャンネルの前記輝度情報及び前記透明情報は、オブジェクトの相異なる複数の視点からの画像に対応する、
ことを特徴とする立体視画像生成方法。
【請求項５】
立体視画像を生成する立体視画像生成装置であって、
制御部と記憶部とを有し、
前記記憶部は、画像を立体的に表示するための立体視画像として、赤（Ｒ）緑（Ｇ）青（Ｂ）の３つのカラーチャンネルの輝度情報、および前記カラーチャンネル各々に対応する３つの透明度情報を記憶しており、
前記制御部は、前記立体視画像を表示するための制御情報に応じて、前記記憶部に記憶された、前記カラーチャンネル毎の前記輝度情報と前記透明度情報を用い、重ね合わせ処理を行う、
ことを特徴とする立体視画像生成装置。
【請求項６】
請求項５に記載の立体視画像生成装置であって、
前記３つのカラーチャンネルの前記輝度情報と前記透明情報は、インテグラルフォトグラフィ形式のスプライト(ＩＰスプライト)である、
ことを特徴とする立体視画像生成装置。
【請求項７】
請求項６に記載の立体視画像生成装置であって、
前記制御部は、
入力情報に基づき、前記記憶部から前記ＩＰスプライトを選択する画像選択部と、
前記画像選択部で選択された前記ＩＰスプライトを、前記カラーチャンネル毎に重ね合わせして合成ＩＰ画像を得る重ね合わせ処理部と、
前記重ね合わせ処理部によって得られた前記合成ＩＰ画像を出力する画像出力部と、
を有することを特徴とする立体視画像生成装置。
【請求項８】
立体視画像を表示する立体視画像表示装置であって、
制御部と記憶部とを有し、
前記記憶部は、画像を立体的に表示するため、赤（Ｒ）緑（Ｇ）青（Ｂ）の３つのカラーチャンネルの輝度情報および各チャンネルに対応する３チャンネルの透明度情報を保持しており、
前記制御部は、
立体視画像を表示するためのアプリケーションの制御情報に応じて、前記カラーチャンネルごとに前記輝度情報及び透明度情報を用いた重ね合わせ処理を行い、前記立体視画像を生成する立体視画像生成装置と、
前記立体視画像生成装置が生成した前記立体視画像を表示する立体視画像表示部と、
からなることを特徴とする立体視画像表示装置。
【請求項９】
請求項８に記載の立体視画像表示装置であって、
前記立体視画像生成装置における、前記３つのカラーチャンネルの前記輝度情報と前記透明情報は、インテグラルフォトグラフィ形式のスプライト(ＩＰスプライト)である、
ことを特徴とする立体視画像表示装置。
【請求項１０】
請求項９に記載の立体視画像表示装置であって、
前記立体視画像表示部は、
生成された前記立体視画像を表示する、ＲＧＢの３つのサブピクセルで１ピクセルを構成する形式のフラットパネルディスプレイと、
偏向光学素子群とからなる、
ことを特徴とする立体視画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１４７５０８（Ｐ２００９−１４７５０８Ａ）
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願番号】特願２００７−３２０７３８（Ｐ２００７−３２０７３８）
【出願日】平成１９年１２月１２日（２００７．１２．１２）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２１年７月２日（２００９．７．２）
【国際特許分類】
【出願日】平成１９年１２月１２日（２００７．１２．１２）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]