立体画像描画装置および描画方法
【課題】遠景と近景の両方の画質劣化を防ぐことを可能にする。
【解決手段】データ記憶部１の画像メモリから、遠景ボード描画部４、および中景画像描画部５、および近景ボード描画部６によって描画された複数毎の投影画像を読み出して、画素配列を並べ替えて立体表示可能な形式の画像に変換し、データ記憶部１に書き込む画素配列変換部７と、画素配列変換部７によって作成された立体表示可能な形式の画像をデータ記憶部１から読み出して、観察者に提示するための提示手段８とを備え、予め作成しておいた遠景と近景の２枚の単視点画像を多視点画像に合成する。
【解決手段】データ記憶部１の画像メモリから、遠景ボード描画部４、および中景画像描画部５、および近景ボード描画部６によって描画された複数毎の投影画像を読み出して、画素配列を並べ替えて立体表示可能な形式の画像に変換し、データ記憶部１に書き込む画素配列変換部７と、画素配列変換部７によって作成された立体表示可能な形式の画像をデータ記憶部１から読み出して、観察者に提示するための提示手段８とを備え、予め作成しておいた遠景と近景の２枚の単視点画像を多視点画像に合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像描画装置および描画方法に関するもので、特にＣＧ（コンピュータグラフィックス）の立体画像を描画するために用いられる。
【背景技術】
【０００２】
視差を有する複数枚の画像（多視点画像）の各画素を離散的に配置して１枚の合成画像を形成し、レンチキュラーレンズなどを用いて合成画像の各画素からでる光線の軌道を制御することにより、観察者に立体画像を知覚させる表示装置が知られている。
【０００３】
立体画像の表示方式は２眼式、多眼式、インテグラルフォトグラフィーなどに分類される。近年ではインテグラルフォトグラフィーはインテグラルイメージング（ＩＩ）方式と呼ばれることが多い。ＩＩ方式の立体画像表示装置は現実に近い光線を再生できる理想的な方式として知られているが、ディスプレイ面（レンズ面）から離れるにつれて光線の密度が粗くなり、立体画像の画質が劣化するという問題がある。
【０００４】
そこで、ディスプレイ面から奥方向（ディスプレイ面からみて観察者から遠ざかる方向）に離れた遠景領域の画質劣化を防ぐために、予め作成しておいた遠景の単視点画像を多視点画像の背景として合成する方法が知られている（例えば、特許文献１参照）。この方法を使うと遠景の立体感を正確に再現することができなくなるが、遠景の画質劣化を防ぐことができる。一般に、人間の視覚機能は遠景の立体感に対して鈍感であるため、この方法は多くのＣＧ（コンピュータグラフィックス）のコンテンツにおいて効果的に機能する。
【０００５】
また、多視点画像を作成する際に、ディスプレイ面からどの程度奥方向に離れた領域を遠景とみなすかを指定するための方法が知られている（例えば、特許文献２参照）。利用者は背景ボード（本明細書では遠景ボードと表記する）と呼ばれるＣＧの四角形モデルをディスプレイ面に平行に配置して、遠景領域と、それより手前側の領域の境界面を指定する。この遠景ボードを前後に移動させることにより、遠景領域の範囲を調節することが可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２１１２９１号公報
【特許文献２】特開２００７−９６９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の立体画像の描画方法では、上述したように遠景の画質劣化を防ぐことはできるものの、ディスプレイ面から手前方向（ディスプレイ面からみて観察者に近づく方向）に飛び出した近景の画質劣化を防ぐことができなかった。したがって、既存のＣＧのコンテンツを立体画像として表示する際には、表示対象物がディスプレイ面から手前方向に飛び出し過ぎないようにコンテンツを手直ししなければならないことが多かった。
【０００８】
本発明は、上記事情を考慮してなされたものであって、遠景と近景の両方の画質劣化を防ぐことのできる立体画像描画装置、および描画方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様による立体画像描画装置は、多視点カメラに関するデータと、描画対象物の形状に関するデータと、遠景領域および近景領域の範囲に関するデータと、描画処理の手順に関するデータと、を少なくとも含んだデータを記憶するとともに画像メモリを有するデータ記憶部と、前記データ記憶部からコンピュータグラフィックスの画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラよって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、作成された１枚の遠景画像を前記データ記憶部の前記画像メモリに書き込む遠景画像作成部と、前記データ記憶部からコンピュータグラフィックスの画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラによって近景領域内にある描画対象物の投影画像である近景画像を作成し、作成された１枚の近景画像を前記データ記憶部の前記画像メモリに書き込む近景画像作成部と、前記遠景画像作成部によって作成された遠景領域内にある描画対象物の遠景画像を前記データ記憶部から読み出して、その遠景画像を、遠景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、前記四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む遠景ボード描画部と、前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、遠景領域と近景領域の間にある中景領域内にある描画対象物の投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む中景画像描画部と、前記近景画像作成部によって作成された近景領域内にある描画対象物の近景画像を前記データ記憶部から読み出して、その近景画像を、近景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む近景ボード描画部と、
前記データ記憶部の前記画像メモリから、前記遠景ボード描画部、および前記中景画像描画部、および前記近景ボード描画部によって描画された複数毎の投影画像を読み出して、画素配列を並べ替えて立体表示可能な形式の画像に変換し、前記データ記憶部に書き込む画素配列変換部と、前記画素配列変換部によって作成された立体表示可能な形式の画像を前記データ記憶部から読み出して、観察者に提示するための提示手段と、を備えていることを特徴とする。
【００１０】
また、本発明の他の態様による立体画像描画方法は、色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリの全画素のアルファ値をゼロに初期設定するステップと、多視点カメラの中央位置付近に配置した１台のカメラによって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、前記画像メモリに記憶するステップと、前記多視点カメラの中央位置付近に配置した１台のカメラによって近景領域内にある描画対象物の投影像を計算し、前記画像メモリの近景画像を記憶する領域に対して、投影像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換えるステップと、前記多視点カメラに含まれる全てのカメラによって前記遠景ボードの多視点画像を描画し、前記画像メモリに記憶するステップと、前記多視点カメラに含まれるすべてのカメラによって中景領域内の描画対象物の多視点画像である中景画像を描画し、前記中景画像を、同じカメラによって描画された前記遠景ボードの多視点画像が記憶されている前記画像メモリに上書きして記憶するステップと、 前記多視点カメラに含まれるすべてのカメラによって前記近景ボードの多視点画像を描画し、同じカメラによって描画された前記中景画像が記憶されている前記画像メモリに上書きして多視点画像として記憶するステップと、前記多視点画像を立体表示可能な形式の画像に変換するステップと、前記立体表示可能な形式の画像を立体画像として提示するステップと、を備えていることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、遠景と近景の両方の画質劣化を防ぐことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態による立体画像描画装置の概略構成を示すブロック図。
【図２】遠景の単視点画像の描画方法を示す図。
【図３】近景の単視点画像の描画方法を示す図。
【図４】多視点画像の描画方法を示す図。
【図５】遠景ボードの多視点画像の描画結果の一例を示す図。
【図６】中景の多視点画像の描画結果の一例を示す図。
【図７】近景ボードの多視点画像の描画結果の一例を示す図。
【図８】本発明の一実施形態に係る立体画像描画装置の第１処理手順を示すフローチャート。
【図９】本発明の一実施形態に係る立体画像描画装置の第２処理手順を示すフローチャート。
【発明を実施するための形態】
【００１３】
以下に図面を参照して本発明の実施形態を説明する。
【００１４】
本発明の一実施形態による立体画像描画装置の概略構成を図１に示す。この図１では、各ブロック間のデータの流れを矢印で示している。この図１から分かるように、本実施形態による立体画像描画装置は、ＣＧデータ記憶部１と、遠景画像作成部２と、近景画像作成部３と、遠景ボード描画部４と、中景画像描画部５と、近景ボード描画部６と、画素配列変換部７と、提示部８と、を備えている。
【００１５】
なお、図１に示す本実施形態では、各処理ブロックがデータを読み書きするメモリをＣＧデータ記憶部１としてまとめて表記しているが、帯域幅や容量の異なる複数のメモリ上に分割して構成してもよい。
【００１６】
以下に、図１の各処理ブロックの詳細な動作（処理）を説明する。
【００１７】
［ＣＧデータ記憶部１］
ＣＧデータ記憶部１には、多視点カメラに関するデータと、遠景領域および近景領域の範囲に関するデータと、描画対象物に関するデータと、光源に関するデータと、描画処理の手順を記述したプログラムに関するデータと、遠景画像作成部２によって作成される遠景画像に関するデータと、近景画像作成部３によって作成される近景画像に関するデータと、遠景ボード描画部４および中景画像描画部５ならびに近景ボード描画部６によって描画される多視点画像に関するデータと、画素配列変換部７によって作成される立体表示可能な形式の画像に関するデータなどを記憶している。
【００１８】
遠景画像に関するデータと、多視点画像に関するデータは、ＣＧにおいて一般的な画像形式であるＲＧＢ形式、あるいはＲＧＢＡ形式でＣＧデータ記憶部１に記憶されるものとする。ここで、Ｒ、Ｇ、Ｂは画像を構成する各画素の赤、緑、青の値を表し、Ａは各画素のアルファ値（不透明度）を表している。一方、近景画像に関するデータは、ＲＧＢ形式ではなく、アルファ値を含むＲＧＢＡ形式でＣＧデータ記憶部１に記憶されるものとする。
【００１９】
なお、多視点画像を描画するために必要となる複数のカメラに関するデータは、すべてＣＧデータ記憶部１に記憶しておいてもよい。また、代表的なカメラに関するデータだけをＣＧデータ記憶部１に記憶しておき、必要に応じて残りのカメラに関するデータを計算して求めるように構成しても構わない。また、ＣＧデータ記憶部１に保持されるＣＧデータは上記の形式に限定されず、所望のＣＧを描画するために必要となるあらゆるデータを含んでいてもよい。
【００２０】
［遠景画像作成部２］
遠景画像作成部２は、ＣＧデータ記憶部１からＣＧを描画するために必要な各種データを読み出して、１台のカメラによって遠景領域内にある描画対象物の投影画像を作成し、作成された１枚の投影画像をＣＧデータ記憶部１に確保されている画像メモリに書き込む。
【００２１】
図２（ａ）に示すように、本明細書における遠景領域２０とは、遠景ボード２１とファークリップ面（以下、Ｆａｒクリップ面ともいう）２２とに挟まれた領域のことであり、カメラ１００から見てディスプレイ面１０よりも奥方向に離れたところに位置している。ここで、図２（ａ）は投影画像を作成する際に、カメラ１００、描画対象物２００を側面から見た図である。遠景ボード２１は、ＣＧの四角形モデルをディスプレイ面に平行に配置したものである。なお、カメラ１００から見てディスプレイ面１０よりも手前方向に離れて位置する近景ボード３１が存在し、この近景ボード３１よりも更に手前にニアクリップ面（以下、Ｎｅａｒクリップ面ともいう）３２が存在する。
【００２２】
遠景画像作成部２では、最初に、ＣＧデータ記憶部１から多視点カメラの中心位置が読み出される。あるいは、ＣＧデータ記憶部１から多視点カメラの位置座標列が読み出されて、それらの中心位置が計算される。次に、得られた中心位置に１台のカメラ１００が配置される。あるいは、多視点カメラに含まれるカメラの中から、得られた中心位置に最も近い１台のカメラ１００が選択される。次に、その１台のカメラ１００によって遠景ボード２１とＦａｒクリップ面２２に挟まれた遠景領域２０内にある描画対象物２００の投影画像が作成される。このようにして作成された投影画像はＣＧデータ記憶部１に確保されている画像メモリに書き込まれて記憶される。本明細書では、ここで作成された投影画像のことを遠景画像と表記する。図２（ｂ）に遠景画像の一例を示す。
【００２３】
［近景画像作成部３］
近景画像作成部３は、ＣＧデータ記憶部１からＣＧを描画するために必要な各種データを読み出して、１台のカメラによって近景領域内にある描画対象物の投影画像を作成し、作成された１枚の投影画像をＣＧデータ記憶部１に確保されている画像メモリに書き込む。
【００２４】
図３（ａ）に示すように、本明細書における近景領域３０とは、Ｎｅａｒクリップ面３１と近景ボード３２に挟まれた領域のことであり、カメラ１００から見てディスプレイ面１０より手前方向に飛び出したところに位置している。ここで、図３（ａ）は、投影画像を作成する際に、カメラ１００、描画対象物３００を側面から見た図である。
【００２５】
近景画像作成部３では、最初に、ＣＧデータ記憶部１に確保されているＲＧＢＡ形式の画像メモリの全画素のアルファ値がゼロにクリアされる。次に、遠景画像作成部２において遠景画像を作成したときと同じように、多視点カメラの中心位置に１台のカメラ１００が配置されるか、あるいは、多視点カメラに含まれるカメラの中から中心位置に最も近い１台のカメラ１００が選択される。次に、その１台のカメラ１００によって近景領域３０内にある描画対象物３００の投影画像が作成される。作成された投影画像は、さきほどアルファ値をクリアしておいたＣＧデータ記憶部１に確保されているＲＧＢＡ形式の画像メモリに書き込まれる。このとき、新たに書き込まれた各画素のアルファ値は非ゼロ（例えば２５５）に書き換えられる。本明細書では、ここで作成された投影画像のことを近景画像と表記する。
【００２６】
図３（ｂ）に近景画像の例を示す。この図から分かるように、近景画像においては、近景領域３０内にある描画対象物３００の投影像によって新たに書き込まれた画素のアルファ値Ａは非ゼロ（例えば２５５）になり、それ以外の画素のアルファ値はゼロにクリアされたまま維持されることになる。
【００２７】
［遠景ボード描画部４］
遠景ボード描画部４では、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出される。次に、多視点カメラに含まれるカメラのうちの１つのカメラが選択されて、そのカメラによって遠景ボードの投影画像が描画される。このとき、遠景画像作成部２によって作成された遠景画像がＣＧデータ記憶部１から読み出されて、図４に示すように、遠景ボード全体を覆うように、テクスチャマッピングによって貼り付けられる。これらの処理を多視点カメラ１１０に含まれるすべてのカメラについて繰り返すことによって、遠景ボードの多視点画像を描画することができる。なお、図４は、遠景ボード２１の投影画像を描画する際に、多視点カメラ１１０および遠景ボード２１を側面から見た図である。
【００２８】
図５に遠景ボードの多視点画像の一例を示す。遠景ボードの多視点画像は、各カメラによって描画された遠景ボードの投影画像をタイル状に並べた形式で、ＣＧデータ記憶部１に確保された画像メモリに書き込まれて記憶される。図５は９台のカメラによって描画された多視点画像の例を表している。この図では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。
【００２９】
なお、遠景ボードのようなＣＧモデルに対して画像を貼り付ける技法はテクスチャマッピングと呼ばれ、ＧＰＵ（グラフィックスプロセッシングユニット）などのハードウェアを用いて高速に実行することが可能である。
【００３０】
［中景画像描画部５］
中景画像描画部５では、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出される。次に、図４に示すように、多視点カメラ１１０に含まれるカメラのうちの１つが選択されて、そのカメラによって近景ボード３１と遠景ボード２１に挟まれた領域４０内にある描画対象物４００の投影画像（中景画像）が描画される。本明細書では近景ボード３１と遠景ボード２１とに挟まれた領域４０のことを中景領域と表記する。描画結果は、遠景ボード描画部４において、同じカメラによって描画された遠景ボードの投影画像が記憶された画像メモリに上書きされて記憶される。これらの処理を多視点カメラ１１０に含まれるすべてのカメラについて繰り返すことによって、中景領域の多視点画像を描画することができる。
【００３１】
図５に示した遠景ボードの多視点画像に対して、中景領域の多視点画像を上書き描画した結果の例を図６に示す。この図では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。
【００３２】
［近景ボード描画部６］
近景ボード描画部６では、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出される。次に、多視点カメラに含まれるカメラのうちの１つが選択されて、そのカメラによって近景ボードの投影画像が描画される。このとき、近景画像作成部３によって作成された近景画像がＣＧデータ記憶部１から読み出されて、近景ボード全体を覆うように、テクスチャマッピングによって貼り付けられる。描画結果は、中景画像描画部５において、同じカメラによって描画された投影画像が記憶され画像メモリに上書きされて記憶される。ただし、このときに書き込み元の画素（すなわち近景画像の画素）のうち、アルファ値Ａが非ゼロの画素だけが画像メモリに書き込まれるようにする。こうすることにより、近景画像の画素のうち、近景領域３０内にある描画対象物３００の投影像によって新たに書き込まれた画素だけを上書きすることができる。以上の処理を多視点カメラに含まれるすべてのカメラについて繰り返すことによって、近景ボード３１の多視点画像を描画することができる。
【００３３】
図６に示した中景の多視点画像に対して、近景ボード３１の多視点画像を上書き描画した結果の例を図７に示す。この図７では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。
【００３４】
なお、このようなアルファ値Ａに基づいた書き込み制御の仕組みはアルファテストと呼ばれ、ＧＰＵ（グラフィックスプロセッシングユニット）などのハードウェアを用いて高速に実行することが可能である。
【００３５】
［画素配列変換部７］
画素配列変換部７は、ＣＧデータ記憶部１から、遠景ボード描画部４、および中景画像描画部５、および近景画像描画部６によって描画された多視点画像を読み出して、画素配列を並べ替えて立体表示可能な形式に変換し、変換結果をＣＧデータ記憶部１に書き込む。
【００３６】
［提示部８］
提示部８は、ＣＧデータ記憶部１に記憶されている立体表示可能な形式の画像を観察者に提示するためのディスプレイやレンチキュラーレンズ、プリンタなどで構成される。
【００３７】
次に、本実施形態による立体画像描画装置の第１処理手順について図８を参照して説明する。この第１処理手順においては、最初に、遠景画像作成部２で遠景画像を作成し、続いて近景画像作成部で近景画像を作成する（ステップＳ１０、Ｓ１１）。その後、多視点カメラに含まれる全てのカメラによって遠景ボードの投影画像だけを連続して描画する（ステップＳ１２、Ｓ１３、Ｓ１４）。次に、多視点カメラに含まれる全てのカメラによって中景領域内の描画対象物の投影画像を連続して描画する（ステップＳ１５、Ｓ１６、Ｓ１７）。最後に、多視点カメラに含まれる全てのカメラによって近景ボードの投影画像だけを連続して描画する（ステップＳ１８、Ｓ１９、Ｓ２０）。
【００３８】
すなわち、まず、多視点カメラに含まれる１台のカメラ、例えば、中央位置付近に配置されたカメラについての遠景画像を作成する（ステップＳ１０）。遠景画像の作成は、まず、ＣＧデータ記憶部１から多視点カメラの中心位置または位置座標列が読み出され、この読み出された中心位置または位置座標列に１台のカメラが配置されたときの遠景領域２０内にある描画対象物２００の投影画像（遠景画像）が作成される。このようにして作成された投影画像はＣＧデータ記憶部１に確保されている画像メモリに書き込まれて記憶される。
【００３９】
その後、多視点カメラに含まれる１台のカメラ、例えば、中央位置付近に配置されたカメラについての近景画像を近景画像作成部３で作成する（ステップＳ１１）。近景画像の作成は、まず、遠景画像を作成する際にＣＧデータ記憶部１から読み出された多視点カメラの中心位置または位置座標列に１台のカメラが配置されたときの近景領域３０内にある描画対象物３００の投影画像（近景画像）が作成される。このようにして作成された近景画像はＣＧデータ記憶部１に確保されている画像メモリに書き込まれて記憶される。
【００４０】
続いて、遠景ボード描画部４によって遠景ボードの投影画像を描画する（ステップＳ１２）。すなわち、多視点カメラに含まれる１つのカメラが選択され、この選択されたカメラについての遠景画像がＣＧデータ記憶部１から読み出され、テクスチャマッピングによって遠景ボード全体を覆うように貼り付けられる。これらの処理は、多視点カメラに含まれる全てのカメラについて行われる（ステップＳ１３、Ｓ１４）。
【００４１】
次に、多視点カメラに含まれるすべてのカメラによって中景領域内の描画対象物の投影画像を連続して描画する（ステップＳ１５、Ｓ１６、Ｓ１７）。すなわち、中景画像描画部５によって中景画像を描画する。各カメラの中景領域内の投影画像（中景画像）の描画は、まず、ＣＧデータ記憶部１から読み出された多視点カメラの中心位置または位置座標列に１台のカメラが配置されたときの中景領域４０内にある描画対象物４００の投影画像が作成される（ステップＳ１５）。このようにして作成された投影画像はＣＧデータ記憶部１に確保されている画像メモリに書き込まれて記憶される。この中景画像の描画処理は多視点カメラに含まれる全てのカメラについて繰り返し、これにより中景画像の多視点画像を描画する（ステップＳ１６、Ｓ１７）。
【００４２】
次に、多視点カメラに含まれるすべてのカメラによって近景ボードの投影画像だけを連続して描画する（ステップＳ１８，Ｓ１９、Ｓ２０）。すなわち、近景ボード描画部６によって近景ボードの描画を行う（ステップＳ１８）。この近景ボードの描画は、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出され、つづいて、多視点カメラに含まれるカメラのうちの１つが選択されて、この選択されたカメラによって近景ボードの投影画像が描画される。このとき、近景画像作成部３によって作成された近景画像がＣＧデータ記憶部１から読み出されて、近景ボード全体を覆うように、テクスチャマッピングによって貼り付けられる。描画結果は、中景画像描画部５において、同じカメラによって描画された投影画像が記憶された画像メモリに上書きされて記憶される。ただし、このときに書き込み元の画素（すなわち近景画像の画素）のうち、アルファ値Ａが非ゼロの画素だけが画像メモリに書き込まれるようにする。こうすることにより、近景画像の画素のうち、近景領域３０内にある描画対象物３００の投影像によって新たに書き込まれた画素だけを上書きすることができる。以上の処理を多視点カメラに含まれるすべてのカメラについて繰り返し（ステップＳ１９，Ｓ２０）、近景ボード３１の多視点画像を描画する。
【００４３】
次に、画素配列変換部７によって、多視点画像を立体表示可能な形式の画像に変換し（ステップＳ２１）、その後、提示部８によって上記立体表示可能な形式の画像を立体画像として提示する（ステップＳ２２）。
【００４４】
この図８に示す処理手順は、図９に示す第２処理手順のように、多視点カメラのうちのある１つのカメラによって、遠景ボードの投影画像、中景領域内の描画対象物の投影画像、近景ボードの投影画像の順番で連続して描画した後（ステップＳ１２、Ｓ１５、Ｓ１６）、カメラを切り替えて、同じ順番で描画するように構成しても構わない（ステップＳ１９、Ｓ２０）。
【００４５】
また、図８および図９に示す第１および第２処理手順のいずれにおいても、遠景ボード、中景領域、近景ボードの順番で描画しているが、ＧＰＵなどのハードウェアのデプステスト機能を有効にした上で、異なる順番で描画しても構わない。
【００４６】
以上説明したように、本実施形態の立体画像描画装置によれば、予め作成しておいた遠景と近景の２枚の単視点画像を多視点画像に合成することによって、遠景と近景の両方の画質劣化を防ぐことができる。その結果、既存のＣＧコンテンツを手直しすることなく立体画像として表示できるようになる。また、遠景ボードと近景ボードを併用することにより、ＣＧコンテンツを視覚的に把握しながら遠景、中景、近景の３つの領域の境界を調節できるようになる。
【００４７】
なお、本実施形態による立体画像描画装置では、遠景と近景の両方の画質劣化を防ぐことができる反面、その代償として、遠景ボードの奥側の領域の立体感、および近景ボードの手前側の領域の立体感を正確に再現できなくなる。一般に、人間の視覚機能は遠景の立体感に対しては鈍感であるが、近景の立体感に対しては敏感である。したがって、ＣＧコンテンツによっては近景ボードを用いた表示結果に不自然さを感じる場合がある。しかしながら、我々が実験した限りでは、多くのＣＧコンテンツにおいて、その不自然さは許容できる程度であり、それに比べて画質劣化を防ぐことのできる効果は非常に大きいものであった。
【符号の説明】
【００４８】
１ ＣＧデータ記憶部
２ 遠景画像作成部
３ 近景画像作成部
４ 遠景ボード描画部
５ 中景画像描画部
６ 近景ボード描画部
７ 画素配列変換部
８ 提示部
【技術分野】
【０００１】
本発明は、立体画像描画装置および描画方法に関するもので、特にＣＧ（コンピュータグラフィックス）の立体画像を描画するために用いられる。
【背景技術】
【０００２】
視差を有する複数枚の画像（多視点画像）の各画素を離散的に配置して１枚の合成画像を形成し、レンチキュラーレンズなどを用いて合成画像の各画素からでる光線の軌道を制御することにより、観察者に立体画像を知覚させる表示装置が知られている。
【０００３】
立体画像の表示方式は２眼式、多眼式、インテグラルフォトグラフィーなどに分類される。近年ではインテグラルフォトグラフィーはインテグラルイメージング（ＩＩ）方式と呼ばれることが多い。ＩＩ方式の立体画像表示装置は現実に近い光線を再生できる理想的な方式として知られているが、ディスプレイ面（レンズ面）から離れるにつれて光線の密度が粗くなり、立体画像の画質が劣化するという問題がある。
【０００４】
そこで、ディスプレイ面から奥方向（ディスプレイ面からみて観察者から遠ざかる方向）に離れた遠景領域の画質劣化を防ぐために、予め作成しておいた遠景の単視点画像を多視点画像の背景として合成する方法が知られている（例えば、特許文献１参照）。この方法を使うと遠景の立体感を正確に再現することができなくなるが、遠景の画質劣化を防ぐことができる。一般に、人間の視覚機能は遠景の立体感に対して鈍感であるため、この方法は多くのＣＧ（コンピュータグラフィックス）のコンテンツにおいて効果的に機能する。
【０００５】
また、多視点画像を作成する際に、ディスプレイ面からどの程度奥方向に離れた領域を遠景とみなすかを指定するための方法が知られている（例えば、特許文献２参照）。利用者は背景ボード（本明細書では遠景ボードと表記する）と呼ばれるＣＧの四角形モデルをディスプレイ面に平行に配置して、遠景領域と、それより手前側の領域の境界面を指定する。この遠景ボードを前後に移動させることにより、遠景領域の範囲を調節することが可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２１１２９１号公報
【特許文献２】特開２００７−９６９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の立体画像の描画方法では、上述したように遠景の画質劣化を防ぐことはできるものの、ディスプレイ面から手前方向（ディスプレイ面からみて観察者に近づく方向）に飛び出した近景の画質劣化を防ぐことができなかった。したがって、既存のＣＧのコンテンツを立体画像として表示する際には、表示対象物がディスプレイ面から手前方向に飛び出し過ぎないようにコンテンツを手直ししなければならないことが多かった。
【０００８】
本発明は、上記事情を考慮してなされたものであって、遠景と近景の両方の画質劣化を防ぐことのできる立体画像描画装置、および描画方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様による立体画像描画装置は、多視点カメラに関するデータと、描画対象物の形状に関するデータと、遠景領域および近景領域の範囲に関するデータと、描画処理の手順に関するデータと、を少なくとも含んだデータを記憶するとともに画像メモリを有するデータ記憶部と、前記データ記憶部からコンピュータグラフィックスの画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラよって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、作成された１枚の遠景画像を前記データ記憶部の前記画像メモリに書き込む遠景画像作成部と、前記データ記憶部からコンピュータグラフィックスの画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラによって近景領域内にある描画対象物の投影画像である近景画像を作成し、作成された１枚の近景画像を前記データ記憶部の前記画像メモリに書き込む近景画像作成部と、前記遠景画像作成部によって作成された遠景領域内にある描画対象物の遠景画像を前記データ記憶部から読み出して、その遠景画像を、遠景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、前記四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む遠景ボード描画部と、前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、遠景領域と近景領域の間にある中景領域内にある描画対象物の投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む中景画像描画部と、前記近景画像作成部によって作成された近景領域内にある描画対象物の近景画像を前記データ記憶部から読み出して、その近景画像を、近景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む近景ボード描画部と、
前記データ記憶部の前記画像メモリから、前記遠景ボード描画部、および前記中景画像描画部、および前記近景ボード描画部によって描画された複数毎の投影画像を読み出して、画素配列を並べ替えて立体表示可能な形式の画像に変換し、前記データ記憶部に書き込む画素配列変換部と、前記画素配列変換部によって作成された立体表示可能な形式の画像を前記データ記憶部から読み出して、観察者に提示するための提示手段と、を備えていることを特徴とする。
【００１０】
また、本発明の他の態様による立体画像描画方法は、色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリの全画素のアルファ値をゼロに初期設定するステップと、多視点カメラの中央位置付近に配置した１台のカメラによって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、前記画像メモリに記憶するステップと、前記多視点カメラの中央位置付近に配置した１台のカメラによって近景領域内にある描画対象物の投影像を計算し、前記画像メモリの近景画像を記憶する領域に対して、投影像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換えるステップと、前記多視点カメラに含まれる全てのカメラによって前記遠景ボードの多視点画像を描画し、前記画像メモリに記憶するステップと、前記多視点カメラに含まれるすべてのカメラによって中景領域内の描画対象物の多視点画像である中景画像を描画し、前記中景画像を、同じカメラによって描画された前記遠景ボードの多視点画像が記憶されている前記画像メモリに上書きして記憶するステップと、 前記多視点カメラに含まれるすべてのカメラによって前記近景ボードの多視点画像を描画し、同じカメラによって描画された前記中景画像が記憶されている前記画像メモリに上書きして多視点画像として記憶するステップと、前記多視点画像を立体表示可能な形式の画像に変換するステップと、前記立体表示可能な形式の画像を立体画像として提示するステップと、を備えていることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、遠景と近景の両方の画質劣化を防ぐことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態による立体画像描画装置の概略構成を示すブロック図。
【図２】遠景の単視点画像の描画方法を示す図。
【図３】近景の単視点画像の描画方法を示す図。
【図４】多視点画像の描画方法を示す図。
【図５】遠景ボードの多視点画像の描画結果の一例を示す図。
【図６】中景の多視点画像の描画結果の一例を示す図。
【図７】近景ボードの多視点画像の描画結果の一例を示す図。
【図８】本発明の一実施形態に係る立体画像描画装置の第１処理手順を示すフローチャート。
【図９】本発明の一実施形態に係る立体画像描画装置の第２処理手順を示すフローチャート。
【発明を実施するための形態】
【００１３】
以下に図面を参照して本発明の実施形態を説明する。
【００１４】
本発明の一実施形態による立体画像描画装置の概略構成を図１に示す。この図１では、各ブロック間のデータの流れを矢印で示している。この図１から分かるように、本実施形態による立体画像描画装置は、ＣＧデータ記憶部１と、遠景画像作成部２と、近景画像作成部３と、遠景ボード描画部４と、中景画像描画部５と、近景ボード描画部６と、画素配列変換部７と、提示部８と、を備えている。
【００１５】
なお、図１に示す本実施形態では、各処理ブロックがデータを読み書きするメモリをＣＧデータ記憶部１としてまとめて表記しているが、帯域幅や容量の異なる複数のメモリ上に分割して構成してもよい。
【００１６】
以下に、図１の各処理ブロックの詳細な動作（処理）を説明する。
【００１７】
［ＣＧデータ記憶部１］
ＣＧデータ記憶部１には、多視点カメラに関するデータと、遠景領域および近景領域の範囲に関するデータと、描画対象物に関するデータと、光源に関するデータと、描画処理の手順を記述したプログラムに関するデータと、遠景画像作成部２によって作成される遠景画像に関するデータと、近景画像作成部３によって作成される近景画像に関するデータと、遠景ボード描画部４および中景画像描画部５ならびに近景ボード描画部６によって描画される多視点画像に関するデータと、画素配列変換部７によって作成される立体表示可能な形式の画像に関するデータなどを記憶している。
【００１８】
遠景画像に関するデータと、多視点画像に関するデータは、ＣＧにおいて一般的な画像形式であるＲＧＢ形式、あるいはＲＧＢＡ形式でＣＧデータ記憶部１に記憶されるものとする。ここで、Ｒ、Ｇ、Ｂは画像を構成する各画素の赤、緑、青の値を表し、Ａは各画素のアルファ値（不透明度）を表している。一方、近景画像に関するデータは、ＲＧＢ形式ではなく、アルファ値を含むＲＧＢＡ形式でＣＧデータ記憶部１に記憶されるものとする。
【００１９】
なお、多視点画像を描画するために必要となる複数のカメラに関するデータは、すべてＣＧデータ記憶部１に記憶しておいてもよい。また、代表的なカメラに関するデータだけをＣＧデータ記憶部１に記憶しておき、必要に応じて残りのカメラに関するデータを計算して求めるように構成しても構わない。また、ＣＧデータ記憶部１に保持されるＣＧデータは上記の形式に限定されず、所望のＣＧを描画するために必要となるあらゆるデータを含んでいてもよい。
【００２０】
［遠景画像作成部２］
遠景画像作成部２は、ＣＧデータ記憶部１からＣＧを描画するために必要な各種データを読み出して、１台のカメラによって遠景領域内にある描画対象物の投影画像を作成し、作成された１枚の投影画像をＣＧデータ記憶部１に確保されている画像メモリに書き込む。
【００２１】
図２（ａ）に示すように、本明細書における遠景領域２０とは、遠景ボード２１とファークリップ面（以下、Ｆａｒクリップ面ともいう）２２とに挟まれた領域のことであり、カメラ１００から見てディスプレイ面１０よりも奥方向に離れたところに位置している。ここで、図２（ａ）は投影画像を作成する際に、カメラ１００、描画対象物２００を側面から見た図である。遠景ボード２１は、ＣＧの四角形モデルをディスプレイ面に平行に配置したものである。なお、カメラ１００から見てディスプレイ面１０よりも手前方向に離れて位置する近景ボード３１が存在し、この近景ボード３１よりも更に手前にニアクリップ面（以下、Ｎｅａｒクリップ面ともいう）３２が存在する。
【００２２】
遠景画像作成部２では、最初に、ＣＧデータ記憶部１から多視点カメラの中心位置が読み出される。あるいは、ＣＧデータ記憶部１から多視点カメラの位置座標列が読み出されて、それらの中心位置が計算される。次に、得られた中心位置に１台のカメラ１００が配置される。あるいは、多視点カメラに含まれるカメラの中から、得られた中心位置に最も近い１台のカメラ１００が選択される。次に、その１台のカメラ１００によって遠景ボード２１とＦａｒクリップ面２２に挟まれた遠景領域２０内にある描画対象物２００の投影画像が作成される。このようにして作成された投影画像はＣＧデータ記憶部１に確保されている画像メモリに書き込まれて記憶される。本明細書では、ここで作成された投影画像のことを遠景画像と表記する。図２（ｂ）に遠景画像の一例を示す。
【００２３】
［近景画像作成部３］
近景画像作成部３は、ＣＧデータ記憶部１からＣＧを描画するために必要な各種データを読み出して、１台のカメラによって近景領域内にある描画対象物の投影画像を作成し、作成された１枚の投影画像をＣＧデータ記憶部１に確保されている画像メモリに書き込む。
【００２４】
図３（ａ）に示すように、本明細書における近景領域３０とは、Ｎｅａｒクリップ面３１と近景ボード３２に挟まれた領域のことであり、カメラ１００から見てディスプレイ面１０より手前方向に飛び出したところに位置している。ここで、図３（ａ）は、投影画像を作成する際に、カメラ１００、描画対象物３００を側面から見た図である。
【００２５】
近景画像作成部３では、最初に、ＣＧデータ記憶部１に確保されているＲＧＢＡ形式の画像メモリの全画素のアルファ値がゼロにクリアされる。次に、遠景画像作成部２において遠景画像を作成したときと同じように、多視点カメラの中心位置に１台のカメラ１００が配置されるか、あるいは、多視点カメラに含まれるカメラの中から中心位置に最も近い１台のカメラ１００が選択される。次に、その１台のカメラ１００によって近景領域３０内にある描画対象物３００の投影画像が作成される。作成された投影画像は、さきほどアルファ値をクリアしておいたＣＧデータ記憶部１に確保されているＲＧＢＡ形式の画像メモリに書き込まれる。このとき、新たに書き込まれた各画素のアルファ値は非ゼロ（例えば２５５）に書き換えられる。本明細書では、ここで作成された投影画像のことを近景画像と表記する。
【００２６】
図３（ｂ）に近景画像の例を示す。この図から分かるように、近景画像においては、近景領域３０内にある描画対象物３００の投影像によって新たに書き込まれた画素のアルファ値Ａは非ゼロ（例えば２５５）になり、それ以外の画素のアルファ値はゼロにクリアされたまま維持されることになる。
【００２７】
［遠景ボード描画部４］
遠景ボード描画部４では、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出される。次に、多視点カメラに含まれるカメラのうちの１つのカメラが選択されて、そのカメラによって遠景ボードの投影画像が描画される。このとき、遠景画像作成部２によって作成された遠景画像がＣＧデータ記憶部１から読み出されて、図４に示すように、遠景ボード全体を覆うように、テクスチャマッピングによって貼り付けられる。これらの処理を多視点カメラ１１０に含まれるすべてのカメラについて繰り返すことによって、遠景ボードの多視点画像を描画することができる。なお、図４は、遠景ボード２１の投影画像を描画する際に、多視点カメラ１１０および遠景ボード２１を側面から見た図である。
【００２８】
図５に遠景ボードの多視点画像の一例を示す。遠景ボードの多視点画像は、各カメラによって描画された遠景ボードの投影画像をタイル状に並べた形式で、ＣＧデータ記憶部１に確保された画像メモリに書き込まれて記憶される。図５は９台のカメラによって描画された多視点画像の例を表している。この図では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。
【００２９】
なお、遠景ボードのようなＣＧモデルに対して画像を貼り付ける技法はテクスチャマッピングと呼ばれ、ＧＰＵ（グラフィックスプロセッシングユニット）などのハードウェアを用いて高速に実行することが可能である。
【００３０】
［中景画像描画部５］
中景画像描画部５では、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出される。次に、図４に示すように、多視点カメラ１１０に含まれるカメラのうちの１つが選択されて、そのカメラによって近景ボード３１と遠景ボード２１に挟まれた領域４０内にある描画対象物４００の投影画像（中景画像）が描画される。本明細書では近景ボード３１と遠景ボード２１とに挟まれた領域４０のことを中景領域と表記する。描画結果は、遠景ボード描画部４において、同じカメラによって描画された遠景ボードの投影画像が記憶された画像メモリに上書きされて記憶される。これらの処理を多視点カメラ１１０に含まれるすべてのカメラについて繰り返すことによって、中景領域の多視点画像を描画することができる。
【００３１】
図５に示した遠景ボードの多視点画像に対して、中景領域の多視点画像を上書き描画した結果の例を図６に示す。この図では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。
【００３２】
［近景ボード描画部６］
近景ボード描画部６では、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出される。次に、多視点カメラに含まれるカメラのうちの１つが選択されて、そのカメラによって近景ボードの投影画像が描画される。このとき、近景画像作成部３によって作成された近景画像がＣＧデータ記憶部１から読み出されて、近景ボード全体を覆うように、テクスチャマッピングによって貼り付けられる。描画結果は、中景画像描画部５において、同じカメラによって描画された投影画像が記憶され画像メモリに上書きされて記憶される。ただし、このときに書き込み元の画素（すなわち近景画像の画素）のうち、アルファ値Ａが非ゼロの画素だけが画像メモリに書き込まれるようにする。こうすることにより、近景画像の画素のうち、近景領域３０内にある描画対象物３００の投影像によって新たに書き込まれた画素だけを上書きすることができる。以上の処理を多視点カメラに含まれるすべてのカメラについて繰り返すことによって、近景ボード３１の多視点画像を描画することができる。
【００３３】
図６に示した中景の多視点画像に対して、近景ボード３１の多視点画像を上書き描画した結果の例を図７に示す。この図７では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。
【００３４】
なお、このようなアルファ値Ａに基づいた書き込み制御の仕組みはアルファテストと呼ばれ、ＧＰＵ（グラフィックスプロセッシングユニット）などのハードウェアを用いて高速に実行することが可能である。
【００３５】
［画素配列変換部７］
画素配列変換部７は、ＣＧデータ記憶部１から、遠景ボード描画部４、および中景画像描画部５、および近景画像描画部６によって描画された多視点画像を読み出して、画素配列を並べ替えて立体表示可能な形式に変換し、変換結果をＣＧデータ記憶部１に書き込む。
【００３６】
［提示部８］
提示部８は、ＣＧデータ記憶部１に記憶されている立体表示可能な形式の画像を観察者に提示するためのディスプレイやレンチキュラーレンズ、プリンタなどで構成される。
【００３７】
次に、本実施形態による立体画像描画装置の第１処理手順について図８を参照して説明する。この第１処理手順においては、最初に、遠景画像作成部２で遠景画像を作成し、続いて近景画像作成部で近景画像を作成する（ステップＳ１０、Ｓ１１）。その後、多視点カメラに含まれる全てのカメラによって遠景ボードの投影画像だけを連続して描画する（ステップＳ１２、Ｓ１３、Ｓ１４）。次に、多視点カメラに含まれる全てのカメラによって中景領域内の描画対象物の投影画像を連続して描画する（ステップＳ１５、Ｓ１６、Ｓ１７）。最後に、多視点カメラに含まれる全てのカメラによって近景ボードの投影画像だけを連続して描画する（ステップＳ１８、Ｓ１９、Ｓ２０）。
【００３８】
すなわち、まず、多視点カメラに含まれる１台のカメラ、例えば、中央位置付近に配置されたカメラについての遠景画像を作成する（ステップＳ１０）。遠景画像の作成は、まず、ＣＧデータ記憶部１から多視点カメラの中心位置または位置座標列が読み出され、この読み出された中心位置または位置座標列に１台のカメラが配置されたときの遠景領域２０内にある描画対象物２００の投影画像（遠景画像）が作成される。このようにして作成された投影画像はＣＧデータ記憶部１に確保されている画像メモリに書き込まれて記憶される。
【００３９】
その後、多視点カメラに含まれる１台のカメラ、例えば、中央位置付近に配置されたカメラについての近景画像を近景画像作成部３で作成する（ステップＳ１１）。近景画像の作成は、まず、遠景画像を作成する際にＣＧデータ記憶部１から読み出された多視点カメラの中心位置または位置座標列に１台のカメラが配置されたときの近景領域３０内にある描画対象物３００の投影画像（近景画像）が作成される。このようにして作成された近景画像はＣＧデータ記憶部１に確保されている画像メモリに書き込まれて記憶される。
【００４０】
続いて、遠景ボード描画部４によって遠景ボードの投影画像を描画する（ステップＳ１２）。すなわち、多視点カメラに含まれる１つのカメラが選択され、この選択されたカメラについての遠景画像がＣＧデータ記憶部１から読み出され、テクスチャマッピングによって遠景ボード全体を覆うように貼り付けられる。これらの処理は、多視点カメラに含まれる全てのカメラについて行われる（ステップＳ１３、Ｓ１４）。
【００４１】
次に、多視点カメラに含まれるすべてのカメラによって中景領域内の描画対象物の投影画像を連続して描画する（ステップＳ１５、Ｓ１６、Ｓ１７）。すなわち、中景画像描画部５によって中景画像を描画する。各カメラの中景領域内の投影画像（中景画像）の描画は、まず、ＣＧデータ記憶部１から読み出された多視点カメラの中心位置または位置座標列に１台のカメラが配置されたときの中景領域４０内にある描画対象物４００の投影画像が作成される（ステップＳ１５）。このようにして作成された投影画像はＣＧデータ記憶部１に確保されている画像メモリに書き込まれて記憶される。この中景画像の描画処理は多視点カメラに含まれる全てのカメラについて繰り返し、これにより中景画像の多視点画像を描画する（ステップＳ１６、Ｓ１７）。
【００４２】
次に、多視点カメラに含まれるすべてのカメラによって近景ボードの投影画像だけを連続して描画する（ステップＳ１８，Ｓ１９、Ｓ２０）。すなわち、近景ボード描画部６によって近景ボードの描画を行う（ステップＳ１８）。この近景ボードの描画は、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出され、つづいて、多視点カメラに含まれるカメラのうちの１つが選択されて、この選択されたカメラによって近景ボードの投影画像が描画される。このとき、近景画像作成部３によって作成された近景画像がＣＧデータ記憶部１から読み出されて、近景ボード全体を覆うように、テクスチャマッピングによって貼り付けられる。描画結果は、中景画像描画部５において、同じカメラによって描画された投影画像が記憶された画像メモリに上書きされて記憶される。ただし、このときに書き込み元の画素（すなわち近景画像の画素）のうち、アルファ値Ａが非ゼロの画素だけが画像メモリに書き込まれるようにする。こうすることにより、近景画像の画素のうち、近景領域３０内にある描画対象物３００の投影像によって新たに書き込まれた画素だけを上書きすることができる。以上の処理を多視点カメラに含まれるすべてのカメラについて繰り返し（ステップＳ１９，Ｓ２０）、近景ボード３１の多視点画像を描画する。
【００４３】
次に、画素配列変換部７によって、多視点画像を立体表示可能な形式の画像に変換し（ステップＳ２１）、その後、提示部８によって上記立体表示可能な形式の画像を立体画像として提示する（ステップＳ２２）。
【００４４】
この図８に示す処理手順は、図９に示す第２処理手順のように、多視点カメラのうちのある１つのカメラによって、遠景ボードの投影画像、中景領域内の描画対象物の投影画像、近景ボードの投影画像の順番で連続して描画した後（ステップＳ１２、Ｓ１５、Ｓ１６）、カメラを切り替えて、同じ順番で描画するように構成しても構わない（ステップＳ１９、Ｓ２０）。
【００４５】
また、図８および図９に示す第１および第２処理手順のいずれにおいても、遠景ボード、中景領域、近景ボードの順番で描画しているが、ＧＰＵなどのハードウェアのデプステスト機能を有効にした上で、異なる順番で描画しても構わない。
【００４６】
以上説明したように、本実施形態の立体画像描画装置によれば、予め作成しておいた遠景と近景の２枚の単視点画像を多視点画像に合成することによって、遠景と近景の両方の画質劣化を防ぐことができる。その結果、既存のＣＧコンテンツを手直しすることなく立体画像として表示できるようになる。また、遠景ボードと近景ボードを併用することにより、ＣＧコンテンツを視覚的に把握しながら遠景、中景、近景の３つの領域の境界を調節できるようになる。
【００４７】
なお、本実施形態による立体画像描画装置では、遠景と近景の両方の画質劣化を防ぐことができる反面、その代償として、遠景ボードの奥側の領域の立体感、および近景ボードの手前側の領域の立体感を正確に再現できなくなる。一般に、人間の視覚機能は遠景の立体感に対しては鈍感であるが、近景の立体感に対しては敏感である。したがって、ＣＧコンテンツによっては近景ボードを用いた表示結果に不自然さを感じる場合がある。しかしながら、我々が実験した限りでは、多くのＣＧコンテンツにおいて、その不自然さは許容できる程度であり、それに比べて画質劣化を防ぐことのできる効果は非常に大きいものであった。
【符号の説明】
【００４８】
１ ＣＧデータ記憶部
２ 遠景画像作成部
３ 近景画像作成部
４ 遠景ボード描画部
５ 中景画像描画部
６ 近景ボード描画部
７ 画素配列変換部
８ 提示部
【特許請求の範囲】
【請求項１】
多視点カメラに関するデータと、描画対象物の形状に関するデータと、遠景領域および近景領域の範囲に関するデータと、描画処理の手順に関するデータと、を少なくとも含んだデータを記憶するとともに画像メモリを有するデータ記憶部と、
前記データ記憶部からコンピュータグラフィックスの画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラよって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、作成された１枚の遠景画像を前記データ記憶部の前記画像メモリに書き込む遠景画像作成部と、
前記データ記憶部からコンピュータグラフィックスの画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラによって近景領域内にある描画対象物の投影画像である近景画像を作成し、作成された１枚の近景画像を前記データ記憶部の前記画像メモリに書き込む近景画像作成部と、
前記遠景画像作成部によって作成された遠景領域内にある描画対象物の遠景画像を前記データ記憶部から読み出して、その遠景画像を、遠景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、前記四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む遠景ボード描画部と、
前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、遠景領域と近景領域の間にある中景領域内にある描画対象物の投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む中景画像描画部と、
前記近景画像作成部によって作成された近景領域内にある描画対象物の近景画像を前記データ記憶部から読み出して、その近景画像を、近景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む近景ボード描画部と、
前記データ記憶部の前記画像メモリから、前記遠景ボード描画部、および前記中景画像描画部、および前記近景ボード描画部によって描画された複数毎の投影画像を読み出して、画素配列を並べ替えて立体表示可能な形式の画像に変換し、前記データ記憶部に書き込む画素配列変換部と、
前記画素配列変換部によって作成された立体表示可能な形式の画像を前記データ記憶部から読み出して、観察者に提示するための提示手段と、
を備えていることを特徴とする立体画像描画装置。
【請求項２】
前記データ記憶部の前記画像メモリは、色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリであり、
前記近景画像作成部は、前記近景画像が記憶される前記画像メモリの全画素のアルファ値をゼロに初期設定し、この初期設定された画像メモリに対して、前記多視点カメラの中央位置付近に配置した１台のカメラによって作成された前記近景領域内にある描画対象物の投影像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換える処理を行い、
前記近景ボード描画部は、前記近景画像作成部によって作成された前記近景画像を前記画像メモリから読み出して、その近景画像のアルファ値が非ゼロの画素だけを、前記近景ボードを表すコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、前記四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記画像メモリに書き込むことを特徴とする請求項１記載の立体画像描画装置。
【請求項３】
前記中景画像描画部は、前記中景画像を、前記遠景ボード描画部において同じカメラによって描画された前記遠景ボードの投影画像が記憶されている画像メモリに上書きして記憶することを特徴とする請求項１乃至２のいずれかに記載の立体画像描画装置。
【請求項４】
前記近景ボード描画部は、前記近景ボードの投影画像を、前記中景画像描画部において同じカメラによって描画された前記中景画像が記憶されている画像メモリに上書きして記憶することを特徴とする請求項３記載の立体画像描画装置。
【請求項５】
色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリの全画素のアルファ値をゼロに初期設定するステップと、
多視点カメラの中央位置付近に配置した１台のカメラによって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、前記画像メモリに記憶するステップと、
前記多視点カメラの中央位置付近に配置した１台のカメラによって近景領域内にある描画対象物の投影像を計算し、前記画像メモリの近景画像を記憶する領域に対して、投影像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換えるステップと、
前記多視点カメラに含まれる全てのカメラによって前記遠景ボードの多視点画像を描画し、前記画像メモリに記憶するステップと、
前記多視点カメラに含まれるすべてのカメラによって中景領域内の描画対象物の多視点画像である中景画像を描画し、前記中景画像を、同じカメラによって描画された前記遠景ボードの多視点画像が記憶されている前記画像メモリに上書きして記憶するステップと、
前記多視点カメラに含まれるすべてのカメラによって前記近景ボードの多視点画像を描画し、同じカメラによって描画された前記中景画像が記憶されている前記画像メモリに上書きして多視点画像として記憶するステップと、
前記多視点画像を立体表示可能な形式の画像に変換するステップと、
前記立体表示可能な形式の画像を立体画像として提示するステップと、
を備えていることを特徴とする立体画像描画方法。
【請求項１】
多視点カメラに関するデータと、描画対象物の形状に関するデータと、遠景領域および近景領域の範囲に関するデータと、描画処理の手順に関するデータと、を少なくとも含んだデータを記憶するとともに画像メモリを有するデータ記憶部と、
前記データ記憶部からコンピュータグラフィックスの画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラよって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、作成された１枚の遠景画像を前記データ記憶部の前記画像メモリに書き込む遠景画像作成部と、
前記データ記憶部からコンピュータグラフィックスの画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラによって近景領域内にある描画対象物の投影画像である近景画像を作成し、作成された１枚の近景画像を前記データ記憶部の前記画像メモリに書き込む近景画像作成部と、
前記遠景画像作成部によって作成された遠景領域内にある描画対象物の遠景画像を前記データ記憶部から読み出して、その遠景画像を、遠景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、前記四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む遠景ボード描画部と、
前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、遠景領域と近景領域の間にある中景領域内にある描画対象物の投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む中景画像描画部と、
前記近景画像作成部によって作成された近景領域内にある描画対象物の近景画像を前記データ記憶部から読み出して、その近景画像を、近景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む近景ボード描画部と、
前記データ記憶部の前記画像メモリから、前記遠景ボード描画部、および前記中景画像描画部、および前記近景ボード描画部によって描画された複数毎の投影画像を読み出して、画素配列を並べ替えて立体表示可能な形式の画像に変換し、前記データ記憶部に書き込む画素配列変換部と、
前記画素配列変換部によって作成された立体表示可能な形式の画像を前記データ記憶部から読み出して、観察者に提示するための提示手段と、
を備えていることを特徴とする立体画像描画装置。
【請求項２】
前記データ記憶部の前記画像メモリは、色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリであり、
前記近景画像作成部は、前記近景画像が記憶される前記画像メモリの全画素のアルファ値をゼロに初期設定し、この初期設定された画像メモリに対して、前記多視点カメラの中央位置付近に配置した１台のカメラによって作成された前記近景領域内にある描画対象物の投影像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換える処理を行い、
前記近景ボード描画部は、前記近景画像作成部によって作成された前記近景画像を前記画像メモリから読み出して、その近景画像のアルファ値が非ゼロの画素だけを、前記近景ボードを表すコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、前記四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記画像メモリに書き込むことを特徴とする請求項１記載の立体画像描画装置。
【請求項３】
前記中景画像描画部は、前記中景画像を、前記遠景ボード描画部において同じカメラによって描画された前記遠景ボードの投影画像が記憶されている画像メモリに上書きして記憶することを特徴とする請求項１乃至２のいずれかに記載の立体画像描画装置。
【請求項４】
前記近景ボード描画部は、前記近景ボードの投影画像を、前記中景画像描画部において同じカメラによって描画された前記中景画像が記憶されている画像メモリに上書きして記憶することを特徴とする請求項３記載の立体画像描画装置。
【請求項５】
色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリの全画素のアルファ値をゼロに初期設定するステップと、
多視点カメラの中央位置付近に配置した１台のカメラによって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、前記画像メモリに記憶するステップと、
前記多視点カメラの中央位置付近に配置した１台のカメラによって近景領域内にある描画対象物の投影像を計算し、前記画像メモリの近景画像を記憶する領域に対して、投影像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換えるステップと、
前記多視点カメラに含まれる全てのカメラによって前記遠景ボードの多視点画像を描画し、前記画像メモリに記憶するステップと、
前記多視点カメラに含まれるすべてのカメラによって中景領域内の描画対象物の多視点画像である中景画像を描画し、前記中景画像を、同じカメラによって描画された前記遠景ボードの多視点画像が記憶されている前記画像メモリに上書きして記憶するステップと、
前記多視点カメラに含まれるすべてのカメラによって前記近景ボードの多視点画像を描画し、同じカメラによって描画された前記中景画像が記憶されている前記画像メモリに上書きして多視点画像として記憶するステップと、
前記多視点画像を立体表示可能な形式の画像に変換するステップと、
前記立体表示可能な形式の画像を立体画像として提示するステップと、
を備えていることを特徴とする立体画像描画方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２２６４４３（Ｐ２０１０−２２６４４３Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−７１６６６（Ｐ２００９−７１６６６）
【出願日】平成２１年３月２４日（２００９．３．２４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月２４日（２００９．３．２４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]