立体画像描画装置および描画方法
【課題】遠景ボードあるいは近景ボードをまたいで描画対象物が配置されている場合に、その描画対象物にアンチエイリアシングを施しても、遠景と中景の描画結果の境界または中景と近景の描画結果の境界に切れ目が表示されるのを可及的に防止することを可能にする。
【解決手段】描画対象物が遠景と中景をまたぐ場合は、中景の多視点画像を描画する際に、遠景と中景の境界より少しだけ奥方向に描画範囲を伸ばす。描画対象物が中景と近景をまたぐ場合は、近景の単視点画像を描画する際に、中景と近景の境界より少しだけ奥方向に描画範囲を伸ばすとともに、近景の単視点画像にアンチエイリアシングを施すタイミングを、後段の多視点画像を描画するタイミングまで遅延させる。
【解決手段】描画対象物が遠景と中景をまたぐ場合は、中景の多視点画像を描画する際に、遠景と中景の境界より少しだけ奥方向に描画範囲を伸ばす。描画対象物が中景と近景をまたぐ場合は、近景の単視点画像を描画する際に、中景と近景の境界より少しだけ奥方向に描画範囲を伸ばすとともに、近景の単視点画像にアンチエイリアシングを施すタイミングを、後段の多視点画像を描画するタイミングまで遅延させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像描画装置および描画方法に関するもので、特にＣＧ（コンピュータグラフィックス）の立体画像を描画するために用いられる。
【背景技術】
【０００２】
視差を有する複数枚の画像（多視点画像）の各画素を離散的に配置して１枚の合成画像を形成し、レンチキュラーレンズなどを用いて合成画像の各画素からでる光線の軌道を制御することにより、観察者に立体画像を知覚させる表示装置が知られている。
【０００３】
立体画像の表示方式は２眼式、多眼式、インテグラルフォトグラフィーなどに分類される。近年ではインテグラルフォトグラフィーはインテグラルイメージング（ＩＩ）方式と呼ばれることが多い。ＩＩ方式の立体画像表示装置は現実に近い光線を再生できる理想的な方式として知られているが、ディスプレイ面（レンズ面）から離れるにつれて光線の密度が粗くなり、立体画像の画質が劣化するという問題がある。
【０００４】
そこで、ディスプレイ面から奥方向（ディスプレイ面から見て観察者から遠ざかる方向）に離れた遠景領域の画質劣化を防ぐために、予め作成しておいた遠景の単視点画像を多視点画像の背景として合成する方法が知られている（例えば、特許文献１参照）。この方法を使うと遠景の立体感を正確に再現することができなくなるが、遠景の画質劣化を防ぐことができる。一般に、人間の視覚機能は遠景の立体感に対して鈍感であるため、この方法は多くのＣＧ（コンピュータグラフィックス）のコンテンツにおいて効果的に機能する。
【０００５】
また、多視点画像を作成する際に、ディスプレイ面からどの程度奥方向に離れた領域を遠景とみなすかを指定するための方法が知られている（例えば、特許文献２参照）。利用者は背景ボード（本明細書では遠景ボードと表記する）と呼ばれるＣＧの四角形モデルをディスプレイ面に平行に配置して、遠景領域と、それより手前の領域の境界面を指定する。この遠景ボードを前後に移動させることにより、遠景領域の範囲を調節することが可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２１１２９１号公報
【特許文献２】特開２００７−９６９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一般に、ＣＧのコンテンツを描画する際に、描画対象物の輪郭線のジャギー（階段状のギザギザ）を除去して画質を向上させるアンチエイリアシングと呼ばれる処理技術が用いられる。特許文献１に記載の立体画像描画装置においても、アンチエイリアシングを適用することによって、多視点画像の輪郭線の画質を向上することが可能である。
【０００８】
しかしながら、特許文献１に記載の立体画像描画装置では、遠景ボードあるいは近景ボードをまたいで描画対象物が配置されている場合に、その描画対象物にアンチエイリアシングを施すと、遠景と中景の描画結果の境界、および中景と近景の描画結果の境界に切れ目が表示されてしまう問題があった。
【０００９】
本発明は、上記事情を考慮してなされたものであって、遠景ボードあるいは近景ボードをまたいで描画対象物が配置されている場合に、上記描画対象物にアンチエイリアシングを施しても、遠景と中景の描画結果の境界または中景と近景の描画結果の境界に切れ目が表示されるのを可及的に防止することのできる立体画像描画装置および描画方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様による立体画像描画装置は、多視点カメラに関するデータと、描画対象物の形状に関するデータと、遠景領域および近景領域の範囲に関するデータと、描画処理の手順を記述したプログラムに関するデータと、を少なくとも含んだデータを記憶するとともに画像メモリを有するデータ記憶部と、前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラによって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、作成された１枚の遠景画像を前記画像メモリに書き込む遠景画像作成部と、前記遠景画像作成部によって作成された前記遠景画像を前記画像メモリから読み出して、前記遠景画像に投影されている描画対象物の輪郭線近傍の各画素に対して、前記画素の色と、前記画素に隣接する複数の画素の色を混合する処理を行うことにより前記遠景画像を修正し、この修正された前記遠景画像を前記画像メモリに記憶する遠景画像混色部と、前記データ記憶部から近景領域の範囲に関するデータを読み出して、前記近景領域の範囲を奥方向に伸ばすことにより前記近景領域を拡張する近景領域拡張部と、前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラによって、前記近景領域拡張部によって拡張された前記近景領域内にある描画対象物の投影画像である近景画像を作成し、作成された１枚の近景画像を前記画像メモリに書き込む近景画像作成部と、前記近景画像作成部によって作成された前記近景画像を前記画像メモリから読み出して、前記近景画像に投影されている描画対象物の輪郭線近傍の各画素に対して、前記画素の色と、前記画像に隣接する複数の画素の色を混合する処理を行うことにより前記近景画像を修正し、この修正された前記近景画像を前記画像メモリに記憶する近景画像混色部と、前記近景画像混色部によって修正された前記近景画像を前記画像メモリから読み出して、修正された前記近景画像の画素のうち、前記近景画像混色部によって背景色と混合された画素を見つけ、前記画素の色を、混合される前の色に置き換える近景画像混色除去部と、前記遠景画像混色部によって修正された前記遠景画像を前記画像メモリから読み出して、修正された前記遠景画像を、任意の奥行きに配置されたコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記画像メモリに書き込む遠景ボード描画部と、前記データ記憶部から遠景領域および近景領域の範囲に関するデータを読み出して、前記遠景領域と近景領域との間にある中景領域の範囲に関するデータを計算し、前記中景領域の範囲を奥方向に伸ばして拡張する処理を行う中景領域拡張部と、前記データ記憶部からコンピュータグラフィックスを描画するために必要なデータを読み出して、前記中景領域内にある描画対象物の投影画像である中景画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された各中景画像を前記画像メモリに書き込む中景画像描画部と、前記中景画像描画部によって描画された各中景画像を前記画像メモリから読み出して、各中景画像に投影されている描画対象物の輪郭線近傍の各画素に対して、前記画素の色と、前記画素に隣接する複数の画素の色を混合する処理を行うことにより修正された中景画像を作成し、修正された前記中景画像のそれぞれを前記画像メモリに記憶する中景画像混色部と、前記近景画像混色部によって修正された前記近景画像を、前記画像メモリから読み出して、前記近景画像を、任意の奥行きに配置されたコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記画像メモリに書き込む近景ボード描画部と、前記画像メモリから、前記遠景ボード描画部、前記中景画像描画部、および前記近景ボード描画部によって描画された複数枚の画像を読み出して、画素配列を並べ替えて立体表示可能な形式の画像に変換し、前記画像メモリに書き込む画素配列変換部と、前記画素配列変換部によって作成された立体表示可能な形式の前記画像を前記画像メモリから読み出して、観察者に提示する提示部と、を備えていることを特徴とする。
【００１１】
また、本発明の他の態様による立体画像描画方法は、色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリの全画素のアルファ値をゼロに初期設定するステップと、多視点カメラの中央位置付近に配置した１台のカメラによって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、前記画像メモリに記憶するステップと、前記遠景画像をアンチエイリアシング処理するステップと、
近景領域を奥方向に拡張するステップと、前記多視点カメラの中央位置付近に配置した１台のカメラによって、拡張された近景領域にある前記描画対象物の投影像を計算し、前記画像メモリの近景画像を記憶する領域に対して前記投影像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換えるステップと、前記近景画像をアンチエイリアシング処理するステップと、前記アンチエイリアシング処理された前記近景画像から、背景色と混合された画素を見つけ、この画素の色を混合される前の色に置き換えるステップと、前記多視点カメラによって前記ボードの多視点画像を描画し、前記画像メモリに記憶するステップと、中景領域を奥方向に拡張するステップと、前記拡張された中景領域内にある前記描画対象物の多視点画像を描画し、前記画像メモリに記憶するステップと、前記中景画像をアンチエイリアシング処理するステップと、前記アンチエイリアシング処理された前記中景画像を、同じカメラによって描画された前記遠景ボードの多視点画像が記憶されている前記画像メモリに上書きして記憶するステップと、前記多視点カメラに含まれるすべてのカメラによって近景ボードの多視点画像を描画し、同じカメラによって描画された前記中景画像が記憶されている前記画像メモリに上書きして多視点画像として記憶するステップと、前記多視点画像を立体表示可能な形式の画像に変換するステップと、前記立体表示可能な形式の画像を立体画像として提示するステップと、を備えていることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、遠景ボードあるいは近景ボードをまたいで描画対象物が配置されている場合に、その描画対象物にアンチエイリアシングを施しても、遠景と中景の描画結果の境界または中景と近景の描画結果の境界に切れ目が表示されるのを可及的に防止することができる。
【図面の簡単な説明】
【００１３】
【図１】参考例による立体画像描画装置を示すブロック図。
【図２】描画対象物の形状を示す図。
【図３】遠景領域の例を示す図。
【図４】遠景画像の一例を示す図。
【図５】アンチエイリアシング後の遠景画像の一例を示す図。
【図６】近景領域の例を示す図。
【図７】近景画像の一例を示す図。
【図８】アンチエイリアシング後の近景画像の一例を示す図。
【図９】遠景ボードの描画結果の一例を示す図。
【図１０】中景領域の例を示す図。
【図１１】遠景画像に中景画像を上書きした場合の一例を示す図。
【図１２】図１１に示す画像をアンチエイリアシングした場合の一例を示す図。
【図１３】アンチエイリアシング後の近景画像を、アンチエイリアシング後の中景ボードの描画結果に合成した結果を示す図。
【図１４】本発明の一実施形態に係る立体画像描画装置を示すブロック図。
【図１５】近景領域を拡張する一例を示す図。
【図１６】拡張された近景領域の描画結果の一例を示す図。
【図１７】アンチエイリアシング後の拡張された近景領域の描画結果の一例を示す図。
【図１８】アンチエイリアシング後に混色除去された拡張された近景領域の描画結果の一例を示す図。
【図１９】中景領域の拡張の一例を示す図。
【図２０】遠景ボードの描画結果に、拡張された中景領域を上書きした場合の一例を示す図。
【図２１】遠景ボードの描画結果に、アンチエイリアシング後の拡張された中景領域を上書きした場合の一例を示す図。
【図２２】近景ボードの描画結果を示す図。
【図２３】近景ボードのアルファブレンディングの結果を示す図。
【図２４】一実施形態に係る立体画像描画装置を用いた描画方法の第１具体例を示すフローチャート。
【図２５】一実施形態による立体画像描画装置を用いた描画方法の第１具体例を示すフローチャート。
【図２６】一実施形態による立体画像描画装置を用いた描画方法の第２具体例を示すフローチャート。
【図２７】一実施形態による立体画像描画装置を用いた描画方法の第２具体例を示すフローチャート。
【発明を実施するための形態】
【００１４】
以下に図面を参照して本発明の実施形態を説明する。
【００１５】
まず、本発明の実施形態を説明する前に、参考例について説明する。この参考例による立体画像描画装置の概略構成を図１に示す。この参考例の立体画像描画装置は、ＣＧデータ記憶部１と、遠景画像作成部２と、遠景画像混色部３と、近景画像作成部４と、近景画像混色部５と、遠景ボード描画部６と、中景画像描画部７と、中景画像混色部８と、近景ボード描画部９と、画素配列変換部１０と、提示部１１と、を備えている。
【００１６】
この参考例による立体画像描画装置の各処理ブロックの動作を図２（ａ）乃至図２（ｄ）を参照して説明する。図２（ａ）は、直方体の描画対象物１００が、遠景ボード２１と近景ボード３１の両方をまたいで配置されていることを示す図である。すなわち、描画対象物１００が、図２（ｂ）に示す、観察者から見て遠景ボード２１よりも奥方向に位置する遠景領域２０と、図２（ｃ）に示す、遠景ボード２１と近景ボード３１との間の中景領域４０と、図２（ｄ）に示す観察者から見て近景ボード３１よりも手前に位置する近景領域３０とにそれぞれ分割されて配置されていることを示す。
【００１７】
［ＣＧデータ記憶部１］
ＣＧデータ記憶部１には、多視点カメラに関するデータと、遠景領域および近景領域の範囲に関するデータと、描画対象物１００に関するデータと、光源に関するデータと、描画処理の手順を記述したプログラムに関するデータと、遠景画像作成部２によって作成される遠景画像に関するデータと、近景画像作成部３によって作成される近景画像に関するデータと、遠景ボード描画部６、および中景画像描画部７、近景ボード描画部９によって描画される多視点画像に関するデータと、画素配列変換部１０によって作成される立体表示可能な形式の画像に関するデータと、を記憶している。
【００１８】
遠景画像に関するデータと、近景画像に関するデータと、多視点画像に関するデータは、ＣＧにおいて一般的な画像形式であるＲＧＢＡ形式でＣＧデータ記憶部１に記憶されるものとする。ここで、Ｒ、Ｇ、Ｂは画像を構成する各画素の赤、緑、青の値を表し、Ａは各画素のアルファ値（不透明度）を表している。
【００１９】
なお、多視点画像を描画するために必要となる複数のカメラに関するデータは、すべてＣＧデータ記憶部１に記憶しておいてもよいし、代表的なカメラに関するデータだけをＣＧデータ記憶部１に記憶しておき、必要に応じて残りのカメラに関するデータを計算して求めるように構成しても構わない。また、ＣＧデータ記憶部１に保持されるＣＧデータは上記の形式に限定されず、所望のＣＧを描画するために必要となるあらゆるデータを含んでもよい。
【００２０】
［遠景画像作成部２］
遠景画像作成部２は、遠景領域内の描画対象物１００を描画するために必要な各種データをＣＧデータ記憶部１から読み出して、１台のカメラによって遠景領域内にある描画対象物２００の投影画像を作成し、作成された１枚の投影画像をＣＧデータ記憶部１に確保されている画像メモリ（図示せず）に書き込む。
【００２１】
図３に示すように、本明細書における遠景領域２０とは、遠景ボード２１とファークリップ面（以下、Ｆａｒクリップ面とも云う）２２に挟まれた領域のことであり、ディスプレイ面１８から奥方向に離れたところに位置している。ここで、図３は投影画像を作成する際に、カメラ２００および描画対象物を側面から見た図である。遠景ボード２１は、例えば、ＣＧの四角形モデルをディスプレイ面に平行に配置したものである。なお、カメラ２００から見てディスプレイ面１８よりも手前方向に離れて位置する近景ボード３１が存在し、この近景ボード３１よりも更に手前にニアクリップ面（以下、Ｎｅａｒクリップ面ともいう）３２が存在する。
【００２２】
遠景画像作成部２では、最初に、ＣＧデータ記憶部１から多視点カメラの中心位置が読み出される。あるいは、ＣＧデータ記憶部１から多視点カメラの位置座標列が読み出されて、それらの中心位置が計算される。次に、得られた中心位置に１台のカメラ２００が配置される。あるいは、多視点カメラに含まれるカメラの中から、得られた中心位置に最も近い１台のカメラ２００が選択される。次に、その１台のカメラ２００によって遠景ボード２１とＦａｒクリップ面２２に挟まれた領域内にある描画対象物の投影画像が作成される。このようにして作成された投影画像はＣＧデータ記憶部１に確保されている画像メモリに書き込まれて記憶される。本明細書では、遠景画像作成部２によって作成された投影画像のことを遠景画像という。例えば、図２（ｂ）に示す遠景領域の投影画像を作成すると、図４に示すような遠景画像が得られる。
【００２３】
［遠景画像混色部３］
遠景画像混色部３は、遠景画像作成部２によって作成された遠景画像をＣＧデータ記憶部１から読み出して、その遠景画像に投影されている遠景領域内の描画対象物の輪郭線近傍の各画素に対して、その画素の色と、隣接する複数の画素の色を混合する処理を行う。この処理はアンチエイリアシングと呼ばれ、ＧＰＵ（グラフィックスプロセッシングユニット）などのハードウェアを用いて高速に実行することが可能である。例えば、図４に示す遠景画像にアンチエイリアシングを施すと、図５に示すような画像が得られる。
【００２４】
［近景画像作成部４］
近景画像作成部４は、近景領域内の描画対象物を描画するために必要な各種データをＣＧデータ記憶部１から読み出して、１台のカメラによって近景領域内にある描画対象物の投影画像を作成し、作成された１枚の投影画像をＣＧデータ記憶部１に確保されている画像メモリに書き込む。
【００２５】
図６に示すように、本明細書における近景領域３０とは、Ｎｅａｒクリップ面３２と近景ボード２１に挟まれた領域のことであり、カメラ２００から見てディスプレイ面１８より手前方向に飛び出したところに位置している。ここで、図６は、投影画像を作成する際に、カメラ２００および描画対象物を側面から見た図である。
【００２６】
近景画像作成部４では、最初に、ＣＧデータ記憶部１に確保されているＲＧＢＡ形式の画像メモリの全画素のアルファ値がゼロにクリアされる。次に、遠景画像作成部２において遠景画像を作成したときと同じように、多視点カメラの中心位置に１台のカメラが配置されるか、あるいは、多視点カメラに含まれるカメラの中から中心位置に最も近い１台のカメラが選択される。その１台のカメラによって近景領域３０内にある描画対象物の投影画像が作成される。作成された投影画像は、さきほどアルファ値をクリアしておいたＣＧデータ記憶部１に確保されているＲＧＢＡ形式の画像メモリに書き込まれる。このとき、新たに書き込まれた各画素のアルファ値は非ゼロ（例えば２５５）に書き換えられる。本明細書では、ここで作成された投影画像のことを近景画像と表記する。
【００２７】
例えば、図２（ｄ）に示す近景領域３０の投影画像を作成すると、図７（ａ）、７（ｂ）に示すような近景画像が得られる。ここで、図７（ａ）は近景画像をＲＧＢ値で表示し、図７（ｂ）は近景画像をアルファ値で表示している。これらの図から分かるように、近景画像においては、近景領域３０内の描画対象物の投影像によって新たに書き込まれた画素のアルファ値は２５５になり、それ以外の画素のアルファ値はゼロにクリアされたまま維持されることになる。
【００２８】
［近景画像混色部５］
近景画像混色部５は、近景画像作成部４によって描画された近景画像をＣＧデータ記憶部１から読み出して、その近景画像に投影されている近景領域内の描画対象物の輪郭線近傍の各画素に対して、その画素の色と、隣接する複数の画素の色を混合する処理を行う。
【００２９】
例えば、図７（ａ）、７（ｂ）に示す近景画像にアンチエイリアシングを施すと、図８（ａ）、８（ｂ）に示すような画像がそれぞれ得られる。ここで、図８（ａ）はアンチエイリアシング後の近景画像をＲＧＢ値で表示し、図８（ｂ）はアンチエイリアシング後の近景画像をアルファ値で表示している。
【００３０】
［遠景ボード描画部６］
遠景ボード描画部６では、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出される。次に、多視点カメラに含まれるカメラのうちの１つが選択されて、そのカメラによって遠景ボードの投影画像が描画される。このとき、遠景画像混色部３によって作成されたアンチエイリアシング後の遠景画像がＣＧデータ記憶部１から読み出されて、遠景ボード全体を覆うようにテクスチャマッピングによって貼り付けられる。これらの処理を多視点カメラに含まれるすべてのカメラについて繰り返すことによって、遠景ボードの多視点画像を描画することができる。
【００３１】
図９（ａ），９（ｂ）に遠景ボードの多視点画像の一例を示す。図９（ａ）は、図５に示すアンチエイリアシング後の遠景画像を遠景ボードに貼り付けて描画した結果を示している。遠景ボードの多視点画像は、各カメラによって描画された遠景ボードの投影画像をタイル状に並べた形式で、ＣＧデータ記憶部１に確保された画像メモリに書き込まれて記憶される。図９（ｂ）は９台のカメラによって描画された多視点画像の一例を表している。この図９（ｂ）では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。
【００３２】
なお、遠景ボードのようなＣＧモデルに対して画像を貼り付ける技法はテクスチャマッピングと呼ばれ、ＧＰＵ（グラフィックスプロセッシングユニット）などのハードウェアを用いて高速に実行することが可能である。
【００３３】
［中景画像描画部７］
中景画像描画部７では、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出される。次に、多視点カメラに含まれるカメラのうちの１つが選択されて、そのカメラによって近景ボードと遠景ボードに挟まれた領域内にある描画対象物の投影画像が描画される。図１０に示すように、本明細書では近景ボード３１と遠景ボード２１とに挟まれた領域のことを中景領域４０と表記する。描画結果は、遠景ボード描画部６において、同じカメラによって描画された遠景ボードの投影画像と同じ画像メモリに上書きされて記憶される。これらの処理を多視点カメラ２２０のすべてのカメラについて繰り返すことによって、遠景ボード描画部６によって描画された背景ボード３１の多視点画像の上に、中景領域内にある描画対象物の投影像を合成することができる。
【００３４】
図９（ａ）、９（ｂ）に示した遠景ボードの多視点画像に対して、中景の多視点画像を上書き描画した結果の例を図１１（ａ）、１１（ｂ）にそれぞれ示す。この図では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。
【００３５】
［中景画像混色部８］
中景画像混色部８は、中景画像描画部７によって描画された多視点画像をＣＧデータ記憶部１から読み出して、各多視点画像に投影されている中景領域内の描画対象物の輪郭線近傍の各画素に対して、その画素の色と、隣接する複数の画素の色を混合する処理を行う。例えば、図１１（ａ）、１１（ｂ）に示す画像にアンチエイリアシングを施すと、図１２（ａ）、１２（ｂ）に示すような画像がそれぞれ得られる。図１２（ａ）、１２（ｂ）から分かるように、遠景画像と中景画像の境界に切れ目（横方向の線）５１が表示されてしまっている。
【００３６】
ここで、この切れ目が生じる理由を説明する。まず、図９（ａ）、９（ｂ）に示す遠景ボードの描画結果において、描画対象物の上面の切断線の近傍の画素には、上面１１０の色と奥面１１２の色を混合した色が書き込まれている。この画像に対して、図１１（ａ）、１１（ｂ）に示す中景領域を上書き描画すると、上記切断線の近傍では、上面１１０の色と奥面１１２の色の混合色が書き込まれていた画素と、新たに中景領域の上面１１４の色が書き込まれた画素が隣接することになる。ここにアンチエイリアシングを施すと、これら隣接する画素の色が混合されてしまい、本来であれば、遠景画像および中景画像の上面の色が書き込まれるべき切断線の近傍の画素に混合色が書き込まれるため、切れ目が生じたように見えてしまう。
【００３７】
［近景ボード描画部９］
近景ボード描画部９では、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出される。次に、多視点カメラに含まれるカメラのうちの１つが選択されて、そのカメラによって近景ボードの投影画像が描画される。このとき、近景画像混色部５によって作成されたアンチエイリアシング後の近景画像がＣＧデータ記憶部１から読み出されて、近景ボード全体を覆うようにテクスチャマッピングによって貼り付けられる。
【００３８】
描画結果は、中景画像描画部７において、同じカメラによって描画された投影画像と同じ画像メモリに上書きされて記憶される。ただし、このときに書き込み元の画素（すなわち近景画像の画素）のうち、アルファ値が非ゼロの画素だけが画像メモリに書き込まれるようにする。こうすることにより、近景画像の画素のうち、近景領域内にある描画対象物の投影像によって新たに書き込まれた画素だけを上書きすることができる。以上の処理を多視点カメラに含まれるすべてのカメラについて繰り返すことによって、近景ボードの多視点画像を描画することができる。なお、このようなアルファ値に基づいた書き込み制御の仕組みはアルファテストと呼ばれ、ＧＰＵなどのハードウェアを用いて高速に実行することが可能である。
【００３９】
図８（ａ）、８（ｂ）に示すアンチエイリアシング後の近景画像を近景ボードに貼り付けて描画して、図１２（ａ）、１２（ｂ）に示すアンチエイリアシング後の中景ボードの描画結果に合成した結果を図１３（ａ）、１３（ｂ）にそれぞれ示す。この図では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。図１３（ａ）、１３（ｂ）から分かるように、中景と近景の境界に切れ目（横方向の線）５３が表示されてしまっている。
【００４０】
先ほどと同様に、この切れ目が生じる理由を説明する。まず、図８（ａ）、８（ｂ）に示す近景画像において、描画対象物の上面の切断線の近傍の画素には、上面の色と背景色を混合した色が書き込まれている。この近景画像を、図１３（ａ）、１３（ｂ）に示すように近景ボードに貼り付けて上書き描画すると、上記切断線５３の近傍では、中景画像の上面の色と奥面の色の混合色が書き込まれていた画素と、新たに近景画像の上面の色と背景色を混合した色が書き込まれた画素が隣接することになる。ここにアンチエイリアシングを施すと、これら隣接する画素の色が混合されてしまい、本来であれば、中景画像および近景画像の上面の色が書き込まれるべき、切断線の近傍の画素に混合色が書き込まれるため、切れ目が生じたように見えてしまう。
【００４１】
［画素配列変換部１０］
画素配列変換部１０は、ＣＧデータ記憶部１から多視点画像を読み出し、画素配列を並べ替えて立体表示可能な形式に変換し、変換結果をＣＧデータ記憶部１に書き込む。
【００４２】
［提示部１１］
提示部１１は、ＣＧデータ記憶部１に記憶されている立体表示可能な形式の画像を観察者に提示するためのディスプレイやレンチキュラーレンズ、プリンタなどで構成される。
【００４３】
この参考例の立体画像描画装置においては、ディスプレイ面から手前方向に飛び出した近景領域の画質劣化を防ぐために、あらかじめ作成しておいた近景の単視点画像を多視点画像の前景として合成している。この参考例の立体画像描画装置を使うと近景の立体感を正確に再現することができなくなるが、近景の画質劣化を防ぐことができる。一般に、人間の視覚機能は遠景の立体感に対しては鈍感であるが、近景の立体感に対しては敏感であるため、ＣＧコンテンツによっては近景領域の表示結果に不自然さを感じる場合がある。しかし、その不自然さは許容できる程度であり、それに比べて画質劣化を防ぐことのできる効果は非常に大きいことが説明されている。
【００４４】
ここまで説明してきたように、図１に示す参考例による立体画像描画装置では、遠景ボードおよび近景ボードをまたいで描画対象物１００が配置されている場合に、その描画対象物にアンチエイリアシングを施すと、遠景画像と中景画像の描画結果の境界、および中景画像と近景画像の描画結果の境界に切れ目が生じてしまう問題があった。
【００４５】
このような問題は、以下に説明する本発明の一実施形態による立体画像描画装置によって解決される。
【００４６】
（一実施形態）
本発明の一実施形態による立体画像描画装置を図１４に示す。本実施形態による立体画像描画装置は、図１に示す参考例の立体画像描画装置において、近景領域拡張部１２と、近景画像混色除去部１３と、中景領域拡張部１４と、新たに設けた構成となっている。
【００４７】
次に、本実施形態において、新たに設けられた各処理ブロックの動作について説明する。
【００４８】
［近景領域拡張部１２］
近景領域拡張部１２は、ＣＧデータ記憶部１から近景領域の範囲に関するデータを読み出して、近景領域の奥面（近景領域と中景領域の境界面）を少しだけ奥方向に移動して近景領域を拡張し、拡張された近景領域の範囲に関するデータを近景画像作成部４に送る。例えば、図２（ｄ）に示す近景領域の場合、図１５に矢印で示すように、近景領域３０の奥面３４が奥方向に移動されて新たな奥面３４ａとなって、近景領域３０が拡張される。なお、奥方向への移動量については、外部から指定された値がＣＧデータ記憶部１に記憶されており、その値を近景領域拡張部１２がＣＧデータ記憶部１から読み出して使うものとする。
【００４９】
［近景画像作成部４］
本実施形態に係る近景画像作成部４の処理内容は、近景領域拡張部１２によって拡張された近景領域内について処理を行うことを除いて、図１に示す参考例の立体画像描画装置における近景画像作成部４の処理と同じである。例えば、図１５に示すように拡張された近景領域内にある描画対象物の投影画像を作成すると、図１６（ａ）、１６（ｂ）に示すような近景画像が得られる。ここで、図１６（ａ）、１６（ｂ）は近景画像をＲＧＢ値で表示し、図１６（ｂ）は近景画像をアルファ値で表示している。図７（ａ）、７（ｂ）に示す、参考例の立体画像描画装置における近景画像と比べると、図１６（ａ）、１６（ｂ）に示す本実施形態における近景画像では少しだけ奥方向まで余分に描画されていることが分かる。
【００５０】
［近景画像混色部５］
本実施形態に係る近景画像混色部５の処理内容は、図１に示す参考例の立体画像描画装置における近景画像混色部５の処理と同じである。例えば、図１６（ａ）、１６（ｂ）に示す近景画像にアンチエイリアシングを施すと、図１７（ａ）、１７（ｂ）に示すような画像がそれぞれ得られる。
【００５１】
［近景画像混色除去部１３］
近景画像混色除去部１３は、最初に、近景画像混色部５によって生成されたアンチエイリアシング後の近景画像をＣＧデータ記憶部１から読み出す。次に、その近景画像の画素のうち、アルファ値が０より大きく２５５より小さい（アルファ値が１〜２４４の範囲にある）画素を見つける。ここで見つかった画素は、近景画像混色部５によって背景色と混合された画素に相当する。これらの画素のアルファ値に基づいて、ＲＧＢ値を混合される前の値に戻すことにより、近景画像混色部５によって背景色と混合された画素の混色を除去する。なお、近景画像のアルファ値については、近景画像混色部５によって混色された値を維持する。
【００５２】
一旦、混色された画素のＲＧＢ値を完全に同じ元の値に戻すのが難しい場合は、近傍の画素からアルファ値が２５５の画素を見つけて、それらの画素のＲＧＢ値の平均値を元のＲＧＢ値の近似値としても構わない。例えば、図１７（ａ）、１７（ｂ）に示すアンチエイリアシング後の近景画像の混色を除去すると、図１８（ａ）、１８（ｂ）に示すような画像が得られる。繰り返しになるが、図１７（ｂ）に示すアルファ値で表示した画像と、図１８（ｂ）に示すアルファ値で表示した画像は同じであり、混色が除去されるのはＲＧＢ値の画像だけであることに注意する。
【００５３】
［中景領域拡張部１４］
中景領域拡張部１４は、最初に、ＣＧデータ記憶部１から遠景領域および近景領域の範囲に関するデータを読み出して、これら２つの領域に挟まれた中景領域の範囲に関するデータを計算する。次に、計算された中景領域の奥面（中景領域と遠景領域の境界面）を少しだけ奥方向に移動して中景領域を拡張し、拡張された中景領域の範囲に関するデータを中景画像描画部７に送る。例えば、図２（ｃ）に示す中景領域の場合、図１９に矢印で示すように、中景領域４０の奥面４４が奥方向に移動されて新たな奥面４４ａとなって、中景領域４０が拡張される。なお、奥方向への移動量については、外部から指定された値がＣＧデータ記憶部１に記憶されており、その値を中景領域拡張部１４がＣＧデータ記憶部１から読み出して使うものとする。
【００５４】
［中景画像描画部７］
本実施形態に係る中景画像描画部７の処理内容は、中景領域拡張部１４によって拡張された中景領域について描画を行うことを除いて、図１に示す参考例の立体画像描画装置における中景画像描画部７の処理と同じである。例えば、図９（ａ）、９（ｂ）に示す遠景ボードの描画結果に対して、図１９に示すように拡張された中景領域を上書き描画すると、図２０（ａ）、２０（ｂ）に示すような多視点画像が描画される。この図２０（ｂ）では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。図１１（ａ）、１１（ｂ）に示す、参考例の立体画像装置における多視点画像と比べると、図２０（ａ）、２０（ｂ）に示す、本実施形態における多視点画像は少しだけ奥方向まで余分に描画されていることが分かる。
【００５５】
図９（ａ）、９（ｂ）に示す遠景ボードの描画結果において、描画対象物の上面の切断線の近傍の画素には、上面の色と奥面の色を混合した色が書き込まれている。しかし、この画像に対して、図２０（ａ）、２０（ｂ）に示すように奥方向に拡張された中景領域を上書き描画すると、上記切断線の近傍は中景領域の上面の色で上書きされて隠されることになる。
【００５６】
［中景画像混色部８］
本実施形態に係る中景画像混色部８の処理内容は、図１に示す参考例による立体画像描画装置における中景画像混色部８の処理と同じである。例えば、図２０（ａ）、２０（ｂ）に示す画像にアンチエイリアシングを施すと、図２１（ａ）、２１（ｂ）に示すような画像が得られる。この図２１（ｂ）では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。図１２（ａ）、１２（ｂ）に示す、参考例における画像とは異なり、図２１（ａ）、２１（ｂ）に示す、本実施形態における画像には、遠景と中景の描画結果の境界に切れ目（横方向の線）が表示されておらず、滑らかにつながっていることが分かる。そして、奥側にずれた中景領域の上面の奥側の切断線の近傍では、近景領域の上面の色が書き込まれていた画素と、新たに中景領域の上面の色が書き込まれた画素が隣接することになる。これらはほぼ同じ色であるので、この部分にアンチエイリアシングが施されて画素の色が混合されても、元の色からほとんど変化しない。したがって、切れ目が生じたように見えることはない。
【００５７】
［近景ボード描画部９］
近景ボード描画部９は、ＣＧデータ記憶部１からＣＧを描画するために必要な各種データを読み出して、近景ボードを多視点カメラで描画する。このとき、ＣＧデータ記憶部１に記憶されている混色除去された近景画像が、近景ボード全体を覆うように貼り付けられる。描画結果は、中景画像描画部７において、同じカメラで中景領域を描画したときの画像メモリに上書きされて記憶されるが、アルファテストの機能を用いて、書き込み元の画素（すなわち近景画像の画素）のうち、アルファ値が非ゼロの画素だけが画像メモリに書き込まれるようにする。このとき、デプステストの機能を無効にすることに注意する。
【００５８】
多視点画像の例として、多視点カメラの中心に位置するカメラから、図１８（ａ）、１８（ｂ）に示す混色除去された近景画像を、近景ボード３１に貼り付けて描画した結果を図２２（ａ）、２２（ｂ）に示す。この図２２（ｂ）では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。図１３（ａ）、１３（ｂ）に示す、参考例の立体画像描画装置における画像と比べると、図２２（ａ）、２２（ｂ）に示す本実施形態における画像は少しだけ奥方向まで余分に描画されていることが分かる。
【００５９】
図２１（ａ）、２１（ｂ）において、中景領域の上面の手前側の切断線の近傍の画素には、上面の色と下面の色を混合した色が書き込まれているが、この画像に対して、図２２（ａ）、２２（ｂ）に示すように奥方向に拡張された近景領域を上書き描画すると、上記切断線の近傍は近景領域の上面の色で上書きされて隠されることになる。
【００６０】
続いて、近景ボード描画部９では、さきほど書き込んだ近景画像の各画素のアルファ値と、書き込み先の画素に書き込まれていたアルファ値を用いて、それぞれの画素のＲＧＢ値を混合する処理が行われる。このようなアルファ値に基づいてＲＧＢ値を混合する仕組みはアルファブレンディングと呼ばれ、ＧＰＵなどのハードウェアを用いて高速に実行することが可能である。アンチエイリアシングでは隣接する複数の画素のＲＧＢ値が混合されるのに対して、アルファブレンディングでは、異なるタイミングで同じ画素に書き込まれる複数のＲＧＢ値が混合される点が異なる。例えば、図２２（ａ）、２２（ｂ）に示す近景ボードの描画結果にアルファブレンディングを施すと、図２３（ａ）、２３（ｂ）に示すような画像が得られる。この図２３（ｂ）では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。図１３（ａ）、１３（ｂ）に示す、参考例における画像とは異なり、図２３（ａ）、２３（ｂ）に示す、本実施形態における画像には、中景と近景の描画結果の境界に切れ目（横方向の線）が表示されておらず、滑らかにつながっていることが分かる。奥側にずれた近景領域の上面の切断線の近傍では、中景領域の上面の色が書き込まれていた画素に対して、新たに近景領域の上面の色が書き込まれることになる。これらはほぼ同じ色であるので、この部分にアルファブレンディングが施されて画素の色が混合されても、元の色からほとんど変化しない。したがって、切れ目が生じたように見えることはない。
【００６１】
一方、近景領域の手前の面の左右および下側の輪郭線の近傍では、背景色が書き込まれていた画素に対して、新たに近景領域の手前の面の色が書き込まれることになる。これら２つの色がアルファブレンディングによって混合されることにより、輪郭線のジャギーが除去されて滑らかに見えるようになる。
【００６２】
なお、近景領域の手前の面の上側の輪郭線の近傍については、図１８（ｂ）から分かるようにアルファ値が２５５であるため、書き込み元の近景画像の画素が混合されずにそのまま書き込まれる。したがって、図２３（ａ）、２３（ｂ）ではアンチエイリアシングされた輪郭線がそのまま表示されることになる。
【００６３】
次に、本実施形態の立体画像描画装置を用いた描画方法の第１具体例を図２４、図２５を参照して説明する。この第１具体例の描画方法においては、最初に、多視点カメラに含まれる全てのカメラから遠景ボードだけを描画する（ステップＳ１００〜１０８）。次に、多視点カメラの全てのカメラから中景領域だけを描画する（ステップＳ１０９〜Ｓ１１３）。最後に、多視点カメラの全てのカメラから近景ボードだけを描画する（ステップＳ１１４〜Ｓ１１６）。
【００６４】
すなわち、まず、多視点カメラに含まれる１台のカメラ、例えば、中央位置付近に配置されたカメラについての遠景画像を遠景画像作成部２によって作成する（ステップＳ１００）。この遠景画像の作成は、まず、ＣＧデータ記憶部１から多視点カメラの中心位置または位置座標列が読み出され、この読み出された中心位置または位置座標列に１台のカメラが配置されたときの遠景領域２０内にある描画対象物の投影画像（遠景画像）が作成される。このようにして作成された投影画像はＣＧデータ記憶部１に確保されている画像メモリに書き込まれて記憶される。
【００６５】
その後、これらの作成された遠景画像を遠景画像混色３によって、アンチエイリアシングする（ステップＳ１０１）。続いて、近景領域拡張部１２によって、近景領域を拡張し（ステップＳ１０２）、この拡張された近景領域を用いて、多視点カメラに含まれる１台のカメラ、例えば、中央位置付近に配置されたカメラについての近景画像を作成し（ステップＳ１０３）、この作成された近景画像を、近景画像混色部５によってアンチエイリアシングする（ステップＳ１０４）。続いて、アンチエイリアシングされた近景画像から、近景画像混色除去部１３によってＲＧＢ値の混色除去する（ステップＳ１０５）。
【００６６】
次いで、遠景ボード描画部６によって遠景ボードの投影画像を描画する（ステップＳ１０６）。すなわち、多視点カメラに含まれる１つのカメラが選択され、そのカメラによって遠景ボードの投影画像が描画される。このとき、遠景画像作成部２によって作成された遠景画像がＣＧデータ記憶部１から読み出され、遠景ボード全体を覆うようにテクスチャマッピングによって貼り付けられる。これらの処理は、多視点カメラに含まれる全てのカメラについて行われる（ステップＳ１０７、Ｓ１０８）。
【００６７】
次に、中景領域拡張部１４によって、中景領域を拡張する（ステップＳ１０９）。続いて、多視点カメラに含まれる１つのカメラが選択され、この選択されたカメラによって上記拡張された中景領域内にある描画対象物の投影画像（中景画像）が中景画像描画部７によって描画される（ステップＳ１１０）。この描画された中景画像を中景画像混色部８によって、アンチエイリアシングする（ステップＳ１１１）。これらの中景画像の描画処理およびアンチエイリアシング処理は、多視点カメラに含まれる全てのカメラについて行われる（ステップＳ１１２、Ｓ１１３）。
【００６８】
次に、多視点カメラに含まれる全てのカメラについて、近景ボード描画部９によって近景ボードの投影画像を描画する（ステップＳ１１４、Ｓ１１５、Ｓ１１６）。すなわち、多視点カメラに含まれる１つのカメラが選択され、この選択されたカメラによって近景ボードの投影画像が描画される（ステップＳ１１４）。このとき、近景画像作成部４によって作成された近景画像がＣＧデータ記憶部１から読み出されて近景ボード全体を覆うように、テクスチャマッピングによって貼り付けられる。これらの処理は、多視点カメラに含まれる全てのカメラについて行われる（ステップＳ１１５、Ｓ１１６）。
【００６９】
次に、画素配列変換部１０によって、多視点画像を立体表示可能な形式の画像に変換し（ステップＳ１１７）、その後、提示部８によって上記立体表示可能な形式の画像を立体画像として提示する（ステップＳ１１８）。
【００７０】
これら図２４、図２５に示す処理手順は、図２６、図２７に示す第２具体例の処理手順のように、多視点カメラのうちのある１つのカメラによって、遠景ボードの投影画像、中景領域内の描画対象物の投影画像、近景ボードの投影画像の順番で連続して描画した後（ステップＳ１０６、Ｓ１０９、Ｓ１１０、Ｓ１１１、Ｓ１１４）、カメラを切り替えて、同じ順番で描画するように構成しても構わない（ステップＳ１２０、Ｓ１２１）。
【００７１】
以上説明したように、本実施形態の立体画像描画装置によれば、中景の多視点画像を描画する際に、遠景と中景の境界より少しだけ奥まで描画範囲を伸ばすことによって、遠景と中景の描画結果の境界に切れ目が表示されないようにすることができる。また、近景領域の単視点画像を描画する際に、中景と近景の境界より少しだけ奥方向に描画範囲を伸ばすとともに、近景の単視点画像にアンチエイリアシングを施すタイミングを、後段の多視点画像を描画するタイミングまで遅延させることによって、中景と近景の描画結果の境界に切れ目が表示されないようにすることができる。その結果、遠景ボードあるいは近景ボードをまたいで描画対象物が配置されている場合であっても、その描画対象物にアンチエイリアシングを施して、輪郭線の画質を向上させることができる。
【符号の説明】
【００７２】
１ ＣＧデータ記憶部
２ 遠景画像作成部
３ 遠景画像混色部
４ 近景画像作成部
５ 近景画像混色部
６ 遠景ボード描画部
７ 中景画像描画部
８ 中景画像混色部
９ 近景ボード描画部
１０ 画素配列変換部
１１ 提示部
１２ 近景領域拡張部
１３ 近景画像混色除去部
１４ 中景領域拡張部
【技術分野】
【０００１】
本発明は、立体画像描画装置および描画方法に関するもので、特にＣＧ（コンピュータグラフィックス）の立体画像を描画するために用いられる。
【背景技術】
【０００２】
視差を有する複数枚の画像（多視点画像）の各画素を離散的に配置して１枚の合成画像を形成し、レンチキュラーレンズなどを用いて合成画像の各画素からでる光線の軌道を制御することにより、観察者に立体画像を知覚させる表示装置が知られている。
【０００３】
立体画像の表示方式は２眼式、多眼式、インテグラルフォトグラフィーなどに分類される。近年ではインテグラルフォトグラフィーはインテグラルイメージング（ＩＩ）方式と呼ばれることが多い。ＩＩ方式の立体画像表示装置は現実に近い光線を再生できる理想的な方式として知られているが、ディスプレイ面（レンズ面）から離れるにつれて光線の密度が粗くなり、立体画像の画質が劣化するという問題がある。
【０００４】
そこで、ディスプレイ面から奥方向（ディスプレイ面から見て観察者から遠ざかる方向）に離れた遠景領域の画質劣化を防ぐために、予め作成しておいた遠景の単視点画像を多視点画像の背景として合成する方法が知られている（例えば、特許文献１参照）。この方法を使うと遠景の立体感を正確に再現することができなくなるが、遠景の画質劣化を防ぐことができる。一般に、人間の視覚機能は遠景の立体感に対して鈍感であるため、この方法は多くのＣＧ（コンピュータグラフィックス）のコンテンツにおいて効果的に機能する。
【０００５】
また、多視点画像を作成する際に、ディスプレイ面からどの程度奥方向に離れた領域を遠景とみなすかを指定するための方法が知られている（例えば、特許文献２参照）。利用者は背景ボード（本明細書では遠景ボードと表記する）と呼ばれるＣＧの四角形モデルをディスプレイ面に平行に配置して、遠景領域と、それより手前の領域の境界面を指定する。この遠景ボードを前後に移動させることにより、遠景領域の範囲を調節することが可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２１１２９１号公報
【特許文献２】特開２００７−９６９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一般に、ＣＧのコンテンツを描画する際に、描画対象物の輪郭線のジャギー（階段状のギザギザ）を除去して画質を向上させるアンチエイリアシングと呼ばれる処理技術が用いられる。特許文献１に記載の立体画像描画装置においても、アンチエイリアシングを適用することによって、多視点画像の輪郭線の画質を向上することが可能である。
【０００８】
しかしながら、特許文献１に記載の立体画像描画装置では、遠景ボードあるいは近景ボードをまたいで描画対象物が配置されている場合に、その描画対象物にアンチエイリアシングを施すと、遠景と中景の描画結果の境界、および中景と近景の描画結果の境界に切れ目が表示されてしまう問題があった。
【０００９】
本発明は、上記事情を考慮してなされたものであって、遠景ボードあるいは近景ボードをまたいで描画対象物が配置されている場合に、上記描画対象物にアンチエイリアシングを施しても、遠景と中景の描画結果の境界または中景と近景の描画結果の境界に切れ目が表示されるのを可及的に防止することのできる立体画像描画装置および描画方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様による立体画像描画装置は、多視点カメラに関するデータと、描画対象物の形状に関するデータと、遠景領域および近景領域の範囲に関するデータと、描画処理の手順を記述したプログラムに関するデータと、を少なくとも含んだデータを記憶するとともに画像メモリを有するデータ記憶部と、前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラによって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、作成された１枚の遠景画像を前記画像メモリに書き込む遠景画像作成部と、前記遠景画像作成部によって作成された前記遠景画像を前記画像メモリから読み出して、前記遠景画像に投影されている描画対象物の輪郭線近傍の各画素に対して、前記画素の色と、前記画素に隣接する複数の画素の色を混合する処理を行うことにより前記遠景画像を修正し、この修正された前記遠景画像を前記画像メモリに記憶する遠景画像混色部と、前記データ記憶部から近景領域の範囲に関するデータを読み出して、前記近景領域の範囲を奥方向に伸ばすことにより前記近景領域を拡張する近景領域拡張部と、前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラによって、前記近景領域拡張部によって拡張された前記近景領域内にある描画対象物の投影画像である近景画像を作成し、作成された１枚の近景画像を前記画像メモリに書き込む近景画像作成部と、前記近景画像作成部によって作成された前記近景画像を前記画像メモリから読み出して、前記近景画像に投影されている描画対象物の輪郭線近傍の各画素に対して、前記画素の色と、前記画像に隣接する複数の画素の色を混合する処理を行うことにより前記近景画像を修正し、この修正された前記近景画像を前記画像メモリに記憶する近景画像混色部と、前記近景画像混色部によって修正された前記近景画像を前記画像メモリから読み出して、修正された前記近景画像の画素のうち、前記近景画像混色部によって背景色と混合された画素を見つけ、前記画素の色を、混合される前の色に置き換える近景画像混色除去部と、前記遠景画像混色部によって修正された前記遠景画像を前記画像メモリから読み出して、修正された前記遠景画像を、任意の奥行きに配置されたコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記画像メモリに書き込む遠景ボード描画部と、前記データ記憶部から遠景領域および近景領域の範囲に関するデータを読み出して、前記遠景領域と近景領域との間にある中景領域の範囲に関するデータを計算し、前記中景領域の範囲を奥方向に伸ばして拡張する処理を行う中景領域拡張部と、前記データ記憶部からコンピュータグラフィックスを描画するために必要なデータを読み出して、前記中景領域内にある描画対象物の投影画像である中景画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された各中景画像を前記画像メモリに書き込む中景画像描画部と、前記中景画像描画部によって描画された各中景画像を前記画像メモリから読み出して、各中景画像に投影されている描画対象物の輪郭線近傍の各画素に対して、前記画素の色と、前記画素に隣接する複数の画素の色を混合する処理を行うことにより修正された中景画像を作成し、修正された前記中景画像のそれぞれを前記画像メモリに記憶する中景画像混色部と、前記近景画像混色部によって修正された前記近景画像を、前記画像メモリから読み出して、前記近景画像を、任意の奥行きに配置されたコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記画像メモリに書き込む近景ボード描画部と、前記画像メモリから、前記遠景ボード描画部、前記中景画像描画部、および前記近景ボード描画部によって描画された複数枚の画像を読み出して、画素配列を並べ替えて立体表示可能な形式の画像に変換し、前記画像メモリに書き込む画素配列変換部と、前記画素配列変換部によって作成された立体表示可能な形式の前記画像を前記画像メモリから読み出して、観察者に提示する提示部と、を備えていることを特徴とする。
【００１１】
また、本発明の他の態様による立体画像描画方法は、色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリの全画素のアルファ値をゼロに初期設定するステップと、多視点カメラの中央位置付近に配置した１台のカメラによって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、前記画像メモリに記憶するステップと、前記遠景画像をアンチエイリアシング処理するステップと、
近景領域を奥方向に拡張するステップと、前記多視点カメラの中央位置付近に配置した１台のカメラによって、拡張された近景領域にある前記描画対象物の投影像を計算し、前記画像メモリの近景画像を記憶する領域に対して前記投影像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換えるステップと、前記近景画像をアンチエイリアシング処理するステップと、前記アンチエイリアシング処理された前記近景画像から、背景色と混合された画素を見つけ、この画素の色を混合される前の色に置き換えるステップと、前記多視点カメラによって前記ボードの多視点画像を描画し、前記画像メモリに記憶するステップと、中景領域を奥方向に拡張するステップと、前記拡張された中景領域内にある前記描画対象物の多視点画像を描画し、前記画像メモリに記憶するステップと、前記中景画像をアンチエイリアシング処理するステップと、前記アンチエイリアシング処理された前記中景画像を、同じカメラによって描画された前記遠景ボードの多視点画像が記憶されている前記画像メモリに上書きして記憶するステップと、前記多視点カメラに含まれるすべてのカメラによって近景ボードの多視点画像を描画し、同じカメラによって描画された前記中景画像が記憶されている前記画像メモリに上書きして多視点画像として記憶するステップと、前記多視点画像を立体表示可能な形式の画像に変換するステップと、前記立体表示可能な形式の画像を立体画像として提示するステップと、を備えていることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、遠景ボードあるいは近景ボードをまたいで描画対象物が配置されている場合に、その描画対象物にアンチエイリアシングを施しても、遠景と中景の描画結果の境界または中景と近景の描画結果の境界に切れ目が表示されるのを可及的に防止することができる。
【図面の簡単な説明】
【００１３】
【図１】参考例による立体画像描画装置を示すブロック図。
【図２】描画対象物の形状を示す図。
【図３】遠景領域の例を示す図。
【図４】遠景画像の一例を示す図。
【図５】アンチエイリアシング後の遠景画像の一例を示す図。
【図６】近景領域の例を示す図。
【図７】近景画像の一例を示す図。
【図８】アンチエイリアシング後の近景画像の一例を示す図。
【図９】遠景ボードの描画結果の一例を示す図。
【図１０】中景領域の例を示す図。
【図１１】遠景画像に中景画像を上書きした場合の一例を示す図。
【図１２】図１１に示す画像をアンチエイリアシングした場合の一例を示す図。
【図１３】アンチエイリアシング後の近景画像を、アンチエイリアシング後の中景ボードの描画結果に合成した結果を示す図。
【図１４】本発明の一実施形態に係る立体画像描画装置を示すブロック図。
【図１５】近景領域を拡張する一例を示す図。
【図１６】拡張された近景領域の描画結果の一例を示す図。
【図１７】アンチエイリアシング後の拡張された近景領域の描画結果の一例を示す図。
【図１８】アンチエイリアシング後に混色除去された拡張された近景領域の描画結果の一例を示す図。
【図１９】中景領域の拡張の一例を示す図。
【図２０】遠景ボードの描画結果に、拡張された中景領域を上書きした場合の一例を示す図。
【図２１】遠景ボードの描画結果に、アンチエイリアシング後の拡張された中景領域を上書きした場合の一例を示す図。
【図２２】近景ボードの描画結果を示す図。
【図２３】近景ボードのアルファブレンディングの結果を示す図。
【図２４】一実施形態に係る立体画像描画装置を用いた描画方法の第１具体例を示すフローチャート。
【図２５】一実施形態による立体画像描画装置を用いた描画方法の第１具体例を示すフローチャート。
【図２６】一実施形態による立体画像描画装置を用いた描画方法の第２具体例を示すフローチャート。
【図２７】一実施形態による立体画像描画装置を用いた描画方法の第２具体例を示すフローチャート。
【発明を実施するための形態】
【００１４】
以下に図面を参照して本発明の実施形態を説明する。
【００１５】
まず、本発明の実施形態を説明する前に、参考例について説明する。この参考例による立体画像描画装置の概略構成を図１に示す。この参考例の立体画像描画装置は、ＣＧデータ記憶部１と、遠景画像作成部２と、遠景画像混色部３と、近景画像作成部４と、近景画像混色部５と、遠景ボード描画部６と、中景画像描画部７と、中景画像混色部８と、近景ボード描画部９と、画素配列変換部１０と、提示部１１と、を備えている。
【００１６】
この参考例による立体画像描画装置の各処理ブロックの動作を図２（ａ）乃至図２（ｄ）を参照して説明する。図２（ａ）は、直方体の描画対象物１００が、遠景ボード２１と近景ボード３１の両方をまたいで配置されていることを示す図である。すなわち、描画対象物１００が、図２（ｂ）に示す、観察者から見て遠景ボード２１よりも奥方向に位置する遠景領域２０と、図２（ｃ）に示す、遠景ボード２１と近景ボード３１との間の中景領域４０と、図２（ｄ）に示す観察者から見て近景ボード３１よりも手前に位置する近景領域３０とにそれぞれ分割されて配置されていることを示す。
【００１７】
［ＣＧデータ記憶部１］
ＣＧデータ記憶部１には、多視点カメラに関するデータと、遠景領域および近景領域の範囲に関するデータと、描画対象物１００に関するデータと、光源に関するデータと、描画処理の手順を記述したプログラムに関するデータと、遠景画像作成部２によって作成される遠景画像に関するデータと、近景画像作成部３によって作成される近景画像に関するデータと、遠景ボード描画部６、および中景画像描画部７、近景ボード描画部９によって描画される多視点画像に関するデータと、画素配列変換部１０によって作成される立体表示可能な形式の画像に関するデータと、を記憶している。
【００１８】
遠景画像に関するデータと、近景画像に関するデータと、多視点画像に関するデータは、ＣＧにおいて一般的な画像形式であるＲＧＢＡ形式でＣＧデータ記憶部１に記憶されるものとする。ここで、Ｒ、Ｇ、Ｂは画像を構成する各画素の赤、緑、青の値を表し、Ａは各画素のアルファ値（不透明度）を表している。
【００１９】
なお、多視点画像を描画するために必要となる複数のカメラに関するデータは、すべてＣＧデータ記憶部１に記憶しておいてもよいし、代表的なカメラに関するデータだけをＣＧデータ記憶部１に記憶しておき、必要に応じて残りのカメラに関するデータを計算して求めるように構成しても構わない。また、ＣＧデータ記憶部１に保持されるＣＧデータは上記の形式に限定されず、所望のＣＧを描画するために必要となるあらゆるデータを含んでもよい。
【００２０】
［遠景画像作成部２］
遠景画像作成部２は、遠景領域内の描画対象物１００を描画するために必要な各種データをＣＧデータ記憶部１から読み出して、１台のカメラによって遠景領域内にある描画対象物２００の投影画像を作成し、作成された１枚の投影画像をＣＧデータ記憶部１に確保されている画像メモリ（図示せず）に書き込む。
【００２１】
図３に示すように、本明細書における遠景領域２０とは、遠景ボード２１とファークリップ面（以下、Ｆａｒクリップ面とも云う）２２に挟まれた領域のことであり、ディスプレイ面１８から奥方向に離れたところに位置している。ここで、図３は投影画像を作成する際に、カメラ２００および描画対象物を側面から見た図である。遠景ボード２１は、例えば、ＣＧの四角形モデルをディスプレイ面に平行に配置したものである。なお、カメラ２００から見てディスプレイ面１８よりも手前方向に離れて位置する近景ボード３１が存在し、この近景ボード３１よりも更に手前にニアクリップ面（以下、Ｎｅａｒクリップ面ともいう）３２が存在する。
【００２２】
遠景画像作成部２では、最初に、ＣＧデータ記憶部１から多視点カメラの中心位置が読み出される。あるいは、ＣＧデータ記憶部１から多視点カメラの位置座標列が読み出されて、それらの中心位置が計算される。次に、得られた中心位置に１台のカメラ２００が配置される。あるいは、多視点カメラに含まれるカメラの中から、得られた中心位置に最も近い１台のカメラ２００が選択される。次に、その１台のカメラ２００によって遠景ボード２１とＦａｒクリップ面２２に挟まれた領域内にある描画対象物の投影画像が作成される。このようにして作成された投影画像はＣＧデータ記憶部１に確保されている画像メモリに書き込まれて記憶される。本明細書では、遠景画像作成部２によって作成された投影画像のことを遠景画像という。例えば、図２（ｂ）に示す遠景領域の投影画像を作成すると、図４に示すような遠景画像が得られる。
【００２３】
［遠景画像混色部３］
遠景画像混色部３は、遠景画像作成部２によって作成された遠景画像をＣＧデータ記憶部１から読み出して、その遠景画像に投影されている遠景領域内の描画対象物の輪郭線近傍の各画素に対して、その画素の色と、隣接する複数の画素の色を混合する処理を行う。この処理はアンチエイリアシングと呼ばれ、ＧＰＵ（グラフィックスプロセッシングユニット）などのハードウェアを用いて高速に実行することが可能である。例えば、図４に示す遠景画像にアンチエイリアシングを施すと、図５に示すような画像が得られる。
【００２４】
［近景画像作成部４］
近景画像作成部４は、近景領域内の描画対象物を描画するために必要な各種データをＣＧデータ記憶部１から読み出して、１台のカメラによって近景領域内にある描画対象物の投影画像を作成し、作成された１枚の投影画像をＣＧデータ記憶部１に確保されている画像メモリに書き込む。
【００２５】
図６に示すように、本明細書における近景領域３０とは、Ｎｅａｒクリップ面３２と近景ボード２１に挟まれた領域のことであり、カメラ２００から見てディスプレイ面１８より手前方向に飛び出したところに位置している。ここで、図６は、投影画像を作成する際に、カメラ２００および描画対象物を側面から見た図である。
【００２６】
近景画像作成部４では、最初に、ＣＧデータ記憶部１に確保されているＲＧＢＡ形式の画像メモリの全画素のアルファ値がゼロにクリアされる。次に、遠景画像作成部２において遠景画像を作成したときと同じように、多視点カメラの中心位置に１台のカメラが配置されるか、あるいは、多視点カメラに含まれるカメラの中から中心位置に最も近い１台のカメラが選択される。その１台のカメラによって近景領域３０内にある描画対象物の投影画像が作成される。作成された投影画像は、さきほどアルファ値をクリアしておいたＣＧデータ記憶部１に確保されているＲＧＢＡ形式の画像メモリに書き込まれる。このとき、新たに書き込まれた各画素のアルファ値は非ゼロ（例えば２５５）に書き換えられる。本明細書では、ここで作成された投影画像のことを近景画像と表記する。
【００２７】
例えば、図２（ｄ）に示す近景領域３０の投影画像を作成すると、図７（ａ）、７（ｂ）に示すような近景画像が得られる。ここで、図７（ａ）は近景画像をＲＧＢ値で表示し、図７（ｂ）は近景画像をアルファ値で表示している。これらの図から分かるように、近景画像においては、近景領域３０内の描画対象物の投影像によって新たに書き込まれた画素のアルファ値は２５５になり、それ以外の画素のアルファ値はゼロにクリアされたまま維持されることになる。
【００２８】
［近景画像混色部５］
近景画像混色部５は、近景画像作成部４によって描画された近景画像をＣＧデータ記憶部１から読み出して、その近景画像に投影されている近景領域内の描画対象物の輪郭線近傍の各画素に対して、その画素の色と、隣接する複数の画素の色を混合する処理を行う。
【００２９】
例えば、図７（ａ）、７（ｂ）に示す近景画像にアンチエイリアシングを施すと、図８（ａ）、８（ｂ）に示すような画像がそれぞれ得られる。ここで、図８（ａ）はアンチエイリアシング後の近景画像をＲＧＢ値で表示し、図８（ｂ）はアンチエイリアシング後の近景画像をアルファ値で表示している。
【００３０】
［遠景ボード描画部６］
遠景ボード描画部６では、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出される。次に、多視点カメラに含まれるカメラのうちの１つが選択されて、そのカメラによって遠景ボードの投影画像が描画される。このとき、遠景画像混色部３によって作成されたアンチエイリアシング後の遠景画像がＣＧデータ記憶部１から読み出されて、遠景ボード全体を覆うようにテクスチャマッピングによって貼り付けられる。これらの処理を多視点カメラに含まれるすべてのカメラについて繰り返すことによって、遠景ボードの多視点画像を描画することができる。
【００３１】
図９（ａ），９（ｂ）に遠景ボードの多視点画像の一例を示す。図９（ａ）は、図５に示すアンチエイリアシング後の遠景画像を遠景ボードに貼り付けて描画した結果を示している。遠景ボードの多視点画像は、各カメラによって描画された遠景ボードの投影画像をタイル状に並べた形式で、ＣＧデータ記憶部１に確保された画像メモリに書き込まれて記憶される。図９（ｂ）は９台のカメラによって描画された多視点画像の一例を表している。この図９（ｂ）では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。
【００３２】
なお、遠景ボードのようなＣＧモデルに対して画像を貼り付ける技法はテクスチャマッピングと呼ばれ、ＧＰＵ（グラフィックスプロセッシングユニット）などのハードウェアを用いて高速に実行することが可能である。
【００３３】
［中景画像描画部７］
中景画像描画部７では、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出される。次に、多視点カメラに含まれるカメラのうちの１つが選択されて、そのカメラによって近景ボードと遠景ボードに挟まれた領域内にある描画対象物の投影画像が描画される。図１０に示すように、本明細書では近景ボード３１と遠景ボード２１とに挟まれた領域のことを中景領域４０と表記する。描画結果は、遠景ボード描画部６において、同じカメラによって描画された遠景ボードの投影画像と同じ画像メモリに上書きされて記憶される。これらの処理を多視点カメラ２２０のすべてのカメラについて繰り返すことによって、遠景ボード描画部６によって描画された背景ボード３１の多視点画像の上に、中景領域内にある描画対象物の投影像を合成することができる。
【００３４】
図９（ａ）、９（ｂ）に示した遠景ボードの多視点画像に対して、中景の多視点画像を上書き描画した結果の例を図１１（ａ）、１１（ｂ）にそれぞれ示す。この図では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。
【００３５】
［中景画像混色部８］
中景画像混色部８は、中景画像描画部７によって描画された多視点画像をＣＧデータ記憶部１から読み出して、各多視点画像に投影されている中景領域内の描画対象物の輪郭線近傍の各画素に対して、その画素の色と、隣接する複数の画素の色を混合する処理を行う。例えば、図１１（ａ）、１１（ｂ）に示す画像にアンチエイリアシングを施すと、図１２（ａ）、１２（ｂ）に示すような画像がそれぞれ得られる。図１２（ａ）、１２（ｂ）から分かるように、遠景画像と中景画像の境界に切れ目（横方向の線）５１が表示されてしまっている。
【００３６】
ここで、この切れ目が生じる理由を説明する。まず、図９（ａ）、９（ｂ）に示す遠景ボードの描画結果において、描画対象物の上面の切断線の近傍の画素には、上面１１０の色と奥面１１２の色を混合した色が書き込まれている。この画像に対して、図１１（ａ）、１１（ｂ）に示す中景領域を上書き描画すると、上記切断線の近傍では、上面１１０の色と奥面１１２の色の混合色が書き込まれていた画素と、新たに中景領域の上面１１４の色が書き込まれた画素が隣接することになる。ここにアンチエイリアシングを施すと、これら隣接する画素の色が混合されてしまい、本来であれば、遠景画像および中景画像の上面の色が書き込まれるべき切断線の近傍の画素に混合色が書き込まれるため、切れ目が生じたように見えてしまう。
【００３７】
［近景ボード描画部９］
近景ボード描画部９では、最初に、ＣＧデータ記憶部１から多視点カメラに関するデータが読み出される。次に、多視点カメラに含まれるカメラのうちの１つが選択されて、そのカメラによって近景ボードの投影画像が描画される。このとき、近景画像混色部５によって作成されたアンチエイリアシング後の近景画像がＣＧデータ記憶部１から読み出されて、近景ボード全体を覆うようにテクスチャマッピングによって貼り付けられる。
【００３８】
描画結果は、中景画像描画部７において、同じカメラによって描画された投影画像と同じ画像メモリに上書きされて記憶される。ただし、このときに書き込み元の画素（すなわち近景画像の画素）のうち、アルファ値が非ゼロの画素だけが画像メモリに書き込まれるようにする。こうすることにより、近景画像の画素のうち、近景領域内にある描画対象物の投影像によって新たに書き込まれた画素だけを上書きすることができる。以上の処理を多視点カメラに含まれるすべてのカメラについて繰り返すことによって、近景ボードの多視点画像を描画することができる。なお、このようなアルファ値に基づいた書き込み制御の仕組みはアルファテストと呼ばれ、ＧＰＵなどのハードウェアを用いて高速に実行することが可能である。
【００３９】
図８（ａ）、８（ｂ）に示すアンチエイリアシング後の近景画像を近景ボードに貼り付けて描画して、図１２（ａ）、１２（ｂ）に示すアンチエイリアシング後の中景ボードの描画結果に合成した結果を図１３（ａ）、１３（ｂ）にそれぞれ示す。この図では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。図１３（ａ）、１３（ｂ）から分かるように、中景と近景の境界に切れ目（横方向の線）５３が表示されてしまっている。
【００４０】
先ほどと同様に、この切れ目が生じる理由を説明する。まず、図８（ａ）、８（ｂ）に示す近景画像において、描画対象物の上面の切断線の近傍の画素には、上面の色と背景色を混合した色が書き込まれている。この近景画像を、図１３（ａ）、１３（ｂ）に示すように近景ボードに貼り付けて上書き描画すると、上記切断線５３の近傍では、中景画像の上面の色と奥面の色の混合色が書き込まれていた画素と、新たに近景画像の上面の色と背景色を混合した色が書き込まれた画素が隣接することになる。ここにアンチエイリアシングを施すと、これら隣接する画素の色が混合されてしまい、本来であれば、中景画像および近景画像の上面の色が書き込まれるべき、切断線の近傍の画素に混合色が書き込まれるため、切れ目が生じたように見えてしまう。
【００４１】
［画素配列変換部１０］
画素配列変換部１０は、ＣＧデータ記憶部１から多視点画像を読み出し、画素配列を並べ替えて立体表示可能な形式に変換し、変換結果をＣＧデータ記憶部１に書き込む。
【００４２】
［提示部１１］
提示部１１は、ＣＧデータ記憶部１に記憶されている立体表示可能な形式の画像を観察者に提示するためのディスプレイやレンチキュラーレンズ、プリンタなどで構成される。
【００４３】
この参考例の立体画像描画装置においては、ディスプレイ面から手前方向に飛び出した近景領域の画質劣化を防ぐために、あらかじめ作成しておいた近景の単視点画像を多視点画像の前景として合成している。この参考例の立体画像描画装置を使うと近景の立体感を正確に再現することができなくなるが、近景の画質劣化を防ぐことができる。一般に、人間の視覚機能は遠景の立体感に対しては鈍感であるが、近景の立体感に対しては敏感であるため、ＣＧコンテンツによっては近景領域の表示結果に不自然さを感じる場合がある。しかし、その不自然さは許容できる程度であり、それに比べて画質劣化を防ぐことのできる効果は非常に大きいことが説明されている。
【００４４】
ここまで説明してきたように、図１に示す参考例による立体画像描画装置では、遠景ボードおよび近景ボードをまたいで描画対象物１００が配置されている場合に、その描画対象物にアンチエイリアシングを施すと、遠景画像と中景画像の描画結果の境界、および中景画像と近景画像の描画結果の境界に切れ目が生じてしまう問題があった。
【００４５】
このような問題は、以下に説明する本発明の一実施形態による立体画像描画装置によって解決される。
【００４６】
（一実施形態）
本発明の一実施形態による立体画像描画装置を図１４に示す。本実施形態による立体画像描画装置は、図１に示す参考例の立体画像描画装置において、近景領域拡張部１２と、近景画像混色除去部１３と、中景領域拡張部１４と、新たに設けた構成となっている。
【００４７】
次に、本実施形態において、新たに設けられた各処理ブロックの動作について説明する。
【００４８】
［近景領域拡張部１２］
近景領域拡張部１２は、ＣＧデータ記憶部１から近景領域の範囲に関するデータを読み出して、近景領域の奥面（近景領域と中景領域の境界面）を少しだけ奥方向に移動して近景領域を拡張し、拡張された近景領域の範囲に関するデータを近景画像作成部４に送る。例えば、図２（ｄ）に示す近景領域の場合、図１５に矢印で示すように、近景領域３０の奥面３４が奥方向に移動されて新たな奥面３４ａとなって、近景領域３０が拡張される。なお、奥方向への移動量については、外部から指定された値がＣＧデータ記憶部１に記憶されており、その値を近景領域拡張部１２がＣＧデータ記憶部１から読み出して使うものとする。
【００４９】
［近景画像作成部４］
本実施形態に係る近景画像作成部４の処理内容は、近景領域拡張部１２によって拡張された近景領域内について処理を行うことを除いて、図１に示す参考例の立体画像描画装置における近景画像作成部４の処理と同じである。例えば、図１５に示すように拡張された近景領域内にある描画対象物の投影画像を作成すると、図１６（ａ）、１６（ｂ）に示すような近景画像が得られる。ここで、図１６（ａ）、１６（ｂ）は近景画像をＲＧＢ値で表示し、図１６（ｂ）は近景画像をアルファ値で表示している。図７（ａ）、７（ｂ）に示す、参考例の立体画像描画装置における近景画像と比べると、図１６（ａ）、１６（ｂ）に示す本実施形態における近景画像では少しだけ奥方向まで余分に描画されていることが分かる。
【００５０】
［近景画像混色部５］
本実施形態に係る近景画像混色部５の処理内容は、図１に示す参考例の立体画像描画装置における近景画像混色部５の処理と同じである。例えば、図１６（ａ）、１６（ｂ）に示す近景画像にアンチエイリアシングを施すと、図１７（ａ）、１７（ｂ）に示すような画像がそれぞれ得られる。
【００５１】
［近景画像混色除去部１３］
近景画像混色除去部１３は、最初に、近景画像混色部５によって生成されたアンチエイリアシング後の近景画像をＣＧデータ記憶部１から読み出す。次に、その近景画像の画素のうち、アルファ値が０より大きく２５５より小さい（アルファ値が１〜２４４の範囲にある）画素を見つける。ここで見つかった画素は、近景画像混色部５によって背景色と混合された画素に相当する。これらの画素のアルファ値に基づいて、ＲＧＢ値を混合される前の値に戻すことにより、近景画像混色部５によって背景色と混合された画素の混色を除去する。なお、近景画像のアルファ値については、近景画像混色部５によって混色された値を維持する。
【００５２】
一旦、混色された画素のＲＧＢ値を完全に同じ元の値に戻すのが難しい場合は、近傍の画素からアルファ値が２５５の画素を見つけて、それらの画素のＲＧＢ値の平均値を元のＲＧＢ値の近似値としても構わない。例えば、図１７（ａ）、１７（ｂ）に示すアンチエイリアシング後の近景画像の混色を除去すると、図１８（ａ）、１８（ｂ）に示すような画像が得られる。繰り返しになるが、図１７（ｂ）に示すアルファ値で表示した画像と、図１８（ｂ）に示すアルファ値で表示した画像は同じであり、混色が除去されるのはＲＧＢ値の画像だけであることに注意する。
【００５３】
［中景領域拡張部１４］
中景領域拡張部１４は、最初に、ＣＧデータ記憶部１から遠景領域および近景領域の範囲に関するデータを読み出して、これら２つの領域に挟まれた中景領域の範囲に関するデータを計算する。次に、計算された中景領域の奥面（中景領域と遠景領域の境界面）を少しだけ奥方向に移動して中景領域を拡張し、拡張された中景領域の範囲に関するデータを中景画像描画部７に送る。例えば、図２（ｃ）に示す中景領域の場合、図１９に矢印で示すように、中景領域４０の奥面４４が奥方向に移動されて新たな奥面４４ａとなって、中景領域４０が拡張される。なお、奥方向への移動量については、外部から指定された値がＣＧデータ記憶部１に記憶されており、その値を中景領域拡張部１４がＣＧデータ記憶部１から読み出して使うものとする。
【００５４】
［中景画像描画部７］
本実施形態に係る中景画像描画部７の処理内容は、中景領域拡張部１４によって拡張された中景領域について描画を行うことを除いて、図１に示す参考例の立体画像描画装置における中景画像描画部７の処理と同じである。例えば、図９（ａ）、９（ｂ）に示す遠景ボードの描画結果に対して、図１９に示すように拡張された中景領域を上書き描画すると、図２０（ａ）、２０（ｂ）に示すような多視点画像が描画される。この図２０（ｂ）では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。図１１（ａ）、１１（ｂ）に示す、参考例の立体画像装置における多視点画像と比べると、図２０（ａ）、２０（ｂ）に示す、本実施形態における多視点画像は少しだけ奥方向まで余分に描画されていることが分かる。
【００５５】
図９（ａ）、９（ｂ）に示す遠景ボードの描画結果において、描画対象物の上面の切断線の近傍の画素には、上面の色と奥面の色を混合した色が書き込まれている。しかし、この画像に対して、図２０（ａ）、２０（ｂ）に示すように奥方向に拡張された中景領域を上書き描画すると、上記切断線の近傍は中景領域の上面の色で上書きされて隠されることになる。
【００５６】
［中景画像混色部８］
本実施形態に係る中景画像混色部８の処理内容は、図１に示す参考例による立体画像描画装置における中景画像混色部８の処理と同じである。例えば、図２０（ａ）、２０（ｂ）に示す画像にアンチエイリアシングを施すと、図２１（ａ）、２１（ｂ）に示すような画像が得られる。この図２１（ｂ）では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。図１２（ａ）、１２（ｂ）に示す、参考例における画像とは異なり、図２１（ａ）、２１（ｂ）に示す、本実施形態における画像には、遠景と中景の描画結果の境界に切れ目（横方向の線）が表示されておらず、滑らかにつながっていることが分かる。そして、奥側にずれた中景領域の上面の奥側の切断線の近傍では、近景領域の上面の色が書き込まれていた画素と、新たに中景領域の上面の色が書き込まれた画素が隣接することになる。これらはほぼ同じ色であるので、この部分にアンチエイリアシングが施されて画素の色が混合されても、元の色からほとんど変化しない。したがって、切れ目が生じたように見えることはない。
【００５７】
［近景ボード描画部９］
近景ボード描画部９は、ＣＧデータ記憶部１からＣＧを描画するために必要な各種データを読み出して、近景ボードを多視点カメラで描画する。このとき、ＣＧデータ記憶部１に記憶されている混色除去された近景画像が、近景ボード全体を覆うように貼り付けられる。描画結果は、中景画像描画部７において、同じカメラで中景領域を描画したときの画像メモリに上書きされて記憶されるが、アルファテストの機能を用いて、書き込み元の画素（すなわち近景画像の画素）のうち、アルファ値が非ゼロの画素だけが画像メモリに書き込まれるようにする。このとき、デプステストの機能を無効にすることに注意する。
【００５８】
多視点画像の例として、多視点カメラの中心に位置するカメラから、図１８（ａ）、１８（ｂ）に示す混色除去された近景画像を、近景ボード３１に貼り付けて描画した結果を図２２（ａ）、２２（ｂ）に示す。この図２２（ｂ）では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。図１３（ａ）、１３（ｂ）に示す、参考例の立体画像描画装置における画像と比べると、図２２（ａ）、２２（ｂ）に示す本実施形態における画像は少しだけ奥方向まで余分に描画されていることが分かる。
【００５９】
図２１（ａ）、２１（ｂ）において、中景領域の上面の手前側の切断線の近傍の画素には、上面の色と下面の色を混合した色が書き込まれているが、この画像に対して、図２２（ａ）、２２（ｂ）に示すように奥方向に拡張された近景領域を上書き描画すると、上記切断線の近傍は近景領域の上面の色で上書きされて隠されることになる。
【００６０】
続いて、近景ボード描画部９では、さきほど書き込んだ近景画像の各画素のアルファ値と、書き込み先の画素に書き込まれていたアルファ値を用いて、それぞれの画素のＲＧＢ値を混合する処理が行われる。このようなアルファ値に基づいてＲＧＢ値を混合する仕組みはアルファブレンディングと呼ばれ、ＧＰＵなどのハードウェアを用いて高速に実行することが可能である。アンチエイリアシングでは隣接する複数の画素のＲＧＢ値が混合されるのに対して、アルファブレンディングでは、異なるタイミングで同じ画素に書き込まれる複数のＲＧＢ値が混合される点が異なる。例えば、図２２（ａ）、２２（ｂ）に示す近景ボードの描画結果にアルファブレンディングを施すと、図２３（ａ）、２３（ｂ）に示すような画像が得られる。この図２３（ｂ）では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。図１３（ａ）、１３（ｂ）に示す、参考例における画像とは異なり、図２３（ａ）、２３（ｂ）に示す、本実施形態における画像には、中景と近景の描画結果の境界に切れ目（横方向の線）が表示されておらず、滑らかにつながっていることが分かる。奥側にずれた近景領域の上面の切断線の近傍では、中景領域の上面の色が書き込まれていた画素に対して、新たに近景領域の上面の色が書き込まれることになる。これらはほぼ同じ色であるので、この部分にアルファブレンディングが施されて画素の色が混合されても、元の色からほとんど変化しない。したがって、切れ目が生じたように見えることはない。
【００６１】
一方、近景領域の手前の面の左右および下側の輪郭線の近傍では、背景色が書き込まれていた画素に対して、新たに近景領域の手前の面の色が書き込まれることになる。これら２つの色がアルファブレンディングによって混合されることにより、輪郭線のジャギーが除去されて滑らかに見えるようになる。
【００６２】
なお、近景領域の手前の面の上側の輪郭線の近傍については、図１８（ｂ）から分かるようにアルファ値が２５５であるため、書き込み元の近景画像の画素が混合されずにそのまま書き込まれる。したがって、図２３（ａ）、２３（ｂ）ではアンチエイリアシングされた輪郭線がそのまま表示されることになる。
【００６３】
次に、本実施形態の立体画像描画装置を用いた描画方法の第１具体例を図２４、図２５を参照して説明する。この第１具体例の描画方法においては、最初に、多視点カメラに含まれる全てのカメラから遠景ボードだけを描画する（ステップＳ１００〜１０８）。次に、多視点カメラの全てのカメラから中景領域だけを描画する（ステップＳ１０９〜Ｓ１１３）。最後に、多視点カメラの全てのカメラから近景ボードだけを描画する（ステップＳ１１４〜Ｓ１１６）。
【００６４】
すなわち、まず、多視点カメラに含まれる１台のカメラ、例えば、中央位置付近に配置されたカメラについての遠景画像を遠景画像作成部２によって作成する（ステップＳ１００）。この遠景画像の作成は、まず、ＣＧデータ記憶部１から多視点カメラの中心位置または位置座標列が読み出され、この読み出された中心位置または位置座標列に１台のカメラが配置されたときの遠景領域２０内にある描画対象物の投影画像（遠景画像）が作成される。このようにして作成された投影画像はＣＧデータ記憶部１に確保されている画像メモリに書き込まれて記憶される。
【００６５】
その後、これらの作成された遠景画像を遠景画像混色３によって、アンチエイリアシングする（ステップＳ１０１）。続いて、近景領域拡張部１２によって、近景領域を拡張し（ステップＳ１０２）、この拡張された近景領域を用いて、多視点カメラに含まれる１台のカメラ、例えば、中央位置付近に配置されたカメラについての近景画像を作成し（ステップＳ１０３）、この作成された近景画像を、近景画像混色部５によってアンチエイリアシングする（ステップＳ１０４）。続いて、アンチエイリアシングされた近景画像から、近景画像混色除去部１３によってＲＧＢ値の混色除去する（ステップＳ１０５）。
【００６６】
次いで、遠景ボード描画部６によって遠景ボードの投影画像を描画する（ステップＳ１０６）。すなわち、多視点カメラに含まれる１つのカメラが選択され、そのカメラによって遠景ボードの投影画像が描画される。このとき、遠景画像作成部２によって作成された遠景画像がＣＧデータ記憶部１から読み出され、遠景ボード全体を覆うようにテクスチャマッピングによって貼り付けられる。これらの処理は、多視点カメラに含まれる全てのカメラについて行われる（ステップＳ１０７、Ｓ１０８）。
【００６７】
次に、中景領域拡張部１４によって、中景領域を拡張する（ステップＳ１０９）。続いて、多視点カメラに含まれる１つのカメラが選択され、この選択されたカメラによって上記拡張された中景領域内にある描画対象物の投影画像（中景画像）が中景画像描画部７によって描画される（ステップＳ１１０）。この描画された中景画像を中景画像混色部８によって、アンチエイリアシングする（ステップＳ１１１）。これらの中景画像の描画処理およびアンチエイリアシング処理は、多視点カメラに含まれる全てのカメラについて行われる（ステップＳ１１２、Ｓ１１３）。
【００６８】
次に、多視点カメラに含まれる全てのカメラについて、近景ボード描画部９によって近景ボードの投影画像を描画する（ステップＳ１１４、Ｓ１１５、Ｓ１１６）。すなわち、多視点カメラに含まれる１つのカメラが選択され、この選択されたカメラによって近景ボードの投影画像が描画される（ステップＳ１１４）。このとき、近景画像作成部４によって作成された近景画像がＣＧデータ記憶部１から読み出されて近景ボード全体を覆うように、テクスチャマッピングによって貼り付けられる。これらの処理は、多視点カメラに含まれる全てのカメラについて行われる（ステップＳ１１５、Ｓ１１６）。
【００６９】
次に、画素配列変換部１０によって、多視点画像を立体表示可能な形式の画像に変換し（ステップＳ１１７）、その後、提示部８によって上記立体表示可能な形式の画像を立体画像として提示する（ステップＳ１１８）。
【００７０】
これら図２４、図２５に示す処理手順は、図２６、図２７に示す第２具体例の処理手順のように、多視点カメラのうちのある１つのカメラによって、遠景ボードの投影画像、中景領域内の描画対象物の投影画像、近景ボードの投影画像の順番で連続して描画した後（ステップＳ１０６、Ｓ１０９、Ｓ１１０、Ｓ１１１、Ｓ１１４）、カメラを切り替えて、同じ順番で描画するように構成しても構わない（ステップＳ１２０、Ｓ１２１）。
【００７１】
以上説明したように、本実施形態の立体画像描画装置によれば、中景の多視点画像を描画する際に、遠景と中景の境界より少しだけ奥まで描画範囲を伸ばすことによって、遠景と中景の描画結果の境界に切れ目が表示されないようにすることができる。また、近景領域の単視点画像を描画する際に、中景と近景の境界より少しだけ奥方向に描画範囲を伸ばすとともに、近景の単視点画像にアンチエイリアシングを施すタイミングを、後段の多視点画像を描画するタイミングまで遅延させることによって、中景と近景の描画結果の境界に切れ目が表示されないようにすることができる。その結果、遠景ボードあるいは近景ボードをまたいで描画対象物が配置されている場合であっても、その描画対象物にアンチエイリアシングを施して、輪郭線の画質を向上させることができる。
【符号の説明】
【００７２】
１ ＣＧデータ記憶部
２ 遠景画像作成部
３ 遠景画像混色部
４ 近景画像作成部
５ 近景画像混色部
６ 遠景ボード描画部
７ 中景画像描画部
８ 中景画像混色部
９ 近景ボード描画部
１０ 画素配列変換部
１１ 提示部
１２ 近景領域拡張部
１３ 近景画像混色除去部
１４ 中景領域拡張部
【特許請求の範囲】
【請求項１】
多視点カメラに関するデータと、描画対象物の形状に関するデータと、遠景領域および近景領域の範囲に関するデータと、描画処理の手順を記述したプログラムに関するデータと、を少なくとも含んだデータを記憶するとともに画像メモリを有するデータ記憶部と、
前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラによって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、作成された１枚の遠景画像を前記画像メモリに書き込む遠景画像作成部と、
前記遠景画像作成部によって作成された前記遠景画像を前記画像メモリから読み出して、前記遠景画像に投影されている描画対象物の輪郭線近傍の各画素に対して、前記画素の色と、前記画素に隣接する複数の画素の色を混合する処理を行うことにより前記遠景画像を修正し、この修正された前記遠景画像を前記画像メモリに記憶する遠景画像混色部と、
前記データ記憶部から近景領域の範囲に関するデータを読み出して、前記近景領域の範囲を奥方向に伸ばすことにより前記近景領域を拡張する近景領域拡張部と、
前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラによって、前記近景領域拡張部によって拡張された前記近景領域内にある描画対象物の投影画像である近景画像を作成し、作成された１枚の近景画像を前記画像メモリに書き込む近景画像作成部と、
前記近景画像作成部によって作成された前記近景画像を前記画像メモリから読み出して、前記近景画像に投影されている描画対象物の輪郭線近傍の各画素に対して、前記画素の色と、前記画像に隣接する複数の画素の色を混合する処理を行うことにより前記近景画像を修正し、この修正された前記近景画像を前記画像メモリに記憶する近景画像混色部と、
前記近景画像混色部によって修正された前記近景画像を前記画像メモリから読み出して、修正された前記近景画像の画素のうち、前記近景画像混色部によって背景色と混合された画素を見つけ、前記画素の色を、混合される前の色に置き換える近景画像混色除去部と、
前記遠景画像混色部によって修正された前記遠景画像を前記画像メモリから読み出して、修正された前記遠景画像を、任意の奥行きに配置されたコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記画像メモリに書き込む遠景ボード描画部と、
前記データ記憶部から遠景領域および近景領域の範囲に関するデータを読み出して、前記遠景領域と近景領域との間にある中景領域の範囲に関するデータを計算し、前記中景領域の範囲を奥方向に伸ばして拡張する処理を行う中景領域拡張部と、
前記データ記憶部からコンピュータグラフィックスを描画するために必要なデータを読み出して、前記中景領域内にある描画対象物の投影画像である中景画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された各中景画像を前記画像メモリに書き込む中景画像描画部と、
前記中景画像描画部によって描画された各中景画像を前記画像メモリから読み出して、各中景画像に投影されている描画対象物の輪郭線近傍の各画素に対して、前記画素の色と、前記画素に隣接する複数の画素の色を混合する処理を行うことにより修正された中景画像を作成し、修正された前記中景画像のそれぞれを前記画像メモリに記憶する中景画像混色部と、
前記近景画像混色部によって修正された前記近景画像を、前記画像メモリから読み出して、前記近景画像を、任意の奥行きに配置されたコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記画像メモリに書き込む近景ボード描画部と、
前記画像メモリから、前記遠景ボード描画部、前記中景画像描画部、および前記近景ボード描画部によって描画された複数枚の画像を読み出して、画素配列を並べ替えて立体表示可能な形式の画像に変換し、前記画像メモリに書き込む画素配列変換部と、
前記画素配列変換部によって作成された立体表示可能な形式の前記画像を前記画像メモリから読み出して、観察者に提示する提示部と、
を備えていることを特徴とする立体画像描画装置。
【請求項２】
前記データ記憶部の前記画像メモリは、色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリであり、
前記近景画像作成部は、前記近景画像が記憶される前記画像メモリの全画素のアルファ値をゼロに初期設定し、この初期設定された画像メモリに対して、前記多視点カメラの中央位置付近に配置した１台のカメラによって作成された前記近景領域内にある描画対象物の投影画像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換える処理を行い、
前記近景ボード描画部は、前記近景画像作成部によって作成された前記近景画像を前記画像メモリから読み出して、その近景画像のアルファ値が非ゼロの画素だけを、前記近景ボードを表すコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、前記四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記画像メモリに書き込むことを特徴とする請求項１記載の立体画像描画装置。
【請求項３】
前記中景画像描画部は、前記中景画像を、前記遠景ボード描画部において、同じカメラによって描画された前記遠景ボードの投影画像が記憶された画像メモリに上書きして記憶することを特徴とする請求項１または２記載の立体画像描画装置。
【請求項４】
前記近景ボード描画部は、前記近景画像の前記近景ボードの投影画像を、前記中景画像描画部において、同じカメラによって描画された前記中景画像が記憶された画像メモリに上書きして記憶することを特徴とする請求項３記載の立体画像描画装置。
【請求項５】
色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリの全画素のアルファ値をゼロに初期設定するステップと、
多視点カメラの中央位置付近に配置した１台のカメラによって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、前記画像メモリに記憶するステップと、
前記遠景画像をアンチエイリアシング処理するステップと、
近景領域を奥方向に拡張するステップと、
前記多視点カメラの中央位置付近に配置した１台のカメラによって、拡張された近景領域にある前記描画対象物の投影像を計算し、前記画像メモリの近景画像を記憶する領域に対して前記投影像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換えるステップと、
前記近景画像をアンチエイリアシング処理するステップと、
前記アンチエイリアシング処理された前記近景画像から、背景色と混合された画素を見つけ、この画素の色を混合される前の色に置き換えるステップと、
前記多視点カメラによって前記ボードの多視点画像を描画し、前記画像メモリに記憶するステップと、
中景領域を奥方向に拡張するステップと、
前記拡張された中景領域内にある前記描画対象物の多視点画像を描画し、前記画像メモリに記憶するステップと、
前記中景画像をアンチエイリアシング処理するステップと、
前記アンチエイリアシング処理された前記中景画像を、同じカメラによって描画された前記遠景ボードの多視点画像が記憶されている前記画像メモリに上書きして記憶するステップと、
前記多視点カメラに含まれるすべてのカメラによって近景ボードの多視点画像を描画し、同じカメラによって描画された前記中景画像が記憶されている前記画像メモリに上書きして多視点画像として記憶するステップと、
前記多視点画像を立体表示可能な形式の画像に変換するステップと、
前記立体表示可能な形式の画像を立体画像として提示するステップと、
を備えていることを特徴とする立体画像描画方法。
【請求項１】
多視点カメラに関するデータと、描画対象物の形状に関するデータと、遠景領域および近景領域の範囲に関するデータと、描画処理の手順を記述したプログラムに関するデータと、を少なくとも含んだデータを記憶するとともに画像メモリを有するデータ記憶部と、
前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラによって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、作成された１枚の遠景画像を前記画像メモリに書き込む遠景画像作成部と、
前記遠景画像作成部によって作成された前記遠景画像を前記画像メモリから読み出して、前記遠景画像に投影されている描画対象物の輪郭線近傍の各画素に対して、前記画素の色と、前記画素に隣接する複数の画素の色を混合する処理を行うことにより前記遠景画像を修正し、この修正された前記遠景画像を前記画像メモリに記憶する遠景画像混色部と、
前記データ記憶部から近景領域の範囲に関するデータを読み出して、前記近景領域の範囲を奥方向に伸ばすことにより前記近景領域を拡張する近景領域拡張部と、
前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した１台のカメラによって、前記近景領域拡張部によって拡張された前記近景領域内にある描画対象物の投影画像である近景画像を作成し、作成された１枚の近景画像を前記画像メモリに書き込む近景画像作成部と、
前記近景画像作成部によって作成された前記近景画像を前記画像メモリから読み出して、前記近景画像に投影されている描画対象物の輪郭線近傍の各画素に対して、前記画素の色と、前記画像に隣接する複数の画素の色を混合する処理を行うことにより前記近景画像を修正し、この修正された前記近景画像を前記画像メモリに記憶する近景画像混色部と、
前記近景画像混色部によって修正された前記近景画像を前記画像メモリから読み出して、修正された前記近景画像の画素のうち、前記近景画像混色部によって背景色と混合された画素を見つけ、前記画素の色を、混合される前の色に置き換える近景画像混色除去部と、
前記遠景画像混色部によって修正された前記遠景画像を前記画像メモリから読み出して、修正された前記遠景画像を、任意の奥行きに配置されたコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記画像メモリに書き込む遠景ボード描画部と、
前記データ記憶部から遠景領域および近景領域の範囲に関するデータを読み出して、前記遠景領域と近景領域との間にある中景領域の範囲に関するデータを計算し、前記中景領域の範囲を奥方向に伸ばして拡張する処理を行う中景領域拡張部と、
前記データ記憶部からコンピュータグラフィックスを描画するために必要なデータを読み出して、前記中景領域内にある描画対象物の投影画像である中景画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された各中景画像を前記画像メモリに書き込む中景画像描画部と、
前記中景画像描画部によって描画された各中景画像を前記画像メモリから読み出して、各中景画像に投影されている描画対象物の輪郭線近傍の各画素に対して、前記画素の色と、前記画素に隣接する複数の画素の色を混合する処理を行うことにより修正された中景画像を作成し、修正された前記中景画像のそれぞれを前記画像メモリに記憶する中景画像混色部と、
前記近景画像混色部によって修正された前記近景画像を、前記画像メモリから読み出して、前記近景画像を、任意の奥行きに配置されたコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記画像メモリに書き込む近景ボード描画部と、
前記画像メモリから、前記遠景ボード描画部、前記中景画像描画部、および前記近景ボード描画部によって描画された複数枚の画像を読み出して、画素配列を並べ替えて立体表示可能な形式の画像に変換し、前記画像メモリに書き込む画素配列変換部と、
前記画素配列変換部によって作成された立体表示可能な形式の前記画像を前記画像メモリから読み出して、観察者に提示する提示部と、
を備えていることを特徴とする立体画像描画装置。
【請求項２】
前記データ記憶部の前記画像メモリは、色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリであり、
前記近景画像作成部は、前記近景画像が記憶される前記画像メモリの全画素のアルファ値をゼロに初期設定し、この初期設定された画像メモリに対して、前記多視点カメラの中央位置付近に配置した１台のカメラによって作成された前記近景領域内にある描画対象物の投影画像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換える処理を行い、
前記近景ボード描画部は、前記近景画像作成部によって作成された前記近景画像を前記画像メモリから読み出して、その近景画像のアルファ値が非ゼロの画素だけを、前記近景ボードを表すコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、前記四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記画像メモリに書き込むことを特徴とする請求項１記載の立体画像描画装置。
【請求項３】
前記中景画像描画部は、前記中景画像を、前記遠景ボード描画部において、同じカメラによって描画された前記遠景ボードの投影画像が記憶された画像メモリに上書きして記憶することを特徴とする請求項１または２記載の立体画像描画装置。
【請求項４】
前記近景ボード描画部は、前記近景画像の前記近景ボードの投影画像を、前記中景画像描画部において、同じカメラによって描画された前記中景画像が記憶された画像メモリに上書きして記憶することを特徴とする請求項３記載の立体画像描画装置。
【請求項５】
色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリの全画素のアルファ値をゼロに初期設定するステップと、
多視点カメラの中央位置付近に配置した１台のカメラによって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、前記画像メモリに記憶するステップと、
前記遠景画像をアンチエイリアシング処理するステップと、
近景領域を奥方向に拡張するステップと、
前記多視点カメラの中央位置付近に配置した１台のカメラによって、拡張された近景領域にある前記描画対象物の投影像を計算し、前記画像メモリの近景画像を記憶する領域に対して前記投影像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換えるステップと、
前記近景画像をアンチエイリアシング処理するステップと、
前記アンチエイリアシング処理された前記近景画像から、背景色と混合された画素を見つけ、この画素の色を混合される前の色に置き換えるステップと、
前記多視点カメラによって前記ボードの多視点画像を描画し、前記画像メモリに記憶するステップと、
中景領域を奥方向に拡張するステップと、
前記拡張された中景領域内にある前記描画対象物の多視点画像を描画し、前記画像メモリに記憶するステップと、
前記中景画像をアンチエイリアシング処理するステップと、
前記アンチエイリアシング処理された前記中景画像を、同じカメラによって描画された前記遠景ボードの多視点画像が記憶されている前記画像メモリに上書きして記憶するステップと、
前記多視点カメラに含まれるすべてのカメラによって近景ボードの多視点画像を描画し、同じカメラによって描画された前記中景画像が記憶されている前記画像メモリに上書きして多視点画像として記憶するステップと、
前記多視点画像を立体表示可能な形式の画像に変換するステップと、
前記立体表示可能な形式の画像を立体画像として提示するステップと、
を備えていることを特徴とする立体画像描画方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１０−２２４８８６（Ｐ２０１０−２２４８８６Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−７１６８２（Ｐ２００９−７１６８２）
【出願日】平成２１年３月２４日（２００９．３．２４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月２４日（２００９．３．２４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]