説明

画像処理装置

【課題】多くの視点位置に対応させた三次元表示におけるハードウェア構成の負荷を低減可能とするための画像処理装置を提供すること。
【解決手段】三次元表示の素材となる素材画像を描画する素材画像描画手段である描画装置3と、素材画像描画手段により描画された素材画像のデータを記憶する素材画像記憶手段であるメモリ4と、素材画像記憶手段から読み出された素材画像のデータ、素材画像に対して設定された深度情報、及び予め設定された視点位置情報に基づいて、三次元表示用の画像データを生成し、三次元表示のための表示手段である立体ディスプレイ2へ出力する三次元画像生成手段である画像生成装置5と、を有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置に関する。
【背景技術】
【0002】
三次元表示のための立体ディスプレイは、視差を持たせた左右両眼用画像を表示することにより、観察者に対し立体的な映像を提供する。立体ディスプレイとしては、例えば、複数箇所の観察者に対して立体的な映像効果を与えるための、いわゆる多視点方式の立体ディスプレイが提案されている。立体ディスプレイは、対応する視点位置の数に相当する組の左右両眼用画像を描画し、保持する手法が採用されている(三次元表示画像の生成については、例えば、特許文献1参照)。このため、対応する視点位置の数が多くなるほど、描画処理の負担の増大、メモリ消費量の増大、システムバスのトランザクションの増大などにより、ハードウェア構成の負荷が大きくなるという問題を生じる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平8−331607号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、多くの視点位置に対応させた三次元表示におけるハードウェア構成の負荷を低減可能とするための画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
本願発明の一態様によれば、三次元表示の素材となる素材画像を描画する素材画像描画手段と、前記素材画像描画手段により描画された前記素材画像のデータを記憶する素材画像記憶手段と、前記素材画像記憶手段から読み出された前記素材画像のデータ、前記素材画像に対して設定された深度情報、及び予め設定された視点位置情報に基づいて、前記三次元表示用の画像データを生成し、前記三次元表示のための表示手段へ出力する三次元画像生成手段と、を有することを特徴とする画像処理装置が提供される。
【発明の効果】
【0006】
本発明によれば、多くの視点位置に対応させた三次元表示におけるハードウェア構成の負荷を低減させることができるという効果を奏する。
【図面の簡単な説明】
【0007】
【図1】図1は、実施の形態に係る画像処理装置を備える表示システムの構成を示すブロック図である。
【図2】図2は、画像生成装置の構成を示すブロック図である。
【図3】図3は、メモリに保持される素材画像のデータ及び深度情報を示す概念図である。
【図4】図4は、視差生成器による視差の生成について説明する図である。
【図5】図5は、画像合成器による左右両眼用画像の合成について説明する図である。
【図6】図6は、画像処理装置の動作手順を説明するフローチャートである。
【発明を実施するための形態】
【0008】
以下に添付図面を参照して、本発明の実施の形態に係る画像処理装置を詳細に説明する。
【0009】
(実施の形態)
図1は、実施の形態に係る画像処理装置1を備える表示システムの構成を示すブロック図である。表示システムは、画像処理装置1と、立体ディスプレイ2とを備える。画像処理装置1は、描画装置3、メモリ4及び画像生成装置5を備える。画像処理装置1は、三次元表示用の画像データを生成し、立体ディスプレイ2へ出力する。立体ディスプレイ2は、三次元表示のための表示手段として機能する。
【0010】
描画装置3は、三次元表示の素材となる素材画像を描画する素材画像描画手段として機能する。メモリ4は、描画装置3により描画された素材画像のデータ(以下、適宜「素材画像データ」と称する)を、素材画像に対して設定された深度情報とともに記憶する素材画像記憶手段として機能する。素材画像データとは、素材画像を構成する各画素の色データ、例えば、三原色であるR、G、Bの信号値とする。深度情報とは、三次元方向のうち奥行き方向について設定される像の位置情報であって、例えばユーザによって設定される。画像生成装置5は、メモリ4から読み出された素材画像データ及び深度情報と、視点位置情報とに基づいて、三次元表示用の画像データを生成する三次元画像生成手段として機能する。視点位置情報とは、三次元表示の立体視を可能とする視点の位置情報であって、例えば立体ディスプレイ2の仕様によって予め設定される。
【0011】
図2は、画像生成装置5の構成を示すブロック図である。画像生成装置5は、視差生成器11、視点位置カウンタ12及び画像合成器13を備える。視差生成器11は、深度情報及び視点位置情報に応じて、視点位置ごとの左右両眼用画像を生成する視差生成手段として機能する。左右両眼用画像とは、左眼用画像及び右眼用画像の両方を指すものとする。視差とは、左右両眼からある点を見たときの視線ベクトルの角度差をいうものとする。視点位置カウンタ12は、視点位置情報として、視点位置を表すカウント値Cを出力する。画像合成器13は、視差生成器11で生成された左眼用画像同士、右眼用画像同士をそれぞれ合成することにより三次元表示用の画像データを生成する画像合成手段として機能する。
【0012】
次に、画像処理装置1の動作を説明する。図3は、メモリ4に保持される素材画像データ及び深度情報を示す概念図である。図3中、(a)はメモリ4のうち素材画像データが格納されるメモリ領域MA、(b)はメモリ4のうち深度情報が格納されるメモリ領域MBをそれぞれ表している。例えば、描画装置3により、背景である素材画像1a(深度は無限遠)と、楕円形の物体(以下、物体αとする)の像である素材画像2a(深度DA、但し、0<DA<無限遠)、二等辺三角形の物体(以下、物体βとする)の像である素材画像3a(深度DB、但し、0<DB<無限遠、かつDA>DB)が描画されたとする。
【0013】
メモリ領域MAには、素材画像1a、2a、3aの各データがそれぞれフレームバッファへ格納される。メモリ領域MBには、素材画像1a、2a、3aに対応して、深度情報1b(深度=無限遠)、2b(深度=DA)、3b(深度=DB)がそれぞれ深度バッファへ格納される。
【0014】
図2に示す画像生成装置5は、メモリ領域MAに格納された各フレームバッファのデータと、メモリMBに格納された各深度バッファのデータとを、それぞれ水平方向へ1ラインずつ読み込む。画像生成装置5へ読み込まれたデータは、視差生成器11へ入力される。また、視差生成器11には、視点位置カウンタ12からのカウント値Cが入力される。なお、深度情報は、メモリ4に格納される場合に限られない。例えば、深度情報は、画像生成装置5に対して、プレーンごとの固定値として設定されるものとしても良い。
【0015】
図4は、視差生成器11による視差の生成について説明する図である。視差生成器11は、水平方向について視差を持たせた左右両眼用画像を生成する。左右両眼用画像は、メモリ領域MAから読み込まれる各フレームバッファのデータを基にして、メモリ領域MBから読み込まれる深度バッファのデータ及びカウント値Cに応じて生成される。
【0016】
視差生成器11は、素材画像1aのデータ及び深度情報1bから、背景の左眼用画像1c及び右眼用画像1dを生成する。深度情報1bは無限遠であるため、背景の左右両眼用画像1c、1dの視差シフト量s1はゼロとされる。視差生成器11は、素材画像2aのデータ及び深度情報2bから、物体αの左眼用画像2c及び右眼用画像2dを生成する。物体αの左右両眼用画像2c、2dの視差シフト量s2は、深度情報2bと、カウント値Cとして入力される視点位置情報とに応じて算出される。物体αの左眼用画像2cは、素材画像2aに対して水平右向きへ視差シフト量s2だけ物体αをシフトさせて生成される。物体αの右眼用画像2dは、素材画像2aに対して水平左向きへ視差シフト量s2だけ物体αをシフトさせて生成される。
【0017】
視差生成器11は、素材画像3aのデータ及び深度情報3bから、物体βの左眼用画像3c及び右眼用画像3dを生成する。物体βの左右両眼用画像3c、3dの視差シフト量s3は、深度情報3bと、カウント値Cとして入力される視点位置情報とに応じて算出される。物体βの左眼用画像3cは、素材画像3aに対して水平右向きへ視差シフト量s3だけ物体βをシフトさせて生成される。物体βの右眼用画像3dは、素材画像3aに対して水平左向きへ視差シフト量s3だけ物体βをシフトさせて生成される。一般に、視点から近い位置にある物ほど視差は大きくなるため、視差シフト量s2、s3には、s2<s3の関係が成り立つ。
【0018】
視差生成器11は、カウント値Cが入力されるごとに、背景の左右両眼用画像1c、1d、物体αの左右両眼用画像2c、2d、物体βの左右両眼用画像3c、3dを生成する。素材画像2a、2bに対して左右両眼用画像2c、2d、3c、3dを生成する場合における物体α、βのシフトは、基準となる座標と画像との対応関係を視差シフト量s2、s3に応じて変化させることにより行う。
【0019】
図5は、画像合成器13による左右両眼用画像の合成について説明する図である。例えば、視点位置情報として、それぞれ異なる位置の視点1から視点nが設定されているとする。画像合成器13は、カウント値Cとして視点位置情報が入力された視点1について、背景の左眼用画像1c、物体αの左眼用画像2c、物体βの左眼用画像3cを合成することにより、視点1に対する左眼用画像1eを生成する。また、視点1について、背景の右眼用画像1d、物体αの右眼用画像2d、物体βの右眼用画像3dを合成することにより、視点1に対する右眼用画像1fを生成する。画像合成器13は、深度情報1b、2b、3bに応じて、手前から奥へ物体β、物体α、背景が重なるような合成処理により、左右両眼用画像1e、1fを合成する。
【0020】
画像合成器13による画像の合成には、例えば、視点からは別の物体や面に隠れて見えなくなる領域を消去する隠面消去処理が採用される。また、画像合成器13は、係数(アルファ値)を使って複数の画像を半透明合成するアルファブレンドを採用することとしても良い。画像合成器13は、視点1の場合と同様にして、視点2から視点nのそれぞれについても、左眼用画像2e〜ne及び右眼用画像2f〜nfを合成する。このように、画像合成器13は、各視点位置における左右両眼用画像1e〜ne、1f〜nfのデータを、三次元表示用の画像データとして生成する。
【0021】
図6は、画像処理装置1の動作手順を説明するフローチャートである。描画装置3により素材画像を描画する(ステップS1)と、素材画像データがメモリ4へ書き込まれる(ステップS2)。例えば、スイッチ操作等により三次元表示の開始が指示されると、メモリ4に格納されている素材画像データ及び深度情報が画像生成装置5へ読み出される(ステップS3)。
【0022】
次に、座標と画像との対応関係を視差分だけシフトさせる(ステップS4)ことにより、視差生成器11において左右両眼用画像を生成する。視差は、視点位置情報に基づいて視差シフト量を算出することにより、視点ごとに生成される。視差シフト量の算出には、深度情報も使用される。設定されている全ての視点について左右両目用画像が生成されると、画像合成器13での画像合成により、三次元表示用の画像データを生成する(ステップS5)。画像合成器13による合成処理には、深度情報も使用される。画像生成装置5は、生成した三次元表示用の画像データをラインバッファに格納する(ステップS6)。画像生成装置5は、ラインバッファに格納した三次元表示用の画像データを立体ディスプレイ2へ順次出力する(ステップS7)。
【0023】
画像処理装置1は、描画装置3での描画処理は素材画像のみとし、視点ごとの画像については画像生成装置5にて生成する。このため、視点ごとの全ての画像について描画処理をする場合に対して、描画処理負担を軽減できる。また、メモリ4には素材画像に関するデータのみを保持することとし、三次元表示用の画像データについては画像生成装置5のラインバッファに1ライン分のデータのみが保持される。画像処理装置1は、視点の数より少ないフレームバッファを用意すれば良いことから、視点の数だけ左右両眼用のフレームバッファを要する場合に比べて、メモリ消費量を軽減できる。さらに、描画装置3、メモリ4及び画像生成装置5の間では素材画像に関するデータのみの書き込み及び読み出しをすることで、三次元表示用の画像データ全体の書き込み及び読み出しをする場合に比べて、バスのトランザクションを軽減できる。
【0024】
このことから、三次元表示において対応可能とする視点位置の数が多くなる場合に、描画処理の負担の軽減、メモリ消費量の軽減、システムバスのトランザクションの軽減が可能となる。以上により、多くの視点位置に対応させた三次元表示におけるハードウェア構成の負荷を低減させることができるという効果を奏する。画像処理装置1は、プレーン合成など既存技術を用いる回路に対して、ハードウェア構成の少しの変更或いは追加により構成することができる。また、画像の水平方向移動に限定して視差を生成する構成とすることで、視差生成のための処理は表示の1ライン単位に限定することが可能なため、ハードウェアの実装コストを抑制できる。
【符号の説明】
【0025】
1 画像処理装置、2 立体ディスプレイ、3 描画装置、4 メモリ、5 画像生成装置、11 視差生成器、12 視点位置カウンタ、13 画像合成器。

【特許請求の範囲】
【請求項1】
三次元表示の素材となる素材画像を描画する素材画像描画手段と、
前記素材画像描画手段により描画された前記素材画像のデータを記憶する素材画像記憶手段と、
前記素材画像記憶手段から読み出された前記素材画像のデータ、前記素材画像に対して設定された深度情報、及び予め設定された視点位置情報に基づいて、前記三次元表示用の画像データを生成し、前記三次元表示のための表示手段へ出力する三次元画像生成手段と、を有することを特徴とする画像処理装置。
【請求項2】
前記三次元画像生成手段は、前記深度情報及び前記視点位置情報に応じて、視点位置ごとの左右両眼用画像を生成する視差生成手段を有することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記視差生成手段は、水平方向について視差を持たせた前記左右両眼用画像を生成することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記三次元画像生成手段は、各素材画像の左眼用画像同士、右眼用画像同士をそれぞれ合成することにより前記三次元表示用の画像データを生成する画像合成手段を有することを特徴とする請求項2又は3に記載の画像処理装置。
【請求項5】
前記三次元画像生成手段は、前記視点位置を表すカウント値を出力する視点位置カウンタを有することを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2011−66507(P2011−66507A)
【公開日】平成23年3月31日(2011.3.31)
【国際特許分類】
【出願番号】特願2009−213275(P2009−213275)
【出願日】平成21年9月15日(2009.9.15)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】