説明

立体表示装置および立体画像表示方法

【課題】 2次元画像表示モードと3次元画像表示モードを自由に切り替えて、容易に適
切な表示方法を用いて作業を行う立体表示装置を提供することを目的とする。
【解決手段】 入力された画像を書き込むメインバッファと、このイメージバッファに書
き込まれた画像を取得するキャプチャと、このキャプチャで取得した画像を2D画像から
3D画像にフォーマットを画像変換する画像変換部と、画像変換された画像を書き込むオ
ーバーレイバッファと、メインバッファまたはオーバーレイバッファに書き込まれた画像
を表示するディスプレイと、入力された画像が2D画像か3D画像かによって、メインバ
ッファと前記オーバーレイバッファに書き込まれた画像の表示を切り替える切替部とを備
える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体画像を表示する装置および方法に関する。
【背景技術】
【0002】
近年、様々な方式の立体ディスプレイが開発、実用化されている。左右の2枚の画像を
、光学的に左右の目で観察するようにして、立体写真を楽しんだりすることは数10年前
より可能であったし、ホログラムのように元の物体の光線再生を忠実に再現することで立
体映像を表示する技術も古い。最近は電子ディスプレイと組み合わせて、動画をはじめと
して様々な立体画像コンテンツを楽しめるような環境ができつつある。
【0003】
例えば、垂直レンチキュラーレンズを用いた立体画像表示装置がある。これはレンズの
1ピッチに18個のサブピクセル(つまり6画素)が入っており、この18個のサブピク
セルからの光線がレンズにより、観察空間の18方向に配分される。全てのレンズからこ
のように分離された光線が表示されることで、目の位置により異なる像が観察される立体
画像表示装置が可能になる。この方式はインテグラルイメージング方式と呼ばれ、自然な
立体画像が表示できる特徴を持っている。(例えば、特許文献1を参照)
【特許文献1】特開2006−98779号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
立体画像表示装置に出力する画像は、独自のフォーマット形式である必要がある。複数
の視点から見た画像をインターリーブして表示する必要があるため、例えば、ある視点か
らの画像のあるピクセルが、立体画像表示装置上では、ある場所の縦に並んだ3つのサブ
ピクセルとして配置される。インターリーブされた画像は、レンチキュラーレンズを外し
た状態では、正しい画像としては観察できない。これは、逆に言うと通常の2次元画像は
レンチキュラーレンズを介して観察すると正常な画像として観察できないことを示してい
る。
【0005】
立体画像表示システムはPC(パーソナルコンピュータ)など、何らかのコンピュータ
システム上に構築されることが多い。PCでは、代表的なOSとしてウィンドウを用いる
システム(以下、ウインドウシステムとする)が使われているが、これらはもちろん2次
元画像で構成されている。従って、ウィンドウシステムの操作を行う場合に表示されるウ
ィンドウなどは正しく観察することができず、その操作性に重大な問題を残してしまう。
【0006】
この発明は、上記問題を考慮してなされたものであり、2次元画像表示モードと3次元
画像表示モードを自由に切り替えて、容易に適切な表示方法を用いて作業を行う立体表示
装置または立体表示方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本願発明によれば、入力された画像を書き込むメインバッファと、前記イメージバッフ
ァに書き込まれた画像を取得するキャプチャと、前記キャプチャで取得した画像を2D画
像から3D画像にフォーマットを画像変換する画像変換部と、前記画像変換された画像を
書き込むオーバーレイバッファと、前記メインバッファまたは前記オーバーレイバッファ
に書き込まれた画像を表示するディスプレイと、入力された画像が2D画像か3D画像か
によって、前記メインバッファと前記オーバーレイバッファに書き込まれた画像の表示を
切り替える切替部とを備えたことを特徴とする立体画像表示装置を提供する。
【発明の効果】
【0008】
これらの手段により、2次元画像表示モードと3次元画像表示モードを自由に切り替え
て、容易に適切な表示方法を用いて作業を行うことができる。
【発明を実施するための最良の形態】
【0009】
以下に、図1〜図13を用いて、本発明の実施の形態について詳細に説明する。
(第1の実施例)
図1は、本発明の第1の実施例の立体画像表示装置100の構成を表している。立体画
像表示装置100は、切替部101、イメージバッファ102、表示部103、キャプチ
ャ104、画像変換部105から構成される。
【0010】
ここでは、一般的なウィンドウを用いるシステム(以下、ウィンドウシステムとする)
でPCを動作させており、その環境下で3次元画像(3D画像)の表示を行うシステムで
ある。ウィンドウシステム自体は2次元画像(2D画像)であり、その上で立体画像表示
用のアプリケーションを立ち上げて立体画像表示を行う。また、立体画像表示アプリケー
ションを使用していないときには、ウィンドウシステムそのものやメニュー、アイコンな
どが2次元画像として観察できることが必要である。
【0011】
まず、ウィンドウシステムには、その表示している画像データを格納するイメージバッ
ファ102が関連づけられており、ウィンドウシステムを構成する2次元画像はイメージ
バッファ102のメインバッファ1021に書き込まれる。キャプチャ104はこのメイ
ンバッファ1021から、ウィンドウ画面の2次元画像を取得する。そして、2次元画像
を立体画像表示装置に表示するために画像変換部105(ここでは、以下、2D−3D変
換とする)は、このキャプチャ104が取得した2次元画像をフォーマット変換し、立体
画像表示装置100上で正しく観察できるような画像を作成する。作成された画像を表示
部103で表示するのであるが、この作成方法に関しては後で詳しく説明する。
【0012】
このときに、入力画像を取得したメインバッファ1021とは異なるオーバーレイバッ
ファ1022へ画像変換部105で2D−3D変換された画像を書き込む。例えば、一般
的なウィンドウシステムでは、エージェント(アプリケーションの使用の手助けをしてく
れるキャラクターアニメーション)や、アイコンやマウスカーソルなどの陰などを効果的
に表示するために、透明度情報付きで、ウィンドウシステムに関連付けられたメインバッ
ファ1021に重ねて表示するための、レイヤードウィンドウというものが用意されてい
る。このレイヤードウィンドウによりメインバッファ1021に重ねて表示するために、
2D−3D変換された画像はオーバーレイバッファ1022に書き込まれ、表示部103
で表示される。このとき透明度を0(メインバッファ1021に書き込まれた画像を透過
しない)に設定しておけば、オリジナルのウィンドウ画面は見えず、立体画像表示装置1
00で観察できるよう変換された画像だけが表示される。
【0013】
このように、メインバッファ1021からオリジナル画像を取得し、変換した画像をレ
イヤードウィンドウに表示することにはいくつかのメリットがある。まず、この2D−3
D変換は、アプリケーションプログラムの一部として実装することが可能であるが、アプ
リケーションからウィンドウシステムの画面をキャプチャする手段は少ない。しかし、表
示されたウィンドウをキャプチャする手段を持っているため、この時、オーバーレイバッ
ファ1022からの画像は取り込まず、メインバッファ1021からの画像を取り込むこ
とができる。
【0014】
従って、2D−3D変換された画像をレイヤードウィンドウにより表示しても、2D−
3D変換手段は、次の新しいウィンドウシステムの画像を取得することができる。もし2
D−3D変換された画像を元のメインバッファ1021上に書き戻してしまうと、次のウ
ィンドウシステムの画像を取得するときに、2D−3D変換された画像を取得してしまう
ことになり、乱れた表示となってしまう。
【0015】
立体画像表示装置はその特性上、パネルの画素数に対して、立体表示したときの有効解
像度が低くなる。例えば、垂直12視差のインテグラルイメージング方式の立体画像表示
装置では、パネルの画素数が1920×1200画素である場合、サブ画素単位で視差を
割り当てる方式を用いると、立体画像の解像度は、480×400となる。また2D−3
D変換して表示するときに限り、480×400または倍の960×400の解像度が可
能となる。いずれにしろ、もとのウィンドウサイズが1920×1200画素なのに対し
て、その全画面を同時に表示することはできない。従って、その一部をキャプチャして、
立体画像表示装置100に表示するという工夫が必要である。マウスを動かすことによっ
て、キャプチャする位置を変えれば、同時にではないが、ウィンドウシステムの全範囲を
観察することは可能である。
【0016】
しかしながら、常にこの2D−3D変換した画像の表示を有効にしておくのは適切でな
い。立体画像コンテンツを表示するときは、もともとレンチキュラーレンズ越しに正しく
立体画像として観察される画像を表示するのであるから、これを2D−3D変換してしま
うと正しく立体画像として観察できない。従って、このようなときは2D−3D変換した
画像の表示を無効にする必要がある。この2D−3D変換した画像表示の切替えを切替部
101で行っている。
【0017】
この切替えは、ユーザーが明示的に指示をしても良いし、自動化してもよい。例えば、
立体画像を表示するアプリケーションが立ち上がったら、切替部101が2D−3D変換
した画像の表示を無効にするように切替える。そのアプリケーションが終了したら、切替
部101は2D−3D変換した画像の表示を有効にするように切替える。また、アプリケ
ーションの起動/終了ではなく、立体コンテンツの再生開始/停止をトリガーにしても良
い。
【0018】
立体画像表示アプリケーションにも、数々のメニューなどがあり、それらを操作すると
きには、2D−3D変換表示してくれた方が便利なことがあるからである。このような切
替部101を備えていることによって、適切なタイミングで自動/手動でそのモードを切
り替え、2次元画像であっても3次元画像コンテンツであっても適切に表示することが可
能となる。
【0019】
ここで、2D−3D変換の詳細について述べる。立体画像表示装置100においては、
3D画像コンテンツは、視差数分の画像がタイル上に組み合わされたフォーマットをして
おり、これを適切な変換をすることで、ひとつのレンチキュラーレンズで視差分解する要
素画像をアレイ化した画像(要素画像アレイ)を得て、これをレンチキュラーレンズ越し
に観察することで立体視ができる。これに関して説明する。
【0020】
図2は、立体画像表示装置100の全体を概略的に示す斜視図である。図2に示す立体
画像を表示する表示装置は、平面画像としての視差合成画像を表示する平面型表示部33
1を備えている。この平面型表示部331の前面には、この表示部331からの光線を制
御する視差バリア332として図3(a)に示すレンチキュラーシート334或いは図3
(b)に示すスリット板333が配置されている。ここで、レンチキュラーシート334
或いはスリット板333は、総称して視差バリア332と称する。ここで、視差バリアは
、光学的開口を備え、視差バリアがレンチキュラーシート334であれば、光学的開口は
、各シリンドリカルレンズに相当し、視差バリアがスリット板333であれば、光学的開
口は、スリット板333に設けられたスリットに相当する。この視差バリア332の光学
的開口は、立体画像が表示される視域に向けられる表示部331からの光線を実質的に制
限し、表示部331上に表示される2次元的な画像を構成する各要素画像に対応して設け
られている。従って、表示部331上に表示される視差合成画像は、視差バリア332の
光学的開口の数に対応した数の要素画像から構成されている。その結果、要素画像が夫々
視差バリア332の光学的開口を介して視域内の空間に向けて投影されることによって立
体画像が立体画像表示装置の前面或いは背面に表示される。
【0021】
尚、立体画像表示装置100においては、必要に応じて拡散シート301が平面画像表
示部331と視差バリア332との間に設けられても良い。また、視差バリア322が、
平面画像表示部331の背面側に設置されていてもよい。
【0022】
この立体画像表示装置100は、1次元インテグラルイメージング方式(以下、II方
式)であって、この1次元II方式においては、想定視距離L上の視点343から見ると
、水平視差341が与えられるが、垂直視差342が与えられていない立体画像が観察さ
れる。ここで、図4(a)は、立体画像表示装置100の前面を示し、図4(b)は、立
体画像表示装置の水平面内における光学系の配置並びに要素画像平均幅Pe、第2水平ピ
ッチ(視差バリアの開口部の水平ピッチ)Ps、視距離L、視域幅Wの関係を示す作図線
(直線群346)を示し、図4(c)は、図4(a)に示す立体画像表示装置の表示部3
31を基準とする視域空間における垂直面内の画角を概略的に示している。
【0023】
図2及び図4(b)に示すように、立体画像表示装置は、上述したように液晶表示素子
等の平面画像を表示する平面型表示部331及び光学的開口を有する視差バリア332を
備えている。視差バリア332は、図3(a)及び(b)に示すような垂直方向に光学的
開口が直線状に伸び水平方向に周期的に配列される形状のレンチュキュラーシート334
或いはスリット板333で構成される。投射型の表示装置にあっては、この視差バリア3
32は、曲面鏡アレイなどで構成される。この立体画像表示装置においては、水平方向の
視角341及び垂直方向の視角342の範囲内において、眼の位置から視差バリア332
を介して表示装置331が観察されて表示部331の前面及び背面に立体像を観察するこ
とができる。ここでは、平面画像表示部331の画素数は、正方形となる最小単位の画素
【0024】
群で数えた場合の一例として横方向(水平方向)が1920であり、縦方向(垂直方向)
が1200である。ここで、各最小単位の画素群は、赤(R)、緑(G)、青(B)の画
素を含んでいるものとする。尚、この明細書において「画素」とは、表示面の1フレーム
内で独立に輝度を制御できる最小単位を意味し、通常の直視透過型液晶パネルにおける赤
(R)、緑(G)、青(B)のサブ画素が「画素」に該当する。
【0025】
図4(b)において、視差バリア332から視距離面343までの間の距離(想定視距
離)L、視差バリアピッチ(視差バリア332の光学的開口の水平ピッチ)Ps、視差バ
リアギャップdが定められれば、各要素画像の幅が定められる。即ち、要素画像の平均ピ
ッチPeは、視距離面343上の視点からアパーチャ(視差バリア332の光学的開口)
の中心に向かう直線に沿ってアパーチャ中心を表示装置の表示面上に投影した点の間隔に
より決定される。符号346は、視点位置と各アパーチャ中心とを結ぶ線を示し、視域幅
Wは、表示装置の表示面上で要素画像が互いに重なり合わないとの条件から決定される。
既に説明したように、要素画像とは、視差バリア332のある光学的開口を通過して視差
バリア332と視距離面343上との間の視域に向けられる光線束を発生する画素の集合
によって表示される2次元的な合成画像(視差合成画像の一部)に相当する。複数の要素
画像が表示部331に表示されてこれが投影されることによって立体画像が表示される。
【0026】
アパーチャの水平ピッチPsが画素ピッチPpの整数倍に定められている平行光線1次
元II方式においては、各アパーチャに対応して定められる立体画像の表示に寄与する要
素画像の平均ピッチPeは、画素ピッチPpの整数倍とはならず、この整数倍の値に端数
を伴う。アパーチャの水平ピッチPsが画素ピッチPpの整数倍に定められていない(平
行光線群を形成しない)広義の1次元II方式にあっても、一般的に要素画像の平均ピッ
チPeは、同様に画素ピッチPpの整数倍からずれた端数を伴う。これに対して、多眼方
式では、要素画像の平均ピッチPeは、画素ピッチPpの整数倍に定められる。1次元I
I方式において、アパーチャの水平ピッチPsを画素ピッチPpで除した整数を「視差数
」と呼ぶことにする。
【0027】
各要素画像は、図5(a)、(b)及び(c)を参照して説明するように各平行光線群
の方向に対応する視差成分画像426から抜き出された画素列の集合で構成される。また
、明らかなように1枚の立体画像を表示する為の視差合成画像は、要素画像の集合(要素
画像アレイとも称する)でもあり、この要素画像を構成する多数の視差成分画像426の
集合(インターリーブ状に合成された集合)でもある。
【0028】
図5(a)、(b)及び(c)は、平行光線1次元II方式における視差成分画像に基
づく視差合成画像の構成方法を示している。図5(a)に示されるように、表示される物
体(被写体)421は、実際に立体画像表示装置の視差バリア332が置かれる面に配置
される投影面422に投影される。1次元IPにおいては、垂直方向が透視投影となり、
水平方向が平行投影となるように、投影面422に平行な面で、且つ、視距離Lの面の中
央に定められ投影中心線423に向かう投影線425に向けて投影される。この投影では
、投影線が水平方向では互いに交わらないが、垂直方向では投影中心線で交わる。この投
影法により、投影面422上に、垂直方向が透視投影され、水平方向が平行投影された図
5(b)に示されるような被写体の像424が作成される。図5(b)に示される被写体
の像424は、図5(a)においては、符号1で示される投影方向428に投影される像
に相当し、1次元IIにあっては、図5(a)に示されるように複数の方向に投影される
被写体の像424が必要とされる。
【0029】
投影面422上に垂直方向が透視投影され、水平方向が平行投影される一方向分の画像
に相当する投影画像すなわち視差成分画像426は、図5(b)に示すように、垂直方向
に沿う各画素列に分割され、各光学的開口(アパーチャ)に対応させる各要素画像に分配
され、視差合成画像427内に配置される。視差成分画像426は、表示装置の表示面4
27における長さでいえば、アパーチャピッチPs(光学的開口のピッチPs)の間隔(
視差数と同じ数のサブ画素列間隔)だけ間隔が空けられ、互いに分離して配置される。
【0030】
図5(a)に示される各投影方向は、視差番号で特定される視差成分画像426を観察
する視差方向に対応し、各方向は、等角度と成すようには定められず、視距離面上で投影
中心(カメラ位置)の間隔が等間隔になるように設定される。即ち、カメラを投影中心線
423上で等間隔に平行移動(向きは一定)して撮影することによって、投影中心の間隔
が等間隔に設定される。
【0031】
図6は、立体画像表示装置の一部分の構成を概略的に示す斜視図である。液晶パネルな
どの平面状の視差画像表示部の表示面の前面に、視差バリア332として光学開口が垂直
方向に延びるシリンドリカルレンズからなるレンチキュラーシート334が配置されてい
る場合を示している。この視差バリア332の光学開口は、図6に示されるように直線状
に延出される場合に限らず、斜め、或いは、階段状に配置形成されも良い。図6に示され
るように表示装置の表示面には、縦横比が3:1の画素34が横方向及び縦方向に夫々直
線状にマトリクス状に配置され、各画素34は、同一行及び列内で横方向に赤(R)、緑
(G)、青(B)が交互に並ぶように配列されている。この色配列は、一般にモザイク配
列と呼ばれる。
【0032】
図6に示される表示画面では、18列6行の画素34で1実効画素43(この1実効画
素43は、図6において黒枠で示されている)、或いは、18列3行の画素34で1実効
画素が構成される。このような表示部の構造では、水平方向に18視差を与える立体画像
表示が可能となる。
【0033】
もともと2次元画像を立体画像表示装置100で観察するには、全ての視差画像が同じ
画像であると考えて、要素画像アレイを作成すればよい。それによって、表示パネル上に
置かれた平面を立体視しているような画像が観察される。つまり立体空間上の平面を観察
することになる。このとき、この2次元画像は、立体画像と同じ解像度で表現されるが、
前述のように、立体画像の解像度はもともとの表示パネルのそれより低くなってしまう。
例えば、12視差斜めレンチキュラーレンズを用いた立体画像表示装置では、パネル解像
度が1920×1200の時、立体画像の解像度は、480×400となる。しかし、こ
のレンズはモアレを除去するためにクロストークを持ったレンズとして設計されており、
このクロストークを用いることで、2次元画像を表示するときに限り、倍の解像度960
×800で表示することが可能である。480×400の解像度では、ウィンドウシステ
ムを操作するにはかなり狭い解像度となるが、960×800の解像度があれば、ウィン
ドウシステムも十分操作することが可能となる。倍解像度で2次元画像を表示する際には
、その平面は表示パネル面上ではなく、少し手前に浮いた面、もしくは沈んだ面として表
現される。高解像度な2次元平面を生成するための詳しい方法について説明する。
【0034】
立体画像表示装置100の構成を図7(a)、(b)に示す。図7(a)は、立体画像
表示装置の構成を示す平面図である。立体画像表示装置100は、2次元画像表示装置1
と、光線制御素子2とを備えている。2次元画像表示装置1は、例えば、液晶表示装置で
あって、複数の画素を有し2次元画像を表示する表示面を備えている。光線制御素子2は
、2次元画像表示装置1の前面に設けられ複数のレンズを有し上記表示面の複数の画素か
らの光線の方向を制御する。
【0035】
立体画像表示装置においては、文字表示あるいは2次元画像を表示する時に、光線制御
素子2から表示される2次元画像の表示位置までの距離zoptは、以下の条件を満たし
ている。
【0036】
0<zopt<L/(1+D)/2 (1)
ここで、Lは観測者から光線制御素子2までの距離すなわち視距離を示し、Dはデプス
ファクタと呼ばれ、次の(5)式から求められる。
D=L/8/(L/2/lp)2/tan(θ)/pp (2)
ここで、lpは光線制御素子2のレンズピッチ、ppは画素ピッチ、θは視域角の半分
を示す。以下、(1)式と、(2)式の導出について説明する。
先に述べたように、II方式はある開口部から観測者の位置に関係なく、光線制御素子
により、ある複数の決まった視差角度に光線を振り分けることにより、両眼視差を利用し
て立体視させる方式である。レンチキュラーレンズを光線制御素子として利用する場合、
図7(a)における視差画像の割り当て方法として、レンチキュラーレンズ2を表示装置
1の前面に置き、レンズの焦点を表示装置1のピクセル位置におくことにより、レンズ2
の曲率により、角度に応じた平行光線を一つのレンズ2から放射する。この時、視域角を
2θ、視差数をNとすると、1視差あたりの視域角度は、
【0037】
1視差あたりの視域角度=2θ/N (3)
となる。
ところで、隣接視差からの光線は、通常、瞳に一本しか入らないと考えられていた。1
本以上入ることをクロストークと呼び、画質を劣化させる原因となる。しかし、液晶ディ
スプレイの高精細化が進み、10視差以上の多視差も実現できるようになり、1視差あた
りの視域角度が小さくなってきている。視差数の増加に加えて、2次元画像表示装置1と
しての液晶表示装置の画素幅、モアレ防止用拡散フィルム、レンズのデフォーカスの影響
も加味して光線が広がり、人間の瞳4の中に隣接視差画像も見えてくる。
【0038】
図7(a)において、符号11は2次元画像表示装置1の表示面における視差画像を示
し、符号19は飛び出し領域に表示した2次元の文字または画像を示す。画像11には、
RNA、MA、LNA、RNB、MB、LNBからなる視差画像がある。MAはあるレン
ズ2のメイン画像であり、RNAはメイン画像MAの右側に隣接する画像であり、LNA
は、メイン画像MAの左側に隣接する画像である。MBは、画像MAをメイン画像とする
レンズ2の隣のレンズのメイン画像であり、RNBはメイン画像MBの右側に隣接する画
像であり、LNBは、メイン画像MBの左側に隣接する画像である。
【0039】
図7(b)に、主光線7による像と隣接視差による像の瞳4に入ってくる割合を示す。
図7(b)は、一つのレンズからの光線として、本来割り当てられた視差角度の主光線を
中心として、互いに主光線に接する二つの隣接視差画像光線が見えている場合を示してい
る。隣り合う主光線間に見える主光線も含めた視差数をx(視差)とし、主光線7の占め
る割合をY0(=1視差)、片側の隣接視差画像の占める割合をY1(視差)とすると、
【0040】
主光線による像:隣接視差光線による像=1:2*Y1=1:(x−1)
となる。クロストーク量として、隣接視差画像のみえる割合とすると
クロストーク量=x−1/x (4)
となる。図7(b)をから分かるように、隣接視差画像のみえる位置に、隣り合う主光線
の点を補間する点の情報を表示すると、解像度の向上した文字を見ることができる。
【0041】
まず、隣接視差画像が主光線7を補間する場合、隣接視差光線は少なくとも図7におい
て隣り合う主光線7の中点より主光線に近い側を通らなければならない。なぜなら、立体
表示位置での隣接視差光線と主光線とのずれtが、レンズピッチlpの半分より大きくな
ると、隣り合うレンズからの隣接視差光線9が観測者4の目の位置で交差することになり
、像としては二重像にみえるからである。そこで、図7(a)の幾何学的条件より、2次
元文字あるいは画像を表示する最適位置zoptは、あるレンズからの隣接視差光線9が
隣接するレンズからの主光線7と交わる飛び出し位置をznとすると、
【0042】
zopt<zn/2 (5)
となる条件が必要である。ここで、znの求め方を述べる。そこで、znの定義として
、視距離で3次元ディスプレイを見た場合、レンズピッチから決まる解像度(ナイキスト
周波数)と、一つのレンズから放射される光線密度から決まる解像度が同じになるところ
である。主光線7と隣接視差画像の光線9の視差角度は常に同じなので、正面からだけで
はなく、見る角度を変えても、2次元文字あるいは画像を得ることができる。
【0043】
デプスファクタDを
D=αimax/βnyq (6)
と定義する。znは飛び出し量の場合、次の式を満たす。
αimax×zno/|L−zno|=βnyq (7)
ここで、図7(a)に視距離Lを示したが、視距離とは観察者4と光線制御素子2との
距離である。視距離とは、3次元体画像を表示するために、2次元表示装置に表示する2
次元マッピングデータを作成する時の計算上の視距離で画像データに固有の値であり、任
意の観察者の位置を示しているわけではない。ここで、飛び出し領域において、
【0044】
βnyq=βimax
となる位置znは、L−zno>0の条件から、(7)式を変形して、
D×zno/(L−zno)=1
すなわち、
D×zno=L−zno
したがって、
zno=L/(1+D) (8)
となる。基準を観測者4からの位置ではなく、表示面上、あるいは表示面下の光線制御素
子2からの飛び出し量znに書き直すと
zn=L・zno=L×D/(1+D)
を満たす飛び出し量が、図1に示すznとほぼ同等となる。
最大のピクセルピッチにおいて、
D=L/8/(L/2/lp)2/tan(θ)/pp (9)
となる。すなわち、(3)式になる。
そこで、(5)式に(8)式を代入して、2次元文字の最適位置は、前述したように、
0<zopt<L/(1+D)/2
D=L/8/(L/2/lp)2/tan(θ)/pp
となる。
今まで、飛び出し領域において、隣接視差画像が主光線どうしの間を補間する位置にな
るように、飛び出し位置を決めることについて述べてきた。
次に、具体的な文字を用いて、飛び出し領域に表示した立体文字と、観測者の目に入る
像が左右同じ方向のものなので、なめらかで見やすい表示となることについて、図8を用
いて説明する。文字表示領域の奥行き限界については、後に説明する。
【0045】
図8(a)に、飛び出し領域に2次元文字、あるいは2次元画像を表示した時に、それ
らが、2次元表示装置1上の視差番号のどこに投影されるか、また、観測者の瞳4上でど
のようにみえるかを示した。ただし、主光線7の視差番号を6視差、隣接する左の隣接視
差番号を5視差、隣接する右の隣接視差番号を7視差とする。中央のレンズをB、左のレ
ンズをA、右のレンズをCとする。
【0046】
2次元表示装置1である液晶ディスプレイ上で、
5A 6A 7A …5B 6B 7B…5C 6C 7C
の順にマッピングされた画像データは、飛び出し領域の立体表示物体において
7A 6A 5A …7B 6B 5B…7C 6C 5C
の位置に相当する。観察者の目の位置でもそれらの位置関係が保たれるため、瞳4に入っ
てくる光線は隣接視差画像データも含んで
7A 6A 5A …7B 6B 5B…7C 6C 5C
となり、立体表示物体で、正しい補間画像が見られる。なお、図8(a)において、符号
3は隣接視差光線が主光線同士の間隔の1/2以内である領域を示し、符号5は主光線7
が主に見える領域を示し、符号6は隣接視差が主に見える領域を示し、符号9は、隣接視
差光線の中央部の軌跡を示し、符号10は隣接視差光線の広がりによる主光線7が見える
領域を示し、符号11は2次元表示装置1の表示面に表示される視差画像を示し、符号1
3は2次元文字を表示する位置とその視差番号割り当てを示し、符号15は隣接視差画像
と主光線7が交わる位置を示す。
【0047】
図8(b)、(c)、(d)に、例として、Eという文字を表したときに、それらが2
次元表示装置1上でどのようにあらわされるか(図8(b)参照)、また、観測者の目に
どのように映るか(図8(d)参照)も示す。図8(c)より、主光線はEという文字の
中を一つしか通っていないが、隣接視差光線を含めると3本の視差光線がEという文字の
中に通っている。図8(12)にそれらを2次元表示装置上に投影したパタ―ン像を示す
が、レンチキュラーレンズの中の一つのレンズにおいて、左右の視差画像が反対になった
像となる。これらをレンズ越しに観測者の位置からみると、図8(d)のように、飛び出
し領域に示した文字と同じように、正常な文字として観測できる。また、隣接視差画像が
主光線を補って、字として認識できることが分かる。
【0048】
ここで、図9を用いて第1の実施例の処理の流れを説明する。例えば、アプリケーショ
ンの起動/終了、または3Dコンテンツの再生開始/停止に応じて、切替部101で入力
される画像を切り替える(S901)と、2D画像の場合には、キャプチャ104がイメ
ージバッファ102のメインバッファ1021に書き込まれた2D画像をキャプチャ(取
得)する(S902)。そして、2次元画像を立体画像表示装置で表示するために画像変
換部105で、このキャプチャ104がキャプチャした2D画像を2D−3D画像変換し
(S903)、立体画像表示装置100上で正しく観察できるような画像を作成する。こ
の作成された画像は立体画像表示装置100で観察できるようにディスプレイ103で表
示される(S904)。一方3D画像の場合には、2D−3D変換する必要がなく、その
ままディスプレイ103で表示される(S904)。
【0049】
このように、3D画像表示アプリケーションにも、数々のメニューなどがあり、それら
を操作するときには、2D−3D変換表示してくれた方が便利なことがあり、このような
切替部101を備えていることによって、適切なタイミングで自動/手動でそのモードを
切り替え、2D画像であっても3D画像コンテンツであっても適切に表示することが可能
となる。
【0050】
(変形実施例)
これまでに述べた構成例は比較的実装が容易ではあるが、パフォーマンスがあまり高く
ない場合がある。ウィンドウシステムのイメージバッファからのデータ取得がそれほど高
速に行えない場合があるからである。より良いパフォーマンスを実現するための構成は以
下の通りいくつかある。
【0051】
実施例の形態として、図10に示される立体画像表示装置100のように切替部100
1、キャプチャ1002、及びディスプレイ1005から構成され、更にディスプレイ1
005はディスプレイドライバ1003、表示部1004から構成される2D−3D変換
機能をディスプレイドライバに組み込む方法である。
【0052】
切替部1001で2D画像であると切り替えられた場合に、キャプチャ102で取得し
た2D画像は、ディスプレイドライバ1003aを構成する2D画像用イメージバッファ
に書き込まれる。画像変換部1003bはこの2D画像用イメージバッファに書き込まれ
た2D画像を立体画像表示装置に表示するために2D画像をフォーマット変換し3D画像
を生成する。生成された3D画像を3D画像用イメージバッファ1003cに書き込まれ
、表示部1004で表示される。
【0053】
一方、切替部1001で3D画像であると切り替えられた場青には、3D画像が3D画
像用イメージバッファ1003cに書き込まれ、表示部1004で表示される。このため
には、ディスプレイドライバ自体をこの立体画像表示装置100専用に構成される。
【0054】
また、他の実施例の形態として、図11に示される立体画像表示装置100のように切
替部1001、キャプチャ1002、及びディスプレイ1005から構成され、更にディ
スプレイ1005はディスプレイドライバ1003、表示部1004、フィルタドライバ
1006から構成される2D−3D変換機能をフィルタドライバに組み込む方法である。
OSの種類によってはドライバをレイヤ構造で構成することができ、ディスプレイドライ
バの前にフィルタドライバと呼ばれるドライバを挿入することが可能である。そしてこの
フィルタドライバのレベルで2D−3D変換を実装する。
【0055】
切替部1001で2D画像であると切り替えられた場合に、キャプチャ102で取得し
た2D画像は、フィルタドライバ1006aを構成する2D画像用イメージバッファに書
き込まれる。画像変換部1006bはこの2D画像用イメージバッファに書き込まれた2
D画像を立体画像表示装置に表示するために2D画像をフォーマット変換し3D画像を生
成する。生成された3D画像を3D画像用イメージバッファ1006cに書き込まれ、デ
ィスプレイドライバ1003を介して表示部1004で表示される。
【0056】
一方、切替部1001で3D画像であると切り替えられた場青には、3D画像が3D画
像用イメージバッファ1003cに書き込まれ、表示部1004で表示される。このため
には、ディスプレイドライバ自体をこの立体画像表示装置100専用に構成される。
【0057】
上記2つの実施例の形態では、ドライバ内部では使える関数に制限があるため、2D−
3D変換のような計算負荷が重い処理を行わせるとパフォーマンスが出ない場合がある。
そのような場合は、2D−3D変換部分を別プログラムとして作成しておき、フィルタド
ライバからそのプログラムにデータを送り、2D−3D変換を行うことも可能である。
【0058】
このような他の実施例の形態として、図12に示される立体画像表示装置100のよう
に切替部1001、キャプチャ1002、及びディスプレイ1005から構成され、更に
ディスプレイ1005は、ディスプレイドライバ1003、表示部1004から構成され
、仮想ドライバ1007及び画像変換プログラム1008により実現する仮想ドライバを
用いる方法がある。仮想ドライバとは、実際のハードウエアを持たない仮想的なドライバ
である。仮想ディスプレイドライバに表示されたウィンドウ画面を、画像変換プログラム
に転送し、2画像変換プログラムは、変換済みの画像をディスプレイに対し描画する。
【0059】
このような構成により、2次元画像表示モードと3次元画像表示モードを自由に切り替
えて、容易に適切な表示方法を用いて作業を行うことができる。
(第2の実施例)
次に第2の実施例について説明する。第1の実施例においては、2D−3D変換して2
次元画像を立体表示装置に出力する、もしくは、立体画像コンテンツを立体画像として出
力する、のいずれかであった。しかし、全体としては2次元のウィンドウシステムがきち
んと立体画像表示装置上で表示されており、なおかつその中に立体画像表示アプリケーシ
ョンがウィンドウモードで動作しているとき、その立体画像も正しく表示されている、と
いう使い方が望ましい場合もある。以下に述べる方法によってそれが実現される。
【0060】
図13(a)に示される立体画像表示装置100のようにディスプレイドライバ100
3、表示部1004、フィルタドライバ1006から構成され、更にフィルタドライバ1
006は、2D画像用に2D画像用イメージバッファ1006a、画像変換部1006b
、3D画像用イメージバッファ1006c、3D画像用に座標変換部1006dから構成
される。
【0061】
2D画像、フィルタドライバ1006aを構成する2D画像用イメージバッファに書き
込まれる。画像変換部1006bはこの2D画像用イメージバッファに書き込まれた2D
画像を立体画像表示装置に表示するために2D画像をフォーマット変換し3D画像を生成
する。生成された3D画像を3D画像用イメージバッファ1006cに書き込まれ、ディ
スプレイドライバ1003を介して表示部1004で表示される。このように立体画像表
示装置上に、2D画像として表示されている。
【0062】
一方、このフィルタドライバ1006には、3D画像表示アプリケーションの3D画像
表示部分の位置情報が入力され、3D画像表示部分は2D−3D変換を行わない。3D画
像表示アプリケーションは、3D画像表示するためのフォーマット変換をした3D画像を
、フィルタドライバ1006で2D−3D変換処理をせず、そのままディスプレイドライ
バに入力される。このとき、3D画像表示の画素でのデスクトップ上のウィンドウ位置と
、表示画面上での表示位置は座標が異なる。そのため、フィルタドライバ1006に入力
された位置情報を座標変換部1006dで表示画面上での位置情報に座標変換して表示す
る。
【0063】
ここでは、表示例として図13(b)に示したように、例えば、斜め12視差用レンチ
キュラーレンズを用いた立体画像表示装置で説明する。パネル解像度が1920×120
0のとき、立体画像解像度は480×400である。そして、2D−3D変換で表示でき
る解像度は、960×800である。いま、ウィンドウシステムのデスクトップサイズを
960×800とする。フィルタドライバ1006を用いて2D−3D変換を実装し、デ
スクトップ自体は2D−3D変換されて、立体画像表示装置上に、2次元画像として表示
されている。このフィルタドライバ1006の座標変換部1006dには、3D画像表示
アプリケーションの3D画像表示部分の位置情報が入力され、3D画像表示部分は2D−
3D変換が行われない。3D画像表示アプリケーションは、3D画像表示するためのフォ
ーマット変換をした後、フィルタドライバ1006は2D−3D変換処理をせず、そのま
まディスプレイドライバ1003に入力される。このとき、もとの960×800画素の
デスクトップ上でのウィンドウ位置と、表示画面上での表示位置は座標が異なる。従って
、その座標変換をフィルタドライバが行い、適切な位置に表示される。
【0064】
このような構成により、必要以上に3D画像用のコンテンツを作ることなく、2D画像
、3D画像を組み合わせたコンテンツを簡単に作ることができる。また、2D画像ベース
の既存のウィンドウシステムなども適切に表示でき、その上で立体画像表示も可能である
ため、既存のPCシステムをベースにして、3D画像表示システムを構築しやすいという
効果がある。
【図面の簡単な説明】
【0065】
【図1】第1の実施例を表す構成図。
【図2】立体画像表示の全体概略を示す斜視図。
【図3】視差バリアとしてレンチキュラーシート及びスリット板を概略的に示す斜視図。
【図4】立体表示画像を模式的に示した図。
【図5】平行光線1次元II方式における視差成分画像に基づく視差合成画像の構成方法を示す説明図。
【図6】立体画像表示装置の一部分の構成を概略的に示す斜視図。
【図7】立体画像表示装置の構成を示す図。
【図8】2次元文字または2次元画像を表示した場合に2次元表示装置上の視差番号のどこに投影されたかを説明する図。
【図9】第1の実施例の処理フローを示す図。
【図10】他の実施例を表す構成図。
【図11】他の実施例を表す構成図。
【図12】他の実施例を表す構成図
【図13】第2の実施例を表す構成図
【符号の説明】
【0066】
100 立体画像表示装置
101 切替部
102 イメージバッファ
103 ディスプレイ
104 キャプチャ
105 画像変換部
1021 メインバッファ
1022 オーバーレイバッファ

【特許請求の範囲】
【請求項1】
立体画像を表示する装置であって、
入力された画像を書き込むメインバッファと、
前記イメージバッファに書き込まれた画像を取得するキャプチャと、
前記キャプチャで取得した画像を2D画像から3D画像にフォーマットを画像変換する
画像変換部と、
前記画像変換された画像を書き込むオーバーレイバッファと、
前記メインバッファまたは前記オーバーレイバッファに書き込まれた画像を表示するデ
ィスプレイと、
入力された画像が2D画像か3D画像かによって、前記メインバッファと前記オーバー
レイバッファに書き込まれた画像の表示を切り替える切替部とを備えたことを特徴とする
立体画像表示装置。
【請求項2】
立体画像を表示する装置であって、
入力された画像が2D画像か3D画像かによって切り替える切替部と、
前記切替部で切り替えられた2D画像を取得するキャプチャと、
前記キャプチャで取得した画像を書き込む2D画像用イメージバッファと、
2D画像から3D画像にフォーマットを画像変換する画像変換部と、
前記画像変換部で画像変換された画像、または前記切替部で切り替えた3D画像を書き
込む3D画像用イメージバッファと、
前記3D画像用イメージバッファに書き込まれた画像を表示する表示部とを備えたこと
を特徴とする立体画像表示装置。
【請求項3】
立体画像を表示する装置であって、
入力された画像が2D画像か3D画像かによって切り替える切替部と、
前記切替部で切り替えられた2D画像を取得するキャプチャと、
前記キャプチャで取得した画像を書き込む2D画像用イメージバッファと、
2D画像から3D画像にフォーマットを画像変換する画像変換部と、
前記画像変換部で画像変換された画像、または入力された3D画像を書き込む3D画像
用イメージバッファと、
前記切替部で切り替えた3D画像、または前記3D画像用イメージバッファに書き込ま
れた画像を表示する表示部とを備えたことを特徴とする立体画像表示装置。
【請求項4】
立体画像を表示する装置であって、
入力された2D画像を書き込む2D画像用イメージバッファと、
2D画像から3D画像にフォーマットを画像変換する画像変換部と、
前記画像変換部で画像変換された画像、または前記切替部で切り替えた3D画像を書き
込む3D画像用イメージバッファと、
入力された3D画像と位置情報とからフォーマット変換する座標変換部と、
前記3D画像用イメージバッファに書き込まれた画像、または前記座標変換部によりフ
ォーマット変換した画像を表示する表示部とを備えたことを特徴とする立体画像表示装置

【請求項5】
立体画像を表示する方法であって、
入力された画像が2D画像か3D画像かを切替部で切り替えるステップと、
前記切替部で切り替えた2D画像をキャプチャで取得するステップと、
前記キャプチャで取得した画像を画像変換部により2D画像から3D画像にフォーマッ
トを画像変換するステップと、
前記切替部で切り替えた3D画像、または前記画像変換部でフォーマット変換した3D
画像を表示部で表示するステップとを含むことを特徴とする立体画像表示方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2008−244835(P2008−244835A)
【公開日】平成20年10月9日(2008.10.9)
【国際特許分類】
【出願番号】特願2007−82421(P2007−82421)
【出願日】平成19年3月27日(2007.3.27)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】