説明

三次元画像表示方法及び三次元画像表示装置

【課題】IPの原理に基づく三次元画像表示において、光線の角度ピッチを保ったまま視域を拡大するには、総画素数としては膨大な数が必要となり、信号処理に必要なハードウェア構成が極めて大規模なものになるという課題がある。
【解決手段】スクリーン1上の二次元画像からの光線群3a、3bは拡散性が小さく、画素毎に指向性をもつ。これらは、空間で交点を形成することにより、三次元画像2a、2bの表面における1点から発散する光線を形成する。発散光線の広がり角は約38度(全角)であり、これが三次元画像2a、2bを回り込んで観察可能な範囲である視域に相当する。これらの光線の角度ピッチ△θは、扇形の光線群3a、3bの中心付近では密に、周辺部にいくに従って疎になるように、異なる角度刻みで配置されている。これにより、従来に比べて光線数を半分にすることが可能になる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は三次元画像表示方法及び三次元画像表示装置に係り、特にインテグラルフォトグラフィ(Integral Photography:IP)の原理に基づいて、三次元の空間像を再生表示する三次元画像表示方法及び三次元画像表示装置に関する。
【背景技術】
【0002】
リップマン(M.G Lippman)が1908年に提案したインテグラルフォトグラフィ(IP)の原理に基づき、実物表面からの光線と同等な光線を空間に再現することにより、自然な三次元画像を再生する三次元ディスプレイの研究開発が盛んに行われている。
【0003】
例えば、レンズアレイと写真乾板とを用いて被写体を撮影した後に、現像後の写真をレンズアレイの背後から照明することにより、元の被写体の位置に光線が逆行して集まることから三次元像が再生されることが報告されている(例えば、非特許文献1参照)。また、上記プロセスを電子化し、撮像と表示をリアルタイムに行うインテグラル立体テレビシステムが報告されている(例えば、非特許文献2参照)。
【0004】
また、現在実用化されている電子デバイスの情報量不足を補うため、垂直方向の立体情報を水平方向に割り振ることにより、水平方向の立体視に特化した三次元ディスプレイの実現方法が知られている(例えば、特許文献1参照)。更に、この特許文献1に開示された技術を128枚の小型液晶表示素子を用いて実現した事例が報告されている(例えば、非特許文献3参照)。
【0005】
【非特許文献1】M.G Lippmann.“Epreuves reversibles. Photographies integrals.”,Comptes-Rendus Academic des Sciences,146.pp.446-451 (1908)
【非特許文献2】洗井淳、星野春男、岡野文男、湯山一郎,「屈折率分布レンズを用いたインテグラルフォトグラフィ撮像実験」,3次元画像コンファレンス '98,pp.76-81
【非特許文献3】中沼寛、亀井浩之、高木康博,「128指向性画像を高密度表示する自然な三次元ディスプレイの開発」,3次元画像コンファレンス2004講演論文集,pp.13-18 (2004)
【特許文献1】特許第3576521号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかるに、特許文献1又は非特許文献3に開示された三次元画像表示装置の構成は、指向性の高い光線を狭い角度ピッチで、異なる方向に表示させるため、必要な表示素子の数が多くなるという課題がある。例えば、非特許文献3によれば、128枚の表示素子からの光線を異なる方向に角度ピッチ0.23度で高密度に表示し、約30度の水平視域を得たことが報告されている。光線の角度ピッチを保ったまま水平視域を拡大するには、さらに多数の表示素子が必要になる。また、光線の角度ピッチを大きくしたのでは、単眼に入射する光線数が減少することにより、輻輳と調節の不一致による目の疲労が生じるという問題が生じる。
【0007】
ところで、本出願人は、特許文献1に開示された三次元画像表示装置の構成を本出願人が製造販売する超高解像度液晶パネル(水平方向画素数4096、垂直方向画素数2160からなる反射型液晶表示素子D−ILA(登録商標))を用いることにより、必要な表示素子の数を削減する技術を報告している(末廣晃也、中村博哉、山田邦男、吉村真,「D−ILAデバイスを用いた投射型3次元ディスプレイ」,3次元画像コンファレンス2006講演論文集,p.219-222(2006))。
【0008】
しかしながら、当該技術においても、光線の角度ピッチを保ったまま視域を拡大するには、総画素数としては依然として膨大な数が必要となり、信号処理に必要なハードウェア構成が極めて大規模なものになるという課題がある。
【0009】
本発明は以上の点に鑑みなされたもので、多数の光源を空間に再現することにより自然な三次元画像を表示する三次元画像表示方法およびその装置において、画質の低下を最小限に抑えながら必要な光線数を大幅に削減することのできる三次元画像表示方法及び三次元画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記の目的を達成するため、第1の発明は、実物体又は仮想物体からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群を空間に多数配置することにより、インテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像を再生する三次元画像表示方法であって、
実物体又は仮想物体からの光のサンプリングを非等間隔な角度刻みで行い、当該角度刻みに対応する光線密度で光線群を空間に配置することにより、三次元画像を観察する観察者の瞳に対して観察方向によって異なる本数の光線を入射させることを特徴とする。
【0011】
また、上記の目的を達成するため、第2の発明は、実物体又は仮想物体からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群を空間に多数配置することにより、インテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像を再生する三次元画像表示装置であって、
実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の各々を表示する複数の二次元画像表示装置からなる二次元画像表示装置アレイと、二次元画像表示装置アレイに表示された多数の二次元画像からの光線をサンプリング角度刻みに対応した光線密度で偏向して拡大投影する複数の偏向光学素子が二次元的に配置された投射レンズユニットと、投射レンズユニットによる投影像の結像面付近の光線をテレセントリック化するレンズ板と、レンズ板を透過した光線の拡散角を垂直方向に拡散するスクリーンとを有し、スクリーンからの光線群の交点を空間に生成して、空間像としての三次元画像を表示することを特徴とする。
【0012】
更に、上記の目的を達成するため、第3の発明は、実物体又は仮想物体からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群を空間に多数配置することにより、インテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像を再生する三次元画像表示装置であって、
実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の各々を画素毎にインターリーブして表示するフラットパネルディスプレイと、フラットパネルディスプレイに表示された多数の二次元画像からの光線をサンプリング角度刻みに対応した光線密度で偏向してテレセントリック化する偏向光学素子アレイとを有し、偏向光学素子アレイからの光線群の交点を空間に生成して、空間像としての三次元画像を表示することを特徴とする。
【発明の効果】
【0013】
本発明によれば、同一の視域を実現するのに必要な光線数を従来の構成に比べて削減できるため、必要な二次元画像表示装置の数または総画素数を削減でき、従って三次元画像表示装置のコストダウンを実現できる。
【0014】
また、本発明によれば、従来の半分の二次元画像表示装置の数または総画素数であっても、光線密度が最も高い視域の中央付近又は観察者の瞳の位置では目の疲労の少ない立体視が可能であり、同時に光線密度が低い視域の周辺部では運動視差により三次元画像を回り込んで観察できるため、観察者にとって違和感のない自然な三次元画像表示装置の実用化が可能となる。
【発明を実施するための最良の形態】
【0015】
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。図1は本発明になる三次元画像表示方法の一実施例の光線の配置を示す図である。同図に示すように、本実施例は、スクリーン1(二次元画像表示面)、三次元画像(球)2a、三次元画像(立方体)2b、三次元画像(球)2aを構成する光線群3a、三次元画像(立方体)2bを構成する光線群3bから構成されている。
【0016】
スクリーン1には、三次元画像を構成する多数の光線群3a、3bとなる二次元画像が図示しない二次元画像表示装置アレイから投影されて表示される。この二次元画像は、非特許文献3においては指向性画像と呼ばれており、より一般的には視差画像と呼ばれる。この二次元画像(視差画像)は、三次元の実物体からの光波を様々な角度から平行投影法より投影することにより得られるもので、透視投影法により撮影した画像は視点画像と呼んで区別されることがある。インテグラルフォトグラフィの場合は、要素画像と呼ばれている。
【0017】
本実施例は、実物体又は仮想物体(図示せず)からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群3a、3bを空間に多数配置することによりインテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像2a、2bを空間に再生する構成である。
【0018】
図1におけるスクリーン1上の二次元画像からの光線群3a(または3b)は拡散性が小さく、画素毎に指向性をもつ。これらは、空間で交点を形成することにより、図1に示すように、三次元画像(球)2a(または三次元画像(立方体)2b)の表面における1点から発散する光線を形成する。図1における発散光線の広がり角は約38度(全角)であり、これが三次元画像(球)2a(または三次元画像(立方体)2b)を回り込んで観察可能な範囲である視域に相当する。図1では、約38度の視域内に65本の光線が角度ピッチ△θで存在するように描かれている。これらの光線の角度ピッチ△θは、扇形の光線群3a、3bの中心付近では密に、周辺部にいくに従って疎になるように、異なる角度刻みで配置されている。
【0019】
いま、視域(全角)を2θ、スクリーン1に平行な面から測った各光線の角度をθ(n)、光線の最小角度ピッチを△θとしたとき、これらの間には以下の関係が成立する。
【0020】
2θ=θ(nmax)−θ(nmin) (1)
【0021】
【数1】

ただし、θCは角度刻みが最小な領域の中心角度であり、スクリーン正面から観察する場合には、θC=90度である。また、f(n)は角度ピッチの非線形性を特徴付ける関数である。非線形成を特徴付ける関数f(n)の例としては、aを1ではない定数としてf(n)=naなどの非線形関数を挙げることができる。なお、(2a)式は中心に光線がない場合であり、(2b)式は中心に光線がある場合である。従って、光線の角度刻みは(2a)式及び(2b)式より次式で表される。
【0022】
【数2】

また、光線数Nは偶数(even)の場合と奇数(odd)の場合とで、以下の関係がある。
【0023】
【数3】

図2は従来の光線再現の構成を示す図である。同図中、図1と同一構成部分には同一符号を付してある。従来は、図2に示す隣接する光線間の角度ピッチ△θが一定(等間隔)であったため、視域(視域角)2θは光線数Nを用いて次式で与えられていた。
【0024】
2θ=Δθ×(N−1) (4)
【0025】
【数4】

図2では視域2θ=38.4度、△θ=0.3度で描画したものであるが、このとき必要な光線数Nは128または129となり、図1で説明した本実施例の構成の約38度の視域内に存在する65本の光線に比べて約2倍の光線数が必要になってしまう。
【0026】
ところで、3次元画像表示装置の用途にもよるが、多くの場合、観察者は静止しており、視域2θの周辺領域から三次元画像2aまたは2bの側面を観察する時間よりも、視域2θの中心付近から三次元画像2aまたは2bの正面を観察する時間の方が長いと考えられる。
【0027】
一方、観察者の目の疲労はその目に入射する光線の光線密度にほぼ対応し、光線密度が疎である(光線間隔が広い)ほど目が疲れやすい。従って、目の疲労につながる光線密度は最も重要な三次元画像2aまたは2bの正面付近が最も高い(密である)ことが少なくとも必要であり、この条件を満たせば、周辺部の光線数を間引いてその周辺部の光線密度を正面付近の光線密度に比較して多少疎としても、長時間観察しない限り、目の疲労の影響は実質的に殆ど無いことが期待できる。
【0028】
また、視域の周辺部で光線間隔を中心部付近に比べて広くすることが許されるならば、例えば本実施例のように光線数を半分にすることが可能になる。このことは、すなわち必要な二次元画像表示アレイの総画素数が半分で済むことになる。ホログラフィ型の3次元画像表示装置と異なり、光線を再現する方式の3次元画像表示装置において、装置規模及びコストを左右する要因として最も決定的なのは画素数であるから、本発明は画質の低下を最小限に抑えながら装置規模及びコストを最小にできる可能性がある。
【0029】
図3は、実物体またはCG(コンピュータグラフィクス)における仮想物体が発する波動としての連続的な光波の一例を表す図である。本発明は実物体又は仮想物体30a、30bが発する連続的な光波からなる光線群30a、30bの光線の角度ピッチ△θを観察者が静止する位置付近では最も高くし、周辺部にいくに従って段階的に低く(疎に)なるように、異なる角度刻みで配置することで、従来の半分の二次元画像表示素子の数であっても、観察者の目の疲労の少ない立体視を可能とし、実質的に図3における連続的な光波を観察しているのと同等な状態を実現することを目指したものである。
【0030】
図4は本発明における光線の配置の仕方の一例をより具体的に説明するための図である。図4はスクリーン1から射出される非等間隔な角度ピッチの光線3aが、三次元画像2aを形成するように空間で交差し、その後観察者の眼球4の瞳41に入射する様子を示している。図4に示すように、光線3aは三次元画像2aの正面付近(視域6の中心軸5付近)の光線密度が密であり、また周辺部の光線密度が正面付近の光線密度に比較して疎になるように配置されている。
【0031】
超多眼条件として知られているように、瞳41に複数の光線が入射した場合、図4に示すように、3次元画像2a上の光線の交点にピントが合うように、眼球4の水晶体(図示なし)の調節機構が働く。これにより、空間の注視点にピント合わせを行うことが可能になり、疲労が軽減される。図4では視域6の中心軸5付近では光線群3aの光線密度が密であるため、中心軸5の近傍に観察者の瞳41がある場合には複数の光線が単眼の瞳41に入射し超多眼と同様な状態となる。
【0032】
図5は、観察者が回り込んで3次元画像2aを観察する様子を示す図である。同図に示すように、視域6の周辺領域では光線密度が疎であるため、三次元画像2aからの光線のうち眼球4の瞳41に入射するのは1本のみである.従って、眼球4の水晶体の調節は、スクリーン1にピントが合うように機能する。従って、図示しないもう一方の眼で3次元画像2aを注視した場合には、注視点は光線群3aの交点であるが、ピントが合う位置としてはスクリーン1となり、いわゆる輻輳調節矛盾の状態となる。
【0033】
しかしながら、実際上は回り込んだ状態のままで長時間観察する機会は少ないため、疲労は実際上問題とならないと考えられる。むしろ、視域6の周辺部では、運動視差が不連続にならない程度に積極的に光線数を削減することで、同じ光線数で実現し得る視域6の範囲を拡大することが可能となる。
【0034】
図6は、観察者の静止位置が、視域6の中心軸5にない場合を示す図である。三次元画像を複数人で観察する場合は、このような状祝は比較的多く起こり得る。そこで、観察者が一人又は複数人存在する場合には、光線群3aの光線密度が密な領域(最も光線密度が高い領域)は、中心軸5付近ではなく、一人又は複数人の観察者のそれぞれの瞳の位置にずらすことが好ましい。これを行うには、カメラなどのセンサーで観察者の位置を検出するようにしておき、観察者の検出位置に光線が密に投射され、観察者から離れるに従って光線密度が疎になるように、スクリーン1に入射する光学系を調整すればよい。かかる光学系の詳細については後の実施例において後述する。
【0035】
図7は、本発明になる三次元画像表示方法の一実施例のフローチャートを示す。まず、図3に示した実物体又は仮想物体20a、20bの観察方向中心を決定する(ステップS101)。これは三次元画像表示装置のスクリーン1の正面(視域の中心軸)であることが多いが、複数人観察を想定すると、センサーで観察者の位置を検出してから決定する必要がある。
【0036】
次に、図3に示した実物体または仮想物体20a、20bからの光30a、30bを離散的な光線として非等間隔な角度ピッチで標本化して撮像する(ステップS102)。すなわち、実物体または仮想物体20a、20bからの広がりをもった連続的な光30a、30bを所定の角度刻みでサンプリングすることにより得られる離散的な光線群3a、3bを空間に多数配置することによりインテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体20a、20bの三次元画像(図1の2a、2b)を再生する三次元画像表示を行うに当たり、まず、実物体または仮想物体20a、20bからの光30a、30bのサンプリングを、(3a)又は(3b)式に基づく非等間隔な角度刻みで行う。
【0037】
もし、十分微小な間隔で撮影できるのであれば等間隔で撮像しておき、後でそれらの一部を抜き出して使用してもよい。静止物に対してカメラを移動させながら撮影するような場合にはそれが可能である。動画を撮影する場合には、カメラ数を削減したいという要請があるため、やはり非等間隔な角度ピッチでカメラアレイまたはレンズアレイを配置する必要がある。CGの場合には、仮想カメラの位置を非等間隔に設定すればよい。
【0038】
続いて、多数の二次元画像を生成する(ステップS103)。カメラアレイで撮影した場合には、透視投影画像が撮像されているため、平行投影画像に変換する必要がある。高精細カメラにレンズアレイを装着することにより、画素単位でインターリーブされた画像を撮影した場合にはかかる変換の必要はない。
【0039】
続いて、多数の二次元画像の1フレームを二次元画像表示素子アレイ上に表示する(ステップS104)。この二次元画像表示素子アレイについては後述する。続いて、二次元画像表示素子アレイ上の各々の二次元画像からの光を偏向光学素子により偏向する(ステップS105)。そして、その偏向の角度刻みが撮影時の角度刻みに一致しているかどうか判定し(ステップS106)、一致していない場合には、上記偏向光学素子の偏向角度を調整する。このようにして、最終的には二次元画像からの光の偏向の角度刻みが、撮影時の角度刻みに一致するように制御が行われる。なお、ステップS106における具体的な判定方法とその判定結果に基づく制御方法の具体例は後述する。
【0040】
図8は、光線群3aの各光線の角度刻み(角度ピッチ)が一定の場合(△θ:等間隔)の光線数対視域角特性Iと、本発明のような光線の角度刻み(角度ピッチ)が光線数Nの関数である場合(△θ(n):非等間隔)の光線数対視域角特性IIとを示す。原点は光線密度が最も密な領域を表しており、この特性図では視域角が0.3度である。約35度の視域を実現するのに必要な光線数は、特性Iに示すように表示角度刻みが一定の場合には約120本の光線が必要であるのに対し、特性IIに示すように表示角度刻みが光線数Nの関数である本実施の形態の場合には、半分の約60本の光線で済むことが分かる。
【実施例1】
【0041】
次に、本発明になる三次元画像表示装置の具体的な実施例について詳細に説明する。図9は本発明の三次元画像表示装置の実施例1の表示系の構成図を示す。同図において、3原色のLED光源(またはレーザー光源)10、照明光学系11、液晶表示素子12及び投射レンズユニット13はプロジェクタを構成している。プロジェクタは投影光学系を有する二次元画像表示装置であり、全体としては水平方向(図9では紙面に平行な方向)及び垂直方向に二次元的に複数配置されて、二次元画像表示装置アレイを構成している。なお、水平方向とは、例えば観察者の両眼を結ぶ方向に平行な方向である。投射レンズユニット13は、例えば複数のレンズが二次元的に複数配置されたレンズアレイと、そのレンズアレイを構成する各レンズに対応して形成された開口が二次元的に複数配置された開口アレイとからなる。
【0042】
また、投射レンズユニット13の前方には、レンズ板7と垂直方向拡散スクリーン8とがほぼ一体化されて配置されている。レンズ板7と垂直方向拡散スクリーン8とは図1等に示したスクリーン1を構成している。垂直方向拡散スクリーン8は、垂直方向にのみ光線の拡散を行うスクリーンであり、これにより射出瞳が垂直方向にのみ拡大され、二次元的に配置された二次元画像表示装置アレイに共通の垂直表示角度範囲を発生させることができる。
【0043】
図9の液晶表示素子12は二次元画像表示装置を構成しており、図示しない再生装置とドライブ回路により被写体20a、20bの平行投影画像を表示させる。図9における液晶表示素子12へのLED光源11からの光の導入の仕方は、原色光毎に光ファイバー束で分割して導入することで、色ムラのない均一照明を実現することができる。
【0044】
この液晶表示素子12は,画素の高密度化がしやすい反射型液晶表示素子であるLCOS(Liquid Crystal On Silicon)を使用することが好ましいが、もちろん、HTPS(High Temperature Poly-Silicon:高温ポリシリコンTFT液晶)に代表される透過型液晶あるいはDLP(Digital Light Processing:登録商標)などの他のマイクロディスプレイデバイス(Micro Display Device:MD)を用いることも可能である。
【0045】
本実施例では、液晶表示素子12と投射レンズユニット13との配置位置を、三次元画像2a、2bが観察可能な角度範囲である視域の中心付近又は観察者の瞳付近の光線密度が最も密であり、当該視域の中心付近又は観察者の瞳付近から視域の端部に向かうに従って光線密度が段階的により疎になるように設定する点に特徴がある。液晶表示素子12の中心位置と投射レンズユニット13の中心位置との間の水平方向又は垂直方向の距離が小さいほど上記光線密度を密にすることができる。
【0046】
次に、本実施例の動作について説明する。LED光源(またはレーザー光源)10から発光された照明光が、光ファイバー束を介して照明光学系11に入射し、ここで直線偏光の照明光とされて液晶表示素子12を照明する。液晶表示素子12は図示しない再生装置とドライブ回路により被写体20a、20bの平行投影画像である二次元画像を表示する。
【0047】
この液晶表示素子12から出射される二次元画像の光線は、図示しない偏光ビームスプリッタをテレセントリックな状態で透過した後、投射レンズユニット13に入射する。この投射レンズユニット13は、液晶表示素子12の拡大像をレンズ板7と垂直方向拡散スクリーン8とからなるスクリーン付近に結像させる。
【0048】
ここで、二次元配置された多数の液晶表示素子12のうち、少なくとも水平方向の複数の液晶表示素子の各画素と投射レンズユニット13の入射中心位置とを設定することにより、実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の拡大像を得ることができる。この拡大像を構成する光線群の光線密度は、前述したように、視域の中心軸付近又は観察者の瞳の位置において最も高くなり、その周辺ほど低くなるようにされている。
【0049】
この拡大像の光線はレンズ板7によりテレセントリック化された後、垂直方向拡散スクリーン8により垂直方向にのみ射出瞳が拡大され、複数本の平行光を一組とする複数組の光線からなる光線群3a、3bの交点が空間に生成され、三次元画像2a、2bを空間に表示させる。なお、本実施例では、実物体又は仮想物体の発する光線を特定の視点から標本化(サンプリング)した画像(視点画像)として表現するのではなく、実物体又は仮想物体の発する光線を角度単位で標本化(サンプリング)することにより、光線空間を再現するために準平行光線が必要となる。
【0050】
この準平行光線という意味は、投射レンズユニット13の開口絞り中心を通る主光線同士が平行(テレセントリック)な状態にあることに加え、主光線の周りの外縁光線についても発散角が小さいということである。このような発散角の小さなテレセントリック光線(準平行光線)を空間に投射させて、これらの光線の交点を空間の異なる奥行き範囲に形成することにより、三次元画像を表示することができる。
【0051】
このような本実施例によれば、同一の視域を実現するのに必要な光線数を従来の構成に比べて削減できるため、必要な二次元画像表示装置(液晶表示素子12)の数または総画素数が削減でき、従って三次元画像表示装置のコストダウンが実現される。また、本実施例によれば、従来の半分の二次元画像表示装置の数であっても、光線を密に表示する視域の中央付近では目の疲労の少ない立体視が可能であり、同時に光線を疎に表示する周辺部では運動視差により三次元画像を回り込んで観察できるため、観察者にとって違和感のない自然な三次元画像表示の実用化が可能となる。
【実施例2】
【0052】
図10は本発明になる三次元画像表示装置の実施例2の表示系の構成図を示す。同図中、図9と同一構成部分には同一符号を付し、その説明を省略する。図10に示す実施例は、実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群3a、3bを所定の平面上で記録した多数の二次元画像の各々を画素毎にインターリーブして表示するフラットパネルディスプレイ15と、フラットパネルディスプレイ15に表示された二次元画像からの光線をサンプリング角度刻みに対応した角度刻みで偏向してテレセントリック化する偏向光学素子アレイ16とを有する点に特徴がある。
【0053】
現時点ではマルチプロジェクション型の構成が最も高画質な3次元画像の表示を実現できる。しかし、将来的にフラットパネルディスプレイ15の解像度が上がれば、薄型の3次元ディスプレイを実現できる。この場合、偏向光学素子アレイ16として、屈折率が可変なレンズアレイを使用することが好ましい。屈折率が可変なレンズとしては例えば、バリオプティック(Varioptic)株式会社製の液体レンズが使用可能である。
【実施例3】
【0054】
図11は本発明になる三次元画像表示装置の実施例3の構成図を示す。同図中、図9と同一構成部分には同一符号を付し、その説明を省略する。本実施例は、図9の構成の3次元画像表示系31と、その入力側に設けられた3次元実写画像撮像系21とからなる構成である。3次元画像表示系31は、N個の2次元配置された2次元画像表示素子12〜12と、偏向光学素子13〜13と、この偏向光学素子13〜13を個別に駆動するアクチュエータ13a〜13aとから構成されている。
【0055】
ここで、2次元画像表示素子12〜12の各々は液晶表示素子12である。また、偏向光学素子13〜13の各々は投射レンズユニット13である。なお、3次元画像表示系31には図9に示したように、レンズ板7及び垂直方向拡散スクリーン8も設けられているが、図示の便宜上、省略してある。
【0056】
また、3次元実写画像撮像系21は、実物体20a、20bからの光波を離散的な光線として非等間隔な角度ピッチで標本化して撮像するN台のカメラ22〜22が設けられている。カメラ22〜22により図7のステップS102の処理が実現される。カメラ22〜22からの撮像信号は、それぞれ対応して設けられたパーソナルコンピュータ(以下、PC)23〜23に供給され、ここで図7のステップS103で示した二次元画像が生成される。
【0057】
PC23〜23から出力された二次元画像信号は、補間画像生成PC24に供給され、ここでその1フレームを二次元画像表示素子12〜12に供給して表示させると共に、アクチュエータ13a〜13aに標本化角度データを供給して、対応して設けられた偏向光学素子13〜13を互いに独立して二次元画像表示素子12〜12に対する相対位置を制御して前述したように、例えば視域の中心軸付近又は観察者の瞳の位置において光線群の光線密度が最も高くなり、その周辺ほど低くなるようにされる。これにより、図7のステップS104及びS105が実現される。
【実施例4】
【0058】
図12は本発明になる三次元画像表示装置の実施例4の構成図を示す。同図中、図9及び図11と同一構成部分には同一符号を付し、その説明を省略する。本実施例は、図9及び図11の構成の3次元画像表示系31と、その入力側に設けられた3次元CG画像生成系25とからなる構成である。
【0059】
3次元CG画像生成系25は、CGデータによる仮想物体をN台のPC26〜26により、仮想物体からの光波を離散的な光線として非等間隔な角度ピッチで標本化して撮像したと同様な撮像信号が生成される。PC26〜26により図7のステップS102の処理が実現される。続いて、PCサーバ27が、PC26〜26からの信号に基づいて多数の二次元画像を生成した後、ここでその1フレームを二次元画像表示素子12〜12に供給して表示させると共に、アクチュエータ13a〜13aに標本化角度データを供給して、対応して設けられた偏向光学素子13〜13を互いに独立して二次元画像表示素子12〜12に対する相対位置を制御して前述したように、例えば視域の中心軸付近又は観察者の瞳の位置において光線群の光線密度が最も高くなり、その周辺ほど低くなるようにされる。これにより、図7のステップS104及びS105が実現される。
【実施例5】
【0060】
図13は本発明になる三次元画像表示装置の実施例5の構成図を示す。同図中、図9及び図11と同一構成部分には同一符号を付し、その説明を省略する。本実施例は、実施例3に、三次元画像を撮像する角度刻み検出用カメラ35を追加し、図7のステップS106の処理を実現する点に特徴がある。前記ステップS106において、偏向の角度刻みは、表示された三次元画像に基づいて検出する。すなわち、三次元画像2a又は2bとして三次元格子などの既知のテストパターンを表示しながら、これらを図13に示す角度刻み検出用カメラ35でモニタし、正規の表示位置からの位置ずれ量に基づいて偏向の角度刻みのずれ量を検出する。
【0061】
正規の表示位置は、X軸、Y軸、Z軸の3方向に動作する直動ステージにこの角度刻み検出用カメラ35を装着することで測定することができる。すなわち、正規の表示位置は、三次元画像として表示された格子パターンの交点位置が角度刻み検出用カメラ35による撮影画像中心にくるときの直動ステージの移動量と正規の表示位置との差(ずれ量)を正確に検出することにより測定することができる。
【0062】
このずれ量を誤差データとして、PCサーバ27に帰還し、ここで補正された標本化角度データにより偏向光学素子13〜13のアクチュエータ13a〜13aの駆動量及び駆動方向を制御することにより、図7のステップS105とS106の動作を繰り返し、最終的にはステップS106で偏向の角度刻みが撮像時の角度刻みに一致するようにすることができる。偏向光学素子13〜13の例としては投射レンズ、アクチュエータ13a〜13aとしては、投射レンズの光軸を2次元画像表示素子121〜12Nの光軸に対して偏心させるレンズシフト機能を採用することが可能である。
【0063】
なお、本発明は、以上の実施例に限定されるものではなく、例えば、水平方向視差をもつ場合だけでなく、垂直方向視差をもつインテグラルフォトグラフィでも実施し得ることはいうまでもない。
【図面の簡単な説明】
【0064】
【図1】本発明の三次元画像表示方法の一実施例の光線の配置を示す図である。
【図2】従来の三次元画像表示方法における離散的な光線群の一例を示す図である。
【図3】実物体または仮想物体からの連続的な光波を示す図である。
【図4】本発明の三次元画像表示方法における光線が眼球に入射する状態を示す図である。
【図5】観察者が回り込んで3次元画像を観察する様子を示す図である。
【図6】観察者の静止位置が、視域の中心軸にない場合を示す図である。
【図7】本発明の三次元画像表示方法の一実施例のフローチャートである。
【図8】光線数Nと得られる視域との関係を、従来と本実施例とで対比して示す特性図である。
【図9】本発明の三次元画像表示装置の実施例1の表示系の構成図である。
【図10】本発明の三次元画像表示装置の実施例2の表示系の構成図である。
【図11】本発明の三次元画像表示装置の実施例3の構成図である。
【図12】本発明の三次元画像表示装置の実施例4の構成図である。
【図13】本発明の三次元画像表示装置の実施例5の構成図である。
【符号の説明】
【0065】
1 二次元画像表示面のスクリーン
2a、2b 三次元画像
3a、3b 三次元画像を構成する光線群
20a、20b 実物体または仮想物体
30a、30b 実物体または仮想物体からの光
4 観察者の眼球
41 瞳
5 光軸(視域の中心軸)
6 視域
7 レンズ板
8 垂直方向拡散スクリーン
10 3原色のLED光源(またはレーザー光源)
11 照明光学系
12 液晶表示素子
12〜12 二次元画像表示素子
13 投射レンズユニット
13〜13 偏向光学素子
13a〜13a アクチュエータ
15 フラットパネルディスプレイ
16 偏向光学素子アレイ
21 3次元実写画像撮像系
22〜22 カメラ
23〜23 パーソナルコンピュータ(PC)
24 補間画像生成PC
25 3次元CG画像生成系
26〜26 仮想カメラ(PC)
27 PCサーバ
31 3次元画像表示系
35 角度刻み検出用カメラ

【特許請求の範囲】
【請求項1】
実物体又は仮想物体からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群を空間に多数配置することにより、インテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像を再生する三次元画像表示方法であって、
前記実物体又は仮想物体からの光のサンプリングを非等間隔な角度刻みで行い、当該角度刻みに対応する光線密度で前記光線群を空間に配置することにより、前記三次元画像を観察する観察者の瞳に対して観察方向によって異なる本数の光線を入射させることを特徴とする三次元画像表示方法。
【請求項2】
前記光線密度は、前記三次元画像を観察可能な角度範囲の中心付近で最も高く、該中心付近から当該角度範囲内における端部に向かうに従って段階的に疎とされていることを特徴とする請求項1記載の三次元画像表示方法。
【請求項3】
前記光線密度は、前記三次元画像を観察可能な角度範囲において、一又は二以上の静止する前記観察者の瞳の位置で最も高く、該瞳の位置から前記角度範囲の周辺に向かうに従って段階的に疎とされていることを特徴とする請求項1記載の三次元画像表示方法。
【請求項4】
前記光線密度は、静止する前記観察者の瞳に対して少なくとも二以上の光線を入射させ、前記観察者が回り込んで観察する際には少なくとも前記光線群のいずれか一本の光線を入射させることにより前記三次元画像の側面観察を可能とすることを特徴とする請求項1乃至3のうちいずれか一項記載の三次元画像表示方法。
【請求項5】
実物体又は仮想物体からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群を空間に多数配置することにより、インテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像を再生する三次元画像表示装置であって、
前記実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の各々を表示する複数の二次元画像表示装置からなる二次元画像表示装置アレイと、
前記二次元画像表示装置アレイに表示された多数の前記二次元画像からの光線を前記サンプリング角度刻みに対応した光線密度で偏向して拡大投影する複数の偏向光学素子が二次元的に配置された投射レンズユニットと、
前記投射レンズユニットによる投影像の結像面付近の光線をテレセントリック化するレンズ板と、
前記レンズ板を透過した光線の拡散角を垂直方向に拡散するスクリーンと
を有し、前記スクリーンからの光線群の交点を空間に生成して、空間像としての三次元画像を表示することを特徴とする三次元画像表示装置。
【請求項6】
実物体又は仮想物体からの広がりをもった連続的な光を所定の角度刻みでサンプリングすることにより得られる離散的な光線群を空間に多数配置することにより、インテグラルフォトグラフィの原理に基づいて当該実物体又は仮想物体の三次元画像を再生する三次元画像表示装置であって、
前記実物体又は仮想物体からの光を非等間隔な角度刻みでサンプリングすることにより得られる光線群を所定の平面上で記録した多数の二次元画像の各々を画素毎にインターリーブして表示するフラットパネルディスプレイと、
前記フラットパネルディスプレイに表示された前記多数の二次元画像からの光線を前記サンプリング角度刻みに対応した光線密度で偏向してテレセントリック化する偏向光学素子アレイと
を有し、前記偏向光学素子アレイからの光線群の交点を空間に生成して、空間像としての三次元画像を表示することを特徴とする三次元画像表示装置。
【請求項7】
前記光線密度は、前記三次元画像を観察可能な角度範囲の中心付近で最も高く、該中心付近から当該角度範囲内における端部に向かうに従って段階的に疎とされていることを特徴とする請求項5又は6記載の三次元画像表示装置。
【請求項8】
前記光線密度は、前記三次元画像を観察可能な角度範囲において、静止する一又は二以上の前記観察者の瞳の位置で最も高く、該瞳の位置から前記角度範囲の周辺に向かうに従って段階的に疎とされていることを特徴とする請求項5又は6記載の三次元画像表示装置。
【請求項9】
前記光線密度は、静止する前記観察者の瞳に対して少なくとも二以上の光線を入射させ、前記観察者が回り込んで観察する際には少なくとも前記光線群のいずれか一本の光線を入射させることにより前記三次元画像の側面観察を可能とすることを特徴とする請求項5乃至8のうちいずれか一項記載の三次元画像表示装置。

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図1】
image rotate

【図2】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2008−292736(P2008−292736A)
【公開日】平成20年12月4日(2008.12.4)
【国際特許分類】
【出願番号】特願2007−137794(P2007−137794)
【出願日】平成19年5月24日(2007.5.24)
【出願人】(000004329)日本ビクター株式会社 (3,896)
【Fターム(参考)】