三次元画像表示装置
【課題】撮影時における被写体の波面を立体像として再現する。
【解決手段】三次元画像表示装置は、二次元配置された複数の表示画素を含む表示画素群が複数個、二次元配置された表示手段と、複数の表示画素群の各々に対応して二次元配置され、表示画素群を投影するマイクロレンズを複数個有するマイクロレンズアレイと、三次元画像データに基づいて、表示画素を制御して三次元画像データに対応する光束をマイクロレンズアレイを介して投影させる表示制御手段と、マイクロレンズアレイの近傍に配置され、マイクロレンズにより投影された三次元画像データに対応する光束を投射する投射光学系と、投射光学系により投射された三次元画像データに対応する光束の進行方向を時間的に逆転させて位相共役光を生成する時間逆転手段と、時間逆転手段により生成された位相共役光の進行方向を観察方向に反射する光反射手段と、を備える。
【解決手段】三次元画像表示装置は、二次元配置された複数の表示画素を含む表示画素群が複数個、二次元配置された表示手段と、複数の表示画素群の各々に対応して二次元配置され、表示画素群を投影するマイクロレンズを複数個有するマイクロレンズアレイと、三次元画像データに基づいて、表示画素を制御して三次元画像データに対応する光束をマイクロレンズアレイを介して投影させる表示制御手段と、マイクロレンズアレイの近傍に配置され、マイクロレンズにより投影された三次元画像データに対応する光束を投射する投射光学系と、投射光学系により投射された三次元画像データに対応する光束の進行方向を時間的に逆転させて位相共役光を生成する時間逆転手段と、時間逆転手段により生成された位相共役光の進行方向を観察方向に反射する光反射手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像表示装置に関する。
【背景技術】
【０００２】
従来から、立体像を表示する表示装置が知られている（たとえば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３３０４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、表示された立体像は、撮影時における被写体の波面を再現したものとは異なるという問題がある。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明による三次元画像表示装置は、二次元配置された複数の表示画素を含む表示画素群が複数個、二次元配置された表示手段と、複数の表示画素群の各々に対応して二次元配置され、表示画素群を投影するマイクロレンズを複数個有するマイクロレンズアレイと、三次元画像データに基づいて、表示画素を制御して三次元画像データに対応する光束をマイクロレンズアレイを介して投影させる表示制御手段と、マイクロレンズアレイの近傍に配置され、マイクロレンズにより投影された三次元画像データに対応する光束を投射する投射光学系と、投射光学系により投射された三次元画像データに対応する光束の進行方向を時間的に逆転させて位相共役光を生成する時間逆転手段と、時間逆転手段により生成された位相共役光の進行方向を観察方向に反射する光反射手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、マイクロレンズにより投影された三次元画像データに対応する光束の進行方向を時間的に逆転させた位相共役光を生成することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態による三次元画像表示装置の要部構成を説明するブロック図
【図２】実施の形態による三次元画像表示装置が備える表示部の構成の一例を説明する図
【図３】実施の形態による三次元画像表示装置が備える表示部の構成の一例を説明する図
【図４】表示画素と、表示用マイクロレンズアレイと、表示される光点との関係を模式的に示した図
【図５】図４を二次元的に展開した場合を示す図
【図６】投影される空中像について説明する図
【図７】マイクロレンズとパターン光断面との関係を説明する図
【図８】マイクロレンズとパターンとの関係を説明する図
【図９】領域分割を基点マイクロレンズに展開した場合のパターンを説明する図
【図１０】基点マイクロレンズの中心位置に対して光点が偏心した場合のパターンを説明する図
【図１１】変形例における表示部の構成の一例を示す図
【発明を実施するための形態】
【０００８】
本実施の形態の三次元画像表示装置は、画像を表示するためのモニタを有するパーソナルコンピュータ等により構成される。この三次元画像表示装置では、公知のプレンオプティックカメラ（Plenoptics Camera）またはライトフィールドカメラ（Light Field Camera）等によって生成された三次元情報を有する画像データに対応する画像が三次元画像として観察可能に表示される。以下、詳細に説明する。
【０００９】
図１は、実施の形態による三次元画像表示装置１００の要部構成を説明するブロック図である。三次元画像表示装置１００は、制御回路１０１、ＨＤＤ１０２、表示部制御回路１０３、表示部１０４、メモリ１０５、入力部材１０６、メモリカードインタフェース１０７、および外部インタフェース１０８を備える。
【００１０】
入力部材１０６は、ユーザによって操作されるスイッチやボタンを有するキーボードや、マウス等の操作部材である。入力部材１０６は、表示部１０４に表示されたメニュー画面からユーザが所望するメニューや設定を選択し、選択したメニューや設定を実行させる際にユーザにより操作される。
【００１１】
ＨＤＤ１０２には、たとえばデジタルカメラで撮影した動画や静止画に対応する画像ファイルなどが記録されている。外部インタフェース１０８は、たとえばＵＳＢインタフェースケーブルや無線伝送路を介してデジタルカメラ等の外部機器とデータ通信を行う。三次元画像表示装置１００は、メモリカードインタフェース１０７や外部インタフェース１０８を介してメモリカード２０７ａや外部機器から画像ファイルなどを入力する。入力された画像ファイルは、制御回路１０１により制御されてＨＤＤ１０２に記録される。デジタルカメラで生成された画像ファイルは、制御回路１０１によりＨＤＤ１０２に記録される。ＨＤＤ１０２には、制御回路１０１で実行される各種のプログラム等が記録される。
【００１２】
制御回路１０１は、三次元画像表示装置１００の制御を行うマイクロコンピュータであり、ＣＰＵやＲＯＭその他周辺回路により構成される。制御回路１０１は表示制御部１０１ａを機能的に備える。表示制御部１０１ａは、たとえばＨＤＤ１０２に記録されている三次元画像データを読み出す。そして、表示制御部１０１ａは、三次元画像データに基づいて、表示部制御回路１０３を介して、後述する表示部１０４が備える表示画素から三次元画像データに対応する光束を投射させる。なお、表示制御部１０１ａの詳細については、説明を後述する。
【００１３】
メモリ１０５は制御回路１０１のワーキングメモリであり、たとえばＳＤＲＡＭにより構成される。表示部１０４は、表示部制御回路１０３により制御されて、表示用画像データに対応する画像、各種設定を行うためのメニュー画面などが表示される。
【００１４】
図２、図３を参照して、表示部１０４について説明する。図２は、表示部１０４の概略構成を示す図である。なお、図２においては、図の鉛直方向をｙ軸、図の水平方向をｚ軸とする座標系を設定する。図２に示すように、表示部１０４には、表示器１０４ａと、マイクロレンズアレイ１０４ｂと、投影レンズ１０４ｃと、ハーフミラー１０４ｄと、縮小光学系１０４ｅと、光位相共役鏡１０４ｆとが設けられている。表示器１０４ａは、たとえばバックライトを有する液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配置された複数の表示画素群を有する。マイクロレンズアレイ１０４ｂは、二次元状に配列された複数のマイクロレンズにより構成される。マイクロレンズアレイ１０４ｂはｚ軸方向に、マイクロレンズの焦点距離だけ表示画素群から離れた位置に配置される。各マイクロレンズは表示器１０４ａの表示画素群からの光束をｚ軸方向＋側に向けて投射する。なお、表示器１０４ａとマイクロレンズアレイ１０４ｂとの配置関係については、図２を用いて詳細を後述する。
【００１５】
投射レンズ１０４ｃは１つのレンズあるいは複数のレンズ群から構成され、マイクロレンズアレイ１０４ｂを介して表示器１０４ａから投射された光束をｚ軸方向＋側へ投射して、ハーフミラー１０４ｄへ導く。この投射レンズ１０４ｃは、ｚ軸方向＋側から入射するものと仮定した入射光をマイクロレンズアレイ１０４ｂの近傍に結像させる撮影光学系に対して、逆投射光学系として機能する位置に配置される。投影レンズ１０４ｃの焦点距離は、上述のマイクロレンズの焦点距離のたとえば１０倍〜１０００倍程度に設定される。すなわち、上記のマイクロレンズの焦点距離が、たとえば２００μｍの場合、投射レンズ１０４ｃの焦点距離は５０ｍｍに設定される。
【００１６】
ハーフミラー１０４ｄは入射光の５０パーセントを透過し、５０パーセントを反射する特性を有し、投射レンズ１０４ｃから投射された光束の光軸に対して４５度傾けて配置される。ハーフミラー１０４ｄを透過した光は、縮小光学系１０４ｅを介して光位相共役鏡１０４ｆへ導かれる。光位相共役鏡１０４ｆは、ハーフミラー１０４ｄおよび縮小光学系１０４ｅを介して入射した光束と位相共役な光束、すなわち入射光束とは進行方向が時間的に逆転され、進行方向が反転された光束（位相共役光）を出力する。換言すると、光位相共役鏡１０４ｆは入射した光束に対して時間逆転系として機能する。この位相共役光は、再度縮小光学系１０４ｅを通過してｚ軸方向−側へ進み、ハーフミラー１０４ｄによって反射されて図２のｙ軸方向へ進み、観察者に観察される。なお、縮小光学系１０４ｅは、光位相共役鏡１０４ｆについては説明を後述する。
【００１７】
次に、図３を用いて表示器１０４ａおよびマイクロレンズアレイ１０４ｂについて説明する。なお、図３においては、表示器１０４ａの表示面の水平方向をｘ軸、鉛直方向をｙ軸とし、ｘｙ平面（表示器１０４ａの表示面）に垂直な方向をｚ軸として座標系を設定する。図３（ａ）は、表示器１０４ａをｚ軸方向＋側から見た場合の表示器１０４ａの斜視図であり、図３（ｂ）は図３（ａ）を一部拡大して示す図であり、図３（ｃ）はｚ軸方向における表示器１０４ａの断面を模式的に示す図である。
【００１８】
図３（ａ）、（ｂ）に示すように、表示器１０４ａは、上述したように、二次元状に配置された複数の表示画素群２１０を有する。これら複数の表示画素群２１０のそれぞれは、二次元状に配置された複数の表示画素２１１を有する。なお、本実施の形態においては、１個の表示画素群２１０には、１０×１０個の表示画素２１１が含まれるものとする。ただし、図３においては、図示の都合上、表示画素２１１の個数を実際よりも少なく描いている。表示画素２１１は、上述した表示部制御回路１０３により制御されて、表示用画像データに対応して発光する。
【００１９】
マイクロレンズアレイ１０４ｂは、二次元状に配列された複数のマイクロレンズ２２０により構成される。図３（ｂ）に示すように、各マイクロレンズ２２０は、複数の表示画素群２１０に対応した配置パターンで配置されている。また、図３（ｃ）に示すように、マイクロレンズアレイ２０２はｚ軸方向＋側に、マイクロレンズ２２０の焦点距離ｆだけ表示画素２１１から離れた位置に配置される。各マイクロレンズ２２０は、画像データに応じて表示画素２１１からの光をｚ軸方向＋側の所定の像面に投影する。
【００２０】
次に、表示器１０４ａおよびマイクロレンズアレイ１０４ｂによる三次元画像の表示原理について説明する。表示器１０４ａおよびマイクロレンズアレイ１０４ｂの表示原理はプレンオプティクスの原理を逆にしたものである。プレンオプティックカメラでは、撮影光学系によりマイクロレンズ近傍に結像された、圧縮された三次元像が二次元のパターン像に展開される。この場合、撮影光学系により、座標（ｘ，ｙ，ｚ）で示される三次元座標上の被写体の点は、次の式（１）で示される二次元パターンに展開される。なお、以下の式（１）では、ｚはプレンオプティックカメラから被写体までの距離、ｘ，ｙは光軸と直交する平面上の座標、ｍ（＝ｆ／ｚ）はｚに依存する倍率を示す。
（ｘ，ｙ，ｚ）→（ｍｘ，ｍｙ，ｍ２ｚ） ・・・（１）
【００２１】
式（１）は、３次元的な広がりを有する被写体が、所定の厚さ（奥行き）を有する像面に圧縮されたことを示している。通常のカメラでは、所定の奥行きを有する像面（像曲面）と撮像面とを交差させることによって二次元画像が得られる。像曲面と撮像面とが交差する点（面）が焦点の合った位置（焦点面）となる。さらに、この焦点面の前後に焦点が合わずに写りこむ像面が広がる。プレンオプティックカメラでは、これらの焦点面と、焦点が合わずに写りこむ像面とを、マイクロレンズによって取得する。以下、図４を用いて、上記のプロセスについて簡単に説明する。
【００２２】
図４は、表示画素２１１と、マイクロレンズアレイ１０４ｂと、表示される光点ＬＰとの関係を示した図である。上述したように、マイクロレンズアレイ１０４ｂは、表示画素２１１から、マイクロレンズ２２０の焦点距離ｆだけｚ軸方向に離れた位置に設けられている。なお、図４においては、光点ＬＰは、マイクロレンズアレイ１０４ｂからｚ軸方向＋側に距離４ｆだけ離れた位置にあるものとする。
【００２３】
光点ＬＰから表示画素２１１に向かって光束ＬＦを辿った場合がプレンオプティクスである。光点ＬＰからの光束ＬＦは、複数個のマイクロレンズ２２０を通過して、マイクロレンズ２２０から４ｆ／３の位置で焦点を結ぶ。しかし、マイクロレンズ２２０は表示画素２１１からｚ軸方向に距離ｆだけ離れた位置に配置されているので、各マイクロレンズ２２０を通過した光束ＬＦは、入射したマイクロレンズ２２０のそれぞれに対応する表示画素２１１で広がりを持った像となる。以後、この広がりを持った像を光断面と呼び、光断面の形状をパターンＰｔと呼ぶ。
【００２４】
図５に、上記のパターンＰｔを二次元的に展開した場合を示す。なお、図５においては、図示の都合上、マイクロレンズ２２０の配列を正方として描く。すなわち、プレンオプティクスの原理によれば、図４に示す光点ＬＰの光強度（輝度）が、図５に示すパターンＰｔに分配されることになる。図５においては、パターンＰｔに斜線を付して示す。
【００２５】
表示器１０４ａは、上述したプレンオプティクスの原理を逆にすることによって、すなわち表示画素２１１から輻射される光束を、マイクロレンズ２２０を介して投影することにより奥行きを有する空中像を表示する。具体的には、図５に示すパターンＰｔが、表示画素２１１上に割り当てられる。このとき、図４を用いて説明した場合とは逆に、表示画素２１１に割り当てられたパターンＰｔはマイクロレンズ２２０によって投影されて光点ＬＰに像を形成する。各パターンＰｔに含まれる表示画素２１１から輻射される多方向に進む光束には、その中に光点ＬＰに集光する方向の光束、すなわち上述した入射光束ＬＦの表示画素２１１への入射角度と同一の角度で輻射する光束が含まれるからである。このため、図６に示すように、マイクロレンズアレイ１０４ｂからｚ軸方向に距離４ｆだけ離れた位置Ｓに空中像が形成される。
【００２６】
図７を用いて、いくつ、あるいは、どのマイクロレンズ２２０といずれのパターンＰｔとが対応するかについて、光点ＬＰからの光束ＬＦの広がりをマイクロレンズ２２０上に投影することにより説明する。なお、図７では、光点ＬＰから広がる光束ＬＦは、光点ＬＰのｚ軸方向の位置がマイクロレンズ２２０の焦点距離ｆの場合と、その二倍の距離２ｆの場合とについて示している。図７においては、光点ＬＰのｚ軸方向の位置が距離ｆの場合の光束ＬＦの広がりを破線で示し、距離２ｆの場合を一点鎖線で示す。光点ＬＰがマイクロレンズ２２０の焦点距離ｆの位置にあると、光束ＬＦの広がりはマイクロレンズ２２０で規定されているので、光束ＬＦは１個のマイクロレンズ２２０内に入射する。以上により、１個の光点ＬＰに対応するマイクロレンズ２２０が決まる。
【００２７】
光点ＬＰのｚ軸方向の位置がマイクロレンズ２２０の焦点距離ｆのときは、光束ＬＦはそのマイクロレンズ２２０の直下の領域全体に円形開口の光として広がる。このため、正方領域に内接する円の内部に含まれるすべての表示画素２１１が発光すると、パターンＰｔが投影されて光点ＬＰで空中像が形成される。光点ＬＰのｚ軸方向の位置の絶対値が焦点距離ｆより小さい場合には、光束ＬＦはマイクロレンズ２２０の直下の領域内で収束せずに広がる。しかし、光点ＬＰから広がる光束ＬＦの角度はマイクロレンズ２２０のＦ値で開口の最大（Ｆの最小）が規定されるので、入射する光束ＬＦは広がり角の制限を受け、パターンＰｔは被覆領域にとどまる。
【００２８】
ここで光点ＬＰのｚ軸方向の位置が距離２ｆにある場合について説明する。図８に、この場合に関係するマイクロレンズ２２０を示す。図８（ａ）に示すように、関係するマイクロレンズ２２０は自身、すなわち光点ＬＰとｚ軸方向について同軸上に配置されたマイクロレンズ２２０（以後、基点マイクロレンズ２２０ａ）とそれに隣接する８個のマイクロレンズ２２０である。マイクロレンズ２２０による開口の制限を考えるとき、図８（ａ）において斜線で示す被覆領域のなかにパターンＰｔが存在することになる。この場合、各マイクロレンズ２２０に対応するパターンＰｔは、図８（ｂ）の斜線で示す領域となる。
【００２９】
図８（ｂ）に示すように、ひとつの基点マイクロレンズ２２０ａの被覆領域が分割され、隣接するマイクロレンズ２２０に配分されている。分割され配分された被覆領域（部分領域）を積算した場合の全領域は、ひとつのマイクロレンズ２２０の開口領域になる。そのため、どのような位置の光点ＬＰでもパターンＰｔの全領域の大きさは同じになるので、部分領域を積算して全領域を算出する場合には、それぞれの部分領域が所属するマイクロレンズ２２０が決まればよいことになる。
【００３０】
図７において、光点ＬＰのｚ軸方向の位置と、倍率つまり基点マイクロレンズ２２０ａに隣接するマイクロレンズ２２０との個数と関係について示したが、これを仮想的な開口領域に適用する。たとえば、倍率で縮小したマイクロレンズ２２０の配列で開口領域を分割し、これで定義されたマイクロレンズ２２０の中の同じ位置に開口領域の断片を配するという方法をとる。開口領域に外接する正方形を倍率２で縮小し、マイクロレンズ２２０の配列で開口領域を分割（領域分割）した場合を例に説明する。
【００３１】
図９は、上記の領域分割を基点マイクロレンズ２２０ａに展開した場合のパターンＰｔを示している。同様の領域分割を倍率に応じて行うと、倍率、すなわち光点ＬＰに対するパターンＰｔが得られる。具体的には、マイクロレンズ２２０の径（マイクロレンズの一辺の大きさ）をｇとするとき、ｇ/ｍ幅の格子で開口領域が分割される。倍率は、光点ＬＰの高さ（位置）ｙとマイクロレンズの焦点距離ｆとの比ｍ＝ｙ/ｆで表すことができる。比ｍには負の符号も存在する。比ｍの符合が負の場合には、マイクロレンズ２２０より表示画素２１１側に光点ＬＰがあるものとする。
【００３２】
マイクロレンズ２２０による被覆領域とマイクロレンズ２２０の個数との積は、ほぼ表示画素群２１０に含まれる表示画素２１１の全画素数に等しくなる。このため、１個のマイクロレンズ２２０内で偏心した複数の点のそれぞれに対応する光点ＬＰを形成することは、表示画素２１１に再現されたパターンＰｔを重畳して投影することに等しい。すなわち、各偏心した光点ＬＰからの光束ＬＦが重畳して表示画素２１１上に存在している。ただし、倍率が１倍のときには、この演算は、単なる内挿作業になって、分解能向上には実質的に寄与しない。これは、マイクロレンズ２２０頂点近辺に結像すれば、光学的に奥行き方向の情報が失われることを示している。
【００３３】
図１０は、基点マイクロレンズ２２０ａの中心位置に対して左に偏心した光点ＬＰについての分割領域を表したものある。基点マイクロレンズ２２０ａ（レンズ径をｇとする）の中心から図１０の左方向へｐだけ偏心して、光点ＬＰの高さ（位置）が２ｆの場合について説明する。なお、図１０においては、点Ｏ１は偏心した光点ＬＰ、点Ｏ２はマイクロレンズ２２０の中心位置を示す。この場合、図９に示すマイクロレンズ２２０を図中の右方向へｐだけずらし、開口領域を分割すれば、図１０に示す場合の分割領域が得られる。マイクロレンズ２２０の開口領域を１６個に分割すると仮定する。この場合、中心位置の座標を（０，０）として、ｘ軸ｙ軸に対して、それぞれ−ｇ/２、−ｇ/４、０、ｇ/４、ｇ/２の位置のパターンとそれによる分割領域および、全領域の積算をおこなえば、ひとつのマイクロレンズ１２０に対して１６点の光点群を得ることができる。
【００３４】
表示制御部１０１ａは、表示部制御回路１０３に指令して、画像データを用いて表示用三次元画像データを生成する。そして、表示制御部１０１ａは、表示用三次元画像データ、すなわち三次元情報を示すパターンＰｔを表示画素２１１に割り当てて発光させる。このとき、表示制御部１０１ａは、以下のような場合には、読み出された三次元画像データに対して正規化処理を施す。すなわち、三次元画像データを生成したプレンオプティックカメラが有するマイクロレンズの中心位置（光軸）と、マイクロレンズ２２０の中心位置（光軸）とが異なる場合、すなわちマイクロレンズ２２０の中心軸と光点ＬＰとがｚ軸方向について同一軸上にない場合である。この場合、表示制御部１０１ａは、各パターンＰｔに対応した光点ＬＰが基点マイクロレンズ２２０ａの中心軸上に位置するように、三次元画像データの位置をｘｙ平面上で移動させる。そして、表示制御部１０１ａは、生成した表示用三次元画像データが示すパターンＰｔを表示画素２１１に割り当てる。
【００３５】
上述した表示器１０４ａおよびマイクロレンズアレイ１０４ｂを介して投射された光束は投射レンズ１０４ｃを通過すると、被写体像の奥行き方向の圧縮が解放され、プレンオプティックカメラで撮影されたときと同様の被写体の波面が再現された光束となる。これは、上述したように、投射レンズ１０４ｃが、プレンオプティックカメラが有する撮影光学系に対して逆投射光学系として機能する位置に配置されることによる。ただし、この場合の光束の進行方向（ｚ軸方向＋側）は、撮影時の被写体からの光束の進行方向とは逆方向となる。光位相共役鏡１０４ｆは、ｚ軸方向＋側に進行する光束をｚ軸方向−側に進行する光束に変換する、すなわち位相共役光を発生させることによって、撮影時における被写体波面を再現する。以下、縮小光学系１０４ｅ、光位相共役鏡１０４ｆについて説明する。
【００３６】
図２に示すように、縮小光学系１０４ｅは、たとえば凹面鏡３１０とリレー光学系３１１とを含んでいる。縮小光学系１０４ｅは、投射レンズ１０４ｃを通過することによって広がって進行する光束の幅を所定の幅の光束に縮小する。この場合、後段の光位相共役鏡１０４ｆにおいて処理が可能な光束の幅となるように縮小されればよい。なお、この縮小光学系１０４ｅは、光位相共役鏡１０４ｆからの位相共役光に対しては拡大光学系として機能し、位相共役光をハーフミラー１０４ｄへ導く。このため、投射レンズ１０４ｃからの光束と、位相共役光とが同一の光路に沿って互いに異なる進行方向に進むので、縮小光学系１０４ｅの収差が打ち消されることになる。このため、縮小光学系１０４ｅは、必要な縮小率を満たせば十分であり、高い光学性能は要求されない。
【００３７】
光位相共役鏡１０４ｆは、たとえば公知のチタン酸バリウムを媒体とした４光波混合タイプの光位相共役鏡であり、Ｒ，Ｇ，Ｂの３色のそれぞれの光束に対応して設けられている。光位相共役鏡１０４ｆは、投射レンズ１０４ｃから入力した光束のＲ，Ｇ，Ｂのそれぞれについて、時間反転された光である位相共役光として反射する。すなわち、入力した光束のＲ色の分光成分については、Ｒ色に対応した光位相共役鏡１０４ｆにより時間反転されてＲ成分の位相共役光となる。入力した光束のＧ色、Ｂ色についても同様に、時間反転されてそれぞれＧ色、Ｂ色の位相共役光となる。その結果、光位相共役鏡１０４ｆから出力される位相共役光はＲ，Ｇ，Ｂについて離散的な分光分布を有する。
【００３８】
光位相共役鏡１０４ｆから出力された位相共役光は、縮小光学系１０４ｅを介してハーフミラー１０４ｄへ導かれる。この場合、上述したように、位相共役光は、投射ミラー１０４ｃからの光束が縮小光学系１０４ｅを進行する方向とは逆方向に進行するので、プレンオプティックカメラによる撮影時と同様の被写体波面を再現している。この位相共役光は、ハーフミラー１０４ｄによりｙ軸方向に反射されて観察者の方向に向かって進行する。その結果、観察者は、撮影時と同様の波面が再現された三次元像を観察することができる。
【００３９】
以上で説明した実施の形態による三次元画像表示装置１００によれば、以下の作用効果が得られる。
（１）三次元画像表示装置１００は、表示器１０４ａと、マイクロレンズアレイ１０４ｂと、表示制御部１０１ａと、投射レンズ１０４ｃと、ハーフミラー１０４ｄと、光位相共役鏡１０４ｆとを含むようにした。表示器１０４ａは、二次元配置された複数の表示画素２１１を含む表示画素群２１０が複数個、二次元配置される。マイクロレンズアレイ１０４ｂは、複数の表示画素群２１０の各々に対応して二次元配置され、表示画素群２１０を投影するマイクロレンズ２２０を複数個有する。表示制御部１０１ａは、三次元画像データに基づいて、表示画素２１１を制御して三次元画像データに対応する光束をマイクロレンズアレイ１０４ｂを介して投影させる。投射レンズ１０４ｃは、マイクロレンズアレイ１０４ｂの近傍に配置され、マイクロレンズ２２０により投影された三次元画像データに対応する光束をｚ軸方向＋側へ投射する。光位相共役鏡１０４ｆは、投射レンズ１０４ｃにより投射された三次元画像データに対応する光束の進行方向を時間的に逆転させて位相共役光を生成する。ハーフミラー１０４ｄは、光位相共役鏡１０４ｆにより生成された位相共役光の進行方向を観察方向、すなわちｙ軸方向＋側に反射する。
【００４０】
その結果、ステレオ型やレンチキュラー方式のように右眼と左目との視差による錯覚を利用した立体表示を行うことなく、観察者は立体形状を有する被写体の像を観察できる。特に、光位相共役鏡１０４ｆにより時間反転されることにより位相共役光、換言すると撮影時と時間的に同等の進行方向を有する光が生成されるので、観察者は撮影時の被写体の像の波面と同等の波面を有する三次元の空中像として観察することができる。したがって、錯覚に基づくものではなく、実際に三次元に再現された空中像を観察するので、従来の立体画像の表示で問題となっていた立体酔いや小児の視覚形成機能の阻害等の生理的な悪影響を防ぐことができる。さらに、専用のメガネ等を用いることなく観察できるので、長時間の観察が可能になる。
【００４１】
また、ホログラム方式を用いる場合には、表示の冗長度が１０００：１以上ある。このため、たとえば１００万画素の解像度を有する立体像を再現するためには、表示器は１００億画素以上の画素を有する必要がある。または、立体像を再現するための画像データは１００億画素に相当する情報量を有する必要がある。これに対して、本実施の形態の三次元画像表示装置１００では、画像の解像度に対する冗長度が１００〜１０００倍程度の画素数で、撮影時の被写体の像が有する波面と同等の波面を有する三次元の空中像を表示できる。
【００４２】
（２）表示制御部１０１ａは、プレンオプティクスカメラが有する異なる複数の撮影用マイクロレンズに対応して配列された複数の撮像画素から出力された複数の画像信号に基づいて、光束を射出する複数の表示画素２１１の配列関係が、複数の撮像画素の配列関係と等価となるように正規化処理を施して、三次元画像データを生成するようにした。したがって、各撮像画素から出力された画像信号を、対応する表示画素２１１に割り当てることによって、三次元情報を有する表示用画像データを容易に生成することができる。
【００４３】
以上で説明した実施の形態による三次元画像表示装置１００を、以下のように変形できる。
（１）表示器１０４ａがバックライトを有する液晶表示器や有機ＥＬ表示器等により構成されるものに代えて、透過型ＬＣＤ表示器を用いてもよい。この場合、照明光としては白色ＬＥＤに代えて、Ｒ，Ｇ．Ｂの３色を照明光として透過型ＬＣＤ表示器を照明することにより、Ｒ，Ｇ，Ｂについて離散的な分光分布を有する光束が表示器１０４ａから光位相共役鏡１０４ｆへ投射される。
【００４４】
（２）表示器１０４ａに代えて、光源からの照明光を反射させる反射型表示器、たとえば反射型ＬＣＯＳ表示器や、ＤＬＰ方式の表示器を用いて、フィールドシーケンシャル方式によりＲ，Ｇ，Ｂの各色を時系列で表示させてもよい。図１１を参照して、反射型ＬＣＯＳ反射器を用いた場合の表示の一例について説明する。図１１に示すように、実施の形態の表示器１０４ａおよびマイクロレンズアレイ１０４ｂに代えて、表示器５００と、マイクロレンズアレイ５０１と、偏光分離鏡５０２と、リレー系レンズ５０３と、絞り５０４と、光源５０５とを有する。なお、表示器５００とマイクロレンズアレイ５０１との配置関係の詳細は、図３に示す実施の形態における表示器１０４ａとマイクロレンズアレイ１０４ｂとの配置関係と同様である。
【００４５】
光源５０５は、反射型ＬＣＯＳ表示器である表示器５００を照明する照明光源である。光源５０５は、表示制御部１０１ａにより点灯制御されて、Ｒ，Ｇ，Ｂの３色の照明光を時分割で射出する。リレー系レンズ５０３は、光源５０５から射出された照明光を偏光分離鏡５０２へ導くための光学系である。絞り５０４は、リレー系レンズ５０３が焦点を結ぶ位置に設けられている。このため、光源５０５からの照明光は、照明光がマイクロレンズアレイ５０１の焦点の位置Ｍで像を結び、マイクロレンズアレイ５０１でそれぞれ一様な明るさで表示器５００を照明するようになる。さらに、照明光がマイクロレンズアレイ５０１のＦ値に合わせた大きさに制限されるようになる。
【００４６】
偏光分離鏡５０２は、マイクロレンズアレイ５０１の前段に配置され、光源５０５からの照明光を反射してマイクロレンズアレイ５０１および表示器５００へ導く。そして、表示器５００で反射された反射光は、偏光分離鏡５０２を透過して投射レンズ１０４ｃへ進行する。
【００４７】
上述したように、光源５０５からは時分割でＲ，Ｇ，Ｂのそれぞれの色の照明光が射出されるので、表示制御部１０１ａは、それぞれの色の照明光が射出されるタイミングで表示器５００に対応する色に応じた画像を表示させる。表示器５００に表示される色の切り替えは、たとえばカラーホイール方式であってもよいし、ＬＥＤ等の点灯によるものでもよい。この結果、画像を再現するために使用可能な表示画素の画素数を増やすことができる。なお、光源５０５から射出される照明光に含まれる離散的なＲ，Ｇ，Ｂの波長は、光位相共役鏡１０４ｆに対応するＲ，Ｇ，Ｂの３色の波長と一致している必要がある。
【００４８】
（３）ハーフミラー１０４ｄに代えて偏光分離ミラーと１／４位相板とを設けてもよい。この場合、偏光分離ミラーは、表示器１０４ａから投射レンズ１０４ｃを介して投射された光束のうち直線偏光の光を透過可能となる方向に配置される。さらに、１／４位相板は偏光分離ミラーに対してｚ軸方向＋側に配置され、偏光分離ミラーを透過した直線偏光の光を円偏光に変換し、光位相共役鏡１０４ｆへ導くようにすればよい。
【００４９】
（４）投射レンズ１０４ｃからの光束の幅が光位相共役鏡１０４ｆにより反射可能な光束の幅であれば、縮小光学系１０４ｅを設けなくてもよい。
【００５０】
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組み合わせて構成しても構わない。
【符号の説明】
【００５１】
１０１ 制御回路、 １０１ａ 表示制御部、
１０４ 表示部、 １０４ａ 表示器、
１０４ｂ マイクロレンズアレイ、 １０４ｃ 投影レンズ、
１０４ｄ ハーフミラー、 １０４ｅ 縮小光学系、
１０４ｆ 光位相共役鏡、 ２１１ 表示画素、
２２０ マイクロレンズ
【技術分野】
【０００１】
本発明は、三次元画像表示装置に関する。
【背景技術】
【０００２】
従来から、立体像を表示する表示装置が知られている（たとえば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３３０４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、表示された立体像は、撮影時における被写体の波面を再現したものとは異なるという問題がある。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明による三次元画像表示装置は、二次元配置された複数の表示画素を含む表示画素群が複数個、二次元配置された表示手段と、複数の表示画素群の各々に対応して二次元配置され、表示画素群を投影するマイクロレンズを複数個有するマイクロレンズアレイと、三次元画像データに基づいて、表示画素を制御して三次元画像データに対応する光束をマイクロレンズアレイを介して投影させる表示制御手段と、マイクロレンズアレイの近傍に配置され、マイクロレンズにより投影された三次元画像データに対応する光束を投射する投射光学系と、投射光学系により投射された三次元画像データに対応する光束の進行方向を時間的に逆転させて位相共役光を生成する時間逆転手段と、時間逆転手段により生成された位相共役光の進行方向を観察方向に反射する光反射手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、マイクロレンズにより投影された三次元画像データに対応する光束の進行方向を時間的に逆転させた位相共役光を生成することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施の形態による三次元画像表示装置の要部構成を説明するブロック図
【図２】実施の形態による三次元画像表示装置が備える表示部の構成の一例を説明する図
【図３】実施の形態による三次元画像表示装置が備える表示部の構成の一例を説明する図
【図４】表示画素と、表示用マイクロレンズアレイと、表示される光点との関係を模式的に示した図
【図５】図４を二次元的に展開した場合を示す図
【図６】投影される空中像について説明する図
【図７】マイクロレンズとパターン光断面との関係を説明する図
【図８】マイクロレンズとパターンとの関係を説明する図
【図９】領域分割を基点マイクロレンズに展開した場合のパターンを説明する図
【図１０】基点マイクロレンズの中心位置に対して光点が偏心した場合のパターンを説明する図
【図１１】変形例における表示部の構成の一例を示す図
【発明を実施するための形態】
【０００８】
本実施の形態の三次元画像表示装置は、画像を表示するためのモニタを有するパーソナルコンピュータ等により構成される。この三次元画像表示装置では、公知のプレンオプティックカメラ（Plenoptics Camera）またはライトフィールドカメラ（Light Field Camera）等によって生成された三次元情報を有する画像データに対応する画像が三次元画像として観察可能に表示される。以下、詳細に説明する。
【０００９】
図１は、実施の形態による三次元画像表示装置１００の要部構成を説明するブロック図である。三次元画像表示装置１００は、制御回路１０１、ＨＤＤ１０２、表示部制御回路１０３、表示部１０４、メモリ１０５、入力部材１０６、メモリカードインタフェース１０７、および外部インタフェース１０８を備える。
【００１０】
入力部材１０６は、ユーザによって操作されるスイッチやボタンを有するキーボードや、マウス等の操作部材である。入力部材１０６は、表示部１０４に表示されたメニュー画面からユーザが所望するメニューや設定を選択し、選択したメニューや設定を実行させる際にユーザにより操作される。
【００１１】
ＨＤＤ１０２には、たとえばデジタルカメラで撮影した動画や静止画に対応する画像ファイルなどが記録されている。外部インタフェース１０８は、たとえばＵＳＢインタフェースケーブルや無線伝送路を介してデジタルカメラ等の外部機器とデータ通信を行う。三次元画像表示装置１００は、メモリカードインタフェース１０７や外部インタフェース１０８を介してメモリカード２０７ａや外部機器から画像ファイルなどを入力する。入力された画像ファイルは、制御回路１０１により制御されてＨＤＤ１０２に記録される。デジタルカメラで生成された画像ファイルは、制御回路１０１によりＨＤＤ１０２に記録される。ＨＤＤ１０２には、制御回路１０１で実行される各種のプログラム等が記録される。
【００１２】
制御回路１０１は、三次元画像表示装置１００の制御を行うマイクロコンピュータであり、ＣＰＵやＲＯＭその他周辺回路により構成される。制御回路１０１は表示制御部１０１ａを機能的に備える。表示制御部１０１ａは、たとえばＨＤＤ１０２に記録されている三次元画像データを読み出す。そして、表示制御部１０１ａは、三次元画像データに基づいて、表示部制御回路１０３を介して、後述する表示部１０４が備える表示画素から三次元画像データに対応する光束を投射させる。なお、表示制御部１０１ａの詳細については、説明を後述する。
【００１３】
メモリ１０５は制御回路１０１のワーキングメモリであり、たとえばＳＤＲＡＭにより構成される。表示部１０４は、表示部制御回路１０３により制御されて、表示用画像データに対応する画像、各種設定を行うためのメニュー画面などが表示される。
【００１４】
図２、図３を参照して、表示部１０４について説明する。図２は、表示部１０４の概略構成を示す図である。なお、図２においては、図の鉛直方向をｙ軸、図の水平方向をｚ軸とする座標系を設定する。図２に示すように、表示部１０４には、表示器１０４ａと、マイクロレンズアレイ１０４ｂと、投影レンズ１０４ｃと、ハーフミラー１０４ｄと、縮小光学系１０４ｅと、光位相共役鏡１０４ｆとが設けられている。表示器１０４ａは、たとえばバックライトを有する液晶表示器や有機ＥＬ表示器等により構成され、二次元状に配置された複数の表示画素群を有する。マイクロレンズアレイ１０４ｂは、二次元状に配列された複数のマイクロレンズにより構成される。マイクロレンズアレイ１０４ｂはｚ軸方向に、マイクロレンズの焦点距離だけ表示画素群から離れた位置に配置される。各マイクロレンズは表示器１０４ａの表示画素群からの光束をｚ軸方向＋側に向けて投射する。なお、表示器１０４ａとマイクロレンズアレイ１０４ｂとの配置関係については、図２を用いて詳細を後述する。
【００１５】
投射レンズ１０４ｃは１つのレンズあるいは複数のレンズ群から構成され、マイクロレンズアレイ１０４ｂを介して表示器１０４ａから投射された光束をｚ軸方向＋側へ投射して、ハーフミラー１０４ｄへ導く。この投射レンズ１０４ｃは、ｚ軸方向＋側から入射するものと仮定した入射光をマイクロレンズアレイ１０４ｂの近傍に結像させる撮影光学系に対して、逆投射光学系として機能する位置に配置される。投影レンズ１０４ｃの焦点距離は、上述のマイクロレンズの焦点距離のたとえば１０倍〜１０００倍程度に設定される。すなわち、上記のマイクロレンズの焦点距離が、たとえば２００μｍの場合、投射レンズ１０４ｃの焦点距離は５０ｍｍに設定される。
【００１６】
ハーフミラー１０４ｄは入射光の５０パーセントを透過し、５０パーセントを反射する特性を有し、投射レンズ１０４ｃから投射された光束の光軸に対して４５度傾けて配置される。ハーフミラー１０４ｄを透過した光は、縮小光学系１０４ｅを介して光位相共役鏡１０４ｆへ導かれる。光位相共役鏡１０４ｆは、ハーフミラー１０４ｄおよび縮小光学系１０４ｅを介して入射した光束と位相共役な光束、すなわち入射光束とは進行方向が時間的に逆転され、進行方向が反転された光束（位相共役光）を出力する。換言すると、光位相共役鏡１０４ｆは入射した光束に対して時間逆転系として機能する。この位相共役光は、再度縮小光学系１０４ｅを通過してｚ軸方向−側へ進み、ハーフミラー１０４ｄによって反射されて図２のｙ軸方向へ進み、観察者に観察される。なお、縮小光学系１０４ｅは、光位相共役鏡１０４ｆについては説明を後述する。
【００１７】
次に、図３を用いて表示器１０４ａおよびマイクロレンズアレイ１０４ｂについて説明する。なお、図３においては、表示器１０４ａの表示面の水平方向をｘ軸、鉛直方向をｙ軸とし、ｘｙ平面（表示器１０４ａの表示面）に垂直な方向をｚ軸として座標系を設定する。図３（ａ）は、表示器１０４ａをｚ軸方向＋側から見た場合の表示器１０４ａの斜視図であり、図３（ｂ）は図３（ａ）を一部拡大して示す図であり、図３（ｃ）はｚ軸方向における表示器１０４ａの断面を模式的に示す図である。
【００１８】
図３（ａ）、（ｂ）に示すように、表示器１０４ａは、上述したように、二次元状に配置された複数の表示画素群２１０を有する。これら複数の表示画素群２１０のそれぞれは、二次元状に配置された複数の表示画素２１１を有する。なお、本実施の形態においては、１個の表示画素群２１０には、１０×１０個の表示画素２１１が含まれるものとする。ただし、図３においては、図示の都合上、表示画素２１１の個数を実際よりも少なく描いている。表示画素２１１は、上述した表示部制御回路１０３により制御されて、表示用画像データに対応して発光する。
【００１９】
マイクロレンズアレイ１０４ｂは、二次元状に配列された複数のマイクロレンズ２２０により構成される。図３（ｂ）に示すように、各マイクロレンズ２２０は、複数の表示画素群２１０に対応した配置パターンで配置されている。また、図３（ｃ）に示すように、マイクロレンズアレイ２０２はｚ軸方向＋側に、マイクロレンズ２２０の焦点距離ｆだけ表示画素２１１から離れた位置に配置される。各マイクロレンズ２２０は、画像データに応じて表示画素２１１からの光をｚ軸方向＋側の所定の像面に投影する。
【００２０】
次に、表示器１０４ａおよびマイクロレンズアレイ１０４ｂによる三次元画像の表示原理について説明する。表示器１０４ａおよびマイクロレンズアレイ１０４ｂの表示原理はプレンオプティクスの原理を逆にしたものである。プレンオプティックカメラでは、撮影光学系によりマイクロレンズ近傍に結像された、圧縮された三次元像が二次元のパターン像に展開される。この場合、撮影光学系により、座標（ｘ，ｙ，ｚ）で示される三次元座標上の被写体の点は、次の式（１）で示される二次元パターンに展開される。なお、以下の式（１）では、ｚはプレンオプティックカメラから被写体までの距離、ｘ，ｙは光軸と直交する平面上の座標、ｍ（＝ｆ／ｚ）はｚに依存する倍率を示す。
（ｘ，ｙ，ｚ）→（ｍｘ，ｍｙ，ｍ２ｚ） ・・・（１）
【００２１】
式（１）は、３次元的な広がりを有する被写体が、所定の厚さ（奥行き）を有する像面に圧縮されたことを示している。通常のカメラでは、所定の奥行きを有する像面（像曲面）と撮像面とを交差させることによって二次元画像が得られる。像曲面と撮像面とが交差する点（面）が焦点の合った位置（焦点面）となる。さらに、この焦点面の前後に焦点が合わずに写りこむ像面が広がる。プレンオプティックカメラでは、これらの焦点面と、焦点が合わずに写りこむ像面とを、マイクロレンズによって取得する。以下、図４を用いて、上記のプロセスについて簡単に説明する。
【００２２】
図４は、表示画素２１１と、マイクロレンズアレイ１０４ｂと、表示される光点ＬＰとの関係を示した図である。上述したように、マイクロレンズアレイ１０４ｂは、表示画素２１１から、マイクロレンズ２２０の焦点距離ｆだけｚ軸方向に離れた位置に設けられている。なお、図４においては、光点ＬＰは、マイクロレンズアレイ１０４ｂからｚ軸方向＋側に距離４ｆだけ離れた位置にあるものとする。
【００２３】
光点ＬＰから表示画素２１１に向かって光束ＬＦを辿った場合がプレンオプティクスである。光点ＬＰからの光束ＬＦは、複数個のマイクロレンズ２２０を通過して、マイクロレンズ２２０から４ｆ／３の位置で焦点を結ぶ。しかし、マイクロレンズ２２０は表示画素２１１からｚ軸方向に距離ｆだけ離れた位置に配置されているので、各マイクロレンズ２２０を通過した光束ＬＦは、入射したマイクロレンズ２２０のそれぞれに対応する表示画素２１１で広がりを持った像となる。以後、この広がりを持った像を光断面と呼び、光断面の形状をパターンＰｔと呼ぶ。
【００２４】
図５に、上記のパターンＰｔを二次元的に展開した場合を示す。なお、図５においては、図示の都合上、マイクロレンズ２２０の配列を正方として描く。すなわち、プレンオプティクスの原理によれば、図４に示す光点ＬＰの光強度（輝度）が、図５に示すパターンＰｔに分配されることになる。図５においては、パターンＰｔに斜線を付して示す。
【００２５】
表示器１０４ａは、上述したプレンオプティクスの原理を逆にすることによって、すなわち表示画素２１１から輻射される光束を、マイクロレンズ２２０を介して投影することにより奥行きを有する空中像を表示する。具体的には、図５に示すパターンＰｔが、表示画素２１１上に割り当てられる。このとき、図４を用いて説明した場合とは逆に、表示画素２１１に割り当てられたパターンＰｔはマイクロレンズ２２０によって投影されて光点ＬＰに像を形成する。各パターンＰｔに含まれる表示画素２１１から輻射される多方向に進む光束には、その中に光点ＬＰに集光する方向の光束、すなわち上述した入射光束ＬＦの表示画素２１１への入射角度と同一の角度で輻射する光束が含まれるからである。このため、図６に示すように、マイクロレンズアレイ１０４ｂからｚ軸方向に距離４ｆだけ離れた位置Ｓに空中像が形成される。
【００２６】
図７を用いて、いくつ、あるいは、どのマイクロレンズ２２０といずれのパターンＰｔとが対応するかについて、光点ＬＰからの光束ＬＦの広がりをマイクロレンズ２２０上に投影することにより説明する。なお、図７では、光点ＬＰから広がる光束ＬＦは、光点ＬＰのｚ軸方向の位置がマイクロレンズ２２０の焦点距離ｆの場合と、その二倍の距離２ｆの場合とについて示している。図７においては、光点ＬＰのｚ軸方向の位置が距離ｆの場合の光束ＬＦの広がりを破線で示し、距離２ｆの場合を一点鎖線で示す。光点ＬＰがマイクロレンズ２２０の焦点距離ｆの位置にあると、光束ＬＦの広がりはマイクロレンズ２２０で規定されているので、光束ＬＦは１個のマイクロレンズ２２０内に入射する。以上により、１個の光点ＬＰに対応するマイクロレンズ２２０が決まる。
【００２７】
光点ＬＰのｚ軸方向の位置がマイクロレンズ２２０の焦点距離ｆのときは、光束ＬＦはそのマイクロレンズ２２０の直下の領域全体に円形開口の光として広がる。このため、正方領域に内接する円の内部に含まれるすべての表示画素２１１が発光すると、パターンＰｔが投影されて光点ＬＰで空中像が形成される。光点ＬＰのｚ軸方向の位置の絶対値が焦点距離ｆより小さい場合には、光束ＬＦはマイクロレンズ２２０の直下の領域内で収束せずに広がる。しかし、光点ＬＰから広がる光束ＬＦの角度はマイクロレンズ２２０のＦ値で開口の最大（Ｆの最小）が規定されるので、入射する光束ＬＦは広がり角の制限を受け、パターンＰｔは被覆領域にとどまる。
【００２８】
ここで光点ＬＰのｚ軸方向の位置が距離２ｆにある場合について説明する。図８に、この場合に関係するマイクロレンズ２２０を示す。図８（ａ）に示すように、関係するマイクロレンズ２２０は自身、すなわち光点ＬＰとｚ軸方向について同軸上に配置されたマイクロレンズ２２０（以後、基点マイクロレンズ２２０ａ）とそれに隣接する８個のマイクロレンズ２２０である。マイクロレンズ２２０による開口の制限を考えるとき、図８（ａ）において斜線で示す被覆領域のなかにパターンＰｔが存在することになる。この場合、各マイクロレンズ２２０に対応するパターンＰｔは、図８（ｂ）の斜線で示す領域となる。
【００２９】
図８（ｂ）に示すように、ひとつの基点マイクロレンズ２２０ａの被覆領域が分割され、隣接するマイクロレンズ２２０に配分されている。分割され配分された被覆領域（部分領域）を積算した場合の全領域は、ひとつのマイクロレンズ２２０の開口領域になる。そのため、どのような位置の光点ＬＰでもパターンＰｔの全領域の大きさは同じになるので、部分領域を積算して全領域を算出する場合には、それぞれの部分領域が所属するマイクロレンズ２２０が決まればよいことになる。
【００３０】
図７において、光点ＬＰのｚ軸方向の位置と、倍率つまり基点マイクロレンズ２２０ａに隣接するマイクロレンズ２２０との個数と関係について示したが、これを仮想的な開口領域に適用する。たとえば、倍率で縮小したマイクロレンズ２２０の配列で開口領域を分割し、これで定義されたマイクロレンズ２２０の中の同じ位置に開口領域の断片を配するという方法をとる。開口領域に外接する正方形を倍率２で縮小し、マイクロレンズ２２０の配列で開口領域を分割（領域分割）した場合を例に説明する。
【００３１】
図９は、上記の領域分割を基点マイクロレンズ２２０ａに展開した場合のパターンＰｔを示している。同様の領域分割を倍率に応じて行うと、倍率、すなわち光点ＬＰに対するパターンＰｔが得られる。具体的には、マイクロレンズ２２０の径（マイクロレンズの一辺の大きさ）をｇとするとき、ｇ/ｍ幅の格子で開口領域が分割される。倍率は、光点ＬＰの高さ（位置）ｙとマイクロレンズの焦点距離ｆとの比ｍ＝ｙ/ｆで表すことができる。比ｍには負の符号も存在する。比ｍの符合が負の場合には、マイクロレンズ２２０より表示画素２１１側に光点ＬＰがあるものとする。
【００３２】
マイクロレンズ２２０による被覆領域とマイクロレンズ２２０の個数との積は、ほぼ表示画素群２１０に含まれる表示画素２１１の全画素数に等しくなる。このため、１個のマイクロレンズ２２０内で偏心した複数の点のそれぞれに対応する光点ＬＰを形成することは、表示画素２１１に再現されたパターンＰｔを重畳して投影することに等しい。すなわち、各偏心した光点ＬＰからの光束ＬＦが重畳して表示画素２１１上に存在している。ただし、倍率が１倍のときには、この演算は、単なる内挿作業になって、分解能向上には実質的に寄与しない。これは、マイクロレンズ２２０頂点近辺に結像すれば、光学的に奥行き方向の情報が失われることを示している。
【００３３】
図１０は、基点マイクロレンズ２２０ａの中心位置に対して左に偏心した光点ＬＰについての分割領域を表したものある。基点マイクロレンズ２２０ａ（レンズ径をｇとする）の中心から図１０の左方向へｐだけ偏心して、光点ＬＰの高さ（位置）が２ｆの場合について説明する。なお、図１０においては、点Ｏ１は偏心した光点ＬＰ、点Ｏ２はマイクロレンズ２２０の中心位置を示す。この場合、図９に示すマイクロレンズ２２０を図中の右方向へｐだけずらし、開口領域を分割すれば、図１０に示す場合の分割領域が得られる。マイクロレンズ２２０の開口領域を１６個に分割すると仮定する。この場合、中心位置の座標を（０，０）として、ｘ軸ｙ軸に対して、それぞれ−ｇ/２、−ｇ/４、０、ｇ/４、ｇ/２の位置のパターンとそれによる分割領域および、全領域の積算をおこなえば、ひとつのマイクロレンズ１２０に対して１６点の光点群を得ることができる。
【００３４】
表示制御部１０１ａは、表示部制御回路１０３に指令して、画像データを用いて表示用三次元画像データを生成する。そして、表示制御部１０１ａは、表示用三次元画像データ、すなわち三次元情報を示すパターンＰｔを表示画素２１１に割り当てて発光させる。このとき、表示制御部１０１ａは、以下のような場合には、読み出された三次元画像データに対して正規化処理を施す。すなわち、三次元画像データを生成したプレンオプティックカメラが有するマイクロレンズの中心位置（光軸）と、マイクロレンズ２２０の中心位置（光軸）とが異なる場合、すなわちマイクロレンズ２２０の中心軸と光点ＬＰとがｚ軸方向について同一軸上にない場合である。この場合、表示制御部１０１ａは、各パターンＰｔに対応した光点ＬＰが基点マイクロレンズ２２０ａの中心軸上に位置するように、三次元画像データの位置をｘｙ平面上で移動させる。そして、表示制御部１０１ａは、生成した表示用三次元画像データが示すパターンＰｔを表示画素２１１に割り当てる。
【００３５】
上述した表示器１０４ａおよびマイクロレンズアレイ１０４ｂを介して投射された光束は投射レンズ１０４ｃを通過すると、被写体像の奥行き方向の圧縮が解放され、プレンオプティックカメラで撮影されたときと同様の被写体の波面が再現された光束となる。これは、上述したように、投射レンズ１０４ｃが、プレンオプティックカメラが有する撮影光学系に対して逆投射光学系として機能する位置に配置されることによる。ただし、この場合の光束の進行方向（ｚ軸方向＋側）は、撮影時の被写体からの光束の進行方向とは逆方向となる。光位相共役鏡１０４ｆは、ｚ軸方向＋側に進行する光束をｚ軸方向−側に進行する光束に変換する、すなわち位相共役光を発生させることによって、撮影時における被写体波面を再現する。以下、縮小光学系１０４ｅ、光位相共役鏡１０４ｆについて説明する。
【００３６】
図２に示すように、縮小光学系１０４ｅは、たとえば凹面鏡３１０とリレー光学系３１１とを含んでいる。縮小光学系１０４ｅは、投射レンズ１０４ｃを通過することによって広がって進行する光束の幅を所定の幅の光束に縮小する。この場合、後段の光位相共役鏡１０４ｆにおいて処理が可能な光束の幅となるように縮小されればよい。なお、この縮小光学系１０４ｅは、光位相共役鏡１０４ｆからの位相共役光に対しては拡大光学系として機能し、位相共役光をハーフミラー１０４ｄへ導く。このため、投射レンズ１０４ｃからの光束と、位相共役光とが同一の光路に沿って互いに異なる進行方向に進むので、縮小光学系１０４ｅの収差が打ち消されることになる。このため、縮小光学系１０４ｅは、必要な縮小率を満たせば十分であり、高い光学性能は要求されない。
【００３７】
光位相共役鏡１０４ｆは、たとえば公知のチタン酸バリウムを媒体とした４光波混合タイプの光位相共役鏡であり、Ｒ，Ｇ，Ｂの３色のそれぞれの光束に対応して設けられている。光位相共役鏡１０４ｆは、投射レンズ１０４ｃから入力した光束のＲ，Ｇ，Ｂのそれぞれについて、時間反転された光である位相共役光として反射する。すなわち、入力した光束のＲ色の分光成分については、Ｒ色に対応した光位相共役鏡１０４ｆにより時間反転されてＲ成分の位相共役光となる。入力した光束のＧ色、Ｂ色についても同様に、時間反転されてそれぞれＧ色、Ｂ色の位相共役光となる。その結果、光位相共役鏡１０４ｆから出力される位相共役光はＲ，Ｇ，Ｂについて離散的な分光分布を有する。
【００３８】
光位相共役鏡１０４ｆから出力された位相共役光は、縮小光学系１０４ｅを介してハーフミラー１０４ｄへ導かれる。この場合、上述したように、位相共役光は、投射ミラー１０４ｃからの光束が縮小光学系１０４ｅを進行する方向とは逆方向に進行するので、プレンオプティックカメラによる撮影時と同様の被写体波面を再現している。この位相共役光は、ハーフミラー１０４ｄによりｙ軸方向に反射されて観察者の方向に向かって進行する。その結果、観察者は、撮影時と同様の波面が再現された三次元像を観察することができる。
【００３９】
以上で説明した実施の形態による三次元画像表示装置１００によれば、以下の作用効果が得られる。
（１）三次元画像表示装置１００は、表示器１０４ａと、マイクロレンズアレイ１０４ｂと、表示制御部１０１ａと、投射レンズ１０４ｃと、ハーフミラー１０４ｄと、光位相共役鏡１０４ｆとを含むようにした。表示器１０４ａは、二次元配置された複数の表示画素２１１を含む表示画素群２１０が複数個、二次元配置される。マイクロレンズアレイ１０４ｂは、複数の表示画素群２１０の各々に対応して二次元配置され、表示画素群２１０を投影するマイクロレンズ２２０を複数個有する。表示制御部１０１ａは、三次元画像データに基づいて、表示画素２１１を制御して三次元画像データに対応する光束をマイクロレンズアレイ１０４ｂを介して投影させる。投射レンズ１０４ｃは、マイクロレンズアレイ１０４ｂの近傍に配置され、マイクロレンズ２２０により投影された三次元画像データに対応する光束をｚ軸方向＋側へ投射する。光位相共役鏡１０４ｆは、投射レンズ１０４ｃにより投射された三次元画像データに対応する光束の進行方向を時間的に逆転させて位相共役光を生成する。ハーフミラー１０４ｄは、光位相共役鏡１０４ｆにより生成された位相共役光の進行方向を観察方向、すなわちｙ軸方向＋側に反射する。
【００４０】
その結果、ステレオ型やレンチキュラー方式のように右眼と左目との視差による錯覚を利用した立体表示を行うことなく、観察者は立体形状を有する被写体の像を観察できる。特に、光位相共役鏡１０４ｆにより時間反転されることにより位相共役光、換言すると撮影時と時間的に同等の進行方向を有する光が生成されるので、観察者は撮影時の被写体の像の波面と同等の波面を有する三次元の空中像として観察することができる。したがって、錯覚に基づくものではなく、実際に三次元に再現された空中像を観察するので、従来の立体画像の表示で問題となっていた立体酔いや小児の視覚形成機能の阻害等の生理的な悪影響を防ぐことができる。さらに、専用のメガネ等を用いることなく観察できるので、長時間の観察が可能になる。
【００４１】
また、ホログラム方式を用いる場合には、表示の冗長度が１０００：１以上ある。このため、たとえば１００万画素の解像度を有する立体像を再現するためには、表示器は１００億画素以上の画素を有する必要がある。または、立体像を再現するための画像データは１００億画素に相当する情報量を有する必要がある。これに対して、本実施の形態の三次元画像表示装置１００では、画像の解像度に対する冗長度が１００〜１０００倍程度の画素数で、撮影時の被写体の像が有する波面と同等の波面を有する三次元の空中像を表示できる。
【００４２】
（２）表示制御部１０１ａは、プレンオプティクスカメラが有する異なる複数の撮影用マイクロレンズに対応して配列された複数の撮像画素から出力された複数の画像信号に基づいて、光束を射出する複数の表示画素２１１の配列関係が、複数の撮像画素の配列関係と等価となるように正規化処理を施して、三次元画像データを生成するようにした。したがって、各撮像画素から出力された画像信号を、対応する表示画素２１１に割り当てることによって、三次元情報を有する表示用画像データを容易に生成することができる。
【００４３】
以上で説明した実施の形態による三次元画像表示装置１００を、以下のように変形できる。
（１）表示器１０４ａがバックライトを有する液晶表示器や有機ＥＬ表示器等により構成されるものに代えて、透過型ＬＣＤ表示器を用いてもよい。この場合、照明光としては白色ＬＥＤに代えて、Ｒ，Ｇ．Ｂの３色を照明光として透過型ＬＣＤ表示器を照明することにより、Ｒ，Ｇ，Ｂについて離散的な分光分布を有する光束が表示器１０４ａから光位相共役鏡１０４ｆへ投射される。
【００４４】
（２）表示器１０４ａに代えて、光源からの照明光を反射させる反射型表示器、たとえば反射型ＬＣＯＳ表示器や、ＤＬＰ方式の表示器を用いて、フィールドシーケンシャル方式によりＲ，Ｇ，Ｂの各色を時系列で表示させてもよい。図１１を参照して、反射型ＬＣＯＳ反射器を用いた場合の表示の一例について説明する。図１１に示すように、実施の形態の表示器１０４ａおよびマイクロレンズアレイ１０４ｂに代えて、表示器５００と、マイクロレンズアレイ５０１と、偏光分離鏡５０２と、リレー系レンズ５０３と、絞り５０４と、光源５０５とを有する。なお、表示器５００とマイクロレンズアレイ５０１との配置関係の詳細は、図３に示す実施の形態における表示器１０４ａとマイクロレンズアレイ１０４ｂとの配置関係と同様である。
【００４５】
光源５０５は、反射型ＬＣＯＳ表示器である表示器５００を照明する照明光源である。光源５０５は、表示制御部１０１ａにより点灯制御されて、Ｒ，Ｇ，Ｂの３色の照明光を時分割で射出する。リレー系レンズ５０３は、光源５０５から射出された照明光を偏光分離鏡５０２へ導くための光学系である。絞り５０４は、リレー系レンズ５０３が焦点を結ぶ位置に設けられている。このため、光源５０５からの照明光は、照明光がマイクロレンズアレイ５０１の焦点の位置Ｍで像を結び、マイクロレンズアレイ５０１でそれぞれ一様な明るさで表示器５００を照明するようになる。さらに、照明光がマイクロレンズアレイ５０１のＦ値に合わせた大きさに制限されるようになる。
【００４６】
偏光分離鏡５０２は、マイクロレンズアレイ５０１の前段に配置され、光源５０５からの照明光を反射してマイクロレンズアレイ５０１および表示器５００へ導く。そして、表示器５００で反射された反射光は、偏光分離鏡５０２を透過して投射レンズ１０４ｃへ進行する。
【００４７】
上述したように、光源５０５からは時分割でＲ，Ｇ，Ｂのそれぞれの色の照明光が射出されるので、表示制御部１０１ａは、それぞれの色の照明光が射出されるタイミングで表示器５００に対応する色に応じた画像を表示させる。表示器５００に表示される色の切り替えは、たとえばカラーホイール方式であってもよいし、ＬＥＤ等の点灯によるものでもよい。この結果、画像を再現するために使用可能な表示画素の画素数を増やすことができる。なお、光源５０５から射出される照明光に含まれる離散的なＲ，Ｇ，Ｂの波長は、光位相共役鏡１０４ｆに対応するＲ，Ｇ，Ｂの３色の波長と一致している必要がある。
【００４８】
（３）ハーフミラー１０４ｄに代えて偏光分離ミラーと１／４位相板とを設けてもよい。この場合、偏光分離ミラーは、表示器１０４ａから投射レンズ１０４ｃを介して投射された光束のうち直線偏光の光を透過可能となる方向に配置される。さらに、１／４位相板は偏光分離ミラーに対してｚ軸方向＋側に配置され、偏光分離ミラーを透過した直線偏光の光を円偏光に変換し、光位相共役鏡１０４ｆへ導くようにすればよい。
【００４９】
（４）投射レンズ１０４ｃからの光束の幅が光位相共役鏡１０４ｆにより反射可能な光束の幅であれば、縮小光学系１０４ｅを設けなくてもよい。
【００５０】
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組み合わせて構成しても構わない。
【符号の説明】
【００５１】
１０１ 制御回路、 １０１ａ 表示制御部、
１０４ 表示部、 １０４ａ 表示器、
１０４ｂ マイクロレンズアレイ、 １０４ｃ 投影レンズ、
１０４ｄ ハーフミラー、 １０４ｅ 縮小光学系、
１０４ｆ 光位相共役鏡、 ２１１ 表示画素、
２２０ マイクロレンズ
【特許請求の範囲】
【請求項１】
二次元配置された複数の表示画素を含む表示画素群が複数個、二次元配置された表示手段と、
前記複数の表示画素群の各々に対応して二次元配置され、前記表示画素群を投影するマイクロレンズを複数個有するマイクロレンズアレイと、
三次元画像データに基づいて、前記表示画素を制御して前記三次元画像データに対応する光束を前記マイクロレンズアレイを介して投影させる表示制御手段と、
前記マイクロレンズアレイの近傍に配置され、前記マイクロレンズにより投影された前記三次元画像データに対応する光束を投射する投射光学系と、
前記投射光学系により投射された前記三次元画像データに対応する光束の進行方向を時間的に逆転させて位相共役光を生成する時間逆転手段と、
前記時間逆転手段により生成された前記位相共役光の進行方向を観察方向に反射する光反射手段と、を備えることを特徴とする三次元画像表示装置。
【請求項２】
請求項１に記載の三次元画像表示装置において、
前記表示制御手段は、異なる複数の撮影用マイクロレンズに対応して配列された複数の撮像画素から出力された複数の画像信号に基づいて、前記光束を射出する前記複数の表示画素の配列関係が、前記複数の撮像画素の配列関係と等価となるように、前記三次元画像データを生成することを特徴とする三次元画像表示装置。
【請求項３】
請求項１に記載の三次元画像表示装置において、
前記表示手段は、
反射型の表示素子と、
前記反射型の表示素子を照明するための照明光を射出する光源と、
前記光源からの照明光を反射して、前記反射型の表示素子へ導く偏光分離部材と、
前記偏光分離部材により反射された照明光によって、前記マイクロレンズの焦点面の位置で前記反射型の表示素子を一様に照明させる照明光学系とを含むことを特徴とする三次元画像表示装置。
【請求項４】
請求項３に記載の三次元画像表示装置において、
前記表示制御手段は、前記光源を制御して複数種類の単色光を時間分割で射出させ、前記反射型の表示素子を制御して前記単色光のそれぞれに同期した前記三次元画像データを表示させることを特徴とする三次元画像表示装置。
【請求項５】
請求項１乃至４の何れか一項に記載の三次元画像表示装置において、
前記投射光学系から投射された前記三次元画像の光束の広がりを縮小する縮小光学系をさらに備えることを特徴とする三次元画像表示装置。
【請求項１】
二次元配置された複数の表示画素を含む表示画素群が複数個、二次元配置された表示手段と、
前記複数の表示画素群の各々に対応して二次元配置され、前記表示画素群を投影するマイクロレンズを複数個有するマイクロレンズアレイと、
三次元画像データに基づいて、前記表示画素を制御して前記三次元画像データに対応する光束を前記マイクロレンズアレイを介して投影させる表示制御手段と、
前記マイクロレンズアレイの近傍に配置され、前記マイクロレンズにより投影された前記三次元画像データに対応する光束を投射する投射光学系と、
前記投射光学系により投射された前記三次元画像データに対応する光束の進行方向を時間的に逆転させて位相共役光を生成する時間逆転手段と、
前記時間逆転手段により生成された前記位相共役光の進行方向を観察方向に反射する光反射手段と、を備えることを特徴とする三次元画像表示装置。
【請求項２】
請求項１に記載の三次元画像表示装置において、
前記表示制御手段は、異なる複数の撮影用マイクロレンズに対応して配列された複数の撮像画素から出力された複数の画像信号に基づいて、前記光束を射出する前記複数の表示画素の配列関係が、前記複数の撮像画素の配列関係と等価となるように、前記三次元画像データを生成することを特徴とする三次元画像表示装置。
【請求項３】
請求項１に記載の三次元画像表示装置において、
前記表示手段は、
反射型の表示素子と、
前記反射型の表示素子を照明するための照明光を射出する光源と、
前記光源からの照明光を反射して、前記反射型の表示素子へ導く偏光分離部材と、
前記偏光分離部材により反射された照明光によって、前記マイクロレンズの焦点面の位置で前記反射型の表示素子を一様に照明させる照明光学系とを含むことを特徴とする三次元画像表示装置。
【請求項４】
請求項３に記載の三次元画像表示装置において、
前記表示制御手段は、前記光源を制御して複数種類の単色光を時間分割で射出させ、前記反射型の表示素子を制御して前記単色光のそれぞれに同期した前記三次元画像データを表示させることを特徴とする三次元画像表示装置。
【請求項５】
請求項１乃至４の何れか一項に記載の三次元画像表示装置において、
前記投射光学系から投射された前記三次元画像の光束の広がりを縮小する縮小光学系をさらに備えることを特徴とする三次元画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１１３９９７（Ｐ２０１３−１１３９９７Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５９４２９（Ｐ２０１１−２５９４２９）
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]