三次元画像表示装置
【課題】三次元画像の解像度バランスを改善し表示阻害を防止することを可能にする。
【解決手段】要素画像を表示する画素群を構成する画素がマトリックス状に配置される二次元画像表示装置14と、画素群に対応付けられた射出瞳を有し、画素群の画素からの光線を制御する光線制御子6と、を備え、光線制御子の射出瞳は略垂直方向に連続した構造をとり、画素はRGBのサブ画素から構成され、サブ画素は縦:横が3:1の縦長の形状を有し、射出瞳の連続した方向と、二次元画像表示装置の画素配列の列方向とのなす角度が、nを3の倍数と異なる自然数としたとき、arctan(1/n)で与えられ、三次元画像の水平解像度と垂直解像度との比が二次元画像表示装置の水平解像度と垂直解像度との比に一致するように構成されている。
【解決手段】要素画像を表示する画素群を構成する画素がマトリックス状に配置される二次元画像表示装置14と、画素群に対応付けられた射出瞳を有し、画素群の画素からの光線を制御する光線制御子6と、を備え、光線制御子の射出瞳は略垂直方向に連続した構造をとり、画素はRGBのサブ画素から構成され、サブ画素は縦:横が3:1の縦長の形状を有し、射出瞳の連続した方向と、二次元画像表示装置の画素配列の列方向とのなす角度が、nを3の倍数と異なる自然数としたとき、arctan(1/n)で与えられ、三次元画像の水平解像度と垂直解像度との比が二次元画像表示装置の水平解像度と垂直解像度との比に一致するように構成されている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元画像を表示可能な三次元画像表示装置に関する。
【背景技術】
【0002】
三次元画像表示技術は様々な分類が可能であるが、多眼式やホログラフィとインテグラル・フォトグラフィ方式(以下、IP方式という)のようにメガネなしで三次元画像を表示する場合、例えば、以下の構成を採用することがある。すなわち、二次元的に配列された複数の二次元画像表示用ピクセルが、三次元画像表示用ピクセルを構成し、その前面側に光線制御子を配置する。なお、この光線制御子には、三次元画像表示用ピクセルから一つの二次元画像表示用ピクセルの画像情報のみ取り出せるように設計された射出瞳が三次元画像表示用ピクセル毎に設けられている。すなわち、この光線制御子によって三次元画像表示用ピクセルを部分的に遮り、観察者が射出瞳を介して視認する二次元画像表示用ピクセルを観察位置毎に異ならしめることで、メガネを使用することなく三次元画像を視認することができる。
【0003】
さらにIP方式について詳細に説明すると、三次元画像表示用ピクセルに表示される画像を要素画像という。要素画像とは、射出瞳をピンホールに置き換えた場合に撮影されるピンホールカメラ画像に相当している。
【0004】
ただし、現状ではピンホールカメラの銀塩フィルムに比べて電子デバイスの解像度は低く、本明細書で扱う要素画像とは、撮影角度を異ならせた複数の二次元画像を構成する画素の集合体に過ぎない。すなわち、前述の構成によって、個々の三次元画像表示用ピクセルに表示された要素画像、すなわち複数の異なる方向から撮影した二次元画像(視差画像)の構成画素の集まりのうち、観察者の観察方向に一致した画素情報、すなわち実際に三次元像が存在した場合に見えるべき画素情報のみが視認される。
【0005】
多眼式とIP方式の相違は、電子デバイスの解像度の低さが原因で発生している。理想的には要素画像の撮影角度は連続しているべきだが、電子デバイスの解像度が不足していることから、離散的にならざるを得ない。この時に、射出瞳と画素を結ぶ線、すなわち射出瞳を経由して射出する光線同士が、視距離で集光するように設計されているのが多眼式、集光点を設けないのがIP方式である。
【0006】
2眼式は、各撮影位置で透視投影的に取得した二次元画像が眼間距離(ほぼ65mm程度)で離間した一対の点に集光するような設計を採用した三次元画像表示方式である。この設計によると、観察者は画面から観察視距離Lだけ離れた位置で、メガネを使用することなく右眼と左眼とで別々の像(2つの撮影位置で撮影した各二次元画像)を見ることができる。さらに、上記一対の集光点を水平方向に2つ以上並べると、観察位置を左及び/または右方向に移動させるのに応じて、左眼で観察される像及び右眼で観察される像の双方が切り替わる。したがって、観察者は、観察位置の移動に応じて三次元画像が変化する様子を確認することができる。
【0007】
他方、IP方式は、各撮影位置で撮影した二次元画像が一点に集光しないような設計を採用した三次元画像表示方式である。例えば、観察位置が表示面から無限遠だけ離れている場合を想定し、その場合に片眼で観察される画像が観察角度に応じて複数の撮影位置で撮影した各画像毎に切り替わるように設計する。典型的な例では、異なる射出瞳同士から射出する光線同士が平行になるように設計することにより、平行投影法で撮影した画像を用いて三次元画像表示用画像を作成することができる。
【0008】
このような設計によると、現実的には表示面から無限遠だけ離れた位置から観察することはないので、片眼で観察される二次元画像が何れかの撮影位置で撮影した二次元画像と等しくなることはない。しかしながら、右眼で観察される二次元画像と左眼で観察される二次元画像のそれぞれは、複数の方向から平行投影法で撮影した画像の足し合わせにより構成されることで、平均的にはその観察位置から撮像した透視投影法による二次元画像となる。このような構成により右眼と左眼で別々の像を見ることができ、観察者が知覚する三次元画像は、撮影された物体を何れかの方向から実際に観察した場合に認識される三次元画像と同等となる。すなわち、IP方式では観察位置を仮定していない。
【0009】
IP方式と多眼式、さらに眼間距離より短いピッチで集光点を設けた稠密多眼式について、二次元画像表示装置の非表示部が原因で発生する表示阻害の発生の違いについて説明する。
【0010】
前述した構成により、IP方式では視距離の一点から観察した場合に射出瞳を経由して見える画素の位置は不定である。すなわち、画素の観察される位置が射出瞳ごとに周期的に変化する。このため、IP方式においては、非表示部(画素境界)が見える射出瞳が画面内に周期的に分布することから、画面内の輝度変化として視認される。これに対し、多眼式の場合は視距離において集光する設計になっていることから、視距離の一点から観察した場合に全ての射出瞳から画素の同一位置が観察され、集光する画素数が1/nに低下することで集光点をn倍に増加した稠密多眼式の場合も、全射出瞳数の1/nの射出瞳からは画素の同一位置が観察される。すなわち、多眼式の場合は、全射出瞳から非表示部が完全に見えない、もしくは、全射出瞳から非表示部しか見えない状態が発生する。言い換えれば、IP方式では画面内に発生していた非表示部が原因の輝度ムラが、多眼式では観察者がいる空間における輝度分布ムラとして発生する。視距離において画素中心が見える射出瞳を1/nに減らし集光点をn倍に増やすことで、観察位置の水平方向への移動に対して常に一定の割合で非表示分が見えるように設計された稠密多眼式では、視距離上の空間における輝度変化は抑制されているものの、二次元画像表示装置の開口率や光線制御子の射出瞳(窓部)の開口率の制御をしないと輝度変化を完全に無くすことはできない(例えば、特許文献1参照)。
【0011】
IP方式、多眼方式、稠密多眼方式のいずれの方式においても、三次元画像表示用ピクセルを構成するために複数の二次元画像表示用ピクセルが用いられることから、再生される三次元画像の解像度は電子デバイスのオリジナルの解像度より低下する。この解像度の低下を抑制する目的で、立体感取得に有効な水平方向の視差情報だけ与える方法が既に検討されている(一次元IP方式、一次元多眼方式)。この場合、光線制御子の射出瞳は垂直方向に連続した形状とし、要素画像は水平方向にのみ展開される。すなわち垂直方向については視差情報を与えない。水平方向の解像度低下に関しては、LCD等の電子デバイスの画素配列に着目し、水平に隣接したRGBのトリプレットを1画素としてい
た従来の扱いから、縦に隣接したトリプレットで1画素として扱うことで、垂直方向の解像度を1/3に低下する代わりに水平方向の解像度を3倍に増加することが検討されている(例えば、特許文献2参照)。
【0012】
また、前述したように、解像度の低下の問題に加えて二次元画像表示装置の非表示部と光線制御子との作用で発生する非表示部が原因の表示阻害がある。これに関しては、特許文献1で、多眼式の三次元画像表示装置において、この表示阻害への対策と解像度バランスの改善を兼ねて、光線制御子を傾けることが提案されている。光線制御子を傾けることで、視距離において非表示部が観察される領域を空間的に分散し、輝度変化が抑えられる。しかしながら、電子デバイスの非表示部が縦ストライプ状ではなく格子状に形成されていることから、非表示部が原因の輝度変化を完全に抑制するためには、レンズを傾けるとともに厳密に二次元画像表示装置と光線制御子の射出瞳(窓部)の開口率を制御する必要がある。さらには、光線制御子を傾けることで、垂直解像度が水平解像度に割り振ることが可能なために、水平方向にのみ視差情報を与えることによる解像度バランスの悪化を改善する方法についても言及している。
【特許文献1】米国特許第6、064、424号明細書
【特許文献2】特開平10−253926号公報
【発明の開示】
【発明が解決しようとする課題】
【0013】
しかしながら、そのバランスは以下に示す理由から十分改善されているとはいえない。
IP方式または多眼式といった、複数の視差画像を観察できる領域を振り分けることで三次元画像を表示する場合には、その構成が原因で、用いた二次元画像表示装置の本来の解像度より三次元画像表示装置の解像度が低下し、かつ非表示部が原因で表示阻害が発生する問題がある。
【0014】
本発明は、上記事情を考慮してなされたものであって、最終的な解像度バランスを改善し、表示阻害を防止することのできる三次元画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明の一態様による三次元画像表示装置は、要素画像を表示する画素群を構成する画素がマトリックス状に配置される二次元画像表示装置と、前記画素群に対応付けられた射出瞳を有し、前記画素群の画素からの光線を制御する光線制御子と、を備え、前記光線制御子の前記射出瞳は略垂直方向に連続した構造をとり、前記画素はRGBのサブ画素から構成され、前記サブ画素は縦:横が3:1の縦長の形状を有し、前記射出瞳の連続した方向と、前記二次元画像表示装置の画素配列の列方向とのなす角度が、nを3の倍数と異なる自然数としたとき、arctan(1/n)で与えられ、三次元画像の水平解像度と垂直解像度との比が前記二次元画像表示装置の水平解像度と垂直解像度との比に一致するように構成されたことを特徴とする。
【発明の効果】
【0016】
本発明によれば、三次元画像の解像度バランスを改善し表示阻害を防止することができる。
【発明を実施するための最良の形態】
【0017】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、各図において、同様または類似する機能を有する構成要素には同一の参照符号を付し、重複する説明は省略する。
【0018】
本発明の一実施形態による三次元画像表示装置を、図面を参照して説明する。まず、三次元画像表示装置の一般的な構成を図24に示す。この図24に示す三次元画像表示装置は、例えば液晶パネルからなる二次元画像表示装置14と、光線制御子6と、を備えている。
【0019】
二次元画像表示装置14は、表示面内に位置が定められた画素が平面的にマトリクス状に配置されているものであれば、直視型や投影型の液晶表示装置やプラズマ表示装置や電界放出型表示装置や有機EL表示装置などであってもよい。光線制御子6としては、その概略垂直方向に延び概略水平方向に周期構造をもつスリットまたはレンチキュラーレンズが使用される。この場合、水平方向41にのみ視差があり視距離に応じて画像が変わるが、垂直方向42には視差がないために、観察位置によらず一定の画像が視認される。なお、図24において、符号43は観察者の単眼の位置を示す。
【0020】
本実施形態による三次元画像表示装置においては、二次元画像表示装置の表示面は、R(赤)、G(緑)、B(青)のサブピクセルがアレイ状に配置されている。なお、R(赤)、G(緑)、B(青)のサブピクセルは、カラーフィルタを表示面上に適切に配置することにより実現される。そして、本実施形態においては、図2に示すように、光線制御子6は、例えばレンチキュラーレンズ7からなっている。そして、このレンチキュラーレンズ7の長軸は、サブピクセル列に対して所定の角度θ(≠0)だけ傾いている。なお、図2においては、符号4はサブピクセルの開口部を示し、符号5はブラックマトリクスを示す。本実施形態においては、サブピクセルは、開口部4とブラックマトリクス5を含むものとする。したがって、サブピクセルは隣接して縦、横に配列されている。このサブピクセルは、縦と横のサイズの比が3:1となっている。
【0021】
以下、本実施形態において、レンチキュラーレンズ7の長軸を、サブピクセル列に対して所定の角度θ(≠0)だけ傾けた理由を説明する。
【0022】
水平解像度を増やすために、縦に並ぶR、G、Bからなる3つのサブピクセルを1画素として扱い、かつ光線制御子6を傾けた場合、表示される三次元画像の水平解像度Hおよび垂直解像度Vは、次の(1)式で示される。
H=Horiginal×3÷N÷a
V=Voriginal÷3×a ・・・ (1)
ここで、Horiginalは二次元画像表示装置の水平解像度、Voriginalは二次元画像表示装置の垂直解像度、Nは視差数、aは光線制御子を傾けることで垂直解像度が水平解像度に割り振られる割合を示す。
【0023】
よって、二次元画像表示装置の水平解像度Horiginalと垂直解像度Voriginalの比率を三次元画像表示装置でも維持しようとした場合、次の(2)式の関係を満たす必要がある。
Horiginal:Voriginal=(Horiginal×3÷N÷a):(Voriginal÷3×a)
すなわち、 3/(N・a)=a/3
したがって、 N=(3/a)2 ・・・ (2)
となる。
【0024】
次に、光線制御子を傾けることで、垂直解像度が水平解像度に割り振られる現象について説明する。図1に、二次元画像表示装置の画素に対する光線制御子のさまざまな傾きを示す。なお、図1において、符号3は二次元画像表示素子上に焦点を一致させた光線制御子7の略垂直方向に連続する射出瞳の一つを介して単眼で観察される領域を示す。観察位置の移動に応じて、この符号3で示された領域は水平方向にシフトする。従来の場合のように光線制御子の射出瞳が、上記画素と同様に垂直に連続した形状の場合には、光線制御子7の射出瞳の一つを経由してその中心が観察される(符号3で示された領域にその中心が一致する)画素は、一列の画素すべてかそれとも全く無いかのみであり、観察者の移動に応じて符号3で示された領域が移動することによる二状態が切り替わる周期はサブピクセルの水平幅に一致していた。これに対し、光線制御子7を傾けることで、符号3で示された領域と画素中心が一致できる画素数が減少するとともに、観察者の移動に応じて符号3で示された領域が移動した場合、画素中心が一致する画素が出現する周期はサブピクセルの水平幅より短くなる。さらには画素の中心が選択されると同時に必ず水平方向に隣接するサブピクセル同士の境界部分である非表示部も同時に符号3で示された領域に存在するようになる。図1ではサブピクセル2の横3列に対し、縦4行、5行、6行の割合で傾けた例が示されている。縦4行の場合は3行おきに、5行の場合は4行おきに、6行の場合は1行おきに、符号3で示された領域と画素の位置関係が同一になっている。すなわち、符号3で示された領域に対する相対位置が同一の(略垂直方向に連続する射出瞳の一つを介して観察される箇所が同一の)画素が1/4、1/5、1/2に減少している。一方、水平方向に関しては、光線制御子が画素に対して垂直だった場合に比較して、1/4サブピクセル幅、1/5サブピクセル幅、1/2サブピクセル幅の周期で、符号3で示された領域に対して画素中心が一致する画素が出現する。すなわち、水平解像度が4倍、5倍、2倍に増加する。このような解像度を横解像度に振り分ける効果と非表示部が原因で発生する表示阻害防止対策については、特許文献1に詳細が述べられている。
【0025】
以上のように、光線制御子を傾けることで垂直解像度を水平解像度に割り振ることができるが、サブピクセルピッチで視差画像を配分する場合、その振り分けの程度については、サブピクセル2の形状が影響する。二次元画像表示装置として用いられる例えば液晶表示装置は、RGBの三つのサブピクセルで正方形のピクセルを構成するように設計され、かつ、文字などの縦の直線を多く表示するような設計では、縦ストライプ配列のカラーフィルタを用いる場合が多いことから、そのサブピクセルの形状は、図1に示したような垂直:水平=3:1の比率になっている。三次元画像表示装置において水平解像度を増加させるために、水平方向に隣接した3つのサブピクセルではなく、異なる3行に分散した3つのサブピクセル2で一つの画素として扱う場合、光線制御子の稜線の傾きθを
θ=arctan(1/n) ・・・ (3)
とした場合に、符号3で示された領域に対して画素中心が一致する画素が出現する周期がサブピクセル幅の1/nとなることでサブピクセル単位での水平解像度がn倍になると同時に、この1/n周期で符号3で示された領域と中心が一致した、水平方向に隣接したRGBの3サブピクセル(垂直方向には一致しない)で1ピクセル(トリプレット)を構成することから、垂直解像度が水平解像度に振り分けられる割合aは、
a=3/n ・・・ (4)
で与えられる。つまり、本発明の3次元画像表示時のトリプレットは、RGBサブピクセルの観察可能位置が微妙にずれている(符号3で示された領域とRGBの3つのサブピクセル中心が同時に一致することがない)。よって、以下、本明細書では、略一致する、と表現する。実際は符号3で示された領域と画素中心が一致していない状態でも画素の一部は射出瞳を経由して視認されることから、この略一致したRGBサブピクセルが同時に見える領域は存在する。よって、図1の場合は、θ=arctan(1/4)、arctan(1/5)、arctan(1/6)となり、垂直解像度が水平解像度に振り分けられる割合aは、a=3/4、3/5、1/2となる。
【0026】
よって、(3)式で光線制御子の傾きを与えると同時に前述の(2)式を満たすようにnとNの関係を満たすことで、水平方向と垂直方向の解像度の低下の割合を一致させることができる。すなわち、Nとnが次の関係
N=n2 ・・・ (5)
を満たすように設計すればよい。
【0027】
自然数nそれぞれに対する、視差数N、垂直解像度が水平解像度に割り振られる割合a、レンズの傾き角θ、要素画像サイズを図25に示す。この図25から分かるように、サブピクセル2の形状が原因で、N=9(n=3)の場合は、縦解像度を横解像度に振り分ける効果と、非表示部が原因で発生する表示阻害防止効果が得られない。
【0028】
(5)式の関係を満たすように視差数Nを定めた例を、QUXGAパネル(水平解像度Hが3200で垂直解像度Vが2400であるパネル)で説明する。
(3200×3÷16÷a):(2400÷3×a)=800:600
すなわち、 a=3/4 →SVGA
(3200×3÷25÷a):(2400÷3×a)=640:480
すなわち、 a=3/5 →VGA
【0029】
すなわち、視差数と傾きを(2)〜(4)式で制御することで、表示される三次元画像の解像度を従来の二次元画像表示における一般的な解像度に一致させることができた。
【0030】
以下、特許文献1との違いと本実施形態との差異について詳細に説明する。
【0031】
まず、特許文献1では、SVGAパネル(解像度:800(H)×600(V))において、3、5、6、7といった比較的少ない視差数を、θ=arctan(1/n)、n=6、9、12といった傾きで振り分けている(図3参照)。このため、本実施形態の計算方法((1)〜(4)式)を用いて計算すると、水平解像度が非常に多くなる。例えば、6視差をθ=arctan(1/6)で与えた例があるが(図2参照)、(4)式よりn=6、(3)式よりa=1/2となる。すなわち、この傾きが垂直解像度を水平解像度に振り分ける割合aが1/2であることから、
a=1/2
すなわち、(800×3÷6÷a):(600÷3×a)=800:100
と、非常に水平解像度が高い結果となる。同様に、5視差をθ=arctan(1/6)で、7視差をθ=arctan(1/6)で与えた場合は以下で与えられている。
a=1/2
すなわち、(800×3÷5÷a):(600÷3×a)=960:100
a=1/2
すなわち、(800×3÷7÷a):(600÷3×a)=685:100
【0032】
なお、特許文献1中では480×200、342×200と上記計算とは異なる値になっている。この理由としては、特許文献1では、光線制御子を経由して視認された状態でRGBの各サブピクセルが略正方画像になる設計を採用している(図5参照)ことがあげられる。なお、図5において、符号9は、三次元画像表示用サブピクセルを示す。そして、特許文献1では、これらの光線制御子を経由して視認された状態で略正方画素になっているRGBサブピクセルのうち、比較的近い位置にあるRGBの3つのサブピクセルをグルーピングして1画素と扱うことを提言している。このような扱いをしたとしても、480×200、または342×200という水平解像度と垂直解像の比はこの特許文献1独特の解像度バランスであり、一般的な画素形状である、RGBトリプレットの正方画素から三次元画像が構成されていない。
【0033】
本実施形態による三次元画像表示装置は、この特許文献1とはこの点で全く異なる。本実施形態においては、RGBのトリプレットで正方画素として視認されることを目的としている。すなわち、(2)〜(4)式に従って傾きと視差数の関係を定義し、光線制御子を経由して視認された画像の構成画素のRGBトリプレットが略正方形となるような設計である(図4参照)。なお、図4において、符号8は三次元画像表示におけるピクセルを示す。
【0034】
これを実現するためのピクセルマッピングについて、前述したQUXGAにおいてN=16の場合を、図6(a)、(b)を参照して説明する。図6(a)は、レンチキュラーシート7の傾きをarctan(1/4)とした際の、カラーフィルタがストライプ配列された二次元画像表示装置への視差画像の配置を示し、図6(b)は、複数の要素画像の相対位置を示す図である。なお、図6(a)、(b)において、符号10は視差番号を示し、符号11は三次元画像の構成単位である単一画素に相当する射出瞳とこれに対応した要素画像が表示される範囲を示す。(2)〜(4)式で視差数(N=16)と光線制御子の傾き角(θ=arctan(1/4))が決まる。この結果、三次元画像表示用ピクセルは4行×4画素(トリプレット)列(=12サブピクセル行)の平行四辺形(略正方形)に定まる。この中で、3/4(=a)の採択率を満たすように、RGBサブピクセルを異なる行に渉ってマッピングする。つまり、光線制御子の傾きが無かった場合に3行(=RGB)×(5+1/3)画素(トリプレット)列(=16サブピクセル行)=48サブピクセルから構成されていた三次元画像表示用ピクセルが、この合計のサブピクセル数を維持しながら略正方形の形状にすることができた。
【0035】
次に、三次元画像表示用ピクセルを略正方形にすることで得られる効果を説明する。光線制御子を傾ける効果を用いない場合、水平/垂直解像度は次の設計になる。
H(3200×3÷16)×V(2400÷3)=H(600)×V(800)
【0036】
QUXGAパネルの外形が水平:垂直=4:3であることから、水平/垂直解像度(画素数)が4:3であれば、水平/垂直方向のサンプリング間隔は同一となり、三次元画像表示時の画素形状は正方形になる。ここで、三次元画像表示用ピクセルとは、具体的には、複数方向から取得(撮像/作成)した視差画像から構成された視差画像の集合である要素画像が表示される領域を指す。従来のH(600)×V(800)という三次元画像用ピクセル数では、水平/垂直方向のサンプリング間隔が異なっている(三次元画像表示時の画素形状が正方形でない)ことから、例えばH(3200×3)×V(2400)の解像
度で視差画像を作成し、これから不要な画素情報を除き、H(600)×V(800)の低解像度の視差画像にしてから要素画像を合成していた。
【0037】
本実施形態では、この無駄に着目し、水平/垂直画素数を画面サイズの比率を反映、水平/垂直方向のサンプリング間隔を同一にし、三次元画像表示時の画素形状を略正方形とすることで三次元画像表示用ピクセルの解像度で視差画像を取得できるようにした。すなわち、QUXGAで16視差の三次元画像表示素子の場合はSVGA、25視差の場合はVGAの視差画像を取得し、これをマッピングすることで要素画像を作成できるようにした。この場合、取得された視差画像情報の使用されない(除かれる)画素情報はない。このように三次元画像表示用ピクセルを正方化することで、3D−CG(三次元画像コンピュータグラフィック)コンテンツ作成における高速化と、実写の場合のカメラの解像度の低下が可能になる。
【0038】
さらに、三次元画像表示の解像度を従来の解像度に一致させたことによる副次的な効果として、三次元画像表示装置において二次元コンテンツを表示するような場合の取り扱いが容易になることがあげられる。三次元画像表示装置であるとはいえ、二次元画像コンテンツを表示する場合は容易に想定される。三次元画像表示における二次元コンテンツの表示は、簡便には要素画像内を同一視差情報にする(観察位置に関わらず、常に同じ画像が見える)ことで達成される。すなわち、QUXGAパネルを用いた三次元画像表示装置において、16視差の場合はSVGA、25視差の場合はVGAの2D(二次元画像)コンテンツが入力された場合、二次元画像情報を三次元画像表示用ピクセル内に単純に16倍または25倍にして展開することでそのまま二次元画像を表示することができる。
【0039】
さらには、これ以外の解像度の二次元画像コンテンツが入力された場合も、二次元画像の一般的な解像度同士に変換する技術自体は既に一般化されていることから、三次元画像表示装置自体が既存の解像度に設定されていれば、この解像度に是正した上で入力、展開すれば良い。また三次元画像の解像度が既存解像度そのものではなく、そのx倍、または1/y倍(x、y:整数)に設計されたとしても、従来の解像度のデータを単純にx倍に展開、または1/y倍に圧縮または間引きすれば対応できることから、三次元画像表示解像度を、従来解像度の整数倍、または整数分1の解像度に設計しておくことは、画像処理の負荷を低減する効果がある。
【0040】
また、各種の方式の三次元画像表示装置が存在する場合を想定すると、従来の二次元画像の解像度がフォーマットとして利用される可能性が高く、このような将来の展開を踏まえたうえでも、三次元画像表示装置の表示解像度を従来の二次元画像表示における解像度、または従来の二次元画像表示における解像度の整数倍、または整数分の1の解像度に設計しておくことは大きな意味がある。
【0041】
三次元画像表示用ピクセルを正方化することで視認される画面のイメージ図を図7に示す。図7(a)は、レンチキュラーシート7の傾きをarctan(1/4)にした際の、カラーフィルタがストライプ配列された二次元画像表示装置上への要素画像の一部の配置を示す図であり、図7(b)はこれと組み合わせるレンチキュラーシート7の一部の外観を示している。要素画像11はほぼ正方形となり、これにレンチキュラーシート7を組み合わせて三次元画像表示用の1画素を構成する。この三次元画像表示用の一画素には、図6のピクセルマッピングで16視差の情報が含まれており、観察位置に応じてレンチキュラーシートを経由して視認された視差画像番号が変化することで立体視を実現する。
【0042】
次に、複数の方向から取得した視差画像の配置方法を、図8を参照して説明する。図8は、光線制御子6の傾きをarctan(1/4)にした場合の、異なる複数の方向から水平方向については平行投影法、垂直方向については透視投影法により低解像度で取得した視差画像を構成する画素情報の、三次元画像表示装置の各画素への割り振りを示す図である。
【0043】
図8において、符号8はレンチキュラーシート越しに観察した三次元画像表示用ピクセルを示し、符号12はある方向から800(H)×600(V)の解像度で取得した視差画像を示し、符号13は視差画像である二次元画像を構成するRGBの3サブピクセルからなるピクセル(トリプレット)を示す。複数の方向から取得した視差画像12を構成するRGBトリプレット13を、図8に示した各三次元画像表示用ピクセル8を構成する要素画像の中の一つの視差画像としてマッピングする。対応関係は図8の矢印で示した。三次元画像表示における一画素が平行四辺形になっていることから、三次元画像表示用ピクセル8の4行毎に、三次元画像表示ピクセル1画素分だけ左にシフトすることで、視差画像情報と対応させる。このずれは800×400の三次元画像表示解像度における1画素分のシフトであり、三次元画像表示の解像度が十分高くなれば、気にならない程度に抑えられる。
【0044】
ここでは単一の視差画像情報について述べたが、複数の方向(ここでは16方向)から取得した800(H)×600(V)の解像度の視差画像を、図8→図6に従って割り付けることで、全ての三次元画像表示用ピクセルに対応した要素画像を作成することができる。
【0045】
図6ではストライプ配列のカラーフィルタを前提にピクセルマッピングを示したが、他のカラーフィルタ配列についてもマッピングが可能である。カラーフィルタ配列がモザイク配列である二次元画像表示装置上への視差画像の配置を図9に示し、複数の要素画像の配置を図10に示す。カラーフィルタ配列については基準視差数とカラーフィルタの相関で発生する色モアレやその他の表示性能を考慮して最終的に最適な配列が決められる。例えば、本発明の構成では、射出瞳の水平ピッチがサブピクセル幅の3の倍数になることから、ストライプ配列のカラーフィルタを用いたデバイスを二次元画像表示装置として用いた場合、水平方向に同色が並ぶ(色モアレの一種)。よって、三次元画像表示装置としての解像度が十分高くない場合は、この水平なRGBの縞が気になるようなケースも発生する。この場合は、モザイク配列を採用するとよい。ストライプ配列、モザイク配列以外のカラーフィルタ配列を採用した場合も、それ相応のマッピングをする必要があるが、いずれにしても、RGBのトリプレットを異なる行にマッピングし、このトリプレットがレンズ越しにほぼ同時に視認できるように設計すればよい。
【0046】
さらには、基準視差数(N)が25の場合、すなわち、光線制御子の傾きをarctan(1/5)にした場合の、ストライプ配列のカラーフィルタが用いられる二次元画像表示装置への視差画像の配置を図11(a)に、複数の要素画像の相対位置を図11(b)に、複数の要素画像の配置を図12に示す。また、光線制御子の傾きをarctan(1/5)にした場合の、モザイク配列のカラーフィルタが用いられる二次元画像表示装置への視差画像の配置を図13に、複数の要素画像の配置を図14に示す。
【0047】
ところで、特許文献1でも述べられているように、光線制御子の傾きが小さくなると視差画像間のクロストークが増えるという問題がある。これは、特許文献1で示されているような小さな角度(θ=arctan(1/n)、n=6、9、12;図3参照)で特に顕著になる。
【0048】
クロストーク量について、図15乃至図18を参照して説明する。図15は、傾きが零、すなわち射出瞳が垂直な光線制御子を介して視認される視差番号を示す図である。なお、図15において、符号15は射出瞳を介して視認される視差番号の割合を示す。例えば、マトリクス状に形成された画像表示装置の前面に配置されたレンチキュラーシートを構成する複数の蒲鉾型(円柱を長軸方向に切断し、切断面と等しい側面を有する立方体と張り合わせた形状)レンズのうち、単一のレンズの射出瞳の焦点位置を破線で示した。ここでも画像表示装置の二次元画像表示用サブピクセルの幅はサブピクセルの高さの1/3に設計されており、3サブピクセルで正方形のトリプレットを形成する。各サブピクセルの中に記載された番号10は視差画像番号である。レンチキュラーシートはその焦点距離の位置に画素がマトリクス状にに設けられた二次元画像表示装置が位置するように設計されることにより、二次元画像表示装置上の破線(焦点位置)の幅は無限小と仮定する。図15に示したように、レンチキュラーレンズが垂直(傾きが零)だった場合、単一の射出瞳からは単一の番号の視差画像のみが視認される。または、符号3で示された領域が水平方向に隣接したサブピクセル間の垂直な画素境界に一致した場合、視差画像は全く視認されない。
【0049】
一方、レンチキュラーレンズの傾きがθ=arctan(1/6)の場合の、光線制御子の射出瞳を介して視認される視差番号を説明するための図を図16に示す。単一の射出瞳を経由して最小でも2視差、最大で3視差の視差画像を同時に視認することになる。以後、本来見るべき視差画像を主視差、同時に見えてしまった他の視差画像を隣接視差と呼ぶ。
【0050】
視差画像の見え方の相違を裏付ける実験結果として、図15に示す配置を採用したIP式三次元画像表示装置では、飛び出し/奥行き量が大きすぎるコンテンツが二重像に見えるのに対し、図16に示す配置ではぼけとして視認され、さらには、そのぼけの幅が図15の場合の二重像のずれ幅より広かったことがあげられる。これは、飛び出し/奥行き量の大きなコンテンツでは、視差画像間の相違が大きいことから、主視差と同時に隣接視差を見ることで発生するクロストークが認識し易いためである。図15の構成では、本来単一視差番号しか見えないはずであるが、我々の作成した実機ではレンズは多少なりともデフォーカスしており、符号3で示された領域が境界と一致した場合に両側の視差画像を視認する。つまり、主視差画像とともに隣接視差画像を見える場合がある。この主視差画像と同時に視認された隣接画像が原因で二重像が視認された。
【0051】
一方、図16の構成では、符号3で示された領域は画素を斜めに横切っており、これは主視差画像と隣接視差画像が単一射出瞳を経由して滑らかに切り替わって見えることを意味する。それと同時に、単一射出瞳を経由して見える隣接視差画像が図15に比較して多い。すなわち、隣接視差画像による影響は図15の二重像とは異なり、ぼけとして視認されるとともに、ぼけの範囲は視認される隣接視差画像の多さが原因で図15の場合より広くなったとして理解できる。
【0052】
このように、レンチキュラーレンズが斜めに設定されることで、クロストーク量が増えることに加え、クロストークがぼけとして視認される特徴がある。そしてクロストークの発生はコンテンツの飛び出し/奥行き表現領域を制限してしまう。このため、特許文献1中では比較的傾きの小さなn=6、すなわち選択率が1/2の例を積極的に述べている。
【0053】
本実施形態のθ=arctan(1/4)、θ=arctan(1/5)の場合の光線制御子を介して視認される視差番号を示す図を図17、18にそれぞれ示す。図17に示すように、θ=arctan(1/4)の場合は、クロストークとして見える視差画像は3視差と、θ=arctan(1/6)の場合と同一だが、同時に視認される複数の視差画像の中で主視差画像の占める割合が高いことが分かる。図18に示すように、θ=arctan(1/5)の場合は、クロストークとして見える視差画像は3視差だが、この場合も主視差画像の占める割合は1/2以上を占めることが分かる。すなわち、これらの傾き、すなわちθ=arctan(1/4)、θ=arctan(1/5)の場合においては、クロストークは発生するものの、主視差画像以外の隣接視差画像の混入する割合が低くなることから、ぼけは低減され、飛び出し/奥行き表現領域を広げる効果がある。
【0054】
以上述べたように、これらの傾き(θ=arctan(1/4)、またはarctan(1/5))を初め、mを整数としたときθ≠arctan(1/3m)は、これまでの非表示領域が原因の表示阻害防止以外に、水平垂直解像度の比率を保持、三次元画像表示時の画素形状を略正方形にするとともに、要素画像作成時の無駄を省き、かつ二次元画像表示における既存の解像度を考慮することで、コンテンツの流用を容易にし、さらには、奥行き/飛び出し方向の表示可能範囲を広げるといった、複数の新たな効果をもたらす新規な定義である。また特許文献1の概念ではサブピクセル幅の1/2〜1/4倍のピッチで水平解像度を刻む(水平解像度を2〜4倍、垂直解像度を1/2〜1/4倍とする)のに対して本実施形態では、行を違えた3つのサブピクセルを同一視差画像に選択することで、3/4倍、または3/5倍といった、1/m倍でないピッチで水平解像度を刻むという手法は全く新規のものである。さらには、a≠1/3mの中でも、特にa=3/4、3/5の2値については1/2以上の値であることから、隣接視差画像の混入の割合が低くなり、よりクロストークが抑制されたクリアな視差画像が視認させることができる。
【0055】
モアレ対策としてレンズを傾けることは効果があることは既に詳細を述べた。さらに述べるなら、LCD(液晶)パネルについてはそのCs線(補助容量線)がサブピクセル画素の中央相当を左右に横切るように設定されているとモアレの抑制に効果的である。これは、Cs線(補助容量線)によりサブピクセルが上下に二分されて開口中心部が二倍になることにより、これまでに述べた内容を応用すると、光線制御子の射出瞳を経由して観察される開口中心の発生周期が短くなるために、画素の非表示部が原因で発生する輝度低下の分布がIP方式では画面内で、多眼式では空間内でより均一化できるためである。
【0056】
また、IP方式の場合、視域を最大に確保するためには、基準視差数+1の列で構成した要素画像を離散的に分布させる必要があるが(例えば、本出願人による特許出願(特願2002−382389号)参照)、本実施形態の傾きのレンチキュラーシートとこの手法を組み合わせて適用することが可能である。
【0057】
また、以上では要素画像作成の際の視差画像情報取得の効率化を目的に図8に示したように、視差画像のマッピングを推奨したが、図8における4行毎の三次元画像表示ピクセル1ピクセル幅相当の水平方向のシフトによる画像劣化を避けるためには、三次元画像表示時のピクセル配置を維持した二次元画像を取得すればよい。すなわち、800(H)×600(V)の解像度であるものの、その画素中心が正方マトリクスではなく、図8と同等のθ=arctan(1/4)の傾きの平行四辺形のマトリクス上に配置した視差画像を用いることで、上記の画像劣化を完全に防ぐことができる。これは、実写については実写に用いるカメラの、3D−CGの場合は、画像取得の際に仮定するカメラの画素配列を図8の三次元画像表示時の三次元画像表示用ピクセル配列に一致させることで容易に実現することができる。
【0058】
さらに、正方配置の二次元画像情報から、平行四辺形マトリクス配置の画像データを改めて作成しなおす方法も適用可能である。正方格子上のデータとして取得した複数方向から取得した二次元画像情報を、三次元画像表示用の平行四辺形格子上に中心座標が位置する三次元画像表示用画像に組み入れる場合に、これまでに述べたように、最近傍の画素を選択し、整数値を取らず実数値を取る方法が、画像補間処理でいうニアレストネイバー法であるとすると、正方格子上のデータのうち水平に隣接した二画素(平行四辺形格子なので)から、平行四辺形格子の座標(実数値)に応じて線形の濃度補間を行う、バイリニア法を適用することも考えられる。同様にバイキュービック法の適用も考えられる。しかしながら本提案では、まず、画像データを再構成しないで済むというメリットを考慮し、ニアレストレイバー法に相当する技術を提案するものである。画像データの再構成の負荷と画質のバランスによっては、バイリニア法、バイキュービック法的三次元画像表示用データ作成も選択可能である。
【実施例】
【0059】
以下、本発明の実施例について説明する。
(実施例1)
本実施例1では、図19に示した構造の多眼式三次元画像表示装置を作製した。二次元画像表示装置14は液晶表示装置であって、その前面に光線制御子6が設けられ、後面にバックライト16が設けられた構成である。
【0060】
具体的には、本実施例1では、液晶表示装置として、QUXGA−LCDパネル(画素数3200×2400、画面サイズ480mm×360mm)を使用した。この液晶表示装置14において、赤、緑、青色の3種のサブピクセルは独立して駆動可能である。また、赤、緑、青色の各サブピクセルの横方向の長さは50μmであり、縦方向の長さは150μmである。また、カラーフィルタ配列はストライプ配列を使用した。なお、通常の二次元画像表示装置では、横に並んだ赤、緑、青色の3つのサブピクセルで1つの画素(トリプレット)を構成するが、本例ではこの制約を解いて用いた。
【0061】
光線制御子6は、液晶パネルの画素位置がほぼ焦点距離になるように設計したレンチキュラーレンズを用いた。レンズの水平ピッチはサブピクセル幅の12倍の600μmより若干狭くし、視距離1.0mで眼間距離の1/2ピッチ(=32.5mm)で16箇所に集光する設計とし、視距離における視域を画面幅相当とした。レンズは垂直から約14.0度ずらして設置した。
【0062】
次に、画像作成方法について述べる。それぞれの集光点の位置から(CGの場合は仮想の)カメラで透視投影法により視差画像16枚(解像度:800(×RGB)×600)を取得した。そして、図6のマッピングに従い、取得した全ての画像情報(800×RGB×600×16視差情報)をQUXGAパネルにマッピングした。三次元画像表示ピクセルの4行毎に左に1列シフトさせることで、列情報を維持した。ただし、図20に示したように、4n+1、4n+2行については左端の要素画像が、4n+3、4n行については右端の要素画像について、視差情報が欠落する(マッピングできない)部分ができた。例えば1〜5視差画像については、4n+1行の左端の要素画像を構成するための1列1行のデータは破棄することになった。6視差画像情報については要素画像における視差画像番号6が配分されたサブピクセルの色に応じた1サブピクセル情報のみ、7視差目については同様に2サブピクセル情報のみマッピングし、8視差画像情報以降は全てマッピングした。
【0063】
以上のように画像情報をマッピングし、前述のレンズを組み合わせて観察したところ、視距離1,0mをはじめその前後で多眼式の立体画像を視認することができた(眼間距離の1/2で集光させているので、視距離の前後にも立体視できる領域が発生した)。この多眼式三次元画像については、レンズを斜めにしたことにより、縦横解像度バランスが改善されたとともに、空間周波数が300cpr前後のコンテンツについては表示面の前後の最大±5cm程度の奥行き表示が可能となった。また、非表示部が原因の、観察位置の移動に伴う画面輝度変化は認められたものの、画面内の輝度ムラの発生(モアレ)は抑制されていた。
【0064】
(実施例2)
本実施例2では、図19に示した構造のIP式三次元画像表示装置を作製した。光線制御子の射出瞳のピッチが、画像表示装置のサブピクセルピッチの整数倍に設計することにより、多眼式とは異なり、視距離に集光点が発生させないようにした。以下、実施例1との相違点について記載する。
【0065】
レンズの水平ピッチはサブピクセル幅の4倍の600μmとし、視域が±15度になるように設計した。これにより、視距離1.0mで画面幅相当の視域(偽像が混入しないで観察できる領域)を確保することができる。レンズの傾きは約14.0度とした。視距離において、画面中央に注視点を設定し、(CGの場合は仮想の)カメラで水平方向が平行投影、垂直方向が透視投影法による視差画像28枚を取得した。視距離に集光点を設けないために、視距離から取得した透視投影画像を用いることができないIP方式において、その視距離で視域を最大化しようとした場合、視距離に集光点を設ける多眼式より視差画像取得数(画像取得カメラ位置)は多くなる。隣接する射出瞳同士で光線が平行になるようにした本実施例においても、基準視差数(=16)に対し、取得する平行投影視差画像(カメラ画像)数が多くなる。詳細は本出願人による特許出願(特願2002−382389号参照)。ここでは、視差画像は800(×RGB)×600の解像度で28方向より取得した。そして基本的には図6に示すマッピングに従い800×RGB×600×28視差情報をマッピングした。ただし、視差を考慮したIP方式では各要素画像からの画像情報が視域内で観察できるようにするために、離散的に(基準視差数+1)視差の要素画像を挟むことで、擬似的に要素画像幅>射出瞳ピッチ、の設計にすることができる。図21に一例を示す。視差画像番号1〜16からなる図21のマッピングを複数回繰り返した後、視差画像番号1〜17からなる図22のマッピングが発生する。その後、また図21と同じ面積だが、視差画像番号2〜17からなる要素画像が繰り返されるが、要素画像の形状は図21と若干異なる(図23参照)。
【0066】
また、IP方式であるがゆえ、28枚の視差画像を全て等しい解像度800(H)×600(V)で取得すると、使用しない画像情報が本質的に発生してしまう(詳細は、本出願人による特許出願(特願2002−382389号)参照)が、これに加えて実施例1同様、画面端の要素画像について視差情報を破棄する個所がある(図20参照)。
【0067】
以上、多眼式に比べて若干複雑ではあるが、800×600の画像情報をマッピング、前述のレンズを組み合わせて観察したところ、視距離1mを基準とした視域内でIP式の立体画像を視認することができた。このIP式三次元画像については、縦横解像度バランスが改善することで画質が向上するとともに、最大、表示面の前後±5cmの奥行き表示が可能となった。また、非表示部が原因で発生する画面内の輝度ムラ(モアレ)が観察されないとともに、観察位置に依存した輝度変化も完全に抑制された。また、視距離で集光点がないIP方式の特徴である滑らかな運動視差も実現された。
【0068】
(実施例3)
本実施例3では、実施例2とほぼ同様だが、基準視差数を25と増やした設計を採用した。光線制御子は、液晶パネルの画素位置が焦点距離になるように設計したレンチキュラーレンズを用いた。レンズの水平ピッチはサブピクセル幅の15倍の750μmとし、傾きを約11。3度とした。
【0069】
視距離において、画面中央を注視点を設定した(CGの場合は仮想の)カメラで垂直、水平とも平行投影法により視差画像44枚を取得した。この視差画像の解像度は640(×RGB)×480とした。基本的には図8のマッピングに従い640×RGB×480×25視差情報をマッピングした。図12に示したように、三次元画像表示ピクセルの5行毎に三次元画像表示ピクセル幅だけ左にシフトさせて列情報を維持した。また、5n+1、5n+2行については左端の2つの要素画像が、5n+3に関しては両端の、4n+4、5n行については右端の2つの要素画像が、視差情報が欠落する(マッピングできない)部分ができた。
【0070】
以上、多眼式に比べて若干複雑ではあるが、640×480の画像情報をマッピング、前述のレンズを組み合わせて観察したところ、視距離1.0mを基準とした視域内でIP式の立体画像を視認することができた。このIP式三次元画像については、縦横解像度バランスが改善することで画質が向上するとともに、最大、表示面の前後±15cmの奥行き表示が可能となった。また、非表示部が原因で発生する画面内の輝度ムラ(モアレ)が観察されないとともに、観察位置に依存した輝度変化も完全に抑制された。また、視距離で集光点がないIP方式の特徴である滑らかな運動視差も実現された。
【0071】
(実施例4)
本実施例4では、実施例2とほぼ同様だが、カラーフィルタ配列がモザイクの表示パネルを採用した。以下、実施例2との相違点について記載する。
【0072】
800(×RGB)×600の解像度で取得した28の視差画像について、図9に示すマッピングに従い800×RGB×600×28視差情報をマッピングした。IP方式では各要素画像からの画像情報が視域内で観察できるようにするために、離散的に(基準視差数+1)視差の要素画像を発生させた。これにレンズを組み合わせて観察したところ、視距離1mを基準とした視域内でIP式の立体画像を視認することができた。
【0073】
このIP式三次元画像については、縦横解像度バランスが改善することで画質が向上するとともに、最大、表示面の前後±5cmの奥行き表示が可能となった。また、非表示部が原因で発生する画面内の輝度ムラ(モアレ)が観察されないとともに、観察位置に依存した輝度変化も完全に抑制された。また、視距離で集光点がないIP方式の特徴である滑らかな運動視差も実現された。さらには、モザイク配列のカラーフィルタを採用したことから、レンズ越しに観察されるRまたはBまたはGがより分散され、RまたはBまたはGとして視認される領域が連続することによる表示阻害が抑制される傾向があった。
【0074】
(比較例1)
実施例1と同様の多眼式三次元表示装置において、レンズの傾きを9。5度と特許文献1相当に変更、これに応じてレンズの水平幅は16サブピクセルの1/2である、8サブピクセル幅相当の400μmとし、これに応じたマッピングも特許文献1と同様に実施した。この設計においては三次元画像の解像度は以下のようになった。
a=1/2
したがって(3200×3÷16÷a):(2400÷3×a)=1200:400
【0075】
すなわち、垂直解像度に比較して水平解像度が高い状態となった。よって、H(1200)×V(900)の視差画像を取得、水平情報を4/9の割合で取得(5/9を破棄)して画像情報をマッピングした。すなわち、無駄な視差画像情報の取得する分、画像作成に時間を要し、また複数方向から取得した各視差画像データを一時保存するためのメモリの容量もより大きなものを必要とした。また、表示された画像の解像度のバランスが悪く、水平情報に比較して垂直情報が乏しい印象を与えた。また、クロストーク量が実施例に比較して多く、表示面の前後±3cmの奥行き表示に抑制された。また、既存の解像度のコンテンツを表示する場合に、H(1200)×V(400)の解像度に直す必要が生じ、汎用性に乏しいデバイスとなった。
【0076】
(比較例2)
実施例2と同様のIP式三次元表示装置において、レンズの傾きを18.4度とした。
この傾きの場合、垂直解像度を水平解像度に振り分ける効果がない。そのため、レンズの水平幅は16サブピクセル幅相当の800μmとし、これに応じたマッピング(斜め方向に連続したRGBサブピクセルでグルーピング)を実施した。この設計においては三次元画像の解像度は以下のようになった。
a=1
したがって(3200×3÷16÷a):(2400÷3×a)=600:800
【0077】
すなわち、水平解像度に比較して垂直解像度が高い状態となった。よって、H(1600)×V(1200)の視差画像を取得、水平方向に関しては3/8、垂直方向に関しては2/3のデータのみを取得、残りを破棄して画像情報をマッピングした。すなわち、破棄するデータがある分、視差画像情報の取得に時間を要した。また、表示された画像の解像度のバランスが悪く、垂直情報に比較して水平情報が乏しい印象を与えた。また、既存の解像度のコンテンツを表示する場合に、H(600)×V(800)の解像度に直す必要が生じ、汎用性に乏しいデバイスとなった。
【図面の簡単な説明】
【0078】
【図1】本発明の一実施形態による三次元画像表示装置における二次元画像表示素装置の画素列と、光線制御子の単一の射出瞳を経由して単眼で観察される領域の傾き角を示す図。
【図2】本発明の一実施形態による三次元画像表示装置の概要を説明する図。
【図3】従来の三次元画像表示装置における二次元画像表示装置の画素列と、光線制御子の単一の射出瞳を経由して単眼で観察される領域の傾き角を示す図。
【図4】本発明の一実施形態による三次元画像表示装置を単眼で観察した際のRGBサブピクセルの配置を示す図。
【図5】従来の三次元画像表示装置を単眼で観察した際のRGBサブピクセルの配置を示す図。
【図6】本発明の一実施形態の特性を示す図であって、図6(a)は光線制御子の単一の射出瞳の傾きをarctan(1/4)にした際の、ストライプ配列のカラーフィルタを用いた表示素子上への視差画像の配置を示す図であり、図6(b)は複数の要素画像の相対位置を示す図である。
【図7】本発明の一実施形態の特性を示す図であって、図7(a)光線制御子の単一の射出瞳の傾きをarctan(1/4)にした際のストライプ配列のカラーフィルタを用いた表示素子上への複数の要素画像の配置を示す図であり、図7(b)は、図7(a)に示す要素画像と組み合わせる光線制御子の外観を示す図。
【図8】本発明の一実施形態の三次元画像表示装置において、光線制御子の単一の射出瞳の傾きをarctan(1/4)にした際の、異なる複数の方向から平行投影法により低解像度で取得した視差画像を構成する画素情報の、三次元画像表示装置への割り振りを示す図である。
【図9】本発明の一実施形態の三次元画像表示装置において、光線制御子の単一の射出瞳の傾きをarctan(1/4)にした際の、モザイク配列のカラーフィルタを用いた表示素子上への視差画像の配置を示す図。
【図10】本発明の一実施形態の三次元画像表示装置において、光線制御子の単一の射出瞳の傾きをarctan(1/4)にした際のモザイク配列のカラーフィルタを用いた表示素子上への複数の要素画像の配置を示す図。
【図11】本発明の一実施形態の特性を示す図であって、図11(a)は光線制御子の単一の射出瞳の傾きをarctan(1/5)にした際の、ストライプ配列のカラーフィルタを用いた表示素子上への視差画像の配置を示す図、図11(b)は複数の要素画像の相対位置を示す図。
【図12】本発明の一実施形態において、光線制御子の単一の射出瞳の傾きをarctan(1/5)にした際のストライプ配列のカラーフィルタを用いた表示素子上への複数の要素画像の配置を示す図。
【図13】本発明の一実施形態において、光線制御子の単一の射出瞳の傾きをarctan(1/5)にした際のモザイク配列のカラーフィルタを用いた表示素子上への視差画像の配置を示す図。
【図14】本発明の一実施形態において、光線制御子の単一の射出瞳の傾きをarctan(1/5)にした際のモザイク配列のカラーフィルタを用いた表示素子上への複数の要素画像の配置を示す図。
【図15】傾きがない光線制御子を経由して視認される視差画像番号を示す図。
【図16】傾き角がarctan(1/6)である光線制御子の単一の射出瞳を経由して視認される視差画像番号を示す図。
【図17】傾き角がarctan(1/4)である光線制御子の単一の射出瞳を経由して視認される視差画像番号を示す図。
【図18】傾き角がarctan(1/5)である光線制御子の単一の射出瞳を経由して視認される視差画像番号を示す図。
【図19】本発明の実施例1による三次元画像表示装置の構成を示す図。
【図20】画面端の要素画像の形状の一例を示す図。
【図21】基準視差数から成る要素画像の発生を示す図。
【図22】三次元画像表示装置の視域を最大化する目的で発生した基準視差数+1から成る要素画像の発生を示す図。
【図23】基準視差数から成る要素画像と、基準視差数+1から成る要素画像の分布の様子を示す図。
【図24】三次元画像表示装置の一般的な構成を示す図。
【図25】水平方向と垂直方向の解像度の低下の割合を一致させた場合の、視差数Nと、垂直解像度が水平解像度に割り振られる割合aと、要素画像サイズとの関係を示す図。
【符号の説明】
【0079】
2 サブピクセル
3 表示素子上に焦点を一致させた光線制御子の単一の射出瞳を経由して単眼で観察される領域
4 サブピクセル開口部
5 ブラックマトリクス
6 光線制御子
7 レンチキュラーレンズ
8 三次元画像表示用ピクセル
9 三次元表示用サブピクセル
10 視差画像番号
11 単一の射出瞳に対応した要素画像が表示された範囲
12 ある方向から取得した視差画像(二次元画像)
13 視差画像を構成するピクセル
14 二次元画像表示素子
15 光線制御子を経由して観察される視差番号の割合
16 バックライト
【技術分野】
【0001】
本発明は、三次元画像を表示可能な三次元画像表示装置に関する。
【背景技術】
【0002】
三次元画像表示技術は様々な分類が可能であるが、多眼式やホログラフィとインテグラル・フォトグラフィ方式(以下、IP方式という)のようにメガネなしで三次元画像を表示する場合、例えば、以下の構成を採用することがある。すなわち、二次元的に配列された複数の二次元画像表示用ピクセルが、三次元画像表示用ピクセルを構成し、その前面側に光線制御子を配置する。なお、この光線制御子には、三次元画像表示用ピクセルから一つの二次元画像表示用ピクセルの画像情報のみ取り出せるように設計された射出瞳が三次元画像表示用ピクセル毎に設けられている。すなわち、この光線制御子によって三次元画像表示用ピクセルを部分的に遮り、観察者が射出瞳を介して視認する二次元画像表示用ピクセルを観察位置毎に異ならしめることで、メガネを使用することなく三次元画像を視認することができる。
【0003】
さらにIP方式について詳細に説明すると、三次元画像表示用ピクセルに表示される画像を要素画像という。要素画像とは、射出瞳をピンホールに置き換えた場合に撮影されるピンホールカメラ画像に相当している。
【0004】
ただし、現状ではピンホールカメラの銀塩フィルムに比べて電子デバイスの解像度は低く、本明細書で扱う要素画像とは、撮影角度を異ならせた複数の二次元画像を構成する画素の集合体に過ぎない。すなわち、前述の構成によって、個々の三次元画像表示用ピクセルに表示された要素画像、すなわち複数の異なる方向から撮影した二次元画像(視差画像)の構成画素の集まりのうち、観察者の観察方向に一致した画素情報、すなわち実際に三次元像が存在した場合に見えるべき画素情報のみが視認される。
【0005】
多眼式とIP方式の相違は、電子デバイスの解像度の低さが原因で発生している。理想的には要素画像の撮影角度は連続しているべきだが、電子デバイスの解像度が不足していることから、離散的にならざるを得ない。この時に、射出瞳と画素を結ぶ線、すなわち射出瞳を経由して射出する光線同士が、視距離で集光するように設計されているのが多眼式、集光点を設けないのがIP方式である。
【0006】
2眼式は、各撮影位置で透視投影的に取得した二次元画像が眼間距離(ほぼ65mm程度)で離間した一対の点に集光するような設計を採用した三次元画像表示方式である。この設計によると、観察者は画面から観察視距離Lだけ離れた位置で、メガネを使用することなく右眼と左眼とで別々の像(2つの撮影位置で撮影した各二次元画像)を見ることができる。さらに、上記一対の集光点を水平方向に2つ以上並べると、観察位置を左及び/または右方向に移動させるのに応じて、左眼で観察される像及び右眼で観察される像の双方が切り替わる。したがって、観察者は、観察位置の移動に応じて三次元画像が変化する様子を確認することができる。
【0007】
他方、IP方式は、各撮影位置で撮影した二次元画像が一点に集光しないような設計を採用した三次元画像表示方式である。例えば、観察位置が表示面から無限遠だけ離れている場合を想定し、その場合に片眼で観察される画像が観察角度に応じて複数の撮影位置で撮影した各画像毎に切り替わるように設計する。典型的な例では、異なる射出瞳同士から射出する光線同士が平行になるように設計することにより、平行投影法で撮影した画像を用いて三次元画像表示用画像を作成することができる。
【0008】
このような設計によると、現実的には表示面から無限遠だけ離れた位置から観察することはないので、片眼で観察される二次元画像が何れかの撮影位置で撮影した二次元画像と等しくなることはない。しかしながら、右眼で観察される二次元画像と左眼で観察される二次元画像のそれぞれは、複数の方向から平行投影法で撮影した画像の足し合わせにより構成されることで、平均的にはその観察位置から撮像した透視投影法による二次元画像となる。このような構成により右眼と左眼で別々の像を見ることができ、観察者が知覚する三次元画像は、撮影された物体を何れかの方向から実際に観察した場合に認識される三次元画像と同等となる。すなわち、IP方式では観察位置を仮定していない。
【0009】
IP方式と多眼式、さらに眼間距離より短いピッチで集光点を設けた稠密多眼式について、二次元画像表示装置の非表示部が原因で発生する表示阻害の発生の違いについて説明する。
【0010】
前述した構成により、IP方式では視距離の一点から観察した場合に射出瞳を経由して見える画素の位置は不定である。すなわち、画素の観察される位置が射出瞳ごとに周期的に変化する。このため、IP方式においては、非表示部(画素境界)が見える射出瞳が画面内に周期的に分布することから、画面内の輝度変化として視認される。これに対し、多眼式の場合は視距離において集光する設計になっていることから、視距離の一点から観察した場合に全ての射出瞳から画素の同一位置が観察され、集光する画素数が1/nに低下することで集光点をn倍に増加した稠密多眼式の場合も、全射出瞳数の1/nの射出瞳からは画素の同一位置が観察される。すなわち、多眼式の場合は、全射出瞳から非表示部が完全に見えない、もしくは、全射出瞳から非表示部しか見えない状態が発生する。言い換えれば、IP方式では画面内に発生していた非表示部が原因の輝度ムラが、多眼式では観察者がいる空間における輝度分布ムラとして発生する。視距離において画素中心が見える射出瞳を1/nに減らし集光点をn倍に増やすことで、観察位置の水平方向への移動に対して常に一定の割合で非表示分が見えるように設計された稠密多眼式では、視距離上の空間における輝度変化は抑制されているものの、二次元画像表示装置の開口率や光線制御子の射出瞳(窓部)の開口率の制御をしないと輝度変化を完全に無くすことはできない(例えば、特許文献1参照)。
【0011】
IP方式、多眼方式、稠密多眼方式のいずれの方式においても、三次元画像表示用ピクセルを構成するために複数の二次元画像表示用ピクセルが用いられることから、再生される三次元画像の解像度は電子デバイスのオリジナルの解像度より低下する。この解像度の低下を抑制する目的で、立体感取得に有効な水平方向の視差情報だけ与える方法が既に検討されている(一次元IP方式、一次元多眼方式)。この場合、光線制御子の射出瞳は垂直方向に連続した形状とし、要素画像は水平方向にのみ展開される。すなわち垂直方向については視差情報を与えない。水平方向の解像度低下に関しては、LCD等の電子デバイスの画素配列に着目し、水平に隣接したRGBのトリプレットを1画素としてい
た従来の扱いから、縦に隣接したトリプレットで1画素として扱うことで、垂直方向の解像度を1/3に低下する代わりに水平方向の解像度を3倍に増加することが検討されている(例えば、特許文献2参照)。
【0012】
また、前述したように、解像度の低下の問題に加えて二次元画像表示装置の非表示部と光線制御子との作用で発生する非表示部が原因の表示阻害がある。これに関しては、特許文献1で、多眼式の三次元画像表示装置において、この表示阻害への対策と解像度バランスの改善を兼ねて、光線制御子を傾けることが提案されている。光線制御子を傾けることで、視距離において非表示部が観察される領域を空間的に分散し、輝度変化が抑えられる。しかしながら、電子デバイスの非表示部が縦ストライプ状ではなく格子状に形成されていることから、非表示部が原因の輝度変化を完全に抑制するためには、レンズを傾けるとともに厳密に二次元画像表示装置と光線制御子の射出瞳(窓部)の開口率を制御する必要がある。さらには、光線制御子を傾けることで、垂直解像度が水平解像度に割り振ることが可能なために、水平方向にのみ視差情報を与えることによる解像度バランスの悪化を改善する方法についても言及している。
【特許文献1】米国特許第6、064、424号明細書
【特許文献2】特開平10−253926号公報
【発明の開示】
【発明が解決しようとする課題】
【0013】
しかしながら、そのバランスは以下に示す理由から十分改善されているとはいえない。
IP方式または多眼式といった、複数の視差画像を観察できる領域を振り分けることで三次元画像を表示する場合には、その構成が原因で、用いた二次元画像表示装置の本来の解像度より三次元画像表示装置の解像度が低下し、かつ非表示部が原因で表示阻害が発生する問題がある。
【0014】
本発明は、上記事情を考慮してなされたものであって、最終的な解像度バランスを改善し、表示阻害を防止することのできる三次元画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明の一態様による三次元画像表示装置は、要素画像を表示する画素群を構成する画素がマトリックス状に配置される二次元画像表示装置と、前記画素群に対応付けられた射出瞳を有し、前記画素群の画素からの光線を制御する光線制御子と、を備え、前記光線制御子の前記射出瞳は略垂直方向に連続した構造をとり、前記画素はRGBのサブ画素から構成され、前記サブ画素は縦:横が3:1の縦長の形状を有し、前記射出瞳の連続した方向と、前記二次元画像表示装置の画素配列の列方向とのなす角度が、nを3の倍数と異なる自然数としたとき、arctan(1/n)で与えられ、三次元画像の水平解像度と垂直解像度との比が前記二次元画像表示装置の水平解像度と垂直解像度との比に一致するように構成されたことを特徴とする。
【発明の効果】
【0016】
本発明によれば、三次元画像の解像度バランスを改善し表示阻害を防止することができる。
【発明を実施するための最良の形態】
【0017】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、各図において、同様または類似する機能を有する構成要素には同一の参照符号を付し、重複する説明は省略する。
【0018】
本発明の一実施形態による三次元画像表示装置を、図面を参照して説明する。まず、三次元画像表示装置の一般的な構成を図24に示す。この図24に示す三次元画像表示装置は、例えば液晶パネルからなる二次元画像表示装置14と、光線制御子6と、を備えている。
【0019】
二次元画像表示装置14は、表示面内に位置が定められた画素が平面的にマトリクス状に配置されているものであれば、直視型や投影型の液晶表示装置やプラズマ表示装置や電界放出型表示装置や有機EL表示装置などであってもよい。光線制御子6としては、その概略垂直方向に延び概略水平方向に周期構造をもつスリットまたはレンチキュラーレンズが使用される。この場合、水平方向41にのみ視差があり視距離に応じて画像が変わるが、垂直方向42には視差がないために、観察位置によらず一定の画像が視認される。なお、図24において、符号43は観察者の単眼の位置を示す。
【0020】
本実施形態による三次元画像表示装置においては、二次元画像表示装置の表示面は、R(赤)、G(緑)、B(青)のサブピクセルがアレイ状に配置されている。なお、R(赤)、G(緑)、B(青)のサブピクセルは、カラーフィルタを表示面上に適切に配置することにより実現される。そして、本実施形態においては、図2に示すように、光線制御子6は、例えばレンチキュラーレンズ7からなっている。そして、このレンチキュラーレンズ7の長軸は、サブピクセル列に対して所定の角度θ(≠0)だけ傾いている。なお、図2においては、符号4はサブピクセルの開口部を示し、符号5はブラックマトリクスを示す。本実施形態においては、サブピクセルは、開口部4とブラックマトリクス5を含むものとする。したがって、サブピクセルは隣接して縦、横に配列されている。このサブピクセルは、縦と横のサイズの比が3:1となっている。
【0021】
以下、本実施形態において、レンチキュラーレンズ7の長軸を、サブピクセル列に対して所定の角度θ(≠0)だけ傾けた理由を説明する。
【0022】
水平解像度を増やすために、縦に並ぶR、G、Bからなる3つのサブピクセルを1画素として扱い、かつ光線制御子6を傾けた場合、表示される三次元画像の水平解像度Hおよび垂直解像度Vは、次の(1)式で示される。
H=Horiginal×3÷N÷a
V=Voriginal÷3×a ・・・ (1)
ここで、Horiginalは二次元画像表示装置の水平解像度、Voriginalは二次元画像表示装置の垂直解像度、Nは視差数、aは光線制御子を傾けることで垂直解像度が水平解像度に割り振られる割合を示す。
【0023】
よって、二次元画像表示装置の水平解像度Horiginalと垂直解像度Voriginalの比率を三次元画像表示装置でも維持しようとした場合、次の(2)式の関係を満たす必要がある。
Horiginal:Voriginal=(Horiginal×3÷N÷a):(Voriginal÷3×a)
すなわち、 3/(N・a)=a/3
したがって、 N=(3/a)2 ・・・ (2)
となる。
【0024】
次に、光線制御子を傾けることで、垂直解像度が水平解像度に割り振られる現象について説明する。図1に、二次元画像表示装置の画素に対する光線制御子のさまざまな傾きを示す。なお、図1において、符号3は二次元画像表示素子上に焦点を一致させた光線制御子7の略垂直方向に連続する射出瞳の一つを介して単眼で観察される領域を示す。観察位置の移動に応じて、この符号3で示された領域は水平方向にシフトする。従来の場合のように光線制御子の射出瞳が、上記画素と同様に垂直に連続した形状の場合には、光線制御子7の射出瞳の一つを経由してその中心が観察される(符号3で示された領域にその中心が一致する)画素は、一列の画素すべてかそれとも全く無いかのみであり、観察者の移動に応じて符号3で示された領域が移動することによる二状態が切り替わる周期はサブピクセルの水平幅に一致していた。これに対し、光線制御子7を傾けることで、符号3で示された領域と画素中心が一致できる画素数が減少するとともに、観察者の移動に応じて符号3で示された領域が移動した場合、画素中心が一致する画素が出現する周期はサブピクセルの水平幅より短くなる。さらには画素の中心が選択されると同時に必ず水平方向に隣接するサブピクセル同士の境界部分である非表示部も同時に符号3で示された領域に存在するようになる。図1ではサブピクセル2の横3列に対し、縦4行、5行、6行の割合で傾けた例が示されている。縦4行の場合は3行おきに、5行の場合は4行おきに、6行の場合は1行おきに、符号3で示された領域と画素の位置関係が同一になっている。すなわち、符号3で示された領域に対する相対位置が同一の(略垂直方向に連続する射出瞳の一つを介して観察される箇所が同一の)画素が1/4、1/5、1/2に減少している。一方、水平方向に関しては、光線制御子が画素に対して垂直だった場合に比較して、1/4サブピクセル幅、1/5サブピクセル幅、1/2サブピクセル幅の周期で、符号3で示された領域に対して画素中心が一致する画素が出現する。すなわち、水平解像度が4倍、5倍、2倍に増加する。このような解像度を横解像度に振り分ける効果と非表示部が原因で発生する表示阻害防止対策については、特許文献1に詳細が述べられている。
【0025】
以上のように、光線制御子を傾けることで垂直解像度を水平解像度に割り振ることができるが、サブピクセルピッチで視差画像を配分する場合、その振り分けの程度については、サブピクセル2の形状が影響する。二次元画像表示装置として用いられる例えば液晶表示装置は、RGBの三つのサブピクセルで正方形のピクセルを構成するように設計され、かつ、文字などの縦の直線を多く表示するような設計では、縦ストライプ配列のカラーフィルタを用いる場合が多いことから、そのサブピクセルの形状は、図1に示したような垂直:水平=3:1の比率になっている。三次元画像表示装置において水平解像度を増加させるために、水平方向に隣接した3つのサブピクセルではなく、異なる3行に分散した3つのサブピクセル2で一つの画素として扱う場合、光線制御子の稜線の傾きθを
θ=arctan(1/n) ・・・ (3)
とした場合に、符号3で示された領域に対して画素中心が一致する画素が出現する周期がサブピクセル幅の1/nとなることでサブピクセル単位での水平解像度がn倍になると同時に、この1/n周期で符号3で示された領域と中心が一致した、水平方向に隣接したRGBの3サブピクセル(垂直方向には一致しない)で1ピクセル(トリプレット)を構成することから、垂直解像度が水平解像度に振り分けられる割合aは、
a=3/n ・・・ (4)
で与えられる。つまり、本発明の3次元画像表示時のトリプレットは、RGBサブピクセルの観察可能位置が微妙にずれている(符号3で示された領域とRGBの3つのサブピクセル中心が同時に一致することがない)。よって、以下、本明細書では、略一致する、と表現する。実際は符号3で示された領域と画素中心が一致していない状態でも画素の一部は射出瞳を経由して視認されることから、この略一致したRGBサブピクセルが同時に見える領域は存在する。よって、図1の場合は、θ=arctan(1/4)、arctan(1/5)、arctan(1/6)となり、垂直解像度が水平解像度に振り分けられる割合aは、a=3/4、3/5、1/2となる。
【0026】
よって、(3)式で光線制御子の傾きを与えると同時に前述の(2)式を満たすようにnとNの関係を満たすことで、水平方向と垂直方向の解像度の低下の割合を一致させることができる。すなわち、Nとnが次の関係
N=n2 ・・・ (5)
を満たすように設計すればよい。
【0027】
自然数nそれぞれに対する、視差数N、垂直解像度が水平解像度に割り振られる割合a、レンズの傾き角θ、要素画像サイズを図25に示す。この図25から分かるように、サブピクセル2の形状が原因で、N=9(n=3)の場合は、縦解像度を横解像度に振り分ける効果と、非表示部が原因で発生する表示阻害防止効果が得られない。
【0028】
(5)式の関係を満たすように視差数Nを定めた例を、QUXGAパネル(水平解像度Hが3200で垂直解像度Vが2400であるパネル)で説明する。
(3200×3÷16÷a):(2400÷3×a)=800:600
すなわち、 a=3/4 →SVGA
(3200×3÷25÷a):(2400÷3×a)=640:480
すなわち、 a=3/5 →VGA
【0029】
すなわち、視差数と傾きを(2)〜(4)式で制御することで、表示される三次元画像の解像度を従来の二次元画像表示における一般的な解像度に一致させることができた。
【0030】
以下、特許文献1との違いと本実施形態との差異について詳細に説明する。
【0031】
まず、特許文献1では、SVGAパネル(解像度:800(H)×600(V))において、3、5、6、7といった比較的少ない視差数を、θ=arctan(1/n)、n=6、9、12といった傾きで振り分けている(図3参照)。このため、本実施形態の計算方法((1)〜(4)式)を用いて計算すると、水平解像度が非常に多くなる。例えば、6視差をθ=arctan(1/6)で与えた例があるが(図2参照)、(4)式よりn=6、(3)式よりa=1/2となる。すなわち、この傾きが垂直解像度を水平解像度に振り分ける割合aが1/2であることから、
a=1/2
すなわち、(800×3÷6÷a):(600÷3×a)=800:100
と、非常に水平解像度が高い結果となる。同様に、5視差をθ=arctan(1/6)で、7視差をθ=arctan(1/6)で与えた場合は以下で与えられている。
a=1/2
すなわち、(800×3÷5÷a):(600÷3×a)=960:100
a=1/2
すなわち、(800×3÷7÷a):(600÷3×a)=685:100
【0032】
なお、特許文献1中では480×200、342×200と上記計算とは異なる値になっている。この理由としては、特許文献1では、光線制御子を経由して視認された状態でRGBの各サブピクセルが略正方画像になる設計を採用している(図5参照)ことがあげられる。なお、図5において、符号9は、三次元画像表示用サブピクセルを示す。そして、特許文献1では、これらの光線制御子を経由して視認された状態で略正方画素になっているRGBサブピクセルのうち、比較的近い位置にあるRGBの3つのサブピクセルをグルーピングして1画素と扱うことを提言している。このような扱いをしたとしても、480×200、または342×200という水平解像度と垂直解像の比はこの特許文献1独特の解像度バランスであり、一般的な画素形状である、RGBトリプレットの正方画素から三次元画像が構成されていない。
【0033】
本実施形態による三次元画像表示装置は、この特許文献1とはこの点で全く異なる。本実施形態においては、RGBのトリプレットで正方画素として視認されることを目的としている。すなわち、(2)〜(4)式に従って傾きと視差数の関係を定義し、光線制御子を経由して視認された画像の構成画素のRGBトリプレットが略正方形となるような設計である(図4参照)。なお、図4において、符号8は三次元画像表示におけるピクセルを示す。
【0034】
これを実現するためのピクセルマッピングについて、前述したQUXGAにおいてN=16の場合を、図6(a)、(b)を参照して説明する。図6(a)は、レンチキュラーシート7の傾きをarctan(1/4)とした際の、カラーフィルタがストライプ配列された二次元画像表示装置への視差画像の配置を示し、図6(b)は、複数の要素画像の相対位置を示す図である。なお、図6(a)、(b)において、符号10は視差番号を示し、符号11は三次元画像の構成単位である単一画素に相当する射出瞳とこれに対応した要素画像が表示される範囲を示す。(2)〜(4)式で視差数(N=16)と光線制御子の傾き角(θ=arctan(1/4))が決まる。この結果、三次元画像表示用ピクセルは4行×4画素(トリプレット)列(=12サブピクセル行)の平行四辺形(略正方形)に定まる。この中で、3/4(=a)の採択率を満たすように、RGBサブピクセルを異なる行に渉ってマッピングする。つまり、光線制御子の傾きが無かった場合に3行(=RGB)×(5+1/3)画素(トリプレット)列(=16サブピクセル行)=48サブピクセルから構成されていた三次元画像表示用ピクセルが、この合計のサブピクセル数を維持しながら略正方形の形状にすることができた。
【0035】
次に、三次元画像表示用ピクセルを略正方形にすることで得られる効果を説明する。光線制御子を傾ける効果を用いない場合、水平/垂直解像度は次の設計になる。
H(3200×3÷16)×V(2400÷3)=H(600)×V(800)
【0036】
QUXGAパネルの外形が水平:垂直=4:3であることから、水平/垂直解像度(画素数)が4:3であれば、水平/垂直方向のサンプリング間隔は同一となり、三次元画像表示時の画素形状は正方形になる。ここで、三次元画像表示用ピクセルとは、具体的には、複数方向から取得(撮像/作成)した視差画像から構成された視差画像の集合である要素画像が表示される領域を指す。従来のH(600)×V(800)という三次元画像用ピクセル数では、水平/垂直方向のサンプリング間隔が異なっている(三次元画像表示時の画素形状が正方形でない)ことから、例えばH(3200×3)×V(2400)の解像
度で視差画像を作成し、これから不要な画素情報を除き、H(600)×V(800)の低解像度の視差画像にしてから要素画像を合成していた。
【0037】
本実施形態では、この無駄に着目し、水平/垂直画素数を画面サイズの比率を反映、水平/垂直方向のサンプリング間隔を同一にし、三次元画像表示時の画素形状を略正方形とすることで三次元画像表示用ピクセルの解像度で視差画像を取得できるようにした。すなわち、QUXGAで16視差の三次元画像表示素子の場合はSVGA、25視差の場合はVGAの視差画像を取得し、これをマッピングすることで要素画像を作成できるようにした。この場合、取得された視差画像情報の使用されない(除かれる)画素情報はない。このように三次元画像表示用ピクセルを正方化することで、3D−CG(三次元画像コンピュータグラフィック)コンテンツ作成における高速化と、実写の場合のカメラの解像度の低下が可能になる。
【0038】
さらに、三次元画像表示の解像度を従来の解像度に一致させたことによる副次的な効果として、三次元画像表示装置において二次元コンテンツを表示するような場合の取り扱いが容易になることがあげられる。三次元画像表示装置であるとはいえ、二次元画像コンテンツを表示する場合は容易に想定される。三次元画像表示における二次元コンテンツの表示は、簡便には要素画像内を同一視差情報にする(観察位置に関わらず、常に同じ画像が見える)ことで達成される。すなわち、QUXGAパネルを用いた三次元画像表示装置において、16視差の場合はSVGA、25視差の場合はVGAの2D(二次元画像)コンテンツが入力された場合、二次元画像情報を三次元画像表示用ピクセル内に単純に16倍または25倍にして展開することでそのまま二次元画像を表示することができる。
【0039】
さらには、これ以外の解像度の二次元画像コンテンツが入力された場合も、二次元画像の一般的な解像度同士に変換する技術自体は既に一般化されていることから、三次元画像表示装置自体が既存の解像度に設定されていれば、この解像度に是正した上で入力、展開すれば良い。また三次元画像の解像度が既存解像度そのものではなく、そのx倍、または1/y倍(x、y:整数)に設計されたとしても、従来の解像度のデータを単純にx倍に展開、または1/y倍に圧縮または間引きすれば対応できることから、三次元画像表示解像度を、従来解像度の整数倍、または整数分1の解像度に設計しておくことは、画像処理の負荷を低減する効果がある。
【0040】
また、各種の方式の三次元画像表示装置が存在する場合を想定すると、従来の二次元画像の解像度がフォーマットとして利用される可能性が高く、このような将来の展開を踏まえたうえでも、三次元画像表示装置の表示解像度を従来の二次元画像表示における解像度、または従来の二次元画像表示における解像度の整数倍、または整数分の1の解像度に設計しておくことは大きな意味がある。
【0041】
三次元画像表示用ピクセルを正方化することで視認される画面のイメージ図を図7に示す。図7(a)は、レンチキュラーシート7の傾きをarctan(1/4)にした際の、カラーフィルタがストライプ配列された二次元画像表示装置上への要素画像の一部の配置を示す図であり、図7(b)はこれと組み合わせるレンチキュラーシート7の一部の外観を示している。要素画像11はほぼ正方形となり、これにレンチキュラーシート7を組み合わせて三次元画像表示用の1画素を構成する。この三次元画像表示用の一画素には、図6のピクセルマッピングで16視差の情報が含まれており、観察位置に応じてレンチキュラーシートを経由して視認された視差画像番号が変化することで立体視を実現する。
【0042】
次に、複数の方向から取得した視差画像の配置方法を、図8を参照して説明する。図8は、光線制御子6の傾きをarctan(1/4)にした場合の、異なる複数の方向から水平方向については平行投影法、垂直方向については透視投影法により低解像度で取得した視差画像を構成する画素情報の、三次元画像表示装置の各画素への割り振りを示す図である。
【0043】
図8において、符号8はレンチキュラーシート越しに観察した三次元画像表示用ピクセルを示し、符号12はある方向から800(H)×600(V)の解像度で取得した視差画像を示し、符号13は視差画像である二次元画像を構成するRGBの3サブピクセルからなるピクセル(トリプレット)を示す。複数の方向から取得した視差画像12を構成するRGBトリプレット13を、図8に示した各三次元画像表示用ピクセル8を構成する要素画像の中の一つの視差画像としてマッピングする。対応関係は図8の矢印で示した。三次元画像表示における一画素が平行四辺形になっていることから、三次元画像表示用ピクセル8の4行毎に、三次元画像表示ピクセル1画素分だけ左にシフトすることで、視差画像情報と対応させる。このずれは800×400の三次元画像表示解像度における1画素分のシフトであり、三次元画像表示の解像度が十分高くなれば、気にならない程度に抑えられる。
【0044】
ここでは単一の視差画像情報について述べたが、複数の方向(ここでは16方向)から取得した800(H)×600(V)の解像度の視差画像を、図8→図6に従って割り付けることで、全ての三次元画像表示用ピクセルに対応した要素画像を作成することができる。
【0045】
図6ではストライプ配列のカラーフィルタを前提にピクセルマッピングを示したが、他のカラーフィルタ配列についてもマッピングが可能である。カラーフィルタ配列がモザイク配列である二次元画像表示装置上への視差画像の配置を図9に示し、複数の要素画像の配置を図10に示す。カラーフィルタ配列については基準視差数とカラーフィルタの相関で発生する色モアレやその他の表示性能を考慮して最終的に最適な配列が決められる。例えば、本発明の構成では、射出瞳の水平ピッチがサブピクセル幅の3の倍数になることから、ストライプ配列のカラーフィルタを用いたデバイスを二次元画像表示装置として用いた場合、水平方向に同色が並ぶ(色モアレの一種)。よって、三次元画像表示装置としての解像度が十分高くない場合は、この水平なRGBの縞が気になるようなケースも発生する。この場合は、モザイク配列を採用するとよい。ストライプ配列、モザイク配列以外のカラーフィルタ配列を採用した場合も、それ相応のマッピングをする必要があるが、いずれにしても、RGBのトリプレットを異なる行にマッピングし、このトリプレットがレンズ越しにほぼ同時に視認できるように設計すればよい。
【0046】
さらには、基準視差数(N)が25の場合、すなわち、光線制御子の傾きをarctan(1/5)にした場合の、ストライプ配列のカラーフィルタが用いられる二次元画像表示装置への視差画像の配置を図11(a)に、複数の要素画像の相対位置を図11(b)に、複数の要素画像の配置を図12に示す。また、光線制御子の傾きをarctan(1/5)にした場合の、モザイク配列のカラーフィルタが用いられる二次元画像表示装置への視差画像の配置を図13に、複数の要素画像の配置を図14に示す。
【0047】
ところで、特許文献1でも述べられているように、光線制御子の傾きが小さくなると視差画像間のクロストークが増えるという問題がある。これは、特許文献1で示されているような小さな角度(θ=arctan(1/n)、n=6、9、12;図3参照)で特に顕著になる。
【0048】
クロストーク量について、図15乃至図18を参照して説明する。図15は、傾きが零、すなわち射出瞳が垂直な光線制御子を介して視認される視差番号を示す図である。なお、図15において、符号15は射出瞳を介して視認される視差番号の割合を示す。例えば、マトリクス状に形成された画像表示装置の前面に配置されたレンチキュラーシートを構成する複数の蒲鉾型(円柱を長軸方向に切断し、切断面と等しい側面を有する立方体と張り合わせた形状)レンズのうち、単一のレンズの射出瞳の焦点位置を破線で示した。ここでも画像表示装置の二次元画像表示用サブピクセルの幅はサブピクセルの高さの1/3に設計されており、3サブピクセルで正方形のトリプレットを形成する。各サブピクセルの中に記載された番号10は視差画像番号である。レンチキュラーシートはその焦点距離の位置に画素がマトリクス状にに設けられた二次元画像表示装置が位置するように設計されることにより、二次元画像表示装置上の破線(焦点位置)の幅は無限小と仮定する。図15に示したように、レンチキュラーレンズが垂直(傾きが零)だった場合、単一の射出瞳からは単一の番号の視差画像のみが視認される。または、符号3で示された領域が水平方向に隣接したサブピクセル間の垂直な画素境界に一致した場合、視差画像は全く視認されない。
【0049】
一方、レンチキュラーレンズの傾きがθ=arctan(1/6)の場合の、光線制御子の射出瞳を介して視認される視差番号を説明するための図を図16に示す。単一の射出瞳を経由して最小でも2視差、最大で3視差の視差画像を同時に視認することになる。以後、本来見るべき視差画像を主視差、同時に見えてしまった他の視差画像を隣接視差と呼ぶ。
【0050】
視差画像の見え方の相違を裏付ける実験結果として、図15に示す配置を採用したIP式三次元画像表示装置では、飛び出し/奥行き量が大きすぎるコンテンツが二重像に見えるのに対し、図16に示す配置ではぼけとして視認され、さらには、そのぼけの幅が図15の場合の二重像のずれ幅より広かったことがあげられる。これは、飛び出し/奥行き量の大きなコンテンツでは、視差画像間の相違が大きいことから、主視差と同時に隣接視差を見ることで発生するクロストークが認識し易いためである。図15の構成では、本来単一視差番号しか見えないはずであるが、我々の作成した実機ではレンズは多少なりともデフォーカスしており、符号3で示された領域が境界と一致した場合に両側の視差画像を視認する。つまり、主視差画像とともに隣接視差画像を見える場合がある。この主視差画像と同時に視認された隣接画像が原因で二重像が視認された。
【0051】
一方、図16の構成では、符号3で示された領域は画素を斜めに横切っており、これは主視差画像と隣接視差画像が単一射出瞳を経由して滑らかに切り替わって見えることを意味する。それと同時に、単一射出瞳を経由して見える隣接視差画像が図15に比較して多い。すなわち、隣接視差画像による影響は図15の二重像とは異なり、ぼけとして視認されるとともに、ぼけの範囲は視認される隣接視差画像の多さが原因で図15の場合より広くなったとして理解できる。
【0052】
このように、レンチキュラーレンズが斜めに設定されることで、クロストーク量が増えることに加え、クロストークがぼけとして視認される特徴がある。そしてクロストークの発生はコンテンツの飛び出し/奥行き表現領域を制限してしまう。このため、特許文献1中では比較的傾きの小さなn=6、すなわち選択率が1/2の例を積極的に述べている。
【0053】
本実施形態のθ=arctan(1/4)、θ=arctan(1/5)の場合の光線制御子を介して視認される視差番号を示す図を図17、18にそれぞれ示す。図17に示すように、θ=arctan(1/4)の場合は、クロストークとして見える視差画像は3視差と、θ=arctan(1/6)の場合と同一だが、同時に視認される複数の視差画像の中で主視差画像の占める割合が高いことが分かる。図18に示すように、θ=arctan(1/5)の場合は、クロストークとして見える視差画像は3視差だが、この場合も主視差画像の占める割合は1/2以上を占めることが分かる。すなわち、これらの傾き、すなわちθ=arctan(1/4)、θ=arctan(1/5)の場合においては、クロストークは発生するものの、主視差画像以外の隣接視差画像の混入する割合が低くなることから、ぼけは低減され、飛び出し/奥行き表現領域を広げる効果がある。
【0054】
以上述べたように、これらの傾き(θ=arctan(1/4)、またはarctan(1/5))を初め、mを整数としたときθ≠arctan(1/3m)は、これまでの非表示領域が原因の表示阻害防止以外に、水平垂直解像度の比率を保持、三次元画像表示時の画素形状を略正方形にするとともに、要素画像作成時の無駄を省き、かつ二次元画像表示における既存の解像度を考慮することで、コンテンツの流用を容易にし、さらには、奥行き/飛び出し方向の表示可能範囲を広げるといった、複数の新たな効果をもたらす新規な定義である。また特許文献1の概念ではサブピクセル幅の1/2〜1/4倍のピッチで水平解像度を刻む(水平解像度を2〜4倍、垂直解像度を1/2〜1/4倍とする)のに対して本実施形態では、行を違えた3つのサブピクセルを同一視差画像に選択することで、3/4倍、または3/5倍といった、1/m倍でないピッチで水平解像度を刻むという手法は全く新規のものである。さらには、a≠1/3mの中でも、特にa=3/4、3/5の2値については1/2以上の値であることから、隣接視差画像の混入の割合が低くなり、よりクロストークが抑制されたクリアな視差画像が視認させることができる。
【0055】
モアレ対策としてレンズを傾けることは効果があることは既に詳細を述べた。さらに述べるなら、LCD(液晶)パネルについてはそのCs線(補助容量線)がサブピクセル画素の中央相当を左右に横切るように設定されているとモアレの抑制に効果的である。これは、Cs線(補助容量線)によりサブピクセルが上下に二分されて開口中心部が二倍になることにより、これまでに述べた内容を応用すると、光線制御子の射出瞳を経由して観察される開口中心の発生周期が短くなるために、画素の非表示部が原因で発生する輝度低下の分布がIP方式では画面内で、多眼式では空間内でより均一化できるためである。
【0056】
また、IP方式の場合、視域を最大に確保するためには、基準視差数+1の列で構成した要素画像を離散的に分布させる必要があるが(例えば、本出願人による特許出願(特願2002−382389号)参照)、本実施形態の傾きのレンチキュラーシートとこの手法を組み合わせて適用することが可能である。
【0057】
また、以上では要素画像作成の際の視差画像情報取得の効率化を目的に図8に示したように、視差画像のマッピングを推奨したが、図8における4行毎の三次元画像表示ピクセル1ピクセル幅相当の水平方向のシフトによる画像劣化を避けるためには、三次元画像表示時のピクセル配置を維持した二次元画像を取得すればよい。すなわち、800(H)×600(V)の解像度であるものの、その画素中心が正方マトリクスではなく、図8と同等のθ=arctan(1/4)の傾きの平行四辺形のマトリクス上に配置した視差画像を用いることで、上記の画像劣化を完全に防ぐことができる。これは、実写については実写に用いるカメラの、3D−CGの場合は、画像取得の際に仮定するカメラの画素配列を図8の三次元画像表示時の三次元画像表示用ピクセル配列に一致させることで容易に実現することができる。
【0058】
さらに、正方配置の二次元画像情報から、平行四辺形マトリクス配置の画像データを改めて作成しなおす方法も適用可能である。正方格子上のデータとして取得した複数方向から取得した二次元画像情報を、三次元画像表示用の平行四辺形格子上に中心座標が位置する三次元画像表示用画像に組み入れる場合に、これまでに述べたように、最近傍の画素を選択し、整数値を取らず実数値を取る方法が、画像補間処理でいうニアレストネイバー法であるとすると、正方格子上のデータのうち水平に隣接した二画素(平行四辺形格子なので)から、平行四辺形格子の座標(実数値)に応じて線形の濃度補間を行う、バイリニア法を適用することも考えられる。同様にバイキュービック法の適用も考えられる。しかしながら本提案では、まず、画像データを再構成しないで済むというメリットを考慮し、ニアレストレイバー法に相当する技術を提案するものである。画像データの再構成の負荷と画質のバランスによっては、バイリニア法、バイキュービック法的三次元画像表示用データ作成も選択可能である。
【実施例】
【0059】
以下、本発明の実施例について説明する。
(実施例1)
本実施例1では、図19に示した構造の多眼式三次元画像表示装置を作製した。二次元画像表示装置14は液晶表示装置であって、その前面に光線制御子6が設けられ、後面にバックライト16が設けられた構成である。
【0060】
具体的には、本実施例1では、液晶表示装置として、QUXGA−LCDパネル(画素数3200×2400、画面サイズ480mm×360mm)を使用した。この液晶表示装置14において、赤、緑、青色の3種のサブピクセルは独立して駆動可能である。また、赤、緑、青色の各サブピクセルの横方向の長さは50μmであり、縦方向の長さは150μmである。また、カラーフィルタ配列はストライプ配列を使用した。なお、通常の二次元画像表示装置では、横に並んだ赤、緑、青色の3つのサブピクセルで1つの画素(トリプレット)を構成するが、本例ではこの制約を解いて用いた。
【0061】
光線制御子6は、液晶パネルの画素位置がほぼ焦点距離になるように設計したレンチキュラーレンズを用いた。レンズの水平ピッチはサブピクセル幅の12倍の600μmより若干狭くし、視距離1.0mで眼間距離の1/2ピッチ(=32.5mm)で16箇所に集光する設計とし、視距離における視域を画面幅相当とした。レンズは垂直から約14.0度ずらして設置した。
【0062】
次に、画像作成方法について述べる。それぞれの集光点の位置から(CGの場合は仮想の)カメラで透視投影法により視差画像16枚(解像度:800(×RGB)×600)を取得した。そして、図6のマッピングに従い、取得した全ての画像情報(800×RGB×600×16視差情報)をQUXGAパネルにマッピングした。三次元画像表示ピクセルの4行毎に左に1列シフトさせることで、列情報を維持した。ただし、図20に示したように、4n+1、4n+2行については左端の要素画像が、4n+3、4n行については右端の要素画像について、視差情報が欠落する(マッピングできない)部分ができた。例えば1〜5視差画像については、4n+1行の左端の要素画像を構成するための1列1行のデータは破棄することになった。6視差画像情報については要素画像における視差画像番号6が配分されたサブピクセルの色に応じた1サブピクセル情報のみ、7視差目については同様に2サブピクセル情報のみマッピングし、8視差画像情報以降は全てマッピングした。
【0063】
以上のように画像情報をマッピングし、前述のレンズを組み合わせて観察したところ、視距離1,0mをはじめその前後で多眼式の立体画像を視認することができた(眼間距離の1/2で集光させているので、視距離の前後にも立体視できる領域が発生した)。この多眼式三次元画像については、レンズを斜めにしたことにより、縦横解像度バランスが改善されたとともに、空間周波数が300cpr前後のコンテンツについては表示面の前後の最大±5cm程度の奥行き表示が可能となった。また、非表示部が原因の、観察位置の移動に伴う画面輝度変化は認められたものの、画面内の輝度ムラの発生(モアレ)は抑制されていた。
【0064】
(実施例2)
本実施例2では、図19に示した構造のIP式三次元画像表示装置を作製した。光線制御子の射出瞳のピッチが、画像表示装置のサブピクセルピッチの整数倍に設計することにより、多眼式とは異なり、視距離に集光点が発生させないようにした。以下、実施例1との相違点について記載する。
【0065】
レンズの水平ピッチはサブピクセル幅の4倍の600μmとし、視域が±15度になるように設計した。これにより、視距離1.0mで画面幅相当の視域(偽像が混入しないで観察できる領域)を確保することができる。レンズの傾きは約14.0度とした。視距離において、画面中央に注視点を設定し、(CGの場合は仮想の)カメラで水平方向が平行投影、垂直方向が透視投影法による視差画像28枚を取得した。視距離に集光点を設けないために、視距離から取得した透視投影画像を用いることができないIP方式において、その視距離で視域を最大化しようとした場合、視距離に集光点を設ける多眼式より視差画像取得数(画像取得カメラ位置)は多くなる。隣接する射出瞳同士で光線が平行になるようにした本実施例においても、基準視差数(=16)に対し、取得する平行投影視差画像(カメラ画像)数が多くなる。詳細は本出願人による特許出願(特願2002−382389号参照)。ここでは、視差画像は800(×RGB)×600の解像度で28方向より取得した。そして基本的には図6に示すマッピングに従い800×RGB×600×28視差情報をマッピングした。ただし、視差を考慮したIP方式では各要素画像からの画像情報が視域内で観察できるようにするために、離散的に(基準視差数+1)視差の要素画像を挟むことで、擬似的に要素画像幅>射出瞳ピッチ、の設計にすることができる。図21に一例を示す。視差画像番号1〜16からなる図21のマッピングを複数回繰り返した後、視差画像番号1〜17からなる図22のマッピングが発生する。その後、また図21と同じ面積だが、視差画像番号2〜17からなる要素画像が繰り返されるが、要素画像の形状は図21と若干異なる(図23参照)。
【0066】
また、IP方式であるがゆえ、28枚の視差画像を全て等しい解像度800(H)×600(V)で取得すると、使用しない画像情報が本質的に発生してしまう(詳細は、本出願人による特許出願(特願2002−382389号)参照)が、これに加えて実施例1同様、画面端の要素画像について視差情報を破棄する個所がある(図20参照)。
【0067】
以上、多眼式に比べて若干複雑ではあるが、800×600の画像情報をマッピング、前述のレンズを組み合わせて観察したところ、視距離1mを基準とした視域内でIP式の立体画像を視認することができた。このIP式三次元画像については、縦横解像度バランスが改善することで画質が向上するとともに、最大、表示面の前後±5cmの奥行き表示が可能となった。また、非表示部が原因で発生する画面内の輝度ムラ(モアレ)が観察されないとともに、観察位置に依存した輝度変化も完全に抑制された。また、視距離で集光点がないIP方式の特徴である滑らかな運動視差も実現された。
【0068】
(実施例3)
本実施例3では、実施例2とほぼ同様だが、基準視差数を25と増やした設計を採用した。光線制御子は、液晶パネルの画素位置が焦点距離になるように設計したレンチキュラーレンズを用いた。レンズの水平ピッチはサブピクセル幅の15倍の750μmとし、傾きを約11。3度とした。
【0069】
視距離において、画面中央を注視点を設定した(CGの場合は仮想の)カメラで垂直、水平とも平行投影法により視差画像44枚を取得した。この視差画像の解像度は640(×RGB)×480とした。基本的には図8のマッピングに従い640×RGB×480×25視差情報をマッピングした。図12に示したように、三次元画像表示ピクセルの5行毎に三次元画像表示ピクセル幅だけ左にシフトさせて列情報を維持した。また、5n+1、5n+2行については左端の2つの要素画像が、5n+3に関しては両端の、4n+4、5n行については右端の2つの要素画像が、視差情報が欠落する(マッピングできない)部分ができた。
【0070】
以上、多眼式に比べて若干複雑ではあるが、640×480の画像情報をマッピング、前述のレンズを組み合わせて観察したところ、視距離1.0mを基準とした視域内でIP式の立体画像を視認することができた。このIP式三次元画像については、縦横解像度バランスが改善することで画質が向上するとともに、最大、表示面の前後±15cmの奥行き表示が可能となった。また、非表示部が原因で発生する画面内の輝度ムラ(モアレ)が観察されないとともに、観察位置に依存した輝度変化も完全に抑制された。また、視距離で集光点がないIP方式の特徴である滑らかな運動視差も実現された。
【0071】
(実施例4)
本実施例4では、実施例2とほぼ同様だが、カラーフィルタ配列がモザイクの表示パネルを採用した。以下、実施例2との相違点について記載する。
【0072】
800(×RGB)×600の解像度で取得した28の視差画像について、図9に示すマッピングに従い800×RGB×600×28視差情報をマッピングした。IP方式では各要素画像からの画像情報が視域内で観察できるようにするために、離散的に(基準視差数+1)視差の要素画像を発生させた。これにレンズを組み合わせて観察したところ、視距離1mを基準とした視域内でIP式の立体画像を視認することができた。
【0073】
このIP式三次元画像については、縦横解像度バランスが改善することで画質が向上するとともに、最大、表示面の前後±5cmの奥行き表示が可能となった。また、非表示部が原因で発生する画面内の輝度ムラ(モアレ)が観察されないとともに、観察位置に依存した輝度変化も完全に抑制された。また、視距離で集光点がないIP方式の特徴である滑らかな運動視差も実現された。さらには、モザイク配列のカラーフィルタを採用したことから、レンズ越しに観察されるRまたはBまたはGがより分散され、RまたはBまたはGとして視認される領域が連続することによる表示阻害が抑制される傾向があった。
【0074】
(比較例1)
実施例1と同様の多眼式三次元表示装置において、レンズの傾きを9。5度と特許文献1相当に変更、これに応じてレンズの水平幅は16サブピクセルの1/2である、8サブピクセル幅相当の400μmとし、これに応じたマッピングも特許文献1と同様に実施した。この設計においては三次元画像の解像度は以下のようになった。
a=1/2
したがって(3200×3÷16÷a):(2400÷3×a)=1200:400
【0075】
すなわち、垂直解像度に比較して水平解像度が高い状態となった。よって、H(1200)×V(900)の視差画像を取得、水平情報を4/9の割合で取得(5/9を破棄)して画像情報をマッピングした。すなわち、無駄な視差画像情報の取得する分、画像作成に時間を要し、また複数方向から取得した各視差画像データを一時保存するためのメモリの容量もより大きなものを必要とした。また、表示された画像の解像度のバランスが悪く、水平情報に比較して垂直情報が乏しい印象を与えた。また、クロストーク量が実施例に比較して多く、表示面の前後±3cmの奥行き表示に抑制された。また、既存の解像度のコンテンツを表示する場合に、H(1200)×V(400)の解像度に直す必要が生じ、汎用性に乏しいデバイスとなった。
【0076】
(比較例2)
実施例2と同様のIP式三次元表示装置において、レンズの傾きを18.4度とした。
この傾きの場合、垂直解像度を水平解像度に振り分ける効果がない。そのため、レンズの水平幅は16サブピクセル幅相当の800μmとし、これに応じたマッピング(斜め方向に連続したRGBサブピクセルでグルーピング)を実施した。この設計においては三次元画像の解像度は以下のようになった。
a=1
したがって(3200×3÷16÷a):(2400÷3×a)=600:800
【0077】
すなわち、水平解像度に比較して垂直解像度が高い状態となった。よって、H(1600)×V(1200)の視差画像を取得、水平方向に関しては3/8、垂直方向に関しては2/3のデータのみを取得、残りを破棄して画像情報をマッピングした。すなわち、破棄するデータがある分、視差画像情報の取得に時間を要した。また、表示された画像の解像度のバランスが悪く、垂直情報に比較して水平情報が乏しい印象を与えた。また、既存の解像度のコンテンツを表示する場合に、H(600)×V(800)の解像度に直す必要が生じ、汎用性に乏しいデバイスとなった。
【図面の簡単な説明】
【0078】
【図1】本発明の一実施形態による三次元画像表示装置における二次元画像表示素装置の画素列と、光線制御子の単一の射出瞳を経由して単眼で観察される領域の傾き角を示す図。
【図2】本発明の一実施形態による三次元画像表示装置の概要を説明する図。
【図3】従来の三次元画像表示装置における二次元画像表示装置の画素列と、光線制御子の単一の射出瞳を経由して単眼で観察される領域の傾き角を示す図。
【図4】本発明の一実施形態による三次元画像表示装置を単眼で観察した際のRGBサブピクセルの配置を示す図。
【図5】従来の三次元画像表示装置を単眼で観察した際のRGBサブピクセルの配置を示す図。
【図6】本発明の一実施形態の特性を示す図であって、図6(a)は光線制御子の単一の射出瞳の傾きをarctan(1/4)にした際の、ストライプ配列のカラーフィルタを用いた表示素子上への視差画像の配置を示す図であり、図6(b)は複数の要素画像の相対位置を示す図である。
【図7】本発明の一実施形態の特性を示す図であって、図7(a)光線制御子の単一の射出瞳の傾きをarctan(1/4)にした際のストライプ配列のカラーフィルタを用いた表示素子上への複数の要素画像の配置を示す図であり、図7(b)は、図7(a)に示す要素画像と組み合わせる光線制御子の外観を示す図。
【図8】本発明の一実施形態の三次元画像表示装置において、光線制御子の単一の射出瞳の傾きをarctan(1/4)にした際の、異なる複数の方向から平行投影法により低解像度で取得した視差画像を構成する画素情報の、三次元画像表示装置への割り振りを示す図である。
【図9】本発明の一実施形態の三次元画像表示装置において、光線制御子の単一の射出瞳の傾きをarctan(1/4)にした際の、モザイク配列のカラーフィルタを用いた表示素子上への視差画像の配置を示す図。
【図10】本発明の一実施形態の三次元画像表示装置において、光線制御子の単一の射出瞳の傾きをarctan(1/4)にした際のモザイク配列のカラーフィルタを用いた表示素子上への複数の要素画像の配置を示す図。
【図11】本発明の一実施形態の特性を示す図であって、図11(a)は光線制御子の単一の射出瞳の傾きをarctan(1/5)にした際の、ストライプ配列のカラーフィルタを用いた表示素子上への視差画像の配置を示す図、図11(b)は複数の要素画像の相対位置を示す図。
【図12】本発明の一実施形態において、光線制御子の単一の射出瞳の傾きをarctan(1/5)にした際のストライプ配列のカラーフィルタを用いた表示素子上への複数の要素画像の配置を示す図。
【図13】本発明の一実施形態において、光線制御子の単一の射出瞳の傾きをarctan(1/5)にした際のモザイク配列のカラーフィルタを用いた表示素子上への視差画像の配置を示す図。
【図14】本発明の一実施形態において、光線制御子の単一の射出瞳の傾きをarctan(1/5)にした際のモザイク配列のカラーフィルタを用いた表示素子上への複数の要素画像の配置を示す図。
【図15】傾きがない光線制御子を経由して視認される視差画像番号を示す図。
【図16】傾き角がarctan(1/6)である光線制御子の単一の射出瞳を経由して視認される視差画像番号を示す図。
【図17】傾き角がarctan(1/4)である光線制御子の単一の射出瞳を経由して視認される視差画像番号を示す図。
【図18】傾き角がarctan(1/5)である光線制御子の単一の射出瞳を経由して視認される視差画像番号を示す図。
【図19】本発明の実施例1による三次元画像表示装置の構成を示す図。
【図20】画面端の要素画像の形状の一例を示す図。
【図21】基準視差数から成る要素画像の発生を示す図。
【図22】三次元画像表示装置の視域を最大化する目的で発生した基準視差数+1から成る要素画像の発生を示す図。
【図23】基準視差数から成る要素画像と、基準視差数+1から成る要素画像の分布の様子を示す図。
【図24】三次元画像表示装置の一般的な構成を示す図。
【図25】水平方向と垂直方向の解像度の低下の割合を一致させた場合の、視差数Nと、垂直解像度が水平解像度に割り振られる割合aと、要素画像サイズとの関係を示す図。
【符号の説明】
【0079】
2 サブピクセル
3 表示素子上に焦点を一致させた光線制御子の単一の射出瞳を経由して単眼で観察される領域
4 サブピクセル開口部
5 ブラックマトリクス
6 光線制御子
7 レンチキュラーレンズ
8 三次元画像表示用ピクセル
9 三次元表示用サブピクセル
10 視差画像番号
11 単一の射出瞳に対応した要素画像が表示された範囲
12 ある方向から取得した視差画像(二次元画像)
13 視差画像を構成するピクセル
14 二次元画像表示素子
15 光線制御子を経由して観察される視差番号の割合
16 バックライト
【特許請求の範囲】
【請求項1】
要素画像を表示する画素群を構成する画素がマトリックス状に配置される二次元画像表示装置と、
前記画素群に対応付けられた射出瞳を有し、前記画素群の画素からの光線を制御する光線制御子と、
を備え、
前記光線制御子の前記射出瞳は略垂直方向に連続した構造をとり、前記画素はRGBのサブ画素から構成され、前記サブ画素は縦:横が3:1の縦長の形状を有し、前記射出瞳の連続した方向と、前記二次元画像表示装置の画素配列の列方向とのなす角度が、nを3の倍数と異なる自然数としたとき、arctan(1/n)で与えられ、三次元画像の水平解像度と垂直解像度との比が前記二次元画像表示装置の水平解像度と垂直解像度との比に一致するように構成されたことを特徴とする三次元画像表示装置。
【請求項2】
基準視差数Nがnの二乗n2で与えられることを特徴とする請求項1記載の三次元画像表示装置。
【請求項3】
nは4または5であることを特徴とする請求項1または2記載の三次元画像表示装置。
【請求項4】
前記要素画像を構成する画素領域が略正方形になっていることを特徴とする請求項1乃至3のいずれかに記載の三次元画像表示装置。
【請求項5】
前記要素画像の形成領域が略n行×n列の正方領域であり、同一視差番号を有するRGBサブ画素が、要素画像を形成するn行のうち、互いに異なる3行にわたって位置していることを特徴とする請求項4記載の三次元画像表示装置。
【請求項6】
前記要素画像の形成領域が略n行×n列の正方領域であり、同一視差番号を有するRGBサブ画素が、要素画像を形成するn行のうち、互いに異なる3列にわたって位置していることを特徴とする請求項4記載の三次元画像表示装置。
【請求項7】
要素画像を表示する画素領域を形成する複数のサブ画素の中でも、射出瞳を経由して観察できる位置が近いR,G,Bの3つのサブ画素をグルーピングして同一の視差番号が配されることを特徴とする請求項5または6記載の三次元画像表示装置。
【請求項8】
同一の視差番号を有するRGBサブ画素の配置が、所属する要素画像が異なっても同一であることを特徴とする、請求項1または2記載の三次元画像表示装置。
【請求項9】
各要素画像において、要素画像を構成するための各視差画像のRGBのレイアウトがn視差ごとに同一であることを特徴とする請求項1または2記載の三次元画像表示装置。
【請求項10】
複数の要素画像をまたがる単一の列で見た場合に、上に向かって視差番号が1から基準視差数Nまで連続的に増加し、これを繰り返すことを特徴とする請求項1または2記載の三次元画像表示装置。
【請求項1】
要素画像を表示する画素群を構成する画素がマトリックス状に配置される二次元画像表示装置と、
前記画素群に対応付けられた射出瞳を有し、前記画素群の画素からの光線を制御する光線制御子と、
を備え、
前記光線制御子の前記射出瞳は略垂直方向に連続した構造をとり、前記画素はRGBのサブ画素から構成され、前記サブ画素は縦:横が3:1の縦長の形状を有し、前記射出瞳の連続した方向と、前記二次元画像表示装置の画素配列の列方向とのなす角度が、nを3の倍数と異なる自然数としたとき、arctan(1/n)で与えられ、三次元画像の水平解像度と垂直解像度との比が前記二次元画像表示装置の水平解像度と垂直解像度との比に一致するように構成されたことを特徴とする三次元画像表示装置。
【請求項2】
基準視差数Nがnの二乗n2で与えられることを特徴とする請求項1記載の三次元画像表示装置。
【請求項3】
nは4または5であることを特徴とする請求項1または2記載の三次元画像表示装置。
【請求項4】
前記要素画像を構成する画素領域が略正方形になっていることを特徴とする請求項1乃至3のいずれかに記載の三次元画像表示装置。
【請求項5】
前記要素画像の形成領域が略n行×n列の正方領域であり、同一視差番号を有するRGBサブ画素が、要素画像を形成するn行のうち、互いに異なる3行にわたって位置していることを特徴とする請求項4記載の三次元画像表示装置。
【請求項6】
前記要素画像の形成領域が略n行×n列の正方領域であり、同一視差番号を有するRGBサブ画素が、要素画像を形成するn行のうち、互いに異なる3列にわたって位置していることを特徴とする請求項4記載の三次元画像表示装置。
【請求項7】
要素画像を表示する画素領域を形成する複数のサブ画素の中でも、射出瞳を経由して観察できる位置が近いR,G,Bの3つのサブ画素をグルーピングして同一の視差番号が配されることを特徴とする請求項5または6記載の三次元画像表示装置。
【請求項8】
同一の視差番号を有するRGBサブ画素の配置が、所属する要素画像が異なっても同一であることを特徴とする、請求項1または2記載の三次元画像表示装置。
【請求項9】
各要素画像において、要素画像を構成するための各視差画像のRGBのレイアウトがn視差ごとに同一であることを特徴とする請求項1または2記載の三次元画像表示装置。
【請求項10】
複数の要素画像をまたがる単一の列で見た場合に、上に向かって視差番号が1から基準視差数Nまで連続的に増加し、これを繰り返すことを特徴とする請求項1または2記載の三次元画像表示装置。
【図1】
【図2】
【図3】
【図4】
【図7】
【図8】
【図10】
【図12】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図24】
【図25】
【図5】
【図6】
【図9】
【図11】
【図13】
【図20】
【図21】
【図22】
【図23】
【図2】
【図3】
【図4】
【図7】
【図8】
【図10】
【図12】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図24】
【図25】
【図5】
【図6】
【図9】
【図11】
【図13】
【図20】
【図21】
【図22】
【図23】
【公開番号】特開2007−140553(P2007−140553A)
【公開日】平成19年6月7日(2007.6.7)
【国際特許分類】
【出願番号】特願2007−25794(P2007−25794)
【出願日】平成19年2月5日(2007.2.5)
【分割の表示】特願2005−28905(P2005−28905)の分割
【原出願日】平成17年2月4日(2005.2.4)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
【公開日】平成19年6月7日(2007.6.7)
【国際特許分類】
【出願日】平成19年2月5日(2007.2.5)
【分割の表示】特願2005−28905(P2005−28905)の分割
【原出願日】平成17年2月4日(2005.2.4)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】
[ Back to top ]