説明

3次元画像表示装置

【課題】 現状の多眼立体ディスプレイにおいては、観察者の視点移動の際に立体画像の画像飛び・画像の切り変わりを顕著に知覚し、連続的な立体物としては違和感を覚える。また、立体映像の呈示条件に影響を受け、同一コンテンツでもディスプレイ面からの乖離量(飛び出し量)が大きいほど、画像飛び・画像の切り替わりを顕著に知覚し、違和感を覚えるという課題があった。
【解決手段】 3つ以上の視差画像情報をもとに多眼立体映像を再生する装置において、観察者が多眼立体映像を鑑賞する際、呈示される立体物の乖離量に対応したクロストーク量でのクロストーク画像の鑑賞領域を設け、加えて、乖離量にあった視差画像の画像分離幅で呈示することによって、画像飛び・画像の切り替わりが知覚されない3次元映像を提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、観察者の水平頭部運動により観察される多眼立体映像の切り替わり・画像とびを目立たなくし、連続的な立体映像を表示可能な空間分割式の多眼立体ディスプレイに関するものである。
【背景技術】
【0002】
従来の運動視差を表現する多視点画像表示装置として、パララックス・パノラマグラム方式がある。
【0003】
図11は、パララックス・パノラマグラム方式の多視点画像表示装置1001の一例であり、8個の異なるストライプ画像1〜8を多視点画像表示装置1001から距離L0の観察位置400に水平方向に分離して表示することが可能なものである。
【0004】
多視点画像表示装置1001は、表示デバイス201とマスク301から構成される。
【0005】
表示デバイス201は、CRTや液晶ディスプレイやプラズマディスプレイなどから成り、8個の異なる位置から撮影した画像を用いて作成したストライプ合成視差画像(以下合成画像)が表示される。
【0006】
表示デバイス201の表示面側には、縦スリット状の開口311と遮光321を水平方向に複数並べたマスク301を設けている。
【0007】
図12と図13は多視点画像の入力と合成を説明するものである。
【0008】
図12の被写体401を水平方向に等間隔eで並べられた8個のカメラ511〜518を備えた複眼カメラ501を用いて入力する。図13に、カメラ511〜518で撮影された夫々8個の画像611〜618を示す。前記8個の異なるカメラから撮影した画像611〜618は、縦長の短冊状に分割され、これらの短冊画像を水平方向に、順次繰り返し並べて合成し、合成視差画像601が作成される。
【0009】
図10は多視点画像表示装置1001の水平方向断面図である。
【0010】
観察者は多視点画像表示装置1001から距離L0の幅8eの領域において、水平方向の視点(観察位置)の移動に応じて連続的な運動視差を持った自然な立体画像を観察することができる。
【0011】
eの領域が1視点分の視差画像の観察量域となり、観察者がe水平移動すると隣の視点の視差画像の鑑賞域に入ることから、この領域eが、観察面での画像分離幅となる。
【0012】
上記の例として、下記特許文献1をあげることが出来る。
【特許文献1】特開2006−106608号公報
【発明の開示】
【発明が解決しようとする課題】
【0013】
ところで、前述従来例の多視点画像表示装置では、運動視差は再現されるが、多数の映像によって視差が離散化されているため、眼の位置を水平方向に画像分離幅移動する間に、必ず1度は映像の変わり目を知覚してしまう。
【0014】
図6が、図10の多視点画像表示装置1001の観察面400での輝度分布波形の説明図である。図6の601〜605が、開口幅311を通過した観察面400での輝度分布波形の一例の三角波形である。
【0015】
観察眼501では視点1に対応する視差画像を最大輝度で観察でき、また、観察眼503でも、視点2に対応する視差画像を、輝度波形(三角波)の頂点である最大輝度で観察できる。しかし、観察眼502では、隣り合う視点1と視点2の境界点となり、輝度波形の最小値で視差画像を観察することとなる。時には、この境界点では視差画像が黒く見えてしまうこともある。
【0016】
このような輝度波形上を観察眼が通過することで、輝度の変化を通じ、映像の切り換わりを知覚されてしまうという不都合が生じる。
【0017】
また、図7が、図10の多視点画像表示装置1001で乖離量の違う立体物を呈示する際、ディスプレイ面201に表示される合成画像のもととなる視差画像(視差量)の違いを説明する図である。
【0018】
観察距離L0で、視点1に対応する観察眼501と画像分離幅e水平方向に移動し、視点2に対応する観察眼503の2眼で立体物を観察すると仮定した場合、ディスプレイ表示面350から乖離量B10の立体物B1を構成する視差画像はB11とB12となり、B11とB12の視差量はB13となる。
また、乖離量B20の立体物B2を構成する視差画像はB21とB22となり、B21とB22の視差量はB23となる。
【0019】
このように、多視点画像表示装置1001に呈示する立体映像の乖離量(飛び出し量)が、ディスプレイ面から乖離する(飛び出し量が大きい)ほど、ディスプレイ面201に表示される合成画像を構成する視差画像の視差量が大きくなる(B13<B23)。
【0020】
このため、視差量が大きいほど水平方向の移動量に対し、映像の変化量が大きくなり、このことが「画像跳び(flipping)」として顕著に知覚され、その結果、連続的な立体画像として知覚されないという不都合が生じる。
【課題を解決するための手段】
【0021】
本発明は、前述従来例の問題点を除去し、観察者の水平頭部運動による観察者眼の位置を左右に動かすことにより知覚する多眼立体映像の切り替わり・画像跳びを目立たなくし、連続的な立体映像を表示可能な多眼立体ディスプレイを提供することを目的とする。
【0022】
本発明にかかる3次元画像表示装置は、
N視点(Nは3以上の自然数)からの視差画像情報を入力とし,M(Mは3以上の自然数)通りの異なる方向に独立に視差画像を鑑賞者に呈示する3次元画像表示装置において、
呈示する立体画像の呈示位置とディスプレイ面との乖離量に応じて、視差画像同士のクロストーク量を変化させる手段を有することを特徴とする。
【0023】
特に、呈示する立体画像の呈示位置とディスプレイ面との乖離量が大きくなるにつれ、視差画像同士のクロストーク量を単調減少させる手段を有することを特徴としている。
【0024】
また、N>Mなる条件において、呈示する立体画像の呈示位置とディスプレイ面との乖離量に応じて、視差画像の画像分離幅を変化させる手段を有することを特徴とする。
【0025】
特に、N>Mなる条件において、呈示する立体画像の呈示位置とディスプレイ面との乖離量に応じて、視差画像の画像分離幅を単調減少させる手段を有することを特徴としている。
【0026】
また、前記3次元画像表示装置において、観察者が呈示する立体画像の飛び出し量・呈示範囲を判断し、飛び出し量を入力する手段を有することを特徴としている。
【0027】
また、前記3次元画像表示装置において、呈示する立体画像の飛び出し量を、立体画像を構成する視差画像情報のヘッダ領域内に記録された呈示位置情報を読み取り、飛び出し量を検出することを特徴としている。
【0028】
また、前記3次元画像表示装置において、呈示する立体画像の飛び出し量を、立体画像を構成する視差画像情報間の相関から飛び出し量を検出することを特徴としている。
【発明の効果】
【0029】
3つ以上の視差画像情報をもとに多眼立体映像を再生する装置において、観察者が多眼立体映像を鑑賞する際、呈示される立体物の乖離量に対応したクロストーク量でのクロストーク画像の鑑賞領域を設け、加えて、乖離量にあった視差画像の画像分離幅で呈示することによって、画像飛び・画像の切り替わりが知覚されない3次元映像を提供できる。
【発明を実施するための最良の形態】
【0030】
次に、本発明の詳細を実施例の記述に従って説明する。
【0031】
図1は、同装置の第一の実施形態を示す概略図である。
【0032】
図中201はディスプレイであり、例えばバックライト光源を有する液晶素子(LCD)などであり、その表示面はマトリックス構造の多数の画素から成り、ノーインターレースの走査線によって画像を表示する。1〜8は、ディスプレイ201の画素表示面に表示する後述のストライプ視差画像の状態を模式的に表した模式図である。450は、ディスプレイ201に表示されたストライプ視差画像1〜8が、後述する301を通過し、観察面400で観察されるストライプ合成画像1〜8を模式的に表した図である。
【0033】
301は空間光変調素子であり、透過型液晶素子などで構成しており、その表示面はマトリックス構造の多数の画素からなっており、ディスプレイ201にストライプ視差画像を表示する際は所定のピッチの光透過部(開口部)311と光遮光部321を水平方向に配列してパララックス・バリアパターン(開光パターン)を形成する(表示する)。
【0034】
A1は、後述するストライプ視差画像の基となるN系統の原視差画像の視差画像ソースであり、A2は立体物の乖離量入力手段、A3は空間光変調素子301の開口部311の幅と、観察面400で観察されるストライプ合成画像の画像分離幅eを決定する開口幅/表示幅の判断手段、A4は後述のストライプ視差画像の画像処理手段、A5は空間光変調素子を駆動させるバリア駆動回路、A6はディスプレイ201を駆動させるディスプレイ駆動回路である。
【0035】
視差画像ソースA1は、前記従来技術で説明した図12と同様なものであり、例えば多チャンネルのカメラ511〜518から入力されたVTR、或いは被写体の3次元データなどから構成されている。以下これからの複数の画像及び3次元データを視差画像情報と呼ぶことにする。なお、多チャンネルのVTR、多チャンネル撮像装置等では複数の画像を有しているが、これらの画像から視差画像(視差の有る画像)が選択されるので、これらの複数の画像を原視差画像と呼ぶことにする。
【0036】
立体物の乖離量入力手段A2は、観察者が観察したい視差画像情報を後述するディスプレイ駆動回路A6、バリア駆動回路A5を用い、観察面400で立体像として観察し、立体画像の主被写体、もしくは、最もディスプレイ面350から乖離した被写体を基準に、ディスプレイからの乖離量を判断し入力する手段である。入力手段は、複数のボタンから構成された入力デバイスにより、乖離量を入力する手段、また、例えば、ディスプレイ面を基準に±0.05D(D:ディオプターは、メートルの逆数)、±0.10D、±0.15Dという具合に複数の乖離条件に対応したボタンから構成された入力デバイスを用い、観察者が判断し入力する手段などが考えられる。
【0037】
図2は開口幅/表示幅の判断手段A3を説明したフローチャートであり、前記乖離量入力手段A2より選られた立体像のディスプレイ面350からの乖離量を基に、最適なマスクの開口幅311、ストライプ合成画像の画像分離幅eを決定する。
【0038】
前記乖離量入力手段A2より乖離量Jが入力された場合、乖離量Jが乖離条件F1を満たすため開口幅Gが、バリア駆動手段A5に伝えられる。加えて、画像分離幅Dが画像合成手段A4に伝えられる。乖離量Kが入力された場合、乖離条件F2を満たすため、開口幅Hがマバリア駆動手段A5に伝えられ、加えて、画像分離幅Eが画像処理手段A4に伝えられる。乖離量Lが入力された場合、乖離条件F3を満たすため、開口幅Iをバリア駆動手段に伝え、加えて、画像分離幅Fが画像合成手段に伝えられる。
【0039】
図8は乖離量とマスクの開口幅311の関係を示したグラフであり、乖離量が大きくなるほど、マスクの開口幅が単調減少するという関係を示した一例である。
【0040】
図9は乖離量と画像分離幅の関係を示したグラフであり、乖離量が大きくなるほど、観察面でのストライプ合成画像の画像分離幅eが単調減少するという関係を示した一例である。
【0041】
A5はバリア駆動回路であり、開口幅/表示幅の判断手段A3からの開口幅信号により空間光変調素子301を駆動してその上にパララックス・バリアパターンを形成する。以下、開口幅を変化させたときの効果を説明する。
【0042】
図3に、表示デバイス201に表示されたストライプ視差画像が、開口幅O1(O1≒0)の空間光変調素子301を通過した観察面上での輝度分布波形を示す。
【0043】
ストライプ視差画像2の両端から開口幅O1を通り観察面400まで伸ばした線S1とS2が、観察位置400で交わる点T1と点T3の間隔R2が、視点2の観察領域となる。ストライプ視差画像2の中心から開口幅O1を通り観察位置400まで伸ばした点線TS1と、観察位置400が交わる点T2が視点2の観察領域R2の中心である。
【0044】
また、ストライプ表示画像3の両端から開口幅O1を通り観察面400まで伸ばした線S2とS3が、観察位置400で交わる点T3と点T5の間隔R3が、視点3の観察領域となる。ストライプ表示画像3の中心から開口幅O1を通り観察位置400まで伸ばした点線TS2と、観察位置400が交わる点T4が視点3の観察領域R3の中心である。
【0045】
W2が視点2の観察領域R2の観察面上での輝度分布波形であり、W3が視点3の観察領域R3の観察面上での輝度分布波形である。
【0046】
視点2の観察領域R2と視点3の観察領域R3の境界点T3での輝度が最小値となり、視点2の中心点T2と視点3の中心点T4が最大値となる。
【0047】
図4に開口幅O2(O1<O2)での観察面上での輝度分布波形を示す。
【0048】
ストライプ視差画像2の両端から開口幅O2の両端を通り観察面400まで伸ばした線S1とS2が、観察位置400で交わる点T1と点T31の間隔R2が、視点2の観察領域となる。ストライプ表示画像2の中心から開口幅O2の両端を通り観察位置400まで伸ばした点線TS1と、観察位置400が交わる点T2が視点2の観察領域R2の中心である。
【0049】
また、ストライプ表示画像3の両端から開口幅O2の両端を通り観察面400まで伸ばした線S31とS32が、観察位置400で交わる点T51と点T32の間隔R3が、視点3の観察領域となる。ストライプ表示画像3の中心から開口幅O2の両端を通り観察位置400まで伸ばした点線TS2と、観察位置400が交わる点T4が視点3の観察領域R3の中心である。
【0050】
W2が視点2の観察領域R2の観察面上での輝度分布波形であり、W3が視点3の観察領域R3の観察面上での輝度分布波形である。
【0051】
CTが、視点2の観察領域R2と視点3の観察領域R3が重なる領域(クロストーク領域)である。故に前記クロストーク領域CTでは、視点2の輝度分布波形W2と視点3の輝度分布波形W3の輝度が加算される領域となり、視点2の中心点T2と視点3の中心点T5の最大輝度との輝度差Δが、開口幅O1の時に比べ少なくなる。
【0052】
A4は画像処理手段であり、前記従来技術で示した図13のような視差画像の合成を行う処理手段である。開口幅/表示幅の判断手段A5より得られた最適な画像分離幅eから、表示デバイス201上での視差画像の表示幅H1を算出し、算出された表示幅で全視差画像を水平方向に分割し、縦長のストライプ状のストライプ視差画像を生成して、それらを交互に並べて1枚のストライプ画像に合成する手段である。
【0053】
図3を用い、開口幅/表示幅の判断手段A5から視差画像の表示幅H1の算出式の一例を説明する。画像分離幅eは、視点2の画像鑑賞域R2、視点3の画像鑑賞域R3と等しく、鑑賞位置400と表示デバイス201とマスク301とは平行関係にあることから、以下の関係が成り立つ。
【0054】
R2:L0=H1:L1
ディスプレイの設計値でL1とL0が決定し、開口幅/表示幅の判断手段A5から画像分離幅eであるR2が得られるため、以下の式でH1が算出される。
【0055】
H1=R2*L1/L0
A6はディスプレイ駆動回路であり、画像処理手段A4が合成して出力する図13のストライプ合成画像601をディスプレイの表示面に表示する。
【0056】
本実施形態のストライプ合成画像601とパララックス・バリアパターンとの関係について図3を用い説明する。観察者の両眼間隔(基線長)をPD、観察距離をL0、表示デバイス201と空間光変調素子(パララックス・バリア)301との間隔をL1、空間光変調素子301に形成したパララックス・バリアパターンの開口部の幅をO1、表示デバイス201に表示するストライプ合成画像を構成するストライプ画素の表示幅をH1とすると、立体視を得るためにはこれらの間には以下の関係を満足させる必要がある。
【0057】
・L1=H1*L0/(PD+H1)
・O1=H1*(L0−L1)/L0
なお、実際には観察位置400において観察幅は有限の広がりをもつので、これらの諸量は若干変更して設定されることになる。
【0058】
図5は、同装置の第二の実施形態を示す概略図である。
【0059】
A11の視差画像ソース以外は、上述した第一の実施形態と基本的には同じなので、説明は省略する。
【0060】
視差画像ソースA11は、実施形態1の視差画像ソースA1に加え、図12のカメラ511〜518で撮影者が撮影のために設定したカメラの焦点距離情報と、主被写体までの焦点距離情報データ、もしくはこの焦点距離の差分の飛び出し量(乖離量)データが、視差画像ソースの画像フォーマットのヘッダ領域内に記録され、このデータが乖離量として、開口幅/表示幅の判断手段A3に入力するものである。
【0061】
もしくは、複眼カメラの2つのカメラから入力された視差画像の同一走査線同士の相関係数を算出し、相関係数が大きくなるほど、乖離量(飛び出し量)が大きいと判断し、相関係数を乖離量として、開口幅/表示幅の判断手段A3に入力するものである。
【図面の簡単な説明】
【0062】
【図1】同装置の第1の実施形態を示す概略図
【図2】開口幅/画像分離幅の判断手段
【図3】マスクの開口幅(小)と観察面での輝度分布波形を示した概略図
【図4】マスクの開口幅(大)と観察面での輝度分布波形を示した概略図
【図5】同装置の第2の実施形態を示す概略図
【図6】観察面での輝度分布波形を示した図
【図7】乖離量の異なる立体物の視差量の違いを示した図
【図8】乖離量とマスクの開口幅の関係を示した図
【図9】乖離量と画像分離幅の関係を示した図
【図10】多視点表示装置の水平方向の断面図
【図11】パララックス・パノラマグラム方式の多視点表示装置の概略図
【図12】視差画像の入力に関する説明図
【図13】視差画像の合成方法の説明図
【符号の説明】
【0063】
1〜8 ストライプ視差画像(201上)、および、ストライプ合成画像(400上)
201 表示デバイス
301 マスク
311 マスクの開口部
321 マスクの遮光部
350 ディスプレイの表示面
1001 多視点画像表示装置
L0 観察距離
L1 表示デバイスとマスクの距離
400 観察位置
450 鑑賞面
401 被写体
e 画像分離幅
511〜518 カメラ
501 複眼カメラ
611〜618 カメラ511〜518の撮影画像
601 ストライプ合成画像
601〜605 輝度分布波形
501〜503 観察眼
B1 乖離量B10の立体物
B11 乖離量B10の視差画像
B12 乖離量B10の視差画像
B13 乖離量B10の視差量
B10 乖離量
B2 乖離量B20の立体物
B21 乖離量B20の視差画像
B22 乖離量B20の視差画像
B23 乖離量B20の視差量
B20 乖離量
A1 実施形態1の視差画像ソース
A11 実施形態2の視差画像ソース
A2 立体物の乖離量入力手段
A3 開口幅/表示幅の判断手段
A4 画像処理手段
A5 バリア駆動回路
A6 ディスプレイ駆動回路
F1 乖離量の判断条件
F2 乖離量の判断条件
F3 乖離量の判断条件
D 画像分離幅 大
E 画像分離幅 中
F 画像分離幅 小
G 開口幅 大
H 開口幅 中
H1 表示幅
I 開口幅 小
J 乖離量 小
K 乖離量 中
L 乖離量 大
S1 光線
S2 光線
S3 光線
S4 光線
TS1 光線
TS2 光線
O1 開口幅 小
O2 開口幅 大
T1 光線と観察位置との交点
T2 光線と観察位置との交点
T3 光線と観察位置との交点
T31 光線と観察位置との交点
T32 光線と観察位置との交点
T4 光線と観察位置との交点
T5 光線と観察位置との交点
TS1 光線
TS2 光線
CT クロストーク領域
R2 画像分離幅
R3 画像分離幅
W2 輝度分布
W3 輝度分布

【特許請求の範囲】
【請求項1】
N視点(Nは3以上の自然数)からの視差画像情報を入力とし,M(Mは3以上の自然数)通りの異なる方向に独立に視差画像を鑑賞者に呈示し、呈示する立体画像の呈示位置とディスプレイ面との乖離量に応じて、視差画像同士のクロストーク量を変化させる手段を有することを特徴とする3次元画像表示装置。
【請求項2】
N視点(Nは3以上の自然数)からの視差画像情報を入力とし,M(Mは3以上の自然数)通りの異なる方向に独立に視差画像を鑑賞者に呈示し、呈示する立体画像の呈示位置とディスプレイ面との乖離量が大きくなるにつれ、視差画像同士のクロストーク量を単調減少させる手段を有することを特徴とする請求項1に記載の3次元画像表示装置。
【請求項3】
N視点(Nは3以上の自然数)からの視差画像情報を入力とし,M(Mは3以上の自然数)通りの異なる方向に独立に視差画像を鑑賞者に呈示し、N>Mなる条件において、呈示する立体画像の呈示位置とディスプレイ面との乖離量に応じて、視差画像の画像分離幅を変化させる手段を有することを特徴とする3次元画像表示装置。
【請求項4】
N視点(Nは3以上の自然数)からの視差画像情報を入力とし,M(Mは3以上の自然数)通りの異なる方向に独立に視差画像を鑑賞者に呈示し、N>Mなる条件において、呈示する立体画像の呈示位置とディスプレイ面との乖離量に応じて、視差画像の画像分離幅を単調減少させる手段を有することを特徴とする請求項3に記載の3次元画像表示装置。
【請求項5】
N視点(Nは3以上の自然数)からの視差画像情報を入力とし,M(Mは3以上の自然数)通りの異なる方向に独立に視差画像を鑑賞者に呈示し、観察者が呈示する立体画像の飛び出し量・呈示範囲を判断し、飛び出し量を入力する手段を有することを特徴とする請求項1〜請求項4のいずれかに記載の3次元画像表示装置。
【請求項6】
N視点(Nは3以上の自然数)からの視差画像情報を入力とし,M(Mは3以上の自然数)通りの異なる方向に独立に視差画像を鑑賞者に呈示し、呈示する立体画像の飛び出し量を、立体画像を構成する視差画像情報のヘッダ領域内に記録された呈示位置情報を読み取り、飛び出し量を検出することを特徴とする請求項1〜請求項4のいずれかに記載の3次元画像表示装置。
【請求項7】
N視点(Nは3以上の自然数)からの視差画像情報を入力とし,M(Mは3以上の自然数)通りの異なる方向に独立に視差画像を鑑賞者に呈示し、呈示する立体画像の飛び出し量を、立体画像を構成する視差画像情報間の相関係数から飛び出し量を検出することを特徴とする請求項1〜請求項4のいずれかに記載の3次元画像表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2010−14891(P2010−14891A)
【公開日】平成22年1月21日(2010.1.21)
【国際特許分類】
【出願番号】特願2008−173592(P2008−173592)
【出願日】平成20年7月2日(2008.7.2)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】