立体映像表示装置および立体映像表示方法
【課題】立体映像の観察のための集中を楽にし、重畳画像の確認をしやすくする。
【解決手段】信号入力部101は立体映像信号を含む信号を取得する。左右映像分離部102は、信号入力部101が取得した立体映像信号を左目用映像信号と右目用映像信号に分離する。拡大縮小部104は拡大縮小のそれぞれの中心を基準点として左目用映像信号と右目用映像信号を変更する。左右映像合成部105は拡大縮小部104が拡大または縮小した左目用映像信号と右目用映像信号を合成する。表示部106は左右映像号合成部105が合成した立体映像信号を表示する。
【解決手段】信号入力部101は立体映像信号を含む信号を取得する。左右映像分離部102は、信号入力部101が取得した立体映像信号を左目用映像信号と右目用映像信号に分離する。拡大縮小部104は拡大縮小のそれぞれの中心を基準点として左目用映像信号と右目用映像信号を変更する。左右映像合成部105は拡大縮小部104が拡大または縮小した左目用映像信号と右目用映像信号を合成する。表示部106は左右映像号合成部105が合成した立体映像信号を表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、左目用映像と右目用映像とをそれぞれ左目と右目で観察することで観察者が立体視できる立体映像表示装置および立体映像表示方法に関する。
【背景技術】
【0002】
立体映像の立体感を損なうことなく、立体放送番組視聴中に緊急放送などのテロップを画面に表示する方法として、受信信号にテロップデータがあることを判別するとパイロットランプを点灯させ、観察者がそれに気がついてリモコン操作をすると、視差の付加されたテロップ情報が映像表示部にOSD表示される技術が特開平10−327430号公報(特許文献1)に開示されている。また、立体映像及びそのフレーム内でテロップを付与したい立体視オブジェクトを認識し、自動的に立体視オブジェクトの傍に視差の付加されたテロップを付与する技術が特開2006−32516号公報(特許文献2)に開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平10−327430号公報
【特許文献2】特開2006−32516号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示された技術では、立体映像の視聴において観察者は立体映像の特に至近の映像に集中して観察するため、表示装置の距離にあるパイロットランプに気が付かず、また気が付くと眼の輻輳が至近映像から離れてしまうことで至近の映像に集中できないなどの課題があった。また、特許文献2に開示された、立体映像中にテロップを付与する技術においても、映像オブジェクトに関連したテロップばかりでは無いため、映像オブジェクトに関連しないテロップに対しては適切な表示ができるものではないという課題があった。
そこで本発明は、立体映像の観察において観察のための集中を楽にすることと、そのことでテロップや各種のOSD等(以下、重畳画像という)の確認をしやすくすることとを備えた立体映像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記した課題を解決するために、本発明は次の(a)〜(d)の立体映像表示装置および(e)の立体映像表示方法を提供する。
(a)立体映像信号を含む映像信号を入力する映像信号入力部(101)と、入力された立体映像信号を左目用映像信号と右目用映像信号に分離する左右映像分離部(102)と、左目用映像を拡大縮小する中心である第1の基準点と右目用映像を拡大縮小する中心である第2の基準点のそれぞれを基準点としてして左目用映像信号と右目用映像信号を変更する拡大縮小部(104)と、変更された左目用映像信号と右目用映像信号を合成する左右映像合成部(105)と、左目用映像信号と右目用映像信号が合成された映像信号を立体映像として知覚されるように表示する表示部(106)とを有し、前記左右映像合成部は、前記第1の基準点と前記第2の基準点の表示部上の間隔を拡大縮小の前後で変えず、また前記拡大縮小部は前記第1の基準点と前記第2の基準点を両眼視差の基となる左右映像がずれる方向と平行な同一線上に設定することを特徴とする立体映像表示装置。
(b)視差を備えた左目用重畳画像信号と右目用重畳画像信号を生成する重畳画像生成部(202)と、前記左右映像合成部に入力される前の左目用映像信号と右目用映像信号に前記視差を備えた左目用重畳画像信号と右目用重畳画像信号をそれぞれ合成する重畳画像合成部(203)と、を更に備え、前記視差を備えた左目用重畳画像信号と右目用重畳画像信号を合成するときには、拡大縮小部にて左目用映像信号と右目用映像信号のそれぞれを、、前記第1の基準点と前記第2の基準点を中心に縮小するために前記左目用映像信号と前記右目用映像信号を変更する、(a)記載の立体映像表示装置。
(c)前記第1の基準点と前記第2の基準点の内少なくとも片方が表示画面上の外側に位置する、(a)または(b)に記載の立体映像表示装置。
(d)前記重畳画像が表示される位置に応じて、前記第1の基準点と前記第2の基準点の位置を設定する、(b)または(c)記載の立体映像信号表示装置。
(e)立体映像信号を含む映像信号を入力する映像信号入力ステップと、入力された立体映像信号を左目用映像信号と右目用映像信号に分離する左右映像分離ステップと、左目用映像と右目用映像のそれぞれを、両眼視差の基となる左右映像がずれる方向と平行な同一線上に設定した拡大縮小のそれぞれの中心を第1の基準点および第2の基準点として左目用映像信号と右目用映像信号を変更する拡大縮小ステップと、変更された左目用映像信号と右目用映像信号を前記第1の基準点と前記第2の基準点の表示部上の間隔を拡大縮小前後で変えずに合成する左右映像合成ステップと、左目用映像信号と右目用映像信号が合成された映像信号を立体映像として知覚されるように表示する表示ステップとを有することを特徴とする立体映像表示方法。
【発明の効果】
【0006】
本発明の立体映像表示装置によれば、観察のための集中を楽にし、そのことで重畳画像の確認をしやすくすることができる。
【図面の簡単な説明】
【0007】
【図1】立体カメラによる撮影と、立体映像表示装置による表示の例を説明するための図である。
【図2】立体カメラにより撮影した立体映像を拡大縮小した後に立体映像表示装置に表示した場合の結像位置を比較するための図である。
【図3】本発明の実施形態1に係る、立体映像表示装置の構成を示すブロック図である。
【図4】本発明の実施形態1に係る、立体映像表示装置の動作を説明すためのフローチャートである。
【図5】映像拡大縮小時の表示例を示す図である。
【図6】基準点に位置する映像の映像拡大縮小前後の結像位置の変化を説明するための図である。
【図7】観察者に対し至近距離の位置に結像する映像の拡大縮小前後の結像位置の変化を説明するための図である。
【図8】本発明の実施形態2に係る、立体映像表示装置の構成を示すブロック図である。
【図9】本発明の実施形態2に係る、立体映像表示装置の動作を説明すためのフローチャートである。
【図10】重畳画像の表示例を示す図である。
【図11】重畳画像表示前後における、表示画像の結像位置の変化を説明するための図である。
【発明を実施するための形態】
【0008】
図1(A)は立体カメラで被写体を撮影する様子を示す図であり、左右の各カメラと被写体との位置関係をxy座標で示してある。左カメラの座標を(0,b)、右カメラの座標を(0,d)、被写体の座標を(e,f)とする。図1(B)は、図1(A)で撮影した映像を立体映像表示装置に表示した様子を示す図であり、説明を単純化するために観察者の左目の座標が図1(A)における左カメラの座標と同じ(0,b)、観察者の右目の座標が図1(A)における右カメラの座標と同じ(0,d)であるとする。
図1(A)で撮影した映像をx=gの位置にある表示装置に表示した場合、左カメラで撮影した被写体映像を座標(g,i)に映し、右カメラで撮影した被写体映像を座標(g,h)に映し、観察者が表示装置を観察すると、左目には座標(g,i)の被写体映像は見えるが座標(g,h)の被写体映像は見えず、右目には座標(g,h)の被写体映像は見えるが座標(g,i)の被写体映像は見えないように構成された立体映像表示装置である場合に、観察者にはあたかも被写体が座標(e’,f’)に位置するがごとく見えることを示している。座標(g,i)の映像を左目用映像、座標(g,h)の映像を右目用映像とする。
【0009】
図1(A)に記載の左右それぞれのカメラから被写体に伸びる線、および図1(B)に記載の観察者の左右それぞれの目から表示装置に映された被写体映像に伸びる線をそれぞれ左視線、右視線と称する。
図1(A)の左カメラ座標(0,b)と被写体座標(e,f)から、左視線は式1で現わされる。
y=(f−b)x/e+b・・・式1
同様に、図1(A)の右カメラ座標(0,d)と被写体座標(e,f)から、右視線は式2で現わされる。
y=(f−d)x/e+d・・・式2
【0010】
図1(B)の左右の目の座標と図1(A)の左右カメラの座標が同じであるから、図1(B)の結像位置座標(e’、f’)と図1(A)の被写体座標(e、f)が同じになるためには、図1(B)の左右視線は図1(A)の左右視線と同じである必要がある。
図1(B)で表示装置のx座標をgとすると、表示装置上の左目用映像のy座標(i)と右目用映像のy座標(h)は、それぞれ下記式3、式4で現わされる。
i=(f−b)g/e+b・・・式3
h=(f−d)g/e+d・・・式4
【0011】
次に、左右の目の座標と左目用映像座標および右目用映像座標から、観察者に見える立体映像の結像位置を計算する。
図1(B)の左目座標(0,b)と左目用映像座標(g,i)から、左視線は式5で現わされる。
y=(i−b)x/g+b・・・式5
同様に、図1(B)の右目座標(0,d)と右目用映像座標(g,h)から、右視線は式6で現わされる。
y=(h−d)x/g+d・・・式6
式5と式6から、左視線と右視線の交点を求めることで、立体映像の結像位置のx座標(e’)とy座標(f’)は、それぞれ式7と式8で現わされる。
e’=(d−b)g/(i−b−h+d)・・・式7
f’=(h−d)((d−b)g/(i−b−h+d))/g+d・・・式8
【0012】
図2は、これらの各座標数値を条件1〜8について、4種類の被写体座標を設定して計算した結果を示している。左目座標は左カメラの座標と同じで、各条件ともに(0,30)とし、右目座標は右カメラの座標と同じで、各条件ともに(0,−30)としている。ここで設定した座標の単位はmmであり、つまり撮影手段の基線長は60mm、観察者の眼間距離も60mmとしている。
撮影時の被写体のy座標(f)は各条件共通で50mmとしているが、x座標(e)は850mm、1700mm、4000mm、100000mmの4種類としている。ここで、表示装置のx座標を1700mmとしているので、4種類の被写体の設定は、1つが表示装置よりも近く、1つは表示装置までの距離と同じ、2つが表示装置よりも遠くである。
【0013】
撮影時被写体座標と式3から左目用映像のy座標(i)が求められ、同様に式4から右目用映像のy座標(h)が求められる。左目用映像と右目用映像のx座標はすべて1700mmとなる。更に左目用映像座標および右目用映像座標と式7から立体映像結像位置のx座標(e’)が求められ、同様に式8から立体映像結像位置のy座標(f’)が求められる。このようにして算出したe’、f’の値を図2の変形前立体映像結像座標の欄に示す。座標(e’,f’)が、撮影時被写体位置の座標(e,f)と同じ値になっていることが確認できる。
【0014】
この立体映像を拡大または縮小処理した場合の各座標を図2の、変形後の欄に示す。
倍率Nは表示画面に写しだされた映像の拡大倍率で、条件1〜4は2倍に拡大し、条件5〜8は0.5倍、つまり半分に縮小している。
無限遠被写体を撮影した時に左右カメラの平行な光軸に相当する位置の映像は同じ被写体の略同じ部位が映し出だされるが、左目用映像のこの部位が映し出された表示画面上の位置と、右目用映像のこの部位が映し出された表示画面上の位置との間隔をここでは表示映像の基線長と称し、更にここでは表示映像の基線長と撮影手段の基線長は同じとしている。従って図2の表示装置の基線長の欄の値は全ての条件で60mmとなっている。
【0015】
左右映像を、それぞれの映像の中心を固定した位置関係で拡大縮小した場合、この表示映像の基線長も同様に拡大縮小する。ここで、無限遠の被写体を基線長60mmの撮影手段で撮影した立体映像を表示映像の基線長60mmで映し出して、眼間距離60mmの観察者が観察すると、被写体はあたかも無限遠に存在するがごとく感じることができる。この映像を例えば0.5倍に縮小すると表示映像の基線長も60mmから30mmに変化する。この場合、観察者は無限遠の被写体映像を観察者と表示装置の距離である視聴距離の2倍の距離、つまり視聴距離が1700mmであったならば、3400mmにあるがごとく感じることになる。これは立体感の大幅な減少と捉えることができる。
【0016】
逆にこのように撮影した立体映像を例えば2倍に拡大すると表示映像の基線長も60mmから120mmに変化する。この場合、極端に目の輻輳角が広がるため、観察者は無限遠の被写体映像を立体映像として認識することが出来なくなる。一方、拡大倍率が1倍に近い場合には人の目と脳はなんとか融像しようとするために疲労などの課題が生じる。
このため拡大縮小する前後で表示映像の基線長を変化させなければこの様な課題は生じなくなる。
ここでは拡大縮小の前後で基線長が変化しないようにするために、表示画面の中心に対して拡大縮小した後に画像全体を移動させる方法を例として説明する。移動は図2に示す左画像表示位置移動量jと右画像表示位置移動量kに基づいて行う。拡大倍率をNとすると、jとkはそれぞれ式9、式10で現わされる。
j=(b−d)/2×(N−1)・・・式9
k=(d−b)/2×(N−1)・・・式10
【0017】
条件1〜8について計算したj、kの値を図2の左画像表示位置移動量、右画像表示位置移動量の欄に示す。
ここで移動方向はy軸方向で観察者から見て右から左に動かす方向をプラスとする。
また、変形後左目用映像のy座標i’と変形後右目用映像のy座標h’はそれぞれ式11、式12で現わされる。
i’=i×N+j・・・式11
h’=h×N+k・・・式12
これは、映像全体の拡大縮小倍率に応じて拡大縮小した表示画面上の基線長を、左右映像で按分して移動することによって拡大縮小前の基線長に戻すことを前提としている。
条件1〜8について計算したi’、h’の値を図2の変形後左目用映像座標、変形後右目用映像座標の欄に示す。尚、x座標の値(g)は変形前後で変わらない。
【0018】
このように、座標(g,i)に表示されていた左目用映像は、倍率Nで拡大または縮小された後、左画像表示位置移動量jだけy軸方向に移動し、変形後左目用映像座標(g,i’)の位置に表示される。同様に、座標(g,h)に表示されていた右目用映像は、倍率Nで拡大または縮小された後、右画像表示位置移動量kだけy軸方向に移動し、変形後左目用映像座標(g,h’)の位置に表示される。
更に変形後左目用映像座標(g,i’)および変形後右目用映像座標(g,h’)から、式13により変形後立体映像結像位置のx座標e”が求められ、式14から変形後立体映像結像位置のy座標f”が求められる。
e”=(d−b)g/(i’−b−h’+d)・・・式13
f”=(h−d)((d−b)g/(i’−b−h’+d))/g+d・・・式14
条件1〜8について計算したe”、f”の値を図2の変形後立体映像結像座標の欄に示す。
【0019】
図2の変形前立体映像結像座標(e’,f’)と変形後立体映像結像座標(e”,f”)を比較すると、条件1〜8でy座標であるf’とf”が同じ値となることが確認できる。一方、x座標であるe’とe”は異なる値になっており、倍率Nを2とした条件1〜4ではe”はe’の半分になっており、倍率Nを0.5とした条件5〜8ではe”はe’の2倍になっていることが確認できる。
以上のように、基線長を変えないように拡大することで映像の大きさが大きくなると共に近くに見え、基線長を変えないように縮小することで映像の大きさが小さくなるとともに遠くに見えるという自然な映像変形が可能となる。
【0020】
ここでは説明を簡単にするため、左右映像をそれぞれの映像の中心を固定した位置関係で拡大縮小した後に移動させ、拡大縮小前後で基線長が変わらないように補正する方法を説明したが、この方法の代わりに、表示映像の基線長と同じ距離離れた所定の2点を左右それぞれの映像の基準点として設定して、それぞれの基準点を中心に左右映像を拡大縮小することでも基線長を変えずに拡大縮小することができ、同じ効果を得ることができる。
【0021】
以下、本発明を実施するための最良の形態について、図面を参照して説明する。
【0022】
(実施形態1)
図3は本発明の実施形態1に係る、立体映像表示装置の構成を示すブロック図である。
立体映像表示装置100は、映像信号入力部101、左右映像分離部102、拡大縮小部104、左右映像合成部105、表示部106、ユーザ入力部107、制御部108を備える。
【0023】
映像信号入力部101には、立体映像信号が入力される。立体映像信号の方式は限定せず、サイドバイサイド方式/トップアンドボトム方式/インタレース方式等、どのような方式でも良い。映像信号入力部101に入力された立体映像信号は左右映像分離部102に送られる。左右映像分離部102は映像信号入力部101から受け取った立体映像信号を、左目用映像信号と右目用映像信号に分離し、拡大縮小部104に送る。拡大縮小部104では左右映像分離部102から受け取った左目用映像信号と右目用映像信号のそれぞれについて、拡大縮小時の映像上の中心位置を基準点として設定した後、左目用映像と右目用映像を基準点を中心に拡大または縮小するための変更を行い、左右映像合成部105に送る。
【0024】
左右映像合成部105は拡大縮小部104から受け取った左目用映像信号と右目用映像信号を合成し、表示部106に送る。表示部106は左右映像合成部105から受け取った立体映像信号の表示を行う。ここで、左右映像合成部105での左目用映像信号と右目用映像信号の合成は表示部106の表示方法に合わせたフォーマットで行えばよい、また表示部の表示方法は例えば偏光めがね方式やシャッターめがね方式が一般的であるが他の方式でも良く、表示方式は問わない。
【0025】
ユーザ入力部107でユーザは基準点の位置を設定し、映像の拡大縮小の指示を行う。ユーザがユーザ入力部107にて入力した基準点の位置情報や映像の拡大縮小の指示情報はデータとして制御部108に送られる。制御部108は、ユーザ入力部107から受け取った基準点の位置に関するデータを拡大縮小部104に送り、拡大縮小部104では、このデータを元に基準点の設定を行う。また、制御部108はユーザ入力部107から受け取った映像拡大縮小の指示情報に基づき、拡大縮小部104の動作を制御する。拡大縮小部104は制御部108の制御により映像の拡大縮小を行う。
【0026】
本実施形態における立体映像表示装置100の動作を更に図4〜図7を使って説明する。
図4は本実施形態に係る、立体映像表示装置100の動作を説明するためのフローチャートである。図5は映像拡大縮小時の表示例を示す図である。図6は基準点に位置する映像の映像拡大縮小前後の結像位置の変化を説明するための図である。図7は観察者に対し至近距離の位置に結像する映像の拡大縮小前後の結像位置の変化を説明するための図である。
【0027】
図4のステップS101で映像信号入力部101に立体映像信号が入力される。ステップS102で左右映像分離部102は、入力された立体映像信号を左目用映像信号と右目用映像信号に分離する。一方、ユーザ入力部107から入力された基準点の位置に関するデータは制御部108を通じて拡大縮小部104に送られる。
左目用映像信号の基準点と右目用映像信号の基準点は、両眼視差の元となる左右映像がずれる方向と平行な同一線上に設定される必要があり、この条件内でユーザは左右映像信号の基準点の位置を設定することができる。基準点は必ずしも映像内に位置している必要はなく、左右映像信号のどちらか一方もしくは両方の基準点が映像内に位置していなくとも良い。ここで、左右映像信号の基準点同士の間隔は視聴者の目の間隔以下であることが望ましい。
【0028】
図5(B−LR)は映像信号入力部101に入力された立体映像信号の一例である。この例では左右の映像信号は立体映像の視聴において液晶シャッターや偏光板を用いる眼鏡を必要とする方法で伝送されており、裸眼で視聴すると、図5(B−LR)に示すように左右映像は重なって見える。同図で、顔の映像は至近距離映像であり、丸型の映像は無限遠方にある映像とする。また、図5(B−LR)で右側に位置する顔の映像と左側に位置する丸型の映像が左目用の映像であり、分離後の左目用の映像を図5(B−L)に示す。図5(B−LR)で左側に位置する顔の映像と右側に位置する丸型の映像が右目用の映像であり、分離後の右目用の映像を図5(B−R)に示す。
【0029】
図4に戻って説明する。ステップS103で拡大縮小部104は、左右映像分離部102から受け取った左目用映像信号と右目用映像信号のそれぞれについて、制御部108から送られた基準点の位置に関するデータを元に基準点の設定を行う。ここでは説明を簡略化するため、基準点を図5(B−LR)に示す丸型の映像の中心位置に設定したと仮定する。すなわち、図5(B−L)の丸型の映像の中心位置が左目用映像の基準点であり、図5(B−R)の丸型の映像の中心位置が右目用映像の基準点になる。
【0030】
ステップS104で制御部108は、ユーザ入力部107から拡大縮小の指示が入力されたか否かの判定を行なう。拡大縮小指示の入力形式は、拡大縮小率を予め設定しておいて、拡大するか縮小するか拡大も縮小もしないかを選択する構成でも良いし、ユーザが任意の拡大縮小率を入力する構成でも良い。ユーザが任意の拡大縮小率を入力する構成の場合、ユーザが入力した拡大縮小率が1より小さければ縮小、1ならば拡大縮小しない、1より大きければ拡大することを意味する。
【0031】
ステップS104で制御部108が、拡大縮小の指示が入力されていないと判定した場合或いはユーザの入力した拡大縮小率が1であると判定した場合(S104/no)、制御部108は拡大縮小部104に対し、左右映像信号の拡大縮小をしない様に制御する。拡大縮小部104は左右映像信号を拡大縮小せずに、左右画像合成部105に送る。ステップS105にて、左右画像合成部105は拡大縮小部104から受け取った左右映像信号を合成する。ステップS106にて、表示部106は左右画像合成部から受け取った立体映像信号を表示する。
【0032】
ステップS104で制御部108が、縮小の指示が入力されたと判定した場合或いはユーザの入力した拡大縮小率が1よりも小さいと判定した場合(S104/縮小)、ステップS107に進み、制御部108は拡大縮小部104に対し、映像を縮小するように制御する。拡大縮小部104は左目用映像と右目用映像をそれぞれの基準点を中心に縮小するように左目用映像信号と右目用映像信号の変更を行う。図5(A−L)は、図5(B−L)の映像を基準点(丸型の映像の中心)を中心に縮小した映像である。図5(A−R)は、図5(B−R)の映像を基準点(丸型の映像の中心)を中心に縮小した映像である。次にステップS105に進み、左右映像合成部105は左右の映像を合成する。図5(A−LR)は図5(A−L)に示す縮小済み左映像と図5(A−R)に示す縮小済み右映像を合成した映像である。
【0033】
ステップS104で制御部108が、拡大の指示が入力されたと判定した場合或いはユーザの入力した拡大縮小率が1よりも大きいと判定した場合(S104/拡大)、ステップS108に進み、制御部108は拡大縮小部104に対し、映像信号を拡大するように制御する。拡大縮小部104は左目用映像と右目用映像をそれぞれの基準点を中心に拡大するように左目用映像信号と右目用映像信号の変更を行う。図5(C−L)は、図5(B−L)の映像を基準点(丸型の映像の中心)を中心に拡大した映像である。図5(C−R)は、図5(B−R)の映像を基準点(丸型の映像の中心)を中心に拡大した映像である。次にステップS105に進み、左右映像合成部105は左右の映像を合成する。図5(C−LR)は図5(C−L)に示す拡大済み左映像と図5(C−R)に示す拡大済み右映像を合成した映像である。
【0034】
上記ステップS107またはS108とS105、S106で映像信号を拡大縮小して表示した場合の立体映像の結像位置の変化を図6と図7を使って説明する。図6は図5で説明した丸型映像、すなわち左右映像の基準点に位置する映像の、映像拡大縮小前後での結像位置の変化を説明するための図である。図6(B)は、拡大縮小前の映像である図5(B−LR)の映像を立体視した時の丸型映像の結像位置を図示したもので、左右の映像の表示画面上の間隔をαとする。この時、結像位置は視聴者に対して表示画面の位置より遠い、結像位置bに示す位置になる。
図6(A)は、縮小後の映像である図3(A−LR)の映像を立体視した時の丸型映像の見え方を図示したもので、左右の映像の表示画面上の間隔は図6(B)と変わらずαとなり、従って結像位置aは結像位置bと同じ位置となる。但し、丸型映像の大きさは図6(B)に対して所定の倍率で縮小されたものになる。
【0035】
図6(C)は、拡大後の映像である図5(C−LR)の映像を立体視した時の丸型映像の結像位置を図示したもので、左右の映像の表示画面上の間隔は図6(B)と変わらずαとなり、従って結像位置cは結像位置bと同じ位置となる。但し、丸型映像の大きさは図6(B)に対して所定の倍率で拡大されたものになる。このように、基準点の位置にある映像は、映像を拡大縮小すると映像の大きさは拡大縮小されるが、結像位置は変わらない。
【0036】
図7は図5で説明した、観察者に対して至近距離に結像する顔映像の、映像拡大縮小前後の結像位置の変化を説明するための図である。図7(B)は、拡大縮小前の映像である図5(B−LR)の映像を立体視した時の顔映像の結像位置を図示したもので、左右の映像の表示画面上の間隔をβeとする。この時、結像位置は視聴者に対して表示画面の位置より近い、結像位置eに示す位置となる。
図7(A)は、縮小後の映像である図5(A−LR)の映像を立体視した時の顔映像の見え方を図示したもので、左右の映像の表示画面上の間隔はβeよりも狭いβdとなる。従って結像位置dは結像位置eよりも視聴者に対し表示画面寄りの位置となる。このとき、図4(A)の顔映像の大きさは図4(B)に対して所定の倍率で縮小されたものになる。
【0037】
図7(C)は、拡大後の映像である図5(C−LR)の映像を立体視した時の顔映像の結像位置を図示したもので、左右の映像の表示画面上の間隔はβeよりも広いβfとなる。従って結像位置fは結像位置eよりも視聴者寄りの位置となる。このとき、顔映像の大きさは図7(A)に対して所定の倍率で拡大されたものになる。このように、基準点の位置にない映像は、映像を拡大縮小すると映像の大きさが拡大縮小されると共に、結像位置が変わる。
【0038】
以上、説明した特性を利用して、左右映像の基準点同士の間隔を視聴者の目の間隔に近い値に設定することで、映像を拡大縮小した場合、視聴者に対し遠くに結像する映像については結像位置の変化を少なく、視聴者に対する結像位置が近い映像ほど結像位置の変化を大きくすることができるため、遠くの映像の距離感を変えずに至近距離の映像の距離感を変えることができる。
【0039】
(実施形態2)
図8は本発明の実施形態2に係る立体映像表示装置の構成を示すブロック図である。図中、図3と共通する部分には同じ番号を付与する。図8の立体映像表示装置では図3の立体映像表示装置に対し、重畳画像生成部202、重畳画像合成部203が追加されている。
【0040】
本実施形態における立体映像信号表示装置200の動作を図9〜図11を使って説明する。図9は実施形態2に係る立体映像装置200の動作を説明するためのフローチャートである。図10は重畳画像の表示例を示す図である。図11は重畳画像表示前後における、表示画像の結像位置の変化を説明するための図である。
【0041】
図9のステップS201〜S203は、図4で説明したステップS101〜S103と同様であるので、説明は省略する。ステップS204で制御部108は、重畳画像表示の指示があるか否か判定する。重畳画像表示の指示は通常ユーザ入力部107を介して、図示しないリモコン等を使用してユーザにより入力されるが、これに限定されず、映像信号入力部101に入力される映像信号に付加情報として付加された緊急信号等を検出して自動的に重畳画像を表示する構成としても良い。制御部108が重畳画像表示の指示がないと判定した場合(S204/no)、ステップS205に進む。ステップS205〜S206は、図4のステップS105〜S106と同様である。このとき制御部108は拡大縮小部104に対し、拡大縮小しないように制御すると同時に重畳画像生成部202に対し、重畳画像を生成しないように制御する。したがって、この時ステップS205では、拡大縮小せず、重畳画像を合成しない状態で左右映像が合成される。
【0042】
ステップS204で制御部108が重畳画像表示の指示があると判定した場合(S204/yes)。ステップS207に進み、制御部108は拡大縮小部104に対し、映像を縮小するよう制御する。拡大縮小部104は左目用映像と右目用映像をそれぞれの基準点を中心に縮小するように左目用映像信号と右目用映像信号の変更を行う。ここで縮小率はデフォルト値として予め設定されている構成でも良く、またユーザが設定する構成としても良い。
【0043】
制御部108は重畳画像生成部202に対し重畳画像を生成するよう指示する。重畳画像生成部202は左目用映像信号用重畳画像と右目用映像信号用重畳画像をそれぞれ生成し、重畳画像合成部203に送る。ステップS208で重畳画像合成部203は、拡大縮小部104から受け取った左目用映像信号と右目用映像信号のそれぞれに、重畳画像生成部202から受け取った左目用映像用重畳画像信号と右目用映像用重畳画像信号を合成する。ステップS205、S206の流れは図4のS105、S106と同様である。
【0044】
図10(B−LR)は映像信号入力部101に入力された立体映像の一例であり、図5(B−LR)と同じものである。図10(B−L)と図10(B−R)は左右映像分離部102で分離された、それぞれ左目用映像と右目用映像であり、実施形態1で説明した例と同様に、拡大縮小部104で、左目用映像と右目用映像それぞれ丸型の映像の中心位置に基準点を設定したと仮定する。図10(B−L)の映像を拡大縮小部104にて縮小した後、重畳画像合成部203にて重畳画像を合成した映像が図10(A−L)の映像であり、同様に図10(B−R)の映像を拡大縮小部104にて縮小した後、重畳画像合成部203にて重畳画像を合成した映像が図10(A−R)の映像である。
図10(A−LR)は図10(A−L)の映像と図10(A−R)の映像を左右映像合成部105で合成した映像であり、表示部106にて重畳画像付き立体映像として表示される。図10に示すように、映像を縮小することにより、画面上に映像が表示されない部分が現れる。この部分に重畳画像が表示されるように重畳画像を合成することで、元の映像を隠すことなく重畳画像の表示を行うこともできる。
【0045】
図11を使って、図10に示した立体映像の結像位置の変化を説明する。図11(C)は図10(B−LR)に示す立体映像の中の顔映像の結像位置を示す図である。顔映像の表示画面上の視差はβiであり、結像位置は結像位置iとなる。図11(B)は縮小後の顔映像の結像位置を示す図である。縮小後の顔映像の表示画面上の視差はβiに対し小さいβgとなり、結像位置は結像位置iよりも表示画面寄りの結像位置gとなる。
飛び出して見える映像の結像位置を表示画面寄りに移動することで、至近映像に集中していた視聴者の負担は緩和される。一方、立体映像視聴中の視聴者に対し重畳画像の認識を容易にするためには、視聴者の注目する至近映像の結像位置と重畳画像の結像位置の、表示画面からの距離を近くすることが有効である。
【0046】
図11(A)に縮小後の映像に重畳画像を合成した時の至近映像の結像位置と重畳画像の結像位置の一例を示す。この例では視聴者が重畳画像の表示内容を確認する際に視聴者への負担が少なくなるように重畳画像の結像位置qを表示画面の近くに設定している。この時、至近映像の結像位置と重畳画像の結像位置の表示画面からの距離の差は小さく(d2)、至近映像に集中している視聴者は容易に重畳画像を認識することができる。
仮に、映像を縮小しない状態で上記の例と同じ結像位置になるように重畳画像を重畳した場合、至近映像の結像位置と重畳画像の結像位置の表示画面からの距離の差は大きく(d1)、至近映像に集中している視聴者は重畳画像の表示に気付かない可能性がある。
【0047】
映像を縮小することにより、視聴者が認識しやすい位置である至近映像の結像位置に対し表示画面からの距離の差が小さい位置に重畳画像が結像するように重畳画像を表示することで、結果的に重畳画像の結像位置は表示画面から近い位置となり、認識した重畳画像の内容を確認するための視聴者の負担を軽減することができる。至近映像の結像位置よりも視聴者に近い位置に結像するように重畳画像を表示する場合でも、映像縮小後であれば極端に視聴者に近い位置に重畳画像結像位置を設定する必要がないので、視聴者への負担を大きくせずにすむ。
【符号の説明】
【0048】
100 立体映像信号表示装置
101 映像信号入力部
102 左右映像分離部
104 拡大縮小部
105 左右映像合成部
106 表示部
107 ユーザ入力部
108 制御部
200 立体映像信号表示装置
202 重畳画像生成部
203 重畳画像重畳部
【技術分野】
【0001】
本発明は、左目用映像と右目用映像とをそれぞれ左目と右目で観察することで観察者が立体視できる立体映像表示装置および立体映像表示方法に関する。
【背景技術】
【0002】
立体映像の立体感を損なうことなく、立体放送番組視聴中に緊急放送などのテロップを画面に表示する方法として、受信信号にテロップデータがあることを判別するとパイロットランプを点灯させ、観察者がそれに気がついてリモコン操作をすると、視差の付加されたテロップ情報が映像表示部にOSD表示される技術が特開平10−327430号公報(特許文献1)に開示されている。また、立体映像及びそのフレーム内でテロップを付与したい立体視オブジェクトを認識し、自動的に立体視オブジェクトの傍に視差の付加されたテロップを付与する技術が特開2006−32516号公報(特許文献2)に開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平10−327430号公報
【特許文献2】特開2006−32516号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示された技術では、立体映像の視聴において観察者は立体映像の特に至近の映像に集中して観察するため、表示装置の距離にあるパイロットランプに気が付かず、また気が付くと眼の輻輳が至近映像から離れてしまうことで至近の映像に集中できないなどの課題があった。また、特許文献2に開示された、立体映像中にテロップを付与する技術においても、映像オブジェクトに関連したテロップばかりでは無いため、映像オブジェクトに関連しないテロップに対しては適切な表示ができるものではないという課題があった。
そこで本発明は、立体映像の観察において観察のための集中を楽にすることと、そのことでテロップや各種のOSD等(以下、重畳画像という)の確認をしやすくすることとを備えた立体映像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記した課題を解決するために、本発明は次の(a)〜(d)の立体映像表示装置および(e)の立体映像表示方法を提供する。
(a)立体映像信号を含む映像信号を入力する映像信号入力部(101)と、入力された立体映像信号を左目用映像信号と右目用映像信号に分離する左右映像分離部(102)と、左目用映像を拡大縮小する中心である第1の基準点と右目用映像を拡大縮小する中心である第2の基準点のそれぞれを基準点としてして左目用映像信号と右目用映像信号を変更する拡大縮小部(104)と、変更された左目用映像信号と右目用映像信号を合成する左右映像合成部(105)と、左目用映像信号と右目用映像信号が合成された映像信号を立体映像として知覚されるように表示する表示部(106)とを有し、前記左右映像合成部は、前記第1の基準点と前記第2の基準点の表示部上の間隔を拡大縮小の前後で変えず、また前記拡大縮小部は前記第1の基準点と前記第2の基準点を両眼視差の基となる左右映像がずれる方向と平行な同一線上に設定することを特徴とする立体映像表示装置。
(b)視差を備えた左目用重畳画像信号と右目用重畳画像信号を生成する重畳画像生成部(202)と、前記左右映像合成部に入力される前の左目用映像信号と右目用映像信号に前記視差を備えた左目用重畳画像信号と右目用重畳画像信号をそれぞれ合成する重畳画像合成部(203)と、を更に備え、前記視差を備えた左目用重畳画像信号と右目用重畳画像信号を合成するときには、拡大縮小部にて左目用映像信号と右目用映像信号のそれぞれを、、前記第1の基準点と前記第2の基準点を中心に縮小するために前記左目用映像信号と前記右目用映像信号を変更する、(a)記載の立体映像表示装置。
(c)前記第1の基準点と前記第2の基準点の内少なくとも片方が表示画面上の外側に位置する、(a)または(b)に記載の立体映像表示装置。
(d)前記重畳画像が表示される位置に応じて、前記第1の基準点と前記第2の基準点の位置を設定する、(b)または(c)記載の立体映像信号表示装置。
(e)立体映像信号を含む映像信号を入力する映像信号入力ステップと、入力された立体映像信号を左目用映像信号と右目用映像信号に分離する左右映像分離ステップと、左目用映像と右目用映像のそれぞれを、両眼視差の基となる左右映像がずれる方向と平行な同一線上に設定した拡大縮小のそれぞれの中心を第1の基準点および第2の基準点として左目用映像信号と右目用映像信号を変更する拡大縮小ステップと、変更された左目用映像信号と右目用映像信号を前記第1の基準点と前記第2の基準点の表示部上の間隔を拡大縮小前後で変えずに合成する左右映像合成ステップと、左目用映像信号と右目用映像信号が合成された映像信号を立体映像として知覚されるように表示する表示ステップとを有することを特徴とする立体映像表示方法。
【発明の効果】
【0006】
本発明の立体映像表示装置によれば、観察のための集中を楽にし、そのことで重畳画像の確認をしやすくすることができる。
【図面の簡単な説明】
【0007】
【図1】立体カメラによる撮影と、立体映像表示装置による表示の例を説明するための図である。
【図2】立体カメラにより撮影した立体映像を拡大縮小した後に立体映像表示装置に表示した場合の結像位置を比較するための図である。
【図3】本発明の実施形態1に係る、立体映像表示装置の構成を示すブロック図である。
【図4】本発明の実施形態1に係る、立体映像表示装置の動作を説明すためのフローチャートである。
【図5】映像拡大縮小時の表示例を示す図である。
【図6】基準点に位置する映像の映像拡大縮小前後の結像位置の変化を説明するための図である。
【図7】観察者に対し至近距離の位置に結像する映像の拡大縮小前後の結像位置の変化を説明するための図である。
【図8】本発明の実施形態2に係る、立体映像表示装置の構成を示すブロック図である。
【図9】本発明の実施形態2に係る、立体映像表示装置の動作を説明すためのフローチャートである。
【図10】重畳画像の表示例を示す図である。
【図11】重畳画像表示前後における、表示画像の結像位置の変化を説明するための図である。
【発明を実施するための形態】
【0008】
図1(A)は立体カメラで被写体を撮影する様子を示す図であり、左右の各カメラと被写体との位置関係をxy座標で示してある。左カメラの座標を(0,b)、右カメラの座標を(0,d)、被写体の座標を(e,f)とする。図1(B)は、図1(A)で撮影した映像を立体映像表示装置に表示した様子を示す図であり、説明を単純化するために観察者の左目の座標が図1(A)における左カメラの座標と同じ(0,b)、観察者の右目の座標が図1(A)における右カメラの座標と同じ(0,d)であるとする。
図1(A)で撮影した映像をx=gの位置にある表示装置に表示した場合、左カメラで撮影した被写体映像を座標(g,i)に映し、右カメラで撮影した被写体映像を座標(g,h)に映し、観察者が表示装置を観察すると、左目には座標(g,i)の被写体映像は見えるが座標(g,h)の被写体映像は見えず、右目には座標(g,h)の被写体映像は見えるが座標(g,i)の被写体映像は見えないように構成された立体映像表示装置である場合に、観察者にはあたかも被写体が座標(e’,f’)に位置するがごとく見えることを示している。座標(g,i)の映像を左目用映像、座標(g,h)の映像を右目用映像とする。
【0009】
図1(A)に記載の左右それぞれのカメラから被写体に伸びる線、および図1(B)に記載の観察者の左右それぞれの目から表示装置に映された被写体映像に伸びる線をそれぞれ左視線、右視線と称する。
図1(A)の左カメラ座標(0,b)と被写体座標(e,f)から、左視線は式1で現わされる。
y=(f−b)x/e+b・・・式1
同様に、図1(A)の右カメラ座標(0,d)と被写体座標(e,f)から、右視線は式2で現わされる。
y=(f−d)x/e+d・・・式2
【0010】
図1(B)の左右の目の座標と図1(A)の左右カメラの座標が同じであるから、図1(B)の結像位置座標(e’、f’)と図1(A)の被写体座標(e、f)が同じになるためには、図1(B)の左右視線は図1(A)の左右視線と同じである必要がある。
図1(B)で表示装置のx座標をgとすると、表示装置上の左目用映像のy座標(i)と右目用映像のy座標(h)は、それぞれ下記式3、式4で現わされる。
i=(f−b)g/e+b・・・式3
h=(f−d)g/e+d・・・式4
【0011】
次に、左右の目の座標と左目用映像座標および右目用映像座標から、観察者に見える立体映像の結像位置を計算する。
図1(B)の左目座標(0,b)と左目用映像座標(g,i)から、左視線は式5で現わされる。
y=(i−b)x/g+b・・・式5
同様に、図1(B)の右目座標(0,d)と右目用映像座標(g,h)から、右視線は式6で現わされる。
y=(h−d)x/g+d・・・式6
式5と式6から、左視線と右視線の交点を求めることで、立体映像の結像位置のx座標(e’)とy座標(f’)は、それぞれ式7と式8で現わされる。
e’=(d−b)g/(i−b−h+d)・・・式7
f’=(h−d)((d−b)g/(i−b−h+d))/g+d・・・式8
【0012】
図2は、これらの各座標数値を条件1〜8について、4種類の被写体座標を設定して計算した結果を示している。左目座標は左カメラの座標と同じで、各条件ともに(0,30)とし、右目座標は右カメラの座標と同じで、各条件ともに(0,−30)としている。ここで設定した座標の単位はmmであり、つまり撮影手段の基線長は60mm、観察者の眼間距離も60mmとしている。
撮影時の被写体のy座標(f)は各条件共通で50mmとしているが、x座標(e)は850mm、1700mm、4000mm、100000mmの4種類としている。ここで、表示装置のx座標を1700mmとしているので、4種類の被写体の設定は、1つが表示装置よりも近く、1つは表示装置までの距離と同じ、2つが表示装置よりも遠くである。
【0013】
撮影時被写体座標と式3から左目用映像のy座標(i)が求められ、同様に式4から右目用映像のy座標(h)が求められる。左目用映像と右目用映像のx座標はすべて1700mmとなる。更に左目用映像座標および右目用映像座標と式7から立体映像結像位置のx座標(e’)が求められ、同様に式8から立体映像結像位置のy座標(f’)が求められる。このようにして算出したe’、f’の値を図2の変形前立体映像結像座標の欄に示す。座標(e’,f’)が、撮影時被写体位置の座標(e,f)と同じ値になっていることが確認できる。
【0014】
この立体映像を拡大または縮小処理した場合の各座標を図2の、変形後の欄に示す。
倍率Nは表示画面に写しだされた映像の拡大倍率で、条件1〜4は2倍に拡大し、条件5〜8は0.5倍、つまり半分に縮小している。
無限遠被写体を撮影した時に左右カメラの平行な光軸に相当する位置の映像は同じ被写体の略同じ部位が映し出だされるが、左目用映像のこの部位が映し出された表示画面上の位置と、右目用映像のこの部位が映し出された表示画面上の位置との間隔をここでは表示映像の基線長と称し、更にここでは表示映像の基線長と撮影手段の基線長は同じとしている。従って図2の表示装置の基線長の欄の値は全ての条件で60mmとなっている。
【0015】
左右映像を、それぞれの映像の中心を固定した位置関係で拡大縮小した場合、この表示映像の基線長も同様に拡大縮小する。ここで、無限遠の被写体を基線長60mmの撮影手段で撮影した立体映像を表示映像の基線長60mmで映し出して、眼間距離60mmの観察者が観察すると、被写体はあたかも無限遠に存在するがごとく感じることができる。この映像を例えば0.5倍に縮小すると表示映像の基線長も60mmから30mmに変化する。この場合、観察者は無限遠の被写体映像を観察者と表示装置の距離である視聴距離の2倍の距離、つまり視聴距離が1700mmであったならば、3400mmにあるがごとく感じることになる。これは立体感の大幅な減少と捉えることができる。
【0016】
逆にこのように撮影した立体映像を例えば2倍に拡大すると表示映像の基線長も60mmから120mmに変化する。この場合、極端に目の輻輳角が広がるため、観察者は無限遠の被写体映像を立体映像として認識することが出来なくなる。一方、拡大倍率が1倍に近い場合には人の目と脳はなんとか融像しようとするために疲労などの課題が生じる。
このため拡大縮小する前後で表示映像の基線長を変化させなければこの様な課題は生じなくなる。
ここでは拡大縮小の前後で基線長が変化しないようにするために、表示画面の中心に対して拡大縮小した後に画像全体を移動させる方法を例として説明する。移動は図2に示す左画像表示位置移動量jと右画像表示位置移動量kに基づいて行う。拡大倍率をNとすると、jとkはそれぞれ式9、式10で現わされる。
j=(b−d)/2×(N−1)・・・式9
k=(d−b)/2×(N−1)・・・式10
【0017】
条件1〜8について計算したj、kの値を図2の左画像表示位置移動量、右画像表示位置移動量の欄に示す。
ここで移動方向はy軸方向で観察者から見て右から左に動かす方向をプラスとする。
また、変形後左目用映像のy座標i’と変形後右目用映像のy座標h’はそれぞれ式11、式12で現わされる。
i’=i×N+j・・・式11
h’=h×N+k・・・式12
これは、映像全体の拡大縮小倍率に応じて拡大縮小した表示画面上の基線長を、左右映像で按分して移動することによって拡大縮小前の基線長に戻すことを前提としている。
条件1〜8について計算したi’、h’の値を図2の変形後左目用映像座標、変形後右目用映像座標の欄に示す。尚、x座標の値(g)は変形前後で変わらない。
【0018】
このように、座標(g,i)に表示されていた左目用映像は、倍率Nで拡大または縮小された後、左画像表示位置移動量jだけy軸方向に移動し、変形後左目用映像座標(g,i’)の位置に表示される。同様に、座標(g,h)に表示されていた右目用映像は、倍率Nで拡大または縮小された後、右画像表示位置移動量kだけy軸方向に移動し、変形後左目用映像座標(g,h’)の位置に表示される。
更に変形後左目用映像座標(g,i’)および変形後右目用映像座標(g,h’)から、式13により変形後立体映像結像位置のx座標e”が求められ、式14から変形後立体映像結像位置のy座標f”が求められる。
e”=(d−b)g/(i’−b−h’+d)・・・式13
f”=(h−d)((d−b)g/(i’−b−h’+d))/g+d・・・式14
条件1〜8について計算したe”、f”の値を図2の変形後立体映像結像座標の欄に示す。
【0019】
図2の変形前立体映像結像座標(e’,f’)と変形後立体映像結像座標(e”,f”)を比較すると、条件1〜8でy座標であるf’とf”が同じ値となることが確認できる。一方、x座標であるe’とe”は異なる値になっており、倍率Nを2とした条件1〜4ではe”はe’の半分になっており、倍率Nを0.5とした条件5〜8ではe”はe’の2倍になっていることが確認できる。
以上のように、基線長を変えないように拡大することで映像の大きさが大きくなると共に近くに見え、基線長を変えないように縮小することで映像の大きさが小さくなるとともに遠くに見えるという自然な映像変形が可能となる。
【0020】
ここでは説明を簡単にするため、左右映像をそれぞれの映像の中心を固定した位置関係で拡大縮小した後に移動させ、拡大縮小前後で基線長が変わらないように補正する方法を説明したが、この方法の代わりに、表示映像の基線長と同じ距離離れた所定の2点を左右それぞれの映像の基準点として設定して、それぞれの基準点を中心に左右映像を拡大縮小することでも基線長を変えずに拡大縮小することができ、同じ効果を得ることができる。
【0021】
以下、本発明を実施するための最良の形態について、図面を参照して説明する。
【0022】
(実施形態1)
図3は本発明の実施形態1に係る、立体映像表示装置の構成を示すブロック図である。
立体映像表示装置100は、映像信号入力部101、左右映像分離部102、拡大縮小部104、左右映像合成部105、表示部106、ユーザ入力部107、制御部108を備える。
【0023】
映像信号入力部101には、立体映像信号が入力される。立体映像信号の方式は限定せず、サイドバイサイド方式/トップアンドボトム方式/インタレース方式等、どのような方式でも良い。映像信号入力部101に入力された立体映像信号は左右映像分離部102に送られる。左右映像分離部102は映像信号入力部101から受け取った立体映像信号を、左目用映像信号と右目用映像信号に分離し、拡大縮小部104に送る。拡大縮小部104では左右映像分離部102から受け取った左目用映像信号と右目用映像信号のそれぞれについて、拡大縮小時の映像上の中心位置を基準点として設定した後、左目用映像と右目用映像を基準点を中心に拡大または縮小するための変更を行い、左右映像合成部105に送る。
【0024】
左右映像合成部105は拡大縮小部104から受け取った左目用映像信号と右目用映像信号を合成し、表示部106に送る。表示部106は左右映像合成部105から受け取った立体映像信号の表示を行う。ここで、左右映像合成部105での左目用映像信号と右目用映像信号の合成は表示部106の表示方法に合わせたフォーマットで行えばよい、また表示部の表示方法は例えば偏光めがね方式やシャッターめがね方式が一般的であるが他の方式でも良く、表示方式は問わない。
【0025】
ユーザ入力部107でユーザは基準点の位置を設定し、映像の拡大縮小の指示を行う。ユーザがユーザ入力部107にて入力した基準点の位置情報や映像の拡大縮小の指示情報はデータとして制御部108に送られる。制御部108は、ユーザ入力部107から受け取った基準点の位置に関するデータを拡大縮小部104に送り、拡大縮小部104では、このデータを元に基準点の設定を行う。また、制御部108はユーザ入力部107から受け取った映像拡大縮小の指示情報に基づき、拡大縮小部104の動作を制御する。拡大縮小部104は制御部108の制御により映像の拡大縮小を行う。
【0026】
本実施形態における立体映像表示装置100の動作を更に図4〜図7を使って説明する。
図4は本実施形態に係る、立体映像表示装置100の動作を説明するためのフローチャートである。図5は映像拡大縮小時の表示例を示す図である。図6は基準点に位置する映像の映像拡大縮小前後の結像位置の変化を説明するための図である。図7は観察者に対し至近距離の位置に結像する映像の拡大縮小前後の結像位置の変化を説明するための図である。
【0027】
図4のステップS101で映像信号入力部101に立体映像信号が入力される。ステップS102で左右映像分離部102は、入力された立体映像信号を左目用映像信号と右目用映像信号に分離する。一方、ユーザ入力部107から入力された基準点の位置に関するデータは制御部108を通じて拡大縮小部104に送られる。
左目用映像信号の基準点と右目用映像信号の基準点は、両眼視差の元となる左右映像がずれる方向と平行な同一線上に設定される必要があり、この条件内でユーザは左右映像信号の基準点の位置を設定することができる。基準点は必ずしも映像内に位置している必要はなく、左右映像信号のどちらか一方もしくは両方の基準点が映像内に位置していなくとも良い。ここで、左右映像信号の基準点同士の間隔は視聴者の目の間隔以下であることが望ましい。
【0028】
図5(B−LR)は映像信号入力部101に入力された立体映像信号の一例である。この例では左右の映像信号は立体映像の視聴において液晶シャッターや偏光板を用いる眼鏡を必要とする方法で伝送されており、裸眼で視聴すると、図5(B−LR)に示すように左右映像は重なって見える。同図で、顔の映像は至近距離映像であり、丸型の映像は無限遠方にある映像とする。また、図5(B−LR)で右側に位置する顔の映像と左側に位置する丸型の映像が左目用の映像であり、分離後の左目用の映像を図5(B−L)に示す。図5(B−LR)で左側に位置する顔の映像と右側に位置する丸型の映像が右目用の映像であり、分離後の右目用の映像を図5(B−R)に示す。
【0029】
図4に戻って説明する。ステップS103で拡大縮小部104は、左右映像分離部102から受け取った左目用映像信号と右目用映像信号のそれぞれについて、制御部108から送られた基準点の位置に関するデータを元に基準点の設定を行う。ここでは説明を簡略化するため、基準点を図5(B−LR)に示す丸型の映像の中心位置に設定したと仮定する。すなわち、図5(B−L)の丸型の映像の中心位置が左目用映像の基準点であり、図5(B−R)の丸型の映像の中心位置が右目用映像の基準点になる。
【0030】
ステップS104で制御部108は、ユーザ入力部107から拡大縮小の指示が入力されたか否かの判定を行なう。拡大縮小指示の入力形式は、拡大縮小率を予め設定しておいて、拡大するか縮小するか拡大も縮小もしないかを選択する構成でも良いし、ユーザが任意の拡大縮小率を入力する構成でも良い。ユーザが任意の拡大縮小率を入力する構成の場合、ユーザが入力した拡大縮小率が1より小さければ縮小、1ならば拡大縮小しない、1より大きければ拡大することを意味する。
【0031】
ステップS104で制御部108が、拡大縮小の指示が入力されていないと判定した場合或いはユーザの入力した拡大縮小率が1であると判定した場合(S104/no)、制御部108は拡大縮小部104に対し、左右映像信号の拡大縮小をしない様に制御する。拡大縮小部104は左右映像信号を拡大縮小せずに、左右画像合成部105に送る。ステップS105にて、左右画像合成部105は拡大縮小部104から受け取った左右映像信号を合成する。ステップS106にて、表示部106は左右画像合成部から受け取った立体映像信号を表示する。
【0032】
ステップS104で制御部108が、縮小の指示が入力されたと判定した場合或いはユーザの入力した拡大縮小率が1よりも小さいと判定した場合(S104/縮小)、ステップS107に進み、制御部108は拡大縮小部104に対し、映像を縮小するように制御する。拡大縮小部104は左目用映像と右目用映像をそれぞれの基準点を中心に縮小するように左目用映像信号と右目用映像信号の変更を行う。図5(A−L)は、図5(B−L)の映像を基準点(丸型の映像の中心)を中心に縮小した映像である。図5(A−R)は、図5(B−R)の映像を基準点(丸型の映像の中心)を中心に縮小した映像である。次にステップS105に進み、左右映像合成部105は左右の映像を合成する。図5(A−LR)は図5(A−L)に示す縮小済み左映像と図5(A−R)に示す縮小済み右映像を合成した映像である。
【0033】
ステップS104で制御部108が、拡大の指示が入力されたと判定した場合或いはユーザの入力した拡大縮小率が1よりも大きいと判定した場合(S104/拡大)、ステップS108に進み、制御部108は拡大縮小部104に対し、映像信号を拡大するように制御する。拡大縮小部104は左目用映像と右目用映像をそれぞれの基準点を中心に拡大するように左目用映像信号と右目用映像信号の変更を行う。図5(C−L)は、図5(B−L)の映像を基準点(丸型の映像の中心)を中心に拡大した映像である。図5(C−R)は、図5(B−R)の映像を基準点(丸型の映像の中心)を中心に拡大した映像である。次にステップS105に進み、左右映像合成部105は左右の映像を合成する。図5(C−LR)は図5(C−L)に示す拡大済み左映像と図5(C−R)に示す拡大済み右映像を合成した映像である。
【0034】
上記ステップS107またはS108とS105、S106で映像信号を拡大縮小して表示した場合の立体映像の結像位置の変化を図6と図7を使って説明する。図6は図5で説明した丸型映像、すなわち左右映像の基準点に位置する映像の、映像拡大縮小前後での結像位置の変化を説明するための図である。図6(B)は、拡大縮小前の映像である図5(B−LR)の映像を立体視した時の丸型映像の結像位置を図示したもので、左右の映像の表示画面上の間隔をαとする。この時、結像位置は視聴者に対して表示画面の位置より遠い、結像位置bに示す位置になる。
図6(A)は、縮小後の映像である図3(A−LR)の映像を立体視した時の丸型映像の見え方を図示したもので、左右の映像の表示画面上の間隔は図6(B)と変わらずαとなり、従って結像位置aは結像位置bと同じ位置となる。但し、丸型映像の大きさは図6(B)に対して所定の倍率で縮小されたものになる。
【0035】
図6(C)は、拡大後の映像である図5(C−LR)の映像を立体視した時の丸型映像の結像位置を図示したもので、左右の映像の表示画面上の間隔は図6(B)と変わらずαとなり、従って結像位置cは結像位置bと同じ位置となる。但し、丸型映像の大きさは図6(B)に対して所定の倍率で拡大されたものになる。このように、基準点の位置にある映像は、映像を拡大縮小すると映像の大きさは拡大縮小されるが、結像位置は変わらない。
【0036】
図7は図5で説明した、観察者に対して至近距離に結像する顔映像の、映像拡大縮小前後の結像位置の変化を説明するための図である。図7(B)は、拡大縮小前の映像である図5(B−LR)の映像を立体視した時の顔映像の結像位置を図示したもので、左右の映像の表示画面上の間隔をβeとする。この時、結像位置は視聴者に対して表示画面の位置より近い、結像位置eに示す位置となる。
図7(A)は、縮小後の映像である図5(A−LR)の映像を立体視した時の顔映像の見え方を図示したもので、左右の映像の表示画面上の間隔はβeよりも狭いβdとなる。従って結像位置dは結像位置eよりも視聴者に対し表示画面寄りの位置となる。このとき、図4(A)の顔映像の大きさは図4(B)に対して所定の倍率で縮小されたものになる。
【0037】
図7(C)は、拡大後の映像である図5(C−LR)の映像を立体視した時の顔映像の結像位置を図示したもので、左右の映像の表示画面上の間隔はβeよりも広いβfとなる。従って結像位置fは結像位置eよりも視聴者寄りの位置となる。このとき、顔映像の大きさは図7(A)に対して所定の倍率で拡大されたものになる。このように、基準点の位置にない映像は、映像を拡大縮小すると映像の大きさが拡大縮小されると共に、結像位置が変わる。
【0038】
以上、説明した特性を利用して、左右映像の基準点同士の間隔を視聴者の目の間隔に近い値に設定することで、映像を拡大縮小した場合、視聴者に対し遠くに結像する映像については結像位置の変化を少なく、視聴者に対する結像位置が近い映像ほど結像位置の変化を大きくすることができるため、遠くの映像の距離感を変えずに至近距離の映像の距離感を変えることができる。
【0039】
(実施形態2)
図8は本発明の実施形態2に係る立体映像表示装置の構成を示すブロック図である。図中、図3と共通する部分には同じ番号を付与する。図8の立体映像表示装置では図3の立体映像表示装置に対し、重畳画像生成部202、重畳画像合成部203が追加されている。
【0040】
本実施形態における立体映像信号表示装置200の動作を図9〜図11を使って説明する。図9は実施形態2に係る立体映像装置200の動作を説明するためのフローチャートである。図10は重畳画像の表示例を示す図である。図11は重畳画像表示前後における、表示画像の結像位置の変化を説明するための図である。
【0041】
図9のステップS201〜S203は、図4で説明したステップS101〜S103と同様であるので、説明は省略する。ステップS204で制御部108は、重畳画像表示の指示があるか否か判定する。重畳画像表示の指示は通常ユーザ入力部107を介して、図示しないリモコン等を使用してユーザにより入力されるが、これに限定されず、映像信号入力部101に入力される映像信号に付加情報として付加された緊急信号等を検出して自動的に重畳画像を表示する構成としても良い。制御部108が重畳画像表示の指示がないと判定した場合(S204/no)、ステップS205に進む。ステップS205〜S206は、図4のステップS105〜S106と同様である。このとき制御部108は拡大縮小部104に対し、拡大縮小しないように制御すると同時に重畳画像生成部202に対し、重畳画像を生成しないように制御する。したがって、この時ステップS205では、拡大縮小せず、重畳画像を合成しない状態で左右映像が合成される。
【0042】
ステップS204で制御部108が重畳画像表示の指示があると判定した場合(S204/yes)。ステップS207に進み、制御部108は拡大縮小部104に対し、映像を縮小するよう制御する。拡大縮小部104は左目用映像と右目用映像をそれぞれの基準点を中心に縮小するように左目用映像信号と右目用映像信号の変更を行う。ここで縮小率はデフォルト値として予め設定されている構成でも良く、またユーザが設定する構成としても良い。
【0043】
制御部108は重畳画像生成部202に対し重畳画像を生成するよう指示する。重畳画像生成部202は左目用映像信号用重畳画像と右目用映像信号用重畳画像をそれぞれ生成し、重畳画像合成部203に送る。ステップS208で重畳画像合成部203は、拡大縮小部104から受け取った左目用映像信号と右目用映像信号のそれぞれに、重畳画像生成部202から受け取った左目用映像用重畳画像信号と右目用映像用重畳画像信号を合成する。ステップS205、S206の流れは図4のS105、S106と同様である。
【0044】
図10(B−LR)は映像信号入力部101に入力された立体映像の一例であり、図5(B−LR)と同じものである。図10(B−L)と図10(B−R)は左右映像分離部102で分離された、それぞれ左目用映像と右目用映像であり、実施形態1で説明した例と同様に、拡大縮小部104で、左目用映像と右目用映像それぞれ丸型の映像の中心位置に基準点を設定したと仮定する。図10(B−L)の映像を拡大縮小部104にて縮小した後、重畳画像合成部203にて重畳画像を合成した映像が図10(A−L)の映像であり、同様に図10(B−R)の映像を拡大縮小部104にて縮小した後、重畳画像合成部203にて重畳画像を合成した映像が図10(A−R)の映像である。
図10(A−LR)は図10(A−L)の映像と図10(A−R)の映像を左右映像合成部105で合成した映像であり、表示部106にて重畳画像付き立体映像として表示される。図10に示すように、映像を縮小することにより、画面上に映像が表示されない部分が現れる。この部分に重畳画像が表示されるように重畳画像を合成することで、元の映像を隠すことなく重畳画像の表示を行うこともできる。
【0045】
図11を使って、図10に示した立体映像の結像位置の変化を説明する。図11(C)は図10(B−LR)に示す立体映像の中の顔映像の結像位置を示す図である。顔映像の表示画面上の視差はβiであり、結像位置は結像位置iとなる。図11(B)は縮小後の顔映像の結像位置を示す図である。縮小後の顔映像の表示画面上の視差はβiに対し小さいβgとなり、結像位置は結像位置iよりも表示画面寄りの結像位置gとなる。
飛び出して見える映像の結像位置を表示画面寄りに移動することで、至近映像に集中していた視聴者の負担は緩和される。一方、立体映像視聴中の視聴者に対し重畳画像の認識を容易にするためには、視聴者の注目する至近映像の結像位置と重畳画像の結像位置の、表示画面からの距離を近くすることが有効である。
【0046】
図11(A)に縮小後の映像に重畳画像を合成した時の至近映像の結像位置と重畳画像の結像位置の一例を示す。この例では視聴者が重畳画像の表示内容を確認する際に視聴者への負担が少なくなるように重畳画像の結像位置qを表示画面の近くに設定している。この時、至近映像の結像位置と重畳画像の結像位置の表示画面からの距離の差は小さく(d2)、至近映像に集中している視聴者は容易に重畳画像を認識することができる。
仮に、映像を縮小しない状態で上記の例と同じ結像位置になるように重畳画像を重畳した場合、至近映像の結像位置と重畳画像の結像位置の表示画面からの距離の差は大きく(d1)、至近映像に集中している視聴者は重畳画像の表示に気付かない可能性がある。
【0047】
映像を縮小することにより、視聴者が認識しやすい位置である至近映像の結像位置に対し表示画面からの距離の差が小さい位置に重畳画像が結像するように重畳画像を表示することで、結果的に重畳画像の結像位置は表示画面から近い位置となり、認識した重畳画像の内容を確認するための視聴者の負担を軽減することができる。至近映像の結像位置よりも視聴者に近い位置に結像するように重畳画像を表示する場合でも、映像縮小後であれば極端に視聴者に近い位置に重畳画像結像位置を設定する必要がないので、視聴者への負担を大きくせずにすむ。
【符号の説明】
【0048】
100 立体映像信号表示装置
101 映像信号入力部
102 左右映像分離部
104 拡大縮小部
105 左右映像合成部
106 表示部
107 ユーザ入力部
108 制御部
200 立体映像信号表示装置
202 重畳画像生成部
203 重畳画像重畳部
【特許請求の範囲】
【請求項1】
立体映像信号を含む映像信号を入力する映像信号入力部と、
入力された前記立体映像信号を左目用映像信号と右目用映像信号に分離する左右映像分離部と、
左目用映像を拡大縮小する中心である第1の基準点と右目用映像を拡大縮小する中心である第2の基準点のそれぞれを基準点として左目用映像と右目用映像を変更する拡大縮小部と、
変更された前記左目用映像信号と前記右目用映像信号を合成する左右映像合成部と、
前記左目用映像信号と前記右目用映像信号が合成された映像信号を立体映像として知覚されるように表示する表示部と
を有し、
前記左右映像合成部は、前記第1の基準点と前記第2の基準点の表示部上の間隔を拡大縮小の前後で変えず、前記拡大縮小部は前記第1の基準点と前記第2の基準点を両眼視差の基となる左右映像がずれる方向と平行な同一線上に設定することを特徴とする立体映像表示装置。
【請求項2】
視差を備えた左目用重畳画像信号と右目用重畳画像信号を生成する重畳画像生成部と、
前記左右映像合成部に入力される前の前記左目用映像信号と前記右目用映像信号に前記視差を備えた左目用重畳画像信号と右目用重畳画像信号をそれぞれ合成する重畳画像合成部と、
を更に備え、
前記視差を備えた左目用重畳画像信号と右目用重畳画像信号を合成するときには、拡大縮小部にて前記左目用映像と前記右目用映像のそれぞれを、前記第1の基準点と前記第2の基準点を中心に縮小するために前記左目用映像信号と前記右目用映像信号を変更する、
請求項1記載の立体映像表示装置。
【請求項3】
前記第1の基準点と前記第2の基準点の内、少なくとも一方が表示画面上の外側に位置する請求項1または2に記載の立体映像表示装置。
【請求項4】
前記重畳画像が表示される位置に応じて、前記第1の基準点と前記第2の基準点の位置を設定する、請求項2または3記載の立体映像信号表示装置。
【請求項5】
立体映像信号を含む映像信号を入力する映像信号入力ステップと、
入力された立体映像信号を左目用映像信号と右目用映像信号に分離する左右映像分離ステップと、
左目用映像と右目用映像のそれぞれを、両眼視差の基となる左右映像がずれる方向と平行な同一線上に設定した拡大縮小のそれぞれの中心を第1の基準点および第2の基準点として左目用映像信号と右目用映像信号を変更する拡大縮小ステップと、
変更された前記左目用映像信号と前記右目用映像信号を前記第1の基準点と前記第2の基準点の表示部上の間隔を拡大縮小前後で変えずに合成する左右映像合成ステップと、
前記左目用映像信号と前記右目用映像信号が合成された映像信号を立体映像として知覚されるように表示する表示ステップと
を有することを特徴とする立体映像表示方法。
【請求項1】
立体映像信号を含む映像信号を入力する映像信号入力部と、
入力された前記立体映像信号を左目用映像信号と右目用映像信号に分離する左右映像分離部と、
左目用映像を拡大縮小する中心である第1の基準点と右目用映像を拡大縮小する中心である第2の基準点のそれぞれを基準点として左目用映像と右目用映像を変更する拡大縮小部と、
変更された前記左目用映像信号と前記右目用映像信号を合成する左右映像合成部と、
前記左目用映像信号と前記右目用映像信号が合成された映像信号を立体映像として知覚されるように表示する表示部と
を有し、
前記左右映像合成部は、前記第1の基準点と前記第2の基準点の表示部上の間隔を拡大縮小の前後で変えず、前記拡大縮小部は前記第1の基準点と前記第2の基準点を両眼視差の基となる左右映像がずれる方向と平行な同一線上に設定することを特徴とする立体映像表示装置。
【請求項2】
視差を備えた左目用重畳画像信号と右目用重畳画像信号を生成する重畳画像生成部と、
前記左右映像合成部に入力される前の前記左目用映像信号と前記右目用映像信号に前記視差を備えた左目用重畳画像信号と右目用重畳画像信号をそれぞれ合成する重畳画像合成部と、
を更に備え、
前記視差を備えた左目用重畳画像信号と右目用重畳画像信号を合成するときには、拡大縮小部にて前記左目用映像と前記右目用映像のそれぞれを、前記第1の基準点と前記第2の基準点を中心に縮小するために前記左目用映像信号と前記右目用映像信号を変更する、
請求項1記載の立体映像表示装置。
【請求項3】
前記第1の基準点と前記第2の基準点の内、少なくとも一方が表示画面上の外側に位置する請求項1または2に記載の立体映像表示装置。
【請求項4】
前記重畳画像が表示される位置に応じて、前記第1の基準点と前記第2の基準点の位置を設定する、請求項2または3記載の立体映像信号表示装置。
【請求項5】
立体映像信号を含む映像信号を入力する映像信号入力ステップと、
入力された立体映像信号を左目用映像信号と右目用映像信号に分離する左右映像分離ステップと、
左目用映像と右目用映像のそれぞれを、両眼視差の基となる左右映像がずれる方向と平行な同一線上に設定した拡大縮小のそれぞれの中心を第1の基準点および第2の基準点として左目用映像信号と右目用映像信号を変更する拡大縮小ステップと、
変更された前記左目用映像信号と前記右目用映像信号を前記第1の基準点と前記第2の基準点の表示部上の間隔を拡大縮小前後で変えずに合成する左右映像合成ステップと、
前記左目用映像信号と前記右目用映像信号が合成された映像信号を立体映像として知覚されるように表示する表示ステップと
を有することを特徴とする立体映像表示方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−100084(P2012−100084A)
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願番号】特願2010−246130(P2010−246130)
【出願日】平成22年11月2日(2010.11.2)
【出願人】(308036402)株式会社JVCケンウッド (1,152)
【Fターム(参考)】
【公開日】平成24年5月24日(2012.5.24)
【国際特許分類】
【出願日】平成22年11月2日(2010.11.2)
【出願人】(308036402)株式会社JVCケンウッド (1,152)
【Fターム(参考)】
[ Back to top ]