映像表示装置及び映像表示方法
【課題】破綻の少ない多視点の映像を表示することができる映像表示装置を提供する。
【解決手段】内挿部１〜３は、複数の基準となる視点間に位置する視点の内挿映像信号を生成する。外挿部４，５は、基準となる視点の外側に位置する視点の外挿映像信号を生成する。外挿部である擬似的仮想視点映像生成部６，７は、基準となる視点の映像信号に基づいて生成された１つの視点の映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、左右の映像信号の内の一方を基準となる視点の外側に位置する仮想的な視点の外挿映像信号とする。プロジェクタ１１〜１９は、それぞれの視点の映像信号を投射する。
【解決手段】内挿部１〜３は、複数の基準となる視点間に位置する視点の内挿映像信号を生成する。外挿部４，５は、基準となる視点の外側に位置する視点の外挿映像信号を生成する。外挿部である擬似的仮想視点映像生成部６，７は、基準となる視点の映像信号に基づいて生成された１つの視点の映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、左右の映像信号の内の一方を基準となる視点の外側に位置する仮想的な視点の外挿映像信号とする。プロジェクタ１１〜１９は、それぞれの視点の映像信号を投射する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数視点の映像を提示して裸眼による立体視を実現する映像表示装置及び映像表示方法に関する。
【背景技術】
【０００２】
近年になって、立体映像（３Ｄ映像）が普及しつつある。３Ｄ映像を見るためには、液晶シャッタまたは偏光による専用の眼鏡を用いることが主となっている。これに対して、専用の眼鏡を用いることなく、裸眼にて立体視を実現する裸眼立体表示の開発も盛んに行われている。裸眼立体表示装置において、３Ｄ映像を知覚するためには一般的に視位置が限定される。
【０００３】
裸眼立体表示装置には複数の方式が存在しており、視位置が比較的限定されない方式として、特許文献１に記載されているように、視点の位置に応じて多数の映像を提示する多眼式と称されている方式がある。多眼式の裸眼立体表示装置においては、多数の視点から撮影された映像が必要となる。一般的に普及している３Ｄ映像は２視点のステレオコンテンツであり、２視点のステレオコンテンツをそのまま多眼式の裸眼立体表示装置で表示することはできない。そこで、２視点のステレオコンテンツを３視点以上の多視点の映像に変換することが必要となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−８１４４０号公報
【特許文献２】特開平９−２７９６９号公報
【特許文献３】特開２００９−１２４３０８号公報
【特許文献４】特開２００５−１５１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
２視点のステレオコンテンツを３視点以上の多視点の映像に変換するためには、特許文献２，３に記載されているように、ステレオコンテンツの左右の映像の間に、中間の視点の映像を生成して挿入し、特許文献３に記載されているように、ステレオコンテンツの左右の映像の外側に、左右の映像の外側の仮想的な視点の映像を生成して配置することが必要となる。ステレオコンテンツの左右の映像の間に補間映像を挿入することを内挿、左右の映像の外側に補間映像を配置することを外挿と称する。
【０００６】
ところが、ステレオコンテンツの左右の映像の外側の仮想的な視点の映像を高品質に生成することは難しい。特に、外側に向かえば向かうほど生成した外側の視点の映像は破綻しやすい。
【０００７】
本発明はこのような問題点に鑑み、複数の視点の映像信号に基づいてさらに多い視点である多視点の映像信号を生成して表示する際に、破綻の少ない多視点の映像を表示することができる映像表示装置及び映像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上述した従来の技術の課題を解決するため、複数の基準となる視点間に位置する視点の映像信号を生成する内挿部（１〜３）と、前記基準となる視点の外側に位置する視点の映像信号を生成する外挿部（４〜７，６１，６２，７１，７２）と、前記基準となる視点の映像信号と前記内挿部及び前記外挿部より出力された映像信号をそれぞれ投射する投射部（１１〜１９）とを備え、前記外挿部として、前記基準となる視点の映像信号の内の１つの視点の映像信号または前記基準となる視点の映像信号に基づいて生成された１つの視点の映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、前記左右の映像信号の内の一方を前記基準となる視点の外側に位置する仮想的な視点の映像信号とする擬似的仮想視点映像生成部（６，７，６１，６２，７１，７２）を用いることを特徴とする映像表示装置を提供する。
【０００９】
上記の映像表示装置において、前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に近い側に位置する視点の映像信号を、前記基準となる視点の映像信号の内の１つの視点の映像信号をシフトすることによって生成する第１の外挿部（４，５）と、前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に遠い側に位置する視点の映像信号を、前記擬似的仮想視点映像生成部によって生成する第２の外挿部（６，７）とを含んで構成することができる。
【００１０】
上記の映像表示装置において、前記基準となる視点の外側に位置する複数の視点の全ての映像信号を、前記擬似的仮想視点映像生成部によって生成することができる。
【００１１】
また、本発明は、上述した従来の技術の課題を解決するため、複数の基準となる視点間に位置する視点の内挿映像信号を生成し、前記基準となる視点の映像信号の内の１つの視点の映像信号または前記基準となる視点の映像信号に基づいて生成された１つの視点の映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、前記左右の映像信号の内の一方を前記基準となる視点の外側に位置する仮想的な視点の外挿映像信号として生成し、前記基準となる視点の映像信号と前記内挿映像信号と前記外挿映像信号をそれぞれ投射して、立体映像を提示することを特徴とする映像表示方法を提供する。
【００１２】
上記の映像表示方法において、前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に近い側に位置する視点の外挿映像信号を、前記基準となる視点の映像信号の内の１つの視点の映像信号をシフトすることによって生成し、前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に遠い側に位置する視点の外挿映像信号を、前記仮想的な視点の外挿映像信号として生成することができる。
【００１３】
上記の映像表示方法において、前記基準となる視点の外側に位置する複数の視点の全ての外挿映像信号を、前記仮想的な視点の外挿映像信号として生成することができる。
【発明の効果】
【００１４】
本発明の映像表示装置及び映像表示方法によれば、複数の視点の映像信号に基づいてさらに多い視点である多視点の映像信号を生成して表示する際に、破綻の少ない多視点の映像を表示することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の映像表示装置を示すブロック図である。
【図２】多視点映像の各視点を示す図である。
【図３】図１及び図７における内挿部１〜３の具体的な構成例を示すブロック図である。
【図４】図１における外挿部４，５の具体的な構成例を示すブロック図である。
【図５】図１，図７，図８における擬似的仮想視点映像生成部６，７，６１，６２，３１〜３８の具体的な構成例を示すブロック図である。
【図６】第１実施形態による視点の位置と映像情報の利用効率との関係を示す特性図である。
【図７】第２実施形態の映像表示装置を示すブロック図である。
【図８】変形例の映像表示装置を示すブロック図である。
【図９】ステレオペアの視差を説明するための図である。
【図１０】視点の位置と内挿及び外挿との関係を説明するための図である。
【図１１】映像情報の利用効率を説明するための図である。
【図１２】一般的な視点の位置と映像情報の利用効率との関係を示す特性図である。
【図１３】図１２において水平視差を１０％とした場合の視点の位置と映像情報の利用効率との関係を示す特性図である。
【発明を実施するための形態】
【００１６】
以下、本発明の映像表示装置及び方法の各実施形態について、添付図面を参照して説明する。各実施形態の構成及び動作を説明する前に、ステレオコンテンツの左右の映像に対して外挿する仮想的な視点の映像が外側に向かえば向かうほど破綻しやすい理由について説明する。ここでは簡略化のため、図９に示すように、左右の映像を平面として、左右の映像全体で一定の水平視差が存在するステレオペアを用いて説明することとする。
【００１７】
図９において、左映像ＩｍLと右映像ＩｍRとは、左映像ＩｍLと右映像ＩｍRの水平方向の幅を１００％としたときのｎ％が水平視差としてシフトされている。図１０において、ｘｙ座標は映像平面を表し、ｂ座標は視点の位置を示している。ｂ座標0に左映像ＩｍLが位置し、ｂ座標100に右映像ＩｍRが位置している。ｂ座標が0を超えて100未満の範囲では、内挿によって中間の視点の補間映像を生成し、ｂ座標が0未満及び100を超える範囲では、外挿によって外側の視点の補間映像を生成する。
【００１８】
図１０において、太い破線で囲んだ部分は、左映像ＩｍLと右映像ＩｍRとで共通の映像部分を示している。内挿及び外挿において、共通の映像部分では完全に正しく左映像ＩｍLと右映像ＩｍRとの映像が照合されて補間映像が生成されるとする。左映像ＩｍLと右映像ＩｍRとはｎ％の水平視差を有しているので、左映像ＩｍLと右映像ＩｍRそれぞれの（100−ｎ）％の部分が共通している。内挿においては、（100−ｎ）％共通する映像部分の全てを用いて補間映像を生成することができる。これを、（100−ｎ）％の利用効率で映像情報が利用されると定義する。
【００１９】
図１１を用いて映像情報の利用効率について説明する。図１１は、図１０をｙ軸上側から見て、ｂ軸を水平、ｘ軸を垂直としたものである。ｂ座標0に左映像ＩｍLが位置し、ｂ座標100に右映像ＩｍRが位置している。左映像ＩｍLと右映像ＩｍRの太い実線の部分が共通の映像部分である。ここでは映像情報の利用効率は（100−ｎ）％である。ｂ座標がｂ１，ｂ２の位置では外挿となる。ｂ座標がｂ１の位置においては、映像幅Ｗよりも外側の部分ｂ１xは照合可能な共通の映像部分の映像情報を利用することができない。ｂ座標がｂ２の位置においても同様に、映像幅Ｗよりも外側の部分ｂ２xは照合可能な共通の映像部分の映像情報を利用することができない。
【００２０】
ｂ座標がｂ１の位置における映像情報の利用効率は、幾何計算によって-n×(b1-100)/100+100-nとなり、ｂ座標がｂ２の位置における映像情報の利用効率は、幾何計算によってn×b2/100+100-nとなる。
【００２１】
映像情報の利用効率をＥとしてグラフ化すると図１２のようになる。図１２に示すように、利用効率Ｅは、ｂ座標が負の部分ではn×b/100+100-nで表される特性の直線となり、ｂ座標が100以上の部分では-n×(b-100)/100+100-nで表される特性の直線となる。水平視差ｎを１０％とすると、利用効率Ｅは図１３に示す特性となる。図１３に示すように、利用効率Ｅは、ｂ座標が負の部分では0.1×b+90で表される特性の直線となり、ｂ座標が100以上の部分では-0.1×b+90で表される特性の直線となる。ｂ座標が−100及び200で、利用効率Ｅは８０％となる。
【００２２】
図１３は理想的な状態であり、現実には、利用効率Ｅは外側に向かえば向かうほど急激に劣化する。本発明者による検証によって、激しい破綻が生じないのは、ｂ座標が0から−50まで、100から150まで、利用効率Ｅとして８５％程度が限界であることが明らかとなった。ところが、２視点のステレオコンテンツに基づいて多視点の映像を生成して表示する際には、ｂ座標が−50及び150を越える領域においても仮想的な視点の映像を表示することが要求される。そこで、ｂ座標が−50及び150を越える領域に視点の映像を外挿する場合でも、破綻の少ない視点の映像を生成することが必要となる。
【００２３】
以下、このような要望に対応する各実施形態の具体的な構成及び動作について説明する
【００２４】
＜第１実施形態＞
図１に示す第１実施形態の映像表示装置は、特許文献１と同様、多眼式の映像表示装置を示している。図１において、ステレオ映像の左チャネルの信号ＳLは、内挿部１〜３と、外挿部４，５と、プロジェクタ１３に入力される。ステレオ映像の右チャネルの信号ＳRは、内挿部１〜３と、外挿部４，５と、プロジェクタ１７に入力される。プロジェクタ１３は左チャネルの信号ＳLを投射し、左チャネルの信号ＳLそのものによる映像を図２に示す視点Ｐvcに提示する。プロジェクタ１７は右チャネルの信号ＳRを投射し、右チャネルの信号ＳRそのものによる映像を図２に示す視点Ｐvgに提示する。
【００２５】
内挿部１〜３は、左チャネルの信号ＳLまたは右チャネルの信号ＳRとに基づいてそれぞれ内挿映像信号Ｓpvd〜Ｓpvfを生成し、プロジェクタ１４〜１６に供給する。プロジェクタ１４〜１６は、入力されたそれぞれの内挿映像信号Ｓpvd〜Ｓpvfを投射し、内挿映像信号Ｓpvd〜Ｓpvfによる映像を図２に示す視点Ｐvd〜Ｐvfに提示する。内挿部１〜３における内挿映像信号Ｓpvd〜Ｓpvfの生成方法は特許文献３に記載されている方法を用いればよい。
【００２６】
具体的には、内挿部１〜３は図３のように構成される。図３において、水平視差算出部２１には右チャネルの信号ＳR及び左チャネルの信号ＳLが入力される。水平視差算出部２１は、右チャネルの信号ＳRと左チャネルの信号ＳLとに基づいて水平視差を算出する。水平視差算出部２１が算出した水平視差を示す情報は映像シフト部２２に入力される。映像シフト部２２には、視点位置情報Ｓivpも入力される。映像シフト部２２は、右チャネルの信号ＳRまたは左チャネルの信号ＳLを、視点位置情報Ｓivpに応じた値を乗じた画素だけシフトすることによって、内挿映像信号Ｓpvd〜Ｓpvfを生成する。
【００２７】
例えば、左チャネルの信号ＳLの映像の一部が右チャネルの信号ＳRの対応部分に対して視差ｄがあり、視点Ｐvdにおける内挿映像信号Ｓpvdを生成する場合には、視点Ｐvcと視点Ｐvdとの距離は視点Ｐvcと視点Ｐvgとの距離の１／４であるので、左チャネルの信号ＳLの映像の一部を１／４×ｄだけシフトすればよい。視点Ｐveにおける内挿映像信号Ｓpveを生成する場合には、視点Ｐvcと視点Ｐveとの距離は視点Ｐvcと視点Ｐvgとの距離の１／２であるので、左チャネルの信号ＳLの映像の一部を１／２×ｄだけシフトすればよい。
【００２８】
視点Ｐvfにおける内挿映像信号Ｓpvfを生成する場合には、より物理的距離が近い右チャネルの信号ＳRに基づいて生成した方が画質が優れる。そこで、右チャネルの信号ＳRの映像の一部と左チャネルの信号ＳLの対応部分との視差ｄ’を求める。視点Ｐvgと視点Ｐvfとの距離は視点Ｐvgと視点Ｐvcとの距離の１／４であるので、右チャネルの信号ＳRの映像の一部を１／４×ｄ’だけシフトすればよい。なお、視点Ｐveは視点Ｐvcと視点Ｐvgとの中央に位置しているので、視点Ｐveにおける内挿映像信号Ｓpveを生成する場合に、右チャネルの信号ＳRに基づいて生成してもよい。
【００２９】
外挿部４，５は、左チャネルの信号ＳLまたは右チャネルの信号ＳRに基づいてそれぞれ外挿映像信号Ｓpvb，Ｓpvhを生成し、プロジェクタ１２，１８に供給する。プロジェクタ１２，１８は、入力されたそれぞれの外挿映像信号Ｓpvb，Ｓpvhを投射し、外挿映像信号Ｓpvb，Ｓpvhによる映像を図２に示す視点Ｐvb，Ｐvhに提示する。
【００３０】
外挿部４，５の具体的構成は内挿部１〜３と同様であり、図４に示すように、水平視差算出部２３と映像シフト部２４とを備える。
【００３１】
例えば、左チャネルの信号ＳLの映像の一部が右チャネルの信号ＳRの対応部分に対して視差ｄがあり、視点Ｐvbにおける外挿映像信号Ｓpvbを生成する場合には、視点Ｐvcと視点Ｐvbとの距離は視点Ｐvcと視点Ｐvgとの距離の１／４であり、視点Ｐvcを基準にして視点Ｐvc，Ｐvg間の視点とは逆向きであるので、左チャネルの信号ＳLの映像の一部を−１／４×ｄだけシフトすればよい。
【００３２】
視点Ｐvhにおける外挿映像信号Ｓpvhを生成する場合には、より物理的距離が近い右チャネルの信号ＳRに基づいて生成した方が画質が優れる。そこで、右チャネルの信号ＳRの映像の一部と左チャネルの信号ＳLの対応部分との視差ｄ’を求める。視点Ｐvgと視点Ｐvhとの距離は視点Ｐvgと視点Ｐvcとの距離の１／４であり、視点Ｐvgを基準にして視点Ｐvc，Ｐvg間の視点とは逆向きであるので、右チャネルの信号ＳRの映像の一部を−１／４×ｄ’だけシフトすればよい。
【００３３】
なお、視点Ｐvbは、ｂ座標における−50〜0とすることが好ましい。視点Ｐvhは、ｂ座標における100〜150することが好ましい。
【００３４】
外挿部として構成されている擬似的仮想視点映像生成部６には、外挿部４より出力された視点Ｐvbにおける外挿映像信号Ｓpvbが入力される。外挿部として構成されている擬似的仮想視点映像生成部７には、外挿部５より出力された視点Ｐvhにおける外挿映像信号Ｓpvhが入力される。擬似的仮想視点映像生成部６，７は、擬似的な仮想視点映像信号Ｓpva，Ｓpviを生成し、プロジェクタ１１，１９に供給する。プロジェクタ１１，１９は、入力されたそれぞれの仮想視点映像信号Ｓpva，Ｓpviを投射し、仮想視点映像信号Ｓpva，Ｓpviによる映像を図２に示す視点Ｐva，Ｐviに提示する。
【００３５】
擬似的仮想視点映像生成部６，７は、いわゆる２Ｄ３Ｄ変換と称されている特許文献４に記載されているような擬似立体画像作成装置を用いることによって実現できる。特許文献４に記載されている擬似立体画像作成装置は、仮に奥行き情報が明示的にも暗示的にも与えられていない非立体映像であっても、非立体映像から奥行き推定データを作成し、この奥行き推定データに基づいて擬似的な立体映像を作成することができる。
【００３６】
擬似的仮想視点映像生成部６，７は、図５に示すように、奥行き推定部２５と映像シフト部２６とを備える。奥行き推定部２５は、入力された外挿映像信号Ｓpvb，Ｓpvhに基づいて映像の奥行きを推定し、奥行き推定データを生成する。この際、奥行き推定部２５は、曲面近似された奥行きを推定して奥行き推定データを生成する。映像シフト部２６は、奥行き推定部２５より出力された曲面近似された奥行き推定データに応じて外挿映像信号Ｓpvb，Ｓpvhをシフトすることによって、仮想視点映像信号Ｓpva，Ｓpviを生成する。
【００３７】
擬似的仮想視点映像生成部６，７によれば、外挿部４，５で行っているような、映像を照合して外挿するという単純なシフトと比較して、仮想視点の距離が遠ざかっても急速に映像情報の利用効率が低下することを回避することができる。その結果、高画質な仮想視点映像信号Ｓpva，Ｓpviを生成することができる。
【００３８】
擬似的仮想視点映像生成部６の動作をさらに詳細に説明する。視点Ｐvbの位置を右目の位置と想定すると、画面より手前に表示するものは、近いものほど映像を見る者の内側（鼻側）に見える。従って、擬似的仮想視点映像生成部６の映像シフト部２６は、奥行き推定データが示す奥行きに応じた量だけ、対応部分の映像を内側（右方向）に移動させる。画面より奥に表示するものは、近いものほど映像を見る者の外側に見える。従って、映像シフト部２６は、奥行き推定データが示す奥行きに応じた量だけ、対応部分の映像を外側（左方向）に移動させる。
【００３９】
擬似的仮想視点映像生成部６は、外挿映像信号Ｓpvbをそのまま２Ｄ３Ｄ変換後の右チャネルの信号とし、外挿映像信号Ｓpvbよりも左よりの視点Ｓpvaにおける仮想視点映像信号Ｓpvaを左チャネルの信号として生成する。２Ｄ３Ｄ変換後の右チャネルの信号である外挿映像信号Ｓpvbを出力する必要はないので、擬似的仮想視点映像生成部６は仮想視点映像信号Ｓpvaのみをプロジェクタ１１へと出力する。
【００４０】
擬似的仮想視点映像生成部７の動作をさらに詳細に説明する。視点Ｐvh位置を左目の位置と想定すると、画面より手前に表示するものは、近いものほど映像を見る者の内側（鼻側）に見える。従って、擬似的仮想視点映像生成部７の映像シフト部２６は、奥行き推定データが示す奥行きに応じた量だけ、対応部分の映像を内側（左方向）に移動させる。画面より奥に表示するものは、近いものほど映像を見る者の外側に見える。従って、映像シフト部２６は、奥行き推定データが示す奥行きに応じた量だけ、対応部分の映像を外側（右方向）に移動させる。
【００４１】
擬似的仮想視点映像生成部７は、外挿映像信号Ｓpvhそのまま２Ｄ３Ｄ変換後の左チャネルの信号とし、外挿映像信号Ｓpvhよりも右よりの視点Ｐviにおける仮想視点映像信号Ｓpviを右チャネルの信号として生成する。２Ｄ３Ｄ変換後の左チャネルの信号である外挿映像信号Ｓpvhを出力する必要はないので、擬似的仮想視点映像生成部７は仮想視点映像信号Ｓpviのみをプロジェクタ１９へと出力する。
【００４２】
投射部であるプロジェクタ１１〜１９は、入力されたそれぞれの視点の映像信号を投射する。プロジェクタ１１〜１９から投射された光線はレンズ２０によって集光される。図１では、簡略化のため、プロジェクタ１３，１５，１７から投射される光線のみを概略的に示している。観察者は左右の目ＥL，ＥRで、プロジェクタ１１〜１９から投射されてレンズ２０によって集光された３Ｄ映像を見る。
【００４３】
図６は、本実施形態による利用効率Ｅを示している。図６でもｎを１０％とした特性を示している。ｂ座標が0〜−50の部分では図１３と同様、0.1×b+90で表される特性の直線であるが、ｂ座標が−50を超えた部分で利用効率Ｅの低下が抑えられていることが分かる。また、ｂ座標が100〜150の部分では図１３と同様、-0.1×b+90で表される特性の直線であるが、ｂ座標が150を超えた部分で利用効率Ｅの低下が抑えられていることが分かる。ｂ座標が−100及び200で、利用効率Ｅは８０％よりも大きくなっている。
【００４４】
本実施形態において、視点の数は図２に示す９視点に限定されるものではない。内挿部，外挿部，擬似的仮想視点映像生成部をさらに増やしてもよい。視点の間隔は等間隔でなくてもよい。なお、映像をシフトする方向（輻輳に相当）と量（立体化の強度に相当）は、実際の映像の見え方に近くなるように適宜調整すればよい。図２において、視点Ｐvc，Ｐvgが基準となる視点である。基準となる視点は２視点に限定されない。
【００４５】
図１における内挿部１〜３は、複数の基準となる視点の映像信号に基づいて、基準となる視点間に位置する視点の映像信号を生成する内挿部である。図１における外挿部４，５は、複数の視点の映像信号に基づいて、基準となる視点の外側に位置する視点の映像信号を生成する外挿部である。擬似的仮想視点映像生成部６，７も、基準となる視点の外側に位置する視点の映像信号を生成する外挿部である。
【００４６】
擬似的仮想視点映像生成部６，７は、基準となる視点の映像信号ＳR，ＳLに基づいて生成された１つの視点の映像信号Ｓpvb，Ｓpvhを擬似的に左右の映像信号よりなる立体映像信号に変換し、左右の映像信号の内の一方を基準となる視点Ｐvc，Ｐvgの外側であり、視点Ｐvb，Ｐvhのさらに外側に位置する仮想的な視点の映像信号としている。
【００４７】
第１実施形態は、基準となる視点の左外側に位置する複数の視点の映像信号を生成する複数の外挿部と、基準となる視点の右外側に位置する複数の視点の映像信号を生成する複数の外挿部とを備える構成である。複数の外挿部の内、外挿部４，５は、基準となる視点の外側に位置する複数の視点の内、基準となる視点に近い側に位置する視点の映像信号を、基準となる視点の映像信号の内の１つの視点の映像信号をシフトすることによって生成する第１の外挿部である。複数の外挿部の内、擬似的仮想視点映像生成部６，７は、基準となる視点の外側に位置する複数の視点の内、基準となる視点に遠い側に位置する視点の映像信号を、２Ｄ３Ｄ変換を用いて生成する第２の外挿部である。
【００４８】
＜第２実施形態＞
図７を用いて、第２実施形態の映像表示装置について説明する。図７において、図１と同一部分には同一符号を付し、その説明を適宜省略する。図７に示す第２実施形態は、図１における外挿部４，５によって外挿映像信号Ｓpvb，Ｓpvhを生成するのではなく、擬似的仮想視点映像生成部６１，７１によって外挿映像信号Ｓpvb，Ｓpvhに相当する映像信号を生成する。
【００４９】
図７において、擬似的仮想視点映像生成部６１，６２には左チャネルの信号ＳLが入力され、擬似的仮想視点映像生成部７１，７２には右チャネルの信号ＳRが入力される。擬似的仮想視点映像生成部６１，６２，７１，７２の具体的構成は図５と同様である。
【００５０】
擬似的仮想視点映像生成部６１は、左チャネルの信号ＳLに基づいて、視点Ｐvbに提示するための仮想視点映像信号Ｓpvb2を生成し、擬似的仮想視点映像生成部７１は、右チャネルの信号ＳRに基づいて、視点Ｐvhに提示するための仮想視点映像信号Ｓpvh2を生成する。擬似的仮想視点映像生成部６２は、左チャネルの信号ＳLに基づいて、視点Ｐvaに提示するための仮想視点映像信号Ｓpva2を生成し、擬似的仮想視点映像生成部７２は、右チャネルの信号ＳRに基づいて、視点Ｐviに提示するための仮想視点映像信号Ｓpvi2を生成する。
【００５１】
擬似的仮想視点映像生成部６１，６２，７１，７２も、基準となる視点の外側に位置する視点の映像信号を生成する外挿部である。擬似的仮想視点映像生成部６１，６２，７１，７２は、基準となる視点の映像信号ＳR，ＳLの内の１つの視点の映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、左右の映像信号の内の一方を基準となる視点Ｐvc，Ｐvgの外側に位置する仮想的な視点の映像信号としている。
【００５２】
＜変形例＞
図８を用いて、変形例の映像表示装置について説明する。図８において、図１と同一部分には同一符号を付し、その説明を適宜省略する。図８に示す変形例は、擬似的仮想視点映像生成部３１〜３８を用いて、図２の全ての視点Ｐva〜Ｐviに提示するための映像信号を生成する。変形例は、入力映像信号がステレオ映像信号ではなく、２Ｄ映像映像信号である場合の構成である。擬似的仮想視点映像生成部３１〜３８の具体的構成は図５と同様である。
【００５３】
図８において、擬似的仮想視点映像生成部３１〜３８には２Ｄ映像信号Ｓ２Ｄが入力される。擬似的仮想視点映像生成部３１〜３４は、視点Ｐva〜Ｐvdに提示するための仮想視点映像信号Ｓpva3〜Ｓpvd3を生成して、プロジェクタ１１〜１４へと出力する。２Ｄ映像信号Ｓ２Ｄはそのまま視点Ｐveに提示するための映像信号としてプロジェクタ１５に供給される。擬似的仮想視点映像生成部３５〜３８は、視点Ｐvf〜Ｐviに提示するための仮想視点映像信号Ｓpvf3〜Ｓpvi3を生成して、プロジェクタ１６〜１９へと出力する。
【００５４】
変形例においては、輻輳は全ての映像信号（２Ｄ映像信号Ｓ２Ｄ及び仮想視点映像信号Ｓpva3〜Ｓpvi3）で一定である。立体化の強度を、図２の視点の端部に向かうほど強くすることが好ましい。
【００５５】
擬似的仮想視点映像生成部３１〜３８は、基準となる１つの視点の２Ｄ映像信号に基づいて、２Ｄ映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、左右の映像信号の内の一方を基準となる１つの視点の外側に位置する仮想的な視点の映像信号としている。
【００５６】
本発明は以上説明した各実施形態（変形例）に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
【符号の説明】
【００５７】
１〜３ 内挿部
４，５ 外挿部
６，７，６１，６２，７１，７２ 擬似的仮想視点映像生成部（外挿部）
１１〜１９ プロジェクタ（投射部）
２０ レンズ
【技術分野】
【０００１】
本発明は、複数視点の映像を提示して裸眼による立体視を実現する映像表示装置及び映像表示方法に関する。
【背景技術】
【０００２】
近年になって、立体映像（３Ｄ映像）が普及しつつある。３Ｄ映像を見るためには、液晶シャッタまたは偏光による専用の眼鏡を用いることが主となっている。これに対して、専用の眼鏡を用いることなく、裸眼にて立体視を実現する裸眼立体表示の開発も盛んに行われている。裸眼立体表示装置において、３Ｄ映像を知覚するためには一般的に視位置が限定される。
【０００３】
裸眼立体表示装置には複数の方式が存在しており、視位置が比較的限定されない方式として、特許文献１に記載されているように、視点の位置に応じて多数の映像を提示する多眼式と称されている方式がある。多眼式の裸眼立体表示装置においては、多数の視点から撮影された映像が必要となる。一般的に普及している３Ｄ映像は２視点のステレオコンテンツであり、２視点のステレオコンテンツをそのまま多眼式の裸眼立体表示装置で表示することはできない。そこで、２視点のステレオコンテンツを３視点以上の多視点の映像に変換することが必要となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−８１４４０号公報
【特許文献２】特開平９−２７９６９号公報
【特許文献３】特開２００９−１２４３０８号公報
【特許文献４】特開２００５−１５１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
２視点のステレオコンテンツを３視点以上の多視点の映像に変換するためには、特許文献２，３に記載されているように、ステレオコンテンツの左右の映像の間に、中間の視点の映像を生成して挿入し、特許文献３に記載されているように、ステレオコンテンツの左右の映像の外側に、左右の映像の外側の仮想的な視点の映像を生成して配置することが必要となる。ステレオコンテンツの左右の映像の間に補間映像を挿入することを内挿、左右の映像の外側に補間映像を配置することを外挿と称する。
【０００６】
ところが、ステレオコンテンツの左右の映像の外側の仮想的な視点の映像を高品質に生成することは難しい。特に、外側に向かえば向かうほど生成した外側の視点の映像は破綻しやすい。
【０００７】
本発明はこのような問題点に鑑み、複数の視点の映像信号に基づいてさらに多い視点である多視点の映像信号を生成して表示する際に、破綻の少ない多視点の映像を表示することができる映像表示装置及び映像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上述した従来の技術の課題を解決するため、複数の基準となる視点間に位置する視点の映像信号を生成する内挿部（１〜３）と、前記基準となる視点の外側に位置する視点の映像信号を生成する外挿部（４〜７，６１，６２，７１，７２）と、前記基準となる視点の映像信号と前記内挿部及び前記外挿部より出力された映像信号をそれぞれ投射する投射部（１１〜１９）とを備え、前記外挿部として、前記基準となる視点の映像信号の内の１つの視点の映像信号または前記基準となる視点の映像信号に基づいて生成された１つの視点の映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、前記左右の映像信号の内の一方を前記基準となる視点の外側に位置する仮想的な視点の映像信号とする擬似的仮想視点映像生成部（６，７，６１，６２，７１，７２）を用いることを特徴とする映像表示装置を提供する。
【０００９】
上記の映像表示装置において、前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に近い側に位置する視点の映像信号を、前記基準となる視点の映像信号の内の１つの視点の映像信号をシフトすることによって生成する第１の外挿部（４，５）と、前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に遠い側に位置する視点の映像信号を、前記擬似的仮想視点映像生成部によって生成する第２の外挿部（６，７）とを含んで構成することができる。
【００１０】
上記の映像表示装置において、前記基準となる視点の外側に位置する複数の視点の全ての映像信号を、前記擬似的仮想視点映像生成部によって生成することができる。
【００１１】
また、本発明は、上述した従来の技術の課題を解決するため、複数の基準となる視点間に位置する視点の内挿映像信号を生成し、前記基準となる視点の映像信号の内の１つの視点の映像信号または前記基準となる視点の映像信号に基づいて生成された１つの視点の映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、前記左右の映像信号の内の一方を前記基準となる視点の外側に位置する仮想的な視点の外挿映像信号として生成し、前記基準となる視点の映像信号と前記内挿映像信号と前記外挿映像信号をそれぞれ投射して、立体映像を提示することを特徴とする映像表示方法を提供する。
【００１２】
上記の映像表示方法において、前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に近い側に位置する視点の外挿映像信号を、前記基準となる視点の映像信号の内の１つの視点の映像信号をシフトすることによって生成し、前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に遠い側に位置する視点の外挿映像信号を、前記仮想的な視点の外挿映像信号として生成することができる。
【００１３】
上記の映像表示方法において、前記基準となる視点の外側に位置する複数の視点の全ての外挿映像信号を、前記仮想的な視点の外挿映像信号として生成することができる。
【発明の効果】
【００１４】
本発明の映像表示装置及び映像表示方法によれば、複数の視点の映像信号に基づいてさらに多い視点である多視点の映像信号を生成して表示する際に、破綻の少ない多視点の映像を表示することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の映像表示装置を示すブロック図である。
【図２】多視点映像の各視点を示す図である。
【図３】図１及び図７における内挿部１〜３の具体的な構成例を示すブロック図である。
【図４】図１における外挿部４，５の具体的な構成例を示すブロック図である。
【図５】図１，図７，図８における擬似的仮想視点映像生成部６，７，６１，６２，３１〜３８の具体的な構成例を示すブロック図である。
【図６】第１実施形態による視点の位置と映像情報の利用効率との関係を示す特性図である。
【図７】第２実施形態の映像表示装置を示すブロック図である。
【図８】変形例の映像表示装置を示すブロック図である。
【図９】ステレオペアの視差を説明するための図である。
【図１０】視点の位置と内挿及び外挿との関係を説明するための図である。
【図１１】映像情報の利用効率を説明するための図である。
【図１２】一般的な視点の位置と映像情報の利用効率との関係を示す特性図である。
【図１３】図１２において水平視差を１０％とした場合の視点の位置と映像情報の利用効率との関係を示す特性図である。
【発明を実施するための形態】
【００１６】
以下、本発明の映像表示装置及び方法の各実施形態について、添付図面を参照して説明する。各実施形態の構成及び動作を説明する前に、ステレオコンテンツの左右の映像に対して外挿する仮想的な視点の映像が外側に向かえば向かうほど破綻しやすい理由について説明する。ここでは簡略化のため、図９に示すように、左右の映像を平面として、左右の映像全体で一定の水平視差が存在するステレオペアを用いて説明することとする。
【００１７】
図９において、左映像ＩｍLと右映像ＩｍRとは、左映像ＩｍLと右映像ＩｍRの水平方向の幅を１００％としたときのｎ％が水平視差としてシフトされている。図１０において、ｘｙ座標は映像平面を表し、ｂ座標は視点の位置を示している。ｂ座標0に左映像ＩｍLが位置し、ｂ座標100に右映像ＩｍRが位置している。ｂ座標が0を超えて100未満の範囲では、内挿によって中間の視点の補間映像を生成し、ｂ座標が0未満及び100を超える範囲では、外挿によって外側の視点の補間映像を生成する。
【００１８】
図１０において、太い破線で囲んだ部分は、左映像ＩｍLと右映像ＩｍRとで共通の映像部分を示している。内挿及び外挿において、共通の映像部分では完全に正しく左映像ＩｍLと右映像ＩｍRとの映像が照合されて補間映像が生成されるとする。左映像ＩｍLと右映像ＩｍRとはｎ％の水平視差を有しているので、左映像ＩｍLと右映像ＩｍRそれぞれの（100−ｎ）％の部分が共通している。内挿においては、（100−ｎ）％共通する映像部分の全てを用いて補間映像を生成することができる。これを、（100−ｎ）％の利用効率で映像情報が利用されると定義する。
【００１９】
図１１を用いて映像情報の利用効率について説明する。図１１は、図１０をｙ軸上側から見て、ｂ軸を水平、ｘ軸を垂直としたものである。ｂ座標0に左映像ＩｍLが位置し、ｂ座標100に右映像ＩｍRが位置している。左映像ＩｍLと右映像ＩｍRの太い実線の部分が共通の映像部分である。ここでは映像情報の利用効率は（100−ｎ）％である。ｂ座標がｂ１，ｂ２の位置では外挿となる。ｂ座標がｂ１の位置においては、映像幅Ｗよりも外側の部分ｂ１xは照合可能な共通の映像部分の映像情報を利用することができない。ｂ座標がｂ２の位置においても同様に、映像幅Ｗよりも外側の部分ｂ２xは照合可能な共通の映像部分の映像情報を利用することができない。
【００２０】
ｂ座標がｂ１の位置における映像情報の利用効率は、幾何計算によって-n×(b1-100)/100+100-nとなり、ｂ座標がｂ２の位置における映像情報の利用効率は、幾何計算によってn×b2/100+100-nとなる。
【００２１】
映像情報の利用効率をＥとしてグラフ化すると図１２のようになる。図１２に示すように、利用効率Ｅは、ｂ座標が負の部分ではn×b/100+100-nで表される特性の直線となり、ｂ座標が100以上の部分では-n×(b-100)/100+100-nで表される特性の直線となる。水平視差ｎを１０％とすると、利用効率Ｅは図１３に示す特性となる。図１３に示すように、利用効率Ｅは、ｂ座標が負の部分では0.1×b+90で表される特性の直線となり、ｂ座標が100以上の部分では-0.1×b+90で表される特性の直線となる。ｂ座標が−100及び200で、利用効率Ｅは８０％となる。
【００２２】
図１３は理想的な状態であり、現実には、利用効率Ｅは外側に向かえば向かうほど急激に劣化する。本発明者による検証によって、激しい破綻が生じないのは、ｂ座標が0から−50まで、100から150まで、利用効率Ｅとして８５％程度が限界であることが明らかとなった。ところが、２視点のステレオコンテンツに基づいて多視点の映像を生成して表示する際には、ｂ座標が−50及び150を越える領域においても仮想的な視点の映像を表示することが要求される。そこで、ｂ座標が−50及び150を越える領域に視点の映像を外挿する場合でも、破綻の少ない視点の映像を生成することが必要となる。
【００２３】
以下、このような要望に対応する各実施形態の具体的な構成及び動作について説明する
【００２４】
＜第１実施形態＞
図１に示す第１実施形態の映像表示装置は、特許文献１と同様、多眼式の映像表示装置を示している。図１において、ステレオ映像の左チャネルの信号ＳLは、内挿部１〜３と、外挿部４，５と、プロジェクタ１３に入力される。ステレオ映像の右チャネルの信号ＳRは、内挿部１〜３と、外挿部４，５と、プロジェクタ１７に入力される。プロジェクタ１３は左チャネルの信号ＳLを投射し、左チャネルの信号ＳLそのものによる映像を図２に示す視点Ｐvcに提示する。プロジェクタ１７は右チャネルの信号ＳRを投射し、右チャネルの信号ＳRそのものによる映像を図２に示す視点Ｐvgに提示する。
【００２５】
内挿部１〜３は、左チャネルの信号ＳLまたは右チャネルの信号ＳRとに基づいてそれぞれ内挿映像信号Ｓpvd〜Ｓpvfを生成し、プロジェクタ１４〜１６に供給する。プロジェクタ１４〜１６は、入力されたそれぞれの内挿映像信号Ｓpvd〜Ｓpvfを投射し、内挿映像信号Ｓpvd〜Ｓpvfによる映像を図２に示す視点Ｐvd〜Ｐvfに提示する。内挿部１〜３における内挿映像信号Ｓpvd〜Ｓpvfの生成方法は特許文献３に記載されている方法を用いればよい。
【００２６】
具体的には、内挿部１〜３は図３のように構成される。図３において、水平視差算出部２１には右チャネルの信号ＳR及び左チャネルの信号ＳLが入力される。水平視差算出部２１は、右チャネルの信号ＳRと左チャネルの信号ＳLとに基づいて水平視差を算出する。水平視差算出部２１が算出した水平視差を示す情報は映像シフト部２２に入力される。映像シフト部２２には、視点位置情報Ｓivpも入力される。映像シフト部２２は、右チャネルの信号ＳRまたは左チャネルの信号ＳLを、視点位置情報Ｓivpに応じた値を乗じた画素だけシフトすることによって、内挿映像信号Ｓpvd〜Ｓpvfを生成する。
【００２７】
例えば、左チャネルの信号ＳLの映像の一部が右チャネルの信号ＳRの対応部分に対して視差ｄがあり、視点Ｐvdにおける内挿映像信号Ｓpvdを生成する場合には、視点Ｐvcと視点Ｐvdとの距離は視点Ｐvcと視点Ｐvgとの距離の１／４であるので、左チャネルの信号ＳLの映像の一部を１／４×ｄだけシフトすればよい。視点Ｐveにおける内挿映像信号Ｓpveを生成する場合には、視点Ｐvcと視点Ｐveとの距離は視点Ｐvcと視点Ｐvgとの距離の１／２であるので、左チャネルの信号ＳLの映像の一部を１／２×ｄだけシフトすればよい。
【００２８】
視点Ｐvfにおける内挿映像信号Ｓpvfを生成する場合には、より物理的距離が近い右チャネルの信号ＳRに基づいて生成した方が画質が優れる。そこで、右チャネルの信号ＳRの映像の一部と左チャネルの信号ＳLの対応部分との視差ｄ’を求める。視点Ｐvgと視点Ｐvfとの距離は視点Ｐvgと視点Ｐvcとの距離の１／４であるので、右チャネルの信号ＳRの映像の一部を１／４×ｄ’だけシフトすればよい。なお、視点Ｐveは視点Ｐvcと視点Ｐvgとの中央に位置しているので、視点Ｐveにおける内挿映像信号Ｓpveを生成する場合に、右チャネルの信号ＳRに基づいて生成してもよい。
【００２９】
外挿部４，５は、左チャネルの信号ＳLまたは右チャネルの信号ＳRに基づいてそれぞれ外挿映像信号Ｓpvb，Ｓpvhを生成し、プロジェクタ１２，１８に供給する。プロジェクタ１２，１８は、入力されたそれぞれの外挿映像信号Ｓpvb，Ｓpvhを投射し、外挿映像信号Ｓpvb，Ｓpvhによる映像を図２に示す視点Ｐvb，Ｐvhに提示する。
【００３０】
外挿部４，５の具体的構成は内挿部１〜３と同様であり、図４に示すように、水平視差算出部２３と映像シフト部２４とを備える。
【００３１】
例えば、左チャネルの信号ＳLの映像の一部が右チャネルの信号ＳRの対応部分に対して視差ｄがあり、視点Ｐvbにおける外挿映像信号Ｓpvbを生成する場合には、視点Ｐvcと視点Ｐvbとの距離は視点Ｐvcと視点Ｐvgとの距離の１／４であり、視点Ｐvcを基準にして視点Ｐvc，Ｐvg間の視点とは逆向きであるので、左チャネルの信号ＳLの映像の一部を−１／４×ｄだけシフトすればよい。
【００３２】
視点Ｐvhにおける外挿映像信号Ｓpvhを生成する場合には、より物理的距離が近い右チャネルの信号ＳRに基づいて生成した方が画質が優れる。そこで、右チャネルの信号ＳRの映像の一部と左チャネルの信号ＳLの対応部分との視差ｄ’を求める。視点Ｐvgと視点Ｐvhとの距離は視点Ｐvgと視点Ｐvcとの距離の１／４であり、視点Ｐvgを基準にして視点Ｐvc，Ｐvg間の視点とは逆向きであるので、右チャネルの信号ＳRの映像の一部を−１／４×ｄ’だけシフトすればよい。
【００３３】
なお、視点Ｐvbは、ｂ座標における−50〜0とすることが好ましい。視点Ｐvhは、ｂ座標における100〜150することが好ましい。
【００３４】
外挿部として構成されている擬似的仮想視点映像生成部６には、外挿部４より出力された視点Ｐvbにおける外挿映像信号Ｓpvbが入力される。外挿部として構成されている擬似的仮想視点映像生成部７には、外挿部５より出力された視点Ｐvhにおける外挿映像信号Ｓpvhが入力される。擬似的仮想視点映像生成部６，７は、擬似的な仮想視点映像信号Ｓpva，Ｓpviを生成し、プロジェクタ１１，１９に供給する。プロジェクタ１１，１９は、入力されたそれぞれの仮想視点映像信号Ｓpva，Ｓpviを投射し、仮想視点映像信号Ｓpva，Ｓpviによる映像を図２に示す視点Ｐva，Ｐviに提示する。
【００３５】
擬似的仮想視点映像生成部６，７は、いわゆる２Ｄ３Ｄ変換と称されている特許文献４に記載されているような擬似立体画像作成装置を用いることによって実現できる。特許文献４に記載されている擬似立体画像作成装置は、仮に奥行き情報が明示的にも暗示的にも与えられていない非立体映像であっても、非立体映像から奥行き推定データを作成し、この奥行き推定データに基づいて擬似的な立体映像を作成することができる。
【００３６】
擬似的仮想視点映像生成部６，７は、図５に示すように、奥行き推定部２５と映像シフト部２６とを備える。奥行き推定部２５は、入力された外挿映像信号Ｓpvb，Ｓpvhに基づいて映像の奥行きを推定し、奥行き推定データを生成する。この際、奥行き推定部２５は、曲面近似された奥行きを推定して奥行き推定データを生成する。映像シフト部２６は、奥行き推定部２５より出力された曲面近似された奥行き推定データに応じて外挿映像信号Ｓpvb，Ｓpvhをシフトすることによって、仮想視点映像信号Ｓpva，Ｓpviを生成する。
【００３７】
擬似的仮想視点映像生成部６，７によれば、外挿部４，５で行っているような、映像を照合して外挿するという単純なシフトと比較して、仮想視点の距離が遠ざかっても急速に映像情報の利用効率が低下することを回避することができる。その結果、高画質な仮想視点映像信号Ｓpva，Ｓpviを生成することができる。
【００３８】
擬似的仮想視点映像生成部６の動作をさらに詳細に説明する。視点Ｐvbの位置を右目の位置と想定すると、画面より手前に表示するものは、近いものほど映像を見る者の内側（鼻側）に見える。従って、擬似的仮想視点映像生成部６の映像シフト部２６は、奥行き推定データが示す奥行きに応じた量だけ、対応部分の映像を内側（右方向）に移動させる。画面より奥に表示するものは、近いものほど映像を見る者の外側に見える。従って、映像シフト部２６は、奥行き推定データが示す奥行きに応じた量だけ、対応部分の映像を外側（左方向）に移動させる。
【００３９】
擬似的仮想視点映像生成部６は、外挿映像信号Ｓpvbをそのまま２Ｄ３Ｄ変換後の右チャネルの信号とし、外挿映像信号Ｓpvbよりも左よりの視点Ｓpvaにおける仮想視点映像信号Ｓpvaを左チャネルの信号として生成する。２Ｄ３Ｄ変換後の右チャネルの信号である外挿映像信号Ｓpvbを出力する必要はないので、擬似的仮想視点映像生成部６は仮想視点映像信号Ｓpvaのみをプロジェクタ１１へと出力する。
【００４０】
擬似的仮想視点映像生成部７の動作をさらに詳細に説明する。視点Ｐvh位置を左目の位置と想定すると、画面より手前に表示するものは、近いものほど映像を見る者の内側（鼻側）に見える。従って、擬似的仮想視点映像生成部７の映像シフト部２６は、奥行き推定データが示す奥行きに応じた量だけ、対応部分の映像を内側（左方向）に移動させる。画面より奥に表示するものは、近いものほど映像を見る者の外側に見える。従って、映像シフト部２６は、奥行き推定データが示す奥行きに応じた量だけ、対応部分の映像を外側（右方向）に移動させる。
【００４１】
擬似的仮想視点映像生成部７は、外挿映像信号Ｓpvhそのまま２Ｄ３Ｄ変換後の左チャネルの信号とし、外挿映像信号Ｓpvhよりも右よりの視点Ｐviにおける仮想視点映像信号Ｓpviを右チャネルの信号として生成する。２Ｄ３Ｄ変換後の左チャネルの信号である外挿映像信号Ｓpvhを出力する必要はないので、擬似的仮想視点映像生成部７は仮想視点映像信号Ｓpviのみをプロジェクタ１９へと出力する。
【００４２】
投射部であるプロジェクタ１１〜１９は、入力されたそれぞれの視点の映像信号を投射する。プロジェクタ１１〜１９から投射された光線はレンズ２０によって集光される。図１では、簡略化のため、プロジェクタ１３，１５，１７から投射される光線のみを概略的に示している。観察者は左右の目ＥL，ＥRで、プロジェクタ１１〜１９から投射されてレンズ２０によって集光された３Ｄ映像を見る。
【００４３】
図６は、本実施形態による利用効率Ｅを示している。図６でもｎを１０％とした特性を示している。ｂ座標が0〜−50の部分では図１３と同様、0.1×b+90で表される特性の直線であるが、ｂ座標が−50を超えた部分で利用効率Ｅの低下が抑えられていることが分かる。また、ｂ座標が100〜150の部分では図１３と同様、-0.1×b+90で表される特性の直線であるが、ｂ座標が150を超えた部分で利用効率Ｅの低下が抑えられていることが分かる。ｂ座標が−100及び200で、利用効率Ｅは８０％よりも大きくなっている。
【００４４】
本実施形態において、視点の数は図２に示す９視点に限定されるものではない。内挿部，外挿部，擬似的仮想視点映像生成部をさらに増やしてもよい。視点の間隔は等間隔でなくてもよい。なお、映像をシフトする方向（輻輳に相当）と量（立体化の強度に相当）は、実際の映像の見え方に近くなるように適宜調整すればよい。図２において、視点Ｐvc，Ｐvgが基準となる視点である。基準となる視点は２視点に限定されない。
【００４５】
図１における内挿部１〜３は、複数の基準となる視点の映像信号に基づいて、基準となる視点間に位置する視点の映像信号を生成する内挿部である。図１における外挿部４，５は、複数の視点の映像信号に基づいて、基準となる視点の外側に位置する視点の映像信号を生成する外挿部である。擬似的仮想視点映像生成部６，７も、基準となる視点の外側に位置する視点の映像信号を生成する外挿部である。
【００４６】
擬似的仮想視点映像生成部６，７は、基準となる視点の映像信号ＳR，ＳLに基づいて生成された１つの視点の映像信号Ｓpvb，Ｓpvhを擬似的に左右の映像信号よりなる立体映像信号に変換し、左右の映像信号の内の一方を基準となる視点Ｐvc，Ｐvgの外側であり、視点Ｐvb，Ｐvhのさらに外側に位置する仮想的な視点の映像信号としている。
【００４７】
第１実施形態は、基準となる視点の左外側に位置する複数の視点の映像信号を生成する複数の外挿部と、基準となる視点の右外側に位置する複数の視点の映像信号を生成する複数の外挿部とを備える構成である。複数の外挿部の内、外挿部４，５は、基準となる視点の外側に位置する複数の視点の内、基準となる視点に近い側に位置する視点の映像信号を、基準となる視点の映像信号の内の１つの視点の映像信号をシフトすることによって生成する第１の外挿部である。複数の外挿部の内、擬似的仮想視点映像生成部６，７は、基準となる視点の外側に位置する複数の視点の内、基準となる視点に遠い側に位置する視点の映像信号を、２Ｄ３Ｄ変換を用いて生成する第２の外挿部である。
【００４８】
＜第２実施形態＞
図７を用いて、第２実施形態の映像表示装置について説明する。図７において、図１と同一部分には同一符号を付し、その説明を適宜省略する。図７に示す第２実施形態は、図１における外挿部４，５によって外挿映像信号Ｓpvb，Ｓpvhを生成するのではなく、擬似的仮想視点映像生成部６１，７１によって外挿映像信号Ｓpvb，Ｓpvhに相当する映像信号を生成する。
【００４９】
図７において、擬似的仮想視点映像生成部６１，６２には左チャネルの信号ＳLが入力され、擬似的仮想視点映像生成部７１，７２には右チャネルの信号ＳRが入力される。擬似的仮想視点映像生成部６１，６２，７１，７２の具体的構成は図５と同様である。
【００５０】
擬似的仮想視点映像生成部６１は、左チャネルの信号ＳLに基づいて、視点Ｐvbに提示するための仮想視点映像信号Ｓpvb2を生成し、擬似的仮想視点映像生成部７１は、右チャネルの信号ＳRに基づいて、視点Ｐvhに提示するための仮想視点映像信号Ｓpvh2を生成する。擬似的仮想視点映像生成部６２は、左チャネルの信号ＳLに基づいて、視点Ｐvaに提示するための仮想視点映像信号Ｓpva2を生成し、擬似的仮想視点映像生成部７２は、右チャネルの信号ＳRに基づいて、視点Ｐviに提示するための仮想視点映像信号Ｓpvi2を生成する。
【００５１】
擬似的仮想視点映像生成部６１，６２，７１，７２も、基準となる視点の外側に位置する視点の映像信号を生成する外挿部である。擬似的仮想視点映像生成部６１，６２，７１，７２は、基準となる視点の映像信号ＳR，ＳLの内の１つの視点の映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、左右の映像信号の内の一方を基準となる視点Ｐvc，Ｐvgの外側に位置する仮想的な視点の映像信号としている。
【００５２】
＜変形例＞
図８を用いて、変形例の映像表示装置について説明する。図８において、図１と同一部分には同一符号を付し、その説明を適宜省略する。図８に示す変形例は、擬似的仮想視点映像生成部３１〜３８を用いて、図２の全ての視点Ｐva〜Ｐviに提示するための映像信号を生成する。変形例は、入力映像信号がステレオ映像信号ではなく、２Ｄ映像映像信号である場合の構成である。擬似的仮想視点映像生成部３１〜３８の具体的構成は図５と同様である。
【００５３】
図８において、擬似的仮想視点映像生成部３１〜３８には２Ｄ映像信号Ｓ２Ｄが入力される。擬似的仮想視点映像生成部３１〜３４は、視点Ｐva〜Ｐvdに提示するための仮想視点映像信号Ｓpva3〜Ｓpvd3を生成して、プロジェクタ１１〜１４へと出力する。２Ｄ映像信号Ｓ２Ｄはそのまま視点Ｐveに提示するための映像信号としてプロジェクタ１５に供給される。擬似的仮想視点映像生成部３５〜３８は、視点Ｐvf〜Ｐviに提示するための仮想視点映像信号Ｓpvf3〜Ｓpvi3を生成して、プロジェクタ１６〜１９へと出力する。
【００５４】
変形例においては、輻輳は全ての映像信号（２Ｄ映像信号Ｓ２Ｄ及び仮想視点映像信号Ｓpva3〜Ｓpvi3）で一定である。立体化の強度を、図２の視点の端部に向かうほど強くすることが好ましい。
【００５５】
擬似的仮想視点映像生成部３１〜３８は、基準となる１つの視点の２Ｄ映像信号に基づいて、２Ｄ映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、左右の映像信号の内の一方を基準となる１つの視点の外側に位置する仮想的な視点の映像信号としている。
【００５６】
本発明は以上説明した各実施形態（変形例）に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
【符号の説明】
【００５７】
１〜３ 内挿部
４，５ 外挿部
６，７，６１，６２，７１，７２ 擬似的仮想視点映像生成部（外挿部）
１１〜１９ プロジェクタ（投射部）
２０ レンズ
【特許請求の範囲】
【請求項１】
複数の基準となる視点間に位置する視点の映像信号を生成する内挿部と、
前記基準となる視点の外側に位置する視点の映像信号を生成する外挿部と、
前記基準となる視点の映像信号と前記内挿部及び前記外挿部より出力された映像信号をそれぞれ投射する投射部と、
を備え、
前記外挿部として、前記基準となる視点の映像信号の内の１つの視点の映像信号または前記基準となる視点の映像信号に基づいて生成された１つの視点の映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、前記左右の映像信号の内の一方を前記基準となる視点の外側に位置する仮想的な視点の映像信号とする擬似的仮想視点映像生成部を用いる
ことを特徴とする映像表示装置。
【請求項２】
前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に近い側に位置する視点の映像信号を、前記基準となる視点の映像信号の内の１つの視点の映像信号をシフトすることによって生成する第１の外挿部と、
前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に遠い側に位置する視点の映像信号を、前記擬似的仮想視点映像生成部によって生成する第２の外挿部と、
を含むことを特徴とする請求項１記載の映像表示装置。
【請求項３】
前記基準となる視点の外側に位置する複数の視点の全ての映像信号を、前記擬似的仮想視点映像生成部によって生成することを特徴とする請求項１記載の映像表示装置。
【請求項４】
複数の基準となる視点間に位置する視点の内挿映像信号を生成し、
前記基準となる視点の映像信号の内の１つの視点の映像信号または前記基準となる視点の映像信号に基づいて生成された１つの視点の映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、前記左右の映像信号の内の一方を前記基準となる視点の外側に位置する仮想的な視点の外挿映像信号として生成し、
前記基準となる視点の映像信号と前記内挿映像信号と前記外挿映像信号をそれぞれ投射して、立体映像を提示する
ことを特徴とする映像表示方法。
【請求項５】
前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に近い側に位置する視点の外挿映像信号を、前記基準となる視点の映像信号の内の１つの視点の映像信号をシフトすることによって生成し、
前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に遠い側に位置する視点の外挿映像信号を、前記仮想的な視点の外挿映像信号として生成する
ことを特徴とする請求項４記載の映像表示方法。
【請求項６】
前記基準となる視点の外側に位置する複数の視点の全ての外挿映像信号を、前記仮想的な視点の外挿映像信号として生成することを特徴とする請求項４記載の映像表示方法。
【請求項１】
複数の基準となる視点間に位置する視点の映像信号を生成する内挿部と、
前記基準となる視点の外側に位置する視点の映像信号を生成する外挿部と、
前記基準となる視点の映像信号と前記内挿部及び前記外挿部より出力された映像信号をそれぞれ投射する投射部と、
を備え、
前記外挿部として、前記基準となる視点の映像信号の内の１つの視点の映像信号または前記基準となる視点の映像信号に基づいて生成された１つの視点の映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、前記左右の映像信号の内の一方を前記基準となる視点の外側に位置する仮想的な視点の映像信号とする擬似的仮想視点映像生成部を用いる
ことを特徴とする映像表示装置。
【請求項２】
前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に近い側に位置する視点の映像信号を、前記基準となる視点の映像信号の内の１つの視点の映像信号をシフトすることによって生成する第１の外挿部と、
前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に遠い側に位置する視点の映像信号を、前記擬似的仮想視点映像生成部によって生成する第２の外挿部と、
を含むことを特徴とする請求項１記載の映像表示装置。
【請求項３】
前記基準となる視点の外側に位置する複数の視点の全ての映像信号を、前記擬似的仮想視点映像生成部によって生成することを特徴とする請求項１記載の映像表示装置。
【請求項４】
複数の基準となる視点間に位置する視点の内挿映像信号を生成し、
前記基準となる視点の映像信号の内の１つの視点の映像信号または前記基準となる視点の映像信号に基づいて生成された１つの視点の映像信号を擬似的に左右の映像信号よりなる立体映像信号に変換し、前記左右の映像信号の内の一方を前記基準となる視点の外側に位置する仮想的な視点の外挿映像信号として生成し、
前記基準となる視点の映像信号と前記内挿映像信号と前記外挿映像信号をそれぞれ投射して、立体映像を提示する
ことを特徴とする映像表示方法。
【請求項５】
前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に近い側に位置する視点の外挿映像信号を、前記基準となる視点の映像信号の内の１つの視点の映像信号をシフトすることによって生成し、
前記基準となる視点の外側に位置する複数の視点の内、前記基準となる視点に遠い側に位置する視点の外挿映像信号を、前記仮想的な視点の外挿映像信号として生成する
ことを特徴とする請求項４記載の映像表示方法。
【請求項６】
前記基準となる視点の外側に位置する複数の視点の全ての外挿映像信号を、前記仮想的な視点の外挿映像信号として生成することを特徴とする請求項４記載の映像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−６６０２５（Ｐ２０１３−６６０２５Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０３０１１（Ｐ２０１１−２０３０１１）
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]