立体映像表示装置、立体映像撮像装置および立体映像表示方法
【課題】製作者に表示データ内の個々の被写体像の視差を容易かつ正確に把握させる。
【解決手段】立体映像表示装置１０６は、水平視差を有する２つの映像データ１５０を取得する映像データ取得部１１０と、２つの映像データを合成して表示データ１５２を生成する合成部１１２と、垂直方向に延長された２つの縦線画像１５８ａ、１５８ｂを表示データに重畳し、ユーザの操作入力に応じて２つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部１３２と、２つの縦線画像間の視差に関する視差情報１６０を導出する視差情報導出部１３６と、導出された視差情報を縦線画像が重畳された表示データにさらに重畳する視差情報重畳部１３８と、縦線画像および視差情報が重畳された表示データを表示する表示部１１６とを備える。
【解決手段】立体映像表示装置１０６は、水平視差を有する２つの映像データ１５０を取得する映像データ取得部１１０と、２つの映像データを合成して表示データ１５２を生成する合成部１１２と、垂直方向に延長された２つの縦線画像１５８ａ、１５８ｂを表示データに重畳し、ユーザの操作入力に応じて２つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部１３２と、２つの縦線画像間の視差に関する視差情報１６０を導出する視差情報導出部１３６と、導出された視差情報を縦線画像が重畳された表示データにさらに重畳する視差情報重畳部１３８と、縦線画像および視差情報が重畳された表示データを表示する表示部１１６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像を知覚させるための表示データを表示する立体映像表示装置、立体映像撮像装置および立体映像表示方法に関する。
【背景技術】
【０００２】
近年、ディスプレイ上に、水平視差（両眼視差）を有する２つの映像を提示し、観察者に対してあたかも被写体像が立体的に存在するように知覚させる立体映像の技術が脚光を浴びている。かかる技術で用いられる２つの映像は、異なる光軸（視点）それぞれにおいて撮像された映像、または、異なる光軸で撮像したのに相当するＣＧ（Computer Graphics）の映像である。かかる２つの映像に含まれる被写体像の遠近方向の結像位置は、被写体像の２つの映像間における視差の大小によって定まる。
【０００３】
このように被写体像の２つの映像間の視差を調整すれば被写体像の遠近方向の結像位置を変化させることができるが、視差を大きくとり過ぎて、被写体像が過渡に飛び出して結像されたり、過渡に引き込まれて結像されると、観察者の目に負担がかかる場合がある。そこで、２つの映像を製作する製作者（作業者）は、撮像により、またはＣＧ等の製作により生成された映像データを、その都度、立体映像を知覚させるための表示データに加工して立体映像表示装置に表示し、被写体像の視差が適切な範囲に保たれているかどうか確認していた。しかし、多くの場合、製作者は、立体映像表示装置に定規を当てたり、自己の経験や勘に基づいて視差の大小を判断しなければならなく、相当の手間と労力を費やしていた。
【０００４】
そこで、テンプレートの役目を担うガイドを映像に重畳し、撮像者に左右の映像データの視差を確認させる技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−３２２７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術では、ガイドが固定的に配置され、視差の導出を試みる被写体像がその固定されたガイドと重なるのは稀であり、製作者は、離隔するガイドを目安にして被写体像の映像データ間の視差を目視で推定することしかできなかったため、視差が適切な範囲に保たれているか否かを正確に把握することは困難であった。また、視差が有るか無いか程度は把握できるものの、２つの映像データが合成された表示データでは被写体像の水平方向の相対位置を視認するのは難しく、その視差が飛び出し側の視差なのか引き込み側の視差なのかを把握することができなかった。さらに、小型のモニタやビューファインダ等の比較的小さな画面では、視差を視認するための基準に乏しく、視差の抽出には困難を極めていた。このような目視による視差の導出では、視差を正確に特定できないばかりか、製作者は、ガイドと視差との比較作業を通じて多大な時間と労力を費やしていた。
【０００７】
また、製作者は、撮像により、またはＣＧ等の製作により生成された映像データを、小型のモニタやビューファインダに表示して、その採否を簡略的に判断することとなるが、その映像データは、そもそも、映画館の大型スクリーンに表示される目的で製作されている場合がある。このように表示データを表示する表示画面の大きさが異なると、それに伴って視差も変化し、小型のモニタと、大型スクリーンとで立体感が異なってしまうことになる。表示データの水平方向の表示幅に対する視差の比率に表示画面の倍率を乗じれば、任意の表示画面における視差を見積もることもできるが、表示データの視差を正確に導出できない以上、任意の表示画面における視差を見積もることもできなかった。
【０００８】
そこで本発明は、このような課題に鑑み、製作者に表示データ内の個々の被写体像の視差を容易かつ正確に把握させることが可能な、立体映像表示装置、立体映像撮像装置および立体映像表示方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の立体映像表示装置は、水平視差を有する２つの映像データを取得する映像データ取得部と、２つの映像データを合成して表示データを生成する合成部と、垂直方向に延長された２つの縦線画像を表示データに重畳し、ユーザの操作入力に応じて２つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部と、２つの縦線画像間の視差に関する視差情報を導出する視差情報導出部と、導出された視差情報を縦線画像が重畳された表示データにさらに重畳する視差情報重畳部と、縦線画像および視差情報が重畳された表示データを表示する表示部と、を備えることを特徴とする。
【００１０】
２つの縦線画像は２つの映像データにそれぞれ対応付けられ、立体映像表示装置は、２つの縦線画像のうち一方の縦線画像を移動する間、その一方の縦線画像に対応付けられている映像データのみを合成部に合成させる合成制限部をさらに備えてもよい。
【００１１】
線画像重畳部は、さらに、水平方向に延長された横線画像を表示データに重畳し、ユーザの操作入力に応じて横線画像を垂直方向に移動してもよい。
【００１２】
視差情報は、２つの縦線画像間の視差と表示データの水平方向の表示幅との比であってもよい。
【００１３】
視差情報は、表示部と観察者との距離に対する、表示部と２つの縦線画像間の視差を有する被写体像が結像される位置との距離の比であってもよい。
【００１４】
視差情報導出部は、２つの縦線画像間の視差と共に２つの縦線画像の水平方向の相対位置も特定して視差情報を導出してもよい。
【００１５】
立体映像表示装置は、縦線画像間の視差が所定の閾値を越えれば、縦線画像を、閾値を越えたことを把握できる表示態様に変更する線画像変更部をさらに備えてもよい。
【００１６】
上記課題を解決するために、本発明の立体映像撮像装置は、略平行に並んだまたは撮像方向で交わる２つの光軸それぞれにおける２つの映像データを生成する撮像部と、２つの映像データを合成して表示データを生成する合成部と、垂直方向に延長された２つの縦線画像を表示データに重畳し、ユーザの操作入力に応じて２つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部と、２つの縦線画像間の視差に関する視差情報を導出する視差情報導出部と、導出された視差情報を縦線画像が重畳された表示データにさらに重畳する視差情報重畳部と、縦線画像および視差情報が重畳された表示データを表示する表示部と、を備えることを特徴とする。
【００１７】
上記課題を解決するために、本発明の立体映像表示方法は、水平視差を有する２つの映像データを取得し、２つの映像データを合成して表示データを生成し、水平方向に延長された横線画像を表示データに重畳し、ユーザの操作入力に応じて横線画像を垂直方向に移動し、垂直方向に延長された２つの縦線画像を表示データに重畳し、ユーザの操作入力に応じて２つの縦線画像のうち一方の縦線画像を水平方向に移動する間、その一方の縦線画像に対応付けられている映像データのみを合成し、ユーザの操作入力に応じて２つの縦線画像のうち他方の縦線画像を水平方向に移動する間、その他方の縦線画像に対応付けられている映像データのみを合成し、２つの縦線画像間の視差に関する視差情報を導出し、導出した視差情報を、縦線画像を重畳した表示データにさらに重畳し、縦線画像および視差情報を重畳した表示データを表示することを特徴とする。
【発明の効果】
【００１８】
以上説明したように本発明は、製作者に表示データ内の個々の被写体像の視差を容易かつ正確に把握させることが可能となり、製作者は、その視差を用いて所望する表示状態となるよう映像データを調整することができるので、観察者の眼に負担をかけることのない自然な立体感を有する立体映像を知覚させる映像データを生成することができる。
【図面の簡単な説明】
【００１９】
【図１】立体映像製作システムの概略的な関係を示した機能ブロック図である。
【図２】立体映像表示装置の概略的な機能を示した機能ブロック図である。
【図３】合成部の動作を説明するための説明図である。
【図４】線画像重畳部の動作を説明するための説明図である。
【図５】合成制限部の動作を説明するための説明図である。
【図６】視差情報導出部の動作を説明するための説明図である。
【図７】視差の水平方向の相対位置を説明するための説明図である。
【図８】視差の水平方向の相対位置を説明するための説明図である。
【図９】立体映像表示方法の処理の流れを示すフローチャートである。
【図１０】立体映像撮像装置の概略的な機能を示した機能ブロック図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２１】
（立体映像製作システム１００）
図１は、立体映像製作システム１００の概略的な関係を示した機能ブロック図である。立体映像表示システム１００は、製作者１０が水平視差を有する２つの映像データを生成するための装置、例えば、撮像のための立体映像撮像装置１０２やＣＧ生成のためのコンピュータ１０４と、生成された映像データを表示する立体映像表示装置１０６とを含んでなる。このように立体映像製作システム１００で製作された映像データは、例えば、映画館のスクリーン１０８等を通じて観察者１２に提供され、観察者１２は、偏光メガネ等を通じて提供された映像データを観察することができる。ここでは、理解を容易にするため、映像データを製作する者を製作者、その映像データを観察する者を観察者としているが、本実施形態が利用者によって限定されないのは言うまでもない。
【００２２】
立体映像製作システム１００では、被写体像の２つの映像データ間の視差を調整すれば被写体像の遠近方向の結像位置を変化させることができる。しかし、視差を大きくとり過ぎて、被写体像が過渡に飛び出して結像されたり、過渡に引き込まれて結像されると、観察者１２の目に負担がかかる場合がある。そこで、製作者１０は、生成した映像データを、その都度、立体映像表示装置１０６に表示し、被写体像の視差が適切な範囲に保たれているか確認し、視差が適切でなければ、適切な範囲に収まるよう映像データを調整する。
【００２３】
本実施形態の立体映像表示装置１０６では、製作者１０に、個々の被写体像の２つの映像データ間における視差を容易かつ正確に把握させることが可能となるので、製作者１０は、その視差を用いて所望する表示状態となるよう映像データを調整することができ、観察者１２の眼に負担をかけることのない自然な立体感を有する映像データを生成することができる。
【００２４】
（立体映像表示装置１０６）
図２は、立体映像表示装置１０６の概略的な機能を示した機能ブロック図である。図２に示すように、立体映像表示装置１０６は、映像データ取得部１１０と、合成部１１２と、ＯＳＤ（On-Screen Display）重畳部１１４と、表示部１１６と、操作部１１８と、中央制御部１２０とを含んで構成される。図２中、実線はデータの流れを示し、破線は制御信号の流れを示している。
【００２５】
映像データ取得部１１０は、立体映像を知覚するための、異なる光軸（視点）それぞれにおいて撮像された映像、または、異なる光軸で撮像したのに相当するＣＧの映像をデータ化した、水平視差を有する左右２つの映像データ（以下、左右を識別する必要がある場合には、それぞれを右眼用映像データ、左眼用映像データと表現する。）を、ＨＤＭＩ（High-Definition Multimedia Interface）端子等の映像信号入力用の端子を通じて取得する。ここで、左右２つの映像データは独立して個々に取得されてもよいし、一体的なデータとして取得されてもよい。
【００２６】
ここで、一体的なデータのフォーマット形式としては、２つの映像データを左右並置したＬＲ独立方式、２つの映像データを水平方向に１／２圧縮して左右並置したサイドバイサイド方式、２つの映像データを垂直方向（鉛直方向）に１／２圧縮して上下並置したアバヴアンドビロウ方式、２つの映像データを時間方向に交互に配置したフレームシーケンシャル方式等が挙げられる。
【００２７】
合成部１１２は、映像データ取得部１１０が取得した左右２つの映像データを合成して表示データを生成する。具体的に、合成部１１２は、後述するフォーマット判別部から出力された制御信号に応じて、映像データ取得部１１０が取得した２つの映像データを一旦分離し、表示部１１６の表示方式に応じて、分離された２つの映像データを合成する。表示方式としては、パッシブタイプの、ラインバイライン方式、チェッカーボード方式、アナグリフ方式、カラーコード３Ｄ方式、アクティブタイプのフレームシーケンシャル方式等が挙げられる。
【００２８】
ラインバイライン方式は、表示部１１６の表示面に、偏光特性が異なる２種類の偏光フィルタを隔行で（水平ライン毎に）交互に配置し、一方の偏光フィルタが配置された奇数ラインに右眼用映像データを、他方の偏光フィルタが配置された偶数ラインに左眼用映像データを表示させる方式である。チェッカーボード方式は、偏光特性が異なる２種類の偏光フィルタをラインではなく画素毎に配置した方式である。アナグリフ方式は、右眼用映像データおよび左眼用映像データをそれぞれ異なる色、例えば赤と青で表し、観察者１２に赤と青のカラーフィルタが施された色メガネで映像データを右眼および左眼に排他的に視認させる方式である。カラーコード３Ｄ方式は、アナグリフ方式における２つの色を青色とアンバー系の色に代えて色の再現性を高めた方式である。フレームシーケンシャル方式は、右眼用映像データと左眼用映像データを交互に表示部１１６に表示し、排他的に開閉する電子シャッタを通じて、右眼用映像データを観察者１２の右眼にのみ、左眼用映像データを観察者１２の左眼にのみ視認させる方式である。
【００２９】
図３は、合成部１１２の動作を説明するための説明図である。例えば、映像データ取得部１１０が、図３（ａ）に示すような、２つの映像データが一体化されたサイドバイサイド方式の映像データ１５０を取得した場合、合成部１１２は、まず、図３（ｂ）のように、映像データ１５０を右眼用映像データ１５０ａと左眼用映像データ１５０ｂとに分離し、図３（ｃ）のように、右眼用映像データ１５０ａから奇数ラインの映像データを抽出し、左眼用映像データ１５０ｂからは偶数ラインの映像データを抽出すると共に、水平方向に画像を２倍に拡大し、最後に、右眼用映像データ１５０ａの奇数ラインと左眼用映像データ１５０ｂの偶数ラインとを合成して、図３（ｄ）のようなラインバイライン方式の表示データ１５２を生成する。ここでは、説明の便宜のためライン総数を８としているが、実際のライン総数は走査線数分（例えば１０８０本）あるので、当該表示データ１５２をそのまま裸眼で観察すると被写体像が視差を伴って重畳されているように錯覚する。
【００３０】
観察者１２は、偏光特性が異なる２つの偏光フィルタが左右に設けられた偏光メガネを通じて上記の表示データ１５２を観察し、右眼用映像データ１５０ａを右眼のみで視認し、左眼用映像データ１５０ｂを左眼のみで視認する。したがって、観察者１２は、被写体像を表示部１１６より飛び出し側または引き込み側で結像して立体映像を知覚することができる。
【００３１】
ＯＳＤ重畳部１１４は、例えば、キャラクタジェネレータで構成され、後述する線画像重畳部や視差情報重畳部から送信された横線画像、縦線画像、視差情報や表示部１１６の表示状態を示すＯＳＤ等を表示データ１５２に重畳する。具体的には、線画像重畳部や視差情報重畳部から、横線画像、縦線画像、視差情報に相当する画面中の位置（座標）とその画素データとを受信し、表示データ１５２のその位置に画素データを重畳している。
【００３２】
表示部１１６は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、後述する表示制御部の制御信号に応じて、ＯＳＤ重畳部１１４により横線画像、縦線画像、視差情報が重畳された表示データ１５２を表示する。また、表示部１１６は、表示データ１５２の表示方式に対応して様々な表示態様に設定される。例えば、ラインバイライン方式の表示データ１５２を表示することが想定される場合、表示部１１６には、上述したように、偏光特性が異なる２種類の偏光フィルタが隔行で（水平ライン毎に）交互に配置される。観察者１２は、このような偏光フィルタが施された表示部１１６を、偏光メガネを通じて観察することで、表示部１１６に表示されたラインバイライン方式の表示データ１５２を立体映像として知覚することができる。また、フレームシーケンシャル方式の表示データ１５２が想定される場合、表示部１１６は、通常の１／２の周期で右眼用映像データ１５０ａと左眼用映像データ１５０ｂを時分割かつ交互に表示する。
【００３３】
操作部１１８は、電源スイッチを含む操作キー、十字キー、ジョイスティック、表示部１１６の表示面に重畳されたタッチパネル等で構成され、製作者１０の操作入力を受け付ける。また、遠隔操作のためのリモートコントローラが設けられる場合、当該リモートコントローラも操作部１１８として機能する。
【００３４】
中央制御部１２０は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体映像表示装置１０６全体を管理および制御する。また、本実施形態において、中央制御部１２０は、フォーマット判別部１３０と、線画像重畳部１３２と、合成制限部１３４と、視差情報導出部１３６と、視差情報重畳部１３８と、表示制御部１４０と、線画像変更部１４２としても機能する。
【００３５】
フォーマット判別部１３０は、映像データ取得部１１０が取得した２つの映像データが独立して個々に取得されたものか、または、一体的なデータとして取得されたものかを判定し、また、一体的なデータとして取得されたものであれば、さらに、そのフォーマット形式がＬＲ独立方式、サイドバイサイド方式、アバヴアンドビロウ方式、フレームシーケンシャル方式等のいずれの方式であるかを判定して、その判定結果を合成部１１２に出力する。合成部１１２は、かかる判定結果によって２つの映像データのフォーマット形式を把握し、そのフォーマット形式に基づいて２つの映像データを分離する。また、フォーマット判別部１３０は、映像データ取得部１１０が取得した２つの映像データを自動判定せず、製作者（ユーザ）の操作入力に応じて選択されたフォーマット形式を合成部１１２に出力するとしてもよい。
【００３６】
線画像重畳部１３２は、ＯＳＤ重畳部１１４を通じて、水平方向に延長された横線画像と垂直方向に延長された２つの縦線画像とを表示データに重畳する。そして、線画像重畳部１３２は、製作者１０の操作入力に応じて横線画像を画面垂直方向に、２つの縦線画像を画面水平方向にそれぞれ独立して移動する。
【００３７】
図４は、線画像重畳部１３２の動作を説明するための説明図である。ここでは、製作者１０が表示データ１５２中の任意の被写体像１５４の映像データ１５０ａ、１５０ｂ間における視差を導出している。線画像重畳部１３２は、図４（ａ）のように表示データ１５２に横線画像１５６と縦線画像１５８ａ、１５８ｂとを所定の開始位置に重畳する。続いて、線画像重畳部１３２は、製作者１０の操作入力に応じて横線画像１５６を垂直方向に移動し、図４（ｂ）の如く、視差の導出を所望する被写体像１５４に位置させる。
【００３８】
次に、線画像重畳部１３２は、製作者１０の操作入力に応じて一方の縦線画像（右眼用縦線画像）１５８ａを水平方向に移動し、図４（ｃ）の如く、被写体像１５４の視差の導出を所望する部分（例えばエッジ）に位置させる。最後に、線画像重畳部１３２は、製作者１０の操作入力に応じて他方の縦線画像（左眼用縦線画像）１５８ｂを水平方向に移動し、図４（ｄ）の如く、被写体像１５４の視差の導出を所望する、縦線画像１５８ａが位置する部分と異なる部分（例えばエッジ）に位置させる。こうして、一方の縦線画像１５８ａと他方の縦線画像１５８ｂとが、２つの映像データ１５０ａ、１５０ｂそれぞれにおける同一の被写体像１５４の同一の部分を示すこととなる。このとき、線画像重畳部１３２は、横線画像１５６、縦線画像１５８ａおよび縦線画像１５８ｂそれぞれを他と容易に識別させるため、互いに異なる表示態様で表すとしてもよい。例えば、縦線画像１５８ａを破線で表示させた場合、縦線画像１５８ｂを一点鎖線で表示させたり、横線画像１５６、縦線画像１５８ａ、１５８ｂそれぞれを異なる色で表示させたりすることもできる。
【００３９】
このように、視差の導出を所望する被写体像１５４の２つの映像データ１５０ａ、１５０ｂそれぞれにおける所定の部分に縦線画像１５８ａ、１５８ｂを位置させることで、目視ではなく電子的に視差を読み取ることが可能となり、視差の正確な値を把握することができる。また、線画像重畳部１３２は、縦線画像１５８ａ、１５８ｂを移動する前に、その水平基準となる横線画像１５６を適切な位置に配置することで、製作者１０は、正確かつ容易に所望する水平位置に両縦線画像１５８ａ、１５８ｂを重ねることができ、より正確な視差を導出することが可能となる。
【００４０】
しかし、上述したように、表示データ１５２には右眼用映像データ１５０ａと左眼用映像データ１５０ｂとがライン毎に交互に配されており、被写体像１５４が左右眼いずれの映像データに含まれるかを視認するのは難しい。そこで、本実施形態では、さらに合成制限部１３４によって縦線画像１５８ａ、１５８ｂの操作性を高める。
【００４１】
合成制限部１３４は、線画像重畳部１３２で重畳される２つの縦線画像１５８のうち１の縦線画像１５８を移動する間、その１の縦線画像１５８に対応付けられている映像データのみを合成部１１２に合成させる。具体的に、合成制限部１３４は、一方の縦線画像１５８ａを移動する間、縦線画像１５８ａに対応付けられている右眼用映像データ１５０ａのみを合成部１１２に合成させ、左眼用映像データ１５０ｂを排除する。かかる左眼用映像データ１５０ｂの排除は、例えば、左眼用映像データ１５０ｂが合成されるタイミングで、左眼用映像データ１５０ｂの代わりに単色画素（例えば、黒色画素）を合成することで実現できる。
【００４２】
図５は、合成制限部１３４の動作を説明するための説明図である。上述したように、線画像重畳部１３２は、表示データ１５２に横線画像１５６と縦線画像１５８ａ、１５８ｂとを重畳する。線画像重畳部１３２は、製作者１０の操作入力に応じて横線画像１５６を垂直方向に移動し、視差の導出を所望する被写体像１５４に位置させる。
【００４３】
このとき、移動対象である一方の縦線画像１５８ａは、表示データ１５２に合成された２つの映像データ１５０ａ、１５０ｂのうち、右眼用映像データ１５０ａに対応付けられ、他方の縦線画像１５８ｂは、左眼用映像データ１５０ｂに対応付けられているとする。合成制限部１３４は、移動可能な縦線画像として一方の縦線画像１５８ａが選択されている間、図５（ａ）の如く、その一方の縦線画像１５８ａに対応付けられている右眼用映像データ１５０ａのみを合成部１１２に合成させる。すなわち、本来であれば、右眼用映像データ１５０ａと左眼用映像データ１５０ｂとを合成する合成部１１２に左眼用映像データ１５０ｂを合成させないように制限する。したがって、製作者１０は、右眼用映像データ１５０ａのみに基づいて、縦線画像１５８ａを移動できるので、縦線画像１５８ａを、視差を求めるのに適した部分に位置させることが可能となる。
【００４４】
続いて、線画像重畳部１３２が、製作者１０の操作入力に応じて他方の縦線画像１５８ｂを水平方向に移動している間、合成制限部１３４は、図５（ｂ）の如く、その他方の縦線画像１５８ｂに対応付けられている左眼用映像データ１５０ｂのみを合成部１１２に合成させる。したがって、製作者１０は、左眼用映像データ１５０ｂのみに基づいて、縦線画像１５８ｂを移動できるので、縦線画像１５８ｂを、縦線画像１５８ａ同様、視差を求めるのに適した部分に位置させることが可能となる。
【００４５】
このような合成制限部１３４の構成により、左右２つの映像データ１５０ａ、１５０ｂが合成され、２つの映像データ１５０ａ、１５０ｂを区別できない場合においても、縦線画像１５８の移動時には他の映像データを一時的に排除でき、１の映像データに基づいて縦線画像１５８を移動できるので、製作者１０は、正確かつ迅速に所望する位置に縦線画像１５８を移動することができる。
【００４６】
また、横線画像１５６上の任意の画素にエッジが含まれる場合において、線画像重畳部１３２は、縦線画像１５８ａ、１５８ｂを移動する際、そのエッジを含む画素を検知し、縦線画像１５８ａ、１５８ｂがその位置で移動速度が落ち短時間停滞するとしてもよい。こうすることで、製作者１０による微調整に頼ることなく自動的にエッジ部分を特定することが可能となる。
【００４７】
また、ここでは、横線画像１５６と縦線画像１５８ａ、１５８ｂとの１の組合せについて言及したが、かかる場合に限らず、線画像重畳部１３２は、横線画像１５６と縦線画像１５８ａ、１５８ｂの組合せを複数設け、それぞれの組合せについて、表示データ１５２への重畳と、移動を実行することができる。この場合、各組合せを識別するため、それぞれ異なる表示態様、例えば互いに異なる色系統（赤系統、青系統、緑系統等）で横線画像１５６と縦線画像１５８ａ、１５８ｂとを表してもよい。こうして、各組合せの視認性を高め、製作者１０は、より快適な操作性で複数の被写体像１５４の視差を連続して導出することが可能となる。
【００４８】
ここで、表示部１１６のフォーマット形式がフレームシーケンシャル方式であった場合、合成制限部１３４は、線画像重畳部１３２で重畳される２つの縦線画像のうち一方の縦線画像１５８ａを移動する間、その一方の縦線画像１５８ａに対応付けられている映像データのみをシーケンシャルに並べる。したがって、フレームシーケンシャル方式では、通常、合成制限部１３４が、２つの映像データ１５０ａ、１５０ｂを時間方向に通常の１／２の周期で交互に配置しているところ、一方の縦線画像１５８を移動している間は、右眼用映像データ１５０ａのみを通常の周期で配置し、左眼用映像データ１５０ｂを排除する。
【００４９】
視差情報導出部１３６は、線画像重畳部１３２により位置づけられた縦線画像１５８ａ、１５８ｂ間の視差を求め（数値化し）、その視差に関する視差情報を導出する。視差情報重畳部１３８は、導出された視差情報を、横線画像１５６、縦線画像１５８ａ、１５８ｂが重畳された表示データ１５２にさらに重畳する。表示制御部１４０は、横線画像１５６、縦線画像１５８ａ、１５８ｂおよび視差情報が重畳された表示データ１５２を表示部１１６に表示させる。視差情報は、視差に相当する画素数でもよいし、縦線画像１５８ａ、１５８ｂ間の視差と表示部１１６に表示データ１５２が表示された場合の水平方向の表示幅との比であってもよい。
【００５０】
図６は、視差情報導出部１３６の動作を説明するための説明図である。ここでは、説明の便宜のため、表示データ１５２を省略し、表示データ１５２に重畳される、横線画像１５６と、縦線画像１５８ａ、１５８ｂと視差情報１６０とを示す。視差｜Δｘ｜は、画面左端から縦線画像１５８ａまでの水平方向の距離Ｒと、画面左端から縦線画像１５８ｂの水平方向の距離Ｌとを用いて｜Δｘ｜＝｜Ｌ−Ｒ｜から導出される。また、縦線画像１５８ａ、１５８ｂ間の視差と表示幅との比Δｘｒは、表示幅Ｘを用いてΔｘｒ＝｜Δｘ｜／Ｘ×１００（％）から導出される。そして、視差情報重畳部１３８は、横線画像１５６、縦線画像１５８ａ、１５８ｂの表示位置を回避した位置に、導出された視差情報１６０である視差｜Δｘ｜または比Δｘｒを重畳する。また、立体映像表示装置１０６と大型のスクリーン１０８とで表示画面の大きさが異なっているとしても、表示データ１５２の解像度が等しい場合、比Δｘｒと画素は比例関係になるので、視差｜Δｘ｜を画素数で示すこともできる。
【００５１】
製作者１０は、かかる数値化された視差情報１６０を参照することによって、視差を容易かつ正確に把握することができ、当該映像データ１５０を表示する予定の例えば大型のスクリーン１０８に表示すると、どの程度の立体感を得られるかを予測することが可能となる。
【００５２】
また、視差情報導出部１３６は、縦線画像１５８ａ、１５８ｂ間の視差｜Δｘ｜と共に縦線画像１５８ａ、１５８ｂの水平方向の相対位置（視差の方向（Δｘの符号））も特定して視差情報１６０を導出し、視差情報重畳部１３８は、その水平方向の相対位置も表示データに重畳してもよい。以下に水平方向の相対位置について説明する。
【００５３】
図７および図８は、視差の水平方向の相対位置を説明するための説明図である。ここで、図７（ａ）、（ｃ）は上面視で表され、図７（ａ）は撮像時の被写体１７４の相対位置を、図７（ｃ）は観察時の結像位置を示している。図７（ａ）のように、輻輳角を伴う立体映像撮像装置１０２で撮像された左右２つの映像データ１５０ａ、１５０ｂでは、遠近方向の位置によって被写体像１５４が視差を生じることは既に述べた通りであるが、その遠近方向の被写体１７４（図７中１７４ａ、１７４ｂ、１７４ｃ）の位置によって左右２つの映像データに出現する相対位置が異なる。
【００５４】
例えば、輻輳点（表示時には表示部１１６の表示面の位置（遠近位置）となる点）１７２に存在する被写体１７４ａの被写体像１５４ａは図７（ｂ）のように、左右２つの映像データ１５０ａ、１５０ｂで視差が生じないが、輻輳点１７２より立体映像撮像装置１０２側に存在する被写体１７４ｂの被写体像１５４ｂは、図７（ｂ）に示すように左眼用映像データ１５０ｂの出現位置より右眼用映像データ１５０ａの出現位置が画面左側に推移する。また、輻輳点１７２より立体映像撮像装置１０２と逆側に存在する被写体１７４ｃの被写体像１５４ｃは、図７（ｂ）に示すように左眼用映像データ１５０ｂの出現位置より右眼用映像データ１５０ａの出現位置が画面右側に推移する。
【００５５】
このような左右２つの映像データ１５０ａ、１５０ｂを立体映像表示装置１０６で表示すると、立体映像を知覚させるための偏光メガネを装着した製作者１０に対して、図７（ｃ）のように、被写体像１５４ａは、立体映像表示装置１０６自体の遠近位置で結像され、被写体像１５４ｂは、立体映像表示装置１０６より製作者１０側に飛び出すように結像され、被写体像１５４ｃは、立体映像表示装置１０６より製作者１０と逆側に引き込むように結像される。本実施形態では、製作者１０が被写体像１５４の結像位置を把握できるように、視差情報導出部１３６は、縦線画像１５８ａ、１５８ｂの水平方向の相対位置、すなわち、右眼用映像データに対応付けられた縦線画像１５８ａが、左眼用映像データに対応付けられた縦線画像１５８ｂの左右いずれに位置しているかも特定する。
【００５６】
具体的に、視差情報導出部１３６は、縦線画像１５８ａが縦線画像１５８ｂより左に位置していれば、すなわち、図６において視差の方向も含む視差ベクトルΔｘ＝Ｌ−Ｒ＞０となれば、その被写体像１５４は飛び出して知覚されるので、視差情報１６０に飛び出すことを示す符号「＋」を追加、または符号を追加しないものとし、縦線画像１５８ａが縦線画像１５８ｂより右に位置していれば、すなわち、図６において視差ベクトルΔｘ＝Ｌ−Ｒ＜０となれば、その被写体像１５４は引き込むように知覚されるので、視差情報に引き込むことを示す符号「−」を視差情報１６０に追加する。また、視差ベクトルΔｘ＝０の場合には符号を追加しない、または仮に符号「＋」を追加するとする。そして、視差情報重畳部１３８は、その水平方向の相対位置を示す符号も表示データ１５２に重畳する。
【００５７】
したがって、縦線画像１５８ａが縦線画像１５８ｂより左に位置することとなる図７（ｂ）の被写体像１５４ｂについては、図８（ａ）のように、符号「＋」が並記された視差情報１６０が表示データ１５２に重畳され、縦線画像１５８ａが縦線画像１５８ｂより右に位置することとなる図７（ｂ）の被写体像１５４ｃについては、図８（ｂ）のように、符号「−」が並記された視差情報１６０が表示データ１５２に重畳される。このように構成することで、製作者１０は、偏光メガネ等を装着しなくても、導出対象である被写体像１５４が飛び出して結像されるか引き込むように結像されるか容易に把握することが可能となる。また、上述したように縦線画像１５８ａ、１５８ｂは、それぞれ映像データと対応付けられ、その対応付けられた映像データに基づいてのみ移動されるので、製作者１０は、縦線画像１５８ａ、１５８ｂを位置させる被写体像１５４を間違えることはなく、高い信頼性をもって被写体像１５４の遠近位置を把握することができる。
【００５８】
また、視差情報１６０は、表示部１１６と観察者１２との距離に対する、表示部１１６と縦線画像１５８ａ、１５８ｂ間の視差を有する被写体像１５４が結像される位置との距離の比であってもよい。
【００５９】
人の眼の間隔の平均値をΔｋ、製作者１０と表示部１１６との距離をｄとすると、表示部１１６から、縦線画像１５８ａ、１５８ｂ間の視差を有する被写体像１５４が結像される位置までの距離Δｄは、視差ベクトルΔｘを用いて、Δｄ＝Δｘ×ｄ／（Δｘ＋Δｋ）となる。したがって、表示部１１６と観察者１２との距離ｄに対する、表示部１１６と縦線画像１５８ａ、１５８ｂ間の視差を有する被写体像１５４が結像される位置との距離Δｄの比Δｄ／ｄは、Δｘ／（Δｘ＋Δｋ）で表される。かかる比を用いることによって、製作者１０は、どの程度の立体感を得られるかを容易に予測することが可能となる。
【００６０】
以上のように、視差情報導出部１３６や視差情報重畳部１３８は、視差情報１６０を導出して表示データ１５２に重畳するが、その導出および重畳するタイミングに制限はなく、線画像重畳部１３２が機能してから、すなわち、横線画像１５６や縦線画像１５８ａ、１５８ｂの移動中からその位置に応じて随時視差情報１６０を導出し、表示データ１５２に重畳するとしてもよい。
【００６１】
ところで、上述したように、被写体像１５４が過渡に飛び出して結像されたり、過渡に引き込んで結像されると、観察者１２の目に負担がかかる場合がある。そこで、製作者１０は、生成された映像データ１５０をすぐに表示し、その場で、その映像データ１５０に含まれる任意の被写体像１５４の２つの映像データ１５０ａ、１５０ｂ間の視差が適切な遠近距離内にあるか否かを確認して、適切でなければ、撮像状態を調整するのが望ましい。そこで、本実施形態では、線画像変更部１４２を設けて所望する状態で適切に映像データ１５０が生成されているか否かを製作者１０に直感的かつ迅速に把握させる。
【００６２】
線画像変更部１４２は、縦線画像１５８ａ、１５８ｂ間の視差が所定の閾値を越えれば、すなわち、被写体像１５４の、２つの映像データ１５０ａ、１５０ｂ間の相対位置を含む視差ベクトルΔｘが第１閾値以上（Δｘ＞０かつ視差｜Δｘ｜≧｜第１閾値｜）または第２閾値以下（Δｘ＜０かつ視差｜Δｘ｜≧｜第２閾値｜）であれば、縦線画像１５８ａ、１５８ｂを、閾値を越えたことを把握できる表示態様に変更する。ここで、第１閾値は、例えば、表示データ１５２の表示幅の＋２０％であり、第２閾値は、例えば、表示データ１５２の表示幅の−２％である。
【００６３】
具体的に、線画像変更部１４２は、縦線画像１５８ａ、１５８ｂの線種、線幅、色を変更したり、また、その縦線画像１５８ａ、１５８ｂ自体を点滅させたり、縦線画像１５８ａ、１５８ｂの近くに警告を促す指標、例えば「！」等の記号を追加する。このとき、縦線画像１５８ａ、１５８ｂによる視差導出対象の被写体像１５４が特定できる場合には（例えば、縦線画像１５８ａ、１５８ｂ両方が接触している被写体像１５４）、その導出対象となる被写体像１５４自体の表示態様を変化させてもよい。
【００６４】
かかる構成により、製作者１０は、視差情報導出部１３６によって数値化された視差情報１６０を視認して、その値が閾値を越えているか否か判断しなくても、表示態様が変化していないことをもって、所望する状態で適切に生成されていることを迅速かつ直感的に把握することができるので、所望する表示状態となる映像データ１５０を容易に製作でき、観察者１２の目に負担をかけない自然な立体映像を知覚させることが可能となる。したがって、製作者１０は、安心して当該映像データ１５０を観察者１２に提供することが可能となる。
【００６５】
以上、説明した立体映像表示装置１０６では、表示部１１６のフォーマット形式としてラインバイライン方式およびフレームシーケンシャル方式を挙げたが、かかる場合に限らず、チェッカーボード方式、アナグリフ方式、カラーコード３Ｄ方式等にも適用することが可能である。さらに、立体映像を知覚するための加工を施していない表示部１１６に、サイドバイサイド方式、アバヴアンドビロウ方式等による２つの映像データ１５０ａ、１５０ｂを分離することなく、そのままの態様で表示し、２つの映像データ１５０ａ、１５０ｂのいずれにも横線画像１５６を連動させて重畳し、さらに、一方の映像データに一方の縦線画像１５８ａを他方の映像データに他方の縦線画像１５８ｂを重畳することでも、表示データ１５２内の個々の被写体像１５４の視差を容易かつ正確に把握させることが可能となる。
【００６６】
また、上述した立体映像表示装置１０６では、合成部１１２やＯＳＤ重畳部１１４がハードウェアで構成される例を挙げているが、かかる場合に限られず、すべての映像処理を中央制御部１２０内のソフトウェアで実行し、横線画像１５６、縦線画像１５８ａ、１５８ｂおよび視差情報１６０が重畳された最終的な表示データ１５２を表示部１１６に表示させるとしてもよい。
【００６７】
（立体映像表示方法）
また、上述した立体映像表示装置１０６を用いた立体映像表示方法も提供される。図９は、立体映像表示方法の処理の流れを示すフローチャートである。
【００６８】
立体映像表示装置１０６の映像データ取得部１１０が、視差を有する２つの映像データ１５０ａ、１５０ｂを取得すると（Ｓ２００におけるＹＥＳ）、合成部１１２は、２つの映像データ１５０ａ、１５０ｂを合成して表示データを生成する（Ｓ２０２）。そして、線画像重畳部１３２は、製作者１０の操作入力に応じて、横線画像１５６、縦線画像１５８ａ、１５８ｂのうち移動する線画像を選択する（Ｓ２０４）。
【００６９】
選択された線画像が横線画像１５６であれば（Ｓ２０６におけるＹＥＳ）、線画像重畳部１３２は、横線画像１５６を垂直方向に移動させる製作者１０の操作入力が有るか否か判断し（Ｓ２０８）、製作者１０の操作入力が有れば（Ｓ２０８におけるＹＥＳ）、重畳対象となる横線画像１５６をその操作入力に応じて垂直方向に所定量移動し（Ｓ２１０）、製作者１０の操作入力がなければ（Ｓ２０８におけるＮＯ）、重畳対象となる横線画像１５６に対して何ら処理を実行しないことで横線画像１５６の前回位置を維持する。そして、線画像重畳部１３２は、このように重畳位置が決定された横線画像１５６と共に、前回位置が維持された縦線画像１５８ａ、１５８ｂを表示データ１５２に重畳する（Ｓ２１２）。当該立体映像表示方法は、２つの映像データ１５０ａ、１５０ｂを取得する度に繰り返されるので（Ｓ２００におけるＹＥＳ）、製作者１０は、横線画像１５６を垂直方向に移動させる操作入力を所定の時間継続することで、横線画像１５６を所望する位置に移動することが可能となる。
【００７０】
また、選択された線画像が横線画像１５６ではなく（Ｓ２０６におけるＮＯ）、選択された線画像が縦線画像１５８ａ、１５８ｂのうち一方の縦線画像１５８ａであれば（Ｓ２１４におけるＹＥＳ）、線画像重畳部１３２は、縦線画像１５８ａに対応付けられている右眼用映像データ１５０ａのみを合成部１１２に合成させる（Ｓ２１６）。そして、線画像重畳部１３２は、縦線画像１５８ａを水平方向に移動させる製作者１０の操作入力が有るか否か判断し（Ｓ２１８）、製作者１０の操作入力が有れば（Ｓ２１８におけるＹＥＳ）、製作者１０の操作入力に応じて重畳対象となる縦線画像１５８ａを水平方向に所定量移動し（Ｓ２２０）、製作者１０の操作入力がなければ（Ｓ２１８におけるＮＯ）、重畳対象となる縦線画像１５８ａに対して何ら処理を実行しないことで縦線画像１５８ａの前回位置を維持する。そして、線画像重畳部１３２は、重畳位置が決定された縦線画像１５８ａと共に、前回位置が維持された、横線画像１５６、縦線画像１５８ｂを表示データ１５２に重畳する（Ｓ２１２）。上述したように、当該立体映像表示方法は、２つの映像データ１５０ａ、１５０ｂを取得する度に繰り返されるので（Ｓ２００におけるＹＥＳ）、製作者１０は、縦線画像１５８ａを水平方向に移動させる操作入力を所定の時間継続することで、縦線画像１５８ａを所望する位置に移動することが可能となる。
【００７１】
また、選択された線画像が横線画像１５６および縦線画像１５８ａでなければ（Ｓ２０６およびＳ２１４におけるＮＯ）、すなわち縦線画像１５８ｂであれば、線画像重畳部１３２は、縦線画像１５８ｂに対応付けられている左眼用映像データ１５０ｂのみを合成部１１２に合成させる（Ｓ２２２）。そして、線画像重畳部１３２は、縦線画像１５８ｂを水平方向に移動させる製作者１０の操作入力が有るか否か判断し（Ｓ２２４）、製作者１０の操作入力が有れば（Ｓ２２４におけるＹＥＳ）、製作者１０の操作入力に応じて重畳対象となる縦線画像１５８ｂを水平方向に所定量移動し（Ｓ２２６）、製作者１０の操作入力がなければ（Ｓ２２４におけるＮＯ）、重畳対象となる縦線画像１５８ｂに対して何ら処理を実行しないことで縦線画像１５８ｂの前回位置を維持する。そして、線画像重畳部１３２は、重畳位置が決定された縦線画像１５８ｂと共に、前回位置が維持された、横線画像１５６、縦線画像１５８ａを表示データ１５２に重畳する（Ｓ２１２）。ここでも、製作者１０は、縦線画像１５８ｂを水平方向に移動させる操作入力を所定の時間継続することで、縦線画像１５８ｂを所望する位置に移動することが可能となる。
【００７２】
線画像重畳部１３２によって、横線画像１５６、縦線画像１５８ａ、１５８ｂが表示データ１５２に重畳されると（Ｓ２１２）、視差情報導出部１３６は、縦線画像１５８ａ、１５８ｂ間の視差に関する視差情報１６０を導出し（Ｓ２２８）、視差情報重畳部１３８は、導出された視差情報１６０を横線画像１５６、縦線画像１５８ａ、１５８ｂが重畳された表示データ１５２にさらに重畳し（Ｓ２３０）、表示部１１６は、横線画像１５６、縦線画像１５８ａ、１５８ｂおよび視差情報１６０が重畳された表示データ１５２を表示する（Ｓ２３２）。ここでは、２つの映像データ１５０ａ、１５０ｂが取得される度に、製作者１０の操作入力に応じて各線画像が繰り返し移動され、製作者１０は、表示データ１５２を通じて視差情報１６０を視認することが可能となる。また、ここでは、製作者１０の操作入力の受付契機を映像データ１５０の取得タイミングとしたが、かかる場合に限られず、製作者１０の操作入力を割り込み処理することで、その操作入力を各線画像の移動に反映することもできる。
【００７３】
このように、立体映像表示装置１０６を用いた立体映像表示方法によっても、製作者１０に表示データ１５２内の個々の被写体像１５４の視差を容易かつ正確に把握させることが可能となる。
【００７４】
（立体映像撮像装置１０２）
上述した実施形態では、立体映像表示装置１０６が、映像データ取得部１１０が取得した映像データ１５０を表示データ１５２として表示部１１６に表示し、製作者１０は、表示部１１６の表示を確認する例を説明した。ここでは、その映像データ１５０を生成する立体映像撮像装置１０２に当該立体映像表示装置１０６の機能を設けることで、立体映像撮像装置１０２だけで完結的に映像データ１５０を確認することができる。
【００７５】
図１０は、立体映像撮像装置１０２の概略的な機能を示した機能ブロック図である。図１０に示すように、立体映像撮像装置１０２は、２つの撮像部３１０と、データ処理部３１２と、合成部１１２と、ＯＳＤ重畳部１１４と、表示部１１６と、操作部１１８と、映像保持部３１４と、中央制御部３１６とを含んで構成される。また、中央制御部３１６は、フォーマット判別部１３０と、線画像重畳部１３２と、合成制限部１３４と、視差情報導出部１３６と、視差情報重畳部１３８と、表示制御部１４０と、線画像変更部１４２と、撮像制御部３２０と、記憶制御部３２２としても機能する。上述した実施形態における構成要素として既に述べた、合成部１１２と、ＯＳＤ重畳部１１４と、表示部１１６と、操作部１１８と、フォーマット判別部１３０と、線画像重畳部１３２と、合成制限部１３４と、視差情報導出部１３６と、視差情報重畳部１３８と、表示制御部１４０と、線画像変更部１４２とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する、撮像部３１０と、データ処理部３１２と、映像保持部３１４と、撮像制御部３２０と、記憶制御部３２２とを主に説明する。
【００７６】
撮像部３１０は、撮像レンズ３４０と、焦点調整に用いられるフォーカスレンズ３４２と、露光調整に用いられる絞り（アイリス）３４４と、撮像レンズ３４０を通じて入射した光束を電気データ（映像データ）に光電変換する撮像素子３４６と、後述する撮像制御部３２０の制御信号に応じてフォーカスレンズ３４２、絞り３４４および撮像素子３４６をそれぞれ駆動させる駆動部３４８とを含んで構成され、略平行に並んだまたは撮像方向で交わる２つの光軸それぞれにおける２つの映像データ１５０ａ、１５０ｂを生成する。
【００７７】
データ処理部３１２は、撮像部３１０から受信した映像データに、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理等の映像信号処理を施し、処理後の映像データ１５０を合成部１１２に出力する。かかる映像データ１５０は、合成部１１２やＯＳＤ重畳部１１４を通じて表示データ１５２となり、ビューファインダ等、比較的画面サイズの小さい表示部１１６で表示される。製作者１０は、表示部１１６に表示された映像を視認しつつ操作部１１８を操作することで、被写体像を所望する位置および占有面積で捉えることが可能となる。
【００７８】
映像保持部３１４は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、不揮発性ＲＡＭ等で構成され、後述する記憶制御部３２２の制御信号に応じて、中央制御部３１６から送信された映像データ１５０を保持する。また、映像保持部３１４は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ポータブルメモリカード等、着脱可能な記憶媒体に映像データを保持させる装置として構成されてもよい。このとき、映像データ１５０をＭ−ＪＰＥＧ（Motion JPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４などの所定の符号化方式で符号化することもできる。
【００７９】
中央制御部３１６の撮像制御部３２０は、製作者１０の操作入力に応じて撮像部３１０を制御する。例えば、撮像制御部３２０は、適切な映像データ１５０が得られるように、フォーカスレンズ３４２、絞り３４４および撮像素子３４６を駆動部３４８に駆動させる。
【００８０】
記憶制御部３２２は、製作者１０が映像データ１５０を生成している間、データ処理部３１２から送信された映像データ１５０を映像保持部３１４に記憶する。
【００８１】
このような立体映像撮像装置１０２は、小型化、軽量化のニーズを受けて、表示部１１６も小型化される傾向にある。したがって、表示部１１６から２つの映像データ１５０ａ、１５０ｂの視差を把握するのは極めて困難となる。本実施形態では、このような立体映像撮像装置１０２においても線画像重畳部１３２や視差情報重畳部１３８によって、正確な視差を導出することができる。また、線画像変更部１４２によって、製作者１０は、その視差が適切な遠近距離内にあるか否かを迅速かつ直感的に把握することが可能となり、撮像部３１０間の距離を調整する等の調整処理を行って、観察者１２の目に負担をかけない自然な立体映像を知覚させることができる。こうして、製作者１０は、安心して当該映像データ１５０を観察者１２に提供することが可能となる。
【００８２】
また、ここでは、立体映像撮像装置１０２が２つの撮像部３１０を設けて映像データ１５０を生成する例（２眼カメラ）を挙げて説明したが、ミラー等の光学的手法を用いて１つの被写体を２つの視点から同時に撮像させる立体映像撮像用アダプタを１の撮像部３１０の光学経路前方に位置させて２つの映像データを１の映像データに一体化させて取得することも可能である。
【００８３】
さらに、コンピュータを立体映像表示装置１０６や立体映像撮像装置１０２として機能させる立体映像表示プログラムおよび立体映像撮像プログラムや、その立体映像表示プログラムおよび立体映像撮像プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記録媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８５】
例えば、上述した実施形態においては、各機能部が立体映像表示装置１０６単体内で処理されているが、その機能部を別体の装置で実現し、合わせて本願の目的を達成するとしてもよい。例えば、合成部１１２による映像データ１５０の分離や合成機能を別体の３Ｄコンバータで実現したり、線画像重畳部１３２の機能を別体のプロジェクタ等で実現し、そのプロジェクタと同期して合成制限部１３４が映像データの合成を制限する、すなわち、プロジェクタを通じて縦線画像１５８ａを投光しているときには右眼用映像データ１５０ａのみを合成し、縦線画像１５８ｂを投光しているときには左眼用映像データ１５０ｂのみを合成するとしてもよい。
【００８６】
なお、本明細書の立体映像表示方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００８７】
本発明は、立体映像を知覚させるための表示データを表示する立体映像表示装置、立体映像撮像装置および立体映像表示方法に利用することができる。
【符号の説明】
【００８８】
１０２ …立体映像撮像装置
１０６ …立体映像表示装置
１１０ …映像データ取得部
１１２ …合成部
１１６ …表示部
１３２ …線画像重畳部
１３４ …合成制限部
１３６ …視差情報導出部
１３８ …視差情報重畳部
１４２ …線画像変更部
１５０（１５０ａ、１５０ｂ） …映像データ
１５２ …表示データ
１５４ …被写体像
１５６ …横線画像
１５８（１５８ａ、１５８ｂ） …縦線画像
１６０ …視差情報
３１０ …撮像部
【技術分野】
【０００１】
本発明は、立体映像を知覚させるための表示データを表示する立体映像表示装置、立体映像撮像装置および立体映像表示方法に関する。
【背景技術】
【０００２】
近年、ディスプレイ上に、水平視差（両眼視差）を有する２つの映像を提示し、観察者に対してあたかも被写体像が立体的に存在するように知覚させる立体映像の技術が脚光を浴びている。かかる技術で用いられる２つの映像は、異なる光軸（視点）それぞれにおいて撮像された映像、または、異なる光軸で撮像したのに相当するＣＧ（Computer Graphics）の映像である。かかる２つの映像に含まれる被写体像の遠近方向の結像位置は、被写体像の２つの映像間における視差の大小によって定まる。
【０００３】
このように被写体像の２つの映像間の視差を調整すれば被写体像の遠近方向の結像位置を変化させることができるが、視差を大きくとり過ぎて、被写体像が過渡に飛び出して結像されたり、過渡に引き込まれて結像されると、観察者の目に負担がかかる場合がある。そこで、２つの映像を製作する製作者（作業者）は、撮像により、またはＣＧ等の製作により生成された映像データを、その都度、立体映像を知覚させるための表示データに加工して立体映像表示装置に表示し、被写体像の視差が適切な範囲に保たれているかどうか確認していた。しかし、多くの場合、製作者は、立体映像表示装置に定規を当てたり、自己の経験や勘に基づいて視差の大小を判断しなければならなく、相当の手間と労力を費やしていた。
【０００４】
そこで、テンプレートの役目を担うガイドを映像に重畳し、撮像者に左右の映像データの視差を確認させる技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−３２２７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術では、ガイドが固定的に配置され、視差の導出を試みる被写体像がその固定されたガイドと重なるのは稀であり、製作者は、離隔するガイドを目安にして被写体像の映像データ間の視差を目視で推定することしかできなかったため、視差が適切な範囲に保たれているか否かを正確に把握することは困難であった。また、視差が有るか無いか程度は把握できるものの、２つの映像データが合成された表示データでは被写体像の水平方向の相対位置を視認するのは難しく、その視差が飛び出し側の視差なのか引き込み側の視差なのかを把握することができなかった。さらに、小型のモニタやビューファインダ等の比較的小さな画面では、視差を視認するための基準に乏しく、視差の抽出には困難を極めていた。このような目視による視差の導出では、視差を正確に特定できないばかりか、製作者は、ガイドと視差との比較作業を通じて多大な時間と労力を費やしていた。
【０００７】
また、製作者は、撮像により、またはＣＧ等の製作により生成された映像データを、小型のモニタやビューファインダに表示して、その採否を簡略的に判断することとなるが、その映像データは、そもそも、映画館の大型スクリーンに表示される目的で製作されている場合がある。このように表示データを表示する表示画面の大きさが異なると、それに伴って視差も変化し、小型のモニタと、大型スクリーンとで立体感が異なってしまうことになる。表示データの水平方向の表示幅に対する視差の比率に表示画面の倍率を乗じれば、任意の表示画面における視差を見積もることもできるが、表示データの視差を正確に導出できない以上、任意の表示画面における視差を見積もることもできなかった。
【０００８】
そこで本発明は、このような課題に鑑み、製作者に表示データ内の個々の被写体像の視差を容易かつ正確に把握させることが可能な、立体映像表示装置、立体映像撮像装置および立体映像表示方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の立体映像表示装置は、水平視差を有する２つの映像データを取得する映像データ取得部と、２つの映像データを合成して表示データを生成する合成部と、垂直方向に延長された２つの縦線画像を表示データに重畳し、ユーザの操作入力に応じて２つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部と、２つの縦線画像間の視差に関する視差情報を導出する視差情報導出部と、導出された視差情報を縦線画像が重畳された表示データにさらに重畳する視差情報重畳部と、縦線画像および視差情報が重畳された表示データを表示する表示部と、を備えることを特徴とする。
【００１０】
２つの縦線画像は２つの映像データにそれぞれ対応付けられ、立体映像表示装置は、２つの縦線画像のうち一方の縦線画像を移動する間、その一方の縦線画像に対応付けられている映像データのみを合成部に合成させる合成制限部をさらに備えてもよい。
【００１１】
線画像重畳部は、さらに、水平方向に延長された横線画像を表示データに重畳し、ユーザの操作入力に応じて横線画像を垂直方向に移動してもよい。
【００１２】
視差情報は、２つの縦線画像間の視差と表示データの水平方向の表示幅との比であってもよい。
【００１３】
視差情報は、表示部と観察者との距離に対する、表示部と２つの縦線画像間の視差を有する被写体像が結像される位置との距離の比であってもよい。
【００１４】
視差情報導出部は、２つの縦線画像間の視差と共に２つの縦線画像の水平方向の相対位置も特定して視差情報を導出してもよい。
【００１５】
立体映像表示装置は、縦線画像間の視差が所定の閾値を越えれば、縦線画像を、閾値を越えたことを把握できる表示態様に変更する線画像変更部をさらに備えてもよい。
【００１６】
上記課題を解決するために、本発明の立体映像撮像装置は、略平行に並んだまたは撮像方向で交わる２つの光軸それぞれにおける２つの映像データを生成する撮像部と、２つの映像データを合成して表示データを生成する合成部と、垂直方向に延長された２つの縦線画像を表示データに重畳し、ユーザの操作入力に応じて２つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部と、２つの縦線画像間の視差に関する視差情報を導出する視差情報導出部と、導出された視差情報を縦線画像が重畳された表示データにさらに重畳する視差情報重畳部と、縦線画像および視差情報が重畳された表示データを表示する表示部と、を備えることを特徴とする。
【００１７】
上記課題を解決するために、本発明の立体映像表示方法は、水平視差を有する２つの映像データを取得し、２つの映像データを合成して表示データを生成し、水平方向に延長された横線画像を表示データに重畳し、ユーザの操作入力に応じて横線画像を垂直方向に移動し、垂直方向に延長された２つの縦線画像を表示データに重畳し、ユーザの操作入力に応じて２つの縦線画像のうち一方の縦線画像を水平方向に移動する間、その一方の縦線画像に対応付けられている映像データのみを合成し、ユーザの操作入力に応じて２つの縦線画像のうち他方の縦線画像を水平方向に移動する間、その他方の縦線画像に対応付けられている映像データのみを合成し、２つの縦線画像間の視差に関する視差情報を導出し、導出した視差情報を、縦線画像を重畳した表示データにさらに重畳し、縦線画像および視差情報を重畳した表示データを表示することを特徴とする。
【発明の効果】
【００１８】
以上説明したように本発明は、製作者に表示データ内の個々の被写体像の視差を容易かつ正確に把握させることが可能となり、製作者は、その視差を用いて所望する表示状態となるよう映像データを調整することができるので、観察者の眼に負担をかけることのない自然な立体感を有する立体映像を知覚させる映像データを生成することができる。
【図面の簡単な説明】
【００１９】
【図１】立体映像製作システムの概略的な関係を示した機能ブロック図である。
【図２】立体映像表示装置の概略的な機能を示した機能ブロック図である。
【図３】合成部の動作を説明するための説明図である。
【図４】線画像重畳部の動作を説明するための説明図である。
【図５】合成制限部の動作を説明するための説明図である。
【図６】視差情報導出部の動作を説明するための説明図である。
【図７】視差の水平方向の相対位置を説明するための説明図である。
【図８】視差の水平方向の相対位置を説明するための説明図である。
【図９】立体映像表示方法の処理の流れを示すフローチャートである。
【図１０】立体映像撮像装置の概略的な機能を示した機能ブロック図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２１】
（立体映像製作システム１００）
図１は、立体映像製作システム１００の概略的な関係を示した機能ブロック図である。立体映像表示システム１００は、製作者１０が水平視差を有する２つの映像データを生成するための装置、例えば、撮像のための立体映像撮像装置１０２やＣＧ生成のためのコンピュータ１０４と、生成された映像データを表示する立体映像表示装置１０６とを含んでなる。このように立体映像製作システム１００で製作された映像データは、例えば、映画館のスクリーン１０８等を通じて観察者１２に提供され、観察者１２は、偏光メガネ等を通じて提供された映像データを観察することができる。ここでは、理解を容易にするため、映像データを製作する者を製作者、その映像データを観察する者を観察者としているが、本実施形態が利用者によって限定されないのは言うまでもない。
【００２２】
立体映像製作システム１００では、被写体像の２つの映像データ間の視差を調整すれば被写体像の遠近方向の結像位置を変化させることができる。しかし、視差を大きくとり過ぎて、被写体像が過渡に飛び出して結像されたり、過渡に引き込まれて結像されると、観察者１２の目に負担がかかる場合がある。そこで、製作者１０は、生成した映像データを、その都度、立体映像表示装置１０６に表示し、被写体像の視差が適切な範囲に保たれているか確認し、視差が適切でなければ、適切な範囲に収まるよう映像データを調整する。
【００２３】
本実施形態の立体映像表示装置１０６では、製作者１０に、個々の被写体像の２つの映像データ間における視差を容易かつ正確に把握させることが可能となるので、製作者１０は、その視差を用いて所望する表示状態となるよう映像データを調整することができ、観察者１２の眼に負担をかけることのない自然な立体感を有する映像データを生成することができる。
【００２４】
（立体映像表示装置１０６）
図２は、立体映像表示装置１０６の概略的な機能を示した機能ブロック図である。図２に示すように、立体映像表示装置１０６は、映像データ取得部１１０と、合成部１１２と、ＯＳＤ（On-Screen Display）重畳部１１４と、表示部１１６と、操作部１１８と、中央制御部１２０とを含んで構成される。図２中、実線はデータの流れを示し、破線は制御信号の流れを示している。
【００２５】
映像データ取得部１１０は、立体映像を知覚するための、異なる光軸（視点）それぞれにおいて撮像された映像、または、異なる光軸で撮像したのに相当するＣＧの映像をデータ化した、水平視差を有する左右２つの映像データ（以下、左右を識別する必要がある場合には、それぞれを右眼用映像データ、左眼用映像データと表現する。）を、ＨＤＭＩ（High-Definition Multimedia Interface）端子等の映像信号入力用の端子を通じて取得する。ここで、左右２つの映像データは独立して個々に取得されてもよいし、一体的なデータとして取得されてもよい。
【００２６】
ここで、一体的なデータのフォーマット形式としては、２つの映像データを左右並置したＬＲ独立方式、２つの映像データを水平方向に１／２圧縮して左右並置したサイドバイサイド方式、２つの映像データを垂直方向（鉛直方向）に１／２圧縮して上下並置したアバヴアンドビロウ方式、２つの映像データを時間方向に交互に配置したフレームシーケンシャル方式等が挙げられる。
【００２７】
合成部１１２は、映像データ取得部１１０が取得した左右２つの映像データを合成して表示データを生成する。具体的に、合成部１１２は、後述するフォーマット判別部から出力された制御信号に応じて、映像データ取得部１１０が取得した２つの映像データを一旦分離し、表示部１１６の表示方式に応じて、分離された２つの映像データを合成する。表示方式としては、パッシブタイプの、ラインバイライン方式、チェッカーボード方式、アナグリフ方式、カラーコード３Ｄ方式、アクティブタイプのフレームシーケンシャル方式等が挙げられる。
【００２８】
ラインバイライン方式は、表示部１１６の表示面に、偏光特性が異なる２種類の偏光フィルタを隔行で（水平ライン毎に）交互に配置し、一方の偏光フィルタが配置された奇数ラインに右眼用映像データを、他方の偏光フィルタが配置された偶数ラインに左眼用映像データを表示させる方式である。チェッカーボード方式は、偏光特性が異なる２種類の偏光フィルタをラインではなく画素毎に配置した方式である。アナグリフ方式は、右眼用映像データおよび左眼用映像データをそれぞれ異なる色、例えば赤と青で表し、観察者１２に赤と青のカラーフィルタが施された色メガネで映像データを右眼および左眼に排他的に視認させる方式である。カラーコード３Ｄ方式は、アナグリフ方式における２つの色を青色とアンバー系の色に代えて色の再現性を高めた方式である。フレームシーケンシャル方式は、右眼用映像データと左眼用映像データを交互に表示部１１６に表示し、排他的に開閉する電子シャッタを通じて、右眼用映像データを観察者１２の右眼にのみ、左眼用映像データを観察者１２の左眼にのみ視認させる方式である。
【００２９】
図３は、合成部１１２の動作を説明するための説明図である。例えば、映像データ取得部１１０が、図３（ａ）に示すような、２つの映像データが一体化されたサイドバイサイド方式の映像データ１５０を取得した場合、合成部１１２は、まず、図３（ｂ）のように、映像データ１５０を右眼用映像データ１５０ａと左眼用映像データ１５０ｂとに分離し、図３（ｃ）のように、右眼用映像データ１５０ａから奇数ラインの映像データを抽出し、左眼用映像データ１５０ｂからは偶数ラインの映像データを抽出すると共に、水平方向に画像を２倍に拡大し、最後に、右眼用映像データ１５０ａの奇数ラインと左眼用映像データ１５０ｂの偶数ラインとを合成して、図３（ｄ）のようなラインバイライン方式の表示データ１５２を生成する。ここでは、説明の便宜のためライン総数を８としているが、実際のライン総数は走査線数分（例えば１０８０本）あるので、当該表示データ１５２をそのまま裸眼で観察すると被写体像が視差を伴って重畳されているように錯覚する。
【００３０】
観察者１２は、偏光特性が異なる２つの偏光フィルタが左右に設けられた偏光メガネを通じて上記の表示データ１５２を観察し、右眼用映像データ１５０ａを右眼のみで視認し、左眼用映像データ１５０ｂを左眼のみで視認する。したがって、観察者１２は、被写体像を表示部１１６より飛び出し側または引き込み側で結像して立体映像を知覚することができる。
【００３１】
ＯＳＤ重畳部１１４は、例えば、キャラクタジェネレータで構成され、後述する線画像重畳部や視差情報重畳部から送信された横線画像、縦線画像、視差情報や表示部１１６の表示状態を示すＯＳＤ等を表示データ１５２に重畳する。具体的には、線画像重畳部や視差情報重畳部から、横線画像、縦線画像、視差情報に相当する画面中の位置（座標）とその画素データとを受信し、表示データ１５２のその位置に画素データを重畳している。
【００３２】
表示部１１６は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、後述する表示制御部の制御信号に応じて、ＯＳＤ重畳部１１４により横線画像、縦線画像、視差情報が重畳された表示データ１５２を表示する。また、表示部１１６は、表示データ１５２の表示方式に対応して様々な表示態様に設定される。例えば、ラインバイライン方式の表示データ１５２を表示することが想定される場合、表示部１１６には、上述したように、偏光特性が異なる２種類の偏光フィルタが隔行で（水平ライン毎に）交互に配置される。観察者１２は、このような偏光フィルタが施された表示部１１６を、偏光メガネを通じて観察することで、表示部１１６に表示されたラインバイライン方式の表示データ１５２を立体映像として知覚することができる。また、フレームシーケンシャル方式の表示データ１５２が想定される場合、表示部１１６は、通常の１／２の周期で右眼用映像データ１５０ａと左眼用映像データ１５０ｂを時分割かつ交互に表示する。
【００３３】
操作部１１８は、電源スイッチを含む操作キー、十字キー、ジョイスティック、表示部１１６の表示面に重畳されたタッチパネル等で構成され、製作者１０の操作入力を受け付ける。また、遠隔操作のためのリモートコントローラが設けられる場合、当該リモートコントローラも操作部１１８として機能する。
【００３４】
中央制御部１２０は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体映像表示装置１０６全体を管理および制御する。また、本実施形態において、中央制御部１２０は、フォーマット判別部１３０と、線画像重畳部１３２と、合成制限部１３４と、視差情報導出部１３６と、視差情報重畳部１３８と、表示制御部１４０と、線画像変更部１４２としても機能する。
【００３５】
フォーマット判別部１３０は、映像データ取得部１１０が取得した２つの映像データが独立して個々に取得されたものか、または、一体的なデータとして取得されたものかを判定し、また、一体的なデータとして取得されたものであれば、さらに、そのフォーマット形式がＬＲ独立方式、サイドバイサイド方式、アバヴアンドビロウ方式、フレームシーケンシャル方式等のいずれの方式であるかを判定して、その判定結果を合成部１１２に出力する。合成部１１２は、かかる判定結果によって２つの映像データのフォーマット形式を把握し、そのフォーマット形式に基づいて２つの映像データを分離する。また、フォーマット判別部１３０は、映像データ取得部１１０が取得した２つの映像データを自動判定せず、製作者（ユーザ）の操作入力に応じて選択されたフォーマット形式を合成部１１２に出力するとしてもよい。
【００３６】
線画像重畳部１３２は、ＯＳＤ重畳部１１４を通じて、水平方向に延長された横線画像と垂直方向に延長された２つの縦線画像とを表示データに重畳する。そして、線画像重畳部１３２は、製作者１０の操作入力に応じて横線画像を画面垂直方向に、２つの縦線画像を画面水平方向にそれぞれ独立して移動する。
【００３７】
図４は、線画像重畳部１３２の動作を説明するための説明図である。ここでは、製作者１０が表示データ１５２中の任意の被写体像１５４の映像データ１５０ａ、１５０ｂ間における視差を導出している。線画像重畳部１３２は、図４（ａ）のように表示データ１５２に横線画像１５６と縦線画像１５８ａ、１５８ｂとを所定の開始位置に重畳する。続いて、線画像重畳部１３２は、製作者１０の操作入力に応じて横線画像１５６を垂直方向に移動し、図４（ｂ）の如く、視差の導出を所望する被写体像１５４に位置させる。
【００３８】
次に、線画像重畳部１３２は、製作者１０の操作入力に応じて一方の縦線画像（右眼用縦線画像）１５８ａを水平方向に移動し、図４（ｃ）の如く、被写体像１５４の視差の導出を所望する部分（例えばエッジ）に位置させる。最後に、線画像重畳部１３２は、製作者１０の操作入力に応じて他方の縦線画像（左眼用縦線画像）１５８ｂを水平方向に移動し、図４（ｄ）の如く、被写体像１５４の視差の導出を所望する、縦線画像１５８ａが位置する部分と異なる部分（例えばエッジ）に位置させる。こうして、一方の縦線画像１５８ａと他方の縦線画像１５８ｂとが、２つの映像データ１５０ａ、１５０ｂそれぞれにおける同一の被写体像１５４の同一の部分を示すこととなる。このとき、線画像重畳部１３２は、横線画像１５６、縦線画像１５８ａおよび縦線画像１５８ｂそれぞれを他と容易に識別させるため、互いに異なる表示態様で表すとしてもよい。例えば、縦線画像１５８ａを破線で表示させた場合、縦線画像１５８ｂを一点鎖線で表示させたり、横線画像１５６、縦線画像１５８ａ、１５８ｂそれぞれを異なる色で表示させたりすることもできる。
【００３９】
このように、視差の導出を所望する被写体像１５４の２つの映像データ１５０ａ、１５０ｂそれぞれにおける所定の部分に縦線画像１５８ａ、１５８ｂを位置させることで、目視ではなく電子的に視差を読み取ることが可能となり、視差の正確な値を把握することができる。また、線画像重畳部１３２は、縦線画像１５８ａ、１５８ｂを移動する前に、その水平基準となる横線画像１５６を適切な位置に配置することで、製作者１０は、正確かつ容易に所望する水平位置に両縦線画像１５８ａ、１５８ｂを重ねることができ、より正確な視差を導出することが可能となる。
【００４０】
しかし、上述したように、表示データ１５２には右眼用映像データ１５０ａと左眼用映像データ１５０ｂとがライン毎に交互に配されており、被写体像１５４が左右眼いずれの映像データに含まれるかを視認するのは難しい。そこで、本実施形態では、さらに合成制限部１３４によって縦線画像１５８ａ、１５８ｂの操作性を高める。
【００４１】
合成制限部１３４は、線画像重畳部１３２で重畳される２つの縦線画像１５８のうち１の縦線画像１５８を移動する間、その１の縦線画像１５８に対応付けられている映像データのみを合成部１１２に合成させる。具体的に、合成制限部１３４は、一方の縦線画像１５８ａを移動する間、縦線画像１５８ａに対応付けられている右眼用映像データ１５０ａのみを合成部１１２に合成させ、左眼用映像データ１５０ｂを排除する。かかる左眼用映像データ１５０ｂの排除は、例えば、左眼用映像データ１５０ｂが合成されるタイミングで、左眼用映像データ１５０ｂの代わりに単色画素（例えば、黒色画素）を合成することで実現できる。
【００４２】
図５は、合成制限部１３４の動作を説明するための説明図である。上述したように、線画像重畳部１３２は、表示データ１５２に横線画像１５６と縦線画像１５８ａ、１５８ｂとを重畳する。線画像重畳部１３２は、製作者１０の操作入力に応じて横線画像１５６を垂直方向に移動し、視差の導出を所望する被写体像１５４に位置させる。
【００４３】
このとき、移動対象である一方の縦線画像１５８ａは、表示データ１５２に合成された２つの映像データ１５０ａ、１５０ｂのうち、右眼用映像データ１５０ａに対応付けられ、他方の縦線画像１５８ｂは、左眼用映像データ１５０ｂに対応付けられているとする。合成制限部１３４は、移動可能な縦線画像として一方の縦線画像１５８ａが選択されている間、図５（ａ）の如く、その一方の縦線画像１５８ａに対応付けられている右眼用映像データ１５０ａのみを合成部１１２に合成させる。すなわち、本来であれば、右眼用映像データ１５０ａと左眼用映像データ１５０ｂとを合成する合成部１１２に左眼用映像データ１５０ｂを合成させないように制限する。したがって、製作者１０は、右眼用映像データ１５０ａのみに基づいて、縦線画像１５８ａを移動できるので、縦線画像１５８ａを、視差を求めるのに適した部分に位置させることが可能となる。
【００４４】
続いて、線画像重畳部１３２が、製作者１０の操作入力に応じて他方の縦線画像１５８ｂを水平方向に移動している間、合成制限部１３４は、図５（ｂ）の如く、その他方の縦線画像１５８ｂに対応付けられている左眼用映像データ１５０ｂのみを合成部１１２に合成させる。したがって、製作者１０は、左眼用映像データ１５０ｂのみに基づいて、縦線画像１５８ｂを移動できるので、縦線画像１５８ｂを、縦線画像１５８ａ同様、視差を求めるのに適した部分に位置させることが可能となる。
【００４５】
このような合成制限部１３４の構成により、左右２つの映像データ１５０ａ、１５０ｂが合成され、２つの映像データ１５０ａ、１５０ｂを区別できない場合においても、縦線画像１５８の移動時には他の映像データを一時的に排除でき、１の映像データに基づいて縦線画像１５８を移動できるので、製作者１０は、正確かつ迅速に所望する位置に縦線画像１５８を移動することができる。
【００４６】
また、横線画像１５６上の任意の画素にエッジが含まれる場合において、線画像重畳部１３２は、縦線画像１５８ａ、１５８ｂを移動する際、そのエッジを含む画素を検知し、縦線画像１５８ａ、１５８ｂがその位置で移動速度が落ち短時間停滞するとしてもよい。こうすることで、製作者１０による微調整に頼ることなく自動的にエッジ部分を特定することが可能となる。
【００４７】
また、ここでは、横線画像１５６と縦線画像１５８ａ、１５８ｂとの１の組合せについて言及したが、かかる場合に限らず、線画像重畳部１３２は、横線画像１５６と縦線画像１５８ａ、１５８ｂの組合せを複数設け、それぞれの組合せについて、表示データ１５２への重畳と、移動を実行することができる。この場合、各組合せを識別するため、それぞれ異なる表示態様、例えば互いに異なる色系統（赤系統、青系統、緑系統等）で横線画像１５６と縦線画像１５８ａ、１５８ｂとを表してもよい。こうして、各組合せの視認性を高め、製作者１０は、より快適な操作性で複数の被写体像１５４の視差を連続して導出することが可能となる。
【００４８】
ここで、表示部１１６のフォーマット形式がフレームシーケンシャル方式であった場合、合成制限部１３４は、線画像重畳部１３２で重畳される２つの縦線画像のうち一方の縦線画像１５８ａを移動する間、その一方の縦線画像１５８ａに対応付けられている映像データのみをシーケンシャルに並べる。したがって、フレームシーケンシャル方式では、通常、合成制限部１３４が、２つの映像データ１５０ａ、１５０ｂを時間方向に通常の１／２の周期で交互に配置しているところ、一方の縦線画像１５８を移動している間は、右眼用映像データ１５０ａのみを通常の周期で配置し、左眼用映像データ１５０ｂを排除する。
【００４９】
視差情報導出部１３６は、線画像重畳部１３２により位置づけられた縦線画像１５８ａ、１５８ｂ間の視差を求め（数値化し）、その視差に関する視差情報を導出する。視差情報重畳部１３８は、導出された視差情報を、横線画像１５６、縦線画像１５８ａ、１５８ｂが重畳された表示データ１５２にさらに重畳する。表示制御部１４０は、横線画像１５６、縦線画像１５８ａ、１５８ｂおよび視差情報が重畳された表示データ１５２を表示部１１６に表示させる。視差情報は、視差に相当する画素数でもよいし、縦線画像１５８ａ、１５８ｂ間の視差と表示部１１６に表示データ１５２が表示された場合の水平方向の表示幅との比であってもよい。
【００５０】
図６は、視差情報導出部１３６の動作を説明するための説明図である。ここでは、説明の便宜のため、表示データ１５２を省略し、表示データ１５２に重畳される、横線画像１５６と、縦線画像１５８ａ、１５８ｂと視差情報１６０とを示す。視差｜Δｘ｜は、画面左端から縦線画像１５８ａまでの水平方向の距離Ｒと、画面左端から縦線画像１５８ｂの水平方向の距離Ｌとを用いて｜Δｘ｜＝｜Ｌ−Ｒ｜から導出される。また、縦線画像１５８ａ、１５８ｂ間の視差と表示幅との比Δｘｒは、表示幅Ｘを用いてΔｘｒ＝｜Δｘ｜／Ｘ×１００（％）から導出される。そして、視差情報重畳部１３８は、横線画像１５６、縦線画像１５８ａ、１５８ｂの表示位置を回避した位置に、導出された視差情報１６０である視差｜Δｘ｜または比Δｘｒを重畳する。また、立体映像表示装置１０６と大型のスクリーン１０８とで表示画面の大きさが異なっているとしても、表示データ１５２の解像度が等しい場合、比Δｘｒと画素は比例関係になるので、視差｜Δｘ｜を画素数で示すこともできる。
【００５１】
製作者１０は、かかる数値化された視差情報１６０を参照することによって、視差を容易かつ正確に把握することができ、当該映像データ１５０を表示する予定の例えば大型のスクリーン１０８に表示すると、どの程度の立体感を得られるかを予測することが可能となる。
【００５２】
また、視差情報導出部１３６は、縦線画像１５８ａ、１５８ｂ間の視差｜Δｘ｜と共に縦線画像１５８ａ、１５８ｂの水平方向の相対位置（視差の方向（Δｘの符号））も特定して視差情報１６０を導出し、視差情報重畳部１３８は、その水平方向の相対位置も表示データに重畳してもよい。以下に水平方向の相対位置について説明する。
【００５３】
図７および図８は、視差の水平方向の相対位置を説明するための説明図である。ここで、図７（ａ）、（ｃ）は上面視で表され、図７（ａ）は撮像時の被写体１７４の相対位置を、図７（ｃ）は観察時の結像位置を示している。図７（ａ）のように、輻輳角を伴う立体映像撮像装置１０２で撮像された左右２つの映像データ１５０ａ、１５０ｂでは、遠近方向の位置によって被写体像１５４が視差を生じることは既に述べた通りであるが、その遠近方向の被写体１７４（図７中１７４ａ、１７４ｂ、１７４ｃ）の位置によって左右２つの映像データに出現する相対位置が異なる。
【００５４】
例えば、輻輳点（表示時には表示部１１６の表示面の位置（遠近位置）となる点）１７２に存在する被写体１７４ａの被写体像１５４ａは図７（ｂ）のように、左右２つの映像データ１５０ａ、１５０ｂで視差が生じないが、輻輳点１７２より立体映像撮像装置１０２側に存在する被写体１７４ｂの被写体像１５４ｂは、図７（ｂ）に示すように左眼用映像データ１５０ｂの出現位置より右眼用映像データ１５０ａの出現位置が画面左側に推移する。また、輻輳点１７２より立体映像撮像装置１０２と逆側に存在する被写体１７４ｃの被写体像１５４ｃは、図７（ｂ）に示すように左眼用映像データ１５０ｂの出現位置より右眼用映像データ１５０ａの出現位置が画面右側に推移する。
【００５５】
このような左右２つの映像データ１５０ａ、１５０ｂを立体映像表示装置１０６で表示すると、立体映像を知覚させるための偏光メガネを装着した製作者１０に対して、図７（ｃ）のように、被写体像１５４ａは、立体映像表示装置１０６自体の遠近位置で結像され、被写体像１５４ｂは、立体映像表示装置１０６より製作者１０側に飛び出すように結像され、被写体像１５４ｃは、立体映像表示装置１０６より製作者１０と逆側に引き込むように結像される。本実施形態では、製作者１０が被写体像１５４の結像位置を把握できるように、視差情報導出部１３６は、縦線画像１５８ａ、１５８ｂの水平方向の相対位置、すなわち、右眼用映像データに対応付けられた縦線画像１５８ａが、左眼用映像データに対応付けられた縦線画像１５８ｂの左右いずれに位置しているかも特定する。
【００５６】
具体的に、視差情報導出部１３６は、縦線画像１５８ａが縦線画像１５８ｂより左に位置していれば、すなわち、図６において視差の方向も含む視差ベクトルΔｘ＝Ｌ−Ｒ＞０となれば、その被写体像１５４は飛び出して知覚されるので、視差情報１６０に飛び出すことを示す符号「＋」を追加、または符号を追加しないものとし、縦線画像１５８ａが縦線画像１５８ｂより右に位置していれば、すなわち、図６において視差ベクトルΔｘ＝Ｌ−Ｒ＜０となれば、その被写体像１５４は引き込むように知覚されるので、視差情報に引き込むことを示す符号「−」を視差情報１６０に追加する。また、視差ベクトルΔｘ＝０の場合には符号を追加しない、または仮に符号「＋」を追加するとする。そして、視差情報重畳部１３８は、その水平方向の相対位置を示す符号も表示データ１５２に重畳する。
【００５７】
したがって、縦線画像１５８ａが縦線画像１５８ｂより左に位置することとなる図７（ｂ）の被写体像１５４ｂについては、図８（ａ）のように、符号「＋」が並記された視差情報１６０が表示データ１５２に重畳され、縦線画像１５８ａが縦線画像１５８ｂより右に位置することとなる図７（ｂ）の被写体像１５４ｃについては、図８（ｂ）のように、符号「−」が並記された視差情報１６０が表示データ１５２に重畳される。このように構成することで、製作者１０は、偏光メガネ等を装着しなくても、導出対象である被写体像１５４が飛び出して結像されるか引き込むように結像されるか容易に把握することが可能となる。また、上述したように縦線画像１５８ａ、１５８ｂは、それぞれ映像データと対応付けられ、その対応付けられた映像データに基づいてのみ移動されるので、製作者１０は、縦線画像１５８ａ、１５８ｂを位置させる被写体像１５４を間違えることはなく、高い信頼性をもって被写体像１５４の遠近位置を把握することができる。
【００５８】
また、視差情報１６０は、表示部１１６と観察者１２との距離に対する、表示部１１６と縦線画像１５８ａ、１５８ｂ間の視差を有する被写体像１５４が結像される位置との距離の比であってもよい。
【００５９】
人の眼の間隔の平均値をΔｋ、製作者１０と表示部１１６との距離をｄとすると、表示部１１６から、縦線画像１５８ａ、１５８ｂ間の視差を有する被写体像１５４が結像される位置までの距離Δｄは、視差ベクトルΔｘを用いて、Δｄ＝Δｘ×ｄ／（Δｘ＋Δｋ）となる。したがって、表示部１１６と観察者１２との距離ｄに対する、表示部１１６と縦線画像１５８ａ、１５８ｂ間の視差を有する被写体像１５４が結像される位置との距離Δｄの比Δｄ／ｄは、Δｘ／（Δｘ＋Δｋ）で表される。かかる比を用いることによって、製作者１０は、どの程度の立体感を得られるかを容易に予測することが可能となる。
【００６０】
以上のように、視差情報導出部１３６や視差情報重畳部１３８は、視差情報１６０を導出して表示データ１５２に重畳するが、その導出および重畳するタイミングに制限はなく、線画像重畳部１３２が機能してから、すなわち、横線画像１５６や縦線画像１５８ａ、１５８ｂの移動中からその位置に応じて随時視差情報１６０を導出し、表示データ１５２に重畳するとしてもよい。
【００６１】
ところで、上述したように、被写体像１５４が過渡に飛び出して結像されたり、過渡に引き込んで結像されると、観察者１２の目に負担がかかる場合がある。そこで、製作者１０は、生成された映像データ１５０をすぐに表示し、その場で、その映像データ１５０に含まれる任意の被写体像１５４の２つの映像データ１５０ａ、１５０ｂ間の視差が適切な遠近距離内にあるか否かを確認して、適切でなければ、撮像状態を調整するのが望ましい。そこで、本実施形態では、線画像変更部１４２を設けて所望する状態で適切に映像データ１５０が生成されているか否かを製作者１０に直感的かつ迅速に把握させる。
【００６２】
線画像変更部１４２は、縦線画像１５８ａ、１５８ｂ間の視差が所定の閾値を越えれば、すなわち、被写体像１５４の、２つの映像データ１５０ａ、１５０ｂ間の相対位置を含む視差ベクトルΔｘが第１閾値以上（Δｘ＞０かつ視差｜Δｘ｜≧｜第１閾値｜）または第２閾値以下（Δｘ＜０かつ視差｜Δｘ｜≧｜第２閾値｜）であれば、縦線画像１５８ａ、１５８ｂを、閾値を越えたことを把握できる表示態様に変更する。ここで、第１閾値は、例えば、表示データ１５２の表示幅の＋２０％であり、第２閾値は、例えば、表示データ１５２の表示幅の−２％である。
【００６３】
具体的に、線画像変更部１４２は、縦線画像１５８ａ、１５８ｂの線種、線幅、色を変更したり、また、その縦線画像１５８ａ、１５８ｂ自体を点滅させたり、縦線画像１５８ａ、１５８ｂの近くに警告を促す指標、例えば「！」等の記号を追加する。このとき、縦線画像１５８ａ、１５８ｂによる視差導出対象の被写体像１５４が特定できる場合には（例えば、縦線画像１５８ａ、１５８ｂ両方が接触している被写体像１５４）、その導出対象となる被写体像１５４自体の表示態様を変化させてもよい。
【００６４】
かかる構成により、製作者１０は、視差情報導出部１３６によって数値化された視差情報１６０を視認して、その値が閾値を越えているか否か判断しなくても、表示態様が変化していないことをもって、所望する状態で適切に生成されていることを迅速かつ直感的に把握することができるので、所望する表示状態となる映像データ１５０を容易に製作でき、観察者１２の目に負担をかけない自然な立体映像を知覚させることが可能となる。したがって、製作者１０は、安心して当該映像データ１５０を観察者１２に提供することが可能となる。
【００６５】
以上、説明した立体映像表示装置１０６では、表示部１１６のフォーマット形式としてラインバイライン方式およびフレームシーケンシャル方式を挙げたが、かかる場合に限らず、チェッカーボード方式、アナグリフ方式、カラーコード３Ｄ方式等にも適用することが可能である。さらに、立体映像を知覚するための加工を施していない表示部１１６に、サイドバイサイド方式、アバヴアンドビロウ方式等による２つの映像データ１５０ａ、１５０ｂを分離することなく、そのままの態様で表示し、２つの映像データ１５０ａ、１５０ｂのいずれにも横線画像１５６を連動させて重畳し、さらに、一方の映像データに一方の縦線画像１５８ａを他方の映像データに他方の縦線画像１５８ｂを重畳することでも、表示データ１５２内の個々の被写体像１５４の視差を容易かつ正確に把握させることが可能となる。
【００６６】
また、上述した立体映像表示装置１０６では、合成部１１２やＯＳＤ重畳部１１４がハードウェアで構成される例を挙げているが、かかる場合に限られず、すべての映像処理を中央制御部１２０内のソフトウェアで実行し、横線画像１５６、縦線画像１５８ａ、１５８ｂおよび視差情報１６０が重畳された最終的な表示データ１５２を表示部１１６に表示させるとしてもよい。
【００６７】
（立体映像表示方法）
また、上述した立体映像表示装置１０６を用いた立体映像表示方法も提供される。図９は、立体映像表示方法の処理の流れを示すフローチャートである。
【００６８】
立体映像表示装置１０６の映像データ取得部１１０が、視差を有する２つの映像データ１５０ａ、１５０ｂを取得すると（Ｓ２００におけるＹＥＳ）、合成部１１２は、２つの映像データ１５０ａ、１５０ｂを合成して表示データを生成する（Ｓ２０２）。そして、線画像重畳部１３２は、製作者１０の操作入力に応じて、横線画像１５６、縦線画像１５８ａ、１５８ｂのうち移動する線画像を選択する（Ｓ２０４）。
【００６９】
選択された線画像が横線画像１５６であれば（Ｓ２０６におけるＹＥＳ）、線画像重畳部１３２は、横線画像１５６を垂直方向に移動させる製作者１０の操作入力が有るか否か判断し（Ｓ２０８）、製作者１０の操作入力が有れば（Ｓ２０８におけるＹＥＳ）、重畳対象となる横線画像１５６をその操作入力に応じて垂直方向に所定量移動し（Ｓ２１０）、製作者１０の操作入力がなければ（Ｓ２０８におけるＮＯ）、重畳対象となる横線画像１５６に対して何ら処理を実行しないことで横線画像１５６の前回位置を維持する。そして、線画像重畳部１３２は、このように重畳位置が決定された横線画像１５６と共に、前回位置が維持された縦線画像１５８ａ、１５８ｂを表示データ１５２に重畳する（Ｓ２１２）。当該立体映像表示方法は、２つの映像データ１５０ａ、１５０ｂを取得する度に繰り返されるので（Ｓ２００におけるＹＥＳ）、製作者１０は、横線画像１５６を垂直方向に移動させる操作入力を所定の時間継続することで、横線画像１５６を所望する位置に移動することが可能となる。
【００７０】
また、選択された線画像が横線画像１５６ではなく（Ｓ２０６におけるＮＯ）、選択された線画像が縦線画像１５８ａ、１５８ｂのうち一方の縦線画像１５８ａであれば（Ｓ２１４におけるＹＥＳ）、線画像重畳部１３２は、縦線画像１５８ａに対応付けられている右眼用映像データ１５０ａのみを合成部１１２に合成させる（Ｓ２１６）。そして、線画像重畳部１３２は、縦線画像１５８ａを水平方向に移動させる製作者１０の操作入力が有るか否か判断し（Ｓ２１８）、製作者１０の操作入力が有れば（Ｓ２１８におけるＹＥＳ）、製作者１０の操作入力に応じて重畳対象となる縦線画像１５８ａを水平方向に所定量移動し（Ｓ２２０）、製作者１０の操作入力がなければ（Ｓ２１８におけるＮＯ）、重畳対象となる縦線画像１５８ａに対して何ら処理を実行しないことで縦線画像１５８ａの前回位置を維持する。そして、線画像重畳部１３２は、重畳位置が決定された縦線画像１５８ａと共に、前回位置が維持された、横線画像１５６、縦線画像１５８ｂを表示データ１５２に重畳する（Ｓ２１２）。上述したように、当該立体映像表示方法は、２つの映像データ１５０ａ、１５０ｂを取得する度に繰り返されるので（Ｓ２００におけるＹＥＳ）、製作者１０は、縦線画像１５８ａを水平方向に移動させる操作入力を所定の時間継続することで、縦線画像１５８ａを所望する位置に移動することが可能となる。
【００７１】
また、選択された線画像が横線画像１５６および縦線画像１５８ａでなければ（Ｓ２０６およびＳ２１４におけるＮＯ）、すなわち縦線画像１５８ｂであれば、線画像重畳部１３２は、縦線画像１５８ｂに対応付けられている左眼用映像データ１５０ｂのみを合成部１１２に合成させる（Ｓ２２２）。そして、線画像重畳部１３２は、縦線画像１５８ｂを水平方向に移動させる製作者１０の操作入力が有るか否か判断し（Ｓ２２４）、製作者１０の操作入力が有れば（Ｓ２２４におけるＹＥＳ）、製作者１０の操作入力に応じて重畳対象となる縦線画像１５８ｂを水平方向に所定量移動し（Ｓ２２６）、製作者１０の操作入力がなければ（Ｓ２２４におけるＮＯ）、重畳対象となる縦線画像１５８ｂに対して何ら処理を実行しないことで縦線画像１５８ｂの前回位置を維持する。そして、線画像重畳部１３２は、重畳位置が決定された縦線画像１５８ｂと共に、前回位置が維持された、横線画像１５６、縦線画像１５８ａを表示データ１５２に重畳する（Ｓ２１２）。ここでも、製作者１０は、縦線画像１５８ｂを水平方向に移動させる操作入力を所定の時間継続することで、縦線画像１５８ｂを所望する位置に移動することが可能となる。
【００７２】
線画像重畳部１３２によって、横線画像１５６、縦線画像１５８ａ、１５８ｂが表示データ１５２に重畳されると（Ｓ２１２）、視差情報導出部１３６は、縦線画像１５８ａ、１５８ｂ間の視差に関する視差情報１６０を導出し（Ｓ２２８）、視差情報重畳部１３８は、導出された視差情報１６０を横線画像１５６、縦線画像１５８ａ、１５８ｂが重畳された表示データ１５２にさらに重畳し（Ｓ２３０）、表示部１１６は、横線画像１５６、縦線画像１５８ａ、１５８ｂおよび視差情報１６０が重畳された表示データ１５２を表示する（Ｓ２３２）。ここでは、２つの映像データ１５０ａ、１５０ｂが取得される度に、製作者１０の操作入力に応じて各線画像が繰り返し移動され、製作者１０は、表示データ１５２を通じて視差情報１６０を視認することが可能となる。また、ここでは、製作者１０の操作入力の受付契機を映像データ１５０の取得タイミングとしたが、かかる場合に限られず、製作者１０の操作入力を割り込み処理することで、その操作入力を各線画像の移動に反映することもできる。
【００７３】
このように、立体映像表示装置１０６を用いた立体映像表示方法によっても、製作者１０に表示データ１５２内の個々の被写体像１５４の視差を容易かつ正確に把握させることが可能となる。
【００７４】
（立体映像撮像装置１０２）
上述した実施形態では、立体映像表示装置１０６が、映像データ取得部１１０が取得した映像データ１５０を表示データ１５２として表示部１１６に表示し、製作者１０は、表示部１１６の表示を確認する例を説明した。ここでは、その映像データ１５０を生成する立体映像撮像装置１０２に当該立体映像表示装置１０６の機能を設けることで、立体映像撮像装置１０２だけで完結的に映像データ１５０を確認することができる。
【００７５】
図１０は、立体映像撮像装置１０２の概略的な機能を示した機能ブロック図である。図１０に示すように、立体映像撮像装置１０２は、２つの撮像部３１０と、データ処理部３１２と、合成部１１２と、ＯＳＤ重畳部１１４と、表示部１１６と、操作部１１８と、映像保持部３１４と、中央制御部３１６とを含んで構成される。また、中央制御部３１６は、フォーマット判別部１３０と、線画像重畳部１３２と、合成制限部１３４と、視差情報導出部１３６と、視差情報重畳部１３８と、表示制御部１４０と、線画像変更部１４２と、撮像制御部３２０と、記憶制御部３２２としても機能する。上述した実施形態における構成要素として既に述べた、合成部１１２と、ＯＳＤ重畳部１１４と、表示部１１６と、操作部１１８と、フォーマット判別部１３０と、線画像重畳部１３２と、合成制限部１３４と、視差情報導出部１３６と、視差情報重畳部１３８と、表示制御部１４０と、線画像変更部１４２とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する、撮像部３１０と、データ処理部３１２と、映像保持部３１４と、撮像制御部３２０と、記憶制御部３２２とを主に説明する。
【００７６】
撮像部３１０は、撮像レンズ３４０と、焦点調整に用いられるフォーカスレンズ３４２と、露光調整に用いられる絞り（アイリス）３４４と、撮像レンズ３４０を通じて入射した光束を電気データ（映像データ）に光電変換する撮像素子３４６と、後述する撮像制御部３２０の制御信号に応じてフォーカスレンズ３４２、絞り３４４および撮像素子３４６をそれぞれ駆動させる駆動部３４８とを含んで構成され、略平行に並んだまたは撮像方向で交わる２つの光軸それぞれにおける２つの映像データ１５０ａ、１５０ｂを生成する。
【００７７】
データ処理部３１２は、撮像部３１０から受信した映像データに、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理等の映像信号処理を施し、処理後の映像データ１５０を合成部１１２に出力する。かかる映像データ１５０は、合成部１１２やＯＳＤ重畳部１１４を通じて表示データ１５２となり、ビューファインダ等、比較的画面サイズの小さい表示部１１６で表示される。製作者１０は、表示部１１６に表示された映像を視認しつつ操作部１１８を操作することで、被写体像を所望する位置および占有面積で捉えることが可能となる。
【００７８】
映像保持部３１４は、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、不揮発性ＲＡＭ等で構成され、後述する記憶制御部３２２の制御信号に応じて、中央制御部３１６から送信された映像データ１５０を保持する。また、映像保持部３１４は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ポータブルメモリカード等、着脱可能な記憶媒体に映像データを保持させる装置として構成されてもよい。このとき、映像データ１５０をＭ−ＪＰＥＧ（Motion JPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４などの所定の符号化方式で符号化することもできる。
【００７９】
中央制御部３１６の撮像制御部３２０は、製作者１０の操作入力に応じて撮像部３１０を制御する。例えば、撮像制御部３２０は、適切な映像データ１５０が得られるように、フォーカスレンズ３４２、絞り３４４および撮像素子３４６を駆動部３４８に駆動させる。
【００８０】
記憶制御部３２２は、製作者１０が映像データ１５０を生成している間、データ処理部３１２から送信された映像データ１５０を映像保持部３１４に記憶する。
【００８１】
このような立体映像撮像装置１０２は、小型化、軽量化のニーズを受けて、表示部１１６も小型化される傾向にある。したがって、表示部１１６から２つの映像データ１５０ａ、１５０ｂの視差を把握するのは極めて困難となる。本実施形態では、このような立体映像撮像装置１０２においても線画像重畳部１３２や視差情報重畳部１３８によって、正確な視差を導出することができる。また、線画像変更部１４２によって、製作者１０は、その視差が適切な遠近距離内にあるか否かを迅速かつ直感的に把握することが可能となり、撮像部３１０間の距離を調整する等の調整処理を行って、観察者１２の目に負担をかけない自然な立体映像を知覚させることができる。こうして、製作者１０は、安心して当該映像データ１５０を観察者１２に提供することが可能となる。
【００８２】
また、ここでは、立体映像撮像装置１０２が２つの撮像部３１０を設けて映像データ１５０を生成する例（２眼カメラ）を挙げて説明したが、ミラー等の光学的手法を用いて１つの被写体を２つの視点から同時に撮像させる立体映像撮像用アダプタを１の撮像部３１０の光学経路前方に位置させて２つの映像データを１の映像データに一体化させて取得することも可能である。
【００８３】
さらに、コンピュータを立体映像表示装置１０６や立体映像撮像装置１０２として機能させる立体映像表示プログラムおよび立体映像撮像プログラムや、その立体映像表示プログラムおよび立体映像撮像プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記録媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８５】
例えば、上述した実施形態においては、各機能部が立体映像表示装置１０６単体内で処理されているが、その機能部を別体の装置で実現し、合わせて本願の目的を達成するとしてもよい。例えば、合成部１１２による映像データ１５０の分離や合成機能を別体の３Ｄコンバータで実現したり、線画像重畳部１３２の機能を別体のプロジェクタ等で実現し、そのプロジェクタと同期して合成制限部１３４が映像データの合成を制限する、すなわち、プロジェクタを通じて縦線画像１５８ａを投光しているときには右眼用映像データ１５０ａのみを合成し、縦線画像１５８ｂを投光しているときには左眼用映像データ１５０ｂのみを合成するとしてもよい。
【００８６】
なお、本明細書の立体映像表示方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００８７】
本発明は、立体映像を知覚させるための表示データを表示する立体映像表示装置、立体映像撮像装置および立体映像表示方法に利用することができる。
【符号の説明】
【００８８】
１０２ …立体映像撮像装置
１０６ …立体映像表示装置
１１０ …映像データ取得部
１１２ …合成部
１１６ …表示部
１３２ …線画像重畳部
１３４ …合成制限部
１３６ …視差情報導出部
１３８ …視差情報重畳部
１４２ …線画像変更部
１５０（１５０ａ、１５０ｂ） …映像データ
１５２ …表示データ
１５４ …被写体像
１５６ …横線画像
１５８（１５８ａ、１５８ｂ） …縦線画像
１６０ …視差情報
３１０ …撮像部
【特許請求の範囲】
【請求項１】
水平視差を有する２つの映像データを取得する映像データ取得部と、
前記２つの映像データを合成して表示データを生成する合成部と、
垂直方向に延長された２つの縦線画像を前記表示データに重畳し、ユーザの操作入力に応じて前記２つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部と、
前記２つの縦線画像間の視差に関する視差情報を導出する視差情報導出部と、
導出された前記視差情報を縦線画像が重畳された表示データにさらに重畳する視差情報重畳部と、
前記縦線画像および前記視差情報が重畳された表示データを表示する表示部と、
を備えることを特徴とする立体映像表示装置。
【請求項２】
前記２つの縦線画像は前記２つの映像データにそれぞれ対応付けられ、
前記２つの縦線画像のうち一方の縦線画像を移動する間、その一方の縦線画像に対応付けられている映像データのみを合成部に合成させる合成制限部をさらに備えることを特徴とする請求項１に記載の立体映像表示装置。
【請求項３】
前記線画像重畳部は、さらに、水平方向に延長された横線画像を前記表示データに重畳し、ユーザの操作入力に応じて前記横線画像を垂直方向に移動することを特徴とする請求項１または２に記載の立体映像表示装置。
【請求項４】
前記視差情報は、前記２つの縦線画像間の視差と前記表示データの水平方向の表示幅との比であることを特徴とする請求項１から３のいずれか１項に記載の立体映像表示装置。
【請求項５】
前記視差情報は、前記表示部と観察者との距離に対する、前記表示部と前記２つの縦線画像間の視差を有する被写体像が結像される位置との距離の比であることを特徴とする請求項１から４のいずれか１項に記載の立体映像表示装置。
【請求項６】
前記視差情報導出部は、前記２つの縦線画像間の視差と共に前記２つの縦線画像の水平方向の相対位置も特定して視差情報を導出することを特徴とする請求項１から５のいずれか１項に記載の立体映像表示装置。
【請求項７】
前記縦線画像間の視差が所定の閾値を越えれば、前記縦線画像を、前記閾値を越えたことを把握できる表示態様に変更する線画像変更部をさらに備えることを特徴とする請求項１から６のいずれか１項に記載の立体映像表示装置。
【請求項８】
略平行に並んだまたは撮像方向で交わる２つの光軸それぞれにおける２つの映像データを生成する撮像部と、
前記２つの映像データを合成して表示データを生成する合成部と、
垂直方向に延長された２つの縦線画像を前記表示データに重畳し、ユーザの操作入力に応じて前記２つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部と、
前記２つの縦線画像間の視差に関する視差情報を導出する視差情報導出部と、
導出された前記視差情報を縦線画像が重畳された表示データにさらに重畳する視差情報重畳部と、
前記縦線画像および前記視差情報が重畳された表示データを表示する表示部と、
を備えることを特徴とする立体映像撮像装置。
【請求項９】
水平視差を有する２つの映像データを取得し、
前記２つの映像データを合成して表示データを生成し、
水平方向に延長された横線画像を前記表示データに重畳し、ユーザの操作入力に応じて前記横線画像を垂直方向に移動し、
垂直方向に延長された２つの縦線画像を前記表示データに重畳し、ユーザの操作入力に応じて前記２つの縦線画像のうち一方の縦線画像を水平方向に移動する間、その一方の縦線画像に対応付けられている映像データのみを合成し、ユーザの操作入力に応じて前記２つの縦線画像のうち他方の縦線画像を水平方向に移動する間、その他方の縦線画像に対応付けられている映像データのみを合成し、
前記２つの縦線画像間の視差に関する視差情報を導出し、
導出した前記視差情報を、前記縦線画像を重畳した表示データにさらに重畳し、
前記縦線画像および前記視差情報を重畳した表示データを表示することを特徴とする立体映像表示方法。
【請求項１】
水平視差を有する２つの映像データを取得する映像データ取得部と、
前記２つの映像データを合成して表示データを生成する合成部と、
垂直方向に延長された２つの縦線画像を前記表示データに重畳し、ユーザの操作入力に応じて前記２つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部と、
前記２つの縦線画像間の視差に関する視差情報を導出する視差情報導出部と、
導出された前記視差情報を縦線画像が重畳された表示データにさらに重畳する視差情報重畳部と、
前記縦線画像および前記視差情報が重畳された表示データを表示する表示部と、
を備えることを特徴とする立体映像表示装置。
【請求項２】
前記２つの縦線画像は前記２つの映像データにそれぞれ対応付けられ、
前記２つの縦線画像のうち一方の縦線画像を移動する間、その一方の縦線画像に対応付けられている映像データのみを合成部に合成させる合成制限部をさらに備えることを特徴とする請求項１に記載の立体映像表示装置。
【請求項３】
前記線画像重畳部は、さらに、水平方向に延長された横線画像を前記表示データに重畳し、ユーザの操作入力に応じて前記横線画像を垂直方向に移動することを特徴とする請求項１または２に記載の立体映像表示装置。
【請求項４】
前記視差情報は、前記２つの縦線画像間の視差と前記表示データの水平方向の表示幅との比であることを特徴とする請求項１から３のいずれか１項に記載の立体映像表示装置。
【請求項５】
前記視差情報は、前記表示部と観察者との距離に対する、前記表示部と前記２つの縦線画像間の視差を有する被写体像が結像される位置との距離の比であることを特徴とする請求項１から４のいずれか１項に記載の立体映像表示装置。
【請求項６】
前記視差情報導出部は、前記２つの縦線画像間の視差と共に前記２つの縦線画像の水平方向の相対位置も特定して視差情報を導出することを特徴とする請求項１から５のいずれか１項に記載の立体映像表示装置。
【請求項７】
前記縦線画像間の視差が所定の閾値を越えれば、前記縦線画像を、前記閾値を越えたことを把握できる表示態様に変更する線画像変更部をさらに備えることを特徴とする請求項１から６のいずれか１項に記載の立体映像表示装置。
【請求項８】
略平行に並んだまたは撮像方向で交わる２つの光軸それぞれにおける２つの映像データを生成する撮像部と、
前記２つの映像データを合成して表示データを生成する合成部と、
垂直方向に延長された２つの縦線画像を前記表示データに重畳し、ユーザの操作入力に応じて前記２つの縦線画像を水平方向にそれぞれ独立して移動する線画像重畳部と、
前記２つの縦線画像間の視差に関する視差情報を導出する視差情報導出部と、
導出された前記視差情報を縦線画像が重畳された表示データにさらに重畳する視差情報重畳部と、
前記縦線画像および前記視差情報が重畳された表示データを表示する表示部と、
を備えることを特徴とする立体映像撮像装置。
【請求項９】
水平視差を有する２つの映像データを取得し、
前記２つの映像データを合成して表示データを生成し、
水平方向に延長された横線画像を前記表示データに重畳し、ユーザの操作入力に応じて前記横線画像を垂直方向に移動し、
垂直方向に延長された２つの縦線画像を前記表示データに重畳し、ユーザの操作入力に応じて前記２つの縦線画像のうち一方の縦線画像を水平方向に移動する間、その一方の縦線画像に対応付けられている映像データのみを合成し、ユーザの操作入力に応じて前記２つの縦線画像のうち他方の縦線画像を水平方向に移動する間、その他方の縦線画像に対応付けられている映像データのみを合成し、
前記２つの縦線画像間の視差に関する視差情報を導出し、
導出した前記視差情報を、前記縦線画像を重畳した表示データにさらに重畳し、
前記縦線画像および前記視差情報を重畳した表示データを表示することを特徴とする立体映像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２１１４５０（Ｐ２０１１−２１１４５０Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７６４８４（Ｐ２０１０−７６４８４）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]