映像処理装置および映像処理方法
【課題】輻輳角に伴って被写体等の結像位置が変化したとしても、違和感のない適切な結像位置でメッセージデータを知覚させる。
【解決手段】映像処理装置１００は、立体映像データと輻輳角情報とを取得するデータ取得部１５６と、メッセージデータを取得するメッセージ取得部１５８と、メッセージデータを重畳するための挿入面１８４を決定してメッセージデータの視差を導出する挿入面決定部１６０と、輻輳角情報に示された輻輳角に基づいて、撮像空間における、２つの撮像部１１０ａ、１１０ｂと挿入面との位置関係が変わらないようにメッセージデータの視差を変更する視差変更部１６２と、視差に従ってメッセージデータを立体映像データに重畳するデータ重畳部１６４と、重畳した立体映像データを出力するデータ出力部１２８と、を備える。
【解決手段】映像処理装置１００は、立体映像データと輻輳角情報とを取得するデータ取得部１５６と、メッセージデータを取得するメッセージ取得部１５８と、メッセージデータを重畳するための挿入面１８４を決定してメッセージデータの視差を導出する挿入面決定部１６０と、輻輳角情報に示された輻輳角に基づいて、撮像空間における、２つの撮像部１１０ａ、１１０ｂと挿入面との位置関係が変わらないようにメッセージデータの視差を変更する視差変更部１６２と、視差に従ってメッセージデータを立体映像データに重畳するデータ重畳部１６４と、重畳した立体映像データを出力するデータ出力部１２８と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、両眼視差によって立体映像を知覚させるための立体映像データを生成する映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
近年、ディスプレイ上に、水平視差（両眼視差）を有する２つの映像（立体映像データ）を提示し、観察者に対してあたかも被写体が立体的に存在するように知覚させる映像処理装置が脚光を浴びている。かかる映像処理装置で用いられる立体映像データは、視点の異なる２つの撮像部で撮像された映像である。
【０００３】
また、一般的に、映像に関するメッセージデータ（例えば、チャンネルやテロップ）や映像処理装置の状態を示すメッセージデータ（例えば、時間、動作モード、アイコン、入出力ライン案内、エラー情報等）は、映像と共にディスプレイに示される。しかし、立体映像を実現する映像処理装置におけるメッセージデータは、立体的に知覚されるように加工されないと、観察者に情報を正しく伝達することができない。そこで、映像処理装置は、メッセージデータにも視差を設け、立体映像データに重畳することで、メッセージデータの立体感も実現している。
【０００４】
また、このような視差を用いたメッセージデータの表示方法の応用例として、観察者が任意に入力したテキストに視差を設け、立体映像データに重畳し、ボタンの押下に応じてメッセージデータの遠近感を切り換える技術が開示されている（例えば、特許文献１）。さらに、注目点の視差角（視軸が交わる角）の変化量に基づき注目点の奥行き位置に予めメッセージデータを重畳しておいて、事後的に再生する技術も公開されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０４３３１号公報
【特許文献２】特開２００９−１３５６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した技術、特に、特許文献２の技術では、視差角に応じてメッセージデータの位置が変更されているものの、注目点の特定が人為的であり、撮像者は、撮像した映像を見ながら手動で注目点を特定するといった煩雑な作業を強いられていた。また、メッセージデータが撮像時に重畳されるので、映像に関するメッセージデータを再生時に削除することや、再生時に生じる、例えば、映像処理装置の状態を示すメッセージデータを撮像時に重畳することができなかった。さらに、再生時に、予め重畳されているメッセージデータの位置を把握する術がないため、予め重畳されているメッセージデータを避けて新たなメッセージデータを重畳することができなかった。
【０００７】
一方、映像処理装置では、２つの撮像部の光軸が輻輳する角、所謂輻輳角を調整することもできる。これは、撮像を所望している被写体の前後に存在する前景や背景との関係で、被写体の周囲の立体感をより鮮明に表すためである。しかし、上述した特許文献１、２の技術は、輻輳角の変化に対応していないので、被写体が静止している状態で輻輳角が変化してもメッセージデータを被写体に対応した適切な奥行き位置に追従させることができなかった。
【０００８】
本発明は、このような課題に鑑み、輻輳角に伴って被写体等の結像位置が変化したとしても、違和感のない適切な結像位置でメッセージデータを知覚させることが可能な、映像処理装置および映像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の映像処理装置は、両眼視差による立体映像を知覚させるための立体映像データと、立体映像データを撮像した２つの撮像部の光軸がなす輻輳角を示す輻輳角情報と、を取得するデータ取得部と、立体映像データに重畳するメッセージデータを取得するメッセージ取得部と、輻輳角の二等分線と垂直に交わる、メッセージデータを重畳するための挿入面を決定して、メッセージデータの視差を導出する挿入面決定部と、輻輳角情報に示された輻輳角に基づいて、撮像空間における、２つの撮像部と挿入面との位置関係が変わらないようにメッセージデータの視差を変更する視差変更部と、視差に従ってメッセージデータを立体映像データに重畳するデータ重畳部と、重畳した立体映像データを出力するデータ出力部と、を備えたことを特徴とする。
【００１０】
視差変更部は、輻輳角が２αＡから２αＢに変化した場合に、ｃｏｓαＢ／ｃｏｓαＡおよびｓｉｎαＢ／ｓｉｎαＡそれぞれに所定の係数を乗じて加算した比率に基づいて視差を変更してもよい。
【００１１】
映像処理装置は、特定された被写体を追尾する被写体追尾部と、輻輳角の二等分線方向における、２つの撮像部と追尾された被写体との距離である被写体距離を導出する距離導出部と、導出された被写体距離に基づいて輻輳角を制御する輻輳角制御部と、をさらに備えてもよい。
【００１２】
上記課題を解決するために、本発明の映像処理方法は、両眼視差による立体映像を知覚させるための立体映像データと、立体映像データを撮像した２つの撮像部の光軸がなす輻輳角を示す輻輳角情報と、を取得し、立体映像データに重畳するメッセージデータを取得し、メッセージデータの取得が初めてであれば、輻輳角の二等分線と垂直に交わる、メッセージデータを重畳するための挿入面を決定して、メッセージデータの視差を導出し、初めてでなければ、輻輳角情報に示された輻輳角に基づいて、撮像空間における、２つの撮像部と挿入面との位置関係が変わらないようにメッセージデータの視差を変更し、視差に従ってメッセージデータを立体映像データに重畳し、重畳した立体映像データを出力することを特徴とする。
【発明の効果】
【００１３】
以上説明したように本発明は、輻輳角に伴って被写体等の結像位置が変化したとしても、違和感のない適切な結像位置でメッセージデータを知覚させることが可能となる。したがって、観察者は、メッセージデータが重畳された立体映像データを通じて眼に疲労を覚えることもなく、立体映像データの立体感を鮮明に実感することができる。
【図面の簡単な説明】
【００１４】
【図１】映像処理装置の概略的な機能を示した機能ブロック図である。
【図２】映像処理装置の一例を示した外観図である。
【図３】輻輳角を説明するための説明図である。
【図４】輻輳角を説明するための説明図である。
【図５】挿入面決定部の詳細な動作について説明するための説明図である。
【図６】輻輳角の変化によるメッセージデータの奥行き感の変化を説明するための説明図である。
【図７】視差変更部の詳細な動作について説明するための説明図である。
【図８】視差変更部の詳細な動作について説明するための説明図である。
【図９】輻輳角の変化によるメッセージデータの知覚を説明するための説明図である。
【図１０】映像処理方法の具体的な処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１６】
映像処理装置では、人物に代表される被写体の前後に存在する前景や背景との関係で、被写体の周囲の立体感をより鮮明に表すため、撮像空間において２つの撮像部の光軸が輻輳する輻輳角を調整している。このように輻輳角が変化すると再生空間における被写体の結像位置も変化するが、メッセージデータの結像位置が再生空間において固定されていると、被写体の奥行き感が変化しているのに対しメッセージデータが静止していることとなり、観察者は、違和感を覚えて眼が疲れる場合があった。ここで、撮像空間は、撮像を実行しているときの映像処理装置と被写体との実際の位置関係を表す空間を示し、再生空間は、撮像した立体映像データを再生しているときの観察者と被写体の結像位置との位置関係を表す空間を示す。本実施形態では、撮像空間における輻輳角の変化に伴い、再生空間における被写体等の結像位置が変化したとしても、違和感のない適切な結像位置でメッセージデータを知覚させることを目的としている。以下、かかる映像処理装置の構成を説明し、その後で映像処理方法の処理の流れを詳述する。
【００１７】
（映像処理装置１００）
図１は、映像処理装置１００の概略的な機能を示した機能ブロック図であり、図２は、映像処理装置１００の一例を示した外観図である。図１に示すように、映像処理装置１００は、撮像ユニット１１０と、距離導出部１１２と、輻輳角制御部１１４と、輻輳角導出部１１６と、映像処理部１１８と、データバッファ１２０と、操作部１２２と、立体表示部１２４と、映像圧縮部１２６と、データ出力部１２８と、中央制御部１３０とを含んで構成される。ここでは、映像処理装置１００としてビデオカメラを挙げているが、デジタルスチルカメラ等、撮像が可能な様々な電子機器を採用することができる。
【００１８】
撮像ユニット１１０は、２つの撮像部１１０ａ、１１０ｂで構成され、かかる２つの撮像部１１０ａ、１１０ｂは、図２に示すそれぞれの光軸１０２ａ、１０２ｂが撮像方向のいずれかの位置で輻輳し（交わり、集中し）、撮像者が映像処理装置１００の本体１０４を水平に把持した際に、その光軸１０２ａ、１０２ｂが同じ水平面に含まれるように配置される。
【００１９】
撮像ユニット１１０では、それぞれの撮像部１１０ａ、１１０ｂにおいて撮像された、観察者の左眼に知覚させるための左眼用映像データと観察者の右眼に知覚させるための右眼用映像データとを併合し、両眼視差によって立体映像を知覚させるための立体映像データを生成する。立体映像データは、動画および静止画のいずれでも形成可能である。また、立体映像データは、左眼用映像データと右眼用映像データの物理的配置または時間的配置の違いによってサイドバイサイド方式、トップアンドボトム方式等、様々な方式によって形成される。
【００２０】
また、２つの撮像部１１０ａ、１１０ｂは、鉛直軸回りに回転可能に形成され、後述する輻輳角制御部１１４によって２つの撮像部１１０ａ、１１０ｂが回転し、その光軸１０２ａ、１０２ｂがなす輻輳角が制御される。かかる輻輳角の制御は、撮像部１１０ａ、１１０ｂのハード的な回転のみならず、撮像された立体映像データの切り出し位置および範囲を調整することでも実現可能である。
【００２１】
図３および図４は、輻輳角を説明するための説明図である。例えば、輻輳点（光軸１０２ａ、１０２ｂの交点）が撮像空間において図３の位置Ｂにあったとすると、再生空間において、観察者は、被写体Ｐを飛び出しているように知覚し、被写体Ｑを奥まっているように知覚する。このとき、被写体Ｐおよび被写体Ｑと輻輳点である位置Ｂとの距離を等しくすると、２つの撮像部１１０ａ、１１０ｂの光軸１０２ａ、１０２ｂとの距離ＸＰＢとＸＱＢも等しくなる。かかる光軸１０２ａ、１０２ｂとの距離ＸＰＢ、ＸＱＢは、２つの撮像部１１０ａ、１１０ｂに撮像された立体映像データの視差に相当する。したがって、位置Ｂを輻輳点として撮像された立体映像データを再生すると、被写体Ｐが飛び出して知覚される結像位置と立体表示部１２４との距離と、被写体Ｑが奥まって知覚される結像位置と立体表示部１２４との距離がほぼ等しくなる。
【００２２】
一方、輻輳点が撮像空間において図３の位置Ａにあったとすると、被写体Ｐと２つの撮像部１１０ａ、１１０ｂの光軸１０２ａ、１０２ｂとの距離ＸＰＡが短くなる反面、被写体Ｑと２つの撮像部１１０ａ、１１０ｂの光軸１０２ａ、１０２ｂとの距離ＸＱＡが長くなる。ここで、位置Ａを輻輳点として撮像された立体映像データを再生すると、被写体Ｐが飛び出して知覚される結像位置と立体表示部１２４との距離が短くなり、被写体Ｑが奥まって知覚される結像位置と立体表示部１２４との距離が長くなる。即ち、再生空間における被写体Ｐの飛び出し感が損なわれ、被写体Ｑの奥まり感が増幅される。
【００２３】
換言すると、撮像空間における、撮像ユニット１１０と被写体Ｐ、Ｑとの位置関係が変化しなくとも、即ち、被写体Ｐ、Ｑが静止していても、輻輳点を奥行き方向に変化させることで、再生空間における被写体Ｐ、Ｑの奥行き感を変化させることができる。本実施形態では、再生空間において被写体Ｐ、Ｑをどのような奥行き感で表現するかのポリシーに応じて輻輳角を制御している。
【００２４】
例えば、被写体としての人物が奥行き方向を前後に移動しても常に前に飛び出して見えるようにしたい場合、図４（ａ）に示すように、撮像空間における、被写体Ｒより非常に遠い位置Ｃに輻輳点を設定する。しかし、その輻輳点が遠いほど、再生空間において、被写体Ｒの周囲における被写体同士（例えば、被写体Ｒと被写体Ｓ）の奥行き感が損なわれ、視覚的な立体感を十分に得られなくなる。一方、図４（ｂ）に示すように、撮像空間における、被写体Ｒとほぼ等しい位置Ｄに輻輳点を設定すると、再生空間において、被写体Ｒの周囲における被写体同士の奥行き感は増すが、被写体Ｒが輻輳点の前後のいずれにいるかによって、飛び出したり、奥まったりしてしまう。
【００２５】
したがって、被写体Ｒの周囲における被写体同士の奥行き感を維持しつつ、被写体Ｒをある程度飛び出させるような適切な位置に輻輳点を設定することが望まれる。このとき、被写体Ｒは静止し続けるとは限らないので、被写体Ｒが奥行き方向に移動した場合、それに伴って輻輳点（輻輳角）も変化させるのが好ましい。具体的には、以下に示す距離導出部１１２と輻輳角制御部１１４とを用い、撮像ユニット１１０（焦点位置）から被写体Ｒまでの距離である被写体距離を導出し、その被写体距離に応じて自動的に輻輳角を変化させる。
【００２６】
距離導出部１１２は、光切断法に基づいて光の反射に費やす時間（ＴＯＦ：Time Of Flight）を測定することで、輻輳角の二等分線方向における、２つの撮像部１１０ａ、１１０ｂと、後述する被写体追尾部１５２によって追尾されている被写体Ｒとの被写体距離を導出する。
【００２７】
輻輳角制御部１１４は、被写体Ｒの周囲の立体感をより鮮明に表すため、マクロ、人物、景色といった撮像時の撮像モードと、距離導出部１１２によって導出された被写体距離とに基づいて、例えば、被写体距離より所定の距離遠いところに輻輳点が位置するように、２つの撮像部１１０ａ、１１０ｂを鉛直軸回りに回転させ輻輳角を制御する。かかる構成により、被写体Ｒの周囲の立体感が鮮明に表された良好な立体映像を観察者に知覚させることができる。
【００２８】
輻輳角導出部１１６は、２つの撮像部１１０ａ、１１０ｂの本体１０４に対する回転角を加算して、２つの撮像部１１０ａ、１１０ｂの光軸１０２ａ、１０２ｂがなす輻輳角を導出する。また、輻輳角の調整を撮像ユニット１１０におけるレンズやミラーによって遂行する場合、それらの回転角を加算して輻輳角を導出する。輻輳角の導出処理は、上記の場合に限られず、既存の様々な導出処理を適用することができる。
【００２９】
ここでは、輻輳角が一意かつ自動的に導出されるので、輻輳角を手動で入力するといった煩雑な手作業を要さず、効率的に適切な立体映像データを生成することができる。
【００３０】
映像処理部１１８は、撮像ユニット１１０で生成された立体映像データに対して、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理などの映像信号処理を行う。所定の映像信号処理が行なわれた立体映像データは、データバッファ１２０に一時的に保持される。
【００３１】
データバッファ１２０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、立体映像データを一時的に保持する。このとき、立体映像データと共に、立体映像データを撮像したその時々の輻輳角を示す輻輳角情報も立体映像データに関連付けられて保持される。
【００３２】
操作部１２２は、操作キー、十字キー、ジョイスティック、後述する立体表示部１２４の表示面に配されたタッチパネル等のスイッチから構成され、撮像者の操作入力を受け付ける。
【００３３】
立体表示部（ビューファインダ）１２４は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、例えば偏光特性が隔行で（１ライン毎に）異なるように（ラインシーケンシャル方式）形成される。撮像者は、撮像時に、立体表示部１２４を通じて立体映像データを立体的に知覚し、その知覚した立体映像に基づいて操作部１２２を操作することで、被写体Ｒを所望する位置および占有面積で捉えることが可能となる。
【００３４】
ここで、立体表示部１２４として、例えば、ラインシーケンシャル方式を採用すると、立体映像データに含まれる被写体や背景は、交差視（交差法）および平行視（平行法）のいずれの立体表示も可能となるので、視差によっては、立体表示部１２４の表示面より手前側または奥側のいずれの位置にも被写体や背景を結像させることができる。
【００３５】
また、立体表示部１２４の表示方式としては、ラインシーケンシャル方式に限られず、例えば、左眼用映像データと右眼用映像データとを１フレーム毎に交互に表示し電子シャッター式眼鏡を通じて視認させるフレームシーケンシャル方式、レンティキュラレンズを介して左眼用映像と右眼用映像それぞれの光の進行方向を制御するレンティキュラー方式等を用いることもできる。
【００３６】
映像圧縮部１２６は、中央制御部１３０の制御指令により、データバッファ１２０に保持された立体映像データを、Ｍ−ＪＰＥＧ（Motion-Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４などの所定の符号化方式で符号化した符号データとし、任意の記録媒体１８０に記録する。任意の記録媒体１８０としては、ＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の媒体を適用することができる。
【００３７】
データ出力部１２８は、後述するデータ重畳部１６４が重畳した立体映像データを映像処理装置１００に接続されたディスプレイ１８２に出力する。ディスプレイ１８２は、立体表示部１２４同様、液晶ディスプレイ、有機ＥＬディスプレイ等で構成され、例えば、偏光特性が１ライン毎に異なるように形成される。
【００３８】
中央制御部１３０は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、映像処理装置１００全体を管理および制御する。また、本実施形態において、中央制御部１３０は、被写体特定部１５０、被写体追尾部１５２、記憶制御部１５４、データ取得部１５６、メッセージ取得部１５８、挿入面決定部１６０、視差変更部１６２、データ重畳部１６４、表示制御部１６６としても機能する。
【００３９】
被写体特定部１５０は、操作部１２２としての例えば立体表示部１２４の表示面に配されたタッチパネルの操作入力を通じて、立体映像データ中の被写体を特定する。また、被写体特定部１５０は、例えば映像中の背景に対して相対移動している等の条件に基づいて自動的に特定することもできる。
【００４０】
被写体追尾部１５２は、被写体特定部１５０によって特定された被写体が人物であった場合、例えば、その人物の顔画像を既存の画像処理技術を用いて追尾する。かかる構成により、撮像中に被写体が移動した場合であっても、距離導出部１１２は、被写体距離を適切に導出することが可能となる。
【００４１】
記憶制御部１５４は、輻輳角導出部１１６が導出した輻輳角を示す輻輳角情報を立体映像データに関連付けてデータバッファ１２０に記憶する。ここでは、メッセージデータそのものではなく、メッセージデータを重畳するための輻輳角を記憶しているので、かかる輻輳角を用いてメッセージデータ等を事後的に立体映像データに重畳することが可能となる。
【００４２】
データ取得部１５６は、データバッファ１２０から、立体映像データと輻輳角情報とを取得する。また、当該映像処理装置１００を再生装置として機能させるとき、データ取得部１５６は、外部から直接、立体映像データと輻輳角情報とを取得する。
【００４３】
メッセージ取得部１５８は、立体映像データに重畳するメッセージデータを取得する。ここで、メッセージデータは、ＯＳＤ（On Screen Display）、チャンネル、テロップ、時間、動作モード、アイコン、入出力ライン案内、エラー情報等の映像または映像処理装置１００自体の情報を視覚的に表したデータである。
【００４４】
挿入面決定部１６０は、撮像空間における、輻輳角の二等分線と垂直に交わる、メッセージデータを重畳するための仮想的な挿入面を決定して、メッセージデータの視差を導出する。挿入面決定部１６０は、再生空間において、立体映像データに含まれる被写体より観察者側にメッセージデータを知覚させたい場合、撮像空間における２つの撮像部１１０ａ、１１０ｂ側に挿入面を設定し、再生空間における被写体より遠方にメッセージデータを知覚させたい場合、撮像空間における背景側に挿入面を設定する。
【００４５】
図５は、挿入面決定部１６０の詳細な動作について説明するための説明図である。ここでは理解を容易にするため、一方の眼に関する視差について説明し、他方の眼に関する視差については導出方法が実質的に等しいのでその説明を省略する。挿入面決定部１６０は、図５における挿入面１８４にメッセージデータを事後的に挿入しようとした場合、そのときの輻輳角２αＡによって、メッセージデータの視差（距離ＸＡに相当）を以下から導き出すことができる。
【００４６】
２つの撮像部１１０ａ、１１０ｂそれぞれの物側主点から中心点Ｔまでの距離をｓ、その中心点Ｔから挿入面１８４までの距離をｐ、位置Ａにおける輻輳角を２αＡとすると、中心点Ｔから輻輳点である位置Ａまでの距離ＬＡは、数式１で表される。
ＬＡ＝ｓ／ｔａｎαＡ＝ｓ×ｃｏｓαＡ／ｓｉｎαＡ …（数式１）
【００４７】
また、２つの撮像部１１０ａ、１１０ｂの光軸１０２ａ、１０２ｂとの距離ＸＡは、数式２で表される。
ＸＡ＝（ＬＡ−ｐ）×ｓｉｎαＡ …（数式２）
したがって、メッセージデータの挿入面１８４を決定して中心点Ｔから挿入面１８４までの距離ｐが決まれば、挿入面決定部１６０は、視差に相当する距離ＸＡを一意に導出することができる。後述するデータ重畳部１６４は、このようにして導出された視差（距離ＸＡ）をつけてメッセージデータを立体映像データに重畳する。かかる構成により、メッセージデータが事後的に挿入され、そのメッセージデータが撮像空間における挿入面１８４にあたかも存在していたかのように知覚させることができる。
【００４８】
視差変更部１６２は、輻輳角情報に示された輻輳角に基づいて、撮像空間における、撮像部１１０ａ、１１０ｂと挿入面との位置関係が変わらないようにメッセージデータの視差を変更する。
【００４９】
図６は、輻輳角の変化によるメッセージデータの奥行き感の変化を説明するための説明図である。観察者が例えば被写体Ｒを立体的に知覚するのは、立体映像データにおいて被写体Ｒに視差が設けられているからである。このとき、輻輳点が位置Ａから位置Ｂに推移すると、撮像空間における被写体Ｒと輻輳点との距離が大きくなり、再生空間における被写体Ｒの結像位置は観察者側に推移して、観察者は被写体Ｒが徐々に飛び出してくるように知覚する。
【００５０】
一方、メッセージデータ１８６が、挿入面決定部１６０によって導出された視差（距離ＸＡ）で固定されていた場合、再生空間においてメッセージデータ１８６の結像位置は変化しないので、観察者は、被写体Ｒが飛び出してくるのと比較してメッセージデータ１８６が、白抜き矢印の如く相対的に奥まっていくように知覚する。そこで、本実施形態では、輻輳角に伴って被写体等の結像位置が変化したとしても、違和感のない適切な結像位置でメッセージデータを知覚させる。ここでは、視差変更部１６２が、輻輳角の変化に伴う被写体等の結像位置の変化に合わせてメッセージデータの視差を変更する。
【００５１】
図７および図８は、視差変更部１６２の詳細な動作について説明するための説明図である。ここでも理解を容易にするため、一方の眼に関する視差について説明し、他方の眼に関する視差については導出方法が実質的に等しいのでその説明を省略する。挿入面決定部１６０が挿入面１８４を決定した段階では、輻輳点が位置Ａにある状態で、メッセージデータが挿入面１８４に配されている。このとき、図７の白抜き矢印で示すように輻輳点が位置Ａから位置Ｂに移動すると、視差変更部１６２は、メッセージデータの視差を以下のように導き出す。
【００５２】
図５同様、２つの撮像部１１０ａ、１１０ｂそれぞれの物側主点から中心点Ｔまでの距離をｓ、その中心点Ｔから挿入面１８４までの距離をｐ、位置Ａにおける輻輳角を２αＡ、位置Ｂにおける輻輳角を２αＢとすると、中心点から輻輳点である位置Ａまでの距離ＬＡと位置Ｂまでの距離ＬＢは、数式１および数式３で表される。
ＬＡ＝ｓ／ｔａｎαＡ＝ｓ×ｃｏｓαＡ／ｓｉｎαＡ …（数式１）
ＬＢ＝ｓ／ｔａｎαＢ＝ｓ×ｃｏｓαＢ／ｓｉｎαＢ …（数式３）
【００５３】
また、輻輳点を位置Ａとしたときの２つの撮像部１１０ａ、１１０ｂの光軸１０２ａ、１０２ｂとの距離ＸＡ、および、輻輳点を位置Ｂとしたときの光軸１０２ａ、１０２ｂとの距離ＸＢは、数式２および数式４で表される。
ＸＡ＝（ＬＡ−ｐ）×ｓｉｎαＡ …（数式２）
ＸＢ＝（ＬＢ−ｐ）×ｓｉｎαＢ …（数式４）
【００５４】
ここで、数式１と数式３で示された距離ＬＡと距離ＬＢを数式２および数式４に代入すると、距離ＸＡと距離ＸＢとの比率であるＸＢ／ＸＡは数式５で表される。
ＸＢ／ＸＡ＝（ｓ×ｃｏｓαＢ−ｐ×ｓｉｎαＢ）／（ｓ×ｃｏｓαＡ−ｐ×ｓｉｎαＡ）…（数式５）
また、図８（ａ）に示すように、輻輳点がメッセージデータを跨って推移した場合、ＸＡ／ＸＢは、数式６で表される。
ＸＢ／ＸＡ＝（ｓ×ｃｏｓαＢ−ｐ×ｓｉｎαＢ）／（ｐ×ｓｉｎαＡ−ｓ×ｃｏｓαＡ）…（数式６）
さらに、図８（ｂ）に示すように、輻輳点がメッセージデータより近い領域を推移した場合、ＸＢ／ＸＡは、数式７で表される。
ＸＢ／ＸＡ＝（ｐ×ｓｉｎαＢ−ｓ×ｃｏｓαＢ）／（ｐ×ｓｉｎαＡ−ｓ×ｃｏｓαＡ）…（数式７）
ただし、数式７は数式５と実質的に等しく、数式６は数式５や数式７の符号を反転したものとなる。
【００５５】
図７に戻って、中心点Ｔから挿入面１８４までの距離ｐを、距離ＬＡと係数Ｆ（Ｆは正数）用いて、例えば、ｐ＝Ｆ×ＬＡとすると、数式５および数式６は、数式８および数式９に変形することができる。
ＸＢ／ＸＡ＝１／（１−Ｆ）×ｃｏｓαＢ／ｃｏｓαＡ−Ｆ／（１−Ｆ）×ｓｉｎαＢ／ｓｉｎαＡ…（数式８）
ＸＢ／ＸＡ＝１／（Ｆ−１）×ｃｏｓαＢ／ｃｏｓαＡ−Ｆ／（Ｆ−１）×ｓｉｎαＢ／ｓｉｎαＡ…（数式９）
【００５６】
かかる数式８および数式９を参照して理解できるように、２つの撮像部１１０ａ、１１０ｂそれぞれの物側主点から中心点Ｔまでの距離ｓ、中心点Ｔから挿入面１８４までの距離ｐ、中心点Ｔから位置Ａまでの距離ＬＡ、中心点Ｔから位置Ｂまでの距離ＬＢの情報が無くとも、位置Ａにおける輻輳角２αＡ、位置Ｂにおける輻輳角２αＢさえ把握できれば、距離ＸＡと距離ＸＢとの比率であるＸＢ／ＸＡを一意に求めることが可能である。
【００５７】
したがって、視差変更部１６２は、輻輳角が２αＡから２αＢに推移した場合においても、挿入面決定部１６０が導出した輻輳角２αＡのときの視差である距離ＸＡに、数式８および数式９によるＸＢ／ＸＡを乗算することで、輻輳角２αＢにおける新たな距離ＸＢ、即ち新たな視差を導出することが可能となる。このようにメッセージデータの視差を随時変更する構成により、輻輳角に対する被写体等の奥行き感にメッセージデータを追従させることができ、再生空間における違和感のない適切な結像位置でメッセージデータを知覚させることが可能となる。
【００５８】
また、視差変更部１６２は、必ずしも数式８や数式９を用いて計算する必要もなく、輻輳角の推移とそのときの視差の比率とを１対１に対応させたテーブルを用いて視差を導出することもできる。かかる構成により、数式８や数式９を計算するための計算負荷を大幅に軽減することが可能となる。
【００５９】
データ重畳部１６４は、挿入面決定部１６０によって導出された視差または視差変更部１６２によって変更された視差に従ってメッセージデータを立体映像データに重畳する。
【００６０】
表示制御部１６６は、データ重畳部１６４によってメッセージデータが重畳された立体映像データを立体表示部１２４に表示する。このとき、表示制御部１６６は、立体表示部１２４の表示形式、例えば、ラインシーケンシャル方式、フレームシーケンシャル方式等に従って、立体映像データを加工する。
【００６１】
図９は、輻輳角の変化によるメッセージデータの知覚を説明するための説明図である。輻輳点を位置Ａとして撮像した後、撮像した立体映像データを再生すると、図９（ａ）に示すように、撮像空間における輻輳点の位置Ａが再生空間における立体表示部１２４の位置に相当するようになり、観察者は、左眼１８８ａおよび右眼１８８ｂを通じて、被写体Ｒとメッセージデータ１８６が立体表示部１２４より飛び出しているように知覚する。そして、輻輳点を位置Ｂに変更した立体映像データを再生すると、図９（ｂ）に示すように、撮像空間における輻輳点の位置Ｂが再生空間における立体表示部１２４の位置に相当するようになり、白抜き矢印で示したように、被写体Ｒの結像位置が観察者側に推移し、観察者は、左眼１８８ａおよび右眼１８８ｂを通じ、被写体Ｒを図９（ａ）の場合と比較して、より飛び出しているように知覚する。
【００６２】
また、本実施形態では、視差変更部１６２によってメッセージデータ１８６にも被写体Ｒ同様の視差をつけるため、観察者は、メッセージデータ１８６も被写体Ｒ同様図９（ａ）の場合と比較して、より飛び出しているように知覚する。
【００６３】
（映像処理装置１００の他の実施例）
上述した映像処理装置１００では、撮像ユニット１１０で撮像された立体映像データにリアルタイムにメッセージデータを重畳する構成を述べた。しかし、本実施形態の目的は、立体映像データに輻輳角、またはそれに相当する輻輳点や、輻輳点までの距離が関連付けられていれば、達成できる。例えば、上述した映像処理装置１００によって立体映像データと輻輳角情報とを関連付けて一旦任意の記録媒体１８０に記録した後、事後的にその輻輳角情報を用いてメッセージデータの視差を被写体の奥行き感に追従させることができる。
【００６４】
したがって、本実施形態の映像処理装置１００では、立体映像データに輻輳角が関連付けられてさえいれば、撮像時とは異なる再生時に、新たなメッセージデータを容易に追加することができ、そのメッセージデータの視差を適切に変更することが可能となる。
【００６５】
（映像処理方法）
次に、上述した映像処理装置１００を用いて、立体映像データにメッセージデータを重畳する映像処理方法について説明する。
【００６６】
図１０は、映像処理方法の具体的な処理の流れを示したフローチャートである。まず、映像処理装置１００の撮像部１１０ａ、１１０ｂは、両眼視差による立体映像を知覚させるための立体映像データを生成し（Ｓ２００）、被写体追尾部１５２は、立体映像データ中の特定された被写体を追尾し（Ｓ２０２）、距離導出部１１２は、輻輳角の二等分線方向における、２つの撮像部１１０ａ、１１０ｂと追尾された被写体との距離である被写体距離を導出し（Ｓ２０４）、輻輳角制御部１１４は、導出された被写体距離に基づいて輻輳角を制御する（Ｓ２０６）。
【００６７】
そして、輻輳角導出部１１６は、２つの撮像部１１０ａ、１１０ｂの輻輳角を導出し（Ｓ２０８）、記憶制御部１５４は、導出された輻輳角を示す輻輳角情報を立体映像データに関連付けてデータバッファ１２０に記憶する（Ｓ２１０）。
【００６８】
続いて、データ取得部１５６は、立体映像データと輻輳角情報とをデータバッファ１２０から取得する（Ｓ２１２）。ここで、立体表示部１２４に重畳可能なメッセージデータが発生すると（Ｓ２１４のＹＥＳ）、メッセージ取得部１５８は、立体映像データに重畳するメッセージデータを取得する（Ｓ２１６）。
【００６９】
そして、メッセージデータの取得が初めてであれば（Ｓ２１８のＹＥＳ）、挿入面決定部１６０は、輻輳角の二等分線と垂直に交わる、メッセージデータの挿入面を決定し（Ｓ２２０）、数式１および数式２を用いてメッセージデータの視差を導出し（Ｓ２２２）、初めてでなければ（Ｓ２１８のＮＯ）、視差変更部１６２は、数式８および数式９を用い、輻輳角情報に示された輻輳角に基づいて、撮像空間における、２つの撮像部１１０ａ、１１０ｂと挿入面１８４との位置関係が変わらないようにメッセージデータの視差を変更する（Ｓ２２４）。
【００７０】
データ重畳部１６４は、導出された視差に従ってメッセージデータを立体映像データに重畳し（Ｓ２２６）、データ出力部１２８は、メッセージデータを重畳した立体映像データを立体表示部１２４に出力する（Ｓ２２８）。ただし、メッセージデータが発生してないと（Ｓ２１４のＮＯ）、データ出力部１２８は、メッセージデータを重畳していない元の立体映像データのみを立体表示部１２４に出力する（Ｓ２２８）。
【００７１】
かかる映像処理方法を用いることで、輻輳角に伴って被写体等の結像位置が変化したとしても、違和感のない適切な結像位置でメッセージデータを知覚させることが可能となる。
【００７２】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７３】
なお、本明細書の映像処理方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００７４】
本発明は、両眼視差によって立体映像を知覚させるための立体映像データを生成する映像処理装置および映像処理方法に利用することができる。
【符号の説明】
【００７５】
１００ …映像処理装置
１１０ａ …撮像部
１１０ｂ …撮像部
１１２ …距離導出部
１１４ …輻輳角制御部
１１６ …輻輳角導出部
１１８ …映像処理部
１２０ …データバッファ
１５２ …被写体追尾部
１５４ …記憶制御部
１５６ …データ取得部
１５８ …メッセージ取得部
１６０ …挿入面決定部
１６２ …視差変更部
１６４ …データ重畳部
【技術分野】
【０００１】
本発明は、両眼視差によって立体映像を知覚させるための立体映像データを生成する映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
近年、ディスプレイ上に、水平視差（両眼視差）を有する２つの映像（立体映像データ）を提示し、観察者に対してあたかも被写体が立体的に存在するように知覚させる映像処理装置が脚光を浴びている。かかる映像処理装置で用いられる立体映像データは、視点の異なる２つの撮像部で撮像された映像である。
【０００３】
また、一般的に、映像に関するメッセージデータ（例えば、チャンネルやテロップ）や映像処理装置の状態を示すメッセージデータ（例えば、時間、動作モード、アイコン、入出力ライン案内、エラー情報等）は、映像と共にディスプレイに示される。しかし、立体映像を実現する映像処理装置におけるメッセージデータは、立体的に知覚されるように加工されないと、観察者に情報を正しく伝達することができない。そこで、映像処理装置は、メッセージデータにも視差を設け、立体映像データに重畳することで、メッセージデータの立体感も実現している。
【０００４】
また、このような視差を用いたメッセージデータの表示方法の応用例として、観察者が任意に入力したテキストに視差を設け、立体映像データに重畳し、ボタンの押下に応じてメッセージデータの遠近感を切り換える技術が開示されている（例えば、特許文献１）。さらに、注目点の視差角（視軸が交わる角）の変化量に基づき注目点の奥行き位置に予めメッセージデータを重畳しておいて、事後的に再生する技術も公開されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０４３３１号公報
【特許文献２】特開２００９−１３５６８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した技術、特に、特許文献２の技術では、視差角に応じてメッセージデータの位置が変更されているものの、注目点の特定が人為的であり、撮像者は、撮像した映像を見ながら手動で注目点を特定するといった煩雑な作業を強いられていた。また、メッセージデータが撮像時に重畳されるので、映像に関するメッセージデータを再生時に削除することや、再生時に生じる、例えば、映像処理装置の状態を示すメッセージデータを撮像時に重畳することができなかった。さらに、再生時に、予め重畳されているメッセージデータの位置を把握する術がないため、予め重畳されているメッセージデータを避けて新たなメッセージデータを重畳することができなかった。
【０００７】
一方、映像処理装置では、２つの撮像部の光軸が輻輳する角、所謂輻輳角を調整することもできる。これは、撮像を所望している被写体の前後に存在する前景や背景との関係で、被写体の周囲の立体感をより鮮明に表すためである。しかし、上述した特許文献１、２の技術は、輻輳角の変化に対応していないので、被写体が静止している状態で輻輳角が変化してもメッセージデータを被写体に対応した適切な奥行き位置に追従させることができなかった。
【０００８】
本発明は、このような課題に鑑み、輻輳角に伴って被写体等の結像位置が変化したとしても、違和感のない適切な結像位置でメッセージデータを知覚させることが可能な、映像処理装置および映像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の映像処理装置は、両眼視差による立体映像を知覚させるための立体映像データと、立体映像データを撮像した２つの撮像部の光軸がなす輻輳角を示す輻輳角情報と、を取得するデータ取得部と、立体映像データに重畳するメッセージデータを取得するメッセージ取得部と、輻輳角の二等分線と垂直に交わる、メッセージデータを重畳するための挿入面を決定して、メッセージデータの視差を導出する挿入面決定部と、輻輳角情報に示された輻輳角に基づいて、撮像空間における、２つの撮像部と挿入面との位置関係が変わらないようにメッセージデータの視差を変更する視差変更部と、視差に従ってメッセージデータを立体映像データに重畳するデータ重畳部と、重畳した立体映像データを出力するデータ出力部と、を備えたことを特徴とする。
【００１０】
視差変更部は、輻輳角が２αＡから２αＢに変化した場合に、ｃｏｓαＢ／ｃｏｓαＡおよびｓｉｎαＢ／ｓｉｎαＡそれぞれに所定の係数を乗じて加算した比率に基づいて視差を変更してもよい。
【００１１】
映像処理装置は、特定された被写体を追尾する被写体追尾部と、輻輳角の二等分線方向における、２つの撮像部と追尾された被写体との距離である被写体距離を導出する距離導出部と、導出された被写体距離に基づいて輻輳角を制御する輻輳角制御部と、をさらに備えてもよい。
【００１２】
上記課題を解決するために、本発明の映像処理方法は、両眼視差による立体映像を知覚させるための立体映像データと、立体映像データを撮像した２つの撮像部の光軸がなす輻輳角を示す輻輳角情報と、を取得し、立体映像データに重畳するメッセージデータを取得し、メッセージデータの取得が初めてであれば、輻輳角の二等分線と垂直に交わる、メッセージデータを重畳するための挿入面を決定して、メッセージデータの視差を導出し、初めてでなければ、輻輳角情報に示された輻輳角に基づいて、撮像空間における、２つの撮像部と挿入面との位置関係が変わらないようにメッセージデータの視差を変更し、視差に従ってメッセージデータを立体映像データに重畳し、重畳した立体映像データを出力することを特徴とする。
【発明の効果】
【００１３】
以上説明したように本発明は、輻輳角に伴って被写体等の結像位置が変化したとしても、違和感のない適切な結像位置でメッセージデータを知覚させることが可能となる。したがって、観察者は、メッセージデータが重畳された立体映像データを通じて眼に疲労を覚えることもなく、立体映像データの立体感を鮮明に実感することができる。
【図面の簡単な説明】
【００１４】
【図１】映像処理装置の概略的な機能を示した機能ブロック図である。
【図２】映像処理装置の一例を示した外観図である。
【図３】輻輳角を説明するための説明図である。
【図４】輻輳角を説明するための説明図である。
【図５】挿入面決定部の詳細な動作について説明するための説明図である。
【図６】輻輳角の変化によるメッセージデータの奥行き感の変化を説明するための説明図である。
【図７】視差変更部の詳細な動作について説明するための説明図である。
【図８】視差変更部の詳細な動作について説明するための説明図である。
【図９】輻輳角の変化によるメッセージデータの知覚を説明するための説明図である。
【図１０】映像処理方法の具体的な処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１６】
映像処理装置では、人物に代表される被写体の前後に存在する前景や背景との関係で、被写体の周囲の立体感をより鮮明に表すため、撮像空間において２つの撮像部の光軸が輻輳する輻輳角を調整している。このように輻輳角が変化すると再生空間における被写体の結像位置も変化するが、メッセージデータの結像位置が再生空間において固定されていると、被写体の奥行き感が変化しているのに対しメッセージデータが静止していることとなり、観察者は、違和感を覚えて眼が疲れる場合があった。ここで、撮像空間は、撮像を実行しているときの映像処理装置と被写体との実際の位置関係を表す空間を示し、再生空間は、撮像した立体映像データを再生しているときの観察者と被写体の結像位置との位置関係を表す空間を示す。本実施形態では、撮像空間における輻輳角の変化に伴い、再生空間における被写体等の結像位置が変化したとしても、違和感のない適切な結像位置でメッセージデータを知覚させることを目的としている。以下、かかる映像処理装置の構成を説明し、その後で映像処理方法の処理の流れを詳述する。
【００１７】
（映像処理装置１００）
図１は、映像処理装置１００の概略的な機能を示した機能ブロック図であり、図２は、映像処理装置１００の一例を示した外観図である。図１に示すように、映像処理装置１００は、撮像ユニット１１０と、距離導出部１１２と、輻輳角制御部１１４と、輻輳角導出部１１６と、映像処理部１１８と、データバッファ１２０と、操作部１２２と、立体表示部１２４と、映像圧縮部１２６と、データ出力部１２８と、中央制御部１３０とを含んで構成される。ここでは、映像処理装置１００としてビデオカメラを挙げているが、デジタルスチルカメラ等、撮像が可能な様々な電子機器を採用することができる。
【００１８】
撮像ユニット１１０は、２つの撮像部１１０ａ、１１０ｂで構成され、かかる２つの撮像部１１０ａ、１１０ｂは、図２に示すそれぞれの光軸１０２ａ、１０２ｂが撮像方向のいずれかの位置で輻輳し（交わり、集中し）、撮像者が映像処理装置１００の本体１０４を水平に把持した際に、その光軸１０２ａ、１０２ｂが同じ水平面に含まれるように配置される。
【００１９】
撮像ユニット１１０では、それぞれの撮像部１１０ａ、１１０ｂにおいて撮像された、観察者の左眼に知覚させるための左眼用映像データと観察者の右眼に知覚させるための右眼用映像データとを併合し、両眼視差によって立体映像を知覚させるための立体映像データを生成する。立体映像データは、動画および静止画のいずれでも形成可能である。また、立体映像データは、左眼用映像データと右眼用映像データの物理的配置または時間的配置の違いによってサイドバイサイド方式、トップアンドボトム方式等、様々な方式によって形成される。
【００２０】
また、２つの撮像部１１０ａ、１１０ｂは、鉛直軸回りに回転可能に形成され、後述する輻輳角制御部１１４によって２つの撮像部１１０ａ、１１０ｂが回転し、その光軸１０２ａ、１０２ｂがなす輻輳角が制御される。かかる輻輳角の制御は、撮像部１１０ａ、１１０ｂのハード的な回転のみならず、撮像された立体映像データの切り出し位置および範囲を調整することでも実現可能である。
【００２１】
図３および図４は、輻輳角を説明するための説明図である。例えば、輻輳点（光軸１０２ａ、１０２ｂの交点）が撮像空間において図３の位置Ｂにあったとすると、再生空間において、観察者は、被写体Ｐを飛び出しているように知覚し、被写体Ｑを奥まっているように知覚する。このとき、被写体Ｐおよび被写体Ｑと輻輳点である位置Ｂとの距離を等しくすると、２つの撮像部１１０ａ、１１０ｂの光軸１０２ａ、１０２ｂとの距離ＸＰＢとＸＱＢも等しくなる。かかる光軸１０２ａ、１０２ｂとの距離ＸＰＢ、ＸＱＢは、２つの撮像部１１０ａ、１１０ｂに撮像された立体映像データの視差に相当する。したがって、位置Ｂを輻輳点として撮像された立体映像データを再生すると、被写体Ｐが飛び出して知覚される結像位置と立体表示部１２４との距離と、被写体Ｑが奥まって知覚される結像位置と立体表示部１２４との距離がほぼ等しくなる。
【００２２】
一方、輻輳点が撮像空間において図３の位置Ａにあったとすると、被写体Ｐと２つの撮像部１１０ａ、１１０ｂの光軸１０２ａ、１０２ｂとの距離ＸＰＡが短くなる反面、被写体Ｑと２つの撮像部１１０ａ、１１０ｂの光軸１０２ａ、１０２ｂとの距離ＸＱＡが長くなる。ここで、位置Ａを輻輳点として撮像された立体映像データを再生すると、被写体Ｐが飛び出して知覚される結像位置と立体表示部１２４との距離が短くなり、被写体Ｑが奥まって知覚される結像位置と立体表示部１２４との距離が長くなる。即ち、再生空間における被写体Ｐの飛び出し感が損なわれ、被写体Ｑの奥まり感が増幅される。
【００２３】
換言すると、撮像空間における、撮像ユニット１１０と被写体Ｐ、Ｑとの位置関係が変化しなくとも、即ち、被写体Ｐ、Ｑが静止していても、輻輳点を奥行き方向に変化させることで、再生空間における被写体Ｐ、Ｑの奥行き感を変化させることができる。本実施形態では、再生空間において被写体Ｐ、Ｑをどのような奥行き感で表現するかのポリシーに応じて輻輳角を制御している。
【００２４】
例えば、被写体としての人物が奥行き方向を前後に移動しても常に前に飛び出して見えるようにしたい場合、図４（ａ）に示すように、撮像空間における、被写体Ｒより非常に遠い位置Ｃに輻輳点を設定する。しかし、その輻輳点が遠いほど、再生空間において、被写体Ｒの周囲における被写体同士（例えば、被写体Ｒと被写体Ｓ）の奥行き感が損なわれ、視覚的な立体感を十分に得られなくなる。一方、図４（ｂ）に示すように、撮像空間における、被写体Ｒとほぼ等しい位置Ｄに輻輳点を設定すると、再生空間において、被写体Ｒの周囲における被写体同士の奥行き感は増すが、被写体Ｒが輻輳点の前後のいずれにいるかによって、飛び出したり、奥まったりしてしまう。
【００２５】
したがって、被写体Ｒの周囲における被写体同士の奥行き感を維持しつつ、被写体Ｒをある程度飛び出させるような適切な位置に輻輳点を設定することが望まれる。このとき、被写体Ｒは静止し続けるとは限らないので、被写体Ｒが奥行き方向に移動した場合、それに伴って輻輳点（輻輳角）も変化させるのが好ましい。具体的には、以下に示す距離導出部１１２と輻輳角制御部１１４とを用い、撮像ユニット１１０（焦点位置）から被写体Ｒまでの距離である被写体距離を導出し、その被写体距離に応じて自動的に輻輳角を変化させる。
【００２６】
距離導出部１１２は、光切断法に基づいて光の反射に費やす時間（ＴＯＦ：Time Of Flight）を測定することで、輻輳角の二等分線方向における、２つの撮像部１１０ａ、１１０ｂと、後述する被写体追尾部１５２によって追尾されている被写体Ｒとの被写体距離を導出する。
【００２７】
輻輳角制御部１１４は、被写体Ｒの周囲の立体感をより鮮明に表すため、マクロ、人物、景色といった撮像時の撮像モードと、距離導出部１１２によって導出された被写体距離とに基づいて、例えば、被写体距離より所定の距離遠いところに輻輳点が位置するように、２つの撮像部１１０ａ、１１０ｂを鉛直軸回りに回転させ輻輳角を制御する。かかる構成により、被写体Ｒの周囲の立体感が鮮明に表された良好な立体映像を観察者に知覚させることができる。
【００２８】
輻輳角導出部１１６は、２つの撮像部１１０ａ、１１０ｂの本体１０４に対する回転角を加算して、２つの撮像部１１０ａ、１１０ｂの光軸１０２ａ、１０２ｂがなす輻輳角を導出する。また、輻輳角の調整を撮像ユニット１１０におけるレンズやミラーによって遂行する場合、それらの回転角を加算して輻輳角を導出する。輻輳角の導出処理は、上記の場合に限られず、既存の様々な導出処理を適用することができる。
【００２９】
ここでは、輻輳角が一意かつ自動的に導出されるので、輻輳角を手動で入力するといった煩雑な手作業を要さず、効率的に適切な立体映像データを生成することができる。
【００３０】
映像処理部１１８は、撮像ユニット１１０で生成された立体映像データに対して、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理などの映像信号処理を行う。所定の映像信号処理が行なわれた立体映像データは、データバッファ１２０に一時的に保持される。
【００３１】
データバッファ１２０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、立体映像データを一時的に保持する。このとき、立体映像データと共に、立体映像データを撮像したその時々の輻輳角を示す輻輳角情報も立体映像データに関連付けられて保持される。
【００３２】
操作部１２２は、操作キー、十字キー、ジョイスティック、後述する立体表示部１２４の表示面に配されたタッチパネル等のスイッチから構成され、撮像者の操作入力を受け付ける。
【００３３】
立体表示部（ビューファインダ）１２４は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、例えば偏光特性が隔行で（１ライン毎に）異なるように（ラインシーケンシャル方式）形成される。撮像者は、撮像時に、立体表示部１２４を通じて立体映像データを立体的に知覚し、その知覚した立体映像に基づいて操作部１２２を操作することで、被写体Ｒを所望する位置および占有面積で捉えることが可能となる。
【００３４】
ここで、立体表示部１２４として、例えば、ラインシーケンシャル方式を採用すると、立体映像データに含まれる被写体や背景は、交差視（交差法）および平行視（平行法）のいずれの立体表示も可能となるので、視差によっては、立体表示部１２４の表示面より手前側または奥側のいずれの位置にも被写体や背景を結像させることができる。
【００３５】
また、立体表示部１２４の表示方式としては、ラインシーケンシャル方式に限られず、例えば、左眼用映像データと右眼用映像データとを１フレーム毎に交互に表示し電子シャッター式眼鏡を通じて視認させるフレームシーケンシャル方式、レンティキュラレンズを介して左眼用映像と右眼用映像それぞれの光の進行方向を制御するレンティキュラー方式等を用いることもできる。
【００３６】
映像圧縮部１２６は、中央制御部１３０の制御指令により、データバッファ１２０に保持された立体映像データを、Ｍ−ＪＰＥＧ（Motion-Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４などの所定の符号化方式で符号化した符号データとし、任意の記録媒体１８０に記録する。任意の記録媒体１８０としては、ＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の媒体を適用することができる。
【００３７】
データ出力部１２８は、後述するデータ重畳部１６４が重畳した立体映像データを映像処理装置１００に接続されたディスプレイ１８２に出力する。ディスプレイ１８２は、立体表示部１２４同様、液晶ディスプレイ、有機ＥＬディスプレイ等で構成され、例えば、偏光特性が１ライン毎に異なるように形成される。
【００３８】
中央制御部１３０は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、映像処理装置１００全体を管理および制御する。また、本実施形態において、中央制御部１３０は、被写体特定部１５０、被写体追尾部１５２、記憶制御部１５４、データ取得部１５６、メッセージ取得部１５８、挿入面決定部１６０、視差変更部１６２、データ重畳部１６４、表示制御部１６６としても機能する。
【００３９】
被写体特定部１５０は、操作部１２２としての例えば立体表示部１２４の表示面に配されたタッチパネルの操作入力を通じて、立体映像データ中の被写体を特定する。また、被写体特定部１５０は、例えば映像中の背景に対して相対移動している等の条件に基づいて自動的に特定することもできる。
【００４０】
被写体追尾部１５２は、被写体特定部１５０によって特定された被写体が人物であった場合、例えば、その人物の顔画像を既存の画像処理技術を用いて追尾する。かかる構成により、撮像中に被写体が移動した場合であっても、距離導出部１１２は、被写体距離を適切に導出することが可能となる。
【００４１】
記憶制御部１５４は、輻輳角導出部１１６が導出した輻輳角を示す輻輳角情報を立体映像データに関連付けてデータバッファ１２０に記憶する。ここでは、メッセージデータそのものではなく、メッセージデータを重畳するための輻輳角を記憶しているので、かかる輻輳角を用いてメッセージデータ等を事後的に立体映像データに重畳することが可能となる。
【００４２】
データ取得部１５６は、データバッファ１２０から、立体映像データと輻輳角情報とを取得する。また、当該映像処理装置１００を再生装置として機能させるとき、データ取得部１５６は、外部から直接、立体映像データと輻輳角情報とを取得する。
【００４３】
メッセージ取得部１５８は、立体映像データに重畳するメッセージデータを取得する。ここで、メッセージデータは、ＯＳＤ（On Screen Display）、チャンネル、テロップ、時間、動作モード、アイコン、入出力ライン案内、エラー情報等の映像または映像処理装置１００自体の情報を視覚的に表したデータである。
【００４４】
挿入面決定部１６０は、撮像空間における、輻輳角の二等分線と垂直に交わる、メッセージデータを重畳するための仮想的な挿入面を決定して、メッセージデータの視差を導出する。挿入面決定部１６０は、再生空間において、立体映像データに含まれる被写体より観察者側にメッセージデータを知覚させたい場合、撮像空間における２つの撮像部１１０ａ、１１０ｂ側に挿入面を設定し、再生空間における被写体より遠方にメッセージデータを知覚させたい場合、撮像空間における背景側に挿入面を設定する。
【００４５】
図５は、挿入面決定部１６０の詳細な動作について説明するための説明図である。ここでは理解を容易にするため、一方の眼に関する視差について説明し、他方の眼に関する視差については導出方法が実質的に等しいのでその説明を省略する。挿入面決定部１６０は、図５における挿入面１８４にメッセージデータを事後的に挿入しようとした場合、そのときの輻輳角２αＡによって、メッセージデータの視差（距離ＸＡに相当）を以下から導き出すことができる。
【００４６】
２つの撮像部１１０ａ、１１０ｂそれぞれの物側主点から中心点Ｔまでの距離をｓ、その中心点Ｔから挿入面１８４までの距離をｐ、位置Ａにおける輻輳角を２αＡとすると、中心点Ｔから輻輳点である位置Ａまでの距離ＬＡは、数式１で表される。
ＬＡ＝ｓ／ｔａｎαＡ＝ｓ×ｃｏｓαＡ／ｓｉｎαＡ …（数式１）
【００４７】
また、２つの撮像部１１０ａ、１１０ｂの光軸１０２ａ、１０２ｂとの距離ＸＡは、数式２で表される。
ＸＡ＝（ＬＡ−ｐ）×ｓｉｎαＡ …（数式２）
したがって、メッセージデータの挿入面１８４を決定して中心点Ｔから挿入面１８４までの距離ｐが決まれば、挿入面決定部１６０は、視差に相当する距離ＸＡを一意に導出することができる。後述するデータ重畳部１６４は、このようにして導出された視差（距離ＸＡ）をつけてメッセージデータを立体映像データに重畳する。かかる構成により、メッセージデータが事後的に挿入され、そのメッセージデータが撮像空間における挿入面１８４にあたかも存在していたかのように知覚させることができる。
【００４８】
視差変更部１６２は、輻輳角情報に示された輻輳角に基づいて、撮像空間における、撮像部１１０ａ、１１０ｂと挿入面との位置関係が変わらないようにメッセージデータの視差を変更する。
【００４９】
図６は、輻輳角の変化によるメッセージデータの奥行き感の変化を説明するための説明図である。観察者が例えば被写体Ｒを立体的に知覚するのは、立体映像データにおいて被写体Ｒに視差が設けられているからである。このとき、輻輳点が位置Ａから位置Ｂに推移すると、撮像空間における被写体Ｒと輻輳点との距離が大きくなり、再生空間における被写体Ｒの結像位置は観察者側に推移して、観察者は被写体Ｒが徐々に飛び出してくるように知覚する。
【００５０】
一方、メッセージデータ１８６が、挿入面決定部１６０によって導出された視差（距離ＸＡ）で固定されていた場合、再生空間においてメッセージデータ１８６の結像位置は変化しないので、観察者は、被写体Ｒが飛び出してくるのと比較してメッセージデータ１８６が、白抜き矢印の如く相対的に奥まっていくように知覚する。そこで、本実施形態では、輻輳角に伴って被写体等の結像位置が変化したとしても、違和感のない適切な結像位置でメッセージデータを知覚させる。ここでは、視差変更部１６２が、輻輳角の変化に伴う被写体等の結像位置の変化に合わせてメッセージデータの視差を変更する。
【００５１】
図７および図８は、視差変更部１６２の詳細な動作について説明するための説明図である。ここでも理解を容易にするため、一方の眼に関する視差について説明し、他方の眼に関する視差については導出方法が実質的に等しいのでその説明を省略する。挿入面決定部１６０が挿入面１８４を決定した段階では、輻輳点が位置Ａにある状態で、メッセージデータが挿入面１８４に配されている。このとき、図７の白抜き矢印で示すように輻輳点が位置Ａから位置Ｂに移動すると、視差変更部１６２は、メッセージデータの視差を以下のように導き出す。
【００５２】
図５同様、２つの撮像部１１０ａ、１１０ｂそれぞれの物側主点から中心点Ｔまでの距離をｓ、その中心点Ｔから挿入面１８４までの距離をｐ、位置Ａにおける輻輳角を２αＡ、位置Ｂにおける輻輳角を２αＢとすると、中心点から輻輳点である位置Ａまでの距離ＬＡと位置Ｂまでの距離ＬＢは、数式１および数式３で表される。
ＬＡ＝ｓ／ｔａｎαＡ＝ｓ×ｃｏｓαＡ／ｓｉｎαＡ …（数式１）
ＬＢ＝ｓ／ｔａｎαＢ＝ｓ×ｃｏｓαＢ／ｓｉｎαＢ …（数式３）
【００５３】
また、輻輳点を位置Ａとしたときの２つの撮像部１１０ａ、１１０ｂの光軸１０２ａ、１０２ｂとの距離ＸＡ、および、輻輳点を位置Ｂとしたときの光軸１０２ａ、１０２ｂとの距離ＸＢは、数式２および数式４で表される。
ＸＡ＝（ＬＡ−ｐ）×ｓｉｎαＡ …（数式２）
ＸＢ＝（ＬＢ−ｐ）×ｓｉｎαＢ …（数式４）
【００５４】
ここで、数式１と数式３で示された距離ＬＡと距離ＬＢを数式２および数式４に代入すると、距離ＸＡと距離ＸＢとの比率であるＸＢ／ＸＡは数式５で表される。
ＸＢ／ＸＡ＝（ｓ×ｃｏｓαＢ−ｐ×ｓｉｎαＢ）／（ｓ×ｃｏｓαＡ−ｐ×ｓｉｎαＡ）…（数式５）
また、図８（ａ）に示すように、輻輳点がメッセージデータを跨って推移した場合、ＸＡ／ＸＢは、数式６で表される。
ＸＢ／ＸＡ＝（ｓ×ｃｏｓαＢ−ｐ×ｓｉｎαＢ）／（ｐ×ｓｉｎαＡ−ｓ×ｃｏｓαＡ）…（数式６）
さらに、図８（ｂ）に示すように、輻輳点がメッセージデータより近い領域を推移した場合、ＸＢ／ＸＡは、数式７で表される。
ＸＢ／ＸＡ＝（ｐ×ｓｉｎαＢ−ｓ×ｃｏｓαＢ）／（ｐ×ｓｉｎαＡ−ｓ×ｃｏｓαＡ）…（数式７）
ただし、数式７は数式５と実質的に等しく、数式６は数式５や数式７の符号を反転したものとなる。
【００５５】
図７に戻って、中心点Ｔから挿入面１８４までの距離ｐを、距離ＬＡと係数Ｆ（Ｆは正数）用いて、例えば、ｐ＝Ｆ×ＬＡとすると、数式５および数式６は、数式８および数式９に変形することができる。
ＸＢ／ＸＡ＝１／（１−Ｆ）×ｃｏｓαＢ／ｃｏｓαＡ−Ｆ／（１−Ｆ）×ｓｉｎαＢ／ｓｉｎαＡ…（数式８）
ＸＢ／ＸＡ＝１／（Ｆ−１）×ｃｏｓαＢ／ｃｏｓαＡ−Ｆ／（Ｆ−１）×ｓｉｎαＢ／ｓｉｎαＡ…（数式９）
【００５６】
かかる数式８および数式９を参照して理解できるように、２つの撮像部１１０ａ、１１０ｂそれぞれの物側主点から中心点Ｔまでの距離ｓ、中心点Ｔから挿入面１８４までの距離ｐ、中心点Ｔから位置Ａまでの距離ＬＡ、中心点Ｔから位置Ｂまでの距離ＬＢの情報が無くとも、位置Ａにおける輻輳角２αＡ、位置Ｂにおける輻輳角２αＢさえ把握できれば、距離ＸＡと距離ＸＢとの比率であるＸＢ／ＸＡを一意に求めることが可能である。
【００５７】
したがって、視差変更部１６２は、輻輳角が２αＡから２αＢに推移した場合においても、挿入面決定部１６０が導出した輻輳角２αＡのときの視差である距離ＸＡに、数式８および数式９によるＸＢ／ＸＡを乗算することで、輻輳角２αＢにおける新たな距離ＸＢ、即ち新たな視差を導出することが可能となる。このようにメッセージデータの視差を随時変更する構成により、輻輳角に対する被写体等の奥行き感にメッセージデータを追従させることができ、再生空間における違和感のない適切な結像位置でメッセージデータを知覚させることが可能となる。
【００５８】
また、視差変更部１６２は、必ずしも数式８や数式９を用いて計算する必要もなく、輻輳角の推移とそのときの視差の比率とを１対１に対応させたテーブルを用いて視差を導出することもできる。かかる構成により、数式８や数式９を計算するための計算負荷を大幅に軽減することが可能となる。
【００５９】
データ重畳部１６４は、挿入面決定部１６０によって導出された視差または視差変更部１６２によって変更された視差に従ってメッセージデータを立体映像データに重畳する。
【００６０】
表示制御部１６６は、データ重畳部１６４によってメッセージデータが重畳された立体映像データを立体表示部１２４に表示する。このとき、表示制御部１６６は、立体表示部１２４の表示形式、例えば、ラインシーケンシャル方式、フレームシーケンシャル方式等に従って、立体映像データを加工する。
【００６１】
図９は、輻輳角の変化によるメッセージデータの知覚を説明するための説明図である。輻輳点を位置Ａとして撮像した後、撮像した立体映像データを再生すると、図９（ａ）に示すように、撮像空間における輻輳点の位置Ａが再生空間における立体表示部１２４の位置に相当するようになり、観察者は、左眼１８８ａおよび右眼１８８ｂを通じて、被写体Ｒとメッセージデータ１８６が立体表示部１２４より飛び出しているように知覚する。そして、輻輳点を位置Ｂに変更した立体映像データを再生すると、図９（ｂ）に示すように、撮像空間における輻輳点の位置Ｂが再生空間における立体表示部１２４の位置に相当するようになり、白抜き矢印で示したように、被写体Ｒの結像位置が観察者側に推移し、観察者は、左眼１８８ａおよび右眼１８８ｂを通じ、被写体Ｒを図９（ａ）の場合と比較して、より飛び出しているように知覚する。
【００６２】
また、本実施形態では、視差変更部１６２によってメッセージデータ１８６にも被写体Ｒ同様の視差をつけるため、観察者は、メッセージデータ１８６も被写体Ｒ同様図９（ａ）の場合と比較して、より飛び出しているように知覚する。
【００６３】
（映像処理装置１００の他の実施例）
上述した映像処理装置１００では、撮像ユニット１１０で撮像された立体映像データにリアルタイムにメッセージデータを重畳する構成を述べた。しかし、本実施形態の目的は、立体映像データに輻輳角、またはそれに相当する輻輳点や、輻輳点までの距離が関連付けられていれば、達成できる。例えば、上述した映像処理装置１００によって立体映像データと輻輳角情報とを関連付けて一旦任意の記録媒体１８０に記録した後、事後的にその輻輳角情報を用いてメッセージデータの視差を被写体の奥行き感に追従させることができる。
【００６４】
したがって、本実施形態の映像処理装置１００では、立体映像データに輻輳角が関連付けられてさえいれば、撮像時とは異なる再生時に、新たなメッセージデータを容易に追加することができ、そのメッセージデータの視差を適切に変更することが可能となる。
【００６５】
（映像処理方法）
次に、上述した映像処理装置１００を用いて、立体映像データにメッセージデータを重畳する映像処理方法について説明する。
【００６６】
図１０は、映像処理方法の具体的な処理の流れを示したフローチャートである。まず、映像処理装置１００の撮像部１１０ａ、１１０ｂは、両眼視差による立体映像を知覚させるための立体映像データを生成し（Ｓ２００）、被写体追尾部１５２は、立体映像データ中の特定された被写体を追尾し（Ｓ２０２）、距離導出部１１２は、輻輳角の二等分線方向における、２つの撮像部１１０ａ、１１０ｂと追尾された被写体との距離である被写体距離を導出し（Ｓ２０４）、輻輳角制御部１１４は、導出された被写体距離に基づいて輻輳角を制御する（Ｓ２０６）。
【００６７】
そして、輻輳角導出部１１６は、２つの撮像部１１０ａ、１１０ｂの輻輳角を導出し（Ｓ２０８）、記憶制御部１５４は、導出された輻輳角を示す輻輳角情報を立体映像データに関連付けてデータバッファ１２０に記憶する（Ｓ２１０）。
【００６８】
続いて、データ取得部１５６は、立体映像データと輻輳角情報とをデータバッファ１２０から取得する（Ｓ２１２）。ここで、立体表示部１２４に重畳可能なメッセージデータが発生すると（Ｓ２１４のＹＥＳ）、メッセージ取得部１５８は、立体映像データに重畳するメッセージデータを取得する（Ｓ２１６）。
【００６９】
そして、メッセージデータの取得が初めてであれば（Ｓ２１８のＹＥＳ）、挿入面決定部１６０は、輻輳角の二等分線と垂直に交わる、メッセージデータの挿入面を決定し（Ｓ２２０）、数式１および数式２を用いてメッセージデータの視差を導出し（Ｓ２２２）、初めてでなければ（Ｓ２１８のＮＯ）、視差変更部１６２は、数式８および数式９を用い、輻輳角情報に示された輻輳角に基づいて、撮像空間における、２つの撮像部１１０ａ、１１０ｂと挿入面１８４との位置関係が変わらないようにメッセージデータの視差を変更する（Ｓ２２４）。
【００７０】
データ重畳部１６４は、導出された視差に従ってメッセージデータを立体映像データに重畳し（Ｓ２２６）、データ出力部１２８は、メッセージデータを重畳した立体映像データを立体表示部１２４に出力する（Ｓ２２８）。ただし、メッセージデータが発生してないと（Ｓ２１４のＮＯ）、データ出力部１２８は、メッセージデータを重畳していない元の立体映像データのみを立体表示部１２４に出力する（Ｓ２２８）。
【００７１】
かかる映像処理方法を用いることで、輻輳角に伴って被写体等の結像位置が変化したとしても、違和感のない適切な結像位置でメッセージデータを知覚させることが可能となる。
【００７２】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７３】
なお、本明細書の映像処理方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００７４】
本発明は、両眼視差によって立体映像を知覚させるための立体映像データを生成する映像処理装置および映像処理方法に利用することができる。
【符号の説明】
【００７５】
１００ …映像処理装置
１１０ａ …撮像部
１１０ｂ …撮像部
１１２ …距離導出部
１１４ …輻輳角制御部
１１６ …輻輳角導出部
１１８ …映像処理部
１２０ …データバッファ
１５２ …被写体追尾部
１５４ …記憶制御部
１５６ …データ取得部
１５８ …メッセージ取得部
１６０ …挿入面決定部
１６２ …視差変更部
１６４ …データ重畳部
【特許請求の範囲】
【請求項１】
両眼視差による立体映像を知覚させるための立体映像データと、前記立体映像データを撮像した２つの撮像部の光軸がなす輻輳角を示す輻輳角情報と、を取得するデータ取得部と、
前記立体映像データに重畳するメッセージデータを取得するメッセージ取得部と、
前記輻輳角の二等分線と垂直に交わる、前記メッセージデータを重畳するための挿入面を決定して、前記メッセージデータの視差を導出する挿入面決定部と、
前記輻輳角情報に示された輻輳角に基づいて、撮像空間における、前記２つの撮像部と前記挿入面との位置関係が変わらないように前記メッセージデータの視差を変更する視差変更部と、
前記視差に従って前記メッセージデータを前記立体映像データに重畳するデータ重畳部と、
重畳した前記立体映像データを出力するデータ出力部と、
を備えたことを特徴とする映像処理装置。
【請求項２】
前記視差変更部は、前記輻輳角が２αＡから２αＢに変化した場合に、ｃｏｓαＢ／ｃｏｓαＡおよびｓｉｎαＢ／ｓｉｎαＡそれぞれに所定の係数を乗じて加算した比率に基づいて視差を変更することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
特定された被写体を追尾する被写体追尾部と、
前記輻輳角の二等分線方向における、前記２つの撮像部と追尾された前記被写体との距離である被写体距離を導出する距離導出部と、
導出された前記被写体距離に基づいて前記輻輳角を制御する輻輳角制御部と、
をさらに備えたことを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
両眼視差による立体映像を知覚させるための立体映像データと、前記立体映像データを撮像した２つの撮像部の光軸がなす輻輳角を示す輻輳角情報と、を取得し、
前記立体映像データに重畳するメッセージデータを取得し、
前記メッセージデータの取得が初めてであれば、前記輻輳角の二等分線と垂直に交わる、前記メッセージデータを重畳するための挿入面を決定して、前記メッセージデータの視差を導出し、初めてでなければ、前記輻輳角情報に示された輻輳角に基づいて、撮像空間における、前記２つの撮像部と前記挿入面との位置関係が変わらないように前記メッセージデータの視差を変更し、
前記視差に従って前記メッセージデータを前記立体映像データに重畳し、
重畳した前記立体映像データを出力することを特徴とする映像処理方法。
【請求項１】
両眼視差による立体映像を知覚させるための立体映像データと、前記立体映像データを撮像した２つの撮像部の光軸がなす輻輳角を示す輻輳角情報と、を取得するデータ取得部と、
前記立体映像データに重畳するメッセージデータを取得するメッセージ取得部と、
前記輻輳角の二等分線と垂直に交わる、前記メッセージデータを重畳するための挿入面を決定して、前記メッセージデータの視差を導出する挿入面決定部と、
前記輻輳角情報に示された輻輳角に基づいて、撮像空間における、前記２つの撮像部と前記挿入面との位置関係が変わらないように前記メッセージデータの視差を変更する視差変更部と、
前記視差に従って前記メッセージデータを前記立体映像データに重畳するデータ重畳部と、
重畳した前記立体映像データを出力するデータ出力部と、
を備えたことを特徴とする映像処理装置。
【請求項２】
前記視差変更部は、前記輻輳角が２αＡから２αＢに変化した場合に、ｃｏｓαＢ／ｃｏｓαＡおよびｓｉｎαＢ／ｓｉｎαＡそれぞれに所定の係数を乗じて加算した比率に基づいて視差を変更することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
特定された被写体を追尾する被写体追尾部と、
前記輻輳角の二等分線方向における、前記２つの撮像部と追尾された前記被写体との距離である被写体距離を導出する距離導出部と、
導出された前記被写体距離に基づいて前記輻輳角を制御する輻輳角制御部と、
をさらに備えたことを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
両眼視差による立体映像を知覚させるための立体映像データと、前記立体映像データを撮像した２つの撮像部の光軸がなす輻輳角を示す輻輳角情報と、を取得し、
前記立体映像データに重畳するメッセージデータを取得し、
前記メッセージデータの取得が初めてであれば、前記輻輳角の二等分線と垂直に交わる、前記メッセージデータを重畳するための挿入面を決定して、前記メッセージデータの視差を導出し、初めてでなければ、前記輻輳角情報に示された輻輳角に基づいて、撮像空間における、前記２つの撮像部と前記挿入面との位置関係が変わらないように前記メッセージデータの視差を変更し、
前記視差に従って前記メッセージデータを前記立体映像データに重畳し、
重畳した前記立体映像データを出力することを特徴とする映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１１９８２５（Ｐ２０１１−１１９８２５Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７３２９０（Ｐ２００９−２７３２９０）
【出願日】平成２１年１２月１日（２００９．１２．１）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月１日（２００９．１２．１）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]