立体映像変換装置及び立体映像表示装置
【課題】立体視用の映像を表示する際に、画面サイズによらず引っ込み方向の視差量を、所定の視差以下で表示することができる立体映像変換装置を提供する。
【解決手段】立体映像変換装置１００は、左右映像を撮像した際の撮像条件である輻輳角変換情報を抽出する撮像条件抽出部１１１と、左右映像を撮像した際の輻輳角を変更する映像変換部１１２とを備える。映像変換部１１２は、撮像条件抽出部１１１で抽出された輻輳角変換情報及び左右映像を表示させる表示画面の表示サイズ情報に基づいて、左右映像の最大視差量を算出し、算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出する輻輳角補正値算出部と、算出した輻輳角補正値に基づいて左右映像を撮像した際の輻輳角を変更させた映像を生成する輻輳角変換処理部とを備える。
【解決手段】立体映像変換装置１００は、左右映像を撮像した際の撮像条件である輻輳角変換情報を抽出する撮像条件抽出部１１１と、左右映像を撮像した際の輻輳角を変更する映像変換部１１２とを備える。映像変換部１１２は、撮像条件抽出部１１１で抽出された輻輳角変換情報及び左右映像を表示させる表示画面の表示サイズ情報に基づいて、左右映像の最大視差量を算出し、算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出する輻輳角補正値算出部と、算出した輻輳角補正値に基づいて左右映像を撮像した際の輻輳角を変更させた映像を生成する輻輳角変換処理部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示する画面サイズに関係なく、規定した視差量以下の立体映像に変換、表示することが可能な立体映像変換装置及び該装置を備えた立体映像表示装置に関する。
【背景技術】
【０００２】
立体表示装置を用いて立体映像の立体視を行うには、左眼と右眼とにそれぞれの視点に合った異なる映像を表示する必要がある。この異なる映像は両眼視差をもって撮影された左右画像であり、視聴者の両眼にそれぞれの左右画像を入射させることで、左右画像の視差量に応じた立体視が可能となる。
【０００３】
左右画像の視差量は、立体視する際にどの程度ディスプレイ面より手前側に飛び出させるか、または、ディスプレイ面より奥方向に引っ込ませるかの大きな要因となる。例えば、表示装置の手前に飛び出させる場合には右眼用の画像は左眼用の画像と比較し左側に、左眼用の画像は右眼用の画像と比較し右側に表示させることで達成される。この時、左右画像の視差量が大きいほど飛び出し量は大きくなる。また、逆の視差量をもたせることで、表示装置の表示面の奥側に引っ込ませて表示をすることが可能となる。例えば、右眼用の画像は左眼用の画像と比較し右側に、左眼用の画像は右眼用の画像と比較し左側に表示させることでディスプレイ面の奥方向に引っ込ませて立体視させることができる。この時、左右画像の視差量が大きくなるほど、奥方向への引っ込み量は大きくなる。また、左右画像の視差がない場合は、ディスプレイ面上に表示されているように見える。
【０００４】
つまり、表示された左右画像の視差量に応じて、立体視した際の奥行きが変わることになる。表示させる視差量に関しては、大きな視差量で表示することで眼精疲労の原因になったり、融合できなかったりする（融合限界）可能性が示唆されているため、注意が必要である。このような立体表示時の視差量に関する注意事項に関しては３Ｄコンソーシアムから発行されている「３ＤＣ安全ガイドライン」などでも提起されている。特に、奥行き方向に引っ込ませて表示する場合には、視聴者の瞳孔間隔以上の視差がついた表示では左右の眼球が開放方向を向くことになるため、眼精疲労の原因になり易く注意が必要である。ここで、同じ撮影条件で撮影されて、保存された左右画像を表示する際に、表示装置の大きさによって視差量が変わるため、大画面での視聴では大きな視差で表示される問題がある。
【０００５】
画面サイズの違いによる視差の問題に関して図１３に基づいて説明する。図１３（Ａ），（Ｂ）はそれぞれ画面サイズの異なる立体映像表示装置を視聴している状況を示した概要図で、図中、３０３は立体映像表示装置を示す。図１３（Ａ），（Ｂ）では表示サイズ以外の視聴条件は同一のもとしており、両眼間隔３００の視聴者Ｘが共に同じ左右の映像データを表示した立体映像表示装置３０３を視聴している。図１３（Ａ）では立体映像表示装置３０３の画面幅はＷａであり、図１３（Ｂ）では立体映像表示装置３０３の画面幅はＷｂとなっており、Ｗａ＜Ｗｂの関係となっている。
【０００６】
映像データは同一であるため、図１３（Ａ）における左右映像中の対象点３０２Ｌ，３０２Ｒは、図１３（Ｂ）においてはそれぞれ画面サイズの大きさに比例した位置である対象点３０２Ｌ′、３０２Ｒ′に表示される。ここで対象点の視差量は図１３（Ａ）では視差量ｄａであるが、図１３（Ｂ）の場合、画面サイズが変わるため、表示画面サイズに応じて視差量ｄｂのように拡大されて表示される。このため、図１３（Ｂ）のように両眼間隔３００以上の視差がつく場合が生じる。このように同じ左右の映像データであってもどのようなサイズで表示するかが重要となる。
【０００７】
ここで、撮影画像の視差に関して簡単に説明する。
左右映像を撮影する立体撮像装置では立体映像表示時での立体感を変化させるために２つの撮像装置の光軸に角度をつけて輻輳配置にした撮像システムがある。このように２つの撮像装置が内側を向くように輻輳を付けて左右に配置した場合、右側の撮像装置の撮像視野と左側の撮像装置の撮像視野との関係は、被写体の奥行きに応じて変化する。被写体が手前にある場合は、右側の撮像装置の撮像視野は右側に、左側の撮像装置の撮像視野は左側に位置するが、左右の撮像装置の光軸が交差する点である輻輳点では右側の撮像装置の撮像視野と左側の撮像装置の撮像視野とが一致する。さらに奥の被写体では、右側の撮像装置の撮像視野は左側に、左側の撮像装置の撮像視野は右側に位置し、左右の関係が逆転する。これを表示装置に、右側の撮像装置の画像を右眼に、左側の撮像装置の画像を左眼に表示させると、手前の被写体に対しては表示装置の手前に飛び出して見え、輻輳点の被写体は表示装置の表示面と同じ位置に見え、それより奥の被写体は表示装置の表示面より引っ込んで見えるようになる。
【０００８】
各撮像装置単体の撮影条件が変わらない場合、このような２つの撮像装置の光軸のなす角である輻輳角や輻輳点により、ディスプレイ面の位置や視差量が規定される。輻輳を調整することで、注目する被写体への奥行き感の調整が行いやすいといった特徴がある一方で、輻輳のついた撮像装置で撮影された画像では背景などの遠方被写体の視差がつきやすいという問題がある。そのため、このような輻輳で撮影された画像に対しては特に、上記したように表示される画面サイズにおける視差量への注意が必要となる。
【０００９】
上記した表示サイズによる視差量の調整に関して、左右画像の対応する領域ごとの視差量を算出し、算出された視差量に合わせて、撮像装置で撮影された左右画像の水平方向の表示位置である相対位置を変えて表示させる技術が開示されている（例えば、特許文献１を参照）。この特許文献１に記載の技術は、再生する画像の左右の相対位置を変えることで左右画像の視差量を変化させるもので、表示装置ごとに異なった表示位置で再生し、視差量を変化させることを可能としている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平８−９４２１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１に記載の技術では、ディスプレイの奥方向に表示される被写体の視差量を小さくさせるように左右画像の相対位置を変化させると、輻輳点より前に写る被写体（ディスプレイより前に飛び出し表示される）の視差量は急激に増加してしまう。また、逆に手前の視差量を小さくするように左右画像の相対位置を変化させると、輻輳点より後ろに写る被写体（ディスプレイより奥に引っ込み表示される）の視差量は急激に増加してしまうという課題がある。この視差量の変化に関して図１４に基づいて簡単に説明する。
【００１２】
図１４は、輻輳のついた２つの撮像装置で得られた画像の相対位置を変化させた場合の視差量の変化を模式的に示した図である。図１４において２つの撮像装置３１１Ｌ、３１１Ｒのそれぞれの光学中心を３１２Ｌ、３１２Ｒとし、距離Ｌｐの位置にある点Ｐを輻輳点とする。この時の距離Ｌ１、Ｌ２のある一点での視差量は３１４ａ、３１４ｂである。背景の視差量を低減させるように相対位置を変化させた場合、左右の撮像装置３１１Ｌ、３１１Ｒの光学中心はそれぞれの光学中心３１３Ｌ、３１３Ｒとなる。
【００１３】
この時、視差量３１４ａ、３１４ｂはそれぞれ視差量３１５ａ、３１５ｂとなり、輻輳点Ｐより後方では低減されているものの、輻輳点Ｐより前方では大きく拡大していることがわかる。また、立体視の際には輻輳点Ｐの位置がディスプレイ面上に見えていたが、左右画像の相対位置を変化させることでディスプレイ面は点Ｑの位置（距離Ｌｑ）へと変化する。このため、立体視の際には輻輳点の位置が変わったように認識され、ディスプレイ面上に表示される被写体の位置も変化してしまい、表示画像における飛び出しと引っ込みの割合が異なった立体表示となる（視差０の位置が大きく変化する）。さらには左右映像の領域ごとの視差量の算出が必要であり、処理量が非常に大きなものとなってしまう。
【００１４】
本発明は、上述の実情に鑑みてなされたもので、立体視用の映像を表示する際に、画面サイズによらず引っ込み方向の視差量を、所定の視差以下で表示することができる立体映像変換装置及び該装置を備えた立体映像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明の第１の技術手段は、視点の異なる２つ以上の映像を入力し、該入力した２つ以上の映像の輻輳角を変更して出力する立体映像変換装置であって、前記２つ以上の映像を撮像した際の撮像条件である輻輳角変換情報を抽出する撮像条件抽出部と、前記２つ以上の映像を撮像した際の輻輳角を変更する映像変換部とを備え、該映像変換部は、前記撮像条件抽出部により抽出された輻輳角変換情報及び前記２つ以上の映像を表示させる表示画面の表示サイズ情報に基づいて、前記２つ以上の映像の最大視差量を算出し、該算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出する輻輳角補正値算出部と、該算出した輻輳角補正値に基づいて前記２つ以上の映像を撮像した際の輻輳角を変更させた映像を生成する輻輳角変換処理部とを備えたことを特徴としたものである。
【００１６】
第２の技術手段は、第１の技術手段において、前記映像変換部は、前記輻輳角変更前の輻輳点の位置と前記輻輳角変更後の輻輳点の位置とが一致するように前記輻輳角変換処理部で生成された映像の相対位置を変換する相対位置変換処理部を備えたことを特徴としたものである。
【００１７】
第３の技術手段は、第１又は第２の技術手段において、前記輻輳角変換処理部は、前記２つ以上の映像の最大視差量を低減させるように輻輳角を変更させることを特徴としたものである。
【００１８】
第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記予め指定された最大視差量は、視聴者の目幅間隔であることを特徴としたものである。
【００１９】
第５の技術手段は、第４の技術手段において、前記視聴者の目幅間隔は、５ｃｍであることを特徴としたものである。
【００２０】
第６の技術手段は、第１又は第２の技術手段において、前記輻輳角変換処理部は、前記２つ以上の映像の最大視差量を拡大させるように輻輳角を変更させることを特徴としたものである。
【００２１】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記撮像条件抽出部は、前記撮像条件として、さらに、前記２つ以上の映像を撮像した際の基線長情報及び画角情報を抽出し、前記輻輳角補正値算出部は、前記表示サイズ情報、前記輻輳角情報、前記基線長情報、及び前記画角情報に基づいて、前記２つ以上の映像の最大視差量を算出し、該算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出することを特徴としたものである。
【００２２】
第８の技術手段は、第１〜第７のいずれか１の技術手段において、前記撮像条件抽出部は、前記２つ以上の映像のメタデータから前記撮像条件を抽出することを特徴としたものである。
【００２３】
第９の技術手段は、第１〜第７のいずれか１の技術手段において、前記撮像条件抽出部は、前記２つ以上の映像それぞれを撮像した撮像装置を特定する機器情報に基づいて、該機器情報と前記撮像条件とが対応付けられたテーブルを参照することで前記撮像条件を抽出することを特徴としたものである。
【００２４】
第１０の技術手段は、第１〜第９のいずれか１の技術手段における立体映像変換装置を備えた立体映像表示装置である。
【発明の効果】
【００２５】
本発明によれば、どのような画面サイズで表示しても輻輳点の変位と飛び出しの視差の拡大を低減しつつ、引っ込み方向の視差量を所定の視差量以下に調整して表示させることができるため、視聴者に眼精疲労などの負担をかけることがない。
また、輻輳点の位置を変化させずに、引っ込み方向の視差量を所定の視差量以下に調整することができるため、ディスプレイ面上に表示される視差０の被写体位置が変化することがない。
【図面の簡単な説明】
【００２６】
【図１】本発明による立体映像変換装置の概略構成例を示す図である。
【図２】輻輳のついた撮像装置で撮影した場合の光学系を上方から見た場合の概略図である。
【図３】輻輳配置となった２つの撮像装置の視差に関して説明するための図である。
【図４】表示画面上での視差量を示す図である。
【図５】画面幅に対する視差量の割合と視距離との対応関係の一例を示す図である。
【図６】本発明の第１の実施例に係る映像変換部の構成例を示すブロック図である。
【図７】輻輳角補正値算出部の処理の一例を説明するためのフロー図である。
【図８】本発明の第１の実施例における輻輳角変換処理の概要を説明するための図である。
【図９】輻輳角変換による視差量と左右画像の相対位置を変えた場合の視差量とを比較して説明するための概念図である。
【図１０】本発明の第２の実施例に係る映像変換部の構成例を示すブロック図である。
【図１１】本発明の第２の実施例における輻輳角変換処理及び映像相対位置変換処理の概要を説明するための図である。
【図１２】片側の撮像装置にのみ輻輳角がついた場合の輻輳角変換処理の概要を説明するための図である。
【図１３】画面サイズの違いによる視差の問題に関して説明するための図である。
【図１４】輻輳のついた２つの撮像装置で得られた画像の相対位置を変化させた場合の視差量の変化を模式的に示した図である。
【発明を実施するための形態】
【００２７】
以下、本発明に係わる立体映像変換装置及び該装置を備えた立体映像表示装置について各実施例を挙げ図面を参照しながら説明する。
【００２８】
＜第１の実施例＞
図１は、本発明による立体映像変換装置の概略構成例を示す図である。図１（Ａ）は立体映像変換装置を含む立体映像変換システムの構成例を示す図で、図中、１００は立体映像変換装置、１０１は映像入力装置、１０２は映像出力装置を示す。また、図１（Ｂ）は立体映像変換装置１００の構成例を示すブロック図である。この立体映像変換装置１００は、撮像条件抽出部１１１、映像変換部１１２を備え、映像入力装置１０１から得られる２つ以上の視点の異なる映像の一例として左右の映像を撮像した際の輻輳角を変更（例えば、射影変換など）し、この輻輳角が変更された左右映像を映像出力装置１０２に出力する。
【００２９】
また、映像入力装置１０１または立体映像変換装置１００に入力する左右映像は、例えばサイド・バイ・サイド方式のように１枚の映像（１フレーム）中に異なる視点の映像が混在している場合も含み、２つ以上の視点の異なる映像が映像入力装置１０１または立体映像変換装置１００に入力されればよく、２つ以上の視点の異なる映像を転送する方式（フォーマット）はどのようなものであっても良い。
【００３０】
映像入力装置１０１は、例えば、立体映像撮像装置１０１ａ、再生装置１０１ｂ、通信ネットワーク１０１ｃなどであり、両眼視差をもつ左眼・右眼用の映像を立体映像変換装置１００へ入力する。立体映像変換装置１００は、映像入力装置１０１から入力された左右映像に対して、指定最大視差量、表示画面の表示サイズ情報、及び撮像条件情報に基づいて、映像変換部１１２が左右映像の例えば射影変換を行い、表示画面サイズの大きさに関わらず、予め指定された最大視差量以内で表示させる左右映像を生成する。映像変換部１１２で生成された左右映像は映像出力装置１０２に渡される。映像出力装置１０２は、左右映像を立体映像として表示する立体映像表示装置１０２ａ、左右映像を保存する記録装置１０２ｂ、左右映像の伝送を行う通信ネットワーク１０２ｃなど、目的に応じて立体映像変換装置１００からの左右映像を出力するものである。なお、立体映像表示装置１０２ａが立体映像変換装置１００を一体的に備える構成としてもよい。
【００３１】
以下では、立体映像変換装置１００への入力映像は輻輳のついた撮像装置で撮影された両眼視差をもつ立体視用の映像である場合を代表例として説明する。
図２は、輻輳のついた撮像装置で撮影した場合の光学系に関して上方から見た場合の概略図である。図２では簡略化のため２次元で表記し、２つの撮像装置のうち片側の撮像装置のみ記載している。２つの撮像装置２０１Ｌと２０１Ｒが基準面２０２上に左側に左撮像装置２０１Ｌ、右側に右撮像装置２０１Ｒとなるように距離Ｗｂの間隔で配置されている。
【００３２】
撮像装置２０１Ｌ、２０１Ｒはそれぞれ内側に傾くような輻輳をもっており、その時の左撮像装置２０１Ｌの光学中心を中心軸ＣＬとする。また、左撮像装置２０１Ｌは撮影画角２０３で撮影され、その場合の撮影範囲の両端が左端２０４ａと右端２０４ｂである。撮像装置２０１Ｌで撮影された映像では画角２０３内（左端２０４ａと右端２０４ｂの間の領域）に配置されている被写体が撮影される。ここで、基準面２０２から距離Ｌｏ離れた平面２０５上に被写体Ｏがあり、被写体Ｏを通り中心軸ＣＬに対して垂直でかつ画角端２０４ａ、２０４ｂの範囲の平面を２０６、また、中心軸ＣＬに対して垂直でかつ撮像装置２０１Ｌの原点（基準面２０２と中心軸ＣＬとの交点）から焦点距離ｆ離れた平面上にある仮想のセンサ面を２０７とすると、被写体Ｏはセンサ面２０７上の結像点Ｏ′に結像される。
【００３３】
この時、センサ面２０７の幅ｗｃに対するセンサ面２０７上で中心軸ＣＬと結像点Ｏ′間の距離ｗ′の割合は平面２０６の幅ｗに対する平面２０６上での中心軸ＣＬと被写体Ｏとの距離ｄＬとの割合と等価である。ここで、この割合を距離Ｌｏでの画像幅に対する視差の割合をＤＬとすると、視差の割合ＤＬは下記のように示される。
ＤＬ ＝ ｗ’／ｗｃ ＝ ｄＬ／ ｗ …式（１）
これより、撮像装置２０１Ｌで撮影された映像をそのまま表示させると表示画面幅Ｗに対して（Ｗ×ＤＬ）分だけ中心よりずれた位置に被写体Ｏが表示されることになる。
【００３４】
ここで、同様に右の撮像装置でも考える。図３には左右の撮像装置が互いに内側に向くように輻輳して配置されている状態を示している。図２と同じ記号に関しては同様のものを示している。図３において、２つの撮像装置２０１Ｌと２０１Ｒは距離Ｗｂの間隔で配置され、それぞれの撮像装置の中心軸は撮像装置２０１Ｌでは中心軸ＣＬ、撮像装置２０１Ｒでは中心軸ＣＲとなっている。２つの中心軸ＣＬとＣＲの交点は輻輳点Ｐであり、基準面２０２から輻輳点Ｐまでの距離を輻輳点距離Ｌｐ、光軸ＣＬ，ＣＲのなす角を輻輳角θとする。ここで、基準面２０２から距離Ｌｏ離れたところに被写体Ｏが存在する場合、図２での説明と同様に２つの撮像装置での撮影画像での被写体Ｏの画像幅に視差の割合ＤＬ，ＤＲは、被写体Ｏを通りそれぞれの光軸に対して垂直な面上での距離ｄＬ，ｄＲを用いて、
ＤＬ ＝ ｄＬ／ ｗＬ …式（２）
ＤＲ ＝ ｄＲ／ ｗＲ …式（３）
と表される。ここでｗＬ、ｗＲは前述の図２のｗに対応し、それぞれのカメラにおいての点Ｏを通り、光軸に垂直でかつ撮影画角内における幅に相当する。
【００３５】
そして、２つの撮像装置で撮影された画像を立体視用の画像として表示した場合、図４に示す表示画面４００により例示すると、被写体Ｏは撮像装置２０１Ｌの画像ではＯＬに、撮像装置２０１Ｒの画像ではＯＲにと左右画像で異なった位置に表示される。この時の表示上の視差量を視差量ｄとする。視差量ｄは視差の割合ＤＬ，ＤＲに応じた視差の合計で決まり、例えば、表示画面４００の画面幅がＷの場合には、
ｄ＝（ＤＬ＋ＤＲ）×Ｗ …式（４）
で示される。
【００３６】
つまり、距離Ｌｏ上に存在する被写体Ｏは画面幅Ｗで表示される場合には視差量ｄとして表示されることがわかる。ただし、ここでは撮像装置からの取得画像をそのまま表示させた場合として説明している。左右映像の切り出しなどをおこなっている場合は、切り出し位置やサイズに応じた補正が必要である。その場合、光学中心と切り出し中心の位置や切り出しサイズの割合を係数として視差量ｄを補正する。また、輻輳がついているため、基準面２０２と各撮像装置の光軸と垂直な平面とが平行ではないが、輻輳角による左右映像間の歪みを補正するために同一平面上に補正する場合は、入力映像は基準面２０２と平行な面に変換した画像でも構わない。その場合、視差量ｄは変換パラメータに応じた補正を加えればよい。また、厳密には撮像装置２０１のセンサは画素をもつため、画素被写体の結像点Ｏ′はセンサ面２０７上のある画素に結像されることになる。そのため、画素ピッチや大きさによって画素単位で変位することになるが、微小量であるためここでは画素の概念を外して説明している。
【００３７】
次に、輻輳角による遠景の最大視差に関して説明する。
通常の映像には視差量の大きな被写体と視差量の小さな被写体とが含まれているが、例えば、入力映像に含まれるある被写体の視差量が表示画面幅Ｗに対してｔ％であれば、表示装置で表示される視差量は表示画面幅Ｗのｔ％となり、視差量は、Ｗ×ｔ／１００、となる。ここで、被写体距離と視差の対応関係について例を用いて説明する。例えば、前述の図３において、撮像装置の間隔Ｗｂを６５ｍｍ、撮像装置の画角を５２度、輻輳角θを２.５度とした場合、輻輳点までの距離は約１.５ｍとなり、１.５ｍより遠方の被写体には引っ込み方向の視差がつく。このような撮影条件において、被写体Ｏの距離Ｌｏの値を輻輳点からさらに遠方に変化させた場合に被写体Ｏにおける画面幅に対する視差量の割合がどのように変化するのかを図５に示す。図５に示すように被写体Ｏが無限遠にある場合には表示画面幅に対する視差量の割合はある一定の値の約４.５％に収束する。この場合、例えば表示画面幅が１３２.９ｃｍである映像表示装置に表示した際には、最大視差量は１３２.９×４.５／１００≒６.０ｃｍとなり、子供の平均的な目幅間隔の５ｃｍよりも大きな視差となる。
【００３８】
一般的に２つの撮像装置から得られた遠方の視差の割合は無限遠で収束し、この収束値は撮像装置間の輻輳角や基線長、撮像装置の画角によっても変化する。例えば、被写体Ｏにおける視差の割合ＤＬ＋ＤＲは、２つの撮像装置の画角を同じ値θｖとし、２つの撮像装置の光軸となす角度が平面２０２に対して垂直な面上で等分されるとすると、Ｏが無限遠にあるものとした場合、撮像装置の画角θｖと２つの輻輳角θを使って近似的に、
ＤＬ＋ＤＲ≒α×（Ｔａｎ（θ／２）／Ｔａｎ（θｖ／２）） …式（５）
と示すことができる。ここでαはカメラ配置やカメラパラメータで決まる画角と輻輳角に依存しない係数である。つまり、最大の視差の割合である収束値は輻輳角θと撮像装置の画角θｖによって示すことができる。ただし、ここでは無限遠Ｌ０に対して基線長は十分に小さくなる値としている。また、θが０の場合、つまり２つの撮像装置が平行に配置されている場合は、無限遠の視差の割合は０に収束する。
【００３９】
このような収束値を遠方の最大視差の割合Ｘとすると、輻輳の構成で撮影された映像を画面幅Ｗのディスプレイで表示した場合、引っ込み方向の視差として最大でＷ×Ｘ／１００の視差がつく場合がある。前述したように立体視において、引っ込み方向の視差が視聴者の目幅間隔以下にするなど、ある規定値以下に抑えて表示する必要がある。このように、最大視差の割合Ｘは撮像条件情報からを算出することが可能であり、また、その対象となる画像においては得られた最大視差の割合を超える視差はつかないとも言えるため、左右映像の最大視差量の割合Ｘを基準とすることで表示される最大視差量を規定することができる。図５で示すように、一般的に距離に対する視差の割合は急激に増加するため、ユーザが輻輳のついた撮像装置で撮影した場合には、背景に遠方の被写体が入る場合が多く、画像の立体視時での背景の視差が最大視差の割合Ｘに近い視差となる可能性は高くなり、左右映像の最大視差Ｗ×Ｘ／１００であるとみなしてもさほど問題とはならない。そのため、本発明では左右映像の最大視差量の割合Ｘを基準とすることで画面全体の視差量の制御を行う。
【００４０】
撮像条件抽出部１１１は、前述したような左右映像の最大視差の割合を算出するための撮像条件を抽出する。具体的には、入力された左右映像について、撮像装置の位置関係を示すパラメータと撮像装置のカメラパラメータとを取得し、変換に必要な情報である輻輳角変換情報を映像変換部１１２へと受け渡す。撮像装置の位置関係を示すパラメータとしては、左右映像を撮像した２つの撮像装置の光軸間の角度である輻輳角情報や、２つの撮像装置の間隔（すなわち、２つの撮像装置の光学中心の間隔）を示す基線長情報を抽出する。この輻輳角は、輻輳点までの距離情報と基線長から算出しても構わない。また、撮像装置のカメラパラメータとしては、撮像装置の撮影範囲を示す画角情報と撮影解像度とを抽出する。画角情報は撮像装置の焦点距離とセンササイズの情報を用いることで算出しても構わない。
【００４１】
このような撮像装置間の位置関係を示すパラメータや、個々のカメラの撮影条件を示すパラメータを抽出する一つの方法としては、左右映像を記録した映像ファイルのメタデータから抽出することが考えられる。例えば、静止画の場合、左右画像を格納するファイルフォーマットとして、一般社団法人カメラ映像機器工業会（ＣＩＰＡ）が規格化している「ＣＩＰＡ ＤＣ−００７ マルチピクチャーフォーマット（ＭＰＦ）」があり、このようなファイルには、メタデータに基線長情報や輻輳角情報を入力する領域が存在する。このようなファイルのメタデータから必要なパラメータを抽出することができる。撮影画角などの撮像装置の光学情報は、各画像のＥｘｉｆデータより抽出することも可能である。例えば、撮影画像のＥｘｉｆデータのうち撮影時の焦点距離情報や画像サイズ、画素密度情報などから画角を求めてもよい。撮影画角に関しては３Ｄ表示時の画角を基準とし、切り出しなどされている場合は、切り出しサイズ分の補正が必要である。
【００４２】
もし、メタデータから必要な情報が得られない場合は、左右映像を撮像した撮像装置を特定する機器情報に基づいて、その機器情報と、位置関係を示すパラメータや個々のカメラの撮影条件を示すパラメータとが対応付けられたテーブルを参照することで輻輳角情報などの必要なパラメータを取得するものでも構わない。例えば、撮像条件抽出部１１１が、撮像装置の機器情報（機器固有の機器名など）と、上記の各パラメータとを対応付けたパラメータ参照テーブルを保持してもよい。撮像条件抽出部１１１は、左右映像を撮像した撮像装置の機器名を取得すると、パラメータ参照テーブルからその機器名に対応したパラメータを抽出する。なお、機器名は画像ファイルのＥｘｉｆやＨＤＭＩ（High Definition Multimedia Interface）で接続した際にＥＤＩＤ（Extended Display Identification Data）などから取得できる。機器名とパラメータはネットワークや放送波などを利用して更新することも可能である。また、パラメータ参照テーブルは、撮像条件抽出部１１１に保持しているものとして説明したが、このテーブルが外部にあり、ネットワークを通じて参照する方法でも構わない。撮像条件抽出部１１１ではこのようにして得られた変換用のパラメータを映像変換部１１２へと出力する。
【００４３】
次に、表示サイズ情報に関して説明する。ここでの表示サイズ情報は、映像変換部１１２から出力される左右映像が表示される表示画面の画面サイズを示し、実際に表示される画面幅に関する情報である。立体映像表示装置１０２ａに接続された場合には、立体映像表示装置１０２ａから表示画面サイズを取得し、また、記録装置１０２ｂへの保存や、通信ネットワーク１０２ｃに出力する場合には想定される表示画面サイズとなる。想定される表示画面サイズは例えばユーザが指定する方法などでも構わない。このように、立体映像表示装置１０２ａから取得またはユーザにより指定された表示サイズ情報は立体映像変換装置１００の映像変換部１１２へ入力される。
【００４４】
次に、指定最大視差量に関して説明する。指定最大視差量は立体表示された場合に、実際に表示される引っ込み方向の最大視差量の値であり、視聴者が表示画面を見た際に視認される視差量（実寸値）である。例えば、引っ込み方向の視差量は目幅間隔以上では眼精疲労の原因になりやすいため、最大視差量は視聴者の目幅間隔以下に設定する。視聴者の目幅間隔は一般的には大人では６５ｍｍ、子供では５０ｍｍと言われている。そのため、子供の視聴も考慮して指定最大視差量を子供の平均目幅間隔である５０ｍｍ以下とするのが望ましい。このため、指定最大視差量として例えば５０ｍｍを指定すると、出力映像を表示サイズ情報に対応したサイズで立体表示させた際には、引っ込み方向の視差は５０ｍｍ以下として表示される。なお、ここでは指定最大視差量を５０ｍｍに指定したが、ユーザが適宜指定するものでもよく、ユーザの好み、個人差を考慮した視差量での表示が可能となる。このように指定された指定最大視差量は立体映像変換装置１００の映像変換部１１２へ入力される。
【００４５】
〔映像変換部〕
図６は、本発明の第１の実施例に係る映像変換部１１２の構成例を示すブロック図である。映像変換部１１２は、撮像条件抽出部１１１で抽出された輻輳角変換情報及び左右映像を表示させる表示画面の表示サイズ情報に基づいて、左右映像の最大視差量を算出し、算出した最大視差量が予め指定された指定最大視差量以下となる輻輳角補正値を算出する輻輳角補正値算出部１１２ａと、輻輳角補正値算出部１１２ａで算出した輻輳角補正値に基づいて左右映像を撮像した際の輻輳角を変更させた映像を生成する輻輳角変換処理部１１２ｂとから構成される。
【００４６】
すなわち、映像変換部１１２は、撮像条件抽出部１１１から入力される左右映像の輻輳角変換情報と、左右映像を表示する表示画面の表示サイズ情報とから、表示装置の表示画面より奥側に引っ込む方向の最大視差量を算出し、算出した最大視差量が指定最大視差量を超えていないかを判定する。超えている場合は、表示装置の表示画面より奥側に引っ込む方向の最大視差量が指定最大視差量以下の視差量となるように、左右映像の輻輳角を調整した映像を生成し、これを出力する。また、算出した最大視差量が指定最大視差量を超えていない場合は、左右映像をそのまま出力する。
【００４７】
〔輻輳角補正値算出部〕
次に、輻輳角補正値算出部１１２ａの処理の一例について、図７のフローチャートに基づいて説明する。輻輳角補正値算出部１１２ａは、左右入力映像の輻輳角変換情報と、左右入力映像を表示する表示装置の表示サイズ情報とを入力し、表示装置の表示画面より奥側に引っ込む方向の最大視差量を算出する（ステップＳ１）。そして、算出した最大視差値が最大視差量情報によって示される指定最大視差量を超えているか否かを判定する（ステップＳ２）。指定最大視差量を超えている場合（ＹＥＳの場合）、表示装置の表示画面より奥側に引っ込む方向の左右入力映像の最大視差値が指定最大視差量以下となるように輻輳角を調整するための輻輳角補正値を左右入力映像毎に算出する（ステップＳ３）。また、ステップＳ２において、指定最大視差量を超えていない場合（ＮＯの場合）、左右入力映像の輻輳角補正値をともに０にする（ステップＳ４）。そして、算出した左右入力映像毎の輻輳角補正値を輻輳角変換処理部１１２ｂへ出力する。
【００４８】
ステップＳ１での入力画像に対応する最大視差量の算出には、前述したように、撮像条件抽出部１１１から受け渡された輻輳角情報や撮影画角情報などの輻輳角変換情報を用いて入力画像の最大視差の割合Ｘを算出する。この場合、表示サイズ情報より表示画面の幅Ｗが得られるので、その表示サイズで入力画像を表示した場合には最大視差量ｄは、ｄ＝Ｗ×Ｘ／１００となる。次に、ステップＳ２において、入力された指定最大視差量ｄ’と比較を行い、ｄ＞ｄ’であればステップＳ３にて指定最大視差量以下となるように補正値算出を行う。ここで、視差量をｄ’とするためには補正後の視差の割合Ｘ’が、Ｘ’＝ｄ’／Ｗ×１００（％）となるように輻輳角を変換する必要がある。撮影画角が固定である場合、最大の視差の割合は輻輳角によって規定できるため、最大の視差の割合がＸとなる場合の輻輳角をθ、最大の視差が割合Ｘ’となる場合の輻輳角をθ’とすると、輻輳角の変化量Δθ＝θ’−θに対応する左右入力映像ごとの輻輳角補正値を輻輳角変換処理部１１２ｂへ出力する。
【００４９】
本例では、指定最大視差量を例えば、５ｃｍ、表示サイズ情報から得られた表示画面幅が１０１.８ｃｍとした場合に、入力画像の最大視差の割合と表示画像幅１０１.８ｃｍから算出した視差量が５ｃｍを超えている場合には変換が必要になる。変換後の最大視差の割合Ｘ’はＸ’＝５０／１０１８×１００から求められ、この場合、Ｘ’＝４.９％となる。前述の式（５）より、この場合での輻輳角θ’を算出し、撮像条件抽出部１１１から得られた輻輳角θとの差分Δθに対応する左右画像の輻輳角補正値をそれぞれ求める。例えば左右の撮像装置が同量の輻輳角で配置されている場合には、左右画像の輻輳角補正値はΔθ／２となる。
【００５０】
〔輻輳角変換処理部〕
次に、輻輳角変換処理部１１２ｂについて説明する。輻輳角変換処理部１１２ｂは、輻輳角補正値算出部１１２ａにて算出した左右入力映像毎の輻輳角補正値に基づいて、入力左右映像の映像変換を行って、最大視差量が指定最大視差量以下となるように輻輳角を変換した左右映像を出力する。
【００５１】
以下、図８に基づいて輻輳角変換による画像変換処理について説明する。まず、基本的なモデルとして輻輳のない平行配置から輻輳を付けた配置への変換を例にしての輻輳角変換に関して述べる。左撮像装置２０１Ｌと右撮像装置２０１Ｒが平行法にて立体画像を撮影する場合は、各撮像装置の光軸がベースラインＷｂと垂直となるように設置する。平行法の場合の左右撮像装置の光軸をＺｐＬ、ＺｐＲとすると、各々の光軸は平行となる。また、左右撮像装置が交差法にて立体画像を撮影する場合は、左右撮像装置の光軸が交差する点（以下、クロスポイント）が発生する。このクロスポイントを通り、平行法の場合の左右撮像装置の光軸ＺｐＬ、ＺｐＲと平行である軸をＺＣとする。
【００５２】
ここで、クロスポイントが図８に示すＺＣ軸上の点Ｐの位置となるように左撮像装置２０１Ｌに輻輳角を付けるには、光学中心ＯｃＬを中心にθＬだけ光軸ＺｐＬを紙面右側に回転させる。同様に、右撮像装置２０１Ｒに輻輳角を付けるには、光学中心ＯｃＲを中心にθＲだけ光軸ＺｐＲを紙面左側に回転させる。回転後の左撮像装置２０１Ｌの３次元座標系は、光軸（Ｚ軸）がＺｃＬ、Ｘ軸がＸｃＬ、Ｙ軸が図８の紙面奥側と表わすことができる。同様に、回転後の右撮像装置２０１Ｒの３次元座標系は光軸（Ｚ軸）がＺｃＲ、Ｘ軸がＸｃＲ、Ｙ軸が図８の紙面奥側と表わすことができる。左撮像装置２０１Ｌの輻輳角成分θＬと、右撮像装置２０１Ｒの輻輳角成分θＲを用いてクロスポイントＰの輻輳角θを表すと、下記のようにθＬとθＲの和で表わすことができる。
θ＝θＬ＋θＲ …式（６）
【００５３】
次に、本実施例における輻輳角の変換方法について詳細に説明する。左撮像装置２０１Ｌおよび右撮像装置２０１Ｒの各３次元座標系について、各々のＹ軸を中心に回転させることにより輻輳角を変換することができる。左撮像装置２０１Ｌは、光学中心ＯｃＬを中心に−θｙＬだけ光軸ＺｃＬを紙面左側に回転させる。同様に、右撮像装置２０１Ｒは、光学中心ＯｃＲを中心にθｙＲだけ光軸ＺｃＲを紙面右側に回転させる。
【００５４】
回転後（輻輳角変換後）の左撮像装置２０１Ｌの３次元座標系は、光軸（Ｚ軸）がＺｃＬ′、Ｘ軸がＸｃＬ′、Ｙ軸が図８の紙面奥側となる。同様に、右撮像装置２０１Ｒの３次元座標系は、光軸（Ｚ軸）がＺｃＲ′、Ｘ軸がＸｃＲ′、Ｙ軸が図８の紙面奥側となる。輻輳角の変換によって、変換前のクロスポイントＰがＰ′に移動する。クロスポイントＰ′の左撮像装置２０１Ｌの輻輳角成分θＬ′と、右撮像装置２０１Ｒの輻輳角成分θＲ′は、下記のように表すことができる。
θＬ′＝θＬ−θｙＬ …式（７）
θＲ′＝θＲ−θｙＲ …式（８）
なお、θｙＬ及びθｙＲは輻輳角補正値に相当する。
【００５５】
さらに、クロスポイントＰ′の輻輳角θ′は、θＬ′とθＲ′の和で表わすことができる。
θ′＝θＬ′＋θＲ′ …式（９）
【００５６】
〔輻輳角変換画像の生成〕
次に、クロスポイントがＰ、輻輳角θで撮影された画像を、クロスポイントＰ′、輻輳角θ′の画像に変換する方法について説明する。３次元上の点Ｘ＝ ［Ｘｘ Ｘｙ Ｘｚ］Ｔを撮像装置の３次元座標系のＹ軸を中心に回転させた点Ｘ′＝ ［Ｘ’ｘ Ｘ’ｙ Ｘ’ｚ］Ｔは、下記の式（１０）で示されるＹ軸回転式で表わすことができる。
Ｘ′＝ＲＸ …式（１０）
【数１】
Ｒ：Ｙ軸の回転を表す回転行列
θｙ：Ｙ軸の回転角（回転方向は右ねじの方向）
【００５７】
つまり、これは、回転前の点Ｘに回転行列Ｒを乗ずることにより点Ｘ′に変換（回転）する。Ｙ軸を右ねじの方向にθｙだけ回転させたとすると、回転行列Ｒは、θｙのｓｉｎ、ｃｏｓ関数の組み合わせで表わすことができる。
【００５８】
以上の説明は、３次元上の点Ｘを回転させるものであるが、これを撮影画像上の点ｘ＝［Ｘｘ Ｘｙ １］Ｔについて回転させる方法について説明する。左撮像装置２０１Ｌによって輻輳角θＬで撮影された画像上の点ｘを、輻輳角θＬ′の画像上の点ｘ′＝［ｘｘ’ ｘｙ’ １］Ｔに変換（回転）するには、下記の式（１１）で示される輻輳角変換式によって行う。
ｓｘ′＝ＡＲＡ−１ｘ …式（１１）
【数２】
Ａ：カメラ内部のパラメータ
ｆｘ，ｆｙ：Ｘ，Ｙ軸成分の焦点距離
ｃｘ，ｃｙ：主点座標
ｓ：スケール係数（右辺のｚ成分の逆数）
【００５９】
左撮像装置２０１ＬのＸ軸成分の焦点距離をｆｘ、Ｙ軸成分の焦点距離をｆｙ、撮影画像面と光軸ＺｃＬが交わる点（以下、主点座標）をｃｘ、ｃｙとすると、左撮像装置２０１Ｌの光学特性を表すパラメータ（以下、内部パラメータ）は、３×３の行列Ａで表わすことができる。ここで、主点座標を表す座標系は、２次元の撮影画像面上であり、原点は撮影画像の左上座標、Ｘ軸は撮影画像右方向が正、Ｙ軸は撮影画像下方向が正である。また、輻輳角θＬ′へ回転させるための回転行列Ｒは、前述の式（１０）の回転行列Ｒのθｙに、Ｙ軸を中心に回転させる回転角−θｙＬを代入することで表わすことができる。
【００６０】
輻輳角θＬ′への変換は、内部パラメータＡと回転行列Ｒによって行う。第一に、輻輳角θＬの撮影画像上の点ｘに内部パラメータＡの逆行列を乗じて、ｚ成分の大きさが１の正規化座標系に変換する。第二に、Ｙ軸周りに−θｙＬ回転する回転行列Ｒを乗じた後、内部パラメータＡを乗ずることで、輻輳角θＬ′の画像上の点に回転（変換）される。ここで、変換結果座標（式（１１）の右辺の算出結果）のｚ成分は大きさが１とはならない。そのため第三として、ｚ成分が１となるように変換結果座標に対し、変換結果座標のｚ成分の逆数ｓを乗じてスケーリングする。
【００６１】
以上の変換により、輻輳角θＬの画像上の点ｘを輻輳角θＬ′の画像上の点ｘ′に変換することができる。これを左撮像装置２０１Ｌの輻輳角θＬの画像上の全ての点で行うことで、輻輳角がθＬ′となる画像を生成することができる。
【００６２】
次に、右撮像装置２０１Ｒによって輻輳角θＲで撮影された画像上の点ｘを、輻輳角θＲ′の画像上の点ｘ′＝ ［ｘｘ’ ｘｙ’ １］Ｔに変換（回転）する方法について説明する。右撮像装置２０１Ｒの内部パラメータをＡとし、輻輳角θＲ′へ回転させるための前述の式（１０）の回転行列Ｒのθｙに、Ｙ軸を中心に回転させる回転角θｙＲを代入して求めた値とすることを除いて、前述の左撮像装置２０１Ｌの画像生成方法と同様である。
【００６３】
〔輻輳角変換と相対位置変換の視差量比較〕
図９は、輻輳角変換による視差量と左右画像の相対位置を変えた場合の視差量とを比較して説明するための概念図である。本発明での左右画像の相対位置とはどちらか片側の画像に対してもう片側の画像を水平方向にシフトさせることや両画像共にシフトさせることを意味し、今後の記載で相対位置とはこのように定義するものとする。２つの撮像装置２０１Ｌ、２０１Ｒの光軸がそれぞれＣＬ、ＣＲであり、基線長Ｗｂ、輻輳角θとなった配置となっている。この時輻輳点はＰの位置（基準面２０２からの距離Ｌｐ）になる。また、基準面２０２から距離Ｌｏでの視差量を視差量ｄ、低減後の視差量を視差量ｄ′とする。実際には表示サイズと視差の割合によって表示上の視差量が規定されるが、説明の簡略化のため、ここでは表示サイズ、撮影画角を同じ条件とし、視差量ｄとｄ’の相対値がそのまま表示上の視差の相対値になるものとしている。
【００６４】
上述した輻輳角変換によって視差量ｄ′に収まるように輻輳角θをθ′に変換した場合の中心軸をＣＬ′、ＣＲ′とし、その時の輻輳点はＰ′の位置（基準面２０２からの距離Ｌｐ′）になる。また、従来技術として左右映像の相対位置を変化させて視差量ｄを視差量ｄ′にした場合、それぞれの光軸がＣＬ０、ＣＲ０となり、その輻輳点はＱの位置になる。図９からも分かるように、本発明による輻輳角変換を行った場合、相対位置を変化させる従来技術と比べ、輻輳点後方、つまり背景の方向の視差量を共に同じ視差量以内になるようにすると輻輳点前方の視差の拡大量が低減されていることがわかる。また、変換前の輻輳点Ｐからの変位量（Ｐ〜Ｐ′）が相対位置を変化させる場合の変位量（Ｐ〜Ｑ）に比べて低減されている。厳密には輻輳点は２つの撮像装置の光軸の交わる点で規定されるが、ここでの輻輳点位置は立体視した際の見た目上での輻輳点の位置（視差が０になる位置）としている。
【００６５】
このように、本実施例によれば、輻輳点前方被写体の視差量の増加量を低減させつつ、引っ込み方向の視差量を指定する視差量以下として表示することが可能となる。また、表示させる画面サイズに関わらず指定する視差量以下にして表示することが可能であるので、どのような画面サイズの表示装置にも適用が可能であり、眼精疲労の原因となる視差の大きな映像であっても、許容される視差量の映像に変換して表示させることができる。
【００６６】
さらには、輻輳点が大きく変位することなく視差制御が可能であるので、立体視した際に飛び出しと引っ込みの位置関係を大きく変えることなく、撮影者の意図を反映させた立体表示が可能となる。
また、視差量を調整する手法として２つの撮像装置から得られた画像から領域ごとの視差情報を算出し、この視差情報を用いて画像変換させるという手法もあるが、視差算出のための処理量が膨大であることや画像領域全体で精度のよい視差情報を得ることが困難であるなどの大きな課題もある。本発明ではこのような視差算出を行う必要がなく、簡単且つ低負荷の処理で視差制御が可能であり、リアルタイムでの変換処理が可能となる。
【００６７】
＜第２の実施例＞
図１０は、本発明の第２の実施例に係る映像変換部の構成例を示すブロック図である。図１０の映像変換部１１２は、前述の第１の実施例の映像変換部１１２（図６）の構成を変更したものであり、図６の映像変換部１１２を除いた構成に関しては、第１の実施例と同じであるため、ここでの説明は省略する。
【００６８】
図１０の映像変換部１１２は、前述の図６に示した輻輳角補正値算出部１１２ａと、輻輳角変換処理部１１２ｂとに加え、さらに、相対位置変換処理部１１２ｃを含んで構成される。輻輳角補正値算出部１１２ａと輻輳角変換処理部１１２ｂに関しては前述の第１の実施例に記載した処理内容と同じであるため、ここでの説明は省略する。相対位置変換処理部１１２ｃは、射影変換前の輻輳点の位置と射影変換後の輻輳点の位置とが一致するように輻輳角変換処理部１１２ｂで射影変換された映像の相対位置を変換する。
【００６９】
図１１は、輻輳角変換処理及び映像相対位置変換処理による視差量制御の一例を説明するための図である。前述の第１の実施例による輻輳角変換処理では、表示装置より奥側の最大視差量を指定最大視差量以下とすることができる。しかし、輻輳角変換前よりクロスポイントが３次元上の奥側（図１１の点Ｐから点Ｐ′）に移動し、表示装置の表示画面より手前に飛び出す被写体が変わってしまう。例えば、３次元上での被写体の位置が輻輳角変換前のクロスポイントＰにあるとすると、輻輳角変換前（左右光軸がＣＬとＣＲ）では左右映像の視差量が０である。
【００７０】
しかし、輻輳角変換後（左右光軸がＣＬ′、ＣＲ′）では、視差が発生する。左撮像装置２０１ＬではＣＬ′の右側、右撮像装置２０１ＲではＣＲ′の左側に点Ｐが投影されるため、これら投影点間の距離だけ視差量が発生することになる。そのため、輻輳角変換前の点Ｐは、表示装置の表示画面上にあったが、輻輳角変換により点Ｐは表示画面の手前側に移動して立体視されることになる。これは、第１の実施例の輻輳角変換処理によって、映像制作者の意図と異なる映像に変換することになり、映像変換として適切でない場合がある。
【００７１】
表示装置の表示画面に位置するべき被写体（クロスポイントの位置）を変えずに、表示面奥側の最大視差量を指定最大視差量以下とするには、例えば、輻輳角変換前のクロスポイントＰを中心に左右光軸（ＣＬ、ＣＲ）を回転させることによって達成できる。これについて図１１を例にとって説明する。図１１の輻輳角変換前の光軸ＣＬとＣＲでは、最大視差量ｄが指定最大視差量Ｄｌｉｍｉｔを超えている。これを補正するために、クロスポイントＰを回転中心とし、光軸ＣＬを紙面に向かって左回り、光軸ＣＲを紙面に向かって右まわりに回転させることによって、クロスポイントＰを移動させることなく、表示装置の表示画面の奥側の最大視差量が指定最大視差量Ｄｌｉｍｉｔ以下とすることが可能となる。
【００７２】
この回転によって左撮像装置２０１Ｌの光学中心ＯＬはＯＬ′に、右撮像装置２０１Ｒの光学中心ＯＲはＯＲ′に移動し、左撮像装置２０１Ｌの光軸ＣＬはＣＬ′′に、右撮像装置２０１Ｒの光軸ＣＲはＣＲ′′に回転する。回転後の輻輳角はθ′となる。
以上のように、左右映像をクロスポイントＰを中心に回転することによって、表示画面奥側の最大視差量を指定最大視差量以下とし、クロスポイントが移動しない映像に変換することができる。
【００７３】
しかしながら、左右撮像映像からクロスポイントＰを中心に各映像を回転させることは容易ではない。そこで、第１の実施例による輻輳角変換処理と、変換後の左右映像の相対位置を変換する処理とを組み合わせることによって、表示画面奥側の最大視差量を指定最大視差量以下とし、クロスポイントが移動しない映像に変換する処理を実現させる。これについて図１１に基づいて説明する。
【００７４】
図１１において、輻輳角変換前の左右撮像装置２０１Ｌ、２０１Ｒの光軸をそれぞれＣＬ、ＣＲ、その輻輳角をθで表わしている。このままでは、表示装置の表示画面奥側の最大視差量ｄが指定最大視差量Ｄｌｉｍｉｔを超えているため、第１の実施例で行った輻輳角変換処理を行う。輻輳角変換処理では、クロスポイントＰを中心に回転させた場合の輻輳角θ′と同じ輻輳角となるように左右の光軸ＣＬ、ＣＲをそれぞれ光学中心ＯＬ、ＯＲを中心に回転させる。
【００７５】
輻輳角変換処理を行った後の左右の光軸は、ＣＬがＣＬ′、ＣＲがＣＲ′となり、このときの輻輳角はθ′となる。この輻輳角変換処理により表示画面奥側の最大視差量ｄ′は、指定最大視差量Ｄｌｉｍｉｔより小さくなるが、クロスポイントＰがＰ′に移動する。そこで、クロスポイントＰ′をＰの位置に戻すため、輻輳角変換処理後の左右映像全体を、左映像は紙面に向かって右側、右映像は紙面に向かって左側にシフトさせる。そのシフト量は、３次元上のクロスポイントＰの位置の左右投影点間の視差が０となるように左右映像全体をシフトさせる。左右映像のシフトの結果、光学中心ＯＬ、ＯＲがそれぞれＯＬ′、ＯＲ′に移動し、光軸ＣＬ′、ＣＲ′がそれぞれＣＬ′′、ＣＲ′′に移動する。これは、クロスポイントＰを中心に回転させた場合と同じ映像変換処理したものとみなすことができる。
【００７６】
以上により、輻輳角変換後の輻輳角θ′を保ったまま、輻輳角変換後のクロスポイントＰ′を輻輳角変換前のクロスポイントＰに戻すことが可能となる。本実施例の処理を行うことにより、第１の実施例の輻輳角変換処理のみの場合と比較して、クロスポイント前方の視差量の増加がなく、かつ、クロスポイントの移動が発生しない立体映像変換が可能となる。
【００７７】
以上、本発明の実施例について図面を参照して詳述してきたが、具体的な構成はこれらの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も本発明の適用範囲に含まれる。
【００７８】
例えば、図１２に示すように２つの撮像装置のうち一方の撮像装置の光軸が基準面２０２に対して垂直である場合であっても輻輳角がついたもう一方の撮像装置の画像に対して同様な変換をすることで同様の効果が得られる。
【００７９】
また、本発明の第１の実施例および第２の実施例においては視差量を低減させる処理に関して述べてきたが、これに限定されるものではなく、指定最大視差量以内の表示に視差量を拡大するものでも構わない。例えば、前述の図１１に基づいて説明すると上述の各実施例とは逆に変換前の最大視差量をＤｌｉｍｉｔ、変換後に指定最大視差量ｄ以下になるように輻輳角を調整する。つまり、輻輳点Ｐを中心に輻輳角をθ′からθにするように本実施例に記載した手法と同様の手法にて変換することで視差量を指定最大視差量ｄまで拡大することができる。
【００８０】
このようにすることで、視差量を拡大したい場合には、表示するディスプレイサイズに応じて指定最大視差量まで最大視差量を容易に拡大することができる。このような視差量の拡大は例えばモバイルの立体映像表示装置で視聴した場合は、視差量が小さく奥行きが感じ難いが、最大視差量を指定最大視差量まで拡大することで小型なディスプレイであっても十分な立体視が可能となる。
【００８１】
また、本発明の第１の実施例および第２の実施例においては輻輳のある入力画像を用いて説明したが、それに係るものではなく、撮像装置が平行配置の場合であっても構わない。この場合、輻輳角を０度とすることで同様の処理を行うことで視差調整が可能である。
【００８２】
このように本発明によれば、どのような表示サイズであっても、最大視差量を指定最大視差量以内とした制御を簡単に行うことが可能となる。
【符号の説明】
【００８３】
１００…立体映像変換装置、１０１…映像入力装置、１０１ａ…立体映像撮像装置、１０１ｂ…再生装置、１０１ｃ，１０２ｃ…通信ネットワーク、１０２…映像出力装置、１０２ａ…立体映像表示装置、１０２ｂ…記録装置、１１１…撮像条件抽出部、１１２…映像変換部、１１２ａ…輻輳角補正値算出部、１１２ｂ…輻輳角変換処理部、１１２ｃ…相対位置変換処理部。
【技術分野】
【０００１】
本発明は、表示する画面サイズに関係なく、規定した視差量以下の立体映像に変換、表示することが可能な立体映像変換装置及び該装置を備えた立体映像表示装置に関する。
【背景技術】
【０００２】
立体表示装置を用いて立体映像の立体視を行うには、左眼と右眼とにそれぞれの視点に合った異なる映像を表示する必要がある。この異なる映像は両眼視差をもって撮影された左右画像であり、視聴者の両眼にそれぞれの左右画像を入射させることで、左右画像の視差量に応じた立体視が可能となる。
【０００３】
左右画像の視差量は、立体視する際にどの程度ディスプレイ面より手前側に飛び出させるか、または、ディスプレイ面より奥方向に引っ込ませるかの大きな要因となる。例えば、表示装置の手前に飛び出させる場合には右眼用の画像は左眼用の画像と比較し左側に、左眼用の画像は右眼用の画像と比較し右側に表示させることで達成される。この時、左右画像の視差量が大きいほど飛び出し量は大きくなる。また、逆の視差量をもたせることで、表示装置の表示面の奥側に引っ込ませて表示をすることが可能となる。例えば、右眼用の画像は左眼用の画像と比較し右側に、左眼用の画像は右眼用の画像と比較し左側に表示させることでディスプレイ面の奥方向に引っ込ませて立体視させることができる。この時、左右画像の視差量が大きくなるほど、奥方向への引っ込み量は大きくなる。また、左右画像の視差がない場合は、ディスプレイ面上に表示されているように見える。
【０００４】
つまり、表示された左右画像の視差量に応じて、立体視した際の奥行きが変わることになる。表示させる視差量に関しては、大きな視差量で表示することで眼精疲労の原因になったり、融合できなかったりする（融合限界）可能性が示唆されているため、注意が必要である。このような立体表示時の視差量に関する注意事項に関しては３Ｄコンソーシアムから発行されている「３ＤＣ安全ガイドライン」などでも提起されている。特に、奥行き方向に引っ込ませて表示する場合には、視聴者の瞳孔間隔以上の視差がついた表示では左右の眼球が開放方向を向くことになるため、眼精疲労の原因になり易く注意が必要である。ここで、同じ撮影条件で撮影されて、保存された左右画像を表示する際に、表示装置の大きさによって視差量が変わるため、大画面での視聴では大きな視差で表示される問題がある。
【０００５】
画面サイズの違いによる視差の問題に関して図１３に基づいて説明する。図１３（Ａ），（Ｂ）はそれぞれ画面サイズの異なる立体映像表示装置を視聴している状況を示した概要図で、図中、３０３は立体映像表示装置を示す。図１３（Ａ），（Ｂ）では表示サイズ以外の視聴条件は同一のもとしており、両眼間隔３００の視聴者Ｘが共に同じ左右の映像データを表示した立体映像表示装置３０３を視聴している。図１３（Ａ）では立体映像表示装置３０３の画面幅はＷａであり、図１３（Ｂ）では立体映像表示装置３０３の画面幅はＷｂとなっており、Ｗａ＜Ｗｂの関係となっている。
【０００６】
映像データは同一であるため、図１３（Ａ）における左右映像中の対象点３０２Ｌ，３０２Ｒは、図１３（Ｂ）においてはそれぞれ画面サイズの大きさに比例した位置である対象点３０２Ｌ′、３０２Ｒ′に表示される。ここで対象点の視差量は図１３（Ａ）では視差量ｄａであるが、図１３（Ｂ）の場合、画面サイズが変わるため、表示画面サイズに応じて視差量ｄｂのように拡大されて表示される。このため、図１３（Ｂ）のように両眼間隔３００以上の視差がつく場合が生じる。このように同じ左右の映像データであってもどのようなサイズで表示するかが重要となる。
【０００７】
ここで、撮影画像の視差に関して簡単に説明する。
左右映像を撮影する立体撮像装置では立体映像表示時での立体感を変化させるために２つの撮像装置の光軸に角度をつけて輻輳配置にした撮像システムがある。このように２つの撮像装置が内側を向くように輻輳を付けて左右に配置した場合、右側の撮像装置の撮像視野と左側の撮像装置の撮像視野との関係は、被写体の奥行きに応じて変化する。被写体が手前にある場合は、右側の撮像装置の撮像視野は右側に、左側の撮像装置の撮像視野は左側に位置するが、左右の撮像装置の光軸が交差する点である輻輳点では右側の撮像装置の撮像視野と左側の撮像装置の撮像視野とが一致する。さらに奥の被写体では、右側の撮像装置の撮像視野は左側に、左側の撮像装置の撮像視野は右側に位置し、左右の関係が逆転する。これを表示装置に、右側の撮像装置の画像を右眼に、左側の撮像装置の画像を左眼に表示させると、手前の被写体に対しては表示装置の手前に飛び出して見え、輻輳点の被写体は表示装置の表示面と同じ位置に見え、それより奥の被写体は表示装置の表示面より引っ込んで見えるようになる。
【０００８】
各撮像装置単体の撮影条件が変わらない場合、このような２つの撮像装置の光軸のなす角である輻輳角や輻輳点により、ディスプレイ面の位置や視差量が規定される。輻輳を調整することで、注目する被写体への奥行き感の調整が行いやすいといった特徴がある一方で、輻輳のついた撮像装置で撮影された画像では背景などの遠方被写体の視差がつきやすいという問題がある。そのため、このような輻輳で撮影された画像に対しては特に、上記したように表示される画面サイズにおける視差量への注意が必要となる。
【０００９】
上記した表示サイズによる視差量の調整に関して、左右画像の対応する領域ごとの視差量を算出し、算出された視差量に合わせて、撮像装置で撮影された左右画像の水平方向の表示位置である相対位置を変えて表示させる技術が開示されている（例えば、特許文献１を参照）。この特許文献１に記載の技術は、再生する画像の左右の相対位置を変えることで左右画像の視差量を変化させるもので、表示装置ごとに異なった表示位置で再生し、視差量を変化させることを可能としている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平８−９４２１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１に記載の技術では、ディスプレイの奥方向に表示される被写体の視差量を小さくさせるように左右画像の相対位置を変化させると、輻輳点より前に写る被写体（ディスプレイより前に飛び出し表示される）の視差量は急激に増加してしまう。また、逆に手前の視差量を小さくするように左右画像の相対位置を変化させると、輻輳点より後ろに写る被写体（ディスプレイより奥に引っ込み表示される）の視差量は急激に増加してしまうという課題がある。この視差量の変化に関して図１４に基づいて簡単に説明する。
【００１２】
図１４は、輻輳のついた２つの撮像装置で得られた画像の相対位置を変化させた場合の視差量の変化を模式的に示した図である。図１４において２つの撮像装置３１１Ｌ、３１１Ｒのそれぞれの光学中心を３１２Ｌ、３１２Ｒとし、距離Ｌｐの位置にある点Ｐを輻輳点とする。この時の距離Ｌ１、Ｌ２のある一点での視差量は３１４ａ、３１４ｂである。背景の視差量を低減させるように相対位置を変化させた場合、左右の撮像装置３１１Ｌ、３１１Ｒの光学中心はそれぞれの光学中心３１３Ｌ、３１３Ｒとなる。
【００１３】
この時、視差量３１４ａ、３１４ｂはそれぞれ視差量３１５ａ、３１５ｂとなり、輻輳点Ｐより後方では低減されているものの、輻輳点Ｐより前方では大きく拡大していることがわかる。また、立体視の際には輻輳点Ｐの位置がディスプレイ面上に見えていたが、左右画像の相対位置を変化させることでディスプレイ面は点Ｑの位置（距離Ｌｑ）へと変化する。このため、立体視の際には輻輳点の位置が変わったように認識され、ディスプレイ面上に表示される被写体の位置も変化してしまい、表示画像における飛び出しと引っ込みの割合が異なった立体表示となる（視差０の位置が大きく変化する）。さらには左右映像の領域ごとの視差量の算出が必要であり、処理量が非常に大きなものとなってしまう。
【００１４】
本発明は、上述の実情に鑑みてなされたもので、立体視用の映像を表示する際に、画面サイズによらず引っ込み方向の視差量を、所定の視差以下で表示することができる立体映像変換装置及び該装置を備えた立体映像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明の第１の技術手段は、視点の異なる２つ以上の映像を入力し、該入力した２つ以上の映像の輻輳角を変更して出力する立体映像変換装置であって、前記２つ以上の映像を撮像した際の撮像条件である輻輳角変換情報を抽出する撮像条件抽出部と、前記２つ以上の映像を撮像した際の輻輳角を変更する映像変換部とを備え、該映像変換部は、前記撮像条件抽出部により抽出された輻輳角変換情報及び前記２つ以上の映像を表示させる表示画面の表示サイズ情報に基づいて、前記２つ以上の映像の最大視差量を算出し、該算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出する輻輳角補正値算出部と、該算出した輻輳角補正値に基づいて前記２つ以上の映像を撮像した際の輻輳角を変更させた映像を生成する輻輳角変換処理部とを備えたことを特徴としたものである。
【００１６】
第２の技術手段は、第１の技術手段において、前記映像変換部は、前記輻輳角変更前の輻輳点の位置と前記輻輳角変更後の輻輳点の位置とが一致するように前記輻輳角変換処理部で生成された映像の相対位置を変換する相対位置変換処理部を備えたことを特徴としたものである。
【００１７】
第３の技術手段は、第１又は第２の技術手段において、前記輻輳角変換処理部は、前記２つ以上の映像の最大視差量を低減させるように輻輳角を変更させることを特徴としたものである。
【００１８】
第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記予め指定された最大視差量は、視聴者の目幅間隔であることを特徴としたものである。
【００１９】
第５の技術手段は、第４の技術手段において、前記視聴者の目幅間隔は、５ｃｍであることを特徴としたものである。
【００２０】
第６の技術手段は、第１又は第２の技術手段において、前記輻輳角変換処理部は、前記２つ以上の映像の最大視差量を拡大させるように輻輳角を変更させることを特徴としたものである。
【００２１】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記撮像条件抽出部は、前記撮像条件として、さらに、前記２つ以上の映像を撮像した際の基線長情報及び画角情報を抽出し、前記輻輳角補正値算出部は、前記表示サイズ情報、前記輻輳角情報、前記基線長情報、及び前記画角情報に基づいて、前記２つ以上の映像の最大視差量を算出し、該算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出することを特徴としたものである。
【００２２】
第８の技術手段は、第１〜第７のいずれか１の技術手段において、前記撮像条件抽出部は、前記２つ以上の映像のメタデータから前記撮像条件を抽出することを特徴としたものである。
【００２３】
第９の技術手段は、第１〜第７のいずれか１の技術手段において、前記撮像条件抽出部は、前記２つ以上の映像それぞれを撮像した撮像装置を特定する機器情報に基づいて、該機器情報と前記撮像条件とが対応付けられたテーブルを参照することで前記撮像条件を抽出することを特徴としたものである。
【００２４】
第１０の技術手段は、第１〜第９のいずれか１の技術手段における立体映像変換装置を備えた立体映像表示装置である。
【発明の効果】
【００２５】
本発明によれば、どのような画面サイズで表示しても輻輳点の変位と飛び出しの視差の拡大を低減しつつ、引っ込み方向の視差量を所定の視差量以下に調整して表示させることができるため、視聴者に眼精疲労などの負担をかけることがない。
また、輻輳点の位置を変化させずに、引っ込み方向の視差量を所定の視差量以下に調整することができるため、ディスプレイ面上に表示される視差０の被写体位置が変化することがない。
【図面の簡単な説明】
【００２６】
【図１】本発明による立体映像変換装置の概略構成例を示す図である。
【図２】輻輳のついた撮像装置で撮影した場合の光学系を上方から見た場合の概略図である。
【図３】輻輳配置となった２つの撮像装置の視差に関して説明するための図である。
【図４】表示画面上での視差量を示す図である。
【図５】画面幅に対する視差量の割合と視距離との対応関係の一例を示す図である。
【図６】本発明の第１の実施例に係る映像変換部の構成例を示すブロック図である。
【図７】輻輳角補正値算出部の処理の一例を説明するためのフロー図である。
【図８】本発明の第１の実施例における輻輳角変換処理の概要を説明するための図である。
【図９】輻輳角変換による視差量と左右画像の相対位置を変えた場合の視差量とを比較して説明するための概念図である。
【図１０】本発明の第２の実施例に係る映像変換部の構成例を示すブロック図である。
【図１１】本発明の第２の実施例における輻輳角変換処理及び映像相対位置変換処理の概要を説明するための図である。
【図１２】片側の撮像装置にのみ輻輳角がついた場合の輻輳角変換処理の概要を説明するための図である。
【図１３】画面サイズの違いによる視差の問題に関して説明するための図である。
【図１４】輻輳のついた２つの撮像装置で得られた画像の相対位置を変化させた場合の視差量の変化を模式的に示した図である。
【発明を実施するための形態】
【００２７】
以下、本発明に係わる立体映像変換装置及び該装置を備えた立体映像表示装置について各実施例を挙げ図面を参照しながら説明する。
【００２８】
＜第１の実施例＞
図１は、本発明による立体映像変換装置の概略構成例を示す図である。図１（Ａ）は立体映像変換装置を含む立体映像変換システムの構成例を示す図で、図中、１００は立体映像変換装置、１０１は映像入力装置、１０２は映像出力装置を示す。また、図１（Ｂ）は立体映像変換装置１００の構成例を示すブロック図である。この立体映像変換装置１００は、撮像条件抽出部１１１、映像変換部１１２を備え、映像入力装置１０１から得られる２つ以上の視点の異なる映像の一例として左右の映像を撮像した際の輻輳角を変更（例えば、射影変換など）し、この輻輳角が変更された左右映像を映像出力装置１０２に出力する。
【００２９】
また、映像入力装置１０１または立体映像変換装置１００に入力する左右映像は、例えばサイド・バイ・サイド方式のように１枚の映像（１フレーム）中に異なる視点の映像が混在している場合も含み、２つ以上の視点の異なる映像が映像入力装置１０１または立体映像変換装置１００に入力されればよく、２つ以上の視点の異なる映像を転送する方式（フォーマット）はどのようなものであっても良い。
【００３０】
映像入力装置１０１は、例えば、立体映像撮像装置１０１ａ、再生装置１０１ｂ、通信ネットワーク１０１ｃなどであり、両眼視差をもつ左眼・右眼用の映像を立体映像変換装置１００へ入力する。立体映像変換装置１００は、映像入力装置１０１から入力された左右映像に対して、指定最大視差量、表示画面の表示サイズ情報、及び撮像条件情報に基づいて、映像変換部１１２が左右映像の例えば射影変換を行い、表示画面サイズの大きさに関わらず、予め指定された最大視差量以内で表示させる左右映像を生成する。映像変換部１１２で生成された左右映像は映像出力装置１０２に渡される。映像出力装置１０２は、左右映像を立体映像として表示する立体映像表示装置１０２ａ、左右映像を保存する記録装置１０２ｂ、左右映像の伝送を行う通信ネットワーク１０２ｃなど、目的に応じて立体映像変換装置１００からの左右映像を出力するものである。なお、立体映像表示装置１０２ａが立体映像変換装置１００を一体的に備える構成としてもよい。
【００３１】
以下では、立体映像変換装置１００への入力映像は輻輳のついた撮像装置で撮影された両眼視差をもつ立体視用の映像である場合を代表例として説明する。
図２は、輻輳のついた撮像装置で撮影した場合の光学系に関して上方から見た場合の概略図である。図２では簡略化のため２次元で表記し、２つの撮像装置のうち片側の撮像装置のみ記載している。２つの撮像装置２０１Ｌと２０１Ｒが基準面２０２上に左側に左撮像装置２０１Ｌ、右側に右撮像装置２０１Ｒとなるように距離Ｗｂの間隔で配置されている。
【００３２】
撮像装置２０１Ｌ、２０１Ｒはそれぞれ内側に傾くような輻輳をもっており、その時の左撮像装置２０１Ｌの光学中心を中心軸ＣＬとする。また、左撮像装置２０１Ｌは撮影画角２０３で撮影され、その場合の撮影範囲の両端が左端２０４ａと右端２０４ｂである。撮像装置２０１Ｌで撮影された映像では画角２０３内（左端２０４ａと右端２０４ｂの間の領域）に配置されている被写体が撮影される。ここで、基準面２０２から距離Ｌｏ離れた平面２０５上に被写体Ｏがあり、被写体Ｏを通り中心軸ＣＬに対して垂直でかつ画角端２０４ａ、２０４ｂの範囲の平面を２０６、また、中心軸ＣＬに対して垂直でかつ撮像装置２０１Ｌの原点（基準面２０２と中心軸ＣＬとの交点）から焦点距離ｆ離れた平面上にある仮想のセンサ面を２０７とすると、被写体Ｏはセンサ面２０７上の結像点Ｏ′に結像される。
【００３３】
この時、センサ面２０７の幅ｗｃに対するセンサ面２０７上で中心軸ＣＬと結像点Ｏ′間の距離ｗ′の割合は平面２０６の幅ｗに対する平面２０６上での中心軸ＣＬと被写体Ｏとの距離ｄＬとの割合と等価である。ここで、この割合を距離Ｌｏでの画像幅に対する視差の割合をＤＬとすると、視差の割合ＤＬは下記のように示される。
ＤＬ ＝ ｗ’／ｗｃ ＝ ｄＬ／ ｗ …式（１）
これより、撮像装置２０１Ｌで撮影された映像をそのまま表示させると表示画面幅Ｗに対して（Ｗ×ＤＬ）分だけ中心よりずれた位置に被写体Ｏが表示されることになる。
【００３４】
ここで、同様に右の撮像装置でも考える。図３には左右の撮像装置が互いに内側に向くように輻輳して配置されている状態を示している。図２と同じ記号に関しては同様のものを示している。図３において、２つの撮像装置２０１Ｌと２０１Ｒは距離Ｗｂの間隔で配置され、それぞれの撮像装置の中心軸は撮像装置２０１Ｌでは中心軸ＣＬ、撮像装置２０１Ｒでは中心軸ＣＲとなっている。２つの中心軸ＣＬとＣＲの交点は輻輳点Ｐであり、基準面２０２から輻輳点Ｐまでの距離を輻輳点距離Ｌｐ、光軸ＣＬ，ＣＲのなす角を輻輳角θとする。ここで、基準面２０２から距離Ｌｏ離れたところに被写体Ｏが存在する場合、図２での説明と同様に２つの撮像装置での撮影画像での被写体Ｏの画像幅に視差の割合ＤＬ，ＤＲは、被写体Ｏを通りそれぞれの光軸に対して垂直な面上での距離ｄＬ，ｄＲを用いて、
ＤＬ ＝ ｄＬ／ ｗＬ …式（２）
ＤＲ ＝ ｄＲ／ ｗＲ …式（３）
と表される。ここでｗＬ、ｗＲは前述の図２のｗに対応し、それぞれのカメラにおいての点Ｏを通り、光軸に垂直でかつ撮影画角内における幅に相当する。
【００３５】
そして、２つの撮像装置で撮影された画像を立体視用の画像として表示した場合、図４に示す表示画面４００により例示すると、被写体Ｏは撮像装置２０１Ｌの画像ではＯＬに、撮像装置２０１Ｒの画像ではＯＲにと左右画像で異なった位置に表示される。この時の表示上の視差量を視差量ｄとする。視差量ｄは視差の割合ＤＬ，ＤＲに応じた視差の合計で決まり、例えば、表示画面４００の画面幅がＷの場合には、
ｄ＝（ＤＬ＋ＤＲ）×Ｗ …式（４）
で示される。
【００３６】
つまり、距離Ｌｏ上に存在する被写体Ｏは画面幅Ｗで表示される場合には視差量ｄとして表示されることがわかる。ただし、ここでは撮像装置からの取得画像をそのまま表示させた場合として説明している。左右映像の切り出しなどをおこなっている場合は、切り出し位置やサイズに応じた補正が必要である。その場合、光学中心と切り出し中心の位置や切り出しサイズの割合を係数として視差量ｄを補正する。また、輻輳がついているため、基準面２０２と各撮像装置の光軸と垂直な平面とが平行ではないが、輻輳角による左右映像間の歪みを補正するために同一平面上に補正する場合は、入力映像は基準面２０２と平行な面に変換した画像でも構わない。その場合、視差量ｄは変換パラメータに応じた補正を加えればよい。また、厳密には撮像装置２０１のセンサは画素をもつため、画素被写体の結像点Ｏ′はセンサ面２０７上のある画素に結像されることになる。そのため、画素ピッチや大きさによって画素単位で変位することになるが、微小量であるためここでは画素の概念を外して説明している。
【００３７】
次に、輻輳角による遠景の最大視差に関して説明する。
通常の映像には視差量の大きな被写体と視差量の小さな被写体とが含まれているが、例えば、入力映像に含まれるある被写体の視差量が表示画面幅Ｗに対してｔ％であれば、表示装置で表示される視差量は表示画面幅Ｗのｔ％となり、視差量は、Ｗ×ｔ／１００、となる。ここで、被写体距離と視差の対応関係について例を用いて説明する。例えば、前述の図３において、撮像装置の間隔Ｗｂを６５ｍｍ、撮像装置の画角を５２度、輻輳角θを２.５度とした場合、輻輳点までの距離は約１.５ｍとなり、１.５ｍより遠方の被写体には引っ込み方向の視差がつく。このような撮影条件において、被写体Ｏの距離Ｌｏの値を輻輳点からさらに遠方に変化させた場合に被写体Ｏにおける画面幅に対する視差量の割合がどのように変化するのかを図５に示す。図５に示すように被写体Ｏが無限遠にある場合には表示画面幅に対する視差量の割合はある一定の値の約４.５％に収束する。この場合、例えば表示画面幅が１３２.９ｃｍである映像表示装置に表示した際には、最大視差量は１３２.９×４.５／１００≒６.０ｃｍとなり、子供の平均的な目幅間隔の５ｃｍよりも大きな視差となる。
【００３８】
一般的に２つの撮像装置から得られた遠方の視差の割合は無限遠で収束し、この収束値は撮像装置間の輻輳角や基線長、撮像装置の画角によっても変化する。例えば、被写体Ｏにおける視差の割合ＤＬ＋ＤＲは、２つの撮像装置の画角を同じ値θｖとし、２つの撮像装置の光軸となす角度が平面２０２に対して垂直な面上で等分されるとすると、Ｏが無限遠にあるものとした場合、撮像装置の画角θｖと２つの輻輳角θを使って近似的に、
ＤＬ＋ＤＲ≒α×（Ｔａｎ（θ／２）／Ｔａｎ（θｖ／２）） …式（５）
と示すことができる。ここでαはカメラ配置やカメラパラメータで決まる画角と輻輳角に依存しない係数である。つまり、最大の視差の割合である収束値は輻輳角θと撮像装置の画角θｖによって示すことができる。ただし、ここでは無限遠Ｌ０に対して基線長は十分に小さくなる値としている。また、θが０の場合、つまり２つの撮像装置が平行に配置されている場合は、無限遠の視差の割合は０に収束する。
【００３９】
このような収束値を遠方の最大視差の割合Ｘとすると、輻輳の構成で撮影された映像を画面幅Ｗのディスプレイで表示した場合、引っ込み方向の視差として最大でＷ×Ｘ／１００の視差がつく場合がある。前述したように立体視において、引っ込み方向の視差が視聴者の目幅間隔以下にするなど、ある規定値以下に抑えて表示する必要がある。このように、最大視差の割合Ｘは撮像条件情報からを算出することが可能であり、また、その対象となる画像においては得られた最大視差の割合を超える視差はつかないとも言えるため、左右映像の最大視差量の割合Ｘを基準とすることで表示される最大視差量を規定することができる。図５で示すように、一般的に距離に対する視差の割合は急激に増加するため、ユーザが輻輳のついた撮像装置で撮影した場合には、背景に遠方の被写体が入る場合が多く、画像の立体視時での背景の視差が最大視差の割合Ｘに近い視差となる可能性は高くなり、左右映像の最大視差Ｗ×Ｘ／１００であるとみなしてもさほど問題とはならない。そのため、本発明では左右映像の最大視差量の割合Ｘを基準とすることで画面全体の視差量の制御を行う。
【００４０】
撮像条件抽出部１１１は、前述したような左右映像の最大視差の割合を算出するための撮像条件を抽出する。具体的には、入力された左右映像について、撮像装置の位置関係を示すパラメータと撮像装置のカメラパラメータとを取得し、変換に必要な情報である輻輳角変換情報を映像変換部１１２へと受け渡す。撮像装置の位置関係を示すパラメータとしては、左右映像を撮像した２つの撮像装置の光軸間の角度である輻輳角情報や、２つの撮像装置の間隔（すなわち、２つの撮像装置の光学中心の間隔）を示す基線長情報を抽出する。この輻輳角は、輻輳点までの距離情報と基線長から算出しても構わない。また、撮像装置のカメラパラメータとしては、撮像装置の撮影範囲を示す画角情報と撮影解像度とを抽出する。画角情報は撮像装置の焦点距離とセンササイズの情報を用いることで算出しても構わない。
【００４１】
このような撮像装置間の位置関係を示すパラメータや、個々のカメラの撮影条件を示すパラメータを抽出する一つの方法としては、左右映像を記録した映像ファイルのメタデータから抽出することが考えられる。例えば、静止画の場合、左右画像を格納するファイルフォーマットとして、一般社団法人カメラ映像機器工業会（ＣＩＰＡ）が規格化している「ＣＩＰＡ ＤＣ−００７ マルチピクチャーフォーマット（ＭＰＦ）」があり、このようなファイルには、メタデータに基線長情報や輻輳角情報を入力する領域が存在する。このようなファイルのメタデータから必要なパラメータを抽出することができる。撮影画角などの撮像装置の光学情報は、各画像のＥｘｉｆデータより抽出することも可能である。例えば、撮影画像のＥｘｉｆデータのうち撮影時の焦点距離情報や画像サイズ、画素密度情報などから画角を求めてもよい。撮影画角に関しては３Ｄ表示時の画角を基準とし、切り出しなどされている場合は、切り出しサイズ分の補正が必要である。
【００４２】
もし、メタデータから必要な情報が得られない場合は、左右映像を撮像した撮像装置を特定する機器情報に基づいて、その機器情報と、位置関係を示すパラメータや個々のカメラの撮影条件を示すパラメータとが対応付けられたテーブルを参照することで輻輳角情報などの必要なパラメータを取得するものでも構わない。例えば、撮像条件抽出部１１１が、撮像装置の機器情報（機器固有の機器名など）と、上記の各パラメータとを対応付けたパラメータ参照テーブルを保持してもよい。撮像条件抽出部１１１は、左右映像を撮像した撮像装置の機器名を取得すると、パラメータ参照テーブルからその機器名に対応したパラメータを抽出する。なお、機器名は画像ファイルのＥｘｉｆやＨＤＭＩ（High Definition Multimedia Interface）で接続した際にＥＤＩＤ（Extended Display Identification Data）などから取得できる。機器名とパラメータはネットワークや放送波などを利用して更新することも可能である。また、パラメータ参照テーブルは、撮像条件抽出部１１１に保持しているものとして説明したが、このテーブルが外部にあり、ネットワークを通じて参照する方法でも構わない。撮像条件抽出部１１１ではこのようにして得られた変換用のパラメータを映像変換部１１２へと出力する。
【００４３】
次に、表示サイズ情報に関して説明する。ここでの表示サイズ情報は、映像変換部１１２から出力される左右映像が表示される表示画面の画面サイズを示し、実際に表示される画面幅に関する情報である。立体映像表示装置１０２ａに接続された場合には、立体映像表示装置１０２ａから表示画面サイズを取得し、また、記録装置１０２ｂへの保存や、通信ネットワーク１０２ｃに出力する場合には想定される表示画面サイズとなる。想定される表示画面サイズは例えばユーザが指定する方法などでも構わない。このように、立体映像表示装置１０２ａから取得またはユーザにより指定された表示サイズ情報は立体映像変換装置１００の映像変換部１１２へ入力される。
【００４４】
次に、指定最大視差量に関して説明する。指定最大視差量は立体表示された場合に、実際に表示される引っ込み方向の最大視差量の値であり、視聴者が表示画面を見た際に視認される視差量（実寸値）である。例えば、引っ込み方向の視差量は目幅間隔以上では眼精疲労の原因になりやすいため、最大視差量は視聴者の目幅間隔以下に設定する。視聴者の目幅間隔は一般的には大人では６５ｍｍ、子供では５０ｍｍと言われている。そのため、子供の視聴も考慮して指定最大視差量を子供の平均目幅間隔である５０ｍｍ以下とするのが望ましい。このため、指定最大視差量として例えば５０ｍｍを指定すると、出力映像を表示サイズ情報に対応したサイズで立体表示させた際には、引っ込み方向の視差は５０ｍｍ以下として表示される。なお、ここでは指定最大視差量を５０ｍｍに指定したが、ユーザが適宜指定するものでもよく、ユーザの好み、個人差を考慮した視差量での表示が可能となる。このように指定された指定最大視差量は立体映像変換装置１００の映像変換部１１２へ入力される。
【００４５】
〔映像変換部〕
図６は、本発明の第１の実施例に係る映像変換部１１２の構成例を示すブロック図である。映像変換部１１２は、撮像条件抽出部１１１で抽出された輻輳角変換情報及び左右映像を表示させる表示画面の表示サイズ情報に基づいて、左右映像の最大視差量を算出し、算出した最大視差量が予め指定された指定最大視差量以下となる輻輳角補正値を算出する輻輳角補正値算出部１１２ａと、輻輳角補正値算出部１１２ａで算出した輻輳角補正値に基づいて左右映像を撮像した際の輻輳角を変更させた映像を生成する輻輳角変換処理部１１２ｂとから構成される。
【００４６】
すなわち、映像変換部１１２は、撮像条件抽出部１１１から入力される左右映像の輻輳角変換情報と、左右映像を表示する表示画面の表示サイズ情報とから、表示装置の表示画面より奥側に引っ込む方向の最大視差量を算出し、算出した最大視差量が指定最大視差量を超えていないかを判定する。超えている場合は、表示装置の表示画面より奥側に引っ込む方向の最大視差量が指定最大視差量以下の視差量となるように、左右映像の輻輳角を調整した映像を生成し、これを出力する。また、算出した最大視差量が指定最大視差量を超えていない場合は、左右映像をそのまま出力する。
【００４７】
〔輻輳角補正値算出部〕
次に、輻輳角補正値算出部１１２ａの処理の一例について、図７のフローチャートに基づいて説明する。輻輳角補正値算出部１１２ａは、左右入力映像の輻輳角変換情報と、左右入力映像を表示する表示装置の表示サイズ情報とを入力し、表示装置の表示画面より奥側に引っ込む方向の最大視差量を算出する（ステップＳ１）。そして、算出した最大視差値が最大視差量情報によって示される指定最大視差量を超えているか否かを判定する（ステップＳ２）。指定最大視差量を超えている場合（ＹＥＳの場合）、表示装置の表示画面より奥側に引っ込む方向の左右入力映像の最大視差値が指定最大視差量以下となるように輻輳角を調整するための輻輳角補正値を左右入力映像毎に算出する（ステップＳ３）。また、ステップＳ２において、指定最大視差量を超えていない場合（ＮＯの場合）、左右入力映像の輻輳角補正値をともに０にする（ステップＳ４）。そして、算出した左右入力映像毎の輻輳角補正値を輻輳角変換処理部１１２ｂへ出力する。
【００４８】
ステップＳ１での入力画像に対応する最大視差量の算出には、前述したように、撮像条件抽出部１１１から受け渡された輻輳角情報や撮影画角情報などの輻輳角変換情報を用いて入力画像の最大視差の割合Ｘを算出する。この場合、表示サイズ情報より表示画面の幅Ｗが得られるので、その表示サイズで入力画像を表示した場合には最大視差量ｄは、ｄ＝Ｗ×Ｘ／１００となる。次に、ステップＳ２において、入力された指定最大視差量ｄ’と比較を行い、ｄ＞ｄ’であればステップＳ３にて指定最大視差量以下となるように補正値算出を行う。ここで、視差量をｄ’とするためには補正後の視差の割合Ｘ’が、Ｘ’＝ｄ’／Ｗ×１００（％）となるように輻輳角を変換する必要がある。撮影画角が固定である場合、最大の視差の割合は輻輳角によって規定できるため、最大の視差の割合がＸとなる場合の輻輳角をθ、最大の視差が割合Ｘ’となる場合の輻輳角をθ’とすると、輻輳角の変化量Δθ＝θ’−θに対応する左右入力映像ごとの輻輳角補正値を輻輳角変換処理部１１２ｂへ出力する。
【００４９】
本例では、指定最大視差量を例えば、５ｃｍ、表示サイズ情報から得られた表示画面幅が１０１.８ｃｍとした場合に、入力画像の最大視差の割合と表示画像幅１０１.８ｃｍから算出した視差量が５ｃｍを超えている場合には変換が必要になる。変換後の最大視差の割合Ｘ’はＸ’＝５０／１０１８×１００から求められ、この場合、Ｘ’＝４.９％となる。前述の式（５）より、この場合での輻輳角θ’を算出し、撮像条件抽出部１１１から得られた輻輳角θとの差分Δθに対応する左右画像の輻輳角補正値をそれぞれ求める。例えば左右の撮像装置が同量の輻輳角で配置されている場合には、左右画像の輻輳角補正値はΔθ／２となる。
【００５０】
〔輻輳角変換処理部〕
次に、輻輳角変換処理部１１２ｂについて説明する。輻輳角変換処理部１１２ｂは、輻輳角補正値算出部１１２ａにて算出した左右入力映像毎の輻輳角補正値に基づいて、入力左右映像の映像変換を行って、最大視差量が指定最大視差量以下となるように輻輳角を変換した左右映像を出力する。
【００５１】
以下、図８に基づいて輻輳角変換による画像変換処理について説明する。まず、基本的なモデルとして輻輳のない平行配置から輻輳を付けた配置への変換を例にしての輻輳角変換に関して述べる。左撮像装置２０１Ｌと右撮像装置２０１Ｒが平行法にて立体画像を撮影する場合は、各撮像装置の光軸がベースラインＷｂと垂直となるように設置する。平行法の場合の左右撮像装置の光軸をＺｐＬ、ＺｐＲとすると、各々の光軸は平行となる。また、左右撮像装置が交差法にて立体画像を撮影する場合は、左右撮像装置の光軸が交差する点（以下、クロスポイント）が発生する。このクロスポイントを通り、平行法の場合の左右撮像装置の光軸ＺｐＬ、ＺｐＲと平行である軸をＺＣとする。
【００５２】
ここで、クロスポイントが図８に示すＺＣ軸上の点Ｐの位置となるように左撮像装置２０１Ｌに輻輳角を付けるには、光学中心ＯｃＬを中心にθＬだけ光軸ＺｐＬを紙面右側に回転させる。同様に、右撮像装置２０１Ｒに輻輳角を付けるには、光学中心ＯｃＲを中心にθＲだけ光軸ＺｐＲを紙面左側に回転させる。回転後の左撮像装置２０１Ｌの３次元座標系は、光軸（Ｚ軸）がＺｃＬ、Ｘ軸がＸｃＬ、Ｙ軸が図８の紙面奥側と表わすことができる。同様に、回転後の右撮像装置２０１Ｒの３次元座標系は光軸（Ｚ軸）がＺｃＲ、Ｘ軸がＸｃＲ、Ｙ軸が図８の紙面奥側と表わすことができる。左撮像装置２０１Ｌの輻輳角成分θＬと、右撮像装置２０１Ｒの輻輳角成分θＲを用いてクロスポイントＰの輻輳角θを表すと、下記のようにθＬとθＲの和で表わすことができる。
θ＝θＬ＋θＲ …式（６）
【００５３】
次に、本実施例における輻輳角の変換方法について詳細に説明する。左撮像装置２０１Ｌおよび右撮像装置２０１Ｒの各３次元座標系について、各々のＹ軸を中心に回転させることにより輻輳角を変換することができる。左撮像装置２０１Ｌは、光学中心ＯｃＬを中心に−θｙＬだけ光軸ＺｃＬを紙面左側に回転させる。同様に、右撮像装置２０１Ｒは、光学中心ＯｃＲを中心にθｙＲだけ光軸ＺｃＲを紙面右側に回転させる。
【００５４】
回転後（輻輳角変換後）の左撮像装置２０１Ｌの３次元座標系は、光軸（Ｚ軸）がＺｃＬ′、Ｘ軸がＸｃＬ′、Ｙ軸が図８の紙面奥側となる。同様に、右撮像装置２０１Ｒの３次元座標系は、光軸（Ｚ軸）がＺｃＲ′、Ｘ軸がＸｃＲ′、Ｙ軸が図８の紙面奥側となる。輻輳角の変換によって、変換前のクロスポイントＰがＰ′に移動する。クロスポイントＰ′の左撮像装置２０１Ｌの輻輳角成分θＬ′と、右撮像装置２０１Ｒの輻輳角成分θＲ′は、下記のように表すことができる。
θＬ′＝θＬ−θｙＬ …式（７）
θＲ′＝θＲ−θｙＲ …式（８）
なお、θｙＬ及びθｙＲは輻輳角補正値に相当する。
【００５５】
さらに、クロスポイントＰ′の輻輳角θ′は、θＬ′とθＲ′の和で表わすことができる。
θ′＝θＬ′＋θＲ′ …式（９）
【００５６】
〔輻輳角変換画像の生成〕
次に、クロスポイントがＰ、輻輳角θで撮影された画像を、クロスポイントＰ′、輻輳角θ′の画像に変換する方法について説明する。３次元上の点Ｘ＝ ［Ｘｘ Ｘｙ Ｘｚ］Ｔを撮像装置の３次元座標系のＹ軸を中心に回転させた点Ｘ′＝ ［Ｘ’ｘ Ｘ’ｙ Ｘ’ｚ］Ｔは、下記の式（１０）で示されるＹ軸回転式で表わすことができる。
Ｘ′＝ＲＸ …式（１０）
【数１】
Ｒ：Ｙ軸の回転を表す回転行列
θｙ：Ｙ軸の回転角（回転方向は右ねじの方向）
【００５７】
つまり、これは、回転前の点Ｘに回転行列Ｒを乗ずることにより点Ｘ′に変換（回転）する。Ｙ軸を右ねじの方向にθｙだけ回転させたとすると、回転行列Ｒは、θｙのｓｉｎ、ｃｏｓ関数の組み合わせで表わすことができる。
【００５８】
以上の説明は、３次元上の点Ｘを回転させるものであるが、これを撮影画像上の点ｘ＝［Ｘｘ Ｘｙ １］Ｔについて回転させる方法について説明する。左撮像装置２０１Ｌによって輻輳角θＬで撮影された画像上の点ｘを、輻輳角θＬ′の画像上の点ｘ′＝［ｘｘ’ ｘｙ’ １］Ｔに変換（回転）するには、下記の式（１１）で示される輻輳角変換式によって行う。
ｓｘ′＝ＡＲＡ−１ｘ …式（１１）
【数２】
Ａ：カメラ内部のパラメータ
ｆｘ，ｆｙ：Ｘ，Ｙ軸成分の焦点距離
ｃｘ，ｃｙ：主点座標
ｓ：スケール係数（右辺のｚ成分の逆数）
【００５９】
左撮像装置２０１ＬのＸ軸成分の焦点距離をｆｘ、Ｙ軸成分の焦点距離をｆｙ、撮影画像面と光軸ＺｃＬが交わる点（以下、主点座標）をｃｘ、ｃｙとすると、左撮像装置２０１Ｌの光学特性を表すパラメータ（以下、内部パラメータ）は、３×３の行列Ａで表わすことができる。ここで、主点座標を表す座標系は、２次元の撮影画像面上であり、原点は撮影画像の左上座標、Ｘ軸は撮影画像右方向が正、Ｙ軸は撮影画像下方向が正である。また、輻輳角θＬ′へ回転させるための回転行列Ｒは、前述の式（１０）の回転行列Ｒのθｙに、Ｙ軸を中心に回転させる回転角−θｙＬを代入することで表わすことができる。
【００６０】
輻輳角θＬ′への変換は、内部パラメータＡと回転行列Ｒによって行う。第一に、輻輳角θＬの撮影画像上の点ｘに内部パラメータＡの逆行列を乗じて、ｚ成分の大きさが１の正規化座標系に変換する。第二に、Ｙ軸周りに−θｙＬ回転する回転行列Ｒを乗じた後、内部パラメータＡを乗ずることで、輻輳角θＬ′の画像上の点に回転（変換）される。ここで、変換結果座標（式（１１）の右辺の算出結果）のｚ成分は大きさが１とはならない。そのため第三として、ｚ成分が１となるように変換結果座標に対し、変換結果座標のｚ成分の逆数ｓを乗じてスケーリングする。
【００６１】
以上の変換により、輻輳角θＬの画像上の点ｘを輻輳角θＬ′の画像上の点ｘ′に変換することができる。これを左撮像装置２０１Ｌの輻輳角θＬの画像上の全ての点で行うことで、輻輳角がθＬ′となる画像を生成することができる。
【００６２】
次に、右撮像装置２０１Ｒによって輻輳角θＲで撮影された画像上の点ｘを、輻輳角θＲ′の画像上の点ｘ′＝ ［ｘｘ’ ｘｙ’ １］Ｔに変換（回転）する方法について説明する。右撮像装置２０１Ｒの内部パラメータをＡとし、輻輳角θＲ′へ回転させるための前述の式（１０）の回転行列Ｒのθｙに、Ｙ軸を中心に回転させる回転角θｙＲを代入して求めた値とすることを除いて、前述の左撮像装置２０１Ｌの画像生成方法と同様である。
【００６３】
〔輻輳角変換と相対位置変換の視差量比較〕
図９は、輻輳角変換による視差量と左右画像の相対位置を変えた場合の視差量とを比較して説明するための概念図である。本発明での左右画像の相対位置とはどちらか片側の画像に対してもう片側の画像を水平方向にシフトさせることや両画像共にシフトさせることを意味し、今後の記載で相対位置とはこのように定義するものとする。２つの撮像装置２０１Ｌ、２０１Ｒの光軸がそれぞれＣＬ、ＣＲであり、基線長Ｗｂ、輻輳角θとなった配置となっている。この時輻輳点はＰの位置（基準面２０２からの距離Ｌｐ）になる。また、基準面２０２から距離Ｌｏでの視差量を視差量ｄ、低減後の視差量を視差量ｄ′とする。実際には表示サイズと視差の割合によって表示上の視差量が規定されるが、説明の簡略化のため、ここでは表示サイズ、撮影画角を同じ条件とし、視差量ｄとｄ’の相対値がそのまま表示上の視差の相対値になるものとしている。
【００６４】
上述した輻輳角変換によって視差量ｄ′に収まるように輻輳角θをθ′に変換した場合の中心軸をＣＬ′、ＣＲ′とし、その時の輻輳点はＰ′の位置（基準面２０２からの距離Ｌｐ′）になる。また、従来技術として左右映像の相対位置を変化させて視差量ｄを視差量ｄ′にした場合、それぞれの光軸がＣＬ０、ＣＲ０となり、その輻輳点はＱの位置になる。図９からも分かるように、本発明による輻輳角変換を行った場合、相対位置を変化させる従来技術と比べ、輻輳点後方、つまり背景の方向の視差量を共に同じ視差量以内になるようにすると輻輳点前方の視差の拡大量が低減されていることがわかる。また、変換前の輻輳点Ｐからの変位量（Ｐ〜Ｐ′）が相対位置を変化させる場合の変位量（Ｐ〜Ｑ）に比べて低減されている。厳密には輻輳点は２つの撮像装置の光軸の交わる点で規定されるが、ここでの輻輳点位置は立体視した際の見た目上での輻輳点の位置（視差が０になる位置）としている。
【００６５】
このように、本実施例によれば、輻輳点前方被写体の視差量の増加量を低減させつつ、引っ込み方向の視差量を指定する視差量以下として表示することが可能となる。また、表示させる画面サイズに関わらず指定する視差量以下にして表示することが可能であるので、どのような画面サイズの表示装置にも適用が可能であり、眼精疲労の原因となる視差の大きな映像であっても、許容される視差量の映像に変換して表示させることができる。
【００６６】
さらには、輻輳点が大きく変位することなく視差制御が可能であるので、立体視した際に飛び出しと引っ込みの位置関係を大きく変えることなく、撮影者の意図を反映させた立体表示が可能となる。
また、視差量を調整する手法として２つの撮像装置から得られた画像から領域ごとの視差情報を算出し、この視差情報を用いて画像変換させるという手法もあるが、視差算出のための処理量が膨大であることや画像領域全体で精度のよい視差情報を得ることが困難であるなどの大きな課題もある。本発明ではこのような視差算出を行う必要がなく、簡単且つ低負荷の処理で視差制御が可能であり、リアルタイムでの変換処理が可能となる。
【００６７】
＜第２の実施例＞
図１０は、本発明の第２の実施例に係る映像変換部の構成例を示すブロック図である。図１０の映像変換部１１２は、前述の第１の実施例の映像変換部１１２（図６）の構成を変更したものであり、図６の映像変換部１１２を除いた構成に関しては、第１の実施例と同じであるため、ここでの説明は省略する。
【００６８】
図１０の映像変換部１１２は、前述の図６に示した輻輳角補正値算出部１１２ａと、輻輳角変換処理部１１２ｂとに加え、さらに、相対位置変換処理部１１２ｃを含んで構成される。輻輳角補正値算出部１１２ａと輻輳角変換処理部１１２ｂに関しては前述の第１の実施例に記載した処理内容と同じであるため、ここでの説明は省略する。相対位置変換処理部１１２ｃは、射影変換前の輻輳点の位置と射影変換後の輻輳点の位置とが一致するように輻輳角変換処理部１１２ｂで射影変換された映像の相対位置を変換する。
【００６９】
図１１は、輻輳角変換処理及び映像相対位置変換処理による視差量制御の一例を説明するための図である。前述の第１の実施例による輻輳角変換処理では、表示装置より奥側の最大視差量を指定最大視差量以下とすることができる。しかし、輻輳角変換前よりクロスポイントが３次元上の奥側（図１１の点Ｐから点Ｐ′）に移動し、表示装置の表示画面より手前に飛び出す被写体が変わってしまう。例えば、３次元上での被写体の位置が輻輳角変換前のクロスポイントＰにあるとすると、輻輳角変換前（左右光軸がＣＬとＣＲ）では左右映像の視差量が０である。
【００７０】
しかし、輻輳角変換後（左右光軸がＣＬ′、ＣＲ′）では、視差が発生する。左撮像装置２０１ＬではＣＬ′の右側、右撮像装置２０１ＲではＣＲ′の左側に点Ｐが投影されるため、これら投影点間の距離だけ視差量が発生することになる。そのため、輻輳角変換前の点Ｐは、表示装置の表示画面上にあったが、輻輳角変換により点Ｐは表示画面の手前側に移動して立体視されることになる。これは、第１の実施例の輻輳角変換処理によって、映像制作者の意図と異なる映像に変換することになり、映像変換として適切でない場合がある。
【００７１】
表示装置の表示画面に位置するべき被写体（クロスポイントの位置）を変えずに、表示面奥側の最大視差量を指定最大視差量以下とするには、例えば、輻輳角変換前のクロスポイントＰを中心に左右光軸（ＣＬ、ＣＲ）を回転させることによって達成できる。これについて図１１を例にとって説明する。図１１の輻輳角変換前の光軸ＣＬとＣＲでは、最大視差量ｄが指定最大視差量Ｄｌｉｍｉｔを超えている。これを補正するために、クロスポイントＰを回転中心とし、光軸ＣＬを紙面に向かって左回り、光軸ＣＲを紙面に向かって右まわりに回転させることによって、クロスポイントＰを移動させることなく、表示装置の表示画面の奥側の最大視差量が指定最大視差量Ｄｌｉｍｉｔ以下とすることが可能となる。
【００７２】
この回転によって左撮像装置２０１Ｌの光学中心ＯＬはＯＬ′に、右撮像装置２０１Ｒの光学中心ＯＲはＯＲ′に移動し、左撮像装置２０１Ｌの光軸ＣＬはＣＬ′′に、右撮像装置２０１Ｒの光軸ＣＲはＣＲ′′に回転する。回転後の輻輳角はθ′となる。
以上のように、左右映像をクロスポイントＰを中心に回転することによって、表示画面奥側の最大視差量を指定最大視差量以下とし、クロスポイントが移動しない映像に変換することができる。
【００７３】
しかしながら、左右撮像映像からクロスポイントＰを中心に各映像を回転させることは容易ではない。そこで、第１の実施例による輻輳角変換処理と、変換後の左右映像の相対位置を変換する処理とを組み合わせることによって、表示画面奥側の最大視差量を指定最大視差量以下とし、クロスポイントが移動しない映像に変換する処理を実現させる。これについて図１１に基づいて説明する。
【００７４】
図１１において、輻輳角変換前の左右撮像装置２０１Ｌ、２０１Ｒの光軸をそれぞれＣＬ、ＣＲ、その輻輳角をθで表わしている。このままでは、表示装置の表示画面奥側の最大視差量ｄが指定最大視差量Ｄｌｉｍｉｔを超えているため、第１の実施例で行った輻輳角変換処理を行う。輻輳角変換処理では、クロスポイントＰを中心に回転させた場合の輻輳角θ′と同じ輻輳角となるように左右の光軸ＣＬ、ＣＲをそれぞれ光学中心ＯＬ、ＯＲを中心に回転させる。
【００７５】
輻輳角変換処理を行った後の左右の光軸は、ＣＬがＣＬ′、ＣＲがＣＲ′となり、このときの輻輳角はθ′となる。この輻輳角変換処理により表示画面奥側の最大視差量ｄ′は、指定最大視差量Ｄｌｉｍｉｔより小さくなるが、クロスポイントＰがＰ′に移動する。そこで、クロスポイントＰ′をＰの位置に戻すため、輻輳角変換処理後の左右映像全体を、左映像は紙面に向かって右側、右映像は紙面に向かって左側にシフトさせる。そのシフト量は、３次元上のクロスポイントＰの位置の左右投影点間の視差が０となるように左右映像全体をシフトさせる。左右映像のシフトの結果、光学中心ＯＬ、ＯＲがそれぞれＯＬ′、ＯＲ′に移動し、光軸ＣＬ′、ＣＲ′がそれぞれＣＬ′′、ＣＲ′′に移動する。これは、クロスポイントＰを中心に回転させた場合と同じ映像変換処理したものとみなすことができる。
【００７６】
以上により、輻輳角変換後の輻輳角θ′を保ったまま、輻輳角変換後のクロスポイントＰ′を輻輳角変換前のクロスポイントＰに戻すことが可能となる。本実施例の処理を行うことにより、第１の実施例の輻輳角変換処理のみの場合と比較して、クロスポイント前方の視差量の増加がなく、かつ、クロスポイントの移動が発生しない立体映像変換が可能となる。
【００７７】
以上、本発明の実施例について図面を参照して詳述してきたが、具体的な構成はこれらの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も本発明の適用範囲に含まれる。
【００７８】
例えば、図１２に示すように２つの撮像装置のうち一方の撮像装置の光軸が基準面２０２に対して垂直である場合であっても輻輳角がついたもう一方の撮像装置の画像に対して同様な変換をすることで同様の効果が得られる。
【００７９】
また、本発明の第１の実施例および第２の実施例においては視差量を低減させる処理に関して述べてきたが、これに限定されるものではなく、指定最大視差量以内の表示に視差量を拡大するものでも構わない。例えば、前述の図１１に基づいて説明すると上述の各実施例とは逆に変換前の最大視差量をＤｌｉｍｉｔ、変換後に指定最大視差量ｄ以下になるように輻輳角を調整する。つまり、輻輳点Ｐを中心に輻輳角をθ′からθにするように本実施例に記載した手法と同様の手法にて変換することで視差量を指定最大視差量ｄまで拡大することができる。
【００８０】
このようにすることで、視差量を拡大したい場合には、表示するディスプレイサイズに応じて指定最大視差量まで最大視差量を容易に拡大することができる。このような視差量の拡大は例えばモバイルの立体映像表示装置で視聴した場合は、視差量が小さく奥行きが感じ難いが、最大視差量を指定最大視差量まで拡大することで小型なディスプレイであっても十分な立体視が可能となる。
【００８１】
また、本発明の第１の実施例および第２の実施例においては輻輳のある入力画像を用いて説明したが、それに係るものではなく、撮像装置が平行配置の場合であっても構わない。この場合、輻輳角を０度とすることで同様の処理を行うことで視差調整が可能である。
【００８２】
このように本発明によれば、どのような表示サイズであっても、最大視差量を指定最大視差量以内とした制御を簡単に行うことが可能となる。
【符号の説明】
【００８３】
１００…立体映像変換装置、１０１…映像入力装置、１０１ａ…立体映像撮像装置、１０１ｂ…再生装置、１０１ｃ，１０２ｃ…通信ネットワーク、１０２…映像出力装置、１０２ａ…立体映像表示装置、１０２ｂ…記録装置、１１１…撮像条件抽出部、１１２…映像変換部、１１２ａ…輻輳角補正値算出部、１１２ｂ…輻輳角変換処理部、１１２ｃ…相対位置変換処理部。
【特許請求の範囲】
【請求項１】
視点の異なる２つ以上の映像を入力し、該入力した２つ以上の映像の輻輳角を変更して出力する立体映像変換装置であって、
前記２つ以上の映像を撮像した際の撮像条件である輻輳角変換情報を抽出する撮像条件抽出部と、前記２つ以上の映像を撮像した際の輻輳角を変更する映像変換部とを備え、
該映像変換部は、前記撮像条件抽出部により抽出された輻輳角変換情報及び前記２つ以上の映像を表示させる表示画面の表示サイズ情報に基づいて、前記２つ以上の映像の最大視差量を算出し、該算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出する輻輳角補正値算出部と、該算出した輻輳角補正値に基づいて前記２つ以上の映像を撮像した際の輻輳角を変更させた映像を生成する輻輳角変換処理部とを備えたことを特徴とする立体映像変換装置。
【請求項２】
前記映像変換部は、前記輻輳角変更前の輻輳点の位置と前記輻輳角変更後の輻輳点の位置とが一致するように前記輻輳角変換処理部で生成された映像の相対位置を変換する相対位置変換処理部を備えたことを特徴とする請求項１に記載の立体映像変換装置。
【請求項３】
前記輻輳角変換処理部は、前記２つ以上の映像の最大視差量を低減させるように輻輳角を変更させることを特徴とする請求項１又は２に記載の立体映像変換装置。
【請求項４】
前記予め指定された最大視差量は、視聴者の目幅間隔であることを特徴とする請求項１〜３のいずれか１項に記載の立体映像変換装置。
【請求項５】
前記視聴者の目幅間隔は、５ｃｍであることを特徴とする請求項４に記載の立体映像変換装置。
【請求項６】
前記輻輳角変換処理部は、前記２つ以上の映像の最大視差量を拡大させるように輻輳角を変更させることを特徴とする請求項１又は２に記載の立体映像変換装置。
【請求項７】
前記撮像条件抽出部は、前記撮像条件として、さらに、前記２つ以上の映像を撮像した際の基線長情報及び画角情報を抽出し、前記輻輳角補正値算出部は、前記表示サイズ情報、前記輻輳角情報、前記基線長情報、及び前記画角情報に基づいて、前記２つ以上の映像の最大視差量を算出し、該算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出することを特徴とする請求項１〜６のいずれか１項に記載の立体映像変換装置。
【請求項８】
前記撮像条件抽出部は、前記２つ以上の映像のメタデータから前記撮像条件を抽出することを特徴とする請求項１〜７のいずれか１項に記載の立体映像変換装置。
【請求項９】
前記撮像条件抽出部は、前記２つ以上の映像それぞれを撮像した撮像装置を特定する機器情報に基づいて、該機器情報と前記撮像条件とが対応付けられたテーブルを参照することによって前記撮像条件を抽出することを特徴とする請求項１〜７のいずれか１項に記載の立体映像変換装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の立体映像変換装置を備えたことを特徴とする立体映像表示装置。
【請求項１】
視点の異なる２つ以上の映像を入力し、該入力した２つ以上の映像の輻輳角を変更して出力する立体映像変換装置であって、
前記２つ以上の映像を撮像した際の撮像条件である輻輳角変換情報を抽出する撮像条件抽出部と、前記２つ以上の映像を撮像した際の輻輳角を変更する映像変換部とを備え、
該映像変換部は、前記撮像条件抽出部により抽出された輻輳角変換情報及び前記２つ以上の映像を表示させる表示画面の表示サイズ情報に基づいて、前記２つ以上の映像の最大視差量を算出し、該算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出する輻輳角補正値算出部と、該算出した輻輳角補正値に基づいて前記２つ以上の映像を撮像した際の輻輳角を変更させた映像を生成する輻輳角変換処理部とを備えたことを特徴とする立体映像変換装置。
【請求項２】
前記映像変換部は、前記輻輳角変更前の輻輳点の位置と前記輻輳角変更後の輻輳点の位置とが一致するように前記輻輳角変換処理部で生成された映像の相対位置を変換する相対位置変換処理部を備えたことを特徴とする請求項１に記載の立体映像変換装置。
【請求項３】
前記輻輳角変換処理部は、前記２つ以上の映像の最大視差量を低減させるように輻輳角を変更させることを特徴とする請求項１又は２に記載の立体映像変換装置。
【請求項４】
前記予め指定された最大視差量は、視聴者の目幅間隔であることを特徴とする請求項１〜３のいずれか１項に記載の立体映像変換装置。
【請求項５】
前記視聴者の目幅間隔は、５ｃｍであることを特徴とする請求項４に記載の立体映像変換装置。
【請求項６】
前記輻輳角変換処理部は、前記２つ以上の映像の最大視差量を拡大させるように輻輳角を変更させることを特徴とする請求項１又は２に記載の立体映像変換装置。
【請求項７】
前記撮像条件抽出部は、前記撮像条件として、さらに、前記２つ以上の映像を撮像した際の基線長情報及び画角情報を抽出し、前記輻輳角補正値算出部は、前記表示サイズ情報、前記輻輳角情報、前記基線長情報、及び前記画角情報に基づいて、前記２つ以上の映像の最大視差量を算出し、該算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出することを特徴とする請求項１〜６のいずれか１項に記載の立体映像変換装置。
【請求項８】
前記撮像条件抽出部は、前記２つ以上の映像のメタデータから前記撮像条件を抽出することを特徴とする請求項１〜７のいずれか１項に記載の立体映像変換装置。
【請求項９】
前記撮像条件抽出部は、前記２つ以上の映像それぞれを撮像した撮像装置を特定する機器情報に基づいて、該機器情報と前記撮像条件とが対応付けられたテーブルを参照することによって前記撮像条件を抽出することを特徴とする請求項１〜７のいずれか１項に記載の立体映像変換装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の立体映像変換装置を備えたことを特徴とする立体映像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−８５１０２（Ｐ２０１２−８５１０２Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２２９６０７（Ｐ２０１０−２２９６０７）
【出願日】平成２２年１０月１２日（２０１０．１０．１２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月１２日（２０１０．１０．１２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]