画像合成装置、画像合成方法、及びプログラム
【課題】合成する３次元画像を、ユーザにより指定された優先順序に対応する視差量に調整し、調整後の３次元画像を合成する。
【解決手段】左眼用スイッチャ８２及び右眼用スイッチャ９２は、複数の３次元画像のうち、合成される２枚以上の３次元画像を選択し、調整部２５２は、選択された３次元画像それぞれを合成する際の順序を表す合成順序を取得し、取得した合成順序に基づいて、選択された３次元画像の視差量を調整し、左眼用スイッチャ８２及び右眼用スイッチャ９２は、合成順序に従って、調整後の３次元画像を合成する。本発明は、例えば、３次元画像どうしを合成するコンピュータ等に適用できる。
【解決手段】左眼用スイッチャ８２及び右眼用スイッチャ９２は、複数の３次元画像のうち、合成される２枚以上の３次元画像を選択し、調整部２５２は、選択された３次元画像それぞれを合成する際の順序を表す合成順序を取得し、取得した合成順序に基づいて、選択された３次元画像の視差量を調整し、左眼用スイッチャ８２及び右眼用スイッチャ９２は、合成順序に従って、調整後の３次元画像を合成する。本発明は、例えば、３次元画像どうしを合成するコンピュータ等に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置、画像合成方法、及びプログラムに関し、特に、例えば、３次元画像を合成する場合に用いて好適な画像合成装置、画像合成方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、ユーザが、スイッチャを用いて選択した３次元画像どうしを合成するスーパーインポーズ等の合成技術が存在する（例えば、特許文献１を参照）。
【０００３】
ここで、３次元画像とは、左眼用２次元画像、及び右眼用２次元画像により構成されており、左眼用２次元画像と右眼用２次元画像との間には、鑑賞者により視認される画像上の物体が立体的に見えるように視差が設けられている。
【０００４】
また、３次元画像を鑑賞者に提示する場合には、例えば、左眼用２次元画像を鑑賞者の左眼のみで視認できるように提示し、右眼用２次元画像を鑑賞者の右眼のみで視認できるように提示するようにする。
【０００５】
鑑賞者は、左眼用２次元画像と右眼用２次元画像に設けられた視差の量（視差量）に応じて知覚される奥行きｚ、換言すれば、３次元画像に対して垂直な方向に定義される、３次元画像上に存在する物体の立体的な位置ｚに基づいて、視認した画像を立体的な３次元画像として認識することとなる。
【０００６】
なお、３次元画像の視差量を調整する調整技術も存在する（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０８−３２１９９２号公報
【特許文献２】特開平１１−１６４３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した合成技術によれば、例えば、ユーザにより選択された３次元画像を合成する際、ユーザが指定した合成順序に従って、選択された３次元画像が合成される。
【０００９】
この場合、合成順序が、合成する３次元画像それぞれに存在する物体の立体的な位置ｚ（物体の前後関係）と一致しないときには、３次元画像の合成結果として、３次元画像上の物体の立体的な位置ｚと、合成順序とが一致しない不自然な（違和感のある）合成３次元画像が生成されてしまうことがあった。
【００１０】
具体的には、例えば、２枚の３次元画像が選択されて合成される場合、選択された２枚の３次元画像のうち、一方の３次元画像上に存在する第１の物体が、他方の３次元画像上に存在する第２の物体よりも近くに認識されるときには、鑑賞者により認識される、第１及び第２の物体の位置関係に一致するように、第１の物体を、第２の物体よりも手前に表示するように合成する必要がある。
【００１１】
ところが、ユーザにより指定された合成順序が、第２の物体を、第１の物体よりも手前に表示するように合成する合成順序である場合、鑑賞者により認識される、第１及び第２の物体の位置関係に反して、第２の物体を、第１の物体よりも手前に表示するように合成してしまい、非常に違和感のある合成３次元画像が生成されてしまっていた。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、合成する３次元画像上に存在する物体の立体的な位置と、合成順序とが一致する違和感のない合成３次元画像を生成できるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の画像合成装置は、複数の３次元画像のうち、２枚以上の３次元画像を選択する画像選択手段と、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を取得する順序取得手段と、前記合成順序に基づいて、選択された前記３次元画像の視差量を調整する視差量調整手段と、前記合成順序に従って、調整後の前記３次元画像を合成する画像合成手段とを含む画像合成装置である。
【００１４】
選択された前記３次元画像の元の視差量から、前記合成順序に対応する視差量に調整する際の進行状況を表すフェーダ情報を取得するフェーダ取得手段をさらに設けることができ、前記視差量調整手段では、前記フェーダ情報に基づいて、選択された前記３次元画像の視差量を調整し、前記画像合成手段では、前記フェーダ情報に基づき調整された前記３次元画像を合成するようにすることができる。
【００１５】
前記フェーダ情報に基づき調整された前記３次元画像それぞれの視差量を比較して得られる比較結果に基づいて、前記フェーダ情報に基づき調整された前記３次元画像上の全領域のうち、合成後の前記３次元画像として表示される領域を表す領域情報を生成する比較生成手段をさらに設けることができ、前記画像合成手段では、前記領域情報に基づいて、前記フェーダ情報に基づき調整された前記３次元画像を合成するようにすることができる。
【００１６】
前記順序取得手段では、ユーザにより前記合成順序を指定する指定操作が行われたことに対応して、前記ユーザの指定操作により指定された前記合成順序を取得するようにすることができる。
【００１７】
選択された前記３次元画像それぞれの視差量を計測する計測手段と、前記合成順序に基づいて、計測された前記視差量を、前記合成順序に対応する視差量に調整するための調整量を算出する調整量算出手段とをさらに設けることができ、前記視差量調整手段では、前記合成順序に基づき算出された前記調整量を用いて、前記視差量を調整するようにすることができる。
【００１８】
前記調整量を一時的に保持する調整量保持手段をさらに設けることができ、前記視差量調整手段では、前記ユーザの指定操作により指定された前記合成順序で合成を行なうことを指示する指示操作が行われたことに対応して、前記調整量保持手段に保持されている前記調整量を用いて前記視差量を調整し、前記画像合成手段では、前記ユーザの指定操作により指定された前記合成順序に従って、調整後の前記３次元画像を合成するようにすることができる。
【００１９】
前記視差量調整手段では、調整後の前記３次元画像の視差量が、予め決められた閾値未満となる場合のみ、選択された前記３次元画像の視差量についての調整を行なうようにすることができる。
【００２０】
ユーザの確認のために表示されるプレビュー用確認画像として、前記画像合成手段の合成により得られる合成３次元画像を出力して表示させる第１の出力手段と、前記合成３次元画像を、最終的な合成３次元画像として出力する第２の出力手段とをさらに設けるようにすることができる。
【００２１】
前記順序取得手段では、前記合成順序として、選択された前記３次元画像を合成した場合に手前側に表示される順序を取得するようにすることができる。
【００２２】
本発明の一側面の画像合成方法は、複数の３次元画像を合成する画像合成装置の画像合成方法であって、前記画像合成装置は、画像選択手段と、順序取得手段と、視差量調整手段と、画像合成手段とを含み、前記画像選択手段が、複数の３次元画像のうち、２枚以上の３次元画像を選択し、前記順序取得手段が、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を取得し、前記視差量調整手段が、前記合成順序に基づいて、選択された前記３次元画像の視差量を調整し、前記画像合成手段が、前記合成順序に従って、調整後の前記３次元画像を合成するステップを含む画像合成方法である。
【００２３】
本発明の一側面のプログラムは、コンピュータを、複数の３次元画像のうち、２枚以上の３次元画像を選択する画像選択手段と、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を取得する順序取得手段と、前記合成順序に基づいて、選択された前記３次元画像の視差量を調整する視差量調整手段と、前記合成順序に従って、調整後の前記３次元画像を合成する画像合成手段として機能させるためのプログラムである。
【００２４】
本発明によれば、複数の３次元画像のうち、２枚以上の３次元画像が選択され、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序が取得され、前記合成順序に基づいて、選択された前記３次元画像の視差量が調整され、前記合成順序に従って、調整後の前記３次元画像が合成される。
【発明の効果】
【００２５】
本発明によれば、合成する３次元画像上に存在する物体の立体的な位置と、合成順序とが一致する違和感のない合成３次元画像を生成することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】第１の実施の形態である画像合成装置の構成例を示すブロック図である。
【図２】第１の実施の形態である画像合成装置が行なう処理の概要を示す図である。
【図３】奥行きｚの平均値に基づいて、優先順序を決定する決定方法の一例を示す図である。
【図４】奥行きｚの中央値に基づいて、優先順序を決定する決定方法の一例を示す図である。
【図５】第１の実施の形態である画像合成装置の詳細な構成例を示すブロック図である。
【図６】左眼用スイッチャの構成例を示すブロック図である。
【図７】優先順序決定部の構成例を示すブロック図である。
【図８】優先順序決定処理を説明するためのフローチャートである。
【図９】画像合成処理装置の他の構成例を示すブロック図である。
【図１０】操作卓の一例を示す図である。
【図１１】操作卓に設けられたボタンの状態遷移の一例を示す状態遷移図である。
【図１２】第２の実施の形態である画像合成装置の構成例を示すブロック図である。
【図１３】第２の実施の形態である画像合成装置が行なう処理の概要を示す図である。
【図１４】第２の実施の形態である画像合成装置の詳細な構成例を示すブロック図である。
【図１５】調整部の構成例を示すブロック図である。
【図１６】第１の視差量調整処理を説明するためのフローチャートである。
【図１７】第２の視差量調整処理を説明するためのフローチャートである。
【図１８】第３の視差量調整処理を説明するためのフローチャートである。
【図１９】第３の実施の形態における処理の概要を示す第１の図である。
【図２０】第３の実施の形態における処理の概要を示す第２の図である。
【図２１】第３の実施の形態である画像合成装置の構成例を示すブロック図である。
【図２２】フェーダ調整部の構成例を示すブロック図である。
【図２３】左眼用スイッチャの構成例を示すブロック図である。
【図２４】奥行き比較部乃至合成処理部が行なう処理の一例を示す図である。
【図２５】フェーダ調整処理を説明するためのフローチャートである。
【図２６】左眼用スイッチャの画像合成部の他の構成例を示すブロック図である。
【図２７】４枚の３次元画像を合成する場合の一例を示す第１の図である。
【図２８】４枚の３次元画像を合成する場合の一例を示す第２の図である。
【図２９】フェーダ値に応じて、４枚の左眼用２次元画像を合成する場合の画像合成部が設けられた左眼用スイッチャの構成例を示す図である。
【図３０】調整部が設けられた左眼用スイッチャの構成例を示すブロック図である。
【図３１】プレビュー機能が設けられた左眼用スイッチャの構成例を示すブロック図である。
【図３２】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 第１の実施の形態（３次元画像の視差量に対応する優先順序で、３次元画像を合成 する場合の一例）
２． 第２の実施の形態（ユーザにより指定された優先順序で、その優先順序に対応する 視差量に調整された３次元画像を合成する場合の一例）
３． 第３の実施の形態（ユーザにより調整されたフェーダ値に応じて、３次元画像の視 差量を調整して合成する場合の一例）
４． 変形例
【００２８】
＜１．第１の実施の形態＞
[操作卓２１及び画像合成装置２２による構成]
図１は、第１の実施の形態である、操作卓２１からの操作信号に応じて３次元画像を合成する画像合成装置２２の構成例を示している。
【００２９】
この画像合成装置２２は、例えば、ケーブルにより操作卓２１と接続されている。
【００３０】
操作卓２１は、画像合成装置２２に供給される複数の３次元画像のうち、合成する３次元画像を選択するための選択ボタン等により構成されている。操作卓２１は、ユーザに操作されたことに対応して、ユーザの操作に対応する操作信号を生成し、画像合成装置２２に供給する。なお、操作卓２１の詳細については、図１０及び図１１を参照して後述する。
【００３１】
画像合成装置２２は、操作卓２１からの操作信号に応じた処理を行う。すなわち、例えば、画像合成装置２２は、操作卓２１からの操作信号に基づいて、供給される複数の３次元画像のうち、ユーザの選択操作により選択された３次元画像の合成を行う。そして、画像合成装置２２は、その合成により得られる合成後の３次元画像を出力する。
【００３２】
ここで、３次元画像とは、左眼用２次元画像、及び右眼用２次元画像により構成されており、左眼用２次元画像と右眼用２次元画像との間には、鑑賞者により視認される画像上の物体が立体的に見えるように視差が設けられている。
【００３３】
なお、３次元画像を鑑賞者に提示する場合には、例えば、左眼用２次元画像を鑑賞者の左眼のみで視認できるように提示し、右眼用２次元画像を鑑賞者の右眼のみで視認できるように提示するようにする。これにより、鑑賞者は、左眼用２次元画像と右眼用２次元画像に設けられた視差の量（視差量）に応じて知覚される奥行きｚ、換言すれば、３次元画像に対して垂直な方向に定義される、３次元画像上に存在する物体の立体的な位置ｚに基づいて、視認した画像を立体的な３次元画像として認識することとなる。
【００３４】
以下、説明を簡単にするために、ユーザが、操作卓２１を用いて、合成する３次元画像を２枚だけ選択するものとして説明するが、合成する３次元画像の枚数は２枚に限定されず、３枚以上の３次元画像を選択することができる。
【００３５】
[画像合成装置２２が行う処理の概要]
図２は、画像合成装置２２が行う処理の概要を示している。
【００３６】
図２A下側には、ユーザが選択した２枚の３次元画像のうちの一方の３次元画像４１が示されている。この３次元画像４１には、犬４１a及び木４１bが表示されている。
【００３７】
図２A上側において、横軸は、３次元画像４１上の横方向の位置を表しており、縦軸は、３次元画像４１における左眼用２次元画像と右眼用２次元画像との間に設けられた視差に応じた奥行きzを表している。このことは、図２B上側、及び図２C上側についても同様である。
【００３８】
図２A上側において、複数の座標６１aは、３次元画像４１上の犬４１aが存在する領域を構成する画素それぞれに対応した奥行きzを示す座標を表している。また、複数の座標６１bは、３次元画像４１上の木４１bが存在する領域を構成する画素それぞれに対応した奥行きzを示す座標を表している。
【００３９】
図２B下側には、ユーザが選択した２枚の３次元画像のうちの他方の３次元画像４２が示されている。この３次元画像４２には、自動車４２aが表示されている。
【００４０】
また、図２B上側において、複数の座標６２aは、３次元画像４２上の自動車４２aが存在する領域を構成する画素それぞれに対応した奥行きzを表す座標を表している。
【００４１】
図２C下側には、３次元画像４１及び４２を合成した場合に得られる合成後の３次元画像４３の一例が示されている。
【００４２】
図２C上側において、複数の座標６１b'は、木４１bを構成する領域のうち、自動車４２aと重畳（合成）される重畳部分を構成する画素それぞれに対応した奥行きｚを示す座標を表している。
【００４３】
また、図２C上側において、複数の座標６２a'は、自動車４２aを構成する領域のうち、木４１bと重畳される重畳部分を構成する画素それぞれに対応した奥行きｚを示す座標を表している。
【００４４】
画像合成装置２２は、ユーザにより選択された３次元画像４１及び４２に基づいて、３次元画像４１及び４２を合成した場合に、３次元画像４１上の犬４１a及び木４１bを構成する領域と、３次元画像４２上の自動車４２aを構成する領域とが重畳される重畳部分を検出する。
【００４５】
そして、画像合成装置２２は、３次元画像４１上の重畳部分を構成する画素それぞれに対応する奥行きｚ（図２C上側における複数の座標６１b'に対応）を算出する。
【００４６】
また、画像合成装置２２は、３次元画像４２上の重畳部分を構成する画素それぞれに対応する奥行きｚ（図２C上側における複数の座標６２a'に対応）を算出する。
【００４７】
さらに、画像合成装置２２は、３次元画像４１について算出した奥行きｚ、及び３次元画像４２について算出した奥行きｚについて、それぞれ、平均値を算出し、算出した平均値に基づいて、３次元画像４１及び４２を合成する際の優先順序を決定する。
【００４８】
そして、画像合成装置２２は、決定した優先順序で、３次元画像４１及び４２を合成して出力する。
【００４９】
ここで、優先順序とは、３次元画像上の物体（例えば、３次元画像４２上の自動車４２a）が、他の３次元画像上の物体（例えば、３次元画像４１上の犬４１a及び４１b）に優先して手前に重畳されるべき順序を表す。
【００５０】
なお、優先順序とは、３次元画像を合成する合成順序のことを意味するものであるが、第１乃至第３の実施の形態では、合成順序を優先順序として説明するものとする。
【００５１】
すなわち、第１乃至第３の実施の形態では、合成順序が、合成される３次元画像上の物体が優先して手前に重畳される順序を表すことに注目して、合成順序を優先順序として説明するようにしている。
【００５２】
次に、図３は、奥行きｚの平均値に基づいて、優先順序を決定する決定方法の一例を示している。
【００５３】
画像合成装置２２は、図３A上側に示されるように、３次元画像４１について算出した奥行きｚ（複数の座標６１b'それぞれに対応する奥行きｚ）の平均値ave1を算出する。また、画像合成装置２２は、図３B上側に示されるように、３次元画像４２について算出した奥行きｚ（複数の座標６２a'それぞれに対応する奥行きｚ）の平均値ave2を算出する。
【００５４】
そして、画像合成装置２２は、算出した平均値ave1と平均値ave2とを比較し、その比較結果に基づいて、優先順序を、奥行きｚの平均値が小さい順序に決定する。
【００５５】
いまの場合、３次元画像４２上の自動車４２aにおける奥行きｚの平均値ave2は、３次元画像４１上の木４１bにおける奥行きｚの平均値ave1よりも小さくなっている。このため、画像合成装置２２は、３次元画像４２上の自動車４２aが、３次元画像４１上の木４１bよりも手前側に表示されるように、３次元画像４２の優先順序を１番に、３次元画像４１の優先順序を２番に決定する。
【００５６】
なお、画像合成装置２２は、奥行きｚの平均値に基づいて、優先順序を決定するようにしたが、その他、例えば、ｚの中央値に基づいて優先順序を決定することができる。
【００５７】
[ｚの中央値に基づいて優先順序を決定する決定方法]
次に、図４は、奥行きｚの中央値に基づいて、優先順序を決定する決定方法の一例を示している。
【００５８】
画像合成装置２２は、図４A上側に示されるように、３次元画像４１について算出した奥行きｚ（複数の座標６１b'それぞれに対応する奥行きｚ）の中央値med1を算出する。また、画像合成装置２２は、図４B上側に示されるように、３次元画像４２について算出した奥行きｚ（複数の座標６２a'それぞれに対応する奥行きｚ）の中央値med2を算出する。
【００５９】
そして、画像合成装置２２は、算出した中央値med1と中央値med2とを比較し、その比較結果に基づいて、優先順序を、奥行きｚの中央値が小さい順序に決定する。
【００６０】
いまの場合、３次元画像４２上の自動車４２aにおける奥行きｚの中央値med2は、３次元画像４１上の木４１bにおける奥行きｚの中央値med1よりも小さくなっている。このため、画像合成装置２２は、３次元画像４２上の自動車４２aが、３次元画像４１上の木４１bよりも手前側に表示されるように、３次元画像４２の優先順序を１番に、３次元画像４１の優先順序を２番に決定する。
【００６１】
[画像合成装置２２の詳細]
次に、図５は、画像合成装置２２の構成例を示している。
【００６２】
この画像合成装置２２は、制御部８１、左眼用スイッチャ８２、SDI(serial digital interface)端子８３乃至８６、優先順序決定部８７、SDI端子８８乃至９１、及び右眼用スイッチャ９２により構成される。
【００６３】
なお、画像合成装置２２には、３次元画像として、３次元画像を構成する左眼用２次元画像及び右眼用２次元画像が供給される。すなわち、画像合成装置２２において、左眼用スイッチャ８２には、３次元画像に対応する左眼用２次元画像が、右眼用スイッチャ９２には、３次元画像に対応する右眼用２次元画像が、それぞれ供給される。
【００６４】
制御部８１には、操作卓２１からの操作信号が供給される。制御部８１は、操作卓２１からの操作信号に基づいて、左眼用スイッチャ８２、優先順序決定部８７、及び右眼用スイッチャ９２を制御する。
【００６５】
左眼用スイッチャ８２は、制御部８１からの制御にしたがって、供給される複数の左眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像４１及び４２（図２）に対応する左眼用２次元画像それぞれを選択する。
【００６６】
そして、左眼用スイッチャ８２は、３次元画像４１に対応する左眼用２次元画像を、SDI端子８３に供給し、３次元画像４２に対応する左眼用２次元画像を、SDI端子８４に供給する。
【００６７】
また、左眼用スイッチャ８２は、SDI端子８５から供給される優先順序で、SDI端子８５からの、３次元画像４１に対応する左眼用２次元画像と、SDI端子８６からの、３次元画像４２に対応する左眼用２次元画像とを合成し、合成後の左眼用２次元画像を出力する。なお、左眼用スイッチャ８２は、合成する画像として、SDI端子８５およびSDI端子８６からの画像を使用せず、外部から入力されている左眼用２次元画像をそのまま使用するようにすることも可能である。
【００６８】
SDI端子８３乃至８６は、それぞれ、左眼用スイッチャ８２と優先順序決定部８７とをケーブルにより接続するものである。すなわち、図５において、SDI端子８３乃至８６は、それぞれ、左眼用スイッチャ８２と優先順序決定部８７とをケーブルにより接続することを示す。
【００６９】
SDI端子８３及び８４は、それぞれ、左眼用スイッチャ８２からの左眼用２次元画像を、優先順序決定部８７に供給する。
【００７０】
SDI端子８５及び８６は、それぞれ、優先順序決定部８７からの左眼用２次元画像を、左眼用スイッチャ８２に供給する。また、SDI端子８５は、優先順序決定部８７から優先順序が供給された場合、その優先順序を左眼用スイッチャ８２に供給する。なお、優先順序決定部８７からSDI端子８６に優先順序が供給されるように構成した場合には、SDI端子８６が、優先順序決定部８７からの優先順序を左眼用スイッチャ８２に供給する。なお、SDI信号が画像以外の付加情報を伝送できることは既知の通りである。
【００７１】
優先順序決定部８７は、SDI端子８３からの、３次元画像４１に対応する左眼用２次元画像と、SDI端子８８からの、３次元画像４１に対応する右眼用２次元画像との組合せを、３次元画像４１として取得する。そして、優先順序決定部８７は、取得した３次元画像４１に基づいて、３次元画像４１の視差量（３次元画像４１において、左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に設けられた視差量）を計測する。
【００７２】
また、優先順序決定部８７は、SDI端子８４からの、３次元画像４２に対応する左眼用２次元画像と、SDI端子８９からの、３次元画像４２に対応する右眼用２次元画像との組合せを、３次元画像４２として取得する。そして、優先順序決定部８７は、取得した３次元画像４２に基づいて、３次元画像４２の視差量（３次元画像４２において、左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に設けられた視差量）を計測する。
【００７３】
さらに、優先順序決定部８７は、計測した３次元画像４１及び４２の視差量に基づいて優先順序を決定し、決定した優先順序をSDI端子８５及び９０に供給する。なお、優先順序決定部８７は、決定した優先順序を、左眼用スイッチャ８２及び右眼用スイッチャ９２に通知するために、SDI端子８５及び９０に供給するようにしたが、例えば、決定した優先順序を、SDI端子８６及び９１に供給するようにしてもよい。
【００７４】
また、優先順序決定部８７は、取得した３次元画像４１に対応する左眼用２次元画像を、SDI端子８５に供給し、同じく取得した３次元画像４１に対応する右眼用２次元画像を、SDI端子９０に供給する。
【００７５】
さらに、優先順序決定部８７は、取得した３次元画像４２に対応する左眼用２次元画像を、SDI端子８６に供給し、同じく取得した３次元画像４２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【００７６】
SDI端子８８乃至９１は、それぞれ、右眼用スイッチャ９２と優先順序決定部８７とをケーブルにより接続するものである。すなわち、図５において、SDI端子８８乃至９１は、それぞれ、右眼用スイッチャ９２と優先順序決定部８７とをケーブルにより接続することを示す。
【００７７】
SDI端子８８及び８９は、それぞれ、右眼用スイッチャ９２からの右眼用２次元画像を、優先順序決定部８７に供給する。
【００７８】
SDI端子９０及び９１は、それぞれ、優先順序決定部８７からの右眼用２次元画像を、右眼用スイッチャ９２に供給する。また、SDI端子９０は、優先順序決定部８７から優先順序が供給された場合、その優先順序を右眼用スイッチャ９２に供給する。なお、優先順序決定部８７からSDI端子９１に優先順序が供給されるように構成した場合には、SDI端子９１が、優先順序決定部８７からの優先順序を右眼用スイッチャ９２に供給する。
【００７９】
右眼用スイッチャ９２は、左眼用スイッチャ８２と同様の処理を行なう。すなわち、右眼用スイッチャ９２は、供給される複数の右眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像４１及び４２（図２）に対応する右眼用２次元画像それぞれを選択する。
【００８０】
そして、右眼用スイッチャ９２は、３次元画像４１に対応する右眼用２次元画像を、SDI端子８８に供給し、３次元画像４２に対応する右眼用２次元画像を、SDI端子８９に供給する。
【００８１】
また、右眼用スイッチャ９２は、SDI端子９０から供給される優先順序で、SDI端子９０からの、３次元画像４１に対応する右眼用２次元画像と、SDI端子９１からの、３次元画像４２に対応する右眼用２次元画像とを合成し、合成後の右眼用２次元画像を出力する。
【００８２】
[左眼用スイッチャ８２の構成例]
次に、図６は、左眼用スイッチャ８２の構成例を示している。
【００８３】
なお、右眼用スイッチャ９２は、左眼用スイッチャ８２と同様に構成されているため、左眼用スイッチャ８２の構成についてのみ説明し、右眼用スイッチャ９２についての説明は省略する。
【００８４】
左眼用スイッチャ８２は、画像選択部１１１及び画像合成部１１２により構成される。また、左眼用スイッチャ８２は、入力ラインL1乃至L9を有している。
【００８５】
入力ラインL1乃至L9のうち、入力ラインL1乃至L7には、画像合成装置２２に供給される複数の３次元画像（いまの場合７枚の３次元画像）に対応する左眼用２次元画像それぞれが入力（供給）される。
【００８６】
また、入力ラインL1乃至L9のうち、入力ラインL8には、SDI端子８５から、３次元画像４１に対応する左眼用２次元画像及び優先順序が、入力ラインL9には、SDI端子８６から、３次元画像４２に対応する左眼用２次元画像が、それぞれ入力される。
【００８７】
なお、左眼用スイッチャ８２は、９本の入力ラインL1乃至L9を有することとしたが、入力ラインの本数は９本に限定されず、いずれの本数により構成してもよい。
【００８８】
画像選択部１１１は、制御部８１からの制御にしたがって、入力ラインL1乃至L7から供給される７枚の左眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像４１及び４２それぞれに対応する左眼用２次元画像を選択し、一方をSDI端子８３に他方をSDI端子８４に供給する。
【００８９】
すなわち、例えば、画像選択部１１１は、クロスポイントスイッチ１３１a及び１３１b、バスライン１３２a及び１３２b、並びに信号処理部（Video Proc）１３３a及び１３３bにより構成される。
【００９０】
クロスポイントスイッチ１３１aは、制御部８１からの制御にしたがって、バスライン１３２aと入力ラインL1乃至L9とが交差する各点（バツ印で示す）の接続を制御する。クロスポイントスイッチ１３１aは、各点の接続を制御し、入力ラインL1乃至L7それぞれから供給される左眼用２次元画像のうち、例えば３次元画像４１に対応する左眼用２次元画像を、バスライン１３２aを介して、ビデオ信号処理部１３３aに供給する。
【００９１】
クロスポイントスイッチ１３１bは、制御部８１からの制御にしたがって、バスライン１３２bと入力ラインL1乃至L9とが交差する各点の接続を制御する。クロスポイントスイッチ１３１bは、各点の接続を制御し、入力ラインL1乃至L7それぞれから供給される左眼用２次元画像のうち、例えば３次元画像４２に対応する左眼用２次元画像を、バスライン１３２bを介して、ビデオ信号処理部１３３bに供給する。
【００９２】
ビデオ信号処理部１３３aは、バスライン１３２aから供給される、３次元画像４１に対応する左眼用２次元画像に対して、所定の処理を施してSDI端子８３に供給する。ビデオ信号処理部１３３bは、バスライン１３２bから供給される、３次元画像４２に対応する左眼用２次元画像に対して、所定の処理を施してSDI端子８４に供給する。
【００９３】
画像合成部１１２は、クロスポイントスイッチ１５１a乃至１５１k、バスライン１５２a乃至１５２k、キー信号処理部（Key Proc）１５３a乃至１５３d、ビデオ信号処理部(Video Proc)１５４a乃至１５４c、及び合成処理部１５５により構成される。
【００９４】
クロスポイントスイッチ１５１aは、制御部８１からの制御にしたがって、バスライン１５２aと入力ラインL1乃至L9とが交差する各点の接続を制御し、例えば入力ラインL8から供給される、３次元画像４１に対応する左眼用２次元画像及び優先順序を、バスライン１５２aを介して、キー信号処理部１５３aに供給する。
【００９５】
クロスポイントスイッチ１５１bは、制御部８１からの制御にしたがって、バスライン１５２bと入力ラインL1乃至L9とが交差する各点の接続を制御し、例えば入力ラインL8から供給される、３次元画像４１に対応する左眼用２次元画像を、バスライン１５２bを介して、キー信号処理部１５３aに供給する。
【００９６】
キー信号処理部１５３aは、バスライン１５２aからの左眼用２次元画像に基づいて、重畳用の加工を施した画像を生成し、合成処理部１５５に供給する。また、キー信号処理部１５３aは、バスライン１５２bからの左眼用２次元画像に基づいて、左眼用２次元画像のキー信号を生成し、合成処理部１５５に供給する。
【００９７】
なお、キー信号とは、画像上の全領域のうち、背景以外の物体が存在する領域を表す。第１の実施の形態において、このキー信号は、例えば、対応する左眼用２次元画像から生成するものとし、キー信号処理部１５３aは、左眼用２次元画像から、キー信号を抽出することにより、左眼用２次元画像のキー信号を生成するようにしているものとする。
【００９８】
さらに、キー信号処理部１５３aは、バスライン１５２aからの優先順序を、合成処理部１５５に供給する。
【００９９】
なお、クロスポイントスイッチ１５１c及び１５１d，１５１e及び１５１f，並びに、１５１g及び１５１hは、クロスポイントスイッチ１５１a及び１５１bと同様に構成されている。また、キー信号処理部１５３b乃至１５３dは、キー信号処理部１５３aと同様に構成されている。例えば、クロスポイントスイッチ１５１c及び１５１dは、入力ラインL9から供給される、３次元画像４２に対応する左眼用２次元画像を、バスライン１５２ｃ及び１５２ｄを介して、キー信号処理部１５３ｂに供給する。
【０１００】
ここで、第１の実施の形態では、２枚の３次元画像４１及び４２を合成する場合について説明しているため、例えば、クロスポイントスイッチ１５１a乃至１５１hのうちクロスポイントスイッチ１５１a乃至１５１dを、キー信号処理部１５３a乃至１５３dのうちキー信号処理部１５３a及び１５３bをそれぞれ用いることとしている。
【０１０１】
３枚以上の３次元画像（左眼用２次元画像）を合成する場合には、さらに、クロスポイントスイッチ１５１e乃至１５１hやキー信号処理部１５３c及び１５３dが用いられることとなる。なお、以降で説明する背景画像と、各キー信号処理部で扱う画像との関係も、既に示した例の３次元画像４１と４２との関係のように、ｚ方向に関する前後関係を考慮しても良い。例えば、キー信号処理部のうち１５３ａのみを使用する場合でも、背景となる画像との前後関係を考慮するようにしても良い。ここでは説明を簡単にするために、２つの３次元画像についての前後関係を考慮した合成に注目して説明している。
【０１０２】
クロスポイントスイッチ１５１i乃至１５１k、バスライン１５２i乃至１５２k、及びビデオ信号処理部１５４a乃至１５４cでは、例えば、３次元画像４１及び４２に対して合成する背景を表す背景用３次元画像を構成する左眼用２次元画像及び右眼用２次元画像のうち、左眼用２次元画像を、合成処理部１５５に供給する。
【０１０３】
この場合、例えば、入力ラインL1乃至L9のうち、入力ラインL1乃至L7からは、それぞれ、背景用３次元画像を構成する左眼用２次元画像及び右眼用２次元画像のうち、左眼用２次元画像としての背景画像が供給される。
【０１０４】
クロスポイントスイッチ１５１iは、制御部８１からの制御にしたがって、バスライン１５２iと入力ラインL1乃至L9とが交差する各点の接続を制御し、入力ラインL1乃至L7から供給される背景画像のうちのいずれかを選択し、バスライン１５１iを介して、ビデオ信号処理部１５４aに供給する。
【０１０５】
ビデオ信号処理部１５４aは、バスライン１５１iからの背景画像に対して、所定の処理を施して合成処理部１５５に供給する。
【０１０６】
なお、クロスポイントスイッチ１５１j及び１５１kは、クロスポイントスイッチ１５１iと同様に構成され、ビデオ信号処理部１５４b及び１５４cは、ビデオ信号処理部１５４aと同様に構成されている。
【０１０７】
クロスポイントスイッチ１５１j及び１５１k、並びにビデオ信号処理部１５４b及び１５４cは、例えば、３次元画像４１及び４２に合成する背景用３次元画像が複数枚である場合に用いられる。例えば、合成処理部１５５内部にワイプ波形生成器を設け、そこで生成されるワイプ波形により画面を区切り、画面上に複数の背景用３次元画像を配置することが可能である。
【０１０８】
合成処理部１５５は、例えば、キー信号処理部１５３a及び１５３bからのキー信号を用いて、キー信号処理部１５３aからの優先順序で、キー信号処理部１５３a及び１５３bから供給される２枚の左眼用２次元画像を合成する合成処理を行い、背景画像に対して合成して、その結果得られる合成後の左眼用２次元画像を、出力ラインから出力する。
【０１０９】
[優先順序決定部８７の詳細]
図７は、優先順序決定部８７の構成例を示している。
【０１１０】
この優先順序決定部８７は、視差量計測部１７１及び順序決定部１７２により構成される。
【０１１１】
視差量計測部１７１は、SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せを、３次元画像４１として取得する。
【０１１２】
また、視差量計測部１７１は、SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せを、３次元画像４２として取得する。
【０１１３】
そして、視差量計測部１７１は、取得した３次元画像４１及び４２に基づいて、３次元画像４１及び４２を合成した場合に、３次元画像４１上の犬４１a及び木４１bを構成する領域と、３次元画像４２上の自動車４２aを構成する領域とが重畳される重畳部分を検出する。
【０１１４】
すなわち、例えば、視差量計測部１７１は、SDI端子８３からの、３次元画像４１に対応する左眼用２次元画像、及びSDI端子８４からの、３次元画像４２に対応する左眼用２次元画像から算出により生成するキー信号に基づいて、左眼用２次元画像上の重畳部分を検出する。
【０１１５】
また、視差量計測部１７１は、SDI端子８８からの、３次元画像４１に対応する右眼用２次元画像、及びSDI端子８９からの、３次元画像４２に対応する右眼用２次元画像から算出により生成するキー信号に基づいて、右眼用２次元画像上の重畳部分を検出する。
【０１１６】
なお、キー信号の生成には、例えば明るさから生成するルミナンスキー手法などを用いる。
【０１１７】
視差量計測部１７１は、３次元画像４１に対応する左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に基づいて、３次元画像４１において、左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分の視差量（以下、３次元画像４１の視差量という）を計測する。そして、視差量計測部１７１は、計測した３次元画像４１の視差量を、３次元画像４１とともに、順序決定部１７２に供給する。
【０１１８】
また、視差量計測部１７１は、３次元画像４２に対応する左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に基づいて、３次元画像４２において、左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分の視差量（以下、３次元画像４２の視差量という）を計測する。そして、視差量計測部１７１は、計測した３次元画像４２の視差量を、３次元画像４２とともに、順序決定部１７２に供給する。
【０１１９】
順序決定部１７２は、視差量計測部１７１からの、３次元画像４１の視差量に基づいて、３次元画像４１における奥行きｚの平均値ave1を算出する。
【０１２０】
また、順序決定部１７２は、視差量計測部１７１からの、３次元画像４２の視差量に基づいて、３次元画像４２における奥行きｚの平均値ave2を算出する。
【０１２１】
そして、順序決定部１７２は、３次元画像４１及び４２それぞれにおける奥行きｚの平均値ave1及びave2どうしを比較し、その比較結果に基づいて、優先順序を決定して、SDI端子８５及び９０に供給する。
【０１２２】
順序決定部１７２は、視差量計測部１７１からの３次元画像４１に対応する左眼用２次元画像を、SDI端子８５に、視差量計測部１７１からの３次元画像４２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０１２３】
また、順序決定部１７２は、視差量計測部１７１からの３次元画像４１に対応する右眼用２次元画像を、SDI端子９０に、視差量計測部１７１からの３次元画像４２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０１２４】
[画像合成装置２２の動作説明]
次に、図８のフローチャートを参照して、画像合成装置２２が行う優先順序決定処理について説明する。
【０１２５】
この優先順序決定処理は、例えば、ユーザが操作卓２１を用いて、画像合成装置２２に供給される複数の３次元画像のうち、合成する３次元画像４１及び４２を選択する選択操作を行ったときに開始される。
【０１２６】
このとき、制御部８１には、ユーザの選択操作に応じた操作信号が、操作卓２１から供給される。そして、制御部８１は、操作卓２１からの操作信号に応じて、左眼用スイッチャ８２及び右眼用スイッチャ９２を制御する。
【０１２７】
すなわち、ステップＳ１において、左眼用スイッチャ８２の画像選択部１１１は、制御部８１からの制御にしたがって、入力ラインL1乃至L7から入力される７枚の左眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像４１及び４２それぞれに対応する左眼用２次元画像を取得する。
【０１２８】
そして、画像選択部１１１は、取得した左眼用２次元画像のうち、一方の左眼用２次元画像を、SDI端子８３に供給し、他方の左眼用２次元画像を、SDI端子８４に供給する。SDI端子８３及び８４は、それぞれ、画像選択部１１１からの左眼用２次元画像を、優先順序決定部８７に供給する。
【０１２９】
また、右眼用スイッチャ９２は、制御部８１からの制御にしたがって、左眼用スイッチャ８２の画像選択部１１１と同様にして、取得した右眼用２次元画像のうち、一方の右眼用２次元画像を、SDI端子８８に供給し、他方の右眼用２次元画像を、SDI端子８９に供給する。SDI端子８８及び８９は、それぞれ、右眼用スイッチャ９２からの右眼用２次元画像を、優先順序決定部８７に供給する。
【０１３０】
ステップＳ２において、優先順序決定部８７の視差量計測部１７１は、SDI端子８３からの、３次元画像４１に対応する左眼用２次元画像、及びSDI端子８４からの、３次元画像４２に対応する左眼用２次元画像それぞれに基づいて、左眼用２次元画像上の重畳部分を検出する。
【０１３１】
また、視差量計測部１７１は、SDI端子８８からの、３次元画像４１に対応する右眼用２次元画像、及びSDI端子８９からの、３次元画像４２に対応する右眼用２次元画像それぞれに基づいて、右眼用２次元画像上の重畳部分を検出する。
【０１３２】
視差量計測部１７１は、３次元画像４１（SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せ）に対応する左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に基づいて、３次元画像４１の視差量を計測し、３次元画像４１とともに、順序決定部１７２に供給する。
【０１３３】
また、視差量計測部１７１は、３次元画像４２（SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せ）に対応する左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に基づいて、３次元画像４２の視差量を計測し、３次元画像４２とともに、順序決定部１７２に供給する。
【０１３４】
ステップＳ３において、順序決定部１７２は、視差量計測部１７１からの、３次元画像４１の視差量に基づいて、３次元画像４１における奥行きｚの平均値ave1を算出する。また、順序決定部１７２は、視差量計測部１７１からの、３次元画像４２の視差量に基づいて、３次元画像４２における奥行きｚの平均値ave2を算出する。
【０１３５】
そして、順序決定部１７２は、３次元画像４１及び４２それぞれにおける奥行きｚの平均値ave1及びave2どうしを比較し、その比較結果に基づいて、優先順序を決定して、SDI端子８５及び９０に供給する。
【０１３６】
順序決定部１７２は、視差量計測部１７１からの３次元画像４１に対応する左眼用２次元画像を、SDI端子８５に、視差量計測部１７１からの３次元画像４２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０１３７】
また、順序決定部１７２は、視差量計測部１７１からの３次元画像４１に対応する右眼用２次元画像を、SDI端子９０に、視差量計測部１７１からの３次元画像４２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０１３８】
SDI端子８５は、順序決定部１７２からの左眼用２次元画像及び優先順序を、SDI端子８６は、順序決定部１７２からの左眼用２次元画像を、それぞれ左眼用スイッチャ８２に供給する。
【０１３９】
また、SDI端子９０は、順序決定部１７２からの右眼用２次元画像及び優先順序を、SDI端子９１は、順序決定部１７２からの右眼用２次元画像を、それぞれ右眼用スイッチャ９２に供給する。
【０１４０】
ステップＳ４において、左眼用スイッチャ８２の画像合成部１１２は、SDI端子８５から入力ラインL8を介して供給される左眼用２次元画像、及びSDI端子８６から入力ラインL9を介して供給される左眼用２次元画像を、SDI端子８５から入力ラインL8を介して供給される優先順序で合成し、その結果得られる合成後の左眼用２次元画像を出力ラインに出力する。
【０１４１】
また、右眼用スイッチャ９２は、左眼用スイッチャ８２と同様にして、SDI端子９０からの右眼用２次元画像、及びSDI端子９１からの右眼用２次元画像を、SDI端子９０からの優先順序で合成し、その結果得られる合成後の右眼用２次元画像を出力ラインに出力する。
【０１４２】
以上説明したように、優先順序決定処理によれば、例えば、画像合成装置２２が、ユーザの選択操作により選択された３次元画像４１及び４２それぞれの視差量に基づいて、３次元画像４１及び４２それぞれの視差量に対応した優先順序を決定し、決定した優先順序で、３次元画像４１及び４２を合成するようにしたので、合成する３次元画像４１及び４２それぞれの視差量との対応がとれていない優先順序で、３次元画像４１及び４２が合成される事態を防止することが可能となる。
【０１４３】
このため、優先順序決定処理では、３次元画像４１及び４２それぞれの視差量との対応がとれていない優先順序で合成された不自然な３次元画像が生成されることを防止できるので、鑑賞者において、視差量との対応がとれた違和感のない３次元画像を鑑賞することが可能となる。
【０１４４】
また、優先順序決定処理では、ユーザは、操作卓２１を用いて、合成する３次元画像４１及び４２を選択するだけで、３次元画像４１及び４２それぞれの視差量に対応した優先順序で、３次元画像４１及び４２が合成されることとなる。
【０１４５】
このため、例えば、視差量に対応した優先順序で合成できるように、ユーザが、操作卓２１を用いて、合成する順序、又は３次元画像の視差量を調整する必要がある場合と比較して、ユーザによる操作を少なくすることができ、操作卓２１を用いたユーザによる操作の煩わしさを低減することが可能となる。
【０１４６】
第１の実施の形態では、優先順序決定部８７が、３次元画像４１及び４２の視差量を計測し、その計測結果に基づいて、優先順序を決定するようにしたが、図９に示される画像合成装置２２のように、例えば、左眼用スイッチャ１８２に、優先順序決定部８７と同様の機能を有する優先順序決定部８７a乃至８７dを設けるように構成することができる。
【０１４７】
[画像合成装置２２の他の構成例]
次に、図９は、画像合成装置２２の他の構成例を示している。
【０１４８】
図９の画像合成装置２２は、制御部１８１、左眼用スイッチャ１８２、及び右眼用スイッチャ１８３により構成されている。
【０１４９】
制御部１８１は、操作卓２１からの操作信号に基づいて、左眼用スイッチャ１８２及び右眼用スイッチャ１８３を制御する。
【０１５０】
左眼用スイッチャ１８２は、優先順序決定部８７と同様に構成される優先順序決定部８７a乃至８７dが新たに設けられた画像合成部１１２により構成される。なお、優先順序決定部８７a乃至８７dは相互に制御用の通信路で接続され、また制御部１８１と制御用の通信路で接続されており、さらに右眼用スイッチャ１８３の同一要素とも制御用の通信路で接続されており、全体で連携して動作する。
【０１５１】
左眼用スイッチャ１８２には、複数の３次元画像それぞれに対応する左眼用２次元画像として、入力ラインL1乃至L9それぞれから左眼用２次元画像が供給される。
【０１５２】
なお、左眼用スイッチャ１８２の画像合成部１１２において、図６の画像合成部１１２と同様に構成されている部分については同一の番号を付しているため、それらの説明は適宜省略する。
【０１５３】
クロスポイントスイッチ１５１aは、入力ラインL1乃至L9それぞれから供給される左眼用２次元画像のうち、例えば、ユーザの選択操作により選択された３次元画像４１に対応する左眼用２次元画像を選択し、バスライン１５２aを介して、優先順序決定部８７aに供給する。
【０１５４】
また、クロスポイントスイッチ１５１cは、入力ラインL1乃至L9それぞれから供給される左眼用２次元画像のうち、例えば、ユーザの選択操作により選択された３次元画像４２に対応する左眼用２次元画像を選択し、バスライン１５２cを介して、優先順序決定部８７bに供給する。
【０１５５】
優先順序決定部８７aは、右眼用スイッチャ１８３中の同一部分と通信し連携処理して、バスライン１５２aからの、３次元画像４１に対応する左眼用２次元画像と、右眼用スイッチャ１８３から制御部１８１を介して供給される、３次元画像４１に対応する右眼用２次元画像との組合せを、３次元画像４１として処理に使用する。
【０１５６】
また、優先順序決定部８７bは、右眼用スイッチャ１８３中の同一部分と通信し連携処理して、バスライン１５２cからの、３次元画像４２に対応する左眼用２次元画像と、右眼用スイッチャ１８３から制御部１８１を介して供給される、３次元画像４２に対応する右眼用２次元画像との組合せを、３次元画像４２として処理に使用する。
【０１５７】
そして、優先順序決定部８７a及び８７bは、取得した３次元画像４１及び３次元画像４２に基づいて、優先順序決定部８７と同様にして、優先順序を決定する。優先順序決定部８７aは、決定した優先順序を、取得した３次元画像４１及び４２それぞれに対応する左眼用２次元画像とともに、キー信号処理部１５３a及び１５３bに供給する。
【０１５８】
これにより、上述のように、キー信号処理部１５３a，１５３b、及び合成処理部１５５において、３次元画像４１及び４２を合成する処理が行なわれ、左眼用スイッチャ１８２から、合成後の左眼用２次元画像が出力される。
【０１５９】
また、優先順序決定部８７a及び８７bは、決定した優先順序を、制御部１８１を介して右眼用スイッチャ１８３と共有する。
【０１６０】
なお、優先順序決定部８７c及び８７dは、優先順序決定部８７aと同様に構成されており、３枚以上の３次元画像を合成する場合に、例えば、優先順序決定部８７a乃至８７dそれぞれが、３枚以上の３次元画像の視差量を相互にやりとりすることで、優先順序を決定することとなる。
【０１６１】
右眼用スイッチャ１８３は、優先順序決定部８７aと、制御部１８１を介して共有する優先順序で、３次元画像４１及び４２それぞれに対応する右眼用２次元画像を合成し、合成後の右眼用２次元画像を出力する。
【０１６２】
図９の画像合成装置２２では、例えば図５の画像合成装置２２と比較して、SDI端子８３乃至SDI端子８６、優先順序決定部８７、及びSDI端子８８乃至SDI端子９１を省略することができる。
【０１６３】
また、第１の実施の形態では、ユーザが、合成する３次元画像４１及び４２を選択したことに対応して、画像合成装置２２が、合成する３次元画像４１及び４２の優先順序（合成の前後関係）を決定するようにしたが、運用中の状況に応じて、優先順序は、ユーザが、操作卓２１を用いて指定した優先順序を適用するように構成することができる。
【０１６４】
[操作卓２１の上面図]
次に、図１０は、ユーザが、優先順序を指定する場合に用いられる操作卓２１の一例を示している。
【０１６５】
操作卓２１は、「PRIOR SET」ボタン１９１、「KEY PRIOR」ボタン１９２、「BKGD」ボタン１９３、「KEY1」ボタン１９４、「KEY2」ボタン１９５、「KEY3」ボタン１９６、「KEY4」ボタン１９７、優先順序表示部１９８、及びフェーダ変更レバー１９９、その他、画像合成装置２２を制御するために操作される複数のボタンにより構成される。
【０１６６】
以下の説明では、ユーザが、優先順序を指定する際に操作される「PRIOR SET」ボタン１９１乃至「KEY4」ボタン１９７、及び優先順序表示部１９８についてのみ説明し、それ以外のボタンについての説明は省略する。
【０１６７】
なお、フェーダ変更レバー１９９は、後述する第３の実施の形態において、フェーダ値を変更する際に操作される。フェーダ変更レバー１９９及びフェーダ値については、第３の実施の形態において説明する。
【０１６８】
「PRIOR SET」ボタン１９１は、優先順序を指定する際に操作される。すなわち、例えば、「PRIOR SET」ボタン１９１が押下されている間、「KEY PRIOR」ボタン１９２乃至「KEY4」ボタン１９７は、優先順序を指定するためのボタンとして機能する。
【０１６９】
「KEY PRIOR」ボタン１９２は、操作卓２１が「KEY PRIOR」ボタン１９２を操作可能なモードに設定されている場合にオン状態又はオフ状態のいずれかの状態とされる。また、「KEY PRIOR」ボタン１９２は、オン状態である場合に点灯し、オフ状態である場合に消灯する。なお、「KEY PRIOR」ボタン１９２には、LED(light emitting diode)等が内蔵されており、オン又はオフ状態のいずれかの状態に応じて、点灯又は消灯する。
【０１７０】
また、例えば、「KEY PRIOR」ボタン１９２は、オン状態又はオフ状態のいずれかの状態に応じて、優先順序を設定する対象を指定する。
【０１７１】
すなわち、例えば、「KEY PRIOR」ボタン１９２がオフ状態とされて消灯しているときに、currentモードにおける優先順序を設定の対象として指定し、「KEY PRIOR」ボタン１９２がオン状態とされて点灯しているときに、nextモードにおける優先順序を設定の対象として指定する。
【０１７２】
なお、currentモードとは、現在、操作卓２１に設定されているモードを表し、nextモードとは、ユーザの遷移操作に応じて、currentモードから遷移されるモードを表す。画像合成装置２２は、操作卓２１に設定されているモードにおける優先順序で、３次元画像を合成する。
【０１７３】
「BKGD」ボタン１９３は、nextモードにおける優先順序が設定の対象とされている場合に、ユーザにより操作されることに対応して、nextモードにおける優先順序を、currentモードにおける優先順序と同一の優先順序に設定する。
【０１７４】
ユーザは、「KEY1」ボタン１９４乃至「KEY4」ボタン１９７を操作することにより、「KEY PRIOR」ボタン１９２に応じて、設定の対象と指定されたモードの優先順序を設定する。
【０１７５】
「KEY1」ボタン１９４乃至「KEY4」ボタン１９７には、それぞれ、合成する３次元画像が対応付けられている。「KEY1」ボタン１９４乃至「KEY4」ボタン１９７は、それぞれ、対応する３次元画像の優先順序を設定する場合に操作される。
【０１７６】
すなわち、例えば、「KEY1」ボタン１９４が押下された場合、「KEY1」ボタン１９４に対応する３次元画像の優先順序が１番となり、「KEY2」ボタン１９５乃至「KEY4」ボタン１９７それぞれに対応する３次元画像の優先順序は、「KEY1」ボタン１９４が押下される前の順序を保つように変更される。
【０１７７】
優先順序表示部１９８は、「KEY1」ボタン１９４の状態を表すKEY1表示領域１９８a、「KEY2」ボタン１９５の状態を表すKEY2表示領域１９８b、「KEY3」ボタン１９６の状態を表すKEY3表示領域１９８c、及び「KEY4」ボタン１９７の状態を表すKEY4表示領域１９８dにより構成される。
【０１７８】
KEY1表示領域１９８aは、「KEY1」ボタン１９４がオン又はオフのいずれかの状態であるかを表示するとともに、「KEY1」ボタン１９４に対応付けられている３次元画像の優先順序を表示する。また、KEY2表示領域１９８b乃至KEY4表示領域１９８dは、KEY1表示領域１９８aと同様に構成されているため、それらの説明は省略する。
【０１７９】
なお、「KEY PRIOR」ボタン１９２は、「PRIOR SET」ボタン１９１が押下されていない場合、currentモードにおける優先順序、又はnextモードにおける優先順序の一方を表示させるときに操作される。
【０１８０】
すなわち、例えば「KEY PRIOR」ボタン１９２がオフ状態とされて消灯している場合、優先順序表示部１９８のKEY1表示領域１９８a乃至１９８dそれぞれにおいて、currentモードにおける優先順序として、番号「１」，「２」，「３」，「４」のうち、対応する番号が点灯する。
【０１８１】
また、例えば、「KEY PRIOR」ボタン１９２がオン状態とされて点灯している場合、優先順序表示部１９８のKEY1表示領域１９８a乃至１９８dそれぞれにおいて、nextモードにおける優先順序が表示される。
【０１８２】
具体的には、例えば、優先順序表示部１９８のKEY1表示領域１９８a乃至１９８dそれぞれにおいて、currentモードにおける優先順序と、nextモードにおける優先順序とで同一の優先順序となる部分（番号「１」，「２」，「３」，「４」）については点灯表示され、異なる優先順序となる部分については点滅表示される。
【０１８３】
このように、ユーザは、操作卓２１を用いて、合成する３次元画像の優先順序を指定することができる。
【０１８４】
[操作卓２１による遷移例]
次に、図１１は、例えば、ユーザが、操作卓２１を用いて、合成する３次元画像の優先順序を指定する場合における「KEY1」ボタン１９４及び「KEY2」ボタン１９５の状態を示している。
【０１８５】
なお、図１１では、説明を簡単にするために、ユーザは、「KEY1」ボタン１９４乃至「KEY4」ボタン１９７のうち、「KEY1」ボタン１９４及び「KEY2」ボタン１９５のみをオン状態又はオフ状態とするように操作するものとする。
【０１８６】
そして、図１１では、「KEY1」ボタン１９４及び「KEY2」ボタン１９５それぞれの優先順序、つまり、「KEY1」ボタン１９４に対応する３次元画像、及び「KEY2」ボタン１９５に対応する３次元画像のうち、いずれの３次元画像を手前に表示させるようにして合成するかを変更するものとする。
【０１８７】
「KEY1」ボタン１９４及び「KEY2」ボタン１９５は、オン又はオフのいずれかの状態とされ、「KEY1」ボタン１９４及び「KEY2」ボタン１９５の状態に応じて、状態１乃至状態４のいずれかの状態とされる。
【０１８８】
これに対応して、制御部８１は、操作卓２１から供給される操作信号に基づいて、「KEY1」ボタン１９４及び「KEY2」ボタン１９５の状態に応じて、左眼用スイッチャ８２、優先順序決定部８７、及び右眼用スイッチャ９２を制御する。
【０１８９】
具体的には、例えば、「KEY1」ボタン１９４及び「KEY2」ボタン１９５がいずれもオン状態である場合、「KEY1」ボタン１９４に対応する３次元画像が手前に表示されるように、「KEY1」ボタン１９４及び「KEY2」ボタン１９５それぞれに対応する３次元画像どうしが合成される状態１とされる。
【０１９０】
状態１において、「KEY2」ボタン１９５に対応する３次元画像が手前に表示されるように、優先順序を変更するユーザ操作に対応する操作信号は無視（又は破棄）される。すなわち、制御部８１は、操作卓２１からの、優先順序を変更するユーザ操作に対応する操作信号を無視して、そのユーザ操作は行われなかったものとして取り扱う。
【０１９１】
また、状態１において、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外するために、「KEY1」ボタン１９４をオフ状態とするKEY1オフ操作が行われた場合、「KEY2」ボタン１９５に対応する３次元画像が手前に表示される状態２に遷移する。
【０１９２】
状態１から状態２に遷移する場合、制御部８１は、優先順序決定部８７の順序決定部１７２を制御し、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外した状態で、優先順序を決定させる。いまの場合、順序決定部１７２は、「KEY2」ボタン１９５に対応する３次元画像の優先順序を１番に決定するものとなる。そして、左眼用スイッチャ８２及び右眼用スイッチャ９２では、順序決定部１７２が決定した優先順序に従って、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外した状態で合成が行なわれる。
【０１９３】
なお、例えば、「KEY3」ボタン１９６、及び「KEY4」ボタン１９７がオン状態とされている場合には、順序決定部１７２は、制御部８１からの制御に従って、KEY1オフ操作が行われる前の優先順序を維持するように、「KEY3」ボタン１９６に対応する３次元画像の優先順序、及び「KEY4」ボタン１９７に対応する３次元画像の優先順序を、新たに決定することとなる。
【０１９４】
このことは、以下の説明において、「KEY1」ボタン１９４や「KEY2」ボタン１９５のオンオフに応じて、順序決定部１７２により、優先順序が新たに決定される場合についても同様である。
【０１９５】
状態２において、「KEY1」ボタン１９４に対応する３次元画像を新たに合成対象として追加するとともに、その優先順序を例えば１番とするために、「KEY1」ボタン１９４をオン状態とするKEY1オン操作が行われた場合、「KEY1」ボタン１９４に対応する３次元画像が手前に表示されても問題がない（視差量に応じた優先順序となる）ときには、KEY1オン操作に応じて、「KEY1」ボタン１９４をオン状態とし、状態２から状態１に遷移する。
【０１９６】
この場合、制御部８１は、優先順序決定部８７の順序決定部１７２を制御し、「KEY1」ボタン１９４に対応する３次元画像が新たに合成対象として追加された状態で、優先順序を決定させる。
【０１９７】
なお、状態２において、順序決定部１７２が決定した、「KEY1」ボタン１９４に対応する３次元画像の優先順序が、１番とならない場合、すなわち、「KEY1」ボタン１９４に対応する３次元画像が手前に表示されると問題がある（視差量に応じた優先順序にならない）ときには、KEY1オン操作は行われなかったものとして取り扱うようにし、状態１には遷移せず、状態２のままとされる。すなわち、制御部８１は、操作卓２１からのKEY1オン操作に対応する操作信号を無視して、KEY1オン操作に対応する制御を行わない。
【０１９８】
また、状態２において、優先順序を変更するための順序変更操作として、例えば、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外するために、「KEY2」ボタン１９５をオフ状態とするKEY2オフ操作が行われ、KEY1オン操作が行われた場合、KEY2オフ操作及びKEY1オン操作に応じて、「KEY2」ボタン１９５をオフ状態とし、「KEY1」ボタン１９４をオン状態として、「KEY1」ボタン１９４に対応する３次元画像が手前に表示される状態３に遷移する。
【０１９９】
状態２から状態３に遷移する場合、制御部８１は、順序決定部１７２を制御し、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外し、「KEY1」ボタン１９４に対応する３次元画像が新たに合成対象として追加された状態で、優先順序を決定させる。いまの場合、順序決定部１７２は、「KEY1」ボタン１９４に対応する３次元画像の優先順序を１番に決定するものとなる。そして、左眼用スイッチャ８２及び右眼用スイッチャ９２では、順序決定部１７２が決定した優先順序に従って、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外した状態で合成が行なわれる。
【０２００】
状態３において、順序変更操作として、例えば、KEY1オフ操作が行われ、「KEY2」ボタン１９５に対応する３次元画像を新たに合成対象に追加するとともに、その優先順序を例えば１番とするために、「KEY2」ボタン１９５をオン状態とするKEY2オン操作が行われた場合、KEY1オフ操作及びKEY2オン操作に応じて、「KEY1」ボタン１９４をオフ状態とし、「KEY2」ボタン１９４をオン状態として、状態２に遷移する。
【０２０１】
状態３から状態２に遷移する場合、制御部８１は、順序決定部１７２を制御し、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外し、「KEY2」ボタン１９５に対応する３次元画像が新たに合成対象として追加された状態で、優先順序を決定させる。いまの場合、順序決定部１７２は、「KEY2」ボタン１９５に対応する３次元画像の優先順序を１番に決定するものとなる。そして、左眼用スイッチャ８２及び右眼用スイッチャ９２では、順序決定部１７２が決定した優先順序に従って、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外した状態で合成が行なわれる。
【０２０２】
また、状態３において、KEY2オン操作が行われた場合、「KEY2」ボタン１９５に対応する３次元画像が手前に表示されても問題がない（視差量に応じた優先順序となる）ときには、KEY2オン操作に応じて、「KEY2」ボタン１９５をオン状態とし、「KEY2」ボタン１９５に対応する３次元画像が手前に表示されるように、「KEY1」ボタン１９４及び「KEY2」ボタン１９５それぞれに対応する３次元画像どうしが合成される状態４に遷移する。
【０２０３】
この場合、制御部８１は、順序決定部１７２を制御し、「KEY2」ボタン１９５に対応する３次元画像が新たに合成対象として追加された状態で、優先順序を決定させる。
【０２０４】
なお、状態３において、順序決定部１７２が決定した、「KEY2」ボタン１９５に対応する３次元画像の優先順序が、１番とならない場合、すなわち、「KEY2」ボタン１９５に対応する３次元画像が手前に表示されると問題がある（視差量に応じた優先順序にならない）ときには、KEY2オン操作は行われなかったものとして取り扱うようにし、状態４には遷移せずに、状態３のままとされる。すなわち、制御部８１は、操作卓２１からのKEY2オン操作に対応する操作信号を無視して、KEY2オン操作に対応する制御を行わない。
【０２０５】
状態４において、KEY2オフ操作が行われた場合、状態３に遷移する。状態４から状態３に遷移する場合、制御部８１は、順序決定部１７２を制御し、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外した状態で、優先順序を決定させる。いまの場合、順序決定部１７２は、「KEY1」ボタン１９４に対応する３次元画像の優先順序を１番に決定するものとなる。そして、左眼用スイッチャ８２及び右眼用スイッチャ９２では、順序決定部１７２が決定した優先順序に従って、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外した状態で合成が行なわれる。
【０２０６】
また、状態４において、「KEY1」ボタン１９４に対応する３次元画像が手前に表示されるように、優先順序を変更するユーザ操作に対応する操作信号は無視される。すなわち、制御部８１は、操作卓２１からの、優先順序を変更するユーザ操作に対応する操作信号を無視して、そのユーザ操作は行われなかったものとして取り扱う。
【０２０７】
第１の実施の形態では、図１１を参照して行なった説明において、優先順序を変更するユーザ操作が行われた場合、そのユーザ操作に対応する優先順序が、視差量に対応する優先順序とは異なるときには、ユーザの操作は行われなかったものとして取り扱うようにしたが、その際に、例えば、ユーザ操作に対応する優先順序が、視差量に対応する優先順序とは異なる旨の警告を表示したり、その旨の警告を示す警告音を出力するようにしてもよい。
【０２０８】
＜２．第２の実施の形態＞
次に、第２の実施の形態として、ユーザにより指定された優先順序に対応する視差量となるように、合成する３次元画像の視差量を調整し、調整後の３次元画像を合成する場合の画像合成装置２１１について説明する。
【０２０９】
[操作卓２１及び画像合成装置２１１による構成]
図１２は、第２の実施の形態である、操作卓２１からの操作信号に応じて３次元画像を合成する画像合成装置２１１の構成例を示している。
【０２１０】
なお、操作卓２１は、第１の実施の形態の操作卓２１と同様に構成されていることから、同一の番号を付しており、その説明は省略している。
【０２１１】
画像合成装置２１１は、操作卓２１からの操作信号に基づいて、供給される複数の３次元画像のうち、ユーザの選択操作により選択された３次元画像どうしを、ユーザにより指定された優先順序で合成する。
【０２１２】
次に、図１３は、画像合成装置２１１が行う処理の概要を示している。
【０２１３】
図１３A下側には、ユーザが選択した２枚の３次元画像のうちの一方の３次元画像２３１が示されている。この３次元画像２３１には、物体２３１aが表示されている。図１３A上側には、物体２３１aを上から見た様子が示されている。
【０２１４】
図１３B下側には、ユーザが選択した２枚の３次元画像のうちの他方の３次元画像２３２が示されている。この３次元画像２３２には、物体２３２aが表示されている。図１３B上側には、物体２３２aを上から見た様子が示されている。
【０２１５】
図１３C下側には、３次元画像２３１及び３次元画像２３２を合成した場合に得られる３次元画像２３３の一例が示されている。また、図１３C上側には、３次元画像２３３上の物体２３１a及び２３２aの奥行きｚが示されている。
【０２１６】
操作卓２１は、ユーザが、合成する３次元画像として、３次元画像２３１及び２３２を選択する選択操作を、操作卓２１を用いて行ったことに応じて、ユーザの選択操作に対応する操作信号を生成し、画像合成装置２１１に供給する。
【０２１７】
この場合、画像合成装置２１１は、操作卓２１からの操作信号に応じて、供給される複数の３次元画像のうち、ユーザの選択操作より選択された３次元画像２３１及び２３２を選択する。
【０２１８】
また、操作卓２１は、ユーザが、操作卓２１を用いて、優先順序を指定する指定操作を行ったことに応じて、ユーザの指定操作に対応する操作信号を生成し、画像合成装置２１１に供給する。
【０２１９】
画像合成装置２１１は、操作卓２１からの操作信号に応じて、ユーザにより指定された優先順序で、３次元画像２３１及び２３２を合成できるように、３次元画像２３１の視差量、及び３次元画像２３２の視差量を、ユーザにより指定された優先順序に対応する視差量に調整する。
【０２２０】
いまの場合、例えば、ユーザが、３次元画像２３１の優先順序を２番に、３次元画像２３２の優先順序を１番に指定した場合、画像合成装置２１１は、図１３C上側に示されるように、３次元画像２３２上の物体２３２aにおける奥行きｚが、３次元画像２３１上の物体２３１aにおける奥行きｚよりも小さくなるように、３次元画像２３１及び２３２それぞれの視差量を調整する。
【０２２１】
そして、画像合成装置２１１は、視差量が調整された３次元画像２３１及び２３２を、ユーザにより指定された優先順序で合成することにより、図１３C下側に示されるような３次元画像２３３を生成して出力する。
【０２２２】
[画像合成装置２１１の詳細]
次に、図１４は、画像合成装置２１１の構成例を示している。
【０２２３】
なお、この画像合成装置２１１は、第１の実施の形態における図５の画像合成装置２２と同様に構成される部分については同一の符号を付しているため、以下においてその説明は適宜省略する。
【０２２４】
すなわち、画像合成装置２１１は、制御部８１及び優先順序決定部８７に代えて、制御部２５１及び調整部２５２が設けられている他は、図５の画像合成装置２２と同様に構成されている。
【０２２５】
制御部２５１は、操作卓２１からの操作信号に基づいて、左眼用スイッチャ８２、調整部２５２、及び右眼用スイッチャ９２を制御する。
【０２２６】
また、制御部２５１は、操作卓２１からの操作信号に基づいて、ユーザが指定した優先順序を表す制御信号を、調整部２５２に供給する。
【０２２７】
調整部２５２は、SDI端子８３からの、３次元画像２３１に対応する左眼用２次元画像と、SDI端子８８からの、３次元画像２３１に対応する右眼用２次元画像との組合せを、３次元画像２３１として取得する。
【０２２８】
また、調整部２５２は、SDI端子８４からの、３次元画像２３２に対応する左眼用２次元画像と、SDI端子８９からの、３次元画像２３２に対応する右眼用２次元画像との組合せを、３次元画像２３２として取得する。
【０２２９】
そして、調整部２５２は、優先順序決定部８７と同様にして、取得した３次元画像２３１に基づいて、３次元画像２３１の視差量を計測するとともに、取得した３次元画像２３２に基づいて、３次元画像２３２の視差量を計測する。
【０２３０】
調整部２５２は、計測した３次元画像２３１及び２３２それぞれの視差量が、ユーザの指定操作により指定された優先順序に対応する視差量となるように、３次元画像２３１及び２３２それぞれの視差量を調整する。
【０２３１】
調整部２５２は、調整後の３次元画像２３１に対応する左眼用２次元画像、及びユーザの指定操作により指定された優先順序を、SDI端子８５に供給する。また、調整部２５２は、調整後の３次元画像２３２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０２３２】
さらに、調整部２５２は、調整後の３次元画像２３１に対応する右眼用２次元画像、及びユーザの指定操作により指定された優先順序を、SDI端子９０に供給する。また、調整部２５２は、調整後の３次元画像２３２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０２３３】
[調整部２５２の構成例]
次に、図１５は、調整部２５２の構成例を示している。
【０２３４】
この調整部２５２は、順序取得部２７１、視差量計測部２７２、調整量算出部２７３、及び視差量調整部２７４により構成される。
【０２３５】
順序取得部２７１には、制御部２５１からの制御信号として、ユーザの指定操作より指定された優先順序を表す制御信号が供給される。順序取得部２７１は、制御部２５１からの制御信号に基づいて、ユーザにより指定された優先順序を取得し、調整量算出部２７３及び視差量調整部２７４に供給する。
【０２３６】
視差量計測部２７２は、SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せを、３次元画像２３１として取得する。さらに、視差量計測部２７２は、SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せを、３次元画像２３２として取得する。
【０２３７】
そして、視差量計測部２７２は、視差量計測部１７１と同様にして、取得した３次元画像２３１及び２３２に基づいて、３次元画像２３１及び２３２それぞれの視差量を計測し、調整量算出部２７３に供給する。
【０２３８】
また、視差量計測部２７２は、取得した３次元画像２３１及び２３２を、視差量調整部２７４に供給する。
【０２３９】
調整量算出部２７３は、調整量計測部２７２からの、３次元画像２３１及び２３２それぞれの視差量に基づいて、その視差量に対応する優先順序を算出する。
【０２４０】
そして、調整量算出部２７３は、算出した、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致するか否かを判定する。
【０２４１】
調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致しないと判定した場合、３次元画像２３１及び２３２それぞれの視差量を、順序取得部２７１からの優先順序に対応する視差量に調整するための調整量を算出する。
【０２４２】
すなわち、例えば、調整量算出部２７３は、順序取得部２７１からの優先順序、並びに、視差量計測部２７２からの３次元画像２３１及び２３２それぞれの視差量に基づいて、３次元画像２３１及び２３２それぞれに対する調整量を算出する。そして、調整量算出部２７３は、算出した調整量を視差量調整部２７４に供給する。
【０２４３】
また、調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致すると判定した場合、その旨を視差量調整部２７４に通知する。
【０２４４】
視差量調整部２７４は、調整量算出部２７３から、調整量が供給された場合、供給された調整量に基づいて、視差量計測部２７２からの３次元画像２３１及び２３２の視差量を調整する。
【０２４５】
すなわち、例えば、視差量調整部２７４は、調整量算出部２７３からの、３次元画像２３１の調整量に基づいて、視差量計測部２７２からの３次元画像２３１の視差量を調整する。また、例えば、視差量調整部２７４は、調整量算出部２７３からの、３次元画像２３２の調整量に基づいて、視差量計測部２７２からの３次元画像２３２の視差量を調整する。
【０２４６】
視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、視差量を調整後の３次元画像２３２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０２４７】
また、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、視差量を調整後の３次元画像２３２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０２４８】
なお、視差量調整部２７４は、調整量算出部２７３から、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致する旨の通知が供給された場合、視差量計測部２７２からの３次元画像２３１及び２３２それぞれの視差量の調整を行なわずに、左眼用２次元画像を、SDI端子８５及び８６に供給するとともに、右眼用２次元画像を、SDI端子９０及び９１に供給する。また、視差量調整部２７４は、順序取得部２７１からの優先順序を、SDI端子８５及び９０に供給する。
【０２４９】
[画像合成装置２１１の動作説明]
次に、図１６のフローチャートを参照して、画像合成装置２１１が行う第１の視差量調整処理について説明する。
【０２５０】
この第１の視差量調整処理は、例えば、ユーザが、操作卓２１を用いて、画像合成装置２１１に供給される複数の３次元画像のうち、合成する３次元画像２３１及び２３２を選択する選択操作を行ったときに開始される。このことは、後述する第２及び第３の視差量調整処理についても同様である。
【０２５１】
このとき、制御部２５１には、ユーザの選択操作に対応する操作信号が、操作卓２１から供給される。そして、制御部２５１は、操作卓２１からの操作信号に応じて、左眼用スイッチャ８２及び右眼用スイッチャ９２を制御する。そして、ステップＳ３１において、図８のステップＳ１と同様の処理が行なわれる。
【０２５２】
また、ユーザが、操作卓２１を用いて、３次元画像２３１及び２３２それぞれの優先順序を指定する指定操作を行ったときに、操作卓２１は、ユーザの指定操作に対応する操作信号を生成し、制御部２５１に供給し、処理はステップＳ３２に進められる。
【０２５３】
ステップＳ３２において、制御部２５１は、操作卓２１からの操作信号に応じて、ユーザの指定操作により指定された優先順序を表す制御信号を、順序取得部２７１に供給する。
【０２５４】
順序取得部２７１は、制御部２５１からの制御信号に基づいて、ユーザにより指定された優先順序を取得し、調整量算出部２７３及び視差量調整部２７４に供給する。
【０２５５】
ステップＳ３３において、視差量計測部２７２は、SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せを、３次元画像２３１として取得する。また、視差量計測部２７２は、SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せを、３次元画像２３２として取得する。
【０２５６】
そして、視差量計測部２７２は、視差量計測部１７１と同様にして、取得した３次元画像２３１及び２３２に基づいて、３次元画像２３１及び２３２それぞれの視差量を計測し、調整量算出部２７３に供給する。
【０２５７】
また、視差量計測部２７２は、取得した３次元画像２３１及び２３２を、視差量調整部２７４に供給する。
【０２５８】
ステップＳ３４において、調整量算出部２７３は、視差量計測部２７２からの、３次元画像２３１及び２３２それぞれの視差量に基づいて、その視差量に対応する優先順序を算出する。
【０２５９】
すなわち、例えば、調整量算出部２７３は、３次元画像２３１の視差量に対応する奥行きｚの平均値と、３次元画像２３２の視差量に対応する奥行きｚの平均値とを比較し、奥行きｚの平均値が小さい順序を、視差量に対応する優先順序として算出する。なお、調整量算出部２７３は、奥行きｚの平均値ではなく、奥行きｚの中央値に基づいて、視差量に対応する優先順序を算出するようにしてもよい。
【０２６０】
ステップＳ３５において、調整量算出部２７３は、算出した、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致するか否かを判定し、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致しないと判定した場合、処理をステップＳ３６に進める。
【０２６１】
ステップＳ３６において、調整量算出部２７３は、視差量計測部２７２からの、３次元画像２３１及び２３２それぞれの視差量、並びに順序取得部２７１からの優先順序に基づいて、３次元画像２３１及び２３２それぞれに対する調整量を算出し、視差量調整部２７４に供給する。
【０２６２】
ステップＳ３７において、視差量調整部２７４は、調整量算出部２７３からの、３次元画像２３１の調整量に基づいて、視差量計測部２７２からの３次元画像２３１の視差量を調整する。また、視差量調整部２７４は、調整量算出部２７３からの、３次元画像２３２の調整量に基づいて、視差量計測部２７２からの３次元画像２３２の視差量を調整する。
【０２６３】
そして、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、視差量を調整後の３次元画像２３２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０２６４】
また、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、視差量を調整後の３次元画像２３２に対応する右眼用２次元画像を、SDI端子９１に供給して、処理をステップＳ３８に進める。
【０２６５】
なお、ステップＳ３５において、調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致すると判定した場合、その旨を視差量調整部２７４に通知する。
【０２６６】
視差量調整部２７４は、調整量算出部２７３から、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致する旨が通知されたことに対応して、視差量計測部２７２からの３次元画像２３１及び２３２において、左眼用２次元画像を、SDI端子８５及び８６に供給するとともに、右眼用２次元画像を、SDI端子９０及び９１に供給する。
【０２６７】
さらに、視差量調整部２７４は、順序取得部２７１からの優先順序を、SDI端子８５及び９０に供給して、処理をステップＳ３８に進める。
【０２６８】
ステップＳ３８では、SDI端子８５は、視差量調整部２７４からの左眼用２次元画像及び優先順序を、SDI端子８６は、視差量調整部２７４からの左眼用２次元画像を、それぞれ左眼用スイッチャ８２に供給する。
【０２６９】
SDI端子９０は、視差量調整部２７４からの右眼用２次元画像及び優先順序を、SDI端子９１は、視差量調整部２７４からの右眼用２次元画像を、それぞれ右眼用スイッチャ９２に供給する。
【０２７０】
そして、ステップＳ３８において、図８のステップＳ４と同様の処理が行なわれる。以上で第１の視差量調整処理は終了される。
【０２７１】
以上説明したように、第１の視差量調整処理によれば、画像合成装置２１１において、３次元画像２３１及び２３２それぞれの視差量が、ユーザの指定操作により指定された優先順序に対応する視差量とは異なる場合に、３次元画像２３１及び２３２それぞれの視差量を、ユーザの指定操作により指定された優先順序に対応する視差量となるように調整し、調整後の３次元画像２３１及び２３２を合成するようにした。
【０２７２】
このため、第１の視差量調整処理では、合成する３次元画像２３１及び２３２それぞれの視差量と対応がとれていない優先順序で、３次元画像２３１及び２３２が合成される事態を防止して、ユーザの所望する優先順序で、３次元画像２３１及び２３２を合成することが可能となる。
【０２７３】
次に、図１７のフローチャートを参照して、画像合成装置２１１が行う第２の視差量調整処理について説明する。
【０２７４】
ステップＳ５１乃至ステップＳ５４において、図１６のステップＳ３１乃至ステップＳ３４と同様の処理が行なわれる。
【０２７５】
ステップＳ５５において、調整量算出部２７３は、図１６のステップＳ３５の場合と同様にして、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致するか否かを判定する。そして、調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致しないと判定した場合、処理をステップＳ５６に進める。
【０２７６】
ステップＳ５６において、調整量算出部２７３は、図１６のステップＳ３６の場合と同様にして、調整量を算出し、算出した調整量を、視差量調整部２７４に供給する。視差量調整部２７４は、調整量算出部２７３からの調整量を、内蔵するメモリに供給して記憶させる。
【０２７７】
なお、画像合成装置２１１において、第２の視差量調整処理が行なわれる場合、視差量調整部２７４には、図示せぬメモリが内蔵されているものとする。
【０２７８】
ステップＳ５７において、視差量調整部２７４は、制御部２５１から、３次元画像２３１及び２３２の合成の開始を指示する合成指示信号を受信したか否かを判定し、合成指示信号を受信したと判定するまで、ステップＳ５７の処理を繰り返し行なう。
【０２７９】
なお、ユーザが、操作卓２１を用いて、３次元画像２３１及び２３２の合成の開始を指示する操作を行った場合、制御部２５１は、操作卓２１からの操作信号に対応して、合成指示信号を、視差量調整部２７４に供給する。
【０２８０】
ステップＳ５７において、視差量調整部２７４は、制御部２５１から、合成指示信号を受信したと判定した場合、処理をステップＳ５８に進める。
【０２８１】
ステップＳ５８において、視差量調整部２７４は、内蔵するメモリに記憶されている、３次元画像２３１の調整量に基づいて、視差量計測部２７２からの３次元画像２３１の視差量を調整する。また、視差量調整部２７４は、内蔵するメモリに記憶されている、３次元画像２３２の調整量に基づいて、視差量計測部２７２からの３次元画像２３２の視差量を調整する。なお、内蔵するメモリへの記憶を行わず、常に新しい視差量を受け取るように構成しても良い。
【０２８２】
そして、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、視差量を調整後の３次元画像２３２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０２８３】
また、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、視差量を調整後の３次元画像２３２に対応する右眼用２次元画像を、SDI端子９１に供給して、処理をステップＳ５９に進める。
【０２８４】
そして、ステップＳ５９では、図１６のステップＳ３８と同様の処理が行なわれる。
【０２８５】
なお、ステップＳ５５において、調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致すると判定した場合、その旨を視差量調整部２７４に通知し、処理をステップＳ６０に進める。
【０２８６】
ステップＳ６０において、視差量調整部２７４は、制御部２５１から、合成指示信号を受信したか否かを判定し、合成指示信号を受信したと判定するまで、ステップＳ６０の処理を繰り返し行なう。
【０２８７】
ステップＳ６０において、視差量調整部２７４は、制御部２５１から、合成指示信号を受信したと判定した場合、視差量計測部２７２からの３次元画像２３１及び２３２について、左眼用２次元画像をSDI端子８５及び８６に供給し、右眼用２次元画像をSDI端子９０及び９１に供給する。
【０２８８】
さらに、視差量調整部２７４は、順序取得部２７１からの優先順序を、SDI端子８５及び９０に供給して、処理をステップＳ５９に進め、図１６のステップＳ３８と同様の処理が行なわれる。以上で第２の視差量調整処理は終了される。
【０２８９】
以上説明したように、第２の視差量調整処理によれば、画像合成装置２１１において、ユーザが指示するタイミングで、３次元画像２３１及び２３２を合成するようにしたので、ユーザの所望するタイミングで、３次元画像２３１及び２３２を合成することが可能となる。また、合成を行わない時点では視差の調整を行わず、そのままの画像を提供し、合成時には合成に合わせた視差にして提供することができる。
【０２９０】
次に、図１８のフローチャートを参照して、画像合成装置２１１が行う第３の視差量調整処理について説明する。
【０２９１】
ステップＳ７１乃至ステップＳ７６において、図１７のステップＳ５１乃至図５６と同様の処理が行なわれる。また、ステップＳ７５において、処理がステップＳ８２に進められた場合、ステップＳ８２において、図１７のステップＳ６０と同様の処理が行なわれる。
【０２９２】
ステップＳ７７において、視差量調整部２７４は、調整量算出部２７３からの調整量（内蔵するメモリに記憶されている）に基づいて、その調整量により調整後の視差量（３次元画像２３１又は２３２の視差量の少なくとも一方）が、予め決められた上限値を超えるものとなるか否かを判定し、調整量により調整後の視差量が、上限値を超えるものにはならないと判定した場合、処理をステップＳ７８に進める。なお、内蔵するメモリへの記憶を行わず、常に新しい視差量を受け取るように構成しても良い。
【０２９３】
ステップＳ７８乃至ステップＳ８０において、図１７のステップＳ５７乃至ステップＳ５９と同様の処理が行なわれる。
【０２９４】
また、ステップＳ７７において、視差量調整部２７４は、調整量算出部２７３からの調整量により調整後の視差量が、上限値を超えるものとなると判定した場合、処理をステップＳ８１に進める。
【０２９５】
ステップＳ８１では、視差量調整部２７４は、ユーザの指定操作により指定された優先順序で合成することができない旨を表すエラーを、図示せぬモニタなどに出力させる。以上で、第３の視差量調整処理は終了される。
【０２９６】
以上説明したように、第３の視差量調整処理によれば、ステップＳ７７において、視差量調整部２７４により、調整量算出部２７３からの調整量に基づいて調整される視差量が、上限値を超えるものとなると判定された場合、処理をステップＳ８１に進め、ステップＳ８１において、視差量調整部２７４は、ユーザの指定操作により指定された優先順序で合成することができない旨を表すエラーを、図示せぬモニタなどに出力させるようにしたので、予め決定されている上限値を超えて、視差量が調整されることを防止できる。
【０２９７】
この場合、視差量を大きく調整し過ぎたことに対応して、合成後の３次元画像が、鑑賞者にとって見にくい画像となることを防止することが可能となる。
【０２９８】
第２の実施の形態では、３次元画像２３１及び２３２それぞれの視差量を、直接、ユーザの指定操作により指定された優先順序に対応する視差量に調整するようにしたが、例えば、操作卓２１のフェーダ変更レバー１９９が操作された操作量に対応して、視差量を、徐々に、優先順序に対応する視差量に調整するように構成することができる。
【０２９９】
次に、フェーダ変更レバー１９９に対する操作量に応じて、視差量を調整する第３の実施の形態について説明する。
【０３００】
＜３．第３の実施の形態＞
[第３の実施の形態における処理の概要]
図１９及び図２０は、第３の実施の形態における処理の概要を説明するための図である。
【０３０１】
図１９は、複数の３次元画像のうち、ユーザの選択操作により選択された３次元画像の一例を示している。
【０３０２】
図１９A下側には、ユーザが選択した２枚の３次元画像のうちの一方の３次元画像２９１が示されている。この３次元画像２９１には、物体２９１aが表示されている。図１３A上側には、物体２３１aを上から見た様子を示している。
【０３０３】
図１９B下側には、ユーザが選択した２枚の３次元画像のうちの他方の３次元画像２９２が示されている。この３次元画像２９２には、物体２９２aが表示されている。図１９B上側には、物体２９２aを上から見た様子を示している。
【０３０４】
ユーザは、操作卓２１のフェーダ変更レバー１９９を用いて、フェーダ値を変更することにより、物体２９１aの奥行きｚと、物体２９２aの奥行きｚとを調整することができる。
【０３０５】
ここで、フェーダ値とは、視差量の調整の進行状況（進行比率）を表す値であり、フェーダ値が０[%]である場合には、視差量の調整が全く行なわれていないことを表しており、フェーダ値が１００[%]である場合には、視差量が、優先順序に対応する視差量に完全に調整されたことを表している。
【０３０６】
図２０は、ユーザが、フェーダ値を変更することに応じて、物体２９１aと物体２９２aとの奥行きzが調整される様子の一例を示している。
【０３０７】
図２０A、図２０B、及び図２０Cには、それぞれ、フェーダ値が０[%]、５０[%]、及び１００[%]とされた場合に、３次元画像２９１及び２９２を合成して得られる３次元画像２９３が示されている。
【０３０８】
ユーザが、操作卓２１のフェーダ変更レバー１９９を操作して、フェーダ値を０[%]に設定した場合、物体２９１aの奥行きｚが物体２９２aの奥行きｚよりも大きいときには、図２０Aに示されるように、物体２９１aの奥行きｚと、物体２９２aの奥行きｚとは変更されず、物体２９２aが手前側に存在する３次元画像２９３が生成される。一方、物体２９１aの奥行きｚが物体２９２aの奥行きｚよりも大きくはないときには、視差を調整して、図２０Aに示すような奥行きｚの状態にする。
【０３０９】
また、ユーザが、操作卓２１のフェーダ変更レバー１９９を操作して、フェーダ値を５０[%]に設定した場合、図２０Bに示されるように、各視差を調整することにより、物体２９２aの一部分が、物体２９１aに隠れたような３次元画像２９３が生成される。
【０３１０】
さらに、ユーザが、操作卓２１のフェーダ変更レバー１９９を操作して、フェーダ値を１００[%]に設定した場合、図２０Cに示されるように、各視差を調整することにより、物体２９１aが手前側に存在する３次元画像２９３が生成される。
【０３１１】
[画像合成装置３０１の構成例]
図２１は、第３の実施の形態である画像合成装置３０１の構成例を示している。
【０３１２】
なお、この画像合成装置３０１は、第２の実施の形態における図１４の画像合成装置２１１と同様に構成される部分については同一の符号を付しているため、以下、それらの説明は適宜省略する。
【０３１３】
すなわち、画像合成装置３０１は、制御部２５１、調整部２５２、左眼用スイッチャ８２、及び右眼用スイッチャ９２それぞれに代えて、制御部３１１、フェーダ調整部３１２、左眼用スイッチャ３１３、及び右眼用スイッチャ３１４が設けられている他は、画像合成装置２１１と同様に構成されている。
【０３１４】
制御部３１１は、例えば、操作卓２１からの操作信号に基づいて、フェーダ調整部３１２、左眼用スイッチャ３１３、及び右眼用スイッチャ３１４を制御する。
【０３１５】
なお、ユーザが、操作卓２１のフェーダ変更レバー１９９を用いて、フェーダ値を変更するためのフェーダ値変更操作を行ったことに対応して、操作卓２１は、ユーザのフェーダ値変更操作に対応する操作信号を生成し、制御部３１１に供給する。
【０３１６】
この場合、制御部３１１は、操作卓２１からの操作信号に基づいて、ユーザのフェーダ値変更操作により変更されたフェーダ値を取得し、フェーダ調整部３１２に供給する。
【０３１７】
また、制御部３１１は、制御部２５１と同様にして、ユーザにより指定された優先順序を表す制御信号を、フェーダ調整部３１２に供給する。
【０３１８】
フェーダ調整部３１２は、SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せを、３次元画像２９１として取得する。また、フェーダ調整部３１２は、SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せを、３次元画像２９２として取得する。
【０３１９】
フェーダ調整部３１２は、制御部３１１からの制御信号に基づいて、優先順序を取得し、取得した優先順序と、制御部３１１からのフェーダ値に基づいて、取得した３次元画像２９１及び２９２それぞれの視差量を調整する。
【０３２０】
左眼用スイッチャ３１３は、制御部３１１からの制御にしたがって、供給される複数の左眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像２９１及び２９２（図１９）に対応する左眼用２次元画像それぞれを選択する。
【０３２１】
そして、左眼用スイッチャ３１３は、３次元画像２９１に対応する左眼用２次元画像を、SDI端子８３に供給し、３次元画像２９２に対応する左眼用２次元画像を、SDI端子８４に供給する。
【０３２２】
また、左眼用スイッチャ３１３は、SDI端子８５から供給される優先順序で、SDI端子８５からの左眼用２次元画像、及びSDI端子８６からの左眼用２次元画像を合成し、フェーダ値に対応して合成された左眼用２次元画像を出力する。
【０３２３】
右眼用スイッチャ３１４は、制御部３１１からの制御にしたがって、供給される複数の右眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像２９１及び２９２（図１９）に対応する右眼用２次元画像それぞれを選択する。
【０３２４】
そして、右眼用スイッチャ３１４は、３次元画像２９１に対応する右眼用２次元画像を、SDI端子８８に供給し、３次元画像２９２に対応する右眼用２次元画像を、SDI端子８９に供給する。
【０３２５】
また、右眼用スイッチャ３１４は、SDI端子９０から供給される優先順序で、SDI端子９０からの右眼用２次元画像、及びSDI端子９１からの右眼用２次元画像を合成し、フェーダ値に対応して合成された右眼用２次元画像を出力する。
【０３２６】
[フェーダ調整部３１２の詳細]
次に、図２２は、フェーダ調整部３１２の構成例を示している。
【０３２７】
なお、このフェーダ調整部３１２は、第２の実施の形態における図１５の調整部２５２と同様に構成される部分については同一の符号を付しているため、以下において、その説明は適宜省略する。
【０３２８】
すなわち、フェーダ調整部３１２は、視差量調整部２７４に代えて、視差量調整部３３１が設けられている他は、調整部２５２と同様に構成されている。
【０３２９】
視差量調整部３３１には、順序取得部２７１から優先順序が、視差量計測部２７２から３次元画像２９１及び２９２が、調整量算出部２７３から、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致する旨の通知、又は調整量のいずれか一方が供給される他、制御部３１１からフェーダ値が供給される。
【０３３０】
視差量調整部３３１は、調整量算出部２７３から、調整量が供給される場合、調整量算出部２７３からの調整量と、制御部３１１からのフェーダ値とに基づいて、視差量計測部２７２からの３次元画像２９１及び２９２それぞれの視差量を、フェーダ値に応じた視差量となるように調整する。
【０３３１】
そして、視差量調整部３３１は、調整後の３次元画像２９１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、調整後の３次元画像２９２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０３３２】
また、視差量調整部３３１は、調整後の３次元画像２９１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、調整後の３次元画像２９２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０３３３】
さらに、視差量調整部３３１は、調整後の３次元画像２９１及び２９２それぞれの視差量を、SDI端子８５及び９０に供給する。
【０３３４】
これにより、SDI端子８５は、視差量調整部３３１から供給される、調整後の３次元画像２９１及び２９２それぞれの視差量を、左眼用スイッチャ３１３に供給する。
【０３３５】
また、SDI端子９０は、視差量調整部３３１から供給される、調整後の３次元画像２９１及び２９２それぞれの視差量を、右眼用スイッチャ３１４に供給する。
【０３３６】
なお、視差量調整部３３１は、調整量算出部２７３から、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致する旨の通知が供給された場合、視差量調整部２７４と同様の処理を行なう。
【０３３７】
[左眼用スイッチャ３１３の構成例]
次に、図２３は、左眼用スイッチャ３１３の構成例を示している。
【０３３８】
なお、右眼用スイッチャ３１４は、左眼用スイッチャ３１３と同様に構成されているため、左眼用スイッチャ３１３の構成についてのみ説明し、右眼用スイッチャ３１４の構成についての説明は省略する。
【０３３９】
左眼用スイッチャ３１３は、図６の左眼用スイッチャ８２を構成する画像選択部１１１及び画像合成部１１２のうち、画像合成部１１２に代えて画像合成部３５１が設けられている他は、左眼用スイッチャ８２と同様に構成されている。
【０３４０】
なお、図２３では、図面が煩雑になるのを避けるために、左眼用スイッチャ８２の画像選択部１１１と同様に構成される機能ブロック、画像合成部３５１のうち、左眼用スイッチャ８２の画像合成部１１２と同様に構成される機能ブロックについては図示を省略している。
【０３４１】
すなわち、左眼用スイッチャ３１３における画像合成部３５１は、新たに奥行き比較部３７１及び乗算部３７２が設けられているとともに、合成処理部１５１に代えて合成処理部３７３が設けられている他は、左眼用スイッチャ８２の画像合成部１１２と同様に構成される。
【０３４２】
左眼用スイッチャ３１３には、SDI端子８５から、フェーダ値に応じて調整後の３次元画像２９１及び２９２それぞれの視差量が供給される。そして、SDI端子８５からの３次元画像２９１の視差量は、キー信号処理部１５３aを介して、奥行き比較部３７１に、SDI端子８５からの３次元画像２９２の視差量は、キー信号処理部１５３bを介して、奥行き比較部３７１に供給される。
【０３４３】
奥行き比較部３７１は、キー信号処理部１５３aからの、３次元画像２９１の視差量と、キー信号処理部１５３bからの、３次元画像２９２の視差量とに基づいて、３次元画像２９１上の物体２９１aの奥行きｚと、３次元画像２９２上の物体２９２aの奥行きｚとを比較する。なお、別の構成として、視差量を受け取らず、右眼用スイッチャの該当部分と連携して、ここで視差を算出するように構成しても良い。
【０３４４】
そして、奥行き比較部３７１は、その比較結果に基づいて、３次元画像２９２上の物体２９２aのうち、３次元画像２９１上の物体２９１aよりも手前に存在する部分（物体２９２aの奥行きｚが、物体２９１aの奥行きｚよりも小さくなる部分）に対応する領域を表すキー信号３９１を生成し、乗算部３７２に供給する。
【０３４５】
乗算部３７２には、奥行き比較部３７１からのキー信号３９１の他、キー信号処理部１５３bから、３次元画像２９２上の物体２９２aが存在する領域を表すキー信号３９２が供給される。
【０３４６】
乗算部３７２は、奥行き比較部３７１からのキー信号３９１と、キー信号処理部１５３bからのキー信号３９２とを乗算する。そして、乗算部３７２は、その乗算により得られる、３次元画像２９２上の物体２９２aのうち、３次元画像２９１上の物体２９１aよりも手前に存在する部分に対応する領域を表すキー信号３９３を、合成処理部３７３に供給する。
【０３４７】
合成処理部３７３には、乗算部３７２からのキー信号３９３が供給される他、キー信号処理部１５３aから、３次元画像２９１上の物体２９１aが存在する領域を表すキー信号３９４が供給される。また、合成処理部３７３には、キー信号処理部１５３aから、３次元画像２９１に対応する左眼用２次元画像、及び優先順序が、キー信号処理部１５３bから、３次元画像２９２に対応する左眼用２次元画像が、それぞれ供給される。
【０３４８】
合成処理部３７３は、キー信号処理部１５３aからの優先順序で、キー信号処理部１５３aからの左眼用２次元画像と、キー信号処理部１５３bからの左眼用２次元画像とを合成する。
【０３４９】
すなわち、例えば、３次元画像２９２の優先順序が１番で、３次元画像２９１の優先順序が２番である場合、合成処理部３７２は、３次元画像２９１に対応する左眼用２次元画像上の、キー信号処理部１５３aからのキー信号３９４が表す領域（物体２９１aが存在する領域）よりも、３次元画像２９２に対応する左眼用２次元画像上の、乗算部３７２からのキー信号３９３が表す領域（物体２９２aのうちの一部分が存在する領域）が手前になるように、３次元画像２９１及び２９２を合成する。
【０３５０】
なお、合成処理部３７３に、背景画像を表す背景画像信号が供給される場合、合成処理部３７３は、供給される背景画像信号に対応する背景画像を、背景として合成する。
【０３５１】
[奥行き比較部３７１乃至合成処理部３７３が行なう処理]
次に、図２４は、奥行き比較部３７１乃至合成処理部３７３が行なう処理を示している。
【０３５２】
奥行き比較部３７１は、図２４Aに示されるように、キー信号処理部１５３aからの、３次元画像２９１の視差量と、キー信号処理部１５３bからの、３次元画像２９２の視差量とに基づいて、３次元画像２９１上の物体２９１aと、３次元画像２９２上の物体２９２aとの奥行きｚを比較する。
【０３５３】
そして、奥行き比較部３７１は、その比較結果に基づいて、３次元画像２９２上の物体２９２aのうち、３次元画像２９１上の物体２９１aよりも手前側に存在する部分２９２a'を検出し、部分２９２a'が存在する領域を表すキー信号３９１を生成して、乗算部３７２に供給する。
【０３５４】
乗算部３７２は、キー信号処理部１５３bからのキー信号３９２と、奥行き比較部３７１からのキー信号３９１とを乗算し、その乗算により得られる、部分２９２a'が存在する領域を表すキー信号３９３を、合成処理部３７３に供給する。
【０３５５】
合成処理部３７３は、乗算部３７２からのキー信号３９３に基づいて、物体２９２aのうち、物体２９１aよりも手前に表示させる部分２９２a'を判断する。そして、合成処理部３７３は、物体２９２aのうち、検出した部分２９２a'が、物体２９１aの手前に表示されるように、キー信号処理部１５３aからの左眼用２次元画像、及びキー信号処理部１５３bからの左眼用２次元画像を合成する。
【０３５６】
これにより、図２４Bに示されるように、物体２９２aの一部分２９２a'と、物体２９１aの一部分２９１a'が表示された左眼用２次元画像２９３が生成されることとなる。
【０３５７】
そして、合成処理部３７３は、その合成により得られる、合成後の左眼用２次元画像を出力する。
【０３５８】
なお、合成処理部３７３は、乗算部３７２からのキー信号３９３を用いるようにしたが、乗算部３７２から出力されるキー信号３９３と、奥行き比較部３７１から出力されるキー信号３９１とは、キー信号の生成方法によっては同一のキー信号となるため、奥行き比較部３７１から出力されるキー信号３９１を、乗算部３７２からのキー信号３９３の代わりに用いるようにしてもよい。この場合、乗算部３７２を省略して、画像合成部３５１を構成することができる。
【０３５９】
[画像合成装置３０１の動作説明]
次に、図２５のフローチャートを参照して、画像合成装置３０１が行うフェーダ調整処理について説明する。
【０３６０】
このフェーダ調整処理は、例えば、ユーザが、操作卓２１を用いて、画像合成装置３０１に供給される複数の３次元画像のうち、合成する３次元画像２９１及び２９２を選択する選択操作を行ったときに開始される。
【０３６１】
このとき、制御部３１１には、ユーザの選択操作に応じた操作信号が、操作卓２１から供給される。そして、制御部３１１は、操作卓２１からの操作信号に応じて、左眼用スイッチャ３１３及び右眼用スイッチャ３１４を制御する。
【０３６２】
そして、ステップＳ１０１において、左眼用スイッチャ３１３は、制御部３１１からの制御にしたがって、左眼用スイッチャ８２と同様にして、ユーザの選択操作により選択された２枚の３次元画像２９１及び２９２それぞれに対応する左眼用２次元画像を取得する。
【０３６３】
左眼用スイッチャ３１３は、取得した左眼用２次元画像のうち、一方の左眼用２次元画像を、SDI端子８３に供給し、他方の左眼用２次元画像を、SDI端子８４に供給する。SDI端子８３及び８４は、それぞれ、左眼用スイッチャ３１３からの左眼用２次元画像を、フェーダ調整部３１２の視差量計測部２７２に供給する。
【０３６４】
また、右眼用スイッチャ３１４は、制御部３１１からの制御にしたがって、左眼用スイッチャ３１３と同様にして、取得した右眼用２次元画像のうち、一方の右眼用２次元画像を、SDI端子８８に供給し、他方の右眼用２次元画像を、SDI端子８９に供給する。SDI端子８８及び８９は、それぞれ、右眼用スイッチャ３１４からの右眼用２次元画像を、視差量計測部２７２に供給する。
【０３６５】
ステップＳ１０２乃至ステップＳ１０４において、図１６のステップＳ３２乃至ステップＳ３４と同様の処理が行なわれる。
【０３６６】
ステップＳ１０５において、調整量算出部２７３は、図１６のステップＳ３５の場合と同様にして、算出した、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致するか否かを判定し、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致しないと判定した場合、処理をステップＳ１０６に進める。
【０３６７】
ステップＳ１０６では、調整量算出部２７３は、図１６のステップＳ３６の場合と同様にして調整量を算出し、算出した調整量を、視差量調整部３３１に供給する。これに対応して、視差量調整部３３１は、調整量算出部２７３からの調整量を、図示せぬ内蔵のメモリに供給して記憶させる。
【０３６８】
ステップＳ１０７において、視差量調整部３３１は、制御部３１１からのフェーダ値が入力（供給）されたか否かを判定し、制御部３１１からフェーダ値が入力されたと判定するまで、ステップＳ１０７の処理を繰り返して行なう。
【０３６９】
ステップＳ１０７において、視差量調整部３３１は、制御部３１１からのフェーダ値が入力されたと判定した場合、処理をステップＳ１０８に進める。ステップＳ１０８において、視差量調整部３３１は、内蔵のメモリに記憶されている調整量と、制御部３１１からのフェーダ値に基づいて、視差量計測部２７２からの３次元画像２９１及び２９２それぞれの視差量を、制御部３１１からのフェーダ値に対応する視差量に調整する。なお、内蔵のメモリに記憶されている調整量を使用するのではなく、常に最新の調整量を算出してそれを使用する様な構成にしても良い。
【０３７０】
そして、視差量調整部３３１は、調整後の３次元画像２９１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、調整後の３次元画像２９２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０３７１】
また、視差量調整部３３１は、調整後の３次元画像２９１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、調整後の３次元画像２９２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０３７２】
さらに、視差量調整部３３１は、調整後の３次元画像２９１及び２９２それぞれの視差量を、SDI端子８５及び９０に供給する。
【０３７３】
ステップＳ１０９において、SDI端子８５は、視差量調整部３３１からの左眼用２次元画像及び優先順序を、SDI端子８６は、視差量調整部３３１からの左眼用２次元画像を、それぞれ左眼用スイッチャ３１３に供給する。
【０３７４】
また、SDI端子８５は、視差量調整部３３１から供給される、調整後の３次元画像２９１及び２９２それぞれの視差量を、左眼用スイッチャ３１３に供給する。
【０３７５】
SDI端子９０は、視差量調整部３３１からの右眼用２次元画像及び優先順序を、SDI端子９１は、視差量調整部３３１からの右眼用２次元画像を、それぞれ右眼用スイッチャ３１４に供給する。
【０３７６】
また、SDI端子９０は、視差量調整部３３１から供給される、調整後の３次元画像２９１及び２９２それぞれの視差量を、右眼用スイッチャ３１４に供給する。
【０３７７】
そして、ステップＳ１０９において、左眼用スイッチャ３１３は、SDI端子８５からの、調整後の３次元画像２９１及び２９２それぞれの視差量に基づいて生成したキー信号を用いて、SDI端子８５からの左眼用２次元画像、SDI端子８６からの左眼用２次元画像を、SDI端子８５からの優先順序で、フェーダ値に応じて合成し、その結果得られる合成後の左眼用２次元画像を出力ラインに出力する。
【０３７８】
また、右眼用スイッチャ３１４は、左眼用スイッチャ３１３と同様にして、SDI端子９０からの、調整後の３次元画像２９１及び２９２それぞれの視差量に基づいて生成したキー信号を用いて、SDI端子９０からの右眼用２次元画像、SDI端子９１からの右眼用２次元画像を、SDI端子９０からの優先順序で、フェーダ値に応じて合成し、その結果得られる合成後の右眼用２次元画像を出力ラインに出力する。
【０３７９】
ステップＳ１０９の処理の終了後、処理は、ステップＳ１０７に戻り、それ以降同様の処理が行なわれる。
【０３８０】
なお、ステップＳ１０７乃至ステップＳ１０９の処理が繰り返し行なわれる場合、このフェーダ調整処理は、例えば、ユーザが操作卓２１を用いて、フェーダ調整処理の終了を指示したときに終了される。
【０３８１】
また、ステップＳ１０５において、調整量算出部２７３は、算出した、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致すると判定した場合、その旨を、視差量調整部３３１に供給して、処理をステップＳ１１０に進める。
【０３８２】
ステップＳ１１０において、視差量調整部３３１は、図１６のステップＳ３５からステップＳ３８に進んだ場合と同様の処理を行い、処理は終了される。
【０３８３】
以上説明したように、フェーダ調整処理では、ユーザが行うフェーダ値変更操作により変更されるフェーダ値に応じて、３次元画像２９１及び２９２を合成するようにしたので、ユーザは、所望のフェーダ値に応じて、３次元画像２９１及び２９２を合成した３次元画像２９３を生成することが可能となる。
【０３８４】
＜４．変形例＞
[左眼用スイッチャ３１３の他の構成例]
次に、図２６は、左眼用スイッチャ３１３の画像合成部３５１の他の構成例を示している。
【０３８５】
なお、この画像合成部３５１は、図２３の画像合成部３５１と同様に構成される部分については同一の符号を付しているため、以下、それらの説明は適宜省略する。
【０３８６】
すなわち、図２６の画像合成部３５１は、奥行き比較部３７１及び合成処理部３７３に代えて、奥行き比較部４３１及び合成処理部４３３が設けられているとともに、新たに乗算部４３２が設けられている他は、図２３の画像合成部３５１と同様に構成されている。
【０３８７】
奥行き比較部４３１には、キー信号処理部１５３aから、３次元画像２９１の視差量が、キー信号処理部１５３bから、３次元画像２９２の視差量が供給される。
【０３８８】
奥行き比較部４３１は、キー信号処理部１５３aからの、３次元画像２９１の視差量と、キー信号処理部１５３bからの、３次元画像２９２の視差量とに基づいて、３次元画像２９１上の物体２９１aと、３次元画像２９２上の物体２９２aとの奥行きｚを比較する。
【０３８９】
そして、奥行き比較部４３１は、その比較結果に基づいて、３次元画像２９２上の物体２９２aのうち、３次元画像２９１上の物体２９１aよりも手前側に存在する部分２９２a'を検出し、部分２９２a'が存在する領域を表すキー信号３９１を生成して、乗算部３７２に供給する。
【０３９０】
また、奥行き比較部４３１は、その比較結果に基づいて、３次元画像２９１上の物体２９１aのうち、３次元画像２９２上の物体２９２aよりも手前側に存在する部分２９１a'を検出し、部分２９１a'が存在する領域を表すキー信号４４１を生成して、乗算部４３２に供給する。
【０３９１】
乗算部４３２には、奥行き比較部４３１からキー信号４４１の他、キー信号処理部１５３aからキー信号３９４が供給される。乗算部４４１は、奥行き比較部３７１からのキー信号４４１と、キー信号処理部１５３aからのキー信号３９４とを乗算し、その乗算により得られる、部分２９１a'が存在する領域を表すキー信号４４２を、合成処理部４３３に供給する。
【０３９２】
合成処理部４３３では、乗算部４４１からのキー信号４４２に基づいて、物体２９１aの一部分２９１a'を検出する。また、合成処理部４３３は、合成処理部３７３と同様にして、乗算部３７２からのキー信号３９３に基づいて、物体２９２aのうち、物体２９１aよりも手前に表示させる部分２９２a'を検出する。
【０３９３】
そして、合成処理部４３３は、物体２９１aのうち、検出した部分２９１a'が、物体２９２aの手前に表示されるとともに、物体２９２aのうち、検出した部分２９２a'が、物体２９１aの手前に表示されるように、キー信号処理部１５３aからの左眼用２次元画像、及びキー信号処理部１５３bからの左眼用２次元画像を合成する。
【０３９４】
なお、合成処理部４３３は、乗算部４３２からのキー信号４４２を用いるようにしたが、乗算部４３２から出力されるキー信号４４２と、奥行き比較部４３１から出力されるキー信号４４１とは、キー信号の生成方法によっては同一のキー信号となるため、奥行き比較部４３１から出力されるキー信号４４１を、乗算部４３２からのキー信号４４２の代わりに用いるようにしてもよい。この場合、乗算部４３２を省略して、画像合成部３５１を構成することができる。なお、乗算後の各キー信号を受け取る合成処理部４３３等では、各キー信号に基づいて画像への加工を行い、合成が見た目に美しく（Artifactを減らすように）処理されるように構成できる。
【０３９５】
第１乃至第３の実施の形態において、ユーザの選択操作により選択された２枚の３次元画像を合成することについて説明したが、合成する３次元画像の枚数は、２枚に限定されない。
【０３９６】
すなわち、例えば、図２７及び図２８に示されるように、合成する３次元画像の枚数を、４枚とすることができる。
【０３９７】
図２７は、複数の３次元画像のうち、ユーザの選択操作により選択される４枚の３次元画像の一例を示している。
【０３９８】
図２７A乃至図２７Dにおいて、図中下側には、ユーザの選択操作により選択された４枚の３次元画像４５１乃至４５４が示されている。
【０３９９】
なお、３次元画像４５１には、物体４５１aが表示されており、３次元画像４５２には、物体４５２aが表示されている。また、３次元画像４５３には、物体４５３a及び４５３bが表示されており、３次元画像４５４には、物体４５４a及び４５４bが表示されている。
【０４００】
また、図２７A上側には、物体４５１aを上から見た様子が示されており、図２７B上側には、物体４５２aを上から見た様子が示されている。さらに、図２７C上側には、物体４５３a及び４５３bを上から見た様子が示されており、図２７D上側には、物体４５４a及び４５４bを上から見た様子が示されている。
【０４０１】
図２８は、４枚の３次元画像４５１乃至４５４を合成して得られる３次元画像４５６の一例を示している。
【０４０２】
図２８上側には、合成により得られる３次元画像４５６上に表示される物体４５１a乃至４５４bの奥行きｚを示している。すなわち、上から見た様子が示されている。物体４５１a乃至４５４bにおいて、図中上側に存在する物体ほど、奥行きｚが大きなもの（遠くに見える）となっている。
【０４０３】
図２８下側には、３次元画像４５６が示されている。この３次元画像４５６には、物体４５１a乃至４５４bそれぞれにおいて、最も手前に表示される各部分４５１a'乃至４５４b'が表示される。
【０４０４】
第１乃至第３のいずれの形態においても、図２８に示されるように、３次元画像４５１乃至４５４を合成して得られる、合成後の３次元画像４５６を出力することが可能である。
【０４０５】
なお、第２及び第３の実施の形態において、３次元画像４５１乃至４５４の視差量が調整される場合には、図２８上側に示されるように、３次元画像４５１乃至４５４の視差量が調整されることにより、視差量それぞれに対応する奥行きｚの範囲R1乃至R4が変更される。
【０４０６】
すなわち、例えば、３次元画像４５１，４５２，４５３及び４５４の順序で、（奥から）優先順序が指定されている場合、優先順序の順に、奥行きｚが大きくなるように、範囲R1乃至R4が変更される。そして、変更後の範囲R1乃至R4は、さらに、予め決められている幅に拡大（又は縮小）されることとなる。
【０４０７】
すなわち、例えば、優先順序に対応する視差量となるように、３次元画像４５１乃至４５４の視差量が調整されたことにより、３次元画像４５１乃至４５４の視差量それぞれに対応する奥行きｚの範囲が、範囲R1乃至R4に変更された場合、変更後の範囲R1乃至R4を、予め決められた幅に拡大（又は縮小）する。
【０４０８】
変更後の範囲R1は、奥行きz11未満であって、奥行きz12以上の範囲である。また、変更後の範囲R2は、奥行きz21（=z12）未満であって、奥行きz22以上の範囲である。さらに、変更後の範囲R3は、奥行きz31(=z22)未満であって、奥行きz32以上の範囲である。また、変更後の範囲R4は、奥行きz41(z=32)未満であって、奥行きz42以上の範囲である。
【０４０９】
したがって、範囲R1の幅（大きさ）z1wは|z11-z12|となり、範囲R2の幅z2wは|z21-z22|となっている。また、範囲R3の幅z3wは|z31-z32|となり、範囲R4の幅z4wは|z41-z42|となっている。
【０４１０】
第２及び第３の実施の形態では、例えば、変更後の範囲R1乃至R4全体の範囲（幅|z11-z42|）を、奥行きzA未満であって奥行きzB以上の範囲（幅|zA-zB|）に拡大（又は縮小）する。
【０４１１】
すなわち、例えば、第２及び第３の実施の形態において、r=|zA-zB|/|z1w+z2w+z3w+z4w|を求め、拡大（又は縮小）前の範囲R1乃至R4の幅z1w乃至z4wにrを乗算する。これにより、拡大（又は縮小）後の範囲R1の幅z1v(=z1w×r)、拡大後の範囲R2の幅z2v(=z2w×r)、拡大後の範囲R3の幅z3v(=z3w×r)、及び拡大後の範囲R4の幅z1v(=z4w×r)が算出される。
【０４１２】
これにより、拡大後の範囲R1は、奥行きzB未満であって奥行き（zB+z1v）以上となり、拡大後の範囲R2は、奥行き(zB+z1v)未満であって奥行き（zB+z1v+z2v）以上となる。また、拡大後の範囲R3は、奥行き(zB+z1v+z2v)未満であって奥行き（zB+z1v+z2v+z3v）以上となり、拡大後の範囲R4は、奥行き(zB+z1v+z2v+z3v)未満であって奥行きzA以上となる。
【０４１３】
すなわち、例えば、拡大前の範囲R1(奥行きz11未満であって、奥行きz12以上の範囲)は、拡大後の範囲R1として、奥行きzB未満であって奥行き（zB+z1v）以上の範囲となるように写像される。このことは、範囲R2乃至R4についても同様である。なお、通常は画像の内容に対して、奥行きを縮小することは見る者に負担にならないが、拡大すると見る者の疲労などにつながる場合があり、一般には好ましくない。このため、縮小が必要になる場合のみ上記処理を施し、拡大が必要な場合（rが１よりも大きい場合）には、rを乗ずることは抑制させる方が好ましい結果になるので、rを乗ずるかどうかrの値で判断するように構成しても良い。
【０４１４】
また、図２６の画像合成部３５１では、２枚の３次元画像それぞれに対応する左眼用２次元画像を合成するために、２枚の左眼用２次元画像それぞれについての合成に用いるキー信号を出力する２個の乗算部３７２及び４３２を設けるようにしているが、例えば、４枚の３次元画像それぞれに対応する左眼用２次元画像を合成するように構成することができる。
【０４１５】
すなわち、例えば、図２９に示されるように、４枚の左眼用２次元画像それぞれについての合成に用いるキー信号を出力する４個の乗算部３７２，４３２，４７１、及び４７２を設けるようにすれば、４枚の左眼用画像を合成することができる。
【０４１６】
この場合、キー信号処理部１５３c及び乗算部４７１において、キー信号処理部１５３a及び乗算部４３２と同様の処理が行なわれる。このことは、キー信号処理部１５３d及び乗算部４７２についても同様である。
【０４１７】
なお、上述したように、第１の実施の形態では、図９に示されたように、左眼用スイッチャ１８２に、優先順序決定部８７と同様の機能を有する優先順序決定部８７a乃至８７dを設けるようにして、画像合成装置２２において、SDI端子８３乃至SDI端子８６、優先順序決定部８７、及びSDI端子８８乃至SDI端子９１を省略するようにした。
【０４１８】
同様にして、第２の実施の形態においても、図３０に示されるように、画像合成装置２１１の左眼用スイッチャ８２に、調整部２５２と同様の機能を有する調整部２５２a乃至２５２dを設けるように構成すれば、図１４の画像合成装置２１１に設けられている、SDI端子８３乃至SDI端子８６、調整部２５２、及びSDI端子８８乃至SDI端子９１を省略できるようになる。このことは、第３の実施の形態についても同様である。この場合、調整部２５２が、右眼用スイッチャの該当部分と通信して連携して動作することも同様である。なお、図３０のVideoProc１５４a乃至１５４cと合成処理部１５５との間に、調整部を更に設け、背景用の画像とキー画像として合成する画像との奥行きの関係も、上記と同様に処理するようにしても良い。通常、背景用の画像は最も奥に配置されるという概念であるので、それと一致するように調整されるようにするのが好ましい。
【０４１９】
また、第２の実施の形態では、図３０の画像合成装置２１１において、図３１に示されるように、画像合成部１１１に、新たに、キー信号処理部１５３a乃至１５３dと同様の機能を有するキー信号処理部１５３a'乃至１５３d'とともに、合成処理部１５５と同様の機能を有する合成処理部１５５'を設けるようにすることができる。
【０４２０】
そして、画像合成部１１１において、キー信号処理部１５３a'乃至１５３d'及び合成処理部１５５'により、合成された左眼用２次元画像を確認する際のプレビュー用の左眼用２次元画像を生成させるようにして、プレビュー用の左眼用２次元画像を出力するプレビュー出力ラインに出力させるように構成できる。
【０４２１】
この場合、プレビュー用に出力されて図示せぬ表示部に表示される合成後の左眼用２次元画像を、ユーザが適宜確認するようにして、ユーザが、プレビュー用に出力されて表示された合成後の左眼用２次元画像に満足した場合、キー信号処理部１５３a乃至１５３d及び合成処理部１５５により、最終的な合成後の左眼用２次元画像を生成させて、最終的な合成による合成結果として出力させるようにすることが可能となる。このことは、右眼用スイッチャ９２についても同様である。
【０４２２】
なお、第１及び第３の実施の形態においても同様に、プレビュー用のキー信号処理部１５３a'乃至１５３d'及び合成処理部１５５'を新たに設けることにより、プレビュー用の左眼用２次元画像を生成することができるようになる。
【０４２３】
また、第１の実施の形態において、図７の優先順序決定部８７は、視差量計測部１７１及び順序決定部１７２により構成するようにしたが、例えば、視差量計測部１７１を省略して順序決定部１７２のみにより構成することができる。
【０４２４】
すなわち、例えば、３次元画像４１（を構成する左眼用２次元画像又は右眼用２次元画像の少なくとも一方）に、３次元画像４１の視差量が含まれており、３次元画像４２に、３次元画像４２の視差量が含まれている場合には、順序決定部１７２は、視差量計測部１７１と同様にして、３次元画像４１及び４２を取得し、取得した３次元画像４１及び４２から、３次元画像４１及び４２それぞれの視差量を抽出することができる。
【０４２５】
そして、順序決定部１７２は、抽出した３次元画像４１及び４２それぞれの視差量に基づいて、優先順序を決定する等、図７の順序決定部１７２と同様の処理を行なうことができる。
【０４２６】
このことは、第２及び第３の実施の形態についても同様のことが言える。したがって、合成対象の３次元画像に、その３次元画像の視差量が含まれている場合には、視差量を計測することなく、３次元画像に含まれる視差量を抽出して取得できるようになるため、第２及び第３の実施の形態においても、視差量計測部２７２を省略することができる。又は、元々入力されるすべての３次元画像の視差の範囲は、準規格的に限定されているのが通常であるので、その全範囲を縮小して、合成するように構成しても良い。例えば、５つの画像を合成する場合、規格の視差の範囲を各画像で１／５に縮小して、それを合成すれば、合成された結果の３次元画像においても規格の視差の範囲に収まるようになる。
【０４２７】
また、第１乃至第３の実施の形態における画像合成装置としては、例えば、３次元画像どうしを合成したり、３次元画像に文字列等を合成（スーパーインポーズ）するコンピュータ等を採用することができる。その場合、文字列の画像は、コンピュータ・グラフィックス装置により生成された画像となり、その視差はあらかじめ指定したり、取得することが容易である。このため、第１乃至第３の実施の形態では入力された画像に対して視差を調整していたが、コンピュータ・グラフィックス装置に対してあらかじめ視差（z軸上の位置）を指定することで、同じ効果を得ることができる。
【０４２８】
次に、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０４２９】
[コンピュータの構成例]
図３２は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
【０４３０】
CPU（Central Processing Unit）５３１は、ROM（Read Only Memory）５３２、または記憶部５３８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）５３３には、CPU５３１が実行するプログラムやデータなどが適宜記憶される。これらのCPU５３１、ROM５３２、およびRAM５３３は、バス５３４により相互に接続されている。
【０４３１】
CPU５３１にはまた、バス５３４を介して入出力インタフェース５３５が接続されている。入出力インタフェース５３５には、キーボード、マウス、マイクロホンなどよりなる入力部５３６、ディスプレイ、スピーカなどよりなる出力部５３７が接続されている。CPU５３１は、入力部５３６から入力される指令に対応して各種の処理を実行する。そして、CPU５３１は、処理の結果を出力部５３７に出力する。
【０４３２】
入出力インタフェース５３５に接続されている記憶部５３８は、例えばハードディスクからなり、CPU５３１が実行するプログラムや各種のデータを記憶する。通信部５３９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０４３３】
また、通信部５３９を介してプログラムを取得し、記憶部５３８に記憶してもよい。
【０４３４】
入出力インタフェース５３５に接続されているドライブ５４０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５４１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部５３８に転送され、記憶される。
【０４３５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図３２に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(compact disc-read only memory),DVD(digital versatile disc)を含む）、光磁気ディスク（ＭＤ（mini-disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５４１、または、プログラムが一時的もしくは永続的に記録されるROM５３２や、記憶部５３８を構成するハードディスクなどにより構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデムなどのインタフェースである通信部５３９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０４３６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４３７】
また、本実施の形態は、上述した第１乃至第３の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０４３８】
２１ 操作卓， ２２ 画像合成装置， ８１ 制御部， ８２ 左眼用スイッチャ， ８３乃至８６ SDI端子， ８７，８７a乃至８７d 優先順序決定部， ８８乃至９１ SDI端子， ９２ 右眼用スイッチャ， １１１ 画像選択部， １１２ 画像合成部， １３１a及び１３１b クロスポイントスイッチ， １３２a及び１３２b バスライン， １３３a及び１３３b ビデオ信号処理部， １５１a乃至１５１k クロスポイントスイッチ， １５２a乃至１５２k バスライン， １５３a乃至１５３d キー信号処理部， １５４a乃至１５４c ビデオ信号処理部， １５５ 合成処理部， １７１ 視差量計測部， １７２ 順序決定部， １８１ 制御部， １８２ 左眼用スイッチャ， １８３ 右眼用スイッチャ， ２１１ 画像合成装置， ２５１ 制御部， ２５２，２５２a乃至２５２d 調整部， ２７１ 順序取得部， ２７２ 視差量計測部， ２７３ 調整量算出部， ２７４ 視差量調整部， ３０１ 画像合成装置， ３１１ 制御部， ３１２ フェーダ調整部， ３１３ 左眼用スイッチャ， ３１４ 右眼用スイッチャ， ３３１ 視差量調整部， ３５１ 画像合成部， ３７１ 奥行き比較部， ３７２ 乗算部， ３７３ 合成処理部， ４３１ 奥行き比較部， ４３２ 乗算部， ４３３ 合成処理部， ４７１及び４７２ 乗算部
【技術分野】
【０００１】
本発明は、画像合成装置、画像合成方法、及びプログラムに関し、特に、例えば、３次元画像を合成する場合に用いて好適な画像合成装置、画像合成方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、ユーザが、スイッチャを用いて選択した３次元画像どうしを合成するスーパーインポーズ等の合成技術が存在する（例えば、特許文献１を参照）。
【０００３】
ここで、３次元画像とは、左眼用２次元画像、及び右眼用２次元画像により構成されており、左眼用２次元画像と右眼用２次元画像との間には、鑑賞者により視認される画像上の物体が立体的に見えるように視差が設けられている。
【０００４】
また、３次元画像を鑑賞者に提示する場合には、例えば、左眼用２次元画像を鑑賞者の左眼のみで視認できるように提示し、右眼用２次元画像を鑑賞者の右眼のみで視認できるように提示するようにする。
【０００５】
鑑賞者は、左眼用２次元画像と右眼用２次元画像に設けられた視差の量（視差量）に応じて知覚される奥行きｚ、換言すれば、３次元画像に対して垂直な方向に定義される、３次元画像上に存在する物体の立体的な位置ｚに基づいて、視認した画像を立体的な３次元画像として認識することとなる。
【０００６】
なお、３次元画像の視差量を調整する調整技術も存在する（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０８−３２１９９２号公報
【特許文献２】特開平１１−１６４３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した合成技術によれば、例えば、ユーザにより選択された３次元画像を合成する際、ユーザが指定した合成順序に従って、選択された３次元画像が合成される。
【０００９】
この場合、合成順序が、合成する３次元画像それぞれに存在する物体の立体的な位置ｚ（物体の前後関係）と一致しないときには、３次元画像の合成結果として、３次元画像上の物体の立体的な位置ｚと、合成順序とが一致しない不自然な（違和感のある）合成３次元画像が生成されてしまうことがあった。
【００１０】
具体的には、例えば、２枚の３次元画像が選択されて合成される場合、選択された２枚の３次元画像のうち、一方の３次元画像上に存在する第１の物体が、他方の３次元画像上に存在する第２の物体よりも近くに認識されるときには、鑑賞者により認識される、第１及び第２の物体の位置関係に一致するように、第１の物体を、第２の物体よりも手前に表示するように合成する必要がある。
【００１１】
ところが、ユーザにより指定された合成順序が、第２の物体を、第１の物体よりも手前に表示するように合成する合成順序である場合、鑑賞者により認識される、第１及び第２の物体の位置関係に反して、第２の物体を、第１の物体よりも手前に表示するように合成してしまい、非常に違和感のある合成３次元画像が生成されてしまっていた。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、合成する３次元画像上に存在する物体の立体的な位置と、合成順序とが一致する違和感のない合成３次元画像を生成できるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の画像合成装置は、複数の３次元画像のうち、２枚以上の３次元画像を選択する画像選択手段と、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を取得する順序取得手段と、前記合成順序に基づいて、選択された前記３次元画像の視差量を調整する視差量調整手段と、前記合成順序に従って、調整後の前記３次元画像を合成する画像合成手段とを含む画像合成装置である。
【００１４】
選択された前記３次元画像の元の視差量から、前記合成順序に対応する視差量に調整する際の進行状況を表すフェーダ情報を取得するフェーダ取得手段をさらに設けることができ、前記視差量調整手段では、前記フェーダ情報に基づいて、選択された前記３次元画像の視差量を調整し、前記画像合成手段では、前記フェーダ情報に基づき調整された前記３次元画像を合成するようにすることができる。
【００１５】
前記フェーダ情報に基づき調整された前記３次元画像それぞれの視差量を比較して得られる比較結果に基づいて、前記フェーダ情報に基づき調整された前記３次元画像上の全領域のうち、合成後の前記３次元画像として表示される領域を表す領域情報を生成する比較生成手段をさらに設けることができ、前記画像合成手段では、前記領域情報に基づいて、前記フェーダ情報に基づき調整された前記３次元画像を合成するようにすることができる。
【００１６】
前記順序取得手段では、ユーザにより前記合成順序を指定する指定操作が行われたことに対応して、前記ユーザの指定操作により指定された前記合成順序を取得するようにすることができる。
【００１７】
選択された前記３次元画像それぞれの視差量を計測する計測手段と、前記合成順序に基づいて、計測された前記視差量を、前記合成順序に対応する視差量に調整するための調整量を算出する調整量算出手段とをさらに設けることができ、前記視差量調整手段では、前記合成順序に基づき算出された前記調整量を用いて、前記視差量を調整するようにすることができる。
【００１８】
前記調整量を一時的に保持する調整量保持手段をさらに設けることができ、前記視差量調整手段では、前記ユーザの指定操作により指定された前記合成順序で合成を行なうことを指示する指示操作が行われたことに対応して、前記調整量保持手段に保持されている前記調整量を用いて前記視差量を調整し、前記画像合成手段では、前記ユーザの指定操作により指定された前記合成順序に従って、調整後の前記３次元画像を合成するようにすることができる。
【００１９】
前記視差量調整手段では、調整後の前記３次元画像の視差量が、予め決められた閾値未満となる場合のみ、選択された前記３次元画像の視差量についての調整を行なうようにすることができる。
【００２０】
ユーザの確認のために表示されるプレビュー用確認画像として、前記画像合成手段の合成により得られる合成３次元画像を出力して表示させる第１の出力手段と、前記合成３次元画像を、最終的な合成３次元画像として出力する第２の出力手段とをさらに設けるようにすることができる。
【００２１】
前記順序取得手段では、前記合成順序として、選択された前記３次元画像を合成した場合に手前側に表示される順序を取得するようにすることができる。
【００２２】
本発明の一側面の画像合成方法は、複数の３次元画像を合成する画像合成装置の画像合成方法であって、前記画像合成装置は、画像選択手段と、順序取得手段と、視差量調整手段と、画像合成手段とを含み、前記画像選択手段が、複数の３次元画像のうち、２枚以上の３次元画像を選択し、前記順序取得手段が、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を取得し、前記視差量調整手段が、前記合成順序に基づいて、選択された前記３次元画像の視差量を調整し、前記画像合成手段が、前記合成順序に従って、調整後の前記３次元画像を合成するステップを含む画像合成方法である。
【００２３】
本発明の一側面のプログラムは、コンピュータを、複数の３次元画像のうち、２枚以上の３次元画像を選択する画像選択手段と、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を取得する順序取得手段と、前記合成順序に基づいて、選択された前記３次元画像の視差量を調整する視差量調整手段と、前記合成順序に従って、調整後の前記３次元画像を合成する画像合成手段として機能させるためのプログラムである。
【００２４】
本発明によれば、複数の３次元画像のうち、２枚以上の３次元画像が選択され、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序が取得され、前記合成順序に基づいて、選択された前記３次元画像の視差量が調整され、前記合成順序に従って、調整後の前記３次元画像が合成される。
【発明の効果】
【００２５】
本発明によれば、合成する３次元画像上に存在する物体の立体的な位置と、合成順序とが一致する違和感のない合成３次元画像を生成することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】第１の実施の形態である画像合成装置の構成例を示すブロック図である。
【図２】第１の実施の形態である画像合成装置が行なう処理の概要を示す図である。
【図３】奥行きｚの平均値に基づいて、優先順序を決定する決定方法の一例を示す図である。
【図４】奥行きｚの中央値に基づいて、優先順序を決定する決定方法の一例を示す図である。
【図５】第１の実施の形態である画像合成装置の詳細な構成例を示すブロック図である。
【図６】左眼用スイッチャの構成例を示すブロック図である。
【図７】優先順序決定部の構成例を示すブロック図である。
【図８】優先順序決定処理を説明するためのフローチャートである。
【図９】画像合成処理装置の他の構成例を示すブロック図である。
【図１０】操作卓の一例を示す図である。
【図１１】操作卓に設けられたボタンの状態遷移の一例を示す状態遷移図である。
【図１２】第２の実施の形態である画像合成装置の構成例を示すブロック図である。
【図１３】第２の実施の形態である画像合成装置が行なう処理の概要を示す図である。
【図１４】第２の実施の形態である画像合成装置の詳細な構成例を示すブロック図である。
【図１５】調整部の構成例を示すブロック図である。
【図１６】第１の視差量調整処理を説明するためのフローチャートである。
【図１７】第２の視差量調整処理を説明するためのフローチャートである。
【図１８】第３の視差量調整処理を説明するためのフローチャートである。
【図１９】第３の実施の形態における処理の概要を示す第１の図である。
【図２０】第３の実施の形態における処理の概要を示す第２の図である。
【図２１】第３の実施の形態である画像合成装置の構成例を示すブロック図である。
【図２２】フェーダ調整部の構成例を示すブロック図である。
【図２３】左眼用スイッチャの構成例を示すブロック図である。
【図２４】奥行き比較部乃至合成処理部が行なう処理の一例を示す図である。
【図２５】フェーダ調整処理を説明するためのフローチャートである。
【図２６】左眼用スイッチャの画像合成部の他の構成例を示すブロック図である。
【図２７】４枚の３次元画像を合成する場合の一例を示す第１の図である。
【図２８】４枚の３次元画像を合成する場合の一例を示す第２の図である。
【図２９】フェーダ値に応じて、４枚の左眼用２次元画像を合成する場合の画像合成部が設けられた左眼用スイッチャの構成例を示す図である。
【図３０】調整部が設けられた左眼用スイッチャの構成例を示すブロック図である。
【図３１】プレビュー機能が設けられた左眼用スイッチャの構成例を示すブロック図である。
【図３２】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 第１の実施の形態（３次元画像の視差量に対応する優先順序で、３次元画像を合成 する場合の一例）
２． 第２の実施の形態（ユーザにより指定された優先順序で、その優先順序に対応する 視差量に調整された３次元画像を合成する場合の一例）
３． 第３の実施の形態（ユーザにより調整されたフェーダ値に応じて、３次元画像の視 差量を調整して合成する場合の一例）
４． 変形例
【００２８】
＜１．第１の実施の形態＞
[操作卓２１及び画像合成装置２２による構成]
図１は、第１の実施の形態である、操作卓２１からの操作信号に応じて３次元画像を合成する画像合成装置２２の構成例を示している。
【００２９】
この画像合成装置２２は、例えば、ケーブルにより操作卓２１と接続されている。
【００３０】
操作卓２１は、画像合成装置２２に供給される複数の３次元画像のうち、合成する３次元画像を選択するための選択ボタン等により構成されている。操作卓２１は、ユーザに操作されたことに対応して、ユーザの操作に対応する操作信号を生成し、画像合成装置２２に供給する。なお、操作卓２１の詳細については、図１０及び図１１を参照して後述する。
【００３１】
画像合成装置２２は、操作卓２１からの操作信号に応じた処理を行う。すなわち、例えば、画像合成装置２２は、操作卓２１からの操作信号に基づいて、供給される複数の３次元画像のうち、ユーザの選択操作により選択された３次元画像の合成を行う。そして、画像合成装置２２は、その合成により得られる合成後の３次元画像を出力する。
【００３２】
ここで、３次元画像とは、左眼用２次元画像、及び右眼用２次元画像により構成されており、左眼用２次元画像と右眼用２次元画像との間には、鑑賞者により視認される画像上の物体が立体的に見えるように視差が設けられている。
【００３３】
なお、３次元画像を鑑賞者に提示する場合には、例えば、左眼用２次元画像を鑑賞者の左眼のみで視認できるように提示し、右眼用２次元画像を鑑賞者の右眼のみで視認できるように提示するようにする。これにより、鑑賞者は、左眼用２次元画像と右眼用２次元画像に設けられた視差の量（視差量）に応じて知覚される奥行きｚ、換言すれば、３次元画像に対して垂直な方向に定義される、３次元画像上に存在する物体の立体的な位置ｚに基づいて、視認した画像を立体的な３次元画像として認識することとなる。
【００３４】
以下、説明を簡単にするために、ユーザが、操作卓２１を用いて、合成する３次元画像を２枚だけ選択するものとして説明するが、合成する３次元画像の枚数は２枚に限定されず、３枚以上の３次元画像を選択することができる。
【００３５】
[画像合成装置２２が行う処理の概要]
図２は、画像合成装置２２が行う処理の概要を示している。
【００３６】
図２A下側には、ユーザが選択した２枚の３次元画像のうちの一方の３次元画像４１が示されている。この３次元画像４１には、犬４１a及び木４１bが表示されている。
【００３７】
図２A上側において、横軸は、３次元画像４１上の横方向の位置を表しており、縦軸は、３次元画像４１における左眼用２次元画像と右眼用２次元画像との間に設けられた視差に応じた奥行きzを表している。このことは、図２B上側、及び図２C上側についても同様である。
【００３８】
図２A上側において、複数の座標６１aは、３次元画像４１上の犬４１aが存在する領域を構成する画素それぞれに対応した奥行きzを示す座標を表している。また、複数の座標６１bは、３次元画像４１上の木４１bが存在する領域を構成する画素それぞれに対応した奥行きzを示す座標を表している。
【００３９】
図２B下側には、ユーザが選択した２枚の３次元画像のうちの他方の３次元画像４２が示されている。この３次元画像４２には、自動車４２aが表示されている。
【００４０】
また、図２B上側において、複数の座標６２aは、３次元画像４２上の自動車４２aが存在する領域を構成する画素それぞれに対応した奥行きzを表す座標を表している。
【００４１】
図２C下側には、３次元画像４１及び４２を合成した場合に得られる合成後の３次元画像４３の一例が示されている。
【００４２】
図２C上側において、複数の座標６１b'は、木４１bを構成する領域のうち、自動車４２aと重畳（合成）される重畳部分を構成する画素それぞれに対応した奥行きｚを示す座標を表している。
【００４３】
また、図２C上側において、複数の座標６２a'は、自動車４２aを構成する領域のうち、木４１bと重畳される重畳部分を構成する画素それぞれに対応した奥行きｚを示す座標を表している。
【００４４】
画像合成装置２２は、ユーザにより選択された３次元画像４１及び４２に基づいて、３次元画像４１及び４２を合成した場合に、３次元画像４１上の犬４１a及び木４１bを構成する領域と、３次元画像４２上の自動車４２aを構成する領域とが重畳される重畳部分を検出する。
【００４５】
そして、画像合成装置２２は、３次元画像４１上の重畳部分を構成する画素それぞれに対応する奥行きｚ（図２C上側における複数の座標６１b'に対応）を算出する。
【００４６】
また、画像合成装置２２は、３次元画像４２上の重畳部分を構成する画素それぞれに対応する奥行きｚ（図２C上側における複数の座標６２a'に対応）を算出する。
【００４７】
さらに、画像合成装置２２は、３次元画像４１について算出した奥行きｚ、及び３次元画像４２について算出した奥行きｚについて、それぞれ、平均値を算出し、算出した平均値に基づいて、３次元画像４１及び４２を合成する際の優先順序を決定する。
【００４８】
そして、画像合成装置２２は、決定した優先順序で、３次元画像４１及び４２を合成して出力する。
【００４９】
ここで、優先順序とは、３次元画像上の物体（例えば、３次元画像４２上の自動車４２a）が、他の３次元画像上の物体（例えば、３次元画像４１上の犬４１a及び４１b）に優先して手前に重畳されるべき順序を表す。
【００５０】
なお、優先順序とは、３次元画像を合成する合成順序のことを意味するものであるが、第１乃至第３の実施の形態では、合成順序を優先順序として説明するものとする。
【００５１】
すなわち、第１乃至第３の実施の形態では、合成順序が、合成される３次元画像上の物体が優先して手前に重畳される順序を表すことに注目して、合成順序を優先順序として説明するようにしている。
【００５２】
次に、図３は、奥行きｚの平均値に基づいて、優先順序を決定する決定方法の一例を示している。
【００５３】
画像合成装置２２は、図３A上側に示されるように、３次元画像４１について算出した奥行きｚ（複数の座標６１b'それぞれに対応する奥行きｚ）の平均値ave1を算出する。また、画像合成装置２２は、図３B上側に示されるように、３次元画像４２について算出した奥行きｚ（複数の座標６２a'それぞれに対応する奥行きｚ）の平均値ave2を算出する。
【００５４】
そして、画像合成装置２２は、算出した平均値ave1と平均値ave2とを比較し、その比較結果に基づいて、優先順序を、奥行きｚの平均値が小さい順序に決定する。
【００５５】
いまの場合、３次元画像４２上の自動車４２aにおける奥行きｚの平均値ave2は、３次元画像４１上の木４１bにおける奥行きｚの平均値ave1よりも小さくなっている。このため、画像合成装置２２は、３次元画像４２上の自動車４２aが、３次元画像４１上の木４１bよりも手前側に表示されるように、３次元画像４２の優先順序を１番に、３次元画像４１の優先順序を２番に決定する。
【００５６】
なお、画像合成装置２２は、奥行きｚの平均値に基づいて、優先順序を決定するようにしたが、その他、例えば、ｚの中央値に基づいて優先順序を決定することができる。
【００５７】
[ｚの中央値に基づいて優先順序を決定する決定方法]
次に、図４は、奥行きｚの中央値に基づいて、優先順序を決定する決定方法の一例を示している。
【００５８】
画像合成装置２２は、図４A上側に示されるように、３次元画像４１について算出した奥行きｚ（複数の座標６１b'それぞれに対応する奥行きｚ）の中央値med1を算出する。また、画像合成装置２２は、図４B上側に示されるように、３次元画像４２について算出した奥行きｚ（複数の座標６２a'それぞれに対応する奥行きｚ）の中央値med2を算出する。
【００５９】
そして、画像合成装置２２は、算出した中央値med1と中央値med2とを比較し、その比較結果に基づいて、優先順序を、奥行きｚの中央値が小さい順序に決定する。
【００６０】
いまの場合、３次元画像４２上の自動車４２aにおける奥行きｚの中央値med2は、３次元画像４１上の木４１bにおける奥行きｚの中央値med1よりも小さくなっている。このため、画像合成装置２２は、３次元画像４２上の自動車４２aが、３次元画像４１上の木４１bよりも手前側に表示されるように、３次元画像４２の優先順序を１番に、３次元画像４１の優先順序を２番に決定する。
【００６１】
[画像合成装置２２の詳細]
次に、図５は、画像合成装置２２の構成例を示している。
【００６２】
この画像合成装置２２は、制御部８１、左眼用スイッチャ８２、SDI(serial digital interface)端子８３乃至８６、優先順序決定部８７、SDI端子８８乃至９１、及び右眼用スイッチャ９２により構成される。
【００６３】
なお、画像合成装置２２には、３次元画像として、３次元画像を構成する左眼用２次元画像及び右眼用２次元画像が供給される。すなわち、画像合成装置２２において、左眼用スイッチャ８２には、３次元画像に対応する左眼用２次元画像が、右眼用スイッチャ９２には、３次元画像に対応する右眼用２次元画像が、それぞれ供給される。
【００６４】
制御部８１には、操作卓２１からの操作信号が供給される。制御部８１は、操作卓２１からの操作信号に基づいて、左眼用スイッチャ８２、優先順序決定部８７、及び右眼用スイッチャ９２を制御する。
【００６５】
左眼用スイッチャ８２は、制御部８１からの制御にしたがって、供給される複数の左眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像４１及び４２（図２）に対応する左眼用２次元画像それぞれを選択する。
【００６６】
そして、左眼用スイッチャ８２は、３次元画像４１に対応する左眼用２次元画像を、SDI端子８３に供給し、３次元画像４２に対応する左眼用２次元画像を、SDI端子８４に供給する。
【００６７】
また、左眼用スイッチャ８２は、SDI端子８５から供給される優先順序で、SDI端子８５からの、３次元画像４１に対応する左眼用２次元画像と、SDI端子８６からの、３次元画像４２に対応する左眼用２次元画像とを合成し、合成後の左眼用２次元画像を出力する。なお、左眼用スイッチャ８２は、合成する画像として、SDI端子８５およびSDI端子８６からの画像を使用せず、外部から入力されている左眼用２次元画像をそのまま使用するようにすることも可能である。
【００６８】
SDI端子８３乃至８６は、それぞれ、左眼用スイッチャ８２と優先順序決定部８７とをケーブルにより接続するものである。すなわち、図５において、SDI端子８３乃至８６は、それぞれ、左眼用スイッチャ８２と優先順序決定部８７とをケーブルにより接続することを示す。
【００６９】
SDI端子８３及び８４は、それぞれ、左眼用スイッチャ８２からの左眼用２次元画像を、優先順序決定部８７に供給する。
【００７０】
SDI端子８５及び８６は、それぞれ、優先順序決定部８７からの左眼用２次元画像を、左眼用スイッチャ８２に供給する。また、SDI端子８５は、優先順序決定部８７から優先順序が供給された場合、その優先順序を左眼用スイッチャ８２に供給する。なお、優先順序決定部８７からSDI端子８６に優先順序が供給されるように構成した場合には、SDI端子８６が、優先順序決定部８７からの優先順序を左眼用スイッチャ８２に供給する。なお、SDI信号が画像以外の付加情報を伝送できることは既知の通りである。
【００７１】
優先順序決定部８７は、SDI端子８３からの、３次元画像４１に対応する左眼用２次元画像と、SDI端子８８からの、３次元画像４１に対応する右眼用２次元画像との組合せを、３次元画像４１として取得する。そして、優先順序決定部８７は、取得した３次元画像４１に基づいて、３次元画像４１の視差量（３次元画像４１において、左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に設けられた視差量）を計測する。
【００７２】
また、優先順序決定部８７は、SDI端子８４からの、３次元画像４２に対応する左眼用２次元画像と、SDI端子８９からの、３次元画像４２に対応する右眼用２次元画像との組合せを、３次元画像４２として取得する。そして、優先順序決定部８７は、取得した３次元画像４２に基づいて、３次元画像４２の視差量（３次元画像４２において、左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に設けられた視差量）を計測する。
【００７３】
さらに、優先順序決定部８７は、計測した３次元画像４１及び４２の視差量に基づいて優先順序を決定し、決定した優先順序をSDI端子８５及び９０に供給する。なお、優先順序決定部８７は、決定した優先順序を、左眼用スイッチャ８２及び右眼用スイッチャ９２に通知するために、SDI端子８５及び９０に供給するようにしたが、例えば、決定した優先順序を、SDI端子８６及び９１に供給するようにしてもよい。
【００７４】
また、優先順序決定部８７は、取得した３次元画像４１に対応する左眼用２次元画像を、SDI端子８５に供給し、同じく取得した３次元画像４１に対応する右眼用２次元画像を、SDI端子９０に供給する。
【００７５】
さらに、優先順序決定部８７は、取得した３次元画像４２に対応する左眼用２次元画像を、SDI端子８６に供給し、同じく取得した３次元画像４２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【００７６】
SDI端子８８乃至９１は、それぞれ、右眼用スイッチャ９２と優先順序決定部８７とをケーブルにより接続するものである。すなわち、図５において、SDI端子８８乃至９１は、それぞれ、右眼用スイッチャ９２と優先順序決定部８７とをケーブルにより接続することを示す。
【００７７】
SDI端子８８及び８９は、それぞれ、右眼用スイッチャ９２からの右眼用２次元画像を、優先順序決定部８７に供給する。
【００７８】
SDI端子９０及び９１は、それぞれ、優先順序決定部８７からの右眼用２次元画像を、右眼用スイッチャ９２に供給する。また、SDI端子９０は、優先順序決定部８７から優先順序が供給された場合、その優先順序を右眼用スイッチャ９２に供給する。なお、優先順序決定部８７からSDI端子９１に優先順序が供給されるように構成した場合には、SDI端子９１が、優先順序決定部８７からの優先順序を右眼用スイッチャ９２に供給する。
【００７９】
右眼用スイッチャ９２は、左眼用スイッチャ８２と同様の処理を行なう。すなわち、右眼用スイッチャ９２は、供給される複数の右眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像４１及び４２（図２）に対応する右眼用２次元画像それぞれを選択する。
【００８０】
そして、右眼用スイッチャ９２は、３次元画像４１に対応する右眼用２次元画像を、SDI端子８８に供給し、３次元画像４２に対応する右眼用２次元画像を、SDI端子８９に供給する。
【００８１】
また、右眼用スイッチャ９２は、SDI端子９０から供給される優先順序で、SDI端子９０からの、３次元画像４１に対応する右眼用２次元画像と、SDI端子９１からの、３次元画像４２に対応する右眼用２次元画像とを合成し、合成後の右眼用２次元画像を出力する。
【００８２】
[左眼用スイッチャ８２の構成例]
次に、図６は、左眼用スイッチャ８２の構成例を示している。
【００８３】
なお、右眼用スイッチャ９２は、左眼用スイッチャ８２と同様に構成されているため、左眼用スイッチャ８２の構成についてのみ説明し、右眼用スイッチャ９２についての説明は省略する。
【００８４】
左眼用スイッチャ８２は、画像選択部１１１及び画像合成部１１２により構成される。また、左眼用スイッチャ８２は、入力ラインL1乃至L9を有している。
【００８５】
入力ラインL1乃至L9のうち、入力ラインL1乃至L7には、画像合成装置２２に供給される複数の３次元画像（いまの場合７枚の３次元画像）に対応する左眼用２次元画像それぞれが入力（供給）される。
【００８６】
また、入力ラインL1乃至L9のうち、入力ラインL8には、SDI端子８５から、３次元画像４１に対応する左眼用２次元画像及び優先順序が、入力ラインL9には、SDI端子８６から、３次元画像４２に対応する左眼用２次元画像が、それぞれ入力される。
【００８７】
なお、左眼用スイッチャ８２は、９本の入力ラインL1乃至L9を有することとしたが、入力ラインの本数は９本に限定されず、いずれの本数により構成してもよい。
【００８８】
画像選択部１１１は、制御部８１からの制御にしたがって、入力ラインL1乃至L7から供給される７枚の左眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像４１及び４２それぞれに対応する左眼用２次元画像を選択し、一方をSDI端子８３に他方をSDI端子８４に供給する。
【００８９】
すなわち、例えば、画像選択部１１１は、クロスポイントスイッチ１３１a及び１３１b、バスライン１３２a及び１３２b、並びに信号処理部（Video Proc）１３３a及び１３３bにより構成される。
【００９０】
クロスポイントスイッチ１３１aは、制御部８１からの制御にしたがって、バスライン１３２aと入力ラインL1乃至L9とが交差する各点（バツ印で示す）の接続を制御する。クロスポイントスイッチ１３１aは、各点の接続を制御し、入力ラインL1乃至L7それぞれから供給される左眼用２次元画像のうち、例えば３次元画像４１に対応する左眼用２次元画像を、バスライン１３２aを介して、ビデオ信号処理部１３３aに供給する。
【００９１】
クロスポイントスイッチ１３１bは、制御部８１からの制御にしたがって、バスライン１３２bと入力ラインL1乃至L9とが交差する各点の接続を制御する。クロスポイントスイッチ１３１bは、各点の接続を制御し、入力ラインL1乃至L7それぞれから供給される左眼用２次元画像のうち、例えば３次元画像４２に対応する左眼用２次元画像を、バスライン１３２bを介して、ビデオ信号処理部１３３bに供給する。
【００９２】
ビデオ信号処理部１３３aは、バスライン１３２aから供給される、３次元画像４１に対応する左眼用２次元画像に対して、所定の処理を施してSDI端子８３に供給する。ビデオ信号処理部１３３bは、バスライン１３２bから供給される、３次元画像４２に対応する左眼用２次元画像に対して、所定の処理を施してSDI端子８４に供給する。
【００９３】
画像合成部１１２は、クロスポイントスイッチ１５１a乃至１５１k、バスライン１５２a乃至１５２k、キー信号処理部（Key Proc）１５３a乃至１５３d、ビデオ信号処理部(Video Proc)１５４a乃至１５４c、及び合成処理部１５５により構成される。
【００９４】
クロスポイントスイッチ１５１aは、制御部８１からの制御にしたがって、バスライン１５２aと入力ラインL1乃至L9とが交差する各点の接続を制御し、例えば入力ラインL8から供給される、３次元画像４１に対応する左眼用２次元画像及び優先順序を、バスライン１５２aを介して、キー信号処理部１５３aに供給する。
【００９５】
クロスポイントスイッチ１５１bは、制御部８１からの制御にしたがって、バスライン１５２bと入力ラインL1乃至L9とが交差する各点の接続を制御し、例えば入力ラインL8から供給される、３次元画像４１に対応する左眼用２次元画像を、バスライン１５２bを介して、キー信号処理部１５３aに供給する。
【００９６】
キー信号処理部１５３aは、バスライン１５２aからの左眼用２次元画像に基づいて、重畳用の加工を施した画像を生成し、合成処理部１５５に供給する。また、キー信号処理部１５３aは、バスライン１５２bからの左眼用２次元画像に基づいて、左眼用２次元画像のキー信号を生成し、合成処理部１５５に供給する。
【００９７】
なお、キー信号とは、画像上の全領域のうち、背景以外の物体が存在する領域を表す。第１の実施の形態において、このキー信号は、例えば、対応する左眼用２次元画像から生成するものとし、キー信号処理部１５３aは、左眼用２次元画像から、キー信号を抽出することにより、左眼用２次元画像のキー信号を生成するようにしているものとする。
【００９８】
さらに、キー信号処理部１５３aは、バスライン１５２aからの優先順序を、合成処理部１５５に供給する。
【００９９】
なお、クロスポイントスイッチ１５１c及び１５１d，１５１e及び１５１f，並びに、１５１g及び１５１hは、クロスポイントスイッチ１５１a及び１５１bと同様に構成されている。また、キー信号処理部１５３b乃至１５３dは、キー信号処理部１５３aと同様に構成されている。例えば、クロスポイントスイッチ１５１c及び１５１dは、入力ラインL9から供給される、３次元画像４２に対応する左眼用２次元画像を、バスライン１５２ｃ及び１５２ｄを介して、キー信号処理部１５３ｂに供給する。
【０１００】
ここで、第１の実施の形態では、２枚の３次元画像４１及び４２を合成する場合について説明しているため、例えば、クロスポイントスイッチ１５１a乃至１５１hのうちクロスポイントスイッチ１５１a乃至１５１dを、キー信号処理部１５３a乃至１５３dのうちキー信号処理部１５３a及び１５３bをそれぞれ用いることとしている。
【０１０１】
３枚以上の３次元画像（左眼用２次元画像）を合成する場合には、さらに、クロスポイントスイッチ１５１e乃至１５１hやキー信号処理部１５３c及び１５３dが用いられることとなる。なお、以降で説明する背景画像と、各キー信号処理部で扱う画像との関係も、既に示した例の３次元画像４１と４２との関係のように、ｚ方向に関する前後関係を考慮しても良い。例えば、キー信号処理部のうち１５３ａのみを使用する場合でも、背景となる画像との前後関係を考慮するようにしても良い。ここでは説明を簡単にするために、２つの３次元画像についての前後関係を考慮した合成に注目して説明している。
【０１０２】
クロスポイントスイッチ１５１i乃至１５１k、バスライン１５２i乃至１５２k、及びビデオ信号処理部１５４a乃至１５４cでは、例えば、３次元画像４１及び４２に対して合成する背景を表す背景用３次元画像を構成する左眼用２次元画像及び右眼用２次元画像のうち、左眼用２次元画像を、合成処理部１５５に供給する。
【０１０３】
この場合、例えば、入力ラインL1乃至L9のうち、入力ラインL1乃至L7からは、それぞれ、背景用３次元画像を構成する左眼用２次元画像及び右眼用２次元画像のうち、左眼用２次元画像としての背景画像が供給される。
【０１０４】
クロスポイントスイッチ１５１iは、制御部８１からの制御にしたがって、バスライン１５２iと入力ラインL1乃至L9とが交差する各点の接続を制御し、入力ラインL1乃至L7から供給される背景画像のうちのいずれかを選択し、バスライン１５１iを介して、ビデオ信号処理部１５４aに供給する。
【０１０５】
ビデオ信号処理部１５４aは、バスライン１５１iからの背景画像に対して、所定の処理を施して合成処理部１５５に供給する。
【０１０６】
なお、クロスポイントスイッチ１５１j及び１５１kは、クロスポイントスイッチ１５１iと同様に構成され、ビデオ信号処理部１５４b及び１５４cは、ビデオ信号処理部１５４aと同様に構成されている。
【０１０７】
クロスポイントスイッチ１５１j及び１５１k、並びにビデオ信号処理部１５４b及び１５４cは、例えば、３次元画像４１及び４２に合成する背景用３次元画像が複数枚である場合に用いられる。例えば、合成処理部１５５内部にワイプ波形生成器を設け、そこで生成されるワイプ波形により画面を区切り、画面上に複数の背景用３次元画像を配置することが可能である。
【０１０８】
合成処理部１５５は、例えば、キー信号処理部１５３a及び１５３bからのキー信号を用いて、キー信号処理部１５３aからの優先順序で、キー信号処理部１５３a及び１５３bから供給される２枚の左眼用２次元画像を合成する合成処理を行い、背景画像に対して合成して、その結果得られる合成後の左眼用２次元画像を、出力ラインから出力する。
【０１０９】
[優先順序決定部８７の詳細]
図７は、優先順序決定部８７の構成例を示している。
【０１１０】
この優先順序決定部８７は、視差量計測部１７１及び順序決定部１７２により構成される。
【０１１１】
視差量計測部１７１は、SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せを、３次元画像４１として取得する。
【０１１２】
また、視差量計測部１７１は、SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せを、３次元画像４２として取得する。
【０１１３】
そして、視差量計測部１７１は、取得した３次元画像４１及び４２に基づいて、３次元画像４１及び４２を合成した場合に、３次元画像４１上の犬４１a及び木４１bを構成する領域と、３次元画像４２上の自動車４２aを構成する領域とが重畳される重畳部分を検出する。
【０１１４】
すなわち、例えば、視差量計測部１７１は、SDI端子８３からの、３次元画像４１に対応する左眼用２次元画像、及びSDI端子８４からの、３次元画像４２に対応する左眼用２次元画像から算出により生成するキー信号に基づいて、左眼用２次元画像上の重畳部分を検出する。
【０１１５】
また、視差量計測部１７１は、SDI端子８８からの、３次元画像４１に対応する右眼用２次元画像、及びSDI端子８９からの、３次元画像４２に対応する右眼用２次元画像から算出により生成するキー信号に基づいて、右眼用２次元画像上の重畳部分を検出する。
【０１１６】
なお、キー信号の生成には、例えば明るさから生成するルミナンスキー手法などを用いる。
【０１１７】
視差量計測部１７１は、３次元画像４１に対応する左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に基づいて、３次元画像４１において、左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分の視差量（以下、３次元画像４１の視差量という）を計測する。そして、視差量計測部１７１は、計測した３次元画像４１の視差量を、３次元画像４１とともに、順序決定部１７２に供給する。
【０１１８】
また、視差量計測部１７１は、３次元画像４２に対応する左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に基づいて、３次元画像４２において、左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分の視差量（以下、３次元画像４２の視差量という）を計測する。そして、視差量計測部１７１は、計測した３次元画像４２の視差量を、３次元画像４２とともに、順序決定部１７２に供給する。
【０１１９】
順序決定部１７２は、視差量計測部１７１からの、３次元画像４１の視差量に基づいて、３次元画像４１における奥行きｚの平均値ave1を算出する。
【０１２０】
また、順序決定部１７２は、視差量計測部１７１からの、３次元画像４２の視差量に基づいて、３次元画像４２における奥行きｚの平均値ave2を算出する。
【０１２１】
そして、順序決定部１７２は、３次元画像４１及び４２それぞれにおける奥行きｚの平均値ave1及びave2どうしを比較し、その比較結果に基づいて、優先順序を決定して、SDI端子８５及び９０に供給する。
【０１２２】
順序決定部１７２は、視差量計測部１７１からの３次元画像４１に対応する左眼用２次元画像を、SDI端子８５に、視差量計測部１７１からの３次元画像４２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０１２３】
また、順序決定部１７２は、視差量計測部１７１からの３次元画像４１に対応する右眼用２次元画像を、SDI端子９０に、視差量計測部１７１からの３次元画像４２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０１２４】
[画像合成装置２２の動作説明]
次に、図８のフローチャートを参照して、画像合成装置２２が行う優先順序決定処理について説明する。
【０１２５】
この優先順序決定処理は、例えば、ユーザが操作卓２１を用いて、画像合成装置２２に供給される複数の３次元画像のうち、合成する３次元画像４１及び４２を選択する選択操作を行ったときに開始される。
【０１２６】
このとき、制御部８１には、ユーザの選択操作に応じた操作信号が、操作卓２１から供給される。そして、制御部８１は、操作卓２１からの操作信号に応じて、左眼用スイッチャ８２及び右眼用スイッチャ９２を制御する。
【０１２７】
すなわち、ステップＳ１において、左眼用スイッチャ８２の画像選択部１１１は、制御部８１からの制御にしたがって、入力ラインL1乃至L7から入力される７枚の左眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像４１及び４２それぞれに対応する左眼用２次元画像を取得する。
【０１２８】
そして、画像選択部１１１は、取得した左眼用２次元画像のうち、一方の左眼用２次元画像を、SDI端子８３に供給し、他方の左眼用２次元画像を、SDI端子８４に供給する。SDI端子８３及び８４は、それぞれ、画像選択部１１１からの左眼用２次元画像を、優先順序決定部８７に供給する。
【０１２９】
また、右眼用スイッチャ９２は、制御部８１からの制御にしたがって、左眼用スイッチャ８２の画像選択部１１１と同様にして、取得した右眼用２次元画像のうち、一方の右眼用２次元画像を、SDI端子８８に供給し、他方の右眼用２次元画像を、SDI端子８９に供給する。SDI端子８８及び８９は、それぞれ、右眼用スイッチャ９２からの右眼用２次元画像を、優先順序決定部８７に供給する。
【０１３０】
ステップＳ２において、優先順序決定部８７の視差量計測部１７１は、SDI端子８３からの、３次元画像４１に対応する左眼用２次元画像、及びSDI端子８４からの、３次元画像４２に対応する左眼用２次元画像それぞれに基づいて、左眼用２次元画像上の重畳部分を検出する。
【０１３１】
また、視差量計測部１７１は、SDI端子８８からの、３次元画像４１に対応する右眼用２次元画像、及びSDI端子８９からの、３次元画像４２に対応する右眼用２次元画像それぞれに基づいて、右眼用２次元画像上の重畳部分を検出する。
【０１３２】
視差量計測部１７１は、３次元画像４１（SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せ）に対応する左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に基づいて、３次元画像４１の視差量を計測し、３次元画像４１とともに、順序決定部１７２に供給する。
【０１３３】
また、視差量計測部１７１は、３次元画像４２（SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せ）に対応する左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に基づいて、３次元画像４２の視差量を計測し、３次元画像４２とともに、順序決定部１７２に供給する。
【０１３４】
ステップＳ３において、順序決定部１７２は、視差量計測部１７１からの、３次元画像４１の視差量に基づいて、３次元画像４１における奥行きｚの平均値ave1を算出する。また、順序決定部１７２は、視差量計測部１７１からの、３次元画像４２の視差量に基づいて、３次元画像４２における奥行きｚの平均値ave2を算出する。
【０１３５】
そして、順序決定部１７２は、３次元画像４１及び４２それぞれにおける奥行きｚの平均値ave1及びave2どうしを比較し、その比較結果に基づいて、優先順序を決定して、SDI端子８５及び９０に供給する。
【０１３６】
順序決定部１７２は、視差量計測部１７１からの３次元画像４１に対応する左眼用２次元画像を、SDI端子８５に、視差量計測部１７１からの３次元画像４２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０１３７】
また、順序決定部１７２は、視差量計測部１７１からの３次元画像４１に対応する右眼用２次元画像を、SDI端子９０に、視差量計測部１７１からの３次元画像４２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０１３８】
SDI端子８５は、順序決定部１７２からの左眼用２次元画像及び優先順序を、SDI端子８６は、順序決定部１７２からの左眼用２次元画像を、それぞれ左眼用スイッチャ８２に供給する。
【０１３９】
また、SDI端子９０は、順序決定部１７２からの右眼用２次元画像及び優先順序を、SDI端子９１は、順序決定部１７２からの右眼用２次元画像を、それぞれ右眼用スイッチャ９２に供給する。
【０１４０】
ステップＳ４において、左眼用スイッチャ８２の画像合成部１１２は、SDI端子８５から入力ラインL8を介して供給される左眼用２次元画像、及びSDI端子８６から入力ラインL9を介して供給される左眼用２次元画像を、SDI端子８５から入力ラインL8を介して供給される優先順序で合成し、その結果得られる合成後の左眼用２次元画像を出力ラインに出力する。
【０１４１】
また、右眼用スイッチャ９２は、左眼用スイッチャ８２と同様にして、SDI端子９０からの右眼用２次元画像、及びSDI端子９１からの右眼用２次元画像を、SDI端子９０からの優先順序で合成し、その結果得られる合成後の右眼用２次元画像を出力ラインに出力する。
【０１４２】
以上説明したように、優先順序決定処理によれば、例えば、画像合成装置２２が、ユーザの選択操作により選択された３次元画像４１及び４２それぞれの視差量に基づいて、３次元画像４１及び４２それぞれの視差量に対応した優先順序を決定し、決定した優先順序で、３次元画像４１及び４２を合成するようにしたので、合成する３次元画像４１及び４２それぞれの視差量との対応がとれていない優先順序で、３次元画像４１及び４２が合成される事態を防止することが可能となる。
【０１４３】
このため、優先順序決定処理では、３次元画像４１及び４２それぞれの視差量との対応がとれていない優先順序で合成された不自然な３次元画像が生成されることを防止できるので、鑑賞者において、視差量との対応がとれた違和感のない３次元画像を鑑賞することが可能となる。
【０１４４】
また、優先順序決定処理では、ユーザは、操作卓２１を用いて、合成する３次元画像４１及び４２を選択するだけで、３次元画像４１及び４２それぞれの視差量に対応した優先順序で、３次元画像４１及び４２が合成されることとなる。
【０１４５】
このため、例えば、視差量に対応した優先順序で合成できるように、ユーザが、操作卓２１を用いて、合成する順序、又は３次元画像の視差量を調整する必要がある場合と比較して、ユーザによる操作を少なくすることができ、操作卓２１を用いたユーザによる操作の煩わしさを低減することが可能となる。
【０１４６】
第１の実施の形態では、優先順序決定部８７が、３次元画像４１及び４２の視差量を計測し、その計測結果に基づいて、優先順序を決定するようにしたが、図９に示される画像合成装置２２のように、例えば、左眼用スイッチャ１８２に、優先順序決定部８７と同様の機能を有する優先順序決定部８７a乃至８７dを設けるように構成することができる。
【０１４７】
[画像合成装置２２の他の構成例]
次に、図９は、画像合成装置２２の他の構成例を示している。
【０１４８】
図９の画像合成装置２２は、制御部１８１、左眼用スイッチャ１８２、及び右眼用スイッチャ１８３により構成されている。
【０１４９】
制御部１８１は、操作卓２１からの操作信号に基づいて、左眼用スイッチャ１８２及び右眼用スイッチャ１８３を制御する。
【０１５０】
左眼用スイッチャ１８２は、優先順序決定部８７と同様に構成される優先順序決定部８７a乃至８７dが新たに設けられた画像合成部１１２により構成される。なお、優先順序決定部８７a乃至８７dは相互に制御用の通信路で接続され、また制御部１８１と制御用の通信路で接続されており、さらに右眼用スイッチャ１８３の同一要素とも制御用の通信路で接続されており、全体で連携して動作する。
【０１５１】
左眼用スイッチャ１８２には、複数の３次元画像それぞれに対応する左眼用２次元画像として、入力ラインL1乃至L9それぞれから左眼用２次元画像が供給される。
【０１５２】
なお、左眼用スイッチャ１８２の画像合成部１１２において、図６の画像合成部１１２と同様に構成されている部分については同一の番号を付しているため、それらの説明は適宜省略する。
【０１５３】
クロスポイントスイッチ１５１aは、入力ラインL1乃至L9それぞれから供給される左眼用２次元画像のうち、例えば、ユーザの選択操作により選択された３次元画像４１に対応する左眼用２次元画像を選択し、バスライン１５２aを介して、優先順序決定部８７aに供給する。
【０１５４】
また、クロスポイントスイッチ１５１cは、入力ラインL1乃至L9それぞれから供給される左眼用２次元画像のうち、例えば、ユーザの選択操作により選択された３次元画像４２に対応する左眼用２次元画像を選択し、バスライン１５２cを介して、優先順序決定部８７bに供給する。
【０１５５】
優先順序決定部８７aは、右眼用スイッチャ１８３中の同一部分と通信し連携処理して、バスライン１５２aからの、３次元画像４１に対応する左眼用２次元画像と、右眼用スイッチャ１８３から制御部１８１を介して供給される、３次元画像４１に対応する右眼用２次元画像との組合せを、３次元画像４１として処理に使用する。
【０１５６】
また、優先順序決定部８７bは、右眼用スイッチャ１８３中の同一部分と通信し連携処理して、バスライン１５２cからの、３次元画像４２に対応する左眼用２次元画像と、右眼用スイッチャ１８３から制御部１８１を介して供給される、３次元画像４２に対応する右眼用２次元画像との組合せを、３次元画像４２として処理に使用する。
【０１５７】
そして、優先順序決定部８７a及び８７bは、取得した３次元画像４１及び３次元画像４２に基づいて、優先順序決定部８７と同様にして、優先順序を決定する。優先順序決定部８７aは、決定した優先順序を、取得した３次元画像４１及び４２それぞれに対応する左眼用２次元画像とともに、キー信号処理部１５３a及び１５３bに供給する。
【０１５８】
これにより、上述のように、キー信号処理部１５３a，１５３b、及び合成処理部１５５において、３次元画像４１及び４２を合成する処理が行なわれ、左眼用スイッチャ１８２から、合成後の左眼用２次元画像が出力される。
【０１５９】
また、優先順序決定部８７a及び８７bは、決定した優先順序を、制御部１８１を介して右眼用スイッチャ１８３と共有する。
【０１６０】
なお、優先順序決定部８７c及び８７dは、優先順序決定部８７aと同様に構成されており、３枚以上の３次元画像を合成する場合に、例えば、優先順序決定部８７a乃至８７dそれぞれが、３枚以上の３次元画像の視差量を相互にやりとりすることで、優先順序を決定することとなる。
【０１６１】
右眼用スイッチャ１８３は、優先順序決定部８７aと、制御部１８１を介して共有する優先順序で、３次元画像４１及び４２それぞれに対応する右眼用２次元画像を合成し、合成後の右眼用２次元画像を出力する。
【０１６２】
図９の画像合成装置２２では、例えば図５の画像合成装置２２と比較して、SDI端子８３乃至SDI端子８６、優先順序決定部８７、及びSDI端子８８乃至SDI端子９１を省略することができる。
【０１６３】
また、第１の実施の形態では、ユーザが、合成する３次元画像４１及び４２を選択したことに対応して、画像合成装置２２が、合成する３次元画像４１及び４２の優先順序（合成の前後関係）を決定するようにしたが、運用中の状況に応じて、優先順序は、ユーザが、操作卓２１を用いて指定した優先順序を適用するように構成することができる。
【０１６４】
[操作卓２１の上面図]
次に、図１０は、ユーザが、優先順序を指定する場合に用いられる操作卓２１の一例を示している。
【０１６５】
操作卓２１は、「PRIOR SET」ボタン１９１、「KEY PRIOR」ボタン１９２、「BKGD」ボタン１９３、「KEY1」ボタン１９４、「KEY2」ボタン１９５、「KEY3」ボタン１９６、「KEY4」ボタン１９７、優先順序表示部１９８、及びフェーダ変更レバー１９９、その他、画像合成装置２２を制御するために操作される複数のボタンにより構成される。
【０１６６】
以下の説明では、ユーザが、優先順序を指定する際に操作される「PRIOR SET」ボタン１９１乃至「KEY4」ボタン１９７、及び優先順序表示部１９８についてのみ説明し、それ以外のボタンについての説明は省略する。
【０１６７】
なお、フェーダ変更レバー１９９は、後述する第３の実施の形態において、フェーダ値を変更する際に操作される。フェーダ変更レバー１９９及びフェーダ値については、第３の実施の形態において説明する。
【０１６８】
「PRIOR SET」ボタン１９１は、優先順序を指定する際に操作される。すなわち、例えば、「PRIOR SET」ボタン１９１が押下されている間、「KEY PRIOR」ボタン１９２乃至「KEY4」ボタン１９７は、優先順序を指定するためのボタンとして機能する。
【０１６９】
「KEY PRIOR」ボタン１９２は、操作卓２１が「KEY PRIOR」ボタン１９２を操作可能なモードに設定されている場合にオン状態又はオフ状態のいずれかの状態とされる。また、「KEY PRIOR」ボタン１９２は、オン状態である場合に点灯し、オフ状態である場合に消灯する。なお、「KEY PRIOR」ボタン１９２には、LED(light emitting diode)等が内蔵されており、オン又はオフ状態のいずれかの状態に応じて、点灯又は消灯する。
【０１７０】
また、例えば、「KEY PRIOR」ボタン１９２は、オン状態又はオフ状態のいずれかの状態に応じて、優先順序を設定する対象を指定する。
【０１７１】
すなわち、例えば、「KEY PRIOR」ボタン１９２がオフ状態とされて消灯しているときに、currentモードにおける優先順序を設定の対象として指定し、「KEY PRIOR」ボタン１９２がオン状態とされて点灯しているときに、nextモードにおける優先順序を設定の対象として指定する。
【０１７２】
なお、currentモードとは、現在、操作卓２１に設定されているモードを表し、nextモードとは、ユーザの遷移操作に応じて、currentモードから遷移されるモードを表す。画像合成装置２２は、操作卓２１に設定されているモードにおける優先順序で、３次元画像を合成する。
【０１７３】
「BKGD」ボタン１９３は、nextモードにおける優先順序が設定の対象とされている場合に、ユーザにより操作されることに対応して、nextモードにおける優先順序を、currentモードにおける優先順序と同一の優先順序に設定する。
【０１７４】
ユーザは、「KEY1」ボタン１９４乃至「KEY4」ボタン１９７を操作することにより、「KEY PRIOR」ボタン１９２に応じて、設定の対象と指定されたモードの優先順序を設定する。
【０１７５】
「KEY1」ボタン１９４乃至「KEY4」ボタン１９７には、それぞれ、合成する３次元画像が対応付けられている。「KEY1」ボタン１９４乃至「KEY4」ボタン１９７は、それぞれ、対応する３次元画像の優先順序を設定する場合に操作される。
【０１７６】
すなわち、例えば、「KEY1」ボタン１９４が押下された場合、「KEY1」ボタン１９４に対応する３次元画像の優先順序が１番となり、「KEY2」ボタン１９５乃至「KEY4」ボタン１９７それぞれに対応する３次元画像の優先順序は、「KEY1」ボタン１９４が押下される前の順序を保つように変更される。
【０１７７】
優先順序表示部１９８は、「KEY1」ボタン１９４の状態を表すKEY1表示領域１９８a、「KEY2」ボタン１９５の状態を表すKEY2表示領域１９８b、「KEY3」ボタン１９６の状態を表すKEY3表示領域１９８c、及び「KEY4」ボタン１９７の状態を表すKEY4表示領域１９８dにより構成される。
【０１７８】
KEY1表示領域１９８aは、「KEY1」ボタン１９４がオン又はオフのいずれかの状態であるかを表示するとともに、「KEY1」ボタン１９４に対応付けられている３次元画像の優先順序を表示する。また、KEY2表示領域１９８b乃至KEY4表示領域１９８dは、KEY1表示領域１９８aと同様に構成されているため、それらの説明は省略する。
【０１７９】
なお、「KEY PRIOR」ボタン１９２は、「PRIOR SET」ボタン１９１が押下されていない場合、currentモードにおける優先順序、又はnextモードにおける優先順序の一方を表示させるときに操作される。
【０１８０】
すなわち、例えば「KEY PRIOR」ボタン１９２がオフ状態とされて消灯している場合、優先順序表示部１９８のKEY1表示領域１９８a乃至１９８dそれぞれにおいて、currentモードにおける優先順序として、番号「１」，「２」，「３」，「４」のうち、対応する番号が点灯する。
【０１８１】
また、例えば、「KEY PRIOR」ボタン１９２がオン状態とされて点灯している場合、優先順序表示部１９８のKEY1表示領域１９８a乃至１９８dそれぞれにおいて、nextモードにおける優先順序が表示される。
【０１８２】
具体的には、例えば、優先順序表示部１９８のKEY1表示領域１９８a乃至１９８dそれぞれにおいて、currentモードにおける優先順序と、nextモードにおける優先順序とで同一の優先順序となる部分（番号「１」，「２」，「３」，「４」）については点灯表示され、異なる優先順序となる部分については点滅表示される。
【０１８３】
このように、ユーザは、操作卓２１を用いて、合成する３次元画像の優先順序を指定することができる。
【０１８４】
[操作卓２１による遷移例]
次に、図１１は、例えば、ユーザが、操作卓２１を用いて、合成する３次元画像の優先順序を指定する場合における「KEY1」ボタン１９４及び「KEY2」ボタン１９５の状態を示している。
【０１８５】
なお、図１１では、説明を簡単にするために、ユーザは、「KEY1」ボタン１９４乃至「KEY4」ボタン１９７のうち、「KEY1」ボタン１９４及び「KEY2」ボタン１９５のみをオン状態又はオフ状態とするように操作するものとする。
【０１８６】
そして、図１１では、「KEY1」ボタン１９４及び「KEY2」ボタン１９５それぞれの優先順序、つまり、「KEY1」ボタン１９４に対応する３次元画像、及び「KEY2」ボタン１９５に対応する３次元画像のうち、いずれの３次元画像を手前に表示させるようにして合成するかを変更するものとする。
【０１８７】
「KEY1」ボタン１９４及び「KEY2」ボタン１９５は、オン又はオフのいずれかの状態とされ、「KEY1」ボタン１９４及び「KEY2」ボタン１９５の状態に応じて、状態１乃至状態４のいずれかの状態とされる。
【０１８８】
これに対応して、制御部８１は、操作卓２１から供給される操作信号に基づいて、「KEY1」ボタン１９４及び「KEY2」ボタン１９５の状態に応じて、左眼用スイッチャ８２、優先順序決定部８７、及び右眼用スイッチャ９２を制御する。
【０１８９】
具体的には、例えば、「KEY1」ボタン１９４及び「KEY2」ボタン１９５がいずれもオン状態である場合、「KEY1」ボタン１９４に対応する３次元画像が手前に表示されるように、「KEY1」ボタン１９４及び「KEY2」ボタン１９５それぞれに対応する３次元画像どうしが合成される状態１とされる。
【０１９０】
状態１において、「KEY2」ボタン１９５に対応する３次元画像が手前に表示されるように、優先順序を変更するユーザ操作に対応する操作信号は無視（又は破棄）される。すなわち、制御部８１は、操作卓２１からの、優先順序を変更するユーザ操作に対応する操作信号を無視して、そのユーザ操作は行われなかったものとして取り扱う。
【０１９１】
また、状態１において、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外するために、「KEY1」ボタン１９４をオフ状態とするKEY1オフ操作が行われた場合、「KEY2」ボタン１９５に対応する３次元画像が手前に表示される状態２に遷移する。
【０１９２】
状態１から状態２に遷移する場合、制御部８１は、優先順序決定部８７の順序決定部１７２を制御し、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外した状態で、優先順序を決定させる。いまの場合、順序決定部１７２は、「KEY2」ボタン１９５に対応する３次元画像の優先順序を１番に決定するものとなる。そして、左眼用スイッチャ８２及び右眼用スイッチャ９２では、順序決定部１７２が決定した優先順序に従って、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外した状態で合成が行なわれる。
【０１９３】
なお、例えば、「KEY3」ボタン１９６、及び「KEY4」ボタン１９７がオン状態とされている場合には、順序決定部１７２は、制御部８１からの制御に従って、KEY1オフ操作が行われる前の優先順序を維持するように、「KEY3」ボタン１９６に対応する３次元画像の優先順序、及び「KEY4」ボタン１９７に対応する３次元画像の優先順序を、新たに決定することとなる。
【０１９４】
このことは、以下の説明において、「KEY1」ボタン１９４や「KEY2」ボタン１９５のオンオフに応じて、順序決定部１７２により、優先順序が新たに決定される場合についても同様である。
【０１９５】
状態２において、「KEY1」ボタン１９４に対応する３次元画像を新たに合成対象として追加するとともに、その優先順序を例えば１番とするために、「KEY1」ボタン１９４をオン状態とするKEY1オン操作が行われた場合、「KEY1」ボタン１９４に対応する３次元画像が手前に表示されても問題がない（視差量に応じた優先順序となる）ときには、KEY1オン操作に応じて、「KEY1」ボタン１９４をオン状態とし、状態２から状態１に遷移する。
【０１９６】
この場合、制御部８１は、優先順序決定部８７の順序決定部１７２を制御し、「KEY1」ボタン１９４に対応する３次元画像が新たに合成対象として追加された状態で、優先順序を決定させる。
【０１９７】
なお、状態２において、順序決定部１７２が決定した、「KEY1」ボタン１９４に対応する３次元画像の優先順序が、１番とならない場合、すなわち、「KEY1」ボタン１９４に対応する３次元画像が手前に表示されると問題がある（視差量に応じた優先順序にならない）ときには、KEY1オン操作は行われなかったものとして取り扱うようにし、状態１には遷移せず、状態２のままとされる。すなわち、制御部８１は、操作卓２１からのKEY1オン操作に対応する操作信号を無視して、KEY1オン操作に対応する制御を行わない。
【０１９８】
また、状態２において、優先順序を変更するための順序変更操作として、例えば、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外するために、「KEY2」ボタン１９５をオフ状態とするKEY2オフ操作が行われ、KEY1オン操作が行われた場合、KEY2オフ操作及びKEY1オン操作に応じて、「KEY2」ボタン１９５をオフ状態とし、「KEY1」ボタン１９４をオン状態として、「KEY1」ボタン１９４に対応する３次元画像が手前に表示される状態３に遷移する。
【０１９９】
状態２から状態３に遷移する場合、制御部８１は、順序決定部１７２を制御し、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外し、「KEY1」ボタン１９４に対応する３次元画像が新たに合成対象として追加された状態で、優先順序を決定させる。いまの場合、順序決定部１７２は、「KEY1」ボタン１９４に対応する３次元画像の優先順序を１番に決定するものとなる。そして、左眼用スイッチャ８２及び右眼用スイッチャ９２では、順序決定部１７２が決定した優先順序に従って、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外した状態で合成が行なわれる。
【０２００】
状態３において、順序変更操作として、例えば、KEY1オフ操作が行われ、「KEY2」ボタン１９５に対応する３次元画像を新たに合成対象に追加するとともに、その優先順序を例えば１番とするために、「KEY2」ボタン１９５をオン状態とするKEY2オン操作が行われた場合、KEY1オフ操作及びKEY2オン操作に応じて、「KEY1」ボタン１９４をオフ状態とし、「KEY2」ボタン１９４をオン状態として、状態２に遷移する。
【０２０１】
状態３から状態２に遷移する場合、制御部８１は、順序決定部１７２を制御し、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外し、「KEY2」ボタン１９５に対応する３次元画像が新たに合成対象として追加された状態で、優先順序を決定させる。いまの場合、順序決定部１７２は、「KEY2」ボタン１９５に対応する３次元画像の優先順序を１番に決定するものとなる。そして、左眼用スイッチャ８２及び右眼用スイッチャ９２では、順序決定部１７２が決定した優先順序に従って、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外した状態で合成が行なわれる。
【０２０２】
また、状態３において、KEY2オン操作が行われた場合、「KEY2」ボタン１９５に対応する３次元画像が手前に表示されても問題がない（視差量に応じた優先順序となる）ときには、KEY2オン操作に応じて、「KEY2」ボタン１９５をオン状態とし、「KEY2」ボタン１９５に対応する３次元画像が手前に表示されるように、「KEY1」ボタン１９４及び「KEY2」ボタン１９５それぞれに対応する３次元画像どうしが合成される状態４に遷移する。
【０２０３】
この場合、制御部８１は、順序決定部１７２を制御し、「KEY2」ボタン１９５に対応する３次元画像が新たに合成対象として追加された状態で、優先順序を決定させる。
【０２０４】
なお、状態３において、順序決定部１７２が決定した、「KEY2」ボタン１９５に対応する３次元画像の優先順序が、１番とならない場合、すなわち、「KEY2」ボタン１９５に対応する３次元画像が手前に表示されると問題がある（視差量に応じた優先順序にならない）ときには、KEY2オン操作は行われなかったものとして取り扱うようにし、状態４には遷移せずに、状態３のままとされる。すなわち、制御部８１は、操作卓２１からのKEY2オン操作に対応する操作信号を無視して、KEY2オン操作に対応する制御を行わない。
【０２０５】
状態４において、KEY2オフ操作が行われた場合、状態３に遷移する。状態４から状態３に遷移する場合、制御部８１は、順序決定部１７２を制御し、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外した状態で、優先順序を決定させる。いまの場合、順序決定部１７２は、「KEY1」ボタン１９４に対応する３次元画像の優先順序を１番に決定するものとなる。そして、左眼用スイッチャ８２及び右眼用スイッチャ９２では、順序決定部１７２が決定した優先順序に従って、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外した状態で合成が行なわれる。
【０２０６】
また、状態４において、「KEY1」ボタン１９４に対応する３次元画像が手前に表示されるように、優先順序を変更するユーザ操作に対応する操作信号は無視される。すなわち、制御部８１は、操作卓２１からの、優先順序を変更するユーザ操作に対応する操作信号を無視して、そのユーザ操作は行われなかったものとして取り扱う。
【０２０７】
第１の実施の形態では、図１１を参照して行なった説明において、優先順序を変更するユーザ操作が行われた場合、そのユーザ操作に対応する優先順序が、視差量に対応する優先順序とは異なるときには、ユーザの操作は行われなかったものとして取り扱うようにしたが、その際に、例えば、ユーザ操作に対応する優先順序が、視差量に対応する優先順序とは異なる旨の警告を表示したり、その旨の警告を示す警告音を出力するようにしてもよい。
【０２０８】
＜２．第２の実施の形態＞
次に、第２の実施の形態として、ユーザにより指定された優先順序に対応する視差量となるように、合成する３次元画像の視差量を調整し、調整後の３次元画像を合成する場合の画像合成装置２１１について説明する。
【０２０９】
[操作卓２１及び画像合成装置２１１による構成]
図１２は、第２の実施の形態である、操作卓２１からの操作信号に応じて３次元画像を合成する画像合成装置２１１の構成例を示している。
【０２１０】
なお、操作卓２１は、第１の実施の形態の操作卓２１と同様に構成されていることから、同一の番号を付しており、その説明は省略している。
【０２１１】
画像合成装置２１１は、操作卓２１からの操作信号に基づいて、供給される複数の３次元画像のうち、ユーザの選択操作により選択された３次元画像どうしを、ユーザにより指定された優先順序で合成する。
【０２１２】
次に、図１３は、画像合成装置２１１が行う処理の概要を示している。
【０２１３】
図１３A下側には、ユーザが選択した２枚の３次元画像のうちの一方の３次元画像２３１が示されている。この３次元画像２３１には、物体２３１aが表示されている。図１３A上側には、物体２３１aを上から見た様子が示されている。
【０２１４】
図１３B下側には、ユーザが選択した２枚の３次元画像のうちの他方の３次元画像２３２が示されている。この３次元画像２３２には、物体２３２aが表示されている。図１３B上側には、物体２３２aを上から見た様子が示されている。
【０２１５】
図１３C下側には、３次元画像２３１及び３次元画像２３２を合成した場合に得られる３次元画像２３３の一例が示されている。また、図１３C上側には、３次元画像２３３上の物体２３１a及び２３２aの奥行きｚが示されている。
【０２１６】
操作卓２１は、ユーザが、合成する３次元画像として、３次元画像２３１及び２３２を選択する選択操作を、操作卓２１を用いて行ったことに応じて、ユーザの選択操作に対応する操作信号を生成し、画像合成装置２１１に供給する。
【０２１７】
この場合、画像合成装置２１１は、操作卓２１からの操作信号に応じて、供給される複数の３次元画像のうち、ユーザの選択操作より選択された３次元画像２３１及び２３２を選択する。
【０２１８】
また、操作卓２１は、ユーザが、操作卓２１を用いて、優先順序を指定する指定操作を行ったことに応じて、ユーザの指定操作に対応する操作信号を生成し、画像合成装置２１１に供給する。
【０２１９】
画像合成装置２１１は、操作卓２１からの操作信号に応じて、ユーザにより指定された優先順序で、３次元画像２３１及び２３２を合成できるように、３次元画像２３１の視差量、及び３次元画像２３２の視差量を、ユーザにより指定された優先順序に対応する視差量に調整する。
【０２２０】
いまの場合、例えば、ユーザが、３次元画像２３１の優先順序を２番に、３次元画像２３２の優先順序を１番に指定した場合、画像合成装置２１１は、図１３C上側に示されるように、３次元画像２３２上の物体２３２aにおける奥行きｚが、３次元画像２３１上の物体２３１aにおける奥行きｚよりも小さくなるように、３次元画像２３１及び２３２それぞれの視差量を調整する。
【０２２１】
そして、画像合成装置２１１は、視差量が調整された３次元画像２３１及び２３２を、ユーザにより指定された優先順序で合成することにより、図１３C下側に示されるような３次元画像２３３を生成して出力する。
【０２２２】
[画像合成装置２１１の詳細]
次に、図１４は、画像合成装置２１１の構成例を示している。
【０２２３】
なお、この画像合成装置２１１は、第１の実施の形態における図５の画像合成装置２２と同様に構成される部分については同一の符号を付しているため、以下においてその説明は適宜省略する。
【０２２４】
すなわち、画像合成装置２１１は、制御部８１及び優先順序決定部８７に代えて、制御部２５１及び調整部２５２が設けられている他は、図５の画像合成装置２２と同様に構成されている。
【０２２５】
制御部２５１は、操作卓２１からの操作信号に基づいて、左眼用スイッチャ８２、調整部２５２、及び右眼用スイッチャ９２を制御する。
【０２２６】
また、制御部２５１は、操作卓２１からの操作信号に基づいて、ユーザが指定した優先順序を表す制御信号を、調整部２５２に供給する。
【０２２７】
調整部２５２は、SDI端子８３からの、３次元画像２３１に対応する左眼用２次元画像と、SDI端子８８からの、３次元画像２３１に対応する右眼用２次元画像との組合せを、３次元画像２３１として取得する。
【０２２８】
また、調整部２５２は、SDI端子８４からの、３次元画像２３２に対応する左眼用２次元画像と、SDI端子８９からの、３次元画像２３２に対応する右眼用２次元画像との組合せを、３次元画像２３２として取得する。
【０２２９】
そして、調整部２５２は、優先順序決定部８７と同様にして、取得した３次元画像２３１に基づいて、３次元画像２３１の視差量を計測するとともに、取得した３次元画像２３２に基づいて、３次元画像２３２の視差量を計測する。
【０２３０】
調整部２５２は、計測した３次元画像２３１及び２３２それぞれの視差量が、ユーザの指定操作により指定された優先順序に対応する視差量となるように、３次元画像２３１及び２３２それぞれの視差量を調整する。
【０２３１】
調整部２５２は、調整後の３次元画像２３１に対応する左眼用２次元画像、及びユーザの指定操作により指定された優先順序を、SDI端子８５に供給する。また、調整部２５２は、調整後の３次元画像２３２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０２３２】
さらに、調整部２５２は、調整後の３次元画像２３１に対応する右眼用２次元画像、及びユーザの指定操作により指定された優先順序を、SDI端子９０に供給する。また、調整部２５２は、調整後の３次元画像２３２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０２３３】
[調整部２５２の構成例]
次に、図１５は、調整部２５２の構成例を示している。
【０２３４】
この調整部２５２は、順序取得部２７１、視差量計測部２７２、調整量算出部２７３、及び視差量調整部２７４により構成される。
【０２３５】
順序取得部２７１には、制御部２５１からの制御信号として、ユーザの指定操作より指定された優先順序を表す制御信号が供給される。順序取得部２７１は、制御部２５１からの制御信号に基づいて、ユーザにより指定された優先順序を取得し、調整量算出部２７３及び視差量調整部２７４に供給する。
【０２３６】
視差量計測部２７２は、SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せを、３次元画像２３１として取得する。さらに、視差量計測部２７２は、SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せを、３次元画像２３２として取得する。
【０２３７】
そして、視差量計測部２７２は、視差量計測部１７１と同様にして、取得した３次元画像２３１及び２３２に基づいて、３次元画像２３１及び２３２それぞれの視差量を計測し、調整量算出部２７３に供給する。
【０２３８】
また、視差量計測部２７２は、取得した３次元画像２３１及び２３２を、視差量調整部２７４に供給する。
【０２３９】
調整量算出部２７３は、調整量計測部２７２からの、３次元画像２３１及び２３２それぞれの視差量に基づいて、その視差量に対応する優先順序を算出する。
【０２４０】
そして、調整量算出部２７３は、算出した、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致するか否かを判定する。
【０２４１】
調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致しないと判定した場合、３次元画像２３１及び２３２それぞれの視差量を、順序取得部２７１からの優先順序に対応する視差量に調整するための調整量を算出する。
【０２４２】
すなわち、例えば、調整量算出部２７３は、順序取得部２７１からの優先順序、並びに、視差量計測部２７２からの３次元画像２３１及び２３２それぞれの視差量に基づいて、３次元画像２３１及び２３２それぞれに対する調整量を算出する。そして、調整量算出部２７３は、算出した調整量を視差量調整部２７４に供給する。
【０２４３】
また、調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致すると判定した場合、その旨を視差量調整部２７４に通知する。
【０２４４】
視差量調整部２７４は、調整量算出部２７３から、調整量が供給された場合、供給された調整量に基づいて、視差量計測部２７２からの３次元画像２３１及び２３２の視差量を調整する。
【０２４５】
すなわち、例えば、視差量調整部２７４は、調整量算出部２７３からの、３次元画像２３１の調整量に基づいて、視差量計測部２７２からの３次元画像２３１の視差量を調整する。また、例えば、視差量調整部２７４は、調整量算出部２７３からの、３次元画像２３２の調整量に基づいて、視差量計測部２７２からの３次元画像２３２の視差量を調整する。
【０２４６】
視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、視差量を調整後の３次元画像２３２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０２４７】
また、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、視差量を調整後の３次元画像２３２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０２４８】
なお、視差量調整部２７４は、調整量算出部２７３から、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致する旨の通知が供給された場合、視差量計測部２７２からの３次元画像２３１及び２３２それぞれの視差量の調整を行なわずに、左眼用２次元画像を、SDI端子８５及び８６に供給するとともに、右眼用２次元画像を、SDI端子９０及び９１に供給する。また、視差量調整部２７４は、順序取得部２７１からの優先順序を、SDI端子８５及び９０に供給する。
【０２４９】
[画像合成装置２１１の動作説明]
次に、図１６のフローチャートを参照して、画像合成装置２１１が行う第１の視差量調整処理について説明する。
【０２５０】
この第１の視差量調整処理は、例えば、ユーザが、操作卓２１を用いて、画像合成装置２１１に供給される複数の３次元画像のうち、合成する３次元画像２３１及び２３２を選択する選択操作を行ったときに開始される。このことは、後述する第２及び第３の視差量調整処理についても同様である。
【０２５１】
このとき、制御部２５１には、ユーザの選択操作に対応する操作信号が、操作卓２１から供給される。そして、制御部２５１は、操作卓２１からの操作信号に応じて、左眼用スイッチャ８２及び右眼用スイッチャ９２を制御する。そして、ステップＳ３１において、図８のステップＳ１と同様の処理が行なわれる。
【０２５２】
また、ユーザが、操作卓２１を用いて、３次元画像２３１及び２３２それぞれの優先順序を指定する指定操作を行ったときに、操作卓２１は、ユーザの指定操作に対応する操作信号を生成し、制御部２５１に供給し、処理はステップＳ３２に進められる。
【０２５３】
ステップＳ３２において、制御部２５１は、操作卓２１からの操作信号に応じて、ユーザの指定操作により指定された優先順序を表す制御信号を、順序取得部２７１に供給する。
【０２５４】
順序取得部２７１は、制御部２５１からの制御信号に基づいて、ユーザにより指定された優先順序を取得し、調整量算出部２７３及び視差量調整部２７４に供給する。
【０２５５】
ステップＳ３３において、視差量計測部２７２は、SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せを、３次元画像２３１として取得する。また、視差量計測部２７２は、SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せを、３次元画像２３２として取得する。
【０２５６】
そして、視差量計測部２７２は、視差量計測部１７１と同様にして、取得した３次元画像２３１及び２３２に基づいて、３次元画像２３１及び２３２それぞれの視差量を計測し、調整量算出部２７３に供給する。
【０２５７】
また、視差量計測部２７２は、取得した３次元画像２３１及び２３２を、視差量調整部２７４に供給する。
【０２５８】
ステップＳ３４において、調整量算出部２７３は、視差量計測部２７２からの、３次元画像２３１及び２３２それぞれの視差量に基づいて、その視差量に対応する優先順序を算出する。
【０２５９】
すなわち、例えば、調整量算出部２７３は、３次元画像２３１の視差量に対応する奥行きｚの平均値と、３次元画像２３２の視差量に対応する奥行きｚの平均値とを比較し、奥行きｚの平均値が小さい順序を、視差量に対応する優先順序として算出する。なお、調整量算出部２７３は、奥行きｚの平均値ではなく、奥行きｚの中央値に基づいて、視差量に対応する優先順序を算出するようにしてもよい。
【０２６０】
ステップＳ３５において、調整量算出部２７３は、算出した、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致するか否かを判定し、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致しないと判定した場合、処理をステップＳ３６に進める。
【０２６１】
ステップＳ３６において、調整量算出部２７３は、視差量計測部２７２からの、３次元画像２３１及び２３２それぞれの視差量、並びに順序取得部２７１からの優先順序に基づいて、３次元画像２３１及び２３２それぞれに対する調整量を算出し、視差量調整部２７４に供給する。
【０２６２】
ステップＳ３７において、視差量調整部２７４は、調整量算出部２７３からの、３次元画像２３１の調整量に基づいて、視差量計測部２７２からの３次元画像２３１の視差量を調整する。また、視差量調整部２７４は、調整量算出部２７３からの、３次元画像２３２の調整量に基づいて、視差量計測部２７２からの３次元画像２３２の視差量を調整する。
【０２６３】
そして、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、視差量を調整後の３次元画像２３２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０２６４】
また、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、視差量を調整後の３次元画像２３２に対応する右眼用２次元画像を、SDI端子９１に供給して、処理をステップＳ３８に進める。
【０２６５】
なお、ステップＳ３５において、調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致すると判定した場合、その旨を視差量調整部２７４に通知する。
【０２６６】
視差量調整部２７４は、調整量算出部２７３から、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致する旨が通知されたことに対応して、視差量計測部２７２からの３次元画像２３１及び２３２において、左眼用２次元画像を、SDI端子８５及び８６に供給するとともに、右眼用２次元画像を、SDI端子９０及び９１に供給する。
【０２６７】
さらに、視差量調整部２７４は、順序取得部２７１からの優先順序を、SDI端子８５及び９０に供給して、処理をステップＳ３８に進める。
【０２６８】
ステップＳ３８では、SDI端子８５は、視差量調整部２７４からの左眼用２次元画像及び優先順序を、SDI端子８６は、視差量調整部２７４からの左眼用２次元画像を、それぞれ左眼用スイッチャ８２に供給する。
【０２６９】
SDI端子９０は、視差量調整部２７４からの右眼用２次元画像及び優先順序を、SDI端子９１は、視差量調整部２７４からの右眼用２次元画像を、それぞれ右眼用スイッチャ９２に供給する。
【０２７０】
そして、ステップＳ３８において、図８のステップＳ４と同様の処理が行なわれる。以上で第１の視差量調整処理は終了される。
【０２７１】
以上説明したように、第１の視差量調整処理によれば、画像合成装置２１１において、３次元画像２３１及び２３２それぞれの視差量が、ユーザの指定操作により指定された優先順序に対応する視差量とは異なる場合に、３次元画像２３１及び２３２それぞれの視差量を、ユーザの指定操作により指定された優先順序に対応する視差量となるように調整し、調整後の３次元画像２３１及び２３２を合成するようにした。
【０２７２】
このため、第１の視差量調整処理では、合成する３次元画像２３１及び２３２それぞれの視差量と対応がとれていない優先順序で、３次元画像２３１及び２３２が合成される事態を防止して、ユーザの所望する優先順序で、３次元画像２３１及び２３２を合成することが可能となる。
【０２７３】
次に、図１７のフローチャートを参照して、画像合成装置２１１が行う第２の視差量調整処理について説明する。
【０２７４】
ステップＳ５１乃至ステップＳ５４において、図１６のステップＳ３１乃至ステップＳ３４と同様の処理が行なわれる。
【０２７５】
ステップＳ５５において、調整量算出部２７３は、図１６のステップＳ３５の場合と同様にして、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致するか否かを判定する。そして、調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致しないと判定した場合、処理をステップＳ５６に進める。
【０２７６】
ステップＳ５６において、調整量算出部２７３は、図１６のステップＳ３６の場合と同様にして、調整量を算出し、算出した調整量を、視差量調整部２７４に供給する。視差量調整部２７４は、調整量算出部２７３からの調整量を、内蔵するメモリに供給して記憶させる。
【０２７７】
なお、画像合成装置２１１において、第２の視差量調整処理が行なわれる場合、視差量調整部２７４には、図示せぬメモリが内蔵されているものとする。
【０２７８】
ステップＳ５７において、視差量調整部２７４は、制御部２５１から、３次元画像２３１及び２３２の合成の開始を指示する合成指示信号を受信したか否かを判定し、合成指示信号を受信したと判定するまで、ステップＳ５７の処理を繰り返し行なう。
【０２７９】
なお、ユーザが、操作卓２１を用いて、３次元画像２３１及び２３２の合成の開始を指示する操作を行った場合、制御部２５１は、操作卓２１からの操作信号に対応して、合成指示信号を、視差量調整部２７４に供給する。
【０２８０】
ステップＳ５７において、視差量調整部２７４は、制御部２５１から、合成指示信号を受信したと判定した場合、処理をステップＳ５８に進める。
【０２８１】
ステップＳ５８において、視差量調整部２７４は、内蔵するメモリに記憶されている、３次元画像２３１の調整量に基づいて、視差量計測部２７２からの３次元画像２３１の視差量を調整する。また、視差量調整部２７４は、内蔵するメモリに記憶されている、３次元画像２３２の調整量に基づいて、視差量計測部２７２からの３次元画像２３２の視差量を調整する。なお、内蔵するメモリへの記憶を行わず、常に新しい視差量を受け取るように構成しても良い。
【０２８２】
そして、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、視差量を調整後の３次元画像２３２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０２８３】
また、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、視差量を調整後の３次元画像２３２に対応する右眼用２次元画像を、SDI端子９１に供給して、処理をステップＳ５９に進める。
【０２８４】
そして、ステップＳ５９では、図１６のステップＳ３８と同様の処理が行なわれる。
【０２８５】
なお、ステップＳ５５において、調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致すると判定した場合、その旨を視差量調整部２７４に通知し、処理をステップＳ６０に進める。
【０２８６】
ステップＳ６０において、視差量調整部２７４は、制御部２５１から、合成指示信号を受信したか否かを判定し、合成指示信号を受信したと判定するまで、ステップＳ６０の処理を繰り返し行なう。
【０２８７】
ステップＳ６０において、視差量調整部２７４は、制御部２５１から、合成指示信号を受信したと判定した場合、視差量計測部２７２からの３次元画像２３１及び２３２について、左眼用２次元画像をSDI端子８５及び８６に供給し、右眼用２次元画像をSDI端子９０及び９１に供給する。
【０２８８】
さらに、視差量調整部２７４は、順序取得部２７１からの優先順序を、SDI端子８５及び９０に供給して、処理をステップＳ５９に進め、図１６のステップＳ３８と同様の処理が行なわれる。以上で第２の視差量調整処理は終了される。
【０２８９】
以上説明したように、第２の視差量調整処理によれば、画像合成装置２１１において、ユーザが指示するタイミングで、３次元画像２３１及び２３２を合成するようにしたので、ユーザの所望するタイミングで、３次元画像２３１及び２３２を合成することが可能となる。また、合成を行わない時点では視差の調整を行わず、そのままの画像を提供し、合成時には合成に合わせた視差にして提供することができる。
【０２９０】
次に、図１８のフローチャートを参照して、画像合成装置２１１が行う第３の視差量調整処理について説明する。
【０２９１】
ステップＳ７１乃至ステップＳ７６において、図１７のステップＳ５１乃至図５６と同様の処理が行なわれる。また、ステップＳ７５において、処理がステップＳ８２に進められた場合、ステップＳ８２において、図１７のステップＳ６０と同様の処理が行なわれる。
【０２９２】
ステップＳ７７において、視差量調整部２７４は、調整量算出部２７３からの調整量（内蔵するメモリに記憶されている）に基づいて、その調整量により調整後の視差量（３次元画像２３１又は２３２の視差量の少なくとも一方）が、予め決められた上限値を超えるものとなるか否かを判定し、調整量により調整後の視差量が、上限値を超えるものにはならないと判定した場合、処理をステップＳ７８に進める。なお、内蔵するメモリへの記憶を行わず、常に新しい視差量を受け取るように構成しても良い。
【０２９３】
ステップＳ７８乃至ステップＳ８０において、図１７のステップＳ５７乃至ステップＳ５９と同様の処理が行なわれる。
【０２９４】
また、ステップＳ７７において、視差量調整部２７４は、調整量算出部２７３からの調整量により調整後の視差量が、上限値を超えるものとなると判定した場合、処理をステップＳ８１に進める。
【０２９５】
ステップＳ８１では、視差量調整部２７４は、ユーザの指定操作により指定された優先順序で合成することができない旨を表すエラーを、図示せぬモニタなどに出力させる。以上で、第３の視差量調整処理は終了される。
【０２９６】
以上説明したように、第３の視差量調整処理によれば、ステップＳ７７において、視差量調整部２７４により、調整量算出部２７３からの調整量に基づいて調整される視差量が、上限値を超えるものとなると判定された場合、処理をステップＳ８１に進め、ステップＳ８１において、視差量調整部２７４は、ユーザの指定操作により指定された優先順序で合成することができない旨を表すエラーを、図示せぬモニタなどに出力させるようにしたので、予め決定されている上限値を超えて、視差量が調整されることを防止できる。
【０２９７】
この場合、視差量を大きく調整し過ぎたことに対応して、合成後の３次元画像が、鑑賞者にとって見にくい画像となることを防止することが可能となる。
【０２９８】
第２の実施の形態では、３次元画像２３１及び２３２それぞれの視差量を、直接、ユーザの指定操作により指定された優先順序に対応する視差量に調整するようにしたが、例えば、操作卓２１のフェーダ変更レバー１９９が操作された操作量に対応して、視差量を、徐々に、優先順序に対応する視差量に調整するように構成することができる。
【０２９９】
次に、フェーダ変更レバー１９９に対する操作量に応じて、視差量を調整する第３の実施の形態について説明する。
【０３００】
＜３．第３の実施の形態＞
[第３の実施の形態における処理の概要]
図１９及び図２０は、第３の実施の形態における処理の概要を説明するための図である。
【０３０１】
図１９は、複数の３次元画像のうち、ユーザの選択操作により選択された３次元画像の一例を示している。
【０３０２】
図１９A下側には、ユーザが選択した２枚の３次元画像のうちの一方の３次元画像２９１が示されている。この３次元画像２９１には、物体２９１aが表示されている。図１３A上側には、物体２３１aを上から見た様子を示している。
【０３０３】
図１９B下側には、ユーザが選択した２枚の３次元画像のうちの他方の３次元画像２９２が示されている。この３次元画像２９２には、物体２９２aが表示されている。図１９B上側には、物体２９２aを上から見た様子を示している。
【０３０４】
ユーザは、操作卓２１のフェーダ変更レバー１９９を用いて、フェーダ値を変更することにより、物体２９１aの奥行きｚと、物体２９２aの奥行きｚとを調整することができる。
【０３０５】
ここで、フェーダ値とは、視差量の調整の進行状況（進行比率）を表す値であり、フェーダ値が０[%]である場合には、視差量の調整が全く行なわれていないことを表しており、フェーダ値が１００[%]である場合には、視差量が、優先順序に対応する視差量に完全に調整されたことを表している。
【０３０６】
図２０は、ユーザが、フェーダ値を変更することに応じて、物体２９１aと物体２９２aとの奥行きzが調整される様子の一例を示している。
【０３０７】
図２０A、図２０B、及び図２０Cには、それぞれ、フェーダ値が０[%]、５０[%]、及び１００[%]とされた場合に、３次元画像２９１及び２９２を合成して得られる３次元画像２９３が示されている。
【０３０８】
ユーザが、操作卓２１のフェーダ変更レバー１９９を操作して、フェーダ値を０[%]に設定した場合、物体２９１aの奥行きｚが物体２９２aの奥行きｚよりも大きいときには、図２０Aに示されるように、物体２９１aの奥行きｚと、物体２９２aの奥行きｚとは変更されず、物体２９２aが手前側に存在する３次元画像２９３が生成される。一方、物体２９１aの奥行きｚが物体２９２aの奥行きｚよりも大きくはないときには、視差を調整して、図２０Aに示すような奥行きｚの状態にする。
【０３０９】
また、ユーザが、操作卓２１のフェーダ変更レバー１９９を操作して、フェーダ値を５０[%]に設定した場合、図２０Bに示されるように、各視差を調整することにより、物体２９２aの一部分が、物体２９１aに隠れたような３次元画像２９３が生成される。
【０３１０】
さらに、ユーザが、操作卓２１のフェーダ変更レバー１９９を操作して、フェーダ値を１００[%]に設定した場合、図２０Cに示されるように、各視差を調整することにより、物体２９１aが手前側に存在する３次元画像２９３が生成される。
【０３１１】
[画像合成装置３０１の構成例]
図２１は、第３の実施の形態である画像合成装置３０１の構成例を示している。
【０３１２】
なお、この画像合成装置３０１は、第２の実施の形態における図１４の画像合成装置２１１と同様に構成される部分については同一の符号を付しているため、以下、それらの説明は適宜省略する。
【０３１３】
すなわち、画像合成装置３０１は、制御部２５１、調整部２５２、左眼用スイッチャ８２、及び右眼用スイッチャ９２それぞれに代えて、制御部３１１、フェーダ調整部３１２、左眼用スイッチャ３１３、及び右眼用スイッチャ３１４が設けられている他は、画像合成装置２１１と同様に構成されている。
【０３１４】
制御部３１１は、例えば、操作卓２１からの操作信号に基づいて、フェーダ調整部３１２、左眼用スイッチャ３１３、及び右眼用スイッチャ３１４を制御する。
【０３１５】
なお、ユーザが、操作卓２１のフェーダ変更レバー１９９を用いて、フェーダ値を変更するためのフェーダ値変更操作を行ったことに対応して、操作卓２１は、ユーザのフェーダ値変更操作に対応する操作信号を生成し、制御部３１１に供給する。
【０３１６】
この場合、制御部３１１は、操作卓２１からの操作信号に基づいて、ユーザのフェーダ値変更操作により変更されたフェーダ値を取得し、フェーダ調整部３１２に供給する。
【０３１７】
また、制御部３１１は、制御部２５１と同様にして、ユーザにより指定された優先順序を表す制御信号を、フェーダ調整部３１２に供給する。
【０３１８】
フェーダ調整部３１２は、SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せを、３次元画像２９１として取得する。また、フェーダ調整部３１２は、SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せを、３次元画像２９２として取得する。
【０３１９】
フェーダ調整部３１２は、制御部３１１からの制御信号に基づいて、優先順序を取得し、取得した優先順序と、制御部３１１からのフェーダ値に基づいて、取得した３次元画像２９１及び２９２それぞれの視差量を調整する。
【０３２０】
左眼用スイッチャ３１３は、制御部３１１からの制御にしたがって、供給される複数の左眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像２９１及び２９２（図１９）に対応する左眼用２次元画像それぞれを選択する。
【０３２１】
そして、左眼用スイッチャ３１３は、３次元画像２９１に対応する左眼用２次元画像を、SDI端子８３に供給し、３次元画像２９２に対応する左眼用２次元画像を、SDI端子８４に供給する。
【０３２２】
また、左眼用スイッチャ３１３は、SDI端子８５から供給される優先順序で、SDI端子８５からの左眼用２次元画像、及びSDI端子８６からの左眼用２次元画像を合成し、フェーダ値に対応して合成された左眼用２次元画像を出力する。
【０３２３】
右眼用スイッチャ３１４は、制御部３１１からの制御にしたがって、供給される複数の右眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像２９１及び２９２（図１９）に対応する右眼用２次元画像それぞれを選択する。
【０３２４】
そして、右眼用スイッチャ３１４は、３次元画像２９１に対応する右眼用２次元画像を、SDI端子８８に供給し、３次元画像２９２に対応する右眼用２次元画像を、SDI端子８９に供給する。
【０３２５】
また、右眼用スイッチャ３１４は、SDI端子９０から供給される優先順序で、SDI端子９０からの右眼用２次元画像、及びSDI端子９１からの右眼用２次元画像を合成し、フェーダ値に対応して合成された右眼用２次元画像を出力する。
【０３２６】
[フェーダ調整部３１２の詳細]
次に、図２２は、フェーダ調整部３１２の構成例を示している。
【０３２７】
なお、このフェーダ調整部３１２は、第２の実施の形態における図１５の調整部２５２と同様に構成される部分については同一の符号を付しているため、以下において、その説明は適宜省略する。
【０３２８】
すなわち、フェーダ調整部３１２は、視差量調整部２７４に代えて、視差量調整部３３１が設けられている他は、調整部２５２と同様に構成されている。
【０３２９】
視差量調整部３３１には、順序取得部２７１から優先順序が、視差量計測部２７２から３次元画像２９１及び２９２が、調整量算出部２７３から、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致する旨の通知、又は調整量のいずれか一方が供給される他、制御部３１１からフェーダ値が供給される。
【０３３０】
視差量調整部３３１は、調整量算出部２７３から、調整量が供給される場合、調整量算出部２７３からの調整量と、制御部３１１からのフェーダ値とに基づいて、視差量計測部２７２からの３次元画像２９１及び２９２それぞれの視差量を、フェーダ値に応じた視差量となるように調整する。
【０３３１】
そして、視差量調整部３３１は、調整後の３次元画像２９１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、調整後の３次元画像２９２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０３３２】
また、視差量調整部３３１は、調整後の３次元画像２９１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、調整後の３次元画像２９２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０３３３】
さらに、視差量調整部３３１は、調整後の３次元画像２９１及び２９２それぞれの視差量を、SDI端子８５及び９０に供給する。
【０３３４】
これにより、SDI端子８５は、視差量調整部３３１から供給される、調整後の３次元画像２９１及び２９２それぞれの視差量を、左眼用スイッチャ３１３に供給する。
【０３３５】
また、SDI端子９０は、視差量調整部３３１から供給される、調整後の３次元画像２９１及び２９２それぞれの視差量を、右眼用スイッチャ３１４に供給する。
【０３３６】
なお、視差量調整部３３１は、調整量算出部２７３から、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致する旨の通知が供給された場合、視差量調整部２７４と同様の処理を行なう。
【０３３７】
[左眼用スイッチャ３１３の構成例]
次に、図２３は、左眼用スイッチャ３１３の構成例を示している。
【０３３８】
なお、右眼用スイッチャ３１４は、左眼用スイッチャ３１３と同様に構成されているため、左眼用スイッチャ３１３の構成についてのみ説明し、右眼用スイッチャ３１４の構成についての説明は省略する。
【０３３９】
左眼用スイッチャ３１３は、図６の左眼用スイッチャ８２を構成する画像選択部１１１及び画像合成部１１２のうち、画像合成部１１２に代えて画像合成部３５１が設けられている他は、左眼用スイッチャ８２と同様に構成されている。
【０３４０】
なお、図２３では、図面が煩雑になるのを避けるために、左眼用スイッチャ８２の画像選択部１１１と同様に構成される機能ブロック、画像合成部３５１のうち、左眼用スイッチャ８２の画像合成部１１２と同様に構成される機能ブロックについては図示を省略している。
【０３４１】
すなわち、左眼用スイッチャ３１３における画像合成部３５１は、新たに奥行き比較部３７１及び乗算部３７２が設けられているとともに、合成処理部１５１に代えて合成処理部３７３が設けられている他は、左眼用スイッチャ８２の画像合成部１１２と同様に構成される。
【０３４２】
左眼用スイッチャ３１３には、SDI端子８５から、フェーダ値に応じて調整後の３次元画像２９１及び２９２それぞれの視差量が供給される。そして、SDI端子８５からの３次元画像２９１の視差量は、キー信号処理部１５３aを介して、奥行き比較部３７１に、SDI端子８５からの３次元画像２９２の視差量は、キー信号処理部１５３bを介して、奥行き比較部３７１に供給される。
【０３４３】
奥行き比較部３７１は、キー信号処理部１５３aからの、３次元画像２９１の視差量と、キー信号処理部１５３bからの、３次元画像２９２の視差量とに基づいて、３次元画像２９１上の物体２９１aの奥行きｚと、３次元画像２９２上の物体２９２aの奥行きｚとを比較する。なお、別の構成として、視差量を受け取らず、右眼用スイッチャの該当部分と連携して、ここで視差を算出するように構成しても良い。
【０３４４】
そして、奥行き比較部３７１は、その比較結果に基づいて、３次元画像２９２上の物体２９２aのうち、３次元画像２９１上の物体２９１aよりも手前に存在する部分（物体２９２aの奥行きｚが、物体２９１aの奥行きｚよりも小さくなる部分）に対応する領域を表すキー信号３９１を生成し、乗算部３７２に供給する。
【０３４５】
乗算部３７２には、奥行き比較部３７１からのキー信号３９１の他、キー信号処理部１５３bから、３次元画像２９２上の物体２９２aが存在する領域を表すキー信号３９２が供給される。
【０３４６】
乗算部３７２は、奥行き比較部３７１からのキー信号３９１と、キー信号処理部１５３bからのキー信号３９２とを乗算する。そして、乗算部３７２は、その乗算により得られる、３次元画像２９２上の物体２９２aのうち、３次元画像２９１上の物体２９１aよりも手前に存在する部分に対応する領域を表すキー信号３９３を、合成処理部３７３に供給する。
【０３４７】
合成処理部３７３には、乗算部３７２からのキー信号３９３が供給される他、キー信号処理部１５３aから、３次元画像２９１上の物体２９１aが存在する領域を表すキー信号３９４が供給される。また、合成処理部３７３には、キー信号処理部１５３aから、３次元画像２９１に対応する左眼用２次元画像、及び優先順序が、キー信号処理部１５３bから、３次元画像２９２に対応する左眼用２次元画像が、それぞれ供給される。
【０３４８】
合成処理部３７３は、キー信号処理部１５３aからの優先順序で、キー信号処理部１５３aからの左眼用２次元画像と、キー信号処理部１５３bからの左眼用２次元画像とを合成する。
【０３４９】
すなわち、例えば、３次元画像２９２の優先順序が１番で、３次元画像２９１の優先順序が２番である場合、合成処理部３７２は、３次元画像２９１に対応する左眼用２次元画像上の、キー信号処理部１５３aからのキー信号３９４が表す領域（物体２９１aが存在する領域）よりも、３次元画像２９２に対応する左眼用２次元画像上の、乗算部３７２からのキー信号３９３が表す領域（物体２９２aのうちの一部分が存在する領域）が手前になるように、３次元画像２９１及び２９２を合成する。
【０３５０】
なお、合成処理部３７３に、背景画像を表す背景画像信号が供給される場合、合成処理部３７３は、供給される背景画像信号に対応する背景画像を、背景として合成する。
【０３５１】
[奥行き比較部３７１乃至合成処理部３７３が行なう処理]
次に、図２４は、奥行き比較部３７１乃至合成処理部３７３が行なう処理を示している。
【０３５２】
奥行き比較部３７１は、図２４Aに示されるように、キー信号処理部１５３aからの、３次元画像２９１の視差量と、キー信号処理部１５３bからの、３次元画像２９２の視差量とに基づいて、３次元画像２９１上の物体２９１aと、３次元画像２９２上の物体２９２aとの奥行きｚを比較する。
【０３５３】
そして、奥行き比較部３７１は、その比較結果に基づいて、３次元画像２９２上の物体２９２aのうち、３次元画像２９１上の物体２９１aよりも手前側に存在する部分２９２a'を検出し、部分２９２a'が存在する領域を表すキー信号３９１を生成して、乗算部３７２に供給する。
【０３５４】
乗算部３７２は、キー信号処理部１５３bからのキー信号３９２と、奥行き比較部３７１からのキー信号３９１とを乗算し、その乗算により得られる、部分２９２a'が存在する領域を表すキー信号３９３を、合成処理部３７３に供給する。
【０３５５】
合成処理部３７３は、乗算部３７２からのキー信号３９３に基づいて、物体２９２aのうち、物体２９１aよりも手前に表示させる部分２９２a'を判断する。そして、合成処理部３７３は、物体２９２aのうち、検出した部分２９２a'が、物体２９１aの手前に表示されるように、キー信号処理部１５３aからの左眼用２次元画像、及びキー信号処理部１５３bからの左眼用２次元画像を合成する。
【０３５６】
これにより、図２４Bに示されるように、物体２９２aの一部分２９２a'と、物体２９１aの一部分２９１a'が表示された左眼用２次元画像２９３が生成されることとなる。
【０３５７】
そして、合成処理部３７３は、その合成により得られる、合成後の左眼用２次元画像を出力する。
【０３５８】
なお、合成処理部３７３は、乗算部３７２からのキー信号３９３を用いるようにしたが、乗算部３７２から出力されるキー信号３９３と、奥行き比較部３７１から出力されるキー信号３９１とは、キー信号の生成方法によっては同一のキー信号となるため、奥行き比較部３７１から出力されるキー信号３９１を、乗算部３７２からのキー信号３９３の代わりに用いるようにしてもよい。この場合、乗算部３７２を省略して、画像合成部３５１を構成することができる。
【０３５９】
[画像合成装置３０１の動作説明]
次に、図２５のフローチャートを参照して、画像合成装置３０１が行うフェーダ調整処理について説明する。
【０３６０】
このフェーダ調整処理は、例えば、ユーザが、操作卓２１を用いて、画像合成装置３０１に供給される複数の３次元画像のうち、合成する３次元画像２９１及び２９２を選択する選択操作を行ったときに開始される。
【０３６１】
このとき、制御部３１１には、ユーザの選択操作に応じた操作信号が、操作卓２１から供給される。そして、制御部３１１は、操作卓２１からの操作信号に応じて、左眼用スイッチャ３１３及び右眼用スイッチャ３１４を制御する。
【０３６２】
そして、ステップＳ１０１において、左眼用スイッチャ３１３は、制御部３１１からの制御にしたがって、左眼用スイッチャ８２と同様にして、ユーザの選択操作により選択された２枚の３次元画像２９１及び２９２それぞれに対応する左眼用２次元画像を取得する。
【０３６３】
左眼用スイッチャ３１３は、取得した左眼用２次元画像のうち、一方の左眼用２次元画像を、SDI端子８３に供給し、他方の左眼用２次元画像を、SDI端子８４に供給する。SDI端子８３及び８４は、それぞれ、左眼用スイッチャ３１３からの左眼用２次元画像を、フェーダ調整部３１２の視差量計測部２７２に供給する。
【０３６４】
また、右眼用スイッチャ３１４は、制御部３１１からの制御にしたがって、左眼用スイッチャ３１３と同様にして、取得した右眼用２次元画像のうち、一方の右眼用２次元画像を、SDI端子８８に供給し、他方の右眼用２次元画像を、SDI端子８９に供給する。SDI端子８８及び８９は、それぞれ、右眼用スイッチャ３１４からの右眼用２次元画像を、視差量計測部２７２に供給する。
【０３６５】
ステップＳ１０２乃至ステップＳ１０４において、図１６のステップＳ３２乃至ステップＳ３４と同様の処理が行なわれる。
【０３６６】
ステップＳ１０５において、調整量算出部２７３は、図１６のステップＳ３５の場合と同様にして、算出した、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致するか否かを判定し、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致しないと判定した場合、処理をステップＳ１０６に進める。
【０３６７】
ステップＳ１０６では、調整量算出部２７３は、図１６のステップＳ３６の場合と同様にして調整量を算出し、算出した調整量を、視差量調整部３３１に供給する。これに対応して、視差量調整部３３１は、調整量算出部２７３からの調整量を、図示せぬ内蔵のメモリに供給して記憶させる。
【０３６８】
ステップＳ１０７において、視差量調整部３３１は、制御部３１１からのフェーダ値が入力（供給）されたか否かを判定し、制御部３１１からフェーダ値が入力されたと判定するまで、ステップＳ１０７の処理を繰り返して行なう。
【０３６９】
ステップＳ１０７において、視差量調整部３３１は、制御部３１１からのフェーダ値が入力されたと判定した場合、処理をステップＳ１０８に進める。ステップＳ１０８において、視差量調整部３３１は、内蔵のメモリに記憶されている調整量と、制御部３１１からのフェーダ値に基づいて、視差量計測部２７２からの３次元画像２９１及び２９２それぞれの視差量を、制御部３１１からのフェーダ値に対応する視差量に調整する。なお、内蔵のメモリに記憶されている調整量を使用するのではなく、常に最新の調整量を算出してそれを使用する様な構成にしても良い。
【０３７０】
そして、視差量調整部３３１は、調整後の３次元画像２９１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、調整後の３次元画像２９２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０３７１】
また、視差量調整部３３１は、調整後の３次元画像２９１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、調整後の３次元画像２９２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０３７２】
さらに、視差量調整部３３１は、調整後の３次元画像２９１及び２９２それぞれの視差量を、SDI端子８５及び９０に供給する。
【０３７３】
ステップＳ１０９において、SDI端子８５は、視差量調整部３３１からの左眼用２次元画像及び優先順序を、SDI端子８６は、視差量調整部３３１からの左眼用２次元画像を、それぞれ左眼用スイッチャ３１３に供給する。
【０３７４】
また、SDI端子８５は、視差量調整部３３１から供給される、調整後の３次元画像２９１及び２９２それぞれの視差量を、左眼用スイッチャ３１３に供給する。
【０３７５】
SDI端子９０は、視差量調整部３３１からの右眼用２次元画像及び優先順序を、SDI端子９１は、視差量調整部３３１からの右眼用２次元画像を、それぞれ右眼用スイッチャ３１４に供給する。
【０３７６】
また、SDI端子９０は、視差量調整部３３１から供給される、調整後の３次元画像２９１及び２９２それぞれの視差量を、右眼用スイッチャ３１４に供給する。
【０３７７】
そして、ステップＳ１０９において、左眼用スイッチャ３１３は、SDI端子８５からの、調整後の３次元画像２９１及び２９２それぞれの視差量に基づいて生成したキー信号を用いて、SDI端子８５からの左眼用２次元画像、SDI端子８６からの左眼用２次元画像を、SDI端子８５からの優先順序で、フェーダ値に応じて合成し、その結果得られる合成後の左眼用２次元画像を出力ラインに出力する。
【０３７８】
また、右眼用スイッチャ３１４は、左眼用スイッチャ３１３と同様にして、SDI端子９０からの、調整後の３次元画像２９１及び２９２それぞれの視差量に基づいて生成したキー信号を用いて、SDI端子９０からの右眼用２次元画像、SDI端子９１からの右眼用２次元画像を、SDI端子９０からの優先順序で、フェーダ値に応じて合成し、その結果得られる合成後の右眼用２次元画像を出力ラインに出力する。
【０３７９】
ステップＳ１０９の処理の終了後、処理は、ステップＳ１０７に戻り、それ以降同様の処理が行なわれる。
【０３８０】
なお、ステップＳ１０７乃至ステップＳ１０９の処理が繰り返し行なわれる場合、このフェーダ調整処理は、例えば、ユーザが操作卓２１を用いて、フェーダ調整処理の終了を指示したときに終了される。
【０３８１】
また、ステップＳ１０５において、調整量算出部２７３は、算出した、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致すると判定した場合、その旨を、視差量調整部３３１に供給して、処理をステップＳ１１０に進める。
【０３８２】
ステップＳ１１０において、視差量調整部３３１は、図１６のステップＳ３５からステップＳ３８に進んだ場合と同様の処理を行い、処理は終了される。
【０３８３】
以上説明したように、フェーダ調整処理では、ユーザが行うフェーダ値変更操作により変更されるフェーダ値に応じて、３次元画像２９１及び２９２を合成するようにしたので、ユーザは、所望のフェーダ値に応じて、３次元画像２９１及び２９２を合成した３次元画像２９３を生成することが可能となる。
【０３８４】
＜４．変形例＞
[左眼用スイッチャ３１３の他の構成例]
次に、図２６は、左眼用スイッチャ３１３の画像合成部３５１の他の構成例を示している。
【０３８５】
なお、この画像合成部３５１は、図２３の画像合成部３５１と同様に構成される部分については同一の符号を付しているため、以下、それらの説明は適宜省略する。
【０３８６】
すなわち、図２６の画像合成部３５１は、奥行き比較部３７１及び合成処理部３７３に代えて、奥行き比較部４３１及び合成処理部４３３が設けられているとともに、新たに乗算部４３２が設けられている他は、図２３の画像合成部３５１と同様に構成されている。
【０３８７】
奥行き比較部４３１には、キー信号処理部１５３aから、３次元画像２９１の視差量が、キー信号処理部１５３bから、３次元画像２９２の視差量が供給される。
【０３８８】
奥行き比較部４３１は、キー信号処理部１５３aからの、３次元画像２９１の視差量と、キー信号処理部１５３bからの、３次元画像２９２の視差量とに基づいて、３次元画像２９１上の物体２９１aと、３次元画像２９２上の物体２９２aとの奥行きｚを比較する。
【０３８９】
そして、奥行き比較部４３１は、その比較結果に基づいて、３次元画像２９２上の物体２９２aのうち、３次元画像２９１上の物体２９１aよりも手前側に存在する部分２９２a'を検出し、部分２９２a'が存在する領域を表すキー信号３９１を生成して、乗算部３７２に供給する。
【０３９０】
また、奥行き比較部４３１は、その比較結果に基づいて、３次元画像２９１上の物体２９１aのうち、３次元画像２９２上の物体２９２aよりも手前側に存在する部分２９１a'を検出し、部分２９１a'が存在する領域を表すキー信号４４１を生成して、乗算部４３２に供給する。
【０３９１】
乗算部４３２には、奥行き比較部４３１からキー信号４４１の他、キー信号処理部１５３aからキー信号３９４が供給される。乗算部４４１は、奥行き比較部３７１からのキー信号４４１と、キー信号処理部１５３aからのキー信号３９４とを乗算し、その乗算により得られる、部分２９１a'が存在する領域を表すキー信号４４２を、合成処理部４３３に供給する。
【０３９２】
合成処理部４３３では、乗算部４４１からのキー信号４４２に基づいて、物体２９１aの一部分２９１a'を検出する。また、合成処理部４３３は、合成処理部３７３と同様にして、乗算部３７２からのキー信号３９３に基づいて、物体２９２aのうち、物体２９１aよりも手前に表示させる部分２９２a'を検出する。
【０３９３】
そして、合成処理部４３３は、物体２９１aのうち、検出した部分２９１a'が、物体２９２aの手前に表示されるとともに、物体２９２aのうち、検出した部分２９２a'が、物体２９１aの手前に表示されるように、キー信号処理部１５３aからの左眼用２次元画像、及びキー信号処理部１５３bからの左眼用２次元画像を合成する。
【０３９４】
なお、合成処理部４３３は、乗算部４３２からのキー信号４４２を用いるようにしたが、乗算部４３２から出力されるキー信号４４２と、奥行き比較部４３１から出力されるキー信号４４１とは、キー信号の生成方法によっては同一のキー信号となるため、奥行き比較部４３１から出力されるキー信号４４１を、乗算部４３２からのキー信号４４２の代わりに用いるようにしてもよい。この場合、乗算部４３２を省略して、画像合成部３５１を構成することができる。なお、乗算後の各キー信号を受け取る合成処理部４３３等では、各キー信号に基づいて画像への加工を行い、合成が見た目に美しく（Artifactを減らすように）処理されるように構成できる。
【０３９５】
第１乃至第３の実施の形態において、ユーザの選択操作により選択された２枚の３次元画像を合成することについて説明したが、合成する３次元画像の枚数は、２枚に限定されない。
【０３９６】
すなわち、例えば、図２７及び図２８に示されるように、合成する３次元画像の枚数を、４枚とすることができる。
【０３９７】
図２７は、複数の３次元画像のうち、ユーザの選択操作により選択される４枚の３次元画像の一例を示している。
【０３９８】
図２７A乃至図２７Dにおいて、図中下側には、ユーザの選択操作により選択された４枚の３次元画像４５１乃至４５４が示されている。
【０３９９】
なお、３次元画像４５１には、物体４５１aが表示されており、３次元画像４５２には、物体４５２aが表示されている。また、３次元画像４５３には、物体４５３a及び４５３bが表示されており、３次元画像４５４には、物体４５４a及び４５４bが表示されている。
【０４００】
また、図２７A上側には、物体４５１aを上から見た様子が示されており、図２７B上側には、物体４５２aを上から見た様子が示されている。さらに、図２７C上側には、物体４５３a及び４５３bを上から見た様子が示されており、図２７D上側には、物体４５４a及び４５４bを上から見た様子が示されている。
【０４０１】
図２８は、４枚の３次元画像４５１乃至４５４を合成して得られる３次元画像４５６の一例を示している。
【０４０２】
図２８上側には、合成により得られる３次元画像４５６上に表示される物体４５１a乃至４５４bの奥行きｚを示している。すなわち、上から見た様子が示されている。物体４５１a乃至４５４bにおいて、図中上側に存在する物体ほど、奥行きｚが大きなもの（遠くに見える）となっている。
【０４０３】
図２８下側には、３次元画像４５６が示されている。この３次元画像４５６には、物体４５１a乃至４５４bそれぞれにおいて、最も手前に表示される各部分４５１a'乃至４５４b'が表示される。
【０４０４】
第１乃至第３のいずれの形態においても、図２８に示されるように、３次元画像４５１乃至４５４を合成して得られる、合成後の３次元画像４５６を出力することが可能である。
【０４０５】
なお、第２及び第３の実施の形態において、３次元画像４５１乃至４５４の視差量が調整される場合には、図２８上側に示されるように、３次元画像４５１乃至４５４の視差量が調整されることにより、視差量それぞれに対応する奥行きｚの範囲R1乃至R4が変更される。
【０４０６】
すなわち、例えば、３次元画像４５１，４５２，４５３及び４５４の順序で、（奥から）優先順序が指定されている場合、優先順序の順に、奥行きｚが大きくなるように、範囲R1乃至R4が変更される。そして、変更後の範囲R1乃至R4は、さらに、予め決められている幅に拡大（又は縮小）されることとなる。
【０４０７】
すなわち、例えば、優先順序に対応する視差量となるように、３次元画像４５１乃至４５４の視差量が調整されたことにより、３次元画像４５１乃至４５４の視差量それぞれに対応する奥行きｚの範囲が、範囲R1乃至R4に変更された場合、変更後の範囲R1乃至R4を、予め決められた幅に拡大（又は縮小）する。
【０４０８】
変更後の範囲R1は、奥行きz11未満であって、奥行きz12以上の範囲である。また、変更後の範囲R2は、奥行きz21（=z12）未満であって、奥行きz22以上の範囲である。さらに、変更後の範囲R3は、奥行きz31(=z22)未満であって、奥行きz32以上の範囲である。また、変更後の範囲R4は、奥行きz41(z=32)未満であって、奥行きz42以上の範囲である。
【０４０９】
したがって、範囲R1の幅（大きさ）z1wは|z11-z12|となり、範囲R2の幅z2wは|z21-z22|となっている。また、範囲R3の幅z3wは|z31-z32|となり、範囲R4の幅z4wは|z41-z42|となっている。
【０４１０】
第２及び第３の実施の形態では、例えば、変更後の範囲R1乃至R4全体の範囲（幅|z11-z42|）を、奥行きzA未満であって奥行きzB以上の範囲（幅|zA-zB|）に拡大（又は縮小）する。
【０４１１】
すなわち、例えば、第２及び第３の実施の形態において、r=|zA-zB|/|z1w+z2w+z3w+z4w|を求め、拡大（又は縮小）前の範囲R1乃至R4の幅z1w乃至z4wにrを乗算する。これにより、拡大（又は縮小）後の範囲R1の幅z1v(=z1w×r)、拡大後の範囲R2の幅z2v(=z2w×r)、拡大後の範囲R3の幅z3v(=z3w×r)、及び拡大後の範囲R4の幅z1v(=z4w×r)が算出される。
【０４１２】
これにより、拡大後の範囲R1は、奥行きzB未満であって奥行き（zB+z1v）以上となり、拡大後の範囲R2は、奥行き(zB+z1v)未満であって奥行き（zB+z1v+z2v）以上となる。また、拡大後の範囲R3は、奥行き(zB+z1v+z2v)未満であって奥行き（zB+z1v+z2v+z3v）以上となり、拡大後の範囲R4は、奥行き(zB+z1v+z2v+z3v)未満であって奥行きzA以上となる。
【０４１３】
すなわち、例えば、拡大前の範囲R1(奥行きz11未満であって、奥行きz12以上の範囲)は、拡大後の範囲R1として、奥行きzB未満であって奥行き（zB+z1v）以上の範囲となるように写像される。このことは、範囲R2乃至R4についても同様である。なお、通常は画像の内容に対して、奥行きを縮小することは見る者に負担にならないが、拡大すると見る者の疲労などにつながる場合があり、一般には好ましくない。このため、縮小が必要になる場合のみ上記処理を施し、拡大が必要な場合（rが１よりも大きい場合）には、rを乗ずることは抑制させる方が好ましい結果になるので、rを乗ずるかどうかrの値で判断するように構成しても良い。
【０４１４】
また、図２６の画像合成部３５１では、２枚の３次元画像それぞれに対応する左眼用２次元画像を合成するために、２枚の左眼用２次元画像それぞれについての合成に用いるキー信号を出力する２個の乗算部３７２及び４３２を設けるようにしているが、例えば、４枚の３次元画像それぞれに対応する左眼用２次元画像を合成するように構成することができる。
【０４１５】
すなわち、例えば、図２９に示されるように、４枚の左眼用２次元画像それぞれについての合成に用いるキー信号を出力する４個の乗算部３７２，４３２，４７１、及び４７２を設けるようにすれば、４枚の左眼用画像を合成することができる。
【０４１６】
この場合、キー信号処理部１５３c及び乗算部４７１において、キー信号処理部１５３a及び乗算部４３２と同様の処理が行なわれる。このことは、キー信号処理部１５３d及び乗算部４７２についても同様である。
【０４１７】
なお、上述したように、第１の実施の形態では、図９に示されたように、左眼用スイッチャ１８２に、優先順序決定部８７と同様の機能を有する優先順序決定部８７a乃至８７dを設けるようにして、画像合成装置２２において、SDI端子８３乃至SDI端子８６、優先順序決定部８７、及びSDI端子８８乃至SDI端子９１を省略するようにした。
【０４１８】
同様にして、第２の実施の形態においても、図３０に示されるように、画像合成装置２１１の左眼用スイッチャ８２に、調整部２５２と同様の機能を有する調整部２５２a乃至２５２dを設けるように構成すれば、図１４の画像合成装置２１１に設けられている、SDI端子８３乃至SDI端子８６、調整部２５２、及びSDI端子８８乃至SDI端子９１を省略できるようになる。このことは、第３の実施の形態についても同様である。この場合、調整部２５２が、右眼用スイッチャの該当部分と通信して連携して動作することも同様である。なお、図３０のVideoProc１５４a乃至１５４cと合成処理部１５５との間に、調整部を更に設け、背景用の画像とキー画像として合成する画像との奥行きの関係も、上記と同様に処理するようにしても良い。通常、背景用の画像は最も奥に配置されるという概念であるので、それと一致するように調整されるようにするのが好ましい。
【０４１９】
また、第２の実施の形態では、図３０の画像合成装置２１１において、図３１に示されるように、画像合成部１１１に、新たに、キー信号処理部１５３a乃至１５３dと同様の機能を有するキー信号処理部１５３a'乃至１５３d'とともに、合成処理部１５５と同様の機能を有する合成処理部１５５'を設けるようにすることができる。
【０４２０】
そして、画像合成部１１１において、キー信号処理部１５３a'乃至１５３d'及び合成処理部１５５'により、合成された左眼用２次元画像を確認する際のプレビュー用の左眼用２次元画像を生成させるようにして、プレビュー用の左眼用２次元画像を出力するプレビュー出力ラインに出力させるように構成できる。
【０４２１】
この場合、プレビュー用に出力されて図示せぬ表示部に表示される合成後の左眼用２次元画像を、ユーザが適宜確認するようにして、ユーザが、プレビュー用に出力されて表示された合成後の左眼用２次元画像に満足した場合、キー信号処理部１５３a乃至１５３d及び合成処理部１５５により、最終的な合成後の左眼用２次元画像を生成させて、最終的な合成による合成結果として出力させるようにすることが可能となる。このことは、右眼用スイッチャ９２についても同様である。
【０４２２】
なお、第１及び第３の実施の形態においても同様に、プレビュー用のキー信号処理部１５３a'乃至１５３d'及び合成処理部１５５'を新たに設けることにより、プレビュー用の左眼用２次元画像を生成することができるようになる。
【０４２３】
また、第１の実施の形態において、図７の優先順序決定部８７は、視差量計測部１７１及び順序決定部１７２により構成するようにしたが、例えば、視差量計測部１７１を省略して順序決定部１７２のみにより構成することができる。
【０４２４】
すなわち、例えば、３次元画像４１（を構成する左眼用２次元画像又は右眼用２次元画像の少なくとも一方）に、３次元画像４１の視差量が含まれており、３次元画像４２に、３次元画像４２の視差量が含まれている場合には、順序決定部１７２は、視差量計測部１７１と同様にして、３次元画像４１及び４２を取得し、取得した３次元画像４１及び４２から、３次元画像４１及び４２それぞれの視差量を抽出することができる。
【０４２５】
そして、順序決定部１７２は、抽出した３次元画像４１及び４２それぞれの視差量に基づいて、優先順序を決定する等、図７の順序決定部１７２と同様の処理を行なうことができる。
【０４２６】
このことは、第２及び第３の実施の形態についても同様のことが言える。したがって、合成対象の３次元画像に、その３次元画像の視差量が含まれている場合には、視差量を計測することなく、３次元画像に含まれる視差量を抽出して取得できるようになるため、第２及び第３の実施の形態においても、視差量計測部２７２を省略することができる。又は、元々入力されるすべての３次元画像の視差の範囲は、準規格的に限定されているのが通常であるので、その全範囲を縮小して、合成するように構成しても良い。例えば、５つの画像を合成する場合、規格の視差の範囲を各画像で１／５に縮小して、それを合成すれば、合成された結果の３次元画像においても規格の視差の範囲に収まるようになる。
【０４２７】
また、第１乃至第３の実施の形態における画像合成装置としては、例えば、３次元画像どうしを合成したり、３次元画像に文字列等を合成（スーパーインポーズ）するコンピュータ等を採用することができる。その場合、文字列の画像は、コンピュータ・グラフィックス装置により生成された画像となり、その視差はあらかじめ指定したり、取得することが容易である。このため、第１乃至第３の実施の形態では入力された画像に対して視差を調整していたが、コンピュータ・グラフィックス装置に対してあらかじめ視差（z軸上の位置）を指定することで、同じ効果を得ることができる。
【０４２８】
次に、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０４２９】
[コンピュータの構成例]
図３２は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
【０４３０】
CPU（Central Processing Unit）５３１は、ROM（Read Only Memory）５３２、または記憶部５３８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）５３３には、CPU５３１が実行するプログラムやデータなどが適宜記憶される。これらのCPU５３１、ROM５３２、およびRAM５３３は、バス５３４により相互に接続されている。
【０４３１】
CPU５３１にはまた、バス５３４を介して入出力インタフェース５３５が接続されている。入出力インタフェース５３５には、キーボード、マウス、マイクロホンなどよりなる入力部５３６、ディスプレイ、スピーカなどよりなる出力部５３７が接続されている。CPU５３１は、入力部５３６から入力される指令に対応して各種の処理を実行する。そして、CPU５３１は、処理の結果を出力部５３７に出力する。
【０４３２】
入出力インタフェース５３５に接続されている記憶部５３８は、例えばハードディスクからなり、CPU５３１が実行するプログラムや各種のデータを記憶する。通信部５３９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０４３３】
また、通信部５３９を介してプログラムを取得し、記憶部５３８に記憶してもよい。
【０４３４】
入出力インタフェース５３５に接続されているドライブ５４０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５４１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部５３８に転送され、記憶される。
【０４３５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図３２に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(compact disc-read only memory),DVD(digital versatile disc)を含む）、光磁気ディスク（ＭＤ（mini-disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５４１、または、プログラムが一時的もしくは永続的に記録されるROM５３２や、記憶部５３８を構成するハードディスクなどにより構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデムなどのインタフェースである通信部５３９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０４３６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４３７】
また、本実施の形態は、上述した第１乃至第３の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０４３８】
２１ 操作卓， ２２ 画像合成装置， ８１ 制御部， ８２ 左眼用スイッチャ， ８３乃至８６ SDI端子， ８７，８７a乃至８７d 優先順序決定部， ８８乃至９１ SDI端子， ９２ 右眼用スイッチャ， １１１ 画像選択部， １１２ 画像合成部， １３１a及び１３１b クロスポイントスイッチ， １３２a及び１３２b バスライン， １３３a及び１３３b ビデオ信号処理部， １５１a乃至１５１k クロスポイントスイッチ， １５２a乃至１５２k バスライン， １５３a乃至１５３d キー信号処理部， １５４a乃至１５４c ビデオ信号処理部， １５５ 合成処理部， １７１ 視差量計測部， １７２ 順序決定部， １８１ 制御部， １８２ 左眼用スイッチャ， １８３ 右眼用スイッチャ， ２１１ 画像合成装置， ２５１ 制御部， ２５２，２５２a乃至２５２d 調整部， ２７１ 順序取得部， ２７２ 視差量計測部， ２７３ 調整量算出部， ２７４ 視差量調整部， ３０１ 画像合成装置， ３１１ 制御部， ３１２ フェーダ調整部， ３１３ 左眼用スイッチャ， ３１４ 右眼用スイッチャ， ３３１ 視差量調整部， ３５１ 画像合成部， ３７１ 奥行き比較部， ３７２ 乗算部， ３７３ 合成処理部， ４３１ 奥行き比較部， ４３２ 乗算部， ４３３ 合成処理部， ４７１及び４７２ 乗算部
【特許請求の範囲】
【請求項１】
複数の３次元画像のうち、２枚以上の３次元画像を選択する画像選択手段と、
選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を取得する順序取得手段と、
前記合成順序に基づいて、選択された前記３次元画像の視差量を調整する視差量調整手段と、
前記合成順序に従って、調整後の前記３次元画像を合成する画像合成手段と
を含む画像合成装置。
【請求項２】
選択された前記３次元画像の元の視差量から、前記合成順序に対応する視差量に調整する際の進行状況を表すフェーダ情報を取得するフェーダ取得手段をさらに含み、
前記視差量調整手段は、前記フェーダ情報に基づいて、選択された前記３次元画像の視差量を調整し、
前記画像合成手段は、前記フェーダ情報に基づき調整された前記３次元画像を合成する
請求項１に記載の画像合成装置。
【請求項３】
前記フェーダ情報に基づき調整された前記３次元画像それぞれの視差量を比較して得られる比較結果に基づいて、前記フェーダ情報に基づき調整された前記３次元画像上の全領域のうち、合成後の前記３次元画像として表示される領域を表す領域情報を生成する比較生成手段をさらに含み、
前記画像合成手段は、前記領域情報に基づいて、前記フェーダ情報に基づき調整された前記３次元画像を合成する
請求項２に記載の画像合成装置。
【請求項４】
前記順序取得手段は、ユーザにより前記合成順序を指定する指定操作が行われたことに対応して、前記ユーザの指定操作により指定された前記合成順序を取得する
請求項１に記載の画像合成装置。
【請求項５】
選択された前記３次元画像それぞれの視差量を計測する計測手段と、
前記合成順序に基づいて、計測された前記視差量を、前記合成順序に対応する視差量に調整するための調整量を算出する調整量算出手段と
をさらに含み、
前記視差量調整手段は、前記合成順序に基づき算出された前記調整量を用いて、前記視差量を調整する
請求項４に記載の画像合成装置。
【請求項６】
前記調整量を一時的に保持する調整量保持手段をさらに含み、
前記視差量調整手段は、前記ユーザの指定操作により指定された前記合成順序で合成を行なうことを指示する指示操作が行われたことに対応して、前記調整量保持手段に保持されている前記調整量を用いて前記視差量を調整し、
前記画像合成手段は、前記ユーザの指定操作により指定された前記合成順序に従って、調整後の前記３次元画像を合成する
請求項５に記載の画像合成装置。
【請求項７】
前記視差量調整手段は、調整後の前記３次元画像の視差量が、予め決められた閾値未満となる場合のみ、選択された前記３次元画像の視差量についての調整を行なう
請求項１に記載の画像合成装置。
【請求項８】
ユーザの確認のために表示されるプレビュー用確認画像として、前記画像合成手段の合成により得られる合成３次元画像を出力して表示させる第１の出力手段と、
前記合成３次元画像を、最終的な合成３次元画像として出力する第２の出力手段と
をさらに含む請求項１に記載の画像合成装置。
【請求項９】
前記順序取得手段は、前記合成順序として、選択された前記３次元画像を合成した場合に手前側に表示される順序を取得する
請求項１に記載の画像合成装置。
【請求項１０】
複数の３次元画像を合成する画像合成装置の画像合成方法において、
前記画像合成装置は、
画像選択手段と、
順序取得手段と、
視差量調整手段と、
画像合成手段と
を含み、
前記画像選択手段が、複数の３次元画像のうち、２枚以上の３次元画像を選択し、
前記順序取得手段が、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を取得し、
前記視差量調整手段が、前記合成順序に基づいて、選択された前記３次元画像の視差量を調整し、
前記画像合成手段が、前記合成順序に従って、調整後の前記３次元画像を合成する
ステップを含む画像合成方法。
【請求項１１】
コンピュータを、
複数の３次元画像のうち、２枚以上の３次元画像を選択する画像選択手段と、
選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を取得する順序取得手段と、
前記合成順序に基づいて、選択された前記３次元画像の視差量を調整する視差量調整手段と、
前記合成順序に従って、調整後の前記３次元画像を合成する画像合成手段と
して機能させるためのプログラム。
【請求項１】
複数の３次元画像のうち、２枚以上の３次元画像を選択する画像選択手段と、
選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を取得する順序取得手段と、
前記合成順序に基づいて、選択された前記３次元画像の視差量を調整する視差量調整手段と、
前記合成順序に従って、調整後の前記３次元画像を合成する画像合成手段と
を含む画像合成装置。
【請求項２】
選択された前記３次元画像の元の視差量から、前記合成順序に対応する視差量に調整する際の進行状況を表すフェーダ情報を取得するフェーダ取得手段をさらに含み、
前記視差量調整手段は、前記フェーダ情報に基づいて、選択された前記３次元画像の視差量を調整し、
前記画像合成手段は、前記フェーダ情報に基づき調整された前記３次元画像を合成する
請求項１に記載の画像合成装置。
【請求項３】
前記フェーダ情報に基づき調整された前記３次元画像それぞれの視差量を比較して得られる比較結果に基づいて、前記フェーダ情報に基づき調整された前記３次元画像上の全領域のうち、合成後の前記３次元画像として表示される領域を表す領域情報を生成する比較生成手段をさらに含み、
前記画像合成手段は、前記領域情報に基づいて、前記フェーダ情報に基づき調整された前記３次元画像を合成する
請求項２に記載の画像合成装置。
【請求項４】
前記順序取得手段は、ユーザにより前記合成順序を指定する指定操作が行われたことに対応して、前記ユーザの指定操作により指定された前記合成順序を取得する
請求項１に記載の画像合成装置。
【請求項５】
選択された前記３次元画像それぞれの視差量を計測する計測手段と、
前記合成順序に基づいて、計測された前記視差量を、前記合成順序に対応する視差量に調整するための調整量を算出する調整量算出手段と
をさらに含み、
前記視差量調整手段は、前記合成順序に基づき算出された前記調整量を用いて、前記視差量を調整する
請求項４に記載の画像合成装置。
【請求項６】
前記調整量を一時的に保持する調整量保持手段をさらに含み、
前記視差量調整手段は、前記ユーザの指定操作により指定された前記合成順序で合成を行なうことを指示する指示操作が行われたことに対応して、前記調整量保持手段に保持されている前記調整量を用いて前記視差量を調整し、
前記画像合成手段は、前記ユーザの指定操作により指定された前記合成順序に従って、調整後の前記３次元画像を合成する
請求項５に記載の画像合成装置。
【請求項７】
前記視差量調整手段は、調整後の前記３次元画像の視差量が、予め決められた閾値未満となる場合のみ、選択された前記３次元画像の視差量についての調整を行なう
請求項１に記載の画像合成装置。
【請求項８】
ユーザの確認のために表示されるプレビュー用確認画像として、前記画像合成手段の合成により得られる合成３次元画像を出力して表示させる第１の出力手段と、
前記合成３次元画像を、最終的な合成３次元画像として出力する第２の出力手段と
をさらに含む請求項１に記載の画像合成装置。
【請求項９】
前記順序取得手段は、前記合成順序として、選択された前記３次元画像を合成した場合に手前側に表示される順序を取得する
請求項１に記載の画像合成装置。
【請求項１０】
複数の３次元画像を合成する画像合成装置の画像合成方法において、
前記画像合成装置は、
画像選択手段と、
順序取得手段と、
視差量調整手段と、
画像合成手段と
を含み、
前記画像選択手段が、複数の３次元画像のうち、２枚以上の３次元画像を選択し、
前記順序取得手段が、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を取得し、
前記視差量調整手段が、前記合成順序に基づいて、選択された前記３次元画像の視差量を調整し、
前記画像合成手段が、前記合成順序に従って、調整後の前記３次元画像を合成する
ステップを含む画像合成方法。
【請求項１１】
コンピュータを、
複数の３次元画像のうち、２枚以上の３次元画像を選択する画像選択手段と、
選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を取得する順序取得手段と、
前記合成順序に基づいて、選択された前記３次元画像の視差量を調整する視差量調整手段と、
前記合成順序に従って、調整後の前記３次元画像を合成する画像合成手段と
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２０１１−２２１６９０（Ｐ２０１１−２２１６９０Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−８８４６５（Ｐ２０１０−８８４６５）
【出願日】平成２２年４月７日（２０１０．４．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月７日（２０１０．４．７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]