画像処理装置、および画像処理方法、並びにプログラム
【課題】ステレオ視に適した画像を選択出力する装置、方法を提供する。
【解決手段】異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像を入力し、第１左眼画像または前記第１右眼画像のいずれか１つの画像の画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成する。さらに、画素領域対応の距離情報を持つデプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、入力された第１左眼画像と第１右眼画像を出力画像として選択し、被写体距離が相対的に近いと判定した場合は、画像変換処理によって生成した第２左眼画像と第２右眼画像を出力画像として選択して出力する。この構成により、ステレオ視を行った場合に視差が大きすぎることによる疲労感や、オクリュージョンの発生に基づく違和感などが緩和され快適なステレオ視が実現される。
【解決手段】異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像を入力し、第１左眼画像または前記第１右眼画像のいずれか１つの画像の画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成する。さらに、画素領域対応の距離情報を持つデプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、入力された第１左眼画像と第１右眼画像を出力画像として選択し、被写体距離が相対的に近いと判定した場合は、画像変換処理によって生成した第２左眼画像と第２右眼画像を出力画像として選択して出力する。この構成により、ステレオ視を行った場合に視差が大きすぎることによる疲労感や、オクリュージョンの発生に基づく違和感などが緩和され快適なステレオ視が実現される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ステレオ視（立体視）可能な３次元画像（３Ｄ画像）の生成を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
奥行きを持つ立体画像として視覚可能なステレオ視（立体視）に対応した画像は、異なる視点からの画像である左眼用画像と右眼用画像の２つの画像の組み合わせによって構成される。これらの２つの視点からの画像、すなわち両眼視差画像を得るためには、例えば２つの撮像装置を左右に離間させて配置して撮像することが行われる。
【０００３】
撮像された一対のステレオ画像は、
左側の撮像装置で撮像し、左眼で観察する左眼用画像と、
右側の撮像装置で撮像し、右眼で観察する右眼用画像と、
のペア画像によって構成される。
【０００４】
左眼用画像と右眼用画像のペアによって構成されるステレオ画像対を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。
【０００５】
一方、１つの視点から撮影された通常の２次元画像を利用して、ステレオ視（立体視）に対応した左眼用画像と右眼用画像からなる両眼視差画像を生成する構成についても従来から様々な提案がなされている。
【０００６】
例えば、特許文献１（特開平８−３０８０６号公報）には、静止画像や動きの少ない画像に対して、左眼用画像と右眼用画像を所定量だけ水平方向にずらすことにより、画像が浮き上がったように知覚させる装置を提案している。
【０００７】
また、特許文献２（特開２００５−１５１５３４号公報）は、画像の上部と下部の特徴量を算出し、予め用意した奥行き情報を表す複数のシーン構造の合成比率を調整することより、画像を単純な構造の組み合わせで表現する方法を提案している。
【０００８】
２眼の撮像系を用いてステレオ画像を撮像する際、両眼視差量を決める重要な要素に、基線長と輻輳角がある。基線長とは、２つの撮像装置間の距離であり、輻輳角とは２つの撮像装置の向きを示すものである。
図１は、同じ基線長において、異なる輻輳角を持ったステレオ撮像系を図示するものである。
図１に示す３つの２眼撮像系（ａ），（ｂ），（ｃ）において、基線長はＬで等しく、輻輳角は平行視、１５°、３０°である。
基線長は、それが長いほど左右画像の両眼視差量は大きくなる。輻輳角は、その交差する点にある被写体が、左右画像の両眼視差量が０になるポイントであり、輻輳の交差する点から離れた被写体ほど、両眼の視差は大きくなる。
【０００９】
従って、図１（ａ）に示すように撮像系（カメラ）に対して被写体が遠い場合には、基線長を長く、輻輳角を小さく（平行視に近い状態）した撮像が適している。
一方で、図１（ｃ）に示すように被写体が近い場合には、基線長を短く、輻輳角を大きくする方法が向いている、ことが一般的に言える。
【００１０】
しかし、撮像する対象ごとに、基線長と輻輳角を調整することは、多大な時間と手間がかかり、困難である。調整に時間を費やしてよい業務用途での撮像では可能であるが、一般的な撮像用途においては、基線長と輻輳角を固定されていることが通常である。そして、より広範囲の被写体の撮像に適するため、一定以上の基線長を持ち、輻輳角をできるだけ小さくした、形態の２眼撮像装置が多い。このような撮像装置では、前途の通り、近い距離にある被写体を撮像することに適さず、このような撮像を行なう際に問題が発生する。
【００１１】
図２は、被写体からの距離が異なる２つの２眼撮像系Ａ，１０と、２眼撮像系Ｂ，２０によるステレオ撮像の例を示す。
２眼撮像系Ａ，１０は被写体からの距離が近く、２眼撮像系Ｂ，２０は被写体からの距離が遠い設定である。両者において、その基線長と輻輳角は等しい。
【００１２】
図３は、図２に示す２つの２眼撮像系Ａ，１０と、２眼撮像系Ｂ，２０による撮像結果のイメージを示すものである。
図３（ａ）は、２眼撮像系Ａ，１０によって撮像した画像、図３（ｂ）は、２眼撮像系Ｂ，２０によって撮像した画像のイメージを示す。
【００１３】
被写体から撮像系までの距離が近い２眼撮像系Ｂ，２０によって撮像した画像である図３（ｂ）は、被写体から撮像系までの距離が遠い２眼撮像系Ａ，１０によって撮像した画像である図３（ａ）と比べて、左右画像間での視差の量が大きい。これは、それぞれの被写体が画像内のどの領域にあるか、を左右で比較すると一目でわかる。
図３（ｂ）に示す画像は、網膜像差が大きすぎる状態であり、観察した場合に違和感や疲労を発生させる要因となる。
【００１４】
さらに、図３（ｂ）に示す画像は、左眼用画像と右眼用画像の一方の画像に映りこんでいない領域が、他方の画像に映っている現象、すなわちオクリュージョン領域が図３（ａ）に示す２つの画像と比較して、より多く発生している。
例えば、図３（ｂ）にら示す画像ペアでは、左眼画像に存在する自動車のライトやビルの窓が、右眼画像に存在しない。また、右眼画像に存在する木の幹が、左眼画像には存在していない、このように多くのオクリュージョン領域が発生している。。
【００１５】
図３（ｂ）に示すように、左右の網膜像差が一定以上大きくなる画像や、オクリュージョン領域が発生する画像を、観察者がステレオ視によって観察する場合、不快感や目の疲労を引き起こすことが多い。これに対して、図３（ａ）のようにそのような現象の発生が少ない場合には、快適なステレオ視を行なうことができる。
【００１６】
図１〜図３を参照して説明した処理は、２つの異なる視点からの撮影画像をステレオ視用画像として利用した場合の処理例である。
一方、先に簡単に説明したように、１つの画像に基づく画像処理によって擬似的な視差を設定した２つの画像を生成して、これらをステレオ視用画像として利用する構成がある。すなわち、一般のカメラで撮影した１枚の２Ｄ画像に対して２Ｄ３Ｄ変換処理を施して左眼用画像と右眼用画像を生成する処理である。
【００１７】
この２Ｄ３Ｄ変換処理は、１枚画像の情報から左右の視差がある画像を生成するため、一般的に網膜像差が小さく観察者が知覚する立体感が小さくなる問題がある反面、大きな網膜像差やオクリュージョン領域による不快感や目の疲労を引き起こす可能性は低い。
【００１８】
図４は、図２に示す２眼撮像系Ｂ，２０において撮影された１枚の左眼画像に対して２Ｄ３Ｄ変換処理を施してステレオ画像としての左眼用画像と右眼用画像を生成する処理と処理結果を示す図である。
【００１９】
図４上段の図４（ｂ）は、図３（ｂ）と同じ図であり、図２に示す２眼撮像系Ｂ，２０によって撮像した２つの画像のイメージである。一方、図４下段の図４（ｃ）は、図４（ｂ）の１枚の画像である左眼画像に対して２Ｄ３Ｄ変換処理を施して生成した左眼用画像と右眼用画像を示す図である。
図４（ｃ）に示す２Ｄ３Ｄ変換処理を施して生成した左眼用画像と右眼用画像は、図４（ｂ）に示す２眼撮像系Ｂ，２０において撮影された左眼用画像と右眼用画像に比較して、大きな網膜像差やオクリュージョン領域の発生は見られない。
この図４（ｃ）に示す画像を観察する観察者は、疲労や違和感を覚えることなく快適なステレオ視を行うことが可能となる。
【００２０】
このように、被写体からの撮像装置までの距離が近い場合においては、撮像装置の撮影画像をそのままステレオ画像として利用すると、観察者に対して違和感や疲労感を発生させる。一方、２次元画像を両眼視差画像に変換する２Ｄ３Ｄ変換（ステレオ変換）処理による生成画像を利用することで、視差の調整が可能となり、上記のような違和感や疲労感を発生させない画像を生成することが可能となる。
【００２１】
しかし、１枚の画像から２Ｄ３Ｄ変換処理によって生成する画像は、擬似的な視差を持つ画像であり、例えば被写体から撮像装置までの距離が、一定以上の遠い距離の場合には、２眼撮像系を用いて撮影されたステレオ画像を利用した表示を行う方が、実際の距離間を正しく反映した画像となり、快適なステレオ視を行なうことができる。
【００２２】
このように、２眼撮像系を用いて撮影された左眼用画像と右眼用画像をそのまま適用した表示が好ましい場合と、１枚の画像から生成した２Ｄ３Ｄ変換画像を用いる方が良い場合とはケースバイケースである。
【先行技術文献】
【特許文献】
【００２３】
【特許文献１】特開平８−３０８０６号公報
【特許文献２】特開２００５−１５１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【００２４】
本開示は、例えば上記の問題に鑑みてなされたものであり、被写体から撮像装置までの距離が近い場合と遠い場合のいずれにおいても、快適なステレオ視に対応した両眼視差画像を提供可能とする画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２５】
本開示の第１の側面は、
異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力部と、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理部を有し、
前記画像入力部に入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力する画像処理装置にある。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記画像入力部に入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像からステレオ視に適用する２つの画像を出力画像として選択する出力画像選択処理部を有する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記第１左眼画像と前記第１右眼画像を入力し、２つの入力画像の解析に基づいて、画像に撮り込まれた被写体距離を算出し画素領域対応の距離情報を持つデプスマップを生成して前記出力画像選択処理部に出力するデプスマップ生成処理部を有する。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記出力画像選択処理部は、前記デプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択し、被写体距離が相対的に近いと判定した場合は、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記出力画像選択処理部は、前記デプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択し、被写体距離が相対的に近いと判定した場合は、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択し、被写体距離が中間程度にあると判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像のいずれか一方の画像と、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像のいずれか一方の画像を出力画像として選択する。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記出力画像選択処理部は、撮像装置からの撮像情報、または、ユーザ選択情報の少なくともいずれかの情報に基づいて出力画像の選択を実行する。
【００３１】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、画像処理装置からの出力画像に応じて外部から入力する画像を制御する入力画像選択処理部を有し、前記入力画像選択処理部は、画像処理装置からの出力画像が、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像である場合、異なる視点から撮影されたステレオ視に適用可能な前記第１左眼画像と第１右眼画像のいずれか一方の画像のみを入力する制御を実行する。
【００３２】
さらに、本開示の画像処理装置の一実施態様において、前記入力画像選択処理部は、画像処理装置からの出力画像が、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像である場合、異なる視点から撮影されたステレオ視に適用可能な前記第１左眼画像と第１右眼画像のいずれか一方の画像のみを撮像装置に撮影させる制御信号を出力する。
【００３３】
さらに、本開示の画像処理装置の一実施態様において、前記ステレオ画像生成処理部は、画像評価処理の結果に基づいて選択された前記第１左眼画像または前記第１右眼画像のいずれか１つの画像の画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成する。
【００３４】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力ステップと、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理ステップと、
前記画像入力ステップにおいて入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力する画像出力ステップを実行する画像処理方法にある。
【００３５】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力させる画像入力ステップと、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成させるステレオ画像生成処理ステップと、
前記画像入力ステップにおいて入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力させる画像出力ステップを実行させるプログラムにある。
【００３６】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００３７】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３８】
本開示の一実施例の構成によれば、ステレオ視に適した画像を選択出力する構成が実現される。
具体的には、異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力部と、第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理部を有し、画素領域対応の距離情報を持つデプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択して出力する。また、被写体距離が相対的に近いと判定した場合は、ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択して出力する。
この構成により、ステレオ視を行った場合に視差が大きすぎることによる疲労感や、オクリュージョンの発生に基づく違和感などが緩和され、快適なステレオ視が実現される。
【図面の簡単な説明】
【００３９】
【図１】同じ基線長において、異なる輻輳角を持ったステレオ撮像系について説明する図である。
【図２】被写体からの距離が異なる２つの２眼撮像系によるステレオ撮像の例を示す図である。
【図３】図２に示す２つの２眼撮像系による撮像結果のイメージを示す図である。
【図４】図２に示す２眼撮像系Ｂ，２０において撮影された１枚の左眼画像に対して２Ｄ３Ｄ変換処理を施してステレオ画像としての左眼用画像と右眼用画像を生成する処理と処理結果を示す図である。
【図５】本開示の画像処理装置の一実施例としての撮像装置の構成例を示す図である。
【図６】ステレオ画像生成処理部の一実施例の構成を示すブロック図である。
【図７】ゲイン制御部の一実施例の構成を示すブロック図である。
【図８】ゲイン係数算出部において実行する、ゲイン係数の決定方法の一例を示す図である。
【図９】ゲイン制御部における微分信号の振幅値を制御する処理の一例について説明する図である。
【図１０】非線形変換部において実行する非線形変換処理の一例について説明する図である。
【図１１】画像合成部において実行する画像合成処理について説明する図である。
【図１２】画像合成部において実行する画像合成処理について説明する図である。
【図１３】デプスマップとそのヒストグラムの一例について説明する図である。
【図１４】出力画像選択処理部の構成の一例について説明する図である。
【図１５】様々な画像の組み合わせによる画像出力制御を実行する出力画像選択処理部の構成と処理例について説明する図である。
【図１６】様々な画像の組み合わせによる画像出力制御を実行する出力画像選択処理部の構成と処理例について説明する図である。
【図１７】様々な画像の組み合わせによる画像出力制御を実行する出力画像選択処理部の構成と処理例について説明する図である。
【図１８】本開示の画像処理装置における最小の構成要素からなる構成例について説明する図である。
【図１９】出力画像選択処理部を省略した構成例について説明する図である。
【図２０】出力画像選択処理部においてデプスマップを適用しない設定とした構成例について説明する図である。
【図２１】デプス情報を用いることなく、入力した画像情報から出力画像選択処理を行う出力画像選択処理部の実行する処理例について説明する図である。
【図２２】撮像情報に基づく出力画像選択を実行する構成例について説明する図である。
【図２３】出力画像選択処理部に、撮像装置からの撮像情報の他、デプスマップを入力して、出力画像の選択を実行する構成例について説明する図である。
【図２４】ユーザから入力される選択情報に基づく出力画像選択を実行する構成例について説明する図である。
【図２５】デプスマップ生成処理部を省略した構成例について説明する図である。
【図２６】入力画像選択を入力処理前に行う画像処理装置の構成について説明する図である。
【図２７】撮像情報に基づいて出力画像を決定し、この出力画像の決定に基づいて入力画像を選択する構成例について説明する図である。
【図２８】２Ｄ／３Ｄ変換処理画像を出力画像として決定した場合、２眼撮像系によって撮影する画像を左眼画像のみとし、右眼画像の撮影は中止するという制御を行う構成について説明する図である。
【図２９】入力画像選択処理部が、図示しない入力部を介してユーザ選択情報を入力して出力画像を決定して、決定した出力画像に基づいて撮像制御処理を実行する構成について説明する図である。
【図３０】デプスマップ生成処理部を持たず、外部のデプス情報取得装置の生成したデプスマップを入力して、ステレオ画像生成処理部において利用する構成について説明する図である。
【図３１】テレオ画像生成処理部に入力する画像を右眼画像とし、右眼画像に基づく２Ｄ３Ｄ変換処理を実行してステレオ画像を生成する構成例について説明する図である。
【図３２】ステレオ変換画像選択処理部を設定し、ステレオ画像生成処理部８５４に入力する画像を右眼画像とするか左眼画像とするかを選択可能とした構成について説明する図である。
【発明を実施するための形態】
【００４０】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本開示の画像処理装置の構成と処理例（実施例１）について
１−１．画像処理装置の全体構成と処理について
１−２．デプスマップ生成処理部の処理の詳細について
１−３．ステレオ画像生成処理部で行われる２Ｄ／３Ｄ変換処理について
１−４．出力画像選択処理部で行われる出力ステレオ画像ペアの選択処理の詳細について
２．その他の実施例について
２−１．最小構成要素の構成例について
２−２．出力画像選択処理部を省略した構成例について
２−３．出力画像選択処理部においてデプスマップを適用しない設定とした構成例について
２−４．撮像情報に基づく出力画像選択を実行する構成例について
２−５．ユーザ選択情報に基づく出力画像選択を実行する構成例について
２−６．デプスマップ生成処理部を省略した構成例について
３．画像処理装置に対する入力画像を制御する構成を持つ実施例について
３−１．入力画像選択を入力処理前に行う構成例について
３−２．入力画像選択を撮影前に行う構成例について
４．本開示の構成のまとめ
【００４１】
［１．本開示の画像処理装置の構成と処理例（実施例１）について］
図５以下を参照して本開示の画像処理装置の構成と処理例（実施例１）について説明する。
なお、まず、画像処理装置全体の構成と処理について説明し、その後、各構成部の処理の詳細について説明する。
【００４２】
（１−１．画像処理装置の全体構成と処理について）
図５以下を参照して本開示の画像処理装置の構成と処理例（実施例１）について説明する。
図５は、本開示の画像処理装置の一実施例としての撮像装置の構成例を示す図である。
【００４３】
画像処理装置１００は、右眼画像入力部１０１、左眼画像入力部１０２、ステレオ画像生成処理部１０３、デプスマップ生成処理部１０４、および、出力画像選択処理部１０５を有する。
【００４４】
画像処理装置１００は、２眼ステレオ画像信号を入力する。入力画像信号は、左右対の撮像系で撮像された左右のステレオ画像、すなわち入力右眼画像と入力左眼画像である。例えば、図２に示す２眼撮像系Ａ１０や、２眼撮像系Ｂ２０等の２つの異なる視点からの２枚の画像のペアを入力する。
【００４５】
これらの入力右眼画像と入力左眼画像はそれぞれ、右眼画像入力部１０１および左眼画像入力部１０２に入力される。
画像処理装置１００の右眼画像入力部１０１および左眼画像入力部１０２に入力された左右のステレオ画像の双方は、デプスマップ生成処理部１０４へと入力される。
デプスマップ生成処理部１０４は、入力２画像のステレオマッチング処理を実行して、対応画素位置のずれ量に基づいて各画素位置の被写体までの距離（デプス）、すなわちカメラからの被写体距離を算出する。
【００４６】
デプスマップ生成処理部１０４は、入力画像の各画素に距離情報を対応付けたデプスマップを生成して出力する。
デプスマップは、画像を構成する画素の被写体についての被写体距離（カメラからの距離）を示すデータであり、例えば、画像の各画素の被写体の距離情報を輝度情報に変換して示した画像などによって構成される。
【００４７】
具体的には、例えば、
被写体距離が小さい（カメラに近い）被写体を持つ画素は高輝度画素（明るい画素）、
被写体距離が大きい（カメラから遠い）被写体を持つ画素は低輝度画素（暗い画素）、
このような設定とした画像がデプスマップとして利用される。
このように、デプスマップは画像に含まれる被写体の距離を画素対応データとして保持したデータであり、具体的には例えば被写体距離を画素値に変換して設定した画像データとして生成される。
【００４８】
画像処理装置１００に入力された左右のステレオ画像のうち、一方の画像、例えば入力左眼画像は、ステレオ画像生成処理部１０３へ入力される。また、デプスマップ生成処理部１０４の生成したデプスマップも、ステレオ画像生成処理部１０３へ入力される。
【００４９】
ステレオ画像生成処理部１０３は、入力した１つの画像（本例では入力左眼画像）を利用した２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
すなわち、ステレオ画像生成処理部１０３は、２Ｄ画像に対して、距離（デプス）情報に応じた視差を設定した右眼画像と左眼画像を生成する２Ｄ３Ｄ変換処理を実行して図に示すステレオ画像生成処理部１０３の出力として示す生成右眼画像と生成左眼画像を生成して出力する。
【００５０】
ステレオ画像生成処理部１０３は、デプスマップを用いた２Ｄ３Ｄ変換処理により、入力した１つの画像からステレオ画像を構成する右眼画像と左眼画像を生成する。
ステレオ画像生成処理部１０３は、デプスマップから得られる画素領域単位の被写体距離情報に応じた視差を設定した右眼画像と左眼画像を生成して出力する。
【００５１】
ステレオ画像生成処理部１０３の生成した生成右眼画像と生成左眼画像は、出力画像選択処理部１０５へ入力される。
出力画像選択処理部１０５へは、画像処理装置１００に入力された左右のステレオ画像、すなわち、２眼撮像系によって撮影された入力右眼画像と入力左眼画像も入力される。
また、デプスマップ生成処理部１０４から出力されたデプスマップも、出力画像選択処理部１０５へ入力される。
【００５２】
出力画像選択処理部１０５は、画像処理装置１００の出力画像とするステレオ画像、すなわち、出力右眼画像と出力左眼画像の選択を実行する。具体的には、
（ａ）画像処理装置１００の入力である２眼撮像系において撮影された入力右眼画像と入力左眼画像のステレオ画像ペア、もしくは、
（ｂ）ステレオ画像生成処理部１０３における２Ｄ３Ｄ変換処理によって生成された生成右眼画像と生成左眼画像のステレオ画像ペア、
上記（ａ）または（ｂ）の画像ペアのいずれを出力とするかを選択する。
選択されたステレオ画像ペアは、画像処理装置１００の出力である出力右眼画像と出力左眼画像となる。
【００５３】
出力画像選択処理部１０５における画像ペア選択処理には、デプスマップが用いられる。
具体的には、例えば、出力画像選択処理部１０５は、デプスマップに基づいて画像全体に含まれる被写体距離が相対的に遠いと判定した場合は、
（ａ）画像処理装置１００の入力である入力右眼画像と入力左眼画像のステレオ画像ペアを選択出力する。
また、画像全体に含まれる被写体距離が相対的に近いと判定した場合は、
（ｂ）ステレオ画像生成処理部１０３において生成された生成右眼画像と生成左眼画像のステレオ画像ペアを選択出力する。
【００５４】
ここまで、図５に示す画像処理装置１００の全体の処理について説明した。
以下、図５に示す画像処理装置１００の各構成部の処理の詳細について説明する。
【００５５】
（１−２．デプスマップ生成処理部の処理の詳細について）
次に、デプスマップ生成処理部１０４の処理の詳細について説明する。デプスマップ生成処理部１０４は、前述したように、異なる視点から撮影された入力２画像のステレオマッチング処理を実行して、対応画素位置のずれ量に基づいて各画素位置の被写体までの距離（デプス）、すなわちカメラからの被写体距離を算出し、入力画像の各画素に距離情報を対応付けたデプスマップを生成して出力する。
【００５６】
なお、ステレオマッチングによるデプスマップ生成処理は、既存の方法である。複数の異なる視点から得られた画像間の対応を求めることで，画像中の被写体のカメラからの距離を算出することができる。複数の視点から得られた画像間の対応を、精度良く高速に求める手法が数多く提案されている。
【００５７】
例えば，高精度に画像間の対応を求める手法として、特開２００３−０８５５６６号公報には、動的計画法の一種であるビタビアルゴリズムに基づき，水平走査線上の画素列に対して最適な対応を割り当てる手法を開示している。
また、高速に画像間の対応を求める手法として、特開平０７−１０３７３４号公報に、画像を縮小し階層構造を形成し、解像度の低い階層における対応検出の結果をより解像度の高い階層に伝播し、解像度の高い階層における対応探索処理の低減を図る手法を開示している。
【００５８】
図５に示すデプスマップ生成処理部１０４では、例えば上記のような既存の手法を適用して、異なる視点から撮影された入力２画像に基づいて、カメラからの被写体距離を算出し、入力画像の各画素に距離情報を対応付けたデプスマップを生成して出力する。
【００５９】
（１−３．ステレオ画像生成処理部で行われる２Ｄ／３Ｄ変換処理について）
次に、図５に示すステレオ画像生成処理部１０３の実行する処理の詳細について説明する。
上述したように、ステレオ画像生成処理部１０３では、デプスマップを用いた２Ｄ３Ｄ変換処理により、入力した１つの画像からステレオ画像を構成する右眼画像と左眼画像を生成する。
ステレオ画像生成処理部１０３は、デプスマップから得られる画素領域単位の被写体距離情報に応じた視差（シフト量）を設定した右眼画像と左眼画像を生成して出力する。
【００６０】
ステレオ画像生成処理部１０３の実行する２Ｄ３Ｄ変換処理の具体例について説明する。
図６は、ステレオ画像生成処理部１０３の一実施例の構成を示すブロック図である。
ステレオ画像生成処理部１０３は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで新たな視点の画像を生成する処理を行う。ステレオ画像生成処理部１０３は、微分器２１１、ゲイン制御部２１２、非線形変換部２１３、および画像合成部２１４から構成される。
【００６１】
微分器２１１は、ステレオ画像生成処理部１０３に入力されたビデオデータから輝度信号を取り出し、輝度信号に対する微分信号（Ｈ）を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。
なお、実施例では輝度信号を処理データとした例について説明するが、輝度信号ではなく色信号（ＲＧＢ等）を処理対象データとして利用してもよい。
【００６２】
ゲイン制御部２１２は、微分器２１１から出力される微分信号（Ｈ）に、予め設定した規則に則った係数（ゲイン係数）を乗じることで、微分信号の振幅値を制御するし、微分信号の補正信号である補正微分信号（Ｈ'）を生成する。
【００６３】
非線形変換部２１３は、ゲイン制御部２１２から出力される補正微分信号（Ｈ'）を非線形的に変換し、視差強調信号（Ｅ'）として画像合成部２１４に出力する。
【００６４】
画像合成部２１４は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の補正微分信号（Ｈ'）、または、この補正微分信号を非線形変換して生成した視差強調信号（Ｅ'）を適用して新たな視点の画像を生成する処理を行う。
【００６５】
なお、図６に点線で示すように、非線形変換部２１３の変換処理を省略し、ゲイン制御部２１２で補正処理した補正微分信号（Ｈ'）を画像合成部２１４に直接入力して、画像合成部２１４が、補正微分信号を適用して新たな視点の画像を生成する構成としてもよい。
【００６６】
次に、ゲイン制御部２１２の実行する処理について説明する。
図７は、ゲイン制御部２１２の一実施例の構成を示すブロック図である。ゲイン制御部２１２では、入力された微分信号の振幅値を、同じく入力した奥行き情報を基に、その振幅値を制御する。なお、以下に説明する実施例では、奥行き情報は入力微分信号の１画素ごとに、１つの深さの値を有する、所謂デプスマップの形状で入力されるものとして説明していく。
【００６７】
ゲイン係数算出部２２１は、入力された各画素に対する奥行き情報を利用して、対応する画素に対するゲイン係数を出力する。
乗算処理部２２２は、入力された微分信号の各画素について、ゲイン係数算出部２２１から出力された各画素に対するゲイン係数を、微分信号（Ｈ）の振幅値に乗じる乗算処理を行い、結果として振幅値がゲイン制御された補正微分信号（Ｈ'）を出力する。
【００６８】
図８は、ゲイン係数算出部２２１において実行する、ゲイン係数の決定方法の一例を示すものである。横軸が、入力信号であり奥行き情報である。縦軸が、ゲイン係数算出部２２１におけるゲイン係数の出力を示している。
ゲイン係数算出部２２１は、入力された奥行き情報（Ｉｎ）を、予め設定した関数ｆ（ｘ）により変換して、ゲイン係数（Ｏｕｔ）を出力する。
このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。
関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝Ａ×ｘ
（ただしＡは定数）
上記式に示されるような線形一次関数を用いる。Ａは予め設定した定数であり、様々な値に設定可能である。
【００６９】
また、ゲイン係数算出部２２１における変換関数は、線形一次関数に限定するものではなく、また非線形的な変換を施しても構わない。
奥行き情報は、微分信号の各画素に応じた値を入力し、各画素に応じたゲイン係数を出力するものとする。
【００７０】
図８は、ゲイン係数算出部の入力値（奥行き情報）と、出力値（ゲイン係数）の対応例を示す図である。図８には３つの入力値（奥行き情報）とそれに対応する３つの出力値（ゲイン係数）の例を示している。
入力値（奥行き情報）の例は、Ｄ１、Ｄ２、Ｄ３であり、ある３つの画素に対応した奥行きの値を想定する。なお、奥行きとは観察者（ユーザ）あるいはカメラから被写体までの距離に対応する値である。
奥行き（＝被写体距離）はＤ１＜Ｄ２＜Ｄ３の順に、手前から奥へと深く（ユーザまたはカメラから遠く）なっていくものとする。ここで、図８中、奥行き情報Ｉｎ＝０の位置は生成した画像を３次元表示装置に表示した場合に表示画面上に知覚される点である。
このとき出力値（ゲイン係数）の例は、Ｇ１、Ｇ２、Ｇ３であり、各々は図８中の関数ｆ（ｘ）に、Ｄ１、Ｄ２、Ｄ３の値を入力することで得られる値である。
この例のように、ゲイン係数算出部２２１は、微分信号の各画素に応じたゲイン係数を出力する。
【００７１】
図９は、ゲイン制御部２１２における微分信号の振幅値を制御する処理の一例を示している。
図９には、
（ａ）入力信号
（ｂ）微分信号
（ｃ）奥行き情報
（ｄ）補正後の微分信号
これらの例を示している。
【００７２】
図９（ａ）は、入力画像信号の一例である。
図９（ｂ）は、図９（ａ）の入力画像信号を微分処理した画像である。
図９（ｃ）は、図９（ａ）の入力画像信号に対応した奥行き情報であり、画像を３分割した各領域に奥行きの値を与えた簡易なものである。
【００７３】
ここで、図９（ｃ）の奥行き情報を示す画像信号には、上部から順に図８において定義した奥行き情報：Ｄ３、Ｄ２、Ｄ１（Ｄ１＜Ｄ２＜Ｄ３）の値が与えられているものとしている。
【００７４】
このとき、図８において説明した奥行きとゲイン値の関係の通り、図９（ｂ）の微分信号の各画素に乗じるゲイン値は、画像の上部から順に、
Ｇ３、Ｇ２、Ｇ１（Ｇ１＜Ｇ２＜Ｇ３）
となる。
【００７５】
図９（ｄ）補正後の微分信号は、図９（ｃ）の奥行き情報に基づいたゲイン値を、図９（ｂ）の微分信号の各画素に乗じた処理結果の一例である。
図９（ｄ）補正後の微分信号においては、画面上部ほど（遠い領域ほど）、大きなゲイン値が乗じられ、画面下部ほど（近い領域ほど）小さなゲイン値が乗じられる。
この結果、画面上部ほど（遠い領域ほど）微分信号の振幅値が大きくなり、画面下部ほど（近い領域ほど）微分信号の振幅は小さくなる。
【００７６】
２Ｄ３Ｄ変換部は、このように距離に応じた振幅の異なる微分信号を用いて新たな視点画像を生成して出力する。この結果、距離に応じた異なる視差を持つ画像を生成して出力する。
【００７７】
次に、非線形変換部２１３の実行する処理について説明する。非線形変換部２１３は、ゲイン制御部２１２から出力される距離に応じてゲイン制御のなされた補正微分信号（Ｈ'）を非線形的に変換した視差強調信号（Ｅ'）を生成して画像合成部２１４に出力する。
【００７８】
図１０は、非線形変換部２１３において実行する非線形変換処理の一例を示している。横軸が、ゲイン制御部２１２から出力される距離に応じてゲイン制御（補正）のなされた微分信号であり（輝度）補正微分信号である。縦軸が、非線形変換部２１３における非線形変換処理後の出力を示している。非線形変換部２１３は、入力された補正微分信号（Ｉｎ）を、予め規定した関数ｆ（ｘ）により変換して、視差強調信号（Ｏｕｔ）を出力する。すなわちＯｕｔ＝ｆ（Ｉｎ）とする。このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝ｘγ
上記式に示されるような指数関数を用いる。γは予め設定した係数であり、様々な値に設定可能である。
また、非線形変換部２１３における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。
【００７９】
画像合成部２１４は、非線形変換部２１３から出力される視差強調信号と、ステレオ画像生成処理部１０３に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、新たな視点画像を生成する処理を行う。
【００８０】
なお、図６に点線で示すように、非線形変換部２１３の変換処理を省略し、微分器２１１の生成した微分信号に対してゲイン制御部２１２が距離に応じたゲイン制御を行った補正微分信号（Ｈ'）を画像合成部２１４に直接入力する構成としてもよい。この場合は、画像合成部２１４は、奥行き（被写体距離）に応じてゲイン制御の施された補正微分信号（Ｈ'）を適用して新たな視点の画像を生成する処理を行う。
【００８１】
次に画像合成部２１４の処理について説明する。
画像合成部２１４は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号を適用して新たな視点の画像を生成する処理を行う。
【００８２】
図１１と図１２は、画像合成部２１４において実行する画像合成処理の概念を示している。
図１１は、距離が大の画像領域（奥行きが大きい画像領域）
図１２は、距離が小の画像領域（奥行きが小さい画像領域）
これらの各画像領域について、上から順に、
（ａ）入力信号（Ｓ）
（ｂ）微分信号（Ｈ）
（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）
（ｄ）右シフト画像信号
（ｅ）左シフト画像信号
これらの各信号を示している。
【００８３】
図９の（ｃ）奥行き情報に対応付けて説明すると、例えば、図１１は図９（ｃ）の画像上部の距離が大（＝Ｄ３）の画像領域（奥行きが大きい画像領域）に対応する処理例である。一方、図１２は図９（ｃ）の画像下部の距離が小（＝Ｄ１）の画像領域（奥行きが小さい画像領域）に対する処理例である。
【００８４】
まず、図１１に示す距離が大の画像領域（奥行きが大きい画像領域）における処理例について説明する。
（ａ）入力信号（Ｓ）は、ビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ａにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｂにおいて、輝度が次第に低くなる変化を示している。
【００８５】
（ｂ）微分信号（Ｈ）は、（ａ）入力信号の微分結果である。この微分信号は、図６に示すステレオ画像生成処理部１０３の微分器２１１において生成される信号である。
微分器２１１の生成する微分信号（Ｈ）は、図１１に示すとおり、（ａ）入力信号（Ｓ）の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。
【００８６】
（ｃ）補正（ゲイン制御）後の微分信号（Ｈ'）は、図６に示すステレオ画像生成処理部１０３のゲイン制御部２１２において生成する信号であり、図１１（ｂ）微分信号を、奥行き情報に基づいて補正（ゲイン制御）した信号である。なお、図１１に示す例は、距離が大（例えば図８、図９（ｃ）のＤ３）の画像領域（奥行きが大きい画像領域）における処理例であり、図８、図９を参照して説明したようにより大きなゲイン（Ｇ３）による補正処理が施され、微分信号の振幅はより大きな振幅に補正される。
【００８７】
図１１（ｃ）に示す点線が補正前の信号（＝（ｂ）微分信号（Ｈ））であり、図１１（ｃ）に示す実線が距離に応じた補正後の補正微分信号（Ｈ'）である。このように、補正微分信号（Ｈ'）は距離に応じたゲイン制御により、振幅がより大きく補正される。
【００８８】
（ｄ）右シフト画像信号、（ｅ）左シフト画像信号は、図５に示すステレオ画像生成処理部１０３に構成される図６に示す画像合成部２１４が生成する信号である。
【００８９】
例えば、図５、図６に示すステレオ画像生成処理部１０３は、入力左画像を図１１（ａ）に示す入力画像であるとした場合、この入力画像を右シフトすることで、（ｄ）右眼画像信号を生成する。
また、この入力画像を左シフトすることで、（ｅ）左眼画像信号を生成する。
【００９０】
具体的には、（ａ）入力信号（Ｓ）と、（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）を非線形変換部２１３において非線形変換した結果（非線形変換部２１３の出力）である視差強調信号（Ｅ'）とを合成することで、（ｄ）右眼画像信号、または、（ｅ）左眼画像信号を生成する。
図１１（ｄ）に示す通り、大きなゲイン（Ｇ３）によって補正が行われた補正微分信号（Ｈ'）を合成する場合、補正前の微分信号（Ｈ）を合成する場合に比較して、右シフトが大きい画像信号が生成される。同様に、図１１（ｄ）では、左シフト量が大きい画像信号が生成される。
【００９１】
次に、図１２に示す距離が小の画像領域（奥行きが小さい画像領域）における処理例について説明する。図１２は図９（ｃ）の画像下部の距離が小（＝Ｄ１）の画像領域（奥行きが小さい画像領域）に対する処理例である。
【００９２】
（ａ）入力信号と、（ｂ）微分信号は、図１１に示す（ａ）入力信号と、（ｂ）微分信号と同様の信号である。（ｂ）微分信号（Ｈ）は、（ａ）入力信号（Ｓ）の微分結果である。この微分信号は、図６に示す微分器２１１において生成される信号である。微分器２１１の生成する微分信号は、図１２に示すとおり、（ａ）入力信号の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。
【００９３】
（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）は、図６に示すゲイン制御部２１２において生成する信号であり、図１２（ｂ）微分信号を、奥行き情報に基づいて補正（ゲイン制御）した信号である。
【００９４】
図１２に示す例は、距離が小（例えば図８、図９（ｃ）のＤ１）の画像領域（奥行きが大きい画像領域）における処理例であり、図８、図９を参照して説明したように小さなゲイン（Ｇ１）により微分信号の振幅は小さな振幅に補正される。
【００９５】
図１２（ｃ）に示す点線が補正前の信号（＝（ｂ）微分信号）であり、図１２（ｃ）に示す実線が距離に応じた補正後の信号である。このように、距離に応じたゲイン制御により、振幅がより小さく補正される。
【００９６】
（ｄ）右眼画像信号、（ｅ）左眼画像信号は、図６に示す画像合成部２１４において生成する信号である。画像合成部２１４は、（ａ）入力信号（Ｓ）と、（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）を非線形変換部２１３において非線形変換した結果（非線形変換部２１３の出力）である視差強調信号（Ｅ'）とを合成して（ｄ）右眼画像信号、または（ｅ）左眼画像信号を生成する。
【００９７】
例えば、図５、図６に示すステレオ画像生成処理部１０３は、入力左画像を図１２（ａ）に示す入力画像であるとした場合、この入力画像を右シフトすることで、（ｄ）右眼画像信号を生成する。
また、この入力画像を左シフトすることで、（ｅ）左眼画像信号を生成する。
図１２（ｄ）に示す通り、小さなゲイン（Ｇ１）によって補正が行われた補正微分信号（Ｈ'）を合成する場合、補正前の微分信号（Ｈ）を合成する場合に比較して、右シフト量が小さい画像信号が生成される。同様に、図１１（ｄ）では、左シフト量が小さい画像信号が生成される。
【００９８】
このように、画像処理装置は、表示画面よりも奥の方向に知覚されるような画像を生成する場合は、
距離＝大の場合は、振幅の大きい補正微分信号
距離＝小の場合は、振幅の小さい補正微分信号、
これらの補正微分信号（図１１、図１２の（ｃ））を生成し、これらの補正微分信号（またはその非線形変換結果である視差強調信号）と（ａ）入力信号との合成処理により、入力画像と異なる視点からの観察画像に相当する（ｄ）右眼画像信号、または（ｅ）左眼画像信号を生成する。
【００９９】
このような（ｄ）右眼画像信号と、（ｅ）左眼画像信号の生成処理の生成処理について、数式を用いて説明する。
図１１、図１２の（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、
図１１、図１２の（ｂ）に示す微分信号の信号レベルを（Ｈ）とする。
また、ゲイン制御部２１２において行われる微分信号の補正結果としての補正微分信号の信号レベルを（Ｈ'）てとする。
なお、補正微分信号（Ｈ'）の生成の際、（ｂ）微分信号（Ｈ）に乗じるゲイン値（Ｇ）は、奥行き情報（Ｄ）をもとに予め設定された関数などから決定される。
【０１００】
図１１に示す距離が大の場合のゲイン値をＧ３、
図１２に示す距離が小の場合のゲイン値をＧ１、
とする。
図１１、図１２に示す例は、Ｇ３＞１＞Ｇ１の関係を想定している。
【０１０１】
図１１、図１２の（ｃ）補正後の微分信号の信号レベルを（Ｈ'）で表現すると、（Ｈ'）は上記ゲイン値Ｇ３、Ｇ１を用いて補正された信号として、以下の式によって示すことができる。
図１１に示す距離が大の場合の補正後微分信号（Ｈ'）は、
Ｈ'＝Ｇ３×Ｈ
図１２に示す距離が小の場合の補正後微分信号（Ｈ'）は、
Ｈ'＝Ｇ１×Ｈ
これらの式によって算出された信号が、図１１、図１２の（ｃ）補正後の微分信号の信号レベル（Ｈ'）となる。
【０１０２】
図１１（ｃ）に示す距離が大の場合において、実線で示す補正後微分信号（Ｈ'）と、点線で示す補正前微分信号（＝（ｂ））を比較すると、実線で示す補正後微分信号（Ｈ'）は、点線で示す補正前微分信号よりも振幅が大きくなっている。
一方、図１２（ｃ）に示す距離が小の場合において、実線で示す補正後微分信号（Ｈ'）と、点線で示す補正前微分信号（＝（ｂ））を比較すると、実線で示す補正後微分信号（Ｈ'）は、点線で示す補正前微分信号よりも振幅が小さくなっている。
【０１０３】
これは、図１１（ｃ）、図１２（ｃ）に示す補正後微分信号が異なるゲイン値を乗じて生成されるためである。
すなわち、デプスマップ生成処理部１０４の出力するデプスマップにおける奥行き情報が大（カメラからの距離が遠い）画素については、（ｂ）微分信号に対して大きなゲイン値を乗じて補正されて図１１（ｃ）に示す補正後微分信号が生成される。
一方、デプスマップ生成処理部１０４の出力するデプスマップにおける奥行き情報が小（カメラからの距離が近い）画素については、（ｂ）微分信号に対して小さなゲイン値を乗じて補正されて図１２（ｃ）に示す補正後微分信号が生成される。
【０１０４】
図１１（ｃ）、図１２（ｃ）に示す補正後の微分信号は、非線形変換部２１３において、例えば先に図１０を参照して説明した設定で非線形変換処理が施され、視差強調信号（Ｅ'）が生成される。
【０１０５】
画像合成部１３３は、（ａ）入力信号に相当するビデオデータ（Ｓ）と、（ｃ）補正後の微分信号（Ｈ'）を非線形変換した視差強調信号（Ｅ'）を入力して、例えば以下の式により右シフト画像信号（Ｒｉｇｈｔ）、または左シフト画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｅ'
Ｌｅｆｔ＝Ｓ＋Ｅ'
これにより得られる信号が、図１１（ｄ）、図１２（ｄ）に実線で示す右シフト画像信号、および、図１１（ｅ）、図１２（ｅ）に示す左シフト画像信号である。
【０１０６】
一方、図１１（ｄ），（ｅ）と図１２（ｄ），（ｅ）に点線で示す信号は、（ｃ）補正後の微分信号ではなく、補正前の微分信号、すなわち（ｂ）微分信号（Ｈ）を適用して非線形変換した視差強調信号（Ｅ）を利用して生成した右シフト画像信号、および左シフト画像信号に相当する。すなわち、
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
である。
【０１０７】
図１１、図１２の（ｄ）右シフト画像信号、および、（ｅ）左シフト画像信号に示す実線と点線を比較すると、
図１１に示す距離が大の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の両者とも、実線（補正後微分信号）が、点線（補正前微分信号）よりエッジ部（信号の変化部）が急峻になっており、（ａ）入力信号に比較して信号のシフトが大きくなっている。
一方、図１２に示す距離が小の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の両者とも、実線（補正後微分信号）が、点線（補正前微分信号）よりエッジ部が滑らかになっており、（ａ）入力信号に比較して信号のシフトが小さくなっている。
【０１０８】
つまり、距離が大の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の差分が拡大され、距離が小の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の差分が縮小される。
【０１０９】
このような（ｄ）右シフト画像信号、（ｅ）左シフト画像信号を表示することで、距離が大の場合は、（ｄ）右シフト画像信号と（ｅ）左シフト画像信号の網膜視差が大きくなり、より遠くに感じられ、距離が小の場合は、（ｄ）右シフト画像信号と（ｅ）左シフト画像信号の網膜視差が小さくなり近くに感じられることになる。
本実施例では、表示画面よりも奥に視差を生成する方法を参考にして説明を行ったが、表示画面よりも前に視差を生成する場合には、画像合成部１３３は以下の式に従って右シフト画像信号（Ｒｉｇｈｔ）、または左シフト画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ＋Ｅ'
Ｌｅｆｔ＝Ｓ−Ｅ'
このようにすることにより、右シフト画像信号と左シフト画像信号のシフトが逆方向に発生し、右シフト画像信号は入力画像より左にシフトし、左画像信号は入力画像より右にシフトする。この結果、生成された右シフト画像信号と左シフト画像信号は表示画面よりも前に知覚されるようになる。
【０１１０】
（１−４．出力画像選択処理部で行われる出力ステレオ画像ペアの選択処理の詳細について）
次に、図５に示す出力画像選択処理部１０５において実行する処理、すなわち画像処理装置１００の出力とするステレオ画像ペアの選択方法について説明する。ここでは、デプスマップを用いる方法について述べる。
【０１１１】
図１３は、デプスマップとそのヒストグラムの一例である。
図１３の上図（ａ１）は、先に説明した図２、図３を参照して説明した２眼撮像系Ａ，１０によって撮像した左眼画像に対応し、デプスマップ生成処理部１０４において生成されたデプスマップである。
同じく、図１３の下図（ｂ１）は、図２、図３を参照して説明した２眼撮像系Ｂ，２０によって撮像した左眼画像に対応するデプスマップである。
【０１１２】
デプスマップ中において、その奥行きは輝度によって表現されており、
輝度が高い画素ほど手前（カメラからの距離が小）、
輝度が低い画素ほど奥（カメラからの距離が大）
このように輝度に応じた奥行き値を有している。
【０１１３】
さらに、図１３の上図（ａ２）は、図１３の上図（ａ１）のデプスマップについてのヒストグラムであり、横軸が奥行き、縦軸が度数、である。ここで、度数とは、該当する奥行きの値を有するデプスマップ中の画素数のことである。
同じく、図１３の下図（ｂ２）は、図１３の下図（ａ１）のデプスマップについてのヒストグラムである。
【０１１４】
いま、図１３の上図および下図のヒストグラム（ａ２），（ｂ２）に注目する。両者のヒストグラムの特徴として、以下のことが言える。
上図（ａ２）が、奥（距離大）の領域に度数分布が集中し、下図（ｂ２）が手前（距離小）の領域に度数が多く分布している。
【０１１５】
先に図１〜図４を参照して説明したように、被写体からの撮像装置までの距離が近い場合においては、撮像装置の撮影画像をそのままステレオ画像として利用すると、視差が過大となり、またオクリュージョンの発生も多くなり、観察者に対して違和感や疲労感を発生させる。一方、２次元画像を両眼視差画像に変換する２Ｄ３Ｄ変換（ステレオ変換）処理による生成画像を利用することで、視差の調整が可能となり、上記のような違和感や疲労感を発生させない画像を生成することが可能となる。
【０１１６】
図１３の上図（ａ２）のように、奥に度数が多く分布する場合、２眼撮像系によるステレオ画像対、すなわち、画像処理装置１００の入力である入力右眼画像と入力左眼画像のステレオ画像対を出力しても、過大な視差やオクリュージョンの発生は少なく、観察者に違和感や疲労感を発生させることなく快適なステレオ視を行わせることができる。
【０１１７】
一方、図１３の下図（ｂ２）のように、手前に度数が多く分布する場合、画像処理装置１００の入力である入力右眼画像と入力左眼画像のステレオ画像対を出力して観察すると、過大な視差やオクリュージョンの発生が多くなり、観察者に違和感や疲労感を発生させる可能性が高い。このような場合、左眼画像１枚から生成したステレオ画像対、すなわち、ステレオ画像生成処理部１０３において生成した生成右眼画像と生成左眼画像のステレオ画像対を出力し、観察させることで過大な視差やオクリュージョンの発生が少ない快適なステレオ視を実現させることができる。
【０１１８】
出力画像選択処理部１０５では、上記のような出力画像選択を実行する。すなわち、図１３（ａ２），（ｂ２）に示すような画像の距離分布ヒストグラムに基づいて選択画像の判別を行なう。その手法は特に限定するものではないが、例えば、度数が上位の奥行き値があるしきい値ｔｈよりも上か下か、を識別することにより出力ステレオ画像対を決定する方法や、ヒストグラムの重心の値を算出し、その値があるしきい値ｔｈよりも上か下か、を識別することにより出力ステレオ画像対を決定する方法、などがある。
【０１１９】
出力画像選択処理部１０５の具体的構成例について図１４以下を参照して説明する。
図１４は、出力画像選択処理部１０５の構成の一例である。
図１４に示す構成において出力画像選択処理部１０５は、図１３を参照して説明した画像のデプスマップから生成される距離ヒストグラムに基づいて画像処理装置１００から出力するステレオ画像ペアの選択処理を行う。
【０１２０】
出力画像選択処理部１０５は、図１４に示すように、制御信号生成部１０５ａ、制御部１０５ｂ，１０５ｃを有する。
制御信号生成部１０５ａは、デプスマップ生成処理部１０４から入力するデプスマップに基づいて図１３（ａ２），（ｂ２）に示すような距離ヒストグラムを生成する。
さらに、制御信号生成部１０５ａは、予め保持したしきい値（ｔｈ）と、生成したヒストグラムの重心の値を比較し、ヒストグラム重心が、しきい値ｔｈ以上か未満かを識別し、識別結果に応じた制御信号（１，０）を制御部１０５ｂ，１０５ｃに出力する。
【０１２１】
制御部１０５ｂは画像処理装置１００に入力される２眼撮像系の撮影画像である「入力右眼画像」と「入力左眼画像」を入力し、これらの画像の出力制御を実行する。制御信号生成部１０５ａから制御信号［１］が入力されると、これらの画像を出力する構成となっている。
一方、制御部１０５ｃはステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」を入力し、これらの画像の出力制御を実行する。制御信号生成部１０５ａから制御信号［１］が入力されると、これらの画像を出力する構成となっている。
このように、図１４に示す出力画像選択処理部１０５は、制御信号生成部１０５ａと２つの制御部１０５ｂ，ｃによって構成される。
【０１２２】
図１４（１）が、デプスマップ生成処理部１０４から入力するデプスマップに基づいて生成した距離ヒストグラムの重心が、しきい値ｔｈ以上である場合の処理を示している。すなわち、画像全体の被写体距離が比較的、奥（カメラから遠い）に位置している場合の処理である。
この場合、制御信号生成部１０５ａは、
２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」の出力制御を行う制御部１０５ｂに出力許可を示す制御信号［１］を出力し、
ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」の出力制御を行う制御部１０５ｃに出力不許可を示す制御信号［０］を出力する。
この結果、出力画像選択処理部１０５の出力する画像、すなわち、画像処理装置１００からの出力画像は、２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」となる。
【０１２３】
図１４（２）は、デプスマップ生成処理部１０４から入力するデプスマップに基づいて生成した距離ヒストグラムの重心が、しきい値ｔｈ未満である場合の処理を示している。すなわち、画像全体の被写体距離が比較的、手前（カメラに近い）に位置している場合の処理である。
この場合、制御信号生成部１０５ａは、
２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」の出力制御を行う制御部１０５ｂに出力不許可を示す制御信号［０］を出力し、
ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」の出力制御を行う制御部１０５ｃに出力許可を示す制御信号［１］を出力する。
この結果、出力画像選択処理部１０５の出力する画像、すなわち、画像処理装置１００からの出力画像は、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」となる。
【０１２４】
図１４に示す処理例では、出力画像選択処理部１０５から出力されるステレオ画像ペアは、
（１）画像処理装置１００に入力される２眼撮像系の撮影画像である「入力右眼画像」と「入力左眼画像」、
（２）ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」、
これら（１），（２）のいずれかの画像ペアである。すなわち、入力ステレオ画像ペア、または、生成ステレオ画像ペアのいずれかである。
【０１２５】
しかし、画像処理装置１００から出力するステレオ画像のペアは、入力ステレオ画像と生成ステレオ画像を混在させた構成としてもよい。
例えば、
画像処理装置１００に入力される２眼撮像系の撮影画像である「入力右眼画像」と、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成左眼画像」とをステレオ画像のペアとして設定して出力するといった構成としてもよい。
このような組合せをすることで、出力ステレオ画像ペアの左右画像間の視差量を、より細かく制御することができる。
【０１２６】
このような様々な画像の組み合わせによる画像出力制御を実行する出力画像選択処理部１０５の構成と処理例について図１５〜図１７を参照して説明する。
図１５〜図１７に示す出力画像選択処理部１０５は、
制御信号生成部１０５ａと、４つの制御部１０５ｂ〜１０５ｅを有する。
【０１２７】
制御信号生成部１０５ａは、デプスマップ生成処理部１０４から入力するデプスマップに基づいて図１３（ａ２），（ｂ２）に示すような距離ヒストグラムを生成する。
さらに、制御信号生成部１０５ａは、予め保持したしきい値（ｔｈ１，ｔｈ２）と、生成したヒストグラムの重心の値を比較し、ヒストグラム重心が、しきい値（ｔｈ１，ｔｈ２）以上か未満かを識別し、識別結果に応じた制御信号（１，０）を制御部１０５ｂ〜１０５ｅに出力する。
なお、しきい値ｔｈ１，ｔｈ２は、
奥（カメラからの距離大）＞ｔｈ１＞ｔｈ２＞手前（カメラからの距離小）
上記のように、しきい値ｔｈ１がｔｈ２より、カメラからの距離が大の位置に設定されたしきい値である。
【０１２８】
制御部１０５ｂは画像処理装置１００に入力される２眼撮像系の撮影画像である「入力右眼画像」を入力し、この「入力右眼画像」の出力制御を実行する。制御信号生成部１０５ａから制御信号［１］が入力されると、この「入力右眼画像」を出力する構成となっている。
制御部１０５ｃは画像処理装置１００に入力される２眼撮像系の撮影画像である「入力左眼画像」を入力し、この「入力左眼画像」の出力制御を実行する。制御信号生成部１０５ａから制御信号［１］が入力されると、この「入力左眼画像」を出力する構成となっている。
【０１２９】
一方、制御部１０５ｄはステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」を入力し、この「生成右眼画像」の出力制御を実行する。制御信号生成部１０５ａから制御信号［１］が入力されると、この「生成右眼画像」を出力する構成となっている。
制御部１０５ｅはステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成左眼画像」を入力し、この「生成左眼画像」の出力制御を実行する。制御信号生成部１０５ａから制御信号［１］が入力されると、この「生成左眼画像」を出力する構成となっている。
【０１３０】
図１５に示す例が、デプスマップ生成処理部１０４から入力するデプスマップに基づいて生成した距離ヒストグラムの重心が、しきい値ｔｈ１以上である場合の処理を示している。すなわち、画像全体の被写体距離が比較的、奥（カメラから遠い）に位置している場合の処理である。
【０１３１】
この場合、制御信号生成部１０５ａは、
２眼撮像系で撮影された「入力右眼画像」の出力制御を行う制御部１０５ｂに出力許可を示す制御信号［１］を出力し、さらに、
２眼撮像系で撮影された「入力左眼画像」の出力制御を行う制御部１０５ｃに出力許可を示す制御信号［１］を出力する。
また、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」の出力制御を行う制御部１０５ｄ，ｅに出力不許可を示す制御信号［０］を出力する。
この結果、出力画像選択処理部１０５の出力する画像、すなわち、画像処理装置１００からの出力画像は、２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」となる。
【０１３２】
図１６に示す例は、デプスマップ生成処理部１０４から入力するデプスマップに基づいて生成した距離ヒストグラムの重心が、しきい値ｔｈ２以上、かつｔｈ１未満である場合の処理を示している。すなわち、画像全体の被写体距離が比較的、中間的な距離に位置している場合の処理である。
【０１３３】
この場合、制御信号生成部１０５ａは、
２眼撮像系で撮影された「入力右眼画像」の出力制御を行う制御部１０５ｂに出力許可を示す制御信号［１］を出力し、さらに、
２眼撮像系で撮影された「入力左眼画像」の出力制御を行う制御部１０５ｃに出力不許可を示す制御信号［０］を出力する。
また、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」の出力制御を行う制御部１０５ｄに出力許可を示す制御信号［１］を出力する。
さらに、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成左眼画像」の出力制御を行う制御部１０５ｅに出力不許可を示す制御信号［０］を出力する。
この結果、出力画像選択処理部１０５の出力する画像、すなわち、画像処理装置１００からの出力画像は、
２眼撮像系で撮影された「入力右眼画像」と、
ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」となる。
【０１３４】
この場合、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」は左眼用画像として出力される。
ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」は元々「入力左眼画像」に基づいて生成されたものであり、「入力左眼画像」よりは右側の視点からの画像となり、かつ「入力右眼画像」よりは左視点からの画像となる。
すなわち、２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」の組み合わせより視差の少ない画像ペアとなる。
【０１３５】
図１７に示す例は、デプスマップ生成処理部１０４から入力するデプスマップに基づいて生成した距離ヒストグラムの重心が、しきい値ｔｈ２未満である場合の処理を示している。すなわち、画像全体の被写体距離が比較的、手前（カメラに近い）に位置している場合の処理である。
【０１３６】
この場合、制御信号生成部１０５ａは、
２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」の出力制御を行う制御部１０５ｂ，ｃに出力不許可を示す制御信号［０］を出力する。
また、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」の出力制御を行う制御部１０５ｄ，ｅに出力許可を示す制御信号［１］を出力する。
この結果、出力画像選択処理部１０５の出力する画像、すなわち、画像処理装置１００からの出力画像は、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」となる。
【０１３７】
このように、図１５〜図１７を参照して説明した設定では、
（ａ）処理対象の画像の被写体距離が比較的遠い（奥）場合は、２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」の組み合わせを出力（図１５）する。
（ｂ）処理対象の画像の被写体距離が中間的な距離の場合は、２眼撮像系で撮影された「入力右眼画像」と、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」を左眼画像とした組み合わせを出力（図１６）する。
（ｃ）処理対象の画像の被写体距離が比較的近い（手前）場合は、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」の組み合わせを出力（図１７）する。
このような３態様を画像に応じて選択して、出力画像の組み合わせを変更する。
【０１３８】
［２．その他の実施例について］
上述の実施例において説明した画像処理装置の構成、すなわち、図５に示す画像処理装置１００は、本開示の画像処理装置の実施形態の一例であり、他に様々な実施形態が存在する。
図１８以下を参照して、複数の実施例について説明する。
【０１３９】
（２−１．最小構成要素の構成例について）
図１８は、本開示の画像処理装置における最小の構成要素からなる構成例である。
画像処理装置３００は、右眼画像入力部３０１、左眼画像入力部３０２と、ステレオ画像生成処理部３０３を有する。
画像処理装置３００は、２眼ステレオ画像信号を入力する。入力画像信号は、左右対の撮像系で撮像された左右のステレオ画像、すなわち入力右眼画像と入力左眼画像である。例えば、図２に示す２眼撮像系Ａ１０や、２眼撮像系Ｂ２０等の２つの異なる視点からの２枚の画像のペアを入力する。
これらの入力右眼画像と入力左眼画像はそれぞれ、右眼画像入力部３０１および左眼画像入力部３０２に入力される。
【０１４０】
ステレオ画像生成処理部３０３は、入力した１つの画像（本例では入力左眼画像）を利用した２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
ただし、本実施例では、ステレオ画像生成処理部３０３は、デプスマップを利用することなく、２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
【０１４１】
画像処理装置３００からは、
（ａ）画像処理装置３００の入力である２眼撮像系において撮影された入力右眼画像と入力左眼画像のステレオ画像ペア、、
（ｂ）ステレオ画像生成処理部３０３における２Ｄ３Ｄ変換処理によって生成された生成右眼画像と生成左眼画像のステレオ画像ペア、
これらのすべての画像を出力する。
すなわち、出力画像の選択処理は実行しない。
【０１４２】
本実施例において、ステレオ画像生成処理部３０３は、デプスマップを利用することなく、２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
先に図５以下を参照して説明した実施例では、ステレオ画像生成処理部１０３は、デプスマップを利用して、被写体距離（デプス）に応じてシフト量を変更した２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成していた。
これに対して、図１８に示す画像処理装置３００のステレオ画像生成処理部３０３は、デプスマップを利用することなく、被写体距離（デプス）に依存しないシフト量の設定による２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
【０１４３】
なお、この２Ｄ３Ｄ変換処理には、例えば、本出願人と同一出願人の特開２０１０−６３０８３号に開示された構成が適用可能である。
【０１４４】
（２−２．出力画像選択処理部を省略した構成例について）
次に、図５に示す画像処理装置１００から出力画像選択処理部１０５を省略した構成例について図１９を参照して説明する。
【０１４５】
図１９に示す画像処理装置３２０は、右眼画像入力部３２１、左眼画像入力部３２２、ステレオ画像生成処理部３２３、デプスマップ生成処理部３２４を有する。
画像処理装置３２０は、２眼ステレオ画像信号を入力する。入力画像信号は、左右対の撮像系で撮像された左右のステレオ画像、すなわち入力右眼画像と入力左眼画像である。例えば、図２に示す２眼撮像系Ａ１０や、２眼撮像系Ｂ２０等の２つの異なる視点からの２枚の画像のペアを入力する。
これらの入力右眼画像と入力左眼画像はそれぞれ、右眼画像入力部３２１および左眼画像入力部３２２に入力される。
【０１４６】
ステレオ画像生成処理部３２３は、入力した１つの画像（本例では入力左眼画像）に基づいて、デプスマップ生成処理部３２４の生成したデプスマップを利用した２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
【０１４７】
デプスマップ生成処理部３２４は、入力画像の各画素に距離情報を対応付けたデプスマップを生成して出力する。
デプスマップは、画像を構成する画素の被写体についての被写体距離（カメラからの距離）を示すデータであり、例えば、画像の各画素の被写体の距離情報を輝度情報に変換して示した画像などによって構成される。
【０１４８】
画像処理装置３２０からは、
（ａ）画像処理装置３２０の入力である２眼撮像系において撮影された入力右眼画像と入力左眼画像のステレオ画像ペア、、
（ｂ）ステレオ画像生成処理部３２３における２Ｄ３Ｄ変換処理によって生成された生成右眼画像と生成左眼画像のステレオ画像ペア、
これらのすべての画像を出力する。
すなわち、出力画像の選択処理は実行しない。
【０１４９】
本実施例は、先に図５他を参照して説明した実施例から出力画像の選択を行う出力画像選択処理部１０５を省略した構成である。
【０１５０】
（２−３．出力画像選択処理部においてデプスマップを適用しない設定とした構成例について）
次に、出力画像選択処理部においてデプスマップを適用しない設定とした構成例について図２０を参照して説明する。
【０１５１】
図２０に示す画像処理装置３４０は、右眼画像入力部３４１、左眼画像入力部３４２、ステレオ画像生成処理部３４３、デプスマップ生成処理部３４４、出力画像選択処理部３４５を有する。
構成要素は、先に図５を参照して説明した画像処理装置１００と同様である。
ただし、図２０に示す画像処理装置３４０の出力画像選択処理部３４５は、デプスマップを用いずに出力画像の選択処理を行う。この点が先に図５を参照して説明した実施例とは異なる点である。
【０１５２】
画像処理装置３４０は、２眼ステレオ画像信号を入力する。入力画像信号は、左右対の撮像系で撮像された左右のステレオ画像、すなわち入力右眼画像と入力左眼画像である。例えば、図２に示す２眼撮像系Ａ１０や、２眼撮像系Ｂ２０等の２つの異なる視点からの２枚の画像のペアを入力する。
これらの入力右眼画像と入力左眼画像はそれぞれ、右眼画像入力部３４１および左眼画像入力部３４２に入力される。
【０１５３】
ステレオ画像生成処理部３４３は、入力した１つの画像（本例では入力左眼画像）に基づいて、デプスマップ生成処理部３４４の生成したデプスマップを利用した２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
【０１５４】
デプスマップ生成処理部３４４は、入力画像の各画素に距離情報を対応付けたデプスマップを生成して出力する。
デプスマップは、画像を構成する画素の被写体についての被写体距離（カメラからの距離）を示すデータであり、例えば、画像の各画素の被写体の距離情報を輝度情報に変換して示した画像などによって構成される。
【０１５５】
出力画像選択処理部３４５は、
（ａ）画像処理装置１００の入力である入力右眼画像と入力左眼画像、
（ｂ）ステレオ画像生成処理部１０３において生成された生成右眼画像と生成左眼画像、
これらの画像から出力する画像を選択する処理を行う。
ただし、本実施例において、出力画像選択処理部３４５は、デプスマップを用いずに出力画像の選択処理を行う。この点が先に図５を参照して説明した実施例とは異なる点である。
【０１５６】
デプス情報を用いることなく、入力した画像情報から出力画像選択処理を行う出力画像選択処理部３４５の実行する処理例について、図２１を参照して説明する。
図２１は、出力画像選択処理部３４５における出力画像選択処理の一例を説明する図である。
【０１５７】
図２１には、
（ａ）入力左眼画像と、入力左画像輝度分布（画像を水平方向に分割し、各分割領域の輝度値総和を示す輝度分布）
（ｂ）入力右眼画像と、入力右画像輝度分布（画像を水平方向に分割し、各分割領域の輝度値総和を示す輝度分布）
これらを示している。
【０１５８】
入力左眼画像、入力右眼画像は、例えば、図２に示す２眼撮像系Ａ１０や、２眼撮像系Ｂ２０等の２つの異なる視点からの２枚の画像のペアであり、図２０に示す左眼画像入力部３４２、右眼画像入力部３４１を介して出力画像選択部３４５に入力される。
出力画像選択部３４５は、これらの入力画像に基づいて、図２１の下段に示す画像輝度分布を解析する。入力左眼画像、入力右眼画像の各々について、画像を水平方向に分割し、各分割領域の輝度値総和を示す輝度分布を算出する。
図に示すように、左右画像のそれぞれについて、水平方向にｎ分割して、各分割領域の縦方向の輝度総和を算出する。
【０１５９】
さらに、各横方向の座標ごとにその差分を算出し、さらに、その差分総和をとることで、左右画像の類似度を算出する。その際、一方の画像を一様にシフトし、差分総和の平均を算出することで、シフト量に応じた左右画像の類似度が計算できる。類似度が最小となるシフト量の値が、左右画像の視差の推測値となる。
【０１６０】
具体的には、例えば以下の処理を行う。以下の式において、
Ｌｘは、Ｌ０〜Ｌｎにおける輝度総和値を示す。
Ｒｘは、Ｒ０〜Ｒｎにおける輝度総和値を示す。
シフト量０：差分総和平均＝（（Ｌ０−Ｒ０）＋（Ｌ１−Ｒ１）・・・＋（Ｌｎ−Ｒｎ））／ｎ
シフト量１：差分総和平均＝（（Ｌ０−Ｒ１）＋（Ｌ１−Ｒ２）・・・＋（Ｌｎ−１−Ｒｎ））／（ｎ−１）
シフト量２：差分総和平均＝（（Ｌ０−Ｒ２）＋（Ｌ１−Ｒ３）・・・＋（Ｌｎ−２−Ｒｎ））／（ｎ−２）
：
【０１６１】
上記式によって算出される差分総和平均の値がシフト量に応じた２つの画像の類似度を示しており、最小の差分総和平均の値を持つシフト量の値が、左右画像の視差の推測値となる。
出力画像選択部３４５は、この左右視差の推測値を、先に図１３〜図１７を参照して説明したデプスのヒストグラムの重心と同じように扱い、出力画像の選択に用いる。
つまり、出力画像選択部３４５は、
左右視差の推測値が一定の大きさのシフト量（の絶対値）Ｓｍｉｎ以上の場合、ステレオ画像生成処理部で生成された生成ステレオ画像対を出力し、
Ｓｍｉｎ未満の場合、入力ステレオ画像対を出力する、といった出力画像選択処理を実行する。
【０１６２】
また、計算量の削減のためには、左右の差分総和を検証するシフト量をＳｍｉｎまでとし、−ＳｍｉｎからＳｍｉｎまでをシフト量を順に変えて差分総和を算出し、その間に差分総和が一定のしきい値Ｄｓを下回った場合に、生成ステレオ画像対を出力し、そうで無い場合、入力ステレオ画像対を出力する、という方法が有効である。
以上のように、入力の画像のみを用いて、簡易に出力画像選択処理を実施することも可能である。
【０１６３】
（２−４．撮像情報に基づく出力画像選択を実行する構成例について）
次に、撮像情報に基づく出力画像選択を実行する構成例について説明する。
図２２に示す画像処理装置５００は、先に説明した図２０の画像処理装置３４０と同様の構成を有する。ただし、出力画像選択処理部５０５に対して、２眼ステレオ撮像装置４００から、［撮影モード・フォーカス位置などの撮像情報５００Ａ，Ｂ］が入力される点が異なっている。
【０１６４】
図２２に示す構成では、２眼ステレオ撮像装置４００の右眼撮像部４０１から［撮影モード・フォーカス位置などの撮像情報５００Ａ］が出力画像選択処理部５０５に入力され、、２眼ステレオ撮像装置４００の左眼撮像部４０２から［撮影モード・フォーカス位置などの撮像情報５００Ｂ］が出力画像選択処理部５０５に入力される。
【０１６５】
なお、出力画像選択処理部５０５に入力する撮像情報には、様々な内容が考えられる。例えば、フォーカス位置情報や撮像モードの情報といったメタデータである。
フォーカス位置の情報は、被写体までの距離との相関が高い情報である。例えば、フォーカス位置が近い場合は、カメラからの距離が近い被写体を撮影している可能性が高い。そのため、見やすい立体像を得るために、ステレオ画像生成処理部で生成された生成ステレオ画像対を出力すべきである。一方、フォーカス位置が遠い場合は、カメラからの距離が遠い被写体を撮影している可能性が高い。そのため、入力ステレオ画像ペアをそのまま出力すべきである。このような情報が出力画像選択処理部５０５に入力された場合、出力画像選択処理部５０５は、入力ステレオ画像ペアをそのまま出力する。
【０１６６】
さらに、デジタルカメラの機能として、自動またはユーザーにより選択される、撮像モードの情報も、被写体までの距離を推測するために有効な情報である。例えば、「マクロモード」が選択されている場合は、カメラからの距離が近い被写体を撮影している可能性が高い。そのため、見やすい立体像を得るために、ステレオ画像生成処理部５０３で２Ｄ３Ｄ変換処理によって生成された生成ステレオ画像対を出力すべきである。このような情報が出力画像選択処理部５０５に入力された場合、出力画像選択処理部５０５は、ステレオ画像生成処理部５０３で２Ｄ３Ｄ変換処理によって生成された生成ステレオ画像ペアを選択出力する。
【０１６７】
一方、「風景モード」が選択されている場合は、カメラからの距離が遠い被写体を撮影している可能性が高い。そのため、入力ステレオ画像対をそのまま出力すべきである。このような情報が出力画像選択処理部５０５に入力された場合、出力画像選択処理部５０５は、入力ステレオ画像ペアをそのまま出力する。
【０１６８】
以上、撮像情報として２つのメタデータを例にあげたが、これ以外にも被写体までの距離との相関がある撮像情報を利用することで、出力画像選択処理を行うことが可能である。
また、図２２に示す構成例では、左眼、右眼の双方の撮像系における撮像情報が入力する設定としているが、いずれか一方を用いる構成としてもよい。
【０１６９】
なお、図２２に示す構成において、出力画像選択処理部５０５は、撮像装置４００から入力する撮像情報に基づく出力画像選択処理を実行する構成としているが、例えば図２３に示す画像処理装置５２０のように、出力画像選択処理部５２５に対して、撮像装置４００からの撮像情報５００Ａ，Ｂの他、デプスマップ生成処理部５２４の生成したデプスマップを入力して、前述したデプスマップと閾値との比較結果と、撮像情報の双方を考慮して出力画像の選択を実行する構成としてもよい。
例えば、デプスマップ、入力画像対、撮像情報のそれぞれの要素を重み付けして、最終的に出力画像対を選択する方法などが適用できる。
【０１７０】
（２−５．ユーザ選択情報に基づく出力画像選択を実行する構成例について）
次に、ユーザから入力される選択情報に基づく出力画像選択を実行する構成例について説明する。
図２４に示す画像処理装置５４０は、先に説明した図２０の画像処理装置３４０と同様の構成を有する。ただし、出力画像選択処理部５０５に対して、図示しない入力部を介して、［ユーザからの選択情報５００Ｃ］が入力される点が異なっている。
【０１７１】
これまでに説明した構成では、出力画像選択処理部において、自動で出力ステレオ画像対を選択するものであったが、図２４に示す画像処理装置５４０は、出力画像選択処理部５４５が、ユーザによって入力される選択情報を入力して、この入力に従って出力画像の選択を実行する。
【０１７２】
図２４に示す画像処理装置５４０ｉおいては、ユーザが手動にて、入力ステレオ画像対、生成ステレオ画像対、を選択することを想定している。例えば、左右カメラモード」と「３Ｄ変換モード」といった項目がプレビュー画面に表示され、ユーザーの意思によってこれを選択する、といった手段が考えられる。
【０１７３】
なお、このように、出力画像選択処理部では、
デプスマップ、
撮像情報、
ユーザ選択情報、
これらの情報のいずれか、または組み合わせて利用して出力画像を選択することができる。
また、出力画像の選択に際しては、
（ａ）画像処理装置の入力である２眼撮像系において撮影された入力右眼画像と入力左眼画像のステレオ画像ペア、もしくは、
（ｂ）ステレオ画像生成処理部における２Ｄ３Ｄ変換処理によって生成された生成右眼画像と生成左眼画像のステレオ画像ペア、
上記（ａ）または（ｂ）の画像ペアのいずれかの設定とする構成の他、先に、図１５〜図１７を参照して説明したように上記（ａ），（ｂ）の混在した画像ペアを出力画像として選択する構成としてもよい。
【０１７４】
（２−６．デプスマップ生成処理部を省略した構成例について）
次に、デプスマップ生成処理部を省略した構成例について図２５を参照して説明する。
図２５に示す画像処理装置５６０は、先に説明した図５に示す画像処理装置１００から、デプスマップ生成処理部を省いた構成を持つ。
すなわち、この構成では、出力画像選択処理部５６５は、デプスマップを用いることなく出力画像の選択を実行する。
【０１７５】
出力画像選択処理部５６５は、例えば、
入力画像情報に基づく画像選択、
撮像情報に基づく画像選択、
ユーザの選択情報に基づく画像選択、
これらのいずれか、またはこれらの組み合わせに基づく画像選択を実行する。
また、選択出力する画像のペアは、
（ａ）画像処理装置の入力である２眼撮像系において撮影された入力右眼画像と入力左眼画像のステレオ画像ペア、もしくは、
（ｂ）ステレオ画像生成処理部における２Ｄ３Ｄ変換処理によって生成された生成右眼画像と生成左眼画像のステレオ画像ペア、
上記（ａ）または（ｂ）の画像ペアのいずれかの設定とする構成の他、先に、図１５〜図１７を参照して説明したように上記（ａ），（ｂ）の混在した画像ペアを出力画像として選択する構成としてもよい。
【０１７６】
［３．画像処理装置に対する入力画像を制御する構成を持つ実施例について］
ここまで説明した画像処理装置は、全て、画像処理装置に左右両眼の画像信号が入力されていた。しかし、画像処理装置に左右ステレオ画像対が入力する前に、ステレオ変換処理による生成ステレオ画像ペアを出力することが決定されている場合、ステレオ変換に用いない右眼画像は画像処理装置に入力する必要がない。
さらに、撮像装置による撮像以前に、ステレオ変換処理による生成ステレオ画像ペアの出力が決定されている場合は、ステレオ変換に用いない右眼画像は撮像する必要すらない。
このように、出力画像の設定次第では、画像入力処理や画像撮影処理を簡略化する制御を行うことが可能となる。以下、このような制御構成を持つ装置の例について説明する。
【０１７７】
（３−１．入力画像選択を入力処理前に行う構成例について）
まず、入力画像選択を入力処理前に行う構成について説明する。具体的には、２Ｄ／３Ｄ変換処理画像を出力画像として決定した場合、２眼撮像系によって撮影された２つの画像の一方のみ、例えば、左眼画像のみを装置に入力する画像処理装置の構成について、図２６を参照して説明する。
【０１７８】
図２６に示す画像処理装置７００は、先に図１８を参照して説明した画像処理装置３００の構成に入力画像選択処理部７０１を追加した構成を持つ。
右眼撮像部６０１と左眼撮像部６０２を有する２眼ステレオ撮像装置６００から入力右眼画像、入力左眼画像を入力し、処理を実行する構成を持つ。
【０１７９】
入力画像選択処理部７０１は、画像処理装置７００から出力するステレオ画像ペアが、撮像装置６００の右眼撮像部６０１および左眼撮像部６０２で撮像されたステレオ画像ペア（以降、撮像ステレオ画像ペアと表記）か、左眼撮像部６０２で撮像された１枚画像を、ステレオ画像生成処理部７０４において２Ｄ３Ｄ変換（ステレオ変換）して生成した生成ステレオ画像ペアかを判別し、前者であれば、右眼と左眼双方の画像信号を画像処理装置７００に入力し、後者であれば、左眼画像信号のみを画像処理装置７００に入力する。
【０１８０】
図２６に示す画像処理装置７００において、実線と点線で、異なる処理ケースにおけるデータの流れを示している。すなわち、
画像処理装置７００内の実線で示す矢印に従ったデータの流れが、画像処理装置７００からの出力が、ステレオ画像生成処理部７０４において２Ｄ３Ｄ変換（ステレオ変換）して生成した生成ステレオ画像ペアである場合の処理であり、左眼画像信号のみを入力する処理ケース１を示している。
画像処理装置７００内の点線で示す矢印に従ったデータの流れが、画像処理装置７００からの出力が、撮像装置６００の右眼撮像部６０１および左眼撮像部６０２で撮像されたステレオ画像ペアである場合の処理であり、右眼画像信号と、左眼画像信号の双方を入力する処理ケース２を示している。
【０１８１】
なお、入力画像選択処理部７０１は、入力画像の選定にあたって、画像処理装置７００の出力画像を決定し、その決定情報に基づいて入力画像を決定するといった処理を行う。
出力画像の決定処理には、先に説明した実施例と同様、
入力画像情報に基づく画像選択、
撮像情報に基づく画像選択、
ユーザの選択情報に基づく画像選択、
これらのいずれか、またはこれらの組み合わせに基づく画像選択を実行する。
【０１８２】
図２６に示す画像処理装置７００の構成において、入力画像選択処理部７０１が、撮像情報に基づいて出力画像を決定し、この出力画像の決定に基づいて入力画像を選択する構成例は、図２７に示す構成となる。
図２７の画像処理装置７００において、入力画像選択処理部７０１は、２眼ステレオ撮像装置６００から［撮影モード・フォーカス位置などの撮像情報６００Ａ，Ｂ］を入力し、これらの情報に基づいて、画像処理装置７００から出力する画像ペウを決定する。さらに、この出力画像の決定に基づいて入力画像を選択する。
【０１８３】
図２７において、画像処理装置７００内の実線で示す矢印に従ったデータの流れが、画像処理装置７００からの出力が、ステレオ画像生成処理部７０４において２Ｄ３Ｄ変換（ステレオ変換）して生成した生成ステレオ画像ペアである場合の処理であり、左眼画像信号のみを入力する処理ケース１を示している。
画像処理装置７００内の点線で示す矢印に従ったデータの流れが、画像処理装置７００からの出力が、撮像装置６００の右眼撮像部６０１および左眼撮像部６０２で撮像されたステレオ画像ペアである場合の処理であり、右眼画像信号と、左眼画像信号の双方を入力する処理ケース２を示している。
【０１８４】
（３−２．入力画像選択を撮影前に行う構成例について）
次に、入力画像選択を撮影前に行う構成例について説明する。
具体的には、２Ｄ／３Ｄ変換処理画像を出力画像として決定した場合、２眼撮像系によって撮影する画像を左眼画像のみとし、右眼画像の撮影は中止するという制御を行う構成について、図２８を参照して説明する。
【０１８５】
図２８に示す画像処理装置７２０は、先に図１８を参照して説明した画像処理装置３００の構成に入力画像選択処理部７２１を追加した構成を持つ。
右眼撮像部６０１と左眼撮像部６０２を有する２眼ステレオ撮像装置６００から入力右眼画像、入力左眼画像を入力し、処理を実行する構成を持つ。
【０１８６】
入力画像選択処理部７２１は、画像処理装置７２０から出力するステレオ画像ペアが、撮像装置６００の右眼撮像部６０１および左眼撮像部６０２で撮像されたステレオ画像ペア（以降、撮像ステレオ画像ペアと表記）か、左眼撮像部６０２で撮像された１枚画像を、ステレオ画像生成処理部７２４において２Ｄ３Ｄ変換（ステレオ変換）して生成した生成ステレオ画像ペアかを判別し、前者であれば、右眼と左眼双方の画像信号を画像処理装置７２０に入力する。
後者であれば、左眼画像信号のみを画像処理装置７２０に入力する。さらに、入力画像選択処理部７２１は、撮像装置６００に対して制御信号を出力して、右眼撮像部６０１における右眼画像の撮影を中止させる制御を実行する。
【０１８７】
図２８に示す［制御信号０，７００Ａ］が、右眼撮像部６０１に対する撮影中止を行わせる制御信号であり、［制御信号１，７００Ｂ］が、右眼撮像部６０１に対する撮影を行わせる制御信号である。
【０１８８】
これは、撮像装置による撮像以前に、出力すべきステレオ画像対が、撮像ステレオ画像対か生成ステレオ画像対かを判別し、生成ステレオ画像対を出力すべきと判別されてしまえば、ステレオ変換に用いない右眼画像は撮像しないという撮像制御を実行する構成である。
なお、この場合の入力画像選択処理は、
フォーカス位置情報や撮像モードの情報といった、撮像しようとしているメタデータを元に、入力画像対を選択する方法、
ユーザーによる選択によって行なう構成、
などの構成が可能である。
【０１８９】
図２８は、入力画像選択処理部７２１が、撮像装置６００から撮像情報を入力して出力画像を決定して、決定した出力画像に基づいて撮像制御処理を実行する構成例を示している。
図２９は、入力画像選択処理部７２１が、図示しない入力部を介してユーザ選択情報を入力して出力画像を決定して、決定した出力画像に基づいて撮像制御処理を実行する構成例を示している。
【０１９０】
図２８、図２９のいずれにおいても、画像処理装置７２０内の実線で示す矢印に従ったデータの流れが、画像処理装置７２０からの出力が、ステレオ画像生成処理部７２４において２Ｄ３Ｄ変換（ステレオ変換）して生成した生成ステレオ画像ペアである場合の処理であり、左眼画像信号のみを入力する処理ケース１を示している。
画像処理装置７２０内の点線で示す矢印に従ったデータの流れが、画像処理装置７２０からの出力が、撮像装置６００の右眼撮像部６０１および左眼撮像部６０２で撮像されたステレオ画像ペアである場合の処理であり、右眼画像信号と、左眼画像信号の双方を入力する処理ケース２を示している。
【０１９１】
［４．デプスマップを外部装置から入力する構成］
例えば先に図５を参照して説明した画像処理装置１００では、画像処理装置内部にデプスマップ生成処理部を有し、画像処理装置内部でデプスマップを生成する構成としていた。
しかし、デプスマップは画像処理装置の外部の別の装置から入力する構成としてもよい。
例えば図３０に示す構成である。
【０１９２】
図３０に示す画像処理装置８２０は、デプスマップ生成処理部を持たず、外部のデプス情報取得装置８１０の生成したデプスマップを入力して、ステレオ画像生成処理部８２３において利用する構成としている。
デプス情報取得装置８１０は、例えばレンジセンサなどを用いることを想定している。
【０１９３】
図３０に示す画像処理装置８２０は、入力したステレオ画像ペアを、各画像入力部８２１，８２２を介してステレオ画像生成処理部８２３に入力し、さらに、ステレオ画像生成処理部８２３は外部装置としてのデプス情報取得装置８１０からデプスマップを取得する。
その後のステレオ画像生成処理部８２３における処理は、先に説明した実施例における処理と同様である。
【０１９４】
［５．２Ｄ３Ｄ変換処理対象画像を右眼画像または選択可能とした構成］
上述した実施例では、ステレオ画像生成処理部に入力する画像を左眼画像とした処理例を説明し、２Ｄ３Ｄ変換処理を実行する画像を左眼画像として説明したが、右眼画像を処理対象として２Ｄ３Ｄ変換処理を実行する構成としてもよい。
【０１９５】
図３１に示す画像処理装置８４０は、ステレオ画像生成処理部８４３に入力する画像を右眼画像とし、右眼画像に基づく２Ｄ３Ｄ変換処理を実行してステレオ画像を生成する構成例である。
【０１９６】
また、図３２に示す画像処理装置８５０のように、ステレオ変換画像選択処理部８５３を設定し、ステレオ画像生成処理部８５４に入力する画像を右眼画像とするか左眼画像とするかを選択可能とした構成としてもよい。
【０１９７】
選択する基準としてはさまざまな基準が利用可能であるが、例えば、左右画像のどちらが人の目から見て映りがよいか、を判断して選択するといった設定が可能である。具体的には、主たる被写体が、より構図の中心にある方を選ぶ、あるいは、フォーカス位置がより合致している方を選ぶ、などのように、総合的に良い画像を選ぶといった設定が可能である。
なお、撮影画像の中から総合的に良い画像を自動で評価する技術には、例えば、特開２０１０−１１９０９７号公報に記載された評価処理が適用可能である。
こうした技術を用いて、左右のうち、総合的に良い方の画像を、ステレオ画像生成処理部の入力とすればよい。
【０１９８】
なお、図３２において、ステレオ変換画像選択処理部８５３から、ステレオ画像生成処理部の実線と点線の設定は以下の通りである。
左眼画像をステレオ変換処理する画像と判別した場合を実線で示している。
右眼画像をステレオ変換処理する画像と判別した場合を点線で示している。
【０１９９】
ステレオ変換画像選択処理部８５３には、左右の入力ステレオ画像対が入力され、ステレオ変換処理する側の画像を選択する。
なお、この実施例においても、ステレオ変換に用いない側の画像は撮像しない制御を行う構成を適用可能である。
【０２００】
［４．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２０１】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力部と、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理部を有し、
前記画像入力部に入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力する画像処理装置。
【０２０２】
（２）前記画像処理装置は、前記画像入力部に入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像からステレオ視に適用する２つの画像を出力画像として選択する出力画像選択処理部を有する前記（１）に記載の画像処理装置。
（３）前記画像処理装置は、前記第１左眼画像と前記第１右眼画像を入力し、２つの入力画像の解析に基づいて、画像に撮り込まれた被写体距離を算出し画素領域対応の距離情報を持つデプスマップを生成して前記出力画像選択処理部に出力するデプスマップ生成処理部を有する前記（１）または（２）に記載の画像処理装置。
【０２０３】
（４）前記出力画像選択処理部は、前記デプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択し、被写体距離が相対的に近いと判定した場合は、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記出力画像選択処理部は、前記デプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択し、被写体距離が相対的に近いと判定した場合は、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択し、被写体距離が中間程度にあると判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像のいずれか一方の画像と、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像のいずれか一方の画像を出力画像として選択する前記（１）〜（４）いずれかに記載の画像処理装置。
【０２０４】
（６）前記出力画像選択処理部は、撮像装置からの撮像情報、または、ユーザ選択情報の少なくともいずれかの情報に基づいて出力画像の選択を実行する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記画像処理装置は、画像処理装置からの出力画像に応じて外部から入力する画像を制御する入力画像選択処理部を有し、前記入力画像選択処理部は、画像処理装置からの出力画像が、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像である場合、異なる視点から撮影されたステレオ視に適用可能な前記第１左眼画像と第１右眼画像のいずれか一方の画像のみを入力する制御を実行する前記（１）〜（６）いずれかに記載の画像処理装置。
【０２０５】
（８）前記入力画像選択処理部は、画像処理装置からの出力画像が、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像である場合、異なる視点から撮影されたステレオ視に適用可能な前記第１左眼画像と第１右眼画像のいずれか一方の画像のみを撮像装置に撮影させる制御信号を出力する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記ステレオ画像生成処理部は、画像評価処理の結果に基づいて選択された前記第１左眼画像または前記第１右眼画像のいずれか１つの画像の画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成する前記（１）〜（８）いずれかに記載の画像処理装置。
【０２０６】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０２０７】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２０８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２０９】
以上、説明したように、本開示の一実施例の構成によれば、ステレオ視に適した画像を選択出力する構成が実現される。
具体的には、異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力部と、第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理部を有し、画素領域対応の距離情報を持つデプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択して出力する。また、被写体距離が相対的に近いと判定した場合は、ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択して出力する。
この構成により、ステレオ視を行った場合に視差が大きすぎることによる疲労感や、オクリュージョンの発生に基づく違和感などが緩和され、快適なステレオ視が実現される。
【符号の説明】
【０２１０】
１００ 画像処理装置
１０１ 右眼画像入力部
１０２ 左眼画像入力部
１０３ ステレオ画像生成処理部
１０４ デプスマップ生成処理部
１０５ 出力画像選択処理部
２１１ 微分器
２１２ ゲイン制御部
２１３ 非線形変換部
２１４ 画像合成部
２２１ ゲイン係数算出部
２２２ 乗算処理部
３００ 画像処理装置
３０１ 右眼画像入力部
３０２ 左眼画像入力部
３０３ ステレオ画像生成処理部
３２０ 画像処理装置
３２１ 右眼画像入力部
３２２ 左眼画像入力部
３２３ ステレオ画像生成処理部
３２４ デプスマップ生成処理部
３４０ 画像処理装置
３４１ 右眼画像入力部
３４２ 左眼画像入力部
３４３ ステレオ画像生成処理部
３４４ デプスマップ生成処理部
３４５ 出力画像選択処理部
４００ ２眼ステレオ撮像装置
４０１ 右眼撮像部
４０２ 左眼撮像部
５００ 画像処理装置
５０１ 右眼画像入力部
５０２ 左眼画像入力部
５０３ ステレオ画像生成処理部
５０４ デプスマップ生成処理部
５０５ 出力画像選択処理部
５２０ 画像処理装置
５２１ 右眼画像入力部
５２２ 左眼画像入力部
５２３ ステレオ画像生成処理部
５２４ デプスマップ生成処理部
５２５ 出力画像選択処理部
５４０ 画像処理装置
５４１ 右眼画像入力部
５４２ 左眼画像入力部
５４３ ステレオ画像生成処理部
５４４ デプスマップ生成処理部
５４５ 出力画像選択処理部
５６０ 画像処理装置
５６１ 右眼画像入力部
５６２ 左眼画像入力部
５６３ ステレオ画像生成処理部
５６５ 出力画像選択処理部
６００ ２眼ステレオ撮像装置
６０１ 右眼撮像部
６０２ 左眼撮像部
７００ 画像処理装置
７０１ 入力画像選択処理部
７０２ 右眼画像入力部
７０３ 左眼画像入力部
７０４ ステレオ画像生成処理部
７２０ 画像処理装置
７２１ 入力画像選択処理部
７２２ 右眼画像入力部
７２３ 左眼画像入力部
７２４ ステレオ画像生成処理部
８１０ デプス情報取得装置
８２０ 画像処理装置
８２１ 右眼画像入力部
８２２ 左眼画像入力部
８２３ ステレオ画像生成処理部
８４０ 画像処理装置
８４１ 右眼画像入力部
８４２ 左眼画像入力部
８４３ ステレオ画像生成処理部
８５０ 画像処理装置
８５１ 右眼画像入力部
８５２ 左眼画像入力部
８５３ ステレオ変換画像選択処理部
８５４ ステレオ画像生成処理部
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ステレオ視（立体視）可能な３次元画像（３Ｄ画像）の生成を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
奥行きを持つ立体画像として視覚可能なステレオ視（立体視）に対応した画像は、異なる視点からの画像である左眼用画像と右眼用画像の２つの画像の組み合わせによって構成される。これらの２つの視点からの画像、すなわち両眼視差画像を得るためには、例えば２つの撮像装置を左右に離間させて配置して撮像することが行われる。
【０００３】
撮像された一対のステレオ画像は、
左側の撮像装置で撮像し、左眼で観察する左眼用画像と、
右側の撮像装置で撮像し、右眼で観察する右眼用画像と、
のペア画像によって構成される。
【０００４】
左眼用画像と右眼用画像のペアによって構成されるステレオ画像対を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。
【０００５】
一方、１つの視点から撮影された通常の２次元画像を利用して、ステレオ視（立体視）に対応した左眼用画像と右眼用画像からなる両眼視差画像を生成する構成についても従来から様々な提案がなされている。
【０００６】
例えば、特許文献１（特開平８−３０８０６号公報）には、静止画像や動きの少ない画像に対して、左眼用画像と右眼用画像を所定量だけ水平方向にずらすことにより、画像が浮き上がったように知覚させる装置を提案している。
【０００７】
また、特許文献２（特開２００５−１５１５３４号公報）は、画像の上部と下部の特徴量を算出し、予め用意した奥行き情報を表す複数のシーン構造の合成比率を調整することより、画像を単純な構造の組み合わせで表現する方法を提案している。
【０００８】
２眼の撮像系を用いてステレオ画像を撮像する際、両眼視差量を決める重要な要素に、基線長と輻輳角がある。基線長とは、２つの撮像装置間の距離であり、輻輳角とは２つの撮像装置の向きを示すものである。
図１は、同じ基線長において、異なる輻輳角を持ったステレオ撮像系を図示するものである。
図１に示す３つの２眼撮像系（ａ），（ｂ），（ｃ）において、基線長はＬで等しく、輻輳角は平行視、１５°、３０°である。
基線長は、それが長いほど左右画像の両眼視差量は大きくなる。輻輳角は、その交差する点にある被写体が、左右画像の両眼視差量が０になるポイントであり、輻輳の交差する点から離れた被写体ほど、両眼の視差は大きくなる。
【０００９】
従って、図１（ａ）に示すように撮像系（カメラ）に対して被写体が遠い場合には、基線長を長く、輻輳角を小さく（平行視に近い状態）した撮像が適している。
一方で、図１（ｃ）に示すように被写体が近い場合には、基線長を短く、輻輳角を大きくする方法が向いている、ことが一般的に言える。
【００１０】
しかし、撮像する対象ごとに、基線長と輻輳角を調整することは、多大な時間と手間がかかり、困難である。調整に時間を費やしてよい業務用途での撮像では可能であるが、一般的な撮像用途においては、基線長と輻輳角を固定されていることが通常である。そして、より広範囲の被写体の撮像に適するため、一定以上の基線長を持ち、輻輳角をできるだけ小さくした、形態の２眼撮像装置が多い。このような撮像装置では、前途の通り、近い距離にある被写体を撮像することに適さず、このような撮像を行なう際に問題が発生する。
【００１１】
図２は、被写体からの距離が異なる２つの２眼撮像系Ａ，１０と、２眼撮像系Ｂ，２０によるステレオ撮像の例を示す。
２眼撮像系Ａ，１０は被写体からの距離が近く、２眼撮像系Ｂ，２０は被写体からの距離が遠い設定である。両者において、その基線長と輻輳角は等しい。
【００１２】
図３は、図２に示す２つの２眼撮像系Ａ，１０と、２眼撮像系Ｂ，２０による撮像結果のイメージを示すものである。
図３（ａ）は、２眼撮像系Ａ，１０によって撮像した画像、図３（ｂ）は、２眼撮像系Ｂ，２０によって撮像した画像のイメージを示す。
【００１３】
被写体から撮像系までの距離が近い２眼撮像系Ｂ，２０によって撮像した画像である図３（ｂ）は、被写体から撮像系までの距離が遠い２眼撮像系Ａ，１０によって撮像した画像である図３（ａ）と比べて、左右画像間での視差の量が大きい。これは、それぞれの被写体が画像内のどの領域にあるか、を左右で比較すると一目でわかる。
図３（ｂ）に示す画像は、網膜像差が大きすぎる状態であり、観察した場合に違和感や疲労を発生させる要因となる。
【００１４】
さらに、図３（ｂ）に示す画像は、左眼用画像と右眼用画像の一方の画像に映りこんでいない領域が、他方の画像に映っている現象、すなわちオクリュージョン領域が図３（ａ）に示す２つの画像と比較して、より多く発生している。
例えば、図３（ｂ）にら示す画像ペアでは、左眼画像に存在する自動車のライトやビルの窓が、右眼画像に存在しない。また、右眼画像に存在する木の幹が、左眼画像には存在していない、このように多くのオクリュージョン領域が発生している。。
【００１５】
図３（ｂ）に示すように、左右の網膜像差が一定以上大きくなる画像や、オクリュージョン領域が発生する画像を、観察者がステレオ視によって観察する場合、不快感や目の疲労を引き起こすことが多い。これに対して、図３（ａ）のようにそのような現象の発生が少ない場合には、快適なステレオ視を行なうことができる。
【００１６】
図１〜図３を参照して説明した処理は、２つの異なる視点からの撮影画像をステレオ視用画像として利用した場合の処理例である。
一方、先に簡単に説明したように、１つの画像に基づく画像処理によって擬似的な視差を設定した２つの画像を生成して、これらをステレオ視用画像として利用する構成がある。すなわち、一般のカメラで撮影した１枚の２Ｄ画像に対して２Ｄ３Ｄ変換処理を施して左眼用画像と右眼用画像を生成する処理である。
【００１７】
この２Ｄ３Ｄ変換処理は、１枚画像の情報から左右の視差がある画像を生成するため、一般的に網膜像差が小さく観察者が知覚する立体感が小さくなる問題がある反面、大きな網膜像差やオクリュージョン領域による不快感や目の疲労を引き起こす可能性は低い。
【００１８】
図４は、図２に示す２眼撮像系Ｂ，２０において撮影された１枚の左眼画像に対して２Ｄ３Ｄ変換処理を施してステレオ画像としての左眼用画像と右眼用画像を生成する処理と処理結果を示す図である。
【００１９】
図４上段の図４（ｂ）は、図３（ｂ）と同じ図であり、図２に示す２眼撮像系Ｂ，２０によって撮像した２つの画像のイメージである。一方、図４下段の図４（ｃ）は、図４（ｂ）の１枚の画像である左眼画像に対して２Ｄ３Ｄ変換処理を施して生成した左眼用画像と右眼用画像を示す図である。
図４（ｃ）に示す２Ｄ３Ｄ変換処理を施して生成した左眼用画像と右眼用画像は、図４（ｂ）に示す２眼撮像系Ｂ，２０において撮影された左眼用画像と右眼用画像に比較して、大きな網膜像差やオクリュージョン領域の発生は見られない。
この図４（ｃ）に示す画像を観察する観察者は、疲労や違和感を覚えることなく快適なステレオ視を行うことが可能となる。
【００２０】
このように、被写体からの撮像装置までの距離が近い場合においては、撮像装置の撮影画像をそのままステレオ画像として利用すると、観察者に対して違和感や疲労感を発生させる。一方、２次元画像を両眼視差画像に変換する２Ｄ３Ｄ変換（ステレオ変換）処理による生成画像を利用することで、視差の調整が可能となり、上記のような違和感や疲労感を発生させない画像を生成することが可能となる。
【００２１】
しかし、１枚の画像から２Ｄ３Ｄ変換処理によって生成する画像は、擬似的な視差を持つ画像であり、例えば被写体から撮像装置までの距離が、一定以上の遠い距離の場合には、２眼撮像系を用いて撮影されたステレオ画像を利用した表示を行う方が、実際の距離間を正しく反映した画像となり、快適なステレオ視を行なうことができる。
【００２２】
このように、２眼撮像系を用いて撮影された左眼用画像と右眼用画像をそのまま適用した表示が好ましい場合と、１枚の画像から生成した２Ｄ３Ｄ変換画像を用いる方が良い場合とはケースバイケースである。
【先行技術文献】
【特許文献】
【００２３】
【特許文献１】特開平８−３０８０６号公報
【特許文献２】特開２００５−１５１５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【００２４】
本開示は、例えば上記の問題に鑑みてなされたものであり、被写体から撮像装置までの距離が近い場合と遠い場合のいずれにおいても、快適なステレオ視に対応した両眼視差画像を提供可能とする画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２５】
本開示の第１の側面は、
異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力部と、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理部を有し、
前記画像入力部に入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力する画像処理装置にある。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記画像入力部に入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像からステレオ視に適用する２つの画像を出力画像として選択する出力画像選択処理部を有する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記第１左眼画像と前記第１右眼画像を入力し、２つの入力画像の解析に基づいて、画像に撮り込まれた被写体距離を算出し画素領域対応の距離情報を持つデプスマップを生成して前記出力画像選択処理部に出力するデプスマップ生成処理部を有する。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記出力画像選択処理部は、前記デプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択し、被写体距離が相対的に近いと判定した場合は、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記出力画像選択処理部は、前記デプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択し、被写体距離が相対的に近いと判定した場合は、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択し、被写体距離が中間程度にあると判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像のいずれか一方の画像と、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像のいずれか一方の画像を出力画像として選択する。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記出力画像選択処理部は、撮像装置からの撮像情報、または、ユーザ選択情報の少なくともいずれかの情報に基づいて出力画像の選択を実行する。
【００３１】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、画像処理装置からの出力画像に応じて外部から入力する画像を制御する入力画像選択処理部を有し、前記入力画像選択処理部は、画像処理装置からの出力画像が、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像である場合、異なる視点から撮影されたステレオ視に適用可能な前記第１左眼画像と第１右眼画像のいずれか一方の画像のみを入力する制御を実行する。
【００３２】
さらに、本開示の画像処理装置の一実施態様において、前記入力画像選択処理部は、画像処理装置からの出力画像が、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像である場合、異なる視点から撮影されたステレオ視に適用可能な前記第１左眼画像と第１右眼画像のいずれか一方の画像のみを撮像装置に撮影させる制御信号を出力する。
【００３３】
さらに、本開示の画像処理装置の一実施態様において、前記ステレオ画像生成処理部は、画像評価処理の結果に基づいて選択された前記第１左眼画像または前記第１右眼画像のいずれか１つの画像の画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成する。
【００３４】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力ステップと、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理ステップと、
前記画像入力ステップにおいて入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力する画像出力ステップを実行する画像処理方法にある。
【００３５】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力させる画像入力ステップと、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成させるステレオ画像生成処理ステップと、
前記画像入力ステップにおいて入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力させる画像出力ステップを実行させるプログラムにある。
【００３６】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００３７】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３８】
本開示の一実施例の構成によれば、ステレオ視に適した画像を選択出力する構成が実現される。
具体的には、異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力部と、第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理部を有し、画素領域対応の距離情報を持つデプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択して出力する。また、被写体距離が相対的に近いと判定した場合は、ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択して出力する。
この構成により、ステレオ視を行った場合に視差が大きすぎることによる疲労感や、オクリュージョンの発生に基づく違和感などが緩和され、快適なステレオ視が実現される。
【図面の簡単な説明】
【００３９】
【図１】同じ基線長において、異なる輻輳角を持ったステレオ撮像系について説明する図である。
【図２】被写体からの距離が異なる２つの２眼撮像系によるステレオ撮像の例を示す図である。
【図３】図２に示す２つの２眼撮像系による撮像結果のイメージを示す図である。
【図４】図２に示す２眼撮像系Ｂ，２０において撮影された１枚の左眼画像に対して２Ｄ３Ｄ変換処理を施してステレオ画像としての左眼用画像と右眼用画像を生成する処理と処理結果を示す図である。
【図５】本開示の画像処理装置の一実施例としての撮像装置の構成例を示す図である。
【図６】ステレオ画像生成処理部の一実施例の構成を示すブロック図である。
【図７】ゲイン制御部の一実施例の構成を示すブロック図である。
【図８】ゲイン係数算出部において実行する、ゲイン係数の決定方法の一例を示す図である。
【図９】ゲイン制御部における微分信号の振幅値を制御する処理の一例について説明する図である。
【図１０】非線形変換部において実行する非線形変換処理の一例について説明する図である。
【図１１】画像合成部において実行する画像合成処理について説明する図である。
【図１２】画像合成部において実行する画像合成処理について説明する図である。
【図１３】デプスマップとそのヒストグラムの一例について説明する図である。
【図１４】出力画像選択処理部の構成の一例について説明する図である。
【図１５】様々な画像の組み合わせによる画像出力制御を実行する出力画像選択処理部の構成と処理例について説明する図である。
【図１６】様々な画像の組み合わせによる画像出力制御を実行する出力画像選択処理部の構成と処理例について説明する図である。
【図１７】様々な画像の組み合わせによる画像出力制御を実行する出力画像選択処理部の構成と処理例について説明する図である。
【図１８】本開示の画像処理装置における最小の構成要素からなる構成例について説明する図である。
【図１９】出力画像選択処理部を省略した構成例について説明する図である。
【図２０】出力画像選択処理部においてデプスマップを適用しない設定とした構成例について説明する図である。
【図２１】デプス情報を用いることなく、入力した画像情報から出力画像選択処理を行う出力画像選択処理部の実行する処理例について説明する図である。
【図２２】撮像情報に基づく出力画像選択を実行する構成例について説明する図である。
【図２３】出力画像選択処理部に、撮像装置からの撮像情報の他、デプスマップを入力して、出力画像の選択を実行する構成例について説明する図である。
【図２４】ユーザから入力される選択情報に基づく出力画像選択を実行する構成例について説明する図である。
【図２５】デプスマップ生成処理部を省略した構成例について説明する図である。
【図２６】入力画像選択を入力処理前に行う画像処理装置の構成について説明する図である。
【図２７】撮像情報に基づいて出力画像を決定し、この出力画像の決定に基づいて入力画像を選択する構成例について説明する図である。
【図２８】２Ｄ／３Ｄ変換処理画像を出力画像として決定した場合、２眼撮像系によって撮影する画像を左眼画像のみとし、右眼画像の撮影は中止するという制御を行う構成について説明する図である。
【図２９】入力画像選択処理部が、図示しない入力部を介してユーザ選択情報を入力して出力画像を決定して、決定した出力画像に基づいて撮像制御処理を実行する構成について説明する図である。
【図３０】デプスマップ生成処理部を持たず、外部のデプス情報取得装置の生成したデプスマップを入力して、ステレオ画像生成処理部において利用する構成について説明する図である。
【図３１】テレオ画像生成処理部に入力する画像を右眼画像とし、右眼画像に基づく２Ｄ３Ｄ変換処理を実行してステレオ画像を生成する構成例について説明する図である。
【図３２】ステレオ変換画像選択処理部を設定し、ステレオ画像生成処理部８５４に入力する画像を右眼画像とするか左眼画像とするかを選択可能とした構成について説明する図である。
【発明を実施するための形態】
【００４０】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本開示の画像処理装置の構成と処理例（実施例１）について
１−１．画像処理装置の全体構成と処理について
１−２．デプスマップ生成処理部の処理の詳細について
１−３．ステレオ画像生成処理部で行われる２Ｄ／３Ｄ変換処理について
１−４．出力画像選択処理部で行われる出力ステレオ画像ペアの選択処理の詳細について
２．その他の実施例について
２−１．最小構成要素の構成例について
２−２．出力画像選択処理部を省略した構成例について
２−３．出力画像選択処理部においてデプスマップを適用しない設定とした構成例について
２−４．撮像情報に基づく出力画像選択を実行する構成例について
２−５．ユーザ選択情報に基づく出力画像選択を実行する構成例について
２−６．デプスマップ生成処理部を省略した構成例について
３．画像処理装置に対する入力画像を制御する構成を持つ実施例について
３−１．入力画像選択を入力処理前に行う構成例について
３−２．入力画像選択を撮影前に行う構成例について
４．本開示の構成のまとめ
【００４１】
［１．本開示の画像処理装置の構成と処理例（実施例１）について］
図５以下を参照して本開示の画像処理装置の構成と処理例（実施例１）について説明する。
なお、まず、画像処理装置全体の構成と処理について説明し、その後、各構成部の処理の詳細について説明する。
【００４２】
（１−１．画像処理装置の全体構成と処理について）
図５以下を参照して本開示の画像処理装置の構成と処理例（実施例１）について説明する。
図５は、本開示の画像処理装置の一実施例としての撮像装置の構成例を示す図である。
【００４３】
画像処理装置１００は、右眼画像入力部１０１、左眼画像入力部１０２、ステレオ画像生成処理部１０３、デプスマップ生成処理部１０４、および、出力画像選択処理部１０５を有する。
【００４４】
画像処理装置１００は、２眼ステレオ画像信号を入力する。入力画像信号は、左右対の撮像系で撮像された左右のステレオ画像、すなわち入力右眼画像と入力左眼画像である。例えば、図２に示す２眼撮像系Ａ１０や、２眼撮像系Ｂ２０等の２つの異なる視点からの２枚の画像のペアを入力する。
【００４５】
これらの入力右眼画像と入力左眼画像はそれぞれ、右眼画像入力部１０１および左眼画像入力部１０２に入力される。
画像処理装置１００の右眼画像入力部１０１および左眼画像入力部１０２に入力された左右のステレオ画像の双方は、デプスマップ生成処理部１０４へと入力される。
デプスマップ生成処理部１０４は、入力２画像のステレオマッチング処理を実行して、対応画素位置のずれ量に基づいて各画素位置の被写体までの距離（デプス）、すなわちカメラからの被写体距離を算出する。
【００４６】
デプスマップ生成処理部１０４は、入力画像の各画素に距離情報を対応付けたデプスマップを生成して出力する。
デプスマップは、画像を構成する画素の被写体についての被写体距離（カメラからの距離）を示すデータであり、例えば、画像の各画素の被写体の距離情報を輝度情報に変換して示した画像などによって構成される。
【００４７】
具体的には、例えば、
被写体距離が小さい（カメラに近い）被写体を持つ画素は高輝度画素（明るい画素）、
被写体距離が大きい（カメラから遠い）被写体を持つ画素は低輝度画素（暗い画素）、
このような設定とした画像がデプスマップとして利用される。
このように、デプスマップは画像に含まれる被写体の距離を画素対応データとして保持したデータであり、具体的には例えば被写体距離を画素値に変換して設定した画像データとして生成される。
【００４８】
画像処理装置１００に入力された左右のステレオ画像のうち、一方の画像、例えば入力左眼画像は、ステレオ画像生成処理部１０３へ入力される。また、デプスマップ生成処理部１０４の生成したデプスマップも、ステレオ画像生成処理部１０３へ入力される。
【００４９】
ステレオ画像生成処理部１０３は、入力した１つの画像（本例では入力左眼画像）を利用した２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
すなわち、ステレオ画像生成処理部１０３は、２Ｄ画像に対して、距離（デプス）情報に応じた視差を設定した右眼画像と左眼画像を生成する２Ｄ３Ｄ変換処理を実行して図に示すステレオ画像生成処理部１０３の出力として示す生成右眼画像と生成左眼画像を生成して出力する。
【００５０】
ステレオ画像生成処理部１０３は、デプスマップを用いた２Ｄ３Ｄ変換処理により、入力した１つの画像からステレオ画像を構成する右眼画像と左眼画像を生成する。
ステレオ画像生成処理部１０３は、デプスマップから得られる画素領域単位の被写体距離情報に応じた視差を設定した右眼画像と左眼画像を生成して出力する。
【００５１】
ステレオ画像生成処理部１０３の生成した生成右眼画像と生成左眼画像は、出力画像選択処理部１０５へ入力される。
出力画像選択処理部１０５へは、画像処理装置１００に入力された左右のステレオ画像、すなわち、２眼撮像系によって撮影された入力右眼画像と入力左眼画像も入力される。
また、デプスマップ生成処理部１０４から出力されたデプスマップも、出力画像選択処理部１０５へ入力される。
【００５２】
出力画像選択処理部１０５は、画像処理装置１００の出力画像とするステレオ画像、すなわち、出力右眼画像と出力左眼画像の選択を実行する。具体的には、
（ａ）画像処理装置１００の入力である２眼撮像系において撮影された入力右眼画像と入力左眼画像のステレオ画像ペア、もしくは、
（ｂ）ステレオ画像生成処理部１０３における２Ｄ３Ｄ変換処理によって生成された生成右眼画像と生成左眼画像のステレオ画像ペア、
上記（ａ）または（ｂ）の画像ペアのいずれを出力とするかを選択する。
選択されたステレオ画像ペアは、画像処理装置１００の出力である出力右眼画像と出力左眼画像となる。
【００５３】
出力画像選択処理部１０５における画像ペア選択処理には、デプスマップが用いられる。
具体的には、例えば、出力画像選択処理部１０５は、デプスマップに基づいて画像全体に含まれる被写体距離が相対的に遠いと判定した場合は、
（ａ）画像処理装置１００の入力である入力右眼画像と入力左眼画像のステレオ画像ペアを選択出力する。
また、画像全体に含まれる被写体距離が相対的に近いと判定した場合は、
（ｂ）ステレオ画像生成処理部１０３において生成された生成右眼画像と生成左眼画像のステレオ画像ペアを選択出力する。
【００５４】
ここまで、図５に示す画像処理装置１００の全体の処理について説明した。
以下、図５に示す画像処理装置１００の各構成部の処理の詳細について説明する。
【００５５】
（１−２．デプスマップ生成処理部の処理の詳細について）
次に、デプスマップ生成処理部１０４の処理の詳細について説明する。デプスマップ生成処理部１０４は、前述したように、異なる視点から撮影された入力２画像のステレオマッチング処理を実行して、対応画素位置のずれ量に基づいて各画素位置の被写体までの距離（デプス）、すなわちカメラからの被写体距離を算出し、入力画像の各画素に距離情報を対応付けたデプスマップを生成して出力する。
【００５６】
なお、ステレオマッチングによるデプスマップ生成処理は、既存の方法である。複数の異なる視点から得られた画像間の対応を求めることで，画像中の被写体のカメラからの距離を算出することができる。複数の視点から得られた画像間の対応を、精度良く高速に求める手法が数多く提案されている。
【００５７】
例えば，高精度に画像間の対応を求める手法として、特開２００３−０８５５６６号公報には、動的計画法の一種であるビタビアルゴリズムに基づき，水平走査線上の画素列に対して最適な対応を割り当てる手法を開示している。
また、高速に画像間の対応を求める手法として、特開平０７−１０３７３４号公報に、画像を縮小し階層構造を形成し、解像度の低い階層における対応検出の結果をより解像度の高い階層に伝播し、解像度の高い階層における対応探索処理の低減を図る手法を開示している。
【００５８】
図５に示すデプスマップ生成処理部１０４では、例えば上記のような既存の手法を適用して、異なる視点から撮影された入力２画像に基づいて、カメラからの被写体距離を算出し、入力画像の各画素に距離情報を対応付けたデプスマップを生成して出力する。
【００５９】
（１−３．ステレオ画像生成処理部で行われる２Ｄ／３Ｄ変換処理について）
次に、図５に示すステレオ画像生成処理部１０３の実行する処理の詳細について説明する。
上述したように、ステレオ画像生成処理部１０３では、デプスマップを用いた２Ｄ３Ｄ変換処理により、入力した１つの画像からステレオ画像を構成する右眼画像と左眼画像を生成する。
ステレオ画像生成処理部１０３は、デプスマップから得られる画素領域単位の被写体距離情報に応じた視差（シフト量）を設定した右眼画像と左眼画像を生成して出力する。
【００６０】
ステレオ画像生成処理部１０３の実行する２Ｄ３Ｄ変換処理の具体例について説明する。
図６は、ステレオ画像生成処理部１０３の一実施例の構成を示すブロック図である。
ステレオ画像生成処理部１０３は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで新たな視点の画像を生成する処理を行う。ステレオ画像生成処理部１０３は、微分器２１１、ゲイン制御部２１２、非線形変換部２１３、および画像合成部２１４から構成される。
【００６１】
微分器２１１は、ステレオ画像生成処理部１０３に入力されたビデオデータから輝度信号を取り出し、輝度信号に対する微分信号（Ｈ）を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。
なお、実施例では輝度信号を処理データとした例について説明するが、輝度信号ではなく色信号（ＲＧＢ等）を処理対象データとして利用してもよい。
【００６２】
ゲイン制御部２１２は、微分器２１１から出力される微分信号（Ｈ）に、予め設定した規則に則った係数（ゲイン係数）を乗じることで、微分信号の振幅値を制御するし、微分信号の補正信号である補正微分信号（Ｈ'）を生成する。
【００６３】
非線形変換部２１３は、ゲイン制御部２１２から出力される補正微分信号（Ｈ'）を非線形的に変換し、視差強調信号（Ｅ'）として画像合成部２１４に出力する。
【００６４】
画像合成部２１４は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の補正微分信号（Ｈ'）、または、この補正微分信号を非線形変換して生成した視差強調信号（Ｅ'）を適用して新たな視点の画像を生成する処理を行う。
【００６５】
なお、図６に点線で示すように、非線形変換部２１３の変換処理を省略し、ゲイン制御部２１２で補正処理した補正微分信号（Ｈ'）を画像合成部２１４に直接入力して、画像合成部２１４が、補正微分信号を適用して新たな視点の画像を生成する構成としてもよい。
【００６６】
次に、ゲイン制御部２１２の実行する処理について説明する。
図７は、ゲイン制御部２１２の一実施例の構成を示すブロック図である。ゲイン制御部２１２では、入力された微分信号の振幅値を、同じく入力した奥行き情報を基に、その振幅値を制御する。なお、以下に説明する実施例では、奥行き情報は入力微分信号の１画素ごとに、１つの深さの値を有する、所謂デプスマップの形状で入力されるものとして説明していく。
【００６７】
ゲイン係数算出部２２１は、入力された各画素に対する奥行き情報を利用して、対応する画素に対するゲイン係数を出力する。
乗算処理部２２２は、入力された微分信号の各画素について、ゲイン係数算出部２２１から出力された各画素に対するゲイン係数を、微分信号（Ｈ）の振幅値に乗じる乗算処理を行い、結果として振幅値がゲイン制御された補正微分信号（Ｈ'）を出力する。
【００６８】
図８は、ゲイン係数算出部２２１において実行する、ゲイン係数の決定方法の一例を示すものである。横軸が、入力信号であり奥行き情報である。縦軸が、ゲイン係数算出部２２１におけるゲイン係数の出力を示している。
ゲイン係数算出部２２１は、入力された奥行き情報（Ｉｎ）を、予め設定した関数ｆ（ｘ）により変換して、ゲイン係数（Ｏｕｔ）を出力する。
このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。
関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝Ａ×ｘ
（ただしＡは定数）
上記式に示されるような線形一次関数を用いる。Ａは予め設定した定数であり、様々な値に設定可能である。
【００６９】
また、ゲイン係数算出部２２１における変換関数は、線形一次関数に限定するものではなく、また非線形的な変換を施しても構わない。
奥行き情報は、微分信号の各画素に応じた値を入力し、各画素に応じたゲイン係数を出力するものとする。
【００７０】
図８は、ゲイン係数算出部の入力値（奥行き情報）と、出力値（ゲイン係数）の対応例を示す図である。図８には３つの入力値（奥行き情報）とそれに対応する３つの出力値（ゲイン係数）の例を示している。
入力値（奥行き情報）の例は、Ｄ１、Ｄ２、Ｄ３であり、ある３つの画素に対応した奥行きの値を想定する。なお、奥行きとは観察者（ユーザ）あるいはカメラから被写体までの距離に対応する値である。
奥行き（＝被写体距離）はＤ１＜Ｄ２＜Ｄ３の順に、手前から奥へと深く（ユーザまたはカメラから遠く）なっていくものとする。ここで、図８中、奥行き情報Ｉｎ＝０の位置は生成した画像を３次元表示装置に表示した場合に表示画面上に知覚される点である。
このとき出力値（ゲイン係数）の例は、Ｇ１、Ｇ２、Ｇ３であり、各々は図８中の関数ｆ（ｘ）に、Ｄ１、Ｄ２、Ｄ３の値を入力することで得られる値である。
この例のように、ゲイン係数算出部２２１は、微分信号の各画素に応じたゲイン係数を出力する。
【００７１】
図９は、ゲイン制御部２１２における微分信号の振幅値を制御する処理の一例を示している。
図９には、
（ａ）入力信号
（ｂ）微分信号
（ｃ）奥行き情報
（ｄ）補正後の微分信号
これらの例を示している。
【００７２】
図９（ａ）は、入力画像信号の一例である。
図９（ｂ）は、図９（ａ）の入力画像信号を微分処理した画像である。
図９（ｃ）は、図９（ａ）の入力画像信号に対応した奥行き情報であり、画像を３分割した各領域に奥行きの値を与えた簡易なものである。
【００７３】
ここで、図９（ｃ）の奥行き情報を示す画像信号には、上部から順に図８において定義した奥行き情報：Ｄ３、Ｄ２、Ｄ１（Ｄ１＜Ｄ２＜Ｄ３）の値が与えられているものとしている。
【００７４】
このとき、図８において説明した奥行きとゲイン値の関係の通り、図９（ｂ）の微分信号の各画素に乗じるゲイン値は、画像の上部から順に、
Ｇ３、Ｇ２、Ｇ１（Ｇ１＜Ｇ２＜Ｇ３）
となる。
【００７５】
図９（ｄ）補正後の微分信号は、図９（ｃ）の奥行き情報に基づいたゲイン値を、図９（ｂ）の微分信号の各画素に乗じた処理結果の一例である。
図９（ｄ）補正後の微分信号においては、画面上部ほど（遠い領域ほど）、大きなゲイン値が乗じられ、画面下部ほど（近い領域ほど）小さなゲイン値が乗じられる。
この結果、画面上部ほど（遠い領域ほど）微分信号の振幅値が大きくなり、画面下部ほど（近い領域ほど）微分信号の振幅は小さくなる。
【００７６】
２Ｄ３Ｄ変換部は、このように距離に応じた振幅の異なる微分信号を用いて新たな視点画像を生成して出力する。この結果、距離に応じた異なる視差を持つ画像を生成して出力する。
【００７７】
次に、非線形変換部２１３の実行する処理について説明する。非線形変換部２１３は、ゲイン制御部２１２から出力される距離に応じてゲイン制御のなされた補正微分信号（Ｈ'）を非線形的に変換した視差強調信号（Ｅ'）を生成して画像合成部２１４に出力する。
【００７８】
図１０は、非線形変換部２１３において実行する非線形変換処理の一例を示している。横軸が、ゲイン制御部２１２から出力される距離に応じてゲイン制御（補正）のなされた微分信号であり（輝度）補正微分信号である。縦軸が、非線形変換部２１３における非線形変換処理後の出力を示している。非線形変換部２１３は、入力された補正微分信号（Ｉｎ）を、予め規定した関数ｆ（ｘ）により変換して、視差強調信号（Ｏｕｔ）を出力する。すなわちＯｕｔ＝ｆ（Ｉｎ）とする。このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝ｘγ
上記式に示されるような指数関数を用いる。γは予め設定した係数であり、様々な値に設定可能である。
また、非線形変換部２１３における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。
【００７９】
画像合成部２１４は、非線形変換部２１３から出力される視差強調信号と、ステレオ画像生成処理部１０３に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、新たな視点画像を生成する処理を行う。
【００８０】
なお、図６に点線で示すように、非線形変換部２１３の変換処理を省略し、微分器２１１の生成した微分信号に対してゲイン制御部２１２が距離に応じたゲイン制御を行った補正微分信号（Ｈ'）を画像合成部２１４に直接入力する構成としてもよい。この場合は、画像合成部２１４は、奥行き（被写体距離）に応じてゲイン制御の施された補正微分信号（Ｈ'）を適用して新たな視点の画像を生成する処理を行う。
【００８１】
次に画像合成部２１４の処理について説明する。
画像合成部２１４は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号を適用して新たな視点の画像を生成する処理を行う。
【００８２】
図１１と図１２は、画像合成部２１４において実行する画像合成処理の概念を示している。
図１１は、距離が大の画像領域（奥行きが大きい画像領域）
図１２は、距離が小の画像領域（奥行きが小さい画像領域）
これらの各画像領域について、上から順に、
（ａ）入力信号（Ｓ）
（ｂ）微分信号（Ｈ）
（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）
（ｄ）右シフト画像信号
（ｅ）左シフト画像信号
これらの各信号を示している。
【００８３】
図９の（ｃ）奥行き情報に対応付けて説明すると、例えば、図１１は図９（ｃ）の画像上部の距離が大（＝Ｄ３）の画像領域（奥行きが大きい画像領域）に対応する処理例である。一方、図１２は図９（ｃ）の画像下部の距離が小（＝Ｄ１）の画像領域（奥行きが小さい画像領域）に対する処理例である。
【００８４】
まず、図１１に示す距離が大の画像領域（奥行きが大きい画像領域）における処理例について説明する。
（ａ）入力信号（Ｓ）は、ビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ａにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｂにおいて、輝度が次第に低くなる変化を示している。
【００８５】
（ｂ）微分信号（Ｈ）は、（ａ）入力信号の微分結果である。この微分信号は、図６に示すステレオ画像生成処理部１０３の微分器２１１において生成される信号である。
微分器２１１の生成する微分信号（Ｈ）は、図１１に示すとおり、（ａ）入力信号（Ｓ）の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。
【００８６】
（ｃ）補正（ゲイン制御）後の微分信号（Ｈ'）は、図６に示すステレオ画像生成処理部１０３のゲイン制御部２１２において生成する信号であり、図１１（ｂ）微分信号を、奥行き情報に基づいて補正（ゲイン制御）した信号である。なお、図１１に示す例は、距離が大（例えば図８、図９（ｃ）のＤ３）の画像領域（奥行きが大きい画像領域）における処理例であり、図８、図９を参照して説明したようにより大きなゲイン（Ｇ３）による補正処理が施され、微分信号の振幅はより大きな振幅に補正される。
【００８７】
図１１（ｃ）に示す点線が補正前の信号（＝（ｂ）微分信号（Ｈ））であり、図１１（ｃ）に示す実線が距離に応じた補正後の補正微分信号（Ｈ'）である。このように、補正微分信号（Ｈ'）は距離に応じたゲイン制御により、振幅がより大きく補正される。
【００８８】
（ｄ）右シフト画像信号、（ｅ）左シフト画像信号は、図５に示すステレオ画像生成処理部１０３に構成される図６に示す画像合成部２１４が生成する信号である。
【００８９】
例えば、図５、図６に示すステレオ画像生成処理部１０３は、入力左画像を図１１（ａ）に示す入力画像であるとした場合、この入力画像を右シフトすることで、（ｄ）右眼画像信号を生成する。
また、この入力画像を左シフトすることで、（ｅ）左眼画像信号を生成する。
【００９０】
具体的には、（ａ）入力信号（Ｓ）と、（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）を非線形変換部２１３において非線形変換した結果（非線形変換部２１３の出力）である視差強調信号（Ｅ'）とを合成することで、（ｄ）右眼画像信号、または、（ｅ）左眼画像信号を生成する。
図１１（ｄ）に示す通り、大きなゲイン（Ｇ３）によって補正が行われた補正微分信号（Ｈ'）を合成する場合、補正前の微分信号（Ｈ）を合成する場合に比較して、右シフトが大きい画像信号が生成される。同様に、図１１（ｄ）では、左シフト量が大きい画像信号が生成される。
【００９１】
次に、図１２に示す距離が小の画像領域（奥行きが小さい画像領域）における処理例について説明する。図１２は図９（ｃ）の画像下部の距離が小（＝Ｄ１）の画像領域（奥行きが小さい画像領域）に対する処理例である。
【００９２】
（ａ）入力信号と、（ｂ）微分信号は、図１１に示す（ａ）入力信号と、（ｂ）微分信号と同様の信号である。（ｂ）微分信号（Ｈ）は、（ａ）入力信号（Ｓ）の微分結果である。この微分信号は、図６に示す微分器２１１において生成される信号である。微分器２１１の生成する微分信号は、図１２に示すとおり、（ａ）入力信号の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。
【００９３】
（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）は、図６に示すゲイン制御部２１２において生成する信号であり、図１２（ｂ）微分信号を、奥行き情報に基づいて補正（ゲイン制御）した信号である。
【００９４】
図１２に示す例は、距離が小（例えば図８、図９（ｃ）のＤ１）の画像領域（奥行きが大きい画像領域）における処理例であり、図８、図９を参照して説明したように小さなゲイン（Ｇ１）により微分信号の振幅は小さな振幅に補正される。
【００９５】
図１２（ｃ）に示す点線が補正前の信号（＝（ｂ）微分信号）であり、図１２（ｃ）に示す実線が距離に応じた補正後の信号である。このように、距離に応じたゲイン制御により、振幅がより小さく補正される。
【００９６】
（ｄ）右眼画像信号、（ｅ）左眼画像信号は、図６に示す画像合成部２１４において生成する信号である。画像合成部２１４は、（ａ）入力信号（Ｓ）と、（ｃ）補正（ゲイン制御）後の補正微分信号（Ｈ'）を非線形変換部２１３において非線形変換した結果（非線形変換部２１３の出力）である視差強調信号（Ｅ'）とを合成して（ｄ）右眼画像信号、または（ｅ）左眼画像信号を生成する。
【００９７】
例えば、図５、図６に示すステレオ画像生成処理部１０３は、入力左画像を図１２（ａ）に示す入力画像であるとした場合、この入力画像を右シフトすることで、（ｄ）右眼画像信号を生成する。
また、この入力画像を左シフトすることで、（ｅ）左眼画像信号を生成する。
図１２（ｄ）に示す通り、小さなゲイン（Ｇ１）によって補正が行われた補正微分信号（Ｈ'）を合成する場合、補正前の微分信号（Ｈ）を合成する場合に比較して、右シフト量が小さい画像信号が生成される。同様に、図１１（ｄ）では、左シフト量が小さい画像信号が生成される。
【００９８】
このように、画像処理装置は、表示画面よりも奥の方向に知覚されるような画像を生成する場合は、
距離＝大の場合は、振幅の大きい補正微分信号
距離＝小の場合は、振幅の小さい補正微分信号、
これらの補正微分信号（図１１、図１２の（ｃ））を生成し、これらの補正微分信号（またはその非線形変換結果である視差強調信号）と（ａ）入力信号との合成処理により、入力画像と異なる視点からの観察画像に相当する（ｄ）右眼画像信号、または（ｅ）左眼画像信号を生成する。
【００９９】
このような（ｄ）右眼画像信号と、（ｅ）左眼画像信号の生成処理の生成処理について、数式を用いて説明する。
図１１、図１２の（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、
図１１、図１２の（ｂ）に示す微分信号の信号レベルを（Ｈ）とする。
また、ゲイン制御部２１２において行われる微分信号の補正結果としての補正微分信号の信号レベルを（Ｈ'）てとする。
なお、補正微分信号（Ｈ'）の生成の際、（ｂ）微分信号（Ｈ）に乗じるゲイン値（Ｇ）は、奥行き情報（Ｄ）をもとに予め設定された関数などから決定される。
【０１００】
図１１に示す距離が大の場合のゲイン値をＧ３、
図１２に示す距離が小の場合のゲイン値をＧ１、
とする。
図１１、図１２に示す例は、Ｇ３＞１＞Ｇ１の関係を想定している。
【０１０１】
図１１、図１２の（ｃ）補正後の微分信号の信号レベルを（Ｈ'）で表現すると、（Ｈ'）は上記ゲイン値Ｇ３、Ｇ１を用いて補正された信号として、以下の式によって示すことができる。
図１１に示す距離が大の場合の補正後微分信号（Ｈ'）は、
Ｈ'＝Ｇ３×Ｈ
図１２に示す距離が小の場合の補正後微分信号（Ｈ'）は、
Ｈ'＝Ｇ１×Ｈ
これらの式によって算出された信号が、図１１、図１２の（ｃ）補正後の微分信号の信号レベル（Ｈ'）となる。
【０１０２】
図１１（ｃ）に示す距離が大の場合において、実線で示す補正後微分信号（Ｈ'）と、点線で示す補正前微分信号（＝（ｂ））を比較すると、実線で示す補正後微分信号（Ｈ'）は、点線で示す補正前微分信号よりも振幅が大きくなっている。
一方、図１２（ｃ）に示す距離が小の場合において、実線で示す補正後微分信号（Ｈ'）と、点線で示す補正前微分信号（＝（ｂ））を比較すると、実線で示す補正後微分信号（Ｈ'）は、点線で示す補正前微分信号よりも振幅が小さくなっている。
【０１０３】
これは、図１１（ｃ）、図１２（ｃ）に示す補正後微分信号が異なるゲイン値を乗じて生成されるためである。
すなわち、デプスマップ生成処理部１０４の出力するデプスマップにおける奥行き情報が大（カメラからの距離が遠い）画素については、（ｂ）微分信号に対して大きなゲイン値を乗じて補正されて図１１（ｃ）に示す補正後微分信号が生成される。
一方、デプスマップ生成処理部１０４の出力するデプスマップにおける奥行き情報が小（カメラからの距離が近い）画素については、（ｂ）微分信号に対して小さなゲイン値を乗じて補正されて図１２（ｃ）に示す補正後微分信号が生成される。
【０１０４】
図１１（ｃ）、図１２（ｃ）に示す補正後の微分信号は、非線形変換部２１３において、例えば先に図１０を参照して説明した設定で非線形変換処理が施され、視差強調信号（Ｅ'）が生成される。
【０１０５】
画像合成部１３３は、（ａ）入力信号に相当するビデオデータ（Ｓ）と、（ｃ）補正後の微分信号（Ｈ'）を非線形変換した視差強調信号（Ｅ'）を入力して、例えば以下の式により右シフト画像信号（Ｒｉｇｈｔ）、または左シフト画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｅ'
Ｌｅｆｔ＝Ｓ＋Ｅ'
これにより得られる信号が、図１１（ｄ）、図１２（ｄ）に実線で示す右シフト画像信号、および、図１１（ｅ）、図１２（ｅ）に示す左シフト画像信号である。
【０１０６】
一方、図１１（ｄ），（ｅ）と図１２（ｄ），（ｅ）に点線で示す信号は、（ｃ）補正後の微分信号ではなく、補正前の微分信号、すなわち（ｂ）微分信号（Ｈ）を適用して非線形変換した視差強調信号（Ｅ）を利用して生成した右シフト画像信号、および左シフト画像信号に相当する。すなわち、
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
である。
【０１０７】
図１１、図１２の（ｄ）右シフト画像信号、および、（ｅ）左シフト画像信号に示す実線と点線を比較すると、
図１１に示す距離が大の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の両者とも、実線（補正後微分信号）が、点線（補正前微分信号）よりエッジ部（信号の変化部）が急峻になっており、（ａ）入力信号に比較して信号のシフトが大きくなっている。
一方、図１２に示す距離が小の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の両者とも、実線（補正後微分信号）が、点線（補正前微分信号）よりエッジ部が滑らかになっており、（ａ）入力信号に比較して信号のシフトが小さくなっている。
【０１０８】
つまり、距離が大の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の差分が拡大され、距離が小の場合は、（ｄ）右シフト画像信号、（ｅ）左シフト画像信号の差分が縮小される。
【０１０９】
このような（ｄ）右シフト画像信号、（ｅ）左シフト画像信号を表示することで、距離が大の場合は、（ｄ）右シフト画像信号と（ｅ）左シフト画像信号の網膜視差が大きくなり、より遠くに感じられ、距離が小の場合は、（ｄ）右シフト画像信号と（ｅ）左シフト画像信号の網膜視差が小さくなり近くに感じられることになる。
本実施例では、表示画面よりも奥に視差を生成する方法を参考にして説明を行ったが、表示画面よりも前に視差を生成する場合には、画像合成部１３３は以下の式に従って右シフト画像信号（Ｒｉｇｈｔ）、または左シフト画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ＋Ｅ'
Ｌｅｆｔ＝Ｓ−Ｅ'
このようにすることにより、右シフト画像信号と左シフト画像信号のシフトが逆方向に発生し、右シフト画像信号は入力画像より左にシフトし、左画像信号は入力画像より右にシフトする。この結果、生成された右シフト画像信号と左シフト画像信号は表示画面よりも前に知覚されるようになる。
【０１１０】
（１−４．出力画像選択処理部で行われる出力ステレオ画像ペアの選択処理の詳細について）
次に、図５に示す出力画像選択処理部１０５において実行する処理、すなわち画像処理装置１００の出力とするステレオ画像ペアの選択方法について説明する。ここでは、デプスマップを用いる方法について述べる。
【０１１１】
図１３は、デプスマップとそのヒストグラムの一例である。
図１３の上図（ａ１）は、先に説明した図２、図３を参照して説明した２眼撮像系Ａ，１０によって撮像した左眼画像に対応し、デプスマップ生成処理部１０４において生成されたデプスマップである。
同じく、図１３の下図（ｂ１）は、図２、図３を参照して説明した２眼撮像系Ｂ，２０によって撮像した左眼画像に対応するデプスマップである。
【０１１２】
デプスマップ中において、その奥行きは輝度によって表現されており、
輝度が高い画素ほど手前（カメラからの距離が小）、
輝度が低い画素ほど奥（カメラからの距離が大）
このように輝度に応じた奥行き値を有している。
【０１１３】
さらに、図１３の上図（ａ２）は、図１３の上図（ａ１）のデプスマップについてのヒストグラムであり、横軸が奥行き、縦軸が度数、である。ここで、度数とは、該当する奥行きの値を有するデプスマップ中の画素数のことである。
同じく、図１３の下図（ｂ２）は、図１３の下図（ａ１）のデプスマップについてのヒストグラムである。
【０１１４】
いま、図１３の上図および下図のヒストグラム（ａ２），（ｂ２）に注目する。両者のヒストグラムの特徴として、以下のことが言える。
上図（ａ２）が、奥（距離大）の領域に度数分布が集中し、下図（ｂ２）が手前（距離小）の領域に度数が多く分布している。
【０１１５】
先に図１〜図４を参照して説明したように、被写体からの撮像装置までの距離が近い場合においては、撮像装置の撮影画像をそのままステレオ画像として利用すると、視差が過大となり、またオクリュージョンの発生も多くなり、観察者に対して違和感や疲労感を発生させる。一方、２次元画像を両眼視差画像に変換する２Ｄ３Ｄ変換（ステレオ変換）処理による生成画像を利用することで、視差の調整が可能となり、上記のような違和感や疲労感を発生させない画像を生成することが可能となる。
【０１１６】
図１３の上図（ａ２）のように、奥に度数が多く分布する場合、２眼撮像系によるステレオ画像対、すなわち、画像処理装置１００の入力である入力右眼画像と入力左眼画像のステレオ画像対を出力しても、過大な視差やオクリュージョンの発生は少なく、観察者に違和感や疲労感を発生させることなく快適なステレオ視を行わせることができる。
【０１１７】
一方、図１３の下図（ｂ２）のように、手前に度数が多く分布する場合、画像処理装置１００の入力である入力右眼画像と入力左眼画像のステレオ画像対を出力して観察すると、過大な視差やオクリュージョンの発生が多くなり、観察者に違和感や疲労感を発生させる可能性が高い。このような場合、左眼画像１枚から生成したステレオ画像対、すなわち、ステレオ画像生成処理部１０３において生成した生成右眼画像と生成左眼画像のステレオ画像対を出力し、観察させることで過大な視差やオクリュージョンの発生が少ない快適なステレオ視を実現させることができる。
【０１１８】
出力画像選択処理部１０５では、上記のような出力画像選択を実行する。すなわち、図１３（ａ２），（ｂ２）に示すような画像の距離分布ヒストグラムに基づいて選択画像の判別を行なう。その手法は特に限定するものではないが、例えば、度数が上位の奥行き値があるしきい値ｔｈよりも上か下か、を識別することにより出力ステレオ画像対を決定する方法や、ヒストグラムの重心の値を算出し、その値があるしきい値ｔｈよりも上か下か、を識別することにより出力ステレオ画像対を決定する方法、などがある。
【０１１９】
出力画像選択処理部１０５の具体的構成例について図１４以下を参照して説明する。
図１４は、出力画像選択処理部１０５の構成の一例である。
図１４に示す構成において出力画像選択処理部１０５は、図１３を参照して説明した画像のデプスマップから生成される距離ヒストグラムに基づいて画像処理装置１００から出力するステレオ画像ペアの選択処理を行う。
【０１２０】
出力画像選択処理部１０５は、図１４に示すように、制御信号生成部１０５ａ、制御部１０５ｂ，１０５ｃを有する。
制御信号生成部１０５ａは、デプスマップ生成処理部１０４から入力するデプスマップに基づいて図１３（ａ２），（ｂ２）に示すような距離ヒストグラムを生成する。
さらに、制御信号生成部１０５ａは、予め保持したしきい値（ｔｈ）と、生成したヒストグラムの重心の値を比較し、ヒストグラム重心が、しきい値ｔｈ以上か未満かを識別し、識別結果に応じた制御信号（１，０）を制御部１０５ｂ，１０５ｃに出力する。
【０１２１】
制御部１０５ｂは画像処理装置１００に入力される２眼撮像系の撮影画像である「入力右眼画像」と「入力左眼画像」を入力し、これらの画像の出力制御を実行する。制御信号生成部１０５ａから制御信号［１］が入力されると、これらの画像を出力する構成となっている。
一方、制御部１０５ｃはステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」を入力し、これらの画像の出力制御を実行する。制御信号生成部１０５ａから制御信号［１］が入力されると、これらの画像を出力する構成となっている。
このように、図１４に示す出力画像選択処理部１０５は、制御信号生成部１０５ａと２つの制御部１０５ｂ，ｃによって構成される。
【０１２２】
図１４（１）が、デプスマップ生成処理部１０４から入力するデプスマップに基づいて生成した距離ヒストグラムの重心が、しきい値ｔｈ以上である場合の処理を示している。すなわち、画像全体の被写体距離が比較的、奥（カメラから遠い）に位置している場合の処理である。
この場合、制御信号生成部１０５ａは、
２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」の出力制御を行う制御部１０５ｂに出力許可を示す制御信号［１］を出力し、
ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」の出力制御を行う制御部１０５ｃに出力不許可を示す制御信号［０］を出力する。
この結果、出力画像選択処理部１０５の出力する画像、すなわち、画像処理装置１００からの出力画像は、２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」となる。
【０１２３】
図１４（２）は、デプスマップ生成処理部１０４から入力するデプスマップに基づいて生成した距離ヒストグラムの重心が、しきい値ｔｈ未満である場合の処理を示している。すなわち、画像全体の被写体距離が比較的、手前（カメラに近い）に位置している場合の処理である。
この場合、制御信号生成部１０５ａは、
２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」の出力制御を行う制御部１０５ｂに出力不許可を示す制御信号［０］を出力し、
ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」の出力制御を行う制御部１０５ｃに出力許可を示す制御信号［１］を出力する。
この結果、出力画像選択処理部１０５の出力する画像、すなわち、画像処理装置１００からの出力画像は、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」となる。
【０１２４】
図１４に示す処理例では、出力画像選択処理部１０５から出力されるステレオ画像ペアは、
（１）画像処理装置１００に入力される２眼撮像系の撮影画像である「入力右眼画像」と「入力左眼画像」、
（２）ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」、
これら（１），（２）のいずれかの画像ペアである。すなわち、入力ステレオ画像ペア、または、生成ステレオ画像ペアのいずれかである。
【０１２５】
しかし、画像処理装置１００から出力するステレオ画像のペアは、入力ステレオ画像と生成ステレオ画像を混在させた構成としてもよい。
例えば、
画像処理装置１００に入力される２眼撮像系の撮影画像である「入力右眼画像」と、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成左眼画像」とをステレオ画像のペアとして設定して出力するといった構成としてもよい。
このような組合せをすることで、出力ステレオ画像ペアの左右画像間の視差量を、より細かく制御することができる。
【０１２６】
このような様々な画像の組み合わせによる画像出力制御を実行する出力画像選択処理部１０５の構成と処理例について図１５〜図１７を参照して説明する。
図１５〜図１７に示す出力画像選択処理部１０５は、
制御信号生成部１０５ａと、４つの制御部１０５ｂ〜１０５ｅを有する。
【０１２７】
制御信号生成部１０５ａは、デプスマップ生成処理部１０４から入力するデプスマップに基づいて図１３（ａ２），（ｂ２）に示すような距離ヒストグラムを生成する。
さらに、制御信号生成部１０５ａは、予め保持したしきい値（ｔｈ１，ｔｈ２）と、生成したヒストグラムの重心の値を比較し、ヒストグラム重心が、しきい値（ｔｈ１，ｔｈ２）以上か未満かを識別し、識別結果に応じた制御信号（１，０）を制御部１０５ｂ〜１０５ｅに出力する。
なお、しきい値ｔｈ１，ｔｈ２は、
奥（カメラからの距離大）＞ｔｈ１＞ｔｈ２＞手前（カメラからの距離小）
上記のように、しきい値ｔｈ１がｔｈ２より、カメラからの距離が大の位置に設定されたしきい値である。
【０１２８】
制御部１０５ｂは画像処理装置１００に入力される２眼撮像系の撮影画像である「入力右眼画像」を入力し、この「入力右眼画像」の出力制御を実行する。制御信号生成部１０５ａから制御信号［１］が入力されると、この「入力右眼画像」を出力する構成となっている。
制御部１０５ｃは画像処理装置１００に入力される２眼撮像系の撮影画像である「入力左眼画像」を入力し、この「入力左眼画像」の出力制御を実行する。制御信号生成部１０５ａから制御信号［１］が入力されると、この「入力左眼画像」を出力する構成となっている。
【０１２９】
一方、制御部１０５ｄはステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」を入力し、この「生成右眼画像」の出力制御を実行する。制御信号生成部１０５ａから制御信号［１］が入力されると、この「生成右眼画像」を出力する構成となっている。
制御部１０５ｅはステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成左眼画像」を入力し、この「生成左眼画像」の出力制御を実行する。制御信号生成部１０５ａから制御信号［１］が入力されると、この「生成左眼画像」を出力する構成となっている。
【０１３０】
図１５に示す例が、デプスマップ生成処理部１０４から入力するデプスマップに基づいて生成した距離ヒストグラムの重心が、しきい値ｔｈ１以上である場合の処理を示している。すなわち、画像全体の被写体距離が比較的、奥（カメラから遠い）に位置している場合の処理である。
【０１３１】
この場合、制御信号生成部１０５ａは、
２眼撮像系で撮影された「入力右眼画像」の出力制御を行う制御部１０５ｂに出力許可を示す制御信号［１］を出力し、さらに、
２眼撮像系で撮影された「入力左眼画像」の出力制御を行う制御部１０５ｃに出力許可を示す制御信号［１］を出力する。
また、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」の出力制御を行う制御部１０５ｄ，ｅに出力不許可を示す制御信号［０］を出力する。
この結果、出力画像選択処理部１０５の出力する画像、すなわち、画像処理装置１００からの出力画像は、２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」となる。
【０１３２】
図１６に示す例は、デプスマップ生成処理部１０４から入力するデプスマップに基づいて生成した距離ヒストグラムの重心が、しきい値ｔｈ２以上、かつｔｈ１未満である場合の処理を示している。すなわち、画像全体の被写体距離が比較的、中間的な距離に位置している場合の処理である。
【０１３３】
この場合、制御信号生成部１０５ａは、
２眼撮像系で撮影された「入力右眼画像」の出力制御を行う制御部１０５ｂに出力許可を示す制御信号［１］を出力し、さらに、
２眼撮像系で撮影された「入力左眼画像」の出力制御を行う制御部１０５ｃに出力不許可を示す制御信号［０］を出力する。
また、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」の出力制御を行う制御部１０５ｄに出力許可を示す制御信号［１］を出力する。
さらに、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成左眼画像」の出力制御を行う制御部１０５ｅに出力不許可を示す制御信号［０］を出力する。
この結果、出力画像選択処理部１０５の出力する画像、すなわち、画像処理装置１００からの出力画像は、
２眼撮像系で撮影された「入力右眼画像」と、
ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」となる。
【０１３４】
この場合、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」は左眼用画像として出力される。
ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」は元々「入力左眼画像」に基づいて生成されたものであり、「入力左眼画像」よりは右側の視点からの画像となり、かつ「入力右眼画像」よりは左視点からの画像となる。
すなわち、２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」の組み合わせより視差の少ない画像ペアとなる。
【０１３５】
図１７に示す例は、デプスマップ生成処理部１０４から入力するデプスマップに基づいて生成した距離ヒストグラムの重心が、しきい値ｔｈ２未満である場合の処理を示している。すなわち、画像全体の被写体距離が比較的、手前（カメラに近い）に位置している場合の処理である。
【０１３６】
この場合、制御信号生成部１０５ａは、
２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」の出力制御を行う制御部１０５ｂ，ｃに出力不許可を示す制御信号［０］を出力する。
また、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」の出力制御を行う制御部１０５ｄ，ｅに出力許可を示す制御信号［１］を出力する。
この結果、出力画像選択処理部１０５の出力する画像、すなわち、画像処理装置１００からの出力画像は、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」となる。
【０１３７】
このように、図１５〜図１７を参照して説明した設定では、
（ａ）処理対象の画像の被写体距離が比較的遠い（奥）場合は、２眼撮像系で撮影された「入力右眼画像」と「入力左眼画像」の組み合わせを出力（図１５）する。
（ｂ）処理対象の画像の被写体距離が中間的な距離の場合は、２眼撮像系で撮影された「入力右眼画像」と、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」を左眼画像とした組み合わせを出力（図１６）する。
（ｃ）処理対象の画像の被写体距離が比較的近い（手前）場合は、ステレオ画像生成処理部１０３が２Ｄ３Ｄ変換によって生成した「生成右眼画像」と「生成左眼画像」の組み合わせを出力（図１７）する。
このような３態様を画像に応じて選択して、出力画像の組み合わせを変更する。
【０１３８】
［２．その他の実施例について］
上述の実施例において説明した画像処理装置の構成、すなわち、図５に示す画像処理装置１００は、本開示の画像処理装置の実施形態の一例であり、他に様々な実施形態が存在する。
図１８以下を参照して、複数の実施例について説明する。
【０１３９】
（２−１．最小構成要素の構成例について）
図１８は、本開示の画像処理装置における最小の構成要素からなる構成例である。
画像処理装置３００は、右眼画像入力部３０１、左眼画像入力部３０２と、ステレオ画像生成処理部３０３を有する。
画像処理装置３００は、２眼ステレオ画像信号を入力する。入力画像信号は、左右対の撮像系で撮像された左右のステレオ画像、すなわち入力右眼画像と入力左眼画像である。例えば、図２に示す２眼撮像系Ａ１０や、２眼撮像系Ｂ２０等の２つの異なる視点からの２枚の画像のペアを入力する。
これらの入力右眼画像と入力左眼画像はそれぞれ、右眼画像入力部３０１および左眼画像入力部３０２に入力される。
【０１４０】
ステレオ画像生成処理部３０３は、入力した１つの画像（本例では入力左眼画像）を利用した２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
ただし、本実施例では、ステレオ画像生成処理部３０３は、デプスマップを利用することなく、２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
【０１４１】
画像処理装置３００からは、
（ａ）画像処理装置３００の入力である２眼撮像系において撮影された入力右眼画像と入力左眼画像のステレオ画像ペア、、
（ｂ）ステレオ画像生成処理部３０３における２Ｄ３Ｄ変換処理によって生成された生成右眼画像と生成左眼画像のステレオ画像ペア、
これらのすべての画像を出力する。
すなわち、出力画像の選択処理は実行しない。
【０１４２】
本実施例において、ステレオ画像生成処理部３０３は、デプスマップを利用することなく、２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
先に図５以下を参照して説明した実施例では、ステレオ画像生成処理部１０３は、デプスマップを利用して、被写体距離（デプス）に応じてシフト量を変更した２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成していた。
これに対して、図１８に示す画像処理装置３００のステレオ画像生成処理部３０３は、デプスマップを利用することなく、被写体距離（デプス）に依存しないシフト量の設定による２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
【０１４３】
なお、この２Ｄ３Ｄ変換処理には、例えば、本出願人と同一出願人の特開２０１０−６３０８３号に開示された構成が適用可能である。
【０１４４】
（２−２．出力画像選択処理部を省略した構成例について）
次に、図５に示す画像処理装置１００から出力画像選択処理部１０５を省略した構成例について図１９を参照して説明する。
【０１４５】
図１９に示す画像処理装置３２０は、右眼画像入力部３２１、左眼画像入力部３２２、ステレオ画像生成処理部３２３、デプスマップ生成処理部３２４を有する。
画像処理装置３２０は、２眼ステレオ画像信号を入力する。入力画像信号は、左右対の撮像系で撮像された左右のステレオ画像、すなわち入力右眼画像と入力左眼画像である。例えば、図２に示す２眼撮像系Ａ１０や、２眼撮像系Ｂ２０等の２つの異なる視点からの２枚の画像のペアを入力する。
これらの入力右眼画像と入力左眼画像はそれぞれ、右眼画像入力部３２１および左眼画像入力部３２２に入力される。
【０１４６】
ステレオ画像生成処理部３２３は、入力した１つの画像（本例では入力左眼画像）に基づいて、デプスマップ生成処理部３２４の生成したデプスマップを利用した２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
【０１４７】
デプスマップ生成処理部３２４は、入力画像の各画素に距離情報を対応付けたデプスマップを生成して出力する。
デプスマップは、画像を構成する画素の被写体についての被写体距離（カメラからの距離）を示すデータであり、例えば、画像の各画素の被写体の距離情報を輝度情報に変換して示した画像などによって構成される。
【０１４８】
画像処理装置３２０からは、
（ａ）画像処理装置３２０の入力である２眼撮像系において撮影された入力右眼画像と入力左眼画像のステレオ画像ペア、、
（ｂ）ステレオ画像生成処理部３２３における２Ｄ３Ｄ変換処理によって生成された生成右眼画像と生成左眼画像のステレオ画像ペア、
これらのすべての画像を出力する。
すなわち、出力画像の選択処理は実行しない。
【０１４９】
本実施例は、先に図５他を参照して説明した実施例から出力画像の選択を行う出力画像選択処理部１０５を省略した構成である。
【０１５０】
（２−３．出力画像選択処理部においてデプスマップを適用しない設定とした構成例について）
次に、出力画像選択処理部においてデプスマップを適用しない設定とした構成例について図２０を参照して説明する。
【０１５１】
図２０に示す画像処理装置３４０は、右眼画像入力部３４１、左眼画像入力部３４２、ステレオ画像生成処理部３４３、デプスマップ生成処理部３４４、出力画像選択処理部３４５を有する。
構成要素は、先に図５を参照して説明した画像処理装置１００と同様である。
ただし、図２０に示す画像処理装置３４０の出力画像選択処理部３４５は、デプスマップを用いずに出力画像の選択処理を行う。この点が先に図５を参照して説明した実施例とは異なる点である。
【０１５２】
画像処理装置３４０は、２眼ステレオ画像信号を入力する。入力画像信号は、左右対の撮像系で撮像された左右のステレオ画像、すなわち入力右眼画像と入力左眼画像である。例えば、図２に示す２眼撮像系Ａ１０や、２眼撮像系Ｂ２０等の２つの異なる視点からの２枚の画像のペアを入力する。
これらの入力右眼画像と入力左眼画像はそれぞれ、右眼画像入力部３４１および左眼画像入力部３４２に入力される。
【０１５３】
ステレオ画像生成処理部３４３は、入力した１つの画像（本例では入力左眼画像）に基づいて、デプスマップ生成処理部３４４の生成したデプスマップを利用した２Ｄ３Ｄ変換処理によりステレオ画像を構成する右眼画像と左眼画像を生成する。
【０１５４】
デプスマップ生成処理部３４４は、入力画像の各画素に距離情報を対応付けたデプスマップを生成して出力する。
デプスマップは、画像を構成する画素の被写体についての被写体距離（カメラからの距離）を示すデータであり、例えば、画像の各画素の被写体の距離情報を輝度情報に変換して示した画像などによって構成される。
【０１５５】
出力画像選択処理部３４５は、
（ａ）画像処理装置１００の入力である入力右眼画像と入力左眼画像、
（ｂ）ステレオ画像生成処理部１０３において生成された生成右眼画像と生成左眼画像、
これらの画像から出力する画像を選択する処理を行う。
ただし、本実施例において、出力画像選択処理部３４５は、デプスマップを用いずに出力画像の選択処理を行う。この点が先に図５を参照して説明した実施例とは異なる点である。
【０１５６】
デプス情報を用いることなく、入力した画像情報から出力画像選択処理を行う出力画像選択処理部３４５の実行する処理例について、図２１を参照して説明する。
図２１は、出力画像選択処理部３４５における出力画像選択処理の一例を説明する図である。
【０１５７】
図２１には、
（ａ）入力左眼画像と、入力左画像輝度分布（画像を水平方向に分割し、各分割領域の輝度値総和を示す輝度分布）
（ｂ）入力右眼画像と、入力右画像輝度分布（画像を水平方向に分割し、各分割領域の輝度値総和を示す輝度分布）
これらを示している。
【０１５８】
入力左眼画像、入力右眼画像は、例えば、図２に示す２眼撮像系Ａ１０や、２眼撮像系Ｂ２０等の２つの異なる視点からの２枚の画像のペアであり、図２０に示す左眼画像入力部３４２、右眼画像入力部３４１を介して出力画像選択部３４５に入力される。
出力画像選択部３４５は、これらの入力画像に基づいて、図２１の下段に示す画像輝度分布を解析する。入力左眼画像、入力右眼画像の各々について、画像を水平方向に分割し、各分割領域の輝度値総和を示す輝度分布を算出する。
図に示すように、左右画像のそれぞれについて、水平方向にｎ分割して、各分割領域の縦方向の輝度総和を算出する。
【０１５９】
さらに、各横方向の座標ごとにその差分を算出し、さらに、その差分総和をとることで、左右画像の類似度を算出する。その際、一方の画像を一様にシフトし、差分総和の平均を算出することで、シフト量に応じた左右画像の類似度が計算できる。類似度が最小となるシフト量の値が、左右画像の視差の推測値となる。
【０１６０】
具体的には、例えば以下の処理を行う。以下の式において、
Ｌｘは、Ｌ０〜Ｌｎにおける輝度総和値を示す。
Ｒｘは、Ｒ０〜Ｒｎにおける輝度総和値を示す。
シフト量０：差分総和平均＝（（Ｌ０−Ｒ０）＋（Ｌ１−Ｒ１）・・・＋（Ｌｎ−Ｒｎ））／ｎ
シフト量１：差分総和平均＝（（Ｌ０−Ｒ１）＋（Ｌ１−Ｒ２）・・・＋（Ｌｎ−１−Ｒｎ））／（ｎ−１）
シフト量２：差分総和平均＝（（Ｌ０−Ｒ２）＋（Ｌ１−Ｒ３）・・・＋（Ｌｎ−２−Ｒｎ））／（ｎ−２）
：
【０１６１】
上記式によって算出される差分総和平均の値がシフト量に応じた２つの画像の類似度を示しており、最小の差分総和平均の値を持つシフト量の値が、左右画像の視差の推測値となる。
出力画像選択部３４５は、この左右視差の推測値を、先に図１３〜図１７を参照して説明したデプスのヒストグラムの重心と同じように扱い、出力画像の選択に用いる。
つまり、出力画像選択部３４５は、
左右視差の推測値が一定の大きさのシフト量（の絶対値）Ｓｍｉｎ以上の場合、ステレオ画像生成処理部で生成された生成ステレオ画像対を出力し、
Ｓｍｉｎ未満の場合、入力ステレオ画像対を出力する、といった出力画像選択処理を実行する。
【０１６２】
また、計算量の削減のためには、左右の差分総和を検証するシフト量をＳｍｉｎまでとし、−ＳｍｉｎからＳｍｉｎまでをシフト量を順に変えて差分総和を算出し、その間に差分総和が一定のしきい値Ｄｓを下回った場合に、生成ステレオ画像対を出力し、そうで無い場合、入力ステレオ画像対を出力する、という方法が有効である。
以上のように、入力の画像のみを用いて、簡易に出力画像選択処理を実施することも可能である。
【０１６３】
（２−４．撮像情報に基づく出力画像選択を実行する構成例について）
次に、撮像情報に基づく出力画像選択を実行する構成例について説明する。
図２２に示す画像処理装置５００は、先に説明した図２０の画像処理装置３４０と同様の構成を有する。ただし、出力画像選択処理部５０５に対して、２眼ステレオ撮像装置４００から、［撮影モード・フォーカス位置などの撮像情報５００Ａ，Ｂ］が入力される点が異なっている。
【０１６４】
図２２に示す構成では、２眼ステレオ撮像装置４００の右眼撮像部４０１から［撮影モード・フォーカス位置などの撮像情報５００Ａ］が出力画像選択処理部５０５に入力され、、２眼ステレオ撮像装置４００の左眼撮像部４０２から［撮影モード・フォーカス位置などの撮像情報５００Ｂ］が出力画像選択処理部５０５に入力される。
【０１６５】
なお、出力画像選択処理部５０５に入力する撮像情報には、様々な内容が考えられる。例えば、フォーカス位置情報や撮像モードの情報といったメタデータである。
フォーカス位置の情報は、被写体までの距離との相関が高い情報である。例えば、フォーカス位置が近い場合は、カメラからの距離が近い被写体を撮影している可能性が高い。そのため、見やすい立体像を得るために、ステレオ画像生成処理部で生成された生成ステレオ画像対を出力すべきである。一方、フォーカス位置が遠い場合は、カメラからの距離が遠い被写体を撮影している可能性が高い。そのため、入力ステレオ画像ペアをそのまま出力すべきである。このような情報が出力画像選択処理部５０５に入力された場合、出力画像選択処理部５０５は、入力ステレオ画像ペアをそのまま出力する。
【０１６６】
さらに、デジタルカメラの機能として、自動またはユーザーにより選択される、撮像モードの情報も、被写体までの距離を推測するために有効な情報である。例えば、「マクロモード」が選択されている場合は、カメラからの距離が近い被写体を撮影している可能性が高い。そのため、見やすい立体像を得るために、ステレオ画像生成処理部５０３で２Ｄ３Ｄ変換処理によって生成された生成ステレオ画像対を出力すべきである。このような情報が出力画像選択処理部５０５に入力された場合、出力画像選択処理部５０５は、ステレオ画像生成処理部５０３で２Ｄ３Ｄ変換処理によって生成された生成ステレオ画像ペアを選択出力する。
【０１６７】
一方、「風景モード」が選択されている場合は、カメラからの距離が遠い被写体を撮影している可能性が高い。そのため、入力ステレオ画像対をそのまま出力すべきである。このような情報が出力画像選択処理部５０５に入力された場合、出力画像選択処理部５０５は、入力ステレオ画像ペアをそのまま出力する。
【０１６８】
以上、撮像情報として２つのメタデータを例にあげたが、これ以外にも被写体までの距離との相関がある撮像情報を利用することで、出力画像選択処理を行うことが可能である。
また、図２２に示す構成例では、左眼、右眼の双方の撮像系における撮像情報が入力する設定としているが、いずれか一方を用いる構成としてもよい。
【０１６９】
なお、図２２に示す構成において、出力画像選択処理部５０５は、撮像装置４００から入力する撮像情報に基づく出力画像選択処理を実行する構成としているが、例えば図２３に示す画像処理装置５２０のように、出力画像選択処理部５２５に対して、撮像装置４００からの撮像情報５００Ａ，Ｂの他、デプスマップ生成処理部５２４の生成したデプスマップを入力して、前述したデプスマップと閾値との比較結果と、撮像情報の双方を考慮して出力画像の選択を実行する構成としてもよい。
例えば、デプスマップ、入力画像対、撮像情報のそれぞれの要素を重み付けして、最終的に出力画像対を選択する方法などが適用できる。
【０１７０】
（２−５．ユーザ選択情報に基づく出力画像選択を実行する構成例について）
次に、ユーザから入力される選択情報に基づく出力画像選択を実行する構成例について説明する。
図２４に示す画像処理装置５４０は、先に説明した図２０の画像処理装置３４０と同様の構成を有する。ただし、出力画像選択処理部５０５に対して、図示しない入力部を介して、［ユーザからの選択情報５００Ｃ］が入力される点が異なっている。
【０１７１】
これまでに説明した構成では、出力画像選択処理部において、自動で出力ステレオ画像対を選択するものであったが、図２４に示す画像処理装置５４０は、出力画像選択処理部５４５が、ユーザによって入力される選択情報を入力して、この入力に従って出力画像の選択を実行する。
【０１７２】
図２４に示す画像処理装置５４０ｉおいては、ユーザが手動にて、入力ステレオ画像対、生成ステレオ画像対、を選択することを想定している。例えば、左右カメラモード」と「３Ｄ変換モード」といった項目がプレビュー画面に表示され、ユーザーの意思によってこれを選択する、といった手段が考えられる。
【０１７３】
なお、このように、出力画像選択処理部では、
デプスマップ、
撮像情報、
ユーザ選択情報、
これらの情報のいずれか、または組み合わせて利用して出力画像を選択することができる。
また、出力画像の選択に際しては、
（ａ）画像処理装置の入力である２眼撮像系において撮影された入力右眼画像と入力左眼画像のステレオ画像ペア、もしくは、
（ｂ）ステレオ画像生成処理部における２Ｄ３Ｄ変換処理によって生成された生成右眼画像と生成左眼画像のステレオ画像ペア、
上記（ａ）または（ｂ）の画像ペアのいずれかの設定とする構成の他、先に、図１５〜図１７を参照して説明したように上記（ａ），（ｂ）の混在した画像ペアを出力画像として選択する構成としてもよい。
【０１７４】
（２−６．デプスマップ生成処理部を省略した構成例について）
次に、デプスマップ生成処理部を省略した構成例について図２５を参照して説明する。
図２５に示す画像処理装置５６０は、先に説明した図５に示す画像処理装置１００から、デプスマップ生成処理部を省いた構成を持つ。
すなわち、この構成では、出力画像選択処理部５６５は、デプスマップを用いることなく出力画像の選択を実行する。
【０１７５】
出力画像選択処理部５６５は、例えば、
入力画像情報に基づく画像選択、
撮像情報に基づく画像選択、
ユーザの選択情報に基づく画像選択、
これらのいずれか、またはこれらの組み合わせに基づく画像選択を実行する。
また、選択出力する画像のペアは、
（ａ）画像処理装置の入力である２眼撮像系において撮影された入力右眼画像と入力左眼画像のステレオ画像ペア、もしくは、
（ｂ）ステレオ画像生成処理部における２Ｄ３Ｄ変換処理によって生成された生成右眼画像と生成左眼画像のステレオ画像ペア、
上記（ａ）または（ｂ）の画像ペアのいずれかの設定とする構成の他、先に、図１５〜図１７を参照して説明したように上記（ａ），（ｂ）の混在した画像ペアを出力画像として選択する構成としてもよい。
【０１７６】
［３．画像処理装置に対する入力画像を制御する構成を持つ実施例について］
ここまで説明した画像処理装置は、全て、画像処理装置に左右両眼の画像信号が入力されていた。しかし、画像処理装置に左右ステレオ画像対が入力する前に、ステレオ変換処理による生成ステレオ画像ペアを出力することが決定されている場合、ステレオ変換に用いない右眼画像は画像処理装置に入力する必要がない。
さらに、撮像装置による撮像以前に、ステレオ変換処理による生成ステレオ画像ペアの出力が決定されている場合は、ステレオ変換に用いない右眼画像は撮像する必要すらない。
このように、出力画像の設定次第では、画像入力処理や画像撮影処理を簡略化する制御を行うことが可能となる。以下、このような制御構成を持つ装置の例について説明する。
【０１７７】
（３−１．入力画像選択を入力処理前に行う構成例について）
まず、入力画像選択を入力処理前に行う構成について説明する。具体的には、２Ｄ／３Ｄ変換処理画像を出力画像として決定した場合、２眼撮像系によって撮影された２つの画像の一方のみ、例えば、左眼画像のみを装置に入力する画像処理装置の構成について、図２６を参照して説明する。
【０１７８】
図２６に示す画像処理装置７００は、先に図１８を参照して説明した画像処理装置３００の構成に入力画像選択処理部７０１を追加した構成を持つ。
右眼撮像部６０１と左眼撮像部６０２を有する２眼ステレオ撮像装置６００から入力右眼画像、入力左眼画像を入力し、処理を実行する構成を持つ。
【０１７９】
入力画像選択処理部７０１は、画像処理装置７００から出力するステレオ画像ペアが、撮像装置６００の右眼撮像部６０１および左眼撮像部６０２で撮像されたステレオ画像ペア（以降、撮像ステレオ画像ペアと表記）か、左眼撮像部６０２で撮像された１枚画像を、ステレオ画像生成処理部７０４において２Ｄ３Ｄ変換（ステレオ変換）して生成した生成ステレオ画像ペアかを判別し、前者であれば、右眼と左眼双方の画像信号を画像処理装置７００に入力し、後者であれば、左眼画像信号のみを画像処理装置７００に入力する。
【０１８０】
図２６に示す画像処理装置７００において、実線と点線で、異なる処理ケースにおけるデータの流れを示している。すなわち、
画像処理装置７００内の実線で示す矢印に従ったデータの流れが、画像処理装置７００からの出力が、ステレオ画像生成処理部７０４において２Ｄ３Ｄ変換（ステレオ変換）して生成した生成ステレオ画像ペアである場合の処理であり、左眼画像信号のみを入力する処理ケース１を示している。
画像処理装置７００内の点線で示す矢印に従ったデータの流れが、画像処理装置７００からの出力が、撮像装置６００の右眼撮像部６０１および左眼撮像部６０２で撮像されたステレオ画像ペアである場合の処理であり、右眼画像信号と、左眼画像信号の双方を入力する処理ケース２を示している。
【０１８１】
なお、入力画像選択処理部７０１は、入力画像の選定にあたって、画像処理装置７００の出力画像を決定し、その決定情報に基づいて入力画像を決定するといった処理を行う。
出力画像の決定処理には、先に説明した実施例と同様、
入力画像情報に基づく画像選択、
撮像情報に基づく画像選択、
ユーザの選択情報に基づく画像選択、
これらのいずれか、またはこれらの組み合わせに基づく画像選択を実行する。
【０１８２】
図２６に示す画像処理装置７００の構成において、入力画像選択処理部７０１が、撮像情報に基づいて出力画像を決定し、この出力画像の決定に基づいて入力画像を選択する構成例は、図２７に示す構成となる。
図２７の画像処理装置７００において、入力画像選択処理部７０１は、２眼ステレオ撮像装置６００から［撮影モード・フォーカス位置などの撮像情報６００Ａ，Ｂ］を入力し、これらの情報に基づいて、画像処理装置７００から出力する画像ペウを決定する。さらに、この出力画像の決定に基づいて入力画像を選択する。
【０１８３】
図２７において、画像処理装置７００内の実線で示す矢印に従ったデータの流れが、画像処理装置７００からの出力が、ステレオ画像生成処理部７０４において２Ｄ３Ｄ変換（ステレオ変換）して生成した生成ステレオ画像ペアである場合の処理であり、左眼画像信号のみを入力する処理ケース１を示している。
画像処理装置７００内の点線で示す矢印に従ったデータの流れが、画像処理装置７００からの出力が、撮像装置６００の右眼撮像部６０１および左眼撮像部６０２で撮像されたステレオ画像ペアである場合の処理であり、右眼画像信号と、左眼画像信号の双方を入力する処理ケース２を示している。
【０１８４】
（３−２．入力画像選択を撮影前に行う構成例について）
次に、入力画像選択を撮影前に行う構成例について説明する。
具体的には、２Ｄ／３Ｄ変換処理画像を出力画像として決定した場合、２眼撮像系によって撮影する画像を左眼画像のみとし、右眼画像の撮影は中止するという制御を行う構成について、図２８を参照して説明する。
【０１８５】
図２８に示す画像処理装置７２０は、先に図１８を参照して説明した画像処理装置３００の構成に入力画像選択処理部７２１を追加した構成を持つ。
右眼撮像部６０１と左眼撮像部６０２を有する２眼ステレオ撮像装置６００から入力右眼画像、入力左眼画像を入力し、処理を実行する構成を持つ。
【０１８６】
入力画像選択処理部７２１は、画像処理装置７２０から出力するステレオ画像ペアが、撮像装置６００の右眼撮像部６０１および左眼撮像部６０２で撮像されたステレオ画像ペア（以降、撮像ステレオ画像ペアと表記）か、左眼撮像部６０２で撮像された１枚画像を、ステレオ画像生成処理部７２４において２Ｄ３Ｄ変換（ステレオ変換）して生成した生成ステレオ画像ペアかを判別し、前者であれば、右眼と左眼双方の画像信号を画像処理装置７２０に入力する。
後者であれば、左眼画像信号のみを画像処理装置７２０に入力する。さらに、入力画像選択処理部７２１は、撮像装置６００に対して制御信号を出力して、右眼撮像部６０１における右眼画像の撮影を中止させる制御を実行する。
【０１８７】
図２８に示す［制御信号０，７００Ａ］が、右眼撮像部６０１に対する撮影中止を行わせる制御信号であり、［制御信号１，７００Ｂ］が、右眼撮像部６０１に対する撮影を行わせる制御信号である。
【０１８８】
これは、撮像装置による撮像以前に、出力すべきステレオ画像対が、撮像ステレオ画像対か生成ステレオ画像対かを判別し、生成ステレオ画像対を出力すべきと判別されてしまえば、ステレオ変換に用いない右眼画像は撮像しないという撮像制御を実行する構成である。
なお、この場合の入力画像選択処理は、
フォーカス位置情報や撮像モードの情報といった、撮像しようとしているメタデータを元に、入力画像対を選択する方法、
ユーザーによる選択によって行なう構成、
などの構成が可能である。
【０１８９】
図２８は、入力画像選択処理部７２１が、撮像装置６００から撮像情報を入力して出力画像を決定して、決定した出力画像に基づいて撮像制御処理を実行する構成例を示している。
図２９は、入力画像選択処理部７２１が、図示しない入力部を介してユーザ選択情報を入力して出力画像を決定して、決定した出力画像に基づいて撮像制御処理を実行する構成例を示している。
【０１９０】
図２８、図２９のいずれにおいても、画像処理装置７２０内の実線で示す矢印に従ったデータの流れが、画像処理装置７２０からの出力が、ステレオ画像生成処理部７２４において２Ｄ３Ｄ変換（ステレオ変換）して生成した生成ステレオ画像ペアである場合の処理であり、左眼画像信号のみを入力する処理ケース１を示している。
画像処理装置７２０内の点線で示す矢印に従ったデータの流れが、画像処理装置７２０からの出力が、撮像装置６００の右眼撮像部６０１および左眼撮像部６０２で撮像されたステレオ画像ペアである場合の処理であり、右眼画像信号と、左眼画像信号の双方を入力する処理ケース２を示している。
【０１９１】
［４．デプスマップを外部装置から入力する構成］
例えば先に図５を参照して説明した画像処理装置１００では、画像処理装置内部にデプスマップ生成処理部を有し、画像処理装置内部でデプスマップを生成する構成としていた。
しかし、デプスマップは画像処理装置の外部の別の装置から入力する構成としてもよい。
例えば図３０に示す構成である。
【０１９２】
図３０に示す画像処理装置８２０は、デプスマップ生成処理部を持たず、外部のデプス情報取得装置８１０の生成したデプスマップを入力して、ステレオ画像生成処理部８２３において利用する構成としている。
デプス情報取得装置８１０は、例えばレンジセンサなどを用いることを想定している。
【０１９３】
図３０に示す画像処理装置８２０は、入力したステレオ画像ペアを、各画像入力部８２１，８２２を介してステレオ画像生成処理部８２３に入力し、さらに、ステレオ画像生成処理部８２３は外部装置としてのデプス情報取得装置８１０からデプスマップを取得する。
その後のステレオ画像生成処理部８２３における処理は、先に説明した実施例における処理と同様である。
【０１９４】
［５．２Ｄ３Ｄ変換処理対象画像を右眼画像または選択可能とした構成］
上述した実施例では、ステレオ画像生成処理部に入力する画像を左眼画像とした処理例を説明し、２Ｄ３Ｄ変換処理を実行する画像を左眼画像として説明したが、右眼画像を処理対象として２Ｄ３Ｄ変換処理を実行する構成としてもよい。
【０１９５】
図３１に示す画像処理装置８４０は、ステレオ画像生成処理部８４３に入力する画像を右眼画像とし、右眼画像に基づく２Ｄ３Ｄ変換処理を実行してステレオ画像を生成する構成例である。
【０１９６】
また、図３２に示す画像処理装置８５０のように、ステレオ変換画像選択処理部８５３を設定し、ステレオ画像生成処理部８５４に入力する画像を右眼画像とするか左眼画像とするかを選択可能とした構成としてもよい。
【０１９７】
選択する基準としてはさまざまな基準が利用可能であるが、例えば、左右画像のどちらが人の目から見て映りがよいか、を判断して選択するといった設定が可能である。具体的には、主たる被写体が、より構図の中心にある方を選ぶ、あるいは、フォーカス位置がより合致している方を選ぶ、などのように、総合的に良い画像を選ぶといった設定が可能である。
なお、撮影画像の中から総合的に良い画像を自動で評価する技術には、例えば、特開２０１０−１１９０９７号公報に記載された評価処理が適用可能である。
こうした技術を用いて、左右のうち、総合的に良い方の画像を、ステレオ画像生成処理部の入力とすればよい。
【０１９８】
なお、図３２において、ステレオ変換画像選択処理部８５３から、ステレオ画像生成処理部の実線と点線の設定は以下の通りである。
左眼画像をステレオ変換処理する画像と判別した場合を実線で示している。
右眼画像をステレオ変換処理する画像と判別した場合を点線で示している。
【０１９９】
ステレオ変換画像選択処理部８５３には、左右の入力ステレオ画像対が入力され、ステレオ変換処理する側の画像を選択する。
なお、この実施例においても、ステレオ変換に用いない側の画像は撮像しない制御を行う構成を適用可能である。
【０２００】
［４．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２０１】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力部と、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理部を有し、
前記画像入力部に入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力する画像処理装置。
【０２０２】
（２）前記画像処理装置は、前記画像入力部に入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像からステレオ視に適用する２つの画像を出力画像として選択する出力画像選択処理部を有する前記（１）に記載の画像処理装置。
（３）前記画像処理装置は、前記第１左眼画像と前記第１右眼画像を入力し、２つの入力画像の解析に基づいて、画像に撮り込まれた被写体距離を算出し画素領域対応の距離情報を持つデプスマップを生成して前記出力画像選択処理部に出力するデプスマップ生成処理部を有する前記（１）または（２）に記載の画像処理装置。
【０２０３】
（４）前記出力画像選択処理部は、前記デプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択し、被写体距離が相対的に近いと判定した場合は、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記出力画像選択処理部は、前記デプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択し、被写体距離が相対的に近いと判定した場合は、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択し、被写体距離が中間程度にあると判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像のいずれか一方の画像と、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像のいずれか一方の画像を出力画像として選択する前記（１）〜（４）いずれかに記載の画像処理装置。
【０２０４】
（６）前記出力画像選択処理部は、撮像装置からの撮像情報、または、ユーザ選択情報の少なくともいずれかの情報に基づいて出力画像の選択を実行する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記画像処理装置は、画像処理装置からの出力画像に応じて外部から入力する画像を制御する入力画像選択処理部を有し、前記入力画像選択処理部は、画像処理装置からの出力画像が、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像である場合、異なる視点から撮影されたステレオ視に適用可能な前記第１左眼画像と第１右眼画像のいずれか一方の画像のみを入力する制御を実行する前記（１）〜（６）いずれかに記載の画像処理装置。
【０２０５】
（８）前記入力画像選択処理部は、画像処理装置からの出力画像が、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像である場合、異なる視点から撮影されたステレオ視に適用可能な前記第１左眼画像と第１右眼画像のいずれか一方の画像のみを撮像装置に撮影させる制御信号を出力する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記ステレオ画像生成処理部は、画像評価処理の結果に基づいて選択された前記第１左眼画像または前記第１右眼画像のいずれか１つの画像の画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成する前記（１）〜（８）いずれかに記載の画像処理装置。
【０２０６】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０２０７】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２０８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２０９】
以上、説明したように、本開示の一実施例の構成によれば、ステレオ視に適した画像を選択出力する構成が実現される。
具体的には、異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力部と、第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理部を有し、画素領域対応の距離情報を持つデプスマップに基づいて、被写体距離が相対的に遠いと判定した場合は、画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択して出力する。また、被写体距離が相対的に近いと判定した場合は、ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択して出力する。
この構成により、ステレオ視を行った場合に視差が大きすぎることによる疲労感や、オクリュージョンの発生に基づく違和感などが緩和され、快適なステレオ視が実現される。
【符号の説明】
【０２１０】
１００ 画像処理装置
１０１ 右眼画像入力部
１０２ 左眼画像入力部
１０３ ステレオ画像生成処理部
１０４ デプスマップ生成処理部
１０５ 出力画像選択処理部
２１１ 微分器
２１２ ゲイン制御部
２１３ 非線形変換部
２１４ 画像合成部
２２１ ゲイン係数算出部
２２２ 乗算処理部
３００ 画像処理装置
３０１ 右眼画像入力部
３０２ 左眼画像入力部
３０３ ステレオ画像生成処理部
３２０ 画像処理装置
３２１ 右眼画像入力部
３２２ 左眼画像入力部
３２３ ステレオ画像生成処理部
３２４ デプスマップ生成処理部
３４０ 画像処理装置
３４１ 右眼画像入力部
３４２ 左眼画像入力部
３４３ ステレオ画像生成処理部
３４４ デプスマップ生成処理部
３４５ 出力画像選択処理部
４００ ２眼ステレオ撮像装置
４０１ 右眼撮像部
４０２ 左眼撮像部
５００ 画像処理装置
５０１ 右眼画像入力部
５０２ 左眼画像入力部
５０３ ステレオ画像生成処理部
５０４ デプスマップ生成処理部
５０５ 出力画像選択処理部
５２０ 画像処理装置
５２１ 右眼画像入力部
５２２ 左眼画像入力部
５２３ ステレオ画像生成処理部
５２４ デプスマップ生成処理部
５２５ 出力画像選択処理部
５４０ 画像処理装置
５４１ 右眼画像入力部
５４２ 左眼画像入力部
５４３ ステレオ画像生成処理部
５４４ デプスマップ生成処理部
５４５ 出力画像選択処理部
５６０ 画像処理装置
５６１ 右眼画像入力部
５６２ 左眼画像入力部
５６３ ステレオ画像生成処理部
５６５ 出力画像選択処理部
６００ ２眼ステレオ撮像装置
６０１ 右眼撮像部
６０２ 左眼撮像部
７００ 画像処理装置
７０１ 入力画像選択処理部
７０２ 右眼画像入力部
７０３ 左眼画像入力部
７０４ ステレオ画像生成処理部
７２０ 画像処理装置
７２１ 入力画像選択処理部
７２２ 右眼画像入力部
７２３ 左眼画像入力部
７２４ ステレオ画像生成処理部
８１０ デプス情報取得装置
８２０ 画像処理装置
８２１ 右眼画像入力部
８２２ 左眼画像入力部
８２３ ステレオ画像生成処理部
８４０ 画像処理装置
８４１ 右眼画像入力部
８４２ 左眼画像入力部
８４３ ステレオ画像生成処理部
８５０ 画像処理装置
８５１ 右眼画像入力部
８５２ 左眼画像入力部
８５３ ステレオ変換画像選択処理部
８５４ ステレオ画像生成処理部
【特許請求の範囲】
【請求項１】
異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力部と、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理部を有し、
前記画像入力部に入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力する画像処理装置。
【請求項２】
前記画像処理装置は、
前記画像入力部に入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像からステレオ視に適用する２つの画像を出力画像として選択する出力画像選択処理部を有する請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、
前記第１左眼画像と前記第１右眼画像を入力し、２つの入力画像の解析に基づいて、画像に撮り込まれた被写体距離を算出し画素領域対応の距離情報を持つデプスマップを生成して前記出力画像選択処理部に出力するデプスマップ生成処理部を有する請求項２に記載の画像処理装置。
【請求項４】
前記出力画像選択処理部は、
前記デプスマップに基づいて、
被写体距離が相対的に遠いと判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択し、
被写体距離が相対的に近いと判定した場合は、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択する請求項２に記載の画像処理装置。
【請求項５】
前記出力画像選択処理部は、
前記デプスマップに基づいて、
被写体距離が相対的に遠いと判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択し、
被写体距離が相対的に近いと判定した場合は、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択し、
被写体距離が中間程度にあると判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像のいずれか一方の画像と、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像のいずれか一方の画像を出力画像として選択する請求項２に記載の画像処理装置。
【請求項６】
前記出力画像選択処理部は、
撮像装置からの撮像情報、または、ユーザ選択情報の少なくともいずれかの情報に基づいて出力画像の選択を実行する請求項２に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
画像処理装置からの出力画像に応じて外部から入力する画像を制御する入力画像選択処理部を有し、
前記入力画像選択処理部は、
画像処理装置からの出力画像が、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像である場合、
異なる視点から撮影されたステレオ視に適用可能な前記第１左眼画像と第１右眼画像のいずれか一方の画像のみを入力する制御を実行する請求項１に記載の画像処理装置。
【請求項８】
前記入力画像選択処理部は、
画像処理装置からの出力画像が、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像である場合、
異なる視点から撮影されたステレオ視に適用可能な前記第１左眼画像と第１右眼画像のいずれか一方の画像のみを撮像装置に撮影させる制御信号を出力する請求項７に記載の画像処理装置。
【請求項９】
前記ステレオ画像生成処理部は、
画像評価処理の結果に基づいて選択された前記第１左眼画像または前記第１右眼画像のいずれか１つの画像の画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成する請求項１に記載の画像処理装置。
【請求項１０】
画像処理装置において実行する画像処理方法であり、
異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力ステップと、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理ステップと、
前記画像入力ステップにおいて入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力する画像出力ステップを実行する画像処理方法。
【請求項１１】
画像処理装置において画像処理を実行させるプログラムであり、
異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力させる画像入力ステップと、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成させるステレオ画像生成処理ステップと、
前記画像入力ステップにおいて入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力させる画像出力ステップを実行させるプログラム。
【請求項１】
異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力部と、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理部を有し、
前記画像入力部に入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力する画像処理装置。
【請求項２】
前記画像処理装置は、
前記画像入力部に入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像からステレオ視に適用する２つの画像を出力画像として選択する出力画像選択処理部を有する請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、
前記第１左眼画像と前記第１右眼画像を入力し、２つの入力画像の解析に基づいて、画像に撮り込まれた被写体距離を算出し画素領域対応の距離情報を持つデプスマップを生成して前記出力画像選択処理部に出力するデプスマップ生成処理部を有する請求項２に記載の画像処理装置。
【請求項４】
前記出力画像選択処理部は、
前記デプスマップに基づいて、
被写体距離が相対的に遠いと判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択し、
被写体距離が相対的に近いと判定した場合は、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択する請求項２に記載の画像処理装置。
【請求項５】
前記出力画像選択処理部は、
前記デプスマップに基づいて、
被写体距離が相対的に遠いと判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像を出力画像として選択し、
被写体距離が相対的に近いと判定した場合は、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像を出力画像として選択し、
被写体距離が中間程度にあると判定した場合は、前記画像入力部に入力された第１左眼画像と第１右眼画像のいずれか一方の画像と、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像のいずれか一方の画像を出力画像として選択する請求項２に記載の画像処理装置。
【請求項６】
前記出力画像選択処理部は、
撮像装置からの撮像情報、または、ユーザ選択情報の少なくともいずれかの情報に基づいて出力画像の選択を実行する請求項２に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
画像処理装置からの出力画像に応じて外部から入力する画像を制御する入力画像選択処理部を有し、
前記入力画像選択処理部は、
画像処理装置からの出力画像が、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像である場合、
異なる視点から撮影されたステレオ視に適用可能な前記第１左眼画像と第１右眼画像のいずれか一方の画像のみを入力する制御を実行する請求項１に記載の画像処理装置。
【請求項８】
前記入力画像選択処理部は、
画像処理装置からの出力画像が、前記ステレオ画像生成処理部の生成した第２左眼画像と第２右眼画像である場合、
異なる視点から撮影されたステレオ視に適用可能な前記第１左眼画像と第１右眼画像のいずれか一方の画像のみを撮像装置に撮影させる制御信号を出力する請求項７に記載の画像処理装置。
【請求項９】
前記ステレオ画像生成処理部は、
画像評価処理の結果に基づいて選択された前記第１左眼画像または前記第１右眼画像のいずれか１つの画像の画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成する請求項１に記載の画像処理装置。
【請求項１０】
画像処理装置において実行する画像処理方法であり、
異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力する画像入力ステップと、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成するステレオ画像生成処理ステップと、
前記画像入力ステップにおいて入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力する画像出力ステップを実行する画像処理方法。
【請求項１１】
画像処理装置において画像処理を実行させるプログラムであり、
異なる視点から撮影されたステレオ視に適用可能な第１左眼画像と第１右眼画像の少なくともいずれかの画像を入力させる画像入力ステップと、
前記第１左眼画像または前記第１右眼画像のいずれか１つの画像を入力し、画像変換処理によりステレオ視に適用可能な第２左眼画像と第２右眼画像を生成させるステレオ画像生成処理ステップと、
前記画像入力ステップにおいて入力された第１左眼画像、第１右眼画像、および前記ステレオ画像生成処理部の生成した第２左眼画像、第２右眼画像、これらの複数画像から２つの画像をステレオ視に適用する画像として出力させる画像出力ステップを実行させるプログラム。
【図１】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図８】
【図９】
【図１３】
【図２１】
【図５】
【図６】
【図７】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図８】
【図９】
【図１３】
【図２１】
【公開番号】特開２０１３−５２５９（Ｐ２０１３−５２５９Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３４９２９（Ｐ２０１１−１３４９２９）
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]