画像理装置および方法、並びにプログラム
【課題】右画像および左画像からなる立体画像の視差を正確に検出する。
【解決手段】視差検出部は、右画像と左画像からそれらの画像の各画素の視差を示す視差マップを生成するとともに、その視差の確からしさを示す信頼度マップを生成する。奥行き情報推定部は、右画像または左画像から、画像上の被写体の奥行きを示す奥行き情報マップを生成する。奥行き視差変換部は、奥行き情報の視差情報への変換式を用いて、奥行き情報マップを擬似視差マップに変換する。視差合成部は、信頼度マップを用いて、視差マップと擬似視差マップとを合成し、補正視差マップを生成する。本発明は、画像処理装置に適用することができる。
【解決手段】視差検出部は、右画像と左画像からそれらの画像の各画素の視差を示す視差マップを生成するとともに、その視差の確からしさを示す信頼度マップを生成する。奥行き情報推定部は、右画像または左画像から、画像上の被写体の奥行きを示す奥行き情報マップを生成する。奥行き視差変換部は、奥行き情報の視差情報への変換式を用いて、奥行き情報マップを擬似視差マップに変換する。視差合成部は、信頼度マップを用いて、視差マップと擬似視差マップとを合成し、補正視差マップを生成する。本発明は、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、右画像および左画像からなる立体画像の視差をより正確に検出できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
右画像と左画像とからなる立体画像から得られる視差は、立体画像を観察するユーザから被写体までの奥行きに対応し、立体画像の視差検出は立体画像の視差調整や視点合成、３次元インターフェースなど、様々なアプリケーションソフトに応用可能である。このような立体画像の視差検出は、左右の画像間の対応点を検出する問題に帰着される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−００８５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、立体画像を構成する一方の画像の点に対して、画像上の平坦な部分や繰り返しパターンの部分など、他方の画像上に同様に確からしい対応点の候補が複数存在する場合には、正確な対応付けが困難となり、高精度に視差を検出することができなかった。
【０００５】
また、画像上の物体の側面や複数の物体が奥行き方向に重なって見えている場合などには、特定の被写体の領域が立体画像の一方の画像にしか存在せず、そのような領域においては対応点を検出する方法では視差を検出することができなかった。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、立体画像の視差をより正確に検出することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の第１の側面の画像処理装置は、立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部と、前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップを生成する信頼度算出部と、前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとを合成して補正視差マップを生成する視差合成部とを備える。
【０００８】
前記視差合成部には、前記信頼度マップにより定まる重みを用いて、前記視差マップと前記擬似視差マップとを重み付き加算することにより、前記補正視差マップを生成させることができる。
【０００９】
前記視差合成部には、前記擬似視差マップの高域成分と、前記視差マップの低域成分とを合成して合成マップを生成する成分合成部と、前記信頼度マップに基づいて、前記視差マップと前記合成マップとを合成して前記補正視差マップを生成する加算部とを設けることができる。
【００１０】
前記視差合成部には、前記擬似視差マップの低域成分と、前記視差マップの高域成分とを合成して合成マップを生成する成分合成部と、前記信頼度マップに基づいて、前記視差マップと前記合成マップとを合成して前記補正視差マップを生成する加算部とを設けることができる。
【００１１】
画像処理装置には、前記右画像または前記左画像のうちの一方の画像の所定の画素近傍の領域と、他方の画像上の前記所定の画素に対応する対応画素近傍の領域との残差を示す残差マップを生成する残差マップ生成部をさらに設け、前記信頼度算出部には、前記残差マップに基づいて前記信頼度マップを生成させることができる。
【００１２】
前記視差マップ生成部には、前記右画像または前記左画像のうちの一方の画像の所定の画素近傍の領域と、他方の画像上の画素近傍の領域との残差が最小となる前記他方の画像の画素を、前記所定の画素に対応する画素として検出することで前記視差マップを生成させ、前記他方の画像上の所定方向に並ぶ画素の前記残差のピークの先鋭度を示し、前記信頼度マップの生成に用いられるピーク先鋭度マップを生成するピーク先鋭度マップ生成部をさらに設けることができる。
【００１３】
画像処理装置には、前記右画像または前記左画像のうちの一方の画像の所定の画素に対応する他方の画像の第１の対応画素の検出結果と、前記他方の画像の前記第１の対応画素に対応する前記一方の画像の第２の対応画素の検出結果とに基づいて、前記所定の画素と前記第１の対応画素との一致度を示す一致度マップを生成する一致度算出部をさらに設け、前記信頼度算出部には、前記一致度マップに基づいて前記信頼度マップを生成させることができる。
【００１４】
本技術の第１の側面の画像処理方法またはプログラムは、立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップを生成し、前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップを生成し、前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成し、前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換し、前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとを合成して補正視差マップを生成するステップを含む。
【００１５】
本技術の第１の側面においては、立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップが生成され、前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップが生成され、前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップが生成され、前記奥行き情報マップが、前記奥行きに対応する視差を示す擬似視差マップに変換され、前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとが合成されて補正視差マップが生成される。
【００１６】
本技術の第２の側面の画像処理装置は、立体画像を構成する右画像または左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、前記右画像および前記左画像と、前記擬似視差マップとに基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部とを備える。
【００１７】
本技術の第２の側面の画像処理方法またはプログラムは、立体画像を構成する右画像または左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成し、前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換し、前記右画像および前記左画像と、前記擬似視差マップとに基づいて、前記立体画像の各画素の視差を示す視差マップを生成するステップを含む。
【００１８】
本技術の第２の側面においては、立体画像を構成する右画像または左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップが生成され、前記奥行き情報マップが、前記奥行きに対応する視差を示す擬似視差マップに変換され、前記右画像および前記左画像と、前記擬似視差マップとに基づいて、前記立体画像の各画素の視差を示す視差マップが生成される。
【発明の効果】
【００１９】
本技術の第１の側面および第２の側面によれば、立体画像の視差をより正確に検出することができる。
【図面の簡単な説明】
【００２０】
【図１】画像処理装置の一実施の形態の構成例を示す図である。
【図２】視差検出部の構成例を示す図である。
【図３】視差合成部の構成例を示す図である。
【図４】視差検出処理を説明するフローチャートである。
【図５】視差マップ生成処理を説明するフローチャートである。
【図６】対応画素の検出について説明する図である。
【図７】残差の算出のための関数について説明する図である。
【図８】残差のピークの先鋭度について説明する図である。
【図９】ピークの深さの評価値の算出のための関数について説明する図である。
【図１０】ピークの幅の評価値の算出のための関数について説明する図である。
【図１１】一致度の算出について説明する図である。
【図１２】一致度の算出のための関数について説明する図である。
【図１３】補正視差マップ生成処理を説明するフローチャートである。
【図１４】視差合成部の他の構成例を示す図である。
【図１５】補正視差マップ生成処理を説明するフローチャートである。
【図１６】視差合成部の他の構成例を示す図である。
【図１７】補正視差マップ生成処理を説明するフローチャートである。
【図１８】画像処理装置の他の構成例を示す図である。
【図１９】視差検出処理を説明するフローチャートである。
【図２０】対応画素の検出について説明する図である。
【図２１】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２２】
〈第１の実施の形態〉
［画像処理装置の構成例］
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００２３】
この画像処理装置１１は、右画像と左画像からなる立体画像が供給されると、立体画像の視差を検出し、その検出結果を出力するものである。ここで、右画像とは、立体画像の表示時にユーザの右眼で観察されるように表示される画像であり、左画像とは、立体画像の表示時にユーザの左眼で観察されるように表示される画像である。
【００２４】
画像処理装置１１は、視差検出部２１、奥行き情報推定部２２Ｒ、奥行き情報推定部２２Ｌ、および統合部２３から構成される。
【００２５】
視差検出部２１は、供給された右画像および左画像に基づいて、立体画像の各画素における視差を示す視差マップと、視差マップにより示される各画素の視差の確からしさ、すなわち信頼度を示す信頼度マップとを生成して統合部２３に供給する。
【００２６】
なお、以下において、特に右画像を基準とする視差マップ、すなわち右画像上の各画素と、それらの画素に対応する左画像上の画素との視差を示す視差マップをＲＬ視差マップとも称し、左画像を基準とする視差マップをＬＲ視差マップとも称する。また、以下、ＲＬ視差マップの信頼度を示す信頼度マップをＲＬ信頼度マップとも称し、ＬＲ視差マップの信頼度を示す信頼度マップをＬＲ信頼度マップとも称する。
【００２７】
奥行き情報推定部２２Ｒは、供給された右画像に基づいて、右画像上の各領域（被写体）の奥行きを示すＲ奥行き情報マップを生成し、統合部２３に供給する。奥行き情報推定部２２Ｌは、供給された左画像に基づいて、左画像上の各領域の奥行きを示すＬ奥行き情報マップを生成し、統合部２３に供給する。
【００２８】
ここで、画像上の被写体の奥行きとは、画像を観察するユーザが知覚すると推定される被写体の相対的な奥行き位置をいう。なお、以下、奥行き情報推定部２２Ｒと奥行き情報推定部２２Ｌを特に区別する必要のない場合、単に奥行き情報推定部２２とも称する。また、以下、Ｒ奥行き情報マップとＬ奥行き情報マップを特に区別する必要のない場合、単に奥行き情報マップとも称する。
【００２９】
統合部２３は、視差検出部２１からの信頼度マップに基づいて、視差検出部２１からの視差マップと、奥行き情報推定部２２からの奥行き情報マップとを統合し、補正視差マップを生成する。換言すれば、信頼度マップに応じて、奥行き情報マップを用いた視差マップの補正が行なわれる。
【００３０】
統合部２３は、奥行き視差変換部３１Ｒ、奥行き視差変換部３１Ｌ、視差合成部３２Ｒ、および視差合成部３２Ｌを備えている。
【００３１】
奥行き視差変換部３１Ｒは、視差検出部２１から供給されたＲＬ視差マップおよびＲＬ信頼度マップに基づいて、奥行き情報推定部２２ＲからのＲ奥行き情報マップを、視差情報を有する擬似Ｒ視差マップに変換し、視差合成部３２Ｒに供給する。すなわち、奥行きを示すＲ奥行き情報マップが、その奥行きに対応する視差を示す擬似Ｒ視差マップに変換される。
【００３２】
視差合成部３２Ｒは、視差検出部２１から供給されたＲＬ信頼度マップに基づいて、視差検出部２１からのＲＬ視差マップと、奥行き視差変換部３１Ｒからの擬似Ｒ視差マップとを統合して補正ＲＬ視差マップを生成し、出力する。
【００３３】
奥行き視差変換部３１Ｌは、視差検出部２１から供給されたＬＲ視差マップおよびＬＲ信頼度マップに基づいて、奥行き情報推定部２２ＬからのＬ奥行き情報マップを、視差情報を有する擬似Ｌ視差マップに変換し、視差合成部３２Ｌに供給する。視差合成部３２Ｌは、視差検出部２１から供給されたＬＲ信頼度マップに基づいて、視差検出部２１からのＬＲ視差マップと、奥行き視差変換部３１Ｌからの擬似Ｌ視差マップとを統合して補正ＬＲ視差マップを生成し、出力する。
【００３４】
なお、以下、奥行き視差変換部３１Ｒと奥行き視差変換部３１Ｌを特に区別する必要のない場合、単に奥行き視差変換部３１とも称し、視差合成部３２Ｒと視差合成部３２Ｌを特に区別する必要のない場合、単に視差合成部３２とも称する。
【００３５】
また、以下、擬似Ｒ視差マップと擬似Ｌ視差マップを特に区別する必要のない場合、単に擬似視差マップとも称し、補正ＲＬ視差マップと補正ＬＲ視差マップを特に区別する必要のない場合、単に補正視差マップとも称する。
【００３６】
［視差検出部の構成例］
また、図１の視差検出部２１は、より詳細には図２に示すように構成される。
【００３７】
すなわち、視差検出部２１は、対応点検出部６１Ｒ、対応点検出部６１Ｌ、一致度算出部６２、信頼度算出部６３Ｒ、および信頼度算出部６３Ｌから構成される。
【００３８】
対応点検出部６１Ｒは、左画像から右画像の画素に対応する画素を検出し、ＲＬ視差マップ、ＲＬ残差マップ、およびＲＬピーク先鋭度マップを生成する。対応点検出部６１Ｒは、視差マップ生成部７１Ｒ、残差マップ生成部７２Ｒ、およびピーク先鋭度マップ生成部７３Ｒを備えている。
【００３９】
視差マップ生成部７１Ｒは、供給された左画像と右画像に基づいてＲＬ視差マップを生成し、一致度算出部６２、奥行き視差変換部３１Ｒ、および視差合成部３２Ｒに供給する。すなわち、右画像の各画素に対応する左画像上の画素が検出され、それらの画素位置に基づいて、ＲＬ視差マップが生成される。なお、以下、右画像と左画像のうちの一方の画像の画素に対応する他方の画像の画素を対応画素とも称することとする。例えば、右画像の所定画素に対応する左画像の対応画素は、右画像の所定画素と同じ被写体が表示されている画素である。
【００４０】
残差マップ生成部７２Ｒは、右画像および左画像と、視差マップ生成部７１Ｒによる対応画素の検出結果とに基づいて、右画像の画素近傍の領域と、その画素に対応する左画像の対応画素近傍の領域との残差を示すＲＬ残差マップを生成し、信頼度算出部６３Ｒに供給する。
【００４１】
ピーク先鋭度マップ生成部７３Ｒは、供給された左画像と右画像に基づいて、右画像の画素と、左画像上の各画素との残差を表す曲線のピークの先鋭度、すなわち残差の分散の度合いを示すＲＬピーク先鋭度マップを生成し、信頼度算出部６３Ｒに供給する。
【００４２】
対応点検出部６１Ｌは、左画像の各画素に対する右画像の対応画素を検出し、ＬＲ視差マップ、ＬＲ残差マップ、およびＬＲピーク先鋭度マップを生成する。対応点検出部６１Ｌは、視差マップ生成部７１Ｌ、残差マップ生成部７２Ｌ、およびピーク先鋭度マップ生成部７３Ｌを備えている。
【００４３】
これらの視差マップ生成部７１Ｌ乃至ピーク先鋭度マップ生成部７３Ｌは、視差マップ生成部７１Ｒ乃至ピーク先鋭度マップ生成部７３Ｒと同様の処理を行うので、その説明は省略する。対応点検出部６１Ｌでは、視差マップ生成部７１Ｌ、残差マップ生成部７２Ｌ、およびピーク先鋭度マップ生成部７３Ｌにより、ＬＲ視差マップ、ＬＲ残差マップ、およびＬＲピーク先鋭度マップが生成される。
【００４４】
なお、以下、対応点検出部６１Ｒと対応点検出部６１Ｌを特に区別する必要のない場合、単に対応点検出部６１と称する。また、視差マップ生成部７１Ｒと視差マップ生成部７１Ｌを特に区別する必要のない場合、単に視差マップ生成部７１とも称し、残差マップ生成部７２Ｒと残差マップ生成部７２Ｌを特に区別する必要のない場合、単に残差マップ生成部７２とも称する。さらに、ピーク先鋭度マップ生成部７３Ｒとピーク先鋭度マップ生成部７３Ｌを特に区別する必要のない場合、単にピーク先鋭度マップ生成部７３とも称する。
【００４５】
さらに、以下、ＲＬ残差マップとＬＲ残差マップを特に区別する必要のない場合、単に残差マップとも称し、ＲＬピーク先鋭度マップとＬＲピーク先鋭度マップを特に区別する必要のない場合、単にピーク先鋭度マップとも称する。
【００４６】
一致度算出部６２は、対応点検出部６１ＲからのＲＬ視差マップと、対応点検出部６１ＬからのＬＲ視差マップとに基づいて、視差マップの一致度を示す一致度マップを生成する。すなわち、一致度算出部６２は、ＲＬ視差マップのＬＲ視差マップとの一致度を示すＲＬ一致度マップを生成して信頼度算出部６３Ｒに供給し、ＬＲ視差マップのＲＬ視差マップとの一致度を示すＬＲ一致度マップを生成して信頼度算出部６３Ｌに供給する。
【００４７】
なお、以下、ＲＬ一致度マップとＬＲ一致度マップを特に区別する必要のない場合、単に一致度マップとも称する。
【００４８】
信頼度算出部６３Ｒは、対応点検出部６１ＲからのＲＬ残差マップおよびＲＬピーク先鋭度マップと、一致度算出部６２からのＲＬ一致度マップとに基づいて、ＲＬ信頼度マップを生成し、奥行き視差変換部３１Ｒおよび視差合成部３２Ｒに供給する。
【００４９】
信頼度算出部６３Ｌは、対応点検出部６１ＬからのＬＲ残差マップおよびＬＲピーク先鋭度マップと、一致度算出部６２からのＬＲ一致度マップとに基づいて、ＬＲ信頼度マップを生成し、奥行き視差変換部３１Ｌおよび視差合成部３２Ｌに供給する。なお、以下、信頼度算出部６３Ｒと信頼度算出部６３Ｌを特に区別する必要のない場合、単に信頼度算出部６３とも称する。
【００５０】
［視差合成部の構成例］
また、図１の視差合成部３２Ｒは、より詳細には例えば図３に示すように構成される。
【００５１】
すなわち、視差合成部３２Ｒは、乗算部１０１Ｒ、乗算部１０２Ｒ、および加算部１０３Ｒから構成される。視差合成部３２Ｒは、信頼度算出部６３Ｒから供給されたＲＬ信頼度マップをそのまま重みとして乗算部１０２Ｒに供給するとともに、ＲＬ信頼度マップにより定まる重みを乗算部１０１Ｒに供給する。
【００５２】
乗算部１０１Ｒは、奥行き視差変換部３１Ｒから供給された擬似Ｒ視差マップに供給された重みを乗算し、加算部１０３Ｒに供給する。乗算部１０２Ｒは、対応点検出部６１Ｒから供給されたＲＬ視差マップに供給された重みを乗算し、加算部１０３Ｒに供給する。
【００５３】
加算部１０３Ｒは、乗算部１０１Ｒからの擬似Ｒ視差マップと、乗算部１０２ＲからのＲＬ視差マップとを加算して補正ＲＬ視差マップを生成し、後段のブロックに出力する。
【００５４】
なお、視差合成部３２Ｌの構成も図３の視差合成部３２Ｒの構成と同様であるので、その図示および説明は省略する。また、以下において、乗算部１０１Ｒ、乗算部１０２Ｒ、および加算部１０３Ｒに対応する視差合成部３２Ｌの各部を、それぞれ乗算部１０１Ｌ、乗算部１０２Ｌ、および加算部１０３Ｌと称することとする。
【００５５】
さらに、以下、乗算部１０１Ｒと乗算部１０１Ｌを特に区別する必要のない場合、単に乗算部１０１とも称し、乗算部１０２Ｒと乗算部１０２Ｌを特に区別する必要のない場合、単に乗算部１０２とも称する。また、加算部１０３Ｒと加算部１０３Ｌを特に区別する必要のない場合、単に加算部１０３とも称する。
【００５６】
［視差検出処理の説明］
ところで、画像処理装置１１に右画像および左画像からなる立体画像が供給され、視差の検出が指示されると、画像処理装置１１は視差検出処理を行って補正視差マップを生成し、出力する。以下、図４のフローチャートを参照して、画像処理装置１１による視差検出処理について説明する。
【００５７】
ステップＳ１１において、視差検出部２１は、視差マップ生成処理を行って、視差マップおよび信頼度マップを生成し、統合部２３に供給する。なお、視差マップ生成処理の詳細は後述する。視差マップ生成処理が行われると、生成された視差マップおよび信頼度マップが、奥行き視差変換部３１および視差合成部３２に供給される。
【００５８】
ステップＳ１２において、奥行き情報推定部２２は奥行き情報マップを生成し、奥行き視差変換部３１に供給する。すなわち、奥行き情報推定部２２Ｒは、供給された右画像に基づいてＲ奥行き情報マップを生成して奥行き視差変換部３１Ｒに供給し、奥行き情報推定部２２Ｌは、供給された左画像に基づいてＬ奥行き情報マップを生成して奥行き視差変換部３１Ｌに供給する。
【００５９】
例えば、奥行き情報推定部２２Ｒは、フィルタ処理などにより右画像から高域成分を抽出するとともに、右画像をいくつかのブロックに分割する。そして、奥行き情報推定部２２Ｒは、ブロックごとに、ブロック内の各位置における高域成分の値の絶対値の和（積算値）を求めることで、Ｒ奥行き情報マップを生成する。奥行き情報推定部２２Ｌも同様の処理を行って、Ｌ奥行き情報マップを生成する。
【００６０】
一般的に、ユーザからみて手前側に見える（定位する）被写体、つまり前景の領域や、画像上の焦点の合っている領域には高域成分が多く含まれており、そのような領域に対応するＲ奥行き情報マップの画素の値（高域成分の積算値）は、大きくなるはずである。したがって、Ｒ奥行き情報マップにおいて画素の画素値が大きい領域ほど、その領域と同じ位置にある右画像の領域は、右画像を観察するユーザから見て、より手前側に見える被写体の領域であると推定することができる。なお、画像に対する奥行きの推定方法については、例えば、特開２００７−２０８３９９号公報などに詳細に記載されている。
【００６１】
また、例えば奥行き情報推定部２２が、画像上の各画素の色を特定して、暖色系の色を有する画素は手前側にある被写体の画素であるとし、寒色系の色を有する画素は奥側にある被写体の画素であるとして、奥行き情報マップを生成してもよい。これは、暖色系の色ほど手前側に定位しているように見えるという人の視覚特性を利用したものである。
【００６２】
さらに、例えば奥行き情報推定部２２が、画像（右画像または左画像）に対するシーン認識を行い、認識されたシーンに対して予め定められた奥行き情報マップを出力するようにしてもよい。
【００６３】
なお、奥行き情報マップの生成方法は、奥行き情報を推定して、その奥行き情報を示すマップを生成する方法であれば、既存の２Ｄ３Ｄ変換技術を利用した方法など、どのような方法であってもよい。例えば、２Ｄ３Ｄ変換技術については、「JVC,”Real-time 2D-to-3D Conversion at Full HD 1080P Resolution”The 13th IEEE International Symposium on Consumer Electronics(ISCE2009)」や「東芝”2D to 3Dコンテンツ変換技術”映像情報メディア学会年次大会２０１０」などに詳細に記載されている。
【００６４】
ステップＳ１３において、奥行き視差変換部３１は、奥行き情報推定部２２からの奥行き情報マップ、対応点検出部６１からの視差マップ、および信頼度算出部６３からの信頼度マップに基づいて、奥行き情報の視差情報への変換式を生成する。
【００６５】
例えば、右画像と左画像の視差の方向をｉ方向とし、ｉ方向と垂直な方向をｊ方向とするｉｊ座標系において、座標（ｉ，ｊ）の位置にある右画像上の画素と同じ位置にあるＲ奥行き情報マップの画素の画素値がＯＲ（ｉ，ｊ）であるとする。また、座標（ｉ，ｊ）にある右画像上の画素と同じ位置にある擬似Ｒ視差マップの画素の画素値がＰＤＰＲ（ｉ，ｊ）であるとする。ここで、擬似Ｒ視差マップの画素の画素値ＰＤＰＲ（ｉ，ｊ）は、これから求めようとする値である。
【００６６】
このとき、奥行き視差変換部３１Ｒは、視差情報と奥行き情報の関係のモデル化を行なう。すなわち、奥行き視差変換部３１Ｒは、次式（１）によりＲ奥行き情報マップの画素の画素値ＯＲ（ｉ，ｊ）が、擬似Ｒ視差マップの画素の画素値ＰＤＰＲ（ｉ，ｊ）に線形変換されると仮定する。なお、式（１）において、ｐおよびｑは定数である。
【００６７】
【数１】
【００６８】
奥行き情報マップは、右画像上の各被写体の奥行き情報を示しており、この奥行き情報は、左右の画像の位置ずれとして検出される視差情報とは特性が異なるため、奥行き情報マップと視差マップを合成するには、それらのマップの特性を合わせる必要がある。
【００６９】
そこで、奥行き視差変換部３１Ｒは、奥行き情報である画素値ＯＲ（ｉ，ｊ）が線形な関数「ｐ×ＯＲ（ｉ，ｊ）＋ｑ」により、等価な視差情報に変換されるものとして、この線形関数を求める。
【００７０】
具体的には、奥行き視差変換部３１Ｒは、座標（ｉ，ｊ）にある右画像上の画素と同じ位置にあるＲＬ視差マップの画素の画素値をＤＰＲＬ（ｉ，ｊ）として、次式（２）の値を最小とする定数ｐおよびｑを最小自乗法により算出する。
【００７１】
【数２】
【００７２】
すなわち、奥行き視差変換部３１Ｒは、ＲＬ視差マップの画素のうち、その画素と同じ位置にあるＲＬ信頼度マップの画素の画素値が所定の閾値Ｔ１以上である画素のみを抽出する。そして、奥行き視差変換部３１Ｒは、抽出した各画素について、その画素の画素値ＤＰＲＬ（ｉ，ｊ）と、その画素と同じ位置にあるＲ奥行き情報マップの画素の画素値ＯＲ（ｉ，ｊ）とを用いて、差分「ＤＰＲＬ（ｉ，ｊ）−ｐ×ＯＲ（ｉ，ｊ）−ｑ」を求める。さらに、奥行き視差変換部３１Ｒは、このようにして求められた差分の自乗の和ＦＲを最小とする定数ｐおよびｑを算出する。
【００７３】
このようにして求められた定数ｐとｑとから、奥行き情報を視差情報に変換する変換式「ｐ×ＯＲ（ｉ，ｊ）＋ｑ」、すなわち上述した式（１）の右辺が得られる。また、奥行き視差変換部３１Ｌも奥行き視差変換部３１Ｒと同様の処理を行って、Ｌ奥行き情報マップを擬似Ｌ視差マップに変換する変換式を求める。
【００７４】
このようにして、奥行き情報を視差情報に変換する変換式を求めることで、奥行き情報を有する奥行き情報マップを、適切に視差情報を有する擬似視差マップに変換することができるようになる。
【００７５】
なお、ここでは、変換式として線形関数を例に説明したが、変換式は線形関数に限らず、どのような関数であってもよい。視差情報と奥行き情報の関係は、どのようにして奥行き情報を求めるかによって異なるので、奥行き情報マップに応じて適切なモデル化が行なわれ、変換式が求められるようにすればよい。
【００７６】
ステップＳ１４において、奥行き視差変換部３１は、ステップＳ１３の処理で求めた変換式を用いて、奥行き情報マップを擬似視差マップに変換し、得られた擬似視差マップを視差合成部３２の乗算部１０１に供給する。
【００７７】
例えば、奥行き視差変換部３１Ｒは、Ｒ奥行き情報マップの各画素の画素値ＯＲ（ｉ，ｊ）を上述した式（１）に代入して得られた値を、それらの画素と同じ位置にある擬似Ｒ視差マップの画素の画素値ＰＤＰＲ（ｉ，ｊ）とする。奥行き視差変換部３１Ｌも奥行き視差変換部３１Ｒと同様の処理を行って、擬似Ｌ視差マップを生成し、乗算部１０１Ｌに供給する。
【００７８】
ステップＳ１５において、視差合成部３２は、補正視差マップ生成処理を行って補正視差マップを生成する。
【００７９】
なお、補正視差マップ生成処理の詳細は後述するが、この補正視差マップ生成処理では、信頼度マップに基づいて、視差マップと擬似視差マップとが合成（統合）されて補正視差マップとされる。このとき、例えば視差マップの信頼度の高い領域では、視差マップがそのまま用いられて補正視差マップとされ、視差マップの信頼度の低い領域では、補正視差マップの生成に対する擬似視差マップの寄与率が高くなるようにされる。
【００８０】
補正視差マップ生成処理が行われると、生成された補正視差マップが後段に出力され、その後、視差検出処理は終了する。
【００８１】
このようにして、画像処理装置１１は、左右の画像から視差マップを生成するとともに、右または左の一方の画像から奥行き情報マップを生成し、奥行き情報マップを擬似視差マップに変換する。そして、画像処理装置１１は、視差マップの信頼度に応じて視差マップと擬似視差マップとを合成し、最終的な視差検出結果としての補正視差マップを生成する。
【００８２】
このように、視差マップの信頼度に応じて、視差マップと擬似視差マップとを統合して最終的な視差検出結果である補正視差マップを生成することで、より正確で安定した視差検出を行うことができる。
【００８３】
例えば、平坦部や繰り返しパターンの部分など、右画像と左画像との対応付けが困難である領域では、信頼度マップの画素の画素値が小さくなり、視差マップの信頼度が低くなる。しかし、そのような場合には、左右の何れかの画像から推定された視差、つまり擬似視差マップがより多く用いられて補正視差マップが生成されるので、視差マップのみを用いる場合よりも、より正確な立体画像の視差を求めることができる。
【００８４】
［視差マップ生成処理の説明］
次に、図５のフローチャートを参照して、図４のステップＳ１１の処理に対応する視差マップ生成処理について説明する。
【００８５】
ステップＳ４１において、視差マップ生成部７１は、供給された右画像および左画像に基づいて視差マップを生成し、一致度算出部６２および視差合成部３２に供給する。
【００８６】
例えば、視差マップ生成部７１Ｌは、ブロックマッチングなどにより、左画像上の各画素について、それらの画素に対する右画像の対応画素を検出する。
【００８７】
具体的には、視差マップ生成部７１Ｌは、図６の上側に示すように、左画像ＩＬ上の１つの画素を注目する注目画素ｇＬ（ｉ，ｊ）とし、注目画素ｇＬ（ｉ，ｊ）に対する対応点の候補となる右画像ＩＲ上の画素を画素ｇＬ’（ｉ＋ｄ，ｊ）とする。ここで、対応点の候補である画素ｇＬ’（ｉ＋ｄ，ｊ）は、注目画素ｇＬ（ｉ，ｊ）とｊ座標が同じであり、かつ右画像ＩＲ上の注目画素と同じ位置から、ｉ方向にｄ画素だけ離れた位置にある画素である。
【００８８】
なお、図６において、横方向および縦方向は、ｉｊ座標系におけるｉ方向およびｊ方向を示している。また、座標が（ｉ，ｊ）である左画像ＩＬの画素の画素値をＩＬ（ｉ，ｊ）とし、座標が（ｉ，ｊ）である右画像ＩＲの画素の画素値をＩＲ（ｉ，ｊ）であるとする。例えば、左画像ＩＬ上の画素値がＩＬ（ｉ，ｊ）である画素は、左画像ＩＬの左端からｉ番目であり、かつ左画像ＩＬの上端からｊ番目に位置する画素である。
【００８９】
視差マップ生成部７１Ｌは、注目画素ｇＬ（ｉ，ｊ）を中心とする所定の領域ｇｂＬ内の画素の画素値と、画素ｇＬ’（ｉ＋ｄ，ｊ）を中心とする所定の領域ｇｂＬ’内の画素の画素値との差分絶対値和を、注目画素における残差Ｒｉ，ｊ（ｄ）として算出する。
【００９０】
すなわち、視差マップ生成部７１Ｌは、次式（３）を計算することにより、残差Ｒｉ，ｊ（ｄ）を算出する。
【００９１】
【数３】
【００９２】
視差マップ生成部７１Ｌは、予め定められた範囲（例えば、−ｄｒｎｇ≦ｄ≦ｄｒｎｇ）内でｄの値を変化させながら、各ｄの値について、つまり各対応画素の候補について、注目画素の残差Ｒｉ，ｊ（ｄ）を算出する。
【００９３】
ここで、残差Ｒｉ，ｊ（ｄ）は、注目画素ｇＬ（ｉ，ｊ）近傍の領域ｇｂＬ内の画素の画素値と、対応画素の候補である画素ｇＬ’（ｉ＋ｄ，ｊ）近傍の領域ｇｂＬ’内の画素の画素値との差分絶対値和である。したがって、領域ｇｂＬと領域ｇｂＬ’が類似しているほど、残差Ｒｉ，ｊ（ｄ）が小さくなるはずである。
【００９４】
そこで、視差マップ生成部７１Ｌは、右画像ＩＲの画素のうち、残差Ｒｉ，ｊ（ｄ）が最小となる画素ｇＬ’（ｉ＋ｄ，ｊ）を注目画素の対応画素として、次式（４）により注目画素ｇＬ（ｉ，ｊ）と同じ位置にあるＬＲ視差マップの画素の画素値ＤＰＬＲ（ｉ，ｊ）を求める。
【００９５】
【数４】
【００９６】
すなわち、残差Ｒｉ，ｊ（ｄ）が最小となるときのｄの値が、左画像ＩＬの注目画素ｇＬ（ｉ，ｊ）における右画像ＩＲとの視差として検出される。この視差ｄ（画素値ＤＰＬＲ（ｉ，ｊ））は、対応画素のｉ座標から、注目画素のｉ座標を減算して得られる値である。
【００９７】
視差マップ生成部７１Ｌは、左画像ＩＬの各画素を順番に注目画素として、注目画素と同じ位置にあるＬＲ視差マップの画素の画素値ＤＰＬＲ（ｉ，ｊ）を求めることで、ＬＲ視差マップを生成する。視差マップ生成部７１Ｌは、生成したＬＲ視差マップを、一致度算出部６２および乗算部１０２Ｌに供給する。
【００９８】
また、視差マップ生成部７１Ｒは、視差マップ生成部７１Ｌと同様の処理を行って、注目画素と同じ位置にあるＲＬ視差マップの画素の画素値ＤＰＲＬ（ｉ，ｊ）を求めることで、ＲＬ視差マップを生成する。
【００９９】
すなわち、例えば、視差マップ生成部７１Ｒは図６の下側に示すように、右画像ＩＲ上の１つの画素を注目する注目画素ｇＲ（ｉ，ｊ）とし、注目画素ｇＲ（ｉ，ｊ）に対する対応点の候補となる左画像ＩＬ上の画素を画素ｇＲ’（ｉ＋ｄ，ｊ）とする。
【０１００】
視差マップ生成部７１Ｒは、注目画素ｇＲ（ｉ，ｊ）を中心とする所定の領域ｇｂＲ内の画素の画素値と、画素ｇＲ’（ｉ＋ｄ，ｊ）を中心とする所定の領域ｇｂＲ’内の画素の画素値との差分絶対値和を、注目画素における残差として算出する。つまり、上述した式（３）と同様の演算が行なわれる。
【０１０１】
そして、視差マップ生成部７１Ｒは、残差が最小となるときのｄの値を、右画像ＩＲの注目画素ｇＲ（ｉ，ｊ）における左画像ＩＬとの視差とし、その視差の値を注目画素と同じ位置にあるＲＬ視差マップの画素の画素値ＤＰＲＬ（ｉ，ｊ）とする。すなわち、画素値ＤＰＲＬ（ｉ，ｊ）は、対応画素のｉ座標から、注目画素のｉ座標を減算して得られる値である。
【０１０２】
視差マップ生成部７１Ｒは、右画像ＩＲの各画素を順番に注目画素として、注目画素と同じ位置にあるＲＬ視差マップの画素の画素値ＤＰＲＬ（ｉ，ｊ）を求めることで、ＲＬ視差マップを生成する。視差マップ生成部７１Ｒは、生成したＲＬ視差マップを、一致度算出部６２および乗算部１０２Ｒに供給する。
【０１０３】
図５のフローチャートの説明に戻り、ステップＳ４２において、残差マップ生成部７２は、左画像および右画像と視差マップとに基づいて残差マップを生成し、信頼度算出部６３に供給する。
【０１０４】
例えば、残差マップ生成部７２Ｌは、左画像上の画素を順番に注目画素として、次式（５）を計算することで、座標が（ｉ，ｊ）である注目画素と同じ位置にあるＬＲ残差マップの画素の画素値ＥＬＲ（ｉ，ｊ）を求める。
【０１０５】
【数５】
【０１０６】
すなわち、左画像上の注目画素近傍の領域内の画素の画素値と、注目画素に対する右画像上の対応画素近傍の領域内の画素の画素値との差分絶対値和が、所定の関数Ｎ１（ｘ）に代入されて、ＬＲ残差マップの画素の画素値ＥＬＲ（ｉ，ｊ）とされる。
【０１０７】
ここで、関数Ｎ１（ｘ）は、例えば図７に示す関数とされる。なお、図７において、縦軸は関数Ｎ１（ｘ）の値を示しており、横軸は関数Ｎ１（ｘ）に代入されるｘの値、つまり差分絶対値和の値を示している。
【０１０８】
図７では、折れ線Ｃ１１は、各ｘの値に対する関数Ｎ１（ｘ）の値を示しており、ｘが０からＴ１１までの区間では、関数Ｎ１（ｘ）＝０となっている。また、ｘ≧Ｔ１２の区間では関数Ｎ１（ｘ）＝１となっており、Ｔ１１≦ｘ≦Ｔ１２の区間では、関数Ｎ１（ｘ）の値はｘの値に比例して大きくなっていく。
【０１０９】
したがって、注目画素近傍の領域と、注目画素に対する対応画素近傍の領域とが類似しているほど、つまりそれらの領域の差分絶対値和（残差）が小さいほど、ＬＲ残差マップの画素の画素値ＥＬＲ（ｉ，ｊ）は小さくなる。
【０１１０】
残差マップ生成部７２Ｌは、左画像上の各画素を注目画素として、それらの注目画素に対応するＬＲ残差マップの画素の画素値ＥＬＲ（ｉ，ｊ）を求めることで、ＬＲ残差マップを生成し、信頼度算出部６３Ｌに供給する。このようにして得られるＬＲ残差マップの画素の画素値は、その画素と同じ位置にある左画像上の画素の視差が確からしいほど小さくなる。
【０１１１】
同様に、残差マップ生成部７２Ｒは、右画像上の画素を順番に注目画素として、次式（６）を計算することで、座標が（ｉ，ｊ）である注目画素と同じ位置にあるＲＬ残差マップの画素の画素値ＥＲＬ（ｉ，ｊ）を求める。
【０１１２】
【数６】
【０１１３】
すなわち、右画像上の注目画素近傍の領域内の画素の画素値と、注目画素に対する左画像上の対応画素近傍の領域内の画素の画素値との差分絶対値和が、関数Ｎ１（ｘ）に代入されて、ＲＬ残差マップの画素の画素値ＥＲＬ（ｉ，ｊ）とされる。
【０１１４】
ＲＬ残差マップにおいても、注目画素近傍の領域と、注目画素に対する対応画素近傍の領域との差分絶対値和（残差）が小さいほど、ＲＬ残差マップの画素の画素値ＥＲＬ（ｉ，ｊ）は小さくなる。したがって、ＲＬ残差マップの画素の画素値は、その画素と同じ位置にある右画像上の画素の視差が確からしいほど小さくなる。
【０１１５】
残差マップ生成部７２Ｒは、右画像上の各画素を注目画素として、それらの注目画素に対応するＲＬ残差マップの画素の画素値ＥＲＬ（ｉ，ｊ）を求めることで、ＲＬ残差マップを生成し、信頼度算出部６３Ｒに供給する。
【０１１６】
ステップＳ４３において、ピーク先鋭度マップ生成部７３は、供給された左画像と右画像に基づいてピーク先鋭度マップを生成し、信頼度算出部６３に供給する。
【０１１７】
例えば、ピーク先鋭度マップ生成部７３Ｌは、左画像上の各画素を順番に注目画素とする。そして、ピーク先鋭度マップ生成部７３Ｌは、視差マップ生成部７１Ｌにより計算された、注目画素についての各視差ｄに対する残差Ｒｉ，ｊ（ｄ）の計算結果に基づいて、注目画素と同じ位置にあるＬＲピーク先鋭度マップの画素の画素値ＰＫＬＲ（ｉ，ｊ）を算出する。
【０１１８】
具体的には、左画像上の注目画素についての各視差ｄ（対応画素の候補）に対する残差Ｒｉ，ｊ（ｄ）の計算結果として、例えば図８に示す結果が得られたとする。なお、図８において、横軸は注目画素と対応画素の候補との視差ｄを示しており、縦軸は各視差ｄにおける残差Ｒｉ，ｊ（ｄ）の値を示している。
【０１１９】
図８の例では、曲線Ｃ２１は各視差ｄにおける残差Ｒｉ，ｊ（ｄ）を表しており、この曲線Ｃ２１の図中、下方向に凸となるピーク位置、つまり残差Ｒｉ，ｊ（ｄ）が最小となるｄの位置が、注目画素の視差ｄ＝ＤＰＬＲ（ｉ，ｊ）である。
【０１２０】
各視差ｄにおける残差Ｒｉ，ｊ（ｄ）は、各対応画素の候補について式（３）により求められた残差であるから、曲線Ｃ２１のピークの深さが深く、かつピーク部分の幅が狭いほど、つまり相対的に小さい残差が狭い範囲に集中しているほどピークの先鋭度は大きくなる。ここで、残差Ｒｉ，ｊ（ｄ）の最大値をｒｍａｘとし、残差Ｒｉ，ｊ（ｄ）の最小値をｒｍｉｎとすると、残差のピークの深さは、例えばｒｍａｘ−ｒｍｉｎにより定義することができる。
【０１２１】
ピーク先鋭度が大きいほど、対応画素らしい候補は少ないことになるため、求められた注目画素の視差ＤＰＬＲ（ｉ，ｊ）も確からしいことになる。逆に、対応画素の検出が困難な画像上の平坦部や繰り返しパターンの部分では、残差のピークは浅く、ピーク幅は広くなる。
【０１２２】
ピーク先鋭度マップ生成部７３Ｌは、このような残差のピーク先鋭度を指標としてＬＲ視差マップにより示される視差の確からしさを評価する、ＬＲピーク先鋭度マップの画素の画素値ＰＫＬＲ（ｉ，ｊ）を算出する。
【０１２３】
すなわち、ピーク先鋭度マップ生成部７３Ｌは、座標が（ｉ，ｊ）である注目画素についての各視差ｄに対する残差Ｒｉ，ｊ（ｄ）の計算結果に基づいて次式（７）を計算し、残差のピークの深さを指標とする評価値ＰＫＨＬＲ（ｉ，ｊ）を算出する。
【０１２４】
【数７】
【０１２５】
すなわち、残差Ｒｉ，ｊ（ｄ）の最大値ｒｍａｘと最小値ｒｍｉｎとの差分が、所定の関数Ｎ２（ｘ）に代入されて、評価値ＰＫＨＬＲ（ｉ，ｊ）とされる。
【０１２６】
ここで、関数Ｎ２（ｘ）は、例えば図９に示す関数とされる。なお、図９において、縦軸は関数Ｎ２（ｘ）の値を示しており、横軸は関数Ｎ２（ｘ）に代入されるｘの値、つまり残差の最大値と最小値の差分を示している。
【０１２７】
図９では、折れ線Ｃ３１は、各ｘの値に対する関数Ｎ２（ｘ）の値を示しており、ｘが０からＴ２１までの区間では、関数Ｎ２（ｘ）＝０となっている。また、ｘ≧Ｔ２２の区間では関数Ｎ２（ｘ）＝１となっており、Ｔ２１≦ｘ≦Ｔ２２の区間では、関数Ｎ２（ｘ）の値はｘの値に比例して大きくなっていく。したがって、残差のピークの深さが深い（大きい）ほど、評価値ＰＫＨＬＲ（ｉ，ｊ）の値は大きくなる。
【０１２８】
次に、ピーク先鋭度マップ生成部７３Ｌは、座標が（ｉ，ｊ）である注目画素についての各視差ｄに対する残差Ｒｉ，ｊ（ｄ）の計算結果に基づいて次式（８）を計算し、残差のピークの幅を指標とする評価値ＰＫＷＬＲ（ｉ，ｊ）を算出する。
【０１２９】
【数８】
【０１３０】
すなわち、予め定められた視差ｄの範囲である−ｄｒｎｇ≦ｄ≦ｄｒｎｇ内の各視差ｄ（対応画素の候補）について、最大値ｒｍａｘと残差Ｒｉ，ｊ（ｄ）の差分の総和が求められる。そして、得られた差分の総和が、（２ｄｒｎｇ＋１）（ｒｍａｘ−ｒｍｉｎ）で除算され、その結果得られた値が、所定の関数Ｎ３（ｘ）に代入されて、評価値ＰＫＷＬＲ（ｉ，ｊ）とされる。ここで、評価値ＰＫＷＬＲ（ｉ，ｊ）における関数Ｎ３（ｘ）内の項は、残差のピーク幅が狭い（細い）ほど、小さくなる。
【０１３１】
また、関数Ｎ３（ｘ）は、例えば図１０に示す関数とされる。なお、図１０において、縦軸は関数Ｎ３（ｘ）の値を示しており、横軸は関数Ｎ３（ｘ）に代入されるｘの値、つまりΣ（ｒｍａｘ−Ｒｉ，ｊ（ｄ））／（（２ｄｒｎｇ＋１）（ｒｍａｘ−ｒｍｉｎ））を示している。
【０１３２】
図１０では、折れ線Ｃ４１は、各ｘの値に対する関数Ｎ３（ｘ）の値を示しており、ｘが０からＴ３１までの区間では、関数Ｎ３（ｘ）＝１となっている。また、ｘ≧Ｔ３２の区間では関数Ｎ３（ｘ）＝０となっており、Ｔ３１≦ｘ≦Ｔ３２の区間では、関数Ｎ３（ｘ）の値はｘの値に反比例して小さくなっていく。したがって、残差のピーク幅が狭いほど、評価値ＰＫＷＬＲ（ｉ，ｊ）の値は大きくなる。
【０１３３】
さらに、ピーク先鋭度マップ生成部７３Ｌは、以上のようにして得られた評価値ＰＫＨＬＲ（ｉ，ｊ）と評価値ＰＫＷＬＲ（ｉ，ｊ）を次式（９）に代入し、ＬＲピーク先鋭度マップの画素の画素値ＰＫＬＲ（ｉ，ｊ）を求める。
【０１３４】
【数９】
【０１３５】
すなわち、注目画素について求められた評価値ＰＫＨＬＲ（ｉ，ｊ）と評価値ＰＫＷＬＲ（ｉ，ｊ）の積が、その注目画素と同じ位置にあるＬＲピーク先鋭度マップの画素の画素値ＰＫＬＲ（ｉ，ｊ）とされる。
【０１３６】
この画素値ＰＫＬＲ（ｉ，ｊ）は、残差のピークの深さが深く、かつピーク幅が狭いほど大きくなる。換言すれば、画素値ＰＫＬＲ（ｉ，ｊ）は、残差のピークの先鋭度が大きく、注目画素の視差が確からしいほど大きくなる。
【０１３７】
ピーク先鋭度マップ生成部７３Ｌは、左画像の各画素を注目画素として、注目画素と同じ位置にあるＬＲピーク先鋭度マップの画素の画素値ＰＫＬＲ（ｉ，ｊ）を求めることで、ＬＲピーク先鋭度マップを生成する。ピーク先鋭度マップ生成部７３Ｌは、生成したＬＲピーク先鋭度マップを、信頼度算出部６３Ｌに供給する。
【０１３８】
また、ピーク先鋭度マップ生成部７３Ｒも、ピーク先鋭度マップ生成部７３Ｌと同様の処理を行ってＲＬピーク先鋭度マップを生成し、信頼度算出部６３Ｒに供給する。
【０１３９】
ステップＳ４４において、一致度算出部６２は、対応点検出部６１ＲからのＲＬ視差マップと、対応点検出部６１ＬからのＬＲ視差マップとに基づいて一致度マップを生成し、信頼度算出部６３に供給する。
【０１４０】
例えば、図１１に示すように左画像ＩＬ上の座標（ｉ，ｊ）にある画素ｇｃに対する右画像ＩＲ上の対応画素ｇｃ’の座標は、ＬＲ視差マップから求めることができる。すなわち、ＬＲ視差マップ上の画素ｇｃと同じ位置にある画素の画素値がＤＰＬＲ（ｉ，ｊ）であるとすると、対応画素ｇｃ’の座標は（ｉ＋ＤＰＬＲ（ｉ，ｊ），ｊ）となる。
【０１４１】
一方で、右画像ＩＲ上の対応画素ｇｃ’に注目したときに、この対応画素ｇｃ’に対する左画像ＩＬ上の対応画素の座標は、ＲＬ視差マップの対応画素ｇｃ’と同じ位置の画素の画素値から、(i+DPLR(i,j)+DPRL(i+DPLR(i,j),j),j)となる。
【０１４２】
したがって、対応画素ｇｃ’に対する左画像ＩＬ上の対応画素が画素ｇｃとなれば、画素ｇｃに対する対応画素ｇｃ’が正しく求められており、画素ｇｃと対応画素ｇｃ’の対応がとれていることになる。すなわち、画素ｇｃと対応画素ｇｃ’とは一致する画素であり、それらの画素に同じ被写体が表示されていることになる。
【０１４３】
ここで、対応画素ｇｃ’の対応画素が画素ｇｃとなるためには、この対応画素の座標(i+DPLR(i,j)+DPRL(i+DPLR(i,j),j),j)が、画素ｇｃの座標（ｉ，ｊ）と一致すればよいため、DPLR(i,j)+DPRL(i+DPLR(i,j),j)＝0が成立すればよい。また、DPLR(i,j)+DPRL(i+DPLR(i,j),j)が０とはならなくても、その絶対値が小さい値となれば、ある程度は画素同士の対応がとれていることになる。
【０１４４】
そこで、一致度算出部６２は、次式（１０）を計算することで、左画像上の画素とその画素に対する対応画素との一致度を計算し、左画像上の画素と同じ位置にあるＬＲ一致度マップの画素の画素値ＣＬＲ（ｉ，ｊ）を算出する。
【０１４５】
【数１０】
【０１４６】
すなわち、左画像上の所定の画素を注目画素とすると、注目画素と同じ位置にあるＬＲ一致度マップの画素の画素値ＣＬＲ（ｉ，ｊ）は、次のようにして求められる。まず、注目画素と同じ位置にあるＬＲ視差マップの画素の画素値と、注目画素の対応画素と同じ位置にあるＲＬ視差マップの画素の画素値との和の絶対値が求められる。そして、求められた和の絶対値が、所定の関数Ｎ４（ｘ）に代入されて画素値ＣＬＲ（ｉ，ｊ）とされる。この画素値ＣＬＲ（ｉ，ｊ）は、注目画素と対応画素との対応がとれているほど大きい値となる。
【０１４７】
ここで、関数Ｎ４（ｘ）は、例えば図１２に示す関数とされる。なお、図１２において、縦軸は関数Ｎ４（ｘ）の値を示しており、横軸は関数Ｎ４（ｘ）に代入されるｘの値、つまり|DPLR(i,j)+DPRL(i+DPLR(i,j),j)|を示している。
【０１４８】
図１２では、折れ線Ｃ５１は、各ｘの値に対する関数Ｎ４（ｘ）の値を示しており、ｘが０からＴ４１までの区間では、関数Ｎ４（ｘ）＝１となっている。また、ｘ≧Ｔ４２の区間では関数Ｎ４（ｘ）＝０となっており、Ｔ４１≦ｘ≦Ｔ４２の区間では、関数Ｎ４（ｘ）の値はｘの値に反比例して小さくなっていく。したがって、左画像の画素とその画素の対応画素との一致度が高いほど、ＬＲ一致度マップの画素の画素値ＣＬＲ（ｉ，ｊ）は大きくなる。
【０１４９】
一致度算出部６２は、このようにしてＬＲ一致度マップの各画素の画素値を求めてＬＲ一致度マップを生成すると、得られたＬＲ一致度マップを信頼度算出部６３Ｌに供給する。また、一致度算出部６２は、ＬＲ視差マップとＲＬ視差マップとに基づいて、次式（１１）を計算し、ＲＬ一致度マップの画素の画素値ＣＲＬ（ｉ，ｊ）を算出する。
【０１５０】
【数１１】
【０１５１】
なお、式（１１）において、ＤＰＬＲ（ｉ，ｊ）およびＤＰＲＬ（ｉ，ｊ）は、それぞれＬＲ視差マップの画素の画素値、およびＲＬ視差マップの画素の画素値を示しており、Ｎ４（ｘ）は、式（１０）における関数Ｎ４（ｘ）と同じ関数である。
【０１５２】
一致度算出部６２は、このようにしてＲＬ一致度マップの各画素の画素値を求めてＲＬ一致度マップを生成すると、得られたＲＬ一致度マップを信頼度算出部６３Ｒに供給する。
【０１５３】
ステップＳ４５において、信頼度算出部６３は、対応点検出部６１からの残差マップおよびピーク先鋭度マップと、一致度算出部６２からの一致度マップとに基づいて、信頼度マップを生成する。
【０１５４】
例えば、信頼度算出部６３Ｌは、生成しようとするＬＲ信頼度マップの画素を注目画素とし、ＬＲ残差マップ、ＬＲ一致度マップ、およびＬＲピーク先鋭度マップのそれぞれの注目画素と同じ位置にある画素の画素値に基づいて、次式（１２）を計算し、注目画素の画素値ＲＬＲ（ｉ，ｊ）を算出する。
【０１５５】
【数１２】
【０１５６】
なお、式（１２）において、ＥＬＲ（ｉ，ｊ）、ＣＬＲ（ｉ，ｊ）、およびＰＫＬＲ（ｉ，ｊ）は、ＬＲ残差マップ、ＬＲ一致度マップ、およびＬＲピーク先鋭度マップの画素の画素値を示している。また、α、β、およびγは、予め定められた所定の重みであり、これらの重みは、次式（１３）を満たすように定められる。
【０１５７】
【数１３】
【０１５８】
このように、ＬＲ信頼度マップは、ＬＲ残差マップ、ＬＲ一致度マップ、およびＬＲピーク先鋭度マップを重み付き加算することにより求められる。また、左画像の画素と、その画素の対応画素との残差が小さく、残差のピーク先鋭度が大きく、かつ画素の一致度が高いほど、ＬＲ信頼度マップの画素の画素値は大きくなる。したがって、ＬＲ信頼度マップの画素の画素値が大きいほど、ＬＲ視差マップにより示される視差の信頼度が高いことになる。
【０１５９】
信頼度算出部６３ＬはＬＲ信頼度マップを生成すると、ＬＲ信頼度マップを奥行き視差変換部３１Ｌおよび視差合成部３２Ｌに供給する。
【０１６０】
また、信頼度算出部６３Ｒは、ＲＬ残差マップ、ＲＬ一致度マップ、およびＲＬピーク先鋭度マップと、上述した式（１３）で定められる重みα、β、およびγとを用いて次式（１４）を計算し、ＲＬ信頼度マップの画素の画素値ＲＲＬ（ｉ，ｊ）を算出する。
【０１６１】
【数１４】
【０１６２】
なお、式（１４）において、ＥＲＬ（ｉ，ｊ）、ＣＲＬ（ｉ，ｊ）、およびＰＫＲＬ（ｉ，ｊ）は、ＲＬ残差マップ、ＲＬ一致度マップ、およびＲＬピーク先鋭度マップの画素の画素値を示している。信頼度算出部６３Ｒは、ＲＬ信頼度マップを生成すると、ＲＬ信頼度マップを奥行き視差変換部３１Ｒおよび視差合成部３２Ｒに供給する。
【０１６３】
このようにして信頼度マップが生成されると視差マップ生成処理は終了し、その後、処理は図４のステップＳ１２へと進む。
【０１６４】
以上のように、視差検出部２１は、左画像および右画像から、視差マップと信頼度マップを生成する。視差マップを生成するとともに、その信頼度を示す信頼度マップを生成することで、立体画像の領域ごとに、視差マップにより示される視差がどの程度確からしいかを特定することができ、後段においてより正確な視差を示す補正視差マップを得ることができるようになる。
【０１６５】
［補正視差マップ生成処理の説明］
次に、図１３のフローチャートを参照して、図４のステップＳ１５の処理に対応する補正視差マップ生成処理について説明する。
【０１６６】
ステップＳ７１において、乗算部１０１は、奥行き視差変換部３１から供給された擬似視差マップに重みを乗算する。
【０１６７】
例えば、視差合成部３２Ｒは、信頼度算出部６３ＲからＲＬ信頼度マップが供給されると、ＲＬ信頼度マップの画素の画素値ＲＲＬ（ｉ，ｊ）をそのまま画素ごとの重みとして乗算部１０２Ｒに供給する。また、視差合成部３２Ｒは、ＲＬ信頼度マップの画素の画素値ＲＲＬ（ｉ，ｊ）を１から減算して得られる値「１−ＲＲＬ（ｉ，ｊ）」を、画素ごとの重みとして乗算部１０１Ｒに供給する。
【０１６８】
乗算部１０１Ｒは、擬似Ｒ視差マップの各画素の画素値ＰＤＰＲ（ｉ，ｊ）に、供給された画素ごとの重み「１−ＲＲＬ（ｉ，ｊ）」を乗算し、加算部１０３Ｒに供給する。このとき、擬似Ｒ視差マップの画素の画素値には、その画素と同じ位置にある信頼度マップの画素の画素値から得られた重みが乗算される。
【０１６９】
また、視差合成部３２Ｌにおいても、視差合成部３２Ｒにおける場合と同様に、乗算部１０１Ｌは、奥行き視差変換部３１Ｌから供給された擬似Ｌ視差マップの各画素の画素値ＰＤＰＬ（ｉ，ｊ）に、供給された重み「１−ＲＬＲ（ｉ，ｊ）」を乗算し、加算部１０３Ｌに供給する。
【０１７０】
ステップＳ７２において、乗算部１０２は、対応点検出部６１から供給された視差マップに、供給された重みを乗算し、加算部１０３に供給する。
【０１７１】
例えば、乗算部１０２Ｒは、ＲＬ視差マップの各画素の画素値に、画素ごとの重みＲＲＬ（ｉ，ｊ）を乗算し、加算部１０３Ｒに供給する。同様に、乗算部１０２Ｌは、ＬＲ視差マップの各画素の画素値に、画素ごとの重みＲＬＲ（ｉ，ｊ）を乗算し、加算部１０３Ｌに供給する。
【０１７２】
ステップＳ７３において、加算部１０３は、乗算部１０１からの擬似視差マップと、乗算部１０２からの視差マップとを加算して補正視差マップを生成し、出力する。
【０１７３】
例えば、加算部１０３Ｒは重みが乗算された擬似Ｒ視差マップと、重みが乗算されたＲＬ視差マップとの同じ位置にある画素の画素値を加算して、その結果得られた値を、それらの画素と同じ位置にある補正ＲＬ視差マップの画素の画素値ＤＰＲＬ’（ｉ，ｊ）とする。
【０１７４】
すなわち、次式（１５）が計算されて、補正ＲＬ視差マップの画素の画素値ＤＰＲＬ’（ｉ，ｊ）が算出される。
【０１７５】
【数１５】
【０１７６】
式（１５）の演算により、ＲＬ視差マップの画素のうち、信頼度の高い画素についてはその画素が、そのまま補正ＲＬ視差マップの画素として用いられ、信頼度の低い画素については、擬似Ｒ視差マップの画素が補正ＲＬ視差マップの画素として用いられる。これにより、視差マップの画素ごとの信頼度に応じて、より確からしい視差を示す補正視差マップを得ることができる。なお、視差マップと擬似視差マップとの切り替えをより滑らかに行なうため、視差マップと擬似視差マップの合成前に、信頼度マップに対して平滑化処理を施すようにしてもよい。
【０１７７】
また、同様に、加算部１０３Ｌは重みが乗算された擬似Ｌ視差マップと、重みが乗算されたＬＲ視差マップとの同じ位置にある画素の画素値を加算することで、補正ＬＲ視差マップを生成し、出力する。
【０１７８】
このようにして補正視差マップが生成されて出力されると、補正視差マップ生成処理は終了し、これにより図４のステップＳ１５も終了して視差検出処理は終了する。
【０１７９】
以上のように視差合成部３２は、視差マップと擬似視差マップとを合成して補正視差マップを生成する。左右の画像から得られた視差マップと、１つの画像から得られた擬似視差マップとを視差マップの信頼度に応じて合成し、補正視差マップとすることにより、より正確で安定した視差情報を得ることができる。
【０１８０】
〈変形例１〉
［視差合成部の構成例］
なお、以上においては、視差マップと擬似視差マップとを信頼度に応じて重み付き加算することで、それらのマップを合成する例について説明したが、擬似視差マップの高域成分のみが合成に用いられるようにしてもよい。
【０１８１】
そのような場合、図１の視差合成部３２Ｒは、例えば図１４に示すように構成される。なお、図１４において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１８２】
図１４の視差合成部３２Ｒは、高域成分抽出部１３１Ｒ、低域成分抽出部１３２Ｒ、成分合成部１３３Ｒ、乗算部１０１Ｒ、乗算部１０２Ｒ、および加算部１０３Ｒから構成される。
【０１８３】
高域成分抽出部１３１Ｒは、奥行き視差変換部３１Ｒから供給された擬似Ｒ視差マップから高域成分を抽出し、成分合成部１３３Ｒに供給する。低域成分抽出部１３２Ｒは、対応点検出部６１Ｒから供給されたＲＬ視差マップから低域成分を抽出し、成分合成部１３３Ｒに供給する。
【０１８４】
成分合成部１３３Ｒは、高域成分抽出部１３１Ｒからの高域成分と、低域成分抽出部１３２Ｒからの低域成分とを合成し、その結果得られた合成マップを乗算部１０１Ｒに供給する。乗算部１０１Ｒは、成分合成部１３３Ｒから供給された合成マップの各画素の画素値に、供給された重み「１−ＲＲＬ（ｉ，ｊ）」を乗算し、加算部１０３Ｒに供給する。
【０１８５】
なお、図１の視差合成部３２Ｒが図１４に示した構成とされる場合、視差合成部３２Ｌも図１４に示す視差合成部３２Ｒと同様の構成とされるので、その図示および説明は省略する。また、以下において、高域成分抽出部１３１Ｒ、低域成分抽出部１３２Ｒ、および成分合成部１３３Ｒに対応する視差合成部３２Ｌの各部を、それぞれ高域成分抽出部１３１Ｌ、低域成分抽出部１３２Ｌ、および成分合成部１３３Ｌと称する。
【０１８６】
さらに、以下、高域成分抽出部１３１Ｒと高域成分抽出部１３１Ｌ、低域成分抽出部１３２Ｒと低域成分抽出部１３２Ｌ、および成分合成部１３３Ｒと成分合成部１３３Ｌをそれぞれ区別する必要のない場合、高域成分抽出部１３１、低域成分抽出部１３２、および成分合成部１３３とも称する。
【０１８７】
［補正視差マップ生成処理の説明］
また、視差合成部３２に高域成分抽出部１３１乃至成分合成部１３３が設けられる構成とされる場合、図４の視差検出処理におけるステップＳ１５では、図１５に示す補正視差マップ生成処理が行われる。
【０１８８】
以下、図１５のフローチャートを参照して、視差合成部３２による補正視差マップ生成処理について説明する。
【０１８９】
ステップＳ１０１において、高域成分抽出部１３１は、奥行き視差変換部３１から供給された擬似視差マップに対してフィルタ処理等を行うことにより、擬似視差マップから高域成分を抽出し、成分合成部１３３に供給する。ステップＳ１０１では、高域成分抽出部１３１Ｒおよび高域成分抽出部１３１Ｌにより、それぞれ高域成分の抽出が行なわれる。
【０１９０】
ステップＳ１０２において、低域成分抽出部１３２は、対応点検出部６１から供給された視差マップに対してフィルタ処理等を行うことにより、視差マップから低域成分を抽出し、成分合成部１３３に供給する。ステップＳ１０２においても、低域成分抽出部１３２Ｒおよび低域成分抽出部１３２Ｌにより、それぞれ低域成分の抽出が行なわれる。
【０１９１】
ステップＳ１０３において、成分合成部１３３は、高域成分抽出部１３１からの高域成分と、低域成分抽出部１３２からの低域成分とを合成し、その結果得られた合成マップを乗算部１０１に供給する。
【０１９２】
例えば、高域成分と低域成分の同じ位置にある画素の画素値が加算され、それらの画素と同じ位置にある合成マップの画素の画素値とされる。ステップＳ１０３においても、成分合成部１３３Ｒと成分合成部１３３Ｌにより、合成マップの生成が行なわれる。
【０１９３】
ステップＳ１０４において、加算部１０３は、合成マップと視差マップとを加算して補正視差マップを生成する。
【０１９４】
例えば、乗算部１０１Ｒは、成分合成部１３３Ｒから供給された合成マップの各画素の画素値に重み「１−ＲＲＬ（ｉ，ｊ）」を乗算して、加算部１０３Ｒに供給する。また、乗算部１０２Ｒは、対応点検出部６１ＲからのＲＬ視差マップの各画素に重みＲＲＬ（ｉ，ｊ）を乗算し、加算部１０３Ｒに供給する。そして、加算部１０３Ｒは、乗算部１０１Ｒからの合成マップと、乗算部１０２ＲからのＲＬ視差マップとを加算して、補正ＲＬ視差マップを生成し、出力する。
【０１９５】
このような合成マップと視差マップとの合成では、視差マップの画素のうち、信頼度の高い画素についてはその画素が、そのまま補正視差マップの画素として用いられる。また、信頼度の低い画素については、視差マップの低域成分のみが用いられ、高域成分は擬似視差マップの画素が用いられる。なお、視差マップと合成マップとの切り替えをより滑らかに行なうため、視差マップと合成マップの合成前に、信頼度マップに対して平滑化処理を施すようにしてもよい。
【０１９６】
また、乗算部１０１Ｌ乃至加算部１０３Ｌも、乗算部１０１Ｒ乃至加算部１０３Ｒと同様の処理を行って補正ＬＲ視差マップを生成する。このようにして補正視差マップが生成されて出力されると、補正視差マップ生成処理は終了し、これにより図４のステップＳ１５も終了して視差検出処理は終了する。
【０１９７】
〈変形例２〉
［視差合成部の構成例］
さらに、図１４の例では、擬似視差マップの高域成分と視差マップの低域成分が合成されて合成マップとされると説明したが、擬似視差マップの低域成分と視差マップの高域成分が合成されて合成マップとされるようにしてもよい。
【０１９８】
そのような場合、図１の視差合成部３２Ｒは、例えば図１６に示すように構成される。なお、図１６において、図１４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１９９】
図１６の視差合成部３２Ｒは、高域成分抽出部１３１Ｒ、低域成分抽出部１３２Ｒ、成分合成部１３３Ｒ、乗算部１０１Ｒ、乗算部１０２Ｒ、および加算部１０３Ｒから構成される。また、図１６の視差合成部３２Ｒでは、高域成分抽出部１３１ＲにＲＬ視差マップが供給され、低域成分抽出部１３２Ｒに擬似Ｒ視差マップが供給される。
【０２００】
高域成分抽出部１３１Ｒは、対応点検出部６１Ｒから供給されたＲＬ視差マップから高域成分を抽出し、成分合成部１３３Ｒに供給する。また、低域成分抽出部１３２Ｒは、奥行き視差変換部３１Ｒから供給された擬似Ｒ視差マップから低域成分を抽出し、成分合成部１３３Ｒに供給する。
【０２０１】
なお、視差合成部３２Ｒが図１６に示した構成とされる場合、視差合成部３２Ｌも図１６に示す視差合成部３２Ｒと同様の構成とされるので、その図示および説明は省略する。
【０２０２】
［補正視差マップ生成処理の説明］
また、視差合成部３２Ｒが図１６に示す構成とされる場合、図４の視差検出処理におけるステップＳ１５では、図１７に示す補正視差マップ生成処理が行われる。
【０２０３】
以下、図１７のフローチャートを参照して、視差合成部３２による補正視差マップ生成処理について説明する。
【０２０４】
ステップＳ１３１において、低域成分抽出部１３２は、奥行き視差変換部３１から供給された擬似視差マップに対してフィルタ処理等を行うことにより、擬似視差マップから低域成分を抽出し、成分合成部１３３に供給する。ステップＳ１３１では、低域成分抽出部１３２Ｒおよび低域成分抽出部１３２Ｌにより、それぞれ低域成分の抽出が行なわれる。
【０２０５】
ステップＳ１３２において、高域成分抽出部１３１は、対応点検出部６１から供給された視差マップに対してフィルタ処理等を行うことにより、視差マップから高域成分を抽出し、成分合成部１３３に供給する。ステップＳ１３２でも、高域成分抽出部１３１Ｒおよび高域成分抽出部１３１Ｌにより、それぞれ高域成分の抽出が行なわれる。
【０２０６】
ステップＳ１３２の処理が行われると、その後ステップＳ１３３およびステップＳ１３４の処理が行われて補正視差マップ生成処理は終了するが、これらの処理は図１５のステップＳ１０３およびステップＳ１０４と同様であるので、その説明は省略する。但し、ステップＳ１３３では、擬似視差マップの低域成分と、視差マップの高域成分が合成されて合成マップとされる。
【０２０７】
また、補正視差マップ生成処理が終了すると、図４のステップＳ１５も終了して視差検出処理は終了する。
【０２０８】
図１７の補正視差マップ生成処理では、視差マップの画素のうち、信頼度の高い画素についてはその画素が、そのまま補正視差マップの画素として用いられる。また、信頼度の低い画素については、視差マップの高域成分のみが用いられ、低域成分は擬似視差マップの画素が用いられる。なお、視差マップと合成マップとの切り替えをより滑らかに行なうため、視差マップと合成マップの合成前に、信頼度マップに対して平滑化処理を施すようにしてもよい。
【０２０９】
〈第２の実施の形態〉
［画像処理装置の構成例］
さらに、以上においては、視差マップと擬似視差マップを合成して補正視差マップを生成する場合について説明したが、左画像および右画像と、擬似視差マップとが用いられて視差マップが生成されるようにしてもよい。
【０２１０】
そのような場合、画像処理装置は、例えば図１８に示すように構成される。なお、図１８において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２１１】
図１８の画像処理装置１７１は、奥行き情報推定部２２Ｒ、奥行き情報推定部２２Ｌ、奥行き視差変換部３１Ｒ、奥行き視差変換部３１Ｌ、および視差検出部１８１から構成される。
【０２１２】
奥行き情報推定部２２Ｒは、供給された右画像に基づいてＲ奥行き情報マップを生成し、奥行き視差変換部３１Ｒに供給する。また、奥行き情報推定部２２Ｌは、供給された左画像に基づいてＬ奥行き情報マップを生成し、奥行き視差変換部３１Ｌに供給する。
【０２１３】
奥行き視差変換部３１Ｒは、奥行き情報推定部２２Ｒから供給されたＲ奥行き情報マップを擬似Ｒ視差マップに変換し、視差検出部１８１に供給する。奥行き視差変換部３１Ｌは、奥行き情報推定部２２Ｌから供給されたＬ奥行き情報マップを擬似Ｌ視差マップに変換し、視差検出部１８１に供給する。
【０２１４】
視差検出部１８１は、供給された右画像および左画像と、奥行き視差変換部３１からの擬似視差マップとに基づいて視差マップを生成し、出力する。視差検出部１８１は、対応点検出部１９１Ｒおよび対応点検出部１９１Ｌを備えている。
【０２１５】
対応点検出部１９１Ｒは、供給された左画像および右画像と、奥行き視差変換部３１Ｒから供給された擬似Ｒ視差マップとに基づいてＲＬ視差マップを生成し、出力する。また、対応点検出部１９１Ｌは、供給された左画像および右画像と、奥行き視差変換部３１Ｌから供給された擬似Ｌ視差マップとに基づいてＬＲ視差マップを生成し、出力する。
【０２１６】
なお、以下、対応点検出部１９１Ｒと対応点検出部１９１Ｌを特に区別する必要のない場合、単に対応点検出部１９１とも称する。
【０２１７】
［視差検出処理の説明］
次に、図１９のフローチャートを参照して、画像処理装置１７１による視差検出処理について説明する。
【０２１８】
ステップＳ１６１において、奥行き情報推定部２２は、供給された右画像または左画像に基づいて奥行き情報マップを生成し、奥行き視差変換部３１に供給する。なお、ステップＳ１６１では、図４のステップＳ１２の処理と同様の処理が行われる。
【０２１９】
ステップＳ１６２において、奥行き視差変換部３１は、奥行き情報推定部２２から供給された奥行き情報マップを擬似視差マップに変換し、対応点検出部１９１に供給する。
【０２２０】
例えば、奥行き視差変換部３１には、上述した「ｐ×ＯＲ（ｉ，ｊ）＋ｑ」等の奥行き情報を視差情報に変換する変換式が予め記録されている。そのような場合、奥行き視差変換部３１Ｒは、記録している変換式を用いてＲ奥行き情報マップを擬似Ｒ視差マップに変換し、対応点検出部１９１Ｒに供給する。すなわち、図４のステップＳ１４と同様の処理が行われる。
【０２２１】
また、奥行き視差変換部３１Ｌも、記録している変換式を用いてＬ奥行き情報マップを擬似Ｌ視差マップに変換し、対応点検出部１９１Ｌに供給する。
【０２２２】
ステップＳ１６３において、対応点検出部１９１は、供給された左画像および右画像と、奥行き視差変換部３１からの擬似視差マップとを用いて視差マップを生成する。
【０２２３】
例えば、対応点検出部１９１Ｌは、図２０に示すように左画像ＩＬ上の１つの画素を注目画素ｇｅとする。ここで、注目画素ｇｅのｉｊ座標系における座標は（ｉ，ｊ）である。次に、対応点検出部１９１Ｌは、注目画素ｇｅと同じ位置にある擬似Ｌ視差マップ上の画素の画素値ＰＤＰＬ（ｉ，ｊ）を特定し、右画像ＩＲ上の座標（ｉ＋ＰＤＰＬ（ｉ，ｊ），ｊ）を中心とする予め定められた大きさの領域を探索領域ＳＲとする。
【０２２４】
擬似Ｌ視差マップによれば、注目画素ｇｅの対応画素は、右画像ＩＲ上の座標（ｉ＋ＰＤＰＬ（ｉ，ｊ），ｊ）に位置する画素ｇｅ’である。そのため、注目画素ｇｅの真の対応画素は、この画素ｇｅ’近傍にある可能性が高い。
【０２２５】
そこで、対応点検出部１９１Ｌは、画素ｇｅ’近傍の探索領域ＳＲ内にある各画素を対応画素の候補として、各候補について上述した式（３）を計算して残差Ｒｉ，ｊ（ｄ）を算出する。そして、対応点検出部１９１Ｌは、それらの残差と式（４）とから、注目画素ｇｅと同じ位置にあるＬＲ視差マップ上の画素の画素値ＤＰＬＲ（ｉ，ｊ）を求める。
【０２２６】
対応点検出部１９１Ｌは、左画像上の画素を順番に注目画素として、各注目画素について、注目画素と同じ位置にあるＬＲ視差マップの画素の画素値ＤＰＬＲ（ｉ，ｊ）を求めていくことで、ＬＲ視差マップを生成する。
【０２２７】
このように、左画像の画素に対応する対応画素を検出する場合に、擬似視差マップにより定まる右画像上の探索領域（探索範囲）内の画素のみを対応画素の候補とすることで、より正確に安定して対応画素を検出することができる。また、擬似視差マップにより探索範囲が限定されるので、対応画素の検出をより迅速に行なうことができる。
【０２２８】
対応点検出部１９１Ｌは、このようにして生成されたＬＲ視差マップを出力する。また、対応点検出部１９１Ｒは、左画像および右画像と擬似Ｒ視差マップとから、対応点検出部１９１Ｌにおける場合と同様の処理を行って、ＲＬ視差マップを生成し、出力する。
【０２２９】
このようにして対応点検出部１９１により視差マップが生成されて出力されると、視差検出処理は終了する。
【０２３０】
以上のように、画像処理装置１７１は、左画像または右画像から擬似視差マップを生成し、擬似視差マップと左右の画像を用いて視差マップを生成する。視差マップの生成時に、擬似視差マップを用いて対応画素の探索範囲を適切に定めることで、より迅速かつ正確に視差検出を安定して行なうことができる。
【０２３１】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２３２】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２３３】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２３４】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０２３５】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２３６】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２３７】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０２３８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２３９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２４０】
さらに、本技術は、以下の構成とすることも可能である。
【０２４１】
［１］
立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部と、
前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップを生成する信頼度算出部と、
前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、
前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとを合成して補正視差マップを生成する視差合成部と
を備える画像処理装置。
［２］
前記視差合成部は、前記信頼度マップにより定まる重みを用いて、前記視差マップと前記擬似視差マップとを重み付き加算することにより、前記補正視差マップを生成する
［１］に記載の画像処理装置。
［３］
前記視差合成部は、
前記擬似視差マップの高域成分と、前記視差マップの低域成分とを合成して合成マップを生成する成分合成部と、
前記信頼度マップに基づいて、前記視差マップと前記合成マップとを合成して前記補正視差マップを生成する加算部と
を備える［１］に記載の画像処理装置。
［４］
前記視差合成部は、
前記擬似視差マップの低域成分と、前記視差マップの高域成分とを合成して合成マップを生成する成分合成部と、
前記信頼度マップに基づいて、前記視差マップと前記合成マップとを合成して前記補正視差マップを生成する加算部と
を備える［１］に記載の画像処理装置。
［５］
前記右画像または前記左画像のうちの一方の画像の所定の画素近傍の領域と、他方の画像上の前記所定の画素に対応する対応画素近傍の領域との残差を示す残差マップを生成する残差マップ生成部をさらに備え、
前記信頼度算出部は、前記残差マップに基づいて前記信頼度マップを生成する
［１］乃至［４］の何れかに記載の画像処理装置。
［６］
前記視差マップ生成部は、前記右画像または前記左画像のうちの一方の画像の所定の画素近傍の領域と、他方の画像上の画素近傍の領域との残差が最小となる前記他方の画像の画素を、前記所定の画素に対応する画素として検出することで前記視差マップを生成し、
前記他方の画像上の所定方向に並ぶ画素の前記残差のピークの先鋭度を示し、前記信頼度マップの生成に用いられるピーク先鋭度マップを生成するピーク先鋭度マップ生成部をさらに備える
［１］乃至［４］の何れかに記載の画像処理装置。
［７］
前記右画像または前記左画像のうちの一方の画像の所定の画素に対応する他方の画像の第１の対応画素の検出結果と、前記他方の画像の前記第１の対応画素に対応する前記一方の画像の第２の対応画素の検出結果とに基づいて、前記所定の画素と前記第１の対応画素との一致度を示す一致度マップを生成する一致度算出部をさらに備え、
前記信頼度算出部は、前記一致度マップに基づいて前記信頼度マップを生成する
［１］乃至［４］の何れかに記載の画像処理装置。
【符号の説明】
【０２４２】
１１ 画像処理装置， ２１ 視差検出部， ２２Ｒ，２２Ｌ，２２ 奥行き情報推定部， ２３ 統合部， ３１Ｒ，３１Ｌ，３１ 奥行き視差変換部， ３２Ｒ，３２Ｌ，３２ 視差合成部， ７１Ｒ，７１Ｌ，７１ 視差マップ生成部， ７２Ｒ，７２Ｌ，７２ 残差マップ生成部， ７３Ｒ，７３Ｌ，７３ ピーク先鋭度マップ生成部， ６２ 一致度算出部， ６３Ｒ，６３Ｌ，６３ 信頼度算出部， １９１Ｒ，１９１Ｌ，１９１ 対応点検出部
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、右画像および左画像からなる立体画像の視差をより正確に検出できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
右画像と左画像とからなる立体画像から得られる視差は、立体画像を観察するユーザから被写体までの奥行きに対応し、立体画像の視差検出は立体画像の視差調整や視点合成、３次元インターフェースなど、様々なアプリケーションソフトに応用可能である。このような立体画像の視差検出は、左右の画像間の対応点を検出する問題に帰着される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−００８５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、立体画像を構成する一方の画像の点に対して、画像上の平坦な部分や繰り返しパターンの部分など、他方の画像上に同様に確からしい対応点の候補が複数存在する場合には、正確な対応付けが困難となり、高精度に視差を検出することができなかった。
【０００５】
また、画像上の物体の側面や複数の物体が奥行き方向に重なって見えている場合などには、特定の被写体の領域が立体画像の一方の画像にしか存在せず、そのような領域においては対応点を検出する方法では視差を検出することができなかった。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、立体画像の視差をより正確に検出することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の第１の側面の画像処理装置は、立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部と、前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップを生成する信頼度算出部と、前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとを合成して補正視差マップを生成する視差合成部とを備える。
【０００８】
前記視差合成部には、前記信頼度マップにより定まる重みを用いて、前記視差マップと前記擬似視差マップとを重み付き加算することにより、前記補正視差マップを生成させることができる。
【０００９】
前記視差合成部には、前記擬似視差マップの高域成分と、前記視差マップの低域成分とを合成して合成マップを生成する成分合成部と、前記信頼度マップに基づいて、前記視差マップと前記合成マップとを合成して前記補正視差マップを生成する加算部とを設けることができる。
【００１０】
前記視差合成部には、前記擬似視差マップの低域成分と、前記視差マップの高域成分とを合成して合成マップを生成する成分合成部と、前記信頼度マップに基づいて、前記視差マップと前記合成マップとを合成して前記補正視差マップを生成する加算部とを設けることができる。
【００１１】
画像処理装置には、前記右画像または前記左画像のうちの一方の画像の所定の画素近傍の領域と、他方の画像上の前記所定の画素に対応する対応画素近傍の領域との残差を示す残差マップを生成する残差マップ生成部をさらに設け、前記信頼度算出部には、前記残差マップに基づいて前記信頼度マップを生成させることができる。
【００１２】
前記視差マップ生成部には、前記右画像または前記左画像のうちの一方の画像の所定の画素近傍の領域と、他方の画像上の画素近傍の領域との残差が最小となる前記他方の画像の画素を、前記所定の画素に対応する画素として検出することで前記視差マップを生成させ、前記他方の画像上の所定方向に並ぶ画素の前記残差のピークの先鋭度を示し、前記信頼度マップの生成に用いられるピーク先鋭度マップを生成するピーク先鋭度マップ生成部をさらに設けることができる。
【００１３】
画像処理装置には、前記右画像または前記左画像のうちの一方の画像の所定の画素に対応する他方の画像の第１の対応画素の検出結果と、前記他方の画像の前記第１の対応画素に対応する前記一方の画像の第２の対応画素の検出結果とに基づいて、前記所定の画素と前記第１の対応画素との一致度を示す一致度マップを生成する一致度算出部をさらに設け、前記信頼度算出部には、前記一致度マップに基づいて前記信頼度マップを生成させることができる。
【００１４】
本技術の第１の側面の画像処理方法またはプログラムは、立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップを生成し、前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップを生成し、前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成し、前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換し、前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとを合成して補正視差マップを生成するステップを含む。
【００１５】
本技術の第１の側面においては、立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップが生成され、前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップが生成され、前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップが生成され、前記奥行き情報マップが、前記奥行きに対応する視差を示す擬似視差マップに変換され、前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとが合成されて補正視差マップが生成される。
【００１６】
本技術の第２の側面の画像処理装置は、立体画像を構成する右画像または左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、前記右画像および前記左画像と、前記擬似視差マップとに基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部とを備える。
【００１７】
本技術の第２の側面の画像処理方法またはプログラムは、立体画像を構成する右画像または左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成し、前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換し、前記右画像および前記左画像と、前記擬似視差マップとに基づいて、前記立体画像の各画素の視差を示す視差マップを生成するステップを含む。
【００１８】
本技術の第２の側面においては、立体画像を構成する右画像または左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップが生成され、前記奥行き情報マップが、前記奥行きに対応する視差を示す擬似視差マップに変換され、前記右画像および前記左画像と、前記擬似視差マップとに基づいて、前記立体画像の各画素の視差を示す視差マップが生成される。
【発明の効果】
【００１９】
本技術の第１の側面および第２の側面によれば、立体画像の視差をより正確に検出することができる。
【図面の簡単な説明】
【００２０】
【図１】画像処理装置の一実施の形態の構成例を示す図である。
【図２】視差検出部の構成例を示す図である。
【図３】視差合成部の構成例を示す図である。
【図４】視差検出処理を説明するフローチャートである。
【図５】視差マップ生成処理を説明するフローチャートである。
【図６】対応画素の検出について説明する図である。
【図７】残差の算出のための関数について説明する図である。
【図８】残差のピークの先鋭度について説明する図である。
【図９】ピークの深さの評価値の算出のための関数について説明する図である。
【図１０】ピークの幅の評価値の算出のための関数について説明する図である。
【図１１】一致度の算出について説明する図である。
【図１２】一致度の算出のための関数について説明する図である。
【図１３】補正視差マップ生成処理を説明するフローチャートである。
【図１４】視差合成部の他の構成例を示す図である。
【図１５】補正視差マップ生成処理を説明するフローチャートである。
【図１６】視差合成部の他の構成例を示す図である。
【図１７】補正視差マップ生成処理を説明するフローチャートである。
【図１８】画像処理装置の他の構成例を示す図である。
【図１９】視差検出処理を説明するフローチャートである。
【図２０】対応画素の検出について説明する図である。
【図２１】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２２】
〈第１の実施の形態〉
［画像処理装置の構成例］
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００２３】
この画像処理装置１１は、右画像と左画像からなる立体画像が供給されると、立体画像の視差を検出し、その検出結果を出力するものである。ここで、右画像とは、立体画像の表示時にユーザの右眼で観察されるように表示される画像であり、左画像とは、立体画像の表示時にユーザの左眼で観察されるように表示される画像である。
【００２４】
画像処理装置１１は、視差検出部２１、奥行き情報推定部２２Ｒ、奥行き情報推定部２２Ｌ、および統合部２３から構成される。
【００２５】
視差検出部２１は、供給された右画像および左画像に基づいて、立体画像の各画素における視差を示す視差マップと、視差マップにより示される各画素の視差の確からしさ、すなわち信頼度を示す信頼度マップとを生成して統合部２３に供給する。
【００２６】
なお、以下において、特に右画像を基準とする視差マップ、すなわち右画像上の各画素と、それらの画素に対応する左画像上の画素との視差を示す視差マップをＲＬ視差マップとも称し、左画像を基準とする視差マップをＬＲ視差マップとも称する。また、以下、ＲＬ視差マップの信頼度を示す信頼度マップをＲＬ信頼度マップとも称し、ＬＲ視差マップの信頼度を示す信頼度マップをＬＲ信頼度マップとも称する。
【００２７】
奥行き情報推定部２２Ｒは、供給された右画像に基づいて、右画像上の各領域（被写体）の奥行きを示すＲ奥行き情報マップを生成し、統合部２３に供給する。奥行き情報推定部２２Ｌは、供給された左画像に基づいて、左画像上の各領域の奥行きを示すＬ奥行き情報マップを生成し、統合部２３に供給する。
【００２８】
ここで、画像上の被写体の奥行きとは、画像を観察するユーザが知覚すると推定される被写体の相対的な奥行き位置をいう。なお、以下、奥行き情報推定部２２Ｒと奥行き情報推定部２２Ｌを特に区別する必要のない場合、単に奥行き情報推定部２２とも称する。また、以下、Ｒ奥行き情報マップとＬ奥行き情報マップを特に区別する必要のない場合、単に奥行き情報マップとも称する。
【００２９】
統合部２３は、視差検出部２１からの信頼度マップに基づいて、視差検出部２１からの視差マップと、奥行き情報推定部２２からの奥行き情報マップとを統合し、補正視差マップを生成する。換言すれば、信頼度マップに応じて、奥行き情報マップを用いた視差マップの補正が行なわれる。
【００３０】
統合部２３は、奥行き視差変換部３１Ｒ、奥行き視差変換部３１Ｌ、視差合成部３２Ｒ、および視差合成部３２Ｌを備えている。
【００３１】
奥行き視差変換部３１Ｒは、視差検出部２１から供給されたＲＬ視差マップおよびＲＬ信頼度マップに基づいて、奥行き情報推定部２２ＲからのＲ奥行き情報マップを、視差情報を有する擬似Ｒ視差マップに変換し、視差合成部３２Ｒに供給する。すなわち、奥行きを示すＲ奥行き情報マップが、その奥行きに対応する視差を示す擬似Ｒ視差マップに変換される。
【００３２】
視差合成部３２Ｒは、視差検出部２１から供給されたＲＬ信頼度マップに基づいて、視差検出部２１からのＲＬ視差マップと、奥行き視差変換部３１Ｒからの擬似Ｒ視差マップとを統合して補正ＲＬ視差マップを生成し、出力する。
【００３３】
奥行き視差変換部３１Ｌは、視差検出部２１から供給されたＬＲ視差マップおよびＬＲ信頼度マップに基づいて、奥行き情報推定部２２ＬからのＬ奥行き情報マップを、視差情報を有する擬似Ｌ視差マップに変換し、視差合成部３２Ｌに供給する。視差合成部３２Ｌは、視差検出部２１から供給されたＬＲ信頼度マップに基づいて、視差検出部２１からのＬＲ視差マップと、奥行き視差変換部３１Ｌからの擬似Ｌ視差マップとを統合して補正ＬＲ視差マップを生成し、出力する。
【００３４】
なお、以下、奥行き視差変換部３１Ｒと奥行き視差変換部３１Ｌを特に区別する必要のない場合、単に奥行き視差変換部３１とも称し、視差合成部３２Ｒと視差合成部３２Ｌを特に区別する必要のない場合、単に視差合成部３２とも称する。
【００３５】
また、以下、擬似Ｒ視差マップと擬似Ｌ視差マップを特に区別する必要のない場合、単に擬似視差マップとも称し、補正ＲＬ視差マップと補正ＬＲ視差マップを特に区別する必要のない場合、単に補正視差マップとも称する。
【００３６】
［視差検出部の構成例］
また、図１の視差検出部２１は、より詳細には図２に示すように構成される。
【００３７】
すなわち、視差検出部２１は、対応点検出部６１Ｒ、対応点検出部６１Ｌ、一致度算出部６２、信頼度算出部６３Ｒ、および信頼度算出部６３Ｌから構成される。
【００３８】
対応点検出部６１Ｒは、左画像から右画像の画素に対応する画素を検出し、ＲＬ視差マップ、ＲＬ残差マップ、およびＲＬピーク先鋭度マップを生成する。対応点検出部６１Ｒは、視差マップ生成部７１Ｒ、残差マップ生成部７２Ｒ、およびピーク先鋭度マップ生成部７３Ｒを備えている。
【００３９】
視差マップ生成部７１Ｒは、供給された左画像と右画像に基づいてＲＬ視差マップを生成し、一致度算出部６２、奥行き視差変換部３１Ｒ、および視差合成部３２Ｒに供給する。すなわち、右画像の各画素に対応する左画像上の画素が検出され、それらの画素位置に基づいて、ＲＬ視差マップが生成される。なお、以下、右画像と左画像のうちの一方の画像の画素に対応する他方の画像の画素を対応画素とも称することとする。例えば、右画像の所定画素に対応する左画像の対応画素は、右画像の所定画素と同じ被写体が表示されている画素である。
【００４０】
残差マップ生成部７２Ｒは、右画像および左画像と、視差マップ生成部７１Ｒによる対応画素の検出結果とに基づいて、右画像の画素近傍の領域と、その画素に対応する左画像の対応画素近傍の領域との残差を示すＲＬ残差マップを生成し、信頼度算出部６３Ｒに供給する。
【００４１】
ピーク先鋭度マップ生成部７３Ｒは、供給された左画像と右画像に基づいて、右画像の画素と、左画像上の各画素との残差を表す曲線のピークの先鋭度、すなわち残差の分散の度合いを示すＲＬピーク先鋭度マップを生成し、信頼度算出部６３Ｒに供給する。
【００４２】
対応点検出部６１Ｌは、左画像の各画素に対する右画像の対応画素を検出し、ＬＲ視差マップ、ＬＲ残差マップ、およびＬＲピーク先鋭度マップを生成する。対応点検出部６１Ｌは、視差マップ生成部７１Ｌ、残差マップ生成部７２Ｌ、およびピーク先鋭度マップ生成部７３Ｌを備えている。
【００４３】
これらの視差マップ生成部７１Ｌ乃至ピーク先鋭度マップ生成部７３Ｌは、視差マップ生成部７１Ｒ乃至ピーク先鋭度マップ生成部７３Ｒと同様の処理を行うので、その説明は省略する。対応点検出部６１Ｌでは、視差マップ生成部７１Ｌ、残差マップ生成部７２Ｌ、およびピーク先鋭度マップ生成部７３Ｌにより、ＬＲ視差マップ、ＬＲ残差マップ、およびＬＲピーク先鋭度マップが生成される。
【００４４】
なお、以下、対応点検出部６１Ｒと対応点検出部６１Ｌを特に区別する必要のない場合、単に対応点検出部６１と称する。また、視差マップ生成部７１Ｒと視差マップ生成部７１Ｌを特に区別する必要のない場合、単に視差マップ生成部７１とも称し、残差マップ生成部７２Ｒと残差マップ生成部７２Ｌを特に区別する必要のない場合、単に残差マップ生成部７２とも称する。さらに、ピーク先鋭度マップ生成部７３Ｒとピーク先鋭度マップ生成部７３Ｌを特に区別する必要のない場合、単にピーク先鋭度マップ生成部７３とも称する。
【００４５】
さらに、以下、ＲＬ残差マップとＬＲ残差マップを特に区別する必要のない場合、単に残差マップとも称し、ＲＬピーク先鋭度マップとＬＲピーク先鋭度マップを特に区別する必要のない場合、単にピーク先鋭度マップとも称する。
【００４６】
一致度算出部６２は、対応点検出部６１ＲからのＲＬ視差マップと、対応点検出部６１ＬからのＬＲ視差マップとに基づいて、視差マップの一致度を示す一致度マップを生成する。すなわち、一致度算出部６２は、ＲＬ視差マップのＬＲ視差マップとの一致度を示すＲＬ一致度マップを生成して信頼度算出部６３Ｒに供給し、ＬＲ視差マップのＲＬ視差マップとの一致度を示すＬＲ一致度マップを生成して信頼度算出部６３Ｌに供給する。
【００４７】
なお、以下、ＲＬ一致度マップとＬＲ一致度マップを特に区別する必要のない場合、単に一致度マップとも称する。
【００４８】
信頼度算出部６３Ｒは、対応点検出部６１ＲからのＲＬ残差マップおよびＲＬピーク先鋭度マップと、一致度算出部６２からのＲＬ一致度マップとに基づいて、ＲＬ信頼度マップを生成し、奥行き視差変換部３１Ｒおよび視差合成部３２Ｒに供給する。
【００４９】
信頼度算出部６３Ｌは、対応点検出部６１ＬからのＬＲ残差マップおよびＬＲピーク先鋭度マップと、一致度算出部６２からのＬＲ一致度マップとに基づいて、ＬＲ信頼度マップを生成し、奥行き視差変換部３１Ｌおよび視差合成部３２Ｌに供給する。なお、以下、信頼度算出部６３Ｒと信頼度算出部６３Ｌを特に区別する必要のない場合、単に信頼度算出部６３とも称する。
【００５０】
［視差合成部の構成例］
また、図１の視差合成部３２Ｒは、より詳細には例えば図３に示すように構成される。
【００５１】
すなわち、視差合成部３２Ｒは、乗算部１０１Ｒ、乗算部１０２Ｒ、および加算部１０３Ｒから構成される。視差合成部３２Ｒは、信頼度算出部６３Ｒから供給されたＲＬ信頼度マップをそのまま重みとして乗算部１０２Ｒに供給するとともに、ＲＬ信頼度マップにより定まる重みを乗算部１０１Ｒに供給する。
【００５２】
乗算部１０１Ｒは、奥行き視差変換部３１Ｒから供給された擬似Ｒ視差マップに供給された重みを乗算し、加算部１０３Ｒに供給する。乗算部１０２Ｒは、対応点検出部６１Ｒから供給されたＲＬ視差マップに供給された重みを乗算し、加算部１０３Ｒに供給する。
【００５３】
加算部１０３Ｒは、乗算部１０１Ｒからの擬似Ｒ視差マップと、乗算部１０２ＲからのＲＬ視差マップとを加算して補正ＲＬ視差マップを生成し、後段のブロックに出力する。
【００５４】
なお、視差合成部３２Ｌの構成も図３の視差合成部３２Ｒの構成と同様であるので、その図示および説明は省略する。また、以下において、乗算部１０１Ｒ、乗算部１０２Ｒ、および加算部１０３Ｒに対応する視差合成部３２Ｌの各部を、それぞれ乗算部１０１Ｌ、乗算部１０２Ｌ、および加算部１０３Ｌと称することとする。
【００５５】
さらに、以下、乗算部１０１Ｒと乗算部１０１Ｌを特に区別する必要のない場合、単に乗算部１０１とも称し、乗算部１０２Ｒと乗算部１０２Ｌを特に区別する必要のない場合、単に乗算部１０２とも称する。また、加算部１０３Ｒと加算部１０３Ｌを特に区別する必要のない場合、単に加算部１０３とも称する。
【００５６】
［視差検出処理の説明］
ところで、画像処理装置１１に右画像および左画像からなる立体画像が供給され、視差の検出が指示されると、画像処理装置１１は視差検出処理を行って補正視差マップを生成し、出力する。以下、図４のフローチャートを参照して、画像処理装置１１による視差検出処理について説明する。
【００５７】
ステップＳ１１において、視差検出部２１は、視差マップ生成処理を行って、視差マップおよび信頼度マップを生成し、統合部２３に供給する。なお、視差マップ生成処理の詳細は後述する。視差マップ生成処理が行われると、生成された視差マップおよび信頼度マップが、奥行き視差変換部３１および視差合成部３２に供給される。
【００５８】
ステップＳ１２において、奥行き情報推定部２２は奥行き情報マップを生成し、奥行き視差変換部３１に供給する。すなわち、奥行き情報推定部２２Ｒは、供給された右画像に基づいてＲ奥行き情報マップを生成して奥行き視差変換部３１Ｒに供給し、奥行き情報推定部２２Ｌは、供給された左画像に基づいてＬ奥行き情報マップを生成して奥行き視差変換部３１Ｌに供給する。
【００５９】
例えば、奥行き情報推定部２２Ｒは、フィルタ処理などにより右画像から高域成分を抽出するとともに、右画像をいくつかのブロックに分割する。そして、奥行き情報推定部２２Ｒは、ブロックごとに、ブロック内の各位置における高域成分の値の絶対値の和（積算値）を求めることで、Ｒ奥行き情報マップを生成する。奥行き情報推定部２２Ｌも同様の処理を行って、Ｌ奥行き情報マップを生成する。
【００６０】
一般的に、ユーザからみて手前側に見える（定位する）被写体、つまり前景の領域や、画像上の焦点の合っている領域には高域成分が多く含まれており、そのような領域に対応するＲ奥行き情報マップの画素の値（高域成分の積算値）は、大きくなるはずである。したがって、Ｒ奥行き情報マップにおいて画素の画素値が大きい領域ほど、その領域と同じ位置にある右画像の領域は、右画像を観察するユーザから見て、より手前側に見える被写体の領域であると推定することができる。なお、画像に対する奥行きの推定方法については、例えば、特開２００７−２０８３９９号公報などに詳細に記載されている。
【００６１】
また、例えば奥行き情報推定部２２が、画像上の各画素の色を特定して、暖色系の色を有する画素は手前側にある被写体の画素であるとし、寒色系の色を有する画素は奥側にある被写体の画素であるとして、奥行き情報マップを生成してもよい。これは、暖色系の色ほど手前側に定位しているように見えるという人の視覚特性を利用したものである。
【００６２】
さらに、例えば奥行き情報推定部２２が、画像（右画像または左画像）に対するシーン認識を行い、認識されたシーンに対して予め定められた奥行き情報マップを出力するようにしてもよい。
【００６３】
なお、奥行き情報マップの生成方法は、奥行き情報を推定して、その奥行き情報を示すマップを生成する方法であれば、既存の２Ｄ３Ｄ変換技術を利用した方法など、どのような方法であってもよい。例えば、２Ｄ３Ｄ変換技術については、「JVC,”Real-time 2D-to-3D Conversion at Full HD 1080P Resolution”The 13th IEEE International Symposium on Consumer Electronics(ISCE2009)」や「東芝”2D to 3Dコンテンツ変換技術”映像情報メディア学会年次大会２０１０」などに詳細に記載されている。
【００６４】
ステップＳ１３において、奥行き視差変換部３１は、奥行き情報推定部２２からの奥行き情報マップ、対応点検出部６１からの視差マップ、および信頼度算出部６３からの信頼度マップに基づいて、奥行き情報の視差情報への変換式を生成する。
【００６５】
例えば、右画像と左画像の視差の方向をｉ方向とし、ｉ方向と垂直な方向をｊ方向とするｉｊ座標系において、座標（ｉ，ｊ）の位置にある右画像上の画素と同じ位置にあるＲ奥行き情報マップの画素の画素値がＯＲ（ｉ，ｊ）であるとする。また、座標（ｉ，ｊ）にある右画像上の画素と同じ位置にある擬似Ｒ視差マップの画素の画素値がＰＤＰＲ（ｉ，ｊ）であるとする。ここで、擬似Ｒ視差マップの画素の画素値ＰＤＰＲ（ｉ，ｊ）は、これから求めようとする値である。
【００６６】
このとき、奥行き視差変換部３１Ｒは、視差情報と奥行き情報の関係のモデル化を行なう。すなわち、奥行き視差変換部３１Ｒは、次式（１）によりＲ奥行き情報マップの画素の画素値ＯＲ（ｉ，ｊ）が、擬似Ｒ視差マップの画素の画素値ＰＤＰＲ（ｉ，ｊ）に線形変換されると仮定する。なお、式（１）において、ｐおよびｑは定数である。
【００６７】
【数１】
【００６８】
奥行き情報マップは、右画像上の各被写体の奥行き情報を示しており、この奥行き情報は、左右の画像の位置ずれとして検出される視差情報とは特性が異なるため、奥行き情報マップと視差マップを合成するには、それらのマップの特性を合わせる必要がある。
【００６９】
そこで、奥行き視差変換部３１Ｒは、奥行き情報である画素値ＯＲ（ｉ，ｊ）が線形な関数「ｐ×ＯＲ（ｉ，ｊ）＋ｑ」により、等価な視差情報に変換されるものとして、この線形関数を求める。
【００７０】
具体的には、奥行き視差変換部３１Ｒは、座標（ｉ，ｊ）にある右画像上の画素と同じ位置にあるＲＬ視差マップの画素の画素値をＤＰＲＬ（ｉ，ｊ）として、次式（２）の値を最小とする定数ｐおよびｑを最小自乗法により算出する。
【００７１】
【数２】
【００７２】
すなわち、奥行き視差変換部３１Ｒは、ＲＬ視差マップの画素のうち、その画素と同じ位置にあるＲＬ信頼度マップの画素の画素値が所定の閾値Ｔ１以上である画素のみを抽出する。そして、奥行き視差変換部３１Ｒは、抽出した各画素について、その画素の画素値ＤＰＲＬ（ｉ，ｊ）と、その画素と同じ位置にあるＲ奥行き情報マップの画素の画素値ＯＲ（ｉ，ｊ）とを用いて、差分「ＤＰＲＬ（ｉ，ｊ）−ｐ×ＯＲ（ｉ，ｊ）−ｑ」を求める。さらに、奥行き視差変換部３１Ｒは、このようにして求められた差分の自乗の和ＦＲを最小とする定数ｐおよびｑを算出する。
【００７３】
このようにして求められた定数ｐとｑとから、奥行き情報を視差情報に変換する変換式「ｐ×ＯＲ（ｉ，ｊ）＋ｑ」、すなわち上述した式（１）の右辺が得られる。また、奥行き視差変換部３１Ｌも奥行き視差変換部３１Ｒと同様の処理を行って、Ｌ奥行き情報マップを擬似Ｌ視差マップに変換する変換式を求める。
【００７４】
このようにして、奥行き情報を視差情報に変換する変換式を求めることで、奥行き情報を有する奥行き情報マップを、適切に視差情報を有する擬似視差マップに変換することができるようになる。
【００７５】
なお、ここでは、変換式として線形関数を例に説明したが、変換式は線形関数に限らず、どのような関数であってもよい。視差情報と奥行き情報の関係は、どのようにして奥行き情報を求めるかによって異なるので、奥行き情報マップに応じて適切なモデル化が行なわれ、変換式が求められるようにすればよい。
【００７６】
ステップＳ１４において、奥行き視差変換部３１は、ステップＳ１３の処理で求めた変換式を用いて、奥行き情報マップを擬似視差マップに変換し、得られた擬似視差マップを視差合成部３２の乗算部１０１に供給する。
【００７７】
例えば、奥行き視差変換部３１Ｒは、Ｒ奥行き情報マップの各画素の画素値ＯＲ（ｉ，ｊ）を上述した式（１）に代入して得られた値を、それらの画素と同じ位置にある擬似Ｒ視差マップの画素の画素値ＰＤＰＲ（ｉ，ｊ）とする。奥行き視差変換部３１Ｌも奥行き視差変換部３１Ｒと同様の処理を行って、擬似Ｌ視差マップを生成し、乗算部１０１Ｌに供給する。
【００７８】
ステップＳ１５において、視差合成部３２は、補正視差マップ生成処理を行って補正視差マップを生成する。
【００７９】
なお、補正視差マップ生成処理の詳細は後述するが、この補正視差マップ生成処理では、信頼度マップに基づいて、視差マップと擬似視差マップとが合成（統合）されて補正視差マップとされる。このとき、例えば視差マップの信頼度の高い領域では、視差マップがそのまま用いられて補正視差マップとされ、視差マップの信頼度の低い領域では、補正視差マップの生成に対する擬似視差マップの寄与率が高くなるようにされる。
【００８０】
補正視差マップ生成処理が行われると、生成された補正視差マップが後段に出力され、その後、視差検出処理は終了する。
【００８１】
このようにして、画像処理装置１１は、左右の画像から視差マップを生成するとともに、右または左の一方の画像から奥行き情報マップを生成し、奥行き情報マップを擬似視差マップに変換する。そして、画像処理装置１１は、視差マップの信頼度に応じて視差マップと擬似視差マップとを合成し、最終的な視差検出結果としての補正視差マップを生成する。
【００８２】
このように、視差マップの信頼度に応じて、視差マップと擬似視差マップとを統合して最終的な視差検出結果である補正視差マップを生成することで、より正確で安定した視差検出を行うことができる。
【００８３】
例えば、平坦部や繰り返しパターンの部分など、右画像と左画像との対応付けが困難である領域では、信頼度マップの画素の画素値が小さくなり、視差マップの信頼度が低くなる。しかし、そのような場合には、左右の何れかの画像から推定された視差、つまり擬似視差マップがより多く用いられて補正視差マップが生成されるので、視差マップのみを用いる場合よりも、より正確な立体画像の視差を求めることができる。
【００８４】
［視差マップ生成処理の説明］
次に、図５のフローチャートを参照して、図４のステップＳ１１の処理に対応する視差マップ生成処理について説明する。
【００８５】
ステップＳ４１において、視差マップ生成部７１は、供給された右画像および左画像に基づいて視差マップを生成し、一致度算出部６２および視差合成部３２に供給する。
【００８６】
例えば、視差マップ生成部７１Ｌは、ブロックマッチングなどにより、左画像上の各画素について、それらの画素に対する右画像の対応画素を検出する。
【００８７】
具体的には、視差マップ生成部７１Ｌは、図６の上側に示すように、左画像ＩＬ上の１つの画素を注目する注目画素ｇＬ（ｉ，ｊ）とし、注目画素ｇＬ（ｉ，ｊ）に対する対応点の候補となる右画像ＩＲ上の画素を画素ｇＬ’（ｉ＋ｄ，ｊ）とする。ここで、対応点の候補である画素ｇＬ’（ｉ＋ｄ，ｊ）は、注目画素ｇＬ（ｉ，ｊ）とｊ座標が同じであり、かつ右画像ＩＲ上の注目画素と同じ位置から、ｉ方向にｄ画素だけ離れた位置にある画素である。
【００８８】
なお、図６において、横方向および縦方向は、ｉｊ座標系におけるｉ方向およびｊ方向を示している。また、座標が（ｉ，ｊ）である左画像ＩＬの画素の画素値をＩＬ（ｉ，ｊ）とし、座標が（ｉ，ｊ）である右画像ＩＲの画素の画素値をＩＲ（ｉ，ｊ）であるとする。例えば、左画像ＩＬ上の画素値がＩＬ（ｉ，ｊ）である画素は、左画像ＩＬの左端からｉ番目であり、かつ左画像ＩＬの上端からｊ番目に位置する画素である。
【００８９】
視差マップ生成部７１Ｌは、注目画素ｇＬ（ｉ，ｊ）を中心とする所定の領域ｇｂＬ内の画素の画素値と、画素ｇＬ’（ｉ＋ｄ，ｊ）を中心とする所定の領域ｇｂＬ’内の画素の画素値との差分絶対値和を、注目画素における残差Ｒｉ，ｊ（ｄ）として算出する。
【００９０】
すなわち、視差マップ生成部７１Ｌは、次式（３）を計算することにより、残差Ｒｉ，ｊ（ｄ）を算出する。
【００９１】
【数３】
【００９２】
視差マップ生成部７１Ｌは、予め定められた範囲（例えば、−ｄｒｎｇ≦ｄ≦ｄｒｎｇ）内でｄの値を変化させながら、各ｄの値について、つまり各対応画素の候補について、注目画素の残差Ｒｉ，ｊ（ｄ）を算出する。
【００９３】
ここで、残差Ｒｉ，ｊ（ｄ）は、注目画素ｇＬ（ｉ，ｊ）近傍の領域ｇｂＬ内の画素の画素値と、対応画素の候補である画素ｇＬ’（ｉ＋ｄ，ｊ）近傍の領域ｇｂＬ’内の画素の画素値との差分絶対値和である。したがって、領域ｇｂＬと領域ｇｂＬ’が類似しているほど、残差Ｒｉ，ｊ（ｄ）が小さくなるはずである。
【００９４】
そこで、視差マップ生成部７１Ｌは、右画像ＩＲの画素のうち、残差Ｒｉ，ｊ（ｄ）が最小となる画素ｇＬ’（ｉ＋ｄ，ｊ）を注目画素の対応画素として、次式（４）により注目画素ｇＬ（ｉ，ｊ）と同じ位置にあるＬＲ視差マップの画素の画素値ＤＰＬＲ（ｉ，ｊ）を求める。
【００９５】
【数４】
【００９６】
すなわち、残差Ｒｉ，ｊ（ｄ）が最小となるときのｄの値が、左画像ＩＬの注目画素ｇＬ（ｉ，ｊ）における右画像ＩＲとの視差として検出される。この視差ｄ（画素値ＤＰＬＲ（ｉ，ｊ））は、対応画素のｉ座標から、注目画素のｉ座標を減算して得られる値である。
【００９７】
視差マップ生成部７１Ｌは、左画像ＩＬの各画素を順番に注目画素として、注目画素と同じ位置にあるＬＲ視差マップの画素の画素値ＤＰＬＲ（ｉ，ｊ）を求めることで、ＬＲ視差マップを生成する。視差マップ生成部７１Ｌは、生成したＬＲ視差マップを、一致度算出部６２および乗算部１０２Ｌに供給する。
【００９８】
また、視差マップ生成部７１Ｒは、視差マップ生成部７１Ｌと同様の処理を行って、注目画素と同じ位置にあるＲＬ視差マップの画素の画素値ＤＰＲＬ（ｉ，ｊ）を求めることで、ＲＬ視差マップを生成する。
【００９９】
すなわち、例えば、視差マップ生成部７１Ｒは図６の下側に示すように、右画像ＩＲ上の１つの画素を注目する注目画素ｇＲ（ｉ，ｊ）とし、注目画素ｇＲ（ｉ，ｊ）に対する対応点の候補となる左画像ＩＬ上の画素を画素ｇＲ’（ｉ＋ｄ，ｊ）とする。
【０１００】
視差マップ生成部７１Ｒは、注目画素ｇＲ（ｉ，ｊ）を中心とする所定の領域ｇｂＲ内の画素の画素値と、画素ｇＲ’（ｉ＋ｄ，ｊ）を中心とする所定の領域ｇｂＲ’内の画素の画素値との差分絶対値和を、注目画素における残差として算出する。つまり、上述した式（３）と同様の演算が行なわれる。
【０１０１】
そして、視差マップ生成部７１Ｒは、残差が最小となるときのｄの値を、右画像ＩＲの注目画素ｇＲ（ｉ，ｊ）における左画像ＩＬとの視差とし、その視差の値を注目画素と同じ位置にあるＲＬ視差マップの画素の画素値ＤＰＲＬ（ｉ，ｊ）とする。すなわち、画素値ＤＰＲＬ（ｉ，ｊ）は、対応画素のｉ座標から、注目画素のｉ座標を減算して得られる値である。
【０１０２】
視差マップ生成部７１Ｒは、右画像ＩＲの各画素を順番に注目画素として、注目画素と同じ位置にあるＲＬ視差マップの画素の画素値ＤＰＲＬ（ｉ，ｊ）を求めることで、ＲＬ視差マップを生成する。視差マップ生成部７１Ｒは、生成したＲＬ視差マップを、一致度算出部６２および乗算部１０２Ｒに供給する。
【０１０３】
図５のフローチャートの説明に戻り、ステップＳ４２において、残差マップ生成部７２は、左画像および右画像と視差マップとに基づいて残差マップを生成し、信頼度算出部６３に供給する。
【０１０４】
例えば、残差マップ生成部７２Ｌは、左画像上の画素を順番に注目画素として、次式（５）を計算することで、座標が（ｉ，ｊ）である注目画素と同じ位置にあるＬＲ残差マップの画素の画素値ＥＬＲ（ｉ，ｊ）を求める。
【０１０５】
【数５】
【０１０６】
すなわち、左画像上の注目画素近傍の領域内の画素の画素値と、注目画素に対する右画像上の対応画素近傍の領域内の画素の画素値との差分絶対値和が、所定の関数Ｎ１（ｘ）に代入されて、ＬＲ残差マップの画素の画素値ＥＬＲ（ｉ，ｊ）とされる。
【０１０７】
ここで、関数Ｎ１（ｘ）は、例えば図７に示す関数とされる。なお、図７において、縦軸は関数Ｎ１（ｘ）の値を示しており、横軸は関数Ｎ１（ｘ）に代入されるｘの値、つまり差分絶対値和の値を示している。
【０１０８】
図７では、折れ線Ｃ１１は、各ｘの値に対する関数Ｎ１（ｘ）の値を示しており、ｘが０からＴ１１までの区間では、関数Ｎ１（ｘ）＝０となっている。また、ｘ≧Ｔ１２の区間では関数Ｎ１（ｘ）＝１となっており、Ｔ１１≦ｘ≦Ｔ１２の区間では、関数Ｎ１（ｘ）の値はｘの値に比例して大きくなっていく。
【０１０９】
したがって、注目画素近傍の領域と、注目画素に対する対応画素近傍の領域とが類似しているほど、つまりそれらの領域の差分絶対値和（残差）が小さいほど、ＬＲ残差マップの画素の画素値ＥＬＲ（ｉ，ｊ）は小さくなる。
【０１１０】
残差マップ生成部７２Ｌは、左画像上の各画素を注目画素として、それらの注目画素に対応するＬＲ残差マップの画素の画素値ＥＬＲ（ｉ，ｊ）を求めることで、ＬＲ残差マップを生成し、信頼度算出部６３Ｌに供給する。このようにして得られるＬＲ残差マップの画素の画素値は、その画素と同じ位置にある左画像上の画素の視差が確からしいほど小さくなる。
【０１１１】
同様に、残差マップ生成部７２Ｒは、右画像上の画素を順番に注目画素として、次式（６）を計算することで、座標が（ｉ，ｊ）である注目画素と同じ位置にあるＲＬ残差マップの画素の画素値ＥＲＬ（ｉ，ｊ）を求める。
【０１１２】
【数６】
【０１１３】
すなわち、右画像上の注目画素近傍の領域内の画素の画素値と、注目画素に対する左画像上の対応画素近傍の領域内の画素の画素値との差分絶対値和が、関数Ｎ１（ｘ）に代入されて、ＲＬ残差マップの画素の画素値ＥＲＬ（ｉ，ｊ）とされる。
【０１１４】
ＲＬ残差マップにおいても、注目画素近傍の領域と、注目画素に対する対応画素近傍の領域との差分絶対値和（残差）が小さいほど、ＲＬ残差マップの画素の画素値ＥＲＬ（ｉ，ｊ）は小さくなる。したがって、ＲＬ残差マップの画素の画素値は、その画素と同じ位置にある右画像上の画素の視差が確からしいほど小さくなる。
【０１１５】
残差マップ生成部７２Ｒは、右画像上の各画素を注目画素として、それらの注目画素に対応するＲＬ残差マップの画素の画素値ＥＲＬ（ｉ，ｊ）を求めることで、ＲＬ残差マップを生成し、信頼度算出部６３Ｒに供給する。
【０１１６】
ステップＳ４３において、ピーク先鋭度マップ生成部７３は、供給された左画像と右画像に基づいてピーク先鋭度マップを生成し、信頼度算出部６３に供給する。
【０１１７】
例えば、ピーク先鋭度マップ生成部７３Ｌは、左画像上の各画素を順番に注目画素とする。そして、ピーク先鋭度マップ生成部７３Ｌは、視差マップ生成部７１Ｌにより計算された、注目画素についての各視差ｄに対する残差Ｒｉ，ｊ（ｄ）の計算結果に基づいて、注目画素と同じ位置にあるＬＲピーク先鋭度マップの画素の画素値ＰＫＬＲ（ｉ，ｊ）を算出する。
【０１１８】
具体的には、左画像上の注目画素についての各視差ｄ（対応画素の候補）に対する残差Ｒｉ，ｊ（ｄ）の計算結果として、例えば図８に示す結果が得られたとする。なお、図８において、横軸は注目画素と対応画素の候補との視差ｄを示しており、縦軸は各視差ｄにおける残差Ｒｉ，ｊ（ｄ）の値を示している。
【０１１９】
図８の例では、曲線Ｃ２１は各視差ｄにおける残差Ｒｉ，ｊ（ｄ）を表しており、この曲線Ｃ２１の図中、下方向に凸となるピーク位置、つまり残差Ｒｉ，ｊ（ｄ）が最小となるｄの位置が、注目画素の視差ｄ＝ＤＰＬＲ（ｉ，ｊ）である。
【０１２０】
各視差ｄにおける残差Ｒｉ，ｊ（ｄ）は、各対応画素の候補について式（３）により求められた残差であるから、曲線Ｃ２１のピークの深さが深く、かつピーク部分の幅が狭いほど、つまり相対的に小さい残差が狭い範囲に集中しているほどピークの先鋭度は大きくなる。ここで、残差Ｒｉ，ｊ（ｄ）の最大値をｒｍａｘとし、残差Ｒｉ，ｊ（ｄ）の最小値をｒｍｉｎとすると、残差のピークの深さは、例えばｒｍａｘ−ｒｍｉｎにより定義することができる。
【０１２１】
ピーク先鋭度が大きいほど、対応画素らしい候補は少ないことになるため、求められた注目画素の視差ＤＰＬＲ（ｉ，ｊ）も確からしいことになる。逆に、対応画素の検出が困難な画像上の平坦部や繰り返しパターンの部分では、残差のピークは浅く、ピーク幅は広くなる。
【０１２２】
ピーク先鋭度マップ生成部７３Ｌは、このような残差のピーク先鋭度を指標としてＬＲ視差マップにより示される視差の確からしさを評価する、ＬＲピーク先鋭度マップの画素の画素値ＰＫＬＲ（ｉ，ｊ）を算出する。
【０１２３】
すなわち、ピーク先鋭度マップ生成部７３Ｌは、座標が（ｉ，ｊ）である注目画素についての各視差ｄに対する残差Ｒｉ，ｊ（ｄ）の計算結果に基づいて次式（７）を計算し、残差のピークの深さを指標とする評価値ＰＫＨＬＲ（ｉ，ｊ）を算出する。
【０１２４】
【数７】
【０１２５】
すなわち、残差Ｒｉ，ｊ（ｄ）の最大値ｒｍａｘと最小値ｒｍｉｎとの差分が、所定の関数Ｎ２（ｘ）に代入されて、評価値ＰＫＨＬＲ（ｉ，ｊ）とされる。
【０１２６】
ここで、関数Ｎ２（ｘ）は、例えば図９に示す関数とされる。なお、図９において、縦軸は関数Ｎ２（ｘ）の値を示しており、横軸は関数Ｎ２（ｘ）に代入されるｘの値、つまり残差の最大値と最小値の差分を示している。
【０１２７】
図９では、折れ線Ｃ３１は、各ｘの値に対する関数Ｎ２（ｘ）の値を示しており、ｘが０からＴ２１までの区間では、関数Ｎ２（ｘ）＝０となっている。また、ｘ≧Ｔ２２の区間では関数Ｎ２（ｘ）＝１となっており、Ｔ２１≦ｘ≦Ｔ２２の区間では、関数Ｎ２（ｘ）の値はｘの値に比例して大きくなっていく。したがって、残差のピークの深さが深い（大きい）ほど、評価値ＰＫＨＬＲ（ｉ，ｊ）の値は大きくなる。
【０１２８】
次に、ピーク先鋭度マップ生成部７３Ｌは、座標が（ｉ，ｊ）である注目画素についての各視差ｄに対する残差Ｒｉ，ｊ（ｄ）の計算結果に基づいて次式（８）を計算し、残差のピークの幅を指標とする評価値ＰＫＷＬＲ（ｉ，ｊ）を算出する。
【０１２９】
【数８】
【０１３０】
すなわち、予め定められた視差ｄの範囲である−ｄｒｎｇ≦ｄ≦ｄｒｎｇ内の各視差ｄ（対応画素の候補）について、最大値ｒｍａｘと残差Ｒｉ，ｊ（ｄ）の差分の総和が求められる。そして、得られた差分の総和が、（２ｄｒｎｇ＋１）（ｒｍａｘ−ｒｍｉｎ）で除算され、その結果得られた値が、所定の関数Ｎ３（ｘ）に代入されて、評価値ＰＫＷＬＲ（ｉ，ｊ）とされる。ここで、評価値ＰＫＷＬＲ（ｉ，ｊ）における関数Ｎ３（ｘ）内の項は、残差のピーク幅が狭い（細い）ほど、小さくなる。
【０１３１】
また、関数Ｎ３（ｘ）は、例えば図１０に示す関数とされる。なお、図１０において、縦軸は関数Ｎ３（ｘ）の値を示しており、横軸は関数Ｎ３（ｘ）に代入されるｘの値、つまりΣ（ｒｍａｘ−Ｒｉ，ｊ（ｄ））／（（２ｄｒｎｇ＋１）（ｒｍａｘ−ｒｍｉｎ））を示している。
【０１３２】
図１０では、折れ線Ｃ４１は、各ｘの値に対する関数Ｎ３（ｘ）の値を示しており、ｘが０からＴ３１までの区間では、関数Ｎ３（ｘ）＝１となっている。また、ｘ≧Ｔ３２の区間では関数Ｎ３（ｘ）＝０となっており、Ｔ３１≦ｘ≦Ｔ３２の区間では、関数Ｎ３（ｘ）の値はｘの値に反比例して小さくなっていく。したがって、残差のピーク幅が狭いほど、評価値ＰＫＷＬＲ（ｉ，ｊ）の値は大きくなる。
【０１３３】
さらに、ピーク先鋭度マップ生成部７３Ｌは、以上のようにして得られた評価値ＰＫＨＬＲ（ｉ，ｊ）と評価値ＰＫＷＬＲ（ｉ，ｊ）を次式（９）に代入し、ＬＲピーク先鋭度マップの画素の画素値ＰＫＬＲ（ｉ，ｊ）を求める。
【０１３４】
【数９】
【０１３５】
すなわち、注目画素について求められた評価値ＰＫＨＬＲ（ｉ，ｊ）と評価値ＰＫＷＬＲ（ｉ，ｊ）の積が、その注目画素と同じ位置にあるＬＲピーク先鋭度マップの画素の画素値ＰＫＬＲ（ｉ，ｊ）とされる。
【０１３６】
この画素値ＰＫＬＲ（ｉ，ｊ）は、残差のピークの深さが深く、かつピーク幅が狭いほど大きくなる。換言すれば、画素値ＰＫＬＲ（ｉ，ｊ）は、残差のピークの先鋭度が大きく、注目画素の視差が確からしいほど大きくなる。
【０１３７】
ピーク先鋭度マップ生成部７３Ｌは、左画像の各画素を注目画素として、注目画素と同じ位置にあるＬＲピーク先鋭度マップの画素の画素値ＰＫＬＲ（ｉ，ｊ）を求めることで、ＬＲピーク先鋭度マップを生成する。ピーク先鋭度マップ生成部７３Ｌは、生成したＬＲピーク先鋭度マップを、信頼度算出部６３Ｌに供給する。
【０１３８】
また、ピーク先鋭度マップ生成部７３Ｒも、ピーク先鋭度マップ生成部７３Ｌと同様の処理を行ってＲＬピーク先鋭度マップを生成し、信頼度算出部６３Ｒに供給する。
【０１３９】
ステップＳ４４において、一致度算出部６２は、対応点検出部６１ＲからのＲＬ視差マップと、対応点検出部６１ＬからのＬＲ視差マップとに基づいて一致度マップを生成し、信頼度算出部６３に供給する。
【０１４０】
例えば、図１１に示すように左画像ＩＬ上の座標（ｉ，ｊ）にある画素ｇｃに対する右画像ＩＲ上の対応画素ｇｃ’の座標は、ＬＲ視差マップから求めることができる。すなわち、ＬＲ視差マップ上の画素ｇｃと同じ位置にある画素の画素値がＤＰＬＲ（ｉ，ｊ）であるとすると、対応画素ｇｃ’の座標は（ｉ＋ＤＰＬＲ（ｉ，ｊ），ｊ）となる。
【０１４１】
一方で、右画像ＩＲ上の対応画素ｇｃ’に注目したときに、この対応画素ｇｃ’に対する左画像ＩＬ上の対応画素の座標は、ＲＬ視差マップの対応画素ｇｃ’と同じ位置の画素の画素値から、(i+DPLR(i,j)+DPRL(i+DPLR(i,j),j),j)となる。
【０１４２】
したがって、対応画素ｇｃ’に対する左画像ＩＬ上の対応画素が画素ｇｃとなれば、画素ｇｃに対する対応画素ｇｃ’が正しく求められており、画素ｇｃと対応画素ｇｃ’の対応がとれていることになる。すなわち、画素ｇｃと対応画素ｇｃ’とは一致する画素であり、それらの画素に同じ被写体が表示されていることになる。
【０１４３】
ここで、対応画素ｇｃ’の対応画素が画素ｇｃとなるためには、この対応画素の座標(i+DPLR(i,j)+DPRL(i+DPLR(i,j),j),j)が、画素ｇｃの座標（ｉ，ｊ）と一致すればよいため、DPLR(i,j)+DPRL(i+DPLR(i,j),j)＝0が成立すればよい。また、DPLR(i,j)+DPRL(i+DPLR(i,j),j)が０とはならなくても、その絶対値が小さい値となれば、ある程度は画素同士の対応がとれていることになる。
【０１４４】
そこで、一致度算出部６２は、次式（１０）を計算することで、左画像上の画素とその画素に対する対応画素との一致度を計算し、左画像上の画素と同じ位置にあるＬＲ一致度マップの画素の画素値ＣＬＲ（ｉ，ｊ）を算出する。
【０１４５】
【数１０】
【０１４６】
すなわち、左画像上の所定の画素を注目画素とすると、注目画素と同じ位置にあるＬＲ一致度マップの画素の画素値ＣＬＲ（ｉ，ｊ）は、次のようにして求められる。まず、注目画素と同じ位置にあるＬＲ視差マップの画素の画素値と、注目画素の対応画素と同じ位置にあるＲＬ視差マップの画素の画素値との和の絶対値が求められる。そして、求められた和の絶対値が、所定の関数Ｎ４（ｘ）に代入されて画素値ＣＬＲ（ｉ，ｊ）とされる。この画素値ＣＬＲ（ｉ，ｊ）は、注目画素と対応画素との対応がとれているほど大きい値となる。
【０１４７】
ここで、関数Ｎ４（ｘ）は、例えば図１２に示す関数とされる。なお、図１２において、縦軸は関数Ｎ４（ｘ）の値を示しており、横軸は関数Ｎ４（ｘ）に代入されるｘの値、つまり|DPLR(i,j)+DPRL(i+DPLR(i,j),j)|を示している。
【０１４８】
図１２では、折れ線Ｃ５１は、各ｘの値に対する関数Ｎ４（ｘ）の値を示しており、ｘが０からＴ４１までの区間では、関数Ｎ４（ｘ）＝１となっている。また、ｘ≧Ｔ４２の区間では関数Ｎ４（ｘ）＝０となっており、Ｔ４１≦ｘ≦Ｔ４２の区間では、関数Ｎ４（ｘ）の値はｘの値に反比例して小さくなっていく。したがって、左画像の画素とその画素の対応画素との一致度が高いほど、ＬＲ一致度マップの画素の画素値ＣＬＲ（ｉ，ｊ）は大きくなる。
【０１４９】
一致度算出部６２は、このようにしてＬＲ一致度マップの各画素の画素値を求めてＬＲ一致度マップを生成すると、得られたＬＲ一致度マップを信頼度算出部６３Ｌに供給する。また、一致度算出部６２は、ＬＲ視差マップとＲＬ視差マップとに基づいて、次式（１１）を計算し、ＲＬ一致度マップの画素の画素値ＣＲＬ（ｉ，ｊ）を算出する。
【０１５０】
【数１１】
【０１５１】
なお、式（１１）において、ＤＰＬＲ（ｉ，ｊ）およびＤＰＲＬ（ｉ，ｊ）は、それぞれＬＲ視差マップの画素の画素値、およびＲＬ視差マップの画素の画素値を示しており、Ｎ４（ｘ）は、式（１０）における関数Ｎ４（ｘ）と同じ関数である。
【０１５２】
一致度算出部６２は、このようにしてＲＬ一致度マップの各画素の画素値を求めてＲＬ一致度マップを生成すると、得られたＲＬ一致度マップを信頼度算出部６３Ｒに供給する。
【０１５３】
ステップＳ４５において、信頼度算出部６３は、対応点検出部６１からの残差マップおよびピーク先鋭度マップと、一致度算出部６２からの一致度マップとに基づいて、信頼度マップを生成する。
【０１５４】
例えば、信頼度算出部６３Ｌは、生成しようとするＬＲ信頼度マップの画素を注目画素とし、ＬＲ残差マップ、ＬＲ一致度マップ、およびＬＲピーク先鋭度マップのそれぞれの注目画素と同じ位置にある画素の画素値に基づいて、次式（１２）を計算し、注目画素の画素値ＲＬＲ（ｉ，ｊ）を算出する。
【０１５５】
【数１２】
【０１５６】
なお、式（１２）において、ＥＬＲ（ｉ，ｊ）、ＣＬＲ（ｉ，ｊ）、およびＰＫＬＲ（ｉ，ｊ）は、ＬＲ残差マップ、ＬＲ一致度マップ、およびＬＲピーク先鋭度マップの画素の画素値を示している。また、α、β、およびγは、予め定められた所定の重みであり、これらの重みは、次式（１３）を満たすように定められる。
【０１５７】
【数１３】
【０１５８】
このように、ＬＲ信頼度マップは、ＬＲ残差マップ、ＬＲ一致度マップ、およびＬＲピーク先鋭度マップを重み付き加算することにより求められる。また、左画像の画素と、その画素の対応画素との残差が小さく、残差のピーク先鋭度が大きく、かつ画素の一致度が高いほど、ＬＲ信頼度マップの画素の画素値は大きくなる。したがって、ＬＲ信頼度マップの画素の画素値が大きいほど、ＬＲ視差マップにより示される視差の信頼度が高いことになる。
【０１５９】
信頼度算出部６３ＬはＬＲ信頼度マップを生成すると、ＬＲ信頼度マップを奥行き視差変換部３１Ｌおよび視差合成部３２Ｌに供給する。
【０１６０】
また、信頼度算出部６３Ｒは、ＲＬ残差マップ、ＲＬ一致度マップ、およびＲＬピーク先鋭度マップと、上述した式（１３）で定められる重みα、β、およびγとを用いて次式（１４）を計算し、ＲＬ信頼度マップの画素の画素値ＲＲＬ（ｉ，ｊ）を算出する。
【０１６１】
【数１４】
【０１６２】
なお、式（１４）において、ＥＲＬ（ｉ，ｊ）、ＣＲＬ（ｉ，ｊ）、およびＰＫＲＬ（ｉ，ｊ）は、ＲＬ残差マップ、ＲＬ一致度マップ、およびＲＬピーク先鋭度マップの画素の画素値を示している。信頼度算出部６３Ｒは、ＲＬ信頼度マップを生成すると、ＲＬ信頼度マップを奥行き視差変換部３１Ｒおよび視差合成部３２Ｒに供給する。
【０１６３】
このようにして信頼度マップが生成されると視差マップ生成処理は終了し、その後、処理は図４のステップＳ１２へと進む。
【０１６４】
以上のように、視差検出部２１は、左画像および右画像から、視差マップと信頼度マップを生成する。視差マップを生成するとともに、その信頼度を示す信頼度マップを生成することで、立体画像の領域ごとに、視差マップにより示される視差がどの程度確からしいかを特定することができ、後段においてより正確な視差を示す補正視差マップを得ることができるようになる。
【０１６５】
［補正視差マップ生成処理の説明］
次に、図１３のフローチャートを参照して、図４のステップＳ１５の処理に対応する補正視差マップ生成処理について説明する。
【０１６６】
ステップＳ７１において、乗算部１０１は、奥行き視差変換部３１から供給された擬似視差マップに重みを乗算する。
【０１６７】
例えば、視差合成部３２Ｒは、信頼度算出部６３ＲからＲＬ信頼度マップが供給されると、ＲＬ信頼度マップの画素の画素値ＲＲＬ（ｉ，ｊ）をそのまま画素ごとの重みとして乗算部１０２Ｒに供給する。また、視差合成部３２Ｒは、ＲＬ信頼度マップの画素の画素値ＲＲＬ（ｉ，ｊ）を１から減算して得られる値「１−ＲＲＬ（ｉ，ｊ）」を、画素ごとの重みとして乗算部１０１Ｒに供給する。
【０１６８】
乗算部１０１Ｒは、擬似Ｒ視差マップの各画素の画素値ＰＤＰＲ（ｉ，ｊ）に、供給された画素ごとの重み「１−ＲＲＬ（ｉ，ｊ）」を乗算し、加算部１０３Ｒに供給する。このとき、擬似Ｒ視差マップの画素の画素値には、その画素と同じ位置にある信頼度マップの画素の画素値から得られた重みが乗算される。
【０１６９】
また、視差合成部３２Ｌにおいても、視差合成部３２Ｒにおける場合と同様に、乗算部１０１Ｌは、奥行き視差変換部３１Ｌから供給された擬似Ｌ視差マップの各画素の画素値ＰＤＰＬ（ｉ，ｊ）に、供給された重み「１−ＲＬＲ（ｉ，ｊ）」を乗算し、加算部１０３Ｌに供給する。
【０１７０】
ステップＳ７２において、乗算部１０２は、対応点検出部６１から供給された視差マップに、供給された重みを乗算し、加算部１０３に供給する。
【０１７１】
例えば、乗算部１０２Ｒは、ＲＬ視差マップの各画素の画素値に、画素ごとの重みＲＲＬ（ｉ，ｊ）を乗算し、加算部１０３Ｒに供給する。同様に、乗算部１０２Ｌは、ＬＲ視差マップの各画素の画素値に、画素ごとの重みＲＬＲ（ｉ，ｊ）を乗算し、加算部１０３Ｌに供給する。
【０１７２】
ステップＳ７３において、加算部１０３は、乗算部１０１からの擬似視差マップと、乗算部１０２からの視差マップとを加算して補正視差マップを生成し、出力する。
【０１７３】
例えば、加算部１０３Ｒは重みが乗算された擬似Ｒ視差マップと、重みが乗算されたＲＬ視差マップとの同じ位置にある画素の画素値を加算して、その結果得られた値を、それらの画素と同じ位置にある補正ＲＬ視差マップの画素の画素値ＤＰＲＬ’（ｉ，ｊ）とする。
【０１７４】
すなわち、次式（１５）が計算されて、補正ＲＬ視差マップの画素の画素値ＤＰＲＬ’（ｉ，ｊ）が算出される。
【０１７５】
【数１５】
【０１７６】
式（１５）の演算により、ＲＬ視差マップの画素のうち、信頼度の高い画素についてはその画素が、そのまま補正ＲＬ視差マップの画素として用いられ、信頼度の低い画素については、擬似Ｒ視差マップの画素が補正ＲＬ視差マップの画素として用いられる。これにより、視差マップの画素ごとの信頼度に応じて、より確からしい視差を示す補正視差マップを得ることができる。なお、視差マップと擬似視差マップとの切り替えをより滑らかに行なうため、視差マップと擬似視差マップの合成前に、信頼度マップに対して平滑化処理を施すようにしてもよい。
【０１７７】
また、同様に、加算部１０３Ｌは重みが乗算された擬似Ｌ視差マップと、重みが乗算されたＬＲ視差マップとの同じ位置にある画素の画素値を加算することで、補正ＬＲ視差マップを生成し、出力する。
【０１７８】
このようにして補正視差マップが生成されて出力されると、補正視差マップ生成処理は終了し、これにより図４のステップＳ１５も終了して視差検出処理は終了する。
【０１７９】
以上のように視差合成部３２は、視差マップと擬似視差マップとを合成して補正視差マップを生成する。左右の画像から得られた視差マップと、１つの画像から得られた擬似視差マップとを視差マップの信頼度に応じて合成し、補正視差マップとすることにより、より正確で安定した視差情報を得ることができる。
【０１８０】
〈変形例１〉
［視差合成部の構成例］
なお、以上においては、視差マップと擬似視差マップとを信頼度に応じて重み付き加算することで、それらのマップを合成する例について説明したが、擬似視差マップの高域成分のみが合成に用いられるようにしてもよい。
【０１８１】
そのような場合、図１の視差合成部３２Ｒは、例えば図１４に示すように構成される。なお、図１４において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１８２】
図１４の視差合成部３２Ｒは、高域成分抽出部１３１Ｒ、低域成分抽出部１３２Ｒ、成分合成部１３３Ｒ、乗算部１０１Ｒ、乗算部１０２Ｒ、および加算部１０３Ｒから構成される。
【０１８３】
高域成分抽出部１３１Ｒは、奥行き視差変換部３１Ｒから供給された擬似Ｒ視差マップから高域成分を抽出し、成分合成部１３３Ｒに供給する。低域成分抽出部１３２Ｒは、対応点検出部６１Ｒから供給されたＲＬ視差マップから低域成分を抽出し、成分合成部１３３Ｒに供給する。
【０１８４】
成分合成部１３３Ｒは、高域成分抽出部１３１Ｒからの高域成分と、低域成分抽出部１３２Ｒからの低域成分とを合成し、その結果得られた合成マップを乗算部１０１Ｒに供給する。乗算部１０１Ｒは、成分合成部１３３Ｒから供給された合成マップの各画素の画素値に、供給された重み「１−ＲＲＬ（ｉ，ｊ）」を乗算し、加算部１０３Ｒに供給する。
【０１８５】
なお、図１の視差合成部３２Ｒが図１４に示した構成とされる場合、視差合成部３２Ｌも図１４に示す視差合成部３２Ｒと同様の構成とされるので、その図示および説明は省略する。また、以下において、高域成分抽出部１３１Ｒ、低域成分抽出部１３２Ｒ、および成分合成部１３３Ｒに対応する視差合成部３２Ｌの各部を、それぞれ高域成分抽出部１３１Ｌ、低域成分抽出部１３２Ｌ、および成分合成部１３３Ｌと称する。
【０１８６】
さらに、以下、高域成分抽出部１３１Ｒと高域成分抽出部１３１Ｌ、低域成分抽出部１３２Ｒと低域成分抽出部１３２Ｌ、および成分合成部１３３Ｒと成分合成部１３３Ｌをそれぞれ区別する必要のない場合、高域成分抽出部１３１、低域成分抽出部１３２、および成分合成部１３３とも称する。
【０１８７】
［補正視差マップ生成処理の説明］
また、視差合成部３２に高域成分抽出部１３１乃至成分合成部１３３が設けられる構成とされる場合、図４の視差検出処理におけるステップＳ１５では、図１５に示す補正視差マップ生成処理が行われる。
【０１８８】
以下、図１５のフローチャートを参照して、視差合成部３２による補正視差マップ生成処理について説明する。
【０１８９】
ステップＳ１０１において、高域成分抽出部１３１は、奥行き視差変換部３１から供給された擬似視差マップに対してフィルタ処理等を行うことにより、擬似視差マップから高域成分を抽出し、成分合成部１３３に供給する。ステップＳ１０１では、高域成分抽出部１３１Ｒおよび高域成分抽出部１３１Ｌにより、それぞれ高域成分の抽出が行なわれる。
【０１９０】
ステップＳ１０２において、低域成分抽出部１３２は、対応点検出部６１から供給された視差マップに対してフィルタ処理等を行うことにより、視差マップから低域成分を抽出し、成分合成部１３３に供給する。ステップＳ１０２においても、低域成分抽出部１３２Ｒおよび低域成分抽出部１３２Ｌにより、それぞれ低域成分の抽出が行なわれる。
【０１９１】
ステップＳ１０３において、成分合成部１３３は、高域成分抽出部１３１からの高域成分と、低域成分抽出部１３２からの低域成分とを合成し、その結果得られた合成マップを乗算部１０１に供給する。
【０１９２】
例えば、高域成分と低域成分の同じ位置にある画素の画素値が加算され、それらの画素と同じ位置にある合成マップの画素の画素値とされる。ステップＳ１０３においても、成分合成部１３３Ｒと成分合成部１３３Ｌにより、合成マップの生成が行なわれる。
【０１９３】
ステップＳ１０４において、加算部１０３は、合成マップと視差マップとを加算して補正視差マップを生成する。
【０１９４】
例えば、乗算部１０１Ｒは、成分合成部１３３Ｒから供給された合成マップの各画素の画素値に重み「１−ＲＲＬ（ｉ，ｊ）」を乗算して、加算部１０３Ｒに供給する。また、乗算部１０２Ｒは、対応点検出部６１ＲからのＲＬ視差マップの各画素に重みＲＲＬ（ｉ，ｊ）を乗算し、加算部１０３Ｒに供給する。そして、加算部１０３Ｒは、乗算部１０１Ｒからの合成マップと、乗算部１０２ＲからのＲＬ視差マップとを加算して、補正ＲＬ視差マップを生成し、出力する。
【０１９５】
このような合成マップと視差マップとの合成では、視差マップの画素のうち、信頼度の高い画素についてはその画素が、そのまま補正視差マップの画素として用いられる。また、信頼度の低い画素については、視差マップの低域成分のみが用いられ、高域成分は擬似視差マップの画素が用いられる。なお、視差マップと合成マップとの切り替えをより滑らかに行なうため、視差マップと合成マップの合成前に、信頼度マップに対して平滑化処理を施すようにしてもよい。
【０１９６】
また、乗算部１０１Ｌ乃至加算部１０３Ｌも、乗算部１０１Ｒ乃至加算部１０３Ｒと同様の処理を行って補正ＬＲ視差マップを生成する。このようにして補正視差マップが生成されて出力されると、補正視差マップ生成処理は終了し、これにより図４のステップＳ１５も終了して視差検出処理は終了する。
【０１９７】
〈変形例２〉
［視差合成部の構成例］
さらに、図１４の例では、擬似視差マップの高域成分と視差マップの低域成分が合成されて合成マップとされると説明したが、擬似視差マップの低域成分と視差マップの高域成分が合成されて合成マップとされるようにしてもよい。
【０１９８】
そのような場合、図１の視差合成部３２Ｒは、例えば図１６に示すように構成される。なお、図１６において、図１４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１９９】
図１６の視差合成部３２Ｒは、高域成分抽出部１３１Ｒ、低域成分抽出部１３２Ｒ、成分合成部１３３Ｒ、乗算部１０１Ｒ、乗算部１０２Ｒ、および加算部１０３Ｒから構成される。また、図１６の視差合成部３２Ｒでは、高域成分抽出部１３１ＲにＲＬ視差マップが供給され、低域成分抽出部１３２Ｒに擬似Ｒ視差マップが供給される。
【０２００】
高域成分抽出部１３１Ｒは、対応点検出部６１Ｒから供給されたＲＬ視差マップから高域成分を抽出し、成分合成部１３３Ｒに供給する。また、低域成分抽出部１３２Ｒは、奥行き視差変換部３１Ｒから供給された擬似Ｒ視差マップから低域成分を抽出し、成分合成部１３３Ｒに供給する。
【０２０１】
なお、視差合成部３２Ｒが図１６に示した構成とされる場合、視差合成部３２Ｌも図１６に示す視差合成部３２Ｒと同様の構成とされるので、その図示および説明は省略する。
【０２０２】
［補正視差マップ生成処理の説明］
また、視差合成部３２Ｒが図１６に示す構成とされる場合、図４の視差検出処理におけるステップＳ１５では、図１７に示す補正視差マップ生成処理が行われる。
【０２０３】
以下、図１７のフローチャートを参照して、視差合成部３２による補正視差マップ生成処理について説明する。
【０２０４】
ステップＳ１３１において、低域成分抽出部１３２は、奥行き視差変換部３１から供給された擬似視差マップに対してフィルタ処理等を行うことにより、擬似視差マップから低域成分を抽出し、成分合成部１３３に供給する。ステップＳ１３１では、低域成分抽出部１３２Ｒおよび低域成分抽出部１３２Ｌにより、それぞれ低域成分の抽出が行なわれる。
【０２０５】
ステップＳ１３２において、高域成分抽出部１３１は、対応点検出部６１から供給された視差マップに対してフィルタ処理等を行うことにより、視差マップから高域成分を抽出し、成分合成部１３３に供給する。ステップＳ１３２でも、高域成分抽出部１３１Ｒおよび高域成分抽出部１３１Ｌにより、それぞれ高域成分の抽出が行なわれる。
【０２０６】
ステップＳ１３２の処理が行われると、その後ステップＳ１３３およびステップＳ１３４の処理が行われて補正視差マップ生成処理は終了するが、これらの処理は図１５のステップＳ１０３およびステップＳ１０４と同様であるので、その説明は省略する。但し、ステップＳ１３３では、擬似視差マップの低域成分と、視差マップの高域成分が合成されて合成マップとされる。
【０２０７】
また、補正視差マップ生成処理が終了すると、図４のステップＳ１５も終了して視差検出処理は終了する。
【０２０８】
図１７の補正視差マップ生成処理では、視差マップの画素のうち、信頼度の高い画素についてはその画素が、そのまま補正視差マップの画素として用いられる。また、信頼度の低い画素については、視差マップの高域成分のみが用いられ、低域成分は擬似視差マップの画素が用いられる。なお、視差マップと合成マップとの切り替えをより滑らかに行なうため、視差マップと合成マップの合成前に、信頼度マップに対して平滑化処理を施すようにしてもよい。
【０２０９】
〈第２の実施の形態〉
［画像処理装置の構成例］
さらに、以上においては、視差マップと擬似視差マップを合成して補正視差マップを生成する場合について説明したが、左画像および右画像と、擬似視差マップとが用いられて視差マップが生成されるようにしてもよい。
【０２１０】
そのような場合、画像処理装置は、例えば図１８に示すように構成される。なお、図１８において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２１１】
図１８の画像処理装置１７１は、奥行き情報推定部２２Ｒ、奥行き情報推定部２２Ｌ、奥行き視差変換部３１Ｒ、奥行き視差変換部３１Ｌ、および視差検出部１８１から構成される。
【０２１２】
奥行き情報推定部２２Ｒは、供給された右画像に基づいてＲ奥行き情報マップを生成し、奥行き視差変換部３１Ｒに供給する。また、奥行き情報推定部２２Ｌは、供給された左画像に基づいてＬ奥行き情報マップを生成し、奥行き視差変換部３１Ｌに供給する。
【０２１３】
奥行き視差変換部３１Ｒは、奥行き情報推定部２２Ｒから供給されたＲ奥行き情報マップを擬似Ｒ視差マップに変換し、視差検出部１８１に供給する。奥行き視差変換部３１Ｌは、奥行き情報推定部２２Ｌから供給されたＬ奥行き情報マップを擬似Ｌ視差マップに変換し、視差検出部１８１に供給する。
【０２１４】
視差検出部１８１は、供給された右画像および左画像と、奥行き視差変換部３１からの擬似視差マップとに基づいて視差マップを生成し、出力する。視差検出部１８１は、対応点検出部１９１Ｒおよび対応点検出部１９１Ｌを備えている。
【０２１５】
対応点検出部１９１Ｒは、供給された左画像および右画像と、奥行き視差変換部３１Ｒから供給された擬似Ｒ視差マップとに基づいてＲＬ視差マップを生成し、出力する。また、対応点検出部１９１Ｌは、供給された左画像および右画像と、奥行き視差変換部３１Ｌから供給された擬似Ｌ視差マップとに基づいてＬＲ視差マップを生成し、出力する。
【０２１６】
なお、以下、対応点検出部１９１Ｒと対応点検出部１９１Ｌを特に区別する必要のない場合、単に対応点検出部１９１とも称する。
【０２１７】
［視差検出処理の説明］
次に、図１９のフローチャートを参照して、画像処理装置１７１による視差検出処理について説明する。
【０２１８】
ステップＳ１６１において、奥行き情報推定部２２は、供給された右画像または左画像に基づいて奥行き情報マップを生成し、奥行き視差変換部３１に供給する。なお、ステップＳ１６１では、図４のステップＳ１２の処理と同様の処理が行われる。
【０２１９】
ステップＳ１６２において、奥行き視差変換部３１は、奥行き情報推定部２２から供給された奥行き情報マップを擬似視差マップに変換し、対応点検出部１９１に供給する。
【０２２０】
例えば、奥行き視差変換部３１には、上述した「ｐ×ＯＲ（ｉ，ｊ）＋ｑ」等の奥行き情報を視差情報に変換する変換式が予め記録されている。そのような場合、奥行き視差変換部３１Ｒは、記録している変換式を用いてＲ奥行き情報マップを擬似Ｒ視差マップに変換し、対応点検出部１９１Ｒに供給する。すなわち、図４のステップＳ１４と同様の処理が行われる。
【０２２１】
また、奥行き視差変換部３１Ｌも、記録している変換式を用いてＬ奥行き情報マップを擬似Ｌ視差マップに変換し、対応点検出部１９１Ｌに供給する。
【０２２２】
ステップＳ１６３において、対応点検出部１９１は、供給された左画像および右画像と、奥行き視差変換部３１からの擬似視差マップとを用いて視差マップを生成する。
【０２２３】
例えば、対応点検出部１９１Ｌは、図２０に示すように左画像ＩＬ上の１つの画素を注目画素ｇｅとする。ここで、注目画素ｇｅのｉｊ座標系における座標は（ｉ，ｊ）である。次に、対応点検出部１９１Ｌは、注目画素ｇｅと同じ位置にある擬似Ｌ視差マップ上の画素の画素値ＰＤＰＬ（ｉ，ｊ）を特定し、右画像ＩＲ上の座標（ｉ＋ＰＤＰＬ（ｉ，ｊ），ｊ）を中心とする予め定められた大きさの領域を探索領域ＳＲとする。
【０２２４】
擬似Ｌ視差マップによれば、注目画素ｇｅの対応画素は、右画像ＩＲ上の座標（ｉ＋ＰＤＰＬ（ｉ，ｊ），ｊ）に位置する画素ｇｅ’である。そのため、注目画素ｇｅの真の対応画素は、この画素ｇｅ’近傍にある可能性が高い。
【０２２５】
そこで、対応点検出部１９１Ｌは、画素ｇｅ’近傍の探索領域ＳＲ内にある各画素を対応画素の候補として、各候補について上述した式（３）を計算して残差Ｒｉ，ｊ（ｄ）を算出する。そして、対応点検出部１９１Ｌは、それらの残差と式（４）とから、注目画素ｇｅと同じ位置にあるＬＲ視差マップ上の画素の画素値ＤＰＬＲ（ｉ，ｊ）を求める。
【０２２６】
対応点検出部１９１Ｌは、左画像上の画素を順番に注目画素として、各注目画素について、注目画素と同じ位置にあるＬＲ視差マップの画素の画素値ＤＰＬＲ（ｉ，ｊ）を求めていくことで、ＬＲ視差マップを生成する。
【０２２７】
このように、左画像の画素に対応する対応画素を検出する場合に、擬似視差マップにより定まる右画像上の探索領域（探索範囲）内の画素のみを対応画素の候補とすることで、より正確に安定して対応画素を検出することができる。また、擬似視差マップにより探索範囲が限定されるので、対応画素の検出をより迅速に行なうことができる。
【０２２８】
対応点検出部１９１Ｌは、このようにして生成されたＬＲ視差マップを出力する。また、対応点検出部１９１Ｒは、左画像および右画像と擬似Ｒ視差マップとから、対応点検出部１９１Ｌにおける場合と同様の処理を行って、ＲＬ視差マップを生成し、出力する。
【０２２９】
このようにして対応点検出部１９１により視差マップが生成されて出力されると、視差検出処理は終了する。
【０２３０】
以上のように、画像処理装置１７１は、左画像または右画像から擬似視差マップを生成し、擬似視差マップと左右の画像を用いて視差マップを生成する。視差マップの生成時に、擬似視差マップを用いて対応画素の探索範囲を適切に定めることで、より迅速かつ正確に視差検出を安定して行なうことができる。
【０２３１】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２３２】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２３３】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２３４】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０２３５】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２３６】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２３７】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０２３８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２３９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２４０】
さらに、本技術は、以下の構成とすることも可能である。
【０２４１】
［１］
立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部と、
前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップを生成する信頼度算出部と、
前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、
前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとを合成して補正視差マップを生成する視差合成部と
を備える画像処理装置。
［２］
前記視差合成部は、前記信頼度マップにより定まる重みを用いて、前記視差マップと前記擬似視差マップとを重み付き加算することにより、前記補正視差マップを生成する
［１］に記載の画像処理装置。
［３］
前記視差合成部は、
前記擬似視差マップの高域成分と、前記視差マップの低域成分とを合成して合成マップを生成する成分合成部と、
前記信頼度マップに基づいて、前記視差マップと前記合成マップとを合成して前記補正視差マップを生成する加算部と
を備える［１］に記載の画像処理装置。
［４］
前記視差合成部は、
前記擬似視差マップの低域成分と、前記視差マップの高域成分とを合成して合成マップを生成する成分合成部と、
前記信頼度マップに基づいて、前記視差マップと前記合成マップとを合成して前記補正視差マップを生成する加算部と
を備える［１］に記載の画像処理装置。
［５］
前記右画像または前記左画像のうちの一方の画像の所定の画素近傍の領域と、他方の画像上の前記所定の画素に対応する対応画素近傍の領域との残差を示す残差マップを生成する残差マップ生成部をさらに備え、
前記信頼度算出部は、前記残差マップに基づいて前記信頼度マップを生成する
［１］乃至［４］の何れかに記載の画像処理装置。
［６］
前記視差マップ生成部は、前記右画像または前記左画像のうちの一方の画像の所定の画素近傍の領域と、他方の画像上の画素近傍の領域との残差が最小となる前記他方の画像の画素を、前記所定の画素に対応する画素として検出することで前記視差マップを生成し、
前記他方の画像上の所定方向に並ぶ画素の前記残差のピークの先鋭度を示し、前記信頼度マップの生成に用いられるピーク先鋭度マップを生成するピーク先鋭度マップ生成部をさらに備える
［１］乃至［４］の何れかに記載の画像処理装置。
［７］
前記右画像または前記左画像のうちの一方の画像の所定の画素に対応する他方の画像の第１の対応画素の検出結果と、前記他方の画像の前記第１の対応画素に対応する前記一方の画像の第２の対応画素の検出結果とに基づいて、前記所定の画素と前記第１の対応画素との一致度を示す一致度マップを生成する一致度算出部をさらに備え、
前記信頼度算出部は、前記一致度マップに基づいて前記信頼度マップを生成する
［１］乃至［４］の何れかに記載の画像処理装置。
【符号の説明】
【０２４２】
１１ 画像処理装置， ２１ 視差検出部， ２２Ｒ，２２Ｌ，２２ 奥行き情報推定部， ２３ 統合部， ３１Ｒ，３１Ｌ，３１ 奥行き視差変換部， ３２Ｒ，３２Ｌ，３２ 視差合成部， ７１Ｒ，７１Ｌ，７１ 視差マップ生成部， ７２Ｒ，７２Ｌ，７２ 残差マップ生成部， ７３Ｒ，７３Ｌ，７３ ピーク先鋭度マップ生成部， ６２ 一致度算出部， ６３Ｒ，６３Ｌ，６３ 信頼度算出部， １９１Ｒ，１９１Ｌ，１９１ 対応点検出部
【特許請求の範囲】
【請求項１】
立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部と、
前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップを生成する信頼度算出部と、
前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、
前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとを合成して補正視差マップを生成する視差合成部と
を備える画像処理装置。
【請求項２】
前記視差合成部は、前記信頼度マップにより定まる重みを用いて、前記視差マップと前記擬似視差マップとを重み付き加算することにより、前記補正視差マップを生成する
請求項１に記載の画像処理装置。
【請求項３】
前記視差合成部は、
前記擬似視差マップの高域成分と、前記視差マップの低域成分とを合成して合成マップを生成する成分合成部と、
前記信頼度マップに基づいて、前記視差マップと前記合成マップとを合成して前記補正視差マップを生成する加算部と
を備える請求項１に記載の画像処理装置。
【請求項４】
前記視差合成部は、
前記擬似視差マップの低域成分と、前記視差マップの高域成分とを合成して合成マップを生成する成分合成部と、
前記信頼度マップに基づいて、前記視差マップと前記合成マップとを合成して前記補正視差マップを生成する加算部と
を備える請求項１に記載の画像処理装置。
【請求項５】
前記右画像または前記左画像のうちの一方の画像の所定の画素近傍の領域と、他方の画像上の前記所定の画素に対応する対応画素近傍の領域との残差を示す残差マップを生成する残差マップ生成部をさらに備え、
前記信頼度算出部は、前記残差マップに基づいて前記信頼度マップを生成する
請求項４に記載の画像処理装置。
【請求項６】
前記視差マップ生成部は、前記右画像または前記左画像のうちの一方の画像の所定の画素近傍の領域と、他方の画像上の画素近傍の領域との残差が最小となる前記他方の画像の画素を、前記所定の画素に対応する画素として検出することで前記視差マップを生成し、
前記他方の画像上の所定方向に並ぶ画素の前記残差のピークの先鋭度を示し、前記信頼度マップの生成に用いられるピーク先鋭度マップを生成するピーク先鋭度マップ生成部をさらに備える
請求項４に記載の画像処理装置。
【請求項７】
前記右画像または前記左画像のうちの一方の画像の所定の画素に対応する他方の画像の第１の対応画素の検出結果と、前記他方の画像の前記第１の対応画素に対応する前記一方の画像の第２の対応画素の検出結果とに基づいて、前記所定の画素と前記第１の対応画素との一致度を示す一致度マップを生成する一致度算出部をさらに備え、
前記信頼度算出部は、前記一致度マップに基づいて前記信頼度マップを生成する
請求項４に記載の画像処理装置。
【請求項８】
立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部と、
前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップを生成する信頼度算出部と、
前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、
前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとを合成して補正視差マップを生成する視差合成部と
を備える画像処理装置の画像処理方法であって、
前記視差マップ生成部が前記視差マップを生成し、
前記信頼度算出部が前記信頼度マップを生成し、
前記奥行き情報推定部が前記奥行き情報マップを生成し、
前記奥行き視差変換部が前記擬似視差マップを生成し、
前記視差合成部が前記補正視差マップを生成する
ステップを含む画像処理方法。
【請求項９】
立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップを生成し、
前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップを生成し、
前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成し、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換し、
前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとを合成して補正視差マップを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１０】
立体画像を構成する右画像または左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、
前記右画像および前記左画像と、前記擬似視差マップとに基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部と
を備える画像処理装置。
【請求項１１】
立体画像を構成する右画像または左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、
前記右画像および前記左画像と、前記擬似視差マップとに基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部と
を備える画像処理装置の画像処理方法であって、
前記奥行き情報推定部が前記奥行き情報マップを生成し、
前記奥行き視差変換部が前記擬似視差マップを生成し、
前記視差マップ生成部が前記視差マップを生成する
ステップを含む画像処理方法。
【請求項１２】
立体画像を構成する右画像または左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成し、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換し、
前記右画像および前記左画像と、前記擬似視差マップとに基づいて、前記立体画像の各画素の視差を示す視差マップを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部と、
前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップを生成する信頼度算出部と、
前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、
前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとを合成して補正視差マップを生成する視差合成部と
を備える画像処理装置。
【請求項２】
前記視差合成部は、前記信頼度マップにより定まる重みを用いて、前記視差マップと前記擬似視差マップとを重み付き加算することにより、前記補正視差マップを生成する
請求項１に記載の画像処理装置。
【請求項３】
前記視差合成部は、
前記擬似視差マップの高域成分と、前記視差マップの低域成分とを合成して合成マップを生成する成分合成部と、
前記信頼度マップに基づいて、前記視差マップと前記合成マップとを合成して前記補正視差マップを生成する加算部と
を備える請求項１に記載の画像処理装置。
【請求項４】
前記視差合成部は、
前記擬似視差マップの低域成分と、前記視差マップの高域成分とを合成して合成マップを生成する成分合成部と、
前記信頼度マップに基づいて、前記視差マップと前記合成マップとを合成して前記補正視差マップを生成する加算部と
を備える請求項１に記載の画像処理装置。
【請求項５】
前記右画像または前記左画像のうちの一方の画像の所定の画素近傍の領域と、他方の画像上の前記所定の画素に対応する対応画素近傍の領域との残差を示す残差マップを生成する残差マップ生成部をさらに備え、
前記信頼度算出部は、前記残差マップに基づいて前記信頼度マップを生成する
請求項４に記載の画像処理装置。
【請求項６】
前記視差マップ生成部は、前記右画像または前記左画像のうちの一方の画像の所定の画素近傍の領域と、他方の画像上の画素近傍の領域との残差が最小となる前記他方の画像の画素を、前記所定の画素に対応する画素として検出することで前記視差マップを生成し、
前記他方の画像上の所定方向に並ぶ画素の前記残差のピークの先鋭度を示し、前記信頼度マップの生成に用いられるピーク先鋭度マップを生成するピーク先鋭度マップ生成部をさらに備える
請求項４に記載の画像処理装置。
【請求項７】
前記右画像または前記左画像のうちの一方の画像の所定の画素に対応する他方の画像の第１の対応画素の検出結果と、前記他方の画像の前記第１の対応画素に対応する前記一方の画像の第２の対応画素の検出結果とに基づいて、前記所定の画素と前記第１の対応画素との一致度を示す一致度マップを生成する一致度算出部をさらに備え、
前記信頼度算出部は、前記一致度マップに基づいて前記信頼度マップを生成する
請求項４に記載の画像処理装置。
【請求項８】
立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部と、
前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップを生成する信頼度算出部と、
前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、
前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとを合成して補正視差マップを生成する視差合成部と
を備える画像処理装置の画像処理方法であって、
前記視差マップ生成部が前記視差マップを生成し、
前記信頼度算出部が前記信頼度マップを生成し、
前記奥行き情報推定部が前記奥行き情報マップを生成し、
前記奥行き視差変換部が前記擬似視差マップを生成し、
前記視差合成部が前記補正視差マップを生成する
ステップを含む画像処理方法。
【請求項９】
立体画像を構成する右画像および左画像に基づいて、前記立体画像の各画素の視差を示す視差マップを生成し、
前記右画像および前記左画像に基づいて、前記視差マップの信頼度を示す信頼度マップを生成し、
前記右画像または前記左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成し、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換し、
前記信頼度マップに基づいて、前記視差マップと前記擬似視差マップとを合成して補正視差マップを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１０】
立体画像を構成する右画像または左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、
前記右画像および前記左画像と、前記擬似視差マップとに基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部と
を備える画像処理装置。
【請求項１１】
立体画像を構成する右画像または左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成する奥行き情報推定部と、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換する奥行き視差変換部と、
前記右画像および前記左画像と、前記擬似視差マップとに基づいて、前記立体画像の各画素の視差を示す視差マップを生成する視差マップ生成部と
を備える画像処理装置の画像処理方法であって、
前記奥行き情報推定部が前記奥行き情報マップを生成し、
前記奥行き視差変換部が前記擬似視差マップを生成し、
前記視差マップ生成部が前記視差マップを生成する
ステップを含む画像処理方法。
【請求項１２】
立体画像を構成する右画像または左画像のうちの何れかに基づいて、前記立体画像上の被写体の奥行きを示す奥行き情報マップを生成し、
前記奥行き情報マップを、前記奥行きに対応する視差を示す擬似視差マップに変換し、
前記右画像および前記左画像と、前記擬似視差マップとに基づいて、前記立体画像の各画素の視差を示す視差マップを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−２５３６６６（Ｐ２０１２−２５３６６６Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２６４０３（Ｐ２０１１−１２６４０３）
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]