画像処理装置および方法、並びにプログラム
【課題】ディスパリティ画像を生成するためのステレオ画像を撮像するカメラの光軸のずれを補正する。
【解決手段】カメラ２１−１，２１−２は、異なる視点から、同一の被写体を撮像する。画像ずれ補正部２２は、撮像された複数の画像を、ずれ調整部２４の調整パラメータ保存部８２に保存されている調整パラメータに基づいて変形し、それぞれ補正画像を生成する。マッチング部２３は、ステレオマッチング処理によりディスパリティ画像を生成すると共に、複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値をマッチング評価値として算出する。ずれ調整部２４は、調整パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、マッチング評価値が最小となるように調整パラメータを更新して、調整パラメータ保存部８２に保存する。本発明は、ディスパリティ画像生成装置に適用することができる。
【解決手段】カメラ２１−１，２１−２は、異なる視点から、同一の被写体を撮像する。画像ずれ補正部２２は、撮像された複数の画像を、ずれ調整部２４の調整パラメータ保存部８２に保存されている調整パラメータに基づいて変形し、それぞれ補正画像を生成する。マッチング部２３は、ステレオマッチング処理によりディスパリティ画像を生成すると共に、複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値をマッチング評価値として算出する。ずれ調整部２４は、調整パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、マッチング評価値が最小となるように調整パラメータを更新して、調整パラメータ保存部８２に保存する。本発明は、ディスパリティ画像生成装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、ディスパリティ画像（奥行画像）の生成に際し、カメラの撮像方向のずれによるエラーを容易にキャリブレーションできるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
同一の被写体を複数のカメラにより異なる角度から撮像し、それぞれの画像の視差方向の対応点探索によりディスパリティ画像（奥行画像）を生成する技術が一般に普及しつつある。
【０００３】
ディスパリティ画像を生成するに当たり、複数のカメラの撮像方向のずれが生じるとエラーが発生し、正確なディスパリティ画像が求められないことが知られている。このため、ディスパリティ画像を生成するに当たっては、カメラの撮像方向のずれにより生じるエラーを最小にするためのキャリブレーションが必要とされている。
【０００４】
キャリブレーションにあたっては、例えば、位置関係が既知である複数の特徴点を有する平面チャートからなるキャリブレーションパタンと呼ばれる画像を撮像し、キャリブレーションパタンの撮像結果に基づいて、キャリブレーションする技術が提案されている（非特許文献１参照）。
【０００５】
また、ディスパリティ画像を求めるために用いられる画像より特徴点を検出し、カメラのキャリブレーションをするための、撮像方向を指定するキャリブレーションパラメータを求め、求められたキャリブレーションパラメータによりキャリブレーションする技術が提案されている（非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】A Flexible New Technicque for Camera Calibration，Microsoft Research,http://research.microsoft.com/~zhang
【非特許文献２】ステレオカメラのセルフキャリブレーション，富田文明ほか，情報処理，May 1990
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１の技術においては、ユーザ環境において、手間のかかるキャリブレーションパタンを撮像する必要があり、必要とされる作業内容を鑑みても現実的ではない。また、仮に、製造時にこの処理を行うようにする場合、製造コストの増大を招くこととなる。さらに、経年劣化による機械精度の保証も必要となり、機械部分の材料コスト、組み立てコストに関しても増大することとなる。
【０００８】
さらに、非特許文献２の技術においては、画像より取得される特徴点の検出精度に大きく依存するため、キャリブレーションのロバスト性が低い。また、特徴点検出を行うためのハードウェアもしくはソフトウェアの専用処理が別途必要となり、ユーザ環境で行う構成としても、また、製造時に行う構成としても、コストの増大を招く。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、特に、ディスパリティ画像の生成に際して、複数のカメラの撮像方向のずれを調整するパラメータを変化させながら、エラー量が最小となるようにすることで容易にキャリブレーションできるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の画像処理装置は、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段とを含む。
【００１１】
前記更新手段には、前記パラメータのうち、前記画像の全範囲において、２次元方向に荒い画素間隔でシフト量を変化させ、前記評価値が最小となるシフト量に更新させ、さらに、前記荒い画素間隔でシフト量を変化させることにより探索されたシフト量近傍の範囲において、２次元方向に詳細な画素間隔でシフト量を変化させて評価値が最小となるシフト量に更新させるようにすることができる。
【００１２】
前記更新手段には、前記パラメータのうち、前記複数の画像間の対応付けの方向である、視差の探索方向に対し直交する傾き成分を変化させて評価値が最小となる傾き成分に更新させるようにすることができる。
【００１３】
前記更新手段には、前記パラメータのうち、前記複数の画像間の対応付けの方向である、視差の探索方向に対し直交する方向に、前記傾き成分を分割し、それぞれ個別に変化させて評価値が最小となる傾き成分に更新させるようにすることができる。
【００１４】
前記評価値算出手段には、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記画像の周辺部の寄与が小さくなるように評価値として算出させるようにすることができる。
【００１５】
前記評価値算出手段には、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、ブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果を評価値とするようにさせることができる。
【００１６】
前記評価値算出手段には、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、動的計画法を用いて算出し、算出結果を評価値とするようにさせることができる。
【００１７】
前記評価値算出手段には、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記複数の補正画像間のずれ量毎にブロックマッチングの差分絶対値和の全画面総和として算出させ、算出結果のうち、ずれ量が０に最も近い極小値を評価値とするようにさせることができる。
【００１８】
前記評価値算出手段には、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記複数の補正画像間のずれ量の粗い間隔毎にブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果から、ずれ量が０に最も近い範囲で、かつ、極小値を含む範囲を探索した後、探索された範囲で詳細に求められる前記全画像総和の極小値を評価値とするようにさせることができる。
【００１９】
前記評価値算出手段には、前記画像ずれ補正手段により生成された複数の補正画像のうち、基準画像と、それ以外の参照画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値の総和を評価値として算出させるようにすることができる。
【００２０】
異なる視点から、同一の被写体を撮像する撮像手段をさらに含み、
前記画像取得手段は、前記撮像手段により異なる視点から、同一の被写体を撮像する複数の画像を取得し、
前記画像ずれ補正手段は、前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて、前記撮像手段における撮像方向となる光軸を動作させるようにすることで、変形し、それぞれ補正画像を生成する。
【００２１】
本発明の一側面の画像処理方法は、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段とを含む画像処理装置の画像処理方法であって、前記画像取得手段における、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得ステップと、前記画像ずれ補正手段における、前記画像取得ステップの処理により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正ステップと、前記評価値算出手段における、前記画像ずれ補正ステップの処理により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出ステップと、前記更新手段における、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新ステップとを含む。
【００２２】
本発明の一側面のプログラムは、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段とを含む画像処理装置を制御するコンピュータに、前記画像取得手段における、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得ステップと、前記画像ずれ補正手段における、前記画像取得ステップの処理により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正ステップと、前記評価値算出手段における、前記画像ずれ補正ステップの処理により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出ステップと、前記更新手段における、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新ステップとを含む処理を実行させる。
【００２３】
本発明の一側面においては、異なる視点から、同一の被写体を撮像する複数の画像が取得され、取得された複数の画像が、画像ずれを補正するためのパラメータに基づいて変形され、それぞれ補正画像が生成され、生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値が評価値として算出され、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータが変化されて、前記評価値が最小となるようにパラメータが更新される。
【００２４】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００２５】
本発明の一側面によれば、ディスパリティ画像（奥行画像）の生成に際し、カメラの撮像方向のずれによるエラーを容易にキャリブレーションすることが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明を適用した画像処理装置の第１の実施の形態の構成例を示すブロック図である。
【図２】入力画像および奥行画像を説明する図である。
【図３】カメラの構成を説明する図である。
【図４】入力画像と補正画像との座標の関係を説明する図である。
【図５】入力画像を補正する際のパラメータを説明する図である。
【図６】図１の画像処理装置によるキャリブレーション処理を説明するフローチャートである。
【図７】図１の画像処理装置による簡易位置調整処理を説明するフローチャートである。
【図８】図１の画像処理装置によるスレテオマッチング処理を説明するフローチャートである。
【図９】簡易位置調整処理を説明する図である。
【図１０】図１の画像処理装置による詳細位置調整処理を説明するフローチャートである。
【図１１】詳細位置調整処理を説明する図である。
【図１２】図１の画像処理装置による傾き調整処理を説明するフローチャートである。
【図１３】傾き調整処理を説明する図である。
【図１４】本発明を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。
【図１５】光軸調整量を説明する図である。
【図１６】図１４の画像処理装置による簡易位置調整処理を説明するフローチャートである。
【図１７】本発明を適用した画像処理装置の第３の実施の形態の構成例を示すブロック図である。
【図１８】図１７の画像処理装置によるステレオマッチング処理を説明する図である。
【図１９】図１７の画像処理装置によるステレオマッチング処理を説明する図である。
【図２０】図１７の画像処理装置によるステレオマッチング処理を説明する図である。
【図２１】図１７の画像処理装置によるステレオマッチング処理を説明するフローチャートである。
【図２２】図１７の画像処理装置によるステレオマッチング処理を説明する図である。
【図２３】図１７の画像処理装置によるステレオマッチング処理を説明する図である。
【図２４】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００２７】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 第１の実施の形態（ソフトウェアプログラムでキャリブレーションする場合の一例）
２． 第２の実施の形態（ハードウェアを動作させてキャリブレーションする場合の一例）
３． 第３の実施の形態（その他のステレオマッチング処理を実施する一例）
【００２８】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置のハードウェアの一実施の形態の構成例を示している。図１の画像処理装置１１は、カメラ２１−１，２１−２のそれぞれにより撮像された画像より、各画素の画素値を撮像位置から被写体までの距離に反比例した値としたディスパリティ画像（奥行画像）を生成する。すなわち、カメラ２１−１，２１−２により撮像された画像が図２の上部で示されるような画像Ｐ１である場合、画像処理装置１１は、図２の下部で示されるようなディスパリティ画像Ｐ２を生成する。図２の画像Ｐ１においては、画像内に人物、雲、および太陽が含まれている。これに対して、ディスパリティ画像Ｐ２は、画像Ｐ１における被写体となる人物について、身体本体より前面で、撮像位置に近い左右の手の先が明るく表示されており、手先より撮像位置より遠い身体本体はやや暗い色とされている。そして、被写体となる人物の身体より遠い雲や太陽については、十分に撮像位置から遠いため、暗い色にされている。また、画像処理装置１１は、ディスパリティ画像を生成するにあたり、カメラ２１−１，２１−２の撮像方向のずれにより生じるディスパリティ画像のエラーを最小にするようにキャリブレーションを掛ける。
【００２９】
より具体的には、画像処理装置１１は、カメラ２１−１，２１−２、画像ずれ補正部２２、マッチング部２３、およびずれ調整部２４を備えている。カメラ２１−１，２１−２は、例えば、図３で示されるように、それぞれ同一の被写体を左右の異なる視点から撮像するように設定されており、それぞれ撮像した画像を画像ずれ補正部２２に供給する。尚、カメラ２１−１，２１−２については、異なる視点から撮像できる構成であればよいので、図３で示されるように左右の異なる視点からではなく、例えば、上下に異なる視点からであってもよい。また、複数の異なる視点から撮像できる構成であればよいので、２個のカメラにより２点の異なる視点からの画像でなくてもよく、それ以上の複数の視点から撮像される複数の画像を用いるようにしてもよい。ただし、以降においては、説明の便宜上、左右の異なる視点から撮像される２個のカメラ２１−１，２１−２であるものとして説明を進めるものとする。
【００３０】
画像ずれ補正部２２は、カメラ２１−１，２１−２より供給されてくる画像を、ずれ調整部２４により調整されたパラメータに基づいて、画像を補正し、補正画像をそれぞれマッチング部２３に供給する。より詳細には、画像ずれ補正部２２は、射影変換部４１−１，４１−２、および射影変換パラメータ算出部４２を備えている。射影変換パラメータ算出部４２は、ずれ調整部２４の調整パラメータ保存部８２に保存されている調整パラメータに基づいて、射影変換パラメータを算出し、射影変換部４１−１，４１−２に供給する。射影変換部４１−１，４１−２は、射影変換パラメータに基づいて、それぞれカメラ２１−１，２１−２より供給されてくる画像の各画素の画素位置を変換した補正画像を生成して、マッチング部２３に供給する。
【００３１】
射影変換部４１−１，４１−２は、具体的には、例えば、図４の画像ＰＬ１，ＰＲ１を、射影変換パラメータにより、図４の画像ＰＬ２，ＰＲ２のように変換する。図４の画像ＰＬ１は、カメラ２１−１により撮像された画像であり、画像ＰＬ２は、射影変換部４１−１により射影変換され、補正された補正画像を示している。また、同様に、図４の画像ＰＲ２は、カメラ２１−２により撮像された画像であり、画像ＰＲ２は、射影変換部４１−２により射影変換され、補正された補正画像を示している。すなわち、射影変換元の４頂点の各座標(x_left[n],y_left[n])に対応する、射影変換先の座標は(Ｘ_left[n],Y_left[n])と表されるものとする。なお、ｎは頂点４点を識別する識別子とされており0≦n＜3である。
【００３２】
射影変換先の長方形は、カメラ画像の水平ピクセルサイズをW、垂直ピクセルサイズをHとし、以下の式（１）乃至（４）のように表され、例えば、W＝320，H＝240である。
【００３３】
【数１】
【数２】
【数３】
【数４】
【００３４】
ここで、BW,BHは、水平・垂直の画面端から、長方形までのピクセル数を表し、例えば、BW＝64,BH＝64である。尚、式（１）乃至式（４）においては、画像ＰＬ１を画像ＰＬ２に変換する場合の例についての変換式であるが、基本的に、画像ＰＲ１を画像ＰＲ２に変換する変換式についても同様であるので、その説明は省略する。
【００３５】
また、調整パラメータは、(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)で表され、上記の長方形状の画像における各頂点を射影変換するためのパラメータである。
【００３６】
調整パラメータのうち、ΔＸ,ΔYは、それぞれ、水平方向、および垂直方向の全画面でのカメラ画像のずれを補正するパラメータである。例えば、ΔYは、正の方向に大きいとき、図５の画像ＰＬ１１で示されるように、射影変換元の基準長方形をΔＹだけ下側へ移動させたり、または、図５の画像ＰＲ１１で示されるように、ΔＹだけ上部へ移動することに対応する。このパラメータは、例えば、入力された左右カメラ画像の左側が右側に対し理想的な状態から画像全体でｎピクセル下へずれている場合は、ΔY＝ｎとすることで、左右画像間の上下ずれを補正することができる。同様に、ΔＸに関しては、図５の画像ＰＬ１２，ＰＲ１２で示されるように、左右のずれを補正するパラメタとなる。
【００３７】
調整パラメータΔS0、ΔY0、ΔS1、ΔY1は、上部の傾きおよび上部の垂直方向のオフセット、並びに、下部の傾きおよび下部の垂直方向のオフセットを合わせるパラメタである。後述する、２枚の補正画像のステレオマッチングにおいては、垂直方向のわずか（サブピクセル精度）でもズレがあると、マッチングがうまくいかずエラーとして現れることが知られている。そこで、画像中の上部と下部について別々に調整する。すなわち、調整パラメータΔS0により、図５の画像ＰＬ１３，ＰＲ１３で示されるように、上部の傾きを調整し、調整パラメータΔS1により、図５の画像ＰＬ１４，ＰＲ１４で示されるように、下部の傾きを調整する。また、画像中の上部と下部について別々に、調整パラメータΔY0により、図５の画像ＰＬ１５，ＰＲ１５で示されるように、上部のオフセットを調整し、調整パラメータΔY1により、図５の画像ＰＬ１６，ＰＲ１６で示されるように、下部のオフセットを調整する。
【００３８】
そして、調整パラメータ(ΔＸ,ΔY,ΔS0,ΔS1,ΔY0,ΔY1)は、ずれ調整部２４において、マッチング部２３におけるディスパリティ画像におけるエラーが最小となるように調整されている。射影変換元の４頂点の各座標(x_left[n],y_left[n])は、これらの調整パラメータ(ΔＸ,ΔY,ΔS0,ΔS1,ΔY0,ΔY1)と、射影変換先の座標(Ｘ_left[n],Y_left[n])とにより以下の式（５）乃至式（１２）のように表されることになる。
【００３９】
【数５】
【数６】
【数７】
【数８】
【数９】
【数１０】
【数１１】
【数１２】
【００４０】
上のようにして求めた、左右の射影変換元と射影先の座標をそれぞれ(x,y)、(Ｘ,Y)に置き換えると、次のように、射影変換パラメタa,b,c,d,e,f,g,hを用いて、以下の式（１３），式（１４）で表すことができる。
【００４１】
【数１３】
【数１４】
【００４２】
上記の式は、射影変換前の座標(x,y)と射影変換後の座標 (Ｘ,Y)をそれぞれ（xn,yn）,（Ｘn,Yn）（nは0,1,2,3）とし、射影変換パラメータをP＝（a,b,c,d,e,f,g,h）とおくと、以下の式（１５）のように変形することができる。
【００４３】
【数１５】
【００４４】
上述した式（１５）の（xn,yn）へ、x_left[n],y_left[n]の座標を代入し、（Ｘn,Yn）へＸ_left[n],Y_left[n]を代入することによって、射影変換パラメータPを、それぞれ連立方程式の解として求めることができる。
【００４５】
以下、上記で求めた左画像用、右画像用の射影変換パラメータPは、それぞれ、Pleft,Prightとする。
【００４６】
すなわち、射影変換部４１−１，４１−２は、上述したように求めた、射影変換パラメータPleft,Prightに基づいて、カメラ２１−１，２１−２のそれぞれで撮像された画像に対して、式（１３），式（１４）による射影変換処理を行い、補正画像を生成する。尚、射影変換での画素値の対応付けについては、エイリアシングの発生を抑えるため、バイリニア法、バイキュービック法等による、周辺画素を用いた画素補間を行うことが望ましい。
【００４７】
マッチング部２３は、画像ずれ補正部２２より供給されてくる視点の異なるカメラ２１−１，２１−２により撮像された画像が調整パラメータに基づいて補正された画像を用いて、ディスパリティ画像を生成する。また、マッチング部２３は、ディスパリティ画像のエラーを評価するマッチング評価値を計算して、ずれ調整部２４に供給する。
【００４８】
より詳細には、マッチング部２３は、垂直エッジ検出部６１−１，６１−２、およびステレオマッチング部６２を備えている。垂直エッジ検出部６１−１，６１−２は、それぞれカメラ２１−１，２１−２により撮像された画像に対応する補正画像に対して、エッジ検出フィルタ処理をすることによりエッジ検出画像を生成してステレオマッチング部６２に供給する。ステレオマッチング部６２は、カメラ２１−１，２１−２により撮像された画像に対応するエッジ検出画像を用いてステレオマッチング処理を実行し、ディスパリティ画像を生成すると共に、ディスパリティ画像のエラーを評価するマッチング評価値を算出する。
【００４９】
より詳細には、ステレオマッチング部６２は、類似度計算部１０１、ペナルティ計算部１０２、コスト計算部１０３、マッチング評価値計算部１０４、およびディスパリティ計算部１０５を備えている。類似度計算部１０１は、２枚のエッジ検出画像の類似度similarityを計算する。ペナルティ計算部１０２は、隣接する画素間のディスパリティの変化に対するペナルティpenaltyを計算により求める。コスト計算部１０３は、２枚のエッジ検出画像の水平方向のライン毎の類似度similarityとペナルティpenaltyとを加算することによりコストcostを計算する。マッチング評価値計算部１０４は、全てのライン毎のコストcostの総和をマッチング評価値errorとして計算する。ディスパリティ計算部１０５は、コストcostを最小にするときの各画素のディスパリティdispalityを求め、ディスパリティ画像として出力する。
【００５０】
ずれ調整部２４は、マッチング評価値errorが最小となるように、調整パラメータ(ΔＸ,ΔY,ΔS0,ΔS1,ΔY0,ΔY1)を更新する。より詳細には、ずれ調整部２４は、調整パラメータ更新部８１、および調整パラメータ保存部８２を備えている。調整パラメータ更新部８１は、調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)を変化させながら、マッチング評価値errorを求め、マッチング評価値errorが最小となるように更新して、調整パラメータ保存部８２に保存させる。
【００５１】
より詳細には、調整パラメータ更新部８１は、簡易位置調整部１２１、詳細位置調整部１２２、および傾き調整部１２３を備えている。簡易位置調整部１２１は、調整パラメータのうち、視差の探索方向のパラメータである調整パラメータ(ΔＸ,ΔY)を画像の全範囲について、比較的荒い画素の間隔で、変化させて、最もマッチング評価値errorが小さくなるように、調整パラメータ(ΔＸ,ΔY)を調整する。詳細位置調整部１２２は、簡易位置調整部１２１により求められた調整パラメータ(ΔＸ,ΔY)の近傍において、画素間の間隔を徐々に小さくしながら変化させて、マッチング評価値errorが最小となるように、調整パラメータ(ΔＸ,ΔY)を詳細に調整する。傾き調整部１２３は、調整パラメータのうち、視差の探索方向に対して直交する方向のパラメータである調整パラメータ(ΔS0,ΔY0,ΔS1,ΔY1)を、調整パラメータΔS0→ΔY0→ΔS1→ΔY1→・・の順序で徐々に変化の間隔を小さくしながら繰り返して、マッチング評価値errorが最小となるように、調整パラメータ(ΔS0,ΔY0,Δ
S1,ΔY1)を調整する。
【００５２】
すなわち、画像処理装置１１においては、ずれ調整部２４により調整された調整パラメータにより、画像ずれ補正部２２が、カメラ２１−１，２１−２により撮像される画像を補正して、補正画像としてマッチング部２３に供給する。そして、マッチング部２３が、２枚の補正画像に基づいてステレオマッチング処理によりディスパリティ画像を生成すると共に、マッチング評価値errorを算出する。ずれ調整部２４が、このマッチング評価値errorを最小にするように、調整パラメータを更新する。この一連の処理が繰り返されることにより、マッチング評価値errorが最小となるところで、調整パラメータが収束し、キャリブレーションが完了し、以降においては、高い精度でディスパリティ画像を生成することが可能となる。
【００５３】
［キャリブレーション処理］
次に、図６のフローチャートを参照して、キャリブレーション処理について説明する。
【００５４】
ステップＳ１において、ずれ調整部２４の調整パラメータ更新部８１は、調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)の基準となるベース調整量(ΔＸbase,ΔYbase,ΔS0base,ΔY0base,ΔS1base,ΔY1base)を、調整パラメータとして取り得る値のいずれかに初期化する。初期化する値としては、例えば、調整パラメータとして取り得る値の範囲の最小値、または最大値などである。
【００５５】
ステップＳ２において、調整パラメータ更新部８１は、簡易位置調整部１２１を制御して、簡易位置調整処理を実行させて、簡易的にマッチング評価値errorが小さくなる概略の調整パラメータ(ΔＸ,ΔY)を求める。
【００５６】
［簡易位置調整処理］
ここで、図７のフローチャートを参照して、簡易位置調整処理について説明する。
【００５７】
ステップＳ２１において、簡易位置調整部１２１は、エラー最小値error_minを定義して、初期化すると共に、調整パラメータであるΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1の調整変数ΔＸ’,ΔY’,ΔS0’,ΔY0’,ΔS1’,ΔY1’を初期化する。より具体的には、簡易位置調整部１２１は、エラー最小値error_minとして考えられる最大値を代入すればよく、例えば、エラー最小値error_min＝0xffffffffとするようにしてもよい。尚、簡易位置調整処理においては、調整パラメータのうちΔＸ,ΔYのみしか扱わないため、この調整パラメータのみが初期化されれば、その他の値は、所定の値に設定されているのみでもよい。
【００５８】
ステップＳ２２において、簡易位置調整部１２１は、調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)を、調整変数（ΔＸ’,ΔY’,ΔS0’,ΔY0’,ΔS1’,ΔY1’）を用いて計算し更新し、調整パラメータ保存部８２に保存する。すなわち、簡易位置調整部１２１は、調整パラメータのそれぞれについて、ベース調整量に調整変数の値を加算することにより（ΔＸ＝ΔＸbase+ΔＸ’，ΔY＝ΔYbase+ΔY’，ΔS0＝ΔS0base+ΔS0’，ΔY0＝ΔY0base+ΔY0’，ΔS1＝ΔS1base+ΔS1’，ΔY1＝ΔY1base+ΔY1’）計算し、更新する。ここで、（ΔＸbase，ΔYbase，ΔS0base，ΔY0base，ΔS1base，ΔY1base）は、それぞれ調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)のベース調整量である。
【００５９】
ステップＳ２３において、画像ずれ補正部２２の射影変換パラメータ算出部４２は、調整パラメータ保存部８２に保存されている調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)を読み出して、上述した式（１３），式（１４）により射影変換パラメータPを算出し、射影変換部４１−１，４１−２に供給する。
【００６０】
ステップＳ２４において、射影変換部４１−１，４１−２は、射影変換パラメータPに基づいて、カメラ２１−１，２１−２より供給されてくる画像を射影変換することで、補正画像を生成し、マッチング部２３に供給する。
【００６１】
ステップＳ２５において、マッチング部２３の垂直エッジ検出部６１−１，６１−２は、画像ずれ補正部２２の射影変換部４１−１，４１−２のそれぞれから供給されてくる補正画像に垂直エッジ検出フィルタにより処理を施して、垂直エッジを検出する。そして、垂直エッジ検出部６１−１，６１−２は、それぞれ検出した垂直エッジからなるエッジ検出画像をステレオマッチング部６２に供給する。
【００６２】
より詳細には、垂直エッジ検出部６１−１，６１−２は、入力されたカメラ２１−１，２１−２により撮像された画像が画像ずれ補正部２２により補正された補正画像のＤＣ（Direct Current）のオフセット成分による左右間の差異の影響をなくすために、ステレオマッチングにおいて必要な水平方向のエッジ情報の抽出をおこなった、エッジ画像を生成する。垂直エッジ検出部６１−１，６１−２は、入力された補正画像の各画素を注目画素とするとき、例えば、その注目画素を中心として、3画素×3画素の方形のSobelフィルタによる処理を施す。より具体的には、垂直エッジ検出部６１−１，６１−２は、以下の式（１６）で示される演算により、入力画像の注目画素の輝度値をg(x,y)、出力画像の輝度値をf(x,y)として演算する。
【００６３】
【数１６】
【００６４】
ここで、hは、例えば、以下の式（１７）で示されるSobelフィルタを示す行列式である。
【００６５】
【数１７】
【００６６】
ステップＳ２６において、ステレオマッチング部６２は、供給されてきたカメラ２１−１，２１−２によりそれぞれ撮像された画像に対応するエッジ検出画像を用いてステレオマッチング処理を実行することにより、マッチング評価値errorを算出すると共に、ディスパリティ画像を生成する。
【００６７】
［ステレオマッチング処理］
ここで、図８のフローチャートを参照して、ステレオマッチング処理について説明する。
【００６８】
尚、ここでは、カメラ２１−１，２１−２により撮像された画像のうち、左画像を基準としたときの、右画像の対応点までのディスパリティを求める例を示すものとする。また、左画像をp(x,y),右画像をq(x,y)とし、求めるディスパリティは、disparity(x,y)（0≦disparity(x,y)≦d_max）とする。d_maxは、求めるディスパリティの最大値であり、例えば、d_max＝63である。
【００６９】
ステップＳ５１において、類似度計算部１０１は、左右画像間の類似度を表すsimilarity(x,y,d)を以下の式（１８）を計算する。
【００７０】
【数１８】
【００７１】
尚、類似度similarity(x,y,d)を求める式（１８）においては、3画素×3画素のブロック領域の輝度差の差分絶対値和(SAD)を用いる例が示されているが、このブロックサイズには限定されるものではない。また、類似度similarity(x,y,d)を求めるにあたっては、差分絶対値和（SAD）ではなく、差分二乗和（SSD）等が用いられる計算であってもよい。また、ここで、dは、水平方向のずれ量である。
【００７２】
ステップＳ５２において、ペナルティ計算部１０２は、ディスパリティdisparity(x,y)は滑らかに変化するという制約を加えるペナルティを計算する。より詳細には、ペナルティ計算部１０２は、水平方向に隣合う画素のディスパリティ値をd0,d1とするとき、以下の式（１９）のように定義する。
【００７３】
【数１９】
【００７４】
ここで、λは、ディスパリティの変化量の絶対値に比例してペナルティを変化させる重みであり、例えば、λ＝５などである。尚、式（１９）は、必ずしも比例式でなくてもよく、ディスパリティdisparity(x,y)の変化量に応じて増加する関数であればよい。
【００７５】
ステップＳ５３において、コスト計算部１０３は、各ライン(y＝0)毎に、x＝0からx＝W−1の間において、左右画像間の類似度similarity(x,y,d)とディスパリティ値の連続性に関するペナルティpenalty(d0,d1)を加算していったときのコスト関数を以下の式（２０）のように計算する。
【００７６】
【数２０】
【００７７】
ステップＳ５４において、ディスパリティ計算部１０５は、式（２０）を計算することにより、ディスパリティを計算する。より詳細には、ディスパリティ計算部１０５は、例えば、x＝0から、x＝W-1までのディスパリティを求める場合、cost_min（W−1,y）を最小化することによって、各ピクセルのディスパリティdisparity(x,y)を求める。この最小化計算に関しては、動的計画法（Dynamic Programming）を用いることによって比較的少ない演算量で実現することが可能である。このような、ステレオマッチングのディスパリティ算出のために、上記と同様に動的計画法を使用する例は、現在は、広く知られている。動的計画法を用いたステレオマッチングについては、例えば、Yuichi Ohta, Takeo Kanade Stereo by Intra- and Inter-Scanline Search Using Dynamic Programming IEEE Transactions on Pattern Analysis and Machine Intelligence,1985を参照されたい。
【００７８】
尚、コスト関数の定義も様々な手法があるが、上記に限定されず、ステレオマッチング処理によるエラー量に対応してコストが増加するような関数であれば、他の手法を用いてもよい。
【００７９】
ステップＳ５５において、マッチング評価値計算部１０４は、以下の式（２１）で示されるように、上記の式（２０）で示されるcost_min(x,y)の全ラインでの総和をマッチング処理における評価値errorとして計算し、ずれ調整部２４に供給する。
【００８０】
【数２１】
【００８１】
ただし、画像端部分は、対応点の欠落等で統計的に正しい情報が少ないので、ピクセル単位での類似度とペナルティ量の和を求め、全画面で重み付けを行いながらその総和を求めて、これを評価値としてもよい。
【００８２】
すなわち、画素単位でのコストcost(x,y)は、以下の式（２２）のように表される。
【００８３】
【数２２】
【００８４】
そこで、マッチング評価値計算部１０４は、式（２２）で表されるコストcost(x,y)に対して、画面端部の寄与が下がるように重み付けし、さらに、積分することにより、以下の式（２３）で示されるように計算するようにしてもよい。このようにすることで、マッチング評価値計算部１０４は、重み付けにより画像端部分の寄与を小さくしたマッチング評価値を計算することが可能となる。
【００８５】
【数２３】
【００８６】
ここで、weight(a)は、重み付け関数であり、例えば、以下の式（２４）で示すような関数としてもよい。
【００８７】
【数２４】
【００８８】
ここで、引数のaは、有効画素の位置(x,y)を、水平もしくは垂直軸上で0から1.0で表している。なお、重み付けの方法としては、端部の寄与が下がるようなものであれば、その他の関数であってもよいものである。
【００８９】
なお、上記においては、左画像を基準として右画像の対応を求めるステレオマッチングの結果を求める例について説明してきたが、同様に右画像を基準として左画像の対応を求めることができる。そこで、マッチング評価値計算部１０４は、これらを用いて、左右それぞれを基準としたマッチング評価値を、error_left_base,error_right_baseとし、それらの和を以下の式（２５）で示すように定義して求め、これをマッチング評価値してもよい。このように左右それぞれを基準としたステレオマッチングを行うことにより、互いに死角となり参照できない領域（オクリュージョン）部分の評価値を上乗せできるため、評価値としての特性をより向上させることが可能となる。
【００９０】
【数２５】
【００９１】
ここで、図７のフローチャートの説明に戻る。
【００９２】
ステップＳ２７において、ずれ調整部２４における調整パラメータ更新部８１の簡易位置調整部１２１は、求められたマッチング評価値errorが、今現在のエラー最小値error_minよりも小さいか否かを判定する。ステップＳ２７において、マッチング評価値errorが、エラー最小値error_minよりも小さい場合、最小値が更新されたものとみなし、処理は、ステップＳ２８に進む。
【００９３】
ステップＳ２８において、簡易位置調整部１２１は、このときの調整パラメータ（ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1）を調整パラメータの最小値（ΔＸmin,ΔYmin,ΔS0min,ΔY0min,ΔS1min,ΔY1min）として記憶する。このとき、簡易位置調整部１２１は、エラー最小値error_minを、今現在のマッチング評価値errorに更新する。
【００９４】
一方、ステップＳ２７において、マッチング評価値errorがエラー最小値error_minよりも小さくない場合、ステップＳ２８の処理はスキップされる。
【００９５】
ステップＳ２９において、簡易位置調整部１２１は、調整変数のうち、ΔＸ’，ΔY’で定義される、マッチング評価値errorの最小値の探索範囲のうち、未処理の探索範囲が残っているか否かを判定する。調整変数ΔＸ’,ΔY’,ΔS0’,ΔY0’,ΔS1’,ΔY1’の探索範囲は、それぞれ、ΔＸ’min乃至ΔＸ’max,ΔY’min乃至ΔY’max,ΔS0’min乃至ΔS0’max,ΔY0’min乃至ΔY0’max,ΔS1’min乃至ΔS1’max,ΔY1’min乃至ΔY1’maxで表現されることになる。そこで、調整変数ΔＸ’,ΔY’,ΔS0’,ΔY0’,ΔS1’,ΔY1’の探索範囲は、それぞれΔＸ’min≦ΔＸ’≦ΔＸ’max，ΔY’min≦ΔY’≦ΔY’max，ΔS0’min≦ΔS0’≦ΔＸ’max，ΔY0’min≦ΔY0’≦Y0’max，ΔS1’min≦ΔS1’≦ΔＸ’max，ΔY1’min≦ΔY1’≦Y1’maxのように定義される。
【００９６】
ステップＳ２９において、探索範囲が残されていると判定された場合、ステップＳ３０において、簡易位置調整部１２１は、調整変数（ΔＸ’，ΔY’）を未処理の探索範囲のものに更新し、処理は、ステップＳ２２に戻る。
【００９７】
すなわち、例えば、探索範囲における探索対象となる画素が、図９で示されるように定義される場合、図中の左上の丸印で示される画素ＳＬ１から矢印の順序でＳＬｍまで順次設定される。このとき、探索変数ΔＸ’,ΔY’の探索間隔をΔＸ’step,ΔY’stepとすれば、ΔＸ’min乃至ΔＸ’maxにおいては、ΔＸ’＝ΔＸ’+ΔＸ’stepにより順次更新され、Ｘ’maxになると、ΔY’＝ΔY’+ΔY'stepにより更新されて、ΔＸ’＝ΔＸ’minとされ、ΔY’min乃至ΔY’maxの範囲で同様の処理が繰り返されて、Ｘ’＝Ｘ’maxで、かつ、Y’＝Y’maxのとき処理が終了することになる。
【００９８】
そして、ステップＳ２９において、探索範囲が残されていないと判定された場合、処理は、ステップＳ３１に進む。
【００９９】
ステップＳ３１において、簡易位置調整部１２１は、エラー最小値error_minにおける調整パラメータの最小値（ΔＸmin,ΔYmin,ΔS0min,ΔY0min,ΔS1min,ΔY1min）に基づいて、ベース調整量(ΔＸbase,ΔYbase,ΔS0base,ΔY0base,ΔS1base,ΔY1base)を更新する。すなわち、簡易位置調整部１２１は、ベース調整量(ΔＸbase,ΔYbase)を、エラー最小値error_minにおける調整パラメータの最小値（ΔＸmin,ΔYmin）に設定し、処理を終了する。
【０１００】
すなわち、以上の処理により、画像の全範囲において、マッチング評価値errorが最小となる調整パラメータ(ΔＸ，ΔY)となる、概ねの位置をベース調整量(ΔＸbase,ΔYbase)として求めることが可能となる。
【０１０１】
ここで、図６のフローチャートの説明に戻る。
【０１０２】
ステップＳ３において、調整パラメータ更新部８１の詳細位置調整部１２２は、簡易位置調整処理により簡易的に求められた概略の調整パラメータ(ΔＸ,ΔY)に基づいて、詳細位置調整処理を実行し、より詳細にマッチング評価値errorが最小となる概略の調整パラメータ(ΔＸ,ΔY)を求める。
【０１０３】
［詳細位置調整処理］
ここで、図１０のフローチャートを参照して、詳細位置調整処理について説明する。
【０１０４】
ステップＳ８１において、詳細位置調整部１２２は、後述する繰り返し回数をカウントするカウンタｒを初期化する。
【０１０５】
ステップＳ８２において、詳細位置調整部１２２は、直前の処理でエラー最小値error_minとなる調整パラメータ(ΔＸ,ΔY)の近傍に縮小した探索範囲を設定する。
【０１０６】
ステップＳ８３において、詳細位置調整部１２２は、探索変数ΔＸ’,ΔY’の探索間隔を、探索範囲に対応付けて縮小する。
【０１０７】
すなわち、図１１の上段の丸印で示される各画素の探索範囲内において、色付きの丸印で示される画素が、１回目の処理でエラー最小値error_minとなる調整パラメータΔＸまたはΔYを示す場合、詳細位置調整部１２２は、２回目の処理では、図１１の中段の丸印が示されるように、探索画素の間隔（ΔＸ’stepまたはΔY’step）を小さくし、さらに、探索された１回目の処理で求められた画素の近傍の範囲を探索範囲に設定する。同様に、図１１の中段の丸印で示される各画素の探索範囲内において、色付きの丸印の画素が、２回目の処理でエラー最小値error_minとなる調整パラメータΔＸまたはΔYを示す場合、詳細位置調整部１２２は、３回目の処理では、図１１の下段の丸印で示されるように、探索画素の間隔（ΔＸ’stepまたはΔY’step）をさらに小さくし、２回目に探索された画素の近傍の範囲を探索範囲に設定する。
【０１０８】
尚、ステップＳ８４乃至Ｓ９２の処理については、図７のステップＳ２２乃至Ｓ３０の処理と同様であるので、その説明は省略するものとする。
【０１０９】
すなわち、ステップＳ８４乃至Ｓ９２の処理により、探索範囲、および、探索変数の変化が縮小されて、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔＸ,ΔY)が求められると、処理は、ステップＳ９３に進む。
【０１１０】
ステップＳ９３において、詳細位置調整部１２２は、繰り返し回数のカウンタｒが所定回数となり、所定回数だけ探索範囲、および、探索変数の変化を縮小して、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔＸ,ΔY)が求められたか否かを判定する。ステップＳ９３において、例えば、繰り返し回数が所定回数ではないと判定された場合、ステップＳ９４において、詳細位置調整部１２２は、カウンタｒを１インクリメントして、処理は、ステップＳ８２に戻る。すなわち、ステップＳ８２乃至Ｓ９４の処理が、所定回数だけ繰り返される。そして、ステップＳ９３において、所定回数だけ繰り返されたと判定された場合、処理は、ステップＳ９５に進む。
【０１１１】
ステップＳ９５において、詳細位置調整部１２２は、エラー最小値error_minにおける調整パラメータの最小値（ΔＸmin,ΔYmin,ΔS0min,ΔY0min,ΔS1min,ΔY1min）に基づいて、ベース調整量(ΔＸbase,ΔYbase,ΔS0base,ΔY0base,ΔS1base,ΔY1base)を更新する。すなわち、詳細位置調整部１２２は、ベース調整量(ΔＸbase,ΔYbase)を、エラー最小値error_minにおける調整パラメータの最小値（ΔＸmin,ΔYmin）に設定し、処理を終了する。
【０１１２】
すなわち、以上の処理により、概ねの位置として求められたベース調整量(ΔＸbase,ΔYbase)が求められた近傍の範囲において、所定回数だけ探索範囲、および、探索変数の変化を縮小して、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔＸ,ΔY)が求められる処理が繰り返される。結果として、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔＸ,ΔY)が詳細に求められ、ベース調整量(ΔＸbase,ΔYbase)として格納することが可能となる。
【０１１３】
ここで、図６のフローチャートの説明に戻る。
【０１１４】
ステップＳ３の詳細位置調整処理により調整パラメータ(ΔＸ,ΔY)が詳細に求められると、処理は、ステップＳ４に進む。
【０１１５】
ステップＳ４において、傾き調整部１２３は、傾き調整処理を実行することにより、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ（ΔS0,ΔY0,ΔS1,ΔY1）を求める。
【０１１６】
［傾き調整処理］
ここで、図１２のフローチャートを参照して、傾き調整処理について説明する。
【０１１７】
ステップＳ１０１において、傾き調整部１２３は、繰り返し回数をカウントするカウンタｒ、および後述する調整パラメータを識別するカウンタｋを０に初期化する。
【０１１８】
ステップＳ１０２において、傾き調整部１２３は、直前の処理でエラー最小値error_minとなる調整パラメータZ(k)(k＝0乃至3)(＝(ΔS0,ΔY0,ΔS1,ΔY1))の近傍に縮小した探索範囲を設定する。ここでは、調整パラメータ(ΔS0,ΔY0,ΔS1,ΔY1)を、カウンタkにより調整パラメータZ(k)(k＝0乃至3)で表現するものとする。すなわち、調整パラメータZ(0)は、調整パラメータΔS0であり、調整パラメータZ(1)は、調整パラメータΔY0であり、調整パラメータZ(2)は、調整パラメータΔS1であり、調整パラメータZ(3)は、調整パラメータΔY1である。また、調整パラメータのそれぞれについて探索範囲が設定され、最初の処理においては、取り得る値の全範囲であってもよいものである。
【０１１９】
ステップＳ１０３において、傾き調整部１２３は、探索変数ΔS0’,ΔY0’,ΔS1’,ΔY1’の探索間隔を、探索範囲に対応付けて設定する。すなわち、上述した探索範囲ΔＸ’，ΔY’の探索間隔を設定した場合と同様に、探索範囲、および繰り返し回数に対応付けて縮小されて設定される。
【０１２０】
尚、ステップＳ１０４乃至Ｓ１１２の処理については、図７のステップＳ２２乃至Ｓ３０の処理と同様であるので、その説明は省略するものとする。
【０１２１】
すなわち、ステップＳ１０４乃至Ｓ１１２の処理により、探索範囲、および、探索変数の変化が縮小されて、マッチング評価値errorがエラー最小値error_minとなる調整パラメータZ(k)が求められると、処理は、ステップＳ１１３に進む。
【０１２２】
ステップＳ１１３において、傾き調整部１２３は、カウンタkがk＝3であるか否かを判定する。ステップＳ１１３において、カウンタkがk＝3ではない場合、ステップＳ１１４において、カウンタkが１インクリメントされて、処理は、ステップＳ１０４に戻る。
【０１２３】
すなわち、ステップＳ１０４乃至Ｓ１１４の処理が繰り返されることにより、カウンタkが１インクリメントされる度に、マッチング評価値errorがエラー最小値error_minとなる調整パラメータが、ΔS0→ΔY0→ΔS1→ΔY1の順序で切り替えられて求められる。そして、ステップＳ１１３において、カウンタkがk＝3、すなわち、調整パラメータΔS0,ΔY0,ΔS1,ΔY1の4種類が全て求められた場合、処理は、ステップＳ１１５に進む。
【０１２４】
ステップＳ１１５において、傾き調整部１２３は、繰り返し回数のカウンタｒが所定回数となり、所定回数だけ探索範囲、および、探索変数の変化を縮小して、マッチング評価値errorがエラー最小値error_minとなる調整パラメータΔS0,ΔY0,ΔS1,ΔY1の4種類の全てが求められたか否かを判定する。ステップＳ１１５において、例えば、繰り返し回数が所定回数ではないと判定された場合、ステップＳ１１６において、傾き調整部１２３は、繰り返し回数をカウントするカウンタｒを１インクリメントする。そして、ステップＳ１１７において、傾き調整部１２３は、調整パラメータZ(k)を識別するカウンタｋを１インクリメントして、処理は、ステップＳ１０２に戻る。すなわち、ステップＳ１０２乃至Ｓ１１７の処理が、所定回数だけ繰り返されることにより、調整パラメータΔS0,ΔY0,ΔS1,ΔY1が、ΔS0→ΔY0→ΔS1→ΔY1の順序で切り替えられながら、探索範囲、および、探索変数の変化が縮小されて、マッチング評価値errorがエラー最小値error_minとなる調整パラメータZ(k)が求められる処理が繰り返される。そして、ステップＳ１１５において、所定回数だけ繰り返されたと判定された場合、処理は、ステップＳ１１６に進む。
【０１２５】
ステップＳ１１６において、傾き調整部１２３は、エラー最小値error_minにおける調整パラメータの最小値（ΔＸmin,ΔYmin,ΔS0min,ΔY0min,ΔS1min,ΔY1min）に基づいて、ベース調整量(ΔＸbase,ΔYbase,ΔS0base,ΔY0base,ΔS1base,ΔY1base)を更新する。すなわち、傾き調整部１２３は、ベース調整量(ΔS0base,ΔY0base,ΔS1base,ΔY1base)を、エラー最小値error_minにおける調整パラメータの最小値（ΔS0min,ΔY0min,ΔS1min,ΔY1min）に設定し、処理を終了する。
【０１２６】
すなわち、傾き調整部１２３は、図１３の上部の１段目乃至４段目に対応する調整パラメータΔS0,ΔY0,ΔS1,ΔY1のそれぞれについて、ライン上に丸印で示される各画素の探索範囲内において、それぞれ色付きの丸印で示される画素が、１回目の処理でエラー最小値error_minとなる調整パラメータΔS0,ΔY0,ΔS1,ΔY1として求められた場合、２回目の処理では、図１３の下部の１段目乃至４段目に対応する調整パラメータΔS0,ΔY0,ΔS1,ΔY1のそれぞれについて、ライン上に丸印で示されるように、探索画素の間隔（ΔS0’step,ΔY0’step,ΔS1’step,ΔY1’step）を小さくし、さらに、探索された画素の近傍の範囲を探索範囲に設定する。
【０１２７】
すなわち、以上の処理により、ベース調整量(ΔS0base,ΔY0base,ΔS1base,ΔY1base)が求められた近傍の範囲において、所定回数だけ探索範囲、および、探索変数の変化を縮小して、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔS0,ΔY0,ΔS1,ΔY1)が繰り返し求めることが可能となる。結果として、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔS0,ΔY0,ΔS1,ΔY1)を詳細に求めることが可能となる。
【０１２８】
ここで、図６のフローチャートの説明に戻る。
【０１２９】
ステップＳ４の処理により、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔS0,ΔY0,ΔS1,ΔY1)として、ベース調整量(ΔS0base,ΔY0base,ΔS1base,ΔY1base)が求められると、処理は、ステップＳ５に進む。
【０１３０】
ステップＳ５において、調整パラメータ更新部８１は、上述したステップＳ３，Ｓ４の処理により求められたベース調整量(ΔＸbase,ΔYbase,ΔS0base,ΔY0base,ΔS1base,ΔY1base)を、調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)として調整パラメータ保存部８２に保存し、処理を終了する。
【０１３１】
例えば、上述したステップＳ３，Ｓ４の処理における繰り返し回数を３回であるものとした場合、調整パラメータの水平方向の範囲としては、ΔＸ'min＝−4.0/N，ΔＸ'max＝+4.0/Nとし、垂直方向の範囲としてはΔY'min＝−2.0/N,ΔY'max＝+2.0/Nとする。また、水平方向の間隔としては、ΔＸ'step＝−1.0/Nとし、垂直方向の間隔としてはΔY'step＝−0.5/N,ΔY'max＝+0.5/Nのようにしてもよい。さらに、この場合、上部傾きの範囲としてはΔS0'min＝−2.0/N,ΔS0'max＝+2.0/Nとし、上部垂直方向の範囲としてはΔY0'min＝−1.0/N,ΔY0'max＝+1.0/Nとしてもよい。また、同様の場合、下部傾きの範囲としては、ΔS1'min＝−2.0/N,ΔS1'max＝+2.0/Nとし、下部垂直方向の範囲としてはΔY1'min＝−1.0/N,ΔY1'max＝+1.0/Nとするようにしてもよい。さらにこの場合、上部傾きの間隔としてはΔS0'step＝0.5/N、上部垂直方向の間隔としてはΔY0'step＝0.25/N、下部傾きの間隔としてはΔS1'step＝0.5/N、下部垂直方向の間隔としてはΔY1'step＝0.25/Nとするようにしてもよい。
【０１３２】
以上の処理により、ステレオ画像を撮像する画像に基づいたステレオマッチングの処理によるディスパリティ画像におけるエラーの量を評価するマッチング評価値errorが最小となるように調整パラメータを設定することが可能となるので、ステレオ画像を撮像する複数のカメラの撮像方向のずれを、調整パラメータにより調整することが可能となる。また、上述したキャリブレーション処理が実行される間も、ステレオマッチング処理が繰り返されるので、ディスパリティ画像は生成され続けるため、ディスパリティ画像を生成し続けている状態のまま、キャリブレーション処理を継続することができ、製品として製造する間に別途キャリブレーションをするための工程を設ける必要がないため、製造コストをかけることなく、ユーザが使用するだけでキャリブレーションを実現することが可能となる。また、ディスパリティ画像を生成し続けながらキャリブレーションを繰り返すことができるので、経年劣化によりカメラ２１−１，２１−２の光軸が変化しても、その変化に追従してキャリブレーションを掛ける事が可能となる。また、撮像された画像の全範囲を用いて得られるマッチング評価値に基づいてキャリブレーションを掛ける事ができるので、よりロバスト性の高いキャリブレーションを掛ける事が可能となる。
【０１３３】
＜２．第２の実施の形態＞
［画像処理装置のその他の構成例］
以上においては、キャリブレーション処理をソフトウェアプログラムにより実現する場合について説明してきたが、カメラ２１−１，２１−２の撮像方向などを制御するハードウェアの動作を制御することにより実現できるようにしてもよい。図１４は、ハードウェアの動作を制御してキャリブレーションできるようにした本発明を適用した画像処理装置のハードウェアのその他の形態の構成例を示している。尚、図１４において、図１と同一の構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
【０１３４】
図１４の画像処理装置１１において、図１の画像処理装置１１と異なる点は、画像ずれ補正部２２に代えて、画像ずれ補正部１５１を備えた点である。
【０１３５】
画像ずれ補正部２２においてカメラ２１−１，２１−２のそれぞれの撮像画像をソフトウェアプログラムにより撮像された画像を補正して補正画像を生成していた。これに対して、画像ずれ補正部１５１は、カメラ２１−１，２１−２の撮像方向を制御して補正画像を生成する。
【０１３６】
具体的には、画像ずれ補正部１５１は、図１５の左部の矢印ｔ１，ｔ２で示されるように、カメラ２１−１，２１−２のチルト方向を制御する。また、画像ずれ補正部１５１は、図１５の中央部の矢印ｐ１，ｐ２で示されるように、カメラ２１−１，２１−２のパン方向を制御する。さらに、画像ずれ補正部１５１は、図１５の右部の矢印ｒ１，ｒ２で示されるように、カメラ２１−１，２１−２の回転方向を制御する。
【０１３７】
より詳細には、画像ずれ補正部１５１は、光軸調整量変換部１７１、および光軸調整部１７２−１，１７２−２を備えている。光軸調整量変換部１７１は、調整パラメータ保存部８２に保存されている調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)に基づいて、カメラ２１−１，２１−２のそれぞれをチルト、パン、回転のそれぞれを制御する光軸調整量を生成する。
【０１３８】
光軸調整部１７２−１，１７２−２は、それぞれカメラ２１−１，２１−２のチルト、パン、回転を物理的に制御して、カメラ２１−１，２１−２のそれぞれにより撮像される画像のずれを補正することで、結果として、補正画像を生成して、マッチング部２３に供給する。
【０１３９】
尚、図１４の画像処理装置１１におけるキャリブレーション処理については、図６のステップＳ２乃至Ｓ４の一部が異なるのみであるので、異なる処理についてのみ説明する。
【０１４０】
［簡易位置調整処理］
図１６のフローチャートを参照して、異なる処理である簡易位置調整処理について説明する。尚、図１６のフローチャートにおいては、ステップＳ１２３，Ｓ１２４の処理を除いては、図７のフローチャートにおけるステップＳ２１，Ｓ２２，Ｓ２５乃至Ｓ３１の処理と同様であるので、その説明は省略するものとする。
【０１４１】
すなわち、ステップＳ１２３において、光軸調整量変換部１７１は、調整パラメータ保存部８２に保存されている調整パラメータ(ΔY,ΔY0,ΔY1)に基づいてチルトの調整量を求め、調整パラメータΔＸに基づいて、パンの調整量を求め、調整パラメータ(ΔS0,ΔS1)に基づいて、回転の調整量を求める。そして、光軸調整量変換部１７１は、求めた調整量の情報を光軸調整部１７２−１，１７２−２に供給する。
【０１４２】
ステップＳ１２４において、光軸調整部１７２−１，１７２−２は、光軸調整量変換部１７１からの調整量に基づいて、カメラ２１−１，２１−２のパン、チルト、および回転を制御することで、補正画像を生成し、マッチング部２３に供給する。
【０１４３】
尚、ステップＳ３，Ｓ４の処理に対応する詳細位置調整処理、および傾き調整処理についても、それぞれ対応するステップＳ８５，Ｓ８６の処理、およびステップＳ１０５，Ｓ１０６の処理をステップＳ１２３，Ｓ１２４と同様の処理とすることで同様の処理を実現することが可能となる。このため、その説明は省略するものとする。
【０１４４】
以上の処理により、図１４の画像処理装置１１においても、図１の画像処理装置１１における場合のキャリブレーション処理と同様の効果を得ることが可能となる。
【０１４５】
＜３．第３の実施の形態＞
［画像処理装置のその他の構成例］
以上においては、ステレオマッチング処理において、動的計画法などを用いてディスパリティを求めた後、マッチング評価値を計算する例について説明してきたが、動的計画法を用いたディスパリティの算出は、処理負荷が高く、これに伴って、処理時間も必要とされる。そこで、より簡易な方法でマッチング評価値errorを定義することにより、動的計画法などによるディスパリティの計算をすることなく、ステレオマッチング処理を実現するようにしてもよい。
【０１４６】
図１７は、ステレオマッチング処理において、簡易なマッチング評価値errorを計算するようにした画像処理装置１１の構成例を示している。尚、図１７の画像処理装置１１において、図１の画像処理装置１１と同一の機能を備えた構成については、同一の名称、および同一の符号を付すものとし、その説明については適宜省略するものとする。すなわち、図１７の画像処理装置１１において、図１の画像処理装置１１と異なるのは、マッチング部２３において、垂直エッジ検出部６１−１，６１−２が削除されていること、および、ステレオマッチング部６２において、類似度計算部１０１乃至ディスパリティ計算部１０５に代えて、コスト計算部２０１、マッチング評価値計算部２０２、およびディスパリティ計算部２０３が設けられた点である。
【０１４７】
コスト計算部２０１は、図１８で示されるように、画像ずれ補正部２２より供給されてくる左右画像間におけるブロック間のマッチングエラー量の評価値を表すコストcostの最小値を、左右の画像を垂直方向にずらしながら、そのずれ量に対応付けて計算する。すなわち、図１８の上段で示されるように、例えば、基準となる左画像Ｐ１１が所定のサイズに分割されてブロックが設定される。そして、コスト計算部２０１は、例えば、図１８の上段のブロックＢに対応する右画像Ｐ１２上の領域Ｚ１内で、画素単位で順次水平方向にずらしながら求められるブロック間の画素間差分和をコストcostとして計算する。尚、領域Ｚ１は、例えば、右画像Ｐ２が左画像Ｐ１に対して、垂直方向にずれ量Δｙだけずらされた状態において、ブロックＢと同じ高さで、かつ、左画像Ｐ１１上のブロックＢの水平位置に対応する右画像Ｐ１２上の範囲を含み、水平方向にブロックＢよりも長い範囲として設定されるものである。さらに、コスト計算部２０１は、図１８の下段で示されるように、左画像Ｐ１１に対して垂直方向に対するずれ量Δｙ１から、例えば、ずれ量Δｙ２まで、画素単位で変化させ、ずれ量Δｙに応じて領域Ｚ２を設定することで順次コストcostを計算し、ずれ量Δｙに対応付けて記憶する。
【０１４８】
マッチング評価値計算部２０２は、まず、垂直方向のずれ量Δｙ毎に、基準となる左画像に設定されたブロック単位で、対応する右画像に設定された領域の中で求められた最小となるコストcostをそれぞれに求める。そして、マッチング評価値計算部２０２は、その全ブロックに対して求められた最小となるコストcostの、全画像分の総和を、ずれ量Δｙ毎のマッチング評価値errorとして計算する。マッチング評価値計算部２０２は、このような処理により、例えば、図１９で示されるように、ずれ量Δｙに対するマッチング評価値errorの変化を示す波形Ｗを求める。さらに、図１９で示されるように、マッチング評価値計算部２０２は、ずれ量Δｙ毎のマッチング評価値errorが最小となるずれ量Δｙｍｉｎのマッチング評価値errorを、左画像Ｐ１１を基準としたときの右画像Ｐ１２に対するマッチング評価値errorとして出力する。
【０１４９】
尚、ビルディングを所定の距離だけ離れた位置で撮像することにより、ビルディングの側壁に設けられた格子状の窓ガラスが映し出されるような２枚のステレオ画像の場合、ずれ量Δｙ毎のマッチング評価値errorとずれ量Δｙとの関係は、例えば、図２０で示されるような波形Ｗ１となることがある。このような場合、極小点が複数に存在することとなるため、例えば、最小値となる極小点を、基準となる左画像に対する右画像のマッチング評価値としたとき、図２０においては、ずれ量Δｙｍｉｎ１が正しいマッチング評価値errorであったとしても、より小さいずれ量Δｙｍｉｎ２が左画像に対する右画像のマッチング評価値errorとして設定されることで、エラーが生じることがある。
【０１５０】
しかしながら、一般に、３Ｄカメラや、３Ｄビデオカメラ等の１の筐体に２のカメラが備えられるような機器の場合、２枚の画像のずれ量Δｙは小さいと予想される。すなわち、１の筐体に２のカメラを備えた撮像機器であるような場合、カメラ間のおおよその位置は固定されているので、振動、経年劣化、または衝撃等で若干、位置関係が変化する程度であるものと予想される。そこで、１の筐体に２のカメラが備えられる場合、２枚の画像のずれ量Δｙは、垂直ずれがない状態付近、すなわち、垂直ずれ量Δｙ＝０付近に正解が存在するものとする。したがって、図２０のような場合、ずれ量Δｙ＝０に近い、ずれ量Δｙｍｉｎ１におけるマッチング評価値errorが採用されるものとする。
【０１５１】
ディスパリティ計算部２０３は、マッチング評価値計算部２０２により求められたマッチング評価値errorが最小となる左画像の各ブロックと、対応する右画像のブロックとの関係からなる画素間の関係から画素単位のディスパリティdispalityを求める。そして、ディスパリティ計算部２０３は、求められたディスパリティdispalityに基づいて、ディスパリティ画像を生成して出力する。
【０１５２】
［ステレオマッチング処理］
次に、図２１のフローチャートを参照して、図１７の画像処理装置１１によるステレオマッチング処理について説明する。
【０１５３】
尚、図１７の画像処理装置１１のキャリブレーション処理と、図６を参照して説明した図１の画像処理装置１１によるキャリブレーション処理とは、ステレオマッチング処理を除き略同様の処理であるので、ここでは、ステレオマッチング処理のみを説明するものとする。ただし、図１７の画像処理装置１１においては、垂直エッジ検出部６１−１，６１−２が省略されているため、いずれも左右の補正画像よりエッジ検出画像を生成する処理が省略される。すなわち、図７の簡易位置調整処理におけるステップＳ２５、図１０の詳細位置調整処理におけるステップＳ８７、および図１２の傾き調整処理におけるステップＳ１０７のそれぞれの処理が省略されることになる。
【０１５４】
また、ここでは、カメラ２１−１，２１−２により撮像された画像のうち、左画像を基準としたときの、マッチング評価値、および右画像の対応点までのディスパリティを求める例を示すものとする。さらに、左画像をp(x,y),右画像をq(x,y)とし、求めるディスパリティは、disparity(x,y)（d_min≦disparity(x,y)≦d_max）とする。d_minは、求めるディスパリティの最小値であり、例えば、d_min＝−63である。d_maxは、求めるディスパリティの最大値であり、例えば、d_max＝63である。
【０１５５】
ステップＳ２０１において、コスト計算部２０１は、ずれ量を示すカウンタΔｙｃをΔｙｃ＝０に初期化する。
【０１５６】
ステップＳ２０２において、コスト計算部２０１は、ずれ量Δｙｃのマッチングエラー量の評価値であるマッチング評価値を算出するに当たり、基準となる左画像の各ブロック毎に、対応する右画像の参照領域に対して、水平方向にずらしながら以下の式（２６）を計算してコストcost(x,y,d)を計算する。
【０１５７】
【数２６】
【０１５８】
尚、コストcost(x,y,d)を求める式（２６）においては、3画素×3画素のブロック領域の輝度差の差分絶対値和(SAD)を用いる例が示されているが、このブロックサイズに限定されるものではない。また、コストcost(x,y,d)を求めるにあたっては、差分絶対値和（SAD）ではなく、差分二乗和（SSD）等が用いられる計算であってもよい。また、ここで、dは、水平方向のずれ量である。
【０１５９】
さらに、マッチング評価値計算部２０２は、各ブロックについて、水平方向のずれ量dのうち、コストcost(x,y,d)が最小となるものmin(cost(x,y,d))を選び出して、全ブロックにおける総和を以下の式（２７）で示されるように算出して、ずれ量Δｙｃのマッチング評価値errorとして計算する。
【０１６０】
【数２７】
【０１６１】
ステップＳ２０３において、コスト計算部２０１は、ずれ量Δｙｃに対して、所定の距離（ｓｔｅｐ：定数）だけ離れた近傍に存在するずれ量ΔｙＬ（＝ｃ−ｓｔｅｐ），ΔｙＲ（＝ｃ＋ｓｔｅｐ）を設定する。尚、ずれ量Δｙに対するマッチング評価値errorの関係については、例えば、図２２で示されるように、横軸を垂直方向のずれ量とし、縦軸をずれ量毎のマッチング評価値errorとした波形を生成する必要があるため、図２２で示されるような波形上におけるずれ量Δｙｃに対して左側に設定されるずれ量がずれ量ΔｙＬ（＝ｃ−ｓｔｅｐ）として設定され、同様に、ずれ量Δｙｃに対して右側に設定されるずれ量がΔｙＲ（＝ｃ＋ｓｔｅｐ）として設定される。
【０１６２】
ステップＳ２０４において、コスト計算部２０１およびマッチング評価値計算部２０２は、それぞれ上述した式（２６），式（２７）を計算することにより、それぞれのずれ量ΔｙＬ，ΔｙＲにおけるコストcostおよびマッチング評価値errorを算出する。
【０１６３】
ステップＳ２０５において、マッチング評価値計算部２０２は、以下の式（２８）の関係を満たすか否かに基づいて、ずれ量ΔｙＬ乃至ΔｙＲの範囲において、マッチング評価値errorの極小値を含むか否かを判定する。
【０１６４】
【数２８】
【０１６５】
ここで、Δｙｎは、所定の垂直方向のずれ量であり、ずれ量Δｙｎ＋ｉ，Δｙｎ−ｉは、それぞれずれ量Δｙｎから正負の方向にそれぞれｉ画素だけ離れたずれ量であり、Ｔｈ０は、所定の閾値である。また、ここでは、ずれ量Δｙｎ−ｉ，Δｙｎ，Δｙｎ＋ｉは、ずれ量ΔｙＬ，Δｙｃ，ΔｙＲに対応し、ｉはｓｔｅｐに対応する（ｉ＝ｓｔｅｐ）。すなわち、ずれ量を横軸として、縦軸にマッチング評価値とする波形が構成される場合、ずれ量ΔｙＬ，Δｙｃ，ΔｙＲの順にマッチング評価値errorが求められるとき、ずれ量Δｙｃを頂点とする下に凸の波形が形成されるとき、true（極小値を含む）となり、それ以外のときfalse（極小値を含まない）とされる。したがって、例えば、図２２の上段で示されるような場合、ずれ量ΔｙＬ，Δｙｃ，ΔｙＲの順に単調増加しているため、上述した式（２８）の関係が満たされないので、処理は、ステップＳ２０６に進む。
【０１６６】
ステップＳ２０６において、マッチング評価値計算部２０２は、ずれ量ΔｙＬ，ΔｙＲのそれぞれに対応するマッチング評価値errorのうち、小さい方をずれ量ΔｙｃとなるようにカウンタΔｙｃを設定し、処理は、ステップＳ２０３に戻る。
【０１６７】
すなわち、例えば、図２２の上段で示されるように、ずれ量Δｙｃ＝０の状態でずれ量Δｙｃが設定されて、その左右にずれ量ΔｙＬ，ΔｙＲが設定される場合、ずれ量ΔｙＬ，Δｙｃ，ΔｙＲの順に単調増加するとき、ずれ量ΔｙＬ乃至ΔｙＲに極小値が存在しない。そこで、図２２の下段で示されるように新たにずれ量ΔｙＬ乃至ΔｙＲが設定される。すなわち、図２２の上段においては、ずれ量ΔｙＬ，ΔｙＲのうち、ずれ量ΔｙＬのマッチング評価値errorの方が小さいので、ずれ量ΔｙＬが、次のずれ量Δｙｃに設定され、新たに設定されたずれ量Δｙｃの前後に、新たなずれ量ΔｙＬ，ΔｙＲが設定されることになる。これは、上述したようにずれ量Δｙｃがゼロに近い極小値を、基準となる左画像に対する右画像のマッチング評価値error（基準画像に対する参照画像のマッチング評価値error）であるものとみなすようにした拘束条件に基づくものであり、順次、ずれ量Δｙ＝０に近い位置で上述したような極小値を含む範囲が探索されるまで、ステップＳ２０３乃至Ｓ２０６の処理が繰り返される。
【０１６８】
ステップＳ２０６において、例えば、図２２の下段で示されるように、ずれ量Δｙｃに対応して設定されたずれ量ΔｙＬ乃至ΔｙＲの範囲に極小値を含むような関係となり、すなわち、ずれ量Δｙｃのマッチング評価値を極小値とした下に凸の波形が形成されるとき、式（２８）の条件が満たされるので、処理は、ステップＳ２０７に進む。
【０１６９】
ステップＳ２０７において、コスト計算部２０１、およびマッチング評価値計算部２０２は、ずれ量ΔｙＬ，ΔｙＲに対応するずれ量Δｙｃ−ｓｔｅｐ乃至Δｙｃ＋ｓｔｅｐ間に存在する全てのマッチング評価値を計算する。すなわち、図２３の上段の白丸で示されるように、ずれ量Δｙｃに対応して設定されたずれ量ΔｙＬ，ΔｙＲが極小値を含むような関係となった場合、図２３の下段の黒丸で示される、全てのマッチング評価値が求められる。
【０１７０】
ステップＳ２０８において、マッチング評価値計算部２０２は、ずれ量Δｙｃ−ｓｔｅｐ乃至Δｙｃ＋ｓｔｅｐ間に存在する全てのずれ量に対するマッチング評価値のうち、最小値となるものを左画像（基準画像）に対する右画像（参照画像）のマッチング評価値errorとして採用する。すなわち、このように求められた基準画像である左画像に対する参照画像である右画像のマッチング評価値errorは、ずれ量Δｙ＝０に最も近いずれ量であって、かつ、マッチング評価値errorの極小値が採用されることになる。したがって、例えば、図２３の下段で示されるような場合、求められた全てのマッチング評価値errorのうち、ずれ量Δｙｍｉｎで示される位置のマッチング評価値errorが、基準画像である左画像に対する右画像のマッチング評価値errorとして採用される。
【０１７１】
ステップＳ２０９において、ディスパリティ計算部２０３は、マッチング評価値errorに採用されたずれ量Δｙに対応する左右画像のブロック間の関係に基づいて、ディスパリティを計算し、計算結果に基づいて、ディスパリティ画像を生成して出力する。
【０１７２】
以上の処理により、i＝ｓｔｅｐを垂直方向のずれの最小単位に対してある程度大きく設定することで、粗めにマッチング評価値の極小値が存在する範囲を、ずれ量Δｙ＝０に近い範囲から検索した後、検索された範囲内についてのみ、詳細に全てのずれ量Δｙについてマッチング評価値errorを計算するようにすることで、高速に基準画像に対する参照画像のマッチング評価値errorを特定することが可能となる。また、以上のステレオマッチング処理においては、動的計画法などの処理負荷の大きな処理を含まないので、処理負荷を軽減することが可能となり、処理を高速化することが可能となる。尚、ｓｔｅｐとして設定されたずれ量Δｙｃからの距離に対して十分に小さい間隔でマッチング評価値が求められるのであれば、極小値を含む範囲が求められた後には、その範囲内において、必ずしも全てのずれ量に対するマッチング評価値を求めなくてもよい。すなわち、どのずれ量に対するマッチング評価値が、ずれ量Δｙ＝０より最も近く、かつ、極小値であるという拘束条件を満たすものであるかが判断できればよいので、ずれ量に対するマッチング評価値を全て求める必要はなく、必要に応じて、その間隔は間引くようにしてもよい。このように、ずれ量に対するマッチング評価値を間引いて求めることで、ステレオマッチング処理の負荷をより軽減させることができ、処理速度を、より高速化することが可能となる。
【０１７３】
尚、以上においては、極小値を含むか否かの判定において、上述した式（２８）の関係が満たされるか否かにより判定されていたが、極小値を含むか否かの判定が可能である限り、その他の方法で判定するようにしても良く、例えば、以下の式（２９）で示されるような傾きの関係に基づいて、極小値を含むか否かを判定するようにしてもよい。
【０１７４】
【数２９】
【０１７５】
ここで、Ｔｈ１は所定の閾値を示している。すなわち、式（２９）においては、ずれ量Δｙｎからずれ量Δｙｎ＋ｉに対しては、ずれ量に対するマッチング評価値の傾きが、所定の閾値Ｔｈ１よりも大きな正の傾きであって、かつ、ずれ量Δｙｎ−ｉからずれ量Δｙｎに対しては、ずれ量に対するマッチング評価値の傾きが、所定の閾値−Ｔｈ１よりも小さな負の傾きであるとき、true（極小値を含む）となり、それ以外のときfalse（極小値を含まない）とされる。
【０１７６】
以上によれば、動的計画法のような負荷の大きな計算を用いることなくステレオマッチング処理を実現することができるので、処理速度を向上させることが可能となる。また、粗い精度でずれ量Δｙ＝０を含む近傍からマッチング評価値の極小値を含む範囲をずれ量Δｙ＝０から離れるように順次探索した後、探索された範囲内のみのマッチング評価値を詳細に求めて極小値を探索するようにしたので、ずれ量Δｙ＝０から最も近くで、かつ、極小値となるずれ量Δｙに対するマッチング評価値を、基準画像に対する参照画像とのマッチング評価値として高速で探索することが可能となる。尚、画像処理装置１１の処理速度が、例えば、十分に速く、処理に余裕があるような場合、全てのずれ量Δｙに対するマッチング評価値を求めた後、求められたずれ量Δｙに対するマッチング評価値から、ずれ量Δｙ＝０に最も近く、かつ、極小となるマッチング評価値を、基準画像に対する参照画像とのマッチング評価値として探索するようにしてもよい。さらに、以上においては、垂直方向のずれ量Δｙについて、マッチング評価値を求める例について説明してきたが、同様に水平方向のずれ量に対してマッチング評価値を求めて、その最小値を基準画像に対する参照画像のマッチング評価値とするようにしてもよい。
【０１７７】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１７８】
図２４は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１７９】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１８０】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８１】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１８２】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８３】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１８４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８５】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１８６】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８７】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１８８】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８９】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９０】
尚、本技術は、以下のような構成も取ることができる。
（１） 異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、
前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、
前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段と
を含む画像処理装置。
（２） 前記更新手段は、前記パラメータのうち、前記画像の全範囲において、２次元方向に荒い画素間隔でシフト量を変化させ、前記評価値が最小となるシフト量に更新し、さらに、前記荒い画素間隔でシフト量を変化させることにより探索されたシフト量近傍の範囲において、２次元方向に詳細な画素間隔でシフト量を変化させて評価値が最小となるシフト量に更新する
（１）に記載の画像処理装置。
（３）
前記更新手段は、前記パラメータのうち、前記複数の画像間の対応付けの方向である、視差の探索方向に対し直交する傾き成分を変化させて評価値が最小となる傾き成分に更新する
（１）または（２）に記載の画像処理装置。
（４） 前記更新手段は、前記パラメータのうち、前記複数の画像間の対応付けの方向である、視差の探索方向に対し直交する方向に、前記傾き成分を分割し、それぞれ個別に変化させて評価値が最小となる傾き成分に更新する
（３）に記載の画像処理装置。
（５） 前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記画像の周辺部の寄与が小さくなるように評価値として算出する
（１）乃至（３）のいずれかに記載の画像処理装置。
（６） 前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、ブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果を評価値とする
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、動的計画法を用いて算出し、算出結果を評価値とする
（６）に記載の画像処理装置。
（８） 前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記複数の補正画像間のずれ量毎にブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果のうち、ずれ量が０に最も近い極小値を評価値とする
（６）に記載の画像処理装置。
（９） 前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記複数の補正画像間のずれ量の粗い間隔毎にブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果から、ずれ量が０に最も近い範囲で、かつ、極小値を含む範囲を探索した後、探索された範囲で詳細に求められる前記全画像総和の極小値を評価値とする
（８）に記載の画像処理装置。
（１０） 前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像のうち、基準画像と、それ以外の参照画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値の総和を評価値として算出する
（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 異なる視点から、同一の被写体を撮像する撮像手段をさらに含み、
前記画像取得手段は、前記撮像手段により異なる視点から、同一の被写体を撮像する複数の画像を取得し、
前記画像ずれ補正手段は、前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて、前記撮像手段における撮像方向となる光軸を動作させるようにすることで、変形し、それぞれ補正画像を生成する
（１）乃至（１０）に記載の画像処理装置。
（１２） 異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、
前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、
前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段と
を含む画像処理装置の画像処理方法であって、
前記画像取得手段における、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得ステップと、
前記画像ずれ補正手段における、前記画像取得ステップの処理により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正ステップと、
前記評価値算出手段における、前記画像ずれ補正ステップの処理により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出ステップと、
前記更新手段における、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新ステップと
を含む画像処理方法。
（１３） 異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、
前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、
前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段と
を含む画像処理装置を制御するコンピュータに、
前記画像取得手段における、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得ステップと、
前記画像ずれ補正手段における、前記画像取得ステップの処理により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正ステップと、
前記評価値算出手段における、前記画像ずれ補正ステップの処理により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出ステップと、
前記更新手段における、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新ステップと
を含む処理を実行させるプログラム。
【符号の説明】
【０１９１】
１１ 画像処理装置， ２１−１，２１−２ カメラ， ２２ 画像ずれ補正部， ２３ マッチング部， ２４ ずれ補正部， ４１−１，４１−２ 射影変換部， ４２ 射影変換パラメータ算出部， ６１−１，６１−２ 垂直エッジ検出部， ６２ ステレオマッチング部， ８１ 調整パラメータ更新部， ８２ 調整パラメータ保存部， １０１ 類似度計算部， １０２ ペナルティ計算部， １０３ コスト計算部， １０４ マッチング評価値計算部， １０５ ディスパリティ計算部， １２１ 簡易位置調整部， １２２ 詳細位置調整部， １２３ 傾き調整部， １５１ 画像ずれ補正部， １７１ 光軸調整量変換部， １７２−１，１７２−２ 光軸調整部， ２０１ コスト計算部， ２０２ マッチング評価値計算部， ２０３ ディスパリティ計算部
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、ディスパリティ画像（奥行画像）の生成に際し、カメラの撮像方向のずれによるエラーを容易にキャリブレーションできるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
同一の被写体を複数のカメラにより異なる角度から撮像し、それぞれの画像の視差方向の対応点探索によりディスパリティ画像（奥行画像）を生成する技術が一般に普及しつつある。
【０００３】
ディスパリティ画像を生成するに当たり、複数のカメラの撮像方向のずれが生じるとエラーが発生し、正確なディスパリティ画像が求められないことが知られている。このため、ディスパリティ画像を生成するに当たっては、カメラの撮像方向のずれにより生じるエラーを最小にするためのキャリブレーションが必要とされている。
【０００４】
キャリブレーションにあたっては、例えば、位置関係が既知である複数の特徴点を有する平面チャートからなるキャリブレーションパタンと呼ばれる画像を撮像し、キャリブレーションパタンの撮像結果に基づいて、キャリブレーションする技術が提案されている（非特許文献１参照）。
【０００５】
また、ディスパリティ画像を求めるために用いられる画像より特徴点を検出し、カメラのキャリブレーションをするための、撮像方向を指定するキャリブレーションパラメータを求め、求められたキャリブレーションパラメータによりキャリブレーションする技術が提案されている（非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】A Flexible New Technicque for Camera Calibration，Microsoft Research,http://research.microsoft.com/~zhang
【非特許文献２】ステレオカメラのセルフキャリブレーション，富田文明ほか，情報処理，May 1990
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１の技術においては、ユーザ環境において、手間のかかるキャリブレーションパタンを撮像する必要があり、必要とされる作業内容を鑑みても現実的ではない。また、仮に、製造時にこの処理を行うようにする場合、製造コストの増大を招くこととなる。さらに、経年劣化による機械精度の保証も必要となり、機械部分の材料コスト、組み立てコストに関しても増大することとなる。
【０００８】
さらに、非特許文献２の技術においては、画像より取得される特徴点の検出精度に大きく依存するため、キャリブレーションのロバスト性が低い。また、特徴点検出を行うためのハードウェアもしくはソフトウェアの専用処理が別途必要となり、ユーザ環境で行う構成としても、また、製造時に行う構成としても、コストの増大を招く。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、特に、ディスパリティ画像の生成に際して、複数のカメラの撮像方向のずれを調整するパラメータを変化させながら、エラー量が最小となるようにすることで容易にキャリブレーションできるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の画像処理装置は、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段とを含む。
【００１１】
前記更新手段には、前記パラメータのうち、前記画像の全範囲において、２次元方向に荒い画素間隔でシフト量を変化させ、前記評価値が最小となるシフト量に更新させ、さらに、前記荒い画素間隔でシフト量を変化させることにより探索されたシフト量近傍の範囲において、２次元方向に詳細な画素間隔でシフト量を変化させて評価値が最小となるシフト量に更新させるようにすることができる。
【００１２】
前記更新手段には、前記パラメータのうち、前記複数の画像間の対応付けの方向である、視差の探索方向に対し直交する傾き成分を変化させて評価値が最小となる傾き成分に更新させるようにすることができる。
【００１３】
前記更新手段には、前記パラメータのうち、前記複数の画像間の対応付けの方向である、視差の探索方向に対し直交する方向に、前記傾き成分を分割し、それぞれ個別に変化させて評価値が最小となる傾き成分に更新させるようにすることができる。
【００１４】
前記評価値算出手段には、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記画像の周辺部の寄与が小さくなるように評価値として算出させるようにすることができる。
【００１５】
前記評価値算出手段には、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、ブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果を評価値とするようにさせることができる。
【００１６】
前記評価値算出手段には、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、動的計画法を用いて算出し、算出結果を評価値とするようにさせることができる。
【００１７】
前記評価値算出手段には、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記複数の補正画像間のずれ量毎にブロックマッチングの差分絶対値和の全画面総和として算出させ、算出結果のうち、ずれ量が０に最も近い極小値を評価値とするようにさせることができる。
【００１８】
前記評価値算出手段には、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記複数の補正画像間のずれ量の粗い間隔毎にブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果から、ずれ量が０に最も近い範囲で、かつ、極小値を含む範囲を探索した後、探索された範囲で詳細に求められる前記全画像総和の極小値を評価値とするようにさせることができる。
【００１９】
前記評価値算出手段には、前記画像ずれ補正手段により生成された複数の補正画像のうち、基準画像と、それ以外の参照画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値の総和を評価値として算出させるようにすることができる。
【００２０】
異なる視点から、同一の被写体を撮像する撮像手段をさらに含み、
前記画像取得手段は、前記撮像手段により異なる視点から、同一の被写体を撮像する複数の画像を取得し、
前記画像ずれ補正手段は、前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて、前記撮像手段における撮像方向となる光軸を動作させるようにすることで、変形し、それぞれ補正画像を生成する。
【００２１】
本発明の一側面の画像処理方法は、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段とを含む画像処理装置の画像処理方法であって、前記画像取得手段における、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得ステップと、前記画像ずれ補正手段における、前記画像取得ステップの処理により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正ステップと、前記評価値算出手段における、前記画像ずれ補正ステップの処理により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出ステップと、前記更新手段における、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新ステップとを含む。
【００２２】
本発明の一側面のプログラムは、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段とを含む画像処理装置を制御するコンピュータに、前記画像取得手段における、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得ステップと、前記画像ずれ補正手段における、前記画像取得ステップの処理により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正ステップと、前記評価値算出手段における、前記画像ずれ補正ステップの処理により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出ステップと、前記更新手段における、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新ステップとを含む処理を実行させる。
【００２３】
本発明の一側面においては、異なる視点から、同一の被写体を撮像する複数の画像が取得され、取得された複数の画像が、画像ずれを補正するためのパラメータに基づいて変形され、それぞれ補正画像が生成され、生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値が評価値として算出され、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータが変化されて、前記評価値が最小となるようにパラメータが更新される。
【００２４】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００２５】
本発明の一側面によれば、ディスパリティ画像（奥行画像）の生成に際し、カメラの撮像方向のずれによるエラーを容易にキャリブレーションすることが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明を適用した画像処理装置の第１の実施の形態の構成例を示すブロック図である。
【図２】入力画像および奥行画像を説明する図である。
【図３】カメラの構成を説明する図である。
【図４】入力画像と補正画像との座標の関係を説明する図である。
【図５】入力画像を補正する際のパラメータを説明する図である。
【図６】図１の画像処理装置によるキャリブレーション処理を説明するフローチャートである。
【図７】図１の画像処理装置による簡易位置調整処理を説明するフローチャートである。
【図８】図１の画像処理装置によるスレテオマッチング処理を説明するフローチャートである。
【図９】簡易位置調整処理を説明する図である。
【図１０】図１の画像処理装置による詳細位置調整処理を説明するフローチャートである。
【図１１】詳細位置調整処理を説明する図である。
【図１２】図１の画像処理装置による傾き調整処理を説明するフローチャートである。
【図１３】傾き調整処理を説明する図である。
【図１４】本発明を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。
【図１５】光軸調整量を説明する図である。
【図１６】図１４の画像処理装置による簡易位置調整処理を説明するフローチャートである。
【図１７】本発明を適用した画像処理装置の第３の実施の形態の構成例を示すブロック図である。
【図１８】図１７の画像処理装置によるステレオマッチング処理を説明する図である。
【図１９】図１７の画像処理装置によるステレオマッチング処理を説明する図である。
【図２０】図１７の画像処理装置によるステレオマッチング処理を説明する図である。
【図２１】図１７の画像処理装置によるステレオマッチング処理を説明するフローチャートである。
【図２２】図１７の画像処理装置によるステレオマッチング処理を説明する図である。
【図２３】図１７の画像処理装置によるステレオマッチング処理を説明する図である。
【図２４】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００２７】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 第１の実施の形態（ソフトウェアプログラムでキャリブレーションする場合の一例）
２． 第２の実施の形態（ハードウェアを動作させてキャリブレーションする場合の一例）
３． 第３の実施の形態（その他のステレオマッチング処理を実施する一例）
【００２８】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置のハードウェアの一実施の形態の構成例を示している。図１の画像処理装置１１は、カメラ２１−１，２１−２のそれぞれにより撮像された画像より、各画素の画素値を撮像位置から被写体までの距離に反比例した値としたディスパリティ画像（奥行画像）を生成する。すなわち、カメラ２１−１，２１−２により撮像された画像が図２の上部で示されるような画像Ｐ１である場合、画像処理装置１１は、図２の下部で示されるようなディスパリティ画像Ｐ２を生成する。図２の画像Ｐ１においては、画像内に人物、雲、および太陽が含まれている。これに対して、ディスパリティ画像Ｐ２は、画像Ｐ１における被写体となる人物について、身体本体より前面で、撮像位置に近い左右の手の先が明るく表示されており、手先より撮像位置より遠い身体本体はやや暗い色とされている。そして、被写体となる人物の身体より遠い雲や太陽については、十分に撮像位置から遠いため、暗い色にされている。また、画像処理装置１１は、ディスパリティ画像を生成するにあたり、カメラ２１−１，２１−２の撮像方向のずれにより生じるディスパリティ画像のエラーを最小にするようにキャリブレーションを掛ける。
【００２９】
より具体的には、画像処理装置１１は、カメラ２１−１，２１−２、画像ずれ補正部２２、マッチング部２３、およびずれ調整部２４を備えている。カメラ２１−１，２１−２は、例えば、図３で示されるように、それぞれ同一の被写体を左右の異なる視点から撮像するように設定されており、それぞれ撮像した画像を画像ずれ補正部２２に供給する。尚、カメラ２１−１，２１−２については、異なる視点から撮像できる構成であればよいので、図３で示されるように左右の異なる視点からではなく、例えば、上下に異なる視点からであってもよい。また、複数の異なる視点から撮像できる構成であればよいので、２個のカメラにより２点の異なる視点からの画像でなくてもよく、それ以上の複数の視点から撮像される複数の画像を用いるようにしてもよい。ただし、以降においては、説明の便宜上、左右の異なる視点から撮像される２個のカメラ２１−１，２１−２であるものとして説明を進めるものとする。
【００３０】
画像ずれ補正部２２は、カメラ２１−１，２１−２より供給されてくる画像を、ずれ調整部２４により調整されたパラメータに基づいて、画像を補正し、補正画像をそれぞれマッチング部２３に供給する。より詳細には、画像ずれ補正部２２は、射影変換部４１−１，４１−２、および射影変換パラメータ算出部４２を備えている。射影変換パラメータ算出部４２は、ずれ調整部２４の調整パラメータ保存部８２に保存されている調整パラメータに基づいて、射影変換パラメータを算出し、射影変換部４１−１，４１−２に供給する。射影変換部４１−１，４１−２は、射影変換パラメータに基づいて、それぞれカメラ２１−１，２１−２より供給されてくる画像の各画素の画素位置を変換した補正画像を生成して、マッチング部２３に供給する。
【００３１】
射影変換部４１−１，４１−２は、具体的には、例えば、図４の画像ＰＬ１，ＰＲ１を、射影変換パラメータにより、図４の画像ＰＬ２，ＰＲ２のように変換する。図４の画像ＰＬ１は、カメラ２１−１により撮像された画像であり、画像ＰＬ２は、射影変換部４１−１により射影変換され、補正された補正画像を示している。また、同様に、図４の画像ＰＲ２は、カメラ２１−２により撮像された画像であり、画像ＰＲ２は、射影変換部４１−２により射影変換され、補正された補正画像を示している。すなわち、射影変換元の４頂点の各座標(x_left[n],y_left[n])に対応する、射影変換先の座標は(Ｘ_left[n],Y_left[n])と表されるものとする。なお、ｎは頂点４点を識別する識別子とされており0≦n＜3である。
【００３２】
射影変換先の長方形は、カメラ画像の水平ピクセルサイズをW、垂直ピクセルサイズをHとし、以下の式（１）乃至（４）のように表され、例えば、W＝320，H＝240である。
【００３３】
【数１】
【数２】
【数３】
【数４】
【００３４】
ここで、BW,BHは、水平・垂直の画面端から、長方形までのピクセル数を表し、例えば、BW＝64,BH＝64である。尚、式（１）乃至式（４）においては、画像ＰＬ１を画像ＰＬ２に変換する場合の例についての変換式であるが、基本的に、画像ＰＲ１を画像ＰＲ２に変換する変換式についても同様であるので、その説明は省略する。
【００３５】
また、調整パラメータは、(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)で表され、上記の長方形状の画像における各頂点を射影変換するためのパラメータである。
【００３６】
調整パラメータのうち、ΔＸ,ΔYは、それぞれ、水平方向、および垂直方向の全画面でのカメラ画像のずれを補正するパラメータである。例えば、ΔYは、正の方向に大きいとき、図５の画像ＰＬ１１で示されるように、射影変換元の基準長方形をΔＹだけ下側へ移動させたり、または、図５の画像ＰＲ１１で示されるように、ΔＹだけ上部へ移動することに対応する。このパラメータは、例えば、入力された左右カメラ画像の左側が右側に対し理想的な状態から画像全体でｎピクセル下へずれている場合は、ΔY＝ｎとすることで、左右画像間の上下ずれを補正することができる。同様に、ΔＸに関しては、図５の画像ＰＬ１２，ＰＲ１２で示されるように、左右のずれを補正するパラメタとなる。
【００３７】
調整パラメータΔS0、ΔY0、ΔS1、ΔY1は、上部の傾きおよび上部の垂直方向のオフセット、並びに、下部の傾きおよび下部の垂直方向のオフセットを合わせるパラメタである。後述する、２枚の補正画像のステレオマッチングにおいては、垂直方向のわずか（サブピクセル精度）でもズレがあると、マッチングがうまくいかずエラーとして現れることが知られている。そこで、画像中の上部と下部について別々に調整する。すなわち、調整パラメータΔS0により、図５の画像ＰＬ１３，ＰＲ１３で示されるように、上部の傾きを調整し、調整パラメータΔS1により、図５の画像ＰＬ１４，ＰＲ１４で示されるように、下部の傾きを調整する。また、画像中の上部と下部について別々に、調整パラメータΔY0により、図５の画像ＰＬ１５，ＰＲ１５で示されるように、上部のオフセットを調整し、調整パラメータΔY1により、図５の画像ＰＬ１６，ＰＲ１６で示されるように、下部のオフセットを調整する。
【００３８】
そして、調整パラメータ(ΔＸ,ΔY,ΔS0,ΔS1,ΔY0,ΔY1)は、ずれ調整部２４において、マッチング部２３におけるディスパリティ画像におけるエラーが最小となるように調整されている。射影変換元の４頂点の各座標(x_left[n],y_left[n])は、これらの調整パラメータ(ΔＸ,ΔY,ΔS0,ΔS1,ΔY0,ΔY1)と、射影変換先の座標(Ｘ_left[n],Y_left[n])とにより以下の式（５）乃至式（１２）のように表されることになる。
【００３９】
【数５】
【数６】
【数７】
【数８】
【数９】
【数１０】
【数１１】
【数１２】
【００４０】
上のようにして求めた、左右の射影変換元と射影先の座標をそれぞれ(x,y)、(Ｘ,Y)に置き換えると、次のように、射影変換パラメタa,b,c,d,e,f,g,hを用いて、以下の式（１３），式（１４）で表すことができる。
【００４１】
【数１３】
【数１４】
【００４２】
上記の式は、射影変換前の座標(x,y)と射影変換後の座標 (Ｘ,Y)をそれぞれ（xn,yn）,（Ｘn,Yn）（nは0,1,2,3）とし、射影変換パラメータをP＝（a,b,c,d,e,f,g,h）とおくと、以下の式（１５）のように変形することができる。
【００４３】
【数１５】
【００４４】
上述した式（１５）の（xn,yn）へ、x_left[n],y_left[n]の座標を代入し、（Ｘn,Yn）へＸ_left[n],Y_left[n]を代入することによって、射影変換パラメータPを、それぞれ連立方程式の解として求めることができる。
【００４５】
以下、上記で求めた左画像用、右画像用の射影変換パラメータPは、それぞれ、Pleft,Prightとする。
【００４６】
すなわち、射影変換部４１−１，４１−２は、上述したように求めた、射影変換パラメータPleft,Prightに基づいて、カメラ２１−１，２１−２のそれぞれで撮像された画像に対して、式（１３），式（１４）による射影変換処理を行い、補正画像を生成する。尚、射影変換での画素値の対応付けについては、エイリアシングの発生を抑えるため、バイリニア法、バイキュービック法等による、周辺画素を用いた画素補間を行うことが望ましい。
【００４７】
マッチング部２３は、画像ずれ補正部２２より供給されてくる視点の異なるカメラ２１−１，２１−２により撮像された画像が調整パラメータに基づいて補正された画像を用いて、ディスパリティ画像を生成する。また、マッチング部２３は、ディスパリティ画像のエラーを評価するマッチング評価値を計算して、ずれ調整部２４に供給する。
【００４８】
より詳細には、マッチング部２３は、垂直エッジ検出部６１−１，６１−２、およびステレオマッチング部６２を備えている。垂直エッジ検出部６１−１，６１−２は、それぞれカメラ２１−１，２１−２により撮像された画像に対応する補正画像に対して、エッジ検出フィルタ処理をすることによりエッジ検出画像を生成してステレオマッチング部６２に供給する。ステレオマッチング部６２は、カメラ２１−１，２１−２により撮像された画像に対応するエッジ検出画像を用いてステレオマッチング処理を実行し、ディスパリティ画像を生成すると共に、ディスパリティ画像のエラーを評価するマッチング評価値を算出する。
【００４９】
より詳細には、ステレオマッチング部６２は、類似度計算部１０１、ペナルティ計算部１０２、コスト計算部１０３、マッチング評価値計算部１０４、およびディスパリティ計算部１０５を備えている。類似度計算部１０１は、２枚のエッジ検出画像の類似度similarityを計算する。ペナルティ計算部１０２は、隣接する画素間のディスパリティの変化に対するペナルティpenaltyを計算により求める。コスト計算部１０３は、２枚のエッジ検出画像の水平方向のライン毎の類似度similarityとペナルティpenaltyとを加算することによりコストcostを計算する。マッチング評価値計算部１０４は、全てのライン毎のコストcostの総和をマッチング評価値errorとして計算する。ディスパリティ計算部１０５は、コストcostを最小にするときの各画素のディスパリティdispalityを求め、ディスパリティ画像として出力する。
【００５０】
ずれ調整部２４は、マッチング評価値errorが最小となるように、調整パラメータ(ΔＸ,ΔY,ΔS0,ΔS1,ΔY0,ΔY1)を更新する。より詳細には、ずれ調整部２４は、調整パラメータ更新部８１、および調整パラメータ保存部８２を備えている。調整パラメータ更新部８１は、調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)を変化させながら、マッチング評価値errorを求め、マッチング評価値errorが最小となるように更新して、調整パラメータ保存部８２に保存させる。
【００５１】
より詳細には、調整パラメータ更新部８１は、簡易位置調整部１２１、詳細位置調整部１２２、および傾き調整部１２３を備えている。簡易位置調整部１２１は、調整パラメータのうち、視差の探索方向のパラメータである調整パラメータ(ΔＸ,ΔY)を画像の全範囲について、比較的荒い画素の間隔で、変化させて、最もマッチング評価値errorが小さくなるように、調整パラメータ(ΔＸ,ΔY)を調整する。詳細位置調整部１２２は、簡易位置調整部１２１により求められた調整パラメータ(ΔＸ,ΔY)の近傍において、画素間の間隔を徐々に小さくしながら変化させて、マッチング評価値errorが最小となるように、調整パラメータ(ΔＸ,ΔY)を詳細に調整する。傾き調整部１２３は、調整パラメータのうち、視差の探索方向に対して直交する方向のパラメータである調整パラメータ(ΔS0,ΔY0,ΔS1,ΔY1)を、調整パラメータΔS0→ΔY0→ΔS1→ΔY1→・・の順序で徐々に変化の間隔を小さくしながら繰り返して、マッチング評価値errorが最小となるように、調整パラメータ(ΔS0,ΔY0,Δ
S1,ΔY1)を調整する。
【００５２】
すなわち、画像処理装置１１においては、ずれ調整部２４により調整された調整パラメータにより、画像ずれ補正部２２が、カメラ２１−１，２１−２により撮像される画像を補正して、補正画像としてマッチング部２３に供給する。そして、マッチング部２３が、２枚の補正画像に基づいてステレオマッチング処理によりディスパリティ画像を生成すると共に、マッチング評価値errorを算出する。ずれ調整部２４が、このマッチング評価値errorを最小にするように、調整パラメータを更新する。この一連の処理が繰り返されることにより、マッチング評価値errorが最小となるところで、調整パラメータが収束し、キャリブレーションが完了し、以降においては、高い精度でディスパリティ画像を生成することが可能となる。
【００５３】
［キャリブレーション処理］
次に、図６のフローチャートを参照して、キャリブレーション処理について説明する。
【００５４】
ステップＳ１において、ずれ調整部２４の調整パラメータ更新部８１は、調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)の基準となるベース調整量(ΔＸbase,ΔYbase,ΔS0base,ΔY0base,ΔS1base,ΔY1base)を、調整パラメータとして取り得る値のいずれかに初期化する。初期化する値としては、例えば、調整パラメータとして取り得る値の範囲の最小値、または最大値などである。
【００５５】
ステップＳ２において、調整パラメータ更新部８１は、簡易位置調整部１２１を制御して、簡易位置調整処理を実行させて、簡易的にマッチング評価値errorが小さくなる概略の調整パラメータ(ΔＸ,ΔY)を求める。
【００５６】
［簡易位置調整処理］
ここで、図７のフローチャートを参照して、簡易位置調整処理について説明する。
【００５７】
ステップＳ２１において、簡易位置調整部１２１は、エラー最小値error_minを定義して、初期化すると共に、調整パラメータであるΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1の調整変数ΔＸ’,ΔY’,ΔS0’,ΔY0’,ΔS1’,ΔY1’を初期化する。より具体的には、簡易位置調整部１２１は、エラー最小値error_minとして考えられる最大値を代入すればよく、例えば、エラー最小値error_min＝0xffffffffとするようにしてもよい。尚、簡易位置調整処理においては、調整パラメータのうちΔＸ,ΔYのみしか扱わないため、この調整パラメータのみが初期化されれば、その他の値は、所定の値に設定されているのみでもよい。
【００５８】
ステップＳ２２において、簡易位置調整部１２１は、調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)を、調整変数（ΔＸ’,ΔY’,ΔS0’,ΔY0’,ΔS1’,ΔY1’）を用いて計算し更新し、調整パラメータ保存部８２に保存する。すなわち、簡易位置調整部１２１は、調整パラメータのそれぞれについて、ベース調整量に調整変数の値を加算することにより（ΔＸ＝ΔＸbase+ΔＸ’，ΔY＝ΔYbase+ΔY’，ΔS0＝ΔS0base+ΔS0’，ΔY0＝ΔY0base+ΔY0’，ΔS1＝ΔS1base+ΔS1’，ΔY1＝ΔY1base+ΔY1’）計算し、更新する。ここで、（ΔＸbase，ΔYbase，ΔS0base，ΔY0base，ΔS1base，ΔY1base）は、それぞれ調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)のベース調整量である。
【００５９】
ステップＳ２３において、画像ずれ補正部２２の射影変換パラメータ算出部４２は、調整パラメータ保存部８２に保存されている調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)を読み出して、上述した式（１３），式（１４）により射影変換パラメータPを算出し、射影変換部４１−１，４１−２に供給する。
【００６０】
ステップＳ２４において、射影変換部４１−１，４１−２は、射影変換パラメータPに基づいて、カメラ２１−１，２１−２より供給されてくる画像を射影変換することで、補正画像を生成し、マッチング部２３に供給する。
【００６１】
ステップＳ２５において、マッチング部２３の垂直エッジ検出部６１−１，６１−２は、画像ずれ補正部２２の射影変換部４１−１，４１−２のそれぞれから供給されてくる補正画像に垂直エッジ検出フィルタにより処理を施して、垂直エッジを検出する。そして、垂直エッジ検出部６１−１，６１−２は、それぞれ検出した垂直エッジからなるエッジ検出画像をステレオマッチング部６２に供給する。
【００６２】
より詳細には、垂直エッジ検出部６１−１，６１−２は、入力されたカメラ２１−１，２１−２により撮像された画像が画像ずれ補正部２２により補正された補正画像のＤＣ（Direct Current）のオフセット成分による左右間の差異の影響をなくすために、ステレオマッチングにおいて必要な水平方向のエッジ情報の抽出をおこなった、エッジ画像を生成する。垂直エッジ検出部６１−１，６１−２は、入力された補正画像の各画素を注目画素とするとき、例えば、その注目画素を中心として、3画素×3画素の方形のSobelフィルタによる処理を施す。より具体的には、垂直エッジ検出部６１−１，６１−２は、以下の式（１６）で示される演算により、入力画像の注目画素の輝度値をg(x,y)、出力画像の輝度値をf(x,y)として演算する。
【００６３】
【数１６】
【００６４】
ここで、hは、例えば、以下の式（１７）で示されるSobelフィルタを示す行列式である。
【００６５】
【数１７】
【００６６】
ステップＳ２６において、ステレオマッチング部６２は、供給されてきたカメラ２１−１，２１−２によりそれぞれ撮像された画像に対応するエッジ検出画像を用いてステレオマッチング処理を実行することにより、マッチング評価値errorを算出すると共に、ディスパリティ画像を生成する。
【００６７】
［ステレオマッチング処理］
ここで、図８のフローチャートを参照して、ステレオマッチング処理について説明する。
【００６８】
尚、ここでは、カメラ２１−１，２１−２により撮像された画像のうち、左画像を基準としたときの、右画像の対応点までのディスパリティを求める例を示すものとする。また、左画像をp(x,y),右画像をq(x,y)とし、求めるディスパリティは、disparity(x,y)（0≦disparity(x,y)≦d_max）とする。d_maxは、求めるディスパリティの最大値であり、例えば、d_max＝63である。
【００６９】
ステップＳ５１において、類似度計算部１０１は、左右画像間の類似度を表すsimilarity(x,y,d)を以下の式（１８）を計算する。
【００７０】
【数１８】
【００７１】
尚、類似度similarity(x,y,d)を求める式（１８）においては、3画素×3画素のブロック領域の輝度差の差分絶対値和(SAD)を用いる例が示されているが、このブロックサイズには限定されるものではない。また、類似度similarity(x,y,d)を求めるにあたっては、差分絶対値和（SAD）ではなく、差分二乗和（SSD）等が用いられる計算であってもよい。また、ここで、dは、水平方向のずれ量である。
【００７２】
ステップＳ５２において、ペナルティ計算部１０２は、ディスパリティdisparity(x,y)は滑らかに変化するという制約を加えるペナルティを計算する。より詳細には、ペナルティ計算部１０２は、水平方向に隣合う画素のディスパリティ値をd0,d1とするとき、以下の式（１９）のように定義する。
【００７３】
【数１９】
【００７４】
ここで、λは、ディスパリティの変化量の絶対値に比例してペナルティを変化させる重みであり、例えば、λ＝５などである。尚、式（１９）は、必ずしも比例式でなくてもよく、ディスパリティdisparity(x,y)の変化量に応じて増加する関数であればよい。
【００７５】
ステップＳ５３において、コスト計算部１０３は、各ライン(y＝0)毎に、x＝0からx＝W−1の間において、左右画像間の類似度similarity(x,y,d)とディスパリティ値の連続性に関するペナルティpenalty(d0,d1)を加算していったときのコスト関数を以下の式（２０）のように計算する。
【００７６】
【数２０】
【００７７】
ステップＳ５４において、ディスパリティ計算部１０５は、式（２０）を計算することにより、ディスパリティを計算する。より詳細には、ディスパリティ計算部１０５は、例えば、x＝0から、x＝W-1までのディスパリティを求める場合、cost_min（W−1,y）を最小化することによって、各ピクセルのディスパリティdisparity(x,y)を求める。この最小化計算に関しては、動的計画法（Dynamic Programming）を用いることによって比較的少ない演算量で実現することが可能である。このような、ステレオマッチングのディスパリティ算出のために、上記と同様に動的計画法を使用する例は、現在は、広く知られている。動的計画法を用いたステレオマッチングについては、例えば、Yuichi Ohta, Takeo Kanade Stereo by Intra- and Inter-Scanline Search Using Dynamic Programming IEEE Transactions on Pattern Analysis and Machine Intelligence,1985を参照されたい。
【００７８】
尚、コスト関数の定義も様々な手法があるが、上記に限定されず、ステレオマッチング処理によるエラー量に対応してコストが増加するような関数であれば、他の手法を用いてもよい。
【００７９】
ステップＳ５５において、マッチング評価値計算部１０４は、以下の式（２１）で示されるように、上記の式（２０）で示されるcost_min(x,y)の全ラインでの総和をマッチング処理における評価値errorとして計算し、ずれ調整部２４に供給する。
【００８０】
【数２１】
【００８１】
ただし、画像端部分は、対応点の欠落等で統計的に正しい情報が少ないので、ピクセル単位での類似度とペナルティ量の和を求め、全画面で重み付けを行いながらその総和を求めて、これを評価値としてもよい。
【００８２】
すなわち、画素単位でのコストcost(x,y)は、以下の式（２２）のように表される。
【００８３】
【数２２】
【００８４】
そこで、マッチング評価値計算部１０４は、式（２２）で表されるコストcost(x,y)に対して、画面端部の寄与が下がるように重み付けし、さらに、積分することにより、以下の式（２３）で示されるように計算するようにしてもよい。このようにすることで、マッチング評価値計算部１０４は、重み付けにより画像端部分の寄与を小さくしたマッチング評価値を計算することが可能となる。
【００８５】
【数２３】
【００８６】
ここで、weight(a)は、重み付け関数であり、例えば、以下の式（２４）で示すような関数としてもよい。
【００８７】
【数２４】
【００８８】
ここで、引数のaは、有効画素の位置(x,y)を、水平もしくは垂直軸上で0から1.0で表している。なお、重み付けの方法としては、端部の寄与が下がるようなものであれば、その他の関数であってもよいものである。
【００８９】
なお、上記においては、左画像を基準として右画像の対応を求めるステレオマッチングの結果を求める例について説明してきたが、同様に右画像を基準として左画像の対応を求めることができる。そこで、マッチング評価値計算部１０４は、これらを用いて、左右それぞれを基準としたマッチング評価値を、error_left_base,error_right_baseとし、それらの和を以下の式（２５）で示すように定義して求め、これをマッチング評価値してもよい。このように左右それぞれを基準としたステレオマッチングを行うことにより、互いに死角となり参照できない領域（オクリュージョン）部分の評価値を上乗せできるため、評価値としての特性をより向上させることが可能となる。
【００９０】
【数２５】
【００９１】
ここで、図７のフローチャートの説明に戻る。
【００９２】
ステップＳ２７において、ずれ調整部２４における調整パラメータ更新部８１の簡易位置調整部１２１は、求められたマッチング評価値errorが、今現在のエラー最小値error_minよりも小さいか否かを判定する。ステップＳ２７において、マッチング評価値errorが、エラー最小値error_minよりも小さい場合、最小値が更新されたものとみなし、処理は、ステップＳ２８に進む。
【００９３】
ステップＳ２８において、簡易位置調整部１２１は、このときの調整パラメータ（ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1）を調整パラメータの最小値（ΔＸmin,ΔYmin,ΔS0min,ΔY0min,ΔS1min,ΔY1min）として記憶する。このとき、簡易位置調整部１２１は、エラー最小値error_minを、今現在のマッチング評価値errorに更新する。
【００９４】
一方、ステップＳ２７において、マッチング評価値errorがエラー最小値error_minよりも小さくない場合、ステップＳ２８の処理はスキップされる。
【００９５】
ステップＳ２９において、簡易位置調整部１２１は、調整変数のうち、ΔＸ’，ΔY’で定義される、マッチング評価値errorの最小値の探索範囲のうち、未処理の探索範囲が残っているか否かを判定する。調整変数ΔＸ’,ΔY’,ΔS0’,ΔY0’,ΔS1’,ΔY1’の探索範囲は、それぞれ、ΔＸ’min乃至ΔＸ’max,ΔY’min乃至ΔY’max,ΔS0’min乃至ΔS0’max,ΔY0’min乃至ΔY0’max,ΔS1’min乃至ΔS1’max,ΔY1’min乃至ΔY1’maxで表現されることになる。そこで、調整変数ΔＸ’,ΔY’,ΔS0’,ΔY0’,ΔS1’,ΔY1’の探索範囲は、それぞれΔＸ’min≦ΔＸ’≦ΔＸ’max，ΔY’min≦ΔY’≦ΔY’max，ΔS0’min≦ΔS0’≦ΔＸ’max，ΔY0’min≦ΔY0’≦Y0’max，ΔS1’min≦ΔS1’≦ΔＸ’max，ΔY1’min≦ΔY1’≦Y1’maxのように定義される。
【００９６】
ステップＳ２９において、探索範囲が残されていると判定された場合、ステップＳ３０において、簡易位置調整部１２１は、調整変数（ΔＸ’，ΔY’）を未処理の探索範囲のものに更新し、処理は、ステップＳ２２に戻る。
【００９７】
すなわち、例えば、探索範囲における探索対象となる画素が、図９で示されるように定義される場合、図中の左上の丸印で示される画素ＳＬ１から矢印の順序でＳＬｍまで順次設定される。このとき、探索変数ΔＸ’,ΔY’の探索間隔をΔＸ’step,ΔY’stepとすれば、ΔＸ’min乃至ΔＸ’maxにおいては、ΔＸ’＝ΔＸ’+ΔＸ’stepにより順次更新され、Ｘ’maxになると、ΔY’＝ΔY’+ΔY'stepにより更新されて、ΔＸ’＝ΔＸ’minとされ、ΔY’min乃至ΔY’maxの範囲で同様の処理が繰り返されて、Ｘ’＝Ｘ’maxで、かつ、Y’＝Y’maxのとき処理が終了することになる。
【００９８】
そして、ステップＳ２９において、探索範囲が残されていないと判定された場合、処理は、ステップＳ３１に進む。
【００９９】
ステップＳ３１において、簡易位置調整部１２１は、エラー最小値error_minにおける調整パラメータの最小値（ΔＸmin,ΔYmin,ΔS0min,ΔY0min,ΔS1min,ΔY1min）に基づいて、ベース調整量(ΔＸbase,ΔYbase,ΔS0base,ΔY0base,ΔS1base,ΔY1base)を更新する。すなわち、簡易位置調整部１２１は、ベース調整量(ΔＸbase,ΔYbase)を、エラー最小値error_minにおける調整パラメータの最小値（ΔＸmin,ΔYmin）に設定し、処理を終了する。
【０１００】
すなわち、以上の処理により、画像の全範囲において、マッチング評価値errorが最小となる調整パラメータ(ΔＸ，ΔY)となる、概ねの位置をベース調整量(ΔＸbase,ΔYbase)として求めることが可能となる。
【０１０１】
ここで、図６のフローチャートの説明に戻る。
【０１０２】
ステップＳ３において、調整パラメータ更新部８１の詳細位置調整部１２２は、簡易位置調整処理により簡易的に求められた概略の調整パラメータ(ΔＸ,ΔY)に基づいて、詳細位置調整処理を実行し、より詳細にマッチング評価値errorが最小となる概略の調整パラメータ(ΔＸ,ΔY)を求める。
【０１０３】
［詳細位置調整処理］
ここで、図１０のフローチャートを参照して、詳細位置調整処理について説明する。
【０１０４】
ステップＳ８１において、詳細位置調整部１２２は、後述する繰り返し回数をカウントするカウンタｒを初期化する。
【０１０５】
ステップＳ８２において、詳細位置調整部１２２は、直前の処理でエラー最小値error_minとなる調整パラメータ(ΔＸ,ΔY)の近傍に縮小した探索範囲を設定する。
【０１０６】
ステップＳ８３において、詳細位置調整部１２２は、探索変数ΔＸ’,ΔY’の探索間隔を、探索範囲に対応付けて縮小する。
【０１０７】
すなわち、図１１の上段の丸印で示される各画素の探索範囲内において、色付きの丸印で示される画素が、１回目の処理でエラー最小値error_minとなる調整パラメータΔＸまたはΔYを示す場合、詳細位置調整部１２２は、２回目の処理では、図１１の中段の丸印が示されるように、探索画素の間隔（ΔＸ’stepまたはΔY’step）を小さくし、さらに、探索された１回目の処理で求められた画素の近傍の範囲を探索範囲に設定する。同様に、図１１の中段の丸印で示される各画素の探索範囲内において、色付きの丸印の画素が、２回目の処理でエラー最小値error_minとなる調整パラメータΔＸまたはΔYを示す場合、詳細位置調整部１２２は、３回目の処理では、図１１の下段の丸印で示されるように、探索画素の間隔（ΔＸ’stepまたはΔY’step）をさらに小さくし、２回目に探索された画素の近傍の範囲を探索範囲に設定する。
【０１０８】
尚、ステップＳ８４乃至Ｓ９２の処理については、図７のステップＳ２２乃至Ｓ３０の処理と同様であるので、その説明は省略するものとする。
【０１０９】
すなわち、ステップＳ８４乃至Ｓ９２の処理により、探索範囲、および、探索変数の変化が縮小されて、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔＸ,ΔY)が求められると、処理は、ステップＳ９３に進む。
【０１１０】
ステップＳ９３において、詳細位置調整部１２２は、繰り返し回数のカウンタｒが所定回数となり、所定回数だけ探索範囲、および、探索変数の変化を縮小して、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔＸ,ΔY)が求められたか否かを判定する。ステップＳ９３において、例えば、繰り返し回数が所定回数ではないと判定された場合、ステップＳ９４において、詳細位置調整部１２２は、カウンタｒを１インクリメントして、処理は、ステップＳ８２に戻る。すなわち、ステップＳ８２乃至Ｓ９４の処理が、所定回数だけ繰り返される。そして、ステップＳ９３において、所定回数だけ繰り返されたと判定された場合、処理は、ステップＳ９５に進む。
【０１１１】
ステップＳ９５において、詳細位置調整部１２２は、エラー最小値error_minにおける調整パラメータの最小値（ΔＸmin,ΔYmin,ΔS0min,ΔY0min,ΔS1min,ΔY1min）に基づいて、ベース調整量(ΔＸbase,ΔYbase,ΔS0base,ΔY0base,ΔS1base,ΔY1base)を更新する。すなわち、詳細位置調整部１２２は、ベース調整量(ΔＸbase,ΔYbase)を、エラー最小値error_minにおける調整パラメータの最小値（ΔＸmin,ΔYmin）に設定し、処理を終了する。
【０１１２】
すなわち、以上の処理により、概ねの位置として求められたベース調整量(ΔＸbase,ΔYbase)が求められた近傍の範囲において、所定回数だけ探索範囲、および、探索変数の変化を縮小して、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔＸ,ΔY)が求められる処理が繰り返される。結果として、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔＸ,ΔY)が詳細に求められ、ベース調整量(ΔＸbase,ΔYbase)として格納することが可能となる。
【０１１３】
ここで、図６のフローチャートの説明に戻る。
【０１１４】
ステップＳ３の詳細位置調整処理により調整パラメータ(ΔＸ,ΔY)が詳細に求められると、処理は、ステップＳ４に進む。
【０１１５】
ステップＳ４において、傾き調整部１２３は、傾き調整処理を実行することにより、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ（ΔS0,ΔY0,ΔS1,ΔY1）を求める。
【０１１６】
［傾き調整処理］
ここで、図１２のフローチャートを参照して、傾き調整処理について説明する。
【０１１７】
ステップＳ１０１において、傾き調整部１２３は、繰り返し回数をカウントするカウンタｒ、および後述する調整パラメータを識別するカウンタｋを０に初期化する。
【０１１８】
ステップＳ１０２において、傾き調整部１２３は、直前の処理でエラー最小値error_minとなる調整パラメータZ(k)(k＝0乃至3)(＝(ΔS0,ΔY0,ΔS1,ΔY1))の近傍に縮小した探索範囲を設定する。ここでは、調整パラメータ(ΔS0,ΔY0,ΔS1,ΔY1)を、カウンタkにより調整パラメータZ(k)(k＝0乃至3)で表現するものとする。すなわち、調整パラメータZ(0)は、調整パラメータΔS0であり、調整パラメータZ(1)は、調整パラメータΔY0であり、調整パラメータZ(2)は、調整パラメータΔS1であり、調整パラメータZ(3)は、調整パラメータΔY1である。また、調整パラメータのそれぞれについて探索範囲が設定され、最初の処理においては、取り得る値の全範囲であってもよいものである。
【０１１９】
ステップＳ１０３において、傾き調整部１２３は、探索変数ΔS0’,ΔY0’,ΔS1’,ΔY1’の探索間隔を、探索範囲に対応付けて設定する。すなわち、上述した探索範囲ΔＸ’，ΔY’の探索間隔を設定した場合と同様に、探索範囲、および繰り返し回数に対応付けて縮小されて設定される。
【０１２０】
尚、ステップＳ１０４乃至Ｓ１１２の処理については、図７のステップＳ２２乃至Ｓ３０の処理と同様であるので、その説明は省略するものとする。
【０１２１】
すなわち、ステップＳ１０４乃至Ｓ１１２の処理により、探索範囲、および、探索変数の変化が縮小されて、マッチング評価値errorがエラー最小値error_minとなる調整パラメータZ(k)が求められると、処理は、ステップＳ１１３に進む。
【０１２２】
ステップＳ１１３において、傾き調整部１２３は、カウンタkがk＝3であるか否かを判定する。ステップＳ１１３において、カウンタkがk＝3ではない場合、ステップＳ１１４において、カウンタkが１インクリメントされて、処理は、ステップＳ１０４に戻る。
【０１２３】
すなわち、ステップＳ１０４乃至Ｓ１１４の処理が繰り返されることにより、カウンタkが１インクリメントされる度に、マッチング評価値errorがエラー最小値error_minとなる調整パラメータが、ΔS0→ΔY0→ΔS1→ΔY1の順序で切り替えられて求められる。そして、ステップＳ１１３において、カウンタkがk＝3、すなわち、調整パラメータΔS0,ΔY0,ΔS1,ΔY1の4種類が全て求められた場合、処理は、ステップＳ１１５に進む。
【０１２４】
ステップＳ１１５において、傾き調整部１２３は、繰り返し回数のカウンタｒが所定回数となり、所定回数だけ探索範囲、および、探索変数の変化を縮小して、マッチング評価値errorがエラー最小値error_minとなる調整パラメータΔS0,ΔY0,ΔS1,ΔY1の4種類の全てが求められたか否かを判定する。ステップＳ１１５において、例えば、繰り返し回数が所定回数ではないと判定された場合、ステップＳ１１６において、傾き調整部１２３は、繰り返し回数をカウントするカウンタｒを１インクリメントする。そして、ステップＳ１１７において、傾き調整部１２３は、調整パラメータZ(k)を識別するカウンタｋを１インクリメントして、処理は、ステップＳ１０２に戻る。すなわち、ステップＳ１０２乃至Ｓ１１７の処理が、所定回数だけ繰り返されることにより、調整パラメータΔS0,ΔY0,ΔS1,ΔY1が、ΔS0→ΔY0→ΔS1→ΔY1の順序で切り替えられながら、探索範囲、および、探索変数の変化が縮小されて、マッチング評価値errorがエラー最小値error_minとなる調整パラメータZ(k)が求められる処理が繰り返される。そして、ステップＳ１１５において、所定回数だけ繰り返されたと判定された場合、処理は、ステップＳ１１６に進む。
【０１２５】
ステップＳ１１６において、傾き調整部１２３は、エラー最小値error_minにおける調整パラメータの最小値（ΔＸmin,ΔYmin,ΔS0min,ΔY0min,ΔS1min,ΔY1min）に基づいて、ベース調整量(ΔＸbase,ΔYbase,ΔS0base,ΔY0base,ΔS1base,ΔY1base)を更新する。すなわち、傾き調整部１２３は、ベース調整量(ΔS0base,ΔY0base,ΔS1base,ΔY1base)を、エラー最小値error_minにおける調整パラメータの最小値（ΔS0min,ΔY0min,ΔS1min,ΔY1min）に設定し、処理を終了する。
【０１２６】
すなわち、傾き調整部１２３は、図１３の上部の１段目乃至４段目に対応する調整パラメータΔS0,ΔY0,ΔS1,ΔY1のそれぞれについて、ライン上に丸印で示される各画素の探索範囲内において、それぞれ色付きの丸印で示される画素が、１回目の処理でエラー最小値error_minとなる調整パラメータΔS0,ΔY0,ΔS1,ΔY1として求められた場合、２回目の処理では、図１３の下部の１段目乃至４段目に対応する調整パラメータΔS0,ΔY0,ΔS1,ΔY1のそれぞれについて、ライン上に丸印で示されるように、探索画素の間隔（ΔS0’step,ΔY0’step,ΔS1’step,ΔY1’step）を小さくし、さらに、探索された画素の近傍の範囲を探索範囲に設定する。
【０１２７】
すなわち、以上の処理により、ベース調整量(ΔS0base,ΔY0base,ΔS1base,ΔY1base)が求められた近傍の範囲において、所定回数だけ探索範囲、および、探索変数の変化を縮小して、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔS0,ΔY0,ΔS1,ΔY1)が繰り返し求めることが可能となる。結果として、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔS0,ΔY0,ΔS1,ΔY1)を詳細に求めることが可能となる。
【０１２８】
ここで、図６のフローチャートの説明に戻る。
【０１２９】
ステップＳ４の処理により、マッチング評価値errorがエラー最小値error_minとなる調整パラメータ(ΔS0,ΔY0,ΔS1,ΔY1)として、ベース調整量(ΔS0base,ΔY0base,ΔS1base,ΔY1base)が求められると、処理は、ステップＳ５に進む。
【０１３０】
ステップＳ５において、調整パラメータ更新部８１は、上述したステップＳ３，Ｓ４の処理により求められたベース調整量(ΔＸbase,ΔYbase,ΔS0base,ΔY0base,ΔS1base,ΔY1base)を、調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)として調整パラメータ保存部８２に保存し、処理を終了する。
【０１３１】
例えば、上述したステップＳ３，Ｓ４の処理における繰り返し回数を３回であるものとした場合、調整パラメータの水平方向の範囲としては、ΔＸ'min＝−4.0/N，ΔＸ'max＝+4.0/Nとし、垂直方向の範囲としてはΔY'min＝−2.0/N,ΔY'max＝+2.0/Nとする。また、水平方向の間隔としては、ΔＸ'step＝−1.0/Nとし、垂直方向の間隔としてはΔY'step＝−0.5/N,ΔY'max＝+0.5/Nのようにしてもよい。さらに、この場合、上部傾きの範囲としてはΔS0'min＝−2.0/N,ΔS0'max＝+2.0/Nとし、上部垂直方向の範囲としてはΔY0'min＝−1.0/N,ΔY0'max＝+1.0/Nとしてもよい。また、同様の場合、下部傾きの範囲としては、ΔS1'min＝−2.0/N,ΔS1'max＝+2.0/Nとし、下部垂直方向の範囲としてはΔY1'min＝−1.0/N,ΔY1'max＝+1.0/Nとするようにしてもよい。さらにこの場合、上部傾きの間隔としてはΔS0'step＝0.5/N、上部垂直方向の間隔としてはΔY0'step＝0.25/N、下部傾きの間隔としてはΔS1'step＝0.5/N、下部垂直方向の間隔としてはΔY1'step＝0.25/Nとするようにしてもよい。
【０１３２】
以上の処理により、ステレオ画像を撮像する画像に基づいたステレオマッチングの処理によるディスパリティ画像におけるエラーの量を評価するマッチング評価値errorが最小となるように調整パラメータを設定することが可能となるので、ステレオ画像を撮像する複数のカメラの撮像方向のずれを、調整パラメータにより調整することが可能となる。また、上述したキャリブレーション処理が実行される間も、ステレオマッチング処理が繰り返されるので、ディスパリティ画像は生成され続けるため、ディスパリティ画像を生成し続けている状態のまま、キャリブレーション処理を継続することができ、製品として製造する間に別途キャリブレーションをするための工程を設ける必要がないため、製造コストをかけることなく、ユーザが使用するだけでキャリブレーションを実現することが可能となる。また、ディスパリティ画像を生成し続けながらキャリブレーションを繰り返すことができるので、経年劣化によりカメラ２１−１，２１−２の光軸が変化しても、その変化に追従してキャリブレーションを掛ける事が可能となる。また、撮像された画像の全範囲を用いて得られるマッチング評価値に基づいてキャリブレーションを掛ける事ができるので、よりロバスト性の高いキャリブレーションを掛ける事が可能となる。
【０１３３】
＜２．第２の実施の形態＞
［画像処理装置のその他の構成例］
以上においては、キャリブレーション処理をソフトウェアプログラムにより実現する場合について説明してきたが、カメラ２１−１，２１−２の撮像方向などを制御するハードウェアの動作を制御することにより実現できるようにしてもよい。図１４は、ハードウェアの動作を制御してキャリブレーションできるようにした本発明を適用した画像処理装置のハードウェアのその他の形態の構成例を示している。尚、図１４において、図１と同一の構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
【０１３４】
図１４の画像処理装置１１において、図１の画像処理装置１１と異なる点は、画像ずれ補正部２２に代えて、画像ずれ補正部１５１を備えた点である。
【０１３５】
画像ずれ補正部２２においてカメラ２１−１，２１−２のそれぞれの撮像画像をソフトウェアプログラムにより撮像された画像を補正して補正画像を生成していた。これに対して、画像ずれ補正部１５１は、カメラ２１−１，２１−２の撮像方向を制御して補正画像を生成する。
【０１３６】
具体的には、画像ずれ補正部１５１は、図１５の左部の矢印ｔ１，ｔ２で示されるように、カメラ２１−１，２１−２のチルト方向を制御する。また、画像ずれ補正部１５１は、図１５の中央部の矢印ｐ１，ｐ２で示されるように、カメラ２１−１，２１−２のパン方向を制御する。さらに、画像ずれ補正部１５１は、図１５の右部の矢印ｒ１，ｒ２で示されるように、カメラ２１−１，２１−２の回転方向を制御する。
【０１３７】
より詳細には、画像ずれ補正部１５１は、光軸調整量変換部１７１、および光軸調整部１７２−１，１７２−２を備えている。光軸調整量変換部１７１は、調整パラメータ保存部８２に保存されている調整パラメータ(ΔＸ,ΔY,ΔS0,ΔY0,ΔS1,ΔY1)に基づいて、カメラ２１−１，２１−２のそれぞれをチルト、パン、回転のそれぞれを制御する光軸調整量を生成する。
【０１３８】
光軸調整部１７２−１，１７２−２は、それぞれカメラ２１−１，２１−２のチルト、パン、回転を物理的に制御して、カメラ２１−１，２１−２のそれぞれにより撮像される画像のずれを補正することで、結果として、補正画像を生成して、マッチング部２３に供給する。
【０１３９】
尚、図１４の画像処理装置１１におけるキャリブレーション処理については、図６のステップＳ２乃至Ｓ４の一部が異なるのみであるので、異なる処理についてのみ説明する。
【０１４０】
［簡易位置調整処理］
図１６のフローチャートを参照して、異なる処理である簡易位置調整処理について説明する。尚、図１６のフローチャートにおいては、ステップＳ１２３，Ｓ１２４の処理を除いては、図７のフローチャートにおけるステップＳ２１，Ｓ２２，Ｓ２５乃至Ｓ３１の処理と同様であるので、その説明は省略するものとする。
【０１４１】
すなわち、ステップＳ１２３において、光軸調整量変換部１７１は、調整パラメータ保存部８２に保存されている調整パラメータ(ΔY,ΔY0,ΔY1)に基づいてチルトの調整量を求め、調整パラメータΔＸに基づいて、パンの調整量を求め、調整パラメータ(ΔS0,ΔS1)に基づいて、回転の調整量を求める。そして、光軸調整量変換部１７１は、求めた調整量の情報を光軸調整部１７２−１，１７２−２に供給する。
【０１４２】
ステップＳ１２４において、光軸調整部１７２−１，１７２−２は、光軸調整量変換部１７１からの調整量に基づいて、カメラ２１−１，２１−２のパン、チルト、および回転を制御することで、補正画像を生成し、マッチング部２３に供給する。
【０１４３】
尚、ステップＳ３，Ｓ４の処理に対応する詳細位置調整処理、および傾き調整処理についても、それぞれ対応するステップＳ８５，Ｓ８６の処理、およびステップＳ１０５，Ｓ１０６の処理をステップＳ１２３，Ｓ１２４と同様の処理とすることで同様の処理を実現することが可能となる。このため、その説明は省略するものとする。
【０１４４】
以上の処理により、図１４の画像処理装置１１においても、図１の画像処理装置１１における場合のキャリブレーション処理と同様の効果を得ることが可能となる。
【０１４５】
＜３．第３の実施の形態＞
［画像処理装置のその他の構成例］
以上においては、ステレオマッチング処理において、動的計画法などを用いてディスパリティを求めた後、マッチング評価値を計算する例について説明してきたが、動的計画法を用いたディスパリティの算出は、処理負荷が高く、これに伴って、処理時間も必要とされる。そこで、より簡易な方法でマッチング評価値errorを定義することにより、動的計画法などによるディスパリティの計算をすることなく、ステレオマッチング処理を実現するようにしてもよい。
【０１４６】
図１７は、ステレオマッチング処理において、簡易なマッチング評価値errorを計算するようにした画像処理装置１１の構成例を示している。尚、図１７の画像処理装置１１において、図１の画像処理装置１１と同一の機能を備えた構成については、同一の名称、および同一の符号を付すものとし、その説明については適宜省略するものとする。すなわち、図１７の画像処理装置１１において、図１の画像処理装置１１と異なるのは、マッチング部２３において、垂直エッジ検出部６１−１，６１−２が削除されていること、および、ステレオマッチング部６２において、類似度計算部１０１乃至ディスパリティ計算部１０５に代えて、コスト計算部２０１、マッチング評価値計算部２０２、およびディスパリティ計算部２０３が設けられた点である。
【０１４７】
コスト計算部２０１は、図１８で示されるように、画像ずれ補正部２２より供給されてくる左右画像間におけるブロック間のマッチングエラー量の評価値を表すコストcostの最小値を、左右の画像を垂直方向にずらしながら、そのずれ量に対応付けて計算する。すなわち、図１８の上段で示されるように、例えば、基準となる左画像Ｐ１１が所定のサイズに分割されてブロックが設定される。そして、コスト計算部２０１は、例えば、図１８の上段のブロックＢに対応する右画像Ｐ１２上の領域Ｚ１内で、画素単位で順次水平方向にずらしながら求められるブロック間の画素間差分和をコストcostとして計算する。尚、領域Ｚ１は、例えば、右画像Ｐ２が左画像Ｐ１に対して、垂直方向にずれ量Δｙだけずらされた状態において、ブロックＢと同じ高さで、かつ、左画像Ｐ１１上のブロックＢの水平位置に対応する右画像Ｐ１２上の範囲を含み、水平方向にブロックＢよりも長い範囲として設定されるものである。さらに、コスト計算部２０１は、図１８の下段で示されるように、左画像Ｐ１１に対して垂直方向に対するずれ量Δｙ１から、例えば、ずれ量Δｙ２まで、画素単位で変化させ、ずれ量Δｙに応じて領域Ｚ２を設定することで順次コストcostを計算し、ずれ量Δｙに対応付けて記憶する。
【０１４８】
マッチング評価値計算部２０２は、まず、垂直方向のずれ量Δｙ毎に、基準となる左画像に設定されたブロック単位で、対応する右画像に設定された領域の中で求められた最小となるコストcostをそれぞれに求める。そして、マッチング評価値計算部２０２は、その全ブロックに対して求められた最小となるコストcostの、全画像分の総和を、ずれ量Δｙ毎のマッチング評価値errorとして計算する。マッチング評価値計算部２０２は、このような処理により、例えば、図１９で示されるように、ずれ量Δｙに対するマッチング評価値errorの変化を示す波形Ｗを求める。さらに、図１９で示されるように、マッチング評価値計算部２０２は、ずれ量Δｙ毎のマッチング評価値errorが最小となるずれ量Δｙｍｉｎのマッチング評価値errorを、左画像Ｐ１１を基準としたときの右画像Ｐ１２に対するマッチング評価値errorとして出力する。
【０１４９】
尚、ビルディングを所定の距離だけ離れた位置で撮像することにより、ビルディングの側壁に設けられた格子状の窓ガラスが映し出されるような２枚のステレオ画像の場合、ずれ量Δｙ毎のマッチング評価値errorとずれ量Δｙとの関係は、例えば、図２０で示されるような波形Ｗ１となることがある。このような場合、極小点が複数に存在することとなるため、例えば、最小値となる極小点を、基準となる左画像に対する右画像のマッチング評価値としたとき、図２０においては、ずれ量Δｙｍｉｎ１が正しいマッチング評価値errorであったとしても、より小さいずれ量Δｙｍｉｎ２が左画像に対する右画像のマッチング評価値errorとして設定されることで、エラーが生じることがある。
【０１５０】
しかしながら、一般に、３Ｄカメラや、３Ｄビデオカメラ等の１の筐体に２のカメラが備えられるような機器の場合、２枚の画像のずれ量Δｙは小さいと予想される。すなわち、１の筐体に２のカメラを備えた撮像機器であるような場合、カメラ間のおおよその位置は固定されているので、振動、経年劣化、または衝撃等で若干、位置関係が変化する程度であるものと予想される。そこで、１の筐体に２のカメラが備えられる場合、２枚の画像のずれ量Δｙは、垂直ずれがない状態付近、すなわち、垂直ずれ量Δｙ＝０付近に正解が存在するものとする。したがって、図２０のような場合、ずれ量Δｙ＝０に近い、ずれ量Δｙｍｉｎ１におけるマッチング評価値errorが採用されるものとする。
【０１５１】
ディスパリティ計算部２０３は、マッチング評価値計算部２０２により求められたマッチング評価値errorが最小となる左画像の各ブロックと、対応する右画像のブロックとの関係からなる画素間の関係から画素単位のディスパリティdispalityを求める。そして、ディスパリティ計算部２０３は、求められたディスパリティdispalityに基づいて、ディスパリティ画像を生成して出力する。
【０１５２】
［ステレオマッチング処理］
次に、図２１のフローチャートを参照して、図１７の画像処理装置１１によるステレオマッチング処理について説明する。
【０１５３】
尚、図１７の画像処理装置１１のキャリブレーション処理と、図６を参照して説明した図１の画像処理装置１１によるキャリブレーション処理とは、ステレオマッチング処理を除き略同様の処理であるので、ここでは、ステレオマッチング処理のみを説明するものとする。ただし、図１７の画像処理装置１１においては、垂直エッジ検出部６１−１，６１−２が省略されているため、いずれも左右の補正画像よりエッジ検出画像を生成する処理が省略される。すなわち、図７の簡易位置調整処理におけるステップＳ２５、図１０の詳細位置調整処理におけるステップＳ８７、および図１２の傾き調整処理におけるステップＳ１０７のそれぞれの処理が省略されることになる。
【０１５４】
また、ここでは、カメラ２１−１，２１−２により撮像された画像のうち、左画像を基準としたときの、マッチング評価値、および右画像の対応点までのディスパリティを求める例を示すものとする。さらに、左画像をp(x,y),右画像をq(x,y)とし、求めるディスパリティは、disparity(x,y)（d_min≦disparity(x,y)≦d_max）とする。d_minは、求めるディスパリティの最小値であり、例えば、d_min＝−63である。d_maxは、求めるディスパリティの最大値であり、例えば、d_max＝63である。
【０１５５】
ステップＳ２０１において、コスト計算部２０１は、ずれ量を示すカウンタΔｙｃをΔｙｃ＝０に初期化する。
【０１５６】
ステップＳ２０２において、コスト計算部２０１は、ずれ量Δｙｃのマッチングエラー量の評価値であるマッチング評価値を算出するに当たり、基準となる左画像の各ブロック毎に、対応する右画像の参照領域に対して、水平方向にずらしながら以下の式（２６）を計算してコストcost(x,y,d)を計算する。
【０１５７】
【数２６】
【０１５８】
尚、コストcost(x,y,d)を求める式（２６）においては、3画素×3画素のブロック領域の輝度差の差分絶対値和(SAD)を用いる例が示されているが、このブロックサイズに限定されるものではない。また、コストcost(x,y,d)を求めるにあたっては、差分絶対値和（SAD）ではなく、差分二乗和（SSD）等が用いられる計算であってもよい。また、ここで、dは、水平方向のずれ量である。
【０１５９】
さらに、マッチング評価値計算部２０２は、各ブロックについて、水平方向のずれ量dのうち、コストcost(x,y,d)が最小となるものmin(cost(x,y,d))を選び出して、全ブロックにおける総和を以下の式（２７）で示されるように算出して、ずれ量Δｙｃのマッチング評価値errorとして計算する。
【０１６０】
【数２７】
【０１６１】
ステップＳ２０３において、コスト計算部２０１は、ずれ量Δｙｃに対して、所定の距離（ｓｔｅｐ：定数）だけ離れた近傍に存在するずれ量ΔｙＬ（＝ｃ−ｓｔｅｐ），ΔｙＲ（＝ｃ＋ｓｔｅｐ）を設定する。尚、ずれ量Δｙに対するマッチング評価値errorの関係については、例えば、図２２で示されるように、横軸を垂直方向のずれ量とし、縦軸をずれ量毎のマッチング評価値errorとした波形を生成する必要があるため、図２２で示されるような波形上におけるずれ量Δｙｃに対して左側に設定されるずれ量がずれ量ΔｙＬ（＝ｃ−ｓｔｅｐ）として設定され、同様に、ずれ量Δｙｃに対して右側に設定されるずれ量がΔｙＲ（＝ｃ＋ｓｔｅｐ）として設定される。
【０１６２】
ステップＳ２０４において、コスト計算部２０１およびマッチング評価値計算部２０２は、それぞれ上述した式（２６），式（２７）を計算することにより、それぞれのずれ量ΔｙＬ，ΔｙＲにおけるコストcostおよびマッチング評価値errorを算出する。
【０１６３】
ステップＳ２０５において、マッチング評価値計算部２０２は、以下の式（２８）の関係を満たすか否かに基づいて、ずれ量ΔｙＬ乃至ΔｙＲの範囲において、マッチング評価値errorの極小値を含むか否かを判定する。
【０１６４】
【数２８】
【０１６５】
ここで、Δｙｎは、所定の垂直方向のずれ量であり、ずれ量Δｙｎ＋ｉ，Δｙｎ−ｉは、それぞれずれ量Δｙｎから正負の方向にそれぞれｉ画素だけ離れたずれ量であり、Ｔｈ０は、所定の閾値である。また、ここでは、ずれ量Δｙｎ−ｉ，Δｙｎ，Δｙｎ＋ｉは、ずれ量ΔｙＬ，Δｙｃ，ΔｙＲに対応し、ｉはｓｔｅｐに対応する（ｉ＝ｓｔｅｐ）。すなわち、ずれ量を横軸として、縦軸にマッチング評価値とする波形が構成される場合、ずれ量ΔｙＬ，Δｙｃ，ΔｙＲの順にマッチング評価値errorが求められるとき、ずれ量Δｙｃを頂点とする下に凸の波形が形成されるとき、true（極小値を含む）となり、それ以外のときfalse（極小値を含まない）とされる。したがって、例えば、図２２の上段で示されるような場合、ずれ量ΔｙＬ，Δｙｃ，ΔｙＲの順に単調増加しているため、上述した式（２８）の関係が満たされないので、処理は、ステップＳ２０６に進む。
【０１６６】
ステップＳ２０６において、マッチング評価値計算部２０２は、ずれ量ΔｙＬ，ΔｙＲのそれぞれに対応するマッチング評価値errorのうち、小さい方をずれ量ΔｙｃとなるようにカウンタΔｙｃを設定し、処理は、ステップＳ２０３に戻る。
【０１６７】
すなわち、例えば、図２２の上段で示されるように、ずれ量Δｙｃ＝０の状態でずれ量Δｙｃが設定されて、その左右にずれ量ΔｙＬ，ΔｙＲが設定される場合、ずれ量ΔｙＬ，Δｙｃ，ΔｙＲの順に単調増加するとき、ずれ量ΔｙＬ乃至ΔｙＲに極小値が存在しない。そこで、図２２の下段で示されるように新たにずれ量ΔｙＬ乃至ΔｙＲが設定される。すなわち、図２２の上段においては、ずれ量ΔｙＬ，ΔｙＲのうち、ずれ量ΔｙＬのマッチング評価値errorの方が小さいので、ずれ量ΔｙＬが、次のずれ量Δｙｃに設定され、新たに設定されたずれ量Δｙｃの前後に、新たなずれ量ΔｙＬ，ΔｙＲが設定されることになる。これは、上述したようにずれ量Δｙｃがゼロに近い極小値を、基準となる左画像に対する右画像のマッチング評価値error（基準画像に対する参照画像のマッチング評価値error）であるものとみなすようにした拘束条件に基づくものであり、順次、ずれ量Δｙ＝０に近い位置で上述したような極小値を含む範囲が探索されるまで、ステップＳ２０３乃至Ｓ２０６の処理が繰り返される。
【０１６８】
ステップＳ２０６において、例えば、図２２の下段で示されるように、ずれ量Δｙｃに対応して設定されたずれ量ΔｙＬ乃至ΔｙＲの範囲に極小値を含むような関係となり、すなわち、ずれ量Δｙｃのマッチング評価値を極小値とした下に凸の波形が形成されるとき、式（２８）の条件が満たされるので、処理は、ステップＳ２０７に進む。
【０１６９】
ステップＳ２０７において、コスト計算部２０１、およびマッチング評価値計算部２０２は、ずれ量ΔｙＬ，ΔｙＲに対応するずれ量Δｙｃ−ｓｔｅｐ乃至Δｙｃ＋ｓｔｅｐ間に存在する全てのマッチング評価値を計算する。すなわち、図２３の上段の白丸で示されるように、ずれ量Δｙｃに対応して設定されたずれ量ΔｙＬ，ΔｙＲが極小値を含むような関係となった場合、図２３の下段の黒丸で示される、全てのマッチング評価値が求められる。
【０１７０】
ステップＳ２０８において、マッチング評価値計算部２０２は、ずれ量Δｙｃ−ｓｔｅｐ乃至Δｙｃ＋ｓｔｅｐ間に存在する全てのずれ量に対するマッチング評価値のうち、最小値となるものを左画像（基準画像）に対する右画像（参照画像）のマッチング評価値errorとして採用する。すなわち、このように求められた基準画像である左画像に対する参照画像である右画像のマッチング評価値errorは、ずれ量Δｙ＝０に最も近いずれ量であって、かつ、マッチング評価値errorの極小値が採用されることになる。したがって、例えば、図２３の下段で示されるような場合、求められた全てのマッチング評価値errorのうち、ずれ量Δｙｍｉｎで示される位置のマッチング評価値errorが、基準画像である左画像に対する右画像のマッチング評価値errorとして採用される。
【０１７１】
ステップＳ２０９において、ディスパリティ計算部２０３は、マッチング評価値errorに採用されたずれ量Δｙに対応する左右画像のブロック間の関係に基づいて、ディスパリティを計算し、計算結果に基づいて、ディスパリティ画像を生成して出力する。
【０１７２】
以上の処理により、i＝ｓｔｅｐを垂直方向のずれの最小単位に対してある程度大きく設定することで、粗めにマッチング評価値の極小値が存在する範囲を、ずれ量Δｙ＝０に近い範囲から検索した後、検索された範囲内についてのみ、詳細に全てのずれ量Δｙについてマッチング評価値errorを計算するようにすることで、高速に基準画像に対する参照画像のマッチング評価値errorを特定することが可能となる。また、以上のステレオマッチング処理においては、動的計画法などの処理負荷の大きな処理を含まないので、処理負荷を軽減することが可能となり、処理を高速化することが可能となる。尚、ｓｔｅｐとして設定されたずれ量Δｙｃからの距離に対して十分に小さい間隔でマッチング評価値が求められるのであれば、極小値を含む範囲が求められた後には、その範囲内において、必ずしも全てのずれ量に対するマッチング評価値を求めなくてもよい。すなわち、どのずれ量に対するマッチング評価値が、ずれ量Δｙ＝０より最も近く、かつ、極小値であるという拘束条件を満たすものであるかが判断できればよいので、ずれ量に対するマッチング評価値を全て求める必要はなく、必要に応じて、その間隔は間引くようにしてもよい。このように、ずれ量に対するマッチング評価値を間引いて求めることで、ステレオマッチング処理の負荷をより軽減させることができ、処理速度を、より高速化することが可能となる。
【０１７３】
尚、以上においては、極小値を含むか否かの判定において、上述した式（２８）の関係が満たされるか否かにより判定されていたが、極小値を含むか否かの判定が可能である限り、その他の方法で判定するようにしても良く、例えば、以下の式（２９）で示されるような傾きの関係に基づいて、極小値を含むか否かを判定するようにしてもよい。
【０１７４】
【数２９】
【０１７５】
ここで、Ｔｈ１は所定の閾値を示している。すなわち、式（２９）においては、ずれ量Δｙｎからずれ量Δｙｎ＋ｉに対しては、ずれ量に対するマッチング評価値の傾きが、所定の閾値Ｔｈ１よりも大きな正の傾きであって、かつ、ずれ量Δｙｎ−ｉからずれ量Δｙｎに対しては、ずれ量に対するマッチング評価値の傾きが、所定の閾値−Ｔｈ１よりも小さな負の傾きであるとき、true（極小値を含む）となり、それ以外のときfalse（極小値を含まない）とされる。
【０１７６】
以上によれば、動的計画法のような負荷の大きな計算を用いることなくステレオマッチング処理を実現することができるので、処理速度を向上させることが可能となる。また、粗い精度でずれ量Δｙ＝０を含む近傍からマッチング評価値の極小値を含む範囲をずれ量Δｙ＝０から離れるように順次探索した後、探索された範囲内のみのマッチング評価値を詳細に求めて極小値を探索するようにしたので、ずれ量Δｙ＝０から最も近くで、かつ、極小値となるずれ量Δｙに対するマッチング評価値を、基準画像に対する参照画像とのマッチング評価値として高速で探索することが可能となる。尚、画像処理装置１１の処理速度が、例えば、十分に速く、処理に余裕があるような場合、全てのずれ量Δｙに対するマッチング評価値を求めた後、求められたずれ量Δｙに対するマッチング評価値から、ずれ量Δｙ＝０に最も近く、かつ、極小となるマッチング評価値を、基準画像に対する参照画像とのマッチング評価値として探索するようにしてもよい。さらに、以上においては、垂直方向のずれ量Δｙについて、マッチング評価値を求める例について説明してきたが、同様に水平方向のずれ量に対してマッチング評価値を求めて、その最小値を基準画像に対する参照画像のマッチング評価値とするようにしてもよい。
【０１７７】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１７８】
図２４は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１７９】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１８０】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１８１】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１８２】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８３】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１８４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８５】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１８６】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８７】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１８８】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１８９】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９０】
尚、本技術は、以下のような構成も取ることができる。
（１） 異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、
前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、
前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段と
を含む画像処理装置。
（２） 前記更新手段は、前記パラメータのうち、前記画像の全範囲において、２次元方向に荒い画素間隔でシフト量を変化させ、前記評価値が最小となるシフト量に更新し、さらに、前記荒い画素間隔でシフト量を変化させることにより探索されたシフト量近傍の範囲において、２次元方向に詳細な画素間隔でシフト量を変化させて評価値が最小となるシフト量に更新する
（１）に記載の画像処理装置。
（３）
前記更新手段は、前記パラメータのうち、前記複数の画像間の対応付けの方向である、視差の探索方向に対し直交する傾き成分を変化させて評価値が最小となる傾き成分に更新する
（１）または（２）に記載の画像処理装置。
（４） 前記更新手段は、前記パラメータのうち、前記複数の画像間の対応付けの方向である、視差の探索方向に対し直交する方向に、前記傾き成分を分割し、それぞれ個別に変化させて評価値が最小となる傾き成分に更新する
（３）に記載の画像処理装置。
（５） 前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記画像の周辺部の寄与が小さくなるように評価値として算出する
（１）乃至（３）のいずれかに記載の画像処理装置。
（６） 前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、ブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果を評価値とする
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、動的計画法を用いて算出し、算出結果を評価値とする
（６）に記載の画像処理装置。
（８） 前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記複数の補正画像間のずれ量毎にブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果のうち、ずれ量が０に最も近い極小値を評価値とする
（６）に記載の画像処理装置。
（９） 前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記複数の補正画像間のずれ量の粗い間隔毎にブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果から、ずれ量が０に最も近い範囲で、かつ、極小値を含む範囲を探索した後、探索された範囲で詳細に求められる前記全画像総和の極小値を評価値とする
（８）に記載の画像処理装置。
（１０） 前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像のうち、基準画像と、それ以外の参照画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値の総和を評価値として算出する
（１）乃至（９）のいずれかに記載の画像処理装置。
（１１） 異なる視点から、同一の被写体を撮像する撮像手段をさらに含み、
前記画像取得手段は、前記撮像手段により異なる視点から、同一の被写体を撮像する複数の画像を取得し、
前記画像ずれ補正手段は、前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて、前記撮像手段における撮像方向となる光軸を動作させるようにすることで、変形し、それぞれ補正画像を生成する
（１）乃至（１０）に記載の画像処理装置。
（１２） 異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、
前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、
前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段と
を含む画像処理装置の画像処理方法であって、
前記画像取得手段における、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得ステップと、
前記画像ずれ補正手段における、前記画像取得ステップの処理により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正ステップと、
前記評価値算出手段における、前記画像ずれ補正ステップの処理により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出ステップと、
前記更新手段における、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新ステップと
を含む画像処理方法。
（１３） 異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、
前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、
前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段と
を含む画像処理装置を制御するコンピュータに、
前記画像取得手段における、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得ステップと、
前記画像ずれ補正手段における、前記画像取得ステップの処理により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正ステップと、
前記評価値算出手段における、前記画像ずれ補正ステップの処理により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出ステップと、
前記更新手段における、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新ステップと
を含む処理を実行させるプログラム。
【符号の説明】
【０１９１】
１１ 画像処理装置， ２１−１，２１−２ カメラ， ２２ 画像ずれ補正部， ２３ マッチング部， ２４ ずれ補正部， ４１−１，４１−２ 射影変換部， ４２ 射影変換パラメータ算出部， ６１−１，６１−２ 垂直エッジ検出部， ６２ ステレオマッチング部， ８１ 調整パラメータ更新部， ８２ 調整パラメータ保存部， １０１ 類似度計算部， １０２ ペナルティ計算部， １０３ コスト計算部， １０４ マッチング評価値計算部， １０５ ディスパリティ計算部， １２１ 簡易位置調整部， １２２ 詳細位置調整部， １２３ 傾き調整部， １５１ 画像ずれ補正部， １７１ 光軸調整量変換部， １７２−１，１７２−２ 光軸調整部， ２０１ コスト計算部， ２０２ マッチング評価値計算部， ２０３ ディスパリティ計算部
【特許請求の範囲】
【請求項１】
異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、
前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、
前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段と
を含む画像処理装置。
【請求項２】
前記更新手段は、前記パラメータのうち、前記画像の全範囲において、２次元方向に荒い画素間隔でシフト量を変化させ、前記評価値が最小となるシフト量に更新し、さらに、前記荒い画素間隔でシフト量を変化させることにより探索されたシフト量近傍の範囲において、２次元方向に詳細な画素間隔でシフト量を変化させて評価値が最小となるシフト量に更新する
請求項１に記載の画像処理装置。
【請求項３】
前記更新手段は、前記パラメータのうち、前記複数の画像間の対応付けの方向である、視差の探索方向に対し直交する傾き成分を変化させて評価値が最小となる傾き成分に更新する
請求項１に記載の画像処理装置。
【請求項４】
前記更新手段は、前記パラメータのうち、前記複数の画像間の対応付けの方向である、視差の探索方向に対し直交する方向に、前記傾き成分を分割し、それぞれ個別に変化させて評価値が最小となる傾き成分に更新する
請求項３に記載の画像処理装置。
【請求項５】
前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記画像の周辺部の寄与が小さくなるように評価値として算出する
請求項１に記載の画像処理装置。
【請求項６】
前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、ブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果を評価値とする
請求項１に記載の画像処理装置。
【請求項７】
前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、動的計画法を用いて算出し、算出結果を評価値とする
請求項６に記載の画像処理装置。
【請求項８】
前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記複数の補正画像間のずれ量毎にブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果のうち、ずれ量が０に最も近い極小値を評価値とする
請求項６に記載の画像処理装置。
【請求項９】
前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記複数の補正画像間のずれ量の粗い間隔毎にブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果から、ずれ量が０に最も近い範囲で、かつ、極小値を含む範囲を探索した後、探索された範囲で詳細に求められる前記全画像総和の極小値を評価値とする
請求項８に記載の画像処理装置。
【請求項１０】
前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像のうち、基準画像と、それ以外の参照画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値の総和を評価値として算出する
請求項１に記載の画像処理装置。
【請求項１１】
異なる視点から、同一の被写体を撮像する撮像手段をさらに含み、
前記画像取得手段は、前記撮像手段により異なる視点から、同一の被写体を撮像する複数の画像を取得し、
前記画像ずれ補正手段は、前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて、前記撮像手段における撮像方向となる光軸を動作させるようにすることで、変形し、それぞれ補正画像を生成する
請求項１に記載の画像処理装置。
【請求項１２】
異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、
前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、
前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段と
を含む画像処理装置の画像処理方法であって、
前記画像取得手段における、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得ステップと、
前記画像ずれ補正手段における、前記画像取得ステップの処理により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正ステップと、
前記評価値算出手段における、前記画像ずれ補正ステップの処理により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出ステップと、
前記更新手段における、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新ステップと
を含む画像処理方法。
【請求項１３】
異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、
前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、
前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段と
を含む画像処理装置を制御するコンピュータに、
前記画像取得手段における、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得ステップと、
前記画像ずれ補正手段における、前記画像取得ステップの処理により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正ステップと、
前記評価値算出手段における、前記画像ずれ補正ステップの処理により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出ステップと、
前記更新手段における、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新ステップと
を含む処理を実行させるプログラム。
【請求項１】
異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、
前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、
前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段と
を含む画像処理装置。
【請求項２】
前記更新手段は、前記パラメータのうち、前記画像の全範囲において、２次元方向に荒い画素間隔でシフト量を変化させ、前記評価値が最小となるシフト量に更新し、さらに、前記荒い画素間隔でシフト量を変化させることにより探索されたシフト量近傍の範囲において、２次元方向に詳細な画素間隔でシフト量を変化させて評価値が最小となるシフト量に更新する
請求項１に記載の画像処理装置。
【請求項３】
前記更新手段は、前記パラメータのうち、前記複数の画像間の対応付けの方向である、視差の探索方向に対し直交する傾き成分を変化させて評価値が最小となる傾き成分に更新する
請求項１に記載の画像処理装置。
【請求項４】
前記更新手段は、前記パラメータのうち、前記複数の画像間の対応付けの方向である、視差の探索方向に対し直交する方向に、前記傾き成分を分割し、それぞれ個別に変化させて評価値が最小となる傾き成分に更新する
請求項３に記載の画像処理装置。
【請求項５】
前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記画像の周辺部の寄与が小さくなるように評価値として算出する
請求項１に記載の画像処理装置。
【請求項６】
前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、ブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果を評価値とする
請求項１に記載の画像処理装置。
【請求項７】
前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、動的計画法を用いて算出し、算出結果を評価値とする
請求項６に記載の画像処理装置。
【請求項８】
前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記複数の補正画像間のずれ量毎にブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果のうち、ずれ量が０に最も近い極小値を評価値とする
請求項６に記載の画像処理装置。
【請求項９】
前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を、前記複数の補正画像間のずれ量の粗い間隔毎にブロックマッチングの差分絶対値和の全画面総和として算出し、算出結果から、ずれ量が０に最も近い範囲で、かつ、極小値を含む範囲を探索した後、探索された範囲で詳細に求められる前記全画像総和の極小値を評価値とする
請求項８に記載の画像処理装置。
【請求項１０】
前記評価値算出手段は、前記画像ずれ補正手段により生成された複数の補正画像のうち、基準画像と、それ以外の参照画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値の総和を評価値として算出する
請求項１に記載の画像処理装置。
【請求項１１】
異なる視点から、同一の被写体を撮像する撮像手段をさらに含み、
前記画像取得手段は、前記撮像手段により異なる視点から、同一の被写体を撮像する複数の画像を取得し、
前記画像ずれ補正手段は、前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて、前記撮像手段における撮像方向となる光軸を動作させるようにすることで、変形し、それぞれ補正画像を生成する
請求項１に記載の画像処理装置。
【請求項１２】
異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、
前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、
前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段と
を含む画像処理装置の画像処理方法であって、
前記画像取得手段における、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得ステップと、
前記画像ずれ補正手段における、前記画像取得ステップの処理により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正ステップと、
前記評価値算出手段における、前記画像ずれ補正ステップの処理により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出ステップと、
前記更新手段における、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新ステップと
を含む画像処理方法。
【請求項１３】
異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正手段と、
前記画像ずれ補正手段により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出手段と、
前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新手段と
を含む画像処理装置を制御するコンピュータに、
前記画像取得手段における、異なる視点から、同一の被写体を撮像する複数の画像を取得する画像取得ステップと、
前記画像ずれ補正手段における、前記画像取得ステップの処理により取得された複数の画像を、画像ずれを補正するためのパラメータに基づいて変形し、それぞれ補正画像を生成する画像ずれ補正ステップと、
前記評価値算出手段における、前記画像ずれ補正ステップの処理により生成された複数の補正画像間の視差方向の対応付けが不能な程度を示すエラー量の全画面の積分値を評価値として算出する評価値算出ステップと、
前記更新手段における、前記パラメータのうち、視差方向の対応付けに必要とされるパラメータを変化させて、前記評価値が最小となるようにパラメータを更新する更新ステップと
を含む処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−１７７６７６（Ｐ２０１２−１７７６７６Ａ）
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願番号】特願２０１１−２６６０４４（Ｐ２０１１−２６６０４４）
【出願日】平成２３年１２月５日（２０１１．１２．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願日】平成２３年１２月５日（２０１１．１２．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]