対応点探索装置
【課題】処理コストを増大させなくても精度良く対応点を探索し、かつ、大きな処理対象外の領域が発生することを防止する。
【解決手段】信頼度算出部５０は、探索部３０により探索された各対応点の探索結果を基に、各対応点の探索精度を示す信頼度を算出する。変更部６０は、信頼度が所定の値よりも低い対応点を、参照画像上の別の点に変更する。決定部７０は、探索部３０により探索された対応点、又は変更部６０により変更された対応点を基に、注目上階層の参照画像における初期探索点を決定する。探索制御部４０は、決定部７０により決定された初期探索点を基準として、注目階層の１つ上の階層の参照画像における探索範囲を設定し、探索範囲内において探索部３０に探索処理を実行させ、当該探索処理が下位の階層から上位の階層に向けて実行されるように探索部３０を制御する。
【解決手段】信頼度算出部５０は、探索部３０により探索された各対応点の探索結果を基に、各対応点の探索精度を示す信頼度を算出する。変更部６０は、信頼度が所定の値よりも低い対応点を、参照画像上の別の点に変更する。決定部７０は、探索部３０により探索された対応点、又は変更部６０により変更された対応点を基に、注目上階層の参照画像における初期探索点を決定する。探索制御部４０は、決定部７０により決定された初期探索点を基準として、注目階層の１つ上の階層の参照画像における探索範囲を設定し、探索範囲内において探索部３０に探索処理を実行させ、当該探索処理が下位の階層から上位の階層に向けて実行されるように探索部３０を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、基準画像に設定された注目点の対応点を参照画像から探索する対応点探索装置に関するものである。
【背景技術】
【０００２】
近年、ステレオカメラにより異なる視点から撮影された複数の画像のうち、１の画像を基準画像、他の画像を参照画像とし、基準画像上の各点に対応する対応点を参照画像から探索することで、ステレオカメラにより撮影された物体の距離等を算出する装置が知られている。ここで、対応点は参照画像上のどの点に位置するか事前に知り得ないので、参照画像の全域が対応点の探索範囲となるのが一般的であるが、近年、参照画像の全域を探索範囲としなくても高精度に対応点を探索する手法として多重解像度戦略による探索手法が注目されている。
【０００３】
非特許文献１では、最終的な対応点の探索結果に対する信頼度（マッチング度）を求め、この信頼度が低い場合は、周囲の対応点の位置情報を用いて補間データを作成し、その補間データを最下位の階層の初期探索点に設定し、再度、最上位の階層に向けて多重解像度戦略による探索手法を実行して対応点を探索する手法が開示されている。
【０００４】
また、特許文献１では、参照画像から探索された対応点を注目点とし、基準画像から当該注目点に対する対応点を探索するいわゆるバックマッチングと呼ばれる探索手法と多重解像度戦略とを組み合わせた探索手法が開示されている。すなわち、特許文献１では、各階層において、バックマッチングが実行され、バックマッチングによって基準画像から得られた対応点が基準画像上の注目点と一致し、バックマッチングに成功した場合、一つ上の階層について、同様にして対応点を探索するというような処理が最上位の階層まで繰り返され、最終的な対応点が求められる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１８４２４０号公報
【非特許文献】
【０００６】
【非特許文献１】"High-Accuracy Passive 3D Measurement System Using Phase-Based Image Matching" IEICE Transaction. Fundamentals, E89-A, no3, pp.686-697, March2006.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１の手法では、多重解像度戦略によって信頼度の低い探索結果が得られた場合、再度、探索処理が実行されるが、この場合、最上位の同一解像度でしか実行されないため、探索精度が低いという問題がある。
【０００８】
また、特許文献１の手法では、最下位又は中間の階層において、バックマッチングに失敗した場合、失敗した階層の基準画像に設定された注目点に対応する元の入力画像の全ての画素が対応点の探索対象から除外されるため、これらの画素について距離等を計測することができず、元の入力画像に大きな処理対象外の領域が発生してしまう。
【０００９】
例えば、解像度が元の入力画像の１／２の階層において、バックマッチングに失敗して処理が打ち切られると、当該階層の１画素は元の入力画像の４画素分に対応するため、元の入力画像において４画素分の処理対象外の領域が発生する。また、解像度が入力画像の１／８の階層において処理が打ち切られると、当該階層の１画素は元の入力画像の６４画素分に対応するため、元の入力画像において６４画素分の処理対象外の領域が発生する。
【００１０】
本発明の目的は、処理コストを増大させなくても精度良く対応点を探索し、かつ、大きな処理対象外の領域が発生することを防止することができる対応点探索装置を提供することである。
【課題を解決するための手段】
【００１１】
（１）本発明による対応点探索装置は、２枚以上の入力画像のうち１の入力画像を基準画像、他の入力画像を参照画像として取得する取得手段と、前記取得手段により取得された基準画像及び参照画像をそれぞれ低解像度化することで、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の前記基準画像及び前記参照画像をそれぞれ階層的に生成する多重化手段と、注目階層の基準画像上の注目点に対する対応点を前記注目階層の参照画像から探索する探索手段と、前記探索手段により探索された対応点を基に、前記注目階層の１つ上の階層の参照画像における初期探索点を決定する決定手段と、前記初期探索点を基準として、前記注目階層の１つ上の階層の参照画像に探索範囲を設定し、前記探索範囲内において対応点を探索させる探索処理を前記探索手段に実行させ、当該探索処理が下位の階層から上位の階層に向けて実行されるように前記探索手段を制御する探索制御手段と、前記探索手段により探索された各対応点の探索結果を基に、各対応点の探索精度を示す信頼度を算出する信頼度算出手段と、前記信頼度算出手段によって算出された信頼度に基づいて、前記参照画像において探索された対応点の候補を抽出する対応点候補抽出手段とを備え、前記決定手段は、前記信頼度算出手段によって算出された信頼度に基づいて、複数の前記初期探索点を決定し、前記探索制御手段は、前記探索手段に複数の前記初期探索点のそれぞれの対応点を探索させ、前記対応点候補抽出手段は、探索された複数の対応点のうち、それぞれの対応点の信頼度に基づいて、前記注目階層の１つ上の階層の注目点に対する対応点の候補を抽出することを特徴とする。
【００１２】
この構成によれば、各階層において探索された対応点の信頼度が算出され、信頼度の低い対応点が、探索精度を高めるために異なる点に変更され、変更された対応点が初期探索点として決定され、当該初期探索点を基準に１つ上の階層の探索範囲が設定される。
【００１３】
そのため、途中の階層において、信頼度の低い対応点が得られたとしても、処理が打ち切られることなく最終的な対応点を得ることが可能となる結果、大きな処理対象外の領域の発生を防止することができる。また、各階層において信頼度の低い対応点が修正されつつ、上位の階層に向けて探索処理が実行されている。そのため、最終的に得られた対応点の信頼度が低い場合、再度、初期探索点を変更して最下位の階層から探索処理を再実行して処理コストを増加させなくても、対応点を精度良く求めることができる。
【００１４】
更に、下位の階層で対応点を決定しにくい場合は、情報量が多い高解像度側の上位の階層に判断を委ねることが可能となり、正解に近い対応点を得ることができる。
【００１５】
（２）前記対応点候補抽出手段は、最も高解像度の階層では対応点を１つに特定することを特徴とすることが好ましい。
【００１６】
（３）前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記探索範囲内でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索し、前記信頼度算出手段は、各対応点を探索する際に前記探索手段により算出された相関値を基に、各対応点の信頼度を算出することが好ましい。
【００１７】
この構成によれば、基準ウインドウ及び参照ウインドウの両ウインドウ内の画像の相関値を基に、各対応点の信頼度が算出されるため、探索処理の過程で発生した値を用いて信頼度を算出することが可能となる結果、高速、かつ高精度に信頼度を算出することができる。
【００１８】
（４）前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記探索範囲内でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索し、前記信頼度算出手段は、前記基準ウインドウ内の画像のコントラストを基に、各対応点の信頼度を算出することが好ましい。
【００１９】
この構成によれば、基準ウインドウ内の画像のコントラストに従って信頼度が算出されるため、対応点の探索結果ではなく、探索対象となる画像自体が有する特徴によって信頼度を算出することができる。すなわち、コントラストが低い画像は一般的に対応点の探索精度が低下するが、このような事情を加味して信頼度を算出することができる。
【００２０】
（５）前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記探索範囲内でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索する通常の探索処理が終了した後、前記通常の探索処理により探索した対応点を注目点とし、前記通常の探索処理と同様にして前記基準画像から前記注目点の対応点を探索するバックマッチングを実行し、前記信頼度算出手段は、前記バックマッチングによる探索結果を基に、各対応点の信頼度を算出することが好ましい。
【００２１】
この構成によれば、いわゆるバックマッチングが実行され、バックマッチングによる探索結果を基に、対応点が探索され、かつ信頼度が算出されるため、精度良く対応点を探索することができる。また、新たな処理を加えなくても、バックマッチングの処理過程で得られた値を用いて信頼度を算出することが可能となる。
【００２２】
（６）前記信頼度算出手段は、前記基準画像に設定された注目点から前記基準画像上にエピポーララインを設定し、前記基準画像上で設定したエピポーララインに対応するエピポーララインを前記参照画像上に設定し、前記探索手段により探索された前記基準画像上の注目点に対応する前記参照画像上の対応点と、前記参照画像上に設定したエピポーララインとの距離に基づいて、前記信頼度を算出することが好ましい。
【００２３】
理論上、対応点は参照画像上に設定されたエピポーラライン上に存在するため、対応点が参照画像上に設定されたエピポーララインに近いほど、当該対応点の信頼度は高い。そのため、対応点と参照画像上に設定されたエピポーララインとの距離を信頼度として採用することができる。
【００２４】
（７）前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記基準ウインドウ内の画像と前記参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて両ウインドウ内の画像の相関値を算出することが好ましい。
【００２５】
この構成によれば、基準ウインドウ及び参照ウインドウ内の両画像の輝度差やノイズの影響に左右されず、ロバストな探索処理を実現することができる。
【００２６】
（８）前記探索手段は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することが好ましい。
【００２７】
この構成によれば、既に確立された手法を用いて基準ウインドウ及び参照ウインドウ内の両画像を周波数分解することができる。
【００２８】
（９）前記探索手段は、位相限定相関法を用いて前記相関値を算出することが好ましい。この構成によれば、精度良く対応点を探索することができる。
【発明の効果】
【００２９】
本発明によれば、処理コストを増大させなくても精度良く対応点を探索し、かつ、大きな処理対象外の領域が発生することを防止することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施の形態による対応点探索装置のブロック図を示している。
【図２】演算処理装置の機能ブロック図を示している。
【図３】ＰＯＣの処理の流れを示したフローチャートである。
【図４】ＰＯＣ関数を示したグラフである。
【図５】ＳＡＤの説明図である。
【図６】バックマッチングによる探索処理の説明図である。
【図７】探索制御部により設定される探索範囲の説明図である。
【図８】第５の信頼度算出手法の説明図である。
【図９】第１の変更手法の説明図である。
【図１０】変更された対応点に基づいて初期探索点が決定された場合に、注目上階層の参照画像に設定される探索範囲を示した図である。
【図１１】第２の変更手法の説明図である。
【図１２】第３の変更手法の説明図である。
【図１３】ステレオ法による測距方法の説明図である。
【図１４】対応点探索装置の動作を示すフローチャートである。
【図１５】カメラの数を１つとした場合の対応点探索装置を示した図である。
【発明を実施するための形態】
【００３１】
以下、本発明の一実施の形態による対応点探索装置について図面を参照しつつ説明する。図１は、本発明の一実施の形態による対応点探索装置のブロック図を示している。対応点探索装置は、自動車等の車両の車体に搭載され、複数台のカメラ、例えば本実施の形態では２台のカメラ１１，１２、演算処理装置１３、及び表示装置１４を備えている。
【００３２】
カメラ１１，１２は、車体の進行方向に直交し、かつ水平方向に平行な方向である左右方向に所定の間隔を設けて、進行方向を中心に対称となるように同一高さ位置に配設され、所定のフレームレートで自車体の前方のシーンを撮影する。ここで、カメラ１１，１２は、同一時刻においてフレームが撮影されるように撮影タイミングの同期が図られている。
【００３３】
演算処理装置１３は、カメラ１１，１２で撮影された２枚の画像に後述する対応点の探索処理を実行する。表示装置１４は、液晶表示ディスプレイ、有機ＥＬディスプレイといった表示装置から構成され、演算処理装置１３により生成された情報を表示する。ここで、表示装置１４は、自車体がカーナビゲーションシステムを備えている場合は、当該カーナビゲーションシステムの表示装置により構成してもよいし、カーナビゲーションシステムとは別の表示装置により構成してもよい。
【００３４】
図２は、演算処理装置１３の機能ブロック図を示している。図２に示すように演算処理装置１３は、画像取得部１０（取得手段の一例）、多重化部２０（多重化手段の一例）、探索部３０（探索手段の一例）、探索制御部４０（探索制御手段の一例）、信頼度算出部５０（信頼度算出手段の一例）、変更部６０（対応点候補抽出手段の一例）、決定部７０（決定手段の一例）、及び報知制御部８０を備えている。なお、画像取得部１０〜報知制御部８０の各機能は、ＣＰＵに所定のプログラムを実行することで実現してもよいし、専用のハードウエア回路を用いて実現してもよい。
【００３５】
画像取得部１０は、カメラ１１により撮影された入力画像を基準画像として取得すると共に、カメラ１２により撮影された入力画像を参照画像として取得し、図略のメモリに記憶する。ここで、入力画像としては、例えば０（黒）〜２５５（白）の２５６階調値を有する複数の画素がマトリックス状に配列されたたデジタルの画像データを採用することができる。
【００３６】
多重化部２０は、画像取得部１０により取得された基準画像及び参照画像をそれぞれ低解像度化することで、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の基準画像及び参照画像をそれぞれ階層的に生成する。ここで、階層の数及び各階層の解像度としては予め定められた値を採用することができる。また、最上位の階層の基準画像及び参照画像は、低解像度化がされていない画像が採用される。また、同一階層において、基準画像及び参照画像の解像度は同一である。また、階層化された基準画像及び参照画像の複数の階層のうち、注目する１つの階層を「注目階層」と称する。
【００３７】
探索部３０は、注目階層の基準画像上の注目点に対する対応点を注目階層の参照画像から探索する。具体的には、探索部３０は、注目階層の基準画像に注目点を順次設定し、後述する探索処理を用いて、注目点の対応点を、探索制御部４０により注目階層の参照画像上に設定された探索範囲から探索する。また、探索部３０は、最上位の階層において探索した対応点、すなわち、各注目点に対する最終的な対応点を、注目点と対応付けて報知制御部８０に出力する。
【００３８】
上記探索処理としては、基準画像に注目点を中心として所定サイズの基準ウインドウを設定し、参照画像に基準ウインドウと同一サイズの参照ウインドウを設定し、参照画像に設定された探索範囲内において参照ウインドウをずらしながら、基準ウインドウ内の画像と参照ウインドウ内の画像との相関値を算出することで対応点を探索する処理が採用される。
【００３９】
そして、上記相関値を算出する手法としては、基準ウインドウ内の画像と参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて相関値を算出する手法を採用することができる。
【００４０】
そして、上記周波数分解としては、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換といった手法を採用することができ、処理の高速化の観点からは高速フーリエ変換を採用することが好ましい。
【００４１】
上記位相成分に基づいて相関値を算出する手法としては、位相限定相関法（ＰＯＣ：Phase Only Correlation）やＤＣＴ符号限定相関法を採用することができるが、ＰＯＣの方がよりロバストであるため、ＰＯＣを採用することが好ましい。
【００４２】
また、周波数分解することなく相関値を算出する手法を探索処理として採用してもよく、この場合、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（濃度差の二乗和）、又はＮＣＣ（正規化相互相関）等を採用することができるが、処理の高速化、高精度化の観点からはＳＡＤを採用することが好ましい。
【００４３】
ＤＣＴ符号限定法としては、例えば、”画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用、貴家仁志、首都大学東京、システムデザイン学部、動的画像処理実利用化ワークショップ２００７’２００７．７．３．８−９”に記載された手法を採用することができる。
【００４４】
位相成分に基づいて相関値を算出する手法は、周波数分解をすることなく相関値を算出する手法に比べてカメラ１１，１２の撮影条件の差や、ノイズなどの影響を受けにくく、ロバストであるが、周波数分解を行っているため処理コストがかかってしまう。そのため、ロバスト性を重視する場合は位相成分に基づいて相関値を算出する手法を採用することが好ましく、処理の高速化を図る場合は周波数分解しないで相関値を算出する手法を採用することが好ましい。
【００４５】
次に、位相成分に基づいて相関値を算出する手法の１つであるＰＯＣの詳細について説明する。図３は、ＰＯＣの処理の流れを示したフローチャートである。なお、図３において、周波数分解として、フーリエ変換を採用した場合を例示している。まず、ステップＳ１，Ｓ２において、基準ウインドウ内の画像にフーリエ変換が施され、参照ウインドウ内の画像にフーリエ変換が施される。ここで、基準ウインドウ内の画像が式（１）で表され、参照ウインドウ内の画像が式（２）で表されるとすると、基準ウインドウ内の画像は、式（３）によりフーリエ変換され、参照ウインドウ内の画像は、式（４）によりフーリエ変換される。
【００４６】
【数１】
【００４７】
但し、ｎ１，ｎ２は、垂直、水平方向の座標を示し、Ｎ１，Ｎ２は、基準ウインドウ及び参照ウインドウの垂直、水平方向のサイズを示し、Ｍ１は基準ウインドウ及び参照ウインドウの中心点から、垂直方向における端までの距離を示し、Ｍ２は基準ウインドウ及び参照ウインドウの中心点から、水平方向における端までの距離を示す。
【００４８】
次に、ステップＳ３，Ｓ４において、ステップＳ１，Ｓ２でフーリエ変換された両画像が式（５）を用いて規格化される。次に、ステップＳ５において、ステップＳ３，Ｓ４で規格化された両画像が合成される。ここで、規格化された両画像は、式（６）に示すように、Ｆ´（ｋ１，ｋ２）と、Ｇ´（ｋ１，ｋ２）の複素共役とが乗じられることで合成される。次に、ステップＳ６において、ステップＳ５で合成された画像が式（７）を用いて逆フーリエ変換され、ＰＯＣ関数（ｒ（ｋ１，ｋ２））が算出される。
【００４９】
図４は、ＰＯＣ関数を示したグラフである。このグラフにおいて、ｘ軸及びｙ軸は、基準ウインドウ及び参照ウインドウ内の各座標を表し、ｚ軸はＰＯＣ値を示している。図４に示すようにＰＯＣ関数は、ウインドウ間のズレ量に急峻な相関ピークを有し、画像マッチングにおけるロバスト性と推定精度とが高いことが知られている。そして、この相関ピークの高さは基準ウインドウ及び参照ウインドウの相関が高いほど大きくなる。したがって、相関値として、例えば相関ピークの高さを採用することで、両ウインドウ内の画像がどれだけ近似しているかを示すことが可能となる。
【００５０】
そして、参照ウインドウをずらしながら対応点が探索されることになる。この場合、相関ピークの位置は、両ウインドウ間のズレ量を示しているため、参照ウインドウを１画素ずつずらす必要はなく、例えば、ウインドウサイズの半分の大きさをずらし量として設定すればよい。
【００５１】
そして、最終的に対応点の位置は参照ウインドウの位置と、ＰＯＣ値の相関ピークの位置とから求められる。参照ウインドウの位置はピクセルレベルの値になるが、相関ピークの位置はウインドウ間のズレ量を示し、必ずしもピクセルレベルの位置に存在するとは限らない。そこで、相関ピークの位置をサブピクセルレベルで補間推定することによりサブピクセルレベルでズレ量を求めることが可能となる。ここで、相関ピークの位置の補間推定方法としては、放物線などの関数を、フィッティングする手法を採用することができる。そして、参照ウインドウの位置にサブピクセルレベルで補間推定された相関ピークの位置を足し合わせることによりサブピクセルレベルで対応点を求めることが可能となる。
【００５２】
次に、位相成分を用いずに相関値を算出する手法の１つであるＳＡＤの詳細について説明する。図５はＳＡＤの説明図である。図５に示すように、基準画像に注目点ＣＰが設定され、注目点ＣＰを中心として基準ウインドウＷ１が設定される。ここで、注目点ＣＰは、基準画像上の全画素、又は一定の間隔で間引かれた各画素が例えばラスタ走査されるようにして順次設定される。次に、参照画像に設定された探索範囲内の所定の画素が参照ウインドウＷ２の中心点Ｏ１として設定され、この中心点Ｏ１を中心として参照ウインドウＷ２が設定される。ここで、探索範囲としては、注目点ＣＰと垂直方向の高さが同一であり、かつ、水平方向と平行な直線状の参照画像上の領域を採用することができる。次に、基準ウインドウＷ１内の画像Ｉｍｇ１と参照ウインドウＷ２内の画像Ｉｍｇ２との相関値ＣＯＲｐが式（８）、（９）を用いて算出される。
【００５３】
【数２】
【００５４】
但し、Ｗは基準ウインドウＷ１、参照ウインドウＷ２のウインドウサイズを示し、ｉは垂直方向の座標を示し、ｊは水平方向の座標を示し、ｐは０≦ｐ≦ｍａｘ＿ｄｉｓｐを満たす変数であり、ｍａｘ＿ｄｉｓｐは最終探索点を示す。
【００５５】
そして、相関値ＣＯＲｐが求まると、ｐが１増加されて参照ウインドウＷ２が水平方向にずらされ、次の相関値ＣＯＲｐが求められる。
【００５６】
そして、相関値ＣＯＲｐを参照ウインドウＷ２内の画像の中心点Ｏ１の相関値として採用し、参照画像において相関値が最も高くなる位置を探索し、探索した位置を基準画像に設定された注目点ＣＰの対応点として特定する。図５のグラフに示すように、相関値ＣＯＲｐは、画像Ｉｍｇ１と画像Ｉｍｇ２との相関が高く、類似しているほど高くなる。
【００５７】
ここで、参照ウインドウは、画素単位で離散的にずらされるため、相関値はピクセルレベルの分解能で算出されることになるが、ＰＯＣと同様にして、サブピクセルレベルで相関値を算出してもよい。
【００５８】
また、探索部３０は、バックマッチングを用いた探索処理により対応点を探索してもよい。ここで、バックマッチングを用いた探索処理とは、基準画像に注目点を中心として基準ウインドウを設定すると共に、参照画像に参照ウインドウを設定し、参照ウインドウを探索範囲でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索する通常の探索処理が終了した後、通常の探索処理により探索した対応点を注目点とし、通常の探索処理と同様にして基準画像から注目点の対応点を探索するバックマッチングを実行する処理である。
【００５９】
図６は、バックマッチングによる探索処理の説明図である。図６に示すように、まず、基準画像に注目点ＣＰが設定され、注目点ＣＰを中心として基準ウインドウＷ１が設定され、参照画像から対応点ＴＰが探索されるというように通常の探索処理が実行される。
【００６０】
次に、対応点ＴＰが注目点ＣＰ´とされ、注目点ＣＰ´を中心として基準ウインドウＷ１´が設定され、基準画像から対応点ＴＰ´が探索されるというようにバックマッチングが実行される。
【００６１】
次に、バックマッチングにより探索された対応点ＴＰ´が注目点ＣＰに一致した場合、バックマッチングに成功したと判定される。一方、バックマッチングにより探索された対応点ＴＰ´が注目点ＣＰに一致しなかった場合、バックマッチングに失敗したと判定される。
【００６２】
なお、バックマッチングにおいては、例えば、注目点ＣＰを中心として基準ウインドウＷ１を設定したときの領域をバックマッチングの探索範囲として設定するというように、基準画像の全域ではなく一部の領域をバックマッチングの探索範囲として設定してもよい。図６においては、注目点ＣＰ´と垂直方向の高さが同一であって、基準ウインドウＷ１の水平方向のサイズと同一サイズの水平方向の直線状の領域が探索範囲として設定されている。これにより、バックマッチングにおける探索精度を高めつつ、処理の高速化を図ることができる。
【００６３】
図２に戻り、探索制御部４０は、決定部７０により決定された初期探索点を基準として、注目階層の１つ上の階層（以下、「注目上階層」と称する）の参照画像に探索範囲を設定し、探索範囲内において対応点を探索する探索処理を探索部３０に実行させ、当該探索処理が下位の階層から上位の階層に向けて実行されるように探索部３０を制御する。この場合、探索制御部４０は、注目階層の１つ上の階層の参照画像における探索範囲を注目階層の参照画像における探索範囲よりも狭く設定してもよい。こうすることで、効率良く対応点を探索することができる。
【００６４】
図７は、探索制御部４０により設定される探索範囲の説明図であり、（ａ）は注目階層における基準画像と参照画像とを示し、（ｂ）は注目上階層における基準画像と参照画像とを示している。
【００６５】
探索制御部４０は、図７（ｂ）に示す参照画像において、決定部７０により対応点ＴＰを基に決定された初期探索点ＦＰを基準とし、注目階層の探索範囲ＤＲよりも狭い領域を、注目上階層の探索範囲ＤＲとして設定する。図７においては、探索範囲ＤＲの形状として、直線状が採用されており、図７（ｂ）の方が図７（ａ）に比べて直線の長さが短くなっており、探索範囲ＤＲが狭くなっていることが分かる。
【００６６】
このようにして、探索制御部４０は、下位の階層から上位の階層に向かうにつれて範囲が狭くなるように参照画像上に探索範囲ＤＲを設定する。そのため、低解像度の参照画像で広範囲に探索範囲ＤＲを設定して対応点ＴＰのおよその位置を探索しておき、その探索結果を用いて高解像度での参照画像の探索範囲ＤＲを狭い範囲に絞り込むことが可能となり、高速かつ高精度に対応点を探索することができる。なお、各階層の探索範囲ＤＲの形状としては、直線状、円形状、矩形状、楕円状等を採用することができる。また、各階層の探索範囲ＤＲのサイズとしては、階層毎に予め定められたサイズを採用すればよい。
【００６７】
なお、探索制御部４０は、探索範囲ＤＲの形状として直線形状を採用した場合、最下位の階層における探索範囲ＤＲを、最下位の階層の基準画像に設定した注目点ＣＰと垂直方向の高さが同一であって、水平方向に平行な最下位の階層の参照画像上の１本の直線の全範囲に設定すればよい。また、探索制御部４０は、探索範囲ＤＲの形状として円形状、矩形状、楕円状を採用する場合、最下位の階層における探索範囲ＤＲを、最下位の階層の参照画像上の全範囲に設定すればよい。
【００６８】
図２に戻り、信頼度算出部５０は、探索部３０により探索された各対応点の探索結果を基に、各対応点の探索精度を示す信頼度を算出する。ここで、信頼度算出部５０は、後述する第１〜第４の信頼度算出手法を用いて信頼度を算出することができる。
【００６９】
第１の信頼度算出手法は、探索部３０が各対応点を探索する際に算出した相関値を基に、各対応点の信頼度を算出する手法である。ここで、信頼度としては、相関値をそのまま採用すればよい。例えば、探索部３０がＰＯＣにより対応点を探索した場合は、上記式（７）により得られるｒ（ｋ１，ｋ２）の最大値を信頼度として採用すればよいし、ｒ（ｋ１，ｋ２）の最大値と、当該最大値の次に大きなｒ（ｋ１，ｋ２）との平均値を信頼度として採用してもよいし、ｒ（ｋ１，ｋ２）の最大値を中心とした所定サイズ（例えば３×３）の矩形領域のｒ（ｋ１，ｋ２）の平均値を信頼度として採用してもよい。
【００７０】
第２の信頼度算出手法は、基準画像に設定された基準ウインドウ内の画像のコントラストを基に、各対応点の信頼度を算出する手法である。この場合、信頼度算出部５０は、例えば式（１０）を用いて基準ウインドウ内の画像のコントラスト値ＣＴＲ１を算出し、得られたコントラスト値ＣＴＲ１を信頼度として採用すればよい。
【００７１】
【数３】
【００７２】
但し、Ｉｍｇ（ｉ，ｊ）は基準ウインドウ内の画像を示し、ＩＭＧは、Ｉｍｇ（ｉ，ｊ）の平均値、すなわち、基準ウインドウ内の画像の各画素の画素値の平均値を示し、ｗは、基準ウインドウの水平及び垂直方向のサイズを示す。なお、信頼度算出部５０は、基準ウインドウ内の画像の全領域ではなく、一部の矩形領域の画像を用いてコントラスト値ＣＴＲ１を算出してもよい。この場合、式（１０）のｗとして、一部の矩形領域の水平及び垂直方向のサイズを採用すればよい。
【００７３】
第３の信頼度算出手法は、探索部３０がバックマッチングを用いた探索処理を採用した場合において、バックマッチングが成功したか否かを基に、信頼度を算出する手法である。この場合、信頼度算出部５０は、バックマッチングに成功した対応点における信頼度を例えば「１」、バックマッチングに失敗した対応点における信頼度を例えば「０」というようにして、信頼度を２値化して表せばよい。
【００７４】
第４の信頼度算出手法は、基準画像に設定された注目点ＣＰの位置から基準画像にエピポーララインＬ１を設定し、エピポーララインＬ１を基に、参照画像にエピポーララインＬ２を設定し、探索部３０が探索した対応点とエピポーララインＬ２との距離を信頼度として採用する手法である。
【００７５】
ここで、カメラ１１，１２は、キャリブレーションがされており、カメラ１１，１２の射影行列Ｐ１，Ｐ２が既知であるとすると、射影行列Ｐ１，Ｐ２からＦ（Ｆ：Fundamental）行列が得られる。そして、エピポーララインＬ１上の任意の点をｍ１（ｘ１，ｙ１，１）とすると、エピポーララインＬ２は、Ｌ２＝Ｆ・ｍ１により得られる。但し、ｘ１は垂直方向の座標を示し、ｙ１は水平方向の座標を示す。そして、探索部３０により探索された対応点をｍ２（ｘ２，ｙ２，１）として、Ｌ２とｍ２との距離を求めれば、信頼度が得られる。
【００７６】
理論上、対応点はエピポーララインＬ２上に存在するため、対応点がエピポーララインＬ２に近いほど、当該対応点の信頼度は高い。そこで、第４の信頼度算出手法は、対応点とエピポーララインＬ２との距離を信頼度として採用している。
【００７７】
なお、本対応点探索装置では、カメラ１１，１２は地面に対して同一の高さ位置に設置されている平行化ステレオカメラである。そのため、エピポーララインＬ１とエピポーララインＬ２とは平行、かつ垂直方向の座標が一致する。そのため、信頼度算出部５０は、注目点であるｍ１と、対応点であるｍ２との垂直方向の座標のずれ、すなわち、｜ｘ１−ｘ２｜を信頼度として採用すればよい。
【００７８】
また、信頼度算出部５０は、各対応点について、第１〜第４の信頼度算出手法のいずれかにより得られた各階層での信頼度を基に、最終的な信頼度を算出する第５の信頼度算出手法を第１〜第４の信頼度算出手法と併用して採用してもよい。
【００７９】
図８は、第５の信頼度算出手法の説明図であり、図８（ａ）は最終的な信頼度が高い場合の一例を示し、図８（ｂ）は最終的な信頼度が低い場合の一例を示し、図８（ｃ）は最終的な信頼度が低い場合の一例を示し、図８（ｄ）は最終的な信頼度が高い場合の一例を示している。
【００８０】
図８（ａ）に示すように、各階層での信頼度がほぼ一定であり、かつ、全体的に高い場合は、対応点の信頼性は高いと言える。また、図８（ｂ）に示すように、各階層での信頼度がほぼ一定であっても、全体的に低い場合は対応点の信頼性は低いと言える。また、図８（ｃ）に示すように、各階層での信頼度が高、低を繰り返す場合は、対応点の信頼性は低いと言える。また、図８（ｄ）に示すように、各階層の信頼度が一定でなくても、下位の階層から上位の階層に向かうにつれて信頼度が高くなっている場合は、対応点の信頼性は高いと言える。
【００８１】
そこで、信頼度算出部５０は、各階層の信頼度の加算値を最終的な信頼度として算出する。これにより、図８（ａ）のような場合について最終的な信頼度を高くし、図８（ｂ）のような場合について最終的な信頼度を低くすることができる。また、信頼度算出部５０は、上位の階層に向かうにつれて高くなるように各階層の重み係数を設定し、各階層の信頼度の重み付け加算値を最終的な信頼度として算出してもよい。これにより、図８（ｄ）のような場合について最終的な信頼度を高くすることができる。なお、上位の階層ほど信頼度を重要視するのは、上位の階層ほど解像度が高いため、信頼度の信頼性が高いからである。
【００８２】
また、信頼度算出部５０は、隣接する階層間での信頼度の差分値を算出し、この差分値の加算値に応じた値で、各階層の信頼度の加算値又は重み付け加算値を減じた値を最終的な信頼度として算出してもよい。これにより、図８（ｃ）のような場合について最終的な信頼度を低くすることができる。
【００８３】
図２に戻り、決定部７０は、探索部３０により探索された対応点、又は変更部６０により変更された対応点を基に、注目上階層の参照画像における初期探索点を決定する。ここで、決定部７０は、注目階層において探索された対応点の注目上階層の参照画像への投影点を初期探索点として決定すればよい。例えば、注目階層の参照画像の解像度が注目上階層の参照画像の解像度の１／２であり、注目階層の参照画像において座標が（５０，５０）の点が対応点として探索されたとすると、注目上階層の参照画像において座標が（１００，１００）の点が初期探索点とされる。
【００８４】
変更部６０は、信頼度が所定の値よりも低い対応点を、参照画像上の別の点に変更する。ここで、変更部６０は、第１〜第３の変更手法のいずれか手法により対応点を別の点に変更する。
【００８５】
第１の変更手法は、信頼度が所定の値より低い対応点を、当該対応点と同一階層の参照画像に設定された初期探索点に変更する手法である。図９は、第１の変更手法の説明図であり、（ａ）は対応点が探索される前の参照画像を示し、（ｂ）は対応点が探索された参照画像を示し、（ｃ）は対応点が変更される様子を示した図である。
【００８６】
図９（ａ）に示す点ＦＰ１〜ＦＰ５は、注目階層の基準画像において設定された注目点ＣＰ１〜ＣＰ５（図略）の対応点を探索する際に、注目階層の参照画像において設定された初期探索点を示している。また、図９（ｂ）に示す点ＴＰ１〜ＴＰ５は注目点ＣＰ１〜ＣＰ５（図略）の対応点を示している。なお、図９（ａ）、（ｂ）の縦軸は各点と各点のそれぞれの注目点との視差を示し、横軸は各点の位置を示している。
【００８７】
ここで、図９（ｂ）に示す点ＴＰ３の信頼度が所定の値より低いとする。すると、図９（ｃ）に示すように、変更部６０は、対応点を、点ＴＰ３から点ＦＰ３に変更する。これにより、決定部７０は、点ＴＰ３ではなく、点ＦＰ３を基に、注目上階層の参照画像における初期探索点を決定する。そして、探索制御部４０は、この初期探索点を基準として注目上階層の参照画像上に探索範囲を設定し、探索部３０に対応点を探索させる。
【００８８】
こうすることで、明らかに誤探索されている点を使わずに、注目上階層の参照画像上に探索範囲を設定することができる。また、点ＦＰ３は、注目階層の１つ下の階層（以下、「注目下階層」と称する）の参照画像で探索された対応点を基に定められているため、ある程度の信頼性は有している。そのため、対応点を初期探索点である点ＦＰ３とすることで追加計算なしで、比較的信頼性の高い点を用いて探索範囲を定めることができる。
【００８９】
なお、決定部７０が変更部６０により変更された対応点に基づいて初期探索点を決定した場合、探索制御部４０は、注目上階層の探索範囲を通常の探索範囲よりも大きく設定することが好ましい。
【００９０】
図１０は、変更された対応点に基づいて初期探索点が決定された場合に、注目上階層の参照画像に設定される探索範囲を示した図である。図１０の丸枠Ｍ１に示すように、上段に示す注目階層における対応点が注目点ＣＰの対応点である点ＴＰとされた場合、すなわち、対応点が点ＴＰを探索する際に設定された初期探索点である点ＦＰに変更されなかった場合、下段に示す注目上階層の参照画像上には、点ＴＰを基に、点ＦＰ´が初期探索点として設定され、点ＦＰ´を基準として、通常の大きさを有する探索範囲ＤＲが設定される。
【００９１】
一方、丸枠Ｍ２に示すように、上段に示す注目上階層における対応点が注目点ＣＰの対応点である点ＴＰから点ＦＰに変更された場合、下段に示す注目上階層の参照画像上には、点ＦＰに基づいた点ＦＰ´が初期探索点として設定され、点ＦＰ´を基準として、探索範囲ＤＲよりも大きな探索範囲ＤＲ´が設定される。なお、探索範囲ＤＲ，ＤＲ´の大きさとしては、各階層において予め定められた値を採用することができる。また、探索範囲ＤＲ´の大きさは、点ＴＰの信頼度が低くなるにつれて大きな値を採用するというように、信頼度に応じて適宜変更して、探索精度を高めてもよい。図１０においては、探索範囲ＤＲ，ＤＲ´は、点ＦＰ´を中心として左右に一定の幅を有する水平方向に平行な直線上に設定されている。
【００９２】
対応点を注目点ＣＰの対応点である点ＴＰから初期探索点である点ＦＰに変更するということは、注目階層において探索処理を行わないことと同じであり、探索範囲として通常の大きさを有する探索範囲ＤＲを採用すると、注目点ＣＰの本来の対応点が探索範囲から除外されるおそれがある。
【００９３】
そこで、第１の変更手法では、対応点が点ＴＰから点ＦＰに変更された場合、注目上階層での探索範囲を通常の大きさよりも大きくし、注目点ＣＰの本来の対応点が探索範囲から除外されることの防止を図ることが好ましい。
【００９４】
第２の変更手法は、信頼度が所定の値より低い対応点を、当該対応点の周辺の対応点の位置情報に基づいて変更する手法である。図１１は、第２の変更手法の説明図である。なお、図１１に示す点ＴＰ１〜ＴＰ５は注目点ＣＰ１〜ＣＰ５（図略）の対応点を示している。また、図１１において、縦軸はプロットされた各点と各点のそれぞれの注目点との視差を示し、横軸は各点の位置を示している。
【００９５】
ここで、点ＴＰ３の信頼度が所定の値より低いとする。すると、変更部６０は、点ＴＰの周辺の点である点ＴＰ１〜ＴＰ２、及び点ＴＰ４〜ＴＰ５を用いた補間処理により、点ＴＰ３の補間点である点ＴＰ３´を求める。ここで、補間処理としては、周辺の点の位置の平均値、中央値、最頻値を算出する処理、線形補間処理、及びスプライン補間処理等を採用することができる。また、補間処理を行うにあたり、図１０に示す点ＴＰ１〜ＴＰ２、ＴＰ４〜ＴＰ５に加えて、これら以外の点を周辺の点に含めてもよいし、図１０に示す点ＴＰ１〜ＴＰ２及びＴＰ４〜ＴＰ５のうち一部の点を周辺の点としてもよい。
【００９６】
そして、変更部６０は、注目点ＣＰ３（図略）の対応点を、点ＴＰ３から点ＴＰ３´に変更する。こうすることで、点ＴＰ１〜ＴＰ５が連続面上の点を示すような場合において、注目点ＣＰ３の対応点として限りなく正解に近い対応点を探索することができる。
【００９７】
第３の変更手法は、信頼度が所定の値より低い対応点に関し、当該対応点を探索する際に探索部３０により算出された相関値を基に、当該対応点の候補となる複数の候補点を求め、これら各候補点のそれぞれを対応点として採用する手法である。
【００９８】
図１２は、第３の変更手法の説明図である。なお、図１２に示す点ＴＰ１〜ＴＰ２及び点ＴＰ４〜ＴＰ５は、注目点ＣＰ１〜ＣＰ２（図略）及び注目点ＣＰ４〜ＣＰ５（図略）の対応点を示している。また、点ＴＰ３´は注目点ＣＰ３（図略）の対応点の探索処理において算出された一番高い相関値を有する点を示し、点ＴＰ３´´は２番目に高い相関値を有する点を示す。また、図１２において、縦軸は各点と各点のそれぞれの注目点との視差を示し、横軸は各点の位置を示している。
【００９９】
ここで、点ＴＰ３´の信頼度が所定の値より低いとする。すると、変更部６０は、注目点ＣＰ３の対応点の探索処理時に算出された相関値が一番高い点である点ＴＰ３´と２番目に高い点である点ＴＰ３´´とを対応点の候補となる候補点として求め、点ＴＰ３´，ＴＰ３´´のそれぞれを対応点として採用する。
【０１００】
次に、決定部７０は、点ＴＰ３´を基に、注目上階層の参照画像上に初期探索点ＦＰ３´（図略）を決定すると共に、点ＴＰ３´´を基に、注目上階層の参照画像上に初期探索点ＦＰ３´´（図略）を決定する。次に、探索制御部４０は、初期探索点ＦＰ３´を基準として注目上階層の参照画像上に探索範囲を設定し、探索部３０に探索処理を実行させると共に、初期探索点ＦＰ３´´を基準として注目上階層の参照画像上に探索範囲を設定し、探索部３０に探索処理を実行させる。次に、信頼度算出部５０は、この探索処理により得られた２個の対応点のそれぞれの信頼度を算出し、変更部６０は、得られた２個の対応点のうち、信頼度の高い方の対応点を注目上階層における注目点ＣＰ３の対応点として採用する。なお、図１２では、候補点が２個とされているが、これに限定されず、３個以上にしてもよい。
【０１０１】
このように、第３の変更手法を作用すると、下位の階層で対応点を決定しにくい場合は、情報量が多い高解像度側の上位の階層に判断を委ねることが可能となり、正解に近い対応点を得ることができる。
【０１０２】
図２に戻り、報知制御部８０は、探索部３０から出力された注目点と対応点とを基に、ステレオ法による測距方法を用いて注目点の３次元実空間上における３次元位置を算出する。図１３は、ステレオ法による測距方法の説明図である。
【０１０３】
図１３において、ｆは、カメラ１１，１２の焦点距離を示し、カメラ１１，１２の撮影面（ＣＣＤ）の画素数及び１画素の大きさ（μ）は等しいものとする。また、カメラ１１，１２は、所定の基線長Ｌだけ左右方向に離間され、かつ、光軸が平行となるように配置されている。この場合、注目点ＣＰと対応点ＴＰとの座標から得られる撮影面上の視差（ずれ画素数）をｄ（＝ｄ１＋ｄ２）とすると、物体ＯＢの３次元位置（Ｘ，Ｙ，Ｚ）は、式（１１）〜（１３）により得られる。
【０１０４】
Ｚ＝（Ｌ×ｆ）／（μ×ｄ） （１１）
Ｙ＝ｙ・Ｚ／ｆ （１２）
Ｘ＝ｘ・Ｚ／ｆ （１３）
但し、ｘ，ｙは注目点の座標を示す。
【０１０５】
そして、報知制御部８０は、物体ＯＢの３次元位置から物体ＯＢと自車体との距離が所定の値より短い場合、物体ＯＢを障害物として判定し、自車体に障害物が迫っている情報を生成して表示装置１４に表示する。これにより、障害物が迫っていることがユーザに報知される。
【０１０６】
次に、本対応点探索装置の動作について説明する。図１４は、対応点探索装置の動作を示すフローチャートである。なお、図１４に示す処理は、カメラ１１，１２により入力画像が撮影される毎に実行される。
【０１０７】
まず、ステップＳ１１において、画像取得部１０は、カメラ１１により撮影された入力画像を基準画像、カメラ１２により撮影された入力画像を参照画像として取得する。次に、ステップＳ１２において、多重化部２０は、基準画像及び参照画像を低解像度化し、解像度の異なる複数の基準画像及び参照画像を生成する。
【０１０８】
ステップＳ１３において、探索制御部４０は、注目階層を設定する。ステップＳ１４において、探索制御部４０は、全階層に対する探索処理が終了したか否かを判定し、全階層の探索処理が終了している場合（ステップＳ１４でＹＥＳ）、処理を終了する。一方、ステップＳ１４において、全階層の探索処理が終了していない場合（ステップＳ１４でＮＯ）、探索部３０は、注目階層の基準画像上の注目点として設定されるべき全ての点に対する探索処理が終了しているか否かを判定する（ステップＳ１５）。
【０１０９】
そして、ステップＳ１５において、全ての点に対する探索処理が終了していると判定された場合（ステップＳ１５でＹＥＳ）、処理がステップＳ１３に戻され、注目階層の１つ上の階層が注目階層として設定される。
【０１１０】
一方、ステップＳ１５において、全ての点に対する探索処理が終了されていないと判定された場合（ステップＳ１５でＮＯ）、探索部３０は、注目階層の基準画像に注目点を設定する（ステップＳ１６）。
【０１１１】
ステップＳ１７において、探索部３０は、ステップＳ１６で設定された注目点を中心として注目階層の基準画像に基準ウインドウを設定する。
【０１１２】
ステップＳ１８において、決定部７０は、ステップＳ１４で設定された注目点の注目下階層における対応点を基に、注目階層における初期探索点を決定する。ステップＳ１９において、探索制御部４０は、ステップＳ１８で決定された初期探索点を基準に注目階層の参照画像上に探索範囲を設定する。
【０１１３】
ステップＳ２０において、探索部３０は、ステップＳ１９で設定された探索範囲内に中心点が位置するように参照ウインドウをずらしながら、ステップＳ１７で設定された基準ウインドウ内の画像と参照ウインドウ内の画像との相関値を求め、対応点を探索する。
【０１１４】
ステップＳ２１において、信頼度算出部５０は、上記第１〜第４の信頼度算出手法のいずれかを用いて、ステップＳ２０で探索された対応点の信頼度を算出する。ここで、信頼度算出部５０は、ステップＳ１３で設定された注目階層が最上位の階層である場合は、上記第５の信頼度算出手法を用いて対応点の最終的な信頼度を求めても良い。なお、最終的な信頼度が所定の値より低い対応点が探索部３０により探索された場合、報知制御部８０は、当該対応点の信頼性が低いとして、当該対応点に対応する注目点の３次元位置を求めないようにしてもよい。これにより信頼性の高い対応点のみを用いて３次元位置を算出することが可能となり、３次元位置の算出精度を高めることができる。
【０１１５】
ステップＳ２２において、変更部６０は、ステップＳ２１で算出された信頼度からステップＳ２０で探索された対応点を別の点に変更するか否かを判定し、対応点を変更する場合（ステップＳ２２でＹＥＳ）、上記第１〜第３の変更手法のいずれかを用いて対応点を変更し（ステップＳ２３）、処理をステップＳ１５に戻す。
【０１１６】
一方、ステップＳ２２において、変更部６０は、対応点を変更しないと判定した場合（ステップＳ２２でＮＯ）、対応点を変更することなく処理をステップＳ１５に戻す。そして、ステップＳ１６で次の注目点が設定され同様の探索処理が実行される。
【０１１７】
このように本対応点探索装置によれば、各階層において探索された対応点の信頼度が算出され、信頼度が低い対応点が、上記第１〜第４の変更手法を用いて変更され、変更された対応点が初期探索点として決定され、当該初期探索点を基準に１つ上の階層の探索範囲が設定される。そのため、途中の階層において、信頼度の低い対応点が得られたとしても、処理が打ち切られることなく最終的な対応点を得ることが可能となる結果、大きな処理対象外の領域の発生を防止することができる。また、各階層において信頼度の低い対応点が修正されつつ、上位の階層に向けて探索処理が実行されている。そのため、最終的に得られた対応点の信頼度が低い場合、再度、初期探索点を変更して最下位の階層から探索処理を再実行して処理コストを増加させなくても、対応点を精度良く求めることができる。
【０１１８】
なお、上記説明では、カメラの数を２つとしたが、これに限定されず１つとしてもよい。図１５は、カメラの数を１つとした場合の対応点探索装置を示した図である。図１５に示す探索装置は、１つのカメラ１１、演算処理装置１３、及び表示装置１４を備える。この場合、画像取得部１０は、現フレームで撮影された入力画像を参照画像、現フレームの１つ前のフレームで撮影された入力画像を基準画像として取得する。また、探索部３０は、探索制御部４０の制御の下、下位の階層から上位の階層に向けて、探索処理を繰り返し実行し、基準画像に設定した各注目点の各対応点を参照画像から探索し、注目点と対応点とを対応付けて報知制御部８０に出力する。そして、報知制御部８０は、探索部３０から出力された対応点と注目点とから各注目点の動きベクトルを算出するようにしてもよい。これにより、動きベクトルを精度良く求めることができる。
【０１１９】
また、図１ではカメラの数を２つとしたが３つ以上としてもよい。この場合、演算処理装置１３は、カメラの数を２つとした場合と同様にして、各参照画像から対応点を探索すればよい。そして、報知制御部８０は、各参照画像から探索された対応点の平均値を基に、注目点の３次元位置を算出すればよい。
【符号の説明】
【０１２０】
１１，１２ カメラ
１３ 演算処理装置
１４ 表示装置
１０ 画像取得部
２０ 多重化部
３０ 探索部
４０ 探索制御部
５０ 信頼度算出部
６０ 変更部
７０ 決定部
８０ 報知制御部
【技術分野】
【０００１】
本発明は、基準画像に設定された注目点の対応点を参照画像から探索する対応点探索装置に関するものである。
【背景技術】
【０００２】
近年、ステレオカメラにより異なる視点から撮影された複数の画像のうち、１の画像を基準画像、他の画像を参照画像とし、基準画像上の各点に対応する対応点を参照画像から探索することで、ステレオカメラにより撮影された物体の距離等を算出する装置が知られている。ここで、対応点は参照画像上のどの点に位置するか事前に知り得ないので、参照画像の全域が対応点の探索範囲となるのが一般的であるが、近年、参照画像の全域を探索範囲としなくても高精度に対応点を探索する手法として多重解像度戦略による探索手法が注目されている。
【０００３】
非特許文献１では、最終的な対応点の探索結果に対する信頼度（マッチング度）を求め、この信頼度が低い場合は、周囲の対応点の位置情報を用いて補間データを作成し、その補間データを最下位の階層の初期探索点に設定し、再度、最上位の階層に向けて多重解像度戦略による探索手法を実行して対応点を探索する手法が開示されている。
【０００４】
また、特許文献１では、参照画像から探索された対応点を注目点とし、基準画像から当該注目点に対する対応点を探索するいわゆるバックマッチングと呼ばれる探索手法と多重解像度戦略とを組み合わせた探索手法が開示されている。すなわち、特許文献１では、各階層において、バックマッチングが実行され、バックマッチングによって基準画像から得られた対応点が基準画像上の注目点と一致し、バックマッチングに成功した場合、一つ上の階層について、同様にして対応点を探索するというような処理が最上位の階層まで繰り返され、最終的な対応点が求められる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１８４２４０号公報
【非特許文献】
【０００６】
【非特許文献１】"High-Accuracy Passive 3D Measurement System Using Phase-Based Image Matching" IEICE Transaction. Fundamentals, E89-A, no3, pp.686-697, March2006.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１の手法では、多重解像度戦略によって信頼度の低い探索結果が得られた場合、再度、探索処理が実行されるが、この場合、最上位の同一解像度でしか実行されないため、探索精度が低いという問題がある。
【０００８】
また、特許文献１の手法では、最下位又は中間の階層において、バックマッチングに失敗した場合、失敗した階層の基準画像に設定された注目点に対応する元の入力画像の全ての画素が対応点の探索対象から除外されるため、これらの画素について距離等を計測することができず、元の入力画像に大きな処理対象外の領域が発生してしまう。
【０００９】
例えば、解像度が元の入力画像の１／２の階層において、バックマッチングに失敗して処理が打ち切られると、当該階層の１画素は元の入力画像の４画素分に対応するため、元の入力画像において４画素分の処理対象外の領域が発生する。また、解像度が入力画像の１／８の階層において処理が打ち切られると、当該階層の１画素は元の入力画像の６４画素分に対応するため、元の入力画像において６４画素分の処理対象外の領域が発生する。
【００１０】
本発明の目的は、処理コストを増大させなくても精度良く対応点を探索し、かつ、大きな処理対象外の領域が発生することを防止することができる対応点探索装置を提供することである。
【課題を解決するための手段】
【００１１】
（１）本発明による対応点探索装置は、２枚以上の入力画像のうち１の入力画像を基準画像、他の入力画像を参照画像として取得する取得手段と、前記取得手段により取得された基準画像及び参照画像をそれぞれ低解像度化することで、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の前記基準画像及び前記参照画像をそれぞれ階層的に生成する多重化手段と、注目階層の基準画像上の注目点に対する対応点を前記注目階層の参照画像から探索する探索手段と、前記探索手段により探索された対応点を基に、前記注目階層の１つ上の階層の参照画像における初期探索点を決定する決定手段と、前記初期探索点を基準として、前記注目階層の１つ上の階層の参照画像に探索範囲を設定し、前記探索範囲内において対応点を探索させる探索処理を前記探索手段に実行させ、当該探索処理が下位の階層から上位の階層に向けて実行されるように前記探索手段を制御する探索制御手段と、前記探索手段により探索された各対応点の探索結果を基に、各対応点の探索精度を示す信頼度を算出する信頼度算出手段と、前記信頼度算出手段によって算出された信頼度に基づいて、前記参照画像において探索された対応点の候補を抽出する対応点候補抽出手段とを備え、前記決定手段は、前記信頼度算出手段によって算出された信頼度に基づいて、複数の前記初期探索点を決定し、前記探索制御手段は、前記探索手段に複数の前記初期探索点のそれぞれの対応点を探索させ、前記対応点候補抽出手段は、探索された複数の対応点のうち、それぞれの対応点の信頼度に基づいて、前記注目階層の１つ上の階層の注目点に対する対応点の候補を抽出することを特徴とする。
【００１２】
この構成によれば、各階層において探索された対応点の信頼度が算出され、信頼度の低い対応点が、探索精度を高めるために異なる点に変更され、変更された対応点が初期探索点として決定され、当該初期探索点を基準に１つ上の階層の探索範囲が設定される。
【００１３】
そのため、途中の階層において、信頼度の低い対応点が得られたとしても、処理が打ち切られることなく最終的な対応点を得ることが可能となる結果、大きな処理対象外の領域の発生を防止することができる。また、各階層において信頼度の低い対応点が修正されつつ、上位の階層に向けて探索処理が実行されている。そのため、最終的に得られた対応点の信頼度が低い場合、再度、初期探索点を変更して最下位の階層から探索処理を再実行して処理コストを増加させなくても、対応点を精度良く求めることができる。
【００１４】
更に、下位の階層で対応点を決定しにくい場合は、情報量が多い高解像度側の上位の階層に判断を委ねることが可能となり、正解に近い対応点を得ることができる。
【００１５】
（２）前記対応点候補抽出手段は、最も高解像度の階層では対応点を１つに特定することを特徴とすることが好ましい。
【００１６】
（３）前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記探索範囲内でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索し、前記信頼度算出手段は、各対応点を探索する際に前記探索手段により算出された相関値を基に、各対応点の信頼度を算出することが好ましい。
【００１７】
この構成によれば、基準ウインドウ及び参照ウインドウの両ウインドウ内の画像の相関値を基に、各対応点の信頼度が算出されるため、探索処理の過程で発生した値を用いて信頼度を算出することが可能となる結果、高速、かつ高精度に信頼度を算出することができる。
【００１８】
（４）前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記探索範囲内でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索し、前記信頼度算出手段は、前記基準ウインドウ内の画像のコントラストを基に、各対応点の信頼度を算出することが好ましい。
【００１９】
この構成によれば、基準ウインドウ内の画像のコントラストに従って信頼度が算出されるため、対応点の探索結果ではなく、探索対象となる画像自体が有する特徴によって信頼度を算出することができる。すなわち、コントラストが低い画像は一般的に対応点の探索精度が低下するが、このような事情を加味して信頼度を算出することができる。
【００２０】
（５）前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記探索範囲内でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索する通常の探索処理が終了した後、前記通常の探索処理により探索した対応点を注目点とし、前記通常の探索処理と同様にして前記基準画像から前記注目点の対応点を探索するバックマッチングを実行し、前記信頼度算出手段は、前記バックマッチングによる探索結果を基に、各対応点の信頼度を算出することが好ましい。
【００２１】
この構成によれば、いわゆるバックマッチングが実行され、バックマッチングによる探索結果を基に、対応点が探索され、かつ信頼度が算出されるため、精度良く対応点を探索することができる。また、新たな処理を加えなくても、バックマッチングの処理過程で得られた値を用いて信頼度を算出することが可能となる。
【００２２】
（６）前記信頼度算出手段は、前記基準画像に設定された注目点から前記基準画像上にエピポーララインを設定し、前記基準画像上で設定したエピポーララインに対応するエピポーララインを前記参照画像上に設定し、前記探索手段により探索された前記基準画像上の注目点に対応する前記参照画像上の対応点と、前記参照画像上に設定したエピポーララインとの距離に基づいて、前記信頼度を算出することが好ましい。
【００２３】
理論上、対応点は参照画像上に設定されたエピポーラライン上に存在するため、対応点が参照画像上に設定されたエピポーララインに近いほど、当該対応点の信頼度は高い。そのため、対応点と参照画像上に設定されたエピポーララインとの距離を信頼度として採用することができる。
【００２４】
（７）前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記基準ウインドウ内の画像と前記参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて両ウインドウ内の画像の相関値を算出することが好ましい。
【００２５】
この構成によれば、基準ウインドウ及び参照ウインドウ内の両画像の輝度差やノイズの影響に左右されず、ロバストな探索処理を実現することができる。
【００２６】
（８）前記探索手段は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することが好ましい。
【００２７】
この構成によれば、既に確立された手法を用いて基準ウインドウ及び参照ウインドウ内の両画像を周波数分解することができる。
【００２８】
（９）前記探索手段は、位相限定相関法を用いて前記相関値を算出することが好ましい。この構成によれば、精度良く対応点を探索することができる。
【発明の効果】
【００２９】
本発明によれば、処理コストを増大させなくても精度良く対応点を探索し、かつ、大きな処理対象外の領域が発生することを防止することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施の形態による対応点探索装置のブロック図を示している。
【図２】演算処理装置の機能ブロック図を示している。
【図３】ＰＯＣの処理の流れを示したフローチャートである。
【図４】ＰＯＣ関数を示したグラフである。
【図５】ＳＡＤの説明図である。
【図６】バックマッチングによる探索処理の説明図である。
【図７】探索制御部により設定される探索範囲の説明図である。
【図８】第５の信頼度算出手法の説明図である。
【図９】第１の変更手法の説明図である。
【図１０】変更された対応点に基づいて初期探索点が決定された場合に、注目上階層の参照画像に設定される探索範囲を示した図である。
【図１１】第２の変更手法の説明図である。
【図１２】第３の変更手法の説明図である。
【図１３】ステレオ法による測距方法の説明図である。
【図１４】対応点探索装置の動作を示すフローチャートである。
【図１５】カメラの数を１つとした場合の対応点探索装置を示した図である。
【発明を実施するための形態】
【００３１】
以下、本発明の一実施の形態による対応点探索装置について図面を参照しつつ説明する。図１は、本発明の一実施の形態による対応点探索装置のブロック図を示している。対応点探索装置は、自動車等の車両の車体に搭載され、複数台のカメラ、例えば本実施の形態では２台のカメラ１１，１２、演算処理装置１３、及び表示装置１４を備えている。
【００３２】
カメラ１１，１２は、車体の進行方向に直交し、かつ水平方向に平行な方向である左右方向に所定の間隔を設けて、進行方向を中心に対称となるように同一高さ位置に配設され、所定のフレームレートで自車体の前方のシーンを撮影する。ここで、カメラ１１，１２は、同一時刻においてフレームが撮影されるように撮影タイミングの同期が図られている。
【００３３】
演算処理装置１３は、カメラ１１，１２で撮影された２枚の画像に後述する対応点の探索処理を実行する。表示装置１４は、液晶表示ディスプレイ、有機ＥＬディスプレイといった表示装置から構成され、演算処理装置１３により生成された情報を表示する。ここで、表示装置１４は、自車体がカーナビゲーションシステムを備えている場合は、当該カーナビゲーションシステムの表示装置により構成してもよいし、カーナビゲーションシステムとは別の表示装置により構成してもよい。
【００３４】
図２は、演算処理装置１３の機能ブロック図を示している。図２に示すように演算処理装置１３は、画像取得部１０（取得手段の一例）、多重化部２０（多重化手段の一例）、探索部３０（探索手段の一例）、探索制御部４０（探索制御手段の一例）、信頼度算出部５０（信頼度算出手段の一例）、変更部６０（対応点候補抽出手段の一例）、決定部７０（決定手段の一例）、及び報知制御部８０を備えている。なお、画像取得部１０〜報知制御部８０の各機能は、ＣＰＵに所定のプログラムを実行することで実現してもよいし、専用のハードウエア回路を用いて実現してもよい。
【００３５】
画像取得部１０は、カメラ１１により撮影された入力画像を基準画像として取得すると共に、カメラ１２により撮影された入力画像を参照画像として取得し、図略のメモリに記憶する。ここで、入力画像としては、例えば０（黒）〜２５５（白）の２５６階調値を有する複数の画素がマトリックス状に配列されたたデジタルの画像データを採用することができる。
【００３６】
多重化部２０は、画像取得部１０により取得された基準画像及び参照画像をそれぞれ低解像度化することで、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の基準画像及び参照画像をそれぞれ階層的に生成する。ここで、階層の数及び各階層の解像度としては予め定められた値を採用することができる。また、最上位の階層の基準画像及び参照画像は、低解像度化がされていない画像が採用される。また、同一階層において、基準画像及び参照画像の解像度は同一である。また、階層化された基準画像及び参照画像の複数の階層のうち、注目する１つの階層を「注目階層」と称する。
【００３７】
探索部３０は、注目階層の基準画像上の注目点に対する対応点を注目階層の参照画像から探索する。具体的には、探索部３０は、注目階層の基準画像に注目点を順次設定し、後述する探索処理を用いて、注目点の対応点を、探索制御部４０により注目階層の参照画像上に設定された探索範囲から探索する。また、探索部３０は、最上位の階層において探索した対応点、すなわち、各注目点に対する最終的な対応点を、注目点と対応付けて報知制御部８０に出力する。
【００３８】
上記探索処理としては、基準画像に注目点を中心として所定サイズの基準ウインドウを設定し、参照画像に基準ウインドウと同一サイズの参照ウインドウを設定し、参照画像に設定された探索範囲内において参照ウインドウをずらしながら、基準ウインドウ内の画像と参照ウインドウ内の画像との相関値を算出することで対応点を探索する処理が採用される。
【００３９】
そして、上記相関値を算出する手法としては、基準ウインドウ内の画像と参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて相関値を算出する手法を採用することができる。
【００４０】
そして、上記周波数分解としては、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換といった手法を採用することができ、処理の高速化の観点からは高速フーリエ変換を採用することが好ましい。
【００４１】
上記位相成分に基づいて相関値を算出する手法としては、位相限定相関法（ＰＯＣ：Phase Only Correlation）やＤＣＴ符号限定相関法を採用することができるが、ＰＯＣの方がよりロバストであるため、ＰＯＣを採用することが好ましい。
【００４２】
また、周波数分解することなく相関値を算出する手法を探索処理として採用してもよく、この場合、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（濃度差の二乗和）、又はＮＣＣ（正規化相互相関）等を採用することができるが、処理の高速化、高精度化の観点からはＳＡＤを採用することが好ましい。
【００４３】
ＤＣＴ符号限定法としては、例えば、”画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用、貴家仁志、首都大学東京、システムデザイン学部、動的画像処理実利用化ワークショップ２００７’２００７．７．３．８−９”に記載された手法を採用することができる。
【００４４】
位相成分に基づいて相関値を算出する手法は、周波数分解をすることなく相関値を算出する手法に比べてカメラ１１，１２の撮影条件の差や、ノイズなどの影響を受けにくく、ロバストであるが、周波数分解を行っているため処理コストがかかってしまう。そのため、ロバスト性を重視する場合は位相成分に基づいて相関値を算出する手法を採用することが好ましく、処理の高速化を図る場合は周波数分解しないで相関値を算出する手法を採用することが好ましい。
【００４５】
次に、位相成分に基づいて相関値を算出する手法の１つであるＰＯＣの詳細について説明する。図３は、ＰＯＣの処理の流れを示したフローチャートである。なお、図３において、周波数分解として、フーリエ変換を採用した場合を例示している。まず、ステップＳ１，Ｓ２において、基準ウインドウ内の画像にフーリエ変換が施され、参照ウインドウ内の画像にフーリエ変換が施される。ここで、基準ウインドウ内の画像が式（１）で表され、参照ウインドウ内の画像が式（２）で表されるとすると、基準ウインドウ内の画像は、式（３）によりフーリエ変換され、参照ウインドウ内の画像は、式（４）によりフーリエ変換される。
【００４６】
【数１】
【００４７】
但し、ｎ１，ｎ２は、垂直、水平方向の座標を示し、Ｎ１，Ｎ２は、基準ウインドウ及び参照ウインドウの垂直、水平方向のサイズを示し、Ｍ１は基準ウインドウ及び参照ウインドウの中心点から、垂直方向における端までの距離を示し、Ｍ２は基準ウインドウ及び参照ウインドウの中心点から、水平方向における端までの距離を示す。
【００４８】
次に、ステップＳ３，Ｓ４において、ステップＳ１，Ｓ２でフーリエ変換された両画像が式（５）を用いて規格化される。次に、ステップＳ５において、ステップＳ３，Ｓ４で規格化された両画像が合成される。ここで、規格化された両画像は、式（６）に示すように、Ｆ´（ｋ１，ｋ２）と、Ｇ´（ｋ１，ｋ２）の複素共役とが乗じられることで合成される。次に、ステップＳ６において、ステップＳ５で合成された画像が式（７）を用いて逆フーリエ変換され、ＰＯＣ関数（ｒ（ｋ１，ｋ２））が算出される。
【００４９】
図４は、ＰＯＣ関数を示したグラフである。このグラフにおいて、ｘ軸及びｙ軸は、基準ウインドウ及び参照ウインドウ内の各座標を表し、ｚ軸はＰＯＣ値を示している。図４に示すようにＰＯＣ関数は、ウインドウ間のズレ量に急峻な相関ピークを有し、画像マッチングにおけるロバスト性と推定精度とが高いことが知られている。そして、この相関ピークの高さは基準ウインドウ及び参照ウインドウの相関が高いほど大きくなる。したがって、相関値として、例えば相関ピークの高さを採用することで、両ウインドウ内の画像がどれだけ近似しているかを示すことが可能となる。
【００５０】
そして、参照ウインドウをずらしながら対応点が探索されることになる。この場合、相関ピークの位置は、両ウインドウ間のズレ量を示しているため、参照ウインドウを１画素ずつずらす必要はなく、例えば、ウインドウサイズの半分の大きさをずらし量として設定すればよい。
【００５１】
そして、最終的に対応点の位置は参照ウインドウの位置と、ＰＯＣ値の相関ピークの位置とから求められる。参照ウインドウの位置はピクセルレベルの値になるが、相関ピークの位置はウインドウ間のズレ量を示し、必ずしもピクセルレベルの位置に存在するとは限らない。そこで、相関ピークの位置をサブピクセルレベルで補間推定することによりサブピクセルレベルでズレ量を求めることが可能となる。ここで、相関ピークの位置の補間推定方法としては、放物線などの関数を、フィッティングする手法を採用することができる。そして、参照ウインドウの位置にサブピクセルレベルで補間推定された相関ピークの位置を足し合わせることによりサブピクセルレベルで対応点を求めることが可能となる。
【００５２】
次に、位相成分を用いずに相関値を算出する手法の１つであるＳＡＤの詳細について説明する。図５はＳＡＤの説明図である。図５に示すように、基準画像に注目点ＣＰが設定され、注目点ＣＰを中心として基準ウインドウＷ１が設定される。ここで、注目点ＣＰは、基準画像上の全画素、又は一定の間隔で間引かれた各画素が例えばラスタ走査されるようにして順次設定される。次に、参照画像に設定された探索範囲内の所定の画素が参照ウインドウＷ２の中心点Ｏ１として設定され、この中心点Ｏ１を中心として参照ウインドウＷ２が設定される。ここで、探索範囲としては、注目点ＣＰと垂直方向の高さが同一であり、かつ、水平方向と平行な直線状の参照画像上の領域を採用することができる。次に、基準ウインドウＷ１内の画像Ｉｍｇ１と参照ウインドウＷ２内の画像Ｉｍｇ２との相関値ＣＯＲｐが式（８）、（９）を用いて算出される。
【００５３】
【数２】
【００５４】
但し、Ｗは基準ウインドウＷ１、参照ウインドウＷ２のウインドウサイズを示し、ｉは垂直方向の座標を示し、ｊは水平方向の座標を示し、ｐは０≦ｐ≦ｍａｘ＿ｄｉｓｐを満たす変数であり、ｍａｘ＿ｄｉｓｐは最終探索点を示す。
【００５５】
そして、相関値ＣＯＲｐが求まると、ｐが１増加されて参照ウインドウＷ２が水平方向にずらされ、次の相関値ＣＯＲｐが求められる。
【００５６】
そして、相関値ＣＯＲｐを参照ウインドウＷ２内の画像の中心点Ｏ１の相関値として採用し、参照画像において相関値が最も高くなる位置を探索し、探索した位置を基準画像に設定された注目点ＣＰの対応点として特定する。図５のグラフに示すように、相関値ＣＯＲｐは、画像Ｉｍｇ１と画像Ｉｍｇ２との相関が高く、類似しているほど高くなる。
【００５７】
ここで、参照ウインドウは、画素単位で離散的にずらされるため、相関値はピクセルレベルの分解能で算出されることになるが、ＰＯＣと同様にして、サブピクセルレベルで相関値を算出してもよい。
【００５８】
また、探索部３０は、バックマッチングを用いた探索処理により対応点を探索してもよい。ここで、バックマッチングを用いた探索処理とは、基準画像に注目点を中心として基準ウインドウを設定すると共に、参照画像に参照ウインドウを設定し、参照ウインドウを探索範囲でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索する通常の探索処理が終了した後、通常の探索処理により探索した対応点を注目点とし、通常の探索処理と同様にして基準画像から注目点の対応点を探索するバックマッチングを実行する処理である。
【００５９】
図６は、バックマッチングによる探索処理の説明図である。図６に示すように、まず、基準画像に注目点ＣＰが設定され、注目点ＣＰを中心として基準ウインドウＷ１が設定され、参照画像から対応点ＴＰが探索されるというように通常の探索処理が実行される。
【００６０】
次に、対応点ＴＰが注目点ＣＰ´とされ、注目点ＣＰ´を中心として基準ウインドウＷ１´が設定され、基準画像から対応点ＴＰ´が探索されるというようにバックマッチングが実行される。
【００６１】
次に、バックマッチングにより探索された対応点ＴＰ´が注目点ＣＰに一致した場合、バックマッチングに成功したと判定される。一方、バックマッチングにより探索された対応点ＴＰ´が注目点ＣＰに一致しなかった場合、バックマッチングに失敗したと判定される。
【００６２】
なお、バックマッチングにおいては、例えば、注目点ＣＰを中心として基準ウインドウＷ１を設定したときの領域をバックマッチングの探索範囲として設定するというように、基準画像の全域ではなく一部の領域をバックマッチングの探索範囲として設定してもよい。図６においては、注目点ＣＰ´と垂直方向の高さが同一であって、基準ウインドウＷ１の水平方向のサイズと同一サイズの水平方向の直線状の領域が探索範囲として設定されている。これにより、バックマッチングにおける探索精度を高めつつ、処理の高速化を図ることができる。
【００６３】
図２に戻り、探索制御部４０は、決定部７０により決定された初期探索点を基準として、注目階層の１つ上の階層（以下、「注目上階層」と称する）の参照画像に探索範囲を設定し、探索範囲内において対応点を探索する探索処理を探索部３０に実行させ、当該探索処理が下位の階層から上位の階層に向けて実行されるように探索部３０を制御する。この場合、探索制御部４０は、注目階層の１つ上の階層の参照画像における探索範囲を注目階層の参照画像における探索範囲よりも狭く設定してもよい。こうすることで、効率良く対応点を探索することができる。
【００６４】
図７は、探索制御部４０により設定される探索範囲の説明図であり、（ａ）は注目階層における基準画像と参照画像とを示し、（ｂ）は注目上階層における基準画像と参照画像とを示している。
【００６５】
探索制御部４０は、図７（ｂ）に示す参照画像において、決定部７０により対応点ＴＰを基に決定された初期探索点ＦＰを基準とし、注目階層の探索範囲ＤＲよりも狭い領域を、注目上階層の探索範囲ＤＲとして設定する。図７においては、探索範囲ＤＲの形状として、直線状が採用されており、図７（ｂ）の方が図７（ａ）に比べて直線の長さが短くなっており、探索範囲ＤＲが狭くなっていることが分かる。
【００６６】
このようにして、探索制御部４０は、下位の階層から上位の階層に向かうにつれて範囲が狭くなるように参照画像上に探索範囲ＤＲを設定する。そのため、低解像度の参照画像で広範囲に探索範囲ＤＲを設定して対応点ＴＰのおよその位置を探索しておき、その探索結果を用いて高解像度での参照画像の探索範囲ＤＲを狭い範囲に絞り込むことが可能となり、高速かつ高精度に対応点を探索することができる。なお、各階層の探索範囲ＤＲの形状としては、直線状、円形状、矩形状、楕円状等を採用することができる。また、各階層の探索範囲ＤＲのサイズとしては、階層毎に予め定められたサイズを採用すればよい。
【００６７】
なお、探索制御部４０は、探索範囲ＤＲの形状として直線形状を採用した場合、最下位の階層における探索範囲ＤＲを、最下位の階層の基準画像に設定した注目点ＣＰと垂直方向の高さが同一であって、水平方向に平行な最下位の階層の参照画像上の１本の直線の全範囲に設定すればよい。また、探索制御部４０は、探索範囲ＤＲの形状として円形状、矩形状、楕円状を採用する場合、最下位の階層における探索範囲ＤＲを、最下位の階層の参照画像上の全範囲に設定すればよい。
【００６８】
図２に戻り、信頼度算出部５０は、探索部３０により探索された各対応点の探索結果を基に、各対応点の探索精度を示す信頼度を算出する。ここで、信頼度算出部５０は、後述する第１〜第４の信頼度算出手法を用いて信頼度を算出することができる。
【００６９】
第１の信頼度算出手法は、探索部３０が各対応点を探索する際に算出した相関値を基に、各対応点の信頼度を算出する手法である。ここで、信頼度としては、相関値をそのまま採用すればよい。例えば、探索部３０がＰＯＣにより対応点を探索した場合は、上記式（７）により得られるｒ（ｋ１，ｋ２）の最大値を信頼度として採用すればよいし、ｒ（ｋ１，ｋ２）の最大値と、当該最大値の次に大きなｒ（ｋ１，ｋ２）との平均値を信頼度として採用してもよいし、ｒ（ｋ１，ｋ２）の最大値を中心とした所定サイズ（例えば３×３）の矩形領域のｒ（ｋ１，ｋ２）の平均値を信頼度として採用してもよい。
【００７０】
第２の信頼度算出手法は、基準画像に設定された基準ウインドウ内の画像のコントラストを基に、各対応点の信頼度を算出する手法である。この場合、信頼度算出部５０は、例えば式（１０）を用いて基準ウインドウ内の画像のコントラスト値ＣＴＲ１を算出し、得られたコントラスト値ＣＴＲ１を信頼度として採用すればよい。
【００７１】
【数３】
【００７２】
但し、Ｉｍｇ（ｉ，ｊ）は基準ウインドウ内の画像を示し、ＩＭＧは、Ｉｍｇ（ｉ，ｊ）の平均値、すなわち、基準ウインドウ内の画像の各画素の画素値の平均値を示し、ｗは、基準ウインドウの水平及び垂直方向のサイズを示す。なお、信頼度算出部５０は、基準ウインドウ内の画像の全領域ではなく、一部の矩形領域の画像を用いてコントラスト値ＣＴＲ１を算出してもよい。この場合、式（１０）のｗとして、一部の矩形領域の水平及び垂直方向のサイズを採用すればよい。
【００７３】
第３の信頼度算出手法は、探索部３０がバックマッチングを用いた探索処理を採用した場合において、バックマッチングが成功したか否かを基に、信頼度を算出する手法である。この場合、信頼度算出部５０は、バックマッチングに成功した対応点における信頼度を例えば「１」、バックマッチングに失敗した対応点における信頼度を例えば「０」というようにして、信頼度を２値化して表せばよい。
【００７４】
第４の信頼度算出手法は、基準画像に設定された注目点ＣＰの位置から基準画像にエピポーララインＬ１を設定し、エピポーララインＬ１を基に、参照画像にエピポーララインＬ２を設定し、探索部３０が探索した対応点とエピポーララインＬ２との距離を信頼度として採用する手法である。
【００７５】
ここで、カメラ１１，１２は、キャリブレーションがされており、カメラ１１，１２の射影行列Ｐ１，Ｐ２が既知であるとすると、射影行列Ｐ１，Ｐ２からＦ（Ｆ：Fundamental）行列が得られる。そして、エピポーララインＬ１上の任意の点をｍ１（ｘ１，ｙ１，１）とすると、エピポーララインＬ２は、Ｌ２＝Ｆ・ｍ１により得られる。但し、ｘ１は垂直方向の座標を示し、ｙ１は水平方向の座標を示す。そして、探索部３０により探索された対応点をｍ２（ｘ２，ｙ２，１）として、Ｌ２とｍ２との距離を求めれば、信頼度が得られる。
【００７６】
理論上、対応点はエピポーララインＬ２上に存在するため、対応点がエピポーララインＬ２に近いほど、当該対応点の信頼度は高い。そこで、第４の信頼度算出手法は、対応点とエピポーララインＬ２との距離を信頼度として採用している。
【００７７】
なお、本対応点探索装置では、カメラ１１，１２は地面に対して同一の高さ位置に設置されている平行化ステレオカメラである。そのため、エピポーララインＬ１とエピポーララインＬ２とは平行、かつ垂直方向の座標が一致する。そのため、信頼度算出部５０は、注目点であるｍ１と、対応点であるｍ２との垂直方向の座標のずれ、すなわち、｜ｘ１−ｘ２｜を信頼度として採用すればよい。
【００７８】
また、信頼度算出部５０は、各対応点について、第１〜第４の信頼度算出手法のいずれかにより得られた各階層での信頼度を基に、最終的な信頼度を算出する第５の信頼度算出手法を第１〜第４の信頼度算出手法と併用して採用してもよい。
【００７９】
図８は、第５の信頼度算出手法の説明図であり、図８（ａ）は最終的な信頼度が高い場合の一例を示し、図８（ｂ）は最終的な信頼度が低い場合の一例を示し、図８（ｃ）は最終的な信頼度が低い場合の一例を示し、図８（ｄ）は最終的な信頼度が高い場合の一例を示している。
【００８０】
図８（ａ）に示すように、各階層での信頼度がほぼ一定であり、かつ、全体的に高い場合は、対応点の信頼性は高いと言える。また、図８（ｂ）に示すように、各階層での信頼度がほぼ一定であっても、全体的に低い場合は対応点の信頼性は低いと言える。また、図８（ｃ）に示すように、各階層での信頼度が高、低を繰り返す場合は、対応点の信頼性は低いと言える。また、図８（ｄ）に示すように、各階層の信頼度が一定でなくても、下位の階層から上位の階層に向かうにつれて信頼度が高くなっている場合は、対応点の信頼性は高いと言える。
【００８１】
そこで、信頼度算出部５０は、各階層の信頼度の加算値を最終的な信頼度として算出する。これにより、図８（ａ）のような場合について最終的な信頼度を高くし、図８（ｂ）のような場合について最終的な信頼度を低くすることができる。また、信頼度算出部５０は、上位の階層に向かうにつれて高くなるように各階層の重み係数を設定し、各階層の信頼度の重み付け加算値を最終的な信頼度として算出してもよい。これにより、図８（ｄ）のような場合について最終的な信頼度を高くすることができる。なお、上位の階層ほど信頼度を重要視するのは、上位の階層ほど解像度が高いため、信頼度の信頼性が高いからである。
【００８２】
また、信頼度算出部５０は、隣接する階層間での信頼度の差分値を算出し、この差分値の加算値に応じた値で、各階層の信頼度の加算値又は重み付け加算値を減じた値を最終的な信頼度として算出してもよい。これにより、図８（ｃ）のような場合について最終的な信頼度を低くすることができる。
【００８３】
図２に戻り、決定部７０は、探索部３０により探索された対応点、又は変更部６０により変更された対応点を基に、注目上階層の参照画像における初期探索点を決定する。ここで、決定部７０は、注目階層において探索された対応点の注目上階層の参照画像への投影点を初期探索点として決定すればよい。例えば、注目階層の参照画像の解像度が注目上階層の参照画像の解像度の１／２であり、注目階層の参照画像において座標が（５０，５０）の点が対応点として探索されたとすると、注目上階層の参照画像において座標が（１００，１００）の点が初期探索点とされる。
【００８４】
変更部６０は、信頼度が所定の値よりも低い対応点を、参照画像上の別の点に変更する。ここで、変更部６０は、第１〜第３の変更手法のいずれか手法により対応点を別の点に変更する。
【００８５】
第１の変更手法は、信頼度が所定の値より低い対応点を、当該対応点と同一階層の参照画像に設定された初期探索点に変更する手法である。図９は、第１の変更手法の説明図であり、（ａ）は対応点が探索される前の参照画像を示し、（ｂ）は対応点が探索された参照画像を示し、（ｃ）は対応点が変更される様子を示した図である。
【００８６】
図９（ａ）に示す点ＦＰ１〜ＦＰ５は、注目階層の基準画像において設定された注目点ＣＰ１〜ＣＰ５（図略）の対応点を探索する際に、注目階層の参照画像において設定された初期探索点を示している。また、図９（ｂ）に示す点ＴＰ１〜ＴＰ５は注目点ＣＰ１〜ＣＰ５（図略）の対応点を示している。なお、図９（ａ）、（ｂ）の縦軸は各点と各点のそれぞれの注目点との視差を示し、横軸は各点の位置を示している。
【００８７】
ここで、図９（ｂ）に示す点ＴＰ３の信頼度が所定の値より低いとする。すると、図９（ｃ）に示すように、変更部６０は、対応点を、点ＴＰ３から点ＦＰ３に変更する。これにより、決定部７０は、点ＴＰ３ではなく、点ＦＰ３を基に、注目上階層の参照画像における初期探索点を決定する。そして、探索制御部４０は、この初期探索点を基準として注目上階層の参照画像上に探索範囲を設定し、探索部３０に対応点を探索させる。
【００８８】
こうすることで、明らかに誤探索されている点を使わずに、注目上階層の参照画像上に探索範囲を設定することができる。また、点ＦＰ３は、注目階層の１つ下の階層（以下、「注目下階層」と称する）の参照画像で探索された対応点を基に定められているため、ある程度の信頼性は有している。そのため、対応点を初期探索点である点ＦＰ３とすることで追加計算なしで、比較的信頼性の高い点を用いて探索範囲を定めることができる。
【００８９】
なお、決定部７０が変更部６０により変更された対応点に基づいて初期探索点を決定した場合、探索制御部４０は、注目上階層の探索範囲を通常の探索範囲よりも大きく設定することが好ましい。
【００９０】
図１０は、変更された対応点に基づいて初期探索点が決定された場合に、注目上階層の参照画像に設定される探索範囲を示した図である。図１０の丸枠Ｍ１に示すように、上段に示す注目階層における対応点が注目点ＣＰの対応点である点ＴＰとされた場合、すなわち、対応点が点ＴＰを探索する際に設定された初期探索点である点ＦＰに変更されなかった場合、下段に示す注目上階層の参照画像上には、点ＴＰを基に、点ＦＰ´が初期探索点として設定され、点ＦＰ´を基準として、通常の大きさを有する探索範囲ＤＲが設定される。
【００９１】
一方、丸枠Ｍ２に示すように、上段に示す注目上階層における対応点が注目点ＣＰの対応点である点ＴＰから点ＦＰに変更された場合、下段に示す注目上階層の参照画像上には、点ＦＰに基づいた点ＦＰ´が初期探索点として設定され、点ＦＰ´を基準として、探索範囲ＤＲよりも大きな探索範囲ＤＲ´が設定される。なお、探索範囲ＤＲ，ＤＲ´の大きさとしては、各階層において予め定められた値を採用することができる。また、探索範囲ＤＲ´の大きさは、点ＴＰの信頼度が低くなるにつれて大きな値を採用するというように、信頼度に応じて適宜変更して、探索精度を高めてもよい。図１０においては、探索範囲ＤＲ，ＤＲ´は、点ＦＰ´を中心として左右に一定の幅を有する水平方向に平行な直線上に設定されている。
【００９２】
対応点を注目点ＣＰの対応点である点ＴＰから初期探索点である点ＦＰに変更するということは、注目階層において探索処理を行わないことと同じであり、探索範囲として通常の大きさを有する探索範囲ＤＲを採用すると、注目点ＣＰの本来の対応点が探索範囲から除外されるおそれがある。
【００９３】
そこで、第１の変更手法では、対応点が点ＴＰから点ＦＰに変更された場合、注目上階層での探索範囲を通常の大きさよりも大きくし、注目点ＣＰの本来の対応点が探索範囲から除外されることの防止を図ることが好ましい。
【００９４】
第２の変更手法は、信頼度が所定の値より低い対応点を、当該対応点の周辺の対応点の位置情報に基づいて変更する手法である。図１１は、第２の変更手法の説明図である。なお、図１１に示す点ＴＰ１〜ＴＰ５は注目点ＣＰ１〜ＣＰ５（図略）の対応点を示している。また、図１１において、縦軸はプロットされた各点と各点のそれぞれの注目点との視差を示し、横軸は各点の位置を示している。
【００９５】
ここで、点ＴＰ３の信頼度が所定の値より低いとする。すると、変更部６０は、点ＴＰの周辺の点である点ＴＰ１〜ＴＰ２、及び点ＴＰ４〜ＴＰ５を用いた補間処理により、点ＴＰ３の補間点である点ＴＰ３´を求める。ここで、補間処理としては、周辺の点の位置の平均値、中央値、最頻値を算出する処理、線形補間処理、及びスプライン補間処理等を採用することができる。また、補間処理を行うにあたり、図１０に示す点ＴＰ１〜ＴＰ２、ＴＰ４〜ＴＰ５に加えて、これら以外の点を周辺の点に含めてもよいし、図１０に示す点ＴＰ１〜ＴＰ２及びＴＰ４〜ＴＰ５のうち一部の点を周辺の点としてもよい。
【００９６】
そして、変更部６０は、注目点ＣＰ３（図略）の対応点を、点ＴＰ３から点ＴＰ３´に変更する。こうすることで、点ＴＰ１〜ＴＰ５が連続面上の点を示すような場合において、注目点ＣＰ３の対応点として限りなく正解に近い対応点を探索することができる。
【００９７】
第３の変更手法は、信頼度が所定の値より低い対応点に関し、当該対応点を探索する際に探索部３０により算出された相関値を基に、当該対応点の候補となる複数の候補点を求め、これら各候補点のそれぞれを対応点として採用する手法である。
【００９８】
図１２は、第３の変更手法の説明図である。なお、図１２に示す点ＴＰ１〜ＴＰ２及び点ＴＰ４〜ＴＰ５は、注目点ＣＰ１〜ＣＰ２（図略）及び注目点ＣＰ４〜ＣＰ５（図略）の対応点を示している。また、点ＴＰ３´は注目点ＣＰ３（図略）の対応点の探索処理において算出された一番高い相関値を有する点を示し、点ＴＰ３´´は２番目に高い相関値を有する点を示す。また、図１２において、縦軸は各点と各点のそれぞれの注目点との視差を示し、横軸は各点の位置を示している。
【００９９】
ここで、点ＴＰ３´の信頼度が所定の値より低いとする。すると、変更部６０は、注目点ＣＰ３の対応点の探索処理時に算出された相関値が一番高い点である点ＴＰ３´と２番目に高い点である点ＴＰ３´´とを対応点の候補となる候補点として求め、点ＴＰ３´，ＴＰ３´´のそれぞれを対応点として採用する。
【０１００】
次に、決定部７０は、点ＴＰ３´を基に、注目上階層の参照画像上に初期探索点ＦＰ３´（図略）を決定すると共に、点ＴＰ３´´を基に、注目上階層の参照画像上に初期探索点ＦＰ３´´（図略）を決定する。次に、探索制御部４０は、初期探索点ＦＰ３´を基準として注目上階層の参照画像上に探索範囲を設定し、探索部３０に探索処理を実行させると共に、初期探索点ＦＰ３´´を基準として注目上階層の参照画像上に探索範囲を設定し、探索部３０に探索処理を実行させる。次に、信頼度算出部５０は、この探索処理により得られた２個の対応点のそれぞれの信頼度を算出し、変更部６０は、得られた２個の対応点のうち、信頼度の高い方の対応点を注目上階層における注目点ＣＰ３の対応点として採用する。なお、図１２では、候補点が２個とされているが、これに限定されず、３個以上にしてもよい。
【０１０１】
このように、第３の変更手法を作用すると、下位の階層で対応点を決定しにくい場合は、情報量が多い高解像度側の上位の階層に判断を委ねることが可能となり、正解に近い対応点を得ることができる。
【０１０２】
図２に戻り、報知制御部８０は、探索部３０から出力された注目点と対応点とを基に、ステレオ法による測距方法を用いて注目点の３次元実空間上における３次元位置を算出する。図１３は、ステレオ法による測距方法の説明図である。
【０１０３】
図１３において、ｆは、カメラ１１，１２の焦点距離を示し、カメラ１１，１２の撮影面（ＣＣＤ）の画素数及び１画素の大きさ（μ）は等しいものとする。また、カメラ１１，１２は、所定の基線長Ｌだけ左右方向に離間され、かつ、光軸が平行となるように配置されている。この場合、注目点ＣＰと対応点ＴＰとの座標から得られる撮影面上の視差（ずれ画素数）をｄ（＝ｄ１＋ｄ２）とすると、物体ＯＢの３次元位置（Ｘ，Ｙ，Ｚ）は、式（１１）〜（１３）により得られる。
【０１０４】
Ｚ＝（Ｌ×ｆ）／（μ×ｄ） （１１）
Ｙ＝ｙ・Ｚ／ｆ （１２）
Ｘ＝ｘ・Ｚ／ｆ （１３）
但し、ｘ，ｙは注目点の座標を示す。
【０１０５】
そして、報知制御部８０は、物体ＯＢの３次元位置から物体ＯＢと自車体との距離が所定の値より短い場合、物体ＯＢを障害物として判定し、自車体に障害物が迫っている情報を生成して表示装置１４に表示する。これにより、障害物が迫っていることがユーザに報知される。
【０１０６】
次に、本対応点探索装置の動作について説明する。図１４は、対応点探索装置の動作を示すフローチャートである。なお、図１４に示す処理は、カメラ１１，１２により入力画像が撮影される毎に実行される。
【０１０７】
まず、ステップＳ１１において、画像取得部１０は、カメラ１１により撮影された入力画像を基準画像、カメラ１２により撮影された入力画像を参照画像として取得する。次に、ステップＳ１２において、多重化部２０は、基準画像及び参照画像を低解像度化し、解像度の異なる複数の基準画像及び参照画像を生成する。
【０１０８】
ステップＳ１３において、探索制御部４０は、注目階層を設定する。ステップＳ１４において、探索制御部４０は、全階層に対する探索処理が終了したか否かを判定し、全階層の探索処理が終了している場合（ステップＳ１４でＹＥＳ）、処理を終了する。一方、ステップＳ１４において、全階層の探索処理が終了していない場合（ステップＳ１４でＮＯ）、探索部３０は、注目階層の基準画像上の注目点として設定されるべき全ての点に対する探索処理が終了しているか否かを判定する（ステップＳ１５）。
【０１０９】
そして、ステップＳ１５において、全ての点に対する探索処理が終了していると判定された場合（ステップＳ１５でＹＥＳ）、処理がステップＳ１３に戻され、注目階層の１つ上の階層が注目階層として設定される。
【０１１０】
一方、ステップＳ１５において、全ての点に対する探索処理が終了されていないと判定された場合（ステップＳ１５でＮＯ）、探索部３０は、注目階層の基準画像に注目点を設定する（ステップＳ１６）。
【０１１１】
ステップＳ１７において、探索部３０は、ステップＳ１６で設定された注目点を中心として注目階層の基準画像に基準ウインドウを設定する。
【０１１２】
ステップＳ１８において、決定部７０は、ステップＳ１４で設定された注目点の注目下階層における対応点を基に、注目階層における初期探索点を決定する。ステップＳ１９において、探索制御部４０は、ステップＳ１８で決定された初期探索点を基準に注目階層の参照画像上に探索範囲を設定する。
【０１１３】
ステップＳ２０において、探索部３０は、ステップＳ１９で設定された探索範囲内に中心点が位置するように参照ウインドウをずらしながら、ステップＳ１７で設定された基準ウインドウ内の画像と参照ウインドウ内の画像との相関値を求め、対応点を探索する。
【０１１４】
ステップＳ２１において、信頼度算出部５０は、上記第１〜第４の信頼度算出手法のいずれかを用いて、ステップＳ２０で探索された対応点の信頼度を算出する。ここで、信頼度算出部５０は、ステップＳ１３で設定された注目階層が最上位の階層である場合は、上記第５の信頼度算出手法を用いて対応点の最終的な信頼度を求めても良い。なお、最終的な信頼度が所定の値より低い対応点が探索部３０により探索された場合、報知制御部８０は、当該対応点の信頼性が低いとして、当該対応点に対応する注目点の３次元位置を求めないようにしてもよい。これにより信頼性の高い対応点のみを用いて３次元位置を算出することが可能となり、３次元位置の算出精度を高めることができる。
【０１１５】
ステップＳ２２において、変更部６０は、ステップＳ２１で算出された信頼度からステップＳ２０で探索された対応点を別の点に変更するか否かを判定し、対応点を変更する場合（ステップＳ２２でＹＥＳ）、上記第１〜第３の変更手法のいずれかを用いて対応点を変更し（ステップＳ２３）、処理をステップＳ１５に戻す。
【０１１６】
一方、ステップＳ２２において、変更部６０は、対応点を変更しないと判定した場合（ステップＳ２２でＮＯ）、対応点を変更することなく処理をステップＳ１５に戻す。そして、ステップＳ１６で次の注目点が設定され同様の探索処理が実行される。
【０１１７】
このように本対応点探索装置によれば、各階層において探索された対応点の信頼度が算出され、信頼度が低い対応点が、上記第１〜第４の変更手法を用いて変更され、変更された対応点が初期探索点として決定され、当該初期探索点を基準に１つ上の階層の探索範囲が設定される。そのため、途中の階層において、信頼度の低い対応点が得られたとしても、処理が打ち切られることなく最終的な対応点を得ることが可能となる結果、大きな処理対象外の領域の発生を防止することができる。また、各階層において信頼度の低い対応点が修正されつつ、上位の階層に向けて探索処理が実行されている。そのため、最終的に得られた対応点の信頼度が低い場合、再度、初期探索点を変更して最下位の階層から探索処理を再実行して処理コストを増加させなくても、対応点を精度良く求めることができる。
【０１１８】
なお、上記説明では、カメラの数を２つとしたが、これに限定されず１つとしてもよい。図１５は、カメラの数を１つとした場合の対応点探索装置を示した図である。図１５に示す探索装置は、１つのカメラ１１、演算処理装置１３、及び表示装置１４を備える。この場合、画像取得部１０は、現フレームで撮影された入力画像を参照画像、現フレームの１つ前のフレームで撮影された入力画像を基準画像として取得する。また、探索部３０は、探索制御部４０の制御の下、下位の階層から上位の階層に向けて、探索処理を繰り返し実行し、基準画像に設定した各注目点の各対応点を参照画像から探索し、注目点と対応点とを対応付けて報知制御部８０に出力する。そして、報知制御部８０は、探索部３０から出力された対応点と注目点とから各注目点の動きベクトルを算出するようにしてもよい。これにより、動きベクトルを精度良く求めることができる。
【０１１９】
また、図１ではカメラの数を２つとしたが３つ以上としてもよい。この場合、演算処理装置１３は、カメラの数を２つとした場合と同様にして、各参照画像から対応点を探索すればよい。そして、報知制御部８０は、各参照画像から探索された対応点の平均値を基に、注目点の３次元位置を算出すればよい。
【符号の説明】
【０１２０】
１１，１２ カメラ
１３ 演算処理装置
１４ 表示装置
１０ 画像取得部
２０ 多重化部
３０ 探索部
４０ 探索制御部
５０ 信頼度算出部
６０ 変更部
７０ 決定部
８０ 報知制御部
【特許請求の範囲】
【請求項１】
２枚以上の入力画像のうち１の入力画像を基準画像、他の入力画像を参照画像として取得する取得手段と、
前記取得手段により取得された基準画像及び参照画像をそれぞれ低解像度化することで、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の前記基準画像及び前記参照画像をそれぞれ階層的に生成する多重化手段と、
注目階層の基準画像上の注目点に対する対応点を前記注目階層の参照画像から探索する探索手段と、
前記探索手段により探索された対応点を基に、前記注目階層の１つ上の階層の参照画像における初期探索点を決定する決定手段と、
前記初期探索点を基準として、前記注目階層の１つ上の階層の参照画像に探索範囲を設定し、前記探索範囲内において対応点を探索させる探索処理を前記探索手段に実行させ、当該探索処理が下位の階層から上位の階層に向けて実行されるように前記探索手段を制御する探索制御手段と、
前記探索手段により探索された各対応点の探索結果を基に、各対応点の探索精度を示す信頼度を算出する信頼度算出手段と、
前記信頼度算出手段によって算出された信頼度に基づいて、前記参照画像において探索された対応点の候補を抽出する対応点候補抽出手段とを備え、
前記決定手段は、前記信頼度算出手段によって算出された信頼度に基づいて、複数の前記初期探索点を決定し、
前記探索制御手段は、前記探索手段に複数の前記初期探索点のそれぞれの対応点を探索させ、
前記対応点候補抽出手段は、探索された複数の対応点のうち、それぞれの対応点の信頼度に基づいて、前記注目階層の１つ上の階層の注目点に対する対応点の候補を抽出することを特徴とする対応点探索装置。
【請求項２】
前記対応点候補抽出手段は、最も高解像度の階層では対応点を１つに特定することを特徴とする請求項１記載の対応点探索装置。
【請求項３】
前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記探索範囲内でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索し、
前記信頼度算出手段は、各対応点を探索する際に前記探索手段により算出された相関値を基に、各対応点の信頼度を算出することを特徴とする請求項１又は２記載の対応点探索装置。
【請求項４】
前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記探索範囲内でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索し、
前記信頼度算出手段は、前記基準ウインドウ内の画像のコントラストを基に、各対応点の信頼度を算出することを特徴とする請求項１又は２記載の対応点探索装置。
【請求項５】
前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記探索範囲内でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索する通常の探索処理が終了した後、前記通常の探索処理により探索した対応点を注目点とし、前記通常の探索処理と同様にして前記基準画像から前記注目点の対応点を探索するバックマッチングを実行し、
前記信頼度算出手段は、前記バックマッチングによる探索結果を基に、各対応点の信頼度を算出することを特徴とする請求項１又は２記載の対応点探索装置。
【請求項６】
前記信頼度算出手段は、前記基準画像に設定された注目点から前記基準画像上にエピポーララインを設定し、前記基準画像上で設定したエピポーララインに対応するエピポーララインを前記参照画像上に設定し、前記探索手段により探索された前記基準画像上の注目点に対応する前記参照画像上の対応点と、前記参照画像上に設定したエピポーララインとの距離に基づいて、前記信頼度を算出することを特徴とする請求項１又は２記載の対応点探索装置。
【請求項７】
前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記基準ウインドウ内の画像と前記参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて両ウインドウ内の画像の相関値を算出することを特徴とする請求項１〜６のいずれかに記載の対応点探索装置。
【請求項８】
前記探索手段は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することを特徴とする請求項７記載の対応点探索装置。
【請求項９】
前記探索手段は、位相限定相関法を用いて前記相関値を算出することを特徴とする請求項８記載の対応点探索装置。
【請求項１】
２枚以上の入力画像のうち１の入力画像を基準画像、他の入力画像を参照画像として取得する取得手段と、
前記取得手段により取得された基準画像及び参照画像をそれぞれ低解像度化することで、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の前記基準画像及び前記参照画像をそれぞれ階層的に生成する多重化手段と、
注目階層の基準画像上の注目点に対する対応点を前記注目階層の参照画像から探索する探索手段と、
前記探索手段により探索された対応点を基に、前記注目階層の１つ上の階層の参照画像における初期探索点を決定する決定手段と、
前記初期探索点を基準として、前記注目階層の１つ上の階層の参照画像に探索範囲を設定し、前記探索範囲内において対応点を探索させる探索処理を前記探索手段に実行させ、当該探索処理が下位の階層から上位の階層に向けて実行されるように前記探索手段を制御する探索制御手段と、
前記探索手段により探索された各対応点の探索結果を基に、各対応点の探索精度を示す信頼度を算出する信頼度算出手段と、
前記信頼度算出手段によって算出された信頼度に基づいて、前記参照画像において探索された対応点の候補を抽出する対応点候補抽出手段とを備え、
前記決定手段は、前記信頼度算出手段によって算出された信頼度に基づいて、複数の前記初期探索点を決定し、
前記探索制御手段は、前記探索手段に複数の前記初期探索点のそれぞれの対応点を探索させ、
前記対応点候補抽出手段は、探索された複数の対応点のうち、それぞれの対応点の信頼度に基づいて、前記注目階層の１つ上の階層の注目点に対する対応点の候補を抽出することを特徴とする対応点探索装置。
【請求項２】
前記対応点候補抽出手段は、最も高解像度の階層では対応点を１つに特定することを特徴とする請求項１記載の対応点探索装置。
【請求項３】
前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記探索範囲内でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索し、
前記信頼度算出手段は、各対応点を探索する際に前記探索手段により算出された相関値を基に、各対応点の信頼度を算出することを特徴とする請求項１又は２記載の対応点探索装置。
【請求項４】
前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記探索範囲内でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索し、
前記信頼度算出手段は、前記基準ウインドウ内の画像のコントラストを基に、各対応点の信頼度を算出することを特徴とする請求項１又は２記載の対応点探索装置。
【請求項５】
前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記参照ウインドウを前記探索範囲内でずらしながら、両ウインドウ内の画像の相関値を算出することで対応点を探索する通常の探索処理が終了した後、前記通常の探索処理により探索した対応点を注目点とし、前記通常の探索処理と同様にして前記基準画像から前記注目点の対応点を探索するバックマッチングを実行し、
前記信頼度算出手段は、前記バックマッチングによる探索結果を基に、各対応点の信頼度を算出することを特徴とする請求項１又は２記載の対応点探索装置。
【請求項６】
前記信頼度算出手段は、前記基準画像に設定された注目点から前記基準画像上にエピポーララインを設定し、前記基準画像上で設定したエピポーララインに対応するエピポーララインを前記参照画像上に設定し、前記探索手段により探索された前記基準画像上の注目点に対応する前記参照画像上の対応点と、前記参照画像上に設定したエピポーララインとの距離に基づいて、前記信頼度を算出することを特徴とする請求項１又は２記載の対応点探索装置。
【請求項７】
前記探索手段は、前記基準画像に前記注目点を中心として基準ウインドウを設定すると共に、前記参照画像に参照ウインドウを設定し、前記基準ウインドウ内の画像と前記参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて両ウインドウ内の画像の相関値を算出することを特徴とする請求項１〜６のいずれかに記載の対応点探索装置。
【請求項８】
前記探索手段は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することを特徴とする請求項７記載の対応点探索装置。
【請求項９】
前記探索手段は、位相限定相関法を用いて前記相関値を算出することを特徴とする請求項８記載の対応点探索装置。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図４】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図４】
【公開番号】特開２０１１−１９８３７８（Ｐ２０１１−１９８３７８Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１１−１１１２０３（Ｐ２０１１−１１１２０３）
【出願日】平成２３年５月１８日（２０１１．５．１８）
【分割の表示】特願２００８−１３４２９３（Ｐ２００８−１３４２９３）の分割
【原出願日】平成２０年５月２２日（２００８．５．２２）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２３年５月１８日（２０１１．５．１８）
【分割の表示】特願２００８−１３４２９３（Ｐ２００８−１３４２９３）の分割
【原出願日】平成２０年５月２２日（２００８．５．２２）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]