対応点探索装置、対応点探索方法、およびプログラム
【課題】２以上の画像について高速で且つ極力欠落のない対応点の探索が可能な技術を提供する。
【解決手段】まず、第１および第２画像に対して各々解像度を低下させた関係にある第１および第２低解像度画像が生成される。次に、第１低解像度画像に対して第１基準点が設定され、第２低解像度画像を対象とした第１基準点に対応する第１対応点の探索処理が行われる。その次に、第１画像および／または第２画像のうちの第１基準点に対応する点を包含する評価領域について、画素値の変動に係る評価値が算出される。更に、上記第１対応点の探索処理の結果が利用されて第２画像を対象とした第２基準点に対応する第２対応点が探索される探索処理の実行が、評価値と閾値との比較結果に応じて禁止される。そして、第２対応点の探索処理の実行が禁止される場合に、第１対応点の探索処理の結果に基づいて、第２基準点と第２対応点との関係が決定される。
【解決手段】まず、第１および第２画像に対して各々解像度を低下させた関係にある第１および第２低解像度画像が生成される。次に、第１低解像度画像に対して第１基準点が設定され、第２低解像度画像を対象とした第１基準点に対応する第１対応点の探索処理が行われる。その次に、第１画像および／または第２画像のうちの第１基準点に対応する点を包含する評価領域について、画素値の変動に係る評価値が算出される。更に、上記第１対応点の探索処理の結果が利用されて第２画像を対象とした第２基準点に対応する第２対応点が探索される探索処理の実行が、評価値と閾値との比較結果に応じて禁止される。そして、第２対応点の探索処理の実行が禁止される場合に、第１対応点の探索処理の結果に基づいて、第２基準点と第２対応点との関係が決定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２以上の画像の間で対応点を探索する対応点探索技術に関する。
【背景技術】
【０００２】
従来、ステレオカメラ等によって同一の被写体が異なる視点から撮影されることで得られる２つの画像の間で、相互に画素が対応付けられる対応点探索技術が知られている。このような対応点探索技術では、一般に２つの画像の間における２次元領域の相関を用いたエリアベースの対応点の探索処理が行われる。
【０００３】
このエリアベースの対応点の探索処理では次のような処理が行われる。一方の画像が基準とされ、該一方の画像に対して基準点を重心位置とするウインドウが設定されるとともに、他方の画像に対して同サイズのウインドウが設定される。そして、２つのウインドウに係る画像領域の間における相関に基づき、基準点に対応する他方の画像の対応点が求められる。このような処理が、一方の画像の全画素が順次に基準点とされつつ実施される。
【０００４】
但し、このエリアベースの対応点の探索処理では、２つのウインドウ内の画像領域における類似性に応じて対応点の探索が行われるため、コントラストが低い画像領域については、対応点の探索を行うことが非常に難しい。このコントラストが低い画像領域としては、一面が白色の壁や一色の塗装が施された自動車のボディ等がとらえられた画像領域等が挙げられる。
【０００５】
そこで、ウインドウ内のエッジの有無に応じてコントラストが低い画像領域（低コントラスト領域）であるか否かが判定され、低コントラスト領域であれば、対応点の探索処理の対象から除外される技術が提案されている（例えば、特許文献１等）。
【０００６】
また、各基準点について２つの画像の間における対応付けの結果に係る信頼度が算出され、該信頼度が低い基準点については、該基準点の周囲の他の画素が基準点とされて求められた対応付けの結果を用いた補間処理によって対応点が決定される技術が提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平７−１２０２５５号公報
【特許文献２】特開２００１−１４８０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１の技術では、対応点の探索処理の対象から除外される領域については、２つの画像の間における対応付けの結果に欠落が生じる。このため、例えば、該対応付けの結果から生成される３次元の画像データが扱い難いものとなる。このような不具合は、対応点の探索処理の対象から除外される領域が多い場合には顕著となる。
【０００９】
また、上記特許文献２の技術では、信頼度が低い基準点については、演算によって求められる当初の対応付けの結果が使用されない。このため、使用されない対応付けの結果を求める演算に要する時間が無駄になってしまう。
【００１０】
本発明は、上記課題に鑑みてなされたものであり、２以上の画像について高速で且つ極力欠落のない対応点の探索が可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、第１の態様に係る対応点探索装置は、第１画像に対して解像度を低下させた関係にある第１低解像度画像を生成するとともに、第２画像に対して解像度を低下させた関係にある第２低解像度画像を生成する生成手段と、前記第１低解像度画像に対して第１基準点を設定するとともに、前記第２低解像度画像を対象として前記第１基準点に対応する第１対応点を探索する第１探索処理を行う第１探索手段とを備える。また、該対応点探索装置は、前記第１画像に対して前記第１基準点に対応する第２基準点を設定するとともに、前記第１探索処理による第１探索結果を利用して、前記第２画像を対象として前記第２基準点に対応する第２対応点を探索する第２探索処理を行う第２探索手段と、前記第１画像のうちの前記第２基準点を包含する領域、および前記第２画像のうちの前記第２基準点に対応する点を包含する領域の少なくとも何れか一方に相当する評価領域について、画素値の変動に係る評価値を算出する算出手段とを備える。更に、該対応点探索装置は、前記評価値と閾値との比較結果に応じて、前記第２探索処理の実行を禁止する禁止手段と、前記禁止手段によって前記第２探索処理の実行が禁止される場合に、前記第１探索結果に基づいて、前記第２基準点と前記第２対応点との関係を決定する決定手段とを備える。
【００１２】
第２の態様に係る対応点探索装置は、第１の態様に係る対応点探索装置であって、前記禁止手段が、前記評価値が前記閾値未満である場合に、前記第２探索処理の実行を禁止する。
【００１３】
第３の態様に係る対応点探索装置は、第１または第２の態様に係る対応点探索装置であって、前記評価値が、前記評価領域における画素値のコントラストに係る評価値を含む。
【００１４】
第４の態様に係る対応点探索装置は、第３の態様に係る対応点探索装置であって、前記算出手段が、前記評価領域に含まれる各画素に係る画素値と基準値との差分の総和を前記評価値として算出する。
【００１５】
第５の態様に係る対応点探索装置は、第４の態様に係る対応点探索装置であって、前記算出手段が、前記評価領域に係る画素値の平均値を前記基準値として算出する。
【００１６】
第６の態様に係る対応点探索装置は、第３の態様に係る対応点探索装置であって、前記算出手段が、前記評価領域を対象とした被写体の輪郭を抽出する処理を行い、該評価領域のうちの前記輪郭が占める画素数を前記評価値として算出する。
【００１７】
第７の態様に係る対応点探索装置は、第１または第２の態様に係る対応点探索装置であって、前記評価値が、前記評価領域における画素値のパターンの分布に係る評価値を含む。
【００１８】
第８の態様に係る対応点探索装置は、第７の態様に係る対応点探索装置であって、前記算出手段が、前記評価領域を対象としたフーリエ変換を行うことで、周波数成分の分布を導出し、該周波数成分の分布に基づいて、前記評価値を算出する。
【００１９】
第９の態様に係る対応点探索装置は、第１から第８の何れか１つの態様に係る対応点探索装置であって、前記決定手段が、前記禁止手段によって前記第２探索処理の実行が禁止される場合に、前記第１低解像度画像に係る解像度に応じた誤差の範囲を加えて、前記第２基準点と前記第２対応点との関係を決定する。
【００２０】
第１０の態様に係る対応点探索装置は、第１から第８の何れか１つの態様に係る対応点探索装置であって、前記決定手段が、前記禁止手段によって前記第２探索処理の実行が禁止される場合には、前記第１探索結果と前記第１低解像度画像に係る解像度に応じた誤差の範囲とに基づいて、前記第１画像に対する前記第２基準点の位置と前記第２画像に対する前記第２対応点の位置との間におけるずれ量が、前記誤差の範囲内で最も大きくなるように、前記第２基準点と前記第２対応点との関係を決定する。
【００２１】
第１１の態様に係る対応点探索装置は、第１から第８の何れか１つの態様に係る対応点探索装置であって、前記決定手段が、前記禁止手段によって前記第２探索処理の実行が禁止される場合には、前記第１探索結果と前記第１低解像度画像に係る解像度に応じた誤差の範囲とに基づいて、前記第１画像に対する前記第２基準点の位置と前記第２画像に対する前記第２対応点の位置との間におけるずれ量が、前記誤差の範囲内で最も小さくなるように、前記第２基準点と前記第２対応点との関係を決定する。
【００２２】
第１２の態様に係る対応点探索装置は、第１から第１１の何れか１つの態様に係る対応点探索装置であって、前記第１および第２探索処理のうちの少なくとも一方の処理が、位相限定相関法を用いた処理を含む。
【００２３】
第１３の態様に係る対応点探索装置は、第１から第１２の何れか１つの態様に係る対応点探索装置であって、前記決定手段が、前記禁止手段によって前記第２探索処理の実行が禁止されない場合には、前記第２探索処理結果に応じて前記第２基準点と前記第２対応点との関係を決定し、更に、前記第１画像に含まれる各画素に対して、前記第１探索処理結果に基づいて前記第２基準点と前記第２対応点との関係を決定するか、または前記第２探索処理結果に基づいて前記第２基準点と前記第２対応点との関係を決定する。
【００２４】
第１４の態様に係る対応点探索装置は、第１３の態様に係る対応点探索装置であって、前記第１画像のうちの一画素から該一画素の周辺に位置する周辺画素に至る迄の中途点について、前記決定手段によって得られる前記一画素に係る前記第２基準点と前記第２対応点との関係と、前記決定手段によって得られる前記周辺画素に係る前記第２基準点と前記第２対応点との関係とを用いた補間演算により、前記第２画像における対応点を導出する補間演算手段を更に備える。
【００２５】
第１５の態様に係る対応点探索方法は、第１画像に対して解像度を低下させた関係にある第１低解像度画像を生成するとともに、第２画像に対して解像度を低下させた関係にある第２低解像度画像を生成する生成ステップと、前記第１低解像度画像に対して第１基準点を設定するとともに、前記第２低解像度画像を対象として前記第１基準点に対応する第１対応点を探索する第１探索処理を行う第１探索ステップとを備える。また、該対応点探索方法は、前記第１画像のうちの前記第１基準点に対応する第２基準点を包含する領域、および前記第２画像のうちの前記第２基準点に対応する点を包含する領域の少なくとも何れか一方に相当する評価領域について、画素値の変動に係る評価値を算出する算出ステップと、前記第１探索ステップによる第１探索結果を利用して前記第２画像を対象として前記第２基準点に対応する第２対応点を探索する第２探索処理の実行を、前記評価値と閾値との比較結果に応じて禁止する禁止ステップとを備える。更に、該対応点探索方法は、前記禁止ステップによって前記第２探索処理の実行が禁止される場合に、前記第１探索結果に基づいて、前記第２基準点と前記第２対応点との関係を決定する決定ステップを備える。
【００２６】
第１６の態様に係るプログラムは、対応点探索装置に含まれる制御部において実行されることにより、前記対応点探索装置を、第１から第１４の何れか１つの態様に係る対応点探索装置として機能させるプログラムである。
【発明の効果】
【００２７】
第１から第１４の何れの態様に係る対応点探索装置によっても、画素値の変動に係る評価値に基づいて、より詳細な対応点の探索処理の実行が禁止され、相対的に低い解像度の複数の画像を対象とした探索処理の結果に基づいて、複数の画像の間における基準点と対応点との関係が決定されるため、２以上の画像について高速で且つ極力欠落のない対応点の探索が可能となる。
【００２８】
第３から第６の何れの態様に係る対応点探索装置によっても、画像におけるコントラストから画素値の変動が少なく且つ適正な対応点の探索処理が実行不可能であると予測される画像領域については、より詳細な対応点の探索処理の実行が禁止されるため、２以上の画像に係る対応点の探索が高速化される。
【００２９】
第７および第８の何れの態様に係る対応点探索装置によっても、画素値のパターンの分布から画素値の変動が少なく且つ適正な対応点の探索処理が実行不可能であると予測される画像領域については、より詳細な対応点の探索処理の実行が禁止されるため、２以上の画像に係る対応点の探索が高速化される。
【００３０】
第９の態様に係る対応点探索装置によれば、探索精度に応じた誤差の範囲を加味した対応点探索の結果を得ることができる。
【００３１】
第１０の態様に係る対応点探索装置によれば、２以上の画像の間における視差が極力大きめに認識される方が好ましい用途への適用が可能となる。
【００３２】
第１１の態様に係る対応点探索装置によれば、２以上の画像の間における視差が極力小さめに認識される方が好ましい用途への適用が可能となる。
【００３３】
第１３の態様に係る対応点探索装置によれば、第１画像の各画素について、第２画像における対応点を高速で且つ極力欠落なく探索することができる。
【００３４】
第１４の態様に係る対応点探索装置によれば、対応点の探索結果に係る分解能の向上を図ることができる。
【００３５】
第１５の態様に係る対応点探索方法および第１６の態様に係るプログラムの何れによっても、画素値の変動に係る評価値に基づいて、より詳細な対応点の探索処理の実行が禁止され、相対的に低い解像度の複数の画像を対象とした探索処理の結果に基づいて、複数の画像の間における基準点と対応点との関係が決定されるため、２以上の画像について高速で且つ極力欠落のない対応点の探索が可能となる。
【図面の簡単な説明】
【００３６】
【図１】一実施形態および変形例に係る情報処理システムの概略構成を示す図である。
【図２】一実施形態および変形例に係る情報処理システムの要部構成を示すブロック図である。
【図３】一実施形態に係る制御部において実現される機能的な構成を示す図である。
【図４】基準画像および参照画像を例示する図である。
【図５】第１縮小基準画像および第１縮小参照画像を例示する模式図である。
【図６】第２縮小基準画像および第２縮小参照画像を例示する模式図である。
【図７】第３縮小基準画像および第３縮小参照画像を例示する模式図である。
【図８】基準画像に対する探索基準点の設定態様を模式的に示す図である。
【図９】３層目に係る基準点および処理対象点の設定例を示す模式図である。
【図１０】３層目に係る基準領域および比較領域の設定例を示す模式図である。
【図１１】２層目に係る評価領域および基準領域の設定例を示す模式図である。
【図１２】１層目に係る評価領域および基準領域の設定例を示す模式図である。
【図１３】第１画像に対する評価領域および基準領域の設定例を示す模式図である。
【図１４】２層目に係る比較領域の設定例を示す模式図である。
【図１５】１層目に係る比較領域の設定例を示す模式図である。
【図１６】参照画像に対する比較領域の設定例を示す模式図である。
【図１７】ＰＯＣ法を用いた対応点の探索処理を具体的に説明するための図である。
【図１８】基準領域と比較領域との相関を示すＰＯＣ値の分布を例示する図である。
【図１９】一実施形態に係る対応点探索動作の流れを示すフローチャートである。
【図２０】一実施形態に係る対応点探索動作の流れを示すフローチャートである。
【図２１】一実施形態に係る対応点探索動作の流れを示すフローチャートである。
【図２２】変形例に係る制御部において実現される機能的な構成を示す図である。
【図２３】変形例に係る補間演算方法の一例を説明するための図である。
【図２４】変形例に係る対応点探索動作の流れを示すフローチャートである。
【図２５】変形例に係る対応点探索動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００３７】
以下、本発明の一実施形態を図面に基づいて説明する。
【００３８】
＜(1)情報処理システムの構成＞
図１は、本発明の一実施形態に係る情報処理システム１Ａの概略構成を示す図であり、図２は、情報処理システム１Ａの要部構成を示すブロック図である。
【００３９】
情報処理システム１Ａは、２眼のステレオカメラ２と、ステレオカメラ２に対してデータ伝送可能に接続する情報処理装置３Ａとを備える。
【００４０】
２眼のステレオカメラ２には、それぞれ撮像素子を有する２つの撮像系２１，２２が設けられる。撮像系２１，２２は、所定方向に沿って離隔配置され、カメラ正面の被写体ＯＢを、同じタイミングで異なる視点から撮像するように構成される。撮像系２１，２２によって同じタイミングで撮像される２つの画像は、いわゆるステレオ画像であり、データ線ＣＢを介して情報処理装置３Ａに送信される。
【００４１】
なお、ステレオ画像を構成する２画像のうち、撮像系２１の撮像によって取得される画像を、適宜「第１撮像画像」Ｇ１と称し、撮像系２２の撮像によって取得される画像を、適宜「第２撮像画像」Ｇ２と称する。従って、２眼のステレオカメラ２によって、同一の被写体ＯＢがそれぞれとらえられた第１および第２撮像画像Ｇ１，Ｇ２が取得される。
【００４２】
そして、本実施形態では、説明の複雑化を避けるために、撮像系２１によって取得される第１撮像画像Ｇ１において被写体のある部分をとらえた画素の座標と、撮像系２２によって取得される参照画像Ｇ２において被写体の同一部分をとらえた画素の座標とが、Ｙ方向には同一で且つＸ方向に異なるように撮像系２１と撮像系２２とが設置されているものとして説明する。
【００４３】
情報処理装置３Ａは、例えばパーソナルコンピュータ（パソコン）で構成され、マウスやキーボードを含む操作部３１と、例えば液晶ディスプレイ等で構成される表示部３２と、ステレオカメラ２からのデータを受信するインターフェース(Ｉ／Ｆ)部３３とを備える。また、情報処理装置３Ａは、記憶部３４と入出力部３５と制御部３６Ａとを有する。
【００４４】
記憶部３４は、例えばハードディスク等で構成され、後述する対応点探索動作を行うためのプログラムＰＧａ等が格納される。
【００４５】
入出力部３５は、例えばディスクドライブを備えて構成され、光ディスク等の記憶媒体９を受け付け、制御部３６Ａとの間でデータの授受を行う。
【００４６】
制御部３６Ａは、プロセッサーとして働くＣＰＵ３６ａ、および情報を一時的に記憶するメモリ３６ｂを有し、情報処理装置３Ａの各部を統括的に制御する。制御部３６Ａでは、記憶部３４内のプログラムＰＧａが読み込まれて実行されることで、各種機能や情報処理等が実現される。
【００４７】
制御部３６Ａのメモリ３６ｂには、記憶媒体９に記憶されているプログラムデータを入出力部３５を介して格納させることができる。これにより、この格納したプログラムを情報処理装置３Ａの動作に反映させることができる。
【００４８】
また、制御部３６Ａは、ステレオカメラ２で取得されたステレオ画像を構成する２画像（具体的には、第１および第２撮像画像Ｇ１，Ｇ２）の間において被写体の同じ部分をとらえた各対応点を探索する一連の動作（対応点探索動作）を行う。この対応点探索動作については後述する。更に、制御部３６Ａは、画像間の対応点の情報を用いた三角測量の原理に基づき、被写体ＯＢの３次元位置を算出する。
【００４９】
表示部３２では、制御部３６Ａで算出された被写体ＯＢの３次元位置に基づく被写体ＯＢの３次元画像が可視的に出力される。
【００５０】
なお、本実施形態では、説明を簡素化するために、ステレオカメラ２の収差は良好に補正されており、且つ撮像系２１，２２は、略平行（好ましくは完全に平行）に設定される。つまり、撮像系２１，２２の光軸が略平行（好ましくは完全に平行）に設定され、第１および第２撮像画像Ｇ１，Ｇ２で捉えられた被写体は、第１および第２撮像画像Ｇ１，Ｇ２の外縁に対して略同一の角度関係（好ましくは完全に同一の角度関係）を有する。また、実際のステレオカメラ２の構成が、このような条件にない場合は、画像処理によって同等の条件下で撮像されたステレオ画像に変換されても良い。
【００５１】
＜(2)対応点探索動作＞
本実施形態に係る対応点探索動作では、まず、ステレオ画像を構成する第１撮像画像Ｇ１と第２撮像画像Ｇ２との組をベースとして、解像度が複数段階に低減された画像の組が生成される。次に、第１撮像画像Ｇ１の各画素について、解像度が低い画像の組から順に被写体の同じ部分をとらえた対応点の探索が行われる。このとき、解像度が相対的に１段階低い画像の組を対象とした対応点の探索結果が、解像度が相対的に１段階高い画像の組を対象とした次段の対応点の探索に利用される。但し、無駄な対応点の探索が行われないように、次段の対応点の探索が行われる前に、対応点の探索に適した画像であるか否かが評価され、その評価結果に応じて次段の対応点の探索が禁止されるとともに、前段の対応点の探索結果に基づいて対応点が決定される。
【００５２】
以下、このような対応点探索動作を実現するための機能的な構成、対応点の探索処理に係る基本原理、および対応点探索動作に係る動作フローについて順次に説明する。
【００５３】
＜(2-1)対応点探索動作に係る機能的な構成＞
図３は、対応点探索動作が実行される際に制御部３６Ａにおいて実現される機能的な構成を示す図である。制御部３６Ａでは、例えば、記憶部３４に格納されるプログラムＰＧａが読み込まれて実行されることで、図３で示されるような機能的な構成が実現される。
【００５４】
図３で示されるように、制御部３６Ａは、機能的な構成として、画像取得部３６１、解像度変換部３６２、探索基準点設定部３６３、下層画像指定部３６４、初期視差設定部３６５、初期ウインドウ設定部３６６、下層対応点探索部３６７、次層画像指定部３６８、評価領域設定部３６９、評価値算出部３７０、探索禁止部３７１、次層視差設定部３７２、次層ウインドウ設定部３７３、次層対応点探索部３７４、残層判定部３７５、対応点決定部３７６、記憶処理部３７７、および残画素判定部３７８を有する。
【００５５】
以下、制御部３６Ａにおいて実現される機能的な各構成について説明する。
【００５６】
＜(2-1-1)画像取得部＞
画像取得部３６１は、記憶部３４から同一の被写体を同じタイミングでとらえた第１撮像画像Ｇ１と第２撮像画像Ｇ２とを取得する。
【００５７】
図４は、第１および第２撮像画像Ｇ１，Ｇ２の形態をそれぞれ例示する模式図である。第１および第２撮像画像Ｇ１，Ｇ２では、多数の画素がマトリックス状に配列される。具合的には、縦方向（Ｙ方向）に第１所定数（ここでは、４８０個）の画素が配列されるとともに、横方向（Ｘ方向）に第２所定数（ここでは、６４０個）の画素が配列される。
【００５８】
なお、第１および第２撮像画像Ｇ１，Ｇ２では、左上の位置が原点とされ、第１および第２撮像画像Ｇ１，Ｇ２を構成する各画素の横方向における位置がＸ座標で示され、縦方向における位置がＹ座標で示される。つまり、第１および第２撮像画像Ｇ１，Ｇ２では、各画素の位置がＸＹの座標（ｘ，ｙ）で示され、例えば、右方向（Ｘ方向）に１画素ずれるとＸ座標の値が１つ増加し、下方向（Ｙ方向）に１画素ずれるとＹ座標の値が１つ増加する。
【００５９】
また、対応点探索動作では、第１撮像画像Ｇ１が基準となる画像（基準画像）となり、第２撮像画像Ｇ２が参照される画像（参照画像）となる。以下では、第１撮像画像Ｇ１を基準画像Ｇ１と称し、第２撮像画像Ｇ２を参照画像Ｇ２と称する。なお、画像取得部３６１では、厳密には、基準画像Ｇ１および参照画像Ｇ２を示すデータが取得されるが、本明細書では、基準画像Ｇ１を示すデータおよび基準画像Ｇ１そのものを基準画像Ｇ１と総称し、参照画像Ｇ２を示すデータおよび参照画像Ｇ２そのものを参照画像Ｇ２と総称する。
【００６０】
＜(2-1-2)解像度変換部＞
解像度変換部３６２は、基準画像Ｇ１をベースとして、該基準画像Ｇ１に対して解像度を段階的に低下させた関係にある画像（低解像度基準画像）を生成するとともに、参照画像Ｇ２をベースとして、該参照画像Ｇ２に対して解像度を段階的に低下させた関係にある画像（低解像度参照画像）を生成する。
【００６１】
詳細には、解像度変換部３６２では、基準画像Ｇ１を構成する複数の縦方向の画素の列（垂直ライン）および複数の横方向の画素の行（水平ライン）のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、縮小された低解像度の基準画像（第１縮小基準画像）Ｇ１１（図５）が生成される。第１縮小基準画像Ｇ１１では、縦方向に３２０個および横方向に２４０個の画素がマトリックス状に配列される。
【００６２】
そして、解像度変換部３６２では、第１縮小基準画像Ｇ１１のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の基準画像（第２縮小基準画像）Ｇ１２（図６）が生成される。第２縮小基準画像Ｇ１２では、縦方向に１６０個および横方向に１２０個の画素がマトリックス状に配列される。
【００６３】
更に、解像度変換部３６２では、第２縮小基準画像Ｇ１２のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の基準画像（第３縮小基準画像）Ｇ１３（図７）が生成される。第３縮小基準画像Ｇ１３では、縦方向に８０個および横方向に６０個の画素がマトリックス状に配列される。
【００６４】
また、解像度変換部３６２では、参照画像Ｇ２を構成する複数の垂直ラインおよび複数の水平ラインのうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、縮小された低解像度の参照画像（第１縮小参照画像）Ｇ２１（図５）が生成される。第１縮小参照画像Ｇ２１では、縦方向に３２０個および横方向に２４０個の画素がマトリックス状に配列される。
【００６５】
そして、解像度変換部３６２では、第１縮小参照画像Ｇ２１のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の参照画像（第２縮小参照画像）Ｇ２２（図６）が生成される。第２縮小参照画像Ｇ２２では、縦方向に１６０個および横方向に１２０個の画素がマトリックス状に配列される。
【００６６】
更に、解像度変換部３６２では、第２縮小参照画像Ｇ２２のうち、１列おきの垂直画素ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の参照画像（第３縮小参照画像）Ｇ２３（図７）が生成される。第３縮小参照画像Ｇ２３では、縦方向に８０個および横方向に６０個の画素がマトリックス状に配列される。
【００６７】
このように、解像度変換部３６２によって、基準画像Ｇ１と参照画像Ｇ２の組が基準とされ、１段階解像度が低減された第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が、１層目の低解像度の画像の組として生成される。また、２段階解像度が低減された第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が、２層目の低解像度の画像の組として形成される。更に、３段階解像度が低減された第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との組が、３層目（最下層）の低解像度の画像の組として形成される。
【００６８】
＜(2-1-3)探索基準点設定部＞
探索基準点設定部３６３は、基準画像Ｇ１に対して、対応点探索の基準となる点（基準点）Ｓｐ１（図８）を設定する。
【００６９】
具体的には、探索基準点設定部３６３によって、まず、基準画像Ｇ１のうちの左上の画素が基準点Ｓｐ１として設定される。そして、基準点Ｓｐ１に対して参照画像Ｇ２から対応点が検出される度に、新たな基準点Ｓｐ１が設定される。詳細には、基準画像Ｇ１に対して、図８の矢印で示されるように、基準点Ｓｐ１が、上方向（＋Ｙ方向）から順に、左から右方向（Ｘ方向）に沿って所定画素（ここでは、１画素）ずつずらされながら時間順次に設定され、各基準点Ｓｐ１に対応する対応点が、参照画像Ｇ２上で検出される。
【００７０】
換言すれば、基準画像Ｇ１については、−Ｙ方向から＋Ｙ方向に向けて並んだＸ方向に平行な各水平ラインに沿って、基準点Ｓｐ１が時間順次に設定される。そして、Ｘ方向に平行な１つの水平ラインに沿った基準点Ｓｐ１の設定が完了すると、１画素分＋Ｙ方向に位置するＸ方向に平行な次の水平ラインに沿って基準点Ｓｐ１が時間順次に設定される。
【００７１】
＜(2-1-4)下層画像指定部＞
下層画像指定部３６４は、最下層の低解像度の画像の組（具体的には、第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３）を、処理対象となる画像の組として指定する。
【００７２】
＜(2-1-5)初期視差設定部＞
初期視差設定部３６５は、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間における対応点の探索の基準となる所定の初期視差を仮に設定する。所定の初期視差としては、例えば、ゼロ等に設定される。
【００７３】
そして、初期視差設定部３６５は、図９で示されるように、探索基準点設定部３６３によって設定された基準点Ｓｐ１に対応する点（基準点）Ｓｐ１３を第３縮小基準画像Ｇ１３に対して設定するとともに、第３縮小参照画像Ｇ２３に対して、演算処理の対象となる点（処理対象点）Ｐｐ２３を設定する。ここでは、第３縮小基準画像Ｇ１３における基準点Ｓｐ１３の位置と、第３縮小参照画像Ｇ２３における処理対象点Ｐｐ２３の位置との間におけるＸ座標のずれ量が、所定の初期視差に相当する。
【００７４】
＜(2-1-6)初期ウインドウ設定部＞
初期ウインドウ設定部３６６は、図１０で示されるように、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３を中心として包含すウインドウ（基準領域）Ｗ１３を設定するとともに、第３縮小参照画像Ｇ２３に対して処理対象点Ｐｐ２３を中心として包含するウインドウ（比較領域）Ｗ２３を設定する。なお、基準領域Ｗ１３および比較領域Ｗ２３は、同一サイズの正方形の領域あり、例えば、縦方向および横方向にそれぞれ１７画素が配列されて構成される。
【００７５】
＜(2-1-7)下層対応点探索部＞
下層対応点探索部３６７は、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索する。この下層対応点探索部３６７では、後述する位相限定相関法（ＰＯＣ法）を用いて得られる基準領域Ｗ１３と比較領域Ｗ２３との相関に基づいて、対応点の探索が行われる。
【００７６】
つまり、本実施形態では、初期視差設定部３６５、初期ウインドウ設定部３６６、および下層対応点探索部３６７によって、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３が設定されるとともに、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索する処理（初期探索処理）が行われる。
【００７７】
なお、下層対応点探索部３６７による探索結果を示す情報は、適宜、次層視差設定部３７２または対応点決定部３７６に対して出力される。
【００７８】
＜(2-1-8)次層画像指定部＞
次層画像指定部３６８は、直前に対応点の探索処理の対象となった低解像度の画像の組よりも、解像度が１段階高い画像の組を、処理対象となる画像の組として指定する。
【００７９】
例えば、直前に第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間で対応点の探索処理が行われていれば、次層画像指定部３６８によって、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２とが指定される。また、直前に第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との間で対応点の探索処理が行われていれば、次層画像指定部３６８によって、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とが指定される。更に、直前に第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との間で対応点の探索処理が行われていれば、次層画像指定部３６８によって、基準画像Ｇ１と参照画像Ｇ２とが指定される。
【００８０】
＜(2-1-9)評価領域設定部＞
評価領域設定部３６９は、次層画像指定部３６８によって指定された画像の組のうち、基準画像Ｇ１に係る画像に対して評価領域を設定する。
【００８１】
例えば、次層画像指定部３６８によって２層目に係る第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２３とが指定されていれば、図１１で示されるように、評価領域設定部３６９によって、第２縮小基準画像Ｇ１２のうちの基準点Ｓｐ１に対応する基準点Ｓｐ１２が設定される。そして、基準点Ｓｐ１２を中心点として包含する評価領域Ａｅ１２が第２縮小基準画像Ｇ１２に対して設定される。
【００８２】
また、次層画像指定部３６８によって１層目に係る第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とが指定されていれば、図１２で示されるように、評価領域設定部３６９によって、第１縮小基準画像Ｇ１１のうちの基準点Ｓｐ１に対応する基準点Ｓｐ１１が設定される。そして、基準点Ｓｐ１１を中心点として包含する評価領域Ａｅ１１が第１縮小基準画像Ｇ１１に対して設定される。
【００８３】
更に、次層画像指定部３６８によって基準画像Ｇ１と参照画像Ｇ２とが指定されていれば、図１３で示されるように、評価領域設定部３６９によって、基準画像Ｇ１のうちの基準点Ｓｐ１を中心点として包含する評価領域Ａｅ１が基準画像Ｇ１に対して設定される。
【００８４】
なお、評価領域Ａｅ１，Ａｅ１１，Ａｅ１２は、同一サイズの正方形の領域あり、例えば、縦方向および横方向にそれぞれ１７画素が配列されて構成される。
【００８５】
＜(2-1-10)評価値算出部＞
評価値算出部３７０は、評価領域設定部３６９によって設定された評価領域に含まれる画像領域について、画素値のコントラストに係る評価値を算出する。
【００８６】
具体的には、下記数１で示されるように、評価領域に含まれる画像領域を構成する各画素に係る画素値の平均値が基準値として算出されるとともに、評価領域に含まれる画像領域を構成する各画素に係る画素値と基準値との差分がそれぞれ算出され、該差分の総和が評価値ＣＴＲとして算出される。
【００８７】
【数１】
【００８８】
上記数１では、評価領域を構成するＸ方向の画素数およびＹ方向の画素数がそれぞれｗ（ここでは、１７個）で示され、該評価領域の左上の画素が原点とされて該評価領域に含まれる各画素のＸ座標が変数ｉで示されているとともにＹ座標が変数ｊで示されている。
【００８９】
なお、評価値算出部３７０で算出される評価値ＣＴＲを示す情報は、探索禁止部３７１に対して出力される。
【００９０】
＜(2-1-11)探索禁止部＞
探索禁止部３７１は、評価値算出部３７０によって算出される評価値ＣＴＲと、閾値Ｔｈとの比較結果に応じて、次層対応点探索部３７４による探索処理の実行を禁止する。具体的には、評価値ＣＴＲが、閾値Ｔｈ未満である場合に、次層対応点探索部３７４による探索処理の実行が禁止される。
【００９１】
なお、次層対応点探索部３７４による探索処理の実行が禁止される場合には、その旨を示す信号が、対応点決定部３７６に対して出力される。一方、探索処理の実行が禁止されない場合には、その旨を示す信号が、次層視差設定部３７２に対して出力される。
【００９２】
＜(2-1-12)次層視差設定部＞
次層視差設定部３７２は、次層画像指定部３６８によって指定された画像の組に対して、対応点の探索の基準となる視差（基準視差）を仮に設定する。
【００９３】
ここでは、次層画像指定部３６８によって指定された画像の組が、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組である場合には、下層対応点探索部３６７による探索結果に応じた基準視差が設定される。
【００９４】
詳細には、次層視差設定部３７２は、図１４で示されるように、第２縮小参照画像Ｇ２２に対して、演算処理の対象となる点（処理対象点）Ｐｐ２２を設定する。このとき、第２縮小基準画像Ｇ１２における基準点Ｓｐ１２（図１１）の位置と、第２縮小参照画像Ｇ２２における処理対象点Ｐｐ２２の位置との間におけるＸ座標のずれ量が、基準視差に相当する。
【００９５】
また、次層画像指定部３６８によって指定された画像の組が、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組である場合には、次層対応点探索部３７４による直前の探索結果に応じた基準視差が設定される。このとき、直前の探索結果は、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との間における対応点の探索結果である。
【００９６】
詳細には、次層視差設定部３７２は、図１５で示されるように、第１縮小参照画像Ｇ２１に対して、処理対象点Ｐｐ２１を設定する。このとき、第１縮小基準画像Ｇ１１における基準点Ｓｐ１１（図１２）の位置と、第１縮小参照画像Ｇ２１における処理対象点Ｐｐ２１の位置との間におけるＸ座標のずれ量が、基準視差に相当する。
【００９７】
また、次層画像指定部３６８によって指定された画像の組が、基準画像Ｇ１と参照画像Ｇ２との組である場合には、次層対応点探索部３７４による直前の探索結果に応じた基準視差が設定される。このとき、直前の探索結果は、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との間における対応点の探索結果である。
【００９８】
詳細には、次層視差設定部３７２は、図１６で示されるように、参照画像Ｇ２に対して、処理対象点Ｐｐ２を設定する。このとき、基準画像Ｇ１における基準点Ｓｐ１（図１３）の位置と、参照画像Ｇ２における処理対象点Ｐｐ２の位置との間におけるＸ座標のずれ量が、基準視差に相当する。
【００９９】
＜(2-1-13)次層ウインドウ設定部＞
次層ウインドウ設定部３７３は、次層画像指定部３６８によって指定された画像の組に対して、ウインドウを設定する。
【０１００】
ここでは、次層画像指定部３６８によって指定された画像の組が、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組である場合には、図１１および図１４で示されるように、ウインドウ（基準領域）Ｗ１２とウインドウ（比較領域）Ｗ２２とが設定される。
【０１０１】
詳細には、第２縮小基準画像Ｇ１２に対して基準点Ｓｐ１２を中心として包含する基準領域Ｗ１２が設定されるとともに、第２縮小参照画像Ｇ２２に対して処理対象点Ｐｐ２２を中心として包含する比較領域Ｗ２２が設定される。なお、本実施形態では、基準領域Ｗ１２と評価領域Ａｅ１２とが同一の領域となる。
【０１０２】
また、次層画像指定部３６８によって指定された画像の組が、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組である場合には、図１２および図１５で示されるように、ウインドウ（基準領域）Ｗ１１とウインドウ（比較領域）Ｗ２１とが設定される。
【０１０３】
詳細には、第１縮小基準画像Ｇ１１に対して基準点Ｓｐ１１を中心として包含する基準領域Ｗ１１が設定されるとともに、第１縮小参照画像Ｇ２１に対して処理対象点Ｐｐ２１を中心として包含する比較領域Ｗ２１が設定される。なお、本実施形態では、基準領域Ｗ１１と評価領域Ａｅ１１とが同一の領域となる。
【０１０４】
また、次層画像指定部３６８によって指定された画像の組が、基準画像Ｇ１と参照画像Ｇ２との組である場合には、図１３および図１６で示されるように、ウインドウ（基準領域）Ｗ１およびウインドウ（比較領域）Ｗ２が設定される。
【０１０５】
詳細には、基準画像Ｇ１に対して基準点Ｓｐ１を中心として包含する基準領域Ｗ１が設定されるとともに、参照画像Ｇ２に対して処理対象点Ｐｐ２を中心として包含する比較領域Ｗ２が設定される。なお、本実施形態では、基準領域Ｗ１と評価領域Ａｅ１とが同一の領域となる。
【０１０６】
なお、基準領域Ｗ１，Ｗ１１，Ｗ１２および比較領域Ｗ２，Ｗ２１，Ｗ２２は、同一サイズの正方形の領域あり、例えば、縦方向および横方向にそれぞれ１７画素が配列されて構成される。
【０１０７】
＜(2-1-14)次層対応点探索部＞
次層対応点探索部３７４は、次層画像指定部３６８によって指定された画像の組について、対応点の探索を行う。この次層対応点探索部３７４では、位相限定相関法（ＰＯＣ法）が採用される。
【０１０８】
ここでは、次層画像指定部３６８によって指定された画像の組が、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組である場合には、第２縮小参照画像Ｇ２２が対象とされて基準点Ｓｐ１２に対応する対応点が探索される。
【０１０９】
また、次層画像指定部３６８によって指定された画像の組が、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組である場合には、第１縮小参照画像Ｇ２１が対象とされて基準点Ｓｐ１１に対応する対応点が探索される。
【０１１０】
更に、次層画像指定部３６８によって指定された画像の組が、基準画像Ｇ１と参照画像Ｇ２との組である場合には、参照画像Ｇ２が対象とされて基準点Ｓｐ１に対応する対応点が探索される。
【０１１１】
つまり、本実施形態では、評価領域設定部３６９、次層視差設定部３７２、次層ウインドウ設定部３７３、および次層対応点探索部３７４によって、第２縮小基準画像Ｇ１２に対して基準点Ｓｐ１２が設定されるとともに、下層対応点探索部３６７による探索結果が利用されて、第２縮小参照画像Ｇ２２を対象として基準点Ｓｐ１２に対応する対応点を探索する処理（第２層探索処理）が行われる。
【０１１２】
また、本実施形態では、評価領域設定部３６９、次層視差設定部３７２、次層ウインドウ設定部３７３、および次層対応点探索部３７４によって、第１縮小基準画像Ｇ１１に対して基準点Ｓｐ１１が設定されるとともに、次層対応点探索部３７４による前回の探索結果が利用されて、第１縮小参照画像Ｇ２１を対象として基準点Ｓｐ１１に対応する対応点を探索する処理（第１層探索処理）が行われる。
【０１１３】
更に、本実施形態では、探索基準点設定部３６３、次層視差設定部３７２、次層ウインドウ設定部３７３、および次層対応点探索部３７４によって、基準画像Ｇ１に対して基準点Ｓｐ１が設定されるとともに、次層対応点探索部３７４による前回の探索結果が利用されて、参照画像Ｇ２を対象として基準点Ｓｐ１に対応する対応点を探索する探索処理（最終探索処理）が行われる。
【０１１４】
なお、次層対応点探索部３７４による探索結果を示す情報は、適宜、次層視差設定部３７２または対応点決定部３７６に対して出力される。
【０１１５】
＜(2-1-15)残層判定部＞
残層判定部３７５は、次層対応点探索部３７４による前回の探索処理の対象となった画像の組よりも、高い解像度の画像の組が存在しているか否かを判定する。
【０１１６】
なお、残層判定部３７５によって、前回の探索処理の対象よりも高い解像度の画像の組が存在していれば、その旨を示す信号が、次層画像指定部３６８に対して出力される。該信号に応じて、次層画像指定部３６８では、直前に探索処理の対象となっていた低解像度の画像の組よりも、解像度が１段階高い画像の組が、処理対象となる画像の組として指定される。
【０１１７】
＜(2-1-16)対応点決定部＞
対応点決定部３７６は、探索基準点設定部３６３において設定された基準点Ｓｐ１に対応する対応点を決定する。つまり、基準点Ｓｐ１と対応点との関係が決定される。
【０１１８】
詳細には、対応点決定部３７６では、探索禁止部３７１から探索処理の実行が禁止される旨を示す信号が入力されると、下層対応点探索部３６７または次層対応点探索部３７４における直前の探索結果に基づいて、基準点Ｓｐ１に対応する対応点が決定される。このとき、探索における誤差の範囲が適宜加えられて、基準点Ｓｐ１と対応点との関係を示す情報が生成される。
【０１１９】
より詳細には、第２縮小基準画像Ｇ１２の評価領域Ａｅ１２に係る評価値ＣＴＲに基づき、探索禁止部３７１によって、次層対応点探索部３７４による探索処理の実行が禁止される場合には、下層対応点探索部３６７による探索結果に基づいて、基準点Ｓｐ１に対応する対応点が決定される。
【０１２０】
具体的には、直前に下層対応点探索部３６７によって第３縮小参照画像Ｇ２３から対応点が検出されていれば、該対応点に対応する複数の画素が、参照画像Ｇ２から認識され、該複数の画素のうちの略中心の位置が対応点（被検出対応点）として決定される。
【０１２１】
但し、第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３の解像度は、基準画像Ｇ１および参照画像Ｇ２の解像度の１／８となっている。このため、被検出対応点を示す情報に対しては、第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３の解像度に応じた探索おける誤差の範囲（ここでは、±４）が加えられた状態となる。
【０１２２】
また、第１縮小基準画像Ｇ１１の評価領域Ａｅ１１に係る評価値ＣＴＲに基づき、探索禁止部３７１によって、次層対応点探索部３７４による探索処理の実行が禁止される場合には、次層対応点探索部３７４による探索結果に基づいて、基準点Ｓｐ１に対応する対応点が決定される。
【０１２３】
具体的には、直前に次層対応点探索部３７４によって第２縮小参照画像Ｇ２２から対応点が検出されていれば、該対応点に対応する複数の画素が、参照画像Ｇ２から認識され、該複数の画素のうちの略中心の位置が対応点（被検出対応点）として決定される。
【０１２４】
但し、第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２の解像度は、基準画像Ｇ１および参照画像Ｇ２の解像度の１／４となっている。このため、被検出対応点を示す情報に対しては、第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２の解像度に応じた探索おける誤差の範囲（ここでは、±２）が加えられた状態となる。
【０１２５】
また、基準画像Ｇ１の評価領域Ａｅ１に係る評価値ＣＴＲに基づき、探索禁止部３７１によって、次層対応点探索部３７４による探索処理の実行が禁止される場合には、次層対応点探索部３７４による探索結果に基づいて、基準点Ｓｐ１に対応する対応点が決定される。
【０１２６】
具体的には、直前に次層対応点探索部３７４によって第１縮小参照画像Ｇ２１から対応点が検出されていれば、該対応点に対応する複数の画素が、参照画像Ｇ２から認識され、該複数の画素のうちの略中心の位置が対応点（被検出対応点）として決定される。
【０１２７】
但し、第１縮小基準画像Ｇ１１および第１縮小参照画像Ｇ２１の解像度は、基準画像Ｇ１および参照画像Ｇ２の解像度の１／２となっている。このため、被検出対応点を示す情報に対しては、第１縮小基準画像Ｇ１１および第１縮小参照画像Ｇ２１の解像度に応じた探索おける誤差の範囲（ここでは、±１）が加えられた状態となる。
【０１２８】
一方、対応点決定部３７６では、探索禁止部３７１から探索処理の実行が禁止される旨を示す信号が入力されない場合には、次層対応点探索部３７４における最終探索処理の結果に基づいて、基準点Ｓｐ１に対応する対応点が決定される。このとき、最終探索処理の結果が、そのまま基準点Ｓｐ１と対応点との関係として採用される。
【０１２９】
＜(2-1-17)記憶処理部＞
記憶処理部３７７は、対応点決定部３７６によって決定される基準点Ｓｐ１と対応点との関係を示す情報を記憶部３４に記憶する。
【０１３０】
＜(2-1-18)残画素判定部＞
残画素判定部３７８は、探索基準点設定部３６３によって基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されたか否かが判定される。ここでは、基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されていなければ、その旨を示す信号が、探索基準点設定部３６３に対して出力される。一方、基準画像Ｇ１の全画素が基準点Ｓｐ１として既に設定されていれば、基準画像Ｇ１と参照画像Ｇ２との間における対応点探索動作が終了される。
【０１３１】
＜(2-2)ＰＯＣ法を用いた対応点の探索処理に係る基本原理＞
ここで、ＰＯＣ法を用いた対応点の探索処理に係る基本原理について説明する。
【０１３２】
本実施形態では、基準画像Ｇ１と参照画像Ｇ２との間における対応点の探索処理、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との間における対応点の探索処理、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との間における対応点の探索処理、および第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間における対応点の探索処理が行われるが、何れの対応点の探索処理においてもＰＯＣ法を用いた同様な対応点の探索処理が行われる。
【０１３３】
そこで、以下では、基準画像Ｇ１と参照画像Ｇ２との間における対応点の探索処理を代表例として挙げつつ、ＰＯＣ法を用いた対応点の探索処理に係る基本原理について説明する。
【０１３４】
基準画像Ｇ１および参照画像Ｇ２では、Ｘ方向に沿って所定数（Ｎ個）の画素が配列されることで長辺が形成され、Ｘ方向とは異なるＹ方向に沿って所定数（Ｍ個）の画素が配列されることで短辺が形成されるものとする。
【０１３５】
対応点の探索処理では、まず、図１３で示されるように、基準画像Ｇ１上で指定される基準点Ｓｐ１を中心点として内包するウインドウ（基準領域）Ｗ１が基準画像Ｇ１上に設定される。その一方で、図１６で示されるように、ウインドウＷ１のサイズと同じサイズを有するウインドウ（比較領域）Ｗ２が参照画像Ｇ２に設定される。基準領域Ｗ１および比較領域Ｗ２では、多数の画素がマトリックス状に配列される。具体的には、Ｘ方向に沿って所定数Ｎ1の画素が配列され、Ｙ方向に沿って所定数Ｎ2の画素が配列される。次に、基準領域Ｗ１と比較領域Ｗ２との相関を示す値（以下「相関値」と称する）が算出される。そして、該相関値（ここでは、後述するＰＯＣ値）に基づき、参照画像Ｇ２から基準点Ｓｐ１に対応する点（対応点）が検出される。
【０１３６】
図１７は、ＰＯＣ法を用いた対応点の探索処理を具体的に説明するための図である。
【０１３７】
ＰＯＣ法を用いた対応点の探索処理では、まず、基準画像Ｇ１に対するウインドウ（基準領域）Ｗ１の設定処理Ｔ０ａと、参照画像Ｇ２に対するウインドウ（比較領域）Ｗ２の設定処理Ｔ０ｂとが行われる。このとき、基準領域Ｗ１および比較領域Ｗ２にそれぞれ相当する画像領域が、次の数２で表されるものとする。
【０１３８】
【数２】
【０１３９】
ここで、上記数２におけるｆ(ｎ1,ｎ2)は、基準画像Ｇ１上の基準領域Ｗ１を示し、上記数２におけるｇ(ｎ1,ｎ2)は、参照画像Ｇ２上のの比較領域Ｗ２を示す。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【０１４０】
次に、基準画像Ｇ１および参照画像Ｇ２の基準領域Ｗ１および比較領域Ｗ２に相当する各画像領域に対し、次の数３で示される演算式を用いた２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂが行われる。
【０１４１】
【数３】
【０１４２】
なお、上記の数３のただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。
【０１４３】
このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像領域に対しては、次の数４で示される演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂがそれぞれ行われる。
【０１４４】
【数４】
【０１４５】
規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、次の数５で示される演算式を用いた合成処理Ｔ３が行われるとともに、数６で示される演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【０１４６】
【数５】
【０１４７】
【数６】
【０１４８】
以上の処理により、基準領域Ｗ１と比較領域Ｗ２との相関を示す演算結果(ＰＯＣ値)が得られ、例えば、図１８で示されるような結果（ＰＯＣ値）が得られる。
【０１４９】
図１８においては、ウインドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、参照画像Ｇ２上の参照画像Ｗ２内のうち、ＰＯＣ値のピークＪｃに対応する位置が、基準画像Ｇ１上の基準領域Ｗ１の中心点(基準点)Ｓｐ１に対応した参照画像Ｇ２上の対応点に相当する。このため、ＰＯＣ値のピークＪｃが検出されることで、基準画像Ｇ１上の基準点Ｓｐ１に対応した参照画像Ｇ２上の対応点が検出される。
【０１５０】
このようなＰＯＣ法を用いた対応点の探索処理によれば、画像の振幅成分が除去され、画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響が抑制されて対応点が精度良く検出される。
【０１５１】
＜(2-3)対応点探索動作に係る動作フロー＞
図１９〜図２１は、本実施形態に係る対応点探索動作の流れを示すフローチャートである。本動作フローは、制御部３６ＡがプログラムＰＧａを読み込んで実行することで実現される。なお、本動作フローは、例えば、操作部３１からの指示に応じて開始されて、図１９のステップＳＴ１に進む。
【０１５２】
ステップＳＴ１では、画像取得部３６１によって、記憶部３４から基準画像Ｇ１と参照画像Ｇ２とが取得される。
【０１５３】
ステップＳＴ２では、解像度変換部３６２によって、基準画像Ｇ１をベースとして、該基準画像Ｇ１から解像度が段階的に低減された関係にある第１〜３層目の第１〜３縮小基準画像Ｇ１１〜Ｇ１３がそれぞれ生成されるとともに、参照画像Ｇ２をベースとして、該参照画像Ｇ２から解像度が段階的に低減された関係にある第１〜３層目の第１〜３縮小参照画像Ｇ２１〜２３がそれぞれ生成される。
【０１５４】
ステップＳＴ３では、探索基準点設定部３６３によって、基準画像Ｇ１に対して、基準点Ｓｐ１が設定される。なお、本ステップＳＴ３では、図２１のステップＳＴ３２から戻って来る度に、探索基準点設定部３６３によって、基準画像Ｇ１のうちの未だに基準点Ｓｐ１として設定されていない画素が基準点Ｓｐ１として設定される。
【０１５５】
ステップＳＴ４では、下層画像指定部３６４によって、最下層に係る第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３が、処理の対象となる画像の組として指定される。
【０１５６】
ステップＳＴ５では、初期視差設定部３６５によって、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間における所定の初期視差が仮に設定される。
【０１５７】
具体的には、初期視差設定部３６５によって、ステップＳＴ３で設定された基準点Ｓｐ１に対応する基準点Ｓｐ１３が第３縮小基準画像Ｇ１３に対して設定される。
【０１５８】
ステップＳＴ６では、初期ウインドウ設定部３６６によって、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３を中心として包含するウインドウ（基準領域）Ｗ１３が設定されるとともに、第３縮小参照画像Ｇ２３に対して処理対象点Ｐｐ２３を中心として包含するウインドウ（比較領域）Ｗ２３が設定される。
【０１５９】
ステップＳＴ７では、下層対応点探索部３６７によって、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点が探索される。
【０１６０】
このように、ステップＳＴ５〜ＳＴ７では、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３が設定されるとともに、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索する初期探索処理が行われる。
【０１６１】
なお、ステップＳＴ７の処理が終了されると、図２０のステップＳＴ１１に進む。
【０１６２】
ステップＳＴ１１では、次層画像指定部３６８によって、直前に対応点の探索処理の対象となっていた低解像度の画像の組よりも、解像度が１段階高い画像の組が、処理の対象となる画像の組として指定される。
【０１６３】
例えば、直前に第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間で対応点の探索処理が行われていれば、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２とが指定される。
【０１６４】
また、直前に第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との間で対応点の探索処理が行われていれば、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とが指定される。
【０１６５】
更に、直前に第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との間で対応点の探索処理が行われていれば、基準画像Ｇ１と参照画像Ｇ２とが指定される。
【０１６６】
ステップＳＴ１２では、評価領域設定部３６９によって、ステップＳＴ１１で指定された画像の組のうち、基準画像Ｇ１に係る画像に対して評価領域が設定される。
【０１６７】
例えば、ステップＳＴ１１で２層目に係る第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２とが指定されていれば、第２縮小基準画像Ｇ１２のうちの基準点Ｓｐ１に対応する基準点Ｓｐ１２が設定される。そして、該基準点Ｓｐ１２を中心点として包含する評価領域Ａｅ１２が第２縮小基準画像Ｇ１２に対して設定される。
【０１６８】
また、ステップＳＴ１１で１層目に係る第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とが指定されていれば、第１縮小基準画像Ｇ１１のうちの基準点Ｓｐ１に対応する基準点Ｓｐ１１が設定される。そして、該基準点Ｓｐ１１を中心点として包含する評価領域Ａｅ１１が第１縮小基準画像Ｇ１１に対して設定される。
【０１６９】
更に、ステップＳＴ１１で基準画像Ｇ１と参照画像Ｇ２とが指定されていれば、基準画像Ｇ１のうちの基準点Ｓｐ１を中心点として包含する評価領域Ａｅ１が基準画像Ｇ１に対して設定される。
【０１７０】
ステップＳＴ１３では、評価値算出部３７０によって、ステップＳＴ１２で設定された評価領域に含まれる画像領域について、コントラストに係る評価値が算出される。ここでは、評価領域に含まれる画像領域に係る画素値の平均値が基準値として算出され、評価領域に含まれる画像領域を構成する各画素に係る画素値と基準値との差分の総和が評価値ＣＴＲとして算出される。
【０１７１】
ステップＳＴ１４では、探索禁止部３７１によって、ステップＳＴ１３で算出された評価値ＣＴＲが閾値Ｔｈ未満であるか否かが判定される。ここでは、評価値ＣＴＲが閾値Ｔｈ未満でなければ、ステップＳＴ１５に進み、評価値ＣＴＲが閾値Ｔｈ未満であれば、ステップＳＴ２０に進む。
【０１７２】
ステップＳＴ１５では、次層視差設定部３７２によって、ステップＳＴ１１で指定された画像の組に対して、対応点の探索の基準となる基準視差が仮に設定される。
【０１７３】
例えば、ステップＳＴ１１で第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が指定されていれば、第２縮小参照画像Ｇ２２に対して、処理対象点Ｐｐ２２が設定される。
【０１７４】
また、ステップＳＴ１１で第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が指定されていれば、第１縮小参照画像Ｇ２１に対して、処理対象点Ｐｐ２１が設定される。
【０１７５】
更に、ステップＳＴ１１で基準画像Ｇ１と参照画像Ｇ２との組が指定されていれば、参照画像Ｇ２に対して、処理対象点Ｐｐ２が設定される。
【０１７６】
ステップＳＴ１６では、次層ウインドウ設定部３７３によって、ステップＳＴ１１で指定された画像の組に対して、ウインドウがそれぞれ設定される。
【０１７７】
例えば、ステップＳＴ１１で第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が指定されていれば、第２縮小基準画像Ｇ１２に対してウインドウ（基準領域）Ｗ１２が設定されるとともに、第２縮小参照画像Ｇ２２に対してウインドウ（比較領域）Ｗ２２が設定される。
【０１７８】
また、ステップＳＴ１１で第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が指定されていれば、第１縮小基準画像Ｇ１１に対してウインドウ（基準領域）Ｗ１１が設定されるとともに、第１縮小参照画像Ｇ２１に対してウインドウ（比較領域）Ｗ２１が設定される。
【０１７９】
更に、ステップＳＴ１１で基準画像Ｇ１と参照画像Ｇ２との組が指定されていれば、基準画像Ｇ１に対してウインドウ（基準領域）Ｗ１が設定されるとともに、参照画像Ｇ２に対してウインドウ（比較領域）Ｗ２が設定される。
【０１８０】
ステップＳＴ１７では、次層対応点探索部３７４によって、ステップＳＴ１６で指定された画像の組について、対応点の探索が行われる。
【０１８１】
例えば、ステップＳＴ１１で第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が指定されていれば、第２縮小参照画像Ｇ２２を対象とした基準点Ｓｐ１２に対応する対応点の探索が行われる。
【０１８２】
また、ステップＳＴ１１で第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が指定されていれば、第１縮小参照画像Ｇ２１を対象とした基準点Ｓｐ１１に対応する対応点の探索が行われる。
【０１８３】
更に、ステップＳＴ１１で基準画像Ｇ１と参照画像Ｇ２との組が指定されていれば、参照画像Ｇ２を対象とした基準点Ｓｐ１に対応する対応点の探索が行われる。
【０１８４】
ステップＳＴ１８では、残層判定部３７５によって、直前のステップＳＴ１７において探索処理の対象となった画像の組よりも、上層に係る高い解像度の画像の組が存在しているか否かが判定される。ここでは、上層に係る高い解像度の画像の組が存在していれば、ステップＳＴ１１に戻り、上層に係る高い解像度の画像の組が存在していなければ、ステップＳＴ１９に進む。なお、ステップＳＴ１９に進む場合には、直前のステップＳＴ１７における探索処理は最終探索処理となっている。
【０１８５】
ステップＳＴ１９では、対応点決定部３７６によって、ステップＳＴ１７における最終探索処理の結果に基づいて、ステップＳＴ３で設定された基準点Ｓｐ１に対応する対応点が決定され、基準点Ｓｐ１と対応点との関係を示す情報が生成される。ここでは、最終探索処理の結果が、そのまま基準点Ｓｐ１と対応点との関係として採用される。そして、このステップＳＴ１９の処理の終了に応じて、図２１のステップＳＴ３１に進む。
【０１８６】
なお、ステップＳＴ１９の処理が行われる場合には、現在指定されている基準点Ｓｐ１に対しては、後述するステップＳＴ２０において探索処理の実行が禁止されていないことになる。
【０１８７】
ステップＳＴ２０では、探索禁止部３７１によって、直前のステップＳＴ１１で指定された画像の組を対象とした次層対応点探索部３７４による探索処理の実行が禁止される。
【０１８８】
ここでは、例えば、ステップＳＴ１１で第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が指定されていれば、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２とを対象とした対応点の探索処理が禁止される。
【０１８９】
また、ステップＳＴ１１で第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が指定されていれば、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とを対象とした対応点の探索処理が禁止される。
【０１９０】
更に、ステップＳＴ１１で基準画像Ｇ１と参照画像Ｇ２との組が指定されていれば、基準画像Ｇ１と参照画像Ｇ２とを対象とした対応点の探索処理が禁止される。
【０１９１】
ステップＳＴ２１では、対応点決定部３７６によって、ステップＳＴ３で設定された基準点Ｓｐ１に対応する対応点が決定される。
【０１９２】
ここでは、例えば、直前のステップＳＴ１１で第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が指定されていれば、ステップＳＴ７における対応点の探索処理の結果に基づいて、基準点Ｓｐ１に対応する対応点が決定される。このとき、探索における誤差の範囲（ここでは、±４）が加えられた基準点Ｓｐ１と対応点との関係を示す情報が生成される。
【０１９３】
また、直前のステップＳＴ１１で第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が指定されていれば、直前のステップＳＴ１７における第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２とを対象とした対応点の探索処理の結果に基づき、基準点Ｓｐ１に対応する対応点が決定される。このとき、探索における誤差の範囲（ここでは、±２）が加えられた基準点Ｓｐ１と対応点との関係を示す情報が生成される。
【０１９４】
更に、直前のステップＳＴ１１で基準画像Ｇ１と参照画像Ｇ２との組が指定されていれば、直前のステップＳＴ１７における第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とを対象とした対応点の探索処理の結果に基づき、基準点Ｓｐ１に対応する対応点が決定される。このとき、探索における誤差の範囲（ここでは、±１）が加えられた基準点Ｓｐ１と対応点との関係を示す情報が生成される。
【０１９５】
このステップＳＴ２１の処理が終了されると、図２１のステップＳＴ３１に進む。
【０１９６】
図２１のステップＳＴ３１では、記憶処理部３７７によって、ステップＳＴ１９またはステップＳＴ２１における決定結果、すなわち基準点Ｓｐ１と対応点との関係を示す情報が、記憶部３４に記憶される。
【０１９７】
ステップＳＴ３２では、残画素判定部３７８によって、ステップＳＴ３において基準画像Ｇ１の全画素が基準点Ｓｐ１として既に設定されたか否かが判定される。ここでは、基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されていなければ、ステップＳＴ３に戻り、基準画像Ｇ１のうちの基準点Ｓｐ１として未だに設定されていない画素が基準点Ｓｐ１として設定される。一方、基準画像Ｇ１の全画素が基準点Ｓｐ１として既に設定されていれば、本動作フローが終了される。
【０１９８】
このようにして、基準画像Ｇ１に含まれる複数の画素が順次に基準点Ｓｐ１として指定されるとともに、各基準点Ｓｐ１に対して、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間における対応点の探索処理の結果、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との間における対応点の探索処理の結果、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との間における対応点の探索処理の結果、および基準画像Ｇ１と参照画像Ｇ２との間における対応点の探索処理の結果のうちの何れかに基づいて、基準点Ｓｐ１と対応点との関係が導出される。
【０１９９】
以上のように、本発明の一実施形態に係る情報処理システム１Ａによれば、画像における画素値のコントラストに係る評価値に基づいて、より詳細な対応点の探索処理の実行が禁止され、相対的に低い解像度の複数の画像を対象とした探索処理の結果に基づいて基準画像Ｇ１と参照画像Ｇ２との間における基準点Ｓｐ１と対応点との関係が決定される。このため、２以上の画像について高速で且つ極力欠落のない対応点の探索が可能となる。
【０２００】
そして、このような処理が、基準画像Ｇ１の各画素について行われるため、基準画像Ｇ１の各画素について、参照画像Ｇ２の対応点が高速で且つ極力欠落なく探索される。
【０２０１】
また、特に、画像における画素値のコントラストから、画素値の変動が少なく且つ適正な対応点の探索処理が実行不可能であると予測される領域については、より詳細な対応点の探索処理の実行が禁止される。その結果、無駄な演算が省略されるため、２以上の画像に係る対応点の探索が高速化される。
【０２０２】
また、相対的に低い解像度の複数の画像を対象とした探索処理の結果に基づいて基準画像Ｇ１と参照画像Ｇ２との間における基準点Ｓｐ１と対応点との関係が決定される場合には、基準点Ｓｐ１と対応点との関係に対して探索精度に応じた誤差の範囲が付加される。その結果、探索精度に応じた誤差の範囲を加味した対応点探索の結果が得られる。
【０２０３】
＜(3)変形例＞
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
【０２０４】
◎例えば、上記一実施形態では、対応点の各探索処理が、ＰＯＣ法を用いて行われたが、これに限られない。例えば、少なくとも１つの探索処理に対して、ＳＡＤ（Sum of Absolute Differences；差分絶対値和）法等といったその他の手法が採用されても良い。
【０２０５】
◎また、上記一実施形態では、評価値算出部３７０において、評価領域に係る画素値の平均値が基準値として算出され、評価領域内の各画素に係る画素値と基準値との差分の総和が評価値ＣＴＲとして算出されたが、これに限られない。
【０２０６】
例えば、評価領域内の画像領域を対象として輪郭（エッジ）が抽出される処理が行われ、該評価領域内においてエッジが占める画素数の総和（エッジ量）がコントラストに係る評価値として算出されても良い。
【０２０７】
ここで実施されるエッジ抽出の方法については、ＳｏｂｅｌやＰｒｅｗｉｔ等と称される種々の方法が適用されれば良い。なお、エッジ抽出の結果としての画像（エッジ画像）が閾値を基準として２値化された後に、エッジが占める画素数の総和（エッジ量）が求められるようにしても良い。
【０２０８】
このように、コントラストに係る評価値に基づいて、次段の解像度に係る対応点の探索処理を行うか否かが判定される構成は、テンプレートマッチング等といったコントラストが大きく影響する対応点の探索処理が実行される構成に対して、より適している。
【０２０９】
また、コントラストに係る評価値が算出される代わりに、その他の方法により、評価領域について画素値の変動に係る評価値が算出されても良い。
【０２１０】
例えば、評価領域内の画像領域を対象としたフーリエ変換が行われることで、周波数成分の分布（パワースペクトル）が導出され、該分布に基づいて評価値が算出されても良い。該評価値は、評価領域における画素値のパターンの分布に係る評価値に相当する。
【０２１１】
具体的には、例えば、下記(Ｉ)または(II)の方法によって評価値が算出されれば良い。
【０２１２】
(Ｉ)まず、評価領域内の画像領域を対象としたフーリエ変換が実行されることで、空間周波数に係る周波数成分の分布（パワースペクトル）が得られる。次に、パワースペクトルにおけるパワー（エネルギー）の総和が評価値として算出される。
【０２１３】
(II)まず、評価領域内の画像領域を対象としたフーリエ変換が実行されることで、空間周波数に係る周波数成分の分布（パワースペクトル）が得られる。次に、周波数毎に設定された閾値Ｔｈ(ρ)が基準とされて、パワースペクトルにおけるパワー（エネルギー）が２値化される。そして、パワースペクトルの２値化によって得られる周波数成分の分布（２値分布）について、パワー（エネルギー）の総和が評価値として算出される。
【０２１４】
なお、上記(II)の方法では、例えば、低周波領域をより重視した評価値が得られるようにすれば、いわゆるエイリアシングの影響等を抑制した評価が可能となる。また、ＰＯＣ法を用いた対応点の探索処理では、ウインドウ内の画像が幅広く色々な周波数成分を有する方が高精度な探索処理が可能となるため、上記(II)の方法が用いられて、幅広く色々な周波数成分が重視されて、評価値が適宜算出される方が好ましい。
【０２１５】
このような構成が採用されれば、画素値のパターンの分布に係る評価結果から画素値の変動が少なく且つ適正な対応点の探索処理が実行不可能であると予測される画像領域については、より詳細な対応点の探索処理の実行が禁止される。このため、上記一実施形態と同様に、２以上の画像に係る対応点の探索が高速化される。
【０２１６】
◎また、上記一実施形態では、相対的に低い解像度の複数の画像を対象とした対応点の探索処理の結果に基づいて基準画像Ｇ１と参照画像Ｇ２との間における基準点Ｓｐ１と対応点との関係が決定される場合には、基準点Ｓｐ１と対応点との関係に対して、探索精度に応じた誤差の範囲が付加されたが、これに限られない。
【０２１７】
例えば、対応点探索動作によって得られる情報の用途に応じて、相対的に低い解像度の複数の画像を対象とした対応点の探索処理の結果とその解像度に応じた誤差の範囲とに基づいて、基準画像Ｇ１に対する基準点Ｓｐ１の位置と参照画像Ｇ２に対する対応点の位置との間におけるＸ座標のずれ量が、解像度に応じた誤差の範囲内で最も大きくなるように、基準点Ｓｐ１と対応点との関係が決定されても良い。
【０２１８】
このような構成が適している用途としては、車載カメラによって得られるステレオ画像を用いて障害物の接近を検知して追突を防止するようなシステムが考えられる。このような用途に対しては、視差がより大きく検出される方が、障害物の接近を厳し目に検知することが可能であり、安全を保持する上で好ましい。
【０２１９】
また、対応点探索動作によって得られる情報の用途に応じて、逆に、相対的に低い解像度の複数の画像を対象とした対応点の探索処理の結果とその解像度に応じた誤差の範囲とに基づいて、基準画像Ｇ１に対する基準点Ｓｐ１の位置と参照画像Ｇ２に対する対応点の位置との間におけるＸ座標のずれ量が、解像度に応じた誤差の範囲内で最も小さくなるように、基準点Ｓｐ１と対応点との関係が決定されても良い。
【０２２０】
このような構成が適している用途としては、監視カメラによって得られるステレオ画像を用いて人物等が危険な場所に近づいている状況を検知して報知するようなシステムが考えられる。例えば、危険な場所（池、川、崖、および各種施設等）の近隣において該危険な場所に向けて監視カメラが設けられる場合には、人物等が危険な場所に近づけば近づく程、ステレオ画像において人物等が遠くにとらえられる。このため、このような用途に対しては、視差がより小さく検出される方が、人物等の危険な場所への接近を厳し目に検知することが可能であり、安全を保持する上で好ましい。
【０２２１】
◎また、上記一実施形態では、ＰＯＣ値が離散的に求められたが、これに限られない。例えば、隣接画素間でＰＯＣ値の補間演算を行い、ピークＪｃの位置を１画素のサイズよりも細かいサブピクセルのサイズで推定することで、更に細かく対応点の探索を行うこともできる。補間演算の手法としては、離散的に求められたＰＯＣ値の分布から放物線の関数を求める手法等が考えられる。このような構成によれば、対応点の探索結果における分解能の向上が図られる。
【０２２２】
但し、演算量の増加の抑制および演算の高速化の観点から言えば、各解像度の画像間における対応点の探索処理においてサブピクセルのサイズで対応点の探索が行われるよりも、各画素について基準点Ｓｐ１と対応点との関係が決定される際に限定して、サブピクセルのサイズで対応点の検出が行われる方が好ましい。このため、例えば、最終探索処理においてのみサブピクセルのサイズで対応点の探索が行われる態様や、最終探索処理以外の探索処理においてサブピクセルのサイズで対応点の探索が行われる態様等、種々のバリエーションが考えられる。
【０２２３】
◎また、上記一実施形態では、基準画像Ｇ１の各画素に対して、参照画像Ｇ２において対応する画素が検出されたが、これに限られない。例えば、画素同士の位置の対応付けの他に、画素と画素との間の部分（サブピクセル）の位置に対して、参照画像Ｇ２における対応点が検出される構成等が考えられる。
【０２２４】
このような構成については、最終探索処理の結果からサブピクセルのサイズで対応点の検出が行われる態様や、最終探索処理以外の探索処理の結果からサブピクセルのサイズで対応点の検出が行われる態様等、種々のバリエーションが考えられる。このような態様によれば、対応点の探索結果における情報量、すなわち分解能の向上が図られる。
【０２２５】
ここで、最終探索処理の結果からサブピクセルのサイズで対応点の検出が行われる態様について具体例を挙げて説明する。
【０２２６】
図２２は、本変形例に係る制御部３６Ｂにおいて実現される機能的な構成を示す図である。本変形例に係る情報処理システム１Ｂは、上記一実施形態に係る情報処理システム１Ａと比較して、制御部３６Ａが、機能的な構成である補間演算部３７９Ｂが追加された制御部３６Ｂに変更されるとともに、記憶部３４に格納されるプログラムＰＧａがプログラムＰＧｂに変更され、該変更に伴って、情報処理装置３Ａが情報処理装置３Ｂに変更されたものである。このため、本変形例に係る情報処理システム１Ｂは、上記一実施形態に係る情報処理システム１Ａと、大部分において同様な構成を有する。このため、同様な構成については同じ符号を付して説明を省略し、異なる部分について以下説明する。
【０２２７】
補間演算部３７９Ｂは、対応点決定部３７６によって得られるピクセル単位の基準点Ｓｐ１と対応点との関係と、対応点決定部３７６によって得られる基準点Ｓｐ１の周囲に位置する画素（周辺画素）に係る基準点Ｓｐ１と対応点との関係とを用いた補間演算を行う。この補間演算により、補間演算部３７９Ｂは、基準画像Ｇ１のうちの基準点Ｓｐ１として設定される一画素から該一画素の周辺に位置する周辺画素に至る迄の途中の点（中途点）について、参照画像Ｇ２における対応点を導出する。
【０２２８】
なお、補間演算としては、基準画像Ｇ１のうちの同じＹ座標の連続して列ぶ３画素について決定される視差が単調な減少または単調な増加の傾向を示す場合には、例えば、隣接画素間の中点に係る視差がいわゆる内挿によって求められる演算が採用されれば良い。また、基準画像Ｇ１のうちの同じＹ座標の連続して列ぶ３画素について決定される視差が単調な減少または単調な増加の傾向を示さない場合には、各種フィッティング等が採用されれば良い。
【０２２９】
図２３は、本変形例に係る補間演算方法の一例を説明するための図である。
【０２３０】
ここで、仮に、基準画像Ｇ１のうちの同じＹ座標の連続して列ぶ３点について、最終探索処理によって基準画像Ｇ１と参照画像Ｇ２との間における視差が求められているものとする。具体的には、Ｘ座標がＸａの画素に対して視差Ｖａが求められ、Ｘ座標がＸｂの画素に対して視差Ｖｂが求められ、Ｘ座標がＸｃの画素に対して視差Ｖｃが求められているものとする。
【０２３１】
このような条件では、図２３で示されるように、横軸がＸ座標を示すとともに縦軸が視差を示すグラフに、連続する３点のＸ座標と視差に係るプロットＰＬａ〜ＰＬｃが付される。次に、中央のプロットＰＬｂと、両側のプロットＰＬａ，ＰＬｃのうちの視差がプロットＰＬｂを基準としてより大きく異なるプロット（図２３ではプロットＰＬａ）とを結ぶ直線（一点鎖線）が引かれる。更に、該直線と傾きの正負が逆の直線（一点鎖線）が、残余のプロット（図２３ではプロットＰＬｃ）を通るように引かれる。そして、２本の直線が交叉する点（図２３では、Ｘ座標がＸｅ、視差がＶｅ）が求められる。この点に係るＸ座標がＸｅと視差がＶｅとの組合せに係る情報が、補間演算によって得られる結果に相当する。
【０２３２】
図２４は、情報処理システム１Ｂにおける対応点探索動作に係る動作フローを例示するフローチャートである。本動作フローは、制御部３６ＢがプログラムＰＧｂを読み込んで実行することで実現される。なお、本動作フローは、図１９〜図２１で示された上記一実施形態に係る対応点探索動作に係る動作フローと比較して、図２０のステップＳＴ１９から図２１のステップＳＴ３１に進む迄の間に、ステップＳＴ１９１，ＳＴ１９２が追加されている点で異なり、その他の点については同様なものとなっている。以下、相違点であるステップＳＴ１９１，ＳＴ１９２について説明する。
【０２３３】
ステップＳＴ１９１では、補間演算部３７９Ｂによって、基準画像Ｇ１の同一のＹ座標における３つの連続する画素について３回連続して最終探索処理が実行されたところであるか否かが判定される。ここで、３回連続して最終探索処理が実行されたところであれば、ステップＳＴ１９２に進み、３回連続して最終探索処理が実行されたところでなければ、図２１のステップＳＴ３１に進む。
【０２３４】
ステップＳＴ１９２では、補間演算部３７９Ｂによる補間演算が実行される。該補間演算では、上述したように、３回連続して実行された最終探索処理によって得られる基準画像Ｇ１と参照画像Ｇ２との間における視差に基づいて、サブピクセルのサイズで対応点の検出が行われる。ここでは、該３つの画素のうちの１つの画素に係る視差については、直前のステップＳＴ１９において導出されている。
【０２３５】
なお、ステップＳＴ１９２が終了されると、図２１のステップＳＴ３１に進むが、このとき、ステップＳＴ３１では、ステップＳＴ１９における決定結果、およびステップＳＴ１９２における補間演算の結果に係る情報が、記憶部３４に記憶される。
【０２３６】
次に、最終探索処理以外の探索処理の結果からサブピクセルのサイズで対応点の検出が行われる態様について具体例を挙げて説明する。
【０２３７】
図２２で示されるように、本変形例に係る情報処理システム１Ｃは、上記一実施形態に係る情報処理システム１Ａと比較して、制御部３６Ａが、機能的な構成である補間演算部３７９Ｃが追加された制御部３６Ｃに変更されるとともに、記憶部３４に格納されるプログラムＰＧａがプログラムＰＧｃに変更され、該変更に伴って、情報処理装置３Ａが情報処理装置３Ｃに変更されたものである。このため、本変形例に係る情報処理システム１Ｃは、上記一実施形態に係る情報処理システム１Ａと、大部分において同様な構成を有する。このため、同様な構成については同じ符号を付して説明を省略し、異なる部分について以下説明する。
【０２３８】
補間演算部３７９Ｃは、上述した補間演算部３７９Ｂと同様な構成を有する。但し、補間演算部３７９Ｃでは、補間演算部３７９Ｂと比較して、補間演算に用いられる情報が異なっている。この相違点について、図２５で示される情報処理システム１Ｃにおける対応点探索動作に係る動作フローを示すフローチャートを参照しつつ、説明する。
【０２３９】
なお、本動作フローは、図１９〜図２１で示された上記一実施形態に係る対応点探索動作に係る動作フローと比較して、図２０のステップＳＴ２１から図２１のステップＳＴ３１に進む迄の間に、ステップＳＴ２０１が追加されている点で異なり、その他の点については同様なものとなっている。
【０２４０】
ステップＳＴ２０１では、補間演算部３７９Ｃによる補間演算が実行される。該補間演算では、基準画像Ｇ１のうちの同じＹ座標の連続して列ぶ３つの画素に対して決定された視差に基づいて、サブピクセルのサイズで対応点の検出が行われる。ここでは、該３つの画素のうちの１つの画素に係る視差については、直前のステップＳＴ２１において導出されている。
【０２４１】
なお、ステップＳＴ２０１が終了されると、図２１のステップＳＴ３１に進むが、このとき、ステップＳＴ３１では、ステップＳＴ２１における決定結果、およびステップＳＴ２０１における補間演算の結果に係る情報が、記憶部３４に記憶される。
【０２４２】
◎また、上記一実施形態では、制御部３６Ａにおいて、画像間の対応点の情報を用いた三角測量の原理に基づき、被写体ＯＢの３次元位置が算出され、該被写体ＯＢの３次元位置に基づく被写体ＯＢの３次元画像が表示部３２において可視的に出力されるが、この表示の態様としては、種々のバリエーションが考えられる。
【０２４３】
例えば、探索精度に応じた誤差の範囲が付加されている基準点Ｓｐ１と対応点との関係から求められた被写体ＯＢの３次元位置については、誤差の範囲が付加されていない基準点Ｓｐ１と対応点との関係から求められた被写体ＯＢの３次元位置と区別可能な態様で表示される態様が考えられる。この区別可能な態様としては、例えば、色の違いや輪郭の強調等によって実現される。これにより、ユーザーにとって、探索精度が高い部分と探索精度が低い部分との区別が容易となる。
【０２４４】
また、例えば、車載カメラによって得られるステレオ画像を用いて障害物の接近を検知して追突の危険性がある障害物を視認可能な状態で表示するような構成では、探索精度に応じた誤差の範囲が付加されている基準点Ｓｐ１と対応点との関係から求められた被写体ＯＢの３次元位置については、障害物が接近しているか否かを判定するための閾値を厳し目に設定するような態様が考えられる。
【０２４５】
具体的には、例えば、障害物が２０ｍ以内にあれば、追突の危険性があると判定される場合に、閾値がデフォルトである２０ｍから３０ｍに変更されるような態様が考えられる。このような態様により、障害物の接近に対する安全性が高まる。
【０２４６】
また、例えば、３次元位置が閾値未満の距離にある２点については１つの物体をとらえた画像領域に含まれるものと判定されるクラスタリングが実行される際に、閾値が、探索精度に応じた誤差の範囲に応じて変更されるような態様が考えられる。
【０２４７】
具体的には、例えば、隣接する２点の３次元位置が、１０ｃｍ以内にあれば、１つの物体を構成するものと判定される場合に、クラスタリングに係る閾値が±１０ｃｍに設定される。これに対して、探索精度に応じた誤差の範囲に応じて、該クラスタリングに係る閾値が、±２０ｃｍに変更されるような態様が考えられる。
【０２４８】
◎また、上記一実施形態では、評価値ＣＴＲが算出される際に、評価領域に係る画素値の平均値が基準値として算出されたが、これに限られない。例えば、基準値が、各画素に隣接する４方向または８方向の画素の平均値等であっても良い。
【０２４９】
◎また、上記一実施形態では、基準画像Ｇ１および参照画像Ｇ２を対象として、１本の水平ラインおきおよび１本の垂直ラインおきに画素の間引きが行われることで、段階的に５０％ずつ縮小された第１〜３縮小基準画像Ｇ１１〜Ｇ１３および第１〜３縮小参照画像Ｇ２１〜Ｇ２３が生成されたが、これに限られない。
【０２５０】
例えば、段階的な縮小率は５０％ずつの一定である必要性はない。但し、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とが同一の解像度であり、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２とが同一の解像度であり、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３とが同一の解像度である必要性がある。
【０２５１】
◎また、上記一実施形態では、単純に画素値が用いられて、コントラストに係る評価値が算出されたが、これに限られない。例えば、ステレオ画像が、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）等を用いたカラー画像であれば、色毎に、画素値が用いられて、コントラストに係る評価値が算出され、該評価値を用いた判定が行われても良い。
【０２５２】
◎また、上記一実施形態では、２つの画像（基準画像Ｇ１と参照画像Ｇ２）の間における対応点の探索について説明したが、これに限られない。本発明は、２以上の画像の間における対応点の探索に適用することができる。
【０２５３】
◎また、上記一実施形態では、基準画像Ｇ１に係る画像（具体的には、基準画像Ｇ１、第１縮小基準画像Ｇ１１、および第２縮小基準画像Ｇ１２）に対して評価領域が設定され、該評価領域について評価値が算出されたが、これに限られない。例えば、参照画像Ｇ２に係る画像（具体的には、参照画像Ｇ２、第１縮小参照画像Ｇ２１、および第２縮小参照画像Ｇ２２）に対して評価領域が設定され、該評価領域について評価値が算出されても良い。このとき、評価領域が、例えば、処理対象点Ｐｐ２，Ｐｐ２１，Ｐｐ２２が中心点として包含されるように設定される態様等が考えられる。
【０２５４】
◎なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
【符号の説明】
【０２５５】
１Ａ，１Ｂ，１Ｃ 情報処理システム
２ ステレオカメラ
３Ａ，３Ｂ，３Ｃ 情報処理装置
３４ 記憶部
３６Ａ，３６Ｂ，３６Ｃ 制御部
３６１ 画像取得部
３６２ 解像度変換部
３６３ 探索基準点設定部
３６４ 下層画像指定部
３６５ 初期視差設定部
３６６ 初期ウインドウ設定部
３６７ 下層対応点探索部
３６８ 次層画像指定部
３６９ 評価領域設定部
３７０ 評価値算出部
３７１ 探索禁止部
３７２ 次層視差設定部
３７３ 次層ウインドウ設定部
３７４ 次層対応点探索部
３７５ 残層判定部
３７６ 対応点決定部
３７７ 記憶処理部
３７８ 残画素判定部
３７９Ｂ，３７９Ｃ 補間演算部
Ａｅ１，Ａｅ１１，Ａｅ１２ 評価領域
Ｇ１ 基準画像
Ｇ１１〜Ｇ１３ 第１〜３縮小基準画像
Ｇ２ 参照画像
Ｇ２１〜Ｇ２３ 第１〜３縮小参照画像
ＰＧａ，ＰＧｂ，ＰＧｃ プログラム
Ｐｐ２，Ｐｐ２１，Ｐｐ２２，Ｐｐ２３ 処理対象点
Ｓｐ１，Ｓｐ１１，Ｓｐ１２，Ｓｐ１３ 基準点
Ｗ１，Ｗ１１，Ｗ１２，Ｗ１３ 基準領域
Ｗ２，Ｗ２１，Ｗ２２，Ｗ２３ 比較領域
【技術分野】
【０００１】
本発明は、２以上の画像の間で対応点を探索する対応点探索技術に関する。
【背景技術】
【０００２】
従来、ステレオカメラ等によって同一の被写体が異なる視点から撮影されることで得られる２つの画像の間で、相互に画素が対応付けられる対応点探索技術が知られている。このような対応点探索技術では、一般に２つの画像の間における２次元領域の相関を用いたエリアベースの対応点の探索処理が行われる。
【０００３】
このエリアベースの対応点の探索処理では次のような処理が行われる。一方の画像が基準とされ、該一方の画像に対して基準点を重心位置とするウインドウが設定されるとともに、他方の画像に対して同サイズのウインドウが設定される。そして、２つのウインドウに係る画像領域の間における相関に基づき、基準点に対応する他方の画像の対応点が求められる。このような処理が、一方の画像の全画素が順次に基準点とされつつ実施される。
【０００４】
但し、このエリアベースの対応点の探索処理では、２つのウインドウ内の画像領域における類似性に応じて対応点の探索が行われるため、コントラストが低い画像領域については、対応点の探索を行うことが非常に難しい。このコントラストが低い画像領域としては、一面が白色の壁や一色の塗装が施された自動車のボディ等がとらえられた画像領域等が挙げられる。
【０００５】
そこで、ウインドウ内のエッジの有無に応じてコントラストが低い画像領域（低コントラスト領域）であるか否かが判定され、低コントラスト領域であれば、対応点の探索処理の対象から除外される技術が提案されている（例えば、特許文献１等）。
【０００６】
また、各基準点について２つの画像の間における対応付けの結果に係る信頼度が算出され、該信頼度が低い基準点については、該基準点の周囲の他の画素が基準点とされて求められた対応付けの結果を用いた補間処理によって対応点が決定される技術が提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平７−１２０２５５号公報
【特許文献２】特開２００１−１４８０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１の技術では、対応点の探索処理の対象から除外される領域については、２つの画像の間における対応付けの結果に欠落が生じる。このため、例えば、該対応付けの結果から生成される３次元の画像データが扱い難いものとなる。このような不具合は、対応点の探索処理の対象から除外される領域が多い場合には顕著となる。
【０００９】
また、上記特許文献２の技術では、信頼度が低い基準点については、演算によって求められる当初の対応付けの結果が使用されない。このため、使用されない対応付けの結果を求める演算に要する時間が無駄になってしまう。
【００１０】
本発明は、上記課題に鑑みてなされたものであり、２以上の画像について高速で且つ極力欠落のない対応点の探索が可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、第１の態様に係る対応点探索装置は、第１画像に対して解像度を低下させた関係にある第１低解像度画像を生成するとともに、第２画像に対して解像度を低下させた関係にある第２低解像度画像を生成する生成手段と、前記第１低解像度画像に対して第１基準点を設定するとともに、前記第２低解像度画像を対象として前記第１基準点に対応する第１対応点を探索する第１探索処理を行う第１探索手段とを備える。また、該対応点探索装置は、前記第１画像に対して前記第１基準点に対応する第２基準点を設定するとともに、前記第１探索処理による第１探索結果を利用して、前記第２画像を対象として前記第２基準点に対応する第２対応点を探索する第２探索処理を行う第２探索手段と、前記第１画像のうちの前記第２基準点を包含する領域、および前記第２画像のうちの前記第２基準点に対応する点を包含する領域の少なくとも何れか一方に相当する評価領域について、画素値の変動に係る評価値を算出する算出手段とを備える。更に、該対応点探索装置は、前記評価値と閾値との比較結果に応じて、前記第２探索処理の実行を禁止する禁止手段と、前記禁止手段によって前記第２探索処理の実行が禁止される場合に、前記第１探索結果に基づいて、前記第２基準点と前記第２対応点との関係を決定する決定手段とを備える。
【００１２】
第２の態様に係る対応点探索装置は、第１の態様に係る対応点探索装置であって、前記禁止手段が、前記評価値が前記閾値未満である場合に、前記第２探索処理の実行を禁止する。
【００１３】
第３の態様に係る対応点探索装置は、第１または第２の態様に係る対応点探索装置であって、前記評価値が、前記評価領域における画素値のコントラストに係る評価値を含む。
【００１４】
第４の態様に係る対応点探索装置は、第３の態様に係る対応点探索装置であって、前記算出手段が、前記評価領域に含まれる各画素に係る画素値と基準値との差分の総和を前記評価値として算出する。
【００１５】
第５の態様に係る対応点探索装置は、第４の態様に係る対応点探索装置であって、前記算出手段が、前記評価領域に係る画素値の平均値を前記基準値として算出する。
【００１６】
第６の態様に係る対応点探索装置は、第３の態様に係る対応点探索装置であって、前記算出手段が、前記評価領域を対象とした被写体の輪郭を抽出する処理を行い、該評価領域のうちの前記輪郭が占める画素数を前記評価値として算出する。
【００１７】
第７の態様に係る対応点探索装置は、第１または第２の態様に係る対応点探索装置であって、前記評価値が、前記評価領域における画素値のパターンの分布に係る評価値を含む。
【００１８】
第８の態様に係る対応点探索装置は、第７の態様に係る対応点探索装置であって、前記算出手段が、前記評価領域を対象としたフーリエ変換を行うことで、周波数成分の分布を導出し、該周波数成分の分布に基づいて、前記評価値を算出する。
【００１９】
第９の態様に係る対応点探索装置は、第１から第８の何れか１つの態様に係る対応点探索装置であって、前記決定手段が、前記禁止手段によって前記第２探索処理の実行が禁止される場合に、前記第１低解像度画像に係る解像度に応じた誤差の範囲を加えて、前記第２基準点と前記第２対応点との関係を決定する。
【００２０】
第１０の態様に係る対応点探索装置は、第１から第８の何れか１つの態様に係る対応点探索装置であって、前記決定手段が、前記禁止手段によって前記第２探索処理の実行が禁止される場合には、前記第１探索結果と前記第１低解像度画像に係る解像度に応じた誤差の範囲とに基づいて、前記第１画像に対する前記第２基準点の位置と前記第２画像に対する前記第２対応点の位置との間におけるずれ量が、前記誤差の範囲内で最も大きくなるように、前記第２基準点と前記第２対応点との関係を決定する。
【００２１】
第１１の態様に係る対応点探索装置は、第１から第８の何れか１つの態様に係る対応点探索装置であって、前記決定手段が、前記禁止手段によって前記第２探索処理の実行が禁止される場合には、前記第１探索結果と前記第１低解像度画像に係る解像度に応じた誤差の範囲とに基づいて、前記第１画像に対する前記第２基準点の位置と前記第２画像に対する前記第２対応点の位置との間におけるずれ量が、前記誤差の範囲内で最も小さくなるように、前記第２基準点と前記第２対応点との関係を決定する。
【００２２】
第１２の態様に係る対応点探索装置は、第１から第１１の何れか１つの態様に係る対応点探索装置であって、前記第１および第２探索処理のうちの少なくとも一方の処理が、位相限定相関法を用いた処理を含む。
【００２３】
第１３の態様に係る対応点探索装置は、第１から第１２の何れか１つの態様に係る対応点探索装置であって、前記決定手段が、前記禁止手段によって前記第２探索処理の実行が禁止されない場合には、前記第２探索処理結果に応じて前記第２基準点と前記第２対応点との関係を決定し、更に、前記第１画像に含まれる各画素に対して、前記第１探索処理結果に基づいて前記第２基準点と前記第２対応点との関係を決定するか、または前記第２探索処理結果に基づいて前記第２基準点と前記第２対応点との関係を決定する。
【００２４】
第１４の態様に係る対応点探索装置は、第１３の態様に係る対応点探索装置であって、前記第１画像のうちの一画素から該一画素の周辺に位置する周辺画素に至る迄の中途点について、前記決定手段によって得られる前記一画素に係る前記第２基準点と前記第２対応点との関係と、前記決定手段によって得られる前記周辺画素に係る前記第２基準点と前記第２対応点との関係とを用いた補間演算により、前記第２画像における対応点を導出する補間演算手段を更に備える。
【００２５】
第１５の態様に係る対応点探索方法は、第１画像に対して解像度を低下させた関係にある第１低解像度画像を生成するとともに、第２画像に対して解像度を低下させた関係にある第２低解像度画像を生成する生成ステップと、前記第１低解像度画像に対して第１基準点を設定するとともに、前記第２低解像度画像を対象として前記第１基準点に対応する第１対応点を探索する第１探索処理を行う第１探索ステップとを備える。また、該対応点探索方法は、前記第１画像のうちの前記第１基準点に対応する第２基準点を包含する領域、および前記第２画像のうちの前記第２基準点に対応する点を包含する領域の少なくとも何れか一方に相当する評価領域について、画素値の変動に係る評価値を算出する算出ステップと、前記第１探索ステップによる第１探索結果を利用して前記第２画像を対象として前記第２基準点に対応する第２対応点を探索する第２探索処理の実行を、前記評価値と閾値との比較結果に応じて禁止する禁止ステップとを備える。更に、該対応点探索方法は、前記禁止ステップによって前記第２探索処理の実行が禁止される場合に、前記第１探索結果に基づいて、前記第２基準点と前記第２対応点との関係を決定する決定ステップを備える。
【００２６】
第１６の態様に係るプログラムは、対応点探索装置に含まれる制御部において実行されることにより、前記対応点探索装置を、第１から第１４の何れか１つの態様に係る対応点探索装置として機能させるプログラムである。
【発明の効果】
【００２７】
第１から第１４の何れの態様に係る対応点探索装置によっても、画素値の変動に係る評価値に基づいて、より詳細な対応点の探索処理の実行が禁止され、相対的に低い解像度の複数の画像を対象とした探索処理の結果に基づいて、複数の画像の間における基準点と対応点との関係が決定されるため、２以上の画像について高速で且つ極力欠落のない対応点の探索が可能となる。
【００２８】
第３から第６の何れの態様に係る対応点探索装置によっても、画像におけるコントラストから画素値の変動が少なく且つ適正な対応点の探索処理が実行不可能であると予測される画像領域については、より詳細な対応点の探索処理の実行が禁止されるため、２以上の画像に係る対応点の探索が高速化される。
【００２９】
第７および第８の何れの態様に係る対応点探索装置によっても、画素値のパターンの分布から画素値の変動が少なく且つ適正な対応点の探索処理が実行不可能であると予測される画像領域については、より詳細な対応点の探索処理の実行が禁止されるため、２以上の画像に係る対応点の探索が高速化される。
【００３０】
第９の態様に係る対応点探索装置によれば、探索精度に応じた誤差の範囲を加味した対応点探索の結果を得ることができる。
【００３１】
第１０の態様に係る対応点探索装置によれば、２以上の画像の間における視差が極力大きめに認識される方が好ましい用途への適用が可能となる。
【００３２】
第１１の態様に係る対応点探索装置によれば、２以上の画像の間における視差が極力小さめに認識される方が好ましい用途への適用が可能となる。
【００３３】
第１３の態様に係る対応点探索装置によれば、第１画像の各画素について、第２画像における対応点を高速で且つ極力欠落なく探索することができる。
【００３４】
第１４の態様に係る対応点探索装置によれば、対応点の探索結果に係る分解能の向上を図ることができる。
【００３５】
第１５の態様に係る対応点探索方法および第１６の態様に係るプログラムの何れによっても、画素値の変動に係る評価値に基づいて、より詳細な対応点の探索処理の実行が禁止され、相対的に低い解像度の複数の画像を対象とした探索処理の結果に基づいて、複数の画像の間における基準点と対応点との関係が決定されるため、２以上の画像について高速で且つ極力欠落のない対応点の探索が可能となる。
【図面の簡単な説明】
【００３６】
【図１】一実施形態および変形例に係る情報処理システムの概略構成を示す図である。
【図２】一実施形態および変形例に係る情報処理システムの要部構成を示すブロック図である。
【図３】一実施形態に係る制御部において実現される機能的な構成を示す図である。
【図４】基準画像および参照画像を例示する図である。
【図５】第１縮小基準画像および第１縮小参照画像を例示する模式図である。
【図６】第２縮小基準画像および第２縮小参照画像を例示する模式図である。
【図７】第３縮小基準画像および第３縮小参照画像を例示する模式図である。
【図８】基準画像に対する探索基準点の設定態様を模式的に示す図である。
【図９】３層目に係る基準点および処理対象点の設定例を示す模式図である。
【図１０】３層目に係る基準領域および比較領域の設定例を示す模式図である。
【図１１】２層目に係る評価領域および基準領域の設定例を示す模式図である。
【図１２】１層目に係る評価領域および基準領域の設定例を示す模式図である。
【図１３】第１画像に対する評価領域および基準領域の設定例を示す模式図である。
【図１４】２層目に係る比較領域の設定例を示す模式図である。
【図１５】１層目に係る比較領域の設定例を示す模式図である。
【図１６】参照画像に対する比較領域の設定例を示す模式図である。
【図１７】ＰＯＣ法を用いた対応点の探索処理を具体的に説明するための図である。
【図１８】基準領域と比較領域との相関を示すＰＯＣ値の分布を例示する図である。
【図１９】一実施形態に係る対応点探索動作の流れを示すフローチャートである。
【図２０】一実施形態に係る対応点探索動作の流れを示すフローチャートである。
【図２１】一実施形態に係る対応点探索動作の流れを示すフローチャートである。
【図２２】変形例に係る制御部において実現される機能的な構成を示す図である。
【図２３】変形例に係る補間演算方法の一例を説明するための図である。
【図２４】変形例に係る対応点探索動作の流れを示すフローチャートである。
【図２５】変形例に係る対応点探索動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００３７】
以下、本発明の一実施形態を図面に基づいて説明する。
【００３８】
＜(1)情報処理システムの構成＞
図１は、本発明の一実施形態に係る情報処理システム１Ａの概略構成を示す図であり、図２は、情報処理システム１Ａの要部構成を示すブロック図である。
【００３９】
情報処理システム１Ａは、２眼のステレオカメラ２と、ステレオカメラ２に対してデータ伝送可能に接続する情報処理装置３Ａとを備える。
【００４０】
２眼のステレオカメラ２には、それぞれ撮像素子を有する２つの撮像系２１，２２が設けられる。撮像系２１，２２は、所定方向に沿って離隔配置され、カメラ正面の被写体ＯＢを、同じタイミングで異なる視点から撮像するように構成される。撮像系２１，２２によって同じタイミングで撮像される２つの画像は、いわゆるステレオ画像であり、データ線ＣＢを介して情報処理装置３Ａに送信される。
【００４１】
なお、ステレオ画像を構成する２画像のうち、撮像系２１の撮像によって取得される画像を、適宜「第１撮像画像」Ｇ１と称し、撮像系２２の撮像によって取得される画像を、適宜「第２撮像画像」Ｇ２と称する。従って、２眼のステレオカメラ２によって、同一の被写体ＯＢがそれぞれとらえられた第１および第２撮像画像Ｇ１，Ｇ２が取得される。
【００４２】
そして、本実施形態では、説明の複雑化を避けるために、撮像系２１によって取得される第１撮像画像Ｇ１において被写体のある部分をとらえた画素の座標と、撮像系２２によって取得される参照画像Ｇ２において被写体の同一部分をとらえた画素の座標とが、Ｙ方向には同一で且つＸ方向に異なるように撮像系２１と撮像系２２とが設置されているものとして説明する。
【００４３】
情報処理装置３Ａは、例えばパーソナルコンピュータ（パソコン）で構成され、マウスやキーボードを含む操作部３１と、例えば液晶ディスプレイ等で構成される表示部３２と、ステレオカメラ２からのデータを受信するインターフェース(Ｉ／Ｆ)部３３とを備える。また、情報処理装置３Ａは、記憶部３４と入出力部３５と制御部３６Ａとを有する。
【００４４】
記憶部３４は、例えばハードディスク等で構成され、後述する対応点探索動作を行うためのプログラムＰＧａ等が格納される。
【００４５】
入出力部３５は、例えばディスクドライブを備えて構成され、光ディスク等の記憶媒体９を受け付け、制御部３６Ａとの間でデータの授受を行う。
【００４６】
制御部３６Ａは、プロセッサーとして働くＣＰＵ３６ａ、および情報を一時的に記憶するメモリ３６ｂを有し、情報処理装置３Ａの各部を統括的に制御する。制御部３６Ａでは、記憶部３４内のプログラムＰＧａが読み込まれて実行されることで、各種機能や情報処理等が実現される。
【００４７】
制御部３６Ａのメモリ３６ｂには、記憶媒体９に記憶されているプログラムデータを入出力部３５を介して格納させることができる。これにより、この格納したプログラムを情報処理装置３Ａの動作に反映させることができる。
【００４８】
また、制御部３６Ａは、ステレオカメラ２で取得されたステレオ画像を構成する２画像（具体的には、第１および第２撮像画像Ｇ１，Ｇ２）の間において被写体の同じ部分をとらえた各対応点を探索する一連の動作（対応点探索動作）を行う。この対応点探索動作については後述する。更に、制御部３６Ａは、画像間の対応点の情報を用いた三角測量の原理に基づき、被写体ＯＢの３次元位置を算出する。
【００４９】
表示部３２では、制御部３６Ａで算出された被写体ＯＢの３次元位置に基づく被写体ＯＢの３次元画像が可視的に出力される。
【００５０】
なお、本実施形態では、説明を簡素化するために、ステレオカメラ２の収差は良好に補正されており、且つ撮像系２１，２２は、略平行（好ましくは完全に平行）に設定される。つまり、撮像系２１，２２の光軸が略平行（好ましくは完全に平行）に設定され、第１および第２撮像画像Ｇ１，Ｇ２で捉えられた被写体は、第１および第２撮像画像Ｇ１，Ｇ２の外縁に対して略同一の角度関係（好ましくは完全に同一の角度関係）を有する。また、実際のステレオカメラ２の構成が、このような条件にない場合は、画像処理によって同等の条件下で撮像されたステレオ画像に変換されても良い。
【００５１】
＜(2)対応点探索動作＞
本実施形態に係る対応点探索動作では、まず、ステレオ画像を構成する第１撮像画像Ｇ１と第２撮像画像Ｇ２との組をベースとして、解像度が複数段階に低減された画像の組が生成される。次に、第１撮像画像Ｇ１の各画素について、解像度が低い画像の組から順に被写体の同じ部分をとらえた対応点の探索が行われる。このとき、解像度が相対的に１段階低い画像の組を対象とした対応点の探索結果が、解像度が相対的に１段階高い画像の組を対象とした次段の対応点の探索に利用される。但し、無駄な対応点の探索が行われないように、次段の対応点の探索が行われる前に、対応点の探索に適した画像であるか否かが評価され、その評価結果に応じて次段の対応点の探索が禁止されるとともに、前段の対応点の探索結果に基づいて対応点が決定される。
【００５２】
以下、このような対応点探索動作を実現するための機能的な構成、対応点の探索処理に係る基本原理、および対応点探索動作に係る動作フローについて順次に説明する。
【００５３】
＜(2-1)対応点探索動作に係る機能的な構成＞
図３は、対応点探索動作が実行される際に制御部３６Ａにおいて実現される機能的な構成を示す図である。制御部３６Ａでは、例えば、記憶部３４に格納されるプログラムＰＧａが読み込まれて実行されることで、図３で示されるような機能的な構成が実現される。
【００５４】
図３で示されるように、制御部３６Ａは、機能的な構成として、画像取得部３６１、解像度変換部３６２、探索基準点設定部３６３、下層画像指定部３６４、初期視差設定部３６５、初期ウインドウ設定部３６６、下層対応点探索部３６７、次層画像指定部３６８、評価領域設定部３６９、評価値算出部３７０、探索禁止部３７１、次層視差設定部３７２、次層ウインドウ設定部３７３、次層対応点探索部３７４、残層判定部３７５、対応点決定部３７６、記憶処理部３７７、および残画素判定部３７８を有する。
【００５５】
以下、制御部３６Ａにおいて実現される機能的な各構成について説明する。
【００５６】
＜(2-1-1)画像取得部＞
画像取得部３６１は、記憶部３４から同一の被写体を同じタイミングでとらえた第１撮像画像Ｇ１と第２撮像画像Ｇ２とを取得する。
【００５７】
図４は、第１および第２撮像画像Ｇ１，Ｇ２の形態をそれぞれ例示する模式図である。第１および第２撮像画像Ｇ１，Ｇ２では、多数の画素がマトリックス状に配列される。具合的には、縦方向（Ｙ方向）に第１所定数（ここでは、４８０個）の画素が配列されるとともに、横方向（Ｘ方向）に第２所定数（ここでは、６４０個）の画素が配列される。
【００５８】
なお、第１および第２撮像画像Ｇ１，Ｇ２では、左上の位置が原点とされ、第１および第２撮像画像Ｇ１，Ｇ２を構成する各画素の横方向における位置がＸ座標で示され、縦方向における位置がＹ座標で示される。つまり、第１および第２撮像画像Ｇ１，Ｇ２では、各画素の位置がＸＹの座標（ｘ，ｙ）で示され、例えば、右方向（Ｘ方向）に１画素ずれるとＸ座標の値が１つ増加し、下方向（Ｙ方向）に１画素ずれるとＹ座標の値が１つ増加する。
【００５９】
また、対応点探索動作では、第１撮像画像Ｇ１が基準となる画像（基準画像）となり、第２撮像画像Ｇ２が参照される画像（参照画像）となる。以下では、第１撮像画像Ｇ１を基準画像Ｇ１と称し、第２撮像画像Ｇ２を参照画像Ｇ２と称する。なお、画像取得部３６１では、厳密には、基準画像Ｇ１および参照画像Ｇ２を示すデータが取得されるが、本明細書では、基準画像Ｇ１を示すデータおよび基準画像Ｇ１そのものを基準画像Ｇ１と総称し、参照画像Ｇ２を示すデータおよび参照画像Ｇ２そのものを参照画像Ｇ２と総称する。
【００６０】
＜(2-1-2)解像度変換部＞
解像度変換部３６２は、基準画像Ｇ１をベースとして、該基準画像Ｇ１に対して解像度を段階的に低下させた関係にある画像（低解像度基準画像）を生成するとともに、参照画像Ｇ２をベースとして、該参照画像Ｇ２に対して解像度を段階的に低下させた関係にある画像（低解像度参照画像）を生成する。
【００６１】
詳細には、解像度変換部３６２では、基準画像Ｇ１を構成する複数の縦方向の画素の列（垂直ライン）および複数の横方向の画素の行（水平ライン）のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、縮小された低解像度の基準画像（第１縮小基準画像）Ｇ１１（図５）が生成される。第１縮小基準画像Ｇ１１では、縦方向に３２０個および横方向に２４０個の画素がマトリックス状に配列される。
【００６２】
そして、解像度変換部３６２では、第１縮小基準画像Ｇ１１のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の基準画像（第２縮小基準画像）Ｇ１２（図６）が生成される。第２縮小基準画像Ｇ１２では、縦方向に１６０個および横方向に１２０個の画素がマトリックス状に配列される。
【００６３】
更に、解像度変換部３６２では、第２縮小基準画像Ｇ１２のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の基準画像（第３縮小基準画像）Ｇ１３（図７）が生成される。第３縮小基準画像Ｇ１３では、縦方向に８０個および横方向に６０個の画素がマトリックス状に配列される。
【００６４】
また、解像度変換部３６２では、参照画像Ｇ２を構成する複数の垂直ラインおよび複数の水平ラインのうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、縮小された低解像度の参照画像（第１縮小参照画像）Ｇ２１（図５）が生成される。第１縮小参照画像Ｇ２１では、縦方向に３２０個および横方向に２４０個の画素がマトリックス状に配列される。
【００６５】
そして、解像度変換部３６２では、第１縮小参照画像Ｇ２１のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の参照画像（第２縮小参照画像）Ｇ２２（図６）が生成される。第２縮小参照画像Ｇ２２では、縦方向に１６０個および横方向に１２０個の画素がマトリックス状に配列される。
【００６６】
更に、解像度変換部３６２では、第２縮小参照画像Ｇ２２のうち、１列おきの垂直画素ラインおよび１行おきの水平ラインがそれぞれ間引かれることで、更に縮小された低解像度の参照画像（第３縮小参照画像）Ｇ２３（図７）が生成される。第３縮小参照画像Ｇ２３では、縦方向に８０個および横方向に６０個の画素がマトリックス状に配列される。
【００６７】
このように、解像度変換部３６２によって、基準画像Ｇ１と参照画像Ｇ２の組が基準とされ、１段階解像度が低減された第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が、１層目の低解像度の画像の組として生成される。また、２段階解像度が低減された第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が、２層目の低解像度の画像の組として形成される。更に、３段階解像度が低減された第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との組が、３層目（最下層）の低解像度の画像の組として形成される。
【００６８】
＜(2-1-3)探索基準点設定部＞
探索基準点設定部３６３は、基準画像Ｇ１に対して、対応点探索の基準となる点（基準点）Ｓｐ１（図８）を設定する。
【００６９】
具体的には、探索基準点設定部３６３によって、まず、基準画像Ｇ１のうちの左上の画素が基準点Ｓｐ１として設定される。そして、基準点Ｓｐ１に対して参照画像Ｇ２から対応点が検出される度に、新たな基準点Ｓｐ１が設定される。詳細には、基準画像Ｇ１に対して、図８の矢印で示されるように、基準点Ｓｐ１が、上方向（＋Ｙ方向）から順に、左から右方向（Ｘ方向）に沿って所定画素（ここでは、１画素）ずつずらされながら時間順次に設定され、各基準点Ｓｐ１に対応する対応点が、参照画像Ｇ２上で検出される。
【００７０】
換言すれば、基準画像Ｇ１については、−Ｙ方向から＋Ｙ方向に向けて並んだＸ方向に平行な各水平ラインに沿って、基準点Ｓｐ１が時間順次に設定される。そして、Ｘ方向に平行な１つの水平ラインに沿った基準点Ｓｐ１の設定が完了すると、１画素分＋Ｙ方向に位置するＸ方向に平行な次の水平ラインに沿って基準点Ｓｐ１が時間順次に設定される。
【００７１】
＜(2-1-4)下層画像指定部＞
下層画像指定部３６４は、最下層の低解像度の画像の組（具体的には、第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３）を、処理対象となる画像の組として指定する。
【００７２】
＜(2-1-5)初期視差設定部＞
初期視差設定部３６５は、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間における対応点の探索の基準となる所定の初期視差を仮に設定する。所定の初期視差としては、例えば、ゼロ等に設定される。
【００７３】
そして、初期視差設定部３６５は、図９で示されるように、探索基準点設定部３６３によって設定された基準点Ｓｐ１に対応する点（基準点）Ｓｐ１３を第３縮小基準画像Ｇ１３に対して設定するとともに、第３縮小参照画像Ｇ２３に対して、演算処理の対象となる点（処理対象点）Ｐｐ２３を設定する。ここでは、第３縮小基準画像Ｇ１３における基準点Ｓｐ１３の位置と、第３縮小参照画像Ｇ２３における処理対象点Ｐｐ２３の位置との間におけるＸ座標のずれ量が、所定の初期視差に相当する。
【００７４】
＜(2-1-6)初期ウインドウ設定部＞
初期ウインドウ設定部３６６は、図１０で示されるように、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３を中心として包含すウインドウ（基準領域）Ｗ１３を設定するとともに、第３縮小参照画像Ｇ２３に対して処理対象点Ｐｐ２３を中心として包含するウインドウ（比較領域）Ｗ２３を設定する。なお、基準領域Ｗ１３および比較領域Ｗ２３は、同一サイズの正方形の領域あり、例えば、縦方向および横方向にそれぞれ１７画素が配列されて構成される。
【００７５】
＜(2-1-7)下層対応点探索部＞
下層対応点探索部３６７は、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索する。この下層対応点探索部３６７では、後述する位相限定相関法（ＰＯＣ法）を用いて得られる基準領域Ｗ１３と比較領域Ｗ２３との相関に基づいて、対応点の探索が行われる。
【００７６】
つまり、本実施形態では、初期視差設定部３６５、初期ウインドウ設定部３６６、および下層対応点探索部３６７によって、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３が設定されるとともに、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索する処理（初期探索処理）が行われる。
【００７７】
なお、下層対応点探索部３６７による探索結果を示す情報は、適宜、次層視差設定部３７２または対応点決定部３７６に対して出力される。
【００７８】
＜(2-1-8)次層画像指定部＞
次層画像指定部３６８は、直前に対応点の探索処理の対象となった低解像度の画像の組よりも、解像度が１段階高い画像の組を、処理対象となる画像の組として指定する。
【００７９】
例えば、直前に第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間で対応点の探索処理が行われていれば、次層画像指定部３６８によって、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２とが指定される。また、直前に第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との間で対応点の探索処理が行われていれば、次層画像指定部３６８によって、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とが指定される。更に、直前に第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との間で対応点の探索処理が行われていれば、次層画像指定部３６８によって、基準画像Ｇ１と参照画像Ｇ２とが指定される。
【００８０】
＜(2-1-9)評価領域設定部＞
評価領域設定部３６９は、次層画像指定部３６８によって指定された画像の組のうち、基準画像Ｇ１に係る画像に対して評価領域を設定する。
【００８１】
例えば、次層画像指定部３６８によって２層目に係る第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２３とが指定されていれば、図１１で示されるように、評価領域設定部３６９によって、第２縮小基準画像Ｇ１２のうちの基準点Ｓｐ１に対応する基準点Ｓｐ１２が設定される。そして、基準点Ｓｐ１２を中心点として包含する評価領域Ａｅ１２が第２縮小基準画像Ｇ１２に対して設定される。
【００８２】
また、次層画像指定部３６８によって１層目に係る第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とが指定されていれば、図１２で示されるように、評価領域設定部３６９によって、第１縮小基準画像Ｇ１１のうちの基準点Ｓｐ１に対応する基準点Ｓｐ１１が設定される。そして、基準点Ｓｐ１１を中心点として包含する評価領域Ａｅ１１が第１縮小基準画像Ｇ１１に対して設定される。
【００８３】
更に、次層画像指定部３６８によって基準画像Ｇ１と参照画像Ｇ２とが指定されていれば、図１３で示されるように、評価領域設定部３６９によって、基準画像Ｇ１のうちの基準点Ｓｐ１を中心点として包含する評価領域Ａｅ１が基準画像Ｇ１に対して設定される。
【００８４】
なお、評価領域Ａｅ１，Ａｅ１１，Ａｅ１２は、同一サイズの正方形の領域あり、例えば、縦方向および横方向にそれぞれ１７画素が配列されて構成される。
【００８５】
＜(2-1-10)評価値算出部＞
評価値算出部３７０は、評価領域設定部３６９によって設定された評価領域に含まれる画像領域について、画素値のコントラストに係る評価値を算出する。
【００８６】
具体的には、下記数１で示されるように、評価領域に含まれる画像領域を構成する各画素に係る画素値の平均値が基準値として算出されるとともに、評価領域に含まれる画像領域を構成する各画素に係る画素値と基準値との差分がそれぞれ算出され、該差分の総和が評価値ＣＴＲとして算出される。
【００８７】
【数１】
【００８８】
上記数１では、評価領域を構成するＸ方向の画素数およびＹ方向の画素数がそれぞれｗ（ここでは、１７個）で示され、該評価領域の左上の画素が原点とされて該評価領域に含まれる各画素のＸ座標が変数ｉで示されているとともにＹ座標が変数ｊで示されている。
【００８９】
なお、評価値算出部３７０で算出される評価値ＣＴＲを示す情報は、探索禁止部３７１に対して出力される。
【００９０】
＜(2-1-11)探索禁止部＞
探索禁止部３７１は、評価値算出部３７０によって算出される評価値ＣＴＲと、閾値Ｔｈとの比較結果に応じて、次層対応点探索部３７４による探索処理の実行を禁止する。具体的には、評価値ＣＴＲが、閾値Ｔｈ未満である場合に、次層対応点探索部３７４による探索処理の実行が禁止される。
【００９１】
なお、次層対応点探索部３７４による探索処理の実行が禁止される場合には、その旨を示す信号が、対応点決定部３７６に対して出力される。一方、探索処理の実行が禁止されない場合には、その旨を示す信号が、次層視差設定部３７２に対して出力される。
【００９２】
＜(2-1-12)次層視差設定部＞
次層視差設定部３７２は、次層画像指定部３６８によって指定された画像の組に対して、対応点の探索の基準となる視差（基準視差）を仮に設定する。
【００９３】
ここでは、次層画像指定部３６８によって指定された画像の組が、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組である場合には、下層対応点探索部３６７による探索結果に応じた基準視差が設定される。
【００９４】
詳細には、次層視差設定部３７２は、図１４で示されるように、第２縮小参照画像Ｇ２２に対して、演算処理の対象となる点（処理対象点）Ｐｐ２２を設定する。このとき、第２縮小基準画像Ｇ１２における基準点Ｓｐ１２（図１１）の位置と、第２縮小参照画像Ｇ２２における処理対象点Ｐｐ２２の位置との間におけるＸ座標のずれ量が、基準視差に相当する。
【００９５】
また、次層画像指定部３６８によって指定された画像の組が、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組である場合には、次層対応点探索部３７４による直前の探索結果に応じた基準視差が設定される。このとき、直前の探索結果は、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との間における対応点の探索結果である。
【００９６】
詳細には、次層視差設定部３７２は、図１５で示されるように、第１縮小参照画像Ｇ２１に対して、処理対象点Ｐｐ２１を設定する。このとき、第１縮小基準画像Ｇ１１における基準点Ｓｐ１１（図１２）の位置と、第１縮小参照画像Ｇ２１における処理対象点Ｐｐ２１の位置との間におけるＸ座標のずれ量が、基準視差に相当する。
【００９７】
また、次層画像指定部３６８によって指定された画像の組が、基準画像Ｇ１と参照画像Ｇ２との組である場合には、次層対応点探索部３７４による直前の探索結果に応じた基準視差が設定される。このとき、直前の探索結果は、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との間における対応点の探索結果である。
【００９８】
詳細には、次層視差設定部３７２は、図１６で示されるように、参照画像Ｇ２に対して、処理対象点Ｐｐ２を設定する。このとき、基準画像Ｇ１における基準点Ｓｐ１（図１３）の位置と、参照画像Ｇ２における処理対象点Ｐｐ２の位置との間におけるＸ座標のずれ量が、基準視差に相当する。
【００９９】
＜(2-1-13)次層ウインドウ設定部＞
次層ウインドウ設定部３７３は、次層画像指定部３６８によって指定された画像の組に対して、ウインドウを設定する。
【０１００】
ここでは、次層画像指定部３６８によって指定された画像の組が、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組である場合には、図１１および図１４で示されるように、ウインドウ（基準領域）Ｗ１２とウインドウ（比較領域）Ｗ２２とが設定される。
【０１０１】
詳細には、第２縮小基準画像Ｇ１２に対して基準点Ｓｐ１２を中心として包含する基準領域Ｗ１２が設定されるとともに、第２縮小参照画像Ｇ２２に対して処理対象点Ｐｐ２２を中心として包含する比較領域Ｗ２２が設定される。なお、本実施形態では、基準領域Ｗ１２と評価領域Ａｅ１２とが同一の領域となる。
【０１０２】
また、次層画像指定部３６８によって指定された画像の組が、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組である場合には、図１２および図１５で示されるように、ウインドウ（基準領域）Ｗ１１とウインドウ（比較領域）Ｗ２１とが設定される。
【０１０３】
詳細には、第１縮小基準画像Ｇ１１に対して基準点Ｓｐ１１を中心として包含する基準領域Ｗ１１が設定されるとともに、第１縮小参照画像Ｇ２１に対して処理対象点Ｐｐ２１を中心として包含する比較領域Ｗ２１が設定される。なお、本実施形態では、基準領域Ｗ１１と評価領域Ａｅ１１とが同一の領域となる。
【０１０４】
また、次層画像指定部３６８によって指定された画像の組が、基準画像Ｇ１と参照画像Ｇ２との組である場合には、図１３および図１６で示されるように、ウインドウ（基準領域）Ｗ１およびウインドウ（比較領域）Ｗ２が設定される。
【０１０５】
詳細には、基準画像Ｇ１に対して基準点Ｓｐ１を中心として包含する基準領域Ｗ１が設定されるとともに、参照画像Ｇ２に対して処理対象点Ｐｐ２を中心として包含する比較領域Ｗ２が設定される。なお、本実施形態では、基準領域Ｗ１と評価領域Ａｅ１とが同一の領域となる。
【０１０６】
なお、基準領域Ｗ１，Ｗ１１，Ｗ１２および比較領域Ｗ２，Ｗ２１，Ｗ２２は、同一サイズの正方形の領域あり、例えば、縦方向および横方向にそれぞれ１７画素が配列されて構成される。
【０１０７】
＜(2-1-14)次層対応点探索部＞
次層対応点探索部３７４は、次層画像指定部３６８によって指定された画像の組について、対応点の探索を行う。この次層対応点探索部３７４では、位相限定相関法（ＰＯＣ法）が採用される。
【０１０８】
ここでは、次層画像指定部３６８によって指定された画像の組が、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組である場合には、第２縮小参照画像Ｇ２２が対象とされて基準点Ｓｐ１２に対応する対応点が探索される。
【０１０９】
また、次層画像指定部３６８によって指定された画像の組が、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組である場合には、第１縮小参照画像Ｇ２１が対象とされて基準点Ｓｐ１１に対応する対応点が探索される。
【０１１０】
更に、次層画像指定部３６８によって指定された画像の組が、基準画像Ｇ１と参照画像Ｇ２との組である場合には、参照画像Ｇ２が対象とされて基準点Ｓｐ１に対応する対応点が探索される。
【０１１１】
つまり、本実施形態では、評価領域設定部３６９、次層視差設定部３７２、次層ウインドウ設定部３７３、および次層対応点探索部３７４によって、第２縮小基準画像Ｇ１２に対して基準点Ｓｐ１２が設定されるとともに、下層対応点探索部３６７による探索結果が利用されて、第２縮小参照画像Ｇ２２を対象として基準点Ｓｐ１２に対応する対応点を探索する処理（第２層探索処理）が行われる。
【０１１２】
また、本実施形態では、評価領域設定部３６９、次層視差設定部３７２、次層ウインドウ設定部３７３、および次層対応点探索部３７４によって、第１縮小基準画像Ｇ１１に対して基準点Ｓｐ１１が設定されるとともに、次層対応点探索部３７４による前回の探索結果が利用されて、第１縮小参照画像Ｇ２１を対象として基準点Ｓｐ１１に対応する対応点を探索する処理（第１層探索処理）が行われる。
【０１１３】
更に、本実施形態では、探索基準点設定部３６３、次層視差設定部３７２、次層ウインドウ設定部３７３、および次層対応点探索部３７４によって、基準画像Ｇ１に対して基準点Ｓｐ１が設定されるとともに、次層対応点探索部３７４による前回の探索結果が利用されて、参照画像Ｇ２を対象として基準点Ｓｐ１に対応する対応点を探索する探索処理（最終探索処理）が行われる。
【０１１４】
なお、次層対応点探索部３７４による探索結果を示す情報は、適宜、次層視差設定部３７２または対応点決定部３７６に対して出力される。
【０１１５】
＜(2-1-15)残層判定部＞
残層判定部３７５は、次層対応点探索部３７４による前回の探索処理の対象となった画像の組よりも、高い解像度の画像の組が存在しているか否かを判定する。
【０１１６】
なお、残層判定部３７５によって、前回の探索処理の対象よりも高い解像度の画像の組が存在していれば、その旨を示す信号が、次層画像指定部３６８に対して出力される。該信号に応じて、次層画像指定部３６８では、直前に探索処理の対象となっていた低解像度の画像の組よりも、解像度が１段階高い画像の組が、処理対象となる画像の組として指定される。
【０１１７】
＜(2-1-16)対応点決定部＞
対応点決定部３７６は、探索基準点設定部３６３において設定された基準点Ｓｐ１に対応する対応点を決定する。つまり、基準点Ｓｐ１と対応点との関係が決定される。
【０１１８】
詳細には、対応点決定部３７６では、探索禁止部３７１から探索処理の実行が禁止される旨を示す信号が入力されると、下層対応点探索部３６７または次層対応点探索部３７４における直前の探索結果に基づいて、基準点Ｓｐ１に対応する対応点が決定される。このとき、探索における誤差の範囲が適宜加えられて、基準点Ｓｐ１と対応点との関係を示す情報が生成される。
【０１１９】
より詳細には、第２縮小基準画像Ｇ１２の評価領域Ａｅ１２に係る評価値ＣＴＲに基づき、探索禁止部３７１によって、次層対応点探索部３７４による探索処理の実行が禁止される場合には、下層対応点探索部３６７による探索結果に基づいて、基準点Ｓｐ１に対応する対応点が決定される。
【０１２０】
具体的には、直前に下層対応点探索部３６７によって第３縮小参照画像Ｇ２３から対応点が検出されていれば、該対応点に対応する複数の画素が、参照画像Ｇ２から認識され、該複数の画素のうちの略中心の位置が対応点（被検出対応点）として決定される。
【０１２１】
但し、第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３の解像度は、基準画像Ｇ１および参照画像Ｇ２の解像度の１／８となっている。このため、被検出対応点を示す情報に対しては、第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３の解像度に応じた探索おける誤差の範囲（ここでは、±４）が加えられた状態となる。
【０１２２】
また、第１縮小基準画像Ｇ１１の評価領域Ａｅ１１に係る評価値ＣＴＲに基づき、探索禁止部３７１によって、次層対応点探索部３７４による探索処理の実行が禁止される場合には、次層対応点探索部３７４による探索結果に基づいて、基準点Ｓｐ１に対応する対応点が決定される。
【０１２３】
具体的には、直前に次層対応点探索部３７４によって第２縮小参照画像Ｇ２２から対応点が検出されていれば、該対応点に対応する複数の画素が、参照画像Ｇ２から認識され、該複数の画素のうちの略中心の位置が対応点（被検出対応点）として決定される。
【０１２４】
但し、第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２の解像度は、基準画像Ｇ１および参照画像Ｇ２の解像度の１／４となっている。このため、被検出対応点を示す情報に対しては、第２縮小基準画像Ｇ１２および第２縮小参照画像Ｇ２２の解像度に応じた探索おける誤差の範囲（ここでは、±２）が加えられた状態となる。
【０１２５】
また、基準画像Ｇ１の評価領域Ａｅ１に係る評価値ＣＴＲに基づき、探索禁止部３７１によって、次層対応点探索部３７４による探索処理の実行が禁止される場合には、次層対応点探索部３７４による探索結果に基づいて、基準点Ｓｐ１に対応する対応点が決定される。
【０１２６】
具体的には、直前に次層対応点探索部３７４によって第１縮小参照画像Ｇ２１から対応点が検出されていれば、該対応点に対応する複数の画素が、参照画像Ｇ２から認識され、該複数の画素のうちの略中心の位置が対応点（被検出対応点）として決定される。
【０１２７】
但し、第１縮小基準画像Ｇ１１および第１縮小参照画像Ｇ２１の解像度は、基準画像Ｇ１および参照画像Ｇ２の解像度の１／２となっている。このため、被検出対応点を示す情報に対しては、第１縮小基準画像Ｇ１１および第１縮小参照画像Ｇ２１の解像度に応じた探索おける誤差の範囲（ここでは、±１）が加えられた状態となる。
【０１２８】
一方、対応点決定部３７６では、探索禁止部３７１から探索処理の実行が禁止される旨を示す信号が入力されない場合には、次層対応点探索部３７４における最終探索処理の結果に基づいて、基準点Ｓｐ１に対応する対応点が決定される。このとき、最終探索処理の結果が、そのまま基準点Ｓｐ１と対応点との関係として採用される。
【０１２９】
＜(2-1-17)記憶処理部＞
記憶処理部３７７は、対応点決定部３７６によって決定される基準点Ｓｐ１と対応点との関係を示す情報を記憶部３４に記憶する。
【０１３０】
＜(2-1-18)残画素判定部＞
残画素判定部３７８は、探索基準点設定部３６３によって基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されたか否かが判定される。ここでは、基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されていなければ、その旨を示す信号が、探索基準点設定部３６３に対して出力される。一方、基準画像Ｇ１の全画素が基準点Ｓｐ１として既に設定されていれば、基準画像Ｇ１と参照画像Ｇ２との間における対応点探索動作が終了される。
【０１３１】
＜(2-2)ＰＯＣ法を用いた対応点の探索処理に係る基本原理＞
ここで、ＰＯＣ法を用いた対応点の探索処理に係る基本原理について説明する。
【０１３２】
本実施形態では、基準画像Ｇ１と参照画像Ｇ２との間における対応点の探索処理、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との間における対応点の探索処理、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との間における対応点の探索処理、および第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間における対応点の探索処理が行われるが、何れの対応点の探索処理においてもＰＯＣ法を用いた同様な対応点の探索処理が行われる。
【０１３３】
そこで、以下では、基準画像Ｇ１と参照画像Ｇ２との間における対応点の探索処理を代表例として挙げつつ、ＰＯＣ法を用いた対応点の探索処理に係る基本原理について説明する。
【０１３４】
基準画像Ｇ１および参照画像Ｇ２では、Ｘ方向に沿って所定数（Ｎ個）の画素が配列されることで長辺が形成され、Ｘ方向とは異なるＹ方向に沿って所定数（Ｍ個）の画素が配列されることで短辺が形成されるものとする。
【０１３５】
対応点の探索処理では、まず、図１３で示されるように、基準画像Ｇ１上で指定される基準点Ｓｐ１を中心点として内包するウインドウ（基準領域）Ｗ１が基準画像Ｇ１上に設定される。その一方で、図１６で示されるように、ウインドウＷ１のサイズと同じサイズを有するウインドウ（比較領域）Ｗ２が参照画像Ｇ２に設定される。基準領域Ｗ１および比較領域Ｗ２では、多数の画素がマトリックス状に配列される。具体的には、Ｘ方向に沿って所定数Ｎ1の画素が配列され、Ｙ方向に沿って所定数Ｎ2の画素が配列される。次に、基準領域Ｗ１と比較領域Ｗ２との相関を示す値（以下「相関値」と称する）が算出される。そして、該相関値（ここでは、後述するＰＯＣ値）に基づき、参照画像Ｇ２から基準点Ｓｐ１に対応する点（対応点）が検出される。
【０１３６】
図１７は、ＰＯＣ法を用いた対応点の探索処理を具体的に説明するための図である。
【０１３７】
ＰＯＣ法を用いた対応点の探索処理では、まず、基準画像Ｇ１に対するウインドウ（基準領域）Ｗ１の設定処理Ｔ０ａと、参照画像Ｇ２に対するウインドウ（比較領域）Ｗ２の設定処理Ｔ０ｂとが行われる。このとき、基準領域Ｗ１および比較領域Ｗ２にそれぞれ相当する画像領域が、次の数２で表されるものとする。
【０１３８】
【数２】
【０１３９】
ここで、上記数２におけるｆ(ｎ1,ｎ2)は、基準画像Ｇ１上の基準領域Ｗ１を示し、上記数２におけるｇ(ｎ1,ｎ2)は、参照画像Ｇ２上のの比較領域Ｗ２を示す。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【０１４０】
次に、基準画像Ｇ１および参照画像Ｇ２の基準領域Ｗ１および比較領域Ｗ２に相当する各画像領域に対し、次の数３で示される演算式を用いた２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂが行われる。
【０１４１】
【数３】
【０１４２】
なお、上記の数３のただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。
【０１４３】
このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像領域に対しては、次の数４で示される演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂがそれぞれ行われる。
【０１４４】
【数４】
【０１４５】
規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、次の数５で示される演算式を用いた合成処理Ｔ３が行われるとともに、数６で示される演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【０１４６】
【数５】
【０１４７】
【数６】
【０１４８】
以上の処理により、基準領域Ｗ１と比較領域Ｗ２との相関を示す演算結果(ＰＯＣ値)が得られ、例えば、図１８で示されるような結果（ＰＯＣ値）が得られる。
【０１４９】
図１８においては、ウインドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、参照画像Ｇ２上の参照画像Ｗ２内のうち、ＰＯＣ値のピークＪｃに対応する位置が、基準画像Ｇ１上の基準領域Ｗ１の中心点(基準点)Ｓｐ１に対応した参照画像Ｇ２上の対応点に相当する。このため、ＰＯＣ値のピークＪｃが検出されることで、基準画像Ｇ１上の基準点Ｓｐ１に対応した参照画像Ｇ２上の対応点が検出される。
【０１５０】
このようなＰＯＣ法を用いた対応点の探索処理によれば、画像の振幅成分が除去され、画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響が抑制されて対応点が精度良く検出される。
【０１５１】
＜(2-3)対応点探索動作に係る動作フロー＞
図１９〜図２１は、本実施形態に係る対応点探索動作の流れを示すフローチャートである。本動作フローは、制御部３６ＡがプログラムＰＧａを読み込んで実行することで実現される。なお、本動作フローは、例えば、操作部３１からの指示に応じて開始されて、図１９のステップＳＴ１に進む。
【０１５２】
ステップＳＴ１では、画像取得部３６１によって、記憶部３４から基準画像Ｇ１と参照画像Ｇ２とが取得される。
【０１５３】
ステップＳＴ２では、解像度変換部３６２によって、基準画像Ｇ１をベースとして、該基準画像Ｇ１から解像度が段階的に低減された関係にある第１〜３層目の第１〜３縮小基準画像Ｇ１１〜Ｇ１３がそれぞれ生成されるとともに、参照画像Ｇ２をベースとして、該参照画像Ｇ２から解像度が段階的に低減された関係にある第１〜３層目の第１〜３縮小参照画像Ｇ２１〜２３がそれぞれ生成される。
【０１５４】
ステップＳＴ３では、探索基準点設定部３６３によって、基準画像Ｇ１に対して、基準点Ｓｐ１が設定される。なお、本ステップＳＴ３では、図２１のステップＳＴ３２から戻って来る度に、探索基準点設定部３６３によって、基準画像Ｇ１のうちの未だに基準点Ｓｐ１として設定されていない画素が基準点Ｓｐ１として設定される。
【０１５５】
ステップＳＴ４では、下層画像指定部３６４によって、最下層に係る第３縮小基準画像Ｇ１３および第３縮小参照画像Ｇ２３が、処理の対象となる画像の組として指定される。
【０１５６】
ステップＳＴ５では、初期視差設定部３６５によって、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間における所定の初期視差が仮に設定される。
【０１５７】
具体的には、初期視差設定部３６５によって、ステップＳＴ３で設定された基準点Ｓｐ１に対応する基準点Ｓｐ１３が第３縮小基準画像Ｇ１３に対して設定される。
【０１５８】
ステップＳＴ６では、初期ウインドウ設定部３６６によって、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３を中心として包含するウインドウ（基準領域）Ｗ１３が設定されるとともに、第３縮小参照画像Ｇ２３に対して処理対象点Ｐｐ２３を中心として包含するウインドウ（比較領域）Ｗ２３が設定される。
【０１５９】
ステップＳＴ７では、下層対応点探索部３６７によって、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点が探索される。
【０１６０】
このように、ステップＳＴ５〜ＳＴ７では、第３縮小基準画像Ｇ１３に対して基準点Ｓｐ１３が設定されるとともに、第３縮小参照画像Ｇ２３を対象として基準点Ｓｐ１３に対応する対応点を探索する初期探索処理が行われる。
【０１６１】
なお、ステップＳＴ７の処理が終了されると、図２０のステップＳＴ１１に進む。
【０１６２】
ステップＳＴ１１では、次層画像指定部３６８によって、直前に対応点の探索処理の対象となっていた低解像度の画像の組よりも、解像度が１段階高い画像の組が、処理の対象となる画像の組として指定される。
【０１６３】
例えば、直前に第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間で対応点の探索処理が行われていれば、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２とが指定される。
【０１６４】
また、直前に第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との間で対応点の探索処理が行われていれば、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とが指定される。
【０１６５】
更に、直前に第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との間で対応点の探索処理が行われていれば、基準画像Ｇ１と参照画像Ｇ２とが指定される。
【０１６６】
ステップＳＴ１２では、評価領域設定部３６９によって、ステップＳＴ１１で指定された画像の組のうち、基準画像Ｇ１に係る画像に対して評価領域が設定される。
【０１６７】
例えば、ステップＳＴ１１で２層目に係る第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２とが指定されていれば、第２縮小基準画像Ｇ１２のうちの基準点Ｓｐ１に対応する基準点Ｓｐ１２が設定される。そして、該基準点Ｓｐ１２を中心点として包含する評価領域Ａｅ１２が第２縮小基準画像Ｇ１２に対して設定される。
【０１６８】
また、ステップＳＴ１１で１層目に係る第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とが指定されていれば、第１縮小基準画像Ｇ１１のうちの基準点Ｓｐ１に対応する基準点Ｓｐ１１が設定される。そして、該基準点Ｓｐ１１を中心点として包含する評価領域Ａｅ１１が第１縮小基準画像Ｇ１１に対して設定される。
【０１６９】
更に、ステップＳＴ１１で基準画像Ｇ１と参照画像Ｇ２とが指定されていれば、基準画像Ｇ１のうちの基準点Ｓｐ１を中心点として包含する評価領域Ａｅ１が基準画像Ｇ１に対して設定される。
【０１７０】
ステップＳＴ１３では、評価値算出部３７０によって、ステップＳＴ１２で設定された評価領域に含まれる画像領域について、コントラストに係る評価値が算出される。ここでは、評価領域に含まれる画像領域に係る画素値の平均値が基準値として算出され、評価領域に含まれる画像領域を構成する各画素に係る画素値と基準値との差分の総和が評価値ＣＴＲとして算出される。
【０１７１】
ステップＳＴ１４では、探索禁止部３７１によって、ステップＳＴ１３で算出された評価値ＣＴＲが閾値Ｔｈ未満であるか否かが判定される。ここでは、評価値ＣＴＲが閾値Ｔｈ未満でなければ、ステップＳＴ１５に進み、評価値ＣＴＲが閾値Ｔｈ未満であれば、ステップＳＴ２０に進む。
【０１７２】
ステップＳＴ１５では、次層視差設定部３７２によって、ステップＳＴ１１で指定された画像の組に対して、対応点の探索の基準となる基準視差が仮に設定される。
【０１７３】
例えば、ステップＳＴ１１で第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が指定されていれば、第２縮小参照画像Ｇ２２に対して、処理対象点Ｐｐ２２が設定される。
【０１７４】
また、ステップＳＴ１１で第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が指定されていれば、第１縮小参照画像Ｇ２１に対して、処理対象点Ｐｐ２１が設定される。
【０１７５】
更に、ステップＳＴ１１で基準画像Ｇ１と参照画像Ｇ２との組が指定されていれば、参照画像Ｇ２に対して、処理対象点Ｐｐ２が設定される。
【０１７６】
ステップＳＴ１６では、次層ウインドウ設定部３７３によって、ステップＳＴ１１で指定された画像の組に対して、ウインドウがそれぞれ設定される。
【０１７７】
例えば、ステップＳＴ１１で第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が指定されていれば、第２縮小基準画像Ｇ１２に対してウインドウ（基準領域）Ｗ１２が設定されるとともに、第２縮小参照画像Ｇ２２に対してウインドウ（比較領域）Ｗ２２が設定される。
【０１７８】
また、ステップＳＴ１１で第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が指定されていれば、第１縮小基準画像Ｇ１１に対してウインドウ（基準領域）Ｗ１１が設定されるとともに、第１縮小参照画像Ｇ２１に対してウインドウ（比較領域）Ｗ２１が設定される。
【０１７９】
更に、ステップＳＴ１１で基準画像Ｇ１と参照画像Ｇ２との組が指定されていれば、基準画像Ｇ１に対してウインドウ（基準領域）Ｗ１が設定されるとともに、参照画像Ｇ２に対してウインドウ（比較領域）Ｗ２が設定される。
【０１８０】
ステップＳＴ１７では、次層対応点探索部３７４によって、ステップＳＴ１６で指定された画像の組について、対応点の探索が行われる。
【０１８１】
例えば、ステップＳＴ１１で第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が指定されていれば、第２縮小参照画像Ｇ２２を対象とした基準点Ｓｐ１２に対応する対応点の探索が行われる。
【０１８２】
また、ステップＳＴ１１で第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が指定されていれば、第１縮小参照画像Ｇ２１を対象とした基準点Ｓｐ１１に対応する対応点の探索が行われる。
【０１８３】
更に、ステップＳＴ１１で基準画像Ｇ１と参照画像Ｇ２との組が指定されていれば、参照画像Ｇ２を対象とした基準点Ｓｐ１に対応する対応点の探索が行われる。
【０１８４】
ステップＳＴ１８では、残層判定部３７５によって、直前のステップＳＴ１７において探索処理の対象となった画像の組よりも、上層に係る高い解像度の画像の組が存在しているか否かが判定される。ここでは、上層に係る高い解像度の画像の組が存在していれば、ステップＳＴ１１に戻り、上層に係る高い解像度の画像の組が存在していなければ、ステップＳＴ１９に進む。なお、ステップＳＴ１９に進む場合には、直前のステップＳＴ１７における探索処理は最終探索処理となっている。
【０１８５】
ステップＳＴ１９では、対応点決定部３７６によって、ステップＳＴ１７における最終探索処理の結果に基づいて、ステップＳＴ３で設定された基準点Ｓｐ１に対応する対応点が決定され、基準点Ｓｐ１と対応点との関係を示す情報が生成される。ここでは、最終探索処理の結果が、そのまま基準点Ｓｐ１と対応点との関係として採用される。そして、このステップＳＴ１９の処理の終了に応じて、図２１のステップＳＴ３１に進む。
【０１８６】
なお、ステップＳＴ１９の処理が行われる場合には、現在指定されている基準点Ｓｐ１に対しては、後述するステップＳＴ２０において探索処理の実行が禁止されていないことになる。
【０１８７】
ステップＳＴ２０では、探索禁止部３７１によって、直前のステップＳＴ１１で指定された画像の組を対象とした次層対応点探索部３７４による探索処理の実行が禁止される。
【０１８８】
ここでは、例えば、ステップＳＴ１１で第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が指定されていれば、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２とを対象とした対応点の探索処理が禁止される。
【０１８９】
また、ステップＳＴ１１で第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が指定されていれば、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とを対象とした対応点の探索処理が禁止される。
【０１９０】
更に、ステップＳＴ１１で基準画像Ｇ１と参照画像Ｇ２との組が指定されていれば、基準画像Ｇ１と参照画像Ｇ２とを対象とした対応点の探索処理が禁止される。
【０１９１】
ステップＳＴ２１では、対応点決定部３７６によって、ステップＳＴ３で設定された基準点Ｓｐ１に対応する対応点が決定される。
【０１９２】
ここでは、例えば、直前のステップＳＴ１１で第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との組が指定されていれば、ステップＳＴ７における対応点の探索処理の結果に基づいて、基準点Ｓｐ１に対応する対応点が決定される。このとき、探索における誤差の範囲（ここでは、±４）が加えられた基準点Ｓｐ１と対応点との関係を示す情報が生成される。
【０１９３】
また、直前のステップＳＴ１１で第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との組が指定されていれば、直前のステップＳＴ１７における第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２とを対象とした対応点の探索処理の結果に基づき、基準点Ｓｐ１に対応する対応点が決定される。このとき、探索における誤差の範囲（ここでは、±２）が加えられた基準点Ｓｐ１と対応点との関係を示す情報が生成される。
【０１９４】
更に、直前のステップＳＴ１１で基準画像Ｇ１と参照画像Ｇ２との組が指定されていれば、直前のステップＳＴ１７における第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とを対象とした対応点の探索処理の結果に基づき、基準点Ｓｐ１に対応する対応点が決定される。このとき、探索における誤差の範囲（ここでは、±１）が加えられた基準点Ｓｐ１と対応点との関係を示す情報が生成される。
【０１９５】
このステップＳＴ２１の処理が終了されると、図２１のステップＳＴ３１に進む。
【０１９６】
図２１のステップＳＴ３１では、記憶処理部３７７によって、ステップＳＴ１９またはステップＳＴ２１における決定結果、すなわち基準点Ｓｐ１と対応点との関係を示す情報が、記憶部３４に記憶される。
【０１９７】
ステップＳＴ３２では、残画素判定部３７８によって、ステップＳＴ３において基準画像Ｇ１の全画素が基準点Ｓｐ１として既に設定されたか否かが判定される。ここでは、基準画像Ｇ１の全画素が基準点Ｓｐ１として設定されていなければ、ステップＳＴ３に戻り、基準画像Ｇ１のうちの基準点Ｓｐ１として未だに設定されていない画素が基準点Ｓｐ１として設定される。一方、基準画像Ｇ１の全画素が基準点Ｓｐ１として既に設定されていれば、本動作フローが終了される。
【０１９８】
このようにして、基準画像Ｇ１に含まれる複数の画素が順次に基準点Ｓｐ１として指定されるとともに、各基準点Ｓｐ１に対して、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３との間における対応点の探索処理の結果、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２との間における対応点の探索処理の結果、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１との間における対応点の探索処理の結果、および基準画像Ｇ１と参照画像Ｇ２との間における対応点の探索処理の結果のうちの何れかに基づいて、基準点Ｓｐ１と対応点との関係が導出される。
【０１９９】
以上のように、本発明の一実施形態に係る情報処理システム１Ａによれば、画像における画素値のコントラストに係る評価値に基づいて、より詳細な対応点の探索処理の実行が禁止され、相対的に低い解像度の複数の画像を対象とした探索処理の結果に基づいて基準画像Ｇ１と参照画像Ｇ２との間における基準点Ｓｐ１と対応点との関係が決定される。このため、２以上の画像について高速で且つ極力欠落のない対応点の探索が可能となる。
【０２００】
そして、このような処理が、基準画像Ｇ１の各画素について行われるため、基準画像Ｇ１の各画素について、参照画像Ｇ２の対応点が高速で且つ極力欠落なく探索される。
【０２０１】
また、特に、画像における画素値のコントラストから、画素値の変動が少なく且つ適正な対応点の探索処理が実行不可能であると予測される領域については、より詳細な対応点の探索処理の実行が禁止される。その結果、無駄な演算が省略されるため、２以上の画像に係る対応点の探索が高速化される。
【０２０２】
また、相対的に低い解像度の複数の画像を対象とした探索処理の結果に基づいて基準画像Ｇ１と参照画像Ｇ２との間における基準点Ｓｐ１と対応点との関係が決定される場合には、基準点Ｓｐ１と対応点との関係に対して探索精度に応じた誤差の範囲が付加される。その結果、探索精度に応じた誤差の範囲を加味した対応点探索の結果が得られる。
【０２０３】
＜(3)変形例＞
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
【０２０４】
◎例えば、上記一実施形態では、対応点の各探索処理が、ＰＯＣ法を用いて行われたが、これに限られない。例えば、少なくとも１つの探索処理に対して、ＳＡＤ（Sum of Absolute Differences；差分絶対値和）法等といったその他の手法が採用されても良い。
【０２０５】
◎また、上記一実施形態では、評価値算出部３７０において、評価領域に係る画素値の平均値が基準値として算出され、評価領域内の各画素に係る画素値と基準値との差分の総和が評価値ＣＴＲとして算出されたが、これに限られない。
【０２０６】
例えば、評価領域内の画像領域を対象として輪郭（エッジ）が抽出される処理が行われ、該評価領域内においてエッジが占める画素数の総和（エッジ量）がコントラストに係る評価値として算出されても良い。
【０２０７】
ここで実施されるエッジ抽出の方法については、ＳｏｂｅｌやＰｒｅｗｉｔ等と称される種々の方法が適用されれば良い。なお、エッジ抽出の結果としての画像（エッジ画像）が閾値を基準として２値化された後に、エッジが占める画素数の総和（エッジ量）が求められるようにしても良い。
【０２０８】
このように、コントラストに係る評価値に基づいて、次段の解像度に係る対応点の探索処理を行うか否かが判定される構成は、テンプレートマッチング等といったコントラストが大きく影響する対応点の探索処理が実行される構成に対して、より適している。
【０２０９】
また、コントラストに係る評価値が算出される代わりに、その他の方法により、評価領域について画素値の変動に係る評価値が算出されても良い。
【０２１０】
例えば、評価領域内の画像領域を対象としたフーリエ変換が行われることで、周波数成分の分布（パワースペクトル）が導出され、該分布に基づいて評価値が算出されても良い。該評価値は、評価領域における画素値のパターンの分布に係る評価値に相当する。
【０２１１】
具体的には、例えば、下記(Ｉ)または(II)の方法によって評価値が算出されれば良い。
【０２１２】
(Ｉ)まず、評価領域内の画像領域を対象としたフーリエ変換が実行されることで、空間周波数に係る周波数成分の分布（パワースペクトル）が得られる。次に、パワースペクトルにおけるパワー（エネルギー）の総和が評価値として算出される。
【０２１３】
(II)まず、評価領域内の画像領域を対象としたフーリエ変換が実行されることで、空間周波数に係る周波数成分の分布（パワースペクトル）が得られる。次に、周波数毎に設定された閾値Ｔｈ(ρ)が基準とされて、パワースペクトルにおけるパワー（エネルギー）が２値化される。そして、パワースペクトルの２値化によって得られる周波数成分の分布（２値分布）について、パワー（エネルギー）の総和が評価値として算出される。
【０２１４】
なお、上記(II)の方法では、例えば、低周波領域をより重視した評価値が得られるようにすれば、いわゆるエイリアシングの影響等を抑制した評価が可能となる。また、ＰＯＣ法を用いた対応点の探索処理では、ウインドウ内の画像が幅広く色々な周波数成分を有する方が高精度な探索処理が可能となるため、上記(II)の方法が用いられて、幅広く色々な周波数成分が重視されて、評価値が適宜算出される方が好ましい。
【０２１５】
このような構成が採用されれば、画素値のパターンの分布に係る評価結果から画素値の変動が少なく且つ適正な対応点の探索処理が実行不可能であると予測される画像領域については、より詳細な対応点の探索処理の実行が禁止される。このため、上記一実施形態と同様に、２以上の画像に係る対応点の探索が高速化される。
【０２１６】
◎また、上記一実施形態では、相対的に低い解像度の複数の画像を対象とした対応点の探索処理の結果に基づいて基準画像Ｇ１と参照画像Ｇ２との間における基準点Ｓｐ１と対応点との関係が決定される場合には、基準点Ｓｐ１と対応点との関係に対して、探索精度に応じた誤差の範囲が付加されたが、これに限られない。
【０２１７】
例えば、対応点探索動作によって得られる情報の用途に応じて、相対的に低い解像度の複数の画像を対象とした対応点の探索処理の結果とその解像度に応じた誤差の範囲とに基づいて、基準画像Ｇ１に対する基準点Ｓｐ１の位置と参照画像Ｇ２に対する対応点の位置との間におけるＸ座標のずれ量が、解像度に応じた誤差の範囲内で最も大きくなるように、基準点Ｓｐ１と対応点との関係が決定されても良い。
【０２１８】
このような構成が適している用途としては、車載カメラによって得られるステレオ画像を用いて障害物の接近を検知して追突を防止するようなシステムが考えられる。このような用途に対しては、視差がより大きく検出される方が、障害物の接近を厳し目に検知することが可能であり、安全を保持する上で好ましい。
【０２１９】
また、対応点探索動作によって得られる情報の用途に応じて、逆に、相対的に低い解像度の複数の画像を対象とした対応点の探索処理の結果とその解像度に応じた誤差の範囲とに基づいて、基準画像Ｇ１に対する基準点Ｓｐ１の位置と参照画像Ｇ２に対する対応点の位置との間におけるＸ座標のずれ量が、解像度に応じた誤差の範囲内で最も小さくなるように、基準点Ｓｐ１と対応点との関係が決定されても良い。
【０２２０】
このような構成が適している用途としては、監視カメラによって得られるステレオ画像を用いて人物等が危険な場所に近づいている状況を検知して報知するようなシステムが考えられる。例えば、危険な場所（池、川、崖、および各種施設等）の近隣において該危険な場所に向けて監視カメラが設けられる場合には、人物等が危険な場所に近づけば近づく程、ステレオ画像において人物等が遠くにとらえられる。このため、このような用途に対しては、視差がより小さく検出される方が、人物等の危険な場所への接近を厳し目に検知することが可能であり、安全を保持する上で好ましい。
【０２２１】
◎また、上記一実施形態では、ＰＯＣ値が離散的に求められたが、これに限られない。例えば、隣接画素間でＰＯＣ値の補間演算を行い、ピークＪｃの位置を１画素のサイズよりも細かいサブピクセルのサイズで推定することで、更に細かく対応点の探索を行うこともできる。補間演算の手法としては、離散的に求められたＰＯＣ値の分布から放物線の関数を求める手法等が考えられる。このような構成によれば、対応点の探索結果における分解能の向上が図られる。
【０２２２】
但し、演算量の増加の抑制および演算の高速化の観点から言えば、各解像度の画像間における対応点の探索処理においてサブピクセルのサイズで対応点の探索が行われるよりも、各画素について基準点Ｓｐ１と対応点との関係が決定される際に限定して、サブピクセルのサイズで対応点の検出が行われる方が好ましい。このため、例えば、最終探索処理においてのみサブピクセルのサイズで対応点の探索が行われる態様や、最終探索処理以外の探索処理においてサブピクセルのサイズで対応点の探索が行われる態様等、種々のバリエーションが考えられる。
【０２２３】
◎また、上記一実施形態では、基準画像Ｇ１の各画素に対して、参照画像Ｇ２において対応する画素が検出されたが、これに限られない。例えば、画素同士の位置の対応付けの他に、画素と画素との間の部分（サブピクセル）の位置に対して、参照画像Ｇ２における対応点が検出される構成等が考えられる。
【０２２４】
このような構成については、最終探索処理の結果からサブピクセルのサイズで対応点の検出が行われる態様や、最終探索処理以外の探索処理の結果からサブピクセルのサイズで対応点の検出が行われる態様等、種々のバリエーションが考えられる。このような態様によれば、対応点の探索結果における情報量、すなわち分解能の向上が図られる。
【０２２５】
ここで、最終探索処理の結果からサブピクセルのサイズで対応点の検出が行われる態様について具体例を挙げて説明する。
【０２２６】
図２２は、本変形例に係る制御部３６Ｂにおいて実現される機能的な構成を示す図である。本変形例に係る情報処理システム１Ｂは、上記一実施形態に係る情報処理システム１Ａと比較して、制御部３６Ａが、機能的な構成である補間演算部３７９Ｂが追加された制御部３６Ｂに変更されるとともに、記憶部３４に格納されるプログラムＰＧａがプログラムＰＧｂに変更され、該変更に伴って、情報処理装置３Ａが情報処理装置３Ｂに変更されたものである。このため、本変形例に係る情報処理システム１Ｂは、上記一実施形態に係る情報処理システム１Ａと、大部分において同様な構成を有する。このため、同様な構成については同じ符号を付して説明を省略し、異なる部分について以下説明する。
【０２２７】
補間演算部３７９Ｂは、対応点決定部３７６によって得られるピクセル単位の基準点Ｓｐ１と対応点との関係と、対応点決定部３７６によって得られる基準点Ｓｐ１の周囲に位置する画素（周辺画素）に係る基準点Ｓｐ１と対応点との関係とを用いた補間演算を行う。この補間演算により、補間演算部３７９Ｂは、基準画像Ｇ１のうちの基準点Ｓｐ１として設定される一画素から該一画素の周辺に位置する周辺画素に至る迄の途中の点（中途点）について、参照画像Ｇ２における対応点を導出する。
【０２２８】
なお、補間演算としては、基準画像Ｇ１のうちの同じＹ座標の連続して列ぶ３画素について決定される視差が単調な減少または単調な増加の傾向を示す場合には、例えば、隣接画素間の中点に係る視差がいわゆる内挿によって求められる演算が採用されれば良い。また、基準画像Ｇ１のうちの同じＹ座標の連続して列ぶ３画素について決定される視差が単調な減少または単調な増加の傾向を示さない場合には、各種フィッティング等が採用されれば良い。
【０２２９】
図２３は、本変形例に係る補間演算方法の一例を説明するための図である。
【０２３０】
ここで、仮に、基準画像Ｇ１のうちの同じＹ座標の連続して列ぶ３点について、最終探索処理によって基準画像Ｇ１と参照画像Ｇ２との間における視差が求められているものとする。具体的には、Ｘ座標がＸａの画素に対して視差Ｖａが求められ、Ｘ座標がＸｂの画素に対して視差Ｖｂが求められ、Ｘ座標がＸｃの画素に対して視差Ｖｃが求められているものとする。
【０２３１】
このような条件では、図２３で示されるように、横軸がＸ座標を示すとともに縦軸が視差を示すグラフに、連続する３点のＸ座標と視差に係るプロットＰＬａ〜ＰＬｃが付される。次に、中央のプロットＰＬｂと、両側のプロットＰＬａ，ＰＬｃのうちの視差がプロットＰＬｂを基準としてより大きく異なるプロット（図２３ではプロットＰＬａ）とを結ぶ直線（一点鎖線）が引かれる。更に、該直線と傾きの正負が逆の直線（一点鎖線）が、残余のプロット（図２３ではプロットＰＬｃ）を通るように引かれる。そして、２本の直線が交叉する点（図２３では、Ｘ座標がＸｅ、視差がＶｅ）が求められる。この点に係るＸ座標がＸｅと視差がＶｅとの組合せに係る情報が、補間演算によって得られる結果に相当する。
【０２３２】
図２４は、情報処理システム１Ｂにおける対応点探索動作に係る動作フローを例示するフローチャートである。本動作フローは、制御部３６ＢがプログラムＰＧｂを読み込んで実行することで実現される。なお、本動作フローは、図１９〜図２１で示された上記一実施形態に係る対応点探索動作に係る動作フローと比較して、図２０のステップＳＴ１９から図２１のステップＳＴ３１に進む迄の間に、ステップＳＴ１９１，ＳＴ１９２が追加されている点で異なり、その他の点については同様なものとなっている。以下、相違点であるステップＳＴ１９１，ＳＴ１９２について説明する。
【０２３３】
ステップＳＴ１９１では、補間演算部３７９Ｂによって、基準画像Ｇ１の同一のＹ座標における３つの連続する画素について３回連続して最終探索処理が実行されたところであるか否かが判定される。ここで、３回連続して最終探索処理が実行されたところであれば、ステップＳＴ１９２に進み、３回連続して最終探索処理が実行されたところでなければ、図２１のステップＳＴ３１に進む。
【０２３４】
ステップＳＴ１９２では、補間演算部３７９Ｂによる補間演算が実行される。該補間演算では、上述したように、３回連続して実行された最終探索処理によって得られる基準画像Ｇ１と参照画像Ｇ２との間における視差に基づいて、サブピクセルのサイズで対応点の検出が行われる。ここでは、該３つの画素のうちの１つの画素に係る視差については、直前のステップＳＴ１９において導出されている。
【０２３５】
なお、ステップＳＴ１９２が終了されると、図２１のステップＳＴ３１に進むが、このとき、ステップＳＴ３１では、ステップＳＴ１９における決定結果、およびステップＳＴ１９２における補間演算の結果に係る情報が、記憶部３４に記憶される。
【０２３６】
次に、最終探索処理以外の探索処理の結果からサブピクセルのサイズで対応点の検出が行われる態様について具体例を挙げて説明する。
【０２３７】
図２２で示されるように、本変形例に係る情報処理システム１Ｃは、上記一実施形態に係る情報処理システム１Ａと比較して、制御部３６Ａが、機能的な構成である補間演算部３７９Ｃが追加された制御部３６Ｃに変更されるとともに、記憶部３４に格納されるプログラムＰＧａがプログラムＰＧｃに変更され、該変更に伴って、情報処理装置３Ａが情報処理装置３Ｃに変更されたものである。このため、本変形例に係る情報処理システム１Ｃは、上記一実施形態に係る情報処理システム１Ａと、大部分において同様な構成を有する。このため、同様な構成については同じ符号を付して説明を省略し、異なる部分について以下説明する。
【０２３８】
補間演算部３７９Ｃは、上述した補間演算部３７９Ｂと同様な構成を有する。但し、補間演算部３７９Ｃでは、補間演算部３７９Ｂと比較して、補間演算に用いられる情報が異なっている。この相違点について、図２５で示される情報処理システム１Ｃにおける対応点探索動作に係る動作フローを示すフローチャートを参照しつつ、説明する。
【０２３９】
なお、本動作フローは、図１９〜図２１で示された上記一実施形態に係る対応点探索動作に係る動作フローと比較して、図２０のステップＳＴ２１から図２１のステップＳＴ３１に進む迄の間に、ステップＳＴ２０１が追加されている点で異なり、その他の点については同様なものとなっている。
【０２４０】
ステップＳＴ２０１では、補間演算部３７９Ｃによる補間演算が実行される。該補間演算では、基準画像Ｇ１のうちの同じＹ座標の連続して列ぶ３つの画素に対して決定された視差に基づいて、サブピクセルのサイズで対応点の検出が行われる。ここでは、該３つの画素のうちの１つの画素に係る視差については、直前のステップＳＴ２１において導出されている。
【０２４１】
なお、ステップＳＴ２０１が終了されると、図２１のステップＳＴ３１に進むが、このとき、ステップＳＴ３１では、ステップＳＴ２１における決定結果、およびステップＳＴ２０１における補間演算の結果に係る情報が、記憶部３４に記憶される。
【０２４２】
◎また、上記一実施形態では、制御部３６Ａにおいて、画像間の対応点の情報を用いた三角測量の原理に基づき、被写体ＯＢの３次元位置が算出され、該被写体ＯＢの３次元位置に基づく被写体ＯＢの３次元画像が表示部３２において可視的に出力されるが、この表示の態様としては、種々のバリエーションが考えられる。
【０２４３】
例えば、探索精度に応じた誤差の範囲が付加されている基準点Ｓｐ１と対応点との関係から求められた被写体ＯＢの３次元位置については、誤差の範囲が付加されていない基準点Ｓｐ１と対応点との関係から求められた被写体ＯＢの３次元位置と区別可能な態様で表示される態様が考えられる。この区別可能な態様としては、例えば、色の違いや輪郭の強調等によって実現される。これにより、ユーザーにとって、探索精度が高い部分と探索精度が低い部分との区別が容易となる。
【０２４４】
また、例えば、車載カメラによって得られるステレオ画像を用いて障害物の接近を検知して追突の危険性がある障害物を視認可能な状態で表示するような構成では、探索精度に応じた誤差の範囲が付加されている基準点Ｓｐ１と対応点との関係から求められた被写体ＯＢの３次元位置については、障害物が接近しているか否かを判定するための閾値を厳し目に設定するような態様が考えられる。
【０２４５】
具体的には、例えば、障害物が２０ｍ以内にあれば、追突の危険性があると判定される場合に、閾値がデフォルトである２０ｍから３０ｍに変更されるような態様が考えられる。このような態様により、障害物の接近に対する安全性が高まる。
【０２４６】
また、例えば、３次元位置が閾値未満の距離にある２点については１つの物体をとらえた画像領域に含まれるものと判定されるクラスタリングが実行される際に、閾値が、探索精度に応じた誤差の範囲に応じて変更されるような態様が考えられる。
【０２４７】
具体的には、例えば、隣接する２点の３次元位置が、１０ｃｍ以内にあれば、１つの物体を構成するものと判定される場合に、クラスタリングに係る閾値が±１０ｃｍに設定される。これに対して、探索精度に応じた誤差の範囲に応じて、該クラスタリングに係る閾値が、±２０ｃｍに変更されるような態様が考えられる。
【０２４８】
◎また、上記一実施形態では、評価値ＣＴＲが算出される際に、評価領域に係る画素値の平均値が基準値として算出されたが、これに限られない。例えば、基準値が、各画素に隣接する４方向または８方向の画素の平均値等であっても良い。
【０２４９】
◎また、上記一実施形態では、基準画像Ｇ１および参照画像Ｇ２を対象として、１本の水平ラインおきおよび１本の垂直ラインおきに画素の間引きが行われることで、段階的に５０％ずつ縮小された第１〜３縮小基準画像Ｇ１１〜Ｇ１３および第１〜３縮小参照画像Ｇ２１〜Ｇ２３が生成されたが、これに限られない。
【０２５０】
例えば、段階的な縮小率は５０％ずつの一定である必要性はない。但し、第１縮小基準画像Ｇ１１と第１縮小参照画像Ｇ２１とが同一の解像度であり、第２縮小基準画像Ｇ１２と第２縮小参照画像Ｇ２２とが同一の解像度であり、第３縮小基準画像Ｇ１３と第３縮小参照画像Ｇ２３とが同一の解像度である必要性がある。
【０２５１】
◎また、上記一実施形態では、単純に画素値が用いられて、コントラストに係る評価値が算出されたが、これに限られない。例えば、ステレオ画像が、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）等を用いたカラー画像であれば、色毎に、画素値が用いられて、コントラストに係る評価値が算出され、該評価値を用いた判定が行われても良い。
【０２５２】
◎また、上記一実施形態では、２つの画像（基準画像Ｇ１と参照画像Ｇ２）の間における対応点の探索について説明したが、これに限られない。本発明は、２以上の画像の間における対応点の探索に適用することができる。
【０２５３】
◎また、上記一実施形態では、基準画像Ｇ１に係る画像（具体的には、基準画像Ｇ１、第１縮小基準画像Ｇ１１、および第２縮小基準画像Ｇ１２）に対して評価領域が設定され、該評価領域について評価値が算出されたが、これに限られない。例えば、参照画像Ｇ２に係る画像（具体的には、参照画像Ｇ２、第１縮小参照画像Ｇ２１、および第２縮小参照画像Ｇ２２）に対して評価領域が設定され、該評価領域について評価値が算出されても良い。このとき、評価領域が、例えば、処理対象点Ｐｐ２，Ｐｐ２１，Ｐｐ２２が中心点として包含されるように設定される態様等が考えられる。
【０２５４】
◎なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
【符号の説明】
【０２５５】
１Ａ，１Ｂ，１Ｃ 情報処理システム
２ ステレオカメラ
３Ａ，３Ｂ，３Ｃ 情報処理装置
３４ 記憶部
３６Ａ，３６Ｂ，３６Ｃ 制御部
３６１ 画像取得部
３６２ 解像度変換部
３６３ 探索基準点設定部
３６４ 下層画像指定部
３６５ 初期視差設定部
３６６ 初期ウインドウ設定部
３６７ 下層対応点探索部
３６８ 次層画像指定部
３６９ 評価領域設定部
３７０ 評価値算出部
３７１ 探索禁止部
３７２ 次層視差設定部
３７３ 次層ウインドウ設定部
３７４ 次層対応点探索部
３７５ 残層判定部
３７６ 対応点決定部
３７７ 記憶処理部
３７８ 残画素判定部
３７９Ｂ，３７９Ｃ 補間演算部
Ａｅ１，Ａｅ１１，Ａｅ１２ 評価領域
Ｇ１ 基準画像
Ｇ１１〜Ｇ１３ 第１〜３縮小基準画像
Ｇ２ 参照画像
Ｇ２１〜Ｇ２３ 第１〜３縮小参照画像
ＰＧａ，ＰＧｂ，ＰＧｃ プログラム
Ｐｐ２，Ｐｐ２１，Ｐｐ２２，Ｐｐ２３ 処理対象点
Ｓｐ１，Ｓｐ１１，Ｓｐ１２，Ｓｐ１３ 基準点
Ｗ１，Ｗ１１，Ｗ１２，Ｗ１３ 基準領域
Ｗ２，Ｗ２１，Ｗ２２，Ｗ２３ 比較領域
【特許請求の範囲】
【請求項１】
第１画像に対して解像度を低下させた関係にある第１低解像度画像を生成するとともに、第２画像に対して解像度を低下させた関係にある第２低解像度画像を生成する生成手段と、
前記第１低解像度画像に対して第１基準点を設定するとともに、前記第２低解像度画像を対象として前記第１基準点に対応する第１対応点を探索する第１探索処理を行う第１探索手段と、
前記第１画像に対して前記第１基準点に対応する第２基準点を設定するとともに、前記第１探索処理による第１探索結果を利用して、前記第２画像を対象として前記第２基準点に対応する第２対応点を探索する第２探索処理を行う第２探索手段と、
前記第１画像のうちの前記第２基準点を包含する領域、および前記第２画像のうちの前記第２基準点に対応する点を包含する領域の少なくとも何れか一方に相当する評価領域について、画素値の変動に係る評価値を算出する算出手段と、
前記評価値と閾値との比較結果に応じて、前記第２探索処理の実行を禁止する禁止手段と、
前記禁止手段によって前記第２探索処理の実行が禁止される場合に、前記第１探索結果に基づいて、前記第２基準点と前記第２対応点との関係を決定する決定手段と、
を備えることを特徴とする対応点探索装置。
【請求項２】
請求項１に記載の対応点探索装置であって、
前記禁止手段が、
前記評価値が前記閾値未満である場合に、前記第２探索処理の実行を禁止することを特徴とする対応点探索装置。
【請求項３】
請求項１または請求項２に記載の対応点探索装置であって、
前記評価値が、
前記評価領域における画素値のコントラストに係る評価値を含むことを特徴とする対応点探索装置。
【請求項４】
請求項３に記載の対応点探索装置であって、
前記算出手段が、
前記評価領域に含まれる各画素に係る画素値と基準値との差分の総和を前記評価値として算出することを特徴とする対応点探索装置。
【請求項５】
請求項４に記載の対応点探索装置であって、
前記算出手段が、
前記評価領域に係る画素値の平均値を前記基準値として算出することを特徴とする対応点探索装置。
【請求項６】
請求項３に記載の対応点探索装置であって、
前記算出手段が、
前記評価領域を対象とした被写体の輪郭を抽出する処理を行い、該評価領域のうちの前記輪郭が占める画素数を前記評価値として算出することを特徴とする対応点探索装置。
【請求項７】
請求項１または請求項２に記載の対応点探索装置であって、
前記評価値が、
前記評価領域における画素値のパターンの分布に係る評価値を含むことを特徴とする対応点探索装置。
【請求項８】
請求項７に記載の対応点探索装置であって、
前記算出手段が、
前記評価領域を対象としたフーリエ変換を行うことで、周波数成分の分布を導出し、該周波数成分の分布に基づいて、前記評価値を算出することを特徴とする対応点探索装置。
【請求項９】
請求項１から請求項８の何れか１つの請求項に記載の対応点探索装置であって、
前記決定手段が、
前記禁止手段によって前記第２探索処理の実行が禁止される場合に、前記第１低解像度画像に係る解像度に応じた誤差の範囲を加えて、前記第２基準点と前記第２対応点との関係を決定することを特徴とする対応点探索装置。
【請求項１０】
請求項１から請求項８の何れか１つの請求項に記載の対応点探索装置であって、
前記決定手段が、
前記禁止手段によって前記第２探索処理の実行が禁止される場合には、前記第１探索結果と前記第１低解像度画像に係る解像度に応じた誤差の範囲とに基づいて、前記第１画像に対する前記第２基準点の位置と前記第２画像に対する前記第２対応点の位置との間におけるずれ量が、前記誤差の範囲内で最も大きくなるように、前記第２基準点と前記第２対応点との関係を決定することを特徴とする対応点探索装置。
【請求項１１】
請求項１から請求項８の何れか１つの請求項に記載の対応点探索装置であって、
前記決定手段が、
前記禁止手段によって前記第２探索処理の実行が禁止される場合には、前記第１探索結果と前記第１低解像度画像に係る解像度に応じた誤差の範囲とに基づいて、前記第１画像に対する前記第２基準点の位置と前記第２画像に対する前記第２対応点の位置との間におけるずれ量が、前記誤差の範囲内で最も小さくなるように、前記第２基準点と前記第２対応点との関係を決定することを特徴とする対応点探索装置。
【請求項１２】
請求項１から請求項１１の何れか１つの請求項に記載の対応点探索装置であって、
前記第１および第２探索処理のうちの少なくとも一方の処理が、
位相限定相関法を用いた処理を含むことを特徴とする対応点探索装置。
【請求項１３】
請求項１から請求項１２の何れか１つの請求項に記載の対応点探索装置であって、
前記決定手段が、
前記禁止手段によって前記第２探索処理の実行が禁止されない場合には、前記第２探索処理結果に応じて前記第２基準点と前記第２対応点との関係を決定し、更に、前記第１画像に含まれる各画素に対して、前記第１探索処理結果に基づいて前記第２基準点と前記第２対応点との関係を決定するか、または前記第２探索処理結果に基づいて前記第２基準点と前記第２対応点との関係を決定することを特徴とする対応点探索装置。
【請求項１４】
請求項１３に記載の対応点探索装置であって、
前記第１画像のうちの一画素から該一画素の周辺に位置する周辺画素に至る迄の中途点について、前記決定手段によって得られる前記一画素に係る前記第２基準点と前記第２対応点との関係と、前記決定手段によって得られる前記周辺画素に係る前記第２基準点と前記第２対応点との関係とを用いた補間演算により、前記第２画像における対応点を導出する補間演算手段、
を更に備えることを特徴とする対応点探索装置。
【請求項１５】
第１画像に対して解像度を低下させた関係にある第１低解像度画像を生成するとともに、第２画像に対して解像度を低下させた関係にある第２低解像度画像を生成する生成ステップと、
前記第１低解像度画像に対して第１基準点を設定するとともに、前記第２低解像度画像を対象として前記第１基準点に対応する第１対応点を探索する第１探索処理を行う第１探索ステップと、
前記第１画像のうちの前記第１基準点に対応する第２基準点を包含する領域、および前記第２画像のうちの前記第２基準点に対応する点を包含する領域の少なくとも何れか一方に相当する評価領域について、画素値の変動に係る評価値を算出する算出ステップと、
前記第１探索ステップによる第１探索結果を利用して前記第２画像を対象として前記第２基準点に対応する第２対応点を探索する第２探索処理の実行を、前記評価値と閾値との比較結果に応じて禁止する禁止ステップと、
前記禁止ステップによって前記第２探索処理の実行が禁止される場合に、前記第１探索結果に基づいて、前記第２基準点と前記第２対応点との関係を決定する決定ステップと、
を備えることを特徴とする対応点探索方法。
【請求項１６】
対応点探索装置に含まれる制御部において実行されることにより、前記対応点探索装置を、請求項１から請求項１４の何れか１つの請求項に記載の対応点探索装置として機能させるプログラム。
【請求項１】
第１画像に対して解像度を低下させた関係にある第１低解像度画像を生成するとともに、第２画像に対して解像度を低下させた関係にある第２低解像度画像を生成する生成手段と、
前記第１低解像度画像に対して第１基準点を設定するとともに、前記第２低解像度画像を対象として前記第１基準点に対応する第１対応点を探索する第１探索処理を行う第１探索手段と、
前記第１画像に対して前記第１基準点に対応する第２基準点を設定するとともに、前記第１探索処理による第１探索結果を利用して、前記第２画像を対象として前記第２基準点に対応する第２対応点を探索する第２探索処理を行う第２探索手段と、
前記第１画像のうちの前記第２基準点を包含する領域、および前記第２画像のうちの前記第２基準点に対応する点を包含する領域の少なくとも何れか一方に相当する評価領域について、画素値の変動に係る評価値を算出する算出手段と、
前記評価値と閾値との比較結果に応じて、前記第２探索処理の実行を禁止する禁止手段と、
前記禁止手段によって前記第２探索処理の実行が禁止される場合に、前記第１探索結果に基づいて、前記第２基準点と前記第２対応点との関係を決定する決定手段と、
を備えることを特徴とする対応点探索装置。
【請求項２】
請求項１に記載の対応点探索装置であって、
前記禁止手段が、
前記評価値が前記閾値未満である場合に、前記第２探索処理の実行を禁止することを特徴とする対応点探索装置。
【請求項３】
請求項１または請求項２に記載の対応点探索装置であって、
前記評価値が、
前記評価領域における画素値のコントラストに係る評価値を含むことを特徴とする対応点探索装置。
【請求項４】
請求項３に記載の対応点探索装置であって、
前記算出手段が、
前記評価領域に含まれる各画素に係る画素値と基準値との差分の総和を前記評価値として算出することを特徴とする対応点探索装置。
【請求項５】
請求項４に記載の対応点探索装置であって、
前記算出手段が、
前記評価領域に係る画素値の平均値を前記基準値として算出することを特徴とする対応点探索装置。
【請求項６】
請求項３に記載の対応点探索装置であって、
前記算出手段が、
前記評価領域を対象とした被写体の輪郭を抽出する処理を行い、該評価領域のうちの前記輪郭が占める画素数を前記評価値として算出することを特徴とする対応点探索装置。
【請求項７】
請求項１または請求項２に記載の対応点探索装置であって、
前記評価値が、
前記評価領域における画素値のパターンの分布に係る評価値を含むことを特徴とする対応点探索装置。
【請求項８】
請求項７に記載の対応点探索装置であって、
前記算出手段が、
前記評価領域を対象としたフーリエ変換を行うことで、周波数成分の分布を導出し、該周波数成分の分布に基づいて、前記評価値を算出することを特徴とする対応点探索装置。
【請求項９】
請求項１から請求項８の何れか１つの請求項に記載の対応点探索装置であって、
前記決定手段が、
前記禁止手段によって前記第２探索処理の実行が禁止される場合に、前記第１低解像度画像に係る解像度に応じた誤差の範囲を加えて、前記第２基準点と前記第２対応点との関係を決定することを特徴とする対応点探索装置。
【請求項１０】
請求項１から請求項８の何れか１つの請求項に記載の対応点探索装置であって、
前記決定手段が、
前記禁止手段によって前記第２探索処理の実行が禁止される場合には、前記第１探索結果と前記第１低解像度画像に係る解像度に応じた誤差の範囲とに基づいて、前記第１画像に対する前記第２基準点の位置と前記第２画像に対する前記第２対応点の位置との間におけるずれ量が、前記誤差の範囲内で最も大きくなるように、前記第２基準点と前記第２対応点との関係を決定することを特徴とする対応点探索装置。
【請求項１１】
請求項１から請求項８の何れか１つの請求項に記載の対応点探索装置であって、
前記決定手段が、
前記禁止手段によって前記第２探索処理の実行が禁止される場合には、前記第１探索結果と前記第１低解像度画像に係る解像度に応じた誤差の範囲とに基づいて、前記第１画像に対する前記第２基準点の位置と前記第２画像に対する前記第２対応点の位置との間におけるずれ量が、前記誤差の範囲内で最も小さくなるように、前記第２基準点と前記第２対応点との関係を決定することを特徴とする対応点探索装置。
【請求項１２】
請求項１から請求項１１の何れか１つの請求項に記載の対応点探索装置であって、
前記第１および第２探索処理のうちの少なくとも一方の処理が、
位相限定相関法を用いた処理を含むことを特徴とする対応点探索装置。
【請求項１３】
請求項１から請求項１２の何れか１つの請求項に記載の対応点探索装置であって、
前記決定手段が、
前記禁止手段によって前記第２探索処理の実行が禁止されない場合には、前記第２探索処理結果に応じて前記第２基準点と前記第２対応点との関係を決定し、更に、前記第１画像に含まれる各画素に対して、前記第１探索処理結果に基づいて前記第２基準点と前記第２対応点との関係を決定するか、または前記第２探索処理結果に基づいて前記第２基準点と前記第２対応点との関係を決定することを特徴とする対応点探索装置。
【請求項１４】
請求項１３に記載の対応点探索装置であって、
前記第１画像のうちの一画素から該一画素の周辺に位置する周辺画素に至る迄の中途点について、前記決定手段によって得られる前記一画素に係る前記第２基準点と前記第２対応点との関係と、前記決定手段によって得られる前記周辺画素に係る前記第２基準点と前記第２対応点との関係とを用いた補間演算により、前記第２画像における対応点を導出する補間演算手段、
を更に備えることを特徴とする対応点探索装置。
【請求項１５】
第１画像に対して解像度を低下させた関係にある第１低解像度画像を生成するとともに、第２画像に対して解像度を低下させた関係にある第２低解像度画像を生成する生成ステップと、
前記第１低解像度画像に対して第１基準点を設定するとともに、前記第２低解像度画像を対象として前記第１基準点に対応する第１対応点を探索する第１探索処理を行う第１探索ステップと、
前記第１画像のうちの前記第１基準点に対応する第２基準点を包含する領域、および前記第２画像のうちの前記第２基準点に対応する点を包含する領域の少なくとも何れか一方に相当する評価領域について、画素値の変動に係る評価値を算出する算出ステップと、
前記第１探索ステップによる第１探索結果を利用して前記第２画像を対象として前記第２基準点に対応する第２対応点を探索する第２探索処理の実行を、前記評価値と閾値との比較結果に応じて禁止する禁止ステップと、
前記禁止ステップによって前記第２探索処理の実行が禁止される場合に、前記第１探索結果に基づいて、前記第２基準点と前記第２対応点との関係を決定する決定ステップと、
を備えることを特徴とする対応点探索方法。
【請求項１６】
対応点探索装置に含まれる制御部において実行されることにより、前記対応点探索装置を、請求項１から請求項１４の何れか１つの請求項に記載の対応点探索装置として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１１−９５９７５（Ｐ２０１１−９５９７５Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２４８８３６（Ｐ２００９−２４８８３６）
【出願日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]