情報処理装置、情報処理方法、およびプログラム
【課題】コントラストが低い画像および自己相関が高い画像が対象であっても、高速かつ高精度の対応点の探索が実現され得る技術を提供する。
【解決手段】画像取得部によって第１画像および第２画像が取得され、第１設定部によって第１画像に基準点が設定され、第２設定部によって第２画像に探索基準点が設定される。次に、検出部によって、第１画像において基準点を基準として設けられる基準領域と、第２画像において探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、第２画像において基準点に対応する対応点が検出される。そして、判定部によって、第２画像における探索基準点と対応点との位置関係に基づいて、対応点の信頼度が判定される。
【解決手段】画像取得部によって第１画像および第２画像が取得され、第１設定部によって第１画像に基準点が設定され、第２設定部によって第２画像に探索基準点が設定される。次に、検出部によって、第１画像において基準点を基準として設けられる基準領域と、第２画像において探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、第２画像において基準点に対応する対応点が検出される。そして、判定部によって、第２画像における探索基準点と対応点との位置関係に基づいて、対応点の信頼度が判定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理技術に関する。
【背景技術】
【０００２】
従来、２つの撮像装置によって同一の被写体を異なる視点から撮像することで得られた基準画像と参照画像との間において対応点を探索する技術が知られている。この技術では、例えば、ＳＡＤ（Sum of Absolute Difference）演算法およびＰＯＣ（Phase-Only Correlation）演算法などといった相関演算によって得られる相関度に基づき、基準画像の基準点と同一の対象物が捉えられている対応点が参照画像において探索される。
【０００３】
また、例えば、基準画像と参照画像とについて、解像度の異なる複数の画像がそれぞれ生成されて解像度別に階層化され、低解像度の上位層から高解像度の下位層に向かって相関演算を用いた対応点の探索が順次に繰り返される処理が知られている。この処理では、低解像度の上位層で得られた対応点に基づいて次の階層における探索の基準となる点が決定されるため、最高解像度の最下層までの演算処理に要する時間が短縮され得る。
【０００４】
そして、対応点の探索精度の向上を図るための種々の技術が提案されている。
【０００５】
例えば、低解像度の上位層における対応点の探索結果を基に算出された対応点の探索精度を示す信頼度が所定値よりも低い場合には、参照画像上の別の点に変更された対応点を基に、高解像度の下位層の参照画像における初期探索点が決定される技術が提案されている（例えば、特許文献１など）。この技術では、信頼度として、相関演算で得られる相関値、基準画像における基準ウインドウ内の画像のコントラスト値、バックマッチング法で求まる探索の成功と失敗に応じた２値、または基準画像の注目点に応じたエピポーララインを基に参照画像に設定されるエピポーララインと対応点との距離が採用され得る。
【０００６】
また、サブピクセルの分解能で探索された注目階層の対応点に基づいて、相対的に高解像度の１つ下位の階層の参照画像に探索の基準となる点（探索基準点とも言う）が設定される技術が提案されている（例えば、特許文献２など）。さらに、低解像度の画像から算出された視差値についてその信頼度を求め、この信頼度に基づいて、高解像度の画像における視差を算出するための対応点探索のウインドウサイズを設定する技術が提案されている（例えば、特許文献３など）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２８２７６２号公報
【特許文献２】特開２０１１−０１３０６６号公報
【特許文献３】特開２００９−０９２５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１〜３の技術では、コントラストが低い画像および類似のパターンが繰り返される様な自己相関が高い画像について対応点を探索する場合には、誤った位置であっても相関値が高く算出され易く、対応点の探索精度が確保され難い。特に、相関演算が行われる際に、窓関数などが用いられて探索基準点の近傍に係る画素値に重み付けが行われる場合には、誤った位置であっても探索基準点が対応点として検出され易い。また、相関値以外の値を信頼度として算出する態様では、演算量の増大を招き、対応点の探索速度の低下を招く。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、コントラストが低い画像および自己相関が高い画像が対象であっても、高速かつ高精度の対応点の探索が実現され得る技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、第１の態様に係る情報処理装置は、第１画像および第２画像を取得する画像取得部と、前記第１画像に基準点を設定する第１設定部と、前記第２画像に探索基準点を設定する第２設定部と、前記第１画像において前記基準点を基準として設けられる基準領域と、前記第２画像において前記探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、前記第２画像において前記基準点に対応する対応点を検出する検出部と、前記第２画像における前記探索基準点と前記対応点との位置関係に基づいて、前記対応点の信頼度を判定する判定部と、を備える。
【００１１】
第２の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、前記第２画像において前記対応点が存在すると推定される推定領域を決定する決定部、をさらに備え、前記第２設定部が、前記第２画像において前記推定領域の外に前記探索基準点を設定する。
【００１２】
第３の態様に係る情報処理装置は、第１画像および第２画像を取得する画像取得部と、前記第１画像に基準点を設定する第１設定部と、前記第２画像に探索基準点を設定する第２設定部と、前記第１画像において前記基準点を基準として設けられる基準領域と、前記第２画像において前記探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、前記第２画像において前記基準点に対応する対応点を検出する検出部と、前記第２画像において前記対応点が存在すると推定される推定領域を決定する決定部と、前記第２画像における前記推定領域と前記対応点との位置関係に基づいて、前記信頼度を判定する判定部と、を備える。
【００１３】
第４の態様に係る情報処理装置は、第３の態様に係る情報処理装置であって、前記第２設定部が、前記第２画像において前記推定領域の外に前記探索基準点を設定する。
【００１４】
第５の態様に係る情報処理装置は、第２から第４の何れか１つの態様に係る情報処理装置であって、前記判定部が、前記第２画像における前記推定領域から前記探索基準点に向かう第１方向と前記探索基準点から前記対応点に向かう第２方向との関係に基づいて、前記信頼度を判定する。
【００１５】
第６の態様に係る情報処理装置は、第２から第５の何れか１つの態様に係る情報処理装置であって、前記第２画像における前記対応点の候補点の位置情報を取得する情報取得部、をさらに備える。
【００１６】
第７の態様に係る情報処理装置は、第６の態様に係る情報処理装置であって、前記決定部は、前記第２画像において前記候補点を基準として前記推定領域を設定する。
【００１７】
第８の態様に係る情報処理装置は、第６または第７の態様に係る情報処理装置であって、前記第２設定部が、前記参照領域に前記候補点が含まれるように前記探索基準点を設定する。
【００１８】
第９の態様に係る情報処理装置は、第６から第８の何れか１つの態様に係る情報処理装置であって、前記第２設定部が、前記第２画像において、前記候補点を通る仮想的なエピポーラ線に対して垂直な方向に前記候補点からずれている位置に前記探索基準点を設定し、前記仮想的なエピポーラ線の延伸方向が、前記第１画像を撮像する第１撮像部と前記第２画像を撮像する第２撮像部との配置関係に対応する方向である。
【００１９】
第１０の態様に係る情報処理装置は、第６から第８の何れか１つの態様に係る情報処理装置であって、前記第２設定部が、前記第１画像における前記基準点を含む２次元領域、および前記第２画像における前記候補点を含む２次元領域のうちの少なくとも一方の領域についての周波数成分への分解によって得られる空間周波数の振幅の２次元分布において、予め設定される閾値以上の振幅の周波数成分が存在する頻度が最も高い一方向を認識し、前記第２画像において前記一方向に対応する方向に前記候補点からずれている位置に前記探索基準点を設定する。
【００２０】
第１１の態様に係る情報処理装置は、第６から第８の何れか１つの態様に係る情報処理装置であって、前記第２設定部が、前記第１画像における前記基準点を含む２次元領域、および前記第２画像における前記候補点を含む２次元領域のうちの少なくとも一方の領域についての周波数成分への分解によって得られる空間周波数の振幅の２次元分布において、振幅の平坦度が予め設定される平坦度よりも高い場合に、前記第２画像において前記推定領域の外に前記探索基準点を設定する。
【００２１】
第１２の態様に係る情報処理装置は、第１０の態様に係る情報処理装置であって、前記第２設定部が、前記空間周波数の振幅の２次元分布において、振幅の平坦度が予め設定される平坦度よりも高い場合に、前記第２画像において前記推定領域の外に前記探索基準点を設定する。
【００２２】
第１３の態様に係る情報処理装置は、第２から第１２の何れか１つの態様に係る情報処理装置であって、前記検出部が、前記第２設定部によって前記第２画像における前記推定領域の外に前記探索基準点が設定される場合に前記検出部によって検出される前記対応点と、前記第２設定部によって前記第２画像における前記推定領域の中に前記探索基準点が設定される場合に前記検出部によって検出される前記対応点との位置関係に基づいて、前記信頼度を判定する。
【００２３】
第１４の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、前記第２画像における前記対応点の候補点の位置情報を取得する情報取得部、をさらに備え、前記検出部が、前記基準領域に対して第１の重み付け処理を行って重み付け後基準領域画像を得るとともに、前記参照領域に対して前記第１の重み付け処理よりも重み付け係数の２次元分布が前記候補点に応じた方向に偏っている第２の重み付け処理を行うことで重み付け後参照領域画像を得て、前記重み付け後基準領域画像と前記重み付け後参照領域画像とに係る相関演算の結果に基づき、前記第２画像において前記対応点を検出する。
【００２４】
第１５の態様に係る情報処理装置は、第１４の態様に係る情報処理装置であって、前記第２画像において前記対応点が存在すると推定される推定領域を決定する決定部、をさらに備え、前記判定部が、前記第２画像における前記推定領域と前記対応点との位置関係に基づいて、前記信頼度を判定する。
【００２５】
第１６の態様に係る情報処理装置は、第６から第１５の何れか１つの態様に係る情報処理装置であって、前記検出部が、前記第１画像の解像度が低減されて得られる第１低解像度画像と前記第２画像の解像度が低減されて得られる第２低解像度画像との間で、前記第１低解像度画像において前記基準点と同一の対象物が捉えられている低解像度基準点を基準として設けられる低解像度基準領域と、前記第２低解像度画像において設けられる低解像度参照領域とに係る相関演算の結果に基づいて、前記第２低解像度画像において前記低解像度基準点に対応する低解像度対応点を探索する低解像度探索処理を行い、前記情報取得部が、前記第２画像における前記低解像度対応点に対応する点の位置を示す情報を前記位置情報として取得する。
【００２６】
第１７の態様に係る情報処理装置は、第１６の態様に係る情報処理装置であって、前記決定部が、前記低解像度探索処理における前記低解像度対応点に係る分解能と、前記候補点とに基づいて前記推定領域を決定する。
【００２７】
第１８の態様に係る情報処理装置は、第１６の態様に係る情報処理装置であって、前記決定部が、前記第２画像において、前記低解像度探索処理における相関演算によって算出される相関値が予め決められている条件を満たす画像領域を前記推定領域として決定する。
【００２８】
第１９の態様に係る情報処理装置は、第６から第１８の何れか１つの態様に係る情報処理装置であって、前記情報取得部が、前記第１画像を撮像する第１撮像部と前記第２画像を撮像する第２撮像部との配置関係と、距離測定部によって得られる前記第１および第２撮像部から前記第１および第２画像で捉えられている対象物までの離隔距離とに基づいて、前記位置情報を取得する。
【００２９】
第２０の態様に係る情報処理装置は、第１から第１９の何れか１つの態様に係る情報処理装置であって、前記判定部による前記信頼度の判定結果に基づいて、前記検出部によって検出される前記対応点に係る対応点情報を変更する情報変更部、をさらに備える。
【００３０】
第２１の態様に係る情報処理装置は、第２０の態様に係る情報処理装置であって、前記情報変更部が、前記判定結果に基づく前記対応点情報の削除、前記判定結果に基づく重み付け係数の前記対応点情報に対する付加、および前記判定結果に基づく精度情報の前記対応点情報に対する付加、のうちの少なくとも１つの処理を行う。
【００３１】
第２２の態様に係る情報処理方法は、(a)画像取得部によって、第１画像を取得するステップと、(b)前記画像取得部によって、第２画像を取得するステップと、(c)第１設定部によって、前記第１画像に基準点を設定するステップと、(d)第２設定部によって、前記第２画像に探索基準点を設定するステップと、(e)検出部によって、前記第１画像において前記基準点を基準として設けられる基準領域と、前記第２画像において前記探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、前記第２画像において前記基準点に対応する対応点を検出するステップと、(f)判定部によって、前記第２画像における前記探索基準点と前記対応点との位置関係に基づいて、前記対応点の信頼度を判定するステップと、を備える。
【００３２】
第２３の態様に係るプログラムは、情報処理装置に含まれる制御部において実行されることにより、前記情報処理装置を、第１から第２１の何れか１つの態様に係る情報処理装置として機能させる。
【発明の効果】
【００３３】
第１、第２および第５から第２１の何れの態様に係る情報処理装置であっても、例えば、探索基準点と検出された対応点とが同一であれば該対応点の信頼度が低いものと判定され、同一でなければ該対応点の信頼度が高いものと判定され得るなどといった判定手法が実現され得る。したがって、コントラストが低い画像および自己相関が高い画像が対象であっても、高速かつ高精度の対応点の探索が実現され得る。
【００３４】
第３および第１５の何れの態様に係る情報処理装置によっても、例えば、検出された対応点が推定領域内であれば該対応点の信頼度が高いものと判定され得る。このため、簡易に対応点の信頼度が判定され得る。
【００３５】
第２および第４の何れの態様に係る情報処理装置によっても、意図的に推定領域の外に設定された探索基準点と検出された対応点との位置関係に基づいて対応点の信頼度が簡易かつ適確に判定され得る。
【００３６】
第５の態様に係る情報処理装置によれば、例えば、対応点が探索基準点を基準として推定領域とは逆側に検出されれば該対応点の信頼度が低いものと判定され得るなどといった判定手法が実現され得る。このため、対応点の信頼度が簡易に判定され得る。
【００３７】
第８の態様に係る情報処理装置によれば、推定領域からの探索基準点のずらし過ぎによって対応点の検出精度が低下する不具合が低減され得る。すなわち、対応点の検出精度が確保され得る。
【００３８】
第９の態様に係る情報処理装置によれば、候補点から対応点が存在しないと推定される方向にずらされた位置に探索基準点が設けられることで、例えば、探索基準点よりも候補点側に対応点が検出された場合における対応点の確からしさが向上し得る。このため、対応点の信頼度が簡易かつ適切に判定され得る。
【００３９】
第１０の態様に係る情報処理装置によれば、対応点の候補点から画像の特徴に差が生じ易い方向に探索基準点がずらされることで、相関演算に用いられる情報量が確保され得る。これにより、対応点の検出精度が向上し得る。
【００４０】
第１１および第１２の何れの態様に係る情報処理装置によっても、例えば、コントラストが低い画像についてのみ、推定領域の外に探索基準点が設定され得る。このため、不必要に対応点の検出精度が低下する不具合が生じ難くなる。
【００４１】
第１３の態様に係る情報処理装置によれば、例えば、推定領域の外に探索基準点がずらされている場合とずらされていない場合とで、検出される対応点の位置に差があるか否かなどによって、対応点の信頼度が判定され得る。したがって、対応点の信頼度が簡易に判定され得る。
【００４２】
第１４の態様に係る情報処理装置によれば、基準点が基準とされた画像領域と探索基準点が基準とされた画像領域とが同一の対象物を捉えた領域を多く含む確率が高まり得る。このため、相関演算の対象となる画像における特徴などに係る情報の欠落が抑制され、対応点の検出精度が確保され得る。
【００４３】
第１６の態様に係る情報処理装置によれば、低解像度の画像間についての対応点の検出結果が利用されて対応点の候補点の情報が得られるため、演算量の増大が抑制され得る。
【００４４】
第１７の態様に係る情報処理装置によれば、低解像度の画像間についての対応点の検出処理における対応点に係る分解能を用いることにより、適切な推定領域が容易に設定され得る。
【００４５】
第１８の態様に係る情報処理装置によれば、低解像度の画像間についての対応点の検出精度を考慮することにより、適切な推定領域が容易に設定され得る。
【００４６】
第１９の態様に係る情報処理装置によれば、例えば、自動合焦機能が搭載されたカメラのような別の部分で得られる情報が有効利用され得る。これにより、演算量の増大を極力避けつつ、簡易に対応点の信頼度が判定され得る。
【００４７】
第２０および第２１の何れの態様に係る情報処理装置によっても、簡易に得られた対応点の信頼度に関する判定結果が有効利用され得る。
【００４８】
第２２の態様に係る情報処理方法によれば、第１の態様に係る情報処理装置と同様な効果が得られる。
【００４９】
第２３の態様に係るプログラムによれば、第１から第２１の態様に係る情報処理装置と同様な効果が得られる。
【図面の簡単な説明】
【００５０】
【図１】一実施形態に係る情報処理システムの概略構成を例示する図である。
【図２】一実施形態に係る情報処理装置の構成を示すブロック図である。
【図３】第１および第２画像に係る２段階の解像度の画像群を例示する図である。
【図４】第１階層の基準点の設定態様を例示する図である。
【図５】第２階層の基準点の設定態様を例示する図である。
【図６】第２階層の候補点を例示する図である。
【図７】第１階層の候補点を例示する図である。
【図８】推定領域の決定方法を説明するための模式図である。
【図９】第２階層の探索基準点の設定態様を例示する図である。
【図１０】第１階層の探索基準点の設定態様を例示する図である。
【図１１】第１階層の探索基準点の候補点からのズレ方向を説明するための図である。
【図１２】第１階層の探索基準点の候補点からのズレ方向を説明するための図である。
【図１３】第１階層の探索基準点の候補点からのズレ方向を説明するための図である。
【図１４】探索基準点を候補点からずらすか否かの判定方法を説明するための図である。
【図１５】第２階層の基準領域の設定態様を例示する図である。
【図１６】第１階層の基準領域の設定態様を例示する図である。
【図１７】第２階層の参照領域の設定態様を例示する図である。
【図１８】第１階層の参照領域の設定態様を例示する図である。
【図１９】ＰＯＣ演算法を用いた探索処理の流れを示す図である。
【図２０】ＰＯＣ値の分布を例示する図である。
【図２１】ＰＯＣ値の分布と探索基準点と対応点との関係を例示する図である。
【図２２】ＰＯＣ値の分布と探索基準点と対応点との関係を例示する図である。
【図２３】ＰＯＣ値の分布と探索基準点と対応点との関係を例示する図である。
【図２４】三角測量の原理を用いた測距方法を説明するための図である。
【図２５】情報処理装置における動作フローを例示するフローチャートである。
【図２６】一変形例に係る情報処理装置の構成を示すブロック図である。
【図２７】一変形例に係る推定領域の決定方法を説明するための模式図である。
【図２８】一変形例に係る推定領域の決定方法を説明するための模式図である。
【図２９】一変形例に係る推定領域の決定方法を説明するための模式図である。
【図３０】一変形例に係るＰＯＣ演算法を用いた探索処理の流れを示す図である。
【図３１】一変形例に係る窓関数を例示する図である。
【図３２】一変形例に係る窓関数を例示する図である。
【図３３】一変形例に係る第１階層の探索基準点の設定態様を例示する図である。
【図３４】一変形例に係るＰＯＣ値の分布と探索基準点と対応点との関係を例示する図である。
【図３５】一変形例に係るＰＯＣ値の分布と探索基準点と対応点との関係を例示する図である。
【発明を実施するための形態】
【００５１】
以下、本発明の一実施形態を図面に基づいて説明する。なお、図面においては同様な構成および機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、各図における各種構造のサイズおよび位置関係などは正確に図示されたものではない。
【００５２】
＜(１)情報処理システムの概略構成＞
図１は、一実施形態に係る情報処理システム１００の概略構成を示す図である。情報処理システム１００は、第１カメラ１と第２カメラ２と情報処理装置３とを備えている。第１カメラ１は通信回線Ｌ１を介して情報処理装置３に対してデータ伝送可能に接続され、第２カメラ２は通信回線Ｌ２を介して情報処理装置３に対してデータ伝送可能に接続されている。通信回線Ｌ１，Ｌ２は、有線回線および無線回線の何れであっても良い。
【００５３】
第１および第２カメラ１，２は、被写体を撮像することで画像をそれぞれ取得する撮像装置である。これらの第１および第２カメラ１，２は、一方向に並んで配置されている。一方向は、例えば、水平方向であれば良い。一方向が水平方向である場合、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸とが水平方向に離隔している。そして、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸とが離隔している距離が、第１および第２カメラ１，２に係る基線長である。なお、ここでは、撮像の被写体の方向を向いた場合、第１カメラ１が第２カメラ２の左方に配置されている。
【００５４】
また、第１および第２カメラ１，２は、例えば、撮像素子によって、カメラの正面に位置する被写体を、同じタイミングで相互に異なる視点から撮像することで、いわゆるステレオ画像を取得する。つまり、ステレオ画像は、第１カメラ１の撮像によって取得される画像（第１画像とも言う）と、第２カメラ２の撮像によって取得される画像（第２画像とも言う）とを含む。第１画像に係るデータＭ１と第２画像に係るデータＭ２は、第１および第２カメラ１，２から通信回線Ｌ１，Ｌ２を介して情報処理装置３に送信され得る。
【００５５】
情報処理装置３は、例えば、パーソナルコンピュータ（パソコン）であれば良く、操作部３１、表示部３２、インターフェース（Ｉ／Ｆ）部３３、記憶部３４、入出力（Ｉ／Ｏ）部３５、および制御部３６を備えている。
【００５６】
操作部３１は、例えば、マウスおよびキーボードを含む。表示部３２は、例えば、液晶ディスプレイを含む。Ｉ／Ｆ部３３は、例えば、第１および第２カメラ１，２と情報処理装置３との間におけるデータの授受を行う。記憶部３４は、例えば、ハードディスクなどを含み、プログラムＰＧおよび各種データを格納する。Ｉ／Ｏ部３５は、例えば、ディスクドライブを備え、光ディスクなどの記憶媒体４を受け付けて該記憶媒体４と制御部３６との間におけるデータの授受を行う。制御部３６は、例えば、プロセッサーとして働くＣＰＵ３６ａ、および情報を一時的に記憶するメモリー３６ｂなどを含む。この制御部３６は、記憶部３４に格納されているプログラムＰＧを読み込んで実行することで、情報処理装置３の各種機能および情報処理などを実現する。そして、制御部３６における各種情報処理によって一時的に得られる各種情報は、メモリー３６ｂなどに記憶される。
【００５７】
なお、本実施形態では、説明を簡素化するために、第１および第２カメラ１，２における収差が良好に補正されており、且つ第１および第２カメラ１，２は、略平行に設定されている。つまり、第１および第２カメラ１，２の光軸が略平行に設定され、第１および第２画像で捉えられた被写体は、第１および第２画像の外縁に対して略同一の角度関係を有する。但し、実際の第１および第２カメラ１，２が、このような条件にない場合は、画像処理によって同等の条件で撮像されたものと同視されるステレオ画像が得られれば良い。
【００５８】
＜(２)情報処理装置における主要な構成＞
図２は、本実施形態に係る情報処理装置３の主要部の構成を示すブロック図である。図２では、対応点の探索処理および該処理による探索結果を用いた演算処理に係る構成が示されている。ここで、対応点の探索処理は、第１および第２カメラ１，２で得られる第１画像と第２画像との間で同一の対象物を捉えた画素の対応関係を探索する処理である。なお、対応点の探索処理では、第１画像が基準となる画像（基準画像とも言う）Ｇa1として用いられ、第２画像が参照される画像（参照画像とも言う）Ｇa2として用いられる。
【００５９】
制御部３６は、プログラムＰＧの実行によって実現される構成として、画像取得部３６１、画像生成部３６２、対応点探索部３６３、情報変更部３６４、距離算出部３６５、３次元位置検出部３６６、および情報出力部３６７を備えている。
【００６０】
画像取得部３６１は、第１カメラ１から第１画像に係るデータＭ１を取得し、第２カメラ２から第２画像に係るデータＭ２を取得する。第１画像と第２画像については、解像度が同一であることが好ましい。ここで、解像度は、画像において描かれている対象物がどこまで詳しく描写されているかを意味する。そして、ここでは、解像度が同一とは、画像における横方向の画素数が同一であり、縦方向の画素数が同一であることを意味する。
【００６１】
画像生成部３６２は、予め設定されている変換倍率にしたがって、基準画像Ｇa1としての第１画像の解像度を低減して第１低解像度画像としての第１変換後基準画像Ｇb1を生成する。また、画像生成部３６２は、予め設定されている変換倍率にしたがって、参照画像Ｇa2としての第２画像の解像度を低減して第２低解像度画像としての第１変換後参照画像Ｇb2を生成する。例えば、基準画像Ｇa1の解像度が第１の変換倍率で低減されることで第１変換後基準画像Ｇb1が生成され、参照画像Ｇa2の解像度が第２の変換倍率で低減されることで第１変換後参照画像Ｇb2が生成され得る。
【００６２】
ここで、解像度を低減することは、例えば、画像の横方向および縦方向の画素数を低減して、同一の対象物を含む粗い画質の画像に変換することを意味する。また、第１，２の変換倍率は、変換後の画像の横方向における画素数を変換前の画像の横方向における画素数で除した数値、および変換後の画像の縦方向における画素数を変換前の画像の縦方向における画素数で除した数値を示す。例えば、これらの変換倍率は、１／ｎ（ｎは１よりも大きな任意の数）で表される。１／ｎは、例えば、１／２などであれば良い。なお、これらの変換倍率は、画像の横方向と縦方向との間で同一であっても異なっていても良い。但し、第１の変換倍率と第２の変換倍率とが同一であることが好ましい。
【００６３】
第１および第２の変換倍率が１／２である場合、例えば、基準画像Ｇa1および参照画像Ｇa2には、Ｘ方向に６４０個およびＹ方向に４８０個の画素が格子状に配列され得る。そして、第１変換後基準画像Ｇb1および第１変換後参照画像Ｇb2には、Ｘ方向に３２０個およびＹ方向に２４０個の画素が格子状に配列され得る。この場合、第１変換後基準画像Ｇb1および第１変換後参照画像Ｇb2における座標（ｘ，ｙ）の画素の画素値は、例えば、基準画像Ｇa1および参照画像Ｇa2における座標（２ｘ，２ｙ），（２ｘ＋１，２ｙ），（２ｘ，２ｙ＋１），（２ｘ＋１，２ｙ＋１）の４画素の画素値の平均値とされ得る。なお、ｘ，ｙは、任意の自然数であれば良い。
【００６４】
これにより、図３で示されるように、基準画像Ｇa1について、基準画像Ｇa1と第１変換後基準画像Ｇb1とを含む２段階の解像度の画像群ＧＲ１が生成される。また、参照画像Ｇa2について、参照画像Ｇa2と第１変換後参照画像Ｇb2とを含む２段階の解像度の画像群ＧＲ２が生成される。別の観点から言えば、基準画像Ｇa1と参照画像Ｇa2とを含む第１階層の画像群１Ｈｙから、第１変換後基準画像Ｇb1と第１変換後参照画像Ｇb2とを含む第２階層の画像群２Ｈｙが生成される。
【００６５】
なお、基準画像Ｇa1、参照画像Ｇa2、第１変換後基準画像Ｇb1および第１変換後参照画像Ｇb2では、左上の画素が原点とされ、右方がＸ方向とされ、下方がＹ方向とされる。つまり、基準画像Ｇa1、参照画像Ｇa2、第１変換後基準画像Ｇb1および第１変換後参照画像Ｇb2における各画素は、ＸおよびＹの座標によって表現され得る。
【００６６】
対応点探索部３６３は、基準画像Ｇa1の各画素について同一の対象物を捉えた画素（対応点とも言う）を参照画像Ｇa2において探索するとともに、探索結果としての対応点がどの程度精度良く求められたのかを示す指標としての信頼度を求める。この対応点探索部３６３は、階層指定部３６３ａ、第１設定部としての基準点設定部３６３ｂ、情報取得部としての候補点情報取得部３６３ｃ、決定部としての推定領域決定部３６３ｄ、第２設定部としての探索基準点設定部３６３ｅ、基準領域設定部３６３ｆ、参照領域設定部３６３ｇ、検出部としての演算検出部３６３ｈおよび判定部としての信頼度判定部３６３ｉを備えている。
【００６７】
階層指定部３６３ａは、第１および第２階層の画像群１Ｈｙ，２Ｈｙのうち、対応点の探索処理の対象となる階層の画像群を指定する。
【００６８】
基準点設定部３６３ｂは、図４および図５で示されるように、基準画像Ｇa1に探索の基準となる画素（第１階層の基準点とも言う）ＢＰa1を設定し、第１変換後基準画像Ｇb1に探索の基準となる画素（第２階層の基準点とも言う）ＢＰb1を設定する。具体的には、基準画像Ｇa1において第１階層の基準点ＢＰa1が設定され、第１変換後基準画像Ｇb1において第１階層の基準点ＢＰa1と同一の対象物が捉えられている画素が第２階層の基準点ＢＰb1として設定される。
【００６９】
候補点情報取得部３６３ｃは、図６で示されるように、第１変換後参照画像Ｇb2のうち、第２階層の基準点ＢＰb1と同一の対象物が捉えられている画素（第２階層の対応点）の候補（第２階層の候補点とも言う）ＥＰb2の位置を示す位置情報を取得する。
【００７０】
例えば、第２階層の候補点ＥＰb2は、第１変換後基準画像Ｇb1における第２階層の基準点ＢＰb1と予め設定されている位置関係を有する。この位置関係は、例えば、第１変換後基準画像Ｇb1における第２階層の基準点ＢＰb1の位置と、第１変換後参照画像Ｇb2における第２階層の候補点ＥＰb2の位置とが同一である関係などであれば良い。また、この位置関係は、例えば、第２カメラ２から第１カメラ１に至る基線長の延伸方向に対応する画像上の一方向において、予め設定された数の画素ずれた関係であっても良い。この一方向は、例えば、−Ｘ方向であれば良い。
【００７１】
また、候補点情報取得部３６３ｃは、図７で示されるように、参照画像Ｇa2のうち、第１階層の基準点ＢＰa1と同一の対象物が捉えられている画素（第１階層の対応点）の候補（第１階層の候補点とも言う）ＥＰa2の位置を示す位置情報を取得する。例えば、第１階層の候補点ＥＰa2は、第２階層の画像群２Ｈｙが対象とされた対応点の探索処理によって第２階層の基準点（低解像度基準点とも言う）ＢＰb1と同一の対象物が捉えられている画素として検出される第２階層の対応点（低解像度対応点とも言う）に対応する画素であれば良い。このように、相対的に低解像度の画像間についての対応点の探索処理（低解像度探索処理とも言う）における対応点の検出結果が利用されて第１階層の候補点の情報が得られれば、演算量の増大が抑制され得る。
【００７２】
推定領域決定部３６３ｄは、参照画像Ｇa2において第１階層の候補点ＥＰa2を基準として第１階層の対応点が存在するものと推定される領域（推定領域とも言う）を決定する。例えば、推定領域は、第２階層の対応点の探索処理において検出される低解像度対応点に係る分解能と、第１階層の候補点ＥＰa2とに基づいて決定される。
【００７３】
図８には、推定領域の決定方法が模式的に示されている。ここでは、画像生成部３６２における第１および第２の変換倍率が１／２である一例を挙げて説明する。
【００７４】
例えば、基準画像Ｇa1における第１階層の基準点ＢＰa1の座標を（Ｘa1＋２，Ｙa1＋２）とし、第１変換後基準画像Ｇb1における第２階層の基準点ＢＰb1の座標を（ｘb1＋１，ｙb1＋１）とする。なお、Ｘa1，Ｙa1，ｘb1，ｙb1は、任意の自然数であれば良い。この場合、第２階層の基準点ＢＰb1の画素値は、基準画像Ｇa1における座標(Ｘa1＋２，Ｙa1＋２)，(Ｘa1＋３，Ｙa1＋２)，(Ｘa1＋２，Ｙa1＋３)，(Ｘa1＋３，Ｙa1＋３)の４画素の画素値の平均値となり得る。
【００７５】
ここで、第２階層の基準点ＢＰb1に対応する第２階層の対応点ＣＰb2の座標を（ｘb2＋１，ｙb2＋１）とする。この場合、第２階層の対応点ＣＰb2の画素値は、参照画像Ｇa2における座標(Ｘa2＋２，Ｙa2＋２)，(Ｘa2＋３，Ｙa2＋２)，(Ｘa2＋２，Ｙa2＋３)，(Ｘa2＋３，Ｙa2＋３)の４画素の画素値の平均値となり得る。このため、第１階層の候補点ＥＰa2は、座標(Ｘa2＋２，Ｙa2＋２)，(Ｘa2＋３，Ｙa2＋２)，(Ｘa2＋２，Ｙa2＋３)，(Ｘa2＋３，Ｙa2＋３)の４画素のうちの何れか１つの画素であれば良い。つまり、第１変換後参照画像Ｇb2における分解能は、参照画像Ｇa2における分解能の１／２となっている。なお、ｘb2，ｙb2，Ｘa2，Ｙa2は、任意の自然数であれば良い。ここでは、第１階層の候補点ＥＰa2が、座標(Ｘa2＋２，Ｙa2＋２)の画素である例を挙げて説明する。
【００７６】
このような場合、第１変換後参照画像Ｇb2と参照画像Ｇa2との間における分解能の比率に基づいて、参照画像Ｇa2においては、第１階層の対応点は、第１階層の候補点ＥＰa2を基準とする或る範囲内の領域（推定領域）に存在しているものと推定される。例えば、推定領域は、第１階層の候補点ＥＰa2を中心とする半径が２画素の推定領域ＥＡ２として決定され得る。この２画素は、例えば、参照画像Ｇa2における一方向の分解能を第１変換後参照画像Ｇb2における該一方向の分解能で除した値である２から求まり得る。これにより、推定領域ＥＡ２が容易に設定され得る。
【００７７】
探索基準点設定部３６３ｅは、低解像度探索処理における第２階層の対応点ＣＰb2を探索する際の基準点（第２階層の探索基準点とも言う）を第１変換後参照画像Ｇb2に設定する。例えば、図９で示されるように、第２階層の探索基準点ＳＰb2は、第２階層の候補点ＥＰb2と同位置に設定され得る。
【００７８】
また、探索基準点設定部３６３ｅは、基準画像Ｇa1と参照画像Ｇa2とを対象とする対応点の探索処理における第１階層の対応点を探索する際の基準点（第１階層の探索基準点とも言う）を参照画像Ｇa2に設定する。例えば、図８で示されるように、第１階層の探索基準点ＳＰa2は、参照画像Ｇa2のうちの推定領域ＥＡ２の外に設定され得る。但し、探索基準点ＳＰa2が推定領域ＥＡ２から外れ過ぎると、比較する領域の画像どうしが大きく異なり過ぎるため、第１階層の対応点の検出精度が低下する不具合が生じ得る。このため、例えば、図１０で示されるように、後述する第１階層の参照領域Ｗa2（図１８）に第１階層の候補点ＥＰa2が含まれる範囲内で第１階層の探索基準点ＳＰa2が設定されれば良い。
【００７９】
また、探索基準点設定部３６３ｅでは、参照画像Ｇa2のうち、第１階層の候補点ＥＰa2を通るエピポーラ線に対して垂直な方向（ズレ方向とも言う）に、第１階層の候補点ＥＰa2からずれている位置に第１階層の探索基準点ＳＰa2が設定されても良い。ここで、エピポーラ線の延伸方向は、基準画像Ｇa1を撮像する第１カメラ１と、参照画像Ｇa2を撮像する第２カメラ２との配置関係に対応する方向となる。つまり、エピポーラ線の延伸方向は、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸とが離隔している方向に対応する。
【００８０】
例えば、図１１で示されるように、基準画像Ｇa1に第１階層の基準点ＢＰa1が設定される場合、図１２で示されるように、参照画像Ｇa2において、第１階層の候補点ＥＰa2を通る一点鎖線で描かれているエピポーラ線Ｌe2が仮想的に設定され得る。そして、参照画像Ｇa2において、エピポーラ線Ｌe2に垂直な矢印Ａｒ２で示される方向に第１階層の候補点ＥＰa2からずれている位置に第１階層の探索基準点ＳＰa2が設定され得る。このような構成により、第１階層の候補点ＥＰa2から第１階層の対応点が存在していないと推定される方向にずらされた位置に第１階層の探索基準点ＳＰa2が設けられ得る。
【００８１】
また、探索基準点設定部３６３ｅでは、第１階層の探索基準点ＳＰa2が第１階層の候補点ＥＰa2からずれているズレ方向が、基準画像Ｇa1または参照画像Ｇa2に含まれる領域（被解析領域とも言う）の周波数成分の解析結果に基づいて決定されても良い。被解析領域は、例えば、基準画像Ｇa1における第１階層の基準点ＢＰa1を含む２次元領域（基準被解析領域とも言う）および参照画像Ｇa2における第１階層の候補点ＥＰa2を含む２次元領域（参照被解析領域とも言う）のうちの少なくとも一方の領域であれば良い。
【００８２】
ここでは、被解析領域に含まれる画像について周波数成分への分解が行われることで空間周波数の振幅の２次元分布が得られる。この２次元分布では、例えば、図１３で示されるように、Ｘ方向の周波数ｕとＹ方向の周波数ｖとを含む各空間周波数（ｕ，ｖ）について、横軸にｕの値、縦軸にｖの値が示される２次元空間に振幅の分布が示される。図１３では、ハッチングなどを用いた濃淡によって振幅が４段階で示されており、振幅が大ければ大きい程、濃く描かれている。そして、この２次元分布において、予め設定されている閾値以上の振幅の周波数成分が存在する頻度が最も高い一方向が認識され、参照画像Ｇa2のうちの該一方向に対応する方向がズレ方向とされれば良い。図１３では、太線の矢印で描かれる一方向が認識され、参照画像Ｇa2のうちの該一方向に対応する方向がズレ方向とされ得る。この場合、２次元分布において、参照画像Ｇa2において第１階層の候補点ＥＰa2からズレ方向にずれている位置に第１階層の探索基準点ＳＰa2が設定され得る。
【００８３】
このような構成により、第１階層の候補点ＥＰa2から画像の特徴に差が生じ易い方向に探索基準点ＳＰa2の設定位置がずらされることで、後述する相関演算に用いられる情報量が増加し得るため、第１階層の対応点の検出精度が向上し得る。
【００８４】
ところで、探索基準点設定部３６３ｅでは、参照画像Ｇa2のうち、推定領域ＥＡ２の外に第１階層の探索基準点ＳＰa2が常に設定されなくても良い。例えば、探索基準点設定部３６３ｅでは、上記空間周波数の振幅の２次元分布において、振幅の平坦度が予め設定されている平坦度よりも高い場合に、参照画像Ｇa2において推定領域ＥＡ２の外に第１階層の探索基準点ＳＰa2が設定されても良い。振幅の平坦度は、例えば、被解析領域に係る振幅の２次元分布について、それぞれの空間周波数の振幅の総和の逆数であれば良い。図１４には、空間周波数の振幅の２次元分布において、振幅の平坦度が予め設定されている平坦度よりも高い一例が示されている。これにより、例えば、コントラストが低い画像について、推定領域ＥＡ２の外に第１階層の探索基準点ＳＰa2が設定され得る。このため、不必要に第１階層の対応点の検出精度が低下する不具合が生じ難くなる。
【００８５】
基準領域設定部３６３ｆは、第１変換後基準画像Ｇb1において、第２階層の基準点ＢＰb1を基準として包含する検索ウインドウ（第２階層の基準領域とも言う）Ｗb1を設定する。例えば、図１５で示されるように、第２階層の基準領域Ｗb1は、第２階層の基準点ＢＰb1が中心または重心とされて設定されれば良い。また、基準領域設定部３６３ｆは、基準画像Ｇa1において、第１階層の基準点ＢＰa1を基準として包含する検索ウインドウ（第１階層の基準領域とも言う）Ｗa1を設定する。例えば、図１６で示されるように、第１階層の基準領域Ｗa1は、第１階層の基準点ＢＰa1が中心または重心とされて設定されれば良い。
【００８６】
参照領域設定部３６３ｇは、第１変換後参照画像Ｇb2において、第２階層の探索基準点ＳＰb2を基準として包含する検索ウインドウ（第２階層の参照領域とも言う）Ｗb2を設定する。例えば、図１７で示されるように、第２階層の参照領域Ｗb2は、第２階層の探索基準点ＳＰb2が中心または重心とされて設定されれば良い。また、参照領域設定部３６３ｇは、参照画像Ｇa2において、第１階層の探索基準点ＳＰa2を基準として包含する検索ウインドウ（第１階層の参照領域とも言う）Ｗa2を設定する。例えば、図１８で示されるように、第１階層の参照領域Ｗa2は、第１階層の探索基準点ＳＰa2が中心または重心とされて設定されれば良い。
【００８７】
演算検出部３６３ｈは、第２階層の基準領域Ｗb1と第２階層の参照領域Ｗb2とに係る相関演算を行い、該相関演算の結果に基づき、第１変換後参照画像Ｇb2において第２階層の基準点ＢＰb1に対応する第２階層の対応点ＣＰb2を検出する。また、演算検出部３６３ｈは、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とに係る相関演算を行い、該相関演算の結果に基づき、参照画像Ｇa2において第１階層の基準点ＢＰa1に対応する第１階層の対応点を検出する。
【００８８】
つまり、演算検出部３６３ｈでは、第１変換後基準画像Ｇb1と第１変換後参照画像Ｇb2との間で第２階層の基準点ＢＰb1に対応する第２階層の対応点ＣＰb2が検出される演算処理（第２階層の探索処理とも言う）が行われる。また、演算検出部３６３ｈでは、基準画像Ｇa1と参照画像Ｇa2との間で第１階層の基準点ＢＰa1に対応する第１階層の対応点が検出される演算処理（第１階層の探索処理とも言う）が行われる。
【００８９】
演算検出部３６３ｈにおける相関演算としては、例えば、位相限定相関（Phase-Only Correlation：ＰＯＣ）演算法などが採用され得る。
【００９０】
ここで、ＰＯＣ演算法を用いた第１および第２階層の探索処理の具体的な処理方法について説明する。なお、第１および第２階層の探索処理は、同様な処理であるため、ここでは、第１階層の探索処理を例に挙げて説明する。
【００９１】
図１９は、ＰＯＣ演算法を用いた第１階層の探索処理の流れを示す図である。
【００９２】
第１階層の探索処理では、第１階層の基準領域Ｗa1および第１階層の参照領域Ｗa2は、それぞれＸ方向に沿って所定数Ｎ1の画素が配列され、Ｙ方向に沿って所定数Ｎ2の画素が配列されている画像領域として取り扱われる。そして、これらの画像領域は、次の数１で表され得る。
【００９３】
【数１】
【００９４】
ここで、上記数１におけるｆ(ｘ,ｙ)は、第１階層の基準領域Ｗa1に含まれる画像（第１階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第１階層の参照領域Ｗa2に含まれる画像（第１階層の参照領域画像とも言う）を示す。また、Ｎ1およびＮ2は、例えば、Ｎ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定され得る。
【００９５】
そして、まず、第１階層の基準領域画像と第１階層の参照領域画像とに対し、下記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。
【００９６】
【数２】
【００９７】
上記数２の但し書におけるＷの添字Ｎには、Ｎ1，Ｎ2が代入され、ｕはＸ方向の周波数を示し、ｖはＹ方向の周波数を示す。このため、（ｕ，ｖ）は、２次元の空間周波数を示す。ここでは、２次元のフーリエ変換処理Ｃ１１によって、第１階層の基準領域画像が周波数成分に分解され、２次元のフーリエ変換処理Ｃ２１によって、第１階層の参照領域画像が周波数成分に分解される。これにより、第１階層の基準領域画像に係る複数の周波数成分の情報を含む周波数情報（第１階層の基準周波数情報とも言う）が得られ、第１階層の参照領域画像に係る複数の周波数成分の情報を含む周波数情報（第１階層の参照周波数情報とも言う）が得られる。
【００９８】
ここで、例えば、第１階層の基準領域画像と第１階層の参照領域画像が、Ｘ方向およびＹ方向において２のべき乗の画素数からなる矩形状の寸法を有する場合、２次元のフーリエ変換処理Ｃ１１，Ｃ２１に、ＦＦＴが採用され得る。ＦＦＴは、バタフライ演算を特徴とする高速フーリエ変換（Fast Fourier Transform）である。
【００９９】
また、上記フーリエ変換処理Ｃ１１，Ｃ２１で得られた第１階層の基準周波数情報と第１階層の参照周波数情報とに対しては、下記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第４階層の基準周波数情報から各空間周波数に係る位相情報（第１階層の基準位相情報とも言う）が抽出され、第１階層の参照周波数情報から各空間周波数に係る位相情報（第１階層の参照位相情報とも言う）が抽出される。
【０１００】
【数３】
【０１０１】
規格化処理Ｃ１２，Ｃ２２が完了すると、下記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、各空間周波数について、第１階層の基準位相情報と第１階層の参照位相情報とに基づいて位相差が算出される。
【０１０２】
【数４】
【０１０３】
その後、各空間周波数に係る位相差について、下記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その演算結果としての相関値であるＰＯＣ値が出力される。
【０１０４】
【数５】
【０１０５】
以上の処理により、第１階層の基準領域画像と第１階層の参照領域画像との相関を示す相関値としてのＰＯＣ値が得られる。例えば、図２０で示されるようなＰＯＣ値の分布が得られる。
【０１０６】
図２０では、Ｘ方向に沿って所定数Ｎ1の画素が配列され、Ｙ方向に沿って所定数Ｎ2の画素が配列される矩形の画像領域において相関が高い箇所のＰＯＣ値が大きくなる。そして、第１階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する点が、参照画像Ｇa2において第１階層の基準点ＢＰa1に対応する第１階層の対応点として検出される。
【０１０７】
このようにして、演算検出部３６３ｈでは、ＰＯＣ演算法を用いた第１階層の探索処理により、参照画像Ｇa2において第１階層の対応点が検出され得る。
【０１０８】
なお、図２０では、ＰＯＣ値の分布に係る３次元的な斜視図が示されたが、図２１〜図２３、図２７〜図２９、図３４および図３５では、ＰＯＣ値の分布が便宜的に簡略化されて一方向におけるＰＯＣ値の分布として示されている。
【０１０９】
信頼度判定部３６３ｉは、参照画像Ｇa2における第１階層の探索基準点ＳＰa2と演算検出部３６３ｈによって検出される第１階層の対応点との位置関係に基づいて、第１階層の対応点の信頼度を判定する。
【０１１０】
例えば、図２１で示されるように、参照画像Ｇa2において第１階層の探索基準点ＳＰa2と第１階層の対応点ＣＰa2とが同一となる場合が有り得る。この場合、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とにおいて対象物の特徴が殆ど捉えられていない可能性が高いものと推定され得る。このため、第１階層の対応点ＣＰa2の信頼度が低いものと判定され得る。
【０１１１】
一方、参照画像Ｇa2において第１階層の探索基準点ＳＰa2と第１階層の対応点ＣＰa2とが同一にはならない場合が有り得る。この場合、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とにおいて対象物の特徴が捉えられている可能性が高いものと推定され得る。このため、第１階層の対応点ＣＰa2の信頼度が高いものと判定され得る。
【０１１２】
また、信頼度判定部３６３ｉでは、参照画像Ｇa2における推定領域ＥＡ２と第１階層の対応点ＣＰa2との位置関係に基づいて、第１階層の対応点ＣＰa2の信頼度が判定されても良い。
【０１１３】
例えば、図２２で示されるように、第１階層の探索基準点ＳＰa2と第１階層の対応点ＣＰa2とが同一とはならず、第１階層の対応点ＣＰa2が推定領域ＥＡ２に含まれる場合が有り得る。この場合、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とにおいて、対象物の同一の特徴が捉えられている可能性が高いものと推定され得る。このため、第１階層の対応点ＣＰa2の信頼度が高いものと判定され得る。
【０１１４】
一方、第１階層の探索基準点ＳＰa2と第１階層の対応点ＣＰa2とが同一とはならないが、第１階層の対応点ＣＰa2が推定領域ＥＡ２に含まれていない場合が有り得る。この場合、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とにおいて、対象物の同一の特徴が捉えられている可能性が低いものと推定され得る。このため、第１階層の対応点ＣＰa2の信頼度が低いものと判定され得る。このような構成により、簡易に第１階層の対応点ＣＰa2の信頼度が判定され得る。
【０１１５】
また、信頼度判定部３６３ｉでは、参照画像Ｇa2における推定領域ＥＡ２から第１階層の探索基準点ＳＰa2に向かう第１方向と第１階層の探索基準点ＳＰa2から第１階層の対応点ＣＰa2に向かう第２方向との関係に基づいて、第１階層の対応点ＣＰa2の信頼度が判定されても良い。
【０１１６】
例えば、図２３で示されるように、推定領域ＥＡ２の外に第１階層の探索基準点ＳＰa2が設定され、第１階層の探索基準点ＳＰa2よりも推定領域ＥＡ２からさらに遠い位置において第１階層の対応点ＣＰa2が検出される場合が有り得る。この場合、推定領域ＥＡ２から第１階層の探索基準点ＳＰa2に向かう第１方向と、第１階層の探索基準点ＳＰa2から第１階層の対応点ＣＰa2に向かう第２方向とが同一となる。そして、この場合、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とで対象物の異なる特徴が捉えられている可能性が高いものと推定され得る。このため、第１階層の対応点ＣＰa2の信頼度が低いものと判定され得る。
【０１１７】
一方、推定領域ＥＡ２の外に第１階層の探索基準点ＳＰa2が設定され、第１階層の探索基準点ＳＰa2よりも推定領域ＥＡ２に近い位置において第１階層の対応点ＣＰa2が検出される場合が有り得る。この場合、推定領域ＥＡ２から第１階層の探索基準点ＳＰa2に向かう第１方向と、第１階層の探索基準点ＳＰa2から第１階層の対応点ＣＰa2に向かう第２方向とが同一とはならず、逆方向の関係を有する。そして、この場合、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とで対象物の同一の特徴が捉えられている可能性が高いものと推定され得る。このため、第１階層の対応点ＣＰa2の信頼度が高いものと判定され得る。これにより、容易に第１階層の対応点ＣＰa2の信頼度が判定され得る。
【０１１８】
特に、例えば、図１２で示されたように、第１階層の候補点ＥＰa2を通るエピポーラ線Ｌe2から外れている位置に第１階層の探索基準点ＳＰa2が設定される場合、該エピポーラ線Ｌe2の近傍において第１階層の対応点ＣＰa2が検出されることが好ましい。このため、仮に、第１階層の探索基準点ＳＰa2よりも第１階層の候補点ＥＰa2側に位置するエピポーラ線Ｌe2の近傍において第１階層の対応点ＣＰa2が検出される場合には、第１階層の対応点ＣＰa2の信頼度が高いものと判定され得る。このような構成により、第１階層の対応点ＣＰa2の信頼度が簡易かつ適切に判定され得る。なお、エピポーラ線Ｌe2の近傍において第１階層の対応点ＣＰa2が検出されない場合には、エピポーラ線Ｌe2の上に第１階層の探索基準点ＳＰa2を設定し直して、再度、第１階層の探索処理が行われても良い。これにより、第１階層の対応点ＣＰa2の検出精度が一旦低下しても、その検出精度の低下による不具合の発生が低減され得る。
【０１１９】
情報変更部３６４は、信頼度判定部３６３ｉによる信頼度の判定結果に基づいて、演算検出部３６３ｈによって検出された第１階層の対応点ＣＰa2に係る情報（対応点情報とも言う）を変更する処理（情報変更処理とも言う）を行う。ここで、対応点情報は、演算検出部３６３ｈによって基準画像Ｇa1の各画素について得られる。また、各対応点情報には、例えば、基準画像Ｇa1における一画素の座標と、該一画素に対応する第１階層の対応点ＣＰa2についての参照画像Ｇa2における座標とが関連付けられている情報が含まれる。そして、情報変更処理には、例えば、信頼度判定部３６３ｉによる信頼度の判定結果に基づいて対応点情報が削除される処理が含まれ得る。また、情報変更処理に、例えば、信頼度判定部３６３ｉによる信頼度の判定結果に基づく重み付け係数が対応点情報に付加される処理、および該信頼度の判定結果に基づく精度情報が対応点情報に付加される処理の何れか一方の処理が含まれても良い。
【０１２０】
具体的には、信頼度判定部３６３ｉによって信頼度が低いものと判定された第１階層の対応点ＣＰa2に係る対応点情報については、削除されても良い。また、信頼度が低いものと判定された第１階層の対応点ＣＰa2に係る対応点情報に小さな重み付け係数が付加され、信頼度が高いものと判定された第１階層の対応点ＣＰa2に係る対応点情報に大きな重み付け係数が付加されても良い。また、信頼度が低いものと判定された第１階層の対応点ＣＰa2に係る対応点情報に検出精度が低いとの精度情報が付加され、信頼度が高いものと判定された第１階層の対応点ＣＰa2に係る対応点情報に検出精度が高いとの精度情報が付加されても良い。このような構成により、簡易に得られた対応点の信頼度に関する判定結果が有効利用され得る。
【０１２１】
距離算出部３６５は、情報変更部３６４から出力される対応点情報に基づいて、第１および第２カメラ１，２から第１階層の基準点ＢＰa1で捉えられている対象物までの距離を算出する。該距離は、基準画像Ｇa1における第１階層の基準点ＢＰa1の位置と、参照画像Ｇa2における第１階層の対応点ＣＰa2の位置とのズレ量と、第１および第２カメラ１，２の内部パラメータおよび外部パラメータとに基づいて、三角測量の技術が用いられて算出される。ここで、内部パラメータには、例えば、第１および第２カメラ１，２に内蔵される光学系の焦点距離、画像中心、および撮像素子の傾きなどを示すパラメータが含まれる。また、外部パラメータには、例えば、第１カメラ１と第２カメラ２との位置関係および姿勢の関係などを示すパラメータが含まれる。
【０１２２】
図２４は、基準画像Ｇa1と参照画像Ｇa2との間における画素の対応関係から三角測量の原理に基づいて、第１および第２カメラ１，２から対象物ＯＢ１までの距離を算出する方法を模式的に示す図である。
【０１２３】
基準画像Ｇa1と参照画像Ｇa2との間で、第１階層の基準点ＢＰa1と第１階層の対応点ＣＰa2とのズレ量（視差）がΔｄであった場合、第１および第２カメラ１，２から対象物ＯＢ１までの距離Ｄは、次の式（１）から算出され得る。
【０１２４】
Ｄ＝ｆＢ／Δｄ ・・・（１）。
【０１２５】
式(１)では、基線長がＢ、第１および第２カメラ１，２のレンズにおける焦点距離がｆとされている。
【０１２６】
なお、距離算出部３６５では、情報変更部３６４において対応点情報が削除された画素についての距離Ｄが、例えば、該画素の周囲の画素について算出される距離Ｄを用いた補間演算によって算出されれば良い。また、距離算出部３６５では、情報変更部３６４において対応点情報に小さな重み付け係数が付加された画素についての距離Ｄが、該画素の周囲の画素について算出される距離Ｄを用いた補間演算によって算出されても良い。この補間演算において、周囲の各画素に係る距離Ｄは、各対応点情報に付加されている重み付け係数がそれぞれ乗じられた上で用いられても良い。この場合、重み付け係数が０であれば、対応点情報が削除されたことと同一の効果が得られる。
【０１２７】
また、距離算出部３６５では、各画素について算出された距離Ｄに、該各画素の対応点情報に付加された精度情報がそのまま付加されても良い。
【０１２８】
３次元位置検出部３６６は、基準画像Ｇa1の各注目画素について、距離算出部３６５で算出された距離Ｄを用いて、該各注目画素で捉えられた被写体の３次元位置を検出する。例えば、対象物ＯＢ１の３次元位置（Ｘ1,Ｙ1,Ｚ1）が、Ｘ1＝ｘ1×Ｄ／ｆ、Ｙ1＝ｙ1×Ｄ／ｆ、Ｚ1＝Ｄの３式によって算出されても良い。ここでは、ｘ1、ｙ1は、基準画像Ｇa1上の注目画素の座標を示す。なお、３次元位置検出部３６６では、各画素について得られた３次元位置を示す情報に、情報変更部３６４で対応点情報に付加された精度情報がそのまま付加されても良い。
【０１２９】
情報出力部３６７は、基準画像Ｇa1の各画素について、情報変更部３６４で得られた対応点情報、距離算出部３６５で得られた距離を示す情報、および３次元位置検出部３６６で得られた３次元位置などを示す各種情報を出力する。例えば、情報出力部３６７は、各種情報を、記憶部３４に出力することで該各種情報を記憶部３４に記憶させ得る。
【０１３０】
＜(３)情報処理装置の動作＞
図２５は、情報処理装置３における動作フローを例示するフローチャートである。本動作フローは、例えば、制御部３６の制御によって実現され得る。
【０１３１】
まず、図２５のステップＳｔ１では、画像取得部３６１によって、第１カメラ１から第１画像に係るデータＭ１が取得される。
【０１３２】
ステップＳｔ２では、画像取得部３６１によって、第２カメラ２から第２画像に係るデータＭ２が取得される。
【０１３３】
ステップＳｔ３では、画像生成部３６２によって、第１および第２の変換倍率に従い、基準画像Ｇa1としての第１画像の解像度が低減されて第１変換後基準画像Ｇb1が生成され、参照画像Ｇa2としての第２画像の解像度が低減されて第１変換後参照画像Ｇb2が生成される。
【０１３４】
ステップＳｔ４では、基準点設定部３６３ｂによって、基準画像Ｇa1に第１階層の基準点ＢＰa1が設定され、第１変換後基準画像Ｇb1に第２階層の基準点ＢＰb1が設定される。また、基準領域設定部３６３ｆによって、基準画像Ｇa1に第１階層の基準点ＢＰa1を基準として包含する第１階層の基準領域Ｗa1が設定され、第１変換後基準画像Ｇb1に第２階層の基準点ＢＰb1を基準として包含する第２階層の基準領域Ｗb1が設定される。
【０１３５】
ステップＳｔ５では、階層指定部３６３ａによって、第１および第２階層の画像群１Ｈｙ，２Ｈｙのうち、対応点の探索処理の対象となる第２階層の画像群２Ｈｙが指定される。
【０１３６】
ステップＳｔ６では、候補点情報取得部３６３ｃによって、第２階層の候補点ＥＰb2の位置を示す位置情報が取得される。例えば、第１変換後参照画像Ｇb2における第２階層の候補点ＥＰb2の座標は、第１変換後基準画像Ｇb1における第２階層の基準点ＢＰb1の座標と同一となり得る。
【０１３７】
ステップＳｔ７では、探索基準点設定部３６３ｅによって、第２階層の探索基準点ＳＰb2が第１変換後参照画像Ｇb2に設定される。例えば、第２階層の探索基準点ＳＰb2は、第２階層の候補点ＥＰb2と同一座標の位置に設定され得る。
【０１３８】
ステップＳｔ８では、参照領域設定部３６３ｇによって、第１変換後参照画像Ｇb2において第２階層の探索基準点ＳＰb2を基準とした第２階層の参照領域Ｗb2が設定される。
【０１３９】
ステップＳｔ９では、演算検出部３６３ｈによって、第２階層の基準領域Ｗb1と第２階層の参照領域Ｗb2とに係る相関演算が行われ、第１変換後参照画像Ｇb2において第２階層の基準点ＢＰb1に対応する第２階層の対応点ＣＰb2が検出される。続いて、ステップＳｔ１０では、基準点設定部３６３ｂによって、第２階層の基準画像Ｇb1において、対応点の探索処理の対象となる画素（被処理画素とも言う）が残っているか否かが判定される。ここで、被処理画素が残っていれば、ステップＳｔ４に戻る。そして、被処理画素がなくなるまで、ステップＳｔ４〜Ｓｔ１０の処理が繰り返される。一方、被処理画素が残っていなければ、ステップＳｔ１１に進む。
【０１４０】
ステップＳｔ１１では、階層指定部３６３ａによって、第１および第２階層の画像群１Ｈｙ，２Ｈｙのうち、対応点の探索処理の対象となる第１階層の画像群１Ｈｙが指定され、候補点情報取得部３６３ｃによって、参照画像Ｇa2における第１階層の候補点ＥＰa2の位置を示す位置情報が取得される。例えば、第１階層の候補点ＥＰa2は、ステップＳｔ９で検出された第２階層の対応点ＣＰb2と同一の対象物が捉えられている画素であれば良い。
【０１４１】
ステップＳｔ１２では、推定領域決定部３６３ｄによって、参照画像Ｇa2において第１階層の候補点ＥＰa2を基準とした推定領域ＥＡ２が決定される。
【０１４２】
ステップＳｔ１３では、探索基準点設定部３６３ｅによって、第１階層の候補点ＥＰa2の位置から第１階層の探索基準点ＳＰa2に向けたズレ方向が決定される。例えば、参照画像Ｇa2のうち、第１階層の候補点ＥＰa2を通るエピポーラ線に対して垂直な方向が、ズレ方向として設定され得る。
【０１４３】
ステップＳｔ１４では、探索基準点設定部３６３ｅによって、参照画像Ｇa2において第１階層の探索基準点ＳＰa2が設定される。例えば、ステップＳｔ１２で決定された推定領域ＥＡ２の外であって、第１階層の候補点ＥＰa2の位置からズレ方向にずれた位置に第１階層の探索基準点ＳＰa2が設定される。
【０１４４】
ステップＳｔ１５では、参照領域設定部３６３ｇによって、参照画像Ｇa2において第１階層の探索基準点ＳＰa2を基準とした第１階層の参照領域Ｗa2が設定される。
【０１４５】
ステップＳｔ１６では、演算検出部３６３ｈによって、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とに係る相関演算が行われ、その結果に基づき、参照画像Ｇa2において第１階層の基準点ＢＰa1に対応する第１階層の対応点ＣＰa2が検出される。
【０１４６】
ステップＳｔ１７では、信頼度判定部３６３ｉによって、ステップＳｔ１３で設定された第１階層の探索基準点ＳＰa2と、ステップＳｔ１６で検出された第１階層の対応点ＣＰa2との位置関係に基づいて、第１階層の対応点ＣＰa2の信頼度が判定される。
【０１４７】
ステップＳｔ１８では、情報変更部３６４によって、ステップＳｔ１７で得られた信頼度の判定結果に基づいて、ステップＳｔ１６で検出された第１階層の対応点ＣＰa2に係る対応点情報を変更する情報変更処理が行われる。
【０１４８】
ステップＳｔ１９では、基準点設定部３６３ｂによって、第１階層の基準画像Ｇa1において、対応点の探索処理の対象となる画素（被処理画素とも言う）が残っているか否かが判定される。ここで、被処理画素が残っていれば、ステップＳｔ１１に戻る。そして、被処理画素がなくなるまで、ステップＳｔ１１〜Ｓｔ１９の処理が繰り返される。一方、被処理画素が残っていなければ、本動作フローが終了される。
【０１４９】
＜(４)一実施形態のまとめ＞
以上のように、一実施形態に係る情報処理システム１００では、情報処理装置３において、例えば、第１階層の探索基準点ＳＰa2と検出された第１階層の対応点ＣＰa2とが同一であれば第１階層の対応点ＣＰa2の信頼度が低いものと判定され得る。その一方で、例えば、第１階層の探索基準点ＳＰa2と検出された第１階層の対応点ＣＰa2とが同一でなければ該第１階層の対応点ＣＰa2の信頼度が高いものと判定され得る。これにより、基準画像Ｇa1および参照画像Ｇa2が、コントラストが低い画像および自己相関が高い画像であっても、高速かつ高精度の対応点の探索が実現され得る。
【０１５０】
また、例えば、検出された第１階層の対応点ＣＰa2が、第１階層の候補点ＥＰa2が基準とされた推定領域ＥＡ２の中に位置していれば、該第１階層の候補点ＥＰa2の信頼度が高いものと判定され得る。これにより、簡易に第１階層の対応点ＣＰa2の信頼度が判定され得る。特に、意図的に推定領域ＥＡ２の外に設定された第１階層の探索基準点ＳＰa2と検出された第１階層の対応点ＣＰa2との位置関係に基づいて、該第１階層の対応点ＣＰa2の信頼度が判定されることで、第１階層の対応点ＣＰa2の信頼度が簡易かつ適確に判定され得る。
【０１５１】
＜(５)変形例＞
なお、本発明は上記一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良などが可能である。
【０１５２】
◎例えば、上記一実施形態では、第２階層の画像群２Ｈｙが対象とされた対応点の探索処理によって検出される低解像度対応点としての第２階層の対応点ＣＰb2に基づいて第１階層の候補点ＥＰa2の位置を示す位置情報が取得されたが、これに限られない。例えば、第１および第２カメラ１，２と第１および第２画像で捉えられている対象物との離隔距離を測定する部分（距離測定部とも言う）が設けられ、該距離測定部で得られる離隔距離に基づいて、第１階層の候補点ＥＰa2の位置を示す位置情報が取得されても良い。この場合、該離隔距離と、第１カメラ１と第２カメラ２との配置関係とに基づいて、第１階層の候補点ＥＰa2の位置を示す位置情報が取得され得る。
【０１５３】
ここで、距離測定部としては、例えば、第１および第２カメラ１，２の少なくとも一方に搭載されている自動合焦（ＡＦ）機能によって、第１および第２カメラ１，２と第１および第２画像で捉えられている対象物との離隔距離が測定されるものが挙げられる。また、第１カメラ１と第２カメラ２との配置関係には、第１および第２カメラ１，２の内部パラメータおよび外部パラメータが含まれ得る。
【０１５４】
ＡＦ機能は、合焦用のレンズが光軸に沿って移動することで、撮像する対象物に合焦する機能であれば良い。第１および第２カメラ１，２と対象物との距離と、合焦用のレンズの位置との関係が予め記憶部３４などに記憶されていれば、上記離隔距離は、第１および第２カメラ１，２が対象物に合焦している際における合焦用のレンズの位置に基づいて取得され得る。なお、第１および第２カメラ１，２と対象物との距離と、合焦用のレンズの位置との関係は、実験的に求められても良いし、いわゆる光学シミュレーションに基づいて求められても良い。
【０１５５】
このような構成が採用される場合、図２６で示されるように、上記一実施形態に係る情報処理装置３の候補点情報取得部３６３ｃが候補点情報取得部３６３ｃＡに置換されれば良い。この場合、候補点情報取得部３６３ｃＡでは、例えば、第１および第２カメラ１，２の少なくとも一方のＡＦ機能から距離測定部３６３ｊによって得られる離隔距離と、第１カメラ１と第２カメラ２との配置関係とに基づいて、第１階層の候補点ＥＰa2の位置を示す位置情報が取得されれば良い。このとき、図２４で示された三角測量の技術が利用されて、第１階層の候補点ＥＰa2の位置を示す位置情報が取得され得る。
【０１５６】
このような構成により、ＡＦ機能が搭載されたカメラのような別の部分で得られる情報が有効利用される。その結果、演算量の増大を極力避けつつ、簡易に対応点の信頼度が判定され得る。
【０１５７】
なお、距離測定部としては、例えば、第１および第２カメラ１，２に並設されているレーザーを用いた測距装置などといった別の構成が採用されても良い。
【０１５８】
◎また、上記一実施形態では、推定領域決定部３６３ｄによって、推定領域ＥＡ２が、第２階層の対応点の探索処理において検出される低解像度対応点に係る分解能と、第１階層の候補点ＥＰa2とに基づいて決定されたが、これに限られない。例えば、参照画像Ｇa2において、低解像度探索処理としての第２階層の探索処理における相関演算によって算出される相関値が、予め決められている条件を満たす画像領域が推定領域ＥＡ２として決定されても良い。
【０１５９】
ここで、予め決められている条件としては、例えば、第１閾値以上である第１条件、および低解像度探索処理としての第２階層の探索処理における相関演算によって算出される相関値の最大値から算出される第２閾値以上である第２条件などが採用され得る。相関値は、例えば、第２階層の探索処理で算出されるＰＯＣ値であれば良い。また、図２７で示されるように、第１閾値は、例えば、０．１であれば良い。さらに、図２８および図２９で示されるように、第２閾値は、例えば、ＰＯＣ値の最大値に予め設定されている係数（例えば０．５など）が乗ぜられた値であれば良い。
【０１６０】
これらの構成が採用されることで、低解像度の第１変換後基準画像Ｇb1と第１変換後参照画像Ｇb2との間についての対応点の検出精度が考慮されて、第１階層の候補点ＥＰa2からずれた位置に第１階層の探索基準点ＳＰa2が設定され得る。このため、推定領域ＥＡ２が容易に設定され得る。
【０１６１】
◎また、上記一実施形態では、第１階層の探索処理において、第１階層の基準領域画像と第１階層の参照領域画像とに対して直接２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われたが、これに限られない。例えば、図３０で示されるように、第１階層の基準領域画像に対して窓関数が乗じられる窓関数の乗算処理Ｃ１０が行われた後に２次元のフーリエ変換処理Ｃ１１が行われても良い。また、第１階層の参照領域画像に対して窓関数が乗じられる窓関数の乗算処理Ｃ２０が行われた後に２次元のフーリエ変換処理Ｃ２１が行われても良い。
【０１６２】
なお、窓関数としては、例えば、図３１で示されるように、第１階層の基準領域Ｗa1および第１階層の参照領域Ｗa2について、中央の値が最も大きく、周縁部に近づくにつれて値が減じるような関数が適用されれば良い。窓関数の具体例としては、ガウス窓、ハン窓、ハミング窓、ブラックマン窓およびカイザー窓などの窓関数が挙げられる。
【０１６３】
上記構成が採用される場合、基準画像Ｇa1および参照画像Ｇa2が低コントラストの画像または自己相関が高い画像であり、第１階層の候補点ＥＰa2に第１階層の探索基準点ＳＰa2が設定されると、第１階層の探索基準点ＳＰa2が第１階層の対応点ＣＰa2として誤って検出され易くなる。このため、第１階層の探索基準点ＳＰa2の位置と第１階層の対応点ＣＰa2の位置とが異なる場合に、第１階層の対応点ＣＰa2が第１階層の基準点ＢＰa1と同一の対象物を捉えている可能性が高まり得る。その結果、第１階層の対応点ＣＰa2の判定結果の確からしさが向上し得る。
【０１６４】
上記構成を別の観点から言えば、窓関数の乗算処理Ｃ１０が行われる場合、第１階層の基準領域画像に対して第１の重み付け処理が行われて重み付け後の画像（重み付け後基準領域画像とも言う）が取得され得る。また、窓関数の乗算処理Ｃ２０が行われる場合、第１階層の参照領域画像に対して第２の重み付け処理が行われて重み付け後の画像（重み付け後参照領域画像とも言う）が取得され得る。これにより、第１および第２の重み付け処理では、第１階層の基準領域画像および第１階層の参照領域画像の各画素値に重み付け係数が乗じられる。そして、演算検出部３６３ｈによって、重み付け後基準領域画像と重み付け後参照領域画像との間で相関演算が行われて、第１階層の対応点ＣＰa2が検出される。
【０１６５】
ところで、上記一実施形態では、第１階層の候補点ＥＰa2から意図的にずらされた位置に第１階層の探索基準点ＳＰa2が設定されたが、これに限られない。例えば、第２の重み付け処理が、第１の重み付け処理と比較して重み付け係数の２次元分布が一方向に偏っている処理とされても良い。すなわち、第１階層の候補点ＥＰa2を中心として、第１階層の参照領域Ｗa2を設定し、第１階層の参照領域Ｗa2の中心の位置からずれた点の値を最大とする窓関数を用いることで、同等の効果を奏し得る。そして、この構成では、第１階層の基準点ＢＰa1が基準とされた第１階層の基準領域Ｗa1と、第１階層の候補点ＥＰa2が基準とされた第１階層の参照領域Ｗa2とが同一の対象物を捉えた領域を多く含む可能性が高まり得る。その結果、相関演算の対象となる画像における特徴などの情報の欠落が抑制され、第１階層の対応点ＣＰa2の検出精度が確保され得る。
【０１６６】
ここで、一方向は、例えば、上記一実施形態で述べたズレ方向であれば良い。そして、第１の重み付け処理における重み付け係数の２次元分布については、例えば、図３１で示されるように、中央の値が最も大きく、周縁部に近づくにつれて値が減じる窓関数によって規定されれば良い。また、第２の重み付け処理における重み付け係数の２次元分布については、例えば、図３２で示されるように、第１階層の候補点ＥＰa2の位置からずれた位置の値が最も大きく、周縁部に近づくにつれて値が減じる窓関数によって規定されれば良い。
【０１６７】
なお、第２階層の探索処理についても、窓関数の乗算処理Ｃ１０，Ｃ２０が行われても良い。
【０１６８】
◎また、上記一実施形態では、第１階層の候補点ＥＰa2から意図的にずらされた位置に第１階層の探索基準点ＳＰa2が設定されたが、これに限られない。例えば、図３３で示されるように、第１階層の候補点ＥＰa2と同一の位置に第１階層の探索基準点ＳＰa2が設定されても良い。この場合、例えば、図３４で示されるように、第１階層の対応点ＣＰa2の位置が第１階層の探索基準点ＳＰa2の位置と異なっていれば、第１階層の対応点ＣＰa2の信頼度が高いものと判定されれば良い。一方、第１階層の対応点ＣＰa2の位置が第１階層の探索基準点ＳＰa2の位置と同一であれば、第１階層の対応点ＣＰa2の信頼度が低いものと判定されれば良い。このような構成が採用されても、基準画像Ｇa1および参照画像Ｇa2が、コントラストが低い画像および自己相関が高い画像の何れであっても、高速かつ高精度の対応点の探索が実現され得る。さらに、第１階層の対応点ＣＰa2が推定領域ＥＡ２に含まれていれば、第１階層の対応点ＣＰa2の信頼度が高いものと判定され、第１階層の対応点ＣＰa2が推定領域ＥＡ２に含まれていなければ、第１階層の対応点ＣＰa2の信頼度が低いものと判定されても良い。
【０１６９】
◎また、上記一実施形態では、第１階層の候補点ＥＰa2とは異なる位置に第１階層の探索基準点ＳＰa2が設定され、第１階層の探索基準点ＳＰa2と第１階層の対応点ＣＰa2との位置関係に基づいて、第１階層の対応点ＣＰa2の信頼度が判定されたが、これに限られない。例えば、第１階層の探索基準点ＳＰa2が推定領域ＥＡ２の外に設定される場合と、第１階層の探索基準点ＳＰa2が推定領域ＥＡ２の中に設定される場合とにおいて、それぞれ検出される第１階層の対応点ＣＰa2の位置関係に基づいて、第１階層の対応点ＣＰa2の信頼度が判定されても良い。ここでは、探索基準点設定部３６３ｅによって推定領域ＥＡ２の内外に第１階層の探索基準点ＳＰa2が設定され得る。また、演算検出部３６３ｈによって、各場合について、第１階層の対応点ＣＰa2が検出される。
【０１７０】
このような構成が採用されれば、例えば、推定領域ＥＡ２の外に第１階層の探索基準点ＳＰa2が設定されたか否かによって、検出される第１階層の対応点ＣＰa2の位置に差が生じるか否かといった観点から、第１階層の対応点ＣＰa2の信頼度が簡易に判定され得る。
【０１７１】
例えば、図３５で示されるように、第１階層の探索基準点ＳＰa2が推定領域ＥＡ２の外に設定される場合における第１階層の対応点ＣＰa2と、第１階層の探索基準点ＳＰa2が推定領域ＥＡ２の中に設定される場合における第１階層の対応点ＣＰa2とが同一であれば、第１階層の対応点ＣＰa2の信頼度が高いものと判定されれば良い。また、第１階層の探索基準点ＳＰa2が推定領域ＥＡ２の外に設定される場合における第１階層の対応点ＣＰa2と、第１階層の探索基準点ＳＰa2が推定領域ＥＡ２の中に設定される場合における第１階層の対応点ＣＰa2とが同一でなければ、第１階層の対応点ＣＰa2の信頼度が低いものと判定されれば良い。
【０１７２】
◎また、上記一実施形態では、第１および第２階層の探索処理においてＰＯＣ演算法を用いた相関演算が行われたが、これに限られない。相関演算に、例えば、ＰＳＡ（Phase-Difference Spectrum Analysis）法、およびＤＣＴ符号相関（Discrete Cosine Transform Sign Correlation：ＤＳＣ）演算などといったその他の相関演算が採用されても良い。また、相関演算に、ＳＡＤ（Sum of Absolute Difference）演算法が採用されても良い。相関演算にＳＡＤ演算法が採用される場合、第１および第２階層の探索基準点ＳＰa2，ＳＰb2を基準として第１および第２階層の参照領域Ｗa2，Ｗb2が一走査方向にシフトされつつ相関演算が行われれば良い。この場合、ズレ方向と一走査方向とが合致していることが好ましい。
【０１７３】
◎また、上記一実施形態では、第１および第２階層の探索処理の２段階の探索処理が行われたが、これに限られない。例えば、基準画像Ｇa1と参照画像Ｇa2とに基づいて、２段階以上に解像度が低減された画像が生成され、３段階以上の探索処理が順次に行われることで、第１階層の対応点ＣＰa2が検出されても良い。この場合にも、前の階層における探索処理の結果に基づいて、次の階層における候補点の位置を示す情報が得られれば良い。
【０１７４】
◎また、上記一実施形態では、第１階層の対応点ＣＰa2の信頼度が高低の２段階で判定されたが、これに限られない。例えば、信頼度の高低が３段階以上で判定されても良い。例えば、第１階層の対応点ＣＰa2と第１階層の探索基準点ＳＰa2とが同一であれば信頼度が低と判定されれば良い。また、第１階層の対応点ＣＰa2と第１階層の探索基準点ＳＰa2とが異なり且つ第１階層の対応点ＣＰa2が推定領域ＥＡ２に含まれていなければ、信頼度が中と判定されれば良い。さらに、第１階層の対応点ＣＰa2と第１階層の探索基準点ＳＰa2とが異なり且つ第１階層の対応点ＣＰa2が推定領域ＥＡ２に含まれていれば、信頼度が高と判定されれば良い。
【０１７５】
◎なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
【符号の説明】
【０１７６】
１ 第１カメラ
２ 第２カメラ
３ 情報処理装置
３４ 記憶部
３６ 制御部
１００ 情報処理システム
３６１ 画像取得部
３６２ 画像生成部
３６３ 対応点探索部
３６３ａ 階層指定部
３６３ｂ 基準点設定部
３６３ｃ，３６３ｃＡ 候補点情報取得部
３６３ｄ 推定領域決定部
３６３ｅ 探索基準点設定部
３６３ｆ 基準領域設定部
３６３ｇ 参照領域設定部
３６３ｈ 演算検出部
３６３ｉ 信頼度判定部
３６４ 情報変更部
３６５ 距離算出部
３６６ ３次元位置検出部
３６７ 情報出力部
ＰＧ プログラム
【技術分野】
【０００１】
本発明は、情報処理技術に関する。
【背景技術】
【０００２】
従来、２つの撮像装置によって同一の被写体を異なる視点から撮像することで得られた基準画像と参照画像との間において対応点を探索する技術が知られている。この技術では、例えば、ＳＡＤ（Sum of Absolute Difference）演算法およびＰＯＣ（Phase-Only Correlation）演算法などといった相関演算によって得られる相関度に基づき、基準画像の基準点と同一の対象物が捉えられている対応点が参照画像において探索される。
【０００３】
また、例えば、基準画像と参照画像とについて、解像度の異なる複数の画像がそれぞれ生成されて解像度別に階層化され、低解像度の上位層から高解像度の下位層に向かって相関演算を用いた対応点の探索が順次に繰り返される処理が知られている。この処理では、低解像度の上位層で得られた対応点に基づいて次の階層における探索の基準となる点が決定されるため、最高解像度の最下層までの演算処理に要する時間が短縮され得る。
【０００４】
そして、対応点の探索精度の向上を図るための種々の技術が提案されている。
【０００５】
例えば、低解像度の上位層における対応点の探索結果を基に算出された対応点の探索精度を示す信頼度が所定値よりも低い場合には、参照画像上の別の点に変更された対応点を基に、高解像度の下位層の参照画像における初期探索点が決定される技術が提案されている（例えば、特許文献１など）。この技術では、信頼度として、相関演算で得られる相関値、基準画像における基準ウインドウ内の画像のコントラスト値、バックマッチング法で求まる探索の成功と失敗に応じた２値、または基準画像の注目点に応じたエピポーララインを基に参照画像に設定されるエピポーララインと対応点との距離が採用され得る。
【０００６】
また、サブピクセルの分解能で探索された注目階層の対応点に基づいて、相対的に高解像度の１つ下位の階層の参照画像に探索の基準となる点（探索基準点とも言う）が設定される技術が提案されている（例えば、特許文献２など）。さらに、低解像度の画像から算出された視差値についてその信頼度を求め、この信頼度に基づいて、高解像度の画像における視差を算出するための対応点探索のウインドウサイズを設定する技術が提案されている（例えば、特許文献３など）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２８２７６２号公報
【特許文献２】特開２０１１−０１３０６６号公報
【特許文献３】特開２００９−０９２５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１〜３の技術では、コントラストが低い画像および類似のパターンが繰り返される様な自己相関が高い画像について対応点を探索する場合には、誤った位置であっても相関値が高く算出され易く、対応点の探索精度が確保され難い。特に、相関演算が行われる際に、窓関数などが用いられて探索基準点の近傍に係る画素値に重み付けが行われる場合には、誤った位置であっても探索基準点が対応点として検出され易い。また、相関値以外の値を信頼度として算出する態様では、演算量の増大を招き、対応点の探索速度の低下を招く。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、コントラストが低い画像および自己相関が高い画像が対象であっても、高速かつ高精度の対応点の探索が実現され得る技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、第１の態様に係る情報処理装置は、第１画像および第２画像を取得する画像取得部と、前記第１画像に基準点を設定する第１設定部と、前記第２画像に探索基準点を設定する第２設定部と、前記第１画像において前記基準点を基準として設けられる基準領域と、前記第２画像において前記探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、前記第２画像において前記基準点に対応する対応点を検出する検出部と、前記第２画像における前記探索基準点と前記対応点との位置関係に基づいて、前記対応点の信頼度を判定する判定部と、を備える。
【００１１】
第２の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、前記第２画像において前記対応点が存在すると推定される推定領域を決定する決定部、をさらに備え、前記第２設定部が、前記第２画像において前記推定領域の外に前記探索基準点を設定する。
【００１２】
第３の態様に係る情報処理装置は、第１画像および第２画像を取得する画像取得部と、前記第１画像に基準点を設定する第１設定部と、前記第２画像に探索基準点を設定する第２設定部と、前記第１画像において前記基準点を基準として設けられる基準領域と、前記第２画像において前記探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、前記第２画像において前記基準点に対応する対応点を検出する検出部と、前記第２画像において前記対応点が存在すると推定される推定領域を決定する決定部と、前記第２画像における前記推定領域と前記対応点との位置関係に基づいて、前記信頼度を判定する判定部と、を備える。
【００１３】
第４の態様に係る情報処理装置は、第３の態様に係る情報処理装置であって、前記第２設定部が、前記第２画像において前記推定領域の外に前記探索基準点を設定する。
【００１４】
第５の態様に係る情報処理装置は、第２から第４の何れか１つの態様に係る情報処理装置であって、前記判定部が、前記第２画像における前記推定領域から前記探索基準点に向かう第１方向と前記探索基準点から前記対応点に向かう第２方向との関係に基づいて、前記信頼度を判定する。
【００１５】
第６の態様に係る情報処理装置は、第２から第５の何れか１つの態様に係る情報処理装置であって、前記第２画像における前記対応点の候補点の位置情報を取得する情報取得部、をさらに備える。
【００１６】
第７の態様に係る情報処理装置は、第６の態様に係る情報処理装置であって、前記決定部は、前記第２画像において前記候補点を基準として前記推定領域を設定する。
【００１７】
第８の態様に係る情報処理装置は、第６または第７の態様に係る情報処理装置であって、前記第２設定部が、前記参照領域に前記候補点が含まれるように前記探索基準点を設定する。
【００１８】
第９の態様に係る情報処理装置は、第６から第８の何れか１つの態様に係る情報処理装置であって、前記第２設定部が、前記第２画像において、前記候補点を通る仮想的なエピポーラ線に対して垂直な方向に前記候補点からずれている位置に前記探索基準点を設定し、前記仮想的なエピポーラ線の延伸方向が、前記第１画像を撮像する第１撮像部と前記第２画像を撮像する第２撮像部との配置関係に対応する方向である。
【００１９】
第１０の態様に係る情報処理装置は、第６から第８の何れか１つの態様に係る情報処理装置であって、前記第２設定部が、前記第１画像における前記基準点を含む２次元領域、および前記第２画像における前記候補点を含む２次元領域のうちの少なくとも一方の領域についての周波数成分への分解によって得られる空間周波数の振幅の２次元分布において、予め設定される閾値以上の振幅の周波数成分が存在する頻度が最も高い一方向を認識し、前記第２画像において前記一方向に対応する方向に前記候補点からずれている位置に前記探索基準点を設定する。
【００２０】
第１１の態様に係る情報処理装置は、第６から第８の何れか１つの態様に係る情報処理装置であって、前記第２設定部が、前記第１画像における前記基準点を含む２次元領域、および前記第２画像における前記候補点を含む２次元領域のうちの少なくとも一方の領域についての周波数成分への分解によって得られる空間周波数の振幅の２次元分布において、振幅の平坦度が予め設定される平坦度よりも高い場合に、前記第２画像において前記推定領域の外に前記探索基準点を設定する。
【００２１】
第１２の態様に係る情報処理装置は、第１０の態様に係る情報処理装置であって、前記第２設定部が、前記空間周波数の振幅の２次元分布において、振幅の平坦度が予め設定される平坦度よりも高い場合に、前記第２画像において前記推定領域の外に前記探索基準点を設定する。
【００２２】
第１３の態様に係る情報処理装置は、第２から第１２の何れか１つの態様に係る情報処理装置であって、前記検出部が、前記第２設定部によって前記第２画像における前記推定領域の外に前記探索基準点が設定される場合に前記検出部によって検出される前記対応点と、前記第２設定部によって前記第２画像における前記推定領域の中に前記探索基準点が設定される場合に前記検出部によって検出される前記対応点との位置関係に基づいて、前記信頼度を判定する。
【００２３】
第１４の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、前記第２画像における前記対応点の候補点の位置情報を取得する情報取得部、をさらに備え、前記検出部が、前記基準領域に対して第１の重み付け処理を行って重み付け後基準領域画像を得るとともに、前記参照領域に対して前記第１の重み付け処理よりも重み付け係数の２次元分布が前記候補点に応じた方向に偏っている第２の重み付け処理を行うことで重み付け後参照領域画像を得て、前記重み付け後基準領域画像と前記重み付け後参照領域画像とに係る相関演算の結果に基づき、前記第２画像において前記対応点を検出する。
【００２４】
第１５の態様に係る情報処理装置は、第１４の態様に係る情報処理装置であって、前記第２画像において前記対応点が存在すると推定される推定領域を決定する決定部、をさらに備え、前記判定部が、前記第２画像における前記推定領域と前記対応点との位置関係に基づいて、前記信頼度を判定する。
【００２５】
第１６の態様に係る情報処理装置は、第６から第１５の何れか１つの態様に係る情報処理装置であって、前記検出部が、前記第１画像の解像度が低減されて得られる第１低解像度画像と前記第２画像の解像度が低減されて得られる第２低解像度画像との間で、前記第１低解像度画像において前記基準点と同一の対象物が捉えられている低解像度基準点を基準として設けられる低解像度基準領域と、前記第２低解像度画像において設けられる低解像度参照領域とに係る相関演算の結果に基づいて、前記第２低解像度画像において前記低解像度基準点に対応する低解像度対応点を探索する低解像度探索処理を行い、前記情報取得部が、前記第２画像における前記低解像度対応点に対応する点の位置を示す情報を前記位置情報として取得する。
【００２６】
第１７の態様に係る情報処理装置は、第１６の態様に係る情報処理装置であって、前記決定部が、前記低解像度探索処理における前記低解像度対応点に係る分解能と、前記候補点とに基づいて前記推定領域を決定する。
【００２７】
第１８の態様に係る情報処理装置は、第１６の態様に係る情報処理装置であって、前記決定部が、前記第２画像において、前記低解像度探索処理における相関演算によって算出される相関値が予め決められている条件を満たす画像領域を前記推定領域として決定する。
【００２８】
第１９の態様に係る情報処理装置は、第６から第１８の何れか１つの態様に係る情報処理装置であって、前記情報取得部が、前記第１画像を撮像する第１撮像部と前記第２画像を撮像する第２撮像部との配置関係と、距離測定部によって得られる前記第１および第２撮像部から前記第１および第２画像で捉えられている対象物までの離隔距離とに基づいて、前記位置情報を取得する。
【００２９】
第２０の態様に係る情報処理装置は、第１から第１９の何れか１つの態様に係る情報処理装置であって、前記判定部による前記信頼度の判定結果に基づいて、前記検出部によって検出される前記対応点に係る対応点情報を変更する情報変更部、をさらに備える。
【００３０】
第２１の態様に係る情報処理装置は、第２０の態様に係る情報処理装置であって、前記情報変更部が、前記判定結果に基づく前記対応点情報の削除、前記判定結果に基づく重み付け係数の前記対応点情報に対する付加、および前記判定結果に基づく精度情報の前記対応点情報に対する付加、のうちの少なくとも１つの処理を行う。
【００３１】
第２２の態様に係る情報処理方法は、(a)画像取得部によって、第１画像を取得するステップと、(b)前記画像取得部によって、第２画像を取得するステップと、(c)第１設定部によって、前記第１画像に基準点を設定するステップと、(d)第２設定部によって、前記第２画像に探索基準点を設定するステップと、(e)検出部によって、前記第１画像において前記基準点を基準として設けられる基準領域と、前記第２画像において前記探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、前記第２画像において前記基準点に対応する対応点を検出するステップと、(f)判定部によって、前記第２画像における前記探索基準点と前記対応点との位置関係に基づいて、前記対応点の信頼度を判定するステップと、を備える。
【００３２】
第２３の態様に係るプログラムは、情報処理装置に含まれる制御部において実行されることにより、前記情報処理装置を、第１から第２１の何れか１つの態様に係る情報処理装置として機能させる。
【発明の効果】
【００３３】
第１、第２および第５から第２１の何れの態様に係る情報処理装置であっても、例えば、探索基準点と検出された対応点とが同一であれば該対応点の信頼度が低いものと判定され、同一でなければ該対応点の信頼度が高いものと判定され得るなどといった判定手法が実現され得る。したがって、コントラストが低い画像および自己相関が高い画像が対象であっても、高速かつ高精度の対応点の探索が実現され得る。
【００３４】
第３および第１５の何れの態様に係る情報処理装置によっても、例えば、検出された対応点が推定領域内であれば該対応点の信頼度が高いものと判定され得る。このため、簡易に対応点の信頼度が判定され得る。
【００３５】
第２および第４の何れの態様に係る情報処理装置によっても、意図的に推定領域の外に設定された探索基準点と検出された対応点との位置関係に基づいて対応点の信頼度が簡易かつ適確に判定され得る。
【００３６】
第５の態様に係る情報処理装置によれば、例えば、対応点が探索基準点を基準として推定領域とは逆側に検出されれば該対応点の信頼度が低いものと判定され得るなどといった判定手法が実現され得る。このため、対応点の信頼度が簡易に判定され得る。
【００３７】
第８の態様に係る情報処理装置によれば、推定領域からの探索基準点のずらし過ぎによって対応点の検出精度が低下する不具合が低減され得る。すなわち、対応点の検出精度が確保され得る。
【００３８】
第９の態様に係る情報処理装置によれば、候補点から対応点が存在しないと推定される方向にずらされた位置に探索基準点が設けられることで、例えば、探索基準点よりも候補点側に対応点が検出された場合における対応点の確からしさが向上し得る。このため、対応点の信頼度が簡易かつ適切に判定され得る。
【００３９】
第１０の態様に係る情報処理装置によれば、対応点の候補点から画像の特徴に差が生じ易い方向に探索基準点がずらされることで、相関演算に用いられる情報量が確保され得る。これにより、対応点の検出精度が向上し得る。
【００４０】
第１１および第１２の何れの態様に係る情報処理装置によっても、例えば、コントラストが低い画像についてのみ、推定領域の外に探索基準点が設定され得る。このため、不必要に対応点の検出精度が低下する不具合が生じ難くなる。
【００４１】
第１３の態様に係る情報処理装置によれば、例えば、推定領域の外に探索基準点がずらされている場合とずらされていない場合とで、検出される対応点の位置に差があるか否かなどによって、対応点の信頼度が判定され得る。したがって、対応点の信頼度が簡易に判定され得る。
【００４２】
第１４の態様に係る情報処理装置によれば、基準点が基準とされた画像領域と探索基準点が基準とされた画像領域とが同一の対象物を捉えた領域を多く含む確率が高まり得る。このため、相関演算の対象となる画像における特徴などに係る情報の欠落が抑制され、対応点の検出精度が確保され得る。
【００４３】
第１６の態様に係る情報処理装置によれば、低解像度の画像間についての対応点の検出結果が利用されて対応点の候補点の情報が得られるため、演算量の増大が抑制され得る。
【００４４】
第１７の態様に係る情報処理装置によれば、低解像度の画像間についての対応点の検出処理における対応点に係る分解能を用いることにより、適切な推定領域が容易に設定され得る。
【００４５】
第１８の態様に係る情報処理装置によれば、低解像度の画像間についての対応点の検出精度を考慮することにより、適切な推定領域が容易に設定され得る。
【００４６】
第１９の態様に係る情報処理装置によれば、例えば、自動合焦機能が搭載されたカメラのような別の部分で得られる情報が有効利用され得る。これにより、演算量の増大を極力避けつつ、簡易に対応点の信頼度が判定され得る。
【００４７】
第２０および第２１の何れの態様に係る情報処理装置によっても、簡易に得られた対応点の信頼度に関する判定結果が有効利用され得る。
【００４８】
第２２の態様に係る情報処理方法によれば、第１の態様に係る情報処理装置と同様な効果が得られる。
【００４９】
第２３の態様に係るプログラムによれば、第１から第２１の態様に係る情報処理装置と同様な効果が得られる。
【図面の簡単な説明】
【００５０】
【図１】一実施形態に係る情報処理システムの概略構成を例示する図である。
【図２】一実施形態に係る情報処理装置の構成を示すブロック図である。
【図３】第１および第２画像に係る２段階の解像度の画像群を例示する図である。
【図４】第１階層の基準点の設定態様を例示する図である。
【図５】第２階層の基準点の設定態様を例示する図である。
【図６】第２階層の候補点を例示する図である。
【図７】第１階層の候補点を例示する図である。
【図８】推定領域の決定方法を説明するための模式図である。
【図９】第２階層の探索基準点の設定態様を例示する図である。
【図１０】第１階層の探索基準点の設定態様を例示する図である。
【図１１】第１階層の探索基準点の候補点からのズレ方向を説明するための図である。
【図１２】第１階層の探索基準点の候補点からのズレ方向を説明するための図である。
【図１３】第１階層の探索基準点の候補点からのズレ方向を説明するための図である。
【図１４】探索基準点を候補点からずらすか否かの判定方法を説明するための図である。
【図１５】第２階層の基準領域の設定態様を例示する図である。
【図１６】第１階層の基準領域の設定態様を例示する図である。
【図１７】第２階層の参照領域の設定態様を例示する図である。
【図１８】第１階層の参照領域の設定態様を例示する図である。
【図１９】ＰＯＣ演算法を用いた探索処理の流れを示す図である。
【図２０】ＰＯＣ値の分布を例示する図である。
【図２１】ＰＯＣ値の分布と探索基準点と対応点との関係を例示する図である。
【図２２】ＰＯＣ値の分布と探索基準点と対応点との関係を例示する図である。
【図２３】ＰＯＣ値の分布と探索基準点と対応点との関係を例示する図である。
【図２４】三角測量の原理を用いた測距方法を説明するための図である。
【図２５】情報処理装置における動作フローを例示するフローチャートである。
【図２６】一変形例に係る情報処理装置の構成を示すブロック図である。
【図２７】一変形例に係る推定領域の決定方法を説明するための模式図である。
【図２８】一変形例に係る推定領域の決定方法を説明するための模式図である。
【図２９】一変形例に係る推定領域の決定方法を説明するための模式図である。
【図３０】一変形例に係るＰＯＣ演算法を用いた探索処理の流れを示す図である。
【図３１】一変形例に係る窓関数を例示する図である。
【図３２】一変形例に係る窓関数を例示する図である。
【図３３】一変形例に係る第１階層の探索基準点の設定態様を例示する図である。
【図３４】一変形例に係るＰＯＣ値の分布と探索基準点と対応点との関係を例示する図である。
【図３５】一変形例に係るＰＯＣ値の分布と探索基準点と対応点との関係を例示する図である。
【発明を実施するための形態】
【００５１】
以下、本発明の一実施形態を図面に基づいて説明する。なお、図面においては同様な構成および機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、各図における各種構造のサイズおよび位置関係などは正確に図示されたものではない。
【００５２】
＜(１)情報処理システムの概略構成＞
図１は、一実施形態に係る情報処理システム１００の概略構成を示す図である。情報処理システム１００は、第１カメラ１と第２カメラ２と情報処理装置３とを備えている。第１カメラ１は通信回線Ｌ１を介して情報処理装置３に対してデータ伝送可能に接続され、第２カメラ２は通信回線Ｌ２を介して情報処理装置３に対してデータ伝送可能に接続されている。通信回線Ｌ１，Ｌ２は、有線回線および無線回線の何れであっても良い。
【００５３】
第１および第２カメラ１，２は、被写体を撮像することで画像をそれぞれ取得する撮像装置である。これらの第１および第２カメラ１，２は、一方向に並んで配置されている。一方向は、例えば、水平方向であれば良い。一方向が水平方向である場合、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸とが水平方向に離隔している。そして、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸とが離隔している距離が、第１および第２カメラ１，２に係る基線長である。なお、ここでは、撮像の被写体の方向を向いた場合、第１カメラ１が第２カメラ２の左方に配置されている。
【００５４】
また、第１および第２カメラ１，２は、例えば、撮像素子によって、カメラの正面に位置する被写体を、同じタイミングで相互に異なる視点から撮像することで、いわゆるステレオ画像を取得する。つまり、ステレオ画像は、第１カメラ１の撮像によって取得される画像（第１画像とも言う）と、第２カメラ２の撮像によって取得される画像（第２画像とも言う）とを含む。第１画像に係るデータＭ１と第２画像に係るデータＭ２は、第１および第２カメラ１，２から通信回線Ｌ１，Ｌ２を介して情報処理装置３に送信され得る。
【００５５】
情報処理装置３は、例えば、パーソナルコンピュータ（パソコン）であれば良く、操作部３１、表示部３２、インターフェース（Ｉ／Ｆ）部３３、記憶部３４、入出力（Ｉ／Ｏ）部３５、および制御部３６を備えている。
【００５６】
操作部３１は、例えば、マウスおよびキーボードを含む。表示部３２は、例えば、液晶ディスプレイを含む。Ｉ／Ｆ部３３は、例えば、第１および第２カメラ１，２と情報処理装置３との間におけるデータの授受を行う。記憶部３４は、例えば、ハードディスクなどを含み、プログラムＰＧおよび各種データを格納する。Ｉ／Ｏ部３５は、例えば、ディスクドライブを備え、光ディスクなどの記憶媒体４を受け付けて該記憶媒体４と制御部３６との間におけるデータの授受を行う。制御部３６は、例えば、プロセッサーとして働くＣＰＵ３６ａ、および情報を一時的に記憶するメモリー３６ｂなどを含む。この制御部３６は、記憶部３４に格納されているプログラムＰＧを読み込んで実行することで、情報処理装置３の各種機能および情報処理などを実現する。そして、制御部３６における各種情報処理によって一時的に得られる各種情報は、メモリー３６ｂなどに記憶される。
【００５７】
なお、本実施形態では、説明を簡素化するために、第１および第２カメラ１，２における収差が良好に補正されており、且つ第１および第２カメラ１，２は、略平行に設定されている。つまり、第１および第２カメラ１，２の光軸が略平行に設定され、第１および第２画像で捉えられた被写体は、第１および第２画像の外縁に対して略同一の角度関係を有する。但し、実際の第１および第２カメラ１，２が、このような条件にない場合は、画像処理によって同等の条件で撮像されたものと同視されるステレオ画像が得られれば良い。
【００５８】
＜(２)情報処理装置における主要な構成＞
図２は、本実施形態に係る情報処理装置３の主要部の構成を示すブロック図である。図２では、対応点の探索処理および該処理による探索結果を用いた演算処理に係る構成が示されている。ここで、対応点の探索処理は、第１および第２カメラ１，２で得られる第１画像と第２画像との間で同一の対象物を捉えた画素の対応関係を探索する処理である。なお、対応点の探索処理では、第１画像が基準となる画像（基準画像とも言う）Ｇa1として用いられ、第２画像が参照される画像（参照画像とも言う）Ｇa2として用いられる。
【００５９】
制御部３６は、プログラムＰＧの実行によって実現される構成として、画像取得部３６１、画像生成部３６２、対応点探索部３６３、情報変更部３６４、距離算出部３６５、３次元位置検出部３６６、および情報出力部３６７を備えている。
【００６０】
画像取得部３６１は、第１カメラ１から第１画像に係るデータＭ１を取得し、第２カメラ２から第２画像に係るデータＭ２を取得する。第１画像と第２画像については、解像度が同一であることが好ましい。ここで、解像度は、画像において描かれている対象物がどこまで詳しく描写されているかを意味する。そして、ここでは、解像度が同一とは、画像における横方向の画素数が同一であり、縦方向の画素数が同一であることを意味する。
【００６１】
画像生成部３６２は、予め設定されている変換倍率にしたがって、基準画像Ｇa1としての第１画像の解像度を低減して第１低解像度画像としての第１変換後基準画像Ｇb1を生成する。また、画像生成部３６２は、予め設定されている変換倍率にしたがって、参照画像Ｇa2としての第２画像の解像度を低減して第２低解像度画像としての第１変換後参照画像Ｇb2を生成する。例えば、基準画像Ｇa1の解像度が第１の変換倍率で低減されることで第１変換後基準画像Ｇb1が生成され、参照画像Ｇa2の解像度が第２の変換倍率で低減されることで第１変換後参照画像Ｇb2が生成され得る。
【００６２】
ここで、解像度を低減することは、例えば、画像の横方向および縦方向の画素数を低減して、同一の対象物を含む粗い画質の画像に変換することを意味する。また、第１，２の変換倍率は、変換後の画像の横方向における画素数を変換前の画像の横方向における画素数で除した数値、および変換後の画像の縦方向における画素数を変換前の画像の縦方向における画素数で除した数値を示す。例えば、これらの変換倍率は、１／ｎ（ｎは１よりも大きな任意の数）で表される。１／ｎは、例えば、１／２などであれば良い。なお、これらの変換倍率は、画像の横方向と縦方向との間で同一であっても異なっていても良い。但し、第１の変換倍率と第２の変換倍率とが同一であることが好ましい。
【００６３】
第１および第２の変換倍率が１／２である場合、例えば、基準画像Ｇa1および参照画像Ｇa2には、Ｘ方向に６４０個およびＹ方向に４８０個の画素が格子状に配列され得る。そして、第１変換後基準画像Ｇb1および第１変換後参照画像Ｇb2には、Ｘ方向に３２０個およびＹ方向に２４０個の画素が格子状に配列され得る。この場合、第１変換後基準画像Ｇb1および第１変換後参照画像Ｇb2における座標（ｘ，ｙ）の画素の画素値は、例えば、基準画像Ｇa1および参照画像Ｇa2における座標（２ｘ，２ｙ），（２ｘ＋１，２ｙ），（２ｘ，２ｙ＋１），（２ｘ＋１，２ｙ＋１）の４画素の画素値の平均値とされ得る。なお、ｘ，ｙは、任意の自然数であれば良い。
【００６４】
これにより、図３で示されるように、基準画像Ｇa1について、基準画像Ｇa1と第１変換後基準画像Ｇb1とを含む２段階の解像度の画像群ＧＲ１が生成される。また、参照画像Ｇa2について、参照画像Ｇa2と第１変換後参照画像Ｇb2とを含む２段階の解像度の画像群ＧＲ２が生成される。別の観点から言えば、基準画像Ｇa1と参照画像Ｇa2とを含む第１階層の画像群１Ｈｙから、第１変換後基準画像Ｇb1と第１変換後参照画像Ｇb2とを含む第２階層の画像群２Ｈｙが生成される。
【００６５】
なお、基準画像Ｇa1、参照画像Ｇa2、第１変換後基準画像Ｇb1および第１変換後参照画像Ｇb2では、左上の画素が原点とされ、右方がＸ方向とされ、下方がＹ方向とされる。つまり、基準画像Ｇa1、参照画像Ｇa2、第１変換後基準画像Ｇb1および第１変換後参照画像Ｇb2における各画素は、ＸおよびＹの座標によって表現され得る。
【００６６】
対応点探索部３６３は、基準画像Ｇa1の各画素について同一の対象物を捉えた画素（対応点とも言う）を参照画像Ｇa2において探索するとともに、探索結果としての対応点がどの程度精度良く求められたのかを示す指標としての信頼度を求める。この対応点探索部３６３は、階層指定部３６３ａ、第１設定部としての基準点設定部３６３ｂ、情報取得部としての候補点情報取得部３６３ｃ、決定部としての推定領域決定部３６３ｄ、第２設定部としての探索基準点設定部３６３ｅ、基準領域設定部３６３ｆ、参照領域設定部３６３ｇ、検出部としての演算検出部３６３ｈおよび判定部としての信頼度判定部３６３ｉを備えている。
【００６７】
階層指定部３６３ａは、第１および第２階層の画像群１Ｈｙ，２Ｈｙのうち、対応点の探索処理の対象となる階層の画像群を指定する。
【００６８】
基準点設定部３６３ｂは、図４および図５で示されるように、基準画像Ｇa1に探索の基準となる画素（第１階層の基準点とも言う）ＢＰa1を設定し、第１変換後基準画像Ｇb1に探索の基準となる画素（第２階層の基準点とも言う）ＢＰb1を設定する。具体的には、基準画像Ｇa1において第１階層の基準点ＢＰa1が設定され、第１変換後基準画像Ｇb1において第１階層の基準点ＢＰa1と同一の対象物が捉えられている画素が第２階層の基準点ＢＰb1として設定される。
【００６９】
候補点情報取得部３６３ｃは、図６で示されるように、第１変換後参照画像Ｇb2のうち、第２階層の基準点ＢＰb1と同一の対象物が捉えられている画素（第２階層の対応点）の候補（第２階層の候補点とも言う）ＥＰb2の位置を示す位置情報を取得する。
【００７０】
例えば、第２階層の候補点ＥＰb2は、第１変換後基準画像Ｇb1における第２階層の基準点ＢＰb1と予め設定されている位置関係を有する。この位置関係は、例えば、第１変換後基準画像Ｇb1における第２階層の基準点ＢＰb1の位置と、第１変換後参照画像Ｇb2における第２階層の候補点ＥＰb2の位置とが同一である関係などであれば良い。また、この位置関係は、例えば、第２カメラ２から第１カメラ１に至る基線長の延伸方向に対応する画像上の一方向において、予め設定された数の画素ずれた関係であっても良い。この一方向は、例えば、−Ｘ方向であれば良い。
【００７１】
また、候補点情報取得部３６３ｃは、図７で示されるように、参照画像Ｇa2のうち、第１階層の基準点ＢＰa1と同一の対象物が捉えられている画素（第１階層の対応点）の候補（第１階層の候補点とも言う）ＥＰa2の位置を示す位置情報を取得する。例えば、第１階層の候補点ＥＰa2は、第２階層の画像群２Ｈｙが対象とされた対応点の探索処理によって第２階層の基準点（低解像度基準点とも言う）ＢＰb1と同一の対象物が捉えられている画素として検出される第２階層の対応点（低解像度対応点とも言う）に対応する画素であれば良い。このように、相対的に低解像度の画像間についての対応点の探索処理（低解像度探索処理とも言う）における対応点の検出結果が利用されて第１階層の候補点の情報が得られれば、演算量の増大が抑制され得る。
【００７２】
推定領域決定部３６３ｄは、参照画像Ｇa2において第１階層の候補点ＥＰa2を基準として第１階層の対応点が存在するものと推定される領域（推定領域とも言う）を決定する。例えば、推定領域は、第２階層の対応点の探索処理において検出される低解像度対応点に係る分解能と、第１階層の候補点ＥＰa2とに基づいて決定される。
【００７３】
図８には、推定領域の決定方法が模式的に示されている。ここでは、画像生成部３６２における第１および第２の変換倍率が１／２である一例を挙げて説明する。
【００７４】
例えば、基準画像Ｇa1における第１階層の基準点ＢＰa1の座標を（Ｘa1＋２，Ｙa1＋２）とし、第１変換後基準画像Ｇb1における第２階層の基準点ＢＰb1の座標を（ｘb1＋１，ｙb1＋１）とする。なお、Ｘa1，Ｙa1，ｘb1，ｙb1は、任意の自然数であれば良い。この場合、第２階層の基準点ＢＰb1の画素値は、基準画像Ｇa1における座標(Ｘa1＋２，Ｙa1＋２)，(Ｘa1＋３，Ｙa1＋２)，(Ｘa1＋２，Ｙa1＋３)，(Ｘa1＋３，Ｙa1＋３)の４画素の画素値の平均値となり得る。
【００７５】
ここで、第２階層の基準点ＢＰb1に対応する第２階層の対応点ＣＰb2の座標を（ｘb2＋１，ｙb2＋１）とする。この場合、第２階層の対応点ＣＰb2の画素値は、参照画像Ｇa2における座標(Ｘa2＋２，Ｙa2＋２)，(Ｘa2＋３，Ｙa2＋２)，(Ｘa2＋２，Ｙa2＋３)，(Ｘa2＋３，Ｙa2＋３)の４画素の画素値の平均値となり得る。このため、第１階層の候補点ＥＰa2は、座標(Ｘa2＋２，Ｙa2＋２)，(Ｘa2＋３，Ｙa2＋２)，(Ｘa2＋２，Ｙa2＋３)，(Ｘa2＋３，Ｙa2＋３)の４画素のうちの何れか１つの画素であれば良い。つまり、第１変換後参照画像Ｇb2における分解能は、参照画像Ｇa2における分解能の１／２となっている。なお、ｘb2，ｙb2，Ｘa2，Ｙa2は、任意の自然数であれば良い。ここでは、第１階層の候補点ＥＰa2が、座標(Ｘa2＋２，Ｙa2＋２)の画素である例を挙げて説明する。
【００７６】
このような場合、第１変換後参照画像Ｇb2と参照画像Ｇa2との間における分解能の比率に基づいて、参照画像Ｇa2においては、第１階層の対応点は、第１階層の候補点ＥＰa2を基準とする或る範囲内の領域（推定領域）に存在しているものと推定される。例えば、推定領域は、第１階層の候補点ＥＰa2を中心とする半径が２画素の推定領域ＥＡ２として決定され得る。この２画素は、例えば、参照画像Ｇa2における一方向の分解能を第１変換後参照画像Ｇb2における該一方向の分解能で除した値である２から求まり得る。これにより、推定領域ＥＡ２が容易に設定され得る。
【００７７】
探索基準点設定部３６３ｅは、低解像度探索処理における第２階層の対応点ＣＰb2を探索する際の基準点（第２階層の探索基準点とも言う）を第１変換後参照画像Ｇb2に設定する。例えば、図９で示されるように、第２階層の探索基準点ＳＰb2は、第２階層の候補点ＥＰb2と同位置に設定され得る。
【００７８】
また、探索基準点設定部３６３ｅは、基準画像Ｇa1と参照画像Ｇa2とを対象とする対応点の探索処理における第１階層の対応点を探索する際の基準点（第１階層の探索基準点とも言う）を参照画像Ｇa2に設定する。例えば、図８で示されるように、第１階層の探索基準点ＳＰa2は、参照画像Ｇa2のうちの推定領域ＥＡ２の外に設定され得る。但し、探索基準点ＳＰa2が推定領域ＥＡ２から外れ過ぎると、比較する領域の画像どうしが大きく異なり過ぎるため、第１階層の対応点の検出精度が低下する不具合が生じ得る。このため、例えば、図１０で示されるように、後述する第１階層の参照領域Ｗa2（図１８）に第１階層の候補点ＥＰa2が含まれる範囲内で第１階層の探索基準点ＳＰa2が設定されれば良い。
【００７９】
また、探索基準点設定部３６３ｅでは、参照画像Ｇa2のうち、第１階層の候補点ＥＰa2を通るエピポーラ線に対して垂直な方向（ズレ方向とも言う）に、第１階層の候補点ＥＰa2からずれている位置に第１階層の探索基準点ＳＰa2が設定されても良い。ここで、エピポーラ線の延伸方向は、基準画像Ｇa1を撮像する第１カメラ１と、参照画像Ｇa2を撮像する第２カメラ２との配置関係に対応する方向となる。つまり、エピポーラ線の延伸方向は、第１カメラ１の撮像レンズの光軸と第２カメラ２の撮像レンズの光軸とが離隔している方向に対応する。
【００８０】
例えば、図１１で示されるように、基準画像Ｇa1に第１階層の基準点ＢＰa1が設定される場合、図１２で示されるように、参照画像Ｇa2において、第１階層の候補点ＥＰa2を通る一点鎖線で描かれているエピポーラ線Ｌe2が仮想的に設定され得る。そして、参照画像Ｇa2において、エピポーラ線Ｌe2に垂直な矢印Ａｒ２で示される方向に第１階層の候補点ＥＰa2からずれている位置に第１階層の探索基準点ＳＰa2が設定され得る。このような構成により、第１階層の候補点ＥＰa2から第１階層の対応点が存在していないと推定される方向にずらされた位置に第１階層の探索基準点ＳＰa2が設けられ得る。
【００８１】
また、探索基準点設定部３６３ｅでは、第１階層の探索基準点ＳＰa2が第１階層の候補点ＥＰa2からずれているズレ方向が、基準画像Ｇa1または参照画像Ｇa2に含まれる領域（被解析領域とも言う）の周波数成分の解析結果に基づいて決定されても良い。被解析領域は、例えば、基準画像Ｇa1における第１階層の基準点ＢＰa1を含む２次元領域（基準被解析領域とも言う）および参照画像Ｇa2における第１階層の候補点ＥＰa2を含む２次元領域（参照被解析領域とも言う）のうちの少なくとも一方の領域であれば良い。
【００８２】
ここでは、被解析領域に含まれる画像について周波数成分への分解が行われることで空間周波数の振幅の２次元分布が得られる。この２次元分布では、例えば、図１３で示されるように、Ｘ方向の周波数ｕとＹ方向の周波数ｖとを含む各空間周波数（ｕ，ｖ）について、横軸にｕの値、縦軸にｖの値が示される２次元空間に振幅の分布が示される。図１３では、ハッチングなどを用いた濃淡によって振幅が４段階で示されており、振幅が大ければ大きい程、濃く描かれている。そして、この２次元分布において、予め設定されている閾値以上の振幅の周波数成分が存在する頻度が最も高い一方向が認識され、参照画像Ｇa2のうちの該一方向に対応する方向がズレ方向とされれば良い。図１３では、太線の矢印で描かれる一方向が認識され、参照画像Ｇa2のうちの該一方向に対応する方向がズレ方向とされ得る。この場合、２次元分布において、参照画像Ｇa2において第１階層の候補点ＥＰa2からズレ方向にずれている位置に第１階層の探索基準点ＳＰa2が設定され得る。
【００８３】
このような構成により、第１階層の候補点ＥＰa2から画像の特徴に差が生じ易い方向に探索基準点ＳＰa2の設定位置がずらされることで、後述する相関演算に用いられる情報量が増加し得るため、第１階層の対応点の検出精度が向上し得る。
【００８４】
ところで、探索基準点設定部３６３ｅでは、参照画像Ｇa2のうち、推定領域ＥＡ２の外に第１階層の探索基準点ＳＰa2が常に設定されなくても良い。例えば、探索基準点設定部３６３ｅでは、上記空間周波数の振幅の２次元分布において、振幅の平坦度が予め設定されている平坦度よりも高い場合に、参照画像Ｇa2において推定領域ＥＡ２の外に第１階層の探索基準点ＳＰa2が設定されても良い。振幅の平坦度は、例えば、被解析領域に係る振幅の２次元分布について、それぞれの空間周波数の振幅の総和の逆数であれば良い。図１４には、空間周波数の振幅の２次元分布において、振幅の平坦度が予め設定されている平坦度よりも高い一例が示されている。これにより、例えば、コントラストが低い画像について、推定領域ＥＡ２の外に第１階層の探索基準点ＳＰa2が設定され得る。このため、不必要に第１階層の対応点の検出精度が低下する不具合が生じ難くなる。
【００８５】
基準領域設定部３６３ｆは、第１変換後基準画像Ｇb1において、第２階層の基準点ＢＰb1を基準として包含する検索ウインドウ（第２階層の基準領域とも言う）Ｗb1を設定する。例えば、図１５で示されるように、第２階層の基準領域Ｗb1は、第２階層の基準点ＢＰb1が中心または重心とされて設定されれば良い。また、基準領域設定部３６３ｆは、基準画像Ｇa1において、第１階層の基準点ＢＰa1を基準として包含する検索ウインドウ（第１階層の基準領域とも言う）Ｗa1を設定する。例えば、図１６で示されるように、第１階層の基準領域Ｗa1は、第１階層の基準点ＢＰa1が中心または重心とされて設定されれば良い。
【００８６】
参照領域設定部３６３ｇは、第１変換後参照画像Ｇb2において、第２階層の探索基準点ＳＰb2を基準として包含する検索ウインドウ（第２階層の参照領域とも言う）Ｗb2を設定する。例えば、図１７で示されるように、第２階層の参照領域Ｗb2は、第２階層の探索基準点ＳＰb2が中心または重心とされて設定されれば良い。また、参照領域設定部３６３ｇは、参照画像Ｇa2において、第１階層の探索基準点ＳＰa2を基準として包含する検索ウインドウ（第１階層の参照領域とも言う）Ｗa2を設定する。例えば、図１８で示されるように、第１階層の参照領域Ｗa2は、第１階層の探索基準点ＳＰa2が中心または重心とされて設定されれば良い。
【００８７】
演算検出部３６３ｈは、第２階層の基準領域Ｗb1と第２階層の参照領域Ｗb2とに係る相関演算を行い、該相関演算の結果に基づき、第１変換後参照画像Ｇb2において第２階層の基準点ＢＰb1に対応する第２階層の対応点ＣＰb2を検出する。また、演算検出部３６３ｈは、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とに係る相関演算を行い、該相関演算の結果に基づき、参照画像Ｇa2において第１階層の基準点ＢＰa1に対応する第１階層の対応点を検出する。
【００８８】
つまり、演算検出部３６３ｈでは、第１変換後基準画像Ｇb1と第１変換後参照画像Ｇb2との間で第２階層の基準点ＢＰb1に対応する第２階層の対応点ＣＰb2が検出される演算処理（第２階層の探索処理とも言う）が行われる。また、演算検出部３６３ｈでは、基準画像Ｇa1と参照画像Ｇa2との間で第１階層の基準点ＢＰa1に対応する第１階層の対応点が検出される演算処理（第１階層の探索処理とも言う）が行われる。
【００８９】
演算検出部３６３ｈにおける相関演算としては、例えば、位相限定相関（Phase-Only Correlation：ＰＯＣ）演算法などが採用され得る。
【００９０】
ここで、ＰＯＣ演算法を用いた第１および第２階層の探索処理の具体的な処理方法について説明する。なお、第１および第２階層の探索処理は、同様な処理であるため、ここでは、第１階層の探索処理を例に挙げて説明する。
【００９１】
図１９は、ＰＯＣ演算法を用いた第１階層の探索処理の流れを示す図である。
【００９２】
第１階層の探索処理では、第１階層の基準領域Ｗa1および第１階層の参照領域Ｗa2は、それぞれＸ方向に沿って所定数Ｎ1の画素が配列され、Ｙ方向に沿って所定数Ｎ2の画素が配列されている画像領域として取り扱われる。そして、これらの画像領域は、次の数１で表され得る。
【００９３】
【数１】
【００９４】
ここで、上記数１におけるｆ(ｘ,ｙ)は、第１階層の基準領域Ｗa1に含まれる画像（第１階層の基準領域画像とも言う）を示し、上記数１におけるｇ(ｘ,ｙ)は、第１階層の参照領域Ｗa2に含まれる画像（第１階層の参照領域画像とも言う）を示す。また、Ｎ1およびＮ2は、例えば、Ｎ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定され得る。
【００９５】
そして、まず、第１階層の基準領域画像と第１階層の参照領域画像とに対し、下記数２で示される演算式を用いた２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われる。
【００９６】
【数２】
【００９７】
上記数２の但し書におけるＷの添字Ｎには、Ｎ1，Ｎ2が代入され、ｕはＸ方向の周波数を示し、ｖはＹ方向の周波数を示す。このため、（ｕ，ｖ）は、２次元の空間周波数を示す。ここでは、２次元のフーリエ変換処理Ｃ１１によって、第１階層の基準領域画像が周波数成分に分解され、２次元のフーリエ変換処理Ｃ２１によって、第１階層の参照領域画像が周波数成分に分解される。これにより、第１階層の基準領域画像に係る複数の周波数成分の情報を含む周波数情報（第１階層の基準周波数情報とも言う）が得られ、第１階層の参照領域画像に係る複数の周波数成分の情報を含む周波数情報（第１階層の参照周波数情報とも言う）が得られる。
【００９８】
ここで、例えば、第１階層の基準領域画像と第１階層の参照領域画像が、Ｘ方向およびＹ方向において２のべき乗の画素数からなる矩形状の寸法を有する場合、２次元のフーリエ変換処理Ｃ１１，Ｃ２１に、ＦＦＴが採用され得る。ＦＦＴは、バタフライ演算を特徴とする高速フーリエ変換（Fast Fourier Transform）である。
【００９９】
また、上記フーリエ変換処理Ｃ１１，Ｃ２１で得られた第１階層の基準周波数情報と第１階層の参照周波数情報とに対しては、下記数３で示される演算式が用いられて、画像の振幅成分を除去するための規格化処理Ｃ１２，Ｃ２２が行われる。これにより、第４階層の基準周波数情報から各空間周波数に係る位相情報（第１階層の基準位相情報とも言う）が抽出され、第１階層の参照周波数情報から各空間周波数に係る位相情報（第１階層の参照位相情報とも言う）が抽出される。
【０１００】
【数３】
【０１０１】
規格化処理Ｃ１２，Ｃ２２が完了すると、下記数４で示される演算式を用いた合成処理Ｃ３が行われる。これにより、各空間周波数について、第１階層の基準位相情報と第１階層の参照位相情報とに基づいて位相差が算出される。
【０１０２】
【数４】
【０１０３】
その後、各空間周波数に係る位相差について、下記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｃ４が行われる。これにより、各画像間の相関演算が実施され、その演算結果としての相関値であるＰＯＣ値が出力される。
【０１０４】
【数５】
【０１０５】
以上の処理により、第１階層の基準領域画像と第１階層の参照領域画像との相関を示す相関値としてのＰＯＣ値が得られる。例えば、図２０で示されるようなＰＯＣ値の分布が得られる。
【０１０６】
図２０では、Ｘ方向に沿って所定数Ｎ1の画素が配列され、Ｙ方向に沿って所定数Ｎ2の画素が配列される矩形の画像領域において相関が高い箇所のＰＯＣ値が大きくなる。そして、第１階層の参照領域画像内のうち、ＰＯＣ値のピークＪｃに対応する点が、参照画像Ｇa2において第１階層の基準点ＢＰa1に対応する第１階層の対応点として検出される。
【０１０７】
このようにして、演算検出部３６３ｈでは、ＰＯＣ演算法を用いた第１階層の探索処理により、参照画像Ｇa2において第１階層の対応点が検出され得る。
【０１０８】
なお、図２０では、ＰＯＣ値の分布に係る３次元的な斜視図が示されたが、図２１〜図２３、図２７〜図２９、図３４および図３５では、ＰＯＣ値の分布が便宜的に簡略化されて一方向におけるＰＯＣ値の分布として示されている。
【０１０９】
信頼度判定部３６３ｉは、参照画像Ｇa2における第１階層の探索基準点ＳＰa2と演算検出部３６３ｈによって検出される第１階層の対応点との位置関係に基づいて、第１階層の対応点の信頼度を判定する。
【０１１０】
例えば、図２１で示されるように、参照画像Ｇa2において第１階層の探索基準点ＳＰa2と第１階層の対応点ＣＰa2とが同一となる場合が有り得る。この場合、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とにおいて対象物の特徴が殆ど捉えられていない可能性が高いものと推定され得る。このため、第１階層の対応点ＣＰa2の信頼度が低いものと判定され得る。
【０１１１】
一方、参照画像Ｇa2において第１階層の探索基準点ＳＰa2と第１階層の対応点ＣＰa2とが同一にはならない場合が有り得る。この場合、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とにおいて対象物の特徴が捉えられている可能性が高いものと推定され得る。このため、第１階層の対応点ＣＰa2の信頼度が高いものと判定され得る。
【０１１２】
また、信頼度判定部３６３ｉでは、参照画像Ｇa2における推定領域ＥＡ２と第１階層の対応点ＣＰa2との位置関係に基づいて、第１階層の対応点ＣＰa2の信頼度が判定されても良い。
【０１１３】
例えば、図２２で示されるように、第１階層の探索基準点ＳＰa2と第１階層の対応点ＣＰa2とが同一とはならず、第１階層の対応点ＣＰa2が推定領域ＥＡ２に含まれる場合が有り得る。この場合、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とにおいて、対象物の同一の特徴が捉えられている可能性が高いものと推定され得る。このため、第１階層の対応点ＣＰa2の信頼度が高いものと判定され得る。
【０１１４】
一方、第１階層の探索基準点ＳＰa2と第１階層の対応点ＣＰa2とが同一とはならないが、第１階層の対応点ＣＰa2が推定領域ＥＡ２に含まれていない場合が有り得る。この場合、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とにおいて、対象物の同一の特徴が捉えられている可能性が低いものと推定され得る。このため、第１階層の対応点ＣＰa2の信頼度が低いものと判定され得る。このような構成により、簡易に第１階層の対応点ＣＰa2の信頼度が判定され得る。
【０１１５】
また、信頼度判定部３６３ｉでは、参照画像Ｇa2における推定領域ＥＡ２から第１階層の探索基準点ＳＰa2に向かう第１方向と第１階層の探索基準点ＳＰa2から第１階層の対応点ＣＰa2に向かう第２方向との関係に基づいて、第１階層の対応点ＣＰa2の信頼度が判定されても良い。
【０１１６】
例えば、図２３で示されるように、推定領域ＥＡ２の外に第１階層の探索基準点ＳＰa2が設定され、第１階層の探索基準点ＳＰa2よりも推定領域ＥＡ２からさらに遠い位置において第１階層の対応点ＣＰa2が検出される場合が有り得る。この場合、推定領域ＥＡ２から第１階層の探索基準点ＳＰa2に向かう第１方向と、第１階層の探索基準点ＳＰa2から第１階層の対応点ＣＰa2に向かう第２方向とが同一となる。そして、この場合、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とで対象物の異なる特徴が捉えられている可能性が高いものと推定され得る。このため、第１階層の対応点ＣＰa2の信頼度が低いものと判定され得る。
【０１１７】
一方、推定領域ＥＡ２の外に第１階層の探索基準点ＳＰa2が設定され、第１階層の探索基準点ＳＰa2よりも推定領域ＥＡ２に近い位置において第１階層の対応点ＣＰa2が検出される場合が有り得る。この場合、推定領域ＥＡ２から第１階層の探索基準点ＳＰa2に向かう第１方向と、第１階層の探索基準点ＳＰa2から第１階層の対応点ＣＰa2に向かう第２方向とが同一とはならず、逆方向の関係を有する。そして、この場合、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とで対象物の同一の特徴が捉えられている可能性が高いものと推定され得る。このため、第１階層の対応点ＣＰa2の信頼度が高いものと判定され得る。これにより、容易に第１階層の対応点ＣＰa2の信頼度が判定され得る。
【０１１８】
特に、例えば、図１２で示されたように、第１階層の候補点ＥＰa2を通るエピポーラ線Ｌe2から外れている位置に第１階層の探索基準点ＳＰa2が設定される場合、該エピポーラ線Ｌe2の近傍において第１階層の対応点ＣＰa2が検出されることが好ましい。このため、仮に、第１階層の探索基準点ＳＰa2よりも第１階層の候補点ＥＰa2側に位置するエピポーラ線Ｌe2の近傍において第１階層の対応点ＣＰa2が検出される場合には、第１階層の対応点ＣＰa2の信頼度が高いものと判定され得る。このような構成により、第１階層の対応点ＣＰa2の信頼度が簡易かつ適切に判定され得る。なお、エピポーラ線Ｌe2の近傍において第１階層の対応点ＣＰa2が検出されない場合には、エピポーラ線Ｌe2の上に第１階層の探索基準点ＳＰa2を設定し直して、再度、第１階層の探索処理が行われても良い。これにより、第１階層の対応点ＣＰa2の検出精度が一旦低下しても、その検出精度の低下による不具合の発生が低減され得る。
【０１１９】
情報変更部３６４は、信頼度判定部３６３ｉによる信頼度の判定結果に基づいて、演算検出部３６３ｈによって検出された第１階層の対応点ＣＰa2に係る情報（対応点情報とも言う）を変更する処理（情報変更処理とも言う）を行う。ここで、対応点情報は、演算検出部３６３ｈによって基準画像Ｇa1の各画素について得られる。また、各対応点情報には、例えば、基準画像Ｇa1における一画素の座標と、該一画素に対応する第１階層の対応点ＣＰa2についての参照画像Ｇa2における座標とが関連付けられている情報が含まれる。そして、情報変更処理には、例えば、信頼度判定部３６３ｉによる信頼度の判定結果に基づいて対応点情報が削除される処理が含まれ得る。また、情報変更処理に、例えば、信頼度判定部３６３ｉによる信頼度の判定結果に基づく重み付け係数が対応点情報に付加される処理、および該信頼度の判定結果に基づく精度情報が対応点情報に付加される処理の何れか一方の処理が含まれても良い。
【０１２０】
具体的には、信頼度判定部３６３ｉによって信頼度が低いものと判定された第１階層の対応点ＣＰa2に係る対応点情報については、削除されても良い。また、信頼度が低いものと判定された第１階層の対応点ＣＰa2に係る対応点情報に小さな重み付け係数が付加され、信頼度が高いものと判定された第１階層の対応点ＣＰa2に係る対応点情報に大きな重み付け係数が付加されても良い。また、信頼度が低いものと判定された第１階層の対応点ＣＰa2に係る対応点情報に検出精度が低いとの精度情報が付加され、信頼度が高いものと判定された第１階層の対応点ＣＰa2に係る対応点情報に検出精度が高いとの精度情報が付加されても良い。このような構成により、簡易に得られた対応点の信頼度に関する判定結果が有効利用され得る。
【０１２１】
距離算出部３６５は、情報変更部３６４から出力される対応点情報に基づいて、第１および第２カメラ１，２から第１階層の基準点ＢＰa1で捉えられている対象物までの距離を算出する。該距離は、基準画像Ｇa1における第１階層の基準点ＢＰa1の位置と、参照画像Ｇa2における第１階層の対応点ＣＰa2の位置とのズレ量と、第１および第２カメラ１，２の内部パラメータおよび外部パラメータとに基づいて、三角測量の技術が用いられて算出される。ここで、内部パラメータには、例えば、第１および第２カメラ１，２に内蔵される光学系の焦点距離、画像中心、および撮像素子の傾きなどを示すパラメータが含まれる。また、外部パラメータには、例えば、第１カメラ１と第２カメラ２との位置関係および姿勢の関係などを示すパラメータが含まれる。
【０１２２】
図２４は、基準画像Ｇa1と参照画像Ｇa2との間における画素の対応関係から三角測量の原理に基づいて、第１および第２カメラ１，２から対象物ＯＢ１までの距離を算出する方法を模式的に示す図である。
【０１２３】
基準画像Ｇa1と参照画像Ｇa2との間で、第１階層の基準点ＢＰa1と第１階層の対応点ＣＰa2とのズレ量（視差）がΔｄであった場合、第１および第２カメラ１，２から対象物ＯＢ１までの距離Ｄは、次の式（１）から算出され得る。
【０１２４】
Ｄ＝ｆＢ／Δｄ ・・・（１）。
【０１２５】
式(１)では、基線長がＢ、第１および第２カメラ１，２のレンズにおける焦点距離がｆとされている。
【０１２６】
なお、距離算出部３６５では、情報変更部３６４において対応点情報が削除された画素についての距離Ｄが、例えば、該画素の周囲の画素について算出される距離Ｄを用いた補間演算によって算出されれば良い。また、距離算出部３６５では、情報変更部３６４において対応点情報に小さな重み付け係数が付加された画素についての距離Ｄが、該画素の周囲の画素について算出される距離Ｄを用いた補間演算によって算出されても良い。この補間演算において、周囲の各画素に係る距離Ｄは、各対応点情報に付加されている重み付け係数がそれぞれ乗じられた上で用いられても良い。この場合、重み付け係数が０であれば、対応点情報が削除されたことと同一の効果が得られる。
【０１２７】
また、距離算出部３６５では、各画素について算出された距離Ｄに、該各画素の対応点情報に付加された精度情報がそのまま付加されても良い。
【０１２８】
３次元位置検出部３６６は、基準画像Ｇa1の各注目画素について、距離算出部３６５で算出された距離Ｄを用いて、該各注目画素で捉えられた被写体の３次元位置を検出する。例えば、対象物ＯＢ１の３次元位置（Ｘ1,Ｙ1,Ｚ1）が、Ｘ1＝ｘ1×Ｄ／ｆ、Ｙ1＝ｙ1×Ｄ／ｆ、Ｚ1＝Ｄの３式によって算出されても良い。ここでは、ｘ1、ｙ1は、基準画像Ｇa1上の注目画素の座標を示す。なお、３次元位置検出部３６６では、各画素について得られた３次元位置を示す情報に、情報変更部３６４で対応点情報に付加された精度情報がそのまま付加されても良い。
【０１２９】
情報出力部３６７は、基準画像Ｇa1の各画素について、情報変更部３６４で得られた対応点情報、距離算出部３６５で得られた距離を示す情報、および３次元位置検出部３６６で得られた３次元位置などを示す各種情報を出力する。例えば、情報出力部３６７は、各種情報を、記憶部３４に出力することで該各種情報を記憶部３４に記憶させ得る。
【０１３０】
＜(３)情報処理装置の動作＞
図２５は、情報処理装置３における動作フローを例示するフローチャートである。本動作フローは、例えば、制御部３６の制御によって実現され得る。
【０１３１】
まず、図２５のステップＳｔ１では、画像取得部３６１によって、第１カメラ１から第１画像に係るデータＭ１が取得される。
【０１３２】
ステップＳｔ２では、画像取得部３６１によって、第２カメラ２から第２画像に係るデータＭ２が取得される。
【０１３３】
ステップＳｔ３では、画像生成部３６２によって、第１および第２の変換倍率に従い、基準画像Ｇa1としての第１画像の解像度が低減されて第１変換後基準画像Ｇb1が生成され、参照画像Ｇa2としての第２画像の解像度が低減されて第１変換後参照画像Ｇb2が生成される。
【０１３４】
ステップＳｔ４では、基準点設定部３６３ｂによって、基準画像Ｇa1に第１階層の基準点ＢＰa1が設定され、第１変換後基準画像Ｇb1に第２階層の基準点ＢＰb1が設定される。また、基準領域設定部３６３ｆによって、基準画像Ｇa1に第１階層の基準点ＢＰa1を基準として包含する第１階層の基準領域Ｗa1が設定され、第１変換後基準画像Ｇb1に第２階層の基準点ＢＰb1を基準として包含する第２階層の基準領域Ｗb1が設定される。
【０１３５】
ステップＳｔ５では、階層指定部３６３ａによって、第１および第２階層の画像群１Ｈｙ，２Ｈｙのうち、対応点の探索処理の対象となる第２階層の画像群２Ｈｙが指定される。
【０１３６】
ステップＳｔ６では、候補点情報取得部３６３ｃによって、第２階層の候補点ＥＰb2の位置を示す位置情報が取得される。例えば、第１変換後参照画像Ｇb2における第２階層の候補点ＥＰb2の座標は、第１変換後基準画像Ｇb1における第２階層の基準点ＢＰb1の座標と同一となり得る。
【０１３７】
ステップＳｔ７では、探索基準点設定部３６３ｅによって、第２階層の探索基準点ＳＰb2が第１変換後参照画像Ｇb2に設定される。例えば、第２階層の探索基準点ＳＰb2は、第２階層の候補点ＥＰb2と同一座標の位置に設定され得る。
【０１３８】
ステップＳｔ８では、参照領域設定部３６３ｇによって、第１変換後参照画像Ｇb2において第２階層の探索基準点ＳＰb2を基準とした第２階層の参照領域Ｗb2が設定される。
【０１３９】
ステップＳｔ９では、演算検出部３６３ｈによって、第２階層の基準領域Ｗb1と第２階層の参照領域Ｗb2とに係る相関演算が行われ、第１変換後参照画像Ｇb2において第２階層の基準点ＢＰb1に対応する第２階層の対応点ＣＰb2が検出される。続いて、ステップＳｔ１０では、基準点設定部３６３ｂによって、第２階層の基準画像Ｇb1において、対応点の探索処理の対象となる画素（被処理画素とも言う）が残っているか否かが判定される。ここで、被処理画素が残っていれば、ステップＳｔ４に戻る。そして、被処理画素がなくなるまで、ステップＳｔ４〜Ｓｔ１０の処理が繰り返される。一方、被処理画素が残っていなければ、ステップＳｔ１１に進む。
【０１４０】
ステップＳｔ１１では、階層指定部３６３ａによって、第１および第２階層の画像群１Ｈｙ，２Ｈｙのうち、対応点の探索処理の対象となる第１階層の画像群１Ｈｙが指定され、候補点情報取得部３６３ｃによって、参照画像Ｇa2における第１階層の候補点ＥＰa2の位置を示す位置情報が取得される。例えば、第１階層の候補点ＥＰa2は、ステップＳｔ９で検出された第２階層の対応点ＣＰb2と同一の対象物が捉えられている画素であれば良い。
【０１４１】
ステップＳｔ１２では、推定領域決定部３６３ｄによって、参照画像Ｇa2において第１階層の候補点ＥＰa2を基準とした推定領域ＥＡ２が決定される。
【０１４２】
ステップＳｔ１３では、探索基準点設定部３６３ｅによって、第１階層の候補点ＥＰa2の位置から第１階層の探索基準点ＳＰa2に向けたズレ方向が決定される。例えば、参照画像Ｇa2のうち、第１階層の候補点ＥＰa2を通るエピポーラ線に対して垂直な方向が、ズレ方向として設定され得る。
【０１４３】
ステップＳｔ１４では、探索基準点設定部３６３ｅによって、参照画像Ｇa2において第１階層の探索基準点ＳＰa2が設定される。例えば、ステップＳｔ１２で決定された推定領域ＥＡ２の外であって、第１階層の候補点ＥＰa2の位置からズレ方向にずれた位置に第１階層の探索基準点ＳＰa2が設定される。
【０１４４】
ステップＳｔ１５では、参照領域設定部３６３ｇによって、参照画像Ｇa2において第１階層の探索基準点ＳＰa2を基準とした第１階層の参照領域Ｗa2が設定される。
【０１４５】
ステップＳｔ１６では、演算検出部３６３ｈによって、第１階層の基準領域Ｗa1と第１階層の参照領域Ｗa2とに係る相関演算が行われ、その結果に基づき、参照画像Ｇa2において第１階層の基準点ＢＰa1に対応する第１階層の対応点ＣＰa2が検出される。
【０１４６】
ステップＳｔ１７では、信頼度判定部３６３ｉによって、ステップＳｔ１３で設定された第１階層の探索基準点ＳＰa2と、ステップＳｔ１６で検出された第１階層の対応点ＣＰa2との位置関係に基づいて、第１階層の対応点ＣＰa2の信頼度が判定される。
【０１４７】
ステップＳｔ１８では、情報変更部３６４によって、ステップＳｔ１７で得られた信頼度の判定結果に基づいて、ステップＳｔ１６で検出された第１階層の対応点ＣＰa2に係る対応点情報を変更する情報変更処理が行われる。
【０１４８】
ステップＳｔ１９では、基準点設定部３６３ｂによって、第１階層の基準画像Ｇa1において、対応点の探索処理の対象となる画素（被処理画素とも言う）が残っているか否かが判定される。ここで、被処理画素が残っていれば、ステップＳｔ１１に戻る。そして、被処理画素がなくなるまで、ステップＳｔ１１〜Ｓｔ１９の処理が繰り返される。一方、被処理画素が残っていなければ、本動作フローが終了される。
【０１４９】
＜(４)一実施形態のまとめ＞
以上のように、一実施形態に係る情報処理システム１００では、情報処理装置３において、例えば、第１階層の探索基準点ＳＰa2と検出された第１階層の対応点ＣＰa2とが同一であれば第１階層の対応点ＣＰa2の信頼度が低いものと判定され得る。その一方で、例えば、第１階層の探索基準点ＳＰa2と検出された第１階層の対応点ＣＰa2とが同一でなければ該第１階層の対応点ＣＰa2の信頼度が高いものと判定され得る。これにより、基準画像Ｇa1および参照画像Ｇa2が、コントラストが低い画像および自己相関が高い画像であっても、高速かつ高精度の対応点の探索が実現され得る。
【０１５０】
また、例えば、検出された第１階層の対応点ＣＰa2が、第１階層の候補点ＥＰa2が基準とされた推定領域ＥＡ２の中に位置していれば、該第１階層の候補点ＥＰa2の信頼度が高いものと判定され得る。これにより、簡易に第１階層の対応点ＣＰa2の信頼度が判定され得る。特に、意図的に推定領域ＥＡ２の外に設定された第１階層の探索基準点ＳＰa2と検出された第１階層の対応点ＣＰa2との位置関係に基づいて、該第１階層の対応点ＣＰa2の信頼度が判定されることで、第１階層の対応点ＣＰa2の信頼度が簡易かつ適確に判定され得る。
【０１５１】
＜(５)変形例＞
なお、本発明は上記一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良などが可能である。
【０１５２】
◎例えば、上記一実施形態では、第２階層の画像群２Ｈｙが対象とされた対応点の探索処理によって検出される低解像度対応点としての第２階層の対応点ＣＰb2に基づいて第１階層の候補点ＥＰa2の位置を示す位置情報が取得されたが、これに限られない。例えば、第１および第２カメラ１，２と第１および第２画像で捉えられている対象物との離隔距離を測定する部分（距離測定部とも言う）が設けられ、該距離測定部で得られる離隔距離に基づいて、第１階層の候補点ＥＰa2の位置を示す位置情報が取得されても良い。この場合、該離隔距離と、第１カメラ１と第２カメラ２との配置関係とに基づいて、第１階層の候補点ＥＰa2の位置を示す位置情報が取得され得る。
【０１５３】
ここで、距離測定部としては、例えば、第１および第２カメラ１，２の少なくとも一方に搭載されている自動合焦（ＡＦ）機能によって、第１および第２カメラ１，２と第１および第２画像で捉えられている対象物との離隔距離が測定されるものが挙げられる。また、第１カメラ１と第２カメラ２との配置関係には、第１および第２カメラ１，２の内部パラメータおよび外部パラメータが含まれ得る。
【０１５４】
ＡＦ機能は、合焦用のレンズが光軸に沿って移動することで、撮像する対象物に合焦する機能であれば良い。第１および第２カメラ１，２と対象物との距離と、合焦用のレンズの位置との関係が予め記憶部３４などに記憶されていれば、上記離隔距離は、第１および第２カメラ１，２が対象物に合焦している際における合焦用のレンズの位置に基づいて取得され得る。なお、第１および第２カメラ１，２と対象物との距離と、合焦用のレンズの位置との関係は、実験的に求められても良いし、いわゆる光学シミュレーションに基づいて求められても良い。
【０１５５】
このような構成が採用される場合、図２６で示されるように、上記一実施形態に係る情報処理装置３の候補点情報取得部３６３ｃが候補点情報取得部３６３ｃＡに置換されれば良い。この場合、候補点情報取得部３６３ｃＡでは、例えば、第１および第２カメラ１，２の少なくとも一方のＡＦ機能から距離測定部３６３ｊによって得られる離隔距離と、第１カメラ１と第２カメラ２との配置関係とに基づいて、第１階層の候補点ＥＰa2の位置を示す位置情報が取得されれば良い。このとき、図２４で示された三角測量の技術が利用されて、第１階層の候補点ＥＰa2の位置を示す位置情報が取得され得る。
【０１５６】
このような構成により、ＡＦ機能が搭載されたカメラのような別の部分で得られる情報が有効利用される。その結果、演算量の増大を極力避けつつ、簡易に対応点の信頼度が判定され得る。
【０１５７】
なお、距離測定部としては、例えば、第１および第２カメラ１，２に並設されているレーザーを用いた測距装置などといった別の構成が採用されても良い。
【０１５８】
◎また、上記一実施形態では、推定領域決定部３６３ｄによって、推定領域ＥＡ２が、第２階層の対応点の探索処理において検出される低解像度対応点に係る分解能と、第１階層の候補点ＥＰa2とに基づいて決定されたが、これに限られない。例えば、参照画像Ｇa2において、低解像度探索処理としての第２階層の探索処理における相関演算によって算出される相関値が、予め決められている条件を満たす画像領域が推定領域ＥＡ２として決定されても良い。
【０１５９】
ここで、予め決められている条件としては、例えば、第１閾値以上である第１条件、および低解像度探索処理としての第２階層の探索処理における相関演算によって算出される相関値の最大値から算出される第２閾値以上である第２条件などが採用され得る。相関値は、例えば、第２階層の探索処理で算出されるＰＯＣ値であれば良い。また、図２７で示されるように、第１閾値は、例えば、０．１であれば良い。さらに、図２８および図２９で示されるように、第２閾値は、例えば、ＰＯＣ値の最大値に予め設定されている係数（例えば０．５など）が乗ぜられた値であれば良い。
【０１６０】
これらの構成が採用されることで、低解像度の第１変換後基準画像Ｇb1と第１変換後参照画像Ｇb2との間についての対応点の検出精度が考慮されて、第１階層の候補点ＥＰa2からずれた位置に第１階層の探索基準点ＳＰa2が設定され得る。このため、推定領域ＥＡ２が容易に設定され得る。
【０１６１】
◎また、上記一実施形態では、第１階層の探索処理において、第１階層の基準領域画像と第１階層の参照領域画像とに対して直接２次元のフーリエ変換処理Ｃ１１，Ｃ２１が行われたが、これに限られない。例えば、図３０で示されるように、第１階層の基準領域画像に対して窓関数が乗じられる窓関数の乗算処理Ｃ１０が行われた後に２次元のフーリエ変換処理Ｃ１１が行われても良い。また、第１階層の参照領域画像に対して窓関数が乗じられる窓関数の乗算処理Ｃ２０が行われた後に２次元のフーリエ変換処理Ｃ２１が行われても良い。
【０１６２】
なお、窓関数としては、例えば、図３１で示されるように、第１階層の基準領域Ｗa1および第１階層の参照領域Ｗa2について、中央の値が最も大きく、周縁部に近づくにつれて値が減じるような関数が適用されれば良い。窓関数の具体例としては、ガウス窓、ハン窓、ハミング窓、ブラックマン窓およびカイザー窓などの窓関数が挙げられる。
【０１６３】
上記構成が採用される場合、基準画像Ｇa1および参照画像Ｇa2が低コントラストの画像または自己相関が高い画像であり、第１階層の候補点ＥＰa2に第１階層の探索基準点ＳＰa2が設定されると、第１階層の探索基準点ＳＰa2が第１階層の対応点ＣＰa2として誤って検出され易くなる。このため、第１階層の探索基準点ＳＰa2の位置と第１階層の対応点ＣＰa2の位置とが異なる場合に、第１階層の対応点ＣＰa2が第１階層の基準点ＢＰa1と同一の対象物を捉えている可能性が高まり得る。その結果、第１階層の対応点ＣＰa2の判定結果の確からしさが向上し得る。
【０１６４】
上記構成を別の観点から言えば、窓関数の乗算処理Ｃ１０が行われる場合、第１階層の基準領域画像に対して第１の重み付け処理が行われて重み付け後の画像（重み付け後基準領域画像とも言う）が取得され得る。また、窓関数の乗算処理Ｃ２０が行われる場合、第１階層の参照領域画像に対して第２の重み付け処理が行われて重み付け後の画像（重み付け後参照領域画像とも言う）が取得され得る。これにより、第１および第２の重み付け処理では、第１階層の基準領域画像および第１階層の参照領域画像の各画素値に重み付け係数が乗じられる。そして、演算検出部３６３ｈによって、重み付け後基準領域画像と重み付け後参照領域画像との間で相関演算が行われて、第１階層の対応点ＣＰa2が検出される。
【０１６５】
ところで、上記一実施形態では、第１階層の候補点ＥＰa2から意図的にずらされた位置に第１階層の探索基準点ＳＰa2が設定されたが、これに限られない。例えば、第２の重み付け処理が、第１の重み付け処理と比較して重み付け係数の２次元分布が一方向に偏っている処理とされても良い。すなわち、第１階層の候補点ＥＰa2を中心として、第１階層の参照領域Ｗa2を設定し、第１階層の参照領域Ｗa2の中心の位置からずれた点の値を最大とする窓関数を用いることで、同等の効果を奏し得る。そして、この構成では、第１階層の基準点ＢＰa1が基準とされた第１階層の基準領域Ｗa1と、第１階層の候補点ＥＰa2が基準とされた第１階層の参照領域Ｗa2とが同一の対象物を捉えた領域を多く含む可能性が高まり得る。その結果、相関演算の対象となる画像における特徴などの情報の欠落が抑制され、第１階層の対応点ＣＰa2の検出精度が確保され得る。
【０１６６】
ここで、一方向は、例えば、上記一実施形態で述べたズレ方向であれば良い。そして、第１の重み付け処理における重み付け係数の２次元分布については、例えば、図３１で示されるように、中央の値が最も大きく、周縁部に近づくにつれて値が減じる窓関数によって規定されれば良い。また、第２の重み付け処理における重み付け係数の２次元分布については、例えば、図３２で示されるように、第１階層の候補点ＥＰa2の位置からずれた位置の値が最も大きく、周縁部に近づくにつれて値が減じる窓関数によって規定されれば良い。
【０１６７】
なお、第２階層の探索処理についても、窓関数の乗算処理Ｃ１０，Ｃ２０が行われても良い。
【０１６８】
◎また、上記一実施形態では、第１階層の候補点ＥＰa2から意図的にずらされた位置に第１階層の探索基準点ＳＰa2が設定されたが、これに限られない。例えば、図３３で示されるように、第１階層の候補点ＥＰa2と同一の位置に第１階層の探索基準点ＳＰa2が設定されても良い。この場合、例えば、図３４で示されるように、第１階層の対応点ＣＰa2の位置が第１階層の探索基準点ＳＰa2の位置と異なっていれば、第１階層の対応点ＣＰa2の信頼度が高いものと判定されれば良い。一方、第１階層の対応点ＣＰa2の位置が第１階層の探索基準点ＳＰa2の位置と同一であれば、第１階層の対応点ＣＰa2の信頼度が低いものと判定されれば良い。このような構成が採用されても、基準画像Ｇa1および参照画像Ｇa2が、コントラストが低い画像および自己相関が高い画像の何れであっても、高速かつ高精度の対応点の探索が実現され得る。さらに、第１階層の対応点ＣＰa2が推定領域ＥＡ２に含まれていれば、第１階層の対応点ＣＰa2の信頼度が高いものと判定され、第１階層の対応点ＣＰa2が推定領域ＥＡ２に含まれていなければ、第１階層の対応点ＣＰa2の信頼度が低いものと判定されても良い。
【０１６９】
◎また、上記一実施形態では、第１階層の候補点ＥＰa2とは異なる位置に第１階層の探索基準点ＳＰa2が設定され、第１階層の探索基準点ＳＰa2と第１階層の対応点ＣＰa2との位置関係に基づいて、第１階層の対応点ＣＰa2の信頼度が判定されたが、これに限られない。例えば、第１階層の探索基準点ＳＰa2が推定領域ＥＡ２の外に設定される場合と、第１階層の探索基準点ＳＰa2が推定領域ＥＡ２の中に設定される場合とにおいて、それぞれ検出される第１階層の対応点ＣＰa2の位置関係に基づいて、第１階層の対応点ＣＰa2の信頼度が判定されても良い。ここでは、探索基準点設定部３６３ｅによって推定領域ＥＡ２の内外に第１階層の探索基準点ＳＰa2が設定され得る。また、演算検出部３６３ｈによって、各場合について、第１階層の対応点ＣＰa2が検出される。
【０１７０】
このような構成が採用されれば、例えば、推定領域ＥＡ２の外に第１階層の探索基準点ＳＰa2が設定されたか否かによって、検出される第１階層の対応点ＣＰa2の位置に差が生じるか否かといった観点から、第１階層の対応点ＣＰa2の信頼度が簡易に判定され得る。
【０１７１】
例えば、図３５で示されるように、第１階層の探索基準点ＳＰa2が推定領域ＥＡ２の外に設定される場合における第１階層の対応点ＣＰa2と、第１階層の探索基準点ＳＰa2が推定領域ＥＡ２の中に設定される場合における第１階層の対応点ＣＰa2とが同一であれば、第１階層の対応点ＣＰa2の信頼度が高いものと判定されれば良い。また、第１階層の探索基準点ＳＰa2が推定領域ＥＡ２の外に設定される場合における第１階層の対応点ＣＰa2と、第１階層の探索基準点ＳＰa2が推定領域ＥＡ２の中に設定される場合における第１階層の対応点ＣＰa2とが同一でなければ、第１階層の対応点ＣＰa2の信頼度が低いものと判定されれば良い。
【０１７２】
◎また、上記一実施形態では、第１および第２階層の探索処理においてＰＯＣ演算法を用いた相関演算が行われたが、これに限られない。相関演算に、例えば、ＰＳＡ（Phase-Difference Spectrum Analysis）法、およびＤＣＴ符号相関（Discrete Cosine Transform Sign Correlation：ＤＳＣ）演算などといったその他の相関演算が採用されても良い。また、相関演算に、ＳＡＤ（Sum of Absolute Difference）演算法が採用されても良い。相関演算にＳＡＤ演算法が採用される場合、第１および第２階層の探索基準点ＳＰa2，ＳＰb2を基準として第１および第２階層の参照領域Ｗa2，Ｗb2が一走査方向にシフトされつつ相関演算が行われれば良い。この場合、ズレ方向と一走査方向とが合致していることが好ましい。
【０１７３】
◎また、上記一実施形態では、第１および第２階層の探索処理の２段階の探索処理が行われたが、これに限られない。例えば、基準画像Ｇa1と参照画像Ｇa2とに基づいて、２段階以上に解像度が低減された画像が生成され、３段階以上の探索処理が順次に行われることで、第１階層の対応点ＣＰa2が検出されても良い。この場合にも、前の階層における探索処理の結果に基づいて、次の階層における候補点の位置を示す情報が得られれば良い。
【０１７４】
◎また、上記一実施形態では、第１階層の対応点ＣＰa2の信頼度が高低の２段階で判定されたが、これに限られない。例えば、信頼度の高低が３段階以上で判定されても良い。例えば、第１階層の対応点ＣＰa2と第１階層の探索基準点ＳＰa2とが同一であれば信頼度が低と判定されれば良い。また、第１階層の対応点ＣＰa2と第１階層の探索基準点ＳＰa2とが異なり且つ第１階層の対応点ＣＰa2が推定領域ＥＡ２に含まれていなければ、信頼度が中と判定されれば良い。さらに、第１階層の対応点ＣＰa2と第１階層の探索基準点ＳＰa2とが異なり且つ第１階層の対応点ＣＰa2が推定領域ＥＡ２に含まれていれば、信頼度が高と判定されれば良い。
【０１７５】
◎なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
【符号の説明】
【０１７６】
１ 第１カメラ
２ 第２カメラ
３ 情報処理装置
３４ 記憶部
３６ 制御部
１００ 情報処理システム
３６１ 画像取得部
３６２ 画像生成部
３６３ 対応点探索部
３６３ａ 階層指定部
３６３ｂ 基準点設定部
３６３ｃ，３６３ｃＡ 候補点情報取得部
３６３ｄ 推定領域決定部
３６３ｅ 探索基準点設定部
３６３ｆ 基準領域設定部
３６３ｇ 参照領域設定部
３６３ｈ 演算検出部
３６３ｉ 信頼度判定部
３６４ 情報変更部
３６５ 距離算出部
３６６ ３次元位置検出部
３６７ 情報出力部
ＰＧ プログラム
【特許請求の範囲】
【請求項１】
第１画像および第２画像を取得する画像取得部と、
前記第１画像に基準点を設定する第１設定部と、
前記第２画像に探索基準点を設定する第２設定部と、
前記第１画像において前記基準点を基準として設けられる基準領域と、前記第２画像において前記探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、前記第２画像において前記基準点に対応する対応点を検出する検出部と、
前記第２画像における前記探索基準点と前記対応点との位置関係に基づいて、前記対応点の信頼度を判定する判定部と、
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記第２画像において前記対応点が存在すると推定される推定領域を決定する決定部、をさらに備え、
前記第２設定部が、
前記第２画像において前記推定領域の外に前記探索基準点を設定することを特徴とする情報処理装置。
【請求項３】
第１画像および第２画像を取得する画像取得部と、
前記第１画像に基準点を設定する第１設定部と、
前記第２画像に探索基準点を設定する第２設定部と、
前記第１画像において前記基準点を基準として設けられる基準領域と、前記第２画像において前記探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、前記第２画像において前記基準点に対応する対応点を検出する検出部と、
前記第２画像において前記対応点が存在すると推定される推定領域を決定する決定部と、
前記第２画像における前記推定領域と前記対応点との位置関係に基づいて、前記信頼度を判定する判定部と、
を備えることを特徴とする情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記第２設定部が、
前記第２画像において前記推定領域の外に前記探索基準点を設定することを特徴とする情報処理装置。
【請求項５】
請求項２から請求項４の何れか１つの請求項に記載の情報処理装置であって、
前記判定部が、
前記第２画像における前記推定領域から前記探索基準点に向かう第１方向と前記探索基準点から前記対応点に向かう第２方向との関係に基づいて、前記信頼度を判定することを特徴とする情報処理装置。
【請求項６】
請求項２から請求項５の何れか１つの請求項に記載の情報処理装置であって、
前記第２画像における前記対応点の候補点の位置情報を取得する情報取得部、をさらに備えることを特徴とする情報処理装置。
【請求項７】
請求項６に記載の情報処理装置であって、
前記決定部は、
前記第２画像において前記候補点を基準として前記推定領域を設定することを特徴とする情報処理装置。
【請求項８】
請求項６または請求項７に記載の情報処理装置であって、
前記第２設定部が、
前記参照領域に前記候補点が含まれるように前記探索基準点を設定することを特徴とする情報処理装置。
【請求項９】
請求項６から請求項８の何れか１つの請求項に記載の情報処理装置であって、
前記第２設定部が、
前記第２画像において、前記候補点を通る仮想的なエピポーラ線に対して垂直な方向に前記候補点からずれている位置に前記探索基準点を設定し、
前記仮想的なエピポーラ線の延伸方向が、
前記第１画像を撮像する第１撮像部と前記第２画像を撮像する第２撮像部との配置関係に対応する方向であることを特徴とする情報処理装置。
【請求項１０】
請求項６から請求項８の何れか１つの請求項に記載の情報処理装置であって、
前記第２設定部が、
前記第１画像における前記基準点を含む２次元領域、および前記第２画像における前記候補点を含む２次元領域のうちの少なくとも一方の領域についての周波数成分への分解によって得られる空間周波数の振幅の２次元分布において、予め設定される閾値以上の振幅の周波数成分が存在する頻度が最も高い一方向を認識し、前記第２画像において前記一方向に対応する方向に前記候補点からずれている位置に前記探索基準点を設定することを特徴とする情報処理装置。
【請求項１１】
請求項６から請求項８の何れか１つの請求項に記載の情報処理装置であって、
前記第２設定部が、
前記第１画像における前記基準点を含む２次元領域、および前記第２画像における前記候補点を含む２次元領域のうちの少なくとも一方の領域についての周波数成分への分解によって得られる空間周波数の振幅の２次元分布において、振幅の平坦度が予め設定される平坦度よりも高い場合に、前記第２画像において前記推定領域の外に前記探索基準点を設定することを特徴とする情報処理装置。
【請求項１２】
請求項１０に記載の情報処理装置であって、
前記第２設定部が、
前記空間周波数の振幅の２次元分布において、振幅の平坦度が予め設定される平坦度よりも高い場合に、前記第２画像において前記推定領域の外に前記探索基準点を設定することを特徴とする情報処理装置。
【請求項１３】
請求項２から請求項１２の何れか１つの請求項に記載の情報処理装置であって、
前記検出部が、
前記第２設定部によって前記第２画像における前記推定領域の外に前記探索基準点が設定される場合に前記検出部によって検出される前記対応点と、前記第２設定部によって前記第２画像における前記推定領域の中に前記探索基準点が設定される場合に前記検出部によって検出される前記対応点との位置関係に基づいて、前記信頼度を判定することを特徴とする情報処理装置。
【請求項１４】
請求項１に記載の情報処理装置であって、
前記第２画像における前記対応点の候補点の位置情報を取得する情報取得部、をさらに備え、
前記検出部が、
前記基準領域に対して第１の重み付け処理を行って重み付け後基準領域画像を得るとともに、前記参照領域に対して前記第１の重み付け処理よりも重み付け係数の２次元分布が前記候補点に応じた方向に偏っている第２の重み付け処理を行うことで重み付け後参照領域画像を得て、前記重み付け後基準領域画像と前記重み付け後参照領域画像とに係る相関演算の結果に基づき、前記第２画像において前記対応点を検出することを特徴とする情報処理装置。
【請求項１５】
請求項１４に記載の情報処理装置であって、
前記第２画像において前記対応点が存在すると推定される推定領域を決定する決定部、をさらに備え、
前記判定部が、
前記第２画像における前記推定領域と前記対応点との位置関係に基づいて、前記信頼度を判定することを特徴とする情報処理装置。
【請求項１６】
請求項６から請求項１５の何れか１つの請求項に記載の情報処理装置であって、
前記検出部が、
前記第１画像の解像度が低減されて得られる第１低解像度画像と前記第２画像の解像度が低減されて得られる第２低解像度画像との間で、前記第１低解像度画像において前記基準点と同一の対象物が捉えられている低解像度基準点を基準として設けられる低解像度基準領域と、前記第２低解像度画像において設けられる低解像度参照領域とに係る相関演算の結果に基づいて、前記第２低解像度画像において前記低解像度基準点に対応する低解像度対応点を探索する低解像度探索処理を行い、
前記情報取得部が、
前記第２画像における前記低解像度対応点に対応する点の位置を示す情報を前記位置情報として取得することを特徴とする情報処理装置。
【請求項１７】
請求項１６に記載の情報処理装置であって、
前記決定部が、
前記低解像度探索処理における前記低解像度対応点に係る分解能と、前記候補点とに基づいて前記推定領域を決定することを特徴とする情報処理装置。
【請求項１８】
請求項１６に記載の情報処理装置であって、
前記決定部が、
前記第２画像において、前記低解像度探索処理における相関演算によって算出される相関値が予め決められている条件を満たす画像領域を前記推定領域として決定することを特徴とする情報処理装置。
【請求項１９】
請求項６から請求項１８の何れか１つの請求項に記載の情報処理装置であって、
前記情報取得部が、
前記第１画像を撮像する第１撮像部と前記第２画像を撮像する第２撮像部との配置関係と、距離測定部によって得られる前記第１および第２撮像部から前記第１および第２画像で捉えられている対象物までの離隔距離とに基づいて、前記位置情報を取得することを特徴とする情報処理装置。
【請求項２０】
請求項１から請求項１９の何れか１つの請求項に記載の情報処理装置であって、
前記判定部による前記信頼度の判定結果に基づいて、前記検出部によって検出される前記対応点に係る対応点情報を変更する情報変更部、をさらに備えることを特徴とする情報処理装置。
【請求項２１】
請求項２０に記載の情報処理装置であって、
前記情報変更部が、
前記判定結果に基づく前記対応点情報の削除、前記判定結果に基づく重み付け係数の前記対応点情報に対する付加、および前記判定結果に基づく精度情報の前記対応点情報に対する付加、のうちの少なくとも１つの処理を行うことを特徴とする情報処理装置。
【請求項２２】
(a)画像取得部によって、第１画像を取得するステップと、
(b)前記画像取得部によって、第２画像を取得するステップと、
(c)第１設定部によって、前記第１画像に基準点を設定するステップと、
(d)第２設定部によって、前記第２画像に探索基準点を設定するステップと、
(e)検出部によって、前記第１画像において前記基準点を基準として設けられる基準領域と、前記第２画像において前記探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、前記第２画像において前記基準点に対応する対応点を検出するステップと、
(f)判定部によって、前記第２画像における前記探索基準点と前記対応点との位置関係に基づいて、前記対応点の信頼度を判定するステップと、
を備えることを特徴とする情報処理方法。
【請求項２３】
情報処理装置に含まれる制御部において実行されることにより、前記情報処理装置を、請求項１から請求項２１の何れか１つの請求項に記載の情報処理装置として機能させるプログラム。
【請求項１】
第１画像および第２画像を取得する画像取得部と、
前記第１画像に基準点を設定する第１設定部と、
前記第２画像に探索基準点を設定する第２設定部と、
前記第１画像において前記基準点を基準として設けられる基準領域と、前記第２画像において前記探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、前記第２画像において前記基準点に対応する対応点を検出する検出部と、
前記第２画像における前記探索基準点と前記対応点との位置関係に基づいて、前記対応点の信頼度を判定する判定部と、
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記第２画像において前記対応点が存在すると推定される推定領域を決定する決定部、をさらに備え、
前記第２設定部が、
前記第２画像において前記推定領域の外に前記探索基準点を設定することを特徴とする情報処理装置。
【請求項３】
第１画像および第２画像を取得する画像取得部と、
前記第１画像に基準点を設定する第１設定部と、
前記第２画像に探索基準点を設定する第２設定部と、
前記第１画像において前記基準点を基準として設けられる基準領域と、前記第２画像において前記探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、前記第２画像において前記基準点に対応する対応点を検出する検出部と、
前記第２画像において前記対応点が存在すると推定される推定領域を決定する決定部と、
前記第２画像における前記推定領域と前記対応点との位置関係に基づいて、前記信頼度を判定する判定部と、
を備えることを特徴とする情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記第２設定部が、
前記第２画像において前記推定領域の外に前記探索基準点を設定することを特徴とする情報処理装置。
【請求項５】
請求項２から請求項４の何れか１つの請求項に記載の情報処理装置であって、
前記判定部が、
前記第２画像における前記推定領域から前記探索基準点に向かう第１方向と前記探索基準点から前記対応点に向かう第２方向との関係に基づいて、前記信頼度を判定することを特徴とする情報処理装置。
【請求項６】
請求項２から請求項５の何れか１つの請求項に記載の情報処理装置であって、
前記第２画像における前記対応点の候補点の位置情報を取得する情報取得部、をさらに備えることを特徴とする情報処理装置。
【請求項７】
請求項６に記載の情報処理装置であって、
前記決定部は、
前記第２画像において前記候補点を基準として前記推定領域を設定することを特徴とする情報処理装置。
【請求項８】
請求項６または請求項７に記載の情報処理装置であって、
前記第２設定部が、
前記参照領域に前記候補点が含まれるように前記探索基準点を設定することを特徴とする情報処理装置。
【請求項９】
請求項６から請求項８の何れか１つの請求項に記載の情報処理装置であって、
前記第２設定部が、
前記第２画像において、前記候補点を通る仮想的なエピポーラ線に対して垂直な方向に前記候補点からずれている位置に前記探索基準点を設定し、
前記仮想的なエピポーラ線の延伸方向が、
前記第１画像を撮像する第１撮像部と前記第２画像を撮像する第２撮像部との配置関係に対応する方向であることを特徴とする情報処理装置。
【請求項１０】
請求項６から請求項８の何れか１つの請求項に記載の情報処理装置であって、
前記第２設定部が、
前記第１画像における前記基準点を含む２次元領域、および前記第２画像における前記候補点を含む２次元領域のうちの少なくとも一方の領域についての周波数成分への分解によって得られる空間周波数の振幅の２次元分布において、予め設定される閾値以上の振幅の周波数成分が存在する頻度が最も高い一方向を認識し、前記第２画像において前記一方向に対応する方向に前記候補点からずれている位置に前記探索基準点を設定することを特徴とする情報処理装置。
【請求項１１】
請求項６から請求項８の何れか１つの請求項に記載の情報処理装置であって、
前記第２設定部が、
前記第１画像における前記基準点を含む２次元領域、および前記第２画像における前記候補点を含む２次元領域のうちの少なくとも一方の領域についての周波数成分への分解によって得られる空間周波数の振幅の２次元分布において、振幅の平坦度が予め設定される平坦度よりも高い場合に、前記第２画像において前記推定領域の外に前記探索基準点を設定することを特徴とする情報処理装置。
【請求項１２】
請求項１０に記載の情報処理装置であって、
前記第２設定部が、
前記空間周波数の振幅の２次元分布において、振幅の平坦度が予め設定される平坦度よりも高い場合に、前記第２画像において前記推定領域の外に前記探索基準点を設定することを特徴とする情報処理装置。
【請求項１３】
請求項２から請求項１２の何れか１つの請求項に記載の情報処理装置であって、
前記検出部が、
前記第２設定部によって前記第２画像における前記推定領域の外に前記探索基準点が設定される場合に前記検出部によって検出される前記対応点と、前記第２設定部によって前記第２画像における前記推定領域の中に前記探索基準点が設定される場合に前記検出部によって検出される前記対応点との位置関係に基づいて、前記信頼度を判定することを特徴とする情報処理装置。
【請求項１４】
請求項１に記載の情報処理装置であって、
前記第２画像における前記対応点の候補点の位置情報を取得する情報取得部、をさらに備え、
前記検出部が、
前記基準領域に対して第１の重み付け処理を行って重み付け後基準領域画像を得るとともに、前記参照領域に対して前記第１の重み付け処理よりも重み付け係数の２次元分布が前記候補点に応じた方向に偏っている第２の重み付け処理を行うことで重み付け後参照領域画像を得て、前記重み付け後基準領域画像と前記重み付け後参照領域画像とに係る相関演算の結果に基づき、前記第２画像において前記対応点を検出することを特徴とする情報処理装置。
【請求項１５】
請求項１４に記載の情報処理装置であって、
前記第２画像において前記対応点が存在すると推定される推定領域を決定する決定部、をさらに備え、
前記判定部が、
前記第２画像における前記推定領域と前記対応点との位置関係に基づいて、前記信頼度を判定することを特徴とする情報処理装置。
【請求項１６】
請求項６から請求項１５の何れか１つの請求項に記載の情報処理装置であって、
前記検出部が、
前記第１画像の解像度が低減されて得られる第１低解像度画像と前記第２画像の解像度が低減されて得られる第２低解像度画像との間で、前記第１低解像度画像において前記基準点と同一の対象物が捉えられている低解像度基準点を基準として設けられる低解像度基準領域と、前記第２低解像度画像において設けられる低解像度参照領域とに係る相関演算の結果に基づいて、前記第２低解像度画像において前記低解像度基準点に対応する低解像度対応点を探索する低解像度探索処理を行い、
前記情報取得部が、
前記第２画像における前記低解像度対応点に対応する点の位置を示す情報を前記位置情報として取得することを特徴とする情報処理装置。
【請求項１７】
請求項１６に記載の情報処理装置であって、
前記決定部が、
前記低解像度探索処理における前記低解像度対応点に係る分解能と、前記候補点とに基づいて前記推定領域を決定することを特徴とする情報処理装置。
【請求項１８】
請求項１６に記載の情報処理装置であって、
前記決定部が、
前記第２画像において、前記低解像度探索処理における相関演算によって算出される相関値が予め決められている条件を満たす画像領域を前記推定領域として決定することを特徴とする情報処理装置。
【請求項１９】
請求項６から請求項１８の何れか１つの請求項に記載の情報処理装置であって、
前記情報取得部が、
前記第１画像を撮像する第１撮像部と前記第２画像を撮像する第２撮像部との配置関係と、距離測定部によって得られる前記第１および第２撮像部から前記第１および第２画像で捉えられている対象物までの離隔距離とに基づいて、前記位置情報を取得することを特徴とする情報処理装置。
【請求項２０】
請求項１から請求項１９の何れか１つの請求項に記載の情報処理装置であって、
前記判定部による前記信頼度の判定結果に基づいて、前記検出部によって検出される前記対応点に係る対応点情報を変更する情報変更部、をさらに備えることを特徴とする情報処理装置。
【請求項２１】
請求項２０に記載の情報処理装置であって、
前記情報変更部が、
前記判定結果に基づく前記対応点情報の削除、前記判定結果に基づく重み付け係数の前記対応点情報に対する付加、および前記判定結果に基づく精度情報の前記対応点情報に対する付加、のうちの少なくとも１つの処理を行うことを特徴とする情報処理装置。
【請求項２２】
(a)画像取得部によって、第１画像を取得するステップと、
(b)前記画像取得部によって、第２画像を取得するステップと、
(c)第１設定部によって、前記第１画像に基準点を設定するステップと、
(d)第２設定部によって、前記第２画像に探索基準点を設定するステップと、
(e)検出部によって、前記第１画像において前記基準点を基準として設けられる基準領域と、前記第２画像において前記探索基準点を基準として設けられる参照領域とに係る相関演算の結果に基づき、前記第２画像において前記基準点に対応する対応点を検出するステップと、
(f)判定部によって、前記第２画像における前記探索基準点と前記対応点との位置関係に基づいて、前記対応点の信頼度を判定するステップと、
を備えることを特徴とする情報処理方法。
【請求項２３】
情報処理装置に含まれる制御部において実行されることにより、前記情報処理装置を、請求項１から請求項２１の何れか１つの請求項に記載の情報処理装置として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【公開番号】特開２０１３−２０５８８（Ｐ２０１３−２０５８８Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５５８０９（Ｐ２０１１−１５５８０９）
【出願日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]