情報処理装置、プログラム、および情報処理方法
【課題】複数の画像間での対応点探索の精度を向上させ得る技術を提供する。
【解決手段】互いに対応する画像内容を含んだ基準画像と参照画像とを取得する画像取得手段と、前記基準画像に注目点を設定する設定手段と、前記基準画像と前記参照画像とのうち少なくとも一方の画像特性を反映する選択情報に基づいて、２以上の対応点探索手法のうちの１つを選択する選択手段と、選択された１つの対応点探索手法による探索結果を用いて、前記注目点の前記参照画像上の対応点を特定する探索手段と、を備える。そして、前記選択情報は、前記２以上の対応点探索手法のうち少なくとも一部の対応点探索手法について、前記基準画像と前記参照画像とを対象とする対応点探索への利用の適性を表現した適性情報となっている。
【解決手段】互いに対応する画像内容を含んだ基準画像と参照画像とを取得する画像取得手段と、前記基準画像に注目点を設定する設定手段と、前記基準画像と前記参照画像とのうち少なくとも一方の画像特性を反映する選択情報に基づいて、２以上の対応点探索手法のうちの１つを選択する選択手段と、選択された１つの対応点探索手法による探索結果を用いて、前記注目点の前記参照画像上の対応点を特定する探索手段と、を備える。そして、前記選択情報は、前記２以上の対応点探索手法のうち少なくとも一部の対応点探索手法について、前記基準画像と前記参照画像とを対象とする対応点探索への利用の適性を表現した適性情報となっている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる視点から被写体を撮影する撮影手段によって取得された複数の画像に関する処理を行う情報処理技術に関する。
【背景技術】
【０００２】
近年、ＰＯＣ（Phase-only Correlation：位相限定相関）法を用いて複数の画像間の相関を求めることによって、複数の画像のうち１の画像中の注目点に対応する、他の画像中の対応点を探索する対応点探索手法が注目されている。
【０００３】
ＰＯＣ法は、周波数分析によって各画像の各周波数成分を求め、各周波数成分についての振幅成分と、位相成分とのうち位相成分のみに基づいて各画像間の相関演算を行う手法である。
【０００４】
このためＰＯＣ法は、ＳＡＤ（Sum of Absolute Difference：差分絶対値和）法などの周波数分析を行わない手法に比べて演算時間は長いものの、画像の明るさの変動の影響を受けにくいという利点を持つ。
【０００５】
従って、ＰＯＣ法を用いた対応点探索手法によれば、通常、ＳＡＤ法などを用いた対応点探索手法に比べてより高精度に対応点を求めることができる。
【０００６】
そこで、特許文献１の技術では、先ず、被写体が撮影された対象画像の全体を対象としてＳＡＤ法を用いた対応点探索が行われるとともに、この対応点探索結果に基づいて被写体の各点の距離情報が取得される。
【０００７】
次に、対象画像のうち、より高精度の対応点探索を行いたい領域が、取得された距離情報に基づいて特定され、特定された領域を対象とする、より高精度の対応点探索がＰＯＣ法を用いて行われることによって、処理時間の短縮と対応点探索の精度向上との両立が図られている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−８９４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、ＳＡＤ法では画像間にわたる画素値の差分が用いられるため、対象画像が、例えば、特定の画像パターンにランダムノイズが重畳された画像などである場合においても、ＳＡＤ法を用いた対応点探索手法では、通常、ランダムノイズが相殺されることによって探索精度の悪化が抑制される。
【００１０】
一方、このような対象画像を対象としてＰＯＣ法を用いた対応点探索が行われる場合には、ランダムノイズのために位相成分の誤差が増大することによって対応点探索の探索精度が著しく低下する場合がある。
【００１１】
しかしながら、特許文献１に開示された技術においては、より高精度な対応点探索を行いたい注目領域について、ＰＯＣ法の適性を評価することなく一律にＰＯＣ法を適用しているため、対応点探索の精度が、該注目領域にＳＡＤ法が適用される場合に比べてかえって悪化する場合があるといった問題がある。
【００１２】
本発明は、こうした問題を解決するためになされたもので、複数の画像間での対応点探索の精度を向上させ得る技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、請求項１の発明は、情報処理装置であって、互いに対応する画像内容を含んだ基準画像と参照画像とを取得する画像取得手段と、前記基準画像に注目点を設定する設定手段と、前記基準画像と前記参照画像とのうち少なくとも一方の画像特性を反映する選択情報に基づいて、２以上の対応点探索手法のうちの１つを選択する選択手段と、選択された１つの対応点探索手法による探索結果を用いて、前記注目点の前記参照画像上の対応点を特定する探索手段と、を備え、前記選択情報は、前記２以上の対応点探索手法のうち少なくとも一部の対応点探索手法について、前記基準画像と前記参照画像とを対象とする対応点探索への利用の適性を表現した適性情報となっていることを特徴とする。
【００１４】
また、請求項２の発明は、請求項１に記載された情報処理装置であって、前記選択手段は、前記注目点毎に前記２以上の対応点探索手法のうちの１つを選択することを特徴とする。
【００１５】
また、請求項３の発明は、請求項１または請求項２に記載された情報処理装置であって、前記探索手段は、前記２以上の対応点探索手法のそれぞれによって前記対応点の候補を特定する複数の個別探索手段と、前記複数の個別探索手段によってそれぞれ特定された複数の対応点候補の中から、前記選択情報に基づいて１つを選択することにより、前記対応点を特定する対応点候補選択手段と、を備えることを特徴とする。
【００１６】
また、請求項４の発明は、請求項１または請求項２に記載された情報処理装置であって、前記探索手段は、前記２以上の対応点探索手法によって、前記対応点をそれぞれ探索可能な複数の個別探索手段と、前記複数の個別探索手段のうちの１つの個別探索手段を前記選択情報に基づいて選択的に能動化することにより、前記１つの個別探索手段に前記対応点を探索させる選択的能動化手段と、を備えることを特徴とする。
【００１７】
また、請求項５の発明は、請求項１から請求項４のいずれか１つの請求項に記載された情報処理装置であって、(１)前記２以上の対応点探索手法は、前記基準画像と前記参照画像との各周波数成分についての位相成分の相関演算を用いる位相型探索手法を含み、(２)前記選択情報は、前記位相成分の指標値であることを特徴とする。
【００１８】
また、請求項６の発明は、請求項５に記載された情報処理装置であって、前記指標値が所定の条件を満たすときに、前記位相型探索手法が選択されることを特徴とする。
【００１９】
また、請求項７の発明は、請求項５または請求項６に記載された情報処理装置であって、前記指標値は、前記各周波数成分についての振幅の大きさを表わす値であることを特徴とする。
【００２０】
また、請求項８の発明は、請求項５または請求項６に記載された情報処理装置であって、前記指標値は、前記基準画像のランダムノイズに影響する所定の撮影パラメータの値に基づいて取得されることを特徴とする。
【００２１】
また、請求項９の発明は、請求項８に記載された情報処理装置であって、前記指標値は、前記撮影パラメータの値と、前記基準画像における前記注目点の画素値とに基づいて取得される値であることを特徴とする。
【００２２】
また、請求項１０の発明は、請求項８または請求項９に記載された情報処理装置であって、前記撮影パラメータは、前記基準画像または前記参照画像が撮影されたときの撮影ゲイン値であることを特徴とする。
【００２３】
また、請求項１１の発明は、請求項１から請求項４のいずれか１つの請求項に記載された情報処理装置であって、(１)前記２以上の対応点探索手法は、前記基準画像と前記参照画像とのそれぞれの画素値の差分を用いる差分型探索手法を含み、(２)前記選択情報は、前記基準画像または前記参照画像の所定の領域におけるコントラストを表わす情報であることを特徴とする。
【００２４】
また、請求項１２の発明は、プログラムであって、情報処理装置に搭載されたコンピュータにおいて実行されることにより、当該情報処理装置を請求項１ないし請求項１１のいずれか１つの請求項に記載の情報処理装置として機能させることを特徴とする。
【００２５】
また、請求項１３の発明は、情報処理方法であって、互いに対応する画像内容を含んだ基準画像と参照画像とを取得する画像取得工程と、前記基準画像に注目点を設定する設定工程と、前記基準画像と前記参照画像とのうち少なくとも一方の画像特性を反映する選択情報に基づいて、前記２以上の対応点探索手法のうちの１つを選択する選択工程と、選択された１つの対応点探索手法による探索結果を用いて、前記注目点の前記参照画像上の対応点を特定する探索工程と、を備え、前記選択情報は、前記２以上の対応点探索手法のうち少なくとも一部の対応点探索手法について、前記基準画像と前記参照画像とを対象とする対応点探索への利用の適性を表現した適性情報となっていることを特徴とする。
【発明の効果】
【００２６】
請求項１から請求項１３の各発明によれば、基準画像と参照画像とのうち少なくとも一方の画像特性を反映する選択情報であって、２以上の対応点探索手法のうち少なくとも一部の対応点探索手法について、基準画像の注目点に対応する対応点を参照画像において特定する対応点探索への利用の適性を表現した適性情報となっている選択情報に基づいて、２以上の対応点探索手法のうちの１つが選択されて対応点探索に用いられるので、複数の画像間での対応点探索の精度を向上させることができる。
【図面の簡単な説明】
【００２７】
【図１】実施形態に係る情報処理システムの主な構成の１例を示すブロック図である。
【図２】実施形態に係る情報処理装置の主な機能構成の１例を示すブロック図である。
【図３】探索部が行う対応点探索の概要を説明する図である。
【図４】基準ウィンドウの設定例を示す図である。
【図５】基準ウィンドウの設定例を示す図である。
【図６】ＳＡＤ法を用いた対応点探索の例を説明する図である。
【図７】ＳＡＤ法における参照ウィンドウの走査態様を例示する図である。
【図８】ＰＯＣ法を用いた対応点探索の手順の１例を示す図である。
【図９】ＰＯＣ値の例を示す図である。
【図１０】所定の分割数に分割された基準ウィンドウの１例を示す図である。
【図１１】非線形な閾値を用いた採用手法の選択の１例を説明する図である。
【図１２】実施形態に係る情報処理装置の動作フローの１例を示す図である。
【図１３】図１２の動作フローのうち選択情報の取得に係る動作フローの１例を示す図である。
【図１４】図１２の動作フローのうち採用手法の選択に係る動作フローの１例を示す図である。
【図１５】図１２の動作フローのうち選択情報の取得に係る動作フローの１例を示す図である。
【図１６】図１２の動作フローのうち選択情報の取得に係る動作フローの１例を示す図である。
【図１７】図１２の動作フローのうち採用手法の選択に係る動作フローの１例を示す図である。
【図１８】図１２の動作フローのうち採用手法の選択に係る動作フローの１例を示す図である。
【図１９】図１２の動作フローのうち選択情報の取得に係る動作フローの１例を示す図である。
【図２０】図１２の動作フローのうち選択情報の取得に係る動作フローの１例を示す図である。
【図２１】図１２の動作フローのうち対応点の特定に係る動作フローの１例を示す図である。
【図２２】図１２の動作フローのうち対応点の特定に係る動作フローの１例を示す図である。
【発明を実施するための形態】
【００２８】
＜実施形態について：＞
＜◎情報処理システム１００Ａについて：＞
図１は、実施形態に係る情報処理システム１００Ａの主な構成の１例を示すブロック図である。
【００２９】
図１に示されるように、情報処理システム１００Ａは、ステレオカメラ３００と情報処理装置２００Ａとを主に備えて構成されており、ステレオカメラ３００が撮影した基準画像１Ａおよび参照画像２Ａを情報処理装置２００Ａが取得し、情報処理装置２００Ａが基準画像１Ａおよび参照画像２Ａを処理することによって、基準画像１Ａに設定された注目点２１（図３）に対応する対応点２３（図３）を参照画像２Ａにおいて特定する対応点探索を行う。
【００３０】
◎ステレオカメラ３００について：
図１に示されるように、ステレオカメラ３００は、基準カメラ３１と参照カメラ３２とを主に備えて構成されている。また、基準カメラ３１および参照カメラ３２は、それぞれ、不図示の撮影光学系および受光素子を有する制御処理回路などを主に備えて構成されている。
【００３１】
また、基準カメラ３１と参照カメラ３２とは、所定の基線長を隔てて設けられており、撮影光学系に入射した被写体からの光線情報を制御処理回路等で同期して処理することによって、被写体のステレオ画像を構成する、基準画像１Ａおよび参照画像２Ａを生成する。
【００３２】
基準画像１Ａおよび参照画像２Ａは、例えば、複数の画素がマトリックス状に配列され、各画素の画素値が所定の階調数で表現されたデジタル画像データである。なお、基準画像１Ａ及び参照画像２Ａのサイズとしては、例えば、ＶＧＡ（６４０画素×４８０画素）などが採用される。
【００３３】
生成された基準画像１Ａおよび参照画像２Ａは、データ線ＤＬを介して情報処理装置２００Ａの入出力部４１へと供給される。なお、基準画像１Ａおよび参照画像２Ａは、カラー画像であってもモノクロ画像であっても本発明の有用性を損なうものではない。
【００３４】
また、基準画像１Ａおよび参照画像２Ａがそれぞれ撮影されたときの基準カメラ３１および参照カメラ３２の撮影ゲイン値などの撮影パラメータ１Ｐおよび２Ｐも、それぞれ基準画像１Ａおよび参照画像２Ａのヘッダ情報などとして情報処理装置２００Ａへと供給される。
【００３５】
なお、ステレオカメラ３００の各種動作は、情報処理装置２００Ａから入出力部４１およびデータ線ＤＬを介して供給される制御信号に基づいて制御される。
【００３６】
また、ステレオカメラ３００は、基準カメラ３１と参照カメラ３２との同期をとりつつ被写体を時間順次に連続的に撮影することによって、複数の時系列画像を生成することもできる。
【００３７】
従って、情報処理装置２００Ａは、これらの複数の時系列画像の中から基準画像１Ａと参照画像２Ａとを取得することもできる。なお、時系列画像の中から選ばれる基準画像１Ａと参照画像２Ａとは、通常、同一のカメラによって撮影された画像であるが、異なるカメラによってそれぞれ撮影された画像であってもよい。
【００３８】
◎情報処理装置２００Ａの構成について：
図１に示されるように、情報処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、これらの各機能部によって基準画像１Ａと参照画像２Ａとに関する対応点探索などを行う。また、情報処理装置２００Ａは、例えば、汎用のコンピュータ、または専用のハードウェア装置などによって実現される。
【００３９】
以下、情報処理装置２００Ａの各機能部について説明する。
【００４０】
◎入出力部４１〜記憶装置４６：
入出力部４１は、例えばＵＳＢインタフェースなどの入出力インタフェースおよびマルチメディアドライブなどを備えて構成されている。
【００４１】
入出力部４１は、入出力インタフェースによってステレオカメラ３００から情報処理装置２００Ａへ供給される画像情報等の入力、および情報処理装置２００Ａからステレオカメラ３００への各種制御信号等の出力を行うとともに、マルチメディアドライブによって光ディスクなどの記憶媒体を受け付け、ＣＰＵ１１Ａとの間でデータの授受を行う。
【００４２】
このように、情報処理装置２００Ａが処理するステレオ画像は、ステレオカメラ３００から直接取得されるだけでなく、記憶媒体を経由することによっても取得され得る。
【００４３】
操作部４２は、例えば、キーボード、マウスおよび操作ボタンなどを備えて構成されており、対応点の探索に用いられるウィンドウのサイズ（ウィンドウサイズ）および初期視差などの情報処理装置２００Ａの各種制御パラメータの設定、情報処理装置２００Ａの各種動作モードの設定、および各種操作信号の入力などの用途に使用される。なお、設定された制御パラメータおよび動作モードなどは、ＣＰＵ１１Ａによって、記憶装置４６に記憶される。
【００４４】
表示部４３は、例えば液晶ディスプレイで構成されて動画などを表示可能であり、表示部４３には、ステレオカメラ３００によって撮影されたステレオ画像などの画像情報、各種メッセージ、各種制御用のＧＵＩ（Graphical User Interface）、および制御パラメータ設定用の情報などが表示される。
【００４５】
ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムなどを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。
【００４６】
ＲＡＭ（Random Access Memory ）４５は、読み書き自在の揮発性メモリであり、画像取得部１２が取得した各種画像などを格納する用途に使用されるとともに、情報処理装置２００Ａの各部が出力する情報を一時的に記憶するワークメモリの用途にも使用される。
【００４７】
記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、情報処理装置２００Ａの各部を制御するために設定された制御パラメータ、画像情報、および対応点の探索結果などの各種情報を恒久的に記録する。
【００４８】
また、記憶装置４６には、ＣＰＵ１１Ａを動作させるプログラムのうち後述する取得プログラム２８（図２）、および評価式または判定アルゴリズムなどである判定基準２９（図２）などのモジュール化された一部の各プログラム自体、または当該一部の各プログラムのＲＯＭ４４における格納アドレス情報が記録されており、ＣＰＵ１１Ａは、ＲＯＭ４４および記憶装置４６に記憶されたプログラムおよび格納アドレス情報に基づいて動作可能に構成されている。
【００４９】
上述した制御パラメータは、例えば、対応点探索が行われる際の相関演算の対象領域として基準画像１Ａおよび参照画像２Ａにそれぞれ設定される基準ウィンドウ５１（図３）および参照ウィンドウ５２（図３）の水平方向（図３のＸ方向）および垂直方向（図３のＹ方向）のサイズであるウィンドウサイズ、初期視差、および各種の判定に用いられる閾値などである。
【００５０】
ここで、初期視差は、注目点２１の基準画像１Ａ上の座標と、対応点２３の参照画像２Ａ上の座標のずれ量（「視差」とも称する）についての所定の見込み量（初期値）であり、画像の水平方向と垂直方向とについてそれぞれ設定されている。
【００５１】
また、これらの制御パラメータは、操作部４２などによって予め設定されて記憶装置４６に記憶されている。
【００５２】
◎ＣＰＵ１１Ａ：
ＣＰＵ（Central Processing Unit）１１Ａは、情報処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムに従った制御および処理を実行する。
【００５３】
ＣＰＵ１１Ａは、後述するように、画像取得部１２、選択情報取得部１３、設定部１４、選択部１５、および探索部１６としても機能する。
【００５４】
ＣＰＵ１１Ａは、これらの機能部によって、基準画像１Ａに設定された注目点に対応する対応点を基準画像１Ｂにおいて特定する対応点探索を行う。
【００５５】
また、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。
【００５６】
＜情報処理装置２００Ａの機能説明＞
図２は、実施形態に係る情報処理装置２００Ａの主な機能構成の１例を示すブロック図である。また、図１２は、実施形態に係る情報処理装置２００Ａの動作フローの１例を示す図である。
【００５７】
以下、情報処理装置２００Ａの主な機能部について図１２の動作フローを適宜参照しつつ簡単に説明する。
【００５８】
なお、図１に示される構成例では、画像取得部１２、選択情報取得部１３、設定部１４、選択部１５、および探索部１６の各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。
【００５９】
◎画像取得部１２の機能について：
図２に示される画像取得部１２は、ステレオカメラ３００（図１）によって撮影された、互いに対応する画像内容を含んだ画像である基準画像１Ａと参照画像２Ａとを入出力部４１を介して取得する（図１２のステップＳ１０）。
【００６０】
また、画像取得部１２は、撮影パラメータ１Ｐおよび２Ｐをも入出力部４１を介して取得する。
【００６１】
取得された基準画像１Ａおよび参照画像２Ａは、選択情報取得部１３、設定部１４、および探索部１６に供給され、撮影パラメータ１Ｐおよび２Ｐは、選択情報取得部１３に供給される。
【００６２】
◎設定部１４の機能について：
設定部１４は、供給された基準画像１Ａに注目点２１を設定する（図１２のステップＳ２０）とともに、注目点２１と、記憶装置４６に格納された初期視差とに基づいて、供給された参照画像２Ａに参照ウィンドウ５２の基準となる探索基準点２２を設定する。
【００６３】
より具体的には、設定部１４は、例えば、エッジ検出処理などによって特定された基準画像１Ａの特徴点を特定する手法、表示部４３において操作部４２を用いて指示された基準画像１Ａ上の点の座標情報を取得する手法、または基準画像１Ａの各点を所定の順次で順次に特定する手法などによって注目点２１を設定する。
【００６４】
また、設定部１４は、例えば、基準画像１Ａにおける注目点２１の座標に、初期視差を加算した座標を求め、参照画像２Ａにおける該座標情報を有する点を探索基準点２２として設定する。
【００６５】
設定された注目点２１および探索基準点２２についての情報は、選択情報取得部１３および探索部１６へと供給され、例えば、探索部１６において注目点２１および探索基準点２２のそれぞれに基づいた基準ウィンドウ５１および参照ウィンドウ５２のそれぞれの設定に供される。
【００６６】
なお、情報処理装置２００Ａにおける注目点２１および探索基準点２２の授受は、例えば、これらの点の座標情報などの授受によって行われる。
【００６７】
ここで、注目点２１および探索基準点２２の設定は、通常画素（ピクセル）単位で行われるが、画素単位よりも小さなサブピクセル単位で設定されたとしても、探索部１６が行う基準ウィンドウ５１および参照ウィンドウ５２の設定においては注目点２１および探索基準点２２がそれぞれ属する画素を基準として各ウィンドウを設定すればよいので、本発明の有用性を損なうものではない。
【００６８】
また、注目点２１に基づいて設定される基準ウィンドウ５１を特定する各座標値に、例えば、それぞれ初期視差を直接加えることによっても参照ウィンドウ５２を設定可能であり、この場合には、探索基準点２２の設定を省くことができる。
【００６９】
◎選択情報取得部１３の機能について：
選択情報取得部１３は、画像取得部１２から基準画像１Ａ、参照画像２Ａ、ならびに撮影パラメータ１Ｐおよび２Ｐを、設定部１４から注目点２１および探索基準点２２をそれぞれ供給される。
【００７０】
また、選択情報取得部１３は、対応点２３の特定に使用される対応点探索手法である採用手法２７の候補となる２以上の候補手法２５、これら２以上の候補手法２５のうちの注目手法２６、および２以上の候補手法２５から採用手法２７が選択される際の判断の基礎となる選択情報２４の取得プログラム２８をそれぞれ記憶装置４６から供給される。
【００７１】
なお、情報処理装置２００Ａにおける取得プログラム２８の授受は、具体的には、例えば、ＲＯＭ４４における取得プログラム２８の格納アドレス情報の授受、または取得プログラム２８自体の授受などによって行われる。
【００７２】
また、２以上の候補手法２５としては、例えば、ＰＯＣ法とＳＡＤ法とをそれぞれ用いて対応点探索を行う各手法などが採用される。
【００７３】
選択情報取得部１３は、２以上の候補手法２５のうち少なくとも注目手法２６について、注目点２１に対応する参照画像２Ａの対応点２３を特定する対応点探索への利用の適性を表す適性情報となる選択情報２４を取得プログラム２８に基づいて取得し（図１２のステップＳ３０）、選択部１５へと供給する。なお、選択情報取得部１３が選択情報２４を取得する手順の詳細については後述する。
【００７４】
◎選択部１５の機能について：
選択部１５は、選択情報取得部１３から選択情報２４を供給され、記憶装置４６から候補手法２５、注目手法２６、および選択情報２４と所定の閾値との比較を行う不等式として表現される評価式あるいは判定アルゴリズムなどである判定基準２９をそれぞれ供給される。
【００７５】
なお、情報処理装置２００Ａにおける判定基準２９の授受は、具体的には、例えば、上述した評価式または判定アルゴリズム実現するプログラムの授受、もしくはＲＯＭ４４における該プログラムの格納アドレス情報などの授受によって行われる。
【００７６】
同様に、２以上の候補手法２５の授受は、具体的には、例えば、各候補手法２５を実現させる各プログラムのＲＯＭ４４における格納アドレス情報の授受、または当該各プログラム自体の授受などによって行われる。
【００７７】
選択部１５は、判定基準２９を用いて選択情報２４を判定することにより、すなわち選択情報２４に基づいて、２以上の候補手法２５のうち１の手法を採用手法２７として選択する（図１２のステップＳ４０）。また、選択された採用手法２７は、探索部１６へと供給されて、対応点２３の特定に用いられる。
【００７８】
◎探索部１６の機能について：
探索部１６は、選択部１５から採用手法２７を、記憶装置４６から２以上の候補手法２５を、それぞれ供給され、採用手法２７による対応点探索の結果を用いて、注目点２１に対応する参照画像２Ａの対応点２３を特定する（図１２のステップＳ５０）。
【００７９】
なお、情報処理装置２００Ａにおける採用手法２７の授受は、具体的には、例えば、採用手法２７を実現させるプログラムのＲＯＭ４４における格納アドレス情報の授受、または当該プログラム自体の授受などによって行われる。
【００８０】
ここで、探索部１６は、以下に説明する２つの手順を、予め設定された動作モードに応じて切り替えることにより、それぞれの手順に従って対応点２３を特定する対応点探索を行えるように構成されている。
【００８１】
図２１は、図１２の動作フローのうち、上述した２つの手順のうちの１つ目の手順において探索部１６が行う対応点の特定（ステップＳ５０）に係る動作フローの１例を示す図である。
【００８２】
該１つ目の手順では、探索部１６は、先ず、２以上の各候補手法２５のそれぞれによって、注目点２１に対応する参照画像２Ａの対応点２３の候補である対応点候補をそれぞれ個別に特定する複数の個別探索処理を行う（図２１のステップＳ９３）。
【００８３】
次に、探索部１６は、特定された複数の対応点候補の中から、選択情報２４に基づいて選択された採用手法２７に対応する対応点候補を対応点２３として選択することによって対応点２３を特定する対応点候補選択処理を行う（図２１のステップＳ９４）。
【００８４】
また、図２２は、図１２の動作フローのうち、上述した２つの手順のうちの２つ目の手順において探索部１６が行う対応点の特定（ステップＳ５０）に係る動作フローの１例を示す図である。
【００８５】
該２つ目の手順では、探索部１６は、先ず、上述した複数の個別探索処理のうち選択情報２４に基づいて選択された採用手法２７に対応する個別探索処理を、例えば、採用手法２７を実現させるプログラムを選択的に実行することなどによって、選択的に能動化（有効化）し（図２２のステップＳ９５）、選択的に能動化された個別探索処理による探索結果を用いて対応点２３を特定する（図２２のステップＳ９６）。
【００８６】
例えば、探索部１６がハードウェア回路によって実現されている場合には、参照画像２Ａに逐次設定される各注目点２１毎に採用手法２７を切り替えつつ各対応点２３を探索するよりも、あらかじめ参照画像２Ａの全ての各注目点２１に対して２以上の候補手法２５のそれぞれによって各対応点を取得しておき、各候補手法２５ごとに選択された採用手法２７に応じた対応点を対応点２３とする方が、通常、より処理コストを低減することができる。
【００８７】
従って、探索部１６がハードウェア回路によって実現されている場合には、通常、上述した１つ目の手順が採用されるが、上述した２つ目の手順が採用されたとしても、本発明の有用性を損なうものではない。
【００８８】
一方、探索部１６が図１に記載したようにＣＰＵで所定のプログラムを実行することによって実現されている場合には、通常、上述した２つ目の手順の方が、１つ目の手順を採用するよりも処理コストをより低減することができる。
【００８９】
従って、探索部１６がＣＰＵで所定のプログラムを実行することによって実現されている場合には、通常、上述した２つ目の手順が採用されるが、上述した１つ目の手順が採用されたとしても、本発明の有用性を損なうものではない。
【００９０】
探索部１６によって特定された対応点２３は、表示部４３に供給され、対応点探索の結果として表示される。
【００９１】
◎探索部１６が行う探索処理について：
次に、探索部１６が行う、２以上の候補手法２５の探索処理について詳しく説明する。
【００９２】
ここで、図３は、探索部１６が行う対応点探索の概要を説明する図である。先ず、図３を用いて探索部１６が行う対応点探索処理の概要を説明した後、個々の候補手法２５について詳しく説明する。
【００９３】
図３では、設定部１４によって、基準画像１Ａ上に注目点２１が設定されるとともに、注目点２１と、記憶装置４６に格納された初期視差とに基づいて参照画像２Ａ上に探索基準点２２が設定されている。
【００９４】
探索部１６は、記憶装置４６に格納されたウィンドウサイズに基づいて、注目点２１に対して基準ウィンドウ５１を、探索基準点２２に対して参照ウィンドウ５２をそれぞれ設定し、基準ウィンドウ５１内の画像と参照ウィンドウ５２内の画像との採用手法２７に応じた相関を求めることによって各画像間の視差を求め、注目点２１の座標と、求められた視差とに基づいて注目点２１に対応する対応点２３を求める。
【００９５】
なお、採用手法２７の候補である２以上の候補手法２５の１つとしては、周波数分析を行わない、例えば、ＳＡＤ法（差分絶対値和法）などの画像間（基準ウィンドウ５１と参照ウィンドウ５２）のそれぞれの画素値の差分を用いる差分型の相関演算方法を用いる差分型探索手法が採用される。
【００９６】
また、２以上の候補手法２５の他の１つとしては、周波数分析を行って画像の各周波数成分を求め、求められた各周波数成分についての位相成分に基づいた相関演算を行う、例えば、ＰＯＣ法（位相限定相関法）などの位相型の相関演算手法を用いる位相型探索手法が採用される。
【００９７】
○基準ウィンドウと参照ウィンドウ：
図４および図５は、基準画像１Ａに設定された基準ウィンドウ５１の設定例を示す図である。なお、図４および図５には、説明を簡単にするために座標軸が記載されており、同様に、他の図においても必要に応じて座標軸が適宜記載されている。
【００９８】
図４に例示される基準ウィンドウ５１は、水平方向画素数と垂直方向画素数がともに奇数であり、注目点２１の座標は、基準ウィンドウ５１の重心５３と一致する。
【００９９】
図５に例示される基準ウィンドウ５１は、水平方向画素数と垂直方向画素数とがともに偶数であり、注目点２１の座標は、基準ウィンドウ５１の重心５３に対して−Ｘ方向、−Ｙ方向に０．５画素ずれている。
【０１００】
図４および図５に示される例の他に、基準ウィンドウ５１の水平方向画素数と垂直方向画素数とは、それぞれ奇数と偶数（順不同）との組でもよい。
【０１０１】
なお、基準ウィンドウ５１と参照ウィンドウ５２とのそれぞれの水平方向（Ｘ方向）画素数は同じであり、それぞれの垂直方向（Ｙ方向）画素数もまた同じである。
【０１０２】
なお、採用手法２７として周波数分析を行う手法が選択された場合には、高速フーリエ変換（ＦＦＴ）を用いて必要な演算回数を抑制し、処理の高速化を図る観点から、水平方向画素数と垂直方向画素数とを２のべき乗で表される画素数とすることが望ましい。
【０１０３】
次に、２以上の候補手法２５のうちＳＡＤ法とＰＯＣ法とを例として、基準ウィンドウ５１と参照ウィンドウ５２の画像間の相関を求める手法について説明する。
【０１０４】
○ＳＡＤ法を用いた対応点探索：
図６は、ＳＡＤ法を用いた対応点探索の例を説明する図である。
【０１０５】
図６に示される基準画像１Ａ上にはＸ座標がｈ２である注目点２１が設定されており、注目点２１に対して基準ウィンドウ５１が設定されている。基準ウィンドウ５１のＸ方向の両端のＸ座標は、ｈ１とｈ３である。また、参照画像２Ａ上には、注目点２１に対応する対応点２３が示されている。
【０１０６】
ここでは、ＳＡＤ法を用いて対応点２３を求める例について説明する。
【０１０７】
参照画像２Ａ上には、Ｘ座標がｘｓである探索基準点２２ｓからＸ座標がｘｅである探索基準点２２ｅまで、Ｘ座標がｘｓ≦ｘ≦ｘｅの範囲で１画素ごとに複数の探索基準点が設定されており、これら複数の探索基準点の代表として両端の探索基準点２２ｓ、２２ｅのみが記載されている。
【０１０８】
また、該複数の探索基準点には、それぞれ基準ウィンドウ５１と、同サイズの複数の参照ウィンドウとが設定されており、該複数の参照ウィンドウの代表として両端の参照ウィンドウ５２ｓ、５２ｅのみが記載されている。
【０１０９】
ここで、図６においては説明を簡単にするため、注目点２１と複数の探索基準点２２ｓ〜２２ｅのＹ座標は同じであり、従って、基準ウィンドウ５１と、参照ウィンドウ５２ｓ〜５２ｅのＹ方向の座標のずれ量は無いように設定されている。また、注目点２１と、求められるべき対応点２３のＹ座標も一致するように設定されている。
【０１１０】
次に、参照ウィンドウ５２ｓ〜５２ｅの各参照ウィンドウ内の各画像と、基準ウィンドウ５１内の画像との相関値を演算する。基準ウィンドウと参照ウィンドウのＸ方向、Ｙ方向の座標のずれ量（視差）をそれぞれ視差ｘｄ、ｙｄとする。図６の例では、視差ｘｄの範囲はｘｓ−ｈ２〜ｘｅ−ｈ２であり、視差ｙｄは０である。
【０１１１】
基準ウィンドウ５１内の各画素（xｉ，yｊ）の画素値をＩｍｇ１（xｉ，yｊ）、Ｘ方向、Ｙ方向の視差が、視差ｘｄ、ｙｄである参照ウィンドウ５２内の各画素（ｘｉ＋ｘｄ，yｊ＋ｙｄ）の画素値をＩｍｇ２（ｘｉ＋ｘｄ，yｊ＋ｙｄ）とすると、（１）式、（２）式を用いた演算によって基準ウィンドウ５１内の画像と参照ウィンドウ５２内の画像の相関値ＣＯＲｐが算出される。
【０１１２】
【数１】
【０１１３】
参照ウィンドウが５２ｓから５２ｅにわたって走査されるように、Ｘ方向の視差ｘｄをｘｓ−ｈ２〜ｘｅ−ｈ２の範囲で変更しつつ、（１）式および（２）式によって各視差ｘｄに対する相関値ＣＯＲｐが算出されると、図６に示すグラフＵ１のように参照画像２ＡのＸ座標と相関値ＣＯＲｐとの関係が明らかになる。
【０１１４】
図６の例では、座標ｘＭにおいて、グラフＵ１における相関値ＣＯＲｐの最大値が与えられているので、探索基準点のＸ座標がｘＭと一致する参照ウィンドウが、相関値ＣＯＲｐの最大値を与える参照ウィンドウであり、該参照ウィンドウの探索基準点と、注目点２１に対応する対応点２３とは一致する。
【０１１５】
図７はＳＡＤ法における参照ウィンドウ５２の走査態様を例示する図であり、参照画像２Ａの全域に参照ウィンドウ５２を走査させている。ＳＡＤ法はＰＯＣ法に比べて演算量が少なく高速な処理が可能であるので、画素数が多い参照画像２ＡにＳＡＤ法による対応点探索を適用し、図７に示される全域走査を行っても処理時間が短くなる。
【０１１６】
従ってＳＡＤ法を用いる場合には、対応点に近い探索基準点を求めることなく、画像の全域にわたって参照ウィンドウの走査を行って視差特定をしても、周波数分析を行う手法を用いる場合に比べて短時間で対応点探索を行うことができるので、探索基準点を求める処理コストを削減することが可能となる。
【０１１７】
なお、ＳＡＤ法以外にも、例えば、ＳＳＤ（濃度差の二乗和）法などを差分型探索手法として採用しても本発明の有用性を損なうものではない。
【０１１８】
○ＰＯＣ法を用いた対応点探索：
図８は、ＰＯＣ法を用いた対応点探索の手順の１例を示す図である。
【０１１９】
ＰＯＣ法は、周波数分析を使用した相関法であって、かつ、振幅成分を抑制した相関法である。同様の相関法として、ＤＣＴ符号限定相関法（参考論文：「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」貴塚仁志）などが知られている。
【０１２０】
これらの相関法は、パターンの周波数分析信号から、振幅成分を抑制した位相成分のみの信号に基づいて類似度演算を行うため、画像を取得するためのステレオカメラ３００における撮影条件の差（ここでは、基準カメラ３１、参照カメラ３２における撮影条件の差）や、ノイズなどの影響を受けにくく、ロバストな対応点検索が可能である。
【０１２１】
また、ＳＡＤ法が、１組の基準ウィンドウと参照ウィンドウに対して１つの相関値（ＣＯＲｐ値）のみを出力するため、相関値が最も高い参照ウィンドウ、すなわち、相関値が最も高い視差を特定するためには複数の参照ウィンドウにわたって、参照ウィンドウの走査を行う必要があるのに対して、ＰＯＣ法などの周波数分析を使用した相関法は、１組の基準ウィンドウと参照ウィンドウの画像に対して、画像間の相関値とともに、相関値が最も高くなる画像間の視差が求められるので、対応点が該参照ウィンドウ内に存在する場合には、参照ウィンドウの走査を行う必要がない。
【０１２２】
以下に、基準画像１Ａに対する基準ウィンドウ５１内の画像と、参照画像２Ａに対する参照ウィンドウ５２内の画像とを対応点探索の対象として注目点についての視差を求める場合を例に、ＰＯＣ法の基本原理を説明する。
【０１２３】
先ず、基準画像１Ａに対して基準ウィンドウ５１を設定する基準ウィンドウ設定処理Ｔ１ａ、および参照画像２Ａに対して参照ウィンドウ５２を設定する参照ウィンドウ設定処理Ｔ１ｂが行われる。
【０１２４】
基準ウィンドウ５１内の画像領域と、参照ウィンドウ５２内の画像領域とは、次の（３）式、（４）式のように表されるものとする。
【０１２５】
【数２】
【０１２６】
ここで、（３）式のｆ0(ｎ1,ｎ2)および（４）式のｇ0(ｎ1,ｎ2)は、基準ウィンドウ５１内および参照ウィンドウ５２内の画素の画素値を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【０１２７】
次に、周波数分析を行う前に、ウィンドウ領域の端部での不連続性の影響を取り除くために窓関数を用いた窓関数処理Ｔ２ａおよびＴ２ｂを行う。
【０１２８】
窓関数は、例えば、（５）式のH(ｎ1,ｎ2)で与えられるハニング窓が採用され、窓関数処理Ｔ２ａおよびＴ２ｂは、基準ウィンドウ５１内および参照ウィンドウ５２内の各画素の画素値に（５）式の窓関数の出力値を乗ずる演算（６）式および（７）式でそれぞれ与えられる。
【０１２９】
【数３】
【０１３０】
窓関数としては、ハニング窓の他に、例えば、ハミング窓、カイザー窓などが採用される。
【０１３１】
次に、基準ウィンドウ５１、参照ウィンドウ５２内の各画像領域に対し、（８）式、（９）式で示す演算式を用いて、図８に示される２次元のフーリエ変換処理Ｔ３ａ、Ｔ３ｂが行われる。
【０１３２】
【数４】
【０１３３】
なお、（８）式、（９）式の下部ただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。ここで、周波数分析の処理は必ずしもフーリエ変換である必要はなく、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換の何れかを含んでいても良い。
【０１３４】
このようなフーリエ変換処理Ｔ３ａ、Ｔ３ｂが施された各画像領域に対しては、（１０）式で示す演算式を用いて、画像の振幅成分を除去するための正規化処理Ｔ４ａ、Ｔ４ｂが行われる。
【０１３５】
【数５】
【０１３６】
正規化処理Ｔ４ａ、Ｔ４ｂが完了すると、（１１）式で示す演算式を用いた正規化クロス・パワースペクトル算出処理Ｔ５が行われる。
【０１３７】
【数６】
【０１３８】
正規化クロス・パワースペクトル算出処理Ｔ５が完了すると、（１２）式で示す演算式を用いた２次元の逆フーリエ変換処理Ｔ６が行われる。これにより、基準ウィンドウ５１と参照ウィンドウ５２内の各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【０１３９】
【数７】
【０１４０】
以上の処理により、基準ウィンドウ５１内の画像と参照ウィンドウ５２内の画像との相関を示す演算結果(ＰＯＣ値)が得られ、例えば、図９で示すような結果（ＰＯＣ値）が得られる。
【０１４１】
図９は、ＰＯＣ値の例を示す図である。図９においては、ウィンドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＳを与える座標が、基準ウィンドウ５１内の画像と参照ウィンドウ５２内の画像との相関が最も高くなる視差を示す。この視差を特定する処理が視差特定Ｔ７である。
【０１４２】
ＰＯＣ法を用いた対応点探索では、ＰＯＣ法を用いて特定された視差と、基準ウィンドウ５１内の注目点２１とに基づいて、注目点２１に対応した参照ウィンドウ５２内の対応点２３が求められる。
【０１４３】
以上のように、ＰＯＣ法を用いた対応点探索によれば、画像の振幅成分が除去され、画像の位相成分のみに基づいて相関演算が行われるため、画素値の変動やノイズの影響が抑制されて対応点が精度良く検出される。
【０１４４】
ここで、操作部４２からは情報処理装置２００Ａの動作モードとして種々の動作モードが設定可能であり、選択情報取得部１３と、選択部１５とはそれぞれ操作部４２から設定される各動作モードに応じた選択情報２４の取得と、採用手法２７の選択とを行うことができるように構成されている。
【０１４５】
以下では、２以上の候補手法２５として、ＰＯＣ法とＳＡＤ法とをそれぞれ用いた対応点探索の各手法が採用され、注目手法２６としてＰＯＣ法を用いた対応点探索の手法が採用される場合を例に、各動作モードのうちの第１動作モードから第４動作モードにおける選択情報取得部１３と、選択部１５との動作について説明する。
【０１４６】
［◎Ａ．第１動作モードにおける選択情報取得部１３と選択部１５との動作：］
第１動作モードでは、注目手法２６として画像の各周波数成分についての位相成分に基づいた相関演算を行うＰＯＣ法を用いる手法が採用され、選択情報２４としては、当該位相成分の指標値のうち、各周波数成分についての振幅の大きさを表わす第１指標値が採用される。
【０１４７】
ここで、第１動作モードにおける採用手法２７の選択の原理について説明する。
【０１４８】
○第１動作モードにおける採用手法２７の選択の原理：
（８）式に示された離散フーリエ変換（Discrete Fourier Transform：ＤＦＴ）の演算式によって求められた演算結果Ｆ(ｋ1,ｋ2)は、（１３）式の演算式によっても表わすことができる。
【０１４９】
なお、（８）式および（１３）式におけるｋ1およびｋ2は、それぞれ整数で与えられる離散周波数インデックスである。また、（１３）式において振幅ＡF(ｋ1,ｋ2)は各周波数成分のそれぞれの振幅であり、θF(ｋ1,ｋ2)は各周波数成分のそれぞれの位相である。
【０１５０】
【数８】
【０１５１】
ここで、（８）式および（１３）式に示される離散フーリエ変換が行われると、結果は、実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)とに分解された形式で求められる。
【０１５２】
また、位相θF(ｋ1,ｋ2)は、実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)とを用いて（１４）式によって与えられる。
【０１５３】
【数９】
【０１５４】
同様に、振幅ＡF(ｋ1,ｋ2)は、（１５）式によって与えられる。
【０１５５】
【数１０】
【０１５６】
ここで、画像に対してノイズ成分が重畳されている場合には、実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)とは、それぞれノイズ成分と信号成分とを含んでいる。
【０１５７】
従って、例えば、画像に重畳されているノイズ成分が一定量である場合には、（１４）式より、実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)とのそれぞれの値が小さいほど、それぞれのＳ／Ｎ比（信号対雑音比）が小さくなり、求められた位相θF(ｋ1,ｋ2)の誤差が大きくなること、すなわち、求められた位相θF(ｋ1,ｋ2)の信頼度が低くなることが判る。
【０１５８】
一方、（１５）式で与えられる振幅ＡF(ｋ1,ｋ2)によって、実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)との大きさが判る。
【０１５９】
従って、周波数分析された画像の各周波数成分の振幅ＡF(ｋ1,ｋ2)によって、位相θF(ｋ1,ｋ2)の誤差が大きいか小さいか、すなわち、位相θF(ｋ1,ｋ2)の信頼度が高いか低いかを判定することができる。
【０１６０】
以上に説明したように、各周波数成分についての振幅の大きさを表わす第１指標値は、ＰＯＣ法を用いる対応点探索手法の対応点探索への利用の適性を表わす適性情報となっている。
【０１６１】
第１動作モードでは、選択情報取得部１３が第１指標値を選択情報２４として取得し、選択情報２４に基づいて選択部１５が採用手法２７を選択する。
【０１６２】
○第１動作モードにおける選択情報取得部１３の動作：
図１３は、図１２の動作フローのうち第１動作モードにおいて選択情報取得部１３が行う選択情報２４の取得（ステップ３０）に係る動作フローの１例を示す図である。
【０１６３】
第１動作モードにおいては、選択情報取得部１３は、記憶装置４６から第１動作モードにおける選択情報２４の取得プログラム２８（図２）を取得する。
【０１６４】
ここで、第１動作モードにおける取得プログラム２８は、上述した振幅ＡF(ｋ1,ｋ2)に基づいて選択情報２４を取得する手法を実現させるプログラムである。
【０１６５】
選択情報取得部１３は、取得プログラム２８に基づいて、振幅ＡF(ｋ1,ｋ2)から、（１６）式、（１７式）、または（１８）式のそれぞれによって表される第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３を取得する（図１３のステップＳ６１）。
【０１６６】
【数１１】
【０１６７】
【数１２】
【０１６８】
【数１３】
【０１６９】
（１６）式において、閾値Ｔｈ(ｋ1,ｋ2)は、振幅ＡF(ｋ1,ｋ2)の判定に用いられる所定の閾値であり、第１指標値ＡＭＰ１は、周波数分析された各周波数成分のうち振幅ＡF(ｋ1,ｋ2)が閾値Ｔｈ(ｋ1,ｋ2)を超えた周波数成分の個数である。
【０１７０】
また、（１７）式で表される第１指標値ＡＭＰ２は、周波数分析された各周波数成分のうち振幅ＡF(ｋ1,ｋ2)が閾値Ｔｈ(ｋ1,ｋ2)を超えた周波数成分の個数の、全ての周波数成分の個数に対する割合である。
【０１７１】
また、（１８）式で表される第１指標値ＡＭＰ３については、図１０に示される所定の分割数Ｒに分割された基準ウィンドウ５１の１例を参照しつつ説明する。
【０１７２】
図１０に示される基準ウィンドウ５１は、分割数Ｒが９である場合の例であり、先ず、それぞれの分割領域５４について、（１８）式に示される各周波数成分の振幅の平均値Ｒｒが求められる。次に、各分割領域のうち、平均値Ｒｒが各領域に設定された所定の閾値Ｔｈｒを超える領域の個数が第１指標値ＡＭＰ３として求められる。
【０１７３】
つまり、第１指標値ＡＭＰ３は、基準ウィンドウ５１が所定の分割数Ｒに分割された各分割領域のうち、分割領域についての各周波数成分の振幅の平均値Ｒｒが、所定の閾値Ｔｈｒを超える分割領域の個数である。
【０１７４】
なお、平均値Ｒｒに代えて各周波数成分の振幅の和が採用されてもよい。また、第１指標値ＡＭＰ３に代えて第１指標値ＡＭＰ３を分割数Ｒすなわち分割領域の個数で除した値が採用されても良い。
【０１７５】
このように第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３に代えて、これらと物理的、数学的に等価な各指標値が採用されたとしても本発明の有用性を損なうものではない。
【０１７６】
なお、第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３は、（１４）式および（１５）式における実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)とに基づく位相成分の指標値でもあるが、例えば、実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)とのそれぞれに基づいて位相成分の指標値を個別に取得し、取得された各指標値に基づいて位相成分の指標値である選択情報２４を取得したとしても本発明の有用性を損なうものではない。
【０１７７】
また、第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３は、基準画像１Ａに設けられた基準ウィンドウ５１の画像に基づいて求められているが、例えば、基準ウィンドウ５１の画像と、参照画像２Ａに設けられた参照ウィンドウ５２の画像とについてのクロス・パワースペクトルに基づいて第１指標値を求めたとしても、本発明の有用性を損なうものではない。
【０１７８】
選択情報取得部１３は、取得した第１指標値を選択情報２４として設定して（図１３のステップＳ６２）、選択部１５へと供給する。
【０１７９】
○第１動作モードにおける選択部１５の動作：
図１４は、図１２の動作フローのうち第１動作モードにおいて選択部１５が行う採用手法２７の選択（ステップ４０）に係る動作フローの１例を示す図である。
【０１８０】
第１動作モードにおける選択情報２４は、各周波数成分についての振幅の大きさを表わす第１指標値であるので、選択情報２４が大きいほどＰＯＣ法は、ランダムノイズの影響を受けることが少なく、逆に、選択情報２４が小さいほど、ＰＯＣ法は、ランダムノイズの影響を強く受けることになる。
【０１８１】
そこで、第１動作モードに対応した判定基準２９としては、例えば、選択情報２４が該判定に使用される所定の閾値よりも大きいことなどを判定する評価式が採用される。
【０１８２】
選択部１５は、先ず、記憶装置４６か第１動作モードに対応した判定基準２９を取得し、選択情報２４が判定基準２９を満たしているか否かを判定する（図１４のステップＳ８１）。
【０１８３】
次に、選択部１５は、該判定の結果、選択情報２４が判定基準２９を満たしているならば、ＰＯＣ法を用いる対応点探索手法を採用手法２７として選択し（図１４のステップＳ８２）、選択情報２４が判定基準２９を満たしていないならば、ＳＡＤ法を用いる対応点手探索手法を採用手法２７として選択する（図１４のステップＳ８３）。
【０１８４】
選択された採用手法２７は、探索部１６へと供給されて、注目点２１に対応する対応点２３の特定に用いられる。
【０１８５】
上述したように、撮影された画像の各周波数成分の振幅が小さくなることによってＰＯＣ法を用いる対応点探索手法による対応点の特定の精度が悪化するが、第１動作モードにおける情報処理装置２００Ａによれば、選択情報２４として採用される第１指標値に基づいて、選択情報２４が所定の閾値よりも大きいときにはＰＯＣ法を用いる対応点探索手法を採用手法２７として選択し、選択情報２４が所定の閾値以下であるときにはＳＡＤ法を用いる対応点探索手法を採用手法２７として選択することができる。
【０１８６】
従って、第１動作モードにおける情報処理装置２００Ａによれば、基準画像１Ａと参照画像２Ａとの間での対応点探索の精度を向上させることができる。
【０１８７】
［◎Ｂ．第２動作モードにおける選択情報取得部１３と選択部１５との動作：］
第２動作モードでは、注目手法２６として画像の各周波数成分についての位相成分に基づいた相関演算を行うＰＯＣ法を用いる手法が採用され、選択情報２４としては、当該位相成分の指標値のうち、基準画像１Ａまたは参照画像２Ａのランダムノイズの量の増減に関与するなど、ランダムノイズに影響する所定の撮影パラメータと、注目点２１の画素値とに基づいて取得される第２指標値が採用される。
【０１８８】
○第２動作モードにおける選択情報取得部１３の動作：
図１５は、図１２の動作フローのうち第２動作モードにおいて選択情報取得部１３が行う選択情報２４の取得（ステップ３０）に係る動作フローの１例を示す図である。
【０１８９】
第２動作モードにおいては、選択情報取得部１３は、記憶装置４６から第２動作モードにおける選択情報２４の取得プログラム２８（図２）を取得する。
【０１９０】
第２動作モードにおける取得プログラム２８は、例えば、基準画像１Ａのランダムノイズに影響する所定の撮影パラメータと、注目点２１の画素値とに基づいて取得される第２指標値を選択情報２４として取得する手法を実現させるプログラムである。
【０１９１】
ここで、ランダムノイズに影響する撮影パラメータは、例えば、画像撮影時の撮影ゲイン値、および信号処理速度などである。
【０１９２】
画像が撮影される際に、信号の増幅率、すなわち撮影ゲイン値が上げられると、生成される画像のランダムノイズが増加する。また、画像が生成される際の信号処理速度が速いほど、通常、ランダムノイズは増加する。
【０１９３】
なお、通常、基準画像１Ａと参照画像２Ａとの各撮影パラメータは同じような値となることから、当該ゲイン値として、参照画像２Ａが撮影されたときの撮影ゲイン値および信号処理速度が採用されたとしても、本願発明の有用性を損なうものではない。
【０１９４】
従って、第２動作モードにおける取得プログラム２８は、例えば、基準画像２Ａのランダムノイズに影響する所定の撮影パラメータと、注目点２１の画素値とに基づいて取得される第２指標値を選択情報２４として取得する手法を実現させるプログラムであってもよい。
【０１９５】
選択情報取得部１３は、取得プログラム２８に基づいて、画像取得部１２から供給される撮影パラメータ１Ｐまたは２Ｐと、基準画像１Ａとから、基準画像１Ａまたは参照画像２Ａが撮影されたときの撮影ゲイン値Ｇと、注目点２１の画素値Ｉとを取得し（図１５のステップＳ６３）、（１９）式によって表される第２指標値ＥＶＡＬ１を取得する（図１３のステップＳ６４）。
【０１９６】
【数１４】
【０１９７】
なお、注目点２１の画素値Ｉの代わりに、例えば、注目点２１に対して画素数などによって定められる所定の近傍領域にある各画素の画素値の平均値などが採用されたとしても本発明の有用性を損なうものではない。
【０１９８】
選択情報取得部１３は、取得した第２指標値ＥＶＡＬ１を選択情報２４として設定し（図１３のステップＳ６５）、選択情報２４を選択部１５へと供給する。
【０１９９】
なお、（１９）式の第２指標値ＥＶＡＬ１に代えて、基準画像１Ａまたは参照画像２Ａについての撮影ゲイン値Ｇまたは信号処理速度などの所定の撮影パラメータのみに基づいて取得される指標値が採用されたとしても、通常、該所定の撮影パラメータとランダムノイズとは相関があることから、本発明の有用性を損なうものではない。
【０２００】
撮影ゲイン値Ｇが大きい場合または信号処理速度が速い場合であって、さらに、注目点２１の画素値Ｉが小さい場合には、画素値Ｉのうちの信号成分が小さく、ランダムノイズ成分が大きくなり、画素値ＩのＳ／Ｎ比が小さくなる。
【０２０１】
従って、（１９）式の第２指標値ＥＶＡＬ１のように該所定の撮影パラメータと、注目画素の画素値Ｉとに基づく第２指標値を用いれば、該所定の撮影パラメータのみに基づいて取得される指標値を用いる場合に比べて、画像の各周波数成分の位相成分の誤差が大きいか小さいかをさらに的確に判定することができる。
【０２０２】
上述したように、第２指標値は、ＰＯＣ法を用いる対応点探索手法の対応点探索への利用の適性を表わす適性情報になっている。
【０２０３】
○第２動作モードにおける選択部１５の動作：
図１４は、また、図１２の動作フローのうち第２動作モードにおいて選択部１５が行う採用手法２７の選択に係る動作フローの１例を示す図でもある。
【０２０４】
第２動作モードにおける選択情報２４が、基準画像１Ａまたは参照画像２Ａのランダムノイズに影響する所定の撮影パラメータと、注目点２１の画素値とに基づいて取得される（１９）式の第２指標値ＥＶＡＬ１である場合には、ＥＶＡＬ１が小さいほどＰＯＣ法は、ランダムノイズの影響を受けることが少なく、逆に、選択情報２４が大きいほど、ＰＯＣ法は、ランダムノイズの影響を強く受けることになる。
【０２０５】
そこで、第２動作モードに対応した判定基準２９としては、例えば、選択情報２４が所定の閾値よりも小さいことなどを判定する評価式が採用される。なお、該所定の閾値は、撮影に使用されるカメラ、あるいはレンズなどに応じて適宜設定される。
【０２０６】
図１４に示される第２動作モードの個々の動作フローについては第１動作モードにおける個々の動作フローと同じであるので説明を省略する。
【０２０７】
選択された採用手法２７は、探索部１６へと供給されて、注目点２１に対応する対応点２３の特定に用いられる。
【０２０８】
上述したように、第２指標値が大きくなるほどＰＯＣ法を用いる対応点探索手法による対応点の特定の精度が悪化するが、第２動作モードにおける情報処理装置２００Ａによれば、選択情報２４として採用される第２指標値に基づいて、選択情報２４が所定の閾値よりも小さいときにはＰＯＣ法を用いる対応点探索手法を採用手法２７として選択し、選択情報２４が所定の閾値以上であるときにはＳＡＤ法を用いる対応点探索手法を採用手法２７として選択することができる。
【０２０９】
従って、第１動作モードにおける情報処理装置２００Ａによれば、基準画像１Ａと参照画像２Ａとの間での対応点探索の精度を向上させることができる。
【０２１０】
［◎Ｃ．第３動作モードにおける選択情報取得部１３と選択部１５との動作：］
第３動作モードでは、注目手法２６として画像の各周波数成分についての位相成分に基づいた相関演算を行うＰＯＣ法を用いる手法が採用され、選択情報２４としては、当該位相成分の指標値のうち、第１動作モードで使用される第１指標値と、第２動作モードで使用される第２指標値とのそれぞれが採用される。
【０２１１】
○第３動作モードにおける選択情報取得部１３の動作：
図１６は、図１２の動作フローのうち第３動作モードにおいて選択情報取得部１３が行う選択情報２４の取得（ステップ３０）に係る動作フローの１例を示す図である。
【０２１２】
第３動作モードにおいては、選択情報取得部１３は、記憶装置４６から第３動作モードにおける選択情報２４の取得プログラム２８（図２）を取得する。
【０２１３】
ここで、第３動作モードにおける取得プログラム２８は、第１モードで使用される第１指標値と、第２モードで使用される第２指標値とのそれぞれを選択情報２４として取得する手法を実現させるプログラムである。
【０２１４】
選択情報取得部１３は、先ず、取得プログラム２８に基づいて、振幅ＡF(ｋ1,ｋ2)から、（１６）式、（１７式）、または（１８）式のそれぞれによって表される第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３を取得する（図１６のステップＳ６６）。
【０２１５】
次に、選択情報取得部１３は、取得プログラム２８に基づいて、画像取得部１２から供給される撮影パラメータ１Ｐおよび基準画像１Ａから基準画像１Ａが撮影されたときの撮影ゲイン値Ｇおよび注目点２１の画素値Ｉを取得し（図１６のステップＳ６７）、（１９）式によって表される第２指標値ＥＶＡＬ１を取得する（図１６のステップＳ６８）。
【０２１６】
選択情報取得部１３は、取得した第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３と、第２指標値ＥＶＡＬ１とをそれぞれ選択情報２４として設定し（図１６のステップＳ６９）、選択情報２４を選択部１５へと供給する。
【０２１７】
○第３動作モードにおける選択部１５の動作：
図１７および図１８はそれぞれ、図１２の動作フローのうち第３動作モードにおいて選択部１５が行う採用手法２７の選択（ステップ４０）に係る動作フローの１例を示す図である。
【０２１８】
第１動作モードの説明欄において既述したように、第１指標値が所定の閾値よりも大きいほどＰＯＣ法は、ランダムノイズの影響を受けることが少なく、逆に、第１指標値が小さいほど、ＰＯＣ法は、ランダムノイズの影響を強く受けることになる。
【０２１９】
また、（１９）式の第２指標値ＥＶＡＬ１が小さいほどＰＯＣ法は、ランダムノイズの影響を受けることが少なく、逆に、選択情報２４が大きいほど、ＰＯＣ法は、ランダムノイズの影響を強く受けることになる。
【０２２０】
そこで、第３動作モードに対応した判定基準２９としては、例えば、第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３と、第２指標値ＥＶＡＬ１とを、それぞれについての所定の各閾値を用いる各評価式によって順次に比較する判定アルゴリズムなどが採用される。
【０２２１】
先ず、図１７に示される処理手順においては、選択情報２４のうち第２指標値ＥＶＡＬ１が、判定基準２９のうち、第２指標値ＥＶＡＬ１が所定の閾値よりも小さいか否かを比較する評価式を満たすか否か、すなわち、第２指標値ＥＶＡＬ１が所定の基準を満たすか否かが判定される（ステップＳ８４）。
【０２２２】
ステップＳ８４での判定の結果、第２指標値ＥＶＡＬ１が所定の閾値よりも小さい、すなわち、第２指標値ＥＶＡＬ１が所定の基準を満たす場合には、処理はステップＳ８６へと移されて、選択部１５は、ＰＯＣ法を用いる対応点探索手法を採用手法２７として選択する。
【０２２３】
また、ステップＳ８４での判定の結果、第２指標値ＥＶＡＬ１が所定の閾値以上、すなわち、第２指標値ＥＶＡＬ１が所定の基準を満たさない場合には、処理は、ステップＳ８５に移される。
【０２２４】
ステップＳ８５においては、選択情報２４のうち第１指標値が、判定基準２９のうち、第１指標値が所定の閾値よりも大きいか否かを比較する評価式を満たすか否か、すなわち、第１指標値が所定の基準を満たすか否かが判定される。
【０２２５】
ステップＳ８５での判定の結果、第１指標値が所定の閾値よりも大きい、すなわち、第１指標値が所定の基準を満たす場合には、処理はステップＳ８６へと移されて、選択部１５は、ＰＯＣ法を用いる対応点探索手法を採用手法２７として選択する。
【０２２６】
ステップＳ８５での判定の結果、第１指標値が所定の閾値以下、すなわち、第１指標値が所定の基準を満たさない場合には、処理はステップＳ８７に移され、選択部１５は、ＳＡＤ法を用いる対応点探索手法を採用手法２７として選択する。
【０２２７】
ステップＳ８６またはＳ８７における採用手法２７の選択が終了すると、選択部１５は、採用手法２７を探索部１６へと供給し、処理は、ステップＳ５０（図１２）へと戻されて、探索部１６は採用手法２７に基づいて注目点２１に対応する対応点２３を特定する。
【０２２８】
上述したように図１７に示される選択部１５の動作フローは、ＰＯＣ法と、ＳＡＤ法とをそれぞれ用いる対応点探索手法のうちＰＯＣ法を用いる対応点探索手法をできるだけ優先して使用するという考え方に基づいた動作フローである。
【０２２９】
一方、図１８に示される処理手順においては、選択情報２４のうち第２指標値ＥＶＡＬ１が、判定基準２９のうち、第２指標値ＥＶＡＬ１が所定の閾値よりも小さいか否かを比較する評価式、すなわち、所定の基準を満たすか否かが判定される（ステップＳ８８）。
【０２３０】
ステップＳ８８での判定の結果、第２指標値ＥＶＡＬ１が所定の閾値以上、すなわち、第２指標値ＥＶＡＬ１が所定の基準を満たさない場合には、処理はステップＳ９１へと移されて、選択部１５は、ＳＡＤ法を用いる対応点探索手法を採用手法２７として選択する。
【０２３１】
また、ステップＳ８８での判定の結果、第２指標値ＥＶＡＬ１が所定の閾値より小さい、すなわち、第２指標値ＥＶＡＬ１が所定の基準を満たす場合には、処理は、ステップＳ８９に移される。
【０２３２】
ステップＳ８９では、選択情報２４のうち第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３が、判定基準２９のうち、第２指標値が所定の閾値よりも大きいか否かを比較する評価式、すなわち、所定の基準を満たすか否かが判定される。
【０２３３】
ステップＳ８９での判定の結果、第１指標値が所定の閾値以下、すなわち、第１指標値が所定の基準を満たさない場合には、処理はステップＳ９１へと移されて、選択部１５は、ＳＡＤ法を用いる対応点探索手法を採用手法２７として選択する。
【０２３４】
ステップＳ８９での判定の結果、第１指標値が所定の閾値より大きい、すなわち、第１指標値が所定の基準を満たす場合には、処理はステップＳ９０に移され、選択部１５は、ＰＯＣ法を用いる対応点探索手法を採用手法２７として選択する。
【０２３５】
ステップＳ９０またはＳ９１における採用手法２７の選択が終了すると、選択部１５は、採用手法２７を探索部１６へと供給し、処理は、ステップＳ５０（図１２）へと戻されて、探索部１６は採用手法２７に基づいて注目点２１に対応する対応点２３を特定する。
【０２３６】
上述したように図１８に示される選択部１５の動作フローは、ＰＯＣ法と、ＳＡＤ法とをそれぞれ用いる対応点探索手法のうちＳＡＤ法を用いる対応点探索手法をできるだけ優先して使用するという考え方に基づいた動作フローである。
【０２３７】
上述したように、第１指標値と第２指標値とを順次個別に判定する判定アルゴリズムである判定基準２９を用いれば、ＰＯＣ法を用いる対応点探索手法の対応点探索への利用の適性を、２つの異なる指標値に基づいてより正確に評価することができるので、ＰＯＣ法とＳＡＤ法とのそれぞれに基づく対応点探索手法のうち注目点２１についての対応点探索に適した手法をより的確に選択することができる。
【０２３８】
従って、第３動作モードにおける情報処理装置２００Ａによれば複数の画像間での対応点探索の精度をより向上させることができる。
【０２３９】
また、第１指標値と第２指標値とを順次個別に判定する判定アルゴリズムにおいては、ＰＯＣ法と、ＳＡＤ法とをそれぞれ用いる各対応点探索手法の優先度を柔軟に変更することができるので、例えば、処理速度を探索精度よりも優先させるなど対応点２３の探索結果を使用するアプリケーションの要求に合わせて複数の画像間での対応点探索の精度をより向上させることができる。
【０２４０】
なお、図１７および図１８に示された動作フローにおいては、先ず、第２指標値が評価され、次に第１指標値が評価されているが、第１指標値と第２指標値との評価の順序を入れ替えた動作フローが採用されたとしても本発明の有用性を損なうものではない。
【０２４１】
◎第３動作モードの変形例について：
次に、第３動作モードの変形例について説明する。該変形例では、選択情報２４として第３動作モードで用いられた第１指標値と第２指標値とに基づいて取得される第３指標値が用いられる。
【０２４２】
○第３動作モードの変形例における選択情報取得部１３の動作：
図１９は、図１２の動作フローのうち上述した第３動作モードの変形例において選択情報取得部１３が行う選択情報２４の取得（ステップ３０）に係る動作フローの１例を示す図である。
【０２４３】
図１９に示される動作フローにおいて、選択情報取得部１３は、記憶装置４６から第３動作モードの変形例における選択情報２４の取得プログラム２８（図２）を取得する。
【０２４４】
ここで、第３動作モードの変形例における取得プログラム２８は、第１モードで使用される第１指標値と、第２モードで使用される第２指標値とに基づいて取得される第３指標値を選択情報２４として取得する手法を実現させるプログラムである。
【０２４５】
選択情報取得部１３は、先ず、取得プログラム２８に基づいて、振幅ＡF(ｋ1,ｋ2)から、（１６）式、（１７式）、または（１８）式のそれぞれによって表される第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３を取得する（図１９のステップＳ７１）。
【０２４６】
次に、選択情報取得部１３は、取得プログラム２８に基づいて、画像取得部１２から供給される撮影パラメータ１Ｐまたは２Ｐと、基準画像１Ａとから基準画像１Ａまたは参照画像２Ａが撮影されたときの撮影ゲイン値Ｇおよび注目点２１の画素値Ｉを取得し（図１９のステップＳ７１）、（１９）式によって表される第２指標値ＥＶＡＬ１を取得する（図１９のステップＳ７３）。
【０２４７】
選択情報取得部１３は、取得した第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３と、第２指標値ＥＶＡＬ１とから、例えば、（２０）式によって第３指標値ＥＶＡＬ２を取得する（図１９のステップＳ７４）。
【０２４８】
【数１５】
【０２４９】
（２０）式に示される第３指標値ＥＶＡＬ２では第１指標値としてＡＭＰ１が採用された例であり、（２０）式に示される第３指標値ＥＶＡＬ２の値が大きいほどＰＯＣ法を用いた対応点探索手法が適していることになる。
【０２５０】
次に選択情報取得部１３は、取得した第３指標値ＥＶＡＬ２を選択情報２４として設定し（図１９のステップ７５）、選択情報２４を選択部１５へと供給する。
【０２５１】
○第３動作モードの変形例における選択部１５の動作：
第３動作モードの変形例における選択部１５が行う採用手法２７の選択に係る動作フローとしては、例えば、第１動作モードで採用された図１４に示される動作フローが採用され、選択部１５は、所定の閾値を用いた不等式で表わされる評価式である判定基準２９を用いて、選択情報取得部１３から供給される選択情報２４を判定することによって２以上の対応点探索手法のうち１の手法を採用手法２７として選択する。
【０２５２】
第３動作モードの変形例における採用手法２７の選択手法によれば、注目手法２６であるＰＯＣ法を用いた対応点探索手法についての対応点探索への利用の適性を、異なる複数の指標値に基づいて、これら各指標値の相互関係をも考慮しつつ判定できるので、採用手法２７をより的確に選択することが可能となる。
【０２５３】
従って、第３動作モードの変形例における情報処理装置２００Ａによれば、複数の画像間での対応点探索の精度をより向上させることができる。
【０２５４】
ここで、第１指標値または第２指標値に対して非線形に設定される閾値を、上述した第３動作モードの変形例における判定基準２９の閾値として採用する手法について説明する。
【０２５５】
図１１は、非線形な閾値を用いた採用手法２７の選択の１例を説明する図である。
【０２５６】
図１１の境界５９は、（２０）式に示される第３指標値ＥＶＡＬ２における変数である第１指標値ＡＭＰ１および第２指標値ＥＶＡＬ１のそれぞれを座標軸とする座標空間を非線形に区分する境界であり、境界５９によって該座標空間は、領域５５と領域５６とに分けられている。
【０２５７】
図１１に示されるように、領域５５における点５７では第１指標値ＡＭＰ１および第２指標値ＥＶＡＬ１がともに大きく、逆に、領域５６における点５８では、第１指標値ＡＭＰ１および第２指標値ＥＶＡＬ１がともに小さい。
【０２５８】
より具体的には、点５７は、例えば、撮影ゲイン値Ｇおよび振幅ＡF(ｋ1,ｋ2)がともに大きい場合に対応し、点５８は、例えば、撮影ゲイン値Ｇおよび振幅ＡF(ｋ1,ｋ2)がともに小さい場合に対応する。
【０２５９】
ここで、第１動作モードおよび第２動作モードの説明において既述したように、第１指標値ＡＭＰ１が大きいほど、また、第２指標値ＥＶＡＬ１が小さいほど、ＰＯＣ法はランダムノイズの影響を受けることが少なく、採用手法２７としてはＰＯＣ法を用いる対応点探索手法が適している。
【０２６０】
従って、点５７および５８においては、第１指標値ＡＭＰ１に着目した場合と、第２指標値ＥＶＡＬ１に着目した場合とでは、ＰＯＣ法を用いる対応点探索手法の適性に対する評価結果が相反する結果となる。
【０２６１】
この場合に、例えば、境界５９上の各点に対応する第１指標値ＡＭＰ１および第２指標値ＥＶＡＬ１を（２０）式に代入して得られる各第３指標値ＥＶＡＬ２を各閾値として採用し第３動作モードの変形例に係る採用手法２７の選択を行えば、領域５５に属する各点についてはＰＯＣ法を用いる対応点探索手法を採用手法２７として選択し、領域５６に属する各点についてはＳＡＤ法を採用手法２７として選択することができる。
【０２６２】
なお該手法における各閾値は、第１指標値ＡＭＰ１および第２指標値ＥＶＡＬ１に対して非線形に設定されるので、例えば、第２指標値ＥＶＡＬ１の各値と、各閾値との非線形関係を予め取得して記憶装置４６に記憶しておき、採用手法２７の選択の実行時に用いることによって該手法を行うことができる。
【０２６３】
このように第３動作モードの変形例において、非線形な閾値を採用すれば、特定された対応点２３を用いるアプリケーションの要求仕様に対してさらに柔軟、かつ、的確に採用手法２７を選択することが可能となり、複数の画像間での対応点探索の精度をより向上させることができる。
【０２６４】
［◎Ｄ．第４動作モードにおける選択情報取得部１３と選択部１５との動作：］
第４動作モードでは、注目手法２６として、画像の各周波数成分についての位相成分に基づいた相関演算を行うＰＯＣ法を用いる手法と、基準画像１Ａと参照画像２Ａとのそれぞれの画素値の差分に基づいた相関演算を行うＳＡＤ法を用いる手法との２つの手法が採用される。
【０２６５】
また、当該２つの手法のそれぞれについての選択情報２４として、ＰＯＣ法を用いる対応点探索手法に対しては第１動作モードで使用される第１指標値が採用され、ＳＡＤ法を用いる対応点探索手法に対しては基準ウィンドウ５１のうち注目点２１を内包する所定の領域におけるコントラストを表わす情報であるコントラスト値が採用される。
【０２６６】
ＳＡＤ法を用いる対応点探索手法においては、通常、該コントラスト値が大きいほど対応点探索の精度が高くなるので、該コントラスト値は、ＳＡＤ法を用いる対応点探索手法の利用の適性を表わす適性情報である。
【０２６７】
○第４動作モードにおける選択情報取得部１３の動作：
上述した第１指標値と該コントラスト値とは、例えば、第３動作モードで説明した図１７などの動作フローと同様の動作フローに従って選択部１５によって個別に評価されて採用手法２７の判定に用いられたとしても本発明の有用性を損なうものではない。
【０２６８】
また、第３動作モードの変形例で説明したように、第１指標値と該コントラスト値とから第４指標値が取得されて、図１４の動作フローと同様の動作フローに従って選択部１５によって第４指標値が評価されて採用手法２７の判定に用いられたとしても本発明の有用性を損なうものではない。
【０２６９】
ここでは、第１指標値と該コントラスト値とから第４指標値が取得される場合の選択情報取得部１３の動作について説明する。
【０２７０】
図２０は、図１２の動作フローのうち第４動作モードにおいて選択情報取得部１３が行う選択情報２４の取得（ステップ３０）に係る動作フローの１例を示す図である。
【０２７１】
第４動作モードにおいては、選択情報取得部１３は、記憶装置４６から第４動作モードにおける選択情報２４の取得プログラム２８（図２）を取得する。
【０２７２】
ここで、第４動作モードにおける取得プログラム２８は、第１動作モードで使用される第１指標値と、基準ウィンドウ５１のうち注目点２１を内包する所定の領域におけるコントラスト値とに基づいて取得される第４指標値を選択情報２４として取得する手法を実現させるプログラムである。
【０２７３】
選択情報取得部１３は、先ず、取得プログラム２８に基づいて、振幅ＡＦ(ｋ1,ｋ２)から、（１６）式、（１７式）、または（１８）式のそれぞれによって表される第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３を取得する（図２０のステップＳ７６）。
【０２７４】
次に、選択情報取得部１３は、取得プログラム２８に基づいて、例えば、基準ウィンドウ５１の各画素について、当該各画素と、当該各画素から所定の画素間隔離れた各画素とのそれぞれの差分の絶対値の和を求めてコントラスト値として採用することなどによってコントラスト値を取得する（図２０のステップＳ７７）。
【０２７５】
ここで、採用手法２７としては、第１指標値が大きいほどＰＯＣ法を用いる対応点探索手法が適している。また、該コントラスト値が大きいほどＳＡＤ法を用いる対応点探索手法が適している。
【０２７６】
ＰＯＣ法を用いる対応点探索手法と、ＳＡＤ法を用いる対応点探索手法とから採用手法２７が選択される場合には、該コントラスト値が小さいほどＰＯＣ法を用いる対応点探索手法が採用手法２７に適していることになるので、該コントラスト値は、（２０）式における第２指標値ＥＶＡＬ１と同様に取り扱うことができる。
【０２７７】
従って、例えば、（２０）式における第２指標値ＥＶＡＬ１に代えて該コントラスト値を代入することによって取得される第４指標値を用いることによって、第３動作モードの変形例における選択手法と同様の手法によって、選択部１５は、採用手法２７を選択することができる。
【０２７８】
そこで、選択情報取得部１３は、取得した第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３と、該コントラスト値とのそれぞれを、それぞれについての所定の基準によって正規化して、正規化された第１指標値およびコントラスト値を用いて、例えば、（２０）式と同様の演算によって第４指標値を取得する（図２０のステップＳ７８）。
【０２７９】
なお、ステップＳ７８における正規化の基準を適宜調整することによって、ＰＯＣ法を用いる対応点探索手法と、ＳＡＤ法を用いる対応点探索手法との採用手法２７としての採用され易さを調整することができる。
【０２８０】
次に選択情報取得部１３は、取得した第４指標値を選択情報２４として設定し（図２０のステップ７９）、選択情報２４を選択部１５へと供給する。
【０２８１】
○第４動作モードにおける選択部１５の動作：
上述したように、第４指標値が大きいほど、すなわち、第１指標値が大きく、かつ、コントラスト値が小さいほど、ＰＯＣ法を用いた対応点探索手法が採用手法２７として適していることになる。
【０２８２】
また、第４指標値が小さいほど、すなわち、第１指標値が小さく、かつ、コントラスト値が大きいほど、ＳＡＤ法を用いる対応点探索手法が採用手法２７として適していることになる。
【０２８３】
従って、第４動作モードにおける選択部１５は、第３動作モードの変形例において説明した手法と同様の手法によって採用手法２７を選択することができる。
【０２８４】
また、第１指標値に係る判定結果と、コントラスト値に係る判定結果とが競合する場合であっても、例えば、図１１を用いて説明した手法と同様の手法によって、該競合関係を調整することができる。
【０２８５】
なお、正規化することによって、第１評価手法と、第２評価手法との大小関係を直接比較することもできるので、第３動作モードにおいて説明した判定手法と同様の手法によって選択部１５が採用手法２７を選択しても良い。
【０２８６】
上述したように、第４動作モードにおける情報処理装置２００Ａによれば、ＰＯＣ法を用いる対応点探索手法と、ＳＡＤ法を用いる対応点探索手法とについて選択情報２４をそれぞれ設定することができ、それぞれの選択情報２４を併用して、ＰＯＣ法を用いる対応点探索手法と、ＳＡＤ法を用いる対応点探索手法とのうちから１つの手法を対応点探索に用いられる採用手法２７として採用することができる。
【０２８７】
従って、第４動作モードにおける情報処理装置２００Ａによれば、複数の画像間での対応点探索の精度をより向上させることができる。
【０２８８】
以上に説明したように、上述した各動作モードにおける情報処理装置２００Ａによれば、基準画像１Ａと参照画像２Ａとのうち少なくとも一方の画像特性を反映する選択情報２４であって、２以上の候補手法２５のうち少なくとも一部の対応点探索手法である注目手法２６について、基準画像１Ａの注目点２１に対応する対応点２３を参照画像２Ａにおいて特定する対応点探索への利用の適性を表現した適性情報となっている選択情報２４に基づいて、２以上の候補手法２５のうちの１つが選択されて対応点探索に用いられるので、基準画像１Ａと参照画像２Ａとの間での対応点探索の精度を向上させることができる。
【符号の説明】
【０２８９】
１００Ａ 情報処理システム
２００Ａ 情報処理装置
３００ ステレオカメラ
１Ａ 基準画像
２Ａ 参照画像
１Ｐ，２Ｐ 撮影パラメータ
２１ 注目点
２２，２２ｓ，２２ｅ 探索基準点
２３ 対応点
２４ 選択情報
２５ 候補手法
２６ 注目手法
２７ 採用手法
２８ 取得プログラム
２９ 判定基準
３１ 基準カメラ
３２ 参照カメラ
４９ 信号線
５１ 基準ウィンドウ
５２，５２ｓ，５２ｅ 参照ウィンドウ
５３ 探索ウィンドウの重心
５４ 分割領域
ＤＬ データ線
【技術分野】
【０００１】
本発明は、異なる視点から被写体を撮影する撮影手段によって取得された複数の画像に関する処理を行う情報処理技術に関する。
【背景技術】
【０００２】
近年、ＰＯＣ（Phase-only Correlation：位相限定相関）法を用いて複数の画像間の相関を求めることによって、複数の画像のうち１の画像中の注目点に対応する、他の画像中の対応点を探索する対応点探索手法が注目されている。
【０００３】
ＰＯＣ法は、周波数分析によって各画像の各周波数成分を求め、各周波数成分についての振幅成分と、位相成分とのうち位相成分のみに基づいて各画像間の相関演算を行う手法である。
【０００４】
このためＰＯＣ法は、ＳＡＤ（Sum of Absolute Difference：差分絶対値和）法などの周波数分析を行わない手法に比べて演算時間は長いものの、画像の明るさの変動の影響を受けにくいという利点を持つ。
【０００５】
従って、ＰＯＣ法を用いた対応点探索手法によれば、通常、ＳＡＤ法などを用いた対応点探索手法に比べてより高精度に対応点を求めることができる。
【０００６】
そこで、特許文献１の技術では、先ず、被写体が撮影された対象画像の全体を対象としてＳＡＤ法を用いた対応点探索が行われるとともに、この対応点探索結果に基づいて被写体の各点の距離情報が取得される。
【０００７】
次に、対象画像のうち、より高精度の対応点探索を行いたい領域が、取得された距離情報に基づいて特定され、特定された領域を対象とする、より高精度の対応点探索がＰＯＣ法を用いて行われることによって、処理時間の短縮と対応点探索の精度向上との両立が図られている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−８９４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、ＳＡＤ法では画像間にわたる画素値の差分が用いられるため、対象画像が、例えば、特定の画像パターンにランダムノイズが重畳された画像などである場合においても、ＳＡＤ法を用いた対応点探索手法では、通常、ランダムノイズが相殺されることによって探索精度の悪化が抑制される。
【００１０】
一方、このような対象画像を対象としてＰＯＣ法を用いた対応点探索が行われる場合には、ランダムノイズのために位相成分の誤差が増大することによって対応点探索の探索精度が著しく低下する場合がある。
【００１１】
しかしながら、特許文献１に開示された技術においては、より高精度な対応点探索を行いたい注目領域について、ＰＯＣ法の適性を評価することなく一律にＰＯＣ法を適用しているため、対応点探索の精度が、該注目領域にＳＡＤ法が適用される場合に比べてかえって悪化する場合があるといった問題がある。
【００１２】
本発明は、こうした問題を解決するためになされたもので、複数の画像間での対応点探索の精度を向上させ得る技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、請求項１の発明は、情報処理装置であって、互いに対応する画像内容を含んだ基準画像と参照画像とを取得する画像取得手段と、前記基準画像に注目点を設定する設定手段と、前記基準画像と前記参照画像とのうち少なくとも一方の画像特性を反映する選択情報に基づいて、２以上の対応点探索手法のうちの１つを選択する選択手段と、選択された１つの対応点探索手法による探索結果を用いて、前記注目点の前記参照画像上の対応点を特定する探索手段と、を備え、前記選択情報は、前記２以上の対応点探索手法のうち少なくとも一部の対応点探索手法について、前記基準画像と前記参照画像とを対象とする対応点探索への利用の適性を表現した適性情報となっていることを特徴とする。
【００１４】
また、請求項２の発明は、請求項１に記載された情報処理装置であって、前記選択手段は、前記注目点毎に前記２以上の対応点探索手法のうちの１つを選択することを特徴とする。
【００１５】
また、請求項３の発明は、請求項１または請求項２に記載された情報処理装置であって、前記探索手段は、前記２以上の対応点探索手法のそれぞれによって前記対応点の候補を特定する複数の個別探索手段と、前記複数の個別探索手段によってそれぞれ特定された複数の対応点候補の中から、前記選択情報に基づいて１つを選択することにより、前記対応点を特定する対応点候補選択手段と、を備えることを特徴とする。
【００１６】
また、請求項４の発明は、請求項１または請求項２に記載された情報処理装置であって、前記探索手段は、前記２以上の対応点探索手法によって、前記対応点をそれぞれ探索可能な複数の個別探索手段と、前記複数の個別探索手段のうちの１つの個別探索手段を前記選択情報に基づいて選択的に能動化することにより、前記１つの個別探索手段に前記対応点を探索させる選択的能動化手段と、を備えることを特徴とする。
【００１７】
また、請求項５の発明は、請求項１から請求項４のいずれか１つの請求項に記載された情報処理装置であって、(１)前記２以上の対応点探索手法は、前記基準画像と前記参照画像との各周波数成分についての位相成分の相関演算を用いる位相型探索手法を含み、(２)前記選択情報は、前記位相成分の指標値であることを特徴とする。
【００１８】
また、請求項６の発明は、請求項５に記載された情報処理装置であって、前記指標値が所定の条件を満たすときに、前記位相型探索手法が選択されることを特徴とする。
【００１９】
また、請求項７の発明は、請求項５または請求項６に記載された情報処理装置であって、前記指標値は、前記各周波数成分についての振幅の大きさを表わす値であることを特徴とする。
【００２０】
また、請求項８の発明は、請求項５または請求項６に記載された情報処理装置であって、前記指標値は、前記基準画像のランダムノイズに影響する所定の撮影パラメータの値に基づいて取得されることを特徴とする。
【００２１】
また、請求項９の発明は、請求項８に記載された情報処理装置であって、前記指標値は、前記撮影パラメータの値と、前記基準画像における前記注目点の画素値とに基づいて取得される値であることを特徴とする。
【００２２】
また、請求項１０の発明は、請求項８または請求項９に記載された情報処理装置であって、前記撮影パラメータは、前記基準画像または前記参照画像が撮影されたときの撮影ゲイン値であることを特徴とする。
【００２３】
また、請求項１１の発明は、請求項１から請求項４のいずれか１つの請求項に記載された情報処理装置であって、(１)前記２以上の対応点探索手法は、前記基準画像と前記参照画像とのそれぞれの画素値の差分を用いる差分型探索手法を含み、(２)前記選択情報は、前記基準画像または前記参照画像の所定の領域におけるコントラストを表わす情報であることを特徴とする。
【００２４】
また、請求項１２の発明は、プログラムであって、情報処理装置に搭載されたコンピュータにおいて実行されることにより、当該情報処理装置を請求項１ないし請求項１１のいずれか１つの請求項に記載の情報処理装置として機能させることを特徴とする。
【００２５】
また、請求項１３の発明は、情報処理方法であって、互いに対応する画像内容を含んだ基準画像と参照画像とを取得する画像取得工程と、前記基準画像に注目点を設定する設定工程と、前記基準画像と前記参照画像とのうち少なくとも一方の画像特性を反映する選択情報に基づいて、前記２以上の対応点探索手法のうちの１つを選択する選択工程と、選択された１つの対応点探索手法による探索結果を用いて、前記注目点の前記参照画像上の対応点を特定する探索工程と、を備え、前記選択情報は、前記２以上の対応点探索手法のうち少なくとも一部の対応点探索手法について、前記基準画像と前記参照画像とを対象とする対応点探索への利用の適性を表現した適性情報となっていることを特徴とする。
【発明の効果】
【００２６】
請求項１から請求項１３の各発明によれば、基準画像と参照画像とのうち少なくとも一方の画像特性を反映する選択情報であって、２以上の対応点探索手法のうち少なくとも一部の対応点探索手法について、基準画像の注目点に対応する対応点を参照画像において特定する対応点探索への利用の適性を表現した適性情報となっている選択情報に基づいて、２以上の対応点探索手法のうちの１つが選択されて対応点探索に用いられるので、複数の画像間での対応点探索の精度を向上させることができる。
【図面の簡単な説明】
【００２７】
【図１】実施形態に係る情報処理システムの主な構成の１例を示すブロック図である。
【図２】実施形態に係る情報処理装置の主な機能構成の１例を示すブロック図である。
【図３】探索部が行う対応点探索の概要を説明する図である。
【図４】基準ウィンドウの設定例を示す図である。
【図５】基準ウィンドウの設定例を示す図である。
【図６】ＳＡＤ法を用いた対応点探索の例を説明する図である。
【図７】ＳＡＤ法における参照ウィンドウの走査態様を例示する図である。
【図８】ＰＯＣ法を用いた対応点探索の手順の１例を示す図である。
【図９】ＰＯＣ値の例を示す図である。
【図１０】所定の分割数に分割された基準ウィンドウの１例を示す図である。
【図１１】非線形な閾値を用いた採用手法の選択の１例を説明する図である。
【図１２】実施形態に係る情報処理装置の動作フローの１例を示す図である。
【図１３】図１２の動作フローのうち選択情報の取得に係る動作フローの１例を示す図である。
【図１４】図１２の動作フローのうち採用手法の選択に係る動作フローの１例を示す図である。
【図１５】図１２の動作フローのうち選択情報の取得に係る動作フローの１例を示す図である。
【図１６】図１２の動作フローのうち選択情報の取得に係る動作フローの１例を示す図である。
【図１７】図１２の動作フローのうち採用手法の選択に係る動作フローの１例を示す図である。
【図１８】図１２の動作フローのうち採用手法の選択に係る動作フローの１例を示す図である。
【図１９】図１２の動作フローのうち選択情報の取得に係る動作フローの１例を示す図である。
【図２０】図１２の動作フローのうち選択情報の取得に係る動作フローの１例を示す図である。
【図２１】図１２の動作フローのうち対応点の特定に係る動作フローの１例を示す図である。
【図２２】図１２の動作フローのうち対応点の特定に係る動作フローの１例を示す図である。
【発明を実施するための形態】
【００２８】
＜実施形態について：＞
＜◎情報処理システム１００Ａについて：＞
図１は、実施形態に係る情報処理システム１００Ａの主な構成の１例を示すブロック図である。
【００２９】
図１に示されるように、情報処理システム１００Ａは、ステレオカメラ３００と情報処理装置２００Ａとを主に備えて構成されており、ステレオカメラ３００が撮影した基準画像１Ａおよび参照画像２Ａを情報処理装置２００Ａが取得し、情報処理装置２００Ａが基準画像１Ａおよび参照画像２Ａを処理することによって、基準画像１Ａに設定された注目点２１（図３）に対応する対応点２３（図３）を参照画像２Ａにおいて特定する対応点探索を行う。
【００３０】
◎ステレオカメラ３００について：
図１に示されるように、ステレオカメラ３００は、基準カメラ３１と参照カメラ３２とを主に備えて構成されている。また、基準カメラ３１および参照カメラ３２は、それぞれ、不図示の撮影光学系および受光素子を有する制御処理回路などを主に備えて構成されている。
【００３１】
また、基準カメラ３１と参照カメラ３２とは、所定の基線長を隔てて設けられており、撮影光学系に入射した被写体からの光線情報を制御処理回路等で同期して処理することによって、被写体のステレオ画像を構成する、基準画像１Ａおよび参照画像２Ａを生成する。
【００３２】
基準画像１Ａおよび参照画像２Ａは、例えば、複数の画素がマトリックス状に配列され、各画素の画素値が所定の階調数で表現されたデジタル画像データである。なお、基準画像１Ａ及び参照画像２Ａのサイズとしては、例えば、ＶＧＡ（６４０画素×４８０画素）などが採用される。
【００３３】
生成された基準画像１Ａおよび参照画像２Ａは、データ線ＤＬを介して情報処理装置２００Ａの入出力部４１へと供給される。なお、基準画像１Ａおよび参照画像２Ａは、カラー画像であってもモノクロ画像であっても本発明の有用性を損なうものではない。
【００３４】
また、基準画像１Ａおよび参照画像２Ａがそれぞれ撮影されたときの基準カメラ３１および参照カメラ３２の撮影ゲイン値などの撮影パラメータ１Ｐおよび２Ｐも、それぞれ基準画像１Ａおよび参照画像２Ａのヘッダ情報などとして情報処理装置２００Ａへと供給される。
【００３５】
なお、ステレオカメラ３００の各種動作は、情報処理装置２００Ａから入出力部４１およびデータ線ＤＬを介して供給される制御信号に基づいて制御される。
【００３６】
また、ステレオカメラ３００は、基準カメラ３１と参照カメラ３２との同期をとりつつ被写体を時間順次に連続的に撮影することによって、複数の時系列画像を生成することもできる。
【００３７】
従って、情報処理装置２００Ａは、これらの複数の時系列画像の中から基準画像１Ａと参照画像２Ａとを取得することもできる。なお、時系列画像の中から選ばれる基準画像１Ａと参照画像２Ａとは、通常、同一のカメラによって撮影された画像であるが、異なるカメラによってそれぞれ撮影された画像であってもよい。
【００３８】
◎情報処理装置２００Ａの構成について：
図１に示されるように、情報処理装置２００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５および記憶装置４６を主に備えて構成されており、これらの各機能部によって基準画像１Ａと参照画像２Ａとに関する対応点探索などを行う。また、情報処理装置２００Ａは、例えば、汎用のコンピュータ、または専用のハードウェア装置などによって実現される。
【００３９】
以下、情報処理装置２００Ａの各機能部について説明する。
【００４０】
◎入出力部４１〜記憶装置４６：
入出力部４１は、例えばＵＳＢインタフェースなどの入出力インタフェースおよびマルチメディアドライブなどを備えて構成されている。
【００４１】
入出力部４１は、入出力インタフェースによってステレオカメラ３００から情報処理装置２００Ａへ供給される画像情報等の入力、および情報処理装置２００Ａからステレオカメラ３００への各種制御信号等の出力を行うとともに、マルチメディアドライブによって光ディスクなどの記憶媒体を受け付け、ＣＰＵ１１Ａとの間でデータの授受を行う。
【００４２】
このように、情報処理装置２００Ａが処理するステレオ画像は、ステレオカメラ３００から直接取得されるだけでなく、記憶媒体を経由することによっても取得され得る。
【００４３】
操作部４２は、例えば、キーボード、マウスおよび操作ボタンなどを備えて構成されており、対応点の探索に用いられるウィンドウのサイズ（ウィンドウサイズ）および初期視差などの情報処理装置２００Ａの各種制御パラメータの設定、情報処理装置２００Ａの各種動作モードの設定、および各種操作信号の入力などの用途に使用される。なお、設定された制御パラメータおよび動作モードなどは、ＣＰＵ１１Ａによって、記憶装置４６に記憶される。
【００４４】
表示部４３は、例えば液晶ディスプレイで構成されて動画などを表示可能であり、表示部４３には、ステレオカメラ３００によって撮影されたステレオ画像などの画像情報、各種メッセージ、各種制御用のＧＵＩ（Graphical User Interface）、および制御パラメータ設定用の情報などが表示される。
【００４５】
ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムなどを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。
【００４６】
ＲＡＭ（Random Access Memory ）４５は、読み書き自在の揮発性メモリであり、画像取得部１２が取得した各種画像などを格納する用途に使用されるとともに、情報処理装置２００Ａの各部が出力する情報を一時的に記憶するワークメモリの用途にも使用される。
【００４７】
記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリやハードディスク装置等によって構成されており、情報処理装置２００Ａの各部を制御するために設定された制御パラメータ、画像情報、および対応点の探索結果などの各種情報を恒久的に記録する。
【００４８】
また、記憶装置４６には、ＣＰＵ１１Ａを動作させるプログラムのうち後述する取得プログラム２８（図２）、および評価式または判定アルゴリズムなどである判定基準２９（図２）などのモジュール化された一部の各プログラム自体、または当該一部の各プログラムのＲＯＭ４４における格納アドレス情報が記録されており、ＣＰＵ１１Ａは、ＲＯＭ４４および記憶装置４６に記憶されたプログラムおよび格納アドレス情報に基づいて動作可能に構成されている。
【００４９】
上述した制御パラメータは、例えば、対応点探索が行われる際の相関演算の対象領域として基準画像１Ａおよび参照画像２Ａにそれぞれ設定される基準ウィンドウ５１（図３）および参照ウィンドウ５２（図３）の水平方向（図３のＸ方向）および垂直方向（図３のＹ方向）のサイズであるウィンドウサイズ、初期視差、および各種の判定に用いられる閾値などである。
【００５０】
ここで、初期視差は、注目点２１の基準画像１Ａ上の座標と、対応点２３の参照画像２Ａ上の座標のずれ量（「視差」とも称する）についての所定の見込み量（初期値）であり、画像の水平方向と垂直方向とについてそれぞれ設定されている。
【００５１】
また、これらの制御パラメータは、操作部４２などによって予め設定されて記憶装置４６に記憶されている。
【００５２】
◎ＣＰＵ１１Ａ：
ＣＰＵ（Central Processing Unit）１１Ａは、情報処理装置２００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムに従った制御および処理を実行する。
【００５３】
ＣＰＵ１１Ａは、後述するように、画像取得部１２、選択情報取得部１３、設定部１４、選択部１５、および探索部１６としても機能する。
【００５４】
ＣＰＵ１１Ａは、これらの機能部によって、基準画像１Ａに設定された注目点に対応する対応点を基準画像１Ｂにおいて特定する対応点探索を行う。
【００５５】
また、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。
【００５６】
＜情報処理装置２００Ａの機能説明＞
図２は、実施形態に係る情報処理装置２００Ａの主な機能構成の１例を示すブロック図である。また、図１２は、実施形態に係る情報処理装置２００Ａの動作フローの１例を示す図である。
【００５７】
以下、情報処理装置２００Ａの主な機能部について図１２の動作フローを適宜参照しつつ簡単に説明する。
【００５８】
なお、図１に示される構成例では、画像取得部１２、選択情報取得部１３、設定部１４、選択部１５、および探索部１６の各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。
【００５９】
◎画像取得部１２の機能について：
図２に示される画像取得部１２は、ステレオカメラ３００（図１）によって撮影された、互いに対応する画像内容を含んだ画像である基準画像１Ａと参照画像２Ａとを入出力部４１を介して取得する（図１２のステップＳ１０）。
【００６０】
また、画像取得部１２は、撮影パラメータ１Ｐおよび２Ｐをも入出力部４１を介して取得する。
【００６１】
取得された基準画像１Ａおよび参照画像２Ａは、選択情報取得部１３、設定部１４、および探索部１６に供給され、撮影パラメータ１Ｐおよび２Ｐは、選択情報取得部１３に供給される。
【００６２】
◎設定部１４の機能について：
設定部１４は、供給された基準画像１Ａに注目点２１を設定する（図１２のステップＳ２０）とともに、注目点２１と、記憶装置４６に格納された初期視差とに基づいて、供給された参照画像２Ａに参照ウィンドウ５２の基準となる探索基準点２２を設定する。
【００６３】
より具体的には、設定部１４は、例えば、エッジ検出処理などによって特定された基準画像１Ａの特徴点を特定する手法、表示部４３において操作部４２を用いて指示された基準画像１Ａ上の点の座標情報を取得する手法、または基準画像１Ａの各点を所定の順次で順次に特定する手法などによって注目点２１を設定する。
【００６４】
また、設定部１４は、例えば、基準画像１Ａにおける注目点２１の座標に、初期視差を加算した座標を求め、参照画像２Ａにおける該座標情報を有する点を探索基準点２２として設定する。
【００６５】
設定された注目点２１および探索基準点２２についての情報は、選択情報取得部１３および探索部１６へと供給され、例えば、探索部１６において注目点２１および探索基準点２２のそれぞれに基づいた基準ウィンドウ５１および参照ウィンドウ５２のそれぞれの設定に供される。
【００６６】
なお、情報処理装置２００Ａにおける注目点２１および探索基準点２２の授受は、例えば、これらの点の座標情報などの授受によって行われる。
【００６７】
ここで、注目点２１および探索基準点２２の設定は、通常画素（ピクセル）単位で行われるが、画素単位よりも小さなサブピクセル単位で設定されたとしても、探索部１６が行う基準ウィンドウ５１および参照ウィンドウ５２の設定においては注目点２１および探索基準点２２がそれぞれ属する画素を基準として各ウィンドウを設定すればよいので、本発明の有用性を損なうものではない。
【００６８】
また、注目点２１に基づいて設定される基準ウィンドウ５１を特定する各座標値に、例えば、それぞれ初期視差を直接加えることによっても参照ウィンドウ５２を設定可能であり、この場合には、探索基準点２２の設定を省くことができる。
【００６９】
◎選択情報取得部１３の機能について：
選択情報取得部１３は、画像取得部１２から基準画像１Ａ、参照画像２Ａ、ならびに撮影パラメータ１Ｐおよび２Ｐを、設定部１４から注目点２１および探索基準点２２をそれぞれ供給される。
【００７０】
また、選択情報取得部１３は、対応点２３の特定に使用される対応点探索手法である採用手法２７の候補となる２以上の候補手法２５、これら２以上の候補手法２５のうちの注目手法２６、および２以上の候補手法２５から採用手法２７が選択される際の判断の基礎となる選択情報２４の取得プログラム２８をそれぞれ記憶装置４６から供給される。
【００７１】
なお、情報処理装置２００Ａにおける取得プログラム２８の授受は、具体的には、例えば、ＲＯＭ４４における取得プログラム２８の格納アドレス情報の授受、または取得プログラム２８自体の授受などによって行われる。
【００７２】
また、２以上の候補手法２５としては、例えば、ＰＯＣ法とＳＡＤ法とをそれぞれ用いて対応点探索を行う各手法などが採用される。
【００７３】
選択情報取得部１３は、２以上の候補手法２５のうち少なくとも注目手法２６について、注目点２１に対応する参照画像２Ａの対応点２３を特定する対応点探索への利用の適性を表す適性情報となる選択情報２４を取得プログラム２８に基づいて取得し（図１２のステップＳ３０）、選択部１５へと供給する。なお、選択情報取得部１３が選択情報２４を取得する手順の詳細については後述する。
【００７４】
◎選択部１５の機能について：
選択部１５は、選択情報取得部１３から選択情報２４を供給され、記憶装置４６から候補手法２５、注目手法２６、および選択情報２４と所定の閾値との比較を行う不等式として表現される評価式あるいは判定アルゴリズムなどである判定基準２９をそれぞれ供給される。
【００７５】
なお、情報処理装置２００Ａにおける判定基準２９の授受は、具体的には、例えば、上述した評価式または判定アルゴリズム実現するプログラムの授受、もしくはＲＯＭ４４における該プログラムの格納アドレス情報などの授受によって行われる。
【００７６】
同様に、２以上の候補手法２５の授受は、具体的には、例えば、各候補手法２５を実現させる各プログラムのＲＯＭ４４における格納アドレス情報の授受、または当該各プログラム自体の授受などによって行われる。
【００７７】
選択部１５は、判定基準２９を用いて選択情報２４を判定することにより、すなわち選択情報２４に基づいて、２以上の候補手法２５のうち１の手法を採用手法２７として選択する（図１２のステップＳ４０）。また、選択された採用手法２７は、探索部１６へと供給されて、対応点２３の特定に用いられる。
【００７８】
◎探索部１６の機能について：
探索部１６は、選択部１５から採用手法２７を、記憶装置４６から２以上の候補手法２５を、それぞれ供給され、採用手法２７による対応点探索の結果を用いて、注目点２１に対応する参照画像２Ａの対応点２３を特定する（図１２のステップＳ５０）。
【００７９】
なお、情報処理装置２００Ａにおける採用手法２７の授受は、具体的には、例えば、採用手法２７を実現させるプログラムのＲＯＭ４４における格納アドレス情報の授受、または当該プログラム自体の授受などによって行われる。
【００８０】
ここで、探索部１６は、以下に説明する２つの手順を、予め設定された動作モードに応じて切り替えることにより、それぞれの手順に従って対応点２３を特定する対応点探索を行えるように構成されている。
【００８１】
図２１は、図１２の動作フローのうち、上述した２つの手順のうちの１つ目の手順において探索部１６が行う対応点の特定（ステップＳ５０）に係る動作フローの１例を示す図である。
【００８２】
該１つ目の手順では、探索部１６は、先ず、２以上の各候補手法２５のそれぞれによって、注目点２１に対応する参照画像２Ａの対応点２３の候補である対応点候補をそれぞれ個別に特定する複数の個別探索処理を行う（図２１のステップＳ９３）。
【００８３】
次に、探索部１６は、特定された複数の対応点候補の中から、選択情報２４に基づいて選択された採用手法２７に対応する対応点候補を対応点２３として選択することによって対応点２３を特定する対応点候補選択処理を行う（図２１のステップＳ９４）。
【００８４】
また、図２２は、図１２の動作フローのうち、上述した２つの手順のうちの２つ目の手順において探索部１６が行う対応点の特定（ステップＳ５０）に係る動作フローの１例を示す図である。
【００８５】
該２つ目の手順では、探索部１６は、先ず、上述した複数の個別探索処理のうち選択情報２４に基づいて選択された採用手法２７に対応する個別探索処理を、例えば、採用手法２７を実現させるプログラムを選択的に実行することなどによって、選択的に能動化（有効化）し（図２２のステップＳ９５）、選択的に能動化された個別探索処理による探索結果を用いて対応点２３を特定する（図２２のステップＳ９６）。
【００８６】
例えば、探索部１６がハードウェア回路によって実現されている場合には、参照画像２Ａに逐次設定される各注目点２１毎に採用手法２７を切り替えつつ各対応点２３を探索するよりも、あらかじめ参照画像２Ａの全ての各注目点２１に対して２以上の候補手法２５のそれぞれによって各対応点を取得しておき、各候補手法２５ごとに選択された採用手法２７に応じた対応点を対応点２３とする方が、通常、より処理コストを低減することができる。
【００８７】
従って、探索部１６がハードウェア回路によって実現されている場合には、通常、上述した１つ目の手順が採用されるが、上述した２つ目の手順が採用されたとしても、本発明の有用性を損なうものではない。
【００８８】
一方、探索部１６が図１に記載したようにＣＰＵで所定のプログラムを実行することによって実現されている場合には、通常、上述した２つ目の手順の方が、１つ目の手順を採用するよりも処理コストをより低減することができる。
【００８９】
従って、探索部１６がＣＰＵで所定のプログラムを実行することによって実現されている場合には、通常、上述した２つ目の手順が採用されるが、上述した１つ目の手順が採用されたとしても、本発明の有用性を損なうものではない。
【００９０】
探索部１６によって特定された対応点２３は、表示部４３に供給され、対応点探索の結果として表示される。
【００９１】
◎探索部１６が行う探索処理について：
次に、探索部１６が行う、２以上の候補手法２５の探索処理について詳しく説明する。
【００９２】
ここで、図３は、探索部１６が行う対応点探索の概要を説明する図である。先ず、図３を用いて探索部１６が行う対応点探索処理の概要を説明した後、個々の候補手法２５について詳しく説明する。
【００９３】
図３では、設定部１４によって、基準画像１Ａ上に注目点２１が設定されるとともに、注目点２１と、記憶装置４６に格納された初期視差とに基づいて参照画像２Ａ上に探索基準点２２が設定されている。
【００９４】
探索部１６は、記憶装置４６に格納されたウィンドウサイズに基づいて、注目点２１に対して基準ウィンドウ５１を、探索基準点２２に対して参照ウィンドウ５２をそれぞれ設定し、基準ウィンドウ５１内の画像と参照ウィンドウ５２内の画像との採用手法２７に応じた相関を求めることによって各画像間の視差を求め、注目点２１の座標と、求められた視差とに基づいて注目点２１に対応する対応点２３を求める。
【００９５】
なお、採用手法２７の候補である２以上の候補手法２５の１つとしては、周波数分析を行わない、例えば、ＳＡＤ法（差分絶対値和法）などの画像間（基準ウィンドウ５１と参照ウィンドウ５２）のそれぞれの画素値の差分を用いる差分型の相関演算方法を用いる差分型探索手法が採用される。
【００９６】
また、２以上の候補手法２５の他の１つとしては、周波数分析を行って画像の各周波数成分を求め、求められた各周波数成分についての位相成分に基づいた相関演算を行う、例えば、ＰＯＣ法（位相限定相関法）などの位相型の相関演算手法を用いる位相型探索手法が採用される。
【００９７】
○基準ウィンドウと参照ウィンドウ：
図４および図５は、基準画像１Ａに設定された基準ウィンドウ５１の設定例を示す図である。なお、図４および図５には、説明を簡単にするために座標軸が記載されており、同様に、他の図においても必要に応じて座標軸が適宜記載されている。
【００９８】
図４に例示される基準ウィンドウ５１は、水平方向画素数と垂直方向画素数がともに奇数であり、注目点２１の座標は、基準ウィンドウ５１の重心５３と一致する。
【００９９】
図５に例示される基準ウィンドウ５１は、水平方向画素数と垂直方向画素数とがともに偶数であり、注目点２１の座標は、基準ウィンドウ５１の重心５３に対して−Ｘ方向、−Ｙ方向に０．５画素ずれている。
【０１００】
図４および図５に示される例の他に、基準ウィンドウ５１の水平方向画素数と垂直方向画素数とは、それぞれ奇数と偶数（順不同）との組でもよい。
【０１０１】
なお、基準ウィンドウ５１と参照ウィンドウ５２とのそれぞれの水平方向（Ｘ方向）画素数は同じであり、それぞれの垂直方向（Ｙ方向）画素数もまた同じである。
【０１０２】
なお、採用手法２７として周波数分析を行う手法が選択された場合には、高速フーリエ変換（ＦＦＴ）を用いて必要な演算回数を抑制し、処理の高速化を図る観点から、水平方向画素数と垂直方向画素数とを２のべき乗で表される画素数とすることが望ましい。
【０１０３】
次に、２以上の候補手法２５のうちＳＡＤ法とＰＯＣ法とを例として、基準ウィンドウ５１と参照ウィンドウ５２の画像間の相関を求める手法について説明する。
【０１０４】
○ＳＡＤ法を用いた対応点探索：
図６は、ＳＡＤ法を用いた対応点探索の例を説明する図である。
【０１０５】
図６に示される基準画像１Ａ上にはＸ座標がｈ２である注目点２１が設定されており、注目点２１に対して基準ウィンドウ５１が設定されている。基準ウィンドウ５１のＸ方向の両端のＸ座標は、ｈ１とｈ３である。また、参照画像２Ａ上には、注目点２１に対応する対応点２３が示されている。
【０１０６】
ここでは、ＳＡＤ法を用いて対応点２３を求める例について説明する。
【０１０７】
参照画像２Ａ上には、Ｘ座標がｘｓである探索基準点２２ｓからＸ座標がｘｅである探索基準点２２ｅまで、Ｘ座標がｘｓ≦ｘ≦ｘｅの範囲で１画素ごとに複数の探索基準点が設定されており、これら複数の探索基準点の代表として両端の探索基準点２２ｓ、２２ｅのみが記載されている。
【０１０８】
また、該複数の探索基準点には、それぞれ基準ウィンドウ５１と、同サイズの複数の参照ウィンドウとが設定されており、該複数の参照ウィンドウの代表として両端の参照ウィンドウ５２ｓ、５２ｅのみが記載されている。
【０１０９】
ここで、図６においては説明を簡単にするため、注目点２１と複数の探索基準点２２ｓ〜２２ｅのＹ座標は同じであり、従って、基準ウィンドウ５１と、参照ウィンドウ５２ｓ〜５２ｅのＹ方向の座標のずれ量は無いように設定されている。また、注目点２１と、求められるべき対応点２３のＹ座標も一致するように設定されている。
【０１１０】
次に、参照ウィンドウ５２ｓ〜５２ｅの各参照ウィンドウ内の各画像と、基準ウィンドウ５１内の画像との相関値を演算する。基準ウィンドウと参照ウィンドウのＸ方向、Ｙ方向の座標のずれ量（視差）をそれぞれ視差ｘｄ、ｙｄとする。図６の例では、視差ｘｄの範囲はｘｓ−ｈ２〜ｘｅ−ｈ２であり、視差ｙｄは０である。
【０１１１】
基準ウィンドウ５１内の各画素（xｉ，yｊ）の画素値をＩｍｇ１（xｉ，yｊ）、Ｘ方向、Ｙ方向の視差が、視差ｘｄ、ｙｄである参照ウィンドウ５２内の各画素（ｘｉ＋ｘｄ，yｊ＋ｙｄ）の画素値をＩｍｇ２（ｘｉ＋ｘｄ，yｊ＋ｙｄ）とすると、（１）式、（２）式を用いた演算によって基準ウィンドウ５１内の画像と参照ウィンドウ５２内の画像の相関値ＣＯＲｐが算出される。
【０１１２】
【数１】
【０１１３】
参照ウィンドウが５２ｓから５２ｅにわたって走査されるように、Ｘ方向の視差ｘｄをｘｓ−ｈ２〜ｘｅ−ｈ２の範囲で変更しつつ、（１）式および（２）式によって各視差ｘｄに対する相関値ＣＯＲｐが算出されると、図６に示すグラフＵ１のように参照画像２ＡのＸ座標と相関値ＣＯＲｐとの関係が明らかになる。
【０１１４】
図６の例では、座標ｘＭにおいて、グラフＵ１における相関値ＣＯＲｐの最大値が与えられているので、探索基準点のＸ座標がｘＭと一致する参照ウィンドウが、相関値ＣＯＲｐの最大値を与える参照ウィンドウであり、該参照ウィンドウの探索基準点と、注目点２１に対応する対応点２３とは一致する。
【０１１５】
図７はＳＡＤ法における参照ウィンドウ５２の走査態様を例示する図であり、参照画像２Ａの全域に参照ウィンドウ５２を走査させている。ＳＡＤ法はＰＯＣ法に比べて演算量が少なく高速な処理が可能であるので、画素数が多い参照画像２ＡにＳＡＤ法による対応点探索を適用し、図７に示される全域走査を行っても処理時間が短くなる。
【０１１６】
従ってＳＡＤ法を用いる場合には、対応点に近い探索基準点を求めることなく、画像の全域にわたって参照ウィンドウの走査を行って視差特定をしても、周波数分析を行う手法を用いる場合に比べて短時間で対応点探索を行うことができるので、探索基準点を求める処理コストを削減することが可能となる。
【０１１７】
なお、ＳＡＤ法以外にも、例えば、ＳＳＤ（濃度差の二乗和）法などを差分型探索手法として採用しても本発明の有用性を損なうものではない。
【０１１８】
○ＰＯＣ法を用いた対応点探索：
図８は、ＰＯＣ法を用いた対応点探索の手順の１例を示す図である。
【０１１９】
ＰＯＣ法は、周波数分析を使用した相関法であって、かつ、振幅成分を抑制した相関法である。同様の相関法として、ＤＣＴ符号限定相関法（参考論文：「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」貴塚仁志）などが知られている。
【０１２０】
これらの相関法は、パターンの周波数分析信号から、振幅成分を抑制した位相成分のみの信号に基づいて類似度演算を行うため、画像を取得するためのステレオカメラ３００における撮影条件の差（ここでは、基準カメラ３１、参照カメラ３２における撮影条件の差）や、ノイズなどの影響を受けにくく、ロバストな対応点検索が可能である。
【０１２１】
また、ＳＡＤ法が、１組の基準ウィンドウと参照ウィンドウに対して１つの相関値（ＣＯＲｐ値）のみを出力するため、相関値が最も高い参照ウィンドウ、すなわち、相関値が最も高い視差を特定するためには複数の参照ウィンドウにわたって、参照ウィンドウの走査を行う必要があるのに対して、ＰＯＣ法などの周波数分析を使用した相関法は、１組の基準ウィンドウと参照ウィンドウの画像に対して、画像間の相関値とともに、相関値が最も高くなる画像間の視差が求められるので、対応点が該参照ウィンドウ内に存在する場合には、参照ウィンドウの走査を行う必要がない。
【０１２２】
以下に、基準画像１Ａに対する基準ウィンドウ５１内の画像と、参照画像２Ａに対する参照ウィンドウ５２内の画像とを対応点探索の対象として注目点についての視差を求める場合を例に、ＰＯＣ法の基本原理を説明する。
【０１２３】
先ず、基準画像１Ａに対して基準ウィンドウ５１を設定する基準ウィンドウ設定処理Ｔ１ａ、および参照画像２Ａに対して参照ウィンドウ５２を設定する参照ウィンドウ設定処理Ｔ１ｂが行われる。
【０１２４】
基準ウィンドウ５１内の画像領域と、参照ウィンドウ５２内の画像領域とは、次の（３）式、（４）式のように表されるものとする。
【０１２５】
【数２】
【０１２６】
ここで、（３）式のｆ0(ｎ1,ｎ2)および（４）式のｇ0(ｎ1,ｎ2)は、基準ウィンドウ５１内および参照ウィンドウ５２内の画素の画素値を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【０１２７】
次に、周波数分析を行う前に、ウィンドウ領域の端部での不連続性の影響を取り除くために窓関数を用いた窓関数処理Ｔ２ａおよびＴ２ｂを行う。
【０１２８】
窓関数は、例えば、（５）式のH(ｎ1,ｎ2)で与えられるハニング窓が採用され、窓関数処理Ｔ２ａおよびＴ２ｂは、基準ウィンドウ５１内および参照ウィンドウ５２内の各画素の画素値に（５）式の窓関数の出力値を乗ずる演算（６）式および（７）式でそれぞれ与えられる。
【０１２９】
【数３】
【０１３０】
窓関数としては、ハニング窓の他に、例えば、ハミング窓、カイザー窓などが採用される。
【０１３１】
次に、基準ウィンドウ５１、参照ウィンドウ５２内の各画像領域に対し、（８）式、（９）式で示す演算式を用いて、図８に示される２次元のフーリエ変換処理Ｔ３ａ、Ｔ３ｂが行われる。
【０１３２】
【数４】
【０１３３】
なお、（８）式、（９）式の下部ただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。ここで、周波数分析の処理は必ずしもフーリエ変換である必要はなく、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換の何れかを含んでいても良い。
【０１３４】
このようなフーリエ変換処理Ｔ３ａ、Ｔ３ｂが施された各画像領域に対しては、（１０）式で示す演算式を用いて、画像の振幅成分を除去するための正規化処理Ｔ４ａ、Ｔ４ｂが行われる。
【０１３５】
【数５】
【０１３６】
正規化処理Ｔ４ａ、Ｔ４ｂが完了すると、（１１）式で示す演算式を用いた正規化クロス・パワースペクトル算出処理Ｔ５が行われる。
【０１３７】
【数６】
【０１３８】
正規化クロス・パワースペクトル算出処理Ｔ５が完了すると、（１２）式で示す演算式を用いた２次元の逆フーリエ変換処理Ｔ６が行われる。これにより、基準ウィンドウ５１と参照ウィンドウ５２内の各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【０１３９】
【数７】
【０１４０】
以上の処理により、基準ウィンドウ５１内の画像と参照ウィンドウ５２内の画像との相関を示す演算結果(ＰＯＣ値)が得られ、例えば、図９で示すような結果（ＰＯＣ値）が得られる。
【０１４１】
図９は、ＰＯＣ値の例を示す図である。図９においては、ウィンドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＳを与える座標が、基準ウィンドウ５１内の画像と参照ウィンドウ５２内の画像との相関が最も高くなる視差を示す。この視差を特定する処理が視差特定Ｔ７である。
【０１４２】
ＰＯＣ法を用いた対応点探索では、ＰＯＣ法を用いて特定された視差と、基準ウィンドウ５１内の注目点２１とに基づいて、注目点２１に対応した参照ウィンドウ５２内の対応点２３が求められる。
【０１４３】
以上のように、ＰＯＣ法を用いた対応点探索によれば、画像の振幅成分が除去され、画像の位相成分のみに基づいて相関演算が行われるため、画素値の変動やノイズの影響が抑制されて対応点が精度良く検出される。
【０１４４】
ここで、操作部４２からは情報処理装置２００Ａの動作モードとして種々の動作モードが設定可能であり、選択情報取得部１３と、選択部１５とはそれぞれ操作部４２から設定される各動作モードに応じた選択情報２４の取得と、採用手法２７の選択とを行うことができるように構成されている。
【０１４５】
以下では、２以上の候補手法２５として、ＰＯＣ法とＳＡＤ法とをそれぞれ用いた対応点探索の各手法が採用され、注目手法２６としてＰＯＣ法を用いた対応点探索の手法が採用される場合を例に、各動作モードのうちの第１動作モードから第４動作モードにおける選択情報取得部１３と、選択部１５との動作について説明する。
【０１４６】
［◎Ａ．第１動作モードにおける選択情報取得部１３と選択部１５との動作：］
第１動作モードでは、注目手法２６として画像の各周波数成分についての位相成分に基づいた相関演算を行うＰＯＣ法を用いる手法が採用され、選択情報２４としては、当該位相成分の指標値のうち、各周波数成分についての振幅の大きさを表わす第１指標値が採用される。
【０１４７】
ここで、第１動作モードにおける採用手法２７の選択の原理について説明する。
【０１４８】
○第１動作モードにおける採用手法２７の選択の原理：
（８）式に示された離散フーリエ変換（Discrete Fourier Transform：ＤＦＴ）の演算式によって求められた演算結果Ｆ(ｋ1,ｋ2)は、（１３）式の演算式によっても表わすことができる。
【０１４９】
なお、（８）式および（１３）式におけるｋ1およびｋ2は、それぞれ整数で与えられる離散周波数インデックスである。また、（１３）式において振幅ＡF(ｋ1,ｋ2)は各周波数成分のそれぞれの振幅であり、θF(ｋ1,ｋ2)は各周波数成分のそれぞれの位相である。
【０１５０】
【数８】
【０１５１】
ここで、（８）式および（１３）式に示される離散フーリエ変換が行われると、結果は、実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)とに分解された形式で求められる。
【０１５２】
また、位相θF(ｋ1,ｋ2)は、実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)とを用いて（１４）式によって与えられる。
【０１５３】
【数９】
【０１５４】
同様に、振幅ＡF(ｋ1,ｋ2)は、（１５）式によって与えられる。
【０１５５】
【数１０】
【０１５６】
ここで、画像に対してノイズ成分が重畳されている場合には、実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)とは、それぞれノイズ成分と信号成分とを含んでいる。
【０１５７】
従って、例えば、画像に重畳されているノイズ成分が一定量である場合には、（１４）式より、実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)とのそれぞれの値が小さいほど、それぞれのＳ／Ｎ比（信号対雑音比）が小さくなり、求められた位相θF(ｋ1,ｋ2)の誤差が大きくなること、すなわち、求められた位相θF(ｋ1,ｋ2)の信頼度が低くなることが判る。
【０１５８】
一方、（１５）式で与えられる振幅ＡF(ｋ1,ｋ2)によって、実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)との大きさが判る。
【０１５９】
従って、周波数分析された画像の各周波数成分の振幅ＡF(ｋ1,ｋ2)によって、位相θF(ｋ1,ｋ2)の誤差が大きいか小さいか、すなわち、位相θF(ｋ1,ｋ2)の信頼度が高いか低いかを判定することができる。
【０１６０】
以上に説明したように、各周波数成分についての振幅の大きさを表わす第１指標値は、ＰＯＣ法を用いる対応点探索手法の対応点探索への利用の適性を表わす適性情報となっている。
【０１６１】
第１動作モードでは、選択情報取得部１３が第１指標値を選択情報２４として取得し、選択情報２４に基づいて選択部１５が採用手法２７を選択する。
【０１６２】
○第１動作モードにおける選択情報取得部１３の動作：
図１３は、図１２の動作フローのうち第１動作モードにおいて選択情報取得部１３が行う選択情報２４の取得（ステップ３０）に係る動作フローの１例を示す図である。
【０１６３】
第１動作モードにおいては、選択情報取得部１３は、記憶装置４６から第１動作モードにおける選択情報２４の取得プログラム２８（図２）を取得する。
【０１６４】
ここで、第１動作モードにおける取得プログラム２８は、上述した振幅ＡF(ｋ1,ｋ2)に基づいて選択情報２４を取得する手法を実現させるプログラムである。
【０１６５】
選択情報取得部１３は、取得プログラム２８に基づいて、振幅ＡF(ｋ1,ｋ2)から、（１６）式、（１７式）、または（１８）式のそれぞれによって表される第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３を取得する（図１３のステップＳ６１）。
【０１６６】
【数１１】
【０１６７】
【数１２】
【０１６８】
【数１３】
【０１６９】
（１６）式において、閾値Ｔｈ(ｋ1,ｋ2)は、振幅ＡF(ｋ1,ｋ2)の判定に用いられる所定の閾値であり、第１指標値ＡＭＰ１は、周波数分析された各周波数成分のうち振幅ＡF(ｋ1,ｋ2)が閾値Ｔｈ(ｋ1,ｋ2)を超えた周波数成分の個数である。
【０１７０】
また、（１７）式で表される第１指標値ＡＭＰ２は、周波数分析された各周波数成分のうち振幅ＡF(ｋ1,ｋ2)が閾値Ｔｈ(ｋ1,ｋ2)を超えた周波数成分の個数の、全ての周波数成分の個数に対する割合である。
【０１７１】
また、（１８）式で表される第１指標値ＡＭＰ３については、図１０に示される所定の分割数Ｒに分割された基準ウィンドウ５１の１例を参照しつつ説明する。
【０１７２】
図１０に示される基準ウィンドウ５１は、分割数Ｒが９である場合の例であり、先ず、それぞれの分割領域５４について、（１８）式に示される各周波数成分の振幅の平均値Ｒｒが求められる。次に、各分割領域のうち、平均値Ｒｒが各領域に設定された所定の閾値Ｔｈｒを超える領域の個数が第１指標値ＡＭＰ３として求められる。
【０１７３】
つまり、第１指標値ＡＭＰ３は、基準ウィンドウ５１が所定の分割数Ｒに分割された各分割領域のうち、分割領域についての各周波数成分の振幅の平均値Ｒｒが、所定の閾値Ｔｈｒを超える分割領域の個数である。
【０１７４】
なお、平均値Ｒｒに代えて各周波数成分の振幅の和が採用されてもよい。また、第１指標値ＡＭＰ３に代えて第１指標値ＡＭＰ３を分割数Ｒすなわち分割領域の個数で除した値が採用されても良い。
【０１７５】
このように第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３に代えて、これらと物理的、数学的に等価な各指標値が採用されたとしても本発明の有用性を損なうものではない。
【０１７６】
なお、第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３は、（１４）式および（１５）式における実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)とに基づく位相成分の指標値でもあるが、例えば、実数部Ｒｅ(ｋ1,ｋ2)と、虚数部Ｉｍ(ｋ1,ｋ2)とのそれぞれに基づいて位相成分の指標値を個別に取得し、取得された各指標値に基づいて位相成分の指標値である選択情報２４を取得したとしても本発明の有用性を損なうものではない。
【０１７７】
また、第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３は、基準画像１Ａに設けられた基準ウィンドウ５１の画像に基づいて求められているが、例えば、基準ウィンドウ５１の画像と、参照画像２Ａに設けられた参照ウィンドウ５２の画像とについてのクロス・パワースペクトルに基づいて第１指標値を求めたとしても、本発明の有用性を損なうものではない。
【０１７８】
選択情報取得部１３は、取得した第１指標値を選択情報２４として設定して（図１３のステップＳ６２）、選択部１５へと供給する。
【０１７９】
○第１動作モードにおける選択部１５の動作：
図１４は、図１２の動作フローのうち第１動作モードにおいて選択部１５が行う採用手法２７の選択（ステップ４０）に係る動作フローの１例を示す図である。
【０１８０】
第１動作モードにおける選択情報２４は、各周波数成分についての振幅の大きさを表わす第１指標値であるので、選択情報２４が大きいほどＰＯＣ法は、ランダムノイズの影響を受けることが少なく、逆に、選択情報２４が小さいほど、ＰＯＣ法は、ランダムノイズの影響を強く受けることになる。
【０１８１】
そこで、第１動作モードに対応した判定基準２９としては、例えば、選択情報２４が該判定に使用される所定の閾値よりも大きいことなどを判定する評価式が採用される。
【０１８２】
選択部１５は、先ず、記憶装置４６か第１動作モードに対応した判定基準２９を取得し、選択情報２４が判定基準２９を満たしているか否かを判定する（図１４のステップＳ８１）。
【０１８３】
次に、選択部１５は、該判定の結果、選択情報２４が判定基準２９を満たしているならば、ＰＯＣ法を用いる対応点探索手法を採用手法２７として選択し（図１４のステップＳ８２）、選択情報２４が判定基準２９を満たしていないならば、ＳＡＤ法を用いる対応点手探索手法を採用手法２７として選択する（図１４のステップＳ８３）。
【０１８４】
選択された採用手法２７は、探索部１６へと供給されて、注目点２１に対応する対応点２３の特定に用いられる。
【０１８５】
上述したように、撮影された画像の各周波数成分の振幅が小さくなることによってＰＯＣ法を用いる対応点探索手法による対応点の特定の精度が悪化するが、第１動作モードにおける情報処理装置２００Ａによれば、選択情報２４として採用される第１指標値に基づいて、選択情報２４が所定の閾値よりも大きいときにはＰＯＣ法を用いる対応点探索手法を採用手法２７として選択し、選択情報２４が所定の閾値以下であるときにはＳＡＤ法を用いる対応点探索手法を採用手法２７として選択することができる。
【０１８６】
従って、第１動作モードにおける情報処理装置２００Ａによれば、基準画像１Ａと参照画像２Ａとの間での対応点探索の精度を向上させることができる。
【０１８７】
［◎Ｂ．第２動作モードにおける選択情報取得部１３と選択部１５との動作：］
第２動作モードでは、注目手法２６として画像の各周波数成分についての位相成分に基づいた相関演算を行うＰＯＣ法を用いる手法が採用され、選択情報２４としては、当該位相成分の指標値のうち、基準画像１Ａまたは参照画像２Ａのランダムノイズの量の増減に関与するなど、ランダムノイズに影響する所定の撮影パラメータと、注目点２１の画素値とに基づいて取得される第２指標値が採用される。
【０１８８】
○第２動作モードにおける選択情報取得部１３の動作：
図１５は、図１２の動作フローのうち第２動作モードにおいて選択情報取得部１３が行う選択情報２４の取得（ステップ３０）に係る動作フローの１例を示す図である。
【０１８９】
第２動作モードにおいては、選択情報取得部１３は、記憶装置４６から第２動作モードにおける選択情報２４の取得プログラム２８（図２）を取得する。
【０１９０】
第２動作モードにおける取得プログラム２８は、例えば、基準画像１Ａのランダムノイズに影響する所定の撮影パラメータと、注目点２１の画素値とに基づいて取得される第２指標値を選択情報２４として取得する手法を実現させるプログラムである。
【０１９１】
ここで、ランダムノイズに影響する撮影パラメータは、例えば、画像撮影時の撮影ゲイン値、および信号処理速度などである。
【０１９２】
画像が撮影される際に、信号の増幅率、すなわち撮影ゲイン値が上げられると、生成される画像のランダムノイズが増加する。また、画像が生成される際の信号処理速度が速いほど、通常、ランダムノイズは増加する。
【０１９３】
なお、通常、基準画像１Ａと参照画像２Ａとの各撮影パラメータは同じような値となることから、当該ゲイン値として、参照画像２Ａが撮影されたときの撮影ゲイン値および信号処理速度が採用されたとしても、本願発明の有用性を損なうものではない。
【０１９４】
従って、第２動作モードにおける取得プログラム２８は、例えば、基準画像２Ａのランダムノイズに影響する所定の撮影パラメータと、注目点２１の画素値とに基づいて取得される第２指標値を選択情報２４として取得する手法を実現させるプログラムであってもよい。
【０１９５】
選択情報取得部１３は、取得プログラム２８に基づいて、画像取得部１２から供給される撮影パラメータ１Ｐまたは２Ｐと、基準画像１Ａとから、基準画像１Ａまたは参照画像２Ａが撮影されたときの撮影ゲイン値Ｇと、注目点２１の画素値Ｉとを取得し（図１５のステップＳ６３）、（１９）式によって表される第２指標値ＥＶＡＬ１を取得する（図１３のステップＳ６４）。
【０１９６】
【数１４】
【０１９７】
なお、注目点２１の画素値Ｉの代わりに、例えば、注目点２１に対して画素数などによって定められる所定の近傍領域にある各画素の画素値の平均値などが採用されたとしても本発明の有用性を損なうものではない。
【０１９８】
選択情報取得部１３は、取得した第２指標値ＥＶＡＬ１を選択情報２４として設定し（図１３のステップＳ６５）、選択情報２４を選択部１５へと供給する。
【０１９９】
なお、（１９）式の第２指標値ＥＶＡＬ１に代えて、基準画像１Ａまたは参照画像２Ａについての撮影ゲイン値Ｇまたは信号処理速度などの所定の撮影パラメータのみに基づいて取得される指標値が採用されたとしても、通常、該所定の撮影パラメータとランダムノイズとは相関があることから、本発明の有用性を損なうものではない。
【０２００】
撮影ゲイン値Ｇが大きい場合または信号処理速度が速い場合であって、さらに、注目点２１の画素値Ｉが小さい場合には、画素値Ｉのうちの信号成分が小さく、ランダムノイズ成分が大きくなり、画素値ＩのＳ／Ｎ比が小さくなる。
【０２０１】
従って、（１９）式の第２指標値ＥＶＡＬ１のように該所定の撮影パラメータと、注目画素の画素値Ｉとに基づく第２指標値を用いれば、該所定の撮影パラメータのみに基づいて取得される指標値を用いる場合に比べて、画像の各周波数成分の位相成分の誤差が大きいか小さいかをさらに的確に判定することができる。
【０２０２】
上述したように、第２指標値は、ＰＯＣ法を用いる対応点探索手法の対応点探索への利用の適性を表わす適性情報になっている。
【０２０３】
○第２動作モードにおける選択部１５の動作：
図１４は、また、図１２の動作フローのうち第２動作モードにおいて選択部１５が行う採用手法２７の選択に係る動作フローの１例を示す図でもある。
【０２０４】
第２動作モードにおける選択情報２４が、基準画像１Ａまたは参照画像２Ａのランダムノイズに影響する所定の撮影パラメータと、注目点２１の画素値とに基づいて取得される（１９）式の第２指標値ＥＶＡＬ１である場合には、ＥＶＡＬ１が小さいほどＰＯＣ法は、ランダムノイズの影響を受けることが少なく、逆に、選択情報２４が大きいほど、ＰＯＣ法は、ランダムノイズの影響を強く受けることになる。
【０２０５】
そこで、第２動作モードに対応した判定基準２９としては、例えば、選択情報２４が所定の閾値よりも小さいことなどを判定する評価式が採用される。なお、該所定の閾値は、撮影に使用されるカメラ、あるいはレンズなどに応じて適宜設定される。
【０２０６】
図１４に示される第２動作モードの個々の動作フローについては第１動作モードにおける個々の動作フローと同じであるので説明を省略する。
【０２０７】
選択された採用手法２７は、探索部１６へと供給されて、注目点２１に対応する対応点２３の特定に用いられる。
【０２０８】
上述したように、第２指標値が大きくなるほどＰＯＣ法を用いる対応点探索手法による対応点の特定の精度が悪化するが、第２動作モードにおける情報処理装置２００Ａによれば、選択情報２４として採用される第２指標値に基づいて、選択情報２４が所定の閾値よりも小さいときにはＰＯＣ法を用いる対応点探索手法を採用手法２７として選択し、選択情報２４が所定の閾値以上であるときにはＳＡＤ法を用いる対応点探索手法を採用手法２７として選択することができる。
【０２０９】
従って、第１動作モードにおける情報処理装置２００Ａによれば、基準画像１Ａと参照画像２Ａとの間での対応点探索の精度を向上させることができる。
【０２１０】
［◎Ｃ．第３動作モードにおける選択情報取得部１３と選択部１５との動作：］
第３動作モードでは、注目手法２６として画像の各周波数成分についての位相成分に基づいた相関演算を行うＰＯＣ法を用いる手法が採用され、選択情報２４としては、当該位相成分の指標値のうち、第１動作モードで使用される第１指標値と、第２動作モードで使用される第２指標値とのそれぞれが採用される。
【０２１１】
○第３動作モードにおける選択情報取得部１３の動作：
図１６は、図１２の動作フローのうち第３動作モードにおいて選択情報取得部１３が行う選択情報２４の取得（ステップ３０）に係る動作フローの１例を示す図である。
【０２１２】
第３動作モードにおいては、選択情報取得部１３は、記憶装置４６から第３動作モードにおける選択情報２４の取得プログラム２８（図２）を取得する。
【０２１３】
ここで、第３動作モードにおける取得プログラム２８は、第１モードで使用される第１指標値と、第２モードで使用される第２指標値とのそれぞれを選択情報２４として取得する手法を実現させるプログラムである。
【０２１４】
選択情報取得部１３は、先ず、取得プログラム２８に基づいて、振幅ＡF(ｋ1,ｋ2)から、（１６）式、（１７式）、または（１８）式のそれぞれによって表される第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３を取得する（図１６のステップＳ６６）。
【０２１５】
次に、選択情報取得部１３は、取得プログラム２８に基づいて、画像取得部１２から供給される撮影パラメータ１Ｐおよび基準画像１Ａから基準画像１Ａが撮影されたときの撮影ゲイン値Ｇおよび注目点２１の画素値Ｉを取得し（図１６のステップＳ６７）、（１９）式によって表される第２指標値ＥＶＡＬ１を取得する（図１６のステップＳ６８）。
【０２１６】
選択情報取得部１３は、取得した第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３と、第２指標値ＥＶＡＬ１とをそれぞれ選択情報２４として設定し（図１６のステップＳ６９）、選択情報２４を選択部１５へと供給する。
【０２１７】
○第３動作モードにおける選択部１５の動作：
図１７および図１８はそれぞれ、図１２の動作フローのうち第３動作モードにおいて選択部１５が行う採用手法２７の選択（ステップ４０）に係る動作フローの１例を示す図である。
【０２１８】
第１動作モードの説明欄において既述したように、第１指標値が所定の閾値よりも大きいほどＰＯＣ法は、ランダムノイズの影響を受けることが少なく、逆に、第１指標値が小さいほど、ＰＯＣ法は、ランダムノイズの影響を強く受けることになる。
【０２１９】
また、（１９）式の第２指標値ＥＶＡＬ１が小さいほどＰＯＣ法は、ランダムノイズの影響を受けることが少なく、逆に、選択情報２４が大きいほど、ＰＯＣ法は、ランダムノイズの影響を強く受けることになる。
【０２２０】
そこで、第３動作モードに対応した判定基準２９としては、例えば、第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３と、第２指標値ＥＶＡＬ１とを、それぞれについての所定の各閾値を用いる各評価式によって順次に比較する判定アルゴリズムなどが採用される。
【０２２１】
先ず、図１７に示される処理手順においては、選択情報２４のうち第２指標値ＥＶＡＬ１が、判定基準２９のうち、第２指標値ＥＶＡＬ１が所定の閾値よりも小さいか否かを比較する評価式を満たすか否か、すなわち、第２指標値ＥＶＡＬ１が所定の基準を満たすか否かが判定される（ステップＳ８４）。
【０２２２】
ステップＳ８４での判定の結果、第２指標値ＥＶＡＬ１が所定の閾値よりも小さい、すなわち、第２指標値ＥＶＡＬ１が所定の基準を満たす場合には、処理はステップＳ８６へと移されて、選択部１５は、ＰＯＣ法を用いる対応点探索手法を採用手法２７として選択する。
【０２２３】
また、ステップＳ８４での判定の結果、第２指標値ＥＶＡＬ１が所定の閾値以上、すなわち、第２指標値ＥＶＡＬ１が所定の基準を満たさない場合には、処理は、ステップＳ８５に移される。
【０２２４】
ステップＳ８５においては、選択情報２４のうち第１指標値が、判定基準２９のうち、第１指標値が所定の閾値よりも大きいか否かを比較する評価式を満たすか否か、すなわち、第１指標値が所定の基準を満たすか否かが判定される。
【０２２５】
ステップＳ８５での判定の結果、第１指標値が所定の閾値よりも大きい、すなわち、第１指標値が所定の基準を満たす場合には、処理はステップＳ８６へと移されて、選択部１５は、ＰＯＣ法を用いる対応点探索手法を採用手法２７として選択する。
【０２２６】
ステップＳ８５での判定の結果、第１指標値が所定の閾値以下、すなわち、第１指標値が所定の基準を満たさない場合には、処理はステップＳ８７に移され、選択部１５は、ＳＡＤ法を用いる対応点探索手法を採用手法２７として選択する。
【０２２７】
ステップＳ８６またはＳ８７における採用手法２７の選択が終了すると、選択部１５は、採用手法２７を探索部１６へと供給し、処理は、ステップＳ５０（図１２）へと戻されて、探索部１６は採用手法２７に基づいて注目点２１に対応する対応点２３を特定する。
【０２２８】
上述したように図１７に示される選択部１５の動作フローは、ＰＯＣ法と、ＳＡＤ法とをそれぞれ用いる対応点探索手法のうちＰＯＣ法を用いる対応点探索手法をできるだけ優先して使用するという考え方に基づいた動作フローである。
【０２２９】
一方、図１８に示される処理手順においては、選択情報２４のうち第２指標値ＥＶＡＬ１が、判定基準２９のうち、第２指標値ＥＶＡＬ１が所定の閾値よりも小さいか否かを比較する評価式、すなわち、所定の基準を満たすか否かが判定される（ステップＳ８８）。
【０２３０】
ステップＳ８８での判定の結果、第２指標値ＥＶＡＬ１が所定の閾値以上、すなわち、第２指標値ＥＶＡＬ１が所定の基準を満たさない場合には、処理はステップＳ９１へと移されて、選択部１５は、ＳＡＤ法を用いる対応点探索手法を採用手法２７として選択する。
【０２３１】
また、ステップＳ８８での判定の結果、第２指標値ＥＶＡＬ１が所定の閾値より小さい、すなわち、第２指標値ＥＶＡＬ１が所定の基準を満たす場合には、処理は、ステップＳ８９に移される。
【０２３２】
ステップＳ８９では、選択情報２４のうち第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３が、判定基準２９のうち、第２指標値が所定の閾値よりも大きいか否かを比較する評価式、すなわち、所定の基準を満たすか否かが判定される。
【０２３３】
ステップＳ８９での判定の結果、第１指標値が所定の閾値以下、すなわち、第１指標値が所定の基準を満たさない場合には、処理はステップＳ９１へと移されて、選択部１５は、ＳＡＤ法を用いる対応点探索手法を採用手法２７として選択する。
【０２３４】
ステップＳ８９での判定の結果、第１指標値が所定の閾値より大きい、すなわち、第１指標値が所定の基準を満たす場合には、処理はステップＳ９０に移され、選択部１５は、ＰＯＣ法を用いる対応点探索手法を採用手法２７として選択する。
【０２３５】
ステップＳ９０またはＳ９１における採用手法２７の選択が終了すると、選択部１５は、採用手法２７を探索部１６へと供給し、処理は、ステップＳ５０（図１２）へと戻されて、探索部１６は採用手法２７に基づいて注目点２１に対応する対応点２３を特定する。
【０２３６】
上述したように図１８に示される選択部１５の動作フローは、ＰＯＣ法と、ＳＡＤ法とをそれぞれ用いる対応点探索手法のうちＳＡＤ法を用いる対応点探索手法をできるだけ優先して使用するという考え方に基づいた動作フローである。
【０２３７】
上述したように、第１指標値と第２指標値とを順次個別に判定する判定アルゴリズムである判定基準２９を用いれば、ＰＯＣ法を用いる対応点探索手法の対応点探索への利用の適性を、２つの異なる指標値に基づいてより正確に評価することができるので、ＰＯＣ法とＳＡＤ法とのそれぞれに基づく対応点探索手法のうち注目点２１についての対応点探索に適した手法をより的確に選択することができる。
【０２３８】
従って、第３動作モードにおける情報処理装置２００Ａによれば複数の画像間での対応点探索の精度をより向上させることができる。
【０２３９】
また、第１指標値と第２指標値とを順次個別に判定する判定アルゴリズムにおいては、ＰＯＣ法と、ＳＡＤ法とをそれぞれ用いる各対応点探索手法の優先度を柔軟に変更することができるので、例えば、処理速度を探索精度よりも優先させるなど対応点２３の探索結果を使用するアプリケーションの要求に合わせて複数の画像間での対応点探索の精度をより向上させることができる。
【０２４０】
なお、図１７および図１８に示された動作フローにおいては、先ず、第２指標値が評価され、次に第１指標値が評価されているが、第１指標値と第２指標値との評価の順序を入れ替えた動作フローが採用されたとしても本発明の有用性を損なうものではない。
【０２４１】
◎第３動作モードの変形例について：
次に、第３動作モードの変形例について説明する。該変形例では、選択情報２４として第３動作モードで用いられた第１指標値と第２指標値とに基づいて取得される第３指標値が用いられる。
【０２４２】
○第３動作モードの変形例における選択情報取得部１３の動作：
図１９は、図１２の動作フローのうち上述した第３動作モードの変形例において選択情報取得部１３が行う選択情報２４の取得（ステップ３０）に係る動作フローの１例を示す図である。
【０２４３】
図１９に示される動作フローにおいて、選択情報取得部１３は、記憶装置４６から第３動作モードの変形例における選択情報２４の取得プログラム２８（図２）を取得する。
【０２４４】
ここで、第３動作モードの変形例における取得プログラム２８は、第１モードで使用される第１指標値と、第２モードで使用される第２指標値とに基づいて取得される第３指標値を選択情報２４として取得する手法を実現させるプログラムである。
【０２４５】
選択情報取得部１３は、先ず、取得プログラム２８に基づいて、振幅ＡF(ｋ1,ｋ2)から、（１６）式、（１７式）、または（１８）式のそれぞれによって表される第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３を取得する（図１９のステップＳ７１）。
【０２４６】
次に、選択情報取得部１３は、取得プログラム２８に基づいて、画像取得部１２から供給される撮影パラメータ１Ｐまたは２Ｐと、基準画像１Ａとから基準画像１Ａまたは参照画像２Ａが撮影されたときの撮影ゲイン値Ｇおよび注目点２１の画素値Ｉを取得し（図１９のステップＳ７１）、（１９）式によって表される第２指標値ＥＶＡＬ１を取得する（図１９のステップＳ７３）。
【０２４７】
選択情報取得部１３は、取得した第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３と、第２指標値ＥＶＡＬ１とから、例えば、（２０）式によって第３指標値ＥＶＡＬ２を取得する（図１９のステップＳ７４）。
【０２４８】
【数１５】
【０２４９】
（２０）式に示される第３指標値ＥＶＡＬ２では第１指標値としてＡＭＰ１が採用された例であり、（２０）式に示される第３指標値ＥＶＡＬ２の値が大きいほどＰＯＣ法を用いた対応点探索手法が適していることになる。
【０２５０】
次に選択情報取得部１３は、取得した第３指標値ＥＶＡＬ２を選択情報２４として設定し（図１９のステップ７５）、選択情報２４を選択部１５へと供給する。
【０２５１】
○第３動作モードの変形例における選択部１５の動作：
第３動作モードの変形例における選択部１５が行う採用手法２７の選択に係る動作フローとしては、例えば、第１動作モードで採用された図１４に示される動作フローが採用され、選択部１５は、所定の閾値を用いた不等式で表わされる評価式である判定基準２９を用いて、選択情報取得部１３から供給される選択情報２４を判定することによって２以上の対応点探索手法のうち１の手法を採用手法２７として選択する。
【０２５２】
第３動作モードの変形例における採用手法２７の選択手法によれば、注目手法２６であるＰＯＣ法を用いた対応点探索手法についての対応点探索への利用の適性を、異なる複数の指標値に基づいて、これら各指標値の相互関係をも考慮しつつ判定できるので、採用手法２７をより的確に選択することが可能となる。
【０２５３】
従って、第３動作モードの変形例における情報処理装置２００Ａによれば、複数の画像間での対応点探索の精度をより向上させることができる。
【０２５４】
ここで、第１指標値または第２指標値に対して非線形に設定される閾値を、上述した第３動作モードの変形例における判定基準２９の閾値として採用する手法について説明する。
【０２５５】
図１１は、非線形な閾値を用いた採用手法２７の選択の１例を説明する図である。
【０２５６】
図１１の境界５９は、（２０）式に示される第３指標値ＥＶＡＬ２における変数である第１指標値ＡＭＰ１および第２指標値ＥＶＡＬ１のそれぞれを座標軸とする座標空間を非線形に区分する境界であり、境界５９によって該座標空間は、領域５５と領域５６とに分けられている。
【０２５７】
図１１に示されるように、領域５５における点５７では第１指標値ＡＭＰ１および第２指標値ＥＶＡＬ１がともに大きく、逆に、領域５６における点５８では、第１指標値ＡＭＰ１および第２指標値ＥＶＡＬ１がともに小さい。
【０２５８】
より具体的には、点５７は、例えば、撮影ゲイン値Ｇおよび振幅ＡF(ｋ1,ｋ2)がともに大きい場合に対応し、点５８は、例えば、撮影ゲイン値Ｇおよび振幅ＡF(ｋ1,ｋ2)がともに小さい場合に対応する。
【０２５９】
ここで、第１動作モードおよび第２動作モードの説明において既述したように、第１指標値ＡＭＰ１が大きいほど、また、第２指標値ＥＶＡＬ１が小さいほど、ＰＯＣ法はランダムノイズの影響を受けることが少なく、採用手法２７としてはＰＯＣ法を用いる対応点探索手法が適している。
【０２６０】
従って、点５７および５８においては、第１指標値ＡＭＰ１に着目した場合と、第２指標値ＥＶＡＬ１に着目した場合とでは、ＰＯＣ法を用いる対応点探索手法の適性に対する評価結果が相反する結果となる。
【０２６１】
この場合に、例えば、境界５９上の各点に対応する第１指標値ＡＭＰ１および第２指標値ＥＶＡＬ１を（２０）式に代入して得られる各第３指標値ＥＶＡＬ２を各閾値として採用し第３動作モードの変形例に係る採用手法２７の選択を行えば、領域５５に属する各点についてはＰＯＣ法を用いる対応点探索手法を採用手法２７として選択し、領域５６に属する各点についてはＳＡＤ法を採用手法２７として選択することができる。
【０２６２】
なお該手法における各閾値は、第１指標値ＡＭＰ１および第２指標値ＥＶＡＬ１に対して非線形に設定されるので、例えば、第２指標値ＥＶＡＬ１の各値と、各閾値との非線形関係を予め取得して記憶装置４６に記憶しておき、採用手法２７の選択の実行時に用いることによって該手法を行うことができる。
【０２６３】
このように第３動作モードの変形例において、非線形な閾値を採用すれば、特定された対応点２３を用いるアプリケーションの要求仕様に対してさらに柔軟、かつ、的確に採用手法２７を選択することが可能となり、複数の画像間での対応点探索の精度をより向上させることができる。
【０２６４】
［◎Ｄ．第４動作モードにおける選択情報取得部１３と選択部１５との動作：］
第４動作モードでは、注目手法２６として、画像の各周波数成分についての位相成分に基づいた相関演算を行うＰＯＣ法を用いる手法と、基準画像１Ａと参照画像２Ａとのそれぞれの画素値の差分に基づいた相関演算を行うＳＡＤ法を用いる手法との２つの手法が採用される。
【０２６５】
また、当該２つの手法のそれぞれについての選択情報２４として、ＰＯＣ法を用いる対応点探索手法に対しては第１動作モードで使用される第１指標値が採用され、ＳＡＤ法を用いる対応点探索手法に対しては基準ウィンドウ５１のうち注目点２１を内包する所定の領域におけるコントラストを表わす情報であるコントラスト値が採用される。
【０２６６】
ＳＡＤ法を用いる対応点探索手法においては、通常、該コントラスト値が大きいほど対応点探索の精度が高くなるので、該コントラスト値は、ＳＡＤ法を用いる対応点探索手法の利用の適性を表わす適性情報である。
【０２６７】
○第４動作モードにおける選択情報取得部１３の動作：
上述した第１指標値と該コントラスト値とは、例えば、第３動作モードで説明した図１７などの動作フローと同様の動作フローに従って選択部１５によって個別に評価されて採用手法２７の判定に用いられたとしても本発明の有用性を損なうものではない。
【０２６８】
また、第３動作モードの変形例で説明したように、第１指標値と該コントラスト値とから第４指標値が取得されて、図１４の動作フローと同様の動作フローに従って選択部１５によって第４指標値が評価されて採用手法２７の判定に用いられたとしても本発明の有用性を損なうものではない。
【０２６９】
ここでは、第１指標値と該コントラスト値とから第４指標値が取得される場合の選択情報取得部１３の動作について説明する。
【０２７０】
図２０は、図１２の動作フローのうち第４動作モードにおいて選択情報取得部１３が行う選択情報２４の取得（ステップ３０）に係る動作フローの１例を示す図である。
【０２７１】
第４動作モードにおいては、選択情報取得部１３は、記憶装置４６から第４動作モードにおける選択情報２４の取得プログラム２８（図２）を取得する。
【０２７２】
ここで、第４動作モードにおける取得プログラム２８は、第１動作モードで使用される第１指標値と、基準ウィンドウ５１のうち注目点２１を内包する所定の領域におけるコントラスト値とに基づいて取得される第４指標値を選択情報２４として取得する手法を実現させるプログラムである。
【０２７３】
選択情報取得部１３は、先ず、取得プログラム２８に基づいて、振幅ＡＦ(ｋ1,ｋ２)から、（１６）式、（１７式）、または（１８）式のそれぞれによって表される第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３を取得する（図２０のステップＳ７６）。
【０２７４】
次に、選択情報取得部１３は、取得プログラム２８に基づいて、例えば、基準ウィンドウ５１の各画素について、当該各画素と、当該各画素から所定の画素間隔離れた各画素とのそれぞれの差分の絶対値の和を求めてコントラスト値として採用することなどによってコントラスト値を取得する（図２０のステップＳ７７）。
【０２７５】
ここで、採用手法２７としては、第１指標値が大きいほどＰＯＣ法を用いる対応点探索手法が適している。また、該コントラスト値が大きいほどＳＡＤ法を用いる対応点探索手法が適している。
【０２７６】
ＰＯＣ法を用いる対応点探索手法と、ＳＡＤ法を用いる対応点探索手法とから採用手法２７が選択される場合には、該コントラスト値が小さいほどＰＯＣ法を用いる対応点探索手法が採用手法２７に適していることになるので、該コントラスト値は、（２０）式における第２指標値ＥＶＡＬ１と同様に取り扱うことができる。
【０２７７】
従って、例えば、（２０）式における第２指標値ＥＶＡＬ１に代えて該コントラスト値を代入することによって取得される第４指標値を用いることによって、第３動作モードの変形例における選択手法と同様の手法によって、選択部１５は、採用手法２７を選択することができる。
【０２７８】
そこで、選択情報取得部１３は、取得した第１指標値ＡＭＰ１、ＡＭＰ２、またはＡＭＰ３と、該コントラスト値とのそれぞれを、それぞれについての所定の基準によって正規化して、正規化された第１指標値およびコントラスト値を用いて、例えば、（２０）式と同様の演算によって第４指標値を取得する（図２０のステップＳ７８）。
【０２７９】
なお、ステップＳ７８における正規化の基準を適宜調整することによって、ＰＯＣ法を用いる対応点探索手法と、ＳＡＤ法を用いる対応点探索手法との採用手法２７としての採用され易さを調整することができる。
【０２８０】
次に選択情報取得部１３は、取得した第４指標値を選択情報２４として設定し（図２０のステップ７９）、選択情報２４を選択部１５へと供給する。
【０２８１】
○第４動作モードにおける選択部１５の動作：
上述したように、第４指標値が大きいほど、すなわち、第１指標値が大きく、かつ、コントラスト値が小さいほど、ＰＯＣ法を用いた対応点探索手法が採用手法２７として適していることになる。
【０２８２】
また、第４指標値が小さいほど、すなわち、第１指標値が小さく、かつ、コントラスト値が大きいほど、ＳＡＤ法を用いる対応点探索手法が採用手法２７として適していることになる。
【０２８３】
従って、第４動作モードにおける選択部１５は、第３動作モードの変形例において説明した手法と同様の手法によって採用手法２７を選択することができる。
【０２８４】
また、第１指標値に係る判定結果と、コントラスト値に係る判定結果とが競合する場合であっても、例えば、図１１を用いて説明した手法と同様の手法によって、該競合関係を調整することができる。
【０２８５】
なお、正規化することによって、第１評価手法と、第２評価手法との大小関係を直接比較することもできるので、第３動作モードにおいて説明した判定手法と同様の手法によって選択部１５が採用手法２７を選択しても良い。
【０２８６】
上述したように、第４動作モードにおける情報処理装置２００Ａによれば、ＰＯＣ法を用いる対応点探索手法と、ＳＡＤ法を用いる対応点探索手法とについて選択情報２４をそれぞれ設定することができ、それぞれの選択情報２４を併用して、ＰＯＣ法を用いる対応点探索手法と、ＳＡＤ法を用いる対応点探索手法とのうちから１つの手法を対応点探索に用いられる採用手法２７として採用することができる。
【０２８７】
従って、第４動作モードにおける情報処理装置２００Ａによれば、複数の画像間での対応点探索の精度をより向上させることができる。
【０２８８】
以上に説明したように、上述した各動作モードにおける情報処理装置２００Ａによれば、基準画像１Ａと参照画像２Ａとのうち少なくとも一方の画像特性を反映する選択情報２４であって、２以上の候補手法２５のうち少なくとも一部の対応点探索手法である注目手法２６について、基準画像１Ａの注目点２１に対応する対応点２３を参照画像２Ａにおいて特定する対応点探索への利用の適性を表現した適性情報となっている選択情報２４に基づいて、２以上の候補手法２５のうちの１つが選択されて対応点探索に用いられるので、基準画像１Ａと参照画像２Ａとの間での対応点探索の精度を向上させることができる。
【符号の説明】
【０２８９】
１００Ａ 情報処理システム
２００Ａ 情報処理装置
３００ ステレオカメラ
１Ａ 基準画像
２Ａ 参照画像
１Ｐ，２Ｐ 撮影パラメータ
２１ 注目点
２２，２２ｓ，２２ｅ 探索基準点
２３ 対応点
２４ 選択情報
２５ 候補手法
２６ 注目手法
２７ 採用手法
２８ 取得プログラム
２９ 判定基準
３１ 基準カメラ
３２ 参照カメラ
４９ 信号線
５１ 基準ウィンドウ
５２，５２ｓ，５２ｅ 参照ウィンドウ
５３ 探索ウィンドウの重心
５４ 分割領域
ＤＬ データ線
【特許請求の範囲】
【請求項１】
互いに対応する画像内容を含んだ基準画像と参照画像とを取得する画像取得手段と、
前記基準画像に注目点を設定する設定手段と、
前記基準画像と前記参照画像とのうち少なくとも一方の画像特性を反映する選択情報に基づいて、２以上の対応点探索手法のうちの１つを選択する選択手段と、
選択された１つの対応点探索手法による探索結果を用いて、前記注目点の前記参照画像上の対応点を特定する探索手段と、
を備え、
前記選択情報は、前記２以上の対応点探索手法のうち少なくとも一部の対応点探索手法について、前記基準画像と前記参照画像とを対象とする対応点探索への利用の適性を表現した適性情報となっていることを特徴とする情報処理装置。
【請求項２】
請求項１に記載された情報処理装置であって、
前記選択手段は、前記注目点毎に前記２以上の対応点探索手法のうちの１つを選択することを特徴とする情報処理装置。
【請求項３】
請求項１または請求項２に記載された情報処理装置であって、
前記探索手段は、
前記２以上の対応点探索手法のそれぞれによって前記対応点の候補を特定する複数の個別探索手段と、
前記複数の個別探索手段によってそれぞれ特定された複数の対応点候補の中から、前記選択情報に基づいて１つを選択することにより、前記対応点を特定する対応点候補選択手段と、
を備えることを特徴とする情報処理装置。
【請求項４】
請求項１または請求項２に記載された情報処理装置であって、
前記探索手段は、
前記２以上の対応点探索手法によって、前記対応点をそれぞれ探索可能な複数の個別探索手段と、
前記複数の個別探索手段のうちの１つの個別探索手段を前記選択情報に基づいて選択的に能動化することにより、前記１つの個別探索手段に前記対応点を探索させる選択的能動化手段と、
を備えることを特徴とする情報処理装置。
【請求項５】
請求項１から請求項４のいずれか１つの請求項に記載された情報処理装置であって、
(１)前記２以上の対応点探索手法は、前記基準画像と前記参照画像との各周波数成分についての位相成分の相関演算を用いる位相型探索手法を含み、
(２)前記選択情報は、前記位相成分の指標値であることを特徴とする情報処理装置。
【請求項６】
請求項５に記載された情報処理装置であって、
前記指標値が所定の条件を満たすときに、前記位相型探索手法が選択されることを特徴とする情報処理装置。
【請求項７】
請求項５または請求項６に記載された情報処理装置であって、
前記指標値は、前記各周波数成分についての振幅の大きさを表わす値であることを特徴とする情報処理装置。
【請求項８】
請求項５または請求項６に記載された情報処理装置であって、
前記指標値は、前記基準画像のランダムノイズに影響する所定の撮影パラメータの値に基づいて取得されることを特徴とする情報処理装置。
【請求項９】
請求項８に記載された情報処理装置であって、
前記指標値は、前記撮影パラメータの値と、前記基準画像における前記注目点の画素値とに基づいて取得される値であることを特徴とする情報処理装置。
【請求項１０】
請求項８または請求項９に記載された情報処理装置であって、
前記撮影パラメータは、前記基準画像または前記参照画像が撮影されたときの撮影ゲイン値であることを特徴とする情報処理装置。
【請求項１１】
請求項１から請求項４のいずれか１つの請求項に記載された情報処理装置であって、
(１)前記２以上の対応点探索手法は、前記基準画像と前記参照画像とのそれぞれの画素値の差分を用いる差分型探索手法を含み、
(２)前記選択情報は、前記基準画像または前記参照画像の所定の領域におけるコントラストを表わす情報であることを特徴とする情報処理装置。
【請求項１２】
情報処理装置に搭載されたコンピュータにおいて実行されることにより、当該情報処理装置を請求項１ないし請求項１１のいずれか１つの請求項に記載の情報処理装置として機能させることを特徴とするプログラム。
【請求項１３】
互いに対応する画像内容を含んだ基準画像と参照画像とを取得する画像取得工程と、
前記基準画像に注目点を設定する設定工程と、
前記基準画像と前記参照画像とのうち少なくとも一方の画像特性を反映する選択情報に基づいて、前記２以上の対応点探索手法のうちの１つを選択する選択工程と、
選択された１つの対応点探索手法による探索結果を用いて、前記注目点の前記参照画像上の対応点を特定する探索工程と、
を備え、
前記選択情報は、前記２以上の対応点探索手法のうち少なくとも一部の対応点探索手法について、前記基準画像と前記参照画像とを対象とする対応点探索への利用の適性を表現した適性情報となっていることを特徴とする情報処理方法。
【請求項１】
互いに対応する画像内容を含んだ基準画像と参照画像とを取得する画像取得手段と、
前記基準画像に注目点を設定する設定手段と、
前記基準画像と前記参照画像とのうち少なくとも一方の画像特性を反映する選択情報に基づいて、２以上の対応点探索手法のうちの１つを選択する選択手段と、
選択された１つの対応点探索手法による探索結果を用いて、前記注目点の前記参照画像上の対応点を特定する探索手段と、
を備え、
前記選択情報は、前記２以上の対応点探索手法のうち少なくとも一部の対応点探索手法について、前記基準画像と前記参照画像とを対象とする対応点探索への利用の適性を表現した適性情報となっていることを特徴とする情報処理装置。
【請求項２】
請求項１に記載された情報処理装置であって、
前記選択手段は、前記注目点毎に前記２以上の対応点探索手法のうちの１つを選択することを特徴とする情報処理装置。
【請求項３】
請求項１または請求項２に記載された情報処理装置であって、
前記探索手段は、
前記２以上の対応点探索手法のそれぞれによって前記対応点の候補を特定する複数の個別探索手段と、
前記複数の個別探索手段によってそれぞれ特定された複数の対応点候補の中から、前記選択情報に基づいて１つを選択することにより、前記対応点を特定する対応点候補選択手段と、
を備えることを特徴とする情報処理装置。
【請求項４】
請求項１または請求項２に記載された情報処理装置であって、
前記探索手段は、
前記２以上の対応点探索手法によって、前記対応点をそれぞれ探索可能な複数の個別探索手段と、
前記複数の個別探索手段のうちの１つの個別探索手段を前記選択情報に基づいて選択的に能動化することにより、前記１つの個別探索手段に前記対応点を探索させる選択的能動化手段と、
を備えることを特徴とする情報処理装置。
【請求項５】
請求項１から請求項４のいずれか１つの請求項に記載された情報処理装置であって、
(１)前記２以上の対応点探索手法は、前記基準画像と前記参照画像との各周波数成分についての位相成分の相関演算を用いる位相型探索手法を含み、
(２)前記選択情報は、前記位相成分の指標値であることを特徴とする情報処理装置。
【請求項６】
請求項５に記載された情報処理装置であって、
前記指標値が所定の条件を満たすときに、前記位相型探索手法が選択されることを特徴とする情報処理装置。
【請求項７】
請求項５または請求項６に記載された情報処理装置であって、
前記指標値は、前記各周波数成分についての振幅の大きさを表わす値であることを特徴とする情報処理装置。
【請求項８】
請求項５または請求項６に記載された情報処理装置であって、
前記指標値は、前記基準画像のランダムノイズに影響する所定の撮影パラメータの値に基づいて取得されることを特徴とする情報処理装置。
【請求項９】
請求項８に記載された情報処理装置であって、
前記指標値は、前記撮影パラメータの値と、前記基準画像における前記注目点の画素値とに基づいて取得される値であることを特徴とする情報処理装置。
【請求項１０】
請求項８または請求項９に記載された情報処理装置であって、
前記撮影パラメータは、前記基準画像または前記参照画像が撮影されたときの撮影ゲイン値であることを特徴とする情報処理装置。
【請求項１１】
請求項１から請求項４のいずれか１つの請求項に記載された情報処理装置であって、
(１)前記２以上の対応点探索手法は、前記基準画像と前記参照画像とのそれぞれの画素値の差分を用いる差分型探索手法を含み、
(２)前記選択情報は、前記基準画像または前記参照画像の所定の領域におけるコントラストを表わす情報であることを特徴とする情報処理装置。
【請求項１２】
情報処理装置に搭載されたコンピュータにおいて実行されることにより、当該情報処理装置を請求項１ないし請求項１１のいずれか１つの請求項に記載の情報処理装置として機能させることを特徴とするプログラム。
【請求項１３】
互いに対応する画像内容を含んだ基準画像と参照画像とを取得する画像取得工程と、
前記基準画像に注目点を設定する設定工程と、
前記基準画像と前記参照画像とのうち少なくとも一方の画像特性を反映する選択情報に基づいて、前記２以上の対応点探索手法のうちの１つを選択する選択工程と、
選択された１つの対応点探索手法による探索結果を用いて、前記注目点の前記参照画像上の対応点を特定する探索工程と、
を備え、
前記選択情報は、前記２以上の対応点探索手法のうち少なくとも一部の対応点探索手法について、前記基準画像と前記参照画像とを対象とする対応点探索への利用の適性を表現した適性情報となっていることを特徴とする情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−１８６９０９（Ｐ２０１１−１８６９０９Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５３２０６（Ｐ２０１０−５３２０６）
【出願日】平成２２年３月１０日（２０１０．３．１０）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月１０日（２０１０．３．１０）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]