画像処理装置および画像処理方法
【課題】多重解像度画像を用いた対応点探索処理の処理性能を改善する。
【解決手段】互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する画像取得手段と、取得した原基準画像と原参照画像とを低解像度化することによって、解像度の異なる複数の画像を階層的に生成する多重解像度画像作成手段と、注目階層に属する注目基準画像に注目点を設定する注目点設定手段と、注目点についての、注目基準画像と注目参照画像との視差を求める視差特定手段と、視差特定手段が視差を求めるにあたって1)注目点を内包するウィンドウが注目基準画像内に収まるときには、ウィンドウ内の画像情報を用いる第１視差特定規則を、2)ウィンドウが注目基準画像からはみ出すときには、注目基準画像の外部領域からの寄与度を第１視差特定規則よりも低めた第２視差特定規則を、選択的にそれぞれ適用させる選択適用手段と、を備える。
【解決手段】互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する画像取得手段と、取得した原基準画像と原参照画像とを低解像度化することによって、解像度の異なる複数の画像を階層的に生成する多重解像度画像作成手段と、注目階層に属する注目基準画像に注目点を設定する注目点設定手段と、注目点についての、注目基準画像と注目参照画像との視差を求める視差特定手段と、視差特定手段が視差を求めるにあたって1)注目点を内包するウィンドウが注目基準画像内に収まるときには、ウィンドウ内の画像情報を用いる第１視差特定規則を、2)ウィンドウが注目基準画像からはみ出すときには、注目基準画像の外部領域からの寄与度を第１視差特定規則よりも低めた第２視差特定規則を、選択的にそれぞれ適用させる選択適用手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、基準画像に設定された注目点の対応点を参照画像から探索する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
異なる視点から撮影された測定対象物に関する複数の画像や、同一視点から時系列に撮影された移動する測定対象物などに関する複数の時系列画像のうち、１の画像を基準画像、他の画像を参照画像として基準画像上の注目点に対応する参照画像上の対応点を、テンプレートマッチングなどを利用したエリアベースの対応点探索方法を用いて探索し、得られた対応点と注目点とに基づいて、測定対象物の３次元形状を求める装置や、測定対象物の移動を追跡する装置が知られている。
【０００３】
エリアベースの対応点探索方法においては、基準画像上に、注目点を略中心とする探索ウィンドウ（「基準ウィンドウ」とも称する）を設定するとともに、対応点の存在が見込まれる参照画像上の領域にも基準ウィンドウと同じ大きさの探索ウィンドウ（「参照ウィンドウ」とも称する）を設定する。
【０００４】
次に、これらの探索ウィンドウ間の画像の相関が最も高くなる、探索ウィンドウの画像間のずれ量（「視差」とも称する）を求める視差特定処理を行い、求められた視差と注目点の画素座標とから、基準画像上の注目点に対応する参照画像上の対応点を求める対応点探索処理を行う。
【０００５】
エリアベースの対応点探索方法においては、通常、参照画像における対応点の存在範囲を予め特定することはできないので、参照画像の全域をカバーするように参照ウィンドウを次々と設定することによって対応点探索処理が行われる。
【０００６】
近年、エリアベースの対応点探索方法の１つとして、基準画像と参照画像とを階層毎に解像度が徐々に低くなるように逐次低解像度化することによって、複数階層の画像を生成し、各階層毎に、エリアベースの対応点探索方法を用いつつ、最も低解像度の階層から最も高解像度の階層へ向けて順に対応点を探索する多重解像度戦略を用いた対応点探索手法が注目されている。
【０００７】
多重解像度戦略を用いた対応点探索においては、注目階層で求められた視差に基づいて、注目階層の１つ上位階層の参照ウィンドウを定める初期視差を決定することができる。
【０００８】
従って、多重解像度戦略を用いた対応点探索手法においては、各階層における参照ウィンドウの設定領域を絞り込みつつ、探索を行うことができる。
【０００９】
特許文献１では、多重解像度戦略に基づいた対応点探索を用いる画像処理装置の技術が開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００１−１４８０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
多重解像度戦略に基づいた対応点探索手法においては、画像の端部の探索ウィンドウが、画像からはみ出す場合には、探索ウィンドウ間の相関を高精度に求めることができないため、対応点探索の精度が悪化するという問題や、階層数の増大に伴って処理時間も増大するといった問題がある。
【００１２】
特許文献１の画像処理装置においては、求められた対応点の信頼度が低い場合には、周囲の対応点の情報を用いて信頼度の低い対応点を補正することによって、高精度な対応点探索を可能とする技術が開示されているが、画像の端部において探索領域が画像からはみ出る場合に探索精度を向上させるための対策および階層数の増大に伴う処理時間の増大を抑制するための対策については開示されていない。
【００１３】
本発明は、こうした問題を解決するためになされたもので、多重解像度画像を用いた対応点探索処理の処理性能を改善できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記の課題を解決するために、請求項１の発明は、互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する画像取得手段と、上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する多重解像度画像作成手段と、前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する注目点設定手段と、前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める視差特定手段と、前記視差特定手段が前記視差を求めるにあたって1)前記注目点を内包するウィンドウが前記注目基準画像内に収まるときには、前記ウィンドウ内の画像情報を用いる第１視差特定規則を、2)前記ウィンドウが前記注目基準画像からはみ出すときには、前記注目基準画像の外部領域からの寄与度を前記第１視差特定規則よりも低めた第２視差特定規則を、選択的にそれぞれ適用させる選択適用手段と、を備える画像処理装置であることを特徴とする。
【００１５】
また、請求項２の発明は、請求項１に記載された画像処理装置であって前記第２視差特定規則は、前記注目基準画像において前記注目点よりも中心寄りの点について既に特定された視差を利用する規則であることを特徴とする。
【００１６】
また、請求項３の発明は、請求項２に記載された画像処理装置であって、前記第２視差特定規則は、前記注目基準画像において前記注目点よりも中心寄りの１つの代替点について既に特定された視差を用いて、前記注目点についての視差を求める規則であることを特徴とする。
【００１７】
また、請求項４の発明は、請求項２に記載された画像処理装置であって、前記第２視差特定規則は、前記注目基準画像において前記注目点よりも中心寄りの複数の代替点について既に特定された視差の外挿によって、前記注目点についての視差を求める規則であることを特徴とする。
【００１８】
また、請求項５の発明は、請求項１に記載された画像処理装置であって、前記第２視差特定規則においては、前記注目基準画像からの前記ウィンドウのはみ出し方向について、前記第１視差特定規則で使用されるウィンドウよりも短幅のウィンドウ内の画像情報を用いることを特徴とする。
【００１９】
また、請求項６の発明は、請求項１に記載された画像処理装置であって、前記第２視差特定規則は、前記ウィンドウ内の画像情報を用いるとともに、前記ウィンドウのうち基準画像からはみ出る部分の寄与度を前記第１視差特定規則よりも低めた規則であることを特徴とする。
【００２０】
また、請求項７の発明は、互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する工程と、上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する工程と、前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する工程と、前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める視差特定工程と、を備えた画像処理方法であって、前記視差特定工程は、1)前記注目点を内包するウィンドウが前記注目基準画像内に収まるときには、前記ウィンドウ内の画像情報を用いる第１視差特定規則を、2)前記ウィンドウが前記注目基準画像からはみ出すときには、前記注目基準画像の外部領域からの寄与度を前記第１視差特定規則よりも低めた第２視差特定規則を、選択的にそれぞれ適用する工程を備えることを特徴とする。
【００２１】
また、請求項８の発明は、互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する画像取得手段と、上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する多重解像度画像作成手段と、前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する注目点設定手段と、前記注目点が前記注目基準画像のうち所定の視差特定領域にあるときに、前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める視差特定手段と、を備え、各階層における前記視差特定領域と基準画像との面積比は、上位階層ほど大きく設定されている画像処理装置であることを特徴とする。
【００２２】
また、請求項９の発明は、請求項８に記載された画像処理装置であって、前記視差特定手段は、前記注目点を内包するウィンドウ内の画像情報を用いて、当該注目点についての、前記注目基準画像と前記注目参照画像との視差を求めるものであり、前記視差特定領域は、前記ウィンドウが前記注目基準画像に収まる範囲の領域であり、上位階層において前記視差を求める際の初期基準として使用される初期視差を、下位階層の視差特定領域内の注目点について得られた視差を利用して求めることを特徴とする。
【００２３】
また、請求項１０の発明は、請求項１に記載された画像処理装置であって、前記注目基準画像のうち前記第１規則が適用される領域と前記第２規則が適用される領域とからなる領域を視差特定領域として、各階層における前記視差特定領域と基準画像との面積比は、上位階層ほど大きく設定されているとともに、上位階層について前記第１視差特定規則で使用される初期視差を、下位階層について各注目点において得られた視差を利用して求めることを特徴とする。
【００２４】
また、請求項１１の発明は、互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する工程と、上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する工程と、前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する工程と、前記注目点が前記注目基準画像のうち所定の視差特定領域にあるときに、前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める工程と、を備え、各階層における前記視差特定領域と基準画像との面積比は、上位階層ほど大きく設定されている画像処理方法であることを特徴とする。
【発明の効果】
【００２５】
請求項１から請求項７の発明によれば、注目点を内包するウィンドウが基準画像からはみ出るときに適用される第２視差特定規則のほうが、ウィンドウが基準画像からはみ出ないときに適用される第１視差特定規則よりも画像外情報の視差特定処理に対する寄与度が小さくなるので、ウィンドウが基準画像からはみ出るときの視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００２６】
請求項２から４の発明によれば、第２視差特定規則は、注目点よりも基準画像の中心よりの点について既に特定された視差を利用して注目点の視差を求めるので、視差の連続性によって、ウィンドウが基準画像からはみ出るときの視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００２７】
請求項３の発明によれば、第２視差特定規則は、注目点よりも基準画像の中心よりの１つの代替点について既に特定された視差を利用して注目点の視差を求めるので第２視差特定規則を用いた視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００２８】
請求項４の発明によれば、第２視差特定規則は、注目点よりも基準画像の中心よりの複数の代替点について既に特定された視差の外挿によって注目点の視差を求めるので、視差の連続性によって、ウィンドウが基準画像からはみ出るときの視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００２９】
請求項５の発明によれば、注目点を内包するウィンドウが基準画像からはみ出るときに適用される第２視差特定規則では、ウィンドウのはみ出し方向について、第１視差特定規則で使用されるウィンドウよりも短幅のウィンドウ内の画像情報を用いるので、第２視差特定規則による視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００３０】
請求項６の発明によれば、第２視差特定規則は、注目点を内包するウィンドウのうち、基準画像からはみ出る部分の寄与度を第１視差特定規則より低めているので、画像外情報の寄与度を第１視差特定規則を用いたときよりも抑制することによって、第２視差特定規則による視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００３１】
請求項８から請求項１１の発明によれば、視差特定処理が下位の階層から上位の階層に向けて逐次実行される過程で、視差特定領域と基準画像との比を、階層が上がるにつれて少しずつ大きくしつつ視差特定処理を行うことができるので、視差特定領域を削減することによって視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００３２】
請求項９の発明によれば、注目点を内包するウィンドウが、下位階層の基準画像の画像領域からはみ出さない視差特定領域の各注目点について求められた各視差に基づいて、注目階層の視差特定領域の各注目点に対する各初期視差を設定することによって、注目階層の視差特定領域についての各初期視差を適切な値に設定することができるので、視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００３３】
請求項１０の発明によれば、注目階層の視差特定領域のうち、注目点を内包するウィンドウが注目基準画像の画像領域からはみ出さない領域の各注目点に対する各初期視差を、下位階層の視差特定領域の各注目点に対して求められた各視差に基づいて設定することによって、注目階層におけるウィンドウが基準画像からはみ出さない領域についての各初期視差を適切な値に設定することができるので、視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【図面の簡単な説明】
【００３４】
【図１】実施形態に係る画像処理装置を用いた３次元形状測定装置の概略構成を示す図である。
【図２】基準画像の注目点と参照画像の対応点との対応関係を示す図である。
【図３】実施形態に係る画像処理装置の要部の構成例を示す機能ブロック図である。
【図４】多重解像度基準画像を例示する図である。
【図５】多重解像度基準画像を例示する図である。
【図６】多重解像度基準画像を例示する図である。
【図７】多重解像度参照画像を例示する図である。
【図８】多重解像度参照画像を例示する図である。
【図９】多重解像度参照画像を例示する図である。
【図１０】解像度変倍率が視差特定処理に与える影響例を説明する図である。
【図１１】参照画像の多重解像度画像を例示する図である。
【図１２】実施形態にかかる第１領域と第２領域を説明する図である。
【図１３】実施形態にかかる第１領域と第２領域を説明する図である。
【図１４】上位階層と下位階層の第１領域と第２領域を例示する図である。
【図１５】上位階層と下位階層の第１領域と第２領域を例示する図である。
【図１６】初期視差の設定を説明する図である。
【図１７】初期視差の設定を説明する図である。
【図１８】視差特定処理の概要を説明する図である。
【図１９】参照画像の探索基準点に対する参照ウィンドウの設定例を示す図である。
【図２０】参照画像の探索基準点に対する参照ウィンドウの設定例を示す図である。
【図２１】ＳＡＤ法を用いた視差特定処理の説明図である。
【図２２】ＳＡＤ法における参照ウィンドウの走査態様を例示する図である。
【図２３】ＰＯＣ法を用いた視差特定処理の手順を示す図である。
【図２４】ＰＯＣ値の例を示す図である。
【図２５】第１領域と第２領域のウィンドウを例示する図である。
【図２６】実施形態に係る第１の視差特定処理の窓関数を例示する図である。
【図２７】実施形態に係る第２の視差特定処理の窓関数を例示する図である。
【図２８】実施形態に係る第２の視差特定処理の窓関数を例示する図である。
【図２９】実施形態に係る第２の視差特定処理の窓関数を例示する図である。
【図３０】第２領域におけるウィンドウの設定例を示す図である。
【図３１】第２領域の視差の特定方法の例を示す図である。
【図３２】第２領域の視差の特定方法の例を示す図である。
【図３３】第２領域の視差の特定方法の例を示す図である。
【図３４】変形例に係る視差特定領域の設定例を示す図である。
【図３５】変形例に係る初期視差の設定手法例を説明する図である。
【図３６】変形例に係る視差特定領域の設定例を示す図である。
【図３７】実施形態に係る画像処理装置の動作の概要を例示するフローチャートである。
【図３８】実施形態に係る画像処理装置の動作の概要を例示するフローチャートである。
【図３９】変形例に係る画像処理装置の動作の概要を例示するフローチャートである。
【図４０】変形例に係る画像処理装置の動作の概要を例示するフローチャートである。
【発明を実施するための形態】
【００３５】
本発明に係る画像処理装置は、例えば、２台以上のカメラによって測定対象物を測定し、得られた画像を処理して測定対象物上の注目点を通る各カメラの視線方程式を求めることによって測定対象物の形状を測定する３次元形状測定装置や、１台のカメラによって測定対象物を時系列に測定し、得られた画像を処理して、測定対象物の移動量を求めたり、予め登録された測定対象物の画像と測定した画像とを比較する装置などに適用される。
【００３６】
以下、本発明に係る画像処理装置が、２台のカメラ（ステレオカメラとも称する）を用いて測定対象物を測定し、得られたステレオ画像を処理して測定対象物の３次元形状を測定する３次元測定装置に適用される実施形態について図面を参照して説明する。なお、説明のために図面には適宜座標軸を記載している。
【００３７】
＜３次元形状測定装置＞
図１は、実施形態に係る画像処理装置３Ａを用いた３次元形状測定装置１Ａの概略構成を示す図である。
【００３８】
図１に示されるように、３次元形状測定装置１Ａは、２眼のステレオカメラ２と、ステレオカメラ２に対してデータ伝送可能に接続する画像処理装置３Ａとを備えている。
【００３９】
２眼のステレオカメラ２には、それぞれ撮像素子を有する２つの撮像系２１、２２が設けられている。撮像系２１、２２は、ほぼ同等の光学的特性と電気的特性を有しており、所定方向に沿って離隔配置され、カメラ正面の測定対象物ＯＢを、同期されつつ同じタイミングで異なる視点から撮像するように構成されている。撮像系２１、２２によって同じタイミングで撮像される２画像は、いわゆるステレオ画像であり、データ線ＤＬを介して画像処理装置３Ａに送信される。
【００４０】
ここで、ステレオ画像を構成する２画像のうち、撮像系２１によって撮像されて取得される画像を、適宜「基準画像」と称し、撮像系２２によって撮影されて取得される画像を、適宜「参照画像」と称する。
【００４１】
また、撮像系２１、２２の焦点距離、主点位置、歪曲収差および基線長などのカメラパラメータは、予め校正されており、該カメラパラメータによって撮像系２１、２２の撮像素子に結像した測定対象物ＯＢの像上の点と、撮像系の主点とを通るカメラ視線方程式が決定される。
【００４２】
図２は、基準画像の注目点と、参照画像の対応点との対応を示す図である。
【００４３】
画像処理装置３Ａは、先ず、測定対象物ＯＢに関する基準画像ＢＩＴと参照画像ＲＩＴとを階層的に繰り返し低解像度化することにより、基準画像ＢＩＴと参照画像ＲＩＴとのそれぞれについて、解像度の異なる複数の画像から構成される多重解像度画像を作成し、該多重解像度画像を用いて基準画像ＢＩＴ上の注目点ＮＴに対応する参照画像ＲＩＴ上の対応点ＣＴのずれ量（視差）を特定することによって対応点ＣＴを探索する処理を行う。
【００４４】
次に、画像処理装置３Ａは、探索された注目点ＮＴと対応点ＣＴの座標情報と、撮像系２１、２２のカメラパラメータとを用いて、注目点ＮＴと対応点ＣＴに関するカメラ視線方程式を作成し、この方程式を連立させて解くことによって注目点ＣＴに対応する測定対象物ＯＢの点の３次元座標を求める３次元化処理を行う。
【００４５】
画像処理装置３Ａは、複数の注目点についての対応点の探索と３次元化処理を行うことによって測定対象物ＯＢの３次元形状を算出する。
【００４６】
ここで、３次元形状測定装置１Ａにはステレオカメラが設けられているが、例えば、３個以上のカメラが設けられる場合には、３次元形状測定装置に入力される入力画像のうちの１の入力画像が基準画像、他の入力画像が参照画像として取得され、ステレオカメラ使用時と同様の処理が行われて測定対象物ＯＢの３次元形状が求められる。
【００４７】
＜画像処理装置３Ａの機能説明＞
図３は、実施形態に係る画像処理装置３Ａの要部の構成例を示す機能ブロック図である。
【００４８】
図３に示されるように、画像処理装置３Ａは、操作部４、表示部５、通信部６、入出力部７、記憶部９、画像取得部１０、多重解像度画像作成部１１、注目点設定部１２、初期視差設定部１４、視差特定部１５、および制御部１６を主に備えて構成されており、これらの機能ブロックによって基準画像ＢＩＴと参照画像ＲＩＴに関する多重解像度画像作成、対応点探索および３次元化処理などを行う。
【００４９】
以下、画像処理装置３Ａの操作部４から制御部１６について説明する。
【００５０】
◎操作部４〜記憶部９：
操作部４は、例えば、キーボード、マウスおよび操作ボタンなどを備えて構成されており、制御部１６への操作信号の入力や、画像処理装置３Ａの各部に関する解像度変倍率ＲＲなどの制御パラメータの設定などの用途に使用され、設定された制御パラメータは、制御部１６によって、記憶部９に記憶される。
【００５１】
表示部５は、例えば液晶ディスプレイで構成されて動画などを表示可能であり、撮像されたステレオ画像や生成された３次元画像などの画像情報や、各種メッセージなどが表示部５に表示される。また、制御パラメータ設定用の情報も表示部５に表示される。
【００５２】
通信部６は、ＬＡＮやインターネットに接続するためのインタフェースであり、例えばネットワークアダプタなどで構成される。
【００５３】
入出力部７は、例えばマルチメディアドライブを備えて構成され、光ディスクなどの記憶媒体８を受け付け、制御部１６との間でデータの授受を行うものである。画像処理装置３Ａが処理するステレオ画像は、ステレオカメラ２から直接入力されるだけでなく、通信部６や、入出力部７によって、記憶媒体８や、ネットワーク経由でも入力され得る。
【００５４】
記憶部９は、例えばハードディスク、ＲＯＭおよびＲＡＭなどを備えて構成されており、画像処理装置３Ａの各部が出力する情報、画像処理装置３Ａの各部を制御するために設定された制御パラメータ、校正されたカメラパラメータおよび制御プログラムなどの恒久的な記憶と、各種情報の一時的な記憶とに使用される。
【００５５】
ここで、制御パラメータは、例えば、多重解像度画像の階層数Ｔ、解像度変倍率ＲＲ、基準ウィンドウと参照ウィンドウの水平と垂直方向のサイズであるウィンドウサイズＷＸとＷＹ、基準画像に設定される注目点が所定の視差特定領域に属するか否かを判定するための領域情報Ｖ１および視差特定処理の信頼度を判定するための閾値などである。
【００５６】
なお、領域情報Ｖ１としては、領域情報Ｖ１によって特定される基準画像中の視差特定領域を特定する情報と、特定された視差特定領域について適用されるべき視差特定処理の選択情報とが含まれている。
【００５７】
これらの制御パラメータは、操作部４などによって予め設定されて記憶部９に記憶されている。
【００５８】
なお、以下に説明する画像取得部１０、多重解像度画像作成部１１、注目点設定部１２、領域判定部１３、初期視差設定部１４、視差特定部１５および制御部１６は、ＣＰＵで所定のプログラムを実行することで実現しても良いし、専用のハードウェア回路を用いて実現しても良い。
【００５９】
◎画像取得部１０：
画像取得部１０は、基準カメラ２１の撮影する画像と参照カメラ２２が撮影する画像とを取得し、それぞれ基準画像ＢＩＴおよび参照画像ＲＩＴとして、記憶部９に記憶する。ここで、基準画像ＢＩＴおよび参照画像ＲＩＴは、例えば、複数の画素がマトリックス状に配列され、各画素の画素値が所定の階調数で表現されたデジタル画像データである。
【００６０】
なお、基準画像ＢＩＴ及び参照画像ＲＩＴのサイズとしては、例えば、ＶＧＡ（６４０画素×４８０画素）などが採用される。
【００６１】
◎多重解像度画像作成部１１：
多重解像度画像作成部１１は、基準画像ＢＩＴおよび参照画像ＲＩＴに多段階の低解像度化処理を施すことによって基準画像ＢＩＴの多重解像度画像である多重解像度基準画像ＭＢと、参照画像ＲＩＴの多重解像度画像である多重解像度参照画像ＭＲとを作成し、記憶部９に記憶する。
【００６２】
図４〜図６は、多重解像度基準画像ＭＢを例示する図であり、図７〜図９は、多重解像度参照画像ＭＲを例示する図である。多重解像度基準画像ＭＢと多重解像度参照画像ＭＲに関して、図４および図７は、それぞれの最上位の基準画像ＢＩＴ、参照画像ＲＩＴを、図５および図８は、それぞれ多重解像度基準画像ＭＢ、多重解像度参照画像ＭＲの全体を、図６および図９は、それぞれ最下位の基準画像ＢＩ１、参照画像ＲＩ１を示している。
【００６３】
図４〜図９に示されるように、多重解像度基準画像ＭＢと多重解像度参照画像ＭＲは、それぞれ、解像度が異なる複数の基準画像の集合体と解像度が異なる複数の参照画像の集合体であって、上位階層から下位階層に向かうにつれて解像度が低くなるように階層的に形成されている。
【００６４】
多重解像度基準画像ＭＢと多重解像度参照画像ＭＲにおいて、最上位の基準画像ＢＩＴと参照画像ＲＩＴ画像は低解像度化されておらず、最下位の基準画像ＢＩ１と参照画像ＲＩ１画像は、最も解像度が低い画像である。また、多重解像度基準画像ＭＢと多重解像度参照画像ＭＲの階層数Ｔは等しく、同一階層の基準画像と参照画像の解像度は同じである。
【００６５】
なお、基準カメラ２１が撮影した基準画像であり、多重解像度基準画像ＭＢの最上位の画像でもある低解像度化されていない基準画像ＢＩＴを「原基準画像」ＢＩＴとも称し、参照カメラ２２が撮影した参照画像であり、多重解像度参照画像ＭＲの最上位の画像でもある低解像度化されていない参照画像ＲＩＴを「原参照画像」ＲＩＴとも称する。
【００６６】
また、多重解像度画像の注目する階層(「注目階層」とも称する)の画像に対して、より解像度の高い画像を「上位」（または、「上位階層」）の画像と称し、より解像度の低い画像を「下位」（または、「下位階層」）の画像と称する。さらに、注目階層の画像を低解像度化して１つ下位階層の画像を作成する際の低解像度化の比率を「解像度変倍率」とも称する。
【００６７】
ここで、基準画像ＢＩｍ（図５）および参照画像ＲＩｍ（図８）は、最下層の１つ上位階層に注目階層が設定された場合の基準画像および参照画像である。なお、注目階層の基準画像および参照画像をそれぞれ「注目基準画像」および「注目参照画像」とも称する。
【００６８】
解像度変倍率ＲＲは、多重解像度画像の隣合う２つの階層の画像のうち、上位階層の画像の水平方向の画素数に対する下位階層の画像の水平方向の画素数の比率として与えられ、また、該上位階層の画像の垂直方向の画素数に対する該下位階層の画像の垂直方向の画素数の比率としても与えられる。通常、これら２種類の比率は同じ値に設定される。
【００６９】
多重解像度画像は、例えば、記憶部９に予め設定保存された解像度変倍率ＲＲおよび階層数Ｔに従って、多重解像度画像の階層数が階層数Ｔになるまで解像度変倍率ＲＲによる低解像度化を繰り返すことや、最下層の画像の画素数が所定値以下になるまで解像度変倍率ＲＲによる低解像度化を繰り返すことなどによって作成される。
【００７０】
また、多重解像度画像作成部１１は、多重解像度基準画像ＭＢと多重解像度参照画像ＭＲを階層ごとに生成したときに、各階層の基準画像の注目点について、初期視差設定部１４によって求められる初期視差と、視差特定部１５によって特定される視差とを格納するための記憶領域として、各階層の基準画像の画素数と同じ個数であって、特定される初期視差と視差とを格納できる容量の視差記憶画像を記憶部９に確保する。
【００７１】
○低解像度化処理について：
低解像度化処理においては、多重解像度画像作成部１１は、例えば、先ず、多重解像度画像の階層数Ｔ、解像度変倍率ＲＲおよび最下層の基準画像ＢＩ１、参照画像ＲＩ１の画素数などの多重解像度画像作成に関係する制御パラメータと、基準画像ＢＩＴ、参照画像ＲＩＴを記憶部９から取得する。
【００７２】
次に、多重解像度画像作成部１１は、基準画像ＢＩＴ、参照画像ＲＩＴの水平方向、垂直方向の画素数に解像度変倍率ＲＲを乗じて、１つ下位階層の基準画像ＢＩ（Ｔ−１）、参照画像ＲＩ（Ｔ−１）の水平方向、垂直方向の画素数を求め、基準画像ＢＩ（Ｔ−１）、参照画像ＲＩ（Ｔ−１）の記憶領域を記憶部９に確保する。
【００７３】
記憶領域の確保が終了すると、多重解像度画像作成部１１は、基準画像ＢＩ（Ｔ−１）の１つの画素の画素値を、この画素に対応する基準画像ＢＩＴの各画素の画素値を平均することなどによって求め、この画素に対応する記憶領域に記憶する画素値の設定処理を行い、この画素値の設定処理を基準画像ＢＩ（Ｔ−１）、参照画像ＲＩ（Ｔ−１）の全ての画素について行うことによって、基準画像ＢＩ（Ｔ−１）、参照画像ＲＩ（Ｔ−１）の画像を作成する。
【００７４】
このように、多重解像度画像の階層間にわたる画素の対応関係は、多重解像度画像作成に関係する制御パラメータなどによって定められる。
【００７５】
なお、階層間にわたる画素の対応関係は、例えば、記憶部９に記憶され、必要に応じて画像処理装置３Ａの各構成要素によって使用される。
【００７６】
以下、上述した低解像度化処理を、画像数が階層数Ｔになるまで繰り返すことや、最下層の基準画像ＢＩ１、参照画像ＲＩ１の画素数が所定値以下になるまで繰り返すことによって、上位階層から下位階層に向かうにつれて解像度が低くなるように、画像取得部１０によって取得された基準画像ＢＩＴと参照画像ＲＩＴとが階層的に低解像度化されて、解像度の異なる複数の階層的な基準画像と参照画像、すなわち多重解像度基準画像ＭＢと多重解像度参照画像ＭＲが作成され、多重解像度基準画像ＭＢと多重解像度参照画像ＭＲは、記憶部９に記憶される。
【００７７】
なお、低解像度化処理の手法としては、上述した低解像度化処理の他、例えば、Qubic-Convolution法など種々の手法を採用し得る。
【００７８】
○解像度変倍率ＲＲについて：
図１０は、解像度変倍率ＲＲが視差特定処理に与える影響例を説明する図である。
【００７９】
図１０に示される参照画像ＲＩｍは、注目階層の参照画像であり、参照画像ＲＩ（ｍ＋１）は、注目階層の１つ上位階層の参照画像である。ここで、図１０に示される格子で区切られた各領域は、参照画像ＲＩｍと参照画像ＲＩ（ｍ＋１）の個々の画素（「ピクセル」とも称する）を示している。
【００８０】
また、参照画像ＲＩ（ｍ＋１）から参照画像ＲＩｍを作成する際の解像度変倍率ＲＲは１／４である。
【００８１】
参照画像ＲＩｍ上の対応点ＣＰｍＴは注目階層の基準画像上に設定された注目点に対して正しく特定された対応点（「正しい対応点」）を示し、対応点ＣＰｍＦは誤って特定された対応点（「誤った対応点」）を示す。
【００８２】
参照画像ＲＩ（ｍ＋１）上の探索基準点Ｋ（ｍ＋１）Ｔは、参照画像ＲＩｍ上の正しい対応点ＣＰｍＴに基づいて特定される正しい探索基準点を示し、探索基準点Ｋ（ｍ＋１）Ｆは、は参照画像ＲＩｍ上の誤った対応点ＣＰｍＦに基づいて特定される誤った探索基準点を示す。
【００８３】
なお、各注目階層の基準画像上に設定された注目点と、この注目点についての初期視差とに基づいて、参照ウィンドウを設定するための基準点が各注目階層の参照画像上に特定される。本願発明では、この基準点を「探索基準点」とも称する。
【００８４】
図１０に示されるように、正しい対応点ＣＰｍＴと誤った対応点ＣＰｍＦとのずれは、画素の対角線方向にわずか１画素であるが、探索基準点Ｋ（ｍ＋１）ＴとＫ（ｍ＋１）Ｆとの画素の対角線方向のずれは、解像度変倍率の逆数倍の４画素に拡大する。すなわち、下位階層における対応点探索の誤りは、上位階層で設定される参照ウィンドウの設定位置について、さらに拡大されることになる。
【００８５】
参照画像ＲＩ（ｍ＋１）上の対応点を求めるための視差は、参照画像ＲＩ（ｍ＋１）に設定された参照ウィンドウを用いて特定されるので、適切な位置からずれて設定された参照ウィンドウを用いて参照画像ＲＩ（ｍ＋１）上の対応点を探索しても、下位階層の参照画像ＲＩｍでの対応点探索の誤りを補正できずに、参照画像ＲＩ（ｍ＋１）においても誤った探索が行われる可能性が増大する。
【００８６】
つまり、解像度変倍率ＲＲが小さい場合には、下位階層の画像（低解像度の画像）における対応点探索の小さな誤りが、上位階層の画像（高解像度の画像）における対応点探索の大きな誤りに結びついて対応点探索の精度低下を招き易い。
【００８７】
解像度変倍率ＲＲの設定手法は、例えば、表示部５に表示される、２／３、１／２、１／３または１／４（解像度変倍率ＲＲを１より大きな実数（典型的には、有理数）ｒを用いて１／ｒで表現すると、ｒは、３／２、２、３または４）などの適切な範囲の候補中から操作部４を用いて選択する手法などが採用されるが、操作部４からの入力などによって候補値以外の１より小さい解像度変倍率を設定する手法を採用してもよい。設定された解像度変倍率ＲＲは、記憶部９に記憶される。
【００８８】
また、多重解像度画像作成部１１が専用のハードウェア回路である場合には、解像度変倍率ＲＲの設定は、例えば、複数の異なる解像度変倍率ＲＲにそれぞれ対応した複数の多重解像度画像作成部１１の中から、ディップスイッチの切り替えなどによって、所望の解像度変倍率ＲＲに対応した多重解像度画像作成部１１を選択する手法などによって設定してもよい。
【００８９】
多重解像度画像においては、より下位の階層の画像であればあるほど画像中の各画素の「情報量減少」が生ずるため、対応点探索の誤りが発生しやすい。また、探索ウィンドウの画素数が多重解像度画像の階層にかかわらず一定である場合には、より下位の階層の画像であればあるほど探索ウィンドウには、より広い視野域で撮像された測定対象物ＯＢおよび背景の画像が含まれるので、いわゆる「遠近競合」が発生して対応点探索の誤りが発生しやすい。
【００９０】
同様に、上位階層の画像を低解像度化して下位階層の画像を作成する際の解像度変倍率ＲＲが小さければ小さいほど、下位階層の画像において、より「情報量減少」が生ずるとともに、「遠近競合」が発生して対応点探索の誤りが発生しやすい。
【００９１】
従って、下位階層における対応点探索の誤りが上位階層における対応点探索の誤りを増幅させる前述の悪影響を抑制するために、図１１に示す参照画像の多重解像度画像の例のように、多重解像度画像の作成において複数の解像度変倍率ＲＲを用いて、上位階層側の画像には小さな解像度変倍率を適用し、下位階層側の画像には大きな解像度変倍率を適用してもよい。図１１の例では、上位階層側の解像度変倍率を１／４に設定し、下位階層側の解像度変倍率を１／２に設定することによって、前述の悪影響の抑制を行っている。
【００９２】
◎注目点設定部１２：
注目点設定部１２は、注目基準画像上に注目点を設定する。例えば、基準画像上の全画素がそれぞれ各注目点として設定される。設定された各注目点に対しては、それぞれ対応する注目参照画像上の各対応点が視差特定部１５によって求められる。
【００９３】
また、注目点は、例えば、表示部５に表示された基準画像上の特徴点を操作部４のマウスを用いて手動で設定する手法や、注目点設定部１２が基準画像にエッジ検出処理を施して抽出したエッジ位置に自動的に設定する手法などによって選択的に設定してもよい。
【００９４】
注目点の設定情報は、例えば、注目点の座標情報として記憶部９に記憶され、画像処理装置３Ａの構成要素によって適宜使用される。
【００９５】
◎領域判定部１３：
領域判定部１３は、注目点設定部１２によって設定された各注目点が、記憶部９に記憶された領域情報Ｖ１に基づいて定められる注目基準画像上の所定の領域に属するかどうかを判定し、得られた判定情報を初期視差設定部１４および視差特定部１５に直接または制御部１６を介するなどして間接的に供給する。
【００９６】
本実施形態においては、領域情報Ｖ１は、２つの視差特定領域を特定する情報である。
【００９７】
具体的には、領域情報Ｖ１は、領域の注目点に基づいて設定される基準ウィンドウが基準画像からはみ出ない注目点から構成される視差特定領域（「第１領域」と称する）と、注目点に基づいて設定される基準ウィンドウが基準画像からはみ出る視差特定領域（「第２領域」と称する）とを、それぞれ特定するための情報である。
【００９８】
図１２および図１３は、実施形態にかかる領域情報Ｖ１に基づいて注目基準画像ＢＩｍに特定される第１領域と第２領域とを説明する図である。
【００９９】
図１２においては、注目点として３つの黒丸が例示されており、所定サイズの基準ウィンドウＷ１〜Ｗ３が、各注目点に基づいて設定されている。
【０１００】
基準ウィンドウＷ１およびＷ２は、ともに注目基準画像ＢＩｍからはみ出ていないが、基準ウィンドウＷ３は、注目基準画像ＢＩｍからはみ出ている。
【０１０１】
図１３に示される第１領域Ｄｍは、注目点に対して設定される基準ウィンドウが注目基準画像ＢＩｍからはみ出ないときの各注目点によって定められる領域である。
【０１０２】
第２領域Ｅｍは、注目点に対して設定される基準ウィンドウが注目基準画像ＢＩｍからはみ出るときの各注目点によって定められる領域である。
【０１０３】
また、境界線Ｇｍは、第１領域Ｄｍと第２領域Ｅｍとの境界線を示している。
【０１０４】
本実施形態の領域情報Ｖ１は、各階層毎に第１領域と第２領域とを特定する情報である。
【０１０５】
図１４および図１５は、上位階層である注目基準画像ＢＩｍ、およびその１つ下位階層の基準画像ＢＩ（ｍ−１）のそれぞれの画像における第１領域と第２領域とを例示する図である。
【０１０６】
図１４に示される注目基準画像ＢＩｍは、２０画素×２０画素の基準画像を例示しており、図１５に示される基準画像ＢＩ（ｍ−１）は、注目基準画像ＢＩｍから解像度変倍率ＲＲを１／２として低解像度化された１０画素×１０画素の基準画像を例示している。
【０１０７】
ここでは、注目基準画像ＢＩｍと、基準画像ＢＩ（ｍ−１）とが同じ画像サイズで表示されるように、基準画像ＢＩ（ｍ−１）の縮尺を調整して表示している。
【０１０８】
図１４に示される基準ウィンドウＷＢｍは、注目点Ｐａに対して設定された５画素×５画素の基準ウィンドウの例であり、図１５に示される基準ウィンドウＷＢｍは、注目点Ｐｂに対して設定された５画素×５画素の基準ウィンドウの例である。
【０１０９】
また、図１４には、注目基準画像ＢＩｍにおける第１領域と第２領域との境界線Ｇｍが示されており、図１５には、基準画像ＢＩ（ｍ−１）における第１領域と第２領域との境界線Ｇｍが示されるとともに、注目基準画像ＢＩｍにおける境界線Ｇｍが、想像線で示されている。
【０１１０】
ここで、図１５においては境界線Ｇｍの内部に境界線Ｇ（ｍ−１）が存在しており、注目基準画像ＢＩｍと基準画像ＢＩ（ｍ＋１）とでは、基準画像に対する第１領域の面積比は、基準画像ＢＩｍの方が大きくなっている。
【０１１１】
このように、各階層の画像を同じ縮尺で表示すると下位階層ほど見かけ上の画素サイズが大きくなるのに対して、ウィンドウサイズが階層間で同じである場合は、基準ウィンドウが基準画像からはみ出る第２領域の各座標方向の画素数は、例えば、図１４および図１５ではＸ軸、Ｙ軸方向ともに２画素であるように一定数であるため、基準画像に対する第１領域の面積比は、上位階層ほど大きく（下位階層ほど小さく）なる。
【０１１２】
◎初期視差設定部１４：
初期視差設定部１４は、視差特定部１５が行う、注目基準画像の注目点と、注目点に対応する、注目参照画像の対応点との視差を特定する視差特定処理の基準となる初期視差を、注目点に対して設定する初期視差設定処理を行う。また、設定された初期視差は、視差記憶画像のうち、注目点に対応する領域に記憶される。
【０１１３】
なお、注目点について視差特定部１５によって視差が特定されたときは、視差記憶画像に記憶された初期視差は、例えば、特定された視差に書き換えられる。
【０１１４】
図１６および図１７は、注目基準画像ＢＩｍと、その１つ下位階層の基準画像ＢＩ（ｍ−１）における一部の画素を例として、初期視差設定部１４が行う初期視差設定処理を、説明する図である。
【０１１５】
図１６では、注目基準画像ＢＩｍの一部の画素と、解像度変倍率ＲＲを１／２として注目基準画像ＢＩｍが低解像度化された１つ下位階層の基準画像ＢＩ（ｍ−１）の一部の画素との対応関係を示している。
【０１１６】
図１６では解像度変倍率ＲＲが１／２であるので、基準画像ＢＩ（ｍ−１）の斜線部分の２画素の注目点が、注目基準画像ＢＩｍの斜線部分の８画素の注目点に対応している。
【０１１７】
図１７は、基準画像ＢＩ（ｍ−１）の斜線部分の２画素の注目点ｐ１、ｐ２と、注目点ｐ１およびｐ２にそれぞれ対応する注目基準画像ＢＩｍの斜線部分の８画素の注目点ｐ３〜ｐ６およびｐ７〜Ｐ１０に対応する視差記憶画像を示している。
【０１１８】
注目点ｐ１およびｐ２について視差特定部１５によって特定された視差は、Ｑ１およびＱ２である。
【０１１９】
注目点ｐ１に対応する注目点ｐ３〜ｐ６に設定された初期視差は、それぞれｑ１〜ｑ４であり、初期視差ｑ１〜ｑ４は、視差Ｑ１に解像度変倍率ＲＲの逆数を乗算することによって求められる。
【０１２０】
同様に、注目点ｐ２に対応する注目点ｐ７〜ｐ１０に設定された初期視差は、それぞれｑ５〜ｑ８であり、初期視差ｑ５〜ｑ８は、視差Ｑ２に解像度変倍率ＲＲの逆数を乗算することによって求められる。
【０１２１】
このように、注目基準画像の注目点についての初期視差設定処理は、注目基準画像ＢＩｍの注目点に対応する、１つ下位階層の基準画像ＢＩ（ｍ−１）の注目点について特定された視差に基づいて設定される。
【０１２２】
また、初期視差設定部１４は、領域判定の結果を用いることによって、例えば、注目基準画像の注目点が、初期視差を用いない視差特定規則が適用される領域に属すると判定できる場合には、この注目点について初期視差の設定を行わないようにしても良い。
【０１２３】
なお、採用された視差特定領域の設定方法に起因して注目基準画像の注目点に対応する１つ下位階層の基準画像の注目点についての視差が特定されていない場合や、多重解像度画像の作成方法に起因して注目基準画像の注目点に対応する１つ下位階層の基準画像の注目点が存在しない場合には、注目基準画像のこれらの注目点についての初期視差は、注目基準画像の初期視差が設定された他の注目点についての初期視差に基づいて、外挿演算などによって設定される。
【０１２４】
外挿演算による初期視差の設定については、変形例の説明において後述する。
【０１２５】
◎視差特定部１５：
視差特定部１５は、多重解像度基準画像ＭＢ中の注目階層の基準画像上に設定された注目点と、この注目点に対応する多重解像度参照画像ＭＲ中の注目階層の参照画像上の対応点との視差を特定する視差特定処理を行うことによって、当該対応点を探索する。
【０１２６】
また、特定された視差は、視差記憶画像の注目点に対応する記憶領域に記憶される。
【０１２７】
本実施形態においては、視差特定部１５は、基準画像ＢＩｍの注目点が図１２に示される第１領域Ｄｍに属する場合、すなわち、注目点を内包する基準ウィンドウが注目基準画像内に収まるときには、基準ウィンドウ内の画像情報と、注目点についての初期視差に基づいて注目参照画像に設定される参照ウィンドウの画像情報とを用いる第１の視差特定処理によって、注目点についての視差を特定する。
【０１２８】
また、注目点が図１２に示される第２領域Ｅｍに属する場合、すなわち、注目点を内包する基準ウィンドウが前記注目基準画像からはみ出すときには、視差特定部１５は、注目基準画像の外部領域からの視差特定処理への寄与度を、注目点が第１領域に属するときよりも低めた第２の視差特定処理によって注目点についての視差を特定する。
【０１２９】
注目点を内包するウィンドウが基準画像からはみ出る第２領域Ｅｍの注目点に適用される第２の視差特定処理のほうが、基準ウィンドウが基準画像ＢＩｍからはみ出ない第１領域の注目点に適用される第１の視差特定処理よりも、画像外情報の視差特定処理に対する寄与度が小さくなるので、ウィンドウが基準画像からはみ出るときの視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０１３０】
第１の視差特定処理と第２の視差特定処理とは、例えば、第１の視差特定処理用と第２の視差特定処理用の処理プログラムを注目点の所属領域に応じて選択的に切り替えることによって行われる。
【０１３１】
また、視差特定部１５内に、第１の視差特定処理用と第２の視差特定処理用の処理装置をそれぞれ備えおり、これらの処理装置を注目点の所属領域に応じて選択的に切り替えることによって行ってもよい。
【０１３２】
上述した処理プログラムや処理装置の切り替えについては、例えば、領域判定部１３の判定結果を取得した制御部１６が、領域情報Ｖ１に含まれる視差特定処理の選択情報に基づいて視差特定部１５などを制御することなどによって行われる。
【０１３３】
また、視差特定部１５自体が、領域情報Ｖ１に含まれる視差特定処理の選択情報を取得して、領域判定部１３から供給される判定結果に基づいて、視差特定処理方法の切り替えを行っても良い。
【０１３４】
なお、視差特定処理において用いられる基準ウィンドウと参照ウィンドウのサイズは、記憶部９から取得される制御パラメータであるウィンドウサイズＷＸ、ＷＹによって決定される。
【０１３５】
◎制御部１６：
制御部１６は、画像処理装置３Ａの各部を統括的に制御することによって、視差特定処理や３次元データ作成などの情報処理を実現する。
【０１３６】
視差特定処理においては、制御部１６は、視差特定処理の対象となる多重解像度基準画像ＭＢおよび多重解像度参照画像ＭＲ中の注目階層を、下位の階層から上位の階層に向けて注目点設定部１２、初期視差設定部１４および視差特定部１５などの画像処理装置３Ａの各部に対して逐次設定しつつ、視差特定処理が下位の階層から上位の階層に向けて階層的に繰り返し実行されるように画像処理装置３Ａの各部を制御する。
【０１３７】
また、制御部１６は、記憶部９に記憶された領域情報Ｖ１を取得して領域判定部１３に供給するとともに、領域情報Ｖ１に含まれる視差特定処理識別情報を取得し、領域判定部１３によって求められる、注目点が属する視差特定領域ついての判定情報に基づいて、各視差特定領域について適用されるべき視差特定処理に関する情報を取得する。
【０１３８】
制御部１６は、取得した視差特定領域と、該視差特定領域に適用される視差特定処理との関係に基づいて、視差特定部１５が、注目点の属する視差特定領域に応じた視差特定処理を行うように視差特定部１５などを制御する。
【０１３９】
視差特定処理において、上述したように第１の視差特定処理用と第２の視差特定処理用の処理とを注目点の所属領域に応じて選択的に切り替える制御も行う。
【０１４０】
以上に説明された構成によって、画像処理装置３Ａは、多重解像度戦略に基づく視差特定処理を行って対応点を探索する。
【０１４１】
＜画像処理装置３Ａの動作説明＞
次に、画像処理装置３Ａの視差特定処理などついてさらに詳しく説明し、その後、画像処理装置３Ａが行う多重解像度画像を用いた対応点の探索処理の全体処理フローを説明する。
【０１４２】
◎第１の視差特定処理：
図１８は、注目点に設定される基準ウィンドウが基準画像からはみ出ない第１領域において、視差特定部１５が行う第１の視差特定処理の概要を説明する図である。図１８では、注目点設定部１２によって、多重解像度基準画像ＭＢ中の注目階層の基準画像ＢＩｍ上に注目点Ｎｍが設定されている。
【０１４３】
また、図１８では、注目点Ｎｍと、初期視差設定部１４によって注目点Ｎｍに設定された初期視差とによって多重解像度参照画像ＭＲ中の該注目階層の参照画像ＲＩｍ上に探索基準点Ｋｍが特定されている。
【０１４４】
視差特定部１５は、記憶部９に格納されたウィンドウサイズＷＸ、ＷＹに基づいて、注目点Ｎｍに対して基準ウィンドウＷＢｍを、探索基準点Ｋｍに対して参照ウィンドウＷＲｍをそれぞれ設定し、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関を求めることによって、注目点Ｎｍに対応する対応点ＣＰｍを求める。
【０１４５】
○基準ウィンドウと参照ウィンドウ：
図１９および図２０は、参照画像ＷＢｍに設定された基準ウィンドウＷＢｍの設定例を示す図である。
【０１４６】
図１９に例示される基準ウィンドウＷＢｍは、水平方向画素数と垂直方向画素数がともに奇数であり、注目点Ｎｍの座標は、基準ウィンドウＷＢｍの重心Ｗｇと一致する。
【０１４７】
図２０に例示される基準ウィンドウＷＢｍは、水平方向画素数と垂直方向画素数とがともに偶数であり、注目点Ｎｍの座標は、基準ウィンドウＷＢｍの重心Ｗｇに対して−Ｘ方向、−Ｙ方向に１画素ずれている。
【０１４８】
図１９および図２０に示される例の他に、基準ウィンドウＷＢｍの水平方向画素数と垂直方向画素数とは、それぞれ奇数と偶数（順不同）との組でもよい。
【０１４９】
なお、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍとのそれぞれの水平方向（Ｘ方向）画素数は同じであり、それぞれの垂直方向（Ｙ方向）画素数もまた同じである。
【０１５０】
ここで、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍの画像間の相関を求める手法としては、例えばＳＡＤ法（差分絶対値和法）などのように周波数分解を行わない手法と、ＰＯＣ法（位相限定相関法）などのように周波数分解を行う手法とがあり、周波数分解を行う手法を用いる場合には、高速フーリエ変換（ＦＦＴ）を用いて必要な演算回数を抑制し、処理の高速化を図る観点から、水平方向画素数と垂直方向画素数とを２のべき乗で表される画素数とすることが望ましい。
【０１５１】
次に、ＳＡＤ法とＰＯＣ法を例として、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍの画像間の相関を求める手法について説明する。
【０１５２】
○ＳＡＤ法：
図２１は、ＳＡＤ法を用いた視差特定処理の手順を示す図である。
【０１５３】
図２１に示される注目階層の基準画像ＢＩｍ上にはＸ座標がｈ２である注目点Ｎｍが設定されており、注目点Ｎｍに対して基準ウィンドウＷＢｍが設定されている。基準ウィンドウＷＢｍのＸ方向の両端のＸ座標は、ｈ１とｈ３である。また、該注目階層の参照画像ＲＩｍ上には、注目点Ｎｍに対応する対応点ＣＰｍが示されている。
【０１５４】
ここでは、ＳＡＤ法を用いて対応点ＣＰｍを求める例について説明する。
【０１５５】
参照画像ＲＩｍ上には、Ｘ座標がｘｓである探索基準点ＫｍｓからＸ座標がｘｅである探索基準点Ｋｍｅまで、Ｘ座標がｘｓ≦ｘ≦ｘｅの範囲で１画素ごとに複数の探索基準点が設定されており、これら複数の探索基準点の代表として両端の探索基準点Ｋｍｓ、Ｋｍｅのみが記載されている。
【０１５６】
また、該複数の探索基準点には、それぞれ基準ウィンドウＷＢｍと、同サイズの複数の参照ウィンドウとが設定されており、該複数の参照ウィンドウの代表として両端の参照ウィンドウＷＲｍｓ、ＷＲｍｅのみが記載されている。
【０１５７】
ここで、図２１においては説明を簡単にするため、注目点Ｎｍと複数の探索基準点Ｋｍｓ〜ＫｍｅのＹ座標は同じであり、従って、基準ウィンドウＷＢｍと、参照ウィンドウＷＲｍｓ〜ＷＲｍｅのＹ方向の座標のずれ量は無いように設定されている。また、注目点Ｎｍと、求められるべき対応点ＣＰｍのＹ座標も一致するように設定されている。
【０１５８】
次に、参照ウィンドウＷＲｍｓ〜ＷＲｍｅの各参照ウィンドウ内の各画像と、基準ウィンドウＷＢｍ内の画像との相関値を演算する。基準ウィンドウと参照ウィンドウのＸ方向、Ｙ方向の座標のずれ量（「視差」とも称する）をそれぞれ視差ｘｄ、ｙｄとする。図２１の例では、視差ｘｄの範囲はｘｓ−ｈ２〜ｘｅ−ｈ２であり、視差ｙｄは０である。
【０１５９】
基準ウィンドウＷＢｍ内の各画素（xｉ，yｊ）の画素値をＩｍｇ１（xｉ，yｊ）、Ｘ方向、Ｙ方向の視差が、視差ｘｄ、ｙｄである参照ウィンドウＷＲｍ内の各画素（ｘｉ＋ｘｄ，yｊ＋ｙｄ）の画素値をＩｍｇ２（ｘｉ＋ｘｄ，yｊ＋ｙｄ）とすると、（１）式、（２）式を用いた演算によって基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像の相関値ＣＯＲｐが算出される。
【０１６０】
【数１】
【０１６１】
参照ウィンドウがＷＲｍｓからＷＲｍｅにわたって走査されるように、Ｘ方向の視差ｘｄをｘｓ−ｈ２〜ｘｅ−ｈ２の範囲で変更しつつ、（１）式および（２）式によって各視差ｘｄに対する相関値ＣＯＲｐが算出されると、図２１に示すグラフＵ１のように参照画像ＲＩｍのＸ座標と相関値ＣＯＲｐとの関係が明らかになる。
【０１６２】
図２１の例では、座標ｘＭにおいて、グラフＵ１における相関値ＣＯＲｐの最大値が与えられているので、探索基準点のＸ座標がｘＭと一致する参照ウィンドウが、相関値ＣＯＲｐの最大値を与える参照ウィンドウであり、該参照ウィンドウの探索基準点と、注目点Ｎｍに対応する対応点ＣＰｍとは一致する。
【０１６３】
図２２はＳＡＤ法における参照ウィンドウＷＲｍの走査態様を例示する図であり、注目階層の参照画像ＲＩｍの全域に参照ウィンドウＷＲｍを走査させている。ＳＡＤ法はＰＯＣ法に比べて演算量が少なく高速な処理が可能であるので、画素数が多い参照画像ＲＩｍにＳＡＤ法による視差特定処理を適用し、図２２に示される全域走査を行っても処理時間が短くなる。
【０１６４】
従ってＳＡＤ法を用いる場合には、周波数分解を行う手法を用いる場合に比べて多重解像度画像の階層数を減らすことができる。また、対応点に近い探索基準点を求めることなく、画像の全域にわたって参照ウィンドウの走査を行って視差特定をしても、周波数分解を行う手法を用いる場合に比べて短時間で視差特定処理を行うことができるので、探索基準点を求める処理コストを削減することが可能となる。
【０１６５】
○ＰＯＣ法：
図２３は、ＰＯＣ法を用いた視差特定処理手順を示す図である。
【０１６６】
ＰＯＣ法は、周波数分解を使用した相関法であって、かつ、振幅成分を抑制した相関法である。同様の相関法として、ＤＣＴ符号限定相関法（参考論文：「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」貴塚仁志）などが知られている。これらの相関法は、パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行うため、画像を取得するためのステレオカメラ２における撮影条件の差（ここでは、撮像系２１、２２における撮影条件の差）や、ノイズなどの影響を受けにくく、ロバストな対応点検索が可能である。
【０１６７】
また、ＳＡＤ法が、１組の基準ウィンドウと参照ウィンドウに対して１つの相関値（ＣＯＲｐ値）のみを出力するため、相関値が最も高い参照ウィンドウ、すなわち、相関値が最も高い視差を特定するためには複数の参照ウィンドウにわたって、参照ウィンドウの走査を行う必要があるのに対して、ＰＯＣ法などの周波数分解を使用した相関法は、１組の基準ウィンドウと参照ウィンドウの画像に対して、画像間の相関値とともに、相関値が最も高くなる画像間の視差が求められるので、対応点が該参照ウィンドウ内に存在する場合には、参照ウィンドウの走査を行う必要がない。
【０１６８】
このため、多重解像度画像にＰＯＣ法を用いる対応点探索法によれば、画素数の最も少ない多重解像度画像の最下位の基準画像と参照画像の画像全域をそれぞれ当初の基準ウィンドウと参照ウィンドウに設定して正しい対応点を探索した後、該対応点に基づいて１つ上位階層に参照ウィンドウを設定して該参照ウィンドウを走査することなく該階層における正しい対応点を求める探索処理を全ての階層にわたって繰り返すことが可能となる。従って、ＰＯＣ法を用いる視差特定手法は、多重解像度画像を対象とする視差特定処理に好適な手法となる。
【０１６９】
以下に、ある注目階層における基準画像ＢＩｍに対する基準ウィンドウＷＢｍ内の画像と、該注目階層の参照画像ＲＩｍに対する参照ウィンドウＷＲｍ内の画像とを視差特定処理の対象として注目点についての視差を求める場合を例に、ＰＯＣ法の基本原理を説明する。
【０１７０】
先ず、注目階層における基準画像ＢＩｍに対して基準ウィンドウＷＢｍを設定する基準ウィンドウ設定処理Ｔ１ａ、および注目階層における参照画像ＲＩｍに対して参照ウィンドウＷＲｍを設定する参照ウィンドウ設定処理Ｔ１ｂが行われる。
【０１７１】
基準ウィンドウＷＢｍ内の画像領域と、参照ウィンドウＷＲｍ内の画像領域とは、次の（３）式、（４）式のように表されるものとする。
【０１７２】
【数２】
【０１７３】
ここで、（３）式のｆ0(ｎ1,ｎ2)および（４）式のｇ0(ｎ1,ｎ2)は、基準ウィンドウＷＢｍ内および参照ウィンドウＷＲｍ内の画素の画素値を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【０１７４】
次に、周波数分解を行う前に、ウィンドウ領域の端部での不連続性の影響を取り除くために窓関数を用いた窓関数処理Ｔ２ａおよびＴ２ｂを行う。
【０１７５】
窓関数は、例えば、（５）式のH(n1,n2)で与えられるハニング窓が採用され、窓関数処理Ｔ２ａおよびＴ２ｂは、基準ウィンドウＷＢｍ内および参照ウィンドウＷＲｍ内の各画素の画素値に（５）式の窓関数の出力値を乗ずる演算（６）式および（７）式でそれぞれ与えられる。
【０１７６】
【数３】
【０１７７】
窓関数としては、ハニング窓の他に、例えば、ハミング窓、カイザー窓などが採用される。
【０１７８】
次に、基準ウィンドウＷＢｍ、参照ウィンドウＷＲｍ内の各画像領域に対し、（８）式、（９）式で示す演算式を用いて、図２３に示される２次元のフーリエ変換処理Ｔ３ａ、Ｔ３ｂが行われる。
【０１７９】
【数４】
【０１８０】
なお、（８）式、（９）式の下部ただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。ここで、周波数分解の処理は必ずしもフーリエ変換である必要はなく、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換の何れかを含んでいても良い。
【０１８１】
このようなフーリエ変換処理Ｔ３ａ、Ｔ３ｂが施された各画像領域に対しては、（１０）式で示す演算式を用いて、画像の振幅成分を除去するための正規化処理Ｔ４ａ、Ｔ４ｂが行われる。
【０１８２】
【数５】
【０１８３】
規格化処理Ｔ４ａ、Ｔ４ｂが完了すると、（１１）式で示す演算式を用いた正規化クロス・パワースペクトル算出処理Ｔ５が行われる。
【０１８４】
【数６】
【０１８５】
正規化クロス・パワースペクトル算出処理Ｔ５が完了すると、（１２）式で示す演算式を用いた２次元の逆フーリエ変換処理Ｔ６が行われる。これにより、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍ内の各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【０１８６】
【数７】
【０１８７】
以上の処理により、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関を示す演算結果(ＰＯＣ値)が得られ、例えば、図２４で示すような結果（ＰＯＣ値）が得られる。
【０１８８】
図２４は、ＰＯＣ値の例を示す図である。図２４においては、ウィンドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＳを与える座標が、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関が最も高くなる視差を示す。この視差を特定する処理が視差特定Ｔ７であり、特定された視差に基づいて、基準ウィンドウＷＢｍ内の注目点Ｎｍに対応した参照ウィンドウＷＲｍ内の対応点Ｃｐｍが求められる。
【０１８９】
以上のように、ＰＯＣ法を用いた視差特定処理によれば、画像の振幅成分が除去され、画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響が抑制されて対応点が精度良く検出される。
【０１９０】
◎第２の視差特定処理：
次に、注目点が第２領域に属する場合に適用される第２の視差特定処理について幾つかの手法例を説明する。
【０１９１】
○第２の視差特定処理の手法例１：
第２の視差特定処理の手法例１として、ＰＯＣ法を用いる例を説明する。
【０１９２】
図２５は、注目基準画像ＢＩｍの第１領域Ｄｍと第２領域Ｅｍの基準ウィンドウを例示する図であり、図２５に示される境界線Ｇｍは、第１領域Ｄｍと第２領域Ｅｍとの境界線を示している。
【０１９３】
図２５では、第１領域Ｄｍの注目点に基づいて基準ウィンドウＷ１が、第２領域Ｅｍの注目点に基づいて基準ウィンドウＷ１と同じサイズの基準ウィンドウＷ２が、それぞれ設定されており、基準ウィンドウＷ２は、基準画像ＢＩｍからはみ出している。
【０１９４】
この基準ウィンドウＷ２を用いて第１の視差特定処理におけるＰＯＣ法をそのまま適用する場合には、基準ウィンドウＷ２が基準画像ＢＩｍからはみ出る部分についても相関演算ができるようにする必要がある。
【０１９５】
図２６は、第１の視差特定処理におけるＰＯＣ法において（５）式を用いて説明した窓関数の例を示す図であり、（５）式で示される窓関数の形状を基準ウィンドウの重心ｐｃを通り、基準ウィンドウの幅が２Ｍ1＋１となる方向について関数値ＷＦ０として表示している。
【０１９６】
また、はみ出し部Ｅｘは、図２５において窓関数が基準画像ＢＩｍからはみ出ている部分に対応している。
【０１９７】
ここで、基準ウィンドウＷ２が基準画像からはみ出た部分の仮の画素値として、例えば、予め定められた固定値、または基準画像の画像端部の画素値など採用することで、探索ウィンドウ間の相関値を求めて対応点の探索を行う手法が考えられる。
【０１９８】
しかし、この場合は、第１の視差特定処理における（５）式の窓関数では、はみ出し部Ｅｘの部分に設定された仮の画素値によって、相関演算の精度が低下しやすくなる。
【０１９９】
すなわち、第１領域Ｄｍに適用されるＰＯＣ法をそのまま適用すると、基準画像から基準ウィンドウがはみ出る部分に設定される画素値によって、視差特定処理の精度が低下しやすくなる。
【０２００】
そこで、第２の視差特定処理の手法例１として、窓関数にウィンドウ領域の端部での不連続性の影響を取り除くという窓関数本来の機能に加えて、第１の視差特定処理の窓関数に比べて、画像外にはみ出たウィンドウ領域の第２の視差特定処理への寄与度を低める機能をも備えた（１３）式で示される窓関数などが採用される。
【０２０１】
【数８】
【０２０２】
図２７は、実施形態に係る第２の視差特定処理のＰＯＣ法において用いられる窓関数として（１３）式の窓関数を例示する図である。
【０２０３】
図２７においては、図２６の窓関数の関数値ＷＦ０が幅方向に圧縮されて幅が２Ｌ1＋１の関数値ＷＦ１になっている。他の符号については、図２６と同じであり、また、比較のために図２６の窓関数の関数値ＷＦ０も表示している。
【０２０４】
図２７に示されるように、はみ出し部Ｅｘにおいては、関数値ＷＦ０よりも関数値ＷＦ１の方が小さくなっている。
【０２０５】
すなわち、第２の視差特定処理の手法例１では、注目点を内包する基準ウィンドウのうち、基準画像からはみ出る部分の第２の視差特定処理への寄与度を、この部分の第１の視差特定処理への寄与度よりも低めている。
【０２０６】
このように、第２の視差特定処理の手法例１では、画像外情報の寄与度を第１の視差特定処理を用いたときよりも抑制することによって、第２の視差特定処理による視差特定精度を向上させることができ、多重解像度画像を用いた視差特定処理の処理性能を改善することが可能となる。
【０２０７】
また、手法例１によれば、位相相関法などの周波数解析を利用する視差特定処理において、信号の不連続性を除去するために必須の窓関数に、第２領域の注目点に設定された基準ウィンドウの基準画像の画像外情報の視差特定処理に対する寄与度を、同一の注目点についての基準ウィンドウに第１の視差特定処理の窓関数を適用する場合に比べて下げる機能を兼ねさせることができるので、ＰＯＣ法による視差特定処理の処理過程に新たな処理を追加することなく、第２領域の注目点についての視差特定精度を向上させることができ、多重解像度画像を用いた視差特定処理の処理性能を改善することができる。
【０２０８】
なお、ここでは、関数値ＷＦ１に示される窓関数に代えて、幅２Ｌ1＋１の矩形波の窓関数を採用しても同様の効果が得られる。
【０２０９】
図２８および図２９は、実施形態に係る第２の視差特定処理の手法例１の窓関数の他の態様を例示する図である。
【０２１０】
図２８および図２９においては、図２７の関数値ＷＦ１に代えて、それぞれ関数値ＷＦ２およびＷＦ３が採用されており、他の符号は図２７と同じである。
【０２１１】
図２８に示される関数値ＷＦ２は、基準ウィンドウの重心ｐｃから、図２８に向かって右側の、基準ウィンドウが基準画像からはみ出す方向の関数値については、同一部分に対応する関数値ＷＦ１が採用されており、基準ウィンドウの重心ｐｃから、図２８に向かって左側の、基準画像の中心よりの画素に対する関数値としては、関数値ＷＦ０が採用されている。
【０２１２】
図２７に関数値ＷＦ１で示される窓関数を用いても、本発明の有用性を損なうものではないが、図２８に例示される関数値ＷＦ２で示される窓関数を用いれば、注目点を内包する基準ウィンドウのうち、基準画像からはみ出る部分の第２の視差特定処理への寄与度を、この部分の第１の視差特定処理への寄与度よりも低めることができる。
【０２１３】
さらに基準ウィンドウの重心ｐｃから、図２８に向かって左側の、基準画像の中心よりの部分の画素については、第１の視差特定処理に用いられる窓関数ＷＦ０と同じ寄与度を維持することができるので、視差特定処理において、基準画像の中心よりの、はみ出し部分Ｅｘの画素に比べて信頼性の高い画素の画素値を有効に利用することができ、視差特定精度を向上させることができる。
【０２１４】
また、図２９に示される関数値ＷＦ３は、基準ウィンドウの重心ｐｃから、図２９に向かって右側の、基準ウィンドウが基準画像からはみ出す方向の関数値については、同一部分に対応する関数値ＷＦ１が採用されており、基準ウィンドウの重心ｐｃから、図２８に向かって左側の、基準画像の中心よりの画素に対する関数値ＷＦ３としては、関数値ＷＦ０よりも視差特定処理への寄与度が高い関数値が採用されている。
【０２１５】
つまり、関数値ＷＦ３で示される窓関数は、基準ウィンドウのうち基準画像からはみ出る部分の寄与度を第１の視差特定処理よりも低めるとともに、基準ウインドウのうち注目基準画像の中心寄りの部分の寄与度を第１の視差特定処理よりも高めている。
【０２１６】
関数値ＷＦ３に示される窓関数を用いれば、注目点を内包する基準ウィンドウのうち、基準画像からはみ出る部分の第２の視差特定処理への寄与度を、この部分の第１の視差特定処理への寄与度よりも低めることができる。
【０２１７】
さらに、基準ウィンドウの重心ｐｃから、図２９に向かって左側の、基準画像の中心よりの部分の画素については、第１の視差特定処理に用いられる窓関数ＷＦ０よりも寄与度を高くすることができるので、視差特定処理において、基準画像の中心よりの、はみ出し部分Ｅｘの画素に比べて信頼性の高い画素の画素値を関数値ＷＦ０よりもさらに有効に利用することができ、視差特定精度を向上させることができる。
【０２１８】
○第２の視差特定処理の手法例２：
図３０は、第２の視差特定処理の手法例２で採用される第２領域Ｅｍにおける基準ウィンドウＷ３の設定例を示す図であり、基準ウィンドウＷ３を除いて、図２５の各領域、境界線、基準ウィンドウが、図２５と同じ符号で示されている。
【０２１９】
図３０に示される基準ウィンドウＷ３では、図２５に示される基準ウィンドウＷ２と同一の注目点に対して設定されており、注目基準画像ＢＩｍから基準ウィンドウＷ２のはみ出し方向について、基準ウィンドウＷ２よりも短幅のウィンドウ内の画像情報を用いたＰＯＣ法によって第２領域の注目点についての視差特定処理が行われる。
【０２２０】
従って、注目点を内包する基準ウィンドウが基準画像からはみ出る第２領域の注目点に適用される第２の視差特定処理では、基準ウィンドウのはみ出し方向について、第１の視差特定処理で使用される基準ウィンドウよりも短幅のウィンドウ内の画像情報を用いるので、第２の視差特定処理による視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０２２１】
○第２の視差特定処理の手法例３、手法例４：
図３１は、第２の視差特定処理の手法例３における第２領域の視差の特定方法の例を説明する図である。
【０２２２】
また、図３２および図３３は、第２の視差特定処理の手法例４における第２領域の視差の特定方法の例を説明する図である。
【０２２３】
図３１および図３２においては、図３０の基準画像ＢＩｍに対応する視差記憶画像ＳＩｍが示されており、視差記憶画像ＳＩｍには、図３０の基準画像ＢＩｍと同じ各領域、境界線が、図３０と同じ符号で示されている。
【０２２４】
この手法例３および手法例４においては、先ず、第１領域に属する注目点についての視差を先ず算出し、第２領域の注目点についての視差は、この第２領域の注目点よりも基準画像の中心寄りの注目点に対して、既に特定されている視差を用いて特定される。
【０２２５】
手法例３および手法例４による第２の視差特定処理では、注目点よりも基準画像の中心よりの点について既に特定された視差を利用して注目点の視差を求めるので、視差の連続性によって、注目点に設定されるウィンドウが基準画像からはみ出るときの視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０２２６】
先ず、手法例３について具体的に説明する。図３１における注目点ｐ１は第１領域に属しており、注目点ｐ２は、第２領域に属している。
【０２２７】
注目点ｐ１についての視差Ｑ１は、既に第１の視差特定処理によって既に特定されている視差である。
【０２２８】
注目点ｐ２についての視差Ｑ２としては、注目点ｐ２よりも基準画像の中心よりの注目点ｐ１を注目点ｐ２の代替点として、この代替点について特定済みの視差Ｑ１をそのまま視差Ｑ２として採用する。
【０２２９】
なお、代替点について算出済みの視差をそのまま視差Ｑ２として採用するだけでなく、例えば、視差Ｑ１に、注目点ｐ１およびｐ２の間隔に応じた重み係数を乗じた視差を視差Ｑ２として採用しても良い。
【０２３０】
また、注目点ｐ１と注目点ｐ２との間に位置する他の注目点についての視差を注目点ｐ１についての視差Ｑ１を用いて当該他の注目点についての視差を特定し、この視差を用いて注目点ｐ２についての視差を特定しても良い。
【０２３１】
すなわち、手法例３においては、第２の視差特定処理として、注目基準画像において注目点よりも基準画像の中心寄りの１つの代替点について既に特定された視差を用いて、当該注目点についての視差を特定する処理が行われる。
【０２３２】
手法例３による第２の視差特定処理では、注目点よりも基準画像の中心よりの１つの代替点について既に特定された視差を利用して注目点の視差を求める。
【０２３３】
この場合は、１つの注目点について特定された視差を用いるだけであるので、手法３による第２視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０２３４】
次に、手法例４について具体的に説明する。図３２における注目点ｐ１〜ｐ４は第１領域に属しており、注目点ｐ５は、第２領域に属している。
【０２３５】
第１領域の注目点ｐ１〜ｐ４については、既に第１の視差特定処理によって視差Ｑ１〜Ｑ４が既に特定されている。注目点ｐ５についての視差Ｑ５の特定については、図３３を用いて説明する。
【０２３６】
図３３は、図３２に示される注目点ｐ１からｐ４について図３２のＸ軸方向の座標ｘ１〜ｘ４に対する各視差Ｑ１〜Ｑ４がグラフ表示されている。
【０２３７】
図３３では、注目点ｐ５ついての視差Ｑ５を特定するときに、各視差Ｑ１〜Ｑ４の座標を通る直線を近似し、この直線に注目点ｐ５のＸ座標x5を代入することによって視差Ｑ５を求めている。
【０２３８】
すなわち、手法例４においては、第２の視差特定処理として、注目基準画像において注目点よりも基準画像の中心寄りの複数の代替点について既に特定された視差の外挿によって、当該注目点についての視差を特定する処理が行われる。
【０２３９】
図３３に示す例では、直線近似の外挿演算を用いているが、例えば、直線近似に代えて曲線を近似して外挿演算を行っても良い。
【０２４０】
手法例４による第２の視差特定処理では、注目点よりも基準画像の中心よりの複数の代替点について既に特定された視差の外挿によって注目点の視差を求めるので、複数の注目点に渡る視差の連続性を活かした視差特定処理を行うことができ、ウィンドウが基準画像からはみ出る第２領域の注目点についての視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０２４１】
◎全体処理フロー：
次に、画像処理装置３Ａが行う多重解像度画像を用いた対応点探索処理の全体処理フローを説明する。
【０２４２】
図３７は、実施形態に係る画像処理装置３Ａが行う多重解像度画像を用いた視差特定処理Ｓ１００Ａの手順の概要を例示するフローチャートである。
【０２４３】
図３７のフローチャートにおいて、先ず、画像取得部１０は、基準カメラ２１の撮影する画像と参照カメラ２２が撮影する画像とを、それぞれ基準画像ＢＩＴおよび参照画像ＲＩＴとして取得し、記憶部９に記憶する（ステップＳ１０）。
【０２４４】
画像の取得が終了すると、多重解像度画像作成部１１は、記憶部９から多重解像度画像の階層数Ｔ、解像度変倍率ＲＲなどの多重解像度画像作成に関係する制御パラメータと、基準画像ＢＩＴ、参照画像ＲＩＴを取得し、該制御パラメータを用いて基準画像ＢＩＴと参照画像ＲＩＴに多段階の低解像度化処理を施して多重解像度基準画像ＭＢと多重解像度参照画像ＭＲを作成し、記憶部９に記憶する（ステップＳ２０）。
【０２４５】
多重解像度画像の作成が終了すると、制御部１６は、注目階層が未設定であれば、多重解像度基準画像ＭＢ、多重解像度参照画像ＭＲのそれぞれの最下位の基準画像ＢＩ１、参照画像ＲＩ１を注目階層の基準画像ＢＩｍ、参照画像ＲＩｍとして新規に設定し、既存の基準画像ＢＩｍ、参照画像ＲＩｍがあれば、基準画像ＢＩｍ、参照画像ＲＩｍの１つ上位階層の基準画像ＢＩ（ｍ＋１）と参照画像ＲＩ（ｍ＋１）を、それぞれ新たな注目階層の基準画像ＢＩｍと参照画像ＲＩｍとして再設定し、該設定情報を初期視差設定部１４、視差特定部１５などに供給する（ステップＳ３０）。
【０２４６】
注目階層の設定が終了すると、制御部１６は、記憶部９から当該注目階層についての第１領域および第２領域の領域情報Ｖ１を取得し、領域判定部１３へ供給する（ステップＳ４０）。
【０２４７】
なお、領域情報Ｖ１を用いることなく、注目点の座標と探索ウィンドウのサイズＷＸ、ＷＹを用いることによって、注目点についての基準ウィンドウが基準画像からはみ出るか否かを判定することによって注目点が第１領域に属するか、第２領域に属するかを判定することができるので、この場合には、ステップＳ４０の処理は行わなくても良い。
【０２４８】
領域情報の取得が終了すると、注目点設定部１２は基準画像の画素を注目点として背設定する（ステップＳ５０）。
【０２４９】
注目点の設定が終了すると、処理は、注目点の視差を特定する処理ステップＳ６０Ａに移される。
【０２５０】
図３８は、実施形態に係る注目点の視差を特定する処理ステップＳ６０Ａの処理の概要を例示するフローチャートである。
【０２５１】
先ず、初期視差設定部１４は、初期視差設定部１４についての説明欄で記述した初期視差設定処理を行い、注目点について初期視差を設定する（ステップＳ２１０）。
【０２５２】
なお、注目階層が最下位の階層である場合には、１つ下位階層での視差を用いて注目階層での初期視差を設定できないので、例えば、初期視差０が注目点について設定される。
【０２５３】
注目点について初期視差の設定が終了すると、領域判定部１３によって注目点が、領域情報Ｖ１で定められる視差特定領域に属するかどうかが判定される（ステップＳ２２０）。本実施形態においては、具体的には、注目点が、第１領域と第２領域とのいずれに属するかが判定され、判定結果は、制御部１６などへと供給される。
【０２５４】
制御部１６は、注目点の所属領域についての判定結果を取得し、注目点について設定される基準ウィンドウが基準画像からはみ出るか否か、すなわち、注目点が第１領域に属するか否かを判断する（ステップＳ２３０）。
【０２５５】
判断の結果、注目点が第１領域に属する場合には、制御部１６は、記述した第１の視差特定処理を視差特定部１５に実行させて処理を図３７のステップＳ６０Ａへと戻す（ステップＳ２４０）。
【０２５６】
判断の結果、注目点が第２領域に属する場合には、制御部１６は、記述した第２の視差特定処理を視差特定部１５に実行させて処理を図３７のステップＳ６０Ａへと戻す（ステップＳ２５０）。
【０２５７】
ステップＳ６０Ａへと処理が戻されると、制御部１６は、注目階層の全ての注目点について視差特定処理が終了したかどうかを判定し、判定の結果、注目階層の全ての注目点について視差特定処理が終了していなければ、処理をステップＳ５０へと戻し、注目階層の全ての注目点について視差特定処理が終了していれば、処理をステップＳ８０に移す（ステップＳ７０）。
【０２５８】
ステップＳ８０においては、制御部１６は、全ての階層について視差特定処理が終了したか否かを判定し、終了していなければ、１つ上位の階層を注目階層として設定し（ステップＳ３０）、終了していれば、制御部１６は、多重解像度画像を用いた視差特定処理Ｓ１００Ａを終了させる。
【０２５９】
以上の処理によって、本実施形態に係る視差特定処理が実行される。
【０２６０】
＜変形例＞
本発明は上述の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
【０２６１】
◎例えば、記憶部９の領域情報Ｖ１として、各階層における基準画像に対する各階層における視差特定処理の面積比が、上位階層ほど大きくなるような領域情報Ｖ１が設定されてもよい。以下、具体例として変形例１および変形例２について説明する。
【０２６２】
なお、変形例１および変形例２に係る画像処理装置は、実施形態に係る画像処理装置３Ａと同じ各構成要素を採用し、記憶部９に記憶される領域情報Ｖ１のみを実施形態と異なる設定に変更するだけで構成することができる。
【０２６３】
従って、変形例１および変形例２については、変形例１および変形例２に係る画像処理装置の各構成要素についての説明は省略し、領域情報Ｖ１の変更によって生ずる、実施形態との差異のみを以下で説明する。
【０２６４】
＜変形例１に係る画像処理装置について＞
変形例１においては、各階層の基準画像における視差特定領域は、実施形態において記述した第１領域のみから構成されるように、領域情報Ｖ１が設定されている。
【０２６５】
なお、各階層の基準画像における視差特定領域は、第１領域が取り得る最大範囲に限定されることはなく、各階層における基準画像に対する各階層における視差特定処理の面積比が、上位階層ほど大きくなる条件が満たされるならば、第１領域が取り得る最大範囲のうちの一部であってもよい。
【０２６６】
すなわち、変形例１に係る視差特定領域は、注目基準画像の注目点について設定される基準ウィンドウが注目基準画像に収まる範囲の領域である。
【０２６７】
また、領域情報Ｖ１に含まれる視差特定処理の選択情報としては、第１の視差特定処理を選択する情報が採用される。
【０２６８】
従って、変形例１における視差特定部１５は、基準画像の注目点に基づいて設定される基準ウィンドウ内の画像情報を用いて、当該注目点についての注目基準画像と注目参照画像との視差を求める第１の視差特定処理を行う。
【０２６９】
図３４は、変形例１に係る複数の階層の基準画像についての視差特定領域の設定例を示す図である。
【０２７０】
図３４には、連続する３つ階層の基準画像ＢＩ（ｍ−１）、ＢＩｍおよびＢＩ（ｍ＋１）が下位階層から上位階層へ向けて、示されている。
【０２７１】
基準画像ＢＩ（ｍ−１）、ＢＩｍおよびＢＩ（ｍ＋１）には、それぞれ視差特定領域Ｄ（ｍ−１）、Ｄｍ、およびＤ（ｍ＋１）が設定されており、これらの視差特定領域は、それぞれ基準画像ＢＩ（ｍ−１）、ＢＩｍおよびＢＩ（ｍ＋１）における第１領域である。
【０２７２】
ここで図３４においては、ＢＩ（ｍ−１）、ＢＩｍ、およびＢＩ（ｍ＋１）は全て同じ画像サイズで表示されるように、基準画像ＢＩ（ｍ＋１）を基準として、基準画像ＢＩ（ｍ−１）および基準画像ＢＩｍの縮尺を調整して表示している。
【０２７３】
実施形態の説明に係る図１４、図１５において説明したように、変形例１の視差特定領域が各階層における基準画像の第１領域の最大範囲である場合には、ウィンドウのサイズ（画素数）と形状が階層間で同じであれば、各階層における基準画像に対する各階層における視差特定処理の面積比が、上位階層ほど大きくなる。
【０２７４】
変形例１で採用される第１の視差特定処理は、基準ウィンドウに対する参照ウィンドウを設定するための初期視差を、視差特定領域の注目点について設定する必要がある。
【０２７５】
ここで実施形態に係る初期視差設定部１４の説明においても言及したように、注目階層の注目点と対応関係のある、下位階層における注目点に、視差が特定されていない場合における初期視差の設定方法を説明する。
【０２７６】
図３５は、変形例１に係る初期視差の設定手法例を説明する図である。
【０２７７】
図３５においては、注目基準画像ＢＩｍと、１つ下位階層の基準画像ＢＩ（ｍ−１）が示されている。
【０２７８】
基準画像ＢＩ（ｍ−１）における領域Ｄ（ｍ−１）は、第１領域を構成する注目点からなる視差特定領域であり、境界線Ｇ（ｍ−１）は視差特定領域Ｄ（ｍ−１）の外縁である。
【０２７９】
また、基準画像ＢＩｍにおける視差特定領域Ｄｍは、境界線Ｇ（ｍ−１）で囲まれる領域と、ハッチングを施された領域とからなる領域であり、境界線Ｇｍは、視差特定領域Ｄｍの外縁を成している。
【０２８０】
ここで基準画像ＢＩｍにおける境界線Ｇ（ｍ−１）は、基準画像ＢＩ（ｍ−１）の境界線Ｇ（ｍ−１）と同じ範囲に設定されている。
【０２８１】
従って、注目基準画像ＢＩｍの境界線Ｇ（ｍ−１）で囲まれる領域の注目点については、下位階層の基準画像ＢＩ（ｍ−１）において特定された視差に基づいて、図１７の方法と同じ手法によって初期視差を設定することができる。
【０２８２】
次に、注目基準画像のハッチングを施された領域については、対応する下位階層の注目点について視差が特定されていないため、図１７の方法によっては初期視差を設定することができない。
【０２８３】
そこで、ハッチングを施された領域の初期視差は、注目基準画像ＢＩｍの境界線Ｇ（ｍ−１）で囲まれる領域の注目点についてすでに設定されている初期視差に基づいて設定される。
【０２８４】
具体的には、図３１〜図３３を用いて説明した実施形態についての第２の視差特定処理の手法例３、手法例４と同様に、すでに初期視差が設定されている１つまたは複数の注目点を代替点として、代替点の初期視差を用いて初期視差が設定されていないハッチング領域の注目点についての初期視差を外挿などによって求める。
【０２８５】
視差特定領域Ｄｍの全ての注目点について初期視差が設定されると、第１の視差特定処理によって視差が特定される。
【０２８６】
基準画像ＢＩｍより上位の階層についても、同様に初期視差の設定と、視差特定処理を繰り返していくことで、上位階層ほど視差特定領域の基準画像に対する面積比を大きくしながら、多重解像度画像を用いた視差特定処理を行うことができる。
【０２８７】
＜変形例２に係る画像処理装置について＞
変形例２に係る画像処理装置の領域情報Ｖ１によって特定される視差特定領域は、実施形態にかかる領域情報と同様に第１領域と、第１領域の外側に分布する第２領域とから構成される。
【０２８８】
また、領域情報Ｖ１に含まれる視差特定処理の選択情報は、第１領域の注目点については第１の視差特定処理が適用され、第２領域の注目点については第２の視差特定処理が適用されることを定めている。
【０２８９】
ここで、変形例２に係る第２領域と、実施形態にかかる第２領域との違いを図３６を用いて説明する。
【０２９０】
図３６は、変形例２に係る視差特定領域の設定例を示す図である。
【０２９１】
図３６においては、連続する３つ階層の基準画像ＢＩ（ｍ−１）、ＢＩｍおよびＢＩ（ｍ＋１）が下位階層から上位階層へ向けて、並べられている。
【０２９２】
また、第１領域Ｄ（ｍ−１）、Ｄｍ、およびＤ（ｍ＋１）、ならびに第２領域Ｅ（ｍ−１）、Ｅｍ、およびＥ（ｍ＋１）がそれぞれの基準画像に設定されている。
【０２９３】
図３６に示されるように、第１領域と第２領域とから構成される視差特定領域の基準画像に対する面積比は、上位階層ほど大きくなるように設定されている。
【０２９４】
第１領域については、必ず初期視差の設定が必要であるため、実施形態および変形例１と同様の手法によって、設定される。
【０２９５】
すなわち、注目基準画像ＢＩｍの第１領域の注目点についての初期視差設定処理は、この注目点に対応する、１つ下位階層の基準画像ＢＩ（ｍ−１）の注目点について特定された視差が存在するときは、この視差に基づいて設定される。
【０２９６】
１つ下位階層の基準画像ＢＩ（ｍ−１）の注目点について特定された視差が存在しないときは、変形例１で説明した初期視差設定手法を用いて、すでに初期視差が設定されている基準画像ＢＩｍの注目点についての初期視差から外挿や、代用によって、注目点についての初期視差を設定する。
【０２９７】
第２領域について適用される第２の視差特定処理としては、実施形態に係る第２の視差特定処理と同様に手法例１〜手法例４が採用される。
【０２９８】
第２領域の注目点について、初期視差の設定が必要な第２の視差特定処理を採用する場合における初期視差の設定は、第１領域についての初期視差の設定と同様に行うことができる。
【０２９９】
すなわち、変形例２においては、上位階層について前記第１の視差特定処理で使用される初期視差を、下位階層について各注目点において得られた視差を利用して求める。
【０３００】
このように、領域情報Ｖ１によって視差特定領域が設定され、領域情報Ｖ１に含まれる視差特定処理の選択情報によって、第１領域の注目点については第１の視差特定処理が特定され、第２の視差特定処理が特定されるとともに、初期視差の設定が必要な注目点についての初期視差設定も可能である。
【０３０１】
従って、変形例２においても、変形例１と同様に多重解像度画像を用いた初期視差設定処理（対応点探索処理）を行うことができる。
【０３０２】
変形例１、変形例２の手法を用いれば、視差特定処理が下位の階層から上位の階層に向けて逐次実行される過程で、視差特定領域と基準画像との比を、階層が上がるにつれて少しずつ大きくしつつ視差特定処理を行うことができるので、視差特定領域を削減することによって視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０３０３】
また変形例１の手法を用いれば、注目点を内包する基準ウィンドウが、下位階層の基準画像の画像領域からはみ出さない視差特定領域の各注目点について求められた各視差に基づいて、注目階層の視差特定領域の各注目点に対する各初期視差を設定することによって、注目階層の視差特定領域についての各初期視差を適切な値に設定することができるので、視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０３０４】
変形例２の手法を用いれば、注目階層の視差特定領域のうち、注目点を内包する基準ウィンドウが注目基準画像の画像領域からはみ出さない領域の各注目点に対する各初期視差を、下位階層の視差特定領域の各注目点に対して求められた各視差に基づいて設定することによって、注目階層におけるウィンドウが基準画像からはみ出さない領域についての各初期視差を適切な値に設定することができるので、視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０３０５】
＜変形例の全体処理フロー＞
○変形例１の全体処理フロー：
図３７は、変形例１に係る画像処理装置３Ａが行う多重解像度画像を用いた視差特定処理Ｓ１００Ｂの手順の概要を例示するフローチャートである。
【０３０６】
ここで、変形例１の視差特定処理Ｓ１００Ｂは、注目点の視差を特定する処理ステップＳ６０Ｂを除いて、実施形態にかかる画像処理装置３Ａが行う多重解像度画像を用いた視差特定処理Ｓ１００Ａと同じであるので、視差特定処理Ｓ１００Ｂについては、説明を省略する。
【０３０７】
図３９は、変形例１に係る注目点の視差を特定する処理ステップＳ６０Ｂの処理の概要を例示するフローチャートである。
【０３０８】
図３９のフローチャートにおいては、先ず、注目点設定部１２によって設定された注目点が領域情報Ｖ１で定められる視差特定領域に属するか否かの領域判定が領域判定部１３によって行われる（ステップＳ３１０）。
【０３０９】
具体的には、変形例１においては、注目点に設定される基準ウィンドウが基準画像からはみ出るか否かが判定され、判定結果は、制御部１６などに供給される。
【０３１０】
制御部１６は、注目点の所属領域についての判定結果を取得し、注目点について設定される基準ウィンドウが基準画像からはみ出るか否か、すなわち、注目点が第１領域に属するか否かを判断する。
【０３１１】
判断の結果、注目点が第１領域に属さない場合には、制御部１６は、処理をステップＳ６０Ｂ（図３７）へ戻す（ステップＳ３２０）。
【０３１２】
また、判断の結果、注目点が第１領域に属する場合には、初期視差設定部１４は、注目点について、既述した設定方法によって初期視差を設定する（ステップＳ３３０）。
【０３１３】
注目点について初期視差が設定されると、制御部１６は、視差特定部１５に対して第１の視差特定処理を実行させて処理をステップＳ６０Ｂ（図３７）へ戻す（ステップＳ３４０）。
【０３１４】
以上の処理によって、変形例１に係る注目点の視差を特定する処理ステップＳ６０Ｂが行われる。
【０３１５】
○変形例２の全体処理フロー：
図３７は、変形例２に係る画像処理装置３Ａが行う多重解像度画像を用いた視差特定処理Ｓ１００Ｃの手順の概要を例示するフローチャートである。
【０３１６】
ここで、変形例２の視差特定処理Ｓ１００Ｃは、注目点の視差を特定する処理ステップＳ６０Ｃを除いて、実施形態にかかる視差特定処理Ｓ１００Ａと同じであるので、視差特定処理Ｓ１００Ｃについては説明を省略する。
【０３１７】
図４０は、変形例２に係る注目点の視差を特定する処理ステップＳ６０Ｃの処理の概要を例示するフローチャートである。
【０３１８】
図４０のフローチャートにおいては、先ず、注目点設定部１２によって設定された注目点が領域情報Ｖ１で定められる視差特定領域に属するか否かの領域判定が領域判定部１３によって行われる（ステップＳ４１０）。
【０３１９】
具体的には、変形例２においては、注目点に設定される基準ウィンドウが基準画像からはみ出るか否か、および、注目点が第２領域に属するか否かが判定され、判定結果は、制御部１６などに供給される。
【０３２０】
制御部１６は、先ず、注目点の所属領域についての判定結果を取得し、注目点について設定される基準ウィンドウが基準画像からはみ出るか否か、すなわち、注目点が第１領域に属するか否かを判断する（ステップＳ４２０）。
【０３２１】
判断の結果、注目点が第１領域に属する場合には、初期視差設定部１４は、第１領域の注目点について、既述した設定方法によって初期視差を設定する（ステップＳ４３０）。
【０３２２】
注目点について初期視差が設定されると、制御部１６は、視差特定部１５に対して第１の視差特定処理を実行させて処理をステップＳ６０Ｃ（図３７）へ戻す（ステップＳ４４０）。
【０３２３】
ステップＳ４２０の判断の結果、注目点が第１領域に属さない場合には、制御部１６は、注目点が第２領域の所定領域からはみ出るか否かを判断する（ステップＳ４５０）。
【０３２４】
判断の結果、注目点が所定領域に属する場合には、初期視差設定部１４は、所定領域の注目点について、既述した設定方法によって初期視差を設定する（ステップＳ４６０）。
【０３２５】
注目点について初期視差が設定されると、制御部１６は、視差特定部１５に対して第２の視差特定処理を実行させて処理をステップＳ６０Ｃ（図３７）へ戻す（ステップＳ４７０）。
【０３２６】
また、ステップＳ４５０の判断の結果、注目点が所定領域に属さない場合には、制御部１６は、処理をステップＳ６０Ｃ（図３７）へ戻す。
【０３２７】
以上の処理によって、変形例２に係る注目点の視差を特定する処理ステップＳ６０Ｃが行われる。
【符号の説明】
【０３２８】
１Ａ ３次元形状測定装置
２ ステレオカメラ
３Ａ 画像処理装置
４ 操作部
５ 表示部
６ 通信部
７ 入出力部
８ 記憶媒体
９ 記憶部
１０ 画像取得部
１１ 多重解像度画像作成部
１２ 注目点設定部
１３ 領域判定部
１４ 初期視差設定部
１５ 視差特定部
１６ 制御部
２１，２２ 撮像系
ＤＬ データ線
ＯＢ 測定対象物
ＢＩＴ，ＢＩ（Ｔ−１），ＢＩ（ｍ＋１），ＢＩｍ，ＢＩ１ 基準画像
ＲＩＴ，ＲＩ（Ｔ−１），ＲＩ（ｍ＋１），ＲＩｍ，ＲＩ１ 参照画像
ＭＢ 多重解像度基準画像
ＭＲ 多重解像度参照画像
Ｎｍ，Ｎ（ｍ＋１） 注目点
ＣＰｍ，ＣＰｍＴ，ＣＰｍＦ 対応点
Ｋｍ，Ｋ（ｍ＋１），Ｋ（ｍ＋１）Ｔ，Ｋ（ｍ＋１）Ｆ 探索基準点
ＳＩｍ 視差記憶画像
ＷＢｍ 基準ウィンドウ
ＷＲｍ 参照ウィンドウ
Ｗｇ 探索ウィンドウの重心
ＲＲ 解像度変倍率
ＷＸ，ＷＹ 探索ウィンドウサイズ
【技術分野】
【０００１】
本発明は、基準画像に設定された注目点の対応点を参照画像から探索する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
異なる視点から撮影された測定対象物に関する複数の画像や、同一視点から時系列に撮影された移動する測定対象物などに関する複数の時系列画像のうち、１の画像を基準画像、他の画像を参照画像として基準画像上の注目点に対応する参照画像上の対応点を、テンプレートマッチングなどを利用したエリアベースの対応点探索方法を用いて探索し、得られた対応点と注目点とに基づいて、測定対象物の３次元形状を求める装置や、測定対象物の移動を追跡する装置が知られている。
【０００３】
エリアベースの対応点探索方法においては、基準画像上に、注目点を略中心とする探索ウィンドウ（「基準ウィンドウ」とも称する）を設定するとともに、対応点の存在が見込まれる参照画像上の領域にも基準ウィンドウと同じ大きさの探索ウィンドウ（「参照ウィンドウ」とも称する）を設定する。
【０００４】
次に、これらの探索ウィンドウ間の画像の相関が最も高くなる、探索ウィンドウの画像間のずれ量（「視差」とも称する）を求める視差特定処理を行い、求められた視差と注目点の画素座標とから、基準画像上の注目点に対応する参照画像上の対応点を求める対応点探索処理を行う。
【０００５】
エリアベースの対応点探索方法においては、通常、参照画像における対応点の存在範囲を予め特定することはできないので、参照画像の全域をカバーするように参照ウィンドウを次々と設定することによって対応点探索処理が行われる。
【０００６】
近年、エリアベースの対応点探索方法の１つとして、基準画像と参照画像とを階層毎に解像度が徐々に低くなるように逐次低解像度化することによって、複数階層の画像を生成し、各階層毎に、エリアベースの対応点探索方法を用いつつ、最も低解像度の階層から最も高解像度の階層へ向けて順に対応点を探索する多重解像度戦略を用いた対応点探索手法が注目されている。
【０００７】
多重解像度戦略を用いた対応点探索においては、注目階層で求められた視差に基づいて、注目階層の１つ上位階層の参照ウィンドウを定める初期視差を決定することができる。
【０００８】
従って、多重解像度戦略を用いた対応点探索手法においては、各階層における参照ウィンドウの設定領域を絞り込みつつ、探索を行うことができる。
【０００９】
特許文献１では、多重解像度戦略に基づいた対応点探索を用いる画像処理装置の技術が開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００１−１４８０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
多重解像度戦略に基づいた対応点探索手法においては、画像の端部の探索ウィンドウが、画像からはみ出す場合には、探索ウィンドウ間の相関を高精度に求めることができないため、対応点探索の精度が悪化するという問題や、階層数の増大に伴って処理時間も増大するといった問題がある。
【００１２】
特許文献１の画像処理装置においては、求められた対応点の信頼度が低い場合には、周囲の対応点の情報を用いて信頼度の低い対応点を補正することによって、高精度な対応点探索を可能とする技術が開示されているが、画像の端部において探索領域が画像からはみ出る場合に探索精度を向上させるための対策および階層数の増大に伴う処理時間の増大を抑制するための対策については開示されていない。
【００１３】
本発明は、こうした問題を解決するためになされたもので、多重解像度画像を用いた対応点探索処理の処理性能を改善できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記の課題を解決するために、請求項１の発明は、互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する画像取得手段と、上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する多重解像度画像作成手段と、前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する注目点設定手段と、前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める視差特定手段と、前記視差特定手段が前記視差を求めるにあたって1)前記注目点を内包するウィンドウが前記注目基準画像内に収まるときには、前記ウィンドウ内の画像情報を用いる第１視差特定規則を、2)前記ウィンドウが前記注目基準画像からはみ出すときには、前記注目基準画像の外部領域からの寄与度を前記第１視差特定規則よりも低めた第２視差特定規則を、選択的にそれぞれ適用させる選択適用手段と、を備える画像処理装置であることを特徴とする。
【００１５】
また、請求項２の発明は、請求項１に記載された画像処理装置であって前記第２視差特定規則は、前記注目基準画像において前記注目点よりも中心寄りの点について既に特定された視差を利用する規則であることを特徴とする。
【００１６】
また、請求項３の発明は、請求項２に記載された画像処理装置であって、前記第２視差特定規則は、前記注目基準画像において前記注目点よりも中心寄りの１つの代替点について既に特定された視差を用いて、前記注目点についての視差を求める規則であることを特徴とする。
【００１７】
また、請求項４の発明は、請求項２に記載された画像処理装置であって、前記第２視差特定規則は、前記注目基準画像において前記注目点よりも中心寄りの複数の代替点について既に特定された視差の外挿によって、前記注目点についての視差を求める規則であることを特徴とする。
【００１８】
また、請求項５の発明は、請求項１に記載された画像処理装置であって、前記第２視差特定規則においては、前記注目基準画像からの前記ウィンドウのはみ出し方向について、前記第１視差特定規則で使用されるウィンドウよりも短幅のウィンドウ内の画像情報を用いることを特徴とする。
【００１９】
また、請求項６の発明は、請求項１に記載された画像処理装置であって、前記第２視差特定規則は、前記ウィンドウ内の画像情報を用いるとともに、前記ウィンドウのうち基準画像からはみ出る部分の寄与度を前記第１視差特定規則よりも低めた規則であることを特徴とする。
【００２０】
また、請求項７の発明は、互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する工程と、上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する工程と、前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する工程と、前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める視差特定工程と、を備えた画像処理方法であって、前記視差特定工程は、1)前記注目点を内包するウィンドウが前記注目基準画像内に収まるときには、前記ウィンドウ内の画像情報を用いる第１視差特定規則を、2)前記ウィンドウが前記注目基準画像からはみ出すときには、前記注目基準画像の外部領域からの寄与度を前記第１視差特定規則よりも低めた第２視差特定規則を、選択的にそれぞれ適用する工程を備えることを特徴とする。
【００２１】
また、請求項８の発明は、互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する画像取得手段と、上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する多重解像度画像作成手段と、前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する注目点設定手段と、前記注目点が前記注目基準画像のうち所定の視差特定領域にあるときに、前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める視差特定手段と、を備え、各階層における前記視差特定領域と基準画像との面積比は、上位階層ほど大きく設定されている画像処理装置であることを特徴とする。
【００２２】
また、請求項９の発明は、請求項８に記載された画像処理装置であって、前記視差特定手段は、前記注目点を内包するウィンドウ内の画像情報を用いて、当該注目点についての、前記注目基準画像と前記注目参照画像との視差を求めるものであり、前記視差特定領域は、前記ウィンドウが前記注目基準画像に収まる範囲の領域であり、上位階層において前記視差を求める際の初期基準として使用される初期視差を、下位階層の視差特定領域内の注目点について得られた視差を利用して求めることを特徴とする。
【００２３】
また、請求項１０の発明は、請求項１に記載された画像処理装置であって、前記注目基準画像のうち前記第１規則が適用される領域と前記第２規則が適用される領域とからなる領域を視差特定領域として、各階層における前記視差特定領域と基準画像との面積比は、上位階層ほど大きく設定されているとともに、上位階層について前記第１視差特定規則で使用される初期視差を、下位階層について各注目点において得られた視差を利用して求めることを特徴とする。
【００２４】
また、請求項１１の発明は、互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する工程と、上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する工程と、前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する工程と、前記注目点が前記注目基準画像のうち所定の視差特定領域にあるときに、前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める工程と、を備え、各階層における前記視差特定領域と基準画像との面積比は、上位階層ほど大きく設定されている画像処理方法であることを特徴とする。
【発明の効果】
【００２５】
請求項１から請求項７の発明によれば、注目点を内包するウィンドウが基準画像からはみ出るときに適用される第２視差特定規則のほうが、ウィンドウが基準画像からはみ出ないときに適用される第１視差特定規則よりも画像外情報の視差特定処理に対する寄与度が小さくなるので、ウィンドウが基準画像からはみ出るときの視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００２６】
請求項２から４の発明によれば、第２視差特定規則は、注目点よりも基準画像の中心よりの点について既に特定された視差を利用して注目点の視差を求めるので、視差の連続性によって、ウィンドウが基準画像からはみ出るときの視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００２７】
請求項３の発明によれば、第２視差特定規則は、注目点よりも基準画像の中心よりの１つの代替点について既に特定された視差を利用して注目点の視差を求めるので第２視差特定規則を用いた視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００２８】
請求項４の発明によれば、第２視差特定規則は、注目点よりも基準画像の中心よりの複数の代替点について既に特定された視差の外挿によって注目点の視差を求めるので、視差の連続性によって、ウィンドウが基準画像からはみ出るときの視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００２９】
請求項５の発明によれば、注目点を内包するウィンドウが基準画像からはみ出るときに適用される第２視差特定規則では、ウィンドウのはみ出し方向について、第１視差特定規則で使用されるウィンドウよりも短幅のウィンドウ内の画像情報を用いるので、第２視差特定規則による視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００３０】
請求項６の発明によれば、第２視差特定規則は、注目点を内包するウィンドウのうち、基準画像からはみ出る部分の寄与度を第１視差特定規則より低めているので、画像外情報の寄与度を第１視差特定規則を用いたときよりも抑制することによって、第２視差特定規則による視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００３１】
請求項８から請求項１１の発明によれば、視差特定処理が下位の階層から上位の階層に向けて逐次実行される過程で、視差特定領域と基準画像との比を、階層が上がるにつれて少しずつ大きくしつつ視差特定処理を行うことができるので、視差特定領域を削減することによって視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００３２】
請求項９の発明によれば、注目点を内包するウィンドウが、下位階層の基準画像の画像領域からはみ出さない視差特定領域の各注目点について求められた各視差に基づいて、注目階層の視差特定領域の各注目点に対する各初期視差を設定することによって、注目階層の視差特定領域についての各初期視差を適切な値に設定することができるので、視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【００３３】
請求項１０の発明によれば、注目階層の視差特定領域のうち、注目点を内包するウィンドウが注目基準画像の画像領域からはみ出さない領域の各注目点に対する各初期視差を、下位階層の視差特定領域の各注目点に対して求められた各視差に基づいて設定することによって、注目階層におけるウィンドウが基準画像からはみ出さない領域についての各初期視差を適切な値に設定することができるので、視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【図面の簡単な説明】
【００３４】
【図１】実施形態に係る画像処理装置を用いた３次元形状測定装置の概略構成を示す図である。
【図２】基準画像の注目点と参照画像の対応点との対応関係を示す図である。
【図３】実施形態に係る画像処理装置の要部の構成例を示す機能ブロック図である。
【図４】多重解像度基準画像を例示する図である。
【図５】多重解像度基準画像を例示する図である。
【図６】多重解像度基準画像を例示する図である。
【図７】多重解像度参照画像を例示する図である。
【図８】多重解像度参照画像を例示する図である。
【図９】多重解像度参照画像を例示する図である。
【図１０】解像度変倍率が視差特定処理に与える影響例を説明する図である。
【図１１】参照画像の多重解像度画像を例示する図である。
【図１２】実施形態にかかる第１領域と第２領域を説明する図である。
【図１３】実施形態にかかる第１領域と第２領域を説明する図である。
【図１４】上位階層と下位階層の第１領域と第２領域を例示する図である。
【図１５】上位階層と下位階層の第１領域と第２領域を例示する図である。
【図１６】初期視差の設定を説明する図である。
【図１７】初期視差の設定を説明する図である。
【図１８】視差特定処理の概要を説明する図である。
【図１９】参照画像の探索基準点に対する参照ウィンドウの設定例を示す図である。
【図２０】参照画像の探索基準点に対する参照ウィンドウの設定例を示す図である。
【図２１】ＳＡＤ法を用いた視差特定処理の説明図である。
【図２２】ＳＡＤ法における参照ウィンドウの走査態様を例示する図である。
【図２３】ＰＯＣ法を用いた視差特定処理の手順を示す図である。
【図２４】ＰＯＣ値の例を示す図である。
【図２５】第１領域と第２領域のウィンドウを例示する図である。
【図２６】実施形態に係る第１の視差特定処理の窓関数を例示する図である。
【図２７】実施形態に係る第２の視差特定処理の窓関数を例示する図である。
【図２８】実施形態に係る第２の視差特定処理の窓関数を例示する図である。
【図２９】実施形態に係る第２の視差特定処理の窓関数を例示する図である。
【図３０】第２領域におけるウィンドウの設定例を示す図である。
【図３１】第２領域の視差の特定方法の例を示す図である。
【図３２】第２領域の視差の特定方法の例を示す図である。
【図３３】第２領域の視差の特定方法の例を示す図である。
【図３４】変形例に係る視差特定領域の設定例を示す図である。
【図３５】変形例に係る初期視差の設定手法例を説明する図である。
【図３６】変形例に係る視差特定領域の設定例を示す図である。
【図３７】実施形態に係る画像処理装置の動作の概要を例示するフローチャートである。
【図３８】実施形態に係る画像処理装置の動作の概要を例示するフローチャートである。
【図３９】変形例に係る画像処理装置の動作の概要を例示するフローチャートである。
【図４０】変形例に係る画像処理装置の動作の概要を例示するフローチャートである。
【発明を実施するための形態】
【００３５】
本発明に係る画像処理装置は、例えば、２台以上のカメラによって測定対象物を測定し、得られた画像を処理して測定対象物上の注目点を通る各カメラの視線方程式を求めることによって測定対象物の形状を測定する３次元形状測定装置や、１台のカメラによって測定対象物を時系列に測定し、得られた画像を処理して、測定対象物の移動量を求めたり、予め登録された測定対象物の画像と測定した画像とを比較する装置などに適用される。
【００３６】
以下、本発明に係る画像処理装置が、２台のカメラ（ステレオカメラとも称する）を用いて測定対象物を測定し、得られたステレオ画像を処理して測定対象物の３次元形状を測定する３次元測定装置に適用される実施形態について図面を参照して説明する。なお、説明のために図面には適宜座標軸を記載している。
【００３７】
＜３次元形状測定装置＞
図１は、実施形態に係る画像処理装置３Ａを用いた３次元形状測定装置１Ａの概略構成を示す図である。
【００３８】
図１に示されるように、３次元形状測定装置１Ａは、２眼のステレオカメラ２と、ステレオカメラ２に対してデータ伝送可能に接続する画像処理装置３Ａとを備えている。
【００３９】
２眼のステレオカメラ２には、それぞれ撮像素子を有する２つの撮像系２１、２２が設けられている。撮像系２１、２２は、ほぼ同等の光学的特性と電気的特性を有しており、所定方向に沿って離隔配置され、カメラ正面の測定対象物ＯＢを、同期されつつ同じタイミングで異なる視点から撮像するように構成されている。撮像系２１、２２によって同じタイミングで撮像される２画像は、いわゆるステレオ画像であり、データ線ＤＬを介して画像処理装置３Ａに送信される。
【００４０】
ここで、ステレオ画像を構成する２画像のうち、撮像系２１によって撮像されて取得される画像を、適宜「基準画像」と称し、撮像系２２によって撮影されて取得される画像を、適宜「参照画像」と称する。
【００４１】
また、撮像系２１、２２の焦点距離、主点位置、歪曲収差および基線長などのカメラパラメータは、予め校正されており、該カメラパラメータによって撮像系２１、２２の撮像素子に結像した測定対象物ＯＢの像上の点と、撮像系の主点とを通るカメラ視線方程式が決定される。
【００４２】
図２は、基準画像の注目点と、参照画像の対応点との対応を示す図である。
【００４３】
画像処理装置３Ａは、先ず、測定対象物ＯＢに関する基準画像ＢＩＴと参照画像ＲＩＴとを階層的に繰り返し低解像度化することにより、基準画像ＢＩＴと参照画像ＲＩＴとのそれぞれについて、解像度の異なる複数の画像から構成される多重解像度画像を作成し、該多重解像度画像を用いて基準画像ＢＩＴ上の注目点ＮＴに対応する参照画像ＲＩＴ上の対応点ＣＴのずれ量（視差）を特定することによって対応点ＣＴを探索する処理を行う。
【００４４】
次に、画像処理装置３Ａは、探索された注目点ＮＴと対応点ＣＴの座標情報と、撮像系２１、２２のカメラパラメータとを用いて、注目点ＮＴと対応点ＣＴに関するカメラ視線方程式を作成し、この方程式を連立させて解くことによって注目点ＣＴに対応する測定対象物ＯＢの点の３次元座標を求める３次元化処理を行う。
【００４５】
画像処理装置３Ａは、複数の注目点についての対応点の探索と３次元化処理を行うことによって測定対象物ＯＢの３次元形状を算出する。
【００４６】
ここで、３次元形状測定装置１Ａにはステレオカメラが設けられているが、例えば、３個以上のカメラが設けられる場合には、３次元形状測定装置に入力される入力画像のうちの１の入力画像が基準画像、他の入力画像が参照画像として取得され、ステレオカメラ使用時と同様の処理が行われて測定対象物ＯＢの３次元形状が求められる。
【００４７】
＜画像処理装置３Ａの機能説明＞
図３は、実施形態に係る画像処理装置３Ａの要部の構成例を示す機能ブロック図である。
【００４８】
図３に示されるように、画像処理装置３Ａは、操作部４、表示部５、通信部６、入出力部７、記憶部９、画像取得部１０、多重解像度画像作成部１１、注目点設定部１２、初期視差設定部１４、視差特定部１５、および制御部１６を主に備えて構成されており、これらの機能ブロックによって基準画像ＢＩＴと参照画像ＲＩＴに関する多重解像度画像作成、対応点探索および３次元化処理などを行う。
【００４９】
以下、画像処理装置３Ａの操作部４から制御部１６について説明する。
【００５０】
◎操作部４〜記憶部９：
操作部４は、例えば、キーボード、マウスおよび操作ボタンなどを備えて構成されており、制御部１６への操作信号の入力や、画像処理装置３Ａの各部に関する解像度変倍率ＲＲなどの制御パラメータの設定などの用途に使用され、設定された制御パラメータは、制御部１６によって、記憶部９に記憶される。
【００５１】
表示部５は、例えば液晶ディスプレイで構成されて動画などを表示可能であり、撮像されたステレオ画像や生成された３次元画像などの画像情報や、各種メッセージなどが表示部５に表示される。また、制御パラメータ設定用の情報も表示部５に表示される。
【００５２】
通信部６は、ＬＡＮやインターネットに接続するためのインタフェースであり、例えばネットワークアダプタなどで構成される。
【００５３】
入出力部７は、例えばマルチメディアドライブを備えて構成され、光ディスクなどの記憶媒体８を受け付け、制御部１６との間でデータの授受を行うものである。画像処理装置３Ａが処理するステレオ画像は、ステレオカメラ２から直接入力されるだけでなく、通信部６や、入出力部７によって、記憶媒体８や、ネットワーク経由でも入力され得る。
【００５４】
記憶部９は、例えばハードディスク、ＲＯＭおよびＲＡＭなどを備えて構成されており、画像処理装置３Ａの各部が出力する情報、画像処理装置３Ａの各部を制御するために設定された制御パラメータ、校正されたカメラパラメータおよび制御プログラムなどの恒久的な記憶と、各種情報の一時的な記憶とに使用される。
【００５５】
ここで、制御パラメータは、例えば、多重解像度画像の階層数Ｔ、解像度変倍率ＲＲ、基準ウィンドウと参照ウィンドウの水平と垂直方向のサイズであるウィンドウサイズＷＸとＷＹ、基準画像に設定される注目点が所定の視差特定領域に属するか否かを判定するための領域情報Ｖ１および視差特定処理の信頼度を判定するための閾値などである。
【００５６】
なお、領域情報Ｖ１としては、領域情報Ｖ１によって特定される基準画像中の視差特定領域を特定する情報と、特定された視差特定領域について適用されるべき視差特定処理の選択情報とが含まれている。
【００５７】
これらの制御パラメータは、操作部４などによって予め設定されて記憶部９に記憶されている。
【００５８】
なお、以下に説明する画像取得部１０、多重解像度画像作成部１１、注目点設定部１２、領域判定部１３、初期視差設定部１４、視差特定部１５および制御部１６は、ＣＰＵで所定のプログラムを実行することで実現しても良いし、専用のハードウェア回路を用いて実現しても良い。
【００５９】
◎画像取得部１０：
画像取得部１０は、基準カメラ２１の撮影する画像と参照カメラ２２が撮影する画像とを取得し、それぞれ基準画像ＢＩＴおよび参照画像ＲＩＴとして、記憶部９に記憶する。ここで、基準画像ＢＩＴおよび参照画像ＲＩＴは、例えば、複数の画素がマトリックス状に配列され、各画素の画素値が所定の階調数で表現されたデジタル画像データである。
【００６０】
なお、基準画像ＢＩＴ及び参照画像ＲＩＴのサイズとしては、例えば、ＶＧＡ（６４０画素×４８０画素）などが採用される。
【００６１】
◎多重解像度画像作成部１１：
多重解像度画像作成部１１は、基準画像ＢＩＴおよび参照画像ＲＩＴに多段階の低解像度化処理を施すことによって基準画像ＢＩＴの多重解像度画像である多重解像度基準画像ＭＢと、参照画像ＲＩＴの多重解像度画像である多重解像度参照画像ＭＲとを作成し、記憶部９に記憶する。
【００６２】
図４〜図６は、多重解像度基準画像ＭＢを例示する図であり、図７〜図９は、多重解像度参照画像ＭＲを例示する図である。多重解像度基準画像ＭＢと多重解像度参照画像ＭＲに関して、図４および図７は、それぞれの最上位の基準画像ＢＩＴ、参照画像ＲＩＴを、図５および図８は、それぞれ多重解像度基準画像ＭＢ、多重解像度参照画像ＭＲの全体を、図６および図９は、それぞれ最下位の基準画像ＢＩ１、参照画像ＲＩ１を示している。
【００６３】
図４〜図９に示されるように、多重解像度基準画像ＭＢと多重解像度参照画像ＭＲは、それぞれ、解像度が異なる複数の基準画像の集合体と解像度が異なる複数の参照画像の集合体であって、上位階層から下位階層に向かうにつれて解像度が低くなるように階層的に形成されている。
【００６４】
多重解像度基準画像ＭＢと多重解像度参照画像ＭＲにおいて、最上位の基準画像ＢＩＴと参照画像ＲＩＴ画像は低解像度化されておらず、最下位の基準画像ＢＩ１と参照画像ＲＩ１画像は、最も解像度が低い画像である。また、多重解像度基準画像ＭＢと多重解像度参照画像ＭＲの階層数Ｔは等しく、同一階層の基準画像と参照画像の解像度は同じである。
【００６５】
なお、基準カメラ２１が撮影した基準画像であり、多重解像度基準画像ＭＢの最上位の画像でもある低解像度化されていない基準画像ＢＩＴを「原基準画像」ＢＩＴとも称し、参照カメラ２２が撮影した参照画像であり、多重解像度参照画像ＭＲの最上位の画像でもある低解像度化されていない参照画像ＲＩＴを「原参照画像」ＲＩＴとも称する。
【００６６】
また、多重解像度画像の注目する階層(「注目階層」とも称する)の画像に対して、より解像度の高い画像を「上位」（または、「上位階層」）の画像と称し、より解像度の低い画像を「下位」（または、「下位階層」）の画像と称する。さらに、注目階層の画像を低解像度化して１つ下位階層の画像を作成する際の低解像度化の比率を「解像度変倍率」とも称する。
【００６７】
ここで、基準画像ＢＩｍ（図５）および参照画像ＲＩｍ（図８）は、最下層の１つ上位階層に注目階層が設定された場合の基準画像および参照画像である。なお、注目階層の基準画像および参照画像をそれぞれ「注目基準画像」および「注目参照画像」とも称する。
【００６８】
解像度変倍率ＲＲは、多重解像度画像の隣合う２つの階層の画像のうち、上位階層の画像の水平方向の画素数に対する下位階層の画像の水平方向の画素数の比率として与えられ、また、該上位階層の画像の垂直方向の画素数に対する該下位階層の画像の垂直方向の画素数の比率としても与えられる。通常、これら２種類の比率は同じ値に設定される。
【００６９】
多重解像度画像は、例えば、記憶部９に予め設定保存された解像度変倍率ＲＲおよび階層数Ｔに従って、多重解像度画像の階層数が階層数Ｔになるまで解像度変倍率ＲＲによる低解像度化を繰り返すことや、最下層の画像の画素数が所定値以下になるまで解像度変倍率ＲＲによる低解像度化を繰り返すことなどによって作成される。
【００７０】
また、多重解像度画像作成部１１は、多重解像度基準画像ＭＢと多重解像度参照画像ＭＲを階層ごとに生成したときに、各階層の基準画像の注目点について、初期視差設定部１４によって求められる初期視差と、視差特定部１５によって特定される視差とを格納するための記憶領域として、各階層の基準画像の画素数と同じ個数であって、特定される初期視差と視差とを格納できる容量の視差記憶画像を記憶部９に確保する。
【００７１】
○低解像度化処理について：
低解像度化処理においては、多重解像度画像作成部１１は、例えば、先ず、多重解像度画像の階層数Ｔ、解像度変倍率ＲＲおよび最下層の基準画像ＢＩ１、参照画像ＲＩ１の画素数などの多重解像度画像作成に関係する制御パラメータと、基準画像ＢＩＴ、参照画像ＲＩＴを記憶部９から取得する。
【００７２】
次に、多重解像度画像作成部１１は、基準画像ＢＩＴ、参照画像ＲＩＴの水平方向、垂直方向の画素数に解像度変倍率ＲＲを乗じて、１つ下位階層の基準画像ＢＩ（Ｔ−１）、参照画像ＲＩ（Ｔ−１）の水平方向、垂直方向の画素数を求め、基準画像ＢＩ（Ｔ−１）、参照画像ＲＩ（Ｔ−１）の記憶領域を記憶部９に確保する。
【００７３】
記憶領域の確保が終了すると、多重解像度画像作成部１１は、基準画像ＢＩ（Ｔ−１）の１つの画素の画素値を、この画素に対応する基準画像ＢＩＴの各画素の画素値を平均することなどによって求め、この画素に対応する記憶領域に記憶する画素値の設定処理を行い、この画素値の設定処理を基準画像ＢＩ（Ｔ−１）、参照画像ＲＩ（Ｔ−１）の全ての画素について行うことによって、基準画像ＢＩ（Ｔ−１）、参照画像ＲＩ（Ｔ−１）の画像を作成する。
【００７４】
このように、多重解像度画像の階層間にわたる画素の対応関係は、多重解像度画像作成に関係する制御パラメータなどによって定められる。
【００７５】
なお、階層間にわたる画素の対応関係は、例えば、記憶部９に記憶され、必要に応じて画像処理装置３Ａの各構成要素によって使用される。
【００７６】
以下、上述した低解像度化処理を、画像数が階層数Ｔになるまで繰り返すことや、最下層の基準画像ＢＩ１、参照画像ＲＩ１の画素数が所定値以下になるまで繰り返すことによって、上位階層から下位階層に向かうにつれて解像度が低くなるように、画像取得部１０によって取得された基準画像ＢＩＴと参照画像ＲＩＴとが階層的に低解像度化されて、解像度の異なる複数の階層的な基準画像と参照画像、すなわち多重解像度基準画像ＭＢと多重解像度参照画像ＭＲが作成され、多重解像度基準画像ＭＢと多重解像度参照画像ＭＲは、記憶部９に記憶される。
【００７７】
なお、低解像度化処理の手法としては、上述した低解像度化処理の他、例えば、Qubic-Convolution法など種々の手法を採用し得る。
【００７８】
○解像度変倍率ＲＲについて：
図１０は、解像度変倍率ＲＲが視差特定処理に与える影響例を説明する図である。
【００７９】
図１０に示される参照画像ＲＩｍは、注目階層の参照画像であり、参照画像ＲＩ（ｍ＋１）は、注目階層の１つ上位階層の参照画像である。ここで、図１０に示される格子で区切られた各領域は、参照画像ＲＩｍと参照画像ＲＩ（ｍ＋１）の個々の画素（「ピクセル」とも称する）を示している。
【００８０】
また、参照画像ＲＩ（ｍ＋１）から参照画像ＲＩｍを作成する際の解像度変倍率ＲＲは１／４である。
【００８１】
参照画像ＲＩｍ上の対応点ＣＰｍＴは注目階層の基準画像上に設定された注目点に対して正しく特定された対応点（「正しい対応点」）を示し、対応点ＣＰｍＦは誤って特定された対応点（「誤った対応点」）を示す。
【００８２】
参照画像ＲＩ（ｍ＋１）上の探索基準点Ｋ（ｍ＋１）Ｔは、参照画像ＲＩｍ上の正しい対応点ＣＰｍＴに基づいて特定される正しい探索基準点を示し、探索基準点Ｋ（ｍ＋１）Ｆは、は参照画像ＲＩｍ上の誤った対応点ＣＰｍＦに基づいて特定される誤った探索基準点を示す。
【００８３】
なお、各注目階層の基準画像上に設定された注目点と、この注目点についての初期視差とに基づいて、参照ウィンドウを設定するための基準点が各注目階層の参照画像上に特定される。本願発明では、この基準点を「探索基準点」とも称する。
【００８４】
図１０に示されるように、正しい対応点ＣＰｍＴと誤った対応点ＣＰｍＦとのずれは、画素の対角線方向にわずか１画素であるが、探索基準点Ｋ（ｍ＋１）ＴとＫ（ｍ＋１）Ｆとの画素の対角線方向のずれは、解像度変倍率の逆数倍の４画素に拡大する。すなわち、下位階層における対応点探索の誤りは、上位階層で設定される参照ウィンドウの設定位置について、さらに拡大されることになる。
【００８５】
参照画像ＲＩ（ｍ＋１）上の対応点を求めるための視差は、参照画像ＲＩ（ｍ＋１）に設定された参照ウィンドウを用いて特定されるので、適切な位置からずれて設定された参照ウィンドウを用いて参照画像ＲＩ（ｍ＋１）上の対応点を探索しても、下位階層の参照画像ＲＩｍでの対応点探索の誤りを補正できずに、参照画像ＲＩ（ｍ＋１）においても誤った探索が行われる可能性が増大する。
【００８６】
つまり、解像度変倍率ＲＲが小さい場合には、下位階層の画像（低解像度の画像）における対応点探索の小さな誤りが、上位階層の画像（高解像度の画像）における対応点探索の大きな誤りに結びついて対応点探索の精度低下を招き易い。
【００８７】
解像度変倍率ＲＲの設定手法は、例えば、表示部５に表示される、２／３、１／２、１／３または１／４（解像度変倍率ＲＲを１より大きな実数（典型的には、有理数）ｒを用いて１／ｒで表現すると、ｒは、３／２、２、３または４）などの適切な範囲の候補中から操作部４を用いて選択する手法などが採用されるが、操作部４からの入力などによって候補値以外の１より小さい解像度変倍率を設定する手法を採用してもよい。設定された解像度変倍率ＲＲは、記憶部９に記憶される。
【００８８】
また、多重解像度画像作成部１１が専用のハードウェア回路である場合には、解像度変倍率ＲＲの設定は、例えば、複数の異なる解像度変倍率ＲＲにそれぞれ対応した複数の多重解像度画像作成部１１の中から、ディップスイッチの切り替えなどによって、所望の解像度変倍率ＲＲに対応した多重解像度画像作成部１１を選択する手法などによって設定してもよい。
【００８９】
多重解像度画像においては、より下位の階層の画像であればあるほど画像中の各画素の「情報量減少」が生ずるため、対応点探索の誤りが発生しやすい。また、探索ウィンドウの画素数が多重解像度画像の階層にかかわらず一定である場合には、より下位の階層の画像であればあるほど探索ウィンドウには、より広い視野域で撮像された測定対象物ＯＢおよび背景の画像が含まれるので、いわゆる「遠近競合」が発生して対応点探索の誤りが発生しやすい。
【００９０】
同様に、上位階層の画像を低解像度化して下位階層の画像を作成する際の解像度変倍率ＲＲが小さければ小さいほど、下位階層の画像において、より「情報量減少」が生ずるとともに、「遠近競合」が発生して対応点探索の誤りが発生しやすい。
【００９１】
従って、下位階層における対応点探索の誤りが上位階層における対応点探索の誤りを増幅させる前述の悪影響を抑制するために、図１１に示す参照画像の多重解像度画像の例のように、多重解像度画像の作成において複数の解像度変倍率ＲＲを用いて、上位階層側の画像には小さな解像度変倍率を適用し、下位階層側の画像には大きな解像度変倍率を適用してもよい。図１１の例では、上位階層側の解像度変倍率を１／４に設定し、下位階層側の解像度変倍率を１／２に設定することによって、前述の悪影響の抑制を行っている。
【００９２】
◎注目点設定部１２：
注目点設定部１２は、注目基準画像上に注目点を設定する。例えば、基準画像上の全画素がそれぞれ各注目点として設定される。設定された各注目点に対しては、それぞれ対応する注目参照画像上の各対応点が視差特定部１５によって求められる。
【００９３】
また、注目点は、例えば、表示部５に表示された基準画像上の特徴点を操作部４のマウスを用いて手動で設定する手法や、注目点設定部１２が基準画像にエッジ検出処理を施して抽出したエッジ位置に自動的に設定する手法などによって選択的に設定してもよい。
【００９４】
注目点の設定情報は、例えば、注目点の座標情報として記憶部９に記憶され、画像処理装置３Ａの構成要素によって適宜使用される。
【００９５】
◎領域判定部１３：
領域判定部１３は、注目点設定部１２によって設定された各注目点が、記憶部９に記憶された領域情報Ｖ１に基づいて定められる注目基準画像上の所定の領域に属するかどうかを判定し、得られた判定情報を初期視差設定部１４および視差特定部１５に直接または制御部１６を介するなどして間接的に供給する。
【００９６】
本実施形態においては、領域情報Ｖ１は、２つの視差特定領域を特定する情報である。
【００９７】
具体的には、領域情報Ｖ１は、領域の注目点に基づいて設定される基準ウィンドウが基準画像からはみ出ない注目点から構成される視差特定領域（「第１領域」と称する）と、注目点に基づいて設定される基準ウィンドウが基準画像からはみ出る視差特定領域（「第２領域」と称する）とを、それぞれ特定するための情報である。
【００９８】
図１２および図１３は、実施形態にかかる領域情報Ｖ１に基づいて注目基準画像ＢＩｍに特定される第１領域と第２領域とを説明する図である。
【００９９】
図１２においては、注目点として３つの黒丸が例示されており、所定サイズの基準ウィンドウＷ１〜Ｗ３が、各注目点に基づいて設定されている。
【０１００】
基準ウィンドウＷ１およびＷ２は、ともに注目基準画像ＢＩｍからはみ出ていないが、基準ウィンドウＷ３は、注目基準画像ＢＩｍからはみ出ている。
【０１０１】
図１３に示される第１領域Ｄｍは、注目点に対して設定される基準ウィンドウが注目基準画像ＢＩｍからはみ出ないときの各注目点によって定められる領域である。
【０１０２】
第２領域Ｅｍは、注目点に対して設定される基準ウィンドウが注目基準画像ＢＩｍからはみ出るときの各注目点によって定められる領域である。
【０１０３】
また、境界線Ｇｍは、第１領域Ｄｍと第２領域Ｅｍとの境界線を示している。
【０１０４】
本実施形態の領域情報Ｖ１は、各階層毎に第１領域と第２領域とを特定する情報である。
【０１０５】
図１４および図１５は、上位階層である注目基準画像ＢＩｍ、およびその１つ下位階層の基準画像ＢＩ（ｍ−１）のそれぞれの画像における第１領域と第２領域とを例示する図である。
【０１０６】
図１４に示される注目基準画像ＢＩｍは、２０画素×２０画素の基準画像を例示しており、図１５に示される基準画像ＢＩ（ｍ−１）は、注目基準画像ＢＩｍから解像度変倍率ＲＲを１／２として低解像度化された１０画素×１０画素の基準画像を例示している。
【０１０７】
ここでは、注目基準画像ＢＩｍと、基準画像ＢＩ（ｍ−１）とが同じ画像サイズで表示されるように、基準画像ＢＩ（ｍ−１）の縮尺を調整して表示している。
【０１０８】
図１４に示される基準ウィンドウＷＢｍは、注目点Ｐａに対して設定された５画素×５画素の基準ウィンドウの例であり、図１５に示される基準ウィンドウＷＢｍは、注目点Ｐｂに対して設定された５画素×５画素の基準ウィンドウの例である。
【０１０９】
また、図１４には、注目基準画像ＢＩｍにおける第１領域と第２領域との境界線Ｇｍが示されており、図１５には、基準画像ＢＩ（ｍ−１）における第１領域と第２領域との境界線Ｇｍが示されるとともに、注目基準画像ＢＩｍにおける境界線Ｇｍが、想像線で示されている。
【０１１０】
ここで、図１５においては境界線Ｇｍの内部に境界線Ｇ（ｍ−１）が存在しており、注目基準画像ＢＩｍと基準画像ＢＩ（ｍ＋１）とでは、基準画像に対する第１領域の面積比は、基準画像ＢＩｍの方が大きくなっている。
【０１１１】
このように、各階層の画像を同じ縮尺で表示すると下位階層ほど見かけ上の画素サイズが大きくなるのに対して、ウィンドウサイズが階層間で同じである場合は、基準ウィンドウが基準画像からはみ出る第２領域の各座標方向の画素数は、例えば、図１４および図１５ではＸ軸、Ｙ軸方向ともに２画素であるように一定数であるため、基準画像に対する第１領域の面積比は、上位階層ほど大きく（下位階層ほど小さく）なる。
【０１１２】
◎初期視差設定部１４：
初期視差設定部１４は、視差特定部１５が行う、注目基準画像の注目点と、注目点に対応する、注目参照画像の対応点との視差を特定する視差特定処理の基準となる初期視差を、注目点に対して設定する初期視差設定処理を行う。また、設定された初期視差は、視差記憶画像のうち、注目点に対応する領域に記憶される。
【０１１３】
なお、注目点について視差特定部１５によって視差が特定されたときは、視差記憶画像に記憶された初期視差は、例えば、特定された視差に書き換えられる。
【０１１４】
図１６および図１７は、注目基準画像ＢＩｍと、その１つ下位階層の基準画像ＢＩ（ｍ−１）における一部の画素を例として、初期視差設定部１４が行う初期視差設定処理を、説明する図である。
【０１１５】
図１６では、注目基準画像ＢＩｍの一部の画素と、解像度変倍率ＲＲを１／２として注目基準画像ＢＩｍが低解像度化された１つ下位階層の基準画像ＢＩ（ｍ−１）の一部の画素との対応関係を示している。
【０１１６】
図１６では解像度変倍率ＲＲが１／２であるので、基準画像ＢＩ（ｍ−１）の斜線部分の２画素の注目点が、注目基準画像ＢＩｍの斜線部分の８画素の注目点に対応している。
【０１１７】
図１７は、基準画像ＢＩ（ｍ−１）の斜線部分の２画素の注目点ｐ１、ｐ２と、注目点ｐ１およびｐ２にそれぞれ対応する注目基準画像ＢＩｍの斜線部分の８画素の注目点ｐ３〜ｐ６およびｐ７〜Ｐ１０に対応する視差記憶画像を示している。
【０１１８】
注目点ｐ１およびｐ２について視差特定部１５によって特定された視差は、Ｑ１およびＱ２である。
【０１１９】
注目点ｐ１に対応する注目点ｐ３〜ｐ６に設定された初期視差は、それぞれｑ１〜ｑ４であり、初期視差ｑ１〜ｑ４は、視差Ｑ１に解像度変倍率ＲＲの逆数を乗算することによって求められる。
【０１２０】
同様に、注目点ｐ２に対応する注目点ｐ７〜ｐ１０に設定された初期視差は、それぞれｑ５〜ｑ８であり、初期視差ｑ５〜ｑ８は、視差Ｑ２に解像度変倍率ＲＲの逆数を乗算することによって求められる。
【０１２１】
このように、注目基準画像の注目点についての初期視差設定処理は、注目基準画像ＢＩｍの注目点に対応する、１つ下位階層の基準画像ＢＩ（ｍ−１）の注目点について特定された視差に基づいて設定される。
【０１２２】
また、初期視差設定部１４は、領域判定の結果を用いることによって、例えば、注目基準画像の注目点が、初期視差を用いない視差特定規則が適用される領域に属すると判定できる場合には、この注目点について初期視差の設定を行わないようにしても良い。
【０１２３】
なお、採用された視差特定領域の設定方法に起因して注目基準画像の注目点に対応する１つ下位階層の基準画像の注目点についての視差が特定されていない場合や、多重解像度画像の作成方法に起因して注目基準画像の注目点に対応する１つ下位階層の基準画像の注目点が存在しない場合には、注目基準画像のこれらの注目点についての初期視差は、注目基準画像の初期視差が設定された他の注目点についての初期視差に基づいて、外挿演算などによって設定される。
【０１２４】
外挿演算による初期視差の設定については、変形例の説明において後述する。
【０１２５】
◎視差特定部１５：
視差特定部１５は、多重解像度基準画像ＭＢ中の注目階層の基準画像上に設定された注目点と、この注目点に対応する多重解像度参照画像ＭＲ中の注目階層の参照画像上の対応点との視差を特定する視差特定処理を行うことによって、当該対応点を探索する。
【０１２６】
また、特定された視差は、視差記憶画像の注目点に対応する記憶領域に記憶される。
【０１２７】
本実施形態においては、視差特定部１５は、基準画像ＢＩｍの注目点が図１２に示される第１領域Ｄｍに属する場合、すなわち、注目点を内包する基準ウィンドウが注目基準画像内に収まるときには、基準ウィンドウ内の画像情報と、注目点についての初期視差に基づいて注目参照画像に設定される参照ウィンドウの画像情報とを用いる第１の視差特定処理によって、注目点についての視差を特定する。
【０１２８】
また、注目点が図１２に示される第２領域Ｅｍに属する場合、すなわち、注目点を内包する基準ウィンドウが前記注目基準画像からはみ出すときには、視差特定部１５は、注目基準画像の外部領域からの視差特定処理への寄与度を、注目点が第１領域に属するときよりも低めた第２の視差特定処理によって注目点についての視差を特定する。
【０１２９】
注目点を内包するウィンドウが基準画像からはみ出る第２領域Ｅｍの注目点に適用される第２の視差特定処理のほうが、基準ウィンドウが基準画像ＢＩｍからはみ出ない第１領域の注目点に適用される第１の視差特定処理よりも、画像外情報の視差特定処理に対する寄与度が小さくなるので、ウィンドウが基準画像からはみ出るときの視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０１３０】
第１の視差特定処理と第２の視差特定処理とは、例えば、第１の視差特定処理用と第２の視差特定処理用の処理プログラムを注目点の所属領域に応じて選択的に切り替えることによって行われる。
【０１３１】
また、視差特定部１５内に、第１の視差特定処理用と第２の視差特定処理用の処理装置をそれぞれ備えおり、これらの処理装置を注目点の所属領域に応じて選択的に切り替えることによって行ってもよい。
【０１３２】
上述した処理プログラムや処理装置の切り替えについては、例えば、領域判定部１３の判定結果を取得した制御部１６が、領域情報Ｖ１に含まれる視差特定処理の選択情報に基づいて視差特定部１５などを制御することなどによって行われる。
【０１３３】
また、視差特定部１５自体が、領域情報Ｖ１に含まれる視差特定処理の選択情報を取得して、領域判定部１３から供給される判定結果に基づいて、視差特定処理方法の切り替えを行っても良い。
【０１３４】
なお、視差特定処理において用いられる基準ウィンドウと参照ウィンドウのサイズは、記憶部９から取得される制御パラメータであるウィンドウサイズＷＸ、ＷＹによって決定される。
【０１３５】
◎制御部１６：
制御部１６は、画像処理装置３Ａの各部を統括的に制御することによって、視差特定処理や３次元データ作成などの情報処理を実現する。
【０１３６】
視差特定処理においては、制御部１６は、視差特定処理の対象となる多重解像度基準画像ＭＢおよび多重解像度参照画像ＭＲ中の注目階層を、下位の階層から上位の階層に向けて注目点設定部１２、初期視差設定部１４および視差特定部１５などの画像処理装置３Ａの各部に対して逐次設定しつつ、視差特定処理が下位の階層から上位の階層に向けて階層的に繰り返し実行されるように画像処理装置３Ａの各部を制御する。
【０１３７】
また、制御部１６は、記憶部９に記憶された領域情報Ｖ１を取得して領域判定部１３に供給するとともに、領域情報Ｖ１に含まれる視差特定処理識別情報を取得し、領域判定部１３によって求められる、注目点が属する視差特定領域ついての判定情報に基づいて、各視差特定領域について適用されるべき視差特定処理に関する情報を取得する。
【０１３８】
制御部１６は、取得した視差特定領域と、該視差特定領域に適用される視差特定処理との関係に基づいて、視差特定部１５が、注目点の属する視差特定領域に応じた視差特定処理を行うように視差特定部１５などを制御する。
【０１３９】
視差特定処理において、上述したように第１の視差特定処理用と第２の視差特定処理用の処理とを注目点の所属領域に応じて選択的に切り替える制御も行う。
【０１４０】
以上に説明された構成によって、画像処理装置３Ａは、多重解像度戦略に基づく視差特定処理を行って対応点を探索する。
【０１４１】
＜画像処理装置３Ａの動作説明＞
次に、画像処理装置３Ａの視差特定処理などついてさらに詳しく説明し、その後、画像処理装置３Ａが行う多重解像度画像を用いた対応点の探索処理の全体処理フローを説明する。
【０１４２】
◎第１の視差特定処理：
図１８は、注目点に設定される基準ウィンドウが基準画像からはみ出ない第１領域において、視差特定部１５が行う第１の視差特定処理の概要を説明する図である。図１８では、注目点設定部１２によって、多重解像度基準画像ＭＢ中の注目階層の基準画像ＢＩｍ上に注目点Ｎｍが設定されている。
【０１４３】
また、図１８では、注目点Ｎｍと、初期視差設定部１４によって注目点Ｎｍに設定された初期視差とによって多重解像度参照画像ＭＲ中の該注目階層の参照画像ＲＩｍ上に探索基準点Ｋｍが特定されている。
【０１４４】
視差特定部１５は、記憶部９に格納されたウィンドウサイズＷＸ、ＷＹに基づいて、注目点Ｎｍに対して基準ウィンドウＷＢｍを、探索基準点Ｋｍに対して参照ウィンドウＷＲｍをそれぞれ設定し、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関を求めることによって、注目点Ｎｍに対応する対応点ＣＰｍを求める。
【０１４５】
○基準ウィンドウと参照ウィンドウ：
図１９および図２０は、参照画像ＷＢｍに設定された基準ウィンドウＷＢｍの設定例を示す図である。
【０１４６】
図１９に例示される基準ウィンドウＷＢｍは、水平方向画素数と垂直方向画素数がともに奇数であり、注目点Ｎｍの座標は、基準ウィンドウＷＢｍの重心Ｗｇと一致する。
【０１４７】
図２０に例示される基準ウィンドウＷＢｍは、水平方向画素数と垂直方向画素数とがともに偶数であり、注目点Ｎｍの座標は、基準ウィンドウＷＢｍの重心Ｗｇに対して−Ｘ方向、−Ｙ方向に１画素ずれている。
【０１４８】
図１９および図２０に示される例の他に、基準ウィンドウＷＢｍの水平方向画素数と垂直方向画素数とは、それぞれ奇数と偶数（順不同）との組でもよい。
【０１４９】
なお、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍとのそれぞれの水平方向（Ｘ方向）画素数は同じであり、それぞれの垂直方向（Ｙ方向）画素数もまた同じである。
【０１５０】
ここで、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍの画像間の相関を求める手法としては、例えばＳＡＤ法（差分絶対値和法）などのように周波数分解を行わない手法と、ＰＯＣ法（位相限定相関法）などのように周波数分解を行う手法とがあり、周波数分解を行う手法を用いる場合には、高速フーリエ変換（ＦＦＴ）を用いて必要な演算回数を抑制し、処理の高速化を図る観点から、水平方向画素数と垂直方向画素数とを２のべき乗で表される画素数とすることが望ましい。
【０１５１】
次に、ＳＡＤ法とＰＯＣ法を例として、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍの画像間の相関を求める手法について説明する。
【０１５２】
○ＳＡＤ法：
図２１は、ＳＡＤ法を用いた視差特定処理の手順を示す図である。
【０１５３】
図２１に示される注目階層の基準画像ＢＩｍ上にはＸ座標がｈ２である注目点Ｎｍが設定されており、注目点Ｎｍに対して基準ウィンドウＷＢｍが設定されている。基準ウィンドウＷＢｍのＸ方向の両端のＸ座標は、ｈ１とｈ３である。また、該注目階層の参照画像ＲＩｍ上には、注目点Ｎｍに対応する対応点ＣＰｍが示されている。
【０１５４】
ここでは、ＳＡＤ法を用いて対応点ＣＰｍを求める例について説明する。
【０１５５】
参照画像ＲＩｍ上には、Ｘ座標がｘｓである探索基準点ＫｍｓからＸ座標がｘｅである探索基準点Ｋｍｅまで、Ｘ座標がｘｓ≦ｘ≦ｘｅの範囲で１画素ごとに複数の探索基準点が設定されており、これら複数の探索基準点の代表として両端の探索基準点Ｋｍｓ、Ｋｍｅのみが記載されている。
【０１５６】
また、該複数の探索基準点には、それぞれ基準ウィンドウＷＢｍと、同サイズの複数の参照ウィンドウとが設定されており、該複数の参照ウィンドウの代表として両端の参照ウィンドウＷＲｍｓ、ＷＲｍｅのみが記載されている。
【０１５７】
ここで、図２１においては説明を簡単にするため、注目点Ｎｍと複数の探索基準点Ｋｍｓ〜ＫｍｅのＹ座標は同じであり、従って、基準ウィンドウＷＢｍと、参照ウィンドウＷＲｍｓ〜ＷＲｍｅのＹ方向の座標のずれ量は無いように設定されている。また、注目点Ｎｍと、求められるべき対応点ＣＰｍのＹ座標も一致するように設定されている。
【０１５８】
次に、参照ウィンドウＷＲｍｓ〜ＷＲｍｅの各参照ウィンドウ内の各画像と、基準ウィンドウＷＢｍ内の画像との相関値を演算する。基準ウィンドウと参照ウィンドウのＸ方向、Ｙ方向の座標のずれ量（「視差」とも称する）をそれぞれ視差ｘｄ、ｙｄとする。図２１の例では、視差ｘｄの範囲はｘｓ−ｈ２〜ｘｅ−ｈ２であり、視差ｙｄは０である。
【０１５９】
基準ウィンドウＷＢｍ内の各画素（xｉ，yｊ）の画素値をＩｍｇ１（xｉ，yｊ）、Ｘ方向、Ｙ方向の視差が、視差ｘｄ、ｙｄである参照ウィンドウＷＲｍ内の各画素（ｘｉ＋ｘｄ，yｊ＋ｙｄ）の画素値をＩｍｇ２（ｘｉ＋ｘｄ，yｊ＋ｙｄ）とすると、（１）式、（２）式を用いた演算によって基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像の相関値ＣＯＲｐが算出される。
【０１６０】
【数１】
【０１６１】
参照ウィンドウがＷＲｍｓからＷＲｍｅにわたって走査されるように、Ｘ方向の視差ｘｄをｘｓ−ｈ２〜ｘｅ−ｈ２の範囲で変更しつつ、（１）式および（２）式によって各視差ｘｄに対する相関値ＣＯＲｐが算出されると、図２１に示すグラフＵ１のように参照画像ＲＩｍのＸ座標と相関値ＣＯＲｐとの関係が明らかになる。
【０１６２】
図２１の例では、座標ｘＭにおいて、グラフＵ１における相関値ＣＯＲｐの最大値が与えられているので、探索基準点のＸ座標がｘＭと一致する参照ウィンドウが、相関値ＣＯＲｐの最大値を与える参照ウィンドウであり、該参照ウィンドウの探索基準点と、注目点Ｎｍに対応する対応点ＣＰｍとは一致する。
【０１６３】
図２２はＳＡＤ法における参照ウィンドウＷＲｍの走査態様を例示する図であり、注目階層の参照画像ＲＩｍの全域に参照ウィンドウＷＲｍを走査させている。ＳＡＤ法はＰＯＣ法に比べて演算量が少なく高速な処理が可能であるので、画素数が多い参照画像ＲＩｍにＳＡＤ法による視差特定処理を適用し、図２２に示される全域走査を行っても処理時間が短くなる。
【０１６４】
従ってＳＡＤ法を用いる場合には、周波数分解を行う手法を用いる場合に比べて多重解像度画像の階層数を減らすことができる。また、対応点に近い探索基準点を求めることなく、画像の全域にわたって参照ウィンドウの走査を行って視差特定をしても、周波数分解を行う手法を用いる場合に比べて短時間で視差特定処理を行うことができるので、探索基準点を求める処理コストを削減することが可能となる。
【０１６５】
○ＰＯＣ法：
図２３は、ＰＯＣ法を用いた視差特定処理手順を示す図である。
【０１６６】
ＰＯＣ法は、周波数分解を使用した相関法であって、かつ、振幅成分を抑制した相関法である。同様の相関法として、ＤＣＴ符号限定相関法（参考論文：「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」貴塚仁志）などが知られている。これらの相関法は、パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行うため、画像を取得するためのステレオカメラ２における撮影条件の差（ここでは、撮像系２１、２２における撮影条件の差）や、ノイズなどの影響を受けにくく、ロバストな対応点検索が可能である。
【０１６７】
また、ＳＡＤ法が、１組の基準ウィンドウと参照ウィンドウに対して１つの相関値（ＣＯＲｐ値）のみを出力するため、相関値が最も高い参照ウィンドウ、すなわち、相関値が最も高い視差を特定するためには複数の参照ウィンドウにわたって、参照ウィンドウの走査を行う必要があるのに対して、ＰＯＣ法などの周波数分解を使用した相関法は、１組の基準ウィンドウと参照ウィンドウの画像に対して、画像間の相関値とともに、相関値が最も高くなる画像間の視差が求められるので、対応点が該参照ウィンドウ内に存在する場合には、参照ウィンドウの走査を行う必要がない。
【０１６８】
このため、多重解像度画像にＰＯＣ法を用いる対応点探索法によれば、画素数の最も少ない多重解像度画像の最下位の基準画像と参照画像の画像全域をそれぞれ当初の基準ウィンドウと参照ウィンドウに設定して正しい対応点を探索した後、該対応点に基づいて１つ上位階層に参照ウィンドウを設定して該参照ウィンドウを走査することなく該階層における正しい対応点を求める探索処理を全ての階層にわたって繰り返すことが可能となる。従って、ＰＯＣ法を用いる視差特定手法は、多重解像度画像を対象とする視差特定処理に好適な手法となる。
【０１６９】
以下に、ある注目階層における基準画像ＢＩｍに対する基準ウィンドウＷＢｍ内の画像と、該注目階層の参照画像ＲＩｍに対する参照ウィンドウＷＲｍ内の画像とを視差特定処理の対象として注目点についての視差を求める場合を例に、ＰＯＣ法の基本原理を説明する。
【０１７０】
先ず、注目階層における基準画像ＢＩｍに対して基準ウィンドウＷＢｍを設定する基準ウィンドウ設定処理Ｔ１ａ、および注目階層における参照画像ＲＩｍに対して参照ウィンドウＷＲｍを設定する参照ウィンドウ設定処理Ｔ１ｂが行われる。
【０１７１】
基準ウィンドウＷＢｍ内の画像領域と、参照ウィンドウＷＲｍ内の画像領域とは、次の（３）式、（４）式のように表されるものとする。
【０１７２】
【数２】
【０１７３】
ここで、（３）式のｆ0(ｎ1,ｎ2)および（４）式のｇ0(ｎ1,ｎ2)は、基準ウィンドウＷＢｍ内および参照ウィンドウＷＲｍ内の画素の画素値を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
【０１７４】
次に、周波数分解を行う前に、ウィンドウ領域の端部での不連続性の影響を取り除くために窓関数を用いた窓関数処理Ｔ２ａおよびＴ２ｂを行う。
【０１７５】
窓関数は、例えば、（５）式のH(n1,n2)で与えられるハニング窓が採用され、窓関数処理Ｔ２ａおよびＴ２ｂは、基準ウィンドウＷＢｍ内および参照ウィンドウＷＲｍ内の各画素の画素値に（５）式の窓関数の出力値を乗ずる演算（６）式および（７）式でそれぞれ与えられる。
【０１７６】
【数３】
【０１７７】
窓関数としては、ハニング窓の他に、例えば、ハミング窓、カイザー窓などが採用される。
【０１７８】
次に、基準ウィンドウＷＢｍ、参照ウィンドウＷＲｍ内の各画像領域に対し、（８）式、（９）式で示す演算式を用いて、図２３に示される２次元のフーリエ変換処理Ｔ３ａ、Ｔ３ｂが行われる。
【０１７９】
【数４】
【０１８０】
なお、（８）式、（９）式の下部ただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。ここで、周波数分解の処理は必ずしもフーリエ変換である必要はなく、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換の何れかを含んでいても良い。
【０１８１】
このようなフーリエ変換処理Ｔ３ａ、Ｔ３ｂが施された各画像領域に対しては、（１０）式で示す演算式を用いて、画像の振幅成分を除去するための正規化処理Ｔ４ａ、Ｔ４ｂが行われる。
【０１８２】
【数５】
【０１８３】
規格化処理Ｔ４ａ、Ｔ４ｂが完了すると、（１１）式で示す演算式を用いた正規化クロス・パワースペクトル算出処理Ｔ５が行われる。
【０１８４】
【数６】
【０１８５】
正規化クロス・パワースペクトル算出処理Ｔ５が完了すると、（１２）式で示す演算式を用いた２次元の逆フーリエ変換処理Ｔ６が行われる。これにより、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍ内の各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【０１８６】
【数７】
【０１８７】
以上の処理により、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関を示す演算結果(ＰＯＣ値)が得られ、例えば、図２４で示すような結果（ＰＯＣ値）が得られる。
【０１８８】
図２４は、ＰＯＣ値の例を示す図である。図２４においては、ウィンドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＳを与える座標が、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関が最も高くなる視差を示す。この視差を特定する処理が視差特定Ｔ７であり、特定された視差に基づいて、基準ウィンドウＷＢｍ内の注目点Ｎｍに対応した参照ウィンドウＷＲｍ内の対応点Ｃｐｍが求められる。
【０１８９】
以上のように、ＰＯＣ法を用いた視差特定処理によれば、画像の振幅成分が除去され、画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響が抑制されて対応点が精度良く検出される。
【０１９０】
◎第２の視差特定処理：
次に、注目点が第２領域に属する場合に適用される第２の視差特定処理について幾つかの手法例を説明する。
【０１９１】
○第２の視差特定処理の手法例１：
第２の視差特定処理の手法例１として、ＰＯＣ法を用いる例を説明する。
【０１９２】
図２５は、注目基準画像ＢＩｍの第１領域Ｄｍと第２領域Ｅｍの基準ウィンドウを例示する図であり、図２５に示される境界線Ｇｍは、第１領域Ｄｍと第２領域Ｅｍとの境界線を示している。
【０１９３】
図２５では、第１領域Ｄｍの注目点に基づいて基準ウィンドウＷ１が、第２領域Ｅｍの注目点に基づいて基準ウィンドウＷ１と同じサイズの基準ウィンドウＷ２が、それぞれ設定されており、基準ウィンドウＷ２は、基準画像ＢＩｍからはみ出している。
【０１９４】
この基準ウィンドウＷ２を用いて第１の視差特定処理におけるＰＯＣ法をそのまま適用する場合には、基準ウィンドウＷ２が基準画像ＢＩｍからはみ出る部分についても相関演算ができるようにする必要がある。
【０１９５】
図２６は、第１の視差特定処理におけるＰＯＣ法において（５）式を用いて説明した窓関数の例を示す図であり、（５）式で示される窓関数の形状を基準ウィンドウの重心ｐｃを通り、基準ウィンドウの幅が２Ｍ1＋１となる方向について関数値ＷＦ０として表示している。
【０１９６】
また、はみ出し部Ｅｘは、図２５において窓関数が基準画像ＢＩｍからはみ出ている部分に対応している。
【０１９７】
ここで、基準ウィンドウＷ２が基準画像からはみ出た部分の仮の画素値として、例えば、予め定められた固定値、または基準画像の画像端部の画素値など採用することで、探索ウィンドウ間の相関値を求めて対応点の探索を行う手法が考えられる。
【０１９８】
しかし、この場合は、第１の視差特定処理における（５）式の窓関数では、はみ出し部Ｅｘの部分に設定された仮の画素値によって、相関演算の精度が低下しやすくなる。
【０１９９】
すなわち、第１領域Ｄｍに適用されるＰＯＣ法をそのまま適用すると、基準画像から基準ウィンドウがはみ出る部分に設定される画素値によって、視差特定処理の精度が低下しやすくなる。
【０２００】
そこで、第２の視差特定処理の手法例１として、窓関数にウィンドウ領域の端部での不連続性の影響を取り除くという窓関数本来の機能に加えて、第１の視差特定処理の窓関数に比べて、画像外にはみ出たウィンドウ領域の第２の視差特定処理への寄与度を低める機能をも備えた（１３）式で示される窓関数などが採用される。
【０２０１】
【数８】
【０２０２】
図２７は、実施形態に係る第２の視差特定処理のＰＯＣ法において用いられる窓関数として（１３）式の窓関数を例示する図である。
【０２０３】
図２７においては、図２６の窓関数の関数値ＷＦ０が幅方向に圧縮されて幅が２Ｌ1＋１の関数値ＷＦ１になっている。他の符号については、図２６と同じであり、また、比較のために図２６の窓関数の関数値ＷＦ０も表示している。
【０２０４】
図２７に示されるように、はみ出し部Ｅｘにおいては、関数値ＷＦ０よりも関数値ＷＦ１の方が小さくなっている。
【０２０５】
すなわち、第２の視差特定処理の手法例１では、注目点を内包する基準ウィンドウのうち、基準画像からはみ出る部分の第２の視差特定処理への寄与度を、この部分の第１の視差特定処理への寄与度よりも低めている。
【０２０６】
このように、第２の視差特定処理の手法例１では、画像外情報の寄与度を第１の視差特定処理を用いたときよりも抑制することによって、第２の視差特定処理による視差特定精度を向上させることができ、多重解像度画像を用いた視差特定処理の処理性能を改善することが可能となる。
【０２０７】
また、手法例１によれば、位相相関法などの周波数解析を利用する視差特定処理において、信号の不連続性を除去するために必須の窓関数に、第２領域の注目点に設定された基準ウィンドウの基準画像の画像外情報の視差特定処理に対する寄与度を、同一の注目点についての基準ウィンドウに第１の視差特定処理の窓関数を適用する場合に比べて下げる機能を兼ねさせることができるので、ＰＯＣ法による視差特定処理の処理過程に新たな処理を追加することなく、第２領域の注目点についての視差特定精度を向上させることができ、多重解像度画像を用いた視差特定処理の処理性能を改善することができる。
【０２０８】
なお、ここでは、関数値ＷＦ１に示される窓関数に代えて、幅２Ｌ1＋１の矩形波の窓関数を採用しても同様の効果が得られる。
【０２０９】
図２８および図２９は、実施形態に係る第２の視差特定処理の手法例１の窓関数の他の態様を例示する図である。
【０２１０】
図２８および図２９においては、図２７の関数値ＷＦ１に代えて、それぞれ関数値ＷＦ２およびＷＦ３が採用されており、他の符号は図２７と同じである。
【０２１１】
図２８に示される関数値ＷＦ２は、基準ウィンドウの重心ｐｃから、図２８に向かって右側の、基準ウィンドウが基準画像からはみ出す方向の関数値については、同一部分に対応する関数値ＷＦ１が採用されており、基準ウィンドウの重心ｐｃから、図２８に向かって左側の、基準画像の中心よりの画素に対する関数値としては、関数値ＷＦ０が採用されている。
【０２１２】
図２７に関数値ＷＦ１で示される窓関数を用いても、本発明の有用性を損なうものではないが、図２８に例示される関数値ＷＦ２で示される窓関数を用いれば、注目点を内包する基準ウィンドウのうち、基準画像からはみ出る部分の第２の視差特定処理への寄与度を、この部分の第１の視差特定処理への寄与度よりも低めることができる。
【０２１３】
さらに基準ウィンドウの重心ｐｃから、図２８に向かって左側の、基準画像の中心よりの部分の画素については、第１の視差特定処理に用いられる窓関数ＷＦ０と同じ寄与度を維持することができるので、視差特定処理において、基準画像の中心よりの、はみ出し部分Ｅｘの画素に比べて信頼性の高い画素の画素値を有効に利用することができ、視差特定精度を向上させることができる。
【０２１４】
また、図２９に示される関数値ＷＦ３は、基準ウィンドウの重心ｐｃから、図２９に向かって右側の、基準ウィンドウが基準画像からはみ出す方向の関数値については、同一部分に対応する関数値ＷＦ１が採用されており、基準ウィンドウの重心ｐｃから、図２８に向かって左側の、基準画像の中心よりの画素に対する関数値ＷＦ３としては、関数値ＷＦ０よりも視差特定処理への寄与度が高い関数値が採用されている。
【０２１５】
つまり、関数値ＷＦ３で示される窓関数は、基準ウィンドウのうち基準画像からはみ出る部分の寄与度を第１の視差特定処理よりも低めるとともに、基準ウインドウのうち注目基準画像の中心寄りの部分の寄与度を第１の視差特定処理よりも高めている。
【０２１６】
関数値ＷＦ３に示される窓関数を用いれば、注目点を内包する基準ウィンドウのうち、基準画像からはみ出る部分の第２の視差特定処理への寄与度を、この部分の第１の視差特定処理への寄与度よりも低めることができる。
【０２１７】
さらに、基準ウィンドウの重心ｐｃから、図２９に向かって左側の、基準画像の中心よりの部分の画素については、第１の視差特定処理に用いられる窓関数ＷＦ０よりも寄与度を高くすることができるので、視差特定処理において、基準画像の中心よりの、はみ出し部分Ｅｘの画素に比べて信頼性の高い画素の画素値を関数値ＷＦ０よりもさらに有効に利用することができ、視差特定精度を向上させることができる。
【０２１８】
○第２の視差特定処理の手法例２：
図３０は、第２の視差特定処理の手法例２で採用される第２領域Ｅｍにおける基準ウィンドウＷ３の設定例を示す図であり、基準ウィンドウＷ３を除いて、図２５の各領域、境界線、基準ウィンドウが、図２５と同じ符号で示されている。
【０２１９】
図３０に示される基準ウィンドウＷ３では、図２５に示される基準ウィンドウＷ２と同一の注目点に対して設定されており、注目基準画像ＢＩｍから基準ウィンドウＷ２のはみ出し方向について、基準ウィンドウＷ２よりも短幅のウィンドウ内の画像情報を用いたＰＯＣ法によって第２領域の注目点についての視差特定処理が行われる。
【０２２０】
従って、注目点を内包する基準ウィンドウが基準画像からはみ出る第２領域の注目点に適用される第２の視差特定処理では、基準ウィンドウのはみ出し方向について、第１の視差特定処理で使用される基準ウィンドウよりも短幅のウィンドウ内の画像情報を用いるので、第２の視差特定処理による視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０２２１】
○第２の視差特定処理の手法例３、手法例４：
図３１は、第２の視差特定処理の手法例３における第２領域の視差の特定方法の例を説明する図である。
【０２２２】
また、図３２および図３３は、第２の視差特定処理の手法例４における第２領域の視差の特定方法の例を説明する図である。
【０２２３】
図３１および図３２においては、図３０の基準画像ＢＩｍに対応する視差記憶画像ＳＩｍが示されており、視差記憶画像ＳＩｍには、図３０の基準画像ＢＩｍと同じ各領域、境界線が、図３０と同じ符号で示されている。
【０２２４】
この手法例３および手法例４においては、先ず、第１領域に属する注目点についての視差を先ず算出し、第２領域の注目点についての視差は、この第２領域の注目点よりも基準画像の中心寄りの注目点に対して、既に特定されている視差を用いて特定される。
【０２２５】
手法例３および手法例４による第２の視差特定処理では、注目点よりも基準画像の中心よりの点について既に特定された視差を利用して注目点の視差を求めるので、視差の連続性によって、注目点に設定されるウィンドウが基準画像からはみ出るときの視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０２２６】
先ず、手法例３について具体的に説明する。図３１における注目点ｐ１は第１領域に属しており、注目点ｐ２は、第２領域に属している。
【０２２７】
注目点ｐ１についての視差Ｑ１は、既に第１の視差特定処理によって既に特定されている視差である。
【０２２８】
注目点ｐ２についての視差Ｑ２としては、注目点ｐ２よりも基準画像の中心よりの注目点ｐ１を注目点ｐ２の代替点として、この代替点について特定済みの視差Ｑ１をそのまま視差Ｑ２として採用する。
【０２２９】
なお、代替点について算出済みの視差をそのまま視差Ｑ２として採用するだけでなく、例えば、視差Ｑ１に、注目点ｐ１およびｐ２の間隔に応じた重み係数を乗じた視差を視差Ｑ２として採用しても良い。
【０２３０】
また、注目点ｐ１と注目点ｐ２との間に位置する他の注目点についての視差を注目点ｐ１についての視差Ｑ１を用いて当該他の注目点についての視差を特定し、この視差を用いて注目点ｐ２についての視差を特定しても良い。
【０２３１】
すなわち、手法例３においては、第２の視差特定処理として、注目基準画像において注目点よりも基準画像の中心寄りの１つの代替点について既に特定された視差を用いて、当該注目点についての視差を特定する処理が行われる。
【０２３２】
手法例３による第２の視差特定処理では、注目点よりも基準画像の中心よりの１つの代替点について既に特定された視差を利用して注目点の視差を求める。
【０２３３】
この場合は、１つの注目点について特定された視差を用いるだけであるので、手法３による第２視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０２３４】
次に、手法例４について具体的に説明する。図３２における注目点ｐ１〜ｐ４は第１領域に属しており、注目点ｐ５は、第２領域に属している。
【０２３５】
第１領域の注目点ｐ１〜ｐ４については、既に第１の視差特定処理によって視差Ｑ１〜Ｑ４が既に特定されている。注目点ｐ５についての視差Ｑ５の特定については、図３３を用いて説明する。
【０２３６】
図３３は、図３２に示される注目点ｐ１からｐ４について図３２のＸ軸方向の座標ｘ１〜ｘ４に対する各視差Ｑ１〜Ｑ４がグラフ表示されている。
【０２３７】
図３３では、注目点ｐ５ついての視差Ｑ５を特定するときに、各視差Ｑ１〜Ｑ４の座標を通る直線を近似し、この直線に注目点ｐ５のＸ座標x5を代入することによって視差Ｑ５を求めている。
【０２３８】
すなわち、手法例４においては、第２の視差特定処理として、注目基準画像において注目点よりも基準画像の中心寄りの複数の代替点について既に特定された視差の外挿によって、当該注目点についての視差を特定する処理が行われる。
【０２３９】
図３３に示す例では、直線近似の外挿演算を用いているが、例えば、直線近似に代えて曲線を近似して外挿演算を行っても良い。
【０２４０】
手法例４による第２の視差特定処理では、注目点よりも基準画像の中心よりの複数の代替点について既に特定された視差の外挿によって注目点の視差を求めるので、複数の注目点に渡る視差の連続性を活かした視差特定処理を行うことができ、ウィンドウが基準画像からはみ出る第２領域の注目点についての視差特定精度を向上させることができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０２４１】
◎全体処理フロー：
次に、画像処理装置３Ａが行う多重解像度画像を用いた対応点探索処理の全体処理フローを説明する。
【０２４２】
図３７は、実施形態に係る画像処理装置３Ａが行う多重解像度画像を用いた視差特定処理Ｓ１００Ａの手順の概要を例示するフローチャートである。
【０２４３】
図３７のフローチャートにおいて、先ず、画像取得部１０は、基準カメラ２１の撮影する画像と参照カメラ２２が撮影する画像とを、それぞれ基準画像ＢＩＴおよび参照画像ＲＩＴとして取得し、記憶部９に記憶する（ステップＳ１０）。
【０２４４】
画像の取得が終了すると、多重解像度画像作成部１１は、記憶部９から多重解像度画像の階層数Ｔ、解像度変倍率ＲＲなどの多重解像度画像作成に関係する制御パラメータと、基準画像ＢＩＴ、参照画像ＲＩＴを取得し、該制御パラメータを用いて基準画像ＢＩＴと参照画像ＲＩＴに多段階の低解像度化処理を施して多重解像度基準画像ＭＢと多重解像度参照画像ＭＲを作成し、記憶部９に記憶する（ステップＳ２０）。
【０２４５】
多重解像度画像の作成が終了すると、制御部１６は、注目階層が未設定であれば、多重解像度基準画像ＭＢ、多重解像度参照画像ＭＲのそれぞれの最下位の基準画像ＢＩ１、参照画像ＲＩ１を注目階層の基準画像ＢＩｍ、参照画像ＲＩｍとして新規に設定し、既存の基準画像ＢＩｍ、参照画像ＲＩｍがあれば、基準画像ＢＩｍ、参照画像ＲＩｍの１つ上位階層の基準画像ＢＩ（ｍ＋１）と参照画像ＲＩ（ｍ＋１）を、それぞれ新たな注目階層の基準画像ＢＩｍと参照画像ＲＩｍとして再設定し、該設定情報を初期視差設定部１４、視差特定部１５などに供給する（ステップＳ３０）。
【０２４６】
注目階層の設定が終了すると、制御部１６は、記憶部９から当該注目階層についての第１領域および第２領域の領域情報Ｖ１を取得し、領域判定部１３へ供給する（ステップＳ４０）。
【０２４７】
なお、領域情報Ｖ１を用いることなく、注目点の座標と探索ウィンドウのサイズＷＸ、ＷＹを用いることによって、注目点についての基準ウィンドウが基準画像からはみ出るか否かを判定することによって注目点が第１領域に属するか、第２領域に属するかを判定することができるので、この場合には、ステップＳ４０の処理は行わなくても良い。
【０２４８】
領域情報の取得が終了すると、注目点設定部１２は基準画像の画素を注目点として背設定する（ステップＳ５０）。
【０２４９】
注目点の設定が終了すると、処理は、注目点の視差を特定する処理ステップＳ６０Ａに移される。
【０２５０】
図３８は、実施形態に係る注目点の視差を特定する処理ステップＳ６０Ａの処理の概要を例示するフローチャートである。
【０２５１】
先ず、初期視差設定部１４は、初期視差設定部１４についての説明欄で記述した初期視差設定処理を行い、注目点について初期視差を設定する（ステップＳ２１０）。
【０２５２】
なお、注目階層が最下位の階層である場合には、１つ下位階層での視差を用いて注目階層での初期視差を設定できないので、例えば、初期視差０が注目点について設定される。
【０２５３】
注目点について初期視差の設定が終了すると、領域判定部１３によって注目点が、領域情報Ｖ１で定められる視差特定領域に属するかどうかが判定される（ステップＳ２２０）。本実施形態においては、具体的には、注目点が、第１領域と第２領域とのいずれに属するかが判定され、判定結果は、制御部１６などへと供給される。
【０２５４】
制御部１６は、注目点の所属領域についての判定結果を取得し、注目点について設定される基準ウィンドウが基準画像からはみ出るか否か、すなわち、注目点が第１領域に属するか否かを判断する（ステップＳ２３０）。
【０２５５】
判断の結果、注目点が第１領域に属する場合には、制御部１６は、記述した第１の視差特定処理を視差特定部１５に実行させて処理を図３７のステップＳ６０Ａへと戻す（ステップＳ２４０）。
【０２５６】
判断の結果、注目点が第２領域に属する場合には、制御部１６は、記述した第２の視差特定処理を視差特定部１５に実行させて処理を図３７のステップＳ６０Ａへと戻す（ステップＳ２５０）。
【０２５７】
ステップＳ６０Ａへと処理が戻されると、制御部１６は、注目階層の全ての注目点について視差特定処理が終了したかどうかを判定し、判定の結果、注目階層の全ての注目点について視差特定処理が終了していなければ、処理をステップＳ５０へと戻し、注目階層の全ての注目点について視差特定処理が終了していれば、処理をステップＳ８０に移す（ステップＳ７０）。
【０２５８】
ステップＳ８０においては、制御部１６は、全ての階層について視差特定処理が終了したか否かを判定し、終了していなければ、１つ上位の階層を注目階層として設定し（ステップＳ３０）、終了していれば、制御部１６は、多重解像度画像を用いた視差特定処理Ｓ１００Ａを終了させる。
【０２５９】
以上の処理によって、本実施形態に係る視差特定処理が実行される。
【０２６０】
＜変形例＞
本発明は上述の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
【０２６１】
◎例えば、記憶部９の領域情報Ｖ１として、各階層における基準画像に対する各階層における視差特定処理の面積比が、上位階層ほど大きくなるような領域情報Ｖ１が設定されてもよい。以下、具体例として変形例１および変形例２について説明する。
【０２６２】
なお、変形例１および変形例２に係る画像処理装置は、実施形態に係る画像処理装置３Ａと同じ各構成要素を採用し、記憶部９に記憶される領域情報Ｖ１のみを実施形態と異なる設定に変更するだけで構成することができる。
【０２６３】
従って、変形例１および変形例２については、変形例１および変形例２に係る画像処理装置の各構成要素についての説明は省略し、領域情報Ｖ１の変更によって生ずる、実施形態との差異のみを以下で説明する。
【０２６４】
＜変形例１に係る画像処理装置について＞
変形例１においては、各階層の基準画像における視差特定領域は、実施形態において記述した第１領域のみから構成されるように、領域情報Ｖ１が設定されている。
【０２６５】
なお、各階層の基準画像における視差特定領域は、第１領域が取り得る最大範囲に限定されることはなく、各階層における基準画像に対する各階層における視差特定処理の面積比が、上位階層ほど大きくなる条件が満たされるならば、第１領域が取り得る最大範囲のうちの一部であってもよい。
【０２６６】
すなわち、変形例１に係る視差特定領域は、注目基準画像の注目点について設定される基準ウィンドウが注目基準画像に収まる範囲の領域である。
【０２６７】
また、領域情報Ｖ１に含まれる視差特定処理の選択情報としては、第１の視差特定処理を選択する情報が採用される。
【０２６８】
従って、変形例１における視差特定部１５は、基準画像の注目点に基づいて設定される基準ウィンドウ内の画像情報を用いて、当該注目点についての注目基準画像と注目参照画像との視差を求める第１の視差特定処理を行う。
【０２６９】
図３４は、変形例１に係る複数の階層の基準画像についての視差特定領域の設定例を示す図である。
【０２７０】
図３４には、連続する３つ階層の基準画像ＢＩ（ｍ−１）、ＢＩｍおよびＢＩ（ｍ＋１）が下位階層から上位階層へ向けて、示されている。
【０２７１】
基準画像ＢＩ（ｍ−１）、ＢＩｍおよびＢＩ（ｍ＋１）には、それぞれ視差特定領域Ｄ（ｍ−１）、Ｄｍ、およびＤ（ｍ＋１）が設定されており、これらの視差特定領域は、それぞれ基準画像ＢＩ（ｍ−１）、ＢＩｍおよびＢＩ（ｍ＋１）における第１領域である。
【０２７２】
ここで図３４においては、ＢＩ（ｍ−１）、ＢＩｍ、およびＢＩ（ｍ＋１）は全て同じ画像サイズで表示されるように、基準画像ＢＩ（ｍ＋１）を基準として、基準画像ＢＩ（ｍ−１）および基準画像ＢＩｍの縮尺を調整して表示している。
【０２７３】
実施形態の説明に係る図１４、図１５において説明したように、変形例１の視差特定領域が各階層における基準画像の第１領域の最大範囲である場合には、ウィンドウのサイズ（画素数）と形状が階層間で同じであれば、各階層における基準画像に対する各階層における視差特定処理の面積比が、上位階層ほど大きくなる。
【０２７４】
変形例１で採用される第１の視差特定処理は、基準ウィンドウに対する参照ウィンドウを設定するための初期視差を、視差特定領域の注目点について設定する必要がある。
【０２７５】
ここで実施形態に係る初期視差設定部１４の説明においても言及したように、注目階層の注目点と対応関係のある、下位階層における注目点に、視差が特定されていない場合における初期視差の設定方法を説明する。
【０２７６】
図３５は、変形例１に係る初期視差の設定手法例を説明する図である。
【０２７７】
図３５においては、注目基準画像ＢＩｍと、１つ下位階層の基準画像ＢＩ（ｍ−１）が示されている。
【０２７８】
基準画像ＢＩ（ｍ−１）における領域Ｄ（ｍ−１）は、第１領域を構成する注目点からなる視差特定領域であり、境界線Ｇ（ｍ−１）は視差特定領域Ｄ（ｍ−１）の外縁である。
【０２７９】
また、基準画像ＢＩｍにおける視差特定領域Ｄｍは、境界線Ｇ（ｍ−１）で囲まれる領域と、ハッチングを施された領域とからなる領域であり、境界線Ｇｍは、視差特定領域Ｄｍの外縁を成している。
【０２８０】
ここで基準画像ＢＩｍにおける境界線Ｇ（ｍ−１）は、基準画像ＢＩ（ｍ−１）の境界線Ｇ（ｍ−１）と同じ範囲に設定されている。
【０２８１】
従って、注目基準画像ＢＩｍの境界線Ｇ（ｍ−１）で囲まれる領域の注目点については、下位階層の基準画像ＢＩ（ｍ−１）において特定された視差に基づいて、図１７の方法と同じ手法によって初期視差を設定することができる。
【０２８２】
次に、注目基準画像のハッチングを施された領域については、対応する下位階層の注目点について視差が特定されていないため、図１７の方法によっては初期視差を設定することができない。
【０２８３】
そこで、ハッチングを施された領域の初期視差は、注目基準画像ＢＩｍの境界線Ｇ（ｍ−１）で囲まれる領域の注目点についてすでに設定されている初期視差に基づいて設定される。
【０２８４】
具体的には、図３１〜図３３を用いて説明した実施形態についての第２の視差特定処理の手法例３、手法例４と同様に、すでに初期視差が設定されている１つまたは複数の注目点を代替点として、代替点の初期視差を用いて初期視差が設定されていないハッチング領域の注目点についての初期視差を外挿などによって求める。
【０２８５】
視差特定領域Ｄｍの全ての注目点について初期視差が設定されると、第１の視差特定処理によって視差が特定される。
【０２８６】
基準画像ＢＩｍより上位の階層についても、同様に初期視差の設定と、視差特定処理を繰り返していくことで、上位階層ほど視差特定領域の基準画像に対する面積比を大きくしながら、多重解像度画像を用いた視差特定処理を行うことができる。
【０２８７】
＜変形例２に係る画像処理装置について＞
変形例２に係る画像処理装置の領域情報Ｖ１によって特定される視差特定領域は、実施形態にかかる領域情報と同様に第１領域と、第１領域の外側に分布する第２領域とから構成される。
【０２８８】
また、領域情報Ｖ１に含まれる視差特定処理の選択情報は、第１領域の注目点については第１の視差特定処理が適用され、第２領域の注目点については第２の視差特定処理が適用されることを定めている。
【０２８９】
ここで、変形例２に係る第２領域と、実施形態にかかる第２領域との違いを図３６を用いて説明する。
【０２９０】
図３６は、変形例２に係る視差特定領域の設定例を示す図である。
【０２９１】
図３６においては、連続する３つ階層の基準画像ＢＩ（ｍ−１）、ＢＩｍおよびＢＩ（ｍ＋１）が下位階層から上位階層へ向けて、並べられている。
【０２９２】
また、第１領域Ｄ（ｍ−１）、Ｄｍ、およびＤ（ｍ＋１）、ならびに第２領域Ｅ（ｍ−１）、Ｅｍ、およびＥ（ｍ＋１）がそれぞれの基準画像に設定されている。
【０２９３】
図３６に示されるように、第１領域と第２領域とから構成される視差特定領域の基準画像に対する面積比は、上位階層ほど大きくなるように設定されている。
【０２９４】
第１領域については、必ず初期視差の設定が必要であるため、実施形態および変形例１と同様の手法によって、設定される。
【０２９５】
すなわち、注目基準画像ＢＩｍの第１領域の注目点についての初期視差設定処理は、この注目点に対応する、１つ下位階層の基準画像ＢＩ（ｍ−１）の注目点について特定された視差が存在するときは、この視差に基づいて設定される。
【０２９６】
１つ下位階層の基準画像ＢＩ（ｍ−１）の注目点について特定された視差が存在しないときは、変形例１で説明した初期視差設定手法を用いて、すでに初期視差が設定されている基準画像ＢＩｍの注目点についての初期視差から外挿や、代用によって、注目点についての初期視差を設定する。
【０２９７】
第２領域について適用される第２の視差特定処理としては、実施形態に係る第２の視差特定処理と同様に手法例１〜手法例４が採用される。
【０２９８】
第２領域の注目点について、初期視差の設定が必要な第２の視差特定処理を採用する場合における初期視差の設定は、第１領域についての初期視差の設定と同様に行うことができる。
【０２９９】
すなわち、変形例２においては、上位階層について前記第１の視差特定処理で使用される初期視差を、下位階層について各注目点において得られた視差を利用して求める。
【０３００】
このように、領域情報Ｖ１によって視差特定領域が設定され、領域情報Ｖ１に含まれる視差特定処理の選択情報によって、第１領域の注目点については第１の視差特定処理が特定され、第２の視差特定処理が特定されるとともに、初期視差の設定が必要な注目点についての初期視差設定も可能である。
【０３０１】
従って、変形例２においても、変形例１と同様に多重解像度画像を用いた初期視差設定処理（対応点探索処理）を行うことができる。
【０３０２】
変形例１、変形例２の手法を用いれば、視差特定処理が下位の階層から上位の階層に向けて逐次実行される過程で、視差特定領域と基準画像との比を、階層が上がるにつれて少しずつ大きくしつつ視差特定処理を行うことができるので、視差特定領域を削減することによって視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０３０３】
また変形例１の手法を用いれば、注目点を内包する基準ウィンドウが、下位階層の基準画像の画像領域からはみ出さない視差特定領域の各注目点について求められた各視差に基づいて、注目階層の視差特定領域の各注目点に対する各初期視差を設定することによって、注目階層の視差特定領域についての各初期視差を適切な値に設定することができるので、視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０３０４】
変形例２の手法を用いれば、注目階層の視差特定領域のうち、注目点を内包する基準ウィンドウが注目基準画像の画像領域からはみ出さない領域の各注目点に対する各初期視差を、下位階層の視差特定領域の各注目点に対して求められた各視差に基づいて設定することによって、注目階層におけるウィンドウが基準画像からはみ出さない領域についての各初期視差を適切な値に設定することができるので、視差特定処理を高速化することができ、多重解像度画像を用いた対応点探索処理の処理性能を改善することが可能となる。
【０３０５】
＜変形例の全体処理フロー＞
○変形例１の全体処理フロー：
図３７は、変形例１に係る画像処理装置３Ａが行う多重解像度画像を用いた視差特定処理Ｓ１００Ｂの手順の概要を例示するフローチャートである。
【０３０６】
ここで、変形例１の視差特定処理Ｓ１００Ｂは、注目点の視差を特定する処理ステップＳ６０Ｂを除いて、実施形態にかかる画像処理装置３Ａが行う多重解像度画像を用いた視差特定処理Ｓ１００Ａと同じであるので、視差特定処理Ｓ１００Ｂについては、説明を省略する。
【０３０７】
図３９は、変形例１に係る注目点の視差を特定する処理ステップＳ６０Ｂの処理の概要を例示するフローチャートである。
【０３０８】
図３９のフローチャートにおいては、先ず、注目点設定部１２によって設定された注目点が領域情報Ｖ１で定められる視差特定領域に属するか否かの領域判定が領域判定部１３によって行われる（ステップＳ３１０）。
【０３０９】
具体的には、変形例１においては、注目点に設定される基準ウィンドウが基準画像からはみ出るか否かが判定され、判定結果は、制御部１６などに供給される。
【０３１０】
制御部１６は、注目点の所属領域についての判定結果を取得し、注目点について設定される基準ウィンドウが基準画像からはみ出るか否か、すなわち、注目点が第１領域に属するか否かを判断する。
【０３１１】
判断の結果、注目点が第１領域に属さない場合には、制御部１６は、処理をステップＳ６０Ｂ（図３７）へ戻す（ステップＳ３２０）。
【０３１２】
また、判断の結果、注目点が第１領域に属する場合には、初期視差設定部１４は、注目点について、既述した設定方法によって初期視差を設定する（ステップＳ３３０）。
【０３１３】
注目点について初期視差が設定されると、制御部１６は、視差特定部１５に対して第１の視差特定処理を実行させて処理をステップＳ６０Ｂ（図３７）へ戻す（ステップＳ３４０）。
【０３１４】
以上の処理によって、変形例１に係る注目点の視差を特定する処理ステップＳ６０Ｂが行われる。
【０３１５】
○変形例２の全体処理フロー：
図３７は、変形例２に係る画像処理装置３Ａが行う多重解像度画像を用いた視差特定処理Ｓ１００Ｃの手順の概要を例示するフローチャートである。
【０３１６】
ここで、変形例２の視差特定処理Ｓ１００Ｃは、注目点の視差を特定する処理ステップＳ６０Ｃを除いて、実施形態にかかる視差特定処理Ｓ１００Ａと同じであるので、視差特定処理Ｓ１００Ｃについては説明を省略する。
【０３１７】
図４０は、変形例２に係る注目点の視差を特定する処理ステップＳ６０Ｃの処理の概要を例示するフローチャートである。
【０３１８】
図４０のフローチャートにおいては、先ず、注目点設定部１２によって設定された注目点が領域情報Ｖ１で定められる視差特定領域に属するか否かの領域判定が領域判定部１３によって行われる（ステップＳ４１０）。
【０３１９】
具体的には、変形例２においては、注目点に設定される基準ウィンドウが基準画像からはみ出るか否か、および、注目点が第２領域に属するか否かが判定され、判定結果は、制御部１６などに供給される。
【０３２０】
制御部１６は、先ず、注目点の所属領域についての判定結果を取得し、注目点について設定される基準ウィンドウが基準画像からはみ出るか否か、すなわち、注目点が第１領域に属するか否かを判断する（ステップＳ４２０）。
【０３２１】
判断の結果、注目点が第１領域に属する場合には、初期視差設定部１４は、第１領域の注目点について、既述した設定方法によって初期視差を設定する（ステップＳ４３０）。
【０３２２】
注目点について初期視差が設定されると、制御部１６は、視差特定部１５に対して第１の視差特定処理を実行させて処理をステップＳ６０Ｃ（図３７）へ戻す（ステップＳ４４０）。
【０３２３】
ステップＳ４２０の判断の結果、注目点が第１領域に属さない場合には、制御部１６は、注目点が第２領域の所定領域からはみ出るか否かを判断する（ステップＳ４５０）。
【０３２４】
判断の結果、注目点が所定領域に属する場合には、初期視差設定部１４は、所定領域の注目点について、既述した設定方法によって初期視差を設定する（ステップＳ４６０）。
【０３２５】
注目点について初期視差が設定されると、制御部１６は、視差特定部１５に対して第２の視差特定処理を実行させて処理をステップＳ６０Ｃ（図３７）へ戻す（ステップＳ４７０）。
【０３２６】
また、ステップＳ４５０の判断の結果、注目点が所定領域に属さない場合には、制御部１６は、処理をステップＳ６０Ｃ（図３７）へ戻す。
【０３２７】
以上の処理によって、変形例２に係る注目点の視差を特定する処理ステップＳ６０Ｃが行われる。
【符号の説明】
【０３２８】
１Ａ ３次元形状測定装置
２ ステレオカメラ
３Ａ 画像処理装置
４ 操作部
５ 表示部
６ 通信部
７ 入出力部
８ 記憶媒体
９ 記憶部
１０ 画像取得部
１１ 多重解像度画像作成部
１２ 注目点設定部
１３ 領域判定部
１４ 初期視差設定部
１５ 視差特定部
１６ 制御部
２１，２２ 撮像系
ＤＬ データ線
ＯＢ 測定対象物
ＢＩＴ，ＢＩ（Ｔ−１），ＢＩ（ｍ＋１），ＢＩｍ，ＢＩ１ 基準画像
ＲＩＴ，ＲＩ（Ｔ−１），ＲＩ（ｍ＋１），ＲＩｍ，ＲＩ１ 参照画像
ＭＢ 多重解像度基準画像
ＭＲ 多重解像度参照画像
Ｎｍ，Ｎ（ｍ＋１） 注目点
ＣＰｍ，ＣＰｍＴ，ＣＰｍＦ 対応点
Ｋｍ，Ｋ（ｍ＋１），Ｋ（ｍ＋１）Ｔ，Ｋ（ｍ＋１）Ｆ 探索基準点
ＳＩｍ 視差記憶画像
ＷＢｍ 基準ウィンドウ
ＷＲｍ 参照ウィンドウ
Ｗｇ 探索ウィンドウの重心
ＲＲ 解像度変倍率
ＷＸ，ＷＹ 探索ウィンドウサイズ
【特許請求の範囲】
【請求項１】
互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する画像取得手段と、
上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する多重解像度画像作成手段と、
前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する注目点設定手段と、
前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める視差特定手段と、
前記視差特定手段が前記視差を求めるにあたって、
1)前記注目点を内包するウィンドウが前記注目基準画像内に収まるときには、前記ウィンドウ内の画像情報を用いる第１視差特定規則を、
2)前記ウィンドウが前記注目基準画像からはみ出すときには、前記注目基準画像の外部領域からの寄与度を前記第１視差特定規則よりも低めた第２視差特定規則を、
選択的にそれぞれ適用させる選択適用手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置であって、
前記第２視差特定規則は、前記注目基準画像において前記注目点よりも中心寄りの点について既に特定された視差を利用する規則であることを特徴とする画像処理装置。
【請求項３】
請求項２に記載された画像処理装置であって、
前記第２視差特定規則は、前記注目基準画像において前記注目点よりも中心寄りの１つの代替点について既に特定された視差を用いて、前記注目点についての視差を求める規則であることを特徴とする画像処理装置。
【請求項４】
請求項２に記載された画像処理装置であって、
前記第２視差特定規則は、前記注目基準画像において前記注目点よりも中心寄りの複数の代替点について既に特定された視差の外挿によって、前記注目点についての視差を求める規則であることを特徴とする画像処理装置。
【請求項５】
請求項１に記載された画像処理装置であって、
前記第２視差特定規則においては、前記注目基準画像からの前記ウィンドウのはみ出し方向について、前記第１視差特定規則で使用されるウィンドウよりも短幅のウィンドウ内の画像情報を用いることを特徴とする画像処理装置。
【請求項６】
請求項１に記載された画像処理装置であって、
前記第２視差特定規則は、前記ウィンドウ内の画像情報を用いるとともに、前記ウィンドウのうち基準画像からはみ出る部分の寄与度を前記第１視差特定規則よりも低めた規則であることを特徴とする画像処理装置。
【請求項７】
互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する工程と、
上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する工程と、
前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する工程と、
前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める視差特定工程と、
を備えた画像処理方法であって、
前記視差特定工程は、
1)前記注目点を内包するウィンドウが前記注目基準画像内に収まるときには、前記ウィンドウ内の画像情報を用いる第１視差特定規則を、
2)前記ウィンドウが前記注目基準画像からはみ出すときには、前記注目基準画像の外部領域からの寄与度を前記第１視差特定規則よりも低めた第２視差特定規則を、
選択的にそれぞれ適用する工程を備えることを特徴とする画像処理方法。
【請求項８】
互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する画像取得手段と、
上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する多重解像度画像作成手段と、
前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する注目点設定手段と、
前記注目点が前記注目基準画像のうち所定の視差特定領域にあるときに、前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める視差特定手段と、
を備え、
各階層における前記視差特定領域と基準画像との面積比は、上位階層ほど大きく設定されていることを特徴とする画像処理装置。
【請求項９】
請求項８に記載された画像処理装置であって、
前記視差特定手段は、前記注目点を内包するウィンドウ内の画像情報を用いて、当該注目点についての、前記注目基準画像と前記注目参照画像との視差を求めるものであり、
前記視差特定領域は、前記ウィンドウが前記注目基準画像に収まる範囲の領域であり、
上位階層において前記視差を求める際の初期基準として使用される初期視差を、下位階層の視差特定領域内の注目点について得られた視差を利用して求めることを特徴とする画像処理装置。
【請求項１０】
請求項１に記載された画像処理装置であって、
前記注目基準画像のうち前記第１規則が適用される領域と前記第２規則が適用される領域とからなる領域を視差特定領域として、各階層における前記視差特定領域と基準画像との面積比は、上位階層ほど大きく設定されているとともに、
上位階層について前記第１視差特定規則で使用される初期視差を、下位階層について各注目点において得られた視差を利用して求めることを特徴とする画像処理装置。
【請求項１１】
互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する工程と、
上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する工程と、
前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する工程と、
前記注目点が前記注目基準画像のうち所定の視差特定領域にあるときに、前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める工程と、
を備え、
各階層における前記視差特定領域と基準画像との面積比は、上位階層ほど大きく設定されていることを特徴とする画像処理方法。
【請求項１】
互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する画像取得手段と、
上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する多重解像度画像作成手段と、
前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する注目点設定手段と、
前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める視差特定手段と、
前記視差特定手段が前記視差を求めるにあたって、
1)前記注目点を内包するウィンドウが前記注目基準画像内に収まるときには、前記ウィンドウ内の画像情報を用いる第１視差特定規則を、
2)前記ウィンドウが前記注目基準画像からはみ出すときには、前記注目基準画像の外部領域からの寄与度を前記第１視差特定規則よりも低めた第２視差特定規則を、
選択的にそれぞれ適用させる選択適用手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置であって、
前記第２視差特定規則は、前記注目基準画像において前記注目点よりも中心寄りの点について既に特定された視差を利用する規則であることを特徴とする画像処理装置。
【請求項３】
請求項２に記載された画像処理装置であって、
前記第２視差特定規則は、前記注目基準画像において前記注目点よりも中心寄りの１つの代替点について既に特定された視差を用いて、前記注目点についての視差を求める規則であることを特徴とする画像処理装置。
【請求項４】
請求項２に記載された画像処理装置であって、
前記第２視差特定規則は、前記注目基準画像において前記注目点よりも中心寄りの複数の代替点について既に特定された視差の外挿によって、前記注目点についての視差を求める規則であることを特徴とする画像処理装置。
【請求項５】
請求項１に記載された画像処理装置であって、
前記第２視差特定規則においては、前記注目基準画像からの前記ウィンドウのはみ出し方向について、前記第１視差特定規則で使用されるウィンドウよりも短幅のウィンドウ内の画像情報を用いることを特徴とする画像処理装置。
【請求項６】
請求項１に記載された画像処理装置であって、
前記第２視差特定規則は、前記ウィンドウ内の画像情報を用いるとともに、前記ウィンドウのうち基準画像からはみ出る部分の寄与度を前記第１視差特定規則よりも低めた規則であることを特徴とする画像処理装置。
【請求項７】
互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する工程と、
上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する工程と、
前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する工程と、
前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める視差特定工程と、
を備えた画像処理方法であって、
前記視差特定工程は、
1)前記注目点を内包するウィンドウが前記注目基準画像内に収まるときには、前記ウィンドウ内の画像情報を用いる第１視差特定規則を、
2)前記ウィンドウが前記注目基準画像からはみ出すときには、前記注目基準画像の外部領域からの寄与度を前記第１視差特定規則よりも低めた第２視差特定規則を、
選択的にそれぞれ適用する工程を備えることを特徴とする画像処理方法。
【請求項８】
互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する画像取得手段と、
上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する多重解像度画像作成手段と、
前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する注目点設定手段と、
前記注目点が前記注目基準画像のうち所定の視差特定領域にあるときに、前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める視差特定手段と、
を備え、
各階層における前記視差特定領域と基準画像との面積比は、上位階層ほど大きく設定されていることを特徴とする画像処理装置。
【請求項９】
請求項８に記載された画像処理装置であって、
前記視差特定手段は、前記注目点を内包するウィンドウ内の画像情報を用いて、当該注目点についての、前記注目基準画像と前記注目参照画像との視差を求めるものであり、
前記視差特定領域は、前記ウィンドウが前記注目基準画像に収まる範囲の領域であり、
上位階層において前記視差を求める際の初期基準として使用される初期視差を、下位階層の視差特定領域内の注目点について得られた視差を利用して求めることを特徴とする画像処理装置。
【請求項１０】
請求項１に記載された画像処理装置であって、
前記注目基準画像のうち前記第１規則が適用される領域と前記第２規則が適用される領域とからなる領域を視差特定領域として、各階層における前記視差特定領域と基準画像との面積比は、上位階層ほど大きく設定されているとともに、
上位階層について前記第１視差特定規則で使用される初期視差を、下位階層について各注目点において得られた視差を利用して求めることを特徴とする画像処理装置。
【請求項１１】
互いに対応する画像内容を含んだ原基準画像と原参照画像とを取得する工程と、
上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する工程と、
前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像に注目点を設定する工程と、
前記注目点が前記注目基準画像のうち所定の視差特定領域にあるときに、前記注目点についての、前記注目基準画像と前記注目参照画像との視差を求める工程と、
を備え、
各階層における前記視差特定領域と基準画像との面積比は、上位階層ほど大きく設定されていることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【公開番号】特開２０１１−４８４１６（Ｐ２０１１−４８４１６Ａ）
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願番号】特願２００９−１９３８００（Ｐ２００９−１９３８００）
【出願日】平成２１年８月２５日（２００９．８．２５）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願日】平成２１年８月２５日（２００９．８．２５）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]