画像処理装置
【課題】誤対応点の検出及びマッチング処理に対する信頼性評価の精度の向上を図る。
【解決手段】一又は複数のカメラ９，１０からなる撮像部２によって複数の画像Ｇｂ，Ｇｃを撮像し、ステレオ処理部５において、これら画像Ｇｂ，Ｇｃに対してマッチング処理を行い、視差補正部７の判定部１１により、各画像Ｇｂ，Ｇｃから一又は複数の特徴量を抽出し、これら一又は複数の特徴量に基づいてステレオ処理部５による複数の画像に対するマッチング処理の信頼性評価を行い、後続の補正部１２で判定部１１による評価情報に基づいてマッチング処理の際に生じるミスマッチングを補正する。
【解決手段】一又は複数のカメラ９，１０からなる撮像部２によって複数の画像Ｇｂ，Ｇｃを撮像し、ステレオ処理部５において、これら画像Ｇｂ，Ｇｃに対してマッチング処理を行い、視差補正部７の判定部１１により、各画像Ｇｂ，Ｇｃから一又は複数の特徴量を抽出し、これら一又は複数の特徴量に基づいてステレオ処理部５による複数の画像に対するマッチング処理の信頼性評価を行い、後続の補正部１２で判定部１１による評価情報に基づいてマッチング処理の際に生じるミスマッチングを補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特にマッチング処理が施された複数の画像から抽出された複数の特徴量に基づいて誤対応点の検出精度及びマッチング処理に対する信頼性評価の精度の向上を図ることが可能な画像処理装置に関する。
【背景技術】
【０００２】
近年、３次元形状情報を得るための画像計測装置として、障害物検出装置や、高度計測装置が開発されており、自動車又はヘリコプタ等の移動体に搭載されている。これらの装置には、２台のカメラを用いるステレオ画像法が利用されており、三角測量の原理により、ステレオ撮像した１組の画像を処理して３次元の距離情報を求め、求めた距離情報に基づいて自己位置認識を行うようになっている。
【０００３】
上記したステレオ画像法は、複数のカメラを用いて２つ以上の異なる視線方向から同一対象物を撮像し、得られた複数の画像における画像同士を対応付ける、すなわち対応点付け（以下、マッチング処理）を行うことによって３次元空間における計測対象物の位置を求める画像処理方法であり、その際に利用される代表的なマッチングの手法には、Ｐｉｘｅｌ−ｂｅｓｅｄマッチング法、Ａｒｅａ−ｂａｓｅｄマッチング法、Ｆｅａｔｕｒｅ−ｂａｓｅｄ法が挙げられ、なかでもＡｒｅａ−ｂａｓｅｄマッチング法は、高精度で、対象物の３次元形状を画素毎に求めることに有効な手法として広く利用されている。
【０００４】
Ａｒｅａ−ｂａｓｅｄマッチング法とは、一の画像における点と対応する点を、他の画像で探索する際に、一のカメラ（以下、基準カメラ）で撮像された画像（以下、基準画像Ｇｂ）において、ある局所的なウィンドウを設定し、これをテンプレートとして他のカメラ（以下、比較カメラ）で撮像された画像（以下、比較画像Ｇｃ）の上で位置を変えながら設定された探索範囲内においてマッチング処理を行う方法であり、具体的には、図８に示すように、基準カメラの焦点Ｏｂ、比較カメラの焦点Ｏｃ及び観測点Ｐから構成される平面と、基準画像Ｇｂの画像面及び比較画像Ｇｃの画像面が直交する直線（以下、エピポーラ・ラインＥ）の線上に沿って、一画素ずつずらしながら走査させて、設定された探索範囲内において対応する画素（以下、対応点）を探索し、ＳＡＤ（差分絶対値和）、ＳＳＤ（差分２乗和）、正規化相関等の評価式の最小点又は最大点を検出することにより、各画像における対応点の決定を行っている。また、これら対応点が真の正解であるか否かの判定が、抽出された評価関数の解析値、周辺領域との関連性等の特徴量に基づいて、閾値処理や、フィルタリング処理によって行われ、処理結果から誤った対応点付け（以下、ミスマッチング）が発生していると判定された場合には、補正処理を行うことによりミスマッチングを抑制している。
【０００５】
しかし、上述したＡｒｅａ−ｂａｓｅｄマッチング法によるステレオ画像法を利用した場合でも、ミスマッチングを完全に解消することが困難であり、対応策の一つとして開発された３台以上のカメラを用いて３枚以上の画像を用いてマッチング処理を行うマルチベースラインステレオ画像装置を使用することで、ミスマッチングの発生を抑制することができる。しかしながら、装置の構成が複雑になると共に、マッチング処理の際に取り扱われる画像の数が増加し、処理工程が増加するという問題が生じていた。
【０００６】
そこで、ステレオ画像法におけるミスマッチングの抑制を図ることが可能な画像処理装置として、異なる視点から計測対象画像を撮り込んで画像間のマッチング処理を行う距離画像生成において、距離画像生成における画像間対応付け処理に適用するテンプレートのサイズを可変とすると共に、変化率、行列固有値、分散値等の特徴量を算出し、閾値と比較することによって、テンプレート画像の評価を行うことにより、同一又は類似したパターンの出現を低減させた状態でマッチング処理を行う画像処理装置が開発されている（例えば、特許文献１参照）。
【０００７】
また、ミスマッチングによる誤対応点を除去し、適切に補正することが可能な画像処理装置として、多数決フィルタ手段により、記憶された３次元画像情報の中から注目する小領域を中心とした小領域群を抽出し、予め設定した条件に基づいて小領域群の各小領域のアドレス及び視差に応じた加算度数を設定し、視差毎に加算度数を加算処理することで最大度数視差を抽出し、この最大度数視差に応じて注目する小領域の視差の補正を行う画像処理装置が開発されている（例えば、特許文献２参照）。
【特許文献１】特開２００１−１９４１２６号公報
【特許文献２】特開平１１−２４８４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した画像処理装置の場合、評価関数の解析値、輝度値の分散等、個々の特徴量のみに基づいて誤対応点の検出及びマッチング処理に対する信頼性評価を行っているため、濃淡、形状、色彩等の特徴が殆どない対象物や、同一又は類似したパターンが連続して存在する対象物に対してマッチング処理を行う場合には、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度とが低下してしまうという問題が生じている。
【０００９】
また、これら精度の低い検出結果及び信頼性評価に基づいて後続の補正処理を行うことにより、算出される３次元画像情報の計測精度が低下してしまうという問題が生じている。
【００１０】
本発明は前記した点に鑑みてなされたものであり、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度とを向上させることにより、検出結果及び信頼性評価に基づいて行われる後続の補正処理によって算出される３次元画像情報の計測精度の向上を図ることが可能なステレオ画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
以上の課題を解決するために、請求項１に記載の発明に係る画像処理装置は、
複数の画像を撮像する一又は複数のカメラからなる撮像部と、
前記複数の画像に対してマッチング処理を行うステレオ処理部とを具備する画像処理装置において、
マッチング処理が施された複数の画像から一又は複数の特徴量を抽出する判定要素抽出部と、
抽出された前記特徴量に基づいて前記マッチング処理の信頼性評価を行う判定部及び前記判定部による評価情報に基づいて前記マッチング処理の際に生じる誤対応を補正する補正部を備えた視差補正部とを具備することを特徴とする。
【００１２】
請求項１に記載の発明によれば、ステレオ処理部による複数の画像に対するマッチング処理の信頼性評価を、複数の特徴量に基づいて判定するので、一の特徴量による判定が不可能又は判定結果が曖昧な計測対象物であっても、正確な誤対応点の検出及びマッチング処理に対する信頼性評価を行うことができる。
【００１３】
請求項２に記載の発明に係る画像処理装置は、前記判定部が、前記ステレオ処理部による複数の画像に対するマッチング処理の信頼性評価を行うニューラルネットを用いて構成されていることを特徴とする。
【００１４】
請求項２に記載の発明によれば、判定部はニューラルネットを用いて構成されているので、入力される特徴量が多い場合であっても、短い処理時間で信頼性評価を行うことができる。
【００１５】
請求項３に記載の発明に係る画像処理装置は、前記特徴量が、マッチング処理に用いられる評価関数の解析結果、画素領域の独創性を示す要素又は周辺画素領域との関連性を示す要素のうち少なくとも１つを含むことを特徴とする。
【００１６】
請求項３に記載の発明によれば、複数の種類の特徴量が入力された判定部において前記マッチング処理に対する信頼性評価を行うので、一の特徴量による判定が不可能又は判定結果が曖昧な計測対象物であっても、他の特徴量を組み合わせることで、正確な誤対応点の検出及びマッチング処理に対する信頼性評価を行うことができる。
【００１７】
請求項４に記載の発明に係る画像処理装置は、前記マッチング処理に用いられる評価関数の解析結果が、評価関数の値又は評価関数の形状を示す要素のうち少なくとも１つを含むことを特徴とする。
【００１８】
請求項４に記載の発明によれば、従来別個に入力されていた評価関数の値と、評価関数の形状を示す要素とが共に入力されることで、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度の向上を図ることができる。
【００１９】
請求項５に記載の発明に係る画像処理装置は、前記評価関数の形状を示す要素が、極小点の数、最小点を含む谷の幅寸法又は最小点を含む谷の鋭角度のうち少なくとも１つを含むことを特徴とする。
【００２０】
請求項５に記載の発明によれば、評価関数の形状を示す要素として、極小点の数、最小点を含む谷の幅寸法及び最小点を含む谷の鋭角度が新たに追加されたことで、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度の向上を図ることができる。
【００２１】
請求項６に記載の発明に係る画像処理装置は、前記画素領域の独創性を示す要素が、画素領域におけるエピポーラ・ラインに沿った方向への差分の絶対値が所定の値を超える画素の数、画素領域におけるエピポーラ・ラインに沿った方向への差分の絶対値の平均又は画素領域における輝度値の分散のうち少なくとも１つを含むことを特徴とする。
【００２２】
請求項６に記載の発明によれば、従来使用されていた画素領域における輝度値の分散の他に、画素領域におけるエピポーラ・ラインに沿った方向への差分の絶対値が所定の値を超える画素の数と、画素領域におけるエピポーラ・ラインに沿った方向への差分の絶対値の平均とが新たな要素として追加されたことで、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度の向上を図ることができる。
【００２３】
請求項７に記載の発明に係る画像処理装置は、前記周辺画素領域との関連性を示す要素が、自己マッチング処理における評価関数の値が所定の値を下回る画素領域の数、極小点の数、最小点を含む谷の幅寸法、最小点を含む谷の鋭角度又は任意に選択した一の画素領域の近傍において同一の視差を出力する画素領域の数のうち少なくとも１つを含むことを特徴とする。
【００２４】
請求項７に記載の発明によれば、従来使用されていた自己マッチング処理における任意に選択した一の画素領域の近傍において同一の視差を出力するブロックの数の他に、自己マッチング処理における評価関数の値が所定の値を下回るブロックの数、極小点の数、最小点を含む谷の幅寸法及び最小点を含む谷の鋭角度が新たな要素として追加されたことで、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度の向上を図ることができる。
【発明の効果】
【００２５】
本発明によれば、複数の画像を撮像する一又は複数のカメラからなる撮像部と、撮像部で撮像された複数の画像に対してマッチング処理を行うステレオ処理部とを具備する画像処理装置において、マッチング処理が施された複数の画像から一又は複数の特徴量を抽出する判定要素抽出部と、抽出された特徴量に基づいてマッチング処理の信頼性評価を行う判定部及び前記判定部による評価情報に基づいてマッチング処理の際に生じる誤対応を補正する補正部を備えた視差補正部とを具備するので、一の特徴量による判定が不可能又は判定結果が曖昧な場合であっても、複数の特徴量に基づいて判定することにより、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度の向上を図ることが可能となり、これによって、これら検出結果及び信頼性評価に基づいて行われる後続の補正処理によって算出される３次元画像情報の計測精度の向上を図ることができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を実施するための最良の形態について図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。
図１から図７を参照しながら、本発明に係る画像処理装置について説明する。
図１に示すように、本実施形態における画像処理装置１は、撮像部２と、画像入力部３と、元画像メモリ４と、ステレオ処理部５と、判定要素抽出部６と、視差補正部７と、距離画像メモリ８とを備えて構成されている。
【００２７】
撮像部２は、２台のカメラ９，１０を備えて構成され、これらのカメラ９，１０は、互いに同期が取れ、かつ、シャッタースピードが可変なカメラであり、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサが内蔵されている。このうち一方のカメラ（以下、基準カメラ９）は、ステレオ処理の際の基準画像Ｇｂを、他方のカメラ（以下、比較カメラ１０）は、ステレオ処理の際の比較画像Ｇｃを撮像するようになっており、各カメラ９，１０は、所定の基線長で互いの撮像面垂直軸が平行となるよう配置されている。
【００２８】
画像入力部３は、撮像部２から送信されたアナログ撮像信号に対応して、ゲインコントロールアンプを有するアナログインターフェース（図示せず）と、画像の明暗部に対して対数変換を行うログ変換テーブル（図示せず）と、アナログ画像データをデジタル画像に変換するＡ／Ｄコンバータ（図示せず）と、輝度の補正及び画像の幾何学的な変換を行う補正回路（図示せず）とを備えて構成されている。このような画像入力部３では、撮像部２から送信された各撮像信号を、アナログインターフェースにおけるゲインコントロールアンプによりアナログ画像信号の明るさバランスが揃えられた後、ログ変換により低輝度部分のコントラストを改善する等の画像補正が行われ、さらに、Ａ／Ｄコンバータにより所定の輝度階調、例えば２５６階調のグレースケールのデジタル画像データに変換され、最後に、補正回路による画像の回転又は平行移動等の幾何学的な変換、いわゆるアフィン変換によりカメラの取り付け位置に起因した基準画像Ｇｂと比較画像Ｇｃとの間のズレが補正されるようになっている。
【００２９】
元画像メモリ４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリや、磁気ディスク、光ディスク等の記録媒体からなり、画像入力部３により変換されたデジタル画像データがストアされるようになっている。
【００３０】
ステレオ処理部５は、シティブロック距離計算回路、最小・最大値検出回路及びずれ量決定回路を備えて構成されており、基準画像Ｇｂと比較画像Ｇｃとの間の相関を求めることにより、対応する画素が特定され、対象物までの距離に応じて生じる画素のずれ量（以下、視差Ｘ）に基づいて、対象物までの遠近情報が３次元画像情報（以下、距離画像）として数値化されるようになっている。
このうちシティブロック距離計算回路では、元画像メモリ４にストアされた基準画像Ｇｂ及び比較画像Ｇｃの２枚の画像に対して、図２に示すように、各画像Ｇｂ，Ｇｃにおける横５×縦５画素の画素領域（以下、マッチングブロック）毎にマッチング処理が行われ、基準画像Ｇｂと比較画像Ｇｃとの一致度の指標であるシティブロック距離Ｃは、評価関数であるＳＡＤの値として算出されるようになっている。また、最小・最大値検出回路では、算出されたシティブロック距離Ｃの最小値Ｃmin、最大値Ｃmax及び平均値Ｃaveが検出され、後続のずれ量決定回路では、得られた最小値Ｃminが基準画像Ｇｂと比較画像Ｇｃとの一致を示すものであるか否かが検証されて、視差Ｘが決定されるようになっている。
【００３１】
ＳＡＤとは、下記式数１に示すように、基準画像Ｇｂ及び比較画像Ｇｃにおける対応する画素の輝度値Ｉｂi,j、Ｉｃi,jを差分した絶対値の総和のことであり、図３に示すように、ＳＡＤによって算出されるシティブロック距離Ｃを縦軸、視差Ｘを横軸とする２次元座標上にＳＡＤ関数が求められ、基準画像Ｇｂと比較画像Ｇｃとの一致度、すなわちマッチング処理に対する信頼度が高いほどシティブロック距離Ｃは小さく、信頼度が低いほどシティブロック距離Ｃは大きくなる。
【００３２】
【数１】
ここで、Ｉｂi,jは、基準画像Ｇｂにおけるマッチングブロックの横ｉ番目、縦ｊ番目の画素の輝度値を、Ｉｃi,jは、比較画像Ｇｃにおけるマッチングブロックの横ｉ番目、縦ｊ番目の画素の輝度値を示す。
【００３３】
また、ずれ量決定回路で行われる検証は、予め設定されたしきい値Ｃａ又はＣｂに対して、シティブロック距離Ｃの最大値Ｃmax又は最小値Ｃminが、最大値≦Ｃａと、最大値−最小値≧Ｃｂとをそれぞれ満たすか否かにより行われ、さらに、基準画像Ｇｂのマッチングブロックにおける横方向の隣接画素間の輝度差が、予め設定されたしきい値よりも大きいか否かによっても行われる。これら３つの条件を満たす場合には視差Ｘが出力され、満たさない場合には、データは採用されずに棄却される。
【００３４】
判定要素抽出部６は、マッチング処理に対する信頼性評価を行う際の判定基準となる特徴量が抽出されるようになっている。抽出される特徴量は、評価関数であるＳＡＤの解析結果と、マッチングブロックの独創性を示す要素と、周辺マッチングブロックとの関連性を示す要素と、計３つの要素に大別され、以下それぞれについて詳細に説明する。
【００３５】
まず始めに、ＳＡＤの解析結果について説明する。
ＳＡＤの解析結果は、シティブロック距離Ｃの値と、ＳＡＤ関数の形状に関する要素とに分けられる。このうち、シティブロック距離Ｃの値には、シティブロック距離Ｃの最小値Ｃminと、最大値Ｃmaxと、平均値Ｃaveとが挙げられ、ステレオ処理部５におけるシティブロック距離計算回路によって算出される。
【００３６】
一方、ＳＡＤ関数の形状に関する要素には、極小点の数と、最小点を含む谷の幅寸法Ｗ１と、最小点を含む谷の鋭角度とが挙げられる。
極小点の数とは、マッチングブロックにおける横ｉ番目の画素のシティブロック距離をＣｉ、ＳＡＤ関数の平均値を閾値として、この閾値以下の点で、点ｉの近傍に存在するＮ個の点（Ｎ＞２で固定値）に対して、Ｃi-N＞Ｃi-(N-1)…＞Ｃi、かつ、Ｃi+N＞Ｃi+(N-1)…＞Ｃiの条件を満たす点の数、すなわち谷の数のことである。
【００３７】
最小点を含む谷の幅寸法Ｗ１とは、極小点に対する左近傍方向についてｋ×Ｃi-n＞Ｃi-n-1が成立する最小のｎと、右近傍方向についてｋ×Ｃi+m＞Ｃi+m+1が成立する最小のｍとを加算したｎ＋ｍのことであり、対象物に連続した階調の変化、いわゆるグラデーションが緩やかなほど谷の幅寸法Ｗ１は大きく、急であるほど小さい。ここで、ｋは定数であり、通常は１と設定されている。
【００３８】
最小点を含む谷の鋭角度は、２種類の方法により算出され、一つは、上記した最小点を含む谷の幅寸法Ｗ１の両端におけるシティブロック距離Ｃの平均値と、最小点におけるシティブロック距離Ｃの値との差分を、最小点を含む谷の幅寸法Ｗ１で割って算出する方法であり、谷全体の鋭角度を検出することができる。もう一つは、下記式数２に示すように、最小点を含む谷の両隣におけるシティブロック距離Ｃの値の差分を平均して算出する方法であり、近傍の鋭角度を検出することができる。これら谷の鋭角度は、グラデーションが緩やかなほど谷の鋭角度は小さく、グラデーションが急であるほど谷の鋭角度は大きくなる。
【００３９】
【数２】
【００４０】
次に、マッチングブロックの独創性を示す要素について説明する。
マッチングブロックの独創性を示す要素として、マッチングブロックにおけるエピポーラ・ラインＥに沿った方向への差分の絶対値が所定の値を超える画素の数と、マッチングブロックにおけるエピポーラ・ラインＥに沿った方向への差分の絶対値の平均値と、マッチングブロックにおける輝度値の分散とが挙げられる。
【００４１】
マッチングブロックにおけるエピポーラ・ラインＥに沿った方向への差分の絶対値Ｄi,jは、下記式数３により算出され、算出された差分の絶対値Ｄi,jが所定の値を超える画素の数を特徴量とする。
【００４２】
【数３】
【００４３】
また、上記した算出方法により求められたマッチングブロックにおけるエピポーラ・ラインＥに沿った方向への差分の絶対値Ｄi,jを、下記式数４により平均して、マッチングブロックにおけるエピポーラ・ラインＥに沿った方向への差分の絶対値の平均Ｄaveを特徴量とする。
【００４４】
【数４】
【００４５】
さらに、上記したマッチングブロックにおけるエピポーラ・ラインＥに沿った方向への差分の絶対値の平均Ｄaveを利用して、下記式数５に示すマッチングブロックにおける輝度値の分散Ｖを特徴量とする。
【００４６】
【数５】
【００４７】
最後に、周辺マッチングブロックとの関連性を示す要素について説明する。
周辺マッチングブロックとの関連性を示す要素として、自己マッチング処理において自ブロックと類似したブロックの数と、自己マッチング処理におけるＳＡＤ関数の平均値と、自己マッチング処理におけるＳＡＤ関数の形状に関する値と、自ブロックの周辺で同一の視差を出力したブロックの数とが挙げられる。
【００４８】
自己マッチング処理において自ブロックと類似したブロックの数とは、同一画像であって、任意に選択された横５×縦５画素のマッチングブロック（以下、自ブロック）をエピポーラ・ラインＥに沿った方向に一ブロックずつずらしながら走査させて、この自ブロックと、エピポーラ・ラインＥの線上に沿って存在するマッチングブロックとの間で行われる対応付け、いわゆる自己マッチング処理が行われ、シティブロック距離Ｃｓが算出される。このようにして算出されたシティブロック距離Ｃｓが所定の値を下回るブロックの数が、自己マッチング処理において自ブロックと類似したマッチングブロックの数であり、この数が多いほどマッチング処理に対する信頼度は低く、この数が少ないほど高くなる。
【００４９】
自己マッチング処理により算出されるシティブロック距離Ｃｓとは、下記式数６に示すように、自ブロックの輝度値Ｓi,jと、エピポーラ・ラインＥの線上に沿って存在するマッチングブロックの輝度値Ｓi+1,jとの差分の絶対値の総和により求められる。また、図４に示すように、算出された自己マッチング処理によるシティブロック距離Ｃｓを縦軸、エピポーラ・ラインＥに沿った走査方向Ｙを横軸とする２次元の座標上にＳＡＤ関数のグラフが求められる。
【００５０】
【数６】
ここで、Ｓi,jは、図５に示すように、縦３×横３ブロックのマッチングブロック領域の縦ｉ番目、横ｊ番目のマッチングブロックの輝度値を、Ｓi+1,jは、縦ｉ＋１番目、横ｊ番目のマッチングブロックの輝度値を示す。
【００５１】
自己マッチング処理のシティブロック距離Ｃｓの平均値とは、自己マッチング処理により算出されたシティブロック距離Ｃｓを平均した値のことであり、この値が小さいほどマッチング処理に対する信頼度は低いことが多く、この値が大きいほど信頼度は高いことが多い。
【００５２】
自己マッチング処理におけるＳＡＤ関数の形状に関する値には、極小点の数と、最小点を含む谷の幅寸法Ｗ２と、最小点を含む谷の鋭角度とが挙げられる。ここで、自己マッチング処理におけるＳＡＤ関数の最小点とは、自ブロックが存在する位置、いわゆる自己位置にあたり、シティブロック距離Ｃｓはゼロとなる。これらの値の算出方法は、上記した通常のマッチング処理におけるＳＡＤ関数の形状に関する値の算出方法と同一であり、マッチング処理に対する信頼度の判定基準も同一である。
【００５３】
自ブロックの周辺で同一の視差を出力するブロックの数とは、図５に示すマッチングブロック領域における中心のマッチングブロックを自ブロックとした場合、自ブロックを囲繞する８つのマッチングブロックのうち、出力する視差が自ブロックの出力する視差と同一であるマッチングブロックの数のことであり、この数が多いほどマッチング処理に対する信頼度は高く、少ないほど信頼度は低い。
【００５４】
視差補正部７は、図６に示すように、誤対応点の検出及びマッチング処理に対する信頼性評価を行う判定部１１と、判定部１１による評価情報に基づいて補正処理を行う補正部１２とを備えて構成されている。このうち判定部１１は、図７に示すように、非線形の３層の階層型ニューラルネット１３を用いて構成され、ステレオ処理部５の最小・最大値検出回路及び判定要素抽出部６から送信される特徴量に基づいて、マッチング処理の際に生じる誤対応点が検出されると共に、ステレオ処理部５によるマッチング処理が「高」、「中」、「低」の３段階の信頼度で判定され、例えば「低」と判定された場合には、後続の補正部１２により補正処理が施されて、正確な距離画像が後続の距離画像メモリ８に送信され、ストアされるようになっている。
【００５５】
次に、本実施形態における画像処理装置の作用について説明する。
画像処理装置１の入力スイッチ（図示せず）を押すことで、撮像部２における２台のカメラ９，１０により、アナログデータである基準画像Ｇｂ及び比較画像Ｇｃがそれぞれ撮像され、画像入力部３に送信される。送信された基準画像Ｇｂ及び比較画像Ｇｃは、画像入力部におけるアナログインターフェースにより明るさバランスが揃えられた後、ログ変換テーブルにより低輝度部分のコントラストを改善する等の画像補正処理が行われる。さらに、Ａ／Ｄコンバータにより所定の輝度階調のデジタルデータに変換された後、補正回路によりアフィン変換が施され、元画像メモリ４に送信、ストアされる。
【００５６】
元画像メモリ４にストアされた基準画像Ｇｂ及び比較画像Ｇｃは、ステレオ処理部５におけるシティブロック距離計算回路により、比較画像Ｇｃに存在するエピポーラ・ラインＥに沿った方向に一ブロックずつずらしながら走査されて、基準画像Ｇｂにおける一の画素と、比較画像Ｇｃにおいて対応する一の画素との間のシティブロック距離Ｃが算出される。さらに、最小・最大値検出回路により、算出されたシティブロック距離Ｃの最小値Ｃmin、最大値Ｃmax及び平均値Ｃaveが検出され、後続のずれ量決定回路において最小値Ｃminが基準画像Ｇｂと比較画像Ｇｃとの一致を示すものであるか否かが検証されて視差Ｘが決定される。
【００５７】
このように決定された視差Ｘと、最小・最大値検出回路により検出されたシティブロック距離Ｃの最小値Ｃmin、最大値Ｃmax及び平均値Ｃaveとが、視差補正部７に送信される。同時に、判定要素抽出部６により、特徴量であるＳＡＤ関数の形状に関する値と、マッチングブロックの独創性を示す要素と、周辺ブロックとの関連性を示す要素とが抽出され、視差補正部７に送信される。
【００５８】
視差補正部７では、判定部１１において、これら特徴量に基づいて誤対応点が検出されると共に、マッチング処理に対する信頼性評価が行われる。これら誤対応点の検出結果及びマッチング処理の評価度は、後続の補正部１２に送信され、評価度に応じて距離画像に対して補正処理が施されて、基準画像Ｇｂの一の画素に対応する距離画像として距離画像メモリ８にストアされる。さらに、同様の作業を繰り返すことにより画像全体に渡る距離画像が算出され、距離画像メモリ８にストアされて、一連の画像処理作業が完了する。
【００５９】
このとき、視差補正部７の判定部１１による誤対応点の検出及びマッチング処理に対する信頼性評価は、ステレオ処理部５の最小・最大値検出回路及び判定要素抽出部６により抽出されたＳＡＤの解析結果、マッチングブロックの独創性及び周辺マッチングブロックとの関連性といった特徴量が、「正」若しくは「誤」の２値又は「正」、「誤」若しくは「どちらでもない」の３値で識別する識別器、すなわち、図７に示すような非線形の３層の階層型ニューラルネット１３に入力され、入力された特徴量に基づいて誤対応点が検出され、マッチング処理に対する信頼度が「高」、「中」、「低」の３段階で判定される。信頼度が「高」と判定された場合には、補正部１２において補正処理は行われず、「低」と判定された場合には、補正処理が行われる。一方、「中」と判定された場合には、例えば自ブロックの周辺に存在する信頼度が「高」であるマッチングブロックの情報に基づいて補正処理が行われ、画像全体に渡る正確な距離画像が算出される。
【００６０】
以上より、本実施形態における画像処理装置によれば、２枚の画像Ｇｂ，Ｇｃを撮像する２台のカメラ９，１０からなる撮像部２と、撮像部２で撮像された２枚の画像Ｇｂ，Ｇｃに対してマッチング処理を行うステレオ処理部５とを具備する画像処理装置において、マッチング処理が施された２枚の画像Ｇｂ，Ｇｃから複数の特徴量を抽出する判定要素抽出部６と、抽出された複数の特徴量に基づいてステレオ処理部５による複数の画像Ｇｂ，Ｇｃに対するマッチング処理の信頼性評価を行う判定部１１と、判定部１１による評価情報に基づいてマッチング処理の際に生じる誤対応を補正する補正部１２とを備えて構成された視差補正部を具備するので、一の特徴量による判定が不可能又は判定結果が曖昧な場合であっても、複数の特徴量に基づいて判定することにより、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度の向上を図ることが可能となり、これによって、これら検出結果及び信頼性評価に基づいて行われる後続の補正処理における計測精度の向上を図ることができる。
【００６１】
なお、撮像部２は、本実施形態に限定されず、一定の時間間隔で複数の画像を撮像する１台のカメラから構成され、各画像中のフレームの各点がどのような速度成分をもっているかを表す速度ベクトルの場、いわゆるオプティカルフローを検出するようになっていてもよい。
【００６２】
また、判定部１１には、抽出されたすべての特徴量が入力されているが、必ずしもすべての特徴量が必要なわけではなく、適用例に応じて必要とされる特徴量のみが入力されてもよい。
【００６３】
さらに、識別器の設計及び識別器による学習的な獲得には、本実施形態に限定されず、従来のパターン認識で一般的に用いられているもの、例えばｋ−最近傍識別法（ｋ−ＮＮ）、サポートベクタマシン（ＳＶＭ）、部分空間法等が適用されていてもよい。
【００６４】
さらに、判定部１１は、必ずしもすべてニューラルネットで構成される必要なわけではなく、判定部１１の一部のみがニューラルネットで構成されていてもよい。
【図面の簡単な説明】
【００６５】
【図１】本発明に係る画像処理装置の構成を示すブロック図である。
【図２】本発明に係る画像処理装置のマッチングブロックを示す平面図である。
【図３】本発明に係る画像処理装置によるマッチング処理の結果を示すグラフである。
【図４】本発明に係る画像処理装置による自己マッチング処理の結果を示すグラフである。
【図５】本発明に係る画像処理装置の自ブロック及び周辺マッチングブロックを示す平面図である。
【図６】本発明に係る画像処理装置の視差補正部の構成を示すブロック図である。
【図７】本発明に係る画像処理装置に適用されたニューラルネットを示す概略図である。
【図８】２台のカメラを用いたステレオ画像法の原理を示す概念図である。
【符号の説明】
【００６６】
１ 画像処理装置
２ 撮像部
５ ステレオ処理部
６ 判定要素抽出部
７ 視差補正部
８ 画像メモリ
９ 基準カメラ
１０ 比較カメラ
１１ 判定部
１２ 補正部
１３ ニューラルネット
Ｅ エピポーラ・ライン
Ｇｂ 基準画像
Ｇｃ 比較画像
Ｗ１，Ｗ２ 最小点を含む谷の幅寸法
【技術分野】
【０００１】
本発明は、画像処理装置に係り、特にマッチング処理が施された複数の画像から抽出された複数の特徴量に基づいて誤対応点の検出精度及びマッチング処理に対する信頼性評価の精度の向上を図ることが可能な画像処理装置に関する。
【背景技術】
【０００２】
近年、３次元形状情報を得るための画像計測装置として、障害物検出装置や、高度計測装置が開発されており、自動車又はヘリコプタ等の移動体に搭載されている。これらの装置には、２台のカメラを用いるステレオ画像法が利用されており、三角測量の原理により、ステレオ撮像した１組の画像を処理して３次元の距離情報を求め、求めた距離情報に基づいて自己位置認識を行うようになっている。
【０００３】
上記したステレオ画像法は、複数のカメラを用いて２つ以上の異なる視線方向から同一対象物を撮像し、得られた複数の画像における画像同士を対応付ける、すなわち対応点付け（以下、マッチング処理）を行うことによって３次元空間における計測対象物の位置を求める画像処理方法であり、その際に利用される代表的なマッチングの手法には、Ｐｉｘｅｌ−ｂｅｓｅｄマッチング法、Ａｒｅａ−ｂａｓｅｄマッチング法、Ｆｅａｔｕｒｅ−ｂａｓｅｄ法が挙げられ、なかでもＡｒｅａ−ｂａｓｅｄマッチング法は、高精度で、対象物の３次元形状を画素毎に求めることに有効な手法として広く利用されている。
【０００４】
Ａｒｅａ−ｂａｓｅｄマッチング法とは、一の画像における点と対応する点を、他の画像で探索する際に、一のカメラ（以下、基準カメラ）で撮像された画像（以下、基準画像Ｇｂ）において、ある局所的なウィンドウを設定し、これをテンプレートとして他のカメラ（以下、比較カメラ）で撮像された画像（以下、比較画像Ｇｃ）の上で位置を変えながら設定された探索範囲内においてマッチング処理を行う方法であり、具体的には、図８に示すように、基準カメラの焦点Ｏｂ、比較カメラの焦点Ｏｃ及び観測点Ｐから構成される平面と、基準画像Ｇｂの画像面及び比較画像Ｇｃの画像面が直交する直線（以下、エピポーラ・ラインＥ）の線上に沿って、一画素ずつずらしながら走査させて、設定された探索範囲内において対応する画素（以下、対応点）を探索し、ＳＡＤ（差分絶対値和）、ＳＳＤ（差分２乗和）、正規化相関等の評価式の最小点又は最大点を検出することにより、各画像における対応点の決定を行っている。また、これら対応点が真の正解であるか否かの判定が、抽出された評価関数の解析値、周辺領域との関連性等の特徴量に基づいて、閾値処理や、フィルタリング処理によって行われ、処理結果から誤った対応点付け（以下、ミスマッチング）が発生していると判定された場合には、補正処理を行うことによりミスマッチングを抑制している。
【０００５】
しかし、上述したＡｒｅａ−ｂａｓｅｄマッチング法によるステレオ画像法を利用した場合でも、ミスマッチングを完全に解消することが困難であり、対応策の一つとして開発された３台以上のカメラを用いて３枚以上の画像を用いてマッチング処理を行うマルチベースラインステレオ画像装置を使用することで、ミスマッチングの発生を抑制することができる。しかしながら、装置の構成が複雑になると共に、マッチング処理の際に取り扱われる画像の数が増加し、処理工程が増加するという問題が生じていた。
【０００６】
そこで、ステレオ画像法におけるミスマッチングの抑制を図ることが可能な画像処理装置として、異なる視点から計測対象画像を撮り込んで画像間のマッチング処理を行う距離画像生成において、距離画像生成における画像間対応付け処理に適用するテンプレートのサイズを可変とすると共に、変化率、行列固有値、分散値等の特徴量を算出し、閾値と比較することによって、テンプレート画像の評価を行うことにより、同一又は類似したパターンの出現を低減させた状態でマッチング処理を行う画像処理装置が開発されている（例えば、特許文献１参照）。
【０００７】
また、ミスマッチングによる誤対応点を除去し、適切に補正することが可能な画像処理装置として、多数決フィルタ手段により、記憶された３次元画像情報の中から注目する小領域を中心とした小領域群を抽出し、予め設定した条件に基づいて小領域群の各小領域のアドレス及び視差に応じた加算度数を設定し、視差毎に加算度数を加算処理することで最大度数視差を抽出し、この最大度数視差に応じて注目する小領域の視差の補正を行う画像処理装置が開発されている（例えば、特許文献２参照）。
【特許文献１】特開２００１−１９４１２６号公報
【特許文献２】特開平１１−２４８４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した画像処理装置の場合、評価関数の解析値、輝度値の分散等、個々の特徴量のみに基づいて誤対応点の検出及びマッチング処理に対する信頼性評価を行っているため、濃淡、形状、色彩等の特徴が殆どない対象物や、同一又は類似したパターンが連続して存在する対象物に対してマッチング処理を行う場合には、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度とが低下してしまうという問題が生じている。
【０００９】
また、これら精度の低い検出結果及び信頼性評価に基づいて後続の補正処理を行うことにより、算出される３次元画像情報の計測精度が低下してしまうという問題が生じている。
【００１０】
本発明は前記した点に鑑みてなされたものであり、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度とを向上させることにより、検出結果及び信頼性評価に基づいて行われる後続の補正処理によって算出される３次元画像情報の計測精度の向上を図ることが可能なステレオ画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
以上の課題を解決するために、請求項１に記載の発明に係る画像処理装置は、
複数の画像を撮像する一又は複数のカメラからなる撮像部と、
前記複数の画像に対してマッチング処理を行うステレオ処理部とを具備する画像処理装置において、
マッチング処理が施された複数の画像から一又は複数の特徴量を抽出する判定要素抽出部と、
抽出された前記特徴量に基づいて前記マッチング処理の信頼性評価を行う判定部及び前記判定部による評価情報に基づいて前記マッチング処理の際に生じる誤対応を補正する補正部を備えた視差補正部とを具備することを特徴とする。
【００１２】
請求項１に記載の発明によれば、ステレオ処理部による複数の画像に対するマッチング処理の信頼性評価を、複数の特徴量に基づいて判定するので、一の特徴量による判定が不可能又は判定結果が曖昧な計測対象物であっても、正確な誤対応点の検出及びマッチング処理に対する信頼性評価を行うことができる。
【００１３】
請求項２に記載の発明に係る画像処理装置は、前記判定部が、前記ステレオ処理部による複数の画像に対するマッチング処理の信頼性評価を行うニューラルネットを用いて構成されていることを特徴とする。
【００１４】
請求項２に記載の発明によれば、判定部はニューラルネットを用いて構成されているので、入力される特徴量が多い場合であっても、短い処理時間で信頼性評価を行うことができる。
【００１５】
請求項３に記載の発明に係る画像処理装置は、前記特徴量が、マッチング処理に用いられる評価関数の解析結果、画素領域の独創性を示す要素又は周辺画素領域との関連性を示す要素のうち少なくとも１つを含むことを特徴とする。
【００１６】
請求項３に記載の発明によれば、複数の種類の特徴量が入力された判定部において前記マッチング処理に対する信頼性評価を行うので、一の特徴量による判定が不可能又は判定結果が曖昧な計測対象物であっても、他の特徴量を組み合わせることで、正確な誤対応点の検出及びマッチング処理に対する信頼性評価を行うことができる。
【００１７】
請求項４に記載の発明に係る画像処理装置は、前記マッチング処理に用いられる評価関数の解析結果が、評価関数の値又は評価関数の形状を示す要素のうち少なくとも１つを含むことを特徴とする。
【００１８】
請求項４に記載の発明によれば、従来別個に入力されていた評価関数の値と、評価関数の形状を示す要素とが共に入力されることで、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度の向上を図ることができる。
【００１９】
請求項５に記載の発明に係る画像処理装置は、前記評価関数の形状を示す要素が、極小点の数、最小点を含む谷の幅寸法又は最小点を含む谷の鋭角度のうち少なくとも１つを含むことを特徴とする。
【００２０】
請求項５に記載の発明によれば、評価関数の形状を示す要素として、極小点の数、最小点を含む谷の幅寸法及び最小点を含む谷の鋭角度が新たに追加されたことで、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度の向上を図ることができる。
【００２１】
請求項６に記載の発明に係る画像処理装置は、前記画素領域の独創性を示す要素が、画素領域におけるエピポーラ・ラインに沿った方向への差分の絶対値が所定の値を超える画素の数、画素領域におけるエピポーラ・ラインに沿った方向への差分の絶対値の平均又は画素領域における輝度値の分散のうち少なくとも１つを含むことを特徴とする。
【００２２】
請求項６に記載の発明によれば、従来使用されていた画素領域における輝度値の分散の他に、画素領域におけるエピポーラ・ラインに沿った方向への差分の絶対値が所定の値を超える画素の数と、画素領域におけるエピポーラ・ラインに沿った方向への差分の絶対値の平均とが新たな要素として追加されたことで、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度の向上を図ることができる。
【００２３】
請求項７に記載の発明に係る画像処理装置は、前記周辺画素領域との関連性を示す要素が、自己マッチング処理における評価関数の値が所定の値を下回る画素領域の数、極小点の数、最小点を含む谷の幅寸法、最小点を含む谷の鋭角度又は任意に選択した一の画素領域の近傍において同一の視差を出力する画素領域の数のうち少なくとも１つを含むことを特徴とする。
【００２４】
請求項７に記載の発明によれば、従来使用されていた自己マッチング処理における任意に選択した一の画素領域の近傍において同一の視差を出力するブロックの数の他に、自己マッチング処理における評価関数の値が所定の値を下回るブロックの数、極小点の数、最小点を含む谷の幅寸法及び最小点を含む谷の鋭角度が新たな要素として追加されたことで、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度の向上を図ることができる。
【発明の効果】
【００２５】
本発明によれば、複数の画像を撮像する一又は複数のカメラからなる撮像部と、撮像部で撮像された複数の画像に対してマッチング処理を行うステレオ処理部とを具備する画像処理装置において、マッチング処理が施された複数の画像から一又は複数の特徴量を抽出する判定要素抽出部と、抽出された特徴量に基づいてマッチング処理の信頼性評価を行う判定部及び前記判定部による評価情報に基づいてマッチング処理の際に生じる誤対応を補正する補正部を備えた視差補正部とを具備するので、一の特徴量による判定が不可能又は判定結果が曖昧な場合であっても、複数の特徴量に基づいて判定することにより、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度の向上を図ることが可能となり、これによって、これら検出結果及び信頼性評価に基づいて行われる後続の補正処理によって算出される３次元画像情報の計測精度の向上を図ることができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を実施するための最良の形態について図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。
図１から図７を参照しながら、本発明に係る画像処理装置について説明する。
図１に示すように、本実施形態における画像処理装置１は、撮像部２と、画像入力部３と、元画像メモリ４と、ステレオ処理部５と、判定要素抽出部６と、視差補正部７と、距離画像メモリ８とを備えて構成されている。
【００２７】
撮像部２は、２台のカメラ９，１０を備えて構成され、これらのカメラ９，１０は、互いに同期が取れ、かつ、シャッタースピードが可変なカメラであり、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサが内蔵されている。このうち一方のカメラ（以下、基準カメラ９）は、ステレオ処理の際の基準画像Ｇｂを、他方のカメラ（以下、比較カメラ１０）は、ステレオ処理の際の比較画像Ｇｃを撮像するようになっており、各カメラ９，１０は、所定の基線長で互いの撮像面垂直軸が平行となるよう配置されている。
【００２８】
画像入力部３は、撮像部２から送信されたアナログ撮像信号に対応して、ゲインコントロールアンプを有するアナログインターフェース（図示せず）と、画像の明暗部に対して対数変換を行うログ変換テーブル（図示せず）と、アナログ画像データをデジタル画像に変換するＡ／Ｄコンバータ（図示せず）と、輝度の補正及び画像の幾何学的な変換を行う補正回路（図示せず）とを備えて構成されている。このような画像入力部３では、撮像部２から送信された各撮像信号を、アナログインターフェースにおけるゲインコントロールアンプによりアナログ画像信号の明るさバランスが揃えられた後、ログ変換により低輝度部分のコントラストを改善する等の画像補正が行われ、さらに、Ａ／Ｄコンバータにより所定の輝度階調、例えば２５６階調のグレースケールのデジタル画像データに変換され、最後に、補正回路による画像の回転又は平行移動等の幾何学的な変換、いわゆるアフィン変換によりカメラの取り付け位置に起因した基準画像Ｇｂと比較画像Ｇｃとの間のズレが補正されるようになっている。
【００２９】
元画像メモリ４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリや、磁気ディスク、光ディスク等の記録媒体からなり、画像入力部３により変換されたデジタル画像データがストアされるようになっている。
【００３０】
ステレオ処理部５は、シティブロック距離計算回路、最小・最大値検出回路及びずれ量決定回路を備えて構成されており、基準画像Ｇｂと比較画像Ｇｃとの間の相関を求めることにより、対応する画素が特定され、対象物までの距離に応じて生じる画素のずれ量（以下、視差Ｘ）に基づいて、対象物までの遠近情報が３次元画像情報（以下、距離画像）として数値化されるようになっている。
このうちシティブロック距離計算回路では、元画像メモリ４にストアされた基準画像Ｇｂ及び比較画像Ｇｃの２枚の画像に対して、図２に示すように、各画像Ｇｂ，Ｇｃにおける横５×縦５画素の画素領域（以下、マッチングブロック）毎にマッチング処理が行われ、基準画像Ｇｂと比較画像Ｇｃとの一致度の指標であるシティブロック距離Ｃは、評価関数であるＳＡＤの値として算出されるようになっている。また、最小・最大値検出回路では、算出されたシティブロック距離Ｃの最小値Ｃmin、最大値Ｃmax及び平均値Ｃaveが検出され、後続のずれ量決定回路では、得られた最小値Ｃminが基準画像Ｇｂと比較画像Ｇｃとの一致を示すものであるか否かが検証されて、視差Ｘが決定されるようになっている。
【００３１】
ＳＡＤとは、下記式数１に示すように、基準画像Ｇｂ及び比較画像Ｇｃにおける対応する画素の輝度値Ｉｂi,j、Ｉｃi,jを差分した絶対値の総和のことであり、図３に示すように、ＳＡＤによって算出されるシティブロック距離Ｃを縦軸、視差Ｘを横軸とする２次元座標上にＳＡＤ関数が求められ、基準画像Ｇｂと比較画像Ｇｃとの一致度、すなわちマッチング処理に対する信頼度が高いほどシティブロック距離Ｃは小さく、信頼度が低いほどシティブロック距離Ｃは大きくなる。
【００３２】
【数１】
ここで、Ｉｂi,jは、基準画像Ｇｂにおけるマッチングブロックの横ｉ番目、縦ｊ番目の画素の輝度値を、Ｉｃi,jは、比較画像Ｇｃにおけるマッチングブロックの横ｉ番目、縦ｊ番目の画素の輝度値を示す。
【００３３】
また、ずれ量決定回路で行われる検証は、予め設定されたしきい値Ｃａ又はＣｂに対して、シティブロック距離Ｃの最大値Ｃmax又は最小値Ｃminが、最大値≦Ｃａと、最大値−最小値≧Ｃｂとをそれぞれ満たすか否かにより行われ、さらに、基準画像Ｇｂのマッチングブロックにおける横方向の隣接画素間の輝度差が、予め設定されたしきい値よりも大きいか否かによっても行われる。これら３つの条件を満たす場合には視差Ｘが出力され、満たさない場合には、データは採用されずに棄却される。
【００３４】
判定要素抽出部６は、マッチング処理に対する信頼性評価を行う際の判定基準となる特徴量が抽出されるようになっている。抽出される特徴量は、評価関数であるＳＡＤの解析結果と、マッチングブロックの独創性を示す要素と、周辺マッチングブロックとの関連性を示す要素と、計３つの要素に大別され、以下それぞれについて詳細に説明する。
【００３５】
まず始めに、ＳＡＤの解析結果について説明する。
ＳＡＤの解析結果は、シティブロック距離Ｃの値と、ＳＡＤ関数の形状に関する要素とに分けられる。このうち、シティブロック距離Ｃの値には、シティブロック距離Ｃの最小値Ｃminと、最大値Ｃmaxと、平均値Ｃaveとが挙げられ、ステレオ処理部５におけるシティブロック距離計算回路によって算出される。
【００３６】
一方、ＳＡＤ関数の形状に関する要素には、極小点の数と、最小点を含む谷の幅寸法Ｗ１と、最小点を含む谷の鋭角度とが挙げられる。
極小点の数とは、マッチングブロックにおける横ｉ番目の画素のシティブロック距離をＣｉ、ＳＡＤ関数の平均値を閾値として、この閾値以下の点で、点ｉの近傍に存在するＮ個の点（Ｎ＞２で固定値）に対して、Ｃi-N＞Ｃi-(N-1)…＞Ｃi、かつ、Ｃi+N＞Ｃi+(N-1)…＞Ｃiの条件を満たす点の数、すなわち谷の数のことである。
【００３７】
最小点を含む谷の幅寸法Ｗ１とは、極小点に対する左近傍方向についてｋ×Ｃi-n＞Ｃi-n-1が成立する最小のｎと、右近傍方向についてｋ×Ｃi+m＞Ｃi+m+1が成立する最小のｍとを加算したｎ＋ｍのことであり、対象物に連続した階調の変化、いわゆるグラデーションが緩やかなほど谷の幅寸法Ｗ１は大きく、急であるほど小さい。ここで、ｋは定数であり、通常は１と設定されている。
【００３８】
最小点を含む谷の鋭角度は、２種類の方法により算出され、一つは、上記した最小点を含む谷の幅寸法Ｗ１の両端におけるシティブロック距離Ｃの平均値と、最小点におけるシティブロック距離Ｃの値との差分を、最小点を含む谷の幅寸法Ｗ１で割って算出する方法であり、谷全体の鋭角度を検出することができる。もう一つは、下記式数２に示すように、最小点を含む谷の両隣におけるシティブロック距離Ｃの値の差分を平均して算出する方法であり、近傍の鋭角度を検出することができる。これら谷の鋭角度は、グラデーションが緩やかなほど谷の鋭角度は小さく、グラデーションが急であるほど谷の鋭角度は大きくなる。
【００３９】
【数２】
【００４０】
次に、マッチングブロックの独創性を示す要素について説明する。
マッチングブロックの独創性を示す要素として、マッチングブロックにおけるエピポーラ・ラインＥに沿った方向への差分の絶対値が所定の値を超える画素の数と、マッチングブロックにおけるエピポーラ・ラインＥに沿った方向への差分の絶対値の平均値と、マッチングブロックにおける輝度値の分散とが挙げられる。
【００４１】
マッチングブロックにおけるエピポーラ・ラインＥに沿った方向への差分の絶対値Ｄi,jは、下記式数３により算出され、算出された差分の絶対値Ｄi,jが所定の値を超える画素の数を特徴量とする。
【００４２】
【数３】
【００４３】
また、上記した算出方法により求められたマッチングブロックにおけるエピポーラ・ラインＥに沿った方向への差分の絶対値Ｄi,jを、下記式数４により平均して、マッチングブロックにおけるエピポーラ・ラインＥに沿った方向への差分の絶対値の平均Ｄaveを特徴量とする。
【００４４】
【数４】
【００４５】
さらに、上記したマッチングブロックにおけるエピポーラ・ラインＥに沿った方向への差分の絶対値の平均Ｄaveを利用して、下記式数５に示すマッチングブロックにおける輝度値の分散Ｖを特徴量とする。
【００４６】
【数５】
【００４７】
最後に、周辺マッチングブロックとの関連性を示す要素について説明する。
周辺マッチングブロックとの関連性を示す要素として、自己マッチング処理において自ブロックと類似したブロックの数と、自己マッチング処理におけるＳＡＤ関数の平均値と、自己マッチング処理におけるＳＡＤ関数の形状に関する値と、自ブロックの周辺で同一の視差を出力したブロックの数とが挙げられる。
【００４８】
自己マッチング処理において自ブロックと類似したブロックの数とは、同一画像であって、任意に選択された横５×縦５画素のマッチングブロック（以下、自ブロック）をエピポーラ・ラインＥに沿った方向に一ブロックずつずらしながら走査させて、この自ブロックと、エピポーラ・ラインＥの線上に沿って存在するマッチングブロックとの間で行われる対応付け、いわゆる自己マッチング処理が行われ、シティブロック距離Ｃｓが算出される。このようにして算出されたシティブロック距離Ｃｓが所定の値を下回るブロックの数が、自己マッチング処理において自ブロックと類似したマッチングブロックの数であり、この数が多いほどマッチング処理に対する信頼度は低く、この数が少ないほど高くなる。
【００４９】
自己マッチング処理により算出されるシティブロック距離Ｃｓとは、下記式数６に示すように、自ブロックの輝度値Ｓi,jと、エピポーラ・ラインＥの線上に沿って存在するマッチングブロックの輝度値Ｓi+1,jとの差分の絶対値の総和により求められる。また、図４に示すように、算出された自己マッチング処理によるシティブロック距離Ｃｓを縦軸、エピポーラ・ラインＥに沿った走査方向Ｙを横軸とする２次元の座標上にＳＡＤ関数のグラフが求められる。
【００５０】
【数６】
ここで、Ｓi,jは、図５に示すように、縦３×横３ブロックのマッチングブロック領域の縦ｉ番目、横ｊ番目のマッチングブロックの輝度値を、Ｓi+1,jは、縦ｉ＋１番目、横ｊ番目のマッチングブロックの輝度値を示す。
【００５１】
自己マッチング処理のシティブロック距離Ｃｓの平均値とは、自己マッチング処理により算出されたシティブロック距離Ｃｓを平均した値のことであり、この値が小さいほどマッチング処理に対する信頼度は低いことが多く、この値が大きいほど信頼度は高いことが多い。
【００５２】
自己マッチング処理におけるＳＡＤ関数の形状に関する値には、極小点の数と、最小点を含む谷の幅寸法Ｗ２と、最小点を含む谷の鋭角度とが挙げられる。ここで、自己マッチング処理におけるＳＡＤ関数の最小点とは、自ブロックが存在する位置、いわゆる自己位置にあたり、シティブロック距離Ｃｓはゼロとなる。これらの値の算出方法は、上記した通常のマッチング処理におけるＳＡＤ関数の形状に関する値の算出方法と同一であり、マッチング処理に対する信頼度の判定基準も同一である。
【００５３】
自ブロックの周辺で同一の視差を出力するブロックの数とは、図５に示すマッチングブロック領域における中心のマッチングブロックを自ブロックとした場合、自ブロックを囲繞する８つのマッチングブロックのうち、出力する視差が自ブロックの出力する視差と同一であるマッチングブロックの数のことであり、この数が多いほどマッチング処理に対する信頼度は高く、少ないほど信頼度は低い。
【００５４】
視差補正部７は、図６に示すように、誤対応点の検出及びマッチング処理に対する信頼性評価を行う判定部１１と、判定部１１による評価情報に基づいて補正処理を行う補正部１２とを備えて構成されている。このうち判定部１１は、図７に示すように、非線形の３層の階層型ニューラルネット１３を用いて構成され、ステレオ処理部５の最小・最大値検出回路及び判定要素抽出部６から送信される特徴量に基づいて、マッチング処理の際に生じる誤対応点が検出されると共に、ステレオ処理部５によるマッチング処理が「高」、「中」、「低」の３段階の信頼度で判定され、例えば「低」と判定された場合には、後続の補正部１２により補正処理が施されて、正確な距離画像が後続の距離画像メモリ８に送信され、ストアされるようになっている。
【００５５】
次に、本実施形態における画像処理装置の作用について説明する。
画像処理装置１の入力スイッチ（図示せず）を押すことで、撮像部２における２台のカメラ９，１０により、アナログデータである基準画像Ｇｂ及び比較画像Ｇｃがそれぞれ撮像され、画像入力部３に送信される。送信された基準画像Ｇｂ及び比較画像Ｇｃは、画像入力部におけるアナログインターフェースにより明るさバランスが揃えられた後、ログ変換テーブルにより低輝度部分のコントラストを改善する等の画像補正処理が行われる。さらに、Ａ／Ｄコンバータにより所定の輝度階調のデジタルデータに変換された後、補正回路によりアフィン変換が施され、元画像メモリ４に送信、ストアされる。
【００５６】
元画像メモリ４にストアされた基準画像Ｇｂ及び比較画像Ｇｃは、ステレオ処理部５におけるシティブロック距離計算回路により、比較画像Ｇｃに存在するエピポーラ・ラインＥに沿った方向に一ブロックずつずらしながら走査されて、基準画像Ｇｂにおける一の画素と、比較画像Ｇｃにおいて対応する一の画素との間のシティブロック距離Ｃが算出される。さらに、最小・最大値検出回路により、算出されたシティブロック距離Ｃの最小値Ｃmin、最大値Ｃmax及び平均値Ｃaveが検出され、後続のずれ量決定回路において最小値Ｃminが基準画像Ｇｂと比較画像Ｇｃとの一致を示すものであるか否かが検証されて視差Ｘが決定される。
【００５７】
このように決定された視差Ｘと、最小・最大値検出回路により検出されたシティブロック距離Ｃの最小値Ｃmin、最大値Ｃmax及び平均値Ｃaveとが、視差補正部７に送信される。同時に、判定要素抽出部６により、特徴量であるＳＡＤ関数の形状に関する値と、マッチングブロックの独創性を示す要素と、周辺ブロックとの関連性を示す要素とが抽出され、視差補正部７に送信される。
【００５８】
視差補正部７では、判定部１１において、これら特徴量に基づいて誤対応点が検出されると共に、マッチング処理に対する信頼性評価が行われる。これら誤対応点の検出結果及びマッチング処理の評価度は、後続の補正部１２に送信され、評価度に応じて距離画像に対して補正処理が施されて、基準画像Ｇｂの一の画素に対応する距離画像として距離画像メモリ８にストアされる。さらに、同様の作業を繰り返すことにより画像全体に渡る距離画像が算出され、距離画像メモリ８にストアされて、一連の画像処理作業が完了する。
【００５９】
このとき、視差補正部７の判定部１１による誤対応点の検出及びマッチング処理に対する信頼性評価は、ステレオ処理部５の最小・最大値検出回路及び判定要素抽出部６により抽出されたＳＡＤの解析結果、マッチングブロックの独創性及び周辺マッチングブロックとの関連性といった特徴量が、「正」若しくは「誤」の２値又は「正」、「誤」若しくは「どちらでもない」の３値で識別する識別器、すなわち、図７に示すような非線形の３層の階層型ニューラルネット１３に入力され、入力された特徴量に基づいて誤対応点が検出され、マッチング処理に対する信頼度が「高」、「中」、「低」の３段階で判定される。信頼度が「高」と判定された場合には、補正部１２において補正処理は行われず、「低」と判定された場合には、補正処理が行われる。一方、「中」と判定された場合には、例えば自ブロックの周辺に存在する信頼度が「高」であるマッチングブロックの情報に基づいて補正処理が行われ、画像全体に渡る正確な距離画像が算出される。
【００６０】
以上より、本実施形態における画像処理装置によれば、２枚の画像Ｇｂ，Ｇｃを撮像する２台のカメラ９，１０からなる撮像部２と、撮像部２で撮像された２枚の画像Ｇｂ，Ｇｃに対してマッチング処理を行うステレオ処理部５とを具備する画像処理装置において、マッチング処理が施された２枚の画像Ｇｂ，Ｇｃから複数の特徴量を抽出する判定要素抽出部６と、抽出された複数の特徴量に基づいてステレオ処理部５による複数の画像Ｇｂ，Ｇｃに対するマッチング処理の信頼性評価を行う判定部１１と、判定部１１による評価情報に基づいてマッチング処理の際に生じる誤対応を補正する補正部１２とを備えて構成された視差補正部を具備するので、一の特徴量による判定が不可能又は判定結果が曖昧な場合であっても、複数の特徴量に基づいて判定することにより、誤対応点の検出精度と、マッチング処理に対する信頼性評価の精度の向上を図ることが可能となり、これによって、これら検出結果及び信頼性評価に基づいて行われる後続の補正処理における計測精度の向上を図ることができる。
【００６１】
なお、撮像部２は、本実施形態に限定されず、一定の時間間隔で複数の画像を撮像する１台のカメラから構成され、各画像中のフレームの各点がどのような速度成分をもっているかを表す速度ベクトルの場、いわゆるオプティカルフローを検出するようになっていてもよい。
【００６２】
また、判定部１１には、抽出されたすべての特徴量が入力されているが、必ずしもすべての特徴量が必要なわけではなく、適用例に応じて必要とされる特徴量のみが入力されてもよい。
【００６３】
さらに、識別器の設計及び識別器による学習的な獲得には、本実施形態に限定されず、従来のパターン認識で一般的に用いられているもの、例えばｋ−最近傍識別法（ｋ−ＮＮ）、サポートベクタマシン（ＳＶＭ）、部分空間法等が適用されていてもよい。
【００６４】
さらに、判定部１１は、必ずしもすべてニューラルネットで構成される必要なわけではなく、判定部１１の一部のみがニューラルネットで構成されていてもよい。
【図面の簡単な説明】
【００６５】
【図１】本発明に係る画像処理装置の構成を示すブロック図である。
【図２】本発明に係る画像処理装置のマッチングブロックを示す平面図である。
【図３】本発明に係る画像処理装置によるマッチング処理の結果を示すグラフである。
【図４】本発明に係る画像処理装置による自己マッチング処理の結果を示すグラフである。
【図５】本発明に係る画像処理装置の自ブロック及び周辺マッチングブロックを示す平面図である。
【図６】本発明に係る画像処理装置の視差補正部の構成を示すブロック図である。
【図７】本発明に係る画像処理装置に適用されたニューラルネットを示す概略図である。
【図８】２台のカメラを用いたステレオ画像法の原理を示す概念図である。
【符号の説明】
【００６６】
１ 画像処理装置
２ 撮像部
５ ステレオ処理部
６ 判定要素抽出部
７ 視差補正部
８ 画像メモリ
９ 基準カメラ
１０ 比較カメラ
１１ 判定部
１２ 補正部
１３ ニューラルネット
Ｅ エピポーラ・ライン
Ｇｂ 基準画像
Ｇｃ 比較画像
Ｗ１，Ｗ２ 最小点を含む谷の幅寸法
【特許請求の範囲】
【請求項１】
複数の画像を撮像する一又は複数のカメラからなる撮像部と、
前記複数の画像に対してマッチング処理を行うステレオ処理部とを具備する画像処理装置において、
マッチング処理が施された複数の画像から一又は複数の特徴量を抽出する判定要素抽出部と、
抽出された前記特徴量に基づいて前記マッチング処理の信頼性評価を行う判定部及び前記判定部による評価情報に基づいて前記マッチング処理の際に生じる誤対応を補正する補正部を備えた視差補正部とを具備することを特徴とする画像処理装置。
【請求項２】
前記判定部は、前記ステレオ処理部による複数の画像に対するマッチング処理の信頼性評価を行うニューラルネットを用いて構成されていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴量は、マッチング処理に用いられる評価関数の解析結果、画素領域の独創性を示す要素又は周辺画素領域との関連性を示す要素のうち少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記マッチング処理に用いられる評価関数の解析結果は、評価関数の値又は評価関数の形状を示す要素のうち少なくとも１つを含むことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記評価関数の形状を示す要素は、極小点の数、最小点を含む谷の幅寸法又は最小点を含む谷の鋭角度のうち少なくとも１つを含むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画素領域の独創性を示す要素は、画素領域におけるエピポーラ・ラインに沿った方向への差分の絶対値が所定の値を超える画素の数、画素領域におけるエピポーラ・ラインに沿った方向への差分の絶対値の平均又は画素領域における輝度値の分散のうち少なくとも１つを含むことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記周辺画素領域との関連性を示す要素は、自己マッチング処理における評価関数の値が所定の値を下回る画素領域の数、極小点の数、最小点を含む谷の幅寸法、最小点を含む谷の鋭角度又は任意に選択した一の画素領域の近傍において同一の視差を出力する画素領域の数のうち少なくとも１つを含むことを特徴とする請求項３のいずれか一項に記載の画像処理装置。
【請求項１】
複数の画像を撮像する一又は複数のカメラからなる撮像部と、
前記複数の画像に対してマッチング処理を行うステレオ処理部とを具備する画像処理装置において、
マッチング処理が施された複数の画像から一又は複数の特徴量を抽出する判定要素抽出部と、
抽出された前記特徴量に基づいて前記マッチング処理の信頼性評価を行う判定部及び前記判定部による評価情報に基づいて前記マッチング処理の際に生じる誤対応を補正する補正部を備えた視差補正部とを具備することを特徴とする画像処理装置。
【請求項２】
前記判定部は、前記ステレオ処理部による複数の画像に対するマッチング処理の信頼性評価を行うニューラルネットを用いて構成されていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴量は、マッチング処理に用いられる評価関数の解析結果、画素領域の独創性を示す要素又は周辺画素領域との関連性を示す要素のうち少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記マッチング処理に用いられる評価関数の解析結果は、評価関数の値又は評価関数の形状を示す要素のうち少なくとも１つを含むことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記評価関数の形状を示す要素は、極小点の数、最小点を含む谷の幅寸法又は最小点を含む谷の鋭角度のうち少なくとも１つを含むことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画素領域の独創性を示す要素は、画素領域におけるエピポーラ・ラインに沿った方向への差分の絶対値が所定の値を超える画素の数、画素領域におけるエピポーラ・ラインに沿った方向への差分の絶対値の平均又は画素領域における輝度値の分散のうち少なくとも１つを含むことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記周辺画素領域との関連性を示す要素は、自己マッチング処理における評価関数の値が所定の値を下回る画素領域の数、極小点の数、最小点を含む谷の幅寸法、最小点を含む谷の鋭角度又は任意に選択した一の画素領域の近傍において同一の視差を出力する画素領域の数のうち少なくとも１つを含むことを特徴とする請求項３のいずれか一項に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−４７２５２（Ｐ２００６−４７２５２Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００４−２３２３９４（Ｐ２００４−２３２３９４）
【出願日】平成１６年８月９日（２００４．８．９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１６年８月９日（２００４．８．９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]