視差算出方法、および視差算出装置
【課題】連続する類似したパターンを含む物体の距離測定をステレオカメラで実現すること。
【解決手段】ステレオカメラを用いたステレオマッチングにおいて、基準点に対するＳＡＤなどの評価値分布において複数の対応点候補が存在した場合、対応点が複数存在すると判定された基準点の評価値分布と、その基準点の周辺領域に存在する別の各基準点の評価値分布とを重畳して、評価値マップを生成する。これにより、対応点が複数存在すると判定された基準点の周辺の実空間における、物体の形状を表現していることになり、評価値マップ上の最も直線の強い線分を抽出することで、一直線上に連続する柵などの正しい距離を算出することが可能となる。
【解決手段】ステレオカメラを用いたステレオマッチングにおいて、基準点に対するＳＡＤなどの評価値分布において複数の対応点候補が存在した場合、対応点が複数存在すると判定された基準点の評価値分布と、その基準点の周辺領域に存在する別の各基準点の評価値分布とを重畳して、評価値マップを生成する。これにより、対応点が複数存在すると判定された基準点の周辺の実空間における、物体の形状を表現していることになり、評価値マップ上の最も直線の強い線分を抽出することで、一直線上に連続する柵などの正しい距離を算出することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両前方の車両、又は歩行者、壁、柵、植込みなどの道路環境に存在するものを、測距、検出するための車載ステレオカメラを用いてステレオマッチングによる視差算出をする方法および装置の分野に関するものである。
【背景技術】
【０００２】
ステレオマッチングとは、二つのレンズを搭載したステレオカメラによって測距対象を撮影したステレオ画像データのうち、一方のレンズで撮影したステレオ画像データである基準画像データの各点と対応する対応点を、もう一方のレンズで撮影したステレオ画像データである参照画像データの探索領域から探索するものである。対応点の判定方法としては、基準画像データの各点である基準点を中心に小領域を抽出し、抽出した小領域と探索領域内の小領域と比較して、各小領域の画像輝度パターンが類似しているかを、画像輝度の差分絶対和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）、差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）、正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）などの評価値の基準を用いて判定する方法が、一般的に用いられている。
【０００３】
しかし、測距対象物が、横断歩道、柵など、棒状、矩形の模様が繰り返されているような、連続した類似パターンを含む物体を含む場合には、ＳＡＤ、ＳＳＤ、ＮＣＣでは、対応点候補が複数算出され、原理的に正しい対応点を算出することが困難である。
【０００４】
複数の対応点候補が算出された場合における従来の対策として、その基準点の対応点は不明であるとして出力しないという方法がある（例えば、特許文献１参照）。また、プリクラッシュ制御、先行車との車間制御、駐車支援制御などのアプリケーションの制御態様に応じて、対応点を選択するという方法（例えば、特許文献２参照）があった。図１２は、特許文献２に記載された従来のステレオマッチング方式を示す。
【０００５】
図１２において、ステレオ画像データ取得部１２０２は、二つのレンズを搭載したステレオカメラで同時に撮影した一対の画像データとして、一方のレンズで撮影した基準画像データと、もう一方のレンズで撮影した参照画像データとを取得する。
【０００６】
ステレオマッチング部１２０３は、基準画像データの各点と、参照画像データの探索領域内の探索点との画像輝度の相違度をＳＡＤにより算出し、探索領域内の類似度の集合を評価値分布として算出する。対応点候補複数存在判定部１２０４は、評価値分布から複数の対応点候補が存在するか否かについて判定する。
【０００７】
評価値極小対応点算出部１２０５は、複数の対応点候補が存在しないと判定された基準点に対して、画像輝度の相違度である評価値が極小となる探索点を対応点候補として算出する。制御態様データ取得部１２０６は、制御態様のモードを表す制御態様データを取得する。
【０００８】
制御態様対応点算出部１２０７は、複数の対応点候補が存在すると判定された基準点に対して、制御態様がプリクラッシュ制御の場合は最も遠距離の対応点候補を選択し、制御態様が車間制御の場合は最も近距離の対応点候補を選択し、制御態様が駐車支援制御の場合は最も近距離の対応点候補を選択する。
【０００９】
視差データ出力部１２０８は、複数の対応点候補が存在しないと判定された基準点に対しては評価値最小の対応点を代入し、複数の対応移転候補が存在すると判定された基準点に対しては制御態様によって選択した対応点を代入して、基準画像に対する視差データを算出する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００１−３５１２００号公報
【特許文献２】特開２００７−８５７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、従来の構成では、制御態様によって対応点の位置を決定するため、正しい距離を測定することは困難であった。例えば、実際には、自車から距離５．７ｍの位置に存在する物体に含まれる、連続した類似パターンの間隔が１０ｃｍである場合において、仮に、ステレオカメラを構成する二つのレンズ間の距離（基線長）を０．１２ｍ、カメラの焦点距離を１０００ｐｉｘｅｌとした場合、探索領域内の類似パターン位置で極小となるために、視差が５、２１、３７となる複数の対応点候補が算出される。係る場合、三角測量の原理から、（視差）＝（基線長）×（焦点距離）／（距離）の関係が成り立つことから、視差が０．１２×１０００／５．７＝２１の対応点候補が正しい対応点となる。
【００１２】
しかしながら、最も近距離の対応点候補を選択すると、視差が３７の対応点候補が選択されるため距離が０．１２×１０００／３７＝３．２ｍと誤算出され、一方で、最も遠距離の対応点候補を選択すると、視差が５の対応点候補が選択されるため０．１２×１０００／５＝２４ｍと誤算出されることになる。
【００１３】
そのため、柵のように、棒状の物体が、１０ｃｍ間隔で配置され、視差検出装置において、類似画像パターンが連続する物体として認識される場合は、制御態様のプリクラッシュ制御があっても、ブレーキ制御が十分に作動しない可能性もある。また、制御態様が車間制御のときは十分に減速しない可能性があり、制御態様が駐車支援制御のときは、適切なところに駐車することが困難である可能性がある。
【００１４】
さらに、柵のように、連続した類似パターンを含む物体が存在すると、柵の検出が困難になるため、走行路の判定が不十分になる場合があるという課題を有していた。
【００１５】
本発明は、従来の課題を解決するもので、連続した類似パターンを含む物体がある場合においても、正しい視差を算出する視差算出方法および装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明に係る視差算出装置は、第一の撮像系と第二の撮像系を有し、対象物を、第一の撮像系を用いて撮像した基準画像のデータと、対象物を、第二の撮像系を用いて撮像した参照画像のデータと、を取得するステレオ画像データ取得部と、基準画像が有する基準点と、参照画像が有する複数の探索点との、画像輝度の相違度を示す評価値分布を算出するステレオマッチング部と、評価値分布に含まれる探索点から、評価値が極小となる探索点を検出し、検出した探索点の数量が複数である場合に、検出された複数の探索点を対応点候補として出力する対応点候補数判定部と、対応点候補が含まれる評価値分布から、対応点候補の座標分布を示す極小値分布であり、第一の基準点に対応する第一の極小値分布と、第一の基準点を含む基準画像の周辺領域に存在する、一または複数の第二の基準点に対応する第二の極小値分布と、を算出する極小値分布算出部と、第一の極小値分布と第二の極小値分布とに基づいて、第一の基準点及び第二の基準点と複数の対応点候補との座標変動値の関係を示す評価値マップを算出する評価値マップ算出部と、評価値マップにおいて、座標変動値が最小である対応点候補を、対応点として判定する対応点判定部と、対応点の参照画像における座標点と、第一の基準点の参照画像における座標点との差分である視差値を出力する視差データ出力部と、を備えるものである。
【００１７】
これにより、基準画像において、基準点の周辺領域に存在する別の基準点の情報を重畳することにより、連続する類似したパターンを含む物体の場合に対しても、正しい視差を算出することができるという効果を有する。
【００１８】
また、本発明に係る視差算出装置は、周辺領域の範囲は、第一の基準点の極小値分布に含まれる評価値が極小となる探索点の数、および間隔に基づいて定まるものである。
【００１９】
これにより、基準画像内で、連続する類似パターンを含む物体が複数存在し、さらに各物体の距離が異なる場合に対して、各物体のサイズをより高精度に算出できるという効果を有する。
【００２０】
また、本発明に係る視差算出装置は、対応点判定部が、第一の基準点に係る対応点候補の数量と、第二の基準点に係る対応点候補の数量とが異なる場合に、第一の基準点、および第二の基準点に係る極小値分布の何れかにのみ含まれる対応点候補を除いて、対応点を判定するものである。
【００２１】
これにより、視差算出装置に与える情報処理の負荷を軽減し、正しい視差を算出することができるという効果を有する。
【００２２】
また、本発明に係る視差算出装置は、対応点判定部が、評価値マップに対してハフ変換を行うことにより、座標変動値が最小である対応点候補を、対応点として抽出するものである。
【００２３】
これにより、連続する類似したパターンを含む物体が一直線状に存在する場合に対して、距離をより高精度に算出できるという効果を有する。
【００２４】
また、本発明に係る視差算出装置は、第一の撮像系は第一のレンズを有し、第二の撮像系は第二のレンズを有し、周辺領域は、第一のレンズと第二のレンズとの配列方向に任意の幅を有する領域である場合において、評価値マップ算出部は、第一の評価値分布と、第二の評価値分布と、周辺領域に存在する基準点に対して、第一のレンズと第二のレンズとの配列方向に対して垂直方向に存在する第三の基準点に対応する極小値分布とに基づいて、評価値マップを算出するものである。
【００２５】
これにより、第一のレンズと第二のレンズとの配列方向に対して垂直方向に存在する別の基準点の極小値分布を重畳してから、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出することにより、対応点抽出の確度が向上するという効果を有する。
【００２６】
また、本発明に係る視差算出装置は、周辺領域の範囲は、第一の基準点に対応する評価値分布と、第二の基準点に対応する評価値分布と、の複数の探索点に対応する画像輝度の相違度の差分和に基づいて定めるものである。
【００２７】
これにより、同じ視差（距離）の基準点を周辺領域として含めることにより、正しい視差値を推定する確度が高まるという効果を有する。
【００２８】
また、本発明に係る視差算出方法は、対象物を、第一の撮像系を用いて撮像した基準画像のデータと、対象物を、第二の撮像系を用いて撮像した参照画像のデータと、を取得し、基準画像が有する基準点と、参照画像が有する複数の探索点との、画像輝度の相違度を示す評価値分布を算出し、評価値分布に含まれる探索点から、評価値が極小となる探索点を検出し、検出した探索点の数量が複数である場合に、検出された複数の探索点を対応点候補として出力し、対応点候補が含まれる評価値分布から、対応点候補の座標分布を示す極小値分布であり、第一の基準点に対応する第一の極小値分布と、第一の基準点を含む基準画像の周辺領域に存在する、一または複数の第二の基準点に対応する第二の極小値分布と、を算出し、第一の極小値分布と第二の極小値分布とに基づいて、第一の基準点及び第二の基準点と複数の対応点候補との座標変動値の関係を示す評価値マップを算出し、評価値マップにおいて、座標変動値が最小である対応点候補を、対応点として判定し、対応点の参照画像における座標点と、第一の基準点の参照画像における座標点との差分である視差値を出力するものである。
【００２９】
これにより、基準画像において、基準点の周辺領域に存在する別の基準点の情報を重畳することにより、連続する類似したパターンを含む物体の場合に対しても、正しい視差を算出することができるという効果を有する。
【発明の効果】
【００３０】
本発明によれば、ステレオマッチングにおいて、小領域での比較での対応点探索ではなく、周辺領域の比較情報も付加して対応点を判定することで、ステレオマッチングで算出困難な、連続する類似画像パターンを含む物体に対して正しい視差を算出することができ、交通環境において多く存在するガードレール、駐車場などに多く存在する柵などの距離を安定に測定できるため、自車両の制御、警報なども正しく動作することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態１における視差算出装置のブロック構成を示す図
【図２】本発明の実施の形態１における視差算出方法の処理フローを示す図
【図３】（ａ）本発明の実施の形態１におけるステレオ画像のうち基準画像における対象物の位置を示す図（ｂ）本発明の実施の形態１におけるステレオ画像のうち参照画像における対象物の位置と視差を示す図
【図４】（ａ）本発明の実施の形態１における基準画像における走査する基準点の位置を示す図（ｂ）本発明の実施の形態１における参照画像における探索領域と対応点候補を示す図（ｃ）本発明の実施の形態１における相違度の評価値分布を示す図
【図５】（ａ）本発明の実施の形態１における基準画像における走査する基準点の位置を示す図（ｂ）本発明の実施の形態１における参照画像における探索領域と対応点候補を示す図（ｃ）本発明の実施の形態１における相違度の評価値分布を示す図
【図６】（ａ）本発明の実施の形態１における連続する類似パターンを含む物体の場合の基準画像における走査する基準点の位置を示す図（ｂ）本発明の実施の形態１における連続する類似パターンを含む物体の場合の参照画像における探索領域と対応点候補を示す図（ｃ）本発明の実施の形態１における連続する類似パターンを含む物体の場合の相違度の評価値分布を示す図（ｄ）本発明の実施の形態１における連続する類似パターンを含む物体の場合の相違度から極小値の評価値分布の算出を示す図
【図７】（ａ）本発明の実施の形態１における基準画像における二つの基準点の位置を示す図（ｂ）本発明の実施の形態１における参照画像における各基準点に対する候補点候補を示す図（ｃ）本発明の実施の形態１における所定の基準点に対応する評価値分布を示す図（ｄ）本発明の実施の形態１における所定の基準点に対応する評価値分布を示す図（ｅ）本発明の実施の形態１における対応点候補を示す図
【図８】（ａ）本発明の実施の形態１における基準画像における複数の基準点の位置を示す図（ｂ）本発明の実施の形態１における参照画像における各基準点に対する探索領域を示す図（ｃ）本発明の実施の形態１における各基準点に対応する評価値分布を示す図（ｄ）本発明の実施の形態１における評価値マップを示す図
【図９】（ａ）本発明の実施の形態１における基準画像における複数の基準点の位置を示す図（ｂ）本発明の実施の形態１における参照画像における各基準点に対する探索領域を示す図（ｃ）本発明の実施の形態１における各基準点に対応する評価値分布を示す図（ｄ）本発明の実施の形態１における評価値マップを示す図
【図１０】（ａ）本発明の実施の形態１における連続した類似パターンを含む物体の撮像画像と評価値マップの関係における評価値マップを示す図（ｂ）本発明の実施の形態１における連続した類似パターンを含む物体の撮像画像と評価値マップの関係における基準画像を示す図（ｃ）本発明の実施の形態１における連続した類似パターンを含む物体の撮像画像と評価値マップの関係における評価値マップの一部を抽出した極小値分布を示す図
【図１１】（ａ）本発明の実施の形態１における基準画像における複数の基準点の位置を示す図（ｂ）本発明の実施の形態１における参照画像における各基準点に対する探索領域を示す図（ｃ）本発明の実施の形態１における各基準点に対する評価値分布を示す図（ｄ）本発明の実施の形態１における評価値分布を重ね合わせた結果を示す図
【図１２】従来の視差算出装置のブロック構成を示す図
【発明を実施するための形態】
【００３２】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００３３】
（実施の形態１）
図１は、本発明の実施の形態１における視差算出装置１００のブロック図である。図１に示す視差算出装置１００は、視差算出部１０１と、ステレオ画像データ取得部１０２と、視差データ出力部１０３と、を含む構成である。
【００３４】
さらに、視差算出部１０１は、ステレオマッチング部１０４と、対応点候補数判定部１０５と、極小値分布算出部１０６と、評価値マップ算出部１０７と、対応点判定部１０８と、を含む構成である。
【００３５】
視差算出装置１００は、ステレオ画像データ取得部１０２が取得したステレオ画像に基づいて、視差算出部１０１が視差算出を行い、視差データ出力部１０３が視差データを出力する。
【００３６】
図２は、図１に示した視差算出装置１００の視差算出方法の処理フロー図である。以下、本実施の形態１における、視差算出方法、及び視差算出装置の説明をする。
【００３７】
ステレオ画像データ取得部１０２では、左右に並んだ二つのレンズを搭載したステレオカメラによって同時に撮影した、一対のステレオ画像データを取得する（Ｓ２０１）。ステレオ画像データは、一方のレンズで撮影した基準画像のデータである基準画像のデータと、もう一方のレンズで撮影した参照画像のデータである参照画像データを含む。なお、ステレオカメラは、左右に並んだ二つのレンズを搭載したカメラであるとして説明したが、この限りではなく、二つのカメラで代替することもできる。
【００３８】
図３は、測距対象物が前方の車体である場合におけるステレオ画像であり、（ａ）は基準画像を、（ｂ）は参照画像を示したものである。二つのレンズのうち、何れのレンズを用いて撮影した画像を基準画像とするかは任意であるが、以下、測距対象物に向かって、右レンズで撮影した画像を基準画像、左レンズで撮影した画像を参照画像として説明する。
【００３９】
参照画像において撮影される測距対象物の位置は、基準画像において撮影される測距対象物の位置と比較して右にずれた位置となる。このズレが視差であり、測距する対象物の距離によって変化する。具体的には、基準画像における測距対象物の左端の座標をｘｂ、参照画像における測距対象物の左端の座標をｘｒとすると、測距対象物の左端の視差ｄは、座標位置の差であるｘｒ−ｘｂとなる。
【００４０】
取得したステレオ画像データは、レンズの歪み補正と光軸の平行化補正を施し、補正後のステレオ画像データに変換される。レンズの歪み補正を行う方法は、レンズの設計値を用いた補正変換テーブルを用いた歪み補正を行う方法、半径方向の歪曲収差のモデルを用いたパラメータ推定により補正を行う方法など、レンズの歪みを補正するあらゆる方法で実現可能であり、本発明を限定するものではない。
【００４１】
また、光軸の平行化補正は、ステレオカメラの光軸平行化を行う、あらゆる方法で実現可能であり、本発明を限定するものではない。例えば、ステレオカメラの共通視野に格子パターンを設置し、対応付けされた格子点位置からステレオカメラの相対関係を算出し、光軸の平行化補正を行う方法によっても、平行化補正をすることができる。
【００４２】
視差算出部１０１は、ステレオマッチング部１０４において、ステレオ画像データ取得部１０２で取得した、基準画像と参照画像との間で、ステレオマッチングを行う（Ｓ２０２）。
【００４３】
ステレオマッチング部１０４は、各基準画像の任意の範囲に含まれる各基準点と、参照画像において、基準画像の基準点に対応する座標点を含む探索領域に含まれる探索点との、画像輝度の相違度を示す評価値分布を算出する。ここで、探索領域は、任意の範囲を有する領域である。
【００４４】
算出した各基準点についての評価値分布は、ステレオマッチング部１０４に内蔵されるメモリに記録される。
【００４５】
対応点候補数判定部１０５は、各基準点の評価値分布において、評価値が極小となる対応点候補が複数存在するか否かについて判定する（Ｓ２０３）。
【００４６】
基準画像における各基準点のうち、対応点候補が１つだけ存在すると判定された基準点については、視差データ出力部１０３が、対応点候補位置と、参照画像において当該基準値と同一の座標点に位置する座標点と、の差分を当該基準点の視差値として記録をする。そして、視差データ出力部１０３が視差データを出力する（Ｓ２０８）。
【００４７】
一方、基準画像における各基準点のうち、対応点候補が複数存在すると判定された基準点については、極小値分布算出部１０６が、評価値分布において評価値が極小となる対応点候補を算出し、極小値分布を算出する（Ｓ２０４）。
【００４８】
評価値マップ算出部１０７は、評価値マップを算出する（Ｓ２０５）。評価値マップは、対応点候補が複数存在すると判定された基準点の極小値分布と、基準画像において、当該基準点を含んだ周辺領域に位置する別の基準点の極小値分布とに基づいて、各基準点に対する各対応点候補の視差値の対応点候補ごとの変動値を示すマップである。
【００４９】
対応点判定部１０８は、評価値マップにおいて、最も直線状に連続した線分を抽出し（Ｓ２０６）、抽出した対応点候補の座標点を、対応点として判定する（Ｓ２０７）。
【００５０】
以下、視差算出部１０１の構成要素の各々の機能、および効果について、詳細に説明する。
【００５１】
ステレオマッチング部１０４は、基準画像と参照画像との間で、ステレオマッチングを行う。すなわち、基準画像の任意の範囲に含まれる各基準点と、参照画像において、各基準点と同一の座標点を含む、探索領域内の各探索点との、画像輝度の相違度を示す評価値分布を算出する（Ｓ２０２）。
【００５２】
ここで、探索領域の範囲は任意であり、計測した物体の距離の範囲、ステレオカメラの基線長、カメラの焦点距離を含む幾何学的パラメータによって決まる。
【００５３】
図４は、基準画像の任意の範囲における各基準点について、（ａ）は評価値分布を算出する場合の基準画像を示し、（ｂ）は参照画像を示し、（ｃ）は評価値分布を示したものである。以下、基準点についての評価値分布の算出手順について説明する。
【００５４】
なお、説明にあたり、基準画像の任意の範囲は、図示するように一部の範囲として説明するが、全範囲としてもよい。また、評価値分布を算出する基準点の座標を（ｘｂ１、ｙｂ１）として、ステレオ画像データは、平行化補正されているものとして説明する。ステレオ画像データが平行化補正されている場合は、基準画像における対象物のY座標と、参照画像における対象物のY座標が同じになる。
【００５５】
なお、図４において、四角で示されている領域は１画素であり、１画素が基準点である。以下の図の説明においても同様である。
【００５６】
ステレオマッチング部１０４は、基準画像における基準点（ｘｂ１、ｙｂ１）に対応する探索点として、参照画像における、基準点（ｘｂ１、ｙｂ１）と同じ座標（ｘｒ１＝ｘｂ１、ｙｒ１＝ｙｂ１）に位置する座標点から、Ｘ座標方向の一定の範囲（探索幅）を、図４（ｂ）に示す探索領域として設定する。
【００５７】
探索領域は、参照画像において、Ｙｒ軸上すなわち横方向に一定の幅を有する領域である。探索領域を参照画像の横方向とするのは、ステレオカメラは、レンズを横方向に配列しているためである。
【００５８】
具体的には、基準画像上の基準点の座標である（ｘｂ１、ｙｂ１）に対して、参照画像上における探索点の範囲は、アプリケーションに必要な測距対象の距離の最小値／最大値に基づいて定まる探索幅をＲとしたとき、（ｘｒ１、ｙｒ１）、（ｘｒ１＋１、ｙｒ１）、（ｘｒ１＋２、ｙｒ１）、…、（ｘｒ１＋Ｒ、ｙｒ１）となる。なお、基準画像上の座標（ｘｂ１、ｙｂ１）と、参照画像上の座標（ｘｒ１、ｙｒ１）は、画像上の座標位置は同じである。
【００５９】
そして、探索領域内の各探索点と基準点ｘｂ１との画像輝度の相違度を算出して、相違度による評価値分布Ｈ（ｘｂ１）を算出する（Ｓ２０２）。
【００６０】
ここで、評価値分布Ｈ（ｘｂ１）のＤ軸（Ｄｅｐｔｈ軸）と、Ｘｂ軸およびＸｒ軸の関係は、Ｘｒ軸の原点をｘｂ１の位置にずらしたものがD軸であり、D軸、Xb軸、Xr軸の次元は何れもピクセルである。
【００６１】
なお、上記の説明では、ステレオ画像データは平行化補正されているものとして説明したが、ステレオ画像データが平行化補正されていない場合には、ステレオ画像の上下方向の位置合わせができていないため、基準画像の基準点（ｘｂ１、ｙｂ１）に撮影される測距対象物の点が、参照画像においては当該基準点の座標のＹ座標と同一のＹ座標に撮影されないため、基準点のＹ軸方向の位置合わせも含めて、探索領域として設定される。
【００６２】
ステレオマッチングによって得られる評価値分布Ｈ（ｘｂ１）は、横軸がＤ軸であり、縦軸が基準点とそれに対する探索点との画像輝度の相違度を示す一次元の分布である。基準点と探索点との画像輝度の相違度には、基準点を中心とした８×８の小領域と各探索点を中心とした８×８の小領域の、画像輝度の差分絶対和（ＳＡＤ）を用いる。
【００６３】
なお、評価値として用いる画像輝度の相違度は、差分二乗和（ＳＳＤ）など、完全一致した場合に値が最小となる、あらゆる相違度で代替可能である。また、評価値として用いる画像輝度の相違度は、正規化相関（ＮＣＣ）など、完全一致した場合に、値が最大となる類似度の指標を正負逆にして利用することも可能である。
【００６４】
なお、以上の処理は、各基準点について行われ、算出した各基準点についての評価値分布は、ステレオマッチング部１０４に内蔵されるメモリに記憶される。
【００６５】
対応点候補数判定部１０５は、評価値分布Ｈ（ｘｂ１）において、極小値を探索する。
【００６６】
対応点候補数判定部１０５が極小値を探索した結果、極小値が１つ存在する場合は、評価値が極小となる探索点を対応点として判定し（Ｓ２０３：Ｎｏ）、対応点候補位置を当該基準点の視差値として記録をし、視差データを出力する（Ｓ２０８）。
【００６７】
図５は、測距対象物が前方に位置する車体である場合であり、（ａ）は基準画像を示し、（ｂ）は参照画像を示し、（ｃ）は評価値分布を示す。車体のように連続した類似パターンを含む物体ではない場合、基準点（ｘｂ１、ｙｂ１）を含む小領域と、画像輝度が同程度である対応点候補は、図５（ｃ）に示すように、参照画面上に１つだけ存在する。
【００６８】
一方で、対応点候補数判定部１０５が極小値を探索した結果、評価値分布において複数の極小値が検出された場合は、評価値が極小となる複数の探索点を複数の対応点候補として判定する（Ｓ２０３：Ｙｅｓ）。
【００６９】
図６は、測距対象物が、前方に位置する柵である場合であり、（ａ）は基準画像を示し、（ｂ）は参照画像を示し、（ｃ）は評価値分布を示し、（ｄ）は後述する極小値分布Ｈｍ（ｘｂ１）を示す。柵のように連続した類似パターンを含む物体である場合、基準画像における、基準点（ｘｂ１、ｙｂ１）と、画像輝度が同程度である対応点候補は、図６（ｃ）に示すように、参照画面において複数存在する。
【００７０】
なお、対応点候補が複数存在するか否かの判定方法は、評価値分布の極小値を算出して、極小値がいくつ存在するかにより判定する等、一次元の分布から、周期的な分布であるか否かを判定する他の方法でも実現可能である。
【００７１】
極小値分布算出部１０６は、対応点候補数判定部１０５が極小値を探索した結果、評価値分布において複数の極小値が検出された場合に、評価値が極小となる対応点候補の座標を抽出し、極小値の分布のみを示す極小値分布Ｈｍ（ｘｂ１）を算出する（Ｓ２０４）。
【００７２】
以下、図６を用いて、極小値分布Ｈｍ（ｘｂ１）の算出手順について説明する。
【００７３】
図６（ａ）に示すように、測距対象が連続する類似パターンを含む柵であるため、評価値分布Ｈ（ｘｂ１）は、図６（ｃ）に示すように、複数の位置において極小値を有する分布となる。
【００７４】
極小値分布算出部１０６は、評価値分布Ｈ（ｘｂ１）において複数の極小値の位置のみを抽出した分布を算出し、図６（ｄ）に示すように、算出された評価値分布の極小値の位置に−１の値を、それ以外の位置は０の値を代入して、極小値分布Ｈｍ（ｘｂ１）を算出する。
【００７５】
ここで、図６（ｄ）に示す極小値分布Ｈｍ（ｘｂ１）の極小値の位置は、基準点（ｘｂ１、ｙｂ１）についての探索領域の左端を原点に、参照画像における対応点候補の位置を示している。
【００７６】
なお、極小値分布を算出する場合に用いる極小値の位置の定数、およびそれ以外の位置の定数の値に関しては一例であり、本発明を限定するものではない。
【００７７】
なお、基準点についての評価値分布について、対応点候補が複数存在するか否かの判定を行い、複数存在する場合には、極小値分布を算出するという一連の手続は、メモリに記憶された全ての各基準点について実施される。
【００７８】
なお、評価値が極小となる複数の探索点を、対応点候補として判定する際に、評価値軸上に所定の閾値を設けて、所定の閾値を以下である探索点を対応点候補とするとしてもよい。これにより、相違度が高い探索点であって極小点となる探索点を、対応点候補から除外することができ、対応点候補の判定精度を向上させることができる。
【００７９】
図７は、複数の対応点候補が存在する基準点（ｘｂ１、ｙｂ１）の極小値分布Ｈｍ（ｘｂ１）と、基準画像において、基準点（ｘｂ１、ｙｂ１）に隣接する別の基準点（ｘｂ２、ｙｂ２）の極小値分布Ｈｍ（ｘｂ２）との関係を示す模式図である。（ａ）は基準画像を示し、（ｂ）は参照画像を示し、（ｃ）は基準点（ｘｂ１、ｙｂ１）の極小値分布Ｈｍ（ｘｂ１）を示し、（ｄ）は基準点（ｘｂ２、ｙｂ２）の極小値分布Ｈｍ（ｘｂ２）を示し、（ｅ）は（ｂ）に示す参照画像における基準点（ｘｂ１、ｙｂ１）に対する対応点候補、及び基準点（ｘｂ２、ｙｂ２）に対する対応点候補を示す。
【００８０】
以下、基準点（ｘｂ１、ｙｂ１）と、それと隣接する基準点（ｘｂ２、ｙｂ２）との極小値分布の関係を説明する。なお、図７（ａ）、及び（ｅ）に示す基準点（ｘｂ１、ｙｂ１）の対応点候補は、図７（ｂ）に示す対応点候補１から対応点候補４とし、図７（ａ）、及び（ｅ）に示す基準点（ｘｂ２、ｙｂ２）の対応点候補は、図７（ｂ）に示す対応点候補５から対応点候補８として説明する。また、対応点候補１から対応点候補４は、点線で示す。
【００８１】
図７（ａ）に示す基準画像において、基準点（ｘｂ２、ｙｂ２）は、基準点（ｘｂ１、ｙｂ１）に隣接する基準点として選択される。図７（ｂ）に示す、基準点（ｘｂ２、ｙｂ２）に対する探索領域は、基準点（ｘｂ１、ｙｂ１）に対する探索領域に対して、ｘｂ２とｘｂ１の差分だけＸｒ軸にシフトさせた領域である。
【００８２】
ここで、図７（ｃ）に示された、基準点（ｘｂ１、ｙｂ１）の極小値分布Ｈｍ（ｘｂ１）のＤ軸上における各極小値の位置と、図７（ｄ）に示された、基準点（ｘｂ２、ｙｂ２）の極小値分布Ｈｍ（ｘｂ２）のＤ軸上における各極小値の位置とを比較すると、ｘｂ２とｘｂ１の差分だけＤ軸上をシフトしている極小値もある一方で、ｘｂ２とｘｂ１の差分よりも大きく、または小さくシフトしている極小値もある。
【００８３】
図７（ｅ）を用いて説明すると、基準点（ｘｂ１、ｙｂ１）に対する対応点候補３の座標から、ｘｂ２とｘｂ１の差分だけＸｒ軸上にシフトさせた位置に、基準点（ｘｂ２、ｙｂ２）に対する対応点候補７が存在しており、隣接する基準点に撮像されている点の距離はほぼ等しいと考えられるため、各対応点候補は正しい対応点である可能性が高いことを意味する。
【００８４】
一方、図７（ｅ）の基準点（ｘｂ１、ｙｂ１）に対する対応点候補１の座標から、ｘｂ２とｘｂ１の差分だけＸｒ軸上にシフトさせた位置に、基準点（ｘｂ２、ｙｂ２）に対する対応点候補５が存在していないため、対応点候補は正しい対応点ではないことを意味する。係る場合、対応点候補３と対応点候補７の領域は、正しい対応点の位置であり正しい視差であるということになり、対応点候補１と対応点候補５の領域は、正しい対応点の位置ではないということになる。
【００８５】
評価値マップ算出部１０７は、極小値分布算出部１０６において極小値分布が算出された基準点（ｘｂ１、ｙｂ１）と、基準画像において、当該基準点ｘｂ１の周辺領域に存在する位置、または複数の別の基準点ｘｂｎ（ｎ：自然数）との極小値分布に基づいて、評価値マップを算出する（Ｓ２０５）。
【００８６】
ここで、周辺領域とは、基準画像において基準点（ｘｂ１、ｙｂ１）を含み、Ｙｂ軸方向に任意の幅を有する領域である。原則として、周辺領域に含まれる各基準点は、Ｙｂ座標が同一である領域である。周辺領域を、基準画像において横方向とするのは、各基準点に対して、探索領域を参照画像の横方向に設定することにより、横方向に類似パターンを誤検出する蓋然性が生じるためである。
【００８７】
なお、探索領域を参照画像の横方向とするのは、ステレオカメラを横方向に配列しているためであり、ステレオカメラを縦方向に配列した場合は、探索領域は参照画像の縦方向となり、基準画像における周辺領域も縦方向になる。
【００８８】
図８は、基準点（ｘｂ１、ｙｂ１）の極小値分布Ｈｍ（ｘｂ１）と、基準点（ｘｂ１、ｙｂ１）の周辺領域に位置する各基準点（ｘｂｎ、ｙｂｎ）（ｎ：自然数）の極小値分布Ｈｍ（ｘｂｎ）に基づいて、評価値マップを算出する手順を示す模式図である。（ａ）は基準画像を示し、（ｂ）は参照画像を示し、（ｃ）は各基準点（ｘｂｎ、ｙｂｎ）の極小値分布Ｈｍ（ｘｂｎ）の関係を示し、（ｄ）は基準点（ｘｂｎ、ｙｂｎ）の極小値分布を重畳させることで算出した評価値マップを示す。以下、図８に示す評価値マップの算出方法について説明する。
【００８９】
図８（ａ）に示す基準画像において、基準点（ｘｂ１、ｙｂ１）の周辺領域に存在し、別の基準点（ｘｂ２、ｙｂ２）、（ｘｂ３、ｙｂ３）、（ｘｂ４、ｙｂ４）の各々について算出された評価値分布Ｈｍ（ｘｂｎ）は、メモリから読み出される。ここで、各基準点の対応点候補は４つ存在するとして説明するが、本発明を限定するものではない。
【００９０】
図８（ｃ）に示すように、各極小値分布Ｈｍ（ｘｂｎ）（ｎ：１から４の整数）に分布する４つの対応点候補のうち、原点からの距離が極小値分布ごとに異なる対応点候補が存在する。図８（ｃ）においては、線ａ、ｂ、ｄで引かれた線上の対応点候補の原点からの距離が、極小値分布ごとに異なっている。これは、各基準点に対する視差値が変動していることを意味する。
【００９１】
評価値マップＭ（Ｄ、Ｘｂ）は、図８（ｃ）に示す各極小値分布Ｈｍ（ｘｂｎ）（ｎ：１から４の整数）のＤ軸を揃え、Ｘｂ軸に対するＤ軸上における各対応点候補の変動値、すなわち視差値の変動値を、Ｘｂ軸に対する線で示したものである。情報処理としては、Ｘｂ軸という次元を増やし、対応点候補の位置を３次元分布として処理したものである。
【００９２】
すなわち、評価値マップＭ（Ｄ、Ｘｂ）は、図８（ｃ）に示す各極小値分布に基づいて、各基準点と複数の対応点候補との座標変動値の関係を示したものである。
【００９３】
評価値マップＭ（Ｄ、Ｘｂ）において、線ｃ上の対応点候補は、各基準点に対する各対応点候補の視差値に変動がなく、すなわち各基準点が同じ視差に存在する、すなわち同じ距離に存在するということであり、正しい視差値を示している。
【００９４】
ここで、ｘｂ１は基準点のＸ座標を表し、ｘｂ２、…、ｘｂｎは、基準点に対して左右方向に隣接する基準点のＸ座標を表した場合、評価値マップＭ（Ｄ、Ｘｂ）を算出する数式は以下の数式１のようになる。
【００９５】
【数１】
【００９６】
なお、以上の説明では、基準点（ｘｂ１，ｙｂ１）の周辺領域として、Ｙ座標（ｙｂ１）の画像横一列の任意の領域を設定しているが、基準画像におけるＹ座標（ｙｂ１）のＸｂ軸上の全ての基準点を含むとしてもよい。
【００９７】
なお、周辺領域の設定方法は、例えば、基準点の評価値分布の特徴量、すなわち極小値の数や極小値間の間隔と、周辺領域に存在する別の基準点の評価値分布の特徴量との差が、一定の範囲となる周辺基準点までを選択範囲とすることができる。選択範囲を制限することで、連続する類似したパターンを含む物体が複数存在し、かつ、互いに位置が連続していない物体である場合に、各物体の正しい視差を算出することができる。
【００９８】
対応点判定部１０８は、評価値マップＭ（Ｄ、Ｘｂ）において示した線ａないしｄのうち、最も直線性の強い線、すなわち、各対応点候補のうちで、最も視差値の座標変動値が小さい対応点候補を、対応点として算出する。図８（ｄ）に示す評価値マップＭ（Ｄ、Ｘｂ）においては、線ａから線ｄのうち、線ｃが最も直線成分の強い直線である。
【００９９】
具体的には、柵など直線上に連続して存在する物体を抽出するために、評価値マップＭ（Ｄ、Ｘｂ）において、評価値の小さな点が一直線上に連続するような、最も直線成分の強い線を、ハフ変換により抽出する（Ｓ２０６）。ハフ変換とは、画像上の直線成分を抽出する基本的な画像処理一つである。ここで、評価値マップ全体についてハフ変換を行った結果として、直線成分が最も強い線を抽出する。
【０１００】
物理的な意味においては、連続する類似パターンを含む物体が、実空間で直線状に並んでいる場合、評価値マップ上では、対応点は、最も直線性の強い線に分布する結果が得られる。
【０１０１】
評価値マップにおける評価値の小さな点は、物体の存在位置を表す点であり、柵などの連続する類似パターンを含む物体では、基準画像と参照画像とで必ずしも同じ位置の支柱部分を対応付けできないため、複数の物体存在位置の候補が発生する。
【０１０２】
対応点候補が複数存在する場合には、評価値マップ上では複数の線が得られるが、真の視差の位置ではない直線では、評価値マップ上で一部直線性が乱れる部分があり、直線的には分布しない箇所が発生する。
【０１０３】
当該部分は、実空間では、柵の太さの少し異なる支柱の部分であり、また、横断歩道標示では、色が薄い部分である。すなわち、柵などの、連続する類似パターンを含む物体は、実際には、周期性に乱れがあり、当該部分の複数ある対応点候補の位置と、周期性の乱れのない部分の複数ある対応点候補の位置とが異なる。このため、柵などの、連続する類似パターンを含む物体は、周期性に乱れのある部分とない部分とで複数の対応点候補の位置を比較すると、真の視差でのみ一致する対応点があり、真の視差以外では一致しない。
【０１０４】
評価値マップとして表現すると、真の視差の位置でのみ直線性が保たれ、それ以外の視差の位置では、直線性が乱れた結果が得られることになる。
【０１０５】
ここで、図８（ａ）における基準点位置（ｘｂ１、ｙｂ１）、すなわち、評価値マップにおけるｘｂ＝ｘｂ１の位置に対して、求めるべき真の対応点位置をＤＣｏｒｒｅｃｔ（ｘｂ１）、評価値極小の位置をＤＭ（ｘｂ１）、算出した直線の位置をＤｌｉｎｅ（ｘｂ１）とした場合に、真の対応点は、以下の数式２で表すことができる。算出した直線の位置Ｄｌｉｎｅ（ｘｂ１）は、図８（ｄ）における線ｃのｘｂ＝ｘｂ１となるＤ軸の値を表している。
【０１０６】
【数２】
【０１０７】
数式２で表現した処理は、各基準点位置において実行される。本処理は、図８（ｄ）における線ｃの位置を、そのままｘｂ＝ｘｂ１の真の視差にすると、線ｃを推定する際の誤差が重畳してしまうため、線ｃを推定する際の誤差に影響されないようにするために必要な処理である。
【０１０８】
なお、以上の説明では、基準点（ｘｂ１、ｙｂ１）の周辺領域に位置する別の基準点（ｘｂｎ、ｙｂｎ）の極小値分布Ｈｍ（ｘｂｎ）における極小値の数と、基準点（ｘｂ１、ｙｂ１）の極小値分布Ｈｍ（ｘｂ１）における極小値の数とが同じである場合について説明したが、極小値の数が異なる場合について、以下説明する。係る場合は、柵などの連続した類似パターンを含む物体の隅を測距対象とした場合が想定される。
【０１０９】
図９は、Ｈｍ（ｘｂｎ）における極小値の数と、Ｈｍ（ｘｂ１）における極小値の数とが異なる場合における極小値分布の関係を示す模式図である。（ａ）は基準画像を示し、（ｂ）は参照画像を示し、（ｃ）は各基準点（ｘｂｎ、ｙｂｎ）の極小値分布の関係を示し、（ｄ）は基準点（ｘｂｎ、ｙｂｎ）の極小値分布を統合させることで、算出した評価値マップを示す。
【０１１０】
図９（ａ）において、基準点（ｘｂ１、ｙｂ１）は、基準画像に映った柵の最右端に位置している。そのため、探索領域が一定の幅に限られている場合においては、図９（ｂ）に示すように、柵を３本含む探索領域も存在する一方で、柵を２本含む探索領域も存在する場合がある。
【０１１１】
係る場合、図９（ｃ）に示すように、基準点（ｘｂ１、ｙｂ１）と周辺領域に位置する別の基準点との、それぞれの極小値分布Ｈｍ（ｘｂｎ）に含まれる極小値の数が異なることになる。そのため、図９（ｄ）に示すように、直線ａにおいて、線分が欠落する部分が生じることになる。
【０１１２】
図９（ｄ）に示す評価値マップから、対応点を抽出する方法は、図８について説明した内容と同様の方法であってもよい。
【０１１３】
また、図９（ｄ）に示す評価値マップから、対応点を抽出する方法は、図８について説明した内容と異なる方法として、対応点判定部１０８が、線分の一部が欠落した線を、対応点候補から外すような情報処理をすることもできる。これにより、視差算出装置１００が、評価値マップから最も直線性の強い線を抽出するのに要する負荷を軽減することができる。
【０１１４】
なお、図９（ｄ）においては、線分の一部が欠落した線ａは直線ではないとして説明したが、線分の一部が欠落した線が直線であっても同様に、対応点候補から外す情報処理をすることもできる。
【０１１５】
なお、以上の説明では、柵の連続する方向がレンズの光軸に対して垂直である場合について説明したが、垂直でない場合においても、正しい視差値を算出することができる。
【０１１６】
図１０は、基準画像に映る柵の物体と、得られる評価値マップの例を示す模式図である。（ａ）は評価値マップを示し、（ｂ）は反時計回りに９０度回転した基準画像を示し、（ｃ）は評価値マップの一部を抽出した極小値分布を示す。柵の連続する方向がレンズ光軸に垂直でない場合であっても評価値マップ上ではＸｂ軸に平行でない斜線として評価値マップが生成されるため、斜線の直線成分についてハフ変換を行えば、正しい視差を示す線を抽出することが可能となる。
【０１１７】
従って、図１０に示すように、柵の連続する方向がレンズの光軸に対して垂直でない場合であっても、正しい距離を算出することが可能である。
【０１１８】
視差データ出力部１０３では、対応点判定部１０８で算出した対応点の参照画像におけるＸｒ座標点と、所定の基準点の基準画像におけるＸｂ座標点との差分ｄを算出し、当該所定の基準点における視差ｄとし、その結果を視差データとして出力する。
【０１１９】
以上のように、係る構成によれば、基準画像において、基準点の周辺領域に存在する別の基準点の情報を重畳することにより、連続する類似したパターンを含む物体の場合に対しても、正しい視差を算出することができる。
【０１２０】
なお、ここでは、ステレオカメラの光軸と物体が垂直の場合について説明したが、垂直でない場合でも適用することは可能であり、連続する類似パターンを含む物体の位置には依存しない。具体的には、ステレオカメラ正面に位置する柵やガードレールだけではなく、斜めに位置する柵やガードレールに対しても適用することが可能である。
【０１２１】
なお、ここではハフ変換を用いたが、Ｃａｎｎｙエッジ抽出など、それ以外の直線を抽出する方法を用いても良く、本発明を限定するものではない。
【０１２２】
なお、ここでは、Ｘｂ軸の方向に連続する任意の線を算出するために、ダイナミックプログラミングを用いて任意の線を算出しても良い。また、ダイナミックプログラミングを用いて評価値最小の任意の連続する線を算出することは一例であり、ダイナミックプログラミング以外の方法を用いて任意の連続する線を導出しても良い。ダイナミックプログラミングを用いて任意の線を算出すると、似たパターンが連続する物体が直線状に連続する物体だけではなく、道路のカーブに沿って曲線となった場合であっても正しい視差を算出することができる。
【０１２３】
なお、ここでは、図６（ｃ）に示す評価値分布の極小値を抽出して、図６（ｄ）に示す極小値分布を生成して、図８（ｄ）に示す評価値マップを算出する方法を説明したが、極小値分布の代わりに、相違度の値である評価値分布そのものを使って、評価値マップを算出してもよい。
【０１２４】
係る場合、図８（d）に示す評価値マップが０と−１の二値ではなく、相違度を示す多値となる点で異なるが、対応点判定部１０８における処理内容は、評価値の小さな点が一直線上に連続した直線を算出するという点で同じである。相違度の値である評価値分布そのものを使用した場合の評価値マップにおいて、評価値の低い点の谷を接続すると図８（ｄ）と同様な結果となる。
【０１２５】
（実施の形態２）
実施の形態１では、基準点（ｘｂ１、ｙｂ１）の周辺領域をＸｂ軸上の横方向に設けて、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出することについて説明したが、図１１に示すように、基準点（ｘｂ１、ｙｂ１）のＹｂ軸上の縦方向に位置する一、または複数の基準点の極小値分布を重畳してから、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出するとしてもよい。
【０１２６】
図１１は、評価値分布の重ね合わせを示す模式図である。（ａ）は基準画像における複数の基準点の位置を示す図であり、（ｂ）は参照画像における各基準点に対する探索領域を示す図であり、（ｃ）は各基準点に対する評価値分布を示す図であり、（ｄ）は評価値分布を重ね合わせた結果を示す図である。
【０１２７】
図１１（ｄ）に示すように、極小値を重ね合わせて生成した評価値マップを使用した場合、画像のノイズに対して、よりロバストになるため、直線の確度が向上する。
【０１２８】
各周辺基準点に対する極小値分布Ｈｍ（Ｘｂ）の各成分を重ね合わせたものを、評価値分布として利用する。
【０１２９】
ここで、Ｒを評価値分布の成分個数とした場合において、基準点における極小値分布Ｈｍ１（Ｘｂ）と、基準画像における縦方向に存在する基準点における極小値分布ＨｍＲ（Ｘｂ）との重ね合わせによる極小値分布Ｈ（Ｘｂ）の算出式を数式３に示す。
【０１３０】
【数３】
【０１３１】
以上のように、基準画像において、基準点（ｘｂ１、ｙｂ１）の縦方向に存在する別の基準点の極小値分布を重畳してから、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出することにより、対応点抽出の確度が向上するという効果がある。
【０１３２】
（実施の形態３）
実施の形態１では、基準点（ｘｂ１、ｙｂ１）の周辺領域をＸｂ軸上の横方向の任意の範囲に設けて、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出することについて説明したが、基準点（ｘｂ１、ｙｂ１）の周辺領域の横方向の幅を所定の幅としても良い。
【０１３３】
本実施の形態においては、周辺領域の横方向の幅は、基準点（ｘｂ１、ｙｂ１）における評価値分布パターンと類似した評価値分布パターンをもつ、他の基準点までを周辺領域として決定する。
【０１３４】
評価値マップ算出部１０７は、周辺領域の横方向の幅を定める際に、基準点（ｘｂ１、ｙｂ１）の横方向に存在する各基準点に係る極小値分布と、基準点（ｘｂ１、ｙｂ１）に係る極小値分布の類似性を判定する。類似性は、極小値分布の要素ごとの差分和などにより判定し、差分和が所定の閾値より小さい場合に類似と判定する。
【０１３５】
そして、評価値マップ算出部１０７は、類似していると判定された極小値分布を含む領域を周辺領域と決定し、評価値マップを算出する。
【０１３６】
基準点の周辺領域は、基準点を含む同じ距離（視差）の測距対象物全体に設定することで対応点抽出の確度が高くなる。同じ視差の基準点を周辺領域として含めることにより、正しい視差値を推定する確度が高まり、異なる視差値をもつ基準点を含めると正しい視差値を推定する確度が低下することになるためである。
【０１３７】
同様に、実施の形態２で記述した、周辺領域を基準点（ｘｂ１、ｙｂ１）の縦方向に拡大させる場合においても適用することができ、対応点抽出の確度を向上させることができる。
【産業上の利用可能性】
【０１３８】
本発明にかかる視差算出装置は、ステレオマッチングにおいて原理的に距離算出困難な繰り返しパターンにおいても正しい距離を算出できる機能を有し、プリクラッシュセーフティや駐車場における駐車支援等として有用である。
【符号の説明】
【０１３９】
１００ 視差算出装置
１０１ 視差算出部
１０２ ステレオ画像データ取得部
１０３ 視差データ出力部
１０４ ステレオマッチング部
１０５ 対応点候補数判定部
１０６ 極小値分布算出部
１０７ 評価値マップ算出部
１０８ 対応点判定部
１２０１ 視差算出部
１２０２ ステレオ画像データ取得部
１２０３ ステレオマッチング部
１２０４ 対応点候補複数存在判定部
１２０５ 評価値最小対応点算出
１２０６ 制御態様データ取得部
１２０７ 制御態様対応点算出部
１２０８ 視差データ出力部
【技術分野】
【０００１】
本発明は、自車両前方の車両、又は歩行者、壁、柵、植込みなどの道路環境に存在するものを、測距、検出するための車載ステレオカメラを用いてステレオマッチングによる視差算出をする方法および装置の分野に関するものである。
【背景技術】
【０００２】
ステレオマッチングとは、二つのレンズを搭載したステレオカメラによって測距対象を撮影したステレオ画像データのうち、一方のレンズで撮影したステレオ画像データである基準画像データの各点と対応する対応点を、もう一方のレンズで撮影したステレオ画像データである参照画像データの探索領域から探索するものである。対応点の判定方法としては、基準画像データの各点である基準点を中心に小領域を抽出し、抽出した小領域と探索領域内の小領域と比較して、各小領域の画像輝度パターンが類似しているかを、画像輝度の差分絶対和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）、差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）、正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）などの評価値の基準を用いて判定する方法が、一般的に用いられている。
【０００３】
しかし、測距対象物が、横断歩道、柵など、棒状、矩形の模様が繰り返されているような、連続した類似パターンを含む物体を含む場合には、ＳＡＤ、ＳＳＤ、ＮＣＣでは、対応点候補が複数算出され、原理的に正しい対応点を算出することが困難である。
【０００４】
複数の対応点候補が算出された場合における従来の対策として、その基準点の対応点は不明であるとして出力しないという方法がある（例えば、特許文献１参照）。また、プリクラッシュ制御、先行車との車間制御、駐車支援制御などのアプリケーションの制御態様に応じて、対応点を選択するという方法（例えば、特許文献２参照）があった。図１２は、特許文献２に記載された従来のステレオマッチング方式を示す。
【０００５】
図１２において、ステレオ画像データ取得部１２０２は、二つのレンズを搭載したステレオカメラで同時に撮影した一対の画像データとして、一方のレンズで撮影した基準画像データと、もう一方のレンズで撮影した参照画像データとを取得する。
【０００６】
ステレオマッチング部１２０３は、基準画像データの各点と、参照画像データの探索領域内の探索点との画像輝度の相違度をＳＡＤにより算出し、探索領域内の類似度の集合を評価値分布として算出する。対応点候補複数存在判定部１２０４は、評価値分布から複数の対応点候補が存在するか否かについて判定する。
【０００７】
評価値極小対応点算出部１２０５は、複数の対応点候補が存在しないと判定された基準点に対して、画像輝度の相違度である評価値が極小となる探索点を対応点候補として算出する。制御態様データ取得部１２０６は、制御態様のモードを表す制御態様データを取得する。
【０００８】
制御態様対応点算出部１２０７は、複数の対応点候補が存在すると判定された基準点に対して、制御態様がプリクラッシュ制御の場合は最も遠距離の対応点候補を選択し、制御態様が車間制御の場合は最も近距離の対応点候補を選択し、制御態様が駐車支援制御の場合は最も近距離の対応点候補を選択する。
【０００９】
視差データ出力部１２０８は、複数の対応点候補が存在しないと判定された基準点に対しては評価値最小の対応点を代入し、複数の対応移転候補が存在すると判定された基準点に対しては制御態様によって選択した対応点を代入して、基準画像に対する視差データを算出する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００１−３５１２００号公報
【特許文献２】特開２００７−８５７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、従来の構成では、制御態様によって対応点の位置を決定するため、正しい距離を測定することは困難であった。例えば、実際には、自車から距離５．７ｍの位置に存在する物体に含まれる、連続した類似パターンの間隔が１０ｃｍである場合において、仮に、ステレオカメラを構成する二つのレンズ間の距離（基線長）を０．１２ｍ、カメラの焦点距離を１０００ｐｉｘｅｌとした場合、探索領域内の類似パターン位置で極小となるために、視差が５、２１、３７となる複数の対応点候補が算出される。係る場合、三角測量の原理から、（視差）＝（基線長）×（焦点距離）／（距離）の関係が成り立つことから、視差が０．１２×１０００／５．７＝２１の対応点候補が正しい対応点となる。
【００１２】
しかしながら、最も近距離の対応点候補を選択すると、視差が３７の対応点候補が選択されるため距離が０．１２×１０００／３７＝３．２ｍと誤算出され、一方で、最も遠距離の対応点候補を選択すると、視差が５の対応点候補が選択されるため０．１２×１０００／５＝２４ｍと誤算出されることになる。
【００１３】
そのため、柵のように、棒状の物体が、１０ｃｍ間隔で配置され、視差検出装置において、類似画像パターンが連続する物体として認識される場合は、制御態様のプリクラッシュ制御があっても、ブレーキ制御が十分に作動しない可能性もある。また、制御態様が車間制御のときは十分に減速しない可能性があり、制御態様が駐車支援制御のときは、適切なところに駐車することが困難である可能性がある。
【００１４】
さらに、柵のように、連続した類似パターンを含む物体が存在すると、柵の検出が困難になるため、走行路の判定が不十分になる場合があるという課題を有していた。
【００１５】
本発明は、従来の課題を解決するもので、連続した類似パターンを含む物体がある場合においても、正しい視差を算出する視差算出方法および装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明に係る視差算出装置は、第一の撮像系と第二の撮像系を有し、対象物を、第一の撮像系を用いて撮像した基準画像のデータと、対象物を、第二の撮像系を用いて撮像した参照画像のデータと、を取得するステレオ画像データ取得部と、基準画像が有する基準点と、参照画像が有する複数の探索点との、画像輝度の相違度を示す評価値分布を算出するステレオマッチング部と、評価値分布に含まれる探索点から、評価値が極小となる探索点を検出し、検出した探索点の数量が複数である場合に、検出された複数の探索点を対応点候補として出力する対応点候補数判定部と、対応点候補が含まれる評価値分布から、対応点候補の座標分布を示す極小値分布であり、第一の基準点に対応する第一の極小値分布と、第一の基準点を含む基準画像の周辺領域に存在する、一または複数の第二の基準点に対応する第二の極小値分布と、を算出する極小値分布算出部と、第一の極小値分布と第二の極小値分布とに基づいて、第一の基準点及び第二の基準点と複数の対応点候補との座標変動値の関係を示す評価値マップを算出する評価値マップ算出部と、評価値マップにおいて、座標変動値が最小である対応点候補を、対応点として判定する対応点判定部と、対応点の参照画像における座標点と、第一の基準点の参照画像における座標点との差分である視差値を出力する視差データ出力部と、を備えるものである。
【００１７】
これにより、基準画像において、基準点の周辺領域に存在する別の基準点の情報を重畳することにより、連続する類似したパターンを含む物体の場合に対しても、正しい視差を算出することができるという効果を有する。
【００１８】
また、本発明に係る視差算出装置は、周辺領域の範囲は、第一の基準点の極小値分布に含まれる評価値が極小となる探索点の数、および間隔に基づいて定まるものである。
【００１９】
これにより、基準画像内で、連続する類似パターンを含む物体が複数存在し、さらに各物体の距離が異なる場合に対して、各物体のサイズをより高精度に算出できるという効果を有する。
【００２０】
また、本発明に係る視差算出装置は、対応点判定部が、第一の基準点に係る対応点候補の数量と、第二の基準点に係る対応点候補の数量とが異なる場合に、第一の基準点、および第二の基準点に係る極小値分布の何れかにのみ含まれる対応点候補を除いて、対応点を判定するものである。
【００２１】
これにより、視差算出装置に与える情報処理の負荷を軽減し、正しい視差を算出することができるという効果を有する。
【００２２】
また、本発明に係る視差算出装置は、対応点判定部が、評価値マップに対してハフ変換を行うことにより、座標変動値が最小である対応点候補を、対応点として抽出するものである。
【００２３】
これにより、連続する類似したパターンを含む物体が一直線状に存在する場合に対して、距離をより高精度に算出できるという効果を有する。
【００２４】
また、本発明に係る視差算出装置は、第一の撮像系は第一のレンズを有し、第二の撮像系は第二のレンズを有し、周辺領域は、第一のレンズと第二のレンズとの配列方向に任意の幅を有する領域である場合において、評価値マップ算出部は、第一の評価値分布と、第二の評価値分布と、周辺領域に存在する基準点に対して、第一のレンズと第二のレンズとの配列方向に対して垂直方向に存在する第三の基準点に対応する極小値分布とに基づいて、評価値マップを算出するものである。
【００２５】
これにより、第一のレンズと第二のレンズとの配列方向に対して垂直方向に存在する別の基準点の極小値分布を重畳してから、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出することにより、対応点抽出の確度が向上するという効果を有する。
【００２６】
また、本発明に係る視差算出装置は、周辺領域の範囲は、第一の基準点に対応する評価値分布と、第二の基準点に対応する評価値分布と、の複数の探索点に対応する画像輝度の相違度の差分和に基づいて定めるものである。
【００２７】
これにより、同じ視差（距離）の基準点を周辺領域として含めることにより、正しい視差値を推定する確度が高まるという効果を有する。
【００２８】
また、本発明に係る視差算出方法は、対象物を、第一の撮像系を用いて撮像した基準画像のデータと、対象物を、第二の撮像系を用いて撮像した参照画像のデータと、を取得し、基準画像が有する基準点と、参照画像が有する複数の探索点との、画像輝度の相違度を示す評価値分布を算出し、評価値分布に含まれる探索点から、評価値が極小となる探索点を検出し、検出した探索点の数量が複数である場合に、検出された複数の探索点を対応点候補として出力し、対応点候補が含まれる評価値分布から、対応点候補の座標分布を示す極小値分布であり、第一の基準点に対応する第一の極小値分布と、第一の基準点を含む基準画像の周辺領域に存在する、一または複数の第二の基準点に対応する第二の極小値分布と、を算出し、第一の極小値分布と第二の極小値分布とに基づいて、第一の基準点及び第二の基準点と複数の対応点候補との座標変動値の関係を示す評価値マップを算出し、評価値マップにおいて、座標変動値が最小である対応点候補を、対応点として判定し、対応点の参照画像における座標点と、第一の基準点の参照画像における座標点との差分である視差値を出力するものである。
【００２９】
これにより、基準画像において、基準点の周辺領域に存在する別の基準点の情報を重畳することにより、連続する類似したパターンを含む物体の場合に対しても、正しい視差を算出することができるという効果を有する。
【発明の効果】
【００３０】
本発明によれば、ステレオマッチングにおいて、小領域での比較での対応点探索ではなく、周辺領域の比較情報も付加して対応点を判定することで、ステレオマッチングで算出困難な、連続する類似画像パターンを含む物体に対して正しい視差を算出することができ、交通環境において多く存在するガードレール、駐車場などに多く存在する柵などの距離を安定に測定できるため、自車両の制御、警報なども正しく動作することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態１における視差算出装置のブロック構成を示す図
【図２】本発明の実施の形態１における視差算出方法の処理フローを示す図
【図３】（ａ）本発明の実施の形態１におけるステレオ画像のうち基準画像における対象物の位置を示す図（ｂ）本発明の実施の形態１におけるステレオ画像のうち参照画像における対象物の位置と視差を示す図
【図４】（ａ）本発明の実施の形態１における基準画像における走査する基準点の位置を示す図（ｂ）本発明の実施の形態１における参照画像における探索領域と対応点候補を示す図（ｃ）本発明の実施の形態１における相違度の評価値分布を示す図
【図５】（ａ）本発明の実施の形態１における基準画像における走査する基準点の位置を示す図（ｂ）本発明の実施の形態１における参照画像における探索領域と対応点候補を示す図（ｃ）本発明の実施の形態１における相違度の評価値分布を示す図
【図６】（ａ）本発明の実施の形態１における連続する類似パターンを含む物体の場合の基準画像における走査する基準点の位置を示す図（ｂ）本発明の実施の形態１における連続する類似パターンを含む物体の場合の参照画像における探索領域と対応点候補を示す図（ｃ）本発明の実施の形態１における連続する類似パターンを含む物体の場合の相違度の評価値分布を示す図（ｄ）本発明の実施の形態１における連続する類似パターンを含む物体の場合の相違度から極小値の評価値分布の算出を示す図
【図７】（ａ）本発明の実施の形態１における基準画像における二つの基準点の位置を示す図（ｂ）本発明の実施の形態１における参照画像における各基準点に対する候補点候補を示す図（ｃ）本発明の実施の形態１における所定の基準点に対応する評価値分布を示す図（ｄ）本発明の実施の形態１における所定の基準点に対応する評価値分布を示す図（ｅ）本発明の実施の形態１における対応点候補を示す図
【図８】（ａ）本発明の実施の形態１における基準画像における複数の基準点の位置を示す図（ｂ）本発明の実施の形態１における参照画像における各基準点に対する探索領域を示す図（ｃ）本発明の実施の形態１における各基準点に対応する評価値分布を示す図（ｄ）本発明の実施の形態１における評価値マップを示す図
【図９】（ａ）本発明の実施の形態１における基準画像における複数の基準点の位置を示す図（ｂ）本発明の実施の形態１における参照画像における各基準点に対する探索領域を示す図（ｃ）本発明の実施の形態１における各基準点に対応する評価値分布を示す図（ｄ）本発明の実施の形態１における評価値マップを示す図
【図１０】（ａ）本発明の実施の形態１における連続した類似パターンを含む物体の撮像画像と評価値マップの関係における評価値マップを示す図（ｂ）本発明の実施の形態１における連続した類似パターンを含む物体の撮像画像と評価値マップの関係における基準画像を示す図（ｃ）本発明の実施の形態１における連続した類似パターンを含む物体の撮像画像と評価値マップの関係における評価値マップの一部を抽出した極小値分布を示す図
【図１１】（ａ）本発明の実施の形態１における基準画像における複数の基準点の位置を示す図（ｂ）本発明の実施の形態１における参照画像における各基準点に対する探索領域を示す図（ｃ）本発明の実施の形態１における各基準点に対する評価値分布を示す図（ｄ）本発明の実施の形態１における評価値分布を重ね合わせた結果を示す図
【図１２】従来の視差算出装置のブロック構成を示す図
【発明を実施するための形態】
【００３２】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００３３】
（実施の形態１）
図１は、本発明の実施の形態１における視差算出装置１００のブロック図である。図１に示す視差算出装置１００は、視差算出部１０１と、ステレオ画像データ取得部１０２と、視差データ出力部１０３と、を含む構成である。
【００３４】
さらに、視差算出部１０１は、ステレオマッチング部１０４と、対応点候補数判定部１０５と、極小値分布算出部１０６と、評価値マップ算出部１０７と、対応点判定部１０８と、を含む構成である。
【００３５】
視差算出装置１００は、ステレオ画像データ取得部１０２が取得したステレオ画像に基づいて、視差算出部１０１が視差算出を行い、視差データ出力部１０３が視差データを出力する。
【００３６】
図２は、図１に示した視差算出装置１００の視差算出方法の処理フロー図である。以下、本実施の形態１における、視差算出方法、及び視差算出装置の説明をする。
【００３７】
ステレオ画像データ取得部１０２では、左右に並んだ二つのレンズを搭載したステレオカメラによって同時に撮影した、一対のステレオ画像データを取得する（Ｓ２０１）。ステレオ画像データは、一方のレンズで撮影した基準画像のデータである基準画像のデータと、もう一方のレンズで撮影した参照画像のデータである参照画像データを含む。なお、ステレオカメラは、左右に並んだ二つのレンズを搭載したカメラであるとして説明したが、この限りではなく、二つのカメラで代替することもできる。
【００３８】
図３は、測距対象物が前方の車体である場合におけるステレオ画像であり、（ａ）は基準画像を、（ｂ）は参照画像を示したものである。二つのレンズのうち、何れのレンズを用いて撮影した画像を基準画像とするかは任意であるが、以下、測距対象物に向かって、右レンズで撮影した画像を基準画像、左レンズで撮影した画像を参照画像として説明する。
【００３９】
参照画像において撮影される測距対象物の位置は、基準画像において撮影される測距対象物の位置と比較して右にずれた位置となる。このズレが視差であり、測距する対象物の距離によって変化する。具体的には、基準画像における測距対象物の左端の座標をｘｂ、参照画像における測距対象物の左端の座標をｘｒとすると、測距対象物の左端の視差ｄは、座標位置の差であるｘｒ−ｘｂとなる。
【００４０】
取得したステレオ画像データは、レンズの歪み補正と光軸の平行化補正を施し、補正後のステレオ画像データに変換される。レンズの歪み補正を行う方法は、レンズの設計値を用いた補正変換テーブルを用いた歪み補正を行う方法、半径方向の歪曲収差のモデルを用いたパラメータ推定により補正を行う方法など、レンズの歪みを補正するあらゆる方法で実現可能であり、本発明を限定するものではない。
【００４１】
また、光軸の平行化補正は、ステレオカメラの光軸平行化を行う、あらゆる方法で実現可能であり、本発明を限定するものではない。例えば、ステレオカメラの共通視野に格子パターンを設置し、対応付けされた格子点位置からステレオカメラの相対関係を算出し、光軸の平行化補正を行う方法によっても、平行化補正をすることができる。
【００４２】
視差算出部１０１は、ステレオマッチング部１０４において、ステレオ画像データ取得部１０２で取得した、基準画像と参照画像との間で、ステレオマッチングを行う（Ｓ２０２）。
【００４３】
ステレオマッチング部１０４は、各基準画像の任意の範囲に含まれる各基準点と、参照画像において、基準画像の基準点に対応する座標点を含む探索領域に含まれる探索点との、画像輝度の相違度を示す評価値分布を算出する。ここで、探索領域は、任意の範囲を有する領域である。
【００４４】
算出した各基準点についての評価値分布は、ステレオマッチング部１０４に内蔵されるメモリに記録される。
【００４５】
対応点候補数判定部１０５は、各基準点の評価値分布において、評価値が極小となる対応点候補が複数存在するか否かについて判定する（Ｓ２０３）。
【００４６】
基準画像における各基準点のうち、対応点候補が１つだけ存在すると判定された基準点については、視差データ出力部１０３が、対応点候補位置と、参照画像において当該基準値と同一の座標点に位置する座標点と、の差分を当該基準点の視差値として記録をする。そして、視差データ出力部１０３が視差データを出力する（Ｓ２０８）。
【００４７】
一方、基準画像における各基準点のうち、対応点候補が複数存在すると判定された基準点については、極小値分布算出部１０６が、評価値分布において評価値が極小となる対応点候補を算出し、極小値分布を算出する（Ｓ２０４）。
【００４８】
評価値マップ算出部１０７は、評価値マップを算出する（Ｓ２０５）。評価値マップは、対応点候補が複数存在すると判定された基準点の極小値分布と、基準画像において、当該基準点を含んだ周辺領域に位置する別の基準点の極小値分布とに基づいて、各基準点に対する各対応点候補の視差値の対応点候補ごとの変動値を示すマップである。
【００４９】
対応点判定部１０８は、評価値マップにおいて、最も直線状に連続した線分を抽出し（Ｓ２０６）、抽出した対応点候補の座標点を、対応点として判定する（Ｓ２０７）。
【００５０】
以下、視差算出部１０１の構成要素の各々の機能、および効果について、詳細に説明する。
【００５１】
ステレオマッチング部１０４は、基準画像と参照画像との間で、ステレオマッチングを行う。すなわち、基準画像の任意の範囲に含まれる各基準点と、参照画像において、各基準点と同一の座標点を含む、探索領域内の各探索点との、画像輝度の相違度を示す評価値分布を算出する（Ｓ２０２）。
【００５２】
ここで、探索領域の範囲は任意であり、計測した物体の距離の範囲、ステレオカメラの基線長、カメラの焦点距離を含む幾何学的パラメータによって決まる。
【００５３】
図４は、基準画像の任意の範囲における各基準点について、（ａ）は評価値分布を算出する場合の基準画像を示し、（ｂ）は参照画像を示し、（ｃ）は評価値分布を示したものである。以下、基準点についての評価値分布の算出手順について説明する。
【００５４】
なお、説明にあたり、基準画像の任意の範囲は、図示するように一部の範囲として説明するが、全範囲としてもよい。また、評価値分布を算出する基準点の座標を（ｘｂ１、ｙｂ１）として、ステレオ画像データは、平行化補正されているものとして説明する。ステレオ画像データが平行化補正されている場合は、基準画像における対象物のY座標と、参照画像における対象物のY座標が同じになる。
【００５５】
なお、図４において、四角で示されている領域は１画素であり、１画素が基準点である。以下の図の説明においても同様である。
【００５６】
ステレオマッチング部１０４は、基準画像における基準点（ｘｂ１、ｙｂ１）に対応する探索点として、参照画像における、基準点（ｘｂ１、ｙｂ１）と同じ座標（ｘｒ１＝ｘｂ１、ｙｒ１＝ｙｂ１）に位置する座標点から、Ｘ座標方向の一定の範囲（探索幅）を、図４（ｂ）に示す探索領域として設定する。
【００５７】
探索領域は、参照画像において、Ｙｒ軸上すなわち横方向に一定の幅を有する領域である。探索領域を参照画像の横方向とするのは、ステレオカメラは、レンズを横方向に配列しているためである。
【００５８】
具体的には、基準画像上の基準点の座標である（ｘｂ１、ｙｂ１）に対して、参照画像上における探索点の範囲は、アプリケーションに必要な測距対象の距離の最小値／最大値に基づいて定まる探索幅をＲとしたとき、（ｘｒ１、ｙｒ１）、（ｘｒ１＋１、ｙｒ１）、（ｘｒ１＋２、ｙｒ１）、…、（ｘｒ１＋Ｒ、ｙｒ１）となる。なお、基準画像上の座標（ｘｂ１、ｙｂ１）と、参照画像上の座標（ｘｒ１、ｙｒ１）は、画像上の座標位置は同じである。
【００５９】
そして、探索領域内の各探索点と基準点ｘｂ１との画像輝度の相違度を算出して、相違度による評価値分布Ｈ（ｘｂ１）を算出する（Ｓ２０２）。
【００６０】
ここで、評価値分布Ｈ（ｘｂ１）のＤ軸（Ｄｅｐｔｈ軸）と、Ｘｂ軸およびＸｒ軸の関係は、Ｘｒ軸の原点をｘｂ１の位置にずらしたものがD軸であり、D軸、Xb軸、Xr軸の次元は何れもピクセルである。
【００６１】
なお、上記の説明では、ステレオ画像データは平行化補正されているものとして説明したが、ステレオ画像データが平行化補正されていない場合には、ステレオ画像の上下方向の位置合わせができていないため、基準画像の基準点（ｘｂ１、ｙｂ１）に撮影される測距対象物の点が、参照画像においては当該基準点の座標のＹ座標と同一のＹ座標に撮影されないため、基準点のＹ軸方向の位置合わせも含めて、探索領域として設定される。
【００６２】
ステレオマッチングによって得られる評価値分布Ｈ（ｘｂ１）は、横軸がＤ軸であり、縦軸が基準点とそれに対する探索点との画像輝度の相違度を示す一次元の分布である。基準点と探索点との画像輝度の相違度には、基準点を中心とした８×８の小領域と各探索点を中心とした８×８の小領域の、画像輝度の差分絶対和（ＳＡＤ）を用いる。
【００６３】
なお、評価値として用いる画像輝度の相違度は、差分二乗和（ＳＳＤ）など、完全一致した場合に値が最小となる、あらゆる相違度で代替可能である。また、評価値として用いる画像輝度の相違度は、正規化相関（ＮＣＣ）など、完全一致した場合に、値が最大となる類似度の指標を正負逆にして利用することも可能である。
【００６４】
なお、以上の処理は、各基準点について行われ、算出した各基準点についての評価値分布は、ステレオマッチング部１０４に内蔵されるメモリに記憶される。
【００６５】
対応点候補数判定部１０５は、評価値分布Ｈ（ｘｂ１）において、極小値を探索する。
【００６６】
対応点候補数判定部１０５が極小値を探索した結果、極小値が１つ存在する場合は、評価値が極小となる探索点を対応点として判定し（Ｓ２０３：Ｎｏ）、対応点候補位置を当該基準点の視差値として記録をし、視差データを出力する（Ｓ２０８）。
【００６７】
図５は、測距対象物が前方に位置する車体である場合であり、（ａ）は基準画像を示し、（ｂ）は参照画像を示し、（ｃ）は評価値分布を示す。車体のように連続した類似パターンを含む物体ではない場合、基準点（ｘｂ１、ｙｂ１）を含む小領域と、画像輝度が同程度である対応点候補は、図５（ｃ）に示すように、参照画面上に１つだけ存在する。
【００６８】
一方で、対応点候補数判定部１０５が極小値を探索した結果、評価値分布において複数の極小値が検出された場合は、評価値が極小となる複数の探索点を複数の対応点候補として判定する（Ｓ２０３：Ｙｅｓ）。
【００６９】
図６は、測距対象物が、前方に位置する柵である場合であり、（ａ）は基準画像を示し、（ｂ）は参照画像を示し、（ｃ）は評価値分布を示し、（ｄ）は後述する極小値分布Ｈｍ（ｘｂ１）を示す。柵のように連続した類似パターンを含む物体である場合、基準画像における、基準点（ｘｂ１、ｙｂ１）と、画像輝度が同程度である対応点候補は、図６（ｃ）に示すように、参照画面において複数存在する。
【００７０】
なお、対応点候補が複数存在するか否かの判定方法は、評価値分布の極小値を算出して、極小値がいくつ存在するかにより判定する等、一次元の分布から、周期的な分布であるか否かを判定する他の方法でも実現可能である。
【００７１】
極小値分布算出部１０６は、対応点候補数判定部１０５が極小値を探索した結果、評価値分布において複数の極小値が検出された場合に、評価値が極小となる対応点候補の座標を抽出し、極小値の分布のみを示す極小値分布Ｈｍ（ｘｂ１）を算出する（Ｓ２０４）。
【００７２】
以下、図６を用いて、極小値分布Ｈｍ（ｘｂ１）の算出手順について説明する。
【００７３】
図６（ａ）に示すように、測距対象が連続する類似パターンを含む柵であるため、評価値分布Ｈ（ｘｂ１）は、図６（ｃ）に示すように、複数の位置において極小値を有する分布となる。
【００７４】
極小値分布算出部１０６は、評価値分布Ｈ（ｘｂ１）において複数の極小値の位置のみを抽出した分布を算出し、図６（ｄ）に示すように、算出された評価値分布の極小値の位置に−１の値を、それ以外の位置は０の値を代入して、極小値分布Ｈｍ（ｘｂ１）を算出する。
【００７５】
ここで、図６（ｄ）に示す極小値分布Ｈｍ（ｘｂ１）の極小値の位置は、基準点（ｘｂ１、ｙｂ１）についての探索領域の左端を原点に、参照画像における対応点候補の位置を示している。
【００７６】
なお、極小値分布を算出する場合に用いる極小値の位置の定数、およびそれ以外の位置の定数の値に関しては一例であり、本発明を限定するものではない。
【００７７】
なお、基準点についての評価値分布について、対応点候補が複数存在するか否かの判定を行い、複数存在する場合には、極小値分布を算出するという一連の手続は、メモリに記憶された全ての各基準点について実施される。
【００７８】
なお、評価値が極小となる複数の探索点を、対応点候補として判定する際に、評価値軸上に所定の閾値を設けて、所定の閾値を以下である探索点を対応点候補とするとしてもよい。これにより、相違度が高い探索点であって極小点となる探索点を、対応点候補から除外することができ、対応点候補の判定精度を向上させることができる。
【００７９】
図７は、複数の対応点候補が存在する基準点（ｘｂ１、ｙｂ１）の極小値分布Ｈｍ（ｘｂ１）と、基準画像において、基準点（ｘｂ１、ｙｂ１）に隣接する別の基準点（ｘｂ２、ｙｂ２）の極小値分布Ｈｍ（ｘｂ２）との関係を示す模式図である。（ａ）は基準画像を示し、（ｂ）は参照画像を示し、（ｃ）は基準点（ｘｂ１、ｙｂ１）の極小値分布Ｈｍ（ｘｂ１）を示し、（ｄ）は基準点（ｘｂ２、ｙｂ２）の極小値分布Ｈｍ（ｘｂ２）を示し、（ｅ）は（ｂ）に示す参照画像における基準点（ｘｂ１、ｙｂ１）に対する対応点候補、及び基準点（ｘｂ２、ｙｂ２）に対する対応点候補を示す。
【００８０】
以下、基準点（ｘｂ１、ｙｂ１）と、それと隣接する基準点（ｘｂ２、ｙｂ２）との極小値分布の関係を説明する。なお、図７（ａ）、及び（ｅ）に示す基準点（ｘｂ１、ｙｂ１）の対応点候補は、図７（ｂ）に示す対応点候補１から対応点候補４とし、図７（ａ）、及び（ｅ）に示す基準点（ｘｂ２、ｙｂ２）の対応点候補は、図７（ｂ）に示す対応点候補５から対応点候補８として説明する。また、対応点候補１から対応点候補４は、点線で示す。
【００８１】
図７（ａ）に示す基準画像において、基準点（ｘｂ２、ｙｂ２）は、基準点（ｘｂ１、ｙｂ１）に隣接する基準点として選択される。図７（ｂ）に示す、基準点（ｘｂ２、ｙｂ２）に対する探索領域は、基準点（ｘｂ１、ｙｂ１）に対する探索領域に対して、ｘｂ２とｘｂ１の差分だけＸｒ軸にシフトさせた領域である。
【００８２】
ここで、図７（ｃ）に示された、基準点（ｘｂ１、ｙｂ１）の極小値分布Ｈｍ（ｘｂ１）のＤ軸上における各極小値の位置と、図７（ｄ）に示された、基準点（ｘｂ２、ｙｂ２）の極小値分布Ｈｍ（ｘｂ２）のＤ軸上における各極小値の位置とを比較すると、ｘｂ２とｘｂ１の差分だけＤ軸上をシフトしている極小値もある一方で、ｘｂ２とｘｂ１の差分よりも大きく、または小さくシフトしている極小値もある。
【００８３】
図７（ｅ）を用いて説明すると、基準点（ｘｂ１、ｙｂ１）に対する対応点候補３の座標から、ｘｂ２とｘｂ１の差分だけＸｒ軸上にシフトさせた位置に、基準点（ｘｂ２、ｙｂ２）に対する対応点候補７が存在しており、隣接する基準点に撮像されている点の距離はほぼ等しいと考えられるため、各対応点候補は正しい対応点である可能性が高いことを意味する。
【００８４】
一方、図７（ｅ）の基準点（ｘｂ１、ｙｂ１）に対する対応点候補１の座標から、ｘｂ２とｘｂ１の差分だけＸｒ軸上にシフトさせた位置に、基準点（ｘｂ２、ｙｂ２）に対する対応点候補５が存在していないため、対応点候補は正しい対応点ではないことを意味する。係る場合、対応点候補３と対応点候補７の領域は、正しい対応点の位置であり正しい視差であるということになり、対応点候補１と対応点候補５の領域は、正しい対応点の位置ではないということになる。
【００８５】
評価値マップ算出部１０７は、極小値分布算出部１０６において極小値分布が算出された基準点（ｘｂ１、ｙｂ１）と、基準画像において、当該基準点ｘｂ１の周辺領域に存在する位置、または複数の別の基準点ｘｂｎ（ｎ：自然数）との極小値分布に基づいて、評価値マップを算出する（Ｓ２０５）。
【００８６】
ここで、周辺領域とは、基準画像において基準点（ｘｂ１、ｙｂ１）を含み、Ｙｂ軸方向に任意の幅を有する領域である。原則として、周辺領域に含まれる各基準点は、Ｙｂ座標が同一である領域である。周辺領域を、基準画像において横方向とするのは、各基準点に対して、探索領域を参照画像の横方向に設定することにより、横方向に類似パターンを誤検出する蓋然性が生じるためである。
【００８７】
なお、探索領域を参照画像の横方向とするのは、ステレオカメラを横方向に配列しているためであり、ステレオカメラを縦方向に配列した場合は、探索領域は参照画像の縦方向となり、基準画像における周辺領域も縦方向になる。
【００８８】
図８は、基準点（ｘｂ１、ｙｂ１）の極小値分布Ｈｍ（ｘｂ１）と、基準点（ｘｂ１、ｙｂ１）の周辺領域に位置する各基準点（ｘｂｎ、ｙｂｎ）（ｎ：自然数）の極小値分布Ｈｍ（ｘｂｎ）に基づいて、評価値マップを算出する手順を示す模式図である。（ａ）は基準画像を示し、（ｂ）は参照画像を示し、（ｃ）は各基準点（ｘｂｎ、ｙｂｎ）の極小値分布Ｈｍ（ｘｂｎ）の関係を示し、（ｄ）は基準点（ｘｂｎ、ｙｂｎ）の極小値分布を重畳させることで算出した評価値マップを示す。以下、図８に示す評価値マップの算出方法について説明する。
【００８９】
図８（ａ）に示す基準画像において、基準点（ｘｂ１、ｙｂ１）の周辺領域に存在し、別の基準点（ｘｂ２、ｙｂ２）、（ｘｂ３、ｙｂ３）、（ｘｂ４、ｙｂ４）の各々について算出された評価値分布Ｈｍ（ｘｂｎ）は、メモリから読み出される。ここで、各基準点の対応点候補は４つ存在するとして説明するが、本発明を限定するものではない。
【００９０】
図８（ｃ）に示すように、各極小値分布Ｈｍ（ｘｂｎ）（ｎ：１から４の整数）に分布する４つの対応点候補のうち、原点からの距離が極小値分布ごとに異なる対応点候補が存在する。図８（ｃ）においては、線ａ、ｂ、ｄで引かれた線上の対応点候補の原点からの距離が、極小値分布ごとに異なっている。これは、各基準点に対する視差値が変動していることを意味する。
【００９１】
評価値マップＭ（Ｄ、Ｘｂ）は、図８（ｃ）に示す各極小値分布Ｈｍ（ｘｂｎ）（ｎ：１から４の整数）のＤ軸を揃え、Ｘｂ軸に対するＤ軸上における各対応点候補の変動値、すなわち視差値の変動値を、Ｘｂ軸に対する線で示したものである。情報処理としては、Ｘｂ軸という次元を増やし、対応点候補の位置を３次元分布として処理したものである。
【００９２】
すなわち、評価値マップＭ（Ｄ、Ｘｂ）は、図８（ｃ）に示す各極小値分布に基づいて、各基準点と複数の対応点候補との座標変動値の関係を示したものである。
【００９３】
評価値マップＭ（Ｄ、Ｘｂ）において、線ｃ上の対応点候補は、各基準点に対する各対応点候補の視差値に変動がなく、すなわち各基準点が同じ視差に存在する、すなわち同じ距離に存在するということであり、正しい視差値を示している。
【００９４】
ここで、ｘｂ１は基準点のＸ座標を表し、ｘｂ２、…、ｘｂｎは、基準点に対して左右方向に隣接する基準点のＸ座標を表した場合、評価値マップＭ（Ｄ、Ｘｂ）を算出する数式は以下の数式１のようになる。
【００９５】
【数１】
【００９６】
なお、以上の説明では、基準点（ｘｂ１，ｙｂ１）の周辺領域として、Ｙ座標（ｙｂ１）の画像横一列の任意の領域を設定しているが、基準画像におけるＹ座標（ｙｂ１）のＸｂ軸上の全ての基準点を含むとしてもよい。
【００９７】
なお、周辺領域の設定方法は、例えば、基準点の評価値分布の特徴量、すなわち極小値の数や極小値間の間隔と、周辺領域に存在する別の基準点の評価値分布の特徴量との差が、一定の範囲となる周辺基準点までを選択範囲とすることができる。選択範囲を制限することで、連続する類似したパターンを含む物体が複数存在し、かつ、互いに位置が連続していない物体である場合に、各物体の正しい視差を算出することができる。
【００９８】
対応点判定部１０８は、評価値マップＭ（Ｄ、Ｘｂ）において示した線ａないしｄのうち、最も直線性の強い線、すなわち、各対応点候補のうちで、最も視差値の座標変動値が小さい対応点候補を、対応点として算出する。図８（ｄ）に示す評価値マップＭ（Ｄ、Ｘｂ）においては、線ａから線ｄのうち、線ｃが最も直線成分の強い直線である。
【００９９】
具体的には、柵など直線上に連続して存在する物体を抽出するために、評価値マップＭ（Ｄ、Ｘｂ）において、評価値の小さな点が一直線上に連続するような、最も直線成分の強い線を、ハフ変換により抽出する（Ｓ２０６）。ハフ変換とは、画像上の直線成分を抽出する基本的な画像処理一つである。ここで、評価値マップ全体についてハフ変換を行った結果として、直線成分が最も強い線を抽出する。
【０１００】
物理的な意味においては、連続する類似パターンを含む物体が、実空間で直線状に並んでいる場合、評価値マップ上では、対応点は、最も直線性の強い線に分布する結果が得られる。
【０１０１】
評価値マップにおける評価値の小さな点は、物体の存在位置を表す点であり、柵などの連続する類似パターンを含む物体では、基準画像と参照画像とで必ずしも同じ位置の支柱部分を対応付けできないため、複数の物体存在位置の候補が発生する。
【０１０２】
対応点候補が複数存在する場合には、評価値マップ上では複数の線が得られるが、真の視差の位置ではない直線では、評価値マップ上で一部直線性が乱れる部分があり、直線的には分布しない箇所が発生する。
【０１０３】
当該部分は、実空間では、柵の太さの少し異なる支柱の部分であり、また、横断歩道標示では、色が薄い部分である。すなわち、柵などの、連続する類似パターンを含む物体は、実際には、周期性に乱れがあり、当該部分の複数ある対応点候補の位置と、周期性の乱れのない部分の複数ある対応点候補の位置とが異なる。このため、柵などの、連続する類似パターンを含む物体は、周期性に乱れのある部分とない部分とで複数の対応点候補の位置を比較すると、真の視差でのみ一致する対応点があり、真の視差以外では一致しない。
【０１０４】
評価値マップとして表現すると、真の視差の位置でのみ直線性が保たれ、それ以外の視差の位置では、直線性が乱れた結果が得られることになる。
【０１０５】
ここで、図８（ａ）における基準点位置（ｘｂ１、ｙｂ１）、すなわち、評価値マップにおけるｘｂ＝ｘｂ１の位置に対して、求めるべき真の対応点位置をＤＣｏｒｒｅｃｔ（ｘｂ１）、評価値極小の位置をＤＭ（ｘｂ１）、算出した直線の位置をＤｌｉｎｅ（ｘｂ１）とした場合に、真の対応点は、以下の数式２で表すことができる。算出した直線の位置Ｄｌｉｎｅ（ｘｂ１）は、図８（ｄ）における線ｃのｘｂ＝ｘｂ１となるＤ軸の値を表している。
【０１０６】
【数２】
【０１０７】
数式２で表現した処理は、各基準点位置において実行される。本処理は、図８（ｄ）における線ｃの位置を、そのままｘｂ＝ｘｂ１の真の視差にすると、線ｃを推定する際の誤差が重畳してしまうため、線ｃを推定する際の誤差に影響されないようにするために必要な処理である。
【０１０８】
なお、以上の説明では、基準点（ｘｂ１、ｙｂ１）の周辺領域に位置する別の基準点（ｘｂｎ、ｙｂｎ）の極小値分布Ｈｍ（ｘｂｎ）における極小値の数と、基準点（ｘｂ１、ｙｂ１）の極小値分布Ｈｍ（ｘｂ１）における極小値の数とが同じである場合について説明したが、極小値の数が異なる場合について、以下説明する。係る場合は、柵などの連続した類似パターンを含む物体の隅を測距対象とした場合が想定される。
【０１０９】
図９は、Ｈｍ（ｘｂｎ）における極小値の数と、Ｈｍ（ｘｂ１）における極小値の数とが異なる場合における極小値分布の関係を示す模式図である。（ａ）は基準画像を示し、（ｂ）は参照画像を示し、（ｃ）は各基準点（ｘｂｎ、ｙｂｎ）の極小値分布の関係を示し、（ｄ）は基準点（ｘｂｎ、ｙｂｎ）の極小値分布を統合させることで、算出した評価値マップを示す。
【０１１０】
図９（ａ）において、基準点（ｘｂ１、ｙｂ１）は、基準画像に映った柵の最右端に位置している。そのため、探索領域が一定の幅に限られている場合においては、図９（ｂ）に示すように、柵を３本含む探索領域も存在する一方で、柵を２本含む探索領域も存在する場合がある。
【０１１１】
係る場合、図９（ｃ）に示すように、基準点（ｘｂ１、ｙｂ１）と周辺領域に位置する別の基準点との、それぞれの極小値分布Ｈｍ（ｘｂｎ）に含まれる極小値の数が異なることになる。そのため、図９（ｄ）に示すように、直線ａにおいて、線分が欠落する部分が生じることになる。
【０１１２】
図９（ｄ）に示す評価値マップから、対応点を抽出する方法は、図８について説明した内容と同様の方法であってもよい。
【０１１３】
また、図９（ｄ）に示す評価値マップから、対応点を抽出する方法は、図８について説明した内容と異なる方法として、対応点判定部１０８が、線分の一部が欠落した線を、対応点候補から外すような情報処理をすることもできる。これにより、視差算出装置１００が、評価値マップから最も直線性の強い線を抽出するのに要する負荷を軽減することができる。
【０１１４】
なお、図９（ｄ）においては、線分の一部が欠落した線ａは直線ではないとして説明したが、線分の一部が欠落した線が直線であっても同様に、対応点候補から外す情報処理をすることもできる。
【０１１５】
なお、以上の説明では、柵の連続する方向がレンズの光軸に対して垂直である場合について説明したが、垂直でない場合においても、正しい視差値を算出することができる。
【０１１６】
図１０は、基準画像に映る柵の物体と、得られる評価値マップの例を示す模式図である。（ａ）は評価値マップを示し、（ｂ）は反時計回りに９０度回転した基準画像を示し、（ｃ）は評価値マップの一部を抽出した極小値分布を示す。柵の連続する方向がレンズ光軸に垂直でない場合であっても評価値マップ上ではＸｂ軸に平行でない斜線として評価値マップが生成されるため、斜線の直線成分についてハフ変換を行えば、正しい視差を示す線を抽出することが可能となる。
【０１１７】
従って、図１０に示すように、柵の連続する方向がレンズの光軸に対して垂直でない場合であっても、正しい距離を算出することが可能である。
【０１１８】
視差データ出力部１０３では、対応点判定部１０８で算出した対応点の参照画像におけるＸｒ座標点と、所定の基準点の基準画像におけるＸｂ座標点との差分ｄを算出し、当該所定の基準点における視差ｄとし、その結果を視差データとして出力する。
【０１１９】
以上のように、係る構成によれば、基準画像において、基準点の周辺領域に存在する別の基準点の情報を重畳することにより、連続する類似したパターンを含む物体の場合に対しても、正しい視差を算出することができる。
【０１２０】
なお、ここでは、ステレオカメラの光軸と物体が垂直の場合について説明したが、垂直でない場合でも適用することは可能であり、連続する類似パターンを含む物体の位置には依存しない。具体的には、ステレオカメラ正面に位置する柵やガードレールだけではなく、斜めに位置する柵やガードレールに対しても適用することが可能である。
【０１２１】
なお、ここではハフ変換を用いたが、Ｃａｎｎｙエッジ抽出など、それ以外の直線を抽出する方法を用いても良く、本発明を限定するものではない。
【０１２２】
なお、ここでは、Ｘｂ軸の方向に連続する任意の線を算出するために、ダイナミックプログラミングを用いて任意の線を算出しても良い。また、ダイナミックプログラミングを用いて評価値最小の任意の連続する線を算出することは一例であり、ダイナミックプログラミング以外の方法を用いて任意の連続する線を導出しても良い。ダイナミックプログラミングを用いて任意の線を算出すると、似たパターンが連続する物体が直線状に連続する物体だけではなく、道路のカーブに沿って曲線となった場合であっても正しい視差を算出することができる。
【０１２３】
なお、ここでは、図６（ｃ）に示す評価値分布の極小値を抽出して、図６（ｄ）に示す極小値分布を生成して、図８（ｄ）に示す評価値マップを算出する方法を説明したが、極小値分布の代わりに、相違度の値である評価値分布そのものを使って、評価値マップを算出してもよい。
【０１２４】
係る場合、図８（d）に示す評価値マップが０と−１の二値ではなく、相違度を示す多値となる点で異なるが、対応点判定部１０８における処理内容は、評価値の小さな点が一直線上に連続した直線を算出するという点で同じである。相違度の値である評価値分布そのものを使用した場合の評価値マップにおいて、評価値の低い点の谷を接続すると図８（ｄ）と同様な結果となる。
【０１２５】
（実施の形態２）
実施の形態１では、基準点（ｘｂ１、ｙｂ１）の周辺領域をＸｂ軸上の横方向に設けて、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出することについて説明したが、図１１に示すように、基準点（ｘｂ１、ｙｂ１）のＹｂ軸上の縦方向に位置する一、または複数の基準点の極小値分布を重畳してから、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出するとしてもよい。
【０１２６】
図１１は、評価値分布の重ね合わせを示す模式図である。（ａ）は基準画像における複数の基準点の位置を示す図であり、（ｂ）は参照画像における各基準点に対する探索領域を示す図であり、（ｃ）は各基準点に対する評価値分布を示す図であり、（ｄ）は評価値分布を重ね合わせた結果を示す図である。
【０１２７】
図１１（ｄ）に示すように、極小値を重ね合わせて生成した評価値マップを使用した場合、画像のノイズに対して、よりロバストになるため、直線の確度が向上する。
【０１２８】
各周辺基準点に対する極小値分布Ｈｍ（Ｘｂ）の各成分を重ね合わせたものを、評価値分布として利用する。
【０１２９】
ここで、Ｒを評価値分布の成分個数とした場合において、基準点における極小値分布Ｈｍ１（Ｘｂ）と、基準画像における縦方向に存在する基準点における極小値分布ＨｍＲ（Ｘｂ）との重ね合わせによる極小値分布Ｈ（Ｘｂ）の算出式を数式３に示す。
【０１３０】
【数３】
【０１３１】
以上のように、基準画像において、基準点（ｘｂ１、ｙｂ１）の縦方向に存在する別の基準点の極小値分布を重畳してから、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出することにより、対応点抽出の確度が向上するという効果がある。
【０１３２】
（実施の形態３）
実施の形態１では、基準点（ｘｂ１、ｙｂ１）の周辺領域をＸｂ軸上の横方向の任意の範囲に設けて、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出することについて説明したが、基準点（ｘｂ１、ｙｂ１）の周辺領域の横方向の幅を所定の幅としても良い。
【０１３３】
本実施の形態においては、周辺領域の横方向の幅は、基準点（ｘｂ１、ｙｂ１）における評価値分布パターンと類似した評価値分布パターンをもつ、他の基準点までを周辺領域として決定する。
【０１３４】
評価値マップ算出部１０７は、周辺領域の横方向の幅を定める際に、基準点（ｘｂ１、ｙｂ１）の横方向に存在する各基準点に係る極小値分布と、基準点（ｘｂ１、ｙｂ１）に係る極小値分布の類似性を判定する。類似性は、極小値分布の要素ごとの差分和などにより判定し、差分和が所定の閾値より小さい場合に類似と判定する。
【０１３５】
そして、評価値マップ算出部１０７は、類似していると判定された極小値分布を含む領域を周辺領域と決定し、評価値マップを算出する。
【０１３６】
基準点の周辺領域は、基準点を含む同じ距離（視差）の測距対象物全体に設定することで対応点抽出の確度が高くなる。同じ視差の基準点を周辺領域として含めることにより、正しい視差値を推定する確度が高まり、異なる視差値をもつ基準点を含めると正しい視差値を推定する確度が低下することになるためである。
【０１３７】
同様に、実施の形態２で記述した、周辺領域を基準点（ｘｂ１、ｙｂ１）の縦方向に拡大させる場合においても適用することができ、対応点抽出の確度を向上させることができる。
【産業上の利用可能性】
【０１３８】
本発明にかかる視差算出装置は、ステレオマッチングにおいて原理的に距離算出困難な繰り返しパターンにおいても正しい距離を算出できる機能を有し、プリクラッシュセーフティや駐車場における駐車支援等として有用である。
【符号の説明】
【０１３９】
１００ 視差算出装置
１０１ 視差算出部
１０２ ステレオ画像データ取得部
１０３ 視差データ出力部
１０４ ステレオマッチング部
１０５ 対応点候補数判定部
１０６ 極小値分布算出部
１０７ 評価値マップ算出部
１０８ 対応点判定部
１２０１ 視差算出部
１２０２ ステレオ画像データ取得部
１２０３ ステレオマッチング部
１２０４ 対応点候補複数存在判定部
１２０５ 評価値最小対応点算出
１２０６ 制御態様データ取得部
１２０７ 制御態様対応点算出部
１２０８ 視差データ出力部
【特許請求の範囲】
【請求項１】
第一の撮像系と第二の撮像系を有し、対象物を、前記第一の撮像系を用いて撮像した基準画像のデータと、前記対象物を、前記第二の撮像系を用いて撮像した参照画像のデータと、を取得するステレオ画像データ取得部と、
前記基準画像が有する基準点と、前記参照画像が有する複数の探索点との、画像輝度の相違度を示す評価値分布を算出するステレオマッチング部と、
前記評価値分布に含まれる探索点から、前記評価値が極小となる探索点を検出し、前記検出した探索点の数量が複数である場合に、前記検出された複数の探索点を対応点候補として出力する対応点候補数判定部と、
前記評価値分布に前記対応点候補が含まれる場合、前記対応点候補の座標分布を示す極小値分布であり、第一の基準点に対応する第一の極小値分布と、前記第一の基準点を含む前記基準画像の周辺領域に存在し、一または複数の第二の基準点に対応する第二の極小値分布と、を算出する極小値分布算出部と、
前記第一の極小値分布と前記第二の極小値分布とに基づいて、前記第一の基準点及び第二の基準点と前記複数の対応点候補との座標変動値の関係を示す評価値マップを算出する評価値マップ算出部と、
前記評価値マップにおいて、前記座標変動値が最小である前記対応点候補を、対応点として判定する対応点判定部と、
前記対応点の前記参照画像における座標点と、前記第一の基準点の前記参照画像における座標点との差分である視差値を出力する視差データ出力部と、
を備えた視差算出装置。
【請求項２】
前記周辺領域の範囲は、前記第一の基準点の前記極小値分布に含まれる評価値が極小となる探索点の数、および間隔に基づいて定まる範囲である請求項１記載の視差算出装置。
【請求項３】
前記対応点判定部が、前記第一の基準点に係る前記対応点候補の数量と、前記第二の基準点に係る前記対応点候補の数量とが異なる場合に、前記第一の基準点、および前記第二の基準点に係る前記極小値分布の何れかにのみ含まれる前記対応点候補を除いて、前記対応点を判定する請求項１記載の視差算出装置。
【請求項４】
前記対応点判定部が、前記評価値マップに対してハフ変換を行うことにより、前記座標変動値が最小である前記対応点候補を、対応点として抽出する請求項１記載の視差算出装置。
【請求項５】
前記第一の撮像系は第一のレンズを有し、
前記第二の撮像系は第二のレンズを有し、
前記周辺領域は、前記第一のレンズと前記第二のレンズとの配列方向に任意の幅を有する領域である場合において、
前記評価値マップ算出部は、前記第一の評価値分布と、前記第二の評価値分布と、前記周辺領域に存在する基準点に対して、前記第一のレンズと前記第二のレンズとの配列方向に対して垂直方向に存在する第三の基準点に対応する極小値分布とに基づいて、前記評価値マップを算出する請求項１記載の視差算出装置。
【請求項６】
前記周辺領域の範囲は、前記第一の基準点に対応する評価値分布と、前記第二の基準点に対応する評価値分布と、の前記複数の探索点に対応する画像輝度の相違度の差分和に基づいて定める範囲である請求項１に記載の視差算出装置。
【請求項７】
対象物を、第一の撮像系を用いて撮像した基準画像のデータと、前記対象物を、第二の撮像系を用いて撮像した参照画像のデータと、を取得し、
前記基準画像が有する基準点と、前記参照画像が有する複数の探索点との、画像輝度の相違度を示す評価値分布を算出し、
前記評価値分布に含まれる探索点から、前記評価値が極小となる探索点を検出し、前記検出した探索点の数量が複数である場合に、前記検出された複数の探索点を対応点候補として出力し、
前記評価値分布に前記対応点候補が含まれる場合、前記対応点候補の座標分布を示す極小値分布であり、第一の基準点に対応する第一の極小値分布と、前記第一の基準点を含む前記基準画像の周辺領域に存在する、一または複数の第二の基準点に対応する第二の極小値分布と、を算出し、
前記第一の極小値分布と前記第二の極小値分布とに基づいて、前記第一の基準点及び第二の基準点と前記複数の対応点候補との座標変動値の関係を示す評価値マップを算出し、
前記評価値マップにおいて、前記座標変動値が最小である前記対応点候補を、対応点として判定し、
前記対応点の前記参照画像における座標点と、前記第一の基準点の前記参照画像における座標点との差分である視差値を出力する視差算出方法。
【請求項１】
第一の撮像系と第二の撮像系を有し、対象物を、前記第一の撮像系を用いて撮像した基準画像のデータと、前記対象物を、前記第二の撮像系を用いて撮像した参照画像のデータと、を取得するステレオ画像データ取得部と、
前記基準画像が有する基準点と、前記参照画像が有する複数の探索点との、画像輝度の相違度を示す評価値分布を算出するステレオマッチング部と、
前記評価値分布に含まれる探索点から、前記評価値が極小となる探索点を検出し、前記検出した探索点の数量が複数である場合に、前記検出された複数の探索点を対応点候補として出力する対応点候補数判定部と、
前記評価値分布に前記対応点候補が含まれる場合、前記対応点候補の座標分布を示す極小値分布であり、第一の基準点に対応する第一の極小値分布と、前記第一の基準点を含む前記基準画像の周辺領域に存在し、一または複数の第二の基準点に対応する第二の極小値分布と、を算出する極小値分布算出部と、
前記第一の極小値分布と前記第二の極小値分布とに基づいて、前記第一の基準点及び第二の基準点と前記複数の対応点候補との座標変動値の関係を示す評価値マップを算出する評価値マップ算出部と、
前記評価値マップにおいて、前記座標変動値が最小である前記対応点候補を、対応点として判定する対応点判定部と、
前記対応点の前記参照画像における座標点と、前記第一の基準点の前記参照画像における座標点との差分である視差値を出力する視差データ出力部と、
を備えた視差算出装置。
【請求項２】
前記周辺領域の範囲は、前記第一の基準点の前記極小値分布に含まれる評価値が極小となる探索点の数、および間隔に基づいて定まる範囲である請求項１記載の視差算出装置。
【請求項３】
前記対応点判定部が、前記第一の基準点に係る前記対応点候補の数量と、前記第二の基準点に係る前記対応点候補の数量とが異なる場合に、前記第一の基準点、および前記第二の基準点に係る前記極小値分布の何れかにのみ含まれる前記対応点候補を除いて、前記対応点を判定する請求項１記載の視差算出装置。
【請求項４】
前記対応点判定部が、前記評価値マップに対してハフ変換を行うことにより、前記座標変動値が最小である前記対応点候補を、対応点として抽出する請求項１記載の視差算出装置。
【請求項５】
前記第一の撮像系は第一のレンズを有し、
前記第二の撮像系は第二のレンズを有し、
前記周辺領域は、前記第一のレンズと前記第二のレンズとの配列方向に任意の幅を有する領域である場合において、
前記評価値マップ算出部は、前記第一の評価値分布と、前記第二の評価値分布と、前記周辺領域に存在する基準点に対して、前記第一のレンズと前記第二のレンズとの配列方向に対して垂直方向に存在する第三の基準点に対応する極小値分布とに基づいて、前記評価値マップを算出する請求項１記載の視差算出装置。
【請求項６】
前記周辺領域の範囲は、前記第一の基準点に対応する評価値分布と、前記第二の基準点に対応する評価値分布と、の前記複数の探索点に対応する画像輝度の相違度の差分和に基づいて定める範囲である請求項１に記載の視差算出装置。
【請求項７】
対象物を、第一の撮像系を用いて撮像した基準画像のデータと、前記対象物を、第二の撮像系を用いて撮像した参照画像のデータと、を取得し、
前記基準画像が有する基準点と、前記参照画像が有する複数の探索点との、画像輝度の相違度を示す評価値分布を算出し、
前記評価値分布に含まれる探索点から、前記評価値が極小となる探索点を検出し、前記検出した探索点の数量が複数である場合に、前記検出された複数の探索点を対応点候補として出力し、
前記評価値分布に前記対応点候補が含まれる場合、前記対応点候補の座標分布を示す極小値分布であり、第一の基準点に対応する第一の極小値分布と、前記第一の基準点を含む前記基準画像の周辺領域に存在する、一または複数の第二の基準点に対応する第二の極小値分布と、を算出し、
前記第一の極小値分布と前記第二の極小値分布とに基づいて、前記第一の基準点及び第二の基準点と前記複数の対応点候補との座標変動値の関係を示す評価値マップを算出し、
前記評価値マップにおいて、前記座標変動値が最小である前記対応点候補を、対応点として判定し、
前記対応点の前記参照画像における座標点と、前記第一の基準点の前記参照画像における座標点との差分である視差値を出力する視差算出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−５８８１２（Ｐ２０１１−５８８１２Ａ）
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願番号】特願２００９−２０５４６６（Ｐ２００９−２０５４６６）
【出願日】平成２１年９月７日（２００９．９．７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願日】平成２１年９月７日（２００９．９．７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]