距離計測装置及び距離計測方法
【課題】距離の測定対象となる対象物の大きさに関わらず、対象物までの距離を安定して算出する。
【解決手段】抽出部２０は、基準カメラ１１０から順次入力される入力画像を基準画像、参照カメラ１２０から順次入力される入力画像を参照画像とし、各基準画像から前方車体が撮影されている領域である物体領域を抽出する。面積算出部３０は、抽出部２０により抽出された物体領域の面積を算出する。密度設定部４０は、面積算出部３０により算出された物体領域の面積が小さくなるにつれて、注目点の設定密度を高くする。対応点探索部５０は、密度設定部４０により変更された注目点の設定密度に従って、抽出部２０により抽出された物体領域内に注目点を順次設定し、各注目点の対応点を、注目点を設定した基準画像と同一時刻に取得された参照画像から探索する。
【解決手段】抽出部２０は、基準カメラ１１０から順次入力される入力画像を基準画像、参照カメラ１２０から順次入力される入力画像を参照画像とし、各基準画像から前方車体が撮影されている領域である物体領域を抽出する。面積算出部３０は、抽出部２０により抽出された物体領域の面積を算出する。密度設定部４０は、面積算出部３０により算出された物体領域の面積が小さくなるにつれて、注目点の設定密度を高くする。対応点探索部５０は、密度設定部４０により変更された注目点の設定密度に従って、抽出部２０により抽出された物体領域内に注目点を順次設定し、各注目点の対応点を、注目点を設定した基準画像と同一時刻に取得された参照画像から探索する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影手段を用いて撮影された画像を用いて物体までの距離を計測する技術に関するものである。
【背景技術】
【０００２】
近年、自動車の走行時における安全対策の１つとして、プリクラッシュセーフティとう技術が採用されている。この技術は、先行車両までの距離を測定して、自車両が先行車両に対して安全な車間距離を保っているか否かを判断し、安全な車間距離を保っていない場合は、ドライバーに先行車両が近づいている旨の警告を発して、事故防止を図る技術である。このプリクラッシュセーフティにおける課題の１つとして、自車両と先行車両との実際の距離の変化が小さいにも関わらず大きいと判断して、誤警告が多発されてしまうことである。
【０００３】
そのため、このプリクラッシュセーフティに適用される距離計測装置に望まれることは先行車両までの実際の距離に変化がないときには、測定した先行車両までの距離についてもできるだけ変化が生じないこと、すなわち、測定した先行車両までの距離のばらつきをできるだけ小さくすることである。
【０００４】
ところで、先行車両までの距離を測定する手法として、ステレオカメラを利用した手法が知られている。この手法は、異なる視点から撮影した２枚の画像の各座標点を相互に対応付け、三角測量の原理によって距離を算出する手法である。
【０００５】
ここで、２枚の画像の各座標を相互に対応付ける手法として、近年、ロバスト、かつ、高精度な対応付けが可能な位相限定相関法が注目を集めている（非特許文献１）。この手法は画像の振幅成分を取り除いて位相成分のみで相関演算を行うため、輝度変動やノイズに影響されにくいという特徴を有している。しかしながら、この手法は演算負荷が高く、処理時間がかかるといった課題を有している。
【０００６】
そこで、特許文献１には、車両輪郭を検出して、その車両輪郭に対してのみ対応点探索を行って視差を算出し、算出した視差をヒストグラム化して、度数が閾値を超える視差のうち最大の視差を車両の代表視差として、車両までの距離を算出する手法が開示されている。
【非特許文献１】K.Takita, T.Aoki, Y.Sasaki, T.Higuchi, and K.Kobayashi, "High-Accuracy Subpixel Image Registration Based on Phase-Only Correlation", IEICE Transactions. Fundamentals, E86-A, no8, pp.1925-1934, Aug.2003.
【特許文献１】特開平７−３３４８００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の手法では、車両の大小が全く考慮されておらず、車両が小さくなると視差の算出対象となる車両輪郭線上の画素数も減少するため、車両が大きい場合に比べて代表視差の精度が低下し、車両の大きさに応じて代表視差の精度にばらつきが生じ、車両までの距離を安定して算出することができなという問題を有している。
【０００８】
本発明の目的は、距離の測定対象となる対象物の大きさに関わらず、対象物までの距離を安定して算出することができる距離測定装置及び距離測定方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明による距離測定装置は、複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測装置であって、前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出手段と、前記抽出手段により抽出された物体領域の面積を算出する面積算出手段と、前記抽出手段により抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索手段と、前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を算出する距離算出手段とを備え、前記探索手段は、前記面積算出手段により算出された物体領域の面積に応じて注目点の設定密度を変更することを特徴とする。
【００１０】
本発明による距離計測方法は、複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測方法であって、前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出ステップと、前記抽出ステップにより抽出された物体領域の面積を算出する面積算出ステップと、前記抽出ステップにより抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索ステップと、前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を求める距離算出ステップとを備え、前記探索ステップは、前記面積算出ステップにより算出された物体領域の面積に応じて注目点の設定密度を変更することを特徴とする。
【００１１】
これらの構成によれば、前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像が基準画像、他の入力画像が参照画像とされ、基準画像から対象物をとらえた物体領域が抽出され、抽出された物体領域内に注目点が順次設定され、各注目点の対応点が各参照画像から探索され、注目点と対応点との視差を基に、対象物までの距離が算出される。ここで、注目点は、物体領域の面積に応じて設定密度が変更されるため、物体領域の面積が小さくなるにつれて物体領域に設定する注目点の設定密度を高くすることで、物体領域の面積の大小による注目点の設定個数のばらつきが低減され、物体領域の面積の大小によらず距離の計測精度を一定に保ち、距離の計測精度の安定化を図ることができる。
【００１２】
また、前記探索手段は、前記物体領域の面積が小さくなるにつれて、前記注目点の設定密度を高くすることが好ましい。
【００１３】
この構成によれば、物体領域の面積が小さくなるにつれて、注目点の設定密度が高くされるため、物体領域の面積の大小による注目点の設定個数のばらつきが低減され、距離の計測精度の安定化を図ることができる。
【００１４】
また、前記探索手段は、前記物体領域の面積が小さくなるにつれて、注目点を設定する際の間引き幅を小さくすることで、前記注目点の設定密度を高くすることが好ましい。
【００１５】
この構成によれば、注目点を設定する際の間引き幅を小さくすることで、注目点の設定密度が高くされているため、簡便な手法により設定密度を高めることができる。
【００１６】
また、前記探索手段は、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の前記基準画像及び前記参照画像を階層的に生成し、下位の階層での対応点の探索結果に基づいて、当該階層の探索範囲よりも小さな探索範囲を１つ上の階層の参照画像に設定し、当該探索範囲内で対応点を探索する探索処理を上位の階層に向けて階層的に実行することで対応点を探索することが好ましい。
【００１７】
この構成によれば、解像度の低い下位の階層から上位の階層に向かうにつれて探索範囲が狭くされているため、低解像度の参照画像で広範囲に探索範囲を設定して対応点のおよその位置を探索しておき、その探索結果を用いて高解像度での参照画像の探索範囲を狭い範囲に絞り込むことが可能となり、高速かつ高精度に対応点を探索することができる。
【００１８】
また、前記探索処理は、前記基準画像に注目点を中心として基準ウインドウを設定し、前記参照画像に前記基準ウインドウと同一サイズの参照ウインドウを設定し、前記参照画像に設定された探索範囲内において前記参照ウインドウをずらしながら、前記基準ウインドウ内の画像と前記参照ウインドウ内の画像との類似度を求める類似度算出処理を繰り返し実行することで対応点を探索する処理であることが好ましい。
【００１９】
この構成によれば、基準画像に注目点を中心として基準ウインドウが設定され、参照画像に基準ウインドウと同一サイズの参照ウインドウが設定され、参照画像に対応点の探索範囲が設定され、設定された探索範囲内において参照ウインドウをずらしながら、基準ウインドウ内の画像と参照ウインドウ内の画像との類似度が求められるというような類似度算出処理が繰り返し実行されて対応点が探索されるため、対応点を精度良く探索することができる。
【００２０】
また、前記類似度算出処理は、前記基準ウインドウ内の画像と前記参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて前記類似度を算出する処理であることが好ましい。
【００２１】
この構成によれば、基準ウインドウ内の画像と参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて類似度が算出されるため、類似度を精度良く算出することが可能となり、対応点の探索精度を高めることができる。
【００２２】
また、前記類似度算出処理は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することが好ましい。
【００２３】
この構成によれば、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかが用いられて周波数分解されるため、周波数分解を精度良く行うことができる。
【００２４】
また、前記類似度算出処理は、位相限定相関法を用いて前記類似度を算出することが好ましい。
【００２５】
この構成によれば、位相限定相関法を用いて類似度が算出されるため、ロバスト、かつ、高精度に対応点を探索することができる。
【００２６】
また、前記類似度算出処理は、ＳＡＤ（Sum of Absolute Difference）を用いて前記類似度を算出することが好ましい。
【００２７】
この構成によれば、類似度算出処理は、ＳＡＤ（Sum of Absolute Difference）を用いて類似度が算出されているため、高速に対応点を探索することができる。
【００２８】
また、前記探索手段は、前記物体領域に設定した各注目点の対応点の探索が終了した後、次フレームに対する処理を開始するまでの期間、前記物体領域以外の非物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索し、前記距離算出手段は、前記非物体領域に設定した注目点と当該注目点の対応点とから当該注目点の距離を算出することが好ましい。
【００２９】
この構成によれば、各フレームでの演算時間の空き時間を利用して非物体領域の距離を算出することが可能となり、例えば、ガードレールや路肩等の周辺環境を把握する上で有用な情報を得ることができ、対象物以外の障害物であって、危険を及ぼすような障害物の接近をユーザに報知することが可能となる。
【００３０】
また、前記探索手段は、前記非物体領域の下側から上側に向けて順次注目点を設定することが好ましい。この構成によれば、自己に近接する障害物が存在する可能性の高い非物体領域の下側の注目点から優先して距離が算出されるため、危険度の高い障害物の接近をユーザにより確実に報知することが可能となる。
【００３１】
また、前記対象物は、自動車、自動二輪車、自転車、人のうち、すくなくともいずれか１つを含むことが好ましい。この構成によれば、自動車、自動二輪車、自転車、人の距離を算出することができる。特に、自動二輪車及び自転車に乗っている人の距離や、自動車及び自転車に乗っていない人の距離を算出することで両者を切り分けることができ、人の動向を把握することができる。
【発明の効果】
【００３２】
本発明によれば、距離の測定対象となる対象物の大きさに関わらず、対象物までの距離を安定して算出することができる。
【発明を実施するための最良の形態】
【００３３】
（実施の形態１）
以下、本発明の実施の形態１による距離計測装置について図面を参照しつつ説明する。図１は、本発明の実施の形態１による距離計測装置１のブロック図を示している。距離計測装置１は、自動車等の車両の車体に搭載され、複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測するものであり、複数台のカメラ、例えば本実施の形態では２台のカメラ１１，１２（撮影手段の一例）、演算処理装置１３、及び表示装置１４を備えている。
【００３４】
カメラ１１，１２は、車体の進行方向に直交し、かつ水平方向に平行な方向である左右方向に所定の間隔を設けて、進行方向を中心に対称となるように同一高さ位置に配設され、所定のフレームレートで自車体の前方を撮影する。ここで、カメラ１１，１２は、同一時刻においてフレームが撮影されるように撮影タイミングの同期が図られており、距離の測定対象となる対象物であり、自車体の前方を走行する前方車体を撮影する。ここで、前方車体としては、自動車、自動二輪車、及び自転車が含まれる。
【００３５】
演算処理装置１３は、カメラ１１，１２で撮影された２枚の画像に後述する画像処理を施し、前方車体までの距離を算出する。表示装置１４は、液晶表示ディスプレイ、有機ＥＬディスプレイといった表示装置から構成され、演算処理装置１３により算出された前方車体までの距離等の情報を表示する。ここで、表示装置１４は、自車体がカーナビゲーションシステムを備えている場合は、当該カーナビゲーションシステムの表示装置により構成してもよいし、カーナビゲーションシステムとは別の表示装置により構成してもよい。
【００３６】
図２は、距離計測装置１の詳細な構成を示すブロック図である。図２に示すように距離計測装置１は、基準カメラ１１０、参照カメラ１２０、抽出部２０（抽出手段の一例）、面積算出部３０（面積算出手段の一例）、密度設定部４０（探索手段の一例）、対応点探索部５０（探索手段の一例）、距離算出部６０（距離算出手段の一例）、及び表示部７０を備えている。
【００３７】
基準カメラ１１０は、図１に示すカメラ１１及びカメラ１２のいずれか一方のカメラである例えばカメラ１１から構成され、自車体の前方を例えば１秒あたり３０枚といった所定のフレームレートで撮影することで前方車体を含む入力画像を取得する。参照カメラ１２０は、図１に示すカメラ１１及びカメラ１２のいずれか一方のカメラである例えばカメラ１２から構成され、基準カメラ１１０と同一、かつ同期したフレームレートで自車体の前方を撮影し、前方車体を含む入力画像を取得する。ここで、入力画像としては、例えば０（黒）〜２５５（白）の２５６階調値を有する複数の画素がマトリックス状に配列されたたデジタルの画像データを採用することができる。
【００３８】
抽出部２０は、基準カメラ１１０から所定のフレームレートで順次入力される入力画像を基準画像、参照カメラ１２０から所定のフレームレートで順次入力される入力画像を参照画像とし、各基準画像から前方車体が撮影されている領域である物体領域を抽出する。ここで、抽出部２０は、例えば、特開平７−３３４８００に記載された画像中のエッジ分布及び左右対称性を利用して前方車体を抽出する手法を採用してもよいし、ＳＶＭ（Support Vector Machine）、ａｄａＢｏｏｓｔ等を用いて車体、非車体データを学習し、パターン認識を用いて前方車体を抽出する手法を採用してもよいし、前方車体の背面画像をテンプレートとして、テンプレートマッチングにより前方車体を抽出する手法を採用してもよい。また、抽出部２０は、前方車体を示す領域を複数抽出した場合は、これらの領域のうち、自車体に近いことが予測される前方車体を示す１又は複数の領域を物体領域として抽出してもよい。なお、自車体に近いことが予測される前方車体を示す領域としては例えば面積が一定の大きさ以上の領域を採用すればよい。
【００３９】
面積算出部３０は、抽出部２０により抽出された物体領域の面積を算出する。ここで、面積算出部３０は、例えば、物体領域の画素数をカウントし、カウントした画素数を物体領域の面積として採用してもよいし、１画素あたりの面積にカウントした画素数を乗じた値を物体領域の面積として採用してもよい。
【００４０】
密度設定部４０は、面積算出部３０により算出された物体領域の面積に応じて注目点の設定密度を設定する。ここで、注目点は、対応点探索部５０により物体領域内に順次設定される画素であり、密度設定部４０は、物体領域の面積が小さくなるにつれて、注目点の設定密度を高くし、具体的には、物体領域の面積が小さくなるにつれて注目点を設定する際の間引き幅を小さくすることで、注目点の設定密度を高くする。
【００４１】
図３は、抽出部２０により物体領域が抽出された２枚の画像を示し、（ａ）は物体領域Ｄ１の面積が大きい場合を示し、（ｂ）は物体領域Ｄ１の面積が小さい場合を示している。図４は、物体領域の面積によらず注目点ＣＰの設定密度を一定とした場合において、物体領域Ｄ１に設定された注目点ＣＰを示し、図４（ａ）は図３（ａ）の物体領域Ｄ１に対して設定された注目点ＣＰを示し、図４（ｂ）は図３（ｂ）の物体領域Ｄ１に対して設定された注目点ＣＰを示している。なお、図３及び図４においては、説明の便宜上、物体領域を四角形で示しているが実際には、より複雑な形状を有している。また、図３及び図４において、（ａ）では、物体領域Ｄ１は、１６×１６の画素から構成され、（ｂ）では、物体領域Ｄ１は、８×８の画素から構成され、注目点ＣＰの間引き幅は、水平及び垂直方向に３画素飛ばしとされている。
【００４２】
図４（ａ）に示すように、注目点の間引き幅が水平及び垂直方向に３画素飛ばしとされているため、図３（ａ）の物体領域Ｄ１には、１６個の画素が注目点ＣＰとして設定されているが、図３（ｂ）の物体領域Ｄ１には、図４（ｂ）に示すように、４個の注目点ＣＰしか設定されていないことが分かる。
【００４３】
従って、図３（ａ）に示す物体領域Ｄ１においては、処理点数が１６個となるが、図３（ｂ）に示す物体領域Ｄ１においては、処理点数が４個となり、図３（ａ）の方が図３（ｂ）に比べて処理点数が多いため、距離の計測精度が増大することが分かる。つまり、注目点の間引き幅を一定にすると、面積が小さくなるにつれて処理点数が減少するため、距離の計測精度が低くなる一方、面積が大きくなると処理点数が増大し、距離の計測精度が高くなるため、距離の計測精度が物体領域Ｄ１の面積の大小に応じて安定しないことが分かる。
【００４４】
そこで、密度設定部４０は、物体領域Ｄ１の面積が小さくなるにつれて、間引き幅を小さくして注目点の設定密度を高くすることで、物体領域Ｄ１の面積によらず距離の計測精度を一定に保ち、距離の計測精度の安定化を図っている。
【００４５】
ここで、密度設定部４０は、物体領域に設定される注目点の個数が物体領域の面積によらず一定個数となるように間引き幅を設定してもよいし、物体領域の面積を段階的に分けた場合の各段階における好ましい間引き幅を予め定めておき、処理対象となる物体領域の面積が属する段階に対応する間引き幅を当該物体領域の間引き幅として設定してもよい。
【００４６】
図５は、図３（ｂ）に示す物体領域Ｄ１の面積に応じて間引き幅を変更した場合に物体領域Ｄ１に設定された注目点ＣＰを示した図である。図５において、密度設定部４０は、図３（ｂ）に示す物体領域Ｄ１に対して水平及び垂直方向に１個飛ばしで間引き幅を設定しているため、注目点ＣＰの設定個数が、図４（ａ）に示す注目点ＣＰの設定個数と同数である１６個とされていることが分かる。これにより、図３（ａ）、（ｂ）に示す物体領域Ｄ１における処理点数が同数となり、物体領域Ｄ１の面積によらず、距離の計測精度が安定することが分かる。
【００４７】
図２に戻り、対応点探索部５０は、密度設定部４０により変更された注目点の設定密度に従って、抽出部２０により抽出された物体領域内に注目点を順次設定し、各注目点の対応点を、注目点を設定した基準画像と同一時刻に取得された参照画像から探索する。
【００４８】
具体的には、対応点探索部５０は、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の基準画像及び参照画像を階層的に生成し、下位の階層での対応点の探索結果に基づいて、当該階層の探索範囲よりも小さな探索範囲を１つ上の階層の参照画像に設定し、当該探索範囲内で対応点を探索する探索処理を上位の階層に向けて階層的に実行することで対応点を探索する。
【００４９】
ここで、探索処理としては、基準画像に注目点を中心として基準ウインドウを設定し、参照画像に基準ウインドウと同一サイズの参照ウインドウを設定し、参照画像に設定された探索範囲内において参照ウインドウをずらしながら、基準ウインドウ内の画像と参照ウインドウ内の画像との類似度を求める類似度算出処理を繰り返し実行することで対応点を探索する処理を採用することができる。
【００５０】
また、類似度算出処理としては、基準ウインドウ内の画像と参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて類似度を算出する処理を採用してもよいし、周波数分解することなく類似度を算出する処理を採用してもよい。
【００５１】
ここで、周波数分解としては、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換といった手法を採用することができ、処理の高速化の観点からは高速フーリエ変換を採用することが好ましい。
【００５２】
位相成分に基づいて類似度を算出する処理としては、位相限定相関法（ＰＯＣ：Phase Only Correlation）やＤＣＴ符号限定相関法を採用することができるが、ＰＯＣの方がよりロバストであるため、本実施の形態ではＰＯＣを採用する。また、位相成分を用いることなく類似度を算出する手法としては、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（濃度差の二乗和）、又はＮＣＣ（正規化相互相関）等を採用することができるが、本実施の形態ではＳＡＤを採用する。
【００５３】
ＤＣＴ符号限定法としては、例えば、”画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用、貴家仁志、首都大学東京、システムデザイン学部、動的画像処理実利用化ワークショップ２００７’２００７．７．３．８−９”に記載された手法を採用することができる。
【００５４】
ＰＯＣは、ＳＡＤに比べてカメラ１１，１２の撮影条件の差や、ノイズなどの影響が受けにくく、ロバストであるが、周波数分解を行っているため処理コストがかかってしまう。そのため、ロバスト性を重視する場合はＰＯＣを採用することが好ましく、処理の高速化を図る場合はＳＡＤを採用することが好ましい。
【００５５】
また、抽出部２０が複数の物体領域を抽出した場合は、重要度の高い前方車体を示す物体領域についてはＰＯＣを採用し、重要度の低い前方車体を示す物体領域についてはＳＡＤを採用してもよい。なお、重要度の高い前方車体としては、危険を回避するうえで重要となる前方車体を採用すればよく、例えば、物体領域の面積が大きな前方車体ほど重要度が高くなるようにしてもよい。
【００５６】
次に、ＰＯＣの詳細について説明する。図６は、ＰＯＣの処理の流れを示したフローチャートである。なお、図６において、周波数分解として、フーリエ変換を採用した場合を例示している。まず、ステップＳ１，Ｓ２において、基準ウインドウ内の画像にフーリエ変換が施され、参照ウインドウ内の画像にフーリエ変換が施される。ここで、基準ウインドウ内の画像が式（１）で表され、参照ウインドウ内の画像が式（２）で表されるとすると、基準ウインドウ内の画像は、式（３）によりフーリエ変換され、参照ウインドウ内の画像は、式（４）によりフーリエ変換される。
【００５７】
【数１】
【００５８】
但し、ｎ１，ｎ２は、垂直、水平方向の座標を示し、Ｎ１，Ｎ２は、基準ウインドウ及び参照ウインドウの垂直、水平方向のサイズを示し、Ｍ１は基準ウインドウ及び参照ウインドウの中心点から、垂直方向における端までの距離を示し、Ｍ２は基準ウインドウ及び参照ウインドウの中心点から、水平方向における端までの距離を示す。
【００５９】
次に、ステップＳ３，Ｓ４において、ステップＳ１，Ｓ２でフーリエ変換された両画像が式（５）を用いて規格化される。次に、ステップＳ５において、ステップＳ３，Ｓ４で規格化された両画像が合成される。ここで、規格化された両画像は、式（６）に示すように、Ｆ´（ｋ１，ｋ２）と、Ｇ´（ｋ１，ｋ２）の複素共役とが乗じられることで合成される。次に、ステップＳ６において、ステップＳ５で合成された画像が式（７）を用いて逆フーリエ変換され、ＰＯＣ値（ｒ（ｋ１，ｋ２））が算出される。
【００６０】
図７は、ＰＯＣ値を示したグラフである。このグラフにおいて、ｘ軸及びｙ軸は、基準ウインドウ及び参照ウインドウ内の各座標を表し、ｚ軸はＰＯＣ値を示している。図７に示すようにＰＯＣ値は、急峻な相関ピークを有し、画像マッチングにおけるロバスト性と推定精度とが高いことが知られている。そして、この相関ピークの高さは基準ウインドウ及び参照ウインドウの相関が高いほど大きくなる。したがって、基準ウインドウ及び参照ウインドウの類似度として、例えば相関ピークの高さを採用することで、両ウインドウ内の画像がどれだけ近似しているかを示すことが可能となる。また、相関ピークの位置が基準ウインドウと参照ウインドウとのズレ量を示すことになる。
【００６１】
そして、参照ウインドウをずらしながら対応点が探索されることになる。この場合、相関ピークの位置は、両ウインドウ間のズレ量を示しているため、参照ウインドウを１画素ずつずらす必要はなく、例えば、ウインドウサイズの半分の大きさをずらし量として設定すればよい。
【００６２】
そして、最終的に対応点の位置は参照ウインドウの位置と、ＰＯＣ値の相関ピークの位置とから求められる。参照ウインドウの位置はピクセルレベルの値になるが、相関ピークの位置はウインドウ間のズレ量を示し、必ずしもピクセルレベルの位置に存在するとは限らない。そこで、相関ピークの位置をサブピクセルレベルで補間推定することによりサブピクセルレベルでズレ量を求めることが可能となる。ここで、相関ピークの位置の補間推定方法としては、放物線などの関数を、フィッティングする手法を採用することができる。そして、参照ウインドウの位置にサブピクセルレベルで補間推定された相関ピークの位置を足し合わせることによりサブピクセルレベルで対応点を求めることが可能となる。
【００６３】
次に、ＳＡＤの詳細について説明する。図８はＳＡＤを説明する模式図である。図８に示すように、基準画像に設定された物体領域Ｄ１内に注目点ＣＰが設定され、注目点ＣＰを中心として基準ウインドウＷ１が設定される。ここで、注目点ＣＰは、密度設定部４０により設定された間引き幅にしたがって物体領域Ｄ１内をラスタ走査するようにして順次設定される。次に、参照画像に設定された探索範囲内の所定の画素が参照ウインドウＷ２の中心点Ｏ１として設定され、この中心点Ｏ１を中心として参照ウインドウＷ２が設定される。ここで、中心点Ｏ１は、注目点ＣＰと垂直方向の高さが同一であり、かつ、水平方向と平行な参照画像の直線上に設定される。次に、基準ウインドウＷ１内の画像Ｉｍｇ１と参照ウインドウＷ２内の画像Ｉｍｇ２との相関値ＣＯＲｐが式（８）、（９）を用いて算出される。
【００６４】
【数２】
【００６５】
但し、Ｗは基準ウインドウＷ１、参照ウインドウＷ２のウインドウサイズを示し、ｉは垂直方向の座標を示し、ｊは水平方向の座標を示し、ｐは０≦ｐ≦ｍａｘ＿ｄｉｓｐを満たす変数であり、ｍａｘ＿ｄｉｓｐは最終探索点を示す。
【００６６】
そして、相関値ＣＯＲｐが求まると、ｐが１増加されて参照ウインドウＷ２が水平方向にずらされ、次の相関値ＣＯＲｐが求められる。なお、ＳＡＤにおいては、参照ウインドウＷ２は、ｐがコントロールされてずらされているため、垂直方向の位置が注目点と同一であって、水平方向と平行な直線上に中心点Ｏ１が位置するようにずらされる。
【００６７】
そして、相関値ＣＯＲｐを参照ウインドウＷ２内の画像の中心点Ｏ１の類似度として採用し、参照画像において類似度が最も高くなる位置を探索し、探索した位置を基準画像に設定された注目点ＣＰの対応点として特定する。図８のグラフに示すように、相関値ＣＯＲｐは、画像Ｉｍｇ１と画像Ｉｍｇ２との相関が高く、類似しているほど高くなる。
【００６８】
ここで、参照ウインドウは、画素単位で離散的にずらされるため、類似度はピクセルレベルの分解能で算出されることになるが、ＰＯＣと同様にして、サブピクセルレベルで類似度を算出してもよい。
【００６９】
図２に戻り、距離算出部６０は、注目点と対応点とを基に、ステレオ法による測距方法を用いて物体領域Ｄ１によって示される前方車体までの距離及び３次元位置を求める。図９は、ステレオ法による測距方法を説明する模式図である。
【００７０】
図９において、ｆは、カメラ１１，１２の焦点距離を示し、カメラ１１，１２の撮影面（ＣＣＤ）の画素数及び１画素の大きさ（μ）は等しいものとする。また、カメラ１１，１２は、所定の基線長Ｌだけ左右方向に離間され、かつ、光軸が平行となるように配置されている。この場合、撮影面上の視差（ずれ画素数）をｄ（＝ｄ１＋ｄ２）とすると、前方車体までの距離（Ｚ）は、Ｚ＝（Ｌ×ｆ）／（μ×ｄ）により求めることができる。３次元位置としては、自車体を基準として３次元の座標空間を設定した場合の前方車体の位置である相対位置を採用してもよいし、自車体がＧＰＳを備えているのであれば、ＧＰＳにより得られた自車体の絶対位置から前方車体の絶対位置を求め、この絶対位置を採用してもよい。
【００７１】
ここで、距離算出部６０は、例えば、物体領域内に設定した注目点と各注目点の対応点との各ペアの視差から代表視差を求め、その代表視差の距離を物体領域が表す前方車体までの距離として算出してもよいし、注目点と対応点との各ペアの距離を求め、求めた距離から代表距離を求めてもよい。代表視差又は代表距離を求める手法としては、特開平７−３３４８００号公報に記載されたヒストグラムを用いた手法を採用してもよいし、各ペアの距離又は視差の平均値、中央値、或いは各ペアの距離又は視差から最大値及び最小値を除いた残りの値の平均値を代表距離又は代表視差として算出する手法を採用してもよい。
【００７２】
図２に戻り、表示部７０は、図１に示す表示装置１４から構成され、距離算出部６０により算出された前方車体までの距離及び３次元位置等を表示する。ここで、表示部７０は、距離算出部６０により複数の前方車体の距離が算出された場合は、各々の距離をドライバーに通知してもよい。
【００７３】
次に、距離計測装置１の動作について説明する。図１０は距離計測装置１の動作を示すフローチャートである。以下のフローチャートでは、説明の便宜上、基準画像及び参照画像に含まれる物体領域Ｄ１は１個とする。
【００７４】
まず、ステップＳ１１において、抽出部２０は、基準カメラ１１０から入力された入力画像を基準画像として取得し、参照カメラ１２０から入力された入力画像を参照画像として取得する。
【００７５】
ステップＳ１２において、抽出部２０は、図３に示すようにステップＳ１１で取得した基準画像から物体領域Ｄ１を抽出する。ステップＳ１３において、面積算出部３０は、ステップＳ１２で抽出された物体領域Ｄ１の面積を算出する。
【００７６】
ステップＳ１４において、密度設定部４０は、図４に示すように物体領域Ｄ１の面積が小さくなるにつれて注目点ＣＰの間引き幅が小さくなるように間引き幅を設定する。
【００７７】
ステップＳ１５において、対応点探索部５０は、探索処理を実行する。図１１は探索処理を示すフローチャートである。まず、ステップＳ４１において、対応点探索部５０は、基準画像及び参照画像を階層毎に予め定められた解像度で低解像度化する処理を実行し、解像度の異なる複数の基準画像及び参照画像を階層的に生成する。ここで、階層数及び各階層における解像度は予め定められており、下位の階層から上位の階層に向かうにつれて解像度が高くなり、解像度変換が行われていない基準画像及び参照画像が最上位の階層とされる。
【００７８】
ステップＳ４２において、対応点探索部５０は、最上位の階層の基準画像に注目点を設定する。ここで、注目点は、ステップＳ１４で設定された間引き幅に従って、物体領域Ｄ１内をラスタ走査するようにして順次設定される。
【００７９】
ステップＳ４３において、対応点探索部５０は、最下位の階層の参照画像に探索範囲を設定する。図１３は、基準画像及び参照画像に設定される基準ウインドウと参照ウインドウとを示した図である。図１３に示すように、探索範囲ＤＲは、ステップＳ４１で基準画像に設定された注目点ＣＰと垂直方向の高さが同じであって、水平方向と平行な参照画像の直線上の全域に設定されている。
【００８０】
ステップＳ４４において、対応点探索部５０は、類似度算出処理を実行する。図１２は類似度算出処理を示すフローチャートである。まず、ステップＳ６１において、対応点探索部５０は、ステップＳ４３で探索範囲ＤＲを設定した参照画像と同一階層の基準画像に基準ウインドウＷ１を設定する。ここで、ステップＳ４２で最上位の階層の基準画像に設定された注目点に対して位置が対応する処理対象となる階層の基準画像上の点が、当該階層の基準画像の注目点ＣＰとして設定される。そして、図１３に示すように、注目点ＣＰに中心が位置するように基準ウインドウＷ１が設定される。
【００８１】
ステップＳ６２において、処理対象となる階層の参照画像に参照ウインドウＷ２が設定される。ここで、図１３に示す探索範囲ＤＲの例えば左端の位置が中心点Ｏ１の初期位置となるように参照ウインドウＷ２が設定される。
【００８２】
ステップＳ６３において、対応点探索部５０は、上述したＰＯＣ又はＳＡＤを用いて基準ウインドウＷ１内の画像と参照ウインドウＷ２内の画像との類似度を算出する。
【００８３】
ステップＳ６４において、対応点探索部５０は、参照ウインドウＷ２の中心点Ｏ１が探索範囲ＤＲの最終位置に到達していない場合（ステップＳ６４でＮＯ）、参照ウインドウＷ２をずらし（ステップＳ６５）、処理をステップＳ６３に戻し、参照ウインドウＷ２の中心点が探索範囲ＤＲの最終位置に到達した場合（ステップＳ６４でＹＥＳ）、類似度算出処理を終了し、処理を図１１に示すステップＳ４５に進める。ここで、最終位置としては例えば探索範囲ＤＲの右端を採用することができる。また、図１３に示すように、参照ウインドウＷ２は、中心点Ｏ１が探索範囲ＤＲの左端の点から右端の点に向けて順次設定され、探索範囲ＤＲに沿って左側から右側に向けてずらされていく。そして、対応点探索部５０は、参照ウインドウＷ２をずらす毎に類似度を算出し、算出した類似度を中心点Ｏ１における類似度とする。これにより、探索範囲ＤＲ上での類似度の分布が求まることになる。
【００８４】
図１１に戻り、ステップＳ４５において、対応点探索部５０は、類似度算出処理によって求められた探索範囲ＤＲ上の類似度のうち、最大の類似度を有する点を処理対象となる階層の参照画像における対応点として求める。
【００８５】
ステップＳ４６において、対応点探索部５０は、最上位の階層を処理対象として設定していない場合（ステップＳ４６でＮＯ）、１つ上の階層を処理対象として設定し、当該階層の参照画像に探索範囲ＤＲを設定し（ステップＳ４８）、処理をステップＳ４４に戻し、最上位の階層を処理対象として既に設定している場合（ステップＳ４６でＹＥＳ）、処理をステップＳ４７に進める。
【００８６】
図１４は、探索範囲ＤＲを説明する図であり、（ａ）はある階層における基準画像と参照画像とを示し、（ｂ）は（ａ）に示す階層よりも１つ上の階層における基準画像と参照画像とを示している。対応点探索部５０は、図１４（ａ）に示す参照画像において求めた対応点ＴＰを含み、図１４（ａ）に示す探索範囲ＤＲよりも狭い領域を１つ上の階層の参照画像の探索範囲ＤＲとして設定する（図１４（ｂ））。すなわち、対応点探索部５０は、いずれの階層においても探索範囲ＤＲを、注目点ＣＰと垂直方向の高さが同一であり、かつ水平方向と平行な直線上に設定するが、下位の階層から上位の階層に向かうにつれて範囲を狭くしている。ここで、基準画像及び参照画像は階層が上位になるにつれて解像度が高くなっている。したがって、低解像度の参照画像で広範囲に探索範囲ＤＲを設定して対応点ＴＰのおよその位置を探索しておき、その探索結果を用いて高解像度での参照画像の探索範囲ＤＲを狭い範囲に絞り込むことが可能となり、高速かつ高精度に対応点を探索することができる。なお、各階層において設定される探索範囲ＤＲは、下の階層で求められた対応点ＴＰを中心として、階層毎に予め定められた一定の幅を持たせた範囲とすればよい。
【００８７】
図１１に戻り、ステップＳ４７において、注目点が最終位置に到達していない場合（ステップＳ４７でＮＯ）、対応点探索部５０は、基準画像に次の注目点を設定するために処理をステップＳ４２に戻し、注目点が最終位置に設定されている場合（ステップＳ４７でＹＥＳ）、探索処理を終了して処理を図１０に示すステップＳ１６に進める。
【００８８】
図１０に戻り、ステップＳ１６において、距離算出部６０は、物体領域Ｄ１に示す前方車体までの距離を求め、ステップＳ１７において、表示部７０は、距離算出部６０により算出された距離を表示する。ステップＳ１８において、例えばユーザにより処理を終了するための操作指令が入力される等して、処理が終了される場合（ステップＳ１８でＹＥＳ）、処理が終了され、処理が終了されない場合（ステップＳ１８でＮＯ）、抽出部２０は、基準カメラ１１０により取得された次フレームの入力画像を基準画像として取得すると共に、参照カメラ１２０により取得された次フレームの入力画像を参照画像として取得し（ステップＳ１９）、処理をステップＳ１２に戻す。
【００８９】
このように距離計測装置１によれば、カメラ１１，１２により同一タイミングで撮影された入力画像が基準画像及び参照画像として取得され、基準画像から前方車体をとらえた物体領域が抽出され、抽出された物体領域内に注目点が順次設定され、各注目点の対応点ＴＰが各参照画像から探索され、注目点と対応点との視差を基に、対象物までの距離が算出される。ここで、注目点は、物体領域の面積が小さくなるにつれて設定密度が高くされているため、物体領域の面積の大小による注目点の設定個数のばらつきが低減され、物体領域の面積の大小によらず距離の計測精度を一定に保ち、距離の計測精度の安定化を図ることができる。
【００９０】
（実施の形態２）
次に、本発明の実施の形態２による距離計測装置１ａについて説明する。なお、本実施の形態において、全体構成及び詳細な構成は実施の形態１と同一であるため、図１及び図２を用いる。また、本実施の形態において実施の形態１と同一のものは説明を省き相違点のみ説明する。
【００９１】
図２に示す抽出部２０は、基準画像から物体領域の候補となる候補領域を抽出し、抽出した候補領域の中から物体領域を抽出する。ここで、抽出部２０は、実施の形態１が物体領域を抽出する手法と同様の手法を用いて候補領域を抽出し、抽出した候補領域のうち重要度が高い１又は複数の候補領域を物体領域として抽出すればよい。ここで、重要度としては、例えば、面積の大きな候補領域ほど高く、基準画像の下側に位置する候補領域ほど高くなるような値を採用してもよい。そして、抽出部２０は、重要度の値が所定の値よりも大きな候補領域を物体領域として抽出してもよいし、重要度の高い順に予め定められた個数の候補領域を物体領域として抽出してもよい。ここで、下側に位置し、かつ、面積が大きな候補領域ほど重要度を高く設定するのは、そのような候補領域が示す対象物ほど、自車体に近づいている可能性が高いからである。
【００９２】
対応点探索部５０は、物体領域に設定した各注目点の対応点の探索が終了した後、次フレームに対する処理を開始するまで期間、抽出部２０により抽出された物体領域以外の基準画像上の領域である非物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索するといった第３の探索処理を実行する。
【００９３】
すなわち、第３の探索処理は、現フレームにおいて、物体領域に設定した各注目点の対応点の探索が終了した後、次フレームの入力画像が取得されるまでの間の空き時間を利用して、非物体領域において順次注目点を設定して対応点を探索していき、次フレームの入力画像が取得されると、非物体領域における探索処理を打ち切る処理である。
【００９４】
ここで、第３の探索処理は、上述したＳＡＤ又はＰＯＣ等を用いて対応点を探索すればよい。また、対応点探索部５０は、第３の探索処理を実行するにあたり、非物体領域の下からの１番目のラインの例えば左端の画素から右端の画素に向けて順次注目点を設定し、当該ラインの処理が全て終了すると、その１つ上のラインに対して同様に注目点を順次設定しいくというように、非物体領域の下側から上側に向けて順次注目点を設定すればよい。このとき、対応点探索部５０は、非物体領域の全画素を注目点として設定してもよいし、非物体領域を水平及び垂直方向に一定の間引き幅で間引いた画素を注目点として設定してもよい。更に、対応点探索部５０は、面積算出部３０に非物体領域の面積を算出させ、非物体領域の面積が大きいほど、間引き幅が大きくなるように注目点を設定してもよい。
【００９５】
距離算出部６０は、実施の形態１と同様にして物体領域が示す前方車体の距離を算出することに加えて、非物体領域における注目点と対応点とから、上述したステレオ法による測距方法を用いて各注目点の距離を求める。ここで、距離算出部６０は、非物体領域に設定した注目点において、自車体に近接していることが想定される予め定められた距離よりも距離の短い注目点が存在する場合、表示部７０に障害物が接近していることを示す情報を表示させ、ユーザに危険を報知するようにしてもよい。
【００９６】
次に、距離計測装置１ａの動作について説明する。図１５は、距離計測装置１ａの動作を示すフローチャートである。ステップＳ８１は、図１０に示すステップＳ１１と同一であるため説明を省略する。ステップＳ８２において、抽出部２０は、基準画像から候補領域を抽出し、各候補領域の重要度を求め、重要度が所定の値より大きな候補領域を物体領域として抽出する。ここで、抽出部２０は、各候補領域の例えば重心を求め、重心が基準画像の下側に位置する候補領域ほど高い重要度を付与し、付与した重要度に各候補領域の面積を乗じた値を各候補領域の重要度として設定してもよい。なお、以下の説明では、説明の便宜上、１つの物体領域が抽出されたものとする。
【００９７】
ステップＳ８３〜Ｓ８５の処理は、図１０に示すステップＳ１３〜Ｓ１５の処理と同一であるため説明を省略する。
【００９８】
ステップＳ８６において、対応点探索部５０は、第３の探索処理を実行する。図１６は、第３の探索処理の詳細を示すフローチャートである。まず、ステップＳ１０１において、対応点探索部５０は、次フレームが取得されるまでに第３の探索処理を実行するための空き時間があるか否かを判定し、空き時間がある場合は（ステップＳ１０１でＹＥＳ）、基準画像から非物体領域を特定する。一方、ステップＳ１０１において、空き時間がないと判定した場合（ステップＳ１０１でＮＯ）、第３の探索処理を終了して処理を図１５に示すステップＳ８７に戻す。
【００９９】
次に、対応点探索部５０は、非物体領域に１つの注目点を設定し（ステップＳ１０３）、設定した注目点に対する対応点を探索し（ステップＳ１０４）、処理をステップＳ１０１に戻す。ここで、対応点探索部５０は、非物体領域の各画素を注目点として設定する設定パターン１又は非物体領域を間引いた画素を注目点として設定する設定パターン２に従って、順次注目点を設定する。
【０１００】
図１７は、設定パターン１を用いて非物体領域に設定される注目点を経時的に示した図であり、（ａ）〜（ｃ）に向かうにつれて時間が経過している。なお、図１７において三角印の点は物体領域Ｄ１に設定された注目点を示し、白丸は注目点として設定されていない非物体領域Ｄ２内の画素を示し、黒丸は注目点として設定済みの非物体領域の画素を示している。また、非物体領域Ｄ２は基準画像において物体領域Ｄ１を取り除いた領域からなる。
【０１０１】
図１７（ａ）に示すように非物体領域Ｄ２の下から１番目のラインの左端の画素から右端の画素に向けて順次注目点が設定されて対応点が順次探索され、右端の画素に対する探索処理が終了すると、図１７（ｂ）に示すように下から２番目のラインの左端の画素から右端の画素に向けて順次注目点が設定されて対応点が順次探索され、図１７（ｃ）に示すように下から７番目のラインの左端の画素が注目点として設定されて探索処理が終了すると、空き時間がなくなったため探索処理が打ち切られている。
【０１０２】
図１８は、設定パターン２を用いて非物体領域に設定される注目点を経時的に示した図であり、（ａ）〜（ｂ）に向かうにつれて時間が経過している。
【０１０３】
設定パターン２では、水平及び垂直方向に間引き幅が１画素飛ばしで設定されているため、図１８（ａ）に示すように下から１番目のラインにおいて、左端の画素から右端の画素に向けて１画素飛ばしの間引き幅で注目点が順次設定されていることが分かる。そして、下から１番目のラインに対する探索処理が終了すると、次に２つ上のラインにおいて１画素飛ばしで順次注目点が設定されるというようにして、順次注目点が設定される。
【０１０４】
また、設定パターン２では、上から１番目のラインにおける探索処理が終了した時点、すなわち、１サイクル目の探索処理が終了した時点で、空き時間が残っている場合、間引いたことにより注目点として設定されなかった画素が順次注目点として設定され、２サイクル目の探索処理が開始される。
【０１０５】
すなわち、図１８（ｂ）に示すように１サイクル目の探索処理が終了すると、再度、下側のラインから上側のラインに向けて注目点として設定されなかった画素が順次注目点として設定され、２サイクル目の探索処理が実行される。ここで、２サイクル目の探索処理においては、１サイクル目で注目点が設定されたラインと同じラインにおいて注目点として設定さなかった画素を１画素飛ばしで順次注目点として設定してもよいし、１サイクル目で注目点が設定されたラインと異なるラインにおいて１画素飛ばしで順次注目点を設定してもよい。なお、第３の探索処理において間引き幅は、１画素飛ばしに限定されず、２画素飛ばし以上としてもよい。
【０１０６】
図１５に戻り、ステップＳ８７において、距離算出部６０は、物体領域に加えて非物体領域の各注目点における距離を求め、求めた距離が所定の値より短い場合は、障害物が接近していることを示す情報を表示部７０に表示させる（ステップＳ８８）。ステップＳ８９〜Ｓ９０の処理は図１０に示すステップＳ１８〜Ｓ１９と同一であるため、説明を省略する。
【０１０７】
このように、距離計測装置１ａによれば、各フレームでの演算時間の空き時間を利用して非物体領域の距離を算出することが可能となり、例えば、ガードレールや路肩等の周辺環境を把握する上で有用な情報を得ることができ、対象物以外の障害物であって、危険を及ぼすような障害物の接近をユーザに報知することが可能となる。
【０１０８】
なお、上記実施の形態２では、非物体領域内に注目点を設定したが、これに代えて、候補領域以外の非候補領域内に注目点を設定してもよい。
【０１０９】
なお、上記実施の形態１、２では、物体領域の数を１個として説明したたが、本発明はこれに限定されず、２個以上としてもよい。この場合、実施の形態１では物体領域毎に図１０〜図１２に示す処理を実行し、実施の形態２では物体領域毎に図１５〜図１６の処理を実行すればよい。そして、表示部７０は、物体領域毎の距離を表示すればよい。
【０１１０】
また、上記実施の形態１、２では、対象物として前方車体を採用したが、これに限定されず、人を対象物としてもよいし、人以外の犬や猫等の動物を対象物としてもよい。この場合、抽出部２０は、例えば距離の測定対象となる対象物毎のテンプレートを予め用意しておき、テンプレートマッチングにより種々の対象物を抽出すればよい。
【０１１１】
また、上記実施の形態１、２では、カメラ１１，１２の高さが同一にされていることを考慮して、探索範囲を注目点と垂直方向の高さが同一、かつ水平方向と平行な直線上に設定したがこれに限定されず、当該直線を中心として垂直方向に一定の幅を持たせた四角形状の領域を探索範囲として設定してもよい。
【０１１２】
また、上記実施の形態１、２では、カメラの個数を２台としたがこれに限定されず３個以上としてもよい。この場合、いずれか１台のカメラにより撮影された画像を基準画像とし、他のカメラにより撮影された参照画像として、抽出部２０〜距離算出部６０に上述した処理を実行させ、前方車体までの距離を求めればよい。
【図面の簡単な説明】
【０１１３】
【図１】本発明の実施の形態による距離計測装置のブロック図を示している。
【図２】図１に示す距離計測装置の詳細な構成を示すブロック図である。
【図３】図２に示す抽出部により物体領域が抽出された２枚の画像を示している。
【図４】注目点の設定密度を一定とした場合において、物体領域に設定された注目点を示した図である。
【図５】物体領域の面積に応じて間引き幅を変更した場合に物体領域に設定された注目点を示した図である。
【図６】ＰＯＣの処理の流れを示したフローチャートである。
【図７】ＰＯＣ値を示したグラフである。
【図８】ＳＡＤを説明する模式図である。
【図９】ステレオ法による測距方法を説明する模式図である。
【図１０】距離計測装置の動作を示すフローチャートである。
【図１１】探索処理を示すフローチャートである。
【図１２】類似度算出処理を示すフローチャートである。
【図１３】基準画像及び参照画像に設定される基準ウインドウと参照ウインドウとを示した図である。
【図１４】探索範囲を説明する図である。
【図１５】本発明の実施の形態２による距離計測装置の動作を示すフローチャートである。
【図１６】図１５に示す第３の探索処理の詳細を示すフローチャートである。
【図１７】設定パターン１を用いて非物体領域に設定される注目点を経時的に示した図である。
【図１８】設定パターン２を用いて非物体領域に設定される注目点を経時的に示した図である。
【符号の説明】
【０１１４】
１ １ａ 距離計測装置
１３ 演算処理装置
１４ 表示装置
２０ 抽出部
３０ 面積算出部
４０ 密度設定部
５０ 対応点探索部
６０ 距離算出部
７０ 表示部
１１０ 基準カメラ
１２０ 参照カメラ
ＣＰ 注目点
Ｄ１ 物体領域
ＤＲ 探索範囲
Ｏ１ 中心点
ＴＰ 対応点
Ｗ１ 基準ウインドウ
Ｗ２ 参照ウインドウ
【技術分野】
【０００１】
本発明は、複数の撮影手段を用いて撮影された画像を用いて物体までの距離を計測する技術に関するものである。
【背景技術】
【０００２】
近年、自動車の走行時における安全対策の１つとして、プリクラッシュセーフティとう技術が採用されている。この技術は、先行車両までの距離を測定して、自車両が先行車両に対して安全な車間距離を保っているか否かを判断し、安全な車間距離を保っていない場合は、ドライバーに先行車両が近づいている旨の警告を発して、事故防止を図る技術である。このプリクラッシュセーフティにおける課題の１つとして、自車両と先行車両との実際の距離の変化が小さいにも関わらず大きいと判断して、誤警告が多発されてしまうことである。
【０００３】
そのため、このプリクラッシュセーフティに適用される距離計測装置に望まれることは先行車両までの実際の距離に変化がないときには、測定した先行車両までの距離についてもできるだけ変化が生じないこと、すなわち、測定した先行車両までの距離のばらつきをできるだけ小さくすることである。
【０００４】
ところで、先行車両までの距離を測定する手法として、ステレオカメラを利用した手法が知られている。この手法は、異なる視点から撮影した２枚の画像の各座標点を相互に対応付け、三角測量の原理によって距離を算出する手法である。
【０００５】
ここで、２枚の画像の各座標を相互に対応付ける手法として、近年、ロバスト、かつ、高精度な対応付けが可能な位相限定相関法が注目を集めている（非特許文献１）。この手法は画像の振幅成分を取り除いて位相成分のみで相関演算を行うため、輝度変動やノイズに影響されにくいという特徴を有している。しかしながら、この手法は演算負荷が高く、処理時間がかかるといった課題を有している。
【０００６】
そこで、特許文献１には、車両輪郭を検出して、その車両輪郭に対してのみ対応点探索を行って視差を算出し、算出した視差をヒストグラム化して、度数が閾値を超える視差のうち最大の視差を車両の代表視差として、車両までの距離を算出する手法が開示されている。
【非特許文献１】K.Takita, T.Aoki, Y.Sasaki, T.Higuchi, and K.Kobayashi, "High-Accuracy Subpixel Image Registration Based on Phase-Only Correlation", IEICE Transactions. Fundamentals, E86-A, no8, pp.1925-1934, Aug.2003.
【特許文献１】特開平７−３３４８００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の手法では、車両の大小が全く考慮されておらず、車両が小さくなると視差の算出対象となる車両輪郭線上の画素数も減少するため、車両が大きい場合に比べて代表視差の精度が低下し、車両の大きさに応じて代表視差の精度にばらつきが生じ、車両までの距離を安定して算出することができなという問題を有している。
【０００８】
本発明の目的は、距離の測定対象となる対象物の大きさに関わらず、対象物までの距離を安定して算出することができる距離測定装置及び距離測定方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明による距離測定装置は、複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測装置であって、前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出手段と、前記抽出手段により抽出された物体領域の面積を算出する面積算出手段と、前記抽出手段により抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索手段と、前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を算出する距離算出手段とを備え、前記探索手段は、前記面積算出手段により算出された物体領域の面積に応じて注目点の設定密度を変更することを特徴とする。
【００１０】
本発明による距離計測方法は、複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測方法であって、前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出ステップと、前記抽出ステップにより抽出された物体領域の面積を算出する面積算出ステップと、前記抽出ステップにより抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索ステップと、前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を求める距離算出ステップとを備え、前記探索ステップは、前記面積算出ステップにより算出された物体領域の面積に応じて注目点の設定密度を変更することを特徴とする。
【００１１】
これらの構成によれば、前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像が基準画像、他の入力画像が参照画像とされ、基準画像から対象物をとらえた物体領域が抽出され、抽出された物体領域内に注目点が順次設定され、各注目点の対応点が各参照画像から探索され、注目点と対応点との視差を基に、対象物までの距離が算出される。ここで、注目点は、物体領域の面積に応じて設定密度が変更されるため、物体領域の面積が小さくなるにつれて物体領域に設定する注目点の設定密度を高くすることで、物体領域の面積の大小による注目点の設定個数のばらつきが低減され、物体領域の面積の大小によらず距離の計測精度を一定に保ち、距離の計測精度の安定化を図ることができる。
【００１２】
また、前記探索手段は、前記物体領域の面積が小さくなるにつれて、前記注目点の設定密度を高くすることが好ましい。
【００１３】
この構成によれば、物体領域の面積が小さくなるにつれて、注目点の設定密度が高くされるため、物体領域の面積の大小による注目点の設定個数のばらつきが低減され、距離の計測精度の安定化を図ることができる。
【００１４】
また、前記探索手段は、前記物体領域の面積が小さくなるにつれて、注目点を設定する際の間引き幅を小さくすることで、前記注目点の設定密度を高くすることが好ましい。
【００１５】
この構成によれば、注目点を設定する際の間引き幅を小さくすることで、注目点の設定密度が高くされているため、簡便な手法により設定密度を高めることができる。
【００１６】
また、前記探索手段は、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の前記基準画像及び前記参照画像を階層的に生成し、下位の階層での対応点の探索結果に基づいて、当該階層の探索範囲よりも小さな探索範囲を１つ上の階層の参照画像に設定し、当該探索範囲内で対応点を探索する探索処理を上位の階層に向けて階層的に実行することで対応点を探索することが好ましい。
【００１７】
この構成によれば、解像度の低い下位の階層から上位の階層に向かうにつれて探索範囲が狭くされているため、低解像度の参照画像で広範囲に探索範囲を設定して対応点のおよその位置を探索しておき、その探索結果を用いて高解像度での参照画像の探索範囲を狭い範囲に絞り込むことが可能となり、高速かつ高精度に対応点を探索することができる。
【００１８】
また、前記探索処理は、前記基準画像に注目点を中心として基準ウインドウを設定し、前記参照画像に前記基準ウインドウと同一サイズの参照ウインドウを設定し、前記参照画像に設定された探索範囲内において前記参照ウインドウをずらしながら、前記基準ウインドウ内の画像と前記参照ウインドウ内の画像との類似度を求める類似度算出処理を繰り返し実行することで対応点を探索する処理であることが好ましい。
【００１９】
この構成によれば、基準画像に注目点を中心として基準ウインドウが設定され、参照画像に基準ウインドウと同一サイズの参照ウインドウが設定され、参照画像に対応点の探索範囲が設定され、設定された探索範囲内において参照ウインドウをずらしながら、基準ウインドウ内の画像と参照ウインドウ内の画像との類似度が求められるというような類似度算出処理が繰り返し実行されて対応点が探索されるため、対応点を精度良く探索することができる。
【００２０】
また、前記類似度算出処理は、前記基準ウインドウ内の画像と前記参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて前記類似度を算出する処理であることが好ましい。
【００２１】
この構成によれば、基準ウインドウ内の画像と参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて類似度が算出されるため、類似度を精度良く算出することが可能となり、対応点の探索精度を高めることができる。
【００２２】
また、前記類似度算出処理は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することが好ましい。
【００２３】
この構成によれば、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかが用いられて周波数分解されるため、周波数分解を精度良く行うことができる。
【００２４】
また、前記類似度算出処理は、位相限定相関法を用いて前記類似度を算出することが好ましい。
【００２５】
この構成によれば、位相限定相関法を用いて類似度が算出されるため、ロバスト、かつ、高精度に対応点を探索することができる。
【００２６】
また、前記類似度算出処理は、ＳＡＤ（Sum of Absolute Difference）を用いて前記類似度を算出することが好ましい。
【００２７】
この構成によれば、類似度算出処理は、ＳＡＤ（Sum of Absolute Difference）を用いて類似度が算出されているため、高速に対応点を探索することができる。
【００２８】
また、前記探索手段は、前記物体領域に設定した各注目点の対応点の探索が終了した後、次フレームに対する処理を開始するまでの期間、前記物体領域以外の非物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索し、前記距離算出手段は、前記非物体領域に設定した注目点と当該注目点の対応点とから当該注目点の距離を算出することが好ましい。
【００２９】
この構成によれば、各フレームでの演算時間の空き時間を利用して非物体領域の距離を算出することが可能となり、例えば、ガードレールや路肩等の周辺環境を把握する上で有用な情報を得ることができ、対象物以外の障害物であって、危険を及ぼすような障害物の接近をユーザに報知することが可能となる。
【００３０】
また、前記探索手段は、前記非物体領域の下側から上側に向けて順次注目点を設定することが好ましい。この構成によれば、自己に近接する障害物が存在する可能性の高い非物体領域の下側の注目点から優先して距離が算出されるため、危険度の高い障害物の接近をユーザにより確実に報知することが可能となる。
【００３１】
また、前記対象物は、自動車、自動二輪車、自転車、人のうち、すくなくともいずれか１つを含むことが好ましい。この構成によれば、自動車、自動二輪車、自転車、人の距離を算出することができる。特に、自動二輪車及び自転車に乗っている人の距離や、自動車及び自転車に乗っていない人の距離を算出することで両者を切り分けることができ、人の動向を把握することができる。
【発明の効果】
【００３２】
本発明によれば、距離の測定対象となる対象物の大きさに関わらず、対象物までの距離を安定して算出することができる。
【発明を実施するための最良の形態】
【００３３】
（実施の形態１）
以下、本発明の実施の形態１による距離計測装置について図面を参照しつつ説明する。図１は、本発明の実施の形態１による距離計測装置１のブロック図を示している。距離計測装置１は、自動車等の車両の車体に搭載され、複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測するものであり、複数台のカメラ、例えば本実施の形態では２台のカメラ１１，１２（撮影手段の一例）、演算処理装置１３、及び表示装置１４を備えている。
【００３４】
カメラ１１，１２は、車体の進行方向に直交し、かつ水平方向に平行な方向である左右方向に所定の間隔を設けて、進行方向を中心に対称となるように同一高さ位置に配設され、所定のフレームレートで自車体の前方を撮影する。ここで、カメラ１１，１２は、同一時刻においてフレームが撮影されるように撮影タイミングの同期が図られており、距離の測定対象となる対象物であり、自車体の前方を走行する前方車体を撮影する。ここで、前方車体としては、自動車、自動二輪車、及び自転車が含まれる。
【００３５】
演算処理装置１３は、カメラ１１，１２で撮影された２枚の画像に後述する画像処理を施し、前方車体までの距離を算出する。表示装置１４は、液晶表示ディスプレイ、有機ＥＬディスプレイといった表示装置から構成され、演算処理装置１３により算出された前方車体までの距離等の情報を表示する。ここで、表示装置１４は、自車体がカーナビゲーションシステムを備えている場合は、当該カーナビゲーションシステムの表示装置により構成してもよいし、カーナビゲーションシステムとは別の表示装置により構成してもよい。
【００３６】
図２は、距離計測装置１の詳細な構成を示すブロック図である。図２に示すように距離計測装置１は、基準カメラ１１０、参照カメラ１２０、抽出部２０（抽出手段の一例）、面積算出部３０（面積算出手段の一例）、密度設定部４０（探索手段の一例）、対応点探索部５０（探索手段の一例）、距離算出部６０（距離算出手段の一例）、及び表示部７０を備えている。
【００３７】
基準カメラ１１０は、図１に示すカメラ１１及びカメラ１２のいずれか一方のカメラである例えばカメラ１１から構成され、自車体の前方を例えば１秒あたり３０枚といった所定のフレームレートで撮影することで前方車体を含む入力画像を取得する。参照カメラ１２０は、図１に示すカメラ１１及びカメラ１２のいずれか一方のカメラである例えばカメラ１２から構成され、基準カメラ１１０と同一、かつ同期したフレームレートで自車体の前方を撮影し、前方車体を含む入力画像を取得する。ここで、入力画像としては、例えば０（黒）〜２５５（白）の２５６階調値を有する複数の画素がマトリックス状に配列されたたデジタルの画像データを採用することができる。
【００３８】
抽出部２０は、基準カメラ１１０から所定のフレームレートで順次入力される入力画像を基準画像、参照カメラ１２０から所定のフレームレートで順次入力される入力画像を参照画像とし、各基準画像から前方車体が撮影されている領域である物体領域を抽出する。ここで、抽出部２０は、例えば、特開平７−３３４８００に記載された画像中のエッジ分布及び左右対称性を利用して前方車体を抽出する手法を採用してもよいし、ＳＶＭ（Support Vector Machine）、ａｄａＢｏｏｓｔ等を用いて車体、非車体データを学習し、パターン認識を用いて前方車体を抽出する手法を採用してもよいし、前方車体の背面画像をテンプレートとして、テンプレートマッチングにより前方車体を抽出する手法を採用してもよい。また、抽出部２０は、前方車体を示す領域を複数抽出した場合は、これらの領域のうち、自車体に近いことが予測される前方車体を示す１又は複数の領域を物体領域として抽出してもよい。なお、自車体に近いことが予測される前方車体を示す領域としては例えば面積が一定の大きさ以上の領域を採用すればよい。
【００３９】
面積算出部３０は、抽出部２０により抽出された物体領域の面積を算出する。ここで、面積算出部３０は、例えば、物体領域の画素数をカウントし、カウントした画素数を物体領域の面積として採用してもよいし、１画素あたりの面積にカウントした画素数を乗じた値を物体領域の面積として採用してもよい。
【００４０】
密度設定部４０は、面積算出部３０により算出された物体領域の面積に応じて注目点の設定密度を設定する。ここで、注目点は、対応点探索部５０により物体領域内に順次設定される画素であり、密度設定部４０は、物体領域の面積が小さくなるにつれて、注目点の設定密度を高くし、具体的には、物体領域の面積が小さくなるにつれて注目点を設定する際の間引き幅を小さくすることで、注目点の設定密度を高くする。
【００４１】
図３は、抽出部２０により物体領域が抽出された２枚の画像を示し、（ａ）は物体領域Ｄ１の面積が大きい場合を示し、（ｂ）は物体領域Ｄ１の面積が小さい場合を示している。図４は、物体領域の面積によらず注目点ＣＰの設定密度を一定とした場合において、物体領域Ｄ１に設定された注目点ＣＰを示し、図４（ａ）は図３（ａ）の物体領域Ｄ１に対して設定された注目点ＣＰを示し、図４（ｂ）は図３（ｂ）の物体領域Ｄ１に対して設定された注目点ＣＰを示している。なお、図３及び図４においては、説明の便宜上、物体領域を四角形で示しているが実際には、より複雑な形状を有している。また、図３及び図４において、（ａ）では、物体領域Ｄ１は、１６×１６の画素から構成され、（ｂ）では、物体領域Ｄ１は、８×８の画素から構成され、注目点ＣＰの間引き幅は、水平及び垂直方向に３画素飛ばしとされている。
【００４２】
図４（ａ）に示すように、注目点の間引き幅が水平及び垂直方向に３画素飛ばしとされているため、図３（ａ）の物体領域Ｄ１には、１６個の画素が注目点ＣＰとして設定されているが、図３（ｂ）の物体領域Ｄ１には、図４（ｂ）に示すように、４個の注目点ＣＰしか設定されていないことが分かる。
【００４３】
従って、図３（ａ）に示す物体領域Ｄ１においては、処理点数が１６個となるが、図３（ｂ）に示す物体領域Ｄ１においては、処理点数が４個となり、図３（ａ）の方が図３（ｂ）に比べて処理点数が多いため、距離の計測精度が増大することが分かる。つまり、注目点の間引き幅を一定にすると、面積が小さくなるにつれて処理点数が減少するため、距離の計測精度が低くなる一方、面積が大きくなると処理点数が増大し、距離の計測精度が高くなるため、距離の計測精度が物体領域Ｄ１の面積の大小に応じて安定しないことが分かる。
【００４４】
そこで、密度設定部４０は、物体領域Ｄ１の面積が小さくなるにつれて、間引き幅を小さくして注目点の設定密度を高くすることで、物体領域Ｄ１の面積によらず距離の計測精度を一定に保ち、距離の計測精度の安定化を図っている。
【００４５】
ここで、密度設定部４０は、物体領域に設定される注目点の個数が物体領域の面積によらず一定個数となるように間引き幅を設定してもよいし、物体領域の面積を段階的に分けた場合の各段階における好ましい間引き幅を予め定めておき、処理対象となる物体領域の面積が属する段階に対応する間引き幅を当該物体領域の間引き幅として設定してもよい。
【００４６】
図５は、図３（ｂ）に示す物体領域Ｄ１の面積に応じて間引き幅を変更した場合に物体領域Ｄ１に設定された注目点ＣＰを示した図である。図５において、密度設定部４０は、図３（ｂ）に示す物体領域Ｄ１に対して水平及び垂直方向に１個飛ばしで間引き幅を設定しているため、注目点ＣＰの設定個数が、図４（ａ）に示す注目点ＣＰの設定個数と同数である１６個とされていることが分かる。これにより、図３（ａ）、（ｂ）に示す物体領域Ｄ１における処理点数が同数となり、物体領域Ｄ１の面積によらず、距離の計測精度が安定することが分かる。
【００４７】
図２に戻り、対応点探索部５０は、密度設定部４０により変更された注目点の設定密度に従って、抽出部２０により抽出された物体領域内に注目点を順次設定し、各注目点の対応点を、注目点を設定した基準画像と同一時刻に取得された参照画像から探索する。
【００４８】
具体的には、対応点探索部５０は、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の基準画像及び参照画像を階層的に生成し、下位の階層での対応点の探索結果に基づいて、当該階層の探索範囲よりも小さな探索範囲を１つ上の階層の参照画像に設定し、当該探索範囲内で対応点を探索する探索処理を上位の階層に向けて階層的に実行することで対応点を探索する。
【００４９】
ここで、探索処理としては、基準画像に注目点を中心として基準ウインドウを設定し、参照画像に基準ウインドウと同一サイズの参照ウインドウを設定し、参照画像に設定された探索範囲内において参照ウインドウをずらしながら、基準ウインドウ内の画像と参照ウインドウ内の画像との類似度を求める類似度算出処理を繰り返し実行することで対応点を探索する処理を採用することができる。
【００５０】
また、類似度算出処理としては、基準ウインドウ内の画像と参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて類似度を算出する処理を採用してもよいし、周波数分解することなく類似度を算出する処理を採用してもよい。
【００５１】
ここで、周波数分解としては、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換といった手法を採用することができ、処理の高速化の観点からは高速フーリエ変換を採用することが好ましい。
【００５２】
位相成分に基づいて類似度を算出する処理としては、位相限定相関法（ＰＯＣ：Phase Only Correlation）やＤＣＴ符号限定相関法を採用することができるが、ＰＯＣの方がよりロバストであるため、本実施の形態ではＰＯＣを採用する。また、位相成分を用いることなく類似度を算出する手法としては、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（濃度差の二乗和）、又はＮＣＣ（正規化相互相関）等を採用することができるが、本実施の形態ではＳＡＤを採用する。
【００５３】
ＤＣＴ符号限定法としては、例えば、”画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用、貴家仁志、首都大学東京、システムデザイン学部、動的画像処理実利用化ワークショップ２００７’２００７．７．３．８−９”に記載された手法を採用することができる。
【００５４】
ＰＯＣは、ＳＡＤに比べてカメラ１１，１２の撮影条件の差や、ノイズなどの影響が受けにくく、ロバストであるが、周波数分解を行っているため処理コストがかかってしまう。そのため、ロバスト性を重視する場合はＰＯＣを採用することが好ましく、処理の高速化を図る場合はＳＡＤを採用することが好ましい。
【００５５】
また、抽出部２０が複数の物体領域を抽出した場合は、重要度の高い前方車体を示す物体領域についてはＰＯＣを採用し、重要度の低い前方車体を示す物体領域についてはＳＡＤを採用してもよい。なお、重要度の高い前方車体としては、危険を回避するうえで重要となる前方車体を採用すればよく、例えば、物体領域の面積が大きな前方車体ほど重要度が高くなるようにしてもよい。
【００５６】
次に、ＰＯＣの詳細について説明する。図６は、ＰＯＣの処理の流れを示したフローチャートである。なお、図６において、周波数分解として、フーリエ変換を採用した場合を例示している。まず、ステップＳ１，Ｓ２において、基準ウインドウ内の画像にフーリエ変換が施され、参照ウインドウ内の画像にフーリエ変換が施される。ここで、基準ウインドウ内の画像が式（１）で表され、参照ウインドウ内の画像が式（２）で表されるとすると、基準ウインドウ内の画像は、式（３）によりフーリエ変換され、参照ウインドウ内の画像は、式（４）によりフーリエ変換される。
【００５７】
【数１】
【００５８】
但し、ｎ１，ｎ２は、垂直、水平方向の座標を示し、Ｎ１，Ｎ２は、基準ウインドウ及び参照ウインドウの垂直、水平方向のサイズを示し、Ｍ１は基準ウインドウ及び参照ウインドウの中心点から、垂直方向における端までの距離を示し、Ｍ２は基準ウインドウ及び参照ウインドウの中心点から、水平方向における端までの距離を示す。
【００５９】
次に、ステップＳ３，Ｓ４において、ステップＳ１，Ｓ２でフーリエ変換された両画像が式（５）を用いて規格化される。次に、ステップＳ５において、ステップＳ３，Ｓ４で規格化された両画像が合成される。ここで、規格化された両画像は、式（６）に示すように、Ｆ´（ｋ１，ｋ２）と、Ｇ´（ｋ１，ｋ２）の複素共役とが乗じられることで合成される。次に、ステップＳ６において、ステップＳ５で合成された画像が式（７）を用いて逆フーリエ変換され、ＰＯＣ値（ｒ（ｋ１，ｋ２））が算出される。
【００６０】
図７は、ＰＯＣ値を示したグラフである。このグラフにおいて、ｘ軸及びｙ軸は、基準ウインドウ及び参照ウインドウ内の各座標を表し、ｚ軸はＰＯＣ値を示している。図７に示すようにＰＯＣ値は、急峻な相関ピークを有し、画像マッチングにおけるロバスト性と推定精度とが高いことが知られている。そして、この相関ピークの高さは基準ウインドウ及び参照ウインドウの相関が高いほど大きくなる。したがって、基準ウインドウ及び参照ウインドウの類似度として、例えば相関ピークの高さを採用することで、両ウインドウ内の画像がどれだけ近似しているかを示すことが可能となる。また、相関ピークの位置が基準ウインドウと参照ウインドウとのズレ量を示すことになる。
【００６１】
そして、参照ウインドウをずらしながら対応点が探索されることになる。この場合、相関ピークの位置は、両ウインドウ間のズレ量を示しているため、参照ウインドウを１画素ずつずらす必要はなく、例えば、ウインドウサイズの半分の大きさをずらし量として設定すればよい。
【００６２】
そして、最終的に対応点の位置は参照ウインドウの位置と、ＰＯＣ値の相関ピークの位置とから求められる。参照ウインドウの位置はピクセルレベルの値になるが、相関ピークの位置はウインドウ間のズレ量を示し、必ずしもピクセルレベルの位置に存在するとは限らない。そこで、相関ピークの位置をサブピクセルレベルで補間推定することによりサブピクセルレベルでズレ量を求めることが可能となる。ここで、相関ピークの位置の補間推定方法としては、放物線などの関数を、フィッティングする手法を採用することができる。そして、参照ウインドウの位置にサブピクセルレベルで補間推定された相関ピークの位置を足し合わせることによりサブピクセルレベルで対応点を求めることが可能となる。
【００６３】
次に、ＳＡＤの詳細について説明する。図８はＳＡＤを説明する模式図である。図８に示すように、基準画像に設定された物体領域Ｄ１内に注目点ＣＰが設定され、注目点ＣＰを中心として基準ウインドウＷ１が設定される。ここで、注目点ＣＰは、密度設定部４０により設定された間引き幅にしたがって物体領域Ｄ１内をラスタ走査するようにして順次設定される。次に、参照画像に設定された探索範囲内の所定の画素が参照ウインドウＷ２の中心点Ｏ１として設定され、この中心点Ｏ１を中心として参照ウインドウＷ２が設定される。ここで、中心点Ｏ１は、注目点ＣＰと垂直方向の高さが同一であり、かつ、水平方向と平行な参照画像の直線上に設定される。次に、基準ウインドウＷ１内の画像Ｉｍｇ１と参照ウインドウＷ２内の画像Ｉｍｇ２との相関値ＣＯＲｐが式（８）、（９）を用いて算出される。
【００６４】
【数２】
【００６５】
但し、Ｗは基準ウインドウＷ１、参照ウインドウＷ２のウインドウサイズを示し、ｉは垂直方向の座標を示し、ｊは水平方向の座標を示し、ｐは０≦ｐ≦ｍａｘ＿ｄｉｓｐを満たす変数であり、ｍａｘ＿ｄｉｓｐは最終探索点を示す。
【００６６】
そして、相関値ＣＯＲｐが求まると、ｐが１増加されて参照ウインドウＷ２が水平方向にずらされ、次の相関値ＣＯＲｐが求められる。なお、ＳＡＤにおいては、参照ウインドウＷ２は、ｐがコントロールされてずらされているため、垂直方向の位置が注目点と同一であって、水平方向と平行な直線上に中心点Ｏ１が位置するようにずらされる。
【００６７】
そして、相関値ＣＯＲｐを参照ウインドウＷ２内の画像の中心点Ｏ１の類似度として採用し、参照画像において類似度が最も高くなる位置を探索し、探索した位置を基準画像に設定された注目点ＣＰの対応点として特定する。図８のグラフに示すように、相関値ＣＯＲｐは、画像Ｉｍｇ１と画像Ｉｍｇ２との相関が高く、類似しているほど高くなる。
【００６８】
ここで、参照ウインドウは、画素単位で離散的にずらされるため、類似度はピクセルレベルの分解能で算出されることになるが、ＰＯＣと同様にして、サブピクセルレベルで類似度を算出してもよい。
【００６９】
図２に戻り、距離算出部６０は、注目点と対応点とを基に、ステレオ法による測距方法を用いて物体領域Ｄ１によって示される前方車体までの距離及び３次元位置を求める。図９は、ステレオ法による測距方法を説明する模式図である。
【００７０】
図９において、ｆは、カメラ１１，１２の焦点距離を示し、カメラ１１，１２の撮影面（ＣＣＤ）の画素数及び１画素の大きさ（μ）は等しいものとする。また、カメラ１１，１２は、所定の基線長Ｌだけ左右方向に離間され、かつ、光軸が平行となるように配置されている。この場合、撮影面上の視差（ずれ画素数）をｄ（＝ｄ１＋ｄ２）とすると、前方車体までの距離（Ｚ）は、Ｚ＝（Ｌ×ｆ）／（μ×ｄ）により求めることができる。３次元位置としては、自車体を基準として３次元の座標空間を設定した場合の前方車体の位置である相対位置を採用してもよいし、自車体がＧＰＳを備えているのであれば、ＧＰＳにより得られた自車体の絶対位置から前方車体の絶対位置を求め、この絶対位置を採用してもよい。
【００７１】
ここで、距離算出部６０は、例えば、物体領域内に設定した注目点と各注目点の対応点との各ペアの視差から代表視差を求め、その代表視差の距離を物体領域が表す前方車体までの距離として算出してもよいし、注目点と対応点との各ペアの距離を求め、求めた距離から代表距離を求めてもよい。代表視差又は代表距離を求める手法としては、特開平７−３３４８００号公報に記載されたヒストグラムを用いた手法を採用してもよいし、各ペアの距離又は視差の平均値、中央値、或いは各ペアの距離又は視差から最大値及び最小値を除いた残りの値の平均値を代表距離又は代表視差として算出する手法を採用してもよい。
【００７２】
図２に戻り、表示部７０は、図１に示す表示装置１４から構成され、距離算出部６０により算出された前方車体までの距離及び３次元位置等を表示する。ここで、表示部７０は、距離算出部６０により複数の前方車体の距離が算出された場合は、各々の距離をドライバーに通知してもよい。
【００７３】
次に、距離計測装置１の動作について説明する。図１０は距離計測装置１の動作を示すフローチャートである。以下のフローチャートでは、説明の便宜上、基準画像及び参照画像に含まれる物体領域Ｄ１は１個とする。
【００７４】
まず、ステップＳ１１において、抽出部２０は、基準カメラ１１０から入力された入力画像を基準画像として取得し、参照カメラ１２０から入力された入力画像を参照画像として取得する。
【００７５】
ステップＳ１２において、抽出部２０は、図３に示すようにステップＳ１１で取得した基準画像から物体領域Ｄ１を抽出する。ステップＳ１３において、面積算出部３０は、ステップＳ１２で抽出された物体領域Ｄ１の面積を算出する。
【００７６】
ステップＳ１４において、密度設定部４０は、図４に示すように物体領域Ｄ１の面積が小さくなるにつれて注目点ＣＰの間引き幅が小さくなるように間引き幅を設定する。
【００７７】
ステップＳ１５において、対応点探索部５０は、探索処理を実行する。図１１は探索処理を示すフローチャートである。まず、ステップＳ４１において、対応点探索部５０は、基準画像及び参照画像を階層毎に予め定められた解像度で低解像度化する処理を実行し、解像度の異なる複数の基準画像及び参照画像を階層的に生成する。ここで、階層数及び各階層における解像度は予め定められており、下位の階層から上位の階層に向かうにつれて解像度が高くなり、解像度変換が行われていない基準画像及び参照画像が最上位の階層とされる。
【００７８】
ステップＳ４２において、対応点探索部５０は、最上位の階層の基準画像に注目点を設定する。ここで、注目点は、ステップＳ１４で設定された間引き幅に従って、物体領域Ｄ１内をラスタ走査するようにして順次設定される。
【００７９】
ステップＳ４３において、対応点探索部５０は、最下位の階層の参照画像に探索範囲を設定する。図１３は、基準画像及び参照画像に設定される基準ウインドウと参照ウインドウとを示した図である。図１３に示すように、探索範囲ＤＲは、ステップＳ４１で基準画像に設定された注目点ＣＰと垂直方向の高さが同じであって、水平方向と平行な参照画像の直線上の全域に設定されている。
【００８０】
ステップＳ４４において、対応点探索部５０は、類似度算出処理を実行する。図１２は類似度算出処理を示すフローチャートである。まず、ステップＳ６１において、対応点探索部５０は、ステップＳ４３で探索範囲ＤＲを設定した参照画像と同一階層の基準画像に基準ウインドウＷ１を設定する。ここで、ステップＳ４２で最上位の階層の基準画像に設定された注目点に対して位置が対応する処理対象となる階層の基準画像上の点が、当該階層の基準画像の注目点ＣＰとして設定される。そして、図１３に示すように、注目点ＣＰに中心が位置するように基準ウインドウＷ１が設定される。
【００８１】
ステップＳ６２において、処理対象となる階層の参照画像に参照ウインドウＷ２が設定される。ここで、図１３に示す探索範囲ＤＲの例えば左端の位置が中心点Ｏ１の初期位置となるように参照ウインドウＷ２が設定される。
【００８２】
ステップＳ６３において、対応点探索部５０は、上述したＰＯＣ又はＳＡＤを用いて基準ウインドウＷ１内の画像と参照ウインドウＷ２内の画像との類似度を算出する。
【００８３】
ステップＳ６４において、対応点探索部５０は、参照ウインドウＷ２の中心点Ｏ１が探索範囲ＤＲの最終位置に到達していない場合（ステップＳ６４でＮＯ）、参照ウインドウＷ２をずらし（ステップＳ６５）、処理をステップＳ６３に戻し、参照ウインドウＷ２の中心点が探索範囲ＤＲの最終位置に到達した場合（ステップＳ６４でＹＥＳ）、類似度算出処理を終了し、処理を図１１に示すステップＳ４５に進める。ここで、最終位置としては例えば探索範囲ＤＲの右端を採用することができる。また、図１３に示すように、参照ウインドウＷ２は、中心点Ｏ１が探索範囲ＤＲの左端の点から右端の点に向けて順次設定され、探索範囲ＤＲに沿って左側から右側に向けてずらされていく。そして、対応点探索部５０は、参照ウインドウＷ２をずらす毎に類似度を算出し、算出した類似度を中心点Ｏ１における類似度とする。これにより、探索範囲ＤＲ上での類似度の分布が求まることになる。
【００８４】
図１１に戻り、ステップＳ４５において、対応点探索部５０は、類似度算出処理によって求められた探索範囲ＤＲ上の類似度のうち、最大の類似度を有する点を処理対象となる階層の参照画像における対応点として求める。
【００８５】
ステップＳ４６において、対応点探索部５０は、最上位の階層を処理対象として設定していない場合（ステップＳ４６でＮＯ）、１つ上の階層を処理対象として設定し、当該階層の参照画像に探索範囲ＤＲを設定し（ステップＳ４８）、処理をステップＳ４４に戻し、最上位の階層を処理対象として既に設定している場合（ステップＳ４６でＹＥＳ）、処理をステップＳ４７に進める。
【００８６】
図１４は、探索範囲ＤＲを説明する図であり、（ａ）はある階層における基準画像と参照画像とを示し、（ｂ）は（ａ）に示す階層よりも１つ上の階層における基準画像と参照画像とを示している。対応点探索部５０は、図１４（ａ）に示す参照画像において求めた対応点ＴＰを含み、図１４（ａ）に示す探索範囲ＤＲよりも狭い領域を１つ上の階層の参照画像の探索範囲ＤＲとして設定する（図１４（ｂ））。すなわち、対応点探索部５０は、いずれの階層においても探索範囲ＤＲを、注目点ＣＰと垂直方向の高さが同一であり、かつ水平方向と平行な直線上に設定するが、下位の階層から上位の階層に向かうにつれて範囲を狭くしている。ここで、基準画像及び参照画像は階層が上位になるにつれて解像度が高くなっている。したがって、低解像度の参照画像で広範囲に探索範囲ＤＲを設定して対応点ＴＰのおよその位置を探索しておき、その探索結果を用いて高解像度での参照画像の探索範囲ＤＲを狭い範囲に絞り込むことが可能となり、高速かつ高精度に対応点を探索することができる。なお、各階層において設定される探索範囲ＤＲは、下の階層で求められた対応点ＴＰを中心として、階層毎に予め定められた一定の幅を持たせた範囲とすればよい。
【００８７】
図１１に戻り、ステップＳ４７において、注目点が最終位置に到達していない場合（ステップＳ４７でＮＯ）、対応点探索部５０は、基準画像に次の注目点を設定するために処理をステップＳ４２に戻し、注目点が最終位置に設定されている場合（ステップＳ４７でＹＥＳ）、探索処理を終了して処理を図１０に示すステップＳ１６に進める。
【００８８】
図１０に戻り、ステップＳ１６において、距離算出部６０は、物体領域Ｄ１に示す前方車体までの距離を求め、ステップＳ１７において、表示部７０は、距離算出部６０により算出された距離を表示する。ステップＳ１８において、例えばユーザにより処理を終了するための操作指令が入力される等して、処理が終了される場合（ステップＳ１８でＹＥＳ）、処理が終了され、処理が終了されない場合（ステップＳ１８でＮＯ）、抽出部２０は、基準カメラ１１０により取得された次フレームの入力画像を基準画像として取得すると共に、参照カメラ１２０により取得された次フレームの入力画像を参照画像として取得し（ステップＳ１９）、処理をステップＳ１２に戻す。
【００８９】
このように距離計測装置１によれば、カメラ１１，１２により同一タイミングで撮影された入力画像が基準画像及び参照画像として取得され、基準画像から前方車体をとらえた物体領域が抽出され、抽出された物体領域内に注目点が順次設定され、各注目点の対応点ＴＰが各参照画像から探索され、注目点と対応点との視差を基に、対象物までの距離が算出される。ここで、注目点は、物体領域の面積が小さくなるにつれて設定密度が高くされているため、物体領域の面積の大小による注目点の設定個数のばらつきが低減され、物体領域の面積の大小によらず距離の計測精度を一定に保ち、距離の計測精度の安定化を図ることができる。
【００９０】
（実施の形態２）
次に、本発明の実施の形態２による距離計測装置１ａについて説明する。なお、本実施の形態において、全体構成及び詳細な構成は実施の形態１と同一であるため、図１及び図２を用いる。また、本実施の形態において実施の形態１と同一のものは説明を省き相違点のみ説明する。
【００９１】
図２に示す抽出部２０は、基準画像から物体領域の候補となる候補領域を抽出し、抽出した候補領域の中から物体領域を抽出する。ここで、抽出部２０は、実施の形態１が物体領域を抽出する手法と同様の手法を用いて候補領域を抽出し、抽出した候補領域のうち重要度が高い１又は複数の候補領域を物体領域として抽出すればよい。ここで、重要度としては、例えば、面積の大きな候補領域ほど高く、基準画像の下側に位置する候補領域ほど高くなるような値を採用してもよい。そして、抽出部２０は、重要度の値が所定の値よりも大きな候補領域を物体領域として抽出してもよいし、重要度の高い順に予め定められた個数の候補領域を物体領域として抽出してもよい。ここで、下側に位置し、かつ、面積が大きな候補領域ほど重要度を高く設定するのは、そのような候補領域が示す対象物ほど、自車体に近づいている可能性が高いからである。
【００９２】
対応点探索部５０は、物体領域に設定した各注目点の対応点の探索が終了した後、次フレームに対する処理を開始するまで期間、抽出部２０により抽出された物体領域以外の基準画像上の領域である非物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索するといった第３の探索処理を実行する。
【００９３】
すなわち、第３の探索処理は、現フレームにおいて、物体領域に設定した各注目点の対応点の探索が終了した後、次フレームの入力画像が取得されるまでの間の空き時間を利用して、非物体領域において順次注目点を設定して対応点を探索していき、次フレームの入力画像が取得されると、非物体領域における探索処理を打ち切る処理である。
【００９４】
ここで、第３の探索処理は、上述したＳＡＤ又はＰＯＣ等を用いて対応点を探索すればよい。また、対応点探索部５０は、第３の探索処理を実行するにあたり、非物体領域の下からの１番目のラインの例えば左端の画素から右端の画素に向けて順次注目点を設定し、当該ラインの処理が全て終了すると、その１つ上のラインに対して同様に注目点を順次設定しいくというように、非物体領域の下側から上側に向けて順次注目点を設定すればよい。このとき、対応点探索部５０は、非物体領域の全画素を注目点として設定してもよいし、非物体領域を水平及び垂直方向に一定の間引き幅で間引いた画素を注目点として設定してもよい。更に、対応点探索部５０は、面積算出部３０に非物体領域の面積を算出させ、非物体領域の面積が大きいほど、間引き幅が大きくなるように注目点を設定してもよい。
【００９５】
距離算出部６０は、実施の形態１と同様にして物体領域が示す前方車体の距離を算出することに加えて、非物体領域における注目点と対応点とから、上述したステレオ法による測距方法を用いて各注目点の距離を求める。ここで、距離算出部６０は、非物体領域に設定した注目点において、自車体に近接していることが想定される予め定められた距離よりも距離の短い注目点が存在する場合、表示部７０に障害物が接近していることを示す情報を表示させ、ユーザに危険を報知するようにしてもよい。
【００９６】
次に、距離計測装置１ａの動作について説明する。図１５は、距離計測装置１ａの動作を示すフローチャートである。ステップＳ８１は、図１０に示すステップＳ１１と同一であるため説明を省略する。ステップＳ８２において、抽出部２０は、基準画像から候補領域を抽出し、各候補領域の重要度を求め、重要度が所定の値より大きな候補領域を物体領域として抽出する。ここで、抽出部２０は、各候補領域の例えば重心を求め、重心が基準画像の下側に位置する候補領域ほど高い重要度を付与し、付与した重要度に各候補領域の面積を乗じた値を各候補領域の重要度として設定してもよい。なお、以下の説明では、説明の便宜上、１つの物体領域が抽出されたものとする。
【００９７】
ステップＳ８３〜Ｓ８５の処理は、図１０に示すステップＳ１３〜Ｓ１５の処理と同一であるため説明を省略する。
【００９８】
ステップＳ８６において、対応点探索部５０は、第３の探索処理を実行する。図１６は、第３の探索処理の詳細を示すフローチャートである。まず、ステップＳ１０１において、対応点探索部５０は、次フレームが取得されるまでに第３の探索処理を実行するための空き時間があるか否かを判定し、空き時間がある場合は（ステップＳ１０１でＹＥＳ）、基準画像から非物体領域を特定する。一方、ステップＳ１０１において、空き時間がないと判定した場合（ステップＳ１０１でＮＯ）、第３の探索処理を終了して処理を図１５に示すステップＳ８７に戻す。
【００９９】
次に、対応点探索部５０は、非物体領域に１つの注目点を設定し（ステップＳ１０３）、設定した注目点に対する対応点を探索し（ステップＳ１０４）、処理をステップＳ１０１に戻す。ここで、対応点探索部５０は、非物体領域の各画素を注目点として設定する設定パターン１又は非物体領域を間引いた画素を注目点として設定する設定パターン２に従って、順次注目点を設定する。
【０１００】
図１７は、設定パターン１を用いて非物体領域に設定される注目点を経時的に示した図であり、（ａ）〜（ｃ）に向かうにつれて時間が経過している。なお、図１７において三角印の点は物体領域Ｄ１に設定された注目点を示し、白丸は注目点として設定されていない非物体領域Ｄ２内の画素を示し、黒丸は注目点として設定済みの非物体領域の画素を示している。また、非物体領域Ｄ２は基準画像において物体領域Ｄ１を取り除いた領域からなる。
【０１０１】
図１７（ａ）に示すように非物体領域Ｄ２の下から１番目のラインの左端の画素から右端の画素に向けて順次注目点が設定されて対応点が順次探索され、右端の画素に対する探索処理が終了すると、図１７（ｂ）に示すように下から２番目のラインの左端の画素から右端の画素に向けて順次注目点が設定されて対応点が順次探索され、図１７（ｃ）に示すように下から７番目のラインの左端の画素が注目点として設定されて探索処理が終了すると、空き時間がなくなったため探索処理が打ち切られている。
【０１０２】
図１８は、設定パターン２を用いて非物体領域に設定される注目点を経時的に示した図であり、（ａ）〜（ｂ）に向かうにつれて時間が経過している。
【０１０３】
設定パターン２では、水平及び垂直方向に間引き幅が１画素飛ばしで設定されているため、図１８（ａ）に示すように下から１番目のラインにおいて、左端の画素から右端の画素に向けて１画素飛ばしの間引き幅で注目点が順次設定されていることが分かる。そして、下から１番目のラインに対する探索処理が終了すると、次に２つ上のラインにおいて１画素飛ばしで順次注目点が設定されるというようにして、順次注目点が設定される。
【０１０４】
また、設定パターン２では、上から１番目のラインにおける探索処理が終了した時点、すなわち、１サイクル目の探索処理が終了した時点で、空き時間が残っている場合、間引いたことにより注目点として設定されなかった画素が順次注目点として設定され、２サイクル目の探索処理が開始される。
【０１０５】
すなわち、図１８（ｂ）に示すように１サイクル目の探索処理が終了すると、再度、下側のラインから上側のラインに向けて注目点として設定されなかった画素が順次注目点として設定され、２サイクル目の探索処理が実行される。ここで、２サイクル目の探索処理においては、１サイクル目で注目点が設定されたラインと同じラインにおいて注目点として設定さなかった画素を１画素飛ばしで順次注目点として設定してもよいし、１サイクル目で注目点が設定されたラインと異なるラインにおいて１画素飛ばしで順次注目点を設定してもよい。なお、第３の探索処理において間引き幅は、１画素飛ばしに限定されず、２画素飛ばし以上としてもよい。
【０１０６】
図１５に戻り、ステップＳ８７において、距離算出部６０は、物体領域に加えて非物体領域の各注目点における距離を求め、求めた距離が所定の値より短い場合は、障害物が接近していることを示す情報を表示部７０に表示させる（ステップＳ８８）。ステップＳ８９〜Ｓ９０の処理は図１０に示すステップＳ１８〜Ｓ１９と同一であるため、説明を省略する。
【０１０７】
このように、距離計測装置１ａによれば、各フレームでの演算時間の空き時間を利用して非物体領域の距離を算出することが可能となり、例えば、ガードレールや路肩等の周辺環境を把握する上で有用な情報を得ることができ、対象物以外の障害物であって、危険を及ぼすような障害物の接近をユーザに報知することが可能となる。
【０１０８】
なお、上記実施の形態２では、非物体領域内に注目点を設定したが、これに代えて、候補領域以外の非候補領域内に注目点を設定してもよい。
【０１０９】
なお、上記実施の形態１、２では、物体領域の数を１個として説明したたが、本発明はこれに限定されず、２個以上としてもよい。この場合、実施の形態１では物体領域毎に図１０〜図１２に示す処理を実行し、実施の形態２では物体領域毎に図１５〜図１６の処理を実行すればよい。そして、表示部７０は、物体領域毎の距離を表示すればよい。
【０１１０】
また、上記実施の形態１、２では、対象物として前方車体を採用したが、これに限定されず、人を対象物としてもよいし、人以外の犬や猫等の動物を対象物としてもよい。この場合、抽出部２０は、例えば距離の測定対象となる対象物毎のテンプレートを予め用意しておき、テンプレートマッチングにより種々の対象物を抽出すればよい。
【０１１１】
また、上記実施の形態１、２では、カメラ１１，１２の高さが同一にされていることを考慮して、探索範囲を注目点と垂直方向の高さが同一、かつ水平方向と平行な直線上に設定したがこれに限定されず、当該直線を中心として垂直方向に一定の幅を持たせた四角形状の領域を探索範囲として設定してもよい。
【０１１２】
また、上記実施の形態１、２では、カメラの個数を２台としたがこれに限定されず３個以上としてもよい。この場合、いずれか１台のカメラにより撮影された画像を基準画像とし、他のカメラにより撮影された参照画像として、抽出部２０〜距離算出部６０に上述した処理を実行させ、前方車体までの距離を求めればよい。
【図面の簡単な説明】
【０１１３】
【図１】本発明の実施の形態による距離計測装置のブロック図を示している。
【図２】図１に示す距離計測装置の詳細な構成を示すブロック図である。
【図３】図２に示す抽出部により物体領域が抽出された２枚の画像を示している。
【図４】注目点の設定密度を一定とした場合において、物体領域に設定された注目点を示した図である。
【図５】物体領域の面積に応じて間引き幅を変更した場合に物体領域に設定された注目点を示した図である。
【図６】ＰＯＣの処理の流れを示したフローチャートである。
【図７】ＰＯＣ値を示したグラフである。
【図８】ＳＡＤを説明する模式図である。
【図９】ステレオ法による測距方法を説明する模式図である。
【図１０】距離計測装置の動作を示すフローチャートである。
【図１１】探索処理を示すフローチャートである。
【図１２】類似度算出処理を示すフローチャートである。
【図１３】基準画像及び参照画像に設定される基準ウインドウと参照ウインドウとを示した図である。
【図１４】探索範囲を説明する図である。
【図１５】本発明の実施の形態２による距離計測装置の動作を示すフローチャートである。
【図１６】図１５に示す第３の探索処理の詳細を示すフローチャートである。
【図１７】設定パターン１を用いて非物体領域に設定される注目点を経時的に示した図である。
【図１８】設定パターン２を用いて非物体領域に設定される注目点を経時的に示した図である。
【符号の説明】
【０１１４】
１ １ａ 距離計測装置
１３ 演算処理装置
１４ 表示装置
２０ 抽出部
３０ 面積算出部
４０ 密度設定部
５０ 対応点探索部
６０ 距離算出部
７０ 表示部
１１０ 基準カメラ
１２０ 参照カメラ
ＣＰ 注目点
Ｄ１ 物体領域
ＤＲ 探索範囲
Ｏ１ 中心点
ＴＰ 対応点
Ｗ１ 基準ウインドウ
Ｗ２ 参照ウインドウ
【特許請求の範囲】
【請求項１】
複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測装置であって、
前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出手段と、
前記抽出手段により抽出された物体領域の面積を算出する面積算出手段と、
前記抽出手段により抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索手段と、
前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を算出する距離算出手段とを備え、
前記探索手段は、前記面積算出手段により算出された物体領域の面積に応じて注目点の設定密度を変更することを特徴とする距離計測装置。
【請求項２】
前記探索手段は、前記物体領域の面積が小さくなるにつれて、前記注目点の設定密度を高くすることを特徴とする請求項１記載の距離計測装置。
【請求項３】
前記探索手段は、前記物体領域の面積が小さくなるにつれて、注目点を設定する際の間引き幅を小さくすることで、前記注目点の設定密度を高くすることを特徴とする請求項２記載の距離計測装置。
【請求項４】
前記探索処理は、前記基準画像に注目点を中心として基準ウインドウを設定し、前記参照画像に前記基準ウインドウと同一サイズの参照ウインドウを設定し、前記参照画像に設定された探索範囲内において前記参照ウインドウをずらしながら、前記基準ウインドウ内の画像と前記参照ウインドウ内の画像との類似度を求める類似度算出処理を繰り返し実行することで対応点を探索する処理であることを特徴とする請求項１〜３のいずれかに記載の距離計測装置。
【請求項５】
前記類似度算出処理は、前記基準ウインドウ内の画像と前記参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて前記類似度を算出する処理であることを特徴とする請求項４記載の距離計測装置。
【請求項６】
前記類似度算出処理は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することを特徴とする請求項５記載の距離計測装置。
【請求項７】
前記類似度算出処理は、位相限定相関法を用いて前記類似度を算出することを特徴とする請求項６記載の距離計測装置。
【請求項８】
前記類似度算出処理は、ＳＡＤ（Sum of Absolute Difference）を用いて前記類似度を算出することを特徴とする請求項４記載の距離計測装置。
【請求項９】
前記探索手段は、前記物体領域に設定した各注目点の対応点の探索が終了した後、次フレームに対する処理を開始するまでの期間、前記物体領域以外の非物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索し、
前記距離算出手段は、前記非物体領域に設定した注目点と当該注目点の対応点とから当該注目点の距離を算出することを特徴とする請求項１〜８のいずれかに記載の距離計測装置。
【請求項１０】
前記探索手段は、前記非物体補領域の下側から上側に向けて順次注目点を設定することを特徴とする請求項９記載の距離計測装置。
【請求項１１】
前記対象物は、自動車、自動二輪車、自転車、及び人のうち、少なくともいずれか１つを含むことを特徴とする請求項１〜１０のいずれかに記載の距離計測装置。
【請求項１２】
前記探索手段は、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の前記基準画像及び前記参照画像を階層的に生成し、下位の階層での対応点の探索結果に基づいて、当該階層の探索範囲よりも小さな探索範囲を１つ上の階層の参照画像に設定し、当該探索範囲内で対応点を探索する探索処理を上位の階層に向けて階層的に実行することで対応点を探索することを特徴とする請求項１〜１１のいずれかに記載の距離計測装置。
【請求項１３】
複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測方法であって、
前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出ステップと、
前記抽出ステップにより抽出された物体領域の面積を算出する面積算出ステップと、
前記抽出ステップにより抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索ステップと、
前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を求める距離算出ステップとを備え、
前記探索ステップは、前記面積算出ステップにより算出された物体領域の面積に応じて注目点の設定密度を変更することを特徴とする距離計測方法。
【請求項１】
複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測装置であって、
前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出手段と、
前記抽出手段により抽出された物体領域の面積を算出する面積算出手段と、
前記抽出手段により抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索手段と、
前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を算出する距離算出手段とを備え、
前記探索手段は、前記面積算出手段により算出された物体領域の面積に応じて注目点の設定密度を変更することを特徴とする距離計測装置。
【請求項２】
前記探索手段は、前記物体領域の面積が小さくなるにつれて、前記注目点の設定密度を高くすることを特徴とする請求項１記載の距離計測装置。
【請求項３】
前記探索手段は、前記物体領域の面積が小さくなるにつれて、注目点を設定する際の間引き幅を小さくすることで、前記注目点の設定密度を高くすることを特徴とする請求項２記載の距離計測装置。
【請求項４】
前記探索処理は、前記基準画像に注目点を中心として基準ウインドウを設定し、前記参照画像に前記基準ウインドウと同一サイズの参照ウインドウを設定し、前記参照画像に設定された探索範囲内において前記参照ウインドウをずらしながら、前記基準ウインドウ内の画像と前記参照ウインドウ内の画像との類似度を求める類似度算出処理を繰り返し実行することで対応点を探索する処理であることを特徴とする請求項１〜３のいずれかに記載の距離計測装置。
【請求項５】
前記類似度算出処理は、前記基準ウインドウ内の画像と前記参照ウインドウ内の画像とを周波数分解することで得られる位相成分に基づいて前記類似度を算出する処理であることを特徴とする請求項４記載の距離計測装置。
【請求項６】
前記類似度算出処理は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することを特徴とする請求項５記載の距離計測装置。
【請求項７】
前記類似度算出処理は、位相限定相関法を用いて前記類似度を算出することを特徴とする請求項６記載の距離計測装置。
【請求項８】
前記類似度算出処理は、ＳＡＤ（Sum of Absolute Difference）を用いて前記類似度を算出することを特徴とする請求項４記載の距離計測装置。
【請求項９】
前記探索手段は、前記物体領域に設定した各注目点の対応点の探索が終了した後、次フレームに対する処理を開始するまでの期間、前記物体領域以外の非物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索し、
前記距離算出手段は、前記非物体領域に設定した注目点と当該注目点の対応点とから当該注目点の距離を算出することを特徴とする請求項１〜８のいずれかに記載の距離計測装置。
【請求項１０】
前記探索手段は、前記非物体補領域の下側から上側に向けて順次注目点を設定することを特徴とする請求項９記載の距離計測装置。
【請求項１１】
前記対象物は、自動車、自動二輪車、自転車、及び人のうち、少なくともいずれか１つを含むことを特徴とする請求項１〜１０のいずれかに記載の距離計測装置。
【請求項１２】
前記探索手段は、下位の階層から上位の階層に向かうにつれて解像度が高くなるように、解像度の異なる複数の前記基準画像及び前記参照画像を階層的に生成し、下位の階層での対応点の探索結果に基づいて、当該階層の探索範囲よりも小さな探索範囲を１つ上の階層の参照画像に設定し、当該探索範囲内で対応点を探索する探索処理を上位の階層に向けて階層的に実行することで対応点を探索することを特徴とする請求項１〜１１のいずれかに記載の距離計測装置。
【請求項１３】
複数の撮影手段を用いて撮影された画像を用いて測定対象となる対象物までの距離を計測する距離計測方法であって、
前記撮影手段により同一タイミングで撮影された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像から前記対象物が撮影された物体領域を抽出する抽出ステップと、
前記抽出ステップにより抽出された物体領域の面積を算出する面積算出ステップと、
前記抽出ステップにより抽出された物体領域内に注目点を順次設定し、各注目点の対応点を各参照画像から探索する探索ステップと、
前記注目点と前記対応点との複数の視差を基に、前記対象物までの距離を求める距離算出ステップとを備え、
前記探索ステップは、前記面積算出ステップにより算出された物体領域の面積に応じて注目点の設定密度を変更することを特徴とする距離計測方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図７】
【公開番号】特開２００９−１８０６６１（Ｐ２００９−１８０６６１Ａ）
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願番号】特願２００８−２１２１２（Ｐ２００８−２１２１２）
【出願日】平成２０年１月３１日（２００８．１．３１）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願日】平成２０年１月３１日（２００８．１．３１）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]