距離計測装置
【課題】高速、かつ、高精度に自己に対して相対的に移動する物体までの距離を計測する。
【解決手段】カメラ１１，１２は、所定のフレームレートで前方を撮像する。抽出部２３は、所定のフレームレートで順次入力される入力画像を基準画像、参照画像とし、各基準画像において車体に対して相対的に移動している物体が撮像されている領域を抽出する。設定部２４は、抽出部２３により抽出された領域から処理対象となる対象領域を求め、基準画像に設定する。探索部３１は、基準画像において設定された対象領域内に注目画素を順次設定し、各注目画素の対応点を参照画像から探索する。距離算出部３２は、注目画素と対応点とを基に、ステレオ法による測距方法を用いて物体までの距離を求める。
【解決手段】カメラ１１，１２は、所定のフレームレートで前方を撮像する。抽出部２３は、所定のフレームレートで順次入力される入力画像を基準画像、参照画像とし、各基準画像において車体に対して相対的に移動している物体が撮像されている領域を抽出する。設定部２４は、抽出部２３により抽出された領域から処理対象となる対象領域を求め、基準画像に設定する。探索部３１は、基準画像において設定された対象領域内に注目画素を順次設定し、各注目画素の対応点を参照画像から探索する。距離算出部３２は、注目画素と対応点とを基に、ステレオ法による測距方法を用いて物体までの距離を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像手段を用いて撮像された画像を用いて物体までの距離を計測する技術に関するものである。
【背景技術】
【０００２】
車両の安全性を高める取り組みとして、前方の障害物を検出して危険を警告したり、先行車との距離を測定して車間距離を一定に保ったりする装置が知られている。このような装置においては、ステレオカメラを用いて先行車との距離を計測するステレオ法が一般的に採用されている。ステレオ法は、ある注目物体が異なる撮像系で得られた画像上で、それぞれどの位置に投影されているかを検出（いわゆる対応点探索）した結果から、その物体までの距離を求める手法である。
【０００３】
一般的に、対応点の探索処理で分解能を高くすると計算コストも高くなるので、リアルタイム性と高分解能とを同一の探索手法で得ることは難しいとされており、フレームレートでの処理を実現したいが、検出精度と処理速度との両立が困難となっている。
【０００４】
特許文献１では、２通りのステレオ処理部（「高速だが低精度」、「低速だが高精度」）を持ち、画像上で動きのある部分については「高速だが低精度」、動かない部分は時間がかかっても良いとして「低速だが高精度」で処理し、後で合成して出力する手法が開示されている。特許文献２には、固定監視カメラで、予め動体が無い背景画像を保持しておき、差分画像から動体部分を抽出する手法が開示されている。
【特許文献１】特開２００１−７６９３０８号公報
【特許文献２】特開２００６−４１９３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の手法では、基準画像において動きのある部分に着目した処理がなされているが、周辺画像において動きのある部分に着目した処理がなされていないため、動きのある部分の距離を高速、かつ、高精度に算出するにあたり更に改良の余地がある。
【０００６】
また、特許文献２の手法では、動体のない背景画像を予め記憶する必要があるため、この手法を背景画像が絶えず変化する自動車等の移動体に適用することは困難である。
【０００７】
本発明の目的は、高速、かつ、高精度に自己に対して相対的に移動する物体までの距離を計測することができる距離計測装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明による距離計測装置は、複数の撮像手段を用いて撮像された画像を用いて物体までの距離を計測する距離計測装置において、前記撮像手段により同一タイミングで撮像された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像及び前記参照画像から自己に対して相対的に移動している物体が撮像されている領域を抽出する抽出手段と、前記抽出手段により抽出された領域から処理対象となる対象領域を求め、前記基準画像に設定する設定手段と、前記基準画像において設定された対象領域内に注目画素を順次設定し、各注目画素の対応点を各参照画像から探索する探索手段と、前記注目画素と前記対応点とを基に、前記物体までの距離を求める距離算出手段とを備えることを特徴とする。
【０００９】
この構成によれば、複数の撮像手段により同一タイミングで撮像された複数の入力画像のうち、いずれか１枚の入力画像が、基準画像、他の入力画像が参照画像とされ、基準画像において、自己に対して相対的に移動している物体が撮像されている領域が抽出され、抽出された領域から処理対象となる対象領域が設定され、対象領域内に注目画素が順次設定される。そして、基準画像において設定された対象領域内の各注目画素に対する対応点が、各参照画像内において探索されているため、探索範囲が狭まり、高精度に対応点を探索し得る処理を適用したとしても高速に対応点を探索することが可能となり、自己に対して相対的に移動する物体までの距離を高速、かつ高精度に算出することができる。
【００１０】
また、前記距離算出手段により算出された物体までの距離を基に、周囲の環境をユーザに認識させるための情報を通知する通知手段を更に備えたことが好ましい。
【００１１】
この構成によれば、前方を移動する物体が近づいており、危険が迫っているというような情報をユーザに通知することができる。
【００１２】
また、前記探索手段は、前記入力画像のそれぞれに所定の大きさのウインドウを設定し、各ウインドウ内の画像を周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応点を探索することが好ましい。
【００１３】
また、前記探索手段は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することが好ましい。
【００１４】
また、本発明の距離計測装置は、前記探索手段は、位相限定相関法（ＰＯＣ）を用いて対応点を探索することが好ましい。
【００１５】
これらの構成によれば、振幅成分が抑制され、位相成分のみ用いて対応点が探索されるため、車両上のテクスチャに対してでも精度良く対応付けが可能となる。
【００１６】
また、前記抽出手段は、各撮像手段において異なるタイミングで撮像された２枚の入力画像同士の輝度差分値を算出して輝度差分画像を算出し、算出した輝度差分画像を基に、前記基準画像及び前記参照画像から前記物体が撮像されている領域を抽出することが好ましい。
【００１７】
この構成によれば、輝度の変化が大きく、自己に対して接近している可能性の高い物体をとらえた領域が対象領域として設定されるため、危険等を回避するうえで重要度の高い物体の距離を高速、かつ、高精度に算出することができる。
【００１８】
また、前記基準画像及び前記参照画像のエッジを検出するエッジ検出手段を更に備え、前記設定手段は、前記抽出手段により抽出された領域に加えて、前記エッジ検出手段により検出されたエッジを前記対象領域として設定することが好ましい。
【００１９】
この構成によれば、本発明を自動車等の移動体に適用した場合、動きの変化の少ない段差のある路肩やガードレールの部分がエッジとして検出され、このエッジが対象領域として設定されるため、路肩やガードレールまでの距離が算出され、路肩やガードレールが接近して危険な状態にあるというような情報をユーザに通知することができる。
【００２０】
また、前記探索手段は、前記設定手段により設定された対象領域に対して第１の探索処理を実行して対応点を探索し、前記対象領域以外の領域に対して前記第１の探索処理よりも処理速度の速い第２の探索処理を実行することで対応点を探索することが好ましい。
【００２１】
この構成によれば、自己に近づいている可能性が高く、危険を回避するうえで重要となる物体までの距離が高精度に算出される一方、この物体が含まれない領域における距離は高速に算出されるため、効率良く距離が算出される領域を増大させることができる。
【００２２】
また、前記探索手段は、前記対象領域よりも間引き間隔が大きくなるように前記対象領域以外の領域に注目画素を設定することが好ましい。この構成によれば、処理の効率化を図ることができる。
【００２３】
前記設定手段は、各撮像手段において撮像された時間的に前後する２枚の入力画像のうち、後の入力画像に前記対象領域を設定することが好ましい。
【００２４】
この構成によれば、時間的に前後する２枚の入力画像のうち、後の入力画像の輝度から前の入力画像の輝度を差し引いた輝度差分値にしたがって、物体をとらえた領域が抽出されているため、自己に近づいている物体をとらえた領域をより確実に対象領域とすることができる。
【発明の効果】
【００２５】
本発明によれば、自己に対して相対的に移動する物体までの距離を高速、かつ高精度に算出することができる。
【発明を実施するための最良の形態】
【００２６】
（実施の形態１）
以下、本発明の実施の形態１による距離計測装置について図面を参照しつつ説明する。図１は、本発明の実施の形態１による距離計測装置１のブロック図を示している。距離計測装置１は、自動車等の車体に搭載され、２台のカメラ１１，１２（撮像手段の一例）、領域設定部２０１、距離計算部３０、及び通知部４０（通知手段の一例）を備えている。
【００２７】
カメラ１１，１２は、車体の進行方向に直交し、かつ水平方向に平行な方向である左右方向に所定の間隔を設けて、進行方向を中心に対称となるように同一高さ位置に配設され、所定のフレームレートで前方を撮像する。ここで、カメラ１１，１２は、同一時刻においてフレームが撮像されるように撮像タイミングの同期が図られている。
【００２８】
領域設定部２０１は、カメラ１１により撮像された入力画像に対して種々の処理を実行し、２個の画像データ保持部２１，２２、抽出部２３（抽出手段）、設定部２４（設定手段）を備えている。
【００２９】
画像データ保持部２１，２２は、ランダムアクセスメモリ等の記憶装置から構成され、カメラ１１により撮像された入力画像を交互に更新しながら保持する。ここで、画像データ保持部２１，２２は、時刻ｔにおける入力画像を画像データ保持部２１に保持し、時刻ｔ＋１における入力画像を画像データ保持部２２に保持し、時刻ｔ＋２における入力画像を画像データ保持部２１に保持するというように、カメラ１１から所定のフレームレートで順次入力される入力画像を交互に更新しながら保持する。また、入力画像は、各画素が例えば０（黒）〜２５５（白）の２５６階調のグレースケールで表されたデジタルの画像データである。
【００３０】
抽出部２３は、カメラ１１から所定のフレームレートで順次入力される入力画像を基準画像とし、各基準画像において車体に対して相対的に移動している物体が撮像されている領域を抽出する。ここで、抽出部２３は、カメラ１１において撮像された時間的に連続する２枚の基準画像のうち後の基準画像と前の基準画像との輝度差分値の絶対値を求めて輝度差分画像を算出することで、車体前方で移動している物体が撮像されている領域を抽出する。
【００３１】
図２は、カメラ１１により撮像された基準画像の一例を示し、（ａ）は時刻ｔに撮像された基準画像を示し、（ｂ）は時刻ｔ＋１に撮像された基準画像を示している。ここで、時刻ｔ＋１に撮像された基準画像は、時刻ｔに撮像された基準画像の１フレーム後に撮像された画像を示す。また、図３は、図２（ａ），（ｂ）に対する輝度差分画像を示している。
【００３２】
図２（ａ），（ｂ）を比較すると、車体前方のトラックが近づいていることが分かる。この場合、図２（ａ）の入力画像と図２（ｂ）の入力画像との輝度差分画像を算出すると、輝度変化の大きな領域ほど高階調となるため、図３に示すように、時刻ｔから時刻ｔ＋１の期間に動いた物体の一部の領域が輝度差分画像中で白く浮き出た像となって表れ、移動した物体が抽出されていることが分かる。また、空や道路のアスファルト面は時刻ｔから時刻ｔ＋１の期間でほとんど変化していないため、輝度差分値が小さく、暗くなって表れ、抽出されていないことが分かる。従って、車体に対して相対的に距離変化があった部分は輝度変化が生じ、輝度差分画像に反映されることが分かる。
【００３３】
時系列画像で、画像内の物体を追跡する手法としてオプティカルフローが知られており、抽出部２３は、この手法を用いて物体を検出することも可能であり、この場合、異なる時間で撮影された同一物体を特定することが可能となるが、本実施の形態では、物体の一部の領域が抽出されれば十分であり、また、輝度差分画像を算出する手法に比べて処理コストも高く、ハード化する場合に回路規模が大きくなったり、処理時間が長くなったりすることが懸念されるため、輝度差分画像を算出する手法を採用することが好ましい。
【００３４】
設定部２４は、抽出部２３により抽出された領域から処理対象となる対象領域を求め、基準画像に設定する。具体的には、設定部２４は、抽出部２３により算出された輝度差分画像を２値化し、階調値がハイレベルの画素からなる領域を対象領域として基準画像に設定する。ここで、設定部２４は、Ｐ−タイル法、モード法、判別分析法、微分ヒストグラム法、及び領域分割法等の種々の２値化手法を採用することができる。
【００３５】
空やアスファルト面などは輝度変化が小さいとはいえ、毎フレーム同じ輝度値が得られるとは限らず、輝度差分画像には、これらの情報が含まれてしまう可能性がある。また、入力画像にはカメラ１１によるノイズ成分も含まれているため、このノイズ成分が輝度差分画像に含まれてしまう可能性もある。そして、輝度差の生じた全画素を処理対象として設定すると、画像のほぼ全域が処理対象として設定され、処理に膨大な時間がかかってしまう。そこで、ある一定の閾値を設け、その閾値よりも輝度の差分値の高い領域が対象領域として設定されるように輝度差分画像を２値化することで、相対的に移動している物体が含まれ、かつ、必要最小限のサイズとなるように対象領域を設定することが可能となる。
【００３６】
図４は、図３に示す輝度差分画像を２値化した画像を示している。なお、図４において、閾値は２０とされ、白の部分が対象領域として設定される領域を示している。図４に示すように、輝度差の変化が少ない領域が対象領域から除外され、かつ、車体に対して相対的に移動しており、距離を算出する必要性の高いトラックの一部の領域が対象領域に含まれていることが分かる。
【００３７】
距離計算部３０は、探索部３１及び距離算出部３２を備えている。探索部３１は、基準画像において設定された対象領域内に注目画素を順次設定し、各注目画素の対応点を参照画像から探索する。具体的には、探索部３１は、以下のようにして対応点を探索する。まず、基準画像に注目点を中心に基準ウインドウを設定し、設定した基準ウインドウ内の画像と相関の高い領域を例えばテンプレートマッチング等の手法を用いて参照画像から求め、当該領域に参照ウインドウを設定する。次に、相関演算を行うことで基準及び参照ウインドウ内の両画像の相関を求め、両画像の位置ズレ量を求める。
【００３８】
ここで、相関演算として、両ウインドウ内の画像を周波数分解し、得られた信号の振幅成分を抑制した位相成分の類似度に基づいた演算を採用することが可能であり、本実施の形態では位相限定相関法（ＰＯＣ）を採用することができる。この演算手法によれば、位相成分のみが用いられているため、左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバストな演算が可能となる。また、周波数分解する手法として、フーリエ変換ＦＦＴ，ＤＦＴ、離散コサイン（サイン）変換ＤＣＴ，（ＤＳＴ）、ウエーブレット変換、及びアダマール変換などを採用することができる。
【００３９】
図５は、位相限定相関法を実行するＰＯＣ実行部の機能ブロック図を示している。このＰＯＣ実行部は、探索部３１に実装されている。また、図５においては、周波数分解としてフーリエ変換が採用されている。フーリエ変換部Ｓ１は、基準画像に基準ウインドウを設定し、基準ウインドウ内の画像をフーリエ変換する。フーリエ変換部Ｓ２は、参照画像に参照ウインドウを設定し、参照ウインドウ内の画像をフーリエ変換する。
【００４０】
規格化部Ｓ３は、フーリエ変換部Ｓ１によりフーリエ変換された画像を規格化する。規格化部Ｓ４は、フーリエ変換部Ｓ２によりフーリエ変換された画像を規格化する。
【００４１】
合成部Ｓ５は、規格化部Ｓ３及びＳ４において規格化された画像を合成する。逆フーリエ変換部Ｓ６は、合成部Ｓ５により合成された画像を逆フーリエ変換し、ＰＯＣ値を得る。図５を数式で表すと以下のとおりである。
【００４２】
【数１】
【００４３】
図６は、ＰＯＣ値を示したグラフである。このグラフにおいて、ｘ軸及びｙ軸は、基準ウインドウの中心を原点としたときの水平方向及び垂直方向の各座標を表し、ｚ軸はＰＯＣ値を示している。図６に示すようにＰＯＣ値は、急峻な相関ピークを有し、画像マッチングにおけるロバスト性と推定精度とが高いことが知られている。この相関ピークの位置は、基準ウインドウ内の画像と参照ウインドウ内の画像とが最もマッチする位置を示している。
【００４４】
したがって、相関ピークの大きさを類似度として採用し、相関ピークの位置を特定することで基準ウインドウに対する参照ウインドウの位置ズレ量を算出し、対応点を算出することができる。ここで、ＰＯＣ値は、基準画像の画素単位、すなわち、ピクセルレベルで算出されているため、相関ピーク位置もピクセルレベルで求められることになるが、ＰＯＣ値を補間することによりサブピクセルレベルで相関ピークの位置を推定してもよい。補間方法としては、放物線などの関数をフィッティングすることで行えばよい。そして、参照ウインドウの中心点の座標に位置ズレ量を加算することにより得られる座標上の点が対応点として算出される。
【００４５】
図１に戻り、距離算出部３２は、注目画素と対応点とを基に、ステレオ法による測距方法を用いて物体までの距離を求める。図７は、ステレオ法による測距方法を説明する模式図である。
【００４６】
図７において、ｆは、カメラ１１，１２の焦点距離を示し、カメラ１１，１２の撮像面（ＣＣＤ）の画素数及び１画素の大きさ（μ）は等しいものとする。また、カメラ１１，１２は、所定の基線長Ｌだけ左右方向に離間され、かつ、光軸が平行となるように配置されている。この場合、撮像面上の視差（ずれ画素数）をｄ（＝ｄ１＋ｄ２）とすると、物体までの距離（Ｚ）は、Ｚ＝（Ｌ×ｆ）／（μ×ｄ）により求めることができる。
【００４７】
ここで、距離算出部３２は、例えば、注目画素と対応点との各ペアの視差を求め、視差が最大となる注目画素が車両に対して最も近い最近接物体を示すとして、その注目画素の距離を最近接物体の距離として算出しても良い。また、距離算出部３２は、車両に対して一定の距離範囲内に複数の物体が存在する場合は、各々の物体の距離を求めても良い。
【００４８】
図１に戻り、通知部４０は、例えば、表示装置から構成され、距離算出部３２により算出された最近接物体までの距離を表示装置に表示することで、最近接物体までの距離をドライバに通知する。ここで、通知部４０は、距離算出部３２により一定の距離範囲内に存在する複数の物体の距離が算出された場合は、各々の距離をドライバに通知してもよい。また、通知部４０は、表示装置に表示する代わりに或いは併せて、音声により物体までの距離をドライバに通知してもよく、この場合、例えば、最近傍物体が車両に対して一定の距離内に位置し、危険が迫っている場合にのみ、警報を鳴らしてドライバに注意を促すようにしても良い。
【００４９】
次に、距離計測装置１の動作について説明する。図８は距離計測装置１の動作を示すフローチャートである。まず、ステップＳ１１において、領域設定部２０１は、カメラ１１により撮像された入力画像を基準画像として取得し、かつ、距離計算部３０はカメラ１２により撮像された入力画像を参照画像として取得する。
【００５０】
ステップＳ１２において、抽出部２３は、最新の基準画像と１フレーム前の基準画像との輝度差分値の絶対値を求めて輝度差分画像を算出し、相対的に移動している物体が撮像されている領域を抽出する。
【００５１】
ステップＳ１３において、設定部２４は、ステップＳ１２で算出された輝度差分画像を２値化して、ハイレベルの画素からなる領域を対象領域として最新の基準画像内に設定する。
【００５２】
ステップＳ１４において、探索部３１は、基準画像に設定された対象領域に注目画素を設定し、注目画素を中心として基準ウインドウを設定する。
【００５３】
ステップＳ１５において、探索部３１は、注目画素の対応点を参照画像から探索する。ステップＳ１６において、探索部３１は、注目画素が基準画像に設定された対象領域の最終探索点に位置する場合は（ステップＳ１６でＹＥＳ）、処理をステップＳ１８に進め、基準ウインドウが最終探索点に位置しない場合は（ステップＳ１６でＮＯ）、基準ウインドウをずらし（ステップＳ１７）、処理をステップＳ１５に戻す。
【００５４】
ステップＳ１８において、距離算出部３２は、注目画素と対応点との各ペアから視差を算出し、視差が最大となるペアの注目画素の距離を最近接物体までの距離として算出する。ステップＳ１９において、通知部４０は、ステップＳ１８で算出された距離をドライバに通知し、処理をステップＳ１１に戻し、次フレーム以降の入力画像に対して同様の処理を行う。
【００５５】
このように、距離計測装置１によれば、自己に対して相対的に移動している物体が撮像されている領域が抽出され、抽出された領域から処理対象となる対象領域が設定され、対象領域内に注目画素が順次設定される。そして、基準画像において設定された対象領域内の各注目画素の対応点が、参照画像内において探索されているため、探索範囲が狭まり、高精度に対応点を探索し得るＰＯＣを適用したとしても高速に対応点を探索することが可能となり、自己に対して相対的に移動する物体までの距離を高速、かつ高精度に算出することができる。
【００５６】
（実施の形態２）
次に、本発明の実施の形態２による距離計測装置１ａについて説明する。なお、本実施の形態において、実施の形態１と同一のものは説明を省略し、相違点のみ説明する。図９は、距離計測装置１ａのブロック図を示している。距離計測装置１ａは、実施の形態１の距離計測装置１に対して更に領域設定部２０２を備えている点を特徴としている。
【００５７】
領域設定部２０２は、領域設定部２０１と同様、画像データ保持部２１〜設定部２４を備え、カメラ１２により撮像された入力画像に対して、領域設定部２０１と同様の処理を実行する。なお、領域設定部２０２は、カメラ１２から所定のフレームレートで入力された入力画像を基準画像として特定するのではなく、参照画像として特定し、参照画像に対して対象領域を設定する以外は、領域設定部２０１と処理内容が同様であるため、詳細な説明は省略する。
【００５８】
探索部３１は、基準画像において設定された対象領域内に注目画素を順次設定し、各注目画素の対応点を参照画像の対象領域内から探索する。具体的には、探索部３１は、参照ウインドウを設定するに際し、参照画像の全域ではなく、参照画像に設定された対象領域内において、基準ウインドウ内の画像と相関の高い領域を探索して参照ウインドウを設定する。そして、探索部３１は、基準ウインドウ内の画像と参照ウインドウ内の画像との位置ズレ量を求めることで、対応点を探索する。
【００５９】
このように、実施の形態２による距離計測装置によれば、参照画像にも対象領域が設定され、対象領域内において対応点が探索されるため、サーチ範囲が狭まり、対応点をより高速に探索することができる。また、対象領域を設定する処理が領域設定部２０１、２０２において並列的に実行されているため、処理の更なる高速化を図ることができる。
【００６０】
（実施の形態３）
次に、本発明の実施の形態３による距離計測装置１ｂについて説明する。なお、本実施の形態において、実施の形態１と同一のものは説明を省略し、相違点のみ説明する。図１０は、距離計測装置１ｂのブロック図を示している。距離計測装置１ｂは、領域設定部２０１が、実施の形態１の構成に加えて更にエッジ検出部２５を備えていることを特徴とする。なお、本実施の形態においても実施の形態２と同様、領域設定部２０２を更に設け、参照画像にも対象領域を設定し、対象領域内において対応点を探索することでサーチ範囲を狭めてもよい。
【００６１】
エッジ検出部２５は、基準画像のエッジを検出する。具体的には、エッジ検出部２５は、ｐｒｅｗｉｔｔフィルタ、ｓｏｂｅｌフィルタ、ラプラシアンフィルタ等のエッジ検出フィルタ用いて基準画像のエッジを検出する。図１１は、ラプラシアンフィルタを示した図である。本実施の形態においては、エッジ検出部２５は、例えば、図１１に示すような３×３のラプラシアンフィルタを用いてエッジを検出する。
【００６２】
図１０に戻り、設定部２４は、抽出部２３により算出された輝度差分画像を２値化すると共に、エッジ検出部２５によりエッジが検出された画像を２値化し、２値化された両画像を合成し、階調値がハイレベルの画素からなる領域を対象領域として最新の基準画像に設定する。
【００６３】
図１２（ａ）はカメラにより撮像された基準画像を示し、（ｂ）は基準画像の輝度差分画像を２値化した画像を示している。図１３は、はエッジ検出処理がされた基準画像を示している。図１２（ａ）の丸枠で示す路肩やガードレールは、空やアスファルト面とは異なり、路面に対して凸であり、車両に近づくと危険であるにも関わらず、連続して同じ形状が続くため、これらの情報が輝度差分画像から消えてしまう場合が多い。例えば、図１２（ｂ）の丸枠内においては、２値化の結果、路肩がほとんど残っていないことが見て取れる。車両が直線道路を車線に沿って真っ直ぐ走行していれば、路肩やガードレールに衝突するおそれは無いが、輝度差分画像で変化が抽出できないぐらい車両が徐々に路肩に接近していくと、路肩が対象領域に含まれていないために距離が算出されず、車両が路肩に接触する可能性がある。そこで、本実施の形態では、路肩やガードレールのような物体についても距離の検出対象とするために、エッジ検出部２５は、入力画像のエッジを検出している。
【００６４】
図１４は、エッジが検出された入力画像を２値化した画像と、輝度差分画像を２値化した画像とを合成した画像を示している。図１４に示すように、エッジ検出を行うことで、輝度差分画像で消失していた路肩部分の情報を対象領域に含ませることが可能となる。
【００６５】
このように、距離計測装置１ｂによれば、エッジ検出部２５を備えているため、路肩やガードレールといった輝度差分画像において情報が消失する画像を対象領域に含ませることが可能となり、路肩やガードレールまでの距離が算出され、路肩やガードレールが接近して危険な状態にあるというような情報をユーザに通知することができる。
【００６６】
（実施の形態４）
次に、本発明の実施の形態４による距離計測装置１ｃについて説明する。なお、本実施の形態において、実施の形態１と同一のものは説明を省略し、相違点のみ説明する。図１５は、距離計測装置１ｃのブロック図を示している。距離計測装置１ｃは、距離計算部３０が、実施の形態１の構成に加えて更に探索部３３（探索手段の一例）を備えていることを特徴とする。なお、本実施の形態においても実施の形態２と同様、領域設定部２０２を更に設け、参照画像にも対象領域を設定し、対象領域内において対応点を探索することでサーチ範囲を狭めてもよい。
【００６７】
探索部３１は、設定部２４により基準画像に設定された対象領域に対して第１の探索処理を実行することで対応点を探索する。ここで、第１の探索処理は、実施の形態１〜３における探索部３１の処理と同一の処理であるため、説明を省略する。
【００６８】
探索部３３は、設定部２４により設定された対象領域以外の領域に対して第１の探索処理よりも処理速度の速い第２の探索処理を実行することで対応点を探索する。ここで、第２の探索処理として、例えばＳＡＤ（Sum of Absolute Difference）を採用することができる。
【００６９】
以下、第２の探索処理について説明する。図１６はＳＡＤを説明する模式図である。図１６に示すように、基準画像に設定された対象領域以外の領域に注目画素が設定され、注目画素を中心として基準ウインドウＷ１が設定される。ここで、対象領域以外の領域の各画素が例えばラスタ走査されるように順次注目画素として設定される。次に、参照画像の所定の画素が中心点として設定され、この中心点を中心として参照ウインドウＷ２が設定される。ここで、中心点は、注目画素と垂直方向における位置が同じ位置に設定される。次に、基準ウインドウＷ１内の画像Ｉｍｇ１と参照ウインドウＷ２内の画像Ｉｍｇ２との相関値ＣＯＲｐが式（８）、（９）を用いて算出される。
【００７０】
【数２】
【００７１】
但し、Ｗは基準ウインドウＷ１、参照ウインドウＷ２のウインドウサイズを示し、ｉは垂直方向の座標を示し、ｊは水平方向の座標を示し、ｐは０≦ｐ≦ｍａｘ＿ｄｉｓｐを満たす変数であり、ｍａｘ＿ｄｉｓｐは最終探索点を示す。
【００７２】
そして、相関値ＣＯＲｐが求まると、ｐが所定の値だけ増加されて参照ウインドウＷ２が水平方向にずらされ、次の相関値ＣＯＲｐが求められる。
【００７３】
ＳＡＤにおいては、参照ウインドウＷ２は、ｐがコントロールされてずらされているため、垂直方向の位置が注目画素と同一であって、水平方向と平行な直線上に中心点が位置するようにずらされる。ここで、中心点が対象領域内に設定されないように参照ウインドウＷ２をずらしてもよい。これにより、更なる処理の高速化を図ることができる。
【００７４】
そして、相関値ＣＯＲｐを参照ウインドウＷ２内の画像の中心点の類似度として採用し、参照画像において類似度が最も高くなる位置を探索し、探索した位置を基準画像に設定された注目画素の対応点として特定する。図１６のグラフに示すように、相関値ＣＯＲｐは、画像Ｉｍｇ１と画像Ｉｍｇ２との相関が高く、類似しているほど高くなって表れる。
【００７５】
ここで、参照ウインドウは、画素単位で離散的にずらされるため、類似度は対象領域内において画素単位の分解能で算出されることになる。したがって、画素単位で算出された類似度に補間処理を施して、画素単位よりも小さな分解能で類似度を求め、補間処理した類似度のうち最も高い類似度の位置を注目画素の対応点として特定することで、対応点の探索精度を上げることが可能となる。
【００７６】
このように、距離計測装置１ｃによれば、対象領域以外の領域においては第２の探索処理により対応点が探索され、対象領域においては第１の探索処理により対応点が探索されているため、自己に近づいている可能性が高く、危険を回避するうえで重要となる物体までの距離が高精度に算出される一方、自己に近づいている可能性が低く、危険を回避するうえで重要ではない物体までの距離は高速に算出される。その結果、効率良く距離の算出領域を増大することができる。
【００７７】
（実施の形態５）
次に、本発明の実施の形態５による距離計測装置１ｄについて説明する。なお、本実施の形態において、実施の形態１〜４と同一のものは説明を省略し、相違点のみ説明する。距離計測装置１ｄは、距離計測装置１ｃと同一構成であるため、図１５を用いて説明する。距離計測装置１ｄは、実施の形態３に示す第２の探索処理において注目画素の設定の仕方が相違する点を特徴とする。なお、本実施の形態においても実施の形態２と同様、領域設定部２０２を更に設け、参照画像にも対象領域を設定し、対象領域内において対応点を探索することでサーチ範囲を狭めてもよい。
【００７８】
図１５に示す探索部３３は、対象領域以外の領域に注目画素を間引いて設定して、上記第２の探索処理により対応点を探索する。図１７は、探索部３３の処理を説明する模式図であり、（ａ）は注目画素を間引かずに設定した場合を示し、（ｂ）は注目画素を間引いて設定した場合を示している。なお、図１７に示す、各升は１画素を示し、白丸は注目画素として設定される画素を示し、×印は注目画素として設定されない画素を示している。図１７（ａ）に示すように、注目画素を間引かずに設定した場合、全ての画素が注目画素として設定され、全ての画素の対応点が探索され、８×８画素の計６４画素に対して探索処理が実施される。
【００７９】
一方、図１７（ｂ）に示すように、注目画素を間引いて設定すると、丸印の画素のみ対応点が探索される。図１７（ｂ）においては、水平、垂直方向とも一画素飛ばしで注目画素が設定されているため、４×４画素の計１６個の画素に探索処理が実施され、図１７（ａ）の場合に比べて計算量が１／４となる。
【００８０】
図１８は、実施の形態５における探索処理を説明する模式図であり、（ａ）は実施の形態１〜３における探索処理を示し、（ｂ）は実施の形態５における探索処理を示している。実施の形態１〜３において、探索部３１は、図１８（ａ）に示すように、白升で示す画素からなる対象領域の各画素を注目画素として設定し、黒升で示す画素からなる対象領域以外の領域には注目画素を設定しないため、対象領域以外の領域の画素における距離は算出されない。また、実施の形態４では、探索部３３は、図１８（ａ）の黒升の各画素を注目画素として設定し、第２の探索処理を用いて各画素の対応点を探索していた。
【００８１】
一方、実施の形態５では、図１８（ｂ）に示すように、探索部３１は、白升で示す対象領域内の各画素を実施の形態１〜３と同様、注目画素として設定し、第１の探索処理を用いて高精度に対応点を探索するが、探索部３３は、対象領域以外の領域において間引いて注目画素を設定し、第２の探索処理を用いて高速に対応点を探索する。そのため、計算量の増加を抑えつつ距離が算出される領域を増やすことが可能となる。なお、図１８（ｂ）では、対象領域以外の領域において、１画素飛ばしで注目画素が設定されているが、これに限定されず、３画素飛ばし、４画素飛ばしというように、種々の間引き幅で注目画素を間引いて設定してもよい。また、対象領域においても、対象領域以外の領域よりも小さな間引き幅で注目画素を設定してもよい。
【００８２】
このように、距離計測装置１ｄによれば、自己に近づいている可能性が高く、危険を回避するうえで重要となる物体までの距離が高精度に算出される一方、この物体が含まれない領域における距離が高速に算出されるため、効率良く距離が算出される領域を増大させることができる。
【００８３】
なお、実施の形態５において、対象領域以外の領域を第１の探索処理を用いて対応点を探索してもよい。この場合、対象領域以外の領域において注目画素が間引いて設定されているため、高速、かつ高精度に対応点を探索することができる。
【００８４】
次に、時刻ｔ＋１の画像と時刻ｔの画像において、時刻ｔ＋１の画像に対応点を探索する利点について、図２及び図３を用いて説明する。図２（ａ）に示す時刻ｔに撮像された画像に対して対応点を探索すると、中央のトラックの背面部位については「空とトラックの背面」の差分のうち、「空」の部分に対して対応点が探索されることになる。
【００８５】
一方、図２（ｂ）に示す時刻ｔ＋１に撮像された画像に対して対応点を探索すると、「空とトラックの背面」の差分のうち、「トラックの背面」に対して対応点が探索されることになる。これは、トラックがステレオカメラ（車両）に対して相対的に接近していることによる。したがって、距離計測を行う対象の画像は、時刻ｔ＋１で撮像された方が望ましいことが分かる。
【００８６】
また、図２（ａ）を時刻ｔ＋１、図２（ｂ）を時刻ｔとし、上記説明とは逆に、トラックが相対的に遠ざかっていく場合を考察すると、時刻ｔ＋１での画像に対して対応点を探索すると「空」に対して対応点が探索されてしまうが、この場合、トラックは、自車両から遠ざかっているため、危険性は少なく、距離を求める必要はない。したがって、時刻ｔ＋１の画像において対応点を探索することが好ましいことが分かる。
【００８７】
なお、実施の形態１〜５では、輝度差分画像を求めて、相対的に近づいている物体を示す領域を抽出したが、これに代えて、温度画像を用いて、車両前方にある物体を示す領域を抽出して対象領域を設定してもよい。この場合、カメラ１１，１２として、サーモセンサを採用すればよい。
【００８８】
図１９は、温度画像の一例を示した図であり、（ａ）は車両をとらえた温度画像を示し、（ｂ）は人物をとらえた温度画像を示している。図１９（ａ）に示すように、車両は道路面に対して異なる温度を有し、また、図１９（ｂ）に示すように人物は背景に対して異なる温度を有していると、異なる輝度で撮像されることになる。そのため、領域設定部２０１，２０２は、入力画像を、所定の閾値と比較することで２値化して、入力画像に対象領域を設定すればよい。
【００８９】
また、上記説明では、参照画像をカメラ１２により撮像されたもののみ取り扱ったが、これに限定されず、参照画像を撮像するための複数のカメラを設け、各カメラにより撮像された各参照画像から対応点を探索してもよい。この場合、領域設定部２０２をカメラの台数分、用意すればよい。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施の形態１による距離計測装置のブロック図を示している。
【図２】カメラにより撮像された基準画像の一例を示している。
【図３】図２（ａ），（ｂ）に対する輝度差分画像を示している。
【図４】図３に示す輝度差分画像を２値化した画像を示している。
【図５】ＰＯＣ実行部の機能ブロック図である。
【図６】ＰＯＣ値を示したグラフである。
【図７】ステレオ法による測距方法を説明する模式図である。
【図８】距離計測装置の動作を示すフローチャートである。
【図９】本発明の実施の形態２による距離計測装置のブロック図を示している。
【図１０】本発明の実施の形態３による距離計測装置のブロック図を示している。
【図１１】ラプラシアンフィルタを示した図である。
【図１２】（ａ）はカメラにより撮像された入力画像を示し、（ｂ）は入力画像の輝度差分画像を２値化した画像を示している。
【図１３】エッジ検出処理がされた基準画像を示している。
【図１４】エッジが検出された基準画像を２値化した画像と、輝度差分画像を２値化した画像とを合成した画像を示している。
【図１５】本発明の実施の形態３による距離計測装置のブロック図を示している。
【図１６】ＳＡＤを説明する模式図である。
【図１７】探索部の処理を説明する模式図である。
【図１８】実施の形態５における探索処理を説明する模式図である。
【図１９】温度画像の一例を示した図である。
【符号の説明】
【００９１】
１１，１２ カメラ
２１，２２ 画像データ保持部
２３ 抽出部
２４ 設定部
２５ エッジ検出部
３０ 距離計算部
３１，３３ 探索部
３２ 距離算出部
３３ 探索部
４０ 通知部
２０１，２０２ 領域設定部
【技術分野】
【０００１】
本発明は、複数の撮像手段を用いて撮像された画像を用いて物体までの距離を計測する技術に関するものである。
【背景技術】
【０００２】
車両の安全性を高める取り組みとして、前方の障害物を検出して危険を警告したり、先行車との距離を測定して車間距離を一定に保ったりする装置が知られている。このような装置においては、ステレオカメラを用いて先行車との距離を計測するステレオ法が一般的に採用されている。ステレオ法は、ある注目物体が異なる撮像系で得られた画像上で、それぞれどの位置に投影されているかを検出（いわゆる対応点探索）した結果から、その物体までの距離を求める手法である。
【０００３】
一般的に、対応点の探索処理で分解能を高くすると計算コストも高くなるので、リアルタイム性と高分解能とを同一の探索手法で得ることは難しいとされており、フレームレートでの処理を実現したいが、検出精度と処理速度との両立が困難となっている。
【０００４】
特許文献１では、２通りのステレオ処理部（「高速だが低精度」、「低速だが高精度」）を持ち、画像上で動きのある部分については「高速だが低精度」、動かない部分は時間がかかっても良いとして「低速だが高精度」で処理し、後で合成して出力する手法が開示されている。特許文献２には、固定監視カメラで、予め動体が無い背景画像を保持しておき、差分画像から動体部分を抽出する手法が開示されている。
【特許文献１】特開２００１−７６９３０８号公報
【特許文献２】特開２００６−４１９３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の手法では、基準画像において動きのある部分に着目した処理がなされているが、周辺画像において動きのある部分に着目した処理がなされていないため、動きのある部分の距離を高速、かつ、高精度に算出するにあたり更に改良の余地がある。
【０００６】
また、特許文献２の手法では、動体のない背景画像を予め記憶する必要があるため、この手法を背景画像が絶えず変化する自動車等の移動体に適用することは困難である。
【０００７】
本発明の目的は、高速、かつ、高精度に自己に対して相対的に移動する物体までの距離を計測することができる距離計測装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明による距離計測装置は、複数の撮像手段を用いて撮像された画像を用いて物体までの距離を計測する距離計測装置において、前記撮像手段により同一タイミングで撮像された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像及び前記参照画像から自己に対して相対的に移動している物体が撮像されている領域を抽出する抽出手段と、前記抽出手段により抽出された領域から処理対象となる対象領域を求め、前記基準画像に設定する設定手段と、前記基準画像において設定された対象領域内に注目画素を順次設定し、各注目画素の対応点を各参照画像から探索する探索手段と、前記注目画素と前記対応点とを基に、前記物体までの距離を求める距離算出手段とを備えることを特徴とする。
【０００９】
この構成によれば、複数の撮像手段により同一タイミングで撮像された複数の入力画像のうち、いずれか１枚の入力画像が、基準画像、他の入力画像が参照画像とされ、基準画像において、自己に対して相対的に移動している物体が撮像されている領域が抽出され、抽出された領域から処理対象となる対象領域が設定され、対象領域内に注目画素が順次設定される。そして、基準画像において設定された対象領域内の各注目画素に対する対応点が、各参照画像内において探索されているため、探索範囲が狭まり、高精度に対応点を探索し得る処理を適用したとしても高速に対応点を探索することが可能となり、自己に対して相対的に移動する物体までの距離を高速、かつ高精度に算出することができる。
【００１０】
また、前記距離算出手段により算出された物体までの距離を基に、周囲の環境をユーザに認識させるための情報を通知する通知手段を更に備えたことが好ましい。
【００１１】
この構成によれば、前方を移動する物体が近づいており、危険が迫っているというような情報をユーザに通知することができる。
【００１２】
また、前記探索手段は、前記入力画像のそれぞれに所定の大きさのウインドウを設定し、各ウインドウ内の画像を周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応点を探索することが好ましい。
【００１３】
また、前記探索手段は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することが好ましい。
【００１４】
また、本発明の距離計測装置は、前記探索手段は、位相限定相関法（ＰＯＣ）を用いて対応点を探索することが好ましい。
【００１５】
これらの構成によれば、振幅成分が抑制され、位相成分のみ用いて対応点が探索されるため、車両上のテクスチャに対してでも精度良く対応付けが可能となる。
【００１６】
また、前記抽出手段は、各撮像手段において異なるタイミングで撮像された２枚の入力画像同士の輝度差分値を算出して輝度差分画像を算出し、算出した輝度差分画像を基に、前記基準画像及び前記参照画像から前記物体が撮像されている領域を抽出することが好ましい。
【００１７】
この構成によれば、輝度の変化が大きく、自己に対して接近している可能性の高い物体をとらえた領域が対象領域として設定されるため、危険等を回避するうえで重要度の高い物体の距離を高速、かつ、高精度に算出することができる。
【００１８】
また、前記基準画像及び前記参照画像のエッジを検出するエッジ検出手段を更に備え、前記設定手段は、前記抽出手段により抽出された領域に加えて、前記エッジ検出手段により検出されたエッジを前記対象領域として設定することが好ましい。
【００１９】
この構成によれば、本発明を自動車等の移動体に適用した場合、動きの変化の少ない段差のある路肩やガードレールの部分がエッジとして検出され、このエッジが対象領域として設定されるため、路肩やガードレールまでの距離が算出され、路肩やガードレールが接近して危険な状態にあるというような情報をユーザに通知することができる。
【００２０】
また、前記探索手段は、前記設定手段により設定された対象領域に対して第１の探索処理を実行して対応点を探索し、前記対象領域以外の領域に対して前記第１の探索処理よりも処理速度の速い第２の探索処理を実行することで対応点を探索することが好ましい。
【００２１】
この構成によれば、自己に近づいている可能性が高く、危険を回避するうえで重要となる物体までの距離が高精度に算出される一方、この物体が含まれない領域における距離は高速に算出されるため、効率良く距離が算出される領域を増大させることができる。
【００２２】
また、前記探索手段は、前記対象領域よりも間引き間隔が大きくなるように前記対象領域以外の領域に注目画素を設定することが好ましい。この構成によれば、処理の効率化を図ることができる。
【００２３】
前記設定手段は、各撮像手段において撮像された時間的に前後する２枚の入力画像のうち、後の入力画像に前記対象領域を設定することが好ましい。
【００２４】
この構成によれば、時間的に前後する２枚の入力画像のうち、後の入力画像の輝度から前の入力画像の輝度を差し引いた輝度差分値にしたがって、物体をとらえた領域が抽出されているため、自己に近づいている物体をとらえた領域をより確実に対象領域とすることができる。
【発明の効果】
【００２５】
本発明によれば、自己に対して相対的に移動する物体までの距離を高速、かつ高精度に算出することができる。
【発明を実施するための最良の形態】
【００２６】
（実施の形態１）
以下、本発明の実施の形態１による距離計測装置について図面を参照しつつ説明する。図１は、本発明の実施の形態１による距離計測装置１のブロック図を示している。距離計測装置１は、自動車等の車体に搭載され、２台のカメラ１１，１２（撮像手段の一例）、領域設定部２０１、距離計算部３０、及び通知部４０（通知手段の一例）を備えている。
【００２７】
カメラ１１，１２は、車体の進行方向に直交し、かつ水平方向に平行な方向である左右方向に所定の間隔を設けて、進行方向を中心に対称となるように同一高さ位置に配設され、所定のフレームレートで前方を撮像する。ここで、カメラ１１，１２は、同一時刻においてフレームが撮像されるように撮像タイミングの同期が図られている。
【００２８】
領域設定部２０１は、カメラ１１により撮像された入力画像に対して種々の処理を実行し、２個の画像データ保持部２１，２２、抽出部２３（抽出手段）、設定部２４（設定手段）を備えている。
【００２９】
画像データ保持部２１，２２は、ランダムアクセスメモリ等の記憶装置から構成され、カメラ１１により撮像された入力画像を交互に更新しながら保持する。ここで、画像データ保持部２１，２２は、時刻ｔにおける入力画像を画像データ保持部２１に保持し、時刻ｔ＋１における入力画像を画像データ保持部２２に保持し、時刻ｔ＋２における入力画像を画像データ保持部２１に保持するというように、カメラ１１から所定のフレームレートで順次入力される入力画像を交互に更新しながら保持する。また、入力画像は、各画素が例えば０（黒）〜２５５（白）の２５６階調のグレースケールで表されたデジタルの画像データである。
【００３０】
抽出部２３は、カメラ１１から所定のフレームレートで順次入力される入力画像を基準画像とし、各基準画像において車体に対して相対的に移動している物体が撮像されている領域を抽出する。ここで、抽出部２３は、カメラ１１において撮像された時間的に連続する２枚の基準画像のうち後の基準画像と前の基準画像との輝度差分値の絶対値を求めて輝度差分画像を算出することで、車体前方で移動している物体が撮像されている領域を抽出する。
【００３１】
図２は、カメラ１１により撮像された基準画像の一例を示し、（ａ）は時刻ｔに撮像された基準画像を示し、（ｂ）は時刻ｔ＋１に撮像された基準画像を示している。ここで、時刻ｔ＋１に撮像された基準画像は、時刻ｔに撮像された基準画像の１フレーム後に撮像された画像を示す。また、図３は、図２（ａ），（ｂ）に対する輝度差分画像を示している。
【００３２】
図２（ａ），（ｂ）を比較すると、車体前方のトラックが近づいていることが分かる。この場合、図２（ａ）の入力画像と図２（ｂ）の入力画像との輝度差分画像を算出すると、輝度変化の大きな領域ほど高階調となるため、図３に示すように、時刻ｔから時刻ｔ＋１の期間に動いた物体の一部の領域が輝度差分画像中で白く浮き出た像となって表れ、移動した物体が抽出されていることが分かる。また、空や道路のアスファルト面は時刻ｔから時刻ｔ＋１の期間でほとんど変化していないため、輝度差分値が小さく、暗くなって表れ、抽出されていないことが分かる。従って、車体に対して相対的に距離変化があった部分は輝度変化が生じ、輝度差分画像に反映されることが分かる。
【００３３】
時系列画像で、画像内の物体を追跡する手法としてオプティカルフローが知られており、抽出部２３は、この手法を用いて物体を検出することも可能であり、この場合、異なる時間で撮影された同一物体を特定することが可能となるが、本実施の形態では、物体の一部の領域が抽出されれば十分であり、また、輝度差分画像を算出する手法に比べて処理コストも高く、ハード化する場合に回路規模が大きくなったり、処理時間が長くなったりすることが懸念されるため、輝度差分画像を算出する手法を採用することが好ましい。
【００３４】
設定部２４は、抽出部２３により抽出された領域から処理対象となる対象領域を求め、基準画像に設定する。具体的には、設定部２４は、抽出部２３により算出された輝度差分画像を２値化し、階調値がハイレベルの画素からなる領域を対象領域として基準画像に設定する。ここで、設定部２４は、Ｐ−タイル法、モード法、判別分析法、微分ヒストグラム法、及び領域分割法等の種々の２値化手法を採用することができる。
【００３５】
空やアスファルト面などは輝度変化が小さいとはいえ、毎フレーム同じ輝度値が得られるとは限らず、輝度差分画像には、これらの情報が含まれてしまう可能性がある。また、入力画像にはカメラ１１によるノイズ成分も含まれているため、このノイズ成分が輝度差分画像に含まれてしまう可能性もある。そして、輝度差の生じた全画素を処理対象として設定すると、画像のほぼ全域が処理対象として設定され、処理に膨大な時間がかかってしまう。そこで、ある一定の閾値を設け、その閾値よりも輝度の差分値の高い領域が対象領域として設定されるように輝度差分画像を２値化することで、相対的に移動している物体が含まれ、かつ、必要最小限のサイズとなるように対象領域を設定することが可能となる。
【００３６】
図４は、図３に示す輝度差分画像を２値化した画像を示している。なお、図４において、閾値は２０とされ、白の部分が対象領域として設定される領域を示している。図４に示すように、輝度差の変化が少ない領域が対象領域から除外され、かつ、車体に対して相対的に移動しており、距離を算出する必要性の高いトラックの一部の領域が対象領域に含まれていることが分かる。
【００３７】
距離計算部３０は、探索部３１及び距離算出部３２を備えている。探索部３１は、基準画像において設定された対象領域内に注目画素を順次設定し、各注目画素の対応点を参照画像から探索する。具体的には、探索部３１は、以下のようにして対応点を探索する。まず、基準画像に注目点を中心に基準ウインドウを設定し、設定した基準ウインドウ内の画像と相関の高い領域を例えばテンプレートマッチング等の手法を用いて参照画像から求め、当該領域に参照ウインドウを設定する。次に、相関演算を行うことで基準及び参照ウインドウ内の両画像の相関を求め、両画像の位置ズレ量を求める。
【００３８】
ここで、相関演算として、両ウインドウ内の画像を周波数分解し、得られた信号の振幅成分を抑制した位相成分の類似度に基づいた演算を採用することが可能であり、本実施の形態では位相限定相関法（ＰＯＣ）を採用することができる。この演算手法によれば、位相成分のみが用いられているため、左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバストな演算が可能となる。また、周波数分解する手法として、フーリエ変換ＦＦＴ，ＤＦＴ、離散コサイン（サイン）変換ＤＣＴ，（ＤＳＴ）、ウエーブレット変換、及びアダマール変換などを採用することができる。
【００３９】
図５は、位相限定相関法を実行するＰＯＣ実行部の機能ブロック図を示している。このＰＯＣ実行部は、探索部３１に実装されている。また、図５においては、周波数分解としてフーリエ変換が採用されている。フーリエ変換部Ｓ１は、基準画像に基準ウインドウを設定し、基準ウインドウ内の画像をフーリエ変換する。フーリエ変換部Ｓ２は、参照画像に参照ウインドウを設定し、参照ウインドウ内の画像をフーリエ変換する。
【００４０】
規格化部Ｓ３は、フーリエ変換部Ｓ１によりフーリエ変換された画像を規格化する。規格化部Ｓ４は、フーリエ変換部Ｓ２によりフーリエ変換された画像を規格化する。
【００４１】
合成部Ｓ５は、規格化部Ｓ３及びＳ４において規格化された画像を合成する。逆フーリエ変換部Ｓ６は、合成部Ｓ５により合成された画像を逆フーリエ変換し、ＰＯＣ値を得る。図５を数式で表すと以下のとおりである。
【００４２】
【数１】
【００４３】
図６は、ＰＯＣ値を示したグラフである。このグラフにおいて、ｘ軸及びｙ軸は、基準ウインドウの中心を原点としたときの水平方向及び垂直方向の各座標を表し、ｚ軸はＰＯＣ値を示している。図６に示すようにＰＯＣ値は、急峻な相関ピークを有し、画像マッチングにおけるロバスト性と推定精度とが高いことが知られている。この相関ピークの位置は、基準ウインドウ内の画像と参照ウインドウ内の画像とが最もマッチする位置を示している。
【００４４】
したがって、相関ピークの大きさを類似度として採用し、相関ピークの位置を特定することで基準ウインドウに対する参照ウインドウの位置ズレ量を算出し、対応点を算出することができる。ここで、ＰＯＣ値は、基準画像の画素単位、すなわち、ピクセルレベルで算出されているため、相関ピーク位置もピクセルレベルで求められることになるが、ＰＯＣ値を補間することによりサブピクセルレベルで相関ピークの位置を推定してもよい。補間方法としては、放物線などの関数をフィッティングすることで行えばよい。そして、参照ウインドウの中心点の座標に位置ズレ量を加算することにより得られる座標上の点が対応点として算出される。
【００４５】
図１に戻り、距離算出部３２は、注目画素と対応点とを基に、ステレオ法による測距方法を用いて物体までの距離を求める。図７は、ステレオ法による測距方法を説明する模式図である。
【００４６】
図７において、ｆは、カメラ１１，１２の焦点距離を示し、カメラ１１，１２の撮像面（ＣＣＤ）の画素数及び１画素の大きさ（μ）は等しいものとする。また、カメラ１１，１２は、所定の基線長Ｌだけ左右方向に離間され、かつ、光軸が平行となるように配置されている。この場合、撮像面上の視差（ずれ画素数）をｄ（＝ｄ１＋ｄ２）とすると、物体までの距離（Ｚ）は、Ｚ＝（Ｌ×ｆ）／（μ×ｄ）により求めることができる。
【００４７】
ここで、距離算出部３２は、例えば、注目画素と対応点との各ペアの視差を求め、視差が最大となる注目画素が車両に対して最も近い最近接物体を示すとして、その注目画素の距離を最近接物体の距離として算出しても良い。また、距離算出部３２は、車両に対して一定の距離範囲内に複数の物体が存在する場合は、各々の物体の距離を求めても良い。
【００４８】
図１に戻り、通知部４０は、例えば、表示装置から構成され、距離算出部３２により算出された最近接物体までの距離を表示装置に表示することで、最近接物体までの距離をドライバに通知する。ここで、通知部４０は、距離算出部３２により一定の距離範囲内に存在する複数の物体の距離が算出された場合は、各々の距離をドライバに通知してもよい。また、通知部４０は、表示装置に表示する代わりに或いは併せて、音声により物体までの距離をドライバに通知してもよく、この場合、例えば、最近傍物体が車両に対して一定の距離内に位置し、危険が迫っている場合にのみ、警報を鳴らしてドライバに注意を促すようにしても良い。
【００４９】
次に、距離計測装置１の動作について説明する。図８は距離計測装置１の動作を示すフローチャートである。まず、ステップＳ１１において、領域設定部２０１は、カメラ１１により撮像された入力画像を基準画像として取得し、かつ、距離計算部３０はカメラ１２により撮像された入力画像を参照画像として取得する。
【００５０】
ステップＳ１２において、抽出部２３は、最新の基準画像と１フレーム前の基準画像との輝度差分値の絶対値を求めて輝度差分画像を算出し、相対的に移動している物体が撮像されている領域を抽出する。
【００５１】
ステップＳ１３において、設定部２４は、ステップＳ１２で算出された輝度差分画像を２値化して、ハイレベルの画素からなる領域を対象領域として最新の基準画像内に設定する。
【００５２】
ステップＳ１４において、探索部３１は、基準画像に設定された対象領域に注目画素を設定し、注目画素を中心として基準ウインドウを設定する。
【００５３】
ステップＳ１５において、探索部３１は、注目画素の対応点を参照画像から探索する。ステップＳ１６において、探索部３１は、注目画素が基準画像に設定された対象領域の最終探索点に位置する場合は（ステップＳ１６でＹＥＳ）、処理をステップＳ１８に進め、基準ウインドウが最終探索点に位置しない場合は（ステップＳ１６でＮＯ）、基準ウインドウをずらし（ステップＳ１７）、処理をステップＳ１５に戻す。
【００５４】
ステップＳ１８において、距離算出部３２は、注目画素と対応点との各ペアから視差を算出し、視差が最大となるペアの注目画素の距離を最近接物体までの距離として算出する。ステップＳ１９において、通知部４０は、ステップＳ１８で算出された距離をドライバに通知し、処理をステップＳ１１に戻し、次フレーム以降の入力画像に対して同様の処理を行う。
【００５５】
このように、距離計測装置１によれば、自己に対して相対的に移動している物体が撮像されている領域が抽出され、抽出された領域から処理対象となる対象領域が設定され、対象領域内に注目画素が順次設定される。そして、基準画像において設定された対象領域内の各注目画素の対応点が、参照画像内において探索されているため、探索範囲が狭まり、高精度に対応点を探索し得るＰＯＣを適用したとしても高速に対応点を探索することが可能となり、自己に対して相対的に移動する物体までの距離を高速、かつ高精度に算出することができる。
【００５６】
（実施の形態２）
次に、本発明の実施の形態２による距離計測装置１ａについて説明する。なお、本実施の形態において、実施の形態１と同一のものは説明を省略し、相違点のみ説明する。図９は、距離計測装置１ａのブロック図を示している。距離計測装置１ａは、実施の形態１の距離計測装置１に対して更に領域設定部２０２を備えている点を特徴としている。
【００５７】
領域設定部２０２は、領域設定部２０１と同様、画像データ保持部２１〜設定部２４を備え、カメラ１２により撮像された入力画像に対して、領域設定部２０１と同様の処理を実行する。なお、領域設定部２０２は、カメラ１２から所定のフレームレートで入力された入力画像を基準画像として特定するのではなく、参照画像として特定し、参照画像に対して対象領域を設定する以外は、領域設定部２０１と処理内容が同様であるため、詳細な説明は省略する。
【００５８】
探索部３１は、基準画像において設定された対象領域内に注目画素を順次設定し、各注目画素の対応点を参照画像の対象領域内から探索する。具体的には、探索部３１は、参照ウインドウを設定するに際し、参照画像の全域ではなく、参照画像に設定された対象領域内において、基準ウインドウ内の画像と相関の高い領域を探索して参照ウインドウを設定する。そして、探索部３１は、基準ウインドウ内の画像と参照ウインドウ内の画像との位置ズレ量を求めることで、対応点を探索する。
【００５９】
このように、実施の形態２による距離計測装置によれば、参照画像にも対象領域が設定され、対象領域内において対応点が探索されるため、サーチ範囲が狭まり、対応点をより高速に探索することができる。また、対象領域を設定する処理が領域設定部２０１、２０２において並列的に実行されているため、処理の更なる高速化を図ることができる。
【００６０】
（実施の形態３）
次に、本発明の実施の形態３による距離計測装置１ｂについて説明する。なお、本実施の形態において、実施の形態１と同一のものは説明を省略し、相違点のみ説明する。図１０は、距離計測装置１ｂのブロック図を示している。距離計測装置１ｂは、領域設定部２０１が、実施の形態１の構成に加えて更にエッジ検出部２５を備えていることを特徴とする。なお、本実施の形態においても実施の形態２と同様、領域設定部２０２を更に設け、参照画像にも対象領域を設定し、対象領域内において対応点を探索することでサーチ範囲を狭めてもよい。
【００６１】
エッジ検出部２５は、基準画像のエッジを検出する。具体的には、エッジ検出部２５は、ｐｒｅｗｉｔｔフィルタ、ｓｏｂｅｌフィルタ、ラプラシアンフィルタ等のエッジ検出フィルタ用いて基準画像のエッジを検出する。図１１は、ラプラシアンフィルタを示した図である。本実施の形態においては、エッジ検出部２５は、例えば、図１１に示すような３×３のラプラシアンフィルタを用いてエッジを検出する。
【００６２】
図１０に戻り、設定部２４は、抽出部２３により算出された輝度差分画像を２値化すると共に、エッジ検出部２５によりエッジが検出された画像を２値化し、２値化された両画像を合成し、階調値がハイレベルの画素からなる領域を対象領域として最新の基準画像に設定する。
【００６３】
図１２（ａ）はカメラにより撮像された基準画像を示し、（ｂ）は基準画像の輝度差分画像を２値化した画像を示している。図１３は、はエッジ検出処理がされた基準画像を示している。図１２（ａ）の丸枠で示す路肩やガードレールは、空やアスファルト面とは異なり、路面に対して凸であり、車両に近づくと危険であるにも関わらず、連続して同じ形状が続くため、これらの情報が輝度差分画像から消えてしまう場合が多い。例えば、図１２（ｂ）の丸枠内においては、２値化の結果、路肩がほとんど残っていないことが見て取れる。車両が直線道路を車線に沿って真っ直ぐ走行していれば、路肩やガードレールに衝突するおそれは無いが、輝度差分画像で変化が抽出できないぐらい車両が徐々に路肩に接近していくと、路肩が対象領域に含まれていないために距離が算出されず、車両が路肩に接触する可能性がある。そこで、本実施の形態では、路肩やガードレールのような物体についても距離の検出対象とするために、エッジ検出部２５は、入力画像のエッジを検出している。
【００６４】
図１４は、エッジが検出された入力画像を２値化した画像と、輝度差分画像を２値化した画像とを合成した画像を示している。図１４に示すように、エッジ検出を行うことで、輝度差分画像で消失していた路肩部分の情報を対象領域に含ませることが可能となる。
【００６５】
このように、距離計測装置１ｂによれば、エッジ検出部２５を備えているため、路肩やガードレールといった輝度差分画像において情報が消失する画像を対象領域に含ませることが可能となり、路肩やガードレールまでの距離が算出され、路肩やガードレールが接近して危険な状態にあるというような情報をユーザに通知することができる。
【００６６】
（実施の形態４）
次に、本発明の実施の形態４による距離計測装置１ｃについて説明する。なお、本実施の形態において、実施の形態１と同一のものは説明を省略し、相違点のみ説明する。図１５は、距離計測装置１ｃのブロック図を示している。距離計測装置１ｃは、距離計算部３０が、実施の形態１の構成に加えて更に探索部３３（探索手段の一例）を備えていることを特徴とする。なお、本実施の形態においても実施の形態２と同様、領域設定部２０２を更に設け、参照画像にも対象領域を設定し、対象領域内において対応点を探索することでサーチ範囲を狭めてもよい。
【００６７】
探索部３１は、設定部２４により基準画像に設定された対象領域に対して第１の探索処理を実行することで対応点を探索する。ここで、第１の探索処理は、実施の形態１〜３における探索部３１の処理と同一の処理であるため、説明を省略する。
【００６８】
探索部３３は、設定部２４により設定された対象領域以外の領域に対して第１の探索処理よりも処理速度の速い第２の探索処理を実行することで対応点を探索する。ここで、第２の探索処理として、例えばＳＡＤ（Sum of Absolute Difference）を採用することができる。
【００６９】
以下、第２の探索処理について説明する。図１６はＳＡＤを説明する模式図である。図１６に示すように、基準画像に設定された対象領域以外の領域に注目画素が設定され、注目画素を中心として基準ウインドウＷ１が設定される。ここで、対象領域以外の領域の各画素が例えばラスタ走査されるように順次注目画素として設定される。次に、参照画像の所定の画素が中心点として設定され、この中心点を中心として参照ウインドウＷ２が設定される。ここで、中心点は、注目画素と垂直方向における位置が同じ位置に設定される。次に、基準ウインドウＷ１内の画像Ｉｍｇ１と参照ウインドウＷ２内の画像Ｉｍｇ２との相関値ＣＯＲｐが式（８）、（９）を用いて算出される。
【００７０】
【数２】
【００７１】
但し、Ｗは基準ウインドウＷ１、参照ウインドウＷ２のウインドウサイズを示し、ｉは垂直方向の座標を示し、ｊは水平方向の座標を示し、ｐは０≦ｐ≦ｍａｘ＿ｄｉｓｐを満たす変数であり、ｍａｘ＿ｄｉｓｐは最終探索点を示す。
【００７２】
そして、相関値ＣＯＲｐが求まると、ｐが所定の値だけ増加されて参照ウインドウＷ２が水平方向にずらされ、次の相関値ＣＯＲｐが求められる。
【００７３】
ＳＡＤにおいては、参照ウインドウＷ２は、ｐがコントロールされてずらされているため、垂直方向の位置が注目画素と同一であって、水平方向と平行な直線上に中心点が位置するようにずらされる。ここで、中心点が対象領域内に設定されないように参照ウインドウＷ２をずらしてもよい。これにより、更なる処理の高速化を図ることができる。
【００７４】
そして、相関値ＣＯＲｐを参照ウインドウＷ２内の画像の中心点の類似度として採用し、参照画像において類似度が最も高くなる位置を探索し、探索した位置を基準画像に設定された注目画素の対応点として特定する。図１６のグラフに示すように、相関値ＣＯＲｐは、画像Ｉｍｇ１と画像Ｉｍｇ２との相関が高く、類似しているほど高くなって表れる。
【００７５】
ここで、参照ウインドウは、画素単位で離散的にずらされるため、類似度は対象領域内において画素単位の分解能で算出されることになる。したがって、画素単位で算出された類似度に補間処理を施して、画素単位よりも小さな分解能で類似度を求め、補間処理した類似度のうち最も高い類似度の位置を注目画素の対応点として特定することで、対応点の探索精度を上げることが可能となる。
【００７６】
このように、距離計測装置１ｃによれば、対象領域以外の領域においては第２の探索処理により対応点が探索され、対象領域においては第１の探索処理により対応点が探索されているため、自己に近づいている可能性が高く、危険を回避するうえで重要となる物体までの距離が高精度に算出される一方、自己に近づいている可能性が低く、危険を回避するうえで重要ではない物体までの距離は高速に算出される。その結果、効率良く距離の算出領域を増大することができる。
【００７７】
（実施の形態５）
次に、本発明の実施の形態５による距離計測装置１ｄについて説明する。なお、本実施の形態において、実施の形態１〜４と同一のものは説明を省略し、相違点のみ説明する。距離計測装置１ｄは、距離計測装置１ｃと同一構成であるため、図１５を用いて説明する。距離計測装置１ｄは、実施の形態３に示す第２の探索処理において注目画素の設定の仕方が相違する点を特徴とする。なお、本実施の形態においても実施の形態２と同様、領域設定部２０２を更に設け、参照画像にも対象領域を設定し、対象領域内において対応点を探索することでサーチ範囲を狭めてもよい。
【００７８】
図１５に示す探索部３３は、対象領域以外の領域に注目画素を間引いて設定して、上記第２の探索処理により対応点を探索する。図１７は、探索部３３の処理を説明する模式図であり、（ａ）は注目画素を間引かずに設定した場合を示し、（ｂ）は注目画素を間引いて設定した場合を示している。なお、図１７に示す、各升は１画素を示し、白丸は注目画素として設定される画素を示し、×印は注目画素として設定されない画素を示している。図１７（ａ）に示すように、注目画素を間引かずに設定した場合、全ての画素が注目画素として設定され、全ての画素の対応点が探索され、８×８画素の計６４画素に対して探索処理が実施される。
【００７９】
一方、図１７（ｂ）に示すように、注目画素を間引いて設定すると、丸印の画素のみ対応点が探索される。図１７（ｂ）においては、水平、垂直方向とも一画素飛ばしで注目画素が設定されているため、４×４画素の計１６個の画素に探索処理が実施され、図１７（ａ）の場合に比べて計算量が１／４となる。
【００８０】
図１８は、実施の形態５における探索処理を説明する模式図であり、（ａ）は実施の形態１〜３における探索処理を示し、（ｂ）は実施の形態５における探索処理を示している。実施の形態１〜３において、探索部３１は、図１８（ａ）に示すように、白升で示す画素からなる対象領域の各画素を注目画素として設定し、黒升で示す画素からなる対象領域以外の領域には注目画素を設定しないため、対象領域以外の領域の画素における距離は算出されない。また、実施の形態４では、探索部３３は、図１８（ａ）の黒升の各画素を注目画素として設定し、第２の探索処理を用いて各画素の対応点を探索していた。
【００８１】
一方、実施の形態５では、図１８（ｂ）に示すように、探索部３１は、白升で示す対象領域内の各画素を実施の形態１〜３と同様、注目画素として設定し、第１の探索処理を用いて高精度に対応点を探索するが、探索部３３は、対象領域以外の領域において間引いて注目画素を設定し、第２の探索処理を用いて高速に対応点を探索する。そのため、計算量の増加を抑えつつ距離が算出される領域を増やすことが可能となる。なお、図１８（ｂ）では、対象領域以外の領域において、１画素飛ばしで注目画素が設定されているが、これに限定されず、３画素飛ばし、４画素飛ばしというように、種々の間引き幅で注目画素を間引いて設定してもよい。また、対象領域においても、対象領域以外の領域よりも小さな間引き幅で注目画素を設定してもよい。
【００８２】
このように、距離計測装置１ｄによれば、自己に近づいている可能性が高く、危険を回避するうえで重要となる物体までの距離が高精度に算出される一方、この物体が含まれない領域における距離が高速に算出されるため、効率良く距離が算出される領域を増大させることができる。
【００８３】
なお、実施の形態５において、対象領域以外の領域を第１の探索処理を用いて対応点を探索してもよい。この場合、対象領域以外の領域において注目画素が間引いて設定されているため、高速、かつ高精度に対応点を探索することができる。
【００８４】
次に、時刻ｔ＋１の画像と時刻ｔの画像において、時刻ｔ＋１の画像に対応点を探索する利点について、図２及び図３を用いて説明する。図２（ａ）に示す時刻ｔに撮像された画像に対して対応点を探索すると、中央のトラックの背面部位については「空とトラックの背面」の差分のうち、「空」の部分に対して対応点が探索されることになる。
【００８５】
一方、図２（ｂ）に示す時刻ｔ＋１に撮像された画像に対して対応点を探索すると、「空とトラックの背面」の差分のうち、「トラックの背面」に対して対応点が探索されることになる。これは、トラックがステレオカメラ（車両）に対して相対的に接近していることによる。したがって、距離計測を行う対象の画像は、時刻ｔ＋１で撮像された方が望ましいことが分かる。
【００８６】
また、図２（ａ）を時刻ｔ＋１、図２（ｂ）を時刻ｔとし、上記説明とは逆に、トラックが相対的に遠ざかっていく場合を考察すると、時刻ｔ＋１での画像に対して対応点を探索すると「空」に対して対応点が探索されてしまうが、この場合、トラックは、自車両から遠ざかっているため、危険性は少なく、距離を求める必要はない。したがって、時刻ｔ＋１の画像において対応点を探索することが好ましいことが分かる。
【００８７】
なお、実施の形態１〜５では、輝度差分画像を求めて、相対的に近づいている物体を示す領域を抽出したが、これに代えて、温度画像を用いて、車両前方にある物体を示す領域を抽出して対象領域を設定してもよい。この場合、カメラ１１，１２として、サーモセンサを採用すればよい。
【００８８】
図１９は、温度画像の一例を示した図であり、（ａ）は車両をとらえた温度画像を示し、（ｂ）は人物をとらえた温度画像を示している。図１９（ａ）に示すように、車両は道路面に対して異なる温度を有し、また、図１９（ｂ）に示すように人物は背景に対して異なる温度を有していると、異なる輝度で撮像されることになる。そのため、領域設定部２０１，２０２は、入力画像を、所定の閾値と比較することで２値化して、入力画像に対象領域を設定すればよい。
【００８９】
また、上記説明では、参照画像をカメラ１２により撮像されたもののみ取り扱ったが、これに限定されず、参照画像を撮像するための複数のカメラを設け、各カメラにより撮像された各参照画像から対応点を探索してもよい。この場合、領域設定部２０２をカメラの台数分、用意すればよい。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施の形態１による距離計測装置のブロック図を示している。
【図２】カメラにより撮像された基準画像の一例を示している。
【図３】図２（ａ），（ｂ）に対する輝度差分画像を示している。
【図４】図３に示す輝度差分画像を２値化した画像を示している。
【図５】ＰＯＣ実行部の機能ブロック図である。
【図６】ＰＯＣ値を示したグラフである。
【図７】ステレオ法による測距方法を説明する模式図である。
【図８】距離計測装置の動作を示すフローチャートである。
【図９】本発明の実施の形態２による距離計測装置のブロック図を示している。
【図１０】本発明の実施の形態３による距離計測装置のブロック図を示している。
【図１１】ラプラシアンフィルタを示した図である。
【図１２】（ａ）はカメラにより撮像された入力画像を示し、（ｂ）は入力画像の輝度差分画像を２値化した画像を示している。
【図１３】エッジ検出処理がされた基準画像を示している。
【図１４】エッジが検出された基準画像を２値化した画像と、輝度差分画像を２値化した画像とを合成した画像を示している。
【図１５】本発明の実施の形態３による距離計測装置のブロック図を示している。
【図１６】ＳＡＤを説明する模式図である。
【図１７】探索部の処理を説明する模式図である。
【図１８】実施の形態５における探索処理を説明する模式図である。
【図１９】温度画像の一例を示した図である。
【符号の説明】
【００９１】
１１，１２ カメラ
２１，２２ 画像データ保持部
２３ 抽出部
２４ 設定部
２５ エッジ検出部
３０ 距離計算部
３１，３３ 探索部
３２ 距離算出部
３３ 探索部
４０ 通知部
２０１，２０２ 領域設定部
【特許請求の範囲】
【請求項１】
複数の撮像手段を用いて撮像された画像を用いて物体までの距離を計測する距離計測装置において、
前記撮像手段により同一タイミングで撮像された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像及び前記参照画像から自己に対して相対的に移動している物体が撮像されている領域を抽出する抽出手段と、
前記抽出手段により抽出された領域から処理対象となる対象領域を求め、前記基準画像に設定する設定手段と、
前記基準画像において設定された対象領域内に注目画素を順次設定し、各注目画素の対応点を各参照画像から探索する探索手段と、
前記注目画素と前記対応点とを基に、前記物体までの距離を求める距離算出手段とを備えることを特徴とする距離計測装置。
【請求項２】
前記距離算出手段により算出された物体までの距離を基に、周囲の環境をユーザに認識させるための情報を通知する通知手段を更に備えたことを特徴とする請求項１記載の距離計測装置。
【請求項３】
前記探索手段は、前記入力画像のそれぞれに所定の大きさのウインドウを設定し、各ウインドウ内の画像を周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応点を探索することを特徴とする請求項１又は２記載の距離計測装置。
【請求項４】
前記探索手段は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することを特徴とする請求項３記載の距離計測装置。
【請求項５】
前記探索手段は、位相限定相関法を用いて対応点を探索することを特徴とする請求項４記載の距離計測装置。
【請求項６】
前記抽出手段は、各撮像手段において異なるタイミングで撮像された２枚の入力画像同士の輝度差分値を算出して輝度差分画像を算出し、算出した輝度差分画像を基に、前記基準画像及び前記参照画像から前記物体が撮像されている領域を抽出することを特徴とする請求項１〜５のいずれかに記載の距離計測装置。
【請求項７】
前記基準画像及び前記参照画像のエッジを検出するエッジ検出手段を更に備え、
前記設定手段は、前記抽出手段により抽出された領域に加えて、前記エッジ検出手段により検出されたエッジを前記対象領域として設定することを特徴とする請求項１〜６のいずれかに記載の距離計測装置。
【請求項８】
前記探索手段は、前記設定手段により設定された対象領域に対して第１の探索処理を実行して対応点を探索し、前記対象領域以外の領域に対して前記第１の探索処理よりも処理速度の速い第２の探索処理を実行することで対応点を探索することを特徴とする請求項１〜７のいずれかに記載の距離計測装置。
【請求項９】
前記探索手段は、前記対象領域よりも間引き間隔が大きくなるように前記対象領域以外の領域に注目画素を設定することを特徴とする請求項１〜８のいずれかに記載の距離計測装置。
【請求項１０】
前記設定手段は、各撮像手段において撮像された時間的に前後する２枚の入力画像のうち、後の入力画像に前記対象領域を設定することを特徴とする請求項１〜９のいずれかに記載の距離計測装置。
【請求項１】
複数の撮像手段を用いて撮像された画像を用いて物体までの距離を計測する距離計測装置において、
前記撮像手段により同一タイミングで撮像された複数の入力画像のうち、いずれか１枚の入力画像を基準画像、他の入力画像を参照画像とし、前記基準画像及び前記参照画像から自己に対して相対的に移動している物体が撮像されている領域を抽出する抽出手段と、
前記抽出手段により抽出された領域から処理対象となる対象領域を求め、前記基準画像に設定する設定手段と、
前記基準画像において設定された対象領域内に注目画素を順次設定し、各注目画素の対応点を各参照画像から探索する探索手段と、
前記注目画素と前記対応点とを基に、前記物体までの距離を求める距離算出手段とを備えることを特徴とする距離計測装置。
【請求項２】
前記距離算出手段により算出された物体までの距離を基に、周囲の環境をユーザに認識させるための情報を通知する通知手段を更に備えたことを特徴とする請求項１記載の距離計測装置。
【請求項３】
前記探索手段は、前記入力画像のそれぞれに所定の大きさのウインドウを設定し、各ウインドウ内の画像を周波数分解し、振幅成分を抑制した信号の類似度に基づいて対応点を探索することを特徴とする請求項１又は２記載の距離計測装置。
【請求項４】
前記探索手段は、高速フーリエ変換、離散フーリエ変換、離散コサイン変換、離散サイン変換、ウエーブレット変換、及びアダマール変換のいずれかを用いて周波数分解することを特徴とする請求項３記載の距離計測装置。
【請求項５】
前記探索手段は、位相限定相関法を用いて対応点を探索することを特徴とする請求項４記載の距離計測装置。
【請求項６】
前記抽出手段は、各撮像手段において異なるタイミングで撮像された２枚の入力画像同士の輝度差分値を算出して輝度差分画像を算出し、算出した輝度差分画像を基に、前記基準画像及び前記参照画像から前記物体が撮像されている領域を抽出することを特徴とする請求項１〜５のいずれかに記載の距離計測装置。
【請求項７】
前記基準画像及び前記参照画像のエッジを検出するエッジ検出手段を更に備え、
前記設定手段は、前記抽出手段により抽出された領域に加えて、前記エッジ検出手段により検出されたエッジを前記対象領域として設定することを特徴とする請求項１〜６のいずれかに記載の距離計測装置。
【請求項８】
前記探索手段は、前記設定手段により設定された対象領域に対して第１の探索処理を実行して対応点を探索し、前記対象領域以外の領域に対して前記第１の探索処理よりも処理速度の速い第２の探索処理を実行することで対応点を探索することを特徴とする請求項１〜７のいずれかに記載の距離計測装置。
【請求項９】
前記探索手段は、前記対象領域よりも間引き間隔が大きくなるように前記対象領域以外の領域に注目画素を設定することを特徴とする請求項１〜８のいずれかに記載の距離計測装置。
【請求項１０】
前記設定手段は、各撮像手段において撮像された時間的に前後する２枚の入力画像のうち、後の入力画像に前記対象領域を設定することを特徴とする請求項１〜９のいずれかに記載の距離計測装置。
【図１】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図６】
【図１２】
【図１３】
【図１４】
【図１９】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図６】
【図１２】
【図１３】
【図１４】
【図１９】
【公開番号】特開２００９−１８０６６２（Ｐ２００９−１８０６６２Ａ）
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願番号】特願２００８−２１２１３（Ｐ２００８−２１２１３）
【出願日】平成２０年１月３１日（２００８．１．３１）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願日】平成２０年１月３１日（２００８．１．３１）
【出願人】（０００００１２７０）コニカミノルタホールディングス株式会社 (4,463)
【Ｆターム（参考）】
[ Back to top ]