車両用環境認識装置および先行車追従制御システム
【課題】ステレオ撮像手段から出力された一対の画像中にスミアが発生しているか否かを的確に判定することが可能で、処理を簡易かつ的確に行うことが可能な車両用環境認識装置を提供する。
【解決手段】車両用環境認識装置1は、自車両Aの周囲を撮像して基準画像T等を出力するステレオ撮像手段2と、基準画像Tの各画素ブロックPBごとにステレオマッチング処理を行って視差dp等を対応づけるステレオマッチング手段6と、視差dp等に基づいて基準画像T中から先行車両Vahを検出する先行車両検出手段11と、無限遠を含む遠方距離に対応する遠方視差閾値以下の視差dp等が算出された画素ブロックPBが属する基準画像Tの縦方向の画素列Dnの各画素の輝度値p1ijの探索を行い、所定の輝度値Pth以上の輝度値の画素の数が画素列Dnの全画素数の所定の割合以上存在する場合にスミアが発生していると判定するスミア判定手段12と、を備える。
【解決手段】車両用環境認識装置1は、自車両Aの周囲を撮像して基準画像T等を出力するステレオ撮像手段2と、基準画像Tの各画素ブロックPBごとにステレオマッチング処理を行って視差dp等を対応づけるステレオマッチング手段6と、視差dp等に基づいて基準画像T中から先行車両Vahを検出する先行車両検出手段11と、無限遠を含む遠方距離に対応する遠方視差閾値以下の視差dp等が算出された画素ブロックPBが属する基準画像Tの縦方向の画素列Dnの各画素の輝度値p1ijの探索を行い、所定の輝度値Pth以上の輝度値の画素の数が画素列Dnの全画素数の所定の割合以上存在する場合にスミアが発生していると判定するスミア判定手段12と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用環境認識装置および先行車追従制御システムに係り、特に、ステレオ撮像手段で撮像された一対の画像に対してステレオマッチング処理を行って周囲の環境を認識する車両用環境認識装置およびそれを備える先行車追従制御システムに関する。
【背景技術】
【0002】
近年、ステレオカメラからなるステレオ撮像手段により撮像された一対の画像に対して画像処理を行い、自車両の前方やその周囲の環境や先行車両を認識し、それに基づいて先行車両に対する追従走行制御を行う先行車追従機能付きクルーズコントロール(Adaptive Cruise Control。以下ACCと略称する)制御を行うACC装置が開発されている。
【0003】
ACC装置では、先行車両が存在しない場合には自車両を設定された速度で定速走行させ、先行車両が存在する場合には自車両を先行車両に追従させるように自車両のアクセルスロットルやブレーキ機構等を自動的に適切に操作する制御が行われる。そのため、ACC装置には先行車両を的確に検出できることが求められる。
【0004】
ところで、ステレオ撮像手段としてCCD(Charge Coupled Device)イメージセンサ等を用いると、例えば逆光の環境下で撮像したような場合、画像中に、周囲より極端に明るい筋状のスミア(smear。白飛び等とも言う。)が画像の縦方向に延在するように撮像される場合がある。例えば図15は、標高が高い場所で撮像された画像であるが、小高い山Mの山頂付近に沈みかけている太陽Su(強いフレア(ハレーション)のために輪郭さえ撮像されていない。)が極端に明るく撮像され、画像中の太陽Suの下方部分に非常に大きなスミアSmが発生している。
【0005】
このような状況では、ステレオ撮像手段で撮像された一対の画像に対するステレオマッチングがうまく行かず先行車両Vahが検出できなくなったり(すなわちロストしたり)、ステレオマッチングで実際とは異なる誤った距離が検出されたりする。そして、先行車両Vahがロストしたり先行車両Vahまでの距離が誤検出された状態でACC装置を作動させ続けると、自車両が先行車両Vahに向かって接近して行って追突するなど、非常に危険な状況となる。
【0006】
このような事態が生じないようにするためには、まず、画像中にスミアが発生しているか否かを的確に判定することが必要となる。そこで、撮像された画像の全画素の輝度値、或いは画像中に設定した監視領域内の各画素の輝度値を監視して、輝度値が飽和した状態或いはそれに近い状態になっている画素がある場合にスミアの発生を判定する装置が開発されている(例えば特許文献1〜4等参照)。
【特許文献1】特開2000−207563号公報
【特許文献2】特開2001−28745号公報
【特許文献3】特開2001−43377号公報
【特許文献4】特開2002−22439号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、全画像中或いは画像中の監視領域内の各画素の輝度値だけを監視する場合、例えば太陽光を反射するなどして白く輝く柱状の物体が画像を上から下まで貫くように撮像された場合にもスミアが発生していると誤判定されてしまう可能性があり、ACC装置が誤作動等を起こす可能性がある。
【0008】
また、たとえ全画像ではなく画像中の監視領域内だけを探索するように構成しても、監視領域内の全画素の輝度値を常時監視する処理には時間がかかり、処理時間が長くなるとともに、処理装置の負担が増大するという問題もある。
【0009】
本発明は、このような事情に鑑みてなされたものであり、ステレオ撮像手段から出力された一対の画像中にスミアが発生しているか否かを的確に判定することが可能な車両用環境認識装置を提供することを目的とする。また、この処理を簡易かつ的確に行うことが可能な車両用環境認識装置を提供することを目的とする。さらに、スミアが発生している場合に適切に対処し得る先行車追従制御システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
前記の問題を解決するために、第1の発明は、車両用環境認識装置において、
一対のカメラで自車両の周囲の環境を撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
前記基準画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像とのステレオマッチング処理を行い、前記基準画像の前記各画素ブロックに算出した視差または距離をそれぞれ対応づけるステレオマッチング手段と、
前記ステレオマッチング手段が算出した前記視差または前記距離に基づいて前記基準画像中から先行車両を検出する先行車両検出手段と、
前記距離として無限遠を含む遠方距離閾値以上の距離または前記視差として前記遠方距離閾値に対応する遠方視差閾値以下の視差が算出された前記画素ブロックが属する前記基準画像の縦方向に延在する画素列の各画素の輝度値の探索を行い、所定の輝度値以上の輝度値を有する前記画素の数が前記画素列に属する全画素数の所定の割合以上存在する場合にスミアが発生していると判定するスミア判定手段と、
を備えることを特徴とする。
【0011】
第2の発明は、第1の発明の車両用環境認識装置において、前記スミア判定手段は、前記画素列に前記基準画像の縦方向に延在する1画素幅の画素列が複数含まれる場合には、前記1画素幅の画素列のそれぞれについて前記探索を行い、複数の前記1画素幅の画素列のうち、少なくとも1列の前記1画素幅の画素列において、前記所定の輝度値以上の輝度値を有する前記画素の数が前記1画素幅の画素列に属する全画素数の前記所定の割合以上存在すればスミアが発生していると判定することを特徴とする。
【0012】
第3の発明は、第1または第2の発明の車両用環境認識装置において、前記スミア判定手段は、前記探索を行う際、前記画素列の前記基準画像における下端の画素から上方に所定個数の画素の前記輝度値の探索を行い、前記所定の輝度値以上の輝度値を有する前記画素の数が前記所定個数の画素の画素数の所定の割合以上存在する場合にスミアが発生していると判定することを特徴とする。
【0013】
第4の発明は、第1から第3のいずれかの発明の車両用環境認識装置において、
前記先行車両検出手段は、前記ステレオマッチング手段により前記視差または前記距離が前記各画素ブロックにそれぞれ対応づけられた前記基準画像を、縦方向に延在する複数の区分に分割し、前記各区分ごとにヒストグラムを作成し、前記各区分に属する前記画素ブロックの前記視差または前記距離を当該区分に対応する前記ヒストグラムに投票して代表視差または代表距離を抽出し、前記各区分ごとの前記代表視差または前記代表距離に基づいて前記先行車両を検出し、
前記スミア判定手段は、前記各区分ごとに前記ヒストグラムへの投票結果を監視し、前記ヒストグラムにおける前記遠方距離閾値以上の距離または前記遠方視差閾値以下の視差の投票数が所定の閾値以上である区分について、前記探索を行うことを特徴とする。
【0014】
第5の発明は、先行車追従制御システムにおいて、
第1から第4のいずれかの発明の車両用環境認識装置と、
自車両に対して、前記先行車両検出手段により検出された前記先行車両の情報に基づいて先行車追従制御を行う先行車追従制御装置と、を備え、
前記先行車追従制御装置は、前記車両用環境認識装置の前記スミア判定手段によりスミアが発生していると判定された場合には、自車両に対する前記先行車追従制御を一時停止することを特徴とする。
【0015】
第6の発明は、第5の発明の先行車追従制御システムにおいて、前記先行車追従制御装置は、前記スミア判定手段により所定数のフレームで連続してスミアが発生していると判定された場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする。
【0016】
第7の発明は、第5の発明の先行車追従制御システムにおいて、前記先行車追従制御装置は、前記スミア判定手段によりスミアが発生していると判定されたフレームではカウント数を増加させ、前記スミア判定手段によりスミアが発生していると判定されなかったフレームではカウント数を減少させるカウンタを備え、前記カウンタのカウント数が所定の閾値以上である場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする。
【0017】
第8の発明は、第5から第7のいずれかの発明の先行車追従制御システムにおいて、前記先行車追従制御装置は、自車両に対する前記先行車追従制御を一時停止した場合に、自車両のドライバに対して前記先行車追従制御を停止したことを報知することを特徴とする。
【発明の効果】
【0018】
第1の発明によれば、スミア判定手段は、ステレオマッチング処理により、距離として無限遠を含む遠方距離閾値以上の距離、または視差として前記遠方距離閾値に対応する遠方視差閾値以下の視差が算出された画素ブロックが属する基準画像の縦方向に延在する画素列についてスミアの発生の有無を判定する。そのため、前述したように、例えば太陽光を反射するなどして白く輝く柱状の物体が画像を上から下まで貫くように撮像された場合には、その物体に対しては、ステレオマッチング処理により無限遠を含む遠方距離に対応する視差または距離の値は算出されず、スミア判定手段は、このような物体をスミアであると誤判定することが的確に防止して、スミアの発生の有無を的確に判定することが可能となる。
【0019】
また、画像上の縦方向に延在する単数または複数の画素列において上から下まで貫くように発生するというスミアの特徴により、無限遠を含む遠方距離に対応する値が算出された画素ブロックが属する基準画像の縦方向に延在する画素列についてスミアの発生の有無を判定することで、十分的確にスミアの発生の有無を判定することが可能となる。
【0020】
さらに、スミア判定手段は、ステレオマッチング処理により画素ブロックの視差または距離として無限遠を含む遠方距離に対応する値が算出された場合にのみ、スミアの発生の有無を判定する。しかも、その画素ブロックが属する基準画像上の画素列についてのみ、各画素の輝度値の探索を行う。そのため、基準画像の全画像や、基準画像中の監視領域内を常時探索する場合に比べて、スミアの発生の有無を判定する判定処理の負担が格段に軽減されて処理が簡易化されるとともに、処理時間を短縮することが可能となる。
【0021】
第2の発明によれば、スミアの上記特徴により、画素の輝度値を探索する基準画像の縦方向に延在する画素列に1画素幅の画素列が複数含まれる場合には、そのうちの1列の画素列が上記の条件を満たせばスミアが発生しているといえるため、1画素幅の各画素列についてそれぞれ探索を行い、少なくとも1列の画素列において上記の条件が満たされた場合にスミアが発生していると判定することで、前記発明の効果がより的確に発揮される。
【0022】
第3の発明によれば、基準画像や比較画像の上方部分には、自車両前方の車両等よりもさらに高い位置にある物体が撮像されるため、基準画像の上方部分の画素ブロックでは、スミアが発生していない場合でも、ステレオマッチング処理により視差または距離として無限遠を含む遠方距離に対応する値が算出される場合がある。一方、スミアは上記のように画像を上から下まで貫くように発生するという特徴を有する。そのため、画素列の上方部分を除く部分のみについて探索を行うように構成することで、上記のような基準画像の上方部分の悪影響を回避することが可能となり、前記各発明の効果がより的確に発揮される。
【0023】
第4の発明によれば、スミア判定手段は、先行車両検出手段で行われる視差や距離の情報の各区分のヒストグラムへの投票状況を監視し、ヒストグラムにおける無限遠を含む遠方距離に相当する視差や距離の投票数が所定の閾値以上である場合にのみ、かつ当該区分についてのみ、前記探索を行うため、前記各発明の効果がより効果的に発揮される。
【0024】
第5の発明によれば、上記のように車両用環境認識装置のスミア判定手段が的確にスミアが発生しているか否かを判定するため、先行車追従制御システムの先行車追従制御装置は、それに基づいてスミアが発生している場合に適切に先行車追従制御を一時停止させることが可能となり、スミアの発生時に適切に対処することが可能となる。
【0025】
第6の発明によれば、スミアが数フレームで連続して発生していると判定された場合に自車両に対する先行車追従制御を一時停止するようにすることで、車両用環境認識装置のスミア判定手段が万が一スミアの発生を誤判定したとしても、スミア判定手段の判定を十分に確認したうえで自車両に対する先行車追従制御を一時停止させることが可能となり、前記各発明の効果がより的確に発揮される。
【0026】
第7の発明によれば、スミアが発生していると判定されたフレームのカウント数を増減させてそのカウント数が所定の閾値以上である場合に、自車両に対する先行車追従制御を一時停止するようにすることで、車両用環境認識装置のスミア判定手段が万が一スミアの発生を誤判定したとしても、スミア判定手段の判定を十分に確認したうえで自車両に対する先行車追従制御を一時停止させることが可能となり、前記各発明の効果がより的確に発揮される。
【0027】
第8の発明によれば、前記各発明の効果に加え、自車両のドライバが先行車追従制御が一時停止されたことに気づかないと、先行車追従制御が作動していると誤信して例えば自車両に対する制動操作を怠り、先行車両に追突する等の事態が生じる可能性があるが、先行車追従制御装置の制御手段が自車両に対する先行車追従制御を一時停止した場合に、ドライバに対して例えば音声を発声させたり画面上に表示させたりランプを点灯させるなどして先行車追従制御が一時停止されたことをドライバに報知することで、ドライバの注意を喚起することが可能となり、上記の事態の発生を回避することが可能となる。
【発明を実施するための最良の形態】
【0028】
以下、本発明に係る車両用環境認識装置および先行車追従制御システムの実施の形態について、図面を参照して説明する。
【0029】
[車両用環境認識装置]
本実施形態に係る車両用環境認識装置1は、図1に示すように、主にステレオ撮像手段2や変換手段3、ステレオマッチング手段6、処理手段9等で構成されている。
【0030】
本実施形態では、ステレオ撮像手段2からステレオマッチング手段6までの構成は、本願出願人により先に提出された特開平5−114099号公報、特開平5−265547号公報、特開平6−266828号公報、特開平10−283461号公報、特開平10−283477号公報、特開2006−72495号公報等に記載された車外監視装置等をベースに構成されている。以下、簡単に説明する。
【0031】
ステレオ撮像手段2は、車幅方向に一定の距離をあけて配置された一対の撮像手段であるメインカメラ2aおよびサブカメラ2bを備えて構成されており、自車両の周囲の環境を撮像して一対の画像(基準画像および比較画像)を撮像するようになっている。本実施形態では、ステレオ撮像手段2として、互いに同期が取られたCCDイメージセンサが内蔵されたステレオカメラが用いられている。
【0032】
ステレオ撮像手段2で撮像され出力された一対の画像は、変換手段3であるA/Dコンバータ3a、3bでアナログ画像からそれぞれ画素ごとに例えば0〜255のグレースケール等の所定の輝度階調の輝度値を有するデジタル画像にそれぞれ変換され、画像補正部4でずれやノイズの除去、輝度値の補正等の画像補正が行われて、画像データメモリ5に格納されるとともに、処理手段9に送信されるようになっている。
【0033】
また、画像補正が行われた一対の撮像画像は、ステレオマッチング手段6にも送信されるようになっている。ステレオマッチング手段6は、イメージプロセッサ7と距離データメモリ8とを備えており、イメージプロセッサ7では、ステレオマッチング処理が行われるようになっている。
【0034】
具体的には、イメージプロセッサ7は、図2に示すように、基準画像T上に例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックPBを設定し、基準画素ブロックPBに対応する比較画像Tc中のエピポーララインEPL上の基準画素ブロックPBと同形の各比較画素ブロックPBcについて下記(1)式に従って当該基準画素ブロックPBとの輝度パターンの差異であるSAD値を算出し、SAD値が最小の比較画素ブロックPBcを特定するようになっている。
【0035】
【数1】
【0036】
なお、p1stは基準画素ブロックPB中の各画素の輝度値を表し、p2stは比較画素ブロックPBc中の各画素の輝度値を表す。また、上記の総和は、基準画素ブロックPBや比較画素ブロックPBcが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。
【0037】
イメージプロセッサ7は、このようにして基準画像Tの各基準画素ブロックPBについて、特定した比較画素ブロックPBcの比較画像Tc上の位置と当該基準画素ブロックPBの基準画像T上の位置から視差dpを算出するようになっている。本実施形態では、イメージプロセッサ7は、例えば図3に例示する基準画像Tの各基準画素ブロックPBに上記のようにして算出した視差dpをそれぞれ対応づけるようになっている。
【0038】
以下、視差dpが各基準画素ブロックPBにそれぞれ対応づけられた基準画像Tを距離画像Tzという。例えば図3の基準画像Tの各基準画素ブロックPBに視差dpがそれぞれ対応づけられて形成された距離画像Tzは図4に示すような画像となる。イメージプロセッサ7は、このようにして形成した距離画像Tzのデータを距離データメモリ8に送信して格納するとともに、処理手段9に送信するようになっている。
【0039】
なお、この視差dpおよび距離画像Tz上の座標(i,j)と、実空間上の位置(X,Y,Z)とは、三角測量の原理に基づいて以下のように対応づけられる。具体的には、実空間上においてメインカメラ2aおよびサブカメラ2bの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にX軸、車高方向にY軸、車長方向すなわち距離方向にZ軸を取ると、実空間上の点(X,Y,Z)と、視差dpと距離画像Tz上の座標(i,j)との関係は、
X=CD/2+Z×PW×(i−IV) …(2)
Y=CH+Z×PW×(j−JV) …(3)
Z=CD/(PW×(dp−DP)) …(4)
と表すことができ、(i,j,dp)と(X,Y,Z)とは1対1に対応づけられる。
【0040】
ここで、CDはメインカメラ2aとサブカメラ2bとの間隔、PWは1画素当たりの視野角、CHはメインカメラ2aとサブカメラ2bの取り付け高さ、IVおよびJVは自車両正面の無限遠点のi座標およびj座標、DPは消失点視差を表す。
【0041】
また、上記のように、視差dpと実空間上の距離Zとは上記(4)式を介して1対1に対応づけられる。そのため、本実施形態では、上記のように、基準画像Tの各基準画素ブロックPBに視差dpをそれぞれ対応づけて距離画像Tzを形成するが、距離画像Tzを形成する時点で、各基準画素ブロックPBごとの視差dpを距離Zの情報に変換し、基準画像Tの各基準画素ブロックPBにそれぞれ距離Zの情報を対応づけて距離画像Tzを形成するように構成することも可能である。
【0042】
処理手段9(図1参照)は、図示しないCPUやROM、RAM、入出力インターフェース等がバスに接続されて構成されるコンピュータに構成されている。また、処理手段9には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【0043】
処理手段9は、物体検出手段10と、先行車両検出手段11と、スミア判定手段12とを備えており、さらに図示しないメモリを備えている。また、例えば車線検出手段等の他の機能を備えるように構成することも可能である。処理手段9の各手段には、センサ類Qから必要なデータが入力されるようになっている。
【0044】
物体検出手段10は、ステレオ撮像手段2により撮像された基準画像T中から物体を検出するようになっている。本実施形態では、物体検出手段10における処理は、前記各公報に記載された車外監視装置等における処理をベースに構成されている。以下、簡単に説明する。
【0045】
物体検出手段10は、例えば図4に示した距離画像Tzを図5に示すように縦方向に延在する所定幅の短冊状の区分Dnに分割する。そして、図6に示すように、各区分DnごとにヒストグラムHnを作成し、各区分Dnに属する各基準画素ブロックPBの視差dpのうち道路面より上方に存在する視差dpをヒストグラムHnに投票し、例えばその最頻値dpnをその区分の代表視差として抽出する。これを全区分についてそれぞれ行う。
【0046】
そして、物体検出手段10は、各区分Dnの代表視差に基づいて前記(2)〜(4)式から物体の実空間上の座標(X,Y,Z)を算出するようになっている。算出された物体の座標を実空間上にプロットすると、各物体の座標は図7に示すように前方の物体の自車両Aに面した部分に対応する部分に多少ばらつきを持って各点としてプロットされる。
【0047】
物体検出手段10は、このようにプロットされる各点について、実空間上の各点の隣接する点とのX軸方向の距離やZ軸方向の距離、グループ化した場合の左端の点から右端の点までのX軸方向の全長等を検索しながら、それらの値がそれぞれ設定された閾値以内である点をそれぞれグループにまとめ、図8に示すようにそれぞれのグループ内の各点を直線近似して物体を検出するようになっている。
【0048】
また、本実施形態では、物体検出手段10は、このようにして検出した各物体を図9に示すように基準画像T上で矩形状の枠線で包囲するようにして検出するようになっている。なお、図8や図9において、ラベルOやラベルSは物体の自車両Aに対向する面の種別を表し、ラベルOは物体の背面、ラベルSは物体の側面が検出されていることを表す。
【0049】
物体検出手段10は、このようにして検出した各物体の情報をメモリに保存するとともに、必要に応じて外部に出力するようになっている。
【0050】
先行車両検出手段11は、図10に示すように自車両Aの挙動に基づいて自車両Aが今後進行するであろう軌跡を走行軌跡Lestとして推定し、その走行軌跡Lestを中心とする自車両Aの車幅分の領域を自車両Aの進行路Restとして算出するようになっている。
【0051】
自車両Aの走行軌跡Lestは、自車両Aの車速Vやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記(5)式または下記(6)、(7)式に従って算出される自車両Aの旋回曲率Cuaに基づいて算出することができる。なお、下記の各式におけるReは旋回半径、Asfは車両のスタビリティファクタ、Lwbはホイールベースである。
Cua=γ/V …(5)
Re=(1+Asf・V2)・(Lwb/δ) …(6)
Cua=1/Re …(7)
【0052】
先行車両検出手段11は、続いて、自車両Aの進行路Rest上に存在する物体の中で自車両Aに最も近接する物体を自車両Aの前方を走行する先行車両Vahとして検出するようになっている。例えば図9や図10では、車両O3が先行車両Vahとして検出される。
【0053】
先行車両検出手段11は、このようにして検出した先行車両Vahの自車両からの距離Zやその他必要な情報をメモリに保存するとともに、後述する先行車追従制御装置21に送信するようになっている。
【0054】
なお、本実施形態では、先行車両検出手段11は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した物体とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、先行車両検出手段11は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。
【0055】
また、上記の説明では、物体検出手段10と先行車両検出手段11とを分けて説明したが、物体検出手段10における物体検出処理と先行車両検出手段11における先行車両検出処理は一連の処理として常時行われるようになっている。
【0056】
スミア判定手段12は、本実施形態では、物体検出手段10における距離画像Tzを分割する各区分Dnに属する各基準画素ブロックPBの視差dpの、ヒストグラムHnへの投票状況を監視し、当該ヒストグラムHnにおける無限遠を含む遠方距離に相当する視差dpの投票数を監視するようになっている。
【0057】
これは、前述した例えば太陽光を反射するなどして白く輝く柱状の物体が画像を上から下まで貫くように撮像された場合には、ステレオマッチング処理で自車両から数mや数十m等の有限の距離に対応する視差dpの値が算出されるのに対し、逆光におけるスミアの場合には、ステレオマッチング処理で自車両から無限遠を含む遠方距離に対応する視差dpの値が算出されるという知見に基づくものである。これは、スミアが自車両から無限遠の距離にあると同視できる太陽光を反映しているためである。
【0058】
また、自車両から無限遠を含む遠方距離に対応する視差dpの値とは、上記(4)式の左辺の距離Zに無限大∞を代入して変形すると、
∞=CD/(PW×(dp−DP))
dp−DP=CD/(PW×∞)=0
すなわち、
dp=DP
となることからも分かるように、消失点視差DPやそれに近い値のことである。
【0059】
このことから、本実施形態では、ステレオマッチング処理により算出された視差dpの値に、無限遠を含む遠方距離に対応する遠方視差閾値を設け、遠方視差閾値を例えば無限遠に対応する視差DPに近い値であるDP+1に設定し、視差dpが遠方視差閾値であるDP+1以下である基準画素ブロックPBを、無限遠を含む遠方距離に対応する視差dpの値が算出された基準画素ブロックPBとして検出するようになっている。
【0060】
なお、前述したように、基準画像Tの各基準画素ブロックPBにそれぞれ距離Zの情報を対応づけて距離画像Tzを形成する場合には、無限遠を含む遠方距離を規定する距離Zの閾値として遠方距離閾値を設定し、距離Zが遠方距離閾値以上である基準画素ブロックPBを、無限遠を含む遠方距離に対応する距離Zの値が算出された基準画素ブロックPBとして検出するように構成する。この場合、遠方距離閾値は、例えば前述した遠方視差閾値として設定される視差DP+1に対応する距離の値が設定される。
【0061】
本実施形態では、具体的には、スミア判定手段12は、図6に示したように視差dpの投票が行われる各ヒストグラムHnにおける投票状況を監視し、図11に示すように、ヒストグラムHnにおいて視差dpの値がDP+1以下の範囲の視差dpの投票数を監視して、当該範囲の視差dpの投票数の合計値が所定の閾値以上になった場合に、当該ヒストグラムHnに対応する距離画像Tz上の区分Dnをスミア候補とするようになっている。
【0062】
なお、遠方視差閾値や遠方距離閾値をどのような値に設定するか、或いは投票数の合計値に関する上記の所定の閾値をどのような値に設定するかは、車両用環境認識装置1に用いられるステレオ撮像手段2のCCDイメージセンサ等の性能等に依存するため、適宜、適切な値がそれぞれ設定される。
【0063】
スミア判定手段12は、続いて、上記の条件が満たされてスミア候補とされた距離画像Tzの当該区分Dnと同じ基準画像T上の領域に画素列に設定するようになっている。距離画像Tz上の区分Dnが縦方向に延在する4画素幅の画素列であれば、図12に示すように、基準画像Tの同じ位置に4画素幅の画素列Dnをあてはめて設定する。なお、図12では、1画素幅が実際より大きく表現されている。
【0064】
ここで、4画素幅の画素列Dn全体を対象としてスミアが発生しているか否かの判定を行うように構成することも可能である。しかし、本実施形態では、スミア判定手段12は、4画素幅の画素列Dnに含まれる1画素幅の各画素列Dn1〜Dn4(図12参照)についてスミアが発生しているか否かの判定を行うように構成されている。
【0065】
具体的には、スミア判定手段12は、1画素幅の各画素列Dn1〜Dn4について、それぞれ画素列の各画素の輝度値p1ijの探索を行い、所定の輝度値pth以上の輝度値を有する高輝度の画素の数が、当該1画素幅の画素列に属する全画素数の所定の割合以上存在するか否かを検出するようになっている。
【0066】
ここで、前述したように基準画像Tの各画素の輝度値p1ijが0〜255のグレースケールで設定される場合には、上記の所定の輝度値pthは例えば輝度値の飽和状態に近い240等の高い値に設定される。また、上記の所定の割合は例えば75%等に設定される。
【0067】
そして、スミア判定手段12は、4画素幅の画素列Dn中の1画素幅の各画素列Dn1〜Dn4のうち、少なくとも1列の画素列で上記の条件が満たされる場合に、スミアが発生していると判定するようになっている。
【0068】
スミア判定手段12は、このようにしてスミアが発生していると判定した場合には、後述する先行車追従制御装置21に対してスミア発生信号を送信するようになっている。
【0069】
[先行車追従制御システム]
本実施形態に係る先行車追従制御システム20は、図13に示すように、上記の車両用環境認識装置1と、先行車追従制御装置21と、報知装置24とで構成されている。
【0070】
先行車追従制御装置21は、マイクロコンピュータ等からなる制御手段22と、制御手段22からの指示に基づいて自車両のアクセルスロットルやブレーキ機構等を操作するアクチュエータ等からなる応動部23とで構成されている。
【0071】
先行車追従制御装置21の制御手段22は、車両用環境認識装置1の先行車両検出手段11から先行車両Vahの自車両からの距離Zの情報等が送信されてくると、それに基づいて応動部23を指示して自車両を先行車両Vahに追従させるようになっている。その際、自車両と先行車両Vahとが走行中であれば、先行車両Vahとの車間距離を保つ状態で自車両を先行車両Vahに追従させ、先行車両Vahが停止した場合には、先行車両Vahの後方の先行車両Vahから所定の距離だけ離れた位置で自車両を停止させる。
【0072】
制御手段22は、このように、車両用環境認識装置1の先行車両検出手段11から送信されてくる先行車両Vahの情報に基づいて、自車両に対して、上記の処理を含む公知の先行車追従制御を行うようになっている。
【0073】
一方、先行車追従制御装置21の制御手段22は、車両用環境認識装置1のスミア判定手段12から前述したスミア発生信号が送信されてくると、上記の自車両に対する先行車追従制御を一時的に停止するようになっている。
【0074】
その際、スミア判定手段12がスミアの発生を誤判定してスミア発生信号を送信している可能性がないとは言い切れないため、例えば、スミア判定手段12から所定数のフレーム(すなわち所定数のサンプリング周期)で連続してスミア発生信号が送信されてきた場合に自車両に対する先行車追従制御を一時的に停止するように制御手段22を構成することが可能である。
【0075】
しかし、逆に、基準画像T中にスミアが発生している状況であるにもかかわらず、スミア判定手段12がスミアは発生していないと判定する可能性がないとも言い切れない。その場合、それまでにスミア発生信号が連続して送信されてきても、前述した所定数のフレームに達しないうちに上記の事態が生じてスミア発生信号の送信が途絶えてしまえば、連続フレーム数がリセットされてしまう。そのため、再度所定数のフレームに達するまで先行車追従制御が一時停止されず、スミアが発生しているにもかかわらず先行車追従制御が少なくともしばらくの間一時停止されない事態が生じることになる。
【0076】
本実施形態では、このような事態を回避するため、先行車追従制御装置21の制御手段22が、スミア発生信号が送信されてきたフレームではカウント数を増加させ、スミア発生信号が送信されなかったフレームではカウント数を減少させる図示しないカウンタを備えるように構成されている。そして、制御手段22は、図14に示すように、カウンタのカウント数Cが所定の閾値Cth以上である場合に、自車両に対する先行車追従制御を一時停止するようになっている。
【0077】
また、自車両のドライバが、先行車追従制御が一時停止されたことに気づかないと、先行車追従制御が作動していると誤信して例えば自車両に対する制動操作を怠り、先行車両Vahに追突する等の事態が生じる可能性がある。そのため、本実施形態では、先行車追従制御装置21の制御手段22は、自車両に対する先行車追従制御を一時停止した場合には、例えば報知装置24の図示しないスピーカから音声を発声させたり図示しない画面上に表示させたり或いは図示しない所定のランプを点灯させるなどして、先行車追従制御が一時停止されたことをドライバに報知するようになっている。
【0078】
[作用]
次に、本実施形態に係る車両用環境認識装置1および先行車追従制御システム20の作用について説明する。
【0079】
車両用環境認識装置1では、メインカメラ2aとサブカメラ2b等で構成されるステレオ撮像手段2で自車両の周囲の環境が撮像され、出力された基準画像Tおよび比較画像Tcに基づいてステレオマッチング手段6のイメージプロセッサ7でステレオマッチング処理が行われる。
【0080】
そして、ステレオマッチング処理により得られた距離画像Tzに基づいて処理手段9の物体検出手段10と先行車両検出手段11で基準画像T中から物体や先行車両Vahが検出される。この物体検出や先行車両検出は、スミアの発生の有無にかかわらず常時行われ、それらの情報が先行車追従制御装置21の制御手段22や必要に応じて他のECU等の装置に常時送信される。
【0081】
また、スミア判定手段12は、上記のように、物体検出手段10で行われる距離画像Tzを分割する各区分Dnに属する各基準画素ブロックPBの視差dpの、ヒストグラムHnへの投票状況を監視する。
【0082】
そして、ヒストグラムHn中に無限遠を含む遠方距離に相当する遠方視差閾値DP+1以下の範囲の視差dpの投票数の合計値が所定の閾値以上にならなければ、何らの処理も行わない。すなわち、スミア発生信号は送信されない。
【0083】
一方、図11に示したように、ヒストグラムHn中の遠方視差閾値DP+1以下の範囲の視差dpの投票数の合計値が所定の閾値以上になった場合に、初めてスミア判定手段12は当該ヒストグラムHnに対応する距離画像Tz上の区分Dnをスミア候補とする。
【0084】
そして、当該区分Dnと同じ基準画像T上の領域に画素列Dnを設定し、その画素列Dn中の1画素幅の各画素列Dn1〜Dn4(図12参照)について、今度は、各画素の輝度値p1ijに着目し、所定の輝度値pth以上の輝度値を有する高輝度の画素の数が当該1画素幅の画素列に属する全画素数の所定の割合以上存在するか否かを検出する。
【0085】
そして、スミア判定手段12は、4画素幅の画素列Dn中の1画素幅の各画素列Dn1〜Dn4のうち、少なくとも1列の画素列で上記の条件が満たされる場合にスミアが発生していると判定し、先行車追従制御装置21の制御手段22にスミア発生信号を送信する。
【0086】
このように、スミア判定手段12は、通常の状態すなわちスミアが発生していないような状態ではヒストグラムHnへの投票状況を監視するだけであり、スミアが発生している可能性がある状態すなわちヒストグラムHnへの無限遠を含む遠方距離に相当する遠方視差閾値以下の視差dpの投票数が増えてきた段階で、初めて基準画像Tにあてはめて設定した画素列Dnの領域についてのみ、画素の輝度値p1ijを探索する。
【0087】
ところで、スミアは、図15や図12に示したスミアSmは非常に太く大きく撮像されているが、基準画像T上で1画素幅や2、3画素幅程度に撮像される場合もある。また、スミアは、被写体の発光とほぼ同じ幅の直線状に発生し、しかも画像を上から下まで貫くように発生するという特徴がある。なお、図15や図12に示したスミアSmの上方の幅広になっている部分は、太陽Suの非常に強い光によるフレア(ハレーション)である。
【0088】
従って、本実施形態のように、基準画像T上にあてはめて設定された画像の縦方向に延在する画素列Dnの領域や、その中の1画素幅の各画素列Dn1〜Dn4の画素の輝度値p1ijを探索すれば、十分的確にスミアの発生の有無を判定することができる。
【0089】
一方、先行車追従制御システム20の先行車追従制御装置21では、車両用環境認識装置1のスミア判定手段12から前述したスミア発生信号が送信されてくると、自車両に対する先行車追従制御を一時的に停止する。
【0090】
その際、スミアが数フレームで連続して発生していると判定された場合や、スミアが発生していると判定されたフレームのカウント数を増減させてそのカウント数Cが所定の閾値Cth以上である場合に、自車両に対する先行車追従制御を一時停止するようにすれば、車両用環境認識装置1のスミア判定手段12のスミア発生の判定を十分に確認したうえで自車両に対する先行車追従制御を一時的に停止することが可能となる。
【0091】
[効果]
以上のように、本実施形態に係る車両用環境認識装置1によれば、スミア判定手段12は、ステレオマッチング処理により視差dpまたは距離Zとして、無限遠を含む遠方距離に相当する遠方距離閾値以上の距離または遠方距離閾値に対応する遠方視差閾値以下の視差が算出された基準画素ブロックPBが属する基準画像Tの縦方向に延在する画素列Dn(または画素列Dn1〜Dn4)についてスミアの発生の有無を判定する。
【0092】
そのため、前述したように、例えば太陽光を反射するなどして白く輝く柱状の物体が画像を上から下まで貫くように撮像された場合には、その物体に対してはステレオマッチング処理により無限遠を含む遠方距離に対応する視差dpの値が算出されず、スミア判定手段12は、このような物体をスミアであると誤判定することが的確に防止して、スミアの発生の有無を的確に判定することが可能となる。
【0093】
また、画像上に発生したスミアの上記の特徴により、無限遠を含む遠方距離に対応する値が算出された基準画素ブロックPBが属する基準画像Tの縦方向に延在する画素列Dn(または画素列Dn1〜Dn4)についてスミアの発生の有無を判定することで、十分的確にスミアの発生の有無を判定することが可能となる。
【0094】
さらに、スミア判定手段12は、ステレオマッチング処理により基準画素ブロックPBの視差dp(または距離Z)として無限遠を含む遠方距離に対応する値が算出された場合にのみ、スミアの発生の有無を判定する。しかも、その基準画素ブロックPBが属する基準画像T上の画素列についてのみ、各画素の輝度値の探索を行う。
【0095】
そのため、基準画像Tの全画像や、基準画像T中の監視領域内を常時探索する場合に比べて、スミアの発生の有無を判定する判定処理の負担が格段に軽減されて処理が簡易化されるとともに、処理時間を短縮することが可能となる。
【0096】
また、本実施形態に係る先行車追従制御システム20によれば、上記のようにスミアの発生の有無を的確に判定することができる車両用環境認識装置1のスミア判定手段12から、スミアが発生している場合に的確にスミア発生信号が送信されてくるため、それに基づいてスミアが発生している場合に適切に先行車追従制御を一時停止することが可能となる。
【0097】
また、その際、スミアが数フレームで連続して発生していると判定された場合や、スミアが発生していると判定されたフレームのカウント数を増減させてそのカウント数Cが所定の閾値Cth以上である場合に、自車両に対する先行車追従制御を一時停止するようにすることで、車両用環境認識装置1のスミア判定手段12が万が一スミアの発生を誤判定しても、スミア判定手段12の判定を十分に確認したうえで自車両に対する先行車追従制御を一時停止して、適切に対処することが可能となる。
【0098】
なお、基準画像Tや比較画像Tcの上方部分には、自車両前方の車両等よりもさらに高い位置にある物体が撮像される。そのため、基準画像Tの上方部分の基準画素ブロックPBでは、スミアが発生していない場合でも、ステレオマッチング処理により視差dp(または距離Z)として無限遠を含む遠方距離に対応する値が算出される場合がある。一方、前述したように、スミアは画像を上から下まで貫くように発生するという特徴を有する。
【0099】
そこで、このような基準画像Tの上方部分の悪影響を回避するために、車両用環境認識装置1のスミア判定手段12で、基準画像Tにあてはめて設定した画素列Dnや1画素幅の各画素列Dn1〜Dn4の領域について各画素の輝度値p1ijを探索する際、それらの画素列の基準画像Tにおける下端の画素から上方に所定個数(縦方向の全画素数の例えば80%に相当する個数)の画素について輝度値p1ijの探索を行い、上方部分の画素については輝度値p1ijの探索を行わない。そして、前述した例えば240等の値に設定される輝度値pth以上の輝度値を有する画素の数が、上記の所定個数の画素の画素数の所定の割合(例えば90%)以上存在する場合にスミアが発生していると判定するように構成することも可能である。
【図面の簡単な説明】
【0100】
【図1】本実施形態に係る車両用環境認識装置の構成を示すブロック図である。
【図2】イメージプロセッサにおけるステレオマッチング処理の手法を説明する図である。
【図3】基準画像の一例を示す図である。
【図4】図3の基準画像等に基づいて形成された距離画像を示す図である。
【図5】距離画像を分割する各区分を示す図である。
【図6】図5の各区分ごとに作成されるヒストグラムの一例を示す図である。
【図7】区分ごとの代表視差に基づく実空間上の座標をプロットした図である。
【図8】図7の各点に基づいて実空間上に検出された物体を表す図である。
【図9】基準画像上に枠線で包囲されて検出された各物体および先行車両を表す図である。
【図10】実空間上の自車両の走行軌跡、進行路および先行車両を表す図である。
【図11】スミアが発生している場合のヒストグラムへの投票状況の一例を表す図である。
【図12】基準画像にあてはめられて設定された画素列を説明する図である。
【図13】本実施形態に係る先行車追従制御システムの構成を示すブロック図である。
【図14】カウンタのカウント数のフレームごとの増減および閾値を表すグラフである。
【図15】スミアが発生している画像の一例を示す図である。
【符号の説明】
【0101】
1 車両用環境認識装置
2 ステレオ撮像手段
2a、2b 一対のカメラ(メインカメラ、サブカメラ)
6 ステレオマッチング手段
11 先行車両検出手段
12 スミア判定手段
20 先行車追従制御システム
21 先行車追従制御装置
A 自車両
C カウント数
Cth 閾値
Dn 画素列、区分
Dn1〜Dn4 1画素幅の画素列
dp 視差
dpn 代表視差
Hn ヒストグラム
p1ij 輝度値
PB 画素ブロック
pth 所定の輝度値
T 基準画像
Tc 比較画像
Tz 視差または距離が各画素ブロックに対応づけられた基準画像(距離画像)
Vah 先行車両
Z 距離
【技術分野】
【0001】
本発明は、車両用環境認識装置および先行車追従制御システムに係り、特に、ステレオ撮像手段で撮像された一対の画像に対してステレオマッチング処理を行って周囲の環境を認識する車両用環境認識装置およびそれを備える先行車追従制御システムに関する。
【背景技術】
【0002】
近年、ステレオカメラからなるステレオ撮像手段により撮像された一対の画像に対して画像処理を行い、自車両の前方やその周囲の環境や先行車両を認識し、それに基づいて先行車両に対する追従走行制御を行う先行車追従機能付きクルーズコントロール(Adaptive Cruise Control。以下ACCと略称する)制御を行うACC装置が開発されている。
【0003】
ACC装置では、先行車両が存在しない場合には自車両を設定された速度で定速走行させ、先行車両が存在する場合には自車両を先行車両に追従させるように自車両のアクセルスロットルやブレーキ機構等を自動的に適切に操作する制御が行われる。そのため、ACC装置には先行車両を的確に検出できることが求められる。
【0004】
ところで、ステレオ撮像手段としてCCD(Charge Coupled Device)イメージセンサ等を用いると、例えば逆光の環境下で撮像したような場合、画像中に、周囲より極端に明るい筋状のスミア(smear。白飛び等とも言う。)が画像の縦方向に延在するように撮像される場合がある。例えば図15は、標高が高い場所で撮像された画像であるが、小高い山Mの山頂付近に沈みかけている太陽Su(強いフレア(ハレーション)のために輪郭さえ撮像されていない。)が極端に明るく撮像され、画像中の太陽Suの下方部分に非常に大きなスミアSmが発生している。
【0005】
このような状況では、ステレオ撮像手段で撮像された一対の画像に対するステレオマッチングがうまく行かず先行車両Vahが検出できなくなったり(すなわちロストしたり)、ステレオマッチングで実際とは異なる誤った距離が検出されたりする。そして、先行車両Vahがロストしたり先行車両Vahまでの距離が誤検出された状態でACC装置を作動させ続けると、自車両が先行車両Vahに向かって接近して行って追突するなど、非常に危険な状況となる。
【0006】
このような事態が生じないようにするためには、まず、画像中にスミアが発生しているか否かを的確に判定することが必要となる。そこで、撮像された画像の全画素の輝度値、或いは画像中に設定した監視領域内の各画素の輝度値を監視して、輝度値が飽和した状態或いはそれに近い状態になっている画素がある場合にスミアの発生を判定する装置が開発されている(例えば特許文献1〜4等参照)。
【特許文献1】特開2000−207563号公報
【特許文献2】特開2001−28745号公報
【特許文献3】特開2001−43377号公報
【特許文献4】特開2002−22439号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、全画像中或いは画像中の監視領域内の各画素の輝度値だけを監視する場合、例えば太陽光を反射するなどして白く輝く柱状の物体が画像を上から下まで貫くように撮像された場合にもスミアが発生していると誤判定されてしまう可能性があり、ACC装置が誤作動等を起こす可能性がある。
【0008】
また、たとえ全画像ではなく画像中の監視領域内だけを探索するように構成しても、監視領域内の全画素の輝度値を常時監視する処理には時間がかかり、処理時間が長くなるとともに、処理装置の負担が増大するという問題もある。
【0009】
本発明は、このような事情に鑑みてなされたものであり、ステレオ撮像手段から出力された一対の画像中にスミアが発生しているか否かを的確に判定することが可能な車両用環境認識装置を提供することを目的とする。また、この処理を簡易かつ的確に行うことが可能な車両用環境認識装置を提供することを目的とする。さらに、スミアが発生している場合に適切に対処し得る先行車追従制御システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
前記の問題を解決するために、第1の発明は、車両用環境認識装置において、
一対のカメラで自車両の周囲の環境を撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
前記基準画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像とのステレオマッチング処理を行い、前記基準画像の前記各画素ブロックに算出した視差または距離をそれぞれ対応づけるステレオマッチング手段と、
前記ステレオマッチング手段が算出した前記視差または前記距離に基づいて前記基準画像中から先行車両を検出する先行車両検出手段と、
前記距離として無限遠を含む遠方距離閾値以上の距離または前記視差として前記遠方距離閾値に対応する遠方視差閾値以下の視差が算出された前記画素ブロックが属する前記基準画像の縦方向に延在する画素列の各画素の輝度値の探索を行い、所定の輝度値以上の輝度値を有する前記画素の数が前記画素列に属する全画素数の所定の割合以上存在する場合にスミアが発生していると判定するスミア判定手段と、
を備えることを特徴とする。
【0011】
第2の発明は、第1の発明の車両用環境認識装置において、前記スミア判定手段は、前記画素列に前記基準画像の縦方向に延在する1画素幅の画素列が複数含まれる場合には、前記1画素幅の画素列のそれぞれについて前記探索を行い、複数の前記1画素幅の画素列のうち、少なくとも1列の前記1画素幅の画素列において、前記所定の輝度値以上の輝度値を有する前記画素の数が前記1画素幅の画素列に属する全画素数の前記所定の割合以上存在すればスミアが発生していると判定することを特徴とする。
【0012】
第3の発明は、第1または第2の発明の車両用環境認識装置において、前記スミア判定手段は、前記探索を行う際、前記画素列の前記基準画像における下端の画素から上方に所定個数の画素の前記輝度値の探索を行い、前記所定の輝度値以上の輝度値を有する前記画素の数が前記所定個数の画素の画素数の所定の割合以上存在する場合にスミアが発生していると判定することを特徴とする。
【0013】
第4の発明は、第1から第3のいずれかの発明の車両用環境認識装置において、
前記先行車両検出手段は、前記ステレオマッチング手段により前記視差または前記距離が前記各画素ブロックにそれぞれ対応づけられた前記基準画像を、縦方向に延在する複数の区分に分割し、前記各区分ごとにヒストグラムを作成し、前記各区分に属する前記画素ブロックの前記視差または前記距離を当該区分に対応する前記ヒストグラムに投票して代表視差または代表距離を抽出し、前記各区分ごとの前記代表視差または前記代表距離に基づいて前記先行車両を検出し、
前記スミア判定手段は、前記各区分ごとに前記ヒストグラムへの投票結果を監視し、前記ヒストグラムにおける前記遠方距離閾値以上の距離または前記遠方視差閾値以下の視差の投票数が所定の閾値以上である区分について、前記探索を行うことを特徴とする。
【0014】
第5の発明は、先行車追従制御システムにおいて、
第1から第4のいずれかの発明の車両用環境認識装置と、
自車両に対して、前記先行車両検出手段により検出された前記先行車両の情報に基づいて先行車追従制御を行う先行車追従制御装置と、を備え、
前記先行車追従制御装置は、前記車両用環境認識装置の前記スミア判定手段によりスミアが発生していると判定された場合には、自車両に対する前記先行車追従制御を一時停止することを特徴とする。
【0015】
第6の発明は、第5の発明の先行車追従制御システムにおいて、前記先行車追従制御装置は、前記スミア判定手段により所定数のフレームで連続してスミアが発生していると判定された場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする。
【0016】
第7の発明は、第5の発明の先行車追従制御システムにおいて、前記先行車追従制御装置は、前記スミア判定手段によりスミアが発生していると判定されたフレームではカウント数を増加させ、前記スミア判定手段によりスミアが発生していると判定されなかったフレームではカウント数を減少させるカウンタを備え、前記カウンタのカウント数が所定の閾値以上である場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする。
【0017】
第8の発明は、第5から第7のいずれかの発明の先行車追従制御システムにおいて、前記先行車追従制御装置は、自車両に対する前記先行車追従制御を一時停止した場合に、自車両のドライバに対して前記先行車追従制御を停止したことを報知することを特徴とする。
【発明の効果】
【0018】
第1の発明によれば、スミア判定手段は、ステレオマッチング処理により、距離として無限遠を含む遠方距離閾値以上の距離、または視差として前記遠方距離閾値に対応する遠方視差閾値以下の視差が算出された画素ブロックが属する基準画像の縦方向に延在する画素列についてスミアの発生の有無を判定する。そのため、前述したように、例えば太陽光を反射するなどして白く輝く柱状の物体が画像を上から下まで貫くように撮像された場合には、その物体に対しては、ステレオマッチング処理により無限遠を含む遠方距離に対応する視差または距離の値は算出されず、スミア判定手段は、このような物体をスミアであると誤判定することが的確に防止して、スミアの発生の有無を的確に判定することが可能となる。
【0019】
また、画像上の縦方向に延在する単数または複数の画素列において上から下まで貫くように発生するというスミアの特徴により、無限遠を含む遠方距離に対応する値が算出された画素ブロックが属する基準画像の縦方向に延在する画素列についてスミアの発生の有無を判定することで、十分的確にスミアの発生の有無を判定することが可能となる。
【0020】
さらに、スミア判定手段は、ステレオマッチング処理により画素ブロックの視差または距離として無限遠を含む遠方距離に対応する値が算出された場合にのみ、スミアの発生の有無を判定する。しかも、その画素ブロックが属する基準画像上の画素列についてのみ、各画素の輝度値の探索を行う。そのため、基準画像の全画像や、基準画像中の監視領域内を常時探索する場合に比べて、スミアの発生の有無を判定する判定処理の負担が格段に軽減されて処理が簡易化されるとともに、処理時間を短縮することが可能となる。
【0021】
第2の発明によれば、スミアの上記特徴により、画素の輝度値を探索する基準画像の縦方向に延在する画素列に1画素幅の画素列が複数含まれる場合には、そのうちの1列の画素列が上記の条件を満たせばスミアが発生しているといえるため、1画素幅の各画素列についてそれぞれ探索を行い、少なくとも1列の画素列において上記の条件が満たされた場合にスミアが発生していると判定することで、前記発明の効果がより的確に発揮される。
【0022】
第3の発明によれば、基準画像や比較画像の上方部分には、自車両前方の車両等よりもさらに高い位置にある物体が撮像されるため、基準画像の上方部分の画素ブロックでは、スミアが発生していない場合でも、ステレオマッチング処理により視差または距離として無限遠を含む遠方距離に対応する値が算出される場合がある。一方、スミアは上記のように画像を上から下まで貫くように発生するという特徴を有する。そのため、画素列の上方部分を除く部分のみについて探索を行うように構成することで、上記のような基準画像の上方部分の悪影響を回避することが可能となり、前記各発明の効果がより的確に発揮される。
【0023】
第4の発明によれば、スミア判定手段は、先行車両検出手段で行われる視差や距離の情報の各区分のヒストグラムへの投票状況を監視し、ヒストグラムにおける無限遠を含む遠方距離に相当する視差や距離の投票数が所定の閾値以上である場合にのみ、かつ当該区分についてのみ、前記探索を行うため、前記各発明の効果がより効果的に発揮される。
【0024】
第5の発明によれば、上記のように車両用環境認識装置のスミア判定手段が的確にスミアが発生しているか否かを判定するため、先行車追従制御システムの先行車追従制御装置は、それに基づいてスミアが発生している場合に適切に先行車追従制御を一時停止させることが可能となり、スミアの発生時に適切に対処することが可能となる。
【0025】
第6の発明によれば、スミアが数フレームで連続して発生していると判定された場合に自車両に対する先行車追従制御を一時停止するようにすることで、車両用環境認識装置のスミア判定手段が万が一スミアの発生を誤判定したとしても、スミア判定手段の判定を十分に確認したうえで自車両に対する先行車追従制御を一時停止させることが可能となり、前記各発明の効果がより的確に発揮される。
【0026】
第7の発明によれば、スミアが発生していると判定されたフレームのカウント数を増減させてそのカウント数が所定の閾値以上である場合に、自車両に対する先行車追従制御を一時停止するようにすることで、車両用環境認識装置のスミア判定手段が万が一スミアの発生を誤判定したとしても、スミア判定手段の判定を十分に確認したうえで自車両に対する先行車追従制御を一時停止させることが可能となり、前記各発明の効果がより的確に発揮される。
【0027】
第8の発明によれば、前記各発明の効果に加え、自車両のドライバが先行車追従制御が一時停止されたことに気づかないと、先行車追従制御が作動していると誤信して例えば自車両に対する制動操作を怠り、先行車両に追突する等の事態が生じる可能性があるが、先行車追従制御装置の制御手段が自車両に対する先行車追従制御を一時停止した場合に、ドライバに対して例えば音声を発声させたり画面上に表示させたりランプを点灯させるなどして先行車追従制御が一時停止されたことをドライバに報知することで、ドライバの注意を喚起することが可能となり、上記の事態の発生を回避することが可能となる。
【発明を実施するための最良の形態】
【0028】
以下、本発明に係る車両用環境認識装置および先行車追従制御システムの実施の形態について、図面を参照して説明する。
【0029】
[車両用環境認識装置]
本実施形態に係る車両用環境認識装置1は、図1に示すように、主にステレオ撮像手段2や変換手段3、ステレオマッチング手段6、処理手段9等で構成されている。
【0030】
本実施形態では、ステレオ撮像手段2からステレオマッチング手段6までの構成は、本願出願人により先に提出された特開平5−114099号公報、特開平5−265547号公報、特開平6−266828号公報、特開平10−283461号公報、特開平10−283477号公報、特開2006−72495号公報等に記載された車外監視装置等をベースに構成されている。以下、簡単に説明する。
【0031】
ステレオ撮像手段2は、車幅方向に一定の距離をあけて配置された一対の撮像手段であるメインカメラ2aおよびサブカメラ2bを備えて構成されており、自車両の周囲の環境を撮像して一対の画像(基準画像および比較画像)を撮像するようになっている。本実施形態では、ステレオ撮像手段2として、互いに同期が取られたCCDイメージセンサが内蔵されたステレオカメラが用いられている。
【0032】
ステレオ撮像手段2で撮像され出力された一対の画像は、変換手段3であるA/Dコンバータ3a、3bでアナログ画像からそれぞれ画素ごとに例えば0〜255のグレースケール等の所定の輝度階調の輝度値を有するデジタル画像にそれぞれ変換され、画像補正部4でずれやノイズの除去、輝度値の補正等の画像補正が行われて、画像データメモリ5に格納されるとともに、処理手段9に送信されるようになっている。
【0033】
また、画像補正が行われた一対の撮像画像は、ステレオマッチング手段6にも送信されるようになっている。ステレオマッチング手段6は、イメージプロセッサ7と距離データメモリ8とを備えており、イメージプロセッサ7では、ステレオマッチング処理が行われるようになっている。
【0034】
具体的には、イメージプロセッサ7は、図2に示すように、基準画像T上に例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックPBを設定し、基準画素ブロックPBに対応する比較画像Tc中のエピポーララインEPL上の基準画素ブロックPBと同形の各比較画素ブロックPBcについて下記(1)式に従って当該基準画素ブロックPBとの輝度パターンの差異であるSAD値を算出し、SAD値が最小の比較画素ブロックPBcを特定するようになっている。
【0035】
【数1】
【0036】
なお、p1stは基準画素ブロックPB中の各画素の輝度値を表し、p2stは比較画素ブロックPBc中の各画素の輝度値を表す。また、上記の総和は、基準画素ブロックPBや比較画素ブロックPBcが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。
【0037】
イメージプロセッサ7は、このようにして基準画像Tの各基準画素ブロックPBについて、特定した比較画素ブロックPBcの比較画像Tc上の位置と当該基準画素ブロックPBの基準画像T上の位置から視差dpを算出するようになっている。本実施形態では、イメージプロセッサ7は、例えば図3に例示する基準画像Tの各基準画素ブロックPBに上記のようにして算出した視差dpをそれぞれ対応づけるようになっている。
【0038】
以下、視差dpが各基準画素ブロックPBにそれぞれ対応づけられた基準画像Tを距離画像Tzという。例えば図3の基準画像Tの各基準画素ブロックPBに視差dpがそれぞれ対応づけられて形成された距離画像Tzは図4に示すような画像となる。イメージプロセッサ7は、このようにして形成した距離画像Tzのデータを距離データメモリ8に送信して格納するとともに、処理手段9に送信するようになっている。
【0039】
なお、この視差dpおよび距離画像Tz上の座標(i,j)と、実空間上の位置(X,Y,Z)とは、三角測量の原理に基づいて以下のように対応づけられる。具体的には、実空間上においてメインカメラ2aおよびサブカメラ2bの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にX軸、車高方向にY軸、車長方向すなわち距離方向にZ軸を取ると、実空間上の点(X,Y,Z)と、視差dpと距離画像Tz上の座標(i,j)との関係は、
X=CD/2+Z×PW×(i−IV) …(2)
Y=CH+Z×PW×(j−JV) …(3)
Z=CD/(PW×(dp−DP)) …(4)
と表すことができ、(i,j,dp)と(X,Y,Z)とは1対1に対応づけられる。
【0040】
ここで、CDはメインカメラ2aとサブカメラ2bとの間隔、PWは1画素当たりの視野角、CHはメインカメラ2aとサブカメラ2bの取り付け高さ、IVおよびJVは自車両正面の無限遠点のi座標およびj座標、DPは消失点視差を表す。
【0041】
また、上記のように、視差dpと実空間上の距離Zとは上記(4)式を介して1対1に対応づけられる。そのため、本実施形態では、上記のように、基準画像Tの各基準画素ブロックPBに視差dpをそれぞれ対応づけて距離画像Tzを形成するが、距離画像Tzを形成する時点で、各基準画素ブロックPBごとの視差dpを距離Zの情報に変換し、基準画像Tの各基準画素ブロックPBにそれぞれ距離Zの情報を対応づけて距離画像Tzを形成するように構成することも可能である。
【0042】
処理手段9(図1参照)は、図示しないCPUやROM、RAM、入出力インターフェース等がバスに接続されて構成されるコンピュータに構成されている。また、処理手段9には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【0043】
処理手段9は、物体検出手段10と、先行車両検出手段11と、スミア判定手段12とを備えており、さらに図示しないメモリを備えている。また、例えば車線検出手段等の他の機能を備えるように構成することも可能である。処理手段9の各手段には、センサ類Qから必要なデータが入力されるようになっている。
【0044】
物体検出手段10は、ステレオ撮像手段2により撮像された基準画像T中から物体を検出するようになっている。本実施形態では、物体検出手段10における処理は、前記各公報に記載された車外監視装置等における処理をベースに構成されている。以下、簡単に説明する。
【0045】
物体検出手段10は、例えば図4に示した距離画像Tzを図5に示すように縦方向に延在する所定幅の短冊状の区分Dnに分割する。そして、図6に示すように、各区分DnごとにヒストグラムHnを作成し、各区分Dnに属する各基準画素ブロックPBの視差dpのうち道路面より上方に存在する視差dpをヒストグラムHnに投票し、例えばその最頻値dpnをその区分の代表視差として抽出する。これを全区分についてそれぞれ行う。
【0046】
そして、物体検出手段10は、各区分Dnの代表視差に基づいて前記(2)〜(4)式から物体の実空間上の座標(X,Y,Z)を算出するようになっている。算出された物体の座標を実空間上にプロットすると、各物体の座標は図7に示すように前方の物体の自車両Aに面した部分に対応する部分に多少ばらつきを持って各点としてプロットされる。
【0047】
物体検出手段10は、このようにプロットされる各点について、実空間上の各点の隣接する点とのX軸方向の距離やZ軸方向の距離、グループ化した場合の左端の点から右端の点までのX軸方向の全長等を検索しながら、それらの値がそれぞれ設定された閾値以内である点をそれぞれグループにまとめ、図8に示すようにそれぞれのグループ内の各点を直線近似して物体を検出するようになっている。
【0048】
また、本実施形態では、物体検出手段10は、このようにして検出した各物体を図9に示すように基準画像T上で矩形状の枠線で包囲するようにして検出するようになっている。なお、図8や図9において、ラベルOやラベルSは物体の自車両Aに対向する面の種別を表し、ラベルOは物体の背面、ラベルSは物体の側面が検出されていることを表す。
【0049】
物体検出手段10は、このようにして検出した各物体の情報をメモリに保存するとともに、必要に応じて外部に出力するようになっている。
【0050】
先行車両検出手段11は、図10に示すように自車両Aの挙動に基づいて自車両Aが今後進行するであろう軌跡を走行軌跡Lestとして推定し、その走行軌跡Lestを中心とする自車両Aの車幅分の領域を自車両Aの進行路Restとして算出するようになっている。
【0051】
自車両Aの走行軌跡Lestは、自車両Aの車速Vやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記(5)式または下記(6)、(7)式に従って算出される自車両Aの旋回曲率Cuaに基づいて算出することができる。なお、下記の各式におけるReは旋回半径、Asfは車両のスタビリティファクタ、Lwbはホイールベースである。
Cua=γ/V …(5)
Re=(1+Asf・V2)・(Lwb/δ) …(6)
Cua=1/Re …(7)
【0052】
先行車両検出手段11は、続いて、自車両Aの進行路Rest上に存在する物体の中で自車両Aに最も近接する物体を自車両Aの前方を走行する先行車両Vahとして検出するようになっている。例えば図9や図10では、車両O3が先行車両Vahとして検出される。
【0053】
先行車両検出手段11は、このようにして検出した先行車両Vahの自車両からの距離Zやその他必要な情報をメモリに保存するとともに、後述する先行車追従制御装置21に送信するようになっている。
【0054】
なお、本実施形態では、先行車両検出手段11は、前回のサンプリング周期で検出した先行車両と今回のサンプリング周期で先行車両として検出した物体とが同一の立体物である確率を算出するなどして、整合性を保ちながら先行車両を追跡するようになっている。また、先行車両検出手段11は、検出した先行車両が自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。
【0055】
また、上記の説明では、物体検出手段10と先行車両検出手段11とを分けて説明したが、物体検出手段10における物体検出処理と先行車両検出手段11における先行車両検出処理は一連の処理として常時行われるようになっている。
【0056】
スミア判定手段12は、本実施形態では、物体検出手段10における距離画像Tzを分割する各区分Dnに属する各基準画素ブロックPBの視差dpの、ヒストグラムHnへの投票状況を監視し、当該ヒストグラムHnにおける無限遠を含む遠方距離に相当する視差dpの投票数を監視するようになっている。
【0057】
これは、前述した例えば太陽光を反射するなどして白く輝く柱状の物体が画像を上から下まで貫くように撮像された場合には、ステレオマッチング処理で自車両から数mや数十m等の有限の距離に対応する視差dpの値が算出されるのに対し、逆光におけるスミアの場合には、ステレオマッチング処理で自車両から無限遠を含む遠方距離に対応する視差dpの値が算出されるという知見に基づくものである。これは、スミアが自車両から無限遠の距離にあると同視できる太陽光を反映しているためである。
【0058】
また、自車両から無限遠を含む遠方距離に対応する視差dpの値とは、上記(4)式の左辺の距離Zに無限大∞を代入して変形すると、
∞=CD/(PW×(dp−DP))
dp−DP=CD/(PW×∞)=0
すなわち、
dp=DP
となることからも分かるように、消失点視差DPやそれに近い値のことである。
【0059】
このことから、本実施形態では、ステレオマッチング処理により算出された視差dpの値に、無限遠を含む遠方距離に対応する遠方視差閾値を設け、遠方視差閾値を例えば無限遠に対応する視差DPに近い値であるDP+1に設定し、視差dpが遠方視差閾値であるDP+1以下である基準画素ブロックPBを、無限遠を含む遠方距離に対応する視差dpの値が算出された基準画素ブロックPBとして検出するようになっている。
【0060】
なお、前述したように、基準画像Tの各基準画素ブロックPBにそれぞれ距離Zの情報を対応づけて距離画像Tzを形成する場合には、無限遠を含む遠方距離を規定する距離Zの閾値として遠方距離閾値を設定し、距離Zが遠方距離閾値以上である基準画素ブロックPBを、無限遠を含む遠方距離に対応する距離Zの値が算出された基準画素ブロックPBとして検出するように構成する。この場合、遠方距離閾値は、例えば前述した遠方視差閾値として設定される視差DP+1に対応する距離の値が設定される。
【0061】
本実施形態では、具体的には、スミア判定手段12は、図6に示したように視差dpの投票が行われる各ヒストグラムHnにおける投票状況を監視し、図11に示すように、ヒストグラムHnにおいて視差dpの値がDP+1以下の範囲の視差dpの投票数を監視して、当該範囲の視差dpの投票数の合計値が所定の閾値以上になった場合に、当該ヒストグラムHnに対応する距離画像Tz上の区分Dnをスミア候補とするようになっている。
【0062】
なお、遠方視差閾値や遠方距離閾値をどのような値に設定するか、或いは投票数の合計値に関する上記の所定の閾値をどのような値に設定するかは、車両用環境認識装置1に用いられるステレオ撮像手段2のCCDイメージセンサ等の性能等に依存するため、適宜、適切な値がそれぞれ設定される。
【0063】
スミア判定手段12は、続いて、上記の条件が満たされてスミア候補とされた距離画像Tzの当該区分Dnと同じ基準画像T上の領域に画素列に設定するようになっている。距離画像Tz上の区分Dnが縦方向に延在する4画素幅の画素列であれば、図12に示すように、基準画像Tの同じ位置に4画素幅の画素列Dnをあてはめて設定する。なお、図12では、1画素幅が実際より大きく表現されている。
【0064】
ここで、4画素幅の画素列Dn全体を対象としてスミアが発生しているか否かの判定を行うように構成することも可能である。しかし、本実施形態では、スミア判定手段12は、4画素幅の画素列Dnに含まれる1画素幅の各画素列Dn1〜Dn4(図12参照)についてスミアが発生しているか否かの判定を行うように構成されている。
【0065】
具体的には、スミア判定手段12は、1画素幅の各画素列Dn1〜Dn4について、それぞれ画素列の各画素の輝度値p1ijの探索を行い、所定の輝度値pth以上の輝度値を有する高輝度の画素の数が、当該1画素幅の画素列に属する全画素数の所定の割合以上存在するか否かを検出するようになっている。
【0066】
ここで、前述したように基準画像Tの各画素の輝度値p1ijが0〜255のグレースケールで設定される場合には、上記の所定の輝度値pthは例えば輝度値の飽和状態に近い240等の高い値に設定される。また、上記の所定の割合は例えば75%等に設定される。
【0067】
そして、スミア判定手段12は、4画素幅の画素列Dn中の1画素幅の各画素列Dn1〜Dn4のうち、少なくとも1列の画素列で上記の条件が満たされる場合に、スミアが発生していると判定するようになっている。
【0068】
スミア判定手段12は、このようにしてスミアが発生していると判定した場合には、後述する先行車追従制御装置21に対してスミア発生信号を送信するようになっている。
【0069】
[先行車追従制御システム]
本実施形態に係る先行車追従制御システム20は、図13に示すように、上記の車両用環境認識装置1と、先行車追従制御装置21と、報知装置24とで構成されている。
【0070】
先行車追従制御装置21は、マイクロコンピュータ等からなる制御手段22と、制御手段22からの指示に基づいて自車両のアクセルスロットルやブレーキ機構等を操作するアクチュエータ等からなる応動部23とで構成されている。
【0071】
先行車追従制御装置21の制御手段22は、車両用環境認識装置1の先行車両検出手段11から先行車両Vahの自車両からの距離Zの情報等が送信されてくると、それに基づいて応動部23を指示して自車両を先行車両Vahに追従させるようになっている。その際、自車両と先行車両Vahとが走行中であれば、先行車両Vahとの車間距離を保つ状態で自車両を先行車両Vahに追従させ、先行車両Vahが停止した場合には、先行車両Vahの後方の先行車両Vahから所定の距離だけ離れた位置で自車両を停止させる。
【0072】
制御手段22は、このように、車両用環境認識装置1の先行車両検出手段11から送信されてくる先行車両Vahの情報に基づいて、自車両に対して、上記の処理を含む公知の先行車追従制御を行うようになっている。
【0073】
一方、先行車追従制御装置21の制御手段22は、車両用環境認識装置1のスミア判定手段12から前述したスミア発生信号が送信されてくると、上記の自車両に対する先行車追従制御を一時的に停止するようになっている。
【0074】
その際、スミア判定手段12がスミアの発生を誤判定してスミア発生信号を送信している可能性がないとは言い切れないため、例えば、スミア判定手段12から所定数のフレーム(すなわち所定数のサンプリング周期)で連続してスミア発生信号が送信されてきた場合に自車両に対する先行車追従制御を一時的に停止するように制御手段22を構成することが可能である。
【0075】
しかし、逆に、基準画像T中にスミアが発生している状況であるにもかかわらず、スミア判定手段12がスミアは発生していないと判定する可能性がないとも言い切れない。その場合、それまでにスミア発生信号が連続して送信されてきても、前述した所定数のフレームに達しないうちに上記の事態が生じてスミア発生信号の送信が途絶えてしまえば、連続フレーム数がリセットされてしまう。そのため、再度所定数のフレームに達するまで先行車追従制御が一時停止されず、スミアが発生しているにもかかわらず先行車追従制御が少なくともしばらくの間一時停止されない事態が生じることになる。
【0076】
本実施形態では、このような事態を回避するため、先行車追従制御装置21の制御手段22が、スミア発生信号が送信されてきたフレームではカウント数を増加させ、スミア発生信号が送信されなかったフレームではカウント数を減少させる図示しないカウンタを備えるように構成されている。そして、制御手段22は、図14に示すように、カウンタのカウント数Cが所定の閾値Cth以上である場合に、自車両に対する先行車追従制御を一時停止するようになっている。
【0077】
また、自車両のドライバが、先行車追従制御が一時停止されたことに気づかないと、先行車追従制御が作動していると誤信して例えば自車両に対する制動操作を怠り、先行車両Vahに追突する等の事態が生じる可能性がある。そのため、本実施形態では、先行車追従制御装置21の制御手段22は、自車両に対する先行車追従制御を一時停止した場合には、例えば報知装置24の図示しないスピーカから音声を発声させたり図示しない画面上に表示させたり或いは図示しない所定のランプを点灯させるなどして、先行車追従制御が一時停止されたことをドライバに報知するようになっている。
【0078】
[作用]
次に、本実施形態に係る車両用環境認識装置1および先行車追従制御システム20の作用について説明する。
【0079】
車両用環境認識装置1では、メインカメラ2aとサブカメラ2b等で構成されるステレオ撮像手段2で自車両の周囲の環境が撮像され、出力された基準画像Tおよび比較画像Tcに基づいてステレオマッチング手段6のイメージプロセッサ7でステレオマッチング処理が行われる。
【0080】
そして、ステレオマッチング処理により得られた距離画像Tzに基づいて処理手段9の物体検出手段10と先行車両検出手段11で基準画像T中から物体や先行車両Vahが検出される。この物体検出や先行車両検出は、スミアの発生の有無にかかわらず常時行われ、それらの情報が先行車追従制御装置21の制御手段22や必要に応じて他のECU等の装置に常時送信される。
【0081】
また、スミア判定手段12は、上記のように、物体検出手段10で行われる距離画像Tzを分割する各区分Dnに属する各基準画素ブロックPBの視差dpの、ヒストグラムHnへの投票状況を監視する。
【0082】
そして、ヒストグラムHn中に無限遠を含む遠方距離に相当する遠方視差閾値DP+1以下の範囲の視差dpの投票数の合計値が所定の閾値以上にならなければ、何らの処理も行わない。すなわち、スミア発生信号は送信されない。
【0083】
一方、図11に示したように、ヒストグラムHn中の遠方視差閾値DP+1以下の範囲の視差dpの投票数の合計値が所定の閾値以上になった場合に、初めてスミア判定手段12は当該ヒストグラムHnに対応する距離画像Tz上の区分Dnをスミア候補とする。
【0084】
そして、当該区分Dnと同じ基準画像T上の領域に画素列Dnを設定し、その画素列Dn中の1画素幅の各画素列Dn1〜Dn4(図12参照)について、今度は、各画素の輝度値p1ijに着目し、所定の輝度値pth以上の輝度値を有する高輝度の画素の数が当該1画素幅の画素列に属する全画素数の所定の割合以上存在するか否かを検出する。
【0085】
そして、スミア判定手段12は、4画素幅の画素列Dn中の1画素幅の各画素列Dn1〜Dn4のうち、少なくとも1列の画素列で上記の条件が満たされる場合にスミアが発生していると判定し、先行車追従制御装置21の制御手段22にスミア発生信号を送信する。
【0086】
このように、スミア判定手段12は、通常の状態すなわちスミアが発生していないような状態ではヒストグラムHnへの投票状況を監視するだけであり、スミアが発生している可能性がある状態すなわちヒストグラムHnへの無限遠を含む遠方距離に相当する遠方視差閾値以下の視差dpの投票数が増えてきた段階で、初めて基準画像Tにあてはめて設定した画素列Dnの領域についてのみ、画素の輝度値p1ijを探索する。
【0087】
ところで、スミアは、図15や図12に示したスミアSmは非常に太く大きく撮像されているが、基準画像T上で1画素幅や2、3画素幅程度に撮像される場合もある。また、スミアは、被写体の発光とほぼ同じ幅の直線状に発生し、しかも画像を上から下まで貫くように発生するという特徴がある。なお、図15や図12に示したスミアSmの上方の幅広になっている部分は、太陽Suの非常に強い光によるフレア(ハレーション)である。
【0088】
従って、本実施形態のように、基準画像T上にあてはめて設定された画像の縦方向に延在する画素列Dnの領域や、その中の1画素幅の各画素列Dn1〜Dn4の画素の輝度値p1ijを探索すれば、十分的確にスミアの発生の有無を判定することができる。
【0089】
一方、先行車追従制御システム20の先行車追従制御装置21では、車両用環境認識装置1のスミア判定手段12から前述したスミア発生信号が送信されてくると、自車両に対する先行車追従制御を一時的に停止する。
【0090】
その際、スミアが数フレームで連続して発生していると判定された場合や、スミアが発生していると判定されたフレームのカウント数を増減させてそのカウント数Cが所定の閾値Cth以上である場合に、自車両に対する先行車追従制御を一時停止するようにすれば、車両用環境認識装置1のスミア判定手段12のスミア発生の判定を十分に確認したうえで自車両に対する先行車追従制御を一時的に停止することが可能となる。
【0091】
[効果]
以上のように、本実施形態に係る車両用環境認識装置1によれば、スミア判定手段12は、ステレオマッチング処理により視差dpまたは距離Zとして、無限遠を含む遠方距離に相当する遠方距離閾値以上の距離または遠方距離閾値に対応する遠方視差閾値以下の視差が算出された基準画素ブロックPBが属する基準画像Tの縦方向に延在する画素列Dn(または画素列Dn1〜Dn4)についてスミアの発生の有無を判定する。
【0092】
そのため、前述したように、例えば太陽光を反射するなどして白く輝く柱状の物体が画像を上から下まで貫くように撮像された場合には、その物体に対してはステレオマッチング処理により無限遠を含む遠方距離に対応する視差dpの値が算出されず、スミア判定手段12は、このような物体をスミアであると誤判定することが的確に防止して、スミアの発生の有無を的確に判定することが可能となる。
【0093】
また、画像上に発生したスミアの上記の特徴により、無限遠を含む遠方距離に対応する値が算出された基準画素ブロックPBが属する基準画像Tの縦方向に延在する画素列Dn(または画素列Dn1〜Dn4)についてスミアの発生の有無を判定することで、十分的確にスミアの発生の有無を判定することが可能となる。
【0094】
さらに、スミア判定手段12は、ステレオマッチング処理により基準画素ブロックPBの視差dp(または距離Z)として無限遠を含む遠方距離に対応する値が算出された場合にのみ、スミアの発生の有無を判定する。しかも、その基準画素ブロックPBが属する基準画像T上の画素列についてのみ、各画素の輝度値の探索を行う。
【0095】
そのため、基準画像Tの全画像や、基準画像T中の監視領域内を常時探索する場合に比べて、スミアの発生の有無を判定する判定処理の負担が格段に軽減されて処理が簡易化されるとともに、処理時間を短縮することが可能となる。
【0096】
また、本実施形態に係る先行車追従制御システム20によれば、上記のようにスミアの発生の有無を的確に判定することができる車両用環境認識装置1のスミア判定手段12から、スミアが発生している場合に的確にスミア発生信号が送信されてくるため、それに基づいてスミアが発生している場合に適切に先行車追従制御を一時停止することが可能となる。
【0097】
また、その際、スミアが数フレームで連続して発生していると判定された場合や、スミアが発生していると判定されたフレームのカウント数を増減させてそのカウント数Cが所定の閾値Cth以上である場合に、自車両に対する先行車追従制御を一時停止するようにすることで、車両用環境認識装置1のスミア判定手段12が万が一スミアの発生を誤判定しても、スミア判定手段12の判定を十分に確認したうえで自車両に対する先行車追従制御を一時停止して、適切に対処することが可能となる。
【0098】
なお、基準画像Tや比較画像Tcの上方部分には、自車両前方の車両等よりもさらに高い位置にある物体が撮像される。そのため、基準画像Tの上方部分の基準画素ブロックPBでは、スミアが発生していない場合でも、ステレオマッチング処理により視差dp(または距離Z)として無限遠を含む遠方距離に対応する値が算出される場合がある。一方、前述したように、スミアは画像を上から下まで貫くように発生するという特徴を有する。
【0099】
そこで、このような基準画像Tの上方部分の悪影響を回避するために、車両用環境認識装置1のスミア判定手段12で、基準画像Tにあてはめて設定した画素列Dnや1画素幅の各画素列Dn1〜Dn4の領域について各画素の輝度値p1ijを探索する際、それらの画素列の基準画像Tにおける下端の画素から上方に所定個数(縦方向の全画素数の例えば80%に相当する個数)の画素について輝度値p1ijの探索を行い、上方部分の画素については輝度値p1ijの探索を行わない。そして、前述した例えば240等の値に設定される輝度値pth以上の輝度値を有する画素の数が、上記の所定個数の画素の画素数の所定の割合(例えば90%)以上存在する場合にスミアが発生していると判定するように構成することも可能である。
【図面の簡単な説明】
【0100】
【図1】本実施形態に係る車両用環境認識装置の構成を示すブロック図である。
【図2】イメージプロセッサにおけるステレオマッチング処理の手法を説明する図である。
【図3】基準画像の一例を示す図である。
【図4】図3の基準画像等に基づいて形成された距離画像を示す図である。
【図5】距離画像を分割する各区分を示す図である。
【図6】図5の各区分ごとに作成されるヒストグラムの一例を示す図である。
【図7】区分ごとの代表視差に基づく実空間上の座標をプロットした図である。
【図8】図7の各点に基づいて実空間上に検出された物体を表す図である。
【図9】基準画像上に枠線で包囲されて検出された各物体および先行車両を表す図である。
【図10】実空間上の自車両の走行軌跡、進行路および先行車両を表す図である。
【図11】スミアが発生している場合のヒストグラムへの投票状況の一例を表す図である。
【図12】基準画像にあてはめられて設定された画素列を説明する図である。
【図13】本実施形態に係る先行車追従制御システムの構成を示すブロック図である。
【図14】カウンタのカウント数のフレームごとの増減および閾値を表すグラフである。
【図15】スミアが発生している画像の一例を示す図である。
【符号の説明】
【0101】
1 車両用環境認識装置
2 ステレオ撮像手段
2a、2b 一対のカメラ(メインカメラ、サブカメラ)
6 ステレオマッチング手段
11 先行車両検出手段
12 スミア判定手段
20 先行車追従制御システム
21 先行車追従制御装置
A 自車両
C カウント数
Cth 閾値
Dn 画素列、区分
Dn1〜Dn4 1画素幅の画素列
dp 視差
dpn 代表視差
Hn ヒストグラム
p1ij 輝度値
PB 画素ブロック
pth 所定の輝度値
T 基準画像
Tc 比較画像
Tz 視差または距離が各画素ブロックに対応づけられた基準画像(距離画像)
Vah 先行車両
Z 距離
【特許請求の範囲】
【請求項1】
一対のカメラで自車両の周囲の環境を撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
前記基準画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像とのステレオマッチング処理を行い、前記基準画像の前記各画素ブロックに算出した視差または距離をそれぞれ対応づけるステレオマッチング手段と、
前記ステレオマッチング手段が算出した前記視差または前記距離に基づいて前記基準画像中から先行車両を検出する先行車両検出手段と、
前記距離として無限遠を含む遠方距離閾値以上の距離または前記視差として前記遠方距離閾値に対応する遠方視差閾値以下の視差が算出された前記画素ブロックが属する前記基準画像の縦方向に延在する画素列の各画素の輝度値の探索を行い、所定の輝度値以上の輝度値を有する前記画素の数が前記画素列に属する全画素数の所定の割合以上存在する場合にスミアが発生していると判定するスミア判定手段と、
を備えることを特徴とする車両用環境認識装置。
【請求項2】
前記スミア判定手段は、前記画素列に前記基準画像の縦方向に延在する1画素幅の画素列が複数含まれる場合には、前記1画素幅の画素列のそれぞれについて前記探索を行い、複数の前記1画素幅の画素列のうち、少なくとも1列の前記1画素幅の画素列において、前記所定の輝度値以上の輝度値を有する前記画素の数が前記1画素幅の画素列に属する全画素数の前記所定の割合以上存在すればスミアが発生していると判定することを特徴とする請求項1に記載の車両用環境認識装置。
【請求項3】
前記スミア判定手段は、前記探索を行う際、前記画素列の前記基準画像における下端の画素から上方に所定個数の画素の前記輝度値の探索を行い、前記所定の輝度値以上の輝度値を有する前記画素の数が前記所定個数の画素の画素数の所定の割合以上存在する場合にスミアが発生していると判定することを特徴とする請求項1または請求項2に記載の車両用環境認識装置。
【請求項4】
前記先行車両検出手段は、前記ステレオマッチング手段により前記視差または前記距離が前記各画素ブロックにそれぞれ対応づけられた前記基準画像を、縦方向に延在する複数の区分に分割し、前記各区分ごとにヒストグラムを作成し、前記各区分に属する前記画素ブロックの前記視差または前記距離を当該区分に対応する前記ヒストグラムに投票して代表視差または代表距離を抽出し、前記各区分ごとの前記代表視差または前記代表距離に基づいて前記先行車両を検出し、
前記スミア判定手段は、前記各区分ごとに前記ヒストグラムへの投票結果を監視し、前記ヒストグラムにおける前記遠方距離閾値以上の距離または前記遠方視差閾値以下の視差の投票数が所定の閾値以上である区分について、前記探索を行うことを特徴とする請求項1から請求項3のいずれか一項に記載の車両用環境認識装置。
【請求項5】
請求項1から請求項4のいずれか一項に記載の車両用環境認識装置と、
自車両に対して、前記先行車両検出手段により検出された前記先行車両の情報に基づいて先行車追従制御を行う先行車追従制御装置と、を備え、
前記先行車追従制御装置は、前記車両用環境認識装置の前記スミア判定手段によりスミアが発生していると判定された場合には、自車両に対する前記先行車追従制御を一時停止することを特徴とする先行車追従制御システム。
【請求項6】
前記先行車追従制御装置は、前記スミア判定手段により所定数のフレームで連続してスミアが発生していると判定された場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする請求項5に記載の先行車追従制御システム。
【請求項7】
前記先行車追従制御装置は、前記スミア判定手段によりスミアが発生していると判定されたフレームではカウント数を増加させ、前記スミア判定手段によりスミアが発生していると判定されなかったフレームではカウント数を減少させるカウンタを備え、前記カウンタのカウント数が所定の閾値以上である場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする請求項5に記載の先行車追従制御システム。
【請求項8】
前記先行車追従制御装置は、自車両に対する前記先行車追従制御を一時停止した場合に、自車両のドライバに対して前記先行車追従制御を停止したことを報知することを特徴とする請求項5から請求項7のいずれか一項に記載の先行車追従制御システム。
【請求項1】
一対のカメラで自車両の周囲の環境を撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
前記基準画像を所定の画素数の画素ブロックに分割し、前記各画素ブロックごとに前記比較画像とのステレオマッチング処理を行い、前記基準画像の前記各画素ブロックに算出した視差または距離をそれぞれ対応づけるステレオマッチング手段と、
前記ステレオマッチング手段が算出した前記視差または前記距離に基づいて前記基準画像中から先行車両を検出する先行車両検出手段と、
前記距離として無限遠を含む遠方距離閾値以上の距離または前記視差として前記遠方距離閾値に対応する遠方視差閾値以下の視差が算出された前記画素ブロックが属する前記基準画像の縦方向に延在する画素列の各画素の輝度値の探索を行い、所定の輝度値以上の輝度値を有する前記画素の数が前記画素列に属する全画素数の所定の割合以上存在する場合にスミアが発生していると判定するスミア判定手段と、
を備えることを特徴とする車両用環境認識装置。
【請求項2】
前記スミア判定手段は、前記画素列に前記基準画像の縦方向に延在する1画素幅の画素列が複数含まれる場合には、前記1画素幅の画素列のそれぞれについて前記探索を行い、複数の前記1画素幅の画素列のうち、少なくとも1列の前記1画素幅の画素列において、前記所定の輝度値以上の輝度値を有する前記画素の数が前記1画素幅の画素列に属する全画素数の前記所定の割合以上存在すればスミアが発生していると判定することを特徴とする請求項1に記載の車両用環境認識装置。
【請求項3】
前記スミア判定手段は、前記探索を行う際、前記画素列の前記基準画像における下端の画素から上方に所定個数の画素の前記輝度値の探索を行い、前記所定の輝度値以上の輝度値を有する前記画素の数が前記所定個数の画素の画素数の所定の割合以上存在する場合にスミアが発生していると判定することを特徴とする請求項1または請求項2に記載の車両用環境認識装置。
【請求項4】
前記先行車両検出手段は、前記ステレオマッチング手段により前記視差または前記距離が前記各画素ブロックにそれぞれ対応づけられた前記基準画像を、縦方向に延在する複数の区分に分割し、前記各区分ごとにヒストグラムを作成し、前記各区分に属する前記画素ブロックの前記視差または前記距離を当該区分に対応する前記ヒストグラムに投票して代表視差または代表距離を抽出し、前記各区分ごとの前記代表視差または前記代表距離に基づいて前記先行車両を検出し、
前記スミア判定手段は、前記各区分ごとに前記ヒストグラムへの投票結果を監視し、前記ヒストグラムにおける前記遠方距離閾値以上の距離または前記遠方視差閾値以下の視差の投票数が所定の閾値以上である区分について、前記探索を行うことを特徴とする請求項1から請求項3のいずれか一項に記載の車両用環境認識装置。
【請求項5】
請求項1から請求項4のいずれか一項に記載の車両用環境認識装置と、
自車両に対して、前記先行車両検出手段により検出された前記先行車両の情報に基づいて先行車追従制御を行う先行車追従制御装置と、を備え、
前記先行車追従制御装置は、前記車両用環境認識装置の前記スミア判定手段によりスミアが発生していると判定された場合には、自車両に対する前記先行車追従制御を一時停止することを特徴とする先行車追従制御システム。
【請求項6】
前記先行車追従制御装置は、前記スミア判定手段により所定数のフレームで連続してスミアが発生していると判定された場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする請求項5に記載の先行車追従制御システム。
【請求項7】
前記先行車追従制御装置は、前記スミア判定手段によりスミアが発生していると判定されたフレームではカウント数を増加させ、前記スミア判定手段によりスミアが発生していると判定されなかったフレームではカウント数を減少させるカウンタを備え、前記カウンタのカウント数が所定の閾値以上である場合に、自車両に対する前記先行車追従制御を一時停止することを特徴とする請求項5に記載の先行車追従制御システム。
【請求項8】
前記先行車追従制御装置は、自車両に対する前記先行車追従制御を一時停止した場合に、自車両のドライバに対して前記先行車追従制御を停止したことを報知することを特徴とする請求項5から請求項7のいずれか一項に記載の先行車追従制御システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2009−239664(P2009−239664A)
【公開日】平成21年10月15日(2009.10.15)
【国際特許分類】
【出願番号】特願2008−83716(P2008−83716)
【出願日】平成20年3月27日(2008.3.27)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
【公開日】平成21年10月15日(2009.10.15)
【国際特許分類】
【出願日】平成20年3月27日(2008.3.27)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
[ Back to top ]