物体検出装置および運転支援システム
【課題】周囲に存在する物体の部分のうち最も近接する位置にある部分までの距離の情報を的確に検出することが可能な物体検出装置を提供する。
【解決手段】物体検出装置1は、代表距離算出手段12が算出した各代表距離znをグルーピングして物体を検出する物体検出手段13を備え、物体検出手段13は、検出した物体の手前側に探索領域Rを設定し、探索領域R内での個々の距離zの情報の分布に基づいて、探索領域R内に物体の一部Bが存在すると判断した場合には、元の当該物体までの距離の情報Zと検出した当該物体の一部までの距離の情報Zbとの差分ΔZを算出して当該物体の情報に対応付け、当該物体の情報に差分ΔZが対応付けられている場合には、検出した当該物体までの距離Zから差分ΔZを差し引いた値を新たに当該物体までの距離Znewの情報として算出して出力する。
【解決手段】物体検出装置1は、代表距離算出手段12が算出した各代表距離znをグルーピングして物体を検出する物体検出手段13を備え、物体検出手段13は、検出した物体の手前側に探索領域Rを設定し、探索領域R内での個々の距離zの情報の分布に基づいて、探索領域R内に物体の一部Bが存在すると判断した場合には、元の当該物体までの距離の情報Zと検出した当該物体の一部までの距離の情報Zbとの差分ΔZを算出して当該物体の情報に対応付け、当該物体の情報に差分ΔZが対応付けられている場合には、検出した当該物体までの距離Zから差分ΔZを差し引いた値を新たに当該物体までの距離Znewの情報として算出して出力する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体検出装置および運転支援システムに係り、特に、物体の実空間上の距離を検出して周囲の物体を検出する物体検出装置、および物体検出装置で検出された物体までの距離の情報に基づいて自車両に対する運転支援制御を行う運転支援システムに関する。
【背景技術】
【0002】
近年、周囲に存在する物体をCCD(Charge Coupled Device)カメラ等の撮像手段で撮像した画像の画像解析やレーダ装置から照射された電波の反射波解析、或いはそれらを組み合わせた解析等の手法により検出する技術の開発が進められている(例えば特許文献1、2等参照)。
【0003】
これらの技術における物体検出の手法としては、例えば一対のカメラ等の撮像手段で周囲を同時に撮像して得られた一対の画像に対してステレオマッチング処理等を施して各画素ごとに視差の情報を算出して物体までの距離を算出したり、レーダ装置から電波を照射し、その反射波を解析して物体までの距離を検出し、得られた距離の情報等に基づいて実空間上の物体の位置を把握することで実空間上に物体が検出される。
【0004】
その際、実空間上には種々の物体に属する位置の情報が多数検出されるが、通常、検出されたすべての情報を分類して物体を検出することは必ずしも容易ではなく、また、処理に時間を要するため、特に物体検出にリアルタイム性が要求されるような場合には適さない。そこで、以下のような手法を用いてリアルタイム性を確保しつつ的確に物体を検出する手法が採用される場合がある。
【0005】
例えば図16に示すような画像Tが撮像されるシーンにおいて、撮像された画像Tを含む一対の画像に対してステレオマッチング処理を行うと、画像Tの各画素ブロックごとに視差の情報が得られるが、その視差の情報やそれから算出される距離の情報を各画素ブロックに割り当てると、図17に示すように視差や距離の情報を画像状に表すことができる。以下、この視差や距離の情報が画像状に表されたものを距離画像Tzという。
【0006】
レーダ装置から照射した電波の反射波を解析して距離を検出し、その距離が検出された方位に距離のデータを当てはめて画像状に表した場合にも、図17に示した距離画像Tzと同様の画像状のデータが得られる。以下、距離画像Tzという場合、レーダ装置を用いて検出された距離のデータを画像状に並べたものも含むものとする。
【0007】
そして、このようにして得られた距離画像Tzを図18に示すように所定の画素幅で縦方向に延在する短冊状の区分Dnに分割し、各区分Dnごとに図19に示すようなヒストグラムHnを作成し、当該区分Dnに属する個々の視差dpや距離zの情報をそれぞれ各区分DnごとのヒストグラムHnに投票する。そして、例えば各ヒストグラムHnにおける度数Fnが最も高い最頻値が属する階級の階級値を当該区分Dnにおける物体の代表視差dpnや代表距離znとする。これを全区分Dnについて行い、各区分Dnごとに代表視差dpnや代表距離znを算出する。
【0008】
なお、視差dpと距離zとの関係は、以下のようにして1対1に対応付けることができる。すなわち、一対のカメラ等の撮像手段を用いた画像解析において、一対の撮像手段の中央真下の地面等の基準面上の点を原点とし、距離方向すなわち撮像手段正面の無限遠点に向かう方向にZ軸をとり、左右方向および上下方向にそれぞれX軸およびY軸をとった場合の実空間上の点(x,y,z)と、上記の視差dpおよび距離画像Tz上の画素の座標(i,j)とは、三角測量の原理に基づいて、
x=CD/2+z×PW×(i−IV) …(1)
y=CH+z×PW×(j−JV) …(2)
z=CD/(PW×(dp−DP)) …(3)
で表される座標変換により1対1に対応付けることができる。
【0009】
なお、上記各式において、CDは一対の撮像手段の間隔、PWは1画素当たりの視野角、CHは一対の撮像手段の取り付け高さ、IVおよびJVは正面の無限遠点の距離画像Tz上のi座標およびj座標、DPは消失点視差を表す。また、代表視差dpnと代表距離znとも、上記(3)式に基づいて1対1に対応付けられる。
【0010】
上記のようにして距離画像Tzを縦方向に延在する短冊状の区分Dnに分割することは、実空間上に置き換えた場合、図20の平面図に示すように、撮像手段Aによる実空間上の撮像領域Raを上下方向に延在する複数の区分空間Snに分割することに対応する。また、レーダ装置においても同様である。すなわち、図20における装置Aをレーダ装置、領域Raをレーダ装置による実空間上の電波の照射領域と見れば、距離画像Tzを縦方向に延在する短冊状の区分Dnに分割することはレーダ装置Aによる実空間上の照射領域Raを上下方向に延在する複数の区分空間Snに分割することに対応する。
【0011】
そして、実空間上の各区分空間Snに、当該区分空間Snに対応する距離画像Tzの区分Dnにおける代表距離zn(算出された代表視差dpnに1対1に対応付けられる代表距離zn)をプロットすると、各代表距離znは例えば図21に示すようにプロットされる。なお、実際には区分Dnの数に応じて図21に示した以上に多数の点が細かくプロットされる。
【0012】
そして、図22に示すように、例えばプロットされた各代表距離znをそれらの間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループG1、G2、G3、…にまとめてグループ化して、図23に示すように、各グループに属する各点をそれぞれ直線近似することで、物体を検出することができる。なお、その際、例えば略X軸方向に延在するグループOと略Z軸方向に延在するグループSとが共通のコーナー点Cを有する場合には同一の物体とする等して、検出した物体の統合、分離等を行う。
【0013】
また、例えば、撮像手段で撮像した画像の画像解析で物体を検出する場合には、上記のように距離画像Tzに基づいて検出された各物体を、図24に示すように、撮像手段で撮像された元の画像T上にそれぞれ矩形状の枠線で包囲するようにして、検出結果を画像T上に可視化することができる。また、このように1つのグループGにグルーピングされた各代表距離znの平均値や、各代表距離znのうち撮像手段Aに最も近い代表距離znが、当該物体までの実空間上の距離Zとして算出される。
【0014】
ところで、上記のようにして物体を検出する場合、例えば、図25に示すように、一対の撮像手段Aを備えた物体検出装置を搭載した自車両MCの前方を走行する先行車両Vahが、荷台Pが平ボディの荷台付きトラックである場合には、撮像された一対の画像Tには図26に示すように背面から見たトラックVahが撮像される。
【0015】
そして、これらの画像に対してステレオマッチング処理を行って距離画像Tz(図示省略)を得ると、図27に示す画像T上に点線で囲まれて示される荷台Pの後あおりBの左右のエッジ部分や、荷台Pの前壁Fr(前構造、鳥居ともいう。)とキャブCaの背面部分に対応する部分には有効な視差dpや距離zの情報が多数検出されるが、平板状で構造に乏しい荷台Pの後あおりBの中央部に対応する部分には有効な視差dpや距離zの情報がほとんど検出されない。
【0016】
そのため、上記のように距離画像Tzを短冊状の区分Dnに分割して各区分DnごとにヒストグラムHnを作成し、当該区分Dnに属する視差dpや距離zの情報を投票して各区分Dnごとに代表距離znを算出すると、荷台Pの後あおりBの左右のエッジ部分を含む区分Dnでは自車両MCから後あおりBまでの距離zbが代表距離znとして算出され、前壁Frや後あおりBの中央部を含む区分Dnでは前壁FrやキャブCaの背面部分までの距離zfが代表距離znとして算出される。
【0017】
このようにして得られた各代表距離znを前述した図21の場合と同様に実空間上にプロットすると、図28に示すように、実際には荷台Pの後あおりBが距離zbの部分に左端から右端まで連続して存在していて後あおりBが先行車両Vahであるトラックの最後端であるにもかかわらず、後あおりBの中央部は検出されない。
【0018】
そして、その中央部の部分では、より前方の荷台Pの前壁FrやキャブCaの背面部分が検出され、前壁Fr等の位置に先行車両Vahの最後端があるように検出される。つまり、先行車両Vahまでの実空間上の距離Zが距離zfであるとして検出される。先行車両Vahがこのように検出されてしまうと、例えば自車両MCが先行車両Vahであるトラックの後あおりBに衝突しそうな時にもそれを検出できないことになる。
【0019】
そこで、このような問題を解決するために、特許文献3では、図25に示したようなシーンでは、図29に示すように、先行車両Vahであるトラックの荷台Pの前壁FrやキャブCaの背面部分を含む実空間内の所定の範囲Rb内の視差dpや距離zの情報については、それらの情報を図19に示した各ヒストグラムHnに投票する対象から除外する物体検出装置が開示されている。
【0020】
このように構成すれば、図28に示した各代表距離znのうち、トラックの荷台Pの前壁FrやキャブCaの背面部分に対応する距離zfの位置の代表距離znは検出されなくなり、荷台Pの後あおりBの部分に対応する距離zbの位置の代表距離znのみが検出される。そのため、トラックの荷台Pの後あおりBの部分を先行車両Vahの最後端として的確に検出することができる。つまり、先行車両Vahまでの実空間上の距離Zを距離zbであるとして的確に検出することが可能となる。
【先行技術文献】
【特許文献】
【0021】
【特許文献1】特開平6−266828号公報
【特許文献2】特開2000−259997号公報
【特許文献3】特開2009−176091号公報
【発明の概要】
【発明が解決しようとする課題】
【0022】
ところで、物体検出装置を上記特許文献3に記載されているように構成すれば、大抵の場合は先行車両Vahを的確に検出することが可能となる。しかし、このように構成された場合、図26に示した状態から自車両MCと先行車両Vahとの距離がさらに接近して図30に示すようなシーンになり、さらに接近して、次のフレームで図31に示すようなシーンになったような場合に先行車両Vahを必ずしも的確に検出できなくなる虞れがある。
【0023】
すなわち、図30に示したようなシーンでは、画像T中にトラックの荷台Pの後あおりBの部分が撮像されているため、図29に示した所定の範囲Rb内の視差dpや距離zの情報が除外され、荷台Pの後あおりBの部分が先行車両Vahの最後端として検出される。
【0024】
しかし、次のフレームの図31に示したシーンでは、画像T中から荷台Pの後あおりBの部分が消えるため、物体検出装置は先行車両Vahを見失った(ロストした)と判断する。そのため、物体検出装置は、所定の範囲Rbの設定を解除する。すると、次のフレームでは、トラックの荷台Pの前壁FrやキャブCaの背面部分が先行車両Vahの最後端として検出される。
【0025】
一方、上記のように検出される先行車両Vahの最後端の位置がフレームごとに変化すると、例えば、物体検出装置が検出した先行車両Vahの最後端の位置に基づいて自車両MCの先行車両Vahに対する追突防止制御(プリクラッシュ制御ともいう。)や先行車両Vahに対する追従制御等の自車両MCに対する運転支援制御を行う場合などに支障が生じる場合がある。
【0026】
つまり、図30に示したようにトラックの荷台Pの後あおりBの部分が画像T中に撮像されている際には、後あおりBの部分を対象に制御が行われて自車両MCの制動制御が行われる。そして、次のフレームで、図31に示したように画像T中から荷台Pの後あおりBの部分が消え、トラックの荷台Pの前壁Fr等が先行車両Vahの最後端として検出されるようになると、先行車両Vahを見失った状態となり、所定の範囲Rbの設定が解除されるが、フェイルセーフが働いて、とりあえず前のフレームでの制動制御が維持される。
【0027】
しかし、さらに次のフレームでは、今度はトラックの荷台Pの前壁FrやキャブCaの背面部分が先行車両Vahの最後端として検出されるため、先行車両Vahが急に自車両MCから遠くの位置に移動したように検出される。そのため、自車両MCに対する制動制御が緩まり、自車両が先行車両Vahであるトラックに近づこうとする。
【0028】
しかし、実際にはトラックの荷台Pの後あおりBの部分は手前側に存在するため、自動的な制動制御が緩まったことを感じ取った自車両MCのドライバは、ブレーキを強く踏まなければならなくなり、違和感を覚える虞れがある。また、自車両MCのドライバが運転支援制御に任せきりになっていると、自車両MCが先行車両Vahであるトラックの荷台Pの後あおりBに追突してしまう可能性がないわけではない。
【0029】
そこで、特許文献3に記載の物体検出装置の機能と並行して、或いは、それとは独立に、図31に示したようなシーンでもトラックの荷台Pの後あおりBの位置を的確に先行車両Vahの最後端の位置として検出し得る技術の開発が望まれる。また、そのような技術に関する本発明者が行った研究の中で、トラックの荷台Pの後あおりBのみならず、物体の後方に突出する当該物体の一部を、より広くかつ的確に当該物体の最後端の位置として検出し得る技術を開発することができた。
【0030】
本発明は、このような事情に鑑みてなされたものであり、周囲に存在する物体の部分のうち最も近接する位置にある部分までの距離の情報を的確に検出することが可能な物体検出装置、および的確に検出された物体の当該部分までの距離の情報に基づいて自車両に対する運転支援制御を適切に行うことが可能な運転支援システムを提供することを目的とする。
【課題を解決するための手段】
【0031】
前記の問題を解決するために、第1の発明は、物体検出装置において、
周囲に存在する物体までの実空間上の距離の情報を含む位置の情報を検出する物体位置検出手段と、
前記実空間を上下方向に延在する複数の区分空間に分割して、各区分空間ごとにヒストグラムを作成し、個々の前記距離の情報を属する区分空間に対応するヒストグラムにそれぞれ投票し、投票結果に基づいて前記各区分空間ごとに代表距離を算出する代表距離算出手段と、
前記各代表距離をグルーピングして前記物体を検出する物体検出手段と、
を備え、
前記物体検出手段は、
検出した前記物体の手前側に所定の探索領域を設定し、前記探索領域内に存在する前記個々の距離の情報の分布に基づいて、当該探索領域内に当該物体の一部が存在するか否かを判断し、当該探索領域内に当該物体の一部が存在すると判断した場合には、元の当該物体までの距離の情報と検出した当該物体の一部までの距離の情報との差分を算出して、当該物体の情報に対応付けるとともに、
当該物体の情報に前記差分が対応付けられている場合には、検出した前記元の当該物体までの距離から前記差分を差し引いた値を、新たに当該物体までの距離の情報として算出して出力することを特徴とする。
【0032】
第2の発明は、第1の発明の物体検出装置において、前記物体検出手段は、検出した前記物体の路面からの高さが所定の閾値以上である場合に、当該物体の手前側での前記所定の探索領域の設定、前記探索領域内に存在する前記個々の距離の情報の分布に基づく当該物体の一部が存在するか否かの判断、および新たな当該物体までの距離の算出を行うことを特徴とする。
【0033】
第3の発明は、第1または第2の発明の物体検出装置において、前記物体検出手段は、前記物体の横幅および高さの少なくとも一方に応じて、前記探索領域の形状を可変させて設定することを特徴とする。
【0034】
第4の発明は、第1から第3のいずれかの発明の物体検出装置において、前記物体検出手段は、前記代表距離算出手段が作成した前記各区分空間に対応する前記ヒストグラムへの投票結果のうち、設定した前記探索領域に属する前記区分空間に対応する前記ヒストグラムへの投票結果を1つのヒストグラムに投影し、当該1つのヒストグラムにおいて度数が所定の閾値以上となる階級が存在する場合には、当該階級の階級値を前記物体の一部までの距離の情報として算出することを特徴とする。
【0035】
第5の発明は、第4の発明の物体検出装置において、前記物体検出手段は、前記代表距離算出手段が作成した前記各区分空間に対応する前記ヒストグラムへの投票結果のうち、設定した前記探索領域に属する前記区分空間に対応する前記ヒストグラムへの投票結果を1つのヒストグラムに投影する際、前記各代表距離をグルーピングして検出した元の当該物体の下端の路面からの高さ未満の高さの前記個々の距離の情報のみを前記1つのヒストグラムに投影することを特徴とする。
【0036】
第6の発明は、第1から第5のいずれかの発明の物体検出装置において、前記物体検出手段は、前記探索領域内に前記物体の一部が存在すると判断した場合であって、過去のフレームで前記差分が算出されている場合には、各フレームごとに算出した前記差分の時間的統計値を算出して、当該時間的統計値を前記差分として更新することを特徴とする。
【0037】
第7の発明は、第1から第6のいずれかの発明の物体検出装置において、前記物体検出手段は、前記探索領域内に前記物体の一部が存在すると判断した場合であって、過去のフレームで前記差分が算出されている場合には、検出した前記元の当該物体までの距離がより近距離であるほど今回のフレームで算出した前記差分の重みが重くなるようにして、各フレームごとに算出した前記差分の時間的重み付け平均値を算出して、当該時間的重み付け平均値を前記差分として更新することを特徴とする。
【0038】
第8の発明は、第1から第5のいずれかの発明の物体検出装置において、前記物体検出手段は、前記探索領域内に前記物体の一部が存在すると判断した場合には、算出した前記差分を各フレームごとにヒストグラムに投票し、当該ヒストグラムにおける階級の度数が所定の閾値以上となった場合に、当該度数が前記閾値以上となった階級の階級値を前記差分として更新することを特徴とする。
【0039】
第9の発明は、運転支援システムにおいて、
自車両に搭載された第1から第8のいずれかの発明の物体検出装置と、
前記物体検出装置から前記物体である先行車両までの前記新たな距離の情報が出力されてくると、当該情報に基づいて、応動部を制御することにより自車両に対する運転支援制御を行う制御装置と、
を備えることを特徴とする。
【発明の効果】
【0040】
第1の発明によれば、探索領域に物体(例えば先行車両Vah)の一部が存在する場合には、その物体の一部(上記の例ではトラックの荷台Pの後あおりB)までの距離が当該物体までの距離の情報として外部装置に送信されるため、例えば、トラックの荷台Pの後あおりBが先行車両Vahとして検出できない場合でも、もともと先行車両Vahまでの距離として検出されたトラックの荷台Pの前壁FrやキャブCaの背面部分までの距離ではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離を的確に当該先行車両Vahまでの距離の情報として外部装置に的確に送信することが可能となる。
【0041】
また、例えば図31に示したようなシーンになり、今回のフレームでは、物体検出手段で探索領域内に物体(例えば先行車両Vah)の一部は存在しないと判断される場合であっても、図30に示したようなシーンが撮像される前回のフレームまでに物体の情報に対応付けられている差分の情報を用いることで、今回フレームにおいても、トラックの荷台Pの前壁FrやキャブCaの背面部分までの距離ではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離を的確に当該先行車両Vahまでの距離の情報として外部装置に的確に送信することが可能となる。
【0042】
そのため、周囲に存在する物体(例えば先行車両Vah)であって、物体検出手段で物体として検出される部分の手前側に物体としては検出されにくい部分(例えばトラックの荷台Pの後あおりB)を有する物体であっても、その検出されにくい部分を検出した物体の一部として的確に検出して、その最も近接する位置にある物体の一部までの距離の情報を的確に検出することが可能となる。
【0043】
第2の発明によれば、検出した物体が乗用車であるような場合には、検出した物体の下端部分の路面からの高さはさほど高くなく路面に近いに検出されるが、検出した物体がトラックの荷台Pの前壁FrやキャブCaの背面部分であるような場合には、検出した物体の下端部分の路面からの高さがある程度高い位置に検出される。しかも、その場合には、検出した物体の下方に荷台Pのように後方に突出する物体の一部が存在する場合がある。
【0044】
前記発明の効果に加え、上記の特徴を利用して、検出した物体の下端部分の路面からの高さがある程度高い位置に検出される場合には、探索領域の設定以降の処理を行うように構成することで、物体に付属する後方に突出する構成要素を的確に検出することが可能となるとともに、検出した物体の下端部分の路面からの高さが路面の高さに近く、物体に付属する後方に突出する構成要素が存在すると考え難い場合には、探索領域の設定以降の処理を行わないように構成することで、物体検出手段における処理の負荷を軽減することが可能となる。
【0045】
第3の発明によれば、例えばトラックの場合、検出される荷台Pの前壁FrやキャブCaの背面部分が大きいトラックは荷台Pが比較的広い大型トラックであり、それらが小さいトラックは荷台Pが比較的狭い小型トラックであると見なすことができる。そのため、検出した物体の横幅や高さに応じて探索領域の形状を可変させて設定することで、物体の一部を的確に検出することが可能となり、前記各発明の効果を的確に発揮することが可能となる。
【0046】
第4の発明によれば、探索領域内に存在する個々の距離の情報の分布に基づいて当該探索領域内に物体の一部が存在するか否かを判断する際、代表距離算出手段が作成した各区分空間に対応するヒストグラムへの投票結果を活用して、各ヒストグラムへの投票結果を1つのヒストグラムに投影して物体の一部までの距離の情報を算出することで、探索領域内に存在する個々の距離の情報の分布を改めて算出する手間を省くことが可能となり、前記各発明の効果をより効率的に発揮することが可能となる。
【0047】
第5の発明によれば、上記第4の発明において、各代表距離をグルーピングして検出した元の物体の下端の路面からの高さ未満の高さの個々の距離の情報のみを1つのヒストグラムに投影するように構成することで、後方に突出する物体の一部より上方側に存在する不要な距離の情報の影響を排除した状態で物体の一部までの距離を的確に算出することが可能となり、前記各発明の効果を的確に発揮することが可能となる。
【0048】
第6の発明によれば、例えば今回のフレームで算出した差分がミスマッチング等に起因する差分であったとしても、差分を、各フレームにおける差分の時間的統計値として算出して更新することで、ミスマッチング等に起因する悪影響が時間的統計値として算出される差分に及ぶことを軽減することが可能となる。そのため、ミスマッチング等で異常な差分が算出されたフレームにおいても新たな物体までの距離の値をより適切な値として算出することが可能となり、前記各発明の効果を的確に発揮することが可能となる。
【0049】
第7の発明によれば、物体までの距離が近く、物体までの距離や物体の一部までの距離に対する誤差が小さい状態で差分が算出された場合に、その差分の重みが大きい状態で、差分が時間的重み付け平均値として算出されて更新される。そのため、実際の差分からの時間的重み付け平均値のずれが少なくなり、時間的重み付け平均値を、例えば実際のトラックの荷台の距離方向の長さにより近い値として安定して算出することが可能となり、前記各発明の効果を的確に発揮することが可能となる。
【0050】
第8の発明によれば、例えば今回のフレームで算出した差分がミスマッチング等に起因する差分であり、差分を各フレームごとにヒストグラムに投票した際に、異常な階級値の階級に投票されることがあったとしても、単発的な異常な差分が投票される階級では度数が増加せず、適切な値の差分が投票される階級で度数が適切に増加する。そのため、階級の度数が所定の閾値以上となった階級の階級値を前記差分として更新することで、新たな物体までの距離の情報を的確に算出することが可能となり、前記各発明の効果を的確に発揮することが可能となる。
【0051】
第9の発明によれば、前記各発明の効果を発揮して、物体検出装置で探索領域内に先行車両の一部が存在すると判断できる場合は勿論、存在すると判断できない場合でも、前回フレームまでの差分の情報を用いて自車両から先行車両の一部までの距離の情報が的確に算出されて送信されてくる。そのため、運転支援システムの制御装置は、その先行車両の一部までの距離に基づいて、先行車両の最後端の部分を目標として応動部を的確に制御することが可能となり、物体検出装置により的確に検出された先行車両の一部までの距離の情報に基づいて自車両に対する運転支援制御を適切に行うことが可能となる。
【図面の簡単な説明】
【0052】
【図1】本実施形態に係る物体検出装置の構成を示すブロック図である。
【図2】イメージプロセッサにおけるステレオマッチング処理の手法を説明する図である。
【図3】基準画像上に設定された水平ラインを表す図である。
【図4】基準画像上に検出された左右の車線を示す図である。
【図5】形成された路面モデルの例を示す図であり、(A)は水平形状モデル、(B)は道路高モデルを表す。
【図6】検出された物体の距離画像上での上下端、左右端の各位置を説明する図である。
【図7】実空間上の自車両の走行軌跡や進行路を表す図である。
【図8】基準画像上の自車両の走行軌跡および先行車両を表す図である。
【図9】物体検出手段における探索領域の設定およびそれ以降の処理の手順を示すフローチャートである。
【図10】先行車両として検出されるトラックの荷台の前壁やキャブの背面部分、および先行車両の下端を表す図である。
【図11】検出した先行車両の手前側に設定される探索領域、および探索領域内に存在する個々の距離の情報の分布を表すヒストグラムを説明する図である。
【図12】各フレームごとに算出される差分が投票されるヒストグラムおよびその投票状況を説明する図である。
【図13】積荷の後端部分が後あおりより後方にはみ出すように積荷が搭載されたトラックを表す図である。
【図14】図13の状況で検出した先行車両の手前側に設定される探索領域、および探索領域内に存在する個々の距離の情報の分布を表すヒストグラムを説明する図である。
【図15】本実施形態に係る運転支援システムの構成を示すブロック図である。
【図16】画像に撮像されるシーンの例を表す図である。
【図17】図16の基準画像等に基づいて算出された距離画像を示す図である。
【図18】距離画像を分割する各区分を示す図である。
【図19】図18の各区分ごとに作成されるヒストグラムの一例を示す図である。
【図20】実空間上の照射領域を分割する複数の区分空間を表す平面図である。
【図21】各区分ごとの物体の代表距離を実空間上にプロットした図である。
【図22】図21の各点のグループ化を説明する図である。
【図23】図22の各グループに属する各点を直線近似して得られる物体を表す図である。
【図24】検出された各物体を基準画像上で矩形状の枠線に包囲して表す図である。
【図25】自車両の前方を走行する荷台付きトラックを表す図である。
【図26】図25の状態で撮像される画像を表す図である。
【図27】視差や距離の情報が検出される荷台付きトラックの荷台の後あおりの左右のエッジ部分や前壁とキャブの背面部分に対応する部分を説明する図である。
【図28】図26の画像等に対するステレオマッチング処理で得られる各代表距離を実空間上にプロットした図である。
【図29】視差や距離の情報がヒストグラムに投票する対象から除外される実空間内の所定の範囲を説明する図である。
【図30】自車両がトラックに接近し、トラックの荷台の後あおりが撮像される最後のフレームにおける画像の例を表す図である。
【図31】図30の状態から自車両がさらにトラックに接近し、トラックの荷台の後あおりが撮像されなくなったフレームにおける画像の例を表す図である。
【発明を実施するための形態】
【0053】
以下、本発明に係る物体検出装置および運転支援システムの実施の形態について、図面を参照して説明する。
【0054】
[物体検出装置]
まず、物体検出装置について説明する。本発明は、上記の背景技術でも述べたように、カメラ等の撮像手段で撮像した画像の画像解析に基づくものだけでなく、例えばレーダ装置から照射された電波の反射波解析や、画像解析と反射波解析とを組み合わせた手法等による物体検出にも適用することができるものである。以下では、一対のカメラ等の撮像手段で撮像した画像の解析により自車両から物体までの距離を含む位置の情報に基づいて物体を検出する場合について説明する。
【0055】
また、本実施形態に係る物体検出装置では、車両に搭載されて自車両の周囲に存在する物体、特に先行車両を検出する場合について説明するが、先行車両以外の物体を検出する際にも同様に応用することが可能であり、本発明は下記の実施形態に限定されるものではない。
【0056】
本実施形態に係る物体検出装置1は、図1に示すように、撮像手段2や画像処理手段6等を備える物体位置検出手段9と、検出手段10等で構成されている。
【0057】
なお、物体位置検出手段9の構成は本願出願人により先に提出された特開平5−114099号公報、特開平5−265547号公報、特開平6−266828号公報、特開平10−283461号公報、特開平10−283477号公報、特開2006−72495号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【0058】
本実施形態では、撮像手段2は、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され、例えばフロントガラスの内側に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられたメインカメラ2aおよびサブカメラ2bからなるステレオカメラが用いられている。
【0059】
メインカメラ2aとサブカメラ2bは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に車両の周囲、特に前方を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ2aは前述した図16に例示される基準画像Tの画像データを出力し、運転者から遠い側に配置されたサブカメラ2bは図示を省略する比較画像の画像データを出力するようになっている。
【0060】
メインカメラ2aとサブカメラ2bから出力された画像データは、変換手段3であるA/Dコンバータ3a、3bでアナログ画像からそれぞれ画素ごとに例えば0〜255の256階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部4でずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ5に送信されて格納されるとともに、画像処理手段6にも送信されるようになっている。
【0061】
画像処理手段6は、イメージプロセッサ7と距離データメモリ8とを備えており、イメージプロセッサ7では、ステレオマッチング処理が行われるようになっている。具体的には、イメージプロセッサ7は、図2に示すように、基準画像T上に例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックPBを設定し、基準画素ブロックPBに対応する比較画像TC中のエピポーララインEPL上の基準画素ブロックPBと同形の各比較画素ブロックPBCについて下記(1)式に従って当該基準画素ブロックPBとの輝度パターンの差異であるSAD値を算出し、SAD値が最小の比較画素ブロックPBCを特定するようになっている。
【0062】
【数1】
【0063】
なお、p1stは基準画素ブロックPB中の各画素の輝度値を表し、p2stは比較画素ブロックPBC中の各画素の輝度値を表す。また、上記の総和は、基準画素ブロックPBや比較画素ブロックPBCが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。
【0064】
イメージプロセッサ7は、このようにして基準画像Tの各基準画素ブロックPBについて、特定した比較画素ブロックPBCの比較画像TC上の位置と当該基準画素ブロックPBの基準画像T上の位置から視差dpを算出するようになっている。本実施形態では、イメージプロセッサ7は、このようにして算出した視差dpを基準画像Tの各基準画素ブロックPBにそれぞれ割り当てて前述した図17に示したような距離画像Tzを形成し、それらのデータを距離データメモリ8に送信して格納するようになっている。
【0065】
なお、前述したように、視差dpと実空間上の距離zは上記(3)式に従って1対1に対応付けられる。そのため、距離画像Tzを形成する時点で、各基準画素ブロックPBごとの視差dpを距離zの情報に変換し、基準画像Tの各基準画素ブロックPBにそれぞれ距離zの情報を割り当てて距離画像Tzを形成するように構成することも可能である。
【0066】
また、各基準画素ブロックPBの基準画像T上の座標(i,j)は上記(1)、(2)式に従って実空間上のX座標とY座標にそれぞれ1対1に対応付けられる。そのため、距離画像Tzの各基準画素ブロックの座標(i,j)と視差dpは、上記(1)〜(3)式に従って実空間上の位置(x,y,z)に1対1に対応付けられるようになっている。そのため、以下、視差dpの情報という場合、上記(1)〜(3)式に従って算出できる距離zの情報を含む位置(x,y,z)の情報を意味するものとして説明する。
【0067】
本実施形態では、上記のように、撮像手段2からイメージプロセッサ7や距離データメモリ8を含む画像処理手段6までの構成により、自車両の周囲、特に自車両前方に存在する物体までの実空間上の距離zの情報を含む位置の情報を検出する物体位置検出手段9が構成されている。
【0068】
しかし、前述したように、物体位置検出手段9は、自車両の周囲に存在する物体までの距離zの情報を含む位置の情報を検出できるものであればよく、本実施形態の他にも、例えば前述したようにレーダ装置やそれと画像解析とを組み合わせて位置の情報を検出する手段等で構成することも可能である。
【0069】
検出手段10は、図示しないCPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)、入出力インターフェース等がバスに接続されたコンピュータ(ECU)で構成されている。また、検出手段10には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されており、自車両の車速Vやヨーレートγ、舵角δ等の情報が適宜送信されてくるようになっている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【0070】
検出手段10は、自車両の周囲、特に前方の路面の形状を検出する路面検出手段11と、前述した代表距離znを算出する代表距離算出手段12と、代表距離znをグルーピングして物体を検出する物体検出手段13とを備えており、さらに図示しないメモリを備えている。
【0071】
路面検出手段11は、自車両の周囲、特に前方の道路面を検出するようになっている。路面検出手段11では、道路面上に標示された追い越し禁止線や路側帯と車道とを区画する区画線等の連続線や破線すなわち車線を検出し、その情報に基づいて自車両前方の路面の形状を検出するようになっている。なお、車線検出の構成は、本願出願人により先に提出された特開2006−331389号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【0072】
路面検出手段11は、まず、撮像手段2により撮像された基準画像Tが、例えば図16に示したような画像である場合、図3に示すように、基準画像Tの1画素幅の水平ラインj上を左右方向に探索し、ある画素の輝度pとそれに隣接する画素の輝度pとの差(すなわちエッジ強度)Δpが予め設定された閾値Δpth以上となり輝度pが大きく変化する画素を車線候補点として検出する。
【0073】
そして、探索する水平ラインjを1画素分ずつ上方にずらしながら、同様にして車線候補点の検出を繰り返す。なお、水平ラインj上で車線候補点を探索する領域を、例えば、前回検出された車線の位置の周囲のみに設定する等して、探索範囲を限定し狭めて設定するように構成することも可能である。また、車線候補点として検出した画素の視差dp等に基づいて、検出した車線候補点に対応する実空間上の点が道路面上にないと判断される場合には、当該車線候補点は除外される。
【0074】
そして、路面検出手段11は、基準画像T中に検出した各車線候補点のうち、まず、自車両に近い側の各車線候補点に対してハフ変換等の処理を行い、車線としてふさわしい直線を左右に1本ずつ決め、続いて、検出した車線を表す直線を基準として、基準画像Tの上方に向かって自車両から遠方の車線候補点のうち整合性がある車線候補点をつないでいくことで、図4に示すように、自車両の左右に車線LL、LRをそれぞれ検出するようになっている。
【0075】
また、路面検出手段11は、このようにして自車両の左右にそれぞれ検出した左右の車線LL、LRの情報に基づいて、実空間上における車線の三次元的な路面モデルを形成するようになっている。本実施形態では、路面検出手段11は、例えば図5(A)、(B)に示すように、自車両の左右に検出した車線LL、LRを所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現して路面モデルを形成するようになっている。
【0076】
本実施形態では、各所定区間ごとの直線式を、下記(5)、(6)式で表され図5(A)に示されるZ−X平面上の路面モデルである水平形状モデルと、下記(7)、(8)式で表され図5(B)に左車線LLが代表して示されるZ−Y平面上の路面モデルである道路高モデルで表すようになっている。なお、検出された路面モデルの情報は、検出手段10のメモリに保存される。
【0077】
[水平形状モデル]
左車線LL x=aL・z+bL …(5)
右車線LR x=aR・z+bR …(6)
[道路高モデル]
左車線LL y=cL・z+dL …(7)
右車線LR y=cR・z+dR …(8)
【0078】
なお、本実施形態では、上記のように自車両前方等の路面の形状を検出する路面検出手段11を設ける場合について説明するが、必ずしも路面検出手段11を設ける必要はなく、例えば自車両前方等の路面の形状を平面として近似して以下の処理を行うように構成することも可能である。
【0079】
代表距離算出手段12は、上記の背景技術で述べた図18〜図20に示した手法と同様の手法によって区分空間Snごとに代表距離znを算出するようになっている。
【0080】
すなわち、図17に示したような距離画像Tzを図18に示したように所定の画素幅で縦方向に延在する短冊状の区分Dnに分割し、すなわち図20の平面図に示したように実空間上の撮像領域Raを上下方向に延在する複数の区分空間Snに分割し、各区分Dn(或いは各区分空間Sn。以下同じ。)ごとに図19に示すようなヒストグラムHnを作成し、当該区分Dnに属する視差dpの情報を投票する。
【0081】
そして、例えば各ヒストグラムHnにおける最頻値が属する階級の階級値を当該区分Dnにおける物体の代表視差dpnや代表距離znとする。これを全区分Dnについて行い、各区分Dnごとに代表視差dpnや代表距離znを算出するようになっている。
【0082】
なお、代表視差dpnを上記(3)式に基づいて代表距離znに換算するように構成してもよいことは前述したとおりである。また、本発明では、前述した特許文献3に記載された物体検出装置のように、視差dpや距離zの情報に対して各ヒストグラムHnに投票する対象から除外する実空間内の所定の範囲Rb(図29参照)は設定されない。すなわち、全ての視差dpや距離zの情報を、代表視差dpnや代表距離znを算出する対象とするようになっている。
【0083】
物体検出手段13は、前述した図21〜図24に示した手法と同様の手法によって代表距離算出手段12が算出した距離画像Tzの各区分Dnの各代表距離znをグルーピングして物体を検出するようになっている。
【0084】
具体的には、前述したように、代表距離算出手段12が算出した距離画像Tzの各区分Dnの各代表距離znを図21に示したように実空間上にプロットし、図22に示したようにプロットされた各代表距離znの間の距離や方向性に基づいて互いに隣接する各代表距離znをそれぞれグループG1、G2、G3、…にまとめてグループ化する。
【0085】
そして、物体検出手段13は、図23に示したように各グループに属する各点をそれぞれ直線近似して、本実施形態では、それぞれのグループ内の各点がX軸方向に略平行に並ぶグループには“物体”Oとラベルし、各点がZ軸方向に略平行に並ぶグループには“側壁”Sとラベルして分類するようになっている。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所にコーナー点としてCをラベルするようになっている。物体検出手段13は、このようにして各物体を検出するようになっている。
【0086】
物体検出手段13は、物体を検出すると、図6に示すように、1つの物体として検出された各グループの距離画像Tz上での上端や下端、左端、右端の各位置Ltop、Lbottom、Lleft、Lrightを算出するようになっている。なお、図6では、前方の1つの物体についてのみ上端の位置Ltop等が示されているが、検出した他の物体についても同様に上端の位置Ltop等が算出される。
【0087】
また、本実施形態では、物体検出手段13は、算出した各物体の上下端や左右端の位置Ltop、Lbottom、Lleft、Lrightに基づいて、検出した各物体を、図24に示すように基準画像T上にそれぞれ矩形状の枠線で包囲するようにして、基準画像T上に可視化して検出するようになっている。さらに、本実施形態では、物体検出手段13は、このように1つのグループGにグルーピングした各代表距離znの平均値や、各代表距離znのうち自車両MCに最も近い代表距離znを、自車両から当該物体までの実空間上の距離Zとして算出するようになっている。
【0088】
本実施形態では、物体検出手段13は、検出した物体の中から先行車両Vahを検出するようになっている。具体的には、物体検出手段13は、まず、自車両MCの挙動に基づいて、図7に示すように自車両MCが今後進行するであろう軌跡を走行軌跡Lestとして推定し、その走行軌跡Lestを中心とする自車両MCの車幅分の領域を自車両Aの進行路Restとして算出するようになっている。
【0089】
自車両MCの走行軌跡Lestは、自車両MCの車速Vやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記(9)式または下記(10)、(11)式に従って算出される自車両MCの旋回曲率Cuaに基づいて算出することができる。なお、下記の各式におけるReは旋回半径、Asfは車両のスタビリティファクタ、Lwbはホイールベースである。
Cua=γ/V …(9)
Re=(1+Asf・V2)・(Lwb/δ) …(10)
Cua=1/Re …(11)
【0090】
そして、物体検出手段13は、図8に示すように、自車両MCの進行路Rest上に存在する物体の中で、自車両MCに最も近接する物体を自車両MCの前方を走行する先行車両Vahとして検出するようになっている。例えば、図7や図8では、車両O3が先行車両Vahとして検出される。そして、物体検出手段は、検出した先行車両Vahまでの距離Zを算出して、メモリに保存するようになっている。
【0091】
なお、本実施形態では、物体検出手段13は、前回のフレームで検出した先行車両と今回のフレームで先行車両として検出した物体とが同一の先行車両である確率を算出するなどして、整合性を保ちながら先行車両Vahを追跡するようになっている。また、物体検出手段13は、検出した先行車両Vahが自車両MCの前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。
【0092】
また、以下では、上記のように検出した先行車両Vahに対して処理を行う場合について説明するが、前述したように、先行車両Vah以外の検出された物体についても同様の処理を行うように構成することが可能である。
【0093】
物体検出手段13は、以上のようにして先行車両Vahを検出すると、検出した先行車両Vahの手前側(すなわち先行車両Vahの後方側)に所定の探索領域を設定し、この探索領域内に存在する個々の視差dpや距離zの情報の分布に基づいて、当該探索領域内に先行車両Vahの一部、すなわち例えば前述したトラックの荷台Pの後あおりBのような先行車両Vahに付属する構成要素が先行車両Vahの後方に存在するか否かを判断するようになっている。
【0094】
以下、物体検出手段13における上記の処理およびそれ以降の処理について、図9に示すフローチャートに従って詳しく説明するとともに、本実施形態に係る物体検出装置1の作用について説明する。
【0095】
物体検出手段13は、先行車両Vahを検出すると、まず、検出した先行車両Vahの手前側に所定の探索領域を設定するようになっている(ステップS1)。なお、この探索領域の設定およびそれ以降の処理は、先行車両Vahを検出するごとに先行車両Vahに対して行われるように構成されてもよいが、検出した先行車両Vahの路面からの高さが所定の閾値以上である場合にのみ行うように構成することも可能である。
【0096】
すなわち、先行車両Vahが例えば図8に示したような乗用車である場合、先行車両Vahの下端Lbottomの高さは路面とほぼ同じ高さであるが、このような場合、乗用車の後方に乗用車に付属する構成要素が存在することは考え難い。従って、先行車両Vahの下端Lbottomの高さが道路面とほぼ同じ高さである場合には、先行車両Vahの手前側に所定の探索領域を設定してその探索領域内に先行車両Vahの一部が先行車両Vahの後方に存在するか否かを判断する必要性に乏しい。
【0097】
しかし、先行車両Vahが例えば図10に示すようなトラックであるような場合には、上記のような物体検出処理では、図10に示すように、トラックの荷台Pの前壁FrやキャブCaの背面部分が先行車両Vahとして検出されるが、それらは荷台Pやタイヤ等を含む下部構造よりも上側にあるため、先行車両Vahの下端Lbottomは路面から例えば50cm等の一定以上の高さの位置に検出されるはずである。
【0098】
そこで、本実施形態では、物体検出手段13は、検出した先行車両Vahの下端Lbottomの路面からの高さyが予め設定された所定の閾値yth以上である場合に、探索領域の設定およびそれ以降の処理を行うように構成されている。
【0099】
このように構成することで、先行車両Vahが乗用車であるような場合のように、先行車両Vahの後方に先行車両Vahに付属する構成要素が存在することは考え難い場合には、探索領域の設定およびそれ以降の処理を行わないため、物体検出手段13における処理の負荷を軽減することが可能となる。また、先行車両Vahがトラック等であり、先行車両Vahの後方に先行車両Vahに付属する構成要素が存在すると考えられる場合には、探索領域の設定およびそれ以降の処理を行って、先行車両Vahに付属する構成要素を的確に検出することが可能となる。
【0100】
検出した先行車両Vahの下端Lbottomの路面からの高さyは、本実施形態では、前述したように路面検出手段11により自車両前方の路面形状として道路高モデル(上記(7)、(8)式参照)が得られているため、それを用いて算出される。
【0101】
すなわち、物体検出手段13は、上記のようにして算出した当該先行車両Vahまでの実空間上の距離Zを上記(7)、(8)式のzにそれぞれ代入して距離Zにおける路面高さyroadをそれぞれ算出する。そして、それらの平均値を算出したりそれらのyroadのうちの一方を採用する。一方、検出した先行車両Vahの下端Lbottomの実空間上の高さybottomは、当該先行車両Vahまでの実空間上の距離Z等を上記(2)式のzに代入して算出する。そして、高さybottomから高さyroadを減算することで、検出した先行車両Vahの下端Lbottomの路面からの高さyを算出するようになっている。
【0102】
なお、前述したように、自車両前方等の路面の形状を平面として近似する場合には、検出した先行車両Vahの下端Lbottomの路面からの高さyとして、上記(2)式に従って算出される先行車両Vahの下端Lbottomの実空間上の高さybottomがそのまま用いられる。
【0103】
物体検出手段13は、検出した先行車両Vahの路面からの高さyが所定の閾値yth以上であると判断すると、続いて、図11に示すように、検出した先行車両Vahの手前側に所定の探索領域Rを設定するようになっている(図9のステップS1)。
【0104】
探索領域Rは、予め設定された形状の領域とされてもよいが、先行車両Vahがトラック等である場合、荷台Pの大きさは、先行車両Vahが小型のトラック等であるか大型のトラック等であるかによって変わる。そして、先行車両Vahが小型のトラック等であるか大型のトラック等であるかは、検出した先行車両Vahの横幅すなわち先行車両Vahの左右端Lleft、Lrightの間隔や、先行車両Vahの高さすなわち先行車両Vahの上端Ltopの高さに基づいて推定できる。
【0105】
そのため、探索領域Rを、例えば先行車両Vahの横幅が大きいほど、或いは先行車両Vahの高さが高いほどその形状が大きくなるように可変させて設定するように構成することも可能である。
【0106】
物体検出手段13は、検出した先行車両Vahの手前側に探索領域Rを設定すると、続いて、探索領域R内に存在する個々の視差dpや距離zの情報の分布に基づいて、当該探索領域R内に先行車両Vahの一部が存在するか否かを判断するようになっている(ステップS2)。その際、例えば、探索領域R内に存在する全ての個々の視差dpや距離zの情報を、改めてヒストグラムに投票するように構成することも可能である。
【0107】
しかし、本実施形態では、上記のように、代表距離算出手段12で、各区分Dn(或いは各区分空間Sn)ごとのヒストグラムHn(図19参照)を作成し、それらに個々の視差dpや距離zの情報を投票した投票結果が存在する。そのため、物体検出手段13は、この各区分Dn(或いは各区分空間Sn)ごとのヒストグラムHnへの投票結果を利用して、探索領域R内に先行車両Vahの一部が存在するか否かを判断するようになっている。
【0108】
具体的には、物体検出手段13は、代表距離算出手段12が作成した各区分DnごとのヒストグラムHnへの投票結果のうち、設定した探索領域Rに属する区分Dnに対応するヒストグラムHnへの投票結果を、図11の左側に示すように1つのヒストグラムHに投影するようになっている。
【0109】
前述したように、代表距離算出手段12で、区分Dnに対応するヒストグラムHnに、例えば図19に示したように当該区分Dnに属する個々の視差dpや距離zの情報が各階級に投票されている。そこで、本実施形態では、物体検出手段13は、それらの各ヒストグラムHnのうち、設定した探索領域Rに属する各区分Dnに対応する各ヒストグラムHnの各階級の度数Fnを、それぞれ各階級ごとに加算し、加算して得られた度数を各階級の度数Fとする1つのヒストグラムHを作成するようになっている。
【0110】
図11に示すように、検出した先行車両Vahが平ボディの荷台付きトラックの場合、前述したステレオマッチングで、荷台Pの後あおりBの部分に比較的多くの視差dpや距離zの情報が検出されるため、図11左側のヒストグラムHに示すように、荷台Pの後あおりBまでの距離に相当する階級で度数Fが大きくなる。
【0111】
そのため、本実施形態では、ヒストグラムHの度数Fに予め所定の閾値Fthが設けられており、物体検出手段13は、投影されたヒストグラムHにおいて度数Fが所定の閾値Fth以上となる階級が存在する場合には、探索領域R内に先行車両Vahの一部が存在すると判断するようになっている。
【0112】
そして、物体検出手段13は、探索領域R内に先行車両Vahの一部が存在すると判断すると(図9のステップS2;YES)、その階級の階級値を先行車両Vahの一部までの距離の情報として算出するようになっている(ステップS3)。図11の例では、荷台Pの後あおりBまでの距離Zbが先行車両Vahの一部までの距離の情報として算出される。なお、探索領域R内に先行車両Vahの一部が存在しないと判断された場合には(ステップS2;NO)、今回のフレームでは以下のステップS3〜S8までの処理はスキップされる。
【0113】
物体検出手段13は、このようにして探索領域R内に先行車両Vahの一部(上記の例ではトラックの荷台Pの後あおりB)が存在すると判断し、先行車両Vahまでの距離Zbの情報を算出した場合には、もともと検出していた先行車両Vahまでの距離Zの情報と、上記のように算出した先行車両Vahの一部までの距離Zbとの差分ΔZを算出するようになっている(図9のステップS4)。
【0114】
本実施形態では、物体検出手段13は、続いて、前回のフレームまでに差分ΔZが算出されていなければ(ステップS5;NO)、上記のように今回のフレームで算出した差分ΔZを、検出した先行車両Vahの情報に対応付けてメモリに保存するようになっている(ステップS7)。
【0115】
一方、前回のフレームまでに差分ΔZが算出されている場合には(ステップS5;YES)、物体検出手段13は、続いて、差分ΔZの時間的統計値を算出し、それを新たに差分ΔZとして更新するようになっている(ステップS6)。
【0116】
本実施形態では、物体検出手段13は、差分ΔZの時間的統計値を算出する場合、前回フレームまでの時間的統計値をδZoldとすると、時間的統計値δZを、前回フレームまでの時間的統計値δZoldと、今回のフレームで算出された元の先行車両Vahまでの距離Zと当該先行車両Vahの一部までの距離Zbとの差分ΔZから、
δZ=(1−s)×δZold+s×ΔZ …(12)
で算出するようになっている。
【0117】
このように構成すれば、例えば今回のフレームで算出した差分ΔZがミスマッチング等に起因する差分ΔZであったとしても、過去のフレームの本来の差分ΔZとの時間的統計値を算出することで、ミスマッチング等に起因する差分ΔZの悪影響を軽減することが可能となる。また、そのため、ミスマッチング等で異常な差分ΔZが算出されたフレームにおいても新たな先行車両Vahまでの距離Znewの値をより適切な値として算出することが可能となる。
【0118】
上記(12)式において、sは、例えば予め設定された定数であり、例えば0.1等の小さな値に設定される。このように設定すれば、仮に今回のフレームで算出された差分ΔZがミスマッチング等に起因する差分であっても、その時間的統計値δZに及ぶ悪影響の度合いを低減することが可能となるとともに、各フレームごとに先行車両Vahの一部に対応する差分ΔZが繰り返し安定して算出されれば、時間的統計値δZは真の差分ΔZすなわち上記の例では実際の荷台Pの距離Z方向の長さとほぼ同じ値に算出される。
【0119】
なお、時間的統計値δZは、上記(12)式で算出される時間的重み付け平均値である場合に限らず、例えば、今回のフレームを含む例えば10フレーム分の差分ΔZの平均値として算出するように構成することも可能である。
【0120】
また、本実施形態のように、物体位置検出手段9をステレオカメラ等の撮像手段2等で構成する場合、基準画像Tの1画素あたりの距離方向(すなわちZ軸方向)の誤差が、自車両から遠い位置に対応する画素よりも自車両に近い位置に対応する画素の方が小さくなるという特性がある。
【0121】
そこで、例えば時間的重み付け平均値δZを、例えば上記(12)式に従って算出する場合、重みsを予め設定された定数とせず、検出した元の先行車両Vahまでの距離Zがより近距離であるほど、すなわち自車両により近い位置に先行車両Vahを検出した場合ほど重みsが大きくなるように変化させる。
【0122】
すなわち、上記(12)式における重みsを、自車両から検出した先行車両Vahまでの距離Zの関数s(Z)とし、関数s(Z)は距離Zが小さいほど大きな値をとるような関数として、
δZ={1−s(Z)}×δZold+s(Z)×ΔZ …(13)
に従って、時間的統計値δZを算出するように構成することができる。
【0123】
そして、今回のフレームで検出された元の先行車両Vahまでの距離Zから、当該時間的統計値δZを差し引いた値を、新たな先行車両Vahまでの距離Znewの情報として算出するように構成することが可能である。
【0124】
このように構成すれば、自車両から先行車両Vahまでの距離Zが近く、先行車両Vahまでの距離Zや先行車両Vahの一部までの距離Zbに対する誤差が小さい状態で差分ΔZが算出された場合に、その差分ΔZの重みが大きい状態で時間的重み付け平均値δZが算出される。そのため、実際の差分ΔZからの時間的重み付け平均値δZのずれが少なくなり、上記の例で言えば、時間的重み付け平均値δZを、実際の荷台Pの距離Z方向の長さにより近い値として安定して算出することが可能となる。
【0125】
物体検出手段13は、上記のようにして算出した時間的統計値δZを、新たに差分ΔZとして更新し(ステップS6)、更新した差分ΔZを、検出した先行車両Vahの情報に対応付けてメモリに保存するようになっている(ステップS7)。なお、算出した差分ΔZ(すなわち時間的統計値δZ)は、必要に応じて、外部装置に出力される。
【0126】
そして、物体検出手段13は、以上のようにして更新した差分ΔZを、検出した元の先行車両Vahまでの距離Zから差し引いた値を、新たに先行車両Vahまでの距離Znewとして算出し、当該先行車両Vahに関する種々の情報とを対応付けてメモリに保存するようになっている(ステップS8)。
【0127】
物体検出手段13は、続いて、今回のフレームで検出した先行車両Vahの情報に差分ΔZが対応付けられているか否かを判断するようになっている(ステップS9)。この場合、物体検出手段13は、メモリに保存されている先行車両Vahの情報に差分ΔZが対応付けられているか否かのみを判断するようになっており、その際、その差分ΔZが今回のフレームで算出(更新)されたものか、過去のフレームで算出(更新)されたものかを問わない。
【0128】
そして、物体検出手段13は、先行車両Vahの情報に差分ΔZが対応付けられていれば(ステップS9;YES)、上記のように算出した新たな先行車両Vahまでの距離Znewを外部装置に出力するようになっている(ステップS10)。なお、外部装置での処理で、元の先行車両Vahまでの距離Zの情報や差分ΔZの情報が必要であれば、新たな先行車両Vahまでの距離Znewの情報の出力にあわせて、それらの情報も出力される。
【0129】
また、物体検出手段13は、先行車両Vahの情報に差分ΔZが対応付けられていなければ(ステップS9;NO)、今回のフレームで検出した先行車両Vahまでの距離Zを外部装置に出力するようになっている(ステップS11)。この場合も、外部装置での処理で必要な情報であればあわせて出力される。
【0130】
このように構成することで、探索領域Rに先行車両Vahの一部が存在する場合には、自車両からその先行車両Vahの一部(上記の例ではトラックの荷台Pの後あおりB)までの距離Zbが当該先行車両Vahまでの距離Znewの情報として外部装置に的確に出力される。
【0131】
そのため、例えば、トラックの荷台Pの後あおりBが先行車両Vahとして検出できない場合でも、もともと先行車両Vahまでの距離として検出されたトラックの荷台Pの前壁FrやキャブCaの背面部分までの距離Zではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Zbを的確に当該先行車両Vahまでの距離Znewの情報として外部装置に出力することが可能となる。
【0132】
このように構成すれば、例えば図31に示したようなシーンになり、今回のフレームでは、物体検出手段13で探索領域R内に先行車両Vahの一部は存在しないと判断される場合であっても、図30に示したようなシーンが撮像される前回のフレームまでに、元の先行車両Vahまでの距離Zと先行車両Vahの一部までの距離Zbとの差分ΔZまたはその時間的統計値δZが差分ΔZとして算出され更新されて先行車両Vahの情報に対応付けられて記憶されている。
【0133】
そのため、物体検出手段13は、先行車両Vahのトラックの荷台Pの後あおりBが撮像されていない図31に示したような今回フレームにおいても、トラックの荷台Pの前壁FrやキャブCaの背面部分までの距離Zではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Zbを的確に当該先行車両Vahまでの距離Znewの情報として外部装置に出力することが可能となる。
【0134】
また、差分ΔZが算出されて先行車両Vahの情報に対応付けられて更新されて記憶されているため、先行車両Vahのトラックの荷台Pの後あおりBが撮像されていないフレームが連続しても、その都度、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Zbを的確に当該先行車両Vahまでの距離Znewの情報として外部装置に的確に出力することが可能となる。
【0135】
また、先行車両Vahに荷台P等の後方に突出する部分が存在しない場合には、探索領域R内には先行車両Vahの一部は検出されず、上記の差分ΔZも算出されない。そのため、図18〜図24に示した従来の手法により検出された先行車両Vahまでの距離Z(すなわち、元の先行車両Vahまでの距離Z)を、先行車両Vahまでの距離Zとして的確に外部装置に出力することが可能となる。
【0136】
なお、以上が、先行車両Vahの後方に先行車両Vahの一部が存在する場合の自車両から先行車両Vahまでの新たな距離Znewの算出処理の基本的な構成である。以下、自車両から先行車両Vahまでの新たな距離Znewの算出処理についての種々の変形例を説明する。
【0137】
まず、上記のように度数Fが所定の閾値Fth以上となる階級が複数存在する場合が生じ得る。その場合には、例えば、自車両に最も近い位置にある階級の階級値、すなわち自車両からの距離が最も短い距離にある階級の階級値を先行車両Vahの一部までの距離Zbとして算出するように構成することが可能である。自車両に最も近い先行車両Vahの一部が最も自車両と衝突を生じ易い部分であるからである。
【0138】
また、本実施形態では、上記のように、探索領域Rに属する各区分Dnに対応する各ヒストグラムHnの各階級の度数Fnをそれぞれ各階級ごとに加算し、加算して得られた度数を各階級の度数Fとして1つのヒストグラムHに投影する場合について説明した。しかし、各ヒストグラムHnの度数Fnである個々の視差dpや距離zの情報には、トラックの荷台P等の検出すべき先行車両Vahの一部が通常存在する高さ以上に高い位置にある物体に対応した視差dpや距離zの情報も含まれており、これらの情報は、先行車両Vahの後方に突出した一部を検出する際には不要な情報である。
【0139】
そのため、探索領域Rに属する各区分Dnに対応する各ヒストグラムHnへの投票結果を1つのヒストグラムHに投影する際に、例えば、各代表距離znをグルーピングして検出した元の当該先行車両Vah(上記の例ではトラックの荷台Pの前壁FrやキャブCaの背面部分)の下端Lbottom(図10等参照)の路面からの高さy、すなわち前述したように高さybottomと高さyroadとの差yより低い高さである個々の視差dpや距離zの情報のみを1つのヒストグラムHに投影するように構成することが可能である。
【0140】
このように構成すれば、路面からの高さが必要以上に高い不要な個々の視差dpや距離zの情報を排除して、物体(本実施形態では先行車両Vah)の一部までの距離Zbをより的確に算出することが可能となる。
【0141】
さらに、上記のようにして検出された先行車両Vahの一部は、今回のフレームでのステレオマッチングでたまたま当該階級に対応する位置に多数のミスマッチングが発生した結果であるような場合がある。すなわち、実際には先行車両Vahには後方に突出する一部は存在しないにも関わらず、先行車両Vahの一部が存在するかのように検出される場合がある。
【0142】
このような場合に、上記のように単に差分ΔZを先行車両Vahの情報に対応付けてメモリに保存すると(ステップS7)、その後のフレームで、当該先行車両Vahの後方の探索領域R内に先行車両Vahの一部が検出されなくても、差分ΔZが先行車両Vahの情報に対応付けられたままになる可能性がある。
【0143】
そこで、このように探索領域R内に先行車両Vahの一部が存在すると誤判断することを防止するために、例えば、上記のようにして探索領域R内に先行車両Vahの一部が存在すると判断された場合に、すぐに差分ΔZを先行車両Vahの情報に対応付けるのではなく、例えば図12に示すように、各フレームごとに差分ΔZを算出してヒストグラムHzに投票するように構成することが可能である。
【0144】
この場合、上記の例で言えば、差分ΔZは、トラックの荷台Pの前壁FrやキャブCaの背面部分から荷台Pの後あおりBまでの距離、すなわち荷台Pの距離Z方向の長さに対応する。そして、差分ΔZが荷台Pの長さに対応するものであれば、差分ΔZは各フレームごとにほぼ同じ値になるはずである。
【0145】
そのため、上記のように差分ΔZを各フレームごとにヒストグラムHzに投票するように構成すれば、先行車両Vahの一部(例えばトラックの荷台Pの後あおりBの部分)が存在する場合には、各フレームで先行車両Vahの一部が検出されるはずであるから、ヒストグラムHzでは、各フレームごとに後あおりBの部分に相当する階級の度数Fzが増加していくはずである。そして、ヒストグラムHzにおける階級の所定値以上に大きくなった場合には、その階級の差分ΔZは各フレームごとに安定して検出されており、先行車両Vahの後方に突出する一部であると考えられる。
【0146】
そのため、ヒストグラムHzにおける階級の度数Fzが予め設定された所定の閾値Fzth以上となった場合には、今回のフレームで検出した元の先行車両Vahまでの距離Zから、当該度数Fzが閾値Fzth以上となった階級の階級値ΔZを前記差分ΔZとして更新するように構成することが可能である。
【0147】
その際、各フレームごとに差分ΔZをヒストグラムHzに投票して単に加算するだけであると、ミスマッチングに起因する差分ΔZの階級、すなわち上記の例ではトラックの荷台Pの後あおりBの部分以外の部分に対応する差分ΔZの階級においても、やがて度数Fzが閾値Fzth以上になってしまう。
【0148】
そこで、例えば、ヒストグラムHzの各階級の度数Fzを各フレームごとに一定の値ずつ減らすようにする等して、各フレームごとに安定して検出される先行車両Vahの一部に対応する差分ΔZの階級では度数Fzが増加して閾値Fzthになるが、各フレームごとに現れたり現れなかったりするミスマッチング等に起因する差分ΔZの階級では度数Fzが少なくとも閾値Fzthまでは増加しないように調整することが必要となる。
【0149】
以上のように、本実施形態に係る物体検出装置1によれば、物体検出手段13で、検出した物体(例えば先行車両Vah)の手前側に所定の探索領域Rを設定し、探索領域R内に存在する個々の視差dpや距離zの分布に基づいて、当該探索領域R内に当該物体の一部が存在するか否かを判断し、探索領域R内に当該物体の一部が存在すると判断した場合には、元の当該物体までの距離Zと検出した当該物体の一部までの距離Zbとの差分ΔZを算出して、当該物体の情報に対応付ける。
【0150】
また、物体検出手段13では、今回のフレームや過去のフレームで当該物体の情報に差分ΔZが対応付けられている場合には、検出した元の当該物体までの距離Zから前記差分ΔZを差し引いた値を、新たに当該物体までの距離Znewの情報として算出して出力する。当該物体の情報に差分ΔZが対応付けられていない場合には、検出した元の当該物体までの距離Zを、当該物体までの距離Zの情報として出力する。
【0151】
このように構成することで、探索領域Rに物体(例えば先行車両Vah)の一部が存在する場合には、その物体の一部(上記の例ではトラックの荷台Pの後あおりB)までの距離Zbが当該物体までの距離Znewの情報として外部装置に送信されるため、例えば、トラックの荷台Pの後あおりBが先行車両Vahとして検出できない場合でも、もともと先行車両Vahまでの距離として検出されたトラックの荷台Pの前壁FrやキャブCaの背面部分までの距離Zではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Zbを的確に当該先行車両Vahまでの距離Znewの情報として外部装置に的確に送信することが可能となる。
【0152】
また、例えば図31に示したようなシーンになり、今回のフレームでは、物体検出手段13で探索領域R内に物体(例えば先行車両Vah)の一部は存在しないと判断される場合であっても、図30に示したようなシーンが撮像される前回のフレームまでに物体の情報に対応付けられている差分ΔZの情報を用いることで、例えば、トラックの荷台Pの後あおりBが撮像されていない図31に示したような今回フレームにおいても、トラックの荷台Pの前壁FrやキャブCaの背面部分までの距離Zではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Zbを的確に当該先行車両Vahまでの距離Znewの情報として外部装置に的確に送信することが可能となる。
【0153】
そのため、周囲に存在する物体(例えば先行車両Vah)であって、物体検出手段13で物体として検出される部分の手前側に物体としては検出されにくい部分(例えばトラックの荷台Pの後あおりB)を有する物体であっても、その検出されにくい部分を検出した物体の一部として的確に検出して、その最も近接する位置にある物体の一部までの距離Znewの情報を的確に検出することが可能となる。
【0154】
また、それとともに、外部装置に対して、最も近接する位置にある物体の一部(例えば先行車両Vahの最後端)までの距離Znewの情報を的確に伝えることが可能となり、外部装置がその情報に基づいて、適切に処理を行うことが可能となる。
【0155】
また、先行車両Vahに荷台P等の後方に突出する部分が存在しない場合には、探索領域R内には先行車両Vahの一部は検出されず、上記の差分ΔZも算出されないため、図18〜図24に示した従来の手法により検出された先行車両Vahまでの距離Z(すなわち、元の先行車両Vahまでの距離Z)を、先行車両Vahまでの距離Zとして的確に外部装置に出力することが可能となる。
【0156】
なお、本実施形態では、検出する物体の一部がトラックの荷台Pの後あおりBである場合を例に挙げて説明した。しかし、本実施形態は、この場合に限定されない。
【0157】
例えば、図13に示すように、先行車両Vahであるトラックの荷台Pの後端から積荷Baが自車両側にはみ出しているような場合、検出されるべき先行車両Vahの一部は、荷台Pの後あおりBではなく、積荷Baの後端部分である。
【0158】
しかし、図14に示すように、本実施形態に係る物体検出装置1では、このような場合には、上記と同様に、先行車両Vahとしてトラックの荷台Pの前壁FrやキャブCaの背面部分が検出され、先行車両Vahまでの距離Zが検出されるとしても、物体の一部としてトラックの荷台Pの後あおりBよりもさらに手前側にある積荷Baの後端部分を的確に検出することができ、自車両から積荷Baまでの距離Zaを新たに先行車両Vahまでの距離Znewとして的確に算出することが可能となる。
【0159】
このように、本実施形態に係る物体検出装置1によれば、物体のうち、手前側に突出する物体の一部を的確に検出して、装置に最も近接する位置にある物体の部分までの距離Znewの情報を的確に検出することが可能となる。
【0160】
[運転支援システム]
次に、上記の物体検出装置1を用いた運転支援システムについて説明する。なお、本実施形態では、運転支援システムにより自車両に対する先行車両Vahへの追従制御が行われる場合について説明するが、運転支援システムにおける自動制御はこれに限定されず、例えば、自車両MCの先行車両Vahに対する追突防止制御等の他の自動制御を行う場合についても適用される。
【0161】
本実施形態に係る運転支援システム20は、図15に示すように、上記の物体検出装置1と、制御装置21と、応動部22とを備えている。なお、物体検出装置1については、上記のとおりであり、説明を省略する。
【0162】
制御装置21は、図示しないCPUやROM、RAM、入出力インターフェース等がバスに接続されたコンピュータ(ECU)で構成されている。また、制御装置21には、物体検出装置1や、制御装置21からの指示に基づいて自車両のアクセルスロットルやブレーキ機構等を自動的に操作するアクチュエータ等からなる応動部22が電気的に接続されている。
【0163】
制御装置21は、物体検出装置1の物体検出手段13から、前述した自車両から先行車両Vahまでの新たな距離Znewの情報等が送信されてくると、それに基づいて応動部22に電気信号を送信する等して制御して、自車両を先行車両Vahに追従させるようになっている。その際、自車両と先行車両Vahとが走行中であれば、先行車両Vahとの車間距離を保つように自車両を先行車両Vahに追従させ、先行車両Vahが停止した場合には、先行車両Vahの後方の先行車両Vahの最後端の位置から所定の距離だけ離れた位置で自車両を停止させるようになっている。
【0164】
前述したように、物体検出装置1の物体検出手段13では、検出した先行車両Vahの手前側に所定の探索領域Rを設定して探索領域R内に先行車両Vahの一部が存在するか否かを判断し、探索領域R内に先行車両Vahの一部が存在すると判断した場合には、検出した先行車両Vahの一部までの距離Zbの情報を、新たに先行車両Vahまでの距離Znewの情報として算出して出力する。
【0165】
また、探索領域R内に先行車両Vahの一部が存在しないと判断した場合であっても、前回フレームまでに先行車両Vahの情報に差分ΔZの情報が対応付けられている場合には、今回のフレームで検出した元の先行車両Vahまでの距離Zから当該差分ΔZを差し引いた値を新たに先行車両Vahまでの距離Znewの情報として算出して出力する。
【0166】
さらに、先行車両Vahに、そもそも後方に突出する部分が存在しない場合には、探索領域R内には先行車両Vahの一部は検出されず、上記の差分ΔZも算出されないため、図18〜図24に示した従来の手法により検出された先行車両Vahまでの距離Z(すなわち、元の先行車両Vahまでの距離Z)を、先行車両Vahまでの距離Zの情報として出力する。
【0167】
そのため、例えば図30に示したように先行車両Vahであるトラックの荷台Pの後あおりBが基準画像T中に撮像されているシーンから、今回のフレームでは、図31に示したシーンのように荷台Pの後あおりBが基準画像T中に撮像されない状態になったとしても、前回のフレームまでに先行車両Vahの情報に対応付けられている差分ΔZの情報を用いて、今回フレームにおいても、トラックの荷台Pの前壁FrやキャブCaの背面部分までの距離Zではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Zbが、的確に当該先行車両Vahまでの距離Znewの情報として運転支援システム20の制御装置21に送信されてくる。
【0168】
そのため、運転支援システム20の制御装置21は、自車両に対して最も近接する位置にある先行車両Vahの一部までの距離(すなわち図31の例では撮像されていないトラックの荷台Pの後あおりBまでの距離)Znewの情報に基づいて、或いは、先行車両Vahにそもそも後方に突出する部分が存在しない場合には元の先行車両Vahまでの距離Zに基づいて、適切に自車両に対する運転支援制御を行うことが可能となる。
【0169】
また、図31に示したように画像T中から荷台Pの後あおりBの部分が消えた状態が続いても、過去のフレームで先行車両Vahの情報に対応付けられた差分ΔZの情報を用いて先行車両Vahまでの距離Znewの情報として送信されてくる。
【0170】
そのため、運転支援システム20の制御装置21は、画像T中には撮像されていないが実際に自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Znewに基づき後あおりBを目標として応動部22を制御し、自車両と先行車両Vahとが走行中であれば、先行車両Vahとの車間距離を保つように自車両を先行車両Vahに追従させ、先行車両Vahが停止した場合には、先行車両Vahの後方の先行車両Vahの最後端の位置から所定の距離だけ離れた位置で自車両を停止させることが可能となる。
【0171】
以上のように、本実施形態に係る運転支援システム20によれば、物体検出装置1で探索領域R内に先行車両Vahの一部が存在すると判断できる場合は勿論、存在すると判断できない場合でも、前回フレームまでの差分ΔZの情報を用いて自車両から先行車両Vahの一部までの距離Znewの情報が的確に算出されて送信されてくる。また、先行車両Vahに、そもそも後方に突出する部分が存在しない場合には、元の先行車両Vahまでの距離Zが送信されてくる。
【0172】
そのため、運転支援システム20の制御装置21は、その先行車両Vahの一部までの距離Znewや元の先行車両Vahまでの距離Zに基づいて、先行車両Vahの最後端の部分を目標として応動部22を的確に制御することが可能となり、物体検出装置1により的確に検出された先行車両Vahの一部までの距離Znewや元の先行車両Vahまでの距離Zの情報に基づいて自車両に対する運転支援制御を適切に行うことが可能となる。
【符号の説明】
【0173】
1 物体検出装置
9 物体位置検出手段
12 代表距離算出手段
13 物体検出手段
20 運転支援システム
21制御装置
22応動部
B トラックの荷台の後あおり(物体の一部)
Dn 区分
F、Fz 度数
Fth、Fzth 閾値
H、Hz 1つのヒストグラム
Hn ヒストグラム
MC 自車両
O、S 物体
R 探索領域
s、s(Z) 重み
Sn 区分空間
Vah 先行車両
y 物体の路面からの高さ
yth 閾値
Z 元の物体までの距離
z 実空間上の距離
Zb 物体の一部までの距離
zn 代表距離
Znew 新たな物体までの距離
ΔZ 差分
【技術分野】
【0001】
本発明は、物体検出装置および運転支援システムに係り、特に、物体の実空間上の距離を検出して周囲の物体を検出する物体検出装置、および物体検出装置で検出された物体までの距離の情報に基づいて自車両に対する運転支援制御を行う運転支援システムに関する。
【背景技術】
【0002】
近年、周囲に存在する物体をCCD(Charge Coupled Device)カメラ等の撮像手段で撮像した画像の画像解析やレーダ装置から照射された電波の反射波解析、或いはそれらを組み合わせた解析等の手法により検出する技術の開発が進められている(例えば特許文献1、2等参照)。
【0003】
これらの技術における物体検出の手法としては、例えば一対のカメラ等の撮像手段で周囲を同時に撮像して得られた一対の画像に対してステレオマッチング処理等を施して各画素ごとに視差の情報を算出して物体までの距離を算出したり、レーダ装置から電波を照射し、その反射波を解析して物体までの距離を検出し、得られた距離の情報等に基づいて実空間上の物体の位置を把握することで実空間上に物体が検出される。
【0004】
その際、実空間上には種々の物体に属する位置の情報が多数検出されるが、通常、検出されたすべての情報を分類して物体を検出することは必ずしも容易ではなく、また、処理に時間を要するため、特に物体検出にリアルタイム性が要求されるような場合には適さない。そこで、以下のような手法を用いてリアルタイム性を確保しつつ的確に物体を検出する手法が採用される場合がある。
【0005】
例えば図16に示すような画像Tが撮像されるシーンにおいて、撮像された画像Tを含む一対の画像に対してステレオマッチング処理を行うと、画像Tの各画素ブロックごとに視差の情報が得られるが、その視差の情報やそれから算出される距離の情報を各画素ブロックに割り当てると、図17に示すように視差や距離の情報を画像状に表すことができる。以下、この視差や距離の情報が画像状に表されたものを距離画像Tzという。
【0006】
レーダ装置から照射した電波の反射波を解析して距離を検出し、その距離が検出された方位に距離のデータを当てはめて画像状に表した場合にも、図17に示した距離画像Tzと同様の画像状のデータが得られる。以下、距離画像Tzという場合、レーダ装置を用いて検出された距離のデータを画像状に並べたものも含むものとする。
【0007】
そして、このようにして得られた距離画像Tzを図18に示すように所定の画素幅で縦方向に延在する短冊状の区分Dnに分割し、各区分Dnごとに図19に示すようなヒストグラムHnを作成し、当該区分Dnに属する個々の視差dpや距離zの情報をそれぞれ各区分DnごとのヒストグラムHnに投票する。そして、例えば各ヒストグラムHnにおける度数Fnが最も高い最頻値が属する階級の階級値を当該区分Dnにおける物体の代表視差dpnや代表距離znとする。これを全区分Dnについて行い、各区分Dnごとに代表視差dpnや代表距離znを算出する。
【0008】
なお、視差dpと距離zとの関係は、以下のようにして1対1に対応付けることができる。すなわち、一対のカメラ等の撮像手段を用いた画像解析において、一対の撮像手段の中央真下の地面等の基準面上の点を原点とし、距離方向すなわち撮像手段正面の無限遠点に向かう方向にZ軸をとり、左右方向および上下方向にそれぞれX軸およびY軸をとった場合の実空間上の点(x,y,z)と、上記の視差dpおよび距離画像Tz上の画素の座標(i,j)とは、三角測量の原理に基づいて、
x=CD/2+z×PW×(i−IV) …(1)
y=CH+z×PW×(j−JV) …(2)
z=CD/(PW×(dp−DP)) …(3)
で表される座標変換により1対1に対応付けることができる。
【0009】
なお、上記各式において、CDは一対の撮像手段の間隔、PWは1画素当たりの視野角、CHは一対の撮像手段の取り付け高さ、IVおよびJVは正面の無限遠点の距離画像Tz上のi座標およびj座標、DPは消失点視差を表す。また、代表視差dpnと代表距離znとも、上記(3)式に基づいて1対1に対応付けられる。
【0010】
上記のようにして距離画像Tzを縦方向に延在する短冊状の区分Dnに分割することは、実空間上に置き換えた場合、図20の平面図に示すように、撮像手段Aによる実空間上の撮像領域Raを上下方向に延在する複数の区分空間Snに分割することに対応する。また、レーダ装置においても同様である。すなわち、図20における装置Aをレーダ装置、領域Raをレーダ装置による実空間上の電波の照射領域と見れば、距離画像Tzを縦方向に延在する短冊状の区分Dnに分割することはレーダ装置Aによる実空間上の照射領域Raを上下方向に延在する複数の区分空間Snに分割することに対応する。
【0011】
そして、実空間上の各区分空間Snに、当該区分空間Snに対応する距離画像Tzの区分Dnにおける代表距離zn(算出された代表視差dpnに1対1に対応付けられる代表距離zn)をプロットすると、各代表距離znは例えば図21に示すようにプロットされる。なお、実際には区分Dnの数に応じて図21に示した以上に多数の点が細かくプロットされる。
【0012】
そして、図22に示すように、例えばプロットされた各代表距離znをそれらの間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループG1、G2、G3、…にまとめてグループ化して、図23に示すように、各グループに属する各点をそれぞれ直線近似することで、物体を検出することができる。なお、その際、例えば略X軸方向に延在するグループOと略Z軸方向に延在するグループSとが共通のコーナー点Cを有する場合には同一の物体とする等して、検出した物体の統合、分離等を行う。
【0013】
また、例えば、撮像手段で撮像した画像の画像解析で物体を検出する場合には、上記のように距離画像Tzに基づいて検出された各物体を、図24に示すように、撮像手段で撮像された元の画像T上にそれぞれ矩形状の枠線で包囲するようにして、検出結果を画像T上に可視化することができる。また、このように1つのグループGにグルーピングされた各代表距離znの平均値や、各代表距離znのうち撮像手段Aに最も近い代表距離znが、当該物体までの実空間上の距離Zとして算出される。
【0014】
ところで、上記のようにして物体を検出する場合、例えば、図25に示すように、一対の撮像手段Aを備えた物体検出装置を搭載した自車両MCの前方を走行する先行車両Vahが、荷台Pが平ボディの荷台付きトラックである場合には、撮像された一対の画像Tには図26に示すように背面から見たトラックVahが撮像される。
【0015】
そして、これらの画像に対してステレオマッチング処理を行って距離画像Tz(図示省略)を得ると、図27に示す画像T上に点線で囲まれて示される荷台Pの後あおりBの左右のエッジ部分や、荷台Pの前壁Fr(前構造、鳥居ともいう。)とキャブCaの背面部分に対応する部分には有効な視差dpや距離zの情報が多数検出されるが、平板状で構造に乏しい荷台Pの後あおりBの中央部に対応する部分には有効な視差dpや距離zの情報がほとんど検出されない。
【0016】
そのため、上記のように距離画像Tzを短冊状の区分Dnに分割して各区分DnごとにヒストグラムHnを作成し、当該区分Dnに属する視差dpや距離zの情報を投票して各区分Dnごとに代表距離znを算出すると、荷台Pの後あおりBの左右のエッジ部分を含む区分Dnでは自車両MCから後あおりBまでの距離zbが代表距離znとして算出され、前壁Frや後あおりBの中央部を含む区分Dnでは前壁FrやキャブCaの背面部分までの距離zfが代表距離znとして算出される。
【0017】
このようにして得られた各代表距離znを前述した図21の場合と同様に実空間上にプロットすると、図28に示すように、実際には荷台Pの後あおりBが距離zbの部分に左端から右端まで連続して存在していて後あおりBが先行車両Vahであるトラックの最後端であるにもかかわらず、後あおりBの中央部は検出されない。
【0018】
そして、その中央部の部分では、より前方の荷台Pの前壁FrやキャブCaの背面部分が検出され、前壁Fr等の位置に先行車両Vahの最後端があるように検出される。つまり、先行車両Vahまでの実空間上の距離Zが距離zfであるとして検出される。先行車両Vahがこのように検出されてしまうと、例えば自車両MCが先行車両Vahであるトラックの後あおりBに衝突しそうな時にもそれを検出できないことになる。
【0019】
そこで、このような問題を解決するために、特許文献3では、図25に示したようなシーンでは、図29に示すように、先行車両Vahであるトラックの荷台Pの前壁FrやキャブCaの背面部分を含む実空間内の所定の範囲Rb内の視差dpや距離zの情報については、それらの情報を図19に示した各ヒストグラムHnに投票する対象から除外する物体検出装置が開示されている。
【0020】
このように構成すれば、図28に示した各代表距離znのうち、トラックの荷台Pの前壁FrやキャブCaの背面部分に対応する距離zfの位置の代表距離znは検出されなくなり、荷台Pの後あおりBの部分に対応する距離zbの位置の代表距離znのみが検出される。そのため、トラックの荷台Pの後あおりBの部分を先行車両Vahの最後端として的確に検出することができる。つまり、先行車両Vahまでの実空間上の距離Zを距離zbであるとして的確に検出することが可能となる。
【先行技術文献】
【特許文献】
【0021】
【特許文献1】特開平6−266828号公報
【特許文献2】特開2000−259997号公報
【特許文献3】特開2009−176091号公報
【発明の概要】
【発明が解決しようとする課題】
【0022】
ところで、物体検出装置を上記特許文献3に記載されているように構成すれば、大抵の場合は先行車両Vahを的確に検出することが可能となる。しかし、このように構成された場合、図26に示した状態から自車両MCと先行車両Vahとの距離がさらに接近して図30に示すようなシーンになり、さらに接近して、次のフレームで図31に示すようなシーンになったような場合に先行車両Vahを必ずしも的確に検出できなくなる虞れがある。
【0023】
すなわち、図30に示したようなシーンでは、画像T中にトラックの荷台Pの後あおりBの部分が撮像されているため、図29に示した所定の範囲Rb内の視差dpや距離zの情報が除外され、荷台Pの後あおりBの部分が先行車両Vahの最後端として検出される。
【0024】
しかし、次のフレームの図31に示したシーンでは、画像T中から荷台Pの後あおりBの部分が消えるため、物体検出装置は先行車両Vahを見失った(ロストした)と判断する。そのため、物体検出装置は、所定の範囲Rbの設定を解除する。すると、次のフレームでは、トラックの荷台Pの前壁FrやキャブCaの背面部分が先行車両Vahの最後端として検出される。
【0025】
一方、上記のように検出される先行車両Vahの最後端の位置がフレームごとに変化すると、例えば、物体検出装置が検出した先行車両Vahの最後端の位置に基づいて自車両MCの先行車両Vahに対する追突防止制御(プリクラッシュ制御ともいう。)や先行車両Vahに対する追従制御等の自車両MCに対する運転支援制御を行う場合などに支障が生じる場合がある。
【0026】
つまり、図30に示したようにトラックの荷台Pの後あおりBの部分が画像T中に撮像されている際には、後あおりBの部分を対象に制御が行われて自車両MCの制動制御が行われる。そして、次のフレームで、図31に示したように画像T中から荷台Pの後あおりBの部分が消え、トラックの荷台Pの前壁Fr等が先行車両Vahの最後端として検出されるようになると、先行車両Vahを見失った状態となり、所定の範囲Rbの設定が解除されるが、フェイルセーフが働いて、とりあえず前のフレームでの制動制御が維持される。
【0027】
しかし、さらに次のフレームでは、今度はトラックの荷台Pの前壁FrやキャブCaの背面部分が先行車両Vahの最後端として検出されるため、先行車両Vahが急に自車両MCから遠くの位置に移動したように検出される。そのため、自車両MCに対する制動制御が緩まり、自車両が先行車両Vahであるトラックに近づこうとする。
【0028】
しかし、実際にはトラックの荷台Pの後あおりBの部分は手前側に存在するため、自動的な制動制御が緩まったことを感じ取った自車両MCのドライバは、ブレーキを強く踏まなければならなくなり、違和感を覚える虞れがある。また、自車両MCのドライバが運転支援制御に任せきりになっていると、自車両MCが先行車両Vahであるトラックの荷台Pの後あおりBに追突してしまう可能性がないわけではない。
【0029】
そこで、特許文献3に記載の物体検出装置の機能と並行して、或いは、それとは独立に、図31に示したようなシーンでもトラックの荷台Pの後あおりBの位置を的確に先行車両Vahの最後端の位置として検出し得る技術の開発が望まれる。また、そのような技術に関する本発明者が行った研究の中で、トラックの荷台Pの後あおりBのみならず、物体の後方に突出する当該物体の一部を、より広くかつ的確に当該物体の最後端の位置として検出し得る技術を開発することができた。
【0030】
本発明は、このような事情に鑑みてなされたものであり、周囲に存在する物体の部分のうち最も近接する位置にある部分までの距離の情報を的確に検出することが可能な物体検出装置、および的確に検出された物体の当該部分までの距離の情報に基づいて自車両に対する運転支援制御を適切に行うことが可能な運転支援システムを提供することを目的とする。
【課題を解決するための手段】
【0031】
前記の問題を解決するために、第1の発明は、物体検出装置において、
周囲に存在する物体までの実空間上の距離の情報を含む位置の情報を検出する物体位置検出手段と、
前記実空間を上下方向に延在する複数の区分空間に分割して、各区分空間ごとにヒストグラムを作成し、個々の前記距離の情報を属する区分空間に対応するヒストグラムにそれぞれ投票し、投票結果に基づいて前記各区分空間ごとに代表距離を算出する代表距離算出手段と、
前記各代表距離をグルーピングして前記物体を検出する物体検出手段と、
を備え、
前記物体検出手段は、
検出した前記物体の手前側に所定の探索領域を設定し、前記探索領域内に存在する前記個々の距離の情報の分布に基づいて、当該探索領域内に当該物体の一部が存在するか否かを判断し、当該探索領域内に当該物体の一部が存在すると判断した場合には、元の当該物体までの距離の情報と検出した当該物体の一部までの距離の情報との差分を算出して、当該物体の情報に対応付けるとともに、
当該物体の情報に前記差分が対応付けられている場合には、検出した前記元の当該物体までの距離から前記差分を差し引いた値を、新たに当該物体までの距離の情報として算出して出力することを特徴とする。
【0032】
第2の発明は、第1の発明の物体検出装置において、前記物体検出手段は、検出した前記物体の路面からの高さが所定の閾値以上である場合に、当該物体の手前側での前記所定の探索領域の設定、前記探索領域内に存在する前記個々の距離の情報の分布に基づく当該物体の一部が存在するか否かの判断、および新たな当該物体までの距離の算出を行うことを特徴とする。
【0033】
第3の発明は、第1または第2の発明の物体検出装置において、前記物体検出手段は、前記物体の横幅および高さの少なくとも一方に応じて、前記探索領域の形状を可変させて設定することを特徴とする。
【0034】
第4の発明は、第1から第3のいずれかの発明の物体検出装置において、前記物体検出手段は、前記代表距離算出手段が作成した前記各区分空間に対応する前記ヒストグラムへの投票結果のうち、設定した前記探索領域に属する前記区分空間に対応する前記ヒストグラムへの投票結果を1つのヒストグラムに投影し、当該1つのヒストグラムにおいて度数が所定の閾値以上となる階級が存在する場合には、当該階級の階級値を前記物体の一部までの距離の情報として算出することを特徴とする。
【0035】
第5の発明は、第4の発明の物体検出装置において、前記物体検出手段は、前記代表距離算出手段が作成した前記各区分空間に対応する前記ヒストグラムへの投票結果のうち、設定した前記探索領域に属する前記区分空間に対応する前記ヒストグラムへの投票結果を1つのヒストグラムに投影する際、前記各代表距離をグルーピングして検出した元の当該物体の下端の路面からの高さ未満の高さの前記個々の距離の情報のみを前記1つのヒストグラムに投影することを特徴とする。
【0036】
第6の発明は、第1から第5のいずれかの発明の物体検出装置において、前記物体検出手段は、前記探索領域内に前記物体の一部が存在すると判断した場合であって、過去のフレームで前記差分が算出されている場合には、各フレームごとに算出した前記差分の時間的統計値を算出して、当該時間的統計値を前記差分として更新することを特徴とする。
【0037】
第7の発明は、第1から第6のいずれかの発明の物体検出装置において、前記物体検出手段は、前記探索領域内に前記物体の一部が存在すると判断した場合であって、過去のフレームで前記差分が算出されている場合には、検出した前記元の当該物体までの距離がより近距離であるほど今回のフレームで算出した前記差分の重みが重くなるようにして、各フレームごとに算出した前記差分の時間的重み付け平均値を算出して、当該時間的重み付け平均値を前記差分として更新することを特徴とする。
【0038】
第8の発明は、第1から第5のいずれかの発明の物体検出装置において、前記物体検出手段は、前記探索領域内に前記物体の一部が存在すると判断した場合には、算出した前記差分を各フレームごとにヒストグラムに投票し、当該ヒストグラムにおける階級の度数が所定の閾値以上となった場合に、当該度数が前記閾値以上となった階級の階級値を前記差分として更新することを特徴とする。
【0039】
第9の発明は、運転支援システムにおいて、
自車両に搭載された第1から第8のいずれかの発明の物体検出装置と、
前記物体検出装置から前記物体である先行車両までの前記新たな距離の情報が出力されてくると、当該情報に基づいて、応動部を制御することにより自車両に対する運転支援制御を行う制御装置と、
を備えることを特徴とする。
【発明の効果】
【0040】
第1の発明によれば、探索領域に物体(例えば先行車両Vah)の一部が存在する場合には、その物体の一部(上記の例ではトラックの荷台Pの後あおりB)までの距離が当該物体までの距離の情報として外部装置に送信されるため、例えば、トラックの荷台Pの後あおりBが先行車両Vahとして検出できない場合でも、もともと先行車両Vahまでの距離として検出されたトラックの荷台Pの前壁FrやキャブCaの背面部分までの距離ではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離を的確に当該先行車両Vahまでの距離の情報として外部装置に的確に送信することが可能となる。
【0041】
また、例えば図31に示したようなシーンになり、今回のフレームでは、物体検出手段で探索領域内に物体(例えば先行車両Vah)の一部は存在しないと判断される場合であっても、図30に示したようなシーンが撮像される前回のフレームまでに物体の情報に対応付けられている差分の情報を用いることで、今回フレームにおいても、トラックの荷台Pの前壁FrやキャブCaの背面部分までの距離ではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離を的確に当該先行車両Vahまでの距離の情報として外部装置に的確に送信することが可能となる。
【0042】
そのため、周囲に存在する物体(例えば先行車両Vah)であって、物体検出手段で物体として検出される部分の手前側に物体としては検出されにくい部分(例えばトラックの荷台Pの後あおりB)を有する物体であっても、その検出されにくい部分を検出した物体の一部として的確に検出して、その最も近接する位置にある物体の一部までの距離の情報を的確に検出することが可能となる。
【0043】
第2の発明によれば、検出した物体が乗用車であるような場合には、検出した物体の下端部分の路面からの高さはさほど高くなく路面に近いに検出されるが、検出した物体がトラックの荷台Pの前壁FrやキャブCaの背面部分であるような場合には、検出した物体の下端部分の路面からの高さがある程度高い位置に検出される。しかも、その場合には、検出した物体の下方に荷台Pのように後方に突出する物体の一部が存在する場合がある。
【0044】
前記発明の効果に加え、上記の特徴を利用して、検出した物体の下端部分の路面からの高さがある程度高い位置に検出される場合には、探索領域の設定以降の処理を行うように構成することで、物体に付属する後方に突出する構成要素を的確に検出することが可能となるとともに、検出した物体の下端部分の路面からの高さが路面の高さに近く、物体に付属する後方に突出する構成要素が存在すると考え難い場合には、探索領域の設定以降の処理を行わないように構成することで、物体検出手段における処理の負荷を軽減することが可能となる。
【0045】
第3の発明によれば、例えばトラックの場合、検出される荷台Pの前壁FrやキャブCaの背面部分が大きいトラックは荷台Pが比較的広い大型トラックであり、それらが小さいトラックは荷台Pが比較的狭い小型トラックであると見なすことができる。そのため、検出した物体の横幅や高さに応じて探索領域の形状を可変させて設定することで、物体の一部を的確に検出することが可能となり、前記各発明の効果を的確に発揮することが可能となる。
【0046】
第4の発明によれば、探索領域内に存在する個々の距離の情報の分布に基づいて当該探索領域内に物体の一部が存在するか否かを判断する際、代表距離算出手段が作成した各区分空間に対応するヒストグラムへの投票結果を活用して、各ヒストグラムへの投票結果を1つのヒストグラムに投影して物体の一部までの距離の情報を算出することで、探索領域内に存在する個々の距離の情報の分布を改めて算出する手間を省くことが可能となり、前記各発明の効果をより効率的に発揮することが可能となる。
【0047】
第5の発明によれば、上記第4の発明において、各代表距離をグルーピングして検出した元の物体の下端の路面からの高さ未満の高さの個々の距離の情報のみを1つのヒストグラムに投影するように構成することで、後方に突出する物体の一部より上方側に存在する不要な距離の情報の影響を排除した状態で物体の一部までの距離を的確に算出することが可能となり、前記各発明の効果を的確に発揮することが可能となる。
【0048】
第6の発明によれば、例えば今回のフレームで算出した差分がミスマッチング等に起因する差分であったとしても、差分を、各フレームにおける差分の時間的統計値として算出して更新することで、ミスマッチング等に起因する悪影響が時間的統計値として算出される差分に及ぶことを軽減することが可能となる。そのため、ミスマッチング等で異常な差分が算出されたフレームにおいても新たな物体までの距離の値をより適切な値として算出することが可能となり、前記各発明の効果を的確に発揮することが可能となる。
【0049】
第7の発明によれば、物体までの距離が近く、物体までの距離や物体の一部までの距離に対する誤差が小さい状態で差分が算出された場合に、その差分の重みが大きい状態で、差分が時間的重み付け平均値として算出されて更新される。そのため、実際の差分からの時間的重み付け平均値のずれが少なくなり、時間的重み付け平均値を、例えば実際のトラックの荷台の距離方向の長さにより近い値として安定して算出することが可能となり、前記各発明の効果を的確に発揮することが可能となる。
【0050】
第8の発明によれば、例えば今回のフレームで算出した差分がミスマッチング等に起因する差分であり、差分を各フレームごとにヒストグラムに投票した際に、異常な階級値の階級に投票されることがあったとしても、単発的な異常な差分が投票される階級では度数が増加せず、適切な値の差分が投票される階級で度数が適切に増加する。そのため、階級の度数が所定の閾値以上となった階級の階級値を前記差分として更新することで、新たな物体までの距離の情報を的確に算出することが可能となり、前記各発明の効果を的確に発揮することが可能となる。
【0051】
第9の発明によれば、前記各発明の効果を発揮して、物体検出装置で探索領域内に先行車両の一部が存在すると判断できる場合は勿論、存在すると判断できない場合でも、前回フレームまでの差分の情報を用いて自車両から先行車両の一部までの距離の情報が的確に算出されて送信されてくる。そのため、運転支援システムの制御装置は、その先行車両の一部までの距離に基づいて、先行車両の最後端の部分を目標として応動部を的確に制御することが可能となり、物体検出装置により的確に検出された先行車両の一部までの距離の情報に基づいて自車両に対する運転支援制御を適切に行うことが可能となる。
【図面の簡単な説明】
【0052】
【図1】本実施形態に係る物体検出装置の構成を示すブロック図である。
【図2】イメージプロセッサにおけるステレオマッチング処理の手法を説明する図である。
【図3】基準画像上に設定された水平ラインを表す図である。
【図4】基準画像上に検出された左右の車線を示す図である。
【図5】形成された路面モデルの例を示す図であり、(A)は水平形状モデル、(B)は道路高モデルを表す。
【図6】検出された物体の距離画像上での上下端、左右端の各位置を説明する図である。
【図7】実空間上の自車両の走行軌跡や進行路を表す図である。
【図8】基準画像上の自車両の走行軌跡および先行車両を表す図である。
【図9】物体検出手段における探索領域の設定およびそれ以降の処理の手順を示すフローチャートである。
【図10】先行車両として検出されるトラックの荷台の前壁やキャブの背面部分、および先行車両の下端を表す図である。
【図11】検出した先行車両の手前側に設定される探索領域、および探索領域内に存在する個々の距離の情報の分布を表すヒストグラムを説明する図である。
【図12】各フレームごとに算出される差分が投票されるヒストグラムおよびその投票状況を説明する図である。
【図13】積荷の後端部分が後あおりより後方にはみ出すように積荷が搭載されたトラックを表す図である。
【図14】図13の状況で検出した先行車両の手前側に設定される探索領域、および探索領域内に存在する個々の距離の情報の分布を表すヒストグラムを説明する図である。
【図15】本実施形態に係る運転支援システムの構成を示すブロック図である。
【図16】画像に撮像されるシーンの例を表す図である。
【図17】図16の基準画像等に基づいて算出された距離画像を示す図である。
【図18】距離画像を分割する各区分を示す図である。
【図19】図18の各区分ごとに作成されるヒストグラムの一例を示す図である。
【図20】実空間上の照射領域を分割する複数の区分空間を表す平面図である。
【図21】各区分ごとの物体の代表距離を実空間上にプロットした図である。
【図22】図21の各点のグループ化を説明する図である。
【図23】図22の各グループに属する各点を直線近似して得られる物体を表す図である。
【図24】検出された各物体を基準画像上で矩形状の枠線に包囲して表す図である。
【図25】自車両の前方を走行する荷台付きトラックを表す図である。
【図26】図25の状態で撮像される画像を表す図である。
【図27】視差や距離の情報が検出される荷台付きトラックの荷台の後あおりの左右のエッジ部分や前壁とキャブの背面部分に対応する部分を説明する図である。
【図28】図26の画像等に対するステレオマッチング処理で得られる各代表距離を実空間上にプロットした図である。
【図29】視差や距離の情報がヒストグラムに投票する対象から除外される実空間内の所定の範囲を説明する図である。
【図30】自車両がトラックに接近し、トラックの荷台の後あおりが撮像される最後のフレームにおける画像の例を表す図である。
【図31】図30の状態から自車両がさらにトラックに接近し、トラックの荷台の後あおりが撮像されなくなったフレームにおける画像の例を表す図である。
【発明を実施するための形態】
【0053】
以下、本発明に係る物体検出装置および運転支援システムの実施の形態について、図面を参照して説明する。
【0054】
[物体検出装置]
まず、物体検出装置について説明する。本発明は、上記の背景技術でも述べたように、カメラ等の撮像手段で撮像した画像の画像解析に基づくものだけでなく、例えばレーダ装置から照射された電波の反射波解析や、画像解析と反射波解析とを組み合わせた手法等による物体検出にも適用することができるものである。以下では、一対のカメラ等の撮像手段で撮像した画像の解析により自車両から物体までの距離を含む位置の情報に基づいて物体を検出する場合について説明する。
【0055】
また、本実施形態に係る物体検出装置では、車両に搭載されて自車両の周囲に存在する物体、特に先行車両を検出する場合について説明するが、先行車両以外の物体を検出する際にも同様に応用することが可能であり、本発明は下記の実施形態に限定されるものではない。
【0056】
本実施形態に係る物体検出装置1は、図1に示すように、撮像手段2や画像処理手段6等を備える物体位置検出手段9と、検出手段10等で構成されている。
【0057】
なお、物体位置検出手段9の構成は本願出願人により先に提出された特開平5−114099号公報、特開平5−265547号公報、特開平6−266828号公報、特開平10−283461号公報、特開平10−283477号公報、特開2006−72495号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【0058】
本実施形態では、撮像手段2は、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され、例えばフロントガラスの内側に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられたメインカメラ2aおよびサブカメラ2bからなるステレオカメラが用いられている。
【0059】
メインカメラ2aとサブカメラ2bは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に車両の周囲、特に前方を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ2aは前述した図16に例示される基準画像Tの画像データを出力し、運転者から遠い側に配置されたサブカメラ2bは図示を省略する比較画像の画像データを出力するようになっている。
【0060】
メインカメラ2aとサブカメラ2bから出力された画像データは、変換手段3であるA/Dコンバータ3a、3bでアナログ画像からそれぞれ画素ごとに例えば0〜255の256階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部4でずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ5に送信されて格納されるとともに、画像処理手段6にも送信されるようになっている。
【0061】
画像処理手段6は、イメージプロセッサ7と距離データメモリ8とを備えており、イメージプロセッサ7では、ステレオマッチング処理が行われるようになっている。具体的には、イメージプロセッサ7は、図2に示すように、基準画像T上に例えば3×3画素や4×4画素等の所定の画素数の基準画素ブロックPBを設定し、基準画素ブロックPBに対応する比較画像TC中のエピポーララインEPL上の基準画素ブロックPBと同形の各比較画素ブロックPBCについて下記(1)式に従って当該基準画素ブロックPBとの輝度パターンの差異であるSAD値を算出し、SAD値が最小の比較画素ブロックPBCを特定するようになっている。
【0062】
【数1】
【0063】
なお、p1stは基準画素ブロックPB中の各画素の輝度値を表し、p2stは比較画素ブロックPBC中の各画素の輝度値を表す。また、上記の総和は、基準画素ブロックPBや比較画素ブロックPBCが例えば3×3画素の領域として設定される場合には1≦s≦3、1≦t≦3の範囲、4×4画素の領域として設定される場合には1≦s≦4、1≦t≦4の範囲の全画素について計算される。
【0064】
イメージプロセッサ7は、このようにして基準画像Tの各基準画素ブロックPBについて、特定した比較画素ブロックPBCの比較画像TC上の位置と当該基準画素ブロックPBの基準画像T上の位置から視差dpを算出するようになっている。本実施形態では、イメージプロセッサ7は、このようにして算出した視差dpを基準画像Tの各基準画素ブロックPBにそれぞれ割り当てて前述した図17に示したような距離画像Tzを形成し、それらのデータを距離データメモリ8に送信して格納するようになっている。
【0065】
なお、前述したように、視差dpと実空間上の距離zは上記(3)式に従って1対1に対応付けられる。そのため、距離画像Tzを形成する時点で、各基準画素ブロックPBごとの視差dpを距離zの情報に変換し、基準画像Tの各基準画素ブロックPBにそれぞれ距離zの情報を割り当てて距離画像Tzを形成するように構成することも可能である。
【0066】
また、各基準画素ブロックPBの基準画像T上の座標(i,j)は上記(1)、(2)式に従って実空間上のX座標とY座標にそれぞれ1対1に対応付けられる。そのため、距離画像Tzの各基準画素ブロックの座標(i,j)と視差dpは、上記(1)〜(3)式に従って実空間上の位置(x,y,z)に1対1に対応付けられるようになっている。そのため、以下、視差dpの情報という場合、上記(1)〜(3)式に従って算出できる距離zの情報を含む位置(x,y,z)の情報を意味するものとして説明する。
【0067】
本実施形態では、上記のように、撮像手段2からイメージプロセッサ7や距離データメモリ8を含む画像処理手段6までの構成により、自車両の周囲、特に自車両前方に存在する物体までの実空間上の距離zの情報を含む位置の情報を検出する物体位置検出手段9が構成されている。
【0068】
しかし、前述したように、物体位置検出手段9は、自車両の周囲に存在する物体までの距離zの情報を含む位置の情報を検出できるものであればよく、本実施形態の他にも、例えば前述したようにレーダ装置やそれと画像解析とを組み合わせて位置の情報を検出する手段等で構成することも可能である。
【0069】
検出手段10は、図示しないCPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)、入出力インターフェース等がバスに接続されたコンピュータ(ECU)で構成されている。また、検出手段10には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Qが接続されており、自車両の車速Vやヨーレートγ、舵角δ等の情報が適宜送信されてくるようになっている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【0070】
検出手段10は、自車両の周囲、特に前方の路面の形状を検出する路面検出手段11と、前述した代表距離znを算出する代表距離算出手段12と、代表距離znをグルーピングして物体を検出する物体検出手段13とを備えており、さらに図示しないメモリを備えている。
【0071】
路面検出手段11は、自車両の周囲、特に前方の道路面を検出するようになっている。路面検出手段11では、道路面上に標示された追い越し禁止線や路側帯と車道とを区画する区画線等の連続線や破線すなわち車線を検出し、その情報に基づいて自車両前方の路面の形状を検出するようになっている。なお、車線検出の構成は、本願出願人により先に提出された特開2006−331389号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【0072】
路面検出手段11は、まず、撮像手段2により撮像された基準画像Tが、例えば図16に示したような画像である場合、図3に示すように、基準画像Tの1画素幅の水平ラインj上を左右方向に探索し、ある画素の輝度pとそれに隣接する画素の輝度pとの差(すなわちエッジ強度)Δpが予め設定された閾値Δpth以上となり輝度pが大きく変化する画素を車線候補点として検出する。
【0073】
そして、探索する水平ラインjを1画素分ずつ上方にずらしながら、同様にして車線候補点の検出を繰り返す。なお、水平ラインj上で車線候補点を探索する領域を、例えば、前回検出された車線の位置の周囲のみに設定する等して、探索範囲を限定し狭めて設定するように構成することも可能である。また、車線候補点として検出した画素の視差dp等に基づいて、検出した車線候補点に対応する実空間上の点が道路面上にないと判断される場合には、当該車線候補点は除外される。
【0074】
そして、路面検出手段11は、基準画像T中に検出した各車線候補点のうち、まず、自車両に近い側の各車線候補点に対してハフ変換等の処理を行い、車線としてふさわしい直線を左右に1本ずつ決め、続いて、検出した車線を表す直線を基準として、基準画像Tの上方に向かって自車両から遠方の車線候補点のうち整合性がある車線候補点をつないでいくことで、図4に示すように、自車両の左右に車線LL、LRをそれぞれ検出するようになっている。
【0075】
また、路面検出手段11は、このようにして自車両の左右にそれぞれ検出した左右の車線LL、LRの情報に基づいて、実空間上における車線の三次元的な路面モデルを形成するようになっている。本実施形態では、路面検出手段11は、例えば図5(A)、(B)に示すように、自車両の左右に検出した車線LL、LRを所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現して路面モデルを形成するようになっている。
【0076】
本実施形態では、各所定区間ごとの直線式を、下記(5)、(6)式で表され図5(A)に示されるZ−X平面上の路面モデルである水平形状モデルと、下記(7)、(8)式で表され図5(B)に左車線LLが代表して示されるZ−Y平面上の路面モデルである道路高モデルで表すようになっている。なお、検出された路面モデルの情報は、検出手段10のメモリに保存される。
【0077】
[水平形状モデル]
左車線LL x=aL・z+bL …(5)
右車線LR x=aR・z+bR …(6)
[道路高モデル]
左車線LL y=cL・z+dL …(7)
右車線LR y=cR・z+dR …(8)
【0078】
なお、本実施形態では、上記のように自車両前方等の路面の形状を検出する路面検出手段11を設ける場合について説明するが、必ずしも路面検出手段11を設ける必要はなく、例えば自車両前方等の路面の形状を平面として近似して以下の処理を行うように構成することも可能である。
【0079】
代表距離算出手段12は、上記の背景技術で述べた図18〜図20に示した手法と同様の手法によって区分空間Snごとに代表距離znを算出するようになっている。
【0080】
すなわち、図17に示したような距離画像Tzを図18に示したように所定の画素幅で縦方向に延在する短冊状の区分Dnに分割し、すなわち図20の平面図に示したように実空間上の撮像領域Raを上下方向に延在する複数の区分空間Snに分割し、各区分Dn(或いは各区分空間Sn。以下同じ。)ごとに図19に示すようなヒストグラムHnを作成し、当該区分Dnに属する視差dpの情報を投票する。
【0081】
そして、例えば各ヒストグラムHnにおける最頻値が属する階級の階級値を当該区分Dnにおける物体の代表視差dpnや代表距離znとする。これを全区分Dnについて行い、各区分Dnごとに代表視差dpnや代表距離znを算出するようになっている。
【0082】
なお、代表視差dpnを上記(3)式に基づいて代表距離znに換算するように構成してもよいことは前述したとおりである。また、本発明では、前述した特許文献3に記載された物体検出装置のように、視差dpや距離zの情報に対して各ヒストグラムHnに投票する対象から除外する実空間内の所定の範囲Rb(図29参照)は設定されない。すなわち、全ての視差dpや距離zの情報を、代表視差dpnや代表距離znを算出する対象とするようになっている。
【0083】
物体検出手段13は、前述した図21〜図24に示した手法と同様の手法によって代表距離算出手段12が算出した距離画像Tzの各区分Dnの各代表距離znをグルーピングして物体を検出するようになっている。
【0084】
具体的には、前述したように、代表距離算出手段12が算出した距離画像Tzの各区分Dnの各代表距離znを図21に示したように実空間上にプロットし、図22に示したようにプロットされた各代表距離znの間の距離や方向性に基づいて互いに隣接する各代表距離znをそれぞれグループG1、G2、G3、…にまとめてグループ化する。
【0085】
そして、物体検出手段13は、図23に示したように各グループに属する各点をそれぞれ直線近似して、本実施形態では、それぞれのグループ内の各点がX軸方向に略平行に並ぶグループには“物体”Oとラベルし、各点がZ軸方向に略平行に並ぶグループには“側壁”Sとラベルして分類するようになっている。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所にコーナー点としてCをラベルするようになっている。物体検出手段13は、このようにして各物体を検出するようになっている。
【0086】
物体検出手段13は、物体を検出すると、図6に示すように、1つの物体として検出された各グループの距離画像Tz上での上端や下端、左端、右端の各位置Ltop、Lbottom、Lleft、Lrightを算出するようになっている。なお、図6では、前方の1つの物体についてのみ上端の位置Ltop等が示されているが、検出した他の物体についても同様に上端の位置Ltop等が算出される。
【0087】
また、本実施形態では、物体検出手段13は、算出した各物体の上下端や左右端の位置Ltop、Lbottom、Lleft、Lrightに基づいて、検出した各物体を、図24に示すように基準画像T上にそれぞれ矩形状の枠線で包囲するようにして、基準画像T上に可視化して検出するようになっている。さらに、本実施形態では、物体検出手段13は、このように1つのグループGにグルーピングした各代表距離znの平均値や、各代表距離znのうち自車両MCに最も近い代表距離znを、自車両から当該物体までの実空間上の距離Zとして算出するようになっている。
【0088】
本実施形態では、物体検出手段13は、検出した物体の中から先行車両Vahを検出するようになっている。具体的には、物体検出手段13は、まず、自車両MCの挙動に基づいて、図7に示すように自車両MCが今後進行するであろう軌跡を走行軌跡Lestとして推定し、その走行軌跡Lestを中心とする自車両MCの車幅分の領域を自車両Aの進行路Restとして算出するようになっている。
【0089】
自車両MCの走行軌跡Lestは、自車両MCの車速Vやヨーレートγ、ステアリングホイールの舵角δ等に基づいて下記(9)式または下記(10)、(11)式に従って算出される自車両MCの旋回曲率Cuaに基づいて算出することができる。なお、下記の各式におけるReは旋回半径、Asfは車両のスタビリティファクタ、Lwbはホイールベースである。
Cua=γ/V …(9)
Re=(1+Asf・V2)・(Lwb/δ) …(10)
Cua=1/Re …(11)
【0090】
そして、物体検出手段13は、図8に示すように、自車両MCの進行路Rest上に存在する物体の中で、自車両MCに最も近接する物体を自車両MCの前方を走行する先行車両Vahとして検出するようになっている。例えば、図7や図8では、車両O3が先行車両Vahとして検出される。そして、物体検出手段は、検出した先行車両Vahまでの距離Zを算出して、メモリに保存するようになっている。
【0091】
なお、本実施形態では、物体検出手段13は、前回のフレームで検出した先行車両と今回のフレームで先行車両として検出した物体とが同一の先行車両である確率を算出するなどして、整合性を保ちながら先行車両Vahを追跡するようになっている。また、物体検出手段13は、検出した先行車両Vahが自車両MCの前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。
【0092】
また、以下では、上記のように検出した先行車両Vahに対して処理を行う場合について説明するが、前述したように、先行車両Vah以外の検出された物体についても同様の処理を行うように構成することが可能である。
【0093】
物体検出手段13は、以上のようにして先行車両Vahを検出すると、検出した先行車両Vahの手前側(すなわち先行車両Vahの後方側)に所定の探索領域を設定し、この探索領域内に存在する個々の視差dpや距離zの情報の分布に基づいて、当該探索領域内に先行車両Vahの一部、すなわち例えば前述したトラックの荷台Pの後あおりBのような先行車両Vahに付属する構成要素が先行車両Vahの後方に存在するか否かを判断するようになっている。
【0094】
以下、物体検出手段13における上記の処理およびそれ以降の処理について、図9に示すフローチャートに従って詳しく説明するとともに、本実施形態に係る物体検出装置1の作用について説明する。
【0095】
物体検出手段13は、先行車両Vahを検出すると、まず、検出した先行車両Vahの手前側に所定の探索領域を設定するようになっている(ステップS1)。なお、この探索領域の設定およびそれ以降の処理は、先行車両Vahを検出するごとに先行車両Vahに対して行われるように構成されてもよいが、検出した先行車両Vahの路面からの高さが所定の閾値以上である場合にのみ行うように構成することも可能である。
【0096】
すなわち、先行車両Vahが例えば図8に示したような乗用車である場合、先行車両Vahの下端Lbottomの高さは路面とほぼ同じ高さであるが、このような場合、乗用車の後方に乗用車に付属する構成要素が存在することは考え難い。従って、先行車両Vahの下端Lbottomの高さが道路面とほぼ同じ高さである場合には、先行車両Vahの手前側に所定の探索領域を設定してその探索領域内に先行車両Vahの一部が先行車両Vahの後方に存在するか否かを判断する必要性に乏しい。
【0097】
しかし、先行車両Vahが例えば図10に示すようなトラックであるような場合には、上記のような物体検出処理では、図10に示すように、トラックの荷台Pの前壁FrやキャブCaの背面部分が先行車両Vahとして検出されるが、それらは荷台Pやタイヤ等を含む下部構造よりも上側にあるため、先行車両Vahの下端Lbottomは路面から例えば50cm等の一定以上の高さの位置に検出されるはずである。
【0098】
そこで、本実施形態では、物体検出手段13は、検出した先行車両Vahの下端Lbottomの路面からの高さyが予め設定された所定の閾値yth以上である場合に、探索領域の設定およびそれ以降の処理を行うように構成されている。
【0099】
このように構成することで、先行車両Vahが乗用車であるような場合のように、先行車両Vahの後方に先行車両Vahに付属する構成要素が存在することは考え難い場合には、探索領域の設定およびそれ以降の処理を行わないため、物体検出手段13における処理の負荷を軽減することが可能となる。また、先行車両Vahがトラック等であり、先行車両Vahの後方に先行車両Vahに付属する構成要素が存在すると考えられる場合には、探索領域の設定およびそれ以降の処理を行って、先行車両Vahに付属する構成要素を的確に検出することが可能となる。
【0100】
検出した先行車両Vahの下端Lbottomの路面からの高さyは、本実施形態では、前述したように路面検出手段11により自車両前方の路面形状として道路高モデル(上記(7)、(8)式参照)が得られているため、それを用いて算出される。
【0101】
すなわち、物体検出手段13は、上記のようにして算出した当該先行車両Vahまでの実空間上の距離Zを上記(7)、(8)式のzにそれぞれ代入して距離Zにおける路面高さyroadをそれぞれ算出する。そして、それらの平均値を算出したりそれらのyroadのうちの一方を採用する。一方、検出した先行車両Vahの下端Lbottomの実空間上の高さybottomは、当該先行車両Vahまでの実空間上の距離Z等を上記(2)式のzに代入して算出する。そして、高さybottomから高さyroadを減算することで、検出した先行車両Vahの下端Lbottomの路面からの高さyを算出するようになっている。
【0102】
なお、前述したように、自車両前方等の路面の形状を平面として近似する場合には、検出した先行車両Vahの下端Lbottomの路面からの高さyとして、上記(2)式に従って算出される先行車両Vahの下端Lbottomの実空間上の高さybottomがそのまま用いられる。
【0103】
物体検出手段13は、検出した先行車両Vahの路面からの高さyが所定の閾値yth以上であると判断すると、続いて、図11に示すように、検出した先行車両Vahの手前側に所定の探索領域Rを設定するようになっている(図9のステップS1)。
【0104】
探索領域Rは、予め設定された形状の領域とされてもよいが、先行車両Vahがトラック等である場合、荷台Pの大きさは、先行車両Vahが小型のトラック等であるか大型のトラック等であるかによって変わる。そして、先行車両Vahが小型のトラック等であるか大型のトラック等であるかは、検出した先行車両Vahの横幅すなわち先行車両Vahの左右端Lleft、Lrightの間隔や、先行車両Vahの高さすなわち先行車両Vahの上端Ltopの高さに基づいて推定できる。
【0105】
そのため、探索領域Rを、例えば先行車両Vahの横幅が大きいほど、或いは先行車両Vahの高さが高いほどその形状が大きくなるように可変させて設定するように構成することも可能である。
【0106】
物体検出手段13は、検出した先行車両Vahの手前側に探索領域Rを設定すると、続いて、探索領域R内に存在する個々の視差dpや距離zの情報の分布に基づいて、当該探索領域R内に先行車両Vahの一部が存在するか否かを判断するようになっている(ステップS2)。その際、例えば、探索領域R内に存在する全ての個々の視差dpや距離zの情報を、改めてヒストグラムに投票するように構成することも可能である。
【0107】
しかし、本実施形態では、上記のように、代表距離算出手段12で、各区分Dn(或いは各区分空間Sn)ごとのヒストグラムHn(図19参照)を作成し、それらに個々の視差dpや距離zの情報を投票した投票結果が存在する。そのため、物体検出手段13は、この各区分Dn(或いは各区分空間Sn)ごとのヒストグラムHnへの投票結果を利用して、探索領域R内に先行車両Vahの一部が存在するか否かを判断するようになっている。
【0108】
具体的には、物体検出手段13は、代表距離算出手段12が作成した各区分DnごとのヒストグラムHnへの投票結果のうち、設定した探索領域Rに属する区分Dnに対応するヒストグラムHnへの投票結果を、図11の左側に示すように1つのヒストグラムHに投影するようになっている。
【0109】
前述したように、代表距離算出手段12で、区分Dnに対応するヒストグラムHnに、例えば図19に示したように当該区分Dnに属する個々の視差dpや距離zの情報が各階級に投票されている。そこで、本実施形態では、物体検出手段13は、それらの各ヒストグラムHnのうち、設定した探索領域Rに属する各区分Dnに対応する各ヒストグラムHnの各階級の度数Fnを、それぞれ各階級ごとに加算し、加算して得られた度数を各階級の度数Fとする1つのヒストグラムHを作成するようになっている。
【0110】
図11に示すように、検出した先行車両Vahが平ボディの荷台付きトラックの場合、前述したステレオマッチングで、荷台Pの後あおりBの部分に比較的多くの視差dpや距離zの情報が検出されるため、図11左側のヒストグラムHに示すように、荷台Pの後あおりBまでの距離に相当する階級で度数Fが大きくなる。
【0111】
そのため、本実施形態では、ヒストグラムHの度数Fに予め所定の閾値Fthが設けられており、物体検出手段13は、投影されたヒストグラムHにおいて度数Fが所定の閾値Fth以上となる階級が存在する場合には、探索領域R内に先行車両Vahの一部が存在すると判断するようになっている。
【0112】
そして、物体検出手段13は、探索領域R内に先行車両Vahの一部が存在すると判断すると(図9のステップS2;YES)、その階級の階級値を先行車両Vahの一部までの距離の情報として算出するようになっている(ステップS3)。図11の例では、荷台Pの後あおりBまでの距離Zbが先行車両Vahの一部までの距離の情報として算出される。なお、探索領域R内に先行車両Vahの一部が存在しないと判断された場合には(ステップS2;NO)、今回のフレームでは以下のステップS3〜S8までの処理はスキップされる。
【0113】
物体検出手段13は、このようにして探索領域R内に先行車両Vahの一部(上記の例ではトラックの荷台Pの後あおりB)が存在すると判断し、先行車両Vahまでの距離Zbの情報を算出した場合には、もともと検出していた先行車両Vahまでの距離Zの情報と、上記のように算出した先行車両Vahの一部までの距離Zbとの差分ΔZを算出するようになっている(図9のステップS4)。
【0114】
本実施形態では、物体検出手段13は、続いて、前回のフレームまでに差分ΔZが算出されていなければ(ステップS5;NO)、上記のように今回のフレームで算出した差分ΔZを、検出した先行車両Vahの情報に対応付けてメモリに保存するようになっている(ステップS7)。
【0115】
一方、前回のフレームまでに差分ΔZが算出されている場合には(ステップS5;YES)、物体検出手段13は、続いて、差分ΔZの時間的統計値を算出し、それを新たに差分ΔZとして更新するようになっている(ステップS6)。
【0116】
本実施形態では、物体検出手段13は、差分ΔZの時間的統計値を算出する場合、前回フレームまでの時間的統計値をδZoldとすると、時間的統計値δZを、前回フレームまでの時間的統計値δZoldと、今回のフレームで算出された元の先行車両Vahまでの距離Zと当該先行車両Vahの一部までの距離Zbとの差分ΔZから、
δZ=(1−s)×δZold+s×ΔZ …(12)
で算出するようになっている。
【0117】
このように構成すれば、例えば今回のフレームで算出した差分ΔZがミスマッチング等に起因する差分ΔZであったとしても、過去のフレームの本来の差分ΔZとの時間的統計値を算出することで、ミスマッチング等に起因する差分ΔZの悪影響を軽減することが可能となる。また、そのため、ミスマッチング等で異常な差分ΔZが算出されたフレームにおいても新たな先行車両Vahまでの距離Znewの値をより適切な値として算出することが可能となる。
【0118】
上記(12)式において、sは、例えば予め設定された定数であり、例えば0.1等の小さな値に設定される。このように設定すれば、仮に今回のフレームで算出された差分ΔZがミスマッチング等に起因する差分であっても、その時間的統計値δZに及ぶ悪影響の度合いを低減することが可能となるとともに、各フレームごとに先行車両Vahの一部に対応する差分ΔZが繰り返し安定して算出されれば、時間的統計値δZは真の差分ΔZすなわち上記の例では実際の荷台Pの距離Z方向の長さとほぼ同じ値に算出される。
【0119】
なお、時間的統計値δZは、上記(12)式で算出される時間的重み付け平均値である場合に限らず、例えば、今回のフレームを含む例えば10フレーム分の差分ΔZの平均値として算出するように構成することも可能である。
【0120】
また、本実施形態のように、物体位置検出手段9をステレオカメラ等の撮像手段2等で構成する場合、基準画像Tの1画素あたりの距離方向(すなわちZ軸方向)の誤差が、自車両から遠い位置に対応する画素よりも自車両に近い位置に対応する画素の方が小さくなるという特性がある。
【0121】
そこで、例えば時間的重み付け平均値δZを、例えば上記(12)式に従って算出する場合、重みsを予め設定された定数とせず、検出した元の先行車両Vahまでの距離Zがより近距離であるほど、すなわち自車両により近い位置に先行車両Vahを検出した場合ほど重みsが大きくなるように変化させる。
【0122】
すなわち、上記(12)式における重みsを、自車両から検出した先行車両Vahまでの距離Zの関数s(Z)とし、関数s(Z)は距離Zが小さいほど大きな値をとるような関数として、
δZ={1−s(Z)}×δZold+s(Z)×ΔZ …(13)
に従って、時間的統計値δZを算出するように構成することができる。
【0123】
そして、今回のフレームで検出された元の先行車両Vahまでの距離Zから、当該時間的統計値δZを差し引いた値を、新たな先行車両Vahまでの距離Znewの情報として算出するように構成することが可能である。
【0124】
このように構成すれば、自車両から先行車両Vahまでの距離Zが近く、先行車両Vahまでの距離Zや先行車両Vahの一部までの距離Zbに対する誤差が小さい状態で差分ΔZが算出された場合に、その差分ΔZの重みが大きい状態で時間的重み付け平均値δZが算出される。そのため、実際の差分ΔZからの時間的重み付け平均値δZのずれが少なくなり、上記の例で言えば、時間的重み付け平均値δZを、実際の荷台Pの距離Z方向の長さにより近い値として安定して算出することが可能となる。
【0125】
物体検出手段13は、上記のようにして算出した時間的統計値δZを、新たに差分ΔZとして更新し(ステップS6)、更新した差分ΔZを、検出した先行車両Vahの情報に対応付けてメモリに保存するようになっている(ステップS7)。なお、算出した差分ΔZ(すなわち時間的統計値δZ)は、必要に応じて、外部装置に出力される。
【0126】
そして、物体検出手段13は、以上のようにして更新した差分ΔZを、検出した元の先行車両Vahまでの距離Zから差し引いた値を、新たに先行車両Vahまでの距離Znewとして算出し、当該先行車両Vahに関する種々の情報とを対応付けてメモリに保存するようになっている(ステップS8)。
【0127】
物体検出手段13は、続いて、今回のフレームで検出した先行車両Vahの情報に差分ΔZが対応付けられているか否かを判断するようになっている(ステップS9)。この場合、物体検出手段13は、メモリに保存されている先行車両Vahの情報に差分ΔZが対応付けられているか否かのみを判断するようになっており、その際、その差分ΔZが今回のフレームで算出(更新)されたものか、過去のフレームで算出(更新)されたものかを問わない。
【0128】
そして、物体検出手段13は、先行車両Vahの情報に差分ΔZが対応付けられていれば(ステップS9;YES)、上記のように算出した新たな先行車両Vahまでの距離Znewを外部装置に出力するようになっている(ステップS10)。なお、外部装置での処理で、元の先行車両Vahまでの距離Zの情報や差分ΔZの情報が必要であれば、新たな先行車両Vahまでの距離Znewの情報の出力にあわせて、それらの情報も出力される。
【0129】
また、物体検出手段13は、先行車両Vahの情報に差分ΔZが対応付けられていなければ(ステップS9;NO)、今回のフレームで検出した先行車両Vahまでの距離Zを外部装置に出力するようになっている(ステップS11)。この場合も、外部装置での処理で必要な情報であればあわせて出力される。
【0130】
このように構成することで、探索領域Rに先行車両Vahの一部が存在する場合には、自車両からその先行車両Vahの一部(上記の例ではトラックの荷台Pの後あおりB)までの距離Zbが当該先行車両Vahまでの距離Znewの情報として外部装置に的確に出力される。
【0131】
そのため、例えば、トラックの荷台Pの後あおりBが先行車両Vahとして検出できない場合でも、もともと先行車両Vahまでの距離として検出されたトラックの荷台Pの前壁FrやキャブCaの背面部分までの距離Zではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Zbを的確に当該先行車両Vahまでの距離Znewの情報として外部装置に出力することが可能となる。
【0132】
このように構成すれば、例えば図31に示したようなシーンになり、今回のフレームでは、物体検出手段13で探索領域R内に先行車両Vahの一部は存在しないと判断される場合であっても、図30に示したようなシーンが撮像される前回のフレームまでに、元の先行車両Vahまでの距離Zと先行車両Vahの一部までの距離Zbとの差分ΔZまたはその時間的統計値δZが差分ΔZとして算出され更新されて先行車両Vahの情報に対応付けられて記憶されている。
【0133】
そのため、物体検出手段13は、先行車両Vahのトラックの荷台Pの後あおりBが撮像されていない図31に示したような今回フレームにおいても、トラックの荷台Pの前壁FrやキャブCaの背面部分までの距離Zではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Zbを的確に当該先行車両Vahまでの距離Znewの情報として外部装置に出力することが可能となる。
【0134】
また、差分ΔZが算出されて先行車両Vahの情報に対応付けられて更新されて記憶されているため、先行車両Vahのトラックの荷台Pの後あおりBが撮像されていないフレームが連続しても、その都度、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Zbを的確に当該先行車両Vahまでの距離Znewの情報として外部装置に的確に出力することが可能となる。
【0135】
また、先行車両Vahに荷台P等の後方に突出する部分が存在しない場合には、探索領域R内には先行車両Vahの一部は検出されず、上記の差分ΔZも算出されない。そのため、図18〜図24に示した従来の手法により検出された先行車両Vahまでの距離Z(すなわち、元の先行車両Vahまでの距離Z)を、先行車両Vahまでの距離Zとして的確に外部装置に出力することが可能となる。
【0136】
なお、以上が、先行車両Vahの後方に先行車両Vahの一部が存在する場合の自車両から先行車両Vahまでの新たな距離Znewの算出処理の基本的な構成である。以下、自車両から先行車両Vahまでの新たな距離Znewの算出処理についての種々の変形例を説明する。
【0137】
まず、上記のように度数Fが所定の閾値Fth以上となる階級が複数存在する場合が生じ得る。その場合には、例えば、自車両に最も近い位置にある階級の階級値、すなわち自車両からの距離が最も短い距離にある階級の階級値を先行車両Vahの一部までの距離Zbとして算出するように構成することが可能である。自車両に最も近い先行車両Vahの一部が最も自車両と衝突を生じ易い部分であるからである。
【0138】
また、本実施形態では、上記のように、探索領域Rに属する各区分Dnに対応する各ヒストグラムHnの各階級の度数Fnをそれぞれ各階級ごとに加算し、加算して得られた度数を各階級の度数Fとして1つのヒストグラムHに投影する場合について説明した。しかし、各ヒストグラムHnの度数Fnである個々の視差dpや距離zの情報には、トラックの荷台P等の検出すべき先行車両Vahの一部が通常存在する高さ以上に高い位置にある物体に対応した視差dpや距離zの情報も含まれており、これらの情報は、先行車両Vahの後方に突出した一部を検出する際には不要な情報である。
【0139】
そのため、探索領域Rに属する各区分Dnに対応する各ヒストグラムHnへの投票結果を1つのヒストグラムHに投影する際に、例えば、各代表距離znをグルーピングして検出した元の当該先行車両Vah(上記の例ではトラックの荷台Pの前壁FrやキャブCaの背面部分)の下端Lbottom(図10等参照)の路面からの高さy、すなわち前述したように高さybottomと高さyroadとの差yより低い高さである個々の視差dpや距離zの情報のみを1つのヒストグラムHに投影するように構成することが可能である。
【0140】
このように構成すれば、路面からの高さが必要以上に高い不要な個々の視差dpや距離zの情報を排除して、物体(本実施形態では先行車両Vah)の一部までの距離Zbをより的確に算出することが可能となる。
【0141】
さらに、上記のようにして検出された先行車両Vahの一部は、今回のフレームでのステレオマッチングでたまたま当該階級に対応する位置に多数のミスマッチングが発生した結果であるような場合がある。すなわち、実際には先行車両Vahには後方に突出する一部は存在しないにも関わらず、先行車両Vahの一部が存在するかのように検出される場合がある。
【0142】
このような場合に、上記のように単に差分ΔZを先行車両Vahの情報に対応付けてメモリに保存すると(ステップS7)、その後のフレームで、当該先行車両Vahの後方の探索領域R内に先行車両Vahの一部が検出されなくても、差分ΔZが先行車両Vahの情報に対応付けられたままになる可能性がある。
【0143】
そこで、このように探索領域R内に先行車両Vahの一部が存在すると誤判断することを防止するために、例えば、上記のようにして探索領域R内に先行車両Vahの一部が存在すると判断された場合に、すぐに差分ΔZを先行車両Vahの情報に対応付けるのではなく、例えば図12に示すように、各フレームごとに差分ΔZを算出してヒストグラムHzに投票するように構成することが可能である。
【0144】
この場合、上記の例で言えば、差分ΔZは、トラックの荷台Pの前壁FrやキャブCaの背面部分から荷台Pの後あおりBまでの距離、すなわち荷台Pの距離Z方向の長さに対応する。そして、差分ΔZが荷台Pの長さに対応するものであれば、差分ΔZは各フレームごとにほぼ同じ値になるはずである。
【0145】
そのため、上記のように差分ΔZを各フレームごとにヒストグラムHzに投票するように構成すれば、先行車両Vahの一部(例えばトラックの荷台Pの後あおりBの部分)が存在する場合には、各フレームで先行車両Vahの一部が検出されるはずであるから、ヒストグラムHzでは、各フレームごとに後あおりBの部分に相当する階級の度数Fzが増加していくはずである。そして、ヒストグラムHzにおける階級の所定値以上に大きくなった場合には、その階級の差分ΔZは各フレームごとに安定して検出されており、先行車両Vahの後方に突出する一部であると考えられる。
【0146】
そのため、ヒストグラムHzにおける階級の度数Fzが予め設定された所定の閾値Fzth以上となった場合には、今回のフレームで検出した元の先行車両Vahまでの距離Zから、当該度数Fzが閾値Fzth以上となった階級の階級値ΔZを前記差分ΔZとして更新するように構成することが可能である。
【0147】
その際、各フレームごとに差分ΔZをヒストグラムHzに投票して単に加算するだけであると、ミスマッチングに起因する差分ΔZの階級、すなわち上記の例ではトラックの荷台Pの後あおりBの部分以外の部分に対応する差分ΔZの階級においても、やがて度数Fzが閾値Fzth以上になってしまう。
【0148】
そこで、例えば、ヒストグラムHzの各階級の度数Fzを各フレームごとに一定の値ずつ減らすようにする等して、各フレームごとに安定して検出される先行車両Vahの一部に対応する差分ΔZの階級では度数Fzが増加して閾値Fzthになるが、各フレームごとに現れたり現れなかったりするミスマッチング等に起因する差分ΔZの階級では度数Fzが少なくとも閾値Fzthまでは増加しないように調整することが必要となる。
【0149】
以上のように、本実施形態に係る物体検出装置1によれば、物体検出手段13で、検出した物体(例えば先行車両Vah)の手前側に所定の探索領域Rを設定し、探索領域R内に存在する個々の視差dpや距離zの分布に基づいて、当該探索領域R内に当該物体の一部が存在するか否かを判断し、探索領域R内に当該物体の一部が存在すると判断した場合には、元の当該物体までの距離Zと検出した当該物体の一部までの距離Zbとの差分ΔZを算出して、当該物体の情報に対応付ける。
【0150】
また、物体検出手段13では、今回のフレームや過去のフレームで当該物体の情報に差分ΔZが対応付けられている場合には、検出した元の当該物体までの距離Zから前記差分ΔZを差し引いた値を、新たに当該物体までの距離Znewの情報として算出して出力する。当該物体の情報に差分ΔZが対応付けられていない場合には、検出した元の当該物体までの距離Zを、当該物体までの距離Zの情報として出力する。
【0151】
このように構成することで、探索領域Rに物体(例えば先行車両Vah)の一部が存在する場合には、その物体の一部(上記の例ではトラックの荷台Pの後あおりB)までの距離Zbが当該物体までの距離Znewの情報として外部装置に送信されるため、例えば、トラックの荷台Pの後あおりBが先行車両Vahとして検出できない場合でも、もともと先行車両Vahまでの距離として検出されたトラックの荷台Pの前壁FrやキャブCaの背面部分までの距離Zではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Zbを的確に当該先行車両Vahまでの距離Znewの情報として外部装置に的確に送信することが可能となる。
【0152】
また、例えば図31に示したようなシーンになり、今回のフレームでは、物体検出手段13で探索領域R内に物体(例えば先行車両Vah)の一部は存在しないと判断される場合であっても、図30に示したようなシーンが撮像される前回のフレームまでに物体の情報に対応付けられている差分ΔZの情報を用いることで、例えば、トラックの荷台Pの後あおりBが撮像されていない図31に示したような今回フレームにおいても、トラックの荷台Pの前壁FrやキャブCaの背面部分までの距離Zではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Zbを的確に当該先行車両Vahまでの距離Znewの情報として外部装置に的確に送信することが可能となる。
【0153】
そのため、周囲に存在する物体(例えば先行車両Vah)であって、物体検出手段13で物体として検出される部分の手前側に物体としては検出されにくい部分(例えばトラックの荷台Pの後あおりB)を有する物体であっても、その検出されにくい部分を検出した物体の一部として的確に検出して、その最も近接する位置にある物体の一部までの距離Znewの情報を的確に検出することが可能となる。
【0154】
また、それとともに、外部装置に対して、最も近接する位置にある物体の一部(例えば先行車両Vahの最後端)までの距離Znewの情報を的確に伝えることが可能となり、外部装置がその情報に基づいて、適切に処理を行うことが可能となる。
【0155】
また、先行車両Vahに荷台P等の後方に突出する部分が存在しない場合には、探索領域R内には先行車両Vahの一部は検出されず、上記の差分ΔZも算出されないため、図18〜図24に示した従来の手法により検出された先行車両Vahまでの距離Z(すなわち、元の先行車両Vahまでの距離Z)を、先行車両Vahまでの距離Zとして的確に外部装置に出力することが可能となる。
【0156】
なお、本実施形態では、検出する物体の一部がトラックの荷台Pの後あおりBである場合を例に挙げて説明した。しかし、本実施形態は、この場合に限定されない。
【0157】
例えば、図13に示すように、先行車両Vahであるトラックの荷台Pの後端から積荷Baが自車両側にはみ出しているような場合、検出されるべき先行車両Vahの一部は、荷台Pの後あおりBではなく、積荷Baの後端部分である。
【0158】
しかし、図14に示すように、本実施形態に係る物体検出装置1では、このような場合には、上記と同様に、先行車両Vahとしてトラックの荷台Pの前壁FrやキャブCaの背面部分が検出され、先行車両Vahまでの距離Zが検出されるとしても、物体の一部としてトラックの荷台Pの後あおりBよりもさらに手前側にある積荷Baの後端部分を的確に検出することができ、自車両から積荷Baまでの距離Zaを新たに先行車両Vahまでの距離Znewとして的確に算出することが可能となる。
【0159】
このように、本実施形態に係る物体検出装置1によれば、物体のうち、手前側に突出する物体の一部を的確に検出して、装置に最も近接する位置にある物体の部分までの距離Znewの情報を的確に検出することが可能となる。
【0160】
[運転支援システム]
次に、上記の物体検出装置1を用いた運転支援システムについて説明する。なお、本実施形態では、運転支援システムにより自車両に対する先行車両Vahへの追従制御が行われる場合について説明するが、運転支援システムにおける自動制御はこれに限定されず、例えば、自車両MCの先行車両Vahに対する追突防止制御等の他の自動制御を行う場合についても適用される。
【0161】
本実施形態に係る運転支援システム20は、図15に示すように、上記の物体検出装置1と、制御装置21と、応動部22とを備えている。なお、物体検出装置1については、上記のとおりであり、説明を省略する。
【0162】
制御装置21は、図示しないCPUやROM、RAM、入出力インターフェース等がバスに接続されたコンピュータ(ECU)で構成されている。また、制御装置21には、物体検出装置1や、制御装置21からの指示に基づいて自車両のアクセルスロットルやブレーキ機構等を自動的に操作するアクチュエータ等からなる応動部22が電気的に接続されている。
【0163】
制御装置21は、物体検出装置1の物体検出手段13から、前述した自車両から先行車両Vahまでの新たな距離Znewの情報等が送信されてくると、それに基づいて応動部22に電気信号を送信する等して制御して、自車両を先行車両Vahに追従させるようになっている。その際、自車両と先行車両Vahとが走行中であれば、先行車両Vahとの車間距離を保つように自車両を先行車両Vahに追従させ、先行車両Vahが停止した場合には、先行車両Vahの後方の先行車両Vahの最後端の位置から所定の距離だけ離れた位置で自車両を停止させるようになっている。
【0164】
前述したように、物体検出装置1の物体検出手段13では、検出した先行車両Vahの手前側に所定の探索領域Rを設定して探索領域R内に先行車両Vahの一部が存在するか否かを判断し、探索領域R内に先行車両Vahの一部が存在すると判断した場合には、検出した先行車両Vahの一部までの距離Zbの情報を、新たに先行車両Vahまでの距離Znewの情報として算出して出力する。
【0165】
また、探索領域R内に先行車両Vahの一部が存在しないと判断した場合であっても、前回フレームまでに先行車両Vahの情報に差分ΔZの情報が対応付けられている場合には、今回のフレームで検出した元の先行車両Vahまでの距離Zから当該差分ΔZを差し引いた値を新たに先行車両Vahまでの距離Znewの情報として算出して出力する。
【0166】
さらに、先行車両Vahに、そもそも後方に突出する部分が存在しない場合には、探索領域R内には先行車両Vahの一部は検出されず、上記の差分ΔZも算出されないため、図18〜図24に示した従来の手法により検出された先行車両Vahまでの距離Z(すなわち、元の先行車両Vahまでの距離Z)を、先行車両Vahまでの距離Zの情報として出力する。
【0167】
そのため、例えば図30に示したように先行車両Vahであるトラックの荷台Pの後あおりBが基準画像T中に撮像されているシーンから、今回のフレームでは、図31に示したシーンのように荷台Pの後あおりBが基準画像T中に撮像されない状態になったとしても、前回のフレームまでに先行車両Vahの情報に対応付けられている差分ΔZの情報を用いて、今回フレームにおいても、トラックの荷台Pの前壁FrやキャブCaの背面部分までの距離Zではなく、より自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Zbが、的確に当該先行車両Vahまでの距離Znewの情報として運転支援システム20の制御装置21に送信されてくる。
【0168】
そのため、運転支援システム20の制御装置21は、自車両に対して最も近接する位置にある先行車両Vahの一部までの距離(すなわち図31の例では撮像されていないトラックの荷台Pの後あおりBまでの距離)Znewの情報に基づいて、或いは、先行車両Vahにそもそも後方に突出する部分が存在しない場合には元の先行車両Vahまでの距離Zに基づいて、適切に自車両に対する運転支援制御を行うことが可能となる。
【0169】
また、図31に示したように画像T中から荷台Pの後あおりBの部分が消えた状態が続いても、過去のフレームで先行車両Vahの情報に対応付けられた差分ΔZの情報を用いて先行車両Vahまでの距離Znewの情報として送信されてくる。
【0170】
そのため、運転支援システム20の制御装置21は、画像T中には撮像されていないが実際に自車両に近い側に存在するトラックの荷台Pの後あおりBまでの距離Znewに基づき後あおりBを目標として応動部22を制御し、自車両と先行車両Vahとが走行中であれば、先行車両Vahとの車間距離を保つように自車両を先行車両Vahに追従させ、先行車両Vahが停止した場合には、先行車両Vahの後方の先行車両Vahの最後端の位置から所定の距離だけ離れた位置で自車両を停止させることが可能となる。
【0171】
以上のように、本実施形態に係る運転支援システム20によれば、物体検出装置1で探索領域R内に先行車両Vahの一部が存在すると判断できる場合は勿論、存在すると判断できない場合でも、前回フレームまでの差分ΔZの情報を用いて自車両から先行車両Vahの一部までの距離Znewの情報が的確に算出されて送信されてくる。また、先行車両Vahに、そもそも後方に突出する部分が存在しない場合には、元の先行車両Vahまでの距離Zが送信されてくる。
【0172】
そのため、運転支援システム20の制御装置21は、その先行車両Vahの一部までの距離Znewや元の先行車両Vahまでの距離Zに基づいて、先行車両Vahの最後端の部分を目標として応動部22を的確に制御することが可能となり、物体検出装置1により的確に検出された先行車両Vahの一部までの距離Znewや元の先行車両Vahまでの距離Zの情報に基づいて自車両に対する運転支援制御を適切に行うことが可能となる。
【符号の説明】
【0173】
1 物体検出装置
9 物体位置検出手段
12 代表距離算出手段
13 物体検出手段
20 運転支援システム
21制御装置
22応動部
B トラックの荷台の後あおり(物体の一部)
Dn 区分
F、Fz 度数
Fth、Fzth 閾値
H、Hz 1つのヒストグラム
Hn ヒストグラム
MC 自車両
O、S 物体
R 探索領域
s、s(Z) 重み
Sn 区分空間
Vah 先行車両
y 物体の路面からの高さ
yth 閾値
Z 元の物体までの距離
z 実空間上の距離
Zb 物体の一部までの距離
zn 代表距離
Znew 新たな物体までの距離
ΔZ 差分
【特許請求の範囲】
【請求項1】
周囲に存在する物体までの実空間上の距離の情報を含む位置の情報を検出する物体位置検出手段と、
前記実空間を上下方向に延在する複数の区分空間に分割して、各区分空間ごとにヒストグラムを作成し、個々の前記距離の情報を属する区分空間に対応するヒストグラムにそれぞれ投票し、投票結果に基づいて前記各区分空間ごとに代表距離を算出する代表距離算出手段と、
前記各代表距離をグルーピングして前記物体を検出する物体検出手段と、
を備え、
前記物体検出手段は、
検出した前記物体の手前側に所定の探索領域を設定し、前記探索領域内に存在する前記個々の距離の情報の分布に基づいて、当該探索領域内に当該物体の一部が存在するか否かを判断し、当該探索領域内に当該物体の一部が存在すると判断した場合には、元の当該物体までの距離の情報と検出した当該物体の一部までの距離の情報との差分を算出して、当該物体の情報に対応付けるとともに、
当該物体の情報に前記差分が対応付けられている場合には、検出した前記元の当該物体までの距離から前記差分を差し引いた値を、新たに当該物体までの距離の情報として算出して出力することを特徴とする物体検出装置。
【請求項2】
前記物体検出手段は、検出した前記物体の路面からの高さが所定の閾値以上である場合に、当該物体の手前側での前記所定の探索領域の設定、前記探索領域内に存在する前記個々の距離の情報の分布に基づく当該物体の一部が存在するか否かの判断、および新たな当該物体までの距離の算出を行うことを特徴とする請求項1に記載の物体検出装置。
【請求項3】
前記物体検出手段は、前記物体の横幅および高さの少なくとも一方に応じて、前記探索領域の形状を可変させて設定することを特徴とする請求項1または請求項2に記載の物体検出装置。
【請求項4】
前記物体検出手段は、前記代表距離算出手段が作成した前記各区分空間に対応する前記ヒストグラムへの投票結果のうち、設定した前記探索領域に属する前記区分空間に対応する前記ヒストグラムへの投票結果を1つのヒストグラムに投影し、当該1つのヒストグラムにおいて度数が所定の閾値以上となる階級が存在する場合には、当該階級の階級値を前記物体の一部までの距離の情報として算出することを特徴とする請求項1から請求項3のいずれか一項に記載の物体検出装置。
【請求項5】
前記物体検出手段は、前記代表距離算出手段が作成した前記各区分空間に対応する前記ヒストグラムへの投票結果のうち、設定した前記探索領域に属する前記区分空間に対応する前記ヒストグラムへの投票結果を1つのヒストグラムに投影する際、前記各代表距離をグルーピングして検出した元の当該物体の下端の路面からの高さ未満の高さの前記個々の距離の情報のみを前記1つのヒストグラムに投影することを特徴とする請求項4に記載の物体検出装置。
【請求項6】
前記物体検出手段は、前記探索領域内に前記物体の一部が存在すると判断した場合であって、過去のフレームで前記差分が算出されている場合には、各フレームごとに算出した前記差分の時間的統計値を算出して、当該時間的統計値を前記差分として更新することを特徴とする請求項1から請求項5のいずれか一項に記載の物体検出装置。
【請求項7】
前記物体検出手段は、前記探索領域内に前記物体の一部が存在すると判断した場合であって、過去のフレームで前記差分が算出されている場合には、検出した前記元の当該物体までの距離がより近距離であるほど今回のフレームで算出した前記差分の重みが重くなるようにして、各フレームごとに算出した前記差分の時間的重み付け平均値を算出して、当該時間的重み付け平均値を前記差分として更新することを特徴とする請求項1から請求項6のいずれか一項に記載の物体検出装置。
【請求項8】
前記物体検出手段は、前記探索領域内に前記物体の一部が存在すると判断した場合には、算出した前記差分を各フレームごとにヒストグラムに投票し、当該ヒストグラムにおける階級の度数が所定の閾値以上となった場合に、当該度数が前記閾値以上となった階級の階級値を前記差分として更新することを特徴とする請求項1から請求項5のいずれか一項に記載の物体検出装置。
【請求項9】
自車両に搭載された請求項1から請求項8のいずれか一項に記載の物体検出装置と、
前記物体検出装置から前記物体である先行車両までの前記新たな距離の情報が出力されてくると、当該情報に基づいて、応動部を制御することにより自車両に対する運転支援制御を行う制御装置と、
を備えることを特徴とする運転支援システム。
【請求項1】
周囲に存在する物体までの実空間上の距離の情報を含む位置の情報を検出する物体位置検出手段と、
前記実空間を上下方向に延在する複数の区分空間に分割して、各区分空間ごとにヒストグラムを作成し、個々の前記距離の情報を属する区分空間に対応するヒストグラムにそれぞれ投票し、投票結果に基づいて前記各区分空間ごとに代表距離を算出する代表距離算出手段と、
前記各代表距離をグルーピングして前記物体を検出する物体検出手段と、
を備え、
前記物体検出手段は、
検出した前記物体の手前側に所定の探索領域を設定し、前記探索領域内に存在する前記個々の距離の情報の分布に基づいて、当該探索領域内に当該物体の一部が存在するか否かを判断し、当該探索領域内に当該物体の一部が存在すると判断した場合には、元の当該物体までの距離の情報と検出した当該物体の一部までの距離の情報との差分を算出して、当該物体の情報に対応付けるとともに、
当該物体の情報に前記差分が対応付けられている場合には、検出した前記元の当該物体までの距離から前記差分を差し引いた値を、新たに当該物体までの距離の情報として算出して出力することを特徴とする物体検出装置。
【請求項2】
前記物体検出手段は、検出した前記物体の路面からの高さが所定の閾値以上である場合に、当該物体の手前側での前記所定の探索領域の設定、前記探索領域内に存在する前記個々の距離の情報の分布に基づく当該物体の一部が存在するか否かの判断、および新たな当該物体までの距離の算出を行うことを特徴とする請求項1に記載の物体検出装置。
【請求項3】
前記物体検出手段は、前記物体の横幅および高さの少なくとも一方に応じて、前記探索領域の形状を可変させて設定することを特徴とする請求項1または請求項2に記載の物体検出装置。
【請求項4】
前記物体検出手段は、前記代表距離算出手段が作成した前記各区分空間に対応する前記ヒストグラムへの投票結果のうち、設定した前記探索領域に属する前記区分空間に対応する前記ヒストグラムへの投票結果を1つのヒストグラムに投影し、当該1つのヒストグラムにおいて度数が所定の閾値以上となる階級が存在する場合には、当該階級の階級値を前記物体の一部までの距離の情報として算出することを特徴とする請求項1から請求項3のいずれか一項に記載の物体検出装置。
【請求項5】
前記物体検出手段は、前記代表距離算出手段が作成した前記各区分空間に対応する前記ヒストグラムへの投票結果のうち、設定した前記探索領域に属する前記区分空間に対応する前記ヒストグラムへの投票結果を1つのヒストグラムに投影する際、前記各代表距離をグルーピングして検出した元の当該物体の下端の路面からの高さ未満の高さの前記個々の距離の情報のみを前記1つのヒストグラムに投影することを特徴とする請求項4に記載の物体検出装置。
【請求項6】
前記物体検出手段は、前記探索領域内に前記物体の一部が存在すると判断した場合であって、過去のフレームで前記差分が算出されている場合には、各フレームごとに算出した前記差分の時間的統計値を算出して、当該時間的統計値を前記差分として更新することを特徴とする請求項1から請求項5のいずれか一項に記載の物体検出装置。
【請求項7】
前記物体検出手段は、前記探索領域内に前記物体の一部が存在すると判断した場合であって、過去のフレームで前記差分が算出されている場合には、検出した前記元の当該物体までの距離がより近距離であるほど今回のフレームで算出した前記差分の重みが重くなるようにして、各フレームごとに算出した前記差分の時間的重み付け平均値を算出して、当該時間的重み付け平均値を前記差分として更新することを特徴とする請求項1から請求項6のいずれか一項に記載の物体検出装置。
【請求項8】
前記物体検出手段は、前記探索領域内に前記物体の一部が存在すると判断した場合には、算出した前記差分を各フレームごとにヒストグラムに投票し、当該ヒストグラムにおける階級の度数が所定の閾値以上となった場合に、当該度数が前記閾値以上となった階級の階級値を前記差分として更新することを特徴とする請求項1から請求項5のいずれか一項に記載の物体検出装置。
【請求項9】
自車両に搭載された請求項1から請求項8のいずれか一項に記載の物体検出装置と、
前記物体検出装置から前記物体である先行車両までの前記新たな距離の情報が出力されてくると、当該情報に基づいて、応動部を制御することにより自車両に対する運転支援制御を行う制御装置と、
を備えることを特徴とする運転支援システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【公開番号】特開2011−113330(P2011−113330A)
【公開日】平成23年6月9日(2011.6.9)
【国際特許分類】
【出願番号】特願2009−269446(P2009−269446)
【出願日】平成21年11月27日(2009.11.27)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
【公開日】平成23年6月9日(2011.6.9)
【国際特許分類】
【出願日】平成21年11月27日(2009.11.27)
【出願人】(000005348)富士重工業株式会社 (3,010)
【Fターム(参考)】
[ Back to top ]