説明

車両周辺監視装置および車両周辺監視方法

【課題】車道の静止物体を検知し、静止物体の車両挙動への影響を考慮した運転支援を実現すること。
【解決手段】物体検知部10は、少なくともカメラ31およびレーダ32の何れか一方によって自車両の前側方を監視し、少なくとも画像認識11と反射波検知部12の何れか一方の出力に基づいて物体認識部13が自車両前側方の物体を認識し、移動判定部14によって認識した物体が移動物体であるか静止物体であるかを判定し、静止物体である場合には交差点補正処理部22が静止物の影響を考慮した交差点補正情報を作成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラが撮影した入力画像やレーダの反射波を用い、車両周辺における物体の存在を検知する車両周辺監視装置および車両周辺監視方法に関するものである。
【背景技術】
【0002】
従来、カメラが撮影した画像やレーダの反射波を用いて物体を検知する技術が用いられてきた。特に近年、車両にカメラやレーダを搭載して周辺の車両や歩行者などを検知して運転操作の支援や事故の防止を行なうことが考えられている。
【0003】
かかる車載用の物体認識では、交差点進入時に運転者の死角となる位置に存在する物体についての情報提供が重要である。そこで例えば、特許文献1は、画像認識によって障害物を検出し、障害物によって生じる死角について情報出力する技術を開示している。また、特許文献2は、車両間の通信によって周辺監視結果を受け渡すことで、自車両から死角になっている場所の情報を得る技術を開示している。
【0004】
さらに、従来、交差点などの進入時における支援技術として、一時停止が義務付けられた地点に接近した場合に車両の減速状態を監視し、運転者に対する警報や車両挙動への介入を行なう技術がある(例えば特許文献3参照。)。
【0005】
【特許文献1】特開2007−233430号公報
【特許文献2】特開2006−318093号公報
【特許文献3】特開平11−339197号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
ところで、交差点近傍の車道上に静止物、例えば停止中の車両が存在する状況で交差点を通過する場合、通常の停止線の位置ではなく、静止物の影響を考慮した位置まで進入した上で一旦停止し、周辺状況を確認する必要がある。
【0007】
しかしながら従来の技術では、静止物による死角の発生は検出しても、自車両の挙動に対する影響は考慮されていなかった。そのため、静止物体があるにも関わらず通常の停止線を目標位置として減速支援をおこなうなど、交差点を通過する際に自車両の運転に対する警告や支援動作の精度が低いという問題点があった。
【0008】
本発明は、上述した従来技術に係る問題点を解消し、課題を解決するためになされた物であり、車道の静止物体を検知し、静止物体の車両挙動への影響を考慮した運転支援を実現する車両周辺監視装置および車両周辺監視方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上述した問題を解決し、目的を達成するため、本発明にかかる車両周辺監視装置および車両周辺監視方法は、自車両の前側方に存在する物体を認識し、認識した物体が移動しているか否かを判定し、道路上に存在する静止物体を認識した場合に、静止物体に関する情報を用いて自車両前方の交差点の情報を補正する。
【発明の効果】
【0010】
本発明によれば、道路の静止物体を検知し、交差点の情報を補正することで、静止物体の車両挙動への影響を考慮した運転支援を実現する車両周辺監視装置および車両周辺監視方法を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【0011】
以下図面を参照して、本発明に係る車両周辺監視装置および車両周辺監視方法について説明する。
【実施例】
【0012】
図1は、本発明の実施例である車載用の周辺監視装置20の概要構成を示す概要構成図である。同図に示すように、車両に搭載された周辺監視装置20は、カメラ31、レーダ32、ナビゲーション装置33、ヨーレートセンサ34、車速センサ35および制御ECU(Electronic Control Unit)40と接続している。
【0013】
カメラ31は、例えばフロントグリルの右前方と左前方に設けられ、自車両の前側方(右前方と左前方)を撮影する撮影手段であり、撮影結果として得られた画像を周辺監視装置20に入力する。
【0014】
また、レーダ32は、例えばフロントグリルの右前方と左前方に設けられ、ミリ波を自車両の前側方(右前方と左前方)にスキャン照射し、その反射波を取得して周辺監視装置20に入力する。
【0015】
ここで、レーダ32の探索範囲とカメラ31の撮像範囲は少なくとも一部が(望ましくは全範囲が)重なるように配置する。また、レーダ32による物体探索とカメラ31による撮像は所定タイミング(より好適にはレーダ32とカメラ31とが同期したタイミング)で繰り返し実行する。
【0016】
ナビゲーション装置33は、GPS(Global Positioning System)人工衛星と通信して特定した自車両の位置と、予め記憶した地図データ33aとを利用して走行経路の設定および誘導を行なう車載装置である。また、ナビゲーション装置33は、周辺監視装置20に対して自車両の位置情報や周辺の地図情報、道路に関する情報などを提供する。
【0017】
ヨーレートセンサ34および車速センサ35は、それぞれ自車両のヨーレートと走行速度を取得して、周辺監視装置20に入力する。
【0018】
制御ECU40は、周辺監視部20の監視結果に基づいて、ディスプレイ43やスピーカ44による乗員への通知、ブレーキ41、エンジン制御装置(EFI)42による車両の挙動制御や操作支援、乗員を保護して衝突被害を軽減する装置であるエアバック45の動作制御を行なう。
【0019】
また、制御ECU40は、ブレーキ41やEFI42、図示しない操舵制御ECUや変速機(シフト)制御ECUなどから車両の挙動に関する情報を取得して周辺監視装置20に提供する。
【0020】
周辺監視装置20は、その内部に物体検知部10、衝突判定部21、交差点補正処理部22を有する。物体検知部10は、カメラ31が撮影した入力画像とレーダ32の反射波とを用いて、自車両周辺における物体を検知する処理部である。
【0021】
物体検知部10は、その内部に画像認識部11、反射波検知部12、物体認識処理部13、移動判定部14を有する。
【0022】
画像認識部11は、カメラ31が撮影した画像を入力画像として取得し、パターンマッチングなどの画像認識を行なう処理部である。同様に、反射波検知部12は、レーダ32から反射波を取得して反射強度から物体の存在を検知する探索手段である。
【0023】
物体認識部13は、画像認識部11の認識結果と、反射波検知部12の検知結果とを用いて、自車両の前側方に存在する物体を認識する処理を行なう。ここで、物体の存在自体は、画像認識とレーダ検知のいずれによっても認識することができる。さらに、画像認識では、物体の種別、位置(自車両からの距離)、大きさを認識した物体に関する情報として得ることができる。また、レーダ検知では、物体の位置(自車両からの距離)を高精度に求めることができる。
【0024】
移動判定部14は、物体認識部13が認識した物体が、移動している移動物体であるか、静止している静止物体であるかを判定する処理部である。具体的には、連続撮影した画像の比較や、レーダ反射波の強度変化から、移動の有無を判定することができ、移動物体である場合にはさらに移動物体に関する情報として移動速度と移動方向を求めることができる。
【0025】
移動物体を検知した場合、物体検知部10は検知結果を衝突判定部21に出力する。一方、静止物体を検知した場合、物体検知部10は、検知結果を衝突判定部21に出力するとともに、交差点補正処理部22に出力する。
【0026】
交差点補正処理部22は、物体検知部10が静止物体を検知し、かつ静止物体が道路(車道)上に存在する場合に、静止物体に関する情報を用いて自車両前方の交差点の情報を補正する処理を行なう。具体的には、交差点補正処理部22は、ナビゲーション装置33から現在位置と周辺の地図情報とを取得し、静止物体の位置と距離に基づいて静止物体が車道上に存在するか否かを判定する。そして、静止物体が車道上に存在する場合には、静止物体と交差点との位置関係に基づいて、交差点の入り口までの距離を仮想的に延長する交差点補正情報を作成し、衝突判定部21および制御部40に出力する。
【0027】
衝突判定部21は、物体検知部10が検知した移動物体、静止物体と自車両とが衝突する可能性を判定する手段である。この判定には、物体検知部10による検知結果に加え、交差点補正処理部22が作成した交差点補正情報、ナビゲーション装置33から取得した地図情報や走行予定の経路に関する情報、ヨーレートセンサ34および車速センサ35が出力する自車両のヨーレートと走行速度、制御ECU40から取得した車両の挙動に関する情報を用いる。
【0028】
すなわち、衝突判定部21は、物体検知部10から自車両周辺に存在する物体の種類、位置、移動状態を取得し、自車両の走行車線、予定経路、地図情報などから自車両が物体に衝突する可能性があるか否かを総合的に判断し、判断結果を制御ECU40に出力する。
【0029】
制御ECU40は、この判断結果を受け、衝突が発生する可能性がある場合には、ディスプレイ43やスピーカ44を用いて運転者に通知し、また必要に応じてブレーキ41の遊びを減らすなどの運転操作の支援制御や、ブレーキ41をかける、エンジン回転数を落とすなどの車両の挙動制御を実行し、衝突が発生する可能性が非常に高い場合にはエアバック45の展開準備やシートベルトの巻上げなど衝突被害軽減装置の動作制御を実行する。ここで、制御ECU40は、車両の停止を支援する場合、交差点補正情報を用いて停止位置を補正する。なお、本実施例ではカメラとレーダの両方を用いる精度の高い構成例を用いて説明するが、いずれか一方のみでも本発明の実現は可能である。
【0030】
つづいて、周辺監視装置20による物体検知と交差点の補正の具体例について説明する。図2に示した状態では、自車両C0は、交差点進入直前の状態であり、右側方(撮影範囲CR)と左側方(撮影範囲CL)を撮影している。また、交差点の右側からは他車両C2が接近中であり、交差点の左側には他車両C1が停止中である。従って、撮影範囲CR,CLの撮影結果は、図3に示すように、撮影範囲CRに他車両C2が写り、撮影範囲CLに他車両C1が写ることとなる。
【0031】
ここで、他車両C1は車道上に存在する静止物体であるので、交差点補正処理部22は、他車両C1の位置と大きさに基づいて、交差点の情報を補正する。具体的には、図4に示したように、交差点補正処理部22は、他車両C1の右端を基準に仮想交差点入口を設定する。図4に示した例では、交差点の実際の入り口から距離d1だけ中に入った位置を仮想交差点入口としている。
【0032】
従って、このまま自車両C0が直進する場合、周辺監視装置20は仮想交差点入口の手前で一旦停止して、周辺確認を行なうよう運転者に促す。また、他車両C3を検知し、衝突の可能性を予測した場合には、仮想交差点入口の手前で停止するように運転者に対する警告や、ブレーキ操作の補助、減速制御の自動実行を行なう。
【0033】
つぎに図5を参照し、周辺監視装置20の処理動作について説明する。同図に示したフローチャートは、周辺監視装置20のメインフローを説明する図であり、周辺監視装置20の動作中に繰り返し実行される処理である。
【0034】
同図に示したようにまず、画像認識部11がカメラ画像を取得して(ステップS1010)、画像認識を実行する(ステップS102)。この画像認識によって物体が認識されなかった場合(ステップS103,No)には、再度ステップS101に戻る。
【0035】
画像認識によって物体が認識された場合(ステップS103,Yes)、つぎに反射波検知部12がレーダ32から反射波を取得し(ステップS104)、物体までの距離を算出する(ステップS105)。
【0036】
つぎに、移動判定部14が物体の移動判定をおこなう(ステップS106)。この移動判定は、例えば画像認識を再実行して物体の位置の変化をオプティカルフローなどから求めてもよいし、レーダ反射波からの距離算出を再実行して距離の変化を検知してもよい。
【0037】
その結果、認識した物体が移動物体である場合(ステップS107,Yes)、移動物体の情報(種別、位置、大きさ、速度、移動方向)を出力する(ステップS108)。一方、認識した物体が静止物体である場合(ステップS107,No)、静止物体の情報(種別、位置、大きさ)を出力し(ステップS109)、交差点補正処理部22が静止物体の位置と大きさ、自車両の現在位置と地図情報を用いて交差点補正情報を作成し、出力する(ステップS110)。
【0038】
そして、衝突判定部21が、物体検知部10によって検知した物体(移動物体、静止物体)と自車両とが衝突する可能性を判定し(ステップS111)、処理を終了する。
【0039】
上述してきたように、本実施例に係る物体検知波部10は、画像認識とレーダ検知によって自車両前側方の物体を認識し、認識した物体が移動物体であるか静止物体であるかを判定し、静止物体である場合には静止物の影響を考慮した交差点補正情報を作成する。
【0040】
そのため、静止物の影響を考慮した位置まで自車両を進入させた上で一旦停止し、周辺状況を確認するように高精度な運転支援をおこなうことができる。
【0041】
なお、本実施例に示した構成および動作はあくまで一例であり、本発明はこれに限定されるものではない。例えば、本実施例では、周辺監視装置20が物体検知部10を有する構成を例に説明を行なったが、物体検知を行なう物体検知装置として独立させ、物体検知装置の検知結果を他の装置が使用する構成としてもよい。
【0042】
また、衝突判定に用いる情報や、衝突判定結果の利用方法についても適宜変形して実施可能であることはいうまでもない。例えば、VICS(Vehicle Information and Communication System)によって取得した情報を衝突判定に利用してもよいし、変速機の状態を更に制御することもできる。
【0043】
さらに、本実施例では、移動物体であるか静止物体であるかの判別を、その物体が実際に移動しているか否かに基づいて行なっているが、他の情報を組み合わせて判定に利用することができる。例えば、停止車両であっても、方向指示灯(ウインカーランプ)の点灯状態から移動の開始が予測される場合には、移動物体として取り扱うことが望ましい。なお、方向指示灯(ウインカーランプ)の点灯状態は、画像認識によって認識することが可能である。
【産業上の利用可能性】
【0044】
以上のように、本発明にかかる車両周辺監視装置および車両周辺監視方法は、車両周辺の物体検知に基づく運転支援に有用であり、特に交差点進入時における運転支援に適している。
【図面の簡単な説明】
【0045】
【図1】本発明の実施例にかかる周辺監視装置の概要構成を示す概要構成図である。
【図2】物体認識の具体例について説明する説明図である。
【図3】自車両前側方の撮影結果について説明する説明図である。
【図4】交差点の補正について説明する説明図である。
【図5】周辺監視装置の処理動作について説明するフローチャートである。
【符号の説明】
【0046】
10 物体検知部
11 画像認識部
12 反射波検知部
13 物体認識部
14 移動判定部
20 周辺監視装置
21 衝突判定部
22 交差点補正処理部
31 カメラ
32 レーダ
33 ナビゲーション装置
33a 地図データ
34 ヨーレートセンサ
35 車速センサ
40 制御ECU
41 ブレーキ
42 EFI
43 ディスプレイ
44 スピーカ
45 エアバック
C0〜C3 車両
CL,CR 撮影範囲

【特許請求の範囲】
【請求項1】
自車両の前側方に存在する物体を認識する物体認識手段と、
前記物体認識手段が認識した物体が移動しているか否かを判定する移動判定手段と、
前記移動判定手段が道路上に静止物体が存在すると判定した場合に、自車両前方の交差点の情報を補正する交差点補正処理手段と、
を備えたことを特徴とする車両周辺監視装置。
【請求項2】
前記物体認識手段は、前記自車両の前側方に存在する物体の種別、位置、大きさ、速度、移動方向のうち少なくともいずれかを認識することを特徴とする請求項1に記載の車両周辺監視装置。
【請求項3】
前記交差点補正処理手段は、前記道路上に存在する静止物体の位置と大きさに基づいて、交差点の入り口までの距離を仮想的に延長することを特徴とする請求項2に記載の車両周辺監視装置。
【請求項4】
前記移動判定手段が道路上に存在する移動物体を認識した場合に、前記移動物体と自車両との衝突が発生する可能性を判定する衝突判定手段を備え、
前記衝突判定手段は、前記交差点補正処理手段から前記交差点の補正情報が出力中である場合に前記交差点の補正情報を用いて衝突判定をおこなうことを特徴とする請求項1〜3のいずれか一つに記載の車両周辺監視装置。
【請求項5】
前記移動判定手段は、前記物体認識手段が認識した物体が車両であり、かつ車両の方向指示灯が動作中である場合に当該動作状態に基づいて静止物体であるか否かを判定することを特徴とする請求項1〜4のいずれか一つに記載の車両周辺監視装置。
【請求項6】
自車両の前側方に存在する物体を認識する物体認識工程と、
前記物体認識工程が認識した物体が移動しているか否かを判定する移動判定工程と、
前記移動判定工程が道路上に静止物体が存在すると判定した場合に、自車両前方の交差点の情報を補正する交差点補正処理工程と、
を含んだことを特徴とする車両周辺監視方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2009−282929(P2009−282929A)
【公開日】平成21年12月3日(2009.12.3)
【国際特許分類】
【出願番号】特願2008−137159(P2008−137159)
【出願日】平成20年5月26日(2008.5.26)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.VICS
【出願人】(000237592)富士通テン株式会社 (3,383)
【Fターム(参考)】