車外監視装置、及び、この車外監視装置を備えた走行制御装置
【課題】誤認識を排除し、撮像手段とレーダ手段から取得できる可能な限りの多くの情報を用いて精度の良い制御を可能とする。
【解決手段】フュージョン立体物確認部１８は、フュージョン立体物設定部１７から入力される画像立体物単体のフュージョン立体物、ミリ波立体物単体のフュージョン立体物、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物の全ての立体物に判定を行い、画像情報を基に予め定めておいた横方向の応答性遅れによるゴースト判定、壁反射によるマルチパスによるゴースト判定、及び、先行車からの反射波によるゴースト判定の条件を満たすミリ波立体物単体のフュージョン立体物を虚像であると判断する。この虚像との判定結果は設定時間維持される。こうして虚像と判断された立体物は、その後の制御対象からは除かれる。
【解決手段】フュージョン立体物確認部１８は、フュージョン立体物設定部１７から入力される画像立体物単体のフュージョン立体物、ミリ波立体物単体のフュージョン立体物、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物の全ての立体物に判定を行い、画像情報を基に予め定めておいた横方向の応答性遅れによるゴースト判定、壁反射によるマルチパスによるゴースト判定、及び、先行車からの反射波によるゴースト判定の条件を満たすミリ波立体物単体のフュージョン立体物を虚像であると判断する。この虚像との判定結果は設定時間維持される。こうして虚像と判断された立体物は、その後の制御対象からは除かれる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に画像情報とレーダ情報とに基づいて車両前方の立体物を認識する車外監視装置、及び、この車外監視装置を備えた走行制御装置に関する。
【背景技術】
【０００２】
近年、ステレオカメラや単眼カメラ等の撮像手段と、ミリ波レーダや赤外線レーザレーダ等のレーダ手段とを用いて車両前方の車外環境を認識し、認識した車外環境に基づいて自車両の走行制御を行う様々な走行制御装置が実用化されている。こうした、撮像手段とレーダ手段とを有する制御においては、それぞれから送られてくる情報を整合して制御するために様々な手法が採用されている。
【０００３】
例えば、特開２００３−２５２１４７号公報には、画像処理による対象物までの算出距離と、レーダ測距による対象物までの算出距離とを用いて障害物を検出する車両用障害物検出装置であって、対象物の所定時間あたりの移動量を画像処理により算出し、また、対象物の所定時間あたりの移動量をレーダ測距により算出して、これら２つの移動量が整合しない場合には、対象物を障害物と判断しないようにする車両用障害物検出装置が開示されている。
【特許文献１】特開２００３−２５２１４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、撮像手段やレーダ手段は、それぞれの特性により、撮像手段で得られる情報の方が信頼性が高い場合や、レーダ手段で得られる情報の方が信頼性が高い場合がある。従って、撮像手段で得られた情報とレーダ手段で得られた情報の全てを用いて走行制御する方が精度の良い制御を行うことが可能である。しかしながら、上述の特許文献１に開示される手法では、撮像手段とレーダ手段とに共通する立体物のみしか用いて制御ができなくなるため情報量が少なくなり、精度の良い制御ができないという問題がある。一方、撮像手段で得られる情報、或いは、レーダ手段で得られる情報には、それぞれに固有の誤認識が生じる場合もあり、これらを可能な限り排除して制御を行う必要がある。
【０００５】
本発明は上記事情に鑑みてなされたもので、誤認識を排除し、撮像手段とレーダ手段から取得できる可能な限りの多くの情報を用いて精度の良い制御を可能とする車外監視装置、及び、この車外監視装置を備えた走行制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、撮像手段で撮像した画像情報に基づいて車外の立体物認識を行う画像立体物認識手段と、レーダ手段で検出した距離情報に基づいて車外の立体物認識を行うレーダ立体物認識手段と、少なくとも上記画像立体物認識手段で認識した上記車外の立体物情報に基づいて、上記レーダ立体物認識手段で認識した上記車外の立体物の中から予め設定する虚像判定条件を満足する立体物を虚像と判定する虚像判定手段と、上記画像立体物認識手段で認識した車外の立体物と上記レーダ立体物認識手段で認識した車外の立体物と上記虚像判定手段で判定した虚像に基づいて最終的な車外の立体物認識を行う最終立体物認識手段とを備えたことを特徴としている。
【発明の効果】
【０００７】
本発明による車外監視装置、及び、その車外監視装置を備えた走行制御装置は、誤認識を排除し、撮像手段とレーダ手段から取得できる可能な限りの多くの情報を用いて精度の良い制御が可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、図面に基づいて本発明の実施の形態を説明する。
図１〜図６は本発明の実施の形態を示し、図１は車両に搭載した車両用運転支援装置の概略構成図、図２は車外監視装置の要部を示す機能ブロック図、図３は先行車推定プログラムのフローチャート、図４は認識した立体物の確認処理のフローチャート、図５はフュージョン立体物の概念図、図６は様々な虚像の説明図である。
【０００９】
図１において、符号１は自動車等の車両（自車両）で、この車両１には、走行制御装置の一例としての車間距離自動維持運転システム（ＡＣＣ（Adaptive Cruise Control）システム）２が搭載されている。このＡＣＣシステム２は、主として、ステレオカメラ３と、ミリ波送受信部４と、車外監視装置５と、走行制御ユニット６とを有して構成されている。そして、ＡＣＣシステム２は、定速走行制御状態のときは運転者が設定した車速を保持した状態で走行し、追従走行制御状態のときは目標車速を先行車の車速に設定し、先行車に対して一定車間距離を保持した状態で走行する。
【００１０】
ステレオカメラ３は、撮像手段としてのものであり、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の個体撮像素子を用いた左右１組のＣＣＤカメラで構成され、これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔をもって取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像情報を車外監視装置５に入力する。
【００１１】
ミリ波送受信部４は、レーダ手段としてのものであり、自車両１の先端に設けられ、前方に所定にミリ波（例えば３０Ｇ Hz 〜１００Ｇ Hz の電波）を送信するとともに、反射して戻ってくるミリ波を受信し、送受信データを車外監視装置５に入力する。
【００１２】
また、自車両１には、車速を検出する車速センサ７が設けられており、この車速は車外監視装置５と走行制御ユニット６とに入力される。更に、自車両１には、ハンドル角を検出するハンドル角センサ８、ヨーレートを検出するヨーレートセンサ９が設けられており、これらハンドル角の信号とヨーレートの信号は車外監視装置５に入力される。
【００１３】
車外監視装置５は、図２に示すように、ステレオ画像処理部１５と、測距処理部１６と、フュージョン立体物設定部１７と、フュージョン立体物確認部１８と、自車進行路推定部１９と、走行領域内立体物判定部２０と、先行車認識部２１とを有して主要に構成されている。
【００１４】
尚、本実施の形態において用いられる座標系は、自車両１の左右（幅）方向をＸ座標、自車両１の上下方向をＹ座標、自車両１の前後方向をＺ座標とする自車両１を基準とする実空間の３次元座標系を用いて各処理を行う。この場合、ステレオカメラ３を成す２台のＣＣＤカメラの中央の真下の道路面を原点として、自車両１の右側がＸ軸の＋側、自車両１の上方がＹ軸の＋側、自車両１の前方がＺ軸の＋側として設定される。
【００１５】
ステレオ画像処理部１５は、画像立体物認識手段としてのものであり、ステレオカメラ３からの画像を、例えば以下のように処理することで、白線認識、側壁認識、立体物認識等を行う。すなわち、ステレオ画像処理部１５は、先ず、ステレオカメラ３のＣＣＤカメラで自車両の進行方向を撮像した１組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって画像全体に渡る距離情報を求める処理を行って、三次元の距離分布を表す距離画像を生成する。そして、このデータを基に、周知のグルーピング処理や、予め記憶しておいた３次元的な進路形状データ、側壁データ、立体物データ等と比較し、画像上の白線、道路に沿って存在するガードレールや縁石等の側壁、車両等の立体物を抽出（検出）する。こうして抽出された白線、側壁、立体物に係る各データは、それぞれのデータ毎に異なったナンバーが割り当てられる。また、更に立体物データに関しては、自車両１からの距離の相対的な変化量と自車両１の車速との関係から、自車両１に向かって移動する逆方向移動物と、停止している停止物と、自車両１と略同方向に移動する順方向移動物の３種類に分類される。
【００１６】
また、ステレオ画像処理部１５は、画像情報に基づき、逆光状態か、霧状態か、雨状態か、ステレオカメラ３が目隠しされた状態を、画像の認識が不安定になると想定される状態とし、画像ＨＡＬＴとして判定する。これらの状態の判定は、それぞれ周知の方法を用いて判定され、例えば、走行環境が霧状態か否かの判定は、先行車のテールランプやブレーキランプとその周辺の光幕領域を抽出し、対象までの距離を測定し、先行車両のテールランプやブレーキランプの領域とその周辺の光幕領域の輝度比と距離データとから霧状態を判定する。その他、白線輝度の変化量から霧状態を判断する方法や、また、画像データの変化から霧濃度の変化を検出するようにしても良い。更に、例えば、逆光状態、雨状態の判定は、特開２００１−８８５７４号公報に示す方法等で検出できる。また、ステレオカメラ３が目隠しされた状態は、例えば、画像中のエッジ数が予め設定しておいた閾値よい少ない場合に目隠し状態と判定することができる。
【００１７】
測距処理部１６は、レーダ立体物認識手段としてのものであり、ミリ波送受信部４からの送受信データを、例えば以下のように処理することで立体物認識を行う。すなわち、測距処理部１６では、送信波が目標で反射されて戻ってくるまでの時間差をもとに、自車両１から目標までの相対距離を計測する。そして、距離値の分布状態から、同一の距離値が連続する部分を１つの立体物として抽出する。
【００１８】
ここで、測距処理部１６には前回抽出され登録された立体物（以下、ミリ波立体物と称す）に係るデータが格納されており、測距処理部１６は、新たな立体物（以下、検出ミリ波立体物と称す）を抽出すると、ミリ波立体物との対応判定を行う。すなわち、測距処理部１６では、検出ミリ波立体物とミリ波立体物とについての同一確率Ｐを算出し、同一確率Ｐが閾値以上ならば対応と判定する。本実施の形態において、同一確率Ｐは、例えば、検出ミリ波立体物とミリ波立体物との間のＺ座標、Ｘ座標、及び、Ｚ方向速度の同一確率Ｐｚ，Ｐｘ，Ｐｖを求め、それらを統合することで算出される。
【００１９】
具体的に説明すると、ある検出ミリ波立体物ｎとあるミリ波立体物ｍとの間のＺ座標、Ｘ座標、Ｚ方向速度の差がΔＺ、ΔＸ、ΔＶであるときの同一確率Ｐｚ，Ｐｘ，Ｐｖは、標準偏差σｚ，σｘ，σｖの正規分布の累積分布関数によって、例えば、
【数１】
【数２】
【数３】
【００２０】
により算出される。そして、これら検出ミリ波立体物ｎとミリ波立体物ｍとの間の各同一確率Ｐｚ，Ｐｘ，Ｐｖを統合した同一確率Ｐが、
Ｐ＝Ｐｚ×Ｐｘ×Ｐｖ …（４）
によって求められる。
【００２１】
測距処理部１６では、このような演算を検出ミリ波立体物とミリ波立体物との全ての組合わせに対して行い、同一確率Ｐが閾値（例えば３０％）以上且つ最大となる組み合わせを選出する。そして、測距処理部１６では、検出立体物が対応したミリ波立体物を上述の検出ミリ波立体物で更新してミリ波立体物として継続登録するとともに、対応しなかった検出ミリ波立体物のデータを新たなミリ波立体物として登録する。さらに、検出ミリ波立体物に対応しなかったミリ波立体物のデータについては、所定の消去要件のもとで消去する。
【００２２】
フュージョン立体物設定部１７は、ステレオ画像処理部１５から各立体物（以下、画像立体物と称する）に係る情報が入力されるとともに、測距処理部１６から各ミリ波立体物に係る情報が入力され、これらを融合することで、フュージョン立体物を設定する。
【００２３】
具体的に説明すると、フュージョン立体物設定部１７は、先ず、各画像立体物と各ミリ波立体物との対応判定を行う。すなわち、フュージョン立体物設定部１７では、各画像立体物のＺ座標、Ｘ座標、及び、Ｚ方向速度と、各ミリ波立体物のＺ座標、Ｘ座標、及び、Ｚ方向速度とを用いて、例えば上述の式（１）〜（４）により、各組み合わせによる同一確率Ｐを演算する。これにより、画像立体物とミリ波立体物とが対応する場合には、これらの同一確率Ｐが最大且つ閾値以上となる組み合わせが決定される。
【００２４】
そして、フュージョン立体物設定部１７は、画像立体物とミリ波立体物との融合による各フュージョン立体物を得る。すなわち、フュージョン立体物設定部１７は、例えば図５に示すように、画像立体物単体のフュージョン立体物（図５中に四角で表示）、ミリ波立体物単体のフュージョン立体物（図５中に丸で表示）、或いは、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物（図５中に四角と丸で表示）の何れかからなる各フュージョン立体物を得る。
【００２５】
ここで、各フュージョン立体物は、当該フュージョン立体物の自車両１との間の距離、Ｘ座標、速度、幅等の各情報や、Ｚ方向速度で判定される移動状況（順方向移動物、停止物、或いは、対向車）等の情報を有する。この場合において、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物では、自車両１との距離の設定に際してはミリ波立体物の情報が優先的に採用され、Ｘ座標の設定に際しては画像立体物の情報が優先的に採用され、速度の設定に際してはミリ波立体物の情報が優先的に採用され、幅の設定に際しては画像立体物の情報が優先的に採用される。
【００２６】
このようにして新たなフュージョン立体物が設定されると、フュージョン立体物設定部１７は、前回登録されたフュージョン立体物との一致判定を行い、一致したフュージョン立体物についてはその登録情報を新たなフュージョン立体物の情報に基づいて更新することで継続登録する。また、フュージョン立体物設定部１７では、一致しなかった新たなフュージョン立体物に関しての新規登録を行うとともに、一致しなかった過去のフュージョン立体物に関しては即消去する。
【００２７】
フュージョン立体物確認部１８は、ステレオ画像処理部１５から画像ＨＡＬＴの信号、壁の存在状況の信号が入力され、フュージョン立体物設定部１７から画像立体物単体のフュージョン立体物、ミリ波立体物単体のフュージョン立体物、或いは、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物のそれぞれの信号が距離、速度情報と共に入力され、先行車認識部２１から先行車の認識状態が入力される。
【００２８】
そして、これらの信号に基づいて、後述の認識した立体物の確認処理のフローチャートに従って、フュージョン立体物設定部１７から入力される全てのフュージョン立体物について判定を行って、ミリ波立体物単体のフュージョン立体物の中から予め設定する虚像判定条件を満足する立体物を虚像と判定する。この判定の結果、虚像と判定したミリ波立体物単体のフュージョン立体物は、虚像であることを示す信号を加えて、走行領域内立体物判定部２０に出力される。尚、走行領域内立体物判定部２０に対しては、フュージョン立体物設定部１７で設定した全ての立体物がそれぞれの情報と共に出力される。
【００２９】
ここで、上述の予め設定する虚像判定条件は、以下の３つの条件が設定されている。
（１）前回、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物であって、今回、画像立体物単体のフュージョン立体物とミリ波立体物単体のフュージョン立体物とに分離している場合、画像立体物単体のフュージョン立体物が予め設定した幅（例えば１〜２ｍ）の立体物を予め設定した回数を超えて認識しており信頼性が高いと判断できる場合には、このミリ波立体物単体のフュージョン立体物を虚像と判定する。すなわち、図６（ａ）に示すような、横方向の応答性遅れによるゴースト判定（誤判定）とみなす。この場合、この条件が解除されても、虚像と判定されたミリ波立体物単体のフュージョン立体物は、例えば約５秒間、虚像との判定を維持させる。
【００３０】
（２）画像立体物とミリ波立体物との組み合わせによるフュージョン立体物が存在し、このフュージョン立体物と壁との間に、このフュージョン立体物と略同じ距離で且つ略同じ速度で移動するミリ波立体物単体のフュージョン立体物が存在するとき、このミリ波立体物単体のフュージョン立体物を虚像と判定する。すなわち、図６（ｂ）に示すような、壁反射によるマルチパスによるゴースト判定（誤判定）とみなす。この場合、この条件が解除されても、虚像と判定されたミリ波立体物単体のフュージョン立体物は、例えば約２秒間、虚像との判定を維持させる。
【００３１】
（３）先行車認識部２１で認識されている先行車が、画像立体物単体のフュージョン立体物、或いは、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物であって、この先行車と自車両１との間にミリ波立体物単体のフュージョン立体物が存在するとき、このミリ波立体物単体のフュージョン立体物を虚像と判定する。すなわち、図６（ｃ）に示すような、先行車からの反射波によるゴースト判定（誤判定）とみなす。この場合、この条件が解除されても、虚像と判定されたミリ波立体物単体のフュージョン立体物は、例えば約３秒間、虚像との判定を維持させる。
【００３２】
このように、本実施の形態によれば、フュージョン立体物確認部１８は、虚像判定手段として設けられ、フュージョン立体物設定部１７とフュージョン立体物確認部１８とにより最終立体物認識手段が構成されている。
【００３３】
自車進行路推定部１９は、車速センサ７からの車速信号、ハンドル角センサ８からのハンドル角信号、ヨーレートセンサ９からのヨーレート信号等が入力されるとともに、ステレオ画像処理部１５から白線データや側壁データ等が入力される。
【００３４】
この場合、自車進行路推定部１８では、先ず、例えば以下の４通りにより自車進行路の推定を行う。
ａ．白線に基づく自車進行路推定…左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから自車両１が走行している車線の形状が推定できる場合、自車進行路は、自車両１の幅や、自車両１の現在の車線内の位置を考慮して、白線と並行して形成される。
【００３５】
ｂ．ガードレール、縁石等の側壁データに基づく自車進行路推定…左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから自車両１が走行している車線の形状が推定できる場合、自車進行路は、自車両１の幅や、自車両１の現在の車線内の位置を考慮して、側壁と並行して形成される。
【００３６】
ｃ．先行車軌跡に基づく自車進行路推定…先行車の過去の走行軌跡を基に、自車進行路を推定する。
【００３７】
ｄ．自車両１の走行軌跡に基づく自車走行路推定…自車両１の運転状態を基に、自車進行路を推定する。例えば、ヨーレートγ、車速Ｖ、ハンドル角θHを基に、以下の手順で自車進行路を推定する。
【００３８】
まず、ヨーレートセンサ９が有効か判定され、ヨーレートセンサ９が有効であれば、
Ｃua＝γ／Ｖ …（５）
により現在の旋回曲率Ｃuaが算出される。
【００３９】
一方、ヨーレートセンサ９が無効であれば、ハンドル角θHから求められる操舵角δが、所定値（例えば０．５７度）以上で転舵が行われているか否か判定され、操舵角δが０．５７度以上で操舵が行われている場合は、操舵角δと自車速Ｖを用いて、例えば
Ｒｅ＝（１＋Ａ・Ｖ２）・（Ｌ／δ） …（６）
Ｃua＝１／Ｒｅ …（７）
により現在の旋回曲率Ｃuaが算出される。ここで、Ｒｅは旋回半径、Ａは車両のスタビリティファクタ、Ｌはホイールベースである。
【００４０】
また、操舵角δが０．５７度より小さい場合は、現在の旋回曲率Ｃuaは０（直進走行状態）とされる。
【００４１】
こうして、得られる現在の旋回曲率Ｃuaを加えた過去所定時間（例えば約０．３秒間）の旋回曲率から平均旋回曲率を算出し、自車進行路を推定する。
【００４２】
尚、ヨーレートセンサ９が有効であって、上述の（５）式により現在の旋回曲率Ｃuaが算出される場合であっても、操舵角δが０．５７度より小さい場合は、現在の旋回曲率Ｃuaは０（直進走行状態）に補正するようにしても良い。
【００４３】
走行領域内立体物判定部２０は、ステレオ画像処理部１５から白線情報が入力され、フュージョン立体物確認部１８から上述の立体物が各情報（移動速度、位置座標、虚像情報等）と共に入力され、自車進行路推定部１９から自車進行路が入力される。
【００４４】
そして、走行領域内立体物判定部２０は、虚像と判定された立体物を除いた各立体物毎に、立体物が存在する位置における自車両の走行領域を自車進行路に基づき推定し（例えば、自車進行路から設定幅の領域を自車両の走行領域と推定し）、この走行領域と立体物位置とを比較して、それぞれの立体物が走行領域内にあるか否か判定する。
【００４５】
先行車認識部２０は、先行車認識手段としてのものであり、走行領域内立体物判定部１９から、走行領域内に存在する順方向に走行する車両の情報が入力され、これらの立体物の中から、自車両１に最も近い車両を先行車として認識し、走行制御ユニット６に出力する。
【００４６】
一方、定速走行スイッチ１０は、定速走行時の目標車速を設定する車速セットスイッチ、主に目標車速を下降側へ変更設定するコーストスイッチ、主に目標車速を上昇側へ変更設定するリジュームスイッチ等で構成されている。更に、この定速走行操作レバーの近傍には、走行制御のＯＮ／ＯＦＦを行うメインスイッチ（図示せず）が配設されている。
【００４７】
運転者が図示しないメインスイッチをＯＮし、定速走行操作レバーにより、希望する速度をセットすると、定速走行スイッチ１０からの信号が走行制御ユニット６に入力され、走行制御ユニット６は、車速センサ７で検出した車速が運転者のセットした設定車速に収束するように、スロットルアクチュエータ１１を駆動させてスロットル弁１２の開度をフィードバック制御し、自車両１を自動的に定速状態で走行させる。
【００４８】
また、走行制御ユニット６は、定速走行制御を行っている際に、車外監視装置５にて先行車を認識し、先行車の速度が自車両１の設定した目標速度以下の場合には、先行車に対して一定の車間距離を保持した状態で走行する追従走行制御へ自動的に切換える。
【００４９】
車両の走行制御が追従走行制御へ移行すると、走行制御ユニット６は、車外監視装置５で求めた自車両１と先行車との車間距離及び先行車速と、車速センサ７で検出した自車速とに基づき適切な車間距離の目標値を設定する。そして、車間距離が目標値になるように、スロットルアクチュエータ１１へ駆動信号を出力して、スロットル弁１２の開度をフィードバック制御し、先行車に対して一定車間距離を保持した状態で追従走行させる。
【００５０】
次に、車外監視装置５で実行される先行車推定プログラムを、図３のフローチャートで説明する。
まず、ステップ（以下、「Ｓ」と略称）１０１で必要パラメータを読み込み、Ｓ１０２に進んで、上述の如く、ステレオ画像処理部１５、測距処理部１６、フュージョン立体物設定部１７により立体物認識処理を行う。
【００５１】
次に、Ｓ１０３に進み、フュージョン立体物確認部１８において、後述の認識した立体物の確認処理を行う。すなわち、Ｓ１０２で認識した全てのフュージョン立体物について判定を行って、ミリ波立体物単体のフュージョン立体物の中から予め設定する虚像判定条件を満足する立体物を虚像と判定する。この判定の結果、虚像と判定したミリ波立体物単体のフュージョン立体物は、虚像であることを示す信号が付加される。
【００５２】
次いで、Ｓ１０４に進み、前述の如く、自車進行路推定部１９で自車進行路の推定を行い、Ｓ１０５に進んで、走行領域内立体物判定部２０において、虚像と判定された立体物を除いた各立体物毎に、立体物が存在する位置における自車両の走行領域を自車進行路に基づき推定し（例えば、自車進行路から設定幅の領域を自車両の走行領域と推定し）、この走行領域と立体物位置とを比較して、それぞれの立体物が走行領域内にあるか否か判定する。
【００５３】
その後、Ｓ１０６に進み、先行車認識部２１において先行車の推定を行い結果を出力してプログラムを抜ける。
【００５４】
次に、上述のＳ１０３で実行する認識した立体物の確認処理を図４のフローチャートで説明する。尚、このプログラムは、認識した立体物の全てに対して実行される。
まず、Ｓ２０１で判定対象の立体物がミリ波立体物単体のフュージョン立体物か否か判定し、ミリ波立体物単体のフュージョン立体物でない場合は、Ｓ２０２に進み、予め各立体物毎に設定しておくゴースト判定用カウンタＣtimeをリセット（Ｃtime＝０）してＳ２０３に進む。
【００５５】
Ｓ２０３では、ゴースト判定用カウンタＣtimeが０よりも大きいか否か判定し、ゴースト判定用カウンタＣtimeが０（Ｃtime＝０）の場合、Ｓ２０４に進み、判定対象の立体物は虚像ではなく正常認識によるものと判定してルーチンを抜ける。逆に、ゴースト判定用カウンタＣtimeが０よりも大きい（Ｃtime＞０）場合、Ｓ２０５に進み、判定対象の立体物は虚像であり誤認識によるものと判定してルーチンを抜ける。
【００５６】
一方、上述のＳ２０１で判定対象の立体物がミリ波立体物単体のフュージョン立体物の場合はＳ２０６に進み、画像による認識が不安定な状態、すなわち、画像ＨＡＬＴか否か判定される。この判定の結果、画像ＨＡＬＴの信号が発せられている場合には、画像による認識を用いてミリ波立体物単体のフュージョン立体物の虚像判定を行うことはできないので前述のＳ２０２に進む。逆に、Ｓ２０６の判定の結果、画像ＨＡＬＴの信号がない場合には、ミリ波立体物単体のフュージョン立体物の虚像判定を行うべくＳ２０７以降へと進む。
【００５７】
そして、Ｓ２０７に進むと、まず、横方向の応答性遅れによるゴースト判定によりセットされる第１のカウンタｔ１、壁反射によるマルチパスによるゴースト判定によりセットされる第２のカウンタｔ２、先行車からの反射波によるゴースト判定によりセットされる第３のカウンタｔ３を全てクリアする（ｔ１＝ｔ２＝ｔ３＝０）。
【００５８】
次いで、Ｓ２０８に進み、前回のゴースト判定用カウンタＣtimeが格納される第４のカウンタｔ４が１以上（ｔ４≧１）か否か判定し、第４のカウンタｔ４が１以上でない場合（すなわち、ｔ４＝０の場合）には、Ｓ２１０にジャンプし、第４のカウンタｔ４が１以上の場合にはＳ２０９に進んで、第４のカウンタｔ４を１デクリメント（ｔ４＝ｔ４−１）してＳ２１０に進む。
【００５９】
Ｓ２１０では、判定対象の立体物に対して、横方向の応答性遅れによるゴースト判定を実行する。すなわち、前述の如く、前回、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物であって、今回、画像立体物単体のフュージョン立体物とミリ波立体物単体のフュージョン立体物とに分離している場合、画像立体物単体のフュージョン立体物が予め設定した幅（例えば１〜２ｍ）の立体物を予め設定した回数を超えて認識しており信頼性が高いと判断できる場合には、このミリ波立体物単体のフュージョン立体物（判定対象の立体物）を虚像と判定する（図６（ａ））。この場合、この条件が解除されても、虚像と判定されたミリ波立体物単体のフュージョン立体物は、例えば約５秒間、虚像との判定を維持させる。従って、ｔ１＝５０に設定する。
【００６０】
次いで、Ｓ２１１に進み、判定対象の立体物に対して、壁反射によるマルチパスによるゴースト判定を実行する。すなわち、前述の如く、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物が存在し、このフュージョン立体物と壁との間に、このフュージョン立体物と略同じ距離で且つ略同じ速度で移動するミリ波立体物単体のフュージョン立体物が存在するとき、このミリ波立体物単体のフュージョン立体物（判定対象の立体物）を虚像と判定する（図６（ｂ））。この場合、この条件が解除されても、虚像と判定されたミリ波立体物単体のフュージョン立体物は、例えば約２秒間、虚像との判定を維持させる。従って、ｔ２＝２０に設定する。
【００６１】
次に、Ｓ２１２に進み、判定対象の立体物に対して、先行車からの反射波によるゴースト判定を実行する。すなわち、前述の如く、先行車認識部２１で認識されている先行車が、画像立体物単体のフュージョン立体物、或いは、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物であって、この先行車と自車両１との間にミリ波立体物単体のフュージョン立体物が存在するとき、このミリ波立体物単体のフュージョン立体物（判定対象の立体物）を虚像と判定する（図６（ｃ））。この場合、この条件が解除されても、虚像と判定されたミリ波立体物単体のフュージョン立体物は、例えば約３秒間、虚像との判定を維持させる。従って、ｔ３＝３０に設定する。
【００６２】
尚、第１のカウンタｔ１、第２のカウンタｔ２、第３のカウンタｔ３はそれぞれ値を変えているのは、短く設定されているほど、早く虚像との判定から復帰できるようにチューニングするためである。従って、本実施形態で示すカウンタ値の組合せに限定するものではなく、他の値の組合せで設定するものであっても、もちろん良い。
【００６３】
次いで、Ｓ２１３に進み、第１のカウンタｔ１、第２のカウンタｔ２、第３のカウンタｔ３、及び、第４のカウンタｔ４の中で最大値のものをゴースト判定用カウンタＣtimeに代入する。
【００６４】
そして、Ｓ２１４に進み、次回の判定で、今回のゴースト判定用カウンタＣtimeを参照できるように、第４のカウンタｔ４に今回のゴースト判定用カウンタＣtimeを代入（ｔ４＝Ｃtime）する。
【００６５】
その後、Ｓ２０３に進み、ゴースト判定用カウンタＣtimeが０よりも大きいか否か判定し、ゴースト判定用カウンタＣtimeが０（Ｃtime＝０）の場合、換言すれば、ｔ１＝ｔ２＝ｔ３＝ｔ４＝０であれば、Ｓ２０４に進み、判定対象の立体物は虚像ではなく正常認識によるものと判定してルーチンを抜ける。
【００６６】
逆に、ゴースト判定用カウンタＣtimeが０よりも大きい（Ｃtime＞０）場合、すなわち、第１、第２、第３のカウンタｔ１、ｔ２、ｔ３が設定されており、Ｓ２１０、Ｓ２１１、Ｓ２１２の少なくとも何れかで虚像と判定されている場合や、Ｓ２１０、Ｓ２１１、Ｓ２１２の何れによっても虚像と判定されていなくとも、前に虚像であると判定されて設定された第４のカウンタｔ４が０にカウントダウンされておらず、設定時間が経過していない場合においては、Ｓ２０５に進み、判定対象の立体物は虚像であり誤認識によるものと判定してルーチンを抜ける。
【００６７】
このように、本発明の実施の形態によれば、ミリ波レーダに固有の虚像現象を、ステレオカメラ３からの画像情報を基に確実に排除するようになっているので、ミリ波レーダによる情報とステレオカメラ３からの画像情報の２種類の立体物情報を用いて立体物を認識する場合において、認識精度を向上することができ、この精度の良い立体物情報を用いて精度良く走行制御することが可能となっている。
【００６８】
また、ミリ波レーダによる情報とステレオカメラ３からの画像情報の２種類の立体物情報を用いて立体物を認識するため、判定対象とする情報量を不必要に狭めることなく正確に維持することが可能となる。
【００６９】
更に、横方向の応答性遅れによるゴースト判定、壁反射によるマルチパスによるゴースト判定、及び、先行車からの反射波によるゴースト判定は、それぞれの条件が非成立となっても、一定時間保持されるため、制御が不安定になることがない。
【図面の簡単な説明】
【００７０】
【図１】車両に搭載した車両用運転支援装置の概略構成図
【図２】車外監視装置の要部を示す機能ブロック図
【図３】先行車推定プログラムのフローチャート
【図４】認識した立体物の確認処理のフローチャート
【図５】フュージョン立体物の概念図
【図６】様々な虚像の説明図
【符号の説明】
【００７１】
１ 自車両
２ ＡＣＣシステム（走行制御装置）
３ ステレオカメラ（撮像手段）
４ ミリ波送受信部（レーダ手段）
５ 車外監視装置
６ 走行制御ユニット
１５ ステレオ画像処理部（画像立体物認識手段）
１６ 測距処理部（レーダ立体物認識手段）
１７ フュージョン立体物設定部（最終立体物認識手段）
１８ フュージョン立体物確認部（虚像判定手段、最終立体物認識手段）
１９ 自車走行領域推定部
２０ 走行領域内立体物判定部
２１ 先行車認識部（先行車認識手段）
代理人 弁理士 伊 藤 進
【技術分野】
【０００１】
本発明は、特に画像情報とレーダ情報とに基づいて車両前方の立体物を認識する車外監視装置、及び、この車外監視装置を備えた走行制御装置に関する。
【背景技術】
【０００２】
近年、ステレオカメラや単眼カメラ等の撮像手段と、ミリ波レーダや赤外線レーザレーダ等のレーダ手段とを用いて車両前方の車外環境を認識し、認識した車外環境に基づいて自車両の走行制御を行う様々な走行制御装置が実用化されている。こうした、撮像手段とレーダ手段とを有する制御においては、それぞれから送られてくる情報を整合して制御するために様々な手法が採用されている。
【０００３】
例えば、特開２００３−２５２１４７号公報には、画像処理による対象物までの算出距離と、レーダ測距による対象物までの算出距離とを用いて障害物を検出する車両用障害物検出装置であって、対象物の所定時間あたりの移動量を画像処理により算出し、また、対象物の所定時間あたりの移動量をレーダ測距により算出して、これら２つの移動量が整合しない場合には、対象物を障害物と判断しないようにする車両用障害物検出装置が開示されている。
【特許文献１】特開２００３−２５２１４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、撮像手段やレーダ手段は、それぞれの特性により、撮像手段で得られる情報の方が信頼性が高い場合や、レーダ手段で得られる情報の方が信頼性が高い場合がある。従って、撮像手段で得られた情報とレーダ手段で得られた情報の全てを用いて走行制御する方が精度の良い制御を行うことが可能である。しかしながら、上述の特許文献１に開示される手法では、撮像手段とレーダ手段とに共通する立体物のみしか用いて制御ができなくなるため情報量が少なくなり、精度の良い制御ができないという問題がある。一方、撮像手段で得られる情報、或いは、レーダ手段で得られる情報には、それぞれに固有の誤認識が生じる場合もあり、これらを可能な限り排除して制御を行う必要がある。
【０００５】
本発明は上記事情に鑑みてなされたもので、誤認識を排除し、撮像手段とレーダ手段から取得できる可能な限りの多くの情報を用いて精度の良い制御を可能とする車外監視装置、及び、この車外監視装置を備えた走行制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、撮像手段で撮像した画像情報に基づいて車外の立体物認識を行う画像立体物認識手段と、レーダ手段で検出した距離情報に基づいて車外の立体物認識を行うレーダ立体物認識手段と、少なくとも上記画像立体物認識手段で認識した上記車外の立体物情報に基づいて、上記レーダ立体物認識手段で認識した上記車外の立体物の中から予め設定する虚像判定条件を満足する立体物を虚像と判定する虚像判定手段と、上記画像立体物認識手段で認識した車外の立体物と上記レーダ立体物認識手段で認識した車外の立体物と上記虚像判定手段で判定した虚像に基づいて最終的な車外の立体物認識を行う最終立体物認識手段とを備えたことを特徴としている。
【発明の効果】
【０００７】
本発明による車外監視装置、及び、その車外監視装置を備えた走行制御装置は、誤認識を排除し、撮像手段とレーダ手段から取得できる可能な限りの多くの情報を用いて精度の良い制御が可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、図面に基づいて本発明の実施の形態を説明する。
図１〜図６は本発明の実施の形態を示し、図１は車両に搭載した車両用運転支援装置の概略構成図、図２は車外監視装置の要部を示す機能ブロック図、図３は先行車推定プログラムのフローチャート、図４は認識した立体物の確認処理のフローチャート、図５はフュージョン立体物の概念図、図６は様々な虚像の説明図である。
【０００９】
図１において、符号１は自動車等の車両（自車両）で、この車両１には、走行制御装置の一例としての車間距離自動維持運転システム（ＡＣＣ（Adaptive Cruise Control）システム）２が搭載されている。このＡＣＣシステム２は、主として、ステレオカメラ３と、ミリ波送受信部４と、車外監視装置５と、走行制御ユニット６とを有して構成されている。そして、ＡＣＣシステム２は、定速走行制御状態のときは運転者が設定した車速を保持した状態で走行し、追従走行制御状態のときは目標車速を先行車の車速に設定し、先行車に対して一定車間距離を保持した状態で走行する。
【００１０】
ステレオカメラ３は、撮像手段としてのものであり、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の個体撮像素子を用いた左右１組のＣＣＤカメラで構成され、これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔をもって取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像情報を車外監視装置５に入力する。
【００１１】
ミリ波送受信部４は、レーダ手段としてのものであり、自車両１の先端に設けられ、前方に所定にミリ波（例えば３０Ｇ Hz 〜１００Ｇ Hz の電波）を送信するとともに、反射して戻ってくるミリ波を受信し、送受信データを車外監視装置５に入力する。
【００１２】
また、自車両１には、車速を検出する車速センサ７が設けられており、この車速は車外監視装置５と走行制御ユニット６とに入力される。更に、自車両１には、ハンドル角を検出するハンドル角センサ８、ヨーレートを検出するヨーレートセンサ９が設けられており、これらハンドル角の信号とヨーレートの信号は車外監視装置５に入力される。
【００１３】
車外監視装置５は、図２に示すように、ステレオ画像処理部１５と、測距処理部１６と、フュージョン立体物設定部１７と、フュージョン立体物確認部１８と、自車進行路推定部１９と、走行領域内立体物判定部２０と、先行車認識部２１とを有して主要に構成されている。
【００１４】
尚、本実施の形態において用いられる座標系は、自車両１の左右（幅）方向をＸ座標、自車両１の上下方向をＹ座標、自車両１の前後方向をＺ座標とする自車両１を基準とする実空間の３次元座標系を用いて各処理を行う。この場合、ステレオカメラ３を成す２台のＣＣＤカメラの中央の真下の道路面を原点として、自車両１の右側がＸ軸の＋側、自車両１の上方がＹ軸の＋側、自車両１の前方がＺ軸の＋側として設定される。
【００１５】
ステレオ画像処理部１５は、画像立体物認識手段としてのものであり、ステレオカメラ３からの画像を、例えば以下のように処理することで、白線認識、側壁認識、立体物認識等を行う。すなわち、ステレオ画像処理部１５は、先ず、ステレオカメラ３のＣＣＤカメラで自車両の進行方向を撮像した１組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって画像全体に渡る距離情報を求める処理を行って、三次元の距離分布を表す距離画像を生成する。そして、このデータを基に、周知のグルーピング処理や、予め記憶しておいた３次元的な進路形状データ、側壁データ、立体物データ等と比較し、画像上の白線、道路に沿って存在するガードレールや縁石等の側壁、車両等の立体物を抽出（検出）する。こうして抽出された白線、側壁、立体物に係る各データは、それぞれのデータ毎に異なったナンバーが割り当てられる。また、更に立体物データに関しては、自車両１からの距離の相対的な変化量と自車両１の車速との関係から、自車両１に向かって移動する逆方向移動物と、停止している停止物と、自車両１と略同方向に移動する順方向移動物の３種類に分類される。
【００１６】
また、ステレオ画像処理部１５は、画像情報に基づき、逆光状態か、霧状態か、雨状態か、ステレオカメラ３が目隠しされた状態を、画像の認識が不安定になると想定される状態とし、画像ＨＡＬＴとして判定する。これらの状態の判定は、それぞれ周知の方法を用いて判定され、例えば、走行環境が霧状態か否かの判定は、先行車のテールランプやブレーキランプとその周辺の光幕領域を抽出し、対象までの距離を測定し、先行車両のテールランプやブレーキランプの領域とその周辺の光幕領域の輝度比と距離データとから霧状態を判定する。その他、白線輝度の変化量から霧状態を判断する方法や、また、画像データの変化から霧濃度の変化を検出するようにしても良い。更に、例えば、逆光状態、雨状態の判定は、特開２００１−８８５７４号公報に示す方法等で検出できる。また、ステレオカメラ３が目隠しされた状態は、例えば、画像中のエッジ数が予め設定しておいた閾値よい少ない場合に目隠し状態と判定することができる。
【００１７】
測距処理部１６は、レーダ立体物認識手段としてのものであり、ミリ波送受信部４からの送受信データを、例えば以下のように処理することで立体物認識を行う。すなわち、測距処理部１６では、送信波が目標で反射されて戻ってくるまでの時間差をもとに、自車両１から目標までの相対距離を計測する。そして、距離値の分布状態から、同一の距離値が連続する部分を１つの立体物として抽出する。
【００１８】
ここで、測距処理部１６には前回抽出され登録された立体物（以下、ミリ波立体物と称す）に係るデータが格納されており、測距処理部１６は、新たな立体物（以下、検出ミリ波立体物と称す）を抽出すると、ミリ波立体物との対応判定を行う。すなわち、測距処理部１６では、検出ミリ波立体物とミリ波立体物とについての同一確率Ｐを算出し、同一確率Ｐが閾値以上ならば対応と判定する。本実施の形態において、同一確率Ｐは、例えば、検出ミリ波立体物とミリ波立体物との間のＺ座標、Ｘ座標、及び、Ｚ方向速度の同一確率Ｐｚ，Ｐｘ，Ｐｖを求め、それらを統合することで算出される。
【００１９】
具体的に説明すると、ある検出ミリ波立体物ｎとあるミリ波立体物ｍとの間のＺ座標、Ｘ座標、Ｚ方向速度の差がΔＺ、ΔＸ、ΔＶであるときの同一確率Ｐｚ，Ｐｘ，Ｐｖは、標準偏差σｚ，σｘ，σｖの正規分布の累積分布関数によって、例えば、
【数１】
【数２】
【数３】
【００２０】
により算出される。そして、これら検出ミリ波立体物ｎとミリ波立体物ｍとの間の各同一確率Ｐｚ，Ｐｘ，Ｐｖを統合した同一確率Ｐが、
Ｐ＝Ｐｚ×Ｐｘ×Ｐｖ …（４）
によって求められる。
【００２１】
測距処理部１６では、このような演算を検出ミリ波立体物とミリ波立体物との全ての組合わせに対して行い、同一確率Ｐが閾値（例えば３０％）以上且つ最大となる組み合わせを選出する。そして、測距処理部１６では、検出立体物が対応したミリ波立体物を上述の検出ミリ波立体物で更新してミリ波立体物として継続登録するとともに、対応しなかった検出ミリ波立体物のデータを新たなミリ波立体物として登録する。さらに、検出ミリ波立体物に対応しなかったミリ波立体物のデータについては、所定の消去要件のもとで消去する。
【００２２】
フュージョン立体物設定部１７は、ステレオ画像処理部１５から各立体物（以下、画像立体物と称する）に係る情報が入力されるとともに、測距処理部１６から各ミリ波立体物に係る情報が入力され、これらを融合することで、フュージョン立体物を設定する。
【００２３】
具体的に説明すると、フュージョン立体物設定部１７は、先ず、各画像立体物と各ミリ波立体物との対応判定を行う。すなわち、フュージョン立体物設定部１７では、各画像立体物のＺ座標、Ｘ座標、及び、Ｚ方向速度と、各ミリ波立体物のＺ座標、Ｘ座標、及び、Ｚ方向速度とを用いて、例えば上述の式（１）〜（４）により、各組み合わせによる同一確率Ｐを演算する。これにより、画像立体物とミリ波立体物とが対応する場合には、これらの同一確率Ｐが最大且つ閾値以上となる組み合わせが決定される。
【００２４】
そして、フュージョン立体物設定部１７は、画像立体物とミリ波立体物との融合による各フュージョン立体物を得る。すなわち、フュージョン立体物設定部１７は、例えば図５に示すように、画像立体物単体のフュージョン立体物（図５中に四角で表示）、ミリ波立体物単体のフュージョン立体物（図５中に丸で表示）、或いは、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物（図５中に四角と丸で表示）の何れかからなる各フュージョン立体物を得る。
【００２５】
ここで、各フュージョン立体物は、当該フュージョン立体物の自車両１との間の距離、Ｘ座標、速度、幅等の各情報や、Ｚ方向速度で判定される移動状況（順方向移動物、停止物、或いは、対向車）等の情報を有する。この場合において、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物では、自車両１との距離の設定に際してはミリ波立体物の情報が優先的に採用され、Ｘ座標の設定に際しては画像立体物の情報が優先的に採用され、速度の設定に際してはミリ波立体物の情報が優先的に採用され、幅の設定に際しては画像立体物の情報が優先的に採用される。
【００２６】
このようにして新たなフュージョン立体物が設定されると、フュージョン立体物設定部１７は、前回登録されたフュージョン立体物との一致判定を行い、一致したフュージョン立体物についてはその登録情報を新たなフュージョン立体物の情報に基づいて更新することで継続登録する。また、フュージョン立体物設定部１７では、一致しなかった新たなフュージョン立体物に関しての新規登録を行うとともに、一致しなかった過去のフュージョン立体物に関しては即消去する。
【００２７】
フュージョン立体物確認部１８は、ステレオ画像処理部１５から画像ＨＡＬＴの信号、壁の存在状況の信号が入力され、フュージョン立体物設定部１７から画像立体物単体のフュージョン立体物、ミリ波立体物単体のフュージョン立体物、或いは、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物のそれぞれの信号が距離、速度情報と共に入力され、先行車認識部２１から先行車の認識状態が入力される。
【００２８】
そして、これらの信号に基づいて、後述の認識した立体物の確認処理のフローチャートに従って、フュージョン立体物設定部１７から入力される全てのフュージョン立体物について判定を行って、ミリ波立体物単体のフュージョン立体物の中から予め設定する虚像判定条件を満足する立体物を虚像と判定する。この判定の結果、虚像と判定したミリ波立体物単体のフュージョン立体物は、虚像であることを示す信号を加えて、走行領域内立体物判定部２０に出力される。尚、走行領域内立体物判定部２０に対しては、フュージョン立体物設定部１７で設定した全ての立体物がそれぞれの情報と共に出力される。
【００２９】
ここで、上述の予め設定する虚像判定条件は、以下の３つの条件が設定されている。
（１）前回、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物であって、今回、画像立体物単体のフュージョン立体物とミリ波立体物単体のフュージョン立体物とに分離している場合、画像立体物単体のフュージョン立体物が予め設定した幅（例えば１〜２ｍ）の立体物を予め設定した回数を超えて認識しており信頼性が高いと判断できる場合には、このミリ波立体物単体のフュージョン立体物を虚像と判定する。すなわち、図６（ａ）に示すような、横方向の応答性遅れによるゴースト判定（誤判定）とみなす。この場合、この条件が解除されても、虚像と判定されたミリ波立体物単体のフュージョン立体物は、例えば約５秒間、虚像との判定を維持させる。
【００３０】
（２）画像立体物とミリ波立体物との組み合わせによるフュージョン立体物が存在し、このフュージョン立体物と壁との間に、このフュージョン立体物と略同じ距離で且つ略同じ速度で移動するミリ波立体物単体のフュージョン立体物が存在するとき、このミリ波立体物単体のフュージョン立体物を虚像と判定する。すなわち、図６（ｂ）に示すような、壁反射によるマルチパスによるゴースト判定（誤判定）とみなす。この場合、この条件が解除されても、虚像と判定されたミリ波立体物単体のフュージョン立体物は、例えば約２秒間、虚像との判定を維持させる。
【００３１】
（３）先行車認識部２１で認識されている先行車が、画像立体物単体のフュージョン立体物、或いは、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物であって、この先行車と自車両１との間にミリ波立体物単体のフュージョン立体物が存在するとき、このミリ波立体物単体のフュージョン立体物を虚像と判定する。すなわち、図６（ｃ）に示すような、先行車からの反射波によるゴースト判定（誤判定）とみなす。この場合、この条件が解除されても、虚像と判定されたミリ波立体物単体のフュージョン立体物は、例えば約３秒間、虚像との判定を維持させる。
【００３２】
このように、本実施の形態によれば、フュージョン立体物確認部１８は、虚像判定手段として設けられ、フュージョン立体物設定部１７とフュージョン立体物確認部１８とにより最終立体物認識手段が構成されている。
【００３３】
自車進行路推定部１９は、車速センサ７からの車速信号、ハンドル角センサ８からのハンドル角信号、ヨーレートセンサ９からのヨーレート信号等が入力されるとともに、ステレオ画像処理部１５から白線データや側壁データ等が入力される。
【００３４】
この場合、自車進行路推定部１８では、先ず、例えば以下の４通りにより自車進行路の推定を行う。
ａ．白線に基づく自車進行路推定…左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから自車両１が走行している車線の形状が推定できる場合、自車進行路は、自車両１の幅や、自車両１の現在の車線内の位置を考慮して、白線と並行して形成される。
【００３５】
ｂ．ガードレール、縁石等の側壁データに基づく自車進行路推定…左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから自車両１が走行している車線の形状が推定できる場合、自車進行路は、自車両１の幅や、自車両１の現在の車線内の位置を考慮して、側壁と並行して形成される。
【００３６】
ｃ．先行車軌跡に基づく自車進行路推定…先行車の過去の走行軌跡を基に、自車進行路を推定する。
【００３７】
ｄ．自車両１の走行軌跡に基づく自車走行路推定…自車両１の運転状態を基に、自車進行路を推定する。例えば、ヨーレートγ、車速Ｖ、ハンドル角θHを基に、以下の手順で自車進行路を推定する。
【００３８】
まず、ヨーレートセンサ９が有効か判定され、ヨーレートセンサ９が有効であれば、
Ｃua＝γ／Ｖ …（５）
により現在の旋回曲率Ｃuaが算出される。
【００３９】
一方、ヨーレートセンサ９が無効であれば、ハンドル角θHから求められる操舵角δが、所定値（例えば０．５７度）以上で転舵が行われているか否か判定され、操舵角δが０．５７度以上で操舵が行われている場合は、操舵角δと自車速Ｖを用いて、例えば
Ｒｅ＝（１＋Ａ・Ｖ２）・（Ｌ／δ） …（６）
Ｃua＝１／Ｒｅ …（７）
により現在の旋回曲率Ｃuaが算出される。ここで、Ｒｅは旋回半径、Ａは車両のスタビリティファクタ、Ｌはホイールベースである。
【００４０】
また、操舵角δが０．５７度より小さい場合は、現在の旋回曲率Ｃuaは０（直進走行状態）とされる。
【００４１】
こうして、得られる現在の旋回曲率Ｃuaを加えた過去所定時間（例えば約０．３秒間）の旋回曲率から平均旋回曲率を算出し、自車進行路を推定する。
【００４２】
尚、ヨーレートセンサ９が有効であって、上述の（５）式により現在の旋回曲率Ｃuaが算出される場合であっても、操舵角δが０．５７度より小さい場合は、現在の旋回曲率Ｃuaは０（直進走行状態）に補正するようにしても良い。
【００４３】
走行領域内立体物判定部２０は、ステレオ画像処理部１５から白線情報が入力され、フュージョン立体物確認部１８から上述の立体物が各情報（移動速度、位置座標、虚像情報等）と共に入力され、自車進行路推定部１９から自車進行路が入力される。
【００４４】
そして、走行領域内立体物判定部２０は、虚像と判定された立体物を除いた各立体物毎に、立体物が存在する位置における自車両の走行領域を自車進行路に基づき推定し（例えば、自車進行路から設定幅の領域を自車両の走行領域と推定し）、この走行領域と立体物位置とを比較して、それぞれの立体物が走行領域内にあるか否か判定する。
【００４５】
先行車認識部２０は、先行車認識手段としてのものであり、走行領域内立体物判定部１９から、走行領域内に存在する順方向に走行する車両の情報が入力され、これらの立体物の中から、自車両１に最も近い車両を先行車として認識し、走行制御ユニット６に出力する。
【００４６】
一方、定速走行スイッチ１０は、定速走行時の目標車速を設定する車速セットスイッチ、主に目標車速を下降側へ変更設定するコーストスイッチ、主に目標車速を上昇側へ変更設定するリジュームスイッチ等で構成されている。更に、この定速走行操作レバーの近傍には、走行制御のＯＮ／ＯＦＦを行うメインスイッチ（図示せず）が配設されている。
【００４７】
運転者が図示しないメインスイッチをＯＮし、定速走行操作レバーにより、希望する速度をセットすると、定速走行スイッチ１０からの信号が走行制御ユニット６に入力され、走行制御ユニット６は、車速センサ７で検出した車速が運転者のセットした設定車速に収束するように、スロットルアクチュエータ１１を駆動させてスロットル弁１２の開度をフィードバック制御し、自車両１を自動的に定速状態で走行させる。
【００４８】
また、走行制御ユニット６は、定速走行制御を行っている際に、車外監視装置５にて先行車を認識し、先行車の速度が自車両１の設定した目標速度以下の場合には、先行車に対して一定の車間距離を保持した状態で走行する追従走行制御へ自動的に切換える。
【００４９】
車両の走行制御が追従走行制御へ移行すると、走行制御ユニット６は、車外監視装置５で求めた自車両１と先行車との車間距離及び先行車速と、車速センサ７で検出した自車速とに基づき適切な車間距離の目標値を設定する。そして、車間距離が目標値になるように、スロットルアクチュエータ１１へ駆動信号を出力して、スロットル弁１２の開度をフィードバック制御し、先行車に対して一定車間距離を保持した状態で追従走行させる。
【００５０】
次に、車外監視装置５で実行される先行車推定プログラムを、図３のフローチャートで説明する。
まず、ステップ（以下、「Ｓ」と略称）１０１で必要パラメータを読み込み、Ｓ１０２に進んで、上述の如く、ステレオ画像処理部１５、測距処理部１６、フュージョン立体物設定部１７により立体物認識処理を行う。
【００５１】
次に、Ｓ１０３に進み、フュージョン立体物確認部１８において、後述の認識した立体物の確認処理を行う。すなわち、Ｓ１０２で認識した全てのフュージョン立体物について判定を行って、ミリ波立体物単体のフュージョン立体物の中から予め設定する虚像判定条件を満足する立体物を虚像と判定する。この判定の結果、虚像と判定したミリ波立体物単体のフュージョン立体物は、虚像であることを示す信号が付加される。
【００５２】
次いで、Ｓ１０４に進み、前述の如く、自車進行路推定部１９で自車進行路の推定を行い、Ｓ１０５に進んで、走行領域内立体物判定部２０において、虚像と判定された立体物を除いた各立体物毎に、立体物が存在する位置における自車両の走行領域を自車進行路に基づき推定し（例えば、自車進行路から設定幅の領域を自車両の走行領域と推定し）、この走行領域と立体物位置とを比較して、それぞれの立体物が走行領域内にあるか否か判定する。
【００５３】
その後、Ｓ１０６に進み、先行車認識部２１において先行車の推定を行い結果を出力してプログラムを抜ける。
【００５４】
次に、上述のＳ１０３で実行する認識した立体物の確認処理を図４のフローチャートで説明する。尚、このプログラムは、認識した立体物の全てに対して実行される。
まず、Ｓ２０１で判定対象の立体物がミリ波立体物単体のフュージョン立体物か否か判定し、ミリ波立体物単体のフュージョン立体物でない場合は、Ｓ２０２に進み、予め各立体物毎に設定しておくゴースト判定用カウンタＣtimeをリセット（Ｃtime＝０）してＳ２０３に進む。
【００５５】
Ｓ２０３では、ゴースト判定用カウンタＣtimeが０よりも大きいか否か判定し、ゴースト判定用カウンタＣtimeが０（Ｃtime＝０）の場合、Ｓ２０４に進み、判定対象の立体物は虚像ではなく正常認識によるものと判定してルーチンを抜ける。逆に、ゴースト判定用カウンタＣtimeが０よりも大きい（Ｃtime＞０）場合、Ｓ２０５に進み、判定対象の立体物は虚像であり誤認識によるものと判定してルーチンを抜ける。
【００５６】
一方、上述のＳ２０１で判定対象の立体物がミリ波立体物単体のフュージョン立体物の場合はＳ２０６に進み、画像による認識が不安定な状態、すなわち、画像ＨＡＬＴか否か判定される。この判定の結果、画像ＨＡＬＴの信号が発せられている場合には、画像による認識を用いてミリ波立体物単体のフュージョン立体物の虚像判定を行うことはできないので前述のＳ２０２に進む。逆に、Ｓ２０６の判定の結果、画像ＨＡＬＴの信号がない場合には、ミリ波立体物単体のフュージョン立体物の虚像判定を行うべくＳ２０７以降へと進む。
【００５７】
そして、Ｓ２０７に進むと、まず、横方向の応答性遅れによるゴースト判定によりセットされる第１のカウンタｔ１、壁反射によるマルチパスによるゴースト判定によりセットされる第２のカウンタｔ２、先行車からの反射波によるゴースト判定によりセットされる第３のカウンタｔ３を全てクリアする（ｔ１＝ｔ２＝ｔ３＝０）。
【００５８】
次いで、Ｓ２０８に進み、前回のゴースト判定用カウンタＣtimeが格納される第４のカウンタｔ４が１以上（ｔ４≧１）か否か判定し、第４のカウンタｔ４が１以上でない場合（すなわち、ｔ４＝０の場合）には、Ｓ２１０にジャンプし、第４のカウンタｔ４が１以上の場合にはＳ２０９に進んで、第４のカウンタｔ４を１デクリメント（ｔ４＝ｔ４−１）してＳ２１０に進む。
【００５９】
Ｓ２１０では、判定対象の立体物に対して、横方向の応答性遅れによるゴースト判定を実行する。すなわち、前述の如く、前回、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物であって、今回、画像立体物単体のフュージョン立体物とミリ波立体物単体のフュージョン立体物とに分離している場合、画像立体物単体のフュージョン立体物が予め設定した幅（例えば１〜２ｍ）の立体物を予め設定した回数を超えて認識しており信頼性が高いと判断できる場合には、このミリ波立体物単体のフュージョン立体物（判定対象の立体物）を虚像と判定する（図６（ａ））。この場合、この条件が解除されても、虚像と判定されたミリ波立体物単体のフュージョン立体物は、例えば約５秒間、虚像との判定を維持させる。従って、ｔ１＝５０に設定する。
【００６０】
次いで、Ｓ２１１に進み、判定対象の立体物に対して、壁反射によるマルチパスによるゴースト判定を実行する。すなわち、前述の如く、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物が存在し、このフュージョン立体物と壁との間に、このフュージョン立体物と略同じ距離で且つ略同じ速度で移動するミリ波立体物単体のフュージョン立体物が存在するとき、このミリ波立体物単体のフュージョン立体物（判定対象の立体物）を虚像と判定する（図６（ｂ））。この場合、この条件が解除されても、虚像と判定されたミリ波立体物単体のフュージョン立体物は、例えば約２秒間、虚像との判定を維持させる。従って、ｔ２＝２０に設定する。
【００６１】
次に、Ｓ２１２に進み、判定対象の立体物に対して、先行車からの反射波によるゴースト判定を実行する。すなわち、前述の如く、先行車認識部２１で認識されている先行車が、画像立体物単体のフュージョン立体物、或いは、画像立体物とミリ波立体物との組み合わせによるフュージョン立体物であって、この先行車と自車両１との間にミリ波立体物単体のフュージョン立体物が存在するとき、このミリ波立体物単体のフュージョン立体物（判定対象の立体物）を虚像と判定する（図６（ｃ））。この場合、この条件が解除されても、虚像と判定されたミリ波立体物単体のフュージョン立体物は、例えば約３秒間、虚像との判定を維持させる。従って、ｔ３＝３０に設定する。
【００６２】
尚、第１のカウンタｔ１、第２のカウンタｔ２、第３のカウンタｔ３はそれぞれ値を変えているのは、短く設定されているほど、早く虚像との判定から復帰できるようにチューニングするためである。従って、本実施形態で示すカウンタ値の組合せに限定するものではなく、他の値の組合せで設定するものであっても、もちろん良い。
【００６３】
次いで、Ｓ２１３に進み、第１のカウンタｔ１、第２のカウンタｔ２、第３のカウンタｔ３、及び、第４のカウンタｔ４の中で最大値のものをゴースト判定用カウンタＣtimeに代入する。
【００６４】
そして、Ｓ２１４に進み、次回の判定で、今回のゴースト判定用カウンタＣtimeを参照できるように、第４のカウンタｔ４に今回のゴースト判定用カウンタＣtimeを代入（ｔ４＝Ｃtime）する。
【００６５】
その後、Ｓ２０３に進み、ゴースト判定用カウンタＣtimeが０よりも大きいか否か判定し、ゴースト判定用カウンタＣtimeが０（Ｃtime＝０）の場合、換言すれば、ｔ１＝ｔ２＝ｔ３＝ｔ４＝０であれば、Ｓ２０４に進み、判定対象の立体物は虚像ではなく正常認識によるものと判定してルーチンを抜ける。
【００６６】
逆に、ゴースト判定用カウンタＣtimeが０よりも大きい（Ｃtime＞０）場合、すなわち、第１、第２、第３のカウンタｔ１、ｔ２、ｔ３が設定されており、Ｓ２１０、Ｓ２１１、Ｓ２１２の少なくとも何れかで虚像と判定されている場合や、Ｓ２１０、Ｓ２１１、Ｓ２１２の何れによっても虚像と判定されていなくとも、前に虚像であると判定されて設定された第４のカウンタｔ４が０にカウントダウンされておらず、設定時間が経過していない場合においては、Ｓ２０５に進み、判定対象の立体物は虚像であり誤認識によるものと判定してルーチンを抜ける。
【００６７】
このように、本発明の実施の形態によれば、ミリ波レーダに固有の虚像現象を、ステレオカメラ３からの画像情報を基に確実に排除するようになっているので、ミリ波レーダによる情報とステレオカメラ３からの画像情報の２種類の立体物情報を用いて立体物を認識する場合において、認識精度を向上することができ、この精度の良い立体物情報を用いて精度良く走行制御することが可能となっている。
【００６８】
また、ミリ波レーダによる情報とステレオカメラ３からの画像情報の２種類の立体物情報を用いて立体物を認識するため、判定対象とする情報量を不必要に狭めることなく正確に維持することが可能となる。
【００６９】
更に、横方向の応答性遅れによるゴースト判定、壁反射によるマルチパスによるゴースト判定、及び、先行車からの反射波によるゴースト判定は、それぞれの条件が非成立となっても、一定時間保持されるため、制御が不安定になることがない。
【図面の簡単な説明】
【００７０】
【図１】車両に搭載した車両用運転支援装置の概略構成図
【図２】車外監視装置の要部を示す機能ブロック図
【図３】先行車推定プログラムのフローチャート
【図４】認識した立体物の確認処理のフローチャート
【図５】フュージョン立体物の概念図
【図６】様々な虚像の説明図
【符号の説明】
【００７１】
１ 自車両
２ ＡＣＣシステム（走行制御装置）
３ ステレオカメラ（撮像手段）
４ ミリ波送受信部（レーダ手段）
５ 車外監視装置
６ 走行制御ユニット
１５ ステレオ画像処理部（画像立体物認識手段）
１６ 測距処理部（レーダ立体物認識手段）
１７ フュージョン立体物設定部（最終立体物認識手段）
１８ フュージョン立体物確認部（虚像判定手段、最終立体物認識手段）
１９ 自車走行領域推定部
２０ 走行領域内立体物判定部
２１ 先行車認識部（先行車認識手段）
代理人 弁理士 伊 藤 進
【特許請求の範囲】
【請求項１】
撮像手段で撮像した画像情報に基づいて車外の立体物認識を行う画像立体物認識手段と、
レーダ手段で検出した距離情報に基づいて車外の立体物認識を行うレーダ立体物認識手段と、
少なくとも上記画像立体物認識手段で認識した上記車外の立体物情報に基づいて、上記レーダ立体物認識手段で認識した上記車外の立体物の中から予め設定する虚像判定条件を満足する立体物を虚像と判定する虚像判定手段と、
上記画像立体物認識手段で認識した車外の立体物と上記レーダ立体物認識手段で認識した車外の立体物と上記虚像判定手段で判定した虚像に基づいて最終的な車外の立体物認識を行う最終立体物認識手段とを備えたことを特徴とする車外監視装置。
【請求項２】
上記虚像判定手段の上記虚像判定条件は、前回、上記画像立体物認識手段と上記レーダ立体物認識手段とにより共に認識していた立体物であって、今回、上記画像立体物認識手段でのみ認識する立体物と上記レーダ立体物認識手段でのみ認識する立体物とに分離している場合、上記画像立体物認識手段が予め設定した信頼度を有する際には、上記レーダ立体物認識手段でのみ認識する立体物を少なくとも虚像と判定することを特徴とする請求項１記載の車外監視装置。
【請求項３】
上記虚像判定手段は、上記画像立体物認識手段で認識する立体物が予め設定した幅の立体物を予め設定した回数を超えて認識した場合に上記予め設定した信頼度を有すると判断することを特徴とする請求項２記載の車外監視装置。
【請求項４】
上記虚像判定手段の上記虚像判定条件は、上記画像立体物認識手段と上記レーダ立体物認識手段とにより共に認識する立体物が存在し、該立体物と上記画像立体物認識手段で認識した壁との間に、上記共に認識する立体物と略同じ距離で且つ略同じ速度で移動する上記レーダ立体物認識手段でのみ認識する立体物が存在する場合には、該レーダ立体物認識手段でのみ認識する立体物を少なくとも虚像と判定することを特徴とする請求項１乃至請求項３の何れか一つに記載の車外監視装置。
【請求項５】
自車両の前方を走行する先行車を認識する先行車認識手段を有し、上記虚像判定手段の上記虚像判定条件は、上記先行車を少なくとも上記画像立体物認識手段により認識している場合、上記先行車と上記自車両との間に上記レーダ立体物認識手段でのみ認識する立体物が存在する場合には、該レーダ立体物認識手段でのみ認識する立体物を少なくとも虚像と判定することを特徴とする請求項１乃至請求項４の何れか一つに記載の車外監視装置。
【請求項６】
上記虚像判定手段は、虚像と判定した立体物が上記虚像判定条件が非成立となった後も予め設定する時間が経過するまで、上記虚像と判定した立体物が虚像であるとの判定を維持することを特徴とする請求項１乃至請求項５の何れか一つに記載の車外監視装置。
【請求項７】
上記請求項１乃至請求項６の何れか一つに記載の車外監視装置を備え、該車外監視装置の上記最終立体物認識手段による上記最終的な車外の立体物の情報を用いて走行制御することを特徴とする走行制御装置。
【請求項１】
撮像手段で撮像した画像情報に基づいて車外の立体物認識を行う画像立体物認識手段と、
レーダ手段で検出した距離情報に基づいて車外の立体物認識を行うレーダ立体物認識手段と、
少なくとも上記画像立体物認識手段で認識した上記車外の立体物情報に基づいて、上記レーダ立体物認識手段で認識した上記車外の立体物の中から予め設定する虚像判定条件を満足する立体物を虚像と判定する虚像判定手段と、
上記画像立体物認識手段で認識した車外の立体物と上記レーダ立体物認識手段で認識した車外の立体物と上記虚像判定手段で判定した虚像に基づいて最終的な車外の立体物認識を行う最終立体物認識手段とを備えたことを特徴とする車外監視装置。
【請求項２】
上記虚像判定手段の上記虚像判定条件は、前回、上記画像立体物認識手段と上記レーダ立体物認識手段とにより共に認識していた立体物であって、今回、上記画像立体物認識手段でのみ認識する立体物と上記レーダ立体物認識手段でのみ認識する立体物とに分離している場合、上記画像立体物認識手段が予め設定した信頼度を有する際には、上記レーダ立体物認識手段でのみ認識する立体物を少なくとも虚像と判定することを特徴とする請求項１記載の車外監視装置。
【請求項３】
上記虚像判定手段は、上記画像立体物認識手段で認識する立体物が予め設定した幅の立体物を予め設定した回数を超えて認識した場合に上記予め設定した信頼度を有すると判断することを特徴とする請求項２記載の車外監視装置。
【請求項４】
上記虚像判定手段の上記虚像判定条件は、上記画像立体物認識手段と上記レーダ立体物認識手段とにより共に認識する立体物が存在し、該立体物と上記画像立体物認識手段で認識した壁との間に、上記共に認識する立体物と略同じ距離で且つ略同じ速度で移動する上記レーダ立体物認識手段でのみ認識する立体物が存在する場合には、該レーダ立体物認識手段でのみ認識する立体物を少なくとも虚像と判定することを特徴とする請求項１乃至請求項３の何れか一つに記載の車外監視装置。
【請求項５】
自車両の前方を走行する先行車を認識する先行車認識手段を有し、上記虚像判定手段の上記虚像判定条件は、上記先行車を少なくとも上記画像立体物認識手段により認識している場合、上記先行車と上記自車両との間に上記レーダ立体物認識手段でのみ認識する立体物が存在する場合には、該レーダ立体物認識手段でのみ認識する立体物を少なくとも虚像と判定することを特徴とする請求項１乃至請求項４の何れか一つに記載の車外監視装置。
【請求項６】
上記虚像判定手段は、虚像と判定した立体物が上記虚像判定条件が非成立となった後も予め設定する時間が経過するまで、上記虚像と判定した立体物が虚像であるとの判定を維持することを特徴とする請求項１乃至請求項５の何れか一つに記載の車外監視装置。
【請求項７】
上記請求項１乃至請求項６の何れか一つに記載の車外監視装置を備え、該車外監視装置の上記最終立体物認識手段による上記最終的な車外の立体物の情報を用いて走行制御することを特徴とする走行制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−４７０５７（Ｐ２００６−４７０５７Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００４−２２７０２９（Ｐ２００４−２２７０２９）
【出願日】平成１６年８月３日（２００４．８．３）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１６年８月３日（２００４．８．３）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]