車外監視装置
【課題】レーザレーダによる測距値と画像による測距値との最適な統合を複雑な演算等することなく素早く行い前方の立体物データとして素早く出力する。
【解決手段】距離データ統合部５ｃはレーザ距離データと画像距離データの統合を次のように行う。レーザ距離データが有効な場合、レーザ距離データが遠方の場合は最終的な距離データはレーザ距離データとし、レーザ距離データが中間距離の場合、画像距離データが有効で且つ画像距離データとレーザ距離データとの差が所定値以内の場合は最終的な距離データはレーザ距離データと画像距離データとの平均値とし、上述以外の場合はレーザ距離データとする。レーザ距離データが近距離の場合は最終的な距離データは画像距離データとし、レーザ距離データが極近距離の場合は最終的な距離データはレーザ距離データとする。またレーザ距離データが無効な場合は最終的な距離データは画像距離データとする。
【解決手段】距離データ統合部５ｃはレーザ距離データと画像距離データの統合を次のように行う。レーザ距離データが有効な場合、レーザ距離データが遠方の場合は最終的な距離データはレーザ距離データとし、レーザ距離データが中間距離の場合、画像距離データが有効で且つ画像距離データとレーザ距離データとの差が所定値以内の場合は最終的な距離データはレーザ距離データと画像距離データとの平均値とし、上述以外の場合はレーザ距離データとする。レーザ距離データが近距離の場合は最終的な距離データは画像距離データとし、レーザ距離データが極近距離の場合は最終的な距離データはレーザ距離データとする。またレーザ距離データが無効な場合は最終的な距離データは画像距離データとする。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像情報とレーザレーダ情報とを基に前方に存在する立体物と自車両との距離を検出する車外監視装置に関する。
【０００２】
【従来の技術】近年、自動車にＴＶカメラやレーザレーダ等を搭載して前方の車両や障害物を検知し、それらに衝突する危険度を判定して運転者に警報を発したり、自動的にブレーキを作動させて停止させる、或いは、先行車との車間距離を安全に保つよう自動的に走行速度を増減する等のＡＳＶ（Advanced Safety Vehicle；先進安全自動車）に係わる技術の開発が積極的に進められ、一部実用化されている。
【０００３】このような技術として、例えば特開平６−２３０１１５号公報では、カメラとミリ波レーダの２つの車間距離検出手段を有し、信頼度のより高い方のデータを用いて車間距離を検出するようにすることで、走行状況の変化に応じて適切な検出手段の選択ができ、正確な車間距離検出を行うようにするものが開示されている。
【０００４】
【発明が解決しようとする課題】しかしながら、上述の先行技術では、カメラによるデータの信頼度、及び、ミリ波レーダによるデータの信頼度の演算が複雑で、これら信頼度を求めてから、信頼度の高い方のデータを選ぶのでは、演算時間がかかりすぎ、多くの画像データを素早く処理するには難しく応答性の良い制御が困難になるという問題がある。
【０００５】本発明は上記事情に鑑みてなされたもので、レーザレーダによる測距値と画像による測距値との最適な統合を複雑な演算等することなく素早く行って、前方の立体物データとして素早く出力することが可能な車外監視装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】上記目的を達成するため請求項１記載の本発明による車外監視装置は、車両前方の画像情報を基に前方に存在する立体物と自車両との距離を検出する画像距離検出手段と、車両前方へのレーザレーダ情報を基に前方に存在する立体物と自車両との距離を検出するレーザ距離検出手段と、上記画像距離検出手段で検出した距離と上記レーザ距離検出手段で検出した距離とに応じ、最終的に前方に存在する立体物と自車両との距離を設定する最終距離設定手段とを備えた車外監視装置であって、上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離の値に応じて上記最終的に前方に存在する立体物と自車両との距離の設定を行うことを特徴としている。
【０００７】すなわち、上記請求項１記載の車外監視装置では、画像距離検出手段で車両前方の画像情報を基に前方に存在する立体物と自車両との距離を検出し、レーザ距離検出手段で車両前方の画像情報を基に前方に存在する立体物と自車両との距離を検出し、最終距離設定手段で画像距離検出手段で検出した距離とレーザ距離検出手段で検出した距離とに応じ、最終的に前方に存在する立体物と自車両との距離を設定する。この際、最終距離設定手段は、レーザ距離検出手段で検出した距離の値に応じて最終的に前方に存在する立体物と自車両との距離の設定を行う。このため、レーザレーダによる測距値と画像による測距値との最適な統合を複雑な演算等することなく素早く行って、前方の立体物データとして素早く出力することが可能になる。
【０００８】また、請求項２記載の本発明による車外監視装置は、請求項１記載の車外監視装置において、上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が遠方の場合、上記レーザ距離検出手段で検出した距離を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とし、レーザ距離検出手段で検出した距離が遠方の場合は、誤差が少ないと考えられるレーザ距離検出手段で検出した距離を最終的に前方に存在する立体物と自車両との距離として設定する。
【０００９】更に、請求項３記載の本発明による車外監視装置は、請求項１又は請求項２記載の車外監視装置において、上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が中間距離の場合、上記画像距離検出手段で検出した距離と上記レーザ距離検出手段で検出した距離との差が所定値以内の際は、上記画像距離検出手段で検出した距離と上記レーザ距離検出手段で検出した距離との平均値を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴としている。
【００１０】また、請求項４記載の本発明による車外監視装置は、請求項１乃至請求項３の何れか一つに記載の車外監視装置において、上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が近距離の場合、上記画像距離検出手段で検出した距離を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とし、レーザ距離検出手段で検出した距離が近距離の場合は、誤差が少ないと考えられる画像距離検出手段で検出した距離を最終的に前方に存在する立体物と自車両との距離として設定する。
【００１１】更に、請求項５記載の本発明による車外監視装置は、請求項１乃至請求項４の何れか一つに記載の車外監視装置において、上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が極近距離の場合、上記レーザ距離検出手段で検出した距離を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とし、レーザ距離検出手段で検出した距離が極近距離の場合は、誤差の少ないと考えられるレーザ距離検出手段で検出した距離を最終的に前方に存在する立体物と自車両との距離として設定する。
【００１２】
【発明の実施の形態】以下、図面に基づいて本発明の実施の形態を説明する。図１乃至図１０は本発明の実施の形態を示し、図１は車外監視装置を備えた車両用運転支援装置の概略構成図、図２は車両用運転支援装置の機能ブロック図、図３はＣＣＤカメラによる距離データ検出とレーザレーダによる距離データ検出の説明図、図４は画像距離データの区分の説明図、図５は削除する特異点の説明図、図６は前方監視プログラムのフローチャート、図７は画像距離データとレーザ距離データとの統合処理ルーチンのフローチャート、図８はグルーピングによる立体物検出処理ルーチンのフローチャート、図９は４０ｍ以上における特異点の削除処理ルーチンのフローチャート、図１０は距離データ診断処理ルーチンのフローチャートである。
【００１３】図１において、符号１は自動車等の車両（自車両）であり、この自車両１に、前方の立体物との衝突、接触の可能性を判定し、必要に応じて警報を発する車両用運転支援装置（ＡＤＡ装置）２が搭載されている。尚、ＡＤＡ装置２は、一般に、この衝突接触防止機能の他に、車線逸脱防止等の機能も有しているが、本発明の実施の形態では、衝突接触防止機能についてのみ説明し、他の機能の説明は省略する。
【００１４】ＡＤＡ装置２は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組の（左右の）ＣＣＤカメラ３を有し、これら左右のＣＣＤカメラ３は、それぞれ車室内の天井前方に一定の間隔をもって取り付けられ、車外の対象を異なる視点からステレオ撮像し、コントローラ５に入力する。
【００１５】また、車両１のバンパー構造材の上部には、レーザビームの投射・受光と左右方向への走査機能を有する、レーザヘッドを備えたレーザ投光ユニット４が取り付けられ、コントローラ５と接続されている。このレーザ投光ユニット４からはレーザビームが水平に投射され、道路表面より高い位置にある立体物のみが検出されると共に、このレーザ投光ユニット４からのレーザビームは左右方向に走査され、所定の走査範囲で一定の間隔毎にレーザビームが投光・受光されて距離を検出する動作が繰り返され、立体物の二次元分布が計測される。
【００１６】本実施の形態の場合、例えば、図３に示すように、ＣＣＤカメラ３からは前方の左右２６゜の範囲の画像がコントローラ５に入力され、一方、レーザ投光ユニット４では０．１５度間隔で８０方向の走査が行われて前方の左右１２゜の範囲のデータが０．１秒周期でコントローラ５に出力される。
【００１７】また、自車両１には、車速Ｖを検出する車速センサ６と、舵角δを検出する舵角センサ７が設けられており、この車速Ｖと舵角δはコントローラ５に入力される。
【００１８】コントローラ５は、ＣＣＤカメラ３からの画像、レーザ投光ユニット４による走査結果、車速Ｖ、及び、舵角δが入力され、ＣＣＤカメラ３からの画像に基づく前方立体物との距離と、レーザ投光ユニット４による走査結果に基づく前方立体物との距離とをそれぞれ独立して求め、これらの距離データを統合して、この統合したデータを基に最終的に前方立体物との距離を求め、自車両１との衝突危険性や接触可能性を判断し、必要に応じてコンビネーションメータ８の衝突警報ランプ８ａを点灯させ警報を発するようになっている。また、コントローラ５は、ＣＣＤカメラ３からの画像に基づく前方立体物との距離の検出と、レーザ投光ユニット４による走査結果に基づく前方立体物との距離の検出の状態、すなわち、検出能力の低下を判定し、検出能力が低下している場合にはコンビネーションメータ８の検出状態表示ランプ８ｂを点灯させてドライバに報知する。
【００１９】すなわち、コントローラ５は、車外監視装置としての機能を備えて構成されており、図２に示すように、画像データ処理部５ａ、レーザ測距データ処理部５ｂ、距離データ統合部５ｃ、立体物検出処理部５ｄ、距離データ診断部５ｅ、及び、警報制御部５ｆを有して構成されている。
【００２０】画像データ処理部５ａは、画像距離検出手段として設けられており、ＣＣＤカメラ３からの画像を、図４に示すように、横方向に１２８等分に区分し、これに対応した配列Ｃzlnを設定する。そして、区分毎に代表的な画素ずれ数を求め、この画素ずれ数により自車両１から立体物までの距離を算出し、画像距離データＣzln[0~127]として保存する。例えば、Ｃzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００２１】レーザ測距データ処理部５ｂは、レーザ距離検出手段として設けられており、レーザービームの投光受光の所要時間から物体までの距離を計算し、また、レーザビームを走査する方向から物体の二次元の位置（全８０区分）を計算してレーザ距離データＬzln[0~79]として保存する。例えば、Ｌzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００２２】距離データ統合部５ｃは、８０区分のレーザ距離データＬzln[0~79]を、１２８区分の画像距離データ座標に変換（レーザ距離データlzrzln[0~127]）し、この変換したレーザ距離データlzrzln[0~127]を画像距離データＣzln[0~127]と統合する。
【００２３】レーザ距離データＬzln[0~79]のレーザ距離データlzrzln[0~127]への変換は、例えば、以下のようにｘ座標、ｚ座標を演算して実行する。
ｘ座標＝レーザ距離データ・sink[k-kv+50]＋レーザヘッドｘ座標 …（１）
ｚ座標＝レーザ距離データ＋レーザヘッドｚ座標 …（２）
ここで、sink[k]＝sin((k-50)・0.155゜)のデータテーブルであり、ｋ＝（レーザヘッドの中心軸があるレーザ区分番号）−（レーザの中心軸がある画像区分番号）で、「５０」はデータテーブルの中心の区分番号、０．１５５はレーザの８０区分の１ステップである。
【００２４】また、変換したレーザ距離データlzrzln[0~127]と画像距離データＣzln[0~127]との統合は、以下のように実行される。尚、 [fln]のｆｌｎは、０〜１２７の各区分を示す。
【００２５】１．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が遠方（２０ｍ以上）の場合、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００２６】２．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）の場合、画像距離データＣzln[fln]が有効で、且つ、画像距離データＣzln[fln]とレーザ距離データlzrzln[fln]との差が所定値（例えば２．５ｍ）以内の場合は、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]と画像距離データＣzln[fln]との平均値とする。すなわち、zln[fln]＝（lzrzln[fln]＋Ｃzln[fln]）／２。
【００２７】３．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）の場合、上記２以外の場合は、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００２８】４．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が近距離（３ｍ以上１０ｍ未満）の場合、最終的な距離データzln[fln]は、画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００２９】５．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が極近距離（３ｍ未満）の場合、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００３０】６．レーザ距離データlzrzln[fln]が無効な場合は、最終的な距離データzln[fln]は、画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００３１】すなわち、一般に、画像に基づく距離データは、遠方では誤差が大きく近距離の場合は誤差が小さくなり、更に、極近距離ではリヤゲート越しに先の物体を捉えてしまいやすい。また、レーザレーダに基づく距離データは、遠方では比較的誤差が小さく近距離の場合は誤差が大きくなる。このため、上述の１〜６のように、予め、最終的に採用するデータを選別し、最終的に正確な距離データが得られるようにするのである。
【００３２】そして、画像距離データＣzln[0~127]はzln1[0~127]として、また、変換したレーザ距離データlzrzln[0~127]はzln2[0~127]として保管・出力され、更に、統合された最終的な距離データzln[0~127]は立体物検出処理部５ｄに出力される。すなわち、距離データ統合部５ｃは、最終距離設定手段として設けられている。
【００３３】立体物検出処理部５ｄは、４０ｍ未満における特異点の削除と、４０ｍ以上における特異点の削除を行って、前回の立体物の検出結果に基づいた立体物のコーナー点・コーナー状立体物の検出を行って、最終的な距離データzln[0~127]のグルーピング処理を行い立体物を認識処理する。
【００３４】具体的には、４０ｍ未満における特異点の削除は、立体物が複雑に混在し、手前の立体物の間から遠方の立体物が見える状況等において、自車からほぼ等距離の立体部の間にある遠方の立体物を特異点として削除する。
【００３５】すなわち、図５に示すように、４０ｍ未満にある最終的な距離データzln[fln]を基準点Ｐ０（ｚ０，ｘ０）として、以下の条件を全て満たす点を等距離の点として定め、これら２点の間にある遠方の点を特異点として削除する。尚、削除される点の距離データには、無効データと同じく９９９０００が代入される。
【００３６】図５の例では、基準点Ｐ０に対し、斜線部内に存在する点Ｐ４，Ｐ５が基準点Ｐ０と等距離にある点として認識される。この斜線部の領域は、ｚ方向とｘ方向が、例えば、以下のように設定される。
ｚ方向：基準点±ｄｚ０（＝ｚ０・（１６４／４０９６）＋２００）ｍｍｘ方向：基準点＋０．７ｍ従って、図５の例では、斜線の領域より遠方のＰ１，Ｐ２が特異点として削除され、斜線の領域より前に位置するＰ３は削除されない。
【００３７】また、４０ｍ以上における特異点の削除では、遠方の立体物を検出した場合、レーザレーダによる距離データは、先行車両の左右のリフレクタを検出する。従って、左右のリフレクタ間にある画像の距離データは、そのデータを特異点とし削除する。
【００３８】例えば、最終的な距離データzln[0~127]が、図４に示すように得られた場合、ｆ１とｆ３とが以下の条件を全て満足する場合、ｆ１とｆ３とを先行車両のリフレクタと判断する。
【００３９】１．ｆ１とｆ３がレーザレーダによる距離データである。２．ｆ１の値が４０ｍ以上である。３．ｆ１とｆ３の縦方向の差が±０．５ｍ以内である。４．ｆ１とｆ３の横方向の間隔が２ｍ以内である。
【００４０】そして、ｆ２が次の２つの条件を満足するとき、ｆ２の距離データを特異点として削除し、９９９０００を代入する。
【００４１】１．ｆ２が画像による距離データである。２．ｆ２がｆ１より遠方に存在する。
【００４２】このように４０ｍ以上の距離データにおいても、不要、或いは、誤差が大きいと判断できるデータを特異点として削除することにより、立体物の認識を精度良く速やかに行えるようにする。
【００４３】そして、立体物検出処理部５ｄは、前回検出されたコーナー状立体物のコーナー点を中心にサーベイエリアを設け、今回検出された上述の如く特異点を削除した最終的な距離データzln[0~127]を調べて、新たなコーナー点の有無を検出する。
【００４４】その後、このデータのグルーピング処理、すなわち、閾値を定めて、その閾値内にあるzln[fln]をグループ化し、このグループ化したデータの傾き等から側壁データの抽出を行い、グループ化されたデータの分割と統合を行って、立体物ならびに側壁を検出する。こうして、検出された立体物情報は、距離データ診断部５ｅ、警報制御部５ｆに出力される。
【００４５】距離データ診断部５ｅは、最終的に検出した立体物が、画像距離データＣzln[0~127]（zln1[0~127]）と、変換したレーザ距離データlzrzln[0~127]（zln2[0~127]）の両方で検出されているか判定し、画像距離データzln1[0~127]で検出されていない場合は、画像測距性能低下とし、コンビネーションメータ８の検出状態表示ランプ８ｂを所定に点灯させてドライバに報知する。また、最終的に検出した立体物が、レーザ距離データzln2[0~127]で検出されていない場合は、レーザ測距性能低下としコンビネーションメータ８の検出状態表示ランプ８ｂを所定に点灯させてドライバに報知する。
【００４６】この測距性能の判定は、舵角が−１０°〜＋１０°で、車両が略直線路を走行する際に行われる。これは、画像による距離検出では、ガードレールや側壁を認識することができるが、レーザレーダによる距離検出では、レーザビームが傾いて照射されるため反射せず立体物を認識しづらいことを考慮したものである。
【００４７】また、測距性能の判定を行う立体物のサーベイエリアは、レーザレーダと画像の視野が重なる部分とし、判定に用いる立体物は、距離４０〜７０ｍ前方に存在する、幅５０ｃｍ以上のものとする。ここで、距離４０〜７０ｍ前方に存在する立体物としたのは、これ以上遠方の立体物をも対象とすると、画像による距離データ及びレーザレーダによる距離データの誤差が大きくなるためである。また、４０ｍ未満前方の立体物の距離データでは、測距性能の低下が極めて少なく判定を行えないためである。更に、立体物を幅５０ｃｍ以上のものとするのは、先行車両が複数存在する場合、画像では立体物間の何も無い空間に立体物を誤認識することがあるためである。
【００４８】そして、立体物に対して画像距離データzln1[0~127]が存在するか否か判定し、存在しない場合は、画像無し立体物数ｎ１にカウントし、同じく、立体物に対してレーザ距離データzln2[0~127]が存在するか否か判定し、存在しない場合は、レーザレーダ無し立体物数ｎ２にカウントする。こうして、対象とする立体物の総数ｎ０と画像無し立体物数ｎ１とから画像の立体物不検出率を演算し（＝（ｎ１／ｎ０）・１００％）、レーザレーダの立体物不検出率を演算する（＝（ｎ２／ｎ０）・１００％）。
【００４９】そして、画像の立体物不検出率が、予め設定する検出率閾値ｋ６以上であれば、画像の能力判定タイマをインクリメントし、検出率閾値ｋ６未満であれば画像の能力判定タイマをデクリメントして、能力判定タイマの値が予め設定した出力閾値ｋ１を超えた場合に画像による測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、能力判定タイマの値が、予め設定した解除閾値ｋ２（＜ｋ１）以下となった際には検出状態表示ランプ８ｂの点灯を解除する。
【００５０】同様に、レーザレーダの立体物不検出率が、予め設定する検出率閾値ｋ５以上であれば、レーザレーダの能力判定タイマをインクリメントし、検出率閾値ｋ５未満であればレーザレーダの能力判定タイマをデクリメントして、能力判定タイマの値が予め設定した出力閾値ｋ３を超えた場合にレーザレーダによる測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、能力判定タイマの値が予め設定した解除閾値ｋ４（＜ｋ３）以下となった際には検出状態表示ランプ８ｂの点灯を解除する。
【００５１】このように、最終的に検出された立体物を対象として、これを検出する画像とレーザレーダのそれぞれの距離データがあるか否かで、画像とレーザレーダの測距能力の低下を判定するようになっているので、画像とレーザレーダの測距能力の低下を素早く正確に判定することが可能になっている。
【００５２】警報制御部５ｆは、立体物検出処理部５ｄからの立体物情報や車速センサ６からの車速Ｖ等を基に、自車線と隣接する左右の車線上に存在する他の自動車や障害物等を抽出し、抽出した物体の位置と大きさ、位置の時間変化による自車両１との相対速度等から、自車両１との衝突の可能性や接触の可能性を判断し、その結果を必要に応じて、コンビネーションメータ８の衝突警報ランプ８ａを点灯させ警報を発する。
【００５３】次に、上述のコントローラ５で実行される前方監視プログラムを図６以下図１０のフローチャートを用いて説明する。図６は前方監視プログラムの全体の流れを示すフローチャートであり、まず、ステップ（以下「Ｓ」と略称）１０１で必要なパラメータを読み込む。
【００５４】そして、Ｓ１０２に進み、画像からグルーピング用データ（画像距離データＣzln[0~127]）を作成する。すなわち、ＣＣＤカメラ３からの画像を、図４に示すように、横方向１２８等分に区分し、これに対応した配列Ｃzlnを設定する。そして、区分毎に代表的な画素ずれ数を求め、この画素ずれ数から立体物までの距離を算出し、画像距離データＣzln[0~127]として保存する。例えば、Ｃzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００５５】次いで、Ｓ１０３に進み、レーザ距離データＬzln[0~79]を作成する。すなわち、レーザービームの投光受光の所要時間から物体までの距離を計算し、また、レーザビームを走査する方向から物体の二次元の位置（全８０区分）を計算してレーザ距離データＬzln[0~79]として保存する。例えば、Ｌzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００５６】その後、Ｓ１０４に進むと、図７のフローチャートに示す画像距離データとレーザ距離データとの統合処理が実行される。
【００５７】図７のフローチャートでは、まず、Ｓ２０１で、８０区分のレーザ距離データＬzln[0~79]を、１２８区分の画像距離データ座標に変換（レーザ距離データlzrzln[0~127]）することが行われる。このレーザ距離データＬzln[0~79]のレーザ距離データlzrzln[0~127]への変換は、例えば、前記（１）式、（２）式により変換される。
【００５８】次いで、Ｓ２０２に進み、画像距離データＣzln[0~127]はzln1[0~127]として、また、変換したレーザ距離データlzrzln[0~127]はzln2[0~127]として保管した後、Ｓ２０３に進む。
【００５９】Ｓ２０３では、対象とする区分のレーザ距離データlzrzln[fln]が有効か否か判定される。尚、以下「fln」は、対象とするデータの区分を示し、後述のＳ２１２に対応して０〜１２７の全１２８区分となっている。
【００６０】このＳ２０３の判定の結果、レーザ距離データlzrzln[fln]が無効であれば、Ｓ２０４に進み、最終的な距離データzln[fln]は、画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００６１】また、Ｓ２０３の判定の結果、レーザ距離データlzrzln[fln]が有効であれば、Ｓ２０５に進み、レーザ距離データlzrzln[fln]が遠方（２０ｍ以上）か否か判定される。
【００６２】そして、Ｓ２０５の判定の結果、レーザ距離データlzrzln[fln]が遠方（２０ｍ以上）でなければＳ２０６に進み、レーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）か否か判定される。
【００６３】Ｓ２０６の判定の結果、レーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）でなければＳ２０７に進み、レーザ距離データlzrzln[fln]が近距離（３ｍ以上１０ｍ未満）か、或いは、レーザ距離データlzrzln[fln]が極近距離（３ｍ未満）か判定される。
【００６４】上述のＳ２０５〜Ｓ２０７の判定において、まず、Ｓ２０５でレーザ距離データlzrzln[fln]が遠方（２０ｍ以上）と判定された場合は、Ｓ２０８に進み、最終的な距離データzln[fln]は、遠方では比較的誤差が小さいレーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６５】また、上述のＳ２０５〜Ｓ２０７の判定において、Ｓ２０６で、レーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）と判定された場合は、Ｓ２０９に進み、画像距離データＣzln[fln]が有効か判定され、画像距離データＣzln[fln]が無効の場合はＳ２０８に進み、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６６】また、Ｓ２０９で画像距離データＣzln[fln]が有効である場合は、Ｓ２１０に進み、画像距離データＣzln[fln]とレーザ距離データlzrzln[fln]との差が２．５ｍ以内か否か判定し、２．５ｍより大きければＳ２０８に進んで、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６７】また、Ｓ２１０で、画像距離データＣzln[fln]とレーザ距離データlzrzln[fln]との差が２．５ｍ以内の場合は、Ｓ２１１に進み、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]と画像距離データＣzln[fln]との平均値とする。すなわち、zln[fln]＝（lzrzln[fln]＋Ｃzln[fln]）／２。
【００６８】一方、上述のＳ２０５〜Ｓ２０７の判定において、Ｓ２０７で、レーザ距離データlzrzln[fln]が近距離（３ｍ以上１０ｍ未満）と判定された場合は、Ｓ２０４に進み、最終的な距離データzln[fln]は、近距離では比較的誤差の小さい画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００６９】また、Ｓ２０７で、レーザ距離データlzrzln[fln]が極近距離（３ｍ未満）と判定された場合は、Ｓ２０８に進み、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００７０】こうして、Ｓ２０４、Ｓ２０８、或いは、Ｓ２１１により最終的な距離データzln[fln]の設定を行った後は、Ｓ２１２に進み、０〜１２７の全１２８区分の対象とする区分のレーザ距離データlzrzln[fln]について、統合処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、上述のＳ２０３〜Ｓ２１１の処理を繰り返す。
【００７１】このように、本実施の形態の画像距離データとレーザ距離データとの統合処理によれば、予め検出した距離により誤差の少ないデータを優先して用いるようにしているので、レーザレーダによる測距値と画像による測距値との最適な統合を複雑な演算等することなく素早く行って、前方の立体物データとして素早く出力することが可能になっている。
【００７２】上述のＳ１０４の画像距離データとレーザ距離データとの統合処理を行った後は、Ｓ１０５に進み、図８に示すグルーピングによる立体物の検出処理を行う。
【００７３】図８のフローチャートでは、まず、Ｓ３０１で、４０ｍ未満における特異点の削除を行う。すなわち、立体物が複雑に混在し、手前の立体物の間から遠方の立体物が見える状況等において、自車からほぼ等距離の立体部の間にある遠方の立体物を特異点として削除する。図５に示すように、４０ｍ未満にある最終的な距離データzln[fln]を基準点Ｐ０（ｚ０，ｘ０）として、以下の条件を全て満たす点を等距離の点として定め、これら２点の間にある遠方の点を特異点として削除する。尚、削除される点の距離データには、無効データと同じく９９９０００が代入される。
【００７４】次いで、Ｓ３０２に進み、後述の図９に示す４０ｍ以上における特異点の削除の処理を実行する。
【００７５】次いで、Ｓ３０３に進み、前回検出されたコーナー状立体物のコーナー点を中心にサーベイエリアを設け、今回検出された、Ｓ３０１とＳ３０２で特異点を削除した最終的な距離データzln[0~127]を調べて、新たなコーナー点の有無を検出する。
【００７６】その後、Ｓ３０４に進んで、データのグルーピング処理、すなわち、閾値を定めて、その閾値内にあるzln[fln]をグループ化し、このグループ化したデータの傾き等から側壁データの抽出を行い、グループ化されたデータの分割と統合を行って、立体物ならびに側壁を検出する。
【００７７】上述のＳ３０２で実行される４０ｍ以上における特異点の削除の処理は、図９のフローチャートで示すように、まず、Ｓ４０１で対象とする区分の距離データzln[fls]は４０ｍ以上のデータで、且つ、この区分のレーザ距離データlzrzln[fls]が有効であるか否か判定される。尚、以下「fls」は、対象とするデータの区分を示し、後述のＳ４１０に対応して０〜１２７の全１２８区分となっている。
【００７８】そして、このＳ４０１での判定の結果、距離データzln[fls]が４０ｍ未満、或いは、この区分のレーザ距離データlzrzln[fls]が無効の少なくともどちらかの場合はＳ４１０にジャンプして、０〜１２７の全１２８区分の対象とする区分の距離データzln[fls]について、処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、再びＳ４０１からの処理を行う。
【００７９】Ｓ４０１での判定の結果、距離データzln[fls]は４０ｍ以上のデータで、且つ、この区分のレーザ距離データlzrzln[fls]が有効であると判定した場合はＳ４０２に進み、この区分のレーザ距離データlzrzln[fls]を基準とするサーベイエリアの決定を行い、サーベイエリアのもう一方の端部の区分zln[fle]には、zln[fls]から右方向に２ｍ離れた位置に対応する区分が設定される。
【００８０】そして、Ｓ４０３に進み、zln[fls]からzln[fle]までの区分のサーベイエリアで、zln[fls]との距離の差が０．５ｍ以内（すなわち、｜zln[fls]−zln[fln]｜≦０．５ｍ：「fln」は「fls」から「fle」までの区分番号）で、且つ、そのレーザ距離データlzrzln[fln]が有効か否か判定される。
【００８１】Ｓ４０３の判定の結果、上述の条件を満たす場合は、Ｓ４０４に進み、その区分はzln[fls]と等距離の同一立体物の区分と判定し、zln[fls]に対応する右端の区分データzln[f０]として設定する。すなわち、ｆ０＝ｆｌｎ。
【００８２】そして、Ｓ４０４でzln[fls]に対応する右端の区分データzln[f０]を設定した場合、或いは、Ｓ４０３で上述の条件を満たさないと判定された場合は、Ｓ４０５に進み、「fls」から「fle」までの区分番号全てに判定を完了したか判定し、判定を完了していなければ再びＳ４０３に戻って、「fls」から「fle」までの間で、次の区分についての判定を行なう。
【００８３】こうして、Ｓ４０５で、「fls」から「fle」までの全区分についての判定が完了した場合、Ｓ４０６に進んで、zln[fls]に対応する右端の区分データzln[f０]が設定されたか否か判定される。この結果、右端の区分データzln[f０]が設定されていない場合は、Ｓ４１０にジャンプし、０〜１２７の全１２８区分の対象とする区分の距離データzln[fls]について、処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、再びＳ４０１からの処理を行う。
【００８４】また、Ｓ４０６でzln[fls]に対応する右端の区分データzln[f０]が設定されたと判定された場合はＳ４０７へと進む。Ｓ４０７では、「fls＋１」から「ｆ０−１」までの区分（「fls」から「ｆ０」までの間の区分）のデータにおいて、距離データzln[fln]は、zln[fls]＋０．５ｍより遠方のデータで、且つ、そのレーザ距離データlzrzln[fln]が無効か否か判定される。
【００８５】そして、Ｓ４０７において、上述の条件を満たす場合は、Ｓ４０８に進み、そのデータzln[fln]を特異点として削除する。
【００８６】Ｓ４０８で「fls」から「ｆ０」までの間の区分を特異点として削除し、或いは、Ｓ４０７で上述の条件を満足しない場合はＳ４０９に進んで、「fls」から「ｆ０」までの間の区分の全てについて判定が完了したか否か判定する。
【００８７】そして、Ｓ４０９で、「fls」から「ｆ０」までの間の区分の全てについて判定が未だ完了していない場合は、「fls」から「ｆ０」までの間の次の区分についてＳ４０７からの判定を実行し、「fls」から「ｆ０」までの間の区分の全てについて判定が完了している場合はＳ４１０に進み、０〜１２７の全１２８区分の対象とする区分の距離データzln[fls]について、処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、再びＳ４０１からの処理を行う。
【００８８】このように、本実施の形態によれば、４０ｍ以上の距離データにおいても、不要、或いは、誤差が大きいと判断できるデータを特異点として削除することにより、立体物の認識を精度良く速やかに行うことが可能となる。
【００８９】上述の如く、Ｓ１０５で図８に示すグルーピングによる立体物の検出処理を行った後は、Ｓ１０６に進み、図１０に示す距離データの診断処理を行う。
【００９０】図１０のフローチャートでは、まず、Ｓ５０１で舵角が−１０°〜１０°で、車両が略直線路を走行しているか否か判定され、舵角が−１０°〜１０°より大きい場合は、診断処理は行わず、そのままルーチンを抜ける。これは、画像による距離検出では、ガードレールや側壁を認識することができるが、レーザレーダによる距離検出では、レーザビームが傾いて照射されるため反射せず立体物を認識しづらいため、診断処理の結果が正確に得られない可能性があるためである。
【００９１】Ｓ５０１の判定の結果、舵角が−１０°〜１０°で、車両が略直線路を走行している場合は、Ｓ５０２へと進み、立体物の判定対象の総数ｎ０、画像無し立体物数ｎ１、及び、レーザレーダ無し立体物数ｎ２の初期値を設定する。
【００９２】そして、Ｓ５０３に進み、立体物が診断の対象とする立体物であるか否か判定する。これは、レーザレーダと画像の視野が重なる部分の立体物であり、且つ、距離４０〜７０ｍ前方に存在する、幅５０ｃｍ以上の立体物であるか否かの判定で行う。
【００９３】Ｓ５０３の判定の結果、上述の条件を満足せず立体物が診断の対象とする立体物ではないと判定した場合はＳ５１０にジャンプし、その立体物は対象外と決定する。
【００９４】一方、Ｓ５０３の判定の結果、立体物が診断の対象とする立体物である場合はＳ５０４へと進み、立体物の判定対象の総数ｎ０をカウントし（ｎ０＝ｎ０＋１）、Ｓ５０５に進んで、立体物を形成するグルーピングしたデータから、それに対応する画像距離データzln1（Ｓ２０２で保管したデータ）と、レーザ距離データzln2（Ｓ２０２で保管したデータ）を読み出す。
【００９５】そして、Ｓ５０６に進み、その立体物に対応する画像距離データzln1が有り、且つ、その立体物に対応するレーザ距離データzln2が無いか判定し、この条件を満たす場合はＳ５０７に進んで、レーザレーダ無し立体物数ｎ２をカウントする（ｎ２＝ｎ２＋１）。
【００９６】また、Ｓ５０６での判定条件を満たさない場合は、Ｓ５０８に進み、その立体物に対応する画像距離データzln1が無く、且つ、その立体物に対応するレーザ距離データzln2が有るか判定し、この条件を満たす場合はＳ５０９に進んで、画像無し立体物数ｎ１をカウントする（ｎ１＝ｎ１＋１）。
【００９７】そして、Ｓ５０８の条件をも満足しない場合、すなわち、その立体物に対応する画像距離データzln1もレーザ距離データzln2も無い場合、或いは、その立体物に対応する画像距離データzln1もレーザ距離データzln2も有る場合はＳ５１０に進み、その立体物を診断対象外とする。
【００９８】Ｓ５０７、Ｓ５０９、或いは、Ｓ５１０の処理を行った後は、Ｓ５１１に進み、全ての立体物について判定したか否か判定し、未だ全ての立体物に対して判定を終了していない場合はＳ５０３へと戻り、上述の処理を繰り返す。
【００９９】全ての立体物について判定が終了している場合は、Ｓ５１１からＳ５１２へと進み、対象とする立体物の総数ｎ０と画像無し立体物数ｎ１とから画像の立体物不検出率を演算し（＝（ｎ１／ｎ０）・１００％）、レーザレーダの立体物不検出率を演算する（＝（ｎ２／ｎ０）・１００％）。
【０１００】次いで、Ｓ５１３に進み、画像の立体物不検出率が、予め設定する検出率閾値ｋ６以上であれば、画像の能力判定タイマをインクリメントし、検出率閾値ｋ６未満であれば画像の能力判定タイマをデクリメントする。同様に、レーザレーダの立体物不検出率が、予め設定する検出率閾値ｋ５以上であれば、レーザレーダの能力判定タイマをインクリメントし、検出率閾値ｋ５未満であればレーザレーダの能力判定タイマをデクリメントする。
【０１０１】そして、Ｓ５１４に進み、画像の能力判定タイマの値が予め設定した出力閾値ｋ１を超えているか判定し、出力閾値ｋ１を超えている場合はＳ５１５に進んで、画像による測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、Ｓ５１４で画像の能力判定タイマの値が予め設定した解除閾値ｋ２（＜ｋ１）以下となっている際にはＳ５１５に進んで検出状態表示ランプ８ｂの点灯を解除する。
【０１０２】また、Ｓ５１４に進むと、レーザレーダの能力判定タイマの値が予め設定した出力閾値ｋ３を超えているか判定し、出力閾値ｋ３を超えている場合はＳ５１５に進んで、レーザレーダによる測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、Ｓ５１４でレーザレーダの能力判定タイマの値が予め設定した解除閾値ｋ４（＜ｋ３）以下となっている際にはＳ５１５に進んで検出状態表示ランプ８ｂの点灯を解除する。
【０１０３】このように、本実施の形態によれば、最終的に検出された立体物を対象として、これを検出する画像とレーザレーダのそれぞれの距離データがあるか否かで、画像とレーザレーダの測距能力の低下を判定するようになっているので、画像とレーザレーダの測距能力の低下を素早く正確に判定することが可能になっている。尚、本実施の形態では、診断の対象とする立体物に対して、単に、画像距離データzln1、或いは、レーザ距離データzln2が存在するか否かで診断するようになっているが、他の方法、例えば、診断の対象とする立体物と画像距離データzln1との差と、診断の対象とする立体物とレーザ距離データzln2との差を比較することでも簡単に診断できる。
【０１０４】上述のＳ１０６の距離データ診断の処理を行った後は、Ｓ１０７に進み、衝突・接触警報制御を行う。すなわち、立体物検出処理部５ｄからの立体物情報や車速センサ６からの車速Ｖ等を基に、自車線と隣接する左右の車線上に存在する他の自動車や障害物等を抽出し、抽出した物体の位置と大きさ、位置の時間変化による自車両１との相対速度等から、自車両１との衝突の可能性や接触の可能性を判断し、その結果を必要に応じて、コンビネーションメータ８の衝突警報ランプ８ａを点灯させ警報を発する。
【０１０５】
【発明の効果】以上説明したように本発明によれば、レーザレーダによる測距値と画像による測距値との最適な統合を複雑な演算等することなく素早く行って、前方の立体物データとして素早く出力することが可能となる。
【図面の簡単な説明】
【図１】車外監視装置を備えた車両用運転支援装置の概略構成図
【図２】車両用運転支援装置の機能ブロック図
【図３】ＣＣＤカメラによる距離データ検出とレーザレーダによる距離データ検出の説明図
【図４】画像距離データの区分の説明図
【図５】削除する特異点の説明図
【図６】前方監視プログラムのフローチャート
【図７】画像距離データとレーザ距離データとの統合処理ルーチンのフローチャート
【図８】グルーピングによる立体物検出処理ルーチンのフローチャート
【図９】４０ｍ以上における特異点の削除処理ルーチンのフローチャート
【図１０】距離データ診断処理ルーチンのフローチャート
【符号の説明】
１ 自車両
２ 車両用運転支援装置
３ ＣＣＤカメラ
４ レーザ投光ユニット
５ コントローラ（車外監視装置）
５ａ 画像データ処理部（画像距離検出手段）
５ｂ レーザ測距データ処理部（レーザ距離検出手段）
５ｃ 距離データ統合部（最終距離設定手段）
５ｄ 立体物検出処理部
５ｅ 距離データ診断部
５ｆ 警報制御部
８ｂ 検出状態表示ランプ
【０００１】
【発明の属する技術分野】本発明は、画像情報とレーザレーダ情報とを基に前方に存在する立体物と自車両との距離を検出する車外監視装置に関する。
【０００２】
【従来の技術】近年、自動車にＴＶカメラやレーザレーダ等を搭載して前方の車両や障害物を検知し、それらに衝突する危険度を判定して運転者に警報を発したり、自動的にブレーキを作動させて停止させる、或いは、先行車との車間距離を安全に保つよう自動的に走行速度を増減する等のＡＳＶ（Advanced Safety Vehicle；先進安全自動車）に係わる技術の開発が積極的に進められ、一部実用化されている。
【０００３】このような技術として、例えば特開平６−２３０１１５号公報では、カメラとミリ波レーダの２つの車間距離検出手段を有し、信頼度のより高い方のデータを用いて車間距離を検出するようにすることで、走行状況の変化に応じて適切な検出手段の選択ができ、正確な車間距離検出を行うようにするものが開示されている。
【０００４】
【発明が解決しようとする課題】しかしながら、上述の先行技術では、カメラによるデータの信頼度、及び、ミリ波レーダによるデータの信頼度の演算が複雑で、これら信頼度を求めてから、信頼度の高い方のデータを選ぶのでは、演算時間がかかりすぎ、多くの画像データを素早く処理するには難しく応答性の良い制御が困難になるという問題がある。
【０００５】本発明は上記事情に鑑みてなされたもので、レーザレーダによる測距値と画像による測距値との最適な統合を複雑な演算等することなく素早く行って、前方の立体物データとして素早く出力することが可能な車外監視装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】上記目的を達成するため請求項１記載の本発明による車外監視装置は、車両前方の画像情報を基に前方に存在する立体物と自車両との距離を検出する画像距離検出手段と、車両前方へのレーザレーダ情報を基に前方に存在する立体物と自車両との距離を検出するレーザ距離検出手段と、上記画像距離検出手段で検出した距離と上記レーザ距離検出手段で検出した距離とに応じ、最終的に前方に存在する立体物と自車両との距離を設定する最終距離設定手段とを備えた車外監視装置であって、上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離の値に応じて上記最終的に前方に存在する立体物と自車両との距離の設定を行うことを特徴としている。
【０００７】すなわち、上記請求項１記載の車外監視装置では、画像距離検出手段で車両前方の画像情報を基に前方に存在する立体物と自車両との距離を検出し、レーザ距離検出手段で車両前方の画像情報を基に前方に存在する立体物と自車両との距離を検出し、最終距離設定手段で画像距離検出手段で検出した距離とレーザ距離検出手段で検出した距離とに応じ、最終的に前方に存在する立体物と自車両との距離を設定する。この際、最終距離設定手段は、レーザ距離検出手段で検出した距離の値に応じて最終的に前方に存在する立体物と自車両との距離の設定を行う。このため、レーザレーダによる測距値と画像による測距値との最適な統合を複雑な演算等することなく素早く行って、前方の立体物データとして素早く出力することが可能になる。
【０００８】また、請求項２記載の本発明による車外監視装置は、請求項１記載の車外監視装置において、上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が遠方の場合、上記レーザ距離検出手段で検出した距離を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とし、レーザ距離検出手段で検出した距離が遠方の場合は、誤差が少ないと考えられるレーザ距離検出手段で検出した距離を最終的に前方に存在する立体物と自車両との距離として設定する。
【０００９】更に、請求項３記載の本発明による車外監視装置は、請求項１又は請求項２記載の車外監視装置において、上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が中間距離の場合、上記画像距離検出手段で検出した距離と上記レーザ距離検出手段で検出した距離との差が所定値以内の際は、上記画像距離検出手段で検出した距離と上記レーザ距離検出手段で検出した距離との平均値を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴としている。
【００１０】また、請求項４記載の本発明による車外監視装置は、請求項１乃至請求項３の何れか一つに記載の車外監視装置において、上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が近距離の場合、上記画像距離検出手段で検出した距離を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とし、レーザ距離検出手段で検出した距離が近距離の場合は、誤差が少ないと考えられる画像距離検出手段で検出した距離を最終的に前方に存在する立体物と自車両との距離として設定する。
【００１１】更に、請求項５記載の本発明による車外監視装置は、請求項１乃至請求項４の何れか一つに記載の車外監視装置において、上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が極近距離の場合、上記レーザ距離検出手段で検出した距離を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とし、レーザ距離検出手段で検出した距離が極近距離の場合は、誤差の少ないと考えられるレーザ距離検出手段で検出した距離を最終的に前方に存在する立体物と自車両との距離として設定する。
【００１２】
【発明の実施の形態】以下、図面に基づいて本発明の実施の形態を説明する。図１乃至図１０は本発明の実施の形態を示し、図１は車外監視装置を備えた車両用運転支援装置の概略構成図、図２は車両用運転支援装置の機能ブロック図、図３はＣＣＤカメラによる距離データ検出とレーザレーダによる距離データ検出の説明図、図４は画像距離データの区分の説明図、図５は削除する特異点の説明図、図６は前方監視プログラムのフローチャート、図７は画像距離データとレーザ距離データとの統合処理ルーチンのフローチャート、図８はグルーピングによる立体物検出処理ルーチンのフローチャート、図９は４０ｍ以上における特異点の削除処理ルーチンのフローチャート、図１０は距離データ診断処理ルーチンのフローチャートである。
【００１３】図１において、符号１は自動車等の車両（自車両）であり、この自車両１に、前方の立体物との衝突、接触の可能性を判定し、必要に応じて警報を発する車両用運転支援装置（ＡＤＡ装置）２が搭載されている。尚、ＡＤＡ装置２は、一般に、この衝突接触防止機能の他に、車線逸脱防止等の機能も有しているが、本発明の実施の形態では、衝突接触防止機能についてのみ説明し、他の機能の説明は省略する。
【００１４】ＡＤＡ装置２は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組の（左右の）ＣＣＤカメラ３を有し、これら左右のＣＣＤカメラ３は、それぞれ車室内の天井前方に一定の間隔をもって取り付けられ、車外の対象を異なる視点からステレオ撮像し、コントローラ５に入力する。
【００１５】また、車両１のバンパー構造材の上部には、レーザビームの投射・受光と左右方向への走査機能を有する、レーザヘッドを備えたレーザ投光ユニット４が取り付けられ、コントローラ５と接続されている。このレーザ投光ユニット４からはレーザビームが水平に投射され、道路表面より高い位置にある立体物のみが検出されると共に、このレーザ投光ユニット４からのレーザビームは左右方向に走査され、所定の走査範囲で一定の間隔毎にレーザビームが投光・受光されて距離を検出する動作が繰り返され、立体物の二次元分布が計測される。
【００１６】本実施の形態の場合、例えば、図３に示すように、ＣＣＤカメラ３からは前方の左右２６゜の範囲の画像がコントローラ５に入力され、一方、レーザ投光ユニット４では０．１５度間隔で８０方向の走査が行われて前方の左右１２゜の範囲のデータが０．１秒周期でコントローラ５に出力される。
【００１７】また、自車両１には、車速Ｖを検出する車速センサ６と、舵角δを検出する舵角センサ７が設けられており、この車速Ｖと舵角δはコントローラ５に入力される。
【００１８】コントローラ５は、ＣＣＤカメラ３からの画像、レーザ投光ユニット４による走査結果、車速Ｖ、及び、舵角δが入力され、ＣＣＤカメラ３からの画像に基づく前方立体物との距離と、レーザ投光ユニット４による走査結果に基づく前方立体物との距離とをそれぞれ独立して求め、これらの距離データを統合して、この統合したデータを基に最終的に前方立体物との距離を求め、自車両１との衝突危険性や接触可能性を判断し、必要に応じてコンビネーションメータ８の衝突警報ランプ８ａを点灯させ警報を発するようになっている。また、コントローラ５は、ＣＣＤカメラ３からの画像に基づく前方立体物との距離の検出と、レーザ投光ユニット４による走査結果に基づく前方立体物との距離の検出の状態、すなわち、検出能力の低下を判定し、検出能力が低下している場合にはコンビネーションメータ８の検出状態表示ランプ８ｂを点灯させてドライバに報知する。
【００１９】すなわち、コントローラ５は、車外監視装置としての機能を備えて構成されており、図２に示すように、画像データ処理部５ａ、レーザ測距データ処理部５ｂ、距離データ統合部５ｃ、立体物検出処理部５ｄ、距離データ診断部５ｅ、及び、警報制御部５ｆを有して構成されている。
【００２０】画像データ処理部５ａは、画像距離検出手段として設けられており、ＣＣＤカメラ３からの画像を、図４に示すように、横方向に１２８等分に区分し、これに対応した配列Ｃzlnを設定する。そして、区分毎に代表的な画素ずれ数を求め、この画素ずれ数により自車両１から立体物までの距離を算出し、画像距離データＣzln[0~127]として保存する。例えば、Ｃzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００２１】レーザ測距データ処理部５ｂは、レーザ距離検出手段として設けられており、レーザービームの投光受光の所要時間から物体までの距離を計算し、また、レーザビームを走査する方向から物体の二次元の位置（全８０区分）を計算してレーザ距離データＬzln[0~79]として保存する。例えば、Ｌzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００２２】距離データ統合部５ｃは、８０区分のレーザ距離データＬzln[0~79]を、１２８区分の画像距離データ座標に変換（レーザ距離データlzrzln[0~127]）し、この変換したレーザ距離データlzrzln[0~127]を画像距離データＣzln[0~127]と統合する。
【００２３】レーザ距離データＬzln[0~79]のレーザ距離データlzrzln[0~127]への変換は、例えば、以下のようにｘ座標、ｚ座標を演算して実行する。
ｘ座標＝レーザ距離データ・sink[k-kv+50]＋レーザヘッドｘ座標 …（１）
ｚ座標＝レーザ距離データ＋レーザヘッドｚ座標 …（２）
ここで、sink[k]＝sin((k-50)・0.155゜)のデータテーブルであり、ｋ＝（レーザヘッドの中心軸があるレーザ区分番号）−（レーザの中心軸がある画像区分番号）で、「５０」はデータテーブルの中心の区分番号、０．１５５はレーザの８０区分の１ステップである。
【００２４】また、変換したレーザ距離データlzrzln[0~127]と画像距離データＣzln[0~127]との統合は、以下のように実行される。尚、 [fln]のｆｌｎは、０〜１２７の各区分を示す。
【００２５】１．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が遠方（２０ｍ以上）の場合、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００２６】２．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）の場合、画像距離データＣzln[fln]が有効で、且つ、画像距離データＣzln[fln]とレーザ距離データlzrzln[fln]との差が所定値（例えば２．５ｍ）以内の場合は、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]と画像距離データＣzln[fln]との平均値とする。すなわち、zln[fln]＝（lzrzln[fln]＋Ｃzln[fln]）／２。
【００２７】３．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）の場合、上記２以外の場合は、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００２８】４．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が近距離（３ｍ以上１０ｍ未満）の場合、最終的な距離データzln[fln]は、画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００２９】５．レーザ距離データlzrzln[fln]が有効な場合でレーザ距離データlzrzln[fln]が極近距離（３ｍ未満）の場合、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００３０】６．レーザ距離データlzrzln[fln]が無効な場合は、最終的な距離データzln[fln]は、画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００３１】すなわち、一般に、画像に基づく距離データは、遠方では誤差が大きく近距離の場合は誤差が小さくなり、更に、極近距離ではリヤゲート越しに先の物体を捉えてしまいやすい。また、レーザレーダに基づく距離データは、遠方では比較的誤差が小さく近距離の場合は誤差が大きくなる。このため、上述の１〜６のように、予め、最終的に採用するデータを選別し、最終的に正確な距離データが得られるようにするのである。
【００３２】そして、画像距離データＣzln[0~127]はzln1[0~127]として、また、変換したレーザ距離データlzrzln[0~127]はzln2[0~127]として保管・出力され、更に、統合された最終的な距離データzln[0~127]は立体物検出処理部５ｄに出力される。すなわち、距離データ統合部５ｃは、最終距離設定手段として設けられている。
【００３３】立体物検出処理部５ｄは、４０ｍ未満における特異点の削除と、４０ｍ以上における特異点の削除を行って、前回の立体物の検出結果に基づいた立体物のコーナー点・コーナー状立体物の検出を行って、最終的な距離データzln[0~127]のグルーピング処理を行い立体物を認識処理する。
【００３４】具体的には、４０ｍ未満における特異点の削除は、立体物が複雑に混在し、手前の立体物の間から遠方の立体物が見える状況等において、自車からほぼ等距離の立体部の間にある遠方の立体物を特異点として削除する。
【００３５】すなわち、図５に示すように、４０ｍ未満にある最終的な距離データzln[fln]を基準点Ｐ０（ｚ０，ｘ０）として、以下の条件を全て満たす点を等距離の点として定め、これら２点の間にある遠方の点を特異点として削除する。尚、削除される点の距離データには、無効データと同じく９９９０００が代入される。
【００３６】図５の例では、基準点Ｐ０に対し、斜線部内に存在する点Ｐ４，Ｐ５が基準点Ｐ０と等距離にある点として認識される。この斜線部の領域は、ｚ方向とｘ方向が、例えば、以下のように設定される。
ｚ方向：基準点±ｄｚ０（＝ｚ０・（１６４／４０９６）＋２００）ｍｍｘ方向：基準点＋０．７ｍ従って、図５の例では、斜線の領域より遠方のＰ１，Ｐ２が特異点として削除され、斜線の領域より前に位置するＰ３は削除されない。
【００３７】また、４０ｍ以上における特異点の削除では、遠方の立体物を検出した場合、レーザレーダによる距離データは、先行車両の左右のリフレクタを検出する。従って、左右のリフレクタ間にある画像の距離データは、そのデータを特異点とし削除する。
【００３８】例えば、最終的な距離データzln[0~127]が、図４に示すように得られた場合、ｆ１とｆ３とが以下の条件を全て満足する場合、ｆ１とｆ３とを先行車両のリフレクタと判断する。
【００３９】１．ｆ１とｆ３がレーザレーダによる距離データである。２．ｆ１の値が４０ｍ以上である。３．ｆ１とｆ３の縦方向の差が±０．５ｍ以内である。４．ｆ１とｆ３の横方向の間隔が２ｍ以内である。
【００４０】そして、ｆ２が次の２つの条件を満足するとき、ｆ２の距離データを特異点として削除し、９９９０００を代入する。
【００４１】１．ｆ２が画像による距離データである。２．ｆ２がｆ１より遠方に存在する。
【００４２】このように４０ｍ以上の距離データにおいても、不要、或いは、誤差が大きいと判断できるデータを特異点として削除することにより、立体物の認識を精度良く速やかに行えるようにする。
【００４３】そして、立体物検出処理部５ｄは、前回検出されたコーナー状立体物のコーナー点を中心にサーベイエリアを設け、今回検出された上述の如く特異点を削除した最終的な距離データzln[0~127]を調べて、新たなコーナー点の有無を検出する。
【００４４】その後、このデータのグルーピング処理、すなわち、閾値を定めて、その閾値内にあるzln[fln]をグループ化し、このグループ化したデータの傾き等から側壁データの抽出を行い、グループ化されたデータの分割と統合を行って、立体物ならびに側壁を検出する。こうして、検出された立体物情報は、距離データ診断部５ｅ、警報制御部５ｆに出力される。
【００４５】距離データ診断部５ｅは、最終的に検出した立体物が、画像距離データＣzln[0~127]（zln1[0~127]）と、変換したレーザ距離データlzrzln[0~127]（zln2[0~127]）の両方で検出されているか判定し、画像距離データzln1[0~127]で検出されていない場合は、画像測距性能低下とし、コンビネーションメータ８の検出状態表示ランプ８ｂを所定に点灯させてドライバに報知する。また、最終的に検出した立体物が、レーザ距離データzln2[0~127]で検出されていない場合は、レーザ測距性能低下としコンビネーションメータ８の検出状態表示ランプ８ｂを所定に点灯させてドライバに報知する。
【００４６】この測距性能の判定は、舵角が−１０°〜＋１０°で、車両が略直線路を走行する際に行われる。これは、画像による距離検出では、ガードレールや側壁を認識することができるが、レーザレーダによる距離検出では、レーザビームが傾いて照射されるため反射せず立体物を認識しづらいことを考慮したものである。
【００４７】また、測距性能の判定を行う立体物のサーベイエリアは、レーザレーダと画像の視野が重なる部分とし、判定に用いる立体物は、距離４０〜７０ｍ前方に存在する、幅５０ｃｍ以上のものとする。ここで、距離４０〜７０ｍ前方に存在する立体物としたのは、これ以上遠方の立体物をも対象とすると、画像による距離データ及びレーザレーダによる距離データの誤差が大きくなるためである。また、４０ｍ未満前方の立体物の距離データでは、測距性能の低下が極めて少なく判定を行えないためである。更に、立体物を幅５０ｃｍ以上のものとするのは、先行車両が複数存在する場合、画像では立体物間の何も無い空間に立体物を誤認識することがあるためである。
【００４８】そして、立体物に対して画像距離データzln1[0~127]が存在するか否か判定し、存在しない場合は、画像無し立体物数ｎ１にカウントし、同じく、立体物に対してレーザ距離データzln2[0~127]が存在するか否か判定し、存在しない場合は、レーザレーダ無し立体物数ｎ２にカウントする。こうして、対象とする立体物の総数ｎ０と画像無し立体物数ｎ１とから画像の立体物不検出率を演算し（＝（ｎ１／ｎ０）・１００％）、レーザレーダの立体物不検出率を演算する（＝（ｎ２／ｎ０）・１００％）。
【００４９】そして、画像の立体物不検出率が、予め設定する検出率閾値ｋ６以上であれば、画像の能力判定タイマをインクリメントし、検出率閾値ｋ６未満であれば画像の能力判定タイマをデクリメントして、能力判定タイマの値が予め設定した出力閾値ｋ１を超えた場合に画像による測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、能力判定タイマの値が、予め設定した解除閾値ｋ２（＜ｋ１）以下となった際には検出状態表示ランプ８ｂの点灯を解除する。
【００５０】同様に、レーザレーダの立体物不検出率が、予め設定する検出率閾値ｋ５以上であれば、レーザレーダの能力判定タイマをインクリメントし、検出率閾値ｋ５未満であればレーザレーダの能力判定タイマをデクリメントして、能力判定タイマの値が予め設定した出力閾値ｋ３を超えた場合にレーザレーダによる測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、能力判定タイマの値が予め設定した解除閾値ｋ４（＜ｋ３）以下となった際には検出状態表示ランプ８ｂの点灯を解除する。
【００５１】このように、最終的に検出された立体物を対象として、これを検出する画像とレーザレーダのそれぞれの距離データがあるか否かで、画像とレーザレーダの測距能力の低下を判定するようになっているので、画像とレーザレーダの測距能力の低下を素早く正確に判定することが可能になっている。
【００５２】警報制御部５ｆは、立体物検出処理部５ｄからの立体物情報や車速センサ６からの車速Ｖ等を基に、自車線と隣接する左右の車線上に存在する他の自動車や障害物等を抽出し、抽出した物体の位置と大きさ、位置の時間変化による自車両１との相対速度等から、自車両１との衝突の可能性や接触の可能性を判断し、その結果を必要に応じて、コンビネーションメータ８の衝突警報ランプ８ａを点灯させ警報を発する。
【００５３】次に、上述のコントローラ５で実行される前方監視プログラムを図６以下図１０のフローチャートを用いて説明する。図６は前方監視プログラムの全体の流れを示すフローチャートであり、まず、ステップ（以下「Ｓ」と略称）１０１で必要なパラメータを読み込む。
【００５４】そして、Ｓ１０２に進み、画像からグルーピング用データ（画像距離データＣzln[0~127]）を作成する。すなわち、ＣＣＤカメラ３からの画像を、図４に示すように、横方向１２８等分に区分し、これに対応した配列Ｃzlnを設定する。そして、区分毎に代表的な画素ずれ数を求め、この画素ずれ数から立体物までの距離を算出し、画像距離データＣzln[0~127]として保存する。例えば、Ｃzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００５５】次いで、Ｓ１０３に進み、レーザ距離データＬzln[0~79]を作成する。すなわち、レーザービームの投光受光の所要時間から物体までの距離を計算し、また、レーザビームを走査する方向から物体の二次元の位置（全８０区分）を計算してレーザ距離データＬzln[0~79]として保存する。例えば、Ｌzln[3]は、区分番号３番の距離データを示し、無効データの場合は９９９０００とされる。
【００５６】その後、Ｓ１０４に進むと、図７のフローチャートに示す画像距離データとレーザ距離データとの統合処理が実行される。
【００５７】図７のフローチャートでは、まず、Ｓ２０１で、８０区分のレーザ距離データＬzln[0~79]を、１２８区分の画像距離データ座標に変換（レーザ距離データlzrzln[0~127]）することが行われる。このレーザ距離データＬzln[0~79]のレーザ距離データlzrzln[0~127]への変換は、例えば、前記（１）式、（２）式により変換される。
【００５８】次いで、Ｓ２０２に進み、画像距離データＣzln[0~127]はzln1[0~127]として、また、変換したレーザ距離データlzrzln[0~127]はzln2[0~127]として保管した後、Ｓ２０３に進む。
【００５９】Ｓ２０３では、対象とする区分のレーザ距離データlzrzln[fln]が有効か否か判定される。尚、以下「fln」は、対象とするデータの区分を示し、後述のＳ２１２に対応して０〜１２７の全１２８区分となっている。
【００６０】このＳ２０３の判定の結果、レーザ距離データlzrzln[fln]が無効であれば、Ｓ２０４に進み、最終的な距離データzln[fln]は、画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００６１】また、Ｓ２０３の判定の結果、レーザ距離データlzrzln[fln]が有効であれば、Ｓ２０５に進み、レーザ距離データlzrzln[fln]が遠方（２０ｍ以上）か否か判定される。
【００６２】そして、Ｓ２０５の判定の結果、レーザ距離データlzrzln[fln]が遠方（２０ｍ以上）でなければＳ２０６に進み、レーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）か否か判定される。
【００６３】Ｓ２０６の判定の結果、レーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）でなければＳ２０７に進み、レーザ距離データlzrzln[fln]が近距離（３ｍ以上１０ｍ未満）か、或いは、レーザ距離データlzrzln[fln]が極近距離（３ｍ未満）か判定される。
【００６４】上述のＳ２０５〜Ｓ２０７の判定において、まず、Ｓ２０５でレーザ距離データlzrzln[fln]が遠方（２０ｍ以上）と判定された場合は、Ｓ２０８に進み、最終的な距離データzln[fln]は、遠方では比較的誤差が小さいレーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６５】また、上述のＳ２０５〜Ｓ２０７の判定において、Ｓ２０６で、レーザ距離データlzrzln[fln]が中間距離（１０ｍ以上２０ｍ未満）と判定された場合は、Ｓ２０９に進み、画像距離データＣzln[fln]が有効か判定され、画像距離データＣzln[fln]が無効の場合はＳ２０８に進み、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６６】また、Ｓ２０９で画像距離データＣzln[fln]が有効である場合は、Ｓ２１０に進み、画像距離データＣzln[fln]とレーザ距離データlzrzln[fln]との差が２．５ｍ以内か否か判定し、２．５ｍより大きければＳ２０８に進んで、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００６７】また、Ｓ２１０で、画像距離データＣzln[fln]とレーザ距離データlzrzln[fln]との差が２．５ｍ以内の場合は、Ｓ２１１に進み、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]と画像距離データＣzln[fln]との平均値とする。すなわち、zln[fln]＝（lzrzln[fln]＋Ｃzln[fln]）／２。
【００６８】一方、上述のＳ２０５〜Ｓ２０７の判定において、Ｓ２０７で、レーザ距離データlzrzln[fln]が近距離（３ｍ以上１０ｍ未満）と判定された場合は、Ｓ２０４に進み、最終的な距離データzln[fln]は、近距離では比較的誤差の小さい画像距離データＣzln[fln]とする。すなわち、zln[fln]＝Ｃzln[fln]。
【００６９】また、Ｓ２０７で、レーザ距離データlzrzln[fln]が極近距離（３ｍ未満）と判定された場合は、Ｓ２０８に進み、最終的な距離データzln[fln]は、レーザ距離データlzrzln[fln]とする。すなわち、zln[fln]＝lzrzln[fln]。
【００７０】こうして、Ｓ２０４、Ｓ２０８、或いは、Ｓ２１１により最終的な距離データzln[fln]の設定を行った後は、Ｓ２１２に進み、０〜１２７の全１２８区分の対象とする区分のレーザ距離データlzrzln[fln]について、統合処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、上述のＳ２０３〜Ｓ２１１の処理を繰り返す。
【００７１】このように、本実施の形態の画像距離データとレーザ距離データとの統合処理によれば、予め検出した距離により誤差の少ないデータを優先して用いるようにしているので、レーザレーダによる測距値と画像による測距値との最適な統合を複雑な演算等することなく素早く行って、前方の立体物データとして素早く出力することが可能になっている。
【００７２】上述のＳ１０４の画像距離データとレーザ距離データとの統合処理を行った後は、Ｓ１０５に進み、図８に示すグルーピングによる立体物の検出処理を行う。
【００７３】図８のフローチャートでは、まず、Ｓ３０１で、４０ｍ未満における特異点の削除を行う。すなわち、立体物が複雑に混在し、手前の立体物の間から遠方の立体物が見える状況等において、自車からほぼ等距離の立体部の間にある遠方の立体物を特異点として削除する。図５に示すように、４０ｍ未満にある最終的な距離データzln[fln]を基準点Ｐ０（ｚ０，ｘ０）として、以下の条件を全て満たす点を等距離の点として定め、これら２点の間にある遠方の点を特異点として削除する。尚、削除される点の距離データには、無効データと同じく９９９０００が代入される。
【００７４】次いで、Ｓ３０２に進み、後述の図９に示す４０ｍ以上における特異点の削除の処理を実行する。
【００７５】次いで、Ｓ３０３に進み、前回検出されたコーナー状立体物のコーナー点を中心にサーベイエリアを設け、今回検出された、Ｓ３０１とＳ３０２で特異点を削除した最終的な距離データzln[0~127]を調べて、新たなコーナー点の有無を検出する。
【００７６】その後、Ｓ３０４に進んで、データのグルーピング処理、すなわち、閾値を定めて、その閾値内にあるzln[fln]をグループ化し、このグループ化したデータの傾き等から側壁データの抽出を行い、グループ化されたデータの分割と統合を行って、立体物ならびに側壁を検出する。
【００７７】上述のＳ３０２で実行される４０ｍ以上における特異点の削除の処理は、図９のフローチャートで示すように、まず、Ｓ４０１で対象とする区分の距離データzln[fls]は４０ｍ以上のデータで、且つ、この区分のレーザ距離データlzrzln[fls]が有効であるか否か判定される。尚、以下「fls」は、対象とするデータの区分を示し、後述のＳ４１０に対応して０〜１２７の全１２８区分となっている。
【００７８】そして、このＳ４０１での判定の結果、距離データzln[fls]が４０ｍ未満、或いは、この区分のレーザ距離データlzrzln[fls]が無効の少なくともどちらかの場合はＳ４１０にジャンプして、０〜１２７の全１２８区分の対象とする区分の距離データzln[fls]について、処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、再びＳ４０１からの処理を行う。
【００７９】Ｓ４０１での判定の結果、距離データzln[fls]は４０ｍ以上のデータで、且つ、この区分のレーザ距離データlzrzln[fls]が有効であると判定した場合はＳ４０２に進み、この区分のレーザ距離データlzrzln[fls]を基準とするサーベイエリアの決定を行い、サーベイエリアのもう一方の端部の区分zln[fle]には、zln[fls]から右方向に２ｍ離れた位置に対応する区分が設定される。
【００８０】そして、Ｓ４０３に進み、zln[fls]からzln[fle]までの区分のサーベイエリアで、zln[fls]との距離の差が０．５ｍ以内（すなわち、｜zln[fls]−zln[fln]｜≦０．５ｍ：「fln」は「fls」から「fle」までの区分番号）で、且つ、そのレーザ距離データlzrzln[fln]が有効か否か判定される。
【００８１】Ｓ４０３の判定の結果、上述の条件を満たす場合は、Ｓ４０４に進み、その区分はzln[fls]と等距離の同一立体物の区分と判定し、zln[fls]に対応する右端の区分データzln[f０]として設定する。すなわち、ｆ０＝ｆｌｎ。
【００８２】そして、Ｓ４０４でzln[fls]に対応する右端の区分データzln[f０]を設定した場合、或いは、Ｓ４０３で上述の条件を満たさないと判定された場合は、Ｓ４０５に進み、「fls」から「fle」までの区分番号全てに判定を完了したか判定し、判定を完了していなければ再びＳ４０３に戻って、「fls」から「fle」までの間で、次の区分についての判定を行なう。
【００８３】こうして、Ｓ４０５で、「fls」から「fle」までの全区分についての判定が完了した場合、Ｓ４０６に進んで、zln[fls]に対応する右端の区分データzln[f０]が設定されたか否か判定される。この結果、右端の区分データzln[f０]が設定されていない場合は、Ｓ４１０にジャンプし、０〜１２７の全１２８区分の対象とする区分の距離データzln[fls]について、処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、再びＳ４０１からの処理を行う。
【００８４】また、Ｓ４０６でzln[fls]に対応する右端の区分データzln[f０]が設定されたと判定された場合はＳ４０７へと進む。Ｓ４０７では、「fls＋１」から「ｆ０−１」までの区分（「fls」から「ｆ０」までの間の区分）のデータにおいて、距離データzln[fln]は、zln[fls]＋０．５ｍより遠方のデータで、且つ、そのレーザ距離データlzrzln[fln]が無効か否か判定される。
【００８５】そして、Ｓ４０７において、上述の条件を満たす場合は、Ｓ４０８に進み、そのデータzln[fln]を特異点として削除する。
【００８６】Ｓ４０８で「fls」から「ｆ０」までの間の区分を特異点として削除し、或いは、Ｓ４０７で上述の条件を満足しない場合はＳ４０９に進んで、「fls」から「ｆ０」までの間の区分の全てについて判定が完了したか否か判定する。
【００８７】そして、Ｓ４０９で、「fls」から「ｆ０」までの間の区分の全てについて判定が未だ完了していない場合は、「fls」から「ｆ０」までの間の次の区分についてＳ４０７からの判定を実行し、「fls」から「ｆ０」までの間の区分の全てについて判定が完了している場合はＳ４１０に進み、０〜１２７の全１２８区分の対象とする区分の距離データzln[fls]について、処理を完了したか否か判定し、完了していればルーチンを抜け、完了していないのであれば次の区分について、再びＳ４０１からの処理を行う。
【００８８】このように、本実施の形態によれば、４０ｍ以上の距離データにおいても、不要、或いは、誤差が大きいと判断できるデータを特異点として削除することにより、立体物の認識を精度良く速やかに行うことが可能となる。
【００８９】上述の如く、Ｓ１０５で図８に示すグルーピングによる立体物の検出処理を行った後は、Ｓ１０６に進み、図１０に示す距離データの診断処理を行う。
【００９０】図１０のフローチャートでは、まず、Ｓ５０１で舵角が−１０°〜１０°で、車両が略直線路を走行しているか否か判定され、舵角が−１０°〜１０°より大きい場合は、診断処理は行わず、そのままルーチンを抜ける。これは、画像による距離検出では、ガードレールや側壁を認識することができるが、レーザレーダによる距離検出では、レーザビームが傾いて照射されるため反射せず立体物を認識しづらいため、診断処理の結果が正確に得られない可能性があるためである。
【００９１】Ｓ５０１の判定の結果、舵角が−１０°〜１０°で、車両が略直線路を走行している場合は、Ｓ５０２へと進み、立体物の判定対象の総数ｎ０、画像無し立体物数ｎ１、及び、レーザレーダ無し立体物数ｎ２の初期値を設定する。
【００９２】そして、Ｓ５０３に進み、立体物が診断の対象とする立体物であるか否か判定する。これは、レーザレーダと画像の視野が重なる部分の立体物であり、且つ、距離４０〜７０ｍ前方に存在する、幅５０ｃｍ以上の立体物であるか否かの判定で行う。
【００９３】Ｓ５０３の判定の結果、上述の条件を満足せず立体物が診断の対象とする立体物ではないと判定した場合はＳ５１０にジャンプし、その立体物は対象外と決定する。
【００９４】一方、Ｓ５０３の判定の結果、立体物が診断の対象とする立体物である場合はＳ５０４へと進み、立体物の判定対象の総数ｎ０をカウントし（ｎ０＝ｎ０＋１）、Ｓ５０５に進んで、立体物を形成するグルーピングしたデータから、それに対応する画像距離データzln1（Ｓ２０２で保管したデータ）と、レーザ距離データzln2（Ｓ２０２で保管したデータ）を読み出す。
【００９５】そして、Ｓ５０６に進み、その立体物に対応する画像距離データzln1が有り、且つ、その立体物に対応するレーザ距離データzln2が無いか判定し、この条件を満たす場合はＳ５０７に進んで、レーザレーダ無し立体物数ｎ２をカウントする（ｎ２＝ｎ２＋１）。
【００９６】また、Ｓ５０６での判定条件を満たさない場合は、Ｓ５０８に進み、その立体物に対応する画像距離データzln1が無く、且つ、その立体物に対応するレーザ距離データzln2が有るか判定し、この条件を満たす場合はＳ５０９に進んで、画像無し立体物数ｎ１をカウントする（ｎ１＝ｎ１＋１）。
【００９７】そして、Ｓ５０８の条件をも満足しない場合、すなわち、その立体物に対応する画像距離データzln1もレーザ距離データzln2も無い場合、或いは、その立体物に対応する画像距離データzln1もレーザ距離データzln2も有る場合はＳ５１０に進み、その立体物を診断対象外とする。
【００９８】Ｓ５０７、Ｓ５０９、或いは、Ｓ５１０の処理を行った後は、Ｓ５１１に進み、全ての立体物について判定したか否か判定し、未だ全ての立体物に対して判定を終了していない場合はＳ５０３へと戻り、上述の処理を繰り返す。
【００９９】全ての立体物について判定が終了している場合は、Ｓ５１１からＳ５１２へと進み、対象とする立体物の総数ｎ０と画像無し立体物数ｎ１とから画像の立体物不検出率を演算し（＝（ｎ１／ｎ０）・１００％）、レーザレーダの立体物不検出率を演算する（＝（ｎ２／ｎ０）・１００％）。
【０１００】次いで、Ｓ５１３に進み、画像の立体物不検出率が、予め設定する検出率閾値ｋ６以上であれば、画像の能力判定タイマをインクリメントし、検出率閾値ｋ６未満であれば画像の能力判定タイマをデクリメントする。同様に、レーザレーダの立体物不検出率が、予め設定する検出率閾値ｋ５以上であれば、レーザレーダの能力判定タイマをインクリメントし、検出率閾値ｋ５未満であればレーザレーダの能力判定タイマをデクリメントする。
【０１０１】そして、Ｓ５１４に進み、画像の能力判定タイマの値が予め設定した出力閾値ｋ１を超えているか判定し、出力閾値ｋ１を超えている場合はＳ５１５に進んで、画像による測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、Ｓ５１４で画像の能力判定タイマの値が予め設定した解除閾値ｋ２（＜ｋ１）以下となっている際にはＳ５１５に進んで検出状態表示ランプ８ｂの点灯を解除する。
【０１０２】また、Ｓ５１４に進むと、レーザレーダの能力判定タイマの値が予め設定した出力閾値ｋ３を超えているか判定し、出力閾値ｋ３を超えている場合はＳ５１５に進んで、レーザレーダによる測距能力低下と判定して検出状態表示ランプ８ｂを所定に点灯させる。また、Ｓ５１４でレーザレーダの能力判定タイマの値が予め設定した解除閾値ｋ４（＜ｋ３）以下となっている際にはＳ５１５に進んで検出状態表示ランプ８ｂの点灯を解除する。
【０１０３】このように、本実施の形態によれば、最終的に検出された立体物を対象として、これを検出する画像とレーザレーダのそれぞれの距離データがあるか否かで、画像とレーザレーダの測距能力の低下を判定するようになっているので、画像とレーザレーダの測距能力の低下を素早く正確に判定することが可能になっている。尚、本実施の形態では、診断の対象とする立体物に対して、単に、画像距離データzln1、或いは、レーザ距離データzln2が存在するか否かで診断するようになっているが、他の方法、例えば、診断の対象とする立体物と画像距離データzln1との差と、診断の対象とする立体物とレーザ距離データzln2との差を比較することでも簡単に診断できる。
【０１０４】上述のＳ１０６の距離データ診断の処理を行った後は、Ｓ１０７に進み、衝突・接触警報制御を行う。すなわち、立体物検出処理部５ｄからの立体物情報や車速センサ６からの車速Ｖ等を基に、自車線と隣接する左右の車線上に存在する他の自動車や障害物等を抽出し、抽出した物体の位置と大きさ、位置の時間変化による自車両１との相対速度等から、自車両１との衝突の可能性や接触の可能性を判断し、その結果を必要に応じて、コンビネーションメータ８の衝突警報ランプ８ａを点灯させ警報を発する。
【０１０５】
【発明の効果】以上説明したように本発明によれば、レーザレーダによる測距値と画像による測距値との最適な統合を複雑な演算等することなく素早く行って、前方の立体物データとして素早く出力することが可能となる。
【図面の簡単な説明】
【図１】車外監視装置を備えた車両用運転支援装置の概略構成図
【図２】車両用運転支援装置の機能ブロック図
【図３】ＣＣＤカメラによる距離データ検出とレーザレーダによる距離データ検出の説明図
【図４】画像距離データの区分の説明図
【図５】削除する特異点の説明図
【図６】前方監視プログラムのフローチャート
【図７】画像距離データとレーザ距離データとの統合処理ルーチンのフローチャート
【図８】グルーピングによる立体物検出処理ルーチンのフローチャート
【図９】４０ｍ以上における特異点の削除処理ルーチンのフローチャート
【図１０】距離データ診断処理ルーチンのフローチャート
【符号の説明】
１ 自車両
２ 車両用運転支援装置
３ ＣＣＤカメラ
４ レーザ投光ユニット
５ コントローラ（車外監視装置）
５ａ 画像データ処理部（画像距離検出手段）
５ｂ レーザ測距データ処理部（レーザ距離検出手段）
５ｃ 距離データ統合部（最終距離設定手段）
５ｄ 立体物検出処理部
５ｅ 距離データ診断部
５ｆ 警報制御部
８ｂ 検出状態表示ランプ
【特許請求の範囲】
【請求項１】 車両前方の画像情報を基に前方に存在する立体物と自車両との距離を検出する画像距離検出手段と、車両前方へのレーザレーダ情報を基に前方に存在する立体物と自車両との距離を検出するレーザ距離検出手段と、上記画像距離検出手段で検出した距離と上記レーザ距離検出手段で検出した距離とに応じ、最終的に前方に存在する立体物と自車両との距離を設定する最終距離設定手段とを備えた車外監視装置であって、上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離の値に応じて上記最終的に前方に存在する立体物と自車両との距離の設定を行うことを特徴とする車外監視装置。
【請求項２】 上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が遠方の場合、上記レーザ距離検出手段で検出した距離を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とする請求項１記載の車外監視装置。
【請求項３】 上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が中間距離の場合、上記画像距離検出手段で検出した距離と上記レーザ距離検出手段で検出した距離との差が所定値以内の際は、上記画像距離検出手段で検出した距離と上記レーザ距離検出手段で検出した距離との平均値を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とする請求項１又は請求項２記載の車外監視装置。
【請求項４】 上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が近距離の場合、上記画像距離検出手段で検出した距離を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とする請求項１乃至請求項３の何れか一つに記載の車外監視装置。
【請求項５】 上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が極近距離の場合、上記レーザ距離検出手段で検出した距離を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とする請求項１乃至請求項４の何れか一つに記載の車外監視装置。
【請求項１】 車両前方の画像情報を基に前方に存在する立体物と自車両との距離を検出する画像距離検出手段と、車両前方へのレーザレーダ情報を基に前方に存在する立体物と自車両との距離を検出するレーザ距離検出手段と、上記画像距離検出手段で検出した距離と上記レーザ距離検出手段で検出した距離とに応じ、最終的に前方に存在する立体物と自車両との距離を設定する最終距離設定手段とを備えた車外監視装置であって、上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離の値に応じて上記最終的に前方に存在する立体物と自車両との距離の設定を行うことを特徴とする車外監視装置。
【請求項２】 上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が遠方の場合、上記レーザ距離検出手段で検出した距離を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とする請求項１記載の車外監視装置。
【請求項３】 上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が中間距離の場合、上記画像距離検出手段で検出した距離と上記レーザ距離検出手段で検出した距離との差が所定値以内の際は、上記画像距離検出手段で検出した距離と上記レーザ距離検出手段で検出した距離との平均値を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とする請求項１又は請求項２記載の車外監視装置。
【請求項４】 上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が近距離の場合、上記画像距離検出手段で検出した距離を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とする請求項１乃至請求項３の何れか一つに記載の車外監視装置。
【請求項５】 上記最終距離設定手段は、上記レーザ距離検出手段で検出した距離が極近距離の場合、上記レーザ距離検出手段で検出した距離を上記最終的に前方に存在する立体物と自車両との距離として設定することを特徴とする請求項１乃至請求項４の何れか一つに記載の車外監視装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図７】
【公開番号】特開２００３−１２１５４７（Ｐ２００３−１２１５４７Ａ）
【公開日】平成１５年４月２３日（２００３．４．２３）
【国際特許分類】
【出願番号】特願２００１−３２０９７８（Ｐ２００１−３２０９７８）
【出願日】平成１３年１０月１８日（２００１．１０．１８）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成１５年４月２３日（２００３．４．２３）
【国際特許分類】
【出願日】平成１３年１０月１８日（２００１．１０．１８）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]