障害物認識装置及び車両制御装置
【課題】車載カメラとミリ波レーダとのセンサ情報から取得するセンサ情報の組み合わせ精度を向上させて、より正確に障害物の認識をする障害物認識装置を提供する。
【解決手段】複数のセンサ情報を組み合わせて障害物の認識を行う障害物認識装置であって、障害物に関する第一パラメータ情報を取得する前方カメラ２０１と、障害物に関する第二パラメータ情報を取得するミリ波レーダ２０２と、前方カメラ２０１で取得した第一パラメータ情報とミリ波レーダ２０２で取得した第二パラメータ情報とに基づき、前方カメラ２０１又はミリ波レーダ２０２の方位角の軸ずれ量を算出し、算出された軸ずれ量に基づいて前方カメラ２０１又はミリ波レーダ２０２の軸ずれを補正する補正部２０３ａと、軸ずれ量を記憶する記憶部２０３ｃとを備える。
【解決手段】複数のセンサ情報を組み合わせて障害物の認識を行う障害物認識装置であって、障害物に関する第一パラメータ情報を取得する前方カメラ２０１と、障害物に関する第二パラメータ情報を取得するミリ波レーダ２０２と、前方カメラ２０１で取得した第一パラメータ情報とミリ波レーダ２０２で取得した第二パラメータ情報とに基づき、前方カメラ２０１又はミリ波レーダ２０２の方位角の軸ずれ量を算出し、算出された軸ずれ量に基づいて前方カメラ２０１又はミリ波レーダ２０２の軸ずれを補正する補正部２０３ａと、軸ずれ量を記憶する記憶部２０３ｃとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラとミリ波レーダとで検出された情報を組み合わせて障害物認識を行う障害物認識装置、及び当該障害物認識に基づいて各種の車両制御を行う車両制御装置に関する。
【背景技術】
【０００２】
従来より、車載カメラやミリ波レーダ等の各種レーダ装置を用いて周辺の道路標識、路面標識や先行車等を認識して、警報、表示、危険回避等を援助するプリクラッシュセーフティ（Pre-Crash Safety：以下ＰＣＳと記載）、レーンキープアシスト（Lane Keep Assist：以下ＬＫＡと記載）機能などの車両制御が行われている。
【０００３】
例えば、車両制御の１つであるプリクラッシュブレーキ制御においては、車載カメラやレーダ装置等より取得した情報を用いて、先行車両や道路構造物などの被衝突物が検知され、衝突の可能性が高い場合にディスプレイに「ブレーキ！」表示、及び警報を発し、運転者に注意喚起を促す。そして、衝突不可避な状態と判断された場合にブレーキを自動的に作動する。
【０００４】
そして、複数のセンサ情報を組み合わせて（フュージョンして）認識精度を向上させる方法がある。ミリ波レーダ、レーザレーダにように特性の異なる複数のセンサを搭載してシステムを作る場合もあり、また、本来別の目的で車に搭載していたセンサの情報を利用する場合、例えば、車線認識用に搭載されているカメラ情報を前方の障害物認識検知レーダの精度を向上させるために活用する方法もある。
【０００５】
そして、このセンサ情報のフュージョンとして、ミリ波レーダの特性を用いて精度よく検出された障害物の距離・相対速度情報と、車載カメラの特性を用いて精度よく検出された立体物の高さ、幅情報とを組み合わせることで、障害物の高さ、距離、速度、幅情報を正確に検出して、障害物認識信頼性と検出精度を向上して、自車と障害物との衝突可能性を判断するシステムがある。
【０００６】
また、周辺状況を検出するセンサの特性、制御装置による車両安定化の影響度、走行環境等の不確定要因に対して、立体物の認識結果に基づく制御を適切なタイミングで実行可能とする立体物認識装置が開示されている（例えば、特許文献１参照）。この立体物認識装置においては、ステレオカメラ及びミリ波レーダで検出した補正後の存在確率をフュージョンして総合存在確率を設定することで、障害物への接触回避や警報等の制御を確実且つ最適なタイミングで実行可能とするものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３１０７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来の車載カメラとミリ波レーダとのセンサ情報を組み合わせて障害物認識精度を向上させる方法では、ミリ波レーダと車載カメラとの検出方位が経時変化等などの理由によりずれてきた場合には、それぞれのセンサの検出結果にズレが生じてしまうため、同一物体の判定が正確にできないという問題がある。
また、この場合、障害物の認識精度が低下するために、車両制御におけるブレーキタイミングが遅れ等、確実な車両制御が実現できなくなるという問題がある。
【０００９】
本発明は、以上の課題に鑑みてなされたものであり、車載カメラとレーダとのセンサ情報を組み合わせて障害物認識を行う場合において、各センサから取得する情報のフュージョン精度を向上させて、より正確に障害物の認識ができる障害物認識装置を提供することを目的とする。
【００１０】
また、この障害物認識装置から取得する車両周辺の情報に基づいて、より正確な車両制御を実現する車両制御装置を提供することをも目的とする。
【課題を解決するための手段】
【００１１】
以上の課題を解決するために、本発明に係る障害物認識装置は、複数のセンサ情報を組み合わせて障害物の認識を行う障害物認識装置であって、障害物に関する第一パラメータ情報を取得する車載カメラと、障害物に関する第二パラメータ情報を取得する車載レーダと、上記車載カメラで取得した上記第一パラメータ情報と上記車載レーダで取得した上記第二パラメータ情報とに基づき、上記車載カメラ又は上記車載レーダの方位角の軸ずれ量を算出し、算出された当該軸ずれ量に基づいて上記車載カメラ又は上記車載レーダの軸ずれを補正する補正手段とを備えることを特徴とする。
【００１２】
この構成により、上記車載カメラを上記車載レーダとのセンサ情報を組み合わせて障害物認識を行う装置においても、上記補正手段は、上記車載カメラ又は上記車載レーダの軸ずれ量を適宜算出して補正できるために、各センサから取得する情報のフュージョン精度を向上させることができる。
【００１３】
また、本発明に係る障害物認識装置における前記第一パラメータ情報には、前記車載カメラで撮像される障害物の幅、高さ、障害物の横位置、及び縦位置の少なくとも１つが含まれ、前記第二パラメータ情報には、前記車載レーダで検出される障害物の縦位置、及び横位置の少なくとも一方が含まれる
ことを特徴とする。
【００１４】
この構成により、上記補正手段は、上記第一パラメータである障害物の横位置、幅、高さ、及び障害物までの距離、及び上記第二パラメータである障害物までの距離及び障害物の横位置の情報を用いて上記車載カメラ又は上記車載レーダの軸ずれを補正することが可能となる。
【００１５】
また、本発明に係る障害物認識装置の上記補正手段は、上記車載レーダを用いた障害物までの距離が所定値以上であり、上記車載レーダ及び上記車載カメラを用いて検出した障害物までの距離の誤差が所定値以内であり、且つ上記車載レーダ及び上記車載カメラを用いて検出した障害物の方位角の誤差が所定値以内の場合には、検出された方位角の誤差のＮ（Ｎは正の整数）回の平均値を学習値として算出して、当該学習値を上記軸ずれ量として上記車載カメラ又は上記車載レーダの軸ずれを補正し、前記障害物認識装置は、さらに、前記学習値を記憶する記憶手段を備えることを特徴とする。
【００１６】
この構成により、上記補正手段は、所定条件を満たす場合に、検出された上記車載カメラと上記車載レーダとの方位角の誤差のＮ回の平均値を学習値として算出して、当該学習値を軸ずれ量として上記車載カメラ又は上記車載レーダの軸ずれを補正することができ、方位角の誤差を軸ずれ量に反映させて、軸ずれ補正を行うことが可能となる。
【００１７】
また、本発明に係る障害物認識装置の上記補正手段は、上記学習値が所定値以上の場合には、上記車載レーダと上記車載カメラとの軸ずれ量が過大と判定してセンサ情報の組み合わせ処理を終了し、上記学習値が上記所定値未満の場合には、上記記憶手段に記憶されている上記学習値を上記軸ずれ量として、上記車載カメラ又は上記車載レーダの軸ずれを補正することを特徴とする。
【００１８】
この構成により、上記補正手段は、学習値が所定値以上の場合には、上記車載レーダと上記車載カメラとの軸ずれ量が過大と判定してセンサ情報の組み合わせ処理を終了することで軸ずれ量が大きい場合にはフュージョン処理を行うことを回避し、また、学習値が所定値未満の場合には、学習値を用いた軸づれ補正を行うことができるため上記車載カメラ及び上記車載レーダから取得する情報のフュージョンの精度を向上できる。
【００１９】
また、本発明に係る障害物認識装置の上記補正手段は、上記学習値を用いて、前記車載カメラ又は前記車載レーダで検出される障害物の縦位置及び横位置の補正量を算出することを特徴とする。
【００２０】
また、本発明に係る障害物認識装置の上記補正手段は、上記学習値を用いて、前記車載カメラで検出される障害物の縦位置及び横位置の補正量を算出し、補正された当該縦位置及び横位置と、前記車載レーダで検出される縦位置及び横位置との誤差を所定周期で算出し、当該誤差が所定値以内となるのがＭ（Ｍは正の整数）回以上連続する場合には、前記車載カメラで検出される補正後の障害物の横位置と、前記車載レーダで検出される障害物の縦位置とを前記記憶手段に格納することを特徴とする。
【００２１】
これらの構成により、上記補正手段は、上記学習値を用いて上記車載カメラ及び上記車載レーダでの検出値の誤差が所定値以内となるのがＭ（Ｍは正の整数）回以上連続する場合には、上記車載カメラで検出される補正後の横位置と、上記車載レーダで検出される縦位置とを上記記憶手段に記憶して補正量として反映させることができるために、上記車載カメラ及び上記車載レーダから取得する情報の精度を向上できる。
【００２２】
また、本発明に係る障害物認識装置の上記車載レーダは、ミリ波レーダであり、上記車載カメラは単眼カメラ又はステレオタイプのカメラであることを特徴とする。
【００２３】
この構成により、本発明は、上記車載レーダとしてミリ波レーダ、上記車載カメラとして単眼カメラ若しくはステレオカメラを用いるフュージョンシステムに適用され得る。
【００２４】
また、本発明に係る車両制御装置は、複数のセンサ情報を組み合わせて障害物の認識を行う障害物認識装置からの情報を用いて車両制御を行う車両制御装置であって、障害物に関する第一パラメータ情報を取得する車載カメラと、障害物に関する第二パラメータ情報を取得する車載レーダと、上記車載カメラで取得した上記第一パラメータ情報と上記車載レーダで取得した上記第二パラメータ情報とに基づき、上記車載カメラ又は上記車載レーダの方位角の軸ずれ量を算出し、算出された当該軸ずれ量に基づいて上記車載カメラ又は上記車載レーダの軸ずれを補正する補正手段と、上記補正手段において軸ずれ補正後の上記車載カメラで取得された第一パラメータ情報及び上記上記車載レーダで取得された上記第二パラメータ情報を組み合わせた情報を用いて車両制御を行う電子制御手段とを備えることを特徴とする。
【００２５】
この構成により、上記車載カメラを上記車載レーダとのセンサ情報を組み合わせて障害物認識を行う場合においても、上記補正手段は、上記車載カメラ又は上記車載レーダの軸ずれ量を適宜算出して補正できるために、各センサから取得する情報のフュージョン精度を向上させて、上記電子制御手段は、より正確な障害物の認識情報に基づいて車両制御を実現できる。
【００２６】
なお、本発明に係る障害物認識装置及び車両制御装置を構成する処理手段をステップとする障害物認識方法及び車両制御方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、当該プログラムをＤＶＤ、ＣＤ−ＲＯＭ等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００２７】
本発明に係る障害物認識装置においては、車載カメラとミリ波レーダとのセンサ情報を組み合わせて障害物認識を行う場合において、方位角等の軸ずれ量を検出して補正することができるため、各センサから取得する情報のフュージョン精度を向上させ、より正確に障害物の認識ができる。
【００２８】
また、本発明に係る車両制御装置においては、この障害物認識装置から取得した車両周辺情報に基づいて、より正確な車両制御を実現できる。
【図面の簡単な説明】
【００２９】
【図１】ヘッドランプ部に搭載されたミリ波レーダ及び車両の前方画像を撮像する前方カメラを備えた車両の全体図
【図２】実施の形態に係る車両制御装置の機能ブロック図
【図３】実施の形態に係る障害物認識装置の全体の動作手順を示すフローチャート
【図４】実施の形態に係る障害物認識装置において、ステップＳ３０１の方位角偏差学習ロジックにおける詳細な動作手順を示すフローチャート
【図５】実施の形態に係る障害物認識装置におけるステップＳ３０３に示す前方カメラにより検出される障害物検出値の補正ロジックにおける動作手順を示すフローチャート
【図６】図５の説明で用いた車両に備わる車載カメラの障害物までの検出値の補正ロジックの説明図
【図７】実施の形態に係る障害物認識装置におけるステップＳ３０４に示すセンサフュージョンロジックの動作手順を示すフローチャート
【発明を実施するための形態】
【００３０】
以下、本発明に係る障害物認識装置及び車両制御装置の実施の形態について図面を参照しながら説明する。
（実施の形態）
【００３１】
図１は、ヘッドランプ部に搭載されたミリ波レーダ２０２及び車両１０の前方画像を撮像する前方カメラ２０１を備えた車両１０の全体図を示す。
車両１０に備わる前方カメラ２０１は、ＣＣＤ等の撮像素子が受光して映像信号に変換する車載用撮像装置であり、領域２０１ａは、前方カメラ２０１の撮像領域を示している。ミリ波レーダ２０２は、障害物の検出領域２０２ａにレーダを送信して障害物までの距離や相対速度を検出する。
【００３２】
図２は、本実施の形態に係る車両制御装置２００の機能ブロック図を示す。
車両制御装置２００は、前方カメラ２０１と、ミリ波レーダ２０２と、フュージョンＥＣＵ（Electronic Control Unit）２０３と、メータ２０４と、ヨーレートセンサ２０５と、蛇角センサ２０６と、パワーステアリングＥＣＵ２０７と、電気パワーステアリング２０８と、ブレーキＥＣＵ２０９と、車輪速センサ２１０と、ブレーキアクチュエータ２１１と、警報ブザー２１２とを備える。
【００３３】
以下、各処理部２０１〜２１２の機能について説明を行う。
前方カメラ２０１は、図１に示すように車両のフロントガラスの上部付近に設けられ、光による電荷量を光電変換してそれを順次読み出して電気信号に変換するＣＣＤカメラ等の車載用撮像装置である。なお、前方カメラ２０１は１台に限定されるものではなく、複数台のカメラを備えることもできる。
【００３４】
ミリ波レーダ２０２は、波長が１〜１０ｍｍ、周波数が非常に高い３０〜３００ＧＨｚのミリ波を用いて、レーダ前方、後方や側方の障害物までの距離を測定する距離測定機能や、障害物に対する速度を測定する速度測定機能を備える。また、ミリ波レーダ２０２の使用目的としては、警報、表示、危険回避等を援助する制御であるＰＣＳや自動走行制御（ＡＣＣ：Adaptive Cruise Control）などが挙げられる。
【００３５】
なお、前方カメラ２０１は、障害物の横位置、幅、高さの認識性能に優れ、ミリ波レーダ２０２は、障害物までの距離や相対速度、横位置を検出するのに適している。このため前方カメラ２０１及びミリ波レーダ２０２からのセンサ情報をフュージョンすることにより、より正確な車両周辺情報を識別することが可能となる。
【００３６】
フュージョンＥＣＵ２０３は、半導体集積回路から構成され、前方カメラ２０１及びミリ波レーダ２０２から取得する画像情報に基づき、ドライバの走行を支援するためＰＣＳ等の各種の車両制御を行うためのマイコンを備える。また、フュージョンＥＣＵ２０３は、センサフュージョンした画像情報から運転状況を解析し、例えば衝突回避判定がなされた場合にはブレーキＥＣＵ２０９にブレーキ作動の制御信号を送信する。
【００３７】
このフュージョンＥＣＵ２０３は、補正部２０３ａ及び衝突判断部２０３ｂを備える。補正部２０３ａは、後述するように、必要な場合にはミリ波レーダ２０２及び前方カメラ２０１の方位角が一致するように前方カメラ２０１の軸ずれを調整する。
【００３８】
衝突判断部２０３ｂは、ミリ波レーダ２０２及び補正量が反映された前方カメラ２０１からのセンサ情報の組み合わせに基づいて、障害物までの距離、角度、相対速度等の情報を算出し、自車が障害物に衝突するまでの予測時間を算出する。また、衝突判定に対してはブレーキＥＣＵ２０９にプリクラッシュブレーキ制御のための信号を送信する。
記憶部２０３ｃは、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory ）等であり、特に補正部２０３ａにおいて算出された軸ずれ補正後の障害物までの検出値を記憶する。
【００３９】
メータ２０４は、車輪速センサ２１０より車速情報を取得して、運転者に車速を表示するためのディスプレイである。
ヨーレートセンサ（加速度センサ）２０５は、車両が回転する速度を検出するセンサであり、自車の旋回方向への回転角の変化速度であるヨーレートを検出する。
蛇角センサ２０６は、運転者がハンドルを切った時の前輪の操舵角を感知するセンサであり、フュージョンＥＣＵ２０３は、この蛇角センサ２０６で検出された操舵角及びヨーレートセンサ２０５で検出したデータを用いて自車が旋回中か否かを判断する。
【００４０】
パワーステアリングＥＣＵ２０７は、電気パワーステアリング２０８の制御を行うための電子制御部であり、操舵トルク及び車速からアシスト電流を演算してモータを駆動させる。電気パワーステアリング２０８は、モータと減速機の働きにより、操舵時にアシストトルクを発生させ、ステアリング操舵力を軽減させる。
【００４１】
ブレーキＥＣＵ２０９は、通信線を介してフュージョンＥＣＵ２０３と接続され、フュージョンＥＣＵ２０３から送信される車両制御に関する信号情報に基づいてブレーキアクチュエータ２１１及び警報ブザー２１２を制御する。
車輪速センサ２１０は、例えば磁気ロータの回転による磁気の変化をセンサで検出して車速パルスとしてブレーキＥＣＵ２０９に出力する。
【００４２】
ブレーキアクチュエータ２１１は、ブレーキＥＣＵ２０９から送信される制御信号を受信して、その制御信号に基づくブレーキ制御を行う。また、警報ブザー２１２は、ブレーキＥＣＵ２０９から送信される制御信号を受信して、その制御情報に基づく警告音を発する。
【００４３】
図３は、本実施の形態に係る障害物認識装置の全体の動作手順を示すフローチャートである。
【００４４】
最初に、フュージョンＥＣＵ２０３は、前方カメラ２０１及びミリ波レーダ２０２からの検出値を用いてミリ波レーダ２０２と前方カメラ２０１の方位角偏差の学習処理を行う（ステップＳ３０１）。なお、このステップＳ３０１の詳細な動作手順に関しては後述の図４において説明する。
次に、フュージョンＥＣＵ２０３は、取得した方位角の学習値が、予め設定されている所定値以上か否かを判定する（ステップＳ３０２）。
【００４５】
そして、フュージョンＥＣＵ２０３は、方位角の学習値が所定値以上の場合には（ステップＳ３０２でＹＥＳ）、補正部２０３ａにおいて補正できない範囲であるためにミリ波レーダ２０２と前方カメラ２０１の軸ずれ量が過大である旨を示す異常表示を行う（ステップＳ３０５）。なお、この場合には、センサフュージョンに大きな誤差があるために、フュージョンＥＣＵ２０３は前方カメラ２０１及びミリ波レーダ２０２を用いたフュージョンによる障害物認識処理を行うことはできず、この場合は、例えばミリ波レーダ２０２のみからの検出値に基づいてＰＣＳ等の車両制御を行う。
【００４６】
一方、フュージョンＥＣＵ２０３は、学習値が所定値未満の場合には（ステップＳ３０２でＮＯ）、補正できる範囲であるために、補正部２０３ａは画像の出力情報を学習値に基づく角度偏差分を補正して（ステップＳ３０３）、角度補正された画像情報に基づきセンサフュージョンを行う（ステップＳ３０４）。なお、これらのステップＳ３０３及びステップＳ３０４の詳細な動作手順に関しては後述の図５及び図７において説明する。
【００４７】
図４は、本実施の形態に係る障害物認識装置において、ステップＳ３０１の方位角偏差学習ロジックにおける詳細な動作手順を示すフローチャートである。
【００４８】
最初に、フュージョンＥＣＵ２０３は、ミリ波レーダ２０２を用いて検出した物標までの距離であるミリ波物標距離が３０ｍ以上か否かを判定する（ステップＳ４０１）。この物標までの距離を判定するのは、方位角偏差の学習においてミリ波レーダ２０２及び前方カメラ２０１の検出を遠くの物体を対象とすることにより、方位角の偏差を少なくすることができ、フュージョンの精度を上げることができるためである。
【００４９】
次に、ミリ波物標距離が３０ｍ以上である場合には（ステップＳ４０１でＹＥＳ）、前方カメラ２０１及びミリ波レーダ２０２とが同一物体を検出しているか否かを確認するために、前方カメラ２０１により推定される物標までの距離であるカメラ物標中心距離と、ミリ波レーダ２０２により検出される物標間での距離であるミリ波物標距離との差分がαｍ以内かを判定する（ステップＳ４０２）。
【００５０】
なお、ミリ波レーダ２０２において物標までの距離はレーダを送信してから物標に反射して受信するまでの時間とレーダ速度との関係を用いて算出し、前方カメラ２０１を用いて物標までの距離を求める方法は、撮像エリアにおける大きさから取得、例えばカメラの高さ、角度の情報、道路情報、車のエッジ情報等の様々な情報を組み合わせることで物標までの距離を推定する。又はステレオカメラを用いて算出する。
【００５１】
そして、カメラ物標中心距離とミリ波物標距離との差分がαｍ（例えば０．５ｍ）未満の場合には（ステップＳ４０２でＹＥＳ）、前方カメラ２０１及びミリ波レーダ２０２とが同一物体を検出しているか否かを確認するために、前方カメラ２０１により検出される障害物までの方位角であるカメラ物標中心方位角とミリ波レーダ２０２により検出される障害物までの方位角であるミリ波物標方位角との差分がβ°未満か否かを検出する（ステップＳ４０３）。
【００５２】
また、カメラ物標中心方位角とミリ波物標方位角との誤差がβ°未満の場合には（ステップＳ４０３でＹＥＳ）、前方カメラ２０１とミリ波レーダ２０２とが同一物体を認識しているとして、前方カメラ２０１及びミリ波レーダ２０２で検出される方位角偏差の過去Ｎ回の平均値である学習値（ここではγ°として記載）を記憶部２０３ｃに記憶・更新する処理を行う（ステップＳ４０４）。
【００５３】
なお、ミリ波物標距離が３０ｍ未満である場合には（ステップＳ４０１でＮＯ）、方位角検出の誤差が大きくなるために処理を終了し、カメラ物標中心距離とミリ波物標距離との差分がαｍ以上の場合（ステップＳ４０２でＮＯ）や、カメラ物標中心方位角とミリ波物標方位角との差分がβ°以上の場合には（ステップＳ４０３でＮＯ）、前方カメラ２０１及びミリ波レーダ２０２とが同一物体として認識していないとして、一連の処理を終了する。
【００５４】
図５は、本実施の形態に係る障害物認識装置におけるステップＳ３０３に示す前方カメラ２０１により検出される障害物検出値の補正ロジックにおける動作手順を示すフローチャートである。
【００５５】
最初に、フュージョンＥＣＵ２０３において、前方カメラ２０１により検出される障害物の検出パラメータである（横位置ｘ、縦位置ｙ、幅ｗ、高さｈ）の内から、横位置ｘ及び縦位置ｙを上述した学習値γを用いた下記の（式１）及び（式２）を用いて補正し、補正横位置ｘｃ、及び補正縦位置ｙｃを算出する（ステップＳ５０１）。
【００５６】
【数１】
【００５７】
【数２】
ここで、γは、前方カメラ２０１及びミリ波レーダ２０２で検出された方位角の偏差の過去Ｎ回の平均値である学習値となる。
【００５８】
図６は、図５の説明で用いた車両６０１に備わる前方カメラ２０１の障害物６０２までの検出値の補正ロジックの説明図である。
【００５９】
車両制御装置２００の補正部２０３ａは、車両６０１から補正前の障害物６０２までの横位置ｘ、縦位置ｙを、ミリ波レーダ２０２を用いて検出される方位角と前方カメラ２０１を用いて検出される方位角との過去Ｎ回の差分の平均値である学習値γ°を用いる上記（式１）及び（式２）により、補正後である障害物６０３の位置となる補正横位置ｘｃ及び補正縦位置ｙｃを算出する。そして、この補正横位置ｘｃを前方カメラ２０１の検出値パラメータとして反映させることにより、より正確な処理を行うことが可能となる。
【００６０】
図７は、本実施の形態に係る障害物認識装置におけるステップＳ３０４に示すセンサフュージョンロジックの動作手順を示すフローチャートである。
【００６１】
最初に、フュージョンＥＣＵ２０３は、ミリ波レーダ２０２のミリ波物標（１〜Ｎ）と、前方カメラ２０１のカメラ物標（１〜Ｍ）を特定する（ステップＳ７０１）。
【００６２】
次に、ミリ波レーダ２０２と前方カメラ２０１の物標を対応させて特定できる場合（ステップＳ７０１でＹＥＳ）、フュージョンＥＣＵ２０３は、ミリ波レーダ２０２で検出されるミリ波横位置、縦位置（ｘｍ，ｙｍ）と、前方カメラ２０１での補正後の横位置、縦位置（ｘｃ、ｙｃ）と差分が所定値以内となる場合が連続して５回以上となるかを判定する（ステップＳ７０２）。なお、横位置及び縦位置を取得するサンプリング周期は例えば１００ｍｓであり、また、上記の連続回数の５回は例示である。
【００６３】
そして、差分が所定値以内の場合が連続して５回以上となる場合には（ステップＳ７０２でＹＥＳ）、補正部２０３ａは、前方カメラ２０１の補正後の横位置ｘｃ、高さｈ、幅ｗ、及びミリ波レーダの検出値である縦位置ｙｍとをフュージョンして横位置、縦位置、高さ、幅（ｘｃ、ｙｍ、ｈ、ｗ）の情報を取得して記憶部２０３ｃに格納して（ステップＳ７０３）、ステップＳ７０１以下の処理を繰り返すこととなる。
なお、衝突判断部２０３ｂは、記憶部２０３ｃに記憶されたこれら横位置、縦位置、高さ、幅（ｘｃ、ｙｍ、ｈ、ｗ）の情報を用いて各種の車両制御を実行する。
【００６４】
以上の説明のように、本実施の形態に係る障害物認識装置においては、前方カメラ２０１とミリ波レーダ２０２の検出結果のフュージョンにより障害物を検出する技術において、前方カメラ２０１とミリ波レーダ２０２の軸ずれ量を検出し、フュージョンＥＣＵ２０３において、軸ずれ量を補正することで、前方カメラ２０１とミリ波レーダ２０２との間に軸ずれが発生している場合においても障害物認識性能を確保する。
また、本発明に係る車両制御装置２００の衝突判断部２０３ｂでは、この障害物認識装置から取得した車両周辺情報に基づいて、より正確な車両制御を実現できる。
【００６５】
なお、本願発明では、補正部２０３ａにおいて算出される軸ずれ量を、前方カメラ２０１とミリ波レーダ２０２とが同一物体を検出していると想定される場合における各々の方位角の誤差から学習することにより、直進時以外にも誤差の学習を可能とすることができ、フュージョンの精度を速やかに向上でき、その結果、車両制御の精度を向上できる。
【産業上の利用可能性】
【００６６】
本発明に係る障害物認識装置及び車両制御装置は、例えば、ミリ波レーダ及び車載カメラから取得するセンサ情報を組み合わせて障害物認識及び車両制御を行う機能を有する車両に用いることができる。
【符号の説明】
【００６７】
１０ 車両
２００ 車両制御装置
２０１ 前方カメラ
２０２ ミリ波レーダ
２０３ フュージョンＥＣＵ
２０３ａ 補正部
２０３ｂ 衝突判断部
２０３ｃ 記憶部
２０４ メータ
２０５ ヨーレートセンサ
２０６ 蛇角センサ
２０７ パワーステアリングＥＣＵ
２０８ 電気パワーステアリング
２０９ ブレーキＥＣＵ
２１０ 車輪速センサ
２１１ ブレーキアクチュエータ
２１２ 警報ブザー
【技術分野】
【０００１】
本発明は、車載カメラとミリ波レーダとで検出された情報を組み合わせて障害物認識を行う障害物認識装置、及び当該障害物認識に基づいて各種の車両制御を行う車両制御装置に関する。
【背景技術】
【０００２】
従来より、車載カメラやミリ波レーダ等の各種レーダ装置を用いて周辺の道路標識、路面標識や先行車等を認識して、警報、表示、危険回避等を援助するプリクラッシュセーフティ（Pre-Crash Safety：以下ＰＣＳと記載）、レーンキープアシスト（Lane Keep Assist：以下ＬＫＡと記載）機能などの車両制御が行われている。
【０００３】
例えば、車両制御の１つであるプリクラッシュブレーキ制御においては、車載カメラやレーダ装置等より取得した情報を用いて、先行車両や道路構造物などの被衝突物が検知され、衝突の可能性が高い場合にディスプレイに「ブレーキ！」表示、及び警報を発し、運転者に注意喚起を促す。そして、衝突不可避な状態と判断された場合にブレーキを自動的に作動する。
【０００４】
そして、複数のセンサ情報を組み合わせて（フュージョンして）認識精度を向上させる方法がある。ミリ波レーダ、レーザレーダにように特性の異なる複数のセンサを搭載してシステムを作る場合もあり、また、本来別の目的で車に搭載していたセンサの情報を利用する場合、例えば、車線認識用に搭載されているカメラ情報を前方の障害物認識検知レーダの精度を向上させるために活用する方法もある。
【０００５】
そして、このセンサ情報のフュージョンとして、ミリ波レーダの特性を用いて精度よく検出された障害物の距離・相対速度情報と、車載カメラの特性を用いて精度よく検出された立体物の高さ、幅情報とを組み合わせることで、障害物の高さ、距離、速度、幅情報を正確に検出して、障害物認識信頼性と検出精度を向上して、自車と障害物との衝突可能性を判断するシステムがある。
【０００６】
また、周辺状況を検出するセンサの特性、制御装置による車両安定化の影響度、走行環境等の不確定要因に対して、立体物の認識結果に基づく制御を適切なタイミングで実行可能とする立体物認識装置が開示されている（例えば、特許文献１参照）。この立体物認識装置においては、ステレオカメラ及びミリ波レーダで検出した補正後の存在確率をフュージョンして総合存在確率を設定することで、障害物への接触回避や警報等の制御を確実且つ最適なタイミングで実行可能とするものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３１０７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来の車載カメラとミリ波レーダとのセンサ情報を組み合わせて障害物認識精度を向上させる方法では、ミリ波レーダと車載カメラとの検出方位が経時変化等などの理由によりずれてきた場合には、それぞれのセンサの検出結果にズレが生じてしまうため、同一物体の判定が正確にできないという問題がある。
また、この場合、障害物の認識精度が低下するために、車両制御におけるブレーキタイミングが遅れ等、確実な車両制御が実現できなくなるという問題がある。
【０００９】
本発明は、以上の課題に鑑みてなされたものであり、車載カメラとレーダとのセンサ情報を組み合わせて障害物認識を行う場合において、各センサから取得する情報のフュージョン精度を向上させて、より正確に障害物の認識ができる障害物認識装置を提供することを目的とする。
【００１０】
また、この障害物認識装置から取得する車両周辺の情報に基づいて、より正確な車両制御を実現する車両制御装置を提供することをも目的とする。
【課題を解決するための手段】
【００１１】
以上の課題を解決するために、本発明に係る障害物認識装置は、複数のセンサ情報を組み合わせて障害物の認識を行う障害物認識装置であって、障害物に関する第一パラメータ情報を取得する車載カメラと、障害物に関する第二パラメータ情報を取得する車載レーダと、上記車載カメラで取得した上記第一パラメータ情報と上記車載レーダで取得した上記第二パラメータ情報とに基づき、上記車載カメラ又は上記車載レーダの方位角の軸ずれ量を算出し、算出された当該軸ずれ量に基づいて上記車載カメラ又は上記車載レーダの軸ずれを補正する補正手段とを備えることを特徴とする。
【００１２】
この構成により、上記車載カメラを上記車載レーダとのセンサ情報を組み合わせて障害物認識を行う装置においても、上記補正手段は、上記車載カメラ又は上記車載レーダの軸ずれ量を適宜算出して補正できるために、各センサから取得する情報のフュージョン精度を向上させることができる。
【００１３】
また、本発明に係る障害物認識装置における前記第一パラメータ情報には、前記車載カメラで撮像される障害物の幅、高さ、障害物の横位置、及び縦位置の少なくとも１つが含まれ、前記第二パラメータ情報には、前記車載レーダで検出される障害物の縦位置、及び横位置の少なくとも一方が含まれる
ことを特徴とする。
【００１４】
この構成により、上記補正手段は、上記第一パラメータである障害物の横位置、幅、高さ、及び障害物までの距離、及び上記第二パラメータである障害物までの距離及び障害物の横位置の情報を用いて上記車載カメラ又は上記車載レーダの軸ずれを補正することが可能となる。
【００１５】
また、本発明に係る障害物認識装置の上記補正手段は、上記車載レーダを用いた障害物までの距離が所定値以上であり、上記車載レーダ及び上記車載カメラを用いて検出した障害物までの距離の誤差が所定値以内であり、且つ上記車載レーダ及び上記車載カメラを用いて検出した障害物の方位角の誤差が所定値以内の場合には、検出された方位角の誤差のＮ（Ｎは正の整数）回の平均値を学習値として算出して、当該学習値を上記軸ずれ量として上記車載カメラ又は上記車載レーダの軸ずれを補正し、前記障害物認識装置は、さらに、前記学習値を記憶する記憶手段を備えることを特徴とする。
【００１６】
この構成により、上記補正手段は、所定条件を満たす場合に、検出された上記車載カメラと上記車載レーダとの方位角の誤差のＮ回の平均値を学習値として算出して、当該学習値を軸ずれ量として上記車載カメラ又は上記車載レーダの軸ずれを補正することができ、方位角の誤差を軸ずれ量に反映させて、軸ずれ補正を行うことが可能となる。
【００１７】
また、本発明に係る障害物認識装置の上記補正手段は、上記学習値が所定値以上の場合には、上記車載レーダと上記車載カメラとの軸ずれ量が過大と判定してセンサ情報の組み合わせ処理を終了し、上記学習値が上記所定値未満の場合には、上記記憶手段に記憶されている上記学習値を上記軸ずれ量として、上記車載カメラ又は上記車載レーダの軸ずれを補正することを特徴とする。
【００１８】
この構成により、上記補正手段は、学習値が所定値以上の場合には、上記車載レーダと上記車載カメラとの軸ずれ量が過大と判定してセンサ情報の組み合わせ処理を終了することで軸ずれ量が大きい場合にはフュージョン処理を行うことを回避し、また、学習値が所定値未満の場合には、学習値を用いた軸づれ補正を行うことができるため上記車載カメラ及び上記車載レーダから取得する情報のフュージョンの精度を向上できる。
【００１９】
また、本発明に係る障害物認識装置の上記補正手段は、上記学習値を用いて、前記車載カメラ又は前記車載レーダで検出される障害物の縦位置及び横位置の補正量を算出することを特徴とする。
【００２０】
また、本発明に係る障害物認識装置の上記補正手段は、上記学習値を用いて、前記車載カメラで検出される障害物の縦位置及び横位置の補正量を算出し、補正された当該縦位置及び横位置と、前記車載レーダで検出される縦位置及び横位置との誤差を所定周期で算出し、当該誤差が所定値以内となるのがＭ（Ｍは正の整数）回以上連続する場合には、前記車載カメラで検出される補正後の障害物の横位置と、前記車載レーダで検出される障害物の縦位置とを前記記憶手段に格納することを特徴とする。
【００２１】
これらの構成により、上記補正手段は、上記学習値を用いて上記車載カメラ及び上記車載レーダでの検出値の誤差が所定値以内となるのがＭ（Ｍは正の整数）回以上連続する場合には、上記車載カメラで検出される補正後の横位置と、上記車載レーダで検出される縦位置とを上記記憶手段に記憶して補正量として反映させることができるために、上記車載カメラ及び上記車載レーダから取得する情報の精度を向上できる。
【００２２】
また、本発明に係る障害物認識装置の上記車載レーダは、ミリ波レーダであり、上記車載カメラは単眼カメラ又はステレオタイプのカメラであることを特徴とする。
【００２３】
この構成により、本発明は、上記車載レーダとしてミリ波レーダ、上記車載カメラとして単眼カメラ若しくはステレオカメラを用いるフュージョンシステムに適用され得る。
【００２４】
また、本発明に係る車両制御装置は、複数のセンサ情報を組み合わせて障害物の認識を行う障害物認識装置からの情報を用いて車両制御を行う車両制御装置であって、障害物に関する第一パラメータ情報を取得する車載カメラと、障害物に関する第二パラメータ情報を取得する車載レーダと、上記車載カメラで取得した上記第一パラメータ情報と上記車載レーダで取得した上記第二パラメータ情報とに基づき、上記車載カメラ又は上記車載レーダの方位角の軸ずれ量を算出し、算出された当該軸ずれ量に基づいて上記車載カメラ又は上記車載レーダの軸ずれを補正する補正手段と、上記補正手段において軸ずれ補正後の上記車載カメラで取得された第一パラメータ情報及び上記上記車載レーダで取得された上記第二パラメータ情報を組み合わせた情報を用いて車両制御を行う電子制御手段とを備えることを特徴とする。
【００２５】
この構成により、上記車載カメラを上記車載レーダとのセンサ情報を組み合わせて障害物認識を行う場合においても、上記補正手段は、上記車載カメラ又は上記車載レーダの軸ずれ量を適宜算出して補正できるために、各センサから取得する情報のフュージョン精度を向上させて、上記電子制御手段は、より正確な障害物の認識情報に基づいて車両制御を実現できる。
【００２６】
なお、本発明に係る障害物認識装置及び車両制御装置を構成する処理手段をステップとする障害物認識方法及び車両制御方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、当該プログラムをＤＶＤ、ＣＤ−ＲＯＭ等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００２７】
本発明に係る障害物認識装置においては、車載カメラとミリ波レーダとのセンサ情報を組み合わせて障害物認識を行う場合において、方位角等の軸ずれ量を検出して補正することができるため、各センサから取得する情報のフュージョン精度を向上させ、より正確に障害物の認識ができる。
【００２８】
また、本発明に係る車両制御装置においては、この障害物認識装置から取得した車両周辺情報に基づいて、より正確な車両制御を実現できる。
【図面の簡単な説明】
【００２９】
【図１】ヘッドランプ部に搭載されたミリ波レーダ及び車両の前方画像を撮像する前方カメラを備えた車両の全体図
【図２】実施の形態に係る車両制御装置の機能ブロック図
【図３】実施の形態に係る障害物認識装置の全体の動作手順を示すフローチャート
【図４】実施の形態に係る障害物認識装置において、ステップＳ３０１の方位角偏差学習ロジックにおける詳細な動作手順を示すフローチャート
【図５】実施の形態に係る障害物認識装置におけるステップＳ３０３に示す前方カメラにより検出される障害物検出値の補正ロジックにおける動作手順を示すフローチャート
【図６】図５の説明で用いた車両に備わる車載カメラの障害物までの検出値の補正ロジックの説明図
【図７】実施の形態に係る障害物認識装置におけるステップＳ３０４に示すセンサフュージョンロジックの動作手順を示すフローチャート
【発明を実施するための形態】
【００３０】
以下、本発明に係る障害物認識装置及び車両制御装置の実施の形態について図面を参照しながら説明する。
（実施の形態）
【００３１】
図１は、ヘッドランプ部に搭載されたミリ波レーダ２０２及び車両１０の前方画像を撮像する前方カメラ２０１を備えた車両１０の全体図を示す。
車両１０に備わる前方カメラ２０１は、ＣＣＤ等の撮像素子が受光して映像信号に変換する車載用撮像装置であり、領域２０１ａは、前方カメラ２０１の撮像領域を示している。ミリ波レーダ２０２は、障害物の検出領域２０２ａにレーダを送信して障害物までの距離や相対速度を検出する。
【００３２】
図２は、本実施の形態に係る車両制御装置２００の機能ブロック図を示す。
車両制御装置２００は、前方カメラ２０１と、ミリ波レーダ２０２と、フュージョンＥＣＵ（Electronic Control Unit）２０３と、メータ２０４と、ヨーレートセンサ２０５と、蛇角センサ２０６と、パワーステアリングＥＣＵ２０７と、電気パワーステアリング２０８と、ブレーキＥＣＵ２０９と、車輪速センサ２１０と、ブレーキアクチュエータ２１１と、警報ブザー２１２とを備える。
【００３３】
以下、各処理部２０１〜２１２の機能について説明を行う。
前方カメラ２０１は、図１に示すように車両のフロントガラスの上部付近に設けられ、光による電荷量を光電変換してそれを順次読み出して電気信号に変換するＣＣＤカメラ等の車載用撮像装置である。なお、前方カメラ２０１は１台に限定されるものではなく、複数台のカメラを備えることもできる。
【００３４】
ミリ波レーダ２０２は、波長が１〜１０ｍｍ、周波数が非常に高い３０〜３００ＧＨｚのミリ波を用いて、レーダ前方、後方や側方の障害物までの距離を測定する距離測定機能や、障害物に対する速度を測定する速度測定機能を備える。また、ミリ波レーダ２０２の使用目的としては、警報、表示、危険回避等を援助する制御であるＰＣＳや自動走行制御（ＡＣＣ：Adaptive Cruise Control）などが挙げられる。
【００３５】
なお、前方カメラ２０１は、障害物の横位置、幅、高さの認識性能に優れ、ミリ波レーダ２０２は、障害物までの距離や相対速度、横位置を検出するのに適している。このため前方カメラ２０１及びミリ波レーダ２０２からのセンサ情報をフュージョンすることにより、より正確な車両周辺情報を識別することが可能となる。
【００３６】
フュージョンＥＣＵ２０３は、半導体集積回路から構成され、前方カメラ２０１及びミリ波レーダ２０２から取得する画像情報に基づき、ドライバの走行を支援するためＰＣＳ等の各種の車両制御を行うためのマイコンを備える。また、フュージョンＥＣＵ２０３は、センサフュージョンした画像情報から運転状況を解析し、例えば衝突回避判定がなされた場合にはブレーキＥＣＵ２０９にブレーキ作動の制御信号を送信する。
【００３７】
このフュージョンＥＣＵ２０３は、補正部２０３ａ及び衝突判断部２０３ｂを備える。補正部２０３ａは、後述するように、必要な場合にはミリ波レーダ２０２及び前方カメラ２０１の方位角が一致するように前方カメラ２０１の軸ずれを調整する。
【００３８】
衝突判断部２０３ｂは、ミリ波レーダ２０２及び補正量が反映された前方カメラ２０１からのセンサ情報の組み合わせに基づいて、障害物までの距離、角度、相対速度等の情報を算出し、自車が障害物に衝突するまでの予測時間を算出する。また、衝突判定に対してはブレーキＥＣＵ２０９にプリクラッシュブレーキ制御のための信号を送信する。
記憶部２０３ｃは、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory ）等であり、特に補正部２０３ａにおいて算出された軸ずれ補正後の障害物までの検出値を記憶する。
【００３９】
メータ２０４は、車輪速センサ２１０より車速情報を取得して、運転者に車速を表示するためのディスプレイである。
ヨーレートセンサ（加速度センサ）２０５は、車両が回転する速度を検出するセンサであり、自車の旋回方向への回転角の変化速度であるヨーレートを検出する。
蛇角センサ２０６は、運転者がハンドルを切った時の前輪の操舵角を感知するセンサであり、フュージョンＥＣＵ２０３は、この蛇角センサ２０６で検出された操舵角及びヨーレートセンサ２０５で検出したデータを用いて自車が旋回中か否かを判断する。
【００４０】
パワーステアリングＥＣＵ２０７は、電気パワーステアリング２０８の制御を行うための電子制御部であり、操舵トルク及び車速からアシスト電流を演算してモータを駆動させる。電気パワーステアリング２０８は、モータと減速機の働きにより、操舵時にアシストトルクを発生させ、ステアリング操舵力を軽減させる。
【００４１】
ブレーキＥＣＵ２０９は、通信線を介してフュージョンＥＣＵ２０３と接続され、フュージョンＥＣＵ２０３から送信される車両制御に関する信号情報に基づいてブレーキアクチュエータ２１１及び警報ブザー２１２を制御する。
車輪速センサ２１０は、例えば磁気ロータの回転による磁気の変化をセンサで検出して車速パルスとしてブレーキＥＣＵ２０９に出力する。
【００４２】
ブレーキアクチュエータ２１１は、ブレーキＥＣＵ２０９から送信される制御信号を受信して、その制御信号に基づくブレーキ制御を行う。また、警報ブザー２１２は、ブレーキＥＣＵ２０９から送信される制御信号を受信して、その制御情報に基づく警告音を発する。
【００４３】
図３は、本実施の形態に係る障害物認識装置の全体の動作手順を示すフローチャートである。
【００４４】
最初に、フュージョンＥＣＵ２０３は、前方カメラ２０１及びミリ波レーダ２０２からの検出値を用いてミリ波レーダ２０２と前方カメラ２０１の方位角偏差の学習処理を行う（ステップＳ３０１）。なお、このステップＳ３０１の詳細な動作手順に関しては後述の図４において説明する。
次に、フュージョンＥＣＵ２０３は、取得した方位角の学習値が、予め設定されている所定値以上か否かを判定する（ステップＳ３０２）。
【００４５】
そして、フュージョンＥＣＵ２０３は、方位角の学習値が所定値以上の場合には（ステップＳ３０２でＹＥＳ）、補正部２０３ａにおいて補正できない範囲であるためにミリ波レーダ２０２と前方カメラ２０１の軸ずれ量が過大である旨を示す異常表示を行う（ステップＳ３０５）。なお、この場合には、センサフュージョンに大きな誤差があるために、フュージョンＥＣＵ２０３は前方カメラ２０１及びミリ波レーダ２０２を用いたフュージョンによる障害物認識処理を行うことはできず、この場合は、例えばミリ波レーダ２０２のみからの検出値に基づいてＰＣＳ等の車両制御を行う。
【００４６】
一方、フュージョンＥＣＵ２０３は、学習値が所定値未満の場合には（ステップＳ３０２でＮＯ）、補正できる範囲であるために、補正部２０３ａは画像の出力情報を学習値に基づく角度偏差分を補正して（ステップＳ３０３）、角度補正された画像情報に基づきセンサフュージョンを行う（ステップＳ３０４）。なお、これらのステップＳ３０３及びステップＳ３０４の詳細な動作手順に関しては後述の図５及び図７において説明する。
【００４７】
図４は、本実施の形態に係る障害物認識装置において、ステップＳ３０１の方位角偏差学習ロジックにおける詳細な動作手順を示すフローチャートである。
【００４８】
最初に、フュージョンＥＣＵ２０３は、ミリ波レーダ２０２を用いて検出した物標までの距離であるミリ波物標距離が３０ｍ以上か否かを判定する（ステップＳ４０１）。この物標までの距離を判定するのは、方位角偏差の学習においてミリ波レーダ２０２及び前方カメラ２０１の検出を遠くの物体を対象とすることにより、方位角の偏差を少なくすることができ、フュージョンの精度を上げることができるためである。
【００４９】
次に、ミリ波物標距離が３０ｍ以上である場合には（ステップＳ４０１でＹＥＳ）、前方カメラ２０１及びミリ波レーダ２０２とが同一物体を検出しているか否かを確認するために、前方カメラ２０１により推定される物標までの距離であるカメラ物標中心距離と、ミリ波レーダ２０２により検出される物標間での距離であるミリ波物標距離との差分がαｍ以内かを判定する（ステップＳ４０２）。
【００５０】
なお、ミリ波レーダ２０２において物標までの距離はレーダを送信してから物標に反射して受信するまでの時間とレーダ速度との関係を用いて算出し、前方カメラ２０１を用いて物標までの距離を求める方法は、撮像エリアにおける大きさから取得、例えばカメラの高さ、角度の情報、道路情報、車のエッジ情報等の様々な情報を組み合わせることで物標までの距離を推定する。又はステレオカメラを用いて算出する。
【００５１】
そして、カメラ物標中心距離とミリ波物標距離との差分がαｍ（例えば０．５ｍ）未満の場合には（ステップＳ４０２でＹＥＳ）、前方カメラ２０１及びミリ波レーダ２０２とが同一物体を検出しているか否かを確認するために、前方カメラ２０１により検出される障害物までの方位角であるカメラ物標中心方位角とミリ波レーダ２０２により検出される障害物までの方位角であるミリ波物標方位角との差分がβ°未満か否かを検出する（ステップＳ４０３）。
【００５２】
また、カメラ物標中心方位角とミリ波物標方位角との誤差がβ°未満の場合には（ステップＳ４０３でＹＥＳ）、前方カメラ２０１とミリ波レーダ２０２とが同一物体を認識しているとして、前方カメラ２０１及びミリ波レーダ２０２で検出される方位角偏差の過去Ｎ回の平均値である学習値（ここではγ°として記載）を記憶部２０３ｃに記憶・更新する処理を行う（ステップＳ４０４）。
【００５３】
なお、ミリ波物標距離が３０ｍ未満である場合には（ステップＳ４０１でＮＯ）、方位角検出の誤差が大きくなるために処理を終了し、カメラ物標中心距離とミリ波物標距離との差分がαｍ以上の場合（ステップＳ４０２でＮＯ）や、カメラ物標中心方位角とミリ波物標方位角との差分がβ°以上の場合には（ステップＳ４０３でＮＯ）、前方カメラ２０１及びミリ波レーダ２０２とが同一物体として認識していないとして、一連の処理を終了する。
【００５４】
図５は、本実施の形態に係る障害物認識装置におけるステップＳ３０３に示す前方カメラ２０１により検出される障害物検出値の補正ロジックにおける動作手順を示すフローチャートである。
【００５５】
最初に、フュージョンＥＣＵ２０３において、前方カメラ２０１により検出される障害物の検出パラメータである（横位置ｘ、縦位置ｙ、幅ｗ、高さｈ）の内から、横位置ｘ及び縦位置ｙを上述した学習値γを用いた下記の（式１）及び（式２）を用いて補正し、補正横位置ｘｃ、及び補正縦位置ｙｃを算出する（ステップＳ５０１）。
【００５６】
【数１】
【００５７】
【数２】
ここで、γは、前方カメラ２０１及びミリ波レーダ２０２で検出された方位角の偏差の過去Ｎ回の平均値である学習値となる。
【００５８】
図６は、図５の説明で用いた車両６０１に備わる前方カメラ２０１の障害物６０２までの検出値の補正ロジックの説明図である。
【００５９】
車両制御装置２００の補正部２０３ａは、車両６０１から補正前の障害物６０２までの横位置ｘ、縦位置ｙを、ミリ波レーダ２０２を用いて検出される方位角と前方カメラ２０１を用いて検出される方位角との過去Ｎ回の差分の平均値である学習値γ°を用いる上記（式１）及び（式２）により、補正後である障害物６０３の位置となる補正横位置ｘｃ及び補正縦位置ｙｃを算出する。そして、この補正横位置ｘｃを前方カメラ２０１の検出値パラメータとして反映させることにより、より正確な処理を行うことが可能となる。
【００６０】
図７は、本実施の形態に係る障害物認識装置におけるステップＳ３０４に示すセンサフュージョンロジックの動作手順を示すフローチャートである。
【００６１】
最初に、フュージョンＥＣＵ２０３は、ミリ波レーダ２０２のミリ波物標（１〜Ｎ）と、前方カメラ２０１のカメラ物標（１〜Ｍ）を特定する（ステップＳ７０１）。
【００６２】
次に、ミリ波レーダ２０２と前方カメラ２０１の物標を対応させて特定できる場合（ステップＳ７０１でＹＥＳ）、フュージョンＥＣＵ２０３は、ミリ波レーダ２０２で検出されるミリ波横位置、縦位置（ｘｍ，ｙｍ）と、前方カメラ２０１での補正後の横位置、縦位置（ｘｃ、ｙｃ）と差分が所定値以内となる場合が連続して５回以上となるかを判定する（ステップＳ７０２）。なお、横位置及び縦位置を取得するサンプリング周期は例えば１００ｍｓであり、また、上記の連続回数の５回は例示である。
【００６３】
そして、差分が所定値以内の場合が連続して５回以上となる場合には（ステップＳ７０２でＹＥＳ）、補正部２０３ａは、前方カメラ２０１の補正後の横位置ｘｃ、高さｈ、幅ｗ、及びミリ波レーダの検出値である縦位置ｙｍとをフュージョンして横位置、縦位置、高さ、幅（ｘｃ、ｙｍ、ｈ、ｗ）の情報を取得して記憶部２０３ｃに格納して（ステップＳ７０３）、ステップＳ７０１以下の処理を繰り返すこととなる。
なお、衝突判断部２０３ｂは、記憶部２０３ｃに記憶されたこれら横位置、縦位置、高さ、幅（ｘｃ、ｙｍ、ｈ、ｗ）の情報を用いて各種の車両制御を実行する。
【００６４】
以上の説明のように、本実施の形態に係る障害物認識装置においては、前方カメラ２０１とミリ波レーダ２０２の検出結果のフュージョンにより障害物を検出する技術において、前方カメラ２０１とミリ波レーダ２０２の軸ずれ量を検出し、フュージョンＥＣＵ２０３において、軸ずれ量を補正することで、前方カメラ２０１とミリ波レーダ２０２との間に軸ずれが発生している場合においても障害物認識性能を確保する。
また、本発明に係る車両制御装置２００の衝突判断部２０３ｂでは、この障害物認識装置から取得した車両周辺情報に基づいて、より正確な車両制御を実現できる。
【００６５】
なお、本願発明では、補正部２０３ａにおいて算出される軸ずれ量を、前方カメラ２０１とミリ波レーダ２０２とが同一物体を検出していると想定される場合における各々の方位角の誤差から学習することにより、直進時以外にも誤差の学習を可能とすることができ、フュージョンの精度を速やかに向上でき、その結果、車両制御の精度を向上できる。
【産業上の利用可能性】
【００６６】
本発明に係る障害物認識装置及び車両制御装置は、例えば、ミリ波レーダ及び車載カメラから取得するセンサ情報を組み合わせて障害物認識及び車両制御を行う機能を有する車両に用いることができる。
【符号の説明】
【００６７】
１０ 車両
２００ 車両制御装置
２０１ 前方カメラ
２０２ ミリ波レーダ
２０３ フュージョンＥＣＵ
２０３ａ 補正部
２０３ｂ 衝突判断部
２０３ｃ 記憶部
２０４ メータ
２０５ ヨーレートセンサ
２０６ 蛇角センサ
２０７ パワーステアリングＥＣＵ
２０８ 電気パワーステアリング
２０９ ブレーキＥＣＵ
２１０ 車輪速センサ
２１１ ブレーキアクチュエータ
２１２ 警報ブザー
【特許請求の範囲】
【請求項１】
複数のセンサ情報を組み合わせて障害物の認識を行う障害物認識装置であって、
障害物に関する第一パラメータ情報を取得する車載カメラと、
障害物に関する第二パラメータ情報を取得する車載レーダと、
前記車載カメラで取得した前記第一パラメータ情報と前記車載レーダで取得した前記第二パラメータ情報とに基づき、前記車載カメラ又は前記車載レーダの方位角の軸ずれ量を算出し、算出された当該軸ずれ量に基づいて前記車載カメラ又は前記車載レーダの軸ずれを補正する補正手段とを備える
ことを特徴とする障害物認識装置。
【請求項２】
前記第一パラメータ情報には、前記車載カメラで撮像される障害物の幅、高さ、横位置、及び縦位置の少なくとも１つが含まれ、前記第二パラメータ情報には、前記車載レーダで検出される障害物の縦位置、及び横位置の少なくとも一方が含まれる
ことを特徴とする請求項１記載の障害物認識装置。
【請求項３】
前記補正手段は、前記車載レーダを用いた障害物までの距離が所定値以上であり、前記車載レーダ及び前記車載カメラを用いて検出した障害物までの距離の誤差が所定値以内であり、且つ前記車載レーダ及び前記車載カメラを用いて検出した障害物の方位角の誤差が所定値以内の場合には、検出された方位角の誤差のＮ（Ｎは正の整数）回の平均値を学習値として算出して、当該学習値を前記軸ずれ量として前記車載カメラ又は前記車載レーダの軸ずれを補正し、
前記障害物認識装置は、さらに、
前記学習値を記憶する記憶手段を備える
ことを特徴とする請求項２記載の障害物認識装置。
【請求項４】
前記補正手段は、前記学習値が所定値以上の場合には、前記車載レーダと前記車載カメラとの軸ずれ量が過大と判定してセンサ情報の組み合わせ処理を終了し、前記学習値が前記所定値未満の場合には、前記記憶手段に記憶されている前記学習値を前記軸ずれ量として、前記車載カメラ又は前記車載レーダの軸ずれを補正する
ことを特徴とする請求項３記載の障害物認識装置。
【請求項５】
前記補正手段は、前記学習値を用いて、前記車載カメラ又は前記車載レーダで検出される障害物の縦位置及び横位置の補正量を算出する
ことを特徴とする請求項３記載の障害物認識装置。
【請求項６】
前記補正手段は、前記学習値を用いて、前記車載カメラで検出される障害物の縦位置及び横位置の補正量を算出し、補正された当該縦位置及び横位置と、前記車載レーダで検出される障害物の縦位置及び横位置との誤差を所定周期で算出し、当該誤差が所定値以内となるのがＭ（Ｍは正の整数）回以上連続する場合には、前記車載カメラで検出される補正後の障害物の横位置と、前記車載レーダで検出される障害物の縦位置とを前記記憶手段に格納する
ことを特徴とする請求項３記載の障害物認識装置。
【請求項７】
前記車載レーダは、ミリ波レーダであり、
前記車載カメラは単眼カメラ又はステレオタイプのカメラである
ことを特徴とする請求項１から６のいずれか１項に記載の障害物認識装置。
【請求項８】
複数のセンサ情報を組み合わせて障害物の認識を行う障害物認識装置からの情報を用いて車両制御を行う車両制御装置であって、
障害物に関する第一パラメータ情報を取得する車載カメラと、
障害物に関する第二パラメータ情報を取得する車載レーダと、
前記車載カメラで取得した前記第一パラメータ情報と前記車載レーダで取得した前記第二パラメータ情報とに基づき、前記車載カメラ又は前記車載レーダの方位角の軸ずれ量を算出し、算出された当該軸ずれ量に基づいて前記車載カメラ又は前記車載レーダの軸ずれを補正する補正手段と、
前記補正手段において軸ずれ補正後の前記車載カメラで取得された第一パラメータ情報及び前記前記車載レーダで取得された前記第二パラメータ情報を組み合わせた情報を用いて車両制御を行う電子制御手段とを備える
ことを特徴とする車両制御装置。
【請求項９】
前記第一パラメータ情報には、前記車載カメラで撮像される障害物の幅、高さ、横位置、及び縦位置の少なくとも１つが含まれ、前記第二パラメータ情報には、前記車載レーダで検出される障害物の縦位置、及び横位置の少なくとも一方が含まれる
ことを特徴とする請求項８記載の車両制御装置。
【請求項１０】
前記補正手段は、前記車載レーダを用いた障害物までの距離が所定値以上であり、前記車載レーダ及び前記車載カメラを用いて検出した障害物までの距離の誤差が所定値以内であり、且つ前記車載レーダ及び前記車載カメラを用いて検出した障害物の方位角の誤差が所定値以内の場合には、検出された方位角の誤差のＮ（Ｎは正の整数）回の平均値を学習値として算出して、当該学習値を前記軸ずれ量として前記車載カメラ又は前記車載レーダの軸ずれを補正し、
前記車両制御装置は、さらに、
前記学習値を記憶する記憶手段を備え、
前記電気制御手段は、前記補正手段において軸ずれ補正後の前記車載カメラで取得された第一パラメータ情報及び前記前記車載レーダで取得された前記第二パラメータ情報を組み合わせた情報を用いて車両制御を行う
ことを特徴とする請求項９記載の車両制御装置。
【請求項１１】
前記補正手段は、前記学習値を用いて、前記車載カメラで検出される障害物の縦位置及び横位置の補正量を算出し、補正された当該縦位置及び横位置と、前記車載レーダで検出される障害物の縦位置及び横位置との誤差を所定周期で算出し、当該誤差が所定値以内となるのがＭ（Ｍは正の整数）回以上連続する場合には、前記車載カメラで検出される補正後の障害物の横位置と、前記車載レーダで検出される障害物の縦位置とを前記記憶手段に格納し、
前記電気制御手段は、前記記憶手段に記憶された情報を用いて車両制御を行う
ことを特徴とする請求項１０記載の車両制御装置。
【請求項１２】
前記車載レーダは、ミリ波レーダであり、
前記車載カメラは単眼カメラ又はステレオタイプのカメラである
ことを特徴とする請求項８から１１のいずれか１項に記載の車両制御装置。
【請求項１３】
複数のセンサ情報を組み合わせて障害物の認識を行う障害物認識装置に用いる障害物認識方法あって、
車載カメラを用いて障害物に関する第一パラメータ情報を取得する第一パラメータ取得ステップと、
車載レーダを用いて障害物に関する第二パラメータ情報を取得する第二パラメータ取得ステップと、
前記第一パラメータ取得ステップにおいて取得した前記第一パラメータ情報と前記第二パラメータ取得ステップにおいて取得した前記第二パラメータ情報とに基づき、前記車載カメラ又は前記車載レーダの方位角の軸ずれ量を算出し、算出された当該軸ずれ量に基づいて前記車載カメラ又は前記車載レーダの軸ずれを補正する補正ステップとを含む
ことを特徴とする障害物認識方法。
【請求項１】
複数のセンサ情報を組み合わせて障害物の認識を行う障害物認識装置であって、
障害物に関する第一パラメータ情報を取得する車載カメラと、
障害物に関する第二パラメータ情報を取得する車載レーダと、
前記車載カメラで取得した前記第一パラメータ情報と前記車載レーダで取得した前記第二パラメータ情報とに基づき、前記車載カメラ又は前記車載レーダの方位角の軸ずれ量を算出し、算出された当該軸ずれ量に基づいて前記車載カメラ又は前記車載レーダの軸ずれを補正する補正手段とを備える
ことを特徴とする障害物認識装置。
【請求項２】
前記第一パラメータ情報には、前記車載カメラで撮像される障害物の幅、高さ、横位置、及び縦位置の少なくとも１つが含まれ、前記第二パラメータ情報には、前記車載レーダで検出される障害物の縦位置、及び横位置の少なくとも一方が含まれる
ことを特徴とする請求項１記載の障害物認識装置。
【請求項３】
前記補正手段は、前記車載レーダを用いた障害物までの距離が所定値以上であり、前記車載レーダ及び前記車載カメラを用いて検出した障害物までの距離の誤差が所定値以内であり、且つ前記車載レーダ及び前記車載カメラを用いて検出した障害物の方位角の誤差が所定値以内の場合には、検出された方位角の誤差のＮ（Ｎは正の整数）回の平均値を学習値として算出して、当該学習値を前記軸ずれ量として前記車載カメラ又は前記車載レーダの軸ずれを補正し、
前記障害物認識装置は、さらに、
前記学習値を記憶する記憶手段を備える
ことを特徴とする請求項２記載の障害物認識装置。
【請求項４】
前記補正手段は、前記学習値が所定値以上の場合には、前記車載レーダと前記車載カメラとの軸ずれ量が過大と判定してセンサ情報の組み合わせ処理を終了し、前記学習値が前記所定値未満の場合には、前記記憶手段に記憶されている前記学習値を前記軸ずれ量として、前記車載カメラ又は前記車載レーダの軸ずれを補正する
ことを特徴とする請求項３記載の障害物認識装置。
【請求項５】
前記補正手段は、前記学習値を用いて、前記車載カメラ又は前記車載レーダで検出される障害物の縦位置及び横位置の補正量を算出する
ことを特徴とする請求項３記載の障害物認識装置。
【請求項６】
前記補正手段は、前記学習値を用いて、前記車載カメラで検出される障害物の縦位置及び横位置の補正量を算出し、補正された当該縦位置及び横位置と、前記車載レーダで検出される障害物の縦位置及び横位置との誤差を所定周期で算出し、当該誤差が所定値以内となるのがＭ（Ｍは正の整数）回以上連続する場合には、前記車載カメラで検出される補正後の障害物の横位置と、前記車載レーダで検出される障害物の縦位置とを前記記憶手段に格納する
ことを特徴とする請求項３記載の障害物認識装置。
【請求項７】
前記車載レーダは、ミリ波レーダであり、
前記車載カメラは単眼カメラ又はステレオタイプのカメラである
ことを特徴とする請求項１から６のいずれか１項に記載の障害物認識装置。
【請求項８】
複数のセンサ情報を組み合わせて障害物の認識を行う障害物認識装置からの情報を用いて車両制御を行う車両制御装置であって、
障害物に関する第一パラメータ情報を取得する車載カメラと、
障害物に関する第二パラメータ情報を取得する車載レーダと、
前記車載カメラで取得した前記第一パラメータ情報と前記車載レーダで取得した前記第二パラメータ情報とに基づき、前記車載カメラ又は前記車載レーダの方位角の軸ずれ量を算出し、算出された当該軸ずれ量に基づいて前記車載カメラ又は前記車載レーダの軸ずれを補正する補正手段と、
前記補正手段において軸ずれ補正後の前記車載カメラで取得された第一パラメータ情報及び前記前記車載レーダで取得された前記第二パラメータ情報を組み合わせた情報を用いて車両制御を行う電子制御手段とを備える
ことを特徴とする車両制御装置。
【請求項９】
前記第一パラメータ情報には、前記車載カメラで撮像される障害物の幅、高さ、横位置、及び縦位置の少なくとも１つが含まれ、前記第二パラメータ情報には、前記車載レーダで検出される障害物の縦位置、及び横位置の少なくとも一方が含まれる
ことを特徴とする請求項８記載の車両制御装置。
【請求項１０】
前記補正手段は、前記車載レーダを用いた障害物までの距離が所定値以上であり、前記車載レーダ及び前記車載カメラを用いて検出した障害物までの距離の誤差が所定値以内であり、且つ前記車載レーダ及び前記車載カメラを用いて検出した障害物の方位角の誤差が所定値以内の場合には、検出された方位角の誤差のＮ（Ｎは正の整数）回の平均値を学習値として算出して、当該学習値を前記軸ずれ量として前記車載カメラ又は前記車載レーダの軸ずれを補正し、
前記車両制御装置は、さらに、
前記学習値を記憶する記憶手段を備え、
前記電気制御手段は、前記補正手段において軸ずれ補正後の前記車載カメラで取得された第一パラメータ情報及び前記前記車載レーダで取得された前記第二パラメータ情報を組み合わせた情報を用いて車両制御を行う
ことを特徴とする請求項９記載の車両制御装置。
【請求項１１】
前記補正手段は、前記学習値を用いて、前記車載カメラで検出される障害物の縦位置及び横位置の補正量を算出し、補正された当該縦位置及び横位置と、前記車載レーダで検出される障害物の縦位置及び横位置との誤差を所定周期で算出し、当該誤差が所定値以内となるのがＭ（Ｍは正の整数）回以上連続する場合には、前記車載カメラで検出される補正後の障害物の横位置と、前記車載レーダで検出される障害物の縦位置とを前記記憶手段に格納し、
前記電気制御手段は、前記記憶手段に記憶された情報を用いて車両制御を行う
ことを特徴とする請求項１０記載の車両制御装置。
【請求項１２】
前記車載レーダは、ミリ波レーダであり、
前記車載カメラは単眼カメラ又はステレオタイプのカメラである
ことを特徴とする請求項８から１１のいずれか１項に記載の車両制御装置。
【請求項１３】
複数のセンサ情報を組み合わせて障害物の認識を行う障害物認識装置に用いる障害物認識方法あって、
車載カメラを用いて障害物に関する第一パラメータ情報を取得する第一パラメータ取得ステップと、
車載レーダを用いて障害物に関する第二パラメータ情報を取得する第二パラメータ取得ステップと、
前記第一パラメータ取得ステップにおいて取得した前記第一パラメータ情報と前記第二パラメータ取得ステップにおいて取得した前記第二パラメータ情報とに基づき、前記車載カメラ又は前記車載レーダの方位角の軸ずれ量を算出し、算出された当該軸ずれ量に基づいて前記車載カメラ又は前記車載レーダの軸ずれを補正する補正ステップとを含む
ことを特徴とする障害物認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２４９６１３（Ｐ２０１０−２４９６１３Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２００９−９８３５２（Ｐ２００９−９８３５２）
【出願日】平成２１年４月１４日（２００９．４．１４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願日】平成２１年４月１４日（２００９．４．１４）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]