車両制御装置
【課題】誤制御を抑制しながらも、車線逸脱防止の適用範囲を拡大する車両制御装置を提供する。
【解決手段】自車前方の画像を撮像する車載カメラ６００と、複数の車両制御方法から１つの車両制御方法を決定し、決定された車両制御方法でアクチュエータを制御するＥＣＵ６１０と、を有し、車載カメラは、撮像し、取得した画像と認識したレーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部４００を有し、ＥＣＵは、エリア別信頼度情報に基づいて車両制御方法を決定する車両制御部５００を有する車両制御装置。
【解決手段】自車前方の画像を撮像する車載カメラ６００と、複数の車両制御方法から１つの車両制御方法を決定し、決定された車両制御方法でアクチュエータを制御するＥＣＵ６１０と、を有し、車載カメラは、撮像し、取得した画像と認識したレーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部４００を有し、ＥＣＵは、エリア別信頼度情報に基づいて車両制御方法を決定する車両制御部５００を有する車両制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
車両の車線逸脱を制御する車両制御装置に関する。
【背景技術】
【０００２】
車両にカメラやレーダを取り付けてレーンマークを認識し、自車と車線の相対的位置関係や傾き、そして道路の曲がり具合を示す曲率を推定するレーンマーク認識装置がある。この曲率，ヨー角，横位置に応じて車線逸脱等の事故を防止するために車線逸脱警報や車線逸脱防止の制御を行う車両制御装置がある。従来の手法では、レーンマーク認識結果全体に対して信頼度を算出し、この信頼度の結果に応じて、車線逸脱制御方法を切替える車線逸脱防止制御装置があった（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１７８６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
道路鋲（ボッツドッツ）や、白い路面（コンクリート）上のかすれた白線などは遠方だけが見えづらい場合がある。また太陽の方向によっては左右片側だけ見えづらいことや、片側のみレーンマークが擦れている場合やボッツドッツである場合がある。
【０００５】
上記従来技術では、レーン認識結果全体に対して信頼度を算出するため、部分的に見えづらい領域があれば信頼度全体が低下し、逸脱防止制御の動作率が低下するという課題があった。
【０００６】
本発明の目的は、誤制御を抑制しながらも、車線逸脱防止の適用範囲を拡大する車線逸脱防止制御装置を提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、自車前方の画像を撮像する車載カメラと、複数の車両制御方法から１つの車両制御方法を決定し、決定された車両制御方法でアクチュエータを制御する処理ユニットと、を有し、車載カメラは、撮像し、取得した画像と認識したレーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部を有し、処理ユニットは、エリア別信頼度情報に基づいて車両制御方法を決定する車両制御部を有する車両制御装置の構成とする。
【０００８】
さらに、車速情報を検出する車速センサと、操舵角情報を検出する操舵角センサと、ヨーレート情報を検出するヨーレートセンサと、を有し、車載カメラは、自車前方の画像を取得する画像取得部と、取得された画像からレーンを認識するレーン認識部と、道路の曲がり具合を示す道路曲率、自車両と走行レーンとの相対的姿勢を示すヨー角、相対的位置を示す横位置を推定する制御用パラメータ推定部と、取得した前記画像と認識した前記レーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部と、を有し、処理ユニットの車両制御部は、道路曲率，ヨー角，横位置の少なくとも１つと、エリア別信頼度情報と、に基づいて車両制御方法を決定する構成とする。
【発明の効果】
【０００９】
誤制御を抑制しながらも、車線逸脱防止の適用範囲を拡大する車両制御装置を提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る車両制御装置の一構成例を示す図である。
【図２】図１の車両制御装置のエリア別信頼度算出部の一構成例を示す図である。
【図３】図１の車両制御装置の車両の制御モードを判定するフローチャートを示す図である。
【図４】本発明において左右遠近にエリアを分けた場合を説明する図である。
【図５】本発明においてレーン別にエリアを分けた場合を説明する図である。
【図６】本発明においてカメラ別，レーン別にエリアを分けた場合を説明する図である。
【図７】本発明において、各エリアにおける車両制御モードの対応表を示す図である。
【図８】本発明において、車両制御モードの切替え用閾値を説明する図である。
【図９】曲率を利用した制御を行う場合のエリア別信頼度の条件と、制御の概要を説明する図である。
【図１０】直線を利用した制御を行う場合のエリア別信頼度の条件と、制御の概要を説明する図である。
【図１１】車線逸脱の警報もしくは警告する場合のエリア別信頼度の条件を説明する図である。
【図１２】本発明の２輪モデルによる推定経路を示す図である。
【図１３】曲線制御モードの場合の目標経路算出を説明する図である。
【図１４】曲線制御モードの場合の目標経路との差分算出を説明する図である。
【図１５】直線制御モードの場合の目標経路算出を説明する図である。
【図１６】直線制御モードの場合の目標経路との差分算出を説明する図である。
【図１７】本発明に係る車線逸脱防止制御装置の他の構成例を示す図である。
【図１８】図１７の車線逸脱防止制御装置の車両制御フローチャートを示す図である。
【図１９】本発明に係る車線逸脱防止制御装置を搭載した車両の一構成例を示す図である。
【図２０】本発明の車両制御モードの表示例を示す図である。
【図２１】本発明の車両制御モードに応じた表示形式の一例を示す図である。
【図２２】信頼度に応じて動的にエリア遠方の距離を変化させる方法を説明する図である。
【図２３】本発明のエリア別信頼度に応じた車両制御方法のフローチャートを示す図である。
【図２４】本発明のエリア別信頼度に応じた車両制御部を説明する図である。
【発明を実施するための形態】
【００１１】
本発明は、自車前方の画像を撮像する車載カメラ６００と、複数の車両制御方法から１つの車両制御方法を決定し、決定された車両制御方法でアクチュエータを制御する処理ユニットであるＥＣＵ６１０と、を有し、車載カメラ６００は撮像し、取得した画像と認識したレーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部４００を有し、ＥＣＵ６１０は、そのエリア別信頼度情報に基づいて車両制御方法を決定する車両制御部５００を有する構成とすることで、誤制御を抑制しながらも、車線逸脱防止の適用範囲を拡大する車両制御装置を提供できるものである。
【００１２】
以下、各図面を用いて本発明の実施形態を説明する。
【００１３】
＜車線逸脱防止制御装置の構成説明＞
図１９を用いて車両制御装置を搭載した車両の構成を説明する。
【００１４】
図１９に示すように車両前方に向けた車載カメラ６００を搭載し、車載カメラ６００と車両制御をつかさどるＥＣＵ（Engine Control Unit）６１０はＣＡＮ（Controller Area Network）により接続されている。車両には、ＥＣＵ６１０と各センサ（車速センサ６０６，操舵角センサ６０１，ヨーレートセンサ６０７）とアクチュエータ６０３を備えた車両制御装置。ＥＣＵ６１０はＣＡＮ通信にて車両内の各センサから車速，操舵角，ヨーレートなどの情報を取得する。ＥＣＵ６１０はＣＡＮ通信にて上記各センサ及び、カメラで計算されたエリア別信頼度情報を基に、車両制御方法を決定する。ＥＣＵ６１０は決定された車両制御方法からアクチュエータ６０３を利用し車両を制御する。また、このエリア別信頼度もしくは、現状の車両制御モードの結果を表示する表示装置６０９を備えている。
【００１５】
車載カメラ６００は図１に示すように画像取得部１００，レーン認識部２００，制御用パラメータ推定部３００，エリア別信頼度算出部４００機能を備えている。車両制御はＥＣＵ６１０で実施されるため、エリア別信頼度に応じた車両制御部５００を備えている。また、レーン認識部２００，制御用パラメータ推定部３００，エリア別信頼度算出部４００はＥＣＵ６１０の機能であってもよい。
【００１６】
図１にレーン認識結果の信頼度をエリア別に備えた車線逸脱防止制御装置の構成図を示す。この図１を用いて車載カメラ６００の各構成要素を説明する。
【００１７】
車両制御装置には、車載カメラ６００からの画像を取得する画像取得部１００と、取得された画像を利用しレーンの認識を行うレーン認識部２００、道路の曲がり具合を示す道路曲率、自車両と走行レーンとの相対的姿勢関係を示すヨー角、相対的位置関係を示す横位置、といった車両制御に利用するパラメータを推定する制御用パラメータ推定部３００、エリア別にレーン認識結果の信頼度を算出するエリア別信頼度算出部４００、更にエリア別信頼度と制御用パラメータ推定結果に基づいて車線逸脱防止制御を行うエリア別信頼度に応じた車両制御部５００を備える。
【００１８】
ここで、信頼度とは、レーン認識結果が誤検知することなく、正しく走行レーンを認識し、車両制御もしくは警告を行うに値するかどうかを示す指標であり、画像中に線上に並ぶ白線特徴量の多さや、抽出した線の平行性などから数値的に示す。
【００１９】
信頼度が高いほど認識結果が正しく、低いほど誤検知もしくは認識精度が低いことを示し、車両制御や警告に適さないことを示す。
【００２０】
本実施例では、車載カメラ６００は、自車走行方向へ向けた車載単眼カメラを想定した実施例について記載するが、カメラはステレオカメラであっても、車両周囲を撮影する複数カメラであってもよい。またレーンを認識するセンサ部分は、レーザレーダや、ミリ波レーダなどカメラ以外のセンサでも良い。
【００２１】
次に、図２を用いてエリア別信頼度算出部４００の構成を説明する。
エリア別信頼度算出部４００は、レーン認識した結果に応じてエリアを分割するエリア判定部４１０を備える。本実施例では、自車走行レーンの左右のレーンにエリアを分割し、更に距離別に遠方，近傍の二つに分割し、左遠方１０１０，左近傍１０２０，右遠方１０５０，右近傍１０６０の計４エリアに分割した。
【００２２】
また、エリア判定部４１０によって分割された各エリアに対し撮像された画像情報を基に信頼度を算出するエリア別信頼度算出部４２０を備える。更に、エリア別信頼度算出部４２０にて画像情報を利用して得られたエリア別信頼度に対し、外部情報部４５０を利用して信頼度の補正を行うエリア別信頼度補正部４３０を備える。上記外部情報部４５０は、自車両の挙動を解析するための車速センサや加速度センサ，操舵角センサ，ヨーレートセンサなどから自車両の走行情報を扱う車両挙動部４５１、障害物や先行車などを検知することのできるミリ波レーダ、もしくはレーザレーダもしくは、ステレオカメラからなるレーダ部４５２を備える。
【００２３】
また、カーナビゲーションシステムの地図情報やナビに搭載されたＧＰＳや角速度センサ（ジャイロセンサ），加速度センサ，方位センサによる車両位置からの走行解析可能なナビ情報部４５３を備える。また、外部情報部４５０には、エリア別信頼度を算出するカメラ以外に、他カメラからの情報を利用するための他カメラ部４５４を備える。
【００２４】
図２４を用いてエリア別信頼度に応じた車両制御部５００における処理の車両制御部を説明する。エリア別信頼度に応じた車両制御部５００で、エリア別信頼度に応じた車両制御を実施する。エリア別信頼度に応じた車両制御部５００の詳細な機能ブロックを図２４に示す。
【００２５】
エリア別信頼度の結果を利用して車両制御のモード切替えを、エリア別信頼度に応じた制御モード判定部５０１にて実施する。自車経路予測部５０２では、車速情報や、舵角情報を利用して、このまま車線逸脱回避制御やドライバーによる介入無に自車両が進んだ場合の経路推定を行う。この推定された自車推定経路の結果と、制御用パラメータ推定部３００にて推定されたレーン認識の結果を比較して自車両が車線逸脱の可能性があるかどうかの判定を制御判定部５０３にて行う。
【００２６】
車線逸脱の可能性がない場合には、制御量決定部５０４では制御量０を選択、車両制御実施部５０５では制御を実施せず、逸脱の可能性を監視し、逸脱回避のための制御を待機している状況となる。
【００２７】
車線逸脱の可能性がある場合には、制御量決定部５０４にて自車前方Ｌ［ｍ］における推定経路と認識した車線との横位置差分を基に舵角へ与える制御量を決定する。車両制御実施部５０５にて、上記決められた制御量を利用し、車線逸脱回避のための車両制御を実施する。
【００２８】
エリア別信頼度に応じた車両制御部５００では、エリア別信頼度に応じて制御モードを切替えることで車両制御を実施する。以下では、エリア別信頼度に応じた制御モード判定部５０１における、エリア別信頼度による制御モードの切替えについて、各図面を用いて説明する。
【００２９】
本実施例では、図４に示す通り、信頼度算出のエリアを左遠方１０１０，左近傍１０２０，右遠方１０５０，右近傍１０６０の計４エリアに分けた。図３では、そのうち左遠方１０１０と左近傍１０２０を利用したエリア別信頼度に応じた左車線に対する車両制御方法を示す。本実施例では、左右のレーンに対して、それぞれ独立した制御を行うため、右遠方１０５０と右近傍１０６０のエリア別信頼度に応じた車両制御も左車線に対するものと同様となるため詳細は省略する。
【００３０】
レーン別制御判定５１０において、自車両の左右直近のレーンに対し、左右別に制御の可否の判定を行う。本説明では左レーンに対する信頼度より、自車走行レーンの左車線に対する制御実施の判定を行う。左右別に独立した制御の可否判定を行うことで、左右一方でも信頼度高く検知できていれば、信頼度の高いレーンに対する車両制御を行うことが可能となり、車両制御適応範囲の拡大が可能である。また、擦れてはっきり見えていない車線に対し制御を行ってよいかの判定を左右別に判定が可能となっているため、誤検知による誤制御を避け、より安全に配慮したシステム構築が可能となる。
【００３１】
レーン別制御判定５１０において左近傍１０２０のエリア別信頼度が制御の可否を判定する閾値である近傍第１所定値以上かどうかの判定を行う。
【００３２】
Ｙｅｓの場合は制御可能と判定し、次に、左遠方１０１０のエリア別信頼度が曲率利用の制御の可否を判定する閾値である遠方第１所定値以上かを曲率利用判定５２０にて行う。ここでは遠方の信頼度が遠方第１所定値以上であるか判定を行う。遠方を見なければ道路の曲がり具合が不明のため、左遠方のレーンは画像上で多くの白線特徴量を抽出できているか、またおおよそ画面上で線上にその特徴量が集まっているかどうかにより遠方の信頼度を算出する。左遠方の白線特徴量が多く存在し、かつ、直線状に並んでいれば信頼度が高く推定した曲率が正しい道路形状を示していると考えて道路の曲がり具合を考慮した車両制御を可能とする。
【００３３】
図９に示すように、近傍だけでなく遠方の信頼度もそれぞれの第１所定値以上であることが確認された場合には、曲率利用判定５２０において、曲線制御モード５４０（Ｙｅｓ）を選択する。反対に、図１０に示すように遠方の信頼度が遠方第１所定値より低い場合には、曲率利用判定５２０において直線制御モード５５０（Ｎｏ）を選択する。
【００３４】
近傍の信頼度が高いにも関わらず遠方の信頼度が低い場合には、車両制御に曲率の利用を避ける。曲率を算出する場合には、近傍だけでなく遠方までのレーン認識結果が得られていなければ、曲率を精度良く算出することが困難である。また、信頼度が低い場合には誤検知による曲率精度の誤差も懸念される。このため遠方の信頼度が低い場合には、誤差のある曲率を使用したことによる誤制御を避けるために、直線制御モード５５０を選択する。
【００３５】
更に、図１１に右側レーンに対して警告モードの場合を表に示す。
レーン別制御判定５１０にて近傍第１所定値未満の場合Ｎｏとなり、警告判定５３０にて左近傍の信頼度が近傍第２所定値以上である場合、車両制御するほどにレーンの認識結果の精度が信用できないが、警告を表示、もしくは警報をならすことを実施する警告モード５６０を選択する。
【００３６】
誤制御は車両の安全性に悪影響を及ぼす可能性が高いため、信頼度が高い場合にのみ車線逸脱防止の制御を行う。信頼度が低い場合はレーンを誤検知している可能性が高くなる、このため誤制御を回避するために、誤検知中に車線逸脱防止装置が動作してもドライバーにとって不快を与える誤警告のみにとどめ、車両の安全性には影響を及ぼさないような安全性の高いシステム構成とする。
【００３７】
レーン別制御判定５１０にて近傍第１所定値未満の場合Ｎｏとなり、警告判定５３０にて左近傍の信頼度が近傍第２所定値未満である場合、信頼度が低すぎて警告もならせないものとする。
【００３８】
なお、制御モードの詳細記載は、下方の＜車両制御方法の切替え＞で示す。
本システムの設計では、エリア別の信頼度を利用することで曲線制御モード５４０、遠方の信頼性低下による直線制御モード５５０、信頼性低下による警告モード５６０、更なる信頼性低下による停止モード５７０のいずれかの動作を選択している。５４０〜５７０の中で番号の若い制御モードほど、高度な車両制御となりドライバーにとって快適な運転のサポートとなる。
【００３９】
曲線制御モード５４０と直線制御モード５５０の制御の違いとは道路のカーブ形状を考慮するかどうかの違いであり、カーブ形状を考慮しない直線制御モード５５０では、カーブ走行時の逸脱制御に遅延が生じ逸脱タイミングを遅らせることはできるものの、車速や曲率によっては逸脱を完全に防止できない。よりドライバーにとって快適な制御は、より高いレーン認識の信頼度を必要とする。反対に言えば、遠方の信頼度が低いような悪条件な道路において高度な制御を行えないものの、認識が比較的容易な近傍の結果のみを利用し、安全重視，誤制御抑制した機能抑制の制御を実施することが可能となる。
【００４０】
また、図３のレーン別制御判定５１０において制御不能のＮｏを選択した場合、車両制御を行わないこととなるが、警告判定５３０において自車近傍の信頼度が近傍第２所定値より高ければＹｅｓと判定し、警告モード５６０を選択する。警告判定５３０において近傍第２所定値より低ければ停止モード５７０を選択する。安全やドライバーの利便性の観点から、誤警告よりも誤制御の方が避けるべき事態であることを考慮した上で、制御と警告，停止の選択を行っている。近傍第１所定値よりも近傍第２所定値の方を低く設定し、近傍第１所定値以上の信頼度であれば、制御モード（曲線もしくは直線），近傍第１所定値未満かつ近傍第２所定値以上であれば、警告モード５６０、近傍第２所定値未満であれば停止モード５７０とする。
【００４１】
図７，図８にエリア別信頼度と制御の関係を表にまとめる。
左右車線に対する車両制御は、左右対称独立であるため、下記説明では上下の信頼度の関係を考慮しながらの、車両制御切替えを説明する。
【００４２】
遠方信頼度の結果に応じて車両制御に曲率の使用・不使用を判定する閾値として、遠方第１所定値を定める。近傍信頼度の結果に応じて車両制御と警告を切替える閾値として近傍第１所定値、警告と停止を切替える閾値として近傍第２所定値を定める。
【００４３】
遠方の信頼度が遠方第１所定値より高く、近傍の信頼度も近傍第１所定値より高い場合、カーブをも考慮した高度な曲線制御モード５４０を実施する。
【００４４】
また、遠方の信頼度が遠方第１所定値より低く、近傍の信頼度が近傍第１所定値より高い場合、カーブを考慮せず、直線道路と仮定した直線制御モード５５０を実施する。これは、遠方の誤検知、もしくは不検知による曲率精度の低下を懸念して、カーブ中の制御には遅れが生じるものの、誤制御を抑制する安全性を重視した制御方法を実施する。
【００４５】
また、遠方の信頼度が遠方第１所定値より低く、近傍の信頼度が近傍第１所定値より低く近傍第２所定値より高い場合、車両誤制御を懸念しより安全性を重視した設計として警告モード５６０を実施する。
【００４６】
また、遠方の信頼度が遠方第１所定値より低く、近傍の信頼度も近傍第２所定値より低い場合、認識状態が制御，警告を実施できる状況にないと判断し制御，警告の動作を停止する停止モード５７０を実施する。
【００４７】
なお、遠方の信頼度が遠方第１所定値より高く、近傍の信頼度が近傍第１所定値より低い場合は、存在しないような信頼度計算方法としているため、対応する制御方法はない。
【００４８】
信頼度計算方法部分で詳細を述べる。近傍の車線が存在しないにも関わらず遠方のみ車線が見えるような状況は、誤検知である可能性が高いため、信頼度は近傍の車線情報からの連続性を見る計算を行う。このため近傍の信頼度が遠方の信頼度に影響を及ぼすので、遠方の信頼度のみが高い場合は存在しない。
【００４９】
本実施例では、曲線制御モード５４０と直線制御モード５５０を切替えて実施している。ただし、この切替えを常に中間値を持つように、信頼度の高さに応じて曲線と直線の中間の目標経路を設定するような手法でも良い。
【００５０】
図１４，図１６で説明すると、遠方の信頼度が高いほど図１４の曲線に近い強い操舵制御となり、遠方の信頼度が遠方第１所定値に近づくにつれて図１６の直線時の弱い操舵制御となるような信頼度に応じ操舵制御の強さに変化が生じても良い。
【００５１】
また、モード自体は変化しても、制御量が一気に変化しないような時定数をもたせ、制御には徐々に影響するようにしても良い。
【００５２】
＜エリア分割方法＞
本実施例では、カメラのエリアを図４に示すように、左遠方１０１０，左近傍１０２０，右遠方１０５０，右近傍１０６０の計４エリアに分割した。
【００５３】
カメラによるレーン認識では、遠方を認識対象とするほど画像上で小さくレーンが撮像されることとなり一般的に認識が困難となる。また、遠方であるほど路面以外の対象がカメラ中に撮像される可能性が高く、路肩や先行車両，障害物などがレーン認識の障害となり認識が困難となる傾向が強い。
【００５４】
従来のようにレーン全体に対し信頼度を算出しているような場合には、遠方が誤検知もしくは不検知状態の場合にはレーン全体の信頼度が低下し、近傍は画面上ではっきり認識可能でありながらも、誤制御回避などのために車両制御自体を停止するなどの処置をとっていた。 遠方のみが誤検知し、近傍のレーンが認識できているような場合を想定すると、近傍の認識結果のみを利用した制御を行いたい。また、ボッツドッツや、かすれた白線などの場合には、遠方のみが不検知で近傍のレーンが認識できているような場合を想定すると、これも近傍の認識結果のみを利用した制御を行いたい。
【００５５】
本実施例では、エリア別信頼度を用いることで遠近左右別にレーンの認識状況を判断し、最適な制御モードを選択する。これにより遠方のみがレーン認識困難な道路では遠方までの道路のカーブ状況を考慮できない限定的な制御となるものの、誤検知もしくは不検知による制御への悪影響を除きながらも限定的な直線制御モードを制御適応範囲の拡大に成功した。
【００５６】
本実施例では、距離方向二つに分割したが、認識対象とする遠方の距離に応じて分割数が異なっても同様の効果が望める。ただし、破線などを考慮するとエリアの距離方向は２０ｍ程度以上が望ましい（２０ｍあれば破線であっても実線と間隔の両方がエリア内に収まるため、エリアから白線が消えることがない）。短すぎる場合、例えば１０ｍ程度の場合には瞬間的に画面から白線すべてが消える瞬間があり、制御に利用するかどうかの判定が難しくなる。またエリアは、認識状態に応じて距離方向に動的に変化しても良い。
【００５７】
また、図２２に示すように距離方向にエリアを分割する代わりに、信頼度に応じて動的にエリア遠方の距離を変化させるような方法でも良い。レーン認識の処理領域を図２２に示すように左右のレーンに対して定めた際の最遠方の距離を信頼度に応じて変化させる。信頼度が低下した場合には、誤検知要因や不検知要因となりやすいエリア遠方の距離を短くする。反対に信頼度が上昇した場合には、正しいレーン位置を認識していると判断し、次フレームでは更にレーンの認識精度、特に曲率の推定精度を向上させるために処理領域を遠方にまで伸ばすことで道路の曲がりぐらいを推定しやすい処理領域の設定とする。
【００５８】
図２２左レーンに示すように距離第２所定値以上（距離第２所定値より遠方）の場合、かつこの距離までのエリア別信頼度が距離変化第１所定値以上の場合には、処理領域中の遠方から近傍までの信頼度が高く、更に遠方からの近傍までの距離が長く道路の曲がり具合を示す曲率を推定するのに十分な距離を保持していると考え、曲線制御モード５４０にて車両制御する。
【００５９】
図２２右レーンに示すように、処理領域最遠方の距離が距離第１所定値未満、かつ距離第２所定値以上となり、かつ信頼度が距離変化第１所定値以上の場合には、直線制御モード５５０にて車両制御する。
【００６０】
更に処理領域最遠方の距離が距離第１所定値未満、かつ信頼度が距離変化第１所定値以上の場合には警告モード５６０とする。
【００６１】
処理領域最遠方の距離が距離第２所定値未満もしくは信頼度が距離変化第１所定値未満の場合には停止モード５７０とする。
【００６２】
基本は、４分割と同じように、信頼度が所定値以上であるエリアの距離方向の長さと信頼度にて制御のモード選択を行い、それによって生じる作用や効果も同様である。
【００６３】
本実施例では、画面上を上下（距離方向）に分割するとともに、左右にも分割を行った。例えば、左右片側のみ擦れたレーン、もしくは路面と低コントラストなレーン、もしくはボッツドッツのような、左右のレーンで認識し易さに大きな差異が生じる場合がある。このような道路状況は比較的持続する傾向が強い。このため従来手法では、片側レーンが見えないことからレーン全体の信頼度が低下し、車両制御が持続して適応できない場合があった。
【００６４】
本実施例の様に左右で別々に信頼度を設けているような場合には、片側車線のみでも信頼度が高い場合には制御が可能となり、制御適応範囲を拡大することが可能となる。
【００６５】
また、従来手法のまま車両制御適応範囲を拡大しようとすると、信頼度が多少低くとも車両制御を行うこととなる。このため、十分に見えてない側の車線に対しても車両制御や警報を実施する結果となり、車線逸脱防止制御装置の誤動作の観点からも望ましくない状況といえる。
【００６６】
本実施例では、自車走行レーンの左右のレーン毎にエリア分割を行っているが、図５のようにレーンごとにエリアを設けてもよい。視野が広いカメラを利用する場合には、自車走行の左右レーン１０７１，１０７２だけではなく、隣車線のレーン１０７０，１０７３をも認識対象とすることがある。
【００６７】
隣車線のレーン１０７０，１０７３をも認識対象とすることで、例えば図５の右側車線変更直後に自車両走行レーン１０７２，１０７３を利用した車両制御にも早急に対応可能となる。カメラの視野角や制御方法などシステム構想が決まる段階で４つのレーンに対してエリアを設けることを決定し、エリア判定部４１０では認識結果を照らし合わせて、例えば自車両にとって最も近い左レーンはこの画像処理エリアの認識結果であるということを判定する。画像処理エリアや認識結果，途中結果などの情報を利用して、エリア別信頼度を算出する。
【００６８】
また、信頼度が明らかに低いような場合には、車線変更先の車線の存在を疑い、（障害物の存在，道路外）車線変更の前に警告することも可能である。
【００６９】
また、エリア別の信頼度を持つことで、その後の、制御用パラメータのヨー角，曲率を推定する際に、信頼度の低いエリアの車線からヨー角，曲率に与える影響を小さく、もしくは無くすことが可能である。すべての車線が平行かつ曲率が同様であるとの仮定から、信頼度が所定値以上のエリアの白線を利用した制御用パラメータの推定が可能となる。
【００７０】
また、上記と同様の考え方から信頼度の高いエリアの車線情報のみを利用して、カメラの消失点の自動更新を行うことで、より高精度なカメラ俯角の自動更新を行うことも可能とし、高精度なパラメータ推定や、その後の認識の安定性も高めることを可能とする。
【００７１】
また、カメラ別にエリア分割しても良い。図６にカメラ別の視野にエリアを分割した例を示す。カメラ別のエリアに分けることでも、左右や上下と同様の効果に期待ができる。また、カメラ別のエリアに分けることで、信頼度の低いエリアの認識結果の影響を抑えた、もしくは除いた制御用パラメータ推定が可能となり高精度化と共に高信頼化を可能とする。
【００７２】
カメラの視野角や制御方法などシステム構想が決まる段階でエリア分割方法を決定する。
レーン認識部２００は、前方のカメラは同様で遠方の曲率を見ない部分のみが異なる。後方カメラも自車に対して前後が反転しただけで認識方法は同様である。側方カメラに関しても、画面内の白線特徴量を抽出し、直線状に並ぶ白線特徴量が多い直線をレーンとして認識する。ただし、自車両右側の直線を前方，右側方，後方カメラで画像処理することとなるため、それぞれのカメラで抽出した直線結果から外れ値除去、及び時間的，空間的な平滑化をし最終的な制御用パラメータを算出するのは制御用パラメータ推定部３００実施し、自車両とレーンの相対的な横位置，ヨー角の推定を行う。
【００７３】
カメラ別のエリアとなる左右の側方カメラはエリア判定部４１０ではカメラとエリア別信頼度の対応付けのみを行う。前方カメラ，側方カメラでは、それぞれ自車に対して左と右のレーンを認識するため、自車位置とレーンの対応関係から自車左のレーンに対する信頼度を算出する。
【００７４】
図６では、前方，後方，左側方，右側方の４つカメラが設置された場合、自車走行車線の左前方，左側方，左後方，右前方，右側方，右後方の６つのエリアに分割することができる。
【００７５】
＜エリア別信頼度算出部４００＞
図２に記載のエリア判定部４１０において分割された各エリアに対して、エリア別信頼度算出部４２０では、撮像された画像情報よりエリア別信頼度を算出する。画像情報からのエリア別信頼度算出には、以下に詳細を示す白線特徴量，３次元情報，時系列情報の３種類の情報を利用する。これらの情報に基づいてエリア別信頼度を１００〜０の数値として算出することで、レーン認識の認識状態を適切に表現することを可能とする。
【００７６】
エリア別信頼度は、白線特徴量のスコア，３次元情報のスコア，時系列情報のスコア、それぞれのスコア（１〜０）の積に１００を乗算した数値をエリア別信頼度とする。
【００７７】
各スコアは最高１〜最低０の数値で表現され、数値が高いほど信頼度が高くなる設計とする。以下、エリア別信頼度の算出に用いる、白線特徴量，３次元情報，時系列情報について具体的に説明する。
【００７８】
・白線特徴量
画像上におけるレーンマークの抽出には、路面との輝度差情報や輝度変化パターン、レーンマークの路面における太さ情報，形状情報などを利用している。このような情報を利用して得られた白線特徴量の多さ、また、その白線特徴量が線上へ集まっているか分散しているかの集約度によって白線信頼度を算出する。白線特徴量の多さは、道路上にレーンらしき情報がどの程度多く存在するかを信頼度に反映させ、線状への集約度はその特徴量が画面上に分散するようなノイズかどうかを信頼度に反映している。白線らしき特徴量が少ないもしくは線上に特徴量が集約していないにも関わらず制御に利用することは、安全の観点からも相応しくないと考え、信頼度の計算を行う。
【００７９】
車載カメラ６００にて撮像された画像上のレーンの中で、エリア判定部４１０にて判定された処理領域内に存在する白線特徴量が画像上で線上に並ぶ多さによって信頼度を算出する。エリアの中に理想的な直線実白線がある場合に存在する白線特徴量の多さを１と設定し、まったく特徴量が存在しない場合、もしくは線上に並んでいると判定できない場合に０と判断する。数式で示すと以下になる。また、何かしらの要因で１を超えるような場合にも打ち切り処理により１以上の白線特徴量スコアとならないようにし、マイナスにもならない。
【００８０】
【数１】
【００８１】
・カメラ幾何を利用した３次元情報
抽出された白線特徴量が３次元的な道路構造に相応しい値かどうかの判定を行うことで、信頼度を計算する。
【００８２】
左右レーンの平行性，曲線としての滑らかさ，近傍から遠方まで特徴量の存在の連続性から信頼度を算出する。この場合、エリアごとに評価を行うというよりも、エリアごとの関係を考慮した信頼度の評価対象としている。例えば、平行性に関しては、左右の平行性が低ければ全体の信頼度の低下させる。曲線としての滑らかさの場合、滑らかでないと判定された領域の遠方の信頼度を低下させる。これは基本的に近傍の誤検知が少なく、遠方の誤検知が多いためである。
【００８３】
画面上部と下部の連続性が滑らかでないと判定された場合にも、同様の考えから遠方の信頼度を低下させる。このように３次元の道路構造と比較し、道路構造として相応しくない場合には信頼度を低下させる計算を行うことで、車両制御に適応するに相応しいかを信頼度の数値に反映させる。
【００８４】
まず、近傍エリアのみが認識可能な場合には、道路曲率を利用しないため、スコアは平行性のみで判断する。エリアによってその３次元情報スコア付け方法が変化する。近傍エリアの左右のレーンの認識結果が理想的で完全に両側白線が平行と判断した場合を０とし、ここまでであれば誤差として許容できると考える両白線の角度誤差６度を閾値として利用する。平行性誤差が６度の閾値の場合に３次元情報スコアを０.５とし、誤差１２度以上の場合に０として平行性の誤差の大きさによる３次元情報スコア付けを行う。以下に近傍エリア左右の３次元情報スコアの算出方法を記す。近傍エリアの場合は、左右両側の平行性からスコア判断を行うため、左右エリは全く同じスコアとなる。
【００８５】
近傍エリア（左もしくは右の３次元情報スコア算出数式）
【００８６】
【数２】
【００８７】
ただし、角度誤差１２度以上の場合は上式によらず３次元情報スコア０とする。
【００８８】
・時系列情報
画面上の白線位置，画面上の白線特徴量が急変した場合には、全体的に信頼度を低下させる。急激な変化は、検知していた車線から路肩や車両などへ誤検知の恐れがあると考える。ただし、破線などのレーンマークも考慮し、周期的な画面上特徴量の変化なども考慮し、信頼度を計算することとする。
【００８９】
二本の破線は破線と空白の１セット２０ｍが１周期分となっている。このため車速を考慮しながら２０ｍ進むたびに周期的に変化する特徴量の量などは、破線を認識している証拠ともなるため、実線と比較し特徴量が少ないが信頼度を高めるように時系列情報の信頼度を高くなるように考える。理想的な実白線のように常に白線特徴量の量，輝度差，太さ、が一定の場合を時系列情報スコア１と設定する。また、２０ｍ程度の長さでかつ固定長を車両が走るたびに周期的に変化する白線特徴量も信頼度を高く設定する。過去何ｍ走行分のデータと比較し周期の一致が見受けられるかの、過去何ｍ走行分の長さによってスコアの高低を決める。周期性が全く見受けられない場合にはスコア０とする。過去４００［ｍ］分のデータと比較し、最近の２０ｍ走行分のデータの周期性が認められた場合信頼度１と設定し、過去１００［ｍ］の場合には０.２５と設定することとする。
【００９０】
＜エリア別信頼度補正部４３０（外部情報）＞
次に、外部情報部４５０からの情報を利用したエリア別信頼度補正部４３０の処理について述べる。
【００９１】
ここではエリア別信頼度算出部４２０で算出された１００〜０の信頼度に対して、誤検知要因があるかどうかを外部情報より判定し、その判定結果に応じ信頼度を低下させる補正処理を行う。
【００９２】
まず、外部情報を利用した信頼度補正処理を行う。以下各外部情報を用いた補正処理について説明する。
【００９３】
車両挙動部３５１は、車両のセンサ等の車両状態検知手段であり、この検知手段によって計測された車速センサや操舵角センサ、ヨーレートセンサなどを用いることで、自車両の走行経路を予測することができる。この走行経路と車両制御用パラメータ（推定曲率，ヨー角，横位置）を比較することで、信頼度の補正を行う。例えば、横位置が大きく変化するような場合には、横位置が急変した車線側のエリアの信頼度を遠近両方低下させる。反対に、横位置が安定しているにも関わらず、ヨー角や曲率の値が急変するような場合には、遠方のみが誤検知している可能性が高いことから、遠方エリアの信頼度を低下させる。
【００９４】
車線変更など急な操舵操作をせず、安定した操舵時において、カメラで認識した車両制御用パラメータの横位置，ヨー角が安定しているにも関わらず、車両挙動部３５１から推定される走行経路の曲率と、カメラ認識結果の曲率に所定値以上の差がある場合に、遠方の誤検知を疑って信頼度を半減させる。
【００９５】
カメラ認識結果が曲率ほぼ０の直線道路である際に、操舵操作に応じたカメラ認識結果のヨー角，横位置の変化とならない場合、誤検知を疑い、遠方と近傍の信頼度を半減させる。
【００９６】
また、レーダ部４５２は、ミリ波レーダもしくはレーザレーダ，ステレオカメラである。自車から路面の白線を撮影する際に障害となりうる他車や立体物などを発見した場合、その障害物が写りこむ画像上のエリアの信頼度を低下させる。障害物により白線が見えないことから、そもそも信頼度が低い不検知状態であるか、もしくは誤検知しているにも関わらず信頼度が高くなっている状況である可能性が高い。そこで、障害物がエリアを占める割合と同様分の信頼度を低下させる。エリアの７０％を障害物が占める場合は、エリア別信頼度算出部４００で算出された信頼度の７０％をカットする。このようにエリア別に分けることで、誤検知要因の伝播を防ぐことや、誤検知要因が存在する箇所の結果を除いた車両制御が可能になると考える。
【００９７】
また、ナビ情報部４５３は、ナビゲーション装置であり、ナビゲーション装置から取得した地図情報の曲率と車両制御用パラメータの推定曲率とを比較し、比較した結果、所定値以上の差分がある場合、遠方で誤検知している可能性が高いと考え、遠方の信頼度を低下させる。これにより遠方の誤検知を信頼度に反映させることができる。
【００９８】
また、他カメラ部４５４は、他カメラの認識結果と横位置，ヨー角，曲率の比較を行い、整合性がとれない場合には信頼度を半減させる。
【００９９】
このように、車両挙動部４５１，レーダ部４５２，ナビ情報部４５３，他カメラ部４５４の情報を利用することで、カメラ以外からの情報を利用したレーン認識信頼度計算を行うことが可能となり、より的確に信頼度を計算することが可能となる。これによってより的確な車両制御モードの選択を可能とする。外部情報を取り入れた方がより的確であるが、必ずしも取り入れる必要はない。
【０１００】
また、信頼度が明らかに低いエリアと信頼度が高いエリアが混在する場合、信頼度が所定値より低いエリアの影響を除いて、再度制御用パラメータを推定しなおしても良い。これにより誤検知による制御パラメータへの精度低下，誤検知を防ぐことが可能となる。
【０１０１】
＜エリア別信頼度に応じた車両制御方法の切替え＞
図２３にエリア別信頼度に応じた車両制御部５００で実施されるエリア別信頼度に応じた車両制御方法のフローチャートを示す。
【０１０２】
まずエリア別信頼度に応じた制御モード判定部５０１にて制御モードの判定を行う（Ｓ１）。
その後、自車両の車速情報と舵角情報より、自車経路予測部５０２にて図１２に示す数式を利用し自車両の走行経路を予測する（Ｓ２）。
【０１０３】
図１３に示すように制御用パラメータ推定部にて推定された自車に対するレーンの相対横位置，ヨー角と道路曲率から自車両走行レーンを推定する。制御判定部５０３にて推定された自車両走行レーンと自車経路予測部５０２にて予測された自車両予測走行経路とを比較し、制御の必要性の有無を判定する（Ｓ３）。図１４に示すように自車からＬ［ｍ］遠方において車線逸脱の可能性を判定し、車両制御の有無をまず判定する。
【０１０４】
制御を実施しないＮｏの場合には、再度レーン認識の結果が更新されるまで、Ｓ１の処理を待機し、認識結果が更新されるごとに制御モードの判定を実施する。
【０１０５】
制御を実施するＹｅｓの場合には、目標経路を決定するためのＳ４へ移動する。
制御量決定部５０４にて、自車両予測走行経路と推定自車両走行レーンから図１４に示す曲線制御モードの場合の目標経路を決定する（Ｓ４）。図１４で示す車線内の目標経路を決定する。
【０１０６】
上記設定された目標経路と自車両予測走行経路を比較し、Ｌ［ｍ］遠方におけるその差分の大きさにより制御量決定部５０４にて制御量を決定する（Ｓ５）。
【０１０７】
上記にて決定した制御量を基に車両制御を、車両制御実施部５０５で実施し、実施した結果を次フレームにおける自車経路予測Ｓ２にフィードバックする（Ｓ６）。
【０１０８】
・自車両予測走行経路
以下説明は、共通に利用する制御方法の説明である。自車両から前方Ｌ［ｍ］の距離における自車両の推定経路が目標経路へ近づくようにフィードバック制御を行う。推定経路は、図１２に示すように４輪の自動車の挙動を、前後輪のみの２輪モデルで近似した式（３）を利用し、自車両の操舵角や車速情報を入力して自車両走行経路を予測する。
【０１０９】
【数３】
【０１１０】
［変数説明］
ρ：円先回の半径
ｍ：車両質量
ｌf，ｌr：重心〜前（後）輪距離
ｌ＝ｌf＋ｌr：前〜後輪距離
Ｃf（Ｃr）：前（後）輪のタイヤコーナリングパワー
Ｖ：車速
δ0：前輪舵角
【０１１１】
・目標経路決定と制御量決定
次にカメラによるレーン認識結果を利用し、車線逸脱しそうな場合に逸脱しないように車両を制御するための目標経路を算出する。本車両制御手法は、カメラによるレーン認識結果と、そのエリア別信頼度を基に、道路のカーブ形状を利用した曲線制御モード５４０と、カーブ形状を利用しない直線制御モード５５０の二つの目標経路算出手法を切替えている。
【０１１２】
カメラによって認識された制御用パラメータは、自車とレーンの相対的横位置と相対的傾きを示すヨー角、道路の曲がり具合を示す曲率である。これらのパラメータを利用して、自車両走行レーンを推定する。次に、この自車両走行レーンをベースに目標経路を算出する。制御方法は、車線から逸脱しそうになった場合に車線内に押し戻すような制御とする。この場合左右の認識したレーンに対して独立した制御となる。以下、制御モード別に２つの目標経路算出手法について記す。
【０１１３】
・目標経路算出［曲線制御モード５４０］
曲線制御モード５４０の場合には、車両制御用パラメータの推定結果の曲率を利用し自車両走行レーンを推定する。図１３に示すように、この推定自車両走行レーンのカーブに沿った車線の内側ＷＬ［ｍ］を目標経路とする。図１４に示すように自車両前方Ｌ［ｍ］における自車両予測走行経路と目標経路の差分εを算出し、これが０［ｍ］となるようなフィードバック制御をかける。右側も同様に、推定した右側レーンの内側ＷＲ［ｍ］の走行経路となるようなフィードバック制御をかける
・目標経路算出［直線制御モード５５０］
直線制御モード５５０の場合には、車両制御用パラメータの推定結果の曲率を利用せず直線と仮定し自車両走行レーンを推定する。図１５に実際の道路がカーブ時である場合に、直線仮定の推定自車両走行レーンの内側ＷＬ［ｍ］を目標経路とする。図１６に示すように自車両前方Ｌ［ｍ］における自車両予測走行経路と目標経路の差分εを算出し、これが０［ｍ］となるようなフィードバック制御をかける。右側も同様に、推定した右側レーンの内側ＷＲ［ｍ］の走行経路となるようなフィードバック制御をかける。直線走行時には曲線制御モード５４０と比較し大きな差分εが現れないが、急カーブであるほど差分εが大きくなる。
【０１１４】
図１６に示すように、直線を仮定し車線内側ＷＬ［ｍ］（or ＷＲ［ｍ］）となるようなフィードバック制御を行う。図１５，図１６からわかるように直線制御の場合にはカーブを曲がりきれずに車線逸脱しそうな車両に対し、車線内側に戻す制御量が不足する傾向がある。急カーブであると対応しきれずに、車線逸脱のタイミングを遅らせることしかできない可能性が高くなる。
【０１１５】
誤検知した曲率を利用し制御を行うと、車線逸脱する方向へ誤制御する可能性があるのに対し、直線で近似した車両制御を行う場合、制御量の不足はあってもカーブを逸脱する方向へ制御がかかる可能性が低く、より安全を重視した車両制御と言える。
【０１１６】
遠方車両が自車走行レーンの一部を隠している場合や、ボッツドッツ，かすれた白線，逆光などが影響し、自車両から遠方の白線の検知が困難な場合、遠方のレーン認識信頼度が低下する。遠方の白線が認識できていない場合、円のごく一部、より狭い範囲のみから曲率を推定することとなり、推定精度低下が予想される。
【０１１７】
また、遠方部分での誤検知による精度低下も考えられる。遠方エリアの信頼度が低いにも関わらず、近傍エリアおける信頼度が高い場合には、曲率精度は低下してもヨー角や横位置の精度は制御に耐えうる精度を十分に確保可能である。そこで、本手法では、緩いカーブや直線路における車線逸脱防止の制御に十分対応可能な、道路形状を直線と見立て（ヨー角，横位置）を利用した車両制御を行う。
【０１１８】
・車両制御実施
本実施例における車両制御のモードは下記Ａ，Ｂ，Ｃ，Ｄの４パターンである。
【０１１９】
Ａ）曲線制御モード５４０ （曲率，ヨー角，横位置）
Ｂ）直線制御モード５５０ （ヨー角，横位置）
Ｃ）警告モード５６０ （横位置）
Ｄ）停止モード５７０ （なし）
【０１２０】
このＡ，Ｂ，Ｃ，Ｄのモード切替えを信頼度に基づいて実施する。実際に、車両を制御するモードは、前述の推定経路を算出するＡ，Ｂの２種類である、Ｃについては、ディスプレイ上もしくはランプによる逸脱警告を表示する。もしくは、警報や警告を意味する振動など、ドライバーに車線逸脱したことを、視覚的，聴覚的もしくは触覚的に伝えるような手法であってもよい。停止モードは、エリア別信頼度が低いため、制御や警告をまったく行わない状態である。
【０１２１】
従来手法のように画面全体のレーン認識結果に対する信頼度を利用している場合には、遠方のみが見えづらく、近傍が見えているような時にも、誤制御や誤警報防止の観点より全体の車両制御を停止していた。
【０１２２】
本実施例におけるＡとＤの単純切替えの状態にあった。また、車両制御適応範囲拡大のために、多少信頼度が低くとも車両制御を試みれば、誤制御を引き起こす要因となっていた。
【０１２３】
従来手法では、現在誤検知、もしくは不検知のエリアを特定できないため、曲率，ヨー角，横位置などから信頼できる検知結果を分類できず、安全のためには、すべての情報を利用せずに動作停止することしかできなかった。
【０１２４】
これと比較し新手法では、エリア別の信頼度を利用することで、例えば、遠方エリア別信頼度の低下から曲率精度の低下を判断し、通常の曲線制御モードから、誤制御防止の観点を重視し利用可能なヨー角，横位置を利用した直線制御モードへ切替える。エリア別信頼度を採用することにより、従来は動作停止していたような道路状況であっても、信頼できるパラメータのみを活用した段階的な制御モードを準備することで、安全性の高さを確保したまま、車両制御適応範囲の拡大を図る。
【０１２５】
＜表示系について＞
エリア別信頼度の結果に応じて、レーン認識結果の状況を表示装置６０９に表示しドライバーに伝える。信頼度が高ければ輝度が高く、信頼度が低ければ輝度が低くなり、ユーザにレーン認識による車線逸脱防止制御が動作可能状況にあるかどうかをユーザに伝える。
【０１２６】
エリア別に行うことでレーンの認識状況が左右別、更には遠近別に把握することが可能であり、また車線逸脱防止制御の作動状況を知ることが可能である。
【０１２７】
また上記機能は、信頼度の変化を輝度で表しているが、これが色であっても形状であっても良い。
また、上記の表示装置が、エリア別信頼度に応じて切替えられた制御モードをユーザに伝えるための表示装置であってもよい。例えば、図２０の制御モード別表示装置に示すように、左右別に独立に制御モードの表示を行う。図２１の制御モード別表示形式に示すような、左右別の制御モードに応じて表示が変化し、これによりユーザがカメラによるレーンの認識状況を把握するとともに、現在の制御モードを把握することができる。
【０１２８】
このため白線が見えにくく、車線逸脱防止機能が利用できないような状況において、レーン逸脱制御機能がついていることに過信しないように、ドライバーに対する抑制効果が期待される。
【０１２９】
＜制御パラメータ別信頼度に応じた車両制御＞
また、エリア別信頼度ではなく制御パラメータ（曲率，ヨー角，横位置）に応じて、信頼度を算出しても良い。図１７に示すようにパラメータ別信頼度算出部がまず異なるが、信頼度の算出方法はエリア別信頼度の計算と同じように、画像処理結果の白線特徴量やカメラ幾何による３次元情報、またこれらの時系列情報を利用し計算する。この制御パラメータ別信頼度に応じた車両制御方法も、図１８に示す制御モードの切替え方法が異なる。この制御パラメータ別信頼度に応じて制御モードを切替える方法を図１８に示す。まず、横位置の信頼度に応じ横位置利用判定５８１において、横位置の利用の可否を判定する。横位置利用判定がＮｏの場合には横位置が利用できないため、曲線制御，直線制御はもちろん警告も出せないと判定し停止モード５７０を選択する。横位置利用判定がＹｅｓの場合には、ヨー角利用判定５８２へ進む。
【０１３０】
ヨー角利用判定５８２では、ヨー角の信頼度に基づいてヨー角利用の可否を判定する。ヨー角利用判定５８２がＮｏの場合には、横位置のみが利用可能と判断し、横位置を利用した警告モード５６０を選択する。ヨー角利用判定５８２がＹｅｓの場合には、曲率利用判定５８３へ進む。
【０１３１】
曲率利用判定５８３では、曲率の信頼度に基づいて曲率利用の可否を判定する。曲率利用判定５８３がＮｏの場合には、ヨー角，横位置が利用可能と判断し、ヨー角，横位置を利用した直線制御モード５５０を選択する。曲率利用判定がＹｅｓの場合には、曲率，ヨー角，横位置を利用した制御が可能と判断し、曲線制御モード５４０を選択する。
【０１３２】
また、これをエリア別信頼度補正部４３０おいて車両挙動部４５１，レーダ部４５２，ナビ情報部４５３，他カメラ部４５４からの情報を利用し補正する。遠方で誤検知もしくは不検知の場合には、遠方のレーン認識結果が信用できないため、曲率の信頼度を低下させることで、車両制御時の利用可否の判定に利用する。同様に、ヨー角や、横位置の信頼度から図１８のフローに示すように制御か警告かの判定を行う。
【符号の説明】
【０１３３】
１００ 画像取得部
２００ レーン認識部
３００ 制御用パラメータ推定部
４００，４２０ エリア別信頼度算出部
４１０ エリア判定部
４３０ エリア別信頼度補正部
４５０ 外部情報部
４５１ 車両挙動部
４５２ レーダ部
４５３ ナビ情報部
４５４ 他カメラ部
５００ 車両制御部
５１０ レーン別制御判定
５２０ 曲率利用判定
５３０ 警告判定
５４０ 曲線制御モード
５５０ 直線制御モード
５６０ 警告モード
５７０ 停止モード
６００ 車載カメラ
６０１ 操舵角センサ
６０３ アクチュエータ
６０６ 車速センサ
６０７ ヨーレートセンサ
６０９ 表示装置
６１０ ＥＣＵ
１０１０ 左遠方
１０２０ 左近傍
１０５０ 右遠方
１０６０ 右近傍
【技術分野】
【０００１】
車両の車線逸脱を制御する車両制御装置に関する。
【背景技術】
【０００２】
車両にカメラやレーダを取り付けてレーンマークを認識し、自車と車線の相対的位置関係や傾き、そして道路の曲がり具合を示す曲率を推定するレーンマーク認識装置がある。この曲率，ヨー角，横位置に応じて車線逸脱等の事故を防止するために車線逸脱警報や車線逸脱防止の制御を行う車両制御装置がある。従来の手法では、レーンマーク認識結果全体に対して信頼度を算出し、この信頼度の結果に応じて、車線逸脱制御方法を切替える車線逸脱防止制御装置があった（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１７８６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
道路鋲（ボッツドッツ）や、白い路面（コンクリート）上のかすれた白線などは遠方だけが見えづらい場合がある。また太陽の方向によっては左右片側だけ見えづらいことや、片側のみレーンマークが擦れている場合やボッツドッツである場合がある。
【０００５】
上記従来技術では、レーン認識結果全体に対して信頼度を算出するため、部分的に見えづらい領域があれば信頼度全体が低下し、逸脱防止制御の動作率が低下するという課題があった。
【０００６】
本発明の目的は、誤制御を抑制しながらも、車線逸脱防止の適用範囲を拡大する車線逸脱防止制御装置を提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、自車前方の画像を撮像する車載カメラと、複数の車両制御方法から１つの車両制御方法を決定し、決定された車両制御方法でアクチュエータを制御する処理ユニットと、を有し、車載カメラは、撮像し、取得した画像と認識したレーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部を有し、処理ユニットは、エリア別信頼度情報に基づいて車両制御方法を決定する車両制御部を有する車両制御装置の構成とする。
【０００８】
さらに、車速情報を検出する車速センサと、操舵角情報を検出する操舵角センサと、ヨーレート情報を検出するヨーレートセンサと、を有し、車載カメラは、自車前方の画像を取得する画像取得部と、取得された画像からレーンを認識するレーン認識部と、道路の曲がり具合を示す道路曲率、自車両と走行レーンとの相対的姿勢を示すヨー角、相対的位置を示す横位置を推定する制御用パラメータ推定部と、取得した前記画像と認識した前記レーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部と、を有し、処理ユニットの車両制御部は、道路曲率，ヨー角，横位置の少なくとも１つと、エリア別信頼度情報と、に基づいて車両制御方法を決定する構成とする。
【発明の効果】
【０００９】
誤制御を抑制しながらも、車線逸脱防止の適用範囲を拡大する車両制御装置を提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る車両制御装置の一構成例を示す図である。
【図２】図１の車両制御装置のエリア別信頼度算出部の一構成例を示す図である。
【図３】図１の車両制御装置の車両の制御モードを判定するフローチャートを示す図である。
【図４】本発明において左右遠近にエリアを分けた場合を説明する図である。
【図５】本発明においてレーン別にエリアを分けた場合を説明する図である。
【図６】本発明においてカメラ別，レーン別にエリアを分けた場合を説明する図である。
【図７】本発明において、各エリアにおける車両制御モードの対応表を示す図である。
【図８】本発明において、車両制御モードの切替え用閾値を説明する図である。
【図９】曲率を利用した制御を行う場合のエリア別信頼度の条件と、制御の概要を説明する図である。
【図１０】直線を利用した制御を行う場合のエリア別信頼度の条件と、制御の概要を説明する図である。
【図１１】車線逸脱の警報もしくは警告する場合のエリア別信頼度の条件を説明する図である。
【図１２】本発明の２輪モデルによる推定経路を示す図である。
【図１３】曲線制御モードの場合の目標経路算出を説明する図である。
【図１４】曲線制御モードの場合の目標経路との差分算出を説明する図である。
【図１５】直線制御モードの場合の目標経路算出を説明する図である。
【図１６】直線制御モードの場合の目標経路との差分算出を説明する図である。
【図１７】本発明に係る車線逸脱防止制御装置の他の構成例を示す図である。
【図１８】図１７の車線逸脱防止制御装置の車両制御フローチャートを示す図である。
【図１９】本発明に係る車線逸脱防止制御装置を搭載した車両の一構成例を示す図である。
【図２０】本発明の車両制御モードの表示例を示す図である。
【図２１】本発明の車両制御モードに応じた表示形式の一例を示す図である。
【図２２】信頼度に応じて動的にエリア遠方の距離を変化させる方法を説明する図である。
【図２３】本発明のエリア別信頼度に応じた車両制御方法のフローチャートを示す図である。
【図２４】本発明のエリア別信頼度に応じた車両制御部を説明する図である。
【発明を実施するための形態】
【００１１】
本発明は、自車前方の画像を撮像する車載カメラ６００と、複数の車両制御方法から１つの車両制御方法を決定し、決定された車両制御方法でアクチュエータを制御する処理ユニットであるＥＣＵ６１０と、を有し、車載カメラ６００は撮像し、取得した画像と認識したレーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部４００を有し、ＥＣＵ６１０は、そのエリア別信頼度情報に基づいて車両制御方法を決定する車両制御部５００を有する構成とすることで、誤制御を抑制しながらも、車線逸脱防止の適用範囲を拡大する車両制御装置を提供できるものである。
【００１２】
以下、各図面を用いて本発明の実施形態を説明する。
【００１３】
＜車線逸脱防止制御装置の構成説明＞
図１９を用いて車両制御装置を搭載した車両の構成を説明する。
【００１４】
図１９に示すように車両前方に向けた車載カメラ６００を搭載し、車載カメラ６００と車両制御をつかさどるＥＣＵ（Engine Control Unit）６１０はＣＡＮ（Controller Area Network）により接続されている。車両には、ＥＣＵ６１０と各センサ（車速センサ６０６，操舵角センサ６０１，ヨーレートセンサ６０７）とアクチュエータ６０３を備えた車両制御装置。ＥＣＵ６１０はＣＡＮ通信にて車両内の各センサから車速，操舵角，ヨーレートなどの情報を取得する。ＥＣＵ６１０はＣＡＮ通信にて上記各センサ及び、カメラで計算されたエリア別信頼度情報を基に、車両制御方法を決定する。ＥＣＵ６１０は決定された車両制御方法からアクチュエータ６０３を利用し車両を制御する。また、このエリア別信頼度もしくは、現状の車両制御モードの結果を表示する表示装置６０９を備えている。
【００１５】
車載カメラ６００は図１に示すように画像取得部１００，レーン認識部２００，制御用パラメータ推定部３００，エリア別信頼度算出部４００機能を備えている。車両制御はＥＣＵ６１０で実施されるため、エリア別信頼度に応じた車両制御部５００を備えている。また、レーン認識部２００，制御用パラメータ推定部３００，エリア別信頼度算出部４００はＥＣＵ６１０の機能であってもよい。
【００１６】
図１にレーン認識結果の信頼度をエリア別に備えた車線逸脱防止制御装置の構成図を示す。この図１を用いて車載カメラ６００の各構成要素を説明する。
【００１７】
車両制御装置には、車載カメラ６００からの画像を取得する画像取得部１００と、取得された画像を利用しレーンの認識を行うレーン認識部２００、道路の曲がり具合を示す道路曲率、自車両と走行レーンとの相対的姿勢関係を示すヨー角、相対的位置関係を示す横位置、といった車両制御に利用するパラメータを推定する制御用パラメータ推定部３００、エリア別にレーン認識結果の信頼度を算出するエリア別信頼度算出部４００、更にエリア別信頼度と制御用パラメータ推定結果に基づいて車線逸脱防止制御を行うエリア別信頼度に応じた車両制御部５００を備える。
【００１８】
ここで、信頼度とは、レーン認識結果が誤検知することなく、正しく走行レーンを認識し、車両制御もしくは警告を行うに値するかどうかを示す指標であり、画像中に線上に並ぶ白線特徴量の多さや、抽出した線の平行性などから数値的に示す。
【００１９】
信頼度が高いほど認識結果が正しく、低いほど誤検知もしくは認識精度が低いことを示し、車両制御や警告に適さないことを示す。
【００２０】
本実施例では、車載カメラ６００は、自車走行方向へ向けた車載単眼カメラを想定した実施例について記載するが、カメラはステレオカメラであっても、車両周囲を撮影する複数カメラであってもよい。またレーンを認識するセンサ部分は、レーザレーダや、ミリ波レーダなどカメラ以外のセンサでも良い。
【００２１】
次に、図２を用いてエリア別信頼度算出部４００の構成を説明する。
エリア別信頼度算出部４００は、レーン認識した結果に応じてエリアを分割するエリア判定部４１０を備える。本実施例では、自車走行レーンの左右のレーンにエリアを分割し、更に距離別に遠方，近傍の二つに分割し、左遠方１０１０，左近傍１０２０，右遠方１０５０，右近傍１０６０の計４エリアに分割した。
【００２２】
また、エリア判定部４１０によって分割された各エリアに対し撮像された画像情報を基に信頼度を算出するエリア別信頼度算出部４２０を備える。更に、エリア別信頼度算出部４２０にて画像情報を利用して得られたエリア別信頼度に対し、外部情報部４５０を利用して信頼度の補正を行うエリア別信頼度補正部４３０を備える。上記外部情報部４５０は、自車両の挙動を解析するための車速センサや加速度センサ，操舵角センサ，ヨーレートセンサなどから自車両の走行情報を扱う車両挙動部４５１、障害物や先行車などを検知することのできるミリ波レーダ、もしくはレーザレーダもしくは、ステレオカメラからなるレーダ部４５２を備える。
【００２３】
また、カーナビゲーションシステムの地図情報やナビに搭載されたＧＰＳや角速度センサ（ジャイロセンサ），加速度センサ，方位センサによる車両位置からの走行解析可能なナビ情報部４５３を備える。また、外部情報部４５０には、エリア別信頼度を算出するカメラ以外に、他カメラからの情報を利用するための他カメラ部４５４を備える。
【００２４】
図２４を用いてエリア別信頼度に応じた車両制御部５００における処理の車両制御部を説明する。エリア別信頼度に応じた車両制御部５００で、エリア別信頼度に応じた車両制御を実施する。エリア別信頼度に応じた車両制御部５００の詳細な機能ブロックを図２４に示す。
【００２５】
エリア別信頼度の結果を利用して車両制御のモード切替えを、エリア別信頼度に応じた制御モード判定部５０１にて実施する。自車経路予測部５０２では、車速情報や、舵角情報を利用して、このまま車線逸脱回避制御やドライバーによる介入無に自車両が進んだ場合の経路推定を行う。この推定された自車推定経路の結果と、制御用パラメータ推定部３００にて推定されたレーン認識の結果を比較して自車両が車線逸脱の可能性があるかどうかの判定を制御判定部５０３にて行う。
【００２６】
車線逸脱の可能性がない場合には、制御量決定部５０４では制御量０を選択、車両制御実施部５０５では制御を実施せず、逸脱の可能性を監視し、逸脱回避のための制御を待機している状況となる。
【００２７】
車線逸脱の可能性がある場合には、制御量決定部５０４にて自車前方Ｌ［ｍ］における推定経路と認識した車線との横位置差分を基に舵角へ与える制御量を決定する。車両制御実施部５０５にて、上記決められた制御量を利用し、車線逸脱回避のための車両制御を実施する。
【００２８】
エリア別信頼度に応じた車両制御部５００では、エリア別信頼度に応じて制御モードを切替えることで車両制御を実施する。以下では、エリア別信頼度に応じた制御モード判定部５０１における、エリア別信頼度による制御モードの切替えについて、各図面を用いて説明する。
【００２９】
本実施例では、図４に示す通り、信頼度算出のエリアを左遠方１０１０，左近傍１０２０，右遠方１０５０，右近傍１０６０の計４エリアに分けた。図３では、そのうち左遠方１０１０と左近傍１０２０を利用したエリア別信頼度に応じた左車線に対する車両制御方法を示す。本実施例では、左右のレーンに対して、それぞれ独立した制御を行うため、右遠方１０５０と右近傍１０６０のエリア別信頼度に応じた車両制御も左車線に対するものと同様となるため詳細は省略する。
【００３０】
レーン別制御判定５１０において、自車両の左右直近のレーンに対し、左右別に制御の可否の判定を行う。本説明では左レーンに対する信頼度より、自車走行レーンの左車線に対する制御実施の判定を行う。左右別に独立した制御の可否判定を行うことで、左右一方でも信頼度高く検知できていれば、信頼度の高いレーンに対する車両制御を行うことが可能となり、車両制御適応範囲の拡大が可能である。また、擦れてはっきり見えていない車線に対し制御を行ってよいかの判定を左右別に判定が可能となっているため、誤検知による誤制御を避け、より安全に配慮したシステム構築が可能となる。
【００３１】
レーン別制御判定５１０において左近傍１０２０のエリア別信頼度が制御の可否を判定する閾値である近傍第１所定値以上かどうかの判定を行う。
【００３２】
Ｙｅｓの場合は制御可能と判定し、次に、左遠方１０１０のエリア別信頼度が曲率利用の制御の可否を判定する閾値である遠方第１所定値以上かを曲率利用判定５２０にて行う。ここでは遠方の信頼度が遠方第１所定値以上であるか判定を行う。遠方を見なければ道路の曲がり具合が不明のため、左遠方のレーンは画像上で多くの白線特徴量を抽出できているか、またおおよそ画面上で線上にその特徴量が集まっているかどうかにより遠方の信頼度を算出する。左遠方の白線特徴量が多く存在し、かつ、直線状に並んでいれば信頼度が高く推定した曲率が正しい道路形状を示していると考えて道路の曲がり具合を考慮した車両制御を可能とする。
【００３３】
図９に示すように、近傍だけでなく遠方の信頼度もそれぞれの第１所定値以上であることが確認された場合には、曲率利用判定５２０において、曲線制御モード５４０（Ｙｅｓ）を選択する。反対に、図１０に示すように遠方の信頼度が遠方第１所定値より低い場合には、曲率利用判定５２０において直線制御モード５５０（Ｎｏ）を選択する。
【００３４】
近傍の信頼度が高いにも関わらず遠方の信頼度が低い場合には、車両制御に曲率の利用を避ける。曲率を算出する場合には、近傍だけでなく遠方までのレーン認識結果が得られていなければ、曲率を精度良く算出することが困難である。また、信頼度が低い場合には誤検知による曲率精度の誤差も懸念される。このため遠方の信頼度が低い場合には、誤差のある曲率を使用したことによる誤制御を避けるために、直線制御モード５５０を選択する。
【００３５】
更に、図１１に右側レーンに対して警告モードの場合を表に示す。
レーン別制御判定５１０にて近傍第１所定値未満の場合Ｎｏとなり、警告判定５３０にて左近傍の信頼度が近傍第２所定値以上である場合、車両制御するほどにレーンの認識結果の精度が信用できないが、警告を表示、もしくは警報をならすことを実施する警告モード５６０を選択する。
【００３６】
誤制御は車両の安全性に悪影響を及ぼす可能性が高いため、信頼度が高い場合にのみ車線逸脱防止の制御を行う。信頼度が低い場合はレーンを誤検知している可能性が高くなる、このため誤制御を回避するために、誤検知中に車線逸脱防止装置が動作してもドライバーにとって不快を与える誤警告のみにとどめ、車両の安全性には影響を及ぼさないような安全性の高いシステム構成とする。
【００３７】
レーン別制御判定５１０にて近傍第１所定値未満の場合Ｎｏとなり、警告判定５３０にて左近傍の信頼度が近傍第２所定値未満である場合、信頼度が低すぎて警告もならせないものとする。
【００３８】
なお、制御モードの詳細記載は、下方の＜車両制御方法の切替え＞で示す。
本システムの設計では、エリア別の信頼度を利用することで曲線制御モード５４０、遠方の信頼性低下による直線制御モード５５０、信頼性低下による警告モード５６０、更なる信頼性低下による停止モード５７０のいずれかの動作を選択している。５４０〜５７０の中で番号の若い制御モードほど、高度な車両制御となりドライバーにとって快適な運転のサポートとなる。
【００３９】
曲線制御モード５４０と直線制御モード５５０の制御の違いとは道路のカーブ形状を考慮するかどうかの違いであり、カーブ形状を考慮しない直線制御モード５５０では、カーブ走行時の逸脱制御に遅延が生じ逸脱タイミングを遅らせることはできるものの、車速や曲率によっては逸脱を完全に防止できない。よりドライバーにとって快適な制御は、より高いレーン認識の信頼度を必要とする。反対に言えば、遠方の信頼度が低いような悪条件な道路において高度な制御を行えないものの、認識が比較的容易な近傍の結果のみを利用し、安全重視，誤制御抑制した機能抑制の制御を実施することが可能となる。
【００４０】
また、図３のレーン別制御判定５１０において制御不能のＮｏを選択した場合、車両制御を行わないこととなるが、警告判定５３０において自車近傍の信頼度が近傍第２所定値より高ければＹｅｓと判定し、警告モード５６０を選択する。警告判定５３０において近傍第２所定値より低ければ停止モード５７０を選択する。安全やドライバーの利便性の観点から、誤警告よりも誤制御の方が避けるべき事態であることを考慮した上で、制御と警告，停止の選択を行っている。近傍第１所定値よりも近傍第２所定値の方を低く設定し、近傍第１所定値以上の信頼度であれば、制御モード（曲線もしくは直線），近傍第１所定値未満かつ近傍第２所定値以上であれば、警告モード５６０、近傍第２所定値未満であれば停止モード５７０とする。
【００４１】
図７，図８にエリア別信頼度と制御の関係を表にまとめる。
左右車線に対する車両制御は、左右対称独立であるため、下記説明では上下の信頼度の関係を考慮しながらの、車両制御切替えを説明する。
【００４２】
遠方信頼度の結果に応じて車両制御に曲率の使用・不使用を判定する閾値として、遠方第１所定値を定める。近傍信頼度の結果に応じて車両制御と警告を切替える閾値として近傍第１所定値、警告と停止を切替える閾値として近傍第２所定値を定める。
【００４３】
遠方の信頼度が遠方第１所定値より高く、近傍の信頼度も近傍第１所定値より高い場合、カーブをも考慮した高度な曲線制御モード５４０を実施する。
【００４４】
また、遠方の信頼度が遠方第１所定値より低く、近傍の信頼度が近傍第１所定値より高い場合、カーブを考慮せず、直線道路と仮定した直線制御モード５５０を実施する。これは、遠方の誤検知、もしくは不検知による曲率精度の低下を懸念して、カーブ中の制御には遅れが生じるものの、誤制御を抑制する安全性を重視した制御方法を実施する。
【００４５】
また、遠方の信頼度が遠方第１所定値より低く、近傍の信頼度が近傍第１所定値より低く近傍第２所定値より高い場合、車両誤制御を懸念しより安全性を重視した設計として警告モード５６０を実施する。
【００４６】
また、遠方の信頼度が遠方第１所定値より低く、近傍の信頼度も近傍第２所定値より低い場合、認識状態が制御，警告を実施できる状況にないと判断し制御，警告の動作を停止する停止モード５７０を実施する。
【００４７】
なお、遠方の信頼度が遠方第１所定値より高く、近傍の信頼度が近傍第１所定値より低い場合は、存在しないような信頼度計算方法としているため、対応する制御方法はない。
【００４８】
信頼度計算方法部分で詳細を述べる。近傍の車線が存在しないにも関わらず遠方のみ車線が見えるような状況は、誤検知である可能性が高いため、信頼度は近傍の車線情報からの連続性を見る計算を行う。このため近傍の信頼度が遠方の信頼度に影響を及ぼすので、遠方の信頼度のみが高い場合は存在しない。
【００４９】
本実施例では、曲線制御モード５４０と直線制御モード５５０を切替えて実施している。ただし、この切替えを常に中間値を持つように、信頼度の高さに応じて曲線と直線の中間の目標経路を設定するような手法でも良い。
【００５０】
図１４，図１６で説明すると、遠方の信頼度が高いほど図１４の曲線に近い強い操舵制御となり、遠方の信頼度が遠方第１所定値に近づくにつれて図１６の直線時の弱い操舵制御となるような信頼度に応じ操舵制御の強さに変化が生じても良い。
【００５１】
また、モード自体は変化しても、制御量が一気に変化しないような時定数をもたせ、制御には徐々に影響するようにしても良い。
【００５２】
＜エリア分割方法＞
本実施例では、カメラのエリアを図４に示すように、左遠方１０１０，左近傍１０２０，右遠方１０５０，右近傍１０６０の計４エリアに分割した。
【００５３】
カメラによるレーン認識では、遠方を認識対象とするほど画像上で小さくレーンが撮像されることとなり一般的に認識が困難となる。また、遠方であるほど路面以外の対象がカメラ中に撮像される可能性が高く、路肩や先行車両，障害物などがレーン認識の障害となり認識が困難となる傾向が強い。
【００５４】
従来のようにレーン全体に対し信頼度を算出しているような場合には、遠方が誤検知もしくは不検知状態の場合にはレーン全体の信頼度が低下し、近傍は画面上ではっきり認識可能でありながらも、誤制御回避などのために車両制御自体を停止するなどの処置をとっていた。 遠方のみが誤検知し、近傍のレーンが認識できているような場合を想定すると、近傍の認識結果のみを利用した制御を行いたい。また、ボッツドッツや、かすれた白線などの場合には、遠方のみが不検知で近傍のレーンが認識できているような場合を想定すると、これも近傍の認識結果のみを利用した制御を行いたい。
【００５５】
本実施例では、エリア別信頼度を用いることで遠近左右別にレーンの認識状況を判断し、最適な制御モードを選択する。これにより遠方のみがレーン認識困難な道路では遠方までの道路のカーブ状況を考慮できない限定的な制御となるものの、誤検知もしくは不検知による制御への悪影響を除きながらも限定的な直線制御モードを制御適応範囲の拡大に成功した。
【００５６】
本実施例では、距離方向二つに分割したが、認識対象とする遠方の距離に応じて分割数が異なっても同様の効果が望める。ただし、破線などを考慮するとエリアの距離方向は２０ｍ程度以上が望ましい（２０ｍあれば破線であっても実線と間隔の両方がエリア内に収まるため、エリアから白線が消えることがない）。短すぎる場合、例えば１０ｍ程度の場合には瞬間的に画面から白線すべてが消える瞬間があり、制御に利用するかどうかの判定が難しくなる。またエリアは、認識状態に応じて距離方向に動的に変化しても良い。
【００５７】
また、図２２に示すように距離方向にエリアを分割する代わりに、信頼度に応じて動的にエリア遠方の距離を変化させるような方法でも良い。レーン認識の処理領域を図２２に示すように左右のレーンに対して定めた際の最遠方の距離を信頼度に応じて変化させる。信頼度が低下した場合には、誤検知要因や不検知要因となりやすいエリア遠方の距離を短くする。反対に信頼度が上昇した場合には、正しいレーン位置を認識していると判断し、次フレームでは更にレーンの認識精度、特に曲率の推定精度を向上させるために処理領域を遠方にまで伸ばすことで道路の曲がりぐらいを推定しやすい処理領域の設定とする。
【００５８】
図２２左レーンに示すように距離第２所定値以上（距離第２所定値より遠方）の場合、かつこの距離までのエリア別信頼度が距離変化第１所定値以上の場合には、処理領域中の遠方から近傍までの信頼度が高く、更に遠方からの近傍までの距離が長く道路の曲がり具合を示す曲率を推定するのに十分な距離を保持していると考え、曲線制御モード５４０にて車両制御する。
【００５９】
図２２右レーンに示すように、処理領域最遠方の距離が距離第１所定値未満、かつ距離第２所定値以上となり、かつ信頼度が距離変化第１所定値以上の場合には、直線制御モード５５０にて車両制御する。
【００６０】
更に処理領域最遠方の距離が距離第１所定値未満、かつ信頼度が距離変化第１所定値以上の場合には警告モード５６０とする。
【００６１】
処理領域最遠方の距離が距離第２所定値未満もしくは信頼度が距離変化第１所定値未満の場合には停止モード５７０とする。
【００６２】
基本は、４分割と同じように、信頼度が所定値以上であるエリアの距離方向の長さと信頼度にて制御のモード選択を行い、それによって生じる作用や効果も同様である。
【００６３】
本実施例では、画面上を上下（距離方向）に分割するとともに、左右にも分割を行った。例えば、左右片側のみ擦れたレーン、もしくは路面と低コントラストなレーン、もしくはボッツドッツのような、左右のレーンで認識し易さに大きな差異が生じる場合がある。このような道路状況は比較的持続する傾向が強い。このため従来手法では、片側レーンが見えないことからレーン全体の信頼度が低下し、車両制御が持続して適応できない場合があった。
【００６４】
本実施例の様に左右で別々に信頼度を設けているような場合には、片側車線のみでも信頼度が高い場合には制御が可能となり、制御適応範囲を拡大することが可能となる。
【００６５】
また、従来手法のまま車両制御適応範囲を拡大しようとすると、信頼度が多少低くとも車両制御を行うこととなる。このため、十分に見えてない側の車線に対しても車両制御や警報を実施する結果となり、車線逸脱防止制御装置の誤動作の観点からも望ましくない状況といえる。
【００６６】
本実施例では、自車走行レーンの左右のレーン毎にエリア分割を行っているが、図５のようにレーンごとにエリアを設けてもよい。視野が広いカメラを利用する場合には、自車走行の左右レーン１０７１，１０７２だけではなく、隣車線のレーン１０７０，１０７３をも認識対象とすることがある。
【００６７】
隣車線のレーン１０７０，１０７３をも認識対象とすることで、例えば図５の右側車線変更直後に自車両走行レーン１０７２，１０７３を利用した車両制御にも早急に対応可能となる。カメラの視野角や制御方法などシステム構想が決まる段階で４つのレーンに対してエリアを設けることを決定し、エリア判定部４１０では認識結果を照らし合わせて、例えば自車両にとって最も近い左レーンはこの画像処理エリアの認識結果であるということを判定する。画像処理エリアや認識結果，途中結果などの情報を利用して、エリア別信頼度を算出する。
【００６８】
また、信頼度が明らかに低いような場合には、車線変更先の車線の存在を疑い、（障害物の存在，道路外）車線変更の前に警告することも可能である。
【００６９】
また、エリア別の信頼度を持つことで、その後の、制御用パラメータのヨー角，曲率を推定する際に、信頼度の低いエリアの車線からヨー角，曲率に与える影響を小さく、もしくは無くすことが可能である。すべての車線が平行かつ曲率が同様であるとの仮定から、信頼度が所定値以上のエリアの白線を利用した制御用パラメータの推定が可能となる。
【００７０】
また、上記と同様の考え方から信頼度の高いエリアの車線情報のみを利用して、カメラの消失点の自動更新を行うことで、より高精度なカメラ俯角の自動更新を行うことも可能とし、高精度なパラメータ推定や、その後の認識の安定性も高めることを可能とする。
【００７１】
また、カメラ別にエリア分割しても良い。図６にカメラ別の視野にエリアを分割した例を示す。カメラ別のエリアに分けることでも、左右や上下と同様の効果に期待ができる。また、カメラ別のエリアに分けることで、信頼度の低いエリアの認識結果の影響を抑えた、もしくは除いた制御用パラメータ推定が可能となり高精度化と共に高信頼化を可能とする。
【００７２】
カメラの視野角や制御方法などシステム構想が決まる段階でエリア分割方法を決定する。
レーン認識部２００は、前方のカメラは同様で遠方の曲率を見ない部分のみが異なる。後方カメラも自車に対して前後が反転しただけで認識方法は同様である。側方カメラに関しても、画面内の白線特徴量を抽出し、直線状に並ぶ白線特徴量が多い直線をレーンとして認識する。ただし、自車両右側の直線を前方，右側方，後方カメラで画像処理することとなるため、それぞれのカメラで抽出した直線結果から外れ値除去、及び時間的，空間的な平滑化をし最終的な制御用パラメータを算出するのは制御用パラメータ推定部３００実施し、自車両とレーンの相対的な横位置，ヨー角の推定を行う。
【００７３】
カメラ別のエリアとなる左右の側方カメラはエリア判定部４１０ではカメラとエリア別信頼度の対応付けのみを行う。前方カメラ，側方カメラでは、それぞれ自車に対して左と右のレーンを認識するため、自車位置とレーンの対応関係から自車左のレーンに対する信頼度を算出する。
【００７４】
図６では、前方，後方，左側方，右側方の４つカメラが設置された場合、自車走行車線の左前方，左側方，左後方，右前方，右側方，右後方の６つのエリアに分割することができる。
【００７５】
＜エリア別信頼度算出部４００＞
図２に記載のエリア判定部４１０において分割された各エリアに対して、エリア別信頼度算出部４２０では、撮像された画像情報よりエリア別信頼度を算出する。画像情報からのエリア別信頼度算出には、以下に詳細を示す白線特徴量，３次元情報，時系列情報の３種類の情報を利用する。これらの情報に基づいてエリア別信頼度を１００〜０の数値として算出することで、レーン認識の認識状態を適切に表現することを可能とする。
【００７６】
エリア別信頼度は、白線特徴量のスコア，３次元情報のスコア，時系列情報のスコア、それぞれのスコア（１〜０）の積に１００を乗算した数値をエリア別信頼度とする。
【００７７】
各スコアは最高１〜最低０の数値で表現され、数値が高いほど信頼度が高くなる設計とする。以下、エリア別信頼度の算出に用いる、白線特徴量，３次元情報，時系列情報について具体的に説明する。
【００７８】
・白線特徴量
画像上におけるレーンマークの抽出には、路面との輝度差情報や輝度変化パターン、レーンマークの路面における太さ情報，形状情報などを利用している。このような情報を利用して得られた白線特徴量の多さ、また、その白線特徴量が線上へ集まっているか分散しているかの集約度によって白線信頼度を算出する。白線特徴量の多さは、道路上にレーンらしき情報がどの程度多く存在するかを信頼度に反映させ、線状への集約度はその特徴量が画面上に分散するようなノイズかどうかを信頼度に反映している。白線らしき特徴量が少ないもしくは線上に特徴量が集約していないにも関わらず制御に利用することは、安全の観点からも相応しくないと考え、信頼度の計算を行う。
【００７９】
車載カメラ６００にて撮像された画像上のレーンの中で、エリア判定部４１０にて判定された処理領域内に存在する白線特徴量が画像上で線上に並ぶ多さによって信頼度を算出する。エリアの中に理想的な直線実白線がある場合に存在する白線特徴量の多さを１と設定し、まったく特徴量が存在しない場合、もしくは線上に並んでいると判定できない場合に０と判断する。数式で示すと以下になる。また、何かしらの要因で１を超えるような場合にも打ち切り処理により１以上の白線特徴量スコアとならないようにし、マイナスにもならない。
【００８０】
【数１】
【００８１】
・カメラ幾何を利用した３次元情報
抽出された白線特徴量が３次元的な道路構造に相応しい値かどうかの判定を行うことで、信頼度を計算する。
【００８２】
左右レーンの平行性，曲線としての滑らかさ，近傍から遠方まで特徴量の存在の連続性から信頼度を算出する。この場合、エリアごとに評価を行うというよりも、エリアごとの関係を考慮した信頼度の評価対象としている。例えば、平行性に関しては、左右の平行性が低ければ全体の信頼度の低下させる。曲線としての滑らかさの場合、滑らかでないと判定された領域の遠方の信頼度を低下させる。これは基本的に近傍の誤検知が少なく、遠方の誤検知が多いためである。
【００８３】
画面上部と下部の連続性が滑らかでないと判定された場合にも、同様の考えから遠方の信頼度を低下させる。このように３次元の道路構造と比較し、道路構造として相応しくない場合には信頼度を低下させる計算を行うことで、車両制御に適応するに相応しいかを信頼度の数値に反映させる。
【００８４】
まず、近傍エリアのみが認識可能な場合には、道路曲率を利用しないため、スコアは平行性のみで判断する。エリアによってその３次元情報スコア付け方法が変化する。近傍エリアの左右のレーンの認識結果が理想的で完全に両側白線が平行と判断した場合を０とし、ここまでであれば誤差として許容できると考える両白線の角度誤差６度を閾値として利用する。平行性誤差が６度の閾値の場合に３次元情報スコアを０.５とし、誤差１２度以上の場合に０として平行性の誤差の大きさによる３次元情報スコア付けを行う。以下に近傍エリア左右の３次元情報スコアの算出方法を記す。近傍エリアの場合は、左右両側の平行性からスコア判断を行うため、左右エリは全く同じスコアとなる。
【００８５】
近傍エリア（左もしくは右の３次元情報スコア算出数式）
【００８６】
【数２】
【００８７】
ただし、角度誤差１２度以上の場合は上式によらず３次元情報スコア０とする。
【００８８】
・時系列情報
画面上の白線位置，画面上の白線特徴量が急変した場合には、全体的に信頼度を低下させる。急激な変化は、検知していた車線から路肩や車両などへ誤検知の恐れがあると考える。ただし、破線などのレーンマークも考慮し、周期的な画面上特徴量の変化なども考慮し、信頼度を計算することとする。
【００８９】
二本の破線は破線と空白の１セット２０ｍが１周期分となっている。このため車速を考慮しながら２０ｍ進むたびに周期的に変化する特徴量の量などは、破線を認識している証拠ともなるため、実線と比較し特徴量が少ないが信頼度を高めるように時系列情報の信頼度を高くなるように考える。理想的な実白線のように常に白線特徴量の量，輝度差，太さ、が一定の場合を時系列情報スコア１と設定する。また、２０ｍ程度の長さでかつ固定長を車両が走るたびに周期的に変化する白線特徴量も信頼度を高く設定する。過去何ｍ走行分のデータと比較し周期の一致が見受けられるかの、過去何ｍ走行分の長さによってスコアの高低を決める。周期性が全く見受けられない場合にはスコア０とする。過去４００［ｍ］分のデータと比較し、最近の２０ｍ走行分のデータの周期性が認められた場合信頼度１と設定し、過去１００［ｍ］の場合には０.２５と設定することとする。
【００９０】
＜エリア別信頼度補正部４３０（外部情報）＞
次に、外部情報部４５０からの情報を利用したエリア別信頼度補正部４３０の処理について述べる。
【００９１】
ここではエリア別信頼度算出部４２０で算出された１００〜０の信頼度に対して、誤検知要因があるかどうかを外部情報より判定し、その判定結果に応じ信頼度を低下させる補正処理を行う。
【００９２】
まず、外部情報を利用した信頼度補正処理を行う。以下各外部情報を用いた補正処理について説明する。
【００９３】
車両挙動部３５１は、車両のセンサ等の車両状態検知手段であり、この検知手段によって計測された車速センサや操舵角センサ、ヨーレートセンサなどを用いることで、自車両の走行経路を予測することができる。この走行経路と車両制御用パラメータ（推定曲率，ヨー角，横位置）を比較することで、信頼度の補正を行う。例えば、横位置が大きく変化するような場合には、横位置が急変した車線側のエリアの信頼度を遠近両方低下させる。反対に、横位置が安定しているにも関わらず、ヨー角や曲率の値が急変するような場合には、遠方のみが誤検知している可能性が高いことから、遠方エリアの信頼度を低下させる。
【００９４】
車線変更など急な操舵操作をせず、安定した操舵時において、カメラで認識した車両制御用パラメータの横位置，ヨー角が安定しているにも関わらず、車両挙動部３５１から推定される走行経路の曲率と、カメラ認識結果の曲率に所定値以上の差がある場合に、遠方の誤検知を疑って信頼度を半減させる。
【００９５】
カメラ認識結果が曲率ほぼ０の直線道路である際に、操舵操作に応じたカメラ認識結果のヨー角，横位置の変化とならない場合、誤検知を疑い、遠方と近傍の信頼度を半減させる。
【００９６】
また、レーダ部４５２は、ミリ波レーダもしくはレーザレーダ，ステレオカメラである。自車から路面の白線を撮影する際に障害となりうる他車や立体物などを発見した場合、その障害物が写りこむ画像上のエリアの信頼度を低下させる。障害物により白線が見えないことから、そもそも信頼度が低い不検知状態であるか、もしくは誤検知しているにも関わらず信頼度が高くなっている状況である可能性が高い。そこで、障害物がエリアを占める割合と同様分の信頼度を低下させる。エリアの７０％を障害物が占める場合は、エリア別信頼度算出部４００で算出された信頼度の７０％をカットする。このようにエリア別に分けることで、誤検知要因の伝播を防ぐことや、誤検知要因が存在する箇所の結果を除いた車両制御が可能になると考える。
【００９７】
また、ナビ情報部４５３は、ナビゲーション装置であり、ナビゲーション装置から取得した地図情報の曲率と車両制御用パラメータの推定曲率とを比較し、比較した結果、所定値以上の差分がある場合、遠方で誤検知している可能性が高いと考え、遠方の信頼度を低下させる。これにより遠方の誤検知を信頼度に反映させることができる。
【００９８】
また、他カメラ部４５４は、他カメラの認識結果と横位置，ヨー角，曲率の比較を行い、整合性がとれない場合には信頼度を半減させる。
【００９９】
このように、車両挙動部４５１，レーダ部４５２，ナビ情報部４５３，他カメラ部４５４の情報を利用することで、カメラ以外からの情報を利用したレーン認識信頼度計算を行うことが可能となり、より的確に信頼度を計算することが可能となる。これによってより的確な車両制御モードの選択を可能とする。外部情報を取り入れた方がより的確であるが、必ずしも取り入れる必要はない。
【０１００】
また、信頼度が明らかに低いエリアと信頼度が高いエリアが混在する場合、信頼度が所定値より低いエリアの影響を除いて、再度制御用パラメータを推定しなおしても良い。これにより誤検知による制御パラメータへの精度低下，誤検知を防ぐことが可能となる。
【０１０１】
＜エリア別信頼度に応じた車両制御方法の切替え＞
図２３にエリア別信頼度に応じた車両制御部５００で実施されるエリア別信頼度に応じた車両制御方法のフローチャートを示す。
【０１０２】
まずエリア別信頼度に応じた制御モード判定部５０１にて制御モードの判定を行う（Ｓ１）。
その後、自車両の車速情報と舵角情報より、自車経路予測部５０２にて図１２に示す数式を利用し自車両の走行経路を予測する（Ｓ２）。
【０１０３】
図１３に示すように制御用パラメータ推定部にて推定された自車に対するレーンの相対横位置，ヨー角と道路曲率から自車両走行レーンを推定する。制御判定部５０３にて推定された自車両走行レーンと自車経路予測部５０２にて予測された自車両予測走行経路とを比較し、制御の必要性の有無を判定する（Ｓ３）。図１４に示すように自車からＬ［ｍ］遠方において車線逸脱の可能性を判定し、車両制御の有無をまず判定する。
【０１０４】
制御を実施しないＮｏの場合には、再度レーン認識の結果が更新されるまで、Ｓ１の処理を待機し、認識結果が更新されるごとに制御モードの判定を実施する。
【０１０５】
制御を実施するＹｅｓの場合には、目標経路を決定するためのＳ４へ移動する。
制御量決定部５０４にて、自車両予測走行経路と推定自車両走行レーンから図１４に示す曲線制御モードの場合の目標経路を決定する（Ｓ４）。図１４で示す車線内の目標経路を決定する。
【０１０６】
上記設定された目標経路と自車両予測走行経路を比較し、Ｌ［ｍ］遠方におけるその差分の大きさにより制御量決定部５０４にて制御量を決定する（Ｓ５）。
【０１０７】
上記にて決定した制御量を基に車両制御を、車両制御実施部５０５で実施し、実施した結果を次フレームにおける自車経路予測Ｓ２にフィードバックする（Ｓ６）。
【０１０８】
・自車両予測走行経路
以下説明は、共通に利用する制御方法の説明である。自車両から前方Ｌ［ｍ］の距離における自車両の推定経路が目標経路へ近づくようにフィードバック制御を行う。推定経路は、図１２に示すように４輪の自動車の挙動を、前後輪のみの２輪モデルで近似した式（３）を利用し、自車両の操舵角や車速情報を入力して自車両走行経路を予測する。
【０１０９】
【数３】
【０１１０】
［変数説明］
ρ：円先回の半径
ｍ：車両質量
ｌf，ｌr：重心〜前（後）輪距離
ｌ＝ｌf＋ｌr：前〜後輪距離
Ｃf（Ｃr）：前（後）輪のタイヤコーナリングパワー
Ｖ：車速
δ0：前輪舵角
【０１１１】
・目標経路決定と制御量決定
次にカメラによるレーン認識結果を利用し、車線逸脱しそうな場合に逸脱しないように車両を制御するための目標経路を算出する。本車両制御手法は、カメラによるレーン認識結果と、そのエリア別信頼度を基に、道路のカーブ形状を利用した曲線制御モード５４０と、カーブ形状を利用しない直線制御モード５５０の二つの目標経路算出手法を切替えている。
【０１１２】
カメラによって認識された制御用パラメータは、自車とレーンの相対的横位置と相対的傾きを示すヨー角、道路の曲がり具合を示す曲率である。これらのパラメータを利用して、自車両走行レーンを推定する。次に、この自車両走行レーンをベースに目標経路を算出する。制御方法は、車線から逸脱しそうになった場合に車線内に押し戻すような制御とする。この場合左右の認識したレーンに対して独立した制御となる。以下、制御モード別に２つの目標経路算出手法について記す。
【０１１３】
・目標経路算出［曲線制御モード５４０］
曲線制御モード５４０の場合には、車両制御用パラメータの推定結果の曲率を利用し自車両走行レーンを推定する。図１３に示すように、この推定自車両走行レーンのカーブに沿った車線の内側ＷＬ［ｍ］を目標経路とする。図１４に示すように自車両前方Ｌ［ｍ］における自車両予測走行経路と目標経路の差分εを算出し、これが０［ｍ］となるようなフィードバック制御をかける。右側も同様に、推定した右側レーンの内側ＷＲ［ｍ］の走行経路となるようなフィードバック制御をかける
・目標経路算出［直線制御モード５５０］
直線制御モード５５０の場合には、車両制御用パラメータの推定結果の曲率を利用せず直線と仮定し自車両走行レーンを推定する。図１５に実際の道路がカーブ時である場合に、直線仮定の推定自車両走行レーンの内側ＷＬ［ｍ］を目標経路とする。図１６に示すように自車両前方Ｌ［ｍ］における自車両予測走行経路と目標経路の差分εを算出し、これが０［ｍ］となるようなフィードバック制御をかける。右側も同様に、推定した右側レーンの内側ＷＲ［ｍ］の走行経路となるようなフィードバック制御をかける。直線走行時には曲線制御モード５４０と比較し大きな差分εが現れないが、急カーブであるほど差分εが大きくなる。
【０１１４】
図１６に示すように、直線を仮定し車線内側ＷＬ［ｍ］（or ＷＲ［ｍ］）となるようなフィードバック制御を行う。図１５，図１６からわかるように直線制御の場合にはカーブを曲がりきれずに車線逸脱しそうな車両に対し、車線内側に戻す制御量が不足する傾向がある。急カーブであると対応しきれずに、車線逸脱のタイミングを遅らせることしかできない可能性が高くなる。
【０１１５】
誤検知した曲率を利用し制御を行うと、車線逸脱する方向へ誤制御する可能性があるのに対し、直線で近似した車両制御を行う場合、制御量の不足はあってもカーブを逸脱する方向へ制御がかかる可能性が低く、より安全を重視した車両制御と言える。
【０１１６】
遠方車両が自車走行レーンの一部を隠している場合や、ボッツドッツ，かすれた白線，逆光などが影響し、自車両から遠方の白線の検知が困難な場合、遠方のレーン認識信頼度が低下する。遠方の白線が認識できていない場合、円のごく一部、より狭い範囲のみから曲率を推定することとなり、推定精度低下が予想される。
【０１１７】
また、遠方部分での誤検知による精度低下も考えられる。遠方エリアの信頼度が低いにも関わらず、近傍エリアおける信頼度が高い場合には、曲率精度は低下してもヨー角や横位置の精度は制御に耐えうる精度を十分に確保可能である。そこで、本手法では、緩いカーブや直線路における車線逸脱防止の制御に十分対応可能な、道路形状を直線と見立て（ヨー角，横位置）を利用した車両制御を行う。
【０１１８】
・車両制御実施
本実施例における車両制御のモードは下記Ａ，Ｂ，Ｃ，Ｄの４パターンである。
【０１１９】
Ａ）曲線制御モード５４０ （曲率，ヨー角，横位置）
Ｂ）直線制御モード５５０ （ヨー角，横位置）
Ｃ）警告モード５６０ （横位置）
Ｄ）停止モード５７０ （なし）
【０１２０】
このＡ，Ｂ，Ｃ，Ｄのモード切替えを信頼度に基づいて実施する。実際に、車両を制御するモードは、前述の推定経路を算出するＡ，Ｂの２種類である、Ｃについては、ディスプレイ上もしくはランプによる逸脱警告を表示する。もしくは、警報や警告を意味する振動など、ドライバーに車線逸脱したことを、視覚的，聴覚的もしくは触覚的に伝えるような手法であってもよい。停止モードは、エリア別信頼度が低いため、制御や警告をまったく行わない状態である。
【０１２１】
従来手法のように画面全体のレーン認識結果に対する信頼度を利用している場合には、遠方のみが見えづらく、近傍が見えているような時にも、誤制御や誤警報防止の観点より全体の車両制御を停止していた。
【０１２２】
本実施例におけるＡとＤの単純切替えの状態にあった。また、車両制御適応範囲拡大のために、多少信頼度が低くとも車両制御を試みれば、誤制御を引き起こす要因となっていた。
【０１２３】
従来手法では、現在誤検知、もしくは不検知のエリアを特定できないため、曲率，ヨー角，横位置などから信頼できる検知結果を分類できず、安全のためには、すべての情報を利用せずに動作停止することしかできなかった。
【０１２４】
これと比較し新手法では、エリア別の信頼度を利用することで、例えば、遠方エリア別信頼度の低下から曲率精度の低下を判断し、通常の曲線制御モードから、誤制御防止の観点を重視し利用可能なヨー角，横位置を利用した直線制御モードへ切替える。エリア別信頼度を採用することにより、従来は動作停止していたような道路状況であっても、信頼できるパラメータのみを活用した段階的な制御モードを準備することで、安全性の高さを確保したまま、車両制御適応範囲の拡大を図る。
【０１２５】
＜表示系について＞
エリア別信頼度の結果に応じて、レーン認識結果の状況を表示装置６０９に表示しドライバーに伝える。信頼度が高ければ輝度が高く、信頼度が低ければ輝度が低くなり、ユーザにレーン認識による車線逸脱防止制御が動作可能状況にあるかどうかをユーザに伝える。
【０１２６】
エリア別に行うことでレーンの認識状況が左右別、更には遠近別に把握することが可能であり、また車線逸脱防止制御の作動状況を知ることが可能である。
【０１２７】
また上記機能は、信頼度の変化を輝度で表しているが、これが色であっても形状であっても良い。
また、上記の表示装置が、エリア別信頼度に応じて切替えられた制御モードをユーザに伝えるための表示装置であってもよい。例えば、図２０の制御モード別表示装置に示すように、左右別に独立に制御モードの表示を行う。図２１の制御モード別表示形式に示すような、左右別の制御モードに応じて表示が変化し、これによりユーザがカメラによるレーンの認識状況を把握するとともに、現在の制御モードを把握することができる。
【０１２８】
このため白線が見えにくく、車線逸脱防止機能が利用できないような状況において、レーン逸脱制御機能がついていることに過信しないように、ドライバーに対する抑制効果が期待される。
【０１２９】
＜制御パラメータ別信頼度に応じた車両制御＞
また、エリア別信頼度ではなく制御パラメータ（曲率，ヨー角，横位置）に応じて、信頼度を算出しても良い。図１７に示すようにパラメータ別信頼度算出部がまず異なるが、信頼度の算出方法はエリア別信頼度の計算と同じように、画像処理結果の白線特徴量やカメラ幾何による３次元情報、またこれらの時系列情報を利用し計算する。この制御パラメータ別信頼度に応じた車両制御方法も、図１８に示す制御モードの切替え方法が異なる。この制御パラメータ別信頼度に応じて制御モードを切替える方法を図１８に示す。まず、横位置の信頼度に応じ横位置利用判定５８１において、横位置の利用の可否を判定する。横位置利用判定がＮｏの場合には横位置が利用できないため、曲線制御，直線制御はもちろん警告も出せないと判定し停止モード５７０を選択する。横位置利用判定がＹｅｓの場合には、ヨー角利用判定５８２へ進む。
【０１３０】
ヨー角利用判定５８２では、ヨー角の信頼度に基づいてヨー角利用の可否を判定する。ヨー角利用判定５８２がＮｏの場合には、横位置のみが利用可能と判断し、横位置を利用した警告モード５６０を選択する。ヨー角利用判定５８２がＹｅｓの場合には、曲率利用判定５８３へ進む。
【０１３１】
曲率利用判定５８３では、曲率の信頼度に基づいて曲率利用の可否を判定する。曲率利用判定５８３がＮｏの場合には、ヨー角，横位置が利用可能と判断し、ヨー角，横位置を利用した直線制御モード５５０を選択する。曲率利用判定がＹｅｓの場合には、曲率，ヨー角，横位置を利用した制御が可能と判断し、曲線制御モード５４０を選択する。
【０１３２】
また、これをエリア別信頼度補正部４３０おいて車両挙動部４５１，レーダ部４５２，ナビ情報部４５３，他カメラ部４５４からの情報を利用し補正する。遠方で誤検知もしくは不検知の場合には、遠方のレーン認識結果が信用できないため、曲率の信頼度を低下させることで、車両制御時の利用可否の判定に利用する。同様に、ヨー角や、横位置の信頼度から図１８のフローに示すように制御か警告かの判定を行う。
【符号の説明】
【０１３３】
１００ 画像取得部
２００ レーン認識部
３００ 制御用パラメータ推定部
４００，４２０ エリア別信頼度算出部
４１０ エリア判定部
４３０ エリア別信頼度補正部
４５０ 外部情報部
４５１ 車両挙動部
４５２ レーダ部
４５３ ナビ情報部
４５４ 他カメラ部
５００ 車両制御部
５１０ レーン別制御判定
５２０ 曲率利用判定
５３０ 警告判定
５４０ 曲線制御モード
５５０ 直線制御モード
５６０ 警告モード
５７０ 停止モード
６００ 車載カメラ
６０１ 操舵角センサ
６０３ アクチュエータ
６０６ 車速センサ
６０７ ヨーレートセンサ
６０９ 表示装置
６１０ ＥＣＵ
１０１０ 左遠方
１０２０ 左近傍
１０５０ 右遠方
１０６０ 右近傍
【特許請求の範囲】
【請求項１】
自車前方の画像を撮像する車載カメラと、
複数の車両制御方法から１つの車両制御方法を決定し、決定された車両制御方法でアクチュエータを制御する処理ユニットと、を有し、
前記車載カメラは、撮像し、取得した画像と認識したレーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部を有し、
前記処理ユニットは、前記エリア別信頼度情報に基づいて車両制御方法を決定する車両制御部を有する車両制御装置。
【請求項２】
請求項１記載の車両制御装置において、
車速情報を検出する車速センサと、
操舵角情報を検出する操舵角センサと、
ヨーレート情報を検出するヨーレートセンサと、を有し、
前記車載カメラは、自車前方の画像を取得する画像取得部と、取得された画像からレーンを認識するレーン認識部と、道路の曲がり具合を示す道路曲率、自車両と走行レーンとの相対的姿勢を示すヨー角、相対的位置を示す横位置を推定する制御用パラメータ推定部と、取得した前記画像と認識した前記レーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部と、を有し、
前記処理ユニットの車両制御部は、前記道路曲率，前記ヨー角，前記横位置の少なくとも１つと、前記エリア別信頼度情報と、に基づいて車両制御方法を決定する車両制御装置。
【請求項３】
請求項２記載の車両制御装置において、
前記エリア別信頼度算出部は、
前記レーン認識部で認識された前記レーンに基づいて複数のエリアに分割するエリア判定部と、
前記エリア判定部で分割された各エリアに対して、取得された画像に基づいて信頼度を算出し、算出した信頼度をエリア別信頼度情報として出力するエリア信頼度算出部と、
前記エリア別信頼度情報を、入力された外部情報に基づいて補正するエリア信頼度補正部と、を有する車両制御装置。
【請求項４】
請求項２記載の車両制御装置において、
前記エリア信頼度補正部で用いた前記外部情報は、検出された車速情報，加速度情報，操舵角情報，ヨーレート情報，障害物情報，地図情報，自車両位置情報の少なくとも１つである車両制御装置。
【請求項５】
請求項２記載の車両制御装置において、
前記処理ユニットの前記車両制御部は、前記エリア判定部にて、自車走行レーンの左近傍，左遠方，右近傍，右遠方との４つのエリアに分割した場合、前記左近傍又は前記右近傍の近傍エリアにおいて、前記近傍エリアの前記エリア別信頼度情報が予め定めた近傍閾値以上、且つ前記左遠方又は右遠方の遠方エリアにおいて、前記遠方エリアの前記エリア別信頼度情報が予め定めた遠方閾値以上である場合は、認識したレーンの推定曲率を用いて目標経路算出を行い、算出した目標経路に沿った車両制御を行う曲線制御モードの車両制御方法を決定する車両制御装置。
【請求項６】
請求項２記載の車両制御装置において、
前記処理ユニットの前記車両制御部は、前記エリア判定部にて、自車走行レーンの左近傍，左遠方，右近傍，右遠方との４つのエリアに分割した場合、前記左近傍又は前記右近傍の近傍エリアにおいて、前記近傍エリアの前記エリア別信頼度情報が予め定めた近傍閾値以上、且つ前記左遠方又は右遠方の遠方エリアにおいて、前記遠方エリアの前記エリア別信頼度情報が予め定めた遠方閾値未満である場合は、直線を仮定した車線内目標経路算出を行い、算出した車線内目標経路に沿った車両制御を行う直線制御モードの車両制御方法を決定する車両制御装置。
【請求項７】
請求項２記載の車両制御装置において、
前記処理ユニットの前記車両制御部は、前記エリア判定部にて、自車走行レーンの左近傍，左遠方，右近傍，右遠方との４つのエリアに分割した場合、前記左近傍又は前記右近傍の近傍エリアにおいて、前記近傍エリアの前記エリア別信頼度情報が予め定めた第１の近傍閾値未満、且つ第２の近傍閾値以上、且つ前記左遠方又は右遠方の遠方エリアにおいて、前記遠方エリアの前記エリア別信頼度情報が予め定めた遠方閾値未満である場合は、逸脱警告を表示する警告モードの車両制御方法を決定する車両制御装置。
【請求項８】
請求項２記載の車両制御装置において、
前記処理ユニットの前記車両制御部は、前記エリア判定部にて、自車走行レーンの左近傍，左遠方，右近傍，右遠方との４つのエリアに分割した場合、前記左近傍又は前記右近傍の近傍エリアにおいて、前記近傍エリアの前記エリア別信頼度情報が予め定めた第１の近傍閾値未満、且つ第２の近傍閾値未満、且つ前記左遠方又は右遠方の遠方エリアにおいて、前記遠方エリアの前記エリア別信頼度情報が予め定めた遠方閾値未満である場合は、レーン認識結果を利用した車両制御又は警告を停止する信号を出力する停止モードの車両制御方法を決定する車両制御装置。
【請求項１】
自車前方の画像を撮像する車載カメラと、
複数の車両制御方法から１つの車両制御方法を決定し、決定された車両制御方法でアクチュエータを制御する処理ユニットと、を有し、
前記車載カメラは、撮像し、取得した画像と認識したレーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部を有し、
前記処理ユニットは、前記エリア別信頼度情報に基づいて車両制御方法を決定する車両制御部を有する車両制御装置。
【請求項２】
請求項１記載の車両制御装置において、
車速情報を検出する車速センサと、
操舵角情報を検出する操舵角センサと、
ヨーレート情報を検出するヨーレートセンサと、を有し、
前記車載カメラは、自車前方の画像を取得する画像取得部と、取得された画像からレーンを認識するレーン認識部と、道路の曲がり具合を示す道路曲率、自車両と走行レーンとの相対的姿勢を示すヨー角、相対的位置を示す横位置を推定する制御用パラメータ推定部と、取得した前記画像と認識した前記レーンに基づいて複数のエリアに分割し、分割されたエリア毎に信頼度を算出し、エリア別信頼度情報を出力するエリア別信頼度算出部と、を有し、
前記処理ユニットの車両制御部は、前記道路曲率，前記ヨー角，前記横位置の少なくとも１つと、前記エリア別信頼度情報と、に基づいて車両制御方法を決定する車両制御装置。
【請求項３】
請求項２記載の車両制御装置において、
前記エリア別信頼度算出部は、
前記レーン認識部で認識された前記レーンに基づいて複数のエリアに分割するエリア判定部と、
前記エリア判定部で分割された各エリアに対して、取得された画像に基づいて信頼度を算出し、算出した信頼度をエリア別信頼度情報として出力するエリア信頼度算出部と、
前記エリア別信頼度情報を、入力された外部情報に基づいて補正するエリア信頼度補正部と、を有する車両制御装置。
【請求項４】
請求項２記載の車両制御装置において、
前記エリア信頼度補正部で用いた前記外部情報は、検出された車速情報，加速度情報，操舵角情報，ヨーレート情報，障害物情報，地図情報，自車両位置情報の少なくとも１つである車両制御装置。
【請求項５】
請求項２記載の車両制御装置において、
前記処理ユニットの前記車両制御部は、前記エリア判定部にて、自車走行レーンの左近傍，左遠方，右近傍，右遠方との４つのエリアに分割した場合、前記左近傍又は前記右近傍の近傍エリアにおいて、前記近傍エリアの前記エリア別信頼度情報が予め定めた近傍閾値以上、且つ前記左遠方又は右遠方の遠方エリアにおいて、前記遠方エリアの前記エリア別信頼度情報が予め定めた遠方閾値以上である場合は、認識したレーンの推定曲率を用いて目標経路算出を行い、算出した目標経路に沿った車両制御を行う曲線制御モードの車両制御方法を決定する車両制御装置。
【請求項６】
請求項２記載の車両制御装置において、
前記処理ユニットの前記車両制御部は、前記エリア判定部にて、自車走行レーンの左近傍，左遠方，右近傍，右遠方との４つのエリアに分割した場合、前記左近傍又は前記右近傍の近傍エリアにおいて、前記近傍エリアの前記エリア別信頼度情報が予め定めた近傍閾値以上、且つ前記左遠方又は右遠方の遠方エリアにおいて、前記遠方エリアの前記エリア別信頼度情報が予め定めた遠方閾値未満である場合は、直線を仮定した車線内目標経路算出を行い、算出した車線内目標経路に沿った車両制御を行う直線制御モードの車両制御方法を決定する車両制御装置。
【請求項７】
請求項２記載の車両制御装置において、
前記処理ユニットの前記車両制御部は、前記エリア判定部にて、自車走行レーンの左近傍，左遠方，右近傍，右遠方との４つのエリアに分割した場合、前記左近傍又は前記右近傍の近傍エリアにおいて、前記近傍エリアの前記エリア別信頼度情報が予め定めた第１の近傍閾値未満、且つ第２の近傍閾値以上、且つ前記左遠方又は右遠方の遠方エリアにおいて、前記遠方エリアの前記エリア別信頼度情報が予め定めた遠方閾値未満である場合は、逸脱警告を表示する警告モードの車両制御方法を決定する車両制御装置。
【請求項８】
請求項２記載の車両制御装置において、
前記処理ユニットの前記車両制御部は、前記エリア判定部にて、自車走行レーンの左近傍，左遠方，右近傍，右遠方との４つのエリアに分割した場合、前記左近傍又は前記右近傍の近傍エリアにおいて、前記近傍エリアの前記エリア別信頼度情報が予め定めた第１の近傍閾値未満、且つ第２の近傍閾値未満、且つ前記左遠方又は右遠方の遠方エリアにおいて、前記遠方エリアの前記エリア別信頼度情報が予め定めた遠方閾値未満である場合は、レーン認識結果を利用した車両制御又は警告を停止する信号を出力する停止モードの車両制御方法を決定する車両制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１１−７３５２９（Ｐ２０１１−７３５２９Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２５８８７（Ｐ２００９−２２５８８７）
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（５０９１８６５７９）日立オートモティブシステムズ株式会社 (2,205)
【Ｆターム（参考）】
[ Back to top ]