走行環境推測装置、方法及びプログラム並びに車線逸脱警報装置及び操舵アシスト装置
【課題】白線認識と同等の精度で走行路幅を推測することで、白線の認識が不能の際にも安定した走行環境の推測を継続する。
【解決手段】 車載のカメラ１０と、原画像水平エッジeをカメラ座標系で抽出する水平エッジ抽出部１２と、予め定められた座標変換係数５６に基づいて、原画像水平エッジeを世界座標系５４での水平エッジEに変換する座標系変換部１４と、前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連５８を判定する関連判定部１６と、前記関連５８と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する走行路幅推測部１８とを備えた。
【解決手段】 車載のカメラ１０と、原画像水平エッジeをカメラ座標系で抽出する水平エッジ抽出部１２と、予め定められた座標変換係数５６に基づいて、原画像水平エッジeを世界座標系５４での水平エッジEに変換する座標系変換部１４と、前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連５８を判定する関連判定部１６と、前記関連５８と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する走行路幅推測部１８とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に搭載され走行環境を推測する技術分野に関連し、特に、カメラからの入力画像に基づいて走行環境での車線幅等を推測する走行環境推測装置、その方法及びプログラムに関する。
本発明はまた、走行環境の推測に基づいて、車線からの逸脱を検出し警報する車線逸脱警報装置に関する。
本発明はさらに、走行環境の推測に基づいて、移動体の操舵をアシストする操舵アシスト装置に関する。
【背景技術】
【０００２】
従来より道路の白線（白色に限らず道路の車線をドライバーに案内する道路上の線）を検出することで、走行環境の車線幅を検出し、車線からの逸脱を警報し、また、操舵のアシストをする技術がある。
特許文献１には、高速旋回走行時においてもドライバーに逸脱警報の違和感を与えないことを目的として、車体の横すべり角を考慮して車線逸脱警報を制御する手法が開示されている。
特許文献２には、走行車線の白線が検出できない場合でも車線に基づく運転支援を継続することを目的として、カメラの他にレーダーを備え、白線が検出されない際にはレーダーを使用して先行車を検出し、先行車両の移動軌跡から走行車線の仮想白線を計算する手法が開示されている。
特許文献３には、走行境界を高精度で検出することを目的として、自車両前方の画像から複数の特徴点を抽出し、各特徴点の移動速度及び配置に基づいて走行境界を検出する手法が開示されている。
【０００３】
【特許文献１】特開2002-193055号公報
【特許文献２】特開2007-8281号公報
【特許文献３】特開2007-316685号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
白線認識による車線逸脱の警報や操舵アシストでは、白線が不明確な場合や、道路汚れや、気象条件などによって、道路の両方の白線が検出出来ない場合がある。
上記特許文献１では、白線認識が不能の場合、車線逸脱の警報を停止させる為、逸脱警報装置としての商品価値が下がってしまう。
特許文献２では、白線検出部とは別に、レーダーによる先行車の検出を行い、逸脱の判定を行っている。しかし、レーダーによる先行車の検出では、横への分解能が低く、先行車の幅を正確に測定することが困難であり、同一車両である判定が出来ないため、自車前方の先行車であることを判定するには、不正確さが残ってしまう。この為、ドライバーのシステムへの不信を招き、商品価値が下がってしまう。また、別装置のレーダーを別途装着することにより、システムのコストが高くなるとの欠点がある。
特許文献３では、画像の特徴点の抽出、画素毎の速度算出、速度によるグループ化など膨大な画像処理が必要となる一方、多様な走行環境について車線幅をどのように安定的に推測し、又は推測不能を判定するかについては開示されていない。特に、走行路幅を推測可能な走行環境と不能な走行環境の相違がドライバーに判りづらい、という不都合がある。
【０００５】
［技術的課題１］このように、上記従来例では、走行路幅の検出精度を白線認識の場合と同等としつつレーダーや膨大な画像処理を使用せずに走行路幅を推測することができない、という不都合があった。
［技術的課題２］さらに、上記従来例では、推測不能とする処理をドライバーにとっても判りやすくすることでシステムへの信頼を増大させることができない、という不都合があった。
［技術的課題３］また、上記従来例では、走行路幅の推測処理について、白線の状態にかかわらず、かつ、低コストで、当該推測処理の稼働率を高めることができない、という不都合があった。
【０００６】
［発明の目的］本発明の目的は、白線認識と同等の精度で走行路幅を推測することで、白線の認識が不能の際にも安定した走行環境の推測を継続することにある。
また、本発明の別の目的は、走行路幅の推測不能をドライバーにとっても判りやすい処理とすることにある。
【課題を解決するための手段】
【０００７】
［着眼点］本発明の発明者は、白線認識と同等の精度で白線以外の情報から走行路幅を推測するには、先行車両の幅が良い、という点に着目した。そして、先行車両の幅を情報処理により算出するには、画像の水平エッジを抽出し、当該水平エッジに対して各種の情報処理をすることで、上記課題を解決できるのではないか、との着想に至った。
【０００８】
［課題解決手段１］実施例１に対応する第１群の本発明は、運転者の視界に応じた走行環境を撮影するカメラと、撮影された画像の原画像水平エッジeをカメラ座標系で抽出する水平エッジ抽出部と、予め定められた座標変換係数に基づいて、前記カメラ座標系での原画像水平エッジeを世界座標系での水平エッジEに変換する座標系変換部と、前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連を判定する関連判定部と、前記関連と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する走行路幅推測部と、を備えた、という構成を採っている。
これにより、上記技術的課題１を解決した。
【０００９】
［課題解決手段２］ 実施例２に対応する第２群の本発明は、第１群と同様に、カメラと、水平エッジ抽出部と、座標系変換部と、関連判定部と、走行路幅推測部とを備えている。
そして、課題解決手段２は、特に、撮影された画像から前記走行環境内のレーンを認識し走行路幅を算出する白線認識部と、前記白線認識部によって算出される走行路幅Wrと操舵角Φmとに基づいて車線逸脱時間TTLCを判定すると共に、前記白線認識部によって白線が認識されない際には、前記走行路幅推測部によって推測された前記走行路幅Wrから車線逸脱時間TTLCを判定する車線逸脱時間判定部と、前記車線逸脱時間TTLCに応じて警報を出力する警報出力部と、を備えた、という構成を採っている。
これにより、上記技術的課題１，２及び３を解決した。
【００１０】
［課題解決手段３］ 実施例３に対応する第３群の本発明は、第１群と同様に、カメラと、水平エッジ抽出部と、座標系変換部と、関連判定部と、走行路幅推測部とを備えている。
そして、課題解決手段３は、当該推測された走行路幅Wrに自車を案内する操舵量を算出する操舵量算出部と、当該操舵量に基づいて自車を操舵する操舵駆動制御部と、を備えた、という構成を採っている。
これにより、上記技術的課題１を解決した。
【発明の効果】
【００１１】
本発明は、本明細書の記載及び図面を考慮して各請求項記載の用語の意義を解釈し、各請求項に係る発明を認定すると、各請求項に係る発明は、上記背景技術等との関連において次の有利な効果を奏する。
【００１２】
［発明の作用効果１］ 課題解決手段１の走行環境推測装置は、原画像水平エッジeから世界座標系での先行車の対象物幅を算出し、この先行車の幅から走行環境の走行路幅を算出する。
従って、路面の白線の情報を使用しなくとも白線の場合と同等の精度で走行路幅Wrを推測することができる。また、水平エッジを使用すると、走行環境でのコントラストが高く、輝度差が大きいため、レーダー等を使用せず比較的単純な画像処理にて幅情報を精度良く得ることができる。
【００１３】
［発明の作用効果２］ 課題解決手段２の車線逸脱警報装置は、道路の白線を認識出来ない時、画像処理のみによって前方車両の水平エッジを検出して、走行路幅を推測する。
従って、白線認識不能による逸脱警報システムの不作動状態を減らせる為、本システムへのドライバーの信頼感を増大させ、利便性を向上させることができる。
【００１４】
［発明の作用効果３］ 課題解決手段３の操舵アシスト装置は、先行車の対象物幅Wを用いて、走行路幅を推測し、先行車に自動追従走行する。
従って、工場等の敷地内の道路に白線を引かずに自動追従走行をすることができる。
【発明を実施するための最良の形態】
【００１５】
発明を実施するための最良の形態として、3つの実施例を開示する。実施例１は走行環境推測装置１００、方法及びプログラムであり、実施例２は図１１等に示す車線逸脱警報装置１０２、実施例３は図１５に示す操舵アシスト装置１０４である。実施例１から３までを含めて実施形態という。
【実施例１】
【００１６】
＜1.1水平エッジから走行環境推測＞
まず、本実施形態の実施例１を開示する。実施例１は、走行環境の白線を使用せずに白線認識による場合と同等の精度（正確さ及び精密さ）で走行環境の推測をしようとするものである。
図１を参照すると、実施例１の走行環境推測装置１００は、カメラ１０と、水平エッジ抽出部１２と、座標系変換部１４と、関連判定部１６と、走行路幅推測部１８とを備えている。
【００１７】
カメラ１０は、運転者（ドライバー）の視界に応じた走行環境を撮影し、カメラ座標系５２での原画像１０ａを入力する。撮影の範囲は、ドライバーが前方を注視した際の視野と同等か、より広い範囲とすると良い。
【００１８】
水平エッジ抽出部１２は、撮影された原画像１０ａの原画像水平エッジeをカメラ座標系５２で抽出する。原画像水平エッジeは、ドライバーの視界での垂直方向にて輝度値が変化し、この変化が水平方向に連続する部分である。カメラ座標系５２は、カメラ１０の撮影面の法線方向をz方向としたxy平面の座標系である。xyは例えば左上を原点とする。
【００１９】
座標系変換部１４は、予め定められた座標変換係数５６に基づいて、カメラ座標系５２での原画像水平エッジeを世界座標系５４での原画像水平エッジeに変換する。座標変換係数５６は、カメラ１０のキャリブレーション（校正）により予め求めておく値である。世界座標系５４は、撮影の対象物での座標系であり、走行環境の実測値に応じた座標値を持つ。対象物の幅に応じたカメラ座標系５２での原画像水平エッジeの座標値（p1, p2）を、世界座標系５４での座標値(P1, P2)に変換すると、原画像水平エッジeの長さは走行環境での当該対象物幅Wに変換される。
【００２０】
関連判定部１６は、前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、当該対象物幅Wと前記走行環境の走行路幅Wrとの関連５８を判定する。関連５８は、関連あり又は関連なしの値をとる。例えば、水平エッジEが自車の前方を走行する先行車両であると判定した際に、関連ありとする。
【００２１】
関連判定部１６は、世界座標系５４の水平エッジEの座標値(P1, P2)から、対象物幅Wと対象物距離Lとを容易に算出することができる。そして、予め定められた想定対象物幅Wpと、対象物幅Wとを比較することで、当該水平エッジEによる対象物幅Wが車両によるものか否かの関連５８を判定することができる。例えば、対象物幅Wが、車両として想定可能な幅（想定対象物幅Wp)以内であれば、当該原画像水平エッジeを先行車両と判定することができる。この場合、原画像水平エッジeの関連５８を先行車両とする。
【００２２】
そして、走行路幅推測部１８は、関連判定部１６によって判定された前記関連５８と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する。すなわち、走行路幅推測部１８は、関連５８として先行車両とされた水平エッジEによる対象物幅Wに対して、先行車の幅を走行路幅Wrに拡大するための半車線幅W_COMを加算することで、走行路幅Wrを推定する。
【００２３】
図２に、各実施例に共通するハードウエア資源の構成例を示す。実施例１との関係では、走行環境推測装置１００は、例えばECUや画像処理専用チップ等の一又は複数のCPUを含むコントローラー３０と、このコントローラー３０によって使用されるメモリー３１と、車載のカメラ１０と、車速センサー３２と、記憶装置４２とを備えている。
【００２４】
メモリー３１は、原画像１０ａを記憶するフレームメモリー３１Aと、複数の論理的なCPUの共有となる外部メモリー３１B等とを備えると良い。カメラ１０は、光学系と、CCDエリアセンサやCMOSエリアセンサとを備えると良い。そして、処理速度の向上及びフレームメモリー３１Aの低減の為に、カメラ１０からの画像（640×480）の奇数（又は偶数）ラインデータだけ（640×240）を採用しても良い。車速センサー３２は、自車速度Vmをコントローラー３０に入力する。記憶装置４２は、不揮発性メモリーであり、コントローラー３０を図１に示す各部として動作させるためのプログラムや、座標変換係数５６、想定対象物幅Wp等を記憶する。
【００２５】
その他、本実施形態のハードウエア資源として、実施例２との関係で、操舵角センサー３４、ウインカー制御部３８、警報出力部４０を備えている。また、実施例３との関係で、操舵角駆動制御部３６を備えている。
【００２６】
図３に、実施例１のフローチャートを示す。カメラ１０は、ドライバーの視界に応じた走行環境を撮影する（撮影工程S1）。続いて、水平エッジ抽出部１２は、撮影された画像の原画像水平エッジeをカメラ座標系５２で抽出する（水平エッジ抽出工程S2）。さらに、座標系変換部１４は、予め定められた座標変換係数５６と、前記カメラ座標系５２での原画像水平エッジeとに基づいて、当該抽出された原画像水平エッジeを世界座標系５４での原画像水平エッジeに変換する（座標系変換工程S3）。
そして、関連判定部１６は、前記原画像水平エッジeから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpと当該対象物幅Wとに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連５８を判定する（関連判定工程S4）。続いて、走行路幅推測部１８は、前記関連５８と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する（走行路幅推測工程S8）。
【００２７】
コントローラー３０は、CPUとしてプログラムを実行することで、図１等に示す各部として動作し、図３等に示す各工程を処理する。以下、各部及び各工程の情報処理例を説明する。
【００２８】
水平エッジ抽出処理S2［エッジ強度edge_Prewitt（Prewittフィルタ）］
水平エッジ抽出部１２は、ディジタル画像の微分処理により画像の輝度勾配の大きさを計算することで、原画像水平エッジeを抽出すると良い。車載のカメラ１０で走行環境を動的に撮影するため、ノイズの影響を効果的に除去することが望ましく、例えば、プレヴィット（Prewitt）の縦方向フィルタを使用すると良い。プレヴィット微分法では、座標（x,y）の画素の輝度値をf(x,y)とすると、水平エッジ強度edge_Prewittを次式（１）により求める。水平エッジ強度edge_Prewittが一定以上のエッジを原画像水平エッジeとして特定する。例えば、１画面中に複数の原画像水平エッジeがあれば、ラベリング等する。
【００２９】
【数１】
【００３０】
座標系変換処理S３［水平エッジの幅Wと距離L］
図４を参照すると、カメラ座標系５２の点p(x,y)は、世界座標系５４の点P（X,Y,Z）に対応する。この場合、次式（２）の射影変換式が成立する。世界座標系を道路面上に想定しているので、Z=0となり、P（X,Y,Z）＝P（X,Y,0）となる。式（２）のα，β，γ，u0，υ0，ｍはレンズなど撮像系に関係するカメラの内部パラメータ、r11，r12，r21，r22，r31，r32，Tx，Ty，Tz は、カメラの設置位置、向きなどに関係する外部パラメータである。これらの内部及び外部パラメータは、座標変換係数５６であり、設置したカメラ１０に対するキャリブレーションによって求める既知の値である。
式(２)に対して、次式（３）とすると、次式（４）になる。従って、座標系変換部１４は、P(X,Y)を次式（５）によって求める。原画像の原画像水平エッジeから、水平方向での両端の座標値p(x, y)を抽出し、式（５）に従って、世界座標系５４での座標値 P(X,Y) を計算する。
【００３１】
【数２】
【００３２】
関連判定処理S４［対象物幅W及び距離L算出］
図５を参照すると、原画像水平エッジeは、世界座標系５４での当該水平エッジの両端の座標P1(X1,Y1), P2(X2,Y2)により特定できる。そして、この座標P1(X1,Y1), P2(X2,Y2)から、先行車の対象物幅Wを次式（６）により、カメラ１０からの距離Lを次式（７）により計算することができる。
【００３３】
【数３】
【００３４】
関連判定処理S４［距離Lによる水平エッジEの特定］
複数の水平エッジEがある際には、距離Lが自車に最も近い水平エッジEを選択すると良い。対象物幅Wによる関連５８の判定にて関連なしと判定される際には、次に距離Lが近い原画像水平エッジeを特定する。走行路幅Wrの推測のために水平エッジEを特定する処理であるため、予め定められた距離Lpよりも遠く、走行路幅Wrの推測に不適当な水平エッジEについては、関連なしと判定しても良い。この予め定められた距離Lpは、自車速度に応じて、早い場合には遠い距離を範囲内に含めるように可変としても良い。
【００３５】
関連判定処理S4［対象物幅Wによる関連］
図６を参照すると、自車から一定距離内にある先行車の対象物幅Wは、走行環境の走行路幅Wrと関連する。求められた対象物幅Wが、想定対象物幅Wpの範囲内の場合、対象物幅Wは走行路幅Wrとの関連５８があると判定する。この想定対象物幅Wp以外の場合、水平エッジEを自動車でないものとして除去する。想定対象物幅Wpは、例えば、想定対象物最小幅W_MIN = 1.4 [m]（軽自動車） 〜 想定対象物最大幅W_MAX = 2.5 [m]（貨物車）以内とすると良い。停止線など走行環境の進行方向に直行する水平エッジEは、後述する速度ベクトルによる静止物除去として処理しても良いし、この想定対象物幅Wpにより除去するようにしてもよい。
【００３６】
走行路幅推測処理S8［対象物幅Wによる関連］
走行路幅推測部１８は、先行車両は走行環境での走行路幅Wrの中心を目安に走行していると仮定し、Wrの中心位置を中心として予め定められた半車線幅W_CON等を用いて計算する。
【００３７】
・1.1水平エッジから走行環境推測の効果
上述のように、原画像水平エッジeから走行環境を推測すると、先行車がある場合に、白線の情報を使用しなくとも、白線の場合と同等の精度で走行路幅Wrを推測することができる。また、水平エッジを使用すると、走行環境でのコントラストが高く、輝度差が大きいため、比較的単純な画像処理にて幅情報を精度良く得ることができる。
このように、画像処理による先行車両の原画像水平エッジeの抽出により走行路幅を推定すると、レーダーによる前方車両検出とは異なり、横方向の分解能が高いため、前方車両の幅を正確に計測でき、走行すべき領域を精度良く推測することができる。
さらに、システム構成に必要なハードウエア資源（部品）は、カメラ、コントローラー及びメモリーであり、レーダー等の先行車両検知装置を別途追加する必要はない為、低コストで実現できる。
【００３８】
＜1.2複数フレームの相関で関連判定＞
次に、実施例１で複数フレームの原画像を用いて関連５８の判定を行う例を説明する。この例では、前記カメラ１０が、予め定められた時間差tdで前記走行環境の変化を連続して撮影し、フレームメモリー３１Aに格納する。再度図１を参照すると、この例では、前記関連判定部１６が、同一性判定処理２０と、速度算出処理２２と、関連判定処理２４とを備えている。
【００３９】
再度図３を参照すると、同一性判定処理２０は、前記時間差tdで連続する画像間での前記水平エッジEの同一性を判定する（同一性判定工程S５）。この同一性判定処理２０は、時間差tdの間に生じた自車と先行車との相対的な位置関係の変化を前提として、連続する画像間での水平エッジEが同一の対象物であるか否か判定するものである。
【００４０】
速度算出処理２２は、前記水平エッジEの同一性から当該水平エッジE（に応じた対象物）の前記世界座標系５４での速度ベクトルVを算出する（速度算出工程S６）。速度算出処理２２は、時間差tdと、原画像水平エッジeの世界座標系での移動距離とを使用して、対象物の速度ベクトルVを求める。速度ベクトルVは、例えば、先行車縦速度Vvと先行車横速度Vhとである。
【００４１】
関連判定処理２４は、予め定められた想定速度ベクトルVpと、算出された前記速度ベクトルVとから前記対象物幅Wと走行路幅Wrとの前記関連５８を判定する（関連判定処理工程S７）。想定速度ベクトルVpは、レーンと平行で進行方向の縦成分と横方向の横成分についてそれぞれ予め定めた値を持つと良い。先行車縦速度Vvについては、水平エッジEの進行方向の速さが予め定められた想定速度ベクトルVpの縦成分より小さい場合には、静止物と判定し、走行路幅Wとの関連５８をなしと判定する。また、先行車横速度Vhが、想定速度ベクトルVpの横成分より大きい場合には、先行車両が車線変更し、又は右左折するとして、走行路幅Wrとの関係５８をなしと判定することができる。
【００４２】
この図１及び図３に示す装置及び方法は、CPUを用いて実行するための走行環境推測用プログラムにより実現することができる。このプログラムは、図２に示す記憶装置４２に格納され、コントローラーのCPUによって実行される。このプログラムは、図１等に示す各部及び図３等に示す各工程の情報処理を実現する。
【００４３】
図７は、図３に示す情報処理の詳細例を示す。図７を参照すると、実施例２では、まず、カメラ１０からの画像を補正する（ステップS１０）。次に、原画像水平エッジeをプレヴィットフィルタ等の使用により抽出し、世界座標系に変換することで水平エッジEを算出し、この水平エッジEの座標(X1,Y1), (X2, Y2) から対象物幅Wを求める（ステップS１１，図３のステップS２）。
【００４４】
同一性判定処理S５［正規相関処理］
続いて、対象物幅Wが想定対象物幅Wpの範囲内であるか否かを確認する（ステップS１２）。ここでは、想定対象物最小幅W_MIN < 対象物幅W < 想定対象物最大幅W_MAX を満たすか否かを確認する。満たす場合には、当該水平エッジEは走行路幅Wrと関連５８を有すると判定し、続けて、前フレームデータがあるか否かを確認する（ステップS１３）。
【００４５】
前フレームがあると、相関処理を行う（ステップS１４）。図８を参照すると、現在の画像ｔの水平エッジEを検出した位置から、（幅、高）＝（wx, wy）[画素]の相関ウィンドウ２０ａを設ける。前フレームの画像ｔ-dtの水平エッジEの位置に、同じサイズのウィンドウを設ける。ウィンドウ内に各画素につき、以下の正規相関式（８）に従って、相関値ｒを求める。
【００４６】
【数４】
【００４７】
ここで、Iは時刻ｔ画像のウィンドウ内の各画素の輝度値、Iaveはその平均値、Jは時刻ｔ-dt画像のウィンドウ２０ａ内の各画素の輝度値、Javeはその平均値を表し、N = wx * wyである。水平方向にウィンドウ２０ａを移動しながら、この正規化相関処理を行い、TH1=（全体処理数の例えば70％以上のrについて、r*100%値が例えば70％）以上の場合、同じ車両であると判断する（ステップS１６）。式（８）のr群がしきい値未満の場合には、２つのフレームの水平エッジEに相関はないとして、同一車両ではないと判定し、ステップS２０に進む。
【００４８】
また、このステップS１５のNoに続いて、前フレームの想定対象物最小幅W_MIN < 対象物幅W < 想定対象物最大幅W_MAX条件を満たす水平エッジE群のうち、手前のエッジを採用して、再度、図８に示した相関処理で、同一車両かどうかのチェックするようにしても良い。同一車両ではないと判定し、かつ複数のエッジがある場合、再度、手前より遠い方向の水平エッジに対して、相関処理を行うと、先行車の認識率を向上させることができる。相関がある場合、ステップS１６に進む。
【００４９】
速度算出処理S６［速度算出］
続いて、先行車の速度Vを算出する。まず、自車速度の平均速度Vmを次式（９）により算出し、自車の移動距離Sを次式（１０）により求める。対象物の進行方向の移動速度である先行車縦速度Vvは、次式（１１）により算出される。ここで、Lt，Lt-dtは、時刻t、t-dt画像上での自車迄の距離を表す。また、先行車の横方向速度である先行車横速度Vhを次式（１２）により求める。ここで、先行車幅中心Wct，Wct-dtは、時刻t、t-dt画像上での先行車両の幅方向の中心位置を表す。
【００５０】
【数５】
【００５１】
関連判定処理S７［速度ベクトルによる水平エッジ特定（静止物）］
先行車縦速度Vvの相対速度が自車に向かっている方向で、自車速度の±20％以内の場合、静止物と判定し（ステップS１７）、関連５８をなしとする。これは、路面上の文字からも、水平エッジEを検出されるところ、路面上の文字等の静止物からは走行路幅の推測をしない処理である。ここでは、路面上の文字は、幅が車両の幅と同じである場合、車両として検出されるが、この先行車縦速度Vvを用いて、静止物として除去する。静止物を除去する条件としては、先行車の速度に着目して予め定められた速度Vp以上の場合に先行車と判定して関連５８をありとし、それ以外を静止物としても良い。
【００５２】
関連判定処理［速度ベクトルによる水平エッジ特定（車線変更等）］
水平エッジEが静止物ではない場合、さらに、先行車横速度Vhが予め定められた横速度上限値Vh_MAX以上か否かを判定し、横速度上限値Vh_MAXを超える場合には、先行車は車線変更又は右左折と判定し、関連５８をなしとする。すなわち、水平エッジEが横移動していない際に（ステップS１８）、車両と判断して保存する。ステップS１８では、先行車横速度が一定以上の場合には、当該水平エッジによる走行路幅の推測を行わない。横速度上限値Vh_MAXは、次式（１３）によって算出することができる。図６を参照すると、Wr - W = 2 * Wtであり、 TTLC （Time To Lane Crossing) は先行車の車線逸脱時間である。
【００５３】
【数６】
【００５４】
この先行車の横速度による制限をすると、自動的に、走行環境がカーブの場合に先行車幅による走行路幅の推測を制限することができる。この先行車横速度Vhの上限値による制限によって、先行車速度に応じて予め算出されるカーブR値より小さいカーブを処理対象から除外することができる。この先行車横速度Vhによる制限により、大きく曲がるカーブでは先行車幅から走行路幅の推測をしないため、先行車幅から走行路幅と位置とを推測する正確さを確保することができる。
また、先行車が右左折する際には、先行車の速度が低下するため、先行車縦速度Vvの値によっても走行路幅の推測を制限することができる。
【００５５】
図７に示す２つのフレームの画像を用いた情報処理にて、水平エッジEが静止物であるか（ステップS１７）、横移動している際には（ステップS１８）、前フレーム及び今回のフレーム情報を削除し（ステップS２０）、先行車両を未検出であるカウンターをカウントアップする（ステップS２１）。この未検出カウンターの値は、走行路幅の推測処理が非動作であることを警報する際に使用できる。
【００５６】
関連判定処理［多数フレーム］
フレームメモリー３１Aを５枚以上用意すると、先行車のウインカー情報や、ブレーキランプの情報を画像処理で測定し、使用することができる。例えば、ウインカーの点滅は、通常1〜2回/秒程度で、この時間間隔の画像の差分を取ることで、ウインカーの状態を検出することができる。先行車が車線変更のためのウインカーを点滅させる場合、工事や事故などのために車線自体が減少することがあり、走行路幅及び位置の推測に役立つ。また、ブレーキも同様に、画像間の差分を取ることにより、検出できる。ブレーキランプの位置は先行車の幅を示すため、先行車の影等の影響を除去して先行車幅を補正する等の利用が可能となる。
【００５７】
走行路幅推測S８
図７のステップS１９にて車両として保存した水平エッジEは、自車位置に対して、水平エッジの相対距離の情報を有しており、その時系列データをプロットすると、図９のような走行図が得られる。黒い点は、自車位置、垂直線は、検出した水平エッジEを表す。
黒点の自車位置は、操舵角センサ３４の操作角Φmと、車速センサー３２の自車速度Vmとにより推測することができる。推測車線は、各時刻における水平エッジEの中心点から、半車線幅W_CONの分、両サイドに広げた点を繋げることで計算できる。半車線幅W_CONは、例えば、「道路構造令」で定めた半車線幅W_CON ＝3.5/2＝1.75としてもよい。また、白線認識を併用する際には直近に認識した白線での幅を使用して半車線幅W_CONを可変としてもよい。ナビゲーションシステム等走行路の情報を外部から得られる際には、当該情報や予め記憶した道路毎の道路幅の情報から半車線幅W_CONを可変としても良い。
【００５８】
・1.2複数フレームの相関で関連判定の効果
上述のように、２枚のフレームを用いる例では、静止物を除去し、右左折又は車線変更す先方車両を除去しつつ、前方車両の走行軌跡を計算し、前方車両の対象物幅Wから走行路幅Wrを計算する。このため、２枚のフレーム画像があれば情報処理をすることができ、レーダー等も不要で、低コストで高速処理をすることができる。また、図８に示す相関処理により前方車両の同一性を判定し、走行軌跡を特定するため、隣車線の車両を正確に区別することができる。
【実施例２】
【００５９】
＜2.1白線認識不能時に水平エッジ処理＞
次に、実施例２を開示する。
図１０を参照すると、実施例２の車線逸脱警報装置１０２は、実施例１と同様に、カメラ１０と、水平エッジ抽出部１２と、座標系変換部１４と、関連判定部１６と、走行路幅推測部１８とを備えている。関連判定部１６は、同一性判定処理２０と、速度算出処理２２と、関連判定処理２４とを備えるようにしても良い。
実施例２では特に、車線逸脱警報装置１０２は、白線認識部６０と、車線逸脱時間判定部６２と、警報出力部４０とを備えている。
【００６０】
白線認識部６０は、撮影された画像から前記走行環境内のレーンを認識し走行路幅を算出する。レーンは、道路上の白色その他の色の白線である。白線認識部６０は、微分処理によりエッジを抽出し、そのエッジの特徴から直線又は曲線の線（レーン）を認識し、走行環境の複数のレーンから走行路幅Wrを算出する。
【００６１】
車線逸脱時間判定部６２は、前記白線認識部６０によって算出される走行路幅Wrと操舵角Φmとに基づいて車線逸脱時間TTLCを判定する。また、車線逸脱時間判定部６２は、前記白線認識部６０によって白線が認識されない際には、前記走行路幅推測部１８によって推測された前記走行路幅Wrから車線逸脱時間TTLCを判定する。すなわち、実施例２では、白線が認識されている際には白線認識によるレーン間の距離等から走行路幅Wrを算出する一方、白線が認識されない際に、前方車両の対象物幅Wを用いて走行路幅Wrを推測する。車線逸脱時間TTLCは、現在の操舵角Φm、自車の速度Vm及び走行路幅Wrを用いて、現在の走行状態で左右の車線を跨ぐまでの時間であり、その時間は、車線逸脱のレベルでもある。
【００６２】
警報出力部４０は、前記車線逸脱時間TTLCに応じて警報を出力する。例えば、ウインカーが操作されていない際に、１秒以内に車線を跨ぐ可能性がある際に警報すると良い。これは、図２に示すウインカー制御部３８からのウインカー制御信号３８ａとTTLCとの組み合わせによる制御となる。
【００６３】
白線抽出処理［エッジ強度edge_Sobel（Sobelフィルタ）］
白線認識部６０は、ソーベル（Sobel）微分法とハフ(Hough)変換による直線検出とにより、原画像１０ａから白線となる直線を認識すると良い。原画像１０ａの各座標（x,y）の画素の輝度値をf(x,y)とし、x方向の輝度値変化dxを式（１４）、y方向の輝度値変化dyを式（１５）とすると、エッジ強度edge_Sobelは次式（１６）により求められる。
【００６４】
【数７】
【００６５】
図１１（A）を参照すると、エッジ強度edge_Sobelとして、カメラ座標系の原画像１０ａに点P１からP3の直線が求められる。すると、原点（図中左下）から座標値P2までの距離ρと角度θとは容易に求められる。P1、P2、P3は、一つの直線上の点であり、座標を（x,y）と表現する。原点から直線への距離をρ、ρがX軸となす角度をθとすると、以下の関係式（１７）が成り立つ。
【００６６】
【数８】
【００６７】
ハフ変換による直線検出方法では、P1、P2、P3の座標を式（１７）に代入して、図１１（B）に示すρ-θ座標系にプロットすると、右側のような3本の曲線が描ける。P1、P2、P3が一つの直線上にあれば、右図のような曲線の交点（ρ0, θ0）を求められる。実際の処理では、ソーベルフィルタで検出したエッジ点を式（１６）に従って変換し、ρ-θ座標系にプロットし、出現頻度の高い交点（ρ0, θ0）を見つける。例えば、交点を検出した時、対応する直線式は、次式（１８）及び次式（１９）により求められる。
【００６８】
【数９】
【００６９】
曲線についても、エッジを適宜区切ることにより直線で近似し、このハフ変換での交点の探索によりレーンを求めることができる。
【００７０】
車線逸脱時間判定
図１２を参照すると、車線逸脱時間TTLCは、実線で示す位置で現在の速度のまま現在の操舵角では、点線で示すように車線を逸脱するまでの時間をいう。すなわち、自車の現在位置から、現在の操舵角Φmと自車速度Vmとを用いて、左又は右の車線を跨る迄の時間TTLCを算出し、TTLC < TTh [秒] の場合、逸脱すると判定する。なお、TTLCは以下の式（２０）により算出し、逸脱しきい値秒TTh は1秒に設定した。 逸脱しきい値TTh は、自車の速度に応じて可変としても良い。
【００７１】
【数１０】
【００７２】
警報出力処理
逸脱しきい値TTh秒以内での左又は右への車線逸脱を判定すると、ドライバーがその方向のウインカーを出していない場合、例えばブザーによる警報を出力する。ブザー以外にも音声案内等本発明の実施時における望ましいヒューマン・インタフェース技術を適用することができる。
【００７３】
図１３に画像の一例を示す。図１３（A）にグレースケールで示す実際にはカラーの原画像に対して、水平エッジフィルタを行った場合のエッジ画像を図１３（B）に示す。図１３に示すように、走行車線の右側白線が薄くなり、エッジの検出が出来ない状況で、実施例２では、先行車の水平エッジEが検出出来た為、先行車の水平エッジEとして保存し、この水平エッジEを用いて走行路幅Wrを推測し、車線逸脱の判定をすることができる。
【００７４】
・2.1白線認識不能時に水平エッジ処理の効果
上述のように、道路の白線を検出出来ない時、画像処理のみによって前方車両の水平エッジを検出して、保存し、時間的に連続した車両幅を持つ水平エッジから、走行路を推測する。そして、自車両が一定幅の逸脱を発生する可能性がある場合、警告を出すことができる。これによって、道路の白線認識不可能によるシステム不稼動時間を減らすことが可能となる。このように、従来の白線検出による車線逸脱警報システムとの併用により、システム稼動時間を大幅に増加させることができ、ユーザーの利便性並びに信頼性が向上する。特に、例えば、高速道路で、長時間、単調でほぼ直線道路の走行で、注意力が散漫になりやすく、疲労が蓄積されやすい状況の走行環境であっても、車線逸脱を警報可能な時間を増加させることができる。
【００７５】
このように、実施例２では白線認識不能による逸脱警報システムの不作動状態を減らせる為、本システムへのドライバーの信頼感を増大させることができる。また、本システムの普及により、車線逸脱の減少や、ウインカーを出さずに車線を変更するケースを減少させることができる。特に、長時間の比較的単調な運転時に逸脱警報がなされると、ドライバーへのサポートとなるため、この技術は、四輪車購入の動機となる。
【００７６】
＜2.2幅認識フラグDetと動作ステータスSta＞
図１４を参照すると、実施例２では、幅認識フラグDetを用いることで、白線認識処理（S３２からS３５，S４０）と、前方車両の対象物幅Wによる走行路幅Wの推測処理（ステップS４１からS４６，S３５）とを安定して並列処理することができる。幅認識フラグDetは、白線認識又は先行車両の水平エッジEから走行路幅Wrを認識できた際にオン（1）とし、認識できない場合にオフ（0）とする。また、動作ステータスStaは、幅認識フラグDetのオンオフに応じた動作状態を示す。この幅認識フラグDet及び動作ステータスStaは、外部メモリー３１Bに格納し、白線認識処理と走行路幅推測処理とから共通してアクセス可能とすると良い。
【００７７】
図１４で特徴的な処理は、次の通りである。すなわち、まず、前記白線認識部６０が、前記白線を認識した際に（ステップS３４）、幅認識フラグDetをオンとするとともに（ステップS３５）、認識されない際には、当該幅認識フラグDetをオフとする（ステップS４０）。そして、前記走行路幅推測部１８が、前記幅認識フラグDetがオフの際に（ステップS４１）、前記走行路幅Wrの推測処理をする（ステップS４２からS４６）。そして、推測できた際に前記幅認識フラグDetをオンとし（ステップS３５）、認識できない際に幅認識フラグDetをオフとする（ステップS４７）。そして、前記警報出力部４０が、当該幅認識フラグDetのオンオフに応じて当該認識の動作ステータスStaを警報する（ステップS５１）。
【００７８】
これにより、警報出力部４０は、幅認識フラグDetがオン（又はオンが一定回数継続）である際に、当該車線逸脱警報装置が動作中である旨を警報し、幅認識フラグがオフ（又はオフが一定回数継続）である際に、非動作である旨の警報を出力することができる。図１４に示す例では、一定数Cpだけ幅認識フラグDetのオフが繰り返された際に動作ステータスをオフにする。このため、未検出カウンタCntを使用する（ステップS４８，S４９，S３９）。一方、非動作状態で幅認識フラグDetがオンとなると、動作状態とする（ステップS３８）。
【００７９】
実施例２では、コントローラ３０は、マルチコア機能を有する画像処理専用チップを備えると良い。これらの画像処理チップは、ユーザーによるＣＰＵの個数、相対性能を設定することができる。また、個々の論理的なＣＰＵは、同じ外部メモリー３１Ａをアクセスできる。従って、2つのロジックを同時に処理する為に、2個のＣＰＵ設定を行い、それぞれの処理ステータスを表すフラグを外部メモリ３１Bに設定し、常に監視することにより、デッドロックの発生を防止しつつ、ACID特性を満たすための待機やロックを最小限とすることで、CPUの能力に応じた高速な処理を実現することができる。また、２つのアルゴリズムの実際の処理量を応じて、それぞれのＣＰＵの性能を設定することで、処理待ち状態を最小限に抑える最適化も可能である。
また、データ駆動型の画像処理チップを使用すると、データが流れている時にCPUが動作状態になるが、それ以外は、非動作状態になるため、速度範囲での非動作の際にはCPUは電力を消費しない。
【００８０】
図１４のフローに従って各工程を説明する。まず、車速センサー３２による自車の速度Vmを確認し（ステップS３０）、例えば、車速Vm ≧ 60 [km/h]でオン、オンとなった後Ｖm ≦ 50 [km/h]の際にオフとする。オンとなると、ステップS３２及びS４１の並列処理をする。オフの場合、動作ステータスStaを０（オフ）とし、非動作となった旨を警報する（ステップS５１）。この自車速度に応じた動作非動作の制御により、長時間の高速運転時の車線逸脱を警報しつつ、低速での市街地走行時には非稼働とすることができる。なお、自車が右左折する際には、車速が落ちる為、システムがオフになる。
【００８１】
ステップS３１では、カメラ１０が撮影した画像をフレームメモリー３１Aに格納する。この画像は、白線認識処理と、走行路推測処理との両処理に用いられる。白線認識処理では、まず、ソーベルフィルタ処理を行うことでエッジを抽出し（ステップS３２）、ハフ変換等により白線であるレーンを抽出する（ステップS３３）。このレーンが走行路幅Wrを示す白線であれば（ステップS３４）、幅認識フラグDetを１（オン）にする（ステップS３５）。幅認識フラグDetがオンの場合、水平エッジ抽出処理は行わない（ステップS４１）。続いて、逸脱を判定し（ステップS３６）、逸脱があれば、警報を発する（ステップS３７）。逸脱がなければ、動作ステータスStaを読み出して、オフ（非動作，０）である際には１（オン，動作中）に更新する（ステップS３８）。動作ステータスStaをオンにした際には、所定の未検出カウンタCntの値を0に初期化する（ステップS３９）。
【００８２】
続いて、今回の画像処理にて幅認識フラグDetがオンとなった場合には、動作状態に変化した旨を警報する（ステップS５１）。例えば、車速低下時と同様、メータ内に、システムが非動作状態である旨の表示や、動作非動作の切り替え時に、一度「ぽん」のような状態変更を表す音を出すようにしても良い。逸脱警報S３７，動作状態警報S５１又は警報なしの後には、次の画像を待機する（ステップS３０，S３１）。
【００８３】
ステップS３４にて白線が認識されない場合、幅認識フラグDetを０（オフ）とする（ステップS４０）。続いて、次の画像を待機する。次の画像の処理時には、幅認識フラグDetがオフとなっているため、ステップS４１にてイエスとなり、水平エッジ抽出処理をする（ステップS４２）。続いて、関連判定処理（ステップS４３）、車両か否かの判定（ステップS４４）をする。車両であれば、車両エッジ情報（例えば、対象物幅Wの座標値とその中心位置）と、原画像水平エッジeを抽出した原画像１０ａをフレームメモリー３１Aに保存する（ステップS４５）。続いて、前フレームのデータをも用いて、走行路幅Wrを推測する（ステップS４６）。走行路幅の推測に成功すると、幅認識フラグDetをオンとする（ステップS３５）。さらに、水平エッジEから求めた走行路幅Wに基づいて逸脱の判定をする（ステップS３６）。
【００８４】
ステップS３４にて白線が認識されず、同一の又は次の画像の処理でのステップS４４にて前方車両が検出されない場合、すなわち、走行環境の白線が摩耗しており、かつ、前方車両が存在しないか、存在しても遠方か、走行路が一定以上のカーブか、又は前方車が車線変更か右左折等の場合には、走行路幅Wを推測する手がかりがなく、幅認識フラグをオフとする（ステップS４７）。この場合、幅認識フラグDetがオフとなる画像数が一定以上の際に非動作状態とすべく、未検出カウンタCntをインクリメントする（ステップS４８）。直近の画像処理にて幅検出フラグDetがオンであれば、ステップS３９にて未検出カウンタCntは０に初期化されており、ステップS４８が初回であれば、未検出カウンタの値は１となる。この白線の未認識と車両の非検出とが連続して一定回数Cp以上繰り返された際、ステップS４９にてイエスとなり、動作ステータスStaをオフにする（ステップS５０）。動作状態警報S５１では、動作状態から非動作状態に変化すると、この動作状態を警報する。また、ステップS５１では、白線認識の有無や未検出カウンタのカウント値に応じて動作状態を良、悪化、不能等の３段階としてもよい。
【００８５】
・2.2幅認識フラグと動作状態の効果
上述のように実施例２にて幅認識フラグ等を用いると、白線認識処理による走行路幅の測定と、水平エッジ抽出処理による走行路幅の推測とを安定して並列処理することができる。このため、走行環境の変換に応じて、
白線が未検出となっても、水平エッジによる走行路幅の推測を直ちに行うことができ、また、水平エッジの走行路幅の推測を継続しながら、白線抽出処理を試みることができる。そして、幅認識フラグを用い、外部メモリー３１Aに格納すると、両方の並列処理の各CPUが必要な際に独立して読み出すことができ、デッドロックを防止し、不要な待ち時間の発生を抑止し、高速処理を確保することができる。
【００８６】
そして、車線逸脱警報装置が非動作となるのは、走行環境の白線が摩耗している等ドライバーが目視で白線の悪化状態を認識でき、前方を走行する先行車両が存在せず、存在しても遠方か、前方車が車線変更か右左折等の場合か、白線認識不能でかつ走行路が一定以上のカーブである場合となる。これらの走行環境の変化は、ドライバーにとって判りやすく、車線逸脱警報装置の動作・非動作がどのようになるか、ドライバーにとって予測しやすいものであり、車線逸脱警報装置を利用する上での納得感を高いものとすることができる。稼働時間の向上と、不稼働の理由の明確さとによっても、ドライバーからの信頼を向上させることができる。
【００８７】
＜2.3走行路幅の補正処理＞
実施例２では、水平エッジの抽出による走行路幅の推測に際して、補正をするようにしても良い。この例では、再度図１０を参照すると、前記走行路幅推測部１８が、前記白線認識部６０によって直近に認識された前記走行路幅Wrと、前記原画像水平エッジeによる前記対象物幅Wとに基づいて当該走行路幅Wrを補正する補正処理6４を備える。この補正処理６４は、白線認識部６０による白線の抽出が不能となった際に、その直前の画像まで認識されていた白線がある際には、当該白線による走行路幅Wrを特定する。補正処理６４は、この直近に認識された前記走行路幅Wrから、Wrの中心位置を中心として予め定められた車線幅W_COMを算出する。そして、水平エッジEから求めた対象物幅Wに加算することで、走行路幅Wを求める。すなわち、補正処理６４は、直近の白線による走行路幅Wrを使用して、半車線幅W_COMを補正する。
【００８８】
また、白線ではなく、直近までの磁気ネイルにより測定した走行路幅や、ナビゲーションシステム等から得た走行路幅があれば、この走行路幅Wrにより半車線幅W_COMを補正してもよい。
【００８９】
・2.3走行路幅の補正処理の効果
実施例２にて水平エッジによる走行路幅を直近の走行路幅で補正すると、白線認識がオフとなり水平エッジによる走行路幅に切り替わる際に、走行路幅が不連続に変化することなく連続させることができ、車線逸脱判定を安定させることができる。
【実施例３】
【００９０】
＜3.1操舵アシスト装置＞
実施例３の操舵アシスト装置は、工場や物流の敷地内等にて先行する車両と同一の走行路を自動的に運行させるための装置である。すなわち、先頭車両への追従走行を制御する。
図１５を参照すると、実施例３の操舵アシスト装置は、実施例１及び２と同様に、カメラ１０と、水平エッジ抽出部１２と、座標系変換部１４と、関連判定部１６と、走行路幅推測部１８とを備える。関連判定部は、同一性判定処理２０と、速度算出処理２２と、関連判定処理２４とを備えるようにしても良い。
そして、実施例３では特に、当該推測された走行路幅Wrに自車を案内する操舵量を算出する操舵量算出部７０と、当該操舵量に基づいて自車を操舵する操舵駆動制御部36とを備えている。操舵量算出部７０は、再度図９を参照すると、前方の走行路幅Wrが図示の如く直進の際には、ハンドルの操舵角は０度である。前方の走行路幅Wrの連続がカーブとなる際には、その曲率に応じたハンドルの操舵角を算出する。操舵駆動制御部36は、この操舵量に応じてモーター等を用いてハンドルを制御する。速度については、先行車との車間Lを一定とする速度としても良いし、予め定めた速度としても良い。
【００９１】
・3.1操舵アシスト装置の効果
実施例３の操舵アシスト装置を用いると、先頭車両への追従走行が可能となり、しかも、工場等の敷地内の道路に白線を引く必要がない。また、例えば、直線部分は白線を引かず、特定の停車位置等にのみ白線を引くようにして、実施例２と実施例３とを組み合わせても良い。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施形態の構成例を示すブロック図である。（実施例１）
【図２】本実施形態のハードウエア資源の構成例を示すブロック図である。（実施例１から３）
【図３】本実施形態の情報処理の一例を示すフローチャートである。（実施例１から３）
【図４】カメラ座標系と世界座標系との関係を示す説明図である。（実施例１から３）
【図５】世界座標系での水平エッジの一例を示す説明図である。（実施例１から３）
【図６】世界座標系での対象物幅と走行路幅の一例を示す説明図である。（実施例１から３）
【図７】複数フレームの相関を使用する情報処理の一例を示すフローチャートである。（実施例１から３）
【図８】図８（A）及び（B）はウインドウーを使用した関連判定処理の一例を示す説明図である。（実施例１から３）
【図９】自車と先行車と時間間隔との関係を示す説明図である。（実施例１から３）
【図１０】本実施形態の構成例を示すブロック図である。（実施例２）
【図１１】図１１（A）及び（B）は白線抽出処理の一例を示す説明図である。（実施例２）
【図１２】車線逸脱時間の一例を示す説明図である。（実施例１から３）
【図１３】図１３（A）及び（B）は原画像と二値化画像との一例を示す説明図である。（実施例１から３）
【図１４】本実施形態の情報処理の一例を示すフローチャートである。（実施例２）
【図１５】本実施形態の構成例を示すブロック図である。（実施例３）
【符号の説明】
【００９３】
e 原画像水平エッジ
E 水平エッジ
W 対象物幅
Wp 想定対象物幅
Wr 走行路幅
Wt 走行路から自車までの距離
W_MIN 想定対象物最小幅
W_MAX 想定対象物最大幅
Wc 先行車幅中心
L 対象物距離
V 速度ベクトル
Vv 先行車縦速度
Vh 先行車横速度
Vh_MAX 横速度上限値
Vp 想定速度ベクトル
Vm 自車速度
r 水平エッジ相関係数
t 時刻
td 時間差
Det 幅認識フラグ
Sta 動作ステータス
Cnt 未検出カウンタ
TTLC 車線逸脱時間
Φm 操舵角
１０ カメラ
１２ 水平エッジ抽出部
１４ 座標系変換部
１６ 関連判定部
１８ 走行路幅推測部
２０ 同一性判定処理
２２ 速度算出処理
２４ 関連判定処理
３０ コントローラー
３１ メモリー
３１A フレームメモリー
３１B 外部メモリー
３２ 車速センサー
３４ 操舵角センサー
３６ 操舵角駆動制御部
３８ ウインカー制御部
４０ 警報出力部
５２ カメラ座標系
５４ 世界座標系
５６ 座標変換係数
５８ 関連
６０ 白線認識部
６２ 車線逸脱時間判定部
６４ 補正処理
１００ 走行環境推測装置
１０２ 車線逸脱警報装置
１０４ 操舵アシスト装置
【技術分野】
【０００１】
本発明は、移動体に搭載され走行環境を推測する技術分野に関連し、特に、カメラからの入力画像に基づいて走行環境での車線幅等を推測する走行環境推測装置、その方法及びプログラムに関する。
本発明はまた、走行環境の推測に基づいて、車線からの逸脱を検出し警報する車線逸脱警報装置に関する。
本発明はさらに、走行環境の推測に基づいて、移動体の操舵をアシストする操舵アシスト装置に関する。
【背景技術】
【０００２】
従来より道路の白線（白色に限らず道路の車線をドライバーに案内する道路上の線）を検出することで、走行環境の車線幅を検出し、車線からの逸脱を警報し、また、操舵のアシストをする技術がある。
特許文献１には、高速旋回走行時においてもドライバーに逸脱警報の違和感を与えないことを目的として、車体の横すべり角を考慮して車線逸脱警報を制御する手法が開示されている。
特許文献２には、走行車線の白線が検出できない場合でも車線に基づく運転支援を継続することを目的として、カメラの他にレーダーを備え、白線が検出されない際にはレーダーを使用して先行車を検出し、先行車両の移動軌跡から走行車線の仮想白線を計算する手法が開示されている。
特許文献３には、走行境界を高精度で検出することを目的として、自車両前方の画像から複数の特徴点を抽出し、各特徴点の移動速度及び配置に基づいて走行境界を検出する手法が開示されている。
【０００３】
【特許文献１】特開2002-193055号公報
【特許文献２】特開2007-8281号公報
【特許文献３】特開2007-316685号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
白線認識による車線逸脱の警報や操舵アシストでは、白線が不明確な場合や、道路汚れや、気象条件などによって、道路の両方の白線が検出出来ない場合がある。
上記特許文献１では、白線認識が不能の場合、車線逸脱の警報を停止させる為、逸脱警報装置としての商品価値が下がってしまう。
特許文献２では、白線検出部とは別に、レーダーによる先行車の検出を行い、逸脱の判定を行っている。しかし、レーダーによる先行車の検出では、横への分解能が低く、先行車の幅を正確に測定することが困難であり、同一車両である判定が出来ないため、自車前方の先行車であることを判定するには、不正確さが残ってしまう。この為、ドライバーのシステムへの不信を招き、商品価値が下がってしまう。また、別装置のレーダーを別途装着することにより、システムのコストが高くなるとの欠点がある。
特許文献３では、画像の特徴点の抽出、画素毎の速度算出、速度によるグループ化など膨大な画像処理が必要となる一方、多様な走行環境について車線幅をどのように安定的に推測し、又は推測不能を判定するかについては開示されていない。特に、走行路幅を推測可能な走行環境と不能な走行環境の相違がドライバーに判りづらい、という不都合がある。
【０００５】
［技術的課題１］このように、上記従来例では、走行路幅の検出精度を白線認識の場合と同等としつつレーダーや膨大な画像処理を使用せずに走行路幅を推測することができない、という不都合があった。
［技術的課題２］さらに、上記従来例では、推測不能とする処理をドライバーにとっても判りやすくすることでシステムへの信頼を増大させることができない、という不都合があった。
［技術的課題３］また、上記従来例では、走行路幅の推測処理について、白線の状態にかかわらず、かつ、低コストで、当該推測処理の稼働率を高めることができない、という不都合があった。
【０００６】
［発明の目的］本発明の目的は、白線認識と同等の精度で走行路幅を推測することで、白線の認識が不能の際にも安定した走行環境の推測を継続することにある。
また、本発明の別の目的は、走行路幅の推測不能をドライバーにとっても判りやすい処理とすることにある。
【課題を解決するための手段】
【０００７】
［着眼点］本発明の発明者は、白線認識と同等の精度で白線以外の情報から走行路幅を推測するには、先行車両の幅が良い、という点に着目した。そして、先行車両の幅を情報処理により算出するには、画像の水平エッジを抽出し、当該水平エッジに対して各種の情報処理をすることで、上記課題を解決できるのではないか、との着想に至った。
【０００８】
［課題解決手段１］実施例１に対応する第１群の本発明は、運転者の視界に応じた走行環境を撮影するカメラと、撮影された画像の原画像水平エッジeをカメラ座標系で抽出する水平エッジ抽出部と、予め定められた座標変換係数に基づいて、前記カメラ座標系での原画像水平エッジeを世界座標系での水平エッジEに変換する座標系変換部と、前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連を判定する関連判定部と、前記関連と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する走行路幅推測部と、を備えた、という構成を採っている。
これにより、上記技術的課題１を解決した。
【０００９】
［課題解決手段２］ 実施例２に対応する第２群の本発明は、第１群と同様に、カメラと、水平エッジ抽出部と、座標系変換部と、関連判定部と、走行路幅推測部とを備えている。
そして、課題解決手段２は、特に、撮影された画像から前記走行環境内のレーンを認識し走行路幅を算出する白線認識部と、前記白線認識部によって算出される走行路幅Wrと操舵角Φmとに基づいて車線逸脱時間TTLCを判定すると共に、前記白線認識部によって白線が認識されない際には、前記走行路幅推測部によって推測された前記走行路幅Wrから車線逸脱時間TTLCを判定する車線逸脱時間判定部と、前記車線逸脱時間TTLCに応じて警報を出力する警報出力部と、を備えた、という構成を採っている。
これにより、上記技術的課題１，２及び３を解決した。
【００１０】
［課題解決手段３］ 実施例３に対応する第３群の本発明は、第１群と同様に、カメラと、水平エッジ抽出部と、座標系変換部と、関連判定部と、走行路幅推測部とを備えている。
そして、課題解決手段３は、当該推測された走行路幅Wrに自車を案内する操舵量を算出する操舵量算出部と、当該操舵量に基づいて自車を操舵する操舵駆動制御部と、を備えた、という構成を採っている。
これにより、上記技術的課題１を解決した。
【発明の効果】
【００１１】
本発明は、本明細書の記載及び図面を考慮して各請求項記載の用語の意義を解釈し、各請求項に係る発明を認定すると、各請求項に係る発明は、上記背景技術等との関連において次の有利な効果を奏する。
【００１２】
［発明の作用効果１］ 課題解決手段１の走行環境推測装置は、原画像水平エッジeから世界座標系での先行車の対象物幅を算出し、この先行車の幅から走行環境の走行路幅を算出する。
従って、路面の白線の情報を使用しなくとも白線の場合と同等の精度で走行路幅Wrを推測することができる。また、水平エッジを使用すると、走行環境でのコントラストが高く、輝度差が大きいため、レーダー等を使用せず比較的単純な画像処理にて幅情報を精度良く得ることができる。
【００１３】
［発明の作用効果２］ 課題解決手段２の車線逸脱警報装置は、道路の白線を認識出来ない時、画像処理のみによって前方車両の水平エッジを検出して、走行路幅を推測する。
従って、白線認識不能による逸脱警報システムの不作動状態を減らせる為、本システムへのドライバーの信頼感を増大させ、利便性を向上させることができる。
【００１４】
［発明の作用効果３］ 課題解決手段３の操舵アシスト装置は、先行車の対象物幅Wを用いて、走行路幅を推測し、先行車に自動追従走行する。
従って、工場等の敷地内の道路に白線を引かずに自動追従走行をすることができる。
【発明を実施するための最良の形態】
【００１５】
発明を実施するための最良の形態として、3つの実施例を開示する。実施例１は走行環境推測装置１００、方法及びプログラムであり、実施例２は図１１等に示す車線逸脱警報装置１０２、実施例３は図１５に示す操舵アシスト装置１０４である。実施例１から３までを含めて実施形態という。
【実施例１】
【００１６】
＜1.1水平エッジから走行環境推測＞
まず、本実施形態の実施例１を開示する。実施例１は、走行環境の白線を使用せずに白線認識による場合と同等の精度（正確さ及び精密さ）で走行環境の推測をしようとするものである。
図１を参照すると、実施例１の走行環境推測装置１００は、カメラ１０と、水平エッジ抽出部１２と、座標系変換部１４と、関連判定部１６と、走行路幅推測部１８とを備えている。
【００１７】
カメラ１０は、運転者（ドライバー）の視界に応じた走行環境を撮影し、カメラ座標系５２での原画像１０ａを入力する。撮影の範囲は、ドライバーが前方を注視した際の視野と同等か、より広い範囲とすると良い。
【００１８】
水平エッジ抽出部１２は、撮影された原画像１０ａの原画像水平エッジeをカメラ座標系５２で抽出する。原画像水平エッジeは、ドライバーの視界での垂直方向にて輝度値が変化し、この変化が水平方向に連続する部分である。カメラ座標系５２は、カメラ１０の撮影面の法線方向をz方向としたxy平面の座標系である。xyは例えば左上を原点とする。
【００１９】
座標系変換部１４は、予め定められた座標変換係数５６に基づいて、カメラ座標系５２での原画像水平エッジeを世界座標系５４での原画像水平エッジeに変換する。座標変換係数５６は、カメラ１０のキャリブレーション（校正）により予め求めておく値である。世界座標系５４は、撮影の対象物での座標系であり、走行環境の実測値に応じた座標値を持つ。対象物の幅に応じたカメラ座標系５２での原画像水平エッジeの座標値（p1, p2）を、世界座標系５４での座標値(P1, P2)に変換すると、原画像水平エッジeの長さは走行環境での当該対象物幅Wに変換される。
【００２０】
関連判定部１６は、前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、当該対象物幅Wと前記走行環境の走行路幅Wrとの関連５８を判定する。関連５８は、関連あり又は関連なしの値をとる。例えば、水平エッジEが自車の前方を走行する先行車両であると判定した際に、関連ありとする。
【００２１】
関連判定部１６は、世界座標系５４の水平エッジEの座標値(P1, P2)から、対象物幅Wと対象物距離Lとを容易に算出することができる。そして、予め定められた想定対象物幅Wpと、対象物幅Wとを比較することで、当該水平エッジEによる対象物幅Wが車両によるものか否かの関連５８を判定することができる。例えば、対象物幅Wが、車両として想定可能な幅（想定対象物幅Wp)以内であれば、当該原画像水平エッジeを先行車両と判定することができる。この場合、原画像水平エッジeの関連５８を先行車両とする。
【００２２】
そして、走行路幅推測部１８は、関連判定部１６によって判定された前記関連５８と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する。すなわち、走行路幅推測部１８は、関連５８として先行車両とされた水平エッジEによる対象物幅Wに対して、先行車の幅を走行路幅Wrに拡大するための半車線幅W_COMを加算することで、走行路幅Wrを推定する。
【００２３】
図２に、各実施例に共通するハードウエア資源の構成例を示す。実施例１との関係では、走行環境推測装置１００は、例えばECUや画像処理専用チップ等の一又は複数のCPUを含むコントローラー３０と、このコントローラー３０によって使用されるメモリー３１と、車載のカメラ１０と、車速センサー３２と、記憶装置４２とを備えている。
【００２４】
メモリー３１は、原画像１０ａを記憶するフレームメモリー３１Aと、複数の論理的なCPUの共有となる外部メモリー３１B等とを備えると良い。カメラ１０は、光学系と、CCDエリアセンサやCMOSエリアセンサとを備えると良い。そして、処理速度の向上及びフレームメモリー３１Aの低減の為に、カメラ１０からの画像（640×480）の奇数（又は偶数）ラインデータだけ（640×240）を採用しても良い。車速センサー３２は、自車速度Vmをコントローラー３０に入力する。記憶装置４２は、不揮発性メモリーであり、コントローラー３０を図１に示す各部として動作させるためのプログラムや、座標変換係数５６、想定対象物幅Wp等を記憶する。
【００２５】
その他、本実施形態のハードウエア資源として、実施例２との関係で、操舵角センサー３４、ウインカー制御部３８、警報出力部４０を備えている。また、実施例３との関係で、操舵角駆動制御部３６を備えている。
【００２６】
図３に、実施例１のフローチャートを示す。カメラ１０は、ドライバーの視界に応じた走行環境を撮影する（撮影工程S1）。続いて、水平エッジ抽出部１２は、撮影された画像の原画像水平エッジeをカメラ座標系５２で抽出する（水平エッジ抽出工程S2）。さらに、座標系変換部１４は、予め定められた座標変換係数５６と、前記カメラ座標系５２での原画像水平エッジeとに基づいて、当該抽出された原画像水平エッジeを世界座標系５４での原画像水平エッジeに変換する（座標系変換工程S3）。
そして、関連判定部１６は、前記原画像水平エッジeから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpと当該対象物幅Wとに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連５８を判定する（関連判定工程S4）。続いて、走行路幅推測部１８は、前記関連５８と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する（走行路幅推測工程S8）。
【００２７】
コントローラー３０は、CPUとしてプログラムを実行することで、図１等に示す各部として動作し、図３等に示す各工程を処理する。以下、各部及び各工程の情報処理例を説明する。
【００２８】
水平エッジ抽出処理S2［エッジ強度edge_Prewitt（Prewittフィルタ）］
水平エッジ抽出部１２は、ディジタル画像の微分処理により画像の輝度勾配の大きさを計算することで、原画像水平エッジeを抽出すると良い。車載のカメラ１０で走行環境を動的に撮影するため、ノイズの影響を効果的に除去することが望ましく、例えば、プレヴィット（Prewitt）の縦方向フィルタを使用すると良い。プレヴィット微分法では、座標（x,y）の画素の輝度値をf(x,y)とすると、水平エッジ強度edge_Prewittを次式（１）により求める。水平エッジ強度edge_Prewittが一定以上のエッジを原画像水平エッジeとして特定する。例えば、１画面中に複数の原画像水平エッジeがあれば、ラベリング等する。
【００２９】
【数１】
【００３０】
座標系変換処理S３［水平エッジの幅Wと距離L］
図４を参照すると、カメラ座標系５２の点p(x,y)は、世界座標系５４の点P（X,Y,Z）に対応する。この場合、次式（２）の射影変換式が成立する。世界座標系を道路面上に想定しているので、Z=0となり、P（X,Y,Z）＝P（X,Y,0）となる。式（２）のα，β，γ，u0，υ0，ｍはレンズなど撮像系に関係するカメラの内部パラメータ、r11，r12，r21，r22，r31，r32，Tx，Ty，Tz は、カメラの設置位置、向きなどに関係する外部パラメータである。これらの内部及び外部パラメータは、座標変換係数５６であり、設置したカメラ１０に対するキャリブレーションによって求める既知の値である。
式(２)に対して、次式（３）とすると、次式（４）になる。従って、座標系変換部１４は、P(X,Y)を次式（５）によって求める。原画像の原画像水平エッジeから、水平方向での両端の座標値p(x, y)を抽出し、式（５）に従って、世界座標系５４での座標値 P(X,Y) を計算する。
【００３１】
【数２】
【００３２】
関連判定処理S４［対象物幅W及び距離L算出］
図５を参照すると、原画像水平エッジeは、世界座標系５４での当該水平エッジの両端の座標P1(X1,Y1), P2(X2,Y2)により特定できる。そして、この座標P1(X1,Y1), P2(X2,Y2)から、先行車の対象物幅Wを次式（６）により、カメラ１０からの距離Lを次式（７）により計算することができる。
【００３３】
【数３】
【００３４】
関連判定処理S４［距離Lによる水平エッジEの特定］
複数の水平エッジEがある際には、距離Lが自車に最も近い水平エッジEを選択すると良い。対象物幅Wによる関連５８の判定にて関連なしと判定される際には、次に距離Lが近い原画像水平エッジeを特定する。走行路幅Wrの推測のために水平エッジEを特定する処理であるため、予め定められた距離Lpよりも遠く、走行路幅Wrの推測に不適当な水平エッジEについては、関連なしと判定しても良い。この予め定められた距離Lpは、自車速度に応じて、早い場合には遠い距離を範囲内に含めるように可変としても良い。
【００３５】
関連判定処理S4［対象物幅Wによる関連］
図６を参照すると、自車から一定距離内にある先行車の対象物幅Wは、走行環境の走行路幅Wrと関連する。求められた対象物幅Wが、想定対象物幅Wpの範囲内の場合、対象物幅Wは走行路幅Wrとの関連５８があると判定する。この想定対象物幅Wp以外の場合、水平エッジEを自動車でないものとして除去する。想定対象物幅Wpは、例えば、想定対象物最小幅W_MIN = 1.4 [m]（軽自動車） 〜 想定対象物最大幅W_MAX = 2.5 [m]（貨物車）以内とすると良い。停止線など走行環境の進行方向に直行する水平エッジEは、後述する速度ベクトルによる静止物除去として処理しても良いし、この想定対象物幅Wpにより除去するようにしてもよい。
【００３６】
走行路幅推測処理S8［対象物幅Wによる関連］
走行路幅推測部１８は、先行車両は走行環境での走行路幅Wrの中心を目安に走行していると仮定し、Wrの中心位置を中心として予め定められた半車線幅W_CON等を用いて計算する。
【００３７】
・1.1水平エッジから走行環境推測の効果
上述のように、原画像水平エッジeから走行環境を推測すると、先行車がある場合に、白線の情報を使用しなくとも、白線の場合と同等の精度で走行路幅Wrを推測することができる。また、水平エッジを使用すると、走行環境でのコントラストが高く、輝度差が大きいため、比較的単純な画像処理にて幅情報を精度良く得ることができる。
このように、画像処理による先行車両の原画像水平エッジeの抽出により走行路幅を推定すると、レーダーによる前方車両検出とは異なり、横方向の分解能が高いため、前方車両の幅を正確に計測でき、走行すべき領域を精度良く推測することができる。
さらに、システム構成に必要なハードウエア資源（部品）は、カメラ、コントローラー及びメモリーであり、レーダー等の先行車両検知装置を別途追加する必要はない為、低コストで実現できる。
【００３８】
＜1.2複数フレームの相関で関連判定＞
次に、実施例１で複数フレームの原画像を用いて関連５８の判定を行う例を説明する。この例では、前記カメラ１０が、予め定められた時間差tdで前記走行環境の変化を連続して撮影し、フレームメモリー３１Aに格納する。再度図１を参照すると、この例では、前記関連判定部１６が、同一性判定処理２０と、速度算出処理２２と、関連判定処理２４とを備えている。
【００３９】
再度図３を参照すると、同一性判定処理２０は、前記時間差tdで連続する画像間での前記水平エッジEの同一性を判定する（同一性判定工程S５）。この同一性判定処理２０は、時間差tdの間に生じた自車と先行車との相対的な位置関係の変化を前提として、連続する画像間での水平エッジEが同一の対象物であるか否か判定するものである。
【００４０】
速度算出処理２２は、前記水平エッジEの同一性から当該水平エッジE（に応じた対象物）の前記世界座標系５４での速度ベクトルVを算出する（速度算出工程S６）。速度算出処理２２は、時間差tdと、原画像水平エッジeの世界座標系での移動距離とを使用して、対象物の速度ベクトルVを求める。速度ベクトルVは、例えば、先行車縦速度Vvと先行車横速度Vhとである。
【００４１】
関連判定処理２４は、予め定められた想定速度ベクトルVpと、算出された前記速度ベクトルVとから前記対象物幅Wと走行路幅Wrとの前記関連５８を判定する（関連判定処理工程S７）。想定速度ベクトルVpは、レーンと平行で進行方向の縦成分と横方向の横成分についてそれぞれ予め定めた値を持つと良い。先行車縦速度Vvについては、水平エッジEの進行方向の速さが予め定められた想定速度ベクトルVpの縦成分より小さい場合には、静止物と判定し、走行路幅Wとの関連５８をなしと判定する。また、先行車横速度Vhが、想定速度ベクトルVpの横成分より大きい場合には、先行車両が車線変更し、又は右左折するとして、走行路幅Wrとの関係５８をなしと判定することができる。
【００４２】
この図１及び図３に示す装置及び方法は、CPUを用いて実行するための走行環境推測用プログラムにより実現することができる。このプログラムは、図２に示す記憶装置４２に格納され、コントローラーのCPUによって実行される。このプログラムは、図１等に示す各部及び図３等に示す各工程の情報処理を実現する。
【００４３】
図７は、図３に示す情報処理の詳細例を示す。図７を参照すると、実施例２では、まず、カメラ１０からの画像を補正する（ステップS１０）。次に、原画像水平エッジeをプレヴィットフィルタ等の使用により抽出し、世界座標系に変換することで水平エッジEを算出し、この水平エッジEの座標(X1,Y1), (X2, Y2) から対象物幅Wを求める（ステップS１１，図３のステップS２）。
【００４４】
同一性判定処理S５［正規相関処理］
続いて、対象物幅Wが想定対象物幅Wpの範囲内であるか否かを確認する（ステップS１２）。ここでは、想定対象物最小幅W_MIN < 対象物幅W < 想定対象物最大幅W_MAX を満たすか否かを確認する。満たす場合には、当該水平エッジEは走行路幅Wrと関連５８を有すると判定し、続けて、前フレームデータがあるか否かを確認する（ステップS１３）。
【００４５】
前フレームがあると、相関処理を行う（ステップS１４）。図８を参照すると、現在の画像ｔの水平エッジEを検出した位置から、（幅、高）＝（wx, wy）[画素]の相関ウィンドウ２０ａを設ける。前フレームの画像ｔ-dtの水平エッジEの位置に、同じサイズのウィンドウを設ける。ウィンドウ内に各画素につき、以下の正規相関式（８）に従って、相関値ｒを求める。
【００４６】
【数４】
【００４７】
ここで、Iは時刻ｔ画像のウィンドウ内の各画素の輝度値、Iaveはその平均値、Jは時刻ｔ-dt画像のウィンドウ２０ａ内の各画素の輝度値、Javeはその平均値を表し、N = wx * wyである。水平方向にウィンドウ２０ａを移動しながら、この正規化相関処理を行い、TH1=（全体処理数の例えば70％以上のrについて、r*100%値が例えば70％）以上の場合、同じ車両であると判断する（ステップS１６）。式（８）のr群がしきい値未満の場合には、２つのフレームの水平エッジEに相関はないとして、同一車両ではないと判定し、ステップS２０に進む。
【００４８】
また、このステップS１５のNoに続いて、前フレームの想定対象物最小幅W_MIN < 対象物幅W < 想定対象物最大幅W_MAX条件を満たす水平エッジE群のうち、手前のエッジを採用して、再度、図８に示した相関処理で、同一車両かどうかのチェックするようにしても良い。同一車両ではないと判定し、かつ複数のエッジがある場合、再度、手前より遠い方向の水平エッジに対して、相関処理を行うと、先行車の認識率を向上させることができる。相関がある場合、ステップS１６に進む。
【００４９】
速度算出処理S６［速度算出］
続いて、先行車の速度Vを算出する。まず、自車速度の平均速度Vmを次式（９）により算出し、自車の移動距離Sを次式（１０）により求める。対象物の進行方向の移動速度である先行車縦速度Vvは、次式（１１）により算出される。ここで、Lt，Lt-dtは、時刻t、t-dt画像上での自車迄の距離を表す。また、先行車の横方向速度である先行車横速度Vhを次式（１２）により求める。ここで、先行車幅中心Wct，Wct-dtは、時刻t、t-dt画像上での先行車両の幅方向の中心位置を表す。
【００５０】
【数５】
【００５１】
関連判定処理S７［速度ベクトルによる水平エッジ特定（静止物）］
先行車縦速度Vvの相対速度が自車に向かっている方向で、自車速度の±20％以内の場合、静止物と判定し（ステップS１７）、関連５８をなしとする。これは、路面上の文字からも、水平エッジEを検出されるところ、路面上の文字等の静止物からは走行路幅の推測をしない処理である。ここでは、路面上の文字は、幅が車両の幅と同じである場合、車両として検出されるが、この先行車縦速度Vvを用いて、静止物として除去する。静止物を除去する条件としては、先行車の速度に着目して予め定められた速度Vp以上の場合に先行車と判定して関連５８をありとし、それ以外を静止物としても良い。
【００５２】
関連判定処理［速度ベクトルによる水平エッジ特定（車線変更等）］
水平エッジEが静止物ではない場合、さらに、先行車横速度Vhが予め定められた横速度上限値Vh_MAX以上か否かを判定し、横速度上限値Vh_MAXを超える場合には、先行車は車線変更又は右左折と判定し、関連５８をなしとする。すなわち、水平エッジEが横移動していない際に（ステップS１８）、車両と判断して保存する。ステップS１８では、先行車横速度が一定以上の場合には、当該水平エッジによる走行路幅の推測を行わない。横速度上限値Vh_MAXは、次式（１３）によって算出することができる。図６を参照すると、Wr - W = 2 * Wtであり、 TTLC （Time To Lane Crossing) は先行車の車線逸脱時間である。
【００５３】
【数６】
【００５４】
この先行車の横速度による制限をすると、自動的に、走行環境がカーブの場合に先行車幅による走行路幅の推測を制限することができる。この先行車横速度Vhの上限値による制限によって、先行車速度に応じて予め算出されるカーブR値より小さいカーブを処理対象から除外することができる。この先行車横速度Vhによる制限により、大きく曲がるカーブでは先行車幅から走行路幅の推測をしないため、先行車幅から走行路幅と位置とを推測する正確さを確保することができる。
また、先行車が右左折する際には、先行車の速度が低下するため、先行車縦速度Vvの値によっても走行路幅の推測を制限することができる。
【００５５】
図７に示す２つのフレームの画像を用いた情報処理にて、水平エッジEが静止物であるか（ステップS１７）、横移動している際には（ステップS１８）、前フレーム及び今回のフレーム情報を削除し（ステップS２０）、先行車両を未検出であるカウンターをカウントアップする（ステップS２１）。この未検出カウンターの値は、走行路幅の推測処理が非動作であることを警報する際に使用できる。
【００５６】
関連判定処理［多数フレーム］
フレームメモリー３１Aを５枚以上用意すると、先行車のウインカー情報や、ブレーキランプの情報を画像処理で測定し、使用することができる。例えば、ウインカーの点滅は、通常1〜2回/秒程度で、この時間間隔の画像の差分を取ることで、ウインカーの状態を検出することができる。先行車が車線変更のためのウインカーを点滅させる場合、工事や事故などのために車線自体が減少することがあり、走行路幅及び位置の推測に役立つ。また、ブレーキも同様に、画像間の差分を取ることにより、検出できる。ブレーキランプの位置は先行車の幅を示すため、先行車の影等の影響を除去して先行車幅を補正する等の利用が可能となる。
【００５７】
走行路幅推測S８
図７のステップS１９にて車両として保存した水平エッジEは、自車位置に対して、水平エッジの相対距離の情報を有しており、その時系列データをプロットすると、図９のような走行図が得られる。黒い点は、自車位置、垂直線は、検出した水平エッジEを表す。
黒点の自車位置は、操舵角センサ３４の操作角Φmと、車速センサー３２の自車速度Vmとにより推測することができる。推測車線は、各時刻における水平エッジEの中心点から、半車線幅W_CONの分、両サイドに広げた点を繋げることで計算できる。半車線幅W_CONは、例えば、「道路構造令」で定めた半車線幅W_CON ＝3.5/2＝1.75としてもよい。また、白線認識を併用する際には直近に認識した白線での幅を使用して半車線幅W_CONを可変としてもよい。ナビゲーションシステム等走行路の情報を外部から得られる際には、当該情報や予め記憶した道路毎の道路幅の情報から半車線幅W_CONを可変としても良い。
【００５８】
・1.2複数フレームの相関で関連判定の効果
上述のように、２枚のフレームを用いる例では、静止物を除去し、右左折又は車線変更す先方車両を除去しつつ、前方車両の走行軌跡を計算し、前方車両の対象物幅Wから走行路幅Wrを計算する。このため、２枚のフレーム画像があれば情報処理をすることができ、レーダー等も不要で、低コストで高速処理をすることができる。また、図８に示す相関処理により前方車両の同一性を判定し、走行軌跡を特定するため、隣車線の車両を正確に区別することができる。
【実施例２】
【００５９】
＜2.1白線認識不能時に水平エッジ処理＞
次に、実施例２を開示する。
図１０を参照すると、実施例２の車線逸脱警報装置１０２は、実施例１と同様に、カメラ１０と、水平エッジ抽出部１２と、座標系変換部１４と、関連判定部１６と、走行路幅推測部１８とを備えている。関連判定部１６は、同一性判定処理２０と、速度算出処理２２と、関連判定処理２４とを備えるようにしても良い。
実施例２では特に、車線逸脱警報装置１０２は、白線認識部６０と、車線逸脱時間判定部６２と、警報出力部４０とを備えている。
【００６０】
白線認識部６０は、撮影された画像から前記走行環境内のレーンを認識し走行路幅を算出する。レーンは、道路上の白色その他の色の白線である。白線認識部６０は、微分処理によりエッジを抽出し、そのエッジの特徴から直線又は曲線の線（レーン）を認識し、走行環境の複数のレーンから走行路幅Wrを算出する。
【００６１】
車線逸脱時間判定部６２は、前記白線認識部６０によって算出される走行路幅Wrと操舵角Φmとに基づいて車線逸脱時間TTLCを判定する。また、車線逸脱時間判定部６２は、前記白線認識部６０によって白線が認識されない際には、前記走行路幅推測部１８によって推測された前記走行路幅Wrから車線逸脱時間TTLCを判定する。すなわち、実施例２では、白線が認識されている際には白線認識によるレーン間の距離等から走行路幅Wrを算出する一方、白線が認識されない際に、前方車両の対象物幅Wを用いて走行路幅Wrを推測する。車線逸脱時間TTLCは、現在の操舵角Φm、自車の速度Vm及び走行路幅Wrを用いて、現在の走行状態で左右の車線を跨ぐまでの時間であり、その時間は、車線逸脱のレベルでもある。
【００６２】
警報出力部４０は、前記車線逸脱時間TTLCに応じて警報を出力する。例えば、ウインカーが操作されていない際に、１秒以内に車線を跨ぐ可能性がある際に警報すると良い。これは、図２に示すウインカー制御部３８からのウインカー制御信号３８ａとTTLCとの組み合わせによる制御となる。
【００６３】
白線抽出処理［エッジ強度edge_Sobel（Sobelフィルタ）］
白線認識部６０は、ソーベル（Sobel）微分法とハフ(Hough)変換による直線検出とにより、原画像１０ａから白線となる直線を認識すると良い。原画像１０ａの各座標（x,y）の画素の輝度値をf(x,y)とし、x方向の輝度値変化dxを式（１４）、y方向の輝度値変化dyを式（１５）とすると、エッジ強度edge_Sobelは次式（１６）により求められる。
【００６４】
【数７】
【００６５】
図１１（A）を参照すると、エッジ強度edge_Sobelとして、カメラ座標系の原画像１０ａに点P１からP3の直線が求められる。すると、原点（図中左下）から座標値P2までの距離ρと角度θとは容易に求められる。P1、P2、P3は、一つの直線上の点であり、座標を（x,y）と表現する。原点から直線への距離をρ、ρがX軸となす角度をθとすると、以下の関係式（１７）が成り立つ。
【００６６】
【数８】
【００６７】
ハフ変換による直線検出方法では、P1、P2、P3の座標を式（１７）に代入して、図１１（B）に示すρ-θ座標系にプロットすると、右側のような3本の曲線が描ける。P1、P2、P3が一つの直線上にあれば、右図のような曲線の交点（ρ0, θ0）を求められる。実際の処理では、ソーベルフィルタで検出したエッジ点を式（１６）に従って変換し、ρ-θ座標系にプロットし、出現頻度の高い交点（ρ0, θ0）を見つける。例えば、交点を検出した時、対応する直線式は、次式（１８）及び次式（１９）により求められる。
【００６８】
【数９】
【００６９】
曲線についても、エッジを適宜区切ることにより直線で近似し、このハフ変換での交点の探索によりレーンを求めることができる。
【００７０】
車線逸脱時間判定
図１２を参照すると、車線逸脱時間TTLCは、実線で示す位置で現在の速度のまま現在の操舵角では、点線で示すように車線を逸脱するまでの時間をいう。すなわち、自車の現在位置から、現在の操舵角Φmと自車速度Vmとを用いて、左又は右の車線を跨る迄の時間TTLCを算出し、TTLC < TTh [秒] の場合、逸脱すると判定する。なお、TTLCは以下の式（２０）により算出し、逸脱しきい値秒TTh は1秒に設定した。 逸脱しきい値TTh は、自車の速度に応じて可変としても良い。
【００７１】
【数１０】
【００７２】
警報出力処理
逸脱しきい値TTh秒以内での左又は右への車線逸脱を判定すると、ドライバーがその方向のウインカーを出していない場合、例えばブザーによる警報を出力する。ブザー以外にも音声案内等本発明の実施時における望ましいヒューマン・インタフェース技術を適用することができる。
【００７３】
図１３に画像の一例を示す。図１３（A）にグレースケールで示す実際にはカラーの原画像に対して、水平エッジフィルタを行った場合のエッジ画像を図１３（B）に示す。図１３に示すように、走行車線の右側白線が薄くなり、エッジの検出が出来ない状況で、実施例２では、先行車の水平エッジEが検出出来た為、先行車の水平エッジEとして保存し、この水平エッジEを用いて走行路幅Wrを推測し、車線逸脱の判定をすることができる。
【００７４】
・2.1白線認識不能時に水平エッジ処理の効果
上述のように、道路の白線を検出出来ない時、画像処理のみによって前方車両の水平エッジを検出して、保存し、時間的に連続した車両幅を持つ水平エッジから、走行路を推測する。そして、自車両が一定幅の逸脱を発生する可能性がある場合、警告を出すことができる。これによって、道路の白線認識不可能によるシステム不稼動時間を減らすことが可能となる。このように、従来の白線検出による車線逸脱警報システムとの併用により、システム稼動時間を大幅に増加させることができ、ユーザーの利便性並びに信頼性が向上する。特に、例えば、高速道路で、長時間、単調でほぼ直線道路の走行で、注意力が散漫になりやすく、疲労が蓄積されやすい状況の走行環境であっても、車線逸脱を警報可能な時間を増加させることができる。
【００７５】
このように、実施例２では白線認識不能による逸脱警報システムの不作動状態を減らせる為、本システムへのドライバーの信頼感を増大させることができる。また、本システムの普及により、車線逸脱の減少や、ウインカーを出さずに車線を変更するケースを減少させることができる。特に、長時間の比較的単調な運転時に逸脱警報がなされると、ドライバーへのサポートとなるため、この技術は、四輪車購入の動機となる。
【００７６】
＜2.2幅認識フラグDetと動作ステータスSta＞
図１４を参照すると、実施例２では、幅認識フラグDetを用いることで、白線認識処理（S３２からS３５，S４０）と、前方車両の対象物幅Wによる走行路幅Wの推測処理（ステップS４１からS４６，S３５）とを安定して並列処理することができる。幅認識フラグDetは、白線認識又は先行車両の水平エッジEから走行路幅Wrを認識できた際にオン（1）とし、認識できない場合にオフ（0）とする。また、動作ステータスStaは、幅認識フラグDetのオンオフに応じた動作状態を示す。この幅認識フラグDet及び動作ステータスStaは、外部メモリー３１Bに格納し、白線認識処理と走行路幅推測処理とから共通してアクセス可能とすると良い。
【００７７】
図１４で特徴的な処理は、次の通りである。すなわち、まず、前記白線認識部６０が、前記白線を認識した際に（ステップS３４）、幅認識フラグDetをオンとするとともに（ステップS３５）、認識されない際には、当該幅認識フラグDetをオフとする（ステップS４０）。そして、前記走行路幅推測部１８が、前記幅認識フラグDetがオフの際に（ステップS４１）、前記走行路幅Wrの推測処理をする（ステップS４２からS４６）。そして、推測できた際に前記幅認識フラグDetをオンとし（ステップS３５）、認識できない際に幅認識フラグDetをオフとする（ステップS４７）。そして、前記警報出力部４０が、当該幅認識フラグDetのオンオフに応じて当該認識の動作ステータスStaを警報する（ステップS５１）。
【００７８】
これにより、警報出力部４０は、幅認識フラグDetがオン（又はオンが一定回数継続）である際に、当該車線逸脱警報装置が動作中である旨を警報し、幅認識フラグがオフ（又はオフが一定回数継続）である際に、非動作である旨の警報を出力することができる。図１４に示す例では、一定数Cpだけ幅認識フラグDetのオフが繰り返された際に動作ステータスをオフにする。このため、未検出カウンタCntを使用する（ステップS４８，S４９，S３９）。一方、非動作状態で幅認識フラグDetがオンとなると、動作状態とする（ステップS３８）。
【００７９】
実施例２では、コントローラ３０は、マルチコア機能を有する画像処理専用チップを備えると良い。これらの画像処理チップは、ユーザーによるＣＰＵの個数、相対性能を設定することができる。また、個々の論理的なＣＰＵは、同じ外部メモリー３１Ａをアクセスできる。従って、2つのロジックを同時に処理する為に、2個のＣＰＵ設定を行い、それぞれの処理ステータスを表すフラグを外部メモリ３１Bに設定し、常に監視することにより、デッドロックの発生を防止しつつ、ACID特性を満たすための待機やロックを最小限とすることで、CPUの能力に応じた高速な処理を実現することができる。また、２つのアルゴリズムの実際の処理量を応じて、それぞれのＣＰＵの性能を設定することで、処理待ち状態を最小限に抑える最適化も可能である。
また、データ駆動型の画像処理チップを使用すると、データが流れている時にCPUが動作状態になるが、それ以外は、非動作状態になるため、速度範囲での非動作の際にはCPUは電力を消費しない。
【００８０】
図１４のフローに従って各工程を説明する。まず、車速センサー３２による自車の速度Vmを確認し（ステップS３０）、例えば、車速Vm ≧ 60 [km/h]でオン、オンとなった後Ｖm ≦ 50 [km/h]の際にオフとする。オンとなると、ステップS３２及びS４１の並列処理をする。オフの場合、動作ステータスStaを０（オフ）とし、非動作となった旨を警報する（ステップS５１）。この自車速度に応じた動作非動作の制御により、長時間の高速運転時の車線逸脱を警報しつつ、低速での市街地走行時には非稼働とすることができる。なお、自車が右左折する際には、車速が落ちる為、システムがオフになる。
【００８１】
ステップS３１では、カメラ１０が撮影した画像をフレームメモリー３１Aに格納する。この画像は、白線認識処理と、走行路推測処理との両処理に用いられる。白線認識処理では、まず、ソーベルフィルタ処理を行うことでエッジを抽出し（ステップS３２）、ハフ変換等により白線であるレーンを抽出する（ステップS３３）。このレーンが走行路幅Wrを示す白線であれば（ステップS３４）、幅認識フラグDetを１（オン）にする（ステップS３５）。幅認識フラグDetがオンの場合、水平エッジ抽出処理は行わない（ステップS４１）。続いて、逸脱を判定し（ステップS３６）、逸脱があれば、警報を発する（ステップS３７）。逸脱がなければ、動作ステータスStaを読み出して、オフ（非動作，０）である際には１（オン，動作中）に更新する（ステップS３８）。動作ステータスStaをオンにした際には、所定の未検出カウンタCntの値を0に初期化する（ステップS３９）。
【００８２】
続いて、今回の画像処理にて幅認識フラグDetがオンとなった場合には、動作状態に変化した旨を警報する（ステップS５１）。例えば、車速低下時と同様、メータ内に、システムが非動作状態である旨の表示や、動作非動作の切り替え時に、一度「ぽん」のような状態変更を表す音を出すようにしても良い。逸脱警報S３７，動作状態警報S５１又は警報なしの後には、次の画像を待機する（ステップS３０，S３１）。
【００８３】
ステップS３４にて白線が認識されない場合、幅認識フラグDetを０（オフ）とする（ステップS４０）。続いて、次の画像を待機する。次の画像の処理時には、幅認識フラグDetがオフとなっているため、ステップS４１にてイエスとなり、水平エッジ抽出処理をする（ステップS４２）。続いて、関連判定処理（ステップS４３）、車両か否かの判定（ステップS４４）をする。車両であれば、車両エッジ情報（例えば、対象物幅Wの座標値とその中心位置）と、原画像水平エッジeを抽出した原画像１０ａをフレームメモリー３１Aに保存する（ステップS４５）。続いて、前フレームのデータをも用いて、走行路幅Wrを推測する（ステップS４６）。走行路幅の推測に成功すると、幅認識フラグDetをオンとする（ステップS３５）。さらに、水平エッジEから求めた走行路幅Wに基づいて逸脱の判定をする（ステップS３６）。
【００８４】
ステップS３４にて白線が認識されず、同一の又は次の画像の処理でのステップS４４にて前方車両が検出されない場合、すなわち、走行環境の白線が摩耗しており、かつ、前方車両が存在しないか、存在しても遠方か、走行路が一定以上のカーブか、又は前方車が車線変更か右左折等の場合には、走行路幅Wを推測する手がかりがなく、幅認識フラグをオフとする（ステップS４７）。この場合、幅認識フラグDetがオフとなる画像数が一定以上の際に非動作状態とすべく、未検出カウンタCntをインクリメントする（ステップS４８）。直近の画像処理にて幅検出フラグDetがオンであれば、ステップS３９にて未検出カウンタCntは０に初期化されており、ステップS４８が初回であれば、未検出カウンタの値は１となる。この白線の未認識と車両の非検出とが連続して一定回数Cp以上繰り返された際、ステップS４９にてイエスとなり、動作ステータスStaをオフにする（ステップS５０）。動作状態警報S５１では、動作状態から非動作状態に変化すると、この動作状態を警報する。また、ステップS５１では、白線認識の有無や未検出カウンタのカウント値に応じて動作状態を良、悪化、不能等の３段階としてもよい。
【００８５】
・2.2幅認識フラグと動作状態の効果
上述のように実施例２にて幅認識フラグ等を用いると、白線認識処理による走行路幅の測定と、水平エッジ抽出処理による走行路幅の推測とを安定して並列処理することができる。このため、走行環境の変換に応じて、
白線が未検出となっても、水平エッジによる走行路幅の推測を直ちに行うことができ、また、水平エッジの走行路幅の推測を継続しながら、白線抽出処理を試みることができる。そして、幅認識フラグを用い、外部メモリー３１Aに格納すると、両方の並列処理の各CPUが必要な際に独立して読み出すことができ、デッドロックを防止し、不要な待ち時間の発生を抑止し、高速処理を確保することができる。
【００８６】
そして、車線逸脱警報装置が非動作となるのは、走行環境の白線が摩耗している等ドライバーが目視で白線の悪化状態を認識でき、前方を走行する先行車両が存在せず、存在しても遠方か、前方車が車線変更か右左折等の場合か、白線認識不能でかつ走行路が一定以上のカーブである場合となる。これらの走行環境の変化は、ドライバーにとって判りやすく、車線逸脱警報装置の動作・非動作がどのようになるか、ドライバーにとって予測しやすいものであり、車線逸脱警報装置を利用する上での納得感を高いものとすることができる。稼働時間の向上と、不稼働の理由の明確さとによっても、ドライバーからの信頼を向上させることができる。
【００８７】
＜2.3走行路幅の補正処理＞
実施例２では、水平エッジの抽出による走行路幅の推測に際して、補正をするようにしても良い。この例では、再度図１０を参照すると、前記走行路幅推測部１８が、前記白線認識部６０によって直近に認識された前記走行路幅Wrと、前記原画像水平エッジeによる前記対象物幅Wとに基づいて当該走行路幅Wrを補正する補正処理6４を備える。この補正処理６４は、白線認識部６０による白線の抽出が不能となった際に、その直前の画像まで認識されていた白線がある際には、当該白線による走行路幅Wrを特定する。補正処理６４は、この直近に認識された前記走行路幅Wrから、Wrの中心位置を中心として予め定められた車線幅W_COMを算出する。そして、水平エッジEから求めた対象物幅Wに加算することで、走行路幅Wを求める。すなわち、補正処理６４は、直近の白線による走行路幅Wrを使用して、半車線幅W_COMを補正する。
【００８８】
また、白線ではなく、直近までの磁気ネイルにより測定した走行路幅や、ナビゲーションシステム等から得た走行路幅があれば、この走行路幅Wrにより半車線幅W_COMを補正してもよい。
【００８９】
・2.3走行路幅の補正処理の効果
実施例２にて水平エッジによる走行路幅を直近の走行路幅で補正すると、白線認識がオフとなり水平エッジによる走行路幅に切り替わる際に、走行路幅が不連続に変化することなく連続させることができ、車線逸脱判定を安定させることができる。
【実施例３】
【００９０】
＜3.1操舵アシスト装置＞
実施例３の操舵アシスト装置は、工場や物流の敷地内等にて先行する車両と同一の走行路を自動的に運行させるための装置である。すなわち、先頭車両への追従走行を制御する。
図１５を参照すると、実施例３の操舵アシスト装置は、実施例１及び２と同様に、カメラ１０と、水平エッジ抽出部１２と、座標系変換部１４と、関連判定部１６と、走行路幅推測部１８とを備える。関連判定部は、同一性判定処理２０と、速度算出処理２２と、関連判定処理２４とを備えるようにしても良い。
そして、実施例３では特に、当該推測された走行路幅Wrに自車を案内する操舵量を算出する操舵量算出部７０と、当該操舵量に基づいて自車を操舵する操舵駆動制御部36とを備えている。操舵量算出部７０は、再度図９を参照すると、前方の走行路幅Wrが図示の如く直進の際には、ハンドルの操舵角は０度である。前方の走行路幅Wrの連続がカーブとなる際には、その曲率に応じたハンドルの操舵角を算出する。操舵駆動制御部36は、この操舵量に応じてモーター等を用いてハンドルを制御する。速度については、先行車との車間Lを一定とする速度としても良いし、予め定めた速度としても良い。
【００９１】
・3.1操舵アシスト装置の効果
実施例３の操舵アシスト装置を用いると、先頭車両への追従走行が可能となり、しかも、工場等の敷地内の道路に白線を引く必要がない。また、例えば、直線部分は白線を引かず、特定の停車位置等にのみ白線を引くようにして、実施例２と実施例３とを組み合わせても良い。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施形態の構成例を示すブロック図である。（実施例１）
【図２】本実施形態のハードウエア資源の構成例を示すブロック図である。（実施例１から３）
【図３】本実施形態の情報処理の一例を示すフローチャートである。（実施例１から３）
【図４】カメラ座標系と世界座標系との関係を示す説明図である。（実施例１から３）
【図５】世界座標系での水平エッジの一例を示す説明図である。（実施例１から３）
【図６】世界座標系での対象物幅と走行路幅の一例を示す説明図である。（実施例１から３）
【図７】複数フレームの相関を使用する情報処理の一例を示すフローチャートである。（実施例１から３）
【図８】図８（A）及び（B）はウインドウーを使用した関連判定処理の一例を示す説明図である。（実施例１から３）
【図９】自車と先行車と時間間隔との関係を示す説明図である。（実施例１から３）
【図１０】本実施形態の構成例を示すブロック図である。（実施例２）
【図１１】図１１（A）及び（B）は白線抽出処理の一例を示す説明図である。（実施例２）
【図１２】車線逸脱時間の一例を示す説明図である。（実施例１から３）
【図１３】図１３（A）及び（B）は原画像と二値化画像との一例を示す説明図である。（実施例１から３）
【図１４】本実施形態の情報処理の一例を示すフローチャートである。（実施例２）
【図１５】本実施形態の構成例を示すブロック図である。（実施例３）
【符号の説明】
【００９３】
e 原画像水平エッジ
E 水平エッジ
W 対象物幅
Wp 想定対象物幅
Wr 走行路幅
Wt 走行路から自車までの距離
W_MIN 想定対象物最小幅
W_MAX 想定対象物最大幅
Wc 先行車幅中心
L 対象物距離
V 速度ベクトル
Vv 先行車縦速度
Vh 先行車横速度
Vh_MAX 横速度上限値
Vp 想定速度ベクトル
Vm 自車速度
r 水平エッジ相関係数
t 時刻
td 時間差
Det 幅認識フラグ
Sta 動作ステータス
Cnt 未検出カウンタ
TTLC 車線逸脱時間
Φm 操舵角
１０ カメラ
１２ 水平エッジ抽出部
１４ 座標系変換部
１６ 関連判定部
１８ 走行路幅推測部
２０ 同一性判定処理
２２ 速度算出処理
２４ 関連判定処理
３０ コントローラー
３１ メモリー
３１A フレームメモリー
３１B 外部メモリー
３２ 車速センサー
３４ 操舵角センサー
３６ 操舵角駆動制御部
３８ ウインカー制御部
４０ 警報出力部
５２ カメラ座標系
５４ 世界座標系
５６ 座標変換係数
５８ 関連
６０ 白線認識部
６２ 車線逸脱時間判定部
６４ 補正処理
１００ 走行環境推測装置
１０２ 車線逸脱警報装置
１０４ 操舵アシスト装置
【特許請求の範囲】
【請求項１】
運転者の視界に応じた走行環境を撮影するカメラと、
撮影された画像の原画像水平エッジeをカメラ座標系で抽出する水平エッジ抽出部と、
予め定められた座標変換係数に基づいて、前記カメラ座標系での原画像水平エッジeを世界座標系での水平エッジEに変換する座標系変換部と、
前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連を判定する関連判定部と、
前記関連と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する走行路幅推測部と、
を備えたことを特徴とする走行環境推測装置。
【請求項２】
前記カメラが、予め定められた時間差tdで前記走行環境の変化を連続して撮影し、
前記関連判定部が、
前記時間差tdで連続する画像間での前記水平エッジEの同一性を判定する同一性判定処理２０と、
前記水平エッジEの同一性から当該水平エッジEの前記世界座標系での速度ベクトルVを算出する速度算出処理と、
予め定められた想定速度ベクトルVpと、算出された前記速度ベクトルVとから前記対象物幅Wと走行路幅Wrとの前記関連を判定する関連判定処理と、
を備えたことを特徴とする請求項１記載の走行環境推測装置。
【請求項３】
運転者の視界に応じた走行環境を撮影する撮影工程と、
撮影された画像の原画像水平エッジeをカメラ座標系で抽出する水平エッジ抽出工程と、
予め定められた座標変換係数に基づいて、前記カメラ座標系での原画像水平エッジeを世界座標系での水平エッジEに変換する座標系変換工程と、
前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連を判定する関連判定工程と、
前記関連と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する走行路幅推測工程とを備え、
前記関連判定工程が、
前記時間差tdで連続する画像間での前記水平エッジEの同一性を判定する同一性判定処理工程と、
前記水平エッジEの同一性から当該水平エッジEの前記世界座標系での速度ベクトルVを算出する速度算出処理工程と、
予め定められた想定速度ベクトルVpと、算出された前記速度ベクトルVとから前記対象物幅Wと走行路幅Wrとの前記関連を判定する関連判定処理工程と、
を備えたことを特徴とする走行環境推測方法。
【請求項４】
請求項３記載の方法をCPUを用いて実行するための走行環境推測用プログラム。
【請求項５】
運転者の視界に応じた走行環境を撮影するカメラと、
撮影された画像の原画像水平エッジeをカメラ座標系で抽出する水平エッジ抽出部と、
予め定められた座標変換係数に基づいて、前記カメラ座標系での原画像水平エッジeを世界座標系での水平エッジEに変換する座標系変換部と、
前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連を判定する関連判定部と、
前記関連と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する走行路幅推測部と、
撮影された画像から前記走行環境のレーンを認識し走行路幅を算出する白線認識部と、
前記白線認識部によって算出される走行路幅Wrと操舵角Φmとに基づいて車線逸脱時間TTLCを判定すると共に、前記白線認識部によって白線が認識されない際には、前記走行路幅推測部によって推測された前記走行路幅Wrから車線逸脱時間TTLCを判定する車線逸脱時間判定部と、
前記車線逸脱時間TTLCに応じて警報を出力する警報出力部と、
を備えたことを特徴とする車線逸脱警報装置。
【請求項６】
前記白線認識部が、前記白線を認識した際に幅認識フラグDetをオンとするとともに、認識されない際に当該幅認識フラグDetをオフとし、
前記走行路幅推測部が、前記幅認識フラグDetがオフの際に前記走行路幅Wrの推測処理をし、推測できた際に前記幅認識フラグDetをオンとし、推測できない際に前記幅認識フラグDetをオフとし、
前記警報出力部が、当該幅認識フラグDetのオンオフに応じて当該認識の動作状態Staを警報することを特徴とする請求項５記載の車線逸脱警報装置。
【請求項７】
前記走行路幅推測部が、前記白線認識部によって直近に認識された前記走行路幅Wrと、前記原画像水平エッジeによる前記対象物幅Wとに基づいて当該走行路幅Wrを補正する補正処理を、
備えたことを特徴とする請求項５又は６記載の車線逸脱警報装置。
【請求項８】
運転者の視界に応じた走行環境を撮影するカメラと、
撮影された画像の原画像水平エッジeをカメラ座標系で抽出する水平エッジ抽出部と、
予め定められた座標変換係数に基づいて、前記カメラ座標系での原画像水平エッジeを世界座標系での水平エッジEに変換する座標系変換部と、
前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連を判定する関連判定部と、
前記関連と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する走行路幅推測部と、
当該推測された走行路幅Wrに自車を案内する操舵量を算出する操舵量算出部と、
当該操舵量に基づいて自車を操舵する操舵駆動制御部と、
を備えたことを特徴とする操舵アシスト装置
【請求項１】
運転者の視界に応じた走行環境を撮影するカメラと、
撮影された画像の原画像水平エッジeをカメラ座標系で抽出する水平エッジ抽出部と、
予め定められた座標変換係数に基づいて、前記カメラ座標系での原画像水平エッジeを世界座標系での水平エッジEに変換する座標系変換部と、
前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連を判定する関連判定部と、
前記関連と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する走行路幅推測部と、
を備えたことを特徴とする走行環境推測装置。
【請求項２】
前記カメラが、予め定められた時間差tdで前記走行環境の変化を連続して撮影し、
前記関連判定部が、
前記時間差tdで連続する画像間での前記水平エッジEの同一性を判定する同一性判定処理２０と、
前記水平エッジEの同一性から当該水平エッジEの前記世界座標系での速度ベクトルVを算出する速度算出処理と、
予め定められた想定速度ベクトルVpと、算出された前記速度ベクトルVとから前記対象物幅Wと走行路幅Wrとの前記関連を判定する関連判定処理と、
を備えたことを特徴とする請求項１記載の走行環境推測装置。
【請求項３】
運転者の視界に応じた走行環境を撮影する撮影工程と、
撮影された画像の原画像水平エッジeをカメラ座標系で抽出する水平エッジ抽出工程と、
予め定められた座標変換係数に基づいて、前記カメラ座標系での原画像水平エッジeを世界座標系での水平エッジEに変換する座標系変換工程と、
前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連を判定する関連判定工程と、
前記関連と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する走行路幅推測工程とを備え、
前記関連判定工程が、
前記時間差tdで連続する画像間での前記水平エッジEの同一性を判定する同一性判定処理工程と、
前記水平エッジEの同一性から当該水平エッジEの前記世界座標系での速度ベクトルVを算出する速度算出処理工程と、
予め定められた想定速度ベクトルVpと、算出された前記速度ベクトルVとから前記対象物幅Wと走行路幅Wrとの前記関連を判定する関連判定処理工程と、
を備えたことを特徴とする走行環境推測方法。
【請求項４】
請求項３記載の方法をCPUを用いて実行するための走行環境推測用プログラム。
【請求項５】
運転者の視界に応じた走行環境を撮影するカメラと、
撮影された画像の原画像水平エッジeをカメラ座標系で抽出する水平エッジ抽出部と、
予め定められた座標変換係数に基づいて、前記カメラ座標系での原画像水平エッジeを世界座標系での水平エッジEに変換する座標系変換部と、
前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連を判定する関連判定部と、
前記関連と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する走行路幅推測部と、
撮影された画像から前記走行環境のレーンを認識し走行路幅を算出する白線認識部と、
前記白線認識部によって算出される走行路幅Wrと操舵角Φmとに基づいて車線逸脱時間TTLCを判定すると共に、前記白線認識部によって白線が認識されない際には、前記走行路幅推測部によって推測された前記走行路幅Wrから車線逸脱時間TTLCを判定する車線逸脱時間判定部と、
前記車線逸脱時間TTLCに応じて警報を出力する警報出力部と、
を備えたことを特徴とする車線逸脱警報装置。
【請求項６】
前記白線認識部が、前記白線を認識した際に幅認識フラグDetをオンとするとともに、認識されない際に当該幅認識フラグDetをオフとし、
前記走行路幅推測部が、前記幅認識フラグDetがオフの際に前記走行路幅Wrの推測処理をし、推測できた際に前記幅認識フラグDetをオンとし、推測できない際に前記幅認識フラグDetをオフとし、
前記警報出力部が、当該幅認識フラグDetのオンオフに応じて当該認識の動作状態Staを警報することを特徴とする請求項５記載の車線逸脱警報装置。
【請求項７】
前記走行路幅推測部が、前記白線認識部によって直近に認識された前記走行路幅Wrと、前記原画像水平エッジeによる前記対象物幅Wとに基づいて当該走行路幅Wrを補正する補正処理を、
備えたことを特徴とする請求項５又は６記載の車線逸脱警報装置。
【請求項８】
運転者の視界に応じた走行環境を撮影するカメラと、
撮影された画像の原画像水平エッジeをカメラ座標系で抽出する水平エッジ抽出部と、
予め定められた座標変換係数に基づいて、前記カメラ座標系での原画像水平エッジeを世界座標系での水平エッジEに変換する座標系変換部と、
前記水平エッジEから対象物幅W及び対象物距離Lを算出すると共に、予め定められた想定対象物幅Wpに基づいて、前記対象物幅Wと前記走行環境の走行路幅Wrとの関連を判定する関連判定部と、
前記関連と前記対象物幅Wとに基づいて前記走行路幅Wrを推測する走行路幅推測部と、
当該推測された走行路幅Wrに自車を案内する操舵量を算出する操舵量算出部と、
当該操舵量に基づいて自車を操舵する操舵駆動制御部と、
を備えたことを特徴とする操舵アシスト装置
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１３】
【公開番号】特開２００９−２５２１９８（Ｐ２００９−２５２１９８Ａ）
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願番号】特願２００８−１０３１４４（Ｐ２００８−１０３１４４）
【出願日】平成２０年４月１１日（２００８．４．１１）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願日】平成２０年４月１１日（２００８．４．１１）
【出願人】（０００００２０８２）スズキ株式会社 (3,196)
【Ｆターム（参考）】
[ Back to top ]