車両用白線認識装置
【課題】車線区画線の内側に補助線が存在する場合にも、各線に対応するエッジ点を短時間で且つ精度良く分類することができる車両用白線認識装置を提供する。
【解決手段】ステレオ画像認識装置は、画像上の白線検出領域内で検索ラインＬ毎に検出した第１，第２エッジ点Ｐｅ１，Ｐｅ２からなる点群の近似直線Ｈを演算し、近似直線Ｈを基準とする候補点分類領域α内に占める第２エッジ点Ｐｅ２の割合が設定未満であるとき第１のパターンを判定して、候補点分類領域α内のエッジ点Ｐｅを第１候補点Ｐｃ１、候補点分類領域αよりも車幅方向外側のエッジ点Ｐｅを第２候補点Ｐｃ２として登録し、候補点分類領域α内に占める第２エッジ点Ｐｅ２の割合が設定以上であるとき第２のパターンを判定して、候補点分類領域α内の各エッジ点Ｐｅを第２候補点Ｐｃ２、候補点分類領域αよりも車幅方向内側の各エッジ点Ｐｅを第１候補点Ｐｃ１として登録する。
【解決手段】ステレオ画像認識装置は、画像上の白線検出領域内で検索ラインＬ毎に検出した第１，第２エッジ点Ｐｅ１，Ｐｅ２からなる点群の近似直線Ｈを演算し、近似直線Ｈを基準とする候補点分類領域α内に占める第２エッジ点Ｐｅ２の割合が設定未満であるとき第１のパターンを判定して、候補点分類領域α内のエッジ点Ｐｅを第１候補点Ｐｃ１、候補点分類領域αよりも車幅方向外側のエッジ点Ｐｅを第２候補点Ｐｃ２として登録し、候補点分類領域α内に占める第２エッジ点Ｐｅ２の割合が設定以上であるとき第２のパターンを判定して、候補点分類領域α内の各エッジ点Ｐｅを第２候補点Ｐｃ２、候補点分類領域αよりも車幅方向内側の各エッジ点Ｐｅを第１候補点Ｐｃ１として登録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線の認識が行われ、この白線に基づいて自車走行レーンの推定が行われる。
【０００３】
ところで、実際の道路上の白線には、単一の車線区画線で構成される白線の他に、車線区画線の内側に破線等からなる視線誘導線（補助線）が併設された二重白線等の各種バリエーションが存在する。
【０００４】
そこで、この種の白線認識では、車線区画線のみならず補助線等の存在を十分に考慮する必要がある。このような白線認識についての技術として、例えば、特許文献１には、撮像画像上に設定された検索領域に対し、水平方向に延在する複数の検索ライン毎に、車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明へと所定以上変化する最初のエッジ点を検出し、検出した点群に対してハフ変換等を用いたノイズ除去を行うことにより、白線開始点の検出精度を向上する技術が開示されている。
【０００５】
このような技術によれば、白線が車線区画線のみからなる単線である場合には当該車線区画線に基づいて白線が認識され、白線が二重白線等である場合には主として内側に位置する補助線等に基づいて白線が認識される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２６４９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述の特許文献１に開示された技術のように二重白線等に対して内側の補助線に基づく白線認識が行われると、例えば、車線逸脱防止機能において、自車が補助線を逸脱しただけで警報が発せられる等、実際のドライバの感覚とは若干かけ離れたタイミングで制御が行われる虞がある。
【０００８】
これに対処し、各検索ライン上に２点目のエッジ点が存在する場合には、当該２点目のエッジ点も検出して車線区画線及び補助線を認識することも考えられる。
【０００９】
しかしながら、二重白線等に対してエッジ点の検出を行った場合、必ずしも、１点目のエッジ点が補助線に対応し、２点目のエッジ点が車線区画線に対応するとは限らない。すなわち、例えば、補助線が破線等で構成された二重白線等に対してエッジ点の検出を行った場合、１点目のエッジ点は補助線及び車線区画線の何れからも検出される。従って、各検索ラインに対して２点目のエッジ点を検出する場合、各エッジ点が二重白線の何れの線に属するものであるか等を精度良く分類する必要がある。
【００１０】
なお、このようなエッジ点の分類について、ハフ変換を利用した公知の曲線検出技術を使用することも考えられるが、このような技術は、直線を規定する位置、傾きのパラメータの他に曲率パラメータも同定しなければならないため、処理時間が膨大となり、リアルタイム性を必要とする運転支援装置等への適用は困難となる。
【００１１】
本発明は上記事情に鑑みてなされたもので、車線区画線の内側に補助線が存在する場合にも、各線に対応するエッジ点を短時間で且つ精度良く分類することができる車両用白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、自車走行路を撮像した画像上の白線検出領域内で水平方向に延在する検索ライン毎に車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明に所定以上変化する最初のエッジ点を第１エッジ点として検出するとともに、前記第１エッジ点よりも車幅方向外側にエッジ点が存在する場合には当該エッジ点を第２エッジ点として検出する候補点検出手段と、前記第１エッジ点及び前記第２エッジ点からなる点群の近似直線を演算する直線近似手段と、前記近似直線を基準とする帯状の候補点分類領域を設定し、当該候補点分類領域内に占める前記第２エッジ点の割合が設定未満であるとき第１のパターンを判定し、前記第２エッジ点の割合が設定以上であるとき第２のパターンを判定するパターン判定手段と、前記第１のパターンが判定されているとき、前記候補点分類領域内に存在する前記各エッジ点を前記第１候補点として登録するとともに、前記候補点分類領域よりも車幅方向外側に存在する前記各エッジ点を第２候補点として登録し、前記第２のパターンが判定されているとき、前記候補点分類領域内に存在する前記各エッジ点を第２候補点として登録するとともに、前記候補点分類領域よりも車幅方向内側に存在する前記各エッジ点を第１候補点として登録するエッジ点分類手段と、を備えたことを特徴とする。
【発明の効果】
【００１３】
本発明の車両用白線認識装置によれば、車線区画線の内側に補助線が存在する場合にも、各線に対応するエッジ点を短時間で且つ精度良く分類することができる。
【図面の簡単な説明】
【００１４】
【図１】車両用運転支援装置の概略構成図
【図２】白線認識ルーチンを示すフローチャート
【図３】車外環境の撮像画像の一例を模式的に示す説明図
【図４】図３の画像から検出される第１エッジ点及び第２エッジ点を示す説明図
【図５】検索ライン上における輝度の変化の一例を示す説明図
【図６】ハフ変換の演算方法示す説明図
【図７】ハフ空間を示す説明図
【図８】第１の領域内におけるエッジ点分類サブルーチンを示すフローチャート
【図９】第２の領域内におけるエッジ点分類サブルーチンを示すフローチャート
【図１０】各パターンにおけるハフ直線とエッジ点との関係の一例を示す説明図
【図１１】各パターンにおいて第１の領域内に設定された候補点分類領域を示す説明図
【図１２】各パターンにおける第１の領域内での処理結果の一例を示す説明図
【図１３】各パターンにおける第２の領域内での処理結果の一例を示す説明図
【図１４】認識した白線に基づいて設定される白線検出領域を示す説明図
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は白線認識ルーチンを示すフローチャート、図３は車外環境の撮像画像の一例を模式的に示す説明図、図４は図３の画像から検出される第１エッジ点及び第２エッジ点を示す説明図、図５は検索ライン上における輝度の変化の一例を示す説明図、図６はハフ変換の演算方法示す説明図、図７はハフ空間を示す説明図、図８は第１の領域内におけるエッジ点分類サブルーチンを示すフローチャート、図９は第２の領域内におけるエッジ点分類サブルーチンを示すフローチャート、図１０は各パターンにおけるハフ直線とエッジ点との関係の一例を示す説明図、図１１は各パターンにおいて第１の領域内に設定された候補点分類領域を示す説明図、図１２は各パターンにおける第１の領域内での処理結果の一例を示す説明図、図１３は各パターンにおける第２の領域内での処理結果の一例を示す説明図、図１４は認識した白線に基づいて設定される白線検出領域を示す説明図である。
【００１６】
図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。
【００１７】
また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。
【００１８】
ステレオカメラ３は、ステレオ光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。
【００１９】
ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して周知のグルーピング処理を行い、予め記憶しておいた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。
【００２０】
ここで、本実施形態において認識対象となる白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線等が併設された多重線（二重白線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、更に、黄色線等をも含む。
【００２１】
ところで、実際の道路上に敷設された白線には上述のように各種バリエーションが存在する他、白線の形態は走行路の分岐や合流等に伴って変化する。加えて、道路上には路面補修跡や、水溜まり、雪等の各種ノイズが存在する。従って、画一的な処理によって、全ての場面で精度良く白線を認識することは困難である。そこで、ステレオ画像認識装置４は、上述の距離画像に基づく白線認識のみに頼ることなく、各種方式を用いた白線認識を補完的に行い、これらの認識結果を複合的に判断して最終的な白線を認識する。
【００２２】
このような白線認識の一つとして、ステレオ画像認識装置４は、自車前方を撮像した一方の画像（例えば、図３に示す基準画像）上の水平方向の輝度変化に基づいて白線認識を行う。なお、以下に説明する白線認識は、特に、二重白線の認識に有効なものである。
【００２３】
具体的に説明すると、例えば、図４に示すように、ステレオ画像認識装置４は、画像上に左右の白線検出領域Ａｌ，Ａｒを設定し、各白線検出領域Ａｌ，Ａｒ内で水平方向に延在する複数の検索ラインＬに対し、検索ラインＬ毎に車幅方向内側から外側に向けて輝度変化を調べる。そして、ステレオ画像認識装置４は、各白線検出領域Ａｌ，Ａｒ内の各検索ラインＬ上において、輝度が暗から明へと所定以上変化する最初のエッジ点を第１エッジ点Ｐｅ１として検出するとともに、第１エッジ点Ｐｅ１よりも車幅方向外側にエッジ点が存在する場合には当該エッジ点を第２エッジ点Ｐｅ２として検出する。
【００２４】
また、ステレオ画像認識装置４は、自車前方の左右に検出した各エッジ点Ｐｅの点群（第１エッジ点Ｐｅ１及び第２エッジ点Ｐｅ２の点群）に対する近似直線Ｈを演算する。そして、ステレオ画像認識装置４は、近似直線Ｈを基準とする帯状の候補点分類領域αを設定し、当該候補点分類領域α内に占める第２エッジ点の割合Ｒａｔｅ２が設定閾値未満であるとき第１のパターンを判定し、第２エッジ点の割合Ｒａｔｅ２が設定閾値以上であるとき第２のパターンを判定する。
【００２５】
そして、ステレオ画像認識装置４は、第１のパターンが判定されているとき、候補点分類領域α内に存在する各エッジ点Ｐｅを第１候補点Ｐｃ１として登録するとともに、候補点分類領域αよりも車幅方向外側に存在する各エッジ点Ｐｅを第２候補点として登録する。一方、ステレオ画像認識装置４は、第２のパターンが判定されているとき、候補点分類領域α内に存在する各エッジ点Ｐｅを第２候補点Ｐｃ２として登録するとともに、候補点分類領域よりも車幅方向内側に存在する各エッジ点Ｐｅを第１候補点Ｐｃ１として登録する。これにより、白線が二重白線である場合において、基本的には、第１候補点Ｐｃは視線誘導線等の補助線に対応して抽出され、第２候補点Ｐｃ２は車線区画線等に対応して抽出される。
【００２６】
ここで、ステレオ画像認識装置４は、第１のパターンが判定されている場合には、候補点分類領域αよりも車幅方向内側に存在する各エッジ点Ｐｅをノイズとして消去し、第２のパターンが判定されている場合には、候補点分類領域αよりも車幅方向外側に存在する各エッジ点Ｐｅをノイズとして消去する。
【００２７】
ところで、自車走行路が遠方でカーブしている場合、例えば、二重白線の内側の補助線と外側の車線区画線とが画像上で一部同化する等して各エッジ点Ｐｅを精度良く分類することが困難となる場合がある。そこで、本実施形態のステレオ画像認識装置４は、画像上の領域を、自車１側に位置する第１の領域と、自車１から遠方に位置する第２の領域とに区画し、第１の領域については上述の各処理に基づいて各エッジ点Ｐｅの分類を行い、第２の領域については別途の処理に基づいて各エッジ点Ｐｅの分類を行う。
【００２８】
この場合において、ステレオ画像認識装置４は、例えば、近似直線Ｈ上に存在するエッジ点Ｐｅの総数に対し、エッジ点Ｐｅの数が閾値割合（例えば、９割程度）を占めるまでの領域を第１の領域として設定し、それ以遠の領域を第２の領域として設定する。すなわち、自車１側において白線（すなわち、エッジ点Ｐｅの点群）を単一の直線で所定に直線近似できる領域（第１の領域）においては近似直線Ｈを基準とした上述の処理に基づいて各エッジ点Ｐｅの分類を行い、単一の近似直線Ｈでは近似が困難となる遠方の領域（第２の領域）においては、別途の処理に基づいて各エッジ点Ｐｅの分類を行う。
【００２９】
そして、ステレオ画像認識装置４は、第１のパターンが判定されているとき、第２の領域内に存在するエッジ点Ｐｅのうち、同一検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１を削除すると共に他の第１エッジ点Ｐｅ１を第１候補点Ｐｃ１として設定し、第２エッジ点Ｐｅ２を第２候補点Ｐｃ２として設定する。一方、ステレオ画像認識装置４は、第２のパターンが判定されているとき、第２の領域内に存在するエッジ点Ｐｅのうち、同一検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１を第２候補点Ｐｃ２として設定すると共に他の第１エッジ点Ｐｅ１を第１候補点Ｐｃ１として設定し、第２エッジ点Ｐｅ２を第２候補点Ｐｃ２として設定する。
【００３０】
そして、ステレオ画像認識装置４は、このようにして分類した第１候補点Ｐｃ１の点群に対して最小自乗法を用いた白線の近似線（第１の近似線）を演算し、各第１候補点Ｐｃ１に対する第１の近似線の近似誤差を演算する。同様に、ステレオ画像認識装置４は、第２候補点Ｐｃ２の点群に対して最小自乗法を用いた白線の近似線（第２の近似線）を演算し、各第２候補点Ｐｃ２に対する第２の近似線の近似誤差を演算する。そして、ステレオ画像認識装置４は、近似誤差が小さい何れか一方の近似線のパラメータに基づいて最終的な近似線のパラメータを設定する。この場合において、ステレオ画像認識装置４は、第１の近似線の近似誤差が小さい場合、当該第１の近似線を第２の近似線までオフセットさせることにより、最終的な近似線のパラメータを設定することが望ましい。
【００３１】
このように、本実施形態において、ステレオ画像認識装置４は、候補点検出手段、直線近似手段、パターン判定手段、エッジ点分類手段、領域設定手段、第２のエッジ点分類手段、及び、近似線演算手段としての各機能を実現する。
【００３２】
なお、ステレオ画像認識装置４は、その他の種々の方法によって白線認識を行うことが可能となっている。そして、ステレオ画像認識装置４は、例えば、各白線認識において認識した白線の近似線と当該認識に用いられたエッジ点等の白線候補点との関係（例えば、近似線に対する白線候補点の分散等）に基づき、認識した各近似線の中から最も適切な近似線を選択し、当該近似線を最終的な白線の近似線として制御ユニット５に出力する。
【００３３】
制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。
【００３４】
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に追従対象の先行車が走行しているか否かを識別する。
【００３５】
その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。
【００３６】
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
【００３７】
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線の近似線）に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
【００３８】
次に、ステレオ画像認識装置４において実行される、基準画像上の輝度変化に基づく白線認識について、図２に示す白線認識ルーチンのフローチャートに従って説明する。なお、本ルーチンによる処理は、左右の白線検出領域Ａｌ，Ａｒそれぞれに対して同様の処理が個別に行われるものであるが、説明を簡略化するため、以下の説明において特に必要な場合を除き、例えば白線検出領域Ａｌ，Ａｒを総称して白線検出領域Ａと標記する等、左右の属性を示す添字”ｌ”及び”ｒ”を適宜省略して説明する。
【００３９】
このルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、例えば、前フレームの画像に対するステップＳ１０７の処理で設定された白線検出領域Ａ内の各検索ラインＬ毎に、第１エッジ点Ｐｅ１及び第２エッジ点Ｐｅ２の検出を行う。具体的には、例えば、図５に示すように、ステレオ画像認識装置４は、車幅方向内側から外側に向けて、各検索ラインＬ上でのエッジ検出を行い、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点Ｐｅ（＋））を検出するとともに、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値がマイナス側の設定閾値以下となる点（エッジ点Ｐｅ（−））を検出する。そして、ステレオ画像認識装置４は、エッジ点Ｐｅ（−）と対をなすエッジ点Ｐｅ（＋）のうち、白線検出領域Ａ内で最も車幅方向内側に位置するエッジ点Ｐｅ（＋）を第１エッジ点Ｐｅ１として抽出すると共に、次に車幅方向内側に位置するエッジ点Ｐｅ（＋）を第２エッジ点Ｐｅ２として抽出する（図４参照）。なお、図４等においては、説明を簡略化するため、検索ラインＬ及び各エッジ点等が所定に間引かれて表示されている。
【００４０】
続くステップＳ１０２において、ステレオ画像認識装置４は、抽出したエッジ点Ｐｅ（第１エッジ点Ｐｅ１及び第２エッジ点Ｐｅ２）または、（第１エッジ点Ｐｅ１、第２エッジ点Ｐｅ２の何れか）に基づいて白線の近似直線を演算する（近似直線演算において、第１エッジ点Ｐｅ１と第２エッジ点Ｐｅ２の双方を使用する場合に比べ、どちらか一方のみを使用する場合では、演算時間の高速化が可能になる。）。すなわち、ステレオ画像認識装置４は、例えば、図６に示すように、点群を構成する各エッジ点Ｐｅそれぞれに対し、点Ｐｅ（ｘ，ｚ）を通る直線ｈの傾きθを０°から１８０°まで所定の角度Δθ毎変化させ、以下の（１）式に基づいて、各θにおける原点Ｏから直線ｈまでの距離（垂線の長さ）ρを求める。
ρ＝ｘ・ｃｏｓθ＋ｚ・ｓｉｎθ … （１）
そして、ステレオ画像認識装置４は、各点Ｐｅについて求めたθとρの関係を、例えば、図７に示すハフ平面（θ，ρ）上の該当箇所に度数として投票（投影）する。さらに、ステレオ画像認識装置４は、ハフ平面（θ，ρ）上の度数が最も大きくなるθとρの組合せを抽出し、当該θとρを用いて（１）式で規定される近似直線（ハフ直線）Ｈを点群の近似式として設定する（図１０（ａ），（ｂ）参照）。
【００４１】
ステップＳ１０２からステップＳ１０３に進むと、ステレオ画像認識装置４は、近似直線Ｈ上に存在するエッジ点Ｐｅをカウントし、画像下側からエッジ点Ｐｅの数が閾値割合（例えば、９割程度）を占めるまでの領域を第１の領域として設定し、それ以遠の領域を第２の領域として設定する（図１１（ａ），（ｂ）参照）。
【００４２】
そして、ステップＳ１０４に進むと、ステレオ画像認識装置４は、第１の領域内のエッジ点Ｐｅの分類処理を行う。この処理は、例えば、図８に示すエッジ点分類サブルーチンのフローチャートに従って実行されるもので、サブルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ２０１において、近似直線Ｈを基準とする帯状の領域を候補点分類領域αとして設定する。すなわち、ステレオ画像認識装置４は、近似直線Ｈを車幅方向内側及び外側にα１，α２だけ平行移動して形成された領域を候補点分類領域αとして設定する（図１１（ａ），（ｂ）参照）。ここで、α１，α２としては、例えば、前フレームで検出した白線の幅の半分の長さを画面上の画素数に変換して用いることが望ましい。
【００４３】
続くステップＳ２０２において、ステレオ画像認識装置４は、候補点分類領域α内に存在するエッジ点Ｐｅの総数に対して第２エッジ点Ｐｅ２が占める割合Ｒａｔｅ２を、以下の（２）式に基づいて算出する。
Ｒａｔｅ２＝（Ｎｕｍ２／（Ｎｕｍ１＋Ｎｕｍ２））×１００ … （２）
ここで、（２）式において、Ｎｕｍ１は候補点分類領域αに存在する第１エッジ点Ｐｅ１の総数を示し、Ｎｕｍ２は候補点分類領域αに存在する第２エッジ点Ｐｅ２の総数を示す。
【００４４】
そして、ステレオ画像認識装置４は、割合Ｒａｔｅ２が予め設定された閾値未満である場合には、エッジ点Ｐｅの分類処理のパターンとして第１のパターンを選択し、割合Ｒａｔｅ２が閾値以上である場合には、第２のパターンを選択する。なお、二重白線においては外側の車線区画線が実線であることが一般的であるため、第１のパターンは、例えば、二重白線の内側の補助線が実線である場合、或いは、補助線が破線で構成される場合であっても破線の線分が比較的長く線分の間隔が比較的短い場合等に多く選択される。また、第１のパターンは、例えば、二重白線の外側の車線区画線が破線である場合等にも希に選択される。一方、第２のパターンは、例えば、補助線が破線で構成される場合であって且つ破線の線分が比較的短く線分の間隔が比較的長い場合等に多く選択される。
【００４５】
続くステップＳ２０３において、ステレオ画像認識装置４は、ステップＳ２０２で判定したパターンが第１のパターンか否かを調べ、第１のパターンである場合にはステップＳ２０４に進み、第２のパターンである場合にはステップＳ２０７に進む。
【００４６】
ステップＳ２０３からステップＳ２０４に進むと、ステレオ画像認識装置４は、候補点分類領域α内に存在するエッジ点Ｐｅを第１候補点Ｐｃ１として登録し、続くステップＳ２０５において、候補点分類領域αよりも車幅方向内側のエッジ点Ｐｅを全て削除し、さらにステップＳ２０６において、候補点分類領域αよりも車幅方向外側のエッジ点Ｐｅを第２候補点Ｐｃ２として登録した後（図１２（ａ）参照）、サブルーチンを抜ける。
【００４７】
一方、ステップＳ２０３からステップＳ２０７に進むと、ステレオ画像認識装置４は、候補点分類領域α内に存在するエッジ点Ｐｅを第２候補点Ｐｃ２として登録し、続くステップＳ２０８において、候補点分類領域αよりも車幅方向内側のエッジ点Ｐｅを第１候補点Ｐｃ１として登録し、さらにステップＳ２０９において、候補点分類領域αよりも車幅方向外側に存在するエッジ点Ｐｅを全て削除した後（図１２（ｂ）参照）、サブルーチンを抜ける。
【００４８】
図２のメインルーチンにおいて、ステップＳ１０４からステップＳ１０５に進むと、ステレオ画像認識装置４は、第２の領域内のエッジ点Ｐｅの分類処理を行う。この処理は、例えば、図９に示すエッジ点分類サブルーチンのフローチャートに従って実行されるもので、サブルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ３０１において検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１（すなわち、同一検索ラインＬ上に第２エッジ点Ｐｅ２が存在せず第１エッジ点Ｐｅ１のみが単独で存在するもの）があるか否かを調べる。
【００４９】
そして、ステップＳ３０１において、ステレオ画像認識装置４は、検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１があると判定した場合はステップＳ３０２に進み、検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１がない（すなわち、第１エッジ点Ｐｅ１が存在しない、或いは、第１，第２エッジ点Ｐｅ１，Ｐｅ２がペアで併存する）と判定した場合はステップＳ３０５に進む。
【００５０】
ステップＳ３０１からステップＳ３０２に進むと、ステレオ画像認識装置４は、上述のステップＳ２０２の処理で判定したパターンが第１のパターンか否かを調べ、第１のパターンである場合にはステップＳ３０３に進み、第２のパターンである場合にはステップＳ３０４に進む。
【００５１】
そして、ステップＳ３０２からステップＳ３０３に進むと、ステレオ画像認識装置４は、検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１を全て削除した後、ステップＳ３０５に進む（図１３（ａ）参照）。ここで、上述のように、白線が二重白線である場合においては外側の車線区画線が実線である可能性が高いことを考慮すると、第１のパターンが判定される場合とは、内側の補助線が実線或いは実線に準ずる破線等である可能性が高い。従って、遠方で第２エッジ点Ｐｅ２が検出されない場合には、画像上で補助線と車線区画線とが一部同化して見えている可能性が高いと考えられる。そして、このような場合において、検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１は、車線区画線によるものであるか補助線によるものであるを判定すること困難である。そこで、このような第１エッジ点Ｐｅ１は、ノイズとして削除される。
【００５２】
一方、ステップＳ３０２からステップＳ３０４に進むと、ステレオ画像認識装置４は、検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１を第２候補点Ｐｃ２として登録した後、ステップＳ３０５に進む（図１３（ｂ）参照）。すなわち、上述のように、白線が二重白線である場合において、第２のパターンが判定されている場合とは、内側の補助線が比較的疎な破線等である可能性が高い。従って、遠方で第２エッジ点Ｐｅ２が検出されない場合には、仮に画像上で補助線と車線区画線とが一部同化して見えている場合であっても、検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１は車線区画線によるものである可能性が高い。そこで、このような第１エッジ点Ｐｅ１は、第２候補点Ｐｃ２として登録される。
【００５３】
ステップＳ３０１、ステップＳ３０３、或いは、ステップＳ３０４からステップＳ３０５に進むと、ステレオ画像認識装置４は、同一検索ラインＬ上に第２エッジ点Ｐｅ２とペアで併存する第１エッジ点Ｐｅ１を第１候補点Ｐｃ１として登録した後（図１３（ａ），（ｂ）参照）、ステップＳ３０６に進む。
【００５４】
そしてステップＳ３０５からステップＳ３０６に進むと、ステレオ画像認識装置４は、同一検索ラインＬ上に第１エッジ点Ｐｅ１とペアで併存する第２エッジ点Ｐｅ２を第２候補点Ｐｃ２として登録した後（図１３（ａ），（ｂ）参照）、サブルーチンを抜ける。
【００５５】
図２のメインルーチンにおいて、ステップＳ１０５からステップＳ１０６に進むと、ステレオ画像認識装置４は、例えば、第１候補点Ｐｃ１の点群に基づいて、（３）式に示す最小自乗法を用いた第１の近似線を演算するとともに、第２候補点Ｐｃ２の点群に基づいて、（４）式に示す最小自乗法を用いた第２の近似線を演算する。
Ｘ１＝ａ１・Ｚ２＋ｂ１・Ｚ＋ｃ１ … （３）
Ｘ２＝ａ２・Ｚ２＋ｂ２・Ｚ＋ｃ２ … （４）
ここで、白線が二重白線である場合、基本的には、（３）式に示す第１の近似線は補助線の近似線を示し、（４）式に示す第２の近似線は車線区画線を示す。また、（３）、（４）式において、ａ１，ａ２、ｂ１，ｂ２、及び、ｃ１，ｃ２は最小自乗法によって求められるパラメータを示す。
【００５６】
さらに、ステレオ画像認識装置４は、各第１候補点Ｐｃ１に対する第１の近似線の近似誤差を演算するとともに、各第２候補点Ｐｃ２に対する第２近似線の近似誤差を演算する。そして、ステレオ画像認識装置４は、第１の近似線或いは第２の近似線のうち近似誤差が小さい何れか一方の近似線のパラメータに基づいて、最終的な近似線Ｘのパラメータを設定する。すなわち、本実施形態では、例えば、白線が二重白線であっても、当該白線の近似線は単一の近似線が設定される。この場合において、例えば、各種の運転支援制御（特に、車線逸脱警報等）を画一的に行うため、最終的な近似線Ｘのパラメータは、車線区画線に倣ったものであることが望ましい。そこで、ステレオ画像認識装置４は、第１の近似線Ｘ１の近似誤差が小さい場合、当該第１の近似線Ｘ１を第２の近似線Ｘ２までオフセットさせることにより、最終的な近似線Ｘのパラメータを設定する。一方、ステレオ画像認識装置４は、第２の近似線Ｘ２の近似誤差が小さい場合、当該第２の近似線Ｘ２をそのまま用いて、最終的な近似線Ｘのパラメータを設定する。
【００５７】
ステップＳ１０６からステップＳ１０７に進むと、ステレオ画像認識装置４は、ステップＳ１０６で演算した白線の近似線に基づき、次フレームで使用する白線検索領域Ａを設定した後、ルーチンを抜ける。すなわち、ステップＳ１０８において、ステレオ画像認識装置４は、例えば、図１４に示すように、ステップＳ１０６で演算した左右の白線近似線Ｘｌ，Ｘｒに対し、（５）〜（８）式に示すように、それぞれ実空間上で、ｌｉｎ＿ｗｓ［ｍ］だけ車幅方向にオフセットした線Ｘｓｌ，Ｘｓｒと、ｌｉｎ＿ｗｒ［ｍ］だけ車幅方向外側にオフセットした線Ｘｅｌ，Ｘｅｒを設定する。
【００５８】
すなわち、ステレオ画像認識装置４は、左側の白線近似線Ｘ１に対し、
Ｘｓｌ＝ａｌ・Ｚｌ２＋ｂｌ・Ｚｌ＋ｃｌ＋ｌｉｎ＿Ｗｓｌ … （５）
を設定すると共に、右側の白線近似線Ｘｒに対し、
Ｘｓｒ＝ａｒ・Ｚｒ２＋ｂｒ・Ｚｒ＋ｃｒ−ｌｉｎ＿Ｗｓｒ … （６）
を設定する。
また、ステレオ画像認識装置４は、左側の白線近似線Ｘｌに対し、
Ｘｅｌ＝ａｌ・Ｚｌ２＋ｂｌ・Ｚｌ＋ｃｌ−ｌｉｎ＿Ｗｅｌ … （７）
を設定すると共に、右側の白線近似線Ｘｒに対し、
Ｘｅｒ＝ａｒ・Ｚｒ２＋ｂｒ・Ｚｒ＋ｃｒ＋ｌｉｎ＿Ｗｅｒ … （８）
を設定する。そして、ステレオ画像認識装置４は、実空間上において（５）式と（７）式とで囲まれた領域を画像上の座標系へ座標変換することで、左側の白線検出領域Ａｌとして設定し、（６）式と（８）式とで囲まれた領域を同様に画像上の座標系へ座標変換することで、右側の白線検出領域Ａｒとして設定する。
【００５９】
このような実施形態によれば、画像上の白線検出領域Ａ内で水平方向に延在する検索ラインＬ毎に車幅方向内側から外側に向けての輝度変化に基づいて検出した第１，第２エッジ点Ｐｅ１，Ｐｅ２からなる点群、または、第１エッジ点Ｐｅ１，または、第２エッジ点，Ｐｅ２の何れか一方からなる点群の近似直線Ｈを演算し、近似直線Ｈを基準とする候補点分類領域α内に占める第２エッジ点Ｐｅ２の割合が設定未満であるとき第１のパターンを判定して、候補点分類領域α内に存在するエッジ点Ｐｅを第１候補点Ｐｃ１として登録すると共に、候補点分類領域αよりも車幅方向外側に存在するエッジ点Ｐｅを第２候補点Ｐｃ２として登録し、一方、候補点分類領域α内に占める第２エッジ点Ｐｅ２の割合が設定以上であるとき第２のパターンを判定して、候補点分類領域α内に存在する各エッジ点Ｐｅを第２候補点Ｐｃ２として登録すると共に、候補点分類領域αよりも車幅方向内側に存在する各エッジ点Ｐｅを第１候補点Ｐｃ１として登録することにより、車線区画線の内側に補助線が存在する場合にも、各線に対応するエッジ点を短時間で且つ精度良く分類することができる。
【００６０】
この場合において、近似直線Ｈ上に存在するエッジ点Ｐｅの総数に対し、当該近似直線Ｈ上でエッジ点Ｐｅが設定割合を占めるまでの領域（すなわち、近似直線Ｈにエッジ点Ｐｅが追従すると見なすことができる領域）を第１の領域として設定し、上述の処理を、第１の領域に対して限定的に行うことにより、第１候補点Ｐｃ１と第２候補点Ｐｃ２との分類を精度良く実現することができる。
【００６１】
また、第１領域以遠の第２領域については、第１のパターンが判定されているときは、単独で存在する第１エッジ点Ｐｅ１を削除すると共に他の第１エッジ点Ｐｅ１を第１候補点Ｐｃ１として設定し、第２エッジ点Ｐｅ２を第２候補点として設定する一方、第２のパターンが判定されているときは、単独で存在する第１エッジ点Ｐｅ１を第２候補点Ｐｃ２として設定するとともに他の第１エッジ点Ｐｅ１を第１候補点Ｐｃ１として設定し、第２エッジ点Ｐｅ２を第２候補点Ｐｃ２として設定することにより、不確定なエッジ点を排除しつつ、第１，第２候補点Ｐｃ１，Ｐｃ２への分類を精度良く行うことができる。
【００６２】
なお、本実施例はステレオカメラについて記載したが、白線を認識可能なそうちであれば、モノラルカメラを含め、これに限定されるものではない。
【符号の説明】
【００６３】
１ …車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（候補点検出手段、直線近似手段、パターン判定手段、エッジ点分類手段、領域設定手段、第２のエッジ点分類手段、近似線演算手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ
【技術分野】
【０００１】
本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線の認識が行われ、この白線に基づいて自車走行レーンの推定が行われる。
【０００３】
ところで、実際の道路上の白線には、単一の車線区画線で構成される白線の他に、車線区画線の内側に破線等からなる視線誘導線（補助線）が併設された二重白線等の各種バリエーションが存在する。
【０００４】
そこで、この種の白線認識では、車線区画線のみならず補助線等の存在を十分に考慮する必要がある。このような白線認識についての技術として、例えば、特許文献１には、撮像画像上に設定された検索領域に対し、水平方向に延在する複数の検索ライン毎に、車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明へと所定以上変化する最初のエッジ点を検出し、検出した点群に対してハフ変換等を用いたノイズ除去を行うことにより、白線開始点の検出精度を向上する技術が開示されている。
【０００５】
このような技術によれば、白線が車線区画線のみからなる単線である場合には当該車線区画線に基づいて白線が認識され、白線が二重白線等である場合には主として内側に位置する補助線等に基づいて白線が認識される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２６４９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述の特許文献１に開示された技術のように二重白線等に対して内側の補助線に基づく白線認識が行われると、例えば、車線逸脱防止機能において、自車が補助線を逸脱しただけで警報が発せられる等、実際のドライバの感覚とは若干かけ離れたタイミングで制御が行われる虞がある。
【０００８】
これに対処し、各検索ライン上に２点目のエッジ点が存在する場合には、当該２点目のエッジ点も検出して車線区画線及び補助線を認識することも考えられる。
【０００９】
しかしながら、二重白線等に対してエッジ点の検出を行った場合、必ずしも、１点目のエッジ点が補助線に対応し、２点目のエッジ点が車線区画線に対応するとは限らない。すなわち、例えば、補助線が破線等で構成された二重白線等に対してエッジ点の検出を行った場合、１点目のエッジ点は補助線及び車線区画線の何れからも検出される。従って、各検索ラインに対して２点目のエッジ点を検出する場合、各エッジ点が二重白線の何れの線に属するものであるか等を精度良く分類する必要がある。
【００１０】
なお、このようなエッジ点の分類について、ハフ変換を利用した公知の曲線検出技術を使用することも考えられるが、このような技術は、直線を規定する位置、傾きのパラメータの他に曲率パラメータも同定しなければならないため、処理時間が膨大となり、リアルタイム性を必要とする運転支援装置等への適用は困難となる。
【００１１】
本発明は上記事情に鑑みてなされたもので、車線区画線の内側に補助線が存在する場合にも、各線に対応するエッジ点を短時間で且つ精度良く分類することができる車両用白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、自車走行路を撮像した画像上の白線検出領域内で水平方向に延在する検索ライン毎に車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明に所定以上変化する最初のエッジ点を第１エッジ点として検出するとともに、前記第１エッジ点よりも車幅方向外側にエッジ点が存在する場合には当該エッジ点を第２エッジ点として検出する候補点検出手段と、前記第１エッジ点及び前記第２エッジ点からなる点群の近似直線を演算する直線近似手段と、前記近似直線を基準とする帯状の候補点分類領域を設定し、当該候補点分類領域内に占める前記第２エッジ点の割合が設定未満であるとき第１のパターンを判定し、前記第２エッジ点の割合が設定以上であるとき第２のパターンを判定するパターン判定手段と、前記第１のパターンが判定されているとき、前記候補点分類領域内に存在する前記各エッジ点を前記第１候補点として登録するとともに、前記候補点分類領域よりも車幅方向外側に存在する前記各エッジ点を第２候補点として登録し、前記第２のパターンが判定されているとき、前記候補点分類領域内に存在する前記各エッジ点を第２候補点として登録するとともに、前記候補点分類領域よりも車幅方向内側に存在する前記各エッジ点を第１候補点として登録するエッジ点分類手段と、を備えたことを特徴とする。
【発明の効果】
【００１３】
本発明の車両用白線認識装置によれば、車線区画線の内側に補助線が存在する場合にも、各線に対応するエッジ点を短時間で且つ精度良く分類することができる。
【図面の簡単な説明】
【００１４】
【図１】車両用運転支援装置の概略構成図
【図２】白線認識ルーチンを示すフローチャート
【図３】車外環境の撮像画像の一例を模式的に示す説明図
【図４】図３の画像から検出される第１エッジ点及び第２エッジ点を示す説明図
【図５】検索ライン上における輝度の変化の一例を示す説明図
【図６】ハフ変換の演算方法示す説明図
【図７】ハフ空間を示す説明図
【図８】第１の領域内におけるエッジ点分類サブルーチンを示すフローチャート
【図９】第２の領域内におけるエッジ点分類サブルーチンを示すフローチャート
【図１０】各パターンにおけるハフ直線とエッジ点との関係の一例を示す説明図
【図１１】各パターンにおいて第１の領域内に設定された候補点分類領域を示す説明図
【図１２】各パターンにおける第１の領域内での処理結果の一例を示す説明図
【図１３】各パターンにおける第２の領域内での処理結果の一例を示す説明図
【図１４】認識した白線に基づいて設定される白線検出領域を示す説明図
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は白線認識ルーチンを示すフローチャート、図３は車外環境の撮像画像の一例を模式的に示す説明図、図４は図３の画像から検出される第１エッジ点及び第２エッジ点を示す説明図、図５は検索ライン上における輝度の変化の一例を示す説明図、図６はハフ変換の演算方法示す説明図、図７はハフ空間を示す説明図、図８は第１の領域内におけるエッジ点分類サブルーチンを示すフローチャート、図９は第２の領域内におけるエッジ点分類サブルーチンを示すフローチャート、図１０は各パターンにおけるハフ直線とエッジ点との関係の一例を示す説明図、図１１は各パターンにおいて第１の領域内に設定された候補点分類領域を示す説明図、図１２は各パターンにおける第１の領域内での処理結果の一例を示す説明図、図１３は各パターンにおける第２の領域内での処理結果の一例を示す説明図、図１４は認識した白線に基づいて設定される白線検出領域を示す説明図である。
【００１６】
図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。
【００１７】
また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。
【００１８】
ステレオカメラ３は、ステレオ光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。
【００１９】
ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して周知のグルーピング処理を行い、予め記憶しておいた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。
【００２０】
ここで、本実施形態において認識対象となる白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線等が併設された多重線（二重白線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、更に、黄色線等をも含む。
【００２１】
ところで、実際の道路上に敷設された白線には上述のように各種バリエーションが存在する他、白線の形態は走行路の分岐や合流等に伴って変化する。加えて、道路上には路面補修跡や、水溜まり、雪等の各種ノイズが存在する。従って、画一的な処理によって、全ての場面で精度良く白線を認識することは困難である。そこで、ステレオ画像認識装置４は、上述の距離画像に基づく白線認識のみに頼ることなく、各種方式を用いた白線認識を補完的に行い、これらの認識結果を複合的に判断して最終的な白線を認識する。
【００２２】
このような白線認識の一つとして、ステレオ画像認識装置４は、自車前方を撮像した一方の画像（例えば、図３に示す基準画像）上の水平方向の輝度変化に基づいて白線認識を行う。なお、以下に説明する白線認識は、特に、二重白線の認識に有効なものである。
【００２３】
具体的に説明すると、例えば、図４に示すように、ステレオ画像認識装置４は、画像上に左右の白線検出領域Ａｌ，Ａｒを設定し、各白線検出領域Ａｌ，Ａｒ内で水平方向に延在する複数の検索ラインＬに対し、検索ラインＬ毎に車幅方向内側から外側に向けて輝度変化を調べる。そして、ステレオ画像認識装置４は、各白線検出領域Ａｌ，Ａｒ内の各検索ラインＬ上において、輝度が暗から明へと所定以上変化する最初のエッジ点を第１エッジ点Ｐｅ１として検出するとともに、第１エッジ点Ｐｅ１よりも車幅方向外側にエッジ点が存在する場合には当該エッジ点を第２エッジ点Ｐｅ２として検出する。
【００２４】
また、ステレオ画像認識装置４は、自車前方の左右に検出した各エッジ点Ｐｅの点群（第１エッジ点Ｐｅ１及び第２エッジ点Ｐｅ２の点群）に対する近似直線Ｈを演算する。そして、ステレオ画像認識装置４は、近似直線Ｈを基準とする帯状の候補点分類領域αを設定し、当該候補点分類領域α内に占める第２エッジ点の割合Ｒａｔｅ２が設定閾値未満であるとき第１のパターンを判定し、第２エッジ点の割合Ｒａｔｅ２が設定閾値以上であるとき第２のパターンを判定する。
【００２５】
そして、ステレオ画像認識装置４は、第１のパターンが判定されているとき、候補点分類領域α内に存在する各エッジ点Ｐｅを第１候補点Ｐｃ１として登録するとともに、候補点分類領域αよりも車幅方向外側に存在する各エッジ点Ｐｅを第２候補点として登録する。一方、ステレオ画像認識装置４は、第２のパターンが判定されているとき、候補点分類領域α内に存在する各エッジ点Ｐｅを第２候補点Ｐｃ２として登録するとともに、候補点分類領域よりも車幅方向内側に存在する各エッジ点Ｐｅを第１候補点Ｐｃ１として登録する。これにより、白線が二重白線である場合において、基本的には、第１候補点Ｐｃは視線誘導線等の補助線に対応して抽出され、第２候補点Ｐｃ２は車線区画線等に対応して抽出される。
【００２６】
ここで、ステレオ画像認識装置４は、第１のパターンが判定されている場合には、候補点分類領域αよりも車幅方向内側に存在する各エッジ点Ｐｅをノイズとして消去し、第２のパターンが判定されている場合には、候補点分類領域αよりも車幅方向外側に存在する各エッジ点Ｐｅをノイズとして消去する。
【００２７】
ところで、自車走行路が遠方でカーブしている場合、例えば、二重白線の内側の補助線と外側の車線区画線とが画像上で一部同化する等して各エッジ点Ｐｅを精度良く分類することが困難となる場合がある。そこで、本実施形態のステレオ画像認識装置４は、画像上の領域を、自車１側に位置する第１の領域と、自車１から遠方に位置する第２の領域とに区画し、第１の領域については上述の各処理に基づいて各エッジ点Ｐｅの分類を行い、第２の領域については別途の処理に基づいて各エッジ点Ｐｅの分類を行う。
【００２８】
この場合において、ステレオ画像認識装置４は、例えば、近似直線Ｈ上に存在するエッジ点Ｐｅの総数に対し、エッジ点Ｐｅの数が閾値割合（例えば、９割程度）を占めるまでの領域を第１の領域として設定し、それ以遠の領域を第２の領域として設定する。すなわち、自車１側において白線（すなわち、エッジ点Ｐｅの点群）を単一の直線で所定に直線近似できる領域（第１の領域）においては近似直線Ｈを基準とした上述の処理に基づいて各エッジ点Ｐｅの分類を行い、単一の近似直線Ｈでは近似が困難となる遠方の領域（第２の領域）においては、別途の処理に基づいて各エッジ点Ｐｅの分類を行う。
【００２９】
そして、ステレオ画像認識装置４は、第１のパターンが判定されているとき、第２の領域内に存在するエッジ点Ｐｅのうち、同一検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１を削除すると共に他の第１エッジ点Ｐｅ１を第１候補点Ｐｃ１として設定し、第２エッジ点Ｐｅ２を第２候補点Ｐｃ２として設定する。一方、ステレオ画像認識装置４は、第２のパターンが判定されているとき、第２の領域内に存在するエッジ点Ｐｅのうち、同一検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１を第２候補点Ｐｃ２として設定すると共に他の第１エッジ点Ｐｅ１を第１候補点Ｐｃ１として設定し、第２エッジ点Ｐｅ２を第２候補点Ｐｃ２として設定する。
【００３０】
そして、ステレオ画像認識装置４は、このようにして分類した第１候補点Ｐｃ１の点群に対して最小自乗法を用いた白線の近似線（第１の近似線）を演算し、各第１候補点Ｐｃ１に対する第１の近似線の近似誤差を演算する。同様に、ステレオ画像認識装置４は、第２候補点Ｐｃ２の点群に対して最小自乗法を用いた白線の近似線（第２の近似線）を演算し、各第２候補点Ｐｃ２に対する第２の近似線の近似誤差を演算する。そして、ステレオ画像認識装置４は、近似誤差が小さい何れか一方の近似線のパラメータに基づいて最終的な近似線のパラメータを設定する。この場合において、ステレオ画像認識装置４は、第１の近似線の近似誤差が小さい場合、当該第１の近似線を第２の近似線までオフセットさせることにより、最終的な近似線のパラメータを設定することが望ましい。
【００３１】
このように、本実施形態において、ステレオ画像認識装置４は、候補点検出手段、直線近似手段、パターン判定手段、エッジ点分類手段、領域設定手段、第２のエッジ点分類手段、及び、近似線演算手段としての各機能を実現する。
【００３２】
なお、ステレオ画像認識装置４は、その他の種々の方法によって白線認識を行うことが可能となっている。そして、ステレオ画像認識装置４は、例えば、各白線認識において認識した白線の近似線と当該認識に用いられたエッジ点等の白線候補点との関係（例えば、近似線に対する白線候補点の分散等）に基づき、認識した各近似線の中から最も適切な近似線を選択し、当該近似線を最終的な白線の近似線として制御ユニット５に出力する。
【００３３】
制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。
【００３４】
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に追従対象の先行車が走行しているか否かを識別する。
【００３５】
その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。
【００３６】
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
【００３７】
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線の近似線）に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
【００３８】
次に、ステレオ画像認識装置４において実行される、基準画像上の輝度変化に基づく白線認識について、図２に示す白線認識ルーチンのフローチャートに従って説明する。なお、本ルーチンによる処理は、左右の白線検出領域Ａｌ，Ａｒそれぞれに対して同様の処理が個別に行われるものであるが、説明を簡略化するため、以下の説明において特に必要な場合を除き、例えば白線検出領域Ａｌ，Ａｒを総称して白線検出領域Ａと標記する等、左右の属性を示す添字”ｌ”及び”ｒ”を適宜省略して説明する。
【００３９】
このルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、例えば、前フレームの画像に対するステップＳ１０７の処理で設定された白線検出領域Ａ内の各検索ラインＬ毎に、第１エッジ点Ｐｅ１及び第２エッジ点Ｐｅ２の検出を行う。具体的には、例えば、図５に示すように、ステレオ画像認識装置４は、車幅方向内側から外側に向けて、各検索ラインＬ上でのエッジ検出を行い、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点Ｐｅ（＋））を検出するとともに、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値がマイナス側の設定閾値以下となる点（エッジ点Ｐｅ（−））を検出する。そして、ステレオ画像認識装置４は、エッジ点Ｐｅ（−）と対をなすエッジ点Ｐｅ（＋）のうち、白線検出領域Ａ内で最も車幅方向内側に位置するエッジ点Ｐｅ（＋）を第１エッジ点Ｐｅ１として抽出すると共に、次に車幅方向内側に位置するエッジ点Ｐｅ（＋）を第２エッジ点Ｐｅ２として抽出する（図４参照）。なお、図４等においては、説明を簡略化するため、検索ラインＬ及び各エッジ点等が所定に間引かれて表示されている。
【００４０】
続くステップＳ１０２において、ステレオ画像認識装置４は、抽出したエッジ点Ｐｅ（第１エッジ点Ｐｅ１及び第２エッジ点Ｐｅ２）または、（第１エッジ点Ｐｅ１、第２エッジ点Ｐｅ２の何れか）に基づいて白線の近似直線を演算する（近似直線演算において、第１エッジ点Ｐｅ１と第２エッジ点Ｐｅ２の双方を使用する場合に比べ、どちらか一方のみを使用する場合では、演算時間の高速化が可能になる。）。すなわち、ステレオ画像認識装置４は、例えば、図６に示すように、点群を構成する各エッジ点Ｐｅそれぞれに対し、点Ｐｅ（ｘ，ｚ）を通る直線ｈの傾きθを０°から１８０°まで所定の角度Δθ毎変化させ、以下の（１）式に基づいて、各θにおける原点Ｏから直線ｈまでの距離（垂線の長さ）ρを求める。
ρ＝ｘ・ｃｏｓθ＋ｚ・ｓｉｎθ … （１）
そして、ステレオ画像認識装置４は、各点Ｐｅについて求めたθとρの関係を、例えば、図７に示すハフ平面（θ，ρ）上の該当箇所に度数として投票（投影）する。さらに、ステレオ画像認識装置４は、ハフ平面（θ，ρ）上の度数が最も大きくなるθとρの組合せを抽出し、当該θとρを用いて（１）式で規定される近似直線（ハフ直線）Ｈを点群の近似式として設定する（図１０（ａ），（ｂ）参照）。
【００４１】
ステップＳ１０２からステップＳ１０３に進むと、ステレオ画像認識装置４は、近似直線Ｈ上に存在するエッジ点Ｐｅをカウントし、画像下側からエッジ点Ｐｅの数が閾値割合（例えば、９割程度）を占めるまでの領域を第１の領域として設定し、それ以遠の領域を第２の領域として設定する（図１１（ａ），（ｂ）参照）。
【００４２】
そして、ステップＳ１０４に進むと、ステレオ画像認識装置４は、第１の領域内のエッジ点Ｐｅの分類処理を行う。この処理は、例えば、図８に示すエッジ点分類サブルーチンのフローチャートに従って実行されるもので、サブルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ２０１において、近似直線Ｈを基準とする帯状の領域を候補点分類領域αとして設定する。すなわち、ステレオ画像認識装置４は、近似直線Ｈを車幅方向内側及び外側にα１，α２だけ平行移動して形成された領域を候補点分類領域αとして設定する（図１１（ａ），（ｂ）参照）。ここで、α１，α２としては、例えば、前フレームで検出した白線の幅の半分の長さを画面上の画素数に変換して用いることが望ましい。
【００４３】
続くステップＳ２０２において、ステレオ画像認識装置４は、候補点分類領域α内に存在するエッジ点Ｐｅの総数に対して第２エッジ点Ｐｅ２が占める割合Ｒａｔｅ２を、以下の（２）式に基づいて算出する。
Ｒａｔｅ２＝（Ｎｕｍ２／（Ｎｕｍ１＋Ｎｕｍ２））×１００ … （２）
ここで、（２）式において、Ｎｕｍ１は候補点分類領域αに存在する第１エッジ点Ｐｅ１の総数を示し、Ｎｕｍ２は候補点分類領域αに存在する第２エッジ点Ｐｅ２の総数を示す。
【００４４】
そして、ステレオ画像認識装置４は、割合Ｒａｔｅ２が予め設定された閾値未満である場合には、エッジ点Ｐｅの分類処理のパターンとして第１のパターンを選択し、割合Ｒａｔｅ２が閾値以上である場合には、第２のパターンを選択する。なお、二重白線においては外側の車線区画線が実線であることが一般的であるため、第１のパターンは、例えば、二重白線の内側の補助線が実線である場合、或いは、補助線が破線で構成される場合であっても破線の線分が比較的長く線分の間隔が比較的短い場合等に多く選択される。また、第１のパターンは、例えば、二重白線の外側の車線区画線が破線である場合等にも希に選択される。一方、第２のパターンは、例えば、補助線が破線で構成される場合であって且つ破線の線分が比較的短く線分の間隔が比較的長い場合等に多く選択される。
【００４５】
続くステップＳ２０３において、ステレオ画像認識装置４は、ステップＳ２０２で判定したパターンが第１のパターンか否かを調べ、第１のパターンである場合にはステップＳ２０４に進み、第２のパターンである場合にはステップＳ２０７に進む。
【００４６】
ステップＳ２０３からステップＳ２０４に進むと、ステレオ画像認識装置４は、候補点分類領域α内に存在するエッジ点Ｐｅを第１候補点Ｐｃ１として登録し、続くステップＳ２０５において、候補点分類領域αよりも車幅方向内側のエッジ点Ｐｅを全て削除し、さらにステップＳ２０６において、候補点分類領域αよりも車幅方向外側のエッジ点Ｐｅを第２候補点Ｐｃ２として登録した後（図１２（ａ）参照）、サブルーチンを抜ける。
【００４７】
一方、ステップＳ２０３からステップＳ２０７に進むと、ステレオ画像認識装置４は、候補点分類領域α内に存在するエッジ点Ｐｅを第２候補点Ｐｃ２として登録し、続くステップＳ２０８において、候補点分類領域αよりも車幅方向内側のエッジ点Ｐｅを第１候補点Ｐｃ１として登録し、さらにステップＳ２０９において、候補点分類領域αよりも車幅方向外側に存在するエッジ点Ｐｅを全て削除した後（図１２（ｂ）参照）、サブルーチンを抜ける。
【００４８】
図２のメインルーチンにおいて、ステップＳ１０４からステップＳ１０５に進むと、ステレオ画像認識装置４は、第２の領域内のエッジ点Ｐｅの分類処理を行う。この処理は、例えば、図９に示すエッジ点分類サブルーチンのフローチャートに従って実行されるもので、サブルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ３０１において検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１（すなわち、同一検索ラインＬ上に第２エッジ点Ｐｅ２が存在せず第１エッジ点Ｐｅ１のみが単独で存在するもの）があるか否かを調べる。
【００４９】
そして、ステップＳ３０１において、ステレオ画像認識装置４は、検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１があると判定した場合はステップＳ３０２に進み、検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１がない（すなわち、第１エッジ点Ｐｅ１が存在しない、或いは、第１，第２エッジ点Ｐｅ１，Ｐｅ２がペアで併存する）と判定した場合はステップＳ３０５に進む。
【００５０】
ステップＳ３０１からステップＳ３０２に進むと、ステレオ画像認識装置４は、上述のステップＳ２０２の処理で判定したパターンが第１のパターンか否かを調べ、第１のパターンである場合にはステップＳ３０３に進み、第２のパターンである場合にはステップＳ３０４に進む。
【００５１】
そして、ステップＳ３０２からステップＳ３０３に進むと、ステレオ画像認識装置４は、検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１を全て削除した後、ステップＳ３０５に進む（図１３（ａ）参照）。ここで、上述のように、白線が二重白線である場合においては外側の車線区画線が実線である可能性が高いことを考慮すると、第１のパターンが判定される場合とは、内側の補助線が実線或いは実線に準ずる破線等である可能性が高い。従って、遠方で第２エッジ点Ｐｅ２が検出されない場合には、画像上で補助線と車線区画線とが一部同化して見えている可能性が高いと考えられる。そして、このような場合において、検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１は、車線区画線によるものであるか補助線によるものであるを判定すること困難である。そこで、このような第１エッジ点Ｐｅ１は、ノイズとして削除される。
【００５２】
一方、ステップＳ３０２からステップＳ３０４に進むと、ステレオ画像認識装置４は、検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１を第２候補点Ｐｃ２として登録した後、ステップＳ３０５に進む（図１３（ｂ）参照）。すなわち、上述のように、白線が二重白線である場合において、第２のパターンが判定されている場合とは、内側の補助線が比較的疎な破線等である可能性が高い。従って、遠方で第２エッジ点Ｐｅ２が検出されない場合には、仮に画像上で補助線と車線区画線とが一部同化して見えている場合であっても、検索ラインＬ上に単独で存在する第１エッジ点Ｐｅ１は車線区画線によるものである可能性が高い。そこで、このような第１エッジ点Ｐｅ１は、第２候補点Ｐｃ２として登録される。
【００５３】
ステップＳ３０１、ステップＳ３０３、或いは、ステップＳ３０４からステップＳ３０５に進むと、ステレオ画像認識装置４は、同一検索ラインＬ上に第２エッジ点Ｐｅ２とペアで併存する第１エッジ点Ｐｅ１を第１候補点Ｐｃ１として登録した後（図１３（ａ），（ｂ）参照）、ステップＳ３０６に進む。
【００５４】
そしてステップＳ３０５からステップＳ３０６に進むと、ステレオ画像認識装置４は、同一検索ラインＬ上に第１エッジ点Ｐｅ１とペアで併存する第２エッジ点Ｐｅ２を第２候補点Ｐｃ２として登録した後（図１３（ａ），（ｂ）参照）、サブルーチンを抜ける。
【００５５】
図２のメインルーチンにおいて、ステップＳ１０５からステップＳ１０６に進むと、ステレオ画像認識装置４は、例えば、第１候補点Ｐｃ１の点群に基づいて、（３）式に示す最小自乗法を用いた第１の近似線を演算するとともに、第２候補点Ｐｃ２の点群に基づいて、（４）式に示す最小自乗法を用いた第２の近似線を演算する。
Ｘ１＝ａ１・Ｚ２＋ｂ１・Ｚ＋ｃ１ … （３）
Ｘ２＝ａ２・Ｚ２＋ｂ２・Ｚ＋ｃ２ … （４）
ここで、白線が二重白線である場合、基本的には、（３）式に示す第１の近似線は補助線の近似線を示し、（４）式に示す第２の近似線は車線区画線を示す。また、（３）、（４）式において、ａ１，ａ２、ｂ１，ｂ２、及び、ｃ１，ｃ２は最小自乗法によって求められるパラメータを示す。
【００５６】
さらに、ステレオ画像認識装置４は、各第１候補点Ｐｃ１に対する第１の近似線の近似誤差を演算するとともに、各第２候補点Ｐｃ２に対する第２近似線の近似誤差を演算する。そして、ステレオ画像認識装置４は、第１の近似線或いは第２の近似線のうち近似誤差が小さい何れか一方の近似線のパラメータに基づいて、最終的な近似線Ｘのパラメータを設定する。すなわち、本実施形態では、例えば、白線が二重白線であっても、当該白線の近似線は単一の近似線が設定される。この場合において、例えば、各種の運転支援制御（特に、車線逸脱警報等）を画一的に行うため、最終的な近似線Ｘのパラメータは、車線区画線に倣ったものであることが望ましい。そこで、ステレオ画像認識装置４は、第１の近似線Ｘ１の近似誤差が小さい場合、当該第１の近似線Ｘ１を第２の近似線Ｘ２までオフセットさせることにより、最終的な近似線Ｘのパラメータを設定する。一方、ステレオ画像認識装置４は、第２の近似線Ｘ２の近似誤差が小さい場合、当該第２の近似線Ｘ２をそのまま用いて、最終的な近似線Ｘのパラメータを設定する。
【００５７】
ステップＳ１０６からステップＳ１０７に進むと、ステレオ画像認識装置４は、ステップＳ１０６で演算した白線の近似線に基づき、次フレームで使用する白線検索領域Ａを設定した後、ルーチンを抜ける。すなわち、ステップＳ１０８において、ステレオ画像認識装置４は、例えば、図１４に示すように、ステップＳ１０６で演算した左右の白線近似線Ｘｌ，Ｘｒに対し、（５）〜（８）式に示すように、それぞれ実空間上で、ｌｉｎ＿ｗｓ［ｍ］だけ車幅方向にオフセットした線Ｘｓｌ，Ｘｓｒと、ｌｉｎ＿ｗｒ［ｍ］だけ車幅方向外側にオフセットした線Ｘｅｌ，Ｘｅｒを設定する。
【００５８】
すなわち、ステレオ画像認識装置４は、左側の白線近似線Ｘ１に対し、
Ｘｓｌ＝ａｌ・Ｚｌ２＋ｂｌ・Ｚｌ＋ｃｌ＋ｌｉｎ＿Ｗｓｌ … （５）
を設定すると共に、右側の白線近似線Ｘｒに対し、
Ｘｓｒ＝ａｒ・Ｚｒ２＋ｂｒ・Ｚｒ＋ｃｒ−ｌｉｎ＿Ｗｓｒ … （６）
を設定する。
また、ステレオ画像認識装置４は、左側の白線近似線Ｘｌに対し、
Ｘｅｌ＝ａｌ・Ｚｌ２＋ｂｌ・Ｚｌ＋ｃｌ−ｌｉｎ＿Ｗｅｌ … （７）
を設定すると共に、右側の白線近似線Ｘｒに対し、
Ｘｅｒ＝ａｒ・Ｚｒ２＋ｂｒ・Ｚｒ＋ｃｒ＋ｌｉｎ＿Ｗｅｒ … （８）
を設定する。そして、ステレオ画像認識装置４は、実空間上において（５）式と（７）式とで囲まれた領域を画像上の座標系へ座標変換することで、左側の白線検出領域Ａｌとして設定し、（６）式と（８）式とで囲まれた領域を同様に画像上の座標系へ座標変換することで、右側の白線検出領域Ａｒとして設定する。
【００５９】
このような実施形態によれば、画像上の白線検出領域Ａ内で水平方向に延在する検索ラインＬ毎に車幅方向内側から外側に向けての輝度変化に基づいて検出した第１，第２エッジ点Ｐｅ１，Ｐｅ２からなる点群、または、第１エッジ点Ｐｅ１，または、第２エッジ点，Ｐｅ２の何れか一方からなる点群の近似直線Ｈを演算し、近似直線Ｈを基準とする候補点分類領域α内に占める第２エッジ点Ｐｅ２の割合が設定未満であるとき第１のパターンを判定して、候補点分類領域α内に存在するエッジ点Ｐｅを第１候補点Ｐｃ１として登録すると共に、候補点分類領域αよりも車幅方向外側に存在するエッジ点Ｐｅを第２候補点Ｐｃ２として登録し、一方、候補点分類領域α内に占める第２エッジ点Ｐｅ２の割合が設定以上であるとき第２のパターンを判定して、候補点分類領域α内に存在する各エッジ点Ｐｅを第２候補点Ｐｃ２として登録すると共に、候補点分類領域αよりも車幅方向内側に存在する各エッジ点Ｐｅを第１候補点Ｐｃ１として登録することにより、車線区画線の内側に補助線が存在する場合にも、各線に対応するエッジ点を短時間で且つ精度良く分類することができる。
【００６０】
この場合において、近似直線Ｈ上に存在するエッジ点Ｐｅの総数に対し、当該近似直線Ｈ上でエッジ点Ｐｅが設定割合を占めるまでの領域（すなわち、近似直線Ｈにエッジ点Ｐｅが追従すると見なすことができる領域）を第１の領域として設定し、上述の処理を、第１の領域に対して限定的に行うことにより、第１候補点Ｐｃ１と第２候補点Ｐｃ２との分類を精度良く実現することができる。
【００６１】
また、第１領域以遠の第２領域については、第１のパターンが判定されているときは、単独で存在する第１エッジ点Ｐｅ１を削除すると共に他の第１エッジ点Ｐｅ１を第１候補点Ｐｃ１として設定し、第２エッジ点Ｐｅ２を第２候補点として設定する一方、第２のパターンが判定されているときは、単独で存在する第１エッジ点Ｐｅ１を第２候補点Ｐｃ２として設定するとともに他の第１エッジ点Ｐｅ１を第１候補点Ｐｃ１として設定し、第２エッジ点Ｐｅ２を第２候補点Ｐｃ２として設定することにより、不確定なエッジ点を排除しつつ、第１，第２候補点Ｐｃ１，Ｐｃ２への分類を精度良く行うことができる。
【００６２】
なお、本実施例はステレオカメラについて記載したが、白線を認識可能なそうちであれば、モノラルカメラを含め、これに限定されるものではない。
【符号の説明】
【００６３】
１ …車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（候補点検出手段、直線近似手段、パターン判定手段、エッジ点分類手段、領域設定手段、第２のエッジ点分類手段、近似線演算手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ
【特許請求の範囲】
【請求項１】
自車走行路を撮像した画像上の白線検出領域内で水平方向に延在する検索ライン毎に車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明に所定以上変化する最初のエッジ点を第１エッジ点として検出するとともに、前記第１エッジ点よりも車幅方向外側にエッジ点が存在する場合には当該エッジ点を第２エッジ点として検出する候補点検出手段と、
前記第１エッジ点または、前記第２エッジ点の何れか一方、または、前記第１エッジ点、前記第２エッジ点双方からなる点群の近似直線を演算する直線近似手段と、
前記近似直線を基準とする帯状の候補点分類領域を設定し、当該候補点分類領域内に占める前記第２エッジ点の割合が設定未満であるとき第１のパターンを判定し、前記第２エッジ点の割合が設定以上であるとき第２のパターンを判定するパターン判定手段と、
前記第１のパターンが判定されているとき、前記候補点分類領域内に存在する前記各エッジ点を前記第１候補点として登録するとともに、前記候補点分類領域よりも車幅方向外側に存在する前記各エッジ点を第２候補点として登録し、前記第２のパターンが判定されているとき、前記候補点分類領域内に存在する前記各エッジ点を第２候補点として登録するとともに、前記候補点分類領域よりも車幅方向内側に存在する前記各エッジ点を第１候補点として登録するエッジ点分類手段と、を備えたことを特徴とする車両用白線認識装置。
【請求項２】
前記エッジ点分類手段は、前記第１のパターンが判定されているとき、前記候補点分類領域よりも車幅方向内側に存在する前記各エッジ点をノイズとして消去し、前記第２のパターンが判定されているとき、前記候補点分類領域よりも車幅方向外側に存在する前記各エッジ点をノイズとして消去することを特徴とする請求項１記載の車両用白線認識装置。
【請求項３】
前記近似直線上に存在する前記エッジ点の総数に対し、当該近似直線上で前記エッジ点が設定割合を占めるまでの領域を第１の領域として設定し、当該第１の領域以遠の領域を第２の領域として設定する領域設定手段を有し、
前記エッジ点分類手段は、前記第１の領域内に存在する前記各エッジ点に対する分類を行うことを特徴とする請求項１または請求項２に記載の車両用白線認識装置。
【請求項４】
前記第２の領域内に存在する前記各エッジ点を分類する第２のエッジ点分類手段を有し、
前記第２のエッジ点分類手段は、前記パターン判定手段で第１のパターンが判定されているとき、単独で存在する前記第１エッジ点を削除するとともに他の前記第１エッジ点を第１候補点として設定し、前記第２エッジ点を第２候補点として設定し、
前記パターン判定手段で第２のパターンが判定されているとき、単独で存在する前記第１エッジ点を第２候補点として設定するとともに他の前記第１エッジ点を第１候補点として設定し、前記第２エッジ点を第２候補点として設定することを特徴とする請求項３記載の車両用白線認識装置。
【請求項５】
前記第１候補点の点群に基づいて第１の近似線を演算し、前記各第１候補点に対する前記第１の近似線の近似誤差を演算するとともに、前記第２候補点の点群に基づいて第２の近似線を演算し、前記各第２候補点に対する前記第２の近似線の近似誤差を演算し、近似誤差が小さい何れか一方の近似線のパラメータに基づいて最終的な近似線のパラメータを設定する近似線演算手段を備えたことを特徴とする請求項１乃至請求項４の何れか１項に記載の車両用白線認識装置。
【請求項６】
前記近似線演算手段は、前記第１の近似線の近似誤差が小さい場合、当該第１の近似線を前記第２の近似線までオフセットさせることにより、最終的な近似線のパラメータを設定することを特徴とする請求項５に記載の車両用白線認識装置。
【請求項１】
自車走行路を撮像した画像上の白線検出領域内で水平方向に延在する検索ライン毎に車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明に所定以上変化する最初のエッジ点を第１エッジ点として検出するとともに、前記第１エッジ点よりも車幅方向外側にエッジ点が存在する場合には当該エッジ点を第２エッジ点として検出する候補点検出手段と、
前記第１エッジ点または、前記第２エッジ点の何れか一方、または、前記第１エッジ点、前記第２エッジ点双方からなる点群の近似直線を演算する直線近似手段と、
前記近似直線を基準とする帯状の候補点分類領域を設定し、当該候補点分類領域内に占める前記第２エッジ点の割合が設定未満であるとき第１のパターンを判定し、前記第２エッジ点の割合が設定以上であるとき第２のパターンを判定するパターン判定手段と、
前記第１のパターンが判定されているとき、前記候補点分類領域内に存在する前記各エッジ点を前記第１候補点として登録するとともに、前記候補点分類領域よりも車幅方向外側に存在する前記各エッジ点を第２候補点として登録し、前記第２のパターンが判定されているとき、前記候補点分類領域内に存在する前記各エッジ点を第２候補点として登録するとともに、前記候補点分類領域よりも車幅方向内側に存在する前記各エッジ点を第１候補点として登録するエッジ点分類手段と、を備えたことを特徴とする車両用白線認識装置。
【請求項２】
前記エッジ点分類手段は、前記第１のパターンが判定されているとき、前記候補点分類領域よりも車幅方向内側に存在する前記各エッジ点をノイズとして消去し、前記第２のパターンが判定されているとき、前記候補点分類領域よりも車幅方向外側に存在する前記各エッジ点をノイズとして消去することを特徴とする請求項１記載の車両用白線認識装置。
【請求項３】
前記近似直線上に存在する前記エッジ点の総数に対し、当該近似直線上で前記エッジ点が設定割合を占めるまでの領域を第１の領域として設定し、当該第１の領域以遠の領域を第２の領域として設定する領域設定手段を有し、
前記エッジ点分類手段は、前記第１の領域内に存在する前記各エッジ点に対する分類を行うことを特徴とする請求項１または請求項２に記載の車両用白線認識装置。
【請求項４】
前記第２の領域内に存在する前記各エッジ点を分類する第２のエッジ点分類手段を有し、
前記第２のエッジ点分類手段は、前記パターン判定手段で第１のパターンが判定されているとき、単独で存在する前記第１エッジ点を削除するとともに他の前記第１エッジ点を第１候補点として設定し、前記第２エッジ点を第２候補点として設定し、
前記パターン判定手段で第２のパターンが判定されているとき、単独で存在する前記第１エッジ点を第２候補点として設定するとともに他の前記第１エッジ点を第１候補点として設定し、前記第２エッジ点を第２候補点として設定することを特徴とする請求項３記載の車両用白線認識装置。
【請求項５】
前記第１候補点の点群に基づいて第１の近似線を演算し、前記各第１候補点に対する前記第１の近似線の近似誤差を演算するとともに、前記第２候補点の点群に基づいて第２の近似線を演算し、前記各第２候補点に対する前記第２の近似線の近似誤差を演算し、近似誤差が小さい何れか一方の近似線のパラメータに基づいて最終的な近似線のパラメータを設定する近似線演算手段を備えたことを特徴とする請求項１乃至請求項４の何れか１項に記載の車両用白線認識装置。
【請求項６】
前記近似線演算手段は、前記第１の近似線の近似誤差が小さい場合、当該第１の近似線を前記第２の近似線までオフセットさせることにより、最終的な近似線のパラメータを設定することを特徴とする請求項５に記載の車両用白線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１４３９８（Ｐ２０１２−１４３９８Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１４９８９６（Ｐ２０１０−１４９８９６）
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]