車両用白線認識装置
【課題】分岐路や路外のノイズ等が存在する場合にも自車走行路に対応する白線を精度良く認識することができる車両用白線認識装置を提供する。
【解決手段】ステレオ画像認識装置４は、左右の各白線検出領域Ａｌ，Ａｒ内で検出した白線候補点Ｐｃの各点群に基づいて左右の仮白線近似線ｘｔｌ，Ｘｔｒをそれぞれ演算してこれらの平行性を判定する。平行性が低いと判定したとき、予め設定した評価方法に基づいて左右何れか一方の仮白線近似線Ｘｔを正しい仮白線近似線として判定するとともに、他方を誤認識した仮白線近似線として判定し、正しいと判定した仮白線近似線Ｘｔを誤認識側にオフセットさせた仮白線近似線Ｘｇに基づいて候補点抽出領域αｅ１を設定する。そして、設定した候補点抽出領域αｅ１外の白線候補点Ｐｃを削除する。
【解決手段】ステレオ画像認識装置４は、左右の各白線検出領域Ａｌ，Ａｒ内で検出した白線候補点Ｐｃの各点群に基づいて左右の仮白線近似線ｘｔｌ，Ｘｔｒをそれぞれ演算してこれらの平行性を判定する。平行性が低いと判定したとき、予め設定した評価方法に基づいて左右何れか一方の仮白線近似線Ｘｔを正しい仮白線近似線として判定するとともに、他方を誤認識した仮白線近似線として判定し、正しいと判定した仮白線近似線Ｘｔを誤認識側にオフセットさせた仮白線近似線Ｘｇに基づいて候補点抽出領域αｅ１を設定する。そして、設定した候補点抽出領域αｅ１外の白線候補点Ｐｃを削除する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線の認識が行われ、この白線に基づいて自車走行レーンの推定が行われる。
【０００３】
ところで、実際の道路上の白線には、単一の車線区画線で構成される白線の他に、車線区画線の内側に破線等からなる視線誘導線（補助線）が併設された二重白線等の各種バリエーションが存在する。
【０００４】
そこで、この種の白線認識では、車線区画線のみならず補助線等の存在を十分に考慮する必要がある。このような白線認識についての技術として、例えば、特許文献１には、撮像画像上に設定された検索領域に対し、水平方向に延在する複数の検索ライン毎に、車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明へと所定以上変化する最初のエッジ点を検出し、検出した点群に対してハフ変換等を用いたノイズ除去を行うことにより、白線開始点の検出精度を向上する技術が開示されている。
【０００５】
このような技術によれば、ハフ変換等を行うことにより、基本的には実線を優先的に用いた白線認識が行われるため、精度良く白線を認識することが可能となる。すなわち、例えば、白線が車線区画線のみからなる単線である場合には、当該車線区画線に基づいて白線が認識される。また、例えば、白線が二重白線等である場合において、外側に位置する車線区画線が実線であっても、内側に位置する補助線が実線或いは実線に準ずる線（例えば、線分の間隔が比較的短い破線等）である場合には、主として内側に位置する補助線等に基づいて白線が認識される。一方、例えば、白線が二重白線等である場合において、外側に位置する車線区画線が実線であって、内側に位置する補助線が線分の間隔が比較的長い破線等である場合には、主として外側に位置する車線区画線に基づいて白線が認識される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２６４９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献１に開示された技術のように、道路上の実線或いは実線に準ずる線を優先的に用いて白線認識を行う技術においても、例外的に、自車走行路を規定する白線を精度良く認識することが困難な場合がある。
【０００８】
例えば、高速道路のインターチェンジ出口等の分岐路においては、分岐路を規定する車線区画線が実線で描かれる一方、自車走行路（本線）を規定する車線区画線が破線で描かれる場合が多く、このような場合、分岐路側の車線区画線を自車走行路の車線区画線として誤認識する虞がある。また、例えば、消えかかった白線よりも外側の路肩等に、残雪等が連続的に存在する場合、残雪等を車線区画線として誤認識する虞がある。
【０００９】
これに対処し、自車の車両状態量（例えば、自車両の操舵状態等）に基づいて自車走行路に適合する白線を選定することも考えられるが、このように自車の車両状態量に基づいて認識した白線は、車線逸脱防止機能等に対してはそもそもの意味をなさない。
【００１０】
本発明は上記事情に鑑みてなされたもので、分岐路や路外のノイズ等が存在する場合にも自車走行路に対応する白線を精度良く認識することができる車両用白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、自車走行路を撮像した画像上の左右の各白線検出領域内で水平方向に延在する検索ライン毎に車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点をそれぞれ白線候補点として検出する候補点検出手段と、前記各白線検出領域内で検出した前記白線候補点の各点群に基づいて左右の仮白線近似線をそれぞれ演算する仮近似線演算手段と、前記左右の仮白線近似線の平行性を判定する平行性判定手段と、前記平行性判定手段で平行性が低いと判定されたとき、予め設定した評価方法に基づいて、左右何れか一方の前記仮白線近似線を正しい仮白線近似線として判定し、他方を誤認識した仮白線近似線として判定する仮近似線評価手段と、前記仮近似線評価手段で正しいと判定された前記仮白線近似線をオフセットさせて誤認識側の候補点抽出領域を設定し、前記候補点抽出領域外の前記白線候補点を削除する候補点選定手段と、を備えたことを特徴とする。
【発明の効果】
【００１２】
本発明の車両用白線認識装置によれば、分岐路や路外のノイズ等が存在する場合にも自車走行路に対応する白線を精度良く認識することができる。
【図面の簡単な説明】
【００１３】
【図１】車両用運転支援装置の概略構成図
【図２】白線認識ルーチンを示すフローチャート
【図３】車外環境の撮像画像の一例を模式的に示す説明図
【図４】図３の画像から検出される白線候補点を示す説明図
【図５】検索ライン上における輝度の変化の一例を示す説明図
【図６】実空間に投影した白線候補点の一例を示す説明図
【図７】仮白線近似線の一例を示す説明図
【図８】道幅検出方法の一例を示す説明図
【図９】道幅検出方法の他の例を示す説明図
【図１０】白線候補点抽出領域の一例を示す説明図
【図１１】各白線候補点の点群に対するハフ直線の一例を示す説明図
【図１２】ハフ変換の演算方法を示す説明図
【図１３】ハフ空間を示す説明図
【図１４】最終的に認識される白線近似線の一例を示す説明図
【図１５】認識した白線に基づいて設定される白線検出領域を示す説明図
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は白線認識ルーチンを示すフローチャート、図３は車外環境の撮像画像の一例を模式的に示す説明図、図４は図３の画像から検出される白線候補点を示す説明図、図５は検索ライン上における輝度の変化の一例を示す説明図、図６は実空間に投影した白線候補点の一例を示す説明図、図７は仮白線近似線の一例を示す説明図、図８は道幅検出方法の一例を示す説明図、図９は道幅検出方法の他の例を示す説明図、図１０は白線候補点抽出領域の一例を示す説明図、図１１は各白線候補点の点群に対するハフ直線の一例を示す説明図、図１２はハフ変換の演算方法を示す説明図、図１３はハフ空間を示す説明図、図１４は最終的に認識される白線近似線の一例を示す説明図、図１５は認識した白線に基づいて設定される白線検出領域を示す説明図である。
【００１５】
図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。
【００１６】
また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。
【００１７】
ステレオカメラ３は、ステレオ光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。
【００１８】
ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して周知のグルーピング処理を行い、予め記憶しておいた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。
【００１９】
ここで、本実施形態において認識対象となる白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線等が併設された多重線（二重白線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、更に、黄色線等をも含む。
【００２０】
ところで、実際の道路上に敷設された白線には上述のように各種バリエーションが存在する他、白線の形態は走行路の分岐や合流等に伴って変化する。加えて、道路上には路面補修跡や、水溜まり、雪等の各種ノイズが存在する。従って、画一的な処理によって、全ての場面で精度良く白線を認識することは困難である。そこで、ステレオ画像認識装置４は、上述の距離画像に基づく白線認識のみに頼ることなく、各種方式を用いた白線認識を補完的に行い、これらの認識結果を複合的に判断して最終的な白線を認識する。
【００２１】
このような白線認識の一つとして、ステレオ画像認識装置４は、自車前方を撮像した一方の画像（例えば、図３に示す基準画像）上の水平方向の輝度変化に基づいて白線認識を行う。
【００２２】
具体的に説明すると、例えば、図４に示すように、ステレオ画像認識装置４は、画像上に左右の白線検出領域Ａｌ，Ａｒを設定し、各白線検出領域Ａｌ，Ａｒ内で水平方向に延在する複数の検索ラインＬに対し、検索ラインＬ毎に車幅方向内側から外側に向けて輝度変顔を調べる。そして、ステレオ画像認識装置４は、各白線検出領域Ａｌ，Ａｒ内の各検索ラインＬ上において、輝度が暗から明へと所定以上変化するエッジ点を白線候補点として検出する。ここで、各白線検出領域Ａｌ，Ａｒ内の各検索ラインＬ上で検出された白線候補点Ｐｃのうち、最初に検出された白線候補点Ｐｃ（すなわち、最も車幅方向内側の白線候補点Ｐｃ）が第１の候補点Ｐｃ１に分類され、以降、第２の候補点Ｐｃ２、第３の候補点Ｐｃ３…に分類される。
【００２３】
また、ステレオ画像認識装置４は、各白線検出領域Ａｌ，Ａｒ内で検出した白線候補点Ｐｃの左右の各点群に基づいて仮の白線近似線（仮白線近似線）Ｘｔｌ，Ｘｔｒをそれぞれ演算する。この場合、ステレオ画像認識装置４は、各白線検出領域Ａｌ，Ａｒにおいて、検出した全ての白線候補点Ｐｃに基づいて仮白線近似線Ｘｔｌ，Ｘｔｒを演算することも可能であるが、演算処理の簡素化や過剰なノイズの混入防止等を図るため、各点群から抽出した第１の候補点Ｐｃ１のみに基づいて仮白線近似線Ｘｔｌ，Ｘｔｒを演算することが好ましい。なお、この仮白線候補点Ｘｔｌ，Ｘｔｒの演算は、前フレームで検出した白線候補点Ｐｃの各点群に対して行うものであっても良い。
【００２４】
また、ステレオ画像認識装置４は、演算した左右の仮白線近似線Ｘｔｌ，Ｘｔｒの平行性を判定する。そして、ステレオ画像認識装置４は、仮白線近似線Ｘｔｌ，Ｘｔｒの平行性が低いと判定したとき、予め設定した評価方法に基づいて、左右何れか一方の仮白線近似線Ｘｔを正しい仮白線近似線として判定し、他方を誤認識した仮白線近似線Ｘｔとして判定する。さらに、ステレオ画像認識装置４は、正しいと判定された仮白線近似線を誤認識側にオフセットさせ、当該オフセットさせた仮白線近似線Ｘｇに基づいて誤認識側に候補点抽出領域αｅ１を設定し、当該候補点抽出領域αｅ１外の白線候補点Ｐｃをノイズとして削除する。
【００２５】
そして、このように仮白線近似線Ｘｔｌ，Ｘｔｒの平行性が低いと判定して誤認識側の点群から白線候補点Ｐｃのノイズが削除された場合、ステレオ画像認識装置４は、正しいと判定した側については白線検出領域Ａで検出した白線候補点Ｐｃの点群をそのまま用いるとともに、誤認識側についてはノイズを除去した後の白線候補点Ｐｃの各点群を用いて、最終的な白線近似線Ｘｌ，Ｘｒを演算する。一方、左右の仮白線近似線Ｘｔｌ，Ｘｔｒの平行性が高いと判定した場合、ステレオ画像認識装置４は、各白線検出領域Ａｌ，Ａｒで検出した白線候補点Ｐｃの各点群をそのまま用いて最終的な白線近似線Ｘｌ，Ｘｒを演算する。
【００２６】
このように、本実施形態において、ステレオ画像認識装置４は、候補点検出手段、仮近似線演算手段、平行性判定手段、仮近似線評価手段、及び、候補点選定手段としての各機能を実現する。
【００２７】
なお、ステレオ画像認識装置４は、その他の種々の方法によって白線認識を行うことが可能となっている。そして、ステレオ画像認識装置４は、例えば、各白線認識において認識した白線の近似線と当該認識に用いられたエッジ点等の白線候補点との関係（例えば、近似線に対する白線候補点の分散等）に基づき、認識した各近似線の中から最も適切な近似線を選択し、当該近似線を最終的な白線の近似線として制御ユニット５に出力する。
【００２８】
制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。
【００２９】
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に追従対象の先行車が走行しているか否かを識別する。
【００３０】
その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。
【００３１】
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
【００３２】
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線の近似線）に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
【００３３】
次に、ステレオ画像認識装置４において実行される、基準画像上の輝度変化に基づく白線認識について、図２に示す白線認識ルーチンのフローチャートに従って説明する。なお、本ルーチンによる処理は、左右の白線検出領域Ａｌ，Ａｒそれぞれに対して同様の処理が個別に行われるものであるが、説明を簡略化するため、以下の説明において特に必要な場合を除き、例えば白線検出領域Ａｌ，Ａｒを総称して白線検出領域Ａと標記する等、左右の属性を示す添字”ｌ”及び”ｒ”を適宜省略して説明する。
【００３４】
このルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、例えば、前フレームの画像に対するステップＳ１０８の処理で設定された白線検出領域Ａ内の各検索ラインＬ毎に、白線候補点Ｐｃの検出を行う。具体的には、例えば、図５に示すように、ステレオ画像認識装置４は、車幅方向内側から外側に向けて、各検索ラインＬ上でのエッジ検出を行い、車幅方向外側の画素が内側の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点Ｐｅ（＋））を検出するとともに、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値がマイナス側の設定閾値以下となる点（エッジ点Ｐｅ（−））を検出する。そして、ステレオ画像認識装置４は、白線検出領域Ａ内の各検索ラインＬ上において、エッジ点Ｐｅ（−）と対をなすエッジ点Ｐｅ（＋）を、車幅方向内側から順に、白線候補点Ｐｃとして検出する。ここで、上述のように、白線検出領域Ａ内の各検索ラインＬ上において、最初に検出された白線候補点Ｐｃが第１の候補点Ｐｃ１に分類され、以降、順に、第１の候補点Ｐｃ２、第３の候補点Ｐｃ３、…、に分類される。なお、図４，６等においては、説明を簡略化するため検索ラインＬ及び各白線候補点Ｐｃ等が所定に間引かれて表示されている。
【００３５】
続くステップＳ１０２において、ステレオ画像認識装置４は、例えば、左右の白線候補点Ｐｃの各点群から第１の候補点Ｐｃ１をそれぞれ抽出し、抽出した各第１の候補点Ｐｃ１に基づいて、以下の（１）、（２）式に示す二次の最小自乗法を用いた仮白線近似線Ｘｔｌ，Ｘｔｒを演算する（図７参照）。
Ｘｔｌ＝ａｔ１・Ｚ２＋ｂｔ１・Ｚ＋ｃｔ１ … （１）
Ｘｔｒ＝ａｔ２・Ｚ２＋ｂｔ２・Ｚ＋ｃｔ２ … （２）
ここで、（１）、（２）式においてａｔ１，ａｔ２、ｂｔ１，ｂｔ２、及び、ｃｔ１，ｃｔ２は最小自乗法によって求められるパラメータを示す。
【００３６】
ステップＳ１０２からステップＳ１０３に進むと、ステレオ画像認識装置４は、演算した左右の仮白線近似線Ｘｔｌ，Ｘｔｒの平行性を判定する。具体的には、例えば、図８に示すように、自車遠方と近傍と設定距離Ｄａ，Ｄｂにおける左右の仮白線近似線Ｘｔｌ，Ｘｔｒの幅Ｗａ，Ｗｂを求め、以下の（３）式を用いて判定値Ｅｐを演算する。
Ｅｐ＝（Ｗａ−Ｗｂ＋Ｄａ−Ｄｂ）／（Ｄａ−Ｄｂ） … （３）
そして、ステレオ画像認識装置４は、演算した判定値Ｅｐが予め設定された閾値Ｅｐｔｈ以上であるとき、左右の仮白線近似線Ｘｔｌ，Ｘｔｒの平行性が低い（すなわち、仮白線近似線Ｘｔｌ，Ｘｔｒが遠方で広がっている）と判定する。
【００３７】
ここで、例えば、左右の各第１の候補点Ｐｃ１に対する仮白線近似線Ｘｔｌ，Ｘｔｒの近似誤差（例えば、近似誤差平均、近似平均の差等）が設定値以上である場合、例えば、図９に示すように、自車遠方と近傍の設定領域Ａ１，Ａ２において、各第１の候補点Ｐｃ１を一次の最小自乗法を用いた直線でそれぞれ近似し、各近似直線に基づいて幅Ｗａ，Ｗｂを求めることも可能である。
【００３８】
続くステップ１０４において、ステレオ画像認識装置４は、ステップＳ１０３で判定した仮白線近似線Ｘｔｌ，Ｘｔｒの平行性を参照し、平行性が低いと判定した場合にはステップＳ１０５に進み、平行性が高いと判定した場合にはステップＳ１０７に進む。
【００３９】
ステップＳ１０４からステップＳ１０５に進むと、ステレオ画像認識装置４は、左右の仮白線近似線Ｘｔｌ，Ｘｔｒのうち、誤認識した側の仮白線近似線Ｘｔ（すなわち、平行性を損なう主要因となった側の仮白線近似線Ｘｔ）の判定を行う。具体的に説明すると、ステレオ画像認識装置４は、左右の各第１の候補点Ｐｃ１に対する仮白線近似線Ｘｔｌ，Ｘｔｒの近似誤差を調べ、近似誤差の小さい何れか一方の仮白線近似線Ｘｔを正しい仮白線近似線として判定し、近似誤差の大きい他方の仮白線近似線Ｘｔを誤認識した仮白線近似線として判定する。但し、左右の各近似誤差が何れも予め設定した閾値未満である場合、ステレオ画像認識装置４は、ステップＳ１０１で第２の候補点Ｐｃ２を多く検出している側を、自車線を規定する白線以外のノイズをより多く検出している可能性が高い側とみなし、誤認識側と判定する。
【００４０】
そして、ステップＳ１０５からステップＳ１０６に進むと、ステレオ画像認識装置４は、正しいと判定した側の仮白線近似線Ｘｔに基づいて、誤認識側の白線候補点Ｐｃを選定する。具体的に説明すると、ステレオ画像認識装置４は、正しいと判定した側の仮白線近似線Ｘｔを、自車走行路の道幅Ｗｂ分だけ誤認識側にオフセットさせ、当該オフセットさせた仮白線近似線Ｘｇを基準とする両側所定幅α１内の領域を候補点抽出領域αｅ１として設定する。例えば、図１０に示すように、右側の仮白線近似線Ｘｔｒが正しいと判定されている場合、ステレオ画像認識装置４は、以下の（４）式を用いて仮白線近似線Ｘｔｒをオフセットさせた仮白線近似線Ｘｇを演算する。
Ｘｇ＝ａ２・Ｚ２＋ｂ２・Ｚ＋ｃ２−Ｗｂ … （４）
そして、ステレオ画像認識装置４は、例えば、以下の（５）、（６）式を用いて候補点抽出領域αｅ１を基底する各境界線Ｘｓ，Ｘｅを演算する。
Ｘｓ＝Ｘｇ＋α１ … （５）
Ｘｅ＝Ｘｇ−α１ … （６）
ここで、（４）式に用いられる道幅Ｗｂとしては、例えば、前フレームで過去に検出された道幅Ｗ＿ｏｌｄ等を好適に用いることが可能である。なお、左側の仮白線近似線Ｘｔｌが正しいと判定されている場合、上述の（４）〜（６）式において、Ｗｂ及びα１の加減算が逆転する。
【００４１】
さらに、ステレオ画像認識装置４は、誤認識側について、候補点抽出領域αｅ１外の白線候補点Ｐｃをノイズとして削除した後、ステップＳ１０７に進む。
【００４２】
ステップＳ１０４、或いは、ステップＳ１０６からステップＳ１０７に進むと、ステレオ画像認識装置４は、残存している左右の白線候補点Ｐｃの各点群に基づいて最終的な白線近似線Ｘｌ，Ｘｒを演算する。具体的に説明すると、ステレオ画像認識装置４は、先ず、白線候補点Ｐｃの各点群に基づいて白線の近似直線をそれぞれ演算する。すなわち、ステレオ画像認識装置４は、例えば、図１２に示すように、点群を構成する各白線候補点Ｐｃそれぞれに対し、点Ｐｃ（ｘ，ｚ）を通る直線ｈの傾きθを０°から１８０°まで所定の角度Δθ毎変化させ、以下の（７）式に基づいて、各θにおける原点Ｏから直線ｈまでの距離（垂線の長さ）ρを求める。
ρ＝ｘ・ｃｏｓθ＋ｚ・ｓｉｎθ … （７）
そして、ステレオ画像認識装置４は、各点Ｐｃについて求めたθとρの関係を、例えば、図１３に示すハフ平面（θ，ρ）上の該当箇所に度数として投票（投影）する。さらに、ステレオ画像認識装置４は、ハフ平面（θ，ρ）上の度数が最も大きくなるθとρの組合せを抽出し、当該θとρを用いて（７）式で規定される近似直線（ハフ直線）Ｈを点群の近似式として設定する（図１１参照）。
【００４３】
さらに、ステレオ画像認識装置４は、近似直線Ｈを基準とする帯状の領域を候補点分類領域αｅ２として設定する。すなわち、ステレオ画像認識装置４は、近似直線Ｈを車幅方向内側及び外側にα２だけ平行移動して形成された領域を候補点分類領域αｅ２として設定する（図１１参照）。ここで、α２としては、例えば、前フレームで検出した白線の幅の半分の長さを画面上の画素数に変換して用いることが望ましい。
【００４４】
そして、ステレオ画像認識装置４は、設定した候補点分類領域αｅ２外に存在する白線候補点Ｐｃをノイズとして削除した後、残存している左右の白線候補点Ｐｃの各点群に基づいて、以下の（８）、（９）式に示す二次の最小自乗法を用いた白線近似線Ｘｌ，Ｘｒを演算する（図１４参照）。
Ｘｌ＝ａ１・Ｚ２＋ｂ１・Ｚ＋ｃ１ … （８）
Ｘｒ＝ａ２・Ｚ２＋ｂ２・Ｚ＋ｃ２ … （９）
ここで、（８）、（９）式においてａ１，ａ２、ｂ１，ｂ２、及び、ｃ１，ｃ２は最小自乗法によって求められるパラメータを示す。
【００４５】
ステップＳ１０７からステップＳ１０８に進むと、ステレオ画像認識装置４は、ステップＳ１０７で演算した白線の近似線に基づき、次フレームで使用する白線検出領域Ａを設定した後、ルーチンを抜ける。すなわち、ステップＳ１０８において、ステレオ画像認識装置４は、例えば、図１５に示すように、ステップＳ１０７で演算した左右の白線近似線Ｘｌ，Ｘｒに対し、（１０）〜（１３）式に示すように、それぞれ実空間上で、ｌｉｎ＿ｗｓ［ｍ］だけ車幅方向にオフセットした線Ｘｓｌ，Ｘｓｒと、ｌｉｎ＿ｗｒ［ｍ］だけ車幅方向外側にオフセットした線Ｘｅｌ，Ｘｅｒを設定する。
【００４６】
すなわち、ステレオ画像認識装置４は、左側の白線近似線Ｘ１に対し、
Ｘｓｌ＝ａｌ・Ｚｌ２＋ｂｌ・Ｚｌ＋ｃｌ＋ｌｉｎ＿Ｗｓｌ … （１０）
を設定すると共に、右側の白線近似線Ｘｒに対し、
Ｘｓｒ＝ａｒ・Ｚｒ２＋ｂｒ・Ｚｒ＋ｃｒ−ｌｉｎ＿Ｗｓｒ … （１１）
を設定する。
また、ステレオ画像認識装置４は、左側の白線近似線Ｘｌに対し、
Ｘｅｌ＝ａｌ・Ｚｌ２＋ｂｌ・Ｚｌ＋ｃｌ−ｌｉｎ＿Ｗｅｌ … （１２）
を設定すると共に、右側の白線近似線Ｘｒに対し、
Ｘｅｒ＝ａｒ・Ｚｒ２＋ｂｒ・Ｚｒ＋ｃｒ＋ｌｉｎ＿Ｗｅｒ … （１３）
を設定する。そして、ステレオ画像認識装置４は、実空間上において（１０）式と（１２）式とで囲まれた領域を画像上の座標系へ座標変換することで、左側の白線検出領域Ａｌとして設定し、（１１）式と（１３）式とで囲まれた領域を同様に画像上の座標系へ座標変換することで、右側の白線検出領域Ａｒとして設定する。
【００４７】
このような実施形態によれば、左右の各白線検出領域Ａｌ，Ａｒ内で検出した白線候補点Ｐｃの各点群に基づいて左右の仮白線近似線ｘｔｌ，Ｘｔｒをそれぞれ演算してこれらの平行性を判定し、平行性が低いと判定したとき、予め設定した評価方法に基づいて左右何れか一方の仮白線近似線Ｘｔを正しい仮白線近似線として判定するとともに、他方を誤認識した仮白線近似線として判定し、正しいと判定した仮白線近似線Ｘｔを誤認識側にオフセットさせた仮白線近似線Ｘｇに基づいて候補点抽出領域αｅ１を設定し、設定した候補点抽出領域αｅ１外の白線候補点Ｐｃを削除することにより、分岐路や路外のノイズ等が存在する場合にも自車走行路に対応する白線を精度良く認識することができる。
【００４８】
すなわち、自車走行路を規定する左右の白線は基本的には略平行に敷設されており、しかも、自車走行路の左右方向に同時に分岐路等が存在することは非常に希であることに着目し、左右の仮白線近似線Ｘｔｌ，Ｘｔｒの平行性が低い場合には、何れか一方の仮白線近似線が正しく、他方が誤認識であると判定することにより、分岐路に沿う白線等を自車走行路の白線として誤認識することを防止できる。その上で、正しいと判定した仮白線近似線Ｘｔを誤認識側にオフセットさせ、オフセットさせた仮白線近似線Ｘｇに基づいて設定した候補点抽出領域αｅ１外の白線候補点Ｐｃをノイズとして削除することにより、実際の自車走行路に沿う白線候補点Ｐｃを好適に抽出することができる。
【００４９】
この場合において、左右の白線候補点Ｐｃの各点群に対し、二次の最小自乗法を用いて仮白線近似線Ｘｔｌ，Ｘｔｒを演算し、自車遠方と近傍の設定距離における左右の仮白線近似線Ｘｔｌ，Ｘｔｒ間の幅の変化に基づいて平行性を判定することにより、簡単な演算で平行性の判定を行うことができる。
【００５０】
また、二次の最小自乗法を用いた仮白線近似線Ｘｔｌ，Ｘｔｒの近似誤差が大きい場合には、自車前方の設定領域Ａ１，Ａ２毎に白線候補点Ｐｃの各点群を一次の最小自乗法を用いて近似して平行性の判定を行うことにより、白線候補点Ｐｃが各点群中で分散している場合にも判定精度を維持することができる。
【００５１】
なお、上述の実施形態はステレオ画像処理を例にとり説明したが、本願発明は、これに限定されるものではなく、例えば、単眼のカメラによる白線認識においても適用が可能である。
【符号の説明】
【００５２】
１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（候補点検出手段、仮近似線演算手段、平行性判定手段、仮近似線評価手段、候補点選定手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ
【技術分野】
【０００１】
本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線の認識が行われ、この白線に基づいて自車走行レーンの推定が行われる。
【０００３】
ところで、実際の道路上の白線には、単一の車線区画線で構成される白線の他に、車線区画線の内側に破線等からなる視線誘導線（補助線）が併設された二重白線等の各種バリエーションが存在する。
【０００４】
そこで、この種の白線認識では、車線区画線のみならず補助線等の存在を十分に考慮する必要がある。このような白線認識についての技術として、例えば、特許文献１には、撮像画像上に設定された検索領域に対し、水平方向に延在する複数の検索ライン毎に、車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明へと所定以上変化する最初のエッジ点を検出し、検出した点群に対してハフ変換等を用いたノイズ除去を行うことにより、白線開始点の検出精度を向上する技術が開示されている。
【０００５】
このような技術によれば、ハフ変換等を行うことにより、基本的には実線を優先的に用いた白線認識が行われるため、精度良く白線を認識することが可能となる。すなわち、例えば、白線が車線区画線のみからなる単線である場合には、当該車線区画線に基づいて白線が認識される。また、例えば、白線が二重白線等である場合において、外側に位置する車線区画線が実線であっても、内側に位置する補助線が実線或いは実線に準ずる線（例えば、線分の間隔が比較的短い破線等）である場合には、主として内側に位置する補助線等に基づいて白線が認識される。一方、例えば、白線が二重白線等である場合において、外側に位置する車線区画線が実線であって、内側に位置する補助線が線分の間隔が比較的長い破線等である場合には、主として外側に位置する車線区画線に基づいて白線が認識される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２６４９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献１に開示された技術のように、道路上の実線或いは実線に準ずる線を優先的に用いて白線認識を行う技術においても、例外的に、自車走行路を規定する白線を精度良く認識することが困難な場合がある。
【０００８】
例えば、高速道路のインターチェンジ出口等の分岐路においては、分岐路を規定する車線区画線が実線で描かれる一方、自車走行路（本線）を規定する車線区画線が破線で描かれる場合が多く、このような場合、分岐路側の車線区画線を自車走行路の車線区画線として誤認識する虞がある。また、例えば、消えかかった白線よりも外側の路肩等に、残雪等が連続的に存在する場合、残雪等を車線区画線として誤認識する虞がある。
【０００９】
これに対処し、自車の車両状態量（例えば、自車両の操舵状態等）に基づいて自車走行路に適合する白線を選定することも考えられるが、このように自車の車両状態量に基づいて認識した白線は、車線逸脱防止機能等に対してはそもそもの意味をなさない。
【００１０】
本発明は上記事情に鑑みてなされたもので、分岐路や路外のノイズ等が存在する場合にも自車走行路に対応する白線を精度良く認識することができる車両用白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、自車走行路を撮像した画像上の左右の各白線検出領域内で水平方向に延在する検索ライン毎に車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点をそれぞれ白線候補点として検出する候補点検出手段と、前記各白線検出領域内で検出した前記白線候補点の各点群に基づいて左右の仮白線近似線をそれぞれ演算する仮近似線演算手段と、前記左右の仮白線近似線の平行性を判定する平行性判定手段と、前記平行性判定手段で平行性が低いと判定されたとき、予め設定した評価方法に基づいて、左右何れか一方の前記仮白線近似線を正しい仮白線近似線として判定し、他方を誤認識した仮白線近似線として判定する仮近似線評価手段と、前記仮近似線評価手段で正しいと判定された前記仮白線近似線をオフセットさせて誤認識側の候補点抽出領域を設定し、前記候補点抽出領域外の前記白線候補点を削除する候補点選定手段と、を備えたことを特徴とする。
【発明の効果】
【００１２】
本発明の車両用白線認識装置によれば、分岐路や路外のノイズ等が存在する場合にも自車走行路に対応する白線を精度良く認識することができる。
【図面の簡単な説明】
【００１３】
【図１】車両用運転支援装置の概略構成図
【図２】白線認識ルーチンを示すフローチャート
【図３】車外環境の撮像画像の一例を模式的に示す説明図
【図４】図３の画像から検出される白線候補点を示す説明図
【図５】検索ライン上における輝度の変化の一例を示す説明図
【図６】実空間に投影した白線候補点の一例を示す説明図
【図７】仮白線近似線の一例を示す説明図
【図８】道幅検出方法の一例を示す説明図
【図９】道幅検出方法の他の例を示す説明図
【図１０】白線候補点抽出領域の一例を示す説明図
【図１１】各白線候補点の点群に対するハフ直線の一例を示す説明図
【図１２】ハフ変換の演算方法を示す説明図
【図１３】ハフ空間を示す説明図
【図１４】最終的に認識される白線近似線の一例を示す説明図
【図１５】認識した白線に基づいて設定される白線検出領域を示す説明図
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は白線認識ルーチンを示すフローチャート、図３は車外環境の撮像画像の一例を模式的に示す説明図、図４は図３の画像から検出される白線候補点を示す説明図、図５は検索ライン上における輝度の変化の一例を示す説明図、図６は実空間に投影した白線候補点の一例を示す説明図、図７は仮白線近似線の一例を示す説明図、図８は道幅検出方法の一例を示す説明図、図９は道幅検出方法の他の例を示す説明図、図１０は白線候補点抽出領域の一例を示す説明図、図１１は各白線候補点の点群に対するハフ直線の一例を示す説明図、図１２はハフ変換の演算方法を示す説明図、図１３はハフ空間を示す説明図、図１４は最終的に認識される白線近似線の一例を示す説明図、図１５は認識した白線に基づいて設定される白線検出領域を示す説明図である。
【００１５】
図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。
【００１６】
また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。
【００１７】
ステレオカメラ３は、ステレオ光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。
【００１８】
ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して周知のグルーピング処理を行い、予め記憶しておいた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。
【００１９】
ここで、本実施形態において認識対象となる白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線等が併設された多重線（二重白線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、更に、黄色線等をも含む。
【００２０】
ところで、実際の道路上に敷設された白線には上述のように各種バリエーションが存在する他、白線の形態は走行路の分岐や合流等に伴って変化する。加えて、道路上には路面補修跡や、水溜まり、雪等の各種ノイズが存在する。従って、画一的な処理によって、全ての場面で精度良く白線を認識することは困難である。そこで、ステレオ画像認識装置４は、上述の距離画像に基づく白線認識のみに頼ることなく、各種方式を用いた白線認識を補完的に行い、これらの認識結果を複合的に判断して最終的な白線を認識する。
【００２１】
このような白線認識の一つとして、ステレオ画像認識装置４は、自車前方を撮像した一方の画像（例えば、図３に示す基準画像）上の水平方向の輝度変化に基づいて白線認識を行う。
【００２２】
具体的に説明すると、例えば、図４に示すように、ステレオ画像認識装置４は、画像上に左右の白線検出領域Ａｌ，Ａｒを設定し、各白線検出領域Ａｌ，Ａｒ内で水平方向に延在する複数の検索ラインＬに対し、検索ラインＬ毎に車幅方向内側から外側に向けて輝度変顔を調べる。そして、ステレオ画像認識装置４は、各白線検出領域Ａｌ，Ａｒ内の各検索ラインＬ上において、輝度が暗から明へと所定以上変化するエッジ点を白線候補点として検出する。ここで、各白線検出領域Ａｌ，Ａｒ内の各検索ラインＬ上で検出された白線候補点Ｐｃのうち、最初に検出された白線候補点Ｐｃ（すなわち、最も車幅方向内側の白線候補点Ｐｃ）が第１の候補点Ｐｃ１に分類され、以降、第２の候補点Ｐｃ２、第３の候補点Ｐｃ３…に分類される。
【００２３】
また、ステレオ画像認識装置４は、各白線検出領域Ａｌ，Ａｒ内で検出した白線候補点Ｐｃの左右の各点群に基づいて仮の白線近似線（仮白線近似線）Ｘｔｌ，Ｘｔｒをそれぞれ演算する。この場合、ステレオ画像認識装置４は、各白線検出領域Ａｌ，Ａｒにおいて、検出した全ての白線候補点Ｐｃに基づいて仮白線近似線Ｘｔｌ，Ｘｔｒを演算することも可能であるが、演算処理の簡素化や過剰なノイズの混入防止等を図るため、各点群から抽出した第１の候補点Ｐｃ１のみに基づいて仮白線近似線Ｘｔｌ，Ｘｔｒを演算することが好ましい。なお、この仮白線候補点Ｘｔｌ，Ｘｔｒの演算は、前フレームで検出した白線候補点Ｐｃの各点群に対して行うものであっても良い。
【００２４】
また、ステレオ画像認識装置４は、演算した左右の仮白線近似線Ｘｔｌ，Ｘｔｒの平行性を判定する。そして、ステレオ画像認識装置４は、仮白線近似線Ｘｔｌ，Ｘｔｒの平行性が低いと判定したとき、予め設定した評価方法に基づいて、左右何れか一方の仮白線近似線Ｘｔを正しい仮白線近似線として判定し、他方を誤認識した仮白線近似線Ｘｔとして判定する。さらに、ステレオ画像認識装置４は、正しいと判定された仮白線近似線を誤認識側にオフセットさせ、当該オフセットさせた仮白線近似線Ｘｇに基づいて誤認識側に候補点抽出領域αｅ１を設定し、当該候補点抽出領域αｅ１外の白線候補点Ｐｃをノイズとして削除する。
【００２５】
そして、このように仮白線近似線Ｘｔｌ，Ｘｔｒの平行性が低いと判定して誤認識側の点群から白線候補点Ｐｃのノイズが削除された場合、ステレオ画像認識装置４は、正しいと判定した側については白線検出領域Ａで検出した白線候補点Ｐｃの点群をそのまま用いるとともに、誤認識側についてはノイズを除去した後の白線候補点Ｐｃの各点群を用いて、最終的な白線近似線Ｘｌ，Ｘｒを演算する。一方、左右の仮白線近似線Ｘｔｌ，Ｘｔｒの平行性が高いと判定した場合、ステレオ画像認識装置４は、各白線検出領域Ａｌ，Ａｒで検出した白線候補点Ｐｃの各点群をそのまま用いて最終的な白線近似線Ｘｌ，Ｘｒを演算する。
【００２６】
このように、本実施形態において、ステレオ画像認識装置４は、候補点検出手段、仮近似線演算手段、平行性判定手段、仮近似線評価手段、及び、候補点選定手段としての各機能を実現する。
【００２７】
なお、ステレオ画像認識装置４は、その他の種々の方法によって白線認識を行うことが可能となっている。そして、ステレオ画像認識装置４は、例えば、各白線認識において認識した白線の近似線と当該認識に用いられたエッジ点等の白線候補点との関係（例えば、近似線に対する白線候補点の分散等）に基づき、認識した各近似線の中から最も適切な近似線を選択し、当該近似線を最終的な白線の近似線として制御ユニット５に出力する。
【００２８】
制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。
【００２９】
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に追従対象の先行車が走行しているか否かを識別する。
【００３０】
その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。
【００３１】
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
【００３２】
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線の近似線）に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
【００３３】
次に、ステレオ画像認識装置４において実行される、基準画像上の輝度変化に基づく白線認識について、図２に示す白線認識ルーチンのフローチャートに従って説明する。なお、本ルーチンによる処理は、左右の白線検出領域Ａｌ，Ａｒそれぞれに対して同様の処理が個別に行われるものであるが、説明を簡略化するため、以下の説明において特に必要な場合を除き、例えば白線検出領域Ａｌ，Ａｒを総称して白線検出領域Ａと標記する等、左右の属性を示す添字”ｌ”及び”ｒ”を適宜省略して説明する。
【００３４】
このルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、例えば、前フレームの画像に対するステップＳ１０８の処理で設定された白線検出領域Ａ内の各検索ラインＬ毎に、白線候補点Ｐｃの検出を行う。具体的には、例えば、図５に示すように、ステレオ画像認識装置４は、車幅方向内側から外側に向けて、各検索ラインＬ上でのエッジ検出を行い、車幅方向外側の画素が内側の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点Ｐｅ（＋））を検出するとともに、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値がマイナス側の設定閾値以下となる点（エッジ点Ｐｅ（−））を検出する。そして、ステレオ画像認識装置４は、白線検出領域Ａ内の各検索ラインＬ上において、エッジ点Ｐｅ（−）と対をなすエッジ点Ｐｅ（＋）を、車幅方向内側から順に、白線候補点Ｐｃとして検出する。ここで、上述のように、白線検出領域Ａ内の各検索ラインＬ上において、最初に検出された白線候補点Ｐｃが第１の候補点Ｐｃ１に分類され、以降、順に、第１の候補点Ｐｃ２、第３の候補点Ｐｃ３、…、に分類される。なお、図４，６等においては、説明を簡略化するため検索ラインＬ及び各白線候補点Ｐｃ等が所定に間引かれて表示されている。
【００３５】
続くステップＳ１０２において、ステレオ画像認識装置４は、例えば、左右の白線候補点Ｐｃの各点群から第１の候補点Ｐｃ１をそれぞれ抽出し、抽出した各第１の候補点Ｐｃ１に基づいて、以下の（１）、（２）式に示す二次の最小自乗法を用いた仮白線近似線Ｘｔｌ，Ｘｔｒを演算する（図７参照）。
Ｘｔｌ＝ａｔ１・Ｚ２＋ｂｔ１・Ｚ＋ｃｔ１ … （１）
Ｘｔｒ＝ａｔ２・Ｚ２＋ｂｔ２・Ｚ＋ｃｔ２ … （２）
ここで、（１）、（２）式においてａｔ１，ａｔ２、ｂｔ１，ｂｔ２、及び、ｃｔ１，ｃｔ２は最小自乗法によって求められるパラメータを示す。
【００３６】
ステップＳ１０２からステップＳ１０３に進むと、ステレオ画像認識装置４は、演算した左右の仮白線近似線Ｘｔｌ，Ｘｔｒの平行性を判定する。具体的には、例えば、図８に示すように、自車遠方と近傍と設定距離Ｄａ，Ｄｂにおける左右の仮白線近似線Ｘｔｌ，Ｘｔｒの幅Ｗａ，Ｗｂを求め、以下の（３）式を用いて判定値Ｅｐを演算する。
Ｅｐ＝（Ｗａ−Ｗｂ＋Ｄａ−Ｄｂ）／（Ｄａ−Ｄｂ） … （３）
そして、ステレオ画像認識装置４は、演算した判定値Ｅｐが予め設定された閾値Ｅｐｔｈ以上であるとき、左右の仮白線近似線Ｘｔｌ，Ｘｔｒの平行性が低い（すなわち、仮白線近似線Ｘｔｌ，Ｘｔｒが遠方で広がっている）と判定する。
【００３７】
ここで、例えば、左右の各第１の候補点Ｐｃ１に対する仮白線近似線Ｘｔｌ，Ｘｔｒの近似誤差（例えば、近似誤差平均、近似平均の差等）が設定値以上である場合、例えば、図９に示すように、自車遠方と近傍の設定領域Ａ１，Ａ２において、各第１の候補点Ｐｃ１を一次の最小自乗法を用いた直線でそれぞれ近似し、各近似直線に基づいて幅Ｗａ，Ｗｂを求めることも可能である。
【００３８】
続くステップ１０４において、ステレオ画像認識装置４は、ステップＳ１０３で判定した仮白線近似線Ｘｔｌ，Ｘｔｒの平行性を参照し、平行性が低いと判定した場合にはステップＳ１０５に進み、平行性が高いと判定した場合にはステップＳ１０７に進む。
【００３９】
ステップＳ１０４からステップＳ１０５に進むと、ステレオ画像認識装置４は、左右の仮白線近似線Ｘｔｌ，Ｘｔｒのうち、誤認識した側の仮白線近似線Ｘｔ（すなわち、平行性を損なう主要因となった側の仮白線近似線Ｘｔ）の判定を行う。具体的に説明すると、ステレオ画像認識装置４は、左右の各第１の候補点Ｐｃ１に対する仮白線近似線Ｘｔｌ，Ｘｔｒの近似誤差を調べ、近似誤差の小さい何れか一方の仮白線近似線Ｘｔを正しい仮白線近似線として判定し、近似誤差の大きい他方の仮白線近似線Ｘｔを誤認識した仮白線近似線として判定する。但し、左右の各近似誤差が何れも予め設定した閾値未満である場合、ステレオ画像認識装置４は、ステップＳ１０１で第２の候補点Ｐｃ２を多く検出している側を、自車線を規定する白線以外のノイズをより多く検出している可能性が高い側とみなし、誤認識側と判定する。
【００４０】
そして、ステップＳ１０５からステップＳ１０６に進むと、ステレオ画像認識装置４は、正しいと判定した側の仮白線近似線Ｘｔに基づいて、誤認識側の白線候補点Ｐｃを選定する。具体的に説明すると、ステレオ画像認識装置４は、正しいと判定した側の仮白線近似線Ｘｔを、自車走行路の道幅Ｗｂ分だけ誤認識側にオフセットさせ、当該オフセットさせた仮白線近似線Ｘｇを基準とする両側所定幅α１内の領域を候補点抽出領域αｅ１として設定する。例えば、図１０に示すように、右側の仮白線近似線Ｘｔｒが正しいと判定されている場合、ステレオ画像認識装置４は、以下の（４）式を用いて仮白線近似線Ｘｔｒをオフセットさせた仮白線近似線Ｘｇを演算する。
Ｘｇ＝ａ２・Ｚ２＋ｂ２・Ｚ＋ｃ２−Ｗｂ … （４）
そして、ステレオ画像認識装置４は、例えば、以下の（５）、（６）式を用いて候補点抽出領域αｅ１を基底する各境界線Ｘｓ，Ｘｅを演算する。
Ｘｓ＝Ｘｇ＋α１ … （５）
Ｘｅ＝Ｘｇ−α１ … （６）
ここで、（４）式に用いられる道幅Ｗｂとしては、例えば、前フレームで過去に検出された道幅Ｗ＿ｏｌｄ等を好適に用いることが可能である。なお、左側の仮白線近似線Ｘｔｌが正しいと判定されている場合、上述の（４）〜（６）式において、Ｗｂ及びα１の加減算が逆転する。
【００４１】
さらに、ステレオ画像認識装置４は、誤認識側について、候補点抽出領域αｅ１外の白線候補点Ｐｃをノイズとして削除した後、ステップＳ１０７に進む。
【００４２】
ステップＳ１０４、或いは、ステップＳ１０６からステップＳ１０７に進むと、ステレオ画像認識装置４は、残存している左右の白線候補点Ｐｃの各点群に基づいて最終的な白線近似線Ｘｌ，Ｘｒを演算する。具体的に説明すると、ステレオ画像認識装置４は、先ず、白線候補点Ｐｃの各点群に基づいて白線の近似直線をそれぞれ演算する。すなわち、ステレオ画像認識装置４は、例えば、図１２に示すように、点群を構成する各白線候補点Ｐｃそれぞれに対し、点Ｐｃ（ｘ，ｚ）を通る直線ｈの傾きθを０°から１８０°まで所定の角度Δθ毎変化させ、以下の（７）式に基づいて、各θにおける原点Ｏから直線ｈまでの距離（垂線の長さ）ρを求める。
ρ＝ｘ・ｃｏｓθ＋ｚ・ｓｉｎθ … （７）
そして、ステレオ画像認識装置４は、各点Ｐｃについて求めたθとρの関係を、例えば、図１３に示すハフ平面（θ，ρ）上の該当箇所に度数として投票（投影）する。さらに、ステレオ画像認識装置４は、ハフ平面（θ，ρ）上の度数が最も大きくなるθとρの組合せを抽出し、当該θとρを用いて（７）式で規定される近似直線（ハフ直線）Ｈを点群の近似式として設定する（図１１参照）。
【００４３】
さらに、ステレオ画像認識装置４は、近似直線Ｈを基準とする帯状の領域を候補点分類領域αｅ２として設定する。すなわち、ステレオ画像認識装置４は、近似直線Ｈを車幅方向内側及び外側にα２だけ平行移動して形成された領域を候補点分類領域αｅ２として設定する（図１１参照）。ここで、α２としては、例えば、前フレームで検出した白線の幅の半分の長さを画面上の画素数に変換して用いることが望ましい。
【００４４】
そして、ステレオ画像認識装置４は、設定した候補点分類領域αｅ２外に存在する白線候補点Ｐｃをノイズとして削除した後、残存している左右の白線候補点Ｐｃの各点群に基づいて、以下の（８）、（９）式に示す二次の最小自乗法を用いた白線近似線Ｘｌ，Ｘｒを演算する（図１４参照）。
Ｘｌ＝ａ１・Ｚ２＋ｂ１・Ｚ＋ｃ１ … （８）
Ｘｒ＝ａ２・Ｚ２＋ｂ２・Ｚ＋ｃ２ … （９）
ここで、（８）、（９）式においてａ１，ａ２、ｂ１，ｂ２、及び、ｃ１，ｃ２は最小自乗法によって求められるパラメータを示す。
【００４５】
ステップＳ１０７からステップＳ１０８に進むと、ステレオ画像認識装置４は、ステップＳ１０７で演算した白線の近似線に基づき、次フレームで使用する白線検出領域Ａを設定した後、ルーチンを抜ける。すなわち、ステップＳ１０８において、ステレオ画像認識装置４は、例えば、図１５に示すように、ステップＳ１０７で演算した左右の白線近似線Ｘｌ，Ｘｒに対し、（１０）〜（１３）式に示すように、それぞれ実空間上で、ｌｉｎ＿ｗｓ［ｍ］だけ車幅方向にオフセットした線Ｘｓｌ，Ｘｓｒと、ｌｉｎ＿ｗｒ［ｍ］だけ車幅方向外側にオフセットした線Ｘｅｌ，Ｘｅｒを設定する。
【００４６】
すなわち、ステレオ画像認識装置４は、左側の白線近似線Ｘ１に対し、
Ｘｓｌ＝ａｌ・Ｚｌ２＋ｂｌ・Ｚｌ＋ｃｌ＋ｌｉｎ＿Ｗｓｌ … （１０）
を設定すると共に、右側の白線近似線Ｘｒに対し、
Ｘｓｒ＝ａｒ・Ｚｒ２＋ｂｒ・Ｚｒ＋ｃｒ−ｌｉｎ＿Ｗｓｒ … （１１）
を設定する。
また、ステレオ画像認識装置４は、左側の白線近似線Ｘｌに対し、
Ｘｅｌ＝ａｌ・Ｚｌ２＋ｂｌ・Ｚｌ＋ｃｌ−ｌｉｎ＿Ｗｅｌ … （１２）
を設定すると共に、右側の白線近似線Ｘｒに対し、
Ｘｅｒ＝ａｒ・Ｚｒ２＋ｂｒ・Ｚｒ＋ｃｒ＋ｌｉｎ＿Ｗｅｒ … （１３）
を設定する。そして、ステレオ画像認識装置４は、実空間上において（１０）式と（１２）式とで囲まれた領域を画像上の座標系へ座標変換することで、左側の白線検出領域Ａｌとして設定し、（１１）式と（１３）式とで囲まれた領域を同様に画像上の座標系へ座標変換することで、右側の白線検出領域Ａｒとして設定する。
【００４７】
このような実施形態によれば、左右の各白線検出領域Ａｌ，Ａｒ内で検出した白線候補点Ｐｃの各点群に基づいて左右の仮白線近似線ｘｔｌ，Ｘｔｒをそれぞれ演算してこれらの平行性を判定し、平行性が低いと判定したとき、予め設定した評価方法に基づいて左右何れか一方の仮白線近似線Ｘｔを正しい仮白線近似線として判定するとともに、他方を誤認識した仮白線近似線として判定し、正しいと判定した仮白線近似線Ｘｔを誤認識側にオフセットさせた仮白線近似線Ｘｇに基づいて候補点抽出領域αｅ１を設定し、設定した候補点抽出領域αｅ１外の白線候補点Ｐｃを削除することにより、分岐路や路外のノイズ等が存在する場合にも自車走行路に対応する白線を精度良く認識することができる。
【００４８】
すなわち、自車走行路を規定する左右の白線は基本的には略平行に敷設されており、しかも、自車走行路の左右方向に同時に分岐路等が存在することは非常に希であることに着目し、左右の仮白線近似線Ｘｔｌ，Ｘｔｒの平行性が低い場合には、何れか一方の仮白線近似線が正しく、他方が誤認識であると判定することにより、分岐路に沿う白線等を自車走行路の白線として誤認識することを防止できる。その上で、正しいと判定した仮白線近似線Ｘｔを誤認識側にオフセットさせ、オフセットさせた仮白線近似線Ｘｇに基づいて設定した候補点抽出領域αｅ１外の白線候補点Ｐｃをノイズとして削除することにより、実際の自車走行路に沿う白線候補点Ｐｃを好適に抽出することができる。
【００４９】
この場合において、左右の白線候補点Ｐｃの各点群に対し、二次の最小自乗法を用いて仮白線近似線Ｘｔｌ，Ｘｔｒを演算し、自車遠方と近傍の設定距離における左右の仮白線近似線Ｘｔｌ，Ｘｔｒ間の幅の変化に基づいて平行性を判定することにより、簡単な演算で平行性の判定を行うことができる。
【００５０】
また、二次の最小自乗法を用いた仮白線近似線Ｘｔｌ，Ｘｔｒの近似誤差が大きい場合には、自車前方の設定領域Ａ１，Ａ２毎に白線候補点Ｐｃの各点群を一次の最小自乗法を用いて近似して平行性の判定を行うことにより、白線候補点Ｐｃが各点群中で分散している場合にも判定精度を維持することができる。
【００５１】
なお、上述の実施形態はステレオ画像処理を例にとり説明したが、本願発明は、これに限定されるものではなく、例えば、単眼のカメラによる白線認識においても適用が可能である。
【符号の説明】
【００５２】
１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（候補点検出手段、仮近似線演算手段、平行性判定手段、仮近似線評価手段、候補点選定手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ
【特許請求の範囲】
【請求項１】
自車走行路を撮像した画像上の左右の各白線検出領域内で水平方向に延在する検索ライン毎に車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点をそれぞれ白線候補点として検出する候補点検出手段と、
前記各白線検出領域内で検出した前記白線候補点の各点群に基づいて左右の仮白線近似線をそれぞれ演算する仮近似線演算手段と、
前記左右の仮白線近似線の平行性を判定する平行性判定手段と、
前記平行性判定手段で平行性が低いと判定されたとき、予め設定した評価方法に基づいて、左右何れか一方の前記仮白線近似線を正しい仮白線近似線として判定し、他方を誤認識した仮白線近似線として判定する仮近似線評価手段と、
前記仮近似線評価手段で正しいと判定された前記仮白線近似線を誤認識側にオフセットさせて候補点抽出領域を設定し、前記候補点抽出領域外の前記白線候補点を削除する候補点選定手段と、を備えたことを特徴とする車両用白線認識装置。
【請求項２】
前記仮近似線演算手段は、現フレーム或いは前フレームで検出した前記白線候補点の各点群に対し、二次の最小自乗法を用いて左右の前記仮白線近似線を演算し、
前記平行性判定手段は、自車遠方と近傍の設定距離における左右の前記仮白線近似線間の幅の変化に基づいて平行性を判定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項３】
前記仮近似線演算手段は、二次の最小自乗法を用いた前記仮白線近似線の近似誤差が大きい場合は、自車前方の設定領域毎に前記白線候補点の各点群を一次の最小自乗法を用いて近似することを特徴とする請求項１または請求項２に記載の車両用白線認識装置。
【請求項４】
前記仮近似線演算手段は、前記各白線検出領域内の前記各検索ライン毎に第１の候補点として最も車幅方向内側に検出される前記白線候補点を用いて、前記仮白線近似線を演算し、
前記仮近似線評価手段は、前記第１の候補点に対する近似誤差が大きい側の前記仮白線近似線を、誤認識した仮白線近似線として判定することを特徴とする請求項１乃至請求項３の何れか１項に記載の車両用白線認識装置。
【請求項５】
前記仮近似線評価手段は、前記第１の候補点以外の前記白線候補点が多く検出されている側の前記仮白線近似線を、誤認識した仮白線近似線として判定することを特徴とする請求項４記載の車両用白線認識装置。
【請求項１】
自車走行路を撮像した画像上の左右の各白線検出領域内で水平方向に延在する検索ライン毎に車幅方向内側から外側に向けて輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点をそれぞれ白線候補点として検出する候補点検出手段と、
前記各白線検出領域内で検出した前記白線候補点の各点群に基づいて左右の仮白線近似線をそれぞれ演算する仮近似線演算手段と、
前記左右の仮白線近似線の平行性を判定する平行性判定手段と、
前記平行性判定手段で平行性が低いと判定されたとき、予め設定した評価方法に基づいて、左右何れか一方の前記仮白線近似線を正しい仮白線近似線として判定し、他方を誤認識した仮白線近似線として判定する仮近似線評価手段と、
前記仮近似線評価手段で正しいと判定された前記仮白線近似線を誤認識側にオフセットさせて候補点抽出領域を設定し、前記候補点抽出領域外の前記白線候補点を削除する候補点選定手段と、を備えたことを特徴とする車両用白線認識装置。
【請求項２】
前記仮近似線演算手段は、現フレーム或いは前フレームで検出した前記白線候補点の各点群に対し、二次の最小自乗法を用いて左右の前記仮白線近似線を演算し、
前記平行性判定手段は、自車遠方と近傍の設定距離における左右の前記仮白線近似線間の幅の変化に基づいて平行性を判定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項３】
前記仮近似線演算手段は、二次の最小自乗法を用いた前記仮白線近似線の近似誤差が大きい場合は、自車前方の設定領域毎に前記白線候補点の各点群を一次の最小自乗法を用いて近似することを特徴とする請求項１または請求項２に記載の車両用白線認識装置。
【請求項４】
前記仮近似線演算手段は、前記各白線検出領域内の前記各検索ライン毎に第１の候補点として最も車幅方向内側に検出される前記白線候補点を用いて、前記仮白線近似線を演算し、
前記仮近似線評価手段は、前記第１の候補点に対する近似誤差が大きい側の前記仮白線近似線を、誤認識した仮白線近似線として判定することを特徴とする請求項１乃至請求項３の何れか１項に記載の車両用白線認識装置。
【請求項５】
前記仮近似線評価手段は、前記第１の候補点以外の前記白線候補点が多く検出されている側の前記仮白線近似線を、誤認識した仮白線近似線として判定することを特徴とする請求項４記載の車両用白線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２２５７４（Ｐ２０１２−２２５７４Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１６０９８５（Ｐ２０１０−１６０９８５）
【出願日】平成２２年７月１５日（２０１０．７．１５）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１５日（２０１０．７．１５）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]