車両用白線認識装置
【課題】遠方で左右の白線候補点が入り交じった状態においても各候補点を左右に正しく分離することができ、遠方まで白線を精度よく認識することができる車両用白線認識装置を提供する。
【解決手段】ステレオ画像認識装置４は、左右の白線検出領域Ａ毎に、互いに隣接する白線候補点Ｐｄの連続性を順次判定し、予め設定された連続性を有して所定数以上連続する白線候補点の点群を第１のグループとしてグループ化し、グループ化された白線候補点のみを用いて仮白線近似線Ｌｔを演算する。そして、左右の仮白線近似線Ｌｔを基準とする候補点選定領域Ａｓをそれぞれ設定し、左右の白線検出領域Ａで検出した全ての白線候補点Ｐｄの中から各候補点選定呂域Ａｓ内に存在する白線候補点Ｐｄを最終的な白線候補点Ｐとしてそれぞれ選定する。
【解決手段】ステレオ画像認識装置４は、左右の白線検出領域Ａ毎に、互いに隣接する白線候補点Ｐｄの連続性を順次判定し、予め設定された連続性を有して所定数以上連続する白線候補点の点群を第１のグループとしてグループ化し、グループ化された白線候補点のみを用いて仮白線近似線Ｌｔを演算する。そして、左右の仮白線近似線Ｌｔを基準とする候補点選定領域Ａｓをそれぞれ設定し、左右の白線検出領域Ａで検出した全ての白線候補点Ｐｄの中から各候補点選定呂域Ａｓ内に存在する白線候補点Ｐｄを最終的な白線候補点Ｐとしてそれぞれ選定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線認識が行われ、認識した白線に基づいて自車走行レーンの推定等が行われる。この種の白線認識の技術として、例えば、特許文献１には、自車両の前方を撮像した画像上を水平方向に延びるライン毎に検索して輝度値及び輝度微分値についてそれぞれ設定された閾値以上である画素を車線候補点（白線候補点）として検出し、検索により検出された複数の白線候補点に基づいて車線（白線）位置を検出する技術が開示されている。
【０００３】
ところで、自車走行路上の遠方に曲率の大きなカーブが存在する場合、自車走行路の左右の白線は、画像上では遠方の領域が限りなく近接する位置に撮像される場合がある。このような場合、画像上の遠方においては、左右の白線に対する検索領域が互いに重畳されて白線候補点が左右入り交じった状態で検出される場合がある。すなわち、例えば、本来なら左側のものとして検出されるべき白線候補点が右側のものとして検出されたり、右側のものとして検出されるべき白線候補点が左側のものとして検出される等の虞がある。そして、これら左右の白線候補点が的確に分離されないままの状態で白線認識を行った場合、算出された白線形状（曲率、傾き等）のパラメータに大きな誤差が生ずる虞がある。
【０００４】
これに対処し、例えば、特許文献２には、撮像面上に投影した左右レーン境界位置の推定範囲が重なる場合、この重なった範囲内の線分は左右のレーン境界のどちらであるか判定困難であると判断して、当該部分のエッジ（白線候補点）線分はレーン境界候補として採用しない技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２６４９５５号公報
【特許文献２】特許第３２８８５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献２に開示された技術のように白線候補点を削除すると、例えば、高速道路のジャンクション等のような曲率の大きいカーブでは、自車に対して比較的近距離においても白線候補点を棄却することとなり、好適な運転支援を実現することが困難となる虞がある。
【０００７】
本発明は上記事情に鑑みてなされたもので、遠方で左右の白線候補点が入り交じった状態においても各候補点を左右に正しく分離することができ、遠方まで白線を精度よく認識することができる車両用白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様による車両用白線認識装置は、自車走行路を撮像した画像上に設定した左右の各白線検出領域内で水平方向に延在する検索ライン毎に車幅方向の輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点をそれぞれ白線候補点として検出する候補点検出手段と、左右の前記白線検出領域毎に、互いに隣接する前記白線候補点の連続性を順次判定し、予め設定された連続性を有して所定数以上連続する前記白線候補点の点群をそれぞれグループ化するグループ化手段と、左右の前記白線検出領域毎に、グループ化された前記白線候補点のみを用いて仮白線近似線を演算する仮白線近似線演算手段と、左右の前記仮白線近似線を基準とする候補点選定領域をそれぞれ設定し、左右の前記白線検出領域で検出した全ての前記白線候補点の中から前記各候補点選定領域内に存在する前記白線候補点をそれぞれ選定する候補点選定手段と、左右の前記各候補点選定領域内で選定した前記白線候補点を用いて左右の白線近似線をそれぞれ演算する白線近似線演算手段と、を備える。
【発明の効果】
【０００９】
本発明の車両用白線認識装置によれば、遠方で左右の白線候補点が入り交じった状態においても各候補点を左右に正しく分離することができ、遠方まで白線を精度よく認識することができる。
【図面の簡単な説明】
【００１０】
【図１】車両用運転支援装置の概略構成図
【図２】白線認識ルーチンを示すフローチャート
【図３】白線候補点のグループ化処理サブルーチンを示すフローチャート
【図４】車外環境の撮像画像の一例を模式的に示す説明図
【図５】図４の画像から検出される白線候補点を示す説明図
【図６】検索ライン上における輝度の変化の一例を示す説明図
【図７】自車走行路が急カーブしている場合の遠方での左右の白線と右側の白線検出領域との関係を示す説明図
【図８】撮像画像上の画素に基づく連続性の判定方法を示す説明図
【図９】実空間に投影された白線候補点の一例を示す説明図
【図１０】グループ化された白線候補点の一例を示す説明図
【図１１】仮白線近似線及び候補点選定領域を示す説明図
【図１２】選定した白線候補点を用いて演算された白線近似線及び次フレームで用いる白線検出領域を示す説明図
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は白線認識ルーチンを示すフローチャート、図３は白線候補点のグループ化処理サブルーチンを示すフローチャート、図４は車外環境の撮像画像の一例を模式的に示す説明図、図５は図４の画像から検出される白線候補点を示す説明図、図６は検索ライン上における輝度の変化の一例を示す説明図、図７は自車走行路が急カーブしている場合の遠方での左右の白線と右側の白線検出領域との関係を示す説明図、図８は撮像画像上の画素に基づく連続性の判定方法を示す説明図、図９は実空間に投影された白線候補点の一例を示す説明図、図１０はグループ化された白線候補点の一例を示す説明図、図１１は仮白線近似線及び候補点選定領域を示す説明図、図１２は選定した白線候補点を用いて演算された白線近似線及び次フレームで用いる白線検出領域を示す説明図である。
【００１２】
図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている、この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。
【００１３】
また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。
【００１４】
ステレオカメラ３は、ステレオ光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、ぞれぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。
【００１５】
ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して周知のグルーピング処理を行い、予め記憶しておいた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。
【００１６】
ここで、本実施形態において認識対象となる白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線等が併設された多重線（二重線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、更に、黄色線等をも含む。また、本実施形態の白線認識においては、道路上に実在する白線が二重白線等であっても、左右それぞれ単一の直線或いは曲線等で近似して認識するものとする。
【００１７】
ところで、実際の道路上に敷設された白線には上述のように各種バリエーションが存在する他、白線の形態は走行路の分岐や合流等に伴って変化する。加えて、道路上には路面補修跡や、水溜まり、雪等の各種ノイズが存在する。従って、画一的な処理によって、全ての場面で精度よく白線を認識することは困難となる。そこで、ステレオ画像認識装置４は、上述のような距離画像に基づくパターンマッチングを用いた白線認識のみに頼ることなく、各種方式を用いた白線認識を補完的に行い、これらの認識結果を総合的に判断して最終的な白線を認識する。
【００１８】
このような白線認識の一つとして、ステレオ画像認識装置４は、自車前方を撮像した一方の画像（例えば、図４に示す基準画像）上の水平方向の輝度変化に基づいて左右の白線認識を行う。具体的に説明すると、例えば、図５に示すように、ステレオ画像認識装置４は、画像上に左右の白線検出領域Ａ（Ａｌ，Ａｒ）を設定し、各白線検出領域Ａ内で水平方向に延在する複数の検索ラインｌに対し、検索ラインｌ毎に車幅方向内側から外側に向けて輝度変化を調べる。そして、ステレオ画像認識装置４は、各白線検出領域Ａ内の各検索ラインｌ上において、輝度が暗から明に所定以上変化する最初のエッジ点を白線候補点Ｐｄ（Ｐｄｌ，Ｐｄｒ）としてそれぞれ検出する。
【００１９】
ここで、自車走行路上の遠方に曲率の大きなカーブが存在する場合、左右の白線検出領域Ａｌ，Ａｒが画像上で重畳され、例えば、図７に示すように、一方の白線検出領域Ａ（図示の例では、右側の白線検出領域Ａｌ）内に左右の白線が含まれる場合がある。このような場合、本実施形態のように車幅方向内側から外側に向けての輝度変化を調べると、他方の白線のエッジ点が一方の白線の白線候補点Ｐｄとして誤検出される場合がある。そこで、ステレオ画像認識装置４は、左右の白線検出領域Ａｌ，Ａｒ内で検出された各白線候補点Ｐｄｌ，Ｐｄｒの中から、真に左右の各白線をそれぞれ示す白線候補点Ｐ（Ｐｌ，Ｐｒ）の選定を行い、選定した白線候補点Ｐに基づいて白線近似線Ｌを演算する。
【００２０】
具体的に説明すると、ステレオ画像認識装置４は、左右の白線検出領域Ａ毎に、互いに隣接する白線候補点Ｐｄの連続性を、手前側（自車側）から遠方側へと向けて順次判定する。そして、ステレオ画像認識装置４は、予め設定された連続性を有して設定数以上連続する白線候補点Ｐｄの点群が存在する場合には当該点群を第１のグループとしてグループ化し、連続性を有する白線候補点Ｐｄの数が設定数未満の場合には当該点群を第２のグループとしてグループ化する（図１０参照）。ここで、本実施形態において、ステレオ画像認識装置４は、白線候補点Ｐｄのグループ化に際し、距離画像上の距離情報等に基づいて各白線候補点Ｐｄの実空間上への投影を行う（図９参照）。そして、ステレオ画像認識装置４は、例えば、撮像画像上で隣接する各白線候補点Ｐｄ間の画素単位の誤差量、及び、実空間上で隣接する白線候補点Ｐｄ間の距離の誤差量に基づいて各白線候補点Ｐｄ間の連続性を総合的に判断する。
【００２１】
全ての白線候補点Ｐｄについてのグループ化処理が行われると、ステレオ画像認識装置４は、左右の白線検出領域Ａ毎に、第１のグループとしてグループ化された白線候補点Ｐｄのみを用いて仮の白線近似線（仮白線近似線）Ｌｔ（Ｌｔｌ，Ｌｔｒ）を演算する（図１１参照）。すなわち、第１のグループとしてグループ化された各白線候補点Ｐｄは、所定の連続性を有しているため、左右の各白線をぞれぞれ示すものとして信頼性が高い。そこで、ステレオ画像認識装置４は、これら信頼性の高い白線候補点のみを用いて、仮白線近似線Ｌｔを演算することにより、実際の白線形状から大きく逸脱することのない、白線の概略形状を把握する。
【００２２】
そして、ステレオ画像認識装置４は、左右の仮白線近似線Ｌｔを基準とする各候補点選定領域Ａｓ（Ａｓｌ，Ａｓｒ）をそれぞれ設定し、左右の白線検出領域内Ａｌ，Ａｒ内で検出した全ての白線候補点Ｐｄの中から各候補点選定領域Ａｓ内に存在する白線候補点Ｐｄを、左右の各白線についての最終的な白線候補点Ｐ（Ｐｌ，Ｐｒ）としてそれぞれ選定する。
【００２３】
そして、ステレオ画像認識装置４は、左右の各候補点選定領域Ａｓ内で選定した白線候補点Ｐを用いて最終的な左右の白線近似線Ｌ（Ｌｌ，Ｌｒ）をそれぞれ演算するとともに、演算した各白線近似線Ｌに基づいて次フレームでの白線検出領域Ａを設定する（図１２参照）。
【００２４】
このように、本実施形態において、ステレオ画像認識装置４は、候補点検出手段、グループ化手段、仮白線近似線演算手段、候補点選定手段、及び、白線近似線演算手段としての各機能を実現する。
【００２５】
なお、ステレオ画像認識装置４は、その他の種々の方法によって白線認識を行うことが可能となっている。そして、ステレオ画像認識装置４は、例えば、各白線認識において認識した白線の近似線と当該認識に用いられたエッジ点等の白線候補点との関係（例えば、近似線に対する白線候補点の分散等）に基づき、認識した各近似線の中から最も適切な近似線を選択し、当該近似線を最終的な白線の近似線として制御ユニット５に出力する。
【００２６】
制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。
【００２７】
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に追従対象の先行車が走行しているか否かを識別する。
【００２８】
その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。
【００２９】
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
【００３０】
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線の近似線）に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
【００３１】
次に、ステレオ画像認識装置４において実行される、基準画像上の輝度変化に基づく白線認識について、図２に示す白線認識ルーチンのフローチャートに従って説明する。なお、本ルーチンによる処理は、左右の白線検出領域Ａｌ，Ａｒそれぞれに対して同様の処理が個別に行われるものであるが、説明を簡略化するため、以下の説明において特に必要な場合を除き、例えば白線検出領域Ａｌ，Ａｒを総称して白線検出領域Ａと標記する等、左右の属性を示す添字”ｌ”及び”ｒ”を適宜省略して説明する。
【００３２】
このルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、前フレームの画像に対するステップＳ１０７の処理で設定された白線検出領域Ａ内の各検索ラインｌ毎に白線候補点Ｐｄの検出を行う。具体的には、例えば、図６に示すように、ステレオ画像認識装置４は、車幅方向内側から外側に向けて、各検索ラインｌ上でのエッジ検出を行い、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点）を検出する。そして、ステレオ画像認識装置４は、白線検出領域Ａ内の各検索ラインｌ上において、最初に検出されたエッジ点を白線候補点Ｐｄとして抽出する（図５，７参照）。なお、図５，７においては、説明を簡略化するため、検索ラインｌ及び白線候補点Ｐｄ等が所定に間引かれて表示されている。
【００３３】
続くステップＳ１０２において、ステレオ画像認識装置４は、ステップＳ１０１で検出した各白線候補点Ｐｄを、距離画像上で該当する画素の距離情報、及び、基準画像上で該当する画素の水平方法の画素位置等に基づいて、実空間上に投影する（図９参照）。
【００３４】
そして、ステップＳ１０２からステップＳ１０３に進むと、ステレオ画像認識装置４は、左右の白線検出領域Ａｌで検出された白線候補点Ｐｄ毎に、白線候補点Ｐｄのグループ化処理を行う。
【００３５】
このグループ化処理は、例えば、図３に示す白線候補点のグループ化処理サブルーチンに従って行われる。サブルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ２０１において、現時点でグループ化されていない白線候補点Ｐｄの中で最も自車１側に位置する白線候補点Ｐｄを抽出し、抽出した白線候補点Ｐｄを最初の白線候補点Ｐｄとして組み込んだ新たなグループを作成する。
【００３６】
そして、ステップＳ２０１からステップＳ２０２に進むと、ステレオ画像認識装置４は、現在グループ内に組み込まれている最後尾の白線候補点Ｐｄよりも遠方に白線候補点（次の白線候補点）Ｐｄが存在するか否かを調べる。
【００３７】
そして、ステップＳ２０２において、次の白線候補点Ｐｄが存在すると判定すると、ステレオ画像認識装置４は、ステップＳ２０３に進み、当該次の白線候補点Ｐｄを注目する白線候補点Ｐｄ（ｎ）とする従前の白線候補点Ｐｄとの比較により、画素に基づく誤差判定を行う。すなわち、ステレオ画像認識装置４は、例えば、図８に示すように、注目する白線候補点Ｐｄ（ｎ）と、１つ手前の白線候補点Ｐｄ（ｎ−１）との画像上における水平方向（ｉ方向）及び垂直方向（ｊ方向）の画素のずれ量（水平方向誤差Δｉ、及び、垂直方向誤差Δｊ）を演算する。さらに、ステレオ画像認識装置４は、１つ手前の白線候補点Ｐｄ（ｎ−１）と、２つ手前の白線候補点Ｐｄ（ｎ−２）との画像上における水平方向誤差Δｉ＿ｏｌｄ、及び、垂直方向誤差Δｊ＿ｏｌｄを演算し、以下の（１）式を用いて、水平方向誤差変化量Δｓを演算する。
Δｓ＝（Δｉ／Δｊ）−（Δｉ＿ｏｌｄ／Δｊ＿ｏｌｄ） …（１）
そして、ステレオ画像認識装置４は、水平方向誤差Δｉ、垂直方向誤差Δｊ、及び、水平方向誤差変化量Δｓの全てが予め設定された閾値内である場合、白線候補点Ｐｄ（ｎ）は１つ手前の白線候補点Ｐｄ（ｎ−１）に対して画像上における連続性を有すると判断する。一方、水平方向誤差Δｉ、垂直方向誤差Δｊ、或いは、水平方向誤差変化量Δｓの少なくとも何れか１つが予め設定された閾値内にない場合、白線候補点Ｐｄ（ｎ）は１つ手前の白線候補点Ｐｄ（ｎ−１）に対して画像上における連続性を有さないと判断する。
【００３８】
ステップＳ２０３からステップＳ２０４に進むと、ステレオ画像認識装置４は、注目する白線候補点Ｐｄ（ｎ）と従前の白線候補点Ｐｄとの距離に基づく誤差判定を行う。すなわち、ステレオ画像認識装置４は、注目する白線候補点Ｐｄ（ｎ）と１つ手前の白線候補点Ｐｄ（ｎ−１）との実空間上における水平方向（Ｘ方向）と垂直方向（Ｚ方向）の距離のずれ量（水平方向距離誤差ΔＸ、及び、垂直方向距離誤差ΔＺ）を演算する。
【００３９】
そして、ステレオ画像認識装置４は、水平方向距離誤差ΔＸ、及び、垂直方向距離誤差ΔＺの全てが予め設定された閾値内である場合、白線候補点Ｐｄ（ｎ）は１つ手前の白線候補点Ｐｄ（ｎ−１）に対して実空間距離上における連続性を有すると判断する。一方、水平方向距離誤差ΔＸ、或いは、垂直方向距離誤差ΔＺの少なくとも何れか１つが予め設定された閾値内にない場合、白線候補点Ｐｄ（ｎ）は１つ手前の白線候補点Ｐｄ（ｎ−１）に対して実空間距離上における連続性を有さないと判断する。
【００４０】
ステップＳ２０４からステップＳ２０５に進むと、ステレオ画像認識装置４は、ステップＳ２０３の画素に基づく誤差判定、及び、ステップＳ２０４の距離の基づく誤差判定の何れもにおいて、注目する白線候補点Ｐｄ（ｎ）が１つ手前の白線候補点Ｐｄ（ｎ−１）に対して連続性を有すると判定されたか否かを調べる。
【００４１】
そして、ステップＳ２０３或いはステップＳ２０４の少なくとも何れか一方において白線候補点Ｐｄ（ｎ）が白線候補点Ｐｄ（ｎ−１）に対して連続性なしと判定されている場合、ステレオ画像認識装置４は、現在の注目する白線候補点Ｐｄ（ｎ）を現在のグループに組み込むことなくステップＳ２０５からステップＳ２０６に進み、現在のグループを第１のグループ或いは第２のグループの何れかに分類した後、ステップＳ２０１に戻る。すなわち、ステップＳ２０６において、ステレオ画像認識装置４は、現在のグループに属する白線候補点Ｐｄの数が予め設定された閾値以上である場合、各白線候補点Ｐｄは現在認識対象として注目している白線（自車１の右側の白線、或いは、左側の白線）を示すものである可能性が高いと判断して、当該グループを第１のグループに分類する。一方、現在のグループに属する白線候補点Ｐｄの数が予め設定された閾値未満である場合、各白線候補点Ｐｄは現在認識対象として注目している白線を示すものと判定するには不十分であると判断して、当該グループを第２のグループに分類する（図１０参照）。
【００４２】
一方、ステップＳ２０３及びステップＳ２０４の何れにおいても白線候補点Ｐｄ（ｎ）が白線候補点Ｐｄ（ｎ−１）に対して連続性ありと判定されている場合、ステレオ画像認識装置４は、現在の注目する白線候補点Ｐｄ（ｎ）を現在のグループに取り込んだ後、ステップＳ２０５からステップＳ２０２に戻る。
【００４３】
また、ステップＳ２０２において、次の白線候補点Ｐｄが存在しないと判定すると、ステレオ画像認識装置４は、ステップＳ２０７に進み、上述のステップＳ２０６と同様の処理により、現在のグループを第１のグループ或いは第２のグループの何れかに分類した後、サブルーチンを抜ける。
【００４４】
図２のメインルーチンにおいて、ステップＳ１０３からステップＳ１０４に進むと、ステレオ画像認識装置４は、左右の白線検出領域Ａ毎に、ステップＳ１０３で第１のグループとしてグループ化された白線候補点Ｐｄのみを用いて仮白線近似線Ｌｔを演算する（図１１参照）。ここで、本実施形態の仮白線近似線Ｌｔは、以下の（２）式に示すように、車両１に対する鉛直方向Ｚ距離に対し、ａ，ｂ，ｃの各パラメータによって白線の車両水平方向距離Ｘが同定されるものである。
Ｘ＝ａＺ２＋ｂＺ＋ｃ …（２）
ここで、（２）式に示す仮白線近似線Ｌｔのパラメータａ，ｂ，ｃは、例えば、第１のグループに属する白線候補点Ｐｄを用いた最小二乗法によって求めることが可能であり、各パラメータａ，ｂ，ｃは、仮白線近似線Ｌｔに対する各白線候補点Ｐｄの分散が最小となる値に決定される。なお、（２）式においては、便宜上、パラメータを左右共通の記号ａ，ｂ，ｃで表記しているが、これらは、左右の仮白線近似線Ｌｔｌ，Ｌｔｒについて個別に設定されるものであることは云うまでもない。
【００４５】
続くステップＳ１０５において、ステレオ画像認識装置４は、ステップＳ１０４で演算した仮近似曲線Ｌｔに基づき、左右の各白線についての最終的な白線候補点Ｐｄの選定を行う。すなわち、ステレオ画像認識装置４は、ステップＳ１０４で求めた仮白線近似線Ｌｔを車幅方向内側及び外側にそれぞれΔＥオフセットさせることにより、以下の（３）式及び（４）式で規定される候補点選定領域Ａｓを設定する（図１１参照）。
Ｘ１＝ａＺ２＋ｂＺ＋ｃ−ΔＥ …（３）
Ｘ２＝ａＺ２＋ｂＺ＋ｃ＋ΔＥ …（４）
そして、ステレオ画像認識装置４は、左右の各白線検出領域Ａｌ，Ａｒで検出された全ての白線候補点Ｐｄｌ，Ｐｄｒの中から、左側の候補点選定領域Ａｓｌ内に存在する白線候補点Ｐｄｌ及びＰｄｒを、左側の白線についての最終的な白線候補点Ｐｌとして選定すると共に、右側の候補点選定領域Ａｓｒ内に存在する白線候補点Ｐｄｌ及びＰｄｒを、右側の白線についての最終的な白線候補点Ｐｒとして選定する（図１２参照）。
【００４６】
続くステップＳ１０６において、ステレオ画像認識装置４は、左右の各候補点選定領域Ａｓで選定した白線候補点Ｐを用いて左右の白線近似線Ｌをそれぞれ演算する（図１２参照）。ここで、本実施形態の白線近似線Ｌは、上述の仮白線近似線Ｌｔと同様、以下の（５）式に示すように、車両１に対する鉛直方向Ｚ距離に対し、Ａ，Ｂ，Ｃの各パラメータによって白線の車両水平方向距離Ｘが同定されるものである。
Ｘ＝ＡＺ２＋ＢＺ＋Ｃ …（５）
ここで、（２）式に示す仮白線近似線ＬｔのパラメータＡ，Ｂ，Ｃは、例えば、最終的な白線候補点Ｐを用いた最小二乗法によって求めることが可能であり、各パラメータＡ，Ｂ，Ｃは、白線近似線Ｌに対する各白線候補点Ｐの分散が最小となる値に決定される。なお、（５）式においては、便宜上、パラメータを左右共通の記号Ａ，Ｂ，Ｃで表記しているが、これらは、左右の仮白線近似線Ｌｔｌ，Ｌｔｒについて個別に設定されるものであることは云うまでもない。
【００４７】
そして、ステップＳ１０７に進むと、ステレオ画像認識装置４は、ステップＳ１０６で演算した白線近似線Ｌを車幅方向内側及び外側にそれぞれΔＥオフセットされることにより、以下の（６）式及び（７）式で規定される次フレームでの白線検出領域Ａを設定した後（図１２参照）、ルーチンを抜ける。
Ｘ１＝ＡＺ２＋ＢＺ＋Ｃ−ΔＥ …（６）
Ｘ２＝ＡＺ２＋ＢＺ＋Ｃ＋ΔＥ …（７）
このような実施形態によれば、左右の白線検出領域Ａ毎に、互いに隣接する白線候補点Ｐｄの連続性を順次判定し、予め設定された連続性を有して所定数以上連続する白線候補点の点群を第１のグループとしてグループ化し、グループ化された白線候補点のみを用いて仮白線近似線Ｌｔを演算することにより、左右の各白線をそれぞれ示すものとして信頼性の高い白線候補点Ｐｄのみを用いて、実際の白線形状から大きく逸脱することのない白線形状を把握することができる。そして、左右の仮白線近似線Ｌｔを基準とする候補点選定領域Ａｓをそれぞれ設定し、左右の白線検出領域Ａで検出した全ての白線候補点Ｐｄの中から各候補点選定呂域Ａｓ内に存在する白線候補点Ｐｄを最終的な白線候補点Ｐとしてそれぞれ選定することにより、左右の白線候補点Ｐｄが入り交じって検出された場合にも、これらを精度よく分離することができる。そして、このように精度よく左右に分離した白線候補点Ｐに基づいて白線近似線Ｌをそれぞれ演算することにより、自車走行路前方にカーブが存在する場合にも白線を遠方まで精度よく認識することができる。
【００４８】
その際、連続性の判定を、白線候補点Ｐｄの検出精度の高い自車１の手前側から遠方側に向けて順次行うことにより、精度のよい判定結果を得ることができる。
【００４９】
なお、上述の実施形態においては、ステレオカメラを用いて各画素の距離情報を演算する一例について説明したが、本発明はこれに限定されるものではなく、例えば、自車走行路が平坦路であると仮定して、単眼のカメラで捉えた画像から各白線候補点の距離情報を演算することも可能である。
【符号の説明】
【００５０】
１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（候補点検出手段、グループ化手段、仮白線近似線演算手段、候補点選定手段、白線近似線演算手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ
【技術分野】
【０００１】
本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線認識が行われ、認識した白線に基づいて自車走行レーンの推定等が行われる。この種の白線認識の技術として、例えば、特許文献１には、自車両の前方を撮像した画像上を水平方向に延びるライン毎に検索して輝度値及び輝度微分値についてそれぞれ設定された閾値以上である画素を車線候補点（白線候補点）として検出し、検索により検出された複数の白線候補点に基づいて車線（白線）位置を検出する技術が開示されている。
【０００３】
ところで、自車走行路上の遠方に曲率の大きなカーブが存在する場合、自車走行路の左右の白線は、画像上では遠方の領域が限りなく近接する位置に撮像される場合がある。このような場合、画像上の遠方においては、左右の白線に対する検索領域が互いに重畳されて白線候補点が左右入り交じった状態で検出される場合がある。すなわち、例えば、本来なら左側のものとして検出されるべき白線候補点が右側のものとして検出されたり、右側のものとして検出されるべき白線候補点が左側のものとして検出される等の虞がある。そして、これら左右の白線候補点が的確に分離されないままの状態で白線認識を行った場合、算出された白線形状（曲率、傾き等）のパラメータに大きな誤差が生ずる虞がある。
【０００４】
これに対処し、例えば、特許文献２には、撮像面上に投影した左右レーン境界位置の推定範囲が重なる場合、この重なった範囲内の線分は左右のレーン境界のどちらであるか判定困難であると判断して、当該部分のエッジ（白線候補点）線分はレーン境界候補として採用しない技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２６４９５５号公報
【特許文献２】特許第３２８８５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献２に開示された技術のように白線候補点を削除すると、例えば、高速道路のジャンクション等のような曲率の大きいカーブでは、自車に対して比較的近距離においても白線候補点を棄却することとなり、好適な運転支援を実現することが困難となる虞がある。
【０００７】
本発明は上記事情に鑑みてなされたもので、遠方で左右の白線候補点が入り交じった状態においても各候補点を左右に正しく分離することができ、遠方まで白線を精度よく認識することができる車両用白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様による車両用白線認識装置は、自車走行路を撮像した画像上に設定した左右の各白線検出領域内で水平方向に延在する検索ライン毎に車幅方向の輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点をそれぞれ白線候補点として検出する候補点検出手段と、左右の前記白線検出領域毎に、互いに隣接する前記白線候補点の連続性を順次判定し、予め設定された連続性を有して所定数以上連続する前記白線候補点の点群をそれぞれグループ化するグループ化手段と、左右の前記白線検出領域毎に、グループ化された前記白線候補点のみを用いて仮白線近似線を演算する仮白線近似線演算手段と、左右の前記仮白線近似線を基準とする候補点選定領域をそれぞれ設定し、左右の前記白線検出領域で検出した全ての前記白線候補点の中から前記各候補点選定領域内に存在する前記白線候補点をそれぞれ選定する候補点選定手段と、左右の前記各候補点選定領域内で選定した前記白線候補点を用いて左右の白線近似線をそれぞれ演算する白線近似線演算手段と、を備える。
【発明の効果】
【０００９】
本発明の車両用白線認識装置によれば、遠方で左右の白線候補点が入り交じった状態においても各候補点を左右に正しく分離することができ、遠方まで白線を精度よく認識することができる。
【図面の簡単な説明】
【００１０】
【図１】車両用運転支援装置の概略構成図
【図２】白線認識ルーチンを示すフローチャート
【図３】白線候補点のグループ化処理サブルーチンを示すフローチャート
【図４】車外環境の撮像画像の一例を模式的に示す説明図
【図５】図４の画像から検出される白線候補点を示す説明図
【図６】検索ライン上における輝度の変化の一例を示す説明図
【図７】自車走行路が急カーブしている場合の遠方での左右の白線と右側の白線検出領域との関係を示す説明図
【図８】撮像画像上の画素に基づく連続性の判定方法を示す説明図
【図９】実空間に投影された白線候補点の一例を示す説明図
【図１０】グループ化された白線候補点の一例を示す説明図
【図１１】仮白線近似線及び候補点選定領域を示す説明図
【図１２】選定した白線候補点を用いて演算された白線近似線及び次フレームで用いる白線検出領域を示す説明図
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は白線認識ルーチンを示すフローチャート、図３は白線候補点のグループ化処理サブルーチンを示すフローチャート、図４は車外環境の撮像画像の一例を模式的に示す説明図、図５は図４の画像から検出される白線候補点を示す説明図、図６は検索ライン上における輝度の変化の一例を示す説明図、図７は自車走行路が急カーブしている場合の遠方での左右の白線と右側の白線検出領域との関係を示す説明図、図８は撮像画像上の画素に基づく連続性の判定方法を示す説明図、図９は実空間に投影された白線候補点の一例を示す説明図、図１０はグループ化された白線候補点の一例を示す説明図、図１１は仮白線近似線及び候補点選定領域を示す説明図、図１２は選定した白線候補点を用いて演算された白線近似線及び次フレームで用いる白線検出領域を示す説明図である。
【００１２】
図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている、この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。
【００１３】
また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。
【００１４】
ステレオカメラ３は、ステレオ光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、ぞれぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。
【００１５】
ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して周知のグルーピング処理を行い、予め記憶しておいた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。
【００１６】
ここで、本実施形態において認識対象となる白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線等が併設された多重線（二重線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、更に、黄色線等をも含む。また、本実施形態の白線認識においては、道路上に実在する白線が二重白線等であっても、左右それぞれ単一の直線或いは曲線等で近似して認識するものとする。
【００１７】
ところで、実際の道路上に敷設された白線には上述のように各種バリエーションが存在する他、白線の形態は走行路の分岐や合流等に伴って変化する。加えて、道路上には路面補修跡や、水溜まり、雪等の各種ノイズが存在する。従って、画一的な処理によって、全ての場面で精度よく白線を認識することは困難となる。そこで、ステレオ画像認識装置４は、上述のような距離画像に基づくパターンマッチングを用いた白線認識のみに頼ることなく、各種方式を用いた白線認識を補完的に行い、これらの認識結果を総合的に判断して最終的な白線を認識する。
【００１８】
このような白線認識の一つとして、ステレオ画像認識装置４は、自車前方を撮像した一方の画像（例えば、図４に示す基準画像）上の水平方向の輝度変化に基づいて左右の白線認識を行う。具体的に説明すると、例えば、図５に示すように、ステレオ画像認識装置４は、画像上に左右の白線検出領域Ａ（Ａｌ，Ａｒ）を設定し、各白線検出領域Ａ内で水平方向に延在する複数の検索ラインｌに対し、検索ラインｌ毎に車幅方向内側から外側に向けて輝度変化を調べる。そして、ステレオ画像認識装置４は、各白線検出領域Ａ内の各検索ラインｌ上において、輝度が暗から明に所定以上変化する最初のエッジ点を白線候補点Ｐｄ（Ｐｄｌ，Ｐｄｒ）としてそれぞれ検出する。
【００１９】
ここで、自車走行路上の遠方に曲率の大きなカーブが存在する場合、左右の白線検出領域Ａｌ，Ａｒが画像上で重畳され、例えば、図７に示すように、一方の白線検出領域Ａ（図示の例では、右側の白線検出領域Ａｌ）内に左右の白線が含まれる場合がある。このような場合、本実施形態のように車幅方向内側から外側に向けての輝度変化を調べると、他方の白線のエッジ点が一方の白線の白線候補点Ｐｄとして誤検出される場合がある。そこで、ステレオ画像認識装置４は、左右の白線検出領域Ａｌ，Ａｒ内で検出された各白線候補点Ｐｄｌ，Ｐｄｒの中から、真に左右の各白線をそれぞれ示す白線候補点Ｐ（Ｐｌ，Ｐｒ）の選定を行い、選定した白線候補点Ｐに基づいて白線近似線Ｌを演算する。
【００２０】
具体的に説明すると、ステレオ画像認識装置４は、左右の白線検出領域Ａ毎に、互いに隣接する白線候補点Ｐｄの連続性を、手前側（自車側）から遠方側へと向けて順次判定する。そして、ステレオ画像認識装置４は、予め設定された連続性を有して設定数以上連続する白線候補点Ｐｄの点群が存在する場合には当該点群を第１のグループとしてグループ化し、連続性を有する白線候補点Ｐｄの数が設定数未満の場合には当該点群を第２のグループとしてグループ化する（図１０参照）。ここで、本実施形態において、ステレオ画像認識装置４は、白線候補点Ｐｄのグループ化に際し、距離画像上の距離情報等に基づいて各白線候補点Ｐｄの実空間上への投影を行う（図９参照）。そして、ステレオ画像認識装置４は、例えば、撮像画像上で隣接する各白線候補点Ｐｄ間の画素単位の誤差量、及び、実空間上で隣接する白線候補点Ｐｄ間の距離の誤差量に基づいて各白線候補点Ｐｄ間の連続性を総合的に判断する。
【００２１】
全ての白線候補点Ｐｄについてのグループ化処理が行われると、ステレオ画像認識装置４は、左右の白線検出領域Ａ毎に、第１のグループとしてグループ化された白線候補点Ｐｄのみを用いて仮の白線近似線（仮白線近似線）Ｌｔ（Ｌｔｌ，Ｌｔｒ）を演算する（図１１参照）。すなわち、第１のグループとしてグループ化された各白線候補点Ｐｄは、所定の連続性を有しているため、左右の各白線をぞれぞれ示すものとして信頼性が高い。そこで、ステレオ画像認識装置４は、これら信頼性の高い白線候補点のみを用いて、仮白線近似線Ｌｔを演算することにより、実際の白線形状から大きく逸脱することのない、白線の概略形状を把握する。
【００２２】
そして、ステレオ画像認識装置４は、左右の仮白線近似線Ｌｔを基準とする各候補点選定領域Ａｓ（Ａｓｌ，Ａｓｒ）をそれぞれ設定し、左右の白線検出領域内Ａｌ，Ａｒ内で検出した全ての白線候補点Ｐｄの中から各候補点選定領域Ａｓ内に存在する白線候補点Ｐｄを、左右の各白線についての最終的な白線候補点Ｐ（Ｐｌ，Ｐｒ）としてそれぞれ選定する。
【００２３】
そして、ステレオ画像認識装置４は、左右の各候補点選定領域Ａｓ内で選定した白線候補点Ｐを用いて最終的な左右の白線近似線Ｌ（Ｌｌ，Ｌｒ）をそれぞれ演算するとともに、演算した各白線近似線Ｌに基づいて次フレームでの白線検出領域Ａを設定する（図１２参照）。
【００２４】
このように、本実施形態において、ステレオ画像認識装置４は、候補点検出手段、グループ化手段、仮白線近似線演算手段、候補点選定手段、及び、白線近似線演算手段としての各機能を実現する。
【００２５】
なお、ステレオ画像認識装置４は、その他の種々の方法によって白線認識を行うことが可能となっている。そして、ステレオ画像認識装置４は、例えば、各白線認識において認識した白線の近似線と当該認識に用いられたエッジ点等の白線候補点との関係（例えば、近似線に対する白線候補点の分散等）に基づき、認識した各近似線の中から最も適切な近似線を選択し、当該近似線を最終的な白線の近似線として制御ユニット５に出力する。
【００２６】
制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。
【００２７】
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に追従対象の先行車が走行しているか否かを識別する。
【００２８】
その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。
【００２９】
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
【００３０】
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線の近似線）に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
【００３１】
次に、ステレオ画像認識装置４において実行される、基準画像上の輝度変化に基づく白線認識について、図２に示す白線認識ルーチンのフローチャートに従って説明する。なお、本ルーチンによる処理は、左右の白線検出領域Ａｌ，Ａｒそれぞれに対して同様の処理が個別に行われるものであるが、説明を簡略化するため、以下の説明において特に必要な場合を除き、例えば白線検出領域Ａｌ，Ａｒを総称して白線検出領域Ａと標記する等、左右の属性を示す添字”ｌ”及び”ｒ”を適宜省略して説明する。
【００３２】
このルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、前フレームの画像に対するステップＳ１０７の処理で設定された白線検出領域Ａ内の各検索ラインｌ毎に白線候補点Ｐｄの検出を行う。具体的には、例えば、図６に示すように、ステレオ画像認識装置４は、車幅方向内側から外側に向けて、各検索ラインｌ上でのエッジ検出を行い、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点）を検出する。そして、ステレオ画像認識装置４は、白線検出領域Ａ内の各検索ラインｌ上において、最初に検出されたエッジ点を白線候補点Ｐｄとして抽出する（図５，７参照）。なお、図５，７においては、説明を簡略化するため、検索ラインｌ及び白線候補点Ｐｄ等が所定に間引かれて表示されている。
【００３３】
続くステップＳ１０２において、ステレオ画像認識装置４は、ステップＳ１０１で検出した各白線候補点Ｐｄを、距離画像上で該当する画素の距離情報、及び、基準画像上で該当する画素の水平方法の画素位置等に基づいて、実空間上に投影する（図９参照）。
【００３４】
そして、ステップＳ１０２からステップＳ１０３に進むと、ステレオ画像認識装置４は、左右の白線検出領域Ａｌで検出された白線候補点Ｐｄ毎に、白線候補点Ｐｄのグループ化処理を行う。
【００３５】
このグループ化処理は、例えば、図３に示す白線候補点のグループ化処理サブルーチンに従って行われる。サブルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ２０１において、現時点でグループ化されていない白線候補点Ｐｄの中で最も自車１側に位置する白線候補点Ｐｄを抽出し、抽出した白線候補点Ｐｄを最初の白線候補点Ｐｄとして組み込んだ新たなグループを作成する。
【００３６】
そして、ステップＳ２０１からステップＳ２０２に進むと、ステレオ画像認識装置４は、現在グループ内に組み込まれている最後尾の白線候補点Ｐｄよりも遠方に白線候補点（次の白線候補点）Ｐｄが存在するか否かを調べる。
【００３７】
そして、ステップＳ２０２において、次の白線候補点Ｐｄが存在すると判定すると、ステレオ画像認識装置４は、ステップＳ２０３に進み、当該次の白線候補点Ｐｄを注目する白線候補点Ｐｄ（ｎ）とする従前の白線候補点Ｐｄとの比較により、画素に基づく誤差判定を行う。すなわち、ステレオ画像認識装置４は、例えば、図８に示すように、注目する白線候補点Ｐｄ（ｎ）と、１つ手前の白線候補点Ｐｄ（ｎ−１）との画像上における水平方向（ｉ方向）及び垂直方向（ｊ方向）の画素のずれ量（水平方向誤差Δｉ、及び、垂直方向誤差Δｊ）を演算する。さらに、ステレオ画像認識装置４は、１つ手前の白線候補点Ｐｄ（ｎ−１）と、２つ手前の白線候補点Ｐｄ（ｎ−２）との画像上における水平方向誤差Δｉ＿ｏｌｄ、及び、垂直方向誤差Δｊ＿ｏｌｄを演算し、以下の（１）式を用いて、水平方向誤差変化量Δｓを演算する。
Δｓ＝（Δｉ／Δｊ）−（Δｉ＿ｏｌｄ／Δｊ＿ｏｌｄ） …（１）
そして、ステレオ画像認識装置４は、水平方向誤差Δｉ、垂直方向誤差Δｊ、及び、水平方向誤差変化量Δｓの全てが予め設定された閾値内である場合、白線候補点Ｐｄ（ｎ）は１つ手前の白線候補点Ｐｄ（ｎ−１）に対して画像上における連続性を有すると判断する。一方、水平方向誤差Δｉ、垂直方向誤差Δｊ、或いは、水平方向誤差変化量Δｓの少なくとも何れか１つが予め設定された閾値内にない場合、白線候補点Ｐｄ（ｎ）は１つ手前の白線候補点Ｐｄ（ｎ−１）に対して画像上における連続性を有さないと判断する。
【００３８】
ステップＳ２０３からステップＳ２０４に進むと、ステレオ画像認識装置４は、注目する白線候補点Ｐｄ（ｎ）と従前の白線候補点Ｐｄとの距離に基づく誤差判定を行う。すなわち、ステレオ画像認識装置４は、注目する白線候補点Ｐｄ（ｎ）と１つ手前の白線候補点Ｐｄ（ｎ−１）との実空間上における水平方向（Ｘ方向）と垂直方向（Ｚ方向）の距離のずれ量（水平方向距離誤差ΔＸ、及び、垂直方向距離誤差ΔＺ）を演算する。
【００３９】
そして、ステレオ画像認識装置４は、水平方向距離誤差ΔＸ、及び、垂直方向距離誤差ΔＺの全てが予め設定された閾値内である場合、白線候補点Ｐｄ（ｎ）は１つ手前の白線候補点Ｐｄ（ｎ−１）に対して実空間距離上における連続性を有すると判断する。一方、水平方向距離誤差ΔＸ、或いは、垂直方向距離誤差ΔＺの少なくとも何れか１つが予め設定された閾値内にない場合、白線候補点Ｐｄ（ｎ）は１つ手前の白線候補点Ｐｄ（ｎ−１）に対して実空間距離上における連続性を有さないと判断する。
【００４０】
ステップＳ２０４からステップＳ２０５に進むと、ステレオ画像認識装置４は、ステップＳ２０３の画素に基づく誤差判定、及び、ステップＳ２０４の距離の基づく誤差判定の何れもにおいて、注目する白線候補点Ｐｄ（ｎ）が１つ手前の白線候補点Ｐｄ（ｎ−１）に対して連続性を有すると判定されたか否かを調べる。
【００４１】
そして、ステップＳ２０３或いはステップＳ２０４の少なくとも何れか一方において白線候補点Ｐｄ（ｎ）が白線候補点Ｐｄ（ｎ−１）に対して連続性なしと判定されている場合、ステレオ画像認識装置４は、現在の注目する白線候補点Ｐｄ（ｎ）を現在のグループに組み込むことなくステップＳ２０５からステップＳ２０６に進み、現在のグループを第１のグループ或いは第２のグループの何れかに分類した後、ステップＳ２０１に戻る。すなわち、ステップＳ２０６において、ステレオ画像認識装置４は、現在のグループに属する白線候補点Ｐｄの数が予め設定された閾値以上である場合、各白線候補点Ｐｄは現在認識対象として注目している白線（自車１の右側の白線、或いは、左側の白線）を示すものである可能性が高いと判断して、当該グループを第１のグループに分類する。一方、現在のグループに属する白線候補点Ｐｄの数が予め設定された閾値未満である場合、各白線候補点Ｐｄは現在認識対象として注目している白線を示すものと判定するには不十分であると判断して、当該グループを第２のグループに分類する（図１０参照）。
【００４２】
一方、ステップＳ２０３及びステップＳ２０４の何れにおいても白線候補点Ｐｄ（ｎ）が白線候補点Ｐｄ（ｎ−１）に対して連続性ありと判定されている場合、ステレオ画像認識装置４は、現在の注目する白線候補点Ｐｄ（ｎ）を現在のグループに取り込んだ後、ステップＳ２０５からステップＳ２０２に戻る。
【００４３】
また、ステップＳ２０２において、次の白線候補点Ｐｄが存在しないと判定すると、ステレオ画像認識装置４は、ステップＳ２０７に進み、上述のステップＳ２０６と同様の処理により、現在のグループを第１のグループ或いは第２のグループの何れかに分類した後、サブルーチンを抜ける。
【００４４】
図２のメインルーチンにおいて、ステップＳ１０３からステップＳ１０４に進むと、ステレオ画像認識装置４は、左右の白線検出領域Ａ毎に、ステップＳ１０３で第１のグループとしてグループ化された白線候補点Ｐｄのみを用いて仮白線近似線Ｌｔを演算する（図１１参照）。ここで、本実施形態の仮白線近似線Ｌｔは、以下の（２）式に示すように、車両１に対する鉛直方向Ｚ距離に対し、ａ，ｂ，ｃの各パラメータによって白線の車両水平方向距離Ｘが同定されるものである。
Ｘ＝ａＺ２＋ｂＺ＋ｃ …（２）
ここで、（２）式に示す仮白線近似線Ｌｔのパラメータａ，ｂ，ｃは、例えば、第１のグループに属する白線候補点Ｐｄを用いた最小二乗法によって求めることが可能であり、各パラメータａ，ｂ，ｃは、仮白線近似線Ｌｔに対する各白線候補点Ｐｄの分散が最小となる値に決定される。なお、（２）式においては、便宜上、パラメータを左右共通の記号ａ，ｂ，ｃで表記しているが、これらは、左右の仮白線近似線Ｌｔｌ，Ｌｔｒについて個別に設定されるものであることは云うまでもない。
【００４５】
続くステップＳ１０５において、ステレオ画像認識装置４は、ステップＳ１０４で演算した仮近似曲線Ｌｔに基づき、左右の各白線についての最終的な白線候補点Ｐｄの選定を行う。すなわち、ステレオ画像認識装置４は、ステップＳ１０４で求めた仮白線近似線Ｌｔを車幅方向内側及び外側にそれぞれΔＥオフセットさせることにより、以下の（３）式及び（４）式で規定される候補点選定領域Ａｓを設定する（図１１参照）。
Ｘ１＝ａＺ２＋ｂＺ＋ｃ−ΔＥ …（３）
Ｘ２＝ａＺ２＋ｂＺ＋ｃ＋ΔＥ …（４）
そして、ステレオ画像認識装置４は、左右の各白線検出領域Ａｌ，Ａｒで検出された全ての白線候補点Ｐｄｌ，Ｐｄｒの中から、左側の候補点選定領域Ａｓｌ内に存在する白線候補点Ｐｄｌ及びＰｄｒを、左側の白線についての最終的な白線候補点Ｐｌとして選定すると共に、右側の候補点選定領域Ａｓｒ内に存在する白線候補点Ｐｄｌ及びＰｄｒを、右側の白線についての最終的な白線候補点Ｐｒとして選定する（図１２参照）。
【００４６】
続くステップＳ１０６において、ステレオ画像認識装置４は、左右の各候補点選定領域Ａｓで選定した白線候補点Ｐを用いて左右の白線近似線Ｌをそれぞれ演算する（図１２参照）。ここで、本実施形態の白線近似線Ｌは、上述の仮白線近似線Ｌｔと同様、以下の（５）式に示すように、車両１に対する鉛直方向Ｚ距離に対し、Ａ，Ｂ，Ｃの各パラメータによって白線の車両水平方向距離Ｘが同定されるものである。
Ｘ＝ＡＺ２＋ＢＺ＋Ｃ …（５）
ここで、（２）式に示す仮白線近似線ＬｔのパラメータＡ，Ｂ，Ｃは、例えば、最終的な白線候補点Ｐを用いた最小二乗法によって求めることが可能であり、各パラメータＡ，Ｂ，Ｃは、白線近似線Ｌに対する各白線候補点Ｐの分散が最小となる値に決定される。なお、（５）式においては、便宜上、パラメータを左右共通の記号Ａ，Ｂ，Ｃで表記しているが、これらは、左右の仮白線近似線Ｌｔｌ，Ｌｔｒについて個別に設定されるものであることは云うまでもない。
【００４７】
そして、ステップＳ１０７に進むと、ステレオ画像認識装置４は、ステップＳ１０６で演算した白線近似線Ｌを車幅方向内側及び外側にそれぞれΔＥオフセットされることにより、以下の（６）式及び（７）式で規定される次フレームでの白線検出領域Ａを設定した後（図１２参照）、ルーチンを抜ける。
Ｘ１＝ＡＺ２＋ＢＺ＋Ｃ−ΔＥ …（６）
Ｘ２＝ＡＺ２＋ＢＺ＋Ｃ＋ΔＥ …（７）
このような実施形態によれば、左右の白線検出領域Ａ毎に、互いに隣接する白線候補点Ｐｄの連続性を順次判定し、予め設定された連続性を有して所定数以上連続する白線候補点の点群を第１のグループとしてグループ化し、グループ化された白線候補点のみを用いて仮白線近似線Ｌｔを演算することにより、左右の各白線をそれぞれ示すものとして信頼性の高い白線候補点Ｐｄのみを用いて、実際の白線形状から大きく逸脱することのない白線形状を把握することができる。そして、左右の仮白線近似線Ｌｔを基準とする候補点選定領域Ａｓをそれぞれ設定し、左右の白線検出領域Ａで検出した全ての白線候補点Ｐｄの中から各候補点選定呂域Ａｓ内に存在する白線候補点Ｐｄを最終的な白線候補点Ｐとしてそれぞれ選定することにより、左右の白線候補点Ｐｄが入り交じって検出された場合にも、これらを精度よく分離することができる。そして、このように精度よく左右に分離した白線候補点Ｐに基づいて白線近似線Ｌをそれぞれ演算することにより、自車走行路前方にカーブが存在する場合にも白線を遠方まで精度よく認識することができる。
【００４８】
その際、連続性の判定を、白線候補点Ｐｄの検出精度の高い自車１の手前側から遠方側に向けて順次行うことにより、精度のよい判定結果を得ることができる。
【００４９】
なお、上述の実施形態においては、ステレオカメラを用いて各画素の距離情報を演算する一例について説明したが、本発明はこれに限定されるものではなく、例えば、自車走行路が平坦路であると仮定して、単眼のカメラで捉えた画像から各白線候補点の距離情報を演算することも可能である。
【符号の説明】
【００５０】
１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（候補点検出手段、グループ化手段、仮白線近似線演算手段、候補点選定手段、白線近似線演算手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ
【特許請求の範囲】
【請求項１】
自車走行路を撮像した画像上に設定した左右の各白線検出領域内で水平方向に延在する検索ライン毎に車幅方向の輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点をそれぞれ白線候補点として検出する候補点検出手段と、
左右の前記白線検出領域毎に、互いに隣接する前記白線候補点の連続性を順次判定し、予め設定された連続性を有して所定数以上連続する前記白線候補点の点群をそれぞれグループ化するグループ化手段と、
左右の前記白線検出領域毎に、グループ化された前記白線候補点に基づいて仮白線近似線を演算する仮白線近似線演算手段と、
左右の前記仮白線近似線を基準とする候補点選定領域をそれぞれ設定し、左右の前記白線検出領域で検出した前記白線候補点の中から前記各候補点選定領域内に存在する前記白線候補点をそれぞれ選定する候補点選定手段と、
左右の前記各候補点選定領域内で選定した前記白線候補点を用いて左右の白線近似線をそれぞれ演算する白線近似線演算手段と、を備えたことを特徴とする車両用白線認識装置。
【請求項１】
自車走行路を撮像した画像上に設定した左右の各白線検出領域内で水平方向に延在する検索ライン毎に車幅方向の輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点をそれぞれ白線候補点として検出する候補点検出手段と、
左右の前記白線検出領域毎に、互いに隣接する前記白線候補点の連続性を順次判定し、予め設定された連続性を有して所定数以上連続する前記白線候補点の点群をそれぞれグループ化するグループ化手段と、
左右の前記白線検出領域毎に、グループ化された前記白線候補点に基づいて仮白線近似線を演算する仮白線近似線演算手段と、
左右の前記仮白線近似線を基準とする候補点選定領域をそれぞれ設定し、左右の前記白線検出領域で検出した前記白線候補点の中から前記各候補点選定領域内に存在する前記白線候補点をそれぞれ選定する候補点選定手段と、
左右の前記各候補点選定領域内で選定した前記白線候補点を用いて左右の白線近似線をそれぞれ演算する白線近似線演算手段と、を備えたことを特徴とする車両用白線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１６４２８８（Ｐ２０１２−１６４２８８Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２６３３７（Ｐ２０１１−２６３３７）
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]