車両用白線認識装置
【課題】演算時間を軽減しつつ、精度よく白線近似線を求めることができる車両用白線認識装置を提供する。
【解決手段】ステレオ画像認識装置４は、実空間上での白線の概略形状を近似する仮白線近似線の各係数を同定するに際し、前フレームで認識した白線近似線に基づいて低次側係数を同定し、同定されていない複数の高次側係数の組合せを、実空間上に投影された白線候補点Ｐｄ毎に当該白線候補点Ｐｄの座標と低次側係数とを用いて複数パターン演算し、最も多く演算された高次側係数の組合せを仮白線近似線Ｌｔの高次側係数として同定する。そして、仮白線近似線Ｌｔを基準とする候補点選定領域Ａｓを設定するとともに、当該候補点選定領域Ａｓ内に存在する白線候補点Ｐｄを最終的な白線候補点Ｐとして選定し、選定した白線候補点Ｐに基づいて白線近似線Ｌを演算する。
【解決手段】ステレオ画像認識装置４は、実空間上での白線の概略形状を近似する仮白線近似線の各係数を同定するに際し、前フレームで認識した白線近似線に基づいて低次側係数を同定し、同定されていない複数の高次側係数の組合せを、実空間上に投影された白線候補点Ｐｄ毎に当該白線候補点Ｐｄの座標と低次側係数とを用いて複数パターン演算し、最も多く演算された高次側係数の組合せを仮白線近似線Ｌｔの高次側係数として同定する。そして、仮白線近似線Ｌｔを基準とする候補点選定領域Ａｓを設定するとともに、当該候補点選定領域Ａｓ内に存在する白線候補点Ｐｄを最終的な白線候補点Ｐとして選定し、選定した白線候補点Ｐに基づいて白線近似線Ｌを演算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線認識が行われ、認識した白線に基づいて自車走行レーンの推定等が行われる。この種の白線認識の技術として、例えば、特許文献１には、自車両の前方を撮像した画像上を水平方向に延びるライン毎に検索して輝度値及び輝度微分値についてそれぞれ設定された閾値以上である画素を車線候補点として検出し、検索により検出された複数の車線候補点に基づいて車線（白線）位置を検出する技術が開示されている。
【０００３】
ところで、道路上には、白線以外にもノイズとなる雪や、道路の模様、路面の補修跡、水溜まり等が多く存在し、真正な白線候補点のみを検出することは容易でない状況が多く存在する。そこで、例えば、上述の特許文献１には、撮像された画像上の候補点群に対してハフ変換を行い、最も候補点が多くフィッティングする直線（ハフ直線）を求め、その直線から外れた候補点をノイズとして除外する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２６４９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、道路形状は直線のみで近似できるものばかりではなく、曲率を持ったカーブ区間を含む場合には、白線候補点の適切な選定を行うことが困難な場合がある。
【０００６】
これに対し、公知の手法として、曲線や円等を規定するハフ変換手法が存在しており、例えば、実空間における白線候補点を２次の関数で近似する際に、曲率、傾き、切片等のパラメータをハフ変換を用いて統計的に同定し、これに基づいて白線候補点の選定を行うことは原理的には可能である。
【０００７】
しかしながら、全てのパラメータをハフ変換によって同定する計算処理は、膨大な演算処理を必要とし、リアルタイムで処理するという観点からは現実的でない。
【０００８】
本発明は上記事情に鑑みてなされたもので、演算時間を軽減しつつ、精度よく白線近似線を求めることができる車両用白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様による車両用白線認識装置は、自車走行路を撮像した画像上に設定した白線検出領域内で水平方向に延在する検索ライン毎に車幅方向の輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点を白線候補点として検出する候補点検出手段と、過去の白線検出結果に基づき、実空間上での白線の概略形状を近似する高次の近似式からなる仮白線近似線について零次の係数を含む低次側係数を同定する低次側係数同定手段と、前記仮近似線について前記低次側係数設定手段で同定されていない複数の高次側係数の組合せを、実空間上に投影された前記白線候補点毎に当該白線候補点の座標と前記低次側係数とを用いて複数パターン演算し、最も多く演算された前記高次側係数の組合せを、前記仮白線近似線の高次側係数として同定する高次側係数同定手段と、前記各係数が同定された前記仮白線近似線を基準とする候補点選定領域を設定し、前記白線検出領域内で検出された前記白線候補点の中から前記候補点選定領域内に存在する前記白線候補点を選定する候補点選定手段と、前記候補点選定領域内で選定した前記白線候補点を用いて白線近似線を演算する白線近似線演算手段と、を備える。
【発明の効果】
【００１０】
本発明の車両用白線認識装置によれば、演算時間を軽減しつつ、精度よく白線近似線を求めることができる。
【図面の簡単な説明】
【００１１】
【図１】車両用運転支援装置の概略構成図
【図２】白線認識ルーチンを示すフローチャート
【図３】係数同定サブルーチンを示すフローチャート
【図４】車外環境の撮像画像の一例を模式的に示す説明図
【図５】図４の画像から検出される白線候補点を示す説明図
【図６】検索ライン上における輝度の変化の一例を示す説明図
【図７】実空間に投影された白線候補点の一例を示す説明図
【図８】（ａ）は走行による自車の移動量を示す説明図であって（ｂ）は前フレームで検出した白線候補点の自車に対する相対的な移動量を示す説明図
【図９】基準点と注目する白線候補点との２点間を通る２次曲線の各パターンを示す説明図
【図１０】各１次係数に基づいて演算された２次係数を示す説明図
【図１１】（ａ）は１の白線候補点について各１次係数に基づいて演算された２次係数を規格化して投票した係数分布表の一例を示す説明図であって（ｂ）は複数の白線候補点について各１次係数に基づいて演算された２次係数を規格化して投票した係数分布表の一例を示す説明図
【図１２】仮白線近似線及び候補点選定領域を示す説明図
【図１３】選定した白線候補点を用いて演算された白線近似線及び次フレームで用いる白線検出領域を示す説明図
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は白線認識ルーチンを示すフローチャート、図３は係数同定サブルーチンを示すフローチャート、図４は車外環境の撮像画像の一例を模式的に示す説明図、図５は図４の画像から検出される白線候補点を示す説明図、図６は検索ライン上における輝度の変化の一例を示す説明図、図７は実空間に投影された白線候補点の一例を示す説明図、図８（ａ）は走行による自車の移動量を示す説明図であって（ｂ）は前フレームで検出した白線候補点の自車に対する相対的な移動量を示す説明図、図９は基準点と注目する白線候補点との２点間を通る２次曲線の各パターンを示す説明図、図１０は各１次係数に基づいて演算された２次係数を示す説明図、図１１（ａ）は１の白線候補点について各１次係数に基づいて演算された２次係数を規格化して投票した係数分布表の一例を示す説明図であって（ｂ）は複数の白線候補点について各１次係数に基づいて演算された２次係数を規格化して投票した係数分布表の一例を示す説明図、図１２は仮白線近似線及び候補点選定領域を示す説明図、図１３は選定した白線候補点を用いて演算された白線近似線及び次フレームで用いる白線検出領域を示す説明図である。
【００１３】
図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている、この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。
【００１４】
また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。
【００１５】
ステレオカメラ３は、ステレオ光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、ぞれぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。
【００１６】
ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して周知のグルーピング処理を行い、予め記憶しておいた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。
【００１７】
ここで、本実施形態において認識対象となる白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線等が併設された多重線（二重線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、更に、黄色線等をも含む。また、本実施形態の白線認識においては、道路上に実在する白線が二重白線等であっても、左右それぞれ単一の直線或いは曲線等で近似して認識するものとする。
【００１８】
ところで、実際の道路上に敷設された白線には上述のように各種バリエーションが存在する他、白線の形態は走行路の分岐や合流等に伴って変化する。加えて、道路上には路面補修跡や、水溜まり、雪等の各種ノイズが存在する。従って、画一的な処理によって、全ての場面で精度よく白線を認識することは困難となる。そこで、ステレオ画像認識装置４は、上述のような距離画像に基づくパターンマッチングを用いた白線認識のみに頼ることなく、各種方式を用いた白線認識を補完的に行い、これらの認識結果を総合的に判断して最終的な白線を認識する。
【００１９】
このような白線認識の一つとして、ステレオ画像認識装置４は、自車前方を撮像した一方の画像（例えば、図４に示す基準画像）上の水平方向の輝度変化に基づいて左右の白線認識を行う。具体的に説明すると、例えば、図５に示すように、ステレオ画像認識装置４は、画像上に左右の白線検出領域Ａ（Ａｌ，Ａｒ）を設定し、各白線検出領域Ａ内で水平方向に延在する複数の検索ラインｌに対し、検索ラインｌ毎に車幅方向内側から外側に向けて輝度変化を調べる。そして、ステレオ画像認識装置４は、各白線検出領域Ａ内の各検索ラインｌ上において、輝度が暗から明に所定以上変化する最初のエッジ点を白線候補点Ｐｄ（Ｐｄｌ，Ｐｄｒ）としてそれぞれ検出する。
【００２０】
そして、ステレオ画像認識装置４は、各白線候補点Ｐｄを実空間上に投影し（図７参照）、投影した左右の白線候補点Ｐｄの各点群に対して、高次の近似式（関数）からなる仮白線近似線Ｌｔ（Ｌｔｌ，Ｌｔｒ）を演算し、当該仮白線近似線を基準とする候補点選定領域Ａｓ（Ａｓｌ，Ａｓｒ）を設定する（図１２参照）。
【００２１】
そして、ステレオ画像認識装置４は、白線候補点Ｐｄの中から、候補点選定領域Ａｓ内に存在する白線候補点Ｐｄを最終的な白線候補点Ｐ（Ｐｌ，Ｐｒ）として選定する（図１２参照）。
【００２２】
そして、ステレオ画像認識装置４は、左右の各候補点選定領域Ａｓ内で選定した白線候補点Ｐを用いて最終的な左右の白線近似線Ｌ（Ｌｌ，Ｌｒ）をそれぞれ演算するとともに、演算した仮白線近似線Ｌに基づいて次フレームでの白線検出領域Ａを設定する（図１３参照）。
【００２３】
ここで、ステレオ画像認識装置４は、仮白線近似線Ｌｔの設定に際し、先ず、過去の白線検出結果に基づき、零次の係数（定数）を含む低次側係数を同定する。例えば、本実施形態における仮白線近似線Ｌｔは２次の近似式で規定されるようになっており、この場合、ステレオ画像認識装置４は、前フレームで認識した白線近似線に基づいて、０次の係数（定数）を同定する。
【００２４】
また、低次側係数を同定すると、ステレオ画像認識装置４は、同定されていない複数の高次側係数の同定を行う。この高次側係数の同定において、ステレオ画像認識装置４は、実空間上に投影された白線候補点Ｐｄ毎に、当該白線候補点Ｐｄの座標と低次側係数とを用いて、高次側係数の組合せを複数パターン演算する。そして、最も多く演算された高次側係数の組合せを抽出し、抽出した高次側係数を仮白線近似線Ｌｔの係数として同定する。例えば、仮白線近似線Ｌｔが２次の近似式で規定される本実施形態において、ステレオ画像認識装置４は、０次係数が同定された仮白線近似線Ｌｔに白線候補点Ｐｄの座標を代入することにより、白線候補点Ｐｄ毎に、２次係数と１次係数との組合せを複数パターン演算する。そして、全ての白線候補点Ｐｄについて、２次係数と１次係数との組合せを複数パターン演算すると、ステレオ画像認識装置４は、演算した２次係数と１次係数との組合せの中から、最も多く演算された組合せを抽出し、当該組合せを仮白線近似線Ｌｔの高次側係数として同定する。
【００２５】
このように、本実施形態において、ステレオ画像認識装置４は、候補点検出手段、低次側係数同定手段、高次側係数同定手段、候補点選定手段、及び、白線近似線演算手段としての各機能を実現する。
【００２６】
なお、ステレオ画像認識装置４は、その他の種々の方法によって白線認識を行うことが可能となっている。そして、ステレオ画像認識装置４は、例えば、各白線認識において認識した白線の近似線と当該認識に用いられたエッジ点等の白線候補点との関係（例えば、近似線に対する白線候補点の分散等）に基づき、認識した各近似線の中から最も適切な近似線を選択し、当該近似線を最終的な白線の近似線として制御ユニット５に出力する。
【００２７】
制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。
【００２８】
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に追従対象の先行車が走行しているか否かを識別する。
【００２９】
その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。
【００３０】
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
【００３１】
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線の近似線）に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
【００３２】
次に、ステレオ画像認識装置４において実行される、基準画像上の輝度変化に基づく白線認識について、図２に示す白線認識ルーチンのフローチャートに従って説明する。なお、本ルーチンによる処理は、左右の白線検出領域Ａｌ，Ａｒそれぞれに対して同様の処理が個別に行われるものであるが、説明を簡略化するため、以下の説明において特に必要な場合を除き、例えば白線検出領域Ａｌ，Ａｒを総称して白線検出領域Ａと標記する等、左右の属性を示す添字”ｌ”及び”ｒ”を適宜省略して説明する。
【００３３】
このルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、前フレームの画像に対するステップＳ１０８の処理で設定された白線検出領域Ａ内の各検索ラインｌ毎に白線候補点Ｐｄの検出を行う。具体的には、例えば、図６に示すように、ステレオ画像認識装置４は、車幅方向内側から外側に向けて、各検索ラインｌ上でのエッジ検出を行い、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点）を検出する。そして、ステレオ画像認識装置４は、白線検出領域Ａ内の各検索ラインｌ上において、最初に検出されたエッジ点を白線候補点Ｐｄとして抽出する（図５参照）。なお、図５においては、説明を簡略化するため、検索ラインｌ及び白線候補点Ｐｄ等が所定に間引かれて表示されている。
【００３４】
続くステップＳ１０２において、ステレオ画像認識装置４は、ステップＳ１０１で検出した各白線候補点Ｐｄを、距離画像上で該当する画素の距離情報、及び、基準画像上で該当する画素の水平方法の画素位置等に基づいて、実空間に投影する（図７参照）。
【００３５】
ステップＳ１０２からステップＳ１０３に進むと、ステレオ画像認識装置４は、２次の近似式からなる仮白線近似線Ｌｔの０次係数（定数項ｃ）の同定処理を行う。すなわち、ステレオ画像認識装置４は、例えば、図８（ａ）に示す関係から、自車１の車速Ｖと、ヨーレートγから求まるヨー角θとに基づき、撮像画像の１フレームあたり（撮像画像が１フレーム更新されるまでの間ｔ）の自車１の移動量Δｘ，Δｚを、以下の（１）式及び（２）式を用いて演算する。
Δｘ＝Ｖ×ｓｉｎθ …（１）
Δｚ＝Ｖ×ｃｏｓθ …（２）
そして、ステレオ画像認識装置４は、自車の移動量Δｘ，Δｚを用い、前フレームで検出された白線候補点（選定が行われた後の最終的な白線候補点Ｐの前回値）Ｐｐｒの、自車１を基準とするＸ−Ｚ座標系上での移動量ｄＸ，ｄＺ（図８（ｂ）参照）を、以下の（３）式及び（４）式を用いて演算する。
ｄＸ＝Δｘ×ｃｏｓθ−Δｚ×ｓｉｎθ …（３）
ｄＺ＝Δｘ×ｓｉｎθ＋Δｚ×ｃｏｓθ …（４）
そして、ステレオ画像認識装置４は、移動量ｄＸ，ｄＺを用いてＸ−Ｚ座標系上で移動させた前フレームの各白線候補点Ｐｐｒ’を用い、現在の自車位置を基準とする現フレームでの白線近似線Ｌｐｒ’を、最小二乗法によって推定する。そして、求めた白線近似線Ｌｐｒ’の０次の係数を、仮白線近似線Ｌｔの０次の係数として同定する。
【００３６】
すなわち、自車１が車線変更等を行う場合以外、白線に対して自車位置が車幅方向に急激に変動することは考えにくい。そこで、仮白線近似線Ｌｔの低次側係数は、前フレームの白線候補点Ｐｐｒ’から自車移動量をもとに推定した現フレームでの白線近似線Ｌｐｒ’に基づいて同定される。
【００３７】
ここで、低次側係数の同定を簡略化する場合には、例えば、前フレームで演算した白線近似線Ｌｐｒの低次係数をそのまま仮白線近似線Ｌｔの低次係数として用いることも可能である。
【００３８】
そして、ステップＳ１０３からステップＳ１０４に進むと、ステレオ画像認識装置４は、前フレームで認識した白線候補点から自車移動量をもとに推定した現フレームでの白線近似線Ｌｐｒ’を構成する白線候補点Ｐｐｒ’の数が予め設定された閾値以上であるか否かを調べる。
【００３９】
そして、ステップＳ１０４において、白線候補点Ｐｐｒ’の数が閾値未満であると判定した場合、ステレオ画像認識装置４は、上述のステップＳ１０３において同定した低次側係数の精度が低い可能性が高いと判断して、そのままルーチンを抜ける。
【００４０】
一方、ステップＳ１０４において白線候補点Ｐｐｒ’の数が閾値以上であると判定した場合、ステレオ画像認識装置４は、ステップＳ１０５に進む。
【００４１】
ステップＳ１０４からステップＳ１０５に進むと、ステレオ画像認識装置４は、２次の近似式からなる仮白線近似線Ｌｔの２次係数ａ及び１次係数ｂの同定処理を行う。この同定処理は、例えば、図３に示す係数同定サブルーチンのフローチャートに従って実行される。なお、以下の説明において、各白線検出領域Ａ内で検出された白線候補点Ｐｄには、自車１に最も近い白線候補点Ｐｄから順に、ｎ＝１〜ｎｍａｘの番号が付されているものとする。
【００４２】
サブルーチンがスタートすると、ステレオ画像認識同値４は、先ず、ステップＳ２０１において、白線検出領域Ａ内で検出された白線候補点Ｐｄのうち、自車１に最も近い白線候補点Ｐｄ（ｎ＝１）を今回注目する白線候補点として抽出し、当該白線候補点Ｐｄの実空間上における座標（Ｘ、Ｚ）を、定数項ｃが同定された仮白線近似線Ｌｔの近似式に代入する。
【００４３】
続くステップＳ２０２において、ステレオ画像認識装置４は、１次係数ｂを、当該係数ｂに許容され得る範囲（例えば、ｂ＝−β〜β）の最低値（−β）にセットした後、ステップＳ２０３に進む。
【００４４】
ステップＳ２０２からステップＳ２０３に進むと、ステレオ画像認識装置４は、現在セットされている１次係数ｂを用い、仮白線近似線Ｌｔの近似式を変形した以下の（５）式を用いて、２次係数ａを算出する（図１０参照）。
ａ＝（Ｘ−ｂＺ−ｃ）／Ｚ２ …（５）
そして、ステップＳ２０４に進むと、ステップＳ２０３で算出した１次係数ａを予め設定されたΔα刻みの値にデジタル化（規格化）し、続くステップＳ２０５において、図１１に示す係数分布表の該当箇所に投票する（図１１参照）。
【００４５】
ステップＳ２０５からステップＳ２０６に進むと、ステレオ画像認識装置４は、１次係数ｂの値が当該係数ｂのとり得る最大値βに達したか否かを調べる。
【００４６】
そして、ステップＳ２０６において、１次係数ｂが未だ最大値βに達していない（すなわち、ｂ≠βである）と判断した場合、ステレオ画像認識装置４は、ステップ２０７に進み、１次係数ｂの値をΔβだけ高値側の値に更新した後、ステップＳ２０３に戻る。
【００４７】
そして、ステップＳ２０３〜ステップＳ２０７の処理が繰り返し実行されることにより、例えば、図９に示すように、０次係数ｃと注目する白線候補点Ｐｄとを通る複数パターンの２次曲線（係数ａ，ｂ）が演算される。
【００４８】
一方、ステップＳ２０６において、１次係数ｂが最大値βに達した（すなわち、ｂ＝βである）と判断した場合、ステレオ画像認識装置４は、ステップＳ２０８に進み、今回注目している白線候補点Ｐｄが自車１から最も遠方に位置する白線候補点Ｐｄであるか否か（すなわち、ｎ＝ｎｍａｘであるか否か）を調べる。
【００４９】
そして、ステップＳ２０８において、ｎ≠ｎｍａｘであると判定した場合、ステレオ画像認識装置４は、ステップＳ２０９に進み、注目する白線候補点Ｐｄを現在のものから１つ遠方の白線候補点Ｐｄに更新（ｎ＝ｎ＋１）した後、ステップＳ２０２に戻る。
【００５０】
一方、ステップＳ２０８において、ｎ＝ｎｍａｘであると判定した場合、ステレオ画像認識装置４は、ステップＳ２１０に進み、２次係数ａと１次係数ｂとの組合せの全てについて投票した係数分布表（図１１（ｂ）参照）の中から、最も多く投票された２次係数ａと１次係数ｂとの組合せを抽出し、当該組合せの各係数ａ，ｂを仮白線近似線Ｌｔの近似式の係数として同定した後、サブルーチンを抜ける。
【００５１】
これにより、仮白線近似線を示し近似式として、以下の（６）式に示す近似式が同定される。
Ｘ＝ａＺ２＋ｂＺ＋ｃ …（６）
なお、（６）式においては、便宜上、パラメータを左右共通の記号ａ，ｂ，ｃで表記しているが、これらは、左右の仮白線近似線Ｌｔｌ，Ｌｔｒについて個別に設定されるものであることは云うまでもない。
【００５２】
図２のメインルーチンにおいて、ステップＳ１０５からステップＳ１０６に進むと、ステレオ画像認識装置４は、各係数を同定した仮近似曲線Ｌｔに基づき、最終的な白線候補点Ｐの選定を行う。すなわち、ステレオ画像認識装置４は、仮白線近似線Ｌｔを車幅方向内側及び外側にそれぞれΔＥオフセットさせることにより、以下の（７）式及び（８）式で規定される候補点選定領域Ａｓを設定する（図１２参照）。
Ｘ１＝ａＺ２＋ｂＺ＋ｃ−ΔＥ …（７）
Ｘ２＝ａＺ２＋ｂＺ＋ｃ＋ΔＥ …（８）
そして、ステレオ画像認識装置４は、白線検出領域Ａで検出された全ての白線候補点Ｐｄの中から、候補点選定領域Ａｓ内に存在する白線候補点Ｐｄを、最終的な白線候補点Ｐとして選定する（図１３参照）。なお、便宜上、候補点Ｐに関しても、左右の仮白線でそれぞれPl、Prと個別に設定されるものであることは云うまでもない。
【００５３】
続くステップＳ１０７において、ステレオ画像認識装置４は、左右の各候補点選定領域Ａｓで選定した白線候補点Ｐを用いて白線近似線Ｌを演算する（図１３参照）。ここで、本実施形態の白線近似線Ｌは、以下の（９）式に示すように、車両１に対する鉛直方向Ｚ距離に対し、Ａ，Ｂ，Ｃの各パラメータによって白線の車両水平方向距離Ｘが同定されるものである。
Ｘ＝ＡＺ２＋ＢＺ＋Ｃ …（９）
ここで、（９）式に示す仮白線近似線ＬｔのパラメータＡ，Ｂ，Ｃは、例えば、最終的な白線候補点Ｐを用いた最小二乗法によって求めることが可能であり、各パラメータＡ，Ｂ，Ｃは、白線近似線Ｌに対する各白線候補点Ｐの分散が最小となる値に決定される。なお、（９）式においては、便宜上、パラメータを左右共通の記号Ａ，Ｂ，Ｃで表記しているが、これらは、左右の白線近似線Ｌｌ，Ｌｒについて個別に設定されるものであることは云うまでもない。
【００５４】
そして、ステップＳ１０８に進むと、ステレオ画像認識装置４は、ステップＳ１０７で演算した白線近似線Ｌを車幅方向内側及び外側にそれぞれΔＥ´（ΔＥと同じ値でも異なる値でもよい）オフセットされることにより、以下の（１０）式及び（１１）式で規定される次フレームでの白線検出領域Ａを設定した後（図１２参照）、ルーチンを抜ける。
Ｘ１＝ＡＺ２＋ＢＺ＋Ｃ−ΔＥ´ …（１０）
Ｘ２＝ＡＺ２＋ＢＺ＋Ｃ＋ΔＥ´ …（１１）
このような実施形態によれば、実空間上での白線の概略形状を近似する仮白線近似線の各係数を同定するに際し、前フレームで認識した白線近似線に基づいて低次側係数を同定し、同定されていない複数の高次側係数の組合せを、実空間上に投影された白線候補点Ｐｄ毎に当該白線候補点Ｐｄの座標と低次側係数とを用いて複数パターン演算し、最も多く演算された高次側係数の組合せを仮白線近似線Ｌｔの高次側係数として同定することにより、演算時間を軽減した簡単な演算により、精度よく高次の近似式で仮白線近似線Ｌｔを求めることができる。そして、仮白線近似線Ｌｔを基準とする候補点選定領域Ａｓを設定するとともに、当該候補点選定領域Ａｓ内に存在する白線候補点Ｐｄを最終的な白線候補点Ｐとして選定し、選定した白線候補点Ｐに基づいて白線近似線Ｌを演算することにより、白線近似線Ｌを精度よく求めることができる。
【００５５】
すなわち、仮白線候補点Ｌｔを設定するに際し、自車１が車線変更等を行う場合以外、白線に対して自車位置が車幅方向に急激に変動することが考えにくいという観点のもと、低次側係数を前フレームで認識した白線候補点から推定した現フレームでの白線近似線Ｌｐｒに基づいて同定することにより、高次側係数において白線の曲率変動等に対応する余地を残しつつ、各白線候補点Ｐｄとのフィッティングによって同定する係数（パラメータ）の数を効率よく減らすことができ、演算負荷を格段に低減することができる。
【００５６】
この場合において、前フレームの白線候補点から推定した白線近似線Ｌｐｒと、１フレームあたりの自車１の移動量とに基づいて低次側係数を同定することにより、自車１と白線との相対位置の変化も加味して低次側係数を同定することができる。
【００５７】
また、白線近似線Ｌの各係数Ａ，Ｂ，Ｃの同定は、選定した白線候補点Ｐの点群に基づき、最小二乗法を用いて行うことにより、簡単な演算で各係数Ａ，Ｂ，Ｃを同定することができる。
【００５８】
なお、上述の実施形態においては、ステレオカメラを用いて各画素の距離情報を演算する一例について説明したが、本発明はこれに限定されるものではなく、例えば、自車走行路が平坦路であると仮定して、単眼のカメラで捉えた画像から各白線候補点の距離情報を演算することも可能である。
【００５９】
また、上述の実施形態においては、白線近似線Ｌ（及び、仮白線近似線Ｌｔ）を２次の近似式で近似した一例について説明したが、本発明はこれに限定されるものではなく、３次以上の近似式で近似することも可能である。
【００６０】
この場合において、例えば、３次の近似式で仮白線近似線Ｌｔを演算する場合には、例えば、低次側係数として０次係数（定数）及び１次係数を過去の白線検出結果に基づいて同定し、高次側係数として２次係数及び３次係数を白線候補点Ｐｄとのフィッティングによって同定することが可能である。或いは、低次側係数として０次係数（定数）のみを過去の白線検出結果に基づいて同定し、高次側係数として１次係数、２次係数、及び、３次係数を白線候補点Ｐｄとのフィッティングによって同定することが可能である。
【符号の説明】
【００６１】
１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（候補点検出手段、低次側係数同定手段、高次側係数同定手段、候補点選定手段、白線近似線演算手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ
【技術分野】
【０００１】
本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線認識が行われ、認識した白線に基づいて自車走行レーンの推定等が行われる。この種の白線認識の技術として、例えば、特許文献１には、自車両の前方を撮像した画像上を水平方向に延びるライン毎に検索して輝度値及び輝度微分値についてそれぞれ設定された閾値以上である画素を車線候補点として検出し、検索により検出された複数の車線候補点に基づいて車線（白線）位置を検出する技術が開示されている。
【０００３】
ところで、道路上には、白線以外にもノイズとなる雪や、道路の模様、路面の補修跡、水溜まり等が多く存在し、真正な白線候補点のみを検出することは容易でない状況が多く存在する。そこで、例えば、上述の特許文献１には、撮像された画像上の候補点群に対してハフ変換を行い、最も候補点が多くフィッティングする直線（ハフ直線）を求め、その直線から外れた候補点をノイズとして除外する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２６４９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、道路形状は直線のみで近似できるものばかりではなく、曲率を持ったカーブ区間を含む場合には、白線候補点の適切な選定を行うことが困難な場合がある。
【０００６】
これに対し、公知の手法として、曲線や円等を規定するハフ変換手法が存在しており、例えば、実空間における白線候補点を２次の関数で近似する際に、曲率、傾き、切片等のパラメータをハフ変換を用いて統計的に同定し、これに基づいて白線候補点の選定を行うことは原理的には可能である。
【０００７】
しかしながら、全てのパラメータをハフ変換によって同定する計算処理は、膨大な演算処理を必要とし、リアルタイムで処理するという観点からは現実的でない。
【０００８】
本発明は上記事情に鑑みてなされたもので、演算時間を軽減しつつ、精度よく白線近似線を求めることができる車両用白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様による車両用白線認識装置は、自車走行路を撮像した画像上に設定した白線検出領域内で水平方向に延在する検索ライン毎に車幅方向の輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点を白線候補点として検出する候補点検出手段と、過去の白線検出結果に基づき、実空間上での白線の概略形状を近似する高次の近似式からなる仮白線近似線について零次の係数を含む低次側係数を同定する低次側係数同定手段と、前記仮近似線について前記低次側係数設定手段で同定されていない複数の高次側係数の組合せを、実空間上に投影された前記白線候補点毎に当該白線候補点の座標と前記低次側係数とを用いて複数パターン演算し、最も多く演算された前記高次側係数の組合せを、前記仮白線近似線の高次側係数として同定する高次側係数同定手段と、前記各係数が同定された前記仮白線近似線を基準とする候補点選定領域を設定し、前記白線検出領域内で検出された前記白線候補点の中から前記候補点選定領域内に存在する前記白線候補点を選定する候補点選定手段と、前記候補点選定領域内で選定した前記白線候補点を用いて白線近似線を演算する白線近似線演算手段と、を備える。
【発明の効果】
【００１０】
本発明の車両用白線認識装置によれば、演算時間を軽減しつつ、精度よく白線近似線を求めることができる。
【図面の簡単な説明】
【００１１】
【図１】車両用運転支援装置の概略構成図
【図２】白線認識ルーチンを示すフローチャート
【図３】係数同定サブルーチンを示すフローチャート
【図４】車外環境の撮像画像の一例を模式的に示す説明図
【図５】図４の画像から検出される白線候補点を示す説明図
【図６】検索ライン上における輝度の変化の一例を示す説明図
【図７】実空間に投影された白線候補点の一例を示す説明図
【図８】（ａ）は走行による自車の移動量を示す説明図であって（ｂ）は前フレームで検出した白線候補点の自車に対する相対的な移動量を示す説明図
【図９】基準点と注目する白線候補点との２点間を通る２次曲線の各パターンを示す説明図
【図１０】各１次係数に基づいて演算された２次係数を示す説明図
【図１１】（ａ）は１の白線候補点について各１次係数に基づいて演算された２次係数を規格化して投票した係数分布表の一例を示す説明図であって（ｂ）は複数の白線候補点について各１次係数に基づいて演算された２次係数を規格化して投票した係数分布表の一例を示す説明図
【図１２】仮白線近似線及び候補点選定領域を示す説明図
【図１３】選定した白線候補点を用いて演算された白線近似線及び次フレームで用いる白線検出領域を示す説明図
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は白線認識ルーチンを示すフローチャート、図３は係数同定サブルーチンを示すフローチャート、図４は車外環境の撮像画像の一例を模式的に示す説明図、図５は図４の画像から検出される白線候補点を示す説明図、図６は検索ライン上における輝度の変化の一例を示す説明図、図７は実空間に投影された白線候補点の一例を示す説明図、図８（ａ）は走行による自車の移動量を示す説明図であって（ｂ）は前フレームで検出した白線候補点の自車に対する相対的な移動量を示す説明図、図９は基準点と注目する白線候補点との２点間を通る２次曲線の各パターンを示す説明図、図１０は各１次係数に基づいて演算された２次係数を示す説明図、図１１（ａ）は１の白線候補点について各１次係数に基づいて演算された２次係数を規格化して投票した係数分布表の一例を示す説明図であって（ｂ）は複数の白線候補点について各１次係数に基づいて演算された２次係数を規格化して投票した係数分布表の一例を示す説明図、図１２は仮白線近似線及び候補点選定領域を示す説明図、図１３は選定した白線候補点を用いて演算された白線近似線及び次フレームで用いる白線検出領域を示す説明図である。
【００１３】
図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている、この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。
【００１４】
また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。
【００１５】
ステレオカメラ３は、ステレオ光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、ぞれぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。
【００１６】
ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離情報を付与することで、距離画像（距離情報を備えたエッジ点の分布画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に対して周知のグルーピング処理を行い、予め記憶しておいた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、立体物等を認識する。
【００１７】
ここで、本実施形態において認識対象となる白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線等が併設された多重線（二重線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、更に、黄色線等をも含む。また、本実施形態の白線認識においては、道路上に実在する白線が二重白線等であっても、左右それぞれ単一の直線或いは曲線等で近似して認識するものとする。
【００１８】
ところで、実際の道路上に敷設された白線には上述のように各種バリエーションが存在する他、白線の形態は走行路の分岐や合流等に伴って変化する。加えて、道路上には路面補修跡や、水溜まり、雪等の各種ノイズが存在する。従って、画一的な処理によって、全ての場面で精度よく白線を認識することは困難となる。そこで、ステレオ画像認識装置４は、上述のような距離画像に基づくパターンマッチングを用いた白線認識のみに頼ることなく、各種方式を用いた白線認識を補完的に行い、これらの認識結果を総合的に判断して最終的な白線を認識する。
【００１９】
このような白線認識の一つとして、ステレオ画像認識装置４は、自車前方を撮像した一方の画像（例えば、図４に示す基準画像）上の水平方向の輝度変化に基づいて左右の白線認識を行う。具体的に説明すると、例えば、図５に示すように、ステレオ画像認識装置４は、画像上に左右の白線検出領域Ａ（Ａｌ，Ａｒ）を設定し、各白線検出領域Ａ内で水平方向に延在する複数の検索ラインｌに対し、検索ラインｌ毎に車幅方向内側から外側に向けて輝度変化を調べる。そして、ステレオ画像認識装置４は、各白線検出領域Ａ内の各検索ラインｌ上において、輝度が暗から明に所定以上変化する最初のエッジ点を白線候補点Ｐｄ（Ｐｄｌ，Ｐｄｒ）としてそれぞれ検出する。
【００２０】
そして、ステレオ画像認識装置４は、各白線候補点Ｐｄを実空間上に投影し（図７参照）、投影した左右の白線候補点Ｐｄの各点群に対して、高次の近似式（関数）からなる仮白線近似線Ｌｔ（Ｌｔｌ，Ｌｔｒ）を演算し、当該仮白線近似線を基準とする候補点選定領域Ａｓ（Ａｓｌ，Ａｓｒ）を設定する（図１２参照）。
【００２１】
そして、ステレオ画像認識装置４は、白線候補点Ｐｄの中から、候補点選定領域Ａｓ内に存在する白線候補点Ｐｄを最終的な白線候補点Ｐ（Ｐｌ，Ｐｒ）として選定する（図１２参照）。
【００２２】
そして、ステレオ画像認識装置４は、左右の各候補点選定領域Ａｓ内で選定した白線候補点Ｐを用いて最終的な左右の白線近似線Ｌ（Ｌｌ，Ｌｒ）をそれぞれ演算するとともに、演算した仮白線近似線Ｌに基づいて次フレームでの白線検出領域Ａを設定する（図１３参照）。
【００２３】
ここで、ステレオ画像認識装置４は、仮白線近似線Ｌｔの設定に際し、先ず、過去の白線検出結果に基づき、零次の係数（定数）を含む低次側係数を同定する。例えば、本実施形態における仮白線近似線Ｌｔは２次の近似式で規定されるようになっており、この場合、ステレオ画像認識装置４は、前フレームで認識した白線近似線に基づいて、０次の係数（定数）を同定する。
【００２４】
また、低次側係数を同定すると、ステレオ画像認識装置４は、同定されていない複数の高次側係数の同定を行う。この高次側係数の同定において、ステレオ画像認識装置４は、実空間上に投影された白線候補点Ｐｄ毎に、当該白線候補点Ｐｄの座標と低次側係数とを用いて、高次側係数の組合せを複数パターン演算する。そして、最も多く演算された高次側係数の組合せを抽出し、抽出した高次側係数を仮白線近似線Ｌｔの係数として同定する。例えば、仮白線近似線Ｌｔが２次の近似式で規定される本実施形態において、ステレオ画像認識装置４は、０次係数が同定された仮白線近似線Ｌｔに白線候補点Ｐｄの座標を代入することにより、白線候補点Ｐｄ毎に、２次係数と１次係数との組合せを複数パターン演算する。そして、全ての白線候補点Ｐｄについて、２次係数と１次係数との組合せを複数パターン演算すると、ステレオ画像認識装置４は、演算した２次係数と１次係数との組合せの中から、最も多く演算された組合せを抽出し、当該組合せを仮白線近似線Ｌｔの高次側係数として同定する。
【００２５】
このように、本実施形態において、ステレオ画像認識装置４は、候補点検出手段、低次側係数同定手段、高次側係数同定手段、候補点選定手段、及び、白線近似線演算手段としての各機能を実現する。
【００２６】
なお、ステレオ画像認識装置４は、その他の種々の方法によって白線認識を行うことが可能となっている。そして、ステレオ画像認識装置４は、例えば、各白線認識において認識した白線の近似線と当該認識に用いられたエッジ点等の白線候補点との関係（例えば、近似線に対する白線候補点の分散等）に基づき、認識した各近似線の中から最も適切な近似線を選択し、当該近似線を最終的な白線の近似線として制御ユニット５に出力する。
【００２７】
制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。
【００２８】
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に追従対象の先行車が走行しているか否かを識別する。
【００２９】
その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。
【００３０】
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
【００３１】
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線の近似線）に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
【００３２】
次に、ステレオ画像認識装置４において実行される、基準画像上の輝度変化に基づく白線認識について、図２に示す白線認識ルーチンのフローチャートに従って説明する。なお、本ルーチンによる処理は、左右の白線検出領域Ａｌ，Ａｒそれぞれに対して同様の処理が個別に行われるものであるが、説明を簡略化するため、以下の説明において特に必要な場合を除き、例えば白線検出領域Ａｌ，Ａｒを総称して白線検出領域Ａと標記する等、左右の属性を示す添字”ｌ”及び”ｒ”を適宜省略して説明する。
【００３３】
このルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、前フレームの画像に対するステップＳ１０８の処理で設定された白線検出領域Ａ内の各検索ラインｌ毎に白線候補点Ｐｄの検出を行う。具体的には、例えば、図６に示すように、ステレオ画像認識装置４は、車幅方向内側から外側に向けて、各検索ラインｌ上でのエッジ検出を行い、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点）を検出する。そして、ステレオ画像認識装置４は、白線検出領域Ａ内の各検索ラインｌ上において、最初に検出されたエッジ点を白線候補点Ｐｄとして抽出する（図５参照）。なお、図５においては、説明を簡略化するため、検索ラインｌ及び白線候補点Ｐｄ等が所定に間引かれて表示されている。
【００３４】
続くステップＳ１０２において、ステレオ画像認識装置４は、ステップＳ１０１で検出した各白線候補点Ｐｄを、距離画像上で該当する画素の距離情報、及び、基準画像上で該当する画素の水平方法の画素位置等に基づいて、実空間に投影する（図７参照）。
【００３５】
ステップＳ１０２からステップＳ１０３に進むと、ステレオ画像認識装置４は、２次の近似式からなる仮白線近似線Ｌｔの０次係数（定数項ｃ）の同定処理を行う。すなわち、ステレオ画像認識装置４は、例えば、図８（ａ）に示す関係から、自車１の車速Ｖと、ヨーレートγから求まるヨー角θとに基づき、撮像画像の１フレームあたり（撮像画像が１フレーム更新されるまでの間ｔ）の自車１の移動量Δｘ，Δｚを、以下の（１）式及び（２）式を用いて演算する。
Δｘ＝Ｖ×ｓｉｎθ …（１）
Δｚ＝Ｖ×ｃｏｓθ …（２）
そして、ステレオ画像認識装置４は、自車の移動量Δｘ，Δｚを用い、前フレームで検出された白線候補点（選定が行われた後の最終的な白線候補点Ｐの前回値）Ｐｐｒの、自車１を基準とするＸ−Ｚ座標系上での移動量ｄＸ，ｄＺ（図８（ｂ）参照）を、以下の（３）式及び（４）式を用いて演算する。
ｄＸ＝Δｘ×ｃｏｓθ−Δｚ×ｓｉｎθ …（３）
ｄＺ＝Δｘ×ｓｉｎθ＋Δｚ×ｃｏｓθ …（４）
そして、ステレオ画像認識装置４は、移動量ｄＸ，ｄＺを用いてＸ−Ｚ座標系上で移動させた前フレームの各白線候補点Ｐｐｒ’を用い、現在の自車位置を基準とする現フレームでの白線近似線Ｌｐｒ’を、最小二乗法によって推定する。そして、求めた白線近似線Ｌｐｒ’の０次の係数を、仮白線近似線Ｌｔの０次の係数として同定する。
【００３６】
すなわち、自車１が車線変更等を行う場合以外、白線に対して自車位置が車幅方向に急激に変動することは考えにくい。そこで、仮白線近似線Ｌｔの低次側係数は、前フレームの白線候補点Ｐｐｒ’から自車移動量をもとに推定した現フレームでの白線近似線Ｌｐｒ’に基づいて同定される。
【００３７】
ここで、低次側係数の同定を簡略化する場合には、例えば、前フレームで演算した白線近似線Ｌｐｒの低次係数をそのまま仮白線近似線Ｌｔの低次係数として用いることも可能である。
【００３８】
そして、ステップＳ１０３からステップＳ１０４に進むと、ステレオ画像認識装置４は、前フレームで認識した白線候補点から自車移動量をもとに推定した現フレームでの白線近似線Ｌｐｒ’を構成する白線候補点Ｐｐｒ’の数が予め設定された閾値以上であるか否かを調べる。
【００３９】
そして、ステップＳ１０４において、白線候補点Ｐｐｒ’の数が閾値未満であると判定した場合、ステレオ画像認識装置４は、上述のステップＳ１０３において同定した低次側係数の精度が低い可能性が高いと判断して、そのままルーチンを抜ける。
【００４０】
一方、ステップＳ１０４において白線候補点Ｐｐｒ’の数が閾値以上であると判定した場合、ステレオ画像認識装置４は、ステップＳ１０５に進む。
【００４１】
ステップＳ１０４からステップＳ１０５に進むと、ステレオ画像認識装置４は、２次の近似式からなる仮白線近似線Ｌｔの２次係数ａ及び１次係数ｂの同定処理を行う。この同定処理は、例えば、図３に示す係数同定サブルーチンのフローチャートに従って実行される。なお、以下の説明において、各白線検出領域Ａ内で検出された白線候補点Ｐｄには、自車１に最も近い白線候補点Ｐｄから順に、ｎ＝１〜ｎｍａｘの番号が付されているものとする。
【００４２】
サブルーチンがスタートすると、ステレオ画像認識同値４は、先ず、ステップＳ２０１において、白線検出領域Ａ内で検出された白線候補点Ｐｄのうち、自車１に最も近い白線候補点Ｐｄ（ｎ＝１）を今回注目する白線候補点として抽出し、当該白線候補点Ｐｄの実空間上における座標（Ｘ、Ｚ）を、定数項ｃが同定された仮白線近似線Ｌｔの近似式に代入する。
【００４３】
続くステップＳ２０２において、ステレオ画像認識装置４は、１次係数ｂを、当該係数ｂに許容され得る範囲（例えば、ｂ＝−β〜β）の最低値（−β）にセットした後、ステップＳ２０３に進む。
【００４４】
ステップＳ２０２からステップＳ２０３に進むと、ステレオ画像認識装置４は、現在セットされている１次係数ｂを用い、仮白線近似線Ｌｔの近似式を変形した以下の（５）式を用いて、２次係数ａを算出する（図１０参照）。
ａ＝（Ｘ−ｂＺ−ｃ）／Ｚ２ …（５）
そして、ステップＳ２０４に進むと、ステップＳ２０３で算出した１次係数ａを予め設定されたΔα刻みの値にデジタル化（規格化）し、続くステップＳ２０５において、図１１に示す係数分布表の該当箇所に投票する（図１１参照）。
【００４５】
ステップＳ２０５からステップＳ２０６に進むと、ステレオ画像認識装置４は、１次係数ｂの値が当該係数ｂのとり得る最大値βに達したか否かを調べる。
【００４６】
そして、ステップＳ２０６において、１次係数ｂが未だ最大値βに達していない（すなわち、ｂ≠βである）と判断した場合、ステレオ画像認識装置４は、ステップ２０７に進み、１次係数ｂの値をΔβだけ高値側の値に更新した後、ステップＳ２０３に戻る。
【００４７】
そして、ステップＳ２０３〜ステップＳ２０７の処理が繰り返し実行されることにより、例えば、図９に示すように、０次係数ｃと注目する白線候補点Ｐｄとを通る複数パターンの２次曲線（係数ａ，ｂ）が演算される。
【００４８】
一方、ステップＳ２０６において、１次係数ｂが最大値βに達した（すなわち、ｂ＝βである）と判断した場合、ステレオ画像認識装置４は、ステップＳ２０８に進み、今回注目している白線候補点Ｐｄが自車１から最も遠方に位置する白線候補点Ｐｄであるか否か（すなわち、ｎ＝ｎｍａｘであるか否か）を調べる。
【００４９】
そして、ステップＳ２０８において、ｎ≠ｎｍａｘであると判定した場合、ステレオ画像認識装置４は、ステップＳ２０９に進み、注目する白線候補点Ｐｄを現在のものから１つ遠方の白線候補点Ｐｄに更新（ｎ＝ｎ＋１）した後、ステップＳ２０２に戻る。
【００５０】
一方、ステップＳ２０８において、ｎ＝ｎｍａｘであると判定した場合、ステレオ画像認識装置４は、ステップＳ２１０に進み、２次係数ａと１次係数ｂとの組合せの全てについて投票した係数分布表（図１１（ｂ）参照）の中から、最も多く投票された２次係数ａと１次係数ｂとの組合せを抽出し、当該組合せの各係数ａ，ｂを仮白線近似線Ｌｔの近似式の係数として同定した後、サブルーチンを抜ける。
【００５１】
これにより、仮白線近似線を示し近似式として、以下の（６）式に示す近似式が同定される。
Ｘ＝ａＺ２＋ｂＺ＋ｃ …（６）
なお、（６）式においては、便宜上、パラメータを左右共通の記号ａ，ｂ，ｃで表記しているが、これらは、左右の仮白線近似線Ｌｔｌ，Ｌｔｒについて個別に設定されるものであることは云うまでもない。
【００５２】
図２のメインルーチンにおいて、ステップＳ１０５からステップＳ１０６に進むと、ステレオ画像認識装置４は、各係数を同定した仮近似曲線Ｌｔに基づき、最終的な白線候補点Ｐの選定を行う。すなわち、ステレオ画像認識装置４は、仮白線近似線Ｌｔを車幅方向内側及び外側にそれぞれΔＥオフセットさせることにより、以下の（７）式及び（８）式で規定される候補点選定領域Ａｓを設定する（図１２参照）。
Ｘ１＝ａＺ２＋ｂＺ＋ｃ−ΔＥ …（７）
Ｘ２＝ａＺ２＋ｂＺ＋ｃ＋ΔＥ …（８）
そして、ステレオ画像認識装置４は、白線検出領域Ａで検出された全ての白線候補点Ｐｄの中から、候補点選定領域Ａｓ内に存在する白線候補点Ｐｄを、最終的な白線候補点Ｐとして選定する（図１３参照）。なお、便宜上、候補点Ｐに関しても、左右の仮白線でそれぞれPl、Prと個別に設定されるものであることは云うまでもない。
【００５３】
続くステップＳ１０７において、ステレオ画像認識装置４は、左右の各候補点選定領域Ａｓで選定した白線候補点Ｐを用いて白線近似線Ｌを演算する（図１３参照）。ここで、本実施形態の白線近似線Ｌは、以下の（９）式に示すように、車両１に対する鉛直方向Ｚ距離に対し、Ａ，Ｂ，Ｃの各パラメータによって白線の車両水平方向距離Ｘが同定されるものである。
Ｘ＝ＡＺ２＋ＢＺ＋Ｃ …（９）
ここで、（９）式に示す仮白線近似線ＬｔのパラメータＡ，Ｂ，Ｃは、例えば、最終的な白線候補点Ｐを用いた最小二乗法によって求めることが可能であり、各パラメータＡ，Ｂ，Ｃは、白線近似線Ｌに対する各白線候補点Ｐの分散が最小となる値に決定される。なお、（９）式においては、便宜上、パラメータを左右共通の記号Ａ，Ｂ，Ｃで表記しているが、これらは、左右の白線近似線Ｌｌ，Ｌｒについて個別に設定されるものであることは云うまでもない。
【００５４】
そして、ステップＳ１０８に進むと、ステレオ画像認識装置４は、ステップＳ１０７で演算した白線近似線Ｌを車幅方向内側及び外側にそれぞれΔＥ´（ΔＥと同じ値でも異なる値でもよい）オフセットされることにより、以下の（１０）式及び（１１）式で規定される次フレームでの白線検出領域Ａを設定した後（図１２参照）、ルーチンを抜ける。
Ｘ１＝ＡＺ２＋ＢＺ＋Ｃ−ΔＥ´ …（１０）
Ｘ２＝ＡＺ２＋ＢＺ＋Ｃ＋ΔＥ´ …（１１）
このような実施形態によれば、実空間上での白線の概略形状を近似する仮白線近似線の各係数を同定するに際し、前フレームで認識した白線近似線に基づいて低次側係数を同定し、同定されていない複数の高次側係数の組合せを、実空間上に投影された白線候補点Ｐｄ毎に当該白線候補点Ｐｄの座標と低次側係数とを用いて複数パターン演算し、最も多く演算された高次側係数の組合せを仮白線近似線Ｌｔの高次側係数として同定することにより、演算時間を軽減した簡単な演算により、精度よく高次の近似式で仮白線近似線Ｌｔを求めることができる。そして、仮白線近似線Ｌｔを基準とする候補点選定領域Ａｓを設定するとともに、当該候補点選定領域Ａｓ内に存在する白線候補点Ｐｄを最終的な白線候補点Ｐとして選定し、選定した白線候補点Ｐに基づいて白線近似線Ｌを演算することにより、白線近似線Ｌを精度よく求めることができる。
【００５５】
すなわち、仮白線候補点Ｌｔを設定するに際し、自車１が車線変更等を行う場合以外、白線に対して自車位置が車幅方向に急激に変動することが考えにくいという観点のもと、低次側係数を前フレームで認識した白線候補点から推定した現フレームでの白線近似線Ｌｐｒに基づいて同定することにより、高次側係数において白線の曲率変動等に対応する余地を残しつつ、各白線候補点Ｐｄとのフィッティングによって同定する係数（パラメータ）の数を効率よく減らすことができ、演算負荷を格段に低減することができる。
【００５６】
この場合において、前フレームの白線候補点から推定した白線近似線Ｌｐｒと、１フレームあたりの自車１の移動量とに基づいて低次側係数を同定することにより、自車１と白線との相対位置の変化も加味して低次側係数を同定することができる。
【００５７】
また、白線近似線Ｌの各係数Ａ，Ｂ，Ｃの同定は、選定した白線候補点Ｐの点群に基づき、最小二乗法を用いて行うことにより、簡単な演算で各係数Ａ，Ｂ，Ｃを同定することができる。
【００５８】
なお、上述の実施形態においては、ステレオカメラを用いて各画素の距離情報を演算する一例について説明したが、本発明はこれに限定されるものではなく、例えば、自車走行路が平坦路であると仮定して、単眼のカメラで捉えた画像から各白線候補点の距離情報を演算することも可能である。
【００５９】
また、上述の実施形態においては、白線近似線Ｌ（及び、仮白線近似線Ｌｔ）を２次の近似式で近似した一例について説明したが、本発明はこれに限定されるものではなく、３次以上の近似式で近似することも可能である。
【００６０】
この場合において、例えば、３次の近似式で仮白線近似線Ｌｔを演算する場合には、例えば、低次側係数として０次係数（定数）及び１次係数を過去の白線検出結果に基づいて同定し、高次側係数として２次係数及び３次係数を白線候補点Ｐｄとのフィッティングによって同定することが可能である。或いは、低次側係数として０次係数（定数）のみを過去の白線検出結果に基づいて同定し、高次側係数として１次係数、２次係数、及び、３次係数を白線候補点Ｐｄとのフィッティングによって同定することが可能である。
【符号の説明】
【００６１】
１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（候補点検出手段、低次側係数同定手段、高次側係数同定手段、候補点選定手段、白線近似線演算手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ
【特許請求の範囲】
【請求項１】
自車走行路を撮像した画像上に設定した白線検出領域内で水平方向に延在する検索ライン毎に車幅方向の輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点を白線候補点として検出する候補点検出手段と、
過去の白線検出結果に基づき、実空間上での白線の概略形状を近似する高次の近似式からなる仮白線近似線について零次の係数を含む低次側係数を同定する低次側係数同定手段と、
前記仮近似線について前記低次側係数設定手段で同定されていない複数の高次側係数の組合せを、実空間上に投影された前記白線候補点毎に当該白線候補点の座標と前記低次側係数とを用いて複数パターン演算し、最も多く演算された前記高次側係数の組合せを、前記仮白線近似線の高次側係数として同定する高次側係数同定手段と、
前記各係数が同定された前記仮白線近似線を基準とする候補点選定領域を設定し、前記白線検出領域内で検出された前記白線候補点の中から前記候補点選定領域内に存在する前記白線候補点を選定する候補点選定手段と、
前記候補点選定領域内で選定した前記白線候補点を用いて白線近似線を演算する白線近似線演算手段と、を備えたことを特徴とする車両用白線認識装置。
【請求項２】
前記基準点設定手段は、前フレームで演算した白線近似線と、１フレームあたり自車の移動量とに基づいて前記低次側係数を同定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項３】
前記白線近似線演算手段は、選定した前記白線候補点の点群に基づき、最小二乗法を用いて前記白線近似線を演算することを特徴とする請求項１または請求項２に記載の車両用白線認識装置。
【請求項１】
自車走行路を撮像した画像上に設定した白線検出領域内で水平方向に延在する検索ライン毎に車幅方向の輝度変化を調べ、輝度が暗から明に所定以上変化するエッジ点を白線候補点として検出する候補点検出手段と、
過去の白線検出結果に基づき、実空間上での白線の概略形状を近似する高次の近似式からなる仮白線近似線について零次の係数を含む低次側係数を同定する低次側係数同定手段と、
前記仮近似線について前記低次側係数設定手段で同定されていない複数の高次側係数の組合せを、実空間上に投影された前記白線候補点毎に当該白線候補点の座標と前記低次側係数とを用いて複数パターン演算し、最も多く演算された前記高次側係数の組合せを、前記仮白線近似線の高次側係数として同定する高次側係数同定手段と、
前記各係数が同定された前記仮白線近似線を基準とする候補点選定領域を設定し、前記白線検出領域内で検出された前記白線候補点の中から前記候補点選定領域内に存在する前記白線候補点を選定する候補点選定手段と、
前記候補点選定領域内で選定した前記白線候補点を用いて白線近似線を演算する白線近似線演算手段と、を備えたことを特徴とする車両用白線認識装置。
【請求項２】
前記基準点設定手段は、前フレームで演算した白線近似線と、１フレームあたり自車の移動量とに基づいて前記低次側係数を同定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項３】
前記白線近似線演算手段は、選定した前記白線候補点の点群に基づき、最小二乗法を用いて前記白線近似線を演算することを特徴とする請求項１または請求項２に記載の車両用白線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１６４２８７（Ｐ２０１２−１６４２８７Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２６３３６（Ｐ２０１１−２６３３６）
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]