車両用白線認識装置
【課題】簡単な演算処理により、二重白線等に対しても高精度で安定した白線認識を行うことができる車両用白線認識装置を提供する。
【解決手段】ステレオ画像認識装置４は、画像上に設定された第１の白線検出領域Ａ１内の検索ラインＬｘ上での輝度変化に基づいて第１の白線開始点Ｐｊを検出し、第１の白線開始点Ｐｊからなる点群の近似線ａｐを演算する。近似線ａｐの車幅方向内側に白線探索線Ｌｙを設定し、白線探索線Ｌｙ上の輝度情報に基づいて近似線ａｐの車幅方向内側で白線を探索し、白線が存在するとき、車幅方向内側の領域を拡張した第２の白線検出領域Ａ２を設定し、第１の白線開始点Ｐｊと重複しない第２の白線エッジ点を検出し、設定条件に基づいて選定した第１の白線開始点Ｐｊ或いは第２の白線開始点ＰＫからなる点群に基づいて白線を演算し、演算した白線に基づいて第１の白線検索領域Ａ１を設定する。
【解決手段】ステレオ画像認識装置４は、画像上に設定された第１の白線検出領域Ａ１内の検索ラインＬｘ上での輝度変化に基づいて第１の白線開始点Ｐｊを検出し、第１の白線開始点Ｐｊからなる点群の近似線ａｐを演算する。近似線ａｐの車幅方向内側に白線探索線Ｌｙを設定し、白線探索線Ｌｙ上の輝度情報に基づいて近似線ａｐの車幅方向内側で白線を探索し、白線が存在するとき、車幅方向内側の領域を拡張した第２の白線検出領域Ａ２を設定し、第１の白線開始点Ｐｊと重複しない第２の白線エッジ点を検出し、設定条件に基づいて選定した第１の白線開始点Ｐｊ或いは第２の白線開始点ＰＫからなる点群に基づいて白線を演算し、演算した白線に基づいて第１の白線検索領域Ａ１を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線の認識が行われ、この白線に基づいて自車走行レーンの推定等が行われる。
【０００３】
ところで、実際の道路上の白線には、単一の車線区画線で構成される白線の他に、車線区画線の内側に破線等からなる視線誘導線等が併設された二重白線等の各種バリエーションが存在する。
【０００４】
そこで、この種の白線認識では、車線区画線のみならず視線誘導線等の存在を十分に考慮する必要がある。このような白線認識についての技術として、例えば、特許文献２には、一対の画像を処理して得られる距離情報に基づいて認識した道路面上にある画素の中から輝度値と輝度微分値が設定閾値以上の画素を車線候補点として検出し、所定距離内にある車線候補点をグループ化し、車線候補点のグループが所定個数以上検出され、各グループの実空間上における距離方向の長さ等が所定の数値範囲内にある場合には、それらのグループを道路面上に表示された破線として検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２６４９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１に開示された技術は、内側の視線誘導線の長さ、間隔、道路幅等の厳密な値を必要とし、複雑な演算処理等を必要とする。
【０００７】
本発明は上記事情に鑑みてなされたもので、簡単な演算処理により、二重白線等に対しても高精度で安定した白線認識を行うことができる車両用白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、自車走行環境を撮像した画像上に設定された第１の白線検出領域内での水平方向の輝度変化に基づいて第１の白線エッジ点を検出する第１のエッジ点検出手段と、前記第１の白線エッジ点からなる点群の近似線を演算する近似線演算手段と、前記近似線の車幅方向内側に当該近似線に沿う白線探索線を設定し、当該白線探索線上の輝度情報に基づいて前記近似線の車幅方向内側で白線を探索する白線探索手段と、前記近似線の車幅方向内側での白線の存在が判定されたとき、前記第１の白線検出領域よりも車幅方向内側の領域を拡張した第２の白線検出領域を設定する第２の検出領域設定手段と、前記第２の白線検出領域内での水平方向の輝度変化に基づいて検出される白線エッジ点のうち前記第１の白線エッジ点と重複しない点を第２の白線エッジ点として検出する第２のエッジ点検出手段と、予め設定された条件に基づいて前記第１の白線エッジ点或いは前記第２の白線エッジ点からなる点群を選定し当該選定した点群に基づいて白線を演算する白線演算手段と、前記演算した白線に基づいて前記第１の白線検出領域を設定する第１の検出領域設定手段とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明の車両用白線認識装置によれば、簡単な演算処理により、二重白線等に対しても高精度で安定した白線認識を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】車両用運転支援装置の概略構成図
【図２】白線認識ルーチンを示すフローチャート
【図３】（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点による第１の点群を示す説明図であり（ｃ）は白線探索線を示す説明図
【図４】（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点による第１の点群を示す説明図であり（ｃ）は白線探索線を示す説明図であり（ｄ）は（ａ）の画像から検出される白線開始点による第２の点群を示す説明図
【図５】（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点による第１の点群を示す説明図であり（ｃ）は白線探索線を示す説明図
【図６】白線開始点及び白線終了点での輝度及び輝度の微分値の推移の一例を示す図表
【図７】ハフ変換の演算方法示す説明図
【図８】ハフ空間を示す説明図
【図９】各撮像画像上における白線探索線上の輝度状態を示す説明図
【図１０】認識された白線と第１の白線検出領域との関係を示す説明図
【図１１】点群選定方法の変形例を示す説明図
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１車両用運転支援装置の概略構成図、図２白線認識ルーチンを示すフローチャート、図３（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点による第１の点群を示す説明図であり（ｃ）は白線探索線を示す説明図、図４（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点による第１の点群を示す説明図であり（ｃ）は白線探索線を示す説明図であり（ｄ）は（ａ）の画像から検出される白線開始点による第２の点群を示す説明図、図５（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点による第１の点群を示す説明図であり（ｃ）は白線探索線を示す説明図、図６白線開始点及び白線終了点での輝度及び輝度の微分値の推移の一例を示す図表、図７ハフ変換の演算方法示す説明図、図８ハフ空間を示す説明図、図９各撮像画像上における白線探索線上の輝度状態を示す説明図、図１０認識された白線と第１の白線検出領域との関係を示す説明図、図１１点群選定方法の変形例を示す説明図である。
【００１２】
図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。
【００１３】
また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。
【００１４】
ステレオカメラ３は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持ってい取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。
【００１５】
ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジとして抽出するとともに、抽出した画素（エッジ）に距離情報を付与することで、距離情報を備えたエッジの分布画像（距離画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に基づいて、自車前方の白線、側壁、立体物等を認識し、認識した各データに、それぞれ異なるＩＤを割り当て、これらをＩＤ毎にフレーム間で連続して監視する。
【００１６】
ここで、本実施形態において、白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線が併設された多重線（二重線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、さらに、黄色線等をも含む。また、本実施形態の白線認識においては、道路上に実在の白線が二重白線等であっても、左右それぞれ単一の直線或いは曲線等で近似して認識するものとする。
【００１７】
このような白線の認識に際し、ステレオ画像認識装置４は、前回までの処理に基づいて画像上に設定された第１の白線検出領域Ａ１内において、水平方向（車幅方向）に設定した複数の検索ラインＬｘ上での輝度変化に基づいて、検索ラインＬｘ毎に１点の第１の白線開始点Ｐｊを検出する。すなわち、ステレオ画像認識装置４は、例えば、基準画像上に設定された左右の各第１の白線検出領域Ａ１内において、各検索ラインＬｘ上で車幅方向内側から外側に向けて各画素の輝度値の変化を調べることにより、第１の白線エッジ点としての白線開始点（第１の白線開始点Ｐｊ）をそれぞれ検出する。
【００１８】
また、ステレオ画像認識装置４は、左右の各第１の白線検出領域Ａ１において認識した第１の白線開始点Ｐｊからなる各点群の近似線ａｐを演算する。
【００１９】
さらに、ステレオ画像認識装置４は、演算した近似線ａｐの車幅方向内側に、当該近似線ａｐに沿って延在する白線探索線Ｌｙを設定する。そして、ステレオ画像認識装置４は、白線探索線Ｌｙ上の輝度情報に基づき、近似線ａｐの車幅方向内側に更なる白線が存在するか否かの探索を行う。
【００２０】
その結果、近似線ａｐの車幅方向内側に白線が存在すると判定されたとき、ステレオ画像認識装置４は、第１の白線検出領域Ａ１よりも車幅方向の内側の領域が拡張された第２の白線検出領域Ａ２を設定する。
【００２１】
そして、ステレオ画像認識装置４は、第２の白線検出領域Ａ２内の各検索ラインＬｘ上での輝度変化に基づいて、第２の白線エッジ点としての白線開始点（第２の白線開始点Ｐｋ）を検出する。すなわち、ステレオ画像認識装置４は、第２の白線検出領域Ａ２内において、検索ラインＬｘ毎に１点の白線開始点を検出し、検出した白線開始点のうち第１の白線開始点Ｐｊと重複しないものを第２の白線開始点Ｐｋとして抽出する。
【００２２】
そして、ステレオ画像認識装置４は、第１の白線開始点Ｐｊ或いは第２の白線開始点Ｐｋからなる各点群の中から、予め設定された条件に基づき、白線演算対象として適切な点群を選定し、選定した点群に基づいて白線（白線の近似線）を演算する。なお、第２の白線開始点Ｐｋからなる点群が存在しない場合、第１の白線開始点Ｐｊからなる点群がそのまま白線演算対象の点群として選定される。
【００２３】
さらに、ステレオ画像認識装置４は、演算した白線に基づいて、次フレームでの白線認識に用いられる第１の白線検出領域Ａ１を新たに設定する。
【００２４】
このように、本実施形態において、ステレオ画像認識装置４は、白線認識装置としての機能を有し、第１のエッジ点検出手段、近似線演算手段、白線探索手段、第２の検出領域設定手段、第２のエッジ点検出手段、白線演算手段、及び、第１の検出領域設定手段としての各機能を実現する。
【００２５】
制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。
【００２６】
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に、追従対象の先行車が走行しているか否かを識別する。
【００２７】
その結果、追従対象の先行車が検出されない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。
【００２８】
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
【００２９】
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
【００３０】
次に、上述のステレオ画像認識装置４による白線認識について、図２に示す白線認識ルーチンのフローチャートに従って説明する。
このルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、第１の白線開始点Ｐｊの検出を行う。すなわち、ステレオ画像認識装置４は、前フレームで設定された第１の白線検出領域Ａ１を読み込み、例えば、基準画像上における画像中心線（或いは、舵角θｓｔ等から推定される自車進行方向）を基準とする車幅方向内側から外側に向けての各検索ラインＬｘ上でのエッジ検出により、第１の白線検出領域Ａ１内において第１の白線開始点Ｐｊの検出を行う。具体的には、ステレオ画像認識装置４は、例えば、図６に示すように、車幅方向内側から外側への検索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる最初の点（エッジ点）を検索ラインＬｘ毎に１点検出し、当該エッジ点を第１の白線開始点Ｐｊとして認識する。
【００３１】
このような処理により、例えば、認識対象となる白線が車線区画線のみからなる単一の白線で構成され（図３（ａ）参照）、第１の白線検出領域Ａ１内に車線区画線の全体が存在する場合（図３（ｂ）参照）、自車両の左右両側でそれぞれ認識される第１の白線開始点Ｐｊは、そのほとんどが車線区画線の延在方向に沿って連続的に配列される（図３（ｂ）参照）。
【００３２】
また、例えば、認識対象となる白線として車線区画線が存在し、さらに、自車遠方において、車線区画線の内側に所定間隔離間する視線誘導線が存在し（図４（ａ）参照）、第１の白線検出領域Ａ１内に主として車線区画線の全体が存在する場合（図４（ｂ）参照）、自車両の左右両側でそれぞれ認識される第１の白線開始点Ｐｊは、そのほとんどが車線区画線に沿って連続的に配列される（図４（ｂ）参照）。
【００３３】
また、例えば、認識対象となる白線が車線区画線と、当該車線区画線の内側に配設された視線誘導線とからなる二重白線であり（図５（ａ）参照）、第１の白線検出領域Ａ１内に車線区画線及び視線誘導線の全体が存在する場合（図５（ｂ）参照）、自車両の左右両側でそれぞれ認識される第１の白線開始点Ｐｊは、そのほとんどが視線誘導線に沿って連続的に配列される（図５（ｂ）参照）。
【００３４】
続くステップＳ１０２において、ステレオ画像認識装置４は、例えば、ハフ変換を用い、検出した第１の白線開始点Ｐｊの各点群についての近似線ａｐを演算する。すなわち、ステレオ画像認識装置４は、例えば、図７に示すように、点群を構成する各Ｐｊそれぞれに対し、当該点Ｐｊを通る直線ｈの傾きθを０°から１８０°まで所定の角度Δθ毎変化させ、以下の（１）式に基づいて、各θにおける原点Ｏから直線ｈまでの距離（垂線の長さ）ρを求める。
【００３５】
ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ … （１）
そして、ステレオ画像認識装置４は、各点Ｐｊについて求めた各θとρとの関係を、例えば、図８に示すハフ平面（θ，ρ）上の該当箇所に度数として投票（投影）する。さらに、ステレオ画像認識装置４は、ハフ平面（θ，ρ）上の度数が最も大きくなるθとρの組み合わせを抽出し、当該θとρを用いて（１）式で規定される直線（ハフ直線）を点群の近似式ａｐとして設定する（図３（ｃ），図４（ｃ），図５（ｃ）参照）。なお、このハフ直線を決定する際のρとθには、過去のρ，θを用いてフィルタリング処理した結果を用いてもよい。
【００３６】
ステップＳ１０３において、ステレオ画像認識装置４は、ステップＳ１０２で演算した各点群の近似線ａｐに基づいて、白線探索線Ｌｙの設定を行う。すなわち、ステレオ画像認識装置４は、例えば、実空間上において近似線ａｐに平行な複数（例えば、３本）の白線探索線Ｌｙを、近似線ａｐの車幅方向内側において設定間隔ｔｈ毎に設定する（（図３（ｃ），図４（ｃ），図５（ｃ）参照）。ここで、白線探索線Ｌｙの各間隔ｔｈは、例えば、道路上に付される一般的な白線幅よりも狭く設定されている。加えて、各白線探索線Ｌｙの間隔ｔｈの総和は、例えば、道路上に付される一般的な二重白線における内外の白線の内縁間の間隔よりも所定幅以上広くなるよう設定されている。
【００３７】
ステップＳ１０３からステップＳ１０４に進むと、ステレオ画像認識装置４は、各白線探索線Ｌｙ上の輝度評価を行うことによって白線探索を行う。すなわち、近似線ａｐの車幅方向内側に更なる白線が存在する場合、少なくとも何れか１つの白線探索線Ｌｙ上の輝度、或いは、白線探索線Ｌｙ間で輝度が大きく変化する。そこで、ステレオ画像認識装置４は、各白線探索線Ｌｙ上の輝度評価（エッジ検出等）を行うことにより、近似線ａｐの車幅方向内側に更なる白線が存在するか否か（車線区画線の車幅方向内側に視線誘導線等が存在するか否か）の探索を行う。なお、白線以外のマーク（例えば、速度表示等）の輝度変化に起因する誤判定を防止するため、本実施形態においては、自車中央前方（Ｙ軸上）の輝度についても輝度評価を行う。
【００３８】
例えば、図３（ｃ）中の右側に設定された各白線探索線Ｌｙ上の輝度及び自車中央前方（Ｙ軸上）の輝度は、図９（ａ）に示すように、全体的に小さく（暗く）なる。このような場合、ステレオ画像認識装置４は、近似線ａｐの車幅方向内側に更なる白線が存在しないと判定する。
【００３９】
また、例えば、図４（ｃ）中の右側に設定された各白線探索線Ｌｙ上の輝度及び車線中央前方（Ｙ軸上）の輝度は、図９（ｂ）に示すように、車幅方向外側の２つの白線探索線Ｌｙ上に輝度の高い明部が存在する。このような場合、ステレオ画像認識装置４は、近似線ａｐの車幅方向内側に更なる白線が存在し、その幅が２×ｔｈ〜３×ｔｈ程度であることを判定する。
【００４０】
また、例えば、図５（ｃ）中の右側に設定された各白線探索線Ｌｙ上の輝度及び自車中央前方（Ｙ軸上）の輝度は、図９（ｃ）に示すように、全体的に小さく（暗く）なる。このような場合、ステレオ画像認識装置４は、近似線ａｐの車幅方向内側に更なる白線が存在しないと判定する。
【００４１】
そして、ステップＳ１０５に進むと、ステレオ画像認識装置４は、ステップＳ１０４の処理で近似線ａｐの車幅方向内側に白線が検出されたか否かを調べる。その結果、白線が検出されていないと判定した場合、ステレオ画像認識装置４は、第１の白線開始点Ｐｊからなる点群を白線演算対象の点群として設定（選定）した後、ステップＳ１０９に進む。一方、白線が検出されたと判定した場合、ステレオ画像認識装置４は、ステップＳ１０６に進む。
【００４２】
ステップＳ１０５からステップＳ１０６に進むと、ステレオ画像認識装置４は、第２の白線検出領域Ａ２の設定を行う。すなわち、ステレオ画像認識装置４は、例えば、第１の白線検出領域Ａ１の車幅方向内側の領域を、上述のステップ１０４で検出した白線の存在が想定される領域よりも車幅方向内側に拡張することにより第２の白線検出領域Ａ２を設定する。
【００４３】
そして、ステップＳ１０７において、ステレオ画像認識装置４は、第２の白線開始点Ｐｋの検出を行う。すなわち、ステレオ画像認識装置４は、例えば、基準画像上における画像中心線を基準とする車幅方向内側から外側に向けての各検索ラインＬｘ上でのエッジ検出により、第２の白線検出領域Ａ２内において第２の白線開始点Ｐｋの検出を行う。具体的には、ステレオ画像認識装置４は、車幅方向内側から外側への検索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる最初の点（エッジ点）を検索ラインＬｘ毎に１点検出し、これら各点のうち、第１の白線開始点Ｐｊと重複しない点を第２の白線開始点Ｐｋとして認識する。
【００４４】
これにより、例えば、図４（ｄ）中に示す例では、図中に二重丸で示すように、第２の白線開始点Ｐｋは、そのほとんどが、視線誘導線に沿って連続的に配列される。なお、図中に黒丸で示す各点は、各検索ラインＬｘ上で検出されたエッジ点であって、第１の白線開始点Ｐｊと重複する点である。
【００４５】
ステップＳ１０７からステップＳ１０８に進むと、ステレオ画像認識装置４は、ステップＳ１０１で検出した第１，第２の白線開始点Ｐｊ，Ｐｋによる各点群について、予め設定された判定条件に基づいて信頼性の判定を行い、信頼線が高いと判定した何れか一方の点群を白線演算対象の点群として選定する。
【００４６】
この場合、例えば、第１，第２の白線開始点Ｐｊ，Ｐｋによる各点群のうち、白線開始点の数が多い何れか一方を信頼性が高い点群であると判定し、白線演算対象として選定することが可能である。
【００４７】
或いは、上述のステップＳ１０２で行ったハフ変換による近似線の演算を、第２の白線開始点Ｐｋによる点群についても行い、近似線に対する各点の誤差の平均値を点群毎に算出し、算出した誤差の平均値が小さい何れか一方の点群を信頼性が高い点群であると判定、白線演算対象として選定することが可能である。また、ハフ平面上の度数の最大値が大きい何れか一方の点群を信頼性が高い点群であると判定し、白線演算対象として選定することも可能である。
【００４８】
ステップＳ１０５或いはステップＳ１０８からステップＳ１０９に進むと、ステレオ画像認識装置４は、選定した点群に基づいて白線演算を行う。この場合、ステレオ画像認識装置４は、例えば、選定された点群についてのハフ変換による近似線を、そのまま白線を表す近似線ＡＰとして認識することが可能である。
【００４９】
そして、ステップＳ１０９からステップＳ１１０に進むと、ステレオ画像認識装置４は、ステップＳ１０９で演算した白線（近似線ＡＰ）に基づいて、次フレームで用いる第１の白線検出領域Ａ１を設定した後、ルーチンを抜ける。
【００５０】
具体的には、ステレオ画像認識装置４は、現在設定されている第１の白線検出領域Ａ１に対し、主として車幅方向内側の領域を可変設定することにより、新たな第１の白線検出領域Ａ１を設定する。例えば、図１０（ａ），（ｂ）において一点鎖線で囲まれた各領域が新たに設定される第１の白線検出領域Ａ１であり、その車幅方向内側の境界は、今回認識された白線の近似線ＡＰよりも所定幅だけ車幅方向内側にオフセットした位置に設定される。この場合のオフセット量としては、例えば、一般的な白線（単線）幅の半値程度の値が好適に設定され、特に、ステップＳ１０４において白線探索線Ｌｙに基づく白線幅の推定がなされている場合には、その推定値の半値程度の値が好適に設定される。
【００５１】
このような実施形態によれば、画像上に設定された第１の白線検出領域Ａ１内で水平方向に設定した検索ラインＬｘ上での輝度変化に基づいて第１の白線開始点Ｐｊを検出し、この第１の白線開始点Ｐｊからなる点群の近似線ａｐを演算するとともに、近似線ａｐの車幅方向内側に当該近似線ａｐに沿う白線探索線Ｌｙを設定し、この白線探索線Ｌｙ上の輝度情報に基づいて近似線ａｐの車幅方向内側で白線を探索し、白線の存在が判定されたとき、第１の白線検出領域Ａ１よりも車幅方向内側の領域を拡張した第２の白線検出領域Ａ２を設定し、第２の白線検出領域Ａ２内に設定した検索ラインＬｘ上での輝度変化に基づいて検出される白線開始点のうち第１の白線開始点Ｐｊと重複しない点を第２の白線エッジ点として検出し、予め設定した条件に基づいて選定した第１の白線開始点Ｐｊ或いは第２の白線開始点Ｐｋからなる点群に基づいて白線（近似線ＡＰ）を演算し、演算した白線に基づいて第１の白線検出領域Ａ１を設定することにより、簡単な演算処理により、二重白線等に対しても高精度で探偵した白線認識を行うことができる。
【００５２】
すなわち、前回（前フレームで）認識した白線（近似線ＡＰ）に基づいて設定した第１の白線検出領域Ａ１上での車幅方向内側から外側へののエッジ検出に基づいて第１の白線開始点Ｐｊを検索ラインＬｘ毎に各１点検出することにより、限定された領域内において効率よく白線開始点を検出することができる。さらに、第１の白線開始点Ｐｊの点群を近似する近似線ａｐを演算し、その車幅方向内側に近似線ａｐに沿う白線探索線Ｌｙを設定するとともに、白線探索線Ｌｙ上の輝度情報に基づいて近似線ａｐよりも車幅方向内側での更なる白線の有無を判定し、白線の存在を判定したとき、車幅方向内側に拡張した第２の白線検出領域Ａ２内での車幅方向内側から外側へのエッジ検出に基づいて第１の白線開始点Ｐｊと重複しない第２の白線開始点Ｐｋを検出することにより、例えば、単線からなる白線が自車両の遠方で二重白線等に変化する場合等にも当該二重白線等を構成する新たな白線の開始点についても的確に検出することができる。そして、予め設定された条件に基づいて第１，第２の白線開始点Ｐｊ，Ｐｋからなる各点群のうち白線演算対象として好適な点群を選定し、選定した点群に基づいて白線認識を行うことにより、白線の本数が増加した場合（例えば、白線が単線から二重白線に変化した場合、二重白線から三重白線に変化した場合等）においても、好適な白線認識を行うことができる。そして、認識した白線に基づいて第１の白線検出領域Ａ１を新たに設定することにより、次フレームでの白線認識において、車幅方向内側で最も好適に認識される白線を基準として第１の白線開始点Ｐｊの検出処理を行うことができる。勿論、二重白線から単線へと白線の本数が減少した場合等には、第１の白線検出領域Ａ１内で検出される第１の白線開始点Ｐｊの位置が全体的に車幅方向外側にシフトされる等して第１の白線検出領域Ａ１が車幅方向外側に減縮されるので、このような場合にも引き続き第１の白線開始点Ｐｊの検出等を効率よく実現することができる。
【００５３】
ここで、上述のステップＳ１０２、ステップＳ１０８、或いは、ステップＳ１０９での各演算は、ハフ変換を用いたものに限定されるものではなく、例えば、最小二乗法を用いて行うことも可能である。この場合、例えば、最小二乗法を用いた各点群をそれぞれ二次式（ｙ＝ａ・ｘ２＋ｂ・ｘ＋ｃ）で近似し、当該近似線（近似曲線）を用いた各演算を行うことが可能である。この場合、例えば、ステップＳ１０８の処理においては、近似曲線に対し、画像上或いは実空間上において分散値が小さい点群、或いは、相関係数が高い点群を選定することが可能である。これにより、ハフ変換を用いた処理に比べ、点群選定時等の演算負荷を飛躍的に軽減することが可能である。
【００５４】
さらに、ハフ変換を用いた点群の選定等に代えて、例えば、点群を構成する各点の前後間での各車幅方向の変位状態に基づいて、各点群のばらつきを評価することも可能である。この場合、例えば、図１１に示すように、注目する点Ｐ（ｎ）の２行前（２行自車側）と１行前（１行自車側）の各検索ラインＬｘ上の点Ｐ（ｎ−２）Ｐ（ｎ−１）の画像上でのＸ座標（車幅方向）変位量Ｅ（ｎ−１）と、１行前の点Ｐ（ｎ−１）と注目する点Ｐ（ｎ）とのＸ座標変位量Ｅ（ｎ）とを比較する。そして、これら変化量Ｅ（ｎ−１）と変化量Ｅ（ｎ）の符号が異なるとき、該当する変化量Ｅ（ｎ）を抽出し、点群の偏差として積算し、点郡数で除すことで偏差の平均値を算出する。そして、このような演算によって得られた各点群の偏差の平均値を比較し、偏差の平均値が最も小さい点群を選定することが可能である。
【００５５】
なお、上述の実施形態においては、白線エッジ点として白線開始点を用いた一例について説明したが、本発明はこれに限定されるものではなく、例えば、白線開始点に代えて、輝度が明から暗へと変化する白線終了点を用いることも可能である。
【００５６】
また、上述の実施形態においては、ステレオ撮像された一対の画像に基づいて白線認識を行う場合の一例について説明したが、本発明はこれに限定されるものではなく、単眼のカメラ等で撮像された画像に基づいて白線認識を行っても良いことは勿論である。
【符号の説明】
【００５７】
１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（第１のエッジ点検出手段、近似線演算手段、白線探索手段、第２の検出領域設定手段、第２のエッジ点検出手段、白線演算手段、第１の検出領域設定手段）
５ … 制御ユニット
Ａ１ … 第１の白線検出領域
Ａ２ … 白線検出領域
ＡＰ … 白線の近似線
Ｅ … 変位量
Ｌｘ … 検索ライン
Ｌｙ … 白線探索線
Ｐｊ … 第１の白線開始点
Ｐｋ … 第２の白線開始点
【技術分野】
【０００１】
本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線の認識が行われ、この白線に基づいて自車走行レーンの推定等が行われる。
【０００３】
ところで、実際の道路上の白線には、単一の車線区画線で構成される白線の他に、車線区画線の内側に破線等からなる視線誘導線等が併設された二重白線等の各種バリエーションが存在する。
【０００４】
そこで、この種の白線認識では、車線区画線のみならず視線誘導線等の存在を十分に考慮する必要がある。このような白線認識についての技術として、例えば、特許文献２には、一対の画像を処理して得られる距離情報に基づいて認識した道路面上にある画素の中から輝度値と輝度微分値が設定閾値以上の画素を車線候補点として検出し、所定距離内にある車線候補点をグループ化し、車線候補点のグループが所定個数以上検出され、各グループの実空間上における距離方向の長さ等が所定の数値範囲内にある場合には、それらのグループを道路面上に表示された破線として検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２６４９５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１に開示された技術は、内側の視線誘導線の長さ、間隔、道路幅等の厳密な値を必要とし、複雑な演算処理等を必要とする。
【０００７】
本発明は上記事情に鑑みてなされたもので、簡単な演算処理により、二重白線等に対しても高精度で安定した白線認識を行うことができる車両用白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、自車走行環境を撮像した画像上に設定された第１の白線検出領域内での水平方向の輝度変化に基づいて第１の白線エッジ点を検出する第１のエッジ点検出手段と、前記第１の白線エッジ点からなる点群の近似線を演算する近似線演算手段と、前記近似線の車幅方向内側に当該近似線に沿う白線探索線を設定し、当該白線探索線上の輝度情報に基づいて前記近似線の車幅方向内側で白線を探索する白線探索手段と、前記近似線の車幅方向内側での白線の存在が判定されたとき、前記第１の白線検出領域よりも車幅方向内側の領域を拡張した第２の白線検出領域を設定する第２の検出領域設定手段と、前記第２の白線検出領域内での水平方向の輝度変化に基づいて検出される白線エッジ点のうち前記第１の白線エッジ点と重複しない点を第２の白線エッジ点として検出する第２のエッジ点検出手段と、予め設定された条件に基づいて前記第１の白線エッジ点或いは前記第２の白線エッジ点からなる点群を選定し当該選定した点群に基づいて白線を演算する白線演算手段と、前記演算した白線に基づいて前記第１の白線検出領域を設定する第１の検出領域設定手段とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明の車両用白線認識装置によれば、簡単な演算処理により、二重白線等に対しても高精度で安定した白線認識を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】車両用運転支援装置の概略構成図
【図２】白線認識ルーチンを示すフローチャート
【図３】（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点による第１の点群を示す説明図であり（ｃ）は白線探索線を示す説明図
【図４】（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点による第１の点群を示す説明図であり（ｃ）は白線探索線を示す説明図であり（ｄ）は（ａ）の画像から検出される白線開始点による第２の点群を示す説明図
【図５】（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点による第１の点群を示す説明図であり（ｃ）は白線探索線を示す説明図
【図６】白線開始点及び白線終了点での輝度及び輝度の微分値の推移の一例を示す図表
【図７】ハフ変換の演算方法示す説明図
【図８】ハフ空間を示す説明図
【図９】各撮像画像上における白線探索線上の輝度状態を示す説明図
【図１０】認識された白線と第１の白線検出領域との関係を示す説明図
【図１１】点群選定方法の変形例を示す説明図
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１車両用運転支援装置の概略構成図、図２白線認識ルーチンを示すフローチャート、図３（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点による第１の点群を示す説明図であり（ｃ）は白線探索線を示す説明図、図４（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点による第１の点群を示す説明図であり（ｃ）は白線探索線を示す説明図であり（ｄ）は（ａ）の画像から検出される白線開始点による第２の点群を示す説明図、図５（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点による第１の点群を示す説明図であり（ｃ）は白線探索線を示す説明図、図６白線開始点及び白線終了点での輝度及び輝度の微分値の推移の一例を示す図表、図７ハフ変換の演算方法示す説明図、図８ハフ空間を示す説明図、図９各撮像画像上における白線探索線上の輝度状態を示す説明図、図１０認識された白線と第１の白線検出領域との関係を示す説明図、図１１点群選定方法の変形例を示す説明図である。
【００１２】
図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。
【００１３】
また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。
【００１４】
ステレオカメラ３は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持ってい取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。
【００１５】
ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジとして抽出するとともに、抽出した画素（エッジ）に距離情報を付与することで、距離情報を備えたエッジの分布画像（距離画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に基づいて、自車前方の白線、側壁、立体物等を認識し、認識した各データに、それぞれ異なるＩＤを割り当て、これらをＩＤ毎にフレーム間で連続して監視する。
【００１６】
ここで、本実施形態において、白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線が併設された多重線（二重線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、さらに、黄色線等をも含む。また、本実施形態の白線認識においては、道路上に実在の白線が二重白線等であっても、左右それぞれ単一の直線或いは曲線等で近似して認識するものとする。
【００１７】
このような白線の認識に際し、ステレオ画像認識装置４は、前回までの処理に基づいて画像上に設定された第１の白線検出領域Ａ１内において、水平方向（車幅方向）に設定した複数の検索ラインＬｘ上での輝度変化に基づいて、検索ラインＬｘ毎に１点の第１の白線開始点Ｐｊを検出する。すなわち、ステレオ画像認識装置４は、例えば、基準画像上に設定された左右の各第１の白線検出領域Ａ１内において、各検索ラインＬｘ上で車幅方向内側から外側に向けて各画素の輝度値の変化を調べることにより、第１の白線エッジ点としての白線開始点（第１の白線開始点Ｐｊ）をそれぞれ検出する。
【００１８】
また、ステレオ画像認識装置４は、左右の各第１の白線検出領域Ａ１において認識した第１の白線開始点Ｐｊからなる各点群の近似線ａｐを演算する。
【００１９】
さらに、ステレオ画像認識装置４は、演算した近似線ａｐの車幅方向内側に、当該近似線ａｐに沿って延在する白線探索線Ｌｙを設定する。そして、ステレオ画像認識装置４は、白線探索線Ｌｙ上の輝度情報に基づき、近似線ａｐの車幅方向内側に更なる白線が存在するか否かの探索を行う。
【００２０】
その結果、近似線ａｐの車幅方向内側に白線が存在すると判定されたとき、ステレオ画像認識装置４は、第１の白線検出領域Ａ１よりも車幅方向の内側の領域が拡張された第２の白線検出領域Ａ２を設定する。
【００２１】
そして、ステレオ画像認識装置４は、第２の白線検出領域Ａ２内の各検索ラインＬｘ上での輝度変化に基づいて、第２の白線エッジ点としての白線開始点（第２の白線開始点Ｐｋ）を検出する。すなわち、ステレオ画像認識装置４は、第２の白線検出領域Ａ２内において、検索ラインＬｘ毎に１点の白線開始点を検出し、検出した白線開始点のうち第１の白線開始点Ｐｊと重複しないものを第２の白線開始点Ｐｋとして抽出する。
【００２２】
そして、ステレオ画像認識装置４は、第１の白線開始点Ｐｊ或いは第２の白線開始点Ｐｋからなる各点群の中から、予め設定された条件に基づき、白線演算対象として適切な点群を選定し、選定した点群に基づいて白線（白線の近似線）を演算する。なお、第２の白線開始点Ｐｋからなる点群が存在しない場合、第１の白線開始点Ｐｊからなる点群がそのまま白線演算対象の点群として選定される。
【００２３】
さらに、ステレオ画像認識装置４は、演算した白線に基づいて、次フレームでの白線認識に用いられる第１の白線検出領域Ａ１を新たに設定する。
【００２４】
このように、本実施形態において、ステレオ画像認識装置４は、白線認識装置としての機能を有し、第１のエッジ点検出手段、近似線演算手段、白線探索手段、第２の検出領域設定手段、第２のエッジ点検出手段、白線演算手段、及び、第１の検出領域設定手段としての各機能を実現する。
【００２５】
制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。
【００２６】
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に、追従対象の先行車が走行しているか否かを識別する。
【００２７】
その結果、追従対象の先行車が検出されない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。
【００２８】
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
【００２９】
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
【００３０】
次に、上述のステレオ画像認識装置４による白線認識について、図２に示す白線認識ルーチンのフローチャートに従って説明する。
このルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、第１の白線開始点Ｐｊの検出を行う。すなわち、ステレオ画像認識装置４は、前フレームで設定された第１の白線検出領域Ａ１を読み込み、例えば、基準画像上における画像中心線（或いは、舵角θｓｔ等から推定される自車進行方向）を基準とする車幅方向内側から外側に向けての各検索ラインＬｘ上でのエッジ検出により、第１の白線検出領域Ａ１内において第１の白線開始点Ｐｊの検出を行う。具体的には、ステレオ画像認識装置４は、例えば、図６に示すように、車幅方向内側から外側への検索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる最初の点（エッジ点）を検索ラインＬｘ毎に１点検出し、当該エッジ点を第１の白線開始点Ｐｊとして認識する。
【００３１】
このような処理により、例えば、認識対象となる白線が車線区画線のみからなる単一の白線で構成され（図３（ａ）参照）、第１の白線検出領域Ａ１内に車線区画線の全体が存在する場合（図３（ｂ）参照）、自車両の左右両側でそれぞれ認識される第１の白線開始点Ｐｊは、そのほとんどが車線区画線の延在方向に沿って連続的に配列される（図３（ｂ）参照）。
【００３２】
また、例えば、認識対象となる白線として車線区画線が存在し、さらに、自車遠方において、車線区画線の内側に所定間隔離間する視線誘導線が存在し（図４（ａ）参照）、第１の白線検出領域Ａ１内に主として車線区画線の全体が存在する場合（図４（ｂ）参照）、自車両の左右両側でそれぞれ認識される第１の白線開始点Ｐｊは、そのほとんどが車線区画線に沿って連続的に配列される（図４（ｂ）参照）。
【００３３】
また、例えば、認識対象となる白線が車線区画線と、当該車線区画線の内側に配設された視線誘導線とからなる二重白線であり（図５（ａ）参照）、第１の白線検出領域Ａ１内に車線区画線及び視線誘導線の全体が存在する場合（図５（ｂ）参照）、自車両の左右両側でそれぞれ認識される第１の白線開始点Ｐｊは、そのほとんどが視線誘導線に沿って連続的に配列される（図５（ｂ）参照）。
【００３４】
続くステップＳ１０２において、ステレオ画像認識装置４は、例えば、ハフ変換を用い、検出した第１の白線開始点Ｐｊの各点群についての近似線ａｐを演算する。すなわち、ステレオ画像認識装置４は、例えば、図７に示すように、点群を構成する各Ｐｊそれぞれに対し、当該点Ｐｊを通る直線ｈの傾きθを０°から１８０°まで所定の角度Δθ毎変化させ、以下の（１）式に基づいて、各θにおける原点Ｏから直線ｈまでの距離（垂線の長さ）ρを求める。
【００３５】
ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ … （１）
そして、ステレオ画像認識装置４は、各点Ｐｊについて求めた各θとρとの関係を、例えば、図８に示すハフ平面（θ，ρ）上の該当箇所に度数として投票（投影）する。さらに、ステレオ画像認識装置４は、ハフ平面（θ，ρ）上の度数が最も大きくなるθとρの組み合わせを抽出し、当該θとρを用いて（１）式で規定される直線（ハフ直線）を点群の近似式ａｐとして設定する（図３（ｃ），図４（ｃ），図５（ｃ）参照）。なお、このハフ直線を決定する際のρとθには、過去のρ，θを用いてフィルタリング処理した結果を用いてもよい。
【００３６】
ステップＳ１０３において、ステレオ画像認識装置４は、ステップＳ１０２で演算した各点群の近似線ａｐに基づいて、白線探索線Ｌｙの設定を行う。すなわち、ステレオ画像認識装置４は、例えば、実空間上において近似線ａｐに平行な複数（例えば、３本）の白線探索線Ｌｙを、近似線ａｐの車幅方向内側において設定間隔ｔｈ毎に設定する（（図３（ｃ），図４（ｃ），図５（ｃ）参照）。ここで、白線探索線Ｌｙの各間隔ｔｈは、例えば、道路上に付される一般的な白線幅よりも狭く設定されている。加えて、各白線探索線Ｌｙの間隔ｔｈの総和は、例えば、道路上に付される一般的な二重白線における内外の白線の内縁間の間隔よりも所定幅以上広くなるよう設定されている。
【００３７】
ステップＳ１０３からステップＳ１０４に進むと、ステレオ画像認識装置４は、各白線探索線Ｌｙ上の輝度評価を行うことによって白線探索を行う。すなわち、近似線ａｐの車幅方向内側に更なる白線が存在する場合、少なくとも何れか１つの白線探索線Ｌｙ上の輝度、或いは、白線探索線Ｌｙ間で輝度が大きく変化する。そこで、ステレオ画像認識装置４は、各白線探索線Ｌｙ上の輝度評価（エッジ検出等）を行うことにより、近似線ａｐの車幅方向内側に更なる白線が存在するか否か（車線区画線の車幅方向内側に視線誘導線等が存在するか否か）の探索を行う。なお、白線以外のマーク（例えば、速度表示等）の輝度変化に起因する誤判定を防止するため、本実施形態においては、自車中央前方（Ｙ軸上）の輝度についても輝度評価を行う。
【００３８】
例えば、図３（ｃ）中の右側に設定された各白線探索線Ｌｙ上の輝度及び自車中央前方（Ｙ軸上）の輝度は、図９（ａ）に示すように、全体的に小さく（暗く）なる。このような場合、ステレオ画像認識装置４は、近似線ａｐの車幅方向内側に更なる白線が存在しないと判定する。
【００３９】
また、例えば、図４（ｃ）中の右側に設定された各白線探索線Ｌｙ上の輝度及び車線中央前方（Ｙ軸上）の輝度は、図９（ｂ）に示すように、車幅方向外側の２つの白線探索線Ｌｙ上に輝度の高い明部が存在する。このような場合、ステレオ画像認識装置４は、近似線ａｐの車幅方向内側に更なる白線が存在し、その幅が２×ｔｈ〜３×ｔｈ程度であることを判定する。
【００４０】
また、例えば、図５（ｃ）中の右側に設定された各白線探索線Ｌｙ上の輝度及び自車中央前方（Ｙ軸上）の輝度は、図９（ｃ）に示すように、全体的に小さく（暗く）なる。このような場合、ステレオ画像認識装置４は、近似線ａｐの車幅方向内側に更なる白線が存在しないと判定する。
【００４１】
そして、ステップＳ１０５に進むと、ステレオ画像認識装置４は、ステップＳ１０４の処理で近似線ａｐの車幅方向内側に白線が検出されたか否かを調べる。その結果、白線が検出されていないと判定した場合、ステレオ画像認識装置４は、第１の白線開始点Ｐｊからなる点群を白線演算対象の点群として設定（選定）した後、ステップＳ１０９に進む。一方、白線が検出されたと判定した場合、ステレオ画像認識装置４は、ステップＳ１０６に進む。
【００４２】
ステップＳ１０５からステップＳ１０６に進むと、ステレオ画像認識装置４は、第２の白線検出領域Ａ２の設定を行う。すなわち、ステレオ画像認識装置４は、例えば、第１の白線検出領域Ａ１の車幅方向内側の領域を、上述のステップ１０４で検出した白線の存在が想定される領域よりも車幅方向内側に拡張することにより第２の白線検出領域Ａ２を設定する。
【００４３】
そして、ステップＳ１０７において、ステレオ画像認識装置４は、第２の白線開始点Ｐｋの検出を行う。すなわち、ステレオ画像認識装置４は、例えば、基準画像上における画像中心線を基準とする車幅方向内側から外側に向けての各検索ラインＬｘ上でのエッジ検出により、第２の白線検出領域Ａ２内において第２の白線開始点Ｐｋの検出を行う。具体的には、ステレオ画像認識装置４は、車幅方向内側から外側への検索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる最初の点（エッジ点）を検索ラインＬｘ毎に１点検出し、これら各点のうち、第１の白線開始点Ｐｊと重複しない点を第２の白線開始点Ｐｋとして認識する。
【００４４】
これにより、例えば、図４（ｄ）中に示す例では、図中に二重丸で示すように、第２の白線開始点Ｐｋは、そのほとんどが、視線誘導線に沿って連続的に配列される。なお、図中に黒丸で示す各点は、各検索ラインＬｘ上で検出されたエッジ点であって、第１の白線開始点Ｐｊと重複する点である。
【００４５】
ステップＳ１０７からステップＳ１０８に進むと、ステレオ画像認識装置４は、ステップＳ１０１で検出した第１，第２の白線開始点Ｐｊ，Ｐｋによる各点群について、予め設定された判定条件に基づいて信頼性の判定を行い、信頼線が高いと判定した何れか一方の点群を白線演算対象の点群として選定する。
【００４６】
この場合、例えば、第１，第２の白線開始点Ｐｊ，Ｐｋによる各点群のうち、白線開始点の数が多い何れか一方を信頼性が高い点群であると判定し、白線演算対象として選定することが可能である。
【００４７】
或いは、上述のステップＳ１０２で行ったハフ変換による近似線の演算を、第２の白線開始点Ｐｋによる点群についても行い、近似線に対する各点の誤差の平均値を点群毎に算出し、算出した誤差の平均値が小さい何れか一方の点群を信頼性が高い点群であると判定、白線演算対象として選定することが可能である。また、ハフ平面上の度数の最大値が大きい何れか一方の点群を信頼性が高い点群であると判定し、白線演算対象として選定することも可能である。
【００４８】
ステップＳ１０５或いはステップＳ１０８からステップＳ１０９に進むと、ステレオ画像認識装置４は、選定した点群に基づいて白線演算を行う。この場合、ステレオ画像認識装置４は、例えば、選定された点群についてのハフ変換による近似線を、そのまま白線を表す近似線ＡＰとして認識することが可能である。
【００４９】
そして、ステップＳ１０９からステップＳ１１０に進むと、ステレオ画像認識装置４は、ステップＳ１０９で演算した白線（近似線ＡＰ）に基づいて、次フレームで用いる第１の白線検出領域Ａ１を設定した後、ルーチンを抜ける。
【００５０】
具体的には、ステレオ画像認識装置４は、現在設定されている第１の白線検出領域Ａ１に対し、主として車幅方向内側の領域を可変設定することにより、新たな第１の白線検出領域Ａ１を設定する。例えば、図１０（ａ），（ｂ）において一点鎖線で囲まれた各領域が新たに設定される第１の白線検出領域Ａ１であり、その車幅方向内側の境界は、今回認識された白線の近似線ＡＰよりも所定幅だけ車幅方向内側にオフセットした位置に設定される。この場合のオフセット量としては、例えば、一般的な白線（単線）幅の半値程度の値が好適に設定され、特に、ステップＳ１０４において白線探索線Ｌｙに基づく白線幅の推定がなされている場合には、その推定値の半値程度の値が好適に設定される。
【００５１】
このような実施形態によれば、画像上に設定された第１の白線検出領域Ａ１内で水平方向に設定した検索ラインＬｘ上での輝度変化に基づいて第１の白線開始点Ｐｊを検出し、この第１の白線開始点Ｐｊからなる点群の近似線ａｐを演算するとともに、近似線ａｐの車幅方向内側に当該近似線ａｐに沿う白線探索線Ｌｙを設定し、この白線探索線Ｌｙ上の輝度情報に基づいて近似線ａｐの車幅方向内側で白線を探索し、白線の存在が判定されたとき、第１の白線検出領域Ａ１よりも車幅方向内側の領域を拡張した第２の白線検出領域Ａ２を設定し、第２の白線検出領域Ａ２内に設定した検索ラインＬｘ上での輝度変化に基づいて検出される白線開始点のうち第１の白線開始点Ｐｊと重複しない点を第２の白線エッジ点として検出し、予め設定した条件に基づいて選定した第１の白線開始点Ｐｊ或いは第２の白線開始点Ｐｋからなる点群に基づいて白線（近似線ＡＰ）を演算し、演算した白線に基づいて第１の白線検出領域Ａ１を設定することにより、簡単な演算処理により、二重白線等に対しても高精度で探偵した白線認識を行うことができる。
【００５２】
すなわち、前回（前フレームで）認識した白線（近似線ＡＰ）に基づいて設定した第１の白線検出領域Ａ１上での車幅方向内側から外側へののエッジ検出に基づいて第１の白線開始点Ｐｊを検索ラインＬｘ毎に各１点検出することにより、限定された領域内において効率よく白線開始点を検出することができる。さらに、第１の白線開始点Ｐｊの点群を近似する近似線ａｐを演算し、その車幅方向内側に近似線ａｐに沿う白線探索線Ｌｙを設定するとともに、白線探索線Ｌｙ上の輝度情報に基づいて近似線ａｐよりも車幅方向内側での更なる白線の有無を判定し、白線の存在を判定したとき、車幅方向内側に拡張した第２の白線検出領域Ａ２内での車幅方向内側から外側へのエッジ検出に基づいて第１の白線開始点Ｐｊと重複しない第２の白線開始点Ｐｋを検出することにより、例えば、単線からなる白線が自車両の遠方で二重白線等に変化する場合等にも当該二重白線等を構成する新たな白線の開始点についても的確に検出することができる。そして、予め設定された条件に基づいて第１，第２の白線開始点Ｐｊ，Ｐｋからなる各点群のうち白線演算対象として好適な点群を選定し、選定した点群に基づいて白線認識を行うことにより、白線の本数が増加した場合（例えば、白線が単線から二重白線に変化した場合、二重白線から三重白線に変化した場合等）においても、好適な白線認識を行うことができる。そして、認識した白線に基づいて第１の白線検出領域Ａ１を新たに設定することにより、次フレームでの白線認識において、車幅方向内側で最も好適に認識される白線を基準として第１の白線開始点Ｐｊの検出処理を行うことができる。勿論、二重白線から単線へと白線の本数が減少した場合等には、第１の白線検出領域Ａ１内で検出される第１の白線開始点Ｐｊの位置が全体的に車幅方向外側にシフトされる等して第１の白線検出領域Ａ１が車幅方向外側に減縮されるので、このような場合にも引き続き第１の白線開始点Ｐｊの検出等を効率よく実現することができる。
【００５３】
ここで、上述のステップＳ１０２、ステップＳ１０８、或いは、ステップＳ１０９での各演算は、ハフ変換を用いたものに限定されるものではなく、例えば、最小二乗法を用いて行うことも可能である。この場合、例えば、最小二乗法を用いた各点群をそれぞれ二次式（ｙ＝ａ・ｘ２＋ｂ・ｘ＋ｃ）で近似し、当該近似線（近似曲線）を用いた各演算を行うことが可能である。この場合、例えば、ステップＳ１０８の処理においては、近似曲線に対し、画像上或いは実空間上において分散値が小さい点群、或いは、相関係数が高い点群を選定することが可能である。これにより、ハフ変換を用いた処理に比べ、点群選定時等の演算負荷を飛躍的に軽減することが可能である。
【００５４】
さらに、ハフ変換を用いた点群の選定等に代えて、例えば、点群を構成する各点の前後間での各車幅方向の変位状態に基づいて、各点群のばらつきを評価することも可能である。この場合、例えば、図１１に示すように、注目する点Ｐ（ｎ）の２行前（２行自車側）と１行前（１行自車側）の各検索ラインＬｘ上の点Ｐ（ｎ−２）Ｐ（ｎ−１）の画像上でのＸ座標（車幅方向）変位量Ｅ（ｎ−１）と、１行前の点Ｐ（ｎ−１）と注目する点Ｐ（ｎ）とのＸ座標変位量Ｅ（ｎ）とを比較する。そして、これら変化量Ｅ（ｎ−１）と変化量Ｅ（ｎ）の符号が異なるとき、該当する変化量Ｅ（ｎ）を抽出し、点群の偏差として積算し、点郡数で除すことで偏差の平均値を算出する。そして、このような演算によって得られた各点群の偏差の平均値を比較し、偏差の平均値が最も小さい点群を選定することが可能である。
【００５５】
なお、上述の実施形態においては、白線エッジ点として白線開始点を用いた一例について説明したが、本発明はこれに限定されるものではなく、例えば、白線開始点に代えて、輝度が明から暗へと変化する白線終了点を用いることも可能である。
【００５６】
また、上述の実施形態においては、ステレオ撮像された一対の画像に基づいて白線認識を行う場合の一例について説明したが、本発明はこれに限定されるものではなく、単眼のカメラ等で撮像された画像に基づいて白線認識を行っても良いことは勿論である。
【符号の説明】
【００５７】
１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（第１のエッジ点検出手段、近似線演算手段、白線探索手段、第２の検出領域設定手段、第２のエッジ点検出手段、白線演算手段、第１の検出領域設定手段）
５ … 制御ユニット
Ａ１ … 第１の白線検出領域
Ａ２ … 白線検出領域
ＡＰ … 白線の近似線
Ｅ … 変位量
Ｌｘ … 検索ライン
Ｌｙ … 白線探索線
Ｐｊ … 第１の白線開始点
Ｐｋ … 第２の白線開始点
【特許請求の範囲】
【請求項１】
自車走行環境を撮像した画像上に設定された第１の白線検出領域内での水平方向の輝度変化に基づいて第１の白線エッジ点を検出する第１のエッジ点検出手段と、
前記第１の白線エッジ点からなる点群の近似線を演算する近似線演算手段と、
前記近似線の車幅方向内側に当該近似線に沿う白線探索線を設定し、当該白線探索線上の輝度情報に基づいて前記近似線の車幅方向内側で白線を探索する白線探索手段と、
前記近似線の車幅方向内側での白線の存在が判定されたとき、前記第１の白線検出領域よりも車幅方向内側の領域を拡張した第２の白線検出領域を設定する第２の検出領域設定手段と、
前記第２の白線検出領域内での水平方向の輝度変化に基づいて検出される白線エッジ点のうち前記第１の白線エッジ点と重複しない点を第２の白線エッジ点として検出する第２のエッジ点検出手段と、
予め設定された条件に基づいて前記第１の白線エッジ点或いは前記第２の白線エッジ点からなる点群を選定し当該選定した点群に基づいて白線を演算する白線演算手段と、
前記演算した白線に基づいて前記第１の白線検出領域を設定する第１の検出領域設定手段とを備えたことを特徴とする車両用白線認識装置。
【請求項２】
前記白線演算手段は、前記第１の白線エッジ点からなる点群及び前記第２の白線エッジ点からなる点群についてハフ変換を用いた直線近似を行い、直線近似の際のハフ平面上への度数の最大値が大きい何れか一方の点群を選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項３】
前記白線演算手段は、前記第１の白線エッジ点からなる点群及び前記第２の白線エッジ点からなる点群についてハフ変換を用いた直線近似を行い、近似線に対する各点の誤差の平均値が小さい何れか一方の点群を選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項４】
前記白線演算手段は、前記点群を構成する各点の前後間での各車幅方向の変位状態に基づいて、ばらつきが最も小さい点群を選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項５】
前記白線認識手段は、前記各点群を表す近似式を最小二乗法を用いてそれぞれ演算し、分散値が小さい点群、或いは、相関係数が大きな点群を選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項１】
自車走行環境を撮像した画像上に設定された第１の白線検出領域内での水平方向の輝度変化に基づいて第１の白線エッジ点を検出する第１のエッジ点検出手段と、
前記第１の白線エッジ点からなる点群の近似線を演算する近似線演算手段と、
前記近似線の車幅方向内側に当該近似線に沿う白線探索線を設定し、当該白線探索線上の輝度情報に基づいて前記近似線の車幅方向内側で白線を探索する白線探索手段と、
前記近似線の車幅方向内側での白線の存在が判定されたとき、前記第１の白線検出領域よりも車幅方向内側の領域を拡張した第２の白線検出領域を設定する第２の検出領域設定手段と、
前記第２の白線検出領域内での水平方向の輝度変化に基づいて検出される白線エッジ点のうち前記第１の白線エッジ点と重複しない点を第２の白線エッジ点として検出する第２のエッジ点検出手段と、
予め設定された条件に基づいて前記第１の白線エッジ点或いは前記第２の白線エッジ点からなる点群を選定し当該選定した点群に基づいて白線を演算する白線演算手段と、
前記演算した白線に基づいて前記第１の白線検出領域を設定する第１の検出領域設定手段とを備えたことを特徴とする車両用白線認識装置。
【請求項２】
前記白線演算手段は、前記第１の白線エッジ点からなる点群及び前記第２の白線エッジ点からなる点群についてハフ変換を用いた直線近似を行い、直線近似の際のハフ平面上への度数の最大値が大きい何れか一方の点群を選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項３】
前記白線演算手段は、前記第１の白線エッジ点からなる点群及び前記第２の白線エッジ点からなる点群についてハフ変換を用いた直線近似を行い、近似線に対する各点の誤差の平均値が小さい何れか一方の点群を選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項４】
前記白線演算手段は、前記点群を構成する各点の前後間での各車幅方向の変位状態に基づいて、ばらつきが最も小さい点群を選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項５】
前記白線認識手段は、前記各点群を表す近似式を最小二乗法を用いてそれぞれ演算し、分散値が小さい点群、或いは、相関係数が大きな点群を選定することを特徴とする請求項１記載の車両用白線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−５３８０９（Ｐ２０１１−５３８０９Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２００５７１（Ｐ２００９−２００５７１）
【出願日】平成２１年８月３１日（２００９．８．３１）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年８月３１日（２００９．８．３１）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]