車両用白線認識装置
【課題】エッジ検出等の演算処理を複雑化させることなく、多重白線等に対しても安定した認識結果を得ることができる車両用白線認識装置を提供する。
【解決手段】ステレオ画像認識装置４は、画像上の左右の各白線検出領域内において、水平方向に設定した複数の検索ラインＬ上での輝度変化に基づいて検索ラインＬ毎に各１組の白線開始点Ｐｓ及び白線終了点Ｐｅを検出すると共に、これら各対をなす白線開始点Ｐｓと白線終了点Ｐｅとの中間点を算出し、白線開始点Ｐｓからなる点群と中間点Ｐｍからなる点群とのうち、予め設定された条件に基づいて判定されるばらつきが最も小さい点群を白線演算対象の点群として選定して当該選定した点群に基づいて白線を演算する。
【解決手段】ステレオ画像認識装置４は、画像上の左右の各白線検出領域内において、水平方向に設定した複数の検索ラインＬ上での輝度変化に基づいて検索ラインＬ毎に各１組の白線開始点Ｐｓ及び白線終了点Ｐｅを検出すると共に、これら各対をなす白線開始点Ｐｓと白線終了点Ｐｅとの中間点を算出し、白線開始点Ｐｓからなる点群と中間点Ｐｍからなる点群とのうち、予め設定された条件に基づいて判定されるばらつきが最も小さい点群を白線演算対象の点群として選定して当該選定した点群に基づいて白線を演算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線の認識が行われ、この白線に基づいて自車走行レーンの推定等が行われる。
【０００３】
このような白線認識を行うための技術として、例えば、特許文献１には、輝度が暗から明に変化する各エッジ点（正エッジ点）と、輝度が明から暗に変化する各エッジ点（負エッジ点）とを路面画像中から検出し、これら正負の各エッジ点についてそれぞれハフ変換を行い、正負間で対応するハフ空間を探索することにより、例えば、実線状の車線区画線と破線状の視線誘導線とが併存する多重白線（二重白線等）のような複雑な形状の白線が表示された走行路においても白線認識を実現する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−８５９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、二重白線等を構成する内側の視線誘導線等の中には、例えば、菱形のマークが所定間隔毎に破線状に連なって形成されたものがある。このような特殊な二重白線等を認識する場合、視線誘導線（菱形のマーク）について検出される各エッジ点は、その延在方向とは異なる方向に不連続に配列されることとなる。従って、二重白線等の白線認識において、単に内側の視線誘導線等のエッジ点についてハフ変換を行っただけの処理では、得られる直線が実際の車線の延在方向とは異なってしまう虞がある。
【０００６】
その一方で、特許文献１に開示された技術のように、二重白線等の白線認識において、内外の各白線（視線誘導線及び車線区画線等）について正エッジ点及び負エッジ点をそれぞれ検出することにより、特殊な視線誘導線を有する二重白線等についても、車線区画線側のエッジ点等に基づいて適正な方向に延在する直線を得られる可能性がある。しかしながら、二重白線等の認識に際し、複数の白線のそれぞれに対してエッジ点検出等を行うことは、演算負荷等を過剰に増大させる虞がある。
【０００７】
本発明は上記事情に鑑みてなされたもので、エッジ検出等の演算処理を複雑化させることなく、多重白線等に対しても安定した認識結果を得ることができる車両用白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、自車走行環境を撮像した画像上の水平方向に設定した複数の検索ライン上での輝度変化に基づいて前記検索ライン毎に１組の白線開始点及び白線終了点を検出する白線境界点検出手段と、前記検索ライン毎に検出された前記白線開始点と前記白線終了点との中間点を算出する中間点算出手段と、前記白線開始点からなる点群或いは前記白線終了点からなる点群の少なくとも何れか一方と、前記中間点からなる点群のうち、予め設定された条件に基づいて判定されるばらつきが最も小さい点群を選定する点群選定手段と、前記選定した点群に基づいて白線を演算する白線演算手段とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明の車両用白線認識装置によれば、エッジ検出等の演算処理を複雑化させることなく、多重白線等に対しても安定した認識結果を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】車両用運転支援装置の概略構成図
【図２】白線認識ルーチンを示すフローチャート
【図３】白線開始点及び白線終了点での輝度及び輝度の微分値の推移の一例を示す図表
【図４】（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点及び白線終了点を示す説明図であり（ｃ）は（ｂ）から算出される中間点を示す説明図
【図５】（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点及び白線終了点を示す説明図であり（ｃ）は（ｂ）から算出される中間点を示す説明図
【図６】ハフ変換の演算方法を示す説明図
【図７】ハフ空間を示す説明図
【図８】点群選定方法の変形例を示す説明図
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は白線認識ルーチンを示すフローチャート、図３は白線開始点及び白線終了点での輝度及び輝度の微分値の推移の一例を示す図表、図４（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点及び白線終了点を示す説明図であり（ｃ）は（ｂ）から算出される中間点を示す説明図、図５（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点及び白線終了点を示す説明図であり（ｃ）は（ｂ）から算出される中間点を示す説明図、図６はハフ変換の演算方法を示す説明図、図７ハフ空間を示す説明図、図８は点群選定方向の変形例を示す説明図である。
【００１２】
図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。
【００１３】
また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。
【００１４】
ステレオカメラ３は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持ってい取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。
【００１５】
ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジとして抽出するとともに、抽出した画素（エッジ）に距離情報を付与することで、距離情報を備えたエッジの分布画像（距離画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に基づいて、自車前方の白線、側壁、立体物等を認識し、認識した各データに、それぞれ異なるＩＤを割り当て、これらをＩＤ毎にフレーム間で連続して監視する。
【００１６】
ここで、本実施形態において、白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線が併設された多重線（二重線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、さらに、黄色線等をも含む。また、本実施形態の白線認識においては、道路上に実在の白線が二重白線等であっても、左右それぞれ単一の直線或いは曲線等で近似して認識するものとする。
【００１７】
このような白線の認識に際し、ステレオ画像認識装置４は、画像上に設定された白線検出領域内において、水平方向（車幅方向）に設定した複数の検索ラインＬ上で輝度が所定以上変化するエッジの検出を行うことで、検索ライン毎に１組の白線開始点Ｐｓ及び白線終了点Ｐｅを検出する。すなわち、ステレオ画像認識装置４は、例えば、基準画像上に設定された左右の各白線検出領域内において、各検索ラインＬ上で車幅方向内側から外側に向けて各画素の輝度値の変化を調べることにより、エッジ点を検出する。そして、ステレオ画像認識装置４は、検出したエッジ点に基づいて、検索ラインＬ毎に左右各１組の白線開始点Ｐｓ及び白線終了点Ｐｅを検出する。また、ステレオ画像認識装置４は、検索ラインＬ毎に検出された白線開始点Ｐｓと白線終了点Ｐｅとの中間点Ｐｍを算出する。さらに、ステレオ画像認識装置４は、白線開始点Ｐｓからなる点群と、中間点Ｐｍからなる点群のうち、予め設定された条件に基づいて判定されるばらつきが小さい点群を選定し、選定した点群に基づいて白線を演算する。
【００１８】
このように、本実施形態において、ステレオ画像認識装置４は、白線認識装置としての機能を有し、白線境界点検出手段、中間点算出手段、点群選定手段、及び、白線演算手段としての各機能を実現する。
【００１９】
制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。
【００２０】
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に、追従対象の先行車が走行しているか否かを識別する。
【００２１】
その結果、追従対象の先行車が検出されない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。
【００２２】
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
【００２３】
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
【００２４】
次に、上述のステレオ画像認識装置４による白線認識について、図２に示す白線認識ルーチンのフローチャートに従って説明する。
このルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、白線開始点Ｐｓの検出を行う。すなわち、ステレオ画像認識装置４は、例えば、基準画像上に設定された左右の各白線検出領域内において、画像中心線（或いは、舵角θｓｔ等から推定される自車進行方向）を基準とする車幅方向内側から外側に向けて、各検索ラインＬ上でのエッジ検出を行い、白線開始点Ｐｓを示すエッジ点の探索を行う。具体的には、ステレオ画像認識装置４は、例えば、図３に示すように、車幅方向内側から外側への検索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点）を白線開始点Ｐｓとして検出する。ここで、演算を簡素化するため、ステレオ画像認識装置４は、各検索ラインＬ上の車幅方向内側から車幅方向外側への探索において、前述の要件に基づいて最初に検出したエッジ点（すなわち、前述の要件に基づいて最も車幅方向内側で検出したエッジ点）のみを白線開始点Ｐｓとして検出する。
【００２５】
このような検索により、例えば、認識対象となる白線が二重白線であって、且つ、内側に位置する白線（視線誘導線）が菱形のマークで構成されている場合（図４（ａ）参照）、自車両の左右両側でそれぞれ認識される各白線開始点Ｐｓは、主として内側の視線誘導線に基づくものとなり、白線の延在方向に対して不連続に配列される（図４（ｂ）参照）。一方、例えば、認識対象となる白線が二重線であって、且つ、内側に位置する白線（視線誘導線）が破線状に形成されている場合（図５（ａ）参照）、自車両の左右両側でそれぞれ認識される各白線開始点Ｐｓは、主として内側の視線誘導線に基づくものとなり、そのほとんどが白線の延在方向に対して連続的に配列される（図５（ｂ）参照）。
【００２６】
続くステップＳ１０２において、ステレオ画像認識装置４は、白線終了点Ｐｅの検出を行う。すなわち、ステレオ画像認識装置４は、例えば、基準画像上に設定された左右の各白線検出領域内において、画像中心線（或いは、舵角θｓｔ等から推定される自車進行方向）を基準として車幅方向内側から外側に向けて、各検索ラインＬ上でのエッジ検出を行い、白線終了点Ｐｅを示すエッジ点の探索を行う。具体的には、例えば、図３に示すように、車幅方向内側から外側への検索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値がマイナス側の設定閾値以下となる点（エッジ点）を白線終了点Ｐｅとして検出する。ここで、演算を簡素化するため、ステレオ画像認識装置４は、各検索ラインＬ上の車幅方向内側から車幅方向外側への探索において、前述の要件に基づいて最初に検出したエッジ点（すなわち、前述の要件に基づいて最も車幅方向内側で検出したエッジ点）のみを白線終了点Ｐｅとして検出する。
【００２７】
このような検索により、例えば、認識対象となる白線が二重白線であって、且つ、内側に位置する白線（視線誘導線）が菱形のマークで構成されている場合（図４（ａ）参照）、自車両の左右両側でそれぞれ認識される各白線終了点Ｐｅは、主として内側の視線誘導線に基づくものとなり、白線の延在方向に対して不連続に配列される（図４（ｂ）参照）。一方、例えば、認識対象となる白線が二重線であって、且つ、内側に位置する白線（視線誘導線）が破線状に形成されている場合（図５（ａ）参照）、自車両の左右両側でそれぞれ認識される各白線終了点Ｐｅは、主として内側の視線誘導線に基づくものとなり、そのほとんどが白線の延在方向に対して連続的に配列される。但し、図５（ａ）に示す例では、解像度等に起因して、画像上、内外の白線が遠方で結合されている。このため、所定距離以遠での白線終了点Ｐｅは、外側の白線（車線区画線）に基づくものとなり、自車近傍のものよりも相対的に車幅方向外側に所定量シフトした位置で、白線の延在方向に対して連続的に配列される（図５（ｂ）参照）。
【００２８】
なお、本実施形態において、上述のステップＳ１０１及びステップＳ１０２で検出される各白線開始点Ｐｓ及び各白線終了点Ｐｅには、距離画像上で対応する距離情報がそれぞれ付与される。或いは、上述の白線開始点Ｐｓ及び白線終了点Ｐｅの検出を基準画像に代えて距離画像上で行うことで、各点Ｐｓ，Ｐｅの距離情報を直接的に取得することも可能である。
【００２９】
続くステップＳ１０３において、ステレオ画像認識装置４は、検索ラインＬ毎に検出された各対をなす白線開始点Ｐｓと白線終了点Ｐｅの中間点Ｐｍを算出する。すなわち、ステレオ画像認識装置４は、白線開始点Ｐｓから白線終了点Ｐｅまでの画素数（及び、距離情報）に基づいて各検索ラインＬ上における白線幅を算出し、これの白線幅が１／２となる点を中間点Ｐｍとして出力する。
【００３０】
この場合、図４（ａ）で示した二重白線においては、白線開始点Ｐｓ及び白線終了点Ｐｅのほとんどが内側の視線誘導線に基づいて検出されたものであるため、算出される各中間点Ｐｍは、そのほとんどが白線の延在方向に対して連続的に配列される（図４（ｃ）参照）。一方、図５（ａ）で示した二重白線においては、白線開始点Ｐｓのほとんどが内側の視線誘導線に基づいて検出されているものの、白線終了点Ｐｅの一部が外側の白線（車線区画線）に基づいて検出されたものであるため、算出される各中間点Ｐｍは、特に、自車近傍と遠方とで不連続に配列される（図５（ｃ）参照）。
【００３１】
続くステップＳ１０４において、ステレオ画像認識装置４は、例えば、白線開始点Ｐｓからなる点群と、中間点Ｐｍからなる点群についての評価を行い、予め設定された条件に基づいて判定されるばらつきが小さい点群を選定する。すなわち、本実施形態において、ステレオ画像認識装置４は、ハフ変換を用いて各点群を表す近似式（例えば、直線近似式）を演算し、演算した近似式に対応する各点の誤差が小さい点群を白線演算対象の点群として選定する。
【００３２】
各白線開始点Ｐｓ或いは各中間点Ｐｍを点Ｐと略称して具体的に説明すると、ステレオ画像認識装置４は、例えば、図６に示すように、点群を構成する各点Ｐそれぞれに対し、点Ｐ（ｘ，ｙ）を通る直線ｈの傾きθを０°から１８０°まで所定の角度Δθ毎変化させ、以下の（１）式に基づいて、各θにおける原点Ｏから直線ｈまでの距離（垂線の長さ）ρを求める。
ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ … （１）
そして、ステレオ画像認識装置４は、各点Ｐについて求めた各θとρの関係を、例えば、図７に示すハフ平面（θ，ρ）上の該当箇所に度数として投票（投影）する。さらに、ステレオ画像認識装置４は、ハフ平面（θ，ρ）上の度数が最も大きくなるθとρの組み合わせを抽出し、当該θとρを用いて（１）式で規定される直線（ハフ直線Ｈ）を点群の近似式として設定する。
【００３３】
そして、ステレオ画像認識装置４は、近似式（ハフ直線Ｈ）に対する各点Ｐの誤差の平均値を算出し、算出した誤差の平均値が小さい方の点群を白線演算対象の点群として選定する。
【００３４】
このような処理により、例えば、図４（ａ）に示す二重白線においては、左右の各白線検出領域において共に、中間点Ｐｍからなる点群が白線演算対象の点群として選定される。一方、例えば、図５（ａ）に示す二重白線においては、左右の各白線検出領域において共に、白線開始点Ｐｓからなる点群が白線演算対象の点群として選定される。
【００３５】
ここで、点群の選定処理を簡素化するため、例えば、各点群に対応するハフ平面（θ，ρ）上の度数の最大値（ピーク）同士を比較し、大きなピークを有する点群を白線演算対象の点群として選定することの可能である。
【００３６】
続くステップＳ１０５において、ステレオ画像認識装置４は、ステップＳ１０４で選定した点群に基づいて白線を演算する。すなわち、本実施形態において、例えば、白線演算対象の点群として白線開始点Ｐｓからなる点群が選定されている場合、ステレオ画像認識装置４は、当該点群に基づくハフ直線Ｈをそのまま、自車走行レーンを区画する白線として設定する。一方、例えば、白線演算対象の点群として中間点Ｐｍが選定されている場合、ステレオ画像認識装置４は、当該点群に基づくハフ直線Ｈを白線開始点Ｐｓから白線終了点Ｐｅまでの距離の半値分だけ車幅方向内側にシフトさせた直線を、自車走行レーンを区画する白線として設定する。
【００３７】
このような実施形態によれば、画像上の左右の各白線検出領域内において、水平方向に設定した複数の検索ラインＬ上での輝度変化に基づいて検索ラインＬ毎に各１組の白線開始点Ｐｓ及び白線終了点Ｐｅを検出すると共に、これら各対をなす白線開始点Ｐｓと白線終了点Ｐｅとの中間点を算出し、白線開始点Ｐｓからなる点群と中間点Ｐｍからなる点群とのうち、予め設定された条件に基づいて判定されるばらつきが最も小さい点群を白線演算対象の点群として選定して当該選定した点群に基づいて白線を演算することにより、エッジ検出等の演算処理を複雑化させることなく、多重白線等に対しても安定した認識結果を得ることができる。
【００３８】
すなわち、実際のエッジ検出に基づいて得られた白線開始点Ｐｓによる点群と、白線開始点Ｐｓと白線終了点Ｐｅとの中間点Ｐｍによる点群とのうち最も好適な点群を選定して白線を演算することにより、例えば、図４（ａ）に示すように、内側の白線（視線誘導線等）が菱形のマーク等で構成される特殊な二重白線等については勿論のこと、例えば、図５（ａ）に示すように、画像上において内外の白線が遠方で結合されているような二重白線等に対しても好適な白線認識を実現することができる。
【００３９】
この場合において、ハフ変換を用いて近似したハフ直線に基づいて各点群のばらつきを評価することにより、白線演算に最も好適な点群を精度良く選定することができる。
【００４０】
ここで、上述の実施形態において、ステップＳ１０４での点群選定方法は、ハフ直線を用いたものに限定されるものではなく、例えば、点群を構成する各点の前後間での各車幅方向の変位状態に基づいて、各点群のばらつきを評価することも可能である。
【００４１】
この場合、例えば、図８に示すように、注目する点Ｐ（ｊ）の２行前（２行自車側）と１行前（１行自車側）の各検索ラインＬ上の点Ｐ（ｊ−２）、Ｐ（ｊ−１）の画像上でのＸ座標（車幅方向）変化量Ｅ（ｊ−１）と、１行前の点Ｐ（ｊ−１）と注目する点Ｐ（ｊ）とのＸ座標変化量Ｅ（ｊ）とを比較する。そして、これら変化量Ｅ（ｊ−１）と変化量Ｅ（ｊ）の符号が異なるとき、該当する変化量Ｅ（ｊ）を抽出し、点群の偏差として積算し、その後、点郡の数で除すことで偏差の平均値を得る。このような演算によって得られた各点群の偏差の平均値を比較し、偏差の平均値が最も小さい点群をばらつきが小さい点群として選定することが可能である。これにより、上述のようにハフ変換を用いた処理に比べ、点群選定時の演算負荷を飛躍的に軽減することが可能となる。
【００４２】
また、例えば、各点群を表す近似式を最小二乗法を用いてそれぞれ演算し、分散値が小さい点群、或いは、相関係数が大きな点群を、ばらつきが最も小さい点群として選定することも可能である。この場合、例えば、最小二乗法を用いて各点群をそれぞれ二次式（ｙ＝ａ・ｘ２＋ｂ・ｘ＋ｃ）で近似し、画像上或いは実空間上において分散値が小さい点群、或いは、相関係数が高い点群をばらつきが小さい点群として選定することが可能である。これにより、上述のようにハフ変換を用いた処理に比べ、点群選定時の演算負荷を飛躍的に軽減することが可能となる。
【００４３】
なお、上述の実施形態においては、白線開始点Ｐｓからなる点群と中間点Ｐｍからなる点群のうち、ばらつきが小さい点群を白線演算対象として選定する一例について説明したが、本発明はこれに限定されるものではなく、白線演算対象として選定可能な点群として、白線開始点Ｐｓからなる点群或いは白線終了点Ｐｅからなる点群の少なくとも何れか一方と、中間点Ｐｍからなる点群の組み合わせを設定することが可能である。すなわち、例えば、白線演算対象として選定可能な点群として、白線開始点Ｐｓからなる点群、白線終了点Ｐｅからなる点群、及び、中間点Ｐｍからなる点群を設定し、これらのうち最もばらつきが小さい点群を白線演算対象として選定してもよい。或いは、白線演算対象として選定可能な点群として、白線終了点Ｐｅからなる点群、及び、中間点Ｐｍからなる点群を設定し、これらのうちばらつきが小さい点群を白線演算対象として選定してもよい。
【００４４】
また、上述の実施形態においては、ステレオ撮像された一対の画像に基づいて白線認識を行う場合の一例について説明したが、本発明はこれに限定されるものではなく、単眼のカメラ等で撮像された画像に基づいて白線認識を行っても良いことは勿論である。
【符号の説明】
【００４５】
１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（白線境界点検出手段、中間点算出手段、点群選定手段、白線演算手段）
５ … 制御ユニット
Ｅ … 座標変化量
Ｈ … ハフ直線
Ｌ … 検索ライン
Ｐｅ … 白線終了点
Ｐｍ … 中間点
Ｐｓ … 白線開始点
【技術分野】
【０００１】
本発明は、車載カメラで撮像した画像に基づいて白線を認識する車両用白線認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、一般に、車線逸脱防止機能等を実現するため、自車前方の撮像画像等に基づいて白線の認識が行われ、この白線に基づいて自車走行レーンの推定等が行われる。
【０００３】
このような白線認識を行うための技術として、例えば、特許文献１には、輝度が暗から明に変化する各エッジ点（正エッジ点）と、輝度が明から暗に変化する各エッジ点（負エッジ点）とを路面画像中から検出し、これら正負の各エッジ点についてそれぞれハフ変換を行い、正負間で対応するハフ空間を探索することにより、例えば、実線状の車線区画線と破線状の視線誘導線とが併存する多重白線（二重白線等）のような複雑な形状の白線が表示された走行路においても白線認識を実現する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−８５９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、二重白線等を構成する内側の視線誘導線等の中には、例えば、菱形のマークが所定間隔毎に破線状に連なって形成されたものがある。このような特殊な二重白線等を認識する場合、視線誘導線（菱形のマーク）について検出される各エッジ点は、その延在方向とは異なる方向に不連続に配列されることとなる。従って、二重白線等の白線認識において、単に内側の視線誘導線等のエッジ点についてハフ変換を行っただけの処理では、得られる直線が実際の車線の延在方向とは異なってしまう虞がある。
【０００６】
その一方で、特許文献１に開示された技術のように、二重白線等の白線認識において、内外の各白線（視線誘導線及び車線区画線等）について正エッジ点及び負エッジ点をそれぞれ検出することにより、特殊な視線誘導線を有する二重白線等についても、車線区画線側のエッジ点等に基づいて適正な方向に延在する直線を得られる可能性がある。しかしながら、二重白線等の認識に際し、複数の白線のそれぞれに対してエッジ点検出等を行うことは、演算負荷等を過剰に増大させる虞がある。
【０００７】
本発明は上記事情に鑑みてなされたもので、エッジ検出等の演算処理を複雑化させることなく、多重白線等に対しても安定した認識結果を得ることができる車両用白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、自車走行環境を撮像した画像上の水平方向に設定した複数の検索ライン上での輝度変化に基づいて前記検索ライン毎に１組の白線開始点及び白線終了点を検出する白線境界点検出手段と、前記検索ライン毎に検出された前記白線開始点と前記白線終了点との中間点を算出する中間点算出手段と、前記白線開始点からなる点群或いは前記白線終了点からなる点群の少なくとも何れか一方と、前記中間点からなる点群のうち、予め設定された条件に基づいて判定されるばらつきが最も小さい点群を選定する点群選定手段と、前記選定した点群に基づいて白線を演算する白線演算手段とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明の車両用白線認識装置によれば、エッジ検出等の演算処理を複雑化させることなく、多重白線等に対しても安定した認識結果を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】車両用運転支援装置の概略構成図
【図２】白線認識ルーチンを示すフローチャート
【図３】白線開始点及び白線終了点での輝度及び輝度の微分値の推移の一例を示す図表
【図４】（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点及び白線終了点を示す説明図であり（ｃ）は（ｂ）から算出される中間点を示す説明図
【図５】（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点及び白線終了点を示す説明図であり（ｃ）は（ｂ）から算出される中間点を示す説明図
【図６】ハフ変換の演算方法を示す説明図
【図７】ハフ空間を示す説明図
【図８】点群選定方法の変形例を示す説明図
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は白線認識ルーチンを示すフローチャート、図３は白線開始点及び白線終了点での輝度及び輝度の微分値の推移の一例を示す図表、図４（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点及び白線終了点を示す説明図であり（ｃ）は（ｂ）から算出される中間点を示す説明図、図５（ａ）は車外環境の撮像画像の一例を模式的に示す説明図であり（ｂ）は（ａ）の画像から検出される白線開始点及び白線終了点を示す説明図であり（ｃ）は（ｂ）から算出される中間点を示す説明図、図６はハフ変換の演算方法を示す説明図、図７ハフ空間を示す説明図、図８は点群選定方向の変形例を示す説明図である。
【００１２】
図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、ステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。
【００１３】
また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５等が設けられている。
【００１４】
ステレオカメラ３は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持ってい取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。
【００１５】
ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジとして抽出するとともに、抽出した画素（エッジ）に距離情報を付与することで、距離情報を備えたエッジの分布画像（距離画像）を生成する。そして、ステレオ画像認識装置４は、生成した距離画像に基づいて、自車前方の白線、側壁、立体物等を認識し、認識した各データに、それぞれ異なるＩＤを割り当て、これらをＩＤ毎にフレーム間で連続して監視する。
【００１６】
ここで、本実施形態において、白線とは、例えば、単一の車線区画線や車線区画線の内側に視線誘導線が併設された多重線（二重線等）のように、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、さらに、黄色線等をも含む。また、本実施形態の白線認識においては、道路上に実在の白線が二重白線等であっても、左右それぞれ単一の直線或いは曲線等で近似して認識するものとする。
【００１７】
このような白線の認識に際し、ステレオ画像認識装置４は、画像上に設定された白線検出領域内において、水平方向（車幅方向）に設定した複数の検索ラインＬ上で輝度が所定以上変化するエッジの検出を行うことで、検索ライン毎に１組の白線開始点Ｐｓ及び白線終了点Ｐｅを検出する。すなわち、ステレオ画像認識装置４は、例えば、基準画像上に設定された左右の各白線検出領域内において、各検索ラインＬ上で車幅方向内側から外側に向けて各画素の輝度値の変化を調べることにより、エッジ点を検出する。そして、ステレオ画像認識装置４は、検出したエッジ点に基づいて、検索ラインＬ毎に左右各１組の白線開始点Ｐｓ及び白線終了点Ｐｅを検出する。また、ステレオ画像認識装置４は、検索ラインＬ毎に検出された白線開始点Ｐｓと白線終了点Ｐｅとの中間点Ｐｍを算出する。さらに、ステレオ画像認識装置４は、白線開始点Ｐｓからなる点群と、中間点Ｐｍからなる点群のうち、予め設定された条件に基づいて判定されるばらつきが小さい点群を選定し、選定した点群に基づいて白線を演算する。
【００１８】
このように、本実施形態において、ステレオ画像認識装置４は、白線認識装置としての機能を有し、白線境界点検出手段、中間点算出手段、点群選定手段、及び、白線演算手段としての各機能を実現する。
【００１９】
制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。
【００２０】
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で認識した先行車方向を読み込み、自車走行路上に、追従対象の先行車が走行しているか否かを識別する。
【００２１】
その結果、追従対象の先行車が検出されない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。
【００２２】
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
【００２３】
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線に基づいて警報判定用ラインを設定するとともに、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
【００２４】
次に、上述のステレオ画像認識装置４による白線認識について、図２に示す白線認識ルーチンのフローチャートに従って説明する。
このルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、白線開始点Ｐｓの検出を行う。すなわち、ステレオ画像認識装置４は、例えば、基準画像上に設定された左右の各白線検出領域内において、画像中心線（或いは、舵角θｓｔ等から推定される自車進行方向）を基準とする車幅方向内側から外側に向けて、各検索ラインＬ上でのエッジ検出を行い、白線開始点Ｐｓを示すエッジ点の探索を行う。具体的には、ステレオ画像認識装置４は、例えば、図３に示すように、車幅方向内側から外側への検索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点）を白線開始点Ｐｓとして検出する。ここで、演算を簡素化するため、ステレオ画像認識装置４は、各検索ラインＬ上の車幅方向内側から車幅方向外側への探索において、前述の要件に基づいて最初に検出したエッジ点（すなわち、前述の要件に基づいて最も車幅方向内側で検出したエッジ点）のみを白線開始点Ｐｓとして検出する。
【００２５】
このような検索により、例えば、認識対象となる白線が二重白線であって、且つ、内側に位置する白線（視線誘導線）が菱形のマークで構成されている場合（図４（ａ）参照）、自車両の左右両側でそれぞれ認識される各白線開始点Ｐｓは、主として内側の視線誘導線に基づくものとなり、白線の延在方向に対して不連続に配列される（図４（ｂ）参照）。一方、例えば、認識対象となる白線が二重線であって、且つ、内側に位置する白線（視線誘導線）が破線状に形成されている場合（図５（ａ）参照）、自車両の左右両側でそれぞれ認識される各白線開始点Ｐｓは、主として内側の視線誘導線に基づくものとなり、そのほとんどが白線の延在方向に対して連続的に配列される（図５（ｂ）参照）。
【００２６】
続くステップＳ１０２において、ステレオ画像認識装置４は、白線終了点Ｐｅの検出を行う。すなわち、ステレオ画像認識装置４は、例えば、基準画像上に設定された左右の各白線検出領域内において、画像中心線（或いは、舵角θｓｔ等から推定される自車進行方向）を基準として車幅方向内側から外側に向けて、各検索ラインＬ上でのエッジ検出を行い、白線終了点Ｐｅを示すエッジ点の探索を行う。具体的には、例えば、図３に示すように、車幅方向内側から外側への検索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値がマイナス側の設定閾値以下となる点（エッジ点）を白線終了点Ｐｅとして検出する。ここで、演算を簡素化するため、ステレオ画像認識装置４は、各検索ラインＬ上の車幅方向内側から車幅方向外側への探索において、前述の要件に基づいて最初に検出したエッジ点（すなわち、前述の要件に基づいて最も車幅方向内側で検出したエッジ点）のみを白線終了点Ｐｅとして検出する。
【００２７】
このような検索により、例えば、認識対象となる白線が二重白線であって、且つ、内側に位置する白線（視線誘導線）が菱形のマークで構成されている場合（図４（ａ）参照）、自車両の左右両側でそれぞれ認識される各白線終了点Ｐｅは、主として内側の視線誘導線に基づくものとなり、白線の延在方向に対して不連続に配列される（図４（ｂ）参照）。一方、例えば、認識対象となる白線が二重線であって、且つ、内側に位置する白線（視線誘導線）が破線状に形成されている場合（図５（ａ）参照）、自車両の左右両側でそれぞれ認識される各白線終了点Ｐｅは、主として内側の視線誘導線に基づくものとなり、そのほとんどが白線の延在方向に対して連続的に配列される。但し、図５（ａ）に示す例では、解像度等に起因して、画像上、内外の白線が遠方で結合されている。このため、所定距離以遠での白線終了点Ｐｅは、外側の白線（車線区画線）に基づくものとなり、自車近傍のものよりも相対的に車幅方向外側に所定量シフトした位置で、白線の延在方向に対して連続的に配列される（図５（ｂ）参照）。
【００２８】
なお、本実施形態において、上述のステップＳ１０１及びステップＳ１０２で検出される各白線開始点Ｐｓ及び各白線終了点Ｐｅには、距離画像上で対応する距離情報がそれぞれ付与される。或いは、上述の白線開始点Ｐｓ及び白線終了点Ｐｅの検出を基準画像に代えて距離画像上で行うことで、各点Ｐｓ，Ｐｅの距離情報を直接的に取得することも可能である。
【００２９】
続くステップＳ１０３において、ステレオ画像認識装置４は、検索ラインＬ毎に検出された各対をなす白線開始点Ｐｓと白線終了点Ｐｅの中間点Ｐｍを算出する。すなわち、ステレオ画像認識装置４は、白線開始点Ｐｓから白線終了点Ｐｅまでの画素数（及び、距離情報）に基づいて各検索ラインＬ上における白線幅を算出し、これの白線幅が１／２となる点を中間点Ｐｍとして出力する。
【００３０】
この場合、図４（ａ）で示した二重白線においては、白線開始点Ｐｓ及び白線終了点Ｐｅのほとんどが内側の視線誘導線に基づいて検出されたものであるため、算出される各中間点Ｐｍは、そのほとんどが白線の延在方向に対して連続的に配列される（図４（ｃ）参照）。一方、図５（ａ）で示した二重白線においては、白線開始点Ｐｓのほとんどが内側の視線誘導線に基づいて検出されているものの、白線終了点Ｐｅの一部が外側の白線（車線区画線）に基づいて検出されたものであるため、算出される各中間点Ｐｍは、特に、自車近傍と遠方とで不連続に配列される（図５（ｃ）参照）。
【００３１】
続くステップＳ１０４において、ステレオ画像認識装置４は、例えば、白線開始点Ｐｓからなる点群と、中間点Ｐｍからなる点群についての評価を行い、予め設定された条件に基づいて判定されるばらつきが小さい点群を選定する。すなわち、本実施形態において、ステレオ画像認識装置４は、ハフ変換を用いて各点群を表す近似式（例えば、直線近似式）を演算し、演算した近似式に対応する各点の誤差が小さい点群を白線演算対象の点群として選定する。
【００３２】
各白線開始点Ｐｓ或いは各中間点Ｐｍを点Ｐと略称して具体的に説明すると、ステレオ画像認識装置４は、例えば、図６に示すように、点群を構成する各点Ｐそれぞれに対し、点Ｐ（ｘ，ｙ）を通る直線ｈの傾きθを０°から１８０°まで所定の角度Δθ毎変化させ、以下の（１）式に基づいて、各θにおける原点Ｏから直線ｈまでの距離（垂線の長さ）ρを求める。
ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ … （１）
そして、ステレオ画像認識装置４は、各点Ｐについて求めた各θとρの関係を、例えば、図７に示すハフ平面（θ，ρ）上の該当箇所に度数として投票（投影）する。さらに、ステレオ画像認識装置４は、ハフ平面（θ，ρ）上の度数が最も大きくなるθとρの組み合わせを抽出し、当該θとρを用いて（１）式で規定される直線（ハフ直線Ｈ）を点群の近似式として設定する。
【００３３】
そして、ステレオ画像認識装置４は、近似式（ハフ直線Ｈ）に対する各点Ｐの誤差の平均値を算出し、算出した誤差の平均値が小さい方の点群を白線演算対象の点群として選定する。
【００３４】
このような処理により、例えば、図４（ａ）に示す二重白線においては、左右の各白線検出領域において共に、中間点Ｐｍからなる点群が白線演算対象の点群として選定される。一方、例えば、図５（ａ）に示す二重白線においては、左右の各白線検出領域において共に、白線開始点Ｐｓからなる点群が白線演算対象の点群として選定される。
【００３５】
ここで、点群の選定処理を簡素化するため、例えば、各点群に対応するハフ平面（θ，ρ）上の度数の最大値（ピーク）同士を比較し、大きなピークを有する点群を白線演算対象の点群として選定することの可能である。
【００３６】
続くステップＳ１０５において、ステレオ画像認識装置４は、ステップＳ１０４で選定した点群に基づいて白線を演算する。すなわち、本実施形態において、例えば、白線演算対象の点群として白線開始点Ｐｓからなる点群が選定されている場合、ステレオ画像認識装置４は、当該点群に基づくハフ直線Ｈをそのまま、自車走行レーンを区画する白線として設定する。一方、例えば、白線演算対象の点群として中間点Ｐｍが選定されている場合、ステレオ画像認識装置４は、当該点群に基づくハフ直線Ｈを白線開始点Ｐｓから白線終了点Ｐｅまでの距離の半値分だけ車幅方向内側にシフトさせた直線を、自車走行レーンを区画する白線として設定する。
【００３７】
このような実施形態によれば、画像上の左右の各白線検出領域内において、水平方向に設定した複数の検索ラインＬ上での輝度変化に基づいて検索ラインＬ毎に各１組の白線開始点Ｐｓ及び白線終了点Ｐｅを検出すると共に、これら各対をなす白線開始点Ｐｓと白線終了点Ｐｅとの中間点を算出し、白線開始点Ｐｓからなる点群と中間点Ｐｍからなる点群とのうち、予め設定された条件に基づいて判定されるばらつきが最も小さい点群を白線演算対象の点群として選定して当該選定した点群に基づいて白線を演算することにより、エッジ検出等の演算処理を複雑化させることなく、多重白線等に対しても安定した認識結果を得ることができる。
【００３８】
すなわち、実際のエッジ検出に基づいて得られた白線開始点Ｐｓによる点群と、白線開始点Ｐｓと白線終了点Ｐｅとの中間点Ｐｍによる点群とのうち最も好適な点群を選定して白線を演算することにより、例えば、図４（ａ）に示すように、内側の白線（視線誘導線等）が菱形のマーク等で構成される特殊な二重白線等については勿論のこと、例えば、図５（ａ）に示すように、画像上において内外の白線が遠方で結合されているような二重白線等に対しても好適な白線認識を実現することができる。
【００３９】
この場合において、ハフ変換を用いて近似したハフ直線に基づいて各点群のばらつきを評価することにより、白線演算に最も好適な点群を精度良く選定することができる。
【００４０】
ここで、上述の実施形態において、ステップＳ１０４での点群選定方法は、ハフ直線を用いたものに限定されるものではなく、例えば、点群を構成する各点の前後間での各車幅方向の変位状態に基づいて、各点群のばらつきを評価することも可能である。
【００４１】
この場合、例えば、図８に示すように、注目する点Ｐ（ｊ）の２行前（２行自車側）と１行前（１行自車側）の各検索ラインＬ上の点Ｐ（ｊ−２）、Ｐ（ｊ−１）の画像上でのＸ座標（車幅方向）変化量Ｅ（ｊ−１）と、１行前の点Ｐ（ｊ−１）と注目する点Ｐ（ｊ）とのＸ座標変化量Ｅ（ｊ）とを比較する。そして、これら変化量Ｅ（ｊ−１）と変化量Ｅ（ｊ）の符号が異なるとき、該当する変化量Ｅ（ｊ）を抽出し、点群の偏差として積算し、その後、点郡の数で除すことで偏差の平均値を得る。このような演算によって得られた各点群の偏差の平均値を比較し、偏差の平均値が最も小さい点群をばらつきが小さい点群として選定することが可能である。これにより、上述のようにハフ変換を用いた処理に比べ、点群選定時の演算負荷を飛躍的に軽減することが可能となる。
【００４２】
また、例えば、各点群を表す近似式を最小二乗法を用いてそれぞれ演算し、分散値が小さい点群、或いは、相関係数が大きな点群を、ばらつきが最も小さい点群として選定することも可能である。この場合、例えば、最小二乗法を用いて各点群をそれぞれ二次式（ｙ＝ａ・ｘ２＋ｂ・ｘ＋ｃ）で近似し、画像上或いは実空間上において分散値が小さい点群、或いは、相関係数が高い点群をばらつきが小さい点群として選定することが可能である。これにより、上述のようにハフ変換を用いた処理に比べ、点群選定時の演算負荷を飛躍的に軽減することが可能となる。
【００４３】
なお、上述の実施形態においては、白線開始点Ｐｓからなる点群と中間点Ｐｍからなる点群のうち、ばらつきが小さい点群を白線演算対象として選定する一例について説明したが、本発明はこれに限定されるものではなく、白線演算対象として選定可能な点群として、白線開始点Ｐｓからなる点群或いは白線終了点Ｐｅからなる点群の少なくとも何れか一方と、中間点Ｐｍからなる点群の組み合わせを設定することが可能である。すなわち、例えば、白線演算対象として選定可能な点群として、白線開始点Ｐｓからなる点群、白線終了点Ｐｅからなる点群、及び、中間点Ｐｍからなる点群を設定し、これらのうち最もばらつきが小さい点群を白線演算対象として選定してもよい。或いは、白線演算対象として選定可能な点群として、白線終了点Ｐｅからなる点群、及び、中間点Ｐｍからなる点群を設定し、これらのうちばらつきが小さい点群を白線演算対象として選定してもよい。
【００４４】
また、上述の実施形態においては、ステレオ撮像された一対の画像に基づいて白線認識を行う場合の一例について説明したが、本発明はこれに限定されるものではなく、単眼のカメラ等で撮像された画像に基づいて白線認識を行っても良いことは勿論である。
【符号の説明】
【００４５】
１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ
４ … ステレオ画像認識装置（白線境界点検出手段、中間点算出手段、点群選定手段、白線演算手段）
５ … 制御ユニット
Ｅ … 座標変化量
Ｈ … ハフ直線
Ｌ … 検索ライン
Ｐｅ … 白線終了点
Ｐｍ … 中間点
Ｐｓ … 白線開始点
【特許請求の範囲】
【請求項１】
自車走行環境を撮像した画像上の水平方向に設定した複数の検索ライン上での輝度変化に基づいて前記検索ライン毎に１組の白線開始点及び白線終了点を検出する白線境界点検出手段と、
前記検索ライン毎に検出された前記白線開始点と前記白線終了点との中間点を算出する中間点算出手段と、
前記白線開始点からなる点群或いは前記白線終了点からなる点群の少なくとも何れか一方と、前記中間点からなる点群のうち、予め設定された条件に基づいて判定されるばらつきが最も小さい点群を選定する点群選定手段と、
前記選定した点群に基づいて白線を演算する白線演算手段とを備えたことを特徴とする車両用白線認識装置。
【請求項２】
前記点群選定手段は、前記各点群を表す近似式をハフ変換を用いてそれぞれ演算し、対応する前記近似式に対して各点の誤差が最も小さい点群を、ばらつきが最も小さい点群として選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項３】
前記点群選定手段は、前記各点群を表す近似式をハフ変換を用いてそれぞれ演算し、当該演算におけるハフ平面上での度数のピークを前記点群間で比較し、最も大きなピークを有する点群を、ばらつきが最も小さい点群として選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項４】
前記点群選定手段は、前記点群を構成する各点の前後間での各車幅方向の変位状態に基づいて、ばらつきが最も小さい点群を選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項５】
前記点群選定手段は、前記各点群を表す近似式を最小二乗法を用いてそれぞれ演算し、分散値が小さい点群、或いは、相関係数が大きな点群を、ばらつきが最も小さい点群として選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項１】
自車走行環境を撮像した画像上の水平方向に設定した複数の検索ライン上での輝度変化に基づいて前記検索ライン毎に１組の白線開始点及び白線終了点を検出する白線境界点検出手段と、
前記検索ライン毎に検出された前記白線開始点と前記白線終了点との中間点を算出する中間点算出手段と、
前記白線開始点からなる点群或いは前記白線終了点からなる点群の少なくとも何れか一方と、前記中間点からなる点群のうち、予め設定された条件に基づいて判定されるばらつきが最も小さい点群を選定する点群選定手段と、
前記選定した点群に基づいて白線を演算する白線演算手段とを備えたことを特徴とする車両用白線認識装置。
【請求項２】
前記点群選定手段は、前記各点群を表す近似式をハフ変換を用いてそれぞれ演算し、対応する前記近似式に対して各点の誤差が最も小さい点群を、ばらつきが最も小さい点群として選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項３】
前記点群選定手段は、前記各点群を表す近似式をハフ変換を用いてそれぞれ演算し、当該演算におけるハフ平面上での度数のピークを前記点群間で比較し、最も大きなピークを有する点群を、ばらつきが最も小さい点群として選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項４】
前記点群選定手段は、前記点群を構成する各点の前後間での各車幅方向の変位状態に基づいて、ばらつきが最も小さい点群を選定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項５】
前記点群選定手段は、前記各点群を表す近似式を最小二乗法を用いてそれぞれ演算し、分散値が小さい点群、或いは、相関係数が大きな点群を、ばらつきが最も小さい点群として選定することを特徴とする請求項１記載の車両用白線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−５３８０８（Ｐ２０１１−５３８０８Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２００５７０（Ｐ２００９−２００５７０）
【出願日】平成２１年８月３１日（２００９．８．３１）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年８月３１日（２００９．８．３１）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]