車載白線認識装置
【課題】 制御対象とすべき白線を適切に選択できる車載白線認識装置を提供する。
【解決手段】 複合線判定部７０は、白線特徴統合部６０にて出力された尤度が所定の閾値以上である白線候補それぞれに対して複数のテンプレートによるパターンマッチングを行い、また、白線候補抽出部３０によるハフ変換の投票数に応じて破線のピッチを判定して、それらの結果に基づいて、様々な線種類に対して、ある白線がその線種類である確からしさを示すパラメータをまとめた確信度分布を出力し、当該白線の線種類を判別する。制御対象白線選択部８０は、複合線を構成する短い破線を除いて車両に最も近い白線を制御対象の白線として選択する。
【解決手段】 複合線判定部７０は、白線特徴統合部６０にて出力された尤度が所定の閾値以上である白線候補それぞれに対して複数のテンプレートによるパターンマッチングを行い、また、白線候補抽出部３０によるハフ変換の投票数に応じて破線のピッチを判定して、それらの結果に基づいて、様々な線種類に対して、ある白線がその線種類である確からしさを示すパラメータをまとめた確信度分布を出力し、当該白線の線種類を判別する。制御対象白線選択部８０は、複合線を構成する短い破線を除いて車両に最も近い白線を制御対象の白線として選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援等のために、車両が走行している道路上の白線を認識する車載白線認識装置に関する。
【背景技術】
【０００２】
従来、運転支援装置としての車線逸脱警報装置などに用いられ、道路上の白線を認識する車載白線認識装置が知られている（特許文献１参照）。
上記の車線逸脱警報装置は、車両周囲の画像を取得する車載カメラ、その画像を処理する画像処理部、及び警報生成部によって構成されている。画像処理部では、車載カメラから得られる画像から白線を検出する。警報生成部では、自車と白線との左右における距離を計算し、いずれかが閾値以下の場合、つまり、閾値で設定される距離よりも自車が白線に近付いた場合に、車線を逸脱する可能性が高まったとしてドライバに警報を与える。
【０００３】
このような装置で問題となる状況の一つに、道路上の白線が複数の白線からなる複合線である状況がある。複合線は２本の白線からなるもののみでなく、３本の白線からなる場合や、太いブロック状の破線を有する場合もあり、複合線全体の幅や形状が一定ではない。よって、上述したような車線の逸脱を判断するためには、複合線におけるいずれかの部分を、制御を行う対象とする白線（以降、単に制御対象線ともいう）として決定する必要がある。
【０００４】
複合線から制御対象線を決定する機能を有する装置として、特許文献２に記載の車線境界検出装置が提案されている。この装置は、複数の複合線パターンを判別し、それに基づいて複合線の幅の中で最内，中央，最内からプラスアルファのオフセット，のいずれかを制御対象線として設定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１８１４８号公報
【特許文献２】特開２００３？１７８３９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複合線における制御対象線の判断は、複合線を構成する線の種類に応じて変化させることが好ましい。具体的には、複合線に短い破線が含まれる場合、この破線は補助的な線である場合があり、この補助的な線を制御対象線として選択すると、適切な白線を選択した場合と比較して車線逸脱警報装置が早く或いは遅く車線を逸脱すると判定してしまい、適切なタイミングで警報が行えなくなってしまう。一方、破線の長さが長ければ実線と同様に扱うべきである場合がある。例えば、実線と長い破線の複合線の場合、長い破線は実線と同様に解釈して警報対象タイミングと解釈すべき場合がある。このように、単純に破線か実線かに基づいて制御対象線を選択することが適切でない場合があった。
【０００７】
本発明は、上述した問題に鑑みてなされたものであり、その目的は、制御対象とすべき白線を適切に選択できる車載白線認識装置を提供することである。
本発明の他の目的は、白線の種類を高い精度で判定できる車載白線認識装置を提供することである。
【課題を解決するための手段】
【０００８】
上述した問題を解決するためになされた請求項１に記載の発明は、車両周囲の画像を取得する車載カメラを備える車載白線認識装置であって、さらに以下のような特徴を有する。
【０００９】
まず、車載カメラで取得した画像から画像処理により白線を抽出する。白線を抽出する方法としては画像からエッジ点を検出してハフ変換を行う方法やパターンマッチングなどの公知の方法を採用することができる。
【００１０】
そして、その抽出された白線が、所定の距離内に存在する複数の白線からなる複合線を構成する白線であるか否かを判定する。判定の方法は特に限定されないが、例えば車両周囲の画像から白線の距離を推定し、所定の距離以下のものを複合線と判定することができる。また、パターンマッチングなどにより判定してもよい。
【００１１】
また、抽出された白線を、少なくとも、実線，長さが所定の閾値以上の破線である長破線，長さが上記所定の閾値未満の破線である短破線，のいずれかとして判定する。ここでいう破線の長さとは、破線における線が存在する、即ち道路上に着色された部分であるペイント部と、線と線の間隔にあたるギャップ部と、のうちペイント部の長さをいう。
【００１２】
そしてこの車載白線認識装置は、抽出された白線の中から、所定の制御の対象となる白線を選択する。このとき、複合線を構成すると判定された白線に対しては、実線または長破線と判定された白線を、短破線として判定された白線よりも優先的に制御の対象となる白線として選択する。所定の制御とは、例えば車線逸脱判定や、自動操舵などがある。
【００１３】
このように構成された車載白線認識装置では、複合線を構成する短破線を除く白線を優先的に制御の対象の白線として選択する。即ち、補助線として引かれている短破線が制御対象として選択されることを抑制して、制御対象とすべき白線を適切に選択することができる。その結果、例えば車線逸脱の判定を誤ったタイミングで行ってしまうといった問題が生じ難くなる。一方で、長破線は除外されず、正しく警報対象とすることができる。
【００１４】
上述したように白線を実線，長破線，短破線のいずれかと判定する方法は特に限定されない。例えばパターンマッチング等の公知の手法により破線の長さを推定し、その長さが所定の閾値を超えるか否かによって判定することができる。また、請求項２に記載のように、車載カメラで取得した画像からエッジ点を検出し、当該エッジ点をハフ変換することにより得られた直線に基づいて白線を抽出し、その抽出された白線に対応するハフ変換の投票数の時間変化が所定の閾値よりも大きい場合に、当該白線を長破線と判定するように構成してもよい。
【００１５】
ハフ変換の投票数は、車載カメラで取得した撮影画像における画像処理の対象となる領域に存在するペイント部の長さによって定まる。長破線はペイント部およびギャップ部の長さが短破線よりも長いため、上記領域においてペイント部が占める割合が大きい場合と小さい場合との差が大きく、そのため投票数の時間変化が大きくなる。
【００１６】
一方、短破線はペイント部およびギャップ部が短いため、上述した領域にペイント部が複数存在しやすくなり、ペイント部が占める割合が安定し、投票数の時間変化が小さくなる。このような特徴を利用することで、破線の長さを精度よく判定することができる。
【００１７】
請求項３に記載の発明は、車両周囲の画像を取得する車載カメラを備える車載白線認識装置であって、さらに次のような特徴を有する。
まず、車載カメラで取得した画像から画像処理により白線を抽出する。そして、その抽出された白線が、所定の距離内に存在する複数の白線からなる複合線を構成する白線であるか否かを判定する。また、抽出された白線を、少なくとも、実線，長さが所定の閾値以上の破線である長破線，長さが上記所定の閾値未満の破線である短破線，のいずれかとして判定する。以上の処理は、請求項１に記載の車載白線認識装置と同様である。
【００１８】
そしてこの車載白線認識装置は、抽出された白線の中から、所定の制御の対象となる白線を選択する。このとき、車両の左右において最も車両中心側にて抽出された白線それぞれが、複合線を構成する白線であると判定され、かつ短破線であると判定された場合には、その短破線として判定された白線が構成する複合線の中から当該白線を除く白線を、その短破線として判定された白線よりも優先的に制御の対象となる白線として選択する。
【００１９】
このように構成された車載白線認識装置では、車両の左右の中心側に複合線の短破線が存在する場合、その短破線を除く白線を優先的に制御の対象として選択する。車両の左右に短破線が検出された場合、その短破線は補助線である可能性が高いため、補助線として引かれている破線が制御対象として選択されることを抑制して、制御対象とすべき白線を適切に選択することができる。
【００２０】
請求項４に記載の発明は、車両周囲の画像を取得する車載カメラを備える車載白線認識装置であって、さらに次のような特徴を有する。
まず車載カメラで取得した画像から画像処理により白線を抽出する。そしてこの車載白線認識装置はパターンマッチングのための複数のテンプレートを準備しており、抽出された白線に対してテンプレートそれぞれによるパターンマッチングを行う。
【００２１】
そしてテンプレートにマッチングするか否かに応じて、少なくとも何重の複合線を構成する白線であるかを示す複合線の種類それぞれに対する当該白線の確からしさを示すパラメータを出力する。上述した複数のテンプレートそれぞれについて同様にパラメータを出力し、出力されたパラメータを統合し、その統合した結果に基づいて複合線の種類を判定する。
【００２２】
このように構成された車載白線認識装置では、複数のテンプレートを用いたパターンマッチングの結果を統合して白線が該当する複合線の種類を判定するため、白線の種類を高い精度で判定することができる。
【００２３】
なお、請求項５に記載のように、上記複数のテンプレートは、複合線の種類それぞれに、複数のテンプレートにおける少なくとも１つが対応するように準備しておく構成であってもよい。このように構成された車載白線認識装置では、テンプレートが複合線の種類に対応していることから白線とテンプレートとのマッチが実現されやすくなり、複合線の種類の判定精度を高めることができる。
【００２４】
請求項６に記載の発明は、請求項１に記載の車載白線認識装置において、さらに抽出された白線の太さの時間変化を測定し、当該白線の太さが所定の周期で相対的に太い状態と細い状態とを変動する場合には、上記抽出された白線を、破線と実線とからなる２つの白線として分割し、白線の太さが太い状態として測定される期間が所定の閾値より大きい場合に、分割された破線が長破線であると判定する。
【００２５】
このように構成された車載白線認識装置は、抽出された白線の太さが変化する場合にその白線が破線を含む複数本の白線を１本の白線と誤検出していると判断でき、さらに長破線であるか短破線であるかを判定できる。
【図面の簡単な説明】
【００２６】
【図１】車載白線認識装置の概略の構成を示すブロック図
【図２】車両における車載カメラの位置を表す説明図
【図３】画像処理部の概略の機能構成を示す機能ブロック図
【図４】テンプレートの例を示す図
【図５】投票数の変化による破線のピッチ判定の方法を説明する図
【図６】確信度分布の例を示す図
【図７】統合確信度分布の例を示す図
【図８】制御対象の白線を選択する処理の処理手順を説明するフローチャート
【図９】道路を示す模式図
【図１０】白線の太さの変化による破線のピッチ判定の方法を説明する図
【図１１】パターンマッチング結果の変化による破線のピッチ判定の方法を説明する図
【発明を実施するための形態】
【００２７】
以下に本発明の実施形態を図面と共に説明する。
［実施例］
１．車載白線認識装置１の構成
車載白線認識装置１は、図１に示すように、車両周囲の画像を取得する車載カメラ１０と車載カメラ１０で取得した車両周囲の画像（以降、この画像を単に撮影画像ともいう）を画像処理する画像処理装置２０とを備えている。図２は車両における車載カメラの位置を表す説明図である。
【００２８】
車載白線認識装置１により認識した白線は、図示しない車線逸脱警報装置によって車両の警報制御に用いられる。この警報制御とは、白線の車両からの左右における距離を計算し、いずれかが閾値以下の場合、つまり、車両が白線に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える制御である。
【００２９】
なお本車載白線認識装置１では、撮影画像から複数の白線らしきもの（白線候補）を抽出し、その中から制御対象とする白線を選択し、その選択された白線の情報を警報装置に出力する。
【００３０】
画像処理装置２０は、図３に示すように、複数のＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３０〜８０、ＤＳＰ３０〜８０の間のデータ伝送のためのＢＵＳ１２０及び図示しないＲＯＭ、ＲＡＭ及びＩ／Ｏを備えている。
【００３１】
ＤＳＰ３０は、車載カメラ１０で取得した撮影画像から画像処理により道路上の白線候補を抽出する白線候補抽出を行うＤＳＰであり、以下、このＤＳＰ３０を白線候補抽出部３０と呼ぶ。具体的には、車載カメラ１０で取得した画像から、公知の画像処理であるエッジ検出処理、直線抽出ハフ変換処理における投票数（実線・破線判定結果）などにより白線候補を抽出する。
【００３２】
ＤＳＰ４０は、白線候補抽出部３０で抽出した白線候補について、白線らしさの確信度を算出するＤＳＰであり、以下、このＤＳＰ４０を白線特徴算出部４０と呼ぶ。なお、確信度は、０.０１〜１の範囲内で設定される数値であって、白線特徴算出部４０が、ＤＳＰ５０による後述する（ａ）〜（ｅ）の各処理の結果ごとに設定する。以下、このＤＳＰ５０を特徴抽出部５０と呼ぶ。
【００３３】
（ａ）白線候補の周囲の路面（白線候補の部分を除く）に対する、白線候補のコントラストの比率に基づき、確信度を算出する。具体的には、白線候補のコントラストの比率が所定値（例えば１５０％）より低ければ、確信度を下げる。
【００３４】
（ｂ）車載カメラ１０で取得した撮影画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体の模様又は平均輝度を含む特徴を抽出する。例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り白線のように見える場合や、コールタールによる補修跡で囲まれた領域が直線状に映る場合があるので、パターンマッチングや輝度の差などにより領域と白線との模様を抽出する。
【００３５】
道路上に差し込んだ光や補修跡で囲まれた領域と白線とを識別するには、領域と白線候補との模様や平均輝度を比較すればよい。そこで、抽出した上記領域と白線候補との模様の差が大きければ両者は異なるものとして確信度を上げ、平均輝度の差が小さければ両者が一致するとして、その白線候補の確信度を下げる。
【００３６】
（ｃ）撮影画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体のエッジ総量を抽出する。エッジ総量は、撮影画像を二値化して得られた二値化画像からエッジを抽出し、抽出したエッジの数を合計することによって得られる。
【００３７】
白線がかすれなどによって、道路面との輝度差が低くなった場合であっても、人間の目では白線らしくシミのように見える。これは、道路上に全く模様がない場合にはシミが強調して見えるという人間の感性によるものである。
【００３８】
そこで、白線候補に囲まれる領域と白線のエッジ総量の差が所定の値以下の場合には、その白線候補の確信度を下げる。
（ｄ）撮影画像から、白線候補抽出部３０で抽出した白線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向のエッジ量が所定の値以上の筋状の模様を検出する。
【００３９】
車両のスリップ防止のため道路上に刻まれている縦筋は道路面に比べ輝度が低い（暗い）が、縦筋端の輝度は白線端と差がない場合がある。そこで、車載カメラ１０で取得した画像の二値化画像からエッジ量を算出し、白線候補の車両進行方向の近傍の領域における道路上の車両進行方向のエッジ量が所定の値以上のものを筋状の模様として検出する。そして、白線候補上に筋模様が検出された場合には、その白線候補の確信度を下げる。
【００４０】
（ｅ）車載カメラ１０で取得した画像から道路上に描かれている交通標識をパターンマッチングにより検出する。検出する交通標識としては、矢印、制限速度、止まれ文字など道路面上に描かれている交通標識以外にも横断歩道などがある。白線候補の位置に交通標識等が検出されたときは、その白線候補の確信度を下げる。
【００４１】
特徴抽出部５０は上記（ａ）〜（ｅ）の処理を行い、白線特徴算出部４０はその結果に基づいて、１つの白線候補につき複数の確信度を算出する。
ＤＳＰ６０は、上記（ａ）〜（ｅ）においてそれぞれ算出されて出力される確信度を乗算して統合することにより白線らしさを示す尤度を出力するＤＳＰであり、以下、このＤＳＰ６０を白線特徴統合部６０と呼ぶ。
【００４２】
白線特徴統合部６０における統合処理はベイズ推定のフレームワークに基づき、確信度の乗算による統合から判定する。例えば、特徴抽出部５０の（ａ）〜（ｅ）に示した処理のうちの２つによって算出した白線らしさの確信度Ａ、Ｂがそれぞれ０．６、０．７であった場合、統合した第１の尤度は、（０．６＊０．７）/（０．６＊０．７＋０．４＊０．３）＝０．７８となる。
【００４３】
ここで、０．４，０．３はそれぞれＡ、Ｂによる白線らしくなさ（１−０．６、１−０．７）である。
この白線特徴統合部６０で出力される尤度が所定の閾値以上である白線候補が、以下の処理において路面上に存在する白線として用いられる。白線候補抽出部３０、白線特徴算出部４０、特徴抽出部５０、および白線特徴統合部６０が、本発明における白線抽出手段に相当する。
【００４４】
ＤＳＰ７０は、白線の線の種類を選定するＤＳＰであり、以下、このＤＳＰ７０を複合線判定部７０と呼ぶ。この複合線判定部７０が、本発明における複合線判定手段および線種類判定手段に相当する。
【００４５】
複合線判定部７０は、白線特徴統合部６０にて出力された尤度が所定の閾値以上である白線候補（以下、単に白線という場合がある）それぞれに対して複数のテンプレートによるパターンマッチングを行い、また、白線候補抽出部３０によるハフ変換の投票数に応じて破線のピッチを判定して、それらの結果に基づいて確信度分布を出力し、当該白線の線種類を判別する。
【００４６】
なお、ここで言う線種類とは、白線が単線であるか複合線であるか、複合線の種類（３重線、２重線）、複合線における位置、白線が破線であるか否か、および破線の種類（長い破線、短い破線）などを分類する種類である。複合線とは、所定の距離内に存在する複数の白線からなるものである。詳細を以下に説明する。
【００４７】
＜パターンマッチングおよび破線ピッチの判定＞
（１）パターンマッチング
パターンマッチングでは、３重線、２重線、崩れ３重線２本、崩れ３重線２．５本、の４つの予め準備されたテンプレートを用いてマッチングを行う。
【００４８】
３重線のテンプレートとは、３本の白線からなる複合線のパターンを有するテンプレートであり（図４（Ａ）参照）、また２重線のテンプレートとは、２本の白線からなる複合線のパターンを有するテンプレートである（図４（Ｂ）参照）。
【００４９】
また、崩れ３重線２本のテンプレートとは、本来は３本の白線からなる複合線であるが、１本目と２本目，あるいは２本目と３本目の間において、白線と路面とのコントラストが小さくなり、それによってその部分が路面と認識されず、太い１本の白線と通常の１本白線の２本に見える場合のテンプレートである。
【００５０】
また、崩れ３重線２．５本のテンプレートとは、本来は３本の白線からなる複合線であるが、白線と路面の境界の一箇所が崩れて、コントラストが大きい点が５箇所となる場合のテンプレートである。なお、これらのテンプレートは一例であって、上記以外のテンプレートを用いてもよい。
【００５１】
そして、ある白線に対して１つのテンプレートを用いてパターンマッチングを行うごとに、その白線がどのような線種類であるかを決定するためのパラメータを出力する。
具体的なパターンマッチングの例を図４（Ａ），（Ｂ）を用いて説明する。なお、説明を容易にするために道路を上方からみた図を用いて説明する。
【００５２】
図４（Ａ）は、パターンマッチングに用いるテンプレートの一例である３重線のテンプレートである。このテンプレートは線Ａ，線Ｂ，線Ｃという３本の白線からなる。図中の数値は長さ（ｃｍ）であり、線Ａ，Ｃは線Ｂよりも幅（車両進行方向と交差する方向、図４（Ａ）においては左右方向）が大きくなっている。
【００５３】
具体的な処理としてはまず、撮影画像から抽出された白線（上述した尤度が所定の閾値以上の白線候補）の中から１つの白線を選択する。
選択された白線を、図４（Ａ）の線Ａ，Ｂ，Ｃのそれぞれに対してマッチングする。例えば、ある白線（イ）に対して線Ａにマッチングしたとき、白線（イ）がＡとマッチし、さらに、線Ｂ，Ｃの２本にマッチする白線が白線（イ）の他に存在したときに、テンプレートの３重線のうちＡが白線（イ）に対してマッチしたと判断される。白線（イ）がＡとマッチしても、線Ｂ，Ｃにマッチする白線が存在しなければ、白線（イ）に対してＡはマッチしなかったと判断される。
【００５４】
このようにしてＡ，Ｂ，Ｃの３本それぞれについて白線（イ）とのマッチングを行いマッチするものを判断するが、３本のいずれにおいてもマッチするものが存在しなかった場合、上記テンプレートは白線（イ）に対してマッチしなかったと判断される。
【００５５】
図４（Ｂ）に２重線のテンプレートの一例を示す。マッチングの方法は上述したものと同様である。
各パターンマッチングの結果は、白線が３重線、２重線、単線のいずれであるか、また複合線であった場合はどの位置であるか、の確からしさを示すパラメータの組み合わせとして、予め用意されたものの中から選択される。例えば図４（Ａ）の３重線のマッチングを行った場合、Ａと一致する、Ｂと一致する、Ｃと一致する、いずれとも一致しない、の４通りの結果が存在するため、予め定められたパラメータの組み合わせはその４通りに対して用意されており、パターンマッチングの結果に応じて選択され出力される。
【００５６】
（２）破線ピッチの判定
破線のピッチとは、線が存在するペイント部と、線と線の間隔であるギャップ部と、のそれぞれの長さを指す。破線のピッチは、ハフ変換の得票数の時間経過に基づいて判定する。その原理を、図５（Ａ）〜（Ｃ）を用いて説明する。
【００５７】
図５（Ａ），（Ｂ）は同じ道路であって、画像を取得するタイミングが異なるものである。上図において破線で囲った領域１３０が、ハフ変換の得票数をカウントする対象となる領域である。また、白線Ａが長い破線、白線Ｂが実線、白線Ｃが短い破線である。
【００５８】
図５（Ａ）の領域１３０において、ハフ変換の得票数は、実線である白線Ｂが最も多く、続いて白線Ａが多く、白線Ｃが最も少なくなる。これは、得票数は領域１３０に存在する白線の長さ（図中、太線で示した部分）に応じて大きくなるためである。一定時間経過した図５（Ｂ）では、白線Ａの得票数が大きく低下する。一方、実線である白線Ｂは変化せず、また、白線Ｃも変化は小さい。
【００５９】
これらの時間変化を図５（Ｃ）に示す。図中Ａ，Ｂ，Ｃは、それぞれ図５（Ａ），（Ｂ）の白線Ａ，Ｂ，Ｃに対応する。白線Ｂの得票数は時間が経過しても大きく変化しない。一方、白線Ｃの得票数は時間で大きく変化しないものの、白線Ｂよりも得票数は小さい。この理由は、白線Ｃが破線であるため白線Ｂと比較すると得票数は少なくなるが、破線が短いことにより領域１３０において存在する白線Ｃのペイント部の量は変化が小さいためである。
【００６０】
白線Ａの得票数は時間経過に伴って大きく変動する。これは、図５（Ａ）と図５（Ｂ）とを比較すると分かるように、領域１３０に存在する白線Ａのペイント部は時間経過に伴って大きく変化するためである。具体的には図５（Ａ）のとき得票数が多く、図５（Ｂ）のとき得票数が少ない。このように、破線が長い場合には得票数の時間変化が大きくなる。
【００６１】
また図５（Ｃ）から分かるように、白線Ａ，Ｃはいずれも所定時間あたりの得票数は白線Ｂより少ない。この所定時間あたりの得票数により、白線が破線であることが分かる。
このようにして、破線の長さが所定の閾値以上であると推定できるものを長い破線（本発明における長破線）と判定し、所定の閾値未満のものを短い破線（本発明における短破線）と判定する。
【００６２】
なお、所定時間あたりの得票数が少ない場合、破線におけるギャップ部の割合が多いと判断できるため、所定時間あたりの得票数と時間変化の状態から破線の長さと間隔とを推定できる。得票数の変化の仕方は領域１３０の大きさと破線の長さとの関係によって定まるが、基本的には破線が短く、また破線の間隔が短いほど時間変化が小さくなり、破線が長く、また破線の間隔が長いほど時間変化が大きくなる。
【００６３】
＜確信度分布の出力＞
パターンマッチングの結果、および破線ピッチの判定結果に応じて、図６（Ａ），（Ｂ）に示すような確信度分布が出力される。この確信度分布は、様々な線種類に対して、ある白線がその線種類である確からしさを示すパラメータをまとめたものである。
【００６４】
図６（Ａ）は、ある白線が３重線のテンプレートにおける中央の線にパターンマッチングが成功した場合であって、かつ、上記白線が破線でありかつその破線の長さが長いと判定された場合の確信度分布であり、図６（Ｂ）は３重線のパターンに対してパターンマッチングが成功しなかった場合の確信度分布である。
【００６５】
図中、「３重、２重、単」は、何重の複合線か、あるいは単線であるかを示す。また、「破、実」は実線か破線かを示す。また「長、短」は破線である場合にその破線の長さを示す。
【００６６】
また「内、外」とは、車両の位置から近い側である内側、遠い側である外側をそれぞれ示す。つまり、図４を用いて説明すると、パターンマッチングを行う際に、車両から左側にある白線に対して、白線Ａがマッチすればその白線は外側であり、白線Ｃがマッチすればその白線は内側となる。車両から右側にある白線に対しては白線Ａとマッチすれば内側、白線Ｃとマッチすれば外側となる。
【００６７】
図６（Ａ）に示す確信度分布は、「３重破・中央・長」であるパラメータが最も高くなる。そして、似た特徴を有するものも、パラメータが高くなる。例えば、白線が長い破線であると判断されていても、ペイントのかすれや汚れなどの影響を受けている可能性もあるため、「３重破・中央・短」「３重実・中央」である可能性も高く、そのパラメータも高くなる。また、似ていない線種類であると考えられるものほどパラメータは低くなる。
【００６８】
似た特徴を有するか否かの基準の一例を挙げる。３重線と判定された場合は、単線よりも２重線が似ており２重線のパラメータが高くなる。また、３重線の外側と判定された場合は、２重線の外側のパラメータも高くなる。
【００６９】
一方、図６（Ｂ）に示すパターンマッチングが成功しなかった場合の確信度分布は、いずれのパラメータも低いものとなっている。
なおこの確信度分布は、パターンマッチングの結果と破線のピッチの判定結果に応じて予め各パラメータが定められたものである。即ち、パターンマッチング結果と破線ピッチの判定結果の組み合わせに対して予め作成されている１つの確信度分布が出力される。
【００７０】
＜統合確信度分布の作成＞
１つの白線に対して４通りのパターンマッチングと破線ピッチの判定を行い、それぞれの結果に対応する４つの確信度分布が出力される。そして、出力された各確信度分布のパラメータを統合し、図７に示すような統合確信度分布を作成する。
【００７１】
撮影画像から抽出された他の白線に対しても同様に、４つの確信度分布を出力し、それらの各パラメータを統合して統合確信度分布を作成する。
＜統合確信度分布の修正＞
上述したように作成された統合確信度分布は、次の２点により修正される。
【００７２】
（１）過去情報による修正
道路の白線にカスレがある場合や、破線であってギャップが大きい場合などには、白線のある位置に白線が抽出されない場合がある。抽出されなかった白線が制御の対象となるべき白線である場合や、その白線の存在の有無に応じて制御対象となるべき白線が変わる場合、制御対象として設定される白線が短い間隔で変更してしまうため安定した制御を行い難くなり好ましくない。
【００７３】
そこで、過去に抽出されていた白線（尤度が所定の閾値以上の白線候補）は、所定の時間、あるいは車両が所定の距離走行するまで、そこに過去に抽出されたものと同様の種類の白線が継続して存在するものとして処理を行う。
【００７４】
本実施例では、白線が抽出されなくなってから１秒経過するまではそこに白線があるものとして扱う。あるいは、白線が抽出されなくなってから所定の距離（例えば５ｍ）を経過するまで白線が継続して存在するものとして扱ってもよい。
【００７５】
また、パターンマッチングの結果が変化する場合もあるので、以下のようにしてもよい。前回作成した統計確信度分布（あるいは最終的に決定された線種類）に基づき、新たに作成された統計確信度分布における所定の線種類のみパラメータを上下させる。例えば、前回作成した統計確信度分布において所定の閾値以上のパラメータを有していた線種類については、新たに作成された統計確信度分布においてパラメータを引き上げ、その他の線種類についてはパラメータを下げることが考えられる。
【００７６】
これにより、制御対象として設定される白線が短い間隔で変更してしまうことを抑制する。
（２）ナビゲーションシステムによる地図情報に基づく修正
車両が備える図示しないナビゲーションシステムが記憶する地図情報に、当該車両が走行中の車線（白線）の情報が存在する場合、その情報を利用して、統合確信度分布のパラメータを調整する。
【００７７】
具体的には、例えば走行中の車線には２重実線と１重実線とが存在するという情報が存在する場合、２重実線と１重実線以外のパラメータを大きくマイナスする。
以上説明した（１），（２）によって、統合確信度分布のパラメータを修正することができる。
【００７８】
説明を図３に戻る。
ＤＳＰ８０は、撮影画像に基づいて抽出された白線から、制御対象の白線を選択するＤＳＰであり、以下、このＤＳＰ８０を制御対象白線選択部８０と呼ぶ。この制御対象白線選択部８０が、本発明における制御線選択手段に相当する。
【００７９】
白線特徴統合部６０により出力された尤度が所定の閾値以上である白線は、複合線判定部７０により線種類を決定するためのパラメータ群である統合確信度分布が出力されている。この制御対象白線選択部８０は、その統合確信度分布を利用して制御対象の白線を選択する。
【００８０】
白線の種類は、線種類の確からしさのパラメータが最大である線種類（例えば図７の統合確信度分布でいえば３重線中心実線）となる。
本実施例では、複合線を構成する短い破線を除いて車両に最も近い白線を制御対象の白線として選択する。具体的な処理手順を図８に示すフローチャートを用いて説明する。また、道路を示す模式図を図９に示す。なお、本処理は車両を中心として左右方向に別々に順番に処理を行う。
【００８１】
まず、白線特徴統合部６０によって出力された尤度が所定の閾値以上である白線の中から、最も車両中央に近い白線を抽出する（Ｓ１）。図９においては、矢印上を車両が走行している場合、左側について処理を行ったとすると、Ｃの白線が抽出される。
【００８２】
次に、Ｓ１にて抽出した白線が、単線又は実線であるか否かを判定する（Ｓ２）。単線又は実線であれば（Ｓ２：ＹＥＳ）、処理がＳ６に移行する。一方、単線又は実線でなければ（Ｓ２：ＮＯ）、即ち複合線かつ破線であれば、その破線が長い破線であるか否かを判別する（Ｓ３）。
【００８３】
長い破線であれば（Ｓ３：ＹＥＳ）、処理がＳ６に移行する。長い破線でなければ（Ｓ３：ＮＯ）、Ｓ１にて抽出した白線よりも更に外側、つまり車両中央から遠い位置に白線があるか否か判定する（Ｓ４）。外側に白線がなければ（Ｓ４：ＮＯ）、処理がＳ６に移行する。図９の場合、白線Ｃよりも外側に白線Ａ，Ｂが存在するため、Ｓ４はＹＥＳとなる。
【００８４】
一方、Ｓ４にて更に外側に白線があれば（Ｓ４：ＹＥＳ）、Ｓ１にて抽出した白線の次に車両中央に近い白線を抽出する（Ｓ５）。図９の場合、白線Ｃの次には白線Ｂが抽出される。その後、処理がＳ２に戻る。なおＳ５からＳ２に戻った場合には、Ｓ５にて抽出した白線を用いてＳ２等の処理を実行する。
【００８５】
そして、Ｓ６では、Ｓ１あるいはＳ５で抽出した白線を制御対象として設定する。このＳ６の後、本処理が終了する。
その後、撮影画像における車両の左右反対側についても同様の処理を実行する。図９の場合には、単線である白線Ｄが制御対象線として設定されることとなる。
【００８６】
このようにして設定された制御対象としての白線の情報が上述した車線逸脱警報装置に出力され、必要に応じて車線逸脱の警報が発報される。
２．効果
本実施例の車載白線認識装置１では、実線と短破線の補助線が引かれている複合線では、短破線が制御対象として選択されることを抑制して、かつ実線と長破線の複合線では、長破線を無視することなく制御対象として選択することができる。その結果、例えば車線逸脱の判定を誤ったタイミングで行ってしまうといった問題が生じ難くなる。
【００８７】
また本実施例の車載白線認識装置１では、複数のテンプレートを用いたパターンマッチングの結果と、破線のピッチの判定結果と、を組み合わせた確信度分布を統合して複合線の種類を判定しており、高い精度で制御対象の白線を選択することができる。
【００８８】
［変形例］
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
【００８９】
例えば上記実施例においては、撮影画像から抽出された白線のうち、複合線であり、かつ、短い破線である線以外の白線を制御対象として選択する構成を例示したが、それ以外の基準で判断してもよい。
【００９０】
例えば、制御対象の白線を決定するための複数の判断条件を設定し、条件を満たすか否かによって制御対象としての優先度を示すパラメータを判断条件ごとに出力し、それらのパラメータを統合して決定してもよい。
【００９１】
具体的には、上述したように、複合線であり、かつ、短い破線である線以外の白線は、制御対象の優先度として出力されるパラメータを高く設定することが考えられる。他には、白線候補の尤度が高いものほど高いパラメータを出力する、３重の複合線であれば中心の白線は高いパラメータを出力する、実線は破線よりも高いパラメータを出力する、などが挙げられる。そして、それらのパラメータを統合した結果最もパラメータの大きいものを制御対象として設定することが考えられる。
【００９２】
また、例えば、車両の左右において最も車両中心側にて抽出された白線それぞれが、複合線を構成する白線であると判定され、かつ短い破線であると判定された場合には、当該短い破線として判定された白線が構成する複合線の中から当該白線を除く白線を、前記短い破線として判定された白線よりも優先的に前記制御の対象となる白線として選択するように構成してもよい。
【００９３】
このように構成された車載白線認識装置では、車両の左右の中心側に複合線の短い破線が存在する場合、その短い破線を除く白線を優先的に制御の対象として選択する。車両の左右に短破線が検出された場合、その短い破線は補助線である可能性が高いため、補助線として引かれている破線が制御対象として選択されることを抑制して、制御対象とすべき白線を適切に選択することができる。
【００９４】
また、上記実施例においては、破線のピッチをハフ変換の得票数に基づいて判断する構成を例示したが、パターンマッチングにより破線の長さを判定してもよい。
具体的には、白線の幅やピッチを定めたテンプレートを用いたパターンマッチングによって破線のピッチを求めることが考えられる。
【００９５】
また、幅の太い白線は短い破線である場合があるため、これを利用して、太い白線のテンプレートを用いたパターンマッチングや、エッジ点（ハフ変換後の直線）の間隔などから白線の幅を判定し、所定の範囲の幅を有する場合には、短い破線と判定してもよい。
【００９６】
また、図１０（Ａ）のように、実線１６０と破線１６２とが近接して平行していると、太い１本の白線１６４であると検出される場合がある。このとき、検出される白線の太さは、破線の存在する位置に応じて定期的に変化する（図１０（Ｂ）参照）。そこで、白線の太さの時間変化を測定し、当該白線の太さが所定の周期で相対的に太い状態と細い状態とを変動する場合には、その白線を、破線と実線とからなる２つの白線として分割することが考えられる。
【００９７】
そして、白線の太さが太い状態として連続的に測定される期間は、破線の長さが長いほど長くなる。そこで、上述した期間が所定の閾値より大きい場合に、分割された破線が長い破線であると判定するように構成してもよい。
【００９８】
また、図５（Ｂ）のように、白線Ａが領域１３０にほとんどあるいは全く存在しない（ギャップ部分が存在する）場合、隣接する白線Ｂおよび白線Ｃは、パターンマッチングの結果２重線と判断される場合がある。その場合、図５（Ａ）のように白線Ａがペイント部分では３重線と判定される。
【００９９】
そこで、白線Ｂおよび白線Ｃに対して判定される複合線の数（単線、２重線、３重線）が定期的に変動する場合に、その変動周期に基づいて白線Ａの破線の長さを判定してもよい。具体的には、図１１に示すように、白線Ｂに対するパターンマッチングが、２重線のテンプレートで成功する期間（図中フラグＮ）と、３重線のテンプレートで成功する期間（図中フラグＹ）と、を測定し、一定の周期で変動している場合は、その周期および２重線と３重線との割合でペイント部とギャップ部の長さを判定でき、白線Ａが長い破線であるか短い破線であるかを判定できる。
【０１００】
また上記白線Ａおよび白線Ｂからなる２重線についても同様に、白線Ｂが単線と判定される（２重線、３重線のいずれのテンプレートもマッチングが成功しない）期間と、２重線のテンプレートで成功する期間と、の周期と割合から同様に判定することができる。
【０１０１】
また、複合線の判定は実施例に記載したものに限定されず、様々な手法で判定することができる。例えば、撮影画像から抽出した白線のうち、互いの距離が４５ｃｍ以内である白線の組み合わせを検出し、これらを複合線として判定してもよい。そして複合線が存在すると判定された場合には、破線であるか否かを上述したハフ変換の得票数を利用した方法やパターンマッチング等によって判定し、図８と同様の方法で制御対象を決定するとよい。
【符号の説明】
【０１０２】
１…車載白線認識装置、１０…車載カメラ、２０…画像処理装置、３０…白線候補抽出部、４０…白線特徴算出部、５０…特徴抽出部、６０…白線特徴統合部、７０…複合線判定部、８０…制御対象白線選択部、１３０…領域、１６０…実線、１６２…破線、１６４…白線
【技術分野】
【０００１】
本発明は、運転支援等のために、車両が走行している道路上の白線を認識する車載白線認識装置に関する。
【背景技術】
【０００２】
従来、運転支援装置としての車線逸脱警報装置などに用いられ、道路上の白線を認識する車載白線認識装置が知られている（特許文献１参照）。
上記の車線逸脱警報装置は、車両周囲の画像を取得する車載カメラ、その画像を処理する画像処理部、及び警報生成部によって構成されている。画像処理部では、車載カメラから得られる画像から白線を検出する。警報生成部では、自車と白線との左右における距離を計算し、いずれかが閾値以下の場合、つまり、閾値で設定される距離よりも自車が白線に近付いた場合に、車線を逸脱する可能性が高まったとしてドライバに警報を与える。
【０００３】
このような装置で問題となる状況の一つに、道路上の白線が複数の白線からなる複合線である状況がある。複合線は２本の白線からなるもののみでなく、３本の白線からなる場合や、太いブロック状の破線を有する場合もあり、複合線全体の幅や形状が一定ではない。よって、上述したような車線の逸脱を判断するためには、複合線におけるいずれかの部分を、制御を行う対象とする白線（以降、単に制御対象線ともいう）として決定する必要がある。
【０００４】
複合線から制御対象線を決定する機能を有する装置として、特許文献２に記載の車線境界検出装置が提案されている。この装置は、複数の複合線パターンを判別し、それに基づいて複合線の幅の中で最内，中央，最内からプラスアルファのオフセット，のいずれかを制御対象線として設定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１８１４８号公報
【特許文献２】特開２００３？１７８３９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複合線における制御対象線の判断は、複合線を構成する線の種類に応じて変化させることが好ましい。具体的には、複合線に短い破線が含まれる場合、この破線は補助的な線である場合があり、この補助的な線を制御対象線として選択すると、適切な白線を選択した場合と比較して車線逸脱警報装置が早く或いは遅く車線を逸脱すると判定してしまい、適切なタイミングで警報が行えなくなってしまう。一方、破線の長さが長ければ実線と同様に扱うべきである場合がある。例えば、実線と長い破線の複合線の場合、長い破線は実線と同様に解釈して警報対象タイミングと解釈すべき場合がある。このように、単純に破線か実線かに基づいて制御対象線を選択することが適切でない場合があった。
【０００７】
本発明は、上述した問題に鑑みてなされたものであり、その目的は、制御対象とすべき白線を適切に選択できる車載白線認識装置を提供することである。
本発明の他の目的は、白線の種類を高い精度で判定できる車載白線認識装置を提供することである。
【課題を解決するための手段】
【０００８】
上述した問題を解決するためになされた請求項１に記載の発明は、車両周囲の画像を取得する車載カメラを備える車載白線認識装置であって、さらに以下のような特徴を有する。
【０００９】
まず、車載カメラで取得した画像から画像処理により白線を抽出する。白線を抽出する方法としては画像からエッジ点を検出してハフ変換を行う方法やパターンマッチングなどの公知の方法を採用することができる。
【００１０】
そして、その抽出された白線が、所定の距離内に存在する複数の白線からなる複合線を構成する白線であるか否かを判定する。判定の方法は特に限定されないが、例えば車両周囲の画像から白線の距離を推定し、所定の距離以下のものを複合線と判定することができる。また、パターンマッチングなどにより判定してもよい。
【００１１】
また、抽出された白線を、少なくとも、実線，長さが所定の閾値以上の破線である長破線，長さが上記所定の閾値未満の破線である短破線，のいずれかとして判定する。ここでいう破線の長さとは、破線における線が存在する、即ち道路上に着色された部分であるペイント部と、線と線の間隔にあたるギャップ部と、のうちペイント部の長さをいう。
【００１２】
そしてこの車載白線認識装置は、抽出された白線の中から、所定の制御の対象となる白線を選択する。このとき、複合線を構成すると判定された白線に対しては、実線または長破線と判定された白線を、短破線として判定された白線よりも優先的に制御の対象となる白線として選択する。所定の制御とは、例えば車線逸脱判定や、自動操舵などがある。
【００１３】
このように構成された車載白線認識装置では、複合線を構成する短破線を除く白線を優先的に制御の対象の白線として選択する。即ち、補助線として引かれている短破線が制御対象として選択されることを抑制して、制御対象とすべき白線を適切に選択することができる。その結果、例えば車線逸脱の判定を誤ったタイミングで行ってしまうといった問題が生じ難くなる。一方で、長破線は除外されず、正しく警報対象とすることができる。
【００１４】
上述したように白線を実線，長破線，短破線のいずれかと判定する方法は特に限定されない。例えばパターンマッチング等の公知の手法により破線の長さを推定し、その長さが所定の閾値を超えるか否かによって判定することができる。また、請求項２に記載のように、車載カメラで取得した画像からエッジ点を検出し、当該エッジ点をハフ変換することにより得られた直線に基づいて白線を抽出し、その抽出された白線に対応するハフ変換の投票数の時間変化が所定の閾値よりも大きい場合に、当該白線を長破線と判定するように構成してもよい。
【００１５】
ハフ変換の投票数は、車載カメラで取得した撮影画像における画像処理の対象となる領域に存在するペイント部の長さによって定まる。長破線はペイント部およびギャップ部の長さが短破線よりも長いため、上記領域においてペイント部が占める割合が大きい場合と小さい場合との差が大きく、そのため投票数の時間変化が大きくなる。
【００１６】
一方、短破線はペイント部およびギャップ部が短いため、上述した領域にペイント部が複数存在しやすくなり、ペイント部が占める割合が安定し、投票数の時間変化が小さくなる。このような特徴を利用することで、破線の長さを精度よく判定することができる。
【００１７】
請求項３に記載の発明は、車両周囲の画像を取得する車載カメラを備える車載白線認識装置であって、さらに次のような特徴を有する。
まず、車載カメラで取得した画像から画像処理により白線を抽出する。そして、その抽出された白線が、所定の距離内に存在する複数の白線からなる複合線を構成する白線であるか否かを判定する。また、抽出された白線を、少なくとも、実線，長さが所定の閾値以上の破線である長破線，長さが上記所定の閾値未満の破線である短破線，のいずれかとして判定する。以上の処理は、請求項１に記載の車載白線認識装置と同様である。
【００１８】
そしてこの車載白線認識装置は、抽出された白線の中から、所定の制御の対象となる白線を選択する。このとき、車両の左右において最も車両中心側にて抽出された白線それぞれが、複合線を構成する白線であると判定され、かつ短破線であると判定された場合には、その短破線として判定された白線が構成する複合線の中から当該白線を除く白線を、その短破線として判定された白線よりも優先的に制御の対象となる白線として選択する。
【００１９】
このように構成された車載白線認識装置では、車両の左右の中心側に複合線の短破線が存在する場合、その短破線を除く白線を優先的に制御の対象として選択する。車両の左右に短破線が検出された場合、その短破線は補助線である可能性が高いため、補助線として引かれている破線が制御対象として選択されることを抑制して、制御対象とすべき白線を適切に選択することができる。
【００２０】
請求項４に記載の発明は、車両周囲の画像を取得する車載カメラを備える車載白線認識装置であって、さらに次のような特徴を有する。
まず車載カメラで取得した画像から画像処理により白線を抽出する。そしてこの車載白線認識装置はパターンマッチングのための複数のテンプレートを準備しており、抽出された白線に対してテンプレートそれぞれによるパターンマッチングを行う。
【００２１】
そしてテンプレートにマッチングするか否かに応じて、少なくとも何重の複合線を構成する白線であるかを示す複合線の種類それぞれに対する当該白線の確からしさを示すパラメータを出力する。上述した複数のテンプレートそれぞれについて同様にパラメータを出力し、出力されたパラメータを統合し、その統合した結果に基づいて複合線の種類を判定する。
【００２２】
このように構成された車載白線認識装置では、複数のテンプレートを用いたパターンマッチングの結果を統合して白線が該当する複合線の種類を判定するため、白線の種類を高い精度で判定することができる。
【００２３】
なお、請求項５に記載のように、上記複数のテンプレートは、複合線の種類それぞれに、複数のテンプレートにおける少なくとも１つが対応するように準備しておく構成であってもよい。このように構成された車載白線認識装置では、テンプレートが複合線の種類に対応していることから白線とテンプレートとのマッチが実現されやすくなり、複合線の種類の判定精度を高めることができる。
【００２４】
請求項６に記載の発明は、請求項１に記載の車載白線認識装置において、さらに抽出された白線の太さの時間変化を測定し、当該白線の太さが所定の周期で相対的に太い状態と細い状態とを変動する場合には、上記抽出された白線を、破線と実線とからなる２つの白線として分割し、白線の太さが太い状態として測定される期間が所定の閾値より大きい場合に、分割された破線が長破線であると判定する。
【００２５】
このように構成された車載白線認識装置は、抽出された白線の太さが変化する場合にその白線が破線を含む複数本の白線を１本の白線と誤検出していると判断でき、さらに長破線であるか短破線であるかを判定できる。
【図面の簡単な説明】
【００２６】
【図１】車載白線認識装置の概略の構成を示すブロック図
【図２】車両における車載カメラの位置を表す説明図
【図３】画像処理部の概略の機能構成を示す機能ブロック図
【図４】テンプレートの例を示す図
【図５】投票数の変化による破線のピッチ判定の方法を説明する図
【図６】確信度分布の例を示す図
【図７】統合確信度分布の例を示す図
【図８】制御対象の白線を選択する処理の処理手順を説明するフローチャート
【図９】道路を示す模式図
【図１０】白線の太さの変化による破線のピッチ判定の方法を説明する図
【図１１】パターンマッチング結果の変化による破線のピッチ判定の方法を説明する図
【発明を実施するための形態】
【００２７】
以下に本発明の実施形態を図面と共に説明する。
［実施例］
１．車載白線認識装置１の構成
車載白線認識装置１は、図１に示すように、車両周囲の画像を取得する車載カメラ１０と車載カメラ１０で取得した車両周囲の画像（以降、この画像を単に撮影画像ともいう）を画像処理する画像処理装置２０とを備えている。図２は車両における車載カメラの位置を表す説明図である。
【００２８】
車載白線認識装置１により認識した白線は、図示しない車線逸脱警報装置によって車両の警報制御に用いられる。この警報制御とは、白線の車両からの左右における距離を計算し、いずれかが閾値以下の場合、つまり、車両が白線に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える制御である。
【００２９】
なお本車載白線認識装置１では、撮影画像から複数の白線らしきもの（白線候補）を抽出し、その中から制御対象とする白線を選択し、その選択された白線の情報を警報装置に出力する。
【００３０】
画像処理装置２０は、図３に示すように、複数のＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３０〜８０、ＤＳＰ３０〜８０の間のデータ伝送のためのＢＵＳ１２０及び図示しないＲＯＭ、ＲＡＭ及びＩ／Ｏを備えている。
【００３１】
ＤＳＰ３０は、車載カメラ１０で取得した撮影画像から画像処理により道路上の白線候補を抽出する白線候補抽出を行うＤＳＰであり、以下、このＤＳＰ３０を白線候補抽出部３０と呼ぶ。具体的には、車載カメラ１０で取得した画像から、公知の画像処理であるエッジ検出処理、直線抽出ハフ変換処理における投票数（実線・破線判定結果）などにより白線候補を抽出する。
【００３２】
ＤＳＰ４０は、白線候補抽出部３０で抽出した白線候補について、白線らしさの確信度を算出するＤＳＰであり、以下、このＤＳＰ４０を白線特徴算出部４０と呼ぶ。なお、確信度は、０.０１〜１の範囲内で設定される数値であって、白線特徴算出部４０が、ＤＳＰ５０による後述する（ａ）〜（ｅ）の各処理の結果ごとに設定する。以下、このＤＳＰ５０を特徴抽出部５０と呼ぶ。
【００３３】
（ａ）白線候補の周囲の路面（白線候補の部分を除く）に対する、白線候補のコントラストの比率に基づき、確信度を算出する。具体的には、白線候補のコントラストの比率が所定値（例えば１５０％）より低ければ、確信度を下げる。
【００３４】
（ｂ）車載カメラ１０で取得した撮影画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体の模様又は平均輝度を含む特徴を抽出する。例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り白線のように見える場合や、コールタールによる補修跡で囲まれた領域が直線状に映る場合があるので、パターンマッチングや輝度の差などにより領域と白線との模様を抽出する。
【００３５】
道路上に差し込んだ光や補修跡で囲まれた領域と白線とを識別するには、領域と白線候補との模様や平均輝度を比較すればよい。そこで、抽出した上記領域と白線候補との模様の差が大きければ両者は異なるものとして確信度を上げ、平均輝度の差が小さければ両者が一致するとして、その白線候補の確信度を下げる。
【００３６】
（ｃ）撮影画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体のエッジ総量を抽出する。エッジ総量は、撮影画像を二値化して得られた二値化画像からエッジを抽出し、抽出したエッジの数を合計することによって得られる。
【００３７】
白線がかすれなどによって、道路面との輝度差が低くなった場合であっても、人間の目では白線らしくシミのように見える。これは、道路上に全く模様がない場合にはシミが強調して見えるという人間の感性によるものである。
【００３８】
そこで、白線候補に囲まれる領域と白線のエッジ総量の差が所定の値以下の場合には、その白線候補の確信度を下げる。
（ｄ）撮影画像から、白線候補抽出部３０で抽出した白線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向のエッジ量が所定の値以上の筋状の模様を検出する。
【００３９】
車両のスリップ防止のため道路上に刻まれている縦筋は道路面に比べ輝度が低い（暗い）が、縦筋端の輝度は白線端と差がない場合がある。そこで、車載カメラ１０で取得した画像の二値化画像からエッジ量を算出し、白線候補の車両進行方向の近傍の領域における道路上の車両進行方向のエッジ量が所定の値以上のものを筋状の模様として検出する。そして、白線候補上に筋模様が検出された場合には、その白線候補の確信度を下げる。
【００４０】
（ｅ）車載カメラ１０で取得した画像から道路上に描かれている交通標識をパターンマッチングにより検出する。検出する交通標識としては、矢印、制限速度、止まれ文字など道路面上に描かれている交通標識以外にも横断歩道などがある。白線候補の位置に交通標識等が検出されたときは、その白線候補の確信度を下げる。
【００４１】
特徴抽出部５０は上記（ａ）〜（ｅ）の処理を行い、白線特徴算出部４０はその結果に基づいて、１つの白線候補につき複数の確信度を算出する。
ＤＳＰ６０は、上記（ａ）〜（ｅ）においてそれぞれ算出されて出力される確信度を乗算して統合することにより白線らしさを示す尤度を出力するＤＳＰであり、以下、このＤＳＰ６０を白線特徴統合部６０と呼ぶ。
【００４２】
白線特徴統合部６０における統合処理はベイズ推定のフレームワークに基づき、確信度の乗算による統合から判定する。例えば、特徴抽出部５０の（ａ）〜（ｅ）に示した処理のうちの２つによって算出した白線らしさの確信度Ａ、Ｂがそれぞれ０．６、０．７であった場合、統合した第１の尤度は、（０．６＊０．７）/（０．６＊０．７＋０．４＊０．３）＝０．７８となる。
【００４３】
ここで、０．４，０．３はそれぞれＡ、Ｂによる白線らしくなさ（１−０．６、１−０．７）である。
この白線特徴統合部６０で出力される尤度が所定の閾値以上である白線候補が、以下の処理において路面上に存在する白線として用いられる。白線候補抽出部３０、白線特徴算出部４０、特徴抽出部５０、および白線特徴統合部６０が、本発明における白線抽出手段に相当する。
【００４４】
ＤＳＰ７０は、白線の線の種類を選定するＤＳＰであり、以下、このＤＳＰ７０を複合線判定部７０と呼ぶ。この複合線判定部７０が、本発明における複合線判定手段および線種類判定手段に相当する。
【００４５】
複合線判定部７０は、白線特徴統合部６０にて出力された尤度が所定の閾値以上である白線候補（以下、単に白線という場合がある）それぞれに対して複数のテンプレートによるパターンマッチングを行い、また、白線候補抽出部３０によるハフ変換の投票数に応じて破線のピッチを判定して、それらの結果に基づいて確信度分布を出力し、当該白線の線種類を判別する。
【００４６】
なお、ここで言う線種類とは、白線が単線であるか複合線であるか、複合線の種類（３重線、２重線）、複合線における位置、白線が破線であるか否か、および破線の種類（長い破線、短い破線）などを分類する種類である。複合線とは、所定の距離内に存在する複数の白線からなるものである。詳細を以下に説明する。
【００４７】
＜パターンマッチングおよび破線ピッチの判定＞
（１）パターンマッチング
パターンマッチングでは、３重線、２重線、崩れ３重線２本、崩れ３重線２．５本、の４つの予め準備されたテンプレートを用いてマッチングを行う。
【００４８】
３重線のテンプレートとは、３本の白線からなる複合線のパターンを有するテンプレートであり（図４（Ａ）参照）、また２重線のテンプレートとは、２本の白線からなる複合線のパターンを有するテンプレートである（図４（Ｂ）参照）。
【００４９】
また、崩れ３重線２本のテンプレートとは、本来は３本の白線からなる複合線であるが、１本目と２本目，あるいは２本目と３本目の間において、白線と路面とのコントラストが小さくなり、それによってその部分が路面と認識されず、太い１本の白線と通常の１本白線の２本に見える場合のテンプレートである。
【００５０】
また、崩れ３重線２．５本のテンプレートとは、本来は３本の白線からなる複合線であるが、白線と路面の境界の一箇所が崩れて、コントラストが大きい点が５箇所となる場合のテンプレートである。なお、これらのテンプレートは一例であって、上記以外のテンプレートを用いてもよい。
【００５１】
そして、ある白線に対して１つのテンプレートを用いてパターンマッチングを行うごとに、その白線がどのような線種類であるかを決定するためのパラメータを出力する。
具体的なパターンマッチングの例を図４（Ａ），（Ｂ）を用いて説明する。なお、説明を容易にするために道路を上方からみた図を用いて説明する。
【００５２】
図４（Ａ）は、パターンマッチングに用いるテンプレートの一例である３重線のテンプレートである。このテンプレートは線Ａ，線Ｂ，線Ｃという３本の白線からなる。図中の数値は長さ（ｃｍ）であり、線Ａ，Ｃは線Ｂよりも幅（車両進行方向と交差する方向、図４（Ａ）においては左右方向）が大きくなっている。
【００５３】
具体的な処理としてはまず、撮影画像から抽出された白線（上述した尤度が所定の閾値以上の白線候補）の中から１つの白線を選択する。
選択された白線を、図４（Ａ）の線Ａ，Ｂ，Ｃのそれぞれに対してマッチングする。例えば、ある白線（イ）に対して線Ａにマッチングしたとき、白線（イ）がＡとマッチし、さらに、線Ｂ，Ｃの２本にマッチする白線が白線（イ）の他に存在したときに、テンプレートの３重線のうちＡが白線（イ）に対してマッチしたと判断される。白線（イ）がＡとマッチしても、線Ｂ，Ｃにマッチする白線が存在しなければ、白線（イ）に対してＡはマッチしなかったと判断される。
【００５４】
このようにしてＡ，Ｂ，Ｃの３本それぞれについて白線（イ）とのマッチングを行いマッチするものを判断するが、３本のいずれにおいてもマッチするものが存在しなかった場合、上記テンプレートは白線（イ）に対してマッチしなかったと判断される。
【００５５】
図４（Ｂ）に２重線のテンプレートの一例を示す。マッチングの方法は上述したものと同様である。
各パターンマッチングの結果は、白線が３重線、２重線、単線のいずれであるか、また複合線であった場合はどの位置であるか、の確からしさを示すパラメータの組み合わせとして、予め用意されたものの中から選択される。例えば図４（Ａ）の３重線のマッチングを行った場合、Ａと一致する、Ｂと一致する、Ｃと一致する、いずれとも一致しない、の４通りの結果が存在するため、予め定められたパラメータの組み合わせはその４通りに対して用意されており、パターンマッチングの結果に応じて選択され出力される。
【００５６】
（２）破線ピッチの判定
破線のピッチとは、線が存在するペイント部と、線と線の間隔であるギャップ部と、のそれぞれの長さを指す。破線のピッチは、ハフ変換の得票数の時間経過に基づいて判定する。その原理を、図５（Ａ）〜（Ｃ）を用いて説明する。
【００５７】
図５（Ａ），（Ｂ）は同じ道路であって、画像を取得するタイミングが異なるものである。上図において破線で囲った領域１３０が、ハフ変換の得票数をカウントする対象となる領域である。また、白線Ａが長い破線、白線Ｂが実線、白線Ｃが短い破線である。
【００５８】
図５（Ａ）の領域１３０において、ハフ変換の得票数は、実線である白線Ｂが最も多く、続いて白線Ａが多く、白線Ｃが最も少なくなる。これは、得票数は領域１３０に存在する白線の長さ（図中、太線で示した部分）に応じて大きくなるためである。一定時間経過した図５（Ｂ）では、白線Ａの得票数が大きく低下する。一方、実線である白線Ｂは変化せず、また、白線Ｃも変化は小さい。
【００５９】
これらの時間変化を図５（Ｃ）に示す。図中Ａ，Ｂ，Ｃは、それぞれ図５（Ａ），（Ｂ）の白線Ａ，Ｂ，Ｃに対応する。白線Ｂの得票数は時間が経過しても大きく変化しない。一方、白線Ｃの得票数は時間で大きく変化しないものの、白線Ｂよりも得票数は小さい。この理由は、白線Ｃが破線であるため白線Ｂと比較すると得票数は少なくなるが、破線が短いことにより領域１３０において存在する白線Ｃのペイント部の量は変化が小さいためである。
【００６０】
白線Ａの得票数は時間経過に伴って大きく変動する。これは、図５（Ａ）と図５（Ｂ）とを比較すると分かるように、領域１３０に存在する白線Ａのペイント部は時間経過に伴って大きく変化するためである。具体的には図５（Ａ）のとき得票数が多く、図５（Ｂ）のとき得票数が少ない。このように、破線が長い場合には得票数の時間変化が大きくなる。
【００６１】
また図５（Ｃ）から分かるように、白線Ａ，Ｃはいずれも所定時間あたりの得票数は白線Ｂより少ない。この所定時間あたりの得票数により、白線が破線であることが分かる。
このようにして、破線の長さが所定の閾値以上であると推定できるものを長い破線（本発明における長破線）と判定し、所定の閾値未満のものを短い破線（本発明における短破線）と判定する。
【００６２】
なお、所定時間あたりの得票数が少ない場合、破線におけるギャップ部の割合が多いと判断できるため、所定時間あたりの得票数と時間変化の状態から破線の長さと間隔とを推定できる。得票数の変化の仕方は領域１３０の大きさと破線の長さとの関係によって定まるが、基本的には破線が短く、また破線の間隔が短いほど時間変化が小さくなり、破線が長く、また破線の間隔が長いほど時間変化が大きくなる。
【００６３】
＜確信度分布の出力＞
パターンマッチングの結果、および破線ピッチの判定結果に応じて、図６（Ａ），（Ｂ）に示すような確信度分布が出力される。この確信度分布は、様々な線種類に対して、ある白線がその線種類である確からしさを示すパラメータをまとめたものである。
【００６４】
図６（Ａ）は、ある白線が３重線のテンプレートにおける中央の線にパターンマッチングが成功した場合であって、かつ、上記白線が破線でありかつその破線の長さが長いと判定された場合の確信度分布であり、図６（Ｂ）は３重線のパターンに対してパターンマッチングが成功しなかった場合の確信度分布である。
【００６５】
図中、「３重、２重、単」は、何重の複合線か、あるいは単線であるかを示す。また、「破、実」は実線か破線かを示す。また「長、短」は破線である場合にその破線の長さを示す。
【００６６】
また「内、外」とは、車両の位置から近い側である内側、遠い側である外側をそれぞれ示す。つまり、図４を用いて説明すると、パターンマッチングを行う際に、車両から左側にある白線に対して、白線Ａがマッチすればその白線は外側であり、白線Ｃがマッチすればその白線は内側となる。車両から右側にある白線に対しては白線Ａとマッチすれば内側、白線Ｃとマッチすれば外側となる。
【００６７】
図６（Ａ）に示す確信度分布は、「３重破・中央・長」であるパラメータが最も高くなる。そして、似た特徴を有するものも、パラメータが高くなる。例えば、白線が長い破線であると判断されていても、ペイントのかすれや汚れなどの影響を受けている可能性もあるため、「３重破・中央・短」「３重実・中央」である可能性も高く、そのパラメータも高くなる。また、似ていない線種類であると考えられるものほどパラメータは低くなる。
【００６８】
似た特徴を有するか否かの基準の一例を挙げる。３重線と判定された場合は、単線よりも２重線が似ており２重線のパラメータが高くなる。また、３重線の外側と判定された場合は、２重線の外側のパラメータも高くなる。
【００６９】
一方、図６（Ｂ）に示すパターンマッチングが成功しなかった場合の確信度分布は、いずれのパラメータも低いものとなっている。
なおこの確信度分布は、パターンマッチングの結果と破線のピッチの判定結果に応じて予め各パラメータが定められたものである。即ち、パターンマッチング結果と破線ピッチの判定結果の組み合わせに対して予め作成されている１つの確信度分布が出力される。
【００７０】
＜統合確信度分布の作成＞
１つの白線に対して４通りのパターンマッチングと破線ピッチの判定を行い、それぞれの結果に対応する４つの確信度分布が出力される。そして、出力された各確信度分布のパラメータを統合し、図７に示すような統合確信度分布を作成する。
【００７１】
撮影画像から抽出された他の白線に対しても同様に、４つの確信度分布を出力し、それらの各パラメータを統合して統合確信度分布を作成する。
＜統合確信度分布の修正＞
上述したように作成された統合確信度分布は、次の２点により修正される。
【００７２】
（１）過去情報による修正
道路の白線にカスレがある場合や、破線であってギャップが大きい場合などには、白線のある位置に白線が抽出されない場合がある。抽出されなかった白線が制御の対象となるべき白線である場合や、その白線の存在の有無に応じて制御対象となるべき白線が変わる場合、制御対象として設定される白線が短い間隔で変更してしまうため安定した制御を行い難くなり好ましくない。
【００７３】
そこで、過去に抽出されていた白線（尤度が所定の閾値以上の白線候補）は、所定の時間、あるいは車両が所定の距離走行するまで、そこに過去に抽出されたものと同様の種類の白線が継続して存在するものとして処理を行う。
【００７４】
本実施例では、白線が抽出されなくなってから１秒経過するまではそこに白線があるものとして扱う。あるいは、白線が抽出されなくなってから所定の距離（例えば５ｍ）を経過するまで白線が継続して存在するものとして扱ってもよい。
【００７５】
また、パターンマッチングの結果が変化する場合もあるので、以下のようにしてもよい。前回作成した統計確信度分布（あるいは最終的に決定された線種類）に基づき、新たに作成された統計確信度分布における所定の線種類のみパラメータを上下させる。例えば、前回作成した統計確信度分布において所定の閾値以上のパラメータを有していた線種類については、新たに作成された統計確信度分布においてパラメータを引き上げ、その他の線種類についてはパラメータを下げることが考えられる。
【００７６】
これにより、制御対象として設定される白線が短い間隔で変更してしまうことを抑制する。
（２）ナビゲーションシステムによる地図情報に基づく修正
車両が備える図示しないナビゲーションシステムが記憶する地図情報に、当該車両が走行中の車線（白線）の情報が存在する場合、その情報を利用して、統合確信度分布のパラメータを調整する。
【００７７】
具体的には、例えば走行中の車線には２重実線と１重実線とが存在するという情報が存在する場合、２重実線と１重実線以外のパラメータを大きくマイナスする。
以上説明した（１），（２）によって、統合確信度分布のパラメータを修正することができる。
【００７８】
説明を図３に戻る。
ＤＳＰ８０は、撮影画像に基づいて抽出された白線から、制御対象の白線を選択するＤＳＰであり、以下、このＤＳＰ８０を制御対象白線選択部８０と呼ぶ。この制御対象白線選択部８０が、本発明における制御線選択手段に相当する。
【００７９】
白線特徴統合部６０により出力された尤度が所定の閾値以上である白線は、複合線判定部７０により線種類を決定するためのパラメータ群である統合確信度分布が出力されている。この制御対象白線選択部８０は、その統合確信度分布を利用して制御対象の白線を選択する。
【００８０】
白線の種類は、線種類の確からしさのパラメータが最大である線種類（例えば図７の統合確信度分布でいえば３重線中心実線）となる。
本実施例では、複合線を構成する短い破線を除いて車両に最も近い白線を制御対象の白線として選択する。具体的な処理手順を図８に示すフローチャートを用いて説明する。また、道路を示す模式図を図９に示す。なお、本処理は車両を中心として左右方向に別々に順番に処理を行う。
【００８１】
まず、白線特徴統合部６０によって出力された尤度が所定の閾値以上である白線の中から、最も車両中央に近い白線を抽出する（Ｓ１）。図９においては、矢印上を車両が走行している場合、左側について処理を行ったとすると、Ｃの白線が抽出される。
【００８２】
次に、Ｓ１にて抽出した白線が、単線又は実線であるか否かを判定する（Ｓ２）。単線又は実線であれば（Ｓ２：ＹＥＳ）、処理がＳ６に移行する。一方、単線又は実線でなければ（Ｓ２：ＮＯ）、即ち複合線かつ破線であれば、その破線が長い破線であるか否かを判別する（Ｓ３）。
【００８３】
長い破線であれば（Ｓ３：ＹＥＳ）、処理がＳ６に移行する。長い破線でなければ（Ｓ３：ＮＯ）、Ｓ１にて抽出した白線よりも更に外側、つまり車両中央から遠い位置に白線があるか否か判定する（Ｓ４）。外側に白線がなければ（Ｓ４：ＮＯ）、処理がＳ６に移行する。図９の場合、白線Ｃよりも外側に白線Ａ，Ｂが存在するため、Ｓ４はＹＥＳとなる。
【００８４】
一方、Ｓ４にて更に外側に白線があれば（Ｓ４：ＹＥＳ）、Ｓ１にて抽出した白線の次に車両中央に近い白線を抽出する（Ｓ５）。図９の場合、白線Ｃの次には白線Ｂが抽出される。その後、処理がＳ２に戻る。なおＳ５からＳ２に戻った場合には、Ｓ５にて抽出した白線を用いてＳ２等の処理を実行する。
【００８５】
そして、Ｓ６では、Ｓ１あるいはＳ５で抽出した白線を制御対象として設定する。このＳ６の後、本処理が終了する。
その後、撮影画像における車両の左右反対側についても同様の処理を実行する。図９の場合には、単線である白線Ｄが制御対象線として設定されることとなる。
【００８６】
このようにして設定された制御対象としての白線の情報が上述した車線逸脱警報装置に出力され、必要に応じて車線逸脱の警報が発報される。
２．効果
本実施例の車載白線認識装置１では、実線と短破線の補助線が引かれている複合線では、短破線が制御対象として選択されることを抑制して、かつ実線と長破線の複合線では、長破線を無視することなく制御対象として選択することができる。その結果、例えば車線逸脱の判定を誤ったタイミングで行ってしまうといった問題が生じ難くなる。
【００８７】
また本実施例の車載白線認識装置１では、複数のテンプレートを用いたパターンマッチングの結果と、破線のピッチの判定結果と、を組み合わせた確信度分布を統合して複合線の種類を判定しており、高い精度で制御対象の白線を選択することができる。
【００８８】
［変形例］
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
【００８９】
例えば上記実施例においては、撮影画像から抽出された白線のうち、複合線であり、かつ、短い破線である線以外の白線を制御対象として選択する構成を例示したが、それ以外の基準で判断してもよい。
【００９０】
例えば、制御対象の白線を決定するための複数の判断条件を設定し、条件を満たすか否かによって制御対象としての優先度を示すパラメータを判断条件ごとに出力し、それらのパラメータを統合して決定してもよい。
【００９１】
具体的には、上述したように、複合線であり、かつ、短い破線である線以外の白線は、制御対象の優先度として出力されるパラメータを高く設定することが考えられる。他には、白線候補の尤度が高いものほど高いパラメータを出力する、３重の複合線であれば中心の白線は高いパラメータを出力する、実線は破線よりも高いパラメータを出力する、などが挙げられる。そして、それらのパラメータを統合した結果最もパラメータの大きいものを制御対象として設定することが考えられる。
【００９２】
また、例えば、車両の左右において最も車両中心側にて抽出された白線それぞれが、複合線を構成する白線であると判定され、かつ短い破線であると判定された場合には、当該短い破線として判定された白線が構成する複合線の中から当該白線を除く白線を、前記短い破線として判定された白線よりも優先的に前記制御の対象となる白線として選択するように構成してもよい。
【００９３】
このように構成された車載白線認識装置では、車両の左右の中心側に複合線の短い破線が存在する場合、その短い破線を除く白線を優先的に制御の対象として選択する。車両の左右に短破線が検出された場合、その短い破線は補助線である可能性が高いため、補助線として引かれている破線が制御対象として選択されることを抑制して、制御対象とすべき白線を適切に選択することができる。
【００９４】
また、上記実施例においては、破線のピッチをハフ変換の得票数に基づいて判断する構成を例示したが、パターンマッチングにより破線の長さを判定してもよい。
具体的には、白線の幅やピッチを定めたテンプレートを用いたパターンマッチングによって破線のピッチを求めることが考えられる。
【００９５】
また、幅の太い白線は短い破線である場合があるため、これを利用して、太い白線のテンプレートを用いたパターンマッチングや、エッジ点（ハフ変換後の直線）の間隔などから白線の幅を判定し、所定の範囲の幅を有する場合には、短い破線と判定してもよい。
【００９６】
また、図１０（Ａ）のように、実線１６０と破線１６２とが近接して平行していると、太い１本の白線１６４であると検出される場合がある。このとき、検出される白線の太さは、破線の存在する位置に応じて定期的に変化する（図１０（Ｂ）参照）。そこで、白線の太さの時間変化を測定し、当該白線の太さが所定の周期で相対的に太い状態と細い状態とを変動する場合には、その白線を、破線と実線とからなる２つの白線として分割することが考えられる。
【００９７】
そして、白線の太さが太い状態として連続的に測定される期間は、破線の長さが長いほど長くなる。そこで、上述した期間が所定の閾値より大きい場合に、分割された破線が長い破線であると判定するように構成してもよい。
【００９８】
また、図５（Ｂ）のように、白線Ａが領域１３０にほとんどあるいは全く存在しない（ギャップ部分が存在する）場合、隣接する白線Ｂおよび白線Ｃは、パターンマッチングの結果２重線と判断される場合がある。その場合、図５（Ａ）のように白線Ａがペイント部分では３重線と判定される。
【００９９】
そこで、白線Ｂおよび白線Ｃに対して判定される複合線の数（単線、２重線、３重線）が定期的に変動する場合に、その変動周期に基づいて白線Ａの破線の長さを判定してもよい。具体的には、図１１に示すように、白線Ｂに対するパターンマッチングが、２重線のテンプレートで成功する期間（図中フラグＮ）と、３重線のテンプレートで成功する期間（図中フラグＹ）と、を測定し、一定の周期で変動している場合は、その周期および２重線と３重線との割合でペイント部とギャップ部の長さを判定でき、白線Ａが長い破線であるか短い破線であるかを判定できる。
【０１００】
また上記白線Ａおよび白線Ｂからなる２重線についても同様に、白線Ｂが単線と判定される（２重線、３重線のいずれのテンプレートもマッチングが成功しない）期間と、２重線のテンプレートで成功する期間と、の周期と割合から同様に判定することができる。
【０１０１】
また、複合線の判定は実施例に記載したものに限定されず、様々な手法で判定することができる。例えば、撮影画像から抽出した白線のうち、互いの距離が４５ｃｍ以内である白線の組み合わせを検出し、これらを複合線として判定してもよい。そして複合線が存在すると判定された場合には、破線であるか否かを上述したハフ変換の得票数を利用した方法やパターンマッチング等によって判定し、図８と同様の方法で制御対象を決定するとよい。
【符号の説明】
【０１０２】
１…車載白線認識装置、１０…車載カメラ、２０…画像処理装置、３０…白線候補抽出部、４０…白線特徴算出部、５０…特徴抽出部、６０…白線特徴統合部、７０…複合線判定部、８０…制御対象白線選択部、１３０…領域、１６０…実線、１６２…破線、１６４…白線
【特許請求の範囲】
【請求項１】
車両周囲の画像を取得する車載カメラと、
前記車載カメラで取得した画像から画像処理により白線を抽出する白線抽出手段と、
前記白線抽出手段により抽出された白線が、所定の距離内に存在する複数の白線からなる複合線を構成する白線であるか否かを判定する複合線判定手段と、
前記白線抽出手段により抽出された前記白線を、少なくとも、実線，長さが所定の閾値以上の破線である長破線，長さが前記所定の閾値未満の破線である短破線，のいずれかとして判定する線種類判定手段と、
前記白線抽出手段により抽出された白線の中から、所定の制御の対象となる白線を選択する制御線選択手段と、を備え、
前記制御線選択手段は、前記複合線判定手段により複合線を構成すると判定された白線に対しては、前記線種類判定手段により前記実線または前記長破線と判定された白線を、前記短破線として判定された白線よりも優先的に前記制御の対象となる白線として選択する
ことを特徴とする車載白線認識装置。
【請求項２】
前記白線抽出手段は、前記車載カメラで取得した画像からエッジ点を検出し、当該エッジ点をハフ変換することにより得られた直線に基づいて白線を抽出するものであり、
前記線種類判定手段は、前記白線抽出手段により抽出された白線に対応するハフ変換の投票数の時間変化が所定の閾値よりも大きい場合に、当該白線を前記長破線と判定する
ことを特徴とする請求項１に記載の車載白線認識装置。
【請求項３】
車両周囲の画像を取得する車載カメラと、
前記車載カメラで取得した画像から画像処理により白線を抽出する白線抽出手段と、
前記白線抽出手段により抽出された白線が、所定の距離内に存在する複数の白線からなる複合線を構成する白線であるか否かを判定する複合線判定手段と、
前記白線抽出手段により抽出された前記白線を、少なくとも、実線，長さが所定の閾値以上の破線である長破線，長さが前記所定の閾値未満の破線である短破線，のいずれかとして判定する線種類判定手段と、
前記白線抽出手段により抽出された白線の中から、所定の制御の対象となる白線を選択する制御線選択手段と、を備え、
前記制御線選択手段は、前記車両の左右において最も車両中心側にて抽出された白線それぞれが、前記複合線判定手段により複合線を構成する白線であると判定され、かつ前記線種類判定手段によって短破線であると判定された場合には、当該短破線として判定された白線が構成する複合線の中から当該白線を除く白線を、前記短破線として判定された白線よりも優先的に前記制御の対象となる白線として選択する
ことを特徴とする車載白線認識装置。
【請求項４】
車両周囲の画像を取得する車載カメラと、
前記車載カメラで取得した画像から画像処理により白線を抽出する白線抽出手段と、
パターンマッチングのための複数のテンプレートを準備しており、前記白線抽出手段によって抽出された白線に対して前記テンプレートそれぞれによるパターンマッチングを行い、前記テンプレートにマッチングするか否かに応じて、少なくとも何重の複合線を構成する白線であるかを示す複合線の種類それぞれに対する当該白線の確からしさを示すパラメータを出力し、前記複数のテンプレートそれぞれについて出力された前記パラメータを統合し、その統合した結果に基づいて複合線の種類を判定する複合線判定手段と、を備える
ことを特徴とする車載白線認識装置。
【請求項５】
前記複数のテンプレートは、前記複合線の種類それぞれに、前記複数のテンプレートにおける少なくとも１つが対応するように準備されている
ことを特徴とする請求項４に記載の車載白線認識装置。
【請求項６】
前記白線抽出手段により抽出された白線の太さの時間変化を測定し、当該白線の太さが所定の周期で相対的に太い状態と細い状態とを変動する場合には、前記抽出された白線を、破線と実線とからなる２つの白線として分割する分割手段を備え、
前記線種類判定手段は、前記白線の太さが前記太い状態として測定される期間が所定の閾値より大きい場合に、前記分割された破線が前記長破線であると判定する
ことを特徴とする請求項１に記載の車載白線認識装置。
【請求項１】
車両周囲の画像を取得する車載カメラと、
前記車載カメラで取得した画像から画像処理により白線を抽出する白線抽出手段と、
前記白線抽出手段により抽出された白線が、所定の距離内に存在する複数の白線からなる複合線を構成する白線であるか否かを判定する複合線判定手段と、
前記白線抽出手段により抽出された前記白線を、少なくとも、実線，長さが所定の閾値以上の破線である長破線，長さが前記所定の閾値未満の破線である短破線，のいずれかとして判定する線種類判定手段と、
前記白線抽出手段により抽出された白線の中から、所定の制御の対象となる白線を選択する制御線選択手段と、を備え、
前記制御線選択手段は、前記複合線判定手段により複合線を構成すると判定された白線に対しては、前記線種類判定手段により前記実線または前記長破線と判定された白線を、前記短破線として判定された白線よりも優先的に前記制御の対象となる白線として選択する
ことを特徴とする車載白線認識装置。
【請求項２】
前記白線抽出手段は、前記車載カメラで取得した画像からエッジ点を検出し、当該エッジ点をハフ変換することにより得られた直線に基づいて白線を抽出するものであり、
前記線種類判定手段は、前記白線抽出手段により抽出された白線に対応するハフ変換の投票数の時間変化が所定の閾値よりも大きい場合に、当該白線を前記長破線と判定する
ことを特徴とする請求項１に記載の車載白線認識装置。
【請求項３】
車両周囲の画像を取得する車載カメラと、
前記車載カメラで取得した画像から画像処理により白線を抽出する白線抽出手段と、
前記白線抽出手段により抽出された白線が、所定の距離内に存在する複数の白線からなる複合線を構成する白線であるか否かを判定する複合線判定手段と、
前記白線抽出手段により抽出された前記白線を、少なくとも、実線，長さが所定の閾値以上の破線である長破線，長さが前記所定の閾値未満の破線である短破線，のいずれかとして判定する線種類判定手段と、
前記白線抽出手段により抽出された白線の中から、所定の制御の対象となる白線を選択する制御線選択手段と、を備え、
前記制御線選択手段は、前記車両の左右において最も車両中心側にて抽出された白線それぞれが、前記複合線判定手段により複合線を構成する白線であると判定され、かつ前記線種類判定手段によって短破線であると判定された場合には、当該短破線として判定された白線が構成する複合線の中から当該白線を除く白線を、前記短破線として判定された白線よりも優先的に前記制御の対象となる白線として選択する
ことを特徴とする車載白線認識装置。
【請求項４】
車両周囲の画像を取得する車載カメラと、
前記車載カメラで取得した画像から画像処理により白線を抽出する白線抽出手段と、
パターンマッチングのための複数のテンプレートを準備しており、前記白線抽出手段によって抽出された白線に対して前記テンプレートそれぞれによるパターンマッチングを行い、前記テンプレートにマッチングするか否かに応じて、少なくとも何重の複合線を構成する白線であるかを示す複合線の種類それぞれに対する当該白線の確からしさを示すパラメータを出力し、前記複数のテンプレートそれぞれについて出力された前記パラメータを統合し、その統合した結果に基づいて複合線の種類を判定する複合線判定手段と、を備える
ことを特徴とする車載白線認識装置。
【請求項５】
前記複数のテンプレートは、前記複合線の種類それぞれに、前記複数のテンプレートにおける少なくとも１つが対応するように準備されている
ことを特徴とする請求項４に記載の車載白線認識装置。
【請求項６】
前記白線抽出手段により抽出された白線の太さの時間変化を測定し、当該白線の太さが所定の周期で相対的に太い状態と細い状態とを変動する場合には、前記抽出された白線を、破線と実線とからなる２つの白線として分割する分割手段を備え、
前記線種類判定手段は、前記白線の太さが前記太い状態として測定される期間が所定の閾値より大きい場合に、前記分割された破線が前記長破線であると判定する
ことを特徴とする請求項１に記載の車載白線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図８】
【図９】
【図１０】
【図１１】
【図６】
【図７】
【公開番号】特開２０１３−１２０４４（Ｐ２０１３−１２０４４Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４４４０４（Ｐ２０１１−１４４４０４）
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]