車載白線認識装置
【課題】消し跡線等を真の白線と区別して除外することができる車載白線認識装置を提供すること。
【解決手段】車両周囲の画像を取得する車載カメラ１０と、前記車載カメラ１０で取得した画像から画像処理により白線候補を抽出する白線候補抽出手段３０と、前記白線候補の白線らしさの確信度を算出する確信度算出手段４０と、前記確信度算出手段４０が算出した確信度に基づき、認識する白線を選択する白線選択手段５０、６０とを備え、所定範囲内に第１の白線候補及び第２の白線候補が存在し、且つ前記第２の白線候補のコントラストに対する前記第１の白線候補のコントラストの比率が所定値以下であるという条件が成立する場合、前記確信度算出手段４０は、前記条件が成立しない場合よりも、前記第１の白線候補の前記確信度を低くすることを特徴とする車載白線認識装置１。
【解決手段】車両周囲の画像を取得する車載カメラ１０と、前記車載カメラ１０で取得した画像から画像処理により白線候補を抽出する白線候補抽出手段３０と、前記白線候補の白線らしさの確信度を算出する確信度算出手段４０と、前記確信度算出手段４０が算出した確信度に基づき、認識する白線を選択する白線選択手段５０、６０とを備え、所定範囲内に第１の白線候補及び第２の白線候補が存在し、且つ前記第２の白線候補のコントラストに対する前記第１の白線候補のコントラストの比率が所定値以下であるという条件が成立する場合、前記確信度算出手段４０は、前記条件が成立しない場合よりも、前記第１の白線候補の前記確信度を低くすることを特徴とする車載白線認識装置１。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援等のために、車両が走行している道路上の白線を認識する車載白線認識装置に関する。
【背景技術】
【０００２】
従来、運転支援装置としての車線逸脱警報装置に用いられ、道路上の白線を認識する車載白線認識装置が知られている（特許文献１参照）。
上記の車線逸脱警報装置は、車両周囲の画像を取得する車載カメラ、その画像を処理する画像処理部、及び警報生成部によって構成されている。画像処理部では、車載カメラから得られる画像から、白線を検出・推定する。警報生成部では、白線の自車からの左右における距離を計算し、いずれかが閾値以下の場合、つまり、自車が白線に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える。
【０００３】
この車線逸脱警報装置で最も問題となるのは、さまざまなノイズ要因による白線の誤検出である。ノイズ要因としては、例えば、路面上の汚れ、道路上のペイント、水溜り等による道路面の反射、自車の影、追越車両の影、後続車両の影等がある。
【０００４】
これらのノイズを排除し、真の白線のみを抽出するための技術が種々提案されている。具体的には、車載カメラで取得した画像から、画像認識によって白線候補を抽出し、各白線候補の確信度を算出してその確信度が最も高い白線候補を選ぶ方法が提案されている。特許文献１では、確信度の算出方法として、白線候補とその周囲との輝度のコントラスト等から確信度を算出する方法が挙げられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１８１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、白線候補とその周囲との輝度のコントラストのみから確信度を算出する方法では、消し跡線（白線を消したが、その跡が残っているもの）等の誤検出が抑えられない場合がある。例えば、以下のような場合がある。
【０００７】
通常の白線と路面とのコントラストの比率は、４００％程度であるが、所によっては、１５０％ほどの場合もある。そのため、上記のコントラスト比が１５０％以上であれは、その白線候補の確信度を高めるようにする。ところが、白線の消し跡は、上記のコントラスト比が１６０程度％になることがあり、この場合、消し跡の確信度が高められ、結果として、消し跡が白線として誤認識されてしまう。
【０００８】
本発明は以上の点に鑑みなされたものであり、消し跡線等を真の白線と区別して除外することができる車載白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の車載白線認識装置は、車両周囲の画像を取得する車載カメラと、車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、白線候補の白線らしさの確信度を算出する確信度算出手段と、確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段とを備え、所定範囲内に第１の白線候補及び第２の白線候補が存在し、且つ第２の白線候補のコントラストに対する第１の白線候補のコントラストの比率が所定値以下であるという条件が成立する場合、その条件が成立しない場合よりも、第１の白線候補の確信度を低くする。
【００１０】
そのことにより、例えば、図６（ｂ）に示すように、白線２０１の近傍に白線の消し跡２０２が存在し、白線２０１に対する消し跡２０２のコントラスト比が所定値以下である場合、消し跡２０２の確信度を下げ、消し跡２０２を白線として誤認識することを防止できる。
【００１１】
また、図６（ａ）に示すように、真の白線２０３、２０４が隣接しており、それらのコントラスト比が所定値を超える場合は、白線２０３、２０４の確信度を下げることがなく、それらを正しく認識できる。
【００１２】
さらに、白線候補間のコントラスト比が所定値以下であっても、図６（ｃ）に示すように、白線２０５、２０６間の距離が大きく、所定範囲内にない場合は、白線２０５、２０６の確信度を下げることがなく、それらを正しく認識できる。
【００１３】
本発明の車載白線認識装置は、確信度算出手段を複数備え、白線選択手段は、複数の確信度算出手段がそれぞれ算出した確信度を乗算することで統合して尤度を算出し、尤度が最大である白線候補を選択するものであることが好ましい。
【００１４】
この場合、車載白線認識装置では、確信度算出手段の種類がどのようなものであっても、それらを容易に組み合わせて尤度を求め、その尤度に基づいて白線候補を選択することができる。従って、確信度算出手段を改良したり、新たな確信度算出手段を追加したりした場合であっても、それら複数の処理を容易に統合できる。
【００１５】
本発明の車載白線認識装置は、複数の確信度算出手段のうちの１つとして、道路（白線候補の部分を除く）に対する白線候補のコントラストの比率に基づき、確信度を算出する確信度算出手段を備えることが好ましい。こうすることにより、消し跡等の白線候補が、他の白線候補から遠く離れている場合でも、その白線候補の確信度を下げることができる。
【００１６】
前記所定範囲内とは、例えば、第２の白線候補から第１の白線候補までの距離が所定値以下であることである。この距離における所定値は、消し跡等は排除でき、真の白線は排除してしまうことがないように、適宜設定できる。図６（ｂ）に示すように、第１の白線候補（消し跡２０２）の長手方向と、第２の白線候補（白線２０１）の長手方向とが略平行である場合、上述した距離とは、それらの間隔である。また、第１の白線候補の長手方向と、第２の白線候補の長手方向とが平行でない場合、上述した距離とは、それらの最短距離、又は平均距離とすることができる。
【００１７】
本発明の車載白線認識装置は、例えば、車線逸脱警報装置に適用することができる。その車線逸脱警報装置は、車載白線認識装置で認識した白線に基づき、白線の自車からの左右における距離を計算し、いずれかが閾値以下の場合、つまり、自車が白線に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える。
【００１８】
また、車載白線認識装置で認識した一対の平行な白線に基づいてＦＯＥ（消失点）を算出し、そのＦＯＥを、歩行者等の認識に利用することができる。
【図面の簡単な説明】
【００１９】
【図１】車載白線認識装置１の概略の構成を表す機能ブロック図である。
【図２】車両における車載カメラ１０の位置を表す説明図である。
【図３】画像処理部２０の概略の機能構成を示す機能ブロック図である。
【図４】確信度の設定条件を表すグラフである。
【図５】確信度の設定条件を表すグラフである。
【図６】（ａ）は道路上に真の白線２０３、２０４が存在する例を表す説明図であり、（ｂ）は道路上に真の白線２０１と消し跡２０２が存在する例を表す説明図であり、（ｃ）は車線の両側にそれぞれ真の白線２０５、２０６が存在する例を表す説明図である。
【図７】道路上に影による白線候補がある画像である。
【図８】道路上に消し跡による白線候補がある画像である。
【図９】車線の両側にそれぞれ真の白線に対応する白線候補がある画像である。
【発明を実施するための形態】
【００２０】
本発明の実施形態を図面に基づいて説明する。
［第１実施形態］
１．車載白線認識装置１の構成及び作用
車載白線認識装置１の構成及び作用を図１〜図５に基づいて説明する。図１は、本発明が適用された車載白線認識装置１の概略の構成を示すブロック図であり、図２は、車両における車載カメラ１０の位置を表す説明図であり、図３は、画像処理部２０の概略の機能構成を示す機能ブロック図であり、図４、５は後述する確信度の設定条件を表すグラフである。
【００２１】
車載白線認識装置１は、図１に示すように、車両周囲の画像を取得する車載カメラ１０と車載カメラ１０で取得した車両周囲の画像を画像処理する画像処理装置２０とを備えている。
【００２２】
画像処理装置２０は、図３に示すように、複数のＤＳＰ３０〜１１０、ＤＳＰ３０〜１１０の間のデータ伝送のためのＢＵＳ１２０及び図示しないＲＯＭ、ＲＡＭ及びＩ／Ｏを備えている。
【００２３】
ＤＳＰ３０は、車載カメラ１０で取得した画像から画像処理により道路上の白線候補を抽出する白線候補抽出を行うＤＳＰであり、以下、このＤＳＰ３０を白線候補抽出部３０と呼ぶ。
【００２４】
具体的には、車載カメラ１０で取得した画像から、公知の画像処理であるパターンマッチング、直線抽出ハフ変換処理における投票数（実線・破線判定結果）などにより、道路上の白線らしきもの（白線候補）を抽出する。なお、白線候補は、１フレームの画像において複数抽出される場合もある。
【００２５】
ＤＳＰ４０は、白線候補抽出部３０で抽出した白線候補について、白線らしさの確信度を算出するＤＳＰであり、以下、このＤＳＰ４０を白線特徴算出部４０と呼ぶ。なお、確信度は、０.０１〜１の範囲内で設定される数値（尤度）であって、白線特徴算出部４０が、後述する（１）〜（９）の各処理ごとに設定する。よって、１つの白線候補について、複数の確信度が設定される。白線特徴算出部４０が実行する（１）〜（９）の各処理は、それぞれ、以下のとおりである。
（１）画像における所定範囲内に、白線候補抽出部３０で抽出した２つの白線候補（以下、第１の白線候補及び第２の白線候補とする）が存在し、且つ第２の白線候補のコントラストに対する第１の白線候補のコントラストの比率（以下、白線候補間コントラスト比とする）が５０％以下であるという条件が成立する場合、第１の白線候補の白線らしさの確信度を下げる。このとき、具体的には、図４に示すように、確信度を設定する。図４において、横軸は白線候補間コントラスト比であり、縦軸は設定される確信度である。白線候補間コントラスト比が５０％を超える場合、確信度は０．５０で一定である。白線候補間コントラスト比が４０％から５０％までの間の場合、確信度は、白線候補間コントラスト比が低下するのに伴い（比例して）、下がる。白線候補間コントラスト比が４０％以下の場合、確信度は０．１０で一定である。
【００２６】
上述した条件が成立する場合、白線候補間コントラスト比は５０％以下であるから、確信度は０．５０より小さくなる。一方、上述した条件が成立しない場合（白線候補間コントラスト比が５０％以上であるか、白線候補同士の間隔が広い場合）、確信度は０．５０である。
【００２７】
道路上で消し跡線等が、真の白線の近傍に存在し、その消し跡線等が白線候補として抽出されることがある。消し跡線等のコントラストが比較的高い場合、そのコントラストのみによる判断では、消し跡線と真の白線とを識別できない。
【００２８】
しかしながら、消し跡線等の近傍に、それよりも遥かにコントラストが高い（例えば消し跡線等の２倍以上のコントラストを持つ）白線候補があれば、消し跡線等は、真の白線ではないと判断できる。この処理では、上記の理論を利用して、白線候補のうち、消し跡線等である可能性が高いものの確信度を下げる。
（２）白線候補の周囲の路面（白線候補の部分を除く）に対する、白線候補のコントラストの比率（以下、白線候補自体のコントラスト比とする）に基づき、確信度を算出する。
【００２９】
具体的には、図５に示すように、白線候補自体のコントラスト比が１５０％より低ければ、確信度を下げる。図５において、横軸は白線候補自体のコントラスト比であり、縦軸は設定される確信度である。
（３）白線らしさを示す特徴として、白線候補抽出部３０で抽出した白線候補の内部輝度分散又は内部エッジ量のいずれかを用いる。
【００３０】
白線は、通常白色であり、車両のヘッドライトや街路灯などの照明装置から照射される光を乱反射するようになっているので、道路面に比べて輝度分散の値が大きい。
また、内部エッジ量の大小は、その領域の平坦度を示している。つまり、平坦度が大きければ、その領域にはエッジとなる部分が少ないということであるので、内部エッジ量が小さければ平坦度が大きく、逆に内部エッジ量が多ければ平坦度が小さくなる。白線は、道路面に比べ平坦度が大きいため内部エッジ量が少ない。
【００３１】
従って、白線候補の内部輝度分散又は内部エッジ量を算出し、算出した内部輝度分散又は内部エッジ量に応じて、確信度を設定し（内部輝度分散が大きければ確信度を大きくし、内部エッジ量が小さければ確信度を大きくする。）、出力するようにするのである。
（４）白線らしさを示す特徴として、白線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いる。
【００３２】
白線は、通常道路上に一方向に描かれている（道路がカーブしていても、曲率が比較的小さいため、車載カメラ１０で取得した画像の範囲では一方向に描かれているものとみなすことができる。）ので、道路面に比べ、白線のエッジ方向の分散は大きくなる。また、白線は線分であるので、エッジ方向のヒストグラムの比率や大きさが道路面に比べて大きい。
【００３３】
従って、白線らしさを示す情報として、白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさを用いることができる。
従って、白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさを算出し、算出した白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさに応じて確信度を設定し（白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさが大きければ確信度を大きくし、小さければ確信度を小さくする。）、出力するようにするのである。
（５）道路面特徴抽出部７０で抽出した白線候補自体の模様又は平均輝度の差が所定の値以下の場合には、その白線候補の確信度を下げる。
【００３４】
具体的には、道路面上には、道路側部のガードレールなどにより影が映り込む場合がある。例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り、白線のように見える場合がある。他にも黒いコールタールによる補修跡で囲まれた領域が直線状に映る場合がある。
【００３５】
これら道路上の影や補修跡で囲まれた領域と白線とを識別するには、領域と白線候補との模様や平均輝度を比較すればよい。そこで、道路面特徴抽出部７０で抽出した領域と白線候補との模様の差が大きければ両者は異なるものとして確信度を上げ、平均輝度の差が小さければ両者が一致するとして、その白線候補の確信度を下げるのである。
（６）エッジ特徴抽出部８０で抽出したエッジ総量の差が所定の値以下の場合には、白線候補の確信度を下げる。
【００３６】
白線がかすれなどによって、道路面との輝度差が低くなった場合であっても、人間の目では白線らしくシミのように見える。これは、道路上に全く模様がない場合にはシミが強調して見えるという人間の感性によるものである。
【００３７】
そこで、エッジ特徴抽出部８０で抽出した、白線候補に囲まれる領域と白線のエッジ総量の差が所定の値以下の場合には、その白線候補の確信度を下げるのである。
（７）筋模様検出部９０で筋状の模様が検出された場合には、確信度を下げる。
【００３８】
車両のスリップ防止のため道路上に縦筋が刻まれている場合がある。その場合、道路上に刻まれている縦筋は道路面に比べ輝度が低い（暗い）が、縦筋端の輝度は白線端と差がない場合がある。そこで、筋模様検出部９０で白線候補上に筋模様が検出された場合には、その白線候補の確信度を下げるのである。
（８）交通標識検出部１００で交通標識が検出された場合には、確信度を下げる。
【００３９】
道路上には、白線の他に、矢印、制限速度、止まれ文字などの交通標識や横断歩道などが描かれている。従って、交通標識検出部１００により、白線候補の位置に交通標識等が検出されたときは、その白線候補の確信度を下げるのである。
（９）ペア白線候補検出部１１０によって、車両進行方向に対して車両の両側方で一対となる白線候補を検出した場合には、検出した一対の白線候補の内側の領域に存在する白線候補の確信度を下げる。
【００４０】
道路上の白線は、車両が走行している場合には、車両進行方向に対して車両の両側に存在する。従って、ペア白線候補検出部１１０で、白線候補のうち車両進行方向に対して車両の両側方で一対となるものを検出した場合、その一対の白線候補の確信度を上げるのである。
【００４１】
ＤＳＰ５０は、上記（１）〜（９）においてそれぞれ算出されて出力される確信度を乗算して統合することにより白線らしさを示す尤度を出力するＤＳＰであり、以下、このＤＳＰ５０を白線特徴統合部５０と呼ぶ。
【００４２】
白線特徴統合部５０における統合処理はベイズ推定のフレームワークに基づき、確信度の乗算による統合から判定する。例えば、白線特徴算出部４０の（１）〜（９）に示した処理のうちの２つによって算出した白線らしさの確信度Ａ、Ｂがそれぞれ０．６、０．７であった場合、統合した尤度は、（０．６＊０．７）/（０．６＊０．７＋０．４＊０．３）＝０．７８となる。
【００４３】
ここで、０．４，０．３はそれぞれＡ、Ｂによる白線らしくなさ（１−０．６、１−０．７）である。
また、白線特徴算出部４０における処理が増えた場合も統合処理の内容は単に尤度統合処理の入力確信度の数が増えるだけで本質的には変わらず、拡張性に富む。これにより、高精度、高ロバスト性を実現しつつ、新たな情報の追加や削除が容易な構造が実現できる。
【００４４】
ＤＳＰ６０は、白線特徴統合部５０が出力する尤度のうち最大の尤度を有する白線候補を道路上の白線として選択するＤＳＰであり、以下、このＤＳＰ６０を白線選択部６０と呼ぶ。
【００４５】
白線特徴統合部５０では、白線候補に対して「白線らしさ」が統合された尤度として出力されるので、白線選択部６０では、その統合された尤度が最大となっている白線を道路上の白線として選択するのである。
【００４６】
ＤＳＰ７０は、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体の模様又は平均輝度を含む特徴を抽出するＤＳＰであり、以下、このＤＳＰ７０を道路面特徴抽出部７０と呼ぶ。
【００４７】
例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り、白線のように見える場合やコールタールによる補修跡で囲まれた領域が直線状に映る場合があるので、パターンマッチングや輝度の差などにより領域と白線との模様を抽出する。
【００４８】
ＤＳＰ８０は、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体のエッジ総量を抽出するＤＳＰであり、以下、このＤＳＰ８０をエッジ特徴抽出部８０と呼ぶ。
【００４９】
エッジ総量は、車載カメラ１０を二値化して得られた二値化画像からエッジを抽出し、抽出したエッジの数を合計することによって得られる。
ＤＳＰ９０は、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向のエッジ量が所定の値以上の筋状の模様を検出するＤＳＰであり、以下、このＤＳＰ９０を筋模様検出部９０と呼ぶ。
【００５０】
車両のスリップ防止のため道路上に刻まれている縦筋は道路面に比べ輝度が低い（暗い）が、縦筋端の輝度は白線端と差がない場合がある。そこで、車載カメラ１０で取得した画像の二値化画像からエッジ量を算出し、白線候補の車両進行方向の近傍の領域の道路上の車両進行方向のエッジ量が所定の値以上のものを筋状の模様として検出するのである。
【００５１】
ＤＳＰ１００は、車載カメラ１０で取得した画像から道路上に描かれている交通標識を検出するＤＳＰであり、以下、このＤＳＰ１００を交通標識検出部１００と呼ぶ。
交通標識検出部１００では、道路上に描かれている交通標識をパターンマッチングにより検出する。検出する交通標識としては、矢印、制限速度、止まれ文字など道路面上に描かれている交通標識以外にも横断歩道などがある。
【００５２】
ＤＳＰ１１０は、白線候補抽出部３０で抽出した白線候補のうち、車両進行方向に対して車両の両側方で一対となる白線候補の有無を検出するＤＳＰであり、以下、このＤＳＰ１１０をペア白線候補検出部１１０と呼ぶ。
【００５３】
道路上の白線は、車両が走行している場合には、車両進行方向に対して車両の両側に存在する。従って、ペア白線候補検出部１１０では、白線候補抽出部３０で抽出した白線候補のうち車両進行方向に対して車両の両側方で一対となる白線を画像中の車両位置に対する相対位置から検出するのである。
【００５４】
２．車載白線認識装置１が奏する効果
(i) 車載白線認識装置１は、上述したように、画像における所定範囲内に、第１の白線候補及び第２の白線候補が存在し、且つ白線候補間コントラスト比が５０％以下であるという条件が成立する場合、第１の白線候補の白線らしさの確信度を下げる。
【００５５】
そのことにより、例えば、図６（ｂ）に示すように、白線２０１の近傍に白線の消し跡２０２が存在し、消し跡２０２のコントラストが白線２０１のコントラストより顕著に低い場合、消し跡２０２の確信度を下げ、消し跡２０２を白線として誤認識することを防止できる。
【００５６】
また、図６（ａ）に示すように、真の白線２０３、２０４が隣接しており、それらの白線候補間コントラスト比が５０％以上である場合は、白線２０３、２０４の確信度を下げることがなく、それらを正しく認識できる。
【００５７】
さらに、白線候補間コントラスト比が５０％以下であっても、図６（ｃ）に示すように、白線２０５、２０６間の距離が大きく、所定範囲内にない場合は、白線２０５、２０６の確信度を下げることがなく、それらを正しく認識できる。
【００５８】
車載白線認識装置１は、具体的には、図７に示すような、真の白線に対応する白線候補の近傍に、影に対応する白線候補が存在する場合、影に対応する白線候補の確信度を下げ、それを白線として誤認識することを防止できる。
【００５９】
また、図８に示すような、真の白線に対応する白線候補の近傍に、消し跡線に対応する白線候補が存在する場合、消し跡線に対応する白線候補の確信度を下げ、それを白線として誤認識することを防止できる。
【００６０】
なお、車載白線認識装置１は、たとえ、白線候補間コントラスト比が５０％以下であったとしても、図９に示すように、白線候補が離れている場合は、それらの確信度を下げない。そのことにより、真の白線が薄れている場合でも、それを認識することができる。
【００６１】
(ii)車載白線認識装置１では、複数種類の白線特徴に関する確信度を統合して尤度を算出する。そのため、白線特徴算出部４０の種類がどのようなものであっても、換言すれば、どのような処理内容によって算出された確信度であっても、それらを容易に組み合わせて尤度を求め、その尤度に基づいて白線候補を選択することができる。
【００６２】
従って、白線特徴算出部４０を改良したり、新たな機能の処理を追加したりした場合であっても、それら複数の処理を容易に統合できるようになっている。
(iii)車載白線認識装置１は、道路（白線候補の部分を除く）に対する白線候補のコントラストの比率に基づき、確信度を算出することができる。こうすることにより、消し跡等の白線候補（ただし、その白線候補自体のコントラストが十分低いものに限る）が、他の白線候補から遠く離れている場合でも、その白線候補の確信度を下げることができる。
(iv)白線特徴算出部４０は、白線らしさを示す特徴として、白線候補抽出部３０で抽出した白線候補の輝度分散又は白線の内部エッジ量のうち少なくとも１つを用いているので、輝度分散により輝度の差異を求めることができ、内部エッジ量により模様平坦度の差異を求めることができる。
【００６３】
つまり、輝度や模様平坦度が異なるガードレールや道路上の傷、補修跡と白線との差異を求めることができるので、より正確な白線らしさの確信度を得ることができる。
また、白線特徴算出部４０は、白線らしさを示す特徴として、白線候補抽出部３０で抽出した白線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いている。
【００６４】
従って、道路上の白線がかすれて消えかかっているような場合や、白線がかすれて細くなっているような場合でも、白線のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかによって白線とかすれ線や道路面補修跡との差異を求めることができる。従って、より正確な白線らしさの確信度を得ることができる。
【００６５】
また、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体の模様又は平均輝度を含む特徴を抽出する道路面特徴抽出部７０を備え、白線特徴算出部４０は、道路面特徴抽出部７０で抽出した白線候補自体の模様又は平均輝度の差が所定の値以下の場合には、白線候補の白線らしさの確信度を下げている。
【００６６】
従って、路側のガードレールなどによる影や道路面補修跡のように、輝度や模様が白線と異なるものがある場合には、その確信度を下げることができるので、白線認識の精度を上げることができる。
【００６７】
また、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体のエッジ総量を抽出するエッジ特徴抽出部８０を備え、白線特徴算出部４０、エッジ特徴抽出部８０で抽出したエッジ総量の差が所定の値以下の場合には、白線候補の白線らしさの確信度を下げるようにしている。
【００６８】
従って、白線がかすれている場合であっても、白線候補としての確信度が下がらないようにすることができる。
また、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向の輝度が所定の値以下の筋状の模様を検出する筋模様検出部９０を備えている。
【００６９】
また、白線特徴算出部４０は、筋模様検出部９０によって筋状の模様（例えば、スリップ防止用の溝）が検出された場合には、白線候補の白線らしさの確信度を下げている。従って、スリップ防止のためコンクリート道路面に縦筋が刻まれている場合には、その縦筋の白線らしさの確信度を下げることができる。
【００７０】
また、車載カメラ１０で取得した画像から道路上に描かれている交通標識を検出する交通標識検出部１００を備え、交通標識検出部１００で白線候補の位置に交通標識が検出された場合、白線特徴算出部４０は、その白線候補の白線らしさの確信度を下げている。従って、道路上に描かれた交通標識の白線らしさの確信度を低くすることができる。
【００７１】
また、白線候補抽出部３０で抽出した白線候補のうち、車両進行方向に対して車両の両側方で一対となる白線候補の有無を検出するペア白線候補検出部１１０を備え、白線特徴算出部４０は、ペア白線候補検出部１１０によって、車両進行方向に対して車両の両側方で一対となる白線候補を検出した場合には、検出した一対の白線候補の内側の領域に存在する白線候補の白線らしさの確信度を下げている。
【００７２】
従って、車両両側面の一対の白線候補の内側の領域に存在する白線候補（例えば、白線の消し跡や中央ライン等）の白線らしさの確信度を下げることができる。
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
【００７３】
例えば、前記実施形態では、種々の処理を複数のＤＳＰに割り当てて実行していたが、ＤＳＰに割り当てることなく１つのＣＰＵにおいてプログラムとして実行してもよい。
また、前記実施形態では、白線特徴算出部４０を１つのＤＳＰで構成していたが、図３に示すような白線特徴算出部４０の内部処理を複数のＤＳＰに割り当てて構成してもよい。このようにすれば、より高速処理が可能となる。
【００７４】
また、白線特徴算出部４０は、前記（１）〜（９）の処理に加えて、又はそのいずれかに代えて、以下の処理を行ってもよい。
（Ａ） 総延長距離
白線候補の長手方向における長さが長いほど、その白線候補の確信度を大きくする。
（Ｂ）複合線パターン
複数の白線候補が、複合線パターンを形成しているか否かをパターンマッチングにより判断する。複合線パターンを形成している場合は、複合線パターンにおける中央の白線候補の確信度を上げ、他の白線候補の確信度を下げる。
【符号の説明】
【００７５】
１・・・車載白線認識装置、１０・・・車載カメラ、２０・・・画像処理装置、
３０・・・白線候補抽出部、４０・・・白線特徴算出部、５０・・・白線特徴統合部、
６０・・・白線選択部、７０・・・道路面特徴抽出部、８０・・・エッジ特徴抽出部、
９０・・・筋模様検出部、１００・・・交通標識検出部、
１１０・・・ペア白線候補検出部、２０１、２０３、２０５・・・白線、
２０２・・・消し跡
【技術分野】
【０００１】
本発明は、運転支援等のために、車両が走行している道路上の白線を認識する車載白線認識装置に関する。
【背景技術】
【０００２】
従来、運転支援装置としての車線逸脱警報装置に用いられ、道路上の白線を認識する車載白線認識装置が知られている（特許文献１参照）。
上記の車線逸脱警報装置は、車両周囲の画像を取得する車載カメラ、その画像を処理する画像処理部、及び警報生成部によって構成されている。画像処理部では、車載カメラから得られる画像から、白線を検出・推定する。警報生成部では、白線の自車からの左右における距離を計算し、いずれかが閾値以下の場合、つまり、自車が白線に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える。
【０００３】
この車線逸脱警報装置で最も問題となるのは、さまざまなノイズ要因による白線の誤検出である。ノイズ要因としては、例えば、路面上の汚れ、道路上のペイント、水溜り等による道路面の反射、自車の影、追越車両の影、後続車両の影等がある。
【０００４】
これらのノイズを排除し、真の白線のみを抽出するための技術が種々提案されている。具体的には、車載カメラで取得した画像から、画像認識によって白線候補を抽出し、各白線候補の確信度を算出してその確信度が最も高い白線候補を選ぶ方法が提案されている。特許文献１では、確信度の算出方法として、白線候補とその周囲との輝度のコントラスト等から確信度を算出する方法が挙げられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１８１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、白線候補とその周囲との輝度のコントラストのみから確信度を算出する方法では、消し跡線（白線を消したが、その跡が残っているもの）等の誤検出が抑えられない場合がある。例えば、以下のような場合がある。
【０００７】
通常の白線と路面とのコントラストの比率は、４００％程度であるが、所によっては、１５０％ほどの場合もある。そのため、上記のコントラスト比が１５０％以上であれは、その白線候補の確信度を高めるようにする。ところが、白線の消し跡は、上記のコントラスト比が１６０程度％になることがあり、この場合、消し跡の確信度が高められ、結果として、消し跡が白線として誤認識されてしまう。
【０００８】
本発明は以上の点に鑑みなされたものであり、消し跡線等を真の白線と区別して除外することができる車載白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の車載白線認識装置は、車両周囲の画像を取得する車載カメラと、車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、白線候補の白線らしさの確信度を算出する確信度算出手段と、確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段とを備え、所定範囲内に第１の白線候補及び第２の白線候補が存在し、且つ第２の白線候補のコントラストに対する第１の白線候補のコントラストの比率が所定値以下であるという条件が成立する場合、その条件が成立しない場合よりも、第１の白線候補の確信度を低くする。
【００１０】
そのことにより、例えば、図６（ｂ）に示すように、白線２０１の近傍に白線の消し跡２０２が存在し、白線２０１に対する消し跡２０２のコントラスト比が所定値以下である場合、消し跡２０２の確信度を下げ、消し跡２０２を白線として誤認識することを防止できる。
【００１１】
また、図６（ａ）に示すように、真の白線２０３、２０４が隣接しており、それらのコントラスト比が所定値を超える場合は、白線２０３、２０４の確信度を下げることがなく、それらを正しく認識できる。
【００１２】
さらに、白線候補間のコントラスト比が所定値以下であっても、図６（ｃ）に示すように、白線２０５、２０６間の距離が大きく、所定範囲内にない場合は、白線２０５、２０６の確信度を下げることがなく、それらを正しく認識できる。
【００１３】
本発明の車載白線認識装置は、確信度算出手段を複数備え、白線選択手段は、複数の確信度算出手段がそれぞれ算出した確信度を乗算することで統合して尤度を算出し、尤度が最大である白線候補を選択するものであることが好ましい。
【００１４】
この場合、車載白線認識装置では、確信度算出手段の種類がどのようなものであっても、それらを容易に組み合わせて尤度を求め、その尤度に基づいて白線候補を選択することができる。従って、確信度算出手段を改良したり、新たな確信度算出手段を追加したりした場合であっても、それら複数の処理を容易に統合できる。
【００１５】
本発明の車載白線認識装置は、複数の確信度算出手段のうちの１つとして、道路（白線候補の部分を除く）に対する白線候補のコントラストの比率に基づき、確信度を算出する確信度算出手段を備えることが好ましい。こうすることにより、消し跡等の白線候補が、他の白線候補から遠く離れている場合でも、その白線候補の確信度を下げることができる。
【００１６】
前記所定範囲内とは、例えば、第２の白線候補から第１の白線候補までの距離が所定値以下であることである。この距離における所定値は、消し跡等は排除でき、真の白線は排除してしまうことがないように、適宜設定できる。図６（ｂ）に示すように、第１の白線候補（消し跡２０２）の長手方向と、第２の白線候補（白線２０１）の長手方向とが略平行である場合、上述した距離とは、それらの間隔である。また、第１の白線候補の長手方向と、第２の白線候補の長手方向とが平行でない場合、上述した距離とは、それらの最短距離、又は平均距離とすることができる。
【００１７】
本発明の車載白線認識装置は、例えば、車線逸脱警報装置に適用することができる。その車線逸脱警報装置は、車載白線認識装置で認識した白線に基づき、白線の自車からの左右における距離を計算し、いずれかが閾値以下の場合、つまり、自車が白線に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える。
【００１８】
また、車載白線認識装置で認識した一対の平行な白線に基づいてＦＯＥ（消失点）を算出し、そのＦＯＥを、歩行者等の認識に利用することができる。
【図面の簡単な説明】
【００１９】
【図１】車載白線認識装置１の概略の構成を表す機能ブロック図である。
【図２】車両における車載カメラ１０の位置を表す説明図である。
【図３】画像処理部２０の概略の機能構成を示す機能ブロック図である。
【図４】確信度の設定条件を表すグラフである。
【図５】確信度の設定条件を表すグラフである。
【図６】（ａ）は道路上に真の白線２０３、２０４が存在する例を表す説明図であり、（ｂ）は道路上に真の白線２０１と消し跡２０２が存在する例を表す説明図であり、（ｃ）は車線の両側にそれぞれ真の白線２０５、２０６が存在する例を表す説明図である。
【図７】道路上に影による白線候補がある画像である。
【図８】道路上に消し跡による白線候補がある画像である。
【図９】車線の両側にそれぞれ真の白線に対応する白線候補がある画像である。
【発明を実施するための形態】
【００２０】
本発明の実施形態を図面に基づいて説明する。
［第１実施形態］
１．車載白線認識装置１の構成及び作用
車載白線認識装置１の構成及び作用を図１〜図５に基づいて説明する。図１は、本発明が適用された車載白線認識装置１の概略の構成を示すブロック図であり、図２は、車両における車載カメラ１０の位置を表す説明図であり、図３は、画像処理部２０の概略の機能構成を示す機能ブロック図であり、図４、５は後述する確信度の設定条件を表すグラフである。
【００２１】
車載白線認識装置１は、図１に示すように、車両周囲の画像を取得する車載カメラ１０と車載カメラ１０で取得した車両周囲の画像を画像処理する画像処理装置２０とを備えている。
【００２２】
画像処理装置２０は、図３に示すように、複数のＤＳＰ３０〜１１０、ＤＳＰ３０〜１１０の間のデータ伝送のためのＢＵＳ１２０及び図示しないＲＯＭ、ＲＡＭ及びＩ／Ｏを備えている。
【００２３】
ＤＳＰ３０は、車載カメラ１０で取得した画像から画像処理により道路上の白線候補を抽出する白線候補抽出を行うＤＳＰであり、以下、このＤＳＰ３０を白線候補抽出部３０と呼ぶ。
【００２４】
具体的には、車載カメラ１０で取得した画像から、公知の画像処理であるパターンマッチング、直線抽出ハフ変換処理における投票数（実線・破線判定結果）などにより、道路上の白線らしきもの（白線候補）を抽出する。なお、白線候補は、１フレームの画像において複数抽出される場合もある。
【００２５】
ＤＳＰ４０は、白線候補抽出部３０で抽出した白線候補について、白線らしさの確信度を算出するＤＳＰであり、以下、このＤＳＰ４０を白線特徴算出部４０と呼ぶ。なお、確信度は、０.０１〜１の範囲内で設定される数値（尤度）であって、白線特徴算出部４０が、後述する（１）〜（９）の各処理ごとに設定する。よって、１つの白線候補について、複数の確信度が設定される。白線特徴算出部４０が実行する（１）〜（９）の各処理は、それぞれ、以下のとおりである。
（１）画像における所定範囲内に、白線候補抽出部３０で抽出した２つの白線候補（以下、第１の白線候補及び第２の白線候補とする）が存在し、且つ第２の白線候補のコントラストに対する第１の白線候補のコントラストの比率（以下、白線候補間コントラスト比とする）が５０％以下であるという条件が成立する場合、第１の白線候補の白線らしさの確信度を下げる。このとき、具体的には、図４に示すように、確信度を設定する。図４において、横軸は白線候補間コントラスト比であり、縦軸は設定される確信度である。白線候補間コントラスト比が５０％を超える場合、確信度は０．５０で一定である。白線候補間コントラスト比が４０％から５０％までの間の場合、確信度は、白線候補間コントラスト比が低下するのに伴い（比例して）、下がる。白線候補間コントラスト比が４０％以下の場合、確信度は０．１０で一定である。
【００２６】
上述した条件が成立する場合、白線候補間コントラスト比は５０％以下であるから、確信度は０．５０より小さくなる。一方、上述した条件が成立しない場合（白線候補間コントラスト比が５０％以上であるか、白線候補同士の間隔が広い場合）、確信度は０．５０である。
【００２７】
道路上で消し跡線等が、真の白線の近傍に存在し、その消し跡線等が白線候補として抽出されることがある。消し跡線等のコントラストが比較的高い場合、そのコントラストのみによる判断では、消し跡線と真の白線とを識別できない。
【００２８】
しかしながら、消し跡線等の近傍に、それよりも遥かにコントラストが高い（例えば消し跡線等の２倍以上のコントラストを持つ）白線候補があれば、消し跡線等は、真の白線ではないと判断できる。この処理では、上記の理論を利用して、白線候補のうち、消し跡線等である可能性が高いものの確信度を下げる。
（２）白線候補の周囲の路面（白線候補の部分を除く）に対する、白線候補のコントラストの比率（以下、白線候補自体のコントラスト比とする）に基づき、確信度を算出する。
【００２９】
具体的には、図５に示すように、白線候補自体のコントラスト比が１５０％より低ければ、確信度を下げる。図５において、横軸は白線候補自体のコントラスト比であり、縦軸は設定される確信度である。
（３）白線らしさを示す特徴として、白線候補抽出部３０で抽出した白線候補の内部輝度分散又は内部エッジ量のいずれかを用いる。
【００３０】
白線は、通常白色であり、車両のヘッドライトや街路灯などの照明装置から照射される光を乱反射するようになっているので、道路面に比べて輝度分散の値が大きい。
また、内部エッジ量の大小は、その領域の平坦度を示している。つまり、平坦度が大きければ、その領域にはエッジとなる部分が少ないということであるので、内部エッジ量が小さければ平坦度が大きく、逆に内部エッジ量が多ければ平坦度が小さくなる。白線は、道路面に比べ平坦度が大きいため内部エッジ量が少ない。
【００３１】
従って、白線候補の内部輝度分散又は内部エッジ量を算出し、算出した内部輝度分散又は内部エッジ量に応じて、確信度を設定し（内部輝度分散が大きければ確信度を大きくし、内部エッジ量が小さければ確信度を大きくする。）、出力するようにするのである。
（４）白線らしさを示す特徴として、白線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いる。
【００３２】
白線は、通常道路上に一方向に描かれている（道路がカーブしていても、曲率が比較的小さいため、車載カメラ１０で取得した画像の範囲では一方向に描かれているものとみなすことができる。）ので、道路面に比べ、白線のエッジ方向の分散は大きくなる。また、白線は線分であるので、エッジ方向のヒストグラムの比率や大きさが道路面に比べて大きい。
【００３３】
従って、白線らしさを示す情報として、白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさを用いることができる。
従って、白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさを算出し、算出した白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさに応じて確信度を設定し（白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさが大きければ確信度を大きくし、小さければ確信度を小さくする。）、出力するようにするのである。
（５）道路面特徴抽出部７０で抽出した白線候補自体の模様又は平均輝度の差が所定の値以下の場合には、その白線候補の確信度を下げる。
【００３４】
具体的には、道路面上には、道路側部のガードレールなどにより影が映り込む場合がある。例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り、白線のように見える場合がある。他にも黒いコールタールによる補修跡で囲まれた領域が直線状に映る場合がある。
【００３５】
これら道路上の影や補修跡で囲まれた領域と白線とを識別するには、領域と白線候補との模様や平均輝度を比較すればよい。そこで、道路面特徴抽出部７０で抽出した領域と白線候補との模様の差が大きければ両者は異なるものとして確信度を上げ、平均輝度の差が小さければ両者が一致するとして、その白線候補の確信度を下げるのである。
（６）エッジ特徴抽出部８０で抽出したエッジ総量の差が所定の値以下の場合には、白線候補の確信度を下げる。
【００３６】
白線がかすれなどによって、道路面との輝度差が低くなった場合であっても、人間の目では白線らしくシミのように見える。これは、道路上に全く模様がない場合にはシミが強調して見えるという人間の感性によるものである。
【００３７】
そこで、エッジ特徴抽出部８０で抽出した、白線候補に囲まれる領域と白線のエッジ総量の差が所定の値以下の場合には、その白線候補の確信度を下げるのである。
（７）筋模様検出部９０で筋状の模様が検出された場合には、確信度を下げる。
【００３８】
車両のスリップ防止のため道路上に縦筋が刻まれている場合がある。その場合、道路上に刻まれている縦筋は道路面に比べ輝度が低い（暗い）が、縦筋端の輝度は白線端と差がない場合がある。そこで、筋模様検出部９０で白線候補上に筋模様が検出された場合には、その白線候補の確信度を下げるのである。
（８）交通標識検出部１００で交通標識が検出された場合には、確信度を下げる。
【００３９】
道路上には、白線の他に、矢印、制限速度、止まれ文字などの交通標識や横断歩道などが描かれている。従って、交通標識検出部１００により、白線候補の位置に交通標識等が検出されたときは、その白線候補の確信度を下げるのである。
（９）ペア白線候補検出部１１０によって、車両進行方向に対して車両の両側方で一対となる白線候補を検出した場合には、検出した一対の白線候補の内側の領域に存在する白線候補の確信度を下げる。
【００４０】
道路上の白線は、車両が走行している場合には、車両進行方向に対して車両の両側に存在する。従って、ペア白線候補検出部１１０で、白線候補のうち車両進行方向に対して車両の両側方で一対となるものを検出した場合、その一対の白線候補の確信度を上げるのである。
【００４１】
ＤＳＰ５０は、上記（１）〜（９）においてそれぞれ算出されて出力される確信度を乗算して統合することにより白線らしさを示す尤度を出力するＤＳＰであり、以下、このＤＳＰ５０を白線特徴統合部５０と呼ぶ。
【００４２】
白線特徴統合部５０における統合処理はベイズ推定のフレームワークに基づき、確信度の乗算による統合から判定する。例えば、白線特徴算出部４０の（１）〜（９）に示した処理のうちの２つによって算出した白線らしさの確信度Ａ、Ｂがそれぞれ０．６、０．７であった場合、統合した尤度は、（０．６＊０．７）/（０．６＊０．７＋０．４＊０．３）＝０．７８となる。
【００４３】
ここで、０．４，０．３はそれぞれＡ、Ｂによる白線らしくなさ（１−０．６、１−０．７）である。
また、白線特徴算出部４０における処理が増えた場合も統合処理の内容は単に尤度統合処理の入力確信度の数が増えるだけで本質的には変わらず、拡張性に富む。これにより、高精度、高ロバスト性を実現しつつ、新たな情報の追加や削除が容易な構造が実現できる。
【００４４】
ＤＳＰ６０は、白線特徴統合部５０が出力する尤度のうち最大の尤度を有する白線候補を道路上の白線として選択するＤＳＰであり、以下、このＤＳＰ６０を白線選択部６０と呼ぶ。
【００４５】
白線特徴統合部５０では、白線候補に対して「白線らしさ」が統合された尤度として出力されるので、白線選択部６０では、その統合された尤度が最大となっている白線を道路上の白線として選択するのである。
【００４６】
ＤＳＰ７０は、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体の模様又は平均輝度を含む特徴を抽出するＤＳＰであり、以下、このＤＳＰ７０を道路面特徴抽出部７０と呼ぶ。
【００４７】
例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り、白線のように見える場合やコールタールによる補修跡で囲まれた領域が直線状に映る場合があるので、パターンマッチングや輝度の差などにより領域と白線との模様を抽出する。
【００４８】
ＤＳＰ８０は、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体のエッジ総量を抽出するＤＳＰであり、以下、このＤＳＰ８０をエッジ特徴抽出部８０と呼ぶ。
【００４９】
エッジ総量は、車載カメラ１０を二値化して得られた二値化画像からエッジを抽出し、抽出したエッジの数を合計することによって得られる。
ＤＳＰ９０は、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向のエッジ量が所定の値以上の筋状の模様を検出するＤＳＰであり、以下、このＤＳＰ９０を筋模様検出部９０と呼ぶ。
【００５０】
車両のスリップ防止のため道路上に刻まれている縦筋は道路面に比べ輝度が低い（暗い）が、縦筋端の輝度は白線端と差がない場合がある。そこで、車載カメラ１０で取得した画像の二値化画像からエッジ量を算出し、白線候補の車両進行方向の近傍の領域の道路上の車両進行方向のエッジ量が所定の値以上のものを筋状の模様として検出するのである。
【００５１】
ＤＳＰ１００は、車載カメラ１０で取得した画像から道路上に描かれている交通標識を検出するＤＳＰであり、以下、このＤＳＰ１００を交通標識検出部１００と呼ぶ。
交通標識検出部１００では、道路上に描かれている交通標識をパターンマッチングにより検出する。検出する交通標識としては、矢印、制限速度、止まれ文字など道路面上に描かれている交通標識以外にも横断歩道などがある。
【００５２】
ＤＳＰ１１０は、白線候補抽出部３０で抽出した白線候補のうち、車両進行方向に対して車両の両側方で一対となる白線候補の有無を検出するＤＳＰであり、以下、このＤＳＰ１１０をペア白線候補検出部１１０と呼ぶ。
【００５３】
道路上の白線は、車両が走行している場合には、車両進行方向に対して車両の両側に存在する。従って、ペア白線候補検出部１１０では、白線候補抽出部３０で抽出した白線候補のうち車両進行方向に対して車両の両側方で一対となる白線を画像中の車両位置に対する相対位置から検出するのである。
【００５４】
２．車載白線認識装置１が奏する効果
(i) 車載白線認識装置１は、上述したように、画像における所定範囲内に、第１の白線候補及び第２の白線候補が存在し、且つ白線候補間コントラスト比が５０％以下であるという条件が成立する場合、第１の白線候補の白線らしさの確信度を下げる。
【００５５】
そのことにより、例えば、図６（ｂ）に示すように、白線２０１の近傍に白線の消し跡２０２が存在し、消し跡２０２のコントラストが白線２０１のコントラストより顕著に低い場合、消し跡２０２の確信度を下げ、消し跡２０２を白線として誤認識することを防止できる。
【００５６】
また、図６（ａ）に示すように、真の白線２０３、２０４が隣接しており、それらの白線候補間コントラスト比が５０％以上である場合は、白線２０３、２０４の確信度を下げることがなく、それらを正しく認識できる。
【００５７】
さらに、白線候補間コントラスト比が５０％以下であっても、図６（ｃ）に示すように、白線２０５、２０６間の距離が大きく、所定範囲内にない場合は、白線２０５、２０６の確信度を下げることがなく、それらを正しく認識できる。
【００５８】
車載白線認識装置１は、具体的には、図７に示すような、真の白線に対応する白線候補の近傍に、影に対応する白線候補が存在する場合、影に対応する白線候補の確信度を下げ、それを白線として誤認識することを防止できる。
【００５９】
また、図８に示すような、真の白線に対応する白線候補の近傍に、消し跡線に対応する白線候補が存在する場合、消し跡線に対応する白線候補の確信度を下げ、それを白線として誤認識することを防止できる。
【００６０】
なお、車載白線認識装置１は、たとえ、白線候補間コントラスト比が５０％以下であったとしても、図９に示すように、白線候補が離れている場合は、それらの確信度を下げない。そのことにより、真の白線が薄れている場合でも、それを認識することができる。
【００６１】
(ii)車載白線認識装置１では、複数種類の白線特徴に関する確信度を統合して尤度を算出する。そのため、白線特徴算出部４０の種類がどのようなものであっても、換言すれば、どのような処理内容によって算出された確信度であっても、それらを容易に組み合わせて尤度を求め、その尤度に基づいて白線候補を選択することができる。
【００６２】
従って、白線特徴算出部４０を改良したり、新たな機能の処理を追加したりした場合であっても、それら複数の処理を容易に統合できるようになっている。
(iii)車載白線認識装置１は、道路（白線候補の部分を除く）に対する白線候補のコントラストの比率に基づき、確信度を算出することができる。こうすることにより、消し跡等の白線候補（ただし、その白線候補自体のコントラストが十分低いものに限る）が、他の白線候補から遠く離れている場合でも、その白線候補の確信度を下げることができる。
(iv)白線特徴算出部４０は、白線らしさを示す特徴として、白線候補抽出部３０で抽出した白線候補の輝度分散又は白線の内部エッジ量のうち少なくとも１つを用いているので、輝度分散により輝度の差異を求めることができ、内部エッジ量により模様平坦度の差異を求めることができる。
【００６３】
つまり、輝度や模様平坦度が異なるガードレールや道路上の傷、補修跡と白線との差異を求めることができるので、より正確な白線らしさの確信度を得ることができる。
また、白線特徴算出部４０は、白線らしさを示す特徴として、白線候補抽出部３０で抽出した白線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いている。
【００６４】
従って、道路上の白線がかすれて消えかかっているような場合や、白線がかすれて細くなっているような場合でも、白線のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかによって白線とかすれ線や道路面補修跡との差異を求めることができる。従って、より正確な白線らしさの確信度を得ることができる。
【００６５】
また、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体の模様又は平均輝度を含む特徴を抽出する道路面特徴抽出部７０を備え、白線特徴算出部４０は、道路面特徴抽出部７０で抽出した白線候補自体の模様又は平均輝度の差が所定の値以下の場合には、白線候補の白線らしさの確信度を下げている。
【００６６】
従って、路側のガードレールなどによる影や道路面補修跡のように、輝度や模様が白線と異なるものがある場合には、その確信度を下げることができるので、白線認識の精度を上げることができる。
【００６７】
また、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体のエッジ総量を抽出するエッジ特徴抽出部８０を備え、白線特徴算出部４０、エッジ特徴抽出部８０で抽出したエッジ総量の差が所定の値以下の場合には、白線候補の白線らしさの確信度を下げるようにしている。
【００６８】
従って、白線がかすれている場合であっても、白線候補としての確信度が下がらないようにすることができる。
また、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向の輝度が所定の値以下の筋状の模様を検出する筋模様検出部９０を備えている。
【００６９】
また、白線特徴算出部４０は、筋模様検出部９０によって筋状の模様（例えば、スリップ防止用の溝）が検出された場合には、白線候補の白線らしさの確信度を下げている。従って、スリップ防止のためコンクリート道路面に縦筋が刻まれている場合には、その縦筋の白線らしさの確信度を下げることができる。
【００７０】
また、車載カメラ１０で取得した画像から道路上に描かれている交通標識を検出する交通標識検出部１００を備え、交通標識検出部１００で白線候補の位置に交通標識が検出された場合、白線特徴算出部４０は、その白線候補の白線らしさの確信度を下げている。従って、道路上に描かれた交通標識の白線らしさの確信度を低くすることができる。
【００７１】
また、白線候補抽出部３０で抽出した白線候補のうち、車両進行方向に対して車両の両側方で一対となる白線候補の有無を検出するペア白線候補検出部１１０を備え、白線特徴算出部４０は、ペア白線候補検出部１１０によって、車両進行方向に対して車両の両側方で一対となる白線候補を検出した場合には、検出した一対の白線候補の内側の領域に存在する白線候補の白線らしさの確信度を下げている。
【００７２】
従って、車両両側面の一対の白線候補の内側の領域に存在する白線候補（例えば、白線の消し跡や中央ライン等）の白線らしさの確信度を下げることができる。
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
【００７３】
例えば、前記実施形態では、種々の処理を複数のＤＳＰに割り当てて実行していたが、ＤＳＰに割り当てることなく１つのＣＰＵにおいてプログラムとして実行してもよい。
また、前記実施形態では、白線特徴算出部４０を１つのＤＳＰで構成していたが、図３に示すような白線特徴算出部４０の内部処理を複数のＤＳＰに割り当てて構成してもよい。このようにすれば、より高速処理が可能となる。
【００７４】
また、白線特徴算出部４０は、前記（１）〜（９）の処理に加えて、又はそのいずれかに代えて、以下の処理を行ってもよい。
（Ａ） 総延長距離
白線候補の長手方向における長さが長いほど、その白線候補の確信度を大きくする。
（Ｂ）複合線パターン
複数の白線候補が、複合線パターンを形成しているか否かをパターンマッチングにより判断する。複合線パターンを形成している場合は、複合線パターンにおける中央の白線候補の確信度を上げ、他の白線候補の確信度を下げる。
【符号の説明】
【００７５】
１・・・車載白線認識装置、１０・・・車載カメラ、２０・・・画像処理装置、
３０・・・白線候補抽出部、４０・・・白線特徴算出部、５０・・・白線特徴統合部、
６０・・・白線選択部、７０・・・道路面特徴抽出部、８０・・・エッジ特徴抽出部、
９０・・・筋模様検出部、１００・・・交通標識検出部、
１１０・・・ペア白線候補検出部、２０１、２０３、２０５・・・白線、
２０２・・・消し跡
【特許請求の範囲】
【請求項１】
車両周囲の画像を取得する車載カメラと、
前記車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、
前記白線候補の白線らしさの確信度を算出する確信度算出手段と、
前記確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段と、
を備え、
所定範囲内に第１の白線候補及び第２の白線候補が存在し、且つ前記第２の白線候補のコントラストに対する前記第１の白線候補のコントラストの比率が所定値以下であるという条件が成立する場合、前記確信度算出手段は、前記条件が成立しない場合よりも、前記第１の白線候補の前記確信度を低くすることを特徴とする車載白線認識装置。
【請求項２】
前記確信度算出手段を複数備え、
前記白線選択手段は、複数の前記確信度算出手段がそれぞれ算出した前記確信度を乗算することで統合して尤度を算出し、前記尤度が最大である前記白線候補を選択することを特徴とする請求項１記載の車載白線認識装置。
【請求項３】
前記複数の確信度算出手段のうちの１つとして、道路（前記白線候補の部分を除く）に対する前記白線候補のコントラストの比率に基づき、前記確信度を算出する確信度算出手段を備えることを特徴とする請求項２に記載の車載白線認識装置。
【請求項１】
車両周囲の画像を取得する車載カメラと、
前記車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、
前記白線候補の白線らしさの確信度を算出する確信度算出手段と、
前記確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段と、
を備え、
所定範囲内に第１の白線候補及び第２の白線候補が存在し、且つ前記第２の白線候補のコントラストに対する前記第１の白線候補のコントラストの比率が所定値以下であるという条件が成立する場合、前記確信度算出手段は、前記条件が成立しない場合よりも、前記第１の白線候補の前記確信度を低くすることを特徴とする車載白線認識装置。
【請求項２】
前記確信度算出手段を複数備え、
前記白線選択手段は、複数の前記確信度算出手段がそれぞれ算出した前記確信度を乗算することで統合して尤度を算出し、前記尤度が最大である前記白線候補を選択することを特徴とする請求項１記載の車載白線認識装置。
【請求項３】
前記複数の確信度算出手段のうちの１つとして、道路（前記白線候補の部分を除く）に対する前記白線候補のコントラストの比率に基づき、前記確信度を算出する確信度算出手段を備えることを特徴とする請求項２に記載の車載白線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１８６７２２（Ｐ２０１１−１８６７２２Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５０４９０（Ｐ２０１０−５０４９０）
【出願日】平成２２年３月８日（２０１０．３．８）
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月８日（２０１０．３．８）
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]