車載白線認識装置
【課題】横断歩道や複合線が存在しても、白線を正しく認識できる車載白線認識装置を提供すること。
【解決手段】車両周囲の画像を取得する車載カメラ１０と、車載カメラ１０で取得した画像から画像処理により白線候補を抽出する白線候補抽出手段３０と、白線候補の白線らしさの確信度を算出する確信度算出手段４０と、確信度算出手段４０が算出した確信度に基づき、認識する白線を選択する白線選択手段５０、６０と、車載カメラ１０で取得した画像から画像処理により複合線を検出する複合線検出手段４０と、車載カメラ１０で取得した画像のうち、複合線検出手段４０により検出した複合線を除外した領域において、画像処理により横断歩道を検出する横断歩道検出手段１２０とを備え、確信度算出手段４０は、白線候補が横断歩道検出手段１２０により検出した横断歩道に属する場合、それ以外の場合よりも、その白線候補の確信度を低くすることを特徴とする車載白線認識装置１。
【解決手段】車両周囲の画像を取得する車載カメラ１０と、車載カメラ１０で取得した画像から画像処理により白線候補を抽出する白線候補抽出手段３０と、白線候補の白線らしさの確信度を算出する確信度算出手段４０と、確信度算出手段４０が算出した確信度に基づき、認識する白線を選択する白線選択手段５０、６０と、車載カメラ１０で取得した画像から画像処理により複合線を検出する複合線検出手段４０と、車載カメラ１０で取得した画像のうち、複合線検出手段４０により検出した複合線を除外した領域において、画像処理により横断歩道を検出する横断歩道検出手段１２０とを備え、確信度算出手段４０は、白線候補が横断歩道検出手段１２０により検出した横断歩道に属する場合、それ以外の場合よりも、その白線候補の確信度を低くすることを特徴とする車載白線認識装置１。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援等のために、車両が走行している道路上の白線を認識する車載白線認識装置に関する。
【背景技術】
【０００２】
従来、運転支援装置としての車線逸脱警報装置に用いられ、道路上の白線を認識する車載白線認識装置が知られている（特許文献１参照）。
上記の車線逸脱警報装置は、車両周囲の画像を取得する車載カメラ、その画像を処理する画像処理部、及び警報生成部によって構成されている。画像処理部では、車載カメラから得られる画像から、白線を検出・推定する。警報生成部では、白線の自車からの左右における距離を計算し、いずれかが閾値以下の場合、つまり、自車が白線に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える。
【０００３】
この車線逸脱警報装置で最も問題となるのは、さまざまなノイズ要因による白線の誤検出である。ノイズ要因としては、例えば、横断歩道、路面上の汚れ、道路上のペイント、水溜り等による道路面の反射、自車の影、追越車両の影、後続車両の影等がある。
【０００４】
例えば、図７に示すように、道路上に白線Ｐ１とともに横断歩道が存在し、横断歩道の一部Ｐ３が白線Ｐ１と重なっている場合、横断歩道の一部Ｐ３を白線と認識し、白線の位置ずれ（誤認識）が生じてしまう。
【０００５】
これらのノイズを排除し、真の白線のみを抽出するための技術が種々提案されている。具体的には、横断歩道を画像処理により検出し、それを除いた領域において白線を検出する技術が開示されている（特許文献２参照）。
【０００６】
また、白線は、複合線（２本以上の白線が所定の間隔をおいて存在する態様）として存在する場合がある。特許文献３は、複合線を検出し、その中で所定の白線を選択して検出する技術を開示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−１８１４８号公報
【特許文献２】特開２００４−１７８６１０号公報
【特許文献３】特開２００５−３３２２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
複合線（特に３重破線、２重実線、３重実線等の形態）が引かれた部分は、誤って、横断歩道として検出されることがある。例えば、図８（ｂ）、（ｃ）に示すような複合線は、横断歩道として検出され易い。
【０００９】
この場合、上述したように、横断歩道（実は複合線）を除いた領域において白線を検出しようとすると、複合線は検出前に除外されてしまうので、複合線を白線として検出できなくなってしまう。
【００１０】
また、逆に、横断歩道は、誤って、複合線として検出されることがある。特に、図８（ａ）に示すような、一部がかすれて薄くなった横断歩道は、複合線として検出され易い。この場合、横断歩道を白線として誤検出してしまう。
【００１１】
本発明は以上の点に鑑みなされたものであり、横断歩道や複合線が存在しても、白線を正しく認識できる車載白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
請求項１に係る車載白線認識装置は、車両周囲の画像を取得する車載カメラと、車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、白線候補の白線らしさの確信度を算出する確信度算出手段と、確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段と、車載カメラで取得した画像から画像処理により複合線を検出する複合線検出手段と、車載カメラで取得した画像のうち、複合線検出手段により検出した複合線を除外した領域において、画像処理により横断歩道を検出する横断歩道検出手段とを備え、確信度算出手段は、白線候補が横断歩道検出手段により検出した横断歩道に属する場合、それ以外の場合よりも、その白線候補の確信度を低くする。
【００１３】
請求項１に係る車載白線認識装置は、上述したように、複合線を検出した場合は、車載カメラで取得した画像のうち、複合線を除外した領域において、横断歩道を検出する。そのため、複合線を誤って横断歩道として検出してしまうことがない。その結果、実際には複合線であるのに、横断歩道であると誤検出し、その複合線に属する白線候補の確信度を下げてしまうようなことがない。よって、請求項１に係る車載白線認識装置によれば、横断歩道や複合線が存在しても、白線を正しく認識できる。
【００１４】
前記横断歩道検出手段としては、例えば、検出した横断歩道の横断歩道らしさ（横断歩道である可能性の高さ）を定量的に算出できるものが挙げられる。横断歩道らしさは、例えば、横断歩道を画像処理により認識し、横断歩道を構成する単位線（図５における２０３ａ〜ｄ）の本数に応じて算出できる。この場合、確信度算出手段は、横断歩道らしさに応じて、横断歩道に属する白線候補の確信度の下げ幅を変化させることができる。例えば、横断歩道らしさが大きいほど、確信度の下げ幅を大きくすることができる。また、横断歩道らしさに所定の閾値を設定し、横断歩道らしさがその閾値未満であれば確信度を下げず、その閾値以上となれば確信度を下げることができる。また、横断歩道らしさがその閾値以上の場合、横断歩道らしさが大きいほど、確信度の下げ幅を大きくすることができる。
【００１５】
本発明における白線とは、走行区画線を構成する白線であり、連続した線、破線、ボッツドッツのいずれであってもよい。ただし、道路上に描かれた横断歩道、道路標識、交通標識等を構成する線は含まない。
【００１６】
請求項２に係る車載白線認識装置は、車両周囲の画像を取得する車載カメラと、車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、白線候補の白線らしさの確信度を算出する確信度算出手段と、確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段と、車載カメラで取得した画像から画像処理により横断歩道を検出する横断歩道検出手段と、車載カメラで取得した画像のうち、横断歩道検出手段により検出した横断歩道を除外した領域において、画像処理により複合線を検出する複合線検出手段とを備え、確信度算出手段は、白線候補が複合線検出手段により検出した複合線に属する場合、その白線候補の確信度を、予め定めた条件に従い増減する。
【００１７】
請求項２に係る車載白線認識装置は、上述したように、横断歩道を検出した場合は、車載カメラで取得した画像のうち、横断歩道を除外した領域において、複合線を検出する。そのため、横断歩道を誤って複合線として検出してしまうことがない。その結果、実際には横断歩道であるのに、複合線であると誤検出し、その横断歩道に属する白線候補を白線として誤認識してしまうようなことがない。よって、請求項２に係る車載白線認識装置によれば、横断歩道や複合線が存在しても、白線を正しく認識できる。
【００１８】
前記複合線検出手段としては、例えば、検出した複合線の複合線らしさ（複合線である可能性の高さ）を定量的に算出できるものが挙げられる。複合線らしさは、例えば、複合線の検出に用いたパターンマッチングにおける一致の程度に応じて算出できる。この場合、確信度算出手段は、複合線らしさに応じて、複合線に属する白線候補の確信度の変化量を変化させることができる。例えば、複合線らしさが大きいほど、確信度の変化量を大きくすることができる。また、複合線らしさに所定の閾値を設定し、複合線らしさがその閾値未満であれば確信度を変化させず、その閾値以上となれば確信度を変化させることができる。
【００１９】
本発明の車載白線認識装置は、確信度算出手段を複数備え、白線選択手段は、複数の確信度算出手段がそれぞれ算出した確信度を乗算することで統合して尤度を算出し、尤度が最大である白線候補を選択するものであることが好ましい。
【００２０】
この場合、車載白線認識装置では、確信度算出手段の種類がどのようなものであっても、それらを容易に組み合わせて尤度を求め、その尤度に基づいて白線候補を選択することができる。従って、確信度算出手段を改良したり、新たな確信度算出手段を追加したりした場合であっても、それら複数の処理を容易に統合できる。
【００２１】
本発明の車載白線認識装置は、例えば、車線逸脱警報装置に適用することができる。その車線逸脱警報装置は、車載白線認識装置で認識した白線に基づき、白線の自車からの左右における距離を計算し、いずれかが閾値以下の場合、つまり、自車が白線に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える。
【００２２】
また、車載白線認識装置で認識した一対の平行な白線に基づいてＦＯＥ（消失点）を算出し、そのＦＯＥを、歩行者等の認識に利用することができる。
【図面の簡単な説明】
【００２３】
【図１】車載白線認識装置１の概略の構成を表す機能ブロック図である。
【図２】車両における車載カメラ１０の位置を表す説明図である。
【図３】画像処理部２０の概略の機能構成を示す機能ブロック図である。
【図４】確信度の設定条件を表すグラフである。
【図５】横断歩道を表す説明図である。
【図６】複合線を表す説明図である。
【図７】道路上に白線Ｐ１と横断歩道とが存在する態様を表す写真である。
【図８】（ａ）はかすれ横断歩道を表す写真であり、（ｂ）は複合線(北米カープールレーン)を表す写真であり、（ｃ）は複合線（３重破線）を表す写真である。
【発明を実施するための形態】
【００２４】
本発明の実施形態を図面に基づいて説明する。
［第１実施形態］
１．車載白線認識装置１の構成及び作用
車載白線認識装置１の構成及び作用を図１〜図６に基づいて説明する。図１は、本発明が適用された車載白線認識装置１の概略の構成を示すブロック図であり、図２は、車両における車載カメラ１０の位置を表す説明図であり、図３は、画像処理部２０の概略の機能構成を示す機能ブロック図であり、図４は後述する確信度の設定条件を表すグラフであり、図５は横断歩道を表す説明図であり、図６は複合線を表す説明図である。
【００２５】
車載白線認識装置１は、図１に示すように、車両周囲の画像を取得する車載カメラ１０と車載カメラ１０で取得した車両周囲の画像を画像処理する画像処理装置２０とを備えている。
【００２６】
画像処理装置２０は、図３に示すように、複数のＤＳＰ３０〜１２０、ＤＳＰ３０〜１２０の間のデータ伝送のためのＢＵＳ１３０及び図示しないＲＯＭ、ＲＡＭ及びＩ／Ｏを備えている。
【００２７】
ＤＳＰ３０は、車載カメラ１０で取得した画像から画像処理により道路上の白線候補を抽出する白線候補抽出を行うＤＳＰであり、以下、このＤＳＰ３０を白線候補抽出部３０と呼ぶ。
【００２８】
具体的には、車載カメラ１０で取得した画像から、公知の画像処理であるパターンマッチング、直線抽出ハフ変換処理における投票数（実線・破線判定結果）などにより、道路上の白線らしきもの（白線候補）を抽出する。なお、白線候補は、１フレームの画像において複数抽出される場合もある。
【００２９】
ＤＳＰ４０は、白線候補抽出部３０で抽出した白線候補について、白線らしさの確信度を算出するＤＳＰであり、以下、このＤＳＰ４０を白線特徴算出部４０と呼ぶ。なお、確信度は、０.０１〜１の範囲内で設定される数値（尤度）であって、白線特徴算出部４０が、後述する（１）〜（９）の各処理ごとに設定する。よって、１つの白線候補について、複数の確信度が設定される。白線特徴算出部４０が実行する（１）〜（９）の各処理は、それぞれ、以下のとおりである。
（１）ＤＳＰ１２０によって横断歩道を検出した場合は、その横断歩道の位置にある白線候補の確信度を下げる。なお、確信度は、横断歩道らしさ（後述）に応じて、図４に示すように設定される。図４において、横軸はＤＳＰ１２０によって算出された横断歩道らしさであり、縦軸は設定される確信度である。横断歩道らしさが６０％以上である場合は、確信度は０．１０であり一定である。横断歩道らしさが４０％から６０％までの間の場合、確信度は、横断歩道らしさが低下するのに伴い（比例して）、上がる。断歩道らしさが４０％未満の場合、確信度は０．５０で一定である。なお、ＤＳＰ１２０によって横断歩道を検出するとは、横断歩道らしさが４０％以上である場合である。
（２）複数の白線候補から、公知のパターンマッチング（画像処理）により複合線を検出する。また、パターンの一致の程度により、複合線らしさを定量的に算出する。なお、複合線とは、２本以上の白線が所定の間隔をおいて存在する態様をいう。
【００３０】
そして、検出した複合線に属する各白線候補の確信度を、予め定めた条件に従い、複合線における位置に応じて増減する。例えば、図６に示すように、白線候補２０５ａ、２０５ｂ、２０５ｃから成る複合線を検出した場合、中心の白線候補２０５ｂの確信度を、複合線ではない白線候補に比べて、所定量上げ、両サイドの白線候補２０５ａ、２０５ｃの確信度を、複合線ではない白線候補に比べて、所定量下げる。確信度の増減量は、その複合線の複合線らしさに応じて変化し、複合線らしさが高いほど、増減量は大きい。複合線が４本以上である場合も、同様に、複合線に属する各白線候補の確信度を、複合線における位置に応じて増減する。なお、複合線の検出結果は、後述するように、横断歩道検出部１２０で利用する。
（３）白線らしさを示す特徴として、白線候補抽出部３０で抽出した白線候補の内部輝度分散又は内部エッジ量のいずれかを用いる。
【００３１】
白線は、通常白色であり、車両のヘッドライトや街路灯などの照明装置から照射される光を乱反射するようになっているので、道路面に比べて輝度分散の値が大きい。
また、内部エッジ量の大小は、その領域の平坦度を示している。つまり、平坦度が大きければ、その領域にはエッジとなる部分が少ないということであるので、内部エッジ量が小さければ平坦度が大きく、逆に内部エッジ量が多ければ平坦度が小さくなる。白線は、道路面に比べ平坦度が大きいため内部エッジ量が少ない。
【００３２】
従って、白線候補の内部輝度分散又は内部エッジ量を算出し、算出した内部輝度分散又は内部エッジ量に応じて、確信度を設定し（内部輝度分散が大きければ確信度を大きくし、内部エッジ量が小さければ確信度を大きくする。）、出力するようにするのである。
（４）エッジ方向の分散又はヒストグラムのピーク比率
白線らしさを示す特徴として、白線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いる。
【００３３】
白線は、通常道路上に一方向に描かれている（道路がカーブしていても、曲率が比較的小さいため、車載カメラ１０で取得した画像の範囲では一方向に描かれているものとみなすことができる。）ので、道路面に比べ、白線のエッジ方向の分散は大きくなる。また、白線は線分であるので、エッジ方向のヒストグラムの比率や大きさが道路面に比べて大きい。
【００３４】
従って、白線らしさを示す情報として、白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさを用いることができる。
従って、白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさを算出し、算出した白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさに応じて確信度を設定し（白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさが大きければ確信度を大きくし、小さければ確信度を小さくする。）、出力するようにするのである。
（５）道路面特徴抽出部７０で抽出した白線候補自体の模様又は平均輝度の差が所定の値以下の場合には、その白線候補の確信度を下げる。
【００３５】
具体的には、道路面上には、道路側部のガードレールなどにより影が映り込む場合がある。例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り、白線のように見える場合がある。他にも黒いコールタールによる補修跡で囲まれた領域が直線状に映る場合がある。
【００３６】
これら道路上の影や補修跡で囲まれた領域と白線とを識別するには、領域と白線候補との模様や平均輝度を比較すればよい。そこで、道路面特徴抽出部７０で抽出した領域と白線候補との模様の差が大きければ両者は異なるものとして確信度を上げ、平均輝度の差が小さければ両者が一致するとして、その白線候補の確信度を下げるのである。
（６）エッジ特徴抽出部８０で抽出したエッジ総量の差が所定の値以下の場合には、白線候補の確信度を下げる。
【００３７】
白線がかすれなどによって、道路面との輝度差が低くなった場合であっても、人間の目では白線らしくシミのように見える。これは、道路上に全く模様がない場合にはシミが強調して見えるという人間の感性によるものである。
【００３８】
そこで、エッジ特徴抽出部８０で抽出した、白線候補に囲まれる領域と白線のエッジ総量の差が所定の値以下の場合には、その白線候補の確信度を下げるのである。
（７）筋模様検出部９０で筋状の模様が検出された場合には、確信度を下げる。
【００３９】
車両のスリップ防止のため道路上に縦筋が刻まれている場合がある。その場合、道路上に刻まれている縦筋は道路面に比べ輝度が低い（暗い）が、縦筋端の輝度は白線端と差がない場合がある。そこで、筋模様検出部９０で白線候補上に筋模様が検出された場合には、その白線候補の確信度を下げるのである。
（８）交通標識検出部１００で交通標識が検出された場合には、確信度を下げる。
【００４０】
道路上には、白線の他に、矢印、制限速度、止まれ文字などの交通標識や横断歩道などが描かれている。従って、交通標識検出部１００により、白線候補の位置に交通標識等が検出されたときは、その白線候補の確信度を下げるのである。
（９）ペア白線候補検出部１１０によって、車両進行方向に対して車両の両側方で一対となる白線候補を検出した場合には、検出した一対の白線候補の内側の領域に存在する白線候補の確信度を下げる。
【００４１】
道路上の白線は、車両が走行している場合には、車両進行方向に対して車両の両側に存在する。従って、ペア白線候補検出部１１０で、白線候補のうち車両進行方向に対して車両の両側方で一対となるものを検出した場合、その一対の白線候補の確信度を上げるのである。
【００４２】
ＤＳＰ５０は、上記（１）〜（９）においてそれぞれ算出されて出力される確信度を乗算して統合することにより白線らしさを示す尤度を出力するＤＳＰであり、以下、このＤＳＰ５０を白線特徴統合部５０と呼ぶ。
【００４３】
白線特徴統合部５０における統合処理はベイズ推定のフレームワークに基づき、確信度の乗算による統合から判定する。例えば、白線特徴算出部４０の（１）〜（９）に示した処理のうちの２つによって算出した白線らしさの確信度Ａ、Ｂがそれぞれ０．６、０．７であった場合、統合した尤度は、（０．６＊０．７）/（０．６＊０．７＋０．４＊０．３）＝０．７８となる。
【００４４】
ここで、０．４，０．３はそれぞれＡ、Ｂによる白線らしくなさ（１−０．６、１−０．７）である。
また、白線特徴算出部４０における処理が増えた場合も統合処理の内容は単に尤度統合処理の入力確信度の数が増えるだけで本質的には変わらず、拡張性に富む。これにより、高精度、高ロバスト性を実現しつつ、新たな情報の追加や削除が容易な構造が実現できる。
【００４５】
ＤＳＰ６０は、白線特徴統合部５０が出力する尤度のうち最大の尤度を有する白線候補を道路上の白線として選択するＤＳＰであり、以下、このＤＳＰ６０を白線選択部６０と呼ぶ。
【００４６】
白線特徴統合部５０では、白線候補に対して「白線らしさ」が統合された尤度として出力されるので、白線選択部６０では、その統合された尤度が最大となっている白線を道路上の白線として選択するのである。
【００４７】
ＤＳＰ７０は、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体の模様又は平均輝度を含む特徴を抽出するＤＳＰであり、以下、このＤＳＰ７０を道路面特徴抽出部７０と呼ぶ。
【００４８】
例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り、白線のように見える場合やコールタールによる補修跡で囲まれた領域が直線状に映る場合があるので、パターンマッチングや輝度の差などにより領域と白線との模様を抽出する。
【００４９】
ＤＳＰ８０は、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体のエッジ総量を抽出するＤＳＰであり、以下、このＤＳＰ８０をエッジ特徴抽出部８０と呼ぶ。
【００５０】
エッジ総量は、車載カメラ１０を二値化して得られた二値化画像からエッジを抽出し、抽出したエッジの数を合計することによって得られる。
ＤＳＰ９０は、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向のエッジ量が所定の値以上の筋状の模様を検出するＤＳＰであり、以下、このＤＳＰ９０を筋模様検出部９０と呼ぶ。
【００５１】
車両のスリップ防止のため道路上に刻まれている縦筋は道路面に比べ輝度が低い（暗い）が、縦筋端の輝度は白線端と差がない場合がある。そこで、車載カメラ１０で取得した画像の二値化画像からエッジ量を算出し、白線候補の車両進行方向の近傍の領域の道路上の車両進行方向のエッジ量が所定の値以上のものを筋状の模様として検出するのである。
【００５２】
ＤＳＰ１００は、車載カメラ１０で取得した画像から道路上に描かれている交通標識（横断歩道の除く）を検出するＤＳＰであり、以下、このＤＳＰ１００を交通標識検出部１００と呼ぶ。
【００５３】
交通標識検出部１００では、道路上に描かれている交通標識をパターンマッチングにより検出する。検出する交通標識としては、矢印、制限速度、止まれ文字など道路面上に描かれている交通標識がある。
【００５４】
ＤＳＰ１１０は、白線候補抽出部３０で抽出した白線候補のうち、車両進行方向に対して車両の両側方で一対となる白線候補の有無を検出するＤＳＰであり、以下、このＤＳＰ１１０をペア白線候補検出部１１０と呼ぶ。
【００５５】
道路上の白線は、車両が走行している場合には、車両進行方向に対して車両の両側に存在する。従って、ペア白線候補検出部１１０では、白線候補抽出部３０で抽出した白線候補のうち車両進行方向に対して車両の両側方で一対となる白線を画像中の車両位置に対する相対位置から検出するのである。
【００５６】
ＤＳＰ１２０は、車載カメラ１０で取得した画像から道路上に描かれている横断歩道を検出するＤＳＰであり、以下、このＤＳＰ１２０を横断歩道検出部１２０と呼ぶ。
横断歩道検出部１２０では、公知のパターンマッチングの方法により、道路上に描かれている横断歩道の候補（以下、横断歩道候補とする）を抽出する。そして、その横断歩道候補の横断歩道らしさを算出する。横断歩道らしさの算出方法を、図５を用いて説明する。道路２０１上に位置する横断歩道候補２０３は、単位線２０３ａ、２０３ｂ、２０３ｃ・・・・で構成されているとする。抽出された横断歩道候補が有する単位線の数が多いほど、横断歩道らしさを高く設定する。例えば、単位線の数が２、３、４、５本の場合、横断歩道らしさを、それぞれ、２０、４０、６０、８０％とする。単位線の数が３本以上であり、横断歩道らしさが４０％以上の場合に、横断歩道を検出したと判断する。
【００５７】
横断歩道検出部１２０は、前述した複合線検出処理によって複合線を検出した場合は、車載カメラ１０で取得した画像のうち、複合線を除外した領域において、横断歩道候補を抽出する。
【００５８】
２．車載白線認識装置１が奏する効果
(i) 車載白線認識装置１は、上述したように、複合線を検出した場合は、車載カメラ１０で取得した画像のうち、複合線を除外した領域において、横断歩道を検出する。そのため、複合線を誤って横断歩道として検出してしまうことがない。その結果、実際には複合線であるのに、横断歩道であると誤検出し、その複合線に属する白線候補の確信度を下げてしまうようなことがない。よって、車載白線認識装置１によれば、横断歩道や複合線が存在しても、白線を正しく認識できる。
【００５９】
(ii)車載白線認識装置１では、複数種類の白線特徴に関する確信度を統合して尤度を算出する。そのため、白線特徴算出部４０の種類がどのようなものであっても、換言すれば、どのような処理内容によって算出された確信度であっても、それらを容易に組み合わせて尤度を求め、その尤度に基づいて白線候補を選択することができる。
【００６０】
従って、白線特徴算出部４０を改良したり、新たな機能の処理を追加したりした場合であっても、それら複数の処理を容易に統合できるようになっている。
(iii)白線特徴算出部４０は、白線らしさを示す特徴として、白線候補抽出部３０で抽出した白線候補の輝度分散又は白線の内部エッジ量のうち少なくとも１つを用いているので、輝度分散により輝度の差異を求めることができ、内部エッジ量により模様平坦度の差異を求めることができる。
【００６１】
つまり、輝度や模様平坦度が異なるガードレールや道路上の傷、補修跡と白線との差異を求めることができるので、より正確な白線らしさの確信度を得ることができる。
また、白線特徴算出部４０は、白線らしさを示す特徴として、白線候補抽出部３０で抽出した白線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いている。
【００６２】
従って、道路上の白線がかすれて消えかかっているような場合や、白線がかすれて細くなっているような場合でも、白線のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかによって白線とかすれ線や道路面補修跡との差異を求めることができる。従って、より正確な白線らしさの確信度を得ることができる。
【００６３】
また、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体の模様又は平均輝度を含む特徴を抽出する道路面特徴抽出部７０を備え、白線特徴算出部４０は、道路面特徴抽出部７０で抽出した白線候補自体の模様又は平均輝度の差が所定の値以下の場合には、白線候補の白線らしさの確信度を下げている。
【００６４】
従って、路側のガードレールなどによる影や道路面補修跡のように、輝度や模様が白線と異なるものがある場合には、その確信度を下げることができるので、白線認識の精度を上げることができる。
【００６５】
また、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体のエッジ総量を抽出するエッジ特徴抽出部８０を備え、白線特徴算出部４０、エッジ特徴抽出部８０で抽出したエッジ総量の差が所定の値以下の場合には、白線候補の白線らしさの確信度を下げるようにしている。
【００６６】
従って、白線がかすれている場合であっても、白線候補としての確信度が下がらないようにすることができる。
また、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向の輝度が所定の値以下の筋状の模様を検出する筋模様検出部９０を備えている。
【００６７】
また、白線特徴算出部４０は、筋模様検出部９０によって筋状の模様（例えば、スリップ防止用の溝）が検出された場合には、白線候補の白線らしさの確信度を下げている。従って、スリップ防止のためコンクリート道路面に縦筋が刻まれている場合には、その縦筋の白線らしさの確信度を下げることができる。
【００６８】
また、車載カメラ１０で取得した画像から道路上に描かれている交通標識を検出する交通標識検出部１００を備え、交通標識検出部１００で白線候補の位置に交通標識が検出された場合、白線特徴算出部４０は、その白線候補の白線らしさの確信度を下げている。従って、道路上に描かれた交通標識の白線らしさの確信度を低くすることができる。
【００６９】
また、白線候補抽出部３０で抽出した白線候補のうち、車両進行方向に対して車両の両側方で一対となる白線候補の有無を検出するペア白線候補検出部１１０を備え、白線特徴算出部４０は、ペア白線候補検出部１１０によって、車両進行方向に対して車両の両側方で一対となる白線候補を検出した場合には、検出した一対の白線候補の内側の領域に存在する白線候補の白線らしさの確信度を下げている。
【００７０】
従って、車両両側面の一対の白線候補の内側の領域に存在する白線候補（例えば、白線の消し跡や中央ライン等）の白線らしさの確信度を下げることができる。
［第２実施形態］
１．車載白線認識装置１の構成及び作用
本実施形態における車載白線認識装置１の構成及び作用は、基本的には前記第１実施形態と同一であるが、一部において相違する。以下では、その相違点を中心に説明し、前記第１実施形態と同様の部分の説明は省略乃至簡略化する。
【００７１】
本実施形態では、横断歩道検出部１２０は、白線特徴算出部４０によって既に複合線が検出されていた場合でも、その複合線を除外せず、車載カメラ１０で取得した画像の全体において横断歩道を検出する。白線特徴算出部４０は、そのように検出した横断歩道の位置にある白線候補の確信度を下げる。確信度の設定方法は前記第１実施形態と同様である。
【００７２】
また、本実施形態では、横断歩道の検出結果を、複合線の検出において利用する。すなわち、白線特徴算出部４０は、複合線を検出する場合、横断歩道検出部１２０によって既に横断歩道が検出されていれば、車載カメラ１０で取得した画像のうち、その横断歩道を除外した領域において、複合線を検出する。複合線を検出する方法は、前記第１実施形態と同様に、複数の白線候補から、公知のパターンマッチング（画像処理）により複合線を検出する方法である。また、パターンの一致の程度により、複合線らしさを定量的に算出する。そして、検出した複合線に属する各白線候補の確信度を、予め定めた条件に従い、複合線における位置に応じて増減する。
【００７３】
２．車載白線認識装置１が奏する効果
車載白線認識装置１は、上述したように、横断歩道を検出した場合は、車載カメラ１０で取得した画像のうち、横断歩道を除外した領域において、複合線を検出する。そのため、横断歩道を誤って複合線として検出してしまうことがない。その結果、実際には横断歩道であるのに、それを複合線であると誤検出し、その横断歩道に属する白線候補を白線として誤認識してしまうようなことがない。よって、車載白線認識装置１によれば、横断歩道や複合線が存在しても、白線を正しく認識できる。
【００７４】
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、横断歩道検出部１２０は、白線候補のパターンから、横断歩道を検出してもよい。また、白線特徴算出部４０は、車載カメラ１０で取得した画像を画像処理することで（白線候補を使用せず）、複合線を検出してもよい。
【００７５】
また、前記実施形態では、種々の処理を複数のＤＳＰに割り当てて実行していたが、ＤＳＰに割り当てることなく１つのＣＰＵにおいてプログラムとして実行してもよい。
また、前記実施形態では、白線特徴算出部４０を１つのＤＳＰで構成していたが、図３に示すような白線特徴算出部４０の内部処理を複数のＤＳＰに割り当てて構成してもよい。このようにすれば、より高速処理が可能となる。
【００７６】
また、白線特徴算出部４０は、前記（１）〜（９）の処理に加えて、又はそのいずれかに代えて、以下の処理を行ってもよい。
総延長距離：白線候補の長手方向（車両進行方向）における長さが長いほど、その白線候補の確信度を大きくする。
【符号の説明】
【００７７】
１・・・車載白線認識装置、１０・・・車載カメラ、２０・・・画像処理装置、
３０・・・白線候補抽出部、４０・・・白線特徴算出部、５０・・・白線特徴統合部、
６０・・・白線選択部、７０・・・道路面特徴抽出部、８０・・・エッジ特徴抽出部、
９０・・・筋模様検出部、１００・・・交通標識検出部、
１１０・・・ペア白線候補検出部、１２０・・・横断歩道検出部、２０１・・・道路、
２０３・・・横断歩道候補、２０３ａ、２０３ｂ、２０３ｃ・・・単位線、
２０５ａ、２０５ｂ、２０５ｃ・・・白線候補
【技術分野】
【０００１】
本発明は、運転支援等のために、車両が走行している道路上の白線を認識する車載白線認識装置に関する。
【背景技術】
【０００２】
従来、運転支援装置としての車線逸脱警報装置に用いられ、道路上の白線を認識する車載白線認識装置が知られている（特許文献１参照）。
上記の車線逸脱警報装置は、車両周囲の画像を取得する車載カメラ、その画像を処理する画像処理部、及び警報生成部によって構成されている。画像処理部では、車載カメラから得られる画像から、白線を検出・推定する。警報生成部では、白線の自車からの左右における距離を計算し、いずれかが閾値以下の場合、つまり、自車が白線に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える。
【０００３】
この車線逸脱警報装置で最も問題となるのは、さまざまなノイズ要因による白線の誤検出である。ノイズ要因としては、例えば、横断歩道、路面上の汚れ、道路上のペイント、水溜り等による道路面の反射、自車の影、追越車両の影、後続車両の影等がある。
【０００４】
例えば、図７に示すように、道路上に白線Ｐ１とともに横断歩道が存在し、横断歩道の一部Ｐ３が白線Ｐ１と重なっている場合、横断歩道の一部Ｐ３を白線と認識し、白線の位置ずれ（誤認識）が生じてしまう。
【０００５】
これらのノイズを排除し、真の白線のみを抽出するための技術が種々提案されている。具体的には、横断歩道を画像処理により検出し、それを除いた領域において白線を検出する技術が開示されている（特許文献２参照）。
【０００６】
また、白線は、複合線（２本以上の白線が所定の間隔をおいて存在する態様）として存在する場合がある。特許文献３は、複合線を検出し、その中で所定の白線を選択して検出する技術を開示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−１８１４８号公報
【特許文献２】特開２００４−１７８６１０号公報
【特許文献３】特開２００５−３３２２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
複合線（特に３重破線、２重実線、３重実線等の形態）が引かれた部分は、誤って、横断歩道として検出されることがある。例えば、図８（ｂ）、（ｃ）に示すような複合線は、横断歩道として検出され易い。
【０００９】
この場合、上述したように、横断歩道（実は複合線）を除いた領域において白線を検出しようとすると、複合線は検出前に除外されてしまうので、複合線を白線として検出できなくなってしまう。
【００１０】
また、逆に、横断歩道は、誤って、複合線として検出されることがある。特に、図８（ａ）に示すような、一部がかすれて薄くなった横断歩道は、複合線として検出され易い。この場合、横断歩道を白線として誤検出してしまう。
【００１１】
本発明は以上の点に鑑みなされたものであり、横断歩道や複合線が存在しても、白線を正しく認識できる車載白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
請求項１に係る車載白線認識装置は、車両周囲の画像を取得する車載カメラと、車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、白線候補の白線らしさの確信度を算出する確信度算出手段と、確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段と、車載カメラで取得した画像から画像処理により複合線を検出する複合線検出手段と、車載カメラで取得した画像のうち、複合線検出手段により検出した複合線を除外した領域において、画像処理により横断歩道を検出する横断歩道検出手段とを備え、確信度算出手段は、白線候補が横断歩道検出手段により検出した横断歩道に属する場合、それ以外の場合よりも、その白線候補の確信度を低くする。
【００１３】
請求項１に係る車載白線認識装置は、上述したように、複合線を検出した場合は、車載カメラで取得した画像のうち、複合線を除外した領域において、横断歩道を検出する。そのため、複合線を誤って横断歩道として検出してしまうことがない。その結果、実際には複合線であるのに、横断歩道であると誤検出し、その複合線に属する白線候補の確信度を下げてしまうようなことがない。よって、請求項１に係る車載白線認識装置によれば、横断歩道や複合線が存在しても、白線を正しく認識できる。
【００１４】
前記横断歩道検出手段としては、例えば、検出した横断歩道の横断歩道らしさ（横断歩道である可能性の高さ）を定量的に算出できるものが挙げられる。横断歩道らしさは、例えば、横断歩道を画像処理により認識し、横断歩道を構成する単位線（図５における２０３ａ〜ｄ）の本数に応じて算出できる。この場合、確信度算出手段は、横断歩道らしさに応じて、横断歩道に属する白線候補の確信度の下げ幅を変化させることができる。例えば、横断歩道らしさが大きいほど、確信度の下げ幅を大きくすることができる。また、横断歩道らしさに所定の閾値を設定し、横断歩道らしさがその閾値未満であれば確信度を下げず、その閾値以上となれば確信度を下げることができる。また、横断歩道らしさがその閾値以上の場合、横断歩道らしさが大きいほど、確信度の下げ幅を大きくすることができる。
【００１５】
本発明における白線とは、走行区画線を構成する白線であり、連続した線、破線、ボッツドッツのいずれであってもよい。ただし、道路上に描かれた横断歩道、道路標識、交通標識等を構成する線は含まない。
【００１６】
請求項２に係る車載白線認識装置は、車両周囲の画像を取得する車載カメラと、車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、白線候補の白線らしさの確信度を算出する確信度算出手段と、確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段と、車載カメラで取得した画像から画像処理により横断歩道を検出する横断歩道検出手段と、車載カメラで取得した画像のうち、横断歩道検出手段により検出した横断歩道を除外した領域において、画像処理により複合線を検出する複合線検出手段とを備え、確信度算出手段は、白線候補が複合線検出手段により検出した複合線に属する場合、その白線候補の確信度を、予め定めた条件に従い増減する。
【００１７】
請求項２に係る車載白線認識装置は、上述したように、横断歩道を検出した場合は、車載カメラで取得した画像のうち、横断歩道を除外した領域において、複合線を検出する。そのため、横断歩道を誤って複合線として検出してしまうことがない。その結果、実際には横断歩道であるのに、複合線であると誤検出し、その横断歩道に属する白線候補を白線として誤認識してしまうようなことがない。よって、請求項２に係る車載白線認識装置によれば、横断歩道や複合線が存在しても、白線を正しく認識できる。
【００１８】
前記複合線検出手段としては、例えば、検出した複合線の複合線らしさ（複合線である可能性の高さ）を定量的に算出できるものが挙げられる。複合線らしさは、例えば、複合線の検出に用いたパターンマッチングにおける一致の程度に応じて算出できる。この場合、確信度算出手段は、複合線らしさに応じて、複合線に属する白線候補の確信度の変化量を変化させることができる。例えば、複合線らしさが大きいほど、確信度の変化量を大きくすることができる。また、複合線らしさに所定の閾値を設定し、複合線らしさがその閾値未満であれば確信度を変化させず、その閾値以上となれば確信度を変化させることができる。
【００１９】
本発明の車載白線認識装置は、確信度算出手段を複数備え、白線選択手段は、複数の確信度算出手段がそれぞれ算出した確信度を乗算することで統合して尤度を算出し、尤度が最大である白線候補を選択するものであることが好ましい。
【００２０】
この場合、車載白線認識装置では、確信度算出手段の種類がどのようなものであっても、それらを容易に組み合わせて尤度を求め、その尤度に基づいて白線候補を選択することができる。従って、確信度算出手段を改良したり、新たな確信度算出手段を追加したりした場合であっても、それら複数の処理を容易に統合できる。
【００２１】
本発明の車載白線認識装置は、例えば、車線逸脱警報装置に適用することができる。その車線逸脱警報装置は、車載白線認識装置で認識した白線に基づき、白線の自車からの左右における距離を計算し、いずれかが閾値以下の場合、つまり、自車が白線に、閾値で設定される距離よりも近付いた場合に、ドライバに警報を与える。
【００２２】
また、車載白線認識装置で認識した一対の平行な白線に基づいてＦＯＥ（消失点）を算出し、そのＦＯＥを、歩行者等の認識に利用することができる。
【図面の簡単な説明】
【００２３】
【図１】車載白線認識装置１の概略の構成を表す機能ブロック図である。
【図２】車両における車載カメラ１０の位置を表す説明図である。
【図３】画像処理部２０の概略の機能構成を示す機能ブロック図である。
【図４】確信度の設定条件を表すグラフである。
【図５】横断歩道を表す説明図である。
【図６】複合線を表す説明図である。
【図７】道路上に白線Ｐ１と横断歩道とが存在する態様を表す写真である。
【図８】（ａ）はかすれ横断歩道を表す写真であり、（ｂ）は複合線(北米カープールレーン)を表す写真であり、（ｃ）は複合線（３重破線）を表す写真である。
【発明を実施するための形態】
【００２４】
本発明の実施形態を図面に基づいて説明する。
［第１実施形態］
１．車載白線認識装置１の構成及び作用
車載白線認識装置１の構成及び作用を図１〜図６に基づいて説明する。図１は、本発明が適用された車載白線認識装置１の概略の構成を示すブロック図であり、図２は、車両における車載カメラ１０の位置を表す説明図であり、図３は、画像処理部２０の概略の機能構成を示す機能ブロック図であり、図４は後述する確信度の設定条件を表すグラフであり、図５は横断歩道を表す説明図であり、図６は複合線を表す説明図である。
【００２５】
車載白線認識装置１は、図１に示すように、車両周囲の画像を取得する車載カメラ１０と車載カメラ１０で取得した車両周囲の画像を画像処理する画像処理装置２０とを備えている。
【００２６】
画像処理装置２０は、図３に示すように、複数のＤＳＰ３０〜１２０、ＤＳＰ３０〜１２０の間のデータ伝送のためのＢＵＳ１３０及び図示しないＲＯＭ、ＲＡＭ及びＩ／Ｏを備えている。
【００２７】
ＤＳＰ３０は、車載カメラ１０で取得した画像から画像処理により道路上の白線候補を抽出する白線候補抽出を行うＤＳＰであり、以下、このＤＳＰ３０を白線候補抽出部３０と呼ぶ。
【００２８】
具体的には、車載カメラ１０で取得した画像から、公知の画像処理であるパターンマッチング、直線抽出ハフ変換処理における投票数（実線・破線判定結果）などにより、道路上の白線らしきもの（白線候補）を抽出する。なお、白線候補は、１フレームの画像において複数抽出される場合もある。
【００２９】
ＤＳＰ４０は、白線候補抽出部３０で抽出した白線候補について、白線らしさの確信度を算出するＤＳＰであり、以下、このＤＳＰ４０を白線特徴算出部４０と呼ぶ。なお、確信度は、０.０１〜１の範囲内で設定される数値（尤度）であって、白線特徴算出部４０が、後述する（１）〜（９）の各処理ごとに設定する。よって、１つの白線候補について、複数の確信度が設定される。白線特徴算出部４０が実行する（１）〜（９）の各処理は、それぞれ、以下のとおりである。
（１）ＤＳＰ１２０によって横断歩道を検出した場合は、その横断歩道の位置にある白線候補の確信度を下げる。なお、確信度は、横断歩道らしさ（後述）に応じて、図４に示すように設定される。図４において、横軸はＤＳＰ１２０によって算出された横断歩道らしさであり、縦軸は設定される確信度である。横断歩道らしさが６０％以上である場合は、確信度は０．１０であり一定である。横断歩道らしさが４０％から６０％までの間の場合、確信度は、横断歩道らしさが低下するのに伴い（比例して）、上がる。断歩道らしさが４０％未満の場合、確信度は０．５０で一定である。なお、ＤＳＰ１２０によって横断歩道を検出するとは、横断歩道らしさが４０％以上である場合である。
（２）複数の白線候補から、公知のパターンマッチング（画像処理）により複合線を検出する。また、パターンの一致の程度により、複合線らしさを定量的に算出する。なお、複合線とは、２本以上の白線が所定の間隔をおいて存在する態様をいう。
【００３０】
そして、検出した複合線に属する各白線候補の確信度を、予め定めた条件に従い、複合線における位置に応じて増減する。例えば、図６に示すように、白線候補２０５ａ、２０５ｂ、２０５ｃから成る複合線を検出した場合、中心の白線候補２０５ｂの確信度を、複合線ではない白線候補に比べて、所定量上げ、両サイドの白線候補２０５ａ、２０５ｃの確信度を、複合線ではない白線候補に比べて、所定量下げる。確信度の増減量は、その複合線の複合線らしさに応じて変化し、複合線らしさが高いほど、増減量は大きい。複合線が４本以上である場合も、同様に、複合線に属する各白線候補の確信度を、複合線における位置に応じて増減する。なお、複合線の検出結果は、後述するように、横断歩道検出部１２０で利用する。
（３）白線らしさを示す特徴として、白線候補抽出部３０で抽出した白線候補の内部輝度分散又は内部エッジ量のいずれかを用いる。
【００３１】
白線は、通常白色であり、車両のヘッドライトや街路灯などの照明装置から照射される光を乱反射するようになっているので、道路面に比べて輝度分散の値が大きい。
また、内部エッジ量の大小は、その領域の平坦度を示している。つまり、平坦度が大きければ、その領域にはエッジとなる部分が少ないということであるので、内部エッジ量が小さければ平坦度が大きく、逆に内部エッジ量が多ければ平坦度が小さくなる。白線は、道路面に比べ平坦度が大きいため内部エッジ量が少ない。
【００３２】
従って、白線候補の内部輝度分散又は内部エッジ量を算出し、算出した内部輝度分散又は内部エッジ量に応じて、確信度を設定し（内部輝度分散が大きければ確信度を大きくし、内部エッジ量が小さければ確信度を大きくする。）、出力するようにするのである。
（４）エッジ方向の分散又はヒストグラムのピーク比率
白線らしさを示す特徴として、白線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いる。
【００３３】
白線は、通常道路上に一方向に描かれている（道路がカーブしていても、曲率が比較的小さいため、車載カメラ１０で取得した画像の範囲では一方向に描かれているものとみなすことができる。）ので、道路面に比べ、白線のエッジ方向の分散は大きくなる。また、白線は線分であるので、エッジ方向のヒストグラムの比率や大きさが道路面に比べて大きい。
【００３４】
従って、白線らしさを示す情報として、白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさを用いることができる。
従って、白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさを算出し、算出した白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさに応じて確信度を設定し（白線候補のエッジ方向の分散、エッジ方向のヒストグラムの比率又は大きさが大きければ確信度を大きくし、小さければ確信度を小さくする。）、出力するようにするのである。
（５）道路面特徴抽出部７０で抽出した白線候補自体の模様又は平均輝度の差が所定の値以下の場合には、その白線候補の確信度を下げる。
【００３５】
具体的には、道路面上には、道路側部のガードレールなどにより影が映り込む場合がある。例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り、白線のように見える場合がある。他にも黒いコールタールによる補修跡で囲まれた領域が直線状に映る場合がある。
【００３６】
これら道路上の影や補修跡で囲まれた領域と白線とを識別するには、領域と白線候補との模様や平均輝度を比較すればよい。そこで、道路面特徴抽出部７０で抽出した領域と白線候補との模様の差が大きければ両者は異なるものとして確信度を上げ、平均輝度の差が小さければ両者が一致するとして、その白線候補の確信度を下げるのである。
（６）エッジ特徴抽出部８０で抽出したエッジ総量の差が所定の値以下の場合には、白線候補の確信度を下げる。
【００３７】
白線がかすれなどによって、道路面との輝度差が低くなった場合であっても、人間の目では白線らしくシミのように見える。これは、道路上に全く模様がない場合にはシミが強調して見えるという人間の感性によるものである。
【００３８】
そこで、エッジ特徴抽出部８０で抽出した、白線候補に囲まれる領域と白線のエッジ総量の差が所定の値以下の場合には、その白線候補の確信度を下げるのである。
（７）筋模様検出部９０で筋状の模様が検出された場合には、確信度を下げる。
【００３９】
車両のスリップ防止のため道路上に縦筋が刻まれている場合がある。その場合、道路上に刻まれている縦筋は道路面に比べ輝度が低い（暗い）が、縦筋端の輝度は白線端と差がない場合がある。そこで、筋模様検出部９０で白線候補上に筋模様が検出された場合には、その白線候補の確信度を下げるのである。
（８）交通標識検出部１００で交通標識が検出された場合には、確信度を下げる。
【００４０】
道路上には、白線の他に、矢印、制限速度、止まれ文字などの交通標識や横断歩道などが描かれている。従って、交通標識検出部１００により、白線候補の位置に交通標識等が検出されたときは、その白線候補の確信度を下げるのである。
（９）ペア白線候補検出部１１０によって、車両進行方向に対して車両の両側方で一対となる白線候補を検出した場合には、検出した一対の白線候補の内側の領域に存在する白線候補の確信度を下げる。
【００４１】
道路上の白線は、車両が走行している場合には、車両進行方向に対して車両の両側に存在する。従って、ペア白線候補検出部１１０で、白線候補のうち車両進行方向に対して車両の両側方で一対となるものを検出した場合、その一対の白線候補の確信度を上げるのである。
【００４２】
ＤＳＰ５０は、上記（１）〜（９）においてそれぞれ算出されて出力される確信度を乗算して統合することにより白線らしさを示す尤度を出力するＤＳＰであり、以下、このＤＳＰ５０を白線特徴統合部５０と呼ぶ。
【００４３】
白線特徴統合部５０における統合処理はベイズ推定のフレームワークに基づき、確信度の乗算による統合から判定する。例えば、白線特徴算出部４０の（１）〜（９）に示した処理のうちの２つによって算出した白線らしさの確信度Ａ、Ｂがそれぞれ０．６、０．７であった場合、統合した尤度は、（０．６＊０．７）/（０．６＊０．７＋０．４＊０．３）＝０．７８となる。
【００４４】
ここで、０．４，０．３はそれぞれＡ、Ｂによる白線らしくなさ（１−０．６、１−０．７）である。
また、白線特徴算出部４０における処理が増えた場合も統合処理の内容は単に尤度統合処理の入力確信度の数が増えるだけで本質的には変わらず、拡張性に富む。これにより、高精度、高ロバスト性を実現しつつ、新たな情報の追加や削除が容易な構造が実現できる。
【００４５】
ＤＳＰ６０は、白線特徴統合部５０が出力する尤度のうち最大の尤度を有する白線候補を道路上の白線として選択するＤＳＰであり、以下、このＤＳＰ６０を白線選択部６０と呼ぶ。
【００４６】
白線特徴統合部５０では、白線候補に対して「白線らしさ」が統合された尤度として出力されるので、白線選択部６０では、その統合された尤度が最大となっている白線を道路上の白線として選択するのである。
【００４７】
ＤＳＰ７０は、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体の模様又は平均輝度を含む特徴を抽出するＤＳＰであり、以下、このＤＳＰ７０を道路面特徴抽出部７０と呼ぶ。
【００４８】
例えば、横方向からの直射日光によりガードレールの隙間から差し込む光が直線状に道路面に映り、白線のように見える場合やコールタールによる補修跡で囲まれた領域が直線状に映る場合があるので、パターンマッチングや輝度の差などにより領域と白線との模様を抽出する。
【００４９】
ＤＳＰ８０は、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体のエッジ総量を抽出するＤＳＰであり、以下、このＤＳＰ８０をエッジ特徴抽出部８０と呼ぶ。
【００５０】
エッジ総量は、車載カメラ１０を二値化して得られた二値化画像からエッジを抽出し、抽出したエッジの数を合計することによって得られる。
ＤＳＰ９０は、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向のエッジ量が所定の値以上の筋状の模様を検出するＤＳＰであり、以下、このＤＳＰ９０を筋模様検出部９０と呼ぶ。
【００５１】
車両のスリップ防止のため道路上に刻まれている縦筋は道路面に比べ輝度が低い（暗い）が、縦筋端の輝度は白線端と差がない場合がある。そこで、車載カメラ１０で取得した画像の二値化画像からエッジ量を算出し、白線候補の車両進行方向の近傍の領域の道路上の車両進行方向のエッジ量が所定の値以上のものを筋状の模様として検出するのである。
【００５２】
ＤＳＰ１００は、車載カメラ１０で取得した画像から道路上に描かれている交通標識（横断歩道の除く）を検出するＤＳＰであり、以下、このＤＳＰ１００を交通標識検出部１００と呼ぶ。
【００５３】
交通標識検出部１００では、道路上に描かれている交通標識をパターンマッチングにより検出する。検出する交通標識としては、矢印、制限速度、止まれ文字など道路面上に描かれている交通標識がある。
【００５４】
ＤＳＰ１１０は、白線候補抽出部３０で抽出した白線候補のうち、車両進行方向に対して車両の両側方で一対となる白線候補の有無を検出するＤＳＰであり、以下、このＤＳＰ１１０をペア白線候補検出部１１０と呼ぶ。
【００５５】
道路上の白線は、車両が走行している場合には、車両進行方向に対して車両の両側に存在する。従って、ペア白線候補検出部１１０では、白線候補抽出部３０で抽出した白線候補のうち車両進行方向に対して車両の両側方で一対となる白線を画像中の車両位置に対する相対位置から検出するのである。
【００５６】
ＤＳＰ１２０は、車載カメラ１０で取得した画像から道路上に描かれている横断歩道を検出するＤＳＰであり、以下、このＤＳＰ１２０を横断歩道検出部１２０と呼ぶ。
横断歩道検出部１２０では、公知のパターンマッチングの方法により、道路上に描かれている横断歩道の候補（以下、横断歩道候補とする）を抽出する。そして、その横断歩道候補の横断歩道らしさを算出する。横断歩道らしさの算出方法を、図５を用いて説明する。道路２０１上に位置する横断歩道候補２０３は、単位線２０３ａ、２０３ｂ、２０３ｃ・・・・で構成されているとする。抽出された横断歩道候補が有する単位線の数が多いほど、横断歩道らしさを高く設定する。例えば、単位線の数が２、３、４、５本の場合、横断歩道らしさを、それぞれ、２０、４０、６０、８０％とする。単位線の数が３本以上であり、横断歩道らしさが４０％以上の場合に、横断歩道を検出したと判断する。
【００５７】
横断歩道検出部１２０は、前述した複合線検出処理によって複合線を検出した場合は、車載カメラ１０で取得した画像のうち、複合線を除外した領域において、横断歩道候補を抽出する。
【００５８】
２．車載白線認識装置１が奏する効果
(i) 車載白線認識装置１は、上述したように、複合線を検出した場合は、車載カメラ１０で取得した画像のうち、複合線を除外した領域において、横断歩道を検出する。そのため、複合線を誤って横断歩道として検出してしまうことがない。その結果、実際には複合線であるのに、横断歩道であると誤検出し、その複合線に属する白線候補の確信度を下げてしまうようなことがない。よって、車載白線認識装置１によれば、横断歩道や複合線が存在しても、白線を正しく認識できる。
【００５９】
(ii)車載白線認識装置１では、複数種類の白線特徴に関する確信度を統合して尤度を算出する。そのため、白線特徴算出部４０の種類がどのようなものであっても、換言すれば、どのような処理内容によって算出された確信度であっても、それらを容易に組み合わせて尤度を求め、その尤度に基づいて白線候補を選択することができる。
【００６０】
従って、白線特徴算出部４０を改良したり、新たな機能の処理を追加したりした場合であっても、それら複数の処理を容易に統合できるようになっている。
(iii)白線特徴算出部４０は、白線らしさを示す特徴として、白線候補抽出部３０で抽出した白線候補の輝度分散又は白線の内部エッジ量のうち少なくとも１つを用いているので、輝度分散により輝度の差異を求めることができ、内部エッジ量により模様平坦度の差異を求めることができる。
【００６１】
つまり、輝度や模様平坦度が異なるガードレールや道路上の傷、補修跡と白線との差異を求めることができるので、より正確な白線らしさの確信度を得ることができる。
また、白線特徴算出部４０は、白線らしさを示す特徴として、白線候補抽出部３０で抽出した白線候補のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかを用いている。
【００６２】
従って、道路上の白線がかすれて消えかかっているような場合や、白線がかすれて細くなっているような場合でも、白線のエッジ方向の分散あるいはエッジ方向のヒストグラムのピークの比率又は大きさのいずれかによって白線とかすれ線や道路面補修跡との差異を求めることができる。従って、より正確な白線らしさの確信度を得ることができる。
【００６３】
また、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体の模様又は平均輝度を含む特徴を抽出する道路面特徴抽出部７０を備え、白線特徴算出部４０は、道路面特徴抽出部７０で抽出した白線候補自体の模様又は平均輝度の差が所定の値以下の場合には、白線候補の白線らしさの確信度を下げている。
【００６４】
従って、路側のガードレールなどによる影や道路面補修跡のように、輝度や模様が白線と異なるものがある場合には、その確信度を下げることができるので、白線認識の精度を上げることができる。
【００６５】
また、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補に挟まれる道路上の領域及び白線候補自体のエッジ総量を抽出するエッジ特徴抽出部８０を備え、白線特徴算出部４０、エッジ特徴抽出部８０で抽出したエッジ総量の差が所定の値以下の場合には、白線候補の白線らしさの確信度を下げるようにしている。
【００６６】
従って、白線がかすれている場合であっても、白線候補としての確信度が下がらないようにすることができる。
また、車載カメラ１０で取得した画像から、白線候補抽出部３０で抽出した白線候補の車両進行方向に略直角方向の近傍の領域の、道路上の車両進行方向の輝度が所定の値以下の筋状の模様を検出する筋模様検出部９０を備えている。
【００６７】
また、白線特徴算出部４０は、筋模様検出部９０によって筋状の模様（例えば、スリップ防止用の溝）が検出された場合には、白線候補の白線らしさの確信度を下げている。従って、スリップ防止のためコンクリート道路面に縦筋が刻まれている場合には、その縦筋の白線らしさの確信度を下げることができる。
【００６８】
また、車載カメラ１０で取得した画像から道路上に描かれている交通標識を検出する交通標識検出部１００を備え、交通標識検出部１００で白線候補の位置に交通標識が検出された場合、白線特徴算出部４０は、その白線候補の白線らしさの確信度を下げている。従って、道路上に描かれた交通標識の白線らしさの確信度を低くすることができる。
【００６９】
また、白線候補抽出部３０で抽出した白線候補のうち、車両進行方向に対して車両の両側方で一対となる白線候補の有無を検出するペア白線候補検出部１１０を備え、白線特徴算出部４０は、ペア白線候補検出部１１０によって、車両進行方向に対して車両の両側方で一対となる白線候補を検出した場合には、検出した一対の白線候補の内側の領域に存在する白線候補の白線らしさの確信度を下げている。
【００７０】
従って、車両両側面の一対の白線候補の内側の領域に存在する白線候補（例えば、白線の消し跡や中央ライン等）の白線らしさの確信度を下げることができる。
［第２実施形態］
１．車載白線認識装置１の構成及び作用
本実施形態における車載白線認識装置１の構成及び作用は、基本的には前記第１実施形態と同一であるが、一部において相違する。以下では、その相違点を中心に説明し、前記第１実施形態と同様の部分の説明は省略乃至簡略化する。
【００７１】
本実施形態では、横断歩道検出部１２０は、白線特徴算出部４０によって既に複合線が検出されていた場合でも、その複合線を除外せず、車載カメラ１０で取得した画像の全体において横断歩道を検出する。白線特徴算出部４０は、そのように検出した横断歩道の位置にある白線候補の確信度を下げる。確信度の設定方法は前記第１実施形態と同様である。
【００７２】
また、本実施形態では、横断歩道の検出結果を、複合線の検出において利用する。すなわち、白線特徴算出部４０は、複合線を検出する場合、横断歩道検出部１２０によって既に横断歩道が検出されていれば、車載カメラ１０で取得した画像のうち、その横断歩道を除外した領域において、複合線を検出する。複合線を検出する方法は、前記第１実施形態と同様に、複数の白線候補から、公知のパターンマッチング（画像処理）により複合線を検出する方法である。また、パターンの一致の程度により、複合線らしさを定量的に算出する。そして、検出した複合線に属する各白線候補の確信度を、予め定めた条件に従い、複合線における位置に応じて増減する。
【００７３】
２．車載白線認識装置１が奏する効果
車載白線認識装置１は、上述したように、横断歩道を検出した場合は、車載カメラ１０で取得した画像のうち、横断歩道を除外した領域において、複合線を検出する。そのため、横断歩道を誤って複合線として検出してしまうことがない。その結果、実際には横断歩道であるのに、それを複合線であると誤検出し、その横断歩道に属する白線候補を白線として誤認識してしまうようなことがない。よって、車載白線認識装置１によれば、横断歩道や複合線が存在しても、白線を正しく認識できる。
【００７４】
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、横断歩道検出部１２０は、白線候補のパターンから、横断歩道を検出してもよい。また、白線特徴算出部４０は、車載カメラ１０で取得した画像を画像処理することで（白線候補を使用せず）、複合線を検出してもよい。
【００７５】
また、前記実施形態では、種々の処理を複数のＤＳＰに割り当てて実行していたが、ＤＳＰに割り当てることなく１つのＣＰＵにおいてプログラムとして実行してもよい。
また、前記実施形態では、白線特徴算出部４０を１つのＤＳＰで構成していたが、図３に示すような白線特徴算出部４０の内部処理を複数のＤＳＰに割り当てて構成してもよい。このようにすれば、より高速処理が可能となる。
【００７６】
また、白線特徴算出部４０は、前記（１）〜（９）の処理に加えて、又はそのいずれかに代えて、以下の処理を行ってもよい。
総延長距離：白線候補の長手方向（車両進行方向）における長さが長いほど、その白線候補の確信度を大きくする。
【符号の説明】
【００７７】
１・・・車載白線認識装置、１０・・・車載カメラ、２０・・・画像処理装置、
３０・・・白線候補抽出部、４０・・・白線特徴算出部、５０・・・白線特徴統合部、
６０・・・白線選択部、７０・・・道路面特徴抽出部、８０・・・エッジ特徴抽出部、
９０・・・筋模様検出部、１００・・・交通標識検出部、
１１０・・・ペア白線候補検出部、１２０・・・横断歩道検出部、２０１・・・道路、
２０３・・・横断歩道候補、２０３ａ、２０３ｂ、２０３ｃ・・・単位線、
２０５ａ、２０５ｂ、２０５ｃ・・・白線候補
【特許請求の範囲】
【請求項１】
車両周囲の画像を取得する車載カメラと、
前記車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、
前記白線候補の白線らしさの確信度を算出する確信度算出手段と、
前記確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段と、
前記車載カメラで取得した画像から画像処理により複合線を検出する複合線検出手段と、
前記車載カメラで取得した画像のうち、前記複合線検出手段により検出した前記複合線を除外した領域において、画像処理により横断歩道を検出する横断歩道検出手段と、
を備え、
前記確信度算出手段は、前記白線候補が前記横断歩道検出手段により検出した横断歩道に属する場合、それ以外の場合よりも、その白線候補の前記確信度を低くすることを特徴とする車載白線認識装置。
【請求項２】
車両周囲の画像を取得する車載カメラと、
前記車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、
前記白線候補の白線らしさの確信度を算出する確信度算出手段と、
前記確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段と、
前記車載カメラで取得した画像から画像処理により横断歩道を検出する横断歩道検出手段と、
前記車載カメラで取得した画像のうち、前記横断歩道検出手段により検出した前記横断歩道を除外した領域において、画像処理により複合線を検出する複合線検出手段と、
を備え、
前記確信度算出手段は、前記白線候補が前記複合線検出手段により検出した複合線に属する場合、その白線候補の前記確信度を、予め定めた条件に従い増減することを特徴とする車載白線認識装置。
【請求項３】
前記確信度算出手段を複数備え、
前記白線選択手段は、複数の前記確信度算出手段がそれぞれ算出した前記確信度を乗算することで統合して尤度を算出し、前記尤度が最大である前記白線候補を選択することを特徴とする請求項１又は２記載の車載白線認識装置。
【請求項１】
車両周囲の画像を取得する車載カメラと、
前記車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、
前記白線候補の白線らしさの確信度を算出する確信度算出手段と、
前記確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段と、
前記車載カメラで取得した画像から画像処理により複合線を検出する複合線検出手段と、
前記車載カメラで取得した画像のうち、前記複合線検出手段により検出した前記複合線を除外した領域において、画像処理により横断歩道を検出する横断歩道検出手段と、
を備え、
前記確信度算出手段は、前記白線候補が前記横断歩道検出手段により検出した横断歩道に属する場合、それ以外の場合よりも、その白線候補の前記確信度を低くすることを特徴とする車載白線認識装置。
【請求項２】
車両周囲の画像を取得する車載カメラと、
前記車載カメラで取得した画像から画像処理により白線候補を抽出する白線候補抽出手段と、
前記白線候補の白線らしさの確信度を算出する確信度算出手段と、
前記確信度算出手段が算出した確信度に基づき、認識する白線を選択する白線選択手段と、
前記車載カメラで取得した画像から画像処理により横断歩道を検出する横断歩道検出手段と、
前記車載カメラで取得した画像のうち、前記横断歩道検出手段により検出した前記横断歩道を除外した領域において、画像処理により複合線を検出する複合線検出手段と、
を備え、
前記確信度算出手段は、前記白線候補が前記複合線検出手段により検出した複合線に属する場合、その白線候補の前記確信度を、予め定めた条件に従い増減することを特徴とする車載白線認識装置。
【請求項３】
前記確信度算出手段を複数備え、
前記白線選択手段は、複数の前記確信度算出手段がそれぞれ算出した前記確信度を乗算することで統合して尤度を算出し、前記尤度が最大である前記白線候補を選択することを特徴とする請求項１又は２記載の車載白線認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１９２１６４（Ｐ２０１１−１９２１６４Ａ）
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願番号】特願２０１０−５９４６８（Ｐ２０１０−５９４６８）
【出願日】平成２２年３月１６日（２０１０．３．１６）
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２３年９月２９日（２０１１．９．２９）
【国際特許分類】
【出願日】平成２２年３月１６日（２０１０．３．１６）
【出願人】（０００００４６９５）株式会社日本自動車部品総合研究所 (1,981)
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]