車線検出プログラム及び車線検出装置
【課題】車線の検出結果を利用した別処理を行う場合に、誤った処理結果が導出されるのを防止すること。
【解決手段】車線検出装置１は、車両に搭載したカメラにより取得された画像から、路面に標示された車線および該車線以外の路面標示を検出する検出部２を有する。さらに、車線検出装置１は、検出部２によって車線のみが検出された場合には該車線の検出結果を出力し、車線とともに該車線以外の路面標示が検出された場合には該車線の検出結果の出力を抑止する出力制御部３を有する。
【解決手段】車線検出装置１は、車両に搭載したカメラにより取得された画像から、路面に標示された車線および該車線以外の路面標示を検出する検出部２を有する。さらに、車線検出装置１は、検出部２によって車線のみが検出された場合には該車線の検出結果を出力し、車線とともに該車線以外の路面標示が検出された場合には該車線の検出結果の出力を抑止する出力制御部３を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車線検出プログラム及び車線検出装置に関する。
【背景技術】
【０００２】
車載カメラによって撮像された画像を用いて白線や横断歩道などの路面標示を検出する車載用路面標示検出装置が知られている。この車載用路面標示検出装置では、車載カメラによって自車両の走行方向が撮像された画像データからエッジ点を抽出する。そして、車載用路面標示検出装置は、車載カメラによって撮像された画像を複数の部分画像に分割し、各部分画像内に存在するエッジ点を通る線分を抽出する。その上で、車載用路面標示検出装置は、線分の傾きと端点位置との差が所定範囲内にある線分同士を一つの組とし、組となった線分の傾き及び端点位置を特徴として抽出する。このようにして抽出した特徴を用いて、車載用路面標示検出装置は、例えば白線や横断歩道などを検出する。
【０００３】
これらの路面標示の中でも白線の検出結果は多様な用途に使用され得る。一例としては、自車両の位置判断に用いられる。例えば、車載カメラによって撮像された画像から検出した地物の検出結果を用いて自車位置の認識を行う自車位置認識装置が提案されている。このような地物の１つとして白線の検出結果を援用して自車位置の認識を行い、車線内における自車両の位置が路肩や隣車線に近づきすぎていないか否かを判断する使用例も想定され得る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３３９４６８号公報
【特許文献２】特開２００７−２７１５６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、白線の検出結果を利用した別処理を行う場合には、白線以外の路面標示を白線と混同して別処理が実行される可能性を有するので、別処理で誤った処理結果が導出されるおそれがあるという課題がある。
【０００６】
一例として、車載用路面標示検出装置によって検出された白線の検出結果を入力として自車位置認識装置が自車位置の認識を行う場合を想定する。この場合には、車載用路面標示検出装置が車載カメラの撮影画像に含まれる白線と横断歩道とを正確に区別できるとは限らない。例えば、車載用路面標示検出装置が白線に類似する横断歩道のペイントの一部を白線として誤検出することもあり得る。このような検出結果を用いる場合には、白線と横断歩道の位置関係によっては、自車位置認識装置が白線の一部および横断歩道の一部を一対の白線と見做して自車位置を認識することになる。この結果、自車位置認識装置は、実際の車道における自車両の走行車線の間隔よりも広い間隔を基準に自車位置を認識したり、或いはそれよりも狭い間隔を基準に自車位置を認識したりするおそれが生じる。
【０００７】
なお、この課題は、白線の検出結果を利用する場合だけでなく、黄色車線などの他の車線全般を検出結果として利用する場合に同様に生ずる課題である。
【０００８】
開示の技術は、上記に鑑みてなされたものであって、車線の検出結果を利用した別処理を行う場合に、誤った処理結果が導出されることを防止できる車線検出プログラム及び車線検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の開示する車線検出プログラムは、コンピュータに、車両に搭載したカメラにより取得された画像から、路面に標示された車線および該車線以外の路面標示を検出する検出手順を実行させる。さらに、車線検出プログラムは、コンピュータに、前記検出手順によって前記車線のみが検出された場合には該車線の検出結果を出力し、前記車線とともに該車線以外の路面標示が検出された場合には該車線の検出結果の出力を抑止する出力制御手順を実行させる。
【発明の効果】
【００１０】
本願の開示する車線検出プログラムの一つの態様によれば、車線の検出結果を利用した別処理を行う場合に、誤った処理結果が導出されることを防止することが可能になるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施例１に係る車線検出装置の構成を示すブロック図である。
【図２】図２は、実施例２に係る車載装置の構成を示すブロック図である。
【図３】図３は、撮影画像の一例を示す図である。
【図４】図４は、白線のエッジ画像の一例を示す図である。
【図５】図５は、内側線および外側線を境界とした輝度値の変化を説明するための図である。
【図６】図６は、矢印標示の一例を示す図である。
【図７】図７は、矢印標示のエッジ画像の一例を示す図である。
【図８】図８は、速度標示における数字ゼロの特定要領を説明するための図である。
【図９】図９は、速度標示領域の算出要領を説明するための図である。
【図１０】図１０は、実施例２に係る出力制御処理の手順を示すフローチャートである。
【図１１】図１１は、実施例２に係る白線候補抽出処理の手順を示すフローチャートである。
【図１２】図１２は、実施例２に係る横断歩道除外処理の手順を示すフローチャートである。
【図１３】図１３は、実施例２に係る矢印標示除外処理の手順を示すフローチャートである。
【図１４】図１４は、実施例２に係る速度標示除外処理の手順を示すフローチャートである。
【図１５】図１５は、実施例３に係る車線検出プログラムを実行するコンピュータの一例について説明するための図である。
【発明を実施するための形態】
【００１２】
以下に、本願の開示する車線検出プログラム及び車線検出装置の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１３】
図１は、実施例１に係る車線検出装置の構成を示すブロック図である。図１に示すように、車線検出装置１は、検出部２と、出力制御部３とを有する。
【００１４】
このうち、検出部２は、車両に搭載したカメラにより取得された画像から、路面に標示された車線および該車線以外の路面標示を検出する。また、出力制御部３は、検出部２によって車線のみが検出された場合には該車線の検出結果を出力し、車線とともに該車線以外の路面標示が検出された場合には該車線の検出結果の出力を抑止する。
【００１５】
すなわち、車線とともに該車線以外の路面標示が検出された場合には、車線の検出結果として車線と類似しているが車線ではない路面標示が含まれる可能性を排除できない。このように、車線以外の路面標示を車線と混同して別処理が実行されるおそれがある場合には、出力制御部３が車線の検出結果の出力を抑制するので、別処理は実行されない。
【００１６】
一方、車線のみが検出された場合には、車線および車線以外の路面標示が検出される場合に比べ、車線と混同し得る他の路面標示が車線の検出結果に含まれている可能性は低い。このため、出力制御部３は、車線の検出結果を出力する。かかる場合には、車線以外の路面標示を車線と混同して別処理が実行されるおそれが低いので、誤った処理結果が導出されることはない。
【００１７】
このように、本実施例に係る車線検出装置１では、車線と混同し得る他の路面標示が車線の検出結果に含まれている可能性が高い場合に別処理が実行されることはない。また、本実施例に車線検出装置１では、車線の検出結果が出力されたとしても車線と混同し得る他の路面標示が含まれていないので、別処理で車線と混同して実行されることもない。したがって、本実施例に係る車線検出装置１によれば、車線の検出結果を利用した別処理を行う場合に、誤った処理結果が導出されることを防止することが可能になる。
【実施例２】
【００１８】
続いて、実施例２に係る車載装置について説明する。図２は、実施例２に係る車載装置の構成を示すブロック図である。図２に示すように、車載装置１０は、その内部に記憶部１１と、制御部１２とを有する。また、車載装置１０は、車両に搭載される他の装置と接続されており、例えば、車載カメラ２００、車両ＥＣＵ（Electronic Control Unit）３００や出力デバイス４００などの他の装置と接続される。
【００１９】
まず、車載装置１０に接続される他の装置を説明する。このうち、車載カメラ２００は、車両に搭載されるカメラである。一例としては、車載カメラ２００として、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像装置を適用できる。なお、本実施例では、車載カメラ２００が後述のエッジ検出部１２ａへ白黒画像を入力する場合を説明するが、カラー画像を入力することとしてもかまわない。
【００２０】
この車載カメラ２００は、自車両の所定の設置位置に取り付けられるとともにカメラの光軸の向きが所定の設置角度になるように取り付けられる。例えば、車載カメラ２００は、車両の前方の所定領域、例えば自車両のフロントグリルから３０ｍ前方までの領域を撮像することができるように設置位置及び設置角度が調節される。なお、本実施例では、車載カメラ２００が固定設置される場合を説明するが、車載カメラ２００が水平方向または鉛直方向に可動または回動する場合にも開示の装置を適用できる。
【００２１】
車両ＥＣＵ３００は、車両を制御するためのユニットである。例えば、車両ＥＣＵ３００は、後述の自車位置判断部１２ｆによって出力された自車位置の判断結果に基づき、車両のエンジン、ブレーキやハンドルなどの制御を行う。一例としては、車両ＥＣＵ３００は、方向指示器の操作を受け付けていないにもかかわらず、一方の車線に所定の距離まで近付いている場合や車線からはみ出している場合などには危険防止制御を行う。かかる危険防止制御として、車両ＥＣＵ３００は、エンジンブレーキ又はブレーキにより制動をかけたり、或いは２つの車線により形成される走行領域の中央に車両が復帰するように操舵角を調節したりする。
【００２２】
出力デバイス４００は、モニタ、ディスプレイやタッチパネルなどの表示装置、スピーカなどの音声出力装置などを含む。この出力デバイス４００は、車載装置１０や車両ＥＣＵ３００などの指示に基づき、車載装置１０または車両ＥＣＵ３００で実行された処理の結果を表示または音声出力する。一例としては、出力デバイス４００は、後述の自車位置判断部１２ｆによって判断された自車位置を表示したり、さらに、自車両が内側線または外側線からはみ出している場合には、その旨を警告として音声出力したりする。
【００２３】
次に、車載装置１０の内部構成を説明する。図２に示すように、記憶部１１は、例えば、フラッシュメモリ（flash memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。なお、記憶部１３は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory)であってもよい。
【００２４】
記憶部１１は、制御部１２で実行される各種プログラム（例えば、車線検出用プログラムや自車位置判断用プログラムなど）やそのプログラムの実行に必要なデータ（例えば、車載カメラ２００の設置位置、設置角度、撮影画像など）を記憶する。このほか、記憶部１１は、例えば白線候補データ１１ａと、路面標示データ１１ｂと、白線データ１１ｃとを記憶する。
【００２５】
このうち、白線候補データ１１ａは、車載カメラ２００により撮像された撮影画像から白線候補抽出部１２ｂにより白線候補として抽出されたエッジ線分を示す情報である。この白線候補データ１１ａは、撮影画像上で垂直方向に線分をなす一対のエッジ線分であり、あくまで白線に似た特徴を有する候補である。すなわち、白線候補データ１１ａには、実際の白線も含まれるものの、白線に特徴が類似する他の路面標示、例えば横断歩道、矢印標示や速度標示なども含まれる。
【００２６】
路面標示データ１１ｂは、白線候補データ１１ａのうち後述の路面標示除外部１２ｃによって白線候補から除外された路面標示を示すエッジ線分である。すなわち、路面標示データ１１ｂには、白線に類似しているが白線ではない路面標示、例えば横断歩道、矢印標示や速度標示などが含まれる。
【００２７】
白線データ１１ｃは、白線候補データ１１ａのうち後述の白線決定部１２ｄによって白線として決定された白線を示すエッジ線分である。すなわち、白線データ１１ｃは、白線候補データ１１ａから横断歩道、矢印標示および速度標示などの他の路面標示が除外された白線候補同士を道路が連なる方向に沿って連結したものである。
【００２８】
制御部１２は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路、または、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路である。
【００２９】
この制御部１２は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１２は、図２に示すように、エッジ検出部１２ａと、白線候補抽出部１２ｂと、路面標示除外部１２ｃと、白線決定部１２ｄと、出力制御部１２ｅと、自車位置判断部１２ｆとを有する。
【００３０】
このうち、エッジ検出部１２ａは、撮影画像の中からエッジ成分を検出する処理部である。一例としては、エッジ検出部１２ａは、画像上における水平方向、垂直方向や斜め方向のエッジを検出するための所定のフィルタを用いて、撮影画像の各画素の輝度値からエッジ点を検出する。なお、輝度値とは、各画素の明るさを示し、例えば「１〜２５６」の数値で表現される。そして、エッジ検出部１２ａは、このようにして検出したエッジ点を繋ぎ合わせることによりエッジ線分を検出する。このエッジ検出の段階で得られたエッジ線分には、白線、横断歩道、矢印標示や速度標示などの路面標示だけでなく、道路のひび割れなどのノイズ成分も含まれる。
【００３１】
なお、エッジ検出部１２ａでは、車載カメラ２００によって撮像された撮影画像をそのまま入力画像としてエッジ検出を行うこととしてもよいし、記憶部１１に格納してから読み出して処理を行うこととしてもかまわない。また、エッジ検出部１２ａは、必ずしも撮影画像全てに対してエッジ検出を行う必要はない。
【００３２】
図３は、撮影画像の一例を示す図である。図３に示す符号「Ｖｐ」は、撮影画像３１における消失点を示す。図３に示す例で言えば、エッジ検出部１２ａは、撮影画像３１の全領域のうち消失点Ｖｐよりも下部に所在する路面領域だけをエッジ検出の対象とすることもできる。このように、エッジ検出の処理対象を限定するのは、消失点Ｖｐよりも上部の領域にエッジ検出を行ったとしても白線は検出できないからである。さらには、撮影画像に含まれる施設や置物などが後述の白線候補抽出部１２ｂにより白線と誤って抽出されることを防止するためでもある。
【００３３】
白線候補抽出部１２ｂは、エッジ検出部１２ａによって検出されたエッジ線分から白線候補を抽出する処理部である。ここでは、自車両の走行領域の左側にある白線候補の抽出を行う場合を想定して以下の説明を行う。かかる場合には、白線候補抽出部１２ｂは、撮影画像の中心部により近いエッジ線分から順にそのエッジ線分を内側線とし、その内側線と対をなす、すなわち内側線よりも左側に所在し、かつ内側線と略平行であるエッジ線分を外側線として検索する。ここで言う「内側線」とは、２つの白線によって形成される自車両の走行領域において白線と路面舗装との輝度値の差により顕在化するエッジ成分のうち各白線の内側に現れるエッジ成分を指す。また、「外側線」とは、２つの白線によって形成される自車両の走行領域において白線と路面舗装との輝度値の差により顕在化するエッジ成分のうち各白線の外側に現れるエッジ成分を指す。このとき、白線候補抽出部１２ｂは、撮影画像における中心部よりも左側に所在するエッジ線分のうち、垂直方向に対する傾きが所定の角度以内であるエッジ線分を内側線として選定するものとする。なお、ここでは、自車両の走行領域の左側にある白線候補の抽出を行う場合を想定して説明を行ったが、自車両の走行領域の右側にある白線候補の抽出を行う場合も内側線および外側線の左右が逆になるだけでその他の処理は同様である。
【００３４】
そして、白線候補抽出部１２ｂは、このようにして検索した内側線および外側線の重複率が所定の閾値以上であるか否かを判定する。ここで言う重複率とは、内側線および外側線の両方が重複する重複部分の長さが内側線の長さに占める割合をいう。図４は、白線のエッジ画像の一例を示す図である。図４に示す符号「４１」は内側線を示す。図４に示す符号「４２」は外側線を示す。図４に示す符号「４３」は内側線４１と外側線４２の重複部分の長さを示す。図４に示す符号「４４」は内側線４１の長さを示す。図４に示す符号「４５」は内側線４１および外側線４２が形成する帯線の横幅を指す。図４に示す例で言えば、白線候補抽出部１２ｂは、内側線４１および外側線４２の両方が重複する重複部分の長さ４３が内側線４１の長さ４４で占める百分率が２５％以上であるか否かを判定する。
【００３５】
続いて、白線候補抽出部１２ｂは、重複率が所定の閾値以上である場合に、内側線および外側線の輝度値の変化が所定の閾値以内であるか否かをさらに判定する。ここで言う輝度値の変化とは、内側線および外側線における高輝度側の輝度値の差分の絶対値と、内側線および外側線における低輝度側の輝度値の差分の絶対値との和を指す。
【００３６】
図５は、内側線および外側線を境界とした輝度値の変化を説明するための図である。図５に示す符号「５１Ａ」は内側線４１の高輝度側の領域を指す。図５に示す符号「５１Ｂ」は内側線４１の低輝度側の領域を指す。図５に示す符号「５２Ａ」は外側線４２の高輝度側の領域を指す。図５に示す符号「５２Ｂ」は外側線４２の低輝度側の領域を指す。図５に示す例で言えば、白線候補抽出部１２ｂは、領域５１Ａの輝度値の平均値および領域５２Ａの輝度値の平均値の差分値の絶対値と、領域５１Ｂの輝度値の平均値および領域５２Ｂの輝度値の平均値の差分値の絶対値とを足し合わせる。そして、白線候補抽出部１２ｂは、２つの差分値の絶対値を足し合わせた合算値が所定の閾値、例えば５０以内であるか否かを判定する。このとき、白線候補抽出部１２ｂは、合算値が所定の閾値以上である場合には、内側線および外側線として仮決めした一対のエッジ線分を白線候補として抽出はしない。かかる輝度値の変化が閾値よりも大きい場合に白線候補から除外するのは、内側線および外側線の間で白線の色が大幅に変化することが稀であるからである。さらに、内側線が面する道路の舗装および外側線が面する道路の舗装の色が大幅に変化することも稀であるからである。
【００３７】
そして、白線候補抽出部１２ｂは、内側線および外側線の輝度値の変化が所定の閾値以内である場合に、内側線および外側線が形成する帯線の横幅が所定の範囲以内であるか否かをさらに判定する。図４に示した例で言えば、白線候補抽出部１２ｂは、内側線４１および外側線４２が形成する帯線の横幅４５が「１０ｃｍ≦横幅≦７５ｃｍ」の範囲に収まるか否かを判定する。このとき、白線候補抽出部１２ｂは、帯線の横幅４５が上記の範囲に収まらない場合には、内側線および外側線として仮決めした一対のエッジ線分を白線以外の他の路面標示候補として記憶部１１の白線候補データ１１ａに登録する。
【００３８】
なお、ここでは、説明の便宜上、帯線の横幅と比較する値として、画像スケールから実寸スケールに換算された値を例示しているが、実際には画像スケールの値で帯線の横幅との比較が行われる。
【００３９】
続いて、白線候補抽出部１２ｂは、内側線および外側線が形成する帯線の白線らしさを表す指標、以下白線スコアと表記を算出する。一例として、白線候補抽出部１２ｂは、下記の算出式を用いて白線スコアを算出する。
【００４０】
【数１】
【００４１】
上記の算出式において「帯線の輝度値」とは、内側線および外側線が形成する帯線に含まれる画素いずれかの輝度値または各画素の平均値を指す。かかる「帯線の輝度値」を分子とする算出式とした場合には、帯線の色が白ければ白いほど白線スコアを上げる重み付けを行うことができる。
【００４２】
また、「輝度値の差分」とは、内側線の高輝度側の輝度値−内側線の低輝度側の輝度値と、外側線の高輝度側の輝度値−外側線の低輝度側の輝度値との平均値を指す。図５に示す例で言い換えれば、領域５１Ａの輝度値の平均値−領域５１Ｂの輝度値の平均値と、領域５２Ａの輝度値の平均値−領域５２Ｂの輝度値の平均値との平均値を指す。かかる「輝度値の差分」を分子とする算出式とした場合には、白線と路面舗装のコントラストが明瞭であるほど白線スコアを上げる重み付けを行うことができる。
【００４３】
また、「処理範囲の長さ」とは、撮影画像のうちエッジ検出をはじめとする画像処理の対象とした範囲の垂直方向の長さを示す。かかる「処理範囲の長さ」を分母とし、「内側線の長さ」を分子とする算出式とした場合には、処理範囲に占める内側線の割合が多ければ多いほど白線スコアを上げる重み付けを行うことができる。
【００４４】
また、「重複率」を加算する算出式とした場合には、内側線および外側線の両方が重複する重複部分の長さが内側線の長さに占める割合が大きいほど白線スコアを上げる重み付けを行うことができる。
【００４５】
このように、上記の算出式を用いた場合には、白線候補抽出部１２ｂは、一対のエッジ線分が白線と類似する傾向を示すほどスコアが高くなるように白線スコアを算出することができる。
【００４６】
なお、白線スコアの算出式は、上記の算出式に限定されるものではない。例えば、白線スコアの算出式では、「帯線の輝度値」を含む項、「輝度値の差分」を含む項、「内側線の長さ」を含む項、重複率の項のうち一部の項を省くこともできるし、新たな項を追加することもできる。また、白線スコアの算出式では、各項に対して任意の定数を乗じたり、除したりすることで任意の重み付けを行うこともできる。また、上記の白線スコアの算出式では、加点方式としたが減点方式の算出式としてもかまわない。
【００４７】
そして、白線候補抽出部１２ｂは、白線スコアが所定の閾値以上である場合には、先に内側線および外側線と仮決めした一対のエッジ線分を白線候補として抽出し、抽出した一対のエッジ成分を白線候補データ１１ａとして記憶部１１へ登録する。なお、白線候補抽出部１２ｂは、白線スコアが所定の閾値未満である場合には、先に内側線および外側線と仮決めした一対のエッジ線分を白線候補として抽出しない。
【００４８】
この白線候補を抽出した段階で得られたエッジ線分では、撮影画像に含まれるエッジ線分のうち道路のひび割れなどのノイズ成分が除外され、白線をはじめ、白線と類似する横断歩道、矢印標示や速度標示などの路面標示に絞られる。
【００４９】
図２の説明に戻り、路面標示除外部１２ｃは、白線候補の中から白線以外の路面標示を除外する処理部である。すなわち、路面標示除外部１２ｃは、白線候補抽出部１２ｂによって抽出された白線候補から「横断歩道」、「矢印標示」及び「速度標示」を除外する。
【００５０】
まず、白線候補から横断歩道を除外する場合について説明する。路面標示除外部１２ｃは、撮影画像における１つの水平ラインに含まれる白線候補を探索し、１つの水平ラインに含まれる白線候補の数が所定の閾値以上であるか否かを判定する。例えば、路面標示除外部１２ｃは、道路には１つの走行領域に２つの白線が含まれるのが原則であるので、先の閾値を３つとして白線候補の数が３つ以上存在する場合には白線候補が横断歩道の可能性があると判定する。
【００５１】
さらに、路面標示除外部１２ｃは、１つの水平ラインに含まれる白線候補の数が所定の閾値以上である場合に、その水平ラインに含まれる各白線候補のエッジ点間の距離が所定の範囲以内であるか否かをさらに判定する。ここで、横断歩道の縞模様の間隔は、予め道路標識、区画線および道路標示に関する命令により定められている。このため、路面標示除外部１２ｃでは、各白線候補のエッジ点間の距離が横断歩道の縞模様の間隔として規定される規定値を含む所定の範囲、例えば「４５ｃｍ≦横幅≦５０ｃｍ」の範囲に収まるか否かを判定する。このとき、路面標示除外部１２ｃは、各白線候補のエッジ点間の距離が所定の範囲内に収まる場合には、各白線候補のエッジ点を横断歩道候補のエッジ点と推定し、その横断歩道候補を路面標示データ１１ｂとして記憶部１１へ登録する。
【００５２】
かかる水平ラインに対する白線候補の探索が撮影画像の全ラインについて終了すると、路面標示除外部１２ｃは、記憶部１１に路面標示データ１１ｂとして記憶された横断歩道候補のエッジ点が垂直方向に連続するか否かを判定する。そして、路面標示除外部１２ｃは、垂直方向に連続する横断歩道候補の長さが所定の閾値以上であるか否かを判定する。ここで、横断歩道において歩行者が横断方向と直行する方向の幅、すなわち横断歩道の横幅は、少なくとも２ｍ以上であると想定される。このため、路面標示除外部１２ｃでは、横断歩道候補の長さが２ｍ以上であるか否かを判定する。このとき、路面標示除外部１２ｃは、横断歩道候補の長さが２ｍ以上である場合には、横断歩道候補を横断歩道と決定し、横断歩道候補を横断歩道として記憶部１１へ確定登録する。そして、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、横断歩道として確定登録した横断歩道候補のエッジ点を含む白線候補を削除することにより、白線候補から横断歩道を除外する。
【００５３】
次に、白線候補から矢印標示を除外する場合について説明する。路面標示除外部１２ｃは、矢印標示の特徴に基づいて白線候補から矢印標示を除外する。図６は、矢印標示の一例を示す図である。図６に示す符号「６１Ａ」は直進矢印標示を示す。図６に示す符号「６２Ｂ」は、右折矢印標示を示す。図７は、矢印標示のエッジ画像の一例を示す図である。図７に示す符号「７１Ａ」及び「７２Ａ」は直線矢印標示の矢印部分のエッジ線分を示す。図７に示す符号「７３Ａ」は直線矢印標示の矢印部分のエッジ線分の交点を示す。図７に示す符号「７４Ａ」は直線矢印標示の帯線部分を形成するエッジ線分を示す。図７に示す符号「７１Ｂ」〜「７４Ｂ」は右折矢印標示の矢印部分のエッジ線分を示す。図７に示す符号「７５Ｂ」及び「７６Ｂ」は右折矢印標示の矢印部分のエッジ線分の交点を示す。図７に示す符号「７７Ｂ」は右折矢印標示の帯線部分を形成するエッジ線分を示す。
【００５４】
図６に示す直線矢印標示６１Ａ及び右折矢印標示６２Ｂは、図７に示すように、いずれも矢印標示の矢印部分のエッジ線分が交わるエッジ画像が得られるという傾向、さらには、矢印部分の下部近傍に白線と類似する帯線部分を有する傾向がある。図７の例で言えば、直線矢印標示６１Ａのエッジ画像では、エッジ線分７１Ａを内側線、エッジ線分７２Ａを外側線とする白線候補が交点７３Ａで交わる。さらに、直線矢印標示６１Ａのエッジ画像では、エッジ線分７１Ａ及び７２Ａを有する白線候補の下部近傍に、白線と類似する帯線部分７４Ａを有する他の白線候補が存在する。一方、右折矢印標示６２Ｂのエッジ画像では、エッジ線分７１Ｂを内側線、エッジ線分７２Ｂを外側線とする白線候補が交点７５Ｂで交わり、エッジ線分７３Ｂを内側線、エッジ線分７４Ｂを外側線とする白線候補が交点７６Ｂで交わる。さらに、右折矢印標示６１Ｂのエッジ画像では、エッジ線分７１Ｂ及び７２Ｂを有する白線候補と、エッジ線分７３Ｂ及びエッジ線分７４Ｂを有する白線候補の下部近傍に、白線と類似する帯線部分７７Ｂを有する他の白線候補が存在する。
【００５５】
これらのことから、路面標示除外部１２ｃは、白線候補に含まれる内側線および外側線が交わり、かつその白線候補の下部近傍に他の白線候補が存在する場合には、白線候補及び他の白線候補を矢印標示として推定する。これによって、路面標示除外部１２ｃは、白線と類似する帯線部分を有する矢印標示を白線候補から除外できる。
【００５６】
これを説明すると、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補を１つ取り出す。そして、路面標示除外部１２ｃは、白線候補に含まれる内側線および外側線が交わるか否かを判定する。そして、路面標示除外部１２ｃは、内側線および外側線が交わる場合には、その白線候補の下部近傍に他の白線候補が存在するか否かをさらに判定する。このとき、路面標示除外部１２ｃは、他の白線候補が存在する場合には、白線候補及び他の白線候補を矢印標示として記憶部１１へ登録し直す。その後、路面標示除外部１２ｃは、交点の探索および矢印標示の帯線部分の探索を全白線候補を対象に繰り返し行う。そして、全白線候補について探索が終了すると、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、矢印標示として登録し直した白線候補を削除することにより、白線候補から矢印標示を除外する。
【００５７】
次に、白線候補から速度標示を除外する場合について説明する。路面標示除外部１２ｃは、速度標示の特徴に基づいて白線候補から速度標示を除外する。すなわち、速度標示には、「４０（ｋｍ／ｈ）」、「５０（ｋｍ／ｈ）」、「６０（ｋｍ／ｈ）」、・・・というように一の位が必ず「０」になるという傾向がある。このことから、路面標示除外部１２ｃでは、速度標示に含まれる「０」の部分を検出し、検出した「０」の部分から速度標示がなされる領域を推定する。そして、路面標示除外部１２ｃは、速度標示領域に含まれる白線候補を除外することにより、白線候補から速度標示を除外する。
【００５８】
図８は、速度標示における数字ゼロの特定要領を説明するための図である。図８に示す符号「８０」は速度標示の一例を示す図である。図８に示す符号「８０ａ」は速度標示に含まれる数字ゼロを示す。図８に示す符号「８０ｂ」は速度標示に含まれる数字ゼロ８０ａのエッジ線分を示す。図８に示す符号「８１」は白線候補の外側のエッジ線分間の間隔を示す。図８に示す符号「８２」は水平方向に整列する二組の白線候補を示す。図８に示す符号「８３」は、撮影画像の奥側、すなわち上側の水平方向のエッジ線分を示す。図８に示す符号「８４」は、撮影画像の手前側、すなわち下側の水平方向のエッジ線分を示す。図８に示す符号「８５」は速度標示８０のエッジ画像を示す。
【００５９】
図８に示すように、速度標示８０には数字ゼロ８０ａが含まれる。路面標示除外部１２ｃは、撮影画像の水平方向に整列する白線候補８２の組を探索する。このとき、路面標示除外部１２ｃは、白線候補８２の外側同士のエッジ線分の間隔８１が所定値、例えば速度標示に含まれる数字ゼロ８０ａの規定値である５０ｃｍであるか否かを判定する。なお、ここでは、白線候補８２の外側のエッジ線分間の間隔８１が数字ゼロ８０ａの規定値との間で過不足がない場合に速度標示の数字ゼロ８０ａである可能性ありと判定する場合を説明したが、規定値を基準とする所定の範囲に収まるか否かと幅を設けてもよい。
【００６０】
また、路面標示除外部１２ｃは、白線候補８２の外側同士のエッジ線分の間隔８１が所定値である場合に、その白線候補８２の組の下部近傍に水平方向のエッジ線分８４が存在するか否かをさらに判定する。ここで、路面標示除外部１２ｃは、車載カメラ２００と速度標示８０との位置関係からいって撮影画像の奥側のエッジ線分８３よりも手前側のエッジ線分８４の方が車載カメラ２００に近くなるので、エッジ線分８４の方がエッジ線分の成分も大きくなる。このため、路面標示除外部１２ｃでは、速度標示の数字ゼロ８０ａの検出に撮影画像の手前側のエッジ線分８４を用いることとしたが、撮影画像の奥側の２つのエッジ線分８３を用いることとしてもよい。
【００６１】
そして、路面標示除外部１２ｃは、白線候補８２の組の下部近傍に水平方向のエッジ線分８４が存在する場合には、速度標示の数字ゼロ８０ａが撮影画像に含まれるものと見做し、数字ゼロ８０ａの標示領域から速度標示領域を算出する。
【００６２】
図９は、速度標示領域の算出要領を説明するための図である。図９に示す符号「９１」は速度標示に含まれる数字ゼロの標示領域を示す。図９に示す符号「９２」は速度標示に含まれる十の位の数字の標示領域を示す図９に示す符号「９３」は二桁の速度標示を行う場合の速度標示領域を示す。図９に示す例で言えば、速度標示に含まれる数字ゼロの標示領域９１は縦５ｍ及び横５０ｃｍの領域と規定されている。また、速度標示に含まれる十の位の数字の標示領域９２は縦５ｍ及び横７０ｃｍの領域と規定されている。このため、路面標示除外部１２ｃは、数字ゼロの標示領域９１の左側に十の位の数字の標示領域９２を併せた領域、すなわち縦５ｍ及び横１．２ｍの領域を速度標示領域９３として算出する。なお、図９の例では、二桁の速度標示を行う場合の速度標示領域を説明したが、三桁の速度標示を行う場合にも同様にして速度標示領域を算出できる。
【００６３】
このようにして速度標示領域９３を算出すると、路面標示除外部１２ｃは、速度標示の数字ゼロ８０ａと検出した白線候補８２を速度標示として記憶部１１へ登録し直す。その後、路面標示除外部１２ｃは、数字ゼロ８０ａの検出および速度標示領域の算出を全白線候補を対象に繰り返し行う。そして、全白線候補について処理が終了すると、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、速度標示として登録し直した白線候補を削除することにより、白線候補から速度標示を除外する。
【００６４】
この路面標示を除外した段階で得られた白線候補には、白線と類似する横断歩道、矢印標示および速度標示などの他の路面標示が除外され、全てのエッジ成分のうち白線に係るエッジ線分だけが白線候補データ１１ａとして記憶部１１に残されることになる。
【００６５】
図２の説明に戻り、白線決定部１２ｄは、路面標示除外部１２ｃによって白線以外の他の路面標示が除外された白線候補に基づき、白線を決定する処理部である。例えば、白線決定部１２ｄは、路面標示除外部１２ｃによって路面標示が除外された後に、記憶部１１に白線候補データ１１ａとして記憶された白線候補同士を道路が連なる方向に沿って連結し、連結した白線を白線データ１１ｃとして記憶部１１へ登録する。
【００６６】
出力制御部１２ｅは、白線データ１１ｃの出力制御を行う処理部である。一例としては、出力制御部１２ｅは、路面標示除外部１２ｃによって白線以外の他の路面標示が検出されずに白線決定部１２ｄによって白線だけが単独で検出された場合にはその白線の検出結果である白線データ１１ｃを自車位置判断部１２ｆへ出力する。一方、出力制御部１２ｅは、白線決定部１２ｄによって白線が検出されるとともに路面標示除外部１２ｃによって白線以外の他の路面標示が検出された場合には白線データ１１ｃを自車位置判断部１２ｆへ出力するのを抑止する。なお、ここでは、車載装置１０内の他の機能部として自車位置判断部１２ｆへ白線データを出力させる場合の制御について説明したが、車載装置１０の外部装置へ白線データを出力する場合の制御についても同様である。
【００６７】
自車位置判断部１２ｆは、出力制御部１２ｅによって出力される白線データ１１ｃと、車載カメラ２００の設置位置及び設置角度とを用いて路面上での自車位置を判断する処理部である。この自車位置判断部１２ｆには、白線決定部１２ｄで白線データ１１ｃが生成されたからといって必ずしも白線データ１１ｃが供給されるとは限らない。すなわち、自車位置判断部１２ｆは、出力制御部１２ｅによって白線データ１１ｃが出力された場合、つまり白線が単独検出された場合に、２つの白線により形成される走行領域上で自車両が所在する位置を認識する。このとき、自車位置判断部１２ｆは、自車両が白線に所定の距離、例えば３０ｃｍまで近付いている場合や白線からはみ出している場合などには、車両ＥＣＵ３００や出力デバイス４００にその旨を出力する。
【００６８】
［処理の流れ］
次に、本実施例に係る車載装置の処理の流れを説明する。図１０は、実施例２に係る出力制御処理の手順を示すフローチャートである。この処理は、車載カメラ２００によって撮影画像が入力画像として入力されるか、或いは記憶部１１に記憶された撮影画像が読み出された場合に処理が起動する。
【００６９】
図１０に示すように、撮影画像が入力されると（ステップＳ１０１肯定）、エッジ検出部１２ａは、撮影画像の各画素の輝度値からエッジ点を検出し（ステップＳ１０２）、検出したエッジ点を繋ぎ合わせることによりエッジ線分を検出する（ステップＳ１０３）。続いて、白線候補抽出部１２ｂは、エッジ検出部１２ａによって検出されたエッジ線分から白線候補を抽出する「白線候補抽出処理」を行う（ステップＳ１０４）。
【００７０】
ここで、図１１を用いて、図１０のステップＳ１０４で示した白線候補抽出処理について説明する。図１１は、実施例２に係る白線候補抽出処理の手順を示すフローチャートである。図１１に示すように、白線候補抽出部１２ｂは、撮影画像の中心部により近いエッジ線分から順にそのエッジ線分を内側線と仮決めし、その内側線と対をなす外側線を検索する（ステップＳ２０１）。
【００７１】
そして、白線候補抽出部１２ｂは、これら内側線および外側線の重複率が所定の閾値以上であるか否かを判定する（ステップＳ２０２）。このとき、重複率が所定の閾値以上である場合（ステップＳ２０２肯定）には、白線候補抽出部１２ｂは、内側線および外側線の輝度値の変化が所定の閾値以内であるか否かをさらに判定する（ステップＳ２０３）。なお、輝度値の変化とは、例えば、内側線および外側線における高輝度側の輝度値の差分の絶対値と、内側線および外側線における低輝度側の輝度値の差分の絶対値との和を指す。
【００７２】
続いて、内側線および外側線の輝度値の変化が所定の閾値以内である場合（ステップＳ２０３肯定）には、白線候補抽出部１２ｂは、内側線および外側線が形成する帯線の横幅が所定の範囲以内であるか否かをさらに判定する（ステップＳ２０４）。
【００７３】
そして、内側線および外側線が形成する帯線の横幅が所定の範囲以内である場合（ステップＳ２０４肯定）には、白線候補抽出部１２ｂは、内側線および外側線が形成する帯線の白線スコアを算出する（ステップＳ２０５）。
【００７４】
ここで、白線スコアが所定の閾値以上である場合（ステップＳ２０６肯定）には、白線候補抽出部１２ｂは、先に内側線および外側線と仮決めした一対のエッジ線分を白線候補データ１１ａとして記憶部１１へ登録する（ステップＳ２０７）。一方、白線スコアが所定の閾値未満である場合（ステップＳ２０６否定）には、そのままステップＳ２０９へ移行する。
【００７５】
また、内側線及び外側線が形成する帯線の横幅が所定の範囲以内でない場合（ステップＳ２０４否定）に、白線候補抽出部１２ｂは、内側線及び外側線として仮決めした一対のエッジ線分を他の路面標示候補として記憶部１１に登録する（ステップＳ２０８）。
【００７６】
また、重複率が所定の閾値未満である場合（ステップＳ２０２否定）或いは内側線および外側線の輝度値の変化が所定の閾値以上である場合（ステップＳ２０３否定）、そのままステップＳ２０９へ移行する。
【００７７】
その後、エッジ検出部１２ａによって検出された全てのエッジ線分を内側線として探索が終了するまで（ステップＳ２０９否定）、上記のステップＳ２０１〜Ｓ２０８までの処理を繰り返し行う。そして、全てのエッジ線分を内側線として探索が終了した場合（ステップＳ２０９肯定）に、白線候補抽出部１１ｃは処理を終了する。
【００７８】
図１０の説明に戻り、路面標示除外部１２ｃは、白線候補抽出部１１ｂによって抽出された白線候補から横断歩道を除外する「横断歩道除外処理」を実行する（ステップＳ１０５）。
【００７９】
ここで、図１２を用いて、図１０のステップＳ１０５で示した横断歩道除外処理について説明する。図１２は、実施例２に係る横断歩道除外処理の手順を示すフローチャートである。図１２に示すように、路面標示除外部１２ｃは、撮影画像における１つの水平ラインに含まれる白線候補を探索する（ステップＳ３０１）。
【００８０】
そして、路面標示除外部１２ｃは、１つの水平ラインに含まれる白線候補の数が所定の閾値以上であるか否かを判定する（ステップＳ３０２）。このとき、白線候補の数が所定の閾値以上である場合（ステップＳ３０２肯定）には、路面標示除外部１２ｃは、その水平ラインに含まれる各白線候補のエッジ点間の距離が所定の範囲以内であるか否かをさらに判定する（ステップＳ３０３）。
【００８１】
ここで、各白線候補のエッジ点間の距離が所定の範囲内に収まる場合（ステップＳ３０３肯定）に、路面標示除外部１２ｃは、各白線候補のエッジ点を横断歩道候補のエッジ点と推定し、その横断歩道候補のエッジ点を記憶部１１へ登録する（ステップＳ３０４）。
【００８２】
また、白線候補の数が所定の閾値未満である場合（ステップＳ３０２否定）、或いは各白線候補のエッジ点間の距離が所定の範囲内に収まる場合（ステップＳ３０３否定）には、路面標示除外部１２ｃは、ステップＳ３０５へ処理を移行する。
【００８３】
そして、水平ラインに対する白線候補の探索が全ラインについて終了するまで（ステップＳ３０５否定）、路面標示除外部１２ｃは、上記のステップＳ３０１〜Ｓ３０４までの処理を繰り返し行う。
【００８４】
その後、水平ラインに対する白線候補の探索が全ラインについて終了すると（ステップＳ３０５肯定）、路面標示除外部１２ｃは、記憶部１１に記憶された横断歩道候補のエッジ点が垂直方向に連続するか否かを判定する（ステップＳ３０６）。そして、横断歩道候補のエッジ点が垂直方向に連続する場合（ステップＳ３０６肯定）には、路面標示除外部１２ｃは、垂直方向に連続する横断歩道候補の長さが所定の閾値以上であるか否かを判定する（ステップＳ３０７）。
【００８５】
ここで、横断歩道候補の長さが所定の閾値以上である場合（ステップＳ３０７肯定）には、路面標示除外部１２ｃは、横断歩道候補を横断歩道と決定し、横断歩道候補を横断歩道として記憶部１１へ確定登録する（ステップＳ３０８）。そして、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、横断歩道として確定登録した横断歩道候補のエッジ点を含む白線候補を削除することにより、白線候補から横断歩道を除外する（ステップＳ３０９）。
【００８６】
一方、記憶部１１に記憶された横断歩道候補のエッジ点が垂直方向に連続しない場合（ステップＳ３０６否定）或いは横断歩道候補の長さが所定の閾値未満である場合（ステップＳ３０７否定）には、路面標示除外部１２ｃは、そのまま処理を終了する。
【００８７】
図１０の説明に戻り、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補から矢印標示を除外する「矢印標示除外処理」を実行する（ステップＳ１０６）。
【００８８】
ここで、図１３を用いて、図１０のステップＳ１０６で示した矢印標示除外処理について説明する。図１３は、実施例２に係る矢印標示除外処理の手順を示すフローチャートである。
【００８９】
図１３に示すように、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補を１つ取り出す（ステップＳ４０１）。そして、路面標示除外部１２ｃは、白線候補に含まれる内側線および外側線が交わるか否かを判定する（ステップＳ４０２）。このとき、内側線および外側線が交わる場合（ステップＳ４０２肯定）には、路面標示除外部１２ｃは、その白線候補の下部近傍に他の白線候補が存在するか否かをさらに判定する（ステップＳ４０３）。
【００９０】
ここで、他の白線候補が存在する場合（ステップＳ４０３肯定）には、路面標示除外部１２ｃは、白線候補及び他の白線候補を矢印標示として記憶部１１へ登録し直す（ステップＳ４０４）。一方、内側線および外側線が交らない場合（ステップＳ４０２否定）、或いは他の白線候補が存在しない場合（ステップＳ４０３否定）には、路面標示除外部１２ｃは、ステップＳ４０５まで処理を移行する。
【００９１】
そして、全白線候補について処理が終了するまで（ステップＳ４０５否定）、路面標示除外部１２ｃは、上記のステップＳ４０１〜４０４までの処理を繰り返し行う。その後、全白線候補について処理が終了すると（ステップＳ４０５肯定）、路面標示除外部１２ｃは、矢印標示が存在しなかった場合（ステップＳ４０６否定）には、そのまま処理を終了する。
【００９２】
一方、矢印標示が存在した場合（ステップＳ４０６肯定）には、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、矢印標示として登録し直した白線候補を削除し（ステップＳ４０７）、処理を終了する。
【００９３】
図１０の説明に戻り、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補から速度標示を除外する「速度標示除外処理」を実行する（ステップＳ１０７）。
【００９４】
ここで、図１４を用いて、図１０のステップＳ１０７で示した速度標示除外処理について説明する。図１４は、実施例２に係る速度標示除外処理の手順を示すフローチャートである。図１４に示すように、撮影画像の水平方向に整列する白線候補の組を探索する（ステップＳ５０１）。そして、路面標示除外部１２ｃは、白線候補の外側同士のエッジ線分の間隔が所定値であるか否かを判定する（ステップＳ５０２）。
【００９５】
このとき、白線候補の外側同士のエッジ線分の間隔が所定値である場合（ステップＳ５０２肯定）に、路面標示除外部１２ｃは、その白線候補の組の下部近傍に水平方向のエッジ線分が存在するか否かをさらに判定する（ステップＳ５０３）。なお、白線候補の外側同士のエッジ線分の間隔が所定値でない場合（ステップＳ５０２否定）又は白線候補の組の下部近傍に水平方向のエッジ線分が存在しない場合（ステップＳ５０３否定）には、路面標示除外部１２ｃは、ステップＳ５０６の処理へ移行する。
【００９６】
ここで、白線候補の組の下部近傍に水平方向のエッジ線分が存在する場合（ステップＳ５０３肯定）には、路面標示除外部１２ｃは、速度標示の数字ゼロが撮影画像に含まれるものと見做し、数字ゼロの標示領域から速度標示領域を算出する（ステップＳ５０４）。そして、路面標示除外部１２ｃは、速度標示の数字ゼロと検出した白線候補を速度標示として記憶部１１へ登録し直す（ステップＳ５０５）。
【００９７】
その後、全白線候補について処理が終了するまで（ステップＳ５０６否定）、路面標示除外部１２ｃは、上記のステップＳ５０１〜Ｓ５０５までの処理を繰り返し行う。そして、全白線候補について処理が終了すると（ステップＳ５０６肯定）、路面標示除外部１２ｃは、速度標示が存在しなかった場合（ステップＳ５０７否定）には、そのまま処理を終了する。
【００９８】
一方、速度標示が存在した場合（ステップＳ５０７肯定）には、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、速度標示として登録し直した白線候補を削除し（ステップＳ５０８）、処理を終了する。
【００９９】
図１０の説明に戻り、白線決定部１２ｄは、路面標示除外部１２ｃによって白線以外の他の路面標示が除外された白線候補に基づき、白線を決定する（ステップＳ１０８）。そして、出力制御部１２ｅは、撮影画像から路面標示データ１１ｂが検出されずに白線データ１１ｃだけが単独で検出された場合（ステップＳ１０９肯定）には、その白線データ１１ｃを自車位置判断部１２ｆへ出力する（ステップＳ１１０）。その後、自車位置判断部１２ｆは、出力制御部１２ｅによって出力される白線データ１１ｃと、車載カメラ２００の設置位置及び設置角度とを用いて路面上での自車位置を判断し（ステップＳ１１１）、処理を終了する。
【０１００】
一方、白線データ１１ｃとともに路面標示データ１１ｂが検出された場合（ステップＳ１０９否定）には、出力制御部１２ｅは、白線データ１１ｃの自車位置判断部１２ｆへの出力を抑止し（ステップＳ１１２）、自車位置を判断させずに処理を終了する。
【０１０１】
なお、図１０のフローチャートでは、ステップＳ１０５、ステップＳ１０６及びステップＳ１０７の処理はそれぞれの順番を入れ替えることとしてもよいし、それぞれの処理を並列して行うこともできる。
【０１０２】
［実施例２の効果］
上述してきたように、本実施例に係る車載装置１０では、白線と混同し得る他の路面標示が白線の検出結果に含まれている可能性が高い場合に、白線の検出結果を利用する別処理が実行されることはない。また、本実施例に車載装置１０では、白線の検出結果が出力されたとしても白線と混同し得る他の路面標示が含まれていないので、別処理で白線と混同して実行されることもない。したがって、本実施例に係る車載装置１０によれば、白線の検出結果を利用した別処理を行う場合に、誤った処理結果が導出されることを防止することが可能になる。
【０１０３】
また、本実施例に係る車載装置１０では、白線の検出結果が出力された場合に、該白線の内側位置に基づき、路面上での自車位置を判断する。したがって、本実施例に係る車載装置１０によれば、白線の検出結果を利用して自車位置を判断する場合に、白線以外の路面標示を白線と混同して自車位置の判断処理が実行されることを防止することが可能である。
【実施例３】
【０１０４】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【０１０５】
［適用例］
例えば、上記の実施例２では、車載カメラ２００が車載装置１０へ白黒画像を入力する場合を例示したが、開示の装置はこれに限定されるものではない。例えば、車載カメラ２００が車載装置１０へカラー画像を入力し、白線だけでなく黄色車線の検出及びその出力制御を行うように車載装置１０を構成することもできる。
【０１０６】
また、上記の実施例２では、撮影画像に白線以外の路上標示が含まれる場合には白線の検出結果を自車位置判断部１２ｆへ出力させない場合を説明したが、必ずしも白線の検出結果を出力することを全面的に禁止する必要はない。例えば、撮影画像から横断歩道が検出された場合には、横断歩道よりも手前に白線が検出されなかったならば、白線の検出結果を出力するのを禁止する。その一方で、横断歩道の手前に白線が検出された場合には、横断歩道までの距離が所定の距離、例えば５ｍを超過するならば白線検出結果を出力し、所定の距離以下である場合には白線検出結果を出力することを禁止するようにしてもよい。
【０１０７】
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、エッジ検出部１２ａ、白線候補抽出部１２ｂ、路面標示除外部１２ｃ、白線決定部１２ｄ、出力制御部１２ｅまたは自車位置判断部１２ｆを車載装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。さらに、自車位置判断部１２ｆを車載装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、エッジ検出部１２ａ、白線候補抽出部１２ｂ、路面標示除外部１２ｃ、白線決定部１２ｄ、出力制御部１２ｅまたは自車位置判断部１２ｆを別の装置がそれぞれ有する構成とする。その上で、ネットワーク接続されて協働することで、上記の車載装置１０の機能を実現するようにしてもよい。
【０１０８】
［車線検出プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１５を用いて、上記の実施例と同様の機能を有する車線検出プログラムを実行するコンピュータの一例について説明する。なお、図１５は、実施例３に係る車線検出プログラムを実行するコンピュータの一例について説明するための図である。
【０１０９】
図１５に示すように、実施例３におけるコンピュータ１００は、操作部１１０ａと、マイク１１０ｂと、スピーカ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ（Hard Disk Drive）１７０と、ＲＡＭ（Random Access Memory）１８０と有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
【０１１０】
ＲＯＭ１６０には、上記の実施例２で示したエッジ検出部１２ａと、白線候補抽出部１２ｂと、路面標示除外部１２ｃと、白線決定部１２ｄと、出力制御部１２ｅと同様の機能を発揮する制御プログラムが予め記憶される。つまり、ＲＯＭ１６０には、図１５に示すように、エッジ検出プログラム１６０ａと、白線候補抽出プログラム１６０ｂと、路面標示除外プログラム１６０ｃと、白線決定プログラム１６０ｄと、出力制御プログラム１６０ｅとが記憶される。なお、これらのプログラム１６０ａ〜１６０ｅについては、図２に示した車載装置の各構成要素と同様、適宜統合又は分離しても良い。
【０１１１】
そして、ＣＰＵ１５０が、これらのプログラム１６０ａ〜１６０ｅをＲＯＭ１６０から読み出して実行する。これによって、ＣＰＵ１５０は、図１５に示すように、各プログラム１６０ａ〜１６０ｅについては、エッジ検出プロセス１５０ａ、白線候補抽出プロセス１５０ｂ及び路面標示除外プロセス１５０ｃとして機能するようになる。さらに、ＣＰＵ１５０は、白線決定プロセス１５０ｄ及び出力制御プロセス１５０ｅとして機能するようになる。なお、各プロセス１５０ａ〜１５０ｅは、図２に示した、エッジ検出部１２ａと、白線候補抽出部１２ｂと、路面標示除外部１２ｃと、白線決定部１２ｄと、出力制御部１２ｅとにそれぞれ対応する。
【０１１２】
そして、ＣＰＵ１５０は、通信部１３０から撮影画像を受信するか、またはＨＤＤ１７０から撮影画像を読み出し、その撮影画像から白線候補データ１８０ａを生成してＲＡＭ１８０に格納する。さらに、ＣＰＵ１５０は、白線候補データ１８０ａから路面標示データ１８０ｂ及び白線データ１８０ｃを生成してＲＡＭ１８０に格納する。さらに、ＣＰＵ１５０は、ＲＡＭ１８０に格納された白線データ１８０ｃを用いて、車線検出プログラムを実行する。
【符号の説明】
【０１１３】
１ 車線検出装置
２ 検出部
３ 出力制御部
１０ 車載装置
１１ 記憶部
１１ａ 白線候補データ
１１ｂ 路面標示データ
１１ｃ 白線データ
１２ 制御部
１２ａ エッジ検出部
１２ｂ 白線候補抽出部
１２ｃ 路面標示除外部
１２ｄ 白線決定部
１２ｅ 出力制御部
１２ｆ 自車位置判断部
２００ 車載カメラ
３００ 車両ＥＣＵ
４００ 出力デバイス
【技術分野】
【０００１】
本発明は、車線検出プログラム及び車線検出装置に関する。
【背景技術】
【０００２】
車載カメラによって撮像された画像を用いて白線や横断歩道などの路面標示を検出する車載用路面標示検出装置が知られている。この車載用路面標示検出装置では、車載カメラによって自車両の走行方向が撮像された画像データからエッジ点を抽出する。そして、車載用路面標示検出装置は、車載カメラによって撮像された画像を複数の部分画像に分割し、各部分画像内に存在するエッジ点を通る線分を抽出する。その上で、車載用路面標示検出装置は、線分の傾きと端点位置との差が所定範囲内にある線分同士を一つの組とし、組となった線分の傾き及び端点位置を特徴として抽出する。このようにして抽出した特徴を用いて、車載用路面標示検出装置は、例えば白線や横断歩道などを検出する。
【０００３】
これらの路面標示の中でも白線の検出結果は多様な用途に使用され得る。一例としては、自車両の位置判断に用いられる。例えば、車載カメラによって撮像された画像から検出した地物の検出結果を用いて自車位置の認識を行う自車位置認識装置が提案されている。このような地物の１つとして白線の検出結果を援用して自車位置の認識を行い、車線内における自車両の位置が路肩や隣車線に近づきすぎていないか否かを判断する使用例も想定され得る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３３９４６８号公報
【特許文献２】特開２００７−２７１５６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、白線の検出結果を利用した別処理を行う場合には、白線以外の路面標示を白線と混同して別処理が実行される可能性を有するので、別処理で誤った処理結果が導出されるおそれがあるという課題がある。
【０００６】
一例として、車載用路面標示検出装置によって検出された白線の検出結果を入力として自車位置認識装置が自車位置の認識を行う場合を想定する。この場合には、車載用路面標示検出装置が車載カメラの撮影画像に含まれる白線と横断歩道とを正確に区別できるとは限らない。例えば、車載用路面標示検出装置が白線に類似する横断歩道のペイントの一部を白線として誤検出することもあり得る。このような検出結果を用いる場合には、白線と横断歩道の位置関係によっては、自車位置認識装置が白線の一部および横断歩道の一部を一対の白線と見做して自車位置を認識することになる。この結果、自車位置認識装置は、実際の車道における自車両の走行車線の間隔よりも広い間隔を基準に自車位置を認識したり、或いはそれよりも狭い間隔を基準に自車位置を認識したりするおそれが生じる。
【０００７】
なお、この課題は、白線の検出結果を利用する場合だけでなく、黄色車線などの他の車線全般を検出結果として利用する場合に同様に生ずる課題である。
【０００８】
開示の技術は、上記に鑑みてなされたものであって、車線の検出結果を利用した別処理を行う場合に、誤った処理結果が導出されることを防止できる車線検出プログラム及び車線検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の開示する車線検出プログラムは、コンピュータに、車両に搭載したカメラにより取得された画像から、路面に標示された車線および該車線以外の路面標示を検出する検出手順を実行させる。さらに、車線検出プログラムは、コンピュータに、前記検出手順によって前記車線のみが検出された場合には該車線の検出結果を出力し、前記車線とともに該車線以外の路面標示が検出された場合には該車線の検出結果の出力を抑止する出力制御手順を実行させる。
【発明の効果】
【００１０】
本願の開示する車線検出プログラムの一つの態様によれば、車線の検出結果を利用した別処理を行う場合に、誤った処理結果が導出されることを防止することが可能になるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施例１に係る車線検出装置の構成を示すブロック図である。
【図２】図２は、実施例２に係る車載装置の構成を示すブロック図である。
【図３】図３は、撮影画像の一例を示す図である。
【図４】図４は、白線のエッジ画像の一例を示す図である。
【図５】図５は、内側線および外側線を境界とした輝度値の変化を説明するための図である。
【図６】図６は、矢印標示の一例を示す図である。
【図７】図７は、矢印標示のエッジ画像の一例を示す図である。
【図８】図８は、速度標示における数字ゼロの特定要領を説明するための図である。
【図９】図９は、速度標示領域の算出要領を説明するための図である。
【図１０】図１０は、実施例２に係る出力制御処理の手順を示すフローチャートである。
【図１１】図１１は、実施例２に係る白線候補抽出処理の手順を示すフローチャートである。
【図１２】図１２は、実施例２に係る横断歩道除外処理の手順を示すフローチャートである。
【図１３】図１３は、実施例２に係る矢印標示除外処理の手順を示すフローチャートである。
【図１４】図１４は、実施例２に係る速度標示除外処理の手順を示すフローチャートである。
【図１５】図１５は、実施例３に係る車線検出プログラムを実行するコンピュータの一例について説明するための図である。
【発明を実施するための形態】
【００１２】
以下に、本願の開示する車線検出プログラム及び車線検出装置の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１３】
図１は、実施例１に係る車線検出装置の構成を示すブロック図である。図１に示すように、車線検出装置１は、検出部２と、出力制御部３とを有する。
【００１４】
このうち、検出部２は、車両に搭載したカメラにより取得された画像から、路面に標示された車線および該車線以外の路面標示を検出する。また、出力制御部３は、検出部２によって車線のみが検出された場合には該車線の検出結果を出力し、車線とともに該車線以外の路面標示が検出された場合には該車線の検出結果の出力を抑止する。
【００１５】
すなわち、車線とともに該車線以外の路面標示が検出された場合には、車線の検出結果として車線と類似しているが車線ではない路面標示が含まれる可能性を排除できない。このように、車線以外の路面標示を車線と混同して別処理が実行されるおそれがある場合には、出力制御部３が車線の検出結果の出力を抑制するので、別処理は実行されない。
【００１６】
一方、車線のみが検出された場合には、車線および車線以外の路面標示が検出される場合に比べ、車線と混同し得る他の路面標示が車線の検出結果に含まれている可能性は低い。このため、出力制御部３は、車線の検出結果を出力する。かかる場合には、車線以外の路面標示を車線と混同して別処理が実行されるおそれが低いので、誤った処理結果が導出されることはない。
【００１７】
このように、本実施例に係る車線検出装置１では、車線と混同し得る他の路面標示が車線の検出結果に含まれている可能性が高い場合に別処理が実行されることはない。また、本実施例に車線検出装置１では、車線の検出結果が出力されたとしても車線と混同し得る他の路面標示が含まれていないので、別処理で車線と混同して実行されることもない。したがって、本実施例に係る車線検出装置１によれば、車線の検出結果を利用した別処理を行う場合に、誤った処理結果が導出されることを防止することが可能になる。
【実施例２】
【００１８】
続いて、実施例２に係る車載装置について説明する。図２は、実施例２に係る車載装置の構成を示すブロック図である。図２に示すように、車載装置１０は、その内部に記憶部１１と、制御部１２とを有する。また、車載装置１０は、車両に搭載される他の装置と接続されており、例えば、車載カメラ２００、車両ＥＣＵ（Electronic Control Unit）３００や出力デバイス４００などの他の装置と接続される。
【００１９】
まず、車載装置１０に接続される他の装置を説明する。このうち、車載カメラ２００は、車両に搭載されるカメラである。一例としては、車載カメラ２００として、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像装置を適用できる。なお、本実施例では、車載カメラ２００が後述のエッジ検出部１２ａへ白黒画像を入力する場合を説明するが、カラー画像を入力することとしてもかまわない。
【００２０】
この車載カメラ２００は、自車両の所定の設置位置に取り付けられるとともにカメラの光軸の向きが所定の設置角度になるように取り付けられる。例えば、車載カメラ２００は、車両の前方の所定領域、例えば自車両のフロントグリルから３０ｍ前方までの領域を撮像することができるように設置位置及び設置角度が調節される。なお、本実施例では、車載カメラ２００が固定設置される場合を説明するが、車載カメラ２００が水平方向または鉛直方向に可動または回動する場合にも開示の装置を適用できる。
【００２１】
車両ＥＣＵ３００は、車両を制御するためのユニットである。例えば、車両ＥＣＵ３００は、後述の自車位置判断部１２ｆによって出力された自車位置の判断結果に基づき、車両のエンジン、ブレーキやハンドルなどの制御を行う。一例としては、車両ＥＣＵ３００は、方向指示器の操作を受け付けていないにもかかわらず、一方の車線に所定の距離まで近付いている場合や車線からはみ出している場合などには危険防止制御を行う。かかる危険防止制御として、車両ＥＣＵ３００は、エンジンブレーキ又はブレーキにより制動をかけたり、或いは２つの車線により形成される走行領域の中央に車両が復帰するように操舵角を調節したりする。
【００２２】
出力デバイス４００は、モニタ、ディスプレイやタッチパネルなどの表示装置、スピーカなどの音声出力装置などを含む。この出力デバイス４００は、車載装置１０や車両ＥＣＵ３００などの指示に基づき、車載装置１０または車両ＥＣＵ３００で実行された処理の結果を表示または音声出力する。一例としては、出力デバイス４００は、後述の自車位置判断部１２ｆによって判断された自車位置を表示したり、さらに、自車両が内側線または外側線からはみ出している場合には、その旨を警告として音声出力したりする。
【００２３】
次に、車載装置１０の内部構成を説明する。図２に示すように、記憶部１１は、例えば、フラッシュメモリ（flash memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。なお、記憶部１３は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory)であってもよい。
【００２４】
記憶部１１は、制御部１２で実行される各種プログラム（例えば、車線検出用プログラムや自車位置判断用プログラムなど）やそのプログラムの実行に必要なデータ（例えば、車載カメラ２００の設置位置、設置角度、撮影画像など）を記憶する。このほか、記憶部１１は、例えば白線候補データ１１ａと、路面標示データ１１ｂと、白線データ１１ｃとを記憶する。
【００２５】
このうち、白線候補データ１１ａは、車載カメラ２００により撮像された撮影画像から白線候補抽出部１２ｂにより白線候補として抽出されたエッジ線分を示す情報である。この白線候補データ１１ａは、撮影画像上で垂直方向に線分をなす一対のエッジ線分であり、あくまで白線に似た特徴を有する候補である。すなわち、白線候補データ１１ａには、実際の白線も含まれるものの、白線に特徴が類似する他の路面標示、例えば横断歩道、矢印標示や速度標示なども含まれる。
【００２６】
路面標示データ１１ｂは、白線候補データ１１ａのうち後述の路面標示除外部１２ｃによって白線候補から除外された路面標示を示すエッジ線分である。すなわち、路面標示データ１１ｂには、白線に類似しているが白線ではない路面標示、例えば横断歩道、矢印標示や速度標示などが含まれる。
【００２７】
白線データ１１ｃは、白線候補データ１１ａのうち後述の白線決定部１２ｄによって白線として決定された白線を示すエッジ線分である。すなわち、白線データ１１ｃは、白線候補データ１１ａから横断歩道、矢印標示および速度標示などの他の路面標示が除外された白線候補同士を道路が連なる方向に沿って連結したものである。
【００２８】
制御部１２は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路、または、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路である。
【００２９】
この制御部１２は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１２は、図２に示すように、エッジ検出部１２ａと、白線候補抽出部１２ｂと、路面標示除外部１２ｃと、白線決定部１２ｄと、出力制御部１２ｅと、自車位置判断部１２ｆとを有する。
【００３０】
このうち、エッジ検出部１２ａは、撮影画像の中からエッジ成分を検出する処理部である。一例としては、エッジ検出部１２ａは、画像上における水平方向、垂直方向や斜め方向のエッジを検出するための所定のフィルタを用いて、撮影画像の各画素の輝度値からエッジ点を検出する。なお、輝度値とは、各画素の明るさを示し、例えば「１〜２５６」の数値で表現される。そして、エッジ検出部１２ａは、このようにして検出したエッジ点を繋ぎ合わせることによりエッジ線分を検出する。このエッジ検出の段階で得られたエッジ線分には、白線、横断歩道、矢印標示や速度標示などの路面標示だけでなく、道路のひび割れなどのノイズ成分も含まれる。
【００３１】
なお、エッジ検出部１２ａでは、車載カメラ２００によって撮像された撮影画像をそのまま入力画像としてエッジ検出を行うこととしてもよいし、記憶部１１に格納してから読み出して処理を行うこととしてもかまわない。また、エッジ検出部１２ａは、必ずしも撮影画像全てに対してエッジ検出を行う必要はない。
【００３２】
図３は、撮影画像の一例を示す図である。図３に示す符号「Ｖｐ」は、撮影画像３１における消失点を示す。図３に示す例で言えば、エッジ検出部１２ａは、撮影画像３１の全領域のうち消失点Ｖｐよりも下部に所在する路面領域だけをエッジ検出の対象とすることもできる。このように、エッジ検出の処理対象を限定するのは、消失点Ｖｐよりも上部の領域にエッジ検出を行ったとしても白線は検出できないからである。さらには、撮影画像に含まれる施設や置物などが後述の白線候補抽出部１２ｂにより白線と誤って抽出されることを防止するためでもある。
【００３３】
白線候補抽出部１２ｂは、エッジ検出部１２ａによって検出されたエッジ線分から白線候補を抽出する処理部である。ここでは、自車両の走行領域の左側にある白線候補の抽出を行う場合を想定して以下の説明を行う。かかる場合には、白線候補抽出部１２ｂは、撮影画像の中心部により近いエッジ線分から順にそのエッジ線分を内側線とし、その内側線と対をなす、すなわち内側線よりも左側に所在し、かつ内側線と略平行であるエッジ線分を外側線として検索する。ここで言う「内側線」とは、２つの白線によって形成される自車両の走行領域において白線と路面舗装との輝度値の差により顕在化するエッジ成分のうち各白線の内側に現れるエッジ成分を指す。また、「外側線」とは、２つの白線によって形成される自車両の走行領域において白線と路面舗装との輝度値の差により顕在化するエッジ成分のうち各白線の外側に現れるエッジ成分を指す。このとき、白線候補抽出部１２ｂは、撮影画像における中心部よりも左側に所在するエッジ線分のうち、垂直方向に対する傾きが所定の角度以内であるエッジ線分を内側線として選定するものとする。なお、ここでは、自車両の走行領域の左側にある白線候補の抽出を行う場合を想定して説明を行ったが、自車両の走行領域の右側にある白線候補の抽出を行う場合も内側線および外側線の左右が逆になるだけでその他の処理は同様である。
【００３４】
そして、白線候補抽出部１２ｂは、このようにして検索した内側線および外側線の重複率が所定の閾値以上であるか否かを判定する。ここで言う重複率とは、内側線および外側線の両方が重複する重複部分の長さが内側線の長さに占める割合をいう。図４は、白線のエッジ画像の一例を示す図である。図４に示す符号「４１」は内側線を示す。図４に示す符号「４２」は外側線を示す。図４に示す符号「４３」は内側線４１と外側線４２の重複部分の長さを示す。図４に示す符号「４４」は内側線４１の長さを示す。図４に示す符号「４５」は内側線４１および外側線４２が形成する帯線の横幅を指す。図４に示す例で言えば、白線候補抽出部１２ｂは、内側線４１および外側線４２の両方が重複する重複部分の長さ４３が内側線４１の長さ４４で占める百分率が２５％以上であるか否かを判定する。
【００３５】
続いて、白線候補抽出部１２ｂは、重複率が所定の閾値以上である場合に、内側線および外側線の輝度値の変化が所定の閾値以内であるか否かをさらに判定する。ここで言う輝度値の変化とは、内側線および外側線における高輝度側の輝度値の差分の絶対値と、内側線および外側線における低輝度側の輝度値の差分の絶対値との和を指す。
【００３６】
図５は、内側線および外側線を境界とした輝度値の変化を説明するための図である。図５に示す符号「５１Ａ」は内側線４１の高輝度側の領域を指す。図５に示す符号「５１Ｂ」は内側線４１の低輝度側の領域を指す。図５に示す符号「５２Ａ」は外側線４２の高輝度側の領域を指す。図５に示す符号「５２Ｂ」は外側線４２の低輝度側の領域を指す。図５に示す例で言えば、白線候補抽出部１２ｂは、領域５１Ａの輝度値の平均値および領域５２Ａの輝度値の平均値の差分値の絶対値と、領域５１Ｂの輝度値の平均値および領域５２Ｂの輝度値の平均値の差分値の絶対値とを足し合わせる。そして、白線候補抽出部１２ｂは、２つの差分値の絶対値を足し合わせた合算値が所定の閾値、例えば５０以内であるか否かを判定する。このとき、白線候補抽出部１２ｂは、合算値が所定の閾値以上である場合には、内側線および外側線として仮決めした一対のエッジ線分を白線候補として抽出はしない。かかる輝度値の変化が閾値よりも大きい場合に白線候補から除外するのは、内側線および外側線の間で白線の色が大幅に変化することが稀であるからである。さらに、内側線が面する道路の舗装および外側線が面する道路の舗装の色が大幅に変化することも稀であるからである。
【００３７】
そして、白線候補抽出部１２ｂは、内側線および外側線の輝度値の変化が所定の閾値以内である場合に、内側線および外側線が形成する帯線の横幅が所定の範囲以内であるか否かをさらに判定する。図４に示した例で言えば、白線候補抽出部１２ｂは、内側線４１および外側線４２が形成する帯線の横幅４５が「１０ｃｍ≦横幅≦７５ｃｍ」の範囲に収まるか否かを判定する。このとき、白線候補抽出部１２ｂは、帯線の横幅４５が上記の範囲に収まらない場合には、内側線および外側線として仮決めした一対のエッジ線分を白線以外の他の路面標示候補として記憶部１１の白線候補データ１１ａに登録する。
【００３８】
なお、ここでは、説明の便宜上、帯線の横幅と比較する値として、画像スケールから実寸スケールに換算された値を例示しているが、実際には画像スケールの値で帯線の横幅との比較が行われる。
【００３９】
続いて、白線候補抽出部１２ｂは、内側線および外側線が形成する帯線の白線らしさを表す指標、以下白線スコアと表記を算出する。一例として、白線候補抽出部１２ｂは、下記の算出式を用いて白線スコアを算出する。
【００４０】
【数１】
【００４１】
上記の算出式において「帯線の輝度値」とは、内側線および外側線が形成する帯線に含まれる画素いずれかの輝度値または各画素の平均値を指す。かかる「帯線の輝度値」を分子とする算出式とした場合には、帯線の色が白ければ白いほど白線スコアを上げる重み付けを行うことができる。
【００４２】
また、「輝度値の差分」とは、内側線の高輝度側の輝度値−内側線の低輝度側の輝度値と、外側線の高輝度側の輝度値−外側線の低輝度側の輝度値との平均値を指す。図５に示す例で言い換えれば、領域５１Ａの輝度値の平均値−領域５１Ｂの輝度値の平均値と、領域５２Ａの輝度値の平均値−領域５２Ｂの輝度値の平均値との平均値を指す。かかる「輝度値の差分」を分子とする算出式とした場合には、白線と路面舗装のコントラストが明瞭であるほど白線スコアを上げる重み付けを行うことができる。
【００４３】
また、「処理範囲の長さ」とは、撮影画像のうちエッジ検出をはじめとする画像処理の対象とした範囲の垂直方向の長さを示す。かかる「処理範囲の長さ」を分母とし、「内側線の長さ」を分子とする算出式とした場合には、処理範囲に占める内側線の割合が多ければ多いほど白線スコアを上げる重み付けを行うことができる。
【００４４】
また、「重複率」を加算する算出式とした場合には、内側線および外側線の両方が重複する重複部分の長さが内側線の長さに占める割合が大きいほど白線スコアを上げる重み付けを行うことができる。
【００４５】
このように、上記の算出式を用いた場合には、白線候補抽出部１２ｂは、一対のエッジ線分が白線と類似する傾向を示すほどスコアが高くなるように白線スコアを算出することができる。
【００４６】
なお、白線スコアの算出式は、上記の算出式に限定されるものではない。例えば、白線スコアの算出式では、「帯線の輝度値」を含む項、「輝度値の差分」を含む項、「内側線の長さ」を含む項、重複率の項のうち一部の項を省くこともできるし、新たな項を追加することもできる。また、白線スコアの算出式では、各項に対して任意の定数を乗じたり、除したりすることで任意の重み付けを行うこともできる。また、上記の白線スコアの算出式では、加点方式としたが減点方式の算出式としてもかまわない。
【００４７】
そして、白線候補抽出部１２ｂは、白線スコアが所定の閾値以上である場合には、先に内側線および外側線と仮決めした一対のエッジ線分を白線候補として抽出し、抽出した一対のエッジ成分を白線候補データ１１ａとして記憶部１１へ登録する。なお、白線候補抽出部１２ｂは、白線スコアが所定の閾値未満である場合には、先に内側線および外側線と仮決めした一対のエッジ線分を白線候補として抽出しない。
【００４８】
この白線候補を抽出した段階で得られたエッジ線分では、撮影画像に含まれるエッジ線分のうち道路のひび割れなどのノイズ成分が除外され、白線をはじめ、白線と類似する横断歩道、矢印標示や速度標示などの路面標示に絞られる。
【００４９】
図２の説明に戻り、路面標示除外部１２ｃは、白線候補の中から白線以外の路面標示を除外する処理部である。すなわち、路面標示除外部１２ｃは、白線候補抽出部１２ｂによって抽出された白線候補から「横断歩道」、「矢印標示」及び「速度標示」を除外する。
【００５０】
まず、白線候補から横断歩道を除外する場合について説明する。路面標示除外部１２ｃは、撮影画像における１つの水平ラインに含まれる白線候補を探索し、１つの水平ラインに含まれる白線候補の数が所定の閾値以上であるか否かを判定する。例えば、路面標示除外部１２ｃは、道路には１つの走行領域に２つの白線が含まれるのが原則であるので、先の閾値を３つとして白線候補の数が３つ以上存在する場合には白線候補が横断歩道の可能性があると判定する。
【００５１】
さらに、路面標示除外部１２ｃは、１つの水平ラインに含まれる白線候補の数が所定の閾値以上である場合に、その水平ラインに含まれる各白線候補のエッジ点間の距離が所定の範囲以内であるか否かをさらに判定する。ここで、横断歩道の縞模様の間隔は、予め道路標識、区画線および道路標示に関する命令により定められている。このため、路面標示除外部１２ｃでは、各白線候補のエッジ点間の距離が横断歩道の縞模様の間隔として規定される規定値を含む所定の範囲、例えば「４５ｃｍ≦横幅≦５０ｃｍ」の範囲に収まるか否かを判定する。このとき、路面標示除外部１２ｃは、各白線候補のエッジ点間の距離が所定の範囲内に収まる場合には、各白線候補のエッジ点を横断歩道候補のエッジ点と推定し、その横断歩道候補を路面標示データ１１ｂとして記憶部１１へ登録する。
【００５２】
かかる水平ラインに対する白線候補の探索が撮影画像の全ラインについて終了すると、路面標示除外部１２ｃは、記憶部１１に路面標示データ１１ｂとして記憶された横断歩道候補のエッジ点が垂直方向に連続するか否かを判定する。そして、路面標示除外部１２ｃは、垂直方向に連続する横断歩道候補の長さが所定の閾値以上であるか否かを判定する。ここで、横断歩道において歩行者が横断方向と直行する方向の幅、すなわち横断歩道の横幅は、少なくとも２ｍ以上であると想定される。このため、路面標示除外部１２ｃでは、横断歩道候補の長さが２ｍ以上であるか否かを判定する。このとき、路面標示除外部１２ｃは、横断歩道候補の長さが２ｍ以上である場合には、横断歩道候補を横断歩道と決定し、横断歩道候補を横断歩道として記憶部１１へ確定登録する。そして、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、横断歩道として確定登録した横断歩道候補のエッジ点を含む白線候補を削除することにより、白線候補から横断歩道を除外する。
【００５３】
次に、白線候補から矢印標示を除外する場合について説明する。路面標示除外部１２ｃは、矢印標示の特徴に基づいて白線候補から矢印標示を除外する。図６は、矢印標示の一例を示す図である。図６に示す符号「６１Ａ」は直進矢印標示を示す。図６に示す符号「６２Ｂ」は、右折矢印標示を示す。図７は、矢印標示のエッジ画像の一例を示す図である。図７に示す符号「７１Ａ」及び「７２Ａ」は直線矢印標示の矢印部分のエッジ線分を示す。図７に示す符号「７３Ａ」は直線矢印標示の矢印部分のエッジ線分の交点を示す。図７に示す符号「７４Ａ」は直線矢印標示の帯線部分を形成するエッジ線分を示す。図７に示す符号「７１Ｂ」〜「７４Ｂ」は右折矢印標示の矢印部分のエッジ線分を示す。図７に示す符号「７５Ｂ」及び「７６Ｂ」は右折矢印標示の矢印部分のエッジ線分の交点を示す。図７に示す符号「７７Ｂ」は右折矢印標示の帯線部分を形成するエッジ線分を示す。
【００５４】
図６に示す直線矢印標示６１Ａ及び右折矢印標示６２Ｂは、図７に示すように、いずれも矢印標示の矢印部分のエッジ線分が交わるエッジ画像が得られるという傾向、さらには、矢印部分の下部近傍に白線と類似する帯線部分を有する傾向がある。図７の例で言えば、直線矢印標示６１Ａのエッジ画像では、エッジ線分７１Ａを内側線、エッジ線分７２Ａを外側線とする白線候補が交点７３Ａで交わる。さらに、直線矢印標示６１Ａのエッジ画像では、エッジ線分７１Ａ及び７２Ａを有する白線候補の下部近傍に、白線と類似する帯線部分７４Ａを有する他の白線候補が存在する。一方、右折矢印標示６２Ｂのエッジ画像では、エッジ線分７１Ｂを内側線、エッジ線分７２Ｂを外側線とする白線候補が交点７５Ｂで交わり、エッジ線分７３Ｂを内側線、エッジ線分７４Ｂを外側線とする白線候補が交点７６Ｂで交わる。さらに、右折矢印標示６１Ｂのエッジ画像では、エッジ線分７１Ｂ及び７２Ｂを有する白線候補と、エッジ線分７３Ｂ及びエッジ線分７４Ｂを有する白線候補の下部近傍に、白線と類似する帯線部分７７Ｂを有する他の白線候補が存在する。
【００５５】
これらのことから、路面標示除外部１２ｃは、白線候補に含まれる内側線および外側線が交わり、かつその白線候補の下部近傍に他の白線候補が存在する場合には、白線候補及び他の白線候補を矢印標示として推定する。これによって、路面標示除外部１２ｃは、白線と類似する帯線部分を有する矢印標示を白線候補から除外できる。
【００５６】
これを説明すると、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補を１つ取り出す。そして、路面標示除外部１２ｃは、白線候補に含まれる内側線および外側線が交わるか否かを判定する。そして、路面標示除外部１２ｃは、内側線および外側線が交わる場合には、その白線候補の下部近傍に他の白線候補が存在するか否かをさらに判定する。このとき、路面標示除外部１２ｃは、他の白線候補が存在する場合には、白線候補及び他の白線候補を矢印標示として記憶部１１へ登録し直す。その後、路面標示除外部１２ｃは、交点の探索および矢印標示の帯線部分の探索を全白線候補を対象に繰り返し行う。そして、全白線候補について探索が終了すると、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、矢印標示として登録し直した白線候補を削除することにより、白線候補から矢印標示を除外する。
【００５７】
次に、白線候補から速度標示を除外する場合について説明する。路面標示除外部１２ｃは、速度標示の特徴に基づいて白線候補から速度標示を除外する。すなわち、速度標示には、「４０（ｋｍ／ｈ）」、「５０（ｋｍ／ｈ）」、「６０（ｋｍ／ｈ）」、・・・というように一の位が必ず「０」になるという傾向がある。このことから、路面標示除外部１２ｃでは、速度標示に含まれる「０」の部分を検出し、検出した「０」の部分から速度標示がなされる領域を推定する。そして、路面標示除外部１２ｃは、速度標示領域に含まれる白線候補を除外することにより、白線候補から速度標示を除外する。
【００５８】
図８は、速度標示における数字ゼロの特定要領を説明するための図である。図８に示す符号「８０」は速度標示の一例を示す図である。図８に示す符号「８０ａ」は速度標示に含まれる数字ゼロを示す。図８に示す符号「８０ｂ」は速度標示に含まれる数字ゼロ８０ａのエッジ線分を示す。図８に示す符号「８１」は白線候補の外側のエッジ線分間の間隔を示す。図８に示す符号「８２」は水平方向に整列する二組の白線候補を示す。図８に示す符号「８３」は、撮影画像の奥側、すなわち上側の水平方向のエッジ線分を示す。図８に示す符号「８４」は、撮影画像の手前側、すなわち下側の水平方向のエッジ線分を示す。図８に示す符号「８５」は速度標示８０のエッジ画像を示す。
【００５９】
図８に示すように、速度標示８０には数字ゼロ８０ａが含まれる。路面標示除外部１２ｃは、撮影画像の水平方向に整列する白線候補８２の組を探索する。このとき、路面標示除外部１２ｃは、白線候補８２の外側同士のエッジ線分の間隔８１が所定値、例えば速度標示に含まれる数字ゼロ８０ａの規定値である５０ｃｍであるか否かを判定する。なお、ここでは、白線候補８２の外側のエッジ線分間の間隔８１が数字ゼロ８０ａの規定値との間で過不足がない場合に速度標示の数字ゼロ８０ａである可能性ありと判定する場合を説明したが、規定値を基準とする所定の範囲に収まるか否かと幅を設けてもよい。
【００６０】
また、路面標示除外部１２ｃは、白線候補８２の外側同士のエッジ線分の間隔８１が所定値である場合に、その白線候補８２の組の下部近傍に水平方向のエッジ線分８４が存在するか否かをさらに判定する。ここで、路面標示除外部１２ｃは、車載カメラ２００と速度標示８０との位置関係からいって撮影画像の奥側のエッジ線分８３よりも手前側のエッジ線分８４の方が車載カメラ２００に近くなるので、エッジ線分８４の方がエッジ線分の成分も大きくなる。このため、路面標示除外部１２ｃでは、速度標示の数字ゼロ８０ａの検出に撮影画像の手前側のエッジ線分８４を用いることとしたが、撮影画像の奥側の２つのエッジ線分８３を用いることとしてもよい。
【００６１】
そして、路面標示除外部１２ｃは、白線候補８２の組の下部近傍に水平方向のエッジ線分８４が存在する場合には、速度標示の数字ゼロ８０ａが撮影画像に含まれるものと見做し、数字ゼロ８０ａの標示領域から速度標示領域を算出する。
【００６２】
図９は、速度標示領域の算出要領を説明するための図である。図９に示す符号「９１」は速度標示に含まれる数字ゼロの標示領域を示す。図９に示す符号「９２」は速度標示に含まれる十の位の数字の標示領域を示す図９に示す符号「９３」は二桁の速度標示を行う場合の速度標示領域を示す。図９に示す例で言えば、速度標示に含まれる数字ゼロの標示領域９１は縦５ｍ及び横５０ｃｍの領域と規定されている。また、速度標示に含まれる十の位の数字の標示領域９２は縦５ｍ及び横７０ｃｍの領域と規定されている。このため、路面標示除外部１２ｃは、数字ゼロの標示領域９１の左側に十の位の数字の標示領域９２を併せた領域、すなわち縦５ｍ及び横１．２ｍの領域を速度標示領域９３として算出する。なお、図９の例では、二桁の速度標示を行う場合の速度標示領域を説明したが、三桁の速度標示を行う場合にも同様にして速度標示領域を算出できる。
【００６３】
このようにして速度標示領域９３を算出すると、路面標示除外部１２ｃは、速度標示の数字ゼロ８０ａと検出した白線候補８２を速度標示として記憶部１１へ登録し直す。その後、路面標示除外部１２ｃは、数字ゼロ８０ａの検出および速度標示領域の算出を全白線候補を対象に繰り返し行う。そして、全白線候補について処理が終了すると、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、速度標示として登録し直した白線候補を削除することにより、白線候補から速度標示を除外する。
【００６４】
この路面標示を除外した段階で得られた白線候補には、白線と類似する横断歩道、矢印標示および速度標示などの他の路面標示が除外され、全てのエッジ成分のうち白線に係るエッジ線分だけが白線候補データ１１ａとして記憶部１１に残されることになる。
【００６５】
図２の説明に戻り、白線決定部１２ｄは、路面標示除外部１２ｃによって白線以外の他の路面標示が除外された白線候補に基づき、白線を決定する処理部である。例えば、白線決定部１２ｄは、路面標示除外部１２ｃによって路面標示が除外された後に、記憶部１１に白線候補データ１１ａとして記憶された白線候補同士を道路が連なる方向に沿って連結し、連結した白線を白線データ１１ｃとして記憶部１１へ登録する。
【００６６】
出力制御部１２ｅは、白線データ１１ｃの出力制御を行う処理部である。一例としては、出力制御部１２ｅは、路面標示除外部１２ｃによって白線以外の他の路面標示が検出されずに白線決定部１２ｄによって白線だけが単独で検出された場合にはその白線の検出結果である白線データ１１ｃを自車位置判断部１２ｆへ出力する。一方、出力制御部１２ｅは、白線決定部１２ｄによって白線が検出されるとともに路面標示除外部１２ｃによって白線以外の他の路面標示が検出された場合には白線データ１１ｃを自車位置判断部１２ｆへ出力するのを抑止する。なお、ここでは、車載装置１０内の他の機能部として自車位置判断部１２ｆへ白線データを出力させる場合の制御について説明したが、車載装置１０の外部装置へ白線データを出力する場合の制御についても同様である。
【００６７】
自車位置判断部１２ｆは、出力制御部１２ｅによって出力される白線データ１１ｃと、車載カメラ２００の設置位置及び設置角度とを用いて路面上での自車位置を判断する処理部である。この自車位置判断部１２ｆには、白線決定部１２ｄで白線データ１１ｃが生成されたからといって必ずしも白線データ１１ｃが供給されるとは限らない。すなわち、自車位置判断部１２ｆは、出力制御部１２ｅによって白線データ１１ｃが出力された場合、つまり白線が単独検出された場合に、２つの白線により形成される走行領域上で自車両が所在する位置を認識する。このとき、自車位置判断部１２ｆは、自車両が白線に所定の距離、例えば３０ｃｍまで近付いている場合や白線からはみ出している場合などには、車両ＥＣＵ３００や出力デバイス４００にその旨を出力する。
【００６８】
［処理の流れ］
次に、本実施例に係る車載装置の処理の流れを説明する。図１０は、実施例２に係る出力制御処理の手順を示すフローチャートである。この処理は、車載カメラ２００によって撮影画像が入力画像として入力されるか、或いは記憶部１１に記憶された撮影画像が読み出された場合に処理が起動する。
【００６９】
図１０に示すように、撮影画像が入力されると（ステップＳ１０１肯定）、エッジ検出部１２ａは、撮影画像の各画素の輝度値からエッジ点を検出し（ステップＳ１０２）、検出したエッジ点を繋ぎ合わせることによりエッジ線分を検出する（ステップＳ１０３）。続いて、白線候補抽出部１２ｂは、エッジ検出部１２ａによって検出されたエッジ線分から白線候補を抽出する「白線候補抽出処理」を行う（ステップＳ１０４）。
【００７０】
ここで、図１１を用いて、図１０のステップＳ１０４で示した白線候補抽出処理について説明する。図１１は、実施例２に係る白線候補抽出処理の手順を示すフローチャートである。図１１に示すように、白線候補抽出部１２ｂは、撮影画像の中心部により近いエッジ線分から順にそのエッジ線分を内側線と仮決めし、その内側線と対をなす外側線を検索する（ステップＳ２０１）。
【００７１】
そして、白線候補抽出部１２ｂは、これら内側線および外側線の重複率が所定の閾値以上であるか否かを判定する（ステップＳ２０２）。このとき、重複率が所定の閾値以上である場合（ステップＳ２０２肯定）には、白線候補抽出部１２ｂは、内側線および外側線の輝度値の変化が所定の閾値以内であるか否かをさらに判定する（ステップＳ２０３）。なお、輝度値の変化とは、例えば、内側線および外側線における高輝度側の輝度値の差分の絶対値と、内側線および外側線における低輝度側の輝度値の差分の絶対値との和を指す。
【００７２】
続いて、内側線および外側線の輝度値の変化が所定の閾値以内である場合（ステップＳ２０３肯定）には、白線候補抽出部１２ｂは、内側線および外側線が形成する帯線の横幅が所定の範囲以内であるか否かをさらに判定する（ステップＳ２０４）。
【００７３】
そして、内側線および外側線が形成する帯線の横幅が所定の範囲以内である場合（ステップＳ２０４肯定）には、白線候補抽出部１２ｂは、内側線および外側線が形成する帯線の白線スコアを算出する（ステップＳ２０５）。
【００７４】
ここで、白線スコアが所定の閾値以上である場合（ステップＳ２０６肯定）には、白線候補抽出部１２ｂは、先に内側線および外側線と仮決めした一対のエッジ線分を白線候補データ１１ａとして記憶部１１へ登録する（ステップＳ２０７）。一方、白線スコアが所定の閾値未満である場合（ステップＳ２０６否定）には、そのままステップＳ２０９へ移行する。
【００７５】
また、内側線及び外側線が形成する帯線の横幅が所定の範囲以内でない場合（ステップＳ２０４否定）に、白線候補抽出部１２ｂは、内側線及び外側線として仮決めした一対のエッジ線分を他の路面標示候補として記憶部１１に登録する（ステップＳ２０８）。
【００７６】
また、重複率が所定の閾値未満である場合（ステップＳ２０２否定）或いは内側線および外側線の輝度値の変化が所定の閾値以上である場合（ステップＳ２０３否定）、そのままステップＳ２０９へ移行する。
【００７７】
その後、エッジ検出部１２ａによって検出された全てのエッジ線分を内側線として探索が終了するまで（ステップＳ２０９否定）、上記のステップＳ２０１〜Ｓ２０８までの処理を繰り返し行う。そして、全てのエッジ線分を内側線として探索が終了した場合（ステップＳ２０９肯定）に、白線候補抽出部１１ｃは処理を終了する。
【００７８】
図１０の説明に戻り、路面標示除外部１２ｃは、白線候補抽出部１１ｂによって抽出された白線候補から横断歩道を除外する「横断歩道除外処理」を実行する（ステップＳ１０５）。
【００７９】
ここで、図１２を用いて、図１０のステップＳ１０５で示した横断歩道除外処理について説明する。図１２は、実施例２に係る横断歩道除外処理の手順を示すフローチャートである。図１２に示すように、路面標示除外部１２ｃは、撮影画像における１つの水平ラインに含まれる白線候補を探索する（ステップＳ３０１）。
【００８０】
そして、路面標示除外部１２ｃは、１つの水平ラインに含まれる白線候補の数が所定の閾値以上であるか否かを判定する（ステップＳ３０２）。このとき、白線候補の数が所定の閾値以上である場合（ステップＳ３０２肯定）には、路面標示除外部１２ｃは、その水平ラインに含まれる各白線候補のエッジ点間の距離が所定の範囲以内であるか否かをさらに判定する（ステップＳ３０３）。
【００８１】
ここで、各白線候補のエッジ点間の距離が所定の範囲内に収まる場合（ステップＳ３０３肯定）に、路面標示除外部１２ｃは、各白線候補のエッジ点を横断歩道候補のエッジ点と推定し、その横断歩道候補のエッジ点を記憶部１１へ登録する（ステップＳ３０４）。
【００８２】
また、白線候補の数が所定の閾値未満である場合（ステップＳ３０２否定）、或いは各白線候補のエッジ点間の距離が所定の範囲内に収まる場合（ステップＳ３０３否定）には、路面標示除外部１２ｃは、ステップＳ３０５へ処理を移行する。
【００８３】
そして、水平ラインに対する白線候補の探索が全ラインについて終了するまで（ステップＳ３０５否定）、路面標示除外部１２ｃは、上記のステップＳ３０１〜Ｓ３０４までの処理を繰り返し行う。
【００８４】
その後、水平ラインに対する白線候補の探索が全ラインについて終了すると（ステップＳ３０５肯定）、路面標示除外部１２ｃは、記憶部１１に記憶された横断歩道候補のエッジ点が垂直方向に連続するか否かを判定する（ステップＳ３０６）。そして、横断歩道候補のエッジ点が垂直方向に連続する場合（ステップＳ３０６肯定）には、路面標示除外部１２ｃは、垂直方向に連続する横断歩道候補の長さが所定の閾値以上であるか否かを判定する（ステップＳ３０７）。
【００８５】
ここで、横断歩道候補の長さが所定の閾値以上である場合（ステップＳ３０７肯定）には、路面標示除外部１２ｃは、横断歩道候補を横断歩道と決定し、横断歩道候補を横断歩道として記憶部１１へ確定登録する（ステップＳ３０８）。そして、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、横断歩道として確定登録した横断歩道候補のエッジ点を含む白線候補を削除することにより、白線候補から横断歩道を除外する（ステップＳ３０９）。
【００８６】
一方、記憶部１１に記憶された横断歩道候補のエッジ点が垂直方向に連続しない場合（ステップＳ３０６否定）或いは横断歩道候補の長さが所定の閾値未満である場合（ステップＳ３０７否定）には、路面標示除外部１２ｃは、そのまま処理を終了する。
【００８７】
図１０の説明に戻り、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補から矢印標示を除外する「矢印標示除外処理」を実行する（ステップＳ１０６）。
【００８８】
ここで、図１３を用いて、図１０のステップＳ１０６で示した矢印標示除外処理について説明する。図１３は、実施例２に係る矢印標示除外処理の手順を示すフローチャートである。
【００８９】
図１３に示すように、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補を１つ取り出す（ステップＳ４０１）。そして、路面標示除外部１２ｃは、白線候補に含まれる内側線および外側線が交わるか否かを判定する（ステップＳ４０２）。このとき、内側線および外側線が交わる場合（ステップＳ４０２肯定）には、路面標示除外部１２ｃは、その白線候補の下部近傍に他の白線候補が存在するか否かをさらに判定する（ステップＳ４０３）。
【００９０】
ここで、他の白線候補が存在する場合（ステップＳ４０３肯定）には、路面標示除外部１２ｃは、白線候補及び他の白線候補を矢印標示として記憶部１１へ登録し直す（ステップＳ４０４）。一方、内側線および外側線が交らない場合（ステップＳ４０２否定）、或いは他の白線候補が存在しない場合（ステップＳ４０３否定）には、路面標示除外部１２ｃは、ステップＳ４０５まで処理を移行する。
【００９１】
そして、全白線候補について処理が終了するまで（ステップＳ４０５否定）、路面標示除外部１２ｃは、上記のステップＳ４０１〜４０４までの処理を繰り返し行う。その後、全白線候補について処理が終了すると（ステップＳ４０５肯定）、路面標示除外部１２ｃは、矢印標示が存在しなかった場合（ステップＳ４０６否定）には、そのまま処理を終了する。
【００９２】
一方、矢印標示が存在した場合（ステップＳ４０６肯定）には、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、矢印標示として登録し直した白線候補を削除し（ステップＳ４０７）、処理を終了する。
【００９３】
図１０の説明に戻り、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補から速度標示を除外する「速度標示除外処理」を実行する（ステップＳ１０７）。
【００９４】
ここで、図１４を用いて、図１０のステップＳ１０７で示した速度標示除外処理について説明する。図１４は、実施例２に係る速度標示除外処理の手順を示すフローチャートである。図１４に示すように、撮影画像の水平方向に整列する白線候補の組を探索する（ステップＳ５０１）。そして、路面標示除外部１２ｃは、白線候補の外側同士のエッジ線分の間隔が所定値であるか否かを判定する（ステップＳ５０２）。
【００９５】
このとき、白線候補の外側同士のエッジ線分の間隔が所定値である場合（ステップＳ５０２肯定）に、路面標示除外部１２ｃは、その白線候補の組の下部近傍に水平方向のエッジ線分が存在するか否かをさらに判定する（ステップＳ５０３）。なお、白線候補の外側同士のエッジ線分の間隔が所定値でない場合（ステップＳ５０２否定）又は白線候補の組の下部近傍に水平方向のエッジ線分が存在しない場合（ステップＳ５０３否定）には、路面標示除外部１２ｃは、ステップＳ５０６の処理へ移行する。
【００９６】
ここで、白線候補の組の下部近傍に水平方向のエッジ線分が存在する場合（ステップＳ５０３肯定）には、路面標示除外部１２ｃは、速度標示の数字ゼロが撮影画像に含まれるものと見做し、数字ゼロの標示領域から速度標示領域を算出する（ステップＳ５０４）。そして、路面標示除外部１２ｃは、速度標示の数字ゼロと検出した白線候補を速度標示として記憶部１１へ登録し直す（ステップＳ５０５）。
【００９７】
その後、全白線候補について処理が終了するまで（ステップＳ５０６否定）、路面標示除外部１２ｃは、上記のステップＳ５０１〜Ｓ５０５までの処理を繰り返し行う。そして、全白線候補について処理が終了すると（ステップＳ５０６肯定）、路面標示除外部１２ｃは、速度標示が存在しなかった場合（ステップＳ５０７否定）には、そのまま処理を終了する。
【００９８】
一方、速度標示が存在した場合（ステップＳ５０７肯定）には、路面標示除外部１２ｃは、記憶部１１に白線候補データ１１ａとして記憶された白線候補の中から、速度標示として登録し直した白線候補を削除し（ステップＳ５０８）、処理を終了する。
【００９９】
図１０の説明に戻り、白線決定部１２ｄは、路面標示除外部１２ｃによって白線以外の他の路面標示が除外された白線候補に基づき、白線を決定する（ステップＳ１０８）。そして、出力制御部１２ｅは、撮影画像から路面標示データ１１ｂが検出されずに白線データ１１ｃだけが単独で検出された場合（ステップＳ１０９肯定）には、その白線データ１１ｃを自車位置判断部１２ｆへ出力する（ステップＳ１１０）。その後、自車位置判断部１２ｆは、出力制御部１２ｅによって出力される白線データ１１ｃと、車載カメラ２００の設置位置及び設置角度とを用いて路面上での自車位置を判断し（ステップＳ１１１）、処理を終了する。
【０１００】
一方、白線データ１１ｃとともに路面標示データ１１ｂが検出された場合（ステップＳ１０９否定）には、出力制御部１２ｅは、白線データ１１ｃの自車位置判断部１２ｆへの出力を抑止し（ステップＳ１１２）、自車位置を判断させずに処理を終了する。
【０１０１】
なお、図１０のフローチャートでは、ステップＳ１０５、ステップＳ１０６及びステップＳ１０７の処理はそれぞれの順番を入れ替えることとしてもよいし、それぞれの処理を並列して行うこともできる。
【０１０２】
［実施例２の効果］
上述してきたように、本実施例に係る車載装置１０では、白線と混同し得る他の路面標示が白線の検出結果に含まれている可能性が高い場合に、白線の検出結果を利用する別処理が実行されることはない。また、本実施例に車載装置１０では、白線の検出結果が出力されたとしても白線と混同し得る他の路面標示が含まれていないので、別処理で白線と混同して実行されることもない。したがって、本実施例に係る車載装置１０によれば、白線の検出結果を利用した別処理を行う場合に、誤った処理結果が導出されることを防止することが可能になる。
【０１０３】
また、本実施例に係る車載装置１０では、白線の検出結果が出力された場合に、該白線の内側位置に基づき、路面上での自車位置を判断する。したがって、本実施例に係る車載装置１０によれば、白線の検出結果を利用して自車位置を判断する場合に、白線以外の路面標示を白線と混同して自車位置の判断処理が実行されることを防止することが可能である。
【実施例３】
【０１０４】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【０１０５】
［適用例］
例えば、上記の実施例２では、車載カメラ２００が車載装置１０へ白黒画像を入力する場合を例示したが、開示の装置はこれに限定されるものではない。例えば、車載カメラ２００が車載装置１０へカラー画像を入力し、白線だけでなく黄色車線の検出及びその出力制御を行うように車載装置１０を構成することもできる。
【０１０６】
また、上記の実施例２では、撮影画像に白線以外の路上標示が含まれる場合には白線の検出結果を自車位置判断部１２ｆへ出力させない場合を説明したが、必ずしも白線の検出結果を出力することを全面的に禁止する必要はない。例えば、撮影画像から横断歩道が検出された場合には、横断歩道よりも手前に白線が検出されなかったならば、白線の検出結果を出力するのを禁止する。その一方で、横断歩道の手前に白線が検出された場合には、横断歩道までの距離が所定の距離、例えば５ｍを超過するならば白線検出結果を出力し、所定の距離以下である場合には白線検出結果を出力することを禁止するようにしてもよい。
【０１０７】
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、エッジ検出部１２ａ、白線候補抽出部１２ｂ、路面標示除外部１２ｃ、白線決定部１２ｄ、出力制御部１２ｅまたは自車位置判断部１２ｆを車載装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。さらに、自車位置判断部１２ｆを車載装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、エッジ検出部１２ａ、白線候補抽出部１２ｂ、路面標示除外部１２ｃ、白線決定部１２ｄ、出力制御部１２ｅまたは自車位置判断部１２ｆを別の装置がそれぞれ有する構成とする。その上で、ネットワーク接続されて協働することで、上記の車載装置１０の機能を実現するようにしてもよい。
【０１０８】
［車線検出プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１５を用いて、上記の実施例と同様の機能を有する車線検出プログラムを実行するコンピュータの一例について説明する。なお、図１５は、実施例３に係る車線検出プログラムを実行するコンピュータの一例について説明するための図である。
【０１０９】
図１５に示すように、実施例３におけるコンピュータ１００は、操作部１１０ａと、マイク１１０ｂと、スピーカ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ（Hard Disk Drive）１７０と、ＲＡＭ（Random Access Memory）１８０と有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
【０１１０】
ＲＯＭ１６０には、上記の実施例２で示したエッジ検出部１２ａと、白線候補抽出部１２ｂと、路面標示除外部１２ｃと、白線決定部１２ｄと、出力制御部１２ｅと同様の機能を発揮する制御プログラムが予め記憶される。つまり、ＲＯＭ１６０には、図１５に示すように、エッジ検出プログラム１６０ａと、白線候補抽出プログラム１６０ｂと、路面標示除外プログラム１６０ｃと、白線決定プログラム１６０ｄと、出力制御プログラム１６０ｅとが記憶される。なお、これらのプログラム１６０ａ〜１６０ｅについては、図２に示した車載装置の各構成要素と同様、適宜統合又は分離しても良い。
【０１１１】
そして、ＣＰＵ１５０が、これらのプログラム１６０ａ〜１６０ｅをＲＯＭ１６０から読み出して実行する。これによって、ＣＰＵ１５０は、図１５に示すように、各プログラム１６０ａ〜１６０ｅについては、エッジ検出プロセス１５０ａ、白線候補抽出プロセス１５０ｂ及び路面標示除外プロセス１５０ｃとして機能するようになる。さらに、ＣＰＵ１５０は、白線決定プロセス１５０ｄ及び出力制御プロセス１５０ｅとして機能するようになる。なお、各プロセス１５０ａ〜１５０ｅは、図２に示した、エッジ検出部１２ａと、白線候補抽出部１２ｂと、路面標示除外部１２ｃと、白線決定部１２ｄと、出力制御部１２ｅとにそれぞれ対応する。
【０１１２】
そして、ＣＰＵ１５０は、通信部１３０から撮影画像を受信するか、またはＨＤＤ１７０から撮影画像を読み出し、その撮影画像から白線候補データ１８０ａを生成してＲＡＭ１８０に格納する。さらに、ＣＰＵ１５０は、白線候補データ１８０ａから路面標示データ１８０ｂ及び白線データ１８０ｃを生成してＲＡＭ１８０に格納する。さらに、ＣＰＵ１５０は、ＲＡＭ１８０に格納された白線データ１８０ｃを用いて、車線検出プログラムを実行する。
【符号の説明】
【０１１３】
１ 車線検出装置
２ 検出部
３ 出力制御部
１０ 車載装置
１１ 記憶部
１１ａ 白線候補データ
１１ｂ 路面標示データ
１１ｃ 白線データ
１２ 制御部
１２ａ エッジ検出部
１２ｂ 白線候補抽出部
１２ｃ 路面標示除外部
１２ｄ 白線決定部
１２ｅ 出力制御部
１２ｆ 自車位置判断部
２００ 車載カメラ
３００ 車両ＥＣＵ
４００ 出力デバイス
【特許請求の範囲】
【請求項１】
コンピュータに、
車両に搭載したカメラにより取得された画像から、路面に標示された車線および該車線以外の路面標示を検出する検出手順と、
前記検出手順によって前記車線のみが検出された場合には該車線の検出結果を出力し、前記車線とともに該車線以外の路面標示が検出された場合には該車線の検出結果の出力を抑止する出力制御手順と
を実行させることを特徴とする車線検出プログラム。
【請求項２】
前記出力制御手順によって前記車線の検出結果が出力された場合に、該車線の内側位置に基づき、路面上での自車位置を判断する判断手順をさらにコンピュータに実行させることを特徴とする請求項１に記載の車線検出プログラム。
【請求項３】
車両に搭載したカメラにより取得された画像から、路面に標示された車線および該車線以外の路面標示を検出する検出部と、
前記検出部によって前記車線のみが検出された場合には該車線の検出結果を出力し、前記車線とともに該車線以外の路面標示が検出された場合には該車線の検出結果の出力を抑止する出力制御部と
を有することを特徴とする車線検出装置。
【請求項１】
コンピュータに、
車両に搭載したカメラにより取得された画像から、路面に標示された車線および該車線以外の路面標示を検出する検出手順と、
前記検出手順によって前記車線のみが検出された場合には該車線の検出結果を出力し、前記車線とともに該車線以外の路面標示が検出された場合には該車線の検出結果の出力を抑止する出力制御手順と
を実行させることを特徴とする車線検出プログラム。
【請求項２】
前記出力制御手順によって前記車線の検出結果が出力された場合に、該車線の内側位置に基づき、路面上での自車位置を判断する判断手順をさらにコンピュータに実行させることを特徴とする請求項１に記載の車線検出プログラム。
【請求項３】
車両に搭載したカメラにより取得された画像から、路面に標示された車線および該車線以外の路面標示を検出する検出部と、
前記検出部によって前記車線のみが検出された場合には該車線の検出結果を出力し、前記車線とともに該車線以外の路面標示が検出された場合には該車線の検出結果の出力を抑止する出力制御部と
を有することを特徴とする車線検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−１５４４８０（Ｐ２０１１−１５４４８０Ａ）
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願番号】特願２０１０−１４７０３（Ｐ２０１０−１４７０３）
【出願日】平成２２年１月２６日（２０１０．１．２６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【出願人】（３９１００８５５９）株式会社トランストロン (30)
【Ｆターム（参考）】
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願日】平成２２年１月２６日（２０１０．１．２６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【出願人】（３９１００８５５９）株式会社トランストロン (30)
【Ｆターム（参考）】
[ Back to top ]