一時停止線検出装置及びプログラム
【課題】一時停止線以外の白線の誤検出を防止して、一時停止線を精度良く検出する。
【解決手段】画素距離変換部２０で、画像入力部１８により取得した入力画像を２値化し、画素値を画素距離に変換した画素距離画像を生成する。交差パターン検出部２２で、画素距離画像を用いてレーンマークを追跡して、レーンマークと水平方向に伸びる白線との交点を検出する。探索領域設定部２４で、交点近傍領域を一時停止線を検出するための探索領域に設定し、一時停止線判定部２６で、探索領域内の白線の芯線を抽出し、抽出された芯線が直線状かつ所定の長さ以上の場合に、芯線に対応する白線を一時停止線と判定する。
【解決手段】画素距離変換部２０で、画像入力部１８により取得した入力画像を２値化し、画素値を画素距離に変換した画素距離画像を生成する。交差パターン検出部２２で、画素距離画像を用いてレーンマークを追跡して、レーンマークと水平方向に伸びる白線との交点を検出する。探索領域設定部２４で、交点近傍領域を一時停止線を検出するための探索領域に設定し、一時停止線判定部２６で、探索領域内の白線の芯線を抽出し、抽出された芯線が直線状かつ所定の長さ以上の場合に、芯線に対応する白線を一時停止線と判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一時停止線検出装置及びプログラムに係り、特に、撮像した画像から、一時停止線を検出する一時停止線検出装置及びプログラムに関する。
【背景技術】
【０００２】
従来、ＣＣＤカメラで得た自車両前方画像から前方車両を検出し、その手前に停止線検出ウインドウを設定し、その幅に対して所定の割合以上の長さの白線を白線検出フィルタによって検出する車両用走行制御装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、道路の横断歩道を検出し、横断歩道を含まないように停止線を検出すべき停止線検出領域を設定し、その停止線検出領域において、水平エッジの線分長及び垂直幅に基づいて停止線を検出する停止線検出装置が提案されている（例えば、特許文献２参照）。
【０００４】
また、ＣＣＤカメラから入力される元画像の下側寄りに予め設定しておいた６つの小領域からなる停止線を認識するための領域のうち、連続する３つの小領域の平均輝度が低輝度→高輝度→低輝度と変化した場合に、一時停止線が存在すると判断する停止線認識装置が提案されている（例えば、特許文献４参照）。
【０００５】
また、外界撮像カメラから入力される画像データ上において、自車両の走行路内に、この走行路に沿って伸びる複数の検知ラインを走行路の幅方向に所定間隔をおいて設定し、検知ライン毎に長さ方向における明るさの変化を検知し、その明るさの変化のパターンから一時停止線を検出する車両の路面標識検出装置が提案されている（例えば、特許文献４参照）。
【０００６】
また、カメラ画像を俯瞰画像に変換し、俯瞰画像より一方向加算の強度プロファイルと他方向加算の強度プロファイルとを作成し、強度プロファイルのピーク強度位置を求めることにより、車両に対する停止線の位置を検出する停車位置検出装置が提案されている（例えば、特許文献５参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−１９０１００号公報
【特許文献２】特開２００７−６６００３号公報
【特許文献３】特開２００３−８５５６２号公報
【特許文献４】特開２００６−２４１０５号公報
【特許文献５】特開２００５−３４１１５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技術では、遠方の横断歩道や、一時停止線と同様に水平方向に伸びる一時停止線以外の白線を一時停止線として誤検出し易い、という問題がある。
【０００９】
また、特許文献２の技術では、横断歩道を一時停止線と誤検出しないように、横断歩道の手前の領域から一時停止線を検出しているが、交差点の出口部分において、横断歩道と自転車横断帯とが並んで設置されている場合には、横断歩道の手前に自転車横断帯の白線が位置するため、この自転車横断帯を一時停止線と誤検出する場合がある、という問題がある。
【００１０】
また、特許文献３の技術では、水平方向に伸びる一時停止線以外の白線を一時停止線として誤検出し易い、という問題がある。また、影や日照領域の通過による輝度値の変化にも反応してしまい、誤検出が生じる可能性がある、という問題がある。
【００１１】
また、特許文献４の技術では、自転車横断帯のような水平方向に伸びる直線を全て一時停止線と誤検出する場合がる、という問題がある。また、一時停止線の一部がかすれて消えているような場合には、未検出が多くなる、という問題がある。
【００１２】
また、特許文献５の技術では、輝度の積分に基づくコの字型の白線パターンを検出可能であるが、車道中の一時停止線を検出する場合、周囲の矢印表示や横断歩道の輝度値も積分されてしまうため、一時停止線の判別が困難になる、という問題がある。
【００１３】
本発明は、上記の問題点を解決するためになされたもので、一時停止線以外の白線の誤検出を防止して、一時停止線を精度良く検出することができる一時停止線検出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の一時停止線検出装置は、自車両周辺の道路領域を含む範囲を撮像する撮像手段によって撮像された画像から、前記自車両の走行レーンの境界を示すレーンマークを検出し、検出されたレーンマーク上の点を始点として該レーンマークから分岐して前記画像の水平方向に伸びる白線を検出する検出手段と、前記検出手段により検出された水平方向に伸びる白線の一部または全部、及び前記始点を含む領域を、一時停止線を検出するための探索領域として設定する設定手段と、前記設定手段により設定された探索領域に存在する白線を細線化した芯線を抽出し、抽出された芯線が直線状かつ所定の長さ以上の場合に、該芯線に対応する白線を一時停止線と判定する判定手段と、を含んで構成されている。
【００１５】
本発明の一時停止線検出装置によれば、撮像手段により、自車両周辺の道路領域を含む範囲が撮像されると、検出手段が、この撮像された画像から、自車両の走行レーンの境界を示すレーンマークを検出し、検出されたレーンマーク上の点を始点としてレーンマークから分岐して画像の水平方向に伸びる白線を検出する。すなわち、検出手段は、レーンマークと水平方向に伸びる白線とが、上記始点を交点として交差する交差パターンを検出する。一時停止線はレーンマークと交差するが、一時停止線以外の白線はレーンマークと交差しないため、この交差パターンを検出することで、一時停止線以外の白線を除外することができる。
【００１６】
そして、設定手段が、検出手段により検出された水平方向に伸びる白線の一部または全部、及び始点を含む領域を、一時停止線を検出するための探索領域として設定し、判定手段が、設定手段により設定された探索領域に存在する白線を細線化した芯線を抽出する。一時停止線は、横断歩道等と隣接していないため、芯線が直線状となるが、横断歩道等と隣接している一時停止線以外の白線は、芯線が直線状にならない。そこで、判定手段は、抽出された芯線が直線状かつ所定の長さ以上の場合に、芯線に対応する白線を一時停止線と判定する。
【００１７】
このように、レーンマーク及びレーンマーク上の点を始点としてレーンマークから分岐して画像の水平方向に伸びる白線、すなわち交差パターンを検出し、その交点である始点の近傍領域を一時停止線を検出するための探索領域として設定し、白線を細線化した芯線を用いて一時停止線を検出するため、一時停止線以外の白線の誤検出を防止して、一時停止線を精度良く検出することができる。
【００１８】
また、前記画像の各画素を、画素値が予め定めた閾値以上の第１の画素と、画素値が前記閾値より小さい第２の画素とに分類し、前記第１の画素の各々の画素値を、該第１の画素から最も近い前記第２の画素までの画素距離に変換する変換手段を含み、前記検出手段は、前記変換手段により変換された前記第１の画素の画素距離が所定範囲の値の画素が所定方向に沿って連続している場合に、前記所定方向に沿って連続する画素群を前記レーンマークとして検出し、前記連続する画素群の端及びその延長線上において、画素距離が所定範囲の値を超えた画素位置を前記始点として検出することができる。このように、画素距離変換を行って交差パターンを検出することで、パターンマッチングなどの手法と比較して、簡易な処理で様々な交差パターンを検出することができる。
【００１９】
また、前記検出手段は、前記連続する画素群に含まれる画素数が所定数以上の場合に、該連続する画素群を前記レーンマークとして検出することができる。これにより、レーンマークの誤検出を防止することができる。
【００２０】
また、前記判定手段は、前記変換手段により変換された前記第１の画素の前記水平方向に伸びる白線に直交する方向において画素距離が最大となる画素を前記芯線として抽出することができる。このように、画素距離変換を行うことで、簡易な処理で白線の芯線を抽出することができる。
【００２１】
また、前記検出手段は、前記レーンマークと前記水平方向に伸びる白線を各々検出し、該レーンマークと該水平方向に伸びる白線とが、Ｔ字型、十字型、トの字型、及びΓ字型のいずれかの形状で交差している点を前記始点として検出することができる。
【００２２】
また、本発明の一時停止線検出プログラムは、コンピュータを、自車両周辺の道路領域を含む範囲を撮像する撮像手段によって撮像された画像から、前記自車両の走行レーンの境界を示すレーンマークを検出し、検出されたレーンマーク上の点を始点として該レーンマークから分岐して前記画像の水平方向に伸びる白線を検出する検出手段、前記検出手段により検出された水平方向に伸びる白線の一部または全部、及び前記始点を含む領域を、一時停止線を検出するための探索領域として設定する設定手段、及び前記設定手段により設定された探索領域に存在する白線を細線化した芯線を抽出し、抽出された芯線が直線状かつ所定の長さ以上の場合に、該芯線に対応する白線を一時停止線と判定する判定手段として機能させるためのプログラムである。
【００２３】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００２４】
以上説明したように、本発明の一時停止線検出装置及びプログラムによれば、レーンマーク及びレーンマーク上の点を始点としてレーンマークから分岐して画像の水平方向に伸びる白線、すなわち交差パターンを検出し、その交点である始点の近傍領域を一時停止線を検出するための探索領域として設定し、白線を細線化した芯線を用いて一時停止線を検出するため、一時停止線以外の白線の誤検出を防止して、一時停止線を精度良く検出することができる、という効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】本実施の形態に係る一時停止線検出装置を示すブロック図である。
【図２】画素距離画像の一部の一例を示すイメージ図である。
【図３】（Ａ）入力画像、及び（Ｂ）画素距離が所定の範囲内となる画素群を抽出した画像の一例を示すイメージ図である。
【図４】交差パターンの例を示す図である。
【図５】レーンマークの追跡を説明するための図である。
【図６】（Ａ）左側のレーンマーク、及び（Ｂ）右側のレーンマークの追跡を説明するための図である。
【図７】（Ａ）左側の交点及び右側の交点のいずれか一方のみが検出された場合、及び（Ｂ）双方の交点が検出された場合における、探索領域の設定を説明するための図である。
【図８】白線の芯線の抽出を説明するための図である。
【図９】（Ａ）一時停止線の場合、及び（Ｂ）一時停止線以外の白線の場合における、抽出された芯線の一例を示すイメージ図である。
【図１０】本実施の形態に係る一時停止線検出装置のコンピュータにおける一時停止線検出処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２７】
図１に示すように、本実施の形態に係る一時停止線検出装置１０は、車両（図示省略）に搭載され、かつ、道路領域を含む自車両前方を撮像して画像を出力する撮像装置１２と、撮像装置１２から得られる画像に基づいて、一時停止線を検出し、検出結果を表示装置１６に表示させるコンピュータ１４とを備えている。
【００２８】
撮像装置１２は、自車両前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００２９】
コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する一時停止線検出処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１４は、撮像装置１２により撮像された画像を取得する画像入力部１８と、取得した画像の各画素の画素値を画素距離に変換する画素距離変換部２０と、レーンマークと水平方向に伸びる白線とが交差する交差パターンを検出する交差パターン検出部２２と、一時停止線を検出するための探索領域を設定する探索領域設定部２４と、探索領域内から抽出された白線が一時停止線か否かを判定する一時停止線判定部２６と、を含んだ構成で表すことができる。
【００３０】
画素距離変換部２０は、画像入力部１８により取得した入力画像を、予め定めた閾値を用いて２値化する。例えば、画素値が閾値以上の画素を｛１｝、画素値が閾値より小さい画素を｛０｝に分類する。閾値は、道路上の白線と白線以外の部分とを分類可能な値を定めておく。また、画素距離変換部２０は、｛１｝画素に分類された画素の各々について、｛１｝画素から最も近い｛０｝画素までの距離（画素距離）を算出する。画素距離の算出は、シティブロック距離やユークリッド距離等を用いることができる。そして、各｛１｝画素の画素値を算出した画素距離に変換して、画素距離画像を生成する。
【００３１】
図２に、入力画像を画素距離に変換した画素距離画像の一部の一例を示す。１マスが１画素を表し、網掛けで示した画素が｛０｝画素、白色で示した画素が｛１｝画素であり、｛１｝画素内の数値が各｛１｝画素の画素距離を表している。また、例えば、図３（Ａ）のような入力画像に対して画素距離変換を行い、画素距離が所定の範囲内となる画素群（例えば、図２で画素距離の所定範囲を１〜４とした場合には、１〜４のラベルを付した｛１｝画素）を抽出した画像を、同図（Ｂ）に示す。
【００３２】
交差パターン検出部２２は、画素距離変換部２０で生成された画素距離画像を用いて、自車両の走行レーンの境界を示すレーンマークと、水平方向に伸びる白線とが交差する交差パターンを検出する。一時停止線は、多くの場合、レーンマークと交差するように描画されている。一方、一時停止線以外の白線は、レーンマークと交差していない。そこで、この交差パターンを検出することにより、一時停止線以外の白線を除外する。また、レーンマークと一時停止線との交点部分は、レーンマーク上をタイヤが通過する頻度が少ないことから、かすれて消えることなく残っている場合が多いため、安定して検出することができる。
【００３３】
交差パターンは、例えば、図４に示すように、Ｔ字型、十字型、トの字型、Γ字型等のパターンであり、それらの左右反転したパターンも含む。なお、上下反転させたパターンは、自転車横断帯や反対車線の一時停止線に該当するため、交差パターンには含まない。
【００３４】
交差パターンの検出の具体的な方法は、画素距離画像の左上端の画素を基準としたｘ方向の画素数ｉ、ｙ方向の画素数ｊで表される画素座標（ｉ，ｊ）の画素（以下、画素（ｉ，ｊ）ともいう）の画素距離をｄ（ｉ，ｊ）として、画素距離ｄ（ｉ，ｊ）が、τ１≦ｄ（ｉ，ｊ）≦τ２となる画素を追跡していく。所定方向にτ１≦ｄ（ｉ，ｊ）≦τ２となる画素が所定数以上連続する場合には、それらの画素群をレーンマークとして検出する。そして、ｄ（ｉ，ｊ）がτ１より小さくなった画素、またはτ２を超えた画素を、レーンマークと水平方向に伸びる白線との交点として検出する。
【００３５】
なお、閾値τ１及びτ２は、レーンマーク検出のための閾値であり、画素距離の範囲の上限及び下限を与えるパラメータである。白線の境界付近が追跡対象に含まれるように小さな値を設定しておく。下限の閾値τ１は、なるべく小さな値を設定するが、小さすぎると画像中の雑音を多く含んでしまうため、２〜４の値を設定するのが最適である。また、上限の閾値τ２は、白線の両端から内部へ何画素目までを追跡対象とするかを定めるためのパラメータである。この閾値τ２を設定するのは、一時停止線の上部にレーンマークが続いている場合（図５参照）でも、レーンマークと水平方向に伸びる白線との交点を検出可能にするためである。閾値τ２が小さすぎるとレーンマークの追跡に失敗し、大きすぎると白線全域が追跡対象となり、交点の検出に失敗する可能性があるため、閾値τ１よりも２〜４大きな値を設定するのが適切である。
【００３６】
例えば、図２に示した画素距離画像を用いて、τ１＝τ２＝１、自車両の右側のレーンマークを想定して所定方向を左斜め上方向とした場合、図５に示すように、矢印部分の画素群がレーンマークとして検出され、×印の画素がレーンマークと水平方向に伸びる白線との交点として検出される。これは、この点を始点としてレーンマークから分岐して水平方向に伸びる白線が存在していることを示しており、このようにレーンマーク及び交点を検出することで、交差パターンを検出することができる。
【００３７】
交差パターンの検出方法について、より具体的に説明する。図５に示したように、τ１≦ｄ（ｉ，ｊ）≦τ２となる画素が、レーンマーク上では斜線状となり、水平方向に伸びる白線上では、水平線状となる。従って、画像の下側からτ１≦ｄ（ｉ，ｊ）≦τ２となる画素を追跡し、その追跡経路が斜め上方向から水平方向に変わった地点を、レーンマークと水平方向に伸びる白線との交点とみなすことができる。
【００３８】
画素の追跡は、自車両から見て左側のレーンマーク、及び右側のレーンマークの各々について個別に行う。左側のレーンマークの追跡では、累積画素数をｍｌ（ｉ，ｊ）とすると、ｍｌ（ｉ，ｊ）は動的計画法により、下記（１）式により計算される。また、この追跡の様子を図６（Ａ）に示す。
【００３９】
【数１】
【００４０】
レーンマークと水平方向に伸びる白線との交点の判定は、所定の閾値θｌを用いて、下記（２）式により行う。
【００４１】
【数２】
【００４２】
この判定式は、レーンマークをθｌ画素以上斜め上方向に追跡した状態で、それ以上斜め上方向にレーンマークがない場合（ｄ（ｉ，ｊ）＜τ１）、または横方向から別の白線が交わっている場合（ｄ（ｉ，ｊ）＞τ２）を表している。（２）式を満たす画素（ｉ，ｊ）を、レーンマークと水平方向に伸びる白線との交点として検出する。
【００４３】
右側のレーンマークの追跡では、（１）式に代えて、累積画素数ｍｒを下記（３）式により計算する。また、この追跡の様子を図６（Ｂ）に示す。
【００４４】
【数３】
【００４５】
なお、（１）式の更新の順序は、画像左下の（ｉ，ｊ）から画像右上の（ｉ，ｊ）とし、（３）式の更新の順序は、画像右下の（ｉ，ｊ）から画像左上の（ｉ，ｊ）とする。このように更新することで、累積画素数ｍｌ（ｉ，ｊ）及びｍｒ（ｉ、ｊ）が追跡方向に対して順方向に累積され、一度の画像スキャンでｍｌ（ｉ，ｊ）及びｍｒ（ｉ、ｊ）を求めることができる。
【００４６】
右側レーンマークについての交点の検出は、（２）式に代えて、下記（４）式を用いる。
【００４７】
【数４】
【００４８】
探索領域設定部２４は、交差パターン検出部２２で検出された交点を示す画素（ｉ，ｊ）の近傍領域を、一時停止線を検出するための探索領域として設定する。具体的には、左側のレーンマーク上の交点、及び右側のレーンマーク上の交点のいずれか一方のみが検出された場合には、図７（Ａ）に示すように、交点を示す画素（ｉ，ｊ）を中心に左右各々に幅ｉｒ、上下方向の各々に高さｊｒとなる長方形の領域（ｉ−ｉｒ、ｊ−ｊｒ）−（ｉ＋ｉｒ、ｊ＋ｊｒ）を探索領域として設定する。ｉｒは、画像の横幅全体を包含するように大きな値を設定してもよい。また、左側のレーンマーク上の交点、及び右側のレーンマーク上の交点の双方が検出された場合には、同図（Ｂ）に示すように、左側の交点に基づいて設定された探索領域と右側の交点に基づいて設定された探索領域とを包含する領域を探索領域として設定する。
【００４９】
一時停止線判定部２６は、探索領域設定部２４により設定された探索領域から、白線の芯線を抽出する。例えば、探索領域として（ｉ０、ｊ０）−（ｉ１、ｊ１）の範囲が設定された場合には、ｉ０＜ｉ＜ｉ１を満たす画素について、画素距離ｄ（ｉ，ｊ）が最大となるｊ（ｊ０＜ｊ＜ｊ１）を求め、その座標（ｉ，ｊ）を芯線座標として抽出して、保持する。ｄ（ｉ，ｊ）＝０の場合、すなわち白線がない場合には、芯線座標を保持しない。図８に、図２に示した画素距離画像から芯線を抽出した例を示す。画素距離の尾根部分（斜線で示した画素）が芯線座標として抽出され、保持される。
【００５０】
また、一時停止線判定部２６は、探索領域の幅方向に占める芯線座標の割合が所定の閾値より小さい場合には、抽出された芯線に対応する白線は一時停止線ではないと判定する。探索領域の幅方向に占める芯線座標の割合は、例えば、（抽出された芯線の画素数）／（探索領域の横１ライン分の画素数）として求めることができる。また、この閾値は、横断歩道のような縞模様の誤検出を防止し、また、一部分がかすれて消えている一時停止線の未検出を防止するような値を定めておく。例えば、閾値を０．５以上に設定すると、縞模様の横断歩道が誤検出されることはない。また、消えずに残っている部分の割合が０．５以上であれば、一時停止線として検出することができる。
【００５１】
また、一時停止線判定部２６は、保持した芯線座標（ｉ，ｊ）の集合を通る直線を最小二乗法により求め、保持した芯線座標と最小二乗法により求めた直線との誤差平均に基づいて、芯線に対応する白線が一時停止線か否かを判定する。誤差平均が所定の閾値を超えた場合は、その白線は一時停止線ではないと判定する。また、誤差平均が所定の閾値以下の場合には、その白線を一時停止線と判定して、最小二乗法により求めた直線の位置を一時停止線の位置として検出する。
【００５２】
図９（Ａ）に示すように、白線が一時停止線の場合には、芯線が直線状となるため、最小二乗法により求めた直線との誤差は小さくなる。一方、同図（Ｂ）に示すように、白線が横断歩道と交差する自転車横断帯の場合には、横断歩道と交差している影響により、芯線が直線状とならず、最小二乗法により求めた直線との誤差が大きくなる。このように、白線のかすれや細い白線との交差は、芯線の位置にほとんど影響を及ぼさないが、横断歩道のように太い白線との交差は、芯線の位置に影響を及ぼすため、上記の判定により、一時停止線以外の白線を除外することができる。
【００５３】
次に、本実施の形態に係る一時停止線検出装置１０の作用について説明する。なお、一時停止線検出装置１０を搭載した車両の走行中に、自車両の走行レーンの前方の一時停止線を検出する場合を例に説明する。
【００５４】
まず、撮像装置１２によって、自車両前方の撮像が開始されると、コンピュータ１４において、図１０に示す一時停止線検出処理ルーチンが繰り返し実行される。
【００５５】
ステップ１００で、撮像装置１２で撮像された入力画像を取得する。次に、ステップ１０２で、上記ステップ１００で取得した入力画像について、画素値が閾値以上の画素を｛１｝、画素値が閾値より小さい画素を｛０｝に分類する。そして、｛１｝画素に分類された画素の各々について、｛１｝画素から最も近い｛０｝画素まで距離（画素距離）を算出し、各｛１｝画素の画素値を算出した画素距離に変換して、画素距離画像を生成する。
【００５６】
次に、ステップ１０４で、上記ステップ１０２で生成した画素距離画像の下側から、画素距離ｄ（ｉ，ｊ）が所定範囲内（τ１≦ｄ（ｉ，ｊ）≦τ２）となる画素を、（１）式及び（３）式を用いて各々追跡することにより、左側のレーンマーク及び右側のレーンマークの各々を追跡する。
【００５７】
次に、ステップ１０６で、上記ステップ１０４で追跡中のレーンマークと、水平方向に伸びる白線との交点が検出されたか否かを、（２）式及び（４）式を用いて判定する。交点が検出された場合には、ステップ１０８へ移行し、交点が検出されない場合には、ステップ１００へ戻る。
【００５８】
ステップ１０８では、上記ステップ１０６で検出された交点を示す画素（ｉ，ｊ）の近傍領域を、一時停止線を検出するための探索領域（ｉ０、ｊ０）−（ｉ１、ｊ１）として設定する。
【００５９】
次に、ステップ１１０で、上記ステップ１０８で設定された探索領域において、ｉ０＜ｉ＜ｉ１を満たす画素について、画素距離ｄ（ｉ，ｊ）が最大となるｊ（ｊ０＜ｊ＜ｊ１）を求め、その座標（ｉ，ｊ）を芯線座標として保持することで、探索領域内の白線の芯線を抽出する。
【００６０】
次に、ステップ１１２で、上記ステップ１１０で抽出された芯線の画素数を、上記ステップ１０８で設定した探索領域の横１ライン分の画素数で除して、探索領域の幅方向に占める芯線座標の割合を算出し、この芯線座標の割合が所定の閾値以上か否かを判定する。芯線座標の割合が所定の閾値以上の場合には、ステップ１１４へ移行し、閾値より小さい場合には、抽出された芯線に対応する白線は一時停止線ではないと判定して、処理を終了する。
【００６１】
ステップ１１４では、保持した芯線座標（ｉ，ｊ）の集合を通る直線を最小二乗法により求め、保持した芯線座標と最小二乗法により求めた直線との誤差平均に基づいて、芯線に対応する白線が一時停止線か否かを判定する。誤差平均が所定の閾値以下の場合には、その白線を一時停止線と判定して、ステップ１１６へ移行する。一方、誤差平均が所定の閾値を超えた場合は、その白線は一時停止線ではないと判定して、処理を終了する。
【００６２】
ステップ１１６では、上記ステップ１１４で一時停止線と判定された白線の芯線座標に基づいて最小二乗法により求めた直線の位置を、一時停止線の位置として検出し、検出結果として表示装置１６に表示させて、処理を終了する。
【００６３】
以上説明したように、本実施の形態の一時停止線検出装置によれば、レーンマークと水平方向に伸びる白線との交点を検出し、その交点の近傍領域を一時停止線を検出するための探索領域として設定し、白線を細線化した芯線を用いて一時停止線を検出するため、一時停止線以外の白線の誤検出を防止して、一時停止線を精度良く検出することができる。
【００６４】
なお、上記実施の形態では、入力画像の各フレームに対して単独で行う場合について説明したが、連続する複数のフレームを用いて処理を行うようにしてもよい。この場合、前フレームの累積画素数ｍｌ（ｉ，ｊ）及びｍｒ（ｉ、ｊ）を保持しておき、追跡方向に対して逆方向の更新順序で画像をスキャンする。つまり、（１）式の更新順序は、画像右上の（ｉ，ｊ）から画像左下の（ｉ，ｊ）とし、（３）式の更新順序は、画像左上の（ｉ，ｊ）から画像右下の（ｉ，ｊ）とする。この方法を用いることで、１つ前のフレームの累積画素数ｍｌ（ｉ，ｊ）及びｍｒ（ｉ、ｊ）を利用することができ、時間連続性を考慮した検出が可能となる。なお、複数フレームを使用する場合には、上記の更新順序を変更するのみで、（２）式及び（４）式を用いた交点の検出等の他の手順は、上記実施の形態と同様である。例えば、自車両が一時停止線に向かって直進している場合、画像中のレーンマークの位置は略定位置であるが、一時停止線は画像の下方向に向かって移動しているように見える。この場合、一時停止線とレーンマークとの交点周辺では、過去フレームの処理により、ｍｌ（ｉ，ｊ）及びｍｒ（ｉ、ｊ）の値が累積されて大きくなっているので、（２）式及び（４）式により、交点を検出することが可能となる。
【００６５】
また、上記実施の形態では、入力画像を画素距離変換して交差パターンを検出する場合について説明したが、この方法に限定されず、例えば、ハフ変換を用いて交差パターンを検出するようにしてもよい。この場合、白線上の点をハフ空間に投票し、投票数のピークを探索することにより、白線をなす直線の方程式を求めることができる。そして、得られた複数の直線の方程式を連立させて解くことにより、交点を求めることができる。
【００６６】
また、上記実施の形態では、レーンマークの追跡を斜め上方向とする場合について説明したが、これに限定されない。撮像装置の取り付け位置や取り付け角度等を考慮して、画像上のレーンマークの分布を想定して、レーンマークの追跡方向として定めればよい。例えば、レーンマークが画像上で垂直線状に分布することを許してもよい。この場合、道路脇のガードレールや白い支柱をレーンマークと誤検出してしまう場合があるため、レーンマーク以外の垂直線状の白線を予め検出して除外しておくとよい。レーンマーク以外の垂直線状の白線を除外するためには、レーンマークよりも太い白線は存在しないと仮定して、画素距離画像の芯線部分の画素距離が閾値以下である垂直線分を除外するようにするとよい。なお、垂直線状のレーンマークを追跡する場合には、（１）式及び（２）式に代えて、下記（５）式及び（６）式を用いるようにするとよい。
【００６７】
【数５】
【００６８】
また、上記実施の形態では、一時停止線の検出結果を表示装置に表示する場合について説明したが、検出された一時停止線に基づいて自車両の車両運動を制御するように、車両運動制御装置に検出結果を出力するようにしてもよい。
【符号の説明】
【００６９】
１０ 一時停止線検出装置
１２ 撮像装置
１４ コンピュータ
１６ 表示装置
１８ 画像入力部
２０ 画素距離変換部
２２ 交差パターン検出部
２４ 探索領域設定部
２６ 一時停止線判定部
【技術分野】
【０００１】
本発明は、一時停止線検出装置及びプログラムに係り、特に、撮像した画像から、一時停止線を検出する一時停止線検出装置及びプログラムに関する。
【背景技術】
【０００２】
従来、ＣＣＤカメラで得た自車両前方画像から前方車両を検出し、その手前に停止線検出ウインドウを設定し、その幅に対して所定の割合以上の長さの白線を白線検出フィルタによって検出する車両用走行制御装置が提案されている（例えば、特許文献１参照）。
【０００３】
また、道路の横断歩道を検出し、横断歩道を含まないように停止線を検出すべき停止線検出領域を設定し、その停止線検出領域において、水平エッジの線分長及び垂直幅に基づいて停止線を検出する停止線検出装置が提案されている（例えば、特許文献２参照）。
【０００４】
また、ＣＣＤカメラから入力される元画像の下側寄りに予め設定しておいた６つの小領域からなる停止線を認識するための領域のうち、連続する３つの小領域の平均輝度が低輝度→高輝度→低輝度と変化した場合に、一時停止線が存在すると判断する停止線認識装置が提案されている（例えば、特許文献４参照）。
【０００５】
また、外界撮像カメラから入力される画像データ上において、自車両の走行路内に、この走行路に沿って伸びる複数の検知ラインを走行路の幅方向に所定間隔をおいて設定し、検知ライン毎に長さ方向における明るさの変化を検知し、その明るさの変化のパターンから一時停止線を検出する車両の路面標識検出装置が提案されている（例えば、特許文献４参照）。
【０００６】
また、カメラ画像を俯瞰画像に変換し、俯瞰画像より一方向加算の強度プロファイルと他方向加算の強度プロファイルとを作成し、強度プロファイルのピーク強度位置を求めることにより、車両に対する停止線の位置を検出する停車位置検出装置が提案されている（例えば、特許文献５参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−１９０１００号公報
【特許文献２】特開２００７−６６００３号公報
【特許文献３】特開２００３−８５５６２号公報
【特許文献４】特開２００６−２４１０５号公報
【特許文献５】特開２００５−３４１１５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技術では、遠方の横断歩道や、一時停止線と同様に水平方向に伸びる一時停止線以外の白線を一時停止線として誤検出し易い、という問題がある。
【０００９】
また、特許文献２の技術では、横断歩道を一時停止線と誤検出しないように、横断歩道の手前の領域から一時停止線を検出しているが、交差点の出口部分において、横断歩道と自転車横断帯とが並んで設置されている場合には、横断歩道の手前に自転車横断帯の白線が位置するため、この自転車横断帯を一時停止線と誤検出する場合がある、という問題がある。
【００１０】
また、特許文献３の技術では、水平方向に伸びる一時停止線以外の白線を一時停止線として誤検出し易い、という問題がある。また、影や日照領域の通過による輝度値の変化にも反応してしまい、誤検出が生じる可能性がある、という問題がある。
【００１１】
また、特許文献４の技術では、自転車横断帯のような水平方向に伸びる直線を全て一時停止線と誤検出する場合がる、という問題がある。また、一時停止線の一部がかすれて消えているような場合には、未検出が多くなる、という問題がある。
【００１２】
また、特許文献５の技術では、輝度の積分に基づくコの字型の白線パターンを検出可能であるが、車道中の一時停止線を検出する場合、周囲の矢印表示や横断歩道の輝度値も積分されてしまうため、一時停止線の判別が困難になる、という問題がある。
【００１３】
本発明は、上記の問題点を解決するためになされたもので、一時停止線以外の白線の誤検出を防止して、一時停止線を精度良く検出することができる一時停止線検出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明の一時停止線検出装置は、自車両周辺の道路領域を含む範囲を撮像する撮像手段によって撮像された画像から、前記自車両の走行レーンの境界を示すレーンマークを検出し、検出されたレーンマーク上の点を始点として該レーンマークから分岐して前記画像の水平方向に伸びる白線を検出する検出手段と、前記検出手段により検出された水平方向に伸びる白線の一部または全部、及び前記始点を含む領域を、一時停止線を検出するための探索領域として設定する設定手段と、前記設定手段により設定された探索領域に存在する白線を細線化した芯線を抽出し、抽出された芯線が直線状かつ所定の長さ以上の場合に、該芯線に対応する白線を一時停止線と判定する判定手段と、を含んで構成されている。
【００１５】
本発明の一時停止線検出装置によれば、撮像手段により、自車両周辺の道路領域を含む範囲が撮像されると、検出手段が、この撮像された画像から、自車両の走行レーンの境界を示すレーンマークを検出し、検出されたレーンマーク上の点を始点としてレーンマークから分岐して画像の水平方向に伸びる白線を検出する。すなわち、検出手段は、レーンマークと水平方向に伸びる白線とが、上記始点を交点として交差する交差パターンを検出する。一時停止線はレーンマークと交差するが、一時停止線以外の白線はレーンマークと交差しないため、この交差パターンを検出することで、一時停止線以外の白線を除外することができる。
【００１６】
そして、設定手段が、検出手段により検出された水平方向に伸びる白線の一部または全部、及び始点を含む領域を、一時停止線を検出するための探索領域として設定し、判定手段が、設定手段により設定された探索領域に存在する白線を細線化した芯線を抽出する。一時停止線は、横断歩道等と隣接していないため、芯線が直線状となるが、横断歩道等と隣接している一時停止線以外の白線は、芯線が直線状にならない。そこで、判定手段は、抽出された芯線が直線状かつ所定の長さ以上の場合に、芯線に対応する白線を一時停止線と判定する。
【００１７】
このように、レーンマーク及びレーンマーク上の点を始点としてレーンマークから分岐して画像の水平方向に伸びる白線、すなわち交差パターンを検出し、その交点である始点の近傍領域を一時停止線を検出するための探索領域として設定し、白線を細線化した芯線を用いて一時停止線を検出するため、一時停止線以外の白線の誤検出を防止して、一時停止線を精度良く検出することができる。
【００１８】
また、前記画像の各画素を、画素値が予め定めた閾値以上の第１の画素と、画素値が前記閾値より小さい第２の画素とに分類し、前記第１の画素の各々の画素値を、該第１の画素から最も近い前記第２の画素までの画素距離に変換する変換手段を含み、前記検出手段は、前記変換手段により変換された前記第１の画素の画素距離が所定範囲の値の画素が所定方向に沿って連続している場合に、前記所定方向に沿って連続する画素群を前記レーンマークとして検出し、前記連続する画素群の端及びその延長線上において、画素距離が所定範囲の値を超えた画素位置を前記始点として検出することができる。このように、画素距離変換を行って交差パターンを検出することで、パターンマッチングなどの手法と比較して、簡易な処理で様々な交差パターンを検出することができる。
【００１９】
また、前記検出手段は、前記連続する画素群に含まれる画素数が所定数以上の場合に、該連続する画素群を前記レーンマークとして検出することができる。これにより、レーンマークの誤検出を防止することができる。
【００２０】
また、前記判定手段は、前記変換手段により変換された前記第１の画素の前記水平方向に伸びる白線に直交する方向において画素距離が最大となる画素を前記芯線として抽出することができる。このように、画素距離変換を行うことで、簡易な処理で白線の芯線を抽出することができる。
【００２１】
また、前記検出手段は、前記レーンマークと前記水平方向に伸びる白線を各々検出し、該レーンマークと該水平方向に伸びる白線とが、Ｔ字型、十字型、トの字型、及びΓ字型のいずれかの形状で交差している点を前記始点として検出することができる。
【００２２】
また、本発明の一時停止線検出プログラムは、コンピュータを、自車両周辺の道路領域を含む範囲を撮像する撮像手段によって撮像された画像から、前記自車両の走行レーンの境界を示すレーンマークを検出し、検出されたレーンマーク上の点を始点として該レーンマークから分岐して前記画像の水平方向に伸びる白線を検出する検出手段、前記検出手段により検出された水平方向に伸びる白線の一部または全部、及び前記始点を含む領域を、一時停止線を検出するための探索領域として設定する設定手段、及び前記設定手段により設定された探索領域に存在する白線を細線化した芯線を抽出し、抽出された芯線が直線状かつ所定の長さ以上の場合に、該芯線に対応する白線を一時停止線と判定する判定手段として機能させるためのプログラムである。
【００２３】
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。
【発明の効果】
【００２４】
以上説明したように、本発明の一時停止線検出装置及びプログラムによれば、レーンマーク及びレーンマーク上の点を始点としてレーンマークから分岐して画像の水平方向に伸びる白線、すなわち交差パターンを検出し、その交点である始点の近傍領域を一時停止線を検出するための探索領域として設定し、白線を細線化した芯線を用いて一時停止線を検出するため、一時停止線以外の白線の誤検出を防止して、一時停止線を精度良く検出することができる、という効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】本実施の形態に係る一時停止線検出装置を示すブロック図である。
【図２】画素距離画像の一部の一例を示すイメージ図である。
【図３】（Ａ）入力画像、及び（Ｂ）画素距離が所定の範囲内となる画素群を抽出した画像の一例を示すイメージ図である。
【図４】交差パターンの例を示す図である。
【図５】レーンマークの追跡を説明するための図である。
【図６】（Ａ）左側のレーンマーク、及び（Ｂ）右側のレーンマークの追跡を説明するための図である。
【図７】（Ａ）左側の交点及び右側の交点のいずれか一方のみが検出された場合、及び（Ｂ）双方の交点が検出された場合における、探索領域の設定を説明するための図である。
【図８】白線の芯線の抽出を説明するための図である。
【図９】（Ａ）一時停止線の場合、及び（Ｂ）一時停止線以外の白線の場合における、抽出された芯線の一例を示すイメージ図である。
【図１０】本実施の形態に係る一時停止線検出装置のコンピュータにおける一時停止線検出処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２７】
図１に示すように、本実施の形態に係る一時停止線検出装置１０は、車両（図示省略）に搭載され、かつ、道路領域を含む自車両前方を撮像して画像を出力する撮像装置１２と、撮像装置１２から得られる画像に基づいて、一時停止線を検出し、検出結果を表示装置１６に表示させるコンピュータ１４とを備えている。
【００２８】
撮像装置１２は、自車両前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００２９】
コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する一時停止線検出処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１４は、撮像装置１２により撮像された画像を取得する画像入力部１８と、取得した画像の各画素の画素値を画素距離に変換する画素距離変換部２０と、レーンマークと水平方向に伸びる白線とが交差する交差パターンを検出する交差パターン検出部２２と、一時停止線を検出するための探索領域を設定する探索領域設定部２４と、探索領域内から抽出された白線が一時停止線か否かを判定する一時停止線判定部２６と、を含んだ構成で表すことができる。
【００３０】
画素距離変換部２０は、画像入力部１８により取得した入力画像を、予め定めた閾値を用いて２値化する。例えば、画素値が閾値以上の画素を｛１｝、画素値が閾値より小さい画素を｛０｝に分類する。閾値は、道路上の白線と白線以外の部分とを分類可能な値を定めておく。また、画素距離変換部２０は、｛１｝画素に分類された画素の各々について、｛１｝画素から最も近い｛０｝画素までの距離（画素距離）を算出する。画素距離の算出は、シティブロック距離やユークリッド距離等を用いることができる。そして、各｛１｝画素の画素値を算出した画素距離に変換して、画素距離画像を生成する。
【００３１】
図２に、入力画像を画素距離に変換した画素距離画像の一部の一例を示す。１マスが１画素を表し、網掛けで示した画素が｛０｝画素、白色で示した画素が｛１｝画素であり、｛１｝画素内の数値が各｛１｝画素の画素距離を表している。また、例えば、図３（Ａ）のような入力画像に対して画素距離変換を行い、画素距離が所定の範囲内となる画素群（例えば、図２で画素距離の所定範囲を１〜４とした場合には、１〜４のラベルを付した｛１｝画素）を抽出した画像を、同図（Ｂ）に示す。
【００３２】
交差パターン検出部２２は、画素距離変換部２０で生成された画素距離画像を用いて、自車両の走行レーンの境界を示すレーンマークと、水平方向に伸びる白線とが交差する交差パターンを検出する。一時停止線は、多くの場合、レーンマークと交差するように描画されている。一方、一時停止線以外の白線は、レーンマークと交差していない。そこで、この交差パターンを検出することにより、一時停止線以外の白線を除外する。また、レーンマークと一時停止線との交点部分は、レーンマーク上をタイヤが通過する頻度が少ないことから、かすれて消えることなく残っている場合が多いため、安定して検出することができる。
【００３３】
交差パターンは、例えば、図４に示すように、Ｔ字型、十字型、トの字型、Γ字型等のパターンであり、それらの左右反転したパターンも含む。なお、上下反転させたパターンは、自転車横断帯や反対車線の一時停止線に該当するため、交差パターンには含まない。
【００３４】
交差パターンの検出の具体的な方法は、画素距離画像の左上端の画素を基準としたｘ方向の画素数ｉ、ｙ方向の画素数ｊで表される画素座標（ｉ，ｊ）の画素（以下、画素（ｉ，ｊ）ともいう）の画素距離をｄ（ｉ，ｊ）として、画素距離ｄ（ｉ，ｊ）が、τ１≦ｄ（ｉ，ｊ）≦τ２となる画素を追跡していく。所定方向にτ１≦ｄ（ｉ，ｊ）≦τ２となる画素が所定数以上連続する場合には、それらの画素群をレーンマークとして検出する。そして、ｄ（ｉ，ｊ）がτ１より小さくなった画素、またはτ２を超えた画素を、レーンマークと水平方向に伸びる白線との交点として検出する。
【００３５】
なお、閾値τ１及びτ２は、レーンマーク検出のための閾値であり、画素距離の範囲の上限及び下限を与えるパラメータである。白線の境界付近が追跡対象に含まれるように小さな値を設定しておく。下限の閾値τ１は、なるべく小さな値を設定するが、小さすぎると画像中の雑音を多く含んでしまうため、２〜４の値を設定するのが最適である。また、上限の閾値τ２は、白線の両端から内部へ何画素目までを追跡対象とするかを定めるためのパラメータである。この閾値τ２を設定するのは、一時停止線の上部にレーンマークが続いている場合（図５参照）でも、レーンマークと水平方向に伸びる白線との交点を検出可能にするためである。閾値τ２が小さすぎるとレーンマークの追跡に失敗し、大きすぎると白線全域が追跡対象となり、交点の検出に失敗する可能性があるため、閾値τ１よりも２〜４大きな値を設定するのが適切である。
【００３６】
例えば、図２に示した画素距離画像を用いて、τ１＝τ２＝１、自車両の右側のレーンマークを想定して所定方向を左斜め上方向とした場合、図５に示すように、矢印部分の画素群がレーンマークとして検出され、×印の画素がレーンマークと水平方向に伸びる白線との交点として検出される。これは、この点を始点としてレーンマークから分岐して水平方向に伸びる白線が存在していることを示しており、このようにレーンマーク及び交点を検出することで、交差パターンを検出することができる。
【００３７】
交差パターンの検出方法について、より具体的に説明する。図５に示したように、τ１≦ｄ（ｉ，ｊ）≦τ２となる画素が、レーンマーク上では斜線状となり、水平方向に伸びる白線上では、水平線状となる。従って、画像の下側からτ１≦ｄ（ｉ，ｊ）≦τ２となる画素を追跡し、その追跡経路が斜め上方向から水平方向に変わった地点を、レーンマークと水平方向に伸びる白線との交点とみなすことができる。
【００３８】
画素の追跡は、自車両から見て左側のレーンマーク、及び右側のレーンマークの各々について個別に行う。左側のレーンマークの追跡では、累積画素数をｍｌ（ｉ，ｊ）とすると、ｍｌ（ｉ，ｊ）は動的計画法により、下記（１）式により計算される。また、この追跡の様子を図６（Ａ）に示す。
【００３９】
【数１】
【００４０】
レーンマークと水平方向に伸びる白線との交点の判定は、所定の閾値θｌを用いて、下記（２）式により行う。
【００４１】
【数２】
【００４２】
この判定式は、レーンマークをθｌ画素以上斜め上方向に追跡した状態で、それ以上斜め上方向にレーンマークがない場合（ｄ（ｉ，ｊ）＜τ１）、または横方向から別の白線が交わっている場合（ｄ（ｉ，ｊ）＞τ２）を表している。（２）式を満たす画素（ｉ，ｊ）を、レーンマークと水平方向に伸びる白線との交点として検出する。
【００４３】
右側のレーンマークの追跡では、（１）式に代えて、累積画素数ｍｒを下記（３）式により計算する。また、この追跡の様子を図６（Ｂ）に示す。
【００４４】
【数３】
【００４５】
なお、（１）式の更新の順序は、画像左下の（ｉ，ｊ）から画像右上の（ｉ，ｊ）とし、（３）式の更新の順序は、画像右下の（ｉ，ｊ）から画像左上の（ｉ，ｊ）とする。このように更新することで、累積画素数ｍｌ（ｉ，ｊ）及びｍｒ（ｉ、ｊ）が追跡方向に対して順方向に累積され、一度の画像スキャンでｍｌ（ｉ，ｊ）及びｍｒ（ｉ、ｊ）を求めることができる。
【００４６】
右側レーンマークについての交点の検出は、（２）式に代えて、下記（４）式を用いる。
【００４７】
【数４】
【００４８】
探索領域設定部２４は、交差パターン検出部２２で検出された交点を示す画素（ｉ，ｊ）の近傍領域を、一時停止線を検出するための探索領域として設定する。具体的には、左側のレーンマーク上の交点、及び右側のレーンマーク上の交点のいずれか一方のみが検出された場合には、図７（Ａ）に示すように、交点を示す画素（ｉ，ｊ）を中心に左右各々に幅ｉｒ、上下方向の各々に高さｊｒとなる長方形の領域（ｉ−ｉｒ、ｊ−ｊｒ）−（ｉ＋ｉｒ、ｊ＋ｊｒ）を探索領域として設定する。ｉｒは、画像の横幅全体を包含するように大きな値を設定してもよい。また、左側のレーンマーク上の交点、及び右側のレーンマーク上の交点の双方が検出された場合には、同図（Ｂ）に示すように、左側の交点に基づいて設定された探索領域と右側の交点に基づいて設定された探索領域とを包含する領域を探索領域として設定する。
【００４９】
一時停止線判定部２６は、探索領域設定部２４により設定された探索領域から、白線の芯線を抽出する。例えば、探索領域として（ｉ０、ｊ０）−（ｉ１、ｊ１）の範囲が設定された場合には、ｉ０＜ｉ＜ｉ１を満たす画素について、画素距離ｄ（ｉ，ｊ）が最大となるｊ（ｊ０＜ｊ＜ｊ１）を求め、その座標（ｉ，ｊ）を芯線座標として抽出して、保持する。ｄ（ｉ，ｊ）＝０の場合、すなわち白線がない場合には、芯線座標を保持しない。図８に、図２に示した画素距離画像から芯線を抽出した例を示す。画素距離の尾根部分（斜線で示した画素）が芯線座標として抽出され、保持される。
【００５０】
また、一時停止線判定部２６は、探索領域の幅方向に占める芯線座標の割合が所定の閾値より小さい場合には、抽出された芯線に対応する白線は一時停止線ではないと判定する。探索領域の幅方向に占める芯線座標の割合は、例えば、（抽出された芯線の画素数）／（探索領域の横１ライン分の画素数）として求めることができる。また、この閾値は、横断歩道のような縞模様の誤検出を防止し、また、一部分がかすれて消えている一時停止線の未検出を防止するような値を定めておく。例えば、閾値を０．５以上に設定すると、縞模様の横断歩道が誤検出されることはない。また、消えずに残っている部分の割合が０．５以上であれば、一時停止線として検出することができる。
【００５１】
また、一時停止線判定部２６は、保持した芯線座標（ｉ，ｊ）の集合を通る直線を最小二乗法により求め、保持した芯線座標と最小二乗法により求めた直線との誤差平均に基づいて、芯線に対応する白線が一時停止線か否かを判定する。誤差平均が所定の閾値を超えた場合は、その白線は一時停止線ではないと判定する。また、誤差平均が所定の閾値以下の場合には、その白線を一時停止線と判定して、最小二乗法により求めた直線の位置を一時停止線の位置として検出する。
【００５２】
図９（Ａ）に示すように、白線が一時停止線の場合には、芯線が直線状となるため、最小二乗法により求めた直線との誤差は小さくなる。一方、同図（Ｂ）に示すように、白線が横断歩道と交差する自転車横断帯の場合には、横断歩道と交差している影響により、芯線が直線状とならず、最小二乗法により求めた直線との誤差が大きくなる。このように、白線のかすれや細い白線との交差は、芯線の位置にほとんど影響を及ぼさないが、横断歩道のように太い白線との交差は、芯線の位置に影響を及ぼすため、上記の判定により、一時停止線以外の白線を除外することができる。
【００５３】
次に、本実施の形態に係る一時停止線検出装置１０の作用について説明する。なお、一時停止線検出装置１０を搭載した車両の走行中に、自車両の走行レーンの前方の一時停止線を検出する場合を例に説明する。
【００５４】
まず、撮像装置１２によって、自車両前方の撮像が開始されると、コンピュータ１４において、図１０に示す一時停止線検出処理ルーチンが繰り返し実行される。
【００５５】
ステップ１００で、撮像装置１２で撮像された入力画像を取得する。次に、ステップ１０２で、上記ステップ１００で取得した入力画像について、画素値が閾値以上の画素を｛１｝、画素値が閾値より小さい画素を｛０｝に分類する。そして、｛１｝画素に分類された画素の各々について、｛１｝画素から最も近い｛０｝画素まで距離（画素距離）を算出し、各｛１｝画素の画素値を算出した画素距離に変換して、画素距離画像を生成する。
【００５６】
次に、ステップ１０４で、上記ステップ１０２で生成した画素距離画像の下側から、画素距離ｄ（ｉ，ｊ）が所定範囲内（τ１≦ｄ（ｉ，ｊ）≦τ２）となる画素を、（１）式及び（３）式を用いて各々追跡することにより、左側のレーンマーク及び右側のレーンマークの各々を追跡する。
【００５７】
次に、ステップ１０６で、上記ステップ１０４で追跡中のレーンマークと、水平方向に伸びる白線との交点が検出されたか否かを、（２）式及び（４）式を用いて判定する。交点が検出された場合には、ステップ１０８へ移行し、交点が検出されない場合には、ステップ１００へ戻る。
【００５８】
ステップ１０８では、上記ステップ１０６で検出された交点を示す画素（ｉ，ｊ）の近傍領域を、一時停止線を検出するための探索領域（ｉ０、ｊ０）−（ｉ１、ｊ１）として設定する。
【００５９】
次に、ステップ１１０で、上記ステップ１０８で設定された探索領域において、ｉ０＜ｉ＜ｉ１を満たす画素について、画素距離ｄ（ｉ，ｊ）が最大となるｊ（ｊ０＜ｊ＜ｊ１）を求め、その座標（ｉ，ｊ）を芯線座標として保持することで、探索領域内の白線の芯線を抽出する。
【００６０】
次に、ステップ１１２で、上記ステップ１１０で抽出された芯線の画素数を、上記ステップ１０８で設定した探索領域の横１ライン分の画素数で除して、探索領域の幅方向に占める芯線座標の割合を算出し、この芯線座標の割合が所定の閾値以上か否かを判定する。芯線座標の割合が所定の閾値以上の場合には、ステップ１１４へ移行し、閾値より小さい場合には、抽出された芯線に対応する白線は一時停止線ではないと判定して、処理を終了する。
【００６１】
ステップ１１４では、保持した芯線座標（ｉ，ｊ）の集合を通る直線を最小二乗法により求め、保持した芯線座標と最小二乗法により求めた直線との誤差平均に基づいて、芯線に対応する白線が一時停止線か否かを判定する。誤差平均が所定の閾値以下の場合には、その白線を一時停止線と判定して、ステップ１１６へ移行する。一方、誤差平均が所定の閾値を超えた場合は、その白線は一時停止線ではないと判定して、処理を終了する。
【００６２】
ステップ１１６では、上記ステップ１１４で一時停止線と判定された白線の芯線座標に基づいて最小二乗法により求めた直線の位置を、一時停止線の位置として検出し、検出結果として表示装置１６に表示させて、処理を終了する。
【００６３】
以上説明したように、本実施の形態の一時停止線検出装置によれば、レーンマークと水平方向に伸びる白線との交点を検出し、その交点の近傍領域を一時停止線を検出するための探索領域として設定し、白線を細線化した芯線を用いて一時停止線を検出するため、一時停止線以外の白線の誤検出を防止して、一時停止線を精度良く検出することができる。
【００６４】
なお、上記実施の形態では、入力画像の各フレームに対して単独で行う場合について説明したが、連続する複数のフレームを用いて処理を行うようにしてもよい。この場合、前フレームの累積画素数ｍｌ（ｉ，ｊ）及びｍｒ（ｉ、ｊ）を保持しておき、追跡方向に対して逆方向の更新順序で画像をスキャンする。つまり、（１）式の更新順序は、画像右上の（ｉ，ｊ）から画像左下の（ｉ，ｊ）とし、（３）式の更新順序は、画像左上の（ｉ，ｊ）から画像右下の（ｉ，ｊ）とする。この方法を用いることで、１つ前のフレームの累積画素数ｍｌ（ｉ，ｊ）及びｍｒ（ｉ、ｊ）を利用することができ、時間連続性を考慮した検出が可能となる。なお、複数フレームを使用する場合には、上記の更新順序を変更するのみで、（２）式及び（４）式を用いた交点の検出等の他の手順は、上記実施の形態と同様である。例えば、自車両が一時停止線に向かって直進している場合、画像中のレーンマークの位置は略定位置であるが、一時停止線は画像の下方向に向かって移動しているように見える。この場合、一時停止線とレーンマークとの交点周辺では、過去フレームの処理により、ｍｌ（ｉ，ｊ）及びｍｒ（ｉ、ｊ）の値が累積されて大きくなっているので、（２）式及び（４）式により、交点を検出することが可能となる。
【００６５】
また、上記実施の形態では、入力画像を画素距離変換して交差パターンを検出する場合について説明したが、この方法に限定されず、例えば、ハフ変換を用いて交差パターンを検出するようにしてもよい。この場合、白線上の点をハフ空間に投票し、投票数のピークを探索することにより、白線をなす直線の方程式を求めることができる。そして、得られた複数の直線の方程式を連立させて解くことにより、交点を求めることができる。
【００６６】
また、上記実施の形態では、レーンマークの追跡を斜め上方向とする場合について説明したが、これに限定されない。撮像装置の取り付け位置や取り付け角度等を考慮して、画像上のレーンマークの分布を想定して、レーンマークの追跡方向として定めればよい。例えば、レーンマークが画像上で垂直線状に分布することを許してもよい。この場合、道路脇のガードレールや白い支柱をレーンマークと誤検出してしまう場合があるため、レーンマーク以外の垂直線状の白線を予め検出して除外しておくとよい。レーンマーク以外の垂直線状の白線を除外するためには、レーンマークよりも太い白線は存在しないと仮定して、画素距離画像の芯線部分の画素距離が閾値以下である垂直線分を除外するようにするとよい。なお、垂直線状のレーンマークを追跡する場合には、（１）式及び（２）式に代えて、下記（５）式及び（６）式を用いるようにするとよい。
【００６７】
【数５】
【００６８】
また、上記実施の形態では、一時停止線の検出結果を表示装置に表示する場合について説明したが、検出された一時停止線に基づいて自車両の車両運動を制御するように、車両運動制御装置に検出結果を出力するようにしてもよい。
【符号の説明】
【００６９】
１０ 一時停止線検出装置
１２ 撮像装置
１４ コンピュータ
１６ 表示装置
１８ 画像入力部
２０ 画素距離変換部
２２ 交差パターン検出部
２４ 探索領域設定部
２６ 一時停止線判定部
【特許請求の範囲】
【請求項１】
自車両周辺の道路領域を含む範囲を撮像する撮像手段によって撮像された画像から、前記自車両の走行レーンの境界を示すレーンマークを検出し、検出されたレーンマーク上の点を始点として該レーンマークから分岐して前記画像の水平方向に伸びる白線を検出する検出手段と、
前記検出手段により検出された水平方向に伸びる白線の一部または全部、及び前記始点を含む領域を、一時停止線を検出するための探索領域として設定する設定手段と、
前記設定手段により設定された探索領域に存在する白線を細線化した芯線を抽出し、抽出された芯線が直線状かつ所定の長さ以上の場合に、該芯線に対応する白線を一時停止線と判定する判定手段と、
を含む一時停止線検出装置。
【請求項２】
前記画像の各画素を、画素値が予め定めた閾値以上の第１の画素と、画素値が前記閾値より小さい第２の画素とに分類し、前記第１の画素の各々の画素値を、該第１の画素から最も近い前記第２の画素までの画素距離に変換する変換手段を含み、
前記検出手段は、前記変換手段により変換された前記第１の画素の画素距離が所定範囲の値の画素が所定方向に沿って連続している場合に、前記所定方向に沿って連続する画素群を前記レーンマークとして検出し、画素距離が所定範囲の値を超えた画素位置を前記始点として検出する
請求項１記載の一時停止線検出装置。
【請求項３】
前記検出手段は、前記連続する画素群に含まれる画素数が所定数以上の場合に、該連続する画素群を前記レーンマークとして検出する請求項２記載の一時停止線検出装置。
【請求項４】
前記判定手段は、前記変換手段により変換された前記第１の画素の前記水平方向に伸びる白線に直交する方向において画素距離が最大となる画素を前記芯線として抽出する請求項２または請求項３記載の一時停止線検出装置。
【請求項５】
前記検出手段は、前記レーンマークと前記水平方向に伸びる白線を各々検出し、該レーンマークと該水平方向に伸びる白線とが、Ｔ字型、十字型、トの字型、及びΓ字型のいずれかの形状で交差している点を前記始点として検出する請求項１〜請求項４のいずれか１項記載の一時停止線検出装置。
【請求項６】
コンピュータを、
自車両周辺の道路領域を含む範囲を撮像する撮像手段によって撮像された画像から、前記自車両の走行レーンの境界を示すレーンマークを検出し、検出されたレーンマーク上の点を始点として該レーンマークから分岐して前記画像の水平方向に伸びる白線を検出する検出手段、
前記検出手段により検出された水平方向に伸びる白線の一部または全部、及び前記始点を含む領域を、一時停止線を検出するための探索領域として設定する設定手段、及び
前記設定手段により設定された探索領域に存在する白線を細線化した芯線を抽出し、抽出された芯線が直線状かつ所定の長さ以上の場合に、該芯線に対応する白線を一時停止線と判定する判定手段
として機能させるための一時停止線検出プログラム。
【請求項７】
コンピュータを、請求項１〜請求項５のいずれか１項記載の一時停止線検出装置を構成する各手段として機能させるための一時停止線検出プログラム。
【請求項１】
自車両周辺の道路領域を含む範囲を撮像する撮像手段によって撮像された画像から、前記自車両の走行レーンの境界を示すレーンマークを検出し、検出されたレーンマーク上の点を始点として該レーンマークから分岐して前記画像の水平方向に伸びる白線を検出する検出手段と、
前記検出手段により検出された水平方向に伸びる白線の一部または全部、及び前記始点を含む領域を、一時停止線を検出するための探索領域として設定する設定手段と、
前記設定手段により設定された探索領域に存在する白線を細線化した芯線を抽出し、抽出された芯線が直線状かつ所定の長さ以上の場合に、該芯線に対応する白線を一時停止線と判定する判定手段と、
を含む一時停止線検出装置。
【請求項２】
前記画像の各画素を、画素値が予め定めた閾値以上の第１の画素と、画素値が前記閾値より小さい第２の画素とに分類し、前記第１の画素の各々の画素値を、該第１の画素から最も近い前記第２の画素までの画素距離に変換する変換手段を含み、
前記検出手段は、前記変換手段により変換された前記第１の画素の画素距離が所定範囲の値の画素が所定方向に沿って連続している場合に、前記所定方向に沿って連続する画素群を前記レーンマークとして検出し、画素距離が所定範囲の値を超えた画素位置を前記始点として検出する
請求項１記載の一時停止線検出装置。
【請求項３】
前記検出手段は、前記連続する画素群に含まれる画素数が所定数以上の場合に、該連続する画素群を前記レーンマークとして検出する請求項２記載の一時停止線検出装置。
【請求項４】
前記判定手段は、前記変換手段により変換された前記第１の画素の前記水平方向に伸びる白線に直交する方向において画素距離が最大となる画素を前記芯線として抽出する請求項２または請求項３記載の一時停止線検出装置。
【請求項５】
前記検出手段は、前記レーンマークと前記水平方向に伸びる白線を各々検出し、該レーンマークと該水平方向に伸びる白線とが、Ｔ字型、十字型、トの字型、及びΓ字型のいずれかの形状で交差している点を前記始点として検出する請求項１〜請求項４のいずれか１項記載の一時停止線検出装置。
【請求項６】
コンピュータを、
自車両周辺の道路領域を含む範囲を撮像する撮像手段によって撮像された画像から、前記自車両の走行レーンの境界を示すレーンマークを検出し、検出されたレーンマーク上の点を始点として該レーンマークから分岐して前記画像の水平方向に伸びる白線を検出する検出手段、
前記検出手段により検出された水平方向に伸びる白線の一部または全部、及び前記始点を含む領域を、一時停止線を検出するための探索領域として設定する設定手段、及び
前記設定手段により設定された探索領域に存在する白線を細線化した芯線を抽出し、抽出された芯線が直線状かつ所定の長さ以上の場合に、該芯線に対応する白線を一時停止線と判定する判定手段
として機能させるための一時停止線検出プログラム。
【請求項７】
コンピュータを、請求項１〜請求項５のいずれか１項記載の一時停止線検出装置を構成する各手段として機能させるための一時停止線検出プログラム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図３】
【図９】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図３】
【図９】
【公開番号】特開２０１２−１５０５９５（Ｐ２０１２−１５０５９５Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−７８６４（Ｐ２０１１−７８６４）
【出願日】平成２３年１月１８日（２０１１．１．１８）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月１８日（２０１１．１．１８）
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]