連続線追跡装置

【目的】道路の白線のように連続的な線を逐次ウインドウを追跡設定しながら抽出するに際し、検出精度の向上と、処理時間の短縮を相互に図ること
【構成】車両の前方の道路の表面の状態を撮影する画像入力装置１の出力が、画像記憶手段２に入力される。この記憶手段には、ウインドウ設定手段３並びに白線検出手段４がそれぞれ接続さる。白線検出手段では、設定されたウインドウ内をエッジ検出処理することにより白線の有無を検出し、検出結果がウインドウ設定手段並びに信頼度算出手段に送られる。信頼度算出手段では、エッジ抽出できた度合いから信頼度を求め、それをウインドウ幅決定手段６に送り、そこにおいて信頼度が高いほど次に設定するウインドウ幅を狭く決定し、その結果をウインドウ設定手段に送る。前記ウインドウ設定手段では、与えられた前記抽出された白線の延長線上に、前記決定された幅からなるウインドウを設定する。

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、連続線追跡装置に関するもので、例えば、道路幅（領域）を抽出するためにその道路上に形成された白線を検出するために用いられる装置に関する。
【０００２】
【従来の技術】道路認識を行うためには、車両に取り付けたカメラにより前方の道路の表面情報を取り込み、所定の画像処理を行って左右に位置する白線（中央線，車両通行帯境界線等）をそれぞれ抽出する。そして、その抽出した２本の白線間が自車両が走行している道路領域と検出することができる。
【０００３】そして上記の画像処理の方法としては、上記白線が連続線であることから、以下の方式をとることが考えられる。すなわちまず、画像中に任意の範囲のウインドウ（１本の白線の一部を含むようにエリアを設定する）を設定し、そのウインドウ内で輝度等に対する微分処理を行いエッジを検出することによりウインドウ内の白線を抽出し、次にその白線の延長線上にウインドウを移動設定し、その新たに設定したウインドウ内で上記白線の抽出処理を行う。そして、上記処理を繰り返し行うことにより、白線（連続線）の追跡を行うことができるのである。
【０００４】この方式によれば、白線の存在箇所が予測できるために誤検出が少なくなるとともに、エッジを検出する際に行う微分処理対象の面積も小さくすることができる（画像全体でなくウインドウ内だけですむ）ため、高速処理が行え、道路情報のように、リアルタイムで逐次新しい画像（動画）情報が送られてくるものに対しても対処することが可能となる。
【０００５】
【発明が解決しようとする課題】ところで、本発明者が知得したところによると、道路表面に形成された白線（より具体的には白線のエッジ）の検出精度は、形成直後の周囲の道路表面との輝度の差等が明確な時には、エッジが顕著にあらわれ精度が高くなり、一方、比較的時間が経過したり、道路の表面が全体的に汚れたりしている時には、白線の境界部分が不明確になり白線抽出がしにくくなるという現象が生じる。
【０００６】さらに、白線の一部が剥がれたりまたは汚れたりしていることがあり、その場合には、部分的に抽出しにくくなったりすることがあり、検出精度が、場所によりばらつくことになる。
【０００７】しかしながら、上記した方式では、次に設定するウインドウの幅が固定であったため、例えば、ウインドウ幅を狭く設定すると、検出能力が低下するため、上記のように白線のエッジが不鮮明になった場合には検出不能となり、白線の追跡ができなくなるおそれがある。一方、逆にウインドウの幅を広くした場合には、上記のような場合における白線のエッジでも、それを抽出する可能性は高くなるが、それにともない本来検出すべき白線のエッジではないノイズを検出する可能性も増加する。その結果、白線のエッジが鮮明の時にはかえって検出精度が低下するという弊害を招く。しかも、処理エリアが広くなるため、処理時間も長くなるという問題を生じる。
【０００８】本発明は、上記した背景に鑑みてなされたもので、その目的とするところは、ノイズの影響を可及的に抑制しつつ線の検出精度の向上を図り、さらに、できるだけ処理時間を短縮することのできる連続線追跡装置を提供することにある。
【０００９】
【課題を解決するための手段】上記した目的を達成するために、本発明に係る連続線追跡装置では、前記画像中の所定位置に所定幅のウインドウを設定するウインドウ設定手段と、そのウインドウ設定手段により設定された前記ウインドウ内に存在する線を抽出する線抽出手段と、その線抽出手段における抽出結果の信頼度を算出する信頼度算出手段と、その信頼度算出手段にて求めた信頼度の大小に応じて次に設定するウインドウの幅の狭広を設定し、それを前記ウインドウ設定手段に送るウインドウ幅決定手段とを備え、かつ前記所定位置が、前記線抽出手段により抽出された線の延長線上とした。
【００１０】
【作用】検出した画像中の所定位置にウインドウを設定する。この時、１つのウインドウには１本の線が存在するような位置に調整する。そして、そのウインドウ内に存在する線をエッジ検出その他の種々の検出（画像処理）方法を用いて抽出する。次いで、設定されたウインドウをその線の延長線上に再設定し、再度、線を抽出する。以後、この処理を繰り返し行い、一画像中に存在する連続線を追跡しながら抽出する。
【００１１】この時、信頼度算出手段にてウインドウ内での抽出処理の結果の信頼度を求め、信頼度が低い場合には、抽出した線の延長線上に実際の線がない確率が高くなるため、ウインドウ幅決定手段により次に設定するウインドウの幅を広く設定する。また逆に抽出結果の信頼度が高いときには、抽出した線の延長線上に実際の線が位置する確率が高くなるため、ウインドウ幅を狭く設定する。そして、その設定結果に基づいてウインドウ設定手段を作動させ、次のウインドウを設定する。これにより、信頼度の低い時には、次に設定されるウインドウの幅は広くなるため、確実に線を抽出することができ、また、信頼度が高い時には次に設定されるウインドウの幅が狭くなるため、ノイズを拾うおそれが可及的に減少し、かつ、処理エリアが狭くなることから高速処理が行われる。そして、たとえ狭くても前に抽出した線の延長線上に次の線が存在する確率が高いため、確実に抽出される。
【００１２】
【実施例】以下、本発明に係る連続線追跡装置の好適な実施例を添付図面を参照にして詳述する。図１は、本発明に係る連続線追跡装置の一実施例を示しており、本例では、道路認識装置に適用した例について説明する。
【００１３】同図に示すように、１はＴＶカメラやＣＣＤカメラ等の画像入力装置であり、車両の前面所定位置や、車室内のバックミラー近傍所定位置等に取り付けられ、前方の道路の表面の状態を撮影することができるようになっている。この画像入力装置１の出力が、フレームメモリからなる画像記憶手段２に入力されるようになっている。この画像記憶手段２は、本例では画像入力装置１で検出した道路の表面情報を濃淡画像として記憶するようになっている。
【００１４】また、上記画像記憶手段２には、ウインドウ設定手段３並びに白線抽出手段４がそれぞれ接続されており、ウインドウ設定手段３により、上記画像記憶手段２に記憶された処理対象となる一画像上の所定位置にウインドウを設定するようになっている。具体的には、その画像に対して最初に設定する初期ウインドウは、予め設定された所定位置（画像の下方部位）に比較的広い面積のウインドウを設定し、２回目以降に行う再設定は、前回設定したウインドの上辺に再設定のウインドウの下辺が接する所定位置に設定するようになっている。そして、再設定の位置は、基本的には白線抽出手段４から送られてくる情報信号に基づいて、前回設定したウインドウ内に位置する白線の延長線上の白線が存在する部位を含むエリアを設定するようになっている。
【００１５】また、白線抽出手段４は、上記ウインドウ設定手段３にて設定されたウインドウのエリア内に対して、例えばソーベルの演算子等を用いて微分処理を行い、白線（追い越し禁止を示す黄色い線も含む）の左右のエッジを検出するようになっている。この時、エッジ画像には正負の値をもたせておく。これにより、一方向に走査していった場合、例えば通常の道路部分（白線が形成されていない部分）から白線になる境界では明るくなるため正のピーク値があらわれ、逆に白線から通常の道路部分になる境界では負のピーク値があらわれる。そして、それら正負のピーク値の間が白線の領域（幅）となる。そして、係る微分処理を、水平方向（ｘ軸方向）の１ライン毎に順次行い、対となるピーク値の間隔が所定のしきい値以下ならそのペアは白線の両側のエッジを示すものと判断し、その中点を白線の代表点とする。但し、ノイズ等の影響を抑えるため、上記ピーク値（正及び負）には所定のしきい値を設定し、そのしきい値を超えた正負のピーク値を対象とするようにしている。また、ピーク値のペアが複数検出された場合には、それぞれのペア間の幅を求め、最も白線の幅に近いペアを抽出し、その中点（代表点）を求める。
【００１６】そして係る複数の代表点を直線近似して白線の方向を算出する。そして、白線情報、より具体的には、上記直線近似して得られた白線の方向を示す直線とウインドウの上枠との交点座標（ｘ，ｙ）を、上記ウインドウ設定手段３に送るようになっており、ウインドウ設定手段３では、その交点座標（ｘ，ｙ）を中点となるように所定幅のウインドウを設定するのである。
【００１７】また、白線抽出手段４では、ウインドウ内で検出できた代表点の数を信頼度算出手段５に送るようになっている。この信頼度算出手段５では、白線抽出手段４で抽出した白線の信頼性を求めるもので、具体的には、下記式により求められる。
【００１８】
【数１】信頼度＝代表点の数／ウインドウのＹ座標数（走査した回数）
そして、上記信頼度の数値が大きいほど、検出できた代表点（ピーク値のペア）の割合が大きいため、抽出結果の信頼性が高い。このようにして算出された信頼度が次段のウインドウ幅決定手段６に送るようになっている。
【００１９】ウインドウ幅決定手段６では、与えられた信頼度から、次に設定するウインドウの幅（Ｘ座標方向）を決定し、それを上記ウインドウ設定手段３に送るようになっている。すなわち、基本的には信頼度が低い時には幅を広くし、逆に信頼度が高い時には幅を狭くするようにしている。そして、具体的な処理としては、上記信頼度に所定の係数を掛けたりすることにより、信頼度の増減に対して連続的に幅を増減させるようにしても良く、或いは、１または複数のしきい値を設定し、段階的に変化させるようにしても良く、任意の手法をとることができる。
【００２０】なお、上記白線抽出手段４における抽出結果は、図示省略するが、従来と同様に各種装置に送られ、所定の処理がなされる。すなわち、例えば道路認識装置に送られる場合には、画面上の左右両側に存在し、抽出された２本の平行線の間が道路部分と認識することができる。また、上記出力から画像中のどの位置に白線が存在するかを検出することにより、例えば、車両が車線のどの位置（中央或いは左／右より）を走っているか等を抽出することもできるなど、種々の利用がなされる。
【００２１】次に上記した実施例の作用について図２に示すフローチャート図に基づいて説明する。まず、画像入力装置１を用いて、車両の前方の道路情報を逐次取り込む。そして、１フレームごとに画像処理を行い、白線を抽出する。この時、仮にその撮影した処理対象となる一画像が、例えば図３に示すように、左側の白線Ｌが実線からなる連続線で、右側の白線Ｒが破線からなる連続線であったとし、また、便宜上画像の上下方向がＹ軸、左右方向がＸ軸として、以下説明する。
【００２２】すなわち、画像データを取り込んだ後、ウインドウ設定手段３を用いて、その画像の所定位置に初期ウインドウを設定する（Ｓ１０１，１０２）。本例では、車両前方に位置する白線は、車両の左右両側にあるため、原則として画面上には左右両側に上下方向に伸びるようにしてあらわれる。そこで、それら両白線を同時に検出すべく、Ｘ軸方向に２つのウインドウを設定していくようにしている。そして、その初期ウインドウｌ１，ｒ１は、２本の白線をそれぞれ抽出することから、画像の左右両側下方部位に設定する。ついで、両初期ウインドウｌ１，ｒ１内のエリアに対して、白線検出手段４を用いて上記したエッジ検出による白線の抽出処理を行う（Ｓ１０３）。なお、左右両側とも同一の処理手順により逐次ウインドウを設定して白線の追跡を行うので、以下、一方の白線Ｌに対する追跡処理について説明する。
【００２３】ついで、上記白線処理の結果得られる代表点から、白線検出手段４によりその画像上の座標から直線近似を行い初期ウインドウｌ１の上辺と、近似した直線（白線）との交点座標（ｘ，ｙ）を求め、また、信頼度算出手段５並びにウインドウ幅決定手段６にて、抽出した白線の信頼度を求めると共に、その信頼度から次に設定する追跡ウインドウの幅を決定する（Ｓ１０５，１０６）。
【００２４】すなわち、たとえ白線Ｌのように実線であったとしても、その一部が汚れていたり、剥がれていたりすることがあり、さらには、光線やその他種々の原因にともない白線のエッジと道路表面との濃淡の差が少なくエッジ検出できないか、或いは検出できたとしてもその差が少ないためにピーク値が所定のしきい値を超えないなどして、その走査線の箇所には白線が存在しない（代表点がない）と判断されることがある。その結果、抽出された代表点は、例えば図４（Ａ）に示すように、ピーク値のペア（＋，−）並びにその中点である代表点（×）は、比較的疎らに存在することになる。また、逆にエッジ部分での濃淡の差が顕著で、同図（Ｂ）に示すように、殆どすべての走査線上にピーク値のペア並びにその中点である代表点が抽出できることもある。
【００２５】そして、同図（Ａ）に示すように、抽出されたピーク値のペア（代表点）の数が少なければ、その抽出結果の信頼度が低く、直線近似（図中実線で示す）した結果が、実際の白線の位置を示しているとは限らず、その直線の延長線上に白線が存在する確率が低くなる。その結果、図示するように設定するウインドウ幅を広くし、白線抽出エリアを大きくすることにより、たとえ、今回の抽出結果が誤っていたとしても確実に次のウインドウにおける白線抽出処理で実際の白線を抽出することが可能となる。
【００２６】一方、同図（Ｂ）のように、抽出されたピーク値のペア（代表点）の数が多ければ、その抽出結果の信頼度が高く、直線近似した線の延長線上に白線の存在確率が高くなる。その結果、図示するように設定するウインドウ幅を狭くする。これにより、ノイズを抽出する可能性が少なくなると共に、抽出処理を行うエリアが少なくなるため、高速処理が可能となる。
【００２７】次に、現在処理している画像に追跡ウインドウが設定できるか否か、すなわち、ウインドウが一つの画像の上端に行っていないかを判断（Ｓ１０６）し、設定可能な場合には、抽出した白線の延長線上に追跡ウインドウを設定（Ｓ１０７）する。すなわち、ウインドウ設定手段３では、白線検出手段４から送られてきた交点座標データ（ｘ，ｙ）並びにウインドウ幅決定手段６から送られてきた幅データに基づいて、白線の延長線上に次の追跡ウインドウｌ２を設定する。具体的には、上記交点座標が追跡ウインドウの下辺の中点位置にくるように、所定幅の追跡ウインドウを設定する。なお、本例では、追跡ウインドウのＹ軸方向の高さは一定にしているが、適宜変更するのは構わない。そして、その変更も本発明のように信頼度が高いほど短く、また低いほど長くするようにする他、種々の手段を採ることができる。そして、ステップ１０３に戻り、設定した所定幅の追跡ウインドウ内に対して白線の抽出処理をする。そして、ウインドウの設定並びに設定したウインドウ内の白線抽出を繰り返し行う。
【００２８】一方、上記ステップ１０６の判断にて、現在処理中の画像の上方所定位置にウインドウがきた場合には、それ以上の追跡ウインドウの設定ができないため、次画面の有無を確認し（Ｓ１０８）、ある場合にはステップ１０１に戻り、次の画像を取り込み、以後上記処理を繰り返し行う。また、無い場合には処理を終了する。
【００２９】ところで、設定したウインドウ内に白線が抽出されなかった場合には、次のウインドウ設定をするための基準となる（ｘ，ｙ）座標が求められないが、この場合には、例えばその前に抽出された白線を延長し、その延長線と抽出できなかったウインドウの上辺との交点座標に基づいて追跡ウインドウを設定するようにしてもよく、或いは抽出できなかった場合には、その画像での処理を中止し、次の画像を取り込むようにしてもよく、種々の手段を用いることができる。そして、係る場合（後者はもちろん前者も所定数延長しても白線の抽出ができないとき）にも、ステップ１０６における処理で、追跡ウインドウ設定不可能と判断され、ステップ１０８に移行するようになる。
【００３０】なお、破線からなる白線Ｒに対する追跡処理も上記と同様に行われるが、破線の場合には、一定の間隔で白線が存在しない領域があるため、例えば初期ウインドウｒ１や追跡ウインドウｒ４，６等では白線抽出の信頼性が高くなるため、次に設定するウインドウの幅は狭くなるが、逆に追跡ウインドウｒ３では信頼性が低くなるため設定するウインドウの幅を広くする。
【００３１】また、例えば追跡ウインドウｒ２のように、もともと白線がない領域の場合では、白線の抽出ができないため、上記したごとくその次に設定する追跡ウインドウｒ３の設定位置は、初期ウインドウｒ１にて抽出した白線を延長することにより求めることができる。しかし、設定するウインドウの幅は、ピーク値のペア（代表点）の数が０となり、信頼性は零となってしまうため、そのままでは、ウインドウ幅決定手段６にて決定されるウインドウ幅は広くなる。しかし、かかる場合には抽出の信頼性が低いわけではないため、そのウインドウｒ２の幅と次に設定する追跡ウインドウｒ３の幅とは等しくするようにしたり、或いは、ｒ５（ｒ４での信頼性が高くなっているため、このｒ５でのウインドウ幅は狭くなっている）に基づいて設定するｒ６のように、標準の幅に戻すようにしてもよい。もちろん、そのまま幅を広くするようにしても良く、種々の手段を採ることができる。
【００３２】そして、この様に破線の場合における空白領域のために抽出した代表点が少ないのか、信頼性が低いために抽出した代表点が少ないのかは、例えばかかる空白領域が一定の間隔で現れることに着目し、過去のデータ（白線の抽出領域と非抽出領域の発生状態）を記憶し、それと比較したり、例えばｒ３の場合には、図４（Ｃ）に示すようにウインドウの下方にはピーク値等が現れず、上方に集中してピーク値のペアが現れることから、Ｙ軸方向に対するばらつきの度合等を検出することにより上記式（１）の分母を代表点の存在している領域のＹ座標数（抽出された代表点の上限と下限間）とすること等により対応することができる。
【００３３】なお、上記した実施例では、白線抽出手段が、エッジ検出により白線を抽出するようにしたが、本発明はこれに限ることなく、種々の画像認識手法を用いることができる。
【００３４】また、上記した実施例では次に設定するウインドウの中点を交点座標に一致させるようにしたが、本発明はこれに限らず、所定方向に所定量だけずらしても良い。すなわち、カーブの場合にはそのカーブしている方向にずらした方が、検出精度が上がるからであり、そのずらす量はカーブの曲率半径の大小から決定することができる。
【００３５】さらに、上記した実施例では、道路上に形成された白線を抽出する装置に適用した例について説明したが、本発明はこれに限ることなく、種々の連続線に対する抽出を行うようにしてもよいのはもちろんであり、線の種類も上述したごとく実線や破線等、その種類は問わず、途中にとぎれた箇所があっても全体として連続していれば本発明でいう連続線となるのである。
【００３６】
【発明の効果】以上のように、本発明に係る連続線追跡装置では、設定するウインドウの幅がその前に処理を行った線の抽出結果の信頼性が高い場合には狭くなる。すなわち、信頼性が高い場合には、その抽出した線の延長線上に次の線の存在確立が高くなるため、ウインドウの幅を狭くしても確実に線を抽出することができ、しかも、ウインドウ幅を狭くしたことによりノイズを拾う可能性が少なくなり、かつ処理対象となる面積が狭くなるため、高速処理が可能となる。一方、抽出結果の信頼性が低い場合には、次に設定するウインドウの幅を広くすることにより、確実に線を抽出することができる。すなわち、抽出結果の状況に応じて、ノイズの影響を可及的に抑制しつつ線の検出精度の向上を図り、さらに、できるだけ処理時間を短縮することのできる。これにより、確実かつ高速に線の追跡を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る連続線追跡装置の好適な一実施例を示すブロック図である。
【図２】作用を説明するためのフローチャート図である。
【図３】読み込んだ画像の一例を示す図である。
【図４】作用を説明するための図である。
【符号の説明】
１画像入力装置
２画像記憶手段
３ウインドウ設定手段
４白線抽出手段
５信頼度算出手段
６ウインドウ幅決定手段

【特許請求の範囲】
【請求項１】前記画像中の所定位置に所定幅のウインドウを設定するウインドウ設定手段と、そのウインドウ設定手段により設定された前記ウインドウ内に存在する線を抽出する線抽出手段と、その線抽出手段における抽出結果の信頼度を算出する信頼度算出手段と、その信頼度算出手段にて求めた信頼度の大小に応じて次に設定するウインドウの幅の狭広を設定し、それを前記ウインドウ設定手段に送るウインドウ幅決定手段とを備え、かつ前記所定位置が、前記線抽出手段により抽出された線の延長線上とした連続線追跡装置。

【図１】