車線境界全般を検出する方法およびシステム
【課題】 車線区分線や道路境界などの路面標識が連続的でない場合、湾曲している場合、そのサイズが既知でない場合などにおいても、極端に大きな計算能力を必要とすることなく、効率的に路面標識を検出する方法、装置およびシステムを提供する。
【解決手段】 イメージャ（１）から、車両（２）の前方の道路（４）の画像（３）を受けるステップと、画像中に識別された道路内に、関心領域を決定するステップと、関心領域内に車線区分線（７Ｌ、７Ｒ）を検出することによって、また車線区分線を検出することができなかった場合には、関心領域内に道路境界を検出することによって、路面標識（８Ｌ、８Ｒ）を検出するステップとを含んでいる。ウィンカがオンの場合には、前記各ステップをスキップする。
【解決手段】 イメージャ（１）から、車両（２）の前方の道路（４）の画像（３）を受けるステップと、画像中に識別された道路内に、関心領域を決定するステップと、関心領域内に車線区分線（７Ｌ、７Ｒ）を検出することによって、また車線区分線を検出することができなかった場合には、関心領域内に道路境界を検出することによって、路面標識（８Ｌ、８Ｒ）を検出するステップとを含んでいる。ウィンカがオンの場合には、前記各ステップをスキップする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ画像処理に関し、さらに詳細には、本発明は、ビデオ画像における道路状態の検出に関する。
【背景技術】
【０００２】
道路の車線区分線および道路境界を見出すために、ビデオカメラを組み込んだ検出システムを用いることがある。従来、車線区分線および道路境界を見出すために、境界／白線の前方連続性か、または車線区分線の既知のサイズのいずれかが利用されている。車線区分線が、十分に連続的な信号を供給しないボッツドッツ（直径約１０ｃｍのドーム状の白い円盤）タイプ、またはリフレクタである場合には、白線の連続性を用いるアプローチは機能しなくなる。
【０００３】
車線区分線が、異なるサイズを有している場合には、車線区分線の既知のサイズを用いるアプローチは機能しなくなる。最後に、ハフ変換を用いるアプローチは、困難な状況（２つ以上の解が得られる、複数の平行な車線区分線が存在するような）において機能しなくなり、また十分な計算能力を必要とする。従来の他の手法においては、道路画像内に、垂直方向端を求めることのみによって、車線区分線が識別される。しかし、垂直方向端を検出する方法は、車線区分線が相当の角度を有しているカーブの箇所においては機能しない。
【０００４】
また、このような従来技術では、車体が車線区分線に過度に接近した場合には、警告発生手段を作動させて運転者に異常を知らせていることが通常であるが、場合によっては車体が車線区分線に過度に接近した場合にも、警告信号を発する必要がない場合がある。例えば、運転者自らが車線変更を行う意図をもって車線に接近した場合は、通常の運転操作の範囲内である。それにも拘らず、前記従来技術では、全ての場合に一律に警告信号を発している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Bar-Shalom「Estimation and Tracking （推定および追跡）」
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上述の問題を解決することができる、車線区分線または道路境界などの路面標識を検出する方法およびシステムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の一実施形態においては、イメージャから、車両の前方の道路の画像を受け、その画像内に識別された道路内に、関心領域を決定するように構成されている画像処理プロセッサと、関心領域内に車線区分線を検出することによって、また車線区分線を検出することができなかった場合には、関心領域内に道路境界を検出することによって、路面標識を検出するように構成されている路面標識検出モジュールとが設けられている。
【０００８】
画像処理プロセッサは、さらに、路面標識エッジ候補を識別するために、それぞれ画像内の１つのエッジを表わす、画像ピクセルの輝度勾配のピークおよびバレーを決定することによって、関心領域内にエッジ強度を決定するように構成されていてもよく、また路面標識検出モジュールは、エッジ強度と強度閾値とを比較するように構成されていてもよい。
【０００９】
路面標識検出モジュールは、関心領域内の複数の画像行において、各エッジ強度と強度閾値とを比較することによって、エッジ対を、路面標識エッジ候補として識別するステップと、エッジ対の間隔を特定するステップと、エッジ対の間隔と、間隔最小閾値および間隔最大閾値とを比較するステップであって、エッジ対の間隔が、間隔最小閾値と間隔最大閾値との間にある場合には、エッジ対は、車線区分線候補を表わしているステップと、車線区分線候補を表わしている画像行のエッジ対に対応する中央勾配位置に、第１の線を適合させるステップとを実行するように構成されている車線区分線検出モジュールを備えていてもよく、かつ容認可能な第１の近似適合線に寄与した全てのエッジ対を、車線区分線の識別要素として選択する。
【００１０】
路面標識検出モジュールは、さらに、エッジ対の間隔の各々が、間隔最小閾値と間隔最大閾値との間になかった場合、または容認可能な第１の近似適合線が見出されなかった場合には、道路境界の識別要素の候補を表わしている画像行のエッジの各々に第２の線を適合させ、かつ容認可能な第２の近似適合線に寄与した全てのエッジを、道路境界の識別要素として選択するように構成されている道路境界検出モジュールを備えていてもよい。
【００１１】
路面標識検出モジュールは、さらに、道路境界の識別要素が見出されなかった場合には、複数の画像行において平均絶対偏差（ＭＡＤ）勾配を決定するステップと、路面標識候補を表わしている画像行のエッジの各々に対応する、大きさ閾値を超過する大きさを有するＭＡＤ勾配の位置に、第３の線を適合させるステップと、容認可能な第３の近似適合線に寄与したＭＡＤ勾配の位置を、路面標識として選択するステップとを実行するように構成されていてもよい。
【００１２】
路面標識検出モジュールは、さらに、第１、第２、または第３の線の、路面標識エッジ候補を表わす画像行のエッジに対する適合度、および第１、第２、または第３の線の傾きの、以前の道路画像における傾きに対する近似度をチェックすることによって、容認可能な第１、第２、または第３の近似適合線を決定するように構成されていてもよい。そして、これらに基づいて車線逸脱検出システムは、車両が道路の適切な走行車線からずれているか否かを決定する。このとき、運転者自らが進路変更等により車線に接近する場合、ウィンカをオンにして点滅させていることが、運転者自ら車線に接近する意思であることが明白であると想定し、この際は、上記の検出の対象外であるとした。
【００１３】
以下の説明、請求項、および添付図面を参照することによって、本発明の上記した特徴およびそれ以外の特徴、態様、および利点を理解しうると思う。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による、車両の動きに連動する車線／道路境界探索および追跡システムの機能ブロック図である。
【図２Ａ】本発明の一実施形態による車線／道路境界検出装置の機能ブロック図である。
【図２Ｂ】本発明の一実施形態による、図２Ａの検出装置によって実行される車線／道路境界検出プロセスの一部のフローチャートである。
【図２Ｃ】図２Ｂの車線／道路境界検出プロセスに続く車線／道路境界検出プロセスの一部のフローチャートである。
【図２Ｄ】図２Ｃの車線／道路境界検出プロセスに続く車線／道路境界検出プロセスのフローチャートである。
【図３Ａ】本発明の一実施形態における、画像面内のピクセルと、ビデオカメラを介してピクセルに投影される、道路面上の対応点との関係の一例を示す図である。
【図３Ｂ】本発明の一実施形態にしたがって、画像フレーム内に関心領域を決定する一例を示す図である。
【図３Ｃ】画像の関心領域に対応する、道路上の平行四辺形エリアの一例を示す図である。
【図３Ｄ】本発明による、画像の勾配検出および幅テストの一例を示す図である。
【図４】新しいピクセル値がヘッドに加えられ、古いピクセル値がテールから除かれる、本発明の一実施形態による、画像行のローパスフィルタ処理の一例を示す図である。
【図５Ａ】本発明の一実施形態による、平均絶対偏差（ＭＡＤ）の計算の一例を示す図である。
【図５Ｂ】車線境界標識を備えた道路画像の一例を示す図である。
【図５Ｃ】ＭＡＤフィルタによる処理後の、図５Ｂの道路画像を示す図である。
【図６Ａ】画像面と、道路上の前方距離との関係を説明するために、ビデオカメラの側面と道路との相対的な位置関係の一例を示す図である。
【図６Ｂ】道路画像において、垂直方向ピクセルサイズＶｐおよび水平方向ピクセルサイズＨｐを有して、画像行座標ｒ、画像列座標Ｗに配置されているピクセルｐのアレイの一例を示す図である。
【図７】画像行座標に基づいて、最小標識幅から計算されたフィルタ長の変化を示す図である。
【図８】本発明による、許容可能な傾きの誤差、およびその時間経過に伴う変化の例を示す図である。
【図９】空フレームおよび空区間のカウントの更新、および標識の追跡へのその応用の一例を示す図である。
【図１０】本発明にしたがって、標識検出のために、道路画像からダッシュ−ギャップタイプ標識の情報を蓄積する一例を示す図である。
【図１１】本発明による、標識検出に対する、学習されたダッシュ−ギャップタイプ標識モデルの応用の一例を示す図である。
【図１２】本発明による、境界位置の検出を改善するための優先度スキームの一例を示す図である。
【図１３】最小二乗直線／曲線適合の一例を示す図である。
【発明を実施するための形態】
【００１５】
本発明は、車線境界全般の検出方法および検出システムを提供するものである。本発明の一実施形態によると、車線または道路のビデオ画像を用いて、車線または道路の車線区分線または道路境界を含む路面標識が見出される。これは、少なくとも最小サイズから最大サイズまでの画像標識フィーチャの境をなす、大きな勾配（例えば輝度勾配）を有するビデオ画像領域を探索することによって達成される。勾配探索は、グレーレベル画像または平均絶対偏差画像で行うことができる。これらの勾配位置は、曲線適合法を用いて（必要であれば、サブセットを選択して）、適切な適合度および整合度を得るようにグループ化される。画像標識フィーチャに適合させた曲線が、車線区分線または道路境界を表わす。車線区分線は、方向性を有する一対のプロセスによって見出され、一方、道路境界は、対になっていないプロセスによって見出される。白線と単純なエッジタイプの境界とのいずれを見出すためにも、一連のステップが用いられる。必要な場合には、同じデータの異なるバージョンまたはサブセットを用いて、複数の回数にわたって判断が下される。
【００１６】
説明を簡単にするために、本明細書においては、車線区分線と道路境界とを、まとめて標識と呼ぶ。図１は、一実施例による、ビデオカメラ１をマウントされた車両２に連結されている車線（道路）曲率測定システム５０の機能ブロック図である。ビデオカメラ１は、前方を向くように、車両２にマウントされている。ビデオカメラ１は、車両２の前方の道路（車線／車道）４の画像３〔２次元（２−Ｄ）の〕を捕捉し、それらの画像を、境界検出用のコントローラ５に伝達する。デジタル化されたビデオ入力信号をサンプリングして、画像行および画像列に配列されたピクセルアレイとして、２次元画像を作成するために、サンプラー６０を用いてもよい。
【００１７】
この例においては、コントローラ５は、車線境界検出システム６、車線逸脱検出システム９、カメラ較正モジュール１０、および警告モジュール１１を備えている。車線境界検出システム６は、道路特性解析によって画像３を処理し、道路４上の実際の標識８Ｌ、８Ｒをそれぞれ表わす画像標識フィーチャ７Ｌ、７Ｒの位置を、画像３内に追跡する。ビデオカメラ１に対して、標識８Ｌは道路の左縁を示しており、標識８Ｒは道路の右縁を示している。画像標識フィーチャ７Ｌおよび７Ｒの位置および偏揺れ角（ビデオカメラ位置に対する）が、車線境界検出システム６から車線逸脱検出システム９に供給される。車線逸脱検出システム９は、さらに、車両２から速度情報を受け取り、また、カメラ較正データ（カメラ較正モジュール１０によって供給される）を受け取る。車線逸脱検出システム９は、車両速度、車線区分線位置および偏揺れ角に関する情報を定期的に受け取ることが好ましい。
【００１８】
車両速度情報、カメラ較正情報、および画像標識フィーチャ７Ｌおよび７Ｒの追跡された位置に基づいて、車線逸脱検出システム９は、車両２が道路４の適切な走行車線からずれているか否かを決定する。車線逸脱検出システムが、車線に接近していること、または道路から逸脱していることを検出したときには、警告モジュール１１が起動させられる。但し、車体が車線区分線に過度に接近しても、警告モジュール１１による警告信号を発する必要がない場合、つまり車線変更の場合には、警告信号を発しないこととする。そして、車線変更の際には、通常ウィンカーがオンになっているので、ウィンカのオン状態とその方向を検出し、この状態では、車体が車線区分線に過度に接近したことが検出されても、警告モジュール１１からの警告信号を発生しないようにする。
【００１９】
図２Ａは、本発明による車線境界検出システム６の一実施例の機能ブロック図である。車線境界検出システム６は、画像前処理モジュール２１、車線区分線検出モジュール２２、および道路エッジ検出モジュール２３を有している。画像前処理モジュール２１は、ピクセルの２次元（２−Ｄ）アレイ（画像行および画像列）を有する画像３を前処理する。画像前処理モジュール２１は、関心領域配置モジュール３１、勾配計算モジュール３２、および任意選択に、平均絶対偏差（ＭＡＤ）計算モジュール３５を有している。
【００２０】
受け取った各画像３に対して、関心領域配置モジュール３１は、画像標識フィーチャ（画像車線区分線または画像道路境界）７Ｌおよび７Ｒがあると予想される関心領域を、画像内に決定する。関心領域配置モジュール３１は、関心領域縦方向設定モジュール３３および関心領域横方向設定モジュール３４を有している。関心領域の正確な位置が、関心領域縦方向設定モジュール３３および関心領域横方向設定モジュール３４によって決定される。各関心領域内において、勾配計算モジュールは、ピクセルの各画像行座標ｒ毎に、左端から右端に向かってピクセルのグレーレベルの勾配を決定する。
【００２１】
任意選択的に、ＭＡＤ計算モジュール３５は、ピクセルのグレーレバルの平均絶対偏差を計算する。すなわち、ＭＡＤ計算モジュール３５は、ピクセルのグレーレベルの平均を中心とした、１セットの数の分散を測定する。２セットの数が存在するとき、平均が互いに同じになることはあり得るが、分散値は互いに異なる。これは、有用なことである。すなわち、道路エッジと、道路エッジをはずれた位置との間にほとんどコントラストがない場合にも、その同じ平均値を中心とするピクセル値の分散は、互いに異なる（すなわち、画像において、道路と、道路をはずれた位置との間で、平均値が同じであっても、分散値は異なる）であろうから、より良好な境界検出が可能になる。平均は、いわゆる一次統計値であり、一方、平均絶対偏差は、二次統計値である。
【００２２】
計算された勾配が、「暗」から「明」（正の勾配）に続く、「明」から「暗」（負の勾配）のパターンを示したときに、その勾配位置は、車線区分線検出モジュール２２によって、車線区分線の検出および追跡のために用いられる。この場合には画像における車線区分線である、正しい画像標識フィーチャ７Ｌおよび７Ｒの識別および追跡を確実にするために、また車線区分線と間違えられる可能性のある誤った標識の最高水準の排除を確実にするために、車線区分線検出モジュール２２の内部で、種々の精度向上化機能を実行してもよい。車線区分線検出モジュール２２によって実行される精度向上化機能の例には、次のものが含まれる。
機能４１ａ：χ2（χの２乗）が大きすぎるときの線適合
機能４２ａ：係数一致
機能４３：標識モデルベース
機能４４ａ：適合線に対する容認テスト
機能４５ａ：昼夜差
機能４６ａ：空フレームおよび空区間のカウント
機能４７：ダッシュ−ギャップタイプ標識の特性解析
【００２３】
明瞭な正から負への勾配パターンが、関心領域内に存在しない場合には、道路境界の検出および追跡を行うために、道路エッジ検出モジュール２３が用いられる。この場合には画像における道路境界である、正しい画像標識フィーチャ７Ｌおよび７Ｒの識別および追跡を確実にするために、また道路境界と間違えられる可能性のある誤った標識の最高水準の排除を確実にするために、道路エッジ検出モジュール２３の内部で、精度向上化機能を実行してもよい。道路エッジ検出モジュール２３によって実行される精度向上化機能の例には、次のものが含まれる。
機能４１ｂ：χ2（χの２乗）が大きすぎるときの線適合
機能４２ｂ：係数一致
機能４４ｂ：適合線に対する容認テスト
機能４５ｂ：昼夜差
機能４６ｂ：空フレームおよび空区間のカウント
【００２４】
線適合の機能４１ａおよび４１ｂは、画像前処理モジュール２１からの初期標識点候補に作用する。機能４１ａおよび４１ｂは、χ2（いかによく、近似曲線が１セットのデータ点に適合するかを示す統計的尺度）が，χ2の閾値（この閾値は０より大きく、例えば容認可能な適合に対して２．０であってもよい)未満であるか否かを決定する。大きな値のχ2（すなわち、χ2の閾値より大きい）は、近似曲線と１セットのデータ点との間の適合が乏しいことを表わしている。大きなχ2値が、１セットのデータ点（初期標識点候補）に対して検出されたときには、χ2値がχ2の閾値未満になるまで、それらのデータ点のサブセットが、曲線適合のために選択される。
【００２５】
係数一致を検出する機能４２ａおよび４２ｂは、次のようにして、係数一致を検出する。道路境界または車線境界は、一般に、１つの画像フレームから次の画像フレームまでで、わずかの量しか移動しない。それらの画像中の位置を記述する数学関数（例えば曲線）も、同様に、ゆっくりと変化する。この変化は、そのような位置を記述する数学関数の係数差が、１つの画像フレームから次の画像フレームまでで、ある差閾値未満であるということによって定量化される。この差閾値は、０より大きく、一例において０．１５であってもよい。その結果、その直後の２つの画像フレームに対して、それぞれ０．１５の誤差が許容され、さらなる全ての画像フレームに対して、０．０３のさらなる差が割り当てられる。係数差が、差閾値より大きい場合には、連続する２つの画像フレームに、２つの異なる境界または標識が見出される場合がある（避けるべき状況）。したがって、現在の画像フレームで見出された車線区分線または道路境界を、以前の画像フレームで見出された標識の継続として容認する前に、機能４２ａおよび４２ｂは、そのような係数の、十分によく一致する係数（すなわち、係数変化が差閾値未満である）に対する近似性をテストする。χ2検査および係数一致テストによって、曲線適合（例えば直線適合）の妥当性が試される。
【００２６】
路面標識として検出される最小および最大の物理的寸法（例えば幅、長さ）、および背景に対する最小コントラストが規定されている必要がある。物理的寸法およびコントラストは、画像内に標識を配置する物理的ベースを形成する。標識モデルベースの機能４３は、道路上の標識の物理的寸法から、画像中の等価なピクセル数への変換を実行する。画像標識フィーチャ７Ｌ、７Ｒの各ピクセルは、ピクセル位置（画像３中の画像行座標ｒおよび画像列座標Ｗによって確定される）から、ビデオカメラの前方の地面上の距離と、ビデオカメラに対する横方向のオフセット距離とによって定められる道路上の位置に変換される。
【００２７】
適合線に対する容認テストの機能４４ａおよび４４ｂは、標準的なχ2適合テストに基づいて、標識または境界の点候補のセットに適合させた線が、どの程度に良好に、そのような点候補を反映しているかを決定する。
【００２８】
道路境界および車線区分線は、日中であるか夜間であるかに依存して、異なる外観を有する。イメージャの利得および露光時間の設定を通じて、日中状態であるか夜間状態であるかを決定することができる（日中であるか夜間であるかの決定は、外部的になされる）。そのような状態に基づいて、昼夜差の機能４５ａおよび４５ｂは、標識／境界位置プロセスに対して異なるパラメータを供給する。それによって、より良好な検出が可能になる。例えば夜間においては、日中よりも周辺光の量が少なく、背景輝度が低下するから、道路背景と車線区分線との間の輝度勾配は、一般に、日中よりも夜間において大きい。例えば日中におけるピクセル間の最小コントラストとして、１５グレーレベルを用いることができ、一方、夜間におけるピクセル間の最小コントラストとして、１８グレーレベルを用いることができる。このグレーレベル差は、夜間の画像の方が、日中の画像よりも高いコントラストを有するという事実から生じる。
【００２９】
空フレームおよび空区間のカウントの機能４６ａおよび４６ｂは、容認可能な車線区分線または境界を形成した最後の画像フレームの時点から測定して、どのくらい多くの画像フレームが、識別可能または容認可能な車線区分線または境界を形成しなかったかを追跡し、容認可能な測定がなされなかった画像フレームの数（すなわち、空フレームの数）を表わす空区間値を生成する。機能４６ａおよび４６ｂは、さらに、境界または標識が見出されなくなってから、どれだけの道路距離が過ぎたかを追跡し、そのような距離を表わす空区間値を生成する。空フレーム数が多ければ（例えば標識を見出すことなく走行した距離が約３０メートルであれば、通常の運転速度で約１０画像フレームに相当する）、または空区間が長すぎれば（例えば標識を見出すことなく走行した距離が約３０メートルであれば、ダッシュ−ギャップタイプ標識で約２サイクル、すなわち、２つのダッシュおよびダッシュ間ギャップに相当する）、標識または境界が次にどこに現れるかが、極めて不確実になる。そのような不確実さが発生すると、画像前処理モジュール２１は、より大きな関心領域を用いて探索モードに入る、すなわち戻る。より大きな関心領域を用いることによって、標識または境界がどこにあるかを予想することなく、システムは、追跡のための新しい画像標識フィーチャを取得することができる。
【００３０】
システムは、探索と追跡と呼ばれる２つのモードを有する。探索モードにおいては、システムは、まだ、標識が画像（関心領域：ＲＯＩ）中で近似的に存在するであろう場所を決めておらず、したがって、大きな画像エリア内で標識を捜す。追跡モードにおいては、システムは、直前に（空区間内において）標識を見出しており、したがって、画像中の、直前とほぼ同じエリア（ＲＯＩ）内に、再度、標識があると予測し、そのＲＯＩ内で標識を追跡する。追跡は、１つのまとまりをなす、位置測定のシーケンスである。１つのシーケンスが終了して、他のシーケンスが開始するとき、および、システムが初期化するとき、新しい追跡が開始する。
【００３１】
ダッシュ−ギャップタイプ標識の特性解析の機能４７は、ダッシュの開始位置および終了位置、およびダッシュ間の縦方向間隔を算定する（例えばビデオカメラの５メートル前方で始まったダッシュの長さが２メートルであり、その後、次のダッシュが始まるまで８メートルのギャップが続いていると算定する）。ダッシュが存在すると予想される場所を学習することによって、ダッシュ間に検出される標識片は、ノイズとして排除することができ、そのために、追跡精度が向上する。
【００３２】
次に、検出された車線区分線または道路境界は、車線逸脱検出システム９に出力される。車両が、車線区分線または道路境界にあまりにも接近したとき、または、車線区分線または道路境界からはずれる恐れがあるという切迫した状況にあるとき、車線逸脱検出システム９は、運転者に対して警告を発する、またはなんらかの手助けを与える。当業者であれば認識されるように、プロセッサによる実行のためのプログラム命令、論理回路、特定用途向け集積回路、ファームウエア、ソフトウェアモジュールなどのような種々の形態で、図１および図２Ａに示されているシステム、モジュール、部品、および機能を具現化することができる。
【００３３】
後でさらに述べるように、図２Ｂ〜２Ｄは、速度の知られている車両から撮られた画像中に、車線区分線および／または道路境界（標識／境界）を見出す際に、車線境界検出システム６によって実行されるプロセス例１００−１〜１００−３のステップのフローチャートである。
【００３４】
車線区分線／境界検出プロセスのよりよい理解のために、図３Ａは、画像面中のピクセルと、ビデオカメラ１を介して、画像にピクセルｐとして投影されている、道路面上の対応する点Ｐとの間の関係の一例を示している。道路４の画像３が、道路４の面４０に重ね合わされている。画像３中の第１の画像行−画像列位置にある第１のピクセルｐ1は、道路面上の第１の点Ｐ1に対応している。同様に、画像３中の第２の画像行−画像列位置にある第２のピクセルｐ2は、道路面上の第２の点Ｐ2に対応している。画像位置（ｒ、Ｗ）にあるピクセルｐ1から、道路面位置（ｘ、ｙ）にある点Ｐ1に変換するプロセスは、画像行座標ｒに基づいて縦方向距離ｘを見出し、画像列座標Ｗに基づいて横方向距離ｙを見出すステップを含んでいる。同様の変換が、点Ｐ2、ピクセルｐ2に対しても適用される。
【００３５】
したがって、標識８Ｌおよび８Ｒ上の点Ｐ1およびＰ2が与えられると、ビデオカメラ１からそれらの各点までの距離（すなわち、ビデオカメラの前方の縦方向距離ｄ＝ｘ、および道路中央線からの横方向のオフセット距離ＬＯ＝ｙ）を、画像３中の画像標識フィーチャ７Ｌおよび７Ｒ上の対応するピクセルｐ1およびｐ2の画像行および画像列の位置（すなわち画像行座標ｒおよび画像列座標Ｗ）から決定することができる。図３Ｂは、ビデオ画像上の台形形状の関心領域（ＲＯＩ）を示している。ＲＯＩ内で、グレーレベル勾配および平均絶対偏差が、画像のピクセルから抽出される。グレーレベル勾配値と平均絶対偏差値とは、どちらも、ピクセル群の特性であり、前者は、ピクセル間のコントラストを表わしており、後者は、中心値からの変動を表わしている。各台形形状の関心領域（例えばＲＯＩ−Ｌ、ＲＯＩ−Ｒ）は、ほぼ、画像標識フィーチャ（例えば７Ｌ、７Ｒ）があると予測される、画像３内の位置に配置される。
【００３６】
道路の画像３および車両速度が、検出システムに入力される。また、カメラ較正パラメータ（焦点距離、据え付け高さなど）が既知である。ここで、さらに、検出プロセス１００（すなわち、図２Ｂ〜２Ｄにそれぞれ示されているプロセス１００−１〜１００−３）に言及すると、ステップ１０１〜１０６は、画像前処理に関するものである。ステップ１０７〜１１５ｂは、標準的な車線区分線検出に関するものである。ステップ１１６〜１２３ｄは、道路境界検出に関するものである。ステップ１２４ａ〜１２７は、後処理に関するものである。プロセスのこれらの各ステップを、次に説明する。
【００３７】
ステップ１０１：標識／境界を検出すべき、ビデオカメラからの路上距離（例えば前方６〜２０メートル）を選択する。これらの路上距離は、上方の画像行（遠方距離に対する）から下方の画像行（近接距離に対する）までに対応する。それらの間で、道路境界／標識の検出が実行される。横方向距離の例は、図３Ｂに示されているようなものである。路上距離および横方向距離を選択することによって、画像３内に、２つの関心領域ＲＯＩ−ＬおよびＲＯＩ−Ｒ、すなわち窓が定められる。それら２つの関心領域内で、道路４上の実際の標識／境界８Ｌ、８Ｒを表わす画像標識フィーチャ７Ｌ、７Ｒを検出するための探索が遂行される。
【００３８】
ステップ１０２：窓（関心領域ＲＯＩ−ＬおよびＲＯＩ−Ｒ）の上端画像行と下端画像行との間の全ての画像行に対して、路上距離を決定する。
【００３９】
ステップ１０３：検出すべき最小標識幅と、各画像行に対応する、ビデオカメラの前方の縦方向距離ｄとを取り込み、その最小標識幅内に含まれる、各画像行のピクセル数（最も近い整数に丸める）を決定する。このピクセル数は、次のステップ１０４において、平均化用のローパスフィルタ長として用いられる。
【００４０】
ステップ１０４：各画像行に対して、最小標識幅のピクセルを平均化するために、ローパスフィルタを適用する。ローパスフィルタ処理によって、各ピクセルにおける局所的な平均化がなされる。任意選択的に、同時に、各ピクセルに対して、平均絶対偏差（ＭＡＤ）が計算される。ＭＡＤ計算は、ローパスフィルタ処理と同じ長さにわたって行なわれ、ローパスフィルタ処理と組み合わせることができる。ローパスフィルタ長は、画像行ごとに異なり、ステップ１０３において計算されている。
【００４１】
ステップ１０５：ステップ１０４からの、ローパスフィルタ処理されたデータに、中心差分を用いた微分フィルタを適用する。これによって、各ピクセル位置において、平滑化された勾配値が得られる。任意選択的に、ＭＡＤデータに、同じ中心差分操作を適用して、各ピクセル位置において、ＭＡＤ値の勾配を得ることができる。
【００４２】
ステップ１０６：最初の画像フレームに対する想定値から出発して、平均背景勾配を計算する。背景によるものではない勾配（一定の最低値から出発する）を見出すために、ある係数が乗じられた、この平均背景勾配が、次の画像フレームに適用される。
【００４３】
ステップ１０７：勾配閾値として、縮尺された平均背景勾配の大きさを用いて、各画像行において、ピクセルの輝度勾配を決定し、ピクセル輝度勾配曲線中に、勾配ピークおよび勾配バレー〔勾配の大きさが、勾配閾値（強度閾値）より大きい〕を検出する。この勾配ピークおよび勾配バレーの位置が記憶される。
【００４４】
ステップ１０８：各画像行の画像標識フィーチャの最大幅値（Marking Width Max）および最小幅値（Marking Width Min）が決定される。これらの値は、それぞれ標識の左エッジｌｅおよび右エッジｒｅ（図７）として容認される勾配ピークと勾配バレーとの対（「勾配ピーク−勾配バレー対」）の間のピクセル領域に対する上限および下限を与える。左エッジｌｅ（車線区分線／境界の横方向の開始点）は、右方向に移動するときの、標識上の暗から明への遷移（図５Ｂ）、すなわち、勾配ピークとして現れる、小さなピクセル輝度値から大きなピクセル輝度値への遷移を表わしている。同様に、右エッジｒｅ（車線区分線／境界の横方向の終了点）は、明から暗への遷移、すなわち、勾配バレーとして現れる大きなピクセル輝度値から、小さなピクセル輝度値への遷移を表わしている。
【００４５】
ステップ１０９：各画像行に、最小標識幅限界および最大標識幅限界を適用することによって、標識になり得る勾配ピーク−勾配バレー対を見出す。画像標識フィーチャの少なくとも一部分を示す、容認可能な幅が見出された場合には、その勾配ピーク−勾配バレー対を保存する。一例として、関心領域の各画像行において、画像標識フィーチャ候補を探索すると、いくつかの画像行においては、画像標識フィーチャ候補が含まれるが、その他の画像行においては、そのような画像標識フィーチャ候補が含まれない場合がある。画像標識フィーチャ候補は、各画像行において、その左エッジと右エッジの位置によって画定される。
【００４６】
ステップ１１０：内側標識エッジ（ビデオカメラの左側の標識においては、内側標識エッジは、勾配ピーク−勾配バレー対の勾配バレーであり、ビデオカメラの右側の標識においては、内側標識エッジは、勾配ピーク−勾配バレー対の勾配ピークである）に、曲線（例えば、ほぼ直線）を適合させることによって、各画像行のエッジの位置が、その曲線に沿って、概ね並ぶか否かを決定する。
【００４７】
ステップ１１１：最小二乗適合法を用いて、各関心領域の画像標識フィーチャ候補の内側エッジをつなぐ。なんらかの妥当な基準（例えばχ2および傾き一致）に基づいて、適合度を決定する。特に、χ2適合測定（以下に説明するように、適合曲線のχ2がχ2の閾値と比較される）によって、適合度（適合の妥当性）を決定する。適合度が容認可能である場合には、適合曲線の傾きが、容認されている直近の傾きに一致するか否かをチェックする（容認されている直近の傾きがまだ存在しない開始時を除いて）ことによって、適合の妥当性を、さらに決定する。傾きが容認可能である場合には、画像標識フィーチャが、エッジを定めるピクセルで検出され（この傾きは、次の画像フレームの傾きとの比較のために記憶される）、プロセスはステップ１２４ａに進む。そうでない場合には、ステップ１１２に進む。一例において、容認可能であるか否かを判定する傾き比較は、次のとおりである。容認されている直近の傾きＥＳと、現在の適合曲線の現在の傾きＣＳとの比較において、これらの傾きが同一の標識から得られたものである場合には、傾きＥＳとＣＳとの差の絶対値は、小さくなければならない。すなわち、（｜ＥＳ−ＣＳ｜＜ｄｉｆｆｔｈｒｅｓｈｏｌｄ）でなければならない。この場合、差閾値ｄｉｆｆｔｈｒｅｓｈｏｌｄは、０．０５より大きく、０．１〜０．２の値を有してもよい。
【００４８】
ステップ１１２：適合曲線のχ2が大きすぎる（χ2の閾値と比較して）場合、または傾きが、容認されている直近の傾きと十分に近似性高く一致しない場合には、画像標識フィーチャ点候補（前述の勾配ピーク−勾配バレー対によって画定される）のサブセットを選択し、このサブセットが、より優れたχ2および／または傾きの一致を与えるか否かを決定するために、このサブセットに、ステップ１１１の場合と同じ線適合法および適合度（適合の妥当性）基準を適用する。このサブセットは、左側勾配と右側勾配の大きさの両方ともが、全画像標識フィーチャ点候補の平均の勾配の大きさよりも大きい勾配ピーク−勾配バレー対から成っている。言い換えると、左側と右側との両方において、平均を超える大きなコントラスト（勾配の絶対値）を有する画像標識フィーチャ（標識ピクセル）候補だけが選択される。
【００４９】
ステップ１１３ａ、１１３ｂ：大きなコントラストを有する（選択された）サブセットに、１つの曲線を適合させる。χ2が大きすぎるか、または傾きが、容認されている直近の傾きと近似性高く一致しない場合には、そのサブセットは廃棄されて、プロセスはステップ１１４に進む。そうでない場合には、サブセットに対する適合曲線が容認可能であれば、プロセスはステップ１２４ａに進む。
【００５０】
ステップ１１４：画像標識フィーチャ点の全候補から、最大輝度の画像標識フィーチャ点候補だけが選択されたサブセットを取り出す。画像標識フィーチャの輝度は、画像標識フィーチャの左エッジと右エッジとの間にあるピクセルの平均グレーレベルである。全画像標識フィーチャ点候補の平均輝度が計算され、次に、この平均輝度を閾値として用いて、この閾値より大きな輝度値を有する、画像標識フィーチャ点候補だけが保存される。
【００５１】
ステップ１１５ａ、１１５ｂ：選択された、平均よりも輝度の高い画像標識フィーチャ点候補に、曲線または直線を適合させ、この曲線または直線のχ2および傾きをチェックする（上述のように）。χ2と傾きとの両方が容認可能である場合には、選択された、最大輝度の画像標識フィーチャ点候補は容認可能であり、プロセスはステップ１２４ａに進む。そうではなくて、χ2が大きすぎる場合、または傾きが容認されている直近の傾きと一致しない場合には、適切な適合曲線は見出されず、選択された画像標識フィーチャ点候補は、車線区分線に由来するものではない。プロセスを、車線区分線検出から道路境界検出に切り換え、勾配（コントラスト）の点検によって確定される可能性がある道路エッジを検出するためにステップ１１６に進む。
【００５２】
ステップ１１６：道路エッジを検出するために、各画像行において前に計算したピクセル勾配データを用い、大きさの閾値を超過している大きさを有する正の勾配の数と負の勾配の数とを数えて、より多いのはどちらであるかを決定する。より多い（過半数）方の勾配を分析し、上述と同様に、それらの勾配の位置が適合曲線に沿ってほぼ並ぶか否かのチェックを、以下のステップ１１７ａ〜１２０ｃとして実行する。
【００５３】
ステップ１１７ａ、１１７ｂ：過半数の方の勾配の位置を取り上げて、１つの曲線を適合させたときに、それらの勾配の位置が適合曲線に沿って並ぶか否かを決定する。χ2は十分に小さいか否か、および適合曲線の傾きは、容認されている直近の傾きに一致しているか否かがチェックされる。「ＹＥＳ」の場合には、道路境界が適切に検出されており、プロセスはステップ１２４ａに進む。そうでない場合には、道路境界は，上記の位置を用いて検出されず、プロセスはステップ１１８ａに進む。
【００５４】
ステップ１１８ａ〜１１８ｃ：過半数の方の勾配の平均の大きさを超過する大きさを有する、この過半数の方の勾配から抽出された勾配だけで構成される、勾配のサブセットを選択する。選択された勾配のサブセットの位置に適合させた曲線が、十分に小さいχ2、および容認されている直近の傾きとほぼ同じ傾きを有しているか否かを決定する。「ＹＥＳ」の場合には、その適合曲線は、道路境界を検出している曲線として容認可能であり、プロセスはステップ１２４ａに進む。そうでない場合には、χ2が大きすぎるか、または傾きが、容認されている直近の傾きと違いすぎるのであるから、この勾配のサブセットは、道路境界を示すものではなく、プロセスはステップ１１９ａに進む。
【００５５】
ステップ１１９ａ、１１９ｂ：ステップ１１６において数が少なかった方の勾配の位置を取り上げて、１つの曲線を適合させたときに、それらの勾配が並ぶか否かを決定する（すなわち、χ2が十分に小さいか否か、またこの適合曲線の傾きが、容認されている直近の傾きに一致しているか否かを決定する)。「ＹＥＳ」の場合には、これらの勾配の位置は、道路境界を指示しており、プロセスはステップ１２４ａに進む。そうでない場合には、このさらなるサブセットは、道路境界を表わしておらず、プロセスはステップ１２０ａに進む。
【００５６】
ステップ１２０ａ〜１２０ｃ：ステップ１１９ａ、１１９ｂで取り上げた、数の少ない方の勾配の平均の大きさを超過する大きさを有する、この少ない方の勾配から抽出された勾配だけを選択し、選択された勾配の位置に適合させた曲線が小さいχ2を有しているか否か、および、容認されている直近の傾きにほぼ等しい傾きを有しているか否かを決定する。「ＹＥＳ」の場合には、この適合曲線は容認可能であり（道路境界を指示しており）、プロセスはステップ１２４ａに進む。そうでない場合には、道路境界は、勾配のみの分析によっては検出されず、画像の平均絶対偏差（ＭＡＤ）を用いた、さらなる分析（ステップ１２１ａから始まる）がなされる。
【００５７】
ステップ１２１ａ〜１２１ｃ：大きさの閾値（例えば８ビットのイメージャでは１〜２５５であり、好ましくは５〜２０である）を超過する大きさを有するＭＡＤ勾配の位置を見出す。１本の曲線を適合させ、適合曲線のχ2と傾きに基づいて、それらのＭＡＤ勾配の位置が並んでいるか否かを決定する。χ2が十分に小さく、かつ適合曲線の傾きが、容認されている直近の傾きに一致すれば、この適合曲線は容認可能であり（道路境界を指示しており）、プロセスはステップ１２４ａに進む。そうでない場合には、これらのＭＡＤ勾配の位置は、道路境界を表わしておらず、プロセスはステップ１２２ａに進む。
【００５８】
ステップ１２２ａ〜１２２ｃ：ＭＡＤ勾配の平均の大きさを超過する大きさを有するＭＡＤ勾配の位置を選択し、それらの位置に適合させた曲線のχ2および傾きをチェックすることによって、それらの位置が並んでいるか否かを決定する。「ＹＥＳ」の場合には、その適合曲線は容認可能であり（これらのＭＡＤ勾配の位置は道路境界を表わしており）、プロセスはステップ１２４ａに進む。そうでない場合には、これらのＭＡＤ勾配の位置は、道路境界を表わしておらず、したがって、これらの位置を含んでいる画像フレームは空フレーム（標識も境界も見出されなかった）であり、プロセスはステップ１２３ａに進む。
【００５９】
ステップ１２３ａ〜１２３ｄ：現在の画像フレームは空フレームであるから、最後の、空フレームでない画像フレームの時点からの走行距離（空区間）は増大しており、空フレームのカウントもインクリメントしている。空区間が長すぎる（例えば約３０メートル）ということ、または空フレームが多すぎる（例えば通常の走行速度で約１０画像フレーム）ということは、システムが、長い期間、車線区分線または境界を見出していないということを意味する。その結果、システムは、探索モードに戻る〔追跡モードと探索モードとのどちらにおいても、システムは、上述のステップを用いて標識をチェックするが、それらの間の違いは、追跡モードにおいては、システムは、探索モードにおけるよりも画像のより小さなエリア（ＲＯＩ）をチェックするということである〕。
【００６０】
ステップ１２４ａ、１２４ｂ：車線区分線または道路境界を表わす、容認可能な適合曲線を備えた１つ以上の画像標識フィーチャが検出されている。標識点に適合させた曲線の傾き（または、より一般的には係数）が記憶され、以前の他の係数値と平均化される。平均化された（またはフィルタ処理された）係数値が、直近の傾きのテストと同様に、近似性に関して、次の画像フレームをテストするために用いられる。空フレームがある場合には、後にさらに論じるように、傾きおよび／または係数の近似性に関する要件は緩められる。
【００６１】
ステップ１２５：車線区分線が検出されたら、検出された画像標識フィーチャ全ての幅を取り出して、それらの幅をメートルに変換し、平均化し、ノイズを除去するために、その平均をローパスフィルタに通す。１つの画像行に２つ以上の画像標識フィーチャ候補が見出された場合には、フィルタ処理された平均車線幅が、単一の画像標識フィーチャ候補を選択するために用いられる。システムは、各画像行において、勾配ピークおよび勾配バレーを検出する。１つの画像行に、２つ以上の勾配ピーク−勾配バレー対が存在し、複数の勾配ピーク−勾配バレー対の勾配ピーク−勾配バレー間隔が、最小標識幅限界より大きく、かつ最大標識幅限界より小さい範囲にある場合があるかもしれない。その場合には、システムは、それらの複数の勾配ピーク−勾配バレー対の中で、容認されている直近の車線区分線幅に最も近い勾配ピーク−勾配バレー間隔を有する、ただ１つの勾配ピーク−勾配バレー対を選択する。現在の画像フレームにおいて、２つ以上の勾配ピーク−勾配バレー対の勾配ピーク−勾配バレー間隔が、容認されている直近の勾配ピーク−勾配バレー間隔と一致する場合には、最近接勾配ピーク−勾配バレー対が選択される。最近接とは、予想される標識位置に対して最も近いことを意味している。
【００６２】
ステップ１２６：次の画像フレームのための関心領域を決定する。次の画像フレームにおいて、関心領域がどこになるかを決定するために、カルマンフィルタを用いることができる。カルマンフィルタの詳細については、非特許文献１を参照されたい。関心領域（窓）の横方向のサイズは、車線区分線または道路境界の位置がわかっている場合には狭くされ、車線区分線または道路境界の位置がわかっていないか、または不確実である場合には広くされる。カルマンフィルタは、この不確実さの程度を、その共分散行列で表わす。関心領域ＲＯＩ−ＬおよびＲＯＩ−Ｒ（図３Ｂ）は、常に、最小標識幅の少なくとも４倍の幅を有する。関心領域は、次の画像フレームにおいて標識があるであろうと予測（予想）される領域に配置される。探索モードにおいて、標識がまだ見出されていない場合には、標識を探し出すことができるように、関心領域は、デフォルト位置に最大幅で配置される。
【００６３】
ステップ１２７：任意選択的に、ダッシュ−ギャップタイプ標識のダッシュの開始位置および終了位置を学習して、ダッシュ間のギャップ内の、標識片もどきのものを排除する（それが存在した場合に）補足ステップを含んでいてもよい。これはダッシュ−ギャップタイプ標識の特性解析と呼ばれ、１つの画像フレームにおいて学習されたダッシュ／ギャップパターンが、次の画像フレームに適用される。このステップは、ステップ１０９とステップ１１０との間で行ってもよい。
【００６４】
上記の諸ステップにおいて、画像フレーム間で、係数が十分によく一致するということは、連続する画像フレーム間において、大きな変化は生じていないということを意味する。特に、例えば直線適合が、画像フレームｕ、およびｖ画像フレーム後の画像フレーム（ｕ＋ｖ）において行なわれると、画像中の標識は、次のように記述することができる。
ｒ ＝ ｍ（ｕ）＊Ｗ ＋ ｂ（ｕ）
ｒ ＝ ｍ（ｕ＋ｖ）＊Ｗ ＋ ｂ（ｕ＋ｖ）
ここで、ｒは標識中の点（ピクセル）の画像行座標、Ｗは標識（または境界）中の点の画像列座標、ｍは標識の傾き、ｂは切片である。（ｕ）は、画像フレームｕにおける量であることを表わしており、（ｕ＋ｖ）は、画像フレーム（ｕ＋ｖ）における量であることを表わしている。
【００６５】
標識の傾きｍおよび切片ｂは、時間の経過とともに変わりうる。係数一致は、次の条件が満足されたときに生じると定義する。
｜ｍ（ｕ）−ｍ（ｕ＋ｖ）｜ ＜ （定数１） ＋ （ｖ−１）＊（定数２）
【００６６】
この不等式の右辺は、ｖの増加につれて増加する。したがって、時間的に隔たった（ｖ画像フレーム隔たった）２つの画像フレーム間の傾きの差（｜ｍ（ｕ）−ｍ（ｕ＋ｖ）｜）は、時間間隔の増加につれて増加することができる。（定数１）および（定数２）は、ともに正の量である。（定数１）（例えば０〜１の範囲にあり、好ましくは０．１〜０．３の範囲にある）は、連続する２つの画像フレームの間で容認可能な最大傾き差であり、（定数２）（例えば０〜１の範囲にあり、好ましくは０．０１〜０．１の範囲にある）は、ｖの増加につれて増加する、傾き差の不確実さの程度を反映するような大きさに設定される。
【００６７】
用いている線適合の妥当性をチェックするために、上述の係数一致テストおよびχ2テストが、検出プロセス１００（図２Ｂ〜２Ｄ）において用いられる（すなわちステップ１１１、１１３ｂ、１１５ｂ、１１７ｂ、１１８ｃ、１１９ｂ、１２０ｃ、１２１ｃ、１２２ｃ）。次に、検出プロセス１００のステップを実行する一例について、詳細に説明する。
【００６８】
画像前処理（ステップ１０１〜１０６）
ステップ１０１および１０２の実行
図３Ｂに示すように、ピクセルのグレーレベル勾配および平均絶対偏差の決定が遂行される台形形状の関心領域（ＲＯＩ）すなわち窓が、画像３内に識別される。画像３の台形形状の各ＲＯＩは、道路４上の平行四辺形形状に対応している（例えば関心領域ＲＯＩ−ＬおよびＲＯＩ−Ｒは、それぞれ図３Ｃに示されている道路４上の、横方向に３〜４メートル離して配置されている平行四辺形１６０Ｌおよび１６０Ｒに対応している）。各平行四辺形は、約０．７〜２．３メートルの幅、約１４メートルの長さ、ビデオカメラ１から約６メートルの距離にある下側エッジ、およびビデオカメラ１から約２０メートルの距離にある上側エッジを有している。幅Ｗｔおよび高さＨｔで与えられる、画像３中の各ＲＯＩのサイズは、その内部の画像標識フィーチャ７Ｌ、７Ｒの予想される位置における誤差を受け入れるほどに十分に大きい。画像標識フィーチャ７Ｌ、７Ｒの大まかな位置がわかっていない場合には、関心領域（すなわち窓）の幅が、最大のサイズにされる。
【００６９】
一例において、各ＲＯＩは、道路上の平行四辺形形状の領域に対応している。この平行四辺形形状の領域は、標識８Ｌまたは８Ｒの最小標識幅の少なくとも４倍の広さ（最大で２．３メートルの広さ）を有している。幅上限は、計算容量によって制限される。各ＲＯＩは、ビデオカメラの左側（または右側）約０．７メートルから始まって、外側に約３メートル広がる、道路４上の距離にわたっており、道路幅および車両幅の大部分をカバーする。関心領域ＲＯＩ−ＬおよびＲＯＩ−Ｒの幅は、標識の探索モードにおいて最大になり、標識の追跡モードでは、より小さくなる。標識の追跡モードにおける幅は、画像における標識の横方向の位置を予測する際の不確実さの程度に依存する。関心領域は、初期状態において、画像における、道路の消失点ＶＰに関して対称に配置される。追跡モードにおいては、現在の画像フレームのＲＯＩ内に、標識または境界が検出されている。したがって、次の画像フレームのＲＯＩは、現在の画像フレームの標識または境界の位置に基づいて、次の画像フレームにおいて、標識または境界が存在すると予想される領域に配置される。
【００７０】
ステップ１０３および１０４の実行
図３Ｄに示すように、ＲＯＩ内のピクセルｐの各画像行（画像行座標ｒ）が走査され、ピクセルのグレーレベル（ＧＬ）が、各画像行座標ｒの各画像列座標Ｗに対して計算される。次に、各画像行において、隣接ピクセル間のグレーレベル勾配（ＧＬＧ）が抽出される。勾配ピーク（ＧＰ）と勾配バレー（ＧＶ）との間のピクセルの幅ｄ１が、最大幅値（Marking_Width_Min）と最小幅値（Marking_Width_Max）との間にある場合には、勾配ピーク−勾配バレー対（ＧＰ−ＧＶ）の間のピクセル位置に、画像標識フィーチャが見出される可能性がある。車線区分線は、背景より明るいから、標識に入るときに、グレーレベルは、より明るくなり(正の勾配)、標識から出るときに、グレーレベルは、より暗くなる(負の勾配)。適切な間隔で隔たった正の勾配と負の勾配（勾配ピークと勾配バレー）が捜される。それは、画像標識フィーチャ（この場合には車線区分線フィーチャである）７Ｌ、７Ｒの一部分すなわち断片である可能性がある。
【００７１】
上記のプロセスにおいて、ＲＯＩ内の、複数のピクセルｐから成る画像行セグメントｒｓのグレーレベルピクセルに、ローパスフィルタを適用することが好ましい。ローパスフィルタ処理によって、画像ノイズが減少する。図４を参照すると、例えば移動平均フィルタが用いられ、画像行セグメントｒｓ中の隣接し合うピクセルｐの値が足し合わされて、（局所的に）平均される。各ステップにおいて足し合わされるピクセルの数は、フィルタ長と呼ばれる。ローパスフィルタ長は、ピクセル数で表わされた、画像内に配置されている画像標識フィーチャの最小幅値（Marking Width Min）に等しい。
【００７２】
ステップ１０５の実行
次に、勾配値（ＧＬＶ）を決定するために、ローパスフィルタ処理されたピクセル値に対して、微分操作が行われる。微分をとるピクセルを飛ばして、その前後のピクセルの間の差分をとる中央差分法の方が、前方差分法や後方差分法より精度が高いから、中央差分法が用いられる。例えばフィルタ長が３ピクセルであり、７つのピクセルｐから成るピクセルシーケンスに対するピクセルグレーレベル値が、ｘ１、ｘ２、ｘ３、ｚ１、ｙ１、ｙ２、ｙ３である場合には、ピクセルｚ１における、ローパスフィルタ処理された勾配値は、（ｙ１＋ｙ２−ｘ２−ｘ３）／６になる。勾配値は、フィルタ長３と、中央差分に伴う因数２とを乗算した６で正規化される。
【００７３】
ステップ１０６の実行
ＲＯＩ内のピクセルｐの平均背景勾配値が算定される。標識エッジ候補を検出するために用いられた平均背景勾配値は、次の画像フレームにおける関心領域に対する勾配閾値を決定するために用いられる。各ＲＯＩにおける背景勾配値は、勾配ピークおよび勾配バレーを排除した後に残る勾配値の平均として計算される。各ＲＯＩは、標識およびその周辺の局所的なエリアしかカバーしておらず、標識は、単一の線として形成されている(一代替方策として、複数の実線を検出するために用いられる）という事実によって、ＲＯＩ内に見出される、強度が最も大きな勾配を有するエッジのほとんどは、画像標識フィーチャ７Ｌ、７Ｒのエッジに一致しており、背景の一部ではない。
【００７４】
したがって、ＲＯＩの各画像行（画像行座標ｒ）において、近接していない２つの大きな勾配（勾配最大すなわち勾配ピーク）、および近接していない２つの小さな勾配（勾配最小すなわち勾配バレー）の位置が検出されると、それぞれのうちの一方を標識に属するものとし、他方をノイズに属するものとすることができる。ローパスフィルタ処理することによって、ピクセル強度は、多かれ少なかれ弱められ、したがって、勾配エッジは鈍らされる。すなわち、ローパスフィルタは、各勾配最大位置または勾配最小位置から左側または右側に、ローパスフィルタ長の範囲内にあるピクセル位置の勾配に作用を及ぼすことができる。そこで、勾配最大位置および勾配最小位置の各々から出発して、画像行に添って左側および右側に、勾配最大値および勾配最小値を排除して、ローパスフィルタ長まで達するか、ゼロ勾配に達するか、どちらか先に達成されるまで進む。各画像行において、残余の勾配の絶対値が合計され、また勾配の数が数え上げられて、その画像行における背景勾配の総量および総数が算出される。ＲＯＩ内の全ての画像行における背景勾配の総量および総数が合計されて、そのＲＯＩにおける背景勾配の総量および総数が算出される。
【００７５】
次に、ＲＯＩにおける平均背景勾配値（すなわち、勾配閾値）が、背景勾配の総量と背景勾配の総数との比として決定される。この比に、ある定数（通常、ほぼ３．０）を掛けて、勾配閾値を得てもよい。この勾配閾値は、次の画像フレームにおいて、有意な勾配量を決定するために用いられる（検出プロセスが開始する初期状態においては、最初の道路画像に有意の勾配値を検出するために、デフォルト勾配閾値を用いてもよい）。図５Ａを参照して後に説明するように、任意選択に、ＭＡＤおよびその勾配を、前処理中に適宜計算することができる。
【００７６】
車線区分線または境界の候補点の特定（ステップ１０７〜１０９）
ステップ１０７の実行
ＲＯＩの各画像行を、左から右に横切って、連続する各勾配ピークと勾配バレーの位置を検出する。勾配値が勾配閾値以上であり、かつすぐ右側の位置の勾配値以上である位置が、勾配ピークの位置であると決定される。勾配値が、勾配閾値の負数以下であり、かつすぐ右側の勾配値以下である位置が、勾配バレーの位置であると決定される。
【００７７】
現在の画像の各画像行を、ビデオカメラ（すなわちイメージャ）から受けたときにすぐに処理することができるようにするために、計算されていた直近の勾配閾値が、現在の画像フレームに適用される。また、現在の画像フレーム中に計算された勾配閾値が、次の画像フレームに適用され、そして以下同様に繰り返される。それに代えて、勾配閾値を、同じ画像フレームにおいて計算して用いてもよい。この代替例においては、ＲＯＩ全体のピクセル値が、標識／境界検出処理ステップの前に利用可能になっている必要があり、また計算効率が低くなる。
【００７８】
ステップ１０８、１０９の実行
各画像行の勾配ピークおよび勾配バレーを特定した後、次のアクションには、各画像行において左から右に進んで、左側の正の勾配（勾配ピーク）と右側の負の勾配（勾配バレー）とを一対化するステップが含まれる。標識幅の上限および下限（ピクセル数に変換したMarking_Width_MaxおよびMarking_Width_Min）を通じて、勾配対（すなわち、勾配ピーク−勾配バレー対）が、対を形成している勾配ピークと勾配バレーとの間で適切な幅ｄ１を有しているか否かを決定することができる。適切な幅を有していれば（すなわち、勾配対が、最小でもMarking_Width_Min、最大でもMarking_Width_Maxである幅ｄ１を有していれば）、その勾配対は、画像標識フィーチャによるものである可能性がある。道路境界位置に関しては、道路境界は、単一のエッジである（すなわち、車線区分線におけるように２つのエッジが対になっていることはない）から、勾配は、一対化されることはなく、正符号のグループと負符号のグループとに分けられている。
【００７９】
十分な強度を有し（すなわち、絶対値が勾配閾値より大きい）、かつ適切な間隔を有する（すなわち、Marking_Width_Min ＜ ｄ１ ＜ Marking_Width_Maxである）勾配対は全て、ＲＯＩ内の画像の各画像行（画像行座標ｒ）において特定される。１つの画像行に複数の候補勾配対が存在する場合には、最良の候補を選ぶための選択手続きが適用される（候補勾配対は、全ての勾配ピーク−勾配バレー対から形成される）。ＲＯＩ中の画像標識フィーチャ７Ｌまたは７Ｒに対して予測される標識幅（前の画像フレームから検出された）と最も良く一致する幅ｄ１を有する候補勾配対が選択される（前の画像フレームにおいて標識が特定されていない場合には、予測される標識幅はデフォルト幅である）。画像標識フィーチャ７Ｌまたは７Ｒが、１つの画像フレームから次の画像フレームに追跡されていくとき、予測される標識幅は、追跡されている標識において以前に容認された検出幅の平均をローパスフィルタ処理することによって決定される。複数の候補勾配対が、以前の幅を用いた基準に対して、同じように一致した場合には、予測される標識中心位置に最も近い中心位置を有する候補勾配対が選択される。
【００８０】
このプロセスが、ＲＯＩ内の全画像行にわたって繰り返され、各画像行から、多くても１つの候補勾配対が、検出された画像標識フィーチャとして特定される。次いで、最適適合回帰曲線を見出すために、特定された候補勾配対（すなわち候補点）のうちの内側エッジ点（ピクセル）の位置は、多項式最小二乗適合または多項式最小中央値適合において用いられる。内側エッジ点の位置に加えて、検出された車線区分線の画像標識フィーチャにおいては、左側および右側の内側エッジの勾配量、道路境界の画像標識フィーチャにおいては、単一のエッジの勾配値が記憶される。車線区分線の画像標識フィーチャにおいては、さらに、左右の車線区分線エッジ間の平均輝度が記憶される。後に、例えば候補点を、車線区分線または道路境界に組み立てるときに、これらの情報を用いることができる。
【００８１】
曲線適合による、候補点からの車線区分線の検出（ステップ１１０〜１１５ｂ）
ステップ１１０、１１１の実行
ＲＯＩの各画像行で検出された候補点に適合曲線を通すことによって、車線区分線または道路境界を組み立てる。曲線（すなわち回帰曲線）が、十分に小さなχ2量を有しており（したがって、曲線が十分に適合しており）、現在の曲線が、容認されている直近の適合曲線の係数と一致する係数を有している場合には、その回帰曲線は、車線区分線または道路境界を表わすものとして容認される。回帰曲線が容認されなかった場合には、候補点の異なるサブセットに、曲線適合を複数回試みる必要がある場合もある。
【００８２】
ステップ１１２、１１３ａ、１１３ｂの実行
曲線のχ2量が大きすぎる（すなわち、χ2閾値より大きい）か、または曲線係数（傾き）が、容認されている直近の曲線係数（傾き）に近似してしない場合には、候補点のサブセットが選択され、このサブセットに、曲線適合プロセスが行われる。車線区分線検出においては、サブセットは、二通りに形成される。第１のやり方においては、考慮している勾配の大きさの平均を超過する、勾配の大きさを、どちらの候補勾配も有する候補勾配対だけが選択される。これによって、最大強度のエッジ点を有する候補勾配対(大きな勾配の勾配対から成る候補点）だけが用いられる。このやり方によって、十分に小さなχ2を有する適合曲線を得ることに成功すれば、現在の適合曲線の係数が、容認されている直近の適合曲線の係数と比較される。
【００８３】
ステップ１１４、１１５ａ、１１５ｂの実行
大きな勾配の勾配対から成る候補点が、χ2閾値テストおよび係数一致テストで落とされた場合には、次に、最大輝度のピクセル群を、間に挟んでいる勾配対が、曲線適合のために選択される。最大輝度のピクセル群とは、全ての勾配対の間の全てのピクセルの輝度値の平均より大きな平均輝度値（グレーレベル）を備えたピクセル群として定義される。これが成功した場合には（この場合、χ2は容認可能である）、次いで、現在の回帰曲線（適合曲線）の係数が、容認されている直近の適合曲線の係数と比較される。係数一致が容認された場合には、現在選択されている候補点は、車線区分線の画像標識フィーチャを表わしている。したがって、曲線適合は３回試みられている（１回目は、全勾配対の位置に基づいてなされ、２回目は、平均勾配より大きな勾配を有する勾配対から成るサブセットに基づいてなされ、３回目は、平均ピクセル輝度より大きな平均輝度を有するピクセル群を間に挟んでいる勾配対から成るサブセットに基づいてなされている）。
【００８４】
車線区分線検出のための３つの回帰曲線処理の全てが成功しなかった場合には、道路境界検出のための探索が実行される。これは、車線区分線が画像中に見出されなかった場合でも、まだ、道路境界の位置を示す単一の勾配が存在するかもしれないからである。したがって、以下に示す、道路境界の位置に対する処理に関する次段階は、車線区分線が見出されなかったときにのみ実行される。
【００８５】
曲線適合による、候補点からの道路境界の検出（ステップ１１６〜１２３ｄ）
ステップ１１６、１１７ａ、１１７ｂの実行
道路境界検出においては、正の勾配と負の勾配の位置が、多項式最小二乗適合または多項式中央値適合に、別々に用いられる。これは、単一の画像フレームの道路−非道路境界は、境界の視認可能な全長にわたって、同じ符号の勾配を有するということを、無理なく予想することができるからである（例えばコンクリートから草地に遷移する境界が存在する場合には、画像全体にわたって明から暗に遷移し、境界における勾配は負になるであろう）。最初の試みは、正の勾配値と負の勾配値のうちで、より多く存在する方の勾配値の位置に曲線を適合させることである（例えばほとんど負の勾配だけが存在する場合には、境界点候補の特定において、相当数の負の勾配の位置に沿って、曲線を適合させる）。同数の正の勾配値と負の勾配値が存在する場合には、最初に、負の勾配値の位置が用いられる。適合曲線（回帰曲線）のうちのいずれかが、十分に小さなχ2量を有しており（したがって、その適合曲線はデータとよく適合している）、かつ容認されている直近の適合曲線の係数にほぼ等しい係数を有している場合には、その現在の適合曲線（回帰曲線）が、道路境界を表わしているとして容認される。道路境界として検出されるためには、勾配量は、周囲状況に関係なく、単純に１つの閾値（例えば８グレーレベル）を超過していなければならない。
【００８６】
ステップ１１８ａ〜１１８ｃの実行
道路境界検出のための、勾配の回帰曲線の適合測定においてχ2の大きさが大きすぎる〔閾値（例えば２．０）に対比して決定される〕か、または回帰曲線の係数が、容認されている直近の係数に近似していない場合には、考慮している全勾配の大きさの平均値を超過する大きさを有する勾配のみを選択し、それらの選択された勾配から成る、勾配のサブセットを用いる（車線区分線検出プロセスにおけると同様に）。この勾配のサブセットに、容認可能なχ2を有する１つの曲線を適合させることができた場合には、その適合曲線の係数が、容認されている直近の適合曲線の係数とほぼ同じであるか否か、比較される。
【００８７】
ステップ１１９ａ〜１２３ｄの実行
この現在の適合曲線が、上記と同様の、係数に関するテストで落ちた場合には、プロセスは、最初に、数の少なかった方の符号の勾配の位置全部を取り上げ、次に、必要に応じて、勾配の平均の大きさを超過する大きさを有する勾配から成るサブセットを取り上げるように進む。
【００８８】
最初に、少数であった方の符号の勾配の全位置を、１つの曲線に適合させたとき、それらの位置は並ぶか否かが決定される（すなわち、χ2が十分に小さいか否か、またこの適合曲線の傾きが、容認されている直近の傾きとほぼ一致するか否かが決定される）。「ＹＥＳ」であった場合には、少数であった方の符号の勾配の位置が、道路境界に対応している。
【００８９】
χ2が大きすぎるか、または適合曲線の傾きが、容認されている直近の傾きに近似してしない場合には、少数であった方の符号の勾配の位置のサブセットが選択され、このサブセットの勾配の位置を１つの曲線に適合させたときに、ほぼ並ぶか否かが決定される（すなわち、χ2が十分に小さいか否か、またこの適合曲線の傾きが、容認されている直近の傾きとほぼ一致するか否かが決定される）。「ＹＥＳ」であった場合には、このサブセットは、道路境界を示している。このサブセットは、少数であった方の符号の全勾配の平均の大きさを超過する大きさを有する、少数であった方の符号の勾配の位置の集合である。
【００９０】
このサブセットの勾配の位置さえ、十分よく並ばなかった場合、または適合曲線の傾きが、容認されている直近の傾きと一致しなかった場合には、次に、プロセスは、画像中に測定される平均絶対偏差（ＭＡＤ）を用いたさらなる分析に進む。大きさの閾値を超過する大きさを有するＭＡＤ勾配の位置を見出すことで、この分析を開始してもよい。これらの位置に、１つの曲線を適合させたときに、χ2および適合曲線の傾きに基づいて、これらの位置が、並ぶか否かが判定される。χ2が十分に小さく、かつこの適合曲線の傾きが、容認されている直近の傾きと一致すれば、この適合曲線は容認可能である（道路境界を示している）。
【００９１】
これらの位置が十分よく並ばなかった場合、または適合曲線の傾きが、容認されている直近の傾きと一致しなかった場合には、次に、ＭＡＤ勾配の平均の大きさを超過する大きさを有するＭＡＤ勾配の位置を選択し、それらの位置に対する適合曲線のχ2および傾きをチェックすることによって、それらの位置が、並ぶか否かを判定する。「ＹＥＳ」の場合には、その適合曲線は容認可能である（これらの位置は、道路境界を表わしている）。
【００９２】
そうでなかった場合には、現在の画像フレームは「空」フレームであり、標識も境界も見出されていない。したがって、最後の、空フレームでない画像フレームの時点からの走行距離（空区間）が増加しており、空フレームのカウントもインクリメントしている。空区間が長すぎるということ、または空フレームが多すぎるということは、システムが、非常に長い期間、車線区分線や境界を見出していないということを意味している。したがって、システムは、最大幅の関心領域を用いて、その探索モードに戻る。システムは、探索モードにいることもできるし、追跡モードにいることもできることに注意されたい。
【００９３】
ＭＡＤ処理
道路と、道路を越えている部分とが、近似的に等しい平均グレーレベルまたは色を有していることはあり得ることである。これは、平均グレーレベルまたは明度を比較することによって、道路と、道路を越えている部分との間の遷移領域を識別することはほとんどできないということを意味している。したがって、この低い識別可能性のために、曲線適合（多項式適合）に利用可能な十分な数の点を得ることができなくなるか、または境界に関係ない余分で無秩序な点によって、良質な曲線適合を行うことができなくなる。このような場合には、ステップ１０４において、隣接し合うピクセルのグループの平均絶対偏差（ＭＡＤ値）が比較され、それによって、単純なテクスチャ比較が行なわれる。図５Ａの例に示されているように、局所平均を利用可能な場合には、ＭＡＤを計算するために、最初に、平均値を差し引く必要がある（例えば移動平均ローパスフィルタ処理後の前処理中に行われる）。ＭＡＤを得るために、和（｜Ｐ｜＋｜Ｑ｜＋｜Ｒ｜）が、フィルタ長（この例では、３である）で割られる。各画像行において、ＭＡＤを計算するために用いるピクセル数は、フィルタ長に等しい。したがって、ローパスフィルタ処理と、ＭＡＤ計算とを容易に結びつけることができる。さらに、ステップ１０５において、各ピクセル位置で、ＭＡＤ値が生成される。道路エッジを越えたエリアは、道路と異なるテクスチャを有するであろうから、画像の道路エリアと非道路エリアとは、相異なるＭＡＤ値を有するであろう。ＭＡＤ値は、車線区分線を見出すために用いられた中央差分などの数値微分係数と比較され、相異なる２つのテクスチャの境界に対応する、差の閾値を超過する差を有する位置が記憶される。各画像行においてＭＡＤ値を計算した後の前処理中に、数値微分を行なうことができる。上述と同じ中央差分操作を、車線区分線検出の場合と同様に、ＭＡＤ値の計算においても用いることができ、それと適宜に組み合わせることができる。図５Ｂは、車線境界標識を含んでいる車道の画像を示しており、図５Ｃは、図５Ｂの画像をＭＡＤフィルタに通した後の、ＭＡＤ画像における勾配を示している。ＭＡＤフィルタ処理することによって、道路エリアおよび車線区分線エリアは、一般に、相対的に低いＭＡＤ値（暗色）を有するようになり、車線区分線のエッジは、一般に、相対的に高いＭＡＤ値（明色）を有するようになる。
【００９４】
さらに、ステップ１２１ａにおける比較は、単純な閾値を用いて行われる。その閾値を超過する大きさを有するＭＡＤ勾配の全ての位置が記憶される。このような位置は、例えばアスファルトと草地との間の境界に存在し得るテクスチャの局所的変化に対応する。このテクスチャは、画像において認識可能でなければならず、かつビデオカメラによって解像されなければならないから、この方法は、一般に、ビデオカメラ近傍で最もよく働く。さらに、ステップ１２１ｃにおいて、閾値を超過する大きさを有するＭＡＤ勾配の位置に適合させた最小二乗曲線が、容認可能な結果を与えた場合には、その最小二乗曲線の係数が、容認されている直近の最小二乗曲線の係数と比較される。妥当性の判定の主要件（適合曲線のχ2および係数で判定される）が満たされない場合には、ステップ１２２ａにおいて、ＭＡＤ勾配の平均の大きさを超過する大きさを有するＭＡＤ勾配の位置だけが、上述の３段階式と同様に、候補点に対する２番目のデータ適合の試みのために用いられる。適合曲線の適合度および容認されている直近の適合曲線の傾きとの一致度が、上述と同様にテストされる。
【００９５】
このように、データに対する最大９つまでの複数の試みを組み合わせることによって、また複数のタイプのデータを用いることによって、路面標識または境界を見出す尤度が増す。したがって、この方法は、従来の方法より優れている。
【００９６】
移動平均フィルタ長
移動平均フィルタ長は、最小画像標識フィーチャサイズから始めて、標識モデルベースの機能４３（図２Ａ）によって決定される。標識に対する１つのモデルを適用し、このモデルに一致する、道路画像の部分（ＲＯＩ窓内の）を見出すことによって、標識は見出される。このモデルは、標識の既知の最小寸法および最大寸法、周期性（ダッシュ−ギャップタイプ標識における）、および背景に対するコントラストを利用する。標識は、直線に近いと仮定する。そうすると、標識候補点（ピクセル）に適合させた直線は、実際の標識形状とよく一致する。ただし、これは必要不可欠なことではない。最初のステップは、標識８Ｌ、８Ｒの道路上の寸法を、画像面内の対応する画像標識フィーチャ７Ｌ、７Ｒの寸法に変換することである。
【００９７】
現実の標識８Ｌ、８Ｒのサイズおよび周期性は、ビデオカメラの焦点距離ＦＬ、および道路４に対するビデオカメラの高さｈに基づいて、画像面２０１内の対応する画像標識フィーチャ７Ｌ、７Ｒのサイズおよび周期性に変換される（図６Ａ）。具体的には、ビデオカメラ１の傾斜角α、ビデオカメラ１の高さｈ、道路４上の点２０３（Ｐ）までの、ビデオカメラの前方の縦方向距離（ｘ＝ｄ）、垂直方向ピクセルサイズＶｐ、焦点距離ＦＬ、および画像面内の画像行座標ｒ（光軸２０５に相対的に測った）の間の関係は、数１によって記述される。
【数１】
【００９８】
さらに、画像行座標ｒおよび画像列座標Ｗのピクセルｐ〔水平方向ピクセルサイズＨｐおよび垂直方向ピクセルサイズＶｐ（図６Ｂ)〕は、次のように、前方道路上の横方向距離ｙ（図３Ａ）の点を映し出す。
Ｗ ＝ ｙ＊（ＦＬ2＋ｒ2＊Ｖｐ2）1/2／Ｈｐ＊（ｈ2＋ｄ2）-1/2 （２）
この式を書き換えると、次のようになる。
ｙ ＝ Ｗ＊Ｈｐ＊（ｈ2＋ｄ2）1/2／（ＦＬ2＋ｒ2＊Ｖｐ2）1/2 （３）
【００９９】
画像行座標ｒおよび横方向距離ｙは、ビデオカメラ１の光軸、またはビデオカメラ１の光軸を前方道路上に垂直に投影した直線に相対的に測定される。
【０１００】
横方向距離ｙを最小標識幅にとると、標識点までの距離が知れれば、ビデオカメラの前方の縦方向距離ｄが決定され、次に、最小標識幅に対応する画像標識フィーチャ内に存在するピクセル数を表わす画像列座標Ｗが決定される。ピクセル数は、ビデオカメラの前方の縦方向距離ｄに応じて、したがって、画像面上で、それに対応する画像行座標ｒに応じて変化する。垂直方向のピクセルサイズと水平方向のピクセルサイズとは、互いに異なっていてもよい。
【０１０１】
最小標識幅に対応する画像標識フィーチャ内に存在するピクセル数が決定されると、ピクセル数を単位とした適切な大きさでフィルタ処理することによって、より小さな（ピクセル数の少ない）画像標識フィーチャは、考察から取り除くことができる。標識の幅に対応するピクセル数は、ビデオカメラから標識までの距離〔投影距離（ＰＤ）〕に応じて変化することに注意されたい。例えば図７の例に示されているように、同じサイズの標識８Ｌまたは８Ｒが、ビデオカメラから遠いところでは、画像上で相対的に少ないピクセルしか占めず、ビデオカメラから近いところでは、相対的に多いピクセルを占める。言い換えると、一定の最小標識幅に対して、画像の頂近傍の画像行においては、画像の底近傍の画像行などにおけるよりも短い移動平均フィルタ長が用いられる。したがって、最小標識幅から計算される移動平均フィルタ長は、画像中の画像行の位置に応じて変化する。標識幅が同じであっても、上方の画像行（道路上では遠方）においては、下方の画像行（道路上では近傍）におけるよりも短い移動平均フィルタ長が用いられる。
【０１０２】
係数一致
上述したように、候補点（ピクセル）への適合直線に対する容認（妥当性）テストは、適合直線の傾きの長期にわたる連続性（複数の画像フレームにわたる、曲線の係数の近似性）が確立されて、はじめて合格になる。これは、車線区分線または道路境界は、画像において、画像フレームから画像フレームへと急激に方向（傾き）を変更しないからである。
【０１０３】
現在の画像フレームの候補ピクセルに対する適合直線の傾きを、容認されている直近の適合直線の傾きに基づく期待値と比較する。現在の画像フレームｋにおける傾きをｍ（ｋ）で表わし、１回以上継続して容認されている適合直線の傾きをｆｍ（ｋ）で表わすと、現在の適合直線の傾きは、次の条件が満たされたときに容認可能になる。
｜ｍ（ｋ）−ｆｍ（ｋ）｜ ＜ slope_error （４）
【０１０４】
ここで、slope_errorは、どれぐらい多くの画像フレームの前に、容認可能な適合直線の傾きが検出されていたかに基づいて選択される。それが前であればあるほど、その傾きが現在も検出されることは、より不確実になり、より大きなslope_errorが用いられる。図８は、許容可能な傾き誤差、および、その時間経過に伴う増加の一例を示している。時刻ｔＧ〔その時刻まで、容認可能な適合直線の傾きが存在していた（容認可能とは、値がそれ以前の値に近似しているということを意味している）〕と時刻ｔＦとの間で、許容可能な傾き誤差は、最小値Ｍｉｎから最大値Ｍａｘまで、線形に増加する。図８は、さらに、時刻ｔＧおよびｔＦにおいて、予想される画像標識フィーチャ１５２に関して許容可能な傾きの範囲、および１つの候補適合直線／曲線１５０の傾き（一様な係数）が、許容可能な傾きの範囲外にある例を示している。要求される範囲内にある傾きを有する容認可能な適合直線が見出された場合には、新しく容認された測定値がローパスフィルタに通され、以前の測定値と混合されて、フィルタ処理された現在の傾きｆｍ（ｋ）が更新される。このローパスフィルタは、ＩＩＲ（Infinite Impulse Response：無限インパルス応答）タイプであり、更新された傾きｆｍ（ｋ）は、次のように与えられる。
ｆｍ（ｋ） ＝ ａ＊ｆｍ（ｋ−１） ＋ （１．０−ａ）＊ｍ（ｋ）
【０１０５】
データのサブセットにおいてさえ、十分に小さいχ2を有する適合直線が見出されないということはあり得る。さらに、十分に低いχ2を有する適合直線は見出されるが、この適合直線は、上述の傾きの誤差に関する条件式（４）を満たさない（予想される傾きに近似性高く一致する傾きを有する直線にならない）ということもあり得る。どちらの場合においても、このプロセスにおいて、条件式（４）が試される次回において、適合直線の傾きに関する不確実さの増加が考慮に入れられる。その結果、slope_errorは、数２のように、連続する空フレーム数の増加に伴って増やされる。
【数２】
【０１０６】
二次曲線またはより高次の曲線が、勾配算定から見出された候補点に適合した場合には、画像内の直線の傾きに対する上述の条件式（４）に、二次の項（および場合によっては、より高次の項）の変化の大きさを考慮に入れる項目が含められる。二次の項は、画像面において適合させた多項式の曲率に関連しており、許容される係数変化（Allowed change in coefficient）は、数３で記述される。
【数３】
【０１０７】
空フレームの数は、システムが容認可能な境界または標識を見出していない時間と等価である。空フレームおよび空区間の決定および利用の例を、次に説明する。
【０１０８】
空フレーム、空区間のカウント
どれくらい長く、またどの程度に、容認可能な（妥当な）適合曲線が検出されていないかを決定するために、空フレームの数および空区間の長さが更新される。容認可能／妥当であるか否かは、χ2の大きさに基づいて、候補点に対する適合直線の構築に成功した時に、次に、その傾き（係数）の近似性テストに基づいて決定される。図９は、空フレームおよび空区間の測定（カウント）を行う追跡プロセス２００の一例を示している。具体的には、図９は、空フレームおよび空区間のカウントの更新の仕方、および、標識の予想される位置に基づいて、連続する画像フレームにおいて標識を追跡するモードからの、空フレームおよび空区間のカウントが容認可能な限界を越えたときに、画像フレーム中に標識を探索するモードへの移行に対する、カウントの適用の仕方を示している。追跡プロセス２００は、次のステップを含んでいる。
ステップ２０１：現在の画像のＲＯＩ内の候補点（ピクセル）に対して、容認可能なχ2特性を有する適合曲線（または適合直線）を備えた車線区分線／境界候補モデルを見出すことによって、現在の画像フレームにおいて標識を追跡する。
【０１０９】
ステップ２０２：車線区分線／境界候補モデルの傾き（一様な係数）が、以前の画像から予想される傾きの許容可能な範囲内にあるか否かを決定する（図８）。「ＹＥＳ」である場合には、プロセスはステップ２０３に進み、そうでない場合には、ステップ２０４に進む。
【０１１０】
ステップ２０３：空フレームおよび空区間のカウントをリセットする（例えば０に）。次いで、次の画像フレームにおいて標識を追跡するために、プロセスはステップ２０１に戻る。
【０１１１】
ステップ２０４：空フレームのカウントを１だけインクリメントし、空区間を、車両の走行距離Ｖ＊Δｔだけインクリメントする。ここで、Ｖは現在の車両速度、Δｔ＝（ｔ２−ｔ１）は画像フレーム継続期間である。
【０１１２】
ステップ２０５：最大容認可能な空フレーム値または空区間値に到達しているか否かを判定する。「ＹＥＳ」である場合には、プロセスはステップ２０６に進み、そうでない場合には、次の画像フレームにおいて標識を追跡するために、ステップ２０１に戻る。
【０１１３】
ステップ２０６：追跡モードを停止／中止し、次の画像フレームにおいて、標識／境界の探索モードに入る。
【０１１４】
追跡プロセス２００によれば、容認可能な適合曲線が存在しない全ての画像フレームに対して、空フレームのカウントは１だけインクリメントされる。容認可能な適合曲線が見出されたときには、空フレームのカウントは、０にリセットされる。同様に、容認可能な適合曲線が存在しない全ての画像フレームに対して、空区間は、直前の画像フレームにおいて車両が道路上を走行した距離（現在の車両速度＊画像フレーム継続時間）だけインクリメントされる。容認可能な適合曲線が見出されたときには、空区間は、０にリセットされる。
【０１１５】
追跡プロセス２００は、空フレーム値および空区間値を更新するステップ、およびいずれかの値が大きくなりすぎた場合には、追跡を中止するステップを含んでいる。追跡が中止された場合には、システムは探索モードに戻り、それ以前の画像における標識検出に基づく、標識の予想位置に頼ることなく、標識を新たに探索するために、境界／標識を見出すための窓すなわちＲＯＩを、その最大サイズおよびデフォルト位置に戻す。
【０１１６】
次に、車線区分線および道路境界の検出に対する、さらなる精度向上を説明する。第１に、境界検出領域の横方向位置および幅の精度を向上させることができる。第２に、上述の基本的な標識検出を改善するために、ダッシュ−ギャップタイプ車線区分線の周期性を考慮に入れることができる。
【０１１７】
境界検出領域（ＲＯＩ）の横方向位置および幅
この精度向上は、関心領域横方向設定モジュール３４（図２Ａ）によって実行され、画像の左端／右端に相対的に、画像３内のＲＯＩの水平方向の位置および幅が決定される（全て、ピクセルを単位として）。次に説明するように、道路境界は、道路画像内のＲＯＩの２種類のサイズにおいて探索される。ＲＯＩのこれらのサイズのどちらが用いられるかは、以前に、上述の空フレームおよび空区間のテストを受けた画像フレームにおいて、境界が検出されていたか否かに関係している。ある画像フレームにおいて、空フレーム値および空区間値が大きくなりすぎている場合には、システムは、次の画像内に標識を検出するためのガイドとして用いることができる、現在の画像のＲＯＩ内に予想される標識の位置を見出していない。この場合には、ＲＯＩのサイズは、最大になるように選択され、またＲＯＩは、長期にわたって平均化された、道路の地平線の消失点ＶＰを通る垂線に関して対称に配置される（図３Ｂ）。最大ＲＯＩにおける標識の検出は、ＲＯＩ内の道路のほぼ中央に位置するように、かつハイウェイ速度で概ね妥当と予想される標識に、ある程度平行になるように行われるのが好ましい。画像３内の両ＲＯＩ（図３Ｂ：ＲＯＩ−Ｌ、ＲＯＩ−Ｒ）間の距離、および各ＲＯＩのサイズは、道路４上の対応する両平行四辺形（図３Ｃ：１６０Ｌ、１６０Ｒ）間の距離が、デフォルト横方向車線区分線間隔（例えば約３．６メートル）となり、道路４上の各平行四辺形の幅が、デフォルト幅（約２．３メートル）となるように選択される。画像標識フィーチャ７Ｌ、７Ｒは、最大ＲＯＩの内部のどこかにあってもよく、一側面上または両側面上にあってもよく、そして、上述の検出プロセス１００によって検出される。図３Ｃは、いくつかの例示的な寸法を簡潔に示している。
【０１１８】
次に、画像標識フィーチャが、現在の画像のＲＯＩ内に検出されると、ＲＯＩ領域のサイズが、その内部の標識ピクセルの位置に関連付けて算出される。これによって、各ＲＯＩのサイズを縮小し、検討の対象からノイズを排除することができる。そのために、次の画像フレームから始まる、それ以降の標識の追跡が改善される。標識検出領域であるＲＯＩは、ＲＯＩ内の予想される画像標識フィーチャ１５２の位置の不確実さの程度（図８）に比例して大きさを定められる。予想される画像標識フィーチャの位置の不確実さの程度は、全ての測定に用いられるカルマンフィルタによって定められる。ＲＯＩの最小可能な幅は、ピクセルで±（最小標識幅の２倍）である、すなわち、路上７．５センチメートルの標準的な最小標識幅に対して、およそ３０センチメートルの路上全幅となる。
【０１１９】
境界検出領域（ＲＯＩ）の縦方向位置
この精度向上は、関心領域縦方向設定モジュール３３（図２Ａ）によって実行される。ＲＯＩ（図３Ｂ：ＲＯＩ−Ｌ、ＲＯＩ−Ｒ）は、画像３において垂直方向に配置され（画像の頂／底に相対的に）、それらの垂直方向の長さは、ビデオカメラ１の前方の近接距離および遠方距離の道路上の位置という観点から、道路上の対応する平行四辺形（図３Ｃ：１６０Ｌ、１６０Ｒ）の縦方向距離に基づいて選択される。最高性能を得るために、道路４上の各平行四辺形の近接エッジ１６２を、ビデオカメラ１に可能な限り近づけることが有利である。その結果、ビデオカメラの景色の不明瞭さがより少なくなり、解像度が最良になり、よりよい検出精度が可能になる。各平行四辺形の近接エッジ１６２は、通常、車両のボンネット端（それが存在すれば）を越えて、約５〜7メートル離れた位置にある。ＲＯＩの近接エッジ（画像３の底に近い）は、道路４上の対応する平行四辺形の近接エッジ１６２の距離に基づいて決定される。
【０１２０】
各ＲＯＩの遠方エッジ（画像３の頂に近い）においては、イメージャのピクセルサイズによって与えられる物理的な限界が存在する。標識が識別可能であるためには、標識は、幅方向に、少なくとも２つのピクセルにわたっていなければならない。ローパスフィルタ処理において、画像内の標識は、少なくとも２つのピクセルにわたって広がっているべきである。そうすると、単一ピクセルのノイズの影響が弱められる（形成することができる最も小規模な平均は、ただ２つの値の平均を見出すことである）。このことが、各ＲＯＩの遠方エッジの、画像３の頂からの距離を制限する。より大きな路上距離における標識の探索は、ピクセルがかなり小さかったとしても、画像内で探索すべき正確な場所に関して不明瞭さを増大させ、不確実さの程度を大きくする可能性があるために、困難になるであろう。したがって、ＲＯＩは、十分に長いけれども、ダッシュ−ギャップタイプ標識の２つのダッシュ間に１つのギャップをはさみ、かつそれらの２つのダッシュの有効長を含む程度に選択するべきである。画像３内の関心領域ＲＯＩ−Ｌ、ＲＯＩ−Ｒの垂直方向の長さ（ピクセルを単位とした）は、対応する平行四辺形１６０Ｌ、１６０Ｒの望ましい縦方向の長さ（例えば平行四辺形１６０Ｌ、１６０Ｒの縦方向の長さは、道路上、約１５メートルであり得る）に基づいて選択される。
【０１２１】
ダッシュ−ギャップタイプ標識の特性解析（ダッシュ−ギャップタイプ標識の学習縦方向モデル）
この精度向上は、ダッシュ−ギャップタイプ標識の特性解析の機能４７（図２Ａ）によって実行される。ダッシュ−ギャップタイプの車線区分線は、ダッシュ間に標識の欠けたエリアすなわちギャップを含むために、確実な情報を、連続車線区分線より少なくしか与えない。この確実性の低下のために、特にダッシュ間のギャップにおいて、検出器が標識に似た他の物体を誤認する可能性が生じる。ダッシュ−ギャップタイプ標識の特性解析の機能４７によって、ダッシュ−ギャップタイプ標識のパターンが学習され（例えばその標識は、５メートルの長さのダッシュ、２メートルの長さのダッシュ間ギャップを有しており、次の画像フレームにおいて、１．３メートル遠方で、次のダッシュが始まる）、次いで、ダッシュ間のギャップ内に存在する、画像標識フィーチャに似た断片が考察から除外される。これによって、標識に似た他の物体が追跡を混乱させ得る状況において、ダッシュの追跡が改善される。
【０１２２】
図１０を参照すると、一例において、ダッシュ−ギャップタイプ標識は、ダッシュ１７０とギャップ１７２との連続として定義される。機能４７によって、測定において空隙からダッシュが特定される。各画像フレームにおける標識検出によって、その画像におけるダッシュ−ギャップパターンが構築される。ダッシュ−ギャップパターンを形成するために、連続する画像行における標識検出結果が、一緒に集められる。各ダッシュの始点および終点の画像行の位置が、ビデオカメラからの道路距離に変換される。ダッシュ−ギャップタイプ標識パターンが、ビデオカメラから、検出された各ダッシュの始点および終点までの距離によって表わされる。
【０１２３】
車両が道路に沿って走行するにつれて、重ね合わされるダッシュ−ギャップタイプ標識パターンが、自動的に蓄積される。連続する２つの画像フレーム間において、車両が走行する距離が分かるから、この重ね合わせは可能である。その走行距離は、（Ｖ＊Δｔ）である。ここで、Ｖは車両速度であり、Δｔは連続する２つの画像フレーム間の継続時間である。図１０に示されているように、以前の画像に示されている標識パターンを、走行距離量（走行距離量は走行時間にわたって累積される）だけ車両側に滑らせ（後ろに移動させ）、現在の画像に示されている標識パターンを組み入れることによって、それらの画像フレームで検出された標識パターンの、走行距離量で補正された時間履歴が蓄積される。その時間履歴は、各ダッシュの始点および終点（したがって、各ギャップの始点および終点）の車道に沿った位置を示している。
【０１２４】
特定のダッシュが、新しい画像で観察されるたびに、その特定のダッシュの始点および終点の位置が、以前に算定されている始点および終点の位置と新しく観察された位置との関数として更新される。各ダッシュの長さＬＤは、そのダッシュの終点から始点までの距離として決定される。各ギャップの長さＬＧは、１つのダッシュの始点から、その前のダッシュの終点までの距離として決定される。ダッシュ−ギャップタイプ標識の特性解析の機能４７の遂行時、ダッシュ−ギャップタイプ標識を検出するプロセスにおいて、所定の最小ダッシュ長および最大ダッシュ長によって定められるダッシュ範囲、および所定の最小ギャップ長および最大ギャップ長によって定められるギャップ範囲が用いられる。定められた範囲外にある間隔が観察された（ダッシュかギャップのいずれかで）場合には、常に、ダッシュ−ギャップタイプ標識が終了していると考える。
【０１２５】
定められた範囲内にある少なくとも３つの間隔（ダッシュ−ギャップ−ダッシュかギャップ−ダッシュ−ギャップのいずれかの）が観察されたときには、その標識は、ダッシュ−ギャップタイプ標識として分類される。このとき、このモデルは、既に、続く画像フレームにおけるダッシュおよびギャップの位置を予測するために利用することができるほどに十分に学習している。次の画像フレームにおけるダッシュ−ギャップパターンの位置は、現在のダッシュ−ギャップパターンを、車両側に、（Ｖ＊Δｔ）だけ滑らせることによって予測される。各ダッシュの予測された始点および終点までの距離が、対応する画像行座標に変換される。ダッシュの位置であると分かっている画像行において標識検出が行われ、かつギャップの位置であると分かっている画像行において標識検出が拒絶されるフィルタが構築される。
【０１２６】
さらに、既知のダッシュおよびギャップの長さが、ダッシュ−ギャップパターンの観察に先立って、画像内のダッシュおよびギャップの位置の予測のために用いられる。ダッシュの間隙および長さ内に、なんらかのノイズが存在するかもしれないから、道路上のダッシュの各端部に、不確実領域が割り当てられる。その不確実領域で検出されたものが標識に属しているものであれば、容認される。この不確実領域は、例えば０．５メータルの長さであり、各ダッシュ領域の両端に設けられる。発明者による、実際の車道データを用いた広範な実験によって、車両が移動するにつれて、標識パターンは頻繁に変化することが明らかになった。このため、予測は、直近に観察されたダッシュまたはギャップの端点を超えて、１つのダッシュ−ギャップ距離までに制限される。
【０１２７】
ダッシュ−ギャップ予測（モデル）の適用の一例が、図１１に示されている。画像から入ってくる標識構造１６９（左端に示されている）が、フィルタ１７１（中央に示されている）に通され、その結果、フィルタ処理されたダッシュ−ギャップタイプ標識１７３（右端に示されている）が生成される。ブロック１７７は、道路上に見出される実際のダッシュ−ギャップタイプ標識の断片を表わしている。それらのうちのいくつかはノイズであるかもしれない。フィルタ処理プロセスを用いることによって、ダッシュ間のギャップおよび不確実領域１７５内にある、画像中の標識に似た物体は、画像からの道路標識の構築に用いられない（曲線適合に用いられない）。路面標識の容認に当たって、ある長さの不確実領域１７５を準備して、ダッシュ間のギャップ内にある標識候補を排除する（例えばそのような不確実領域は、そこに見出される標識片の容認を可能にするために、予想される各ダッシュの位置の端部の０．５メートルの領域であってもよい）。
【０１２８】
日中操作と夜間操作で異なるパラメータ
昼夜差の機能４５ｂ（図２Ａ）は、この精度向上において実行される。外界センサが日中なのか夜間なのかを判断し、その情報が、昼夜差の機能４５ｂにおいて用いられる。日中操作と夜間操作とで、互いに異なる物理的寸法／閾値が用いられる。これによって、日中に検出されるもの（例えばボッツドッツ）と夜間に検出されるもの（例えば夜間になってはじめて見えるようになることが多い、ボッツドッツと異なるサイズを有するリフレクタ）との外観の差が補償される。さらに、もっとずっと細かくて無関係な物体が、夜間におけるよりも日中において見える傾向がある。日中と夜間とで異なるように調節される寸法／閾値を用いることによって、検出システムは、イメージャ／ビデオカメラがどのように道路を「見る」かを調整する。例えば夜間においては、画像にブルーミングが生じるかもしれないということが考慮される。ブルーミングとは、イメージャ（ビデオカメラ）が、夜間には、あまり明るい物体を扱うことができないという状態を記述する用語である。明るい物体による画像フィーチャは、その物体に対応するピクセルの隣のピクセルまでおよぶ。すなわち、ブルーミングが生じて、画像の光景が変化する。
【０１２９】
標識は、日中と夜間とで、互いに異なって見える。この外観の違いは、夜間には、指向性のある照明（ヘッドライト）が用いられるのに対して、日中には、一般に、より一様な照明が用いられるという事実に起因する。リフレクタのようないくつかの標識は、それらの指向性のある反射のために、日中よりも夜間において、はるかによく見える。
【０１３０】
日中状態と夜間状態との間で調整される寸法／閾値には、標識のサイズ、適合線を容認するために必要な候補点の数、標識の最小コントラストなどがある。アルゴリズムにおいて用いられる全ての寸法は物理的寸法であり、道路面内で測定される。
【０１３１】
標識の最小コントラストは、次のように調整される。道路が非常に一様であり、したがって、そのビデオ画像が、非常に低い平均勾配しか有しない場合があり得る。平均勾配が低いと、ノイズを、勾配ピークまたは勾配バレーに関係する重要な信号として容認してしまうことがあり得る。そのために、画像内に勾配ピークおよび勾配バレーを見出すために用いられる閾値は、少なくとも、ある一定の最小の大きさの値（例えば１〜２５５、好ましくは８〜２０の範囲の）を有するべきである。画像に多くの勾配が見出される、ノイズの多い道路では、背景勾配は、その最小値より大きな、高い平均値を有するであろうが、非常に一様に見える道路では、その最小値は、低い勾配しか有しない標識片が誤って特定されることを防止する。
【０１３２】
その他の精度向上
検出プロセスを、カラー画像に適用することができる。本明細書において用いられている基本的な基準は、ピクセルのグレーレベル勾配による分離である。画像中の標識を背景から分離するために、色分離（例えばピクセルのＲＧＢ色値間のユークリッド距離）を用いることもできる。さらに、標識に属する可能性があるとして容認されるピクセルの色を、限定してもよい（例えば標識は緑色ではないであろう）。標識に属するとして容認されるピクセルは、近似閾値（例えば８ビットのカラーイメージャにおいて、１〜４４３の範囲にあり、約２０であってもよい）によって限定されるほど十分に、標識の距離依存性の色値の平均に近い色値を有する必要があるとしてもよく、また長期にわたってフィルタ処理されてもよい。距離依存性は、異なる距離に到達した光の角度／色の差に由来して発生する。
【０１３３】
さらに、道路上の標識を記述するために用いられる物理的な寸法は、さらに、道路上で、標識までの距離が増すにつれて、画像において、標識のフィーチャがより小さくなることを意味している。標識を記述するために、少数の一定数のピクセルを用いることもできる。しかしながら、それは、中間領域以外の領域において、実際の標識サイズと一致しない。
【０１３４】
さらに、状況が好ましいものである（例えば多数の勾配対が見出されており、χ2が小さい）場合には、ゾーン優先度スキームを用いることもできる。それによって、ダッシュ−ギャップタイプ標識のダッシュの、前方および後方への有限の外挿（例えば両端において１．５メートル）を行うことが可能になる。この有限の外挿によって、まばらにしか存在しない標識の実効充填率が増加する。最初の直線適合に先立って、データのさらなる純化を行なうことができる。目的は、整然とした直線を形成するように見えるサンプルを保存し、「それた」検出物、すなわち、整然とした直線のように見える検出物の近傍にない検出物を排除することである。
【０１３５】
標識は、ＲＯＩの縦方向軸に概ね平行であるから、ＲＯＩを、いくつか（例えば図１２に示されているように３つ）の縦方向に延びたゾーンに分割することができる。それらのゾーンの中央ゾーンに対して０、内側ゾーンすなわちビデオカメラに近いゾーンに対して１、外側ゾーンすなわちビデオカメラから遠いゾーンに対して２と番号を付ける。各ゾーンは、標識に対する車両の相対的位置が変化するにつれて、その標識が存在すると予想される車道のエリアを表わしている。予測される標識空間、すなわち中央ゾーンは、標識検出に対して最高優先度を有している（標識または境界を含んでいる確率が最も高いことを表わしている）。ゾーンが中央ゾーンから離れるにつれて、優先度は減少する。各ゾーンにおいて、検出回数が数えられる。次のルールを用いて、最も検出回数が多い単一のゾーン、または隣接し合う２つのゾーンから成るゾーン対が決定される。
内側ゾーンにも外側ゾーンにも検出物がない場合には、中央ゾーンの標識片の検出物が用いられ、
内側ゾーンと中央ゾーンとの両方に、十分な標識片の検出物が存在する場合には、直線適合のために、これらの標識片の検出物が保留され、
外側ゾーンと中央ゾーンとの両方に、十分な標識片の検出物が存在する場合には、直線適合のために、これらの標識片の検出物が保留される。
【０１３６】
このルールの効果は、中央ゾーン、または、中央ゾーンと内側ゾーンまたは外側ゾーンとの組み合わせを優先するということである。内側ゾーンにおいて検出される標識は、外側ゾーンにおいて検出される標識よりもビデオカメラに近く、したがって、より重要であるから、内側ゾーンが最初にチェックされる。中央ゾーンまたはゾーン対の外部にある検出物は、それているものとして排除される。正味の効果は標識を保留し、画像ノイズを排除することであり、それによって、境界または標識の位置特定を改善することである。
【０１３７】
図１３は、上述の、図２Ｂのステップ１１０において用いられる最小二乗直線／曲線適合例５５０を示している。この最小二乗直線／曲線適合例５５０によれば、曲線／直線適合は、データ点５５２（例えばピクセルｐすなわち画像標識フィーチャ片）から適合曲線／直線５５４までの距離ｄｓの合計を最小にすることによって最小二乗適合を行うステップを含んでいる。最小二乗適合によって、１セットのデータ点に最も適合する曲線が見出される。例えば図１３に示されているように、適合曲線または適合直線（図１３では適合直線が示されている）は、各点５５２から適合曲線または適合直線５５４までの距離ｄｓの合計が最小になるまで調整される。これは、データ点から適合直線／曲線までの平均距離を最小にすることと等価である。最小中央値適合は、データ点から適合直線／曲線までの距離の中央値を最小にする。さらに、例えば標識の位置が遠くなればなるほど、不確実さの程度がより大きくなることを考慮に入れた他の曲線／直線適合アプローチを用いることもできる。その適用において、データ点の各セットに対して、直線適合は、データ点の各セットにおける最も近いデータ点と最も遠いデータ点とを含む、それらの間の全てのデータ点（ｘ、ｙ）に対する適合直線を決定するステップを含んでいる。用いられる直線適合方法は、次のように、適合させるために利用可能なデータ点の数に依存する。厳密に２つのデータ点だけが利用可能な場合には、直線適合は、単純に代数的な直線適合を実行するだけである。３つ以上のデータ点が利用可能な場合には、１本の直線が全てのデータ点を通過するということはないであろうが、近似スキームを、データ点に十分によく適合させることができる。したがって、その直線適合は、標準的な最小二乗法または最小中央値法に似た直線適合を行うステップを含んでいる。どちらの場合にも、道路面内の縦方向距離ｘおよび横方向距離ｙは、次のように表わされる。
ｙ ＝ （傾き）＊ｘ ＋ （切片）
ここで、傾きを、前方の最も近い距離と最も遠い距離との平均（ＡＶ）によって割ると、曲率が与えられる。
【０１３８】
要約すると、本発明の実施形態は、道路画像から、車線区分線および／または道路境界を検出して、道路を進む車両のガイドを補助するために用いられるプロセスを提供する。候補ピクセルに対する多項式適合の複数の回数にわたる試みによって、他の方法よりも確実かつ厳密に、車線区分線および道路境界を検出することができる。さらに、道路と周囲との平均強度（グレーレベルまたは色レベル）が同程度である場合には、平均絶対偏差比較を用いることによって、画像中に標識エッジを検出することが可能になる。
【０１３９】
本発明による上記のプロセスは、リアルタイムで実行することもできるし、記憶した像に対して実行することもできる。このプロセスは、また、前処理段を有する単一のＣＰＵ、または複数のＣＰＵ上で行うことができる。さらに、当業者には公知のように、本発明による前述のプロセスは、プロセッサによる実行のためのプログラム命令、論理回路、特定用途向け集積回路、ファームウエアなどの多くの方法で実行することができる。本明細書には、本発明が、そのいくつかの好適なバージョンに関して、かなり詳細に説明されている。しかしながら、他のバージョンも可能である。したがって、請求項の精神および範囲は、本明細書に含まれている好適なバージョンの記述に限定されるべきではない。
【符号の説明】
【０１４０】
１ ビデオカメラ
２ 車両
３ 画像
４ 道路
５ コントローラ
６ 車線境界検出システム
７Ｌ、７Ｒ 画像標識フィーチャ
８Ｌ、８Ｒ 標識
９ 車線逸脱検出システム
１０ カメラ較正モジュール
１１ 警告モジュール
２１ 画像前処理モジュール
２２ 車線区分線検出モジュール
２３ 道路エッジ検出モジュール
３１ 関心領域配置モジュール
３２ 勾配計算モジュール
３３ 関心領域縦方向設定モジュール
３４ 関心領域横方向設定モジュール
３５ ＭＡＤ計算モジュール
４０ 面
４１ａ、４１ｂ、４２ａ、４２ｂ、４３、４４ａ、４４ｂ、４５ａ、４５ｂ、４６ａ、４６ｂ、４７ 機能
５０ 車線（道路）曲率測定システム
６０ サンプラー
１５０ 候補適合直線／曲線
１５２ 予想される画像標識フィーチャ
１６０Ｌ、１６０Ｒ 平行四辺形
１６２ 近接エッジ
１６９ 画像内の標識構造
１７０ ダッシュ
１７１ フィルタ
１７２ ギャップ
１７３ フィルタ処理されたダッシュ−ギャップタイプ標識
１７５ 不確実領域
１７７ ブロック
２０１ 画像面
２０３ 点
２０５ 光軸
５５０ 最小二乗直線／曲線適合例
５５２ 点
５５４ 適合直線
ｄ ビデオカメラの前方の縦方向距離
ｄ１ 幅
ｄｓ 距離
ＦＬ 焦点距離
ｈ ビデオカメラの高さ
Ｈｐ 水平方向ピクセルサイズ
Ｈｔ 高さ
ｌｅ 左エッジ
ＬＤ ダッシュの長さ
ＬＧ ギャップの長さ
ＬＯ オフセット距離
ｐ、ｐ1、ｐ2 ピクセル
Ｐ、Ｐ1、Ｐ2 点
ｒ 画像行座標
ｒｅ 右エッジ
ｒｓ 画像行セグメント
ＲＯＩ−Ｌ、ＲＯＩ−Ｒ 関心領域
Ｖｐ 垂直方向ピクセルサイズ
ＶＰ 消失点
Ｗ 画像列座標
Ｗｔ 幅
ｘ 縦方向距離
ｙ 横方向距離
α 傾斜角
【技術分野】
【０００１】
本発明は、ビデオ画像処理に関し、さらに詳細には、本発明は、ビデオ画像における道路状態の検出に関する。
【背景技術】
【０００２】
道路の車線区分線および道路境界を見出すために、ビデオカメラを組み込んだ検出システムを用いることがある。従来、車線区分線および道路境界を見出すために、境界／白線の前方連続性か、または車線区分線の既知のサイズのいずれかが利用されている。車線区分線が、十分に連続的な信号を供給しないボッツドッツ（直径約１０ｃｍのドーム状の白い円盤）タイプ、またはリフレクタである場合には、白線の連続性を用いるアプローチは機能しなくなる。
【０００３】
車線区分線が、異なるサイズを有している場合には、車線区分線の既知のサイズを用いるアプローチは機能しなくなる。最後に、ハフ変換を用いるアプローチは、困難な状況（２つ以上の解が得られる、複数の平行な車線区分線が存在するような）において機能しなくなり、また十分な計算能力を必要とする。従来の他の手法においては、道路画像内に、垂直方向端を求めることのみによって、車線区分線が識別される。しかし、垂直方向端を検出する方法は、車線区分線が相当の角度を有しているカーブの箇所においては機能しない。
【０００４】
また、このような従来技術では、車体が車線区分線に過度に接近した場合には、警告発生手段を作動させて運転者に異常を知らせていることが通常であるが、場合によっては車体が車線区分線に過度に接近した場合にも、警告信号を発する必要がない場合がある。例えば、運転者自らが車線変更を行う意図をもって車線に接近した場合は、通常の運転操作の範囲内である。それにも拘らず、前記従来技術では、全ての場合に一律に警告信号を発している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Bar-Shalom「Estimation and Tracking （推定および追跡）」
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上述の問題を解決することができる、車線区分線または道路境界などの路面標識を検出する方法およびシステムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の一実施形態においては、イメージャから、車両の前方の道路の画像を受け、その画像内に識別された道路内に、関心領域を決定するように構成されている画像処理プロセッサと、関心領域内に車線区分線を検出することによって、また車線区分線を検出することができなかった場合には、関心領域内に道路境界を検出することによって、路面標識を検出するように構成されている路面標識検出モジュールとが設けられている。
【０００８】
画像処理プロセッサは、さらに、路面標識エッジ候補を識別するために、それぞれ画像内の１つのエッジを表わす、画像ピクセルの輝度勾配のピークおよびバレーを決定することによって、関心領域内にエッジ強度を決定するように構成されていてもよく、また路面標識検出モジュールは、エッジ強度と強度閾値とを比較するように構成されていてもよい。
【０００９】
路面標識検出モジュールは、関心領域内の複数の画像行において、各エッジ強度と強度閾値とを比較することによって、エッジ対を、路面標識エッジ候補として識別するステップと、エッジ対の間隔を特定するステップと、エッジ対の間隔と、間隔最小閾値および間隔最大閾値とを比較するステップであって、エッジ対の間隔が、間隔最小閾値と間隔最大閾値との間にある場合には、エッジ対は、車線区分線候補を表わしているステップと、車線区分線候補を表わしている画像行のエッジ対に対応する中央勾配位置に、第１の線を適合させるステップとを実行するように構成されている車線区分線検出モジュールを備えていてもよく、かつ容認可能な第１の近似適合線に寄与した全てのエッジ対を、車線区分線の識別要素として選択する。
【００１０】
路面標識検出モジュールは、さらに、エッジ対の間隔の各々が、間隔最小閾値と間隔最大閾値との間になかった場合、または容認可能な第１の近似適合線が見出されなかった場合には、道路境界の識別要素の候補を表わしている画像行のエッジの各々に第２の線を適合させ、かつ容認可能な第２の近似適合線に寄与した全てのエッジを、道路境界の識別要素として選択するように構成されている道路境界検出モジュールを備えていてもよい。
【００１１】
路面標識検出モジュールは、さらに、道路境界の識別要素が見出されなかった場合には、複数の画像行において平均絶対偏差（ＭＡＤ）勾配を決定するステップと、路面標識候補を表わしている画像行のエッジの各々に対応する、大きさ閾値を超過する大きさを有するＭＡＤ勾配の位置に、第３の線を適合させるステップと、容認可能な第３の近似適合線に寄与したＭＡＤ勾配の位置を、路面標識として選択するステップとを実行するように構成されていてもよい。
【００１２】
路面標識検出モジュールは、さらに、第１、第２、または第３の線の、路面標識エッジ候補を表わす画像行のエッジに対する適合度、および第１、第２、または第３の線の傾きの、以前の道路画像における傾きに対する近似度をチェックすることによって、容認可能な第１、第２、または第３の近似適合線を決定するように構成されていてもよい。そして、これらに基づいて車線逸脱検出システムは、車両が道路の適切な走行車線からずれているか否かを決定する。このとき、運転者自らが進路変更等により車線に接近する場合、ウィンカをオンにして点滅させていることが、運転者自ら車線に接近する意思であることが明白であると想定し、この際は、上記の検出の対象外であるとした。
【００１３】
以下の説明、請求項、および添付図面を参照することによって、本発明の上記した特徴およびそれ以外の特徴、態様、および利点を理解しうると思う。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による、車両の動きに連動する車線／道路境界探索および追跡システムの機能ブロック図である。
【図２Ａ】本発明の一実施形態による車線／道路境界検出装置の機能ブロック図である。
【図２Ｂ】本発明の一実施形態による、図２Ａの検出装置によって実行される車線／道路境界検出プロセスの一部のフローチャートである。
【図２Ｃ】図２Ｂの車線／道路境界検出プロセスに続く車線／道路境界検出プロセスの一部のフローチャートである。
【図２Ｄ】図２Ｃの車線／道路境界検出プロセスに続く車線／道路境界検出プロセスのフローチャートである。
【図３Ａ】本発明の一実施形態における、画像面内のピクセルと、ビデオカメラを介してピクセルに投影される、道路面上の対応点との関係の一例を示す図である。
【図３Ｂ】本発明の一実施形態にしたがって、画像フレーム内に関心領域を決定する一例を示す図である。
【図３Ｃ】画像の関心領域に対応する、道路上の平行四辺形エリアの一例を示す図である。
【図３Ｄ】本発明による、画像の勾配検出および幅テストの一例を示す図である。
【図４】新しいピクセル値がヘッドに加えられ、古いピクセル値がテールから除かれる、本発明の一実施形態による、画像行のローパスフィルタ処理の一例を示す図である。
【図５Ａ】本発明の一実施形態による、平均絶対偏差（ＭＡＤ）の計算の一例を示す図である。
【図５Ｂ】車線境界標識を備えた道路画像の一例を示す図である。
【図５Ｃ】ＭＡＤフィルタによる処理後の、図５Ｂの道路画像を示す図である。
【図６Ａ】画像面と、道路上の前方距離との関係を説明するために、ビデオカメラの側面と道路との相対的な位置関係の一例を示す図である。
【図６Ｂ】道路画像において、垂直方向ピクセルサイズＶｐおよび水平方向ピクセルサイズＨｐを有して、画像行座標ｒ、画像列座標Ｗに配置されているピクセルｐのアレイの一例を示す図である。
【図７】画像行座標に基づいて、最小標識幅から計算されたフィルタ長の変化を示す図である。
【図８】本発明による、許容可能な傾きの誤差、およびその時間経過に伴う変化の例を示す図である。
【図９】空フレームおよび空区間のカウントの更新、および標識の追跡へのその応用の一例を示す図である。
【図１０】本発明にしたがって、標識検出のために、道路画像からダッシュ−ギャップタイプ標識の情報を蓄積する一例を示す図である。
【図１１】本発明による、標識検出に対する、学習されたダッシュ−ギャップタイプ標識モデルの応用の一例を示す図である。
【図１２】本発明による、境界位置の検出を改善するための優先度スキームの一例を示す図である。
【図１３】最小二乗直線／曲線適合の一例を示す図である。
【発明を実施するための形態】
【００１５】
本発明は、車線境界全般の検出方法および検出システムを提供するものである。本発明の一実施形態によると、車線または道路のビデオ画像を用いて、車線または道路の車線区分線または道路境界を含む路面標識が見出される。これは、少なくとも最小サイズから最大サイズまでの画像標識フィーチャの境をなす、大きな勾配（例えば輝度勾配）を有するビデオ画像領域を探索することによって達成される。勾配探索は、グレーレベル画像または平均絶対偏差画像で行うことができる。これらの勾配位置は、曲線適合法を用いて（必要であれば、サブセットを選択して）、適切な適合度および整合度を得るようにグループ化される。画像標識フィーチャに適合させた曲線が、車線区分線または道路境界を表わす。車線区分線は、方向性を有する一対のプロセスによって見出され、一方、道路境界は、対になっていないプロセスによって見出される。白線と単純なエッジタイプの境界とのいずれを見出すためにも、一連のステップが用いられる。必要な場合には、同じデータの異なるバージョンまたはサブセットを用いて、複数の回数にわたって判断が下される。
【００１６】
説明を簡単にするために、本明細書においては、車線区分線と道路境界とを、まとめて標識と呼ぶ。図１は、一実施例による、ビデオカメラ１をマウントされた車両２に連結されている車線（道路）曲率測定システム５０の機能ブロック図である。ビデオカメラ１は、前方を向くように、車両２にマウントされている。ビデオカメラ１は、車両２の前方の道路（車線／車道）４の画像３〔２次元（２−Ｄ）の〕を捕捉し、それらの画像を、境界検出用のコントローラ５に伝達する。デジタル化されたビデオ入力信号をサンプリングして、画像行および画像列に配列されたピクセルアレイとして、２次元画像を作成するために、サンプラー６０を用いてもよい。
【００１７】
この例においては、コントローラ５は、車線境界検出システム６、車線逸脱検出システム９、カメラ較正モジュール１０、および警告モジュール１１を備えている。車線境界検出システム６は、道路特性解析によって画像３を処理し、道路４上の実際の標識８Ｌ、８Ｒをそれぞれ表わす画像標識フィーチャ７Ｌ、７Ｒの位置を、画像３内に追跡する。ビデオカメラ１に対して、標識８Ｌは道路の左縁を示しており、標識８Ｒは道路の右縁を示している。画像標識フィーチャ７Ｌおよび７Ｒの位置および偏揺れ角（ビデオカメラ位置に対する）が、車線境界検出システム６から車線逸脱検出システム９に供給される。車線逸脱検出システム９は、さらに、車両２から速度情報を受け取り、また、カメラ較正データ（カメラ較正モジュール１０によって供給される）を受け取る。車線逸脱検出システム９は、車両速度、車線区分線位置および偏揺れ角に関する情報を定期的に受け取ることが好ましい。
【００１８】
車両速度情報、カメラ較正情報、および画像標識フィーチャ７Ｌおよび７Ｒの追跡された位置に基づいて、車線逸脱検出システム９は、車両２が道路４の適切な走行車線からずれているか否かを決定する。車線逸脱検出システムが、車線に接近していること、または道路から逸脱していることを検出したときには、警告モジュール１１が起動させられる。但し、車体が車線区分線に過度に接近しても、警告モジュール１１による警告信号を発する必要がない場合、つまり車線変更の場合には、警告信号を発しないこととする。そして、車線変更の際には、通常ウィンカーがオンになっているので、ウィンカのオン状態とその方向を検出し、この状態では、車体が車線区分線に過度に接近したことが検出されても、警告モジュール１１からの警告信号を発生しないようにする。
【００１９】
図２Ａは、本発明による車線境界検出システム６の一実施例の機能ブロック図である。車線境界検出システム６は、画像前処理モジュール２１、車線区分線検出モジュール２２、および道路エッジ検出モジュール２３を有している。画像前処理モジュール２１は、ピクセルの２次元（２−Ｄ）アレイ（画像行および画像列）を有する画像３を前処理する。画像前処理モジュール２１は、関心領域配置モジュール３１、勾配計算モジュール３２、および任意選択に、平均絶対偏差（ＭＡＤ）計算モジュール３５を有している。
【００２０】
受け取った各画像３に対して、関心領域配置モジュール３１は、画像標識フィーチャ（画像車線区分線または画像道路境界）７Ｌおよび７Ｒがあると予想される関心領域を、画像内に決定する。関心領域配置モジュール３１は、関心領域縦方向設定モジュール３３および関心領域横方向設定モジュール３４を有している。関心領域の正確な位置が、関心領域縦方向設定モジュール３３および関心領域横方向設定モジュール３４によって決定される。各関心領域内において、勾配計算モジュールは、ピクセルの各画像行座標ｒ毎に、左端から右端に向かってピクセルのグレーレベルの勾配を決定する。
【００２１】
任意選択的に、ＭＡＤ計算モジュール３５は、ピクセルのグレーレバルの平均絶対偏差を計算する。すなわち、ＭＡＤ計算モジュール３５は、ピクセルのグレーレベルの平均を中心とした、１セットの数の分散を測定する。２セットの数が存在するとき、平均が互いに同じになることはあり得るが、分散値は互いに異なる。これは、有用なことである。すなわち、道路エッジと、道路エッジをはずれた位置との間にほとんどコントラストがない場合にも、その同じ平均値を中心とするピクセル値の分散は、互いに異なる（すなわち、画像において、道路と、道路をはずれた位置との間で、平均値が同じであっても、分散値は異なる）であろうから、より良好な境界検出が可能になる。平均は、いわゆる一次統計値であり、一方、平均絶対偏差は、二次統計値である。
【００２２】
計算された勾配が、「暗」から「明」（正の勾配）に続く、「明」から「暗」（負の勾配）のパターンを示したときに、その勾配位置は、車線区分線検出モジュール２２によって、車線区分線の検出および追跡のために用いられる。この場合には画像における車線区分線である、正しい画像標識フィーチャ７Ｌおよび７Ｒの識別および追跡を確実にするために、また車線区分線と間違えられる可能性のある誤った標識の最高水準の排除を確実にするために、車線区分線検出モジュール２２の内部で、種々の精度向上化機能を実行してもよい。車線区分線検出モジュール２２によって実行される精度向上化機能の例には、次のものが含まれる。
機能４１ａ：χ2（χの２乗）が大きすぎるときの線適合
機能４２ａ：係数一致
機能４３：標識モデルベース
機能４４ａ：適合線に対する容認テスト
機能４５ａ：昼夜差
機能４６ａ：空フレームおよび空区間のカウント
機能４７：ダッシュ−ギャップタイプ標識の特性解析
【００２３】
明瞭な正から負への勾配パターンが、関心領域内に存在しない場合には、道路境界の検出および追跡を行うために、道路エッジ検出モジュール２３が用いられる。この場合には画像における道路境界である、正しい画像標識フィーチャ７Ｌおよび７Ｒの識別および追跡を確実にするために、また道路境界と間違えられる可能性のある誤った標識の最高水準の排除を確実にするために、道路エッジ検出モジュール２３の内部で、精度向上化機能を実行してもよい。道路エッジ検出モジュール２３によって実行される精度向上化機能の例には、次のものが含まれる。
機能４１ｂ：χ2（χの２乗）が大きすぎるときの線適合
機能４２ｂ：係数一致
機能４４ｂ：適合線に対する容認テスト
機能４５ｂ：昼夜差
機能４６ｂ：空フレームおよび空区間のカウント
【００２４】
線適合の機能４１ａおよび４１ｂは、画像前処理モジュール２１からの初期標識点候補に作用する。機能４１ａおよび４１ｂは、χ2（いかによく、近似曲線が１セットのデータ点に適合するかを示す統計的尺度）が，χ2の閾値（この閾値は０より大きく、例えば容認可能な適合に対して２．０であってもよい)未満であるか否かを決定する。大きな値のχ2（すなわち、χ2の閾値より大きい）は、近似曲線と１セットのデータ点との間の適合が乏しいことを表わしている。大きなχ2値が、１セットのデータ点（初期標識点候補）に対して検出されたときには、χ2値がχ2の閾値未満になるまで、それらのデータ点のサブセットが、曲線適合のために選択される。
【００２５】
係数一致を検出する機能４２ａおよび４２ｂは、次のようにして、係数一致を検出する。道路境界または車線境界は、一般に、１つの画像フレームから次の画像フレームまでで、わずかの量しか移動しない。それらの画像中の位置を記述する数学関数（例えば曲線）も、同様に、ゆっくりと変化する。この変化は、そのような位置を記述する数学関数の係数差が、１つの画像フレームから次の画像フレームまでで、ある差閾値未満であるということによって定量化される。この差閾値は、０より大きく、一例において０．１５であってもよい。その結果、その直後の２つの画像フレームに対して、それぞれ０．１５の誤差が許容され、さらなる全ての画像フレームに対して、０．０３のさらなる差が割り当てられる。係数差が、差閾値より大きい場合には、連続する２つの画像フレームに、２つの異なる境界または標識が見出される場合がある（避けるべき状況）。したがって、現在の画像フレームで見出された車線区分線または道路境界を、以前の画像フレームで見出された標識の継続として容認する前に、機能４２ａおよび４２ｂは、そのような係数の、十分によく一致する係数（すなわち、係数変化が差閾値未満である）に対する近似性をテストする。χ2検査および係数一致テストによって、曲線適合（例えば直線適合）の妥当性が試される。
【００２６】
路面標識として検出される最小および最大の物理的寸法（例えば幅、長さ）、および背景に対する最小コントラストが規定されている必要がある。物理的寸法およびコントラストは、画像内に標識を配置する物理的ベースを形成する。標識モデルベースの機能４３は、道路上の標識の物理的寸法から、画像中の等価なピクセル数への変換を実行する。画像標識フィーチャ７Ｌ、７Ｒの各ピクセルは、ピクセル位置（画像３中の画像行座標ｒおよび画像列座標Ｗによって確定される）から、ビデオカメラの前方の地面上の距離と、ビデオカメラに対する横方向のオフセット距離とによって定められる道路上の位置に変換される。
【００２７】
適合線に対する容認テストの機能４４ａおよび４４ｂは、標準的なχ2適合テストに基づいて、標識または境界の点候補のセットに適合させた線が、どの程度に良好に、そのような点候補を反映しているかを決定する。
【００２８】
道路境界および車線区分線は、日中であるか夜間であるかに依存して、異なる外観を有する。イメージャの利得および露光時間の設定を通じて、日中状態であるか夜間状態であるかを決定することができる（日中であるか夜間であるかの決定は、外部的になされる）。そのような状態に基づいて、昼夜差の機能４５ａおよび４５ｂは、標識／境界位置プロセスに対して異なるパラメータを供給する。それによって、より良好な検出が可能になる。例えば夜間においては、日中よりも周辺光の量が少なく、背景輝度が低下するから、道路背景と車線区分線との間の輝度勾配は、一般に、日中よりも夜間において大きい。例えば日中におけるピクセル間の最小コントラストとして、１５グレーレベルを用いることができ、一方、夜間におけるピクセル間の最小コントラストとして、１８グレーレベルを用いることができる。このグレーレベル差は、夜間の画像の方が、日中の画像よりも高いコントラストを有するという事実から生じる。
【００２９】
空フレームおよび空区間のカウントの機能４６ａおよび４６ｂは、容認可能な車線区分線または境界を形成した最後の画像フレームの時点から測定して、どのくらい多くの画像フレームが、識別可能または容認可能な車線区分線または境界を形成しなかったかを追跡し、容認可能な測定がなされなかった画像フレームの数（すなわち、空フレームの数）を表わす空区間値を生成する。機能４６ａおよび４６ｂは、さらに、境界または標識が見出されなくなってから、どれだけの道路距離が過ぎたかを追跡し、そのような距離を表わす空区間値を生成する。空フレーム数が多ければ（例えば標識を見出すことなく走行した距離が約３０メートルであれば、通常の運転速度で約１０画像フレームに相当する）、または空区間が長すぎれば（例えば標識を見出すことなく走行した距離が約３０メートルであれば、ダッシュ−ギャップタイプ標識で約２サイクル、すなわち、２つのダッシュおよびダッシュ間ギャップに相当する）、標識または境界が次にどこに現れるかが、極めて不確実になる。そのような不確実さが発生すると、画像前処理モジュール２１は、より大きな関心領域を用いて探索モードに入る、すなわち戻る。より大きな関心領域を用いることによって、標識または境界がどこにあるかを予想することなく、システムは、追跡のための新しい画像標識フィーチャを取得することができる。
【００３０】
システムは、探索と追跡と呼ばれる２つのモードを有する。探索モードにおいては、システムは、まだ、標識が画像（関心領域：ＲＯＩ）中で近似的に存在するであろう場所を決めておらず、したがって、大きな画像エリア内で標識を捜す。追跡モードにおいては、システムは、直前に（空区間内において）標識を見出しており、したがって、画像中の、直前とほぼ同じエリア（ＲＯＩ）内に、再度、標識があると予測し、そのＲＯＩ内で標識を追跡する。追跡は、１つのまとまりをなす、位置測定のシーケンスである。１つのシーケンスが終了して、他のシーケンスが開始するとき、および、システムが初期化するとき、新しい追跡が開始する。
【００３１】
ダッシュ−ギャップタイプ標識の特性解析の機能４７は、ダッシュの開始位置および終了位置、およびダッシュ間の縦方向間隔を算定する（例えばビデオカメラの５メートル前方で始まったダッシュの長さが２メートルであり、その後、次のダッシュが始まるまで８メートルのギャップが続いていると算定する）。ダッシュが存在すると予想される場所を学習することによって、ダッシュ間に検出される標識片は、ノイズとして排除することができ、そのために、追跡精度が向上する。
【００３２】
次に、検出された車線区分線または道路境界は、車線逸脱検出システム９に出力される。車両が、車線区分線または道路境界にあまりにも接近したとき、または、車線区分線または道路境界からはずれる恐れがあるという切迫した状況にあるとき、車線逸脱検出システム９は、運転者に対して警告を発する、またはなんらかの手助けを与える。当業者であれば認識されるように、プロセッサによる実行のためのプログラム命令、論理回路、特定用途向け集積回路、ファームウエア、ソフトウェアモジュールなどのような種々の形態で、図１および図２Ａに示されているシステム、モジュール、部品、および機能を具現化することができる。
【００３３】
後でさらに述べるように、図２Ｂ〜２Ｄは、速度の知られている車両から撮られた画像中に、車線区分線および／または道路境界（標識／境界）を見出す際に、車線境界検出システム６によって実行されるプロセス例１００−１〜１００−３のステップのフローチャートである。
【００３４】
車線区分線／境界検出プロセスのよりよい理解のために、図３Ａは、画像面中のピクセルと、ビデオカメラ１を介して、画像にピクセルｐとして投影されている、道路面上の対応する点Ｐとの間の関係の一例を示している。道路４の画像３が、道路４の面４０に重ね合わされている。画像３中の第１の画像行−画像列位置にある第１のピクセルｐ1は、道路面上の第１の点Ｐ1に対応している。同様に、画像３中の第２の画像行−画像列位置にある第２のピクセルｐ2は、道路面上の第２の点Ｐ2に対応している。画像位置（ｒ、Ｗ）にあるピクセルｐ1から、道路面位置（ｘ、ｙ）にある点Ｐ1に変換するプロセスは、画像行座標ｒに基づいて縦方向距離ｘを見出し、画像列座標Ｗに基づいて横方向距離ｙを見出すステップを含んでいる。同様の変換が、点Ｐ2、ピクセルｐ2に対しても適用される。
【００３５】
したがって、標識８Ｌおよび８Ｒ上の点Ｐ1およびＰ2が与えられると、ビデオカメラ１からそれらの各点までの距離（すなわち、ビデオカメラの前方の縦方向距離ｄ＝ｘ、および道路中央線からの横方向のオフセット距離ＬＯ＝ｙ）を、画像３中の画像標識フィーチャ７Ｌおよび７Ｒ上の対応するピクセルｐ1およびｐ2の画像行および画像列の位置（すなわち画像行座標ｒおよび画像列座標Ｗ）から決定することができる。図３Ｂは、ビデオ画像上の台形形状の関心領域（ＲＯＩ）を示している。ＲＯＩ内で、グレーレベル勾配および平均絶対偏差が、画像のピクセルから抽出される。グレーレベル勾配値と平均絶対偏差値とは、どちらも、ピクセル群の特性であり、前者は、ピクセル間のコントラストを表わしており、後者は、中心値からの変動を表わしている。各台形形状の関心領域（例えばＲＯＩ−Ｌ、ＲＯＩ−Ｒ）は、ほぼ、画像標識フィーチャ（例えば７Ｌ、７Ｒ）があると予測される、画像３内の位置に配置される。
【００３６】
道路の画像３および車両速度が、検出システムに入力される。また、カメラ較正パラメータ（焦点距離、据え付け高さなど）が既知である。ここで、さらに、検出プロセス１００（すなわち、図２Ｂ〜２Ｄにそれぞれ示されているプロセス１００−１〜１００−３）に言及すると、ステップ１０１〜１０６は、画像前処理に関するものである。ステップ１０７〜１１５ｂは、標準的な車線区分線検出に関するものである。ステップ１１６〜１２３ｄは、道路境界検出に関するものである。ステップ１２４ａ〜１２７は、後処理に関するものである。プロセスのこれらの各ステップを、次に説明する。
【００３７】
ステップ１０１：標識／境界を検出すべき、ビデオカメラからの路上距離（例えば前方６〜２０メートル）を選択する。これらの路上距離は、上方の画像行（遠方距離に対する）から下方の画像行（近接距離に対する）までに対応する。それらの間で、道路境界／標識の検出が実行される。横方向距離の例は、図３Ｂに示されているようなものである。路上距離および横方向距離を選択することによって、画像３内に、２つの関心領域ＲＯＩ−ＬおよびＲＯＩ−Ｒ、すなわち窓が定められる。それら２つの関心領域内で、道路４上の実際の標識／境界８Ｌ、８Ｒを表わす画像標識フィーチャ７Ｌ、７Ｒを検出するための探索が遂行される。
【００３８】
ステップ１０２：窓（関心領域ＲＯＩ−ＬおよびＲＯＩ−Ｒ）の上端画像行と下端画像行との間の全ての画像行に対して、路上距離を決定する。
【００３９】
ステップ１０３：検出すべき最小標識幅と、各画像行に対応する、ビデオカメラの前方の縦方向距離ｄとを取り込み、その最小標識幅内に含まれる、各画像行のピクセル数（最も近い整数に丸める）を決定する。このピクセル数は、次のステップ１０４において、平均化用のローパスフィルタ長として用いられる。
【００４０】
ステップ１０４：各画像行に対して、最小標識幅のピクセルを平均化するために、ローパスフィルタを適用する。ローパスフィルタ処理によって、各ピクセルにおける局所的な平均化がなされる。任意選択的に、同時に、各ピクセルに対して、平均絶対偏差（ＭＡＤ）が計算される。ＭＡＤ計算は、ローパスフィルタ処理と同じ長さにわたって行なわれ、ローパスフィルタ処理と組み合わせることができる。ローパスフィルタ長は、画像行ごとに異なり、ステップ１０３において計算されている。
【００４１】
ステップ１０５：ステップ１０４からの、ローパスフィルタ処理されたデータに、中心差分を用いた微分フィルタを適用する。これによって、各ピクセル位置において、平滑化された勾配値が得られる。任意選択的に、ＭＡＤデータに、同じ中心差分操作を適用して、各ピクセル位置において、ＭＡＤ値の勾配を得ることができる。
【００４２】
ステップ１０６：最初の画像フレームに対する想定値から出発して、平均背景勾配を計算する。背景によるものではない勾配（一定の最低値から出発する）を見出すために、ある係数が乗じられた、この平均背景勾配が、次の画像フレームに適用される。
【００４３】
ステップ１０７：勾配閾値として、縮尺された平均背景勾配の大きさを用いて、各画像行において、ピクセルの輝度勾配を決定し、ピクセル輝度勾配曲線中に、勾配ピークおよび勾配バレー〔勾配の大きさが、勾配閾値（強度閾値）より大きい〕を検出する。この勾配ピークおよび勾配バレーの位置が記憶される。
【００４４】
ステップ１０８：各画像行の画像標識フィーチャの最大幅値（Marking Width Max）および最小幅値（Marking Width Min）が決定される。これらの値は、それぞれ標識の左エッジｌｅおよび右エッジｒｅ（図７）として容認される勾配ピークと勾配バレーとの対（「勾配ピーク−勾配バレー対」）の間のピクセル領域に対する上限および下限を与える。左エッジｌｅ（車線区分線／境界の横方向の開始点）は、右方向に移動するときの、標識上の暗から明への遷移（図５Ｂ）、すなわち、勾配ピークとして現れる、小さなピクセル輝度値から大きなピクセル輝度値への遷移を表わしている。同様に、右エッジｒｅ（車線区分線／境界の横方向の終了点）は、明から暗への遷移、すなわち、勾配バレーとして現れる大きなピクセル輝度値から、小さなピクセル輝度値への遷移を表わしている。
【００４５】
ステップ１０９：各画像行に、最小標識幅限界および最大標識幅限界を適用することによって、標識になり得る勾配ピーク−勾配バレー対を見出す。画像標識フィーチャの少なくとも一部分を示す、容認可能な幅が見出された場合には、その勾配ピーク−勾配バレー対を保存する。一例として、関心領域の各画像行において、画像標識フィーチャ候補を探索すると、いくつかの画像行においては、画像標識フィーチャ候補が含まれるが、その他の画像行においては、そのような画像標識フィーチャ候補が含まれない場合がある。画像標識フィーチャ候補は、各画像行において、その左エッジと右エッジの位置によって画定される。
【００４６】
ステップ１１０：内側標識エッジ（ビデオカメラの左側の標識においては、内側標識エッジは、勾配ピーク−勾配バレー対の勾配バレーであり、ビデオカメラの右側の標識においては、内側標識エッジは、勾配ピーク−勾配バレー対の勾配ピークである）に、曲線（例えば、ほぼ直線）を適合させることによって、各画像行のエッジの位置が、その曲線に沿って、概ね並ぶか否かを決定する。
【００４７】
ステップ１１１：最小二乗適合法を用いて、各関心領域の画像標識フィーチャ候補の内側エッジをつなぐ。なんらかの妥当な基準（例えばχ2および傾き一致）に基づいて、適合度を決定する。特に、χ2適合測定（以下に説明するように、適合曲線のχ2がχ2の閾値と比較される）によって、適合度（適合の妥当性）を決定する。適合度が容認可能である場合には、適合曲線の傾きが、容認されている直近の傾きに一致するか否かをチェックする（容認されている直近の傾きがまだ存在しない開始時を除いて）ことによって、適合の妥当性を、さらに決定する。傾きが容認可能である場合には、画像標識フィーチャが、エッジを定めるピクセルで検出され（この傾きは、次の画像フレームの傾きとの比較のために記憶される）、プロセスはステップ１２４ａに進む。そうでない場合には、ステップ１１２に進む。一例において、容認可能であるか否かを判定する傾き比較は、次のとおりである。容認されている直近の傾きＥＳと、現在の適合曲線の現在の傾きＣＳとの比較において、これらの傾きが同一の標識から得られたものである場合には、傾きＥＳとＣＳとの差の絶対値は、小さくなければならない。すなわち、（｜ＥＳ−ＣＳ｜＜ｄｉｆｆｔｈｒｅｓｈｏｌｄ）でなければならない。この場合、差閾値ｄｉｆｆｔｈｒｅｓｈｏｌｄは、０．０５より大きく、０．１〜０．２の値を有してもよい。
【００４８】
ステップ１１２：適合曲線のχ2が大きすぎる（χ2の閾値と比較して）場合、または傾きが、容認されている直近の傾きと十分に近似性高く一致しない場合には、画像標識フィーチャ点候補（前述の勾配ピーク−勾配バレー対によって画定される）のサブセットを選択し、このサブセットが、より優れたχ2および／または傾きの一致を与えるか否かを決定するために、このサブセットに、ステップ１１１の場合と同じ線適合法および適合度（適合の妥当性）基準を適用する。このサブセットは、左側勾配と右側勾配の大きさの両方ともが、全画像標識フィーチャ点候補の平均の勾配の大きさよりも大きい勾配ピーク−勾配バレー対から成っている。言い換えると、左側と右側との両方において、平均を超える大きなコントラスト（勾配の絶対値）を有する画像標識フィーチャ（標識ピクセル）候補だけが選択される。
【００４９】
ステップ１１３ａ、１１３ｂ：大きなコントラストを有する（選択された）サブセットに、１つの曲線を適合させる。χ2が大きすぎるか、または傾きが、容認されている直近の傾きと近似性高く一致しない場合には、そのサブセットは廃棄されて、プロセスはステップ１１４に進む。そうでない場合には、サブセットに対する適合曲線が容認可能であれば、プロセスはステップ１２４ａに進む。
【００５０】
ステップ１１４：画像標識フィーチャ点の全候補から、最大輝度の画像標識フィーチャ点候補だけが選択されたサブセットを取り出す。画像標識フィーチャの輝度は、画像標識フィーチャの左エッジと右エッジとの間にあるピクセルの平均グレーレベルである。全画像標識フィーチャ点候補の平均輝度が計算され、次に、この平均輝度を閾値として用いて、この閾値より大きな輝度値を有する、画像標識フィーチャ点候補だけが保存される。
【００５１】
ステップ１１５ａ、１１５ｂ：選択された、平均よりも輝度の高い画像標識フィーチャ点候補に、曲線または直線を適合させ、この曲線または直線のχ2および傾きをチェックする（上述のように）。χ2と傾きとの両方が容認可能である場合には、選択された、最大輝度の画像標識フィーチャ点候補は容認可能であり、プロセスはステップ１２４ａに進む。そうではなくて、χ2が大きすぎる場合、または傾きが容認されている直近の傾きと一致しない場合には、適切な適合曲線は見出されず、選択された画像標識フィーチャ点候補は、車線区分線に由来するものではない。プロセスを、車線区分線検出から道路境界検出に切り換え、勾配（コントラスト）の点検によって確定される可能性がある道路エッジを検出するためにステップ１１６に進む。
【００５２】
ステップ１１６：道路エッジを検出するために、各画像行において前に計算したピクセル勾配データを用い、大きさの閾値を超過している大きさを有する正の勾配の数と負の勾配の数とを数えて、より多いのはどちらであるかを決定する。より多い（過半数）方の勾配を分析し、上述と同様に、それらの勾配の位置が適合曲線に沿ってほぼ並ぶか否かのチェックを、以下のステップ１１７ａ〜１２０ｃとして実行する。
【００５３】
ステップ１１７ａ、１１７ｂ：過半数の方の勾配の位置を取り上げて、１つの曲線を適合させたときに、それらの勾配の位置が適合曲線に沿って並ぶか否かを決定する。χ2は十分に小さいか否か、および適合曲線の傾きは、容認されている直近の傾きに一致しているか否かがチェックされる。「ＹＥＳ」の場合には、道路境界が適切に検出されており、プロセスはステップ１２４ａに進む。そうでない場合には、道路境界は，上記の位置を用いて検出されず、プロセスはステップ１１８ａに進む。
【００５４】
ステップ１１８ａ〜１１８ｃ：過半数の方の勾配の平均の大きさを超過する大きさを有する、この過半数の方の勾配から抽出された勾配だけで構成される、勾配のサブセットを選択する。選択された勾配のサブセットの位置に適合させた曲線が、十分に小さいχ2、および容認されている直近の傾きとほぼ同じ傾きを有しているか否かを決定する。「ＹＥＳ」の場合には、その適合曲線は、道路境界を検出している曲線として容認可能であり、プロセスはステップ１２４ａに進む。そうでない場合には、χ2が大きすぎるか、または傾きが、容認されている直近の傾きと違いすぎるのであるから、この勾配のサブセットは、道路境界を示すものではなく、プロセスはステップ１１９ａに進む。
【００５５】
ステップ１１９ａ、１１９ｂ：ステップ１１６において数が少なかった方の勾配の位置を取り上げて、１つの曲線を適合させたときに、それらの勾配が並ぶか否かを決定する（すなわち、χ2が十分に小さいか否か、またこの適合曲線の傾きが、容認されている直近の傾きに一致しているか否かを決定する)。「ＹＥＳ」の場合には、これらの勾配の位置は、道路境界を指示しており、プロセスはステップ１２４ａに進む。そうでない場合には、このさらなるサブセットは、道路境界を表わしておらず、プロセスはステップ１２０ａに進む。
【００５６】
ステップ１２０ａ〜１２０ｃ：ステップ１１９ａ、１１９ｂで取り上げた、数の少ない方の勾配の平均の大きさを超過する大きさを有する、この少ない方の勾配から抽出された勾配だけを選択し、選択された勾配の位置に適合させた曲線が小さいχ2を有しているか否か、および、容認されている直近の傾きにほぼ等しい傾きを有しているか否かを決定する。「ＹＥＳ」の場合には、この適合曲線は容認可能であり（道路境界を指示しており）、プロセスはステップ１２４ａに進む。そうでない場合には、道路境界は、勾配のみの分析によっては検出されず、画像の平均絶対偏差（ＭＡＤ）を用いた、さらなる分析（ステップ１２１ａから始まる）がなされる。
【００５７】
ステップ１２１ａ〜１２１ｃ：大きさの閾値（例えば８ビットのイメージャでは１〜２５５であり、好ましくは５〜２０である）を超過する大きさを有するＭＡＤ勾配の位置を見出す。１本の曲線を適合させ、適合曲線のχ2と傾きに基づいて、それらのＭＡＤ勾配の位置が並んでいるか否かを決定する。χ2が十分に小さく、かつ適合曲線の傾きが、容認されている直近の傾きに一致すれば、この適合曲線は容認可能であり（道路境界を指示しており）、プロセスはステップ１２４ａに進む。そうでない場合には、これらのＭＡＤ勾配の位置は、道路境界を表わしておらず、プロセスはステップ１２２ａに進む。
【００５８】
ステップ１２２ａ〜１２２ｃ：ＭＡＤ勾配の平均の大きさを超過する大きさを有するＭＡＤ勾配の位置を選択し、それらの位置に適合させた曲線のχ2および傾きをチェックすることによって、それらの位置が並んでいるか否かを決定する。「ＹＥＳ」の場合には、その適合曲線は容認可能であり（これらのＭＡＤ勾配の位置は道路境界を表わしており）、プロセスはステップ１２４ａに進む。そうでない場合には、これらのＭＡＤ勾配の位置は、道路境界を表わしておらず、したがって、これらの位置を含んでいる画像フレームは空フレーム（標識も境界も見出されなかった）であり、プロセスはステップ１２３ａに進む。
【００５９】
ステップ１２３ａ〜１２３ｄ：現在の画像フレームは空フレームであるから、最後の、空フレームでない画像フレームの時点からの走行距離（空区間）は増大しており、空フレームのカウントもインクリメントしている。空区間が長すぎる（例えば約３０メートル）ということ、または空フレームが多すぎる（例えば通常の走行速度で約１０画像フレーム）ということは、システムが、長い期間、車線区分線または境界を見出していないということを意味する。その結果、システムは、探索モードに戻る〔追跡モードと探索モードとのどちらにおいても、システムは、上述のステップを用いて標識をチェックするが、それらの間の違いは、追跡モードにおいては、システムは、探索モードにおけるよりも画像のより小さなエリア（ＲＯＩ）をチェックするということである〕。
【００６０】
ステップ１２４ａ、１２４ｂ：車線区分線または道路境界を表わす、容認可能な適合曲線を備えた１つ以上の画像標識フィーチャが検出されている。標識点に適合させた曲線の傾き（または、より一般的には係数）が記憶され、以前の他の係数値と平均化される。平均化された（またはフィルタ処理された）係数値が、直近の傾きのテストと同様に、近似性に関して、次の画像フレームをテストするために用いられる。空フレームがある場合には、後にさらに論じるように、傾きおよび／または係数の近似性に関する要件は緩められる。
【００６１】
ステップ１２５：車線区分線が検出されたら、検出された画像標識フィーチャ全ての幅を取り出して、それらの幅をメートルに変換し、平均化し、ノイズを除去するために、その平均をローパスフィルタに通す。１つの画像行に２つ以上の画像標識フィーチャ候補が見出された場合には、フィルタ処理された平均車線幅が、単一の画像標識フィーチャ候補を選択するために用いられる。システムは、各画像行において、勾配ピークおよび勾配バレーを検出する。１つの画像行に、２つ以上の勾配ピーク−勾配バレー対が存在し、複数の勾配ピーク−勾配バレー対の勾配ピーク−勾配バレー間隔が、最小標識幅限界より大きく、かつ最大標識幅限界より小さい範囲にある場合があるかもしれない。その場合には、システムは、それらの複数の勾配ピーク−勾配バレー対の中で、容認されている直近の車線区分線幅に最も近い勾配ピーク−勾配バレー間隔を有する、ただ１つの勾配ピーク−勾配バレー対を選択する。現在の画像フレームにおいて、２つ以上の勾配ピーク−勾配バレー対の勾配ピーク−勾配バレー間隔が、容認されている直近の勾配ピーク−勾配バレー間隔と一致する場合には、最近接勾配ピーク−勾配バレー対が選択される。最近接とは、予想される標識位置に対して最も近いことを意味している。
【００６２】
ステップ１２６：次の画像フレームのための関心領域を決定する。次の画像フレームにおいて、関心領域がどこになるかを決定するために、カルマンフィルタを用いることができる。カルマンフィルタの詳細については、非特許文献１を参照されたい。関心領域（窓）の横方向のサイズは、車線区分線または道路境界の位置がわかっている場合には狭くされ、車線区分線または道路境界の位置がわかっていないか、または不確実である場合には広くされる。カルマンフィルタは、この不確実さの程度を、その共分散行列で表わす。関心領域ＲＯＩ−ＬおよびＲＯＩ−Ｒ（図３Ｂ）は、常に、最小標識幅の少なくとも４倍の幅を有する。関心領域は、次の画像フレームにおいて標識があるであろうと予測（予想）される領域に配置される。探索モードにおいて、標識がまだ見出されていない場合には、標識を探し出すことができるように、関心領域は、デフォルト位置に最大幅で配置される。
【００６３】
ステップ１２７：任意選択的に、ダッシュ−ギャップタイプ標識のダッシュの開始位置および終了位置を学習して、ダッシュ間のギャップ内の、標識片もどきのものを排除する（それが存在した場合に）補足ステップを含んでいてもよい。これはダッシュ−ギャップタイプ標識の特性解析と呼ばれ、１つの画像フレームにおいて学習されたダッシュ／ギャップパターンが、次の画像フレームに適用される。このステップは、ステップ１０９とステップ１１０との間で行ってもよい。
【００６４】
上記の諸ステップにおいて、画像フレーム間で、係数が十分によく一致するということは、連続する画像フレーム間において、大きな変化は生じていないということを意味する。特に、例えば直線適合が、画像フレームｕ、およびｖ画像フレーム後の画像フレーム（ｕ＋ｖ）において行なわれると、画像中の標識は、次のように記述することができる。
ｒ ＝ ｍ（ｕ）＊Ｗ ＋ ｂ（ｕ）
ｒ ＝ ｍ（ｕ＋ｖ）＊Ｗ ＋ ｂ（ｕ＋ｖ）
ここで、ｒは標識中の点（ピクセル）の画像行座標、Ｗは標識（または境界）中の点の画像列座標、ｍは標識の傾き、ｂは切片である。（ｕ）は、画像フレームｕにおける量であることを表わしており、（ｕ＋ｖ）は、画像フレーム（ｕ＋ｖ）における量であることを表わしている。
【００６５】
標識の傾きｍおよび切片ｂは、時間の経過とともに変わりうる。係数一致は、次の条件が満足されたときに生じると定義する。
｜ｍ（ｕ）−ｍ（ｕ＋ｖ）｜ ＜ （定数１） ＋ （ｖ−１）＊（定数２）
【００６６】
この不等式の右辺は、ｖの増加につれて増加する。したがって、時間的に隔たった（ｖ画像フレーム隔たった）２つの画像フレーム間の傾きの差（｜ｍ（ｕ）−ｍ（ｕ＋ｖ）｜）は、時間間隔の増加につれて増加することができる。（定数１）および（定数２）は、ともに正の量である。（定数１）（例えば０〜１の範囲にあり、好ましくは０．１〜０．３の範囲にある）は、連続する２つの画像フレームの間で容認可能な最大傾き差であり、（定数２）（例えば０〜１の範囲にあり、好ましくは０．０１〜０．１の範囲にある）は、ｖの増加につれて増加する、傾き差の不確実さの程度を反映するような大きさに設定される。
【００６７】
用いている線適合の妥当性をチェックするために、上述の係数一致テストおよびχ2テストが、検出プロセス１００（図２Ｂ〜２Ｄ）において用いられる（すなわちステップ１１１、１１３ｂ、１１５ｂ、１１７ｂ、１１８ｃ、１１９ｂ、１２０ｃ、１２１ｃ、１２２ｃ）。次に、検出プロセス１００のステップを実行する一例について、詳細に説明する。
【００６８】
画像前処理（ステップ１０１〜１０６）
ステップ１０１および１０２の実行
図３Ｂに示すように、ピクセルのグレーレベル勾配および平均絶対偏差の決定が遂行される台形形状の関心領域（ＲＯＩ）すなわち窓が、画像３内に識別される。画像３の台形形状の各ＲＯＩは、道路４上の平行四辺形形状に対応している（例えば関心領域ＲＯＩ−ＬおよびＲＯＩ−Ｒは、それぞれ図３Ｃに示されている道路４上の、横方向に３〜４メートル離して配置されている平行四辺形１６０Ｌおよび１６０Ｒに対応している）。各平行四辺形は、約０．７〜２．３メートルの幅、約１４メートルの長さ、ビデオカメラ１から約６メートルの距離にある下側エッジ、およびビデオカメラ１から約２０メートルの距離にある上側エッジを有している。幅Ｗｔおよび高さＨｔで与えられる、画像３中の各ＲＯＩのサイズは、その内部の画像標識フィーチャ７Ｌ、７Ｒの予想される位置における誤差を受け入れるほどに十分に大きい。画像標識フィーチャ７Ｌ、７Ｒの大まかな位置がわかっていない場合には、関心領域（すなわち窓）の幅が、最大のサイズにされる。
【００６９】
一例において、各ＲＯＩは、道路上の平行四辺形形状の領域に対応している。この平行四辺形形状の領域は、標識８Ｌまたは８Ｒの最小標識幅の少なくとも４倍の広さ（最大で２．３メートルの広さ）を有している。幅上限は、計算容量によって制限される。各ＲＯＩは、ビデオカメラの左側（または右側）約０．７メートルから始まって、外側に約３メートル広がる、道路４上の距離にわたっており、道路幅および車両幅の大部分をカバーする。関心領域ＲＯＩ−ＬおよびＲＯＩ−Ｒの幅は、標識の探索モードにおいて最大になり、標識の追跡モードでは、より小さくなる。標識の追跡モードにおける幅は、画像における標識の横方向の位置を予測する際の不確実さの程度に依存する。関心領域は、初期状態において、画像における、道路の消失点ＶＰに関して対称に配置される。追跡モードにおいては、現在の画像フレームのＲＯＩ内に、標識または境界が検出されている。したがって、次の画像フレームのＲＯＩは、現在の画像フレームの標識または境界の位置に基づいて、次の画像フレームにおいて、標識または境界が存在すると予想される領域に配置される。
【００７０】
ステップ１０３および１０４の実行
図３Ｄに示すように、ＲＯＩ内のピクセルｐの各画像行（画像行座標ｒ）が走査され、ピクセルのグレーレベル（ＧＬ）が、各画像行座標ｒの各画像列座標Ｗに対して計算される。次に、各画像行において、隣接ピクセル間のグレーレベル勾配（ＧＬＧ）が抽出される。勾配ピーク（ＧＰ）と勾配バレー（ＧＶ）との間のピクセルの幅ｄ１が、最大幅値（Marking_Width_Min）と最小幅値（Marking_Width_Max）との間にある場合には、勾配ピーク−勾配バレー対（ＧＰ−ＧＶ）の間のピクセル位置に、画像標識フィーチャが見出される可能性がある。車線区分線は、背景より明るいから、標識に入るときに、グレーレベルは、より明るくなり(正の勾配)、標識から出るときに、グレーレベルは、より暗くなる(負の勾配)。適切な間隔で隔たった正の勾配と負の勾配（勾配ピークと勾配バレー）が捜される。それは、画像標識フィーチャ（この場合には車線区分線フィーチャである）７Ｌ、７Ｒの一部分すなわち断片である可能性がある。
【００７１】
上記のプロセスにおいて、ＲＯＩ内の、複数のピクセルｐから成る画像行セグメントｒｓのグレーレベルピクセルに、ローパスフィルタを適用することが好ましい。ローパスフィルタ処理によって、画像ノイズが減少する。図４を参照すると、例えば移動平均フィルタが用いられ、画像行セグメントｒｓ中の隣接し合うピクセルｐの値が足し合わされて、（局所的に）平均される。各ステップにおいて足し合わされるピクセルの数は、フィルタ長と呼ばれる。ローパスフィルタ長は、ピクセル数で表わされた、画像内に配置されている画像標識フィーチャの最小幅値（Marking Width Min）に等しい。
【００７２】
ステップ１０５の実行
次に、勾配値（ＧＬＶ）を決定するために、ローパスフィルタ処理されたピクセル値に対して、微分操作が行われる。微分をとるピクセルを飛ばして、その前後のピクセルの間の差分をとる中央差分法の方が、前方差分法や後方差分法より精度が高いから、中央差分法が用いられる。例えばフィルタ長が３ピクセルであり、７つのピクセルｐから成るピクセルシーケンスに対するピクセルグレーレベル値が、ｘ１、ｘ２、ｘ３、ｚ１、ｙ１、ｙ２、ｙ３である場合には、ピクセルｚ１における、ローパスフィルタ処理された勾配値は、（ｙ１＋ｙ２−ｘ２−ｘ３）／６になる。勾配値は、フィルタ長３と、中央差分に伴う因数２とを乗算した６で正規化される。
【００７３】
ステップ１０６の実行
ＲＯＩ内のピクセルｐの平均背景勾配値が算定される。標識エッジ候補を検出するために用いられた平均背景勾配値は、次の画像フレームにおける関心領域に対する勾配閾値を決定するために用いられる。各ＲＯＩにおける背景勾配値は、勾配ピークおよび勾配バレーを排除した後に残る勾配値の平均として計算される。各ＲＯＩは、標識およびその周辺の局所的なエリアしかカバーしておらず、標識は、単一の線として形成されている(一代替方策として、複数の実線を検出するために用いられる）という事実によって、ＲＯＩ内に見出される、強度が最も大きな勾配を有するエッジのほとんどは、画像標識フィーチャ７Ｌ、７Ｒのエッジに一致しており、背景の一部ではない。
【００７４】
したがって、ＲＯＩの各画像行（画像行座標ｒ）において、近接していない２つの大きな勾配（勾配最大すなわち勾配ピーク）、および近接していない２つの小さな勾配（勾配最小すなわち勾配バレー）の位置が検出されると、それぞれのうちの一方を標識に属するものとし、他方をノイズに属するものとすることができる。ローパスフィルタ処理することによって、ピクセル強度は、多かれ少なかれ弱められ、したがって、勾配エッジは鈍らされる。すなわち、ローパスフィルタは、各勾配最大位置または勾配最小位置から左側または右側に、ローパスフィルタ長の範囲内にあるピクセル位置の勾配に作用を及ぼすことができる。そこで、勾配最大位置および勾配最小位置の各々から出発して、画像行に添って左側および右側に、勾配最大値および勾配最小値を排除して、ローパスフィルタ長まで達するか、ゼロ勾配に達するか、どちらか先に達成されるまで進む。各画像行において、残余の勾配の絶対値が合計され、また勾配の数が数え上げられて、その画像行における背景勾配の総量および総数が算出される。ＲＯＩ内の全ての画像行における背景勾配の総量および総数が合計されて、そのＲＯＩにおける背景勾配の総量および総数が算出される。
【００７５】
次に、ＲＯＩにおける平均背景勾配値（すなわち、勾配閾値）が、背景勾配の総量と背景勾配の総数との比として決定される。この比に、ある定数（通常、ほぼ３．０）を掛けて、勾配閾値を得てもよい。この勾配閾値は、次の画像フレームにおいて、有意な勾配量を決定するために用いられる（検出プロセスが開始する初期状態においては、最初の道路画像に有意の勾配値を検出するために、デフォルト勾配閾値を用いてもよい）。図５Ａを参照して後に説明するように、任意選択に、ＭＡＤおよびその勾配を、前処理中に適宜計算することができる。
【００７６】
車線区分線または境界の候補点の特定（ステップ１０７〜１０９）
ステップ１０７の実行
ＲＯＩの各画像行を、左から右に横切って、連続する各勾配ピークと勾配バレーの位置を検出する。勾配値が勾配閾値以上であり、かつすぐ右側の位置の勾配値以上である位置が、勾配ピークの位置であると決定される。勾配値が、勾配閾値の負数以下であり、かつすぐ右側の勾配値以下である位置が、勾配バレーの位置であると決定される。
【００７７】
現在の画像の各画像行を、ビデオカメラ（すなわちイメージャ）から受けたときにすぐに処理することができるようにするために、計算されていた直近の勾配閾値が、現在の画像フレームに適用される。また、現在の画像フレーム中に計算された勾配閾値が、次の画像フレームに適用され、そして以下同様に繰り返される。それに代えて、勾配閾値を、同じ画像フレームにおいて計算して用いてもよい。この代替例においては、ＲＯＩ全体のピクセル値が、標識／境界検出処理ステップの前に利用可能になっている必要があり、また計算効率が低くなる。
【００７８】
ステップ１０８、１０９の実行
各画像行の勾配ピークおよび勾配バレーを特定した後、次のアクションには、各画像行において左から右に進んで、左側の正の勾配（勾配ピーク）と右側の負の勾配（勾配バレー）とを一対化するステップが含まれる。標識幅の上限および下限（ピクセル数に変換したMarking_Width_MaxおよびMarking_Width_Min）を通じて、勾配対（すなわち、勾配ピーク−勾配バレー対）が、対を形成している勾配ピークと勾配バレーとの間で適切な幅ｄ１を有しているか否かを決定することができる。適切な幅を有していれば（すなわち、勾配対が、最小でもMarking_Width_Min、最大でもMarking_Width_Maxである幅ｄ１を有していれば）、その勾配対は、画像標識フィーチャによるものである可能性がある。道路境界位置に関しては、道路境界は、単一のエッジである（すなわち、車線区分線におけるように２つのエッジが対になっていることはない）から、勾配は、一対化されることはなく、正符号のグループと負符号のグループとに分けられている。
【００７９】
十分な強度を有し（すなわち、絶対値が勾配閾値より大きい）、かつ適切な間隔を有する（すなわち、Marking_Width_Min ＜ ｄ１ ＜ Marking_Width_Maxである）勾配対は全て、ＲＯＩ内の画像の各画像行（画像行座標ｒ）において特定される。１つの画像行に複数の候補勾配対が存在する場合には、最良の候補を選ぶための選択手続きが適用される（候補勾配対は、全ての勾配ピーク−勾配バレー対から形成される）。ＲＯＩ中の画像標識フィーチャ７Ｌまたは７Ｒに対して予測される標識幅（前の画像フレームから検出された）と最も良く一致する幅ｄ１を有する候補勾配対が選択される（前の画像フレームにおいて標識が特定されていない場合には、予測される標識幅はデフォルト幅である）。画像標識フィーチャ７Ｌまたは７Ｒが、１つの画像フレームから次の画像フレームに追跡されていくとき、予測される標識幅は、追跡されている標識において以前に容認された検出幅の平均をローパスフィルタ処理することによって決定される。複数の候補勾配対が、以前の幅を用いた基準に対して、同じように一致した場合には、予測される標識中心位置に最も近い中心位置を有する候補勾配対が選択される。
【００８０】
このプロセスが、ＲＯＩ内の全画像行にわたって繰り返され、各画像行から、多くても１つの候補勾配対が、検出された画像標識フィーチャとして特定される。次いで、最適適合回帰曲線を見出すために、特定された候補勾配対（すなわち候補点）のうちの内側エッジ点（ピクセル）の位置は、多項式最小二乗適合または多項式最小中央値適合において用いられる。内側エッジ点の位置に加えて、検出された車線区分線の画像標識フィーチャにおいては、左側および右側の内側エッジの勾配量、道路境界の画像標識フィーチャにおいては、単一のエッジの勾配値が記憶される。車線区分線の画像標識フィーチャにおいては、さらに、左右の車線区分線エッジ間の平均輝度が記憶される。後に、例えば候補点を、車線区分線または道路境界に組み立てるときに、これらの情報を用いることができる。
【００８１】
曲線適合による、候補点からの車線区分線の検出（ステップ１１０〜１１５ｂ）
ステップ１１０、１１１の実行
ＲＯＩの各画像行で検出された候補点に適合曲線を通すことによって、車線区分線または道路境界を組み立てる。曲線（すなわち回帰曲線）が、十分に小さなχ2量を有しており（したがって、曲線が十分に適合しており）、現在の曲線が、容認されている直近の適合曲線の係数と一致する係数を有している場合には、その回帰曲線は、車線区分線または道路境界を表わすものとして容認される。回帰曲線が容認されなかった場合には、候補点の異なるサブセットに、曲線適合を複数回試みる必要がある場合もある。
【００８２】
ステップ１１２、１１３ａ、１１３ｂの実行
曲線のχ2量が大きすぎる（すなわち、χ2閾値より大きい）か、または曲線係数（傾き）が、容認されている直近の曲線係数（傾き）に近似してしない場合には、候補点のサブセットが選択され、このサブセットに、曲線適合プロセスが行われる。車線区分線検出においては、サブセットは、二通りに形成される。第１のやり方においては、考慮している勾配の大きさの平均を超過する、勾配の大きさを、どちらの候補勾配も有する候補勾配対だけが選択される。これによって、最大強度のエッジ点を有する候補勾配対(大きな勾配の勾配対から成る候補点）だけが用いられる。このやり方によって、十分に小さなχ2を有する適合曲線を得ることに成功すれば、現在の適合曲線の係数が、容認されている直近の適合曲線の係数と比較される。
【００８３】
ステップ１１４、１１５ａ、１１５ｂの実行
大きな勾配の勾配対から成る候補点が、χ2閾値テストおよび係数一致テストで落とされた場合には、次に、最大輝度のピクセル群を、間に挟んでいる勾配対が、曲線適合のために選択される。最大輝度のピクセル群とは、全ての勾配対の間の全てのピクセルの輝度値の平均より大きな平均輝度値（グレーレベル）を備えたピクセル群として定義される。これが成功した場合には（この場合、χ2は容認可能である）、次いで、現在の回帰曲線（適合曲線）の係数が、容認されている直近の適合曲線の係数と比較される。係数一致が容認された場合には、現在選択されている候補点は、車線区分線の画像標識フィーチャを表わしている。したがって、曲線適合は３回試みられている（１回目は、全勾配対の位置に基づいてなされ、２回目は、平均勾配より大きな勾配を有する勾配対から成るサブセットに基づいてなされ、３回目は、平均ピクセル輝度より大きな平均輝度を有するピクセル群を間に挟んでいる勾配対から成るサブセットに基づいてなされている）。
【００８４】
車線区分線検出のための３つの回帰曲線処理の全てが成功しなかった場合には、道路境界検出のための探索が実行される。これは、車線区分線が画像中に見出されなかった場合でも、まだ、道路境界の位置を示す単一の勾配が存在するかもしれないからである。したがって、以下に示す、道路境界の位置に対する処理に関する次段階は、車線区分線が見出されなかったときにのみ実行される。
【００８５】
曲線適合による、候補点からの道路境界の検出（ステップ１１６〜１２３ｄ）
ステップ１１６、１１７ａ、１１７ｂの実行
道路境界検出においては、正の勾配と負の勾配の位置が、多項式最小二乗適合または多項式中央値適合に、別々に用いられる。これは、単一の画像フレームの道路−非道路境界は、境界の視認可能な全長にわたって、同じ符号の勾配を有するということを、無理なく予想することができるからである（例えばコンクリートから草地に遷移する境界が存在する場合には、画像全体にわたって明から暗に遷移し、境界における勾配は負になるであろう）。最初の試みは、正の勾配値と負の勾配値のうちで、より多く存在する方の勾配値の位置に曲線を適合させることである（例えばほとんど負の勾配だけが存在する場合には、境界点候補の特定において、相当数の負の勾配の位置に沿って、曲線を適合させる）。同数の正の勾配値と負の勾配値が存在する場合には、最初に、負の勾配値の位置が用いられる。適合曲線（回帰曲線）のうちのいずれかが、十分に小さなχ2量を有しており（したがって、その適合曲線はデータとよく適合している）、かつ容認されている直近の適合曲線の係数にほぼ等しい係数を有している場合には、その現在の適合曲線（回帰曲線）が、道路境界を表わしているとして容認される。道路境界として検出されるためには、勾配量は、周囲状況に関係なく、単純に１つの閾値（例えば８グレーレベル）を超過していなければならない。
【００８６】
ステップ１１８ａ〜１１８ｃの実行
道路境界検出のための、勾配の回帰曲線の適合測定においてχ2の大きさが大きすぎる〔閾値（例えば２．０）に対比して決定される〕か、または回帰曲線の係数が、容認されている直近の係数に近似していない場合には、考慮している全勾配の大きさの平均値を超過する大きさを有する勾配のみを選択し、それらの選択された勾配から成る、勾配のサブセットを用いる（車線区分線検出プロセスにおけると同様に）。この勾配のサブセットに、容認可能なχ2を有する１つの曲線を適合させることができた場合には、その適合曲線の係数が、容認されている直近の適合曲線の係数とほぼ同じであるか否か、比較される。
【００８７】
ステップ１１９ａ〜１２３ｄの実行
この現在の適合曲線が、上記と同様の、係数に関するテストで落ちた場合には、プロセスは、最初に、数の少なかった方の符号の勾配の位置全部を取り上げ、次に、必要に応じて、勾配の平均の大きさを超過する大きさを有する勾配から成るサブセットを取り上げるように進む。
【００８８】
最初に、少数であった方の符号の勾配の全位置を、１つの曲線に適合させたとき、それらの位置は並ぶか否かが決定される（すなわち、χ2が十分に小さいか否か、またこの適合曲線の傾きが、容認されている直近の傾きとほぼ一致するか否かが決定される）。「ＹＥＳ」であった場合には、少数であった方の符号の勾配の位置が、道路境界に対応している。
【００８９】
χ2が大きすぎるか、または適合曲線の傾きが、容認されている直近の傾きに近似してしない場合には、少数であった方の符号の勾配の位置のサブセットが選択され、このサブセットの勾配の位置を１つの曲線に適合させたときに、ほぼ並ぶか否かが決定される（すなわち、χ2が十分に小さいか否か、またこの適合曲線の傾きが、容認されている直近の傾きとほぼ一致するか否かが決定される）。「ＹＥＳ」であった場合には、このサブセットは、道路境界を示している。このサブセットは、少数であった方の符号の全勾配の平均の大きさを超過する大きさを有する、少数であった方の符号の勾配の位置の集合である。
【００９０】
このサブセットの勾配の位置さえ、十分よく並ばなかった場合、または適合曲線の傾きが、容認されている直近の傾きと一致しなかった場合には、次に、プロセスは、画像中に測定される平均絶対偏差（ＭＡＤ）を用いたさらなる分析に進む。大きさの閾値を超過する大きさを有するＭＡＤ勾配の位置を見出すことで、この分析を開始してもよい。これらの位置に、１つの曲線を適合させたときに、χ2および適合曲線の傾きに基づいて、これらの位置が、並ぶか否かが判定される。χ2が十分に小さく、かつこの適合曲線の傾きが、容認されている直近の傾きと一致すれば、この適合曲線は容認可能である（道路境界を示している）。
【００９１】
これらの位置が十分よく並ばなかった場合、または適合曲線の傾きが、容認されている直近の傾きと一致しなかった場合には、次に、ＭＡＤ勾配の平均の大きさを超過する大きさを有するＭＡＤ勾配の位置を選択し、それらの位置に対する適合曲線のχ2および傾きをチェックすることによって、それらの位置が、並ぶか否かを判定する。「ＹＥＳ」の場合には、その適合曲線は容認可能である（これらの位置は、道路境界を表わしている）。
【００９２】
そうでなかった場合には、現在の画像フレームは「空」フレームであり、標識も境界も見出されていない。したがって、最後の、空フレームでない画像フレームの時点からの走行距離（空区間）が増加しており、空フレームのカウントもインクリメントしている。空区間が長すぎるということ、または空フレームが多すぎるということは、システムが、非常に長い期間、車線区分線や境界を見出していないということを意味している。したがって、システムは、最大幅の関心領域を用いて、その探索モードに戻る。システムは、探索モードにいることもできるし、追跡モードにいることもできることに注意されたい。
【００９３】
ＭＡＤ処理
道路と、道路を越えている部分とが、近似的に等しい平均グレーレベルまたは色を有していることはあり得ることである。これは、平均グレーレベルまたは明度を比較することによって、道路と、道路を越えている部分との間の遷移領域を識別することはほとんどできないということを意味している。したがって、この低い識別可能性のために、曲線適合（多項式適合）に利用可能な十分な数の点を得ることができなくなるか、または境界に関係ない余分で無秩序な点によって、良質な曲線適合を行うことができなくなる。このような場合には、ステップ１０４において、隣接し合うピクセルのグループの平均絶対偏差（ＭＡＤ値）が比較され、それによって、単純なテクスチャ比較が行なわれる。図５Ａの例に示されているように、局所平均を利用可能な場合には、ＭＡＤを計算するために、最初に、平均値を差し引く必要がある（例えば移動平均ローパスフィルタ処理後の前処理中に行われる）。ＭＡＤを得るために、和（｜Ｐ｜＋｜Ｑ｜＋｜Ｒ｜）が、フィルタ長（この例では、３である）で割られる。各画像行において、ＭＡＤを計算するために用いるピクセル数は、フィルタ長に等しい。したがって、ローパスフィルタ処理と、ＭＡＤ計算とを容易に結びつけることができる。さらに、ステップ１０５において、各ピクセル位置で、ＭＡＤ値が生成される。道路エッジを越えたエリアは、道路と異なるテクスチャを有するであろうから、画像の道路エリアと非道路エリアとは、相異なるＭＡＤ値を有するであろう。ＭＡＤ値は、車線区分線を見出すために用いられた中央差分などの数値微分係数と比較され、相異なる２つのテクスチャの境界に対応する、差の閾値を超過する差を有する位置が記憶される。各画像行においてＭＡＤ値を計算した後の前処理中に、数値微分を行なうことができる。上述と同じ中央差分操作を、車線区分線検出の場合と同様に、ＭＡＤ値の計算においても用いることができ、それと適宜に組み合わせることができる。図５Ｂは、車線境界標識を含んでいる車道の画像を示しており、図５Ｃは、図５Ｂの画像をＭＡＤフィルタに通した後の、ＭＡＤ画像における勾配を示している。ＭＡＤフィルタ処理することによって、道路エリアおよび車線区分線エリアは、一般に、相対的に低いＭＡＤ値（暗色）を有するようになり、車線区分線のエッジは、一般に、相対的に高いＭＡＤ値（明色）を有するようになる。
【００９４】
さらに、ステップ１２１ａにおける比較は、単純な閾値を用いて行われる。その閾値を超過する大きさを有するＭＡＤ勾配の全ての位置が記憶される。このような位置は、例えばアスファルトと草地との間の境界に存在し得るテクスチャの局所的変化に対応する。このテクスチャは、画像において認識可能でなければならず、かつビデオカメラによって解像されなければならないから、この方法は、一般に、ビデオカメラ近傍で最もよく働く。さらに、ステップ１２１ｃにおいて、閾値を超過する大きさを有するＭＡＤ勾配の位置に適合させた最小二乗曲線が、容認可能な結果を与えた場合には、その最小二乗曲線の係数が、容認されている直近の最小二乗曲線の係数と比較される。妥当性の判定の主要件（適合曲線のχ2および係数で判定される）が満たされない場合には、ステップ１２２ａにおいて、ＭＡＤ勾配の平均の大きさを超過する大きさを有するＭＡＤ勾配の位置だけが、上述の３段階式と同様に、候補点に対する２番目のデータ適合の試みのために用いられる。適合曲線の適合度および容認されている直近の適合曲線の傾きとの一致度が、上述と同様にテストされる。
【００９５】
このように、データに対する最大９つまでの複数の試みを組み合わせることによって、また複数のタイプのデータを用いることによって、路面標識または境界を見出す尤度が増す。したがって、この方法は、従来の方法より優れている。
【００９６】
移動平均フィルタ長
移動平均フィルタ長は、最小画像標識フィーチャサイズから始めて、標識モデルベースの機能４３（図２Ａ）によって決定される。標識に対する１つのモデルを適用し、このモデルに一致する、道路画像の部分（ＲＯＩ窓内の）を見出すことによって、標識は見出される。このモデルは、標識の既知の最小寸法および最大寸法、周期性（ダッシュ−ギャップタイプ標識における）、および背景に対するコントラストを利用する。標識は、直線に近いと仮定する。そうすると、標識候補点（ピクセル）に適合させた直線は、実際の標識形状とよく一致する。ただし、これは必要不可欠なことではない。最初のステップは、標識８Ｌ、８Ｒの道路上の寸法を、画像面内の対応する画像標識フィーチャ７Ｌ、７Ｒの寸法に変換することである。
【００９７】
現実の標識８Ｌ、８Ｒのサイズおよび周期性は、ビデオカメラの焦点距離ＦＬ、および道路４に対するビデオカメラの高さｈに基づいて、画像面２０１内の対応する画像標識フィーチャ７Ｌ、７Ｒのサイズおよび周期性に変換される（図６Ａ）。具体的には、ビデオカメラ１の傾斜角α、ビデオカメラ１の高さｈ、道路４上の点２０３（Ｐ）までの、ビデオカメラの前方の縦方向距離（ｘ＝ｄ）、垂直方向ピクセルサイズＶｐ、焦点距離ＦＬ、および画像面内の画像行座標ｒ（光軸２０５に相対的に測った）の間の関係は、数１によって記述される。
【数１】
【００９８】
さらに、画像行座標ｒおよび画像列座標Ｗのピクセルｐ〔水平方向ピクセルサイズＨｐおよび垂直方向ピクセルサイズＶｐ（図６Ｂ)〕は、次のように、前方道路上の横方向距離ｙ（図３Ａ）の点を映し出す。
Ｗ ＝ ｙ＊（ＦＬ2＋ｒ2＊Ｖｐ2）1/2／Ｈｐ＊（ｈ2＋ｄ2）-1/2 （２）
この式を書き換えると、次のようになる。
ｙ ＝ Ｗ＊Ｈｐ＊（ｈ2＋ｄ2）1/2／（ＦＬ2＋ｒ2＊Ｖｐ2）1/2 （３）
【００９９】
画像行座標ｒおよび横方向距離ｙは、ビデオカメラ１の光軸、またはビデオカメラ１の光軸を前方道路上に垂直に投影した直線に相対的に測定される。
【０１００】
横方向距離ｙを最小標識幅にとると、標識点までの距離が知れれば、ビデオカメラの前方の縦方向距離ｄが決定され、次に、最小標識幅に対応する画像標識フィーチャ内に存在するピクセル数を表わす画像列座標Ｗが決定される。ピクセル数は、ビデオカメラの前方の縦方向距離ｄに応じて、したがって、画像面上で、それに対応する画像行座標ｒに応じて変化する。垂直方向のピクセルサイズと水平方向のピクセルサイズとは、互いに異なっていてもよい。
【０１０１】
最小標識幅に対応する画像標識フィーチャ内に存在するピクセル数が決定されると、ピクセル数を単位とした適切な大きさでフィルタ処理することによって、より小さな（ピクセル数の少ない）画像標識フィーチャは、考察から取り除くことができる。標識の幅に対応するピクセル数は、ビデオカメラから標識までの距離〔投影距離（ＰＤ）〕に応じて変化することに注意されたい。例えば図７の例に示されているように、同じサイズの標識８Ｌまたは８Ｒが、ビデオカメラから遠いところでは、画像上で相対的に少ないピクセルしか占めず、ビデオカメラから近いところでは、相対的に多いピクセルを占める。言い換えると、一定の最小標識幅に対して、画像の頂近傍の画像行においては、画像の底近傍の画像行などにおけるよりも短い移動平均フィルタ長が用いられる。したがって、最小標識幅から計算される移動平均フィルタ長は、画像中の画像行の位置に応じて変化する。標識幅が同じであっても、上方の画像行（道路上では遠方）においては、下方の画像行（道路上では近傍）におけるよりも短い移動平均フィルタ長が用いられる。
【０１０２】
係数一致
上述したように、候補点（ピクセル）への適合直線に対する容認（妥当性）テストは、適合直線の傾きの長期にわたる連続性（複数の画像フレームにわたる、曲線の係数の近似性）が確立されて、はじめて合格になる。これは、車線区分線または道路境界は、画像において、画像フレームから画像フレームへと急激に方向（傾き）を変更しないからである。
【０１０３】
現在の画像フレームの候補ピクセルに対する適合直線の傾きを、容認されている直近の適合直線の傾きに基づく期待値と比較する。現在の画像フレームｋにおける傾きをｍ（ｋ）で表わし、１回以上継続して容認されている適合直線の傾きをｆｍ（ｋ）で表わすと、現在の適合直線の傾きは、次の条件が満たされたときに容認可能になる。
｜ｍ（ｋ）−ｆｍ（ｋ）｜ ＜ slope_error （４）
【０１０４】
ここで、slope_errorは、どれぐらい多くの画像フレームの前に、容認可能な適合直線の傾きが検出されていたかに基づいて選択される。それが前であればあるほど、その傾きが現在も検出されることは、より不確実になり、より大きなslope_errorが用いられる。図８は、許容可能な傾き誤差、および、その時間経過に伴う増加の一例を示している。時刻ｔＧ〔その時刻まで、容認可能な適合直線の傾きが存在していた（容認可能とは、値がそれ以前の値に近似しているということを意味している）〕と時刻ｔＦとの間で、許容可能な傾き誤差は、最小値Ｍｉｎから最大値Ｍａｘまで、線形に増加する。図８は、さらに、時刻ｔＧおよびｔＦにおいて、予想される画像標識フィーチャ１５２に関して許容可能な傾きの範囲、および１つの候補適合直線／曲線１５０の傾き（一様な係数）が、許容可能な傾きの範囲外にある例を示している。要求される範囲内にある傾きを有する容認可能な適合直線が見出された場合には、新しく容認された測定値がローパスフィルタに通され、以前の測定値と混合されて、フィルタ処理された現在の傾きｆｍ（ｋ）が更新される。このローパスフィルタは、ＩＩＲ（Infinite Impulse Response：無限インパルス応答）タイプであり、更新された傾きｆｍ（ｋ）は、次のように与えられる。
ｆｍ（ｋ） ＝ ａ＊ｆｍ（ｋ−１） ＋ （１．０−ａ）＊ｍ（ｋ）
【０１０５】
データのサブセットにおいてさえ、十分に小さいχ2を有する適合直線が見出されないということはあり得る。さらに、十分に低いχ2を有する適合直線は見出されるが、この適合直線は、上述の傾きの誤差に関する条件式（４）を満たさない（予想される傾きに近似性高く一致する傾きを有する直線にならない）ということもあり得る。どちらの場合においても、このプロセスにおいて、条件式（４）が試される次回において、適合直線の傾きに関する不確実さの増加が考慮に入れられる。その結果、slope_errorは、数２のように、連続する空フレーム数の増加に伴って増やされる。
【数２】
【０１０６】
二次曲線またはより高次の曲線が、勾配算定から見出された候補点に適合した場合には、画像内の直線の傾きに対する上述の条件式（４）に、二次の項（および場合によっては、より高次の項）の変化の大きさを考慮に入れる項目が含められる。二次の項は、画像面において適合させた多項式の曲率に関連しており、許容される係数変化（Allowed change in coefficient）は、数３で記述される。
【数３】
【０１０７】
空フレームの数は、システムが容認可能な境界または標識を見出していない時間と等価である。空フレームおよび空区間の決定および利用の例を、次に説明する。
【０１０８】
空フレーム、空区間のカウント
どれくらい長く、またどの程度に、容認可能な（妥当な）適合曲線が検出されていないかを決定するために、空フレームの数および空区間の長さが更新される。容認可能／妥当であるか否かは、χ2の大きさに基づいて、候補点に対する適合直線の構築に成功した時に、次に、その傾き（係数）の近似性テストに基づいて決定される。図９は、空フレームおよび空区間の測定（カウント）を行う追跡プロセス２００の一例を示している。具体的には、図９は、空フレームおよび空区間のカウントの更新の仕方、および、標識の予想される位置に基づいて、連続する画像フレームにおいて標識を追跡するモードからの、空フレームおよび空区間のカウントが容認可能な限界を越えたときに、画像フレーム中に標識を探索するモードへの移行に対する、カウントの適用の仕方を示している。追跡プロセス２００は、次のステップを含んでいる。
ステップ２０１：現在の画像のＲＯＩ内の候補点（ピクセル）に対して、容認可能なχ2特性を有する適合曲線（または適合直線）を備えた車線区分線／境界候補モデルを見出すことによって、現在の画像フレームにおいて標識を追跡する。
【０１０９】
ステップ２０２：車線区分線／境界候補モデルの傾き（一様な係数）が、以前の画像から予想される傾きの許容可能な範囲内にあるか否かを決定する（図８）。「ＹＥＳ」である場合には、プロセスはステップ２０３に進み、そうでない場合には、ステップ２０４に進む。
【０１１０】
ステップ２０３：空フレームおよび空区間のカウントをリセットする（例えば０に）。次いで、次の画像フレームにおいて標識を追跡するために、プロセスはステップ２０１に戻る。
【０１１１】
ステップ２０４：空フレームのカウントを１だけインクリメントし、空区間を、車両の走行距離Ｖ＊Δｔだけインクリメントする。ここで、Ｖは現在の車両速度、Δｔ＝（ｔ２−ｔ１）は画像フレーム継続期間である。
【０１１２】
ステップ２０５：最大容認可能な空フレーム値または空区間値に到達しているか否かを判定する。「ＹＥＳ」である場合には、プロセスはステップ２０６に進み、そうでない場合には、次の画像フレームにおいて標識を追跡するために、ステップ２０１に戻る。
【０１１３】
ステップ２０６：追跡モードを停止／中止し、次の画像フレームにおいて、標識／境界の探索モードに入る。
【０１１４】
追跡プロセス２００によれば、容認可能な適合曲線が存在しない全ての画像フレームに対して、空フレームのカウントは１だけインクリメントされる。容認可能な適合曲線が見出されたときには、空フレームのカウントは、０にリセットされる。同様に、容認可能な適合曲線が存在しない全ての画像フレームに対して、空区間は、直前の画像フレームにおいて車両が道路上を走行した距離（現在の車両速度＊画像フレーム継続時間）だけインクリメントされる。容認可能な適合曲線が見出されたときには、空区間は、０にリセットされる。
【０１１５】
追跡プロセス２００は、空フレーム値および空区間値を更新するステップ、およびいずれかの値が大きくなりすぎた場合には、追跡を中止するステップを含んでいる。追跡が中止された場合には、システムは探索モードに戻り、それ以前の画像における標識検出に基づく、標識の予想位置に頼ることなく、標識を新たに探索するために、境界／標識を見出すための窓すなわちＲＯＩを、その最大サイズおよびデフォルト位置に戻す。
【０１１６】
次に、車線区分線および道路境界の検出に対する、さらなる精度向上を説明する。第１に、境界検出領域の横方向位置および幅の精度を向上させることができる。第２に、上述の基本的な標識検出を改善するために、ダッシュ−ギャップタイプ車線区分線の周期性を考慮に入れることができる。
【０１１７】
境界検出領域（ＲＯＩ）の横方向位置および幅
この精度向上は、関心領域横方向設定モジュール３４（図２Ａ）によって実行され、画像の左端／右端に相対的に、画像３内のＲＯＩの水平方向の位置および幅が決定される（全て、ピクセルを単位として）。次に説明するように、道路境界は、道路画像内のＲＯＩの２種類のサイズにおいて探索される。ＲＯＩのこれらのサイズのどちらが用いられるかは、以前に、上述の空フレームおよび空区間のテストを受けた画像フレームにおいて、境界が検出されていたか否かに関係している。ある画像フレームにおいて、空フレーム値および空区間値が大きくなりすぎている場合には、システムは、次の画像内に標識を検出するためのガイドとして用いることができる、現在の画像のＲＯＩ内に予想される標識の位置を見出していない。この場合には、ＲＯＩのサイズは、最大になるように選択され、またＲＯＩは、長期にわたって平均化された、道路の地平線の消失点ＶＰを通る垂線に関して対称に配置される（図３Ｂ）。最大ＲＯＩにおける標識の検出は、ＲＯＩ内の道路のほぼ中央に位置するように、かつハイウェイ速度で概ね妥当と予想される標識に、ある程度平行になるように行われるのが好ましい。画像３内の両ＲＯＩ（図３Ｂ：ＲＯＩ−Ｌ、ＲＯＩ−Ｒ）間の距離、および各ＲＯＩのサイズは、道路４上の対応する両平行四辺形（図３Ｃ：１６０Ｌ、１６０Ｒ）間の距離が、デフォルト横方向車線区分線間隔（例えば約３．６メートル）となり、道路４上の各平行四辺形の幅が、デフォルト幅（約２．３メートル）となるように選択される。画像標識フィーチャ７Ｌ、７Ｒは、最大ＲＯＩの内部のどこかにあってもよく、一側面上または両側面上にあってもよく、そして、上述の検出プロセス１００によって検出される。図３Ｃは、いくつかの例示的な寸法を簡潔に示している。
【０１１８】
次に、画像標識フィーチャが、現在の画像のＲＯＩ内に検出されると、ＲＯＩ領域のサイズが、その内部の標識ピクセルの位置に関連付けて算出される。これによって、各ＲＯＩのサイズを縮小し、検討の対象からノイズを排除することができる。そのために、次の画像フレームから始まる、それ以降の標識の追跡が改善される。標識検出領域であるＲＯＩは、ＲＯＩ内の予想される画像標識フィーチャ１５２の位置の不確実さの程度（図８）に比例して大きさを定められる。予想される画像標識フィーチャの位置の不確実さの程度は、全ての測定に用いられるカルマンフィルタによって定められる。ＲＯＩの最小可能な幅は、ピクセルで±（最小標識幅の２倍）である、すなわち、路上７．５センチメートルの標準的な最小標識幅に対して、およそ３０センチメートルの路上全幅となる。
【０１１９】
境界検出領域（ＲＯＩ）の縦方向位置
この精度向上は、関心領域縦方向設定モジュール３３（図２Ａ）によって実行される。ＲＯＩ（図３Ｂ：ＲＯＩ−Ｌ、ＲＯＩ−Ｒ）は、画像３において垂直方向に配置され（画像の頂／底に相対的に）、それらの垂直方向の長さは、ビデオカメラ１の前方の近接距離および遠方距離の道路上の位置という観点から、道路上の対応する平行四辺形（図３Ｃ：１６０Ｌ、１６０Ｒ）の縦方向距離に基づいて選択される。最高性能を得るために、道路４上の各平行四辺形の近接エッジ１６２を、ビデオカメラ１に可能な限り近づけることが有利である。その結果、ビデオカメラの景色の不明瞭さがより少なくなり、解像度が最良になり、よりよい検出精度が可能になる。各平行四辺形の近接エッジ１６２は、通常、車両のボンネット端（それが存在すれば）を越えて、約５〜7メートル離れた位置にある。ＲＯＩの近接エッジ（画像３の底に近い）は、道路４上の対応する平行四辺形の近接エッジ１６２の距離に基づいて決定される。
【０１２０】
各ＲＯＩの遠方エッジ（画像３の頂に近い）においては、イメージャのピクセルサイズによって与えられる物理的な限界が存在する。標識が識別可能であるためには、標識は、幅方向に、少なくとも２つのピクセルにわたっていなければならない。ローパスフィルタ処理において、画像内の標識は、少なくとも２つのピクセルにわたって広がっているべきである。そうすると、単一ピクセルのノイズの影響が弱められる（形成することができる最も小規模な平均は、ただ２つの値の平均を見出すことである）。このことが、各ＲＯＩの遠方エッジの、画像３の頂からの距離を制限する。より大きな路上距離における標識の探索は、ピクセルがかなり小さかったとしても、画像内で探索すべき正確な場所に関して不明瞭さを増大させ、不確実さの程度を大きくする可能性があるために、困難になるであろう。したがって、ＲＯＩは、十分に長いけれども、ダッシュ−ギャップタイプ標識の２つのダッシュ間に１つのギャップをはさみ、かつそれらの２つのダッシュの有効長を含む程度に選択するべきである。画像３内の関心領域ＲＯＩ−Ｌ、ＲＯＩ−Ｒの垂直方向の長さ（ピクセルを単位とした）は、対応する平行四辺形１６０Ｌ、１６０Ｒの望ましい縦方向の長さ（例えば平行四辺形１６０Ｌ、１６０Ｒの縦方向の長さは、道路上、約１５メートルであり得る）に基づいて選択される。
【０１２１】
ダッシュ−ギャップタイプ標識の特性解析（ダッシュ−ギャップタイプ標識の学習縦方向モデル）
この精度向上は、ダッシュ−ギャップタイプ標識の特性解析の機能４７（図２Ａ）によって実行される。ダッシュ−ギャップタイプの車線区分線は、ダッシュ間に標識の欠けたエリアすなわちギャップを含むために、確実な情報を、連続車線区分線より少なくしか与えない。この確実性の低下のために、特にダッシュ間のギャップにおいて、検出器が標識に似た他の物体を誤認する可能性が生じる。ダッシュ−ギャップタイプ標識の特性解析の機能４７によって、ダッシュ−ギャップタイプ標識のパターンが学習され（例えばその標識は、５メートルの長さのダッシュ、２メートルの長さのダッシュ間ギャップを有しており、次の画像フレームにおいて、１．３メートル遠方で、次のダッシュが始まる）、次いで、ダッシュ間のギャップ内に存在する、画像標識フィーチャに似た断片が考察から除外される。これによって、標識に似た他の物体が追跡を混乱させ得る状況において、ダッシュの追跡が改善される。
【０１２２】
図１０を参照すると、一例において、ダッシュ−ギャップタイプ標識は、ダッシュ１７０とギャップ１７２との連続として定義される。機能４７によって、測定において空隙からダッシュが特定される。各画像フレームにおける標識検出によって、その画像におけるダッシュ−ギャップパターンが構築される。ダッシュ−ギャップパターンを形成するために、連続する画像行における標識検出結果が、一緒に集められる。各ダッシュの始点および終点の画像行の位置が、ビデオカメラからの道路距離に変換される。ダッシュ−ギャップタイプ標識パターンが、ビデオカメラから、検出された各ダッシュの始点および終点までの距離によって表わされる。
【０１２３】
車両が道路に沿って走行するにつれて、重ね合わされるダッシュ−ギャップタイプ標識パターンが、自動的に蓄積される。連続する２つの画像フレーム間において、車両が走行する距離が分かるから、この重ね合わせは可能である。その走行距離は、（Ｖ＊Δｔ）である。ここで、Ｖは車両速度であり、Δｔは連続する２つの画像フレーム間の継続時間である。図１０に示されているように、以前の画像に示されている標識パターンを、走行距離量（走行距離量は走行時間にわたって累積される）だけ車両側に滑らせ（後ろに移動させ）、現在の画像に示されている標識パターンを組み入れることによって、それらの画像フレームで検出された標識パターンの、走行距離量で補正された時間履歴が蓄積される。その時間履歴は、各ダッシュの始点および終点（したがって、各ギャップの始点および終点）の車道に沿った位置を示している。
【０１２４】
特定のダッシュが、新しい画像で観察されるたびに、その特定のダッシュの始点および終点の位置が、以前に算定されている始点および終点の位置と新しく観察された位置との関数として更新される。各ダッシュの長さＬＤは、そのダッシュの終点から始点までの距離として決定される。各ギャップの長さＬＧは、１つのダッシュの始点から、その前のダッシュの終点までの距離として決定される。ダッシュ−ギャップタイプ標識の特性解析の機能４７の遂行時、ダッシュ−ギャップタイプ標識を検出するプロセスにおいて、所定の最小ダッシュ長および最大ダッシュ長によって定められるダッシュ範囲、および所定の最小ギャップ長および最大ギャップ長によって定められるギャップ範囲が用いられる。定められた範囲外にある間隔が観察された（ダッシュかギャップのいずれかで）場合には、常に、ダッシュ−ギャップタイプ標識が終了していると考える。
【０１２５】
定められた範囲内にある少なくとも３つの間隔（ダッシュ−ギャップ−ダッシュかギャップ−ダッシュ−ギャップのいずれかの）が観察されたときには、その標識は、ダッシュ−ギャップタイプ標識として分類される。このとき、このモデルは、既に、続く画像フレームにおけるダッシュおよびギャップの位置を予測するために利用することができるほどに十分に学習している。次の画像フレームにおけるダッシュ−ギャップパターンの位置は、現在のダッシュ−ギャップパターンを、車両側に、（Ｖ＊Δｔ）だけ滑らせることによって予測される。各ダッシュの予測された始点および終点までの距離が、対応する画像行座標に変換される。ダッシュの位置であると分かっている画像行において標識検出が行われ、かつギャップの位置であると分かっている画像行において標識検出が拒絶されるフィルタが構築される。
【０１２６】
さらに、既知のダッシュおよびギャップの長さが、ダッシュ−ギャップパターンの観察に先立って、画像内のダッシュおよびギャップの位置の予測のために用いられる。ダッシュの間隙および長さ内に、なんらかのノイズが存在するかもしれないから、道路上のダッシュの各端部に、不確実領域が割り当てられる。その不確実領域で検出されたものが標識に属しているものであれば、容認される。この不確実領域は、例えば０．５メータルの長さであり、各ダッシュ領域の両端に設けられる。発明者による、実際の車道データを用いた広範な実験によって、車両が移動するにつれて、標識パターンは頻繁に変化することが明らかになった。このため、予測は、直近に観察されたダッシュまたはギャップの端点を超えて、１つのダッシュ−ギャップ距離までに制限される。
【０１２７】
ダッシュ−ギャップ予測（モデル）の適用の一例が、図１１に示されている。画像から入ってくる標識構造１６９（左端に示されている）が、フィルタ１７１（中央に示されている）に通され、その結果、フィルタ処理されたダッシュ−ギャップタイプ標識１７３（右端に示されている）が生成される。ブロック１７７は、道路上に見出される実際のダッシュ−ギャップタイプ標識の断片を表わしている。それらのうちのいくつかはノイズであるかもしれない。フィルタ処理プロセスを用いることによって、ダッシュ間のギャップおよび不確実領域１７５内にある、画像中の標識に似た物体は、画像からの道路標識の構築に用いられない（曲線適合に用いられない）。路面標識の容認に当たって、ある長さの不確実領域１７５を準備して、ダッシュ間のギャップ内にある標識候補を排除する（例えばそのような不確実領域は、そこに見出される標識片の容認を可能にするために、予想される各ダッシュの位置の端部の０．５メートルの領域であってもよい）。
【０１２８】
日中操作と夜間操作で異なるパラメータ
昼夜差の機能４５ｂ（図２Ａ）は、この精度向上において実行される。外界センサが日中なのか夜間なのかを判断し、その情報が、昼夜差の機能４５ｂにおいて用いられる。日中操作と夜間操作とで、互いに異なる物理的寸法／閾値が用いられる。これによって、日中に検出されるもの（例えばボッツドッツ）と夜間に検出されるもの（例えば夜間になってはじめて見えるようになることが多い、ボッツドッツと異なるサイズを有するリフレクタ）との外観の差が補償される。さらに、もっとずっと細かくて無関係な物体が、夜間におけるよりも日中において見える傾向がある。日中と夜間とで異なるように調節される寸法／閾値を用いることによって、検出システムは、イメージャ／ビデオカメラがどのように道路を「見る」かを調整する。例えば夜間においては、画像にブルーミングが生じるかもしれないということが考慮される。ブルーミングとは、イメージャ（ビデオカメラ）が、夜間には、あまり明るい物体を扱うことができないという状態を記述する用語である。明るい物体による画像フィーチャは、その物体に対応するピクセルの隣のピクセルまでおよぶ。すなわち、ブルーミングが生じて、画像の光景が変化する。
【０１２９】
標識は、日中と夜間とで、互いに異なって見える。この外観の違いは、夜間には、指向性のある照明（ヘッドライト）が用いられるのに対して、日中には、一般に、より一様な照明が用いられるという事実に起因する。リフレクタのようないくつかの標識は、それらの指向性のある反射のために、日中よりも夜間において、はるかによく見える。
【０１３０】
日中状態と夜間状態との間で調整される寸法／閾値には、標識のサイズ、適合線を容認するために必要な候補点の数、標識の最小コントラストなどがある。アルゴリズムにおいて用いられる全ての寸法は物理的寸法であり、道路面内で測定される。
【０１３１】
標識の最小コントラストは、次のように調整される。道路が非常に一様であり、したがって、そのビデオ画像が、非常に低い平均勾配しか有しない場合があり得る。平均勾配が低いと、ノイズを、勾配ピークまたは勾配バレーに関係する重要な信号として容認してしまうことがあり得る。そのために、画像内に勾配ピークおよび勾配バレーを見出すために用いられる閾値は、少なくとも、ある一定の最小の大きさの値（例えば１〜２５５、好ましくは８〜２０の範囲の）を有するべきである。画像に多くの勾配が見出される、ノイズの多い道路では、背景勾配は、その最小値より大きな、高い平均値を有するであろうが、非常に一様に見える道路では、その最小値は、低い勾配しか有しない標識片が誤って特定されることを防止する。
【０１３２】
その他の精度向上
検出プロセスを、カラー画像に適用することができる。本明細書において用いられている基本的な基準は、ピクセルのグレーレベル勾配による分離である。画像中の標識を背景から分離するために、色分離（例えばピクセルのＲＧＢ色値間のユークリッド距離）を用いることもできる。さらに、標識に属する可能性があるとして容認されるピクセルの色を、限定してもよい（例えば標識は緑色ではないであろう）。標識に属するとして容認されるピクセルは、近似閾値（例えば８ビットのカラーイメージャにおいて、１〜４４３の範囲にあり、約２０であってもよい）によって限定されるほど十分に、標識の距離依存性の色値の平均に近い色値を有する必要があるとしてもよく、また長期にわたってフィルタ処理されてもよい。距離依存性は、異なる距離に到達した光の角度／色の差に由来して発生する。
【０１３３】
さらに、道路上の標識を記述するために用いられる物理的な寸法は、さらに、道路上で、標識までの距離が増すにつれて、画像において、標識のフィーチャがより小さくなることを意味している。標識を記述するために、少数の一定数のピクセルを用いることもできる。しかしながら、それは、中間領域以外の領域において、実際の標識サイズと一致しない。
【０１３４】
さらに、状況が好ましいものである（例えば多数の勾配対が見出されており、χ2が小さい）場合には、ゾーン優先度スキームを用いることもできる。それによって、ダッシュ−ギャップタイプ標識のダッシュの、前方および後方への有限の外挿（例えば両端において１．５メートル）を行うことが可能になる。この有限の外挿によって、まばらにしか存在しない標識の実効充填率が増加する。最初の直線適合に先立って、データのさらなる純化を行なうことができる。目的は、整然とした直線を形成するように見えるサンプルを保存し、「それた」検出物、すなわち、整然とした直線のように見える検出物の近傍にない検出物を排除することである。
【０１３５】
標識は、ＲＯＩの縦方向軸に概ね平行であるから、ＲＯＩを、いくつか（例えば図１２に示されているように３つ）の縦方向に延びたゾーンに分割することができる。それらのゾーンの中央ゾーンに対して０、内側ゾーンすなわちビデオカメラに近いゾーンに対して１、外側ゾーンすなわちビデオカメラから遠いゾーンに対して２と番号を付ける。各ゾーンは、標識に対する車両の相対的位置が変化するにつれて、その標識が存在すると予想される車道のエリアを表わしている。予測される標識空間、すなわち中央ゾーンは、標識検出に対して最高優先度を有している（標識または境界を含んでいる確率が最も高いことを表わしている）。ゾーンが中央ゾーンから離れるにつれて、優先度は減少する。各ゾーンにおいて、検出回数が数えられる。次のルールを用いて、最も検出回数が多い単一のゾーン、または隣接し合う２つのゾーンから成るゾーン対が決定される。
内側ゾーンにも外側ゾーンにも検出物がない場合には、中央ゾーンの標識片の検出物が用いられ、
内側ゾーンと中央ゾーンとの両方に、十分な標識片の検出物が存在する場合には、直線適合のために、これらの標識片の検出物が保留され、
外側ゾーンと中央ゾーンとの両方に、十分な標識片の検出物が存在する場合には、直線適合のために、これらの標識片の検出物が保留される。
【０１３６】
このルールの効果は、中央ゾーン、または、中央ゾーンと内側ゾーンまたは外側ゾーンとの組み合わせを優先するということである。内側ゾーンにおいて検出される標識は、外側ゾーンにおいて検出される標識よりもビデオカメラに近く、したがって、より重要であるから、内側ゾーンが最初にチェックされる。中央ゾーンまたはゾーン対の外部にある検出物は、それているものとして排除される。正味の効果は標識を保留し、画像ノイズを排除することであり、それによって、境界または標識の位置特定を改善することである。
【０１３７】
図１３は、上述の、図２Ｂのステップ１１０において用いられる最小二乗直線／曲線適合例５５０を示している。この最小二乗直線／曲線適合例５５０によれば、曲線／直線適合は、データ点５５２（例えばピクセルｐすなわち画像標識フィーチャ片）から適合曲線／直線５５４までの距離ｄｓの合計を最小にすることによって最小二乗適合を行うステップを含んでいる。最小二乗適合によって、１セットのデータ点に最も適合する曲線が見出される。例えば図１３に示されているように、適合曲線または適合直線（図１３では適合直線が示されている）は、各点５５２から適合曲線または適合直線５５４までの距離ｄｓの合計が最小になるまで調整される。これは、データ点から適合直線／曲線までの平均距離を最小にすることと等価である。最小中央値適合は、データ点から適合直線／曲線までの距離の中央値を最小にする。さらに、例えば標識の位置が遠くなればなるほど、不確実さの程度がより大きくなることを考慮に入れた他の曲線／直線適合アプローチを用いることもできる。その適用において、データ点の各セットに対して、直線適合は、データ点の各セットにおける最も近いデータ点と最も遠いデータ点とを含む、それらの間の全てのデータ点（ｘ、ｙ）に対する適合直線を決定するステップを含んでいる。用いられる直線適合方法は、次のように、適合させるために利用可能なデータ点の数に依存する。厳密に２つのデータ点だけが利用可能な場合には、直線適合は、単純に代数的な直線適合を実行するだけである。３つ以上のデータ点が利用可能な場合には、１本の直線が全てのデータ点を通過するということはないであろうが、近似スキームを、データ点に十分によく適合させることができる。したがって、その直線適合は、標準的な最小二乗法または最小中央値法に似た直線適合を行うステップを含んでいる。どちらの場合にも、道路面内の縦方向距離ｘおよび横方向距離ｙは、次のように表わされる。
ｙ ＝ （傾き）＊ｘ ＋ （切片）
ここで、傾きを、前方の最も近い距離と最も遠い距離との平均（ＡＶ）によって割ると、曲率が与えられる。
【０１３８】
要約すると、本発明の実施形態は、道路画像から、車線区分線および／または道路境界を検出して、道路を進む車両のガイドを補助するために用いられるプロセスを提供する。候補ピクセルに対する多項式適合の複数の回数にわたる試みによって、他の方法よりも確実かつ厳密に、車線区分線および道路境界を検出することができる。さらに、道路と周囲との平均強度（グレーレベルまたは色レベル）が同程度である場合には、平均絶対偏差比較を用いることによって、画像中に標識エッジを検出することが可能になる。
【０１３９】
本発明による上記のプロセスは、リアルタイムで実行することもできるし、記憶した像に対して実行することもできる。このプロセスは、また、前処理段を有する単一のＣＰＵ、または複数のＣＰＵ上で行うことができる。さらに、当業者には公知のように、本発明による前述のプロセスは、プロセッサによる実行のためのプログラム命令、論理回路、特定用途向け集積回路、ファームウエアなどの多くの方法で実行することができる。本明細書には、本発明が、そのいくつかの好適なバージョンに関して、かなり詳細に説明されている。しかしながら、他のバージョンも可能である。したがって、請求項の精神および範囲は、本明細書に含まれている好適なバージョンの記述に限定されるべきではない。
【符号の説明】
【０１４０】
１ ビデオカメラ
２ 車両
３ 画像
４ 道路
５ コントローラ
６ 車線境界検出システム
７Ｌ、７Ｒ 画像標識フィーチャ
８Ｌ、８Ｒ 標識
９ 車線逸脱検出システム
１０ カメラ較正モジュール
１１ 警告モジュール
２１ 画像前処理モジュール
２２ 車線区分線検出モジュール
２３ 道路エッジ検出モジュール
３１ 関心領域配置モジュール
３２ 勾配計算モジュール
３３ 関心領域縦方向設定モジュール
３４ 関心領域横方向設定モジュール
３５ ＭＡＤ計算モジュール
４０ 面
４１ａ、４１ｂ、４２ａ、４２ｂ、４３、４４ａ、４４ｂ、４５ａ、４５ｂ、４６ａ、４６ｂ、４７ 機能
５０ 車線（道路）曲率測定システム
６０ サンプラー
１５０ 候補適合直線／曲線
１５２ 予想される画像標識フィーチャ
１６０Ｌ、１６０Ｒ 平行四辺形
１６２ 近接エッジ
１６９ 画像内の標識構造
１７０ ダッシュ
１７１ フィルタ
１７２ ギャップ
１７３ フィルタ処理されたダッシュ−ギャップタイプ標識
１７５ 不確実領域
１７７ ブロック
２０１ 画像面
２０３ 点
２０５ 光軸
５５０ 最小二乗直線／曲線適合例
５５２ 点
５５４ 適合直線
ｄ ビデオカメラの前方の縦方向距離
ｄ１ 幅
ｄｓ 距離
ＦＬ 焦点距離
ｈ ビデオカメラの高さ
Ｈｐ 水平方向ピクセルサイズ
Ｈｔ 高さ
ｌｅ 左エッジ
ＬＤ ダッシュの長さ
ＬＧ ギャップの長さ
ＬＯ オフセット距離
ｐ、ｐ1、ｐ2 ピクセル
Ｐ、Ｐ1、Ｐ2 点
ｒ 画像行座標
ｒｅ 右エッジ
ｒｓ 画像行セグメント
ＲＯＩ−Ｌ、ＲＯＩ−Ｒ 関心領域
Ｖｐ 垂直方向ピクセルサイズ
ＶＰ 消失点
Ｗ 画像列座標
Ｗｔ 幅
ｘ 縦方向距離
ｙ 横方向距離
α 傾斜角
【特許請求の範囲】
【請求項１】
イメージャから、車両の前方の道路の画像を受けるステップと、
前記画像中に識別された道路内に、関心領域を決定するステップと、
前記関心領域内に車線区分線を検出することによって、また該車線区分線を検出することができなかった場合には、前記関心領域内に道路境界を検出することによって、路面標識を検出するステップとを含んでおり、
ウィンカがオンの場合には、前記各ステップをスキップすることを特徴とする、道路または車線の識別要素を検出する方法。
【請求項２】
路面標識を検出する前記ステップは、
前記関心領域内の輝度勾配を決定するステップと、
前記輝度勾配と強度閾値とを比較することによって、前記路面標識を検出するステップとを含んでいる、請求項１に記載の方法。
【請求項３】
輝度勾配を決定する前記ステップは、路面標識エッジ候補を識別するために、画像ピクセルの輝度勾配のピークおよびバレーを決定することによって、前記関心領域内にエッジ強度を決定するステップであって、該ピークは前記画像内の１つのエッジを表わし、バレーは前記画像内の別の１つのエッジを表わしているステップを含んでおり、
路面標識を検出する前記ステップは、前記エッジ強度と前記強度閾値とを比較するステップを含んでいる、請求項２に記載の方法。
【請求項４】
路面標識を検出する前記ステップは、さらに、
前記関心領域内の複数の画像行において、
前記エッジ強度の各々と前記強度閾値とを比較することによって、エッジ対を、前記路面標識エッジ候補として識別するステップと、
前記エッジ対の間隔を特定するステップと、
前記エッジ対の間隔と、間隔最小閾値および間隔最大閾値とを比較するステップであって、
前記エッジ対の間隔が、前記間隔最小閾値と間隔最大閾値との間にある場合には、前記エッジ対は、車線区分線候補を表わしているステップと、
前記車線区分線候補を表わしている画像行のエッジ対に対応する中央勾配位置に、第１の線を適合させるステップとを含んでおり、さらに、
容認可能な第１の近似適合線に寄与した全てのエッジ対を、車線区分線の識別要素として選択するステップを含んでいる、請求項３に記載の方法。
【請求項５】
前記第１の線の、前記エッジ対に対する適合度、および、前記第１の線の傾きの、以前の道路画像において見出されていた傾きに対する近似度をチェックすることによって、前記容認可能な第１の近似適合線を決定するステップをさらに含んでいる、請求項４に記載の方法。
【請求項６】
路面標識を検出する前記ステップは、さらに、
前記エッジ対の間隔の各々が、前記間隔最小閾値と間隔最大閾値との間になかった場合、または容認可能な第１の近似適合線が見出されなかった場合には、道路境界の識別要素の候補を表わしている画像行のエッジの各々に第２の線を適合させるステップと、
容認可能な第２の近似適合線に寄与した全てのエッジを、道路境界の識別要素として選択するステップとを含んでいる、請求項４に記載の方法。
【請求項７】
前記第２の線の、前記エッジに対する適合度、および、前記第２の線の傾きの、以前の道路画像において見出されていた傾きに対する近似度をチェックすることによって、前記容認可能な第２の近似適合線を決定するステップをさらに含んでいる、請求項６に記載の方法。
【請求項８】
前記道路境界の識別要素が見出されなかった場合には、複数の画像行において平均絶対偏差（ＭＡＤ）勾配を決定するステップと、路面標識候補を表わしている画像行のエッジの各々に対応する、大きさ閾値を超過する大きさを有するＭＡＤ勾配の位置に、第３の線を適合させるステップと、容認可能な第３の近似適合線に寄与したＭＡＤ勾配の位置を、路面標識として選択するステップとをさらに含んでいる、請求項６に記載の方法。
【請求項９】
前記第３の線の、前記ＭＡＤ勾配に対する適合度、および、前記第３の線の傾きの、以前の道路画像において見出されていた傾きに対する近似度をチェックすることによって、前記容認可能な第３の近似適合線を決定するステップをさらに含んでいる、請求項８に記載の方法。
【請求項１０】
イメージャから、車両の前方の道路の画像を受け、該画像中に識別された道路内に、関心領域を決定するように構成されている画像処理プロセッサと、
前記関心領域内に車線区分線を検出するように構成されており、かつ該車線区分線を検出することができなかった場合には、前記関心領域内に道路境界を検出するように構成されている路面標識検出モジュールとを備え、
ウィンカがオンの場合には、前記路面標識検出モジュールによる操作をスキップするように構成されている、路面標識を検出する装置。
【請求項１１】
前記画像処理プロセッサは、さらに、前記関心領域内の輝度勾配を決定するように構成されており、
前記路面標識検出モジュールは、さらに、前記輝度勾配と強度閾値とを比較することによって、前記路面標識を検出するように構成されている、請求項１０に記載の装置。
【請求項１２】
前記画像処理プロセッサは、さらに、路面標識エッジ候補を識別するために、それぞれ前記画像内の１つのエッジを表わす、画像ピクセルの輝度勾配のピークおよびバレーを決定することによって、前記関心領域内にエッジ強度を決定するように構成されており、
前記路面標識検出モジュールは、さらに、前記エッジ強度と前記強度閾値とを比較するように構成されている、請求項１１に記載の装置。
【請求項１３】
前記路面標識検出モジュールは、さらに、
前記関心領域内の複数の画像行において、
前記エッジ強度の各々と前記強度閾値とを比較することによって、エッジ対を、前記路面標識エッジ候補として識別するステップと、
前記エッジ対の間隔を特定するステップと、
前記エッジ対の間隔と、間隔最小閾値および間隔最大閾値とを比較するステップであって、
前記エッジ対の間隔が、前記間隔最小閾値と間隔最大閾値との間にある場合には、前記エッジ対は、車線区分線候補を表わしているステップと、
前記車線区分線候補を表わしている画像行のエッジ対に対応する中央勾配位置に、第１の線を適合させるステップとを実行し、かつ、
容認可能な第１の近似適合線に寄与した全てのエッジ対を、車線区分線の識別要素として選択するように構成されている、請求項１２に記載の装置。
【請求項１４】
前記路面標識検出モジュールは、さらに、前記第１の線の、前記エッジ対に対する適合度、および、前記第１の線の傾きの、以前の道路画像において見出されていた傾きに対する近似度をチェックすることによって、前記容認可能な第１の近似適合線を決定するように構成されている、請求項１３に記載の装置。
【請求項１５】
前記路面標識検出モジュールは、さらに、前記エッジ対の間隔の各々が、前記間隔最小閾値と間隔最大閾値との間になかった場合、または容認可能な第１の近似適合線が見出されなかった場合には、道路境界の識別要素の候補を表わしている画像行のエッジの各々に第２の線を適合させ、かつ容認可能な第２の近似適合線に寄与した全てのエッジを、道路境界の識別要素として選択するように構成されている、請求項１３に記載の装置。
【請求項１６】
前記路面標識検出モジュールは、さらに、前記第２の線の、前記エッジに対する適合度、および、前記第２の線の傾きの、以前の道路画像における傾きに対する近似度をチェックすることによって、前記容認可能な第２の近似適合線を決定するように構成されている、請求項１５に記載の装置。
【請求項１７】
前記路面標識検出モジュールは、さらに、前記道路境界の識別要素が見出されなかった場合には、複数の画像行において平均絶対偏差（ＭＡＤ）勾配を決定するステップと、路面標識候補を表わしている画像行のエッジの各々に対応する、大きさ閾値を超過する大きさを有するＭＡＤ勾配の位置に、第３の線を適合させるステップと、容認可能な第３の近似適合線に寄与したＭＡＤ勾配の位置を、路面標識として選択するステップとを実行するように構成されている、請求項１５に記載の装置。
【請求項１８】
前記路面標識検出モジュールは、さらに、前記第３の線の、前記ＭＡＤ勾配に対する適合度、および、前記第３の線の傾きの、以前の道路画像において見出されていた傾きに対する近似度をチェックすることによって、前記容認可能な第３の近似適合線を決定するように構成されている、請求項１７に記載の装置。
【請求項１９】
車両の前方の道路の画像を作成するように構成されているイメージャと、
前記画像中に識別された道路内に関心領域を決定するように構成されている画像処理プロセッサと、
前記関心領域内に車線区分線を検出するように構成されており、かつ該車線区分線を検出することができなかった場合には、前記関心領域内に道路境界を検出するように構成されている路面標識検出モジュールと、
検出された前記車線区分線または道路境界に相対的に、車両の近辺を検出するように構成されている道路逸脱検出モジュールと
を備え、ウィンカがオンの場合には、前記路面標識検出モジュール又は道路逸脱検出モジュールによる操作をスキップするように構成されてている、路面反射を検出するシステム。
【請求項２０】
前記画像処理プロセッサは、さらに、路面標識エッジ候補を識別するために、それぞれ前記画像内の１つのエッジを表わす、画像ピクセルの輝度勾配のピークおよびバレーを決定することによって、前記関心領域内にエッジ強度を決定するように構成されており、
前記路面標識検出モジュールは、さらに、前記エッジ強度と前記強度閾値とを比較するように構成されている、請求項１９に記載のシステム。
【請求項２１】
前記路面標識検出モジュールは、
前記関心領域内の複数の画像行において、
前記エッジ強度の各々と前記強度閾値とを比較することによって、エッジ対を、前記路面標識エッジ候補として識別するステップと、
前記エッジ対の間隔を特定するステップと、
前記エッジ対の間隔と、間隔最小閾値および間隔最大閾値とを比較するステップであって、
前記エッジ対の間隔が、前記間隔最小閾値と間隔最大閾値との間にある場合には、前記エッジ対は、車線区分線候補を表わしているステップと、
前記車線区分線候補を表わしている画像行のエッジ対に対応する中央勾配位置に、第１の線を適合させるステップとを
実行するように構成されている車線区分線検出モジュールを備えており、かつ、
容認可能な第１の近似適合線に寄与した全てのエッジ対を、車線区分線の識別要素として選択するようになっている、請求項２０に記載のシステム。
【請求項２２】
前記路面標識検出モジュールは、さらに、前記エッジ対の間隔の各々が、前記間隔最小閾値と間隔最大閾値との間になかった場合、または容認可能な第１の近似適合線が見出されなかった場合には、道路境界の識別要素の候補を表わしている画像行のエッジの各々に第２の線を適合させ、かつ容認可能な第２の近似適合線に寄与した全てのエッジを、道路境界の識別要素として選択するように構成されている道路境界検出モジュールを備えている、請求項２１に記載のシステム。
【請求項２３】
前記路面標識検出モジュールは、さらに、前記道路境界の識別要素が見出されなかった場合には、複数の画像行において平均絶対偏差（ＭＡＤ）勾配を決定するステップと、路面標識候補を表わしている画像行のエッジの各々に対応する、大きさ閾値を超過する大きさを有するＭＡＤ勾配の位置に、第３の線を適合させるステップと、容認可能な第３の近似適合線に寄与したＭＡＤ勾配の位置を、路面標識として選択するステップとを実行するように構成されている、請求項２２に記載のシステム。
【請求項２４】
前記路面標識検出モジュールは、さらに、前記第１、第２、または第３の線の、前記路面標識エッジ候補を表わす画像行のエッジに対する適合度、および、前記第１、第２、または第３の線の傾きの、以前の道路画像において見出されていた傾きに対する近似度をチェックすることによって、前記容認可能な第１、第２、または第３の近似適合線を決定するように構成されている、請求項２３に記載のシステム。
【請求項２５】
前記画像処理プロセッサは、さらに、日中操作であるか夜間操作であるかを示す入力に基づいて、前記輝度勾配を選択的に決定するように構成されている、請求項２４に記載のシステム。
【請求項１】
イメージャから、車両の前方の道路の画像を受けるステップと、
前記画像中に識別された道路内に、関心領域を決定するステップと、
前記関心領域内に車線区分線を検出することによって、また該車線区分線を検出することができなかった場合には、前記関心領域内に道路境界を検出することによって、路面標識を検出するステップとを含んでおり、
ウィンカがオンの場合には、前記各ステップをスキップすることを特徴とする、道路または車線の識別要素を検出する方法。
【請求項２】
路面標識を検出する前記ステップは、
前記関心領域内の輝度勾配を決定するステップと、
前記輝度勾配と強度閾値とを比較することによって、前記路面標識を検出するステップとを含んでいる、請求項１に記載の方法。
【請求項３】
輝度勾配を決定する前記ステップは、路面標識エッジ候補を識別するために、画像ピクセルの輝度勾配のピークおよびバレーを決定することによって、前記関心領域内にエッジ強度を決定するステップであって、該ピークは前記画像内の１つのエッジを表わし、バレーは前記画像内の別の１つのエッジを表わしているステップを含んでおり、
路面標識を検出する前記ステップは、前記エッジ強度と前記強度閾値とを比較するステップを含んでいる、請求項２に記載の方法。
【請求項４】
路面標識を検出する前記ステップは、さらに、
前記関心領域内の複数の画像行において、
前記エッジ強度の各々と前記強度閾値とを比較することによって、エッジ対を、前記路面標識エッジ候補として識別するステップと、
前記エッジ対の間隔を特定するステップと、
前記エッジ対の間隔と、間隔最小閾値および間隔最大閾値とを比較するステップであって、
前記エッジ対の間隔が、前記間隔最小閾値と間隔最大閾値との間にある場合には、前記エッジ対は、車線区分線候補を表わしているステップと、
前記車線区分線候補を表わしている画像行のエッジ対に対応する中央勾配位置に、第１の線を適合させるステップとを含んでおり、さらに、
容認可能な第１の近似適合線に寄与した全てのエッジ対を、車線区分線の識別要素として選択するステップを含んでいる、請求項３に記載の方法。
【請求項５】
前記第１の線の、前記エッジ対に対する適合度、および、前記第１の線の傾きの、以前の道路画像において見出されていた傾きに対する近似度をチェックすることによって、前記容認可能な第１の近似適合線を決定するステップをさらに含んでいる、請求項４に記載の方法。
【請求項６】
路面標識を検出する前記ステップは、さらに、
前記エッジ対の間隔の各々が、前記間隔最小閾値と間隔最大閾値との間になかった場合、または容認可能な第１の近似適合線が見出されなかった場合には、道路境界の識別要素の候補を表わしている画像行のエッジの各々に第２の線を適合させるステップと、
容認可能な第２の近似適合線に寄与した全てのエッジを、道路境界の識別要素として選択するステップとを含んでいる、請求項４に記載の方法。
【請求項７】
前記第２の線の、前記エッジに対する適合度、および、前記第２の線の傾きの、以前の道路画像において見出されていた傾きに対する近似度をチェックすることによって、前記容認可能な第２の近似適合線を決定するステップをさらに含んでいる、請求項６に記載の方法。
【請求項８】
前記道路境界の識別要素が見出されなかった場合には、複数の画像行において平均絶対偏差（ＭＡＤ）勾配を決定するステップと、路面標識候補を表わしている画像行のエッジの各々に対応する、大きさ閾値を超過する大きさを有するＭＡＤ勾配の位置に、第３の線を適合させるステップと、容認可能な第３の近似適合線に寄与したＭＡＤ勾配の位置を、路面標識として選択するステップとをさらに含んでいる、請求項６に記載の方法。
【請求項９】
前記第３の線の、前記ＭＡＤ勾配に対する適合度、および、前記第３の線の傾きの、以前の道路画像において見出されていた傾きに対する近似度をチェックすることによって、前記容認可能な第３の近似適合線を決定するステップをさらに含んでいる、請求項８に記載の方法。
【請求項１０】
イメージャから、車両の前方の道路の画像を受け、該画像中に識別された道路内に、関心領域を決定するように構成されている画像処理プロセッサと、
前記関心領域内に車線区分線を検出するように構成されており、かつ該車線区分線を検出することができなかった場合には、前記関心領域内に道路境界を検出するように構成されている路面標識検出モジュールとを備え、
ウィンカがオンの場合には、前記路面標識検出モジュールによる操作をスキップするように構成されている、路面標識を検出する装置。
【請求項１１】
前記画像処理プロセッサは、さらに、前記関心領域内の輝度勾配を決定するように構成されており、
前記路面標識検出モジュールは、さらに、前記輝度勾配と強度閾値とを比較することによって、前記路面標識を検出するように構成されている、請求項１０に記載の装置。
【請求項１２】
前記画像処理プロセッサは、さらに、路面標識エッジ候補を識別するために、それぞれ前記画像内の１つのエッジを表わす、画像ピクセルの輝度勾配のピークおよびバレーを決定することによって、前記関心領域内にエッジ強度を決定するように構成されており、
前記路面標識検出モジュールは、さらに、前記エッジ強度と前記強度閾値とを比較するように構成されている、請求項１１に記載の装置。
【請求項１３】
前記路面標識検出モジュールは、さらに、
前記関心領域内の複数の画像行において、
前記エッジ強度の各々と前記強度閾値とを比較することによって、エッジ対を、前記路面標識エッジ候補として識別するステップと、
前記エッジ対の間隔を特定するステップと、
前記エッジ対の間隔と、間隔最小閾値および間隔最大閾値とを比較するステップであって、
前記エッジ対の間隔が、前記間隔最小閾値と間隔最大閾値との間にある場合には、前記エッジ対は、車線区分線候補を表わしているステップと、
前記車線区分線候補を表わしている画像行のエッジ対に対応する中央勾配位置に、第１の線を適合させるステップとを実行し、かつ、
容認可能な第１の近似適合線に寄与した全てのエッジ対を、車線区分線の識別要素として選択するように構成されている、請求項１２に記載の装置。
【請求項１４】
前記路面標識検出モジュールは、さらに、前記第１の線の、前記エッジ対に対する適合度、および、前記第１の線の傾きの、以前の道路画像において見出されていた傾きに対する近似度をチェックすることによって、前記容認可能な第１の近似適合線を決定するように構成されている、請求項１３に記載の装置。
【請求項１５】
前記路面標識検出モジュールは、さらに、前記エッジ対の間隔の各々が、前記間隔最小閾値と間隔最大閾値との間になかった場合、または容認可能な第１の近似適合線が見出されなかった場合には、道路境界の識別要素の候補を表わしている画像行のエッジの各々に第２の線を適合させ、かつ容認可能な第２の近似適合線に寄与した全てのエッジを、道路境界の識別要素として選択するように構成されている、請求項１３に記載の装置。
【請求項１６】
前記路面標識検出モジュールは、さらに、前記第２の線の、前記エッジに対する適合度、および、前記第２の線の傾きの、以前の道路画像における傾きに対する近似度をチェックすることによって、前記容認可能な第２の近似適合線を決定するように構成されている、請求項１５に記載の装置。
【請求項１７】
前記路面標識検出モジュールは、さらに、前記道路境界の識別要素が見出されなかった場合には、複数の画像行において平均絶対偏差（ＭＡＤ）勾配を決定するステップと、路面標識候補を表わしている画像行のエッジの各々に対応する、大きさ閾値を超過する大きさを有するＭＡＤ勾配の位置に、第３の線を適合させるステップと、容認可能な第３の近似適合線に寄与したＭＡＤ勾配の位置を、路面標識として選択するステップとを実行するように構成されている、請求項１５に記載の装置。
【請求項１８】
前記路面標識検出モジュールは、さらに、前記第３の線の、前記ＭＡＤ勾配に対する適合度、および、前記第３の線の傾きの、以前の道路画像において見出されていた傾きに対する近似度をチェックすることによって、前記容認可能な第３の近似適合線を決定するように構成されている、請求項１７に記載の装置。
【請求項１９】
車両の前方の道路の画像を作成するように構成されているイメージャと、
前記画像中に識別された道路内に関心領域を決定するように構成されている画像処理プロセッサと、
前記関心領域内に車線区分線を検出するように構成されており、かつ該車線区分線を検出することができなかった場合には、前記関心領域内に道路境界を検出するように構成されている路面標識検出モジュールと、
検出された前記車線区分線または道路境界に相対的に、車両の近辺を検出するように構成されている道路逸脱検出モジュールと
を備え、ウィンカがオンの場合には、前記路面標識検出モジュール又は道路逸脱検出モジュールによる操作をスキップするように構成されてている、路面反射を検出するシステム。
【請求項２０】
前記画像処理プロセッサは、さらに、路面標識エッジ候補を識別するために、それぞれ前記画像内の１つのエッジを表わす、画像ピクセルの輝度勾配のピークおよびバレーを決定することによって、前記関心領域内にエッジ強度を決定するように構成されており、
前記路面標識検出モジュールは、さらに、前記エッジ強度と前記強度閾値とを比較するように構成されている、請求項１９に記載のシステム。
【請求項２１】
前記路面標識検出モジュールは、
前記関心領域内の複数の画像行において、
前記エッジ強度の各々と前記強度閾値とを比較することによって、エッジ対を、前記路面標識エッジ候補として識別するステップと、
前記エッジ対の間隔を特定するステップと、
前記エッジ対の間隔と、間隔最小閾値および間隔最大閾値とを比較するステップであって、
前記エッジ対の間隔が、前記間隔最小閾値と間隔最大閾値との間にある場合には、前記エッジ対は、車線区分線候補を表わしているステップと、
前記車線区分線候補を表わしている画像行のエッジ対に対応する中央勾配位置に、第１の線を適合させるステップとを
実行するように構成されている車線区分線検出モジュールを備えており、かつ、
容認可能な第１の近似適合線に寄与した全てのエッジ対を、車線区分線の識別要素として選択するようになっている、請求項２０に記載のシステム。
【請求項２２】
前記路面標識検出モジュールは、さらに、前記エッジ対の間隔の各々が、前記間隔最小閾値と間隔最大閾値との間になかった場合、または容認可能な第１の近似適合線が見出されなかった場合には、道路境界の識別要素の候補を表わしている画像行のエッジの各々に第２の線を適合させ、かつ容認可能な第２の近似適合線に寄与した全てのエッジを、道路境界の識別要素として選択するように構成されている道路境界検出モジュールを備えている、請求項２１に記載のシステム。
【請求項２３】
前記路面標識検出モジュールは、さらに、前記道路境界の識別要素が見出されなかった場合には、複数の画像行において平均絶対偏差（ＭＡＤ）勾配を決定するステップと、路面標識候補を表わしている画像行のエッジの各々に対応する、大きさ閾値を超過する大きさを有するＭＡＤ勾配の位置に、第３の線を適合させるステップと、容認可能な第３の近似適合線に寄与したＭＡＤ勾配の位置を、路面標識として選択するステップとを実行するように構成されている、請求項２２に記載のシステム。
【請求項２４】
前記路面標識検出モジュールは、さらに、前記第１、第２、または第３の線の、前記路面標識エッジ候補を表わす画像行のエッジに対する適合度、および、前記第１、第２、または第３の線の傾きの、以前の道路画像において見出されていた傾きに対する近似度をチェックすることによって、前記容認可能な第１、第２、または第３の近似適合線を決定するように構成されている、請求項２３に記載のシステム。
【請求項２５】
前記画像処理プロセッサは、さらに、日中操作であるか夜間操作であるかを示す入力に基づいて、前記輝度勾配を選択的に決定するように構成されている、請求項２４に記載のシステム。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−１１８８９０（Ｐ２０１１−１１８８９０Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２０１０−２４７１８２（Ｐ２０１０−２４７１８２）
【出願日】平成２２年１１月４日（２０１０．１１．４）
【出願人】（５０９１９８７２３）ヴァレオ シャルター ウント ゼンゾレン ゲーエムベーハー (1)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２２年１１月４日（２０１０．１１．４）
【出願人】（５０９１９８７２３）ヴァレオ シャルター ウント ゼンゾレン ゲーエムベーハー (1)
【Ｆターム（参考）】
[ Back to top ]