説明

ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置

【課題】 ビデオ画像に基づいて道路特性分析および車線検出を行い、それによって車線逸脱を警告する方法および装置を提供する。
【解決手段】 この車線逸脱を警告する方法は、ビデオイメージャから、車両の前方の道路の画像を受け取るステップと、画像内に、道路上の路面標識に対応する1つ以上の路面標識を検出するステップと、次いで、検出された路面標識の外側の画像領域に対応する道路の運転しやすさの評価を決定するために、その画像領域の特性を分析するステップと、検出された路面標識に基づいて、路面標識に相対的に、車両の道路上の横方向のオフセットを検出するステップとを含んでいる。警告信号は、横方向のオフセットおよび評価の関数として生成される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動車で用いられる、車道情景の画像処理方法および装置に関する。
【背景技術】
【0002】
筋状すなわち実線タイプの車線区分線を検出するために、従来のいくつかのアプローチにおいては、自動車に搭載されたビデオカメラからの画像が用いられている。しかしながら、このようなアプローチでは、ボッツドッツと呼ばれる、まばらに配置されたドーム状の白い円盤を検出することができない。他の従来のアプローチは、車線区分線に対するカメラの距離およびヨー角、および車線区分線の曲率の決定に限定される。このようなアプローチでは、車線区分線以外の道路上の図形および物体を検出することができず、また1対の車線区分線(車両の左側および右側に1つずつの)のみを見出すことができるだけである。このようなアプローチにおいては、道路境界の位置特定は考慮されておらず、道路のそれ以上のいかなる特性分析もなされない。さらに別のアプローチにおいては、後に参照基準として用いるための、あらかじめ記憶された車線データが必要とされる。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】ディクマン(Dickmanns)著「An Integrated Spatio-Temporal Approach to Automatic Visual Guidance of Autonomous Vehicles(自律走行車の自動視覚的誘導に対する統合時空間アプローチ)」1990年
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、上述の問題を解決することができる、道路上の自動車のための、ビデオ画像に基づく車線逸脱警告方法および装置を提供することを目的とするものである。
【課題を解決するための手段】
【0005】
本発明による車線逸脱防止方法は、ビデオイメージャから、車両の前方の道路の画像を受け取るステップと、画像内に、道路上の路面標識に対応する1つ以上の路面標識を検出するステップと、次いで、検出された路面標識の外側の画像領域に対応する道路の運転しやすさの評価を決定するために、その画像領域の特性を分析するステップと、検出された路面標識に基づいて、路面標識に相対的に、車両の道路上の横方向のオフセットを検出するステップとを含んでいる。警告信号は、横方向のオフセットおよび評価の関数として生成される。
【0006】
以下の説明、請求項、および添付図面を参照することによって、本発明のこれらおよびその他の特徴、態様、および利点をよりよく理解することができると思う。
【図面の簡単な説明】
【0007】
【図1】車両に連結した、本発明の一実施形態による、ビデオ画像に基づく道路特性分析、車線検出および車線逸脱防止装置の機能ブロック図である。
【図2】本発明の一実施形態による、ビデオ画像に基づく道路特性分析、車線検出および車線逸脱防止プロセスのステップの全体的なフローチャートである。
【図3A】車道上の路面標識に相対的に表わされたビデオカメラの位置の一例を示す平面図である。
【図3B】画像面中のピクセルと、ビデオカメラによって画像中のピクセルに投影されている、道路面上の対応点との関係の一例を示す図である。
【図3C】グレーレベル勾配および平均絶対偏差が画像のピクセルから抽出される、台形形状の関心領域(ROI)を、ビデオ画像に重ね合わせて示す図である。
【図3D】道路面上の平行四辺形を示す図である。
【図3E】車線境界があらかじめ予想される場合の、道路面上の寸法で表わした、大まかな関心領域の一例を示す図である。
【図4A】画像面と道路の前方距離との関係を説明するために、道路に相対的に表わしたビデオカメラの側面の一例を示す図である。
【図4B】道路の画像において、垂直方向ピクセルサイズVpと水平方向ピクセルサイズHpを有して、行rと列wに配置されたピクセルpのアレイの一例を示す図である。
【図5】ビデオカメラの前方の、1つの路面標識上の道路位置の集合のうちの2点の一例を示す図である。
【図6】ディクマン(Dickmann)タイプの路面標識検出方法を示すグラフである。
【図7A】道路上のタール帯の検出に用いられる測定方法を示す図である。
【図7B】道路上の記号を検出するための関心領域、および、記号の位置を表わす近位距離および遠位距離を示す図である。
【図8】道路上の記号を検出するための近位距離および遠位距離の時間挙動を示す図である。
【図9】破線タイプ路面標識モデルの、路面標識断片検出への適用の一例を示す図である。
【図10】検出の不確実さの増加に応じて、ROIの横方向のサイズを拡張する一例を示す図である。
【図11】道路画像中のクラッタ検出に用いられる関心領域を示す図である。
【図12】道路画像中の降雪検出の一例を示す図である。
【図13】道路画像中の反射光像検出の一例を示す図である。
【図14A】路面標識追跡の一例を示す図である。
【図14B】路面標識追跡の別の一例を示す図である。
【図15】路面標識長検出方法の一例を示す図である。
【図16】単一画像フレームにおける路面標識長測定プロセスの一例を示す図である。
【図17】路面標識の計数に応用される、ディクマン(Dickmann)タイプの標識ファインダを示す図である。
【図18】路面標識のタイプを特定するための、標識ファインダの配置の一例を示す図である。
【図19】画像領域の特性分析の一例を示す図である。
【図20A】道路画像中の、路面標識ではない検出物の識別の一例を示す図である。
【図20B】道路画像中の路面標識ではない検出物の識別の一例を示すグラフである。
【図21】道路境界の両側の領域の比較のために用いられる、平均絶対偏差(MAD)計算の一例を示す図である。
【図22】2つのグループの画像特性の近似性の計算の一例を示す図である。
【図23】4つの画像特性の一例を示すグラフである。
【図24】車両に連結した、本発明の別の一実施形態による、ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止装置の機能ブロック図である。
【図25】図24に示す装置によって実行される、ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止プロセスのステップのフローチャートである。
【図26】カーブした道路上の路面標識に適合するROIの一例を示す図である。
【発明を実施するための形態】
【0008】
本発明は、ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止の方法および装置を提供するものである。この装置の一実施形態においては、道路面上に直線部およびダッシュ部を含んでいる車線区分線を見出すために、自動車に搭載されたビデオカメラの前方の道路の画像を用いる装置である。車線区分線に相対的に測定された、道路上のビデオカメラ(車両)の位置を再現するために、画像中に見出された車線区分線の位置が、ビデオカメラの幾何学的配置情報と組み合わされる。再現されたビデオカメラの位置情報が、自動車の運転者の運転を支援するために用いられる。
【0009】
ビデオカメラからの、実質的にリアルタイムの一連の画像フレームを用いることによって、この装置は、さらに車線区分線に加えて、道路上の他の図形および物体を検出する。道路境界の位置特定情報、および道路の特性分析が、道路境界に相対的な横方向位置(オフセット)の検出に用いられる。この装置は、例えば車線逸脱警告アプローチにおいて自動車の運転を助け、道路を進んでいく自動車をガイドするために、車道上の車両位置および道路特性に関する実質的にリアルタイムの情報を導き出す。
【0010】
この装置は、道路面からの反射光の検出を実行し、道路境界検出において、そのような反射光の影響を抑制する(そのような反射光、またはタール帯(tar strip)のような他の物体が、道路境界の適切な検出を妨げる場合がある)。さらにこの装置は、相異なる種類の複数の路面標識を有する道路境界の検出、路面標識分類、種々の明暗調整、種々の天候の見分け、偽りの路面標識の排除などを行ってもよい。複数の車線に複数のラインが存在するときに、この装置は複数のラインを認識し、適切な車線区分線(一般に、横方向に、車両に最も近接している)を選択してもよい。さらにこの装置は、車線区分線が存在していないときに、道路を進んでいく自動車のガイドを助けるために、車線区分線情報ではなく、道路端情報を用いて、道路端を検出してもよい。
【0011】
さらにこの装置は、断続的な路面標識(ボッツドッツおよびリフレクタなどの)の道路上の位置を特定し、それらの情報から、道路上の車両の位置を特定してもよい。画像から、路面標識候補(路面標識断片候補)情報が収集されれば、この装置は、必要に応じて、道路上の車両位置を検出するために、そのような情報を通じて多様な試みを行う。
【0012】
図1は、ビデオカメラ1を、前方を向くようにマウントされた車両2に連結された、本発明の一実施形態による、ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止の装置15の機能ブロック図である。ビデオカメラ1は、前方を向くように、車両2にマウントされている。ビデオカメラ1は、車両2の前方の道路(車線/車道)4の〔二次元(2−D)〕画像3を取得し、それらの画像を、道路特性分析、車線検出、および車線逸脱防止のために、コントローラ5に伝達する。行と列に配置されたピクセルのアレイとして二次元画像を作成するために、デジタル化されたビデオ入力信号をサンプリングするサンプラー17を用いてもよい。
【0013】
この例においては、コントローラ5は、車線境界検出装置6、車線逸脱検出装置9、カメラ較正モジュール10、警告モジュール11、および曲率測定モジュール12を備えている。車線境界検出装置6は、道路特性分析によって画像3を処理し、道路4上の実際の路面標識8L、8Rをそれぞれ表わす路面標識画像フィーチャ7L、7Rの位置を、画像3内に追跡する。車線境界検出装置6は、画像3において、道路表面からの反射光像を検出し、路面標識画像フィーチャ7Lおよび7Rの検出への影響を減らす(抑制する)反射光像検出モジュール6aを備えている。ビデオカメラ1に相対的に、路面標識8Lは道路の左側を表わしており、路面標識8Rは道路の右側を表わしている。路面標識画像フィーチャ7Lおよび7Rの位置およびヨー角(ビデオカメラ1の位置に相対的な)のデータが、車線境界検出装置6から車線逸脱検出装置9に供給される。車線境界検出装置6によって検出された車線区分線または道路境界に関する情報を用いて、曲率測定モジュール12は道路の曲率を測定し、その情報を、車線逸脱検出装置9に供給する。車線逸脱検出装置9は、さらに、車両2から速度情報を受け取り、また較正データを受け取る(カメラ較正モジュール10から供給することができる)。車線逸脱検出装置9は、路面標識8L、8Rに相対的に車両2の位置を特定するために、車両速度、車線区分線の位置、曲率情報、およびヨー角情報を、定期的に受け取ることが好ましい。路面標識8L、8Rには、車線区分線、道路境界などを含ませることができる。
【0014】
車両速度情報、カメラ較正情報、路面標識画像フィーチャ7Lおよび7Rの追跡された画像フィーチャ位置に基づいて、コントローラ5は、車線逸脱検出装置9を用いて、車両2が道路4の適切な走行車線からはずれているか否かを特定する。車線逸脱または道路逸脱が差し迫っていることを車線逸脱検出装置9が検出した場合には、警告モジュール11が起動される。具体的には、車線境界検出装置6は、画像3内で、道路境界または車線区分線を捜すべき位置を決定し、道路境界または車線区分線などの路面標識画像フィーチャ7L、7Rを、各画像3内に検出する。車線逸脱検出装置9は、検出されたそのような路面標識画像フィーチャ7L、7Rを、ビデオカメラの幾何学的配置情報に基づいた幾何学的変換によって、道路面上の位置に関連づけ、それによって、車線区分線または道路境界である実際の路面標識8L、8Rに相対的に、道路上のビデオカメラ(車両)の位置を再現する。車線逸脱検出装置9は、さらに、ビデオカメラ(車両)が道路境界または車線区分線に近づきすぎたときに、それを検出し、警告モジュール11に通知する。
【0015】
コントローラ5は、さらに、困難な状況において、車線区分線または道路境界の断片である可能性のある画像フィーチャによる多様な試みを用いて、車線区分線または道路境界を検出するように機能してもよい。コントローラ5は、さらに、画像中の、道路境界または路面標識でない画像フィーチャの排除、次の画像における道路境界または車線区分線の検出のための関心領域の予測、新しい、より適切な道路境界または車線区分線の検出、および、道路または車線からの逸脱が当然のものであることの決定を行うように機能してもよい。これらの補足的な機能を用いて、路面標識または境界の適切な検出能力を強化することによって、コントローラ5による誤った警報の発生を減らすことができる。
【0016】
カメラ較正モジュール10からの情報を用いて、車線境界検出装置6は、初期状態において、画像中に、車線区分線または境界の大まかな検出のための基本的関心領域を予測する。次に、車線境界検出装置6は、ビデオカメラ1から、画像フレーム(行と列に配置されたピクセル)を受け取り、画像中の行と列の位置で表わした、路面標識(車線区分線または道路境界)画像フィーチャ7L、7Rの位置を検出するために、画像中の関心領域内をチェックする。次いで、車線逸脱検出装置9は、画像3中に検出された路面標識画像フィーチャの行と列の位置を用いて、道路面上の対応する位置を特定する。このような対応する各位置は、ビデオカメラ1に対する路面標識8L、8Rの横方向のオフセットおよび前方距離を用いて表わされる。車線逸脱検出装置9は、路面標識の位置に相対的に、ビデオカメラ1(および車両2)の横方向の位置を特定する。横方向の位置が、路面標識の位置に接近しすぎている場合には、車線逸脱検出装置9は、それにしたがって、警告を発生させる。その後、コントローラ5は、次の画像フレームにおいて路面標識画像フィーチャを検出するための関心領域として、現在の画像において検出された路面標識画像フィーチャの位置を用いて、ビデオカメラからの次の画像フレームにおいて、路面標識検出(車線境界検出装置6による)および車両位置検出(車線逸脱検出装置9による)を繰り返す。
【0017】
図2は、コントローラ5によって実行される、本発明の一実施形態による、全車線区分線検出および車線逸脱警告のプロセス20のステップのフローチャートである。プロセス20は、以下のステップを含んでいる。
ステップ21:画像フレームを受け取る。
ステップ22:路面標識8L、8R(例えば車線区分線、道路境界など)に対応する路面標識画像フィーチャ7L、7Rを検出するための関心領域(ROI)を、画像内に決定する。
ステップ23:関心領域内のピクセルから、路面標識画像フィーチャを検出する。
ステップ24:路面標識の画像位置を、道路上の対応する位置に投影するための幾何学的変換を実行して、道路投影図を作成する。
ステップ25:道路に投影された路面標識から、ビデオカメラの位置を見出す。
ステップ26:ビデオカメラ/車両が、路面標識に接近しすぎているか否かを特定する。接近しすぎている場合には、ステップ27に進む。そうでない場合には、ステップ21に戻り、ビデオカメラから次の画像フレームを受け取って処理する。
ステップ27:警告を発するか、または支援を与えて、ステップ21に戻る。
【0018】
コントローラ5によって実行されるプロセス20の一実施形態は、以下の過程を含んでいる。
・ 前方の道路の画像を受け取る。
・ 利用可能な場合には以前の画像情報を用いて、路面標識または道路境界が存在すると予想される1つ以上の関心領域(ROI)を、画像内に決定する。
・ いかなる望ましくない画像アーチファクト(例えば反射光、太陽光の筋、タール帯などの像)も識別して排除するために、各ROIにおいて、画像を行毎に処理する。
・ 路面標識および道路境界の断片を検出するために、ROI内を行毎に処理する。
・ 破線タイプ路面標識(ダッシュとギャップで形成された路面標識)において、ダッシュ間のギャップ内に検出された標識断片を排除する。
・ 標識/境界断片にフィルタ処理を施す(例えば、降雪などを表わす画像フィーチャを検出して排除する)。
・ 各行の、残った標識断片を、車線区分線候補および道路境界候補にまとめる。
・ (行、列)座標を有する最終的な路面標識および路面標識断片を画像内に得るために、偽の標識を排除する(例えばタール帯、矢印、および記号を検出して排除する)。
・ 重要な物体であるかもしれないので、路面標識の外側の物体を検出する。
・ 画像における路面標識(路面標識画像フィーチャ)の点(行、列)を、ビデオカメラに相対的な、道路面上の対応する路面標識位置(前方距離、および横方向のオフセット)に投影する。
・ 平滑化およびノイズ除去のために、この対応する路面標識位置データに、フィルタ処理を施す。
・ 平滑化された路面標識位置データを、ビデオカメラ位置に関連づける。
・ ビデオカメラ(車両)が、道路境界または車線区分線に接近しすぎているかどうかを特定する。
・ ビデオカメラ(車両)が、車線区分線または道路境界に接近しすぎている場合には、車線区分線または道路境界の外側に存在する物体(例えば車線または道路をはずれることによってもたらされる危険の程度)、および路面標識のタイプおよび数の関数として、警告か支援かを選択する信号を発生させる。
・ 道路面中の次の道路境界/路面標識を探すための画像位置すなわちROIを予測し、その予測の不確実さの程度を決定する。
・ 装置は、探索モードと追跡モードと呼ばれる2つのモードを有する。探索モードにおいては、装置は、画像中に、路面標識が存在するであろう大まかな位置(すなわちROI)をまだ確定しておらず、したがって、大きな画像エリア内で路面標識を捜す。追跡モードにおいては、装置は、現在の画像フレームの前に既に路面標識を見出しており、したがって、前とほぼ同じ画像エリアすなわちROI内に、再び、路面標識が存在すると予想し、そのROI内で路面標識を追跡する。1追跡は、ひとまとまりの位置測定である。あるひとまとまりの位置測定が終了し、別のひとまとまりの位置測定が開始するときに、新しい追跡が開始する。追跡が打ち切られた(例えば車両がある一定の距離を走行している間の数の画像中に、路面標識が検出されなかったために)ときに、装置は探索モードに戻り、路面標識を新たに探索するために、道路境界/路面標識を見出すための窓すなわちROIを、その最大寸法およびデフォルト位置に戻す。したがって、路面標識の位置を、前の画像において検出された路面標識に基づいて(頼って)予想する必要がない。
・ 次の画像フレームが、困難な道路状況(例えば雨、雪)の画像であると予想される場合には、次の1つ以上の画像フレームにおいて、関心領域のサイズを縮小し、それによって、現在の路面標識を追跡し続ける(すなわち、新しい路面標識を追跡するのではなくて)ステップを含めて、その道路状況に対処する。
・ 画像中のクラッタ(誤認を生み出す様々な源)をチェックする。クラッタが存在する場合には、クラッタが再び減少するまで、クラッタ中の検出物を受け入れないことで、クラッタに対処する。
・ 日中であるか、夜間であるかをチェックする。必要であれば、次の画像フレームが処理される前に、一般的な照明条件に合うように、装置のパラメータ設定を切り換える。
・ 検出された車線区分線または道路境界の情報を用いて、曲率測定モジュール12によって、道路の曲率を測定し、曲率値を記憶する。
・ 最後の画像フレームにおいて、どのくらいの間隔を置いて、かつどのくらいの長さで路面標識が検出されたかをチェックすることによって、検出された路面標識のタイプを特定する。
・ 必要に応じて、検出された情報(例えば路面標識/道路境界に相対的な車両の位置、路面標識、車線、路面標識/道路境界の外側に検出された物体の数およびタイプ、道路の曲率など)を集めて出力する。
・ リアルタイムのカメラ較正を行い、初期のヨー角およびピッチ角の大きさを更新する。更新されたヨー角およびピッチ角は、画像内に検出された路面標識画像フィーチャの位置を、道路上の対応する位置に、より正確に投影するために用いられる。それによって、警告が、より正確になる。
・ 前方の道路上の任意の文字やシンボルをチェックし、それらが、次の画像フレームにおいて、どこに現れるかを特定する。
・ 反射光および太陽光の筋の像をチェックし、それらの位置、および次の画像フレームに対して予測されるそれらの位置を記憶する(これによって、次の画像フレームにおける、車線区分線の画像フレームの検出が改善される)。
・ 破線タイプ路面標識が存在する場合には、ダッシュ−ギャップパターンを学習し、次の画像フレームに対して予測されるダッシュ−ギャップ位置を記憶する。
・ 予測される次の寸法(道路面における)から、次の画像フレームにおける路面標識/道路境界のためのROIを、画像面内に決定する。
・ ビデオカメラ1から受け取った次の画像フレームにおいて、上記のステップを繰り返す。
【0019】
図3Aは、路面標識8L、8Rに相対的なビデオカメラ1の位置の平面図、および路面標識8L、8Rの寸法の一例を示している。当業者には、他のビデオカメラ配置および路面標識の寸法が可能であることは認識されることである。路面標識/道路境界検出プロセスのよりよい理解のために、図3Bに、画像面中のピクセルpと、ビデオカメラ1を介してピクセルpとして投影される、道路面上の対応する点Pとの間の関係を説明するための一例が示されている。道路4の画像3が、道路4の道路面40上に重ね合わされている。画像3中の第1の行−列位置における第1のピクセルp1は、道路面上の第1の点P1に対応している。同様に、画像3中の第2の行−列位置における第2のピクセルp2は、道路面上の第2の点P2に対応している。画像位置(r、w)にあるピクセルp1から、道路面上の位置(x、y)にある点P1に幾何学的に変換(投影)するステップには、行座標rに基づいて縦方向座標xを見出し、列座標wに基づいて横方向座標yを見出すステップが含まれる。同様の変換が、点P2とピクセルp2に対しても適用される。
【0020】
したがって、路面標識8Lおよび8R上の点P1およびP2が与えられると、ビデオカメラ1からそれぞれの点P1、P2までの距離(すなわち、ビデオカメラの前方の道路上の縦方向距離d=x、および道路中心線からの横方向のオフセット距離LO=y)を、画像3中の路面標識画像フィーチャ7L、7R上の対応するピクセルp1およびp2の行−列位置(r、w)から特定することができる。図3Cは、画像3上に重ね合わされた、台形形状の関心領域(ROI)を示している。ROI内で、グレーレベル勾配、および任意選択に平均絶対偏差が、各ピクセルから抽出される。勾配値と平均絶対偏差とのどちらも、ピクセルのグループの特性であり、前者は、隣接し合うピクセル間のコントラストを表わしており、後者は、1つのグループにおける、中央値からの変分を表わしている。各台形(関心領域ROI−L、ROI−R)が、概ね、路面標識画像フィーチャ7L、7Rが存在すると予想される、画像3内の位置に置かれる。道路の画像3および車両速度が、車線境界検出装置への入力である。また、カメラ較正のための幾何学的配置(焦点距離、据え付け高さなど)は既知である。
【0021】
図3Cに示すように、台形形状の関心領域(ROI)すなわち窓が、画像3内に画定されている。ROI内で、ピクセルのグレーレベル勾配および平均絶対偏差の特定が行われる。画像3中の台形形状の各ROIは、道路4上の平行四辺形に対応している(例えば関心領域ROI−LおよびROI−Rは、図3Dに示されている、道路4上に横方向に3〜4メートルの間隔を置いて配置された2つの平行四辺形160Lおよび160Rにそれぞれ対応しており、各平行四辺形は、例えば約0.7〜2.3メートルの幅および約14メートルの長さを有しており、それらの下端162、上端164は、それぞれビデオカメラ1から約6メートル、約20メートルの距離にある)。幅Wtおよび高さHtで与えられる、画像中の各ROIのサイズは、路面標識画像フィーチャ7L、7Rの予想される位置における誤差を、その内部に受け入れることができるほどに十分に大きい。路面標識画像フィーチャ7L、7Rの大まかな位置がわからない場合には、関心領域(すなわち窓)の幅は、最大の大きさにされる。図3Eは、車線境界があらかじめ予想される場合の、大まかな関心領域の別の一例を示している(寸法は、対応する道路面における寸法で示している)。
【0022】
別の一例において、各ROIは、最小路面標識幅の少なくとも4倍の幅(ただし、最大でも2.3メートルまでの幅)を有する、道路上の平行四辺形に対応している。幅の上限は、計算容量によって制約される。各ROIは、ビデオカメラの左側(または右側)約0.7メートルの位置から始まって、約3メートルの位置に至る道路4上の距離をカバーしている。すなわち、道路車線幅および車両幅の大部分をカバーしている。関心領域ROI−LおよびROI−Rの幅は、路面標識の探索モードにおいて最大であり、路面標識の追跡モードでは、より小さい。路面標識の追跡モードにおける幅は、画像内に、路面標識の横方向の位置を予測する際の不確実さの程度に依存する。関心領域は、初期状態において、道路の消失点VPに関して対称に、画像内に配置されている。追跡モードにおいては、現在の画像フレームのROI内に、路面標識または境界が検出されている。したがって、次の画像フレームのROIは、現在の画像フレームの路面標識または境界の位置に基づいて、次の画像フレームにおいて路面標識または境界が存在すると予想される領域に配置される。
【0023】
実際の路面標識8L、8Rのサイズおよび周期性は、ビデオカメラの焦点距離FL、および道路4に対するビデオカメラの高さhに基づいて、画像面201内の対応する路面標識画像フィーチャ7L、7Rのサイズおよび周期性に変換される(図4A)。具体的には、ビデオカメラ1のピッチ角(傾斜角)α、ビデオカメラの高さh、道路4上の点203(P)までの、ビデオカメラの前方の道路上の縦方向距離d=x、垂直方向ピクセルサイズVp、焦点距離FL、および画像面内の行座標r(光軸205に相対的に測った)の間の関係は、数1によって記述される。
【数1】

【0024】
さらに、行座標rおよび列座標wのピクセルp〔水平方向ピクセルサイズHpおよび垂直方向ピクセルサイズVp(図4B)〕は、次のように、前方道路上の横方向座標y(図3B)の点に投影される。
w = y*(FL2+r2*Vp21/2/Hp*(h2+d2-1/2 (2)
この式を書き換えると、次のようになる。
y = w*Hp*(h2+d21/2/(FL2+r2*Vp21/2 (3)
【0025】
列座標wおよび横方向座標yは、ビデオカメラ1の光軸、またはビデオカメラ1の光軸を前方道路上に垂直に投影した直線に相対的に測定される。ビデオカメラが、一定のヨー角で車両に搭載されているときには、列座標wおよび横方向座標yは、直線道路の消失点の横方向位置を基準にして測定される。
【0026】
横方向座標yを最小路面標識幅にとると、その路面標識点までの距離が分かれば、ビデオカメラの前方の道路上の縦方向距離dが決定され、次に、最小路面標識幅内に存在するピクセル数に対応する列座標wが決定される。ピクセル数は、ビデオカメラの前方の道路上の縦方向距離dに応じて、したがって、画像面上では、それに対応する行座標rに応じて変化する。垂直方向ピクセルサイズと水平方向ピクセルサイズとは、互いに異なっていてもよい。
【0027】
ピクセル数で表わされた、最小幅標識のサイズが決定されると、ピクセル数を単位とした適切な大きさでフィルタ処理することによって、より小さな(ピクセル数の少ない)画像フィーチャは、考察から外すことができる。ピクセル数で表わされた、路面標識の幅は、ビデオカメラから、その路面標識点までの距離に応じて変化することに注意されたい。遠近距離(PD)を変化させると、同一のサイズの路面標識8Lまたは8Rが、ビデオカメラから遠くなればなるほど、画像上では、相対的により少ないピクセルしか占めず、ビデオカメラに近くなればなるほど、相対的により多いピクセルを占める。言い換えると、一定の最小路面標識幅に対して、画像の頂近傍の行においては、画像の底近傍の行などにおけるよりも短いフィルタ長が用いられる。したがって、最小路面標識幅から計算されるフィルタ長は、画像中の行の位置に応じて変化する。路面標識幅が同じであっても、上方の行(道路上では遠方)においては、下方の行(道路上では近傍)におけるよりも短いフィルタ長が用いられる。路面標識画像フィーチャは、通常、各行において、1つ以上の断片(例えば各行において1つ以上のピクセル)から成っている。各行からの路面標識断片が、各画像における、全体としての路面標識および路面標識画像フィーチャ7L、7Rにまとめられる。
【0028】
ビデオカメラは、その前方にある路面標識の画像を作成する。前方距離0(したがって、ビデオカメラの位置のすぐ右側および左側)において、路面標識に相対的に、ビデオカメラの横方向の位置を特定するために、曲線適合が用いられる。上記のステップによって、道路面に、点Pの2つの集合(1つは路面標識8L上、他の1つは路面標識8R上の)が与えられる。各集合は(xi、yi)で表わされる。図5は、一方の集合における2つの点AおよびBの一例を示している。点Aは、ビデオカメラ1の18メートル前方の道路上の位置にあり、点Bは、ビデオカメラ1の10メートル前方の道路上の位置にある。2つの点AとBを結ぶ適合線分50が、原点x=0、y=0(ゼロ距離)に位置するビデオカメラから縦方向に0メートルの距離の位置まで延長されている。すなわち、ビデオカメラの前方の路面標識上の点AとBが適合線分50によって結ばれて、路面標識が、ビデオカメラと縦方向に同じ位置(前方距離0、すなわちy軸上)まで逆投影されている。
【0029】
図5の例は、各集合において2つ以上の点Pが利用可能であり、したがって、直線(一次曲線)以外に、より湾曲した(高次の)曲線を利用することができる、より一般的な逆投影の1つの特殊な場合である。この曲線としては、多くの可能性が存在するが、放物線(二次曲線)が、適合曲線として効果的に機能する。具体的には、点P(xi、yi)のセットに、最小二乗放物線適合が適用され、その曲線(放物線)が、ゼロ距離のビデオカメラの方向に向かって推定される。それによって、ビデオカメラに相対的な、路面標識の横方向の(y軸上の)位置52が与えられる。路面標識8L、8Rの各々における点P(xi、yi)の集合に対して、相異なる推定を行ってもよい。より正確な推定をするために、集合内の最近接点(例えば図5の点B)を、ビデオカメラ1にできるだけ近づくように選択するのが有利である。
【0030】
したがって、画像3内のROI(路面標識上の点Pに幾何学的に変換される、路面標識画像フィーチャのピクセルpを検出するために用いられる)は、画像3の底にできるだけ近いことが好ましい。画像面で検出された、路面標識画像フィーチャのピクセルpの集合が、道路面上の点(位置)に幾何学的に変換され、1つの曲線が、それらの点Pに適合されて、ビデオカメラと同じ縦方向位置まで推定され、道路上の路面標識に相対的なビデオカメラの横方向距離が特定される。例えば図5に示されているように、路面標識に相対的な、ビデオカメラ1の横方向距離は、ビデオカメラ1と同じ縦方向位置において、より遠い縦方向位置におけるよりも、相当に短くなる(場合によっては、短くなりすぎる)ことがある。
【0031】
次に、一例において、ビデオカメラが路面標識に近づきすぎているか否かを特定するために、検出された路面標識に相対的に計算された横方向距離を、距離閾値と比較する。距離閾値は、通常、運転者または支援装置が反応するだけの時間、すなわち、車両を車線の中央に向かって戻して、路面標識から遠ざけるだけの時間をもてるように設定される。反応速度を考慮に入れると、次の条件が満足されたときに、警告を発してもよい。
路面標識との交差までに残されている時間 < 時間閾値
【0032】
一般的な人間の反応時間は1秒のオーダーであり、それはまた、時間閾値に対して概ね適切な値である。
【0033】
路面標識または車線境界との交差までに残されている時間(TLC)を特定するために、画像フレームfにおける、ビデオカメラから路面標識までの距離が、連続した一連の画像フレームにおいて、数値的に微分される。それによって、画像フレームfにおいて路面標識に向かうビデオカメラの速度は、次のように求められる。
路面標識に向かう速度(f)=〔距離(f)−距離(f−1)〕/画像フレーム期間
【0034】
言い換えると、路面標識に向かう速度は、現在の画像フレームにおける距離から、その前の画像フレームにおける距離を差し引き、それを2つの測定間で費やした時間で割ったものに等しい。ノイズを除去するために、次のように、ローパスフィルタ処理を施してもよい。
平滑化速度(f)=F*平滑化速度(f−1)+(1.0−F)*路面標識に向かう速度(f)
【0035】
一例として、Fの値は、約0.8または0.9であってもよい。画像フレームfにおける、路面標識に対するTLC(f)は、次の式によって特定される。
TLC(f) = 路面標識までの距離(f)/平滑化速度(f)
【0036】
そうすると、時間に基づく警告/支援ルールを、次のように表わすことができる。
TLC(f)<時間閾値のとき、警告を発する。
【0037】
車両が、既に路面標識と交差しているときでさえ、通常は、車線内に戻るための空間が残されており、警告が依然として有効であるから、そのようなときに警告を与えるような、別の警告起動ルールを用いてもよい。一般的に言えば、この場合の目的は、運転者が車線または道路に戻ることをタイムリーに支援するように警告を発することである。この警告は音響的なものであってもよいが、例えばハンドルの振動を介して伝達される、触覚的なもの(感覚的なもの)であってもよい。その支援は機械的であり、車線内に戻るように積極的に操舵するか、運転者が操舵するように促す。他の例も可能である。
【0038】
警告または支援をどこで与えるべきかを決定するために、曲率測定モジュール12からの曲率情報を用いるときに、より自然な感覚装置が形成される。多くの運転者は、自分の車両でカーブの内側を「カット」し、車両を、より直線的に運転することを可能にする。コントローラ5は、「カット」量を曲率に関連付け、カーブがきつくなればなるほど、「カット」量をより多くする。
【0039】
路面標識8R、8Lのタイプが、起動される警告/支援の性質に影響を及ぼす。例えば単一の破線タイプ路面標識を交差するときよりも、二重の実線タイプ路面標識と交差するときに、より強い(例えばより大きく、より長く、より念入りな)警告/支援を与えてもよい。1セットのルールによって、路面標識のタイプと、起動される警告/支援の性質とが関連付けられる。路面標識のタイプは、どのくらいの頻度(一定の時間にわたる)で、かつどのくらいの長さ(単一の画像フレームにおいて)で、路面標識画像フィーチャが検出されるかをチェックすることによって特定される。
【0040】
車線境界検出装置6は、よりよい警告/支援を与えるために、単一の画像における情報から複数の路面標識断片の画像フィーチャを検出することを試み、同一の画像において検出された複数の画像フィーチャを用いる(例えば最初に、最もコントラストの高い路面標識断片の画像フィーチャを用い、次に、最も明るい路面標識断片の画像フィーチャを用いるなど)ことによって、より念入りな検出を行ってもよい。低コントラストの場合(例えば曇天の日中)でさえ、車線区分線のほかに、他の路面標識も検出することによって、さらなる改善を達成することができることがある。低コントラストの場合には、車線境界検出装置6は、画像中のテクスチャ(平均絶対偏差を用いて測定される)の差を検出してもよい。現在の画像フレームにおいて路面標識が検出される尤もらしさが、1つまたはそれ以上前の画像フレームにおいて検出された路面標識の画像位置に比して予想されるずれの程度および画像位置の点からチェックされる。画像中に、個々の車線区分線/境界断片から組み立てられた車線区分線または境界が検出された場合には、車線境界検出装置6は、その車線区分線/境界の位置を出力する。
【0041】
改善された路面標識検出スキームを、より単純な検出スキーム(例えば非特許文献1)と平行して実行してもよく、原則的に、そのようなより単純な検出スキームより優先してもよい。改善された路面標識検出スキームにおいて、路面標識が見出された場合には、より単純な検出スキームの出力を用いなくてもよい。
【0042】
本発明によるプロセスの一例は、画像面内の路面標識の位置の予想から始めるステップと、路面標識画像フィーチャ7Lの予想される方向内にある各列のピクセルp(r、w)を合計するステップ(図6)と、それらのピクセル位置に対応する道路面上の点P(x、y)を表わす信号を強化するステップとを含んでいる。このプロセスは、この強化された信号において、暗から明および明から暗に遷移する路面標識エッジ候補を見出すステップと、同じ強化された信号において、エッジ対(対になって、暗から明および明から暗に遷移する)の存在を検査するステップと、エッジ対の間隔をチェックするステップとを含んでいる(路面標識は背景より明るく、幅において制約されている)。適切な間隔(例えば、ある範囲内の)を有するエッジ対の数が数えられる。そのようなエッジ対の数は、路面標識の数の目安になる。複数の路面標識が検出された場合には、最も近い路面標識が、路面標識とビデオカメラとの距離を測定する適切な路面標識として取り上げられる。
【0043】
車線境界検出装置6は、さらに、適切に路面標識を表わさない画像フィーチャを排除するプロセスを実行してもよい。図7Aの道路4を参照すると、そのような画像フィーチャの最も一般的なものは、通常は暗いタール帯8Tが、ビデオカメラ1の前方から入ってくる、低角度の日光によって明るくなる(「光る」)ことによるものである。第2の原因は、道路上の記号7C(例えば文字、矢印、横断歩道)である(図7B)。これらは、多くの場合、路面標識8L、8Rに平行であり、同じように見えることがある。車線境界検出装置6は、光っているタール帯8Tと記号7Cとのどちらも検出して、考察から外す。タール帯8Tは、車線区分線である路面標識8L、8Rよりも不規則な幅を有しがちであるという基準に基づいて、車線境界検出装置6は、タール帯を、路面標識としては排除する。さらに、タール帯8Tは、明るい背景からの明るい日光が前方にあるときしか光ることができない。それは検出可能である。
【0044】
タール帯8Tの幅の変化が閾値より大きいか否かをチェックし、かつ全背景の明るさを測定することによって、タール帯8Tを路面標識8L、8Rであると誤って識別する確率が減る。車線境界検出装置6は、車線区分線候補画像フィーチャ(ピクセル)の処理、その幅と長さの測定、および画像輝度の処理を行う。上記の基準に基づいて、車線境界検出装置6は、車線区分線候補画像フィーチャ(ピクセル)が、路面標識8L、8Rを表わすものであるか、タール帯8Tを表わすものであるかを判定する。タール帯であると思われる車線区分線候補画像フィーチャは、その後、用いられない。タール帯8Tは、通常、車線区分線よりも大きな幅変動を有しており、したがって、この特性にしたがって、タール帯8Tを識別することができる。
【0045】
記号7C(図7B)は、通常、車線区分線間に位置しており、したがって、記号関心領域ROI−Cが、車線区分線間に配置される。道路の上端近傍に配置された記号関心領域ROI−Cを用いて、記号7Cの存在が特定される。車両が前進するにつれて、画像の頂近傍から底に向かって下方に移動する記号が、記号関心領域ROI−Cに入ったときに、記号関心領域ROI−Cすなわち窓は、その記号を検出する。近位距離および遠位距離において記号7Cが追跡される。この近位距離と遠位距離との間の行で検出された全ての標識断片が無視される。
【0046】
以下に述べるように、記号7Cが記号関心領域内で検出されると、その記号7Cは追跡される。図8を参照すると、追跡は、2つの量を介して行われる。1つは、記号関心領域内で記号が始まる位置(ビデオカメラに近い近位端)を表わす量、すなわち近位距離であり、他の1つは、記号関心領域内で記号が終わる位置(ビデオカメラから遠位端)を表わす量すなわち遠位距離である。記号は、相当の長さを有する場合があるので、これらの2つの量が必要である。次の画像フレームにおいて検出される記号は、1画像フレーム時間に車両速度を掛けた量に等しい距離だけ、車両(ビデオカメラ)に接近する。記号は、車両からずっと先まで延びており(例えば長い矢印がそうである)、したがって、記号関心領域において検出され続ける場合がある。記号関心領域の上端に記号が検出され続ける限り、記号関心領域内の記号の上端(遠位距離)は、ビデオカメラから記号関心領域の上端までの距離にとどまり、一方、近位距離は、1画像フレーム毎に、1画像フレーム時間に車両速度を掛けた量に等しい距離だけ減少する。記号が、記号関心領域ROI−Cの上端に検出されなくなると、遠位距離も、1画像フレーム毎に、1画像フレーム時間に車両速度を掛けた量に等しい距離だけ減少する。
【0047】
図8において、記号は、時刻t0において、はじめて検出される。記号は、分析エリアである記号関心領域ROI−C中に入るにつれて、より長い長さを現わし、時刻t1においてはじめて、その全長(Ln=L2−L1)を現わす。近位端は、常に車両に近づく。遠位端は、時刻t1において、記号の上端がやっと見えるようになってはじめて、車両に近づくようになる。直線54の傾きは、車両速度に一致する。近位距離と遠位距離との間の行における路面標識断片候補の検出は、全て排除される。
【0048】
カルマンフィルタの予測機能によって、路面標識に近づきすぎたときに、運転者に警告を発する機能を損なうことなく、「偽りの好適な」標識を排除することが、一般に可能になる。カルマン予測は、いくつかの画像フレームにおいて、実際の測定を利用不可能な場合(恐らくは路面標識断片候補の排除によって)でさえ、空白を埋めて、有用な出力信号を生成することができるからである。
【0049】
車線境界検出装置6は、さらに、破線タイプ路面標識のダッシュ間のギャップにおける検出を排除してもよい。画像内に見出された路面標識断片候補が、真の路面標識断片として容認されるには、破線タイプ路面標識モデルと一致しなければならない。ダッシュの位置の不確実さが考慮される。破線タイプ路面標識は、間にギャップを挟まれた、短い路面標識セグメント(ダッシュ)を含んでいる。ダッシュ−ギャップパターンの規則性を学習し、その規則性を、ギャップ内に存在する見せかけの路面標識断片を排除するために用いることができる。このプロセスは、車両速度情報に基づいて、複数の画像フレームからのダッシュ−ギャップパターンを互いに重ね合わせ、それによって、ダッシュ−ギャップパターンの学習サイクルを強化するステップを含んでいる。車両速度および予想されるダッシュ位置に基づいて、画像中のギャップ内の画像フィーチャの検出が放棄される。
【0050】
放棄プロセスは、1つ先の画像フレームにおいてダッシュおよびギャップが存在するであろう位置を予測し、路面標識断片が存在するであろうと予測された(ある不確実さを許容しながら)位置にある路面標識断片だけを用いることによって遂行される。その結果、形を整えられた破線タイプ路面標識断片候補のセットが形成され、破線タイプ路面標識の真のパターンに、より信頼性をもって組み立てられる。ギャップ中の路面標識断片候補の排除は、一定時間にわたる、ダッシュの周期的な消失と再出によって認定される破線タイプ標識パターンが検出されてはじめて適用される。
【0051】
ダッシュ−ギャップ予測(モデル)の適用の一例が、図9に示されている。画像から入ってくる路面標識構造169(左端に示されている)が、フィルタ171(中央に示されている)に通され、その結果、フィルタ処理された破線タイプ路面標識173(右端に示されている)が生成される。ブロック177は、道路上に見出された実際の破線タイプ路面標識の断片を表わしている。それらのうちのいくつかはノイズであるかもしれない。フィルタ処理プロセスを用いることによって、ダッシュ間のギャップと不確実領域175との両方内にある、画像中の路面標識に似た物体は、画像からの路面標識の構築に用いられない(曲線適合に用いられない)。路面標識の容認に、ある大きさの不確実さを許容しながら、ダッシュ間のギャップ内にある路面標識候補を排除する〔例えばそのような不確実さの程度は、予想される各ダッシュの位置の終端における0.5メートルの領域であってもよく、その領域の内部に見出される(ギャップにはみでない)路面標識断片候補は容認される〕。
【0052】
車線境界検出装置6は、さらに、次の画像フレームにおけるROIを予測してもよい。これは、画像内に大きなデフォルトROI(その内部に路面標識を検出する)を用いることによって達成される。大きな領域を用いることによって、車線区分線のように見えるが、そうではない物体を検出することが可能である。ROIのサイズを縮小し、前の検出に基づいて、路面標識が存在すると予想される位置にROIを配置することによって、誤った路面標識検出の発生を減らすことができる。次の画像フレームにおけるROIの位置を予測するために、直前のいくつかの路面標識検出を用いて、次の画像フレームにおける路面標識の測定位置を予測する。これは、カルマンフィルタ処理を用いて行うことができるが、アルファ−ベータフィルタ処理のような、より簡単なスキームを用いてもよい。カルマンフィルタの状態変数は、道路面データに最適適合する放物線の0次、1次、および2次の係数であり、横方向座標yすなわち横方向距離は、次のように表わされる。
横方向座標y = 0次の項 + 1次の項*前方距離 + 2次の項*前方距離*前方距離
【0053】
カルマンフィルタ処理によって、多数の測定値の平滑化、次の画像における路面標識の位置の予測、および予測における不確実さの程度の算定が行われる。ROIの幅は、不確実さの程度に比例した大きさに設定されるが、常に、最小路面標識幅の少なくとも4倍に維持される。ROIが、そのもともとの幅の(1/10)倍に縮小すると、誤った検出の確率が著しく減少し、同時に、計算時間が短くなる。
【0054】
与えられた画像フレームにおいて、車線区分線または境界の位置のために利用可能な測定値がない場合には、カルマン予測が用いられる。測定値を利用不可能な状態が維持されると、その予測はより不確実になり、そのために、装置は、図10の例に示されているように、ROIの幅を広げる。追跡が打ち切られると、関心領域の幅は広げられ、路面標識の位置の予測の不確実さが増していることを表わす。計算時間に制限されて、また、車線がおよそ6メートルより広くなり得ないために、関心領域の幅は、ある最大値までに制限される。関心領域の長さは調整されない。
【0055】
カルマンフィルタの状態変数が道路面内にあるため、予測は、道路面内でなされる。道路上で予測された路面標識位置を、画像位置に変換するために、上述の、道路から画像への幾何学的変換が用いられる。関心領域は、画像3の予測された境界位置に関して対称的に配置される。画像フレームの臨界連続数において、路面標識位置の予測値が、実際の路面標識位置の測定値の代わりに用いられた(装置が「空の測定値状態で」動作した)場合には、装置は、再び、関心領域の幅を最大に戻す。この空状態は、2つの空状態量に関して監視される。その第1のものは、最後の実際の測定値が利用可能であったときから経過した画像フレーム数であり、第2のものは、最後の測定値が利用可能であったときから通過した距離(車両速度と累積画像フレーム時間との積)である。この2つの空状態量のどちらかが臨界値に達したとき、関心領域は、その最大幅にリセットされる。一般的なハイウェーの運転速度を仮定すると、空状態走行の臨界距離の一般的な値は、およそ20メートルである。
【0056】
カルマンフィルタは、装置が、同一の路面標識を連続して検出しているという十分な確実性がある場合にしか始動されない。これは、連続する一連の画像フレームをチェックし、それらの画像フレームの少なくとも一定のパーセンテージ(通常、60%を超過する)において、路面標識が検出されたことを確認することによって行われる。3つの距離(例えばビデオカメラの前方、およそ6、9、12メートルの位置)におけるデータが、カルマンフィルタに送られる。これらの距離は、Dickmannタイプの標識ファインダ(主として標識数を数えるために用いられる)が配置される位置でもある。容認可能な路面標識が見出された場合には、3つの距離における路面標識の位置が計算され、画像内に3つまでの(行、列)ピクセル位置が生み出される。これらのピクセルが、カルマンフィルタへの入力である。検出された路面標識が、3つの距離の全てをカバーするには短すぎる場合には、3つ未満のピクセル位置しか生成されない。
【0057】
追跡(たどることができる、首尾一貫した路面標識または境界の)の開始を決定するためには、路面標識が、画像中のほぼ予想された位置に、十分頻繁に検出されなければならない。少なくとも1つの位置における検出が確認されると、装置は、その位置における追跡を開始し、カルマンフィルタを始動させる。追跡の第1段階は、通常、例えば15メートルにわたる確認区間における追跡である。この確認区間の最後において有効な追跡として確認されるまで、この追跡は、警告または制御に利用されない。この第1段階において、装置は、最初の検出から予測される軌道内の、画像中の道路領域を調べる。装置は、検出された3つのピクセル位置の各々におけるさらなる検出を記憶する。この確認区間の通過中に、装置は、検出された3つのピクセル位置の各々における最少検出数を記憶する。この最少検出数は、通常、現在の車両速度で、3メートルの長さの路面標識を通り過ぎるときに観測される検出数である。
【0058】
確認区間の通過中、路面標識位置は、車両の外縁の外側にとどまっていなければならない。追跡の確認区間の最後において、前述の条件の両方ともが満たされており(すなわち、路面標識は十分頻繁に、かつ連続する複数の画像フレームにおいて予想された位置に検出されており)、空状態量(距離および時間の)が臨界値を超過してしない場合には、装置は路面標識を追跡し続け、その路面標識に対する警告/支援の起動が有効にされる。空状態量のうちの1つが大きすぎる場合には、装置は、路面標識を追跡し続けることを中止し、その路面標識に対する探索モードに戻る。
【0059】
路面標識の追跡中、装置は、最新の走行区間における各位置での検出の履歴を保存する。履歴が保存される走行区間の長さは、通常、18メートルである。各画像フレーム時間において、画像フレーム内に検出がなかったとき、または、履歴間隔内の前述の3つのピクセル位置の全てにおける検出の合計が、ある限界値未満であったときには、その追跡において路面標識は見出されなかったと見なされ、空区間がインクリメントされる。空区間がある閾値を超過した場合には、装置は、この路面標識を追跡し続けることを中止し、その路面標識に対する探索モードに戻る。
【0060】
したがって、カルマンフィルタを用いることによって、路面標識を探すべき画像内の位置を予測することができ、必要な画像評価領域の大きさを算出することができ、平滑化された出力信号が与えられ、未加工の入力信号を最大限に活用するための十分な特性を備えた、恐らく最適なメカニズムが与えられる。
【0061】
車線区分線または道路境界を見出すことを困難にし得る多くの状況が存在する。車線境界検出装置6は、そのような困難な状況を感知し、そのような状況における装置性能を向上させる。道路画像中のクラッタは、多すぎる画像フィーチャ信号の検出をもたらす。特に、それらの信号のうちの2つが非常に類似している(例えば、強度がほぼ等しい、存在すると予測される場所が近接している、特性が類似している、など)場合には、正しい1つの信号の選択が困難になる場合がある。信号が急にあまりにも弱くなって、たどることができなくなったときに、第2の困難が生じる場合がある。特殊な第3の困難は、路面標識断片であるように見えて、路面標識を検出する際の考察から外されるべき降雪である。道路からの反射光は、道路上の長く白い筋のように見えるから、第4の困難は、路面標識のように見える、道路からの反射光である。そのために、そのような反射光を識別して、路面標識を検出する際の考察から、反射光を外さなければならない。
【0062】
クラッタを含む画像を処理するために、クラッタ検出プロセスは、図11に示されているように、近位検出位置と遠位検出位置(それぞれ画像の底と頂)とのほぼ中間位置に、画像幅のほぼ全体をカバーする特別の関心領域、すなわちクラッタ検出関心領域ROI−CDを配置するステップを含んでいる。各画像フレームにおける現在の路面標識の位置、および存在するかもしれないさらなる路面標識の位置を得るために、クラッタ検出関心領域ROI−CDからのデータが、Dickmannタイプの標識ファインダに供給される。そのような出力は、クラッタ(混乱を招く信号)、および、切り換えるべき、より近接して交互に並んでいる、持続性のあるトラック(標識断片)の検出に用いられる。このようなさらなる路面標識(クラッタ)は、装置に混乱をもたらす場合がある。それらのうちのほとんどは、位置を変更した(特に断続的に)ときに、明確な信号、すなわち、たどるべきトラックを形成することができない。その一例は、まれにしか存在しない(信憑性のある検出信号を与えるほどに十分に持続的でない)標識断片、または無秩序に存在する(首尾一貫した検出信号を与えるほどに互いに十分に近接していない)標識断片である。
【0063】
そのために、車線境界検出装置6は、クラッタ検出関心領域ROI−CDからの検出信号をチェックし、クラッタの検出中に、次の3つのクラッタ量、すなわち、存在しているが現在は追跡されていない、追跡を混乱させる恐れのある標識検出信号の数、検出信号のタイミング周波数(例えば時々存在するが、有効なトラックを形成するのには断続的すぎる、またはまれにしか生じない、など)、および検出信号を発生させる画像フィーチャの位置の変動(大きな変動は、有効なトラックの形成にとって妨害になる)のうちの少なくとも1つを算出する。車線境界検出装置6のクラッタ検出機能によって、装置を混乱させる恐れがある、そのような信号の存在が探し出され、混乱したがって追跡ミスを生じさせ得る全ての検出が排除される。上述のクラッタ量の算出に基づいて、車線境界検出装置6は、標識検出信号の次のタイプの処理のうちの少なくとも1つを実行する。
クラッタ検出信号が存在しない場合の、追跡すべき信号の検出。
有効なトラックを与えないクラッタ検出信号が存在する場合の、追跡すべき信号の検出。
有効なトラックを形成する、他の検出信号が存在するが、その有効なトラックは、現在のトラックほど、横方向にビデオカメラに近くない(装置が警告起動のスイッチを入れてはいけない代替トラックである)場合の、追跡すべき信号の検出。
有効なトラックを形成する、他の検出信号が存在しており、その有効なトラックは、現在のトラックより、横方向にビデオカメラに近い(装置が警告起動のスイッチを入れるべき代替トラックである)場合の、追跡すべき信号の検出。
【0064】
さらに、車線境界検出装置6の追跡機能によって、暗い影のように、画像の信号強度が急激に低下するかもしれない状況を検出し、別の、真正ではない信号を、代わりに用いることができる。例えば車線境界検出装置6は、特に暗い画像エリア(暗い区画)を、そのような画像エリアの輝度ヒストグラムを用いてチェックし、連続する複数の画像フレームにおいて、そのような暗い区画が車両速度で接近してきており、それは、その暗い区画が道路上の静止エリアであることを表わしていることを究明する。車両が、そのような暗い静止エリア(例えば静止している影)内に入る前に、車線境界検出装置6は、路面標識画像フィーチャ(検出信号)の一時的な消失または低下を補償する。そして、車両が、そのような暗い静止エリア内に入ると、車線境界検出装置6は、補償すべき検出信号が突然になくなるときを予測するために、対応する暗い画像区画のサイズが、いつ小さくなるかをチェックする。これによって、車線逸脱検出装置9は、暗い場所への入出に伴う、警告/支援の誤った起動を回避することができる。
【0065】
暗い場所内にいるときに、誤った検出の可能性を減らすために、追跡窓(関心領域)は、相対的に狭く作られ、新しい追跡を開始することはできない。暗い画像区画の処理は、さらに、画像解像度に関するビデオカメラ(イメージャ)のタイプに依存する。暗い領域のコントラストを解像することができる、高ダイナミックレンジのビデオカメラでは、車線境界検出装置6は、相対的に高い解像度で、暗い影を処理することができる。暗い領域は何であるかを正確に特定するために、レンズ−イメージャ−車両照明装置のパラメタリゼーションを利用してもよい。
【0066】
雪などの落下物が情景内に存在する場合には、そのような落下物に対応する画像フィーチャは、車線境界検出装置6および車線逸脱検出装置9による考察から外さなければならない。例えば降雪が、十分に低い温度でのみ生じる場合には、それを測定することができる。路面標識断片に似ているように見える白いフレークである降雪は、断続的標識断片検出信号を発生させる場合がある。それは、連結性分析で判定することができる。低温が検出された場合には、特に断続性が持続していると、装置は、互いにつながらないこれらの偽りの「路面標識断片」を排除することができる。
【0067】
図12には、路面標識断片候補の画像フィーチャ7S(「+」記号)のうちの真の路面標識断片の画像フィーチャは、路面標識(破線タイプまたは実線タイプの)画像フィーチャ7L、7Rの近傍に密集しており、そうでない画像フィーチャは、路面標識画像フィーチャ7L、7Rと互いに分離している一例が示されている。車線境界検出装置6は、路面標識断片検出信号から、路面標識断片候補として識別されたが、実際には降雪片である可能性が高い、孤立したピクセルを排除するように機能する。したがって、検出の精度を向上させるために、破線タイプ路面標識と、実線タイプ路面標識とを適切に識別することが好ましい。
【0068】
図13のコントローラ5の実施形態では、車線境界検出装置6は、道路面からの反射光像(符号19は、反射光像候補のピクセル輝度パターンを示している)を表わす画像フィーチャを、路面標識検出における考察から外す反射光像検出装置6bを備えている(図13は、さらに、街灯14、およびビデオカメラ1を搭載している車両2の前方の道路4上の別の車両7を示している)。上述のように、明るく、路面標識に似た垂直の筋のように見える反射光像は、車線区分線検出装置を混乱させる場合がある。反射光像検出装置6bは、画像3中の、高コントラストで横方向に暗−明−暗と遷移する、垂直に延びるピクセル輝度パターン19を、反射光像候補としてチェックする。反射光像検出装置6bは、さらに、これらの高コントラストのピクセル輝度パターン19の長さおよび幅をチェックし、広すぎるか、または短すぎるピクセル輝度パターンを排除する。反射光像検出装置6bは、路面標識検出分析に用いるべきではない画像部分(例えばピクセル輝度パターン19)を識別する。反射光像はほぼ垂直であるから、これらの画像部分を、その列位置のみで記憶することが好都合である場合もあるが、反射光像候補とされた単独のピクセルが無視される可能性もある。あるいは、この反射光像検出装置6bを応用し、道路上の記号を表わす画像フィーチャを検出してこれを画像解析し、予め設定した警告を表す特定の記号や文字であることを認識した場合は、音声により該標識の存在を運転手に知らせるよう構成されていてもよい。
【0069】
コントローラ5(車線境界検出装置6および車線逸脱検出装置9)は、さらに、1つの画像フレーム中に2つ以上の路面標識が検出されているような場合に、新しいか、または、より適切な路面標識が追跡されている(たどられている)か否かを判断する。例えば、ある路面標識が、現在追跡されている路面標識より頻繁に検出される場合には、コントローラ5は、どちらの路面標識を追跡すべきかを決定する。一般的に言うと、ビデオカメラに対して最も内側の(最も近接した)路面標識が、走行している車線を画定している路面標識である。コントローラ5が、現在追跡している路面標識より近接した路面標識を検出した場合には、コントローラ5は、そのより近接した路面標識の追跡に切り換えることができる。例えば現在追跡している、より古く、消えていく路面標識から切り換えるための新しい路面標識が加えられているときなどにも、異なる路面標識の追跡への切り換えが必要になる。
【0070】
一例において、次の条件、すなわち、コントローラ5は、現在、路面標識をたどっていること、クラッタを含む検出信号は最小であること、新しい路面標識が、十分多くの画像フレームにおいて検出されていること、ROIが、複数の路面標識を含んでいなくても、複数の路面標識を含んでいても、新しい路面標識が、ビデオカメラに、より近接していること、新しい路面標識が、少なくとも一定の走行距離(例えば15メートル)において検出されているか、または、現存の路面標識が、その一定の走行距離において検出されていないこと、新しい路面標識が、その一定の走行距離全体にわたって、現存の路面標識より頻繁に検出されていること、新しい路面標識は、ビデオカメラに近づきすぎていない(誤った警告が発せられないように)こと、新しい路面標識に対応する車線の幅は妥当であることという条件の全てが存在するときに、コントローラ5は、現存(現在)の路面標識の追跡から、新しい路面標識の追跡に切り換える。これらの条件(または他の条件)のいくつかの組み合わせを含む、他の追跡切り替え例も可能である。
【0071】
さらに、新しい路面標識であるように見えているものが、実際には、ノイズの多い現在の路面標識であるということもあり得る。前述のように、路面標識が、ノイズの多いものであったり、見当たらなくなっていたりする場合には、次の画像フレームにおける路面標識の予測される位置に、大きな不確実さが生じることがある。この不確実領域は、容認領域またはゲートと呼ばれる。図14A、図14Bは、連続する画像フレームにおいて検出される路面標識を追跡する2つの例を示している。図14Aの第1の例は、ノイズの少ないトラックにおける検出信号(路面標識候補のピクセルpに対応する)を表わしている。ゲート60(1つの画像フレームに対して1つのゲート)のサイズは相対的に小さく、実測値は予測値に近い。図14Bの第2の例は、ノイズの多いトラックにおける検出信号を表わしている。ゲートのサイズは相対的に大きく、測定値は、最初の2つの画像フレームにおいて、ゲート60内にあるだけである(3つの画像フレームにおける実測値は、予測値を中心としたゲート60aの外部にある)。測定値が、一貫してゲートの外部にある場合には、新しいトラックが開始していることがあり、上記の切り替えが行われる場合がある。測定値がゲートの外部に存在する、または路面標識(測定値)が存在しないという不満足な状況は、測定値に替えて予測値を用いて処理される。
【0072】
車線逸脱検出装置9は、さらに、路面標識を越えること(または交差すること)によって、特定の重大な結果がもたらされる場合を規定する。その結果は、いくつかの場合において、他の場合より重大になる。一例において、路面標識を越えることが重大性をもつかどうかを決めるために3つのパラメータが用いられる。道路画像から検出される、それらのパラメータには、路面標識の数、路面標識のタイプ、および路面標識の外側に見えるものの分類が含まれる。交差してはいけないことを意味している路面標識(例えば二重で、実線で、恐らく黄色の線)には、単一の破線タイプ標識と交差する場合より強い警告を発するように規定してもよい。画像中の路面標識の外側の、複数の垂直のエッジを含んでいるエリアへの進入に対しては、より強い警告を発するように規定してもよい。3つのパラメータに応じて、運転者に与えられる警告または支援は変更される。
【0073】
単一の画像フレームにおいて路面標識長を検出することによって、路面標識のタイプを特定してもよい。路面標識長は、路面標識のタイプを決定する基本量である。実線タイプ路面標識は、一般に長い。一方、破線タイプ路面標識のダッシュは、より短い長さを有する。さらに、ボッツドッツは、非常に短い。アセンブリプロセス(路面標識断片を適合直線または適合曲線でつなぐ)を用いて、路面標識を見出すことができる。路面標識は、ギャップ(例えば路面標識断片が存在しない場所)を挟まれることもある、ほとんどつながっている断片を有する。ほとんどつながっている断片を検出し、最小の長さを用いてギャップを記述することによって、そのようなアセンブリの、ビデオカメラからの最近位距離および最遠位距離を特定することができる。
【0074】
破線タイプ路面標識のダッシュ間のギャップは、例えば少なくとも2メートルの長さを有する。実線タイプ路面標識のギャップ(欠落部)は、通常、より短く、最大でも例えば約0.5メートルにおよぶ程度である。ギャップは、路面標識の形成に寄与する路面標識断片が存在しない1つ以上の行から成っている。画像3の各行は、上述の幾何学的変換を用いて、ビデオカメラの幾何学的配置情報(据え付け高さ、ピッチ角など)から計算することができる、道路4のある長さすなわち区分域をカバーしている。一例として、図15に示すように、路面標識を形成するために用いられた路面標識断片を含む行のリストを調べることによって、路面標識長を見出すことができる。路面標識を形成している個々のピクセル区分域を合計することによって、路面標識長が測定される。例えば0.5メートルまでのギャップは看過される。より長いギャップは、いずれも路面標識間のギャップである。
【0075】
図15は、A、B、C、E、F、H、I、J、K、Oと表示された、一連の行を示している。直接に隣接している行A、B、Cは、それらの内部に、路面標識断片を有している。次の行である行Dは、路面標識断片を有していない(ギャップである)。路面標識断片を有している行E、Fが、それに続いている。次いで、行Gで、別のギャップが続いている。最後に、行H、I、J、Kは、路面標識断片を有しており、行Oで、次の路面標識断片が続いている。
【0076】
路面標識断片を欠いている行D、G、L、M、Nは、それらの行の各ピクセルがカバーしている(対応している)道路の長さに関して調べられる。例えば行Dは0.2メートルをカバーしており、行Gは0.4メートルをカバーしており、行L、M、Nは合わせて1.9メートルをカバーしている。行Dおよび行Gの長さは、臨界最大ギャップ値0.5メートル未満であるが、行L、M、Nを合わせた長さは、臨界最大ギャップ値0.5メートルを超過している。したがって、路面標識は、行Aの下端から行Kの上端まで延在しており、その長さは、行A〜Kがカバーしている道路上の各区分域の和で与えられる。0.5メートルの臨界最大ギャップ値より短い行DおよびGは、それらの隣の行とつなげられて、路面標識に組み入れられる。路面標識断片の存在を検出するために、関心領域の全ての行が処理され、路面標識長(および始点と終点)を見出すために、上記のステップが適用される。
【0077】
路面標識長が測定されてしまえば、車線境界検出装置6のクラシファイア機能によって、測定したばかりの路面標識のタイプが特定される。このクラシファイアは、その入力として路面標識長をとり、出力として路面標識タイプを発生させるルールに則っている。例えば4つの路面標識タイプ、すなわち、タイプ0=路面標識なし、タイプ1=ボッツドッツ、タイプ2=破線タイプ路面標識、タイプ3=実線タイプ路面標識があり得る。路面標識タイプの分類ルールの一例は、次のものを含んでいてもよい。
路面標識長=0メートルであれば、路面標識タイプ=タイプ0。
0メートル<路面標識長≦0.5メートルであれば、路面標識タイプ=タイプ1。
0.5メートル<路面標識長≦3メートルであれば、路面標識タイプ=タイプ2。
3メートル<路面標識長であれば、路面標識タイプ=タイプ3。
【0078】
路面標識が、ROI内で完全に見えるわけではなく、実際の長さより短く見えるかもしれないために、路面標識タイプのこれらの分類はあいまいになる場合がある。このために、走行の最後の、例えば20メートルの間に得られる路面標識タイプの分類にフィルタ処理プロセスが適用され、路面標識タイプの最大値が選択され、単一画像フレームにおける最終的な路面標識タイプの分類が与えられる。例えば実線タイプ路面標識分類(すなわち路面標識タイプ=タイプ3)が、最後の20メートルにおいて、1回しか検出されなかったとしても、その路面標識タイプは、実線タイプ路面標識として分類される。図16は、単一画像フレームにおける路面標識長測定のプロセス70の一例を示している。プロセス70は、次のステップを含んでいる。
ステップ71:ROI内の全ての路面標識断片を見出す。
ステップ72:路面標識断片が存在する全ての行のリストを作成する。
ステップ73:例えば0.5メートル未満の長さのギャップを看過して、最も長くつながっているセクションを見出す。
ステップ74:最長のセクションの近位端および遠位端を得る。
ステップ75:遠位端の位置と近位端の位置との間の差として、路面標識長を計算する。
ステップ76:路面標識長を用いて、例えば4つのタイプ、すなわち、タイプ0=路面標識なし、タイプ1=ボッツドッツ、タイプ2=破線タイプ路面標識、タイプ3=実線タイプ(連続)路面標識に、路面標識タイプを分類する。
ステップ77:最終的な路面標識タイプを得るために、走行の最後の例えば20メートルの間に見出された路面標識タイプ(0、1、2、3)のうちの最大値のものを選出する。
【0079】
路面標識タイプの一代替特定方法は、一定の時間内に、どのくらいの頻度で路面標識断片が検出されるかを特定する方法である。通常の大きさの関心領域ROI−L、ROI−Rのいずれかが、より小さな関心領域に分割され、この分割された関心領域で路面標識断片検出が行われる。一例において、路面標識断片の低頻度の検出(〜1%)はボッツドッツに伴うものであり、より高頻度の検出(15%)は破線タイプ路面標識に伴うものであり、より一層高頻度の検出(60%)は実線タイプ路面標識に伴うものである。
【0080】
複数の路面標識は、一般に、破線タイプ路面標識と実線タイプ路面標識との組み合わせである。そのような組み合わせは、図17の例に示されているように、複数の行からのピクセル値を合計し、合計することによってノイズが減少して、強化された検出信号を用いて路面標識を検出する、Dickmannタイプの標識ファインダによって検出することができる。合計されたピクセル値は処理され、閾値(例えば1〜255の範囲にあり、6〜24の範囲にあることが好ましい)を超過する大きさを有する輝度勾配が特定される。次に、勾配のピーク(最大勾配)およびバレー(最小勾配)が特定され、ピークと、それに隣接するバレーとの位置が調べられて、それらの間の間隔が求められる。間隔が、行に対して許容されている最小間隔値と最大間隔値との間〔例えばセンチメートルで測って1〜100cmの間であり、7〜70cmの間であることが好ましい(このセンチメートルで測ったサイズは使用の前にピクセル数に変換される)〕にあるときには、そのピークとバレーは、路面標識を表わしているとして、1対化される(ピーク−バレー対すなわちP−V対、図17参照)。したがって、1対化された、勾配のピーク−バレーの数は、画像3のROI内に存在する路面標識の数である。
【0081】
複数のDickmannタイプの標識ファインダを用いて、ビデオカメラに関して同じ側の、いくつかの距離において路面標識検出を行うことによって、路面標識の存在数に対する複数の測定をなすことができる。一例として、図18を参照すると、ビデオカメラの1つの側部(1つのROI)当たり3つの標識ファインダ80が用いられている。標識ファインダ80の各々は、地面を、縦方向に約1メートルだけカバーしている。いずれかの標識ファインダ80が、ビデオカメラの1つの側部(例えば関心領域ROI−R)において、標識断片間のギャップ(例えば破線タイプ路面標識のダッシュ間のギャップ)を検出し、他の標識ファインダよりも少ない路面標識数を計上することがあるかもしれない。見出された路面標識数のうちの最大のものが、与えられた画像3の、測定された側部に存在する路面標識数を表わすものとして選ばれる。
【0082】
局所的に散在する勾配が、路面標識として検出されることがあり得る。そのために、検出された路面標識数が、フィルタ処理(時間平均)される。一例として、図17を再度参照すると、与えられた画像フレームにおいて検出された路面標識(P−V対)の最大数がフィルタ処理される。例えば約20メートルの車両走行に相当する画像フレーム数が、フィルタ長として用いられる。このフィルタ処理によって、検出された路面標識数が平均化され、最終的な検出路面標識数が特定される。
【0083】
上述の路面標識の検出に加えて、図19の例に示されているように、路面標識画像フィーチャ7L、7Rの内側と外側との画像フィーチャを比較し、特徴分析してもよい。路面標識を見出すために用いられた種々の量が、比較および特性分析のための入力すなわち特性値として用いられる。図19は、2つの画像領域NRおよびBBRを示している。画像領域NRは、ビデオカメラの近傍にあり、画像領域BBRは、識別された路面標識画像フィーチャ7Lの外側にある。
【0084】
これらの画像領域は、いくつかの特性によって特性分析することができる。それらの特性には、平均輝度、サイズ、エッジの存在などを含めることができる。一例として、画像領域NRおよびBBRにおいて画像テクスチャを測定し、それらの画像領域における画像フィーチャを特定することによって、それらの画像領域におけるエッジの存在を明らかにすることができる。標識ファインダは、いくつかある量の中で特に、各行のピクセルの輝度の勾配を計算する。いくつかの勾配は、閾値(例えば1〜255の範囲にあり、6〜24の範囲にあることが好ましい)を超過する大きさを有するかもしれない。これらの十分の大きさを有する勾配(ピークとバレー)間の間隔の広さに応じて、それらの間のエリアが、路面標識断片候補として容認されるか、または否認される。画像領域NRおよびBBR内のこれらの十分の大きさを有する勾配(それら以外は、車線区分線断片候補または境界断片候補であると認定されない)の密度および中央値間隔を、路面標識画像フィーチャ7Lの外側/内側にあるものを分類するための特性として役立てることができる。一例において、密度は、横方向1メートル当たりの、十分の大きさを有する勾配の数として与えられる。中央値間隔は、列の数で与えられる。
【0085】
路面標識画像フィーチャ7Lの外側/内側にあるものを分類するために用いることができる画像領域NRおよびBBR内の他の1つの画像特性は、行位置の変化に伴う、十分の大きさを有する勾配間の中央値間隔の変動の仕方である。図20Aの画像3の例に示されているように、画像内の行が地平線に近づくにつれて、道路面内の路面標識および他の物体は、通常、その長さおよび幅が縮小したように見える。そのような物体における中央値間隔も、行が地平線に近くなるにつれて、狭くなるように見える。しかしながら、木82のような道路面内にない物体においては、行が地平線に近づいても、その幅や間隔は狭くならないように見える。
【0086】
図20Bの例に示されているように、道路上のそのような物体に対応する画像フィーチャの特性を記述するために、十分の大きさを有する勾配の中央値間隔と、画像の行とを関連づける最小二乗直線が計算され、その傾きが記憶される。標識検出用のROI(例えば画像領域NRおよびBBR)の上端と下端との間の行が、そのような計算に用いられる。例えば行が地平線に近づいても、画像面とほぼ平行な樹幹は、その幅を一定に維持され、一方、道路面内の物体は、一般に、その幅を一定に維持されない。最小二乗適合直線の傾きがほぼ0であるということは、木のような、一定の幅(画像面において)の物体が存在することを指示している。車線逸脱検出装置9は、それを利用して、適切な警告/支援を発することができる。
【0087】
行または領域の平均絶対偏差(MAD)によって定められる別の画像特性を、画像領域NRおよびBBRにおける物体の検出に用いてもよい。道路などの滑らかな領域は、低いMAD値を有する傾向にあり、一方、木などの、より大きいテクスチャを有する領域は、より高いMAD値を有する。MADは、平均値からの平均絶対偏差である。m個のピクセルの輝度piのグループに対する、輝度のMADは、数2のように表わすことができる。
【数2】

ここで、iは、i=1、2、…、mであり、average(p)は、m個のピクセルの輝度piの平均値であり、和は、全てのiにわたって行われる。
【0088】
一例として、図21に示すように、各行におけるビデオカメラの近傍のMAD値が特定され、次いで、同じ行において、ビデオカメラから横方向に外側にさらに離れた位置におけるMAD値が、検出された路面標識を越えて、ほぼ1車線幅(例えば1車線幅はほぼ3メートルであってもよい)だけ外側に延びる画像領域において特定される。2つのMAD値が、画像の各行に対して生成される。図21は、路面標識または境界の内側と外側とにおけるMAD値の比較を示している。各行における内側MAD値と外側MAD値との比δが得られ、それらの比δが平均される。比δの値がほぼ1であれば、路面標識の外側の領域のテクスチャが、路面標識の内側の領域のテクスチャと同様であるということになる。この特性は、1つの値を生成するための入力として、2つの領域を必要とするから特異である。
【0089】
そのために、この例においては、4つの画像特性が考察の対象とされる。第1の画像特性は、1メートル当たりの勾配密度であり、第2の画像特性は、列の数で表わされる、十分の勾配間の中央値間隔であり、第3の画像特性は、十分の大きさを有する勾配間の中央値間隔の行変化であり、第4の画像特性は、平均MAD比である。このような画像領域特性は、いろいろに処理することができる。2つの例を、次に記す。
1. ビデオカメラの近傍の領域(画像領域NR)における最初の3つの画像特性と、路面標識の外側(およそ1車線幅だけ外側までの)の画像領域BBRにおける同じ3つの画像特性とを比較し、第4の画像特性比較として、平均MAD比を組み込む。これらの画像特性が、近似性に関して比較される。最初の3つの画像特性は、マンハッタン距離を用いて比較される。
2. 路面標識の外側の領域(画像領域BBR)における最初の3つの画像特性および平均MAD比とデータベースとを比較し、データベース内の、最も近似した画像特性を有するカテゴリーを特定する。
【0090】
上記の第1の比較プロセスにおいては、路面標識の内側の画像領域における画像特性結果が、路面標識の内側の画像領域に対応する道路の運転しやすさを評価し、次いで、その評価に基づいた適切な警告/支援機能を起動するために、車線逸脱検出装置9によって用いられる。車両が通過可能なゾーン内を安全に前進する(例えば道路上を路面標識にしたがって)ように、車両が前進するにつれて、上述の画像特性の組み合わせがモニタされる。この画像特性の組み合わせ(特性ベクトル)と同じ特性ベクトルが、路面標識の外側の画像領域BBRのゾーンにおいても見出された場合には、その車両は、安全に画像領域BBRのゾーンに進入することができると予想することは合理的である。車両が前進するにつれて収集された安全な特性ベクトルを記憶することによって、装置は、安全なゾーンに関して累積的に学習する。
【0091】
上記の第2の比較プロセスにおいては、画像領域BBRにおいて現在測定されている画像特性が、データベース中の代表的かつ典型的な画像特性と比較される。このデータベースは、少なくとも2つのカテゴリー(または評価)、すなわち、安全な走行が可能なレベル、および安全な走行が不可能なレベルを規定している。データベースは、走行可能であるかもしれないレベルすなわち中間安全レベルなどの、他のカテゴリーを含んでいてもよい。データベースは、これらの画像特性の全ての組み合わせを含んでおり、またそれらの組み合わせの各々に対して、安全度を割り振る。
【0092】
車線逸脱検出装置9は、次のように、2つの比較を用いることができる。第1の比較が、ビデオカメラの近傍(画像領域NR)で測定された画像特性と、路面標識の外側(画像領域BBR)で測定された画像特性との間に相当な差があることを示した場合には、第2の比較が行なわれる。最終結果として、路面標識の外側の領域(画像領域BBR)に入ることがどれくらい安全かということが判定される。0.0〜1.0の間の値として与えられるこの判定に応じて、車線支援状況中に運転者に供給される警告または支援のレベル/タイプが調節される。
【0093】
1つの特性ベクトルと、別の1つの特性ベクトルとの近似性が、次のように、それらの間のマンハッタン距離によって測定される。
マンハッタン距離 = |f1_a − f1_b|+|f2_a − f2_b|+|f3_a − f3_b|
ここで、f1_aは、グループaの第1の画像特性であり、f2_bは、グループbの第2の画像特性であり、f3_bは、グループbの第3の画像特性である。例えばグループaは、車両が安全に進入することができる、前方の直線道路からの3つの画像特性測定を含んでいてもよく、グループbは、路面標識の外側の領域からの3つの画像特性測定を含んでいてもよい。グループaの前述の4つの画像特性のうちの最初の3つが、グループbの対応する3つの画像特性に十分に近似している場合には、路面標識の外側の領域への進入は安全であろうと予想される。マンハッタン距離は、図22におけるように、二次元のグラフで示すことができる。あるいはまた、グループaは、路面標識の外側の領域(画像領域BBR)において測定された画像特性の平均であってもよく、グループbは、例えば草やガードレールを表わす、データベース中の参照点であってもよい。グループaは、グラフ85において、最も整った参照特性ベクトルと同じカテゴリーを割り当てられる。シンボル(数3)および(数4)は、それぞれ、グループaとグループbとの間における第1の画像特性の差および第2の画像特性の差を表わしている。
【数3】

【数4】

【0094】
マンハッタン距離が大きいということは、画像領域(グループ)間の画像特性の差が大きいということを表わす。マンハッタン距離の計算に先立って、画像特性は正規化される。この距離測定が、第1の比較において用いられる。また、実質的に同じであると見なしうる、2つの画像領域の画像特性に対して許容される最大差に対する閾値(例えば0〜1.4の範囲にあり、0.2〜0.6の範囲にあることが好ましい)が設定される。2つの画像領域が近似していると断定できるためには、第4の特性は、0.8〜1.2の範囲にある必要がある。
【0095】
第1の比較によって、2つの画像領域が互いに相当に異なっていることが示された場合には、第2の比較が起動される。最も単純な形態として、画像特性値は、1セットのルールを適用される。それらの1セットのルールは、特性ベクトルの各組み合わせに、識別カテゴリーおよび安全度を割り振る。ルールの1つの例は、次のとおりである。1つの画像領域における、十分の大きさを有する勾配間の間隔が、画像の行の変化に対して十分に変化しない(行対中央値間隔のデータに対する適合直線の傾きを見出すことによってチェックされる)場合には、この画像領域は、走行可能な領域ではなく、危険度が高く1.0である。1つの画像領域において、横方向1メートル当たりの、十分の大きさを有する勾配の数が少なく、中央値間隔が小さい場合には、この画像領域の危険度は、かなり低いとされる。画像領域BBRにおけるMAD値が大きい場合には、危険度が高いとされる。上述のステップを、1つの画像領域の上述の4つの画像特性を受け取り、それに応答して、危険度(または安全度)に、0.0(全く危険でない)と1.0(極めて危険である)との間の値を与える4次元クラシファイアとして実行することができる。
【0096】
図23は、4つの画像特性の一例を、グラフで示している。第1の画像特性(#1)は、5メートルの長さにわたる、十分の大きさを有する8個の勾配である、すなわち、1メートル当たり8/5個すなわち1.6個の十分の大きさを有する勾配からなる勾配密度である。第2の画像特性(#2)は、隣り合う勾配間の距離の特性値である、全ての隣り合う勾配の対の間隔の中央値である。第3の画像特性(#3)は、MADの計算の仕方である。第4の画像特性(#4)は、画像の行の関数としての、中央値間隔の近似的な変化(最小二乗適合直線を介して示される)の仕方である。それによって、路面標識の外側にあるものが道路面内にあるようであるか、それとも直立しているようであるかが判定される。さらなる画像特性として、画像領域内の平均勾配量を含ませてもよい。
【0097】
図24は、本発明によるコントローラ5の別の一実施形態を実行する装置100の一例の機能ブロック図である。車線境界検出装置101は、前述のように車線区分線を検出する。記号検出装置102は、車線境界検出装置101を妨害する恐れがある標識をチェックし、それらの標識のそれぞれの両境界(内側および外側の)を特定する。これらの両境界の間に検出された画像フィーチャを、車線境界検出装置101は無視する。クラッタ検出装置103は、車線境界検出装置101を混乱させる恐れがある不規則な標識、過剰な標識、および一貫性のない標識をチェックし、必要な場合には、全ての検出を排除する。新標識検出器104は、追跡モジュール106が切り換えて、車両がたどることができる十分に持続的で、一貫性があり、より近接した路面標識をチェックする。
【0098】
カメラ較正モジュール105は、ビデオカメラの内部および外部の幾何学的配置特性を分析する。内部の幾何学的配置には、焦点距離、ピクセルサイズなどの量が含まれ、一方、外部の幾何学的配置には、据え付け高さ、ピッチ角などが含まれる。追跡モジュール106は、ビデオカメラの各側部において1つずつ識別された路面標識の位置測定値を受け取り、それらを平滑化し、次の画像フレームにおける路面標識の位置を予測し、依然として予測をなすことが可能である(予測が、その信頼性を低下させすぎる前に、一定の不確定さの範囲内で適切である)か否かを判断する。車線逸脱検出装置107は、車両が路面標識に接近しすぎているか否かを判断する。そのための入力は、追跡モジュール106からの平滑化された位置測定値である。その出力は、警告するべきか否かについての判定である。
【0099】
画像領域特性分析および比較装置108は、最初に、車両の前方の領域と、路面標識/境界の外側の、ほぼ1車線幅の領域とを比較し、両領域が、互いに近似した画像特性を有しているか否かを判断する。両領域が、互いに近似した画像特性を有している場合には、路面標識/境界の外側の領域に進入することは安全であり、過度に強い警告を発する必要はない。両領域が互いに異なる場合には、路面標識/境界の外側の領域の画像特性が、データベースと比較される。それによって、路面標識/境界の外側の領域が安全な領域、恐らく安全な領域、または安全でない領域に分類される。したがって、この分類は、起動される警告に影響を与える。起動される警告は、存在している路面標識の数およびタイプなどの、路面標識の属性によっても影響を受ける。二重の実線タイプ車線区分線は、単一の破線タイプ車線区分線の場合より強い警告の起動を引き起こす。ルールによって、画像領域分類と路面標識タイプとが組み合わされ、この組み合わせが、起動される警告の強さまたは性質に影響を及ぼす。路面標識のタイプ/数/長さ測定装置109は、路面標識自体が、車線からの逸脱が危険であることを示しているか否かを判断する。警告モジュール110は、適切な車線位置または道路位置を維持するように運転者に警告するか、または支援する。その入力は、路面標識および路面標識の外側の領域によって誘起または示唆される、警告および危険度に対する判定である。
【0100】
図25は、装置100によって実行される、以下のステップを含むプロセス200のフローチャートである。
ステップ201:道路の画像フレームを得る。
ステップ202:予想される路面標識位置の限界を、画像内にROIとして画定する。
ステップ203:画像アーチファクト(反射光、太陽光の筋)を排除する。
ステップ204:画像中のROI内に路面標識断片を見出す。
ステップ205:ギャップ中の標識断片を排除する。
ステップ206:降雪標識断片を排除する。
ステップ207:検出から記号を排除する。
ステップ208:残っている路面標識断片を、路面標識に組み立てる。
ステップ209:検出からタール帯を排除する。
ステップ210:幾何学的変換によって、画像点を道路面に投影する。
ステップ211:クラッタを検出する。
ステップ212:道路面データにカルマンフィルタ処理を施す。
ステップ213:必要に応じてトラックを切り換える。
ステップ214:路面標識に相対的に、ビデオカメラ/車両の位置を特定する。
ステップ215:路面標識に接近しすぎているか?Yesの場合にはステップ216に進み、そうでない場合にはステップ201に戻る。
ステップ216:状況に応じて、警告/支援を与える。
ステップ217:次の画像フレームにおける、車線区分線の次の位置を予測する。
ステップ218:次の画像フレームにおける困難な状況を予測する。
ステップ219:検出された路面標識に対する曲率補償を行なう。
ステップ220:車道および路面標識の特性を分析する。次いで、ステップ201に戻る。
【0101】
車道の情景は、夜間と日中において、互いに異なるように見える。この互いに異なる見え方は、具体的には、夜間における相対的に強いコントラスト、夜間における相対的に低い背景ノイズレベルなどとして現われる。車道の画像の分析のために、そのような情報を用いることができる。明るい情景には、イメージャの短露光時間および/または低利得が必要になる。暗い情景には、イメージャの長露光時間および/または高利得が必要になる。露光時間および利得の履歴(例えば1分間の長さの)を記憶することによって、相対的に低/高および短/長のそれぞれの設定のどちらに該当しているかを特定することができる。それによって、「わからない」ゾーンに対処することができる(すなわち、履歴が、一定の数を超過する、日中に関するイメージャの設定に当てはまれば、日中であり、一定の数を超過する、夜間に関するイメージャの設定に当てはまれば、夜間である)。
【0102】
十分な性能を得るためには、ビデオカメラを十分に較正することが望ましい。幾何学的変換方程式に用いられるビデオカメラに関連する量、すなわち、ビデオカメラの高さ、焦点距離、ピッチ角などが、重要な役割を果たす。較正によって、内的パラメータ(焦点距離、光軸位置などの、ビデオカメラ自体によって定まる、ビデオカメラに関するパラメータ)、および外的パラメータ(据え付け高さ、ピッチ角、車両中心線からの距離などの、ビデオカメラが搭載されている、車両上の位置に関係するパラメータ)の値が確定される。
【0103】
路面標識の位置/種類/数、路面標識の外側に存在するであろう物などに関する全ての測定情報を組み合わせて、道路の描写および特性分析を行うことができる。
【0104】
急カーブは、直線的な関心領域にも、直線的な路面標識にも適合しない。路面標識は、通常、ビデオカメラの近くにあるときに、よりよく検出される。したがって、可能であれば、関心領域がよりよくカーブにしたがい、ビデオカメラの近傍の路面標識断片を検出しやすくなるように、関心領域の位置および/または形状を選択することが有利である。図26の例に示されているように、関心領域(例えば関心領域ROI−R)を、カーブに良好に適合するように適切に配置することによって、相当に小さな曲率半径を有する路面標識でも、よりよく検出することができる。
【0105】
さらに、動作中のビデオカメラのピッチ角およびヨー角を学習するために、リアルタイム較正を用いることができる。この学習は、その入力として、消失点(直線道路の場合に、その両側部が、遠方で、一緒になるように見える点)の位置を用いる。一貫して横を向いている(向きがそれている)ビデオカメラには、平均して、やはり、一方の側部に位置している消失点が見える。上方または下方を向いているビデオカメラには、画像において、平均して、相対的に上方または下方に位置している消失点が見える。任意の与えられた画像フレームにおいて、道路の1つの路面標識または境界が見えるだけでよい。運転中に行われる学習が、警告および支援を起動される位置に影響を与え、それをより的確にする。
【0106】
上記のステップ/プロセスは、リアルタイムで実行することもできるし、記憶した像に対して実行することもできる。このプロセスは、前処理段を有する単一のCPU、または複数のCPU上で行うことができるし、また必要に応じて、両方を平行して用いて行うこともできる。さらに、当業者には公知のように、本発明による前述のアーキテクチャ例は、プロセッサによる実行のためのプログラム命令、ソフトウェアモジュール、論理回路、特定用途向け集積回路、ファームウエアなどの多くの方法で実行することができる。
本明細書では、本発明を、そのいくつかの好適なバージョンに関して、かなり詳細に説明している。しかしながら、他のバージョンも可能である。したがって、請求項の精神および範囲は、本明細書に含まれている好適なバージョンの記述に限定されるべきではない。
【符号の説明】
【0107】
1 ビデオカメラ
2 車両
3 画像
4 道路
5 コントローラ
6 車線境界検出装置
6a 反射光像検出モジュール
6b 反射光像検出装置
7 別の車両
7C 記号
7L、7R 路面標識画像フィーチャ
7S 路面標識断片候補の画像フィーチャ
8L、8R 路面標識
8T タール帯
9 車線逸脱検出装置
10 カメラ較正モジュール
11 警告モジュール
12 曲率測定モジュール
14 街灯
15 装置
17 サンプラー
19 ピクセル輝度パターン
20 プロセス
40 道路面
50 適合線分
52 ビデオカメラに相対的な、路面標識の横方向の位置
54 直線
60、60a ゲート
70 プロセス
80 標識ファインダ
82 木
85 グラフ
100 装置
101 車両境界検出システム
102 記号検出システム
103 クラッタ検出システム
104 新標識検出器
105 カメラ較正モジュール
107 車両逸脱検出システム
106 追跡モジュール
108 画像領域特性分析および比較装置
109 路面標識のタイプ/数/長さ測定装置
110 警告モジュール
160L、160R 平行四辺形
162 下端
164 上端
169 路面標識構造
171 フィルタ
173 フィルタ処理された破線タイプ路面標識
175 不確実領域
177 ブロック
200 プロセス
201 画像面
203 点
205 光軸
BBR、NR 画像領域
d ビデオカメラの前方の道路上の縦方向距離
FL 焦点距離
h ビデオカメラの高さ
Hp 水平方向ピクセルサイズ
Ht 高さ
LO 道路中心線からの横方向のオフセット距離
p、p1、p2 ピクセル
P、P1、P2
r 行座標
ROI−C 記号関心領域
ROI−CD クラッタ検出関心領域
ROI−L、ROI−R 関心領域
0、t1 時刻
Vp 垂直方向ピクセルサイズ
VP 消失点
w 列座標
Wt 幅
x 縦方向座標
y 横方向座標
α ピッチ角

【特許請求の範囲】
【請求項1】
ビデオイメージャから、車両の前方の道路の画像を受け取るステップと、
前記画像内に、前記道路上の路面標識に対応する1つ以上の路面標識を検出するステップと、
前記検出された路面標識の外側の画像領域に対応する道路の運転しやすさの評価を決定するために、該画像領域の特性を分析するステップと、
前記検出された路面標識に基づいて、該路面標識に相対的に前記車両の道路上の横方向のオフセットを検出するステップと、
前記横方向のオフセットおよび前記評価の関数として、警告信号を発生させるステップとを有し、
画像内に1つ以上の路面標識を検出する前記ステップは、さらに、前記路面標識の属性を特定するステップを含んでおり、
警告信号を発生させる前記ステップは、さらに、前記横方向のオフセットおよび前記評価に加えて、前記属性の関数として、警告信号を発生させるステップを含んでおり、
路面標識の属性を特定する前記ステップは、さらに、前記検出された路面標識のタイプおよび数を特定するステップを含み、
路面標識を検出する前記ステップは、さらに、前記道路上の記号を表わす画像フィーチャを検出し、そのような画像フィーチャを特定し、該画像フィーチャーが、予め設定した警告を表す記号又は文字の標識である場合には、音声により該標識の存在を運転手に知らせるステップを含んでいる、道路上の車両のための、ビデオ画像に基づいて車線逸脱を警告する方法。
【請求項2】
前記検出された路面標識を追跡するステップをさらに含んでいる、請求項1に記載の方法。
【請求項3】
前記検出された路面標識の妥当性に基づいて、該検出された路面標識の中から、1セットの路面標識を選択するステップをさらに含んでいる、請求項1に記載の方法。
【請求項4】
前記選択された路面標識を追跡するステップをさらに含んでいる、請求項3に記載の方法。
【請求項5】
路面標識を検出する前記ステップは、さらに、前記画像内にクラッタを検出し、そのようなクラッタを、路面標識検出の考察から外すステップを含んでいる、請求項1に記載の方法。
【請求項6】
イメージャから車両の前方の道路の画像を受け取るように構成されている画像処理手段と、
前記画像内に、前記道路上の路面標識に対応する1つ以上の路面標識を検出するように構成されている路面標識検出器と、
前記検出された路面標識の外側の画像領域に対応する道路の運転しやすさの評価を決定するために、該画像領域の特性を分析するように構成されている特性分析モジュールと、
前記検出された路面標識に基づいて、該路面標識に相対的に前記車両の道路上の横方向のオフセットを検出するように構成されているオフセット検出手段と、
前記横方向のオフセットおよび前記評価の関数として、警告信号を発生させるように構成されている車線逸脱検出器とを備え
前記道路上の記号を表わす画像フィーチャを検出し、そのような画像フィーチャを特定し、該画像フィーチャーが、予め設定した警告を表す記号又は文字の標識である場合には、音声により該標識の存在を運転手により知らせる記号検出手段をさらに備えている、道路上の車両のための、ビデオ画像に基づいて車線逸脱を警告する装置。
【請求項7】
前記路面標識検出器は、さらに、前記画像内に関心領域を決定し、該関心領域内に1つ以上の路面標識を検出するように構成されている、請求項6に記載の装置。
【請求項8】
前記装置は、さらに、前記路面標識の属性を特定するように構成されている路面標識属性検出手段を備えており、
前記車線逸脱検出器は、さらに、前記横方向のオフセットおよび前記評価に加えて、前記属性の関数として、警告信号を発生させるように構成されている、請求項6に記載の装置。
【請求項9】
前記路面標識属性検出手段は、さらに、前記検出された路面標識のタイプおよび数を特定するように構成されている、請求項8に記載の装置。
【請求項10】
前記検出された路面標識を、1つ以上の道路画像フレームにおいて追跡するように構成されている追跡モジュールをさらに備えている、請求項6に記載の装置。

【図1】
image rotate

【図2】
image rotate

【図3A】
image rotate

【図3B】
image rotate

【図3C】
image rotate

【図3D】
image rotate

【図3E】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7A】
image rotate

【図7B】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14A】
image rotate

【図14B】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20A】
image rotate

【図20B】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate


【公開番号】特開2011−118889(P2011−118889A)
【公開日】平成23年6月16日(2011.6.16)
【国際特許分類】
【出願番号】特願2010−247154(P2010−247154)
【出願日】平成22年11月4日(2010.11.4)
【出願人】(508108903)ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー (22)
【Fターム(参考)】