車線位置検知システム
【課題】種々の道路状況・道路環境に応じて自動的に最適な白線検知処理を行うことが可能な車線位置検知システムを提供すること。
【解決手段】本発明に係る車線位置検知システム２０は、車載カメラ２１で路面を撮像して得られた画像を俯瞰画像に変換し、俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求め、輝度プロファイルにフィルタ処理を施すことによって白線の位置を検出するシステムである。車線位置検知システム２０は、車両に設置されたセンサの情報に基づいて路面状況を判定し、判定された路面状況に基づいて、フィルタ処理に用いられるフィルタの遮断周波数の高低を変更する。
【解決手段】本発明に係る車線位置検知システム２０は、車載カメラ２１で路面を撮像して得られた画像を俯瞰画像に変換し、俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求め、輝度プロファイルにフィルタ処理を施すことによって白線の位置を検出するシステムである。車線位置検知システム２０は、車両に設置されたセンサの情報に基づいて路面状況を判定し、判定された路面状況に基づいて、フィルタ処理に用いられるフィルタの遮断周波数の高低を変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求めて白線の位置を検出する車線位置検知システムに関する。
【背景技術】
【０００２】
従来より、車両の進行方向前方又は後方に向けてカメラを設置し、視点変換技術を用いて撮影されたカメラの画像を俯瞰画像に変換する方法が知られており（例えば、特許文献１、特許文献２、特許文献３、特許文献４参照）、さらに、変換された俯瞰画像より路面の白線（レーンマーカー）位置を検出するレーンマーカー位置検出装置が提案されている（特願２００２−２４６８５９号明細書、特願２００３−１４６５３５号明細書参照）。
【０００３】
図７は、上述したレーンマーカー位置検出装置の概略構成を示したブロック図である。レーンマーカー位置検出装置１は、カメラ２と、俯瞰画像変換装置３と、白線検知／逸脱警報装置４と、モニタ５とを備えている。図８は車両後方に設置したカメラ（リアカメラ）２により撮影された画像である。カメラ２で撮影された画像は、俯瞰画像変換装置３で、図９（ａ）に示すように俯瞰画像に変化される。
【０００４】
白線検知／逸脱警報装置４は、マイコン６と、ワークメモリ７と、エンコーダ８と、バッファメモリ９と、警報装置１０とを備えている。マイコン６は、俯瞰画像変換装置３で変換された俯瞰画像を、ワークメモリ７を用いて画像の縦方向の輝度を画素毎に積算し、積算した輝度を横方向の画素毎にグラフ化して俯瞰画像の輝度プロファイルを生成する（図１０のステップＳ１）。図９（ｂ）は、図９（ａ）に示した俯瞰画像の理想的な輝度プロファイルを示したものである。路面において白色で記される標識・白線等は、高い強度（輝度値）を示すので、強度値の強さ（輝度の高さ）やその位置、ピーク幅等から白線に対応するピークを輝度プロファイルより求めることが可能となる（図１０のステップＳ２）。俯瞰画像をモニタ５に出力する場合には、俯瞰画像の画像信号がエンコーダ８によりコンポジット信号などに変換されてモニタに出力される。なお、警報装置１０は、車両位置と白線位置との比較に基づいて車両が白線に従って（沿って）走行していないと判断した場合に、運転者にブザー等の警告を発する（図１０のステップ３）。俯瞰画像変換装置３とマイコン６の間に設置されるバッファメモリ９は両者の同期をとるためのメモリである。
【０００５】
上述したようにマイコン６により生成された輝度プロファイルは、理想的な値で検出されれば、図９（ｂ）、図１１（ａ）に示すようなグラフとなるが、現実的に生成される輝度プロファイルは、ノイズ等の影響を受けて、図１１（ｂ）に示すような連続した曲線等により構成されたグラフとなる。このため、マイコン６は、ハイパスフィルタ等を用いたフィルタ処理を輝度プロファイルに施すことによって、図１１（ｃ）に示すように白線に関連した信号部分を強調する処理を行った後に車線検知を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平３−９９９５２号公報
【特許文献２】特開平９−１７１３４８号公報
【特許文献３】特開２００１−１１４０４８号公報
【特許文献４】特開２００１−１１６５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、道路環境は多様であり、路面には白線以外の特徴点も多く存在することから、白線以外の部分が生成された輝度プロファイル内でピーク強度として現れてしまう場合がある。また、状況によってはこのピーク強度が顕著に現れてしまう場合があり、白線との強度比において差異がない場合には車線を誤認識するおそれがある。特に、天候や時間帯の変化に伴って路面状況が変化する場合には誤認識してしまうおそれが高いので、単一のフィルタ処理を用いて全ての路面状況に対応することが困難であるという問題があった。
【０００８】
本発明は、上述した問題に鑑みてなされたものであり、種々の道路状況・道路環境に応じて自動的に最適な白線検知処理を行うことが可能な車線位置検知システムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１に係る発明は、車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求め、該輝度プロファイルにフィルタ処理を施すことによって白線の位置を検出する車線位置検知システムにおいて、車両が走行する路面状況に基づいて、前記フィルタ処理に用いられるフィルタの遮断周波数の高低を変更する車線位置検知システムであることを特徴とする。
【００１０】
請求項２に係る発明は、請求項１に記載の車線位置検知システムにおいて、前記路面状況は、前記車両に設置されたセンサの情報に基づいて判定することを特徴とする。
【００１１】
請求項３に係る発明は、請求項２に記載の車線位置検知システムにおいて、前記フィルタ処理においてハイパスフィルタを使用し、前記センサにより前記路面状況が雨天状況であると判定された場合に、前記ハイパスフィルタの遮断周波数を晴天時に比べて高い周波数に変更することを特徴とする。
【００１２】
請求項４に係る発明は、請求項３に記載の車線位置検知システムにおいて、前記輝度プロファイルにおいて車両の車輪位置に対応する部分と、ピーク強度の強度幅が広がっている部分との重み付けを低くして白線検知を行うこと特徴とする。
【００１３】
請求項５に係る発明は、車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求め、前記輝度プロファイルに対して時間軸を基準としたフィルタ処理を施すことによって白線の位置を検出する車線位置検知システムにおいて、車両に設置したセンサによって判定した路面状況に基づいて、前記前記フィルタ処理に用いられるフィルタの遮断周波数の高低を変更する車線位置検出システムであることを特徴とする。
【００１４】
請求項６に係る発明は、請求項２に記載の車線位置検知システムにおいて、判定された当該路面状況に基づいて、前記俯瞰画像全体を用いて前記輝度プロファイルを求めるか、前記俯瞰画像の一部の領域のみを用いて前記輝度プロファイルを求めるかの判断を行うことを特徴とする。
【００１５】
請求項７に係る発明は、請求項６に記載の車線位置検知システムにおいて、前記センサにより走行路面がカーブしているものと判断された場合に、前記俯瞰画像の近景領域のみを用いて前記輝度プロファイルを求めることを特徴とする。
【００１６】
請求項８に係る発明は、請求項６に記載の車線位置検知システムにおいて、前記センサにより前記路面状況が夜間であると判定された場合に、前記俯瞰画像の近景領域のみを用いて前記輝度プロファイルを求めることを特徴とする。
【００１７】
請求項９に係る発明は、請求項２乃至請求項８のいずれか１項の車線位置検出システムにおいて、前記センサが、車速パルスセンサ、ギアスイッチ、ワイパースイッチ、光センサ、ヘッドライトスイッチ、方向指示器スイッチ、舵角センサ、カーナビゲーションシステムの少なくとも１つであることを特徴とする。
【００１８】
請求項１０に係る発明において、請求項１に記載の車線位置検知システムにおいて、前記俯瞰画像を車両に近い側から複数の領域に分割して、各領域でそれぞれ輝度プロファイルを求めて白線の位置を検出し、各領域で検出した白線位置を比較して道路がカーブかどうかを判定し、道路がカーブであると判定した場合には、前記俯瞰画像の近景領域のみから求めた白線の位置をもって車線位置の特定を行う車線位置検知システムであることを特徴とする。
【発明の効果】
【００１９】
本発明に係る車線位置検知システムによれば、路面状況を判断して、路面状況毎にフィルタ処理に用いられるフィルタの遮断周波数の高低を変更するので、路面状況の違いに起因する白線検知の誤検出を低減させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る車線位置検出システムを示したブロック図である。
【図２】（ａ）は雨天時に高速走行中する車両の後方路面状況を示した俯瞰画像であり、（ｂ）は、（ａ）の俯瞰画像の輝度プロファイルを示しており、（ｃ）は（ｂ）に比べてハイパスフィルタの遮断周波数を高く設定した輝度プロファイルを示している。
【図３】（ａ）はカーブを高速走行中する車両の後方路面状況を示した俯瞰画像であり、（ｂ）は、（ａ）の俯瞰画像の全領域を用いて生成した輝度プロファイルを示しており、（ｃ）は（ａ）の俯瞰画像の近景領域を用いて生成した輝度プロファイルを示している。
【図４】夜間時に高速走行中する車両の後方路面状況を示した俯瞰画像である。
【図５】（ａ）は、路面表面の色合いが補修等によって異なる道路を示す俯瞰画像であり、（ｂ）は、ハイパスフィルタによるフィルタ処理を施した輝度プロファイルを示しており、（ｃ）は、微分フィルタによるフィルタ処理を施した輝度プロファイルを示している。
【図６】（ａ）は、正常な白線と傷みや汚れにより見えにくくなった白線とを示した俯瞰画像であり、（ｂ）は、バンドパスフィルタによるフィルタ処理を施した輝度プロファイルを示しており、（ｃ）は、ハイパスフィルタによるフィルタ処理を施した輝度プロファイルを示している。
【図７】従来のレーン位置検出装置を示したブロック図である。
【図８】車両後方に設置したカメラ（リアカメラ）により撮影された画像である。
【図９】（ａ）は図８に示した画像の俯瞰画像であり、（ｂ）は輝度プロファイルである。
【図１０】従来のレーン位置検出装置における車線位置検出処理を示したフローチャートである。
【図１１】（ａ）は俯瞰画像より生成される理想的な輝度プロファイルを示しており、（ｂ）は現実の輝度プロファイルを示しており、（ｃ）は（ｂ）に示す輝度プロファイルにハイパスフィルタによるフィルタ処理を施した輝度プロファイルを示している。
【発明を実施するための形態】
【００２１】
以下、本発明に係る車線位置検知システムを、図面を用いて説明する。本発明に係る車線位置検知システムは複数の情報を利用して白線検知精度を高めることを特徴とするものである。このようにして白線検知精度を高める方法として、（１）車両に設置されるセンサ等により検出される結果及び電装機器の稼働状況等を参考にして道路状況を判断する方法と、（２）複数の処理を並列化してその結果の違いを評価しながら、適切なフィルタ処理或いは結果等を選択する方法との２種類の方法を用いる。なお、この２種類の方法を原理的な説明と代表的な複数の実施例を用いて説明するが、現実の道路状況・道路環境は多種多様であるため、本発明の処理方法は実施例に示したものだけに限定されるものではない。
【００２２】
（１）センサ等の検出結果及び電装機器の稼働状況等に基づいて道路状況を判断する方法
図１は、本発明に係る車線位置検知しシステムを示したブロック図である。車線位置検知システム２０は、カメラ２１と俯瞰図生成部２２とプロファイル生成部２３とレーン検知部２４と警報部２５と、環境判定部２６とを備えている。環境判定部２６には、車両に設置される各種センサ２７の検出結果及び電装機器の稼働状況等が伝達される。具体的に、環境判定部２６は、車速パルスセンサ、ギアスイッチ、ワイパースイッチ、光センサ（ヘッドライト自動点消灯用光センサ）、ヘッドライト、方向指示器スイッチ、舵角センサ、ナビゲーションシステム（道路情報（マップ情報）、位置情報、日付・時間情報、加速度センサ）等の情報を受信することによって、路面状況（周囲の明るさ、ウェット・ドライ状況等）、道路環境情報（高速道・一般道、車線数・道路幅）、車両走行状況、走行車線特定、道路カーブ・直線状況、車線変更の有無等の判断を行う。
【００２３】
環境判定部２６は、路面状況等の判断結果を、俯瞰図生成部２２、プロファイル生成部２３、レーン検知部２４等に送信する。プロファイル生成部２３では、受信した判断結果に基づいて、俯瞰画像のうち輝度プロファイルを作成する領域を選択する処理（着目領域制御処理）や輝度プロファイルに施すフィルタ処理用のフィルタの選択・調整を行い、１つ或いは複数の輝度プロファイルを生成する。
【実施例１】
【００２４】
図２（ａ）は、雨天時に高速走行中する車両の後方路面状況を示した俯瞰画像である。このような雨天時の環境では、晴天時の場合に比べて、
特徴１．後車輪により轍状の水しぶきが発生し疑似的に白線３０が発生してしまう。
【００２５】
特徴２．雨天により外周の照度が低下するため（低照度）、俯瞰画像において背景ノイズが相対的に増加してしまう。
【００２６】
という特徴がある。特に、特徴１は、図２（ｂ）に示すように輝度プロファイルを生成する場合に水しぶきが疑似白線として誤認識される可能性が高くなるので重要な問題となる。
【００２７】
このため、環境判定部２６は、ワイパースイッチと速度センサとを用いて周囲の状況が雨天であるかどうかを判断する。特に、ワイパースイッチは、雨の状況によって間欠動作状態から連続動作状態へと段階的に切り替え設定されるので、雨の強弱を判断することができる。例えば、路面に水しぶきがあがる状況は、路面に水がそれなりに溜まる必要があるため、ワイパーが連続動作状態に切り替えられたときに水しぶきが発生し得るものと推定することができる。
【００２８】
また、車両が一定の速度以上で走行しなければ長い水しぶき跡が路面に残らないため、環境判定部２６は、走行速度情報をワイパーの連続動作状況と併用して判断することにより水しぶき対応処理を行うか否かの判断を行う。
【００２９】
ワイパーの稼動状況と車両走行速度情報との２つの条件を満たす場合、環境判断部２６は、道路状況は水しぶきがあがり得る環境にあるものと判断し、プロファイル生成部２３対して水しぶき対応した処理を実施するように指示を出す。
【００３０】
水しぶきがあがり得る環境と判定した場合、プロファイル生成部２３は、まず、輝度プロファイルにフィルタ処理を施すためのハイパスフィルタ（ＨＰＦ）の遮断周波数を変更する。例えば、水しぶきによる白線状の軌跡３０は、実際の白線３１に比べ俯瞰画像においてエッジがぼけて示される。また、水しぶきはタイヤの外に広がるため、俯瞰画像における見た目の幅が白線よりも広がってしまう。水しぶきのピーク値は白線のピーク値に比べて低周波成分を多く含むので、ハイパスフィルタの遮断周波数を通常よりも高く設定することによって、図２（ｃ）に示すように水しぶきによる信号強度を選択的に低下させる。この遮断周波数は、事前に実験などによりあらかじめ決めておく。この遮断周波数の変更は、信号強度を弱めるため、こうした水しぶきの問題がない晴天時などは、低い方が望ましい。
【００３１】
以上のように、雨天状況専用のフィルタ処理を施した後に、レーン検知部２４が白線位置の検出処理を行うが、このレーン検知部２４における白線検知処理においても雨天状況専用の判定処理を行う。水しぶきによる擬似白線３０は後車輪の位置で発生する特徴があるため、その特徴を利用した処理を行うことで誤検出を低減させることができる。
【００３２】
例えば、水しぶきはタイヤの外に広がるため、俯瞰画像における見た目の幅が白線よりも広がってしまい、水しぶきのピーク幅と白線のピーク幅には幅差が現れやすい。このため、ピーク幅の誤差をより重く評価することで、水しぶきと白線３１との判定精度を上げることができ、誤検出を低減させることが可能となる。また、検出されるピーク位置に置いて、車輪位置３３にある信号の重み付けを相対的に軽くすることによって、タイヤからのびる水しぶきの擬似白線の誤検出を低減させることができる。
【００３３】
さらに、輝度プロファイルの変化を経時的（時間的）に判断したものに対して、時間軸を基準としたフィルタ処理（時間軸に関するフィルタ処理、時間フィルタ）を変更することにより、また、雨天等による外周の照度の低下（低照度）により、俯瞰画像において背景ノイズが混入しやすくなっていると考えられる場合には、時間的なローパスフィルタ（ＬＰＦ）において遮断周波数を低周側にずらしたフィルタに切り替えることによって、ノイズを減少させて検出強度の安定性を高めることが可能である。なお、フィルタ部（空間フィルタ）での変更処理、判定部での処理変更、時間フィルタ部での処理変更の３つの要素を全て実行する構成だけに限定されるものではなく、道路状況等によっては、いずれかの処理を選択的に施すだけで十分な精度で車線検知を行うことが可能な場合もある。従って、車線検知処理は上述したものに限定されるものではなく、各種センサで道路状況等を特定し、最適なフィルタ特性を選ぶことで総合的に信頼性を向上させることが可能である。
【実施例２】
【００３４】
車線検出の信頼性を向上させるためには、［実施例１］に示したようにフィルタ特性を制御するだけでなく、俯瞰図生成部２２を制御して車線検出を行うための俯瞰画像の俯瞰パターン或いは画像処理領域を制御する方法も有効である。このような画像処理には、俯瞰パターンの縮尺そのものを変更する方法と、画像の特定の走査線領域のみを処理する方法との２種類の方法がある。俯瞰パターンの縮尺変更方法は俯瞰図生成部２２における処理により実現され、特定の走査線領域のみを処理する方法は、プロファイル生成部２３における処理により実現される。それぞれ、俯瞰画像の粗調整及び微調整に有効な方法である。
【００３５】
例えば、車両走行中の道路が直線道路であるか、カーブであるかによって、車線検出に用いられる俯瞰画像を適宜切り替えることが望ましい。車両が直線走行している場合には、できるだけ俯瞰画像の前端から後端までの広い画像領域を用いて輝度プロファイルを作成することにより、白線３１のピークを高く高精度に検出することが可能になるとともに、ノイズによるピークを白線ピークに比べて低減させることができる。また、水しぶきのような擬似白線（白波線）３０のピークとの違いを明確にすることが可能となり、白線３１の信号強度を安定的に確保することが可能となる。一方、図３（ａ）に示すようなカーブを走行している場合には、車線位置の検出精度を確保するために、直線道路に近似することができる車両近景部分（車両に近い側）３５の俯瞰画像を車線検出処理に用いることが望ましい。カーブの検知は、前述したセンサ２７、例えばカーナビゲーションシステムからのナビ情報、舵角センサによるハンドルの操舵角度情報、或いは左右車速センサの回転数差などの情報を用いて判断する。環境判断部２６により車両がカーブを走行していると判断された場合、プロファイル生成部２３は環境判断部２６からの信号に基づいて俯瞰画像の範囲を俯瞰画像の全範囲から近景範囲３５に変更してプロファイルを生成する。このとき、前述した２種類の方法のうちどちらの方法を採用するのかはハードウェアの制約など考慮して適切な選択する。図３（ｂ）は俯瞰画像の全範囲を対象として生成した輝度プロファイルを示しており、図３（ｃ）は俯瞰画像のうち近景範囲３５だけを対象として生成した輝度プロファイルを示している。図３（ｂ）、（ｃ）より明らかなように、近景範囲３５だけを用いた輝度プロファイルでは、遠景範囲３６の白線部分のピーク強度（図３（ｃ）の鎖線で示されている部分）が含まれていないため、ピーク幅が狭くなり、車線位置の検出精度が向上する。
【実施例３】
【００３６】
図４は、夜間時に高速走行中する車両の後方路面状況を示した俯瞰画像である。夜間は図４に示すように遠方までライトの光が届かないため、白線３１の輝度に基づいて車線検知処理を行う場合、有効に白線検知処理を行うことが可能な範囲は、ライセンスプレートの光が路面を照射可能な範囲である車両に近い領域（図４の処理領域１）だけである。
【００３７】
環境判断部２６は、ランプ類の点灯の有無を検知したり、時刻情報をカーナビゲーションシステムナビから受信したりすることによって、走行時刻が夜間であるか否かの判断を行う。環境判断部２６が夜間であると判断した場合、プロファイル生成部が、図４の処理領域１の範囲だけを抽出して、この範囲だけを用いて輝度プロファイルを作成する。処理領域１だけを用いて輝度プロファイルを生成することによって、輝度プロファイルの信頼性を高めることができ、白線の検知精度を向上させることが可能となる。なお、この具体的手法を用いる場合には［実施例２］と同様に２種類の方法を用いることが可能である。（２）複数の処理を並列化してその結果の違いを評価しながら、適切なフィルタ処理或いは結果等を選択する方法
次に複数の処理を並列化（並列フィルタ処理による自立的判定）を行う方法を説明する。
【００３８】
上述する各種センサ２７の情報が十分に得られない場合には、特定の条件に適応したフィルタ処理を幾つか動作させ、複数のプロファイルを生成する。その後、各プロファイルを用いて総合的に或いは選択的に判断することにより白線の検出精度を高める。この方法は、以下の２つの手法に分類される。
【００３９】
方法１ 輝度プロファイルを比較し誤信号を排除してから白線検知を行う方法（実施例４）。
【００４０】
方法２ 輝度プロファイル毎に白線検知を行い比較により判断する方法（実施例５）
以下、上述した２つの方法について説明を行う。なお、以下の説明において便宜的にフィルタを２つ併用した例を用いて説明を行うが、フェイルセーフ的な考え方の下では３つ以上のフィルタを併用して判断することが望ましい場合も多くあり、その数は状況に応じて変化するので、２つに限定されるわけではない。
【実施例４】
【００４１】
で述べた轍状の水しぶきによる疑似白線が路面上に表示されている場合には、水しぶきの特性として表されるエッジぼけ部分を対象にして遮断周波数を決定し、フィルタ処理を施すことによって、図２（ｃ）のように水しぶきが原因となって輝度プロファイルに発生するピーク強度を低下或いは強調させることができる。従って複数のフィルタ処理を施された輝度プロファイルを比較した場合に、ピーク強度の状態が異なる部分ほどそのピークが白線３１以外の部分（例えば、水しぶき部分）である可能性が高いと判断できる。このため、同時に２つのフィルタ処理を施して、そのピーク強度の差が一定以上大きさを示す信号を無視するか、或いは重み付けを軽くすることで、車線検知の誤検出を低減させることが可能となる。
【実施例５】
【００４２】
図５（ａ）は、路面表面の色合いが補修等によって異なる道路を示す俯瞰画像である。
【００４３】
図５（ａ）に示すように、広範囲の暗い領域（補修面４０）と、明るい領域（路面４１）とがある場合、境界４２付近で輝度プロファイルの強度がステップ関数のように変化することとなり高周波成分を含むため、フィルタ処理を施しても信号強度か残りやすくなり誤認識を生じやすいという問題がある（図５（ｂ））。
【００４４】
このような問題を回避するため、微分フィルタを併用することにより変曲点を検出して輝度プロファイルのピークの値が白線３１であるか、明暗領域の境界４２であるかの判断を行う。微分フィルタを用いたフィルタ処理を施すと、図５（ｃ）に示すように、明暗領域の境界４２部分では変化点が１つであるためピークが１つになるが、白線３１のように明るい領域が一定幅の部分では二重にピークが現れる。従って、微分フィルタを用いたフィルタ処理を施すことによって、輝度プロファイルに二重ピークが生じた箇所を白線３１位置の候補とし、それ以外の場所は白線３１位置以外の場所であるもの判断して無視したり、評価関数での重み付けを軽くしたりすることによって、検出誤差を低減させることが可能となる。
【００４５】
なお、最初から微分フィルタのみを用いて白線位置の判断処理を行うことも原理的に可能である。しかしながら、微分フィルタは強度の低いノイズでも急激に変化していればピークが強調されてしまうため、ピークの数が増加しやすくなりそのままでは計算量が増えてしまうので、かえって誤認識を増加させる可能性もある。従って、図５（ｂ）に示すような、ハイパスフィルタを用いたフィルタ処理と、図５（ｃ）に示すような、微分フィルタを用いたフィルタ処理との２つの処理を同時に利用し、その相乗効果により誤認識を抑制させることが有効である。さらに、一方のフィルタで着目領域を先に抽出し、その領域のみに対して局所的に他方のフィルタ処理を施すことによって全体のフィルタ処理の軽減を図ることも可能である。すなわち、フィルタ処理の併用により、白線認識率の向上と負荷低減の２面の相乗効果が期待できる。
【００４６】
また、暗い領域と明るい領域とにより境界４２が現れる道路状況であれば、図５（ａ）に示すように境界が補修面と通常路面とにより生ずる場合だけでなく、道路の一部が日陰になってしまって、他の日の当たる部分との比較により暗い領域と明るい領域との境界が現れてしまう場合にも同様に適用することが可能である。
【実施例６】
【００４７】
輝度プロファイルを作成して白線検知を行うためには、できるだけ車両の遠方から車両側近までの広い範囲の俯瞰画像を用いて輝度積算を行い、ピーク強度を求めることが望ましく、このようにしてピーク強度を求めることによって安定的に白線検出を行うこと可能となる。しかしながら、あまりに遠方の情報を用いると、［実施例２］で示したように、車両がカーブを走行している場合に正確な白線位置を検出することが困難となり、また、異常に接近してきた車両が存在する場合には誤検出を起こしやすいという問題があった。
【００４８】
そこで、例えば、図３に示すように俯瞰画像を領域毎に分割し、近景と遠景とを独立に処理することにより道路がカーブであるか否かを自立的に検出することができる。
【００４９】
具体的な処理手順を例示すると
１．俯瞰画像の全範囲（全画面）を用いて輝度プロファイルを生成し、白線位置（位置１とする）を推定する。
２．俯瞰画像の近景領域を用いて輝度プロファイルを生成し、位置１付近より白線位置（位置２とする）を推定する。
３．俯瞰画像の遠近景領域を用いて輝度プロファイルを生成し、位置１付近より白線位置（位置３とする）を推定する。
４．位置１及び位置２の誤差が許容値以下の場合、その位置を白線位置と認定する
５．位置２に対して位置３がシフトしている場合はカーブであると判定する。
６．位置２に対して位置３が大きく異なる場合には異常事態（接近車等）であると判定する。
となる。このステップを経ることでカーブ走行などを自動検知し、白線検知の精度・信頼性を向上することが可能となる。
【実施例７】
【００５０】
図６（ａ）は、正常な白線と傷みや汚れにより見えにくくなった白線とを示した俯瞰画像である。白線検知において検知を行う白線が道路工事や経年劣化などによって激しく傷み、白線が見えにくくなっている場合には、輝度プロファイルを作成しても正常な白線４５に比べプロファイル強度が低下してしまい十分なピーク強度を得ることができないので、白線検知の誤検出を招くおそれがある。
【００５１】
元来、フィルタ処理は信号強度の絶対値を弱くする性質を有するため、正常な白線４５に合わせてフィルタ処理（例えば、バンドパスフィルタを用いたフィルタ処理。このときに用いるフィルタをフィルタ１とする。）を施すと、図６（ｂ）に示すように、弱い信号を有効に分離できない場合がある。一方で、弱い信号に合わせたフィルタ処理（例えば、ハイパスフィルタを用いたフィルタ処理。このときに用いるフィルタをフィルタ２とする。）を通常強度の輝度プロファイに適用すると、図６（ｃ）に示すように弱い背景ノイズまで拾ってしまい、処理が煩雑になりやすいとく問題がある。
【００５２】
このような状況に対応するために、白線検知が可能な強度範囲が異なる２種類以上のフィルタを併用し、強い強度に対応したフィルタから順に信号検出判定を行い、信号が検出できなかった場合に順に低い強度のフィルタ処理結果を参照することで、白線検知に用いるフィルタを選択する。図６（ａ）の例で示せば、
１．通常はフィルタ１を用いたフィルタ処理により白線位置を検知する（図６（ｂ））。
【００５３】
２．一定時間、白線未検出状態が連続したときには、フィルタ２を用いたフィルタ処理により白線位置を検出する（図６（ｃ））。
となる。フィルタ２は先に述べたように疑似ピークがあるため、フィルタ処理の処理負担が重くなり、単位時間に処理できる回数が低下するが、フィルタ１を用いた未検出状態に比べれば大幅に白線検知精度を改善することができる。また、フィルタ１で検出したピーク強度の信頼性は高いと考えられるため、このピーク強度を信頼して、見えにくくなった白線４６の位置をフィルタ２の結果から検索することで、信頼性の向上を図ることが可能となる。このようにしたフィルタ構成例として、遮断周波数帯及びフィルタ次数を調整したハイパスフィルタ（ＨＰＦ）或いはバンドパスフィルタ（ＢＰＦ）等が用いられる。
【００５４】
以上、本発明に係る車線位置検知システムを、図面を用いて説明したが、本発明に係る車線位置検知システムは、上述したものに限定されるものではなく、当業者が考え得る範囲での設計変更・改良を施したものも本発明に係る車線位置検知システムに含まれるものである。
【符号の説明】
【００５５】
２０ 車線位置検出システム
２１ カメラ
２２ 俯瞰図生成部
２３ プロファイル生成部
２４ レーン検知部
２５ 警報部
２６ 環境判定部
２７ センサ
【技術分野】
【０００１】
車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求めて白線の位置を検出する車線位置検知システムに関する。
【背景技術】
【０００２】
従来より、車両の進行方向前方又は後方に向けてカメラを設置し、視点変換技術を用いて撮影されたカメラの画像を俯瞰画像に変換する方法が知られており（例えば、特許文献１、特許文献２、特許文献３、特許文献４参照）、さらに、変換された俯瞰画像より路面の白線（レーンマーカー）位置を検出するレーンマーカー位置検出装置が提案されている（特願２００２−２４６８５９号明細書、特願２００３−１４６５３５号明細書参照）。
【０００３】
図７は、上述したレーンマーカー位置検出装置の概略構成を示したブロック図である。レーンマーカー位置検出装置１は、カメラ２と、俯瞰画像変換装置３と、白線検知／逸脱警報装置４と、モニタ５とを備えている。図８は車両後方に設置したカメラ（リアカメラ）２により撮影された画像である。カメラ２で撮影された画像は、俯瞰画像変換装置３で、図９（ａ）に示すように俯瞰画像に変化される。
【０００４】
白線検知／逸脱警報装置４は、マイコン６と、ワークメモリ７と、エンコーダ８と、バッファメモリ９と、警報装置１０とを備えている。マイコン６は、俯瞰画像変換装置３で変換された俯瞰画像を、ワークメモリ７を用いて画像の縦方向の輝度を画素毎に積算し、積算した輝度を横方向の画素毎にグラフ化して俯瞰画像の輝度プロファイルを生成する（図１０のステップＳ１）。図９（ｂ）は、図９（ａ）に示した俯瞰画像の理想的な輝度プロファイルを示したものである。路面において白色で記される標識・白線等は、高い強度（輝度値）を示すので、強度値の強さ（輝度の高さ）やその位置、ピーク幅等から白線に対応するピークを輝度プロファイルより求めることが可能となる（図１０のステップＳ２）。俯瞰画像をモニタ５に出力する場合には、俯瞰画像の画像信号がエンコーダ８によりコンポジット信号などに変換されてモニタに出力される。なお、警報装置１０は、車両位置と白線位置との比較に基づいて車両が白線に従って（沿って）走行していないと判断した場合に、運転者にブザー等の警告を発する（図１０のステップ３）。俯瞰画像変換装置３とマイコン６の間に設置されるバッファメモリ９は両者の同期をとるためのメモリである。
【０００５】
上述したようにマイコン６により生成された輝度プロファイルは、理想的な値で検出されれば、図９（ｂ）、図１１（ａ）に示すようなグラフとなるが、現実的に生成される輝度プロファイルは、ノイズ等の影響を受けて、図１１（ｂ）に示すような連続した曲線等により構成されたグラフとなる。このため、マイコン６は、ハイパスフィルタ等を用いたフィルタ処理を輝度プロファイルに施すことによって、図１１（ｃ）に示すように白線に関連した信号部分を強調する処理を行った後に車線検知を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平３−９９９５２号公報
【特許文献２】特開平９−１７１３４８号公報
【特許文献３】特開２００１−１１４０４８号公報
【特許文献４】特開２００１−１１６５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、道路環境は多様であり、路面には白線以外の特徴点も多く存在することから、白線以外の部分が生成された輝度プロファイル内でピーク強度として現れてしまう場合がある。また、状況によってはこのピーク強度が顕著に現れてしまう場合があり、白線との強度比において差異がない場合には車線を誤認識するおそれがある。特に、天候や時間帯の変化に伴って路面状況が変化する場合には誤認識してしまうおそれが高いので、単一のフィルタ処理を用いて全ての路面状況に対応することが困難であるという問題があった。
【０００８】
本発明は、上述した問題に鑑みてなされたものであり、種々の道路状況・道路環境に応じて自動的に最適な白線検知処理を行うことが可能な車線位置検知システムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１に係る発明は、車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求め、該輝度プロファイルにフィルタ処理を施すことによって白線の位置を検出する車線位置検知システムにおいて、車両が走行する路面状況に基づいて、前記フィルタ処理に用いられるフィルタの遮断周波数の高低を変更する車線位置検知システムであることを特徴とする。
【００１０】
請求項２に係る発明は、請求項１に記載の車線位置検知システムにおいて、前記路面状況は、前記車両に設置されたセンサの情報に基づいて判定することを特徴とする。
【００１１】
請求項３に係る発明は、請求項２に記載の車線位置検知システムにおいて、前記フィルタ処理においてハイパスフィルタを使用し、前記センサにより前記路面状況が雨天状況であると判定された場合に、前記ハイパスフィルタの遮断周波数を晴天時に比べて高い周波数に変更することを特徴とする。
【００１２】
請求項４に係る発明は、請求項３に記載の車線位置検知システムにおいて、前記輝度プロファイルにおいて車両の車輪位置に対応する部分と、ピーク強度の強度幅が広がっている部分との重み付けを低くして白線検知を行うこと特徴とする。
【００１３】
請求項５に係る発明は、車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求め、前記輝度プロファイルに対して時間軸を基準としたフィルタ処理を施すことによって白線の位置を検出する車線位置検知システムにおいて、車両に設置したセンサによって判定した路面状況に基づいて、前記前記フィルタ処理に用いられるフィルタの遮断周波数の高低を変更する車線位置検出システムであることを特徴とする。
【００１４】
請求項６に係る発明は、請求項２に記載の車線位置検知システムにおいて、判定された当該路面状況に基づいて、前記俯瞰画像全体を用いて前記輝度プロファイルを求めるか、前記俯瞰画像の一部の領域のみを用いて前記輝度プロファイルを求めるかの判断を行うことを特徴とする。
【００１５】
請求項７に係る発明は、請求項６に記載の車線位置検知システムにおいて、前記センサにより走行路面がカーブしているものと判断された場合に、前記俯瞰画像の近景領域のみを用いて前記輝度プロファイルを求めることを特徴とする。
【００１６】
請求項８に係る発明は、請求項６に記載の車線位置検知システムにおいて、前記センサにより前記路面状況が夜間であると判定された場合に、前記俯瞰画像の近景領域のみを用いて前記輝度プロファイルを求めることを特徴とする。
【００１７】
請求項９に係る発明は、請求項２乃至請求項８のいずれか１項の車線位置検出システムにおいて、前記センサが、車速パルスセンサ、ギアスイッチ、ワイパースイッチ、光センサ、ヘッドライトスイッチ、方向指示器スイッチ、舵角センサ、カーナビゲーションシステムの少なくとも１つであることを特徴とする。
【００１８】
請求項１０に係る発明において、請求項１に記載の車線位置検知システムにおいて、前記俯瞰画像を車両に近い側から複数の領域に分割して、各領域でそれぞれ輝度プロファイルを求めて白線の位置を検出し、各領域で検出した白線位置を比較して道路がカーブかどうかを判定し、道路がカーブであると判定した場合には、前記俯瞰画像の近景領域のみから求めた白線の位置をもって車線位置の特定を行う車線位置検知システムであることを特徴とする。
【発明の効果】
【００１９】
本発明に係る車線位置検知システムによれば、路面状況を判断して、路面状況毎にフィルタ処理に用いられるフィルタの遮断周波数の高低を変更するので、路面状況の違いに起因する白線検知の誤検出を低減させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る車線位置検出システムを示したブロック図である。
【図２】（ａ）は雨天時に高速走行中する車両の後方路面状況を示した俯瞰画像であり、（ｂ）は、（ａ）の俯瞰画像の輝度プロファイルを示しており、（ｃ）は（ｂ）に比べてハイパスフィルタの遮断周波数を高く設定した輝度プロファイルを示している。
【図３】（ａ）はカーブを高速走行中する車両の後方路面状況を示した俯瞰画像であり、（ｂ）は、（ａ）の俯瞰画像の全領域を用いて生成した輝度プロファイルを示しており、（ｃ）は（ａ）の俯瞰画像の近景領域を用いて生成した輝度プロファイルを示している。
【図４】夜間時に高速走行中する車両の後方路面状況を示した俯瞰画像である。
【図５】（ａ）は、路面表面の色合いが補修等によって異なる道路を示す俯瞰画像であり、（ｂ）は、ハイパスフィルタによるフィルタ処理を施した輝度プロファイルを示しており、（ｃ）は、微分フィルタによるフィルタ処理を施した輝度プロファイルを示している。
【図６】（ａ）は、正常な白線と傷みや汚れにより見えにくくなった白線とを示した俯瞰画像であり、（ｂ）は、バンドパスフィルタによるフィルタ処理を施した輝度プロファイルを示しており、（ｃ）は、ハイパスフィルタによるフィルタ処理を施した輝度プロファイルを示している。
【図７】従来のレーン位置検出装置を示したブロック図である。
【図８】車両後方に設置したカメラ（リアカメラ）により撮影された画像である。
【図９】（ａ）は図８に示した画像の俯瞰画像であり、（ｂ）は輝度プロファイルである。
【図１０】従来のレーン位置検出装置における車線位置検出処理を示したフローチャートである。
【図１１】（ａ）は俯瞰画像より生成される理想的な輝度プロファイルを示しており、（ｂ）は現実の輝度プロファイルを示しており、（ｃ）は（ｂ）に示す輝度プロファイルにハイパスフィルタによるフィルタ処理を施した輝度プロファイルを示している。
【発明を実施するための形態】
【００２１】
以下、本発明に係る車線位置検知システムを、図面を用いて説明する。本発明に係る車線位置検知システムは複数の情報を利用して白線検知精度を高めることを特徴とするものである。このようにして白線検知精度を高める方法として、（１）車両に設置されるセンサ等により検出される結果及び電装機器の稼働状況等を参考にして道路状況を判断する方法と、（２）複数の処理を並列化してその結果の違いを評価しながら、適切なフィルタ処理或いは結果等を選択する方法との２種類の方法を用いる。なお、この２種類の方法を原理的な説明と代表的な複数の実施例を用いて説明するが、現実の道路状況・道路環境は多種多様であるため、本発明の処理方法は実施例に示したものだけに限定されるものではない。
【００２２】
（１）センサ等の検出結果及び電装機器の稼働状況等に基づいて道路状況を判断する方法
図１は、本発明に係る車線位置検知しシステムを示したブロック図である。車線位置検知システム２０は、カメラ２１と俯瞰図生成部２２とプロファイル生成部２３とレーン検知部２４と警報部２５と、環境判定部２６とを備えている。環境判定部２６には、車両に設置される各種センサ２７の検出結果及び電装機器の稼働状況等が伝達される。具体的に、環境判定部２６は、車速パルスセンサ、ギアスイッチ、ワイパースイッチ、光センサ（ヘッドライト自動点消灯用光センサ）、ヘッドライト、方向指示器スイッチ、舵角センサ、ナビゲーションシステム（道路情報（マップ情報）、位置情報、日付・時間情報、加速度センサ）等の情報を受信することによって、路面状況（周囲の明るさ、ウェット・ドライ状況等）、道路環境情報（高速道・一般道、車線数・道路幅）、車両走行状況、走行車線特定、道路カーブ・直線状況、車線変更の有無等の判断を行う。
【００２３】
環境判定部２６は、路面状況等の判断結果を、俯瞰図生成部２２、プロファイル生成部２３、レーン検知部２４等に送信する。プロファイル生成部２３では、受信した判断結果に基づいて、俯瞰画像のうち輝度プロファイルを作成する領域を選択する処理（着目領域制御処理）や輝度プロファイルに施すフィルタ処理用のフィルタの選択・調整を行い、１つ或いは複数の輝度プロファイルを生成する。
【実施例１】
【００２４】
図２（ａ）は、雨天時に高速走行中する車両の後方路面状況を示した俯瞰画像である。このような雨天時の環境では、晴天時の場合に比べて、
特徴１．後車輪により轍状の水しぶきが発生し疑似的に白線３０が発生してしまう。
【００２５】
特徴２．雨天により外周の照度が低下するため（低照度）、俯瞰画像において背景ノイズが相対的に増加してしまう。
【００２６】
という特徴がある。特に、特徴１は、図２（ｂ）に示すように輝度プロファイルを生成する場合に水しぶきが疑似白線として誤認識される可能性が高くなるので重要な問題となる。
【００２７】
このため、環境判定部２６は、ワイパースイッチと速度センサとを用いて周囲の状況が雨天であるかどうかを判断する。特に、ワイパースイッチは、雨の状況によって間欠動作状態から連続動作状態へと段階的に切り替え設定されるので、雨の強弱を判断することができる。例えば、路面に水しぶきがあがる状況は、路面に水がそれなりに溜まる必要があるため、ワイパーが連続動作状態に切り替えられたときに水しぶきが発生し得るものと推定することができる。
【００２８】
また、車両が一定の速度以上で走行しなければ長い水しぶき跡が路面に残らないため、環境判定部２６は、走行速度情報をワイパーの連続動作状況と併用して判断することにより水しぶき対応処理を行うか否かの判断を行う。
【００２９】
ワイパーの稼動状況と車両走行速度情報との２つの条件を満たす場合、環境判断部２６は、道路状況は水しぶきがあがり得る環境にあるものと判断し、プロファイル生成部２３対して水しぶき対応した処理を実施するように指示を出す。
【００３０】
水しぶきがあがり得る環境と判定した場合、プロファイル生成部２３は、まず、輝度プロファイルにフィルタ処理を施すためのハイパスフィルタ（ＨＰＦ）の遮断周波数を変更する。例えば、水しぶきによる白線状の軌跡３０は、実際の白線３１に比べ俯瞰画像においてエッジがぼけて示される。また、水しぶきはタイヤの外に広がるため、俯瞰画像における見た目の幅が白線よりも広がってしまう。水しぶきのピーク値は白線のピーク値に比べて低周波成分を多く含むので、ハイパスフィルタの遮断周波数を通常よりも高く設定することによって、図２（ｃ）に示すように水しぶきによる信号強度を選択的に低下させる。この遮断周波数は、事前に実験などによりあらかじめ決めておく。この遮断周波数の変更は、信号強度を弱めるため、こうした水しぶきの問題がない晴天時などは、低い方が望ましい。
【００３１】
以上のように、雨天状況専用のフィルタ処理を施した後に、レーン検知部２４が白線位置の検出処理を行うが、このレーン検知部２４における白線検知処理においても雨天状況専用の判定処理を行う。水しぶきによる擬似白線３０は後車輪の位置で発生する特徴があるため、その特徴を利用した処理を行うことで誤検出を低減させることができる。
【００３２】
例えば、水しぶきはタイヤの外に広がるため、俯瞰画像における見た目の幅が白線よりも広がってしまい、水しぶきのピーク幅と白線のピーク幅には幅差が現れやすい。このため、ピーク幅の誤差をより重く評価することで、水しぶきと白線３１との判定精度を上げることができ、誤検出を低減させることが可能となる。また、検出されるピーク位置に置いて、車輪位置３３にある信号の重み付けを相対的に軽くすることによって、タイヤからのびる水しぶきの擬似白線の誤検出を低減させることができる。
【００３３】
さらに、輝度プロファイルの変化を経時的（時間的）に判断したものに対して、時間軸を基準としたフィルタ処理（時間軸に関するフィルタ処理、時間フィルタ）を変更することにより、また、雨天等による外周の照度の低下（低照度）により、俯瞰画像において背景ノイズが混入しやすくなっていると考えられる場合には、時間的なローパスフィルタ（ＬＰＦ）において遮断周波数を低周側にずらしたフィルタに切り替えることによって、ノイズを減少させて検出強度の安定性を高めることが可能である。なお、フィルタ部（空間フィルタ）での変更処理、判定部での処理変更、時間フィルタ部での処理変更の３つの要素を全て実行する構成だけに限定されるものではなく、道路状況等によっては、いずれかの処理を選択的に施すだけで十分な精度で車線検知を行うことが可能な場合もある。従って、車線検知処理は上述したものに限定されるものではなく、各種センサで道路状況等を特定し、最適なフィルタ特性を選ぶことで総合的に信頼性を向上させることが可能である。
【実施例２】
【００３４】
車線検出の信頼性を向上させるためには、［実施例１］に示したようにフィルタ特性を制御するだけでなく、俯瞰図生成部２２を制御して車線検出を行うための俯瞰画像の俯瞰パターン或いは画像処理領域を制御する方法も有効である。このような画像処理には、俯瞰パターンの縮尺そのものを変更する方法と、画像の特定の走査線領域のみを処理する方法との２種類の方法がある。俯瞰パターンの縮尺変更方法は俯瞰図生成部２２における処理により実現され、特定の走査線領域のみを処理する方法は、プロファイル生成部２３における処理により実現される。それぞれ、俯瞰画像の粗調整及び微調整に有効な方法である。
【００３５】
例えば、車両走行中の道路が直線道路であるか、カーブであるかによって、車線検出に用いられる俯瞰画像を適宜切り替えることが望ましい。車両が直線走行している場合には、できるだけ俯瞰画像の前端から後端までの広い画像領域を用いて輝度プロファイルを作成することにより、白線３１のピークを高く高精度に検出することが可能になるとともに、ノイズによるピークを白線ピークに比べて低減させることができる。また、水しぶきのような擬似白線（白波線）３０のピークとの違いを明確にすることが可能となり、白線３１の信号強度を安定的に確保することが可能となる。一方、図３（ａ）に示すようなカーブを走行している場合には、車線位置の検出精度を確保するために、直線道路に近似することができる車両近景部分（車両に近い側）３５の俯瞰画像を車線検出処理に用いることが望ましい。カーブの検知は、前述したセンサ２７、例えばカーナビゲーションシステムからのナビ情報、舵角センサによるハンドルの操舵角度情報、或いは左右車速センサの回転数差などの情報を用いて判断する。環境判断部２６により車両がカーブを走行していると判断された場合、プロファイル生成部２３は環境判断部２６からの信号に基づいて俯瞰画像の範囲を俯瞰画像の全範囲から近景範囲３５に変更してプロファイルを生成する。このとき、前述した２種類の方法のうちどちらの方法を採用するのかはハードウェアの制約など考慮して適切な選択する。図３（ｂ）は俯瞰画像の全範囲を対象として生成した輝度プロファイルを示しており、図３（ｃ）は俯瞰画像のうち近景範囲３５だけを対象として生成した輝度プロファイルを示している。図３（ｂ）、（ｃ）より明らかなように、近景範囲３５だけを用いた輝度プロファイルでは、遠景範囲３６の白線部分のピーク強度（図３（ｃ）の鎖線で示されている部分）が含まれていないため、ピーク幅が狭くなり、車線位置の検出精度が向上する。
【実施例３】
【００３６】
図４は、夜間時に高速走行中する車両の後方路面状況を示した俯瞰画像である。夜間は図４に示すように遠方までライトの光が届かないため、白線３１の輝度に基づいて車線検知処理を行う場合、有効に白線検知処理を行うことが可能な範囲は、ライセンスプレートの光が路面を照射可能な範囲である車両に近い領域（図４の処理領域１）だけである。
【００３７】
環境判断部２６は、ランプ類の点灯の有無を検知したり、時刻情報をカーナビゲーションシステムナビから受信したりすることによって、走行時刻が夜間であるか否かの判断を行う。環境判断部２６が夜間であると判断した場合、プロファイル生成部が、図４の処理領域１の範囲だけを抽出して、この範囲だけを用いて輝度プロファイルを作成する。処理領域１だけを用いて輝度プロファイルを生成することによって、輝度プロファイルの信頼性を高めることができ、白線の検知精度を向上させることが可能となる。なお、この具体的手法を用いる場合には［実施例２］と同様に２種類の方法を用いることが可能である。（２）複数の処理を並列化してその結果の違いを評価しながら、適切なフィルタ処理或いは結果等を選択する方法
次に複数の処理を並列化（並列フィルタ処理による自立的判定）を行う方法を説明する。
【００３８】
上述する各種センサ２７の情報が十分に得られない場合には、特定の条件に適応したフィルタ処理を幾つか動作させ、複数のプロファイルを生成する。その後、各プロファイルを用いて総合的に或いは選択的に判断することにより白線の検出精度を高める。この方法は、以下の２つの手法に分類される。
【００３９】
方法１ 輝度プロファイルを比較し誤信号を排除してから白線検知を行う方法（実施例４）。
【００４０】
方法２ 輝度プロファイル毎に白線検知を行い比較により判断する方法（実施例５）
以下、上述した２つの方法について説明を行う。なお、以下の説明において便宜的にフィルタを２つ併用した例を用いて説明を行うが、フェイルセーフ的な考え方の下では３つ以上のフィルタを併用して判断することが望ましい場合も多くあり、その数は状況に応じて変化するので、２つに限定されるわけではない。
【実施例４】
【００４１】
で述べた轍状の水しぶきによる疑似白線が路面上に表示されている場合には、水しぶきの特性として表されるエッジぼけ部分を対象にして遮断周波数を決定し、フィルタ処理を施すことによって、図２（ｃ）のように水しぶきが原因となって輝度プロファイルに発生するピーク強度を低下或いは強調させることができる。従って複数のフィルタ処理を施された輝度プロファイルを比較した場合に、ピーク強度の状態が異なる部分ほどそのピークが白線３１以外の部分（例えば、水しぶき部分）である可能性が高いと判断できる。このため、同時に２つのフィルタ処理を施して、そのピーク強度の差が一定以上大きさを示す信号を無視するか、或いは重み付けを軽くすることで、車線検知の誤検出を低減させることが可能となる。
【実施例５】
【００４２】
図５（ａ）は、路面表面の色合いが補修等によって異なる道路を示す俯瞰画像である。
【００４３】
図５（ａ）に示すように、広範囲の暗い領域（補修面４０）と、明るい領域（路面４１）とがある場合、境界４２付近で輝度プロファイルの強度がステップ関数のように変化することとなり高周波成分を含むため、フィルタ処理を施しても信号強度か残りやすくなり誤認識を生じやすいという問題がある（図５（ｂ））。
【００４４】
このような問題を回避するため、微分フィルタを併用することにより変曲点を検出して輝度プロファイルのピークの値が白線３１であるか、明暗領域の境界４２であるかの判断を行う。微分フィルタを用いたフィルタ処理を施すと、図５（ｃ）に示すように、明暗領域の境界４２部分では変化点が１つであるためピークが１つになるが、白線３１のように明るい領域が一定幅の部分では二重にピークが現れる。従って、微分フィルタを用いたフィルタ処理を施すことによって、輝度プロファイルに二重ピークが生じた箇所を白線３１位置の候補とし、それ以外の場所は白線３１位置以外の場所であるもの判断して無視したり、評価関数での重み付けを軽くしたりすることによって、検出誤差を低減させることが可能となる。
【００４５】
なお、最初から微分フィルタのみを用いて白線位置の判断処理を行うことも原理的に可能である。しかしながら、微分フィルタは強度の低いノイズでも急激に変化していればピークが強調されてしまうため、ピークの数が増加しやすくなりそのままでは計算量が増えてしまうので、かえって誤認識を増加させる可能性もある。従って、図５（ｂ）に示すような、ハイパスフィルタを用いたフィルタ処理と、図５（ｃ）に示すような、微分フィルタを用いたフィルタ処理との２つの処理を同時に利用し、その相乗効果により誤認識を抑制させることが有効である。さらに、一方のフィルタで着目領域を先に抽出し、その領域のみに対して局所的に他方のフィルタ処理を施すことによって全体のフィルタ処理の軽減を図ることも可能である。すなわち、フィルタ処理の併用により、白線認識率の向上と負荷低減の２面の相乗効果が期待できる。
【００４６】
また、暗い領域と明るい領域とにより境界４２が現れる道路状況であれば、図５（ａ）に示すように境界が補修面と通常路面とにより生ずる場合だけでなく、道路の一部が日陰になってしまって、他の日の当たる部分との比較により暗い領域と明るい領域との境界が現れてしまう場合にも同様に適用することが可能である。
【実施例６】
【００４７】
輝度プロファイルを作成して白線検知を行うためには、できるだけ車両の遠方から車両側近までの広い範囲の俯瞰画像を用いて輝度積算を行い、ピーク強度を求めることが望ましく、このようにしてピーク強度を求めることによって安定的に白線検出を行うこと可能となる。しかしながら、あまりに遠方の情報を用いると、［実施例２］で示したように、車両がカーブを走行している場合に正確な白線位置を検出することが困難となり、また、異常に接近してきた車両が存在する場合には誤検出を起こしやすいという問題があった。
【００４８】
そこで、例えば、図３に示すように俯瞰画像を領域毎に分割し、近景と遠景とを独立に処理することにより道路がカーブであるか否かを自立的に検出することができる。
【００４９】
具体的な処理手順を例示すると
１．俯瞰画像の全範囲（全画面）を用いて輝度プロファイルを生成し、白線位置（位置１とする）を推定する。
２．俯瞰画像の近景領域を用いて輝度プロファイルを生成し、位置１付近より白線位置（位置２とする）を推定する。
３．俯瞰画像の遠近景領域を用いて輝度プロファイルを生成し、位置１付近より白線位置（位置３とする）を推定する。
４．位置１及び位置２の誤差が許容値以下の場合、その位置を白線位置と認定する
５．位置２に対して位置３がシフトしている場合はカーブであると判定する。
６．位置２に対して位置３が大きく異なる場合には異常事態（接近車等）であると判定する。
となる。このステップを経ることでカーブ走行などを自動検知し、白線検知の精度・信頼性を向上することが可能となる。
【実施例７】
【００５０】
図６（ａ）は、正常な白線と傷みや汚れにより見えにくくなった白線とを示した俯瞰画像である。白線検知において検知を行う白線が道路工事や経年劣化などによって激しく傷み、白線が見えにくくなっている場合には、輝度プロファイルを作成しても正常な白線４５に比べプロファイル強度が低下してしまい十分なピーク強度を得ることができないので、白線検知の誤検出を招くおそれがある。
【００５１】
元来、フィルタ処理は信号強度の絶対値を弱くする性質を有するため、正常な白線４５に合わせてフィルタ処理（例えば、バンドパスフィルタを用いたフィルタ処理。このときに用いるフィルタをフィルタ１とする。）を施すと、図６（ｂ）に示すように、弱い信号を有効に分離できない場合がある。一方で、弱い信号に合わせたフィルタ処理（例えば、ハイパスフィルタを用いたフィルタ処理。このときに用いるフィルタをフィルタ２とする。）を通常強度の輝度プロファイに適用すると、図６（ｃ）に示すように弱い背景ノイズまで拾ってしまい、処理が煩雑になりやすいとく問題がある。
【００５２】
このような状況に対応するために、白線検知が可能な強度範囲が異なる２種類以上のフィルタを併用し、強い強度に対応したフィルタから順に信号検出判定を行い、信号が検出できなかった場合に順に低い強度のフィルタ処理結果を参照することで、白線検知に用いるフィルタを選択する。図６（ａ）の例で示せば、
１．通常はフィルタ１を用いたフィルタ処理により白線位置を検知する（図６（ｂ））。
【００５３】
２．一定時間、白線未検出状態が連続したときには、フィルタ２を用いたフィルタ処理により白線位置を検出する（図６（ｃ））。
となる。フィルタ２は先に述べたように疑似ピークがあるため、フィルタ処理の処理負担が重くなり、単位時間に処理できる回数が低下するが、フィルタ１を用いた未検出状態に比べれば大幅に白線検知精度を改善することができる。また、フィルタ１で検出したピーク強度の信頼性は高いと考えられるため、このピーク強度を信頼して、見えにくくなった白線４６の位置をフィルタ２の結果から検索することで、信頼性の向上を図ることが可能となる。このようにしたフィルタ構成例として、遮断周波数帯及びフィルタ次数を調整したハイパスフィルタ（ＨＰＦ）或いはバンドパスフィルタ（ＢＰＦ）等が用いられる。
【００５４】
以上、本発明に係る車線位置検知システムを、図面を用いて説明したが、本発明に係る車線位置検知システムは、上述したものに限定されるものではなく、当業者が考え得る範囲での設計変更・改良を施したものも本発明に係る車線位置検知システムに含まれるものである。
【符号の説明】
【００５５】
２０ 車線位置検出システム
２１ カメラ
２２ 俯瞰図生成部
２３ プロファイル生成部
２４ レーン検知部
２５ 警報部
２６ 環境判定部
２７ センサ
【特許請求の範囲】
【請求項１】
車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求め、該輝度プロファイルにフィルタ処理を施すことによって白線の位置を検出する車線位置検知システムにおいて、
車両が走行する路面状況に基づいて、前記フィルタ処理に用いられるフィルタの遮断周波数の高低を変更することを特徴とする車線位置検知システム。
【請求項２】
前記路面状況は、前記車両に設置されたセンサの情報に基づいて判定することを特徴とする請求項１に記載の車線位置検知システム。
【請求項３】
前記フィルタ処理においてハイパスフィルタを使用し、
前記センサにより前記路面状況が雨天状況であると判定された場合に、前記ハイパスフィルタの遮断周波数を晴天時に比べて高い周波数に変更することを特徴とする請求項２に記載の車線位置検知システム。
【請求項４】
前記輝度プロファイルにおいて車両の車輪位置に対応する部分と、ピーク強度の強度幅が広がっている部分との重み付けを低くして白線検知を行うこと特徴とする請求項３に記載の車線位置検知システム。
【請求項５】
車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求め、前記輝度プロファイルに対して時間軸を基準としたフィルタ処理を施すことによって白線の位置を検出する車線位置検知システムにおいて、
車両に設置したセンサによって判定した路面状況に基づいて、前記フィルタ処理に用いられるフィルタの遮断周波数の高低を変更することを特徴とする車線位置検出システム。
【請求項６】
当該路面状況に基づいて、前記俯瞰画像全体を用いて前記輝度プロファイルを求めるか、前記俯瞰画像の一部の領域のみを用いて前記輝度プロファイルを求めるかの判断を行うことを特徴とする請求項２に記載の車線位置検知システム。
【請求項７】
前記センサにより走行路面がカーブしているものと判断された場合に、前記俯瞰画像の近景領域のみを用いて前記輝度プロファイルを求めることを特徴とする請求項６に記載の車線位置検知システム。
【請求項８】
前記センサにより前記路面状況が夜間であると判定された場合に、前記俯瞰画像の近景領域のみを用いて前記輝度プロファイルを求めることを特徴とする請求項６に記載の車線位置検知システム。
【請求項９】
前記センサは、車速パルスセンサ、ギアスイッチ、ワイパースイッチ、光センサ、ヘッドライトスイッチ、方向指示器スイッチ、舵角センサ、カーナビゲーションシステムの少なくとも１つであることを特徴とする請求項２乃至請求項８のいずれか１項に記載の車線位置検出システム。
【請求項１０】
前記俯瞰画像を車両に近い側から複数の領域に分割して、各領域でそれぞれ輝度プロファイルを求めて白線の位置を検出し、各領域で検出した白線位置を比較して道路がカーブかどうかを判定し、道路がカーブであると判定した場合には、前記俯瞰画像の近景領域のみから求めた白線の位置をもって車線位置の特定を行うことを特徴とする請求項１に記載の車線位置検知システム。
【請求項１】
車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求め、該輝度プロファイルにフィルタ処理を施すことによって白線の位置を検出する車線位置検知システムにおいて、
車両が走行する路面状況に基づいて、前記フィルタ処理に用いられるフィルタの遮断周波数の高低を変更することを特徴とする車線位置検知システム。
【請求項２】
前記路面状況は、前記車両に設置されたセンサの情報に基づいて判定することを特徴とする請求項１に記載の車線位置検知システム。
【請求項３】
前記フィルタ処理においてハイパスフィルタを使用し、
前記センサにより前記路面状況が雨天状況であると判定された場合に、前記ハイパスフィルタの遮断周波数を晴天時に比べて高い周波数に変更することを特徴とする請求項２に記載の車線位置検知システム。
【請求項４】
前記輝度プロファイルにおいて車両の車輪位置に対応する部分と、ピーク強度の強度幅が広がっている部分との重み付けを低くして白線検知を行うこと特徴とする請求項３に記載の車線位置検知システム。
【請求項５】
車載カメラで路面を撮像して得られた画像を俯瞰画像に変換し、該俯瞰画像の輝度を車両進行方向に平行に積分して進行方向に垂直な方向に対する輝度プロファイルを求め、前記輝度プロファイルに対して時間軸を基準としたフィルタ処理を施すことによって白線の位置を検出する車線位置検知システムにおいて、
車両に設置したセンサによって判定した路面状況に基づいて、前記フィルタ処理に用いられるフィルタの遮断周波数の高低を変更することを特徴とする車線位置検出システム。
【請求項６】
当該路面状況に基づいて、前記俯瞰画像全体を用いて前記輝度プロファイルを求めるか、前記俯瞰画像の一部の領域のみを用いて前記輝度プロファイルを求めるかの判断を行うことを特徴とする請求項２に記載の車線位置検知システム。
【請求項７】
前記センサにより走行路面がカーブしているものと判断された場合に、前記俯瞰画像の近景領域のみを用いて前記輝度プロファイルを求めることを特徴とする請求項６に記載の車線位置検知システム。
【請求項８】
前記センサにより前記路面状況が夜間であると判定された場合に、前記俯瞰画像の近景領域のみを用いて前記輝度プロファイルを求めることを特徴とする請求項６に記載の車線位置検知システム。
【請求項９】
前記センサは、車速パルスセンサ、ギアスイッチ、ワイパースイッチ、光センサ、ヘッドライトスイッチ、方向指示器スイッチ、舵角センサ、カーナビゲーションシステムの少なくとも１つであることを特徴とする請求項２乃至請求項８のいずれか１項に記載の車線位置検出システム。
【請求項１０】
前記俯瞰画像を車両に近い側から複数の領域に分割して、各領域でそれぞれ輝度プロファイルを求めて白線の位置を検出し、各領域で検出した白線位置を比較して道路がカーブかどうかを判定し、道路がカーブであると判定した場合には、前記俯瞰画像の近景領域のみから求めた白線の位置をもって車線位置の特定を行うことを特徴とする請求項１に記載の車線位置検知システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−２１１７１５（Ｐ２００９−２１１７１５Ａ）
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願番号】特願２００９−１３１０６７（Ｐ２００９−１３１０６７）
【出願日】平成２１年５月２９日（２００９．５．２９）
【分割の表示】特願２００４−９１４０３（Ｐ２００４−９１４０３）の分割
【原出願日】平成１６年３月２６日（２００４．３．２６）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２１年９月１７日（２００９．９．１７）
【国際特許分類】
【出願日】平成２１年５月２９日（２００９．５．２９）
【分割の表示】特願２００４−９１４０３（Ｐ２００４−９１４０３）の分割
【原出願日】平成１６年３月２６日（２００４．３．２６）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]