道路区間線検出装置及び方法並びにプログラム
【課題】周囲環境の影響やノイズの影響を受け難い態様で、道路区間線を高精度に検出すること。
【解決手段】本発明による道路区画線検出装置は、車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段１０と、周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定手段１０４と、前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定手段１０８とを備え、道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出することを特徴とする。
【解決手段】本発明による道路区画線検出装置は、車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段１０と、周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定手段１０４と、前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定手段１０８とを備え、道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路区間線を検出する道路区間線検出装置及び方法並びにプログラムに関する。
【背景技術】
【０００２】
従来から、車両に搭載されて車両前方を撮影する撮像手段と、前記撮像手段により撮像された画像の輝度変化に基づいて、レーンマーカ認識処理を行う第１のレーンマーカ認識手段と、前記撮像手段により撮像された画像と所定のテンプレートとのパターンマッチングにより、レーンマーカ認識処理を行う第２のレーンマーカ認識手段と、車両前方に光信号を送出する信号送出手段と、前記信号送出手段から送出された光信号の反射信号を受信する信号受信手段と、前記信号受信手段により受信した反射信号の受信量に基づいて、前記第１のレーンマーカ認識手段および前記第２のレーンマーカ認識手段のうちのいずれか一方を選択する選択手段とを備えることを特徴とするレーンマーカ認識装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００４−１３９３３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、一般的に、道路区間線は、上記の従来技術のように、画像中に含まれる道路区画線に関わる画素の信号レベルと、それ以外の領域の画素の信号レベルとの差(例えば輝度差)に基づいて、検出される。
【０００４】
しかしながら、単に信号レベルの差のみに着目するだけでは、ノイズの影響を適切に除去することができない虞がある。
【０００５】
また、車両から路面を含む風景を撮像して、周囲画像を取得する場合、得られる周囲画像の信号レベルは、周囲光のような車両の周囲環境の影響を受ける。このため、車両の周囲環境によっては、道路区画線に関わる画素の信号レベルと、それ以外の領域の画素の信号レベルとの差が小さく、道路区間線の検出に必要な信号レベル差が得られない場合がある。
【０００６】
そこで、本発明は、周囲環境の影響やノイズの影響を受け難い態様で、道路区間線を高精度に検出することができる道路区間線検出装置及び方法並びにプログラムの提供を目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、第１の発明に係る道路区間線検出装置は、車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定手段と、
前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定手段とを備え、
道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出することを特徴とする。
【０００８】
第２の発明は、第１の発明に係る道路区間線検出装置において、
前記着目領域は、複数個設定され、前記判定手段は、着目領域毎に前記判定を行うことを特徴とする。
【０００９】
第３の発明は、第２の発明に係る道路区間線検出装置において、
前記閾値設定手段は、各着目領域に対して算出されたばらつき度合いの平均値に基づいて、前記閾値を設定することを特徴とする。
【００１０】
第４の発明は、第１〜３のいずれかの発明に係る道路区間線検出装置において、
前記閾値設定手段は、道路区間線の特徴点が存在すると判定された着目領域内の特徴点の数に基づいて、前記閾値を設定することを特徴とする。
【００１１】
第５の発明は、第１〜４のいずれかの発明に係る道路区間線検出装置において、
前記周囲画像は、フレーム毎に処理され、
前記閾値設定手段により設定された閾値は、次フレームの周囲画像に対する前記判定手段による判定に用いられることを特徴とする。
【００１２】
第６の発明は、第１〜５のいずれかの発明に係る道路区間線検出装置において、
前記信号レベルのばらつき度合いは、モルフォロジー演算処理後の周囲画像に基づいて算出されることを特徴とする。
【００１３】
第７の発明は、第１〜６のいずれかの発明に係る道路区間線検出装置において、
前記道路区間線は、間隔をおいて点状に設けられる類の道路区画線であることを特徴とする。
【００１４】
上記目的を達成するため、第８の発明に係る道路区間線検出方法は、車両から撮像手段が撮像した路面を含む周囲画像を取得するステップと、
周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定ステップと、
前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定ステップと、
道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出するステップとを含むことを特徴とする。
【００１５】
上記目的を達成するため、第９の発明に係るコンピューター読み取り可能なプログラムは、コンピューターをして、（１）車両から撮像手段が撮像した路面を含む周囲画像を取得する処理、（２）周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する処理、及び、（３）道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出する処理を含む道路区間線検出処理を実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、周囲環境の影響やノイズの影響を受け難い態様で、道路区間線を高精度に検出することができる道路区間線検出装置及び方法並びにプログラムが得られる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１８】
図１は、本発明による道路区画線検出装置の一実施例を含むシステム構成図である。本実施例の道路区画線検出装置１００には、車両から路面を含む風景を撮像するカメラ１０が接続される。カメラ１０は、ＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えば５００万画素を有する路面を含む周囲画像を取得する。カメラ１０は、例えばルームミラーに取り付けられ、車両前方の路面を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の路面を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の路面を撮像するものであってもよい。
【００１９】
カメラ１０は、好ましくはリアルタイムに周囲画像を取得し、取得された周囲画像は、道路区画線検出装置１００に供給される。この場合、周囲画像は、適切なフレームレートのストリーム形式で道路区画線検出装置１００に供給されてよい。
【００２０】
道路区画線検出装置１００は、以下詳説する如く、カメラ１０から供給される周囲画像に基づいて、車両周辺の道路区画線を検出する。例えば、車両進行方向前方の路面を撮像するカメラ１０の場合、道路区画線検出装置１００は、車両前方の道路区画線を検出する。道路区画線は、道路上における白線、ボッツドッツ（Botts Dots）、キャッツアイ等を含む。なお、白線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。
【００２１】
図２は、ボッツドッツ及びキャッツアイの説明図である。ボッツドッツ５１は、主として北米で用いられる区画線であり、例えばセラミックからなる、直径１００mm程度の立体状の円盤を複数並べて、路面に埋め込んだものである（図２（ａ））。一方、キャッツアイ５３は、略矩形状に形成された反射体を複数並べた区画線であり、入射光を同一の方向に反射する特性を有している（図２（ｂ））。キャッツアイ５３のみから構成される区画線は、例えば、日本では、高速道路以外のカーブ道路等で使用されており、北米では、カーブ道路だけでなく、直線道路でも使用されている。ボッツドッツ５１及びキャッツアイ５３は、いずれも路面から僅かに突出した状態で配設されている。
【００２２】
道路区画線検出装置１００による道路区画線の検出結果は、車線に沿った車両走行を支援する各種車載システムに用いられうる。
【００２３】
例えば、図１に示す例では、道路区画線検出装置１００には、車両の走行支援を行う走行支援ECU３０が通信回線を介して接続されている。道路区画線検出装置１００は、道路区画線の検出結果を走行支援ECU３０に通信回線を介して送信する。
【００２４】
走行支援ECU３０は、車両LAN（Local Area Network）等の通信回線３３に接続されている。また、車両LAN３３には、ステアリングに付与されるアシスト力を制御する電動パワーステアリングECU（EMPS−ECU）３５が接続されている。さらに、車両LAN３３には、エンジンを統合的に制御するエンジンECU（EFI−ECU）３７と、メータパネルの表示等を制御するメータECU３９とが接続されている。これら走行支援ECU３０、EMPS−ECU３５、EFI−ECU３７、メータECU３９は、車両LAN３３を介して、CANプロトコル等に基づいた、双方向のデータ通信を行う。
【００２５】
EMPS−ECU３５には、ステアリングにアシスト力を付与する電動モータ等のステアリングアクチュエータ３５ａが接続されている。EMPS−ECU３５は、走行支援ECU３０から送信されたトルク値（電流値）に基づいて、ステアリングアクチュエータ３５ａを駆動、制御する。
【００２６】
EFI−ECU３７には、車速を検出する車速センサ３７ａと、ステアリングの操舵角を検出する操舵角センサ３７ｂが接続されている。車速センサ３７ａにより検出された車速、および操舵角センサ３７ｂにより検出された操舵角は、EFI−ECU３７および車両LAN３３を介して、走行支援ECU３０に送信される。
【００２７】
走行支援ECU３０は、道路区画線検出装置１００から通信回線を介して送信された道路区画線の検出結果と運転者の運転状況と基づいて、その後の車両の位置を予測し、自車両が区画線を逸脱するおそれがあると判断した場合に、警報信号をメータECU３９に送信する（車線逸脱制御）。メータECU３９は、走行支援ECU３０からの警報信号を受信すると、ブザー３９ａに警告音を発生させ、及び／又は警告ランプ３９ｂを点灯させる。
【００２８】
また、走行支援ECU３０は、道路区画線検出装置１００から通信回線を介して送信された道路区画線の検出結果に基づいて、自車両の推定位置を算出する。さらに、走行支援ECU３０は、算出された自車両の推定位置と、車速センサ３７ａにより検出された車速と、操舵角センサ３７ｂにより検出された操舵角と、に基づいて、自車両が区画線の略中央を走行する為に必要とするアシスト操舵力（電流値）を算出し、EMPS−ECU３５に送信する（車線維持制御）。EMPS−ECU３５は、走行支援ECU３０から送信されたアシスト操舵力に基づいて、ステアリングアクチュエータ３５ａを制御する。道路区画線の検出結果は、車線逸脱制御や車線維持制御等に用いることができる。本実施例によれば、後述の如く高い精度で道路区画線を検出することができるので、これら各制御を高精度に行うことが可能となる。
【００２９】
図３は、本実施例による道路区画線検出装置１００の主要部を示す機能ブロック図である。道路区画線検出装置１００のハードウェア構成としては、マイクロコンピュータを中心に構成されている。従って、道路区画線検出装置１００は、所与の実行プログラムに従って各種処理を行うCPU、このCPUの実行プログラムを格納するROM、画像データ、演算結果等を格納する読書き可能なRAM（Random Access Memory）、タイマ、カウンタ、入出力インターフェイス等を有している。これらCPU、ROM、RAM、及び入出力インターフェイスは、データバスにより相互に接続されている。尚、以下で説明する道路区画線検出装置１００の各部は、CPUによって実行されるプログラムによって実現される。
【００３０】
道路区画線検出装置１００は、図３に示すように、特徴点抽出部１０２、ノイズ除去部１０４、道路区画線検出部１０６、及び、閾値設定部１０８を含む。図３に示す各部１０２等の処理は、周囲画像のフレーム毎に実行される。即ち、随時供給ないし読み出される周囲画像の各フレームに対して、原則的に、それぞれ独立に実行される(もっとも、後述の如く、標準偏差閾値ＳＤＴＨの設定方法等については、フレーム間で相関性がありうる。)。以下、各部の処理について詳説する。
【００３１】
特徴点抽出部１０２は、周囲画像内の特徴点を抽出する。特徴点抽出方法は、多種多様であるが、特徴点抽出部１０２は、好ましくは、モルフォロジー演算により特徴点を抽出する。モルフォロジー演算によれば、予め設定された構造要素Ｂを使用した集合論的操作により、元画像（濃淡画像）から特定の幾何学的構造をもった要素のみを選択的に抽出することができる。また、ノイズとの判別が困難な上述のボッツドッツ及びキャッツアイ等の点状の道路区間線を、比較的容易に検出することができる。
【００３２】
ここでは、好ましい実施例として、モルフォロジー演算により特徴点抽出処理が実行される場合について説明する。尚、モルフォロジー演算については、例えば「モルフォロジー」（コロナ社）等に詳述されている。
【００３３】
特徴点抽出部１０２には、上述の如く取得される周囲画像が入力される。この際、周囲画像は、光学系に起因する輝度ムラを除去する為にシェーディング補正された後、グレースケール化されてよい。例えば、２５６階調のグレースケール画像（濃淡画像）とされてよい。以下、かくして入力される周囲画像の濃淡画像を、「入力画像」と称する。
【００３４】
特徴点抽出部１０２は、所定の構造要素Ｂに基づいて、入力画像に対して収縮処理（Erosion）を行って収縮画像を生成し、生成された収縮画像に対して膨張処理（Dilation）を行ってOpening画像を生成する。次いで、特徴点抽出部１０２は、トップハット変換処理により、入力画像からOpening画像を差引いた差分画像を生成する(図５参照)。
【００３５】
モルフォロジー演算に用いる構造要素Ｂは、検出対象の道路区間線に応じて適切に設定される。即ち、構造要素Ｂの大きさは、得られる差分画像において検出対象の道路区間線とそれよりも小さいノイズのみが残存するように、決定される。
【００３６】
ここでは、ノイズとの判別が困難な上述のボッツドッツ及びキャッツアイ等の点状の道路区間線を検出する例として、検出対象物がボッツドッツである場合について説明する。尚、ボッツドッツ及びキャッツアイは、いずれも非常に小さい為、入力画像上では略同一の特性を持った写り方をする。したがって、ボッツドッツ及びキャッツアイのような点状の道路区間線は、同様の態様で検出可能である。
【００３７】
ボッツドッツの大きさは、見かけ上、「点のような状態」から「横方向へ数ピクセルの幅を持つ」場合まで変化する。トップハット変換の性質は、「構造要素Bよりも小さいものを残す」ことが基本となる為、構造要素Bの大きさをボッツドッツの大きさである１０ｃｍ+αとすれば、見かけ上１０ｃｍ以下に見えた場合でも対処できる。αの大きさは実際の実験によって設定されるが、ノイズ等の不要物に係る特徴点が残存しないように、大き過ぎない適度な大きさに設定するのが好ましい。
【００３８】
図４は、モルフォロジー演算処理を説明するための概念図であり、図４（ａ）は、入力画像の横方向の任意の１ライン（走査線）上の輝度分布を表す。即ち、図４（ａ）は、入力画像の画素列の輝度分布信号ｆ（ｘ）を示す（ｘは、横方向の画素位置を示す）。本例では、図４（ａ）に示すように、走査線上に、横幅６ピクセルの白線、２ピクセル（pixel）のノイズ、および３ピクセルのボッツドッツが含まれているものとする。また、構造要素Bは、例えば高さが１ピクセル、横幅が５ピクセルとする。
【００３９】
図４（ｂ）は、収縮画像の上記走査線上の輝度分布を破線にて示し、入力画像の輝度分布信号ｆ（ｘ）を参考として実線にて示す。即ち、図４（ｂ）は、収縮処理後の輝度分布信号を破線にて示す。収縮処理は、注目画素を中心とした、マスクサイズ幅（構造要素Ｂに応じて決定される値であって、本例では２．５ピクセル）の範囲内の最小値を探索する処理である。従って、収縮処理により、マスクサイズ（５ピクセル）よりも小さいノイズ及びボッツドッツが消去され、白線を表す幅が収縮される。
【００４０】
図４（ｃ）は、opening画像の上記走査線上の輝度分布を破線にて示し、入力画像の輝度分布信号ｆ（ｘ）を参考として実線にて示す。opening処理は収縮処理後に膨張処理を行なう処理、すなわち最小値の探索の後に最大値を探索する処理である。従って、膨張処理により、白線を表す幅が復元されるが、ノイズ及びボッツドッツは消去されたままで、復元されない。
【００４１】
図４（ｄ）は、差分画像の上記走査線上の輝度分布を実線にて示す。即ち、図４（ｃ）は、トップハット変換処理後の輝度分布信号を実線にて示す。入力画像の輝度分布信号ｆ（ｘ）から、opening処理後の輝度分布信号を差分すると、図４（ｄ）に示す如く、構造要素Bよりも大きい白線（点線）に係る輝度分布信号が消去され、構造要素Bよりも小さいノイズおよびボッツドッツのみに係る輝度分布信号が得られることが分かる。特徴点抽出部１０２は、差分画像における所定輝度レベル以上の画素の点を、特徴点として抽出する。これにより、白線のような構造要素Bよりも大きい物体に係る特徴点が除去され、ノイズおよびボッツドッツに係る特徴点のみが抽出されることになる。
【００４２】
尚、上記説明では、高さが１ピクセル、横幅が５ピクセルの一次元構造要素Bを用いているが、例えば、ボッツドッツよりも大きい円形（例えば、直径が４ピクセル）の構造要素（２次元構造要素）Bを用いてもよい。１次元構造要素を用いた場合、ボッツドッツの横幅と等しい補修痕、轍（わだち）の筋、雨の筋等が存在した場合であっても、形状が全く異なるにもかかわらず、除去できない場合がある。さらに、横幅が同じである為、トップハット変換処理を行っても、これら不要物は残存する。しかしながら、このような状況下においても、２次元の構造要素Bを用いれば容易に、上記のような不要物を区別することができる。
【００４３】
また、走査線の方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、モルフォロジー演算処理は、入力画像の全領域を認識対象領域として、当該認識対象領域内の全走査ラインに対して実行されてもよいが、予測可能な路面の領域を認識対象領域として限定してもよい。この場合、差分画像は、入力画像よりも全画素数が少なくなる。また、路面領域のうちの車両に近い領域を認識対象領域として限定してもよい。これは、ボッツドッツは直径が１０ｃｍしかない為、遠い領域になるとほとんど見えなくなってしまうことを考慮して、１０ｃｍのボッツドッツがノイズとの識別が困難なピクセルサイズ（例えば２ピクセル以下）となる領域での無駄な処理を省くためである。
【００４４】
ノイズ除去部１０４は、特徴点抽出部１０２により抽出された特徴点に含まれるノイズを除去する。即ち、ノイズ除去部１０４は、差分画像内に含まれるボッツドッツ以外の要素(主にノイズ）の成分を除去する。
【００４５】
具体的には、ノイズ除去部１０４は、差分画像（認識対象領域）を幾つかの着目領域に分割し、着目領域毎に、輝度レベルのばらつき度合い(散らばり度合い)を算出し、算出したばらつき度合いが標準偏差閾値ＳＤＴＨより大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する。
【００４６】
図５は、差分画像に対する着目領域の設定態様の一例を示す。尚、図５に示す例では、認識対象領域は、右斜め方向に延びる道路に対応して略平行四辺形状に設定されており、認識対象領域には、上述の如くボッツドッツとノイズとが混在している。着目領域は、図５に示すように矩形の区域で設定されてもよいし、他の形状の区域で設定されてもよい。また、着目領域は、１走査線上の領域であってもよい。但し、着目領域は、好ましくは、ばらつき度合いが適切に評価されるように、ボッツドッツを表す画素数よりも大きなサイズを有することが望ましい。ばらつき度合いの算出に用いる画素数(標本数)は、差分画像の全画素数やボッツドッツを表す画素数等に依存するが、例えば１００画素程度であってよい。
【００４７】
本例では、ばらつき度合いは、輝度レベルの標準偏差として算出される。但し、標準偏差に代えて分散や平均偏差等の統計量が用いられてもよい。また、ばらつき度合いは、好ましくは、着目領域に含まれる全画素の輝度レベルに基づいて導出されるが、着目領域に含まれる画素の幾つかを適切に間引きしてから導出されてもよい。
【００４８】
例えば、ある１着目領域が、Ｎ個の画素ｉ（ｉ＝１，．．．Ｎ）を有し、各画素ｉ（ｉ＝１，．．．Ｎ）の輝度レベルＬｉである場合、当該１着目領域に対する分散Φは、当該着目領域の各画素ｉ（ｉ＝１，．．．Ｎ）の輝度レベルＬｉの平均値Ｌavを用いて、
Φ＝１／Ｎ{（Ｌ１―Ｌav）２＋（Ｌ２―Ｌav）２＋．．．＋（ＬＮ―Ｌav）２}で表される。従って、１着目領域に対する標準偏差ＳＤは、ＳＤ＝Φ1/2で表される。以下、着目領域がＭ個あるとして、各着目領域Ｒｉ（ｉ＝１，．．．Ｍ）における標準偏差を、それぞれ記号ＳＤｉ（ｉ＝１，．．．Ｍ）で表す。
【００４９】
ここで、図５に示す着目領域Ｒ２のように、着目領域にボッツドッツを表す画素が含まれる場合、図５に示す着目領域Ｒ１のように、着目領域にノイズのみが含まれる場合に比べて、標準偏差が有意に大きくなる。即ち、ＳＤ２＞ＳＤ１となる。本実施例では、この点に着目し、適切な標準偏差閾値ＳＤＴＨを設定して、ボッツドッツを含む着目領域と、ボッツドッツを含まない着目領域とを判別する。標準偏差閾値ＳＤＴＨは、差分画像の解像度やボッツドッツのサイズ（画素数）等を考慮して適切に決定される。標準偏差閾値ＳＤＴＨは、後述の閾値設定部１０８により設定される。標準偏差閾値ＳＤＴＨは、固定であってもよいが、好ましくは後述のように後述の閾値設定部１０８により可変される。
【００５０】
ノイズ除去部１０４は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨ以下となる着目領域Ｒｉ(例えば図５に示す着目領域Ｒ１)に対しては、当該着目領域Ｒｉにはノイズ成分のみが含まれると判断して、当該着目領域Ｒｉ内の全特徴点を除去・廃棄する。また、ノイズ除去部１０４は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい着目領域Ｒｉ(例えば図５に示す着目領域Ｒ２)に対しては、当該着目領域Ｒｉにはボッツドッツに係る特徴点が含まれると判断して、当該着目領域Ｒｉ内の特徴点を維持する。
【００５１】
図６は、ノイズ除去部１０４による上述のノイズ除去処理後の差分画像を示す。図6に示すように、ノイズ除去処理後には、図５に示す着目領域Ｒ１のような輝度レベルの標準偏差が小さい着目領域における全特徴点が除去される。これにより、ノイズ除去処理後には、図５に示す着目領域Ｒ２のような輝度レベルの標準偏差が大きい着目領域における特徴点のみが残される。即ち、ボッツドッツが含まれると判断された着目領域における特徴点のみが残される。
【００５２】
道路区画線検出部１０６は、上述の如くノイズ除去部１０４によるノイズ除去処理後の差分画像の特徴点に基づいて、ボッツドッツに係る特徴点を検出する。即ち、道路区画線検出部１０６は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい着目領域Ｒｉ内で、ボッツドッツに係る特徴点を検出する。ここで、上述の如く、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい着目領域Ｒｉ内においても、ボッツドッツ以外にノイズ成分が依然として残りうるが、ノイズの輝度がボッツドッツの輝度より低い場合は、例えば所定のフィルタ閾値により容易にノイズ成分を除去することができる。一方、ノイズの輝度がボッツドッツの輝度より高い場合は、直線状に並ぶパターンのみを検出するハフ（Hough）変換等により、ボッツドッツに係る特徴点のみを容易に検出することができる。
【００５３】
道路区画線検出部１０６は、ボッツドッツに係る特徴点として検出した特徴点に基づいて、特徴点リストを生成して出力する。特徴点リストは、ここでは詳説しないが、それに基づいてボッツドッツの位置や方向(車線方向)の把握が可能であるので、上述の如く道路区画線の検出結果として走行支援ECU３０により利用されることになる。
【００５４】
閾値設定部１０８は、ノイズ除去部１０４による上述の標準偏差ＳＤｉによる閾値判定処理で用いられる標準偏差閾値ＳＤＴＨを、設定する。本例では、閾値設定部１０８は、入力画像上のノイズ成分の出現態様が1フレーム間では大きく変化しないことに着目して、次回のフレームに対する標準偏差閾値ＳＤＴＨを設定する。尚、1フレーム目の入力画像に対する標準偏差閾値ＳＤＴＨは、適切な初期値(例えば６)が設定されてよい。
【００５５】
具体的には、閾値設定部１０８は、認識対象領域全体での輝度レベルの標準偏差の平均値ＳＤＡＶを用いて、以下の式により標準偏差閾値ＳＤＴＨを決定して設定する。
ＳＤＴＨ＝ＳＤＡＶ＋β
ここで、βは補正項であり、固定値であってよく、或いは、後述の如く可変値であってもよい。認識対象領域全体の標準偏差の平均値ＳＤＡＶは、ＳＤＡＶ＝１／Ｍ（ＳＤ１＋ＳＤ２＋．．．＋ＳＤＭ）で表される。尚、認識対象領域全体の標準偏差の平均値ＳＤＡＶは、認識対象領域全体に含まれる全画素の輝度レベルに基づく標準偏差であってもよい。
【００５６】
ところで、周囲光が少ない暗いシーンにおいては、ボッツドッツに関わる画素の輝度レベルが小さくなり、それに伴って、ボッツドッツの画素が含まれる着目領域の標準偏差が小さくなる。しかしながら、かかる場合には、認識対象領域全体の標準偏差の平均値ＳＤＡＶが小さくなるので、それに伴って、設定される標準偏差閾値ＳＤＴＨも小さい値となる。
【００５７】
このように本実施例によれば、入力画像(差分画像)全体の輝度レベルのばらつき度合いを用いて、標準偏差閾値ＳＤＴＨを設定するので、車両の周囲環境によって入力画像)全体の輝度レベルが全体的に変化した場合であっても、適切な標準偏差閾値ＳＤＴＨによりボッツドッツに係る特徴点を精度良く検出することができる。
【００５８】
本実施例において、標準偏差閾値ＳＤＴＨを設定するのに用いる補正項βは、入力画像の状態に応じて動的に変化する可変値であってもよい。例えば、補正項βは、ノイズ除去部１０４によるノイズ除去処理後の差分画像に含まれる特徴点の数に応じて、変化されてもよい。この場合、閾値設定部１０８は、特徴点の数が所定数以上の場合(特徴点が多い場合)、標準偏差閾値ＳＤＴＨが最適値よりも小さいと判断して、補正項βを大きくする。一方、閾値設定部１０８は、特徴点の数が所定数より小さい場合(特徴点が少ない場合)、標準偏差閾値ＳＤＴＨが最適値よりも大きいと判断して、補正項βを小さくする。このように、補正項βを入力画像の状態に応じて変化させることで、常に最適な標準偏差閾値ＳＤＴＨを設定することができ、その結果、ノイズ除去部１０４によるより適切なノイズ除去を実現することができる。
【００５９】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００６０】
例えば、上述した実施例では、今回のフレームの入力画像に基づいて設定された標準偏差閾値ＳＤＴＨを、次回のフレームに係るノイズ除去処理に用いているが、今回のフレームの入力画像に基づいて設定された標準偏差閾値ＳＤＴＨを、今回のフレームに係るノイズ除去処理に用いることも可能である。即ち、ノイズ除去部１０４によるノイズ除去処理の前段に、標準偏差閾値ＳＤＴＨ（平均値ＳＤＡＶ）を演算・設定し、当該標準偏差閾値ＳＤＴＨを用いてノイズ除去部１０４によるノイズ除去処理（閾値判定処理）を実行してもよい。或いは、ノイズ除去部１０４によるノイズ除去処理の前段で、差分画像の認識対象領域全体に含まれる全画素の輝度レベルに基づく標準偏差を算出し、当該算出した標準偏差を平均値ＳＤＡＶとして用いることとしてもよい。
【００６１】
また、上述した実施例では、認識対象領域全体の標準偏差の平均値ＳＤＡＶに基づいて、標準偏差閾値ＳＤＴＨを決定しているが、ボッツドッツが存在すると判定された着目領域を除く認識対象領域全体の標準偏差の平均値ＳＤ’ＡＶに基づいて、標準偏差閾値ＳＤＴＨを決定してもよい。例えば、着目領域ＳＤ２にボッツドッツが存在すると判定された場合、ＳＤ’ＡＶ＝１／Ｍ（ＳＤ１＋ＳＤ３＋．．．＋ＳＤＭ）で表される標準偏差の平均値に基づいて、標準偏差閾値ＳＤＴＨを決定してもよい。
【００６２】
また、上述した実施例は、上述の如く、ボッツドッツよりも大きい物体（例えば白線）とボッツドッツが混在する道路上において、白線やノイズを適切に除去しつつ、ボッツドッツを高精度に検出するものであるが、同一のタイプの道路区間線（例えば白線）のみが存在する道路上であれば、当該道路区間線に応じた適切な構造要素を設定し、同様のノイズ除去処理を実行することで、当該道路区間線を高精度に検出することが可能である。
【００６３】
また、上述した実施例は、ボッツドッツ等のような、通常の白線よりもサイズ（幅）が小さい道路区間線を検出するのに適した処理に関するものであるが、サイズが小さい白線であれば、それに応じた適切な構造要素を設定することで高精度に検出可能である。
【００６４】
また、上述した実施例は、ボッツドッツよりも大きい物体に係る特徴点を、モルフォロジー演算により適切に除去しているが、他の方法により除去してもよい。例えば、パターンマッチングやラインエッジ処理により白線が認識可能な場合には、当該認識結果に基づいて白線を除去し、当該白線が除去された画像に対して上述のノイズ除去処理を実行することで、白線やノイズを適切に除去しつつ、ボッツドッツを高精度に検出することができる。
【００６５】
また、上述した実施例では、輝度レベルのばらつきを利用してボッツドッツ等を高精度に検出するものであるが、カラー画像を入力画像として用い、色相や彩度を表す信号レベルのばらつきを利用してボッツドッツ等を高精度に検出することも可能である。例えば、色相レベルの標準偏差を用いる場合には、同様の態様で、色相レベルの標準偏差に対する適切な標準偏差閾値ＳＤＴＨを設定すればよい。
【図面の簡単な説明】
【００６６】
【図１】本発明による道路区画線検出装置の一実施例を含むシステム構成図である。
【図２】ボッツドッツ及びキャッツアイの説明図である。
【図３】本実施例による道路区画線検出装置１００の主要部を示す機能ブロック図である。
【図４】モルフォロジー演算処理を説明するための概念図である。
【図５】差分画像に対する着目領域の設定態様の一例を示す図である。
【図６】ノイズ除去部１０４による上述のノイズ除去処理後の差分画像を示す図である。
【符号の説明】
【００６７】
１０ カメラ
３０ 走行支援ECU
１００ 道路区画線検出装置
１０２ 特徴点抽出部
１０４ ノイズ除去部
１０６ 道路区画線検出部
１０８ 閾値設定部
【技術分野】
【０００１】
本発明は、道路区間線を検出する道路区間線検出装置及び方法並びにプログラムに関する。
【背景技術】
【０００２】
従来から、車両に搭載されて車両前方を撮影する撮像手段と、前記撮像手段により撮像された画像の輝度変化に基づいて、レーンマーカ認識処理を行う第１のレーンマーカ認識手段と、前記撮像手段により撮像された画像と所定のテンプレートとのパターンマッチングにより、レーンマーカ認識処理を行う第２のレーンマーカ認識手段と、車両前方に光信号を送出する信号送出手段と、前記信号送出手段から送出された光信号の反射信号を受信する信号受信手段と、前記信号受信手段により受信した反射信号の受信量に基づいて、前記第１のレーンマーカ認識手段および前記第２のレーンマーカ認識手段のうちのいずれか一方を選択する選択手段とを備えることを特徴とするレーンマーカ認識装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００４−１３９３３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、一般的に、道路区間線は、上記の従来技術のように、画像中に含まれる道路区画線に関わる画素の信号レベルと、それ以外の領域の画素の信号レベルとの差(例えば輝度差)に基づいて、検出される。
【０００４】
しかしながら、単に信号レベルの差のみに着目するだけでは、ノイズの影響を適切に除去することができない虞がある。
【０００５】
また、車両から路面を含む風景を撮像して、周囲画像を取得する場合、得られる周囲画像の信号レベルは、周囲光のような車両の周囲環境の影響を受ける。このため、車両の周囲環境によっては、道路区画線に関わる画素の信号レベルと、それ以外の領域の画素の信号レベルとの差が小さく、道路区間線の検出に必要な信号レベル差が得られない場合がある。
【０００６】
そこで、本発明は、周囲環境の影響やノイズの影響を受け難い態様で、道路区間線を高精度に検出することができる道路区間線検出装置及び方法並びにプログラムの提供を目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、第１の発明に係る道路区間線検出装置は、車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定手段と、
前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定手段とを備え、
道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出することを特徴とする。
【０００８】
第２の発明は、第１の発明に係る道路区間線検出装置において、
前記着目領域は、複数個設定され、前記判定手段は、着目領域毎に前記判定を行うことを特徴とする。
【０００９】
第３の発明は、第２の発明に係る道路区間線検出装置において、
前記閾値設定手段は、各着目領域に対して算出されたばらつき度合いの平均値に基づいて、前記閾値を設定することを特徴とする。
【００１０】
第４の発明は、第１〜３のいずれかの発明に係る道路区間線検出装置において、
前記閾値設定手段は、道路区間線の特徴点が存在すると判定された着目領域内の特徴点の数に基づいて、前記閾値を設定することを特徴とする。
【００１１】
第５の発明は、第１〜４のいずれかの発明に係る道路区間線検出装置において、
前記周囲画像は、フレーム毎に処理され、
前記閾値設定手段により設定された閾値は、次フレームの周囲画像に対する前記判定手段による判定に用いられることを特徴とする。
【００１２】
第６の発明は、第１〜５のいずれかの発明に係る道路区間線検出装置において、
前記信号レベルのばらつき度合いは、モルフォロジー演算処理後の周囲画像に基づいて算出されることを特徴とする。
【００１３】
第７の発明は、第１〜６のいずれかの発明に係る道路区間線検出装置において、
前記道路区間線は、間隔をおいて点状に設けられる類の道路区画線であることを特徴とする。
【００１４】
上記目的を達成するため、第８の発明に係る道路区間線検出方法は、車両から撮像手段が撮像した路面を含む周囲画像を取得するステップと、
周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定ステップと、
前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定ステップと、
道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出するステップとを含むことを特徴とする。
【００１５】
上記目的を達成するため、第９の発明に係るコンピューター読み取り可能なプログラムは、コンピューターをして、（１）車両から撮像手段が撮像した路面を含む周囲画像を取得する処理、（２）周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する処理、及び、（３）道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出する処理を含む道路区間線検出処理を実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、周囲環境の影響やノイズの影響を受け難い態様で、道路区間線を高精度に検出することができる道路区間線検出装置及び方法並びにプログラムが得られる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１８】
図１は、本発明による道路区画線検出装置の一実施例を含むシステム構成図である。本実施例の道路区画線検出装置１００には、車両から路面を含む風景を撮像するカメラ１０が接続される。カメラ１０は、ＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えば５００万画素を有する路面を含む周囲画像を取得する。カメラ１０は、例えばルームミラーに取り付けられ、車両前方の路面を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の路面を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の路面を撮像するものであってもよい。
【００１９】
カメラ１０は、好ましくはリアルタイムに周囲画像を取得し、取得された周囲画像は、道路区画線検出装置１００に供給される。この場合、周囲画像は、適切なフレームレートのストリーム形式で道路区画線検出装置１００に供給されてよい。
【００２０】
道路区画線検出装置１００は、以下詳説する如く、カメラ１０から供給される周囲画像に基づいて、車両周辺の道路区画線を検出する。例えば、車両進行方向前方の路面を撮像するカメラ１０の場合、道路区画線検出装置１００は、車両前方の道路区画線を検出する。道路区画線は、道路上における白線、ボッツドッツ（Botts Dots）、キャッツアイ等を含む。なお、白線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。
【００２１】
図２は、ボッツドッツ及びキャッツアイの説明図である。ボッツドッツ５１は、主として北米で用いられる区画線であり、例えばセラミックからなる、直径１００mm程度の立体状の円盤を複数並べて、路面に埋め込んだものである（図２（ａ））。一方、キャッツアイ５３は、略矩形状に形成された反射体を複数並べた区画線であり、入射光を同一の方向に反射する特性を有している（図２（ｂ））。キャッツアイ５３のみから構成される区画線は、例えば、日本では、高速道路以外のカーブ道路等で使用されており、北米では、カーブ道路だけでなく、直線道路でも使用されている。ボッツドッツ５１及びキャッツアイ５３は、いずれも路面から僅かに突出した状態で配設されている。
【００２２】
道路区画線検出装置１００による道路区画線の検出結果は、車線に沿った車両走行を支援する各種車載システムに用いられうる。
【００２３】
例えば、図１に示す例では、道路区画線検出装置１００には、車両の走行支援を行う走行支援ECU３０が通信回線を介して接続されている。道路区画線検出装置１００は、道路区画線の検出結果を走行支援ECU３０に通信回線を介して送信する。
【００２４】
走行支援ECU３０は、車両LAN（Local Area Network）等の通信回線３３に接続されている。また、車両LAN３３には、ステアリングに付与されるアシスト力を制御する電動パワーステアリングECU（EMPS−ECU）３５が接続されている。さらに、車両LAN３３には、エンジンを統合的に制御するエンジンECU（EFI−ECU）３７と、メータパネルの表示等を制御するメータECU３９とが接続されている。これら走行支援ECU３０、EMPS−ECU３５、EFI−ECU３７、メータECU３９は、車両LAN３３を介して、CANプロトコル等に基づいた、双方向のデータ通信を行う。
【００２５】
EMPS−ECU３５には、ステアリングにアシスト力を付与する電動モータ等のステアリングアクチュエータ３５ａが接続されている。EMPS−ECU３５は、走行支援ECU３０から送信されたトルク値（電流値）に基づいて、ステアリングアクチュエータ３５ａを駆動、制御する。
【００２６】
EFI−ECU３７には、車速を検出する車速センサ３７ａと、ステアリングの操舵角を検出する操舵角センサ３７ｂが接続されている。車速センサ３７ａにより検出された車速、および操舵角センサ３７ｂにより検出された操舵角は、EFI−ECU３７および車両LAN３３を介して、走行支援ECU３０に送信される。
【００２７】
走行支援ECU３０は、道路区画線検出装置１００から通信回線を介して送信された道路区画線の検出結果と運転者の運転状況と基づいて、その後の車両の位置を予測し、自車両が区画線を逸脱するおそれがあると判断した場合に、警報信号をメータECU３９に送信する（車線逸脱制御）。メータECU３９は、走行支援ECU３０からの警報信号を受信すると、ブザー３９ａに警告音を発生させ、及び／又は警告ランプ３９ｂを点灯させる。
【００２８】
また、走行支援ECU３０は、道路区画線検出装置１００から通信回線を介して送信された道路区画線の検出結果に基づいて、自車両の推定位置を算出する。さらに、走行支援ECU３０は、算出された自車両の推定位置と、車速センサ３７ａにより検出された車速と、操舵角センサ３７ｂにより検出された操舵角と、に基づいて、自車両が区画線の略中央を走行する為に必要とするアシスト操舵力（電流値）を算出し、EMPS−ECU３５に送信する（車線維持制御）。EMPS−ECU３５は、走行支援ECU３０から送信されたアシスト操舵力に基づいて、ステアリングアクチュエータ３５ａを制御する。道路区画線の検出結果は、車線逸脱制御や車線維持制御等に用いることができる。本実施例によれば、後述の如く高い精度で道路区画線を検出することができるので、これら各制御を高精度に行うことが可能となる。
【００２９】
図３は、本実施例による道路区画線検出装置１００の主要部を示す機能ブロック図である。道路区画線検出装置１００のハードウェア構成としては、マイクロコンピュータを中心に構成されている。従って、道路区画線検出装置１００は、所与の実行プログラムに従って各種処理を行うCPU、このCPUの実行プログラムを格納するROM、画像データ、演算結果等を格納する読書き可能なRAM（Random Access Memory）、タイマ、カウンタ、入出力インターフェイス等を有している。これらCPU、ROM、RAM、及び入出力インターフェイスは、データバスにより相互に接続されている。尚、以下で説明する道路区画線検出装置１００の各部は、CPUによって実行されるプログラムによって実現される。
【００３０】
道路区画線検出装置１００は、図３に示すように、特徴点抽出部１０２、ノイズ除去部１０４、道路区画線検出部１０６、及び、閾値設定部１０８を含む。図３に示す各部１０２等の処理は、周囲画像のフレーム毎に実行される。即ち、随時供給ないし読み出される周囲画像の各フレームに対して、原則的に、それぞれ独立に実行される(もっとも、後述の如く、標準偏差閾値ＳＤＴＨの設定方法等については、フレーム間で相関性がありうる。)。以下、各部の処理について詳説する。
【００３１】
特徴点抽出部１０２は、周囲画像内の特徴点を抽出する。特徴点抽出方法は、多種多様であるが、特徴点抽出部１０２は、好ましくは、モルフォロジー演算により特徴点を抽出する。モルフォロジー演算によれば、予め設定された構造要素Ｂを使用した集合論的操作により、元画像（濃淡画像）から特定の幾何学的構造をもった要素のみを選択的に抽出することができる。また、ノイズとの判別が困難な上述のボッツドッツ及びキャッツアイ等の点状の道路区間線を、比較的容易に検出することができる。
【００３２】
ここでは、好ましい実施例として、モルフォロジー演算により特徴点抽出処理が実行される場合について説明する。尚、モルフォロジー演算については、例えば「モルフォロジー」（コロナ社）等に詳述されている。
【００３３】
特徴点抽出部１０２には、上述の如く取得される周囲画像が入力される。この際、周囲画像は、光学系に起因する輝度ムラを除去する為にシェーディング補正された後、グレースケール化されてよい。例えば、２５６階調のグレースケール画像（濃淡画像）とされてよい。以下、かくして入力される周囲画像の濃淡画像を、「入力画像」と称する。
【００３４】
特徴点抽出部１０２は、所定の構造要素Ｂに基づいて、入力画像に対して収縮処理（Erosion）を行って収縮画像を生成し、生成された収縮画像に対して膨張処理（Dilation）を行ってOpening画像を生成する。次いで、特徴点抽出部１０２は、トップハット変換処理により、入力画像からOpening画像を差引いた差分画像を生成する(図５参照)。
【００３５】
モルフォロジー演算に用いる構造要素Ｂは、検出対象の道路区間線に応じて適切に設定される。即ち、構造要素Ｂの大きさは、得られる差分画像において検出対象の道路区間線とそれよりも小さいノイズのみが残存するように、決定される。
【００３６】
ここでは、ノイズとの判別が困難な上述のボッツドッツ及びキャッツアイ等の点状の道路区間線を検出する例として、検出対象物がボッツドッツである場合について説明する。尚、ボッツドッツ及びキャッツアイは、いずれも非常に小さい為、入力画像上では略同一の特性を持った写り方をする。したがって、ボッツドッツ及びキャッツアイのような点状の道路区間線は、同様の態様で検出可能である。
【００３７】
ボッツドッツの大きさは、見かけ上、「点のような状態」から「横方向へ数ピクセルの幅を持つ」場合まで変化する。トップハット変換の性質は、「構造要素Bよりも小さいものを残す」ことが基本となる為、構造要素Bの大きさをボッツドッツの大きさである１０ｃｍ+αとすれば、見かけ上１０ｃｍ以下に見えた場合でも対処できる。αの大きさは実際の実験によって設定されるが、ノイズ等の不要物に係る特徴点が残存しないように、大き過ぎない適度な大きさに設定するのが好ましい。
【００３８】
図４は、モルフォロジー演算処理を説明するための概念図であり、図４（ａ）は、入力画像の横方向の任意の１ライン（走査線）上の輝度分布を表す。即ち、図４（ａ）は、入力画像の画素列の輝度分布信号ｆ（ｘ）を示す（ｘは、横方向の画素位置を示す）。本例では、図４（ａ）に示すように、走査線上に、横幅６ピクセルの白線、２ピクセル（pixel）のノイズ、および３ピクセルのボッツドッツが含まれているものとする。また、構造要素Bは、例えば高さが１ピクセル、横幅が５ピクセルとする。
【００３９】
図４（ｂ）は、収縮画像の上記走査線上の輝度分布を破線にて示し、入力画像の輝度分布信号ｆ（ｘ）を参考として実線にて示す。即ち、図４（ｂ）は、収縮処理後の輝度分布信号を破線にて示す。収縮処理は、注目画素を中心とした、マスクサイズ幅（構造要素Ｂに応じて決定される値であって、本例では２．５ピクセル）の範囲内の最小値を探索する処理である。従って、収縮処理により、マスクサイズ（５ピクセル）よりも小さいノイズ及びボッツドッツが消去され、白線を表す幅が収縮される。
【００４０】
図４（ｃ）は、opening画像の上記走査線上の輝度分布を破線にて示し、入力画像の輝度分布信号ｆ（ｘ）を参考として実線にて示す。opening処理は収縮処理後に膨張処理を行なう処理、すなわち最小値の探索の後に最大値を探索する処理である。従って、膨張処理により、白線を表す幅が復元されるが、ノイズ及びボッツドッツは消去されたままで、復元されない。
【００４１】
図４（ｄ）は、差分画像の上記走査線上の輝度分布を実線にて示す。即ち、図４（ｃ）は、トップハット変換処理後の輝度分布信号を実線にて示す。入力画像の輝度分布信号ｆ（ｘ）から、opening処理後の輝度分布信号を差分すると、図４（ｄ）に示す如く、構造要素Bよりも大きい白線（点線）に係る輝度分布信号が消去され、構造要素Bよりも小さいノイズおよびボッツドッツのみに係る輝度分布信号が得られることが分かる。特徴点抽出部１０２は、差分画像における所定輝度レベル以上の画素の点を、特徴点として抽出する。これにより、白線のような構造要素Bよりも大きい物体に係る特徴点が除去され、ノイズおよびボッツドッツに係る特徴点のみが抽出されることになる。
【００４２】
尚、上記説明では、高さが１ピクセル、横幅が５ピクセルの一次元構造要素Bを用いているが、例えば、ボッツドッツよりも大きい円形（例えば、直径が４ピクセル）の構造要素（２次元構造要素）Bを用いてもよい。１次元構造要素を用いた場合、ボッツドッツの横幅と等しい補修痕、轍（わだち）の筋、雨の筋等が存在した場合であっても、形状が全く異なるにもかかわらず、除去できない場合がある。さらに、横幅が同じである為、トップハット変換処理を行っても、これら不要物は残存する。しかしながら、このような状況下においても、２次元の構造要素Bを用いれば容易に、上記のような不要物を区別することができる。
【００４３】
また、走査線の方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、モルフォロジー演算処理は、入力画像の全領域を認識対象領域として、当該認識対象領域内の全走査ラインに対して実行されてもよいが、予測可能な路面の領域を認識対象領域として限定してもよい。この場合、差分画像は、入力画像よりも全画素数が少なくなる。また、路面領域のうちの車両に近い領域を認識対象領域として限定してもよい。これは、ボッツドッツは直径が１０ｃｍしかない為、遠い領域になるとほとんど見えなくなってしまうことを考慮して、１０ｃｍのボッツドッツがノイズとの識別が困難なピクセルサイズ（例えば２ピクセル以下）となる領域での無駄な処理を省くためである。
【００４４】
ノイズ除去部１０４は、特徴点抽出部１０２により抽出された特徴点に含まれるノイズを除去する。即ち、ノイズ除去部１０４は、差分画像内に含まれるボッツドッツ以外の要素(主にノイズ）の成分を除去する。
【００４５】
具体的には、ノイズ除去部１０４は、差分画像（認識対象領域）を幾つかの着目領域に分割し、着目領域毎に、輝度レベルのばらつき度合い(散らばり度合い)を算出し、算出したばらつき度合いが標準偏差閾値ＳＤＴＨより大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する。
【００４６】
図５は、差分画像に対する着目領域の設定態様の一例を示す。尚、図５に示す例では、認識対象領域は、右斜め方向に延びる道路に対応して略平行四辺形状に設定されており、認識対象領域には、上述の如くボッツドッツとノイズとが混在している。着目領域は、図５に示すように矩形の区域で設定されてもよいし、他の形状の区域で設定されてもよい。また、着目領域は、１走査線上の領域であってもよい。但し、着目領域は、好ましくは、ばらつき度合いが適切に評価されるように、ボッツドッツを表す画素数よりも大きなサイズを有することが望ましい。ばらつき度合いの算出に用いる画素数(標本数)は、差分画像の全画素数やボッツドッツを表す画素数等に依存するが、例えば１００画素程度であってよい。
【００４７】
本例では、ばらつき度合いは、輝度レベルの標準偏差として算出される。但し、標準偏差に代えて分散や平均偏差等の統計量が用いられてもよい。また、ばらつき度合いは、好ましくは、着目領域に含まれる全画素の輝度レベルに基づいて導出されるが、着目領域に含まれる画素の幾つかを適切に間引きしてから導出されてもよい。
【００４８】
例えば、ある１着目領域が、Ｎ個の画素ｉ（ｉ＝１，．．．Ｎ）を有し、各画素ｉ（ｉ＝１，．．．Ｎ）の輝度レベルＬｉである場合、当該１着目領域に対する分散Φは、当該着目領域の各画素ｉ（ｉ＝１，．．．Ｎ）の輝度レベルＬｉの平均値Ｌavを用いて、
Φ＝１／Ｎ{（Ｌ１―Ｌav）２＋（Ｌ２―Ｌav）２＋．．．＋（ＬＮ―Ｌav）２}で表される。従って、１着目領域に対する標準偏差ＳＤは、ＳＤ＝Φ1/2で表される。以下、着目領域がＭ個あるとして、各着目領域Ｒｉ（ｉ＝１，．．．Ｍ）における標準偏差を、それぞれ記号ＳＤｉ（ｉ＝１，．．．Ｍ）で表す。
【００４９】
ここで、図５に示す着目領域Ｒ２のように、着目領域にボッツドッツを表す画素が含まれる場合、図５に示す着目領域Ｒ１のように、着目領域にノイズのみが含まれる場合に比べて、標準偏差が有意に大きくなる。即ち、ＳＤ２＞ＳＤ１となる。本実施例では、この点に着目し、適切な標準偏差閾値ＳＤＴＨを設定して、ボッツドッツを含む着目領域と、ボッツドッツを含まない着目領域とを判別する。標準偏差閾値ＳＤＴＨは、差分画像の解像度やボッツドッツのサイズ（画素数）等を考慮して適切に決定される。標準偏差閾値ＳＤＴＨは、後述の閾値設定部１０８により設定される。標準偏差閾値ＳＤＴＨは、固定であってもよいが、好ましくは後述のように後述の閾値設定部１０８により可変される。
【００５０】
ノイズ除去部１０４は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨ以下となる着目領域Ｒｉ(例えば図５に示す着目領域Ｒ１)に対しては、当該着目領域Ｒｉにはノイズ成分のみが含まれると判断して、当該着目領域Ｒｉ内の全特徴点を除去・廃棄する。また、ノイズ除去部１０４は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい着目領域Ｒｉ(例えば図５に示す着目領域Ｒ２)に対しては、当該着目領域Ｒｉにはボッツドッツに係る特徴点が含まれると判断して、当該着目領域Ｒｉ内の特徴点を維持する。
【００５１】
図６は、ノイズ除去部１０４による上述のノイズ除去処理後の差分画像を示す。図6に示すように、ノイズ除去処理後には、図５に示す着目領域Ｒ１のような輝度レベルの標準偏差が小さい着目領域における全特徴点が除去される。これにより、ノイズ除去処理後には、図５に示す着目領域Ｒ２のような輝度レベルの標準偏差が大きい着目領域における特徴点のみが残される。即ち、ボッツドッツが含まれると判断された着目領域における特徴点のみが残される。
【００５２】
道路区画線検出部１０６は、上述の如くノイズ除去部１０４によるノイズ除去処理後の差分画像の特徴点に基づいて、ボッツドッツに係る特徴点を検出する。即ち、道路区画線検出部１０６は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい着目領域Ｒｉ内で、ボッツドッツに係る特徴点を検出する。ここで、上述の如く、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい着目領域Ｒｉ内においても、ボッツドッツ以外にノイズ成分が依然として残りうるが、ノイズの輝度がボッツドッツの輝度より低い場合は、例えば所定のフィルタ閾値により容易にノイズ成分を除去することができる。一方、ノイズの輝度がボッツドッツの輝度より高い場合は、直線状に並ぶパターンのみを検出するハフ（Hough）変換等により、ボッツドッツに係る特徴点のみを容易に検出することができる。
【００５３】
道路区画線検出部１０６は、ボッツドッツに係る特徴点として検出した特徴点に基づいて、特徴点リストを生成して出力する。特徴点リストは、ここでは詳説しないが、それに基づいてボッツドッツの位置や方向(車線方向)の把握が可能であるので、上述の如く道路区画線の検出結果として走行支援ECU３０により利用されることになる。
【００５４】
閾値設定部１０８は、ノイズ除去部１０４による上述の標準偏差ＳＤｉによる閾値判定処理で用いられる標準偏差閾値ＳＤＴＨを、設定する。本例では、閾値設定部１０８は、入力画像上のノイズ成分の出現態様が1フレーム間では大きく変化しないことに着目して、次回のフレームに対する標準偏差閾値ＳＤＴＨを設定する。尚、1フレーム目の入力画像に対する標準偏差閾値ＳＤＴＨは、適切な初期値(例えば６)が設定されてよい。
【００５５】
具体的には、閾値設定部１０８は、認識対象領域全体での輝度レベルの標準偏差の平均値ＳＤＡＶを用いて、以下の式により標準偏差閾値ＳＤＴＨを決定して設定する。
ＳＤＴＨ＝ＳＤＡＶ＋β
ここで、βは補正項であり、固定値であってよく、或いは、後述の如く可変値であってもよい。認識対象領域全体の標準偏差の平均値ＳＤＡＶは、ＳＤＡＶ＝１／Ｍ（ＳＤ１＋ＳＤ２＋．．．＋ＳＤＭ）で表される。尚、認識対象領域全体の標準偏差の平均値ＳＤＡＶは、認識対象領域全体に含まれる全画素の輝度レベルに基づく標準偏差であってもよい。
【００５６】
ところで、周囲光が少ない暗いシーンにおいては、ボッツドッツに関わる画素の輝度レベルが小さくなり、それに伴って、ボッツドッツの画素が含まれる着目領域の標準偏差が小さくなる。しかしながら、かかる場合には、認識対象領域全体の標準偏差の平均値ＳＤＡＶが小さくなるので、それに伴って、設定される標準偏差閾値ＳＤＴＨも小さい値となる。
【００５７】
このように本実施例によれば、入力画像(差分画像)全体の輝度レベルのばらつき度合いを用いて、標準偏差閾値ＳＤＴＨを設定するので、車両の周囲環境によって入力画像)全体の輝度レベルが全体的に変化した場合であっても、適切な標準偏差閾値ＳＤＴＨによりボッツドッツに係る特徴点を精度良く検出することができる。
【００５８】
本実施例において、標準偏差閾値ＳＤＴＨを設定するのに用いる補正項βは、入力画像の状態に応じて動的に変化する可変値であってもよい。例えば、補正項βは、ノイズ除去部１０４によるノイズ除去処理後の差分画像に含まれる特徴点の数に応じて、変化されてもよい。この場合、閾値設定部１０８は、特徴点の数が所定数以上の場合(特徴点が多い場合)、標準偏差閾値ＳＤＴＨが最適値よりも小さいと判断して、補正項βを大きくする。一方、閾値設定部１０８は、特徴点の数が所定数より小さい場合(特徴点が少ない場合)、標準偏差閾値ＳＤＴＨが最適値よりも大きいと判断して、補正項βを小さくする。このように、補正項βを入力画像の状態に応じて変化させることで、常に最適な標準偏差閾値ＳＤＴＨを設定することができ、その結果、ノイズ除去部１０４によるより適切なノイズ除去を実現することができる。
【００５９】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００６０】
例えば、上述した実施例では、今回のフレームの入力画像に基づいて設定された標準偏差閾値ＳＤＴＨを、次回のフレームに係るノイズ除去処理に用いているが、今回のフレームの入力画像に基づいて設定された標準偏差閾値ＳＤＴＨを、今回のフレームに係るノイズ除去処理に用いることも可能である。即ち、ノイズ除去部１０４によるノイズ除去処理の前段に、標準偏差閾値ＳＤＴＨ（平均値ＳＤＡＶ）を演算・設定し、当該標準偏差閾値ＳＤＴＨを用いてノイズ除去部１０４によるノイズ除去処理（閾値判定処理）を実行してもよい。或いは、ノイズ除去部１０４によるノイズ除去処理の前段で、差分画像の認識対象領域全体に含まれる全画素の輝度レベルに基づく標準偏差を算出し、当該算出した標準偏差を平均値ＳＤＡＶとして用いることとしてもよい。
【００６１】
また、上述した実施例では、認識対象領域全体の標準偏差の平均値ＳＤＡＶに基づいて、標準偏差閾値ＳＤＴＨを決定しているが、ボッツドッツが存在すると判定された着目領域を除く認識対象領域全体の標準偏差の平均値ＳＤ’ＡＶに基づいて、標準偏差閾値ＳＤＴＨを決定してもよい。例えば、着目領域ＳＤ２にボッツドッツが存在すると判定された場合、ＳＤ’ＡＶ＝１／Ｍ（ＳＤ１＋ＳＤ３＋．．．＋ＳＤＭ）で表される標準偏差の平均値に基づいて、標準偏差閾値ＳＤＴＨを決定してもよい。
【００６２】
また、上述した実施例は、上述の如く、ボッツドッツよりも大きい物体（例えば白線）とボッツドッツが混在する道路上において、白線やノイズを適切に除去しつつ、ボッツドッツを高精度に検出するものであるが、同一のタイプの道路区間線（例えば白線）のみが存在する道路上であれば、当該道路区間線に応じた適切な構造要素を設定し、同様のノイズ除去処理を実行することで、当該道路区間線を高精度に検出することが可能である。
【００６３】
また、上述した実施例は、ボッツドッツ等のような、通常の白線よりもサイズ（幅）が小さい道路区間線を検出するのに適した処理に関するものであるが、サイズが小さい白線であれば、それに応じた適切な構造要素を設定することで高精度に検出可能である。
【００６４】
また、上述した実施例は、ボッツドッツよりも大きい物体に係る特徴点を、モルフォロジー演算により適切に除去しているが、他の方法により除去してもよい。例えば、パターンマッチングやラインエッジ処理により白線が認識可能な場合には、当該認識結果に基づいて白線を除去し、当該白線が除去された画像に対して上述のノイズ除去処理を実行することで、白線やノイズを適切に除去しつつ、ボッツドッツを高精度に検出することができる。
【００６５】
また、上述した実施例では、輝度レベルのばらつきを利用してボッツドッツ等を高精度に検出するものであるが、カラー画像を入力画像として用い、色相や彩度を表す信号レベルのばらつきを利用してボッツドッツ等を高精度に検出することも可能である。例えば、色相レベルの標準偏差を用いる場合には、同様の態様で、色相レベルの標準偏差に対する適切な標準偏差閾値ＳＤＴＨを設定すればよい。
【図面の簡単な説明】
【００６６】
【図１】本発明による道路区画線検出装置の一実施例を含むシステム構成図である。
【図２】ボッツドッツ及びキャッツアイの説明図である。
【図３】本実施例による道路区画線検出装置１００の主要部を示す機能ブロック図である。
【図４】モルフォロジー演算処理を説明するための概念図である。
【図５】差分画像に対する着目領域の設定態様の一例を示す図である。
【図６】ノイズ除去部１０４による上述のノイズ除去処理後の差分画像を示す図である。
【符号の説明】
【００６７】
１０ カメラ
３０ 走行支援ECU
１００ 道路区画線検出装置
１０２ 特徴点抽出部
１０４ ノイズ除去部
１０６ 道路区画線検出部
１０８ 閾値設定部
【特許請求の範囲】
【請求項１】
車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定手段と、
前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定手段とを備え、
道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出することを特徴とする、道路区間線検出装置。
【請求項２】
前記着目領域は、複数個設定され、前記判定手段は、着目領域毎に前記判定を行う、請求項１に記載の道路区間線検出装置。
【請求項３】
前記閾値設定手段は、各着目領域に対して算出されたばらつき度合いの平均値に基づいて、前記閾値を設定する、請求項２に記載の道路区間線検出装置。
【請求項４】
前記閾値設定手段は、道路区間線の特徴点が存在すると判定された着目領域内の特徴点の数に基づいて、前記閾値を設定する、請求項１〜３のいずれかに記載の道路区間線検出装置。
【請求項５】
前記周囲画像は、フレーム毎に処理され、
前記閾値設定手段により設定された閾値は、次フレームの周囲画像に対する前記判定手段による判定に用いられる、請求項１〜４のいずれかに記載の道路区間線検出装置。
【請求項６】
前記信号レベルのばらつき度合いは、モルフォロジー演算処理後の周囲画像に基づいて算出される、請求項１〜５のいずれかに記載の道路区間線検出装置。
【請求項７】
前記道路区間線は、間隔をおいて点状に設けられる類の道路区画線である、請求項１〜６のいずれかに記載の道路区間線検出装置。
【請求項８】
車両から撮像手段が撮像した路面を含む周囲画像を取得するステップと、
周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定ステップと、
前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定ステップと、
道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出するステップとを含むことを特徴とする、道路区間線検出方法。
【請求項９】
コンピューターをして、次の各処理（１）〜（３）を含む道路区間線検出処理を実行させるコンピューター読み取り可能なプログラム。
（１）車両から撮像手段が撮像した路面を含む周囲画像を取得する処理、
（２）周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する処理、及び、
（３）道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出する処理。
【請求項１】
車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定手段と、
前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定手段とを備え、
道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出することを特徴とする、道路区間線検出装置。
【請求項２】
前記着目領域は、複数個設定され、前記判定手段は、着目領域毎に前記判定を行う、請求項１に記載の道路区間線検出装置。
【請求項３】
前記閾値設定手段は、各着目領域に対して算出されたばらつき度合いの平均値に基づいて、前記閾値を設定する、請求項２に記載の道路区間線検出装置。
【請求項４】
前記閾値設定手段は、道路区間線の特徴点が存在すると判定された着目領域内の特徴点の数に基づいて、前記閾値を設定する、請求項１〜３のいずれかに記載の道路区間線検出装置。
【請求項５】
前記周囲画像は、フレーム毎に処理され、
前記閾値設定手段により設定された閾値は、次フレームの周囲画像に対する前記判定手段による判定に用いられる、請求項１〜４のいずれかに記載の道路区間線検出装置。
【請求項６】
前記信号レベルのばらつき度合いは、モルフォロジー演算処理後の周囲画像に基づいて算出される、請求項１〜５のいずれかに記載の道路区間線検出装置。
【請求項７】
前記道路区間線は、間隔をおいて点状に設けられる類の道路区画線である、請求項１〜６のいずれかに記載の道路区間線検出装置。
【請求項８】
車両から撮像手段が撮像した路面を含む周囲画像を取得するステップと、
周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する判定ステップと、
前記着目領域よりも大きな領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、前記閾値を設定する閾値設定ステップと、
道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出するステップとを含むことを特徴とする、道路区間線検出方法。
【請求項９】
コンピューターをして、次の各処理（１）〜（３）を含む道路区間線検出処理を実行させるコンピューター読み取り可能なプログラム。
（１）車両から撮像手段が撮像した路面を含む周囲画像を取得する処理、
（２）周囲画像の着目領域における信号レベルのばらつき度合いを算出し、算出したばらつき度合いが閾値より大きいか否かに基づいて、該着目領域内に、道路区間線の特徴点が存在するか否かを判定する処理、及び、
（３）道路区間線の特徴点が存在すると判定された着目領域内の特徴点に基づいて、道路区間線を検出する処理。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−２１３１６６（Ｐ２００７−２１３１６６Ａ）
【公開日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【出願番号】特願２００６−３０１６９（Ｐ２００６−３０１６９）
【出願日】平成１８年２月７日（２００６．２．７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１９年８月２３日（２００７．８．２３）
【国際特許分類】
【出願日】平成１８年２月７日（２００６．２．７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]