道路区間線検出装置及び方法並びにプログラム
【課題】ノイズの影響を受け難い態様で、道路区間線を高精度に検出すること。
【解決手段】本発明による道路区画線検出装置は、車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段１０と、処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する判定手段１０４とを備え、道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出することを特徴とする。
【解決手段】本発明による道路区画線検出装置は、車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段１０と、処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する判定手段１０４とを備え、道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路区間線を検出する道路区画線検出装置及び方法並びにプログラムに関する。
【背景技術】
【０００２】
従来から、車両に搭載されて車両前方を撮影する撮像手段と、前記撮像手段により撮像された画像の輝度変化に基づいて、レーンマーカ認識処理を行う第１のレーンマーカ認識手段と、前記撮像手段により撮像された画像と所定のテンプレートとのパターンマッチングにより、レーンマーカ認識処理を行う第２のレーンマーカ認識手段と、車両前方に光信号を送出する信号送出手段と、前記信号送出手段から送出された光信号の反射信号を受信する信号受信手段と、前記信号受信手段により受信した反射信号の受信量に基づいて、前記第１のレーンマーカ認識手段および前記第２のレーンマーカ認識手段のうちのいずれか一方を選択する選択手段とを備えることを特徴とするレーンマーカ認識装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００４−１３９３３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、一般的に、道路区間線は、上記の従来技術のように、画像中に含まれる道路区画線に関わる画素の信号レベルと、それ以外の領域の画素の信号レベルとの差(例えば輝度差)に基づいて、検出される。しかしながら、単に信号レベルの差のみに着目するだけでは、ノイズの影響を適切に除去することができない虞がある。
【０００４】
そこで、本発明は、ノイズの影響を受け難い態様で、道路区間線を高精度に検出することができる道路区画線検出装置及び方法並びにプログラムの提供を目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、第１の発明に係る道路区間線検出装置は、車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する判定手段とを備え、
道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出することを特徴とする。
【０００６】
第２の発明に係る道路区間線検出装置は、車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
処理ブロック毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ブロック内に、道路区間線の特徴点が存在するか否かを判定する判定手段とを備え、
道路区間線の特徴点が存在すると判定された処理ブロック内の特徴点に基づいて、道路区間線を検出することを特徴とする。
【０００７】
第３の発明は、第１又は２の発明に係る道路区間線検出装置において、
前記信号レベルのばらつき度合いが所定基準値より大きい場合は、道路区間線の特徴点が存在すると判定することを特徴とする。
【０００８】
第４の発明は、第１〜３のいずれかの発明に係る道路区間線検出装置において、
前記信号レベルのばらつき度合いは、モルフォロジー演算処理後の周囲画像に基づいて算出されることを特徴とする。
【０００９】
第５の発明は、第１〜４のいずれかの発明に係る道路区間線検出装置において、
前記信号レベルのばらつき度合いは、処理ライン上又は処理ブロック内における信号レベルの標準偏差又は分散で表されることを特徴とする。
【００１０】
第６の発明は、第１〜５のいずれかの発明に係る道路区間線検出装置において、
前記道路区間線は、間隔をおいて点状に設けられる類の道路区画線であることを特徴とする。
【００１１】
上記目的を達成するため、第７の発明に係る道路区間線検出方法は、車両から撮像手段が撮像した路面を含む周囲画像を取得するステップと、
処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する判定ステップと、
道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出するステップとを含むことを特徴とする。
【００１２】
上記目的を達成するため、第８の発明に係るコンピューター読み取り可能なプログラムは、コンピューターをして、
（１）車両から撮像手段が撮像した路面を含む周囲画像を取得する処理、
（２）処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する処理、及び、
（３）道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出する処理を含む道路区間線検出処理を実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、ノイズの影響を受け難い態様で、道路区間線を高精度に検出することができる道路区画線検出装置及び方法並びにプログラムが得られる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１５】
図１は、本発明による道路区画線検出装置の一実施例を含むシステム構成図である。本実施例の道路区画線検出装置１００には、車両から路面を含む風景を撮像するカメラ１０が接続される。カメラ１０は、ＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えば５００万画素を有する路面を含む周囲画像を取得する。カメラ１０は、例えばルームミラーに取り付けられ、車両前方の路面を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の路面を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の路面を撮像するものであってもよい。
【００１６】
カメラ１０は、好ましくはリアルタイムに周囲画像を取得し、取得された周囲画像は、道路区画線検出装置１００に供給される。この場合、周囲画像は、適切なフレームレートのストリーム形式で道路区画線検出装置１００に供給されてよい。
【００１７】
道路区画線検出装置１００は、以下詳説する如く、カメラ１０から供給される周囲画像に基づいて、車両周辺の道路区画線を検出する。例えば、車両進行方向前方の路面を撮像するカメラ１０の場合、道路区画線検出装置１００は、車両前方の道路区画線を検出する。道路区画線は、道路上における白線、ボッツドッツ（Botts Dots）、キャッツアイ等を含む。なお、白線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。
【００１８】
図２は、ボッツドッツ及びキャッツアイの説明図である。ボッツドッツ５１は、主として北米で用いられる区画線であり、例えばセラミックからなる、直径１００mm程度の立体状の円盤を複数並べて、路面に埋め込んだものである（図２（ａ））。一方、キャッツアイ５３は、略矩形状に形成された反射体を複数並べた区画線であり、入射光を同一の方向に反射する特性を有している（図２（ｂ））。キャッツアイ５３のみから構成される区画線は、例えば、日本では、高速道路以外のカーブ道路等で使用されており、北米では、カーブ道路だけでなく、直線道路でも使用されている。ボッツドッツ５１及びキャッツアイ５３は、いずれも路面から僅かに突出した状態で配設されている。
【００１９】
道路区画線検出装置１００による道路区画線の検出結果は、車線に沿った車両走行を支援する各種車載システムに用いられうる。
【００２０】
例えば、図１に示す例では、道路区画線検出装置１００には、車両の走行支援を行う走行支援ECU３０が通信回線を介して接続されている。道路区画線検出装置１００は、道路区画線の検出結果を走行支援ECU３０に通信回線を介して送信する。
【００２１】
走行支援ECU３０は、車両LAN（Local Area Network）等の通信回線３３に接続されている。また、車両LAN３３には、ステアリングに付与されるアシスト力を制御する電動パワーステアリングECU（EMPS−ECU）３５が接続されている。さらに、車両LAN３３には、エンジンを統合的に制御するエンジンECU（EFI−ECU）３７と、メータパネルの表示等を制御するメータECU３９とが接続されている。これら走行支援ECU３０、EMPS−ECU３５、EFI−ECU３７、メータECU３９は、車両LAN３３を介して、CANプロトコル等に基づいた、双方向のデータ通信を行う。
【００２２】
EMPS−ECU３５には、ステアリングにアシスト力を付与する電動モータ等のステアリングアクチュエータ３５ａが接続されている。EMPS−ECU３５は、走行支援ECU３０から送信されたトルク値（電流値）に基づいて、ステアリングアクチュエータ３５ａを駆動、制御する。
【００２３】
EFI−ECU３７には、車速を検出する車速センサ３７ａと、ステアリングの操舵角を検出する操舵角センサ３７ｂが接続されている。車速センサ３７ａにより検出された車速、および操舵角センサ３７ｂにより検出された操舵角は、EFI−ECU３７および車両LAN３３を介して、走行支援ECU３０に送信される。
【００２４】
走行支援ECU３０は、道路区画線検出装置１００から通信回線を介して送信された道路区画線の検出結果と運転者の運転状況と基づいて、その後の車両の位置を予測し、自車両が区画線を逸脱するおそれがあると判断した場合に、警報信号をメータECU３９に送信する（車線逸脱制御）。メータECU３９は、走行支援ECU３０からの警報信号を受信すると、ブザー３９ａに警告音を発生させ、及び／又は警告ランプ３９ｂを点灯させる。
【００２５】
また、走行支援ECU３０は、道路区画線検出装置１００から通信回線を介して送信された道路区画線の検出結果に基づいて、自車両の推定位置を算出する。さらに、走行支援ECU３０は、算出された自車両の推定位置と、車速センサ３７ａにより検出された車速と、操舵角センサ３７ｂにより検出された操舵角と、に基づいて、自車両が区画線の略中央を走行する為に必要とするアシスト操舵力（電流値）を算出し、EMPS−ECU３５に送信する（車線維持制御）。EMPS−ECU３５は、走行支援ECU３０から送信されたアシスト操舵力に基づいて、ステアリングアクチュエータ３５ａを制御する。道路区画線の検出結果は、車線逸脱制御や車線維持制御等に用いることができる。本実施例によれば、後述の如く高い精度で道路区画線を検出することができるので、これら各制御を高精度に行うことが可能となる。
【００２６】
図３は、本実施例による道路区画線検出装置１００の主要部を示す機能ブロック図である。道路区画線検出装置１００のハードウェア構成としては、マイクロコンピュータを中心に構成されている。従って、道路区画線検出装置１００は、所与の実行プログラムに従って各種処理を行うCPU、このCPUの実行プログラムを格納するROM、画像データ、演算結果等を格納する読書き可能なRAM（Random Access Memory）、タイマ、カウンタ、入出力インターフェイス等を有している。これらCPU、ROM、RAM、及び入出力インターフェイスは、データバスにより相互に接続されている。尚、以下で説明する道路区画線検出装置１００の各部は、CPUによって実行されるプログラムによって実現される。
【００２７】
道路区画線検出装置１００は、図３に示すように、特徴点抽出部１０２、ノイズ除去部１０４、及び、道路区画線検出部１０６を含む。図３に示す各部１０２等の処理は、周囲画像のフレーム毎に実行される。即ち、随時供給ないし読み出される周囲画像の各フレームに対して、原則的に、それぞれ独立に実行される(もっとも、後述の如く、標準偏差閾値ＳＤＴＨの設定方法等については、フレーム間で相関性がありうる。)。以下、各部の処理について詳説する。
【００２８】
特徴点抽出部１０２は、周囲画像内の特徴点を抽出する。特徴点抽出方法は、多種多様であるが、特徴点抽出部１０２は、好ましくは、モルフォロジー演算により特徴点を抽出する。モルフォロジー演算によれば、予め設定された構造要素Ｂを使用した集合論的操作により、元画像（濃淡画像）から特定の幾何学的構造をもった要素のみを選択的に抽出することができる。また、ノイズとの判別が困難な上述のボッツドッツ及びキャッツアイ等の点状の道路区間線を、比較的容易に検出することができる。
【００２９】
ここでは、好ましい実施例として、モルフォロジー演算により特徴点抽出処理が実行される場合について説明する。尚、モルフォロジー演算については、例えば「モルフォロジー」（コロナ社）等に詳述されている。
【００３０】
特徴点抽出部１０２には、上述の如く取得される周囲画像が入力される。この際、周囲画像は、光学系に起因する輝度ムラを除去する為にシェーディング補正された後、グレースケール化されてよい。例えば、２５６階調のグレースケール画像（濃淡画像）とされてよい。以下、かくして入力される周囲画像の濃淡画像を、「入力画像」と称する。
【００３１】
特徴点抽出部１０２は、所定の構造要素Ｂに基づいて、入力画像に対して収縮処理（Erosion）を行って収縮画像を生成し、生成された収縮画像に対して膨張処理（Dilation）を行ってOpening画像を生成する。次いで、特徴点抽出部１０２は、トップハット変換処理により、入力画像からOpening画像を差引いた差分画像を生成する(図５（Ａ）参照)。
【００３２】
モルフォロジー演算に用いる構造要素Ｂは、検出対象の道路区間線に応じて適切に設定される。即ち、構造要素Ｂの大きさは、得られる差分画像において検出対象の道路区間線とそれよりも小さいノイズのみが残存するように、決定される。
【００３３】
ここでは、ノイズとの判別が困難な上述のボッツドッツ及びキャッツアイ等の点状の道路区間線を検出する例として、検出対象物がボッツドッツである場合について説明する。尚、ボッツドッツ及びキャッツアイは、いずれも非常に小さい為、入力画像上では略同一の特性を持った写り方をする。したがって、ボッツドッツ及びキャッツアイのような点状の道路区間線は、同様の態様で検出可能である。
【００３４】
ボッツドッツの大きさは、見かけ上、「点のような状態」から「横方向へ数ピクセルの幅を持つ」場合まで変化する。トップハット変換の性質は、「構造要素Bよりも小さいものを残す」ことが基本となる為、構造要素Bの大きさをボッツドッツの大きさである１０ｃｍ+αとすれば、見かけ上１０ｃｍ以下に見えた場合でも対処できる。αの大きさは実際の実験によって設定されるが、ノイズ等の不要物に係る特徴点が残存しないように、大き過ぎない適度な大きさに設定するのが好ましい。例えば、１０ｃｍが５ピクセルとすると、それよりも大きい幅７ピクセル程度の構造要素Bを設定する。尚、
図４は、モルフォロジー演算処理を説明するための概念図であり、図４（ａ）は、入力画像の横方向の任意の１ライン（走査線）上の輝度分布を表す。即ち、図４（ａ）は、入力画像の画素列の輝度分布信号ｆ（ｘ）を示す（ｘは、横方向の画素位置を示す）。本例では、図４（ａ）に示すように、走査線上に、横幅６ピクセルの白線、２ピクセル（pixel）のノイズ、および３ピクセルのボッツドッツが含まれているものとする。また、構造要素Bは、例えば高さが１ピクセル、横幅が５ピクセルとする。
【００３５】
図４（ｂ）は、収縮画像の上記走査線上の輝度分布を破線にて示し、入力画像の輝度分布信号ｆ（ｘ）を参考として実線にて示す。即ち、図４（ｂ）は、収縮処理後の輝度分布信号を破線にて示す。収縮処理は、注目画素を中心とした、マスクサイズ幅（構造要素Ｂに応じて決定される値であって、本例では２．５ピクセル）の範囲内の最小値を探索する処理である。従って、収縮処理により、マスクサイズ（５ピクセル）よりも小さいノイズ及びボッツドッツが消去され、白線を表す幅が収縮される。
【００３６】
図４（ｃ）は、opening画像の上記走査線上の輝度分布を破線にて示し、入力画像の輝度分布信号ｆ（ｘ）を参考として実線にて示す。opening処理は収縮処理後に膨張処理を行なう処理、すなわち最小値の探索の後に最大値を探索する処理である。従って、膨張処理により、白線を表す幅が復元されるが、ノイズ及びボッツドッツは消去されたままで、復元されない。
【００３７】
図４（ｄ）は、差分画像の上記走査線上の輝度分布を実線にて示す。即ち、図４（ｃ）は、トップハット変換処理後の輝度分布信号を実線にて示す。入力画像の輝度分布信号ｆ（ｘ）から、opening処理後の輝度分布信号を差分すると、図４（ｄ）に示す如く、構造要素Bよりも大きい白線（点線）に係る輝度分布信号が消去され、構造要素Bよりも小さいノイズおよびボッツドッツのみに係る輝度分布信号が得られることが分かる。特徴点抽出部１０２は、差分画像における所定輝度レベル以上の画素の点を、特徴点として抽出する。これにより、白線のような構造要素Bよりも大きい物体に係る特徴点が除去され、ノイズおよびボッツドッツに係る特徴点のみが抽出されることになる。
【００３８】
尚、上記説明では、高さが１ピクセル、横幅が５ピクセルの一次元構造要素Bを用いているが、例えば、ボッツドッツよりも大きい円形（例えば、直径が４ピクセル）の構造要素（２次元構造要素）Bを用いてもよい。１次元構造要素を用いた場合、ボッツドッツの横幅と等しい補修痕、轍（わだち）の筋、雨の筋等が存在した場合であっても、形状が全く異なるにもかかわらず、除去できない場合がある。さらに、横幅が同じである為、トップハット変換処理を行っても、これら不要物は残存する。しかしながら、このような状況下においても、２次元の構造要素Bを用いれば容易に、上記のような不要物を区別することができる。
【００３９】
また、走査線の方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、モルフォロジー演算処理は、入力画像の全領域を認識対象領域として、当該認識対象領域内の全走査ラインに対して実行されてもよいが、予測可能な路面の領域を認識対象領域として限定してもよい。この場合、差分画像は、入力画像よりも全画素数が少なくなる。また、路面領域のうちの車両に近い領域を認識対象領域として限定してもよい。これは、ボッツドッツは直径が１０ｃｍしかない為、遠い領域になるとほとんど見えなくなってしまうことを考慮して、１０ｃｍのボッツドッツがノイズとの識別が困難なピクセルサイズ（例えば２ピクセル以下）となる領域での無駄な処理を省くためである。
【００４０】
ノイズ除去部１０４は、特徴点抽出部１０２により抽出された特徴点に含まれるノイズを除去する。即ち、ノイズ除去部１０４は、差分画像内に含まれるボッツドッツ以外の要素(主にノイズ）の成分を除去する。以下、ノイズ除去処理の好ましい実施例について、２つの実施例に分けて説明する。
【実施例１】
【００４１】
実施例１によるノイズ除去部１０４は、差分画像（認識対象領域）を幾つかの処理ブロックに分割し、処理ブロック毎に、輝度レベルのばらつき度合い(散らばり度合い)を算出し、算出したばらつき度合いが標準偏差閾値ＳＤＴＨより大きいか否かに基づいて、該処理ブロック内に、道路区間線の特徴点が存在するか否かを判定する。
【００４２】
図５（Ａ）は、差分画像に対する処理ブロックの設定態様の一例を示す。尚、図５（Ａ）に示す例では、認識対象領域は、右斜め方向に延びる道路に対応して略平行四辺形状に設定されており、認識対象領域には、上述の如くボッツドッツとノイズとが混在している。処理ブロックは、図５（Ａ）に示すように矩形の区域で設定されてもよいし、他の形状の区域で設定されてもよい。処理ブロックの大きさは、例えば５×２０画素程度であってよい。尚、各処理ブロックは、同じサイズであっても、異なるサイズであってもよい。
【００４３】
本例では、ばらつき度合いは、輝度レベルの標準偏差として算出される。但し、標準偏差に代えて分散や平均偏差等の統計量が用いられてもよい。また、ばらつき度合いは、好ましくは、処理ブロックに含まれる全画素の輝度レベルに基づいて導出されるが、処理ブロックに含まれる画素の幾つかを適切に間引きしてから導出されてもよい。
【００４４】
例えば、ある１処理ブロックが、Ｎ個の画素ｉ（ｉ＝１，．．．Ｎ）を有し、各画素ｉ（ｉ＝１，．．．Ｎ）の輝度レベルＬｉである場合、当該１処理ブロックに対する分散Φは、当該処理ブロックの各画素ｉ（ｉ＝１，．．．Ｎ）の輝度レベルＬｉの平均値Ｌavを用いて、
Φ＝１／Ｎ{（Ｌｉ―Ｌav）２＋（Ｌ２―Ｌav）２＋．．．＋（ＬＮ―Ｌav）２}で表される。従って、１処理ブロックに対する標準偏差ＳＤは、ＳＤ＝Φ1/2で表される。以下、処理ブロックがＭ個あるとして、各処理ブロックＲｉ（ｉ＝１，．．．Ｍ）における標準偏差を、それぞれ記号ＳＤｉ（ｉ＝１，．．．Ｍ）で表す。
【００４５】
ここで、図５（Ａ）に示す処理ブロックＲ２のように、処理ブロックにボッツドッツを表す画素が含まれる場合、図５（Ａ）に示す処理ブロックＲ１のように、処理ブロックにノイズのみが含まれる場合に比べて、標準偏差が大きくなる。即ち、ＳＤ２＞ＳＤ１となる。本実施例では、この点に着目し、標準偏差閾値ＳＤＴＨを用いて、ボッツドッツを含む処理ブロックと、ボッツドッツを含まない処理ブロックとを判別する。
【００４６】
標準偏差閾値ＳＤＴＨは、差分画像の解像度やボッツドッツのサイズ（画素数）等を考慮して適切に決定される。例えば、標準偏差閾値ＳＤＴＨは、認識対象領域全体での輝度レベルの標準偏差の平均値ＳＤＡＶを用いて、以下の式により決定されてよい。
ＳＤＴＨ＝ＳＤＡＶ＋ａ
ここで、ａは補正項であり、固定値であってよく、或いは、可変値であってもよい。認識対象領域全体の標準偏差の平均値ＳＤＡＶは、ＳＤＡＶ＝１／Ｍ（ＳＤ１＋ＳＤ２＋．．．＋ＳＤＭ）で表される。このようにして算出される標準偏差閾値ＳＤＴＨは、入力画像上のノイズ成分の出現態様が1フレーム間では大きく変化しないことに着目して、次回のフレームに対する判定処理に利用されるものであってよい。この場合、1フレーム目の入力画像に対する標準偏差閾値ＳＤＴＨは、適切な初期値(例えば６)が設定されてよい。尚、認識対象領域全体の標準偏差の平均値ＳＤＡＶは、認識対象領域全体に含まれる全画素の輝度レベルに基づく標準偏差であってもよい。
【００４７】
ノイズ除去部１０４は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨ以下となる処理ブロックＲｉ(例えば図５（Ａ）に示す処理ブロックＲ１)に対しては、当該処理ブロックＲｉにはノイズ成分のみが含まれると判断して、当該処理ブロックＲｉ内の全特徴点を除去・廃棄する。また、ノイズ除去部１０４は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい処理ブロックＲｉ(例えば図５（Ａ）に示す処理ブロックＲ２)に対しては、当該処理ブロックＲｉにはボッツドッツに係る特徴点が含まれると判断して、当該処理ブロックＲｉ内の特徴点を維持する。
【００４８】
図５（Ｂ）は、ノイズ除去部１０４による上述のノイズ除去処理後の差分画像を示す。図５（Ｂ）に示すように、ノイズ除去処理後には、図５（Ａ）に示す処理ブロックＲ１のような、輝度レベルの標準偏差が小さい処理ブロックにおける全特徴点が除去される。これにより、ノイズ除去処理後には、図５（Ａ）に示す処理ブロックＲ２のような、輝度レベルの標準偏差が大きい処理ブロックにおける特徴点のみが残される。即ち、ボッツドッツが含まれると判断された処理ブロックにおける特徴点のみが残される。
【００４９】
道路区画線検出部１０６は、上述の如くノイズ除去部１０４によるノイズ除去処理後の差分画像の特徴点に基づいて、ボッツドッツに係る特徴点を検出する。即ち、道路区画線検出部１０６は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい処理ブロックＲｉ内で、ボッツドッツに係る特徴点を検出する。ここで、上述の如く、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい処理ブロックＲｉ内においても、ボッツドッツ以外にノイズ成分が依然として残りうるが、ノイズの輝度がボッツドッツの輝度より低い場合は、例えば所定のフィルタ閾値により容易にノイズ成分を除去することができる。一方、ノイズの輝度がボッツドッツの輝度より高い場合は、直線状に並ぶパターンのみを検出するハフ（Hough）変換等により、ボッツドッツに係る特徴点のみを容易に検出することができる。
【００５０】
道路区画線検出部１０６は、ボッツドッツに係る特徴点として検出した特徴点に基づいて、特徴点リストを生成して出力する。特徴点リストは、ここでは詳説しないが、それに基づいてボッツドッツの位置や方向(車線方向)の把握が可能であるので、上述の如く道路区画線の検出結果として走行支援ECU３０により利用されることになる。
【００５１】
このように本実施例１よれば、認識対象領域をブロック単位に分割し、ブロック毎に標準偏差を評価して、ノイズ除去処理が実行されるので、ノイズとの識別が困難なボッツドッツに係る特徴点を精度よく検出することができる。
【実施例２】
【００５２】
実施例２によるノイズ除去部１０４は、差分画像（認識対象領域）に対して処理ラインを設定する。処理ラインは、認識対象領域内の１列の画素列毎に設定され、上述の走査ラインと同一であってよい。但し、走査ラインと同様、処理ラインの方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。
【００５３】
図６（Ａ）は、差分画像に対する処理ラインの設定態様の一例を示す。図６（Ａ）に示す例では、認識対象領域は、右斜め方向に延びる道路に対応して略平行四辺形状に設定されており、認識対象領域には、上述の如くボッツドッツとノイズとが混在している。尚、各処理ラインの画素数は、同じであっても、異なってもよい。また、処理ラインは、必ずしも認識対象領域内の全画素列に対して画素列毎に設定される必要はなく、認識対象領域内の適切に選択された画素列毎に設定されてもよい。
【００５４】
ノイズ除去部１０４は、処理ライン毎に、輝度レベルのばらつき度合い(散らばり度合い)を算出し、算出したばらつき度合いが標準偏差閾値ＳＤＴＨより大きいか否かに基づいて、該処理ライン上に、道路区間線の特徴点が存在するか否かを判定する。ばらつき度合いは、上述の実施例１と同様、輝度レベルの標準偏差であってよい。
【００５５】
例えば、ある１処理ライン上に、Ｎ’個の画素ｉ（ｉ＝１，．．．Ｎ’）が存在し、各画素ｉ（ｉ＝１，．．．Ｎ’）の輝度レベルＬｉである場合、当該１処理ラインに対する分散Φは、当該１処理ラインの各画素ｉ（ｉ＝１，．．．Ｎ’）の輝度レベルＬｉの平均値Ｌav’を用いて、
Φ＝１／Ｎ’{（Ｌ１―Ｌav’）２＋（Ｌ２―Ｌav’）２＋．．．＋（ＬＮ’―Ｌav’）２}で表される。従って、１処理ラインに対する標準偏差ＳＤは、ＳＤ＝Φ1/2で表される。以下、処理ラインがＭ個設定されるとして、各処理ラインＰｉ（ｉ＝１，．．．Ｍ’）における標準偏差を、それぞれ記号ＳＤｉ（ｉ＝１，．．．Ｍ’）で表す。
【００５６】
ここで、図６（Ａ）に示す処理ラインＰ２のように、処理ライン上にボッツドッツを表す画素が含まれる場合、図６（Ａ）に示す処理ラインＰ１のように、処理ライン上にノイズのみが含まれる場合に比べて、標準偏差が大きくなる。即ち、ＳＤ２＞ＳＤ１となる。本実施例では、この点に着目し、標準偏差閾値ＳＤＴＨを用いて、ボッツドッツを含む処理ラインと、ボッツドッツを含まない処理ラインとを判別する。標準偏差閾値ＳＤＴＨは、差分画像の解像度やボッツドッツの画素幅等を考慮して適切に決定される。例えば、標準偏差閾値ＳＤＴＨは、上述の実施例１と同様、認識対象領域全体での輝度レベルの標準偏差の平均値ＳＤＡＶを用いて決定されてよい。
【００５７】
ノイズ除去部１０４は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨ以下となる処理ラインＰｉ(例えば図６（Ａ）に示す処理ラインＰ１)に対しては、当該処理ラインＰｉにはノイズ成分のみが含まれると判断して、当該処理ラインＰｉ内の全特徴点を除去・廃棄する。また、ノイズ除去部１０４は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい処理ラインＰｉ(例えば図６（Ａ）に示す処理ラインＰ２)に対しては、当該処理ラインＰｉにはボッツドッツに係る特徴点が含まれると判断して、当該処理ラインＰｉ内の特徴点を維持する。
【００５８】
図６（Ｂ）は、ノイズ除去部１０４による上述のノイズ除去処理後の差分画像を示す。図６（Ｂ）に示すように、ノイズ除去処理後には、図６（Ａ）に示す処理ラインＰ１のような、輝度レベルの標準偏差が小さい処理ラインにおける全特徴点が除去される。これにより、ノイズ除去処理後には、図６（Ａ）に示す処理ラインＰ２のような、輝度レベルの標準偏差が大きい処理ラインにおける特徴点のみが残される。即ち、ボッツドッツが含まれると判断された処理ラインにおける特徴点のみが残される。
【００５９】
以下、実施例１と同様、道路区画線検出部１０６は、上述の如くノイズ除去部１０４によるノイズ除去処理後の差分画像の特徴点に基づいて、ボッツドッツに係る特徴点を検出して、特徴点リストを出力する。
【００６０】
このように本実施例２よれば、認識対象領域をライン単位に分割し、ライン毎に標準偏差を評価して、ノイズ除去処理が実行されるので、ノイズとの識別が困難なボッツドッツに係る特徴点を精度よく検出することができる。
【００６１】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００６２】
例えば、上述した実施例は、上述の如く、ボッツドッツよりも大きい物体（例えば白線）とボッツドッツが混在する道路上において、白線やノイズを適切に除去しつつ、ボッツドッツを高精度に検出するものであるが、同一のタイプの道路区間線（例えば白線）のみが存在する道路上であれば、当該道路区間線に応じた適切な構造要素を設定し、同様のノイズ除去処理を実行することで、当該道路区間線を高精度に検出することが可能である。
【００６３】
また、上述した実施例は、ボッツドッツ等のような、通常の白線よりもサイズ（幅）が小さい道路区間線を検出するのに適した処理に関するものであるが、サイズが小さい白線であれば、それに応じた適切な構造要素を設定することで高精度に検出可能である。
【００６４】
また、上述した実施例は、ボッツドッツよりも大きい物体に係る特徴点を、モルフォロジー演算により適切に除去しているが、他の方法により除去してもよい。例えば、パターンマッチングやラインエッジ処理により白線が認識可能な場合には、当該認識結果に基づいて白線を除去し、当該白線が除去された画像に対して上述のノイズ除去処理を実行することで、白線やノイズを適切に除去しつつ、ボッツドッツを高精度に検出することができる。
【００６５】
また、上述した実施例では、輝度レベルのばらつきを利用してボッツドッツ等を高精度に検出するものであるが、カラー画像を入力画像として用い、色相や彩度を表す信号レベルのばらつきを利用してボッツドッツ等を高精度に検出することも可能である。
【図面の簡単な説明】
【００６６】
【図１】本発明による道路区画線検出装置の一実施例を含むシステム構成図である。
【図２】ボッツドッツ及びキャッツアイの説明図である。
【図３】本実施例による道路区画線検出装置１００の主要部を示す機能ブロック図である。
【図４】モルフォロジー演算処理を説明するための概念図である。
【図５】ブロック単位でのノイズ除去処理の説明図である。
【図６】ライン単位でのノイズ除去処理の説明図である。
【符号の説明】
【００６７】
１０ カメラ
３０ 走行支援ECU
１００ 道路区画線検出装置
１０２ 特徴点抽出部
１０４ ノイズ除去部
１０６ 道路区画線検出部
【技術分野】
【０００１】
本発明は、道路区間線を検出する道路区画線検出装置及び方法並びにプログラムに関する。
【背景技術】
【０００２】
従来から、車両に搭載されて車両前方を撮影する撮像手段と、前記撮像手段により撮像された画像の輝度変化に基づいて、レーンマーカ認識処理を行う第１のレーンマーカ認識手段と、前記撮像手段により撮像された画像と所定のテンプレートとのパターンマッチングにより、レーンマーカ認識処理を行う第２のレーンマーカ認識手段と、車両前方に光信号を送出する信号送出手段と、前記信号送出手段から送出された光信号の反射信号を受信する信号受信手段と、前記信号受信手段により受信した反射信号の受信量に基づいて、前記第１のレーンマーカ認識手段および前記第２のレーンマーカ認識手段のうちのいずれか一方を選択する選択手段とを備えることを特徴とするレーンマーカ認識装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００４−１３９３３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、一般的に、道路区間線は、上記の従来技術のように、画像中に含まれる道路区画線に関わる画素の信号レベルと、それ以外の領域の画素の信号レベルとの差(例えば輝度差)に基づいて、検出される。しかしながら、単に信号レベルの差のみに着目するだけでは、ノイズの影響を適切に除去することができない虞がある。
【０００４】
そこで、本発明は、ノイズの影響を受け難い態様で、道路区間線を高精度に検出することができる道路区画線検出装置及び方法並びにプログラムの提供を目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、第１の発明に係る道路区間線検出装置は、車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する判定手段とを備え、
道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出することを特徴とする。
【０００６】
第２の発明に係る道路区間線検出装置は、車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
処理ブロック毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ブロック内に、道路区間線の特徴点が存在するか否かを判定する判定手段とを備え、
道路区間線の特徴点が存在すると判定された処理ブロック内の特徴点に基づいて、道路区間線を検出することを特徴とする。
【０００７】
第３の発明は、第１又は２の発明に係る道路区間線検出装置において、
前記信号レベルのばらつき度合いが所定基準値より大きい場合は、道路区間線の特徴点が存在すると判定することを特徴とする。
【０００８】
第４の発明は、第１〜３のいずれかの発明に係る道路区間線検出装置において、
前記信号レベルのばらつき度合いは、モルフォロジー演算処理後の周囲画像に基づいて算出されることを特徴とする。
【０００９】
第５の発明は、第１〜４のいずれかの発明に係る道路区間線検出装置において、
前記信号レベルのばらつき度合いは、処理ライン上又は処理ブロック内における信号レベルの標準偏差又は分散で表されることを特徴とする。
【００１０】
第６の発明は、第１〜５のいずれかの発明に係る道路区間線検出装置において、
前記道路区間線は、間隔をおいて点状に設けられる類の道路区画線であることを特徴とする。
【００１１】
上記目的を達成するため、第７の発明に係る道路区間線検出方法は、車両から撮像手段が撮像した路面を含む周囲画像を取得するステップと、
処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する判定ステップと、
道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出するステップとを含むことを特徴とする。
【００１２】
上記目的を達成するため、第８の発明に係るコンピューター読み取り可能なプログラムは、コンピューターをして、
（１）車両から撮像手段が撮像した路面を含む周囲画像を取得する処理、
（２）処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する処理、及び、
（３）道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出する処理を含む道路区間線検出処理を実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、ノイズの影響を受け難い態様で、道路区間線を高精度に検出することができる道路区画線検出装置及び方法並びにプログラムが得られる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１５】
図１は、本発明による道路区画線検出装置の一実施例を含むシステム構成図である。本実施例の道路区画線検出装置１００には、車両から路面を含む風景を撮像するカメラ１０が接続される。カメラ１０は、ＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により、例えば５００万画素を有する路面を含む周囲画像を取得する。カメラ１０は、例えばルームミラーに取り付けられ、車両前方の路面を撮像するものであってもよいし、例えばサイドミラーに取り付けられ、車両側方の路面を撮像するものであってもよいし、例えばバックドアに取り付けられ、車両後方の路面を撮像するものであってもよい。
【００１６】
カメラ１０は、好ましくはリアルタイムに周囲画像を取得し、取得された周囲画像は、道路区画線検出装置１００に供給される。この場合、周囲画像は、適切なフレームレートのストリーム形式で道路区画線検出装置１００に供給されてよい。
【００１７】
道路区画線検出装置１００は、以下詳説する如く、カメラ１０から供給される周囲画像に基づいて、車両周辺の道路区画線を検出する。例えば、車両進行方向前方の路面を撮像するカメラ１０の場合、道路区画線検出装置１００は、車両前方の道路区画線を検出する。道路区画線は、道路上における白線、ボッツドッツ（Botts Dots）、キャッツアイ等を含む。なお、白線には、黄色線等の任意の色の線、実線、破線、点線、二重線等の道路を区画するあらゆる線を含んでよい。
【００１８】
図２は、ボッツドッツ及びキャッツアイの説明図である。ボッツドッツ５１は、主として北米で用いられる区画線であり、例えばセラミックからなる、直径１００mm程度の立体状の円盤を複数並べて、路面に埋め込んだものである（図２（ａ））。一方、キャッツアイ５３は、略矩形状に形成された反射体を複数並べた区画線であり、入射光を同一の方向に反射する特性を有している（図２（ｂ））。キャッツアイ５３のみから構成される区画線は、例えば、日本では、高速道路以外のカーブ道路等で使用されており、北米では、カーブ道路だけでなく、直線道路でも使用されている。ボッツドッツ５１及びキャッツアイ５３は、いずれも路面から僅かに突出した状態で配設されている。
【００１９】
道路区画線検出装置１００による道路区画線の検出結果は、車線に沿った車両走行を支援する各種車載システムに用いられうる。
【００２０】
例えば、図１に示す例では、道路区画線検出装置１００には、車両の走行支援を行う走行支援ECU３０が通信回線を介して接続されている。道路区画線検出装置１００は、道路区画線の検出結果を走行支援ECU３０に通信回線を介して送信する。
【００２１】
走行支援ECU３０は、車両LAN（Local Area Network）等の通信回線３３に接続されている。また、車両LAN３３には、ステアリングに付与されるアシスト力を制御する電動パワーステアリングECU（EMPS−ECU）３５が接続されている。さらに、車両LAN３３には、エンジンを統合的に制御するエンジンECU（EFI−ECU）３７と、メータパネルの表示等を制御するメータECU３９とが接続されている。これら走行支援ECU３０、EMPS−ECU３５、EFI−ECU３７、メータECU３９は、車両LAN３３を介して、CANプロトコル等に基づいた、双方向のデータ通信を行う。
【００２２】
EMPS−ECU３５には、ステアリングにアシスト力を付与する電動モータ等のステアリングアクチュエータ３５ａが接続されている。EMPS−ECU３５は、走行支援ECU３０から送信されたトルク値（電流値）に基づいて、ステアリングアクチュエータ３５ａを駆動、制御する。
【００２３】
EFI−ECU３７には、車速を検出する車速センサ３７ａと、ステアリングの操舵角を検出する操舵角センサ３７ｂが接続されている。車速センサ３７ａにより検出された車速、および操舵角センサ３７ｂにより検出された操舵角は、EFI−ECU３７および車両LAN３３を介して、走行支援ECU３０に送信される。
【００２４】
走行支援ECU３０は、道路区画線検出装置１００から通信回線を介して送信された道路区画線の検出結果と運転者の運転状況と基づいて、その後の車両の位置を予測し、自車両が区画線を逸脱するおそれがあると判断した場合に、警報信号をメータECU３９に送信する（車線逸脱制御）。メータECU３９は、走行支援ECU３０からの警報信号を受信すると、ブザー３９ａに警告音を発生させ、及び／又は警告ランプ３９ｂを点灯させる。
【００２５】
また、走行支援ECU３０は、道路区画線検出装置１００から通信回線を介して送信された道路区画線の検出結果に基づいて、自車両の推定位置を算出する。さらに、走行支援ECU３０は、算出された自車両の推定位置と、車速センサ３７ａにより検出された車速と、操舵角センサ３７ｂにより検出された操舵角と、に基づいて、自車両が区画線の略中央を走行する為に必要とするアシスト操舵力（電流値）を算出し、EMPS−ECU３５に送信する（車線維持制御）。EMPS−ECU３５は、走行支援ECU３０から送信されたアシスト操舵力に基づいて、ステアリングアクチュエータ３５ａを制御する。道路区画線の検出結果は、車線逸脱制御や車線維持制御等に用いることができる。本実施例によれば、後述の如く高い精度で道路区画線を検出することができるので、これら各制御を高精度に行うことが可能となる。
【００２６】
図３は、本実施例による道路区画線検出装置１００の主要部を示す機能ブロック図である。道路区画線検出装置１００のハードウェア構成としては、マイクロコンピュータを中心に構成されている。従って、道路区画線検出装置１００は、所与の実行プログラムに従って各種処理を行うCPU、このCPUの実行プログラムを格納するROM、画像データ、演算結果等を格納する読書き可能なRAM（Random Access Memory）、タイマ、カウンタ、入出力インターフェイス等を有している。これらCPU、ROM、RAM、及び入出力インターフェイスは、データバスにより相互に接続されている。尚、以下で説明する道路区画線検出装置１００の各部は、CPUによって実行されるプログラムによって実現される。
【００２７】
道路区画線検出装置１００は、図３に示すように、特徴点抽出部１０２、ノイズ除去部１０４、及び、道路区画線検出部１０６を含む。図３に示す各部１０２等の処理は、周囲画像のフレーム毎に実行される。即ち、随時供給ないし読み出される周囲画像の各フレームに対して、原則的に、それぞれ独立に実行される(もっとも、後述の如く、標準偏差閾値ＳＤＴＨの設定方法等については、フレーム間で相関性がありうる。)。以下、各部の処理について詳説する。
【００２８】
特徴点抽出部１０２は、周囲画像内の特徴点を抽出する。特徴点抽出方法は、多種多様であるが、特徴点抽出部１０２は、好ましくは、モルフォロジー演算により特徴点を抽出する。モルフォロジー演算によれば、予め設定された構造要素Ｂを使用した集合論的操作により、元画像（濃淡画像）から特定の幾何学的構造をもった要素のみを選択的に抽出することができる。また、ノイズとの判別が困難な上述のボッツドッツ及びキャッツアイ等の点状の道路区間線を、比較的容易に検出することができる。
【００２９】
ここでは、好ましい実施例として、モルフォロジー演算により特徴点抽出処理が実行される場合について説明する。尚、モルフォロジー演算については、例えば「モルフォロジー」（コロナ社）等に詳述されている。
【００３０】
特徴点抽出部１０２には、上述の如く取得される周囲画像が入力される。この際、周囲画像は、光学系に起因する輝度ムラを除去する為にシェーディング補正された後、グレースケール化されてよい。例えば、２５６階調のグレースケール画像（濃淡画像）とされてよい。以下、かくして入力される周囲画像の濃淡画像を、「入力画像」と称する。
【００３１】
特徴点抽出部１０２は、所定の構造要素Ｂに基づいて、入力画像に対して収縮処理（Erosion）を行って収縮画像を生成し、生成された収縮画像に対して膨張処理（Dilation）を行ってOpening画像を生成する。次いで、特徴点抽出部１０２は、トップハット変換処理により、入力画像からOpening画像を差引いた差分画像を生成する(図５（Ａ）参照)。
【００３２】
モルフォロジー演算に用いる構造要素Ｂは、検出対象の道路区間線に応じて適切に設定される。即ち、構造要素Ｂの大きさは、得られる差分画像において検出対象の道路区間線とそれよりも小さいノイズのみが残存するように、決定される。
【００３３】
ここでは、ノイズとの判別が困難な上述のボッツドッツ及びキャッツアイ等の点状の道路区間線を検出する例として、検出対象物がボッツドッツである場合について説明する。尚、ボッツドッツ及びキャッツアイは、いずれも非常に小さい為、入力画像上では略同一の特性を持った写り方をする。したがって、ボッツドッツ及びキャッツアイのような点状の道路区間線は、同様の態様で検出可能である。
【００３４】
ボッツドッツの大きさは、見かけ上、「点のような状態」から「横方向へ数ピクセルの幅を持つ」場合まで変化する。トップハット変換の性質は、「構造要素Bよりも小さいものを残す」ことが基本となる為、構造要素Bの大きさをボッツドッツの大きさである１０ｃｍ+αとすれば、見かけ上１０ｃｍ以下に見えた場合でも対処できる。αの大きさは実際の実験によって設定されるが、ノイズ等の不要物に係る特徴点が残存しないように、大き過ぎない適度な大きさに設定するのが好ましい。例えば、１０ｃｍが５ピクセルとすると、それよりも大きい幅７ピクセル程度の構造要素Bを設定する。尚、
図４は、モルフォロジー演算処理を説明するための概念図であり、図４（ａ）は、入力画像の横方向の任意の１ライン（走査線）上の輝度分布を表す。即ち、図４（ａ）は、入力画像の画素列の輝度分布信号ｆ（ｘ）を示す（ｘは、横方向の画素位置を示す）。本例では、図４（ａ）に示すように、走査線上に、横幅６ピクセルの白線、２ピクセル（pixel）のノイズ、および３ピクセルのボッツドッツが含まれているものとする。また、構造要素Bは、例えば高さが１ピクセル、横幅が５ピクセルとする。
【００３５】
図４（ｂ）は、収縮画像の上記走査線上の輝度分布を破線にて示し、入力画像の輝度分布信号ｆ（ｘ）を参考として実線にて示す。即ち、図４（ｂ）は、収縮処理後の輝度分布信号を破線にて示す。収縮処理は、注目画素を中心とした、マスクサイズ幅（構造要素Ｂに応じて決定される値であって、本例では２．５ピクセル）の範囲内の最小値を探索する処理である。従って、収縮処理により、マスクサイズ（５ピクセル）よりも小さいノイズ及びボッツドッツが消去され、白線を表す幅が収縮される。
【００３６】
図４（ｃ）は、opening画像の上記走査線上の輝度分布を破線にて示し、入力画像の輝度分布信号ｆ（ｘ）を参考として実線にて示す。opening処理は収縮処理後に膨張処理を行なう処理、すなわち最小値の探索の後に最大値を探索する処理である。従って、膨張処理により、白線を表す幅が復元されるが、ノイズ及びボッツドッツは消去されたままで、復元されない。
【００３７】
図４（ｄ）は、差分画像の上記走査線上の輝度分布を実線にて示す。即ち、図４（ｃ）は、トップハット変換処理後の輝度分布信号を実線にて示す。入力画像の輝度分布信号ｆ（ｘ）から、opening処理後の輝度分布信号を差分すると、図４（ｄ）に示す如く、構造要素Bよりも大きい白線（点線）に係る輝度分布信号が消去され、構造要素Bよりも小さいノイズおよびボッツドッツのみに係る輝度分布信号が得られることが分かる。特徴点抽出部１０２は、差分画像における所定輝度レベル以上の画素の点を、特徴点として抽出する。これにより、白線のような構造要素Bよりも大きい物体に係る特徴点が除去され、ノイズおよびボッツドッツに係る特徴点のみが抽出されることになる。
【００３８】
尚、上記説明では、高さが１ピクセル、横幅が５ピクセルの一次元構造要素Bを用いているが、例えば、ボッツドッツよりも大きい円形（例えば、直径が４ピクセル）の構造要素（２次元構造要素）Bを用いてもよい。１次元構造要素を用いた場合、ボッツドッツの横幅と等しい補修痕、轍（わだち）の筋、雨の筋等が存在した場合であっても、形状が全く異なるにもかかわらず、除去できない場合がある。さらに、横幅が同じである為、トップハット変換処理を行っても、これら不要物は残存する。しかしながら、このような状況下においても、２次元の構造要素Bを用いれば容易に、上記のような不要物を区別することができる。
【００３９】
また、走査線の方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。また、モルフォロジー演算処理は、入力画像の全領域を認識対象領域として、当該認識対象領域内の全走査ラインに対して実行されてもよいが、予測可能な路面の領域を認識対象領域として限定してもよい。この場合、差分画像は、入力画像よりも全画素数が少なくなる。また、路面領域のうちの車両に近い領域を認識対象領域として限定してもよい。これは、ボッツドッツは直径が１０ｃｍしかない為、遠い領域になるとほとんど見えなくなってしまうことを考慮して、１０ｃｍのボッツドッツがノイズとの識別が困難なピクセルサイズ（例えば２ピクセル以下）となる領域での無駄な処理を省くためである。
【００４０】
ノイズ除去部１０４は、特徴点抽出部１０２により抽出された特徴点に含まれるノイズを除去する。即ち、ノイズ除去部１０４は、差分画像内に含まれるボッツドッツ以外の要素(主にノイズ）の成分を除去する。以下、ノイズ除去処理の好ましい実施例について、２つの実施例に分けて説明する。
【実施例１】
【００４１】
実施例１によるノイズ除去部１０４は、差分画像（認識対象領域）を幾つかの処理ブロックに分割し、処理ブロック毎に、輝度レベルのばらつき度合い(散らばり度合い)を算出し、算出したばらつき度合いが標準偏差閾値ＳＤＴＨより大きいか否かに基づいて、該処理ブロック内に、道路区間線の特徴点が存在するか否かを判定する。
【００４２】
図５（Ａ）は、差分画像に対する処理ブロックの設定態様の一例を示す。尚、図５（Ａ）に示す例では、認識対象領域は、右斜め方向に延びる道路に対応して略平行四辺形状に設定されており、認識対象領域には、上述の如くボッツドッツとノイズとが混在している。処理ブロックは、図５（Ａ）に示すように矩形の区域で設定されてもよいし、他の形状の区域で設定されてもよい。処理ブロックの大きさは、例えば５×２０画素程度であってよい。尚、各処理ブロックは、同じサイズであっても、異なるサイズであってもよい。
【００４３】
本例では、ばらつき度合いは、輝度レベルの標準偏差として算出される。但し、標準偏差に代えて分散や平均偏差等の統計量が用いられてもよい。また、ばらつき度合いは、好ましくは、処理ブロックに含まれる全画素の輝度レベルに基づいて導出されるが、処理ブロックに含まれる画素の幾つかを適切に間引きしてから導出されてもよい。
【００４４】
例えば、ある１処理ブロックが、Ｎ個の画素ｉ（ｉ＝１，．．．Ｎ）を有し、各画素ｉ（ｉ＝１，．．．Ｎ）の輝度レベルＬｉである場合、当該１処理ブロックに対する分散Φは、当該処理ブロックの各画素ｉ（ｉ＝１，．．．Ｎ）の輝度レベルＬｉの平均値Ｌavを用いて、
Φ＝１／Ｎ{（Ｌｉ―Ｌav）２＋（Ｌ２―Ｌav）２＋．．．＋（ＬＮ―Ｌav）２}で表される。従って、１処理ブロックに対する標準偏差ＳＤは、ＳＤ＝Φ1/2で表される。以下、処理ブロックがＭ個あるとして、各処理ブロックＲｉ（ｉ＝１，．．．Ｍ）における標準偏差を、それぞれ記号ＳＤｉ（ｉ＝１，．．．Ｍ）で表す。
【００４５】
ここで、図５（Ａ）に示す処理ブロックＲ２のように、処理ブロックにボッツドッツを表す画素が含まれる場合、図５（Ａ）に示す処理ブロックＲ１のように、処理ブロックにノイズのみが含まれる場合に比べて、標準偏差が大きくなる。即ち、ＳＤ２＞ＳＤ１となる。本実施例では、この点に着目し、標準偏差閾値ＳＤＴＨを用いて、ボッツドッツを含む処理ブロックと、ボッツドッツを含まない処理ブロックとを判別する。
【００４６】
標準偏差閾値ＳＤＴＨは、差分画像の解像度やボッツドッツのサイズ（画素数）等を考慮して適切に決定される。例えば、標準偏差閾値ＳＤＴＨは、認識対象領域全体での輝度レベルの標準偏差の平均値ＳＤＡＶを用いて、以下の式により決定されてよい。
ＳＤＴＨ＝ＳＤＡＶ＋ａ
ここで、ａは補正項であり、固定値であってよく、或いは、可変値であってもよい。認識対象領域全体の標準偏差の平均値ＳＤＡＶは、ＳＤＡＶ＝１／Ｍ（ＳＤ１＋ＳＤ２＋．．．＋ＳＤＭ）で表される。このようにして算出される標準偏差閾値ＳＤＴＨは、入力画像上のノイズ成分の出現態様が1フレーム間では大きく変化しないことに着目して、次回のフレームに対する判定処理に利用されるものであってよい。この場合、1フレーム目の入力画像に対する標準偏差閾値ＳＤＴＨは、適切な初期値(例えば６)が設定されてよい。尚、認識対象領域全体の標準偏差の平均値ＳＤＡＶは、認識対象領域全体に含まれる全画素の輝度レベルに基づく標準偏差であってもよい。
【００４７】
ノイズ除去部１０４は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨ以下となる処理ブロックＲｉ(例えば図５（Ａ）に示す処理ブロックＲ１)に対しては、当該処理ブロックＲｉにはノイズ成分のみが含まれると判断して、当該処理ブロックＲｉ内の全特徴点を除去・廃棄する。また、ノイズ除去部１０４は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい処理ブロックＲｉ(例えば図５（Ａ）に示す処理ブロックＲ２)に対しては、当該処理ブロックＲｉにはボッツドッツに係る特徴点が含まれると判断して、当該処理ブロックＲｉ内の特徴点を維持する。
【００４８】
図５（Ｂ）は、ノイズ除去部１０４による上述のノイズ除去処理後の差分画像を示す。図５（Ｂ）に示すように、ノイズ除去処理後には、図５（Ａ）に示す処理ブロックＲ１のような、輝度レベルの標準偏差が小さい処理ブロックにおける全特徴点が除去される。これにより、ノイズ除去処理後には、図５（Ａ）に示す処理ブロックＲ２のような、輝度レベルの標準偏差が大きい処理ブロックにおける特徴点のみが残される。即ち、ボッツドッツが含まれると判断された処理ブロックにおける特徴点のみが残される。
【００４９】
道路区画線検出部１０６は、上述の如くノイズ除去部１０４によるノイズ除去処理後の差分画像の特徴点に基づいて、ボッツドッツに係る特徴点を検出する。即ち、道路区画線検出部１０６は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい処理ブロックＲｉ内で、ボッツドッツに係る特徴点を検出する。ここで、上述の如く、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい処理ブロックＲｉ内においても、ボッツドッツ以外にノイズ成分が依然として残りうるが、ノイズの輝度がボッツドッツの輝度より低い場合は、例えば所定のフィルタ閾値により容易にノイズ成分を除去することができる。一方、ノイズの輝度がボッツドッツの輝度より高い場合は、直線状に並ぶパターンのみを検出するハフ（Hough）変換等により、ボッツドッツに係る特徴点のみを容易に検出することができる。
【００５０】
道路区画線検出部１０６は、ボッツドッツに係る特徴点として検出した特徴点に基づいて、特徴点リストを生成して出力する。特徴点リストは、ここでは詳説しないが、それに基づいてボッツドッツの位置や方向(車線方向)の把握が可能であるので、上述の如く道路区画線の検出結果として走行支援ECU３０により利用されることになる。
【００５１】
このように本実施例１よれば、認識対象領域をブロック単位に分割し、ブロック毎に標準偏差を評価して、ノイズ除去処理が実行されるので、ノイズとの識別が困難なボッツドッツに係る特徴点を精度よく検出することができる。
【実施例２】
【００５２】
実施例２によるノイズ除去部１０４は、差分画像（認識対象領域）に対して処理ラインを設定する。処理ラインは、認識対象領域内の１列の画素列毎に設定され、上述の走査ラインと同一であってよい。但し、走査ラインと同様、処理ラインの方向は、必ずしも横方向である必要はなく、縦方向又は斜め方向であってもよい。
【００５３】
図６（Ａ）は、差分画像に対する処理ラインの設定態様の一例を示す。図６（Ａ）に示す例では、認識対象領域は、右斜め方向に延びる道路に対応して略平行四辺形状に設定されており、認識対象領域には、上述の如くボッツドッツとノイズとが混在している。尚、各処理ラインの画素数は、同じであっても、異なってもよい。また、処理ラインは、必ずしも認識対象領域内の全画素列に対して画素列毎に設定される必要はなく、認識対象領域内の適切に選択された画素列毎に設定されてもよい。
【００５４】
ノイズ除去部１０４は、処理ライン毎に、輝度レベルのばらつき度合い(散らばり度合い)を算出し、算出したばらつき度合いが標準偏差閾値ＳＤＴＨより大きいか否かに基づいて、該処理ライン上に、道路区間線の特徴点が存在するか否かを判定する。ばらつき度合いは、上述の実施例１と同様、輝度レベルの標準偏差であってよい。
【００５５】
例えば、ある１処理ライン上に、Ｎ’個の画素ｉ（ｉ＝１，．．．Ｎ’）が存在し、各画素ｉ（ｉ＝１，．．．Ｎ’）の輝度レベルＬｉである場合、当該１処理ラインに対する分散Φは、当該１処理ラインの各画素ｉ（ｉ＝１，．．．Ｎ’）の輝度レベルＬｉの平均値Ｌav’を用いて、
Φ＝１／Ｎ’{（Ｌ１―Ｌav’）２＋（Ｌ２―Ｌav’）２＋．．．＋（ＬＮ’―Ｌav’）２}で表される。従って、１処理ラインに対する標準偏差ＳＤは、ＳＤ＝Φ1/2で表される。以下、処理ラインがＭ個設定されるとして、各処理ラインＰｉ（ｉ＝１，．．．Ｍ’）における標準偏差を、それぞれ記号ＳＤｉ（ｉ＝１，．．．Ｍ’）で表す。
【００５６】
ここで、図６（Ａ）に示す処理ラインＰ２のように、処理ライン上にボッツドッツを表す画素が含まれる場合、図６（Ａ）に示す処理ラインＰ１のように、処理ライン上にノイズのみが含まれる場合に比べて、標準偏差が大きくなる。即ち、ＳＤ２＞ＳＤ１となる。本実施例では、この点に着目し、標準偏差閾値ＳＤＴＨを用いて、ボッツドッツを含む処理ラインと、ボッツドッツを含まない処理ラインとを判別する。標準偏差閾値ＳＤＴＨは、差分画像の解像度やボッツドッツの画素幅等を考慮して適切に決定される。例えば、標準偏差閾値ＳＤＴＨは、上述の実施例１と同様、認識対象領域全体での輝度レベルの標準偏差の平均値ＳＤＡＶを用いて決定されてよい。
【００５７】
ノイズ除去部１０４は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨ以下となる処理ラインＰｉ(例えば図６（Ａ）に示す処理ラインＰ１)に対しては、当該処理ラインＰｉにはノイズ成分のみが含まれると判断して、当該処理ラインＰｉ内の全特徴点を除去・廃棄する。また、ノイズ除去部１０４は、標準偏差ＳＤｉが標準偏差閾値ＳＤＴＨよりも大きい処理ラインＰｉ(例えば図６（Ａ）に示す処理ラインＰ２)に対しては、当該処理ラインＰｉにはボッツドッツに係る特徴点が含まれると判断して、当該処理ラインＰｉ内の特徴点を維持する。
【００５８】
図６（Ｂ）は、ノイズ除去部１０４による上述のノイズ除去処理後の差分画像を示す。図６（Ｂ）に示すように、ノイズ除去処理後には、図６（Ａ）に示す処理ラインＰ１のような、輝度レベルの標準偏差が小さい処理ラインにおける全特徴点が除去される。これにより、ノイズ除去処理後には、図６（Ａ）に示す処理ラインＰ２のような、輝度レベルの標準偏差が大きい処理ラインにおける特徴点のみが残される。即ち、ボッツドッツが含まれると判断された処理ラインにおける特徴点のみが残される。
【００５９】
以下、実施例１と同様、道路区画線検出部１０６は、上述の如くノイズ除去部１０４によるノイズ除去処理後の差分画像の特徴点に基づいて、ボッツドッツに係る特徴点を検出して、特徴点リストを出力する。
【００６０】
このように本実施例２よれば、認識対象領域をライン単位に分割し、ライン毎に標準偏差を評価して、ノイズ除去処理が実行されるので、ノイズとの識別が困難なボッツドッツに係る特徴点を精度よく検出することができる。
【００６１】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００６２】
例えば、上述した実施例は、上述の如く、ボッツドッツよりも大きい物体（例えば白線）とボッツドッツが混在する道路上において、白線やノイズを適切に除去しつつ、ボッツドッツを高精度に検出するものであるが、同一のタイプの道路区間線（例えば白線）のみが存在する道路上であれば、当該道路区間線に応じた適切な構造要素を設定し、同様のノイズ除去処理を実行することで、当該道路区間線を高精度に検出することが可能である。
【００６３】
また、上述した実施例は、ボッツドッツ等のような、通常の白線よりもサイズ（幅）が小さい道路区間線を検出するのに適した処理に関するものであるが、サイズが小さい白線であれば、それに応じた適切な構造要素を設定することで高精度に検出可能である。
【００６４】
また、上述した実施例は、ボッツドッツよりも大きい物体に係る特徴点を、モルフォロジー演算により適切に除去しているが、他の方法により除去してもよい。例えば、パターンマッチングやラインエッジ処理により白線が認識可能な場合には、当該認識結果に基づいて白線を除去し、当該白線が除去された画像に対して上述のノイズ除去処理を実行することで、白線やノイズを適切に除去しつつ、ボッツドッツを高精度に検出することができる。
【００６５】
また、上述した実施例では、輝度レベルのばらつきを利用してボッツドッツ等を高精度に検出するものであるが、カラー画像を入力画像として用い、色相や彩度を表す信号レベルのばらつきを利用してボッツドッツ等を高精度に検出することも可能である。
【図面の簡単な説明】
【００６６】
【図１】本発明による道路区画線検出装置の一実施例を含むシステム構成図である。
【図２】ボッツドッツ及びキャッツアイの説明図である。
【図３】本実施例による道路区画線検出装置１００の主要部を示す機能ブロック図である。
【図４】モルフォロジー演算処理を説明するための概念図である。
【図５】ブロック単位でのノイズ除去処理の説明図である。
【図６】ライン単位でのノイズ除去処理の説明図である。
【符号の説明】
【００６７】
１０ カメラ
３０ 走行支援ECU
１００ 道路区画線検出装置
１０２ 特徴点抽出部
１０４ ノイズ除去部
１０６ 道路区画線検出部
【特許請求の範囲】
【請求項１】
車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する判定手段とを備え、
道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出することを特徴とする、道路区間線検出装置。
【請求項２】
車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
処理ブロック毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ブロック内に、道路区間線の特徴点が存在するか否かを判定する判定手段とを備え、
道路区間線の特徴点が存在すると判定された処理ブロック内の特徴点に基づいて、道路区間線を検出することを特徴とする、道路区間線検出装置。
【請求項３】
前記信号レベルのばらつき度合いが所定基準値より大きい場合は、道路区間線の特徴点が存在すると判定する、請求項１又は２に記載の道路区間線検出装置。
【請求項４】
前記信号レベルのばらつき度合いは、モルフォロジー演算処理後の周囲画像に基づいて算出される、請求項１〜３のいずれかに記載の道路区間線検出装置。
【請求項５】
前記信号レベルのばらつき度合いは、処理ライン上又は処理ブロック内における信号レベルの標準偏差又は分散で表される、請求項１〜４のいずれかに記載の道路区間線検出装置。
【請求項６】
前記道路区間線は、間隔をおいて点状に設けられる類の道路区画線である、請求項１〜５のいずれかに記載の道路区間線検出装置。
【請求項７】
車両から撮像手段が撮像した路面を含む周囲画像を取得するステップと、
処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する判定ステップと、
道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出するステップとを含むことを特徴とする、道路区間線検出方法。
【請求項８】
コンピューターをして、次の各処理（１）〜（３）を含む道路区間線検出処理を実行させるコンピューター読み取り可能なプログラム。
（１）車両から撮像手段が撮像した路面を含む周囲画像を取得する処理、
（２）処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する処理、及び、
（３）道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出する処理。
【請求項１】
車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する判定手段とを備え、
道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出することを特徴とする、道路区間線検出装置。
【請求項２】
車両から路面を含む風景を撮像して、周囲画像を取得する撮像手段と、
処理ブロック毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ブロック内に、道路区間線の特徴点が存在するか否かを判定する判定手段とを備え、
道路区間線の特徴点が存在すると判定された処理ブロック内の特徴点に基づいて、道路区間線を検出することを特徴とする、道路区間線検出装置。
【請求項３】
前記信号レベルのばらつき度合いが所定基準値より大きい場合は、道路区間線の特徴点が存在すると判定する、請求項１又は２に記載の道路区間線検出装置。
【請求項４】
前記信号レベルのばらつき度合いは、モルフォロジー演算処理後の周囲画像に基づいて算出される、請求項１〜３のいずれかに記載の道路区間線検出装置。
【請求項５】
前記信号レベルのばらつき度合いは、処理ライン上又は処理ブロック内における信号レベルの標準偏差又は分散で表される、請求項１〜４のいずれかに記載の道路区間線検出装置。
【請求項６】
前記道路区間線は、間隔をおいて点状に設けられる類の道路区画線である、請求項１〜５のいずれかに記載の道路区間線検出装置。
【請求項７】
車両から撮像手段が撮像した路面を含む周囲画像を取得するステップと、
処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する判定ステップと、
道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出するステップとを含むことを特徴とする、道路区間線検出方法。
【請求項８】
コンピューターをして、次の各処理（１）〜（３）を含む道路区間線検出処理を実行させるコンピューター読み取り可能なプログラム。
（１）車両から撮像手段が撮像した路面を含む周囲画像を取得する処理、
（２）処理ライン毎に、周囲画像の信号レベルのばらつき度合いを算出し、算出したばらつき度合いに基づいて、各処理ライン上に、道路区間線の特徴点が存在するか否かを判定する処理、及び、
（３）道路区間線の特徴点が存在すると判定された処理ライン上の特徴点に基づいて、道路区間線を検出する処理。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−２２００２８（Ｐ２００７−２２００２８Ａ）
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願番号】特願２００６−４２８２８（Ｐ２００６−４２８２８）
【出願日】平成１８年２月２０日（２００６．２．２０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願日】平成１８年２月２０日（２００６．２．２０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【出願人】（０００００３６０９）株式会社豊田中央研究所 (4,200)
【Ｆターム（参考）】
[ Back to top ]