車線認識装置および車線認識方法
【課題】道路鋲を精度よく検出する。
【解決手段】候補画像生成部１１は、生成されたエッジ画像において、候補領域となる白色領域に対してこの領域を全方位に膨張させる膨張処理を行い、膨張画像を生成する。道路鋲検出部１２は、生成された膨張画像において、白色領域に関するアスペクト比および面積に基づいて、道路鋲を検出する。車線認識部１４は、検出された道路鋲に基づいて、道路上の車線を認識する。
【解決手段】候補画像生成部１１は、生成されたエッジ画像において、候補領域となる白色領域に対してこの領域を全方位に膨張させる膨張処理を行い、膨張画像を生成する。道路鋲検出部１２は、生成された膨張画像において、白色領域に関するアスペクト比および面積に基づいて、道路鋲を検出する。車線認識部１４は、検出された道路鋲に基づいて、道路上の車線を認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路上の車線を認識する車線認識装置およびその方法に関する。
【背景技術】
【０００２】
従来より、撮像画像に基づいて道路鋲を検出することにより、車線を認識する手法が知られている。この道路鋲は、例えば、ボッツドッツ（Botts Dots）やキャッツアイといった類のものであり、道路上に離散的に配置されている。
【０００３】
道路鋲は、撮像画像上の形状が、日照時の光の当り方等の照明環境によって変化する。そこで、例えば、特許文献１には、撮像画像に対してモルフォロジー演算を行うことにより、照明環境に拘わらず検出精度の向上を図る装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１４１０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された手法によれば、水平方向の任意の１ライン（走査線）における対象物の幅をもとにノイズを除去するため、道路鋲が除去されたり、逆にノイズを除去しきれなかったりという不都合がある。そのため、安定して道路鋲を検出することができないという問題点があった。
【０００６】
本発明はかかる事情に鑑みてなされたものであり、その目的は、道路鋲を精度よく検出することである。
【課題を解決するための手段】
【０００７】
かかる課題を解決するために、本発明は、走行路面を撮像した撮像画像内の輝度的なエッジを抽出したエッジ画像を生成し、このエッジ画像において、エッジとして抽出された領域である候補領域に対してこの領域を全方位に膨張させる。そして、膨張された候補領域を処理対象として、アスペクト比および面積に基づいて、道路上の車線を画定する道路鋲を検出し、これにより、検出された道路鋲に基づいて、道路上の車線を認識する。
【発明の効果】
【０００８】
本発明によれば、全方向への膨張処理によって、道路鋲と、それ以外の要素とを面積的かつ形状的（アスペクト比）に明確に切り分けることができる。これにより、道路鋲を有効に検出することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態にかかる車線認識装置１を概略的に示す構成図
【図２】車両Ｃおよび撮像範囲を示す説明図
【図３】第１の実施形態にかかる車線認識処理の手順を示すフローチャート
【図４】エッジ画像の一例を模式的に示す説明図
【図５】白色領域のアスペクト比および面積の説明図
【図６】車両のヘッドライト３１を点灯した状態における撮像画像を模式的に示す説明図
【図７】第２の実施形態にかかる車線認識装置１を概略的に示す構成図
【図８】第２の実施形態にかかる車線認識処理の手順を示すフローチャート
【図９】第３の実施形態にかかる車線認識装置１を概略的に示す構成図
【発明を実施するための形態】
【００１０】
（第１の実施形態）
図１は、本発明の第１の実施形態にかかる車線認識装置１を概略的に示す構成図である。本実施形態にかかる車線認識装置１は、画像処理を用いて、道路に設けられた道路鋲を検出することにより、車線を認識する装置である。この車線認識装置１は、コントロールユニット１０と、画像メモリ２０と、カメラ３０を主体に構成されており、コントロールユニット１０は、画像メモリ２０を介してカメラ３０と接続されている。なお、本明細書において、道路鋲という用語は、例えば、ボッツドッツ、リフレクタ、キャッツアイといったように、車線を画定するために道路上に離散的に配置されるものを総称する用語として用いる。
【００１１】
コントロールユニット１０は、後述する画像メモリ２０に格納される１フレーム相当の撮像画像を読み込むとともに、この撮像画像に基づいて道路鋲を検出することにより車線を認識する。コントロールユニット１０としては、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェースを主体に構成されたマイクロコンピュータを用いることができる。また、コントロールユニット１０には、車載ＬＡＮが接続されており、コントロールユニット１０は、この車載ＬＡＮを通じて、ヘッドライト３１（図２参照）が点灯状態であるかそれとも消灯状態であるかを検出することができる。
【００１２】
コントロールユニット１０は、これを機能的に捉えた場合、候補画像生成部１１と、道路鋲検出部１２と、歪み補正部１３と、車線認識部１４と、撮像範囲変更部１５とを有している。候補画像生成部１１は、画像メモリ２０に入力される撮像画像、すなわち、カメラ３０によって撮像された撮像画像内の輝度的なエッジが抽出されたエッジ画像を生成する（第１の処理手段）。また、候補画像生成部１１は、生成されたエッジ画像において、エッジとして抽出された領域である候補領域（本実施形態では、後述する白色領域）に対して、この領域を全方位に膨張させる膨張処理を行うことにより、膨張画像を生成する。
【００１３】
道路鋲検出部１２は、生成された膨張画像において、白色領域に関するアスペクト比および面積に基づいて、道路上の車線を画定する道路鋲を検出する（道路鋲検出手段）。歪み補正部１３は、カメラ３０に起因する歪曲収差を補正する。車線認識部１４は、検出された道路鋲に基づいて、道路上の車線を認識する。撮像範囲変更部１５は、ヘッドライト３１の点灯状態に応じてカメラ３０による撮像範囲を調整する（調整手段）。
【００１４】
画像メモリ２０は、カメラ３０で撮像された撮像画像が入力される機能を担っており（画像入力手段）、ＲＡＭにより構成されるフレームメモリを備えている。画像メモリ２０は、カメラ３０から出力される１フレーム分の撮像画像（デジタル映像）を記憶可能な容量を有する。カメラ３０によって撮像された撮像画像は、フレーム毎に、画像メモリ２０に格納される。
【００１５】
カメラ３０は、光学系およびイメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）を主体に構成される撮像手段であり、所定の輝度階調（例えば、256階調のグレースケール）のデジタル映像を作成する。カメラ３０は、デジタル化された１フレーム分の撮像画像を画像メモリ２０に出力する。図２に示すように、カメラ３０は、例えば、車両Ｃのルームミラーの近傍に取り付けられており、車両Ｃ前方の道路（走行路面）を含む景色を撮像する。
【００１６】
図３は、本実施形態にかかる車線認識処理の手順を示すフローチャートである。このフローチャートに示す処理は、所定の周期で呼び出され、コントロールユニット１０によって実行される。
【００１７】
まず、ステップ１（Ｓ１）において、候補画像生成部１１は、画像メモリ２０から１フレーム相当の撮像画像を読み込むとともに、当該撮像画像を処理対象として微分処理を行い、微分画像を生成する。具体的には、候補画像生成部１１は、例えば、ｓｏｂｅｌフィルタなどの微分オペレータを用いて撮像画像に空間微分処理を施すことにより微分画像を作成する。この微分画像は、撮像画像を構成する各画素に関するエッジ強度を示す画像である。
【００１８】
ステップ２（Ｓ２）において、候補画像生成部１１は、生成された微分画像を処理対象として、２値化処理を行う。具体的には、候補画像生成部１１は、微分画像、すなわち、各画素毎に、エッジ強度に対して所定の閾値を用いて２値化を行うことによりエッジ画像を生成する。例えば、候補画像生成部１１は、閾値以上のエッジ強度を有する画素を白色に変換し、閾値よりも小さなエッジ強度を有する画素を黒色に変換する。
【００１９】
図４は、エッジ画像の一例を模式的に示す説明図である。なお、同図に示す例では、説明の便宜上、白色と黒色とを反転させた状態、すなわち、２値化された黒色に対応する部分が白色で描かれ、２値化された白色に対応する部分が黒色で描かれている（以下に示す図面についても同様）。同図に示すように、エッジ画像では、例えば、ボッツドッツＳ１、リフレクタＳ２、白線Ｓ３、路面汚れＳ４、先行車Ｓ５等の輪郭に対応して、エッジとして抽出された領域（候補領域）が白色、それ以外の領域が黒色として表される。
【００２０】
ステップ３（Ｓ３）において、候補画像生成部１１は、モルフォロジー演算などを用いて膨張処理を行うことにより、エッジ画像に含まれる白色領域（候補領域）を全方向に膨張させた膨張画像を作成する。具体的には、この膨張処理は、エッジ画像において、白色に対応する画素のそれぞれを処理対象として、当該画素の周囲に存在する画素群（例えば、処理対象画素の周囲に存在する８画素、あるいは、処理対象画素の周囲に存在する８画素および当該８画素の周囲に存在する１６画素の計２４画素）の２値属性を白色へと設定する。膨張させる画素数は、道路鋲に対応する白色領域が、道路鋲以外の他の要素（非道路鋲）に対応する白色領域と連結しない程度に、かつ、路面汚れＳ４を含むノイズ要素に対応する白色領域同士が互いに連結する程度に実施することが望ましく、実験やシミュレーションを通じてその最適値が設定されている。例えば、ボッツドッツＳ１などはエッジ画像においてリング状の領域として表されるが、これを全方位に膨張させることにより、膨張画像では、リング状の内周部分が白色によって埋められるとともに、外周側へと拡大された円状の領域として表される。
【００２１】
ステップ４（Ｓ４）において、道路鋲検出部１２は、膨張画像を処理対象として、連続する一群の白色領域をそれぞれ検出する。具体的には、道路鋲検出部１２は、膨張画像を走査することにより、一塊となった白色領域をそれぞれ検出する。道路鋲検出部１２は、検出された白色領域のそれぞれについて、面積と、アスペクト比と、代表点の座標とを算出する。例えば、図５に示す白色領域Ｓｏでは、面積は１１画素であり、アスペクト比は（ｙｂ−ｙｔ）／（ｘｒ−ｘｌ）で算出される。ここで、ｙｔは、白色領域Ｓｏの最上点のｙ座標、ｙｂは最下点のｙ座標、ｘｌは最左点のｘ座標、ｘｒは最右点のｘ座標である。また、代表点は白色領域上の任意の点（例えば、重心）に設定することができるが、すべての白色領域Ｓｏに対して同一基準で決定する必要がある。
【００２２】
ステップ５（Ｓ５）において、道路鋲検出部１２は、検出された白色領域Ｓｏのそれぞれを処理対象として、面積およびアスペクト比が所定の範囲内にある白色領域Ｓｏを道路鋲領域として抽出する（フィルタリング処理）。具体的には、道路鋲検出部１２は、面積Ｓおよびアスペクト比Ａが、下式の条件を満たす白色領域Ｓｏを道路鋲領域として抽出する。
【００２３】
（数式１）
ＳＬ≦Ｓ≦ＳＨ
ＡＬ≦Ａ≦ＡＨ
ここで、ＳＬは、抽出対象とする白色領域Ｓｏの面積Ｓに対する下限値であり、ＳＨは、その上限値である。また、ＡＬは、抽出対象とする白色領域Ｓｏのアスペクト比Ａに対する下限値であり、ＡＨは、その上限値である。これらの各パラメータＳＬ，ＳＨ，ＡＬ，ＡＨは、カメラ３０によって映し出される道路鋲の撮像画像上の特性を考慮した上で、実験やシミュレーションを通じてその最適値がそれぞれ設定されている。
【００２４】
また、自車両の近くに位置する道路鋲に対応する白色領域Ｓｏの面積Ｓは大きく、遠方に位置する道路鋲に対応する白色領域Ｓｏの面積Ｓは小さい傾向となる。そこで、白色領域Ｓｏのｙ座標が小さい、すなわち、白色領域Ｓｏが画像上部に位置する場合は、面積Ｓに関する上下限値ＳＬ，ＳＨを小さく調整してもよい。また、白色領域Ｓｏのｙ座標が大きい、すなわち、白色領域Ｓｏが画像下部に位置する場合は、面積Ｓに関する上下限値ＳＬ，ＳＨを大きく調整してもよい。
【００２５】
ステップ６（Ｓ６）において、歪み補正部１３は、アフィン変換などの手法を用いて、ステップ５において抽出された道路鋲領域について代表点座標に含まれる歪曲収差を幾何学的に補正する。これにより、道路鋲領域について、カメラ３０の光学系などに起因する歪み等の影響が抑制された代表点座標が新たに得られる。
【００２６】
ステップ７（Ｓ７）において、車線認識部１４は、それぞれの道路鋲領域に関する代表点座標に基づいて、道路形状、すなわち、車線を認識する。具体的には、車線認識部１４は、それぞれの道路鋲領域に関する代表点座標について、最小二乗法などを用いて直線回帰を行うことにより、車線の認識を行う。
【００２７】
図６は、車両のヘッドライト３１を点灯した状態における撮像画像を模式的に示す説明図である。また、夜間においては自車両のヘッドライトの点灯により撮像画像内の照度差が大きくなる。シェーディング補正等によりある程度の照度差を補正することは可能であるが、カメラのダイナミックレンジの不足等により補正にも限界がある。同図に示すように、通常の撮像範囲（最も外側の矩形の枠）に対して、自車両のヘッドライト３１が照射する範囲は、図中の枠Ｓ５に対応する。そのため、枠Ｓ５内に存在する道路鋲Ｓ６および周辺路面は、被写体が真っ白に塗りつぶされてしまう現象、いわゆる、白飛びを起こしてしまいエッジ検出が困難となる。一方、ヘッドライト３１の照射範囲（枠Ｓ５）の外に存在する道路鋲Ｓ７および周辺路面は照度不足のためエッジの検出が困難となる。
【００２８】
そこで、撮像範囲変更部１５は、車載ＬＡＮを通じてヘッドライト３１の状態を取得し、点灯状態の時にはカメラ３０の撮像範囲を枠ＣＡに変更する。この枠ＣＡは、カメラ３０の撮像範囲が、ヘッドライト３１の照射範囲（枠Ｓ５）をほぼ含むように設定されている。なお、その際、撮像範囲変更部１５は、露出補正等に用いる測光領域も撮像範囲同様に変更する。
【００２９】
このように本実施形態において、候補画像生成部１１は、カメラ３０によって撮像された撮像画像を処理対象として微分処理および２値化処理を行うことにより、エッジ画像を生成する。また、候補画像生成部１１は、生成されたエッジ画像において、候補領域となる白色領域に対してこの領域を全方位に膨張させる膨張処理を行い、膨張画像を生成する。道路鋲検出部１２は、生成された膨張画像において、白色領域に関するアスペクト比および面積に基づいて、道路鋲を検出する。車線認識部１４は、検出された道路鋲に基づいて、道路上の車線を認識する。
【００３０】
かかる構成によれば、全方向への膨張処理によって、道路鋲と、それ以外の要素とを面積的かつ形状的（アスペクト比）に明確に切り分けることができる。これにより、ノイズを除去しつつ、道路鋲を有効に検出することができる。
【００３１】
また、本実施形態において、候補画像生成部１１は、道路鋲に対応する白色領域が、非道路鋲に対応する白色領域と連結しない程度に、かつ、ノイズ要素に対応する白色領域同士が互いに連結する程度に膨張処理を行う。かかる構成によれば、路面汚れ等のノイズ領域同士を連結させ、その面積・アスペクト比を道路鋲のそれと大きく異なるものへと変形させることできる。これにより、道路鋲を有効に検出することが可能となる。
【００３２】
また、本実施形態において、道路鋲検出部１２は、膨張画像における白色領域の位置に応じて、道路鋲を検出するための面積閾値ＳＬ，ＳＨを可変に設定する。かかる構成によれば、路面汚れの目立つ自車両近接領域（画像下部側）では面積に対する閾値ＳＬ，ＳＨを大きく設定することで、ノイズの除去を促進することができる。また、路面汚れの目立たない遠方領域（画像上部側）では面積に対する閾値を小さく設定することで、小さく映る道路鋲の抽出を促進することができる。
【００３３】
また、本実施形態において、撮像範囲変更部１５は、車両のヘッドライト３１の点灯状態に応じてカメラ３０による撮像範囲を調整する。かかる構成によれば、撮像範囲を自車両のライトの照射範囲に限定することで撮像画像内の照度差を抑えることができるので、道路鋲の検出精度を向上させることができる。
【００３４】
なお、道路鋲としてのボッツドッツとキャッツアイとのアスペクト比の差は殆ど変わらないことが発明者等の実験によって明らかとなっている。そのため、アスペクト比Ａの下限値ＡＬと上限値ＡＨとのそれぞれの値には、ボッツドッツとキャッツアイとに対応して差を設定しなくとも、共通したパラメータで両者を道路鋲として検出することが可能である。
【００３５】
（第２の実施形態）
図７は、本発明の第２の実施形態にかかる車線認識装置１を概略的に示す構成図である。本実施形態にかかる車線認識装置１が第１の実施形態と相違する点は、マスク画像を生成する点である。以下、第１の実施形態と共通する構成については符号を引用して重複する説明は省略することとし、以下、相違点を中心に説明を行う。
【００３６】
本実施形態の車線認識装置１は、第１の実施形態と同様、コントロールユニット１０と、画像メモリ２０とを主体に構成されており、コントロールユニット１０は、画像メモリ２０を介してカメラ３０と接続されている。
【００３７】
コントロールユニット１０は、これを機能的に捉えた場合、マスク画像生成部１６と、候補画像生成部１１と、道路鋲検出部１２と、歪み補正部１３と、車線認識部１４とを有している。ここで、候補画像生成部１１、道路鋲検出部１２、歪み補正部１３および車線認識部１４は、第１の実施形態と同様である。また、本実施形態では、撮像範囲変更部１５を備えていないが、これを有する構成であってもよい。
【００３８】
マスク画像生成部（第１の処理手段）１６は、画像メモリ２０に入力される撮像画像を処理対象として２値化処理を行い、２値化処理後の画像について全方向への膨張処理を行うことによりマスク画像を生成する。なお、本実施形態において、候補画像生成部１１は、膨張画像に対してマスク画像を用いてマスク処理を行う。
【００３９】
図８は、本実施形態にかかる車線認識処理の手順を示すフローチャートである。このフローチャートに示す処理は、所定の周期で呼び出され、コントロールユニット１０によって実行される。
【００４０】
まず、ステップ１０（Ｓ１０）において、マスク画像生成部１６は、画像メモリ２０から１フレーム相当の撮像画像を読み込むとともに、当該撮像画像を処理対象として２値化処理を行い、２値画像を生成する。具体的には、マスク画像生成部１６は、撮像画像、すなわち、各画素毎に、輝度に対して所定の閾値を用いて２値化を行うことにより２値画像を生成する。例えば、マスク画像生成部１６は、閾値以上の輝度を有する画素を白色に変換し、閾値よりも小さな輝度を有する画素を黒色に変換する。これにより、２値画像では、例えば、道路鋲および白線、空、先行車両などが白色で表示され、路面汚れを含むそれ以外の領域が黒色で表示される。ここで、閾値は、検出対象となる道路鋲と、ノイズ要素である道路上の路面汚れなどとを切り分けることができるような値として設定されており、また、２値画像は、当該画像上の道路鋲に対応する画素が、候補画像生成部１１において生成される膨張画像において道路鋲に対応する画素と同一の２値属性（本実施形態では、白色）となるように２値化処理される。
【００４１】
ステップ１１（Ｓ１１）において、マスク画像生成部１６は、ステップ１０において生成された２値画像を処理対象として、モルフォロジー演算などを用いて膨張処理を行う。これにより、マスク画像生成部１６は、２値画像に含まれる白色領域を全方向に膨張させたマスク画像を作成する。なお、本ステップにおける膨張処理は、第１の実施形態に示す膨張処理の手法と基本的に同じであるが、マスク画像における道路鋲の大きさが、後述するステップ１５における収縮処理後の収縮画像における道路鋲の大きさよりも大きくなるように、膨張率が設定されている。
【００４２】
ステップ１２（Ｓ１２）において、候補画像生成部１１は、画像メモリ２０から１フレーム相当の撮像画像を読み込むとともに、当該撮像画像を処理対象として微分処理を行い、微分画像を生成する。そして、ステップ１３（Ｓ１３）において、候補画像生成部１１は、生成された微分画像を処理対象として、２値化処理を行うことにより、エッジ画像を生成する。そして、ステップ１４（Ｓ１４）において、候補画像生成部１１は、モルフォロジー演算などを用いて膨張処理を行うことにより、エッジ画像に含まれる白色領域を全方向に膨張させた膨張画像を作成する。なお、ステップ１２〜１４における各処理は、第１の実施形態におけるステップ１〜３における各処理とそれぞれ対応している。
【００４３】
ステップ１５（Ｓ１５）において、候補画像生成部１１は、膨張画像を処理対象として、モルフォロジー演算などを用いて収縮処理を行う。具体的には、候補画像生成部１１は、ステップ１４において膨張させた白色領域のそれぞれを処理対象として膨張された領域を内側へと収縮させることにより、個々の白色領域を膨張処理を実施する前の大きさとほぼ同じ大きさへと調整する（収縮画像の作成）。
【００４４】
ステップ１６（Ｓ１６）において、マスク画像生成部１６は、ステップ１５において生成された収縮画像に対して、ステップ１１において生成されたマスク画像を用いてマスク処理を行う。具体的には、マスク画像生成部１６は、収縮画像に含まれる白色の画素のそれぞれについて、当該画素と位置的に対応するマスク画像上の画素が黒色であれば、当該画素を黒色に変更する。一方、収縮画像に含まれる黒色の画素のそれぞれについては、当該画素と位置的に対応するマスク画像上の画素が白色であっても、当該画素を白色には変更しない。これはすなわち、収縮画像に含まれる白色の画素のそれぞれについて、当該画素と位置的に対応するマスク画像上の画素が白色である部分のみを白色とし、その他の画素を黒色にすることになる。言い換えると、収縮画像に含まれる画素が白色であって、かつ、当該画素と位置的に対応するマスク画像上の画素が白色である場合に当該画素を変更せず、収縮画像に含まれる画素と当該画素と位置的に対応するマスク画像上の画素の色が異なる場合や両方とも黒色の場合には当該画素を黒色とする。これにより、収縮画像に含まれていた路面汚れ等のノイズが抑制された画像が得られる。
【００４５】
そして、ステップ１７（Ｓ１７）からステップ２０（Ｓ２０）までの各処理において、ステップ１６において得られる画像を処理対象として、領域検出、フィルタリング、歪み補正、道路形状推定の各処理が行われる。これらの処理は、第１の実施形態におけるステップ４からステップ７までの各処理と対応している。
【００４６】
このように本実施形態において、マスク画像生成部１６は、画像メモリ２０に入力される撮像画像を処理対象として２値化処理を行い、２値化処理後の画像について全方向への膨張処理を行うことによりマスク画像を生成する。そして、マスク画像生成部１６は、膨張画像に対してマスク画像を用いてマスク処理を行う。かかる構成によれば、い路面上の汚れを除去することができるので、道路鋲の検出精度の向上を図ることができる。
【００４７】
また、本実施形態では、候補画像生成部１１は、膨張処理を行った後に、膨張画像に対して、膨張させた候補領域の大きさを収縮させる収縮処理をさらに行う。かかる構成によれば、道路鋲の周辺の細かいノイズを除去し、形状を整形することができる。これにより、道路鋲の検出精度の向上を図ることができる。なお、かかる手法については、これを単独で第１の実施形態の手法に適用することも可能である。
【００４８】
（第３の実施形態）
図９は、本発明の第３の実施形態にかかる車線認識装置１を概略的に示す構成図である。本実施形態にかかる車線認識装置１が第２の実施形態と相違する点は、車線の認識手法を切り換えることができる点である。以下、第２の実施形態と共通する構成については符号を引用して重複する説明は省略することとし、以下、相違点を中心に説明を行う。
【００４９】
本実施形態の車線認識装置１は、第１の実施形態と同様、コントロールユニット１０と、画像メモリ２０とを主体に構成されており、コントロールユニット１０は、画像メモリ２０を介してカメラ３０と接続されている。
【００５０】
コントロールユニット１０は、これを機能的に捉えた場合、マスク画像生成部１６と、候補画像生成部１１と、道路鋲検出部１２と、歪み補正部１３と、車線認識部１４と、検出対象切替部１７と、白線検出部１８とを有している。ここで、マスク画像生成部１６、候補画像生成部１１、道路鋲検出部１２、歪み補正部１３および車線認識部１４は、第２の実施形態と同様である。
【００５１】
検出対象切替部１７は、車線認識の動作モードとして、白線検出モードと道路鋲検出モードとを有しており、両モードを択一的に選択しながら車線認識を行う。ここで、白線検出モードは、後述する白線検出部１８によって、道路上の車線を画定する車線区分線（ライン）、例えば、白線などを検出することにより、車線を認識するモードである。一方、道路鋲検出モードは、第２の実施形態に示すように、マスク画像生成部１６、候補画像生成部１１、道路鋲検出部１２、歪み補正部１３および車線認識部１４によって、道路上の道路鋲を検出することにより、車線を認識するモードである。
【００５２】
白線検出部（ライン検出手段）１８は、画像メモリ２０より、画像メモリ２０から１フレーム相当の撮像画像を読み込むとともに、当該撮像画像に基づいて、道路上の車線を画定するライン（例えば、白線）を認識し、これにより、車線を認識する。白線認識の手法は周知の技術を採用することができ、例えば、特開２００２−１７５５３５号公報に記載の様に、撮像画像の輝度変化から複数の白線候補点を抽出し、抽出した複数の白線候補点に基づいて道路上の車線を画定するラインを認識する事ができる（詳細は特開２００２−１７５５３５号公報を参照されたい）。
【００５３】
このような構成の車線認識装置１において、検出対象切替部（切換手段）１７は、以下のようにして動作モードの切り替えを行う。具体的には、車線認識装置１は、いずれか一方の動作モードを選択した状態において、検出失敗が所定時間（例えば、３sec）以上形状した場合には、他方の動作モードに切り換える。道路鋲検出モードにおける検出失敗の判定は、車線認識部１４において、白色領域の代表点座標に対して直線回帰を行った際に、その回帰直線と代表点座標との誤差が所定の閾値を超えたことを条件とするといった如くである。一方、白線検出モードにおける検出失敗の判定は、白線に対する回帰直線とエッジ点との適合度が所定の閾値を下回ったことを条件とするといった如くである。
【００５４】
このように本実施形態において、既存の白線検出技術と道路鋲検出を共存させることができるので、白線と道路鋲が混在する環境においても車線を認識することができる。
【符号の説明】
【００５５】
１ 車線認識装置
１０ コントロールユニット
１１ 候補画像生成部
１２ 道路鋲検出部
１３ 歪み補正部
１４ 車線認識部
１５ 撮像範囲変更部
１６ マスク画像生成部
１７ 検出対象切替部
１８ 白線検出部
２０ 画像メモリ
３０ カメラ
３１ ヘッドライト
【技術分野】
【０００１】
本発明は、道路上の車線を認識する車線認識装置およびその方法に関する。
【背景技術】
【０００２】
従来より、撮像画像に基づいて道路鋲を検出することにより、車線を認識する手法が知られている。この道路鋲は、例えば、ボッツドッツ（Botts Dots）やキャッツアイといった類のものであり、道路上に離散的に配置されている。
【０００３】
道路鋲は、撮像画像上の形状が、日照時の光の当り方等の照明環境によって変化する。そこで、例えば、特許文献１には、撮像画像に対してモルフォロジー演算を行うことにより、照明環境に拘わらず検出精度の向上を図る装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１４１０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された手法によれば、水平方向の任意の１ライン（走査線）における対象物の幅をもとにノイズを除去するため、道路鋲が除去されたり、逆にノイズを除去しきれなかったりという不都合がある。そのため、安定して道路鋲を検出することができないという問題点があった。
【０００６】
本発明はかかる事情に鑑みてなされたものであり、その目的は、道路鋲を精度よく検出することである。
【課題を解決するための手段】
【０００７】
かかる課題を解決するために、本発明は、走行路面を撮像した撮像画像内の輝度的なエッジを抽出したエッジ画像を生成し、このエッジ画像において、エッジとして抽出された領域である候補領域に対してこの領域を全方位に膨張させる。そして、膨張された候補領域を処理対象として、アスペクト比および面積に基づいて、道路上の車線を画定する道路鋲を検出し、これにより、検出された道路鋲に基づいて、道路上の車線を認識する。
【発明の効果】
【０００８】
本発明によれば、全方向への膨張処理によって、道路鋲と、それ以外の要素とを面積的かつ形状的（アスペクト比）に明確に切り分けることができる。これにより、道路鋲を有効に検出することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態にかかる車線認識装置１を概略的に示す構成図
【図２】車両Ｃおよび撮像範囲を示す説明図
【図３】第１の実施形態にかかる車線認識処理の手順を示すフローチャート
【図４】エッジ画像の一例を模式的に示す説明図
【図５】白色領域のアスペクト比および面積の説明図
【図６】車両のヘッドライト３１を点灯した状態における撮像画像を模式的に示す説明図
【図７】第２の実施形態にかかる車線認識装置１を概略的に示す構成図
【図８】第２の実施形態にかかる車線認識処理の手順を示すフローチャート
【図９】第３の実施形態にかかる車線認識装置１を概略的に示す構成図
【発明を実施するための形態】
【００１０】
（第１の実施形態）
図１は、本発明の第１の実施形態にかかる車線認識装置１を概略的に示す構成図である。本実施形態にかかる車線認識装置１は、画像処理を用いて、道路に設けられた道路鋲を検出することにより、車線を認識する装置である。この車線認識装置１は、コントロールユニット１０と、画像メモリ２０と、カメラ３０を主体に構成されており、コントロールユニット１０は、画像メモリ２０を介してカメラ３０と接続されている。なお、本明細書において、道路鋲という用語は、例えば、ボッツドッツ、リフレクタ、キャッツアイといったように、車線を画定するために道路上に離散的に配置されるものを総称する用語として用いる。
【００１１】
コントロールユニット１０は、後述する画像メモリ２０に格納される１フレーム相当の撮像画像を読み込むとともに、この撮像画像に基づいて道路鋲を検出することにより車線を認識する。コントロールユニット１０としては、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェースを主体に構成されたマイクロコンピュータを用いることができる。また、コントロールユニット１０には、車載ＬＡＮが接続されており、コントロールユニット１０は、この車載ＬＡＮを通じて、ヘッドライト３１（図２参照）が点灯状態であるかそれとも消灯状態であるかを検出することができる。
【００１２】
コントロールユニット１０は、これを機能的に捉えた場合、候補画像生成部１１と、道路鋲検出部１２と、歪み補正部１３と、車線認識部１４と、撮像範囲変更部１５とを有している。候補画像生成部１１は、画像メモリ２０に入力される撮像画像、すなわち、カメラ３０によって撮像された撮像画像内の輝度的なエッジが抽出されたエッジ画像を生成する（第１の処理手段）。また、候補画像生成部１１は、生成されたエッジ画像において、エッジとして抽出された領域である候補領域（本実施形態では、後述する白色領域）に対して、この領域を全方位に膨張させる膨張処理を行うことにより、膨張画像を生成する。
【００１３】
道路鋲検出部１２は、生成された膨張画像において、白色領域に関するアスペクト比および面積に基づいて、道路上の車線を画定する道路鋲を検出する（道路鋲検出手段）。歪み補正部１３は、カメラ３０に起因する歪曲収差を補正する。車線認識部１４は、検出された道路鋲に基づいて、道路上の車線を認識する。撮像範囲変更部１５は、ヘッドライト３１の点灯状態に応じてカメラ３０による撮像範囲を調整する（調整手段）。
【００１４】
画像メモリ２０は、カメラ３０で撮像された撮像画像が入力される機能を担っており（画像入力手段）、ＲＡＭにより構成されるフレームメモリを備えている。画像メモリ２０は、カメラ３０から出力される１フレーム分の撮像画像（デジタル映像）を記憶可能な容量を有する。カメラ３０によって撮像された撮像画像は、フレーム毎に、画像メモリ２０に格納される。
【００１５】
カメラ３０は、光学系およびイメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）を主体に構成される撮像手段であり、所定の輝度階調（例えば、256階調のグレースケール）のデジタル映像を作成する。カメラ３０は、デジタル化された１フレーム分の撮像画像を画像メモリ２０に出力する。図２に示すように、カメラ３０は、例えば、車両Ｃのルームミラーの近傍に取り付けられており、車両Ｃ前方の道路（走行路面）を含む景色を撮像する。
【００１６】
図３は、本実施形態にかかる車線認識処理の手順を示すフローチャートである。このフローチャートに示す処理は、所定の周期で呼び出され、コントロールユニット１０によって実行される。
【００１７】
まず、ステップ１（Ｓ１）において、候補画像生成部１１は、画像メモリ２０から１フレーム相当の撮像画像を読み込むとともに、当該撮像画像を処理対象として微分処理を行い、微分画像を生成する。具体的には、候補画像生成部１１は、例えば、ｓｏｂｅｌフィルタなどの微分オペレータを用いて撮像画像に空間微分処理を施すことにより微分画像を作成する。この微分画像は、撮像画像を構成する各画素に関するエッジ強度を示す画像である。
【００１８】
ステップ２（Ｓ２）において、候補画像生成部１１は、生成された微分画像を処理対象として、２値化処理を行う。具体的には、候補画像生成部１１は、微分画像、すなわち、各画素毎に、エッジ強度に対して所定の閾値を用いて２値化を行うことによりエッジ画像を生成する。例えば、候補画像生成部１１は、閾値以上のエッジ強度を有する画素を白色に変換し、閾値よりも小さなエッジ強度を有する画素を黒色に変換する。
【００１９】
図４は、エッジ画像の一例を模式的に示す説明図である。なお、同図に示す例では、説明の便宜上、白色と黒色とを反転させた状態、すなわち、２値化された黒色に対応する部分が白色で描かれ、２値化された白色に対応する部分が黒色で描かれている（以下に示す図面についても同様）。同図に示すように、エッジ画像では、例えば、ボッツドッツＳ１、リフレクタＳ２、白線Ｓ３、路面汚れＳ４、先行車Ｓ５等の輪郭に対応して、エッジとして抽出された領域（候補領域）が白色、それ以外の領域が黒色として表される。
【００２０】
ステップ３（Ｓ３）において、候補画像生成部１１は、モルフォロジー演算などを用いて膨張処理を行うことにより、エッジ画像に含まれる白色領域（候補領域）を全方向に膨張させた膨張画像を作成する。具体的には、この膨張処理は、エッジ画像において、白色に対応する画素のそれぞれを処理対象として、当該画素の周囲に存在する画素群（例えば、処理対象画素の周囲に存在する８画素、あるいは、処理対象画素の周囲に存在する８画素および当該８画素の周囲に存在する１６画素の計２４画素）の２値属性を白色へと設定する。膨張させる画素数は、道路鋲に対応する白色領域が、道路鋲以外の他の要素（非道路鋲）に対応する白色領域と連結しない程度に、かつ、路面汚れＳ４を含むノイズ要素に対応する白色領域同士が互いに連結する程度に実施することが望ましく、実験やシミュレーションを通じてその最適値が設定されている。例えば、ボッツドッツＳ１などはエッジ画像においてリング状の領域として表されるが、これを全方位に膨張させることにより、膨張画像では、リング状の内周部分が白色によって埋められるとともに、外周側へと拡大された円状の領域として表される。
【００２１】
ステップ４（Ｓ４）において、道路鋲検出部１２は、膨張画像を処理対象として、連続する一群の白色領域をそれぞれ検出する。具体的には、道路鋲検出部１２は、膨張画像を走査することにより、一塊となった白色領域をそれぞれ検出する。道路鋲検出部１２は、検出された白色領域のそれぞれについて、面積と、アスペクト比と、代表点の座標とを算出する。例えば、図５に示す白色領域Ｓｏでは、面積は１１画素であり、アスペクト比は（ｙｂ−ｙｔ）／（ｘｒ−ｘｌ）で算出される。ここで、ｙｔは、白色領域Ｓｏの最上点のｙ座標、ｙｂは最下点のｙ座標、ｘｌは最左点のｘ座標、ｘｒは最右点のｘ座標である。また、代表点は白色領域上の任意の点（例えば、重心）に設定することができるが、すべての白色領域Ｓｏに対して同一基準で決定する必要がある。
【００２２】
ステップ５（Ｓ５）において、道路鋲検出部１２は、検出された白色領域Ｓｏのそれぞれを処理対象として、面積およびアスペクト比が所定の範囲内にある白色領域Ｓｏを道路鋲領域として抽出する（フィルタリング処理）。具体的には、道路鋲検出部１２は、面積Ｓおよびアスペクト比Ａが、下式の条件を満たす白色領域Ｓｏを道路鋲領域として抽出する。
【００２３】
（数式１）
ＳＬ≦Ｓ≦ＳＨ
ＡＬ≦Ａ≦ＡＨ
ここで、ＳＬは、抽出対象とする白色領域Ｓｏの面積Ｓに対する下限値であり、ＳＨは、その上限値である。また、ＡＬは、抽出対象とする白色領域Ｓｏのアスペクト比Ａに対する下限値であり、ＡＨは、その上限値である。これらの各パラメータＳＬ，ＳＨ，ＡＬ，ＡＨは、カメラ３０によって映し出される道路鋲の撮像画像上の特性を考慮した上で、実験やシミュレーションを通じてその最適値がそれぞれ設定されている。
【００２４】
また、自車両の近くに位置する道路鋲に対応する白色領域Ｓｏの面積Ｓは大きく、遠方に位置する道路鋲に対応する白色領域Ｓｏの面積Ｓは小さい傾向となる。そこで、白色領域Ｓｏのｙ座標が小さい、すなわち、白色領域Ｓｏが画像上部に位置する場合は、面積Ｓに関する上下限値ＳＬ，ＳＨを小さく調整してもよい。また、白色領域Ｓｏのｙ座標が大きい、すなわち、白色領域Ｓｏが画像下部に位置する場合は、面積Ｓに関する上下限値ＳＬ，ＳＨを大きく調整してもよい。
【００２５】
ステップ６（Ｓ６）において、歪み補正部１３は、アフィン変換などの手法を用いて、ステップ５において抽出された道路鋲領域について代表点座標に含まれる歪曲収差を幾何学的に補正する。これにより、道路鋲領域について、カメラ３０の光学系などに起因する歪み等の影響が抑制された代表点座標が新たに得られる。
【００２６】
ステップ７（Ｓ７）において、車線認識部１４は、それぞれの道路鋲領域に関する代表点座標に基づいて、道路形状、すなわち、車線を認識する。具体的には、車線認識部１４は、それぞれの道路鋲領域に関する代表点座標について、最小二乗法などを用いて直線回帰を行うことにより、車線の認識を行う。
【００２７】
図６は、車両のヘッドライト３１を点灯した状態における撮像画像を模式的に示す説明図である。また、夜間においては自車両のヘッドライトの点灯により撮像画像内の照度差が大きくなる。シェーディング補正等によりある程度の照度差を補正することは可能であるが、カメラのダイナミックレンジの不足等により補正にも限界がある。同図に示すように、通常の撮像範囲（最も外側の矩形の枠）に対して、自車両のヘッドライト３１が照射する範囲は、図中の枠Ｓ５に対応する。そのため、枠Ｓ５内に存在する道路鋲Ｓ６および周辺路面は、被写体が真っ白に塗りつぶされてしまう現象、いわゆる、白飛びを起こしてしまいエッジ検出が困難となる。一方、ヘッドライト３１の照射範囲（枠Ｓ５）の外に存在する道路鋲Ｓ７および周辺路面は照度不足のためエッジの検出が困難となる。
【００２８】
そこで、撮像範囲変更部１５は、車載ＬＡＮを通じてヘッドライト３１の状態を取得し、点灯状態の時にはカメラ３０の撮像範囲を枠ＣＡに変更する。この枠ＣＡは、カメラ３０の撮像範囲が、ヘッドライト３１の照射範囲（枠Ｓ５）をほぼ含むように設定されている。なお、その際、撮像範囲変更部１５は、露出補正等に用いる測光領域も撮像範囲同様に変更する。
【００２９】
このように本実施形態において、候補画像生成部１１は、カメラ３０によって撮像された撮像画像を処理対象として微分処理および２値化処理を行うことにより、エッジ画像を生成する。また、候補画像生成部１１は、生成されたエッジ画像において、候補領域となる白色領域に対してこの領域を全方位に膨張させる膨張処理を行い、膨張画像を生成する。道路鋲検出部１２は、生成された膨張画像において、白色領域に関するアスペクト比および面積に基づいて、道路鋲を検出する。車線認識部１４は、検出された道路鋲に基づいて、道路上の車線を認識する。
【００３０】
かかる構成によれば、全方向への膨張処理によって、道路鋲と、それ以外の要素とを面積的かつ形状的（アスペクト比）に明確に切り分けることができる。これにより、ノイズを除去しつつ、道路鋲を有効に検出することができる。
【００３１】
また、本実施形態において、候補画像生成部１１は、道路鋲に対応する白色領域が、非道路鋲に対応する白色領域と連結しない程度に、かつ、ノイズ要素に対応する白色領域同士が互いに連結する程度に膨張処理を行う。かかる構成によれば、路面汚れ等のノイズ領域同士を連結させ、その面積・アスペクト比を道路鋲のそれと大きく異なるものへと変形させることできる。これにより、道路鋲を有効に検出することが可能となる。
【００３２】
また、本実施形態において、道路鋲検出部１２は、膨張画像における白色領域の位置に応じて、道路鋲を検出するための面積閾値ＳＬ，ＳＨを可変に設定する。かかる構成によれば、路面汚れの目立つ自車両近接領域（画像下部側）では面積に対する閾値ＳＬ，ＳＨを大きく設定することで、ノイズの除去を促進することができる。また、路面汚れの目立たない遠方領域（画像上部側）では面積に対する閾値を小さく設定することで、小さく映る道路鋲の抽出を促進することができる。
【００３３】
また、本実施形態において、撮像範囲変更部１５は、車両のヘッドライト３１の点灯状態に応じてカメラ３０による撮像範囲を調整する。かかる構成によれば、撮像範囲を自車両のライトの照射範囲に限定することで撮像画像内の照度差を抑えることができるので、道路鋲の検出精度を向上させることができる。
【００３４】
なお、道路鋲としてのボッツドッツとキャッツアイとのアスペクト比の差は殆ど変わらないことが発明者等の実験によって明らかとなっている。そのため、アスペクト比Ａの下限値ＡＬと上限値ＡＨとのそれぞれの値には、ボッツドッツとキャッツアイとに対応して差を設定しなくとも、共通したパラメータで両者を道路鋲として検出することが可能である。
【００３５】
（第２の実施形態）
図７は、本発明の第２の実施形態にかかる車線認識装置１を概略的に示す構成図である。本実施形態にかかる車線認識装置１が第１の実施形態と相違する点は、マスク画像を生成する点である。以下、第１の実施形態と共通する構成については符号を引用して重複する説明は省略することとし、以下、相違点を中心に説明を行う。
【００３６】
本実施形態の車線認識装置１は、第１の実施形態と同様、コントロールユニット１０と、画像メモリ２０とを主体に構成されており、コントロールユニット１０は、画像メモリ２０を介してカメラ３０と接続されている。
【００３７】
コントロールユニット１０は、これを機能的に捉えた場合、マスク画像生成部１６と、候補画像生成部１１と、道路鋲検出部１２と、歪み補正部１３と、車線認識部１４とを有している。ここで、候補画像生成部１１、道路鋲検出部１２、歪み補正部１３および車線認識部１４は、第１の実施形態と同様である。また、本実施形態では、撮像範囲変更部１５を備えていないが、これを有する構成であってもよい。
【００３８】
マスク画像生成部（第１の処理手段）１６は、画像メモリ２０に入力される撮像画像を処理対象として２値化処理を行い、２値化処理後の画像について全方向への膨張処理を行うことによりマスク画像を生成する。なお、本実施形態において、候補画像生成部１１は、膨張画像に対してマスク画像を用いてマスク処理を行う。
【００３９】
図８は、本実施形態にかかる車線認識処理の手順を示すフローチャートである。このフローチャートに示す処理は、所定の周期で呼び出され、コントロールユニット１０によって実行される。
【００４０】
まず、ステップ１０（Ｓ１０）において、マスク画像生成部１６は、画像メモリ２０から１フレーム相当の撮像画像を読み込むとともに、当該撮像画像を処理対象として２値化処理を行い、２値画像を生成する。具体的には、マスク画像生成部１６は、撮像画像、すなわち、各画素毎に、輝度に対して所定の閾値を用いて２値化を行うことにより２値画像を生成する。例えば、マスク画像生成部１６は、閾値以上の輝度を有する画素を白色に変換し、閾値よりも小さな輝度を有する画素を黒色に変換する。これにより、２値画像では、例えば、道路鋲および白線、空、先行車両などが白色で表示され、路面汚れを含むそれ以外の領域が黒色で表示される。ここで、閾値は、検出対象となる道路鋲と、ノイズ要素である道路上の路面汚れなどとを切り分けることができるような値として設定されており、また、２値画像は、当該画像上の道路鋲に対応する画素が、候補画像生成部１１において生成される膨張画像において道路鋲に対応する画素と同一の２値属性（本実施形態では、白色）となるように２値化処理される。
【００４１】
ステップ１１（Ｓ１１）において、マスク画像生成部１６は、ステップ１０において生成された２値画像を処理対象として、モルフォロジー演算などを用いて膨張処理を行う。これにより、マスク画像生成部１６は、２値画像に含まれる白色領域を全方向に膨張させたマスク画像を作成する。なお、本ステップにおける膨張処理は、第１の実施形態に示す膨張処理の手法と基本的に同じであるが、マスク画像における道路鋲の大きさが、後述するステップ１５における収縮処理後の収縮画像における道路鋲の大きさよりも大きくなるように、膨張率が設定されている。
【００４２】
ステップ１２（Ｓ１２）において、候補画像生成部１１は、画像メモリ２０から１フレーム相当の撮像画像を読み込むとともに、当該撮像画像を処理対象として微分処理を行い、微分画像を生成する。そして、ステップ１３（Ｓ１３）において、候補画像生成部１１は、生成された微分画像を処理対象として、２値化処理を行うことにより、エッジ画像を生成する。そして、ステップ１４（Ｓ１４）において、候補画像生成部１１は、モルフォロジー演算などを用いて膨張処理を行うことにより、エッジ画像に含まれる白色領域を全方向に膨張させた膨張画像を作成する。なお、ステップ１２〜１４における各処理は、第１の実施形態におけるステップ１〜３における各処理とそれぞれ対応している。
【００４３】
ステップ１５（Ｓ１５）において、候補画像生成部１１は、膨張画像を処理対象として、モルフォロジー演算などを用いて収縮処理を行う。具体的には、候補画像生成部１１は、ステップ１４において膨張させた白色領域のそれぞれを処理対象として膨張された領域を内側へと収縮させることにより、個々の白色領域を膨張処理を実施する前の大きさとほぼ同じ大きさへと調整する（収縮画像の作成）。
【００４４】
ステップ１６（Ｓ１６）において、マスク画像生成部１６は、ステップ１５において生成された収縮画像に対して、ステップ１１において生成されたマスク画像を用いてマスク処理を行う。具体的には、マスク画像生成部１６は、収縮画像に含まれる白色の画素のそれぞれについて、当該画素と位置的に対応するマスク画像上の画素が黒色であれば、当該画素を黒色に変更する。一方、収縮画像に含まれる黒色の画素のそれぞれについては、当該画素と位置的に対応するマスク画像上の画素が白色であっても、当該画素を白色には変更しない。これはすなわち、収縮画像に含まれる白色の画素のそれぞれについて、当該画素と位置的に対応するマスク画像上の画素が白色である部分のみを白色とし、その他の画素を黒色にすることになる。言い換えると、収縮画像に含まれる画素が白色であって、かつ、当該画素と位置的に対応するマスク画像上の画素が白色である場合に当該画素を変更せず、収縮画像に含まれる画素と当該画素と位置的に対応するマスク画像上の画素の色が異なる場合や両方とも黒色の場合には当該画素を黒色とする。これにより、収縮画像に含まれていた路面汚れ等のノイズが抑制された画像が得られる。
【００４５】
そして、ステップ１７（Ｓ１７）からステップ２０（Ｓ２０）までの各処理において、ステップ１６において得られる画像を処理対象として、領域検出、フィルタリング、歪み補正、道路形状推定の各処理が行われる。これらの処理は、第１の実施形態におけるステップ４からステップ７までの各処理と対応している。
【００４６】
このように本実施形態において、マスク画像生成部１６は、画像メモリ２０に入力される撮像画像を処理対象として２値化処理を行い、２値化処理後の画像について全方向への膨張処理を行うことによりマスク画像を生成する。そして、マスク画像生成部１６は、膨張画像に対してマスク画像を用いてマスク処理を行う。かかる構成によれば、い路面上の汚れを除去することができるので、道路鋲の検出精度の向上を図ることができる。
【００４７】
また、本実施形態では、候補画像生成部１１は、膨張処理を行った後に、膨張画像に対して、膨張させた候補領域の大きさを収縮させる収縮処理をさらに行う。かかる構成によれば、道路鋲の周辺の細かいノイズを除去し、形状を整形することができる。これにより、道路鋲の検出精度の向上を図ることができる。なお、かかる手法については、これを単独で第１の実施形態の手法に適用することも可能である。
【００４８】
（第３の実施形態）
図９は、本発明の第３の実施形態にかかる車線認識装置１を概略的に示す構成図である。本実施形態にかかる車線認識装置１が第２の実施形態と相違する点は、車線の認識手法を切り換えることができる点である。以下、第２の実施形態と共通する構成については符号を引用して重複する説明は省略することとし、以下、相違点を中心に説明を行う。
【００４９】
本実施形態の車線認識装置１は、第１の実施形態と同様、コントロールユニット１０と、画像メモリ２０とを主体に構成されており、コントロールユニット１０は、画像メモリ２０を介してカメラ３０と接続されている。
【００５０】
コントロールユニット１０は、これを機能的に捉えた場合、マスク画像生成部１６と、候補画像生成部１１と、道路鋲検出部１２と、歪み補正部１３と、車線認識部１４と、検出対象切替部１７と、白線検出部１８とを有している。ここで、マスク画像生成部１６、候補画像生成部１１、道路鋲検出部１２、歪み補正部１３および車線認識部１４は、第２の実施形態と同様である。
【００５１】
検出対象切替部１７は、車線認識の動作モードとして、白線検出モードと道路鋲検出モードとを有しており、両モードを択一的に選択しながら車線認識を行う。ここで、白線検出モードは、後述する白線検出部１８によって、道路上の車線を画定する車線区分線（ライン）、例えば、白線などを検出することにより、車線を認識するモードである。一方、道路鋲検出モードは、第２の実施形態に示すように、マスク画像生成部１６、候補画像生成部１１、道路鋲検出部１２、歪み補正部１３および車線認識部１４によって、道路上の道路鋲を検出することにより、車線を認識するモードである。
【００５２】
白線検出部（ライン検出手段）１８は、画像メモリ２０より、画像メモリ２０から１フレーム相当の撮像画像を読み込むとともに、当該撮像画像に基づいて、道路上の車線を画定するライン（例えば、白線）を認識し、これにより、車線を認識する。白線認識の手法は周知の技術を採用することができ、例えば、特開２００２−１７５５３５号公報に記載の様に、撮像画像の輝度変化から複数の白線候補点を抽出し、抽出した複数の白線候補点に基づいて道路上の車線を画定するラインを認識する事ができる（詳細は特開２００２−１７５５３５号公報を参照されたい）。
【００５３】
このような構成の車線認識装置１において、検出対象切替部（切換手段）１７は、以下のようにして動作モードの切り替えを行う。具体的には、車線認識装置１は、いずれか一方の動作モードを選択した状態において、検出失敗が所定時間（例えば、３sec）以上形状した場合には、他方の動作モードに切り換える。道路鋲検出モードにおける検出失敗の判定は、車線認識部１４において、白色領域の代表点座標に対して直線回帰を行った際に、その回帰直線と代表点座標との誤差が所定の閾値を超えたことを条件とするといった如くである。一方、白線検出モードにおける検出失敗の判定は、白線に対する回帰直線とエッジ点との適合度が所定の閾値を下回ったことを条件とするといった如くである。
【００５４】
このように本実施形態において、既存の白線検出技術と道路鋲検出を共存させることができるので、白線と道路鋲が混在する環境においても車線を認識することができる。
【符号の説明】
【００５５】
１ 車線認識装置
１０ コントロールユニット
１１ 候補画像生成部
１２ 道路鋲検出部
１３ 歪み補正部
１４ 車線認識部
１５ 撮像範囲変更部
１６ マスク画像生成部
１７ 検出対象切替部
１８ 白線検出部
２０ 画像メモリ
３０ カメラ
３１ ヘッドライト
【特許請求の範囲】
【請求項１】
走行路面を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像内の輝度的なエッジが抽出されたエッジ画像を生成する第１の処理手段と、
前記第１の処理手段によって生成されたエッジ画像において、エッジとして抽出された領域である候補領域に対して当該領域を全方位に膨張させる膨張処理を行うことにより、膨張画像を生成する候補画像生成手段と、
前記候補画像生成手段によって生成された膨張画像において、前記候補領域に関するアスペクト比および面積に基づいて、道路上の車線を画定する道路鋲を検出する道路鋲検出手段と、
前記道路鋲検出手段によって検出された道路鋲に基づいて、道路上の車線を認識する認識手段と
を有することを特徴とする車線認識装置。
【請求項２】
前記候補画像生成手段は、道路鋲に対応する候補領域が、非道路鋲に対応する候補領域と連結しない程度に、かつ、路面上の汚れを含むノイズ要素に対応する候補領域同士が互いに連結する程度に、膨張処理を行うことを特徴とする請求項１に記載された車線認識装置。
【請求項３】
前記道路鋲検出手段は、前記膨張画像における候補領域の位置に応じて、道路鋲を検出するための面積閾値を可変に設定することを特徴とする請求項１または２に記載された車線認識装置。
【請求項４】
前記撮像手段によって撮像された撮像画像を処理対象として２値化処理を行うとともに、２値化処理後の画像について全方向への膨張処理をさらに行うことによりマスク画像を生成する第２の処理手段をさらに有し、
前記第２の処理手段は、膨張画像生成手段によって生成された前記膨張画像に対して前記マスク画像を用いてマスク処理を行うことを特徴とする請求項１から３のいずれか一項に記載された車線認識装置。
【請求項５】
前記候補画像生成手段は、前記膨張処理を行った後に、当該膨張画像に対して前記膨張させた候補領域の大きさを収縮させる収縮処理をさらに行うことを特徴とする請求項１から４のいずれか一項に記載された車線認識装置。
【請求項６】
車両の照明の点灯状態に応じて前記撮像手段による撮像範囲を調整する調整手段と
をさらに有することを特徴とする請求項１から５のいずれか一項に記載された車線認識装置。
【請求項７】
前記撮像手段によって撮像された撮像画像に基づいて道路上の車線を画定するラインを検出することにより、道路上の車線を認識するライン検出手段と、
動作モードとして、前記ラインの検出に基づいて車線を認識するモードと、前記道路鋲の検出に基づいて車線を認識するモードを有するとともに、当該動作モードを択一的に切り換える切換手段と
をさらに有することを特徴とする請求項１から６のいずれか一項に記載された車線認識装置。
【請求項８】
撮像手段によって撮像された撮像画像を処理対象として、画像内の輝度的なエッジを抽出したエッジ画像を生成する第１のステップと、
前記生成されたエッジ画像において、エッジとして抽出された領域である候補領域に対して当該領域を全方位に膨張させる第２のステップと、
前記膨張された候補領域を処理対象として、アスペクト比および面積に基づいて、道路上の車線を画定する道路鋲を検出する第３のステップと、
前記検出された道路鋲に基づいて、道路上の車線を認識する第４のステップと
を有することを特徴とする車線認識方法。
【請求項１】
走行路面を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像内の輝度的なエッジが抽出されたエッジ画像を生成する第１の処理手段と、
前記第１の処理手段によって生成されたエッジ画像において、エッジとして抽出された領域である候補領域に対して当該領域を全方位に膨張させる膨張処理を行うことにより、膨張画像を生成する候補画像生成手段と、
前記候補画像生成手段によって生成された膨張画像において、前記候補領域に関するアスペクト比および面積に基づいて、道路上の車線を画定する道路鋲を検出する道路鋲検出手段と、
前記道路鋲検出手段によって検出された道路鋲に基づいて、道路上の車線を認識する認識手段と
を有することを特徴とする車線認識装置。
【請求項２】
前記候補画像生成手段は、道路鋲に対応する候補領域が、非道路鋲に対応する候補領域と連結しない程度に、かつ、路面上の汚れを含むノイズ要素に対応する候補領域同士が互いに連結する程度に、膨張処理を行うことを特徴とする請求項１に記載された車線認識装置。
【請求項３】
前記道路鋲検出手段は、前記膨張画像における候補領域の位置に応じて、道路鋲を検出するための面積閾値を可変に設定することを特徴とする請求項１または２に記載された車線認識装置。
【請求項４】
前記撮像手段によって撮像された撮像画像を処理対象として２値化処理を行うとともに、２値化処理後の画像について全方向への膨張処理をさらに行うことによりマスク画像を生成する第２の処理手段をさらに有し、
前記第２の処理手段は、膨張画像生成手段によって生成された前記膨張画像に対して前記マスク画像を用いてマスク処理を行うことを特徴とする請求項１から３のいずれか一項に記載された車線認識装置。
【請求項５】
前記候補画像生成手段は、前記膨張処理を行った後に、当該膨張画像に対して前記膨張させた候補領域の大きさを収縮させる収縮処理をさらに行うことを特徴とする請求項１から４のいずれか一項に記載された車線認識装置。
【請求項６】
車両の照明の点灯状態に応じて前記撮像手段による撮像範囲を調整する調整手段と
をさらに有することを特徴とする請求項１から５のいずれか一項に記載された車線認識装置。
【請求項７】
前記撮像手段によって撮像された撮像画像に基づいて道路上の車線を画定するラインを検出することにより、道路上の車線を認識するライン検出手段と、
動作モードとして、前記ラインの検出に基づいて車線を認識するモードと、前記道路鋲の検出に基づいて車線を認識するモードを有するとともに、当該動作モードを択一的に切り換える切換手段と
をさらに有することを特徴とする請求項１から６のいずれか一項に記載された車線認識装置。
【請求項８】
撮像手段によって撮像された撮像画像を処理対象として、画像内の輝度的なエッジを抽出したエッジ画像を生成する第１のステップと、
前記生成されたエッジ画像において、エッジとして抽出された領域である候補領域に対して当該領域を全方位に膨張させる第２のステップと、
前記膨張された候補領域を処理対象として、アスペクト比および面積に基づいて、道路上の車線を画定する道路鋲を検出する第３のステップと、
前記検出された道路鋲に基づいて、道路上の車線を認識する第４のステップと
を有することを特徴とする車線認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１６５２０４（Ｐ２０１０−１６５２０４Ａ）
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願番号】特願２００９−７３３５（Ｐ２００９−７３３５）
【出願日】平成２１年１月１６日（２００９．１．１６）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願日】平成２１年１月１６日（２００９．１．１６）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]