道路標示認識装置及びその認識方法
【課題】道路標示を認識するために用いられる撮影装置のレンズに付着物が有る場合においても、付着物の影響を低減し、より正確で信頼性の高い道路標示認識を実現する。
【解決手段】撮影画像に複数の領域を設け、これら複数の領域から複数の鳥瞰画像を生成する。レンズに付着物がある場合、路面の状態に依存せず、常に鳥瞰画像上の同じ位置に付着物の影響が現れる。この特徴を利用すれば、レンズの付着物による影響を受けている領域を特定できる。従って、付着物による影響を受けている領域から生成される鳥瞰画像を、道路標示の認識に使用しないように除外することで、認識性能の低下や誤認識を防止し、より高い精度の道路標示の認識が可能となる。
【解決手段】撮影画像に複数の領域を設け、これら複数の領域から複数の鳥瞰画像を生成する。レンズに付着物がある場合、路面の状態に依存せず、常に鳥瞰画像上の同じ位置に付着物の影響が現れる。この特徴を利用すれば、レンズの付着物による影響を受けている領域を特定できる。従って、付着物による影響を受けている領域から生成される鳥瞰画像を、道路標示の認識に使用しないように除外することで、認識性能の低下や誤認識を防止し、より高い精度の道路標示の認識が可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路標示認識装置に関し、特に車両の安全性向上のために全天候において高い道路標示認識率を必要とする道路標示認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性を向上させるために搭載されるシステムの多様化に伴い、道路標示を認識するための認識装置も車両に多く使われるようになってきた。しかしながら、道路標示の認識は、道路の状況や環境等に左右され、レンズに雨滴や汚れの付着等によるノイズにより十分な認識率を上げることが難しい。より安全な走行をするためには、道路標示の認識するための認識装置の性能を更に向上することが求められている。
【０００３】
特開２００８−２１００８４号公報に、車両に搭載され、該車両周辺の路面を定期的に撮影した画像を送出する撮影手段と、前記撮影手段から送出される映像画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換して記憶手段に記憶する画像変換手段と、前記画像変換手段によって変換された前記鳥瞰画像の前記車両本体側の一部に抽出対象領域を特定する抽出対象領域特定手段と、前記記憶手段に記憶された前記複数の鳥瞰画像から時系列に前記抽出対象領域の画像を抽出して垂直方向に連結させた合成画像を生成する合成画像生成手段と、前記合成画像生成手段によって生成された前記合成画像を対象として同路面に描かれた道路標示を画像認識する画像認識処理手段と、を備えたことを特徴とする道路標示認識装置が開示されている。該発明によれば、鳥瞰画像の車両本体側の一部を抽出対象領域として、複数の鳥瞰画像から、時系列に抽出対象領域の画像を抽出して連結させた合成画像が生成される。このとき、カメラに、車両の影が写る場合には、鳥瞰画像から輝度の低い領域を検出し、該領域を影と認識させて、該領域を抽出対象領域から除外する。合成画像は、鳥瞰画像の中でも確度の高い車両本体に近い領域の画像を連結して生成される。そして、この合成画像を対象として路面に描かれた道路標示の画像認識が実施される。
【０００４】
また、特開２００６−３１４０６０号公報に、撮像手段で撮像された画像を用いて、前記撮像手段で撮像された物体を検出する画像処理装置において、前記撮像手段で撮影された画像に所定の画像処理を施して、当該画像に含まれる画像領域ごとにノイズ度合いを判定し、当該ノイズ度合いが所定のしきい値以上であるかを判定するノイズ判定手段と、前記ノイズ度合いが所定のしきい値以上であると判断された画像領域におけるノイズ検出回数を加算する計数手段と、前記計数手段により計数されたノイズ検出回数が所定値以上である画像領域が、当該画像内位置において信頼性が低いノイズであると判定するノイズ位置判定手段とを備え、時間的に連続して撮像された複数の画像のそれぞれについて、前記ノイズ判定手段によりノイズ度合いを判定し、当該ノイズ度合いがしきい値以上である画像領域ごとにノイズ検出回数を前記計数手段により計数して、前記ノイズ位置判定手段は、前記複数の画像に亘って計数されたノイズ検出回数が所定地を超えた画像領域であるノイズの画像内位置を検出することを特徴とする画像処理装置が開示されている。
【０００５】
また、特開２００５−３０１５１７号公報に、現在の画像と所定時間前の画像との差分画像を作成する差分画像取得手段と、前記差分画像の画素値に基づくマスク画像を作成するマスク画像作成手段と、前記マスク画像と現在の画像とから中間第一画像を作成する中間第一画像作成手段と、現在の画像のなまし画像と、前記なまし画像を反転した反転画像とを求め、前記なまし画像と前記反転画像とをから中間第二画像を作成する中間第二画像作成手段と、前記中間第一画像と前記中間第二画像とを統合した統合画像を作成する統合画像作成手段とを備えることを特徴とする画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２１００８４号公報
【特許文献２】特開２００６−３１４０６０号公報
【特許文献３】特開２００５−３０１５１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術では、輝度の低い領域を検出することで、車両の影を除外することができるが、レンズに付着した雨滴や汚れは、輝度が低くなるとは限らないために、正常に検出することができない可能性がある。その結果、雨滴や汚れが付着したカメラの撮影画像によって作成した画像で、画像認識を実行することになりうる。これにより、道路標示認識装置の認識性能の低下を引き起こす可能性がある。
【課題を解決するための手段】
【０００８】
以下に、発明を実施するための形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための形態との対応関係を明らかにするために括弧付きで付加されたものである。ただし、それらの番号・符号を、特許請求の範囲に記載されている発明の技術的範囲の解釈に用いてはならない。
【０００９】
本発明に係る道路標示認識装置（１０００）は、画像変換部（１１５）と、複数鳥瞰画像生成部（１２３）と、最適画像選定部（１３８）とを具備する。画像変換部（１１５）は、撮影装置（１１０）からの路面画像（３００）に基づいて、路面画像（３００）を鳥瞰画像（３１９）に変換する。複数鳥瞰画像生成部（１２３）は、鳥瞰画像（３１９）を細分化し部分的な鳥瞰画像（４２１、４２３、４２５）を生成し、これら部分的な鳥瞰画像（４２１、４２３、４２５）を撮影装置（１１０）の撮影する時間間隔毎に時系列順に合成し、複数の合成鳥瞰画像（５２１、５２３、５２５）を生成する。最適画像選定部（１３８）は、複数の合成鳥瞰画像（５２１、５２３、５２５）において、撮影装置（１１０）がレンズに付着物（３５１）を有するときの、付着物（３５１）による合成鳥瞰画像（５２１、５２３、５２５）への影響の有無を検知し、付着物（３５１）による影響が無い、或いは付着物（３５１）による影響が所定の基準以下である合成鳥瞰画像（５２３、５２５）の中から、所定の選定基準により信頼性の高い合成鳥瞰画像（５２３）を選出する。
【００１０】
また、本発明に係る道路標示認識装置（１０００）は、撮影装置（１１０）が撮影した路面画像（３００）を鳥瞰画像（３１９）に変換するステップと、鳥瞰画像（３１９）を細分化し部分的な鳥瞰画像（４２１、４２３、４２５）を生成するステップと、部分的な鳥瞰画像（４２１、４２３、４２５）を撮影装置（１１０）の撮影する時間間隔毎に時系列順に合成し、複数の合成鳥瞰画像（５２１、５２３、５２５）を生成するステップと、複数の合成鳥瞰画像（５２１、５２３、５２５）において、撮影装置（１１０）が付着物（３５１）を有するときの、付着物（３５１）の影響の有無を検知するステップと、付着物（３５１）による影響が無い、或いは付着物（３５１）による影響が所定の基準以下である合成鳥瞰画像（５２３、５２５）の中から、所定の選定基準により信頼性の高い合成鳥瞰画像（５２３）を選出するステップとを具備する。
【発明の効果】
【００１１】
本発明によれば、撮影装置のレンズの一部分に雨滴や汚れが付着した場合に、画像認識性能の低下や誤認識を防止できる。
【図面の簡単な説明】
【００１２】
【図１Ａ】図１Ａは、本発明の実施形態の道路標示認識装置１０００のハードウェアの構成を示す図である。
【図１Ｂ】図１Ｂは、本発明の実施形態の道路標示認識装置１０００の機能の構成を示す機能ブロック図である。
【図１Ｃ】図１Ｃは、本発明の実施形態の道路標示認識装置１０００の詳細な機能の構成を示す機能ブロック図である。
【図２】図２は、道路標示認識装置１０００の制御方法を示すフローチャートである。
【図３】図３は、撮影装置１１０からの路面画像を画像変換部１１５に入力してから、画像変換部１１５が鳥瞰画像を出力するまでの処理を示す模式図である。
【図４】図４は、画像変換部１１５が鳥瞰画像を出力してから、合成部分画像を出力するまでの処理を示す模式図である。
【図５】図５は、抽出対象領域選択部１２０が複数の合成部分画像を出力してから、合成鳥瞰画像生成部１２５が合成鳥瞰画像を生成するまでの処理を示す模式図である。
【図６】図６は、合成鳥瞰画像生成部１２５が前述の特徴値計算領域の座標を出力してから、合成鳥瞰画像特徴値計算部１３０が各合成鳥瞰画像の特徴値を計算するまでの処理を示す模式図である。
【図７】図７は、特徴値平均計算部１３５が特徴値平均を計算するまでの処理を示す模式図である。
【図８】図８は、特徴値比較部１４０がレンズの付着物による影響を受けた特徴値を除外するまでの処理を示す模式図である。
【図９】図９は、合成鳥瞰画像選出部１４５が最も信頼性の高い特徴値グラフを選出し、選出された特徴値グラフに対応する合成鳥瞰画像を出力するまでの処理を示す模式図である。
【図１０】図１０は、画像認識部１５０が道路標識を認識するまでの処理を示す模式図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を図面に基づいて説明する。なお、実施の形態を説明するための図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００１４】
以下に、図面を参照して、本実施形態の道路標示認識装置１０００について説明を行う。
【００１５】
図１Ａは、本発明の実施形態の道路標示認識装置１０００のハードウェアの構成を示す図である。道路標示認識装置１０００は、コンピュータに例示される情報処理装置であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１９８と、記憶装置１９９と、入力装置（図示せず）と、出力装置（図示せず）と、インターフェース（図示せず）とを備えている。また道路標示認識装置１０００は、外部からの入力として、車両速度センサ部１０５、及び撮影装置１１０と接続されている。ＣＰＵ１９８、記憶装置１９９、入力装置、出力装置、及びインターフェースは、バスやケーブルによりお互いに情報の送受信が可能なように接続されている。記憶装置１９９は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に例示される。入力装置は、キーボード、及びマウスに例示される。出力装置は、ディスプレイやプリンタに例示される。インターフェースは、外部のコンピュータや記憶装置１９９や記憶媒体読取装置などと双方向通信可能に接続されている。
【００１６】
ＣＰＵ１９８は、例えばコンピュータプログラムをＲＡＭに展開する。そして、展開されたコンピュータプログラムを実行して、必要に応じて記憶装置１９９や入力装置や出力装置のようなハードウェアを制御しながら、当該コンピュータプログラムの情報処理を実現する。記憶装置１９９は、コンピュータプログラムを記録し、ＣＰＵ１９８が利用する情報や生成する情報を記録する。入力装置は、ユーザに操作されることにより生成される情報を、ＣＰＵ１９８や記憶装置１９９に出力する。出力装置は、ＣＰＵ１９８により生成された情報や記憶装置の情報を、ユーザに認識可能なように出力する。また、車両速度センサ部１０５は、走行している車両の速度を道路標示認識装置１０００へ出力する。また撮影装置１１０は、走行している路面の画像を道路標示認識装置１０００へ出力する。道路標示認識装置１０００は、外部入力である、車両速度センサ部１０５からの車両の速度の情報や、撮影装置１１０からの路面の画像を、記憶装置１９９に記録する。
【００１７】
図１Ｂは、本発明の実施形態の道路標示認識装置１０００の機能の構成を示す機能ブロック図である。道路標示認識装置１０００は、画像変換部１１５、複数鳥瞰画像生成部１２３、最適画像選定部１３８、及び画像認識部１５０を有する。
【００１８】
画像変換部１１５は、撮影装置１１０からの路面の画像を入力とし、入力画像を鳥瞰画像に変換し、変換した鳥瞰画像を複数鳥瞰画像生成部１２３に出力する。
【００１９】
複数鳥瞰画像生成部１２３は、画像変換部１１５が出力した鳥瞰画像を入力とし、入力画像を、複数の領域に細分化する。次に細分化した各領域から取得した部分的な鳥瞰画像を、撮影装置１１０の撮影間隔の時間毎に時系列に合成し、複数の鳥瞰画像を生成する。生成した複数の鳥瞰画像を最適画像選定部１３８に出力する。
【００２０】
最適画像選定部１３８は、複数鳥瞰画像生成部１２３が出力した複数の鳥瞰画像を入力とし、入力画像上における、撮影装置１１０が有する付着物による影響の有無を検知する。その結果、付着物の影響が確認されなかった鳥瞰画像の中から、所定の基準により最も信頼性の高い鳥瞰画像を、画像認識部１５０に出力する。
【００２１】
画像認識部１５０は、最適画像選定部１３８からの鳥瞰画像を入力とし、画像認識の結果を外部表示装置（図示せず）に出力する。
【００２２】
これらの機能の実施は、プログラムなどに例示されるソフトウェアに拠っても、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などに例示されるハードウェアに拠っても、ソフトウェアとハードウェアの組み合わせに拠っても良い。
【００２３】
図１Ｃは、本発明の実施形態の道路標示認識装置１０００の詳細な機能の構成を示す機能ブロック図である。道路標示認識装置１０００は、画像変換部１１５、抽出対象領域選択部１２０、合成鳥瞰画像生成部１２５、合成鳥瞰画像特徴値計算部１３０、特徴値平均計算部１３５、特徴値比較部１４０、合成鳥瞰画像選出部１４５、及び画像認識部１５０を有する。
【００２４】
画像変換部１１５は、撮影装置１１０からの路面の画像を入力とし、入力画像を鳥瞰画像に変換し、変換した画像を抽出対象領域選択部１２０に出力する。
【００２５】
抽出対象領域選択部１２０は、画像変換部１１５からの鳥瞰画像、及び外部の車両速度センサ部１０５からの車両の走行速度を入力とし、入力された鳥瞰画像に複数の基点を設定し、これら複数の基点から、車両の走行速度に応じた距離までを、複数の抽出対象領域として選択し、選択した結果を合成鳥瞰画像生成部１２５に出力する。
【００２６】
合成鳥瞰画像生成部１２５は、抽出対象領域選択部１２０からの複数の抽出対象領域の選択結果を入力とし、その複数の抽出対象領域にて抽出された、複数の合成部分画像を合成することにより、複数の合成鳥瞰画像を生成し、合成鳥瞰画像特徴値計算部１３０に出力する。
【００２７】
合成鳥瞰画像特徴値計算部１３０は、合成鳥瞰画像生成部１２５からの複数の合成鳥瞰画像を入力とし、これら複数の入力画像を基に、後述する複数の特徴値を算出し、算出した複数の特徴値を特徴値平均計算部１３５、及び特徴値比較部１４０に出力する。
【００２８】
特徴値平均計算部１３５は、合成鳥瞰画像特徴値計算部１３０からの複数の特徴値を入力とし、平均値を計算し、計算結果を特徴値比較部１４０に出力する。
【００２９】
特徴値比較部１４０は、合成鳥瞰画像特徴値計算部１３０からの複数の特徴値と、特徴値平均計算部１３５からの平均値を入力とし、複数の特徴値と平均値の比較結果を、合成鳥瞰画像選出部１４５に出力する。
【００３０】
合成鳥瞰画像選出部１４５は、特徴値比較部１４０からの特徴値の比較結果を入力とし、特徴値比較部が除外しなかった合成鳥瞰画像の中から最も信頼性の高い合成鳥瞰画像を選出し、選出した合成鳥瞰画像を画像認識部１５０に出力する。
【００３１】
画像認識部１５０は、合成鳥瞰画像選出部１４５からの合成鳥瞰画像を入力とし、画像認識の結果を外部表示装置（図示せず）に出力する。
【００３２】
これらの機能の実施は、プログラムなどに例示されるソフトウェアに拠っても、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などに例示されるハードウェアに拠っても、ソフトウェアとハードウェアの組み合わせに拠っても良い。
【００３３】
以下では、本実施形態に係る道路標示認識装置１０００の動作方法をより詳細に説明する。
【００３４】
図２は、本発明の道路標示認識装置１０００の動作方法を示すフローチャートである。
【００３５】
ステップＳ２１０において、画像変換部１１５は、撮影装置１１０から、撮影装置１１０で撮影された路面の画像を記憶装置１９９から読み出す。また、抽出対象領域選択部１２０は、車両速度センサ部１０５から、車両の走行速度を記憶装置１９９から読み出す。
【００３６】
次に、ステップＳ２２０において、画像変換部１１５は、前述の撮影装置１１０により撮影された画像を鳥瞰画像に変換する。
【００３７】
次に、ステップＳ２３０において、抽出対象領域選択部１２０は、前述の読み出した走行速度から、撮影装置１１０により撮影される画像の撮影間隔の時間に車両が走行する距離を計算する。その後、鳥瞰画像上の複数の基点から、撮影間隔時間での車両の走行距離までの領域を、各々の抽出対象領域として選択し、各々の抽出対象領域の座標を求める。
【００３８】
次に、ステップＳ２４０において、合成鳥瞰画像生成部１２５は、各々の抽出対象領域で撮影された部分的な鳥瞰画像を時系列に連結して、基点の数だけの合成鳥瞰画像を生成する。その後、レンズの雨滴や汚れを検知する指標となる、特徴値の計算領域を決定して、特徴値計算領域の座標を求める。
【００３９】
次に、ステップＳ２５０において、合成鳥瞰画像特徴値計算部１３０は、ステップＳ２４０で決定された、各々の合成鳥瞰画像の特徴値抽出領域から、各々の輝度分布を計算し、それを基に特徴値を計算する。
【００４０】
次に、ステップＳ２６０において、特徴値平均計算部１３５は、各々の特徴値の平均を計算する。
【００４１】
次に、ステップＳ２７０において、特徴値比較部１４０は、特徴値の平均に対して、一定の割合以上の差分がある特徴値を除外し、更に、除外した特徴値の基となった合成鳥瞰画像を除外する。
【００４２】
次に、ステップＳ２８０において、合成鳥瞰画像選出部１４５は、除外されていない複数の合成鳥瞰画像のうち、最も撮影装置１１０に近い抽出対象領域から作成した、最も信頼性の高い合成鳥瞰画像を選択し、画像認識部１５０に出力する。
【００４３】
最後に、ステップＳ２９０において、画像認識部１５０は、合成鳥瞰画像選出部１４５が出力した合成鳥瞰画像で道路標示認識を実行して、該認識結果を外部装置（図示せず）に出力する。
【００４４】
以下では、道路標示認識装置１０００における、上述の各構成要素、及び各ステップの動作について、更に詳細に説明する。
【００４５】
図３は、画像変換部１１５が、撮影装置１１０からの路面画像を入力として読み出してから、鳥瞰画像を出力するまでの処理を示す模式図である。これは図２においてステップＳ２２０に対応する。
【００４６】
図３（ａ）は、撮影装置１１０が撮影した入力画像３００である。路面画像３００には、撮影装置１１０から見た前方の道路が写っている。路面画像３００には、左レーン３６１、右レーン３６３、及びレンズに付着した雨滴３５１が写り込んでいる。また、路面画像３００内の破線で囲まれた三つの領域は、後述する抽出対象領域であり、各々を第一抽出対象領域３１１、第二抽出対象領域３１３、第三抽出対象領域３１５とする。これらの抽出対象領域を示す破線は実際には路面画像３００に写っていない。尚、以降全ての図において、左レーン３６１から右レーン３６３に向かう方向をｘ軸とし、車両の進行方向（画像上では上方に向かう方向）をｙ軸とする。
【００４７】
図３（ｂ）は、路面画像３００を鳥瞰画像に変換後の画像である、鳥瞰画像３１９である。画像変換部１１５は、撮影装置１１０が出力する路面画像３００を入力とし、鉛直方向から地上面を見下ろした画像である鳥瞰画像３１９に変換する。撮影装置１１０のレンズに雨滴３５１が付着して、路面画像３００に雨滴３５１が写り込む場合、鳥瞰画像３１９内にも雨滴３５１が写り込む。その結果として、鳥瞰画像３１９においても、右レーン３６３上に雨滴３５１が写り込んでいる。
【００４８】
図４は、抽出対象領域選択部１２０が、画像変換部１１５の出力である鳥瞰画像を入力とし、抽出対象領域を選択してから、後述する合成部分画像を出力するまでの処理を示す模式図である。これは、図２においてステップＳ２３０に対応する。
【００４９】
図４（ａ）は、画像変換部１１５によって変換された、路面画像３００の鳥瞰画像３１９である。これは図３（ｂ）と同一の画像である。この鳥瞰画像３１９は、抽出対象領域選択部１２０の入力となる。
【００５０】
図４（ｂ）は、抽出対象領域選択部１２０によって、抽出対象となる領域を設定した鳥瞰画像３１９である。ここで、鳥瞰画像３１９上には、第一抽出対象領域３１１、第二抽出対象領域３１３、第三抽出対象領域３１５の三領域が設定してある。ここで、第一抽出対象領域３１１が、撮影装置１１０から最も近い領域であり、第三抽出対象領域３１５が、撮影装置１１０から最も遠い領域である。これらの抽出対象領域は、図３（ａ）に示された各抽出対象領域に対応している。また、第一抽出対象領域３１１内には、雨滴３５１が写り込んでいる。また、各抽出対象領域の、右下隅の座標を基点とし、各々を第一基点３０１、第二基点３０３、第三基点３０５とする。
【００５１】
ここで抽出対象領域選択部１２０が、図４（ｂ）に示された複数の抽出対象領域である、第一抽出対象領域３１１、第二抽出対象領域３１３、第三抽出対象領域３１５の三領域を選択する手順を説明する。本実施形態においては、抽出対象領域選択部１２０は、鳥瞰画像３１９上のｙ軸方向で任意の基準距離毎に３つ以上の複数の基点を設定する。この基点の数が、抽出対象となる領域の数となる。
【００５２】
また、抽出対象領域選択部１２０は、車両速度センサ部１０５が出力する車速情報から、撮影装置１１０が画像を撮影する時間間隔中に車両が走行する距離を計算する。この計算結果である走行距離を、設定した基点に加算し、基点から基点に走行距離を加算した点までの領域を、各々抽出対象領域とする。この抽出対象領域は、各々の抽出対象領域が離れていても、抽出対象領域の一部分が重なっていても良い。
【００５３】
図４（ｃ）は、抽出対象領域選択部１２０によって、各々の抽出対象領域から抽出した合成部分画像である。合成部分画像は、後述する合成鳥瞰画像の一要素であり、合成部分画像を複数連結することにより、合成された鳥瞰画像を完成させる。ここで、第一抽出対象領域３１１から抽出した画像を、第一合成部分画像４２１、第二抽出対象領域３１３から抽出した画像を、第二合成部分画像４２３、第三抽出対象領域３１５から抽出した画像を、第三合成部分画像４２５とする。第一合成部分画像４２１には、レーンの一部分である左レーン３６１ａ及び右レーン３６３ａが写っている。また、第一合成部分画像４２１には、雨滴３５１が写り込んでいる。同様に、第二合成部分画像４２３には、レーンの一部分である左レーン３６１ｈ及び右レーン３６３ｈが写っており、第三合成部分画像４２５には、レーンの一部分である左レーン３６１ｐ及び右レーン３６３ｐが写っている。
【００５４】
更に、抽出対象領域選択部１２０は、鳥瞰画像３１９における抽出対象領域左下、及び右上の座標を、合成鳥瞰画像生成部１２５に出力する。
【００５５】
以上、本実施形態における、抽出対象領域選択部１２０が抽出対象領域を選択する手順を示したが、抽出対象領域を選択する手順は上述の手順に限定されることはない。本実施形態では、任意の基準距離毎に基点を設けることで領域を選択したが、必ずしも基点を設ける必要は無く、必要に応じて任意の方法で任意の領域範囲を任意の領域数だけ選択することができる。
【００５６】
図５は、合成鳥瞰画像生成部１２５が、抽出対象領域選択部１２０の出力である複数の合成部分画像を入力として、各々の合成部分画像を連結し、合成鳥瞰画像を生成するまでの処理を示す模式図である。これは、図２においてステップＳ２４０に対応する。
【００５７】
図５（ａ）は、抽出対象領域選択部１２０からの出力である第一合成部分画像４２１を入力とした、第一合成鳥瞰画像５２１である。第一合成鳥瞰画像５２１は、第一抽出対象領域３１１から抽出された合成部分画像４２１を、撮影時間の時系列順に四枚連結させた合成鳥瞰画像である。これら四枚の合成部分画像を、撮影時刻の時系列順に各々、第一合成部分画像４２１ａ、第一合成部分画像４２１ｂ、第一合成部分画像４２１ｃ、第一合成部分画像４２１ｄとする。これら四枚の合成部分画像は、撮影間隔毎に連続して撮影された画像である。第一合成部分画像４２１ａには、左レーンの一部３６１ａと右レーンの一部３６３ａと、写りこんだ雨滴３５１が写っている。同様に、第一合成部分画像４２１ｂには、左レーンの一部３６１ｂと右レーンの一部３６３ｂと、写りこんだ雨滴３５１が、第一合成部分画像４２１ｃには、左レーンの一部３６１ｃと右レーンの一部３６３ｃと、写りこんだ雨滴３５１が、第一合成部分画像４２１ｄには、左レーンの一部３６１ｄと右レーンの一部３６３ｄと、写りこんだ雨滴３５１が各々写っている。また、第一合成鳥瞰画像５２１の一部分を、後述する第一特徴値計算領域５３１とする。
【００５８】
合成鳥瞰画像生成部１２５は、抽出対象領域選択部１２０から出力された、複数の第一合成部分画像４２１を入力とする。本実施の形態では、第一合成部分画像４２１ａ、４２１ｂ、４２１ｃ、４２１ｄに該当する。合成鳥瞰画像生成部１２５は、撮影装置１１０が定められた撮影間隔毎に撮影した、複数の第一合成部分画像４２１を合成して一枚の合成鳥瞰画像とする。前述のように、抽出対象領域選択部１２０は、抽出対象領域を設定する際に、車両速度センサ部１０５が出力する車速情報から、撮影装置１１０が画像を撮影する時間間隔中に車両が走行する距離を計算する。この計算結果である走行距離を、設定した基点に加算し、基点から基点に走行距離を加算した点までの領域を、各々抽出対象領域としている。よって、連結した第一合成鳥瞰画像５２１は、撮影装置１１０に一番近い領域である第一抽出対象領域３１１で撮影された、連続した路面の画像となる。例えば、合成部分画像４２１ａ上の左レーン３６１ａの上端と、合成部分画像４２１ａ上の左レーン３６１ｂの下端は、切れ目のない連続したレーンとなっている。
【００５９】
最後に、合成鳥瞰画像生成部１２５は、生成した第一合成鳥瞰画像５２１を記憶装置１９９に記憶させる。同様に、撮影装置１１０から最も近い第一抽出対象領域３１１で生成された第一合成鳥瞰画像５２１の、左上の画像端の座標３３９を、後述する特徴値計算領域を決定するための情報として記憶する。
【００６０】
図５（ｂ）は、抽出対象領域選択部１２０からの出力である第二合成部分画像４２３を入力とした、第二合成鳥瞰画像５２３である。第二合成鳥瞰画像５２３は、第二抽出対象領域３１３から抽出された第二合成部分画像４２３を、撮影時間の時系列順に四枚連結させた合成鳥瞰画像である。これら四枚の合成部分画像を、各々撮影時刻の時系列順に、第二合成部分画像４２３ｈ、第二合成部分画像４２３ｉ、第二合成部分画像４２３ｊ、第二合成部分画像４２３ｋとする。これら四枚の合成部分画像は、撮影間隔毎に連続して撮影された画像である。第二合成部分画像４２３ｈには、左レーンの一部３６１ｈと右レーンの一部３６３ｈが写っている。同様に、第二合成部分画像４２３ｉには、左レーンの一部３６１ｉと右レーンの一部３６３ｉが、第二合成部分画像４２３ｊには、左レーンの一部３６１ｊと右レーンの一部３６３ｊが、第二合成部分画像４２３ｋには、左レーンの一部３６１ｋと右レーンの一部３６３ｋが各々写っている。また、第二合成鳥瞰画像５２３の一部分を、後述する第二特徴値計算領域５３３とする。
【００６１】
合成鳥瞰画像生成部１２５は、抽出対象領域選択部１２０から出力された、複数の第二合成部分画像４２３を入力とする。本実施の形態では、第二合成部分画像４２３ｈ、４２３ｉ、４２３ｊ、４２３ｋに該当する。合成鳥瞰画像生成部１２５は、撮影装置１１０が定められた撮影間隔毎に撮影した、複数の第二合成鳥瞰画像４２３を合成して一枚の合成鳥瞰画像とする。連結した第二合成鳥瞰画像５２３は、第一抽出対象領域３１１に次いで撮影装置１１０に近い領域である第二抽出対象領域３１３で撮影された、連続した路面の画像となる。例えば、合成部分画像４２３ｈ上の左レーン３６１ｈの上端と、合成部分画像４２３ｉ上の左レーン３６１ｉの下端は、切れ目のない連続したレーンとなっている。
【００６２】
最後に、合成鳥瞰画像生成部１２５は、生成した第二合成鳥瞰画像５２３を記憶装置１９９に記憶させる。
【００６３】
図５（ｃ）は、抽出対象領域選択部１２０からの出力である第三合成部分画像４２５を入力とした、第三合成鳥瞰画像５２５である。第三合成鳥瞰画像５２５は、第三抽出対象領域３１５から抽出された第三合成部分画像４２５を、撮影時間の時系列順に四枚連結させた合成鳥瞰画像である。これら四枚の合成部分画像を、各々撮影時刻の時系列順に、第三合成部分画像４２５ｐ、第三合成部分画像４２５ｑ、第三合成部分画像４２５ｒ、第三合成部分画像４２５ｓとする。これら四枚の合成部分画像は、撮影間隔毎に連続して撮影された画像である。第三合成部分画像４２５ｐには、左レーンの一部３６１ｐと右レーンの一部３６３ｐが写っている。同様に、第三合成部分画像４２５ｑには、左レーンの一部３６１ｑと右レーンの一部３６３ｑが、第三合成部分画像４２５ｒには、左レーンの一部３６１ｒと右レーンの一部３６３ｒが、第三合成部分画像４２５ｓには、左レーンの一部３６１ｓと右レーンの一部３６３ｓが各々写っている。また、第三合成鳥瞰画像５２５の一部分を、後述する第三特徴値計算領域５３５とする。
【００６４】
合成鳥瞰画像生成部１２５は、抽出対象領域選択部１２０から出力された、複数の第三合成部分画像４２５を入力とする。本実施の形態では、第三合成部分画像４２５ｐ、４２５ｑ、４２５ｒ、４２５ｓに該当する。合成鳥瞰画像生成部１２５は、撮影装置１１０が定められた撮影間隔毎に撮影した、複数の第三合成鳥瞰画像４２５を合成して一枚の合成鳥瞰画像とする。連結した第三合成鳥瞰画像５２５は、撮影装置１１０から最も遠い領域である抽出対象領域３１５で撮影された、連続した路面の画像となる。例えば、合成部分画像４２５ｐ上の左レーン３６１ｐの上端と、合成部分画像４２５ｑ上の左レーン３６１ｑの下端は、切れ目のない連続したレーンとなっている。
【００６５】
最後に、合成鳥瞰画像生成部１２５は、生成した第三合成鳥瞰画像５２５を記憶装置１９９に記憶させる。同様に、合成鳥瞰画像生成部１２５は、撮影装置１１０から最も遠い第三抽出対象領域３１５で生成された第三合成鳥瞰画像５２５において、第三合成部分画像４２５ｐの基点３３７の座標を、後述する特徴値計算領域を決定するための情報として記憶する。
【００６６】
ここで、図５（ａ）、図５（ｂ）、及び図５（ｃ）の三図は、共通のｙ軸を持つ。つまり、図５において、ある座標（ｘ，ｙ）は、図５（ａ）、図５（ｂ）、及び図５（ｃ）上で、路面の同一地点を示す。
【００６７】
次に、合成鳥瞰画像生成部１２５は、第三合成部分画像４２５ｐ上の基点３３７の座標と、第一合成鳥瞰画像５２１上の基点３３９の座標を読み出す。これらの基点３３７と基点３３９の座標を結ぶ直線を対角線とする矩形に囲まれた領域を、特徴値計算領域とする。このように特徴値計算領域の範囲を定めることで、各々の合成鳥瞰画像の、後述する特徴値を、道路上の同じ領域で求めることが可能となる。ここで、第一合成鳥瞰画像５２１、第二合成鳥瞰画像５２３、及び第三合成鳥瞰画像５２５の特徴値計算領域を各々、第一特徴値計算領域５３１、第二特徴値計算領域５３３、第三特徴値計算領域５３５とする。合成鳥瞰画像生成部１２５は、これら特徴値計算領域の座標を、後述する特徴値の計算をするための情報として出力する。
【００６８】
図６は、合成鳥瞰画像特徴値計算部１３０が、合成鳥瞰画像生成部１２５の出力である、前述の特徴値計算領域の座標を入力として、各合成鳥瞰画像の特徴値を計算するまでの処理を示す模式図である。これは、図２においてステップＳ２５０に対応する。
【００６９】
図６（ａ）は、第一合成鳥瞰画像５２１上の第一特徴値計算領域５３１から、特徴値を計算するまでの処理を示す模式図である。図６（ａ）の上段には、第一合成鳥瞰画像５２１において、第一特徴値計算領域５３１に囲まれた部分である、第一特徴値計算鳥瞰画像６３１が示されている。第一特徴値計算鳥瞰画像６３１には、左レーン３６１ｃ、３６１ｄ、右レーン３６３ｃ、３６３ｄ、及び雨滴３５１が写っている。中段には、第一特徴値計算鳥瞰画像６３１を基に計算される、輝度値のｘ方向の分布と輝度値の大きさを表す第一輝度分布グラフ６４１が示されている。また、第一輝度分布グラフ６４１には、輝度を二値化するための閾値６９０が示されている。下段には、第一輝度分布グラフ６４１を基に、輝度のｘ方向の分布を二値化した第一特徴値グラフ６５１が示されている。
【００７０】
合成鳥瞰画像特徴値計算部１３０は、第一特徴値計算鳥瞰画像６３１において、左端下辺（座標：ｘ６０，ｙ６０）から左端上辺（座標：ｘ６０，ｙ６９）までの各画素の輝度値を加算し、総和を求める。総和の値を、ｘ座標がｘ６０のときの輝度値として、第一輝度分布グラフ６４１上に記録する。この行程を、第一特徴値計算鳥瞰画像６３１の左端であるｘ６０から右端であるｘ６９まで一画素毎に行うことで、第一特徴値計算鳥瞰画像６３１のｘ軸方向の輝度値の分布が示される。この輝度値の分布を示したグラフが、第一輝度分布グラフ６４１である。なお、輝度値を求める際に、本実施形態では、輝度値の加算の行程の順序を左端下辺（座標：ｘ６０，ｙ６０）から左端上辺（座標：ｘ６０，ｙ６９）、としたが、右端（座標：ｘ６９）から始めても、また上辺（座標：ｙ６９）から始めてもよい。
【００７１】
路面よりも相対的に輝度値が高い領域は、左レーン３６１ｃ、３６１ｄ、右レーン３６３ｃ、３６３ｄ、写り込んだ雨滴３５１である。よって、左レーン３６１ｃ、３６１ｄのレーン幅の間（ｘ６１とｘ６２の間）の輝度値は、路面と比べ大きな値を示す。同様に、右レーン３６３ｃ、３６３ｄのレーン幅の間（ｘ６４とｘ６５の間）の輝度値も大きな値を示す。更に、第一特徴値計算鳥瞰画像６３１には雨滴３５１が写り込んでいる。この雨滴３５１の影響で、右レーン３６３ｃ、３６３ｄの一部は輝度値分布がｘ軸方向に広がる（ｘ６３とｘ６６の間）。よって、輝度分布は、右レーン３６３ｃ、３６３ｄのレーン幅を中心に凸型となる。
【００７２】
第一輝度分布グラフ６４１には、前述の通り、二値化のための閾値６９０が設けられている。合成鳥瞰画像特徴値計算部１３０は、第一輝度分布グラフ６４１で示されたｘ軸上の各座標での輝度値が、閾値６９０を超えるかどうかを判定する。あるｘ軸上の座標の輝度値が閾値６９０を超える場合は１を、超えない場合は０を、第一特徴値グラフ６５１上に記録する。この行程を、第一特徴値計算鳥瞰画像６３１の左端であるｘ６０から右端であるｘ６９まで、一画素毎に行うことで、第一特徴値計算鳥瞰画像６３１の、ｘ軸方向の輝度値を二値化できる。輝度値を二値化したものを特徴値とし、これを示したグラフが、第一特徴値グラフ６５１である。第一特徴値グラフ６５１では、左レーン３６１ｃ、３６１ｄのレーン幅の間（ｘ６１とｘ６２の間）と、雨滴３５１の横幅（ｘ６３とｘ６６の間）において、輝度値が閾値６９０を超えるため、１となる。その他の路面部分は、０となる。なお、本実施形態では、輝度値の二値化を行う際に、二値化の行程の順序を、左端であるｘ６０から右端であるｘ６９まで、としたが、右端であるｘ６９から左端であるｘ６０までとしてもよい。
【００７３】
図６（ｂ）は、第二合成鳥瞰画像５２３上の第二特徴値計算領域５３３から、特徴値を計算するまでの処理を示す模式図である。図６（ｂ）の上段には、第二合成鳥瞰画像５２３において、第二特徴値計算領域５３３に囲まれた部分である、第二特徴値計算鳥瞰画像６３３が示されている。第二特徴値計算鳥瞰画像６３３には、左レーン３６１ｉ、３６１ｊ、及び右レーン３６３ｉ、３６３ｊが写っている。中段には、第二特徴値計算鳥瞰画像６３３を基に計算される、輝度値のｘ方向の分布と輝度値の大きさを表す第二輝度分布グラフ６４３が示されている。また、第二輝度分布グラフ６４３には、輝度を二値化するための閾値６９０が示されている。下段には、第二輝度分布グラフ６４３を基に、輝度のｘ方向の分布を二値化した第二特徴値グラフ６５３が示されている。
【００７４】
合成鳥瞰画像特徴値計算部１３０は、第二特徴値計算鳥瞰画像６３３において、左端下辺（座標：ｘ６０，ｙ６０）から左端上辺（座標：ｘ６０，ｙ６９）までの各画素の輝度値を加算し、総和を求める。総和の値を、ｘ座標がｘ６０のときの輝度値として、第二輝度分布グラフ６４３上に記録する。この行程を、第二特徴値計算鳥瞰画像６３３の左端であるｘ６０から右端であるｘ６９まで一画素毎に行うことで、第二特徴値計算鳥瞰画像６３３のｘ軸方向の輝度値の分布が示される。この輝度値の分布を示したグラフが、第二輝度分布グラフ６４３である。なお、輝度値を求める際に、本実施形態では、輝度値の加算の行程の順序を左端下辺（座標：ｘ６０，ｙ６０）から左端上辺（座標：ｘ６０，ｙ６９）、としたが、右端（座標：ｘ６９）から始めても、また上辺（座標：ｙ６９）から始めてもよい。
【００７５】
路面よりも相対的に輝度値が高い領域は、左レーン３６１ｉ、３６１ｊ、及び右レーン３６３ｉ、３６３ｊである。よって、左レーン３６１ｉ、３６１ｊのレーン幅の間（ｘ６１とｘ６２の間）の輝度値は、路面と比べ大きな値を示す。同様に、右レーン３６３ｉ、３６３ｊのレーン幅の間（ｘ６４とｘ６５の間）の輝度値も大きな値を示す。
【００７６】
第二輝度分布グラフ６４３には、前述の通り、二値化のための閾値６９０が設けられている。合成鳥瞰画像特徴値計算部１３０は、第二輝度分布グラフ６４３で示されたｘ軸上の各座標での輝度値が、閾値６９０を超えるかどうかを判定する。あるｘ軸上の座標の輝度値が閾値６９０を超える場合は１を、超えない場合は０を、第二特徴値グラフ６５３上に記録する。この行程を、第二特徴値計算鳥瞰画像６３３の左端であるｘ６０から右端であるｘ６９まで、一画素毎に行うことで、第二特徴値計算鳥瞰画像６３３の、ｘ軸方向の輝度値を二値化できる。輝度値を二値化したものを特徴値とし、これを示したグラフが、第二特徴値グラフ６５３である。第二特徴値グラフ６５３では、左レーン３６１ｉ、３６１ｊのレーン幅の間（ｘ６１とｘ６２の間）と、右レーン３６３ｉ、３６３ｊのレーン幅の間（ｘ６４とｘ６５の間）において、輝度値が閾値６９０を超えるため、１となる。その他の路面部分は、０となる。
【００７７】
図６（ｃ）は、第三合成鳥瞰画像５２５上の第三特徴値計算領域５３５から、特徴値を計算するまでの処理を示す模式図である。図６（ｃ）の上段には、第三合成鳥瞰画像５２５において、第三特徴値計算領域５３５に囲まれた部分である、第三特徴値計算鳥瞰画像６３５が示されている。第三特徴値計算鳥瞰画像６３５には、左レーン３６１ｐ、３６１ｑ、及び右レーン３６３ｐ、３６３ｑが写っている。中段には、第三特徴値計算鳥瞰画像６３５を基に計算される、輝度値のｘ方向の分布と輝度値の大きさを表す第三輝度分布グラフ６４５が示されている。また、第三輝度分布グラフ６４５には、輝度を二値化するための閾値６９０が示されている。下段には、第三輝度分布グラフ６４５を基に、輝度のｘ方向の分布を二値化した第三特徴値グラフ６５５が示されている。
【００７８】
合成鳥瞰画像特徴値計算部１３０は、第三特徴値計算鳥瞰画像６３５において、左端下辺（座標：ｘ６０，ｙ６０）から左端上辺（座標：ｘ６０，ｙ６９）までの各画素の輝度値を加算し、総和を求める。総和の値を、ｘ座標がｘ６０のときの輝度値として、第三輝度分布グラフ６４５上に記録する。この行程を、第三特徴値計算鳥瞰画像６３５の左端であるｘ６０から右端であるｘ６９まで一画素毎に行うことで、第三特徴値計算鳥瞰画像６３５のｘ軸方向の輝度値の分布が示される。この輝度値の分布を示したグラフが、第三輝度分布グラフ６４５である。なお、輝度値を求める際に、本実施形態では、輝度値の加算の行程の順序を左端下辺（座標：ｘ６０，ｙ６０）から左端上辺（座標：ｘ６０，ｙ６９）、としたが、右端（座標：ｘ６９）から始めても、また上辺（座標：ｙ６９）から始めてもよい。
【００７９】
路面よりも相対的に輝度値が高い領域は、左レーン３６１ｐ、３６１ｑ、及び右レーン３６３ｐ、３６３ｑである。よって、左レーン３６１ｐ、３６１ｑのレーン幅の間（ｘ６１とｘ６２の間）の輝度値は、路面と比べ大きな値を示す。同様に、右レーン３６３ｐ、３６３ｑのレーン幅の間（ｘ６４とｘ６５の間）の輝度値も大きな値を示す。
【００８０】
第三輝度分布グラフ６４５には、前述の通り、二値化のための閾値６９０が設けられている。合成鳥瞰画像特徴値計算部１３０は、第三輝度分布グラフ６４５で示されたｘ軸上の各座標での輝度値が、閾値６９０を超えるかどうかを判定する。あるｘ軸上の座標の輝度値が閾値６９０を超える場合は１を、超えない場合は０を、第三特徴値グラフ６５５上に記録する。この行程を、第三特徴値計算鳥瞰画像６３５の左端であるｘ６０から右端であるｘ６９まで、一画素毎に行うことで、第三特徴値計算鳥瞰画像６３５の、ｘ軸方向の輝度値を二値化できる。輝度値を二値化したものを特徴値とし、これを示したグラフが、第三特徴値グラフ６５５である。第三特徴値グラフ６５５では、左レーン３６１ｐ、３６１ｑのレーン幅の間（ｘ６１とｘ６２の間）と、右レーン３６３ｐ、３６３ｑのレーン幅の間（ｘ６４とｘ６５の間）において、輝度値が閾値６９０を超えるため、１となる。その他の路面部分は、０となる。
【００８１】
図７は、平均計算部１３５が、合成鳥瞰画像特徴値計算部１３０の出力である、各特徴値計算鳥瞰画像から計算した特徴値を入力として、特徴値平均７１０を計算するまでの処理を示す模式図である。これは、図２においてステップＳ２６０に対応する。
【００８２】
図７の上段には、合成鳥瞰画像特徴値計算部１３０から出力された、第一特徴値グラフ６５１、第二特徴値グラフ６５３、及び第三特徴値グラフ６５５が示されている。図７の中段には、特徴値平均計算部１３５が、入力の特徴値グラフを基に計算した、特徴値合算グラフ７００が示されている。図７の下段には、特徴値平均計算部１３５が、特徴値合算グラフ７００を基に計算した、特徴値平均グラフ７１０が示されている。
【００８３】
特徴値平均計算部１３５は、合成鳥瞰画像特徴値計算部１３０から出力された、第一特徴値グラフ６５１、第二特徴値グラフ６５３、及び第三特徴値グラフ６５５を入力とする。入力された三つの特徴値グラフに対し、特徴値平均計算部１３５は、それぞれの特徴値グラフの、ｘ軸上のある座標ｘαにおける特徴値を合算し記憶する。例えば、ｘ座標がｘ６１とｘ６２の間では、入力である三つの特徴値グラフのいずれも特徴値は１であるので、合算した結果は３となる。一方、ｘ座標がｘ６３とｘ６４の間では、第一特徴値グラフ６５１においては１であるが、第二特徴値グラフ６５３、及び第三特徴値グラフ６５５では０であるため、合算した結果は１となる。この行程を、左端の座標であるｘ６０から、右端の座標であるｘ６９まで一画素ごとに実行し記憶する。この結果得られるグラフが、図７の中段に示された、特徴値合算グラフ７００である。
【００８４】
次に、特徴値平均計算部１３５は、前述の行程で得られた特徴値合算グラフ７００を用いて、座標ｘαにおける特徴値の合算を、基点の数で割る。本実施形態では、基点の数は３であるので、各特徴値の合算を３で割る。この行程を、左端の座標であるｘ６０から、右端の座標であるｘ６９まで一画素ごとに実行し記憶する。この行程により、複数の合成鳥瞰画像上の特徴値計算領域から得られた、特徴値の平均のｘ軸方向の分布が得られる。
【００８５】
次に、特徴値平均計算部１３５は、得られた座標ｘαにおける特徴値の平均が、１であるか否かを調べる。座標ｘα上に、道路標示が存在する場合、雨滴の影響の有無に拘らず、合成鳥瞰画像上の全ての特徴値計算領域において高い輝度を示す。よって、座標ｘα上での特徴値の平均は１を示す。一方で、座標ｘα上に、道路標示が存在しないが、雨滴の影響により、ある特徴値計算領域においてのみ輝度が検出された場合、特徴値の平均は１未満で、且つ０で無い値となる。特徴値は二値化された値であるので、この場合、特徴値平均計算部１３５は特徴値の平均を０として記憶する。最後に、座標ｘα上に、道路標示が存在せず、かつ雨滴の影響も無い場合は、特徴値の合算が０であるので、特徴値の平均も０となる。この行程を、左端の座標であるｘ６０から、右端の座標であるｘ６９まで一画素ごとに実行し記憶する。これにより、複数の合成鳥瞰画像上の特徴値計算領域から得られた、二値化された特徴値の平均のｘ軸方向の分布が得られる。この二値化された特徴値の平均のｘ軸方向の分布を示したグラフが、特徴値平均グラフ７１０である。特徴値平均計算部１３５は、この特徴値平均グラフ７１０を出力とする。なお、本実施形態では、特徴値の合算と平均の計算を行う際に、計算の順序を、左端であるｘ６０から右端であるｘ６９まで、としたが、右端であるｘ６９から左端であるｘ６０までとしてもよい。
【００８６】
図８は、特徴値比較部１４０が、合成鳥瞰画像特徴値計算部１３０が計算した複数の特徴値グラフと、特徴値平均計算部１３５が計算した特徴値平均７１０を入力として、レンズの付着物による影響を受けた特徴値を除外するまでの処理を示す模式図である。これは、図２においてステップＳ２７０に対応する。
【００８７】
図８（ａ）は、特徴値比較部１４０が、第一特徴値グラフ６５１と特徴値平均７１０を比較し、第一特徴値グラフ６５１がレンズの付着物による影響を受けているかを判断する処理を示す模式図である。図８（ａ）の上段には、合成鳥瞰画像特徴値計算部１３０から出力された、第一特徴値グラフ６５１が示されている。中段には、特徴値平均計算部１３５から出力された、特徴値平均７１０が示されている。下段には何も示されていない。これは、特徴値比較部１４０が、第一特徴値グラフ６５１と特徴値平均７１０を比較した結果として、第一特徴値グラフ６５１が除外された結果を示している。
【００８８】
特徴値比較部１４０は、合成鳥瞰画像特徴値計算部１３０から出力された第一特徴値グラフ６５１と、特徴値平均計算部１３５から出力された特徴値平均７１０を入力とする。次に、特徴値比較部１４０は、入力である第一特徴値グラフ６５１と特徴値平均７１０を比較する。特徴値平均７１０は、ｘ軸方向に任意の閾値±δを持っている。特徴値比較部１４０は、第一特徴値グラフ６５１と特徴値平均７１０の間に、この閾値±δ以上の差分がある場合、第一特徴値グラフ６５１は特徴値平均７１０から逸脱している、と判断する。第一特徴値グラフ６５１が、特徴値平均７１０から逸脱していなければ、第一特徴値グラフ６５１はレンズの付着物による影響を受けていないと判断される。一方で、第一特徴値グラフ６５１が、特徴値平均７１０から逸脱している場合、第一特徴値グラフ６５１はレンズの付着物による影響を受けていると判断される。
【００８９】
ここで、第一特徴値グラフ６５１と特徴値平均７１０を比較する。左レーンの位置に対応する第一特徴値グラフ６５１の特徴値は、座標ｘ６１とｘ６２の間に位置しており、特徴値平均７１０の示す特徴値±δの座標であるｘｔｈ１とｘｔｈ２の範囲から逸脱していない。一方で、右レーンの位置に対応する特徴値は、第一特徴値グラフ６５１では座標ｘ６３とｘ６６の間に位置しているのに対し、特徴値平均７１０では座標ｘ６４とｘ６５の間に位置している。第一特徴値グラフ６５１の示す特徴値は、特徴値平均７１０の示す特徴値±δの座標であるｘｔｈ３とｘｔｈ４の範囲から逸脱している。よって、特徴値比較部１４０は、第一特徴値グラフ６５１がレンズの付着物の影響を受けていると判断する。この判断に基づき、特徴値比較部１４０は、第一特徴値グラフ６５１を、路面情報を認識するための候補から除外する。これは、第一特徴値グラフ６５１生成の際に基となった、第一合成鳥瞰画像５２１が除外されたことを意味する。第一特徴値グラフ６５１を除外した結果として、特徴値比較部１４０は何も出力せず、図８（ａ）の下段は空白となっている。
【００９０】
図８（ｂ）は、特徴値比較部１４０が、第二特徴値グラフ６５３と特徴値平均７１０を比較し、第二特徴値グラフ６５３がレンズの付着物による影響を受けているかを判断する処理を示す模式図である。図８（ｂ）の上段には、合成鳥瞰画像特徴値計算部１３０から出力された、第二特徴値グラフ６５３が示されている。中段には、特徴値平均計算部１３５から出力された、特徴値平均７１０が示されている。下段には、特徴値比較部１４０が、第二特徴値グラフ６５３と特徴値平均７１０を比較した結果として、再度第二特徴値グラフ６５３が示されている。
【００９１】
特徴値比較部１４０は、合成鳥瞰画像特徴値計算部１３０から出力された第二特徴値グラフ６５３と、特徴値平均計算部１３５から出力された特徴値平均７１０を入力とする。次に、特徴値比較部１４０は、入力である第二特徴値グラフ６５３と特徴値平均７１０を比較する。特徴値平均７１０は、ｘ軸方向に任意の閾値±δを持っている。特徴値比較部１４０は、第二特徴値グラフ６５３と特徴値平均７１０の間に、この閾値±δ以上の差分がある場合、第二特徴値グラフ６５３は特徴値平均７１０から逸脱している、と判断する。第二特徴値グラフ６５３が、特徴値平均７１０から逸脱していなければ、第二特徴値グラフ６５３はレンズの付着物による影響を受けていないと判断される。一方で、第二特徴値グラフ６５３が、特徴値平均７１０から逸脱している場合、第二特徴値グラフ６５３はレンズの付着物による影響を受けていると判断される。
【００９２】
ここで、第二特徴値グラフ６５３と特徴値平均７１０を比較する。左レーンの位置に対応する第二特徴値グラフ６５３の特徴値は、座標ｘ６１とｘ６２の間に位置しており、特徴値平均７１０の示す特徴値±δの座標であるｘｔｈ１とｘｔｈ２の範囲から逸脱していない。一方で、右レーンの位置に対応する特徴値も、第二特徴値グラフ６５３では座標ｘ６４とｘ６５の間に位置しており、特徴値平均７１０の示す特徴値±δの座標であるｘｔｈ３とｘｔｈ４の範囲から逸脱していない。よって、特徴値比較部１４０は、第二特徴値グラフ６５３がレンズの付着物の影響を受けていないと判断する。この判断に基づき、特徴値比較部１４０は、第二特徴値グラフ６５３を、路面情報を認識するための候補として保持する。これは、第二特徴値グラフ６５３生成の際に基となった、第二合成鳥瞰画像５２３が保持されたことを意味する。第二特徴値グラフ６５３を保持した結果として、図８（ｂ）の下段には、再度第二特徴値グラフ６５３が示されている。この第二特徴値グラフ６５３を、特徴値比較部１４０の出力とする。
【００９３】
図８（ｃ）は、特徴値比較部１４０が、第三特徴値グラフ６５５と特徴値平均７１０を比較し、第三特徴値グラフ６５５がレンズの付着物による影響を受けているかを判断する処理を示す模式図である。図８（ｃ）の上段には、合成鳥瞰画像特徴値計算部１３０から出力された、第三特徴値グラフ６５５が示されている。中段には、特徴値平均計算部１３５から出力された、特徴値平均７１０が示されている。下段には、特徴値比較部１４０が、第三特徴値グラフ６５５と特徴値平均７１０を比較した結果として、再度第三特徴値グラフ６５５が示されている。
【００９４】
特徴値比較部１４０は、合成鳥瞰画像特徴値計算部１３０から出力された第三特徴値グラフ６５５と、特徴値平均計算部１３５から出力された特徴値平均７１０を入力とする。次に、特徴値比較部１４０は、入力である第三特徴値グラフ６５５と特徴値平均７１０を比較する。特徴値平均７１０は、ｘ軸方向に任意の閾値±δを持っている。特徴値比較部１４０は、第三特徴値グラフ６５５と特徴値平均７１０の間に、この閾値±δ以上の差分がある場合、第三特徴値グラフ６５５は特徴値平均７１０から逸脱している、と判断する。第三特徴値グラフ６５５が、特徴値平均７１０から逸脱していなければ、第三特徴値グラフ６５５はレンズの付着物による影響を受けていないと判断される。一方で、第三特徴値グラフ６５５が、特徴値平均７１０から逸脱している場合、第三特徴値グラフ６５５はレンズの付着物による影響を受けていると判断される。
【００９５】
ここで、第三特徴値グラフ６５５と特徴値平均７１０を比較する。左レーンの位置に対応する第三特徴値グラフ６５５の特徴値は、座標ｘ６１とｘ６２の間に位置しており、特徴値平均７１０の示す特徴値±δの座標であるｘｔｈ１とｘｔｈ２の範囲から逸脱していない。一方で、右レーンの位置に対応する特徴値も、第三特徴値グラフ６５５では座標ｘ６４とｘ６５の間に位置しており、特徴値平均７１０の示す特徴値±δの座標であるｘｔｈ３とｘｔｈ４の範囲から逸脱していない。よって、特徴値比較部１４０は、第三特徴値グラフ６５５がレンズの付着物の影響を受けていないと判断する。この判断に基づき、特徴値比較部１４０は、第三特徴値グラフ６５５を、路面情報を認識するための候補として保持する。これは、第三特徴値グラフ６５５生成の際に基となった、第三合成鳥瞰画像５２５が保持されたことを意味する。第三特徴値グラフ６５５を保持した結果として、図８（ｃ）の下段には、再度第三特徴値グラフ６５５が示されている。この第三特徴値グラフ６５５を、特徴値比較部１４０の出力とする。
【００９６】
図９は、合成鳥瞰画像選出部１４５が、特徴値比較部１４０が出力した特徴値グラフを入力として、最も信頼性の高い特徴値グラフを選出し、選出された特徴値グラフに対応する合成鳥瞰画像を出力するまでの処理を示す模式図である。これは、図２においてステップＳ２８０に対応する。
【００９７】
図９の上段には、特徴値比較部１４０から出力された、第二特徴値グラフ６５３、及び第三特徴値グラフ６５５が示されている。中段には、合成鳥瞰画像選出部１４５が選出した、第二特徴値グラフ６５３のみが示されている。下段には、合成鳥瞰画像選出部１４５が選出した第二特徴値グラフ６５３に対応する、第二合成鳥瞰画像５２３が示されている。
【００９８】
合成鳥瞰画像選出部１４５は、特徴値比較部１４０がレンズの付着物による影響を受けていると判断した特徴値グラフを除外した後の、残りの全ての特徴値グラフを入力とする。前述の様に、第一特徴値グラフ６５１は雨滴の影響により除外されているので、第二特徴値グラフ６５３、及び第三特徴値グラフ６５５が、合成鳥瞰画像選出部１４５の入力となる。合成鳥瞰画像選出部１４５は、入力の特徴値グラフの中で、一番撮影装置１１０に近い特徴値計算領域から得られた特徴値グラフを選出する。これは、撮影装置１１０から生成された合成鳥瞰画像は、撮影装置１１０に近い領域から生成された合成鳥瞰画像ほど鳥瞰画像の信頼性が高いためである。ここで、合成鳥瞰画像選出部１４５の入力である第二特徴値グラフ６５３と第三特徴値グラフ６５５とを比較すると、第二特徴値グラフ６５３が、撮影装置１１０により近い特徴値計算領域から得られた特徴値グラフである。よって、合成鳥瞰画像選出部１４５は第二特徴値グラフ６５３を選出し、残りの特徴値グラフ全てを除外する。本実施形態においては、第三特徴値グラフ６５５が除外される。
【００９９】
次に、合成鳥瞰画像選出部１４５は、選出した第二特徴値グラフ６５３の生成の際に基となった、第二合成鳥瞰画像５２３を記憶先である記憶装置１９９から読み出し、これを合成鳥瞰画像選出部１４５の出力とする。
【０１００】
図１０は、画像認識部１５０が、合成鳥瞰画像選出部１４５が出力した合成鳥瞰画像を入力として、道路標識を認識するまでの処理を示す模式図である。
【０１０１】
図１０には、合成鳥瞰画像選出部１４５から出力された第二合成鳥瞰画像５２３、及び道路標示見本８００が示されている。これは、図２においてステップＳ２９０に対応する。
【０１０２】
画像認識部１５０は、合成鳥瞰画像選出部１４５が選出した第二合成鳥瞰画像５２３を、記憶装置１９９に格納されている道路標示見本８００と比較して、該当する道路標示を検索する。該当する道路標示が見つかった場合には、画像認識部１５０はその結果を外部表示装置（図示せず）に出力する。
【０１０３】
なお、本実施形態では、レンズの付着物を雨滴としたが、同じ手法を用いることで、レンズに汚れが付着している場合などでも、付着物の検知が可能である。例えば汚れの場合は、この汚れが道路標示を覆い隠してしまう場合、汚れの影響を受けた部分のみ輝度値、言い換えれば特徴値が観察されなくなる。もし、そこに道路標示が有った場合、他の汚れの影響が無い領域からの特徴値と異なる特徴値分布となるため、本発明の手法により、汚れなどによるレンズの付着物の影響も同様に除去ができる。
【０１０４】
以上から、本発明の実施形態である道路標示認識装置１０００によって、従来技術では実現困難であった、撮影装置１１０のレンズに付着した雨滴や汚れの影響を回避できることがわかる。これは、鳥瞰画像上の複数の領域から、複数の合成鳥瞰画像を生成し、雨滴の汚れの影響を受けていない合成鳥瞰画像を選択することにより実現できる。つまり、雨滴、汚れが付着した撮影装置１１０のレンズ部分によって作成された合成鳥瞰画像を除外し、正常と判断した合成鳥瞰画像の中で、最も信頼性の高い合成鳥瞰画像を用いて画像認識を実行する。この結果、認識性能の低下、及び誤認識を防止できる効果がある。
【符号の説明】
【０１０５】
１０５ 車両速度センサ部
１１０ 撮影装置
１１５ 画像変換部
１２０ 抽出対象領域選択部
１２３ 複数鳥瞰画像生成部
１２５ 合成鳥瞰画像生成部
１３０ 合成鳥瞰画像特徴値計算部
１３５ 特徴値平均計算部
１３８ 最適画像選定部
１４０ 特徴値比較部
１４５ 合成鳥瞰画像選出部
１５０ 画像認識部
１９８ ＣＰＵ
１９９ 記憶装置
３００ 路面画像
３０１ 第一基点
３０３ 第二基点
３０５ 第三基点
３１１ 第一抽出対象領域
３１３ 第二抽出対象領域
３１５ 第三抽出対象領域
３１９ 鳥瞰画像
３３７ 第三合成部分画像４２５ｐの基点
３３９ 第一合成鳥瞰画像５２１の左上の画像端の基点
３５１ 雨滴
３６１ 左レーン
３６１ａ、３６１ｂ、３６１ｃ、３６１ｄ、３６１ｈ、３６１ｉ、３６１ｊ、３６１ｋ、３６１ｐ、３６１ｑ、３６１ｒ、３６１ｓ 合成部分画像の左レーン
３６３ 右レーン
３６３ａ、３６３ｂ、３６３ｃ、３６３ｄ、３６３ｈ、３６３ｉ、３６３ｊ、３６３ｋ、３６３ｐ、３６３ｑ、３６３ｒ、３６３ｓ 合成部分画像の右レーン
４２１ 第一合成部分画像
４２１ａ、４２１ｂ、４２１ｃ、４２１ｄ 時系列の第一合成部分画像
４２３ 第二合成部分画像
４２３ｈ、４２３ｉ、４２３ｊ、４２３ｋ 時系列の第二合成部分画像
４２５ 第三合成部分画像
４２５ｐ、４２５ｑ、４２５ｒ、４２５ｓ 時系列の第三合成部分画像
５２１ 第一合成鳥瞰画像
５２３ 第二合成鳥瞰画像
５２５ 第三合成鳥瞰画像
５３１ 第一特徴値計算領域
５３３ 第二特徴値計算領域
５３５ 第三特徴値計算領域
６３１ 第一特徴値計算鳥瞰画像
６３３ 第二特徴値計算鳥瞰画像
６３５ 第三特徴値計算鳥瞰画像
６４１ 第一輝度分布グラフ
６４３ 第二輝度分布グラフ
６４５ 第三輝度分布グラフ
６５１ 第一特徴値グラフ
６５３ 第二特徴値グラフ
６５５ 第三特徴値グラフ
６９０ 輝度を二値化するための閾値
７００ 特徴値合算グラフ
７１０ 特徴値平均
８００ 道路標示見本
１０００ 道路標示認識装置
【技術分野】
【０００１】
本発明は、道路標示認識装置に関し、特に車両の安全性向上のために全天候において高い道路標示認識率を必要とする道路標示認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性を向上させるために搭載されるシステムの多様化に伴い、道路標示を認識するための認識装置も車両に多く使われるようになってきた。しかしながら、道路標示の認識は、道路の状況や環境等に左右され、レンズに雨滴や汚れの付着等によるノイズにより十分な認識率を上げることが難しい。より安全な走行をするためには、道路標示の認識するための認識装置の性能を更に向上することが求められている。
【０００３】
特開２００８−２１００８４号公報に、車両に搭載され、該車両周辺の路面を定期的に撮影した画像を送出する撮影手段と、前記撮影手段から送出される映像画像を、鉛直方向から地上面を見下ろした鳥瞰図を表す鳥瞰画像に変換して記憶手段に記憶する画像変換手段と、前記画像変換手段によって変換された前記鳥瞰画像の前記車両本体側の一部に抽出対象領域を特定する抽出対象領域特定手段と、前記記憶手段に記憶された前記複数の鳥瞰画像から時系列に前記抽出対象領域の画像を抽出して垂直方向に連結させた合成画像を生成する合成画像生成手段と、前記合成画像生成手段によって生成された前記合成画像を対象として同路面に描かれた道路標示を画像認識する画像認識処理手段と、を備えたことを特徴とする道路標示認識装置が開示されている。該発明によれば、鳥瞰画像の車両本体側の一部を抽出対象領域として、複数の鳥瞰画像から、時系列に抽出対象領域の画像を抽出して連結させた合成画像が生成される。このとき、カメラに、車両の影が写る場合には、鳥瞰画像から輝度の低い領域を検出し、該領域を影と認識させて、該領域を抽出対象領域から除外する。合成画像は、鳥瞰画像の中でも確度の高い車両本体に近い領域の画像を連結して生成される。そして、この合成画像を対象として路面に描かれた道路標示の画像認識が実施される。
【０００４】
また、特開２００６−３１４０６０号公報に、撮像手段で撮像された画像を用いて、前記撮像手段で撮像された物体を検出する画像処理装置において、前記撮像手段で撮影された画像に所定の画像処理を施して、当該画像に含まれる画像領域ごとにノイズ度合いを判定し、当該ノイズ度合いが所定のしきい値以上であるかを判定するノイズ判定手段と、前記ノイズ度合いが所定のしきい値以上であると判断された画像領域におけるノイズ検出回数を加算する計数手段と、前記計数手段により計数されたノイズ検出回数が所定値以上である画像領域が、当該画像内位置において信頼性が低いノイズであると判定するノイズ位置判定手段とを備え、時間的に連続して撮像された複数の画像のそれぞれについて、前記ノイズ判定手段によりノイズ度合いを判定し、当該ノイズ度合いがしきい値以上である画像領域ごとにノイズ検出回数を前記計数手段により計数して、前記ノイズ位置判定手段は、前記複数の画像に亘って計数されたノイズ検出回数が所定地を超えた画像領域であるノイズの画像内位置を検出することを特徴とする画像処理装置が開示されている。
【０００５】
また、特開２００５−３０１５１７号公報に、現在の画像と所定時間前の画像との差分画像を作成する差分画像取得手段と、前記差分画像の画素値に基づくマスク画像を作成するマスク画像作成手段と、前記マスク画像と現在の画像とから中間第一画像を作成する中間第一画像作成手段と、現在の画像のなまし画像と、前記なまし画像を反転した反転画像とを求め、前記なまし画像と前記反転画像とをから中間第二画像を作成する中間第二画像作成手段と、前記中間第一画像と前記中間第二画像とを統合した統合画像を作成する統合画像作成手段とを備えることを特徴とする画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２１００８４号公報
【特許文献２】特開２００６−３１４０６０号公報
【特許文献３】特開２００５−３０１５１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術では、輝度の低い領域を検出することで、車両の影を除外することができるが、レンズに付着した雨滴や汚れは、輝度が低くなるとは限らないために、正常に検出することができない可能性がある。その結果、雨滴や汚れが付着したカメラの撮影画像によって作成した画像で、画像認識を実行することになりうる。これにより、道路標示認識装置の認識性能の低下を引き起こす可能性がある。
【課題を解決するための手段】
【０００８】
以下に、発明を実施するための形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための形態との対応関係を明らかにするために括弧付きで付加されたものである。ただし、それらの番号・符号を、特許請求の範囲に記載されている発明の技術的範囲の解釈に用いてはならない。
【０００９】
本発明に係る道路標示認識装置（１０００）は、画像変換部（１１５）と、複数鳥瞰画像生成部（１２３）と、最適画像選定部（１３８）とを具備する。画像変換部（１１５）は、撮影装置（１１０）からの路面画像（３００）に基づいて、路面画像（３００）を鳥瞰画像（３１９）に変換する。複数鳥瞰画像生成部（１２３）は、鳥瞰画像（３１９）を細分化し部分的な鳥瞰画像（４２１、４２３、４２５）を生成し、これら部分的な鳥瞰画像（４２１、４２３、４２５）を撮影装置（１１０）の撮影する時間間隔毎に時系列順に合成し、複数の合成鳥瞰画像（５２１、５２３、５２５）を生成する。最適画像選定部（１３８）は、複数の合成鳥瞰画像（５２１、５２３、５２５）において、撮影装置（１１０）がレンズに付着物（３５１）を有するときの、付着物（３５１）による合成鳥瞰画像（５２１、５２３、５２５）への影響の有無を検知し、付着物（３５１）による影響が無い、或いは付着物（３５１）による影響が所定の基準以下である合成鳥瞰画像（５２３、５２５）の中から、所定の選定基準により信頼性の高い合成鳥瞰画像（５２３）を選出する。
【００１０】
また、本発明に係る道路標示認識装置（１０００）は、撮影装置（１１０）が撮影した路面画像（３００）を鳥瞰画像（３１９）に変換するステップと、鳥瞰画像（３１９）を細分化し部分的な鳥瞰画像（４２１、４２３、４２５）を生成するステップと、部分的な鳥瞰画像（４２１、４２３、４２５）を撮影装置（１１０）の撮影する時間間隔毎に時系列順に合成し、複数の合成鳥瞰画像（５２１、５２３、５２５）を生成するステップと、複数の合成鳥瞰画像（５２１、５２３、５２５）において、撮影装置（１１０）が付着物（３５１）を有するときの、付着物（３５１）の影響の有無を検知するステップと、付着物（３５１）による影響が無い、或いは付着物（３５１）による影響が所定の基準以下である合成鳥瞰画像（５２３、５２５）の中から、所定の選定基準により信頼性の高い合成鳥瞰画像（５２３）を選出するステップとを具備する。
【発明の効果】
【００１１】
本発明によれば、撮影装置のレンズの一部分に雨滴や汚れが付着した場合に、画像認識性能の低下や誤認識を防止できる。
【図面の簡単な説明】
【００１２】
【図１Ａ】図１Ａは、本発明の実施形態の道路標示認識装置１０００のハードウェアの構成を示す図である。
【図１Ｂ】図１Ｂは、本発明の実施形態の道路標示認識装置１０００の機能の構成を示す機能ブロック図である。
【図１Ｃ】図１Ｃは、本発明の実施形態の道路標示認識装置１０００の詳細な機能の構成を示す機能ブロック図である。
【図２】図２は、道路標示認識装置１０００の制御方法を示すフローチャートである。
【図３】図３は、撮影装置１１０からの路面画像を画像変換部１１５に入力してから、画像変換部１１５が鳥瞰画像を出力するまでの処理を示す模式図である。
【図４】図４は、画像変換部１１５が鳥瞰画像を出力してから、合成部分画像を出力するまでの処理を示す模式図である。
【図５】図５は、抽出対象領域選択部１２０が複数の合成部分画像を出力してから、合成鳥瞰画像生成部１２５が合成鳥瞰画像を生成するまでの処理を示す模式図である。
【図６】図６は、合成鳥瞰画像生成部１２５が前述の特徴値計算領域の座標を出力してから、合成鳥瞰画像特徴値計算部１３０が各合成鳥瞰画像の特徴値を計算するまでの処理を示す模式図である。
【図７】図７は、特徴値平均計算部１３５が特徴値平均を計算するまでの処理を示す模式図である。
【図８】図８は、特徴値比較部１４０がレンズの付着物による影響を受けた特徴値を除外するまでの処理を示す模式図である。
【図９】図９は、合成鳥瞰画像選出部１４５が最も信頼性の高い特徴値グラフを選出し、選出された特徴値グラフに対応する合成鳥瞰画像を出力するまでの処理を示す模式図である。
【図１０】図１０は、画像認識部１５０が道路標識を認識するまでの処理を示す模式図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を図面に基づいて説明する。なお、実施の形態を説明するための図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００１４】
以下に、図面を参照して、本実施形態の道路標示認識装置１０００について説明を行う。
【００１５】
図１Ａは、本発明の実施形態の道路標示認識装置１０００のハードウェアの構成を示す図である。道路標示認識装置１０００は、コンピュータに例示される情報処理装置であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１９８と、記憶装置１９９と、入力装置（図示せず）と、出力装置（図示せず）と、インターフェース（図示せず）とを備えている。また道路標示認識装置１０００は、外部からの入力として、車両速度センサ部１０５、及び撮影装置１１０と接続されている。ＣＰＵ１９８、記憶装置１９９、入力装置、出力装置、及びインターフェースは、バスやケーブルによりお互いに情報の送受信が可能なように接続されている。記憶装置１９９は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に例示される。入力装置は、キーボード、及びマウスに例示される。出力装置は、ディスプレイやプリンタに例示される。インターフェースは、外部のコンピュータや記憶装置１９９や記憶媒体読取装置などと双方向通信可能に接続されている。
【００１６】
ＣＰＵ１９８は、例えばコンピュータプログラムをＲＡＭに展開する。そして、展開されたコンピュータプログラムを実行して、必要に応じて記憶装置１９９や入力装置や出力装置のようなハードウェアを制御しながら、当該コンピュータプログラムの情報処理を実現する。記憶装置１９９は、コンピュータプログラムを記録し、ＣＰＵ１９８が利用する情報や生成する情報を記録する。入力装置は、ユーザに操作されることにより生成される情報を、ＣＰＵ１９８や記憶装置１９９に出力する。出力装置は、ＣＰＵ１９８により生成された情報や記憶装置の情報を、ユーザに認識可能なように出力する。また、車両速度センサ部１０５は、走行している車両の速度を道路標示認識装置１０００へ出力する。また撮影装置１１０は、走行している路面の画像を道路標示認識装置１０００へ出力する。道路標示認識装置１０００は、外部入力である、車両速度センサ部１０５からの車両の速度の情報や、撮影装置１１０からの路面の画像を、記憶装置１９９に記録する。
【００１７】
図１Ｂは、本発明の実施形態の道路標示認識装置１０００の機能の構成を示す機能ブロック図である。道路標示認識装置１０００は、画像変換部１１５、複数鳥瞰画像生成部１２３、最適画像選定部１３８、及び画像認識部１５０を有する。
【００１８】
画像変換部１１５は、撮影装置１１０からの路面の画像を入力とし、入力画像を鳥瞰画像に変換し、変換した鳥瞰画像を複数鳥瞰画像生成部１２３に出力する。
【００１９】
複数鳥瞰画像生成部１２３は、画像変換部１１５が出力した鳥瞰画像を入力とし、入力画像を、複数の領域に細分化する。次に細分化した各領域から取得した部分的な鳥瞰画像を、撮影装置１１０の撮影間隔の時間毎に時系列に合成し、複数の鳥瞰画像を生成する。生成した複数の鳥瞰画像を最適画像選定部１３８に出力する。
【００２０】
最適画像選定部１３８は、複数鳥瞰画像生成部１２３が出力した複数の鳥瞰画像を入力とし、入力画像上における、撮影装置１１０が有する付着物による影響の有無を検知する。その結果、付着物の影響が確認されなかった鳥瞰画像の中から、所定の基準により最も信頼性の高い鳥瞰画像を、画像認識部１５０に出力する。
【００２１】
画像認識部１５０は、最適画像選定部１３８からの鳥瞰画像を入力とし、画像認識の結果を外部表示装置（図示せず）に出力する。
【００２２】
これらの機能の実施は、プログラムなどに例示されるソフトウェアに拠っても、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などに例示されるハードウェアに拠っても、ソフトウェアとハードウェアの組み合わせに拠っても良い。
【００２３】
図１Ｃは、本発明の実施形態の道路標示認識装置１０００の詳細な機能の構成を示す機能ブロック図である。道路標示認識装置１０００は、画像変換部１１５、抽出対象領域選択部１２０、合成鳥瞰画像生成部１２５、合成鳥瞰画像特徴値計算部１３０、特徴値平均計算部１３５、特徴値比較部１４０、合成鳥瞰画像選出部１４５、及び画像認識部１５０を有する。
【００２４】
画像変換部１１５は、撮影装置１１０からの路面の画像を入力とし、入力画像を鳥瞰画像に変換し、変換した画像を抽出対象領域選択部１２０に出力する。
【００２５】
抽出対象領域選択部１２０は、画像変換部１１５からの鳥瞰画像、及び外部の車両速度センサ部１０５からの車両の走行速度を入力とし、入力された鳥瞰画像に複数の基点を設定し、これら複数の基点から、車両の走行速度に応じた距離までを、複数の抽出対象領域として選択し、選択した結果を合成鳥瞰画像生成部１２５に出力する。
【００２６】
合成鳥瞰画像生成部１２５は、抽出対象領域選択部１２０からの複数の抽出対象領域の選択結果を入力とし、その複数の抽出対象領域にて抽出された、複数の合成部分画像を合成することにより、複数の合成鳥瞰画像を生成し、合成鳥瞰画像特徴値計算部１３０に出力する。
【００２７】
合成鳥瞰画像特徴値計算部１３０は、合成鳥瞰画像生成部１２５からの複数の合成鳥瞰画像を入力とし、これら複数の入力画像を基に、後述する複数の特徴値を算出し、算出した複数の特徴値を特徴値平均計算部１３５、及び特徴値比較部１４０に出力する。
【００２８】
特徴値平均計算部１３５は、合成鳥瞰画像特徴値計算部１３０からの複数の特徴値を入力とし、平均値を計算し、計算結果を特徴値比較部１４０に出力する。
【００２９】
特徴値比較部１４０は、合成鳥瞰画像特徴値計算部１３０からの複数の特徴値と、特徴値平均計算部１３５からの平均値を入力とし、複数の特徴値と平均値の比較結果を、合成鳥瞰画像選出部１４５に出力する。
【００３０】
合成鳥瞰画像選出部１４５は、特徴値比較部１４０からの特徴値の比較結果を入力とし、特徴値比較部が除外しなかった合成鳥瞰画像の中から最も信頼性の高い合成鳥瞰画像を選出し、選出した合成鳥瞰画像を画像認識部１５０に出力する。
【００３１】
画像認識部１５０は、合成鳥瞰画像選出部１４５からの合成鳥瞰画像を入力とし、画像認識の結果を外部表示装置（図示せず）に出力する。
【００３２】
これらの機能の実施は、プログラムなどに例示されるソフトウェアに拠っても、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などに例示されるハードウェアに拠っても、ソフトウェアとハードウェアの組み合わせに拠っても良い。
【００３３】
以下では、本実施形態に係る道路標示認識装置１０００の動作方法をより詳細に説明する。
【００３４】
図２は、本発明の道路標示認識装置１０００の動作方法を示すフローチャートである。
【００３５】
ステップＳ２１０において、画像変換部１１５は、撮影装置１１０から、撮影装置１１０で撮影された路面の画像を記憶装置１９９から読み出す。また、抽出対象領域選択部１２０は、車両速度センサ部１０５から、車両の走行速度を記憶装置１９９から読み出す。
【００３６】
次に、ステップＳ２２０において、画像変換部１１５は、前述の撮影装置１１０により撮影された画像を鳥瞰画像に変換する。
【００３７】
次に、ステップＳ２３０において、抽出対象領域選択部１２０は、前述の読み出した走行速度から、撮影装置１１０により撮影される画像の撮影間隔の時間に車両が走行する距離を計算する。その後、鳥瞰画像上の複数の基点から、撮影間隔時間での車両の走行距離までの領域を、各々の抽出対象領域として選択し、各々の抽出対象領域の座標を求める。
【００３８】
次に、ステップＳ２４０において、合成鳥瞰画像生成部１２５は、各々の抽出対象領域で撮影された部分的な鳥瞰画像を時系列に連結して、基点の数だけの合成鳥瞰画像を生成する。その後、レンズの雨滴や汚れを検知する指標となる、特徴値の計算領域を決定して、特徴値計算領域の座標を求める。
【００３９】
次に、ステップＳ２５０において、合成鳥瞰画像特徴値計算部１３０は、ステップＳ２４０で決定された、各々の合成鳥瞰画像の特徴値抽出領域から、各々の輝度分布を計算し、それを基に特徴値を計算する。
【００４０】
次に、ステップＳ２６０において、特徴値平均計算部１３５は、各々の特徴値の平均を計算する。
【００４１】
次に、ステップＳ２７０において、特徴値比較部１４０は、特徴値の平均に対して、一定の割合以上の差分がある特徴値を除外し、更に、除外した特徴値の基となった合成鳥瞰画像を除外する。
【００４２】
次に、ステップＳ２８０において、合成鳥瞰画像選出部１４５は、除外されていない複数の合成鳥瞰画像のうち、最も撮影装置１１０に近い抽出対象領域から作成した、最も信頼性の高い合成鳥瞰画像を選択し、画像認識部１５０に出力する。
【００４３】
最後に、ステップＳ２９０において、画像認識部１５０は、合成鳥瞰画像選出部１４５が出力した合成鳥瞰画像で道路標示認識を実行して、該認識結果を外部装置（図示せず）に出力する。
【００４４】
以下では、道路標示認識装置１０００における、上述の各構成要素、及び各ステップの動作について、更に詳細に説明する。
【００４５】
図３は、画像変換部１１５が、撮影装置１１０からの路面画像を入力として読み出してから、鳥瞰画像を出力するまでの処理を示す模式図である。これは図２においてステップＳ２２０に対応する。
【００４６】
図３（ａ）は、撮影装置１１０が撮影した入力画像３００である。路面画像３００には、撮影装置１１０から見た前方の道路が写っている。路面画像３００には、左レーン３６１、右レーン３６３、及びレンズに付着した雨滴３５１が写り込んでいる。また、路面画像３００内の破線で囲まれた三つの領域は、後述する抽出対象領域であり、各々を第一抽出対象領域３１１、第二抽出対象領域３１３、第三抽出対象領域３１５とする。これらの抽出対象領域を示す破線は実際には路面画像３００に写っていない。尚、以降全ての図において、左レーン３６１から右レーン３６３に向かう方向をｘ軸とし、車両の進行方向（画像上では上方に向かう方向）をｙ軸とする。
【００４７】
図３（ｂ）は、路面画像３００を鳥瞰画像に変換後の画像である、鳥瞰画像３１９である。画像変換部１１５は、撮影装置１１０が出力する路面画像３００を入力とし、鉛直方向から地上面を見下ろした画像である鳥瞰画像３１９に変換する。撮影装置１１０のレンズに雨滴３５１が付着して、路面画像３００に雨滴３５１が写り込む場合、鳥瞰画像３１９内にも雨滴３５１が写り込む。その結果として、鳥瞰画像３１９においても、右レーン３６３上に雨滴３５１が写り込んでいる。
【００４８】
図４は、抽出対象領域選択部１２０が、画像変換部１１５の出力である鳥瞰画像を入力とし、抽出対象領域を選択してから、後述する合成部分画像を出力するまでの処理を示す模式図である。これは、図２においてステップＳ２３０に対応する。
【００４９】
図４（ａ）は、画像変換部１１５によって変換された、路面画像３００の鳥瞰画像３１９である。これは図３（ｂ）と同一の画像である。この鳥瞰画像３１９は、抽出対象領域選択部１２０の入力となる。
【００５０】
図４（ｂ）は、抽出対象領域選択部１２０によって、抽出対象となる領域を設定した鳥瞰画像３１９である。ここで、鳥瞰画像３１９上には、第一抽出対象領域３１１、第二抽出対象領域３１３、第三抽出対象領域３１５の三領域が設定してある。ここで、第一抽出対象領域３１１が、撮影装置１１０から最も近い領域であり、第三抽出対象領域３１５が、撮影装置１１０から最も遠い領域である。これらの抽出対象領域は、図３（ａ）に示された各抽出対象領域に対応している。また、第一抽出対象領域３１１内には、雨滴３５１が写り込んでいる。また、各抽出対象領域の、右下隅の座標を基点とし、各々を第一基点３０１、第二基点３０３、第三基点３０５とする。
【００５１】
ここで抽出対象領域選択部１２０が、図４（ｂ）に示された複数の抽出対象領域である、第一抽出対象領域３１１、第二抽出対象領域３１３、第三抽出対象領域３１５の三領域を選択する手順を説明する。本実施形態においては、抽出対象領域選択部１２０は、鳥瞰画像３１９上のｙ軸方向で任意の基準距離毎に３つ以上の複数の基点を設定する。この基点の数が、抽出対象となる領域の数となる。
【００５２】
また、抽出対象領域選択部１２０は、車両速度センサ部１０５が出力する車速情報から、撮影装置１１０が画像を撮影する時間間隔中に車両が走行する距離を計算する。この計算結果である走行距離を、設定した基点に加算し、基点から基点に走行距離を加算した点までの領域を、各々抽出対象領域とする。この抽出対象領域は、各々の抽出対象領域が離れていても、抽出対象領域の一部分が重なっていても良い。
【００５３】
図４（ｃ）は、抽出対象領域選択部１２０によって、各々の抽出対象領域から抽出した合成部分画像である。合成部分画像は、後述する合成鳥瞰画像の一要素であり、合成部分画像を複数連結することにより、合成された鳥瞰画像を完成させる。ここで、第一抽出対象領域３１１から抽出した画像を、第一合成部分画像４２１、第二抽出対象領域３１３から抽出した画像を、第二合成部分画像４２３、第三抽出対象領域３１５から抽出した画像を、第三合成部分画像４２５とする。第一合成部分画像４２１には、レーンの一部分である左レーン３６１ａ及び右レーン３６３ａが写っている。また、第一合成部分画像４２１には、雨滴３５１が写り込んでいる。同様に、第二合成部分画像４２３には、レーンの一部分である左レーン３６１ｈ及び右レーン３６３ｈが写っており、第三合成部分画像４２５には、レーンの一部分である左レーン３６１ｐ及び右レーン３６３ｐが写っている。
【００５４】
更に、抽出対象領域選択部１２０は、鳥瞰画像３１９における抽出対象領域左下、及び右上の座標を、合成鳥瞰画像生成部１２５に出力する。
【００５５】
以上、本実施形態における、抽出対象領域選択部１２０が抽出対象領域を選択する手順を示したが、抽出対象領域を選択する手順は上述の手順に限定されることはない。本実施形態では、任意の基準距離毎に基点を設けることで領域を選択したが、必ずしも基点を設ける必要は無く、必要に応じて任意の方法で任意の領域範囲を任意の領域数だけ選択することができる。
【００５６】
図５は、合成鳥瞰画像生成部１２５が、抽出対象領域選択部１２０の出力である複数の合成部分画像を入力として、各々の合成部分画像を連結し、合成鳥瞰画像を生成するまでの処理を示す模式図である。これは、図２においてステップＳ２４０に対応する。
【００５７】
図５（ａ）は、抽出対象領域選択部１２０からの出力である第一合成部分画像４２１を入力とした、第一合成鳥瞰画像５２１である。第一合成鳥瞰画像５２１は、第一抽出対象領域３１１から抽出された合成部分画像４２１を、撮影時間の時系列順に四枚連結させた合成鳥瞰画像である。これら四枚の合成部分画像を、撮影時刻の時系列順に各々、第一合成部分画像４２１ａ、第一合成部分画像４２１ｂ、第一合成部分画像４２１ｃ、第一合成部分画像４２１ｄとする。これら四枚の合成部分画像は、撮影間隔毎に連続して撮影された画像である。第一合成部分画像４２１ａには、左レーンの一部３６１ａと右レーンの一部３６３ａと、写りこんだ雨滴３５１が写っている。同様に、第一合成部分画像４２１ｂには、左レーンの一部３６１ｂと右レーンの一部３６３ｂと、写りこんだ雨滴３５１が、第一合成部分画像４２１ｃには、左レーンの一部３６１ｃと右レーンの一部３６３ｃと、写りこんだ雨滴３５１が、第一合成部分画像４２１ｄには、左レーンの一部３６１ｄと右レーンの一部３６３ｄと、写りこんだ雨滴３５１が各々写っている。また、第一合成鳥瞰画像５２１の一部分を、後述する第一特徴値計算領域５３１とする。
【００５８】
合成鳥瞰画像生成部１２５は、抽出対象領域選択部１２０から出力された、複数の第一合成部分画像４２１を入力とする。本実施の形態では、第一合成部分画像４２１ａ、４２１ｂ、４２１ｃ、４２１ｄに該当する。合成鳥瞰画像生成部１２５は、撮影装置１１０が定められた撮影間隔毎に撮影した、複数の第一合成部分画像４２１を合成して一枚の合成鳥瞰画像とする。前述のように、抽出対象領域選択部１２０は、抽出対象領域を設定する際に、車両速度センサ部１０５が出力する車速情報から、撮影装置１１０が画像を撮影する時間間隔中に車両が走行する距離を計算する。この計算結果である走行距離を、設定した基点に加算し、基点から基点に走行距離を加算した点までの領域を、各々抽出対象領域としている。よって、連結した第一合成鳥瞰画像５２１は、撮影装置１１０に一番近い領域である第一抽出対象領域３１１で撮影された、連続した路面の画像となる。例えば、合成部分画像４２１ａ上の左レーン３６１ａの上端と、合成部分画像４２１ａ上の左レーン３６１ｂの下端は、切れ目のない連続したレーンとなっている。
【００５９】
最後に、合成鳥瞰画像生成部１２５は、生成した第一合成鳥瞰画像５２１を記憶装置１９９に記憶させる。同様に、撮影装置１１０から最も近い第一抽出対象領域３１１で生成された第一合成鳥瞰画像５２１の、左上の画像端の座標３３９を、後述する特徴値計算領域を決定するための情報として記憶する。
【００６０】
図５（ｂ）は、抽出対象領域選択部１２０からの出力である第二合成部分画像４２３を入力とした、第二合成鳥瞰画像５２３である。第二合成鳥瞰画像５２３は、第二抽出対象領域３１３から抽出された第二合成部分画像４２３を、撮影時間の時系列順に四枚連結させた合成鳥瞰画像である。これら四枚の合成部分画像を、各々撮影時刻の時系列順に、第二合成部分画像４２３ｈ、第二合成部分画像４２３ｉ、第二合成部分画像４２３ｊ、第二合成部分画像４２３ｋとする。これら四枚の合成部分画像は、撮影間隔毎に連続して撮影された画像である。第二合成部分画像４２３ｈには、左レーンの一部３６１ｈと右レーンの一部３６３ｈが写っている。同様に、第二合成部分画像４２３ｉには、左レーンの一部３６１ｉと右レーンの一部３６３ｉが、第二合成部分画像４２３ｊには、左レーンの一部３６１ｊと右レーンの一部３６３ｊが、第二合成部分画像４２３ｋには、左レーンの一部３６１ｋと右レーンの一部３６３ｋが各々写っている。また、第二合成鳥瞰画像５２３の一部分を、後述する第二特徴値計算領域５３３とする。
【００６１】
合成鳥瞰画像生成部１２５は、抽出対象領域選択部１２０から出力された、複数の第二合成部分画像４２３を入力とする。本実施の形態では、第二合成部分画像４２３ｈ、４２３ｉ、４２３ｊ、４２３ｋに該当する。合成鳥瞰画像生成部１２５は、撮影装置１１０が定められた撮影間隔毎に撮影した、複数の第二合成鳥瞰画像４２３を合成して一枚の合成鳥瞰画像とする。連結した第二合成鳥瞰画像５２３は、第一抽出対象領域３１１に次いで撮影装置１１０に近い領域である第二抽出対象領域３１３で撮影された、連続した路面の画像となる。例えば、合成部分画像４２３ｈ上の左レーン３６１ｈの上端と、合成部分画像４２３ｉ上の左レーン３６１ｉの下端は、切れ目のない連続したレーンとなっている。
【００６２】
最後に、合成鳥瞰画像生成部１２５は、生成した第二合成鳥瞰画像５２３を記憶装置１９９に記憶させる。
【００６３】
図５（ｃ）は、抽出対象領域選択部１２０からの出力である第三合成部分画像４２５を入力とした、第三合成鳥瞰画像５２５である。第三合成鳥瞰画像５２５は、第三抽出対象領域３１５から抽出された第三合成部分画像４２５を、撮影時間の時系列順に四枚連結させた合成鳥瞰画像である。これら四枚の合成部分画像を、各々撮影時刻の時系列順に、第三合成部分画像４２５ｐ、第三合成部分画像４２５ｑ、第三合成部分画像４２５ｒ、第三合成部分画像４２５ｓとする。これら四枚の合成部分画像は、撮影間隔毎に連続して撮影された画像である。第三合成部分画像４２５ｐには、左レーンの一部３６１ｐと右レーンの一部３６３ｐが写っている。同様に、第三合成部分画像４２５ｑには、左レーンの一部３６１ｑと右レーンの一部３６３ｑが、第三合成部分画像４２５ｒには、左レーンの一部３６１ｒと右レーンの一部３６３ｒが、第三合成部分画像４２５ｓには、左レーンの一部３６１ｓと右レーンの一部３６３ｓが各々写っている。また、第三合成鳥瞰画像５２５の一部分を、後述する第三特徴値計算領域５３５とする。
【００６４】
合成鳥瞰画像生成部１２５は、抽出対象領域選択部１２０から出力された、複数の第三合成部分画像４２５を入力とする。本実施の形態では、第三合成部分画像４２５ｐ、４２５ｑ、４２５ｒ、４２５ｓに該当する。合成鳥瞰画像生成部１２５は、撮影装置１１０が定められた撮影間隔毎に撮影した、複数の第三合成鳥瞰画像４２５を合成して一枚の合成鳥瞰画像とする。連結した第三合成鳥瞰画像５２５は、撮影装置１１０から最も遠い領域である抽出対象領域３１５で撮影された、連続した路面の画像となる。例えば、合成部分画像４２５ｐ上の左レーン３６１ｐの上端と、合成部分画像４２５ｑ上の左レーン３６１ｑの下端は、切れ目のない連続したレーンとなっている。
【００６５】
最後に、合成鳥瞰画像生成部１２５は、生成した第三合成鳥瞰画像５２５を記憶装置１９９に記憶させる。同様に、合成鳥瞰画像生成部１２５は、撮影装置１１０から最も遠い第三抽出対象領域３１５で生成された第三合成鳥瞰画像５２５において、第三合成部分画像４２５ｐの基点３３７の座標を、後述する特徴値計算領域を決定するための情報として記憶する。
【００６６】
ここで、図５（ａ）、図５（ｂ）、及び図５（ｃ）の三図は、共通のｙ軸を持つ。つまり、図５において、ある座標（ｘ，ｙ）は、図５（ａ）、図５（ｂ）、及び図５（ｃ）上で、路面の同一地点を示す。
【００６７】
次に、合成鳥瞰画像生成部１２５は、第三合成部分画像４２５ｐ上の基点３３７の座標と、第一合成鳥瞰画像５２１上の基点３３９の座標を読み出す。これらの基点３３７と基点３３９の座標を結ぶ直線を対角線とする矩形に囲まれた領域を、特徴値計算領域とする。このように特徴値計算領域の範囲を定めることで、各々の合成鳥瞰画像の、後述する特徴値を、道路上の同じ領域で求めることが可能となる。ここで、第一合成鳥瞰画像５２１、第二合成鳥瞰画像５２３、及び第三合成鳥瞰画像５２５の特徴値計算領域を各々、第一特徴値計算領域５３１、第二特徴値計算領域５３３、第三特徴値計算領域５３５とする。合成鳥瞰画像生成部１２５は、これら特徴値計算領域の座標を、後述する特徴値の計算をするための情報として出力する。
【００６８】
図６は、合成鳥瞰画像特徴値計算部１３０が、合成鳥瞰画像生成部１２５の出力である、前述の特徴値計算領域の座標を入力として、各合成鳥瞰画像の特徴値を計算するまでの処理を示す模式図である。これは、図２においてステップＳ２５０に対応する。
【００６９】
図６（ａ）は、第一合成鳥瞰画像５２１上の第一特徴値計算領域５３１から、特徴値を計算するまでの処理を示す模式図である。図６（ａ）の上段には、第一合成鳥瞰画像５２１において、第一特徴値計算領域５３１に囲まれた部分である、第一特徴値計算鳥瞰画像６３１が示されている。第一特徴値計算鳥瞰画像６３１には、左レーン３６１ｃ、３６１ｄ、右レーン３６３ｃ、３６３ｄ、及び雨滴３５１が写っている。中段には、第一特徴値計算鳥瞰画像６３１を基に計算される、輝度値のｘ方向の分布と輝度値の大きさを表す第一輝度分布グラフ６４１が示されている。また、第一輝度分布グラフ６４１には、輝度を二値化するための閾値６９０が示されている。下段には、第一輝度分布グラフ６４１を基に、輝度のｘ方向の分布を二値化した第一特徴値グラフ６５１が示されている。
【００７０】
合成鳥瞰画像特徴値計算部１３０は、第一特徴値計算鳥瞰画像６３１において、左端下辺（座標：ｘ６０，ｙ６０）から左端上辺（座標：ｘ６０，ｙ６９）までの各画素の輝度値を加算し、総和を求める。総和の値を、ｘ座標がｘ６０のときの輝度値として、第一輝度分布グラフ６４１上に記録する。この行程を、第一特徴値計算鳥瞰画像６３１の左端であるｘ６０から右端であるｘ６９まで一画素毎に行うことで、第一特徴値計算鳥瞰画像６３１のｘ軸方向の輝度値の分布が示される。この輝度値の分布を示したグラフが、第一輝度分布グラフ６４１である。なお、輝度値を求める際に、本実施形態では、輝度値の加算の行程の順序を左端下辺（座標：ｘ６０，ｙ６０）から左端上辺（座標：ｘ６０，ｙ６９）、としたが、右端（座標：ｘ６９）から始めても、また上辺（座標：ｙ６９）から始めてもよい。
【００７１】
路面よりも相対的に輝度値が高い領域は、左レーン３６１ｃ、３６１ｄ、右レーン３６３ｃ、３６３ｄ、写り込んだ雨滴３５１である。よって、左レーン３６１ｃ、３６１ｄのレーン幅の間（ｘ６１とｘ６２の間）の輝度値は、路面と比べ大きな値を示す。同様に、右レーン３６３ｃ、３６３ｄのレーン幅の間（ｘ６４とｘ６５の間）の輝度値も大きな値を示す。更に、第一特徴値計算鳥瞰画像６３１には雨滴３５１が写り込んでいる。この雨滴３５１の影響で、右レーン３６３ｃ、３６３ｄの一部は輝度値分布がｘ軸方向に広がる（ｘ６３とｘ６６の間）。よって、輝度分布は、右レーン３６３ｃ、３６３ｄのレーン幅を中心に凸型となる。
【００７２】
第一輝度分布グラフ６４１には、前述の通り、二値化のための閾値６９０が設けられている。合成鳥瞰画像特徴値計算部１３０は、第一輝度分布グラフ６４１で示されたｘ軸上の各座標での輝度値が、閾値６９０を超えるかどうかを判定する。あるｘ軸上の座標の輝度値が閾値６９０を超える場合は１を、超えない場合は０を、第一特徴値グラフ６５１上に記録する。この行程を、第一特徴値計算鳥瞰画像６３１の左端であるｘ６０から右端であるｘ６９まで、一画素毎に行うことで、第一特徴値計算鳥瞰画像６３１の、ｘ軸方向の輝度値を二値化できる。輝度値を二値化したものを特徴値とし、これを示したグラフが、第一特徴値グラフ６５１である。第一特徴値グラフ６５１では、左レーン３６１ｃ、３６１ｄのレーン幅の間（ｘ６１とｘ６２の間）と、雨滴３５１の横幅（ｘ６３とｘ６６の間）において、輝度値が閾値６９０を超えるため、１となる。その他の路面部分は、０となる。なお、本実施形態では、輝度値の二値化を行う際に、二値化の行程の順序を、左端であるｘ６０から右端であるｘ６９まで、としたが、右端であるｘ６９から左端であるｘ６０までとしてもよい。
【００７３】
図６（ｂ）は、第二合成鳥瞰画像５２３上の第二特徴値計算領域５３３から、特徴値を計算するまでの処理を示す模式図である。図６（ｂ）の上段には、第二合成鳥瞰画像５２３において、第二特徴値計算領域５３３に囲まれた部分である、第二特徴値計算鳥瞰画像６３３が示されている。第二特徴値計算鳥瞰画像６３３には、左レーン３６１ｉ、３６１ｊ、及び右レーン３６３ｉ、３６３ｊが写っている。中段には、第二特徴値計算鳥瞰画像６３３を基に計算される、輝度値のｘ方向の分布と輝度値の大きさを表す第二輝度分布グラフ６４３が示されている。また、第二輝度分布グラフ６４３には、輝度を二値化するための閾値６９０が示されている。下段には、第二輝度分布グラフ６４３を基に、輝度のｘ方向の分布を二値化した第二特徴値グラフ６５３が示されている。
【００７４】
合成鳥瞰画像特徴値計算部１３０は、第二特徴値計算鳥瞰画像６３３において、左端下辺（座標：ｘ６０，ｙ６０）から左端上辺（座標：ｘ６０，ｙ６９）までの各画素の輝度値を加算し、総和を求める。総和の値を、ｘ座標がｘ６０のときの輝度値として、第二輝度分布グラフ６４３上に記録する。この行程を、第二特徴値計算鳥瞰画像６３３の左端であるｘ６０から右端であるｘ６９まで一画素毎に行うことで、第二特徴値計算鳥瞰画像６３３のｘ軸方向の輝度値の分布が示される。この輝度値の分布を示したグラフが、第二輝度分布グラフ６４３である。なお、輝度値を求める際に、本実施形態では、輝度値の加算の行程の順序を左端下辺（座標：ｘ６０，ｙ６０）から左端上辺（座標：ｘ６０，ｙ６９）、としたが、右端（座標：ｘ６９）から始めても、また上辺（座標：ｙ６９）から始めてもよい。
【００７５】
路面よりも相対的に輝度値が高い領域は、左レーン３６１ｉ、３６１ｊ、及び右レーン３６３ｉ、３６３ｊである。よって、左レーン３６１ｉ、３６１ｊのレーン幅の間（ｘ６１とｘ６２の間）の輝度値は、路面と比べ大きな値を示す。同様に、右レーン３６３ｉ、３６３ｊのレーン幅の間（ｘ６４とｘ６５の間）の輝度値も大きな値を示す。
【００７６】
第二輝度分布グラフ６４３には、前述の通り、二値化のための閾値６９０が設けられている。合成鳥瞰画像特徴値計算部１３０は、第二輝度分布グラフ６４３で示されたｘ軸上の各座標での輝度値が、閾値６９０を超えるかどうかを判定する。あるｘ軸上の座標の輝度値が閾値６９０を超える場合は１を、超えない場合は０を、第二特徴値グラフ６５３上に記録する。この行程を、第二特徴値計算鳥瞰画像６３３の左端であるｘ６０から右端であるｘ６９まで、一画素毎に行うことで、第二特徴値計算鳥瞰画像６３３の、ｘ軸方向の輝度値を二値化できる。輝度値を二値化したものを特徴値とし、これを示したグラフが、第二特徴値グラフ６５３である。第二特徴値グラフ６５３では、左レーン３６１ｉ、３６１ｊのレーン幅の間（ｘ６１とｘ６２の間）と、右レーン３６３ｉ、３６３ｊのレーン幅の間（ｘ６４とｘ６５の間）において、輝度値が閾値６９０を超えるため、１となる。その他の路面部分は、０となる。
【００７７】
図６（ｃ）は、第三合成鳥瞰画像５２５上の第三特徴値計算領域５３５から、特徴値を計算するまでの処理を示す模式図である。図６（ｃ）の上段には、第三合成鳥瞰画像５２５において、第三特徴値計算領域５３５に囲まれた部分である、第三特徴値計算鳥瞰画像６３５が示されている。第三特徴値計算鳥瞰画像６３５には、左レーン３６１ｐ、３６１ｑ、及び右レーン３６３ｐ、３６３ｑが写っている。中段には、第三特徴値計算鳥瞰画像６３５を基に計算される、輝度値のｘ方向の分布と輝度値の大きさを表す第三輝度分布グラフ６４５が示されている。また、第三輝度分布グラフ６４５には、輝度を二値化するための閾値６９０が示されている。下段には、第三輝度分布グラフ６４５を基に、輝度のｘ方向の分布を二値化した第三特徴値グラフ６５５が示されている。
【００７８】
合成鳥瞰画像特徴値計算部１３０は、第三特徴値計算鳥瞰画像６３５において、左端下辺（座標：ｘ６０，ｙ６０）から左端上辺（座標：ｘ６０，ｙ６９）までの各画素の輝度値を加算し、総和を求める。総和の値を、ｘ座標がｘ６０のときの輝度値として、第三輝度分布グラフ６４５上に記録する。この行程を、第三特徴値計算鳥瞰画像６３５の左端であるｘ６０から右端であるｘ６９まで一画素毎に行うことで、第三特徴値計算鳥瞰画像６３５のｘ軸方向の輝度値の分布が示される。この輝度値の分布を示したグラフが、第三輝度分布グラフ６４５である。なお、輝度値を求める際に、本実施形態では、輝度値の加算の行程の順序を左端下辺（座標：ｘ６０，ｙ６０）から左端上辺（座標：ｘ６０，ｙ６９）、としたが、右端（座標：ｘ６９）から始めても、また上辺（座標：ｙ６９）から始めてもよい。
【００７９】
路面よりも相対的に輝度値が高い領域は、左レーン３６１ｐ、３６１ｑ、及び右レーン３６３ｐ、３６３ｑである。よって、左レーン３６１ｐ、３６１ｑのレーン幅の間（ｘ６１とｘ６２の間）の輝度値は、路面と比べ大きな値を示す。同様に、右レーン３６３ｐ、３６３ｑのレーン幅の間（ｘ６４とｘ６５の間）の輝度値も大きな値を示す。
【００８０】
第三輝度分布グラフ６４５には、前述の通り、二値化のための閾値６９０が設けられている。合成鳥瞰画像特徴値計算部１３０は、第三輝度分布グラフ６４５で示されたｘ軸上の各座標での輝度値が、閾値６９０を超えるかどうかを判定する。あるｘ軸上の座標の輝度値が閾値６９０を超える場合は１を、超えない場合は０を、第三特徴値グラフ６５５上に記録する。この行程を、第三特徴値計算鳥瞰画像６３５の左端であるｘ６０から右端であるｘ６９まで、一画素毎に行うことで、第三特徴値計算鳥瞰画像６３５の、ｘ軸方向の輝度値を二値化できる。輝度値を二値化したものを特徴値とし、これを示したグラフが、第三特徴値グラフ６５５である。第三特徴値グラフ６５５では、左レーン３６１ｐ、３６１ｑのレーン幅の間（ｘ６１とｘ６２の間）と、右レーン３６３ｐ、３６３ｑのレーン幅の間（ｘ６４とｘ６５の間）において、輝度値が閾値６９０を超えるため、１となる。その他の路面部分は、０となる。
【００８１】
図７は、平均計算部１３５が、合成鳥瞰画像特徴値計算部１３０の出力である、各特徴値計算鳥瞰画像から計算した特徴値を入力として、特徴値平均７１０を計算するまでの処理を示す模式図である。これは、図２においてステップＳ２６０に対応する。
【００８２】
図７の上段には、合成鳥瞰画像特徴値計算部１３０から出力された、第一特徴値グラフ６５１、第二特徴値グラフ６５３、及び第三特徴値グラフ６５５が示されている。図７の中段には、特徴値平均計算部１３５が、入力の特徴値グラフを基に計算した、特徴値合算グラフ７００が示されている。図７の下段には、特徴値平均計算部１３５が、特徴値合算グラフ７００を基に計算した、特徴値平均グラフ７１０が示されている。
【００８３】
特徴値平均計算部１３５は、合成鳥瞰画像特徴値計算部１３０から出力された、第一特徴値グラフ６５１、第二特徴値グラフ６５３、及び第三特徴値グラフ６５５を入力とする。入力された三つの特徴値グラフに対し、特徴値平均計算部１３５は、それぞれの特徴値グラフの、ｘ軸上のある座標ｘαにおける特徴値を合算し記憶する。例えば、ｘ座標がｘ６１とｘ６２の間では、入力である三つの特徴値グラフのいずれも特徴値は１であるので、合算した結果は３となる。一方、ｘ座標がｘ６３とｘ６４の間では、第一特徴値グラフ６５１においては１であるが、第二特徴値グラフ６５３、及び第三特徴値グラフ６５５では０であるため、合算した結果は１となる。この行程を、左端の座標であるｘ６０から、右端の座標であるｘ６９まで一画素ごとに実行し記憶する。この結果得られるグラフが、図７の中段に示された、特徴値合算グラフ７００である。
【００８４】
次に、特徴値平均計算部１３５は、前述の行程で得られた特徴値合算グラフ７００を用いて、座標ｘαにおける特徴値の合算を、基点の数で割る。本実施形態では、基点の数は３であるので、各特徴値の合算を３で割る。この行程を、左端の座標であるｘ６０から、右端の座標であるｘ６９まで一画素ごとに実行し記憶する。この行程により、複数の合成鳥瞰画像上の特徴値計算領域から得られた、特徴値の平均のｘ軸方向の分布が得られる。
【００８５】
次に、特徴値平均計算部１３５は、得られた座標ｘαにおける特徴値の平均が、１であるか否かを調べる。座標ｘα上に、道路標示が存在する場合、雨滴の影響の有無に拘らず、合成鳥瞰画像上の全ての特徴値計算領域において高い輝度を示す。よって、座標ｘα上での特徴値の平均は１を示す。一方で、座標ｘα上に、道路標示が存在しないが、雨滴の影響により、ある特徴値計算領域においてのみ輝度が検出された場合、特徴値の平均は１未満で、且つ０で無い値となる。特徴値は二値化された値であるので、この場合、特徴値平均計算部１３５は特徴値の平均を０として記憶する。最後に、座標ｘα上に、道路標示が存在せず、かつ雨滴の影響も無い場合は、特徴値の合算が０であるので、特徴値の平均も０となる。この行程を、左端の座標であるｘ６０から、右端の座標であるｘ６９まで一画素ごとに実行し記憶する。これにより、複数の合成鳥瞰画像上の特徴値計算領域から得られた、二値化された特徴値の平均のｘ軸方向の分布が得られる。この二値化された特徴値の平均のｘ軸方向の分布を示したグラフが、特徴値平均グラフ７１０である。特徴値平均計算部１３５は、この特徴値平均グラフ７１０を出力とする。なお、本実施形態では、特徴値の合算と平均の計算を行う際に、計算の順序を、左端であるｘ６０から右端であるｘ６９まで、としたが、右端であるｘ６９から左端であるｘ６０までとしてもよい。
【００８６】
図８は、特徴値比較部１４０が、合成鳥瞰画像特徴値計算部１３０が計算した複数の特徴値グラフと、特徴値平均計算部１３５が計算した特徴値平均７１０を入力として、レンズの付着物による影響を受けた特徴値を除外するまでの処理を示す模式図である。これは、図２においてステップＳ２７０に対応する。
【００８７】
図８（ａ）は、特徴値比較部１４０が、第一特徴値グラフ６５１と特徴値平均７１０を比較し、第一特徴値グラフ６５１がレンズの付着物による影響を受けているかを判断する処理を示す模式図である。図８（ａ）の上段には、合成鳥瞰画像特徴値計算部１３０から出力された、第一特徴値グラフ６５１が示されている。中段には、特徴値平均計算部１３５から出力された、特徴値平均７１０が示されている。下段には何も示されていない。これは、特徴値比較部１４０が、第一特徴値グラフ６５１と特徴値平均７１０を比較した結果として、第一特徴値グラフ６５１が除外された結果を示している。
【００８８】
特徴値比較部１４０は、合成鳥瞰画像特徴値計算部１３０から出力された第一特徴値グラフ６５１と、特徴値平均計算部１３５から出力された特徴値平均７１０を入力とする。次に、特徴値比較部１４０は、入力である第一特徴値グラフ６５１と特徴値平均７１０を比較する。特徴値平均７１０は、ｘ軸方向に任意の閾値±δを持っている。特徴値比較部１４０は、第一特徴値グラフ６５１と特徴値平均７１０の間に、この閾値±δ以上の差分がある場合、第一特徴値グラフ６５１は特徴値平均７１０から逸脱している、と判断する。第一特徴値グラフ６５１が、特徴値平均７１０から逸脱していなければ、第一特徴値グラフ６５１はレンズの付着物による影響を受けていないと判断される。一方で、第一特徴値グラフ６５１が、特徴値平均７１０から逸脱している場合、第一特徴値グラフ６５１はレンズの付着物による影響を受けていると判断される。
【００８９】
ここで、第一特徴値グラフ６５１と特徴値平均７１０を比較する。左レーンの位置に対応する第一特徴値グラフ６５１の特徴値は、座標ｘ６１とｘ６２の間に位置しており、特徴値平均７１０の示す特徴値±δの座標であるｘｔｈ１とｘｔｈ２の範囲から逸脱していない。一方で、右レーンの位置に対応する特徴値は、第一特徴値グラフ６５１では座標ｘ６３とｘ６６の間に位置しているのに対し、特徴値平均７１０では座標ｘ６４とｘ６５の間に位置している。第一特徴値グラフ６５１の示す特徴値は、特徴値平均７１０の示す特徴値±δの座標であるｘｔｈ３とｘｔｈ４の範囲から逸脱している。よって、特徴値比較部１４０は、第一特徴値グラフ６５１がレンズの付着物の影響を受けていると判断する。この判断に基づき、特徴値比較部１４０は、第一特徴値グラフ６５１を、路面情報を認識するための候補から除外する。これは、第一特徴値グラフ６５１生成の際に基となった、第一合成鳥瞰画像５２１が除外されたことを意味する。第一特徴値グラフ６５１を除外した結果として、特徴値比較部１４０は何も出力せず、図８（ａ）の下段は空白となっている。
【００９０】
図８（ｂ）は、特徴値比較部１４０が、第二特徴値グラフ６５３と特徴値平均７１０を比較し、第二特徴値グラフ６５３がレンズの付着物による影響を受けているかを判断する処理を示す模式図である。図８（ｂ）の上段には、合成鳥瞰画像特徴値計算部１３０から出力された、第二特徴値グラフ６５３が示されている。中段には、特徴値平均計算部１３５から出力された、特徴値平均７１０が示されている。下段には、特徴値比較部１４０が、第二特徴値グラフ６５３と特徴値平均７１０を比較した結果として、再度第二特徴値グラフ６５３が示されている。
【００９１】
特徴値比較部１４０は、合成鳥瞰画像特徴値計算部１３０から出力された第二特徴値グラフ６５３と、特徴値平均計算部１３５から出力された特徴値平均７１０を入力とする。次に、特徴値比較部１４０は、入力である第二特徴値グラフ６５３と特徴値平均７１０を比較する。特徴値平均７１０は、ｘ軸方向に任意の閾値±δを持っている。特徴値比較部１４０は、第二特徴値グラフ６５３と特徴値平均７１０の間に、この閾値±δ以上の差分がある場合、第二特徴値グラフ６５３は特徴値平均７１０から逸脱している、と判断する。第二特徴値グラフ６５３が、特徴値平均７１０から逸脱していなければ、第二特徴値グラフ６５３はレンズの付着物による影響を受けていないと判断される。一方で、第二特徴値グラフ６５３が、特徴値平均７１０から逸脱している場合、第二特徴値グラフ６５３はレンズの付着物による影響を受けていると判断される。
【００９２】
ここで、第二特徴値グラフ６５３と特徴値平均７１０を比較する。左レーンの位置に対応する第二特徴値グラフ６５３の特徴値は、座標ｘ６１とｘ６２の間に位置しており、特徴値平均７１０の示す特徴値±δの座標であるｘｔｈ１とｘｔｈ２の範囲から逸脱していない。一方で、右レーンの位置に対応する特徴値も、第二特徴値グラフ６５３では座標ｘ６４とｘ６５の間に位置しており、特徴値平均７１０の示す特徴値±δの座標であるｘｔｈ３とｘｔｈ４の範囲から逸脱していない。よって、特徴値比較部１４０は、第二特徴値グラフ６５３がレンズの付着物の影響を受けていないと判断する。この判断に基づき、特徴値比較部１４０は、第二特徴値グラフ６５３を、路面情報を認識するための候補として保持する。これは、第二特徴値グラフ６５３生成の際に基となった、第二合成鳥瞰画像５２３が保持されたことを意味する。第二特徴値グラフ６５３を保持した結果として、図８（ｂ）の下段には、再度第二特徴値グラフ６５３が示されている。この第二特徴値グラフ６５３を、特徴値比較部１４０の出力とする。
【００９３】
図８（ｃ）は、特徴値比較部１４０が、第三特徴値グラフ６５５と特徴値平均７１０を比較し、第三特徴値グラフ６５５がレンズの付着物による影響を受けているかを判断する処理を示す模式図である。図８（ｃ）の上段には、合成鳥瞰画像特徴値計算部１３０から出力された、第三特徴値グラフ６５５が示されている。中段には、特徴値平均計算部１３５から出力された、特徴値平均７１０が示されている。下段には、特徴値比較部１４０が、第三特徴値グラフ６５５と特徴値平均７１０を比較した結果として、再度第三特徴値グラフ６５５が示されている。
【００９４】
特徴値比較部１４０は、合成鳥瞰画像特徴値計算部１３０から出力された第三特徴値グラフ６５５と、特徴値平均計算部１３５から出力された特徴値平均７１０を入力とする。次に、特徴値比較部１４０は、入力である第三特徴値グラフ６５５と特徴値平均７１０を比較する。特徴値平均７１０は、ｘ軸方向に任意の閾値±δを持っている。特徴値比較部１４０は、第三特徴値グラフ６５５と特徴値平均７１０の間に、この閾値±δ以上の差分がある場合、第三特徴値グラフ６５５は特徴値平均７１０から逸脱している、と判断する。第三特徴値グラフ６５５が、特徴値平均７１０から逸脱していなければ、第三特徴値グラフ６５５はレンズの付着物による影響を受けていないと判断される。一方で、第三特徴値グラフ６５５が、特徴値平均７１０から逸脱している場合、第三特徴値グラフ６５５はレンズの付着物による影響を受けていると判断される。
【００９５】
ここで、第三特徴値グラフ６５５と特徴値平均７１０を比較する。左レーンの位置に対応する第三特徴値グラフ６５５の特徴値は、座標ｘ６１とｘ６２の間に位置しており、特徴値平均７１０の示す特徴値±δの座標であるｘｔｈ１とｘｔｈ２の範囲から逸脱していない。一方で、右レーンの位置に対応する特徴値も、第三特徴値グラフ６５５では座標ｘ６４とｘ６５の間に位置しており、特徴値平均７１０の示す特徴値±δの座標であるｘｔｈ３とｘｔｈ４の範囲から逸脱していない。よって、特徴値比較部１４０は、第三特徴値グラフ６５５がレンズの付着物の影響を受けていないと判断する。この判断に基づき、特徴値比較部１４０は、第三特徴値グラフ６５５を、路面情報を認識するための候補として保持する。これは、第三特徴値グラフ６５５生成の際に基となった、第三合成鳥瞰画像５２５が保持されたことを意味する。第三特徴値グラフ６５５を保持した結果として、図８（ｃ）の下段には、再度第三特徴値グラフ６５５が示されている。この第三特徴値グラフ６５５を、特徴値比較部１４０の出力とする。
【００９６】
図９は、合成鳥瞰画像選出部１４５が、特徴値比較部１４０が出力した特徴値グラフを入力として、最も信頼性の高い特徴値グラフを選出し、選出された特徴値グラフに対応する合成鳥瞰画像を出力するまでの処理を示す模式図である。これは、図２においてステップＳ２８０に対応する。
【００９７】
図９の上段には、特徴値比較部１４０から出力された、第二特徴値グラフ６５３、及び第三特徴値グラフ６５５が示されている。中段には、合成鳥瞰画像選出部１４５が選出した、第二特徴値グラフ６５３のみが示されている。下段には、合成鳥瞰画像選出部１４５が選出した第二特徴値グラフ６５３に対応する、第二合成鳥瞰画像５２３が示されている。
【００９８】
合成鳥瞰画像選出部１４５は、特徴値比較部１４０がレンズの付着物による影響を受けていると判断した特徴値グラフを除外した後の、残りの全ての特徴値グラフを入力とする。前述の様に、第一特徴値グラフ６５１は雨滴の影響により除外されているので、第二特徴値グラフ６５３、及び第三特徴値グラフ６５５が、合成鳥瞰画像選出部１４５の入力となる。合成鳥瞰画像選出部１４５は、入力の特徴値グラフの中で、一番撮影装置１１０に近い特徴値計算領域から得られた特徴値グラフを選出する。これは、撮影装置１１０から生成された合成鳥瞰画像は、撮影装置１１０に近い領域から生成された合成鳥瞰画像ほど鳥瞰画像の信頼性が高いためである。ここで、合成鳥瞰画像選出部１４５の入力である第二特徴値グラフ６５３と第三特徴値グラフ６５５とを比較すると、第二特徴値グラフ６５３が、撮影装置１１０により近い特徴値計算領域から得られた特徴値グラフである。よって、合成鳥瞰画像選出部１４５は第二特徴値グラフ６５３を選出し、残りの特徴値グラフ全てを除外する。本実施形態においては、第三特徴値グラフ６５５が除外される。
【００９９】
次に、合成鳥瞰画像選出部１４５は、選出した第二特徴値グラフ６５３の生成の際に基となった、第二合成鳥瞰画像５２３を記憶先である記憶装置１９９から読み出し、これを合成鳥瞰画像選出部１４５の出力とする。
【０１００】
図１０は、画像認識部１５０が、合成鳥瞰画像選出部１４５が出力した合成鳥瞰画像を入力として、道路標識を認識するまでの処理を示す模式図である。
【０１０１】
図１０には、合成鳥瞰画像選出部１４５から出力された第二合成鳥瞰画像５２３、及び道路標示見本８００が示されている。これは、図２においてステップＳ２９０に対応する。
【０１０２】
画像認識部１５０は、合成鳥瞰画像選出部１４５が選出した第二合成鳥瞰画像５２３を、記憶装置１９９に格納されている道路標示見本８００と比較して、該当する道路標示を検索する。該当する道路標示が見つかった場合には、画像認識部１５０はその結果を外部表示装置（図示せず）に出力する。
【０１０３】
なお、本実施形態では、レンズの付着物を雨滴としたが、同じ手法を用いることで、レンズに汚れが付着している場合などでも、付着物の検知が可能である。例えば汚れの場合は、この汚れが道路標示を覆い隠してしまう場合、汚れの影響を受けた部分のみ輝度値、言い換えれば特徴値が観察されなくなる。もし、そこに道路標示が有った場合、他の汚れの影響が無い領域からの特徴値と異なる特徴値分布となるため、本発明の手法により、汚れなどによるレンズの付着物の影響も同様に除去ができる。
【０１０４】
以上から、本発明の実施形態である道路標示認識装置１０００によって、従来技術では実現困難であった、撮影装置１１０のレンズに付着した雨滴や汚れの影響を回避できることがわかる。これは、鳥瞰画像上の複数の領域から、複数の合成鳥瞰画像を生成し、雨滴の汚れの影響を受けていない合成鳥瞰画像を選択することにより実現できる。つまり、雨滴、汚れが付着した撮影装置１１０のレンズ部分によって作成された合成鳥瞰画像を除外し、正常と判断した合成鳥瞰画像の中で、最も信頼性の高い合成鳥瞰画像を用いて画像認識を実行する。この結果、認識性能の低下、及び誤認識を防止できる効果がある。
【符号の説明】
【０１０５】
１０５ 車両速度センサ部
１１０ 撮影装置
１１５ 画像変換部
１２０ 抽出対象領域選択部
１２３ 複数鳥瞰画像生成部
１２５ 合成鳥瞰画像生成部
１３０ 合成鳥瞰画像特徴値計算部
１３５ 特徴値平均計算部
１３８ 最適画像選定部
１４０ 特徴値比較部
１４５ 合成鳥瞰画像選出部
１５０ 画像認識部
１９８ ＣＰＵ
１９９ 記憶装置
３００ 路面画像
３０１ 第一基点
３０３ 第二基点
３０５ 第三基点
３１１ 第一抽出対象領域
３１３ 第二抽出対象領域
３１５ 第三抽出対象領域
３１９ 鳥瞰画像
３３７ 第三合成部分画像４２５ｐの基点
３３９ 第一合成鳥瞰画像５２１の左上の画像端の基点
３５１ 雨滴
３６１ 左レーン
３６１ａ、３６１ｂ、３６１ｃ、３６１ｄ、３６１ｈ、３６１ｉ、３６１ｊ、３６１ｋ、３６１ｐ、３６１ｑ、３６１ｒ、３６１ｓ 合成部分画像の左レーン
３６３ 右レーン
３６３ａ、３６３ｂ、３６３ｃ、３６３ｄ、３６３ｈ、３６３ｉ、３６３ｊ、３６３ｋ、３６３ｐ、３６３ｑ、３６３ｒ、３６３ｓ 合成部分画像の右レーン
４２１ 第一合成部分画像
４２１ａ、４２１ｂ、４２１ｃ、４２１ｄ 時系列の第一合成部分画像
４２３ 第二合成部分画像
４２３ｈ、４２３ｉ、４２３ｊ、４２３ｋ 時系列の第二合成部分画像
４２５ 第三合成部分画像
４２５ｐ、４２５ｑ、４２５ｒ、４２５ｓ 時系列の第三合成部分画像
５２１ 第一合成鳥瞰画像
５２３ 第二合成鳥瞰画像
５２５ 第三合成鳥瞰画像
５３１ 第一特徴値計算領域
５３３ 第二特徴値計算領域
５３５ 第三特徴値計算領域
６３１ 第一特徴値計算鳥瞰画像
６３３ 第二特徴値計算鳥瞰画像
６３５ 第三特徴値計算鳥瞰画像
６４１ 第一輝度分布グラフ
６４３ 第二輝度分布グラフ
６４５ 第三輝度分布グラフ
６５１ 第一特徴値グラフ
６５３ 第二特徴値グラフ
６５５ 第三特徴値グラフ
６９０ 輝度を二値化するための閾値
７００ 特徴値合算グラフ
７１０ 特徴値平均
８００ 道路標示見本
１０００ 道路標示認識装置
【特許請求の範囲】
【請求項１】
撮影装置からの路面画像に基づいて、前記路面画像を鳥瞰画像に変換する画像変換部と、
前記鳥瞰画像を細分化して部分的な鳥瞰画像を生成し、前記部分的な鳥瞰画像を前記撮影装置の撮影する時間間隔毎に時系列順に合成し、複数の合成鳥瞰画像を生成する、複数鳥瞰画像生成部と、
前記複数の合成鳥瞰画像において、前記撮影装置がレンズに付着物を有するときの、付着物による前記複数の鳥瞰画像への影響の有無を検知し、前記付着物による影響が無い、或いは付着物による影響が所定の基準以下である前記合成鳥瞰画像の中から、所定の選定基準により信頼性の高い前記合成鳥瞰画像を選出する最適画像選定部とを具備する、
道路標示認識装置。
【請求項２】
請求項１に記載の道路標示認識装置において、
前記複数鳥瞰画像生成部は、
前記画像変換部の出力する前記鳥瞰画像に基づいて、前記鳥瞰画像上の一部分である合成部分画像を抽出するための領域である、抽出対象領域を複数選択する抽出対象領域選択部と、
複数の前記抽出対象領域にて抽出された複数の前記合成部分画像を、前記撮影装置の撮影間隔の時間毎に時系列順に合成することにより、複数の合成鳥瞰画像を生成し、前記複数の合成鳥瞰画像上に、前記合成鳥瞰画像の特徴値を求めるための複数の特徴値計算領域を設ける合成鳥瞰画像生成部とを具備する、
道路標示認識装置。
【請求項３】
請求項２に記載の道路標示認識装置において、
前記最適画像選定部は、
前記複数の特徴値計算領域から複数の前記特徴値を計算する合成鳥瞰画像特徴値計算部と、
前記複数の特徴値の平均を計算する特徴値平均計算部と、
前記複数の特徴値と、前記複数の特徴値の平均を比較し、前記複数の特徴値の平均から逸脱した特徴値を示す前記合成鳥瞰画像を除外する特徴値比較部と、
入力された前記複数の合成鳥瞰画像を比較し、所定の基準により最も信頼性の高い合成鳥瞰画像を選出する合成鳥瞰画像選出部とを具備する、
道路標示認識装置。
【請求項４】
請求項２乃至３のいずれか一項に記載の道路標示認識装置において、
前記抽出対象領域選択部は、前記鳥瞰画像上に複数の基点を設定し、前記複数の基点から、前記車両の走行速度に応じた距離までを、複数の前記抽出対象領域として選択する、
道路標示認識装置。
【請求項５】
請求項２乃至４のいずれか一項に記載の道路標示認識装置において、
前記合成鳥瞰画像生成部は、前記複数の特徴値計算領域を設定するための基準点として、前記複数の合成鳥瞰画像上の前記複数の基点のうち、車両から最も遠い基点位置を用い、前記基準点から所定の距離までの前記複数の鳥瞰画像上で同一域での路面を、前記複数の合成鳥瞰画像上の前記複数の特徴値計算領域として設定し、設定された前記複数の特徴値計算領域は、各々同一の面積を有する、
道路標示認識装置。
【請求項６】
請求項２乃至５のいずれか一項に記載の道路標示認識装置において、
前記特徴値は、前記合成鳥瞰画像の輝度値であり、前記合成鳥瞰画像特徴値計算部は、前記複数の特徴値計算領域から各々の前記輝度値を計算し、前記輝度値から、前記複数の合成鳥瞰画像の特徴値を二値化で計算する、
道路標示認識装置。
【請求項７】
請求項２乃至６のいずれか一項に記載の道路標示認識装置において、
前記合成鳥瞰画像選出部は、車両から最も近い前記抽出対象領域から抽出された前記合成鳥瞰画像を選出する、
道路標示認識装置。
【請求項８】
撮影装置が撮影した路面画像を鳥瞰画像に変換するステップと、
前記鳥瞰画像を細分化し部分的な鳥瞰画像を生成するステップと、
前記部分的な鳥瞰画像を前記撮影装置の撮影する時間間隔毎に時系列順に合成し、複数の合成鳥瞰画像を生成するステップと、
前記複数の合成鳥瞰画像において、前記撮影装置が付着物を有するときの、付着物の影響の有無を検知するステップと、
前記付着物による影響が無い、或いは前記付着物による影響が所定の基準以下である前記合成鳥瞰画像の中から、所定の選定基準により信頼性の高い前記合成鳥瞰画像を選出するステップとを具備する、
道路標示の認識方法。
【請求項９】
請求項８に記載の道路標示の認識方法において、
前記鳥瞰画像を細分化し部分的な鳥瞰画像を生成するステップは、前記鳥瞰画像に複数の基点を設定し、車両の走行速度から前記撮影装置の撮影する時間間隔までの間に車両が走行する距離を計算し、前記複数の基点から、前記車両が走行する距離までの複数の領域を複数の抽出対象領域とし、前記複数の抽出対象領域にて前記鳥瞰画像上の一部分である合成部分画像を生成する、
道路標示の認識方法。
【請求項１０】
請求項８乃至９のいずれか一項に記載の道路標示の認識方法において、
前記部分的な鳥瞰画像を前記撮影装置の撮影する時間間隔毎に時系列順に合成し、複数の合成鳥瞰画像を生成するステップは、前記複数の合成鳥瞰画像を生成した後、複数の特徴値を計算するための領域を設定するための基準点として、前記複数の合成鳥瞰画像上の前記複数の基点のうち、車両から最も遠い基点位置を用い、前記基準点から所定の距離までの前記複数の鳥瞰画像上で同一域での路面を、前記複数の合成鳥瞰画像上の複数の特徴値計算領域として設定する、
道路標示の認識方法。
【請求項１１】
請求項８乃至１０のいずれか一項に記載の道路標示の認識方法において、
前記複数の合成鳥瞰画像において、前記撮影装置が付着物を有するときの、付着物の影響の有無を検知するステップは、前記複数の合成鳥瞰画像から前記複数の特徴値を計算し、前記複数の特徴値から特徴値の平均を計算し、前記複数の特徴値と前記特徴値の平均を比較し、前記特徴値の平均から所定の閾値以上の差分を持つ特徴値を示す前記合成鳥瞰画像を、付着物の影響を有すると判断する、
道路標示の認識方法。
【請求項１２】
請求項８乃至１１のいずれか一項に記載の道路標示の認識方法において、
前記複数の合成鳥瞰画像において、前記撮影装置が付着物を有するときの、付着物の影響の有無を検知するステップは、前記複数の特徴値計算領域から、各々の輝度分布を計算する、
道路標示の認識方法。
【請求項１３】
請求項８乃至１２のいずれか一項に記載の道路標示の認識方法において、
前記付着物による影響が確認されなかった前記合成鳥瞰画像の中から、所定の基準により最も信頼性の高い前記合成鳥瞰画像を選出するステップは、車両から最も近い前記抽出対象領域から抽出された前記合成鳥瞰画像を選出する、
道路標示の認識方法。
【請求項１】
撮影装置からの路面画像に基づいて、前記路面画像を鳥瞰画像に変換する画像変換部と、
前記鳥瞰画像を細分化して部分的な鳥瞰画像を生成し、前記部分的な鳥瞰画像を前記撮影装置の撮影する時間間隔毎に時系列順に合成し、複数の合成鳥瞰画像を生成する、複数鳥瞰画像生成部と、
前記複数の合成鳥瞰画像において、前記撮影装置がレンズに付着物を有するときの、付着物による前記複数の鳥瞰画像への影響の有無を検知し、前記付着物による影響が無い、或いは付着物による影響が所定の基準以下である前記合成鳥瞰画像の中から、所定の選定基準により信頼性の高い前記合成鳥瞰画像を選出する最適画像選定部とを具備する、
道路標示認識装置。
【請求項２】
請求項１に記載の道路標示認識装置において、
前記複数鳥瞰画像生成部は、
前記画像変換部の出力する前記鳥瞰画像に基づいて、前記鳥瞰画像上の一部分である合成部分画像を抽出するための領域である、抽出対象領域を複数選択する抽出対象領域選択部と、
複数の前記抽出対象領域にて抽出された複数の前記合成部分画像を、前記撮影装置の撮影間隔の時間毎に時系列順に合成することにより、複数の合成鳥瞰画像を生成し、前記複数の合成鳥瞰画像上に、前記合成鳥瞰画像の特徴値を求めるための複数の特徴値計算領域を設ける合成鳥瞰画像生成部とを具備する、
道路標示認識装置。
【請求項３】
請求項２に記載の道路標示認識装置において、
前記最適画像選定部は、
前記複数の特徴値計算領域から複数の前記特徴値を計算する合成鳥瞰画像特徴値計算部と、
前記複数の特徴値の平均を計算する特徴値平均計算部と、
前記複数の特徴値と、前記複数の特徴値の平均を比較し、前記複数の特徴値の平均から逸脱した特徴値を示す前記合成鳥瞰画像を除外する特徴値比較部と、
入力された前記複数の合成鳥瞰画像を比較し、所定の基準により最も信頼性の高い合成鳥瞰画像を選出する合成鳥瞰画像選出部とを具備する、
道路標示認識装置。
【請求項４】
請求項２乃至３のいずれか一項に記載の道路標示認識装置において、
前記抽出対象領域選択部は、前記鳥瞰画像上に複数の基点を設定し、前記複数の基点から、前記車両の走行速度に応じた距離までを、複数の前記抽出対象領域として選択する、
道路標示認識装置。
【請求項５】
請求項２乃至４のいずれか一項に記載の道路標示認識装置において、
前記合成鳥瞰画像生成部は、前記複数の特徴値計算領域を設定するための基準点として、前記複数の合成鳥瞰画像上の前記複数の基点のうち、車両から最も遠い基点位置を用い、前記基準点から所定の距離までの前記複数の鳥瞰画像上で同一域での路面を、前記複数の合成鳥瞰画像上の前記複数の特徴値計算領域として設定し、設定された前記複数の特徴値計算領域は、各々同一の面積を有する、
道路標示認識装置。
【請求項６】
請求項２乃至５のいずれか一項に記載の道路標示認識装置において、
前記特徴値は、前記合成鳥瞰画像の輝度値であり、前記合成鳥瞰画像特徴値計算部は、前記複数の特徴値計算領域から各々の前記輝度値を計算し、前記輝度値から、前記複数の合成鳥瞰画像の特徴値を二値化で計算する、
道路標示認識装置。
【請求項７】
請求項２乃至６のいずれか一項に記載の道路標示認識装置において、
前記合成鳥瞰画像選出部は、車両から最も近い前記抽出対象領域から抽出された前記合成鳥瞰画像を選出する、
道路標示認識装置。
【請求項８】
撮影装置が撮影した路面画像を鳥瞰画像に変換するステップと、
前記鳥瞰画像を細分化し部分的な鳥瞰画像を生成するステップと、
前記部分的な鳥瞰画像を前記撮影装置の撮影する時間間隔毎に時系列順に合成し、複数の合成鳥瞰画像を生成するステップと、
前記複数の合成鳥瞰画像において、前記撮影装置が付着物を有するときの、付着物の影響の有無を検知するステップと、
前記付着物による影響が無い、或いは前記付着物による影響が所定の基準以下である前記合成鳥瞰画像の中から、所定の選定基準により信頼性の高い前記合成鳥瞰画像を選出するステップとを具備する、
道路標示の認識方法。
【請求項９】
請求項８に記載の道路標示の認識方法において、
前記鳥瞰画像を細分化し部分的な鳥瞰画像を生成するステップは、前記鳥瞰画像に複数の基点を設定し、車両の走行速度から前記撮影装置の撮影する時間間隔までの間に車両が走行する距離を計算し、前記複数の基点から、前記車両が走行する距離までの複数の領域を複数の抽出対象領域とし、前記複数の抽出対象領域にて前記鳥瞰画像上の一部分である合成部分画像を生成する、
道路標示の認識方法。
【請求項１０】
請求項８乃至９のいずれか一項に記載の道路標示の認識方法において、
前記部分的な鳥瞰画像を前記撮影装置の撮影する時間間隔毎に時系列順に合成し、複数の合成鳥瞰画像を生成するステップは、前記複数の合成鳥瞰画像を生成した後、複数の特徴値を計算するための領域を設定するための基準点として、前記複数の合成鳥瞰画像上の前記複数の基点のうち、車両から最も遠い基点位置を用い、前記基準点から所定の距離までの前記複数の鳥瞰画像上で同一域での路面を、前記複数の合成鳥瞰画像上の複数の特徴値計算領域として設定する、
道路標示の認識方法。
【請求項１１】
請求項８乃至１０のいずれか一項に記載の道路標示の認識方法において、
前記複数の合成鳥瞰画像において、前記撮影装置が付着物を有するときの、付着物の影響の有無を検知するステップは、前記複数の合成鳥瞰画像から前記複数の特徴値を計算し、前記複数の特徴値から特徴値の平均を計算し、前記複数の特徴値と前記特徴値の平均を比較し、前記特徴値の平均から所定の閾値以上の差分を持つ特徴値を示す前記合成鳥瞰画像を、付着物の影響を有すると判断する、
道路標示の認識方法。
【請求項１２】
請求項８乃至１１のいずれか一項に記載の道路標示の認識方法において、
前記複数の合成鳥瞰画像において、前記撮影装置が付着物を有するときの、付着物の影響の有無を検知するステップは、前記複数の特徴値計算領域から、各々の輝度分布を計算する、
道路標示の認識方法。
【請求項１３】
請求項８乃至１２のいずれか一項に記載の道路標示の認識方法において、
前記付着物による影響が確認されなかった前記合成鳥瞰画像の中から、所定の基準により最も信頼性の高い前記合成鳥瞰画像を選出するステップは、車両から最も近い前記抽出対象領域から抽出された前記合成鳥瞰画像を選出する、
道路標示の認識方法。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１Ｂ】
【図１Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２４３１９１（Ｐ２０１２−２４３１９１Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１４５８３（Ｐ２０１１−１１４５８３）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]