画像認識装置及び画像認識方法
【課題】画像認識処理のための処理負荷を抑えることができるとともに、効率的に地物の画像認識処理を行うことが可能な画像認識装置及び画像認識方法を提供する。
【解決手段】自車位置情報Pを取得する自車位置情報取得手段16と、自車両の周辺の画像情報Gを取得する画像情報取得手段12と、自車位置情報Pに基づいて、自車両が走行中の道路についての道路属性情報Rbを取得する道路属性情報取得手段41と、画像情報Gに対する画像認識処理の対象とする一又は二以上の対象種別を決定する対象種別決定手段42と、対象種別決定手段42により決定された対象種別の地物を対象地物とし、画像情報Gに含まれる対象地物の画像認識処理を行う画像認識手段18と、を備え、対象種別決定手段42は、道路属性情報Rbと、画像認識処理に関して予め定められた地物種別毎の認識属性情報S1とに基づいて、対象種別を決定する。
【解決手段】自車位置情報Pを取得する自車位置情報取得手段16と、自車両の周辺の画像情報Gを取得する画像情報取得手段12と、自車位置情報Pに基づいて、自車両が走行中の道路についての道路属性情報Rbを取得する道路属性情報取得手段41と、画像情報Gに対する画像認識処理の対象とする一又は二以上の対象種別を決定する対象種別決定手段42と、対象種別決定手段42により決定された対象種別の地物を対象地物とし、画像情報Gに含まれる対象地物の画像認識処理を行う画像認識手段18と、を備え、対象種別決定手段42は、道路属性情報Rbと、画像認識処理に関して予め定められた地物種別毎の認識属性情報S1とに基づいて、対象種別を決定する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両に搭載した撮像装置等により取得した車両周辺の画像情報に含まれる対象地物の画像認識処理を行う画像認識装置及び画像認識方法に関する。
【背景技術】
【0002】
これまでに、車両に搭載した撮像装置等により取得した車両周辺の画像情報に含まれる対象地物の画像認識処理を行い、その画像認識結果に基づいて地物の情報を収集する装置が知られている(例えば、下記の特許文献1及び2参照)。これらの特許文献に記載された従来の装置は、いずれも、道路に設置された交通標識や道路交通情報表示板を対象地物とするものである。そして、これらの装置は、車両に搭載された撮像装置により取得した画像情報に含まれる対象地物の画像認識を行い、その認識結果から抽出された標識情報等の地物情報を、位置情報や区間情報と関連付けて地図データベースに記憶する。ここで、対象地物の画像認識処理に際しては、交通標識や道路交通情報表示板等の具体的な種別を、パターンマッチング等により認識する構成とされている。
【0003】
【特許文献1】特開2006−038558号公報
【特許文献2】特開2006−275690号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、上記のような従来の装置では、画像情報に含まれる可能性がある交通標識や道路交通情報表示板等の多数の地物種別を対象として、その地物種別を特定する画像認識処理を行うこととしている。そのため、一つの画像情報に対して、多数の地物種別のそれぞれに関して認識アルゴリズムを適用することが必要となり、画像認識処理のための処理負荷が大きくなる。したがって、画像認識処理を高速で行うことが困難になり、或いは高速で画像認識処理を行うことが可能な装置を実現するために製造コストが高くなるという問題が生じる。
【0005】
一方、画像認識処理のための処理負荷を抑えるためには、画像認識の対象とする地物種別を限定することが考えられる。しかし、自車両の周辺状況等を考慮せずに一律に同じ地物種別の地物を対象として画像認識処理を行うこととすると、自車両の周辺にほとんど存在していない地物種別の地物を対象として画像認識処理を行うような場合も生じ得る。したがって、取得した画像情報に対して効率的に地物の画像認識処理を行うことができず、そのため効率的に地物の情報を収集することが困難であるという問題がある。
【0006】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、画像認識処理のための処理負荷を抑えることができるとともに、効率的に地物の画像認識処理を行うことが可能な画像認識装置及び画像認識方法を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するための本発明に係る画像認識装置の特徴構成は、自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段と、自車両の周辺の画像情報を取得する画像情報取得手段と、前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得手段と、前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定手段と、前記対象種別決定手段により決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識手段と、を備え、前記対象種別決定手段は、前記道路属性情報取得手段により取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定する点にある。
【0008】
この特徴構成によれば、自車両が走行中の道路についての道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、画像認識処理の対象とする対象種別を決定するため、道路属性と認識属性とに応じて画像認識処理の対象として最適な地物種別を対象種別とすることが可能となる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定した場合であっても、道路属性と認識属性とに応じて画像認識処理に最適な地物種別を対象とし、効率的に地物の画像認識処理を行うことが可能となる。
【0009】
ここで、前記対象種別決定手段は、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する構成とすると好適である。
【0010】
この構成によれば、自車両が走行中の道路の道路属性に応じた各地物種別の出現頻度と、各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて、最も画像認識に成功する可能性が高い一又は二以上の地物種別を対象種別とすることができる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定した場合であっても、単位走行距離あたりの画像認識に成功する対象地物の数を多くすることができ、効率的に地物の画像認識処理を行うことが可能となる。
【0011】
また、前記道路属性情報は、道路種別情報及び地域種別情報のいずれか一つ以上を含む構成とすると好適である。
ここで、道路種別情報は、例えば、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。また、地域種別情報は、例えば、関東地方や関西地方等の地方、都道府県や市区町村等の行政区画等のように、道路が設けられている地域を複数に区分した際の地域種別の情報である。
【0012】
この構成によれば、自車両が走行中の道路についての道路種別及び地域種別の少なくとも一方に応じて、画像認識処理の対象として最も適した地物種別を対象種別に決定することができる。
【0013】
また、前記認識属性情報は、地物種別毎の形態、大きさ、色彩、及びかすれの生じ易さのいずれか一つ以上を含む各地物種別に固有の性質に基づいて定めた、画像認識処理に際しての認識率の予想値を表す認識率情報を含む構成とすると好適である。
【0014】
この構成によれば、各地物種別の画像認識処理に際しての認識容易性の程度を、各地物種別に固有の性質に基づいて定めた画像認識処理に際しての認識率の予想値の情報として取得することができる。したがって、各地物種別の画像認識に成功する割合を比較的容易に求めることが可能となる。
【0015】
また、前記対象種別決定手段は、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する構成とすると好適である。
【0016】
この構成によれば、各地物種別の地物の道路上での配置傾向に応じて対象種別となる地物種別が異なるように決定することができる。したがって、自車両が同じ道路属性の道路を走行中の場合であっても、自車両の道路上での配置に応じて、適切に対象種別を変化させることが可能となる。これにより、単位走行距離あたりの画像認識に成功する対象地物の数を更に多くすることができ、より効率的に地物の画像認識処理を行うことが可能となる。
【0017】
また、前記配置傾向情報は、各地物種別の地物が、交差点を基準として道路の長さ方向に区分された複数の道路区域のいずれに配置されている可能性が高いかを表す区域情報を含む構成とすると好適である。
【0018】
この構成によれば、地物種別毎に、交差点を基準とする道路の長さ方向のいずれの道路区域に配置されている可能性が高いかを表す区域情報に応じて、道路区域毎に適切な対象種別を決定することができる。これにより、例えば横断歩道、停止線、最高速度標示、矢印標示等のように交差点に対する配置傾向が定まっている地物種別の地物を、その配置傾向に応じて適切に画像認識することが可能となる。したがって、単位走行距離あたりの画像認識に成功する対象地物の数を更に多くすることができ、より効率的に地物の画像認識処理を行うことが可能となる。
【0019】
また、前記対象種別決定手段は、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定手段により決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報に基づいて、前記対象種別を決定する構成とすると好適である。
【0020】
この構成によれば、特定の領域における過去の対象地物の画像認識の成否の情報に基づいて、対象種別を決定することができる。したがって、例えば、特定の領域において、ある地物種別の地物の画像認識に所定回数連続で失敗した場合には、当該特定の領域における対象種別を他の地物種別に変更することが可能となる。これにより、画像認識できない地物種別の地物の画像認識を何度も繰り返すことを防止でき、より効率的に地物の画像認識処理を行うことが可能となる。
【0021】
また、前記対象種別となり得る地物種別は、道路の路面に設けられた各種の道路標示の中から選択された地物種別である構成とすると好適である。
【0022】
この構成によれば、道路標識、案内標識、信号機等の立体的な地物と比較して比較的画像認識が容易な道路標示の中から対象種別を選択することになるので、画像認識の成功率を高めることができ、より効率的に地物の画像認識処理を行うことが可能となる。
【0023】
本発明に係る地物情報収集装置の特徴構成は、上記の各構成を備えた画像認識装置と、前記自車位置情報に基づいて求められる、前記画像認識手段による対象地物の認識位置を表す認識位置情報を、当該対象地物が識別可能な状態で記憶する認識結果記憶手段と、を備える点にある。
【0024】
この特徴構成によれば、道路属性と認識属性とに応じて決定した最適な対象種別の地物を対象地物として画像認識処理を行い、その画像認識結果に係る対象地物の認識位置情報を認識結果記憶手段に記憶することになる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定しつつ、効率的に対象地物の画像認識処理を行い、その認識結果を認識結果記憶手段に蓄積することができる。
【0025】
ここで、同じ対象地物が複数回画像認識されることにより前記認識結果記憶手段に記憶された、同じ対象地物についての複数の前記認識位置情報に基づいて、当該対象地物の推測位置を判定する推測位置判定手段を更に備える構成とすると好適である。
【0026】
この構成によれば、認識結果記憶手段に記憶された複数の認識位置情報のそれぞれが示す対象地物の認識位置に誤差が含まれる場合であっても、複数の認識位置情報を用いて推測位置を判定することにより誤差を平均化し、対象地物の推測位置を実際の位置により近づけることが可能となる。これにより、対象地物の位置情報を高精度に取得することが可能となる。
【0027】
また、前記推測位置判定手段により判定された各対象地物の推測位置を表す位置情報を、当該対象地物についての前記画像認識手段による画像認識結果に基づく属性情報と関連付けた地物情報として記憶する地物情報記憶手段を更に備える構成とすると好適である。
【0028】
この構成によれば、道路属性と認識属性とに応じて決定した最適な対象種別の地物を対象地物とした画像認識処理の結果に基づいて、画像認識された対象地物の地物情報を生成し、地物情報記憶手段に記憶させることができる。したがって、地物情報が予め整備されていない道路を自車両が走行する場合であっても、新たに生成された地物情報を用いて、当該地物情報に示される地物の画像認識処理や、そのような地物の画像認識結果を用いた自車位置情報の補正等を行うことが可能となる。
【0029】
また、前記認識結果記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記認識位置情報を記憶する構成とすると好適である。
【0030】
この構成によれば、複数の車両による対象地物の学習結果としての認識位置情報を、複数の車両と通信可能に接続された認識結果記憶手段に記憶することができ、したがって、多くの認識位置情報を認識結果記憶手段に集積することができる。これにより、多くの認識位置情報を用いて更に高精度な位置情報を有する対象地物の地物情報を生成することが可能となる。
【0031】
本発明に係る画像認識方法の特徴構成は、自車両の現在位置を表す自車位置情報を取得する自車位置情報取得ステップと、自車両の周辺の画像情報を取得する画像情報取得ステップと、前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得ステップと、前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定ステップと、前記対象種別決定ステップにより決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識ステップと、を備え、前記対象種別決定ステップでは、前記道路属性情報取得ステップにより取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定する点にある。
【0032】
この特徴構成によれば、自車両が走行中の道路についての道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、画像認識処理の対象とする対象種別を決定するため、道路属性と認識属性とに応じて画像認識処理の対象として最適な地物種別を対象種別とすることが可能となる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定した場合であっても、道路属性と認識属性とに応じて画像認識処理に最適な地物種別を対象とし、効率的に地物の画像認識処理を行うことが可能となる。
【0033】
ここで、前記対象種別決定ステップでは、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する構成とすると好適である。
【0034】
この構成によれば、自車両が走行中の道路の道路属性に応じた各地物種別の出現頻度と、各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて、最も画像認識に成功する可能性が高い一又は二以上の地物種別を対象種別とすることができる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定した場合であっても、単位走行距離あたりの画像認識に成功する対象地物の数を多くすることができ、効率的に地物の画像認識処理を行うことが可能となる。
【0035】
また、前記対象種別決定ステップでは、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する構成とすると好適である。
【0036】
この構成によれば、各地物種別の地物の道路上での配置傾向に応じて対象種別となる地物種別が異なるように決定することができる。したがって、自車両が同じ道路属性の道路を走行中の場合であっても、自車両の道路上での配置に応じて、適切に対象種別を変化させることが可能となる。これにより、単位走行距離あたりの画像認識に成功する対象地物の数を更に多くすることができ、より効率的に地物の画像認識処理を行うことが可能となる。
【0037】
また、前記対象種別決定ステップでは、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定ステップにより決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報に基づいて、前記対象種別を決定する構成とすると好適である。
【0038】
この構成によれば、特定の領域における過去の対象地物の画像認識の成否の情報に基づいて、対象種別を決定することができる。したがって、例えば、特定の領域において、ある地物種別の地物の画像認識に所定回数連続で失敗した場合には、当該特定の領域における対象種別を他の地物種別に変更することが可能となる。これにより、画像認識できない地物種別の地物の画像認識を何度も繰り返すことを防止でき、より効率的に地物の画像認識処理を行うことが可能となる。
【発明を実施するための最良の形態】
【0039】
次に、本発明の実施形態について図面に基づいて説明する。図1は、本実施形態に係るナビゲーション装置1の概略構成を示すブロック図である。このナビゲーション装置1は、本発明の実施形態としての地物情報収集装置2、画像認識装置3、及び自車位置認識装置4を含んで構成されている。このナビゲーション装置1は、所定の地物種別の地物を対象地物とし、画像認識部18による対象地物の画像認識結果を用いて当該対象地物の位置を学習する。そして、このような対象地物の学習結果を地物データベースDB2に反映させることにより、地物情報Fが整備されていなかった道路においても、地物情報Fを用いた自車位置情報Pの補正を行うことを可能とする。また、このナビゲーション装置1は、地物データベースDB2に記憶されている地物情報Fに基づく対象地物の画像認識に失敗した際に、そのことを学習し、それを地物データベースDB2に反映させて地物情報Fを修正する。そして、ナビゲーション装置1は、補正された自車位置情報Pに基づいて経路案内等のナビゲーション処理を行う。
【0040】
図1に示すナビゲーション装置1の各機能部、具体的には、画像情報取得部12、自車位置情報取得部16、地物情報取得部17、画像認識部18、自車位置情報補正部19、ナビゲーション用演算部20、認識情報処理部31、推測位置判定部34、地物情報管理部35、道路情報管理部39、道路属性情報取得部41、及び対象種別決定部42は、CPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。そして、これらの各機能部は、互いに情報の受け渡しを行うことができるように構成されている。また、ナビゲーション装置1の各データベースDB1〜DB6は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えている。以下、本実施形態に係るナビゲーション装置1の各部の構成について詳細に説明する。
【0041】
1.地図データベース
地図データベースDB1は、所定の区画毎に分けられた地図情報Mが記憶されたデータベースである。図2は、地図データベースDB1に記憶されている地図情報Mの構成の例を示す図である。この図に示すように、地図情報Mは、交差点に対応する多数のノードnと、各交差点間を結ぶ道路に対応するリンクkとの接続関係により道路ネットワークを表す道路情報Raを有している。各ノードnは、緯度及び経度で表現された地図上の位置(座標)の情報を有している。各リンクkは、ノードnを介して接続されている。また、各リンクkは、その属性情報として、道路種別、地域種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報を有している。ここで、道路種別情報は、例えば、自動車専用道路、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。また、地域種別情報は、例えば、関東地方や関西地方等の地方、都道府県や市区町村等の行政区画等のように、リンクkに対応する道路が設けられている地域を複数に区分した際の地域種別の情報である。これらのリンクkの属性情報が、道路属性情報Rb(図1参照)に相当する。そして、本実施形態においては、この地図データベースDB1が、本発明における道路情報記憶手段及び地図情報記憶手段に相当する。なお、図2においては、一つの区画の道路情報Raのみを図示し、他の区画の道路情報Raは省略して示している。
【0042】
2.地物データベース
地物データベースDB2は、道路上や道路周辺に設けられた各種の地物の情報、すなわち地物情報Fが記憶されたデータベースである。図1に示すように、本実施形態においては、地物データベースDB2には、初期地物情報Fa及び学習地物情報Fbの2種類の情報が記憶される。ここで、初期地物情報Faとは、地物データベースDB2に予め整備されて記憶されている複数の地物についての地物情報Fである。このような初期地物情報Faは、道路情報Raを含む地図情報Mが整備されている全ての地域の中で、大都市周辺や幹線道路等の一部の地域についてのみ整備されている。一方、学習地物情報Fbとは、後述するように、画像認識部18による対象地物の画像認識結果を用いて学習した結果として地物データベースDB2に記憶される地物情報Fである。なお、以下の説明において、単に「地物情報F」というときは、これら初期地物情報Fa及び学習地物情報Fbを総称するものとする。本実施形態においては、この地物データベースDB2が、本発明における地物情報記憶手段に相当する。
【0043】
この地物データベースDB2に地物情報Fが記憶される地物には、道路の路面に設けられた道路標示(ペイント標示)が含まれている。図3は、地物データベースDB2に記憶されている道路標示の地物情報Fの例を示す図である。このような道路標示に係る地物としては、例えば、横断歩道、停止線、最高速度等を表す速度標示、ゼブラゾーン、道路に沿って車線を分ける区画線(実線、破線、二重線等の各種区画線を含む。)、各車線の進行方向を指定する進行方向別通行区分標示(矢印標示、例えば、直進矢印、右折矢印等を含む)等が含まれる。なお、地物情報Fが記憶される地物としては、このような道路標示のほか、信号機、標識、陸橋、トンネル等の各種の地物も含めることができる。
【0044】
また、地物情報Fは、その内容として各地物の位置情報と、それに関連付けられた地物属性情報とを有している。ここで、位置情報は、道路情報Raを構成するリンクk又はノードn等と関連付けられた各地物の代表点の地図上の位置(座標)、及び各地物の向きの情報を有している。本例では、代表点は、各地物の長さ方向及び幅方向の中央部付近に設定される。また、地物属性情報は、地物種別情報や、地物の形状、大きさ、色彩等の地物形態情報等を含んでいる。ここで、地物種別は、具体的には、「横断歩道」、「停止線」、「速度標示(30km/時)」等のような、基本的に同じ形態を有する地物の種別を表す情報である。また、本実施形態においては、地物情報Fは、近接する他の地物との関係を表す関連付情報や、当該他の地物との間の地物間距離を表す地物間距離情報を有している。ここで、関連付情報は、自車両50(図5等参照)が道路に沿って進行中に、一つの地物を画像認識することにより、前方に存在する他の地物を予測できるようにするための情報である。また、地物間距離情報は、そのような前方に存在する地物までの自車両50からの距離を正確に予測するための情報である。
【0045】
3.学習データベース
学習データベースDB3は、認識位置導出部32により導出された認識位置情報Aa、及び認識失敗処理部33により導出された認識失敗情報Acを、各認識位置情報Aa及び各認識失敗情報Acに対応する対象地物が識別可能な状態で記憶するデータベースである。ここでは、各情報Aa、Acに対応する対象地物を識別可能とするために、各情報Aa、Acと、それに対応する対象地物の地物属性情報Abとを関連付けて記憶している。この学習データベースDB3に記憶される認識位置情報Aa、地物属性情報Ab、及び認識失敗情報Acの具体的な内容については、後で詳細に説明する。本実施形態においては、この学習データベースDB3が、本発明における認識結果記憶手段に相当する。
【0046】
4.画像情報取得部
画像情報取得部12は、撮像装置11により撮像した自車両の周辺の画像情報Gを取得する画像情報取得手段として機能する。ここで、撮像装置11は、撮像素子を備えた車載カメラ等であって、少なくとも自車両50の周辺の道路の路面を撮像可能な位置に設けられている。このような撮像装置11としては、例えば、図4に示すような自車両50の後方の路面を撮像するバックカメラを用いると好適である。画像情報取得部12は、撮像装置11により撮像した撮像情報をフレームメモリ(不図示)などを介して所定の時間間隔で取り込む。この際の画像情報Gの取り込みの時間間隔は、例えば、10〜50ms程度とすることができる。これにより、画像情報取得部12は、撮像装置11により撮像した複数フレームの画像情報Gを連続的に取得することができる。ここで取得された画像情報Gは、画像認識部18へ出力される。
【0047】
5.自車位置情報取得部
自車位置情報取得部16は、自車両50の現在位置を示す自車位置情報Pを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部16は、GPS受信機13、方位センサ14、及び距離センサ15と接続されている。ここで、GPS受信機13は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置情報取得部16へ出力される。自車位置情報取得部16では、GPS受信機13で受信されたGPS衛星からの信号を解析し、自車両50の現在位置(緯度及び経度)、進行方位、移動速度等の情報を取得することができる。方位センサ14は、自車両50の進行方位又はその進行方位の変化を検出するセンサである。この方位センサ14は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ14は、その検出結果を自車位置情報取得部16へ出力する。距離センサ15は、自車両50の車速や移動距離を検出するセンサである。この距離センサ15は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両50の加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ15は、その検出結果としての車速及び移動距離の情報を自車位置情報取得部16へ出力する。
【0048】
そして、自車位置情報取得部16は、これらのGPS受信機13、方位センサ14及び距離センサ15からの出力に基づいて、公知の方法により自車位置を特定する演算を行う。また、自車位置情報取得部16は、地図データベースDB1から抽出された自車位置周辺の道路情報Raを取得し、それに基づいて公知のマップマッチングを行うことにより自車位置を道路情報Raに示される道路上に合わせる補正も行う。このようにして、自車位置情報取得部16は、緯度及び経度で表された自車両50の現在位置の情報、及び自車両50の進行方位の情報を含む自車位置情報Pを取得する。
【0049】
6.地物情報取得部
地物情報取得部17は、自車位置情報取得部16で取得された自車位置情報P等に基づいて、地物データベースDB2から自車両50の周辺に存在する地物の地物情報Fを抽出して取得する。本実施形態においては、一例として、地物情報取得部17は、自車位置情報Pに基づいて、自車位置情報Pに示される自車両50の現在位置から、当該自車両50が走行中の道路を表すリンクkの終端までの間に存在する対象地物の地物情報Fを地物データベースDB2から抽出する。そして、この地物情報取得部17により取得された地物情報Fは、画像認識部18及び自車位置情報補正部19へ出力される。ここで、地物情報取得部17により地物データベースDB2から抽出される対象地物の地物情報Fには、初期地物情報Fa及び学習地物情報Fbの双方が含まれる。また、対象地物となる地物は、画像認識部5による画像認識処理の対象となる地物である。本実施形態においては、横断歩道、停止線、速度標示等のような、道路の路面に設けられた各種の道路標示の中から選択された地物種別の地物が対象地物となる。
【0050】
7.画像認識部
画像認識部18は、画像情報取得部12で取得された画像情報Gに含まれる対象地物の画像認識処理を行う画像認識手段として機能する。本実施形態においては、画像認識部18は、自車位置情報Pの補正に用いるための位置補正用画像認識処理と、対象地物の画像認識結果を学習して地物データベースDB2に反映させるための情報収集用画像認識処理との2種類の画像認識処理を行う。本実施形態においては、画像認識部18は、地物情報取得部17により自車位置情報Pに基づいて地物データベースDB2から取得された地物情報Fを参照する。そして、自車両50の周辺に地物情報Fとして記憶された対象地物が存在すると判定された場合に位置補正用画像認識処理を行い、自車両50の周辺に地物情報Fとして記憶された対象地物が存在しないと判定された場合に情報収集用画像認識処理を行う。これは、後述するように、地物情報Fが既に整備された道路上を自車両50が走行中の場合には、位置補正用画像認識処理による画像認識結果と地物情報Fとに基づく自車位置情報Pの補正処理や、位置補正用画像認識処理に失敗した場合の地物情報Fの修正処理を行い、地物情報Fが整備されていない道路上を自車両50が走行中の場合には、情報収集用画像認識処理により画像認識結果を用いて対象地物の存在する位置を学習する処理を行うためである。なお、本実施形態においては、自車両50の周辺に地物情報Fとして記憶された対象地物が存在するか否かを、自車位置情報Pに示される自車両50の現在位置(自車位置)から、当該自車両50が走行中の道路を表すリンクkの終端までの間に地物情報Fとして記憶された対象地物が存在するか否かにより判定することとしている。
【0051】
そして、位置補正用画像認識処理では、画像認識部18は、自車位置情報Pに基づいて地物データベースDB2から取得した自車両50の周辺に存在する対象地物の地物情報Fに基づいて、画像情報Gに含まれる当該地物情報Fが示す対象地物の画像認識処理を行う。この際、画像認識部18は、当該地物情報Fが示す対象地物の認識要求を行う所定の認識領域E(図6参照)を設定し、この認識領域E内の画像情報Gに対して対象地物の画像認識処理を行う。この認識領域Eは、道路情報Raが示すリンクk上における、当該対象地物が存在すると推測される位置範囲として設定される。ここで、各画像情報Gに含まれる現実の道路の撮像領域は、自車両50への撮像装置11の取付位置、取付角度、及び画角等に基づいて予め演算された自車位置と撮像領域との位置関係を用いることで、自車位置情報Pに基づいて求めることができる。よって、画像認識部18は、このように求めた各画像情報Gの撮像領域の情報に基づいて、各対象地物について設定された認識領域Eに対応する画像情報Gを抽出し、画像認識処理を行う。そして、この位置補正用画像認識処理による対象地物の画像認識結果は、自車位置情報補正部19による自車位置情報Pの補正に用いられる。また、位置補正用画像認識処理では、画像認識部18は、各対象地物について設定された認識領域Eの外での対象地物の画像認識も行う。このような認識領域Eの外で認識された対象地物の画像認識結果は、自車位置情報Pの補正に用いられず、後述するように、地物情報Fの修正に用いられる。
【0052】
また、情報収集用画像認識処理では、画像認識部18は、後述する対象種別決定部42により決定された対象種別の地物を対象地物とし、画像情報Gに含まれる対象地物の画像認識処理を行う。この画像認識処理は、地物データベースDB2に記憶された地物情報Fを用いずに行うため、対象地物が存在する位置を推測することができない。したがって、この情報収集用画像認識処理では、画像認識部18は、対象種別決定部42により所定の道路区域Z(図9及び図10参照)毎に対象種別が決定されることに応じて、各道路区域Z毎に、当該道路区域Zについて決定された対象種別の対象地物の画像認識処理を行う。この道路区域Zは、道路情報Raが示すノードn及びリンクk上に設定される区域であり、各道路(リンクk)の道路属性に応じて、例えば、図9に示すリンク端部Za及びリンク中央部Zb、図10に示すノード上Zc及びリンク上Zd等として設定される。ここで、各画像情報Gに含まれる現実の道路の撮像領域は、上記のとおり、自車両50への撮像装置11の取付位置、取付角度、及び画角等に基づいて予め演算された自車位置と撮像領域との位置関係を用いることで、自車位置情報Pに基づいて求めることができる。よって、画像認識部18は、このように求めた各画像情報Gの撮像領域の情報に基づいて、各道路区域Zに対応する画像情報Gを抽出し、当該道路区域Zについて決定された対象種別の対象地物の画像認識処理を行う。そして、この情報収集用画像認識処理による対象地物の画像認識結果は、後述するように認識位置導出部32により認識位置情報とされ、学習データベースDB3に記憶される。
【0053】
画像認識部18は、対象地物の画像認識に際しては、画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている地物(道路標示)の輪郭情報を抽出する。その後、画像認識部18は、抽出された地物の輪郭情報と、対象地物の形態の特徴量とのパターンマッチングを行うことにより、画像情報Gに含まれる対象地物の画像を抽出する。そして、画像認識部18は、位置補正用画像認識処理に際しては、設定された認識領域E内の画像情報Gの中から対象地物の画像を抽出できた場合に対象地物の画像認識に成功したと判定する。また、画像認識部18は、情報収集用画像認識処理に際しては、各道路区域Zの画像情報Gの中から対象地物の画像を抽出できた場合に対象地物の画像認識に成功したと判定する。一方、画像認識部18は、認識領域E内又は各道路区域Z内の全ての画像情報Gについて画像認識処理を行った結果、対象地物の画像を抽出できなかった場合には、対象地物の画像認識に失敗したと判定する。
【0054】
8.自車位置情報補正部
自車位置情報補正部19は、画像認識部18による対象地物の画像認識処理の結果と、当該対象地物についての地物情報Fに含まれる当該対象地物の位置情報とに基づいて自車位置情報Pを補正する自車位置情報補正手段として機能する。本実施形態では、自車位置情報補正部19は、画像認識部18における地物情報Fに基づく位置補正用画像認識処理による対象地物の画像認識結果と、当該地物情報Fに含まれる当該対象地物の位置情報とを用いて、自車両50の進行方向に沿って自車位置情報Pを補正する。具体的には、自車位置情報補正部19は、まず、画像認識部18による位置補正用画像認識処理の結果と、撮像装置11の取付位置、取付角度、及び画角等とに基づいて、対象地物の画像を含む画像情報Gの取得時における自車両50と対象地物との位置関係を演算する。次に、自車位置情報補正部19は、この自車両50と対象地物との位置関係の演算結果と、当該対象地物についての地物情報Fに含まれる当該対象地物の位置情報とに基づいて、自車両50の進行方向における対象地物の位置情報(地物情報F)を基準とする高精度な自車両50の位置情報を演算して取得する。そして、自車位置情報補正部19は、このようにして取得した高精度な自車両50の位置情報に基づいて、自車位置情報取得部16で取得した自車位置情報Pに含まれる、自車両50の進行方向の現在位置の情報を補正する。その結果、自車位置情報取得部16は、このような補正後の高精度な自車位置情報Pを取得することになる。
【0055】
9.ナビゲーション用演算部
ナビゲーション用演算部20は、自車位置表示、出発地から目的地までの経路探索、目的地までの進路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラム23に従って動作する演算処理手段である。例えば、ナビゲーション用演算部20は、自車位置情報Pに基づいて地図データベースDB1から自車両50周辺の地図情報Mを取得して表示入力装置21に地図の画像を表示するとともに、当該地図の画像上に、自車位置情報Pに基づいて自車位置マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部20は、地図データベースDB1に記憶された地図情報Mに基づいて、所定の出発地から目的地までの経路探索を行う。更に、ナビゲーション用演算部20は、探索された出発地から目的地までの経路と自車位置情報Pとに基づいて、表示入力装置21及び音声出力装置22の一方又は双方を用いて、運転者に対する進路案内を行う。また、本実施形態においては、ナビゲーション用演算部20は、表示入力装置21及び音声出力装置22に接続されている。表示入力装置21は、液晶表示装置等の表示装置とタッチパネル等の入力装置が一体となったものである。音声出力装置は、スピーカ等を有して構成されている。本実施形態においては、ナビゲーション用演算部20、表示入力装置21、及び音声出力装置22が、本発明における案内情報出力手段24として機能する。
【0056】
10.認識情報処理部
認識情報処理部31は、画像認識部18による画像認識処理の結果を表す情報、具体的には、認識位置導出部32により導出される認識位置情報及び認識失敗処理部33により生成される認識失敗情報を、学習データベースDB3に記憶させるための処理を行うための認識情報処理手段である。このため、本実施形態においては、認識情報処理部31は、認識位置導出部32、及び認識失敗処理部33を備えている。そこで、以下に、これら認識位置導出部32及び認識失敗処理部33が行う処理の詳細について、図5〜図8を用いて説明する。
【0057】
10−1.認識位置導出部
認識位置導出部32は、画像認識部18による画像認識処理において対象地物の画像認識に成功した場合に、自車位置情報Pに基づいて当該対象地物の認識位置を導出する認識位置導出手段として機能する。そして、認識位置導出部32は、導出された認識位置を表す認識位置情報Aaを生成し、当該画像認識に成功した対象地物が識別可能な状態で学習データベースDB3に記憶する。図5は、地物情報Fが整備されていない道路(リンクk)を自車両50が走行する場合を例とし、情報収集用画像認識処理の結果を用いた地物情報Fの収集処理の概要を説明するための説明図である。そして、図5(a)は、自車両50が走行する実際の道路に設けられた道路標示(地物)の一例である。図5(b)は、学習データベースDB3に記憶された認識位置情報Aaの一例である。図5(c)は、学習データベースDB3に記憶された学習結果が反映された地物データベースDB2の一例である。この図5では、説明の簡略化のため、図9及び図10に示すように所定の道路区域Z(Za〜Zd)毎に対象種別が異なるものとせず、図示された全ての領域において対象種別が同じ「横断歩道」である場合の例を示している。
【0058】
そして、本実施形態においては、認識位置導出部32は、図5(b)に示すように、各対象地物について認識位置情報Aaを、画像認識部18による当該対象地物の認識位置が属する所定の位置範囲についての学習値として生成し、当該対象地物を認識する度に学習値を前記位置範囲毎に加算して記憶することとしている。以下に、認識位置導出部32が行う処理の内容について、図5(a)及び(b)を用いて順に説明する。
【0059】
認識位置導出部32は、まず、画像認識部18による、対象種別決定部42により決定された対象種別の地物を対象地物とする情報収集用画像認識処理に際して、対象地物の画像認識に成功したか否かを監視する。本例では、地物種別が「横断歩道」である全ての地物を対象地物として情報収集用画像認識処理を行う。よって、図5(a)に示される例では、自車両50は、進行方向の4箇所において、対象地物としての横断歩道f1〜f4を画像認識するはずである。
【0060】
そして、画像認識部18により、一つの対象地物の画像認識に成功した場合には、認識位置導出部32は、その画像認識結果に基づいて当該対象地物の認識位置を導出する。ここでは、認識位置導出部32は、対象地物の認識位置を、自車位置情報Pを基準とする当該対象地物の道路上の位置を表す情報として導出する。したがって、認識位置導出部32は、画像認識部18による対象地物の画像認識結果と、撮像装置11の取付位置、取付角度、及び画角等とに基づいて、対象地物の画像を含む画像情報Gの取得時における自車両50と対象地物との位置関係を演算する。次に、自車位置情報補正部19は、この自車両50と対象地物との位置関係の演算結果と、当該画像情報Gの取得時における自車位置情報Pとに基づいて、自車位置情報Pを基準とする対象地物の位置を演算する。本例では、認識位置導出部32は、対象地物の位置を、自車両50が走行中の道路を表すリンクkに沿った方向の対象地物の代表点の位置として求める。そして、認識位置導出部32は、このように演算された対象地物の位置を、対象地物の認識位置として導出する。この対象地物の認識位置は、当該対象地物の画像を含む画像情報Gの取得時の自車位置情報Pを基準として導出されるため、自車位置情報Pが有する誤差を反映した位置の情報となる。
【0061】
次に、認識位置導出部32は、上記のようにして導出した対象地物の認識位置を、所定の位置範囲についての学習値とし、当該位置範囲についての学習値を認識位置情報Aaとする。本例では、所定の位置範囲は、道路を表すリンクkに沿った方向に一定距離毎に区分され設定された範囲であり、例えば、リンクkに沿った方向に0.5〔m〕毎に区分された範囲とする。また、学習値は、一つの対象地物の画像認識に成功する毎に、学習データベースDB3における当該対象地物の認識位置が属する位置範囲に加算される値であり、例えば、一つの対象地物の画像認識に成功する毎に1点とする。すなわち、本例では、認識位置情報Aaは、対象地物の認識位置が含まれる位置範囲を表す情報と、その学習値「1」の情報とにより構成される。
【0062】
ここで、図7は、図5(b)に示す学習データベースDB3に記憶された学習値の横断歩道f1に関する部分の拡大図である。例えば、図5(a)の例において、対象地物としての横断歩道f1の画像認識に成功した場合であって、認識位置導出部32により導出された横断歩道f1の認識位置が、図7中に「a4」として示される位置範囲であった場合には、この図7中に破線で示すように、当該位置範囲a4の学習値に1が加算される。そして、自車両50が同じ道路を複数回通行することにより、同じ対象地物(例えば横断歩道f1)が複数回画像認識されると、学習データベースDB3には、図5(b)及び図7に示すように、当該対象地物が認識される毎に生成された複数の認識位置情報Aaとしての学習値が、当該対象地物の認識位置を表す位置範囲毎に積算されて蓄積される。そして、後述するように、学習値が所定の学習しきい値T1以上になると、地物情報生成部36により当該対象地物についての学習地物情報Fbが生成され、地物データベースDB2に記憶される。図5の例では、図5(c)に示すように、横断歩道f1〜f4に対応する学習地物情報Fb1〜Fb4が、地物データベースDB2に記憶されている。
【0063】
また、認識位置導出部32は、画像認識部18による位置補正用画像認識処理に際して、各対象地物について設定された認識領域Eの外において対象地物が画像認識された場合には、上記の情報収集用画像認識処理の結果を用いた地物情報Fの収集処理と同様の処理を行う。すなわち、認識位置導出部32は、位置補正用画像認識処理による対象地物の画像認識結果に基づいて、自車位置情報Pを基準とする当該対象地物の認識位置を導出する。そして、認識位置導出部32は、導出された認識位置を表す認識位置情報Aaを生成し、当該画像認識に成功した対象地物が識別可能な状態で学習データベースDB3に記憶する。これにより、後述するように、位置補正用画像認識処理における対象地物の画像認識結果を用いて、地物データベースDB2に記憶された地物情報Fの修正を行うことができる。なお、このような位置補正用画像認識処理において設定された認識領域Eの外で対象地物を画像認識した場合の認識位置導出部32による処理の詳細については、後に図6に示す例を用いて詳細に説明する。
【0064】
ところで、認識位置導出部32は、当該画像認識に成功した対象地物を他の対象地物に対して識別可能な状態とするため、生成した認識位置情報Aaを、当該対象地物の各種属性を表す地物属性情報Abと関連付けて記憶している。ここで、地物属性情報Abが含む対象地物の属性は、当該一つの対象地物を他の対象地物と識別できるものであればよい。したがって、例えば地物属性情報Abは、当該対象地物の地物種別、当該対象地物の具体的形状や大きさ、当該対象地物が存在するリンクkのリンクID、当該対象地物が存在する概略の位置等の中から選択される一又は二以上の情報を備えている。このような対象地物についての地物属性情報Abを構成する情報は、画像認識部18による当該対象地物の画像認識結果や、当該画像認識処理に係る画像情報Gの取得時の自車位置情報P等に基づいて生成される。
【0065】
10−2.認識失敗処理部
認識失敗処理部33は、画像認識部18による位置補正用画像認識処理において地物情報Fが示す対象地物の画像認識に失敗した場合に、当該地物情報Fが示す対象地物の画像認識に失敗したことを表す認識失敗情報Acを生成し、当該画像認識に失敗した対象地物が識別可能な状態で学習データベースDB3に記憶する。すなわち、認識失敗処理部33は、このような認識失敗情報Acの生成及びその学習データベースDB3への記憶といった認識失敗処理を行う認識失敗処理手段として機能する。図6は、地物情報Fが既に整備されている道路(リンクk)を自車両50が走行する場合を例とし、位置補正用画像認識処理の結果を用いた地物情報Fの修正処理の概要を説明するための説明図である。そして、図6(a)は、自車両50が走行する実際の道路に設けられた道路標示(地物)の一例である。図6(b)は、学習データベースDB3に記憶された認識位置情報Aa及び認識失敗情報Acの一例である。図6(c)は、学習データベースDB3に記憶された学習結果が反映された地物データベースDB2の一例である。この図6では、図6(c)の初期地物情報Fa11〜Fa14に示される4つの「横断歩道」を対象地物として位置補正用画像認識処理を行う場合の例を示している。
【0066】
そして、本実施形態においては、認識失敗処理部33は、図6(b)に示すように、各対象地物について認識失敗情報Acを当該対象地物についての学習値として生成し、当該対象地物の画像認識に失敗する度に当該対象地物についての学習値を減算して記憶することとしている。以下に、認識失敗処理部33が行う処理の内容について、図6(a)〜(c)を用いて順に説明する。
【0067】
認識失敗処理部33は、まず、画像認識部18による、地物情報Fに示される対象地物の位置補正用画像認識処理に際して、当該対象地物について設定された所定の認識領域E内における対象地物の画像認識に成功したか否かを監視する。本例では、初期地物情報Faが整備された道路(リンクk)を自車両50が走行する際に、初期地物情報Fa11〜Fa14のそれぞれに示される4つの「横断歩道」を対象地物として、画像認識部18において順に画像認識要求を行う。しかし、図6(a)に示すように、本例では、初期地物情報Fa12が示す横断歩道f12はかすれて消えかけており、初期地物情報Fa13が示す横断歩道は完全になくなっている。このため、ここでは、かすれている横断歩道f12については、所定の割合で画像認識に失敗し、完全になくなっている初期地物情報Fa13に示される横断歩道については、毎回画像認識に失敗する例について説明する。また、認識失敗処理部33は、画像認識部18による、地物情報Fに示される対象地物の位置補正用画像認識処理に際して、各対象地物について設定された認識領域Eの外において対象地物が画像認識されたか否かも監視する。本例では、初期地物情報Fa13が示す対象地物(横断歩道)について設定された認識領域E13の外に、初期地物情報Faとして整備されていない横断歩道f5が設けられており、この横断歩道f5が画像認識される。
【0068】
また、本実施形態においては、学習データベースDB3には、地物データベースDB2に予め整備されて記憶されている初期地物情報Faのそれぞれに対応して、各初期地物情報Faが示す対象地物についての学習値の初期値Tdが設定され記憶されている。図6(b)に示す例では、学習値の初期値Tdは、学習しきい値T1より低い値に設定している。そして、初期地物情報Faが示す対象地物の画像認識に失敗した場合には、認識失敗処理部33は、当該対象地物についての認識失敗情報Acを当該対象地物についての学習値として生成し、当該対象地物の画像認識に失敗する毎に、学習データベースDB3に記憶されている当該対象地物についての学習値の前記初期値Tdから順に減算して記憶する。この際、例えば、対象地物の画像認識に一回失敗する毎に1点を減算する。すなわち、本例では、認識失敗情報Acは、初期地物情報Faが示す対象地物又は当該初期地物情報Faそのものを特定できる情報と、その学習値「1」の情報とにより構成される。
【0069】
ここで、学習データベースDB3に記憶された学習値の初期値Td及び認識失敗処理部33により生成された認識失敗情報Acは、当該画像認識に失敗した対象地物を他の対象地物に対して識別可能な状態とするため、当該対象地物の各種属性を表す地物属性情報Abと関連付けて記憶される。この地物属性情報Abは、認識位置情報Aaと関連付けて記憶されるものと同様の情報である。
【0070】
ここで、図8は、図6(b)に示す学習データベースDB3に記憶された学習値の横断歩道f12(初期地物情報Fa12)に関する部分の拡大図である。例えば、図6(a)の例において、初期地物情報Fa12が示す対象地物としての横断歩道f12の画像認識に失敗した場合には、この図8中に破線で示すように、当該対象地物についての学習値から1が減算される。そして、自車両50が同じ道路を複数回通行することにより、同じ対象地物の画像認識に複数回失敗すると、例えば図6(b)の初期地物情報Fa13が示す横断歩道f13の学習値のように、最終的には学習値がゼロになるまで減少する。そして、本実施形態においては、後述するように、削除しきい値T2をゼロに設定しているので、学習値がゼロになると、削除管理部38により、当該対象地物を表す初期地物情報Faは、地物データベースDB2から削除される。図6の例では、初期地物情報Fa13が示す横断歩道f13の学習値がゼロになったことにより、地物データベースDB2から初期地物情報Fa13が削除されている。
【0071】
なお、本実施形態においては、認識失敗処理部33は、位置補正用画像認識処理に際して、学習地物情報Fbに示される対象地物の画像認識に失敗した場合であっても、当該対象地物についての認識失敗情報Acを学習データベースDB3に記憶する処理は行わないこととしている。ただし、新たに学習地物情報Fbを生成して地物データベースDB2に記憶する際に、当該学習地物情報Fbについても、初期地物情報Faと同様に学習値の初期値Tdを設定し、これまでの認識位置情報Aaとしての学習値に代えて、学習値の初期値Tdを学習データベースDB3に記憶する構成としても好適である。この場合、認識失敗処理部33は、学習地物情報Fbが示す対象地物の画像認識に失敗した場合には、当該対象地物についての認識失敗情報Acを当該対象地物についての学習値として生成し、当該対象地物の画像認識に失敗する毎に、学習データベースDB3に記憶されている当該対象地物についての学習値の前記初期値Tdから順に減算して記憶する。これにより、学習地物情報Fbについても、初期地物情報Faと同様に取り扱うことが可能となる。
【0072】
一方、認識失敗処理部33は、画像認識部18による位置補正用画像認識処理において、地物情報Fが示す対象地物の画像認識を、当該対象地物について設定された所定の認識領域E内において成功した場合には、認識失敗情報Acとしての学習値の記憶は行わない。図6の例では、初期地物情報Fa11が示す横断歩道f11、及び初期地物情報Fa14が示す横断歩道f14については、画像認識に成功しているため、図6(b)に示すように、学習データベースDB3に記憶された横断歩道f11及びf14についての学習値は初期値Tdのまま維持されている。
【0073】
また、認識失敗処理部33は、位置補正用画像認識処理に際して、各対象地物について設定された認識領域Eの外において対象地物が画像認識されたか否かを判定する処理を行う。そして、各対象地物について設定された認識領域Eの外において対象地物が画像認識された場合には、上記のとおり、認識位置導出部32により、情報収集用画像認識処理の結果を用いた地物情報Fの収集処理と同様の処理を行う。すなわち、認識位置導出部32は、位置補正用画像認識処理による対象地物の画像認識結果に基づいて、自車位置情報Pを基準とする当該対象地物の認識位置を導出する。そして、認識位置導出部32は、導出された認識位置を表す認識位置情報Aaを生成し、当該画像認識に成功した対象地物が識別可能な状態で学習データベースDB3に記憶する。
【0074】
図6の例では、初期地物情報Fa13が示す対象地物(横断歩道)について設定された認識領域E13に対して自車両50の進行方向手前側に、初期地物情報Faが整備されていない横断歩道f5が設けられている。よって、本例では、この横断歩道f5が、各対象地物について設定された認識領域Eの外において画像認識された対象地物となる。この場合には、認識失敗処理部33に代えて、認識位置導出部32により情報収集用画像認識処理の結果を用いた地物情報Fの収集処理と同様の処理を行う。すなわち、認識位置導出部32は、横断歩道f5の画像認識に成功する毎に、横断歩道f5についての認識位置情報Aaとしての学習値を、学習データベースDB3における当該横断歩道f5の認識位置が属する位置範囲に加算する。そして、自車両50が同じ道路を複数回通行することにより、横断歩道f5が複数回画像認識されると、学習データベースDB3には、図6(b)に示すように、当該横断歩道f5が認識される毎に生成された複数の認識位置情報Aaとしての学習値が積算されて蓄積される。そして、この横断歩道f5についての学習値が所定の学習しきい値T1以上になると、推測位置判定部34により推測位置pgが判定される。そして、図6(c)に示すように、地物情報生成部36により学習地物情報Fb5が生成され、地物データベースDB2に記憶される。本実施形態の構成によれば、地物データベースDB2に対する、上記のような初期地物情報Faの削除と、学習地物情報Fbの追加とにより、地物データベースDB2に記憶された地物情報Fを現状に合わせて適宜修正することが可能となる。
【0075】
また、認識失敗処理部33は、当該画像認識に失敗した対象地物を他の対象地物に対して識別可能な状態とするため、生成した認識失敗情報Acを、当該対象地物の各種属性を表す地物属性情報Abと関連付けて記憶している。この地物属性情報Abは、認識位置情報Aaと関連付けて記憶されるものと同様の情報である。
【0076】
11.推測位置判定部
推測位置判定部34は、同じ対象地物が複数回画像認識されることにより学習データベースDB3に記憶された、同じ対象地物についての複数の認識位置情報Aaに基づいて、当該対象地物の推測位置pg(図5参照)を判定する推測位置判定手段として機能する。ここで、推測位置判定部34は、同じ対象地物についての複数の認識位置情報Aaの分布に基づいて、当該分布の代表値を当該対象地物の推測位置pgとして判定する。本実施形態においては、分布の代表値として最頻値を用いる。すなわち、推測位置判定部34は、各対象地物についての認識位置情報Aaとしての学習値が、最初に所定の学習しきい値T1以上となった位置範囲を代表する位置を、当該対象地物の推測位置pgと判定する。これにより、推測位置判定部34は、一つの対象地物についての推測位置pgを判定する場合に、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値の分布に基づいて、最頻値をとる位置範囲を代表する位置を、当該対象地物の推測位置pgと判定することになる。一例として、図5の例における横断歩道f1の推測位置pgを判定する場合の判定方法について説明する。図7に示すように、横断歩道f1についての認識位置情報Aaとしての学習値は、位置範囲a4において最初に学習しきい値T1以上となっている。したがって、推測位置判定部34は、位置範囲a4を代表する位置、例えば位置範囲a4の中央位置pg4を、横断歩道f1の推測位置pgと判定する。
【0077】
12.地物情報管理部
地物情報管理部35は、学習データベースDB3に記憶された対象地物の学習結果に基づいて、地物データベースDB2に記憶された地物情報Fの管理を行う地物情報管理手段として機能する。本実施形態においては、この地物情報管理部35は、地物情報生成部36、地物間距離判定部37、及び削除管理部38を備えている。以下、個別に説明する。
【0078】
12−1.地物情報生成部
地物情報生成部36は、学習データベースDB3に記憶された対象地物の学習結果に基づいて、学習地物情報Fbを生成する地物情報生成手段として機能する。すなわち、地物情報生成部36は、推測位置判定部34により判定された各対象地物の推測位置pgを表す位置情報と、当該対象地物についての画像認識部18による画像認識結果に基づく地物属性情報とを関連付けた学習地物情報Fbを生成する。ここで、学習地物情報Fbを構成する地物属性情報は、学習データベースDB3において、当該対象地物についての認識位置情報Aaと関連付けて記憶されている地物属性情報Abの内容を用いて生成する。これにより、学習地物情報Fbは、初期地物情報Faと同様に、位置情報及びそれに関連付けられた地物属性情報を備えた情報として生成される。そして、この地物情報生成部36で生成された学習地物情報Fbは、地物データベースDB2に記憶される。本実施形態においては、図5(c)に示す学習地物情報Fb1〜Fb4、及び図6(c)に示す学習地物情報Fb5が、地物情報生成部36により生成され、地物データベースDB2に記憶されている。なお、これらの図に表されている黒い四角形「■」は、各学習地物情報Fb1〜Fb5の位置情報が示す各対象地物の推測位置pgを表している。
【0079】
12−2.地物間距離判定部
地物間距離判定部37は、2つの対象地物についての複数の認識位置情報Aaに基づいて、当該2つの対象地物間の距離を表す地物間距離Dを判定する地物間距離判定手段として機能する。本実施形態においては、地物間距離判定部37は、推測位置判定部34により判定された2つの対象地物についての推測位置pgの情報を用いて、一つの対象地物の推測位置pgと、他の対象地物の推測位置pgとの間の距離を演算することにより、これら2つの対象地物の地物間距離Dを求める。図5(b)に示す例では、地物間距離判定部37は、互いに隣接する2つの対象地物間の距離を求めることしている。すなわち、この例では、地物間距離判定部37は、横断歩道f1と横断歩道f2との間の地物間距離D1、横断歩道f2と横断歩道f3との間の地物間距離D2、横断歩道f3と横断歩道f4との間の地物間距離D3を判定して求めている。この地物間距離判定部37により判定された地物間距離Dの情報は、上記地物情報生成部36により生成される学習地物情報Fbを構成する情報として利用される。すなわち、本実施形態においては、各対象地物についての学習地物情報Fbは、当該対象地物と近接する他の対象地物との関係を表す関連付情報と、当該他の対象地物との間の地物間距離Dを表す地物間距離情報を有するものとして生成される。これらの情報も、初期地物情報Faに含まれる関連付情報及び地物間距離情報と同じ内容のものとなる。
【0080】
12−3.削除管理部
削除管理部38は、学習データベースDB3に記憶された対象地物の学習結果に基づいて、地物データベースDB2に記憶された地物情報Fを削除する処理を行う削除管理手段として機能する。すなわち、削除管理部38は、同じ対象地物について複数回の画像認識処理が行われることにより学習データベースDB3に記憶された、同じ対象地物についての複数の認識失敗情報Acに基づいて、地物データベースDB2に記憶された当該対象地物についての地物情報Fの削除を行う。具体的には、削除管理部38は、各対象地物についての学習値が所定の削除しきい値T2以下となった場合に、当該対象地物についての地物情報Fの削除を行う。上記のとおり、本実施形態においては、削除しきい値T2をゼロに設定している。したがって、削除管理部38は、学習データベースDB3に記憶されている、一つの対象地物についての認識失敗情報Acとしての学習値がゼロになった場合に、当該対象地物についての地物情報Fを地物データベースDB2から削除する処理を行う。
【0081】
また、本実施形態においては、学習地物情報Fbについては認識失敗情報Acを学習データベースDB3に記憶しないこととしているので、削除管理部38は、初期地物情報Faについてのみ地物データベースDB2から削除する処理を行う。図6に示す例では、削除管理部38は、初期地物情報Fa13が示す横断歩道f13の学習値がゼロになった際に、地物データベースDB2から初期地物情報Fa13を削除している。なお、上記のように、学習地物情報Fbについても初期地物情報Faと同様に認識失敗情報Acを学習データベースDB3に記憶する構成とした場合には、削除管理部38は、学習地物情報Fbについても地物データベースDB2から削除する処理を行う。
【0082】
13.道路情報管理部
道路情報管理部39は、地図データベースDB1に記憶された道路情報Ra及び道路属性情報Rbの一方又は双方を修正する処理を行う道路情報管理手段として機能する。本実施形態においては、道路情報管理手段39は、道路情報Raに含まれるノードnの位置情報及び2つのノードn間を結ぶリンクkの長さの情報の一方又は双方を修正する。この際、道路情報管理手段39は、ノードnを挟んで当該ノードnに対して略均等な間隔で配置される2つの対象地物についての推測位置判定部34により判定された推測位置pgを表す位置情報に基づいて、ノードnの位置及びリンクkの長さの一方又は双方の判定を行う。ここで、ノードnを挟んで当該ノードnに対して略均等な間隔で配置される対象地物としては、例えば横断歩道が該当する。
【0083】
すなわち、横断歩道は、交差点と道路との境界部分に設けられることから、交差点の中心を表すノードnの両側に略均等な間隔で配置されるのが一般的である。したがって、例えば図5(b)に示すように、学習データベースDB3に記憶された認識位置情報Aaに基づいて、推測位置判定部34により、ノードnの近傍に存在する2つの横断歩道の推測位置pgが求まれば、それら2つの横断歩道の推測位置pgに対して均等な間隔dとなる中間位置をノードnが位置するノード位置pnと推測することができる。同様に、前記ノードnとは反対側のリンクkの端部に位置するノードnについてもノード位置pnを求めることができれば、それら2つのノード位置pn間の距離がリンク長さLに相当するものと推測することができる。そして、道路情報管理手段39は、このようにして求めたノード位置pn及びリンク長さLが、地図データベースDB1に記憶されている道路情報Raに示されるものと異なる場合には、それに合わせて道路情報Raを修正する処理を行う。これにより、対象地物の学習結果を用いて、地図データベースDB1に記憶された道路情報Raを現状に合わせて適宜修正することが可能となる。
【0084】
14.道路属性情報取得部
道路属性情報取得部41は、自車位置情報Pに基づいて、自車両50が走行中の道路(リンクk)についての道路属性情報Rbを地図データベースDB1から取得する道路属性情報取得手段として機能する。上記のとおり、地図データベースDB1に記憶される道路属性情報Rbには、道路種別、地域種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報が含まれる。そして、道路属性情報取得部41は、これらの中から後述する対象種別決定部42による対象種別の決定のために必要な情報を道路属性情報Rbとして地図データベースDB1から取得する。本実施形態においては、道路属性情報取得部41は、道路種別情報及び地域種別情報を道路属性情報Rbとして取得する。上記のとおり、道路種別情報は、例えば、自動車専用道路、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。また、地域種別情報は、例えば、関東地方や関西地方等の地方、都道府県や市区町村等の行政区画等のように、リンクkに対応する道路が設けられている地域を複数に区分した際の地域種別の情報である。したがって、道路属性情報取得部41は、自車両50が走行中の道路(リンクk)の道路属性情報Rbとして、例えば、「道路種別:市街地道路、地域種別:愛知県」といった情報を取得する。
【0085】
15.認識属性データベース
認識属性データベースDB4は、対象種別となり得る全ての地物種別についての認識属性情報としての認識率情報S1を記憶したデータベースであり、認識属性情報記憶手段として機能する。ここで、認識率情報S1は、各地物種別に固有の性質に基づいて定めた、画像認識部18による情報収集用画像認識処理に際しての各地物種別の地物の認識率の予想値を表す情報である。すなわち、認識率情報S1は、各地物種別の対象地物の画像認識を行う際に、認識に成功する理論上の割合を表す情報となっている。ここで、各地物種別の認識率に影響を与える各地物種別に固有の性質としては、例えば、地物種別毎の形態、大きさ、色彩、及びかすれの生じ易さ等がある。例えば、地物の形態に関しては、他の地物種別と誤認識する可能性が低く、認識が容易な特徴的形態を有する地物種別では認識率が高くなる傾向がある。地物の大きさに関しては、特に道路幅方向に大きい地物ほど撮像装置11により撮像される画像情報Gに含まれる可能性が高くなるため、認識率が高くなる傾向がある。地物の色彩に関しては、道路の路面の色彩とのコントラストが大きいほど認識率が高くなる傾向がある。また、地物のかすれの生じ易さに関しては、かすれが生じている可能性が高いほど、画像認識に失敗する可能性が高くなり、認識率が低くなる傾向がある。なお、地物種別毎のかすれの生じ易さは、各地物種別の地物がどの程度の割合でかすれているかに関する実地調査の結果に基づいて統計的に求められる。そして、認識属性データベースDB4に記憶される各地物種別の認識率情報S1は、これらの各地物種別に固有の性質に基づいて、予め定めた認識率の予想値を表す情報となっている。
【0086】
16.出現頻度データベース
出現頻度データベースDB5は、対象種別となり得る全ての地物種別について、道路属性情報Rbに示される道路属性に応じた各地物種別の出現頻度を表す出現頻度情報S2を記憶したデータベースであり、出現頻度情報記憶手段として機能する。ここで、出現頻度情報S2は、道路属性情報Rbに示される複数の道路属性のそれぞれの道路(リンクk)における、各地物種別の地物の出現頻度を表す情報である。本実施形態においては、上記のとおり、道路属性情報Rbとして道路種別情報及び地域種別情報が用いられる。よって、出現頻度データベースDB5には道路種別情報と地域種別情報との全ての組み合わせについての、各地物種別の出現頻度情報S2が規定されている。このような道路属性に応じた各地物種別の出現頻度は、各道路属性の道路に存在する地物の地物種別に関する実地調査の結果に基づいて統計的に求められる。この出現頻度情報S2は、本実施形態においては、道路の単位長さあたりの各地物種別の地物の出現個数で表される情報とし、より具体的には、道路長1〔km〕あたりの出現個数で表される情報とする。したがって、例えば、道路属性が「道路種別:市街地道路、地域種別:愛知県」であって地物種別が「横断歩道」である出現頻度情報S2が「10.3」の場合、当該出現頻度情報S2は、愛知県の市街地道路には、統計的に道路長1〔km〕あたりに10.3個の横断歩道が設けられていることを表している。
【0087】
17.配置傾向データベース
配置傾向データベースDB6は、対象種別となり得る全ての地物種別の地物の道路上での配置傾向を表す配置傾向情報として、各地物種別についての区域情報S3を記憶したデータベースであり、配置傾向情報記憶手段として機能する。ここで、区域情報S3は、各地物種別の地物が、交差点(ノードn)を基準として、道路(リンクk)の長さ方向に区分された複数の道路区域Zのいずれに配置されている可能性が高いかを表す情報である。すなわち、区域情報S3は、各地物種別の地物が配置されている可能性が高い道路区域Zを表す情報となっている。本実施形態においては、図9及び図10に示すように、区域情報S3は、道路属性情報Rbに示される道路種別によって異なる道路区域Zに区分することとしている。すなわち、ここでは、市街地道路については、図9に示すように、道路(リンクk)を、その長さ方向に、道路端部領域に相当する「リンク端部Za」と、道路中央部領域に相当する「リンク中央部Zb」との2つの道路区域Zに区分している。また、細街路については、図10に示すように、道路(リンクk)を、その長さ方向に、交差点中央領域に相当する「ノード上Zc」と、交差点以外の道路上の領域に相当する「リンク上Zd」との2つの道路区域Zに区分している。そして、配置傾向データベースDB6に記憶される区域情報S3の具体例として、例えば、地物種別が「横断歩道」の区域情報S3が表す道路区域Zは、市街地道路については「リンク端部Za」であり、細街路については「リンク上Zd」である。
【0088】
18.対象種別決定部
対象種別決定部42は、道路属性情報取得部41により取得した道路属性情報Rbと、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、対象種別を決定する対象種別決定手段として機能する。ここで、対象種別は、画像認識部18による情報収集用画像認識処理の対象とする一又は二以上の地物種別である。本実施形態においては、対象種別決定部42は、横断歩道、停止線、速度標示等のような、道路の路面に設けられた各種の道路標示に係る地物種別の中から対象種別を選択して決定する。そして、このような対象種別の決定を適切に行うために、本実施形態においては、対象種別決定部42は、認識頻度導出部43、対象種別決定演算部44、及び認識成否管理部45を備えている。そこで、以下に、これら各部が行う処理の詳細について、図9及び図10を用いて説明する。図9は、道路種別が市街地道路である場合における、道路区域Zの区分と対象種別決定処理の具体例を示す図である。図10は、道路種別が細街路である場合における、道路区域Zの区分と対象種別決定処理の具体例を示す図である。これらの図9及び図10においては、いずれも(a)が道路区域Zの区分の具体例を示し、(b)が対象種別決定処理の具体例を示している。
【0089】
18−1.認識頻度導出部
認識頻度導出部43は、道路属性情報取得部41により取得された道路属性情報Rbに示される道路属性に応じた各地物種別の出現頻度と、認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて、各地物種別の認識頻度を導出する認識頻度導出手段として機能する。そのため、本実施形態においては、認識頻度導出部43は、まず、道路属性情報取得部41により取得された道路属性情報Rbに基づいて出現頻度データベースDB5を検索し、当該道路属性情報Rbに示される道路属性に応じた各地物種別の出現頻度を表す出現頻度情報S2を取得する。ここでは、認識頻度導出部43は、道路属性情報取得部41により取得される、自車両50が現在走行中の道路(リンクk)の道路種別情報及び地域種別情報を示す道路属性情報Rbに基づいて、当該道路種別と地域種別との組み合わせに対応する出現頻度情報S2を、各地物種別について取得する。
【0090】
具体的には、例えば自車両50が走行中の道路(リンクk)の道路属性情報Rbとして「道路種別:市街地道路、地域種別:愛知県」が取得された場合、図9(b)に示すように、この道路種別と地域種別との組み合わせに対応する複数の地物種別についての出現頻度情報S2が、出現頻度データベースDB5から取得される。図示の例では、各地物種別についての出現頻度情報S2として、「横断歩道:10.3」、「停止線:8.7」、「矢印:15.2」、「回転禁止:3.3」、「最高速度:3.1」という情報が取得されている。また、例えば自車両50が走行中の道路(リンクk)の道路属性情報Rbとして「道路種別:細街路、地域種別:東京都」が取得された場合、図10(b)に示すように、この道路種別と地域種別との組み合わせに対応する複数の地物種別についての出現頻度情報S2が、出現頻度データベースDB5から取得される。図示の例では、各地物種別についての出現頻度情報S2として、「T字:9.8」、「十字:10.5」、「停止線:19.6」、「横断歩道:5.1」、「横断歩道あり:5.3」という情報が取得されている。なお、これらの図では、説明の簡略化のために、5種類の地物種別についての出現頻度情報S2が取得された例を示しているが、実際には、もっと多数の地物種別についての出現頻度情報S2が取得されることになる。
【0091】
次に、認識頻度導出部43は、各地物種別の認識属性情報としての認識率情報S1を、認識属性データベースDB4から取得する。ここでは、認識頻度導出部43は、上記のように出現頻度情報S2が取得された複数の地物種別のそれぞれについて、認識属性データベースDB4を検索して認識率情報S1を取得する。具体的には、図9(b)に示す例では、各地物種別についての認識率情報S1として、「横断歩道:80%」、「停止線:55%」、「矢印:70%」、「回転禁止:90%」、「最高速度:80%」という情報が取得されている。また、図10(b)に示す例では、各地物種別についての認識率情報S1として、「T字:90%」、「十字:80%」、「停止線:55%」、「横断歩道:80%」、「横断歩道あり:60%」という情報が取得されている。
【0092】
その後、認識頻度導出部43は、取得した出現頻度情報S2及び認識率情報S1に基づいて、各地物種別の認識頻度を導出する。本実施形態においては、認識頻度導出部43は、下記の式(1)に示すように、出現頻度情報S2に示される各地物種別についての出現頻度と、認識率情報S1に示される各地物種別の地物の認識率の予想値とを乗算して得られる値を認識頻度として求める。
(認識頻度)=(出現頻度)×(認識率の予測値)・・・(1)
すなわち、この認識頻度は、自車両50が走行中の道路(リンクk)の道路属性に応じた各地物種別の地物の出現頻度に、各地物種別の地物の画像認識処理における認識率の予想値を重みとして乗算した重み付き出現頻度に相当する値として求められる。これにより、認識頻度は、自車両50が道路属性情報Rbに示される道路属性を有する道路(リンクk)を走行しながら地物の画像認識処理を行う際における、各地物種別の地物の総合的な認識率を表す情報となる。具体的には、例えば図9(b)に示す例では、地物種別が「横断歩道」についての認識頻度は、「出現頻度:10.3」に「認識率の予想値80%」を乗算して「8.2」と求められている。同様に、各地物種別の認識頻度は、「停止線:4.8」、「矢印:10.6」「回転禁止:3.0」、「最高速度:2.5」と求められている。また、図10(b)に示す例では、各地物種別の認識頻度は、「T字:8.8」、「十字:8.4」、「停止線:10.8」、「横断歩道:4.1」、「横断歩道あり:3.2」と求められている。認識頻度導出部43は、以上のようにして各地物種別の認識頻度を導出する。
【0093】
18−2.対象種別決定演算部
対象種別決定演算部44は、認識頻度導出部43により導出された各地物種別の認識頻度に基づいて、情報収集用画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する。本実施形態においては、対象種別決定演算部44は、認識頻度導出部43により導出された各地物種別の認識頻度に応じて、対象種別となり得る全ての地物種別の中で認識頻度が上位の一又は二以上の地物種別を、対象種別として決定する。但し、この際、対象種別決定演算部44は、各地物種別の地物の配置傾向情報としての区域情報S3に基づいて、各地物種別の区域情報S3が表す配置傾向が、自車位置情報Pに基づく自車両50の道路(リンクk)上での配置に合致する地物種別を優先して、対象種別を決定する。そのため、本実施形態においては、対象種別決定演算部44は、配置傾向データベースDB6に記憶された各地物種別についての区域情報S3を参照し、各区域情報S3に示される道路区域Z毎に分けて、認識頻度の上位から順に各地物種別の優先順位を決定する。
【0094】
図9に示す市街地道路の例では、認識頻度導出部43により認識頻度が導出された複数の地物種別の中で、「横断歩道」及び「停止線」は、区域情報S3に示される道路区域Zが「リンク端部Za」であり、「矢印」、「回転禁止」、及び「最高速度」は、区域情報S3に示される道路区域Zが「リンク中央部Zb」となっている。そこで、対象種別決定演算部44は、道路区域Zが「リンク端部Za」である各地物種別の優先順位を、当該道路区域Zの地物種別の中での認識頻度の上位から順に「横断歩道:1」、「停止線:2」と決定する。また、対象種別決定演算部44は、道路区域Zが「リンク中央部Zb」である各地物種別の優先順位を、当該道路区域Zの地物種別の中での認識頻度の上位から順に「矢印:1」、「回転禁止:2」、「最高速度:3」と決定する。なお、図9(a)に示す例では、交差点(ノードn)の両側に配置された横断歩道及び停止線を含む交差点(ノードn)近傍の区域を「リンク端部Za」とし、その他の道路(リンクk)上の区域を「リンク中央部Zb」としている。
【0095】
また、図10に示す細街路の例では、認識頻度導出部43により認識頻度が導出された複数の地物種別の中で、「T字」及び「十字」は、区域情報S3に示される道路区域Zが「ノード上Zc」であり、「停止線」、「横断歩道」、及び「横断歩道あり」は、区域情報S3に示される道路区域Zが「リンク上Zd」となっている。そこで、対象種別決定演算部44は、道路区域Zが「ノード上Zc」である各地物種別の優先順位を、当該道路区域Zの地物種別の中での認識頻度の上位から順に「T字:1」、「十字:1」と決定する。なお、本例では、認識頻度の値が異なるにも関わらず、「T字」と「十字」の優先順位をともに「1」としている。これは、「T字」と「十字」が同じ場所に配置されることがないために位置的に競合せず、更に、これらの地物が、共通する形態を有するために、共通の画像認識処理を用いて、双方を同時に対象種別とする画像認識処理を行うことができるからである。また、対象種別決定演算部44は、道路区域Zが「リンク上Zd」である各地物種別の優先順位を、当該道路区域Zの地物種別の中での認識頻度の上位から順に「停止線:1」、「横断歩道:2」、「横断歩道あり:3」と決定する。なお、図10(a)に示す例では、交差点(ノードn)の両側に配置された横断歩道及び停止線を含む道路(リンクk)上の区域を「リンク上Zd」とし、その他の交差点(ノードn)近傍の区域を「ノード上Zc」としている。
【0096】
そして、対象種別決定演算部44は、道路区域Z毎の各地物種別の優先順位に基づいて、道路区域Z毎に対象種別を決定する。本実施形態においては、対象種別決定演算部44は、道路区域Z毎の優先順位が「1」である地物種別を対象種別として決定する。よって、図9に示す例では、道路区域Zが「リンク端部Za」での対象種別を「横断歩道」と決定し、道路区域Zが「リンク中央部Zb」での対象種別を「矢印」と決定する。また、図10に示す例では、道路区域Zが「ノード上Zc」での対象種別を「T字」及び「十字」と決定し、道路区域Zが「リンク上Zd」での対象種別を「停止線」と決定する。
【0097】
また、本実施形態においては、対象種別決定演算部44は、上記のような対象種別の決定に際して、認識成否管理部45に記憶されている種別失敗情報S4を参照し、過去における対象地物の画像認識の成否の情報に基づいて対象種別を決定する。この際、対象種別決定演算部44は、まず、自車位置情報Pに基づいて、認識成否管理部45を検索し、自車両50が走行する道路区域Zについての種別失敗情報S4を抽出する。後述するように、本実施形態においては、種別失敗情報S4は、過去に道路区域Z毎に決定された対象種別の地物についての画像認識に失敗したことを表す情報であって、当該画像認識に失敗した地物種別を表す情報と、当該画像認識に失敗した領域に相当する特定の道路区域Zを表す情報とを有している。
【0098】
そして、自車両50が走行する道路区域Zについての種別失敗情報S4が取得された場合には、対象種別決定演算部44は、当該種別失敗情報S4に示されている地物種別の順位が下位になるように当該道路区域Zについての地物種別の優先順位を変更する調整を行う。具体的には、対象種別決定演算部44は、種別失敗情報S4に示されている地物種別の順位が最下位となるように前記優先順位を変更する。またこの際、対象種別決定演算部44は、他の地物種別の優先順位を順に繰り上げる。そして、対象種別決定演算部44は、変更後の優先順位が「1」である地物種別を対象種別として決定する。例えば、図9に示す例において、自車両50の進行方向のリンク中央部Zbの特定の道路区域Zにおいて、過去に対象種別「矢印」の画像認識に失敗したことを表す種別失敗情報S4が取得されたとする。その場合、対象種別決定演算部44は、「矢印」の優先順位を最下位とするように変更する。これにより、当該特定の道路区域Zでの優先順位は「回転禁止」が「1」に、「最高速度」が「2」にそれぞれ繰り上がる。よって、この場合には、対象種別決定演算部44は、変更後の優先順位に従って対象種別を「回転禁止」と決定する。
【0099】
18−3.認識成否管理部
認識成否管理部45は、情報収集用画像認識処理に関し、過去における対象地物の画像認識の成否の情報を管理する認識成否管理手段として機能する。このため、認識成否管理部45は、自車位置情報Pに基づいて、道路区域Z(所定の領域の一例)毎に、対象種別決定演算部44により決定された対象種別の対象地物の画像認識の成否を表す認識成否情報としての種別失敗情報S4を生成し、生成された種別失敗情報S4を記憶する。本実施形態においては、種別失敗情報S4は、過去に対象種別決定演算部44により道路区域Z毎に決定された対象種別の対象地物の情報収集用画像認識処理に関して、各道路区域Zの全体において全く対象地物を画像認識できなかった場合に、当該画像認識に失敗した事実を表す情報である。そのため、本例では、種別失敗情報S4は、当該画像認識に失敗した地物種別を表す情報と、当該画像認識に失敗した領域に相当する特定の道路区域Zを表す情報とを有している。ここで、種別失敗情報S4に含まれる「特定の道路区域Z」は、当該画像認識に失敗した一つの道路区域Zを特定可能な情報であって、配置傾向データベースDB6に記憶された区域情報S3のように、単に「リンク端部Za」や「リンク中央部Zb」等の道路区域Zの種別のみを特定する情報とは異なる。そのため、この種別失敗情報S4に含まれる「特定の道路区域Z」は、画像認識に失敗した特定の道路区域Zを通過した際の自車位置情報Pと道路情報Raとに基づいて求められ、例えば、当該特定の道路区域Zが存在する特定のリンクkと関連付けられた情報とされる。
【0100】
そして、認識成否管理部45は、特定の道路区域Zについての対象地物の画像認識処理に関して、当該画像認識に失敗した回数を計数し、所定回数(例えば、1回、5回、10回等)連続で失敗した場合に、種別失敗情報S4を生成して記憶する。これにより、特定の道路区域Zについて、対象種別決定演算部44により決定された対象種別の地物の画像認識に所定回数失敗した後は、当該特定の道路区域Zについての対象種別が変更されることになる。これにより、情報収集用画像認識処理に際して効率的に対象地物の画像認識を行うことが可能となり、対象地物の学習を効率的に行うことが可能となる。
【0101】
19.ナビゲーション装置の動作処理
次に、本実施形態に係るナビゲーション装置1において実行される、地物情報収集方法、地物情報修正方法、自車位置情報補正方法、及び地物情報収集方法を実行するための対象種別決定方法について説明する。図11は、本実施形態に係るナビゲーション装置1の自車位置情報補正方法を含む全体の動作処理の順序を示すフローチャートである。図12は、本実施形態に係る地物情報収集方法としての地物情報収集処理の詳細な処理順序を示すフローチャートである。図13は、本実施形態に係る対象種別決定方法としての対象種別決定処理の詳細な処理順序を示すフローチャートである。図14は、本実施形態に係る地物情報修正方法としての地物情報修正処理の詳細な処理順序を示すフローチャートである。以下では、まず、ナビゲーション装置1の全体の動作処理について説明する。
【0102】
図11に示すように、ナビゲーション装置1では、まず、自車位置情報取得部16により自車位置情報Pを取得する(ステップ#01)。次に、画像情報取得部12により、撮像装置11により撮像した自車両50の周辺の画像情報Gを取得する(ステップ#02)。その後、地物情報取得部17により、自車位置情報Pに示される自車両50の現在位置(自車位置)から、当該自車両50が走行中の道路を表すリンクkの終端までの間に存在する対象地物の地物情報Fを地物データベースDB2から取得する(ステップ#03)。そして、ステップ#03において地物情報Fが取得されなかった場合には(ステップ#04:No)、ナビゲーション装置1は、地物情報収集処理を実行する(ステップ#07)。この地物情報収集処理については、後に図12に示すフローチャートに基づいて詳細に説明する。
【0103】
一方、ステップ#03において地物情報Fが取得された場合には(ステップ#04:Yes)、次に、画像認識部18により、ステップ#03において取得された各地物情報Fが示す各対象地物について、認識領域Eを設定して画像認識処理を行う(ステップ#05)。このステップ#05の画像認識処理が、上述した画像認識部18による位置補正用画像認識処理である。そして、ステップ#05により、認識領域E内で対象地物を画像認識した場合には(ステップ#06:Yes)、自車位置情報補正部19により、当該対象地物の画像認識結果と、当該対象地物についての地物情報Fに含まれる当該対象地物の位置情報とに基づいて、自車位置情報Pの補正を行う(ステップ#08)。一方、認識領域E内で対象地物を画像認識できなかった場合には(ステップ#06:No)、ナビゲーション装置1は、地物情報修正処理を実行する(ステップ#09)。この地物情報修正処理については、後に図14に示すフローチャートに基づいて詳細に説明する。以上で、ナビゲーション装置1の全体の動作処理を終了する。
【0104】
19−1.地物情報収集方法
次に、本実施形態に係る地物情報収集方法としての地物情報収集処理の処理順序について説明する。図12に示すように、まず、対象種別決定部42による対象種別決定処理を行う(ステップ#21)。この対象種別決定処理は、対象地物となり得る複数の地物種別の中から、情報収集用画像認識処理の対象とする地物種別を対象種別として決定する処理である。この際、対象種別は、所定の道路区域Z(図9及び図10参照)毎に決定される。この対象種別決定処理については、後に図13に示すフローチャートに基づいて詳細に説明する。次に、画像認識部18により、ステップ#21において道路区域Z毎に決定された対象種別に応じて、道路区域Z毎に対象地物の画像認識処理を行う(ステップ#22)。この際、画像認識部18は、道路区域Z毎に決定された対象種別の地物を対象地物として画像認識を行う。このステップ#22の画像認識処理が、上述した画像認識部18による情報収集用画像認識処理である。そして、一つの道路区域Zにおいて、対象地物を画像認識できなかった場合には(ステップ#23:No)、当該道路区域Zにおいて、ステップ#21で決定された対象種別の画像認識に失敗したことを表す種別失敗情報S4(図1参照)を認識成否管理部45に記憶する(ステップ#30)。
【0105】
一方、画像認識部18により、対象地物を画像認識した場合には(ステップ#23:Yes)、認識位置導出部32により、ステップ#01で取得した自車位置情報Pに基づいて、当該対象地物の認識位置を導出する(ステップ#24)。次に、ステップ#24で導出した対象地物の認識位置を表す認識位置情報Aaを、当該認識位置が属する所定の位置範囲についての学習値として生成し、図5(b)及び図7に示すように、位置範囲毎に加算して学習データベースDB3に記憶する(ステップ#25)。ここで、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値が、所定の学習しきい値T1未満である場合には(ステップ#26:No)、処理はそのまま終了する。
【0106】
一方、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値が、所定の学習しきい値T1以上である場合には(ステップ#26:Yes)、推測位置判定部34により、当該対象地物の推測位置pgを判定する(ステップ#27)。その後、地物情報生成部36により、当該対象地物についての、ステップ#27で判定された推測位置pgと画像認識結果に基づく地物属性情報とを関連付けた学習地物情報Fbを生成する(ステップ#28)。そして、生成した学習地物情報Fbを地物データベースDB2に記憶する(ステップ#29)。以上で、地物情報収集処理は終了する。
【0107】
19−2.対象種別決定方法
次に、本実施形態に係る対象種別決定方法としての対象種別決定処理の処理順序について説明する。図13に示すように、まず、道路属性情報取得部41により、ステップ#01で取得した自車位置情報Pに基づいて、自車両50が走行中の道路(リンクk)についての道路属性情報Rb(図1参照)を地図データベースDB1から取得する(ステップ#41)。次に、対象種別決定部42の認識頻度導出部43により、ステップ#41で取得した道路属性情報Rbに応じた各地物種別の出現頻度情報S2(図1参照)を出現頻度データベースDB5から取得する(ステップ#42)。また、認識頻度導出部43により、各地物種別の認識率情報S1を認識属性データベースDB4から取得する(ステップ#43)。そして、認識頻度導出部43により、ステップ#41〜#43により取得した情報に基づいて各地物種別の認識頻度を導出する(ステップ#44)。この認識頻度導出部43による各地物種別の認識頻度の導出方法は、既に説明したとおりである。
【0108】
次に、対象種別決定部42の対象種別決定演算部44により、各地物種別の配置傾向情報としての区域情報S3を配置傾向データベースDB6から取得する(ステップ#45)。そして、対象種別決定演算部44により、区域情報S3に示される所定の道路区域Z毎に、各地物種別の優先順位を決定する(ステップ#46)。具体的には、上記のとおり、区域情報S3に示される所定の道路区域Z毎に、認識頻度が高い地物種別が上位となるように各地物種別の優先順位を決定する。その後、対象種別決定部42により、認識成否管理部45を参照する(ステップ#47)。そして、ステップ#46で優先順位を決定した道路区域Zについての種別失敗情報S4が認識成否管理部45に記憶されているか否かを判定する(ステップ#48)。ここで、そのような種別失敗情報S4が認識成否管理部45に記憶されていない場合には(ステップ#48:No)、処理はステップ#50へ進む。一方、ステップ#46で優先順位を決定した道路区域Zについての種別失敗情報S4が認識成否管理部45に記憶されている場合には(ステップ#48:Yes)、当該種別失敗情報S4がある道路区域Zの優先順位を変更する。具体的には、上記のとおり、種別失敗情報S4に示されている地物種別の順位が下位になるように優先順位を変更する。そして、対象種別決定演算部44により、ステップ#46及び#49により決定された各地物種別の優先順位に従って一又は二以上の対象種別を決定する(ステップ#50)。以上で対象種別決定処理は終了する。
【0109】
19−3.地物情報修正方法
次に、本実施形態に係る地物情報修正方法としての地物情報修正処理の処理順序について説明する。図14に示すように、まず、ステップ#05の位置補正用画像認識処理において、認識領域E内での画像認識に失敗した(ステップ#06:No)対象地物について、認識失敗処理部33により、当該対象地物についての認識失敗情報Acとしての学習値を生成し、図6(b)及び図8に示すように、当該対象地物についての学習値を減算して学習データベースDB3に記憶する(ステップ#61)。ここで、学習値がゼロでない場合には(ステップ#62:No)、処理はステップ#64へ進む。そして、学習値がゼロである場合(ステップ#62:Yes)、すなわち学習値が削除しきい値T2以下となった場合には、削除管理部38により、当該対象地物の地物情報Fを地物データベースDB2から削除する(ステップ#63)。
【0110】
その後、認識失敗処理部33により、ステップ#05の位置補正用画像認識処理において、認識領域Eの外で対象地物が画像認識されたか否かを判定する(ステップ#64)。認識領域Eの外で対象地物が画像認識されなかった場合には(ステップ#64:No)、処理はそのまま終了する。一方、認識領域Eの外で対象地物が画像認識された場合には(ステップ#64:Yes)、認識位置導出部32により、情報収集用画像認識処理において対象地物を画像認識した場合のステップ#24〜#29の処理と同様の処理を行う。すなわち、認識位置導出部32により、ステップ#01で取得した自車位置情報Pに基づいて、当該対象地物の認識位置を導出する(ステップ#65)。次に、図6(b)に横断歩道f5の例として示すように、ステップ#65で導出した対象地物の認識位置を表す認識位置情報Aaを、当該認識位置が属する所定の位置範囲についての学習値として生成し、位置範囲毎に加算して学習データベースDB3に記憶する(ステップ#66)。ここで、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値が、所定の学習しきい値T1未満である場合には(ステップ#67:No)、処理はそのまま終了する。
【0111】
一方、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値が、所定の学習しきい値T1以上である場合には(ステップ#67:Yes)、推測位置判定部34により、当該対象地物の推測位置pgを判定する(ステップ#68)。その後、地物情報生成部36により、当該対象地物についての、ステップ#68で判定された推測位置pgと画像認識結果に基づく地物属性情報とを関連付けた学習地物情報Fbを生成する(ステップ#69)。そして、生成した学習地物情報Fbを地物データベースDB2に記憶する(ステップ#70)。以上で、地物情報修正処理は終了する。
【0112】
20.その他の実施形態
(1)上記の実施形態では、認識位置導出部32は、認識位置情報Aaが表す対象地物の認識位置を、自車位置情報Pを基準とする当該対象地物の道路上の位置を表す情報として導出する場合の例について説明した。しかし、本発明に係る認識位置情報Aaは、このような位置の情報に限定されるものではない。したがって、例えば、認識位置情報Aaが表す対象地物の認識位置を、当該対象地物の画像を含む画像情報Gを取得した際の自車位置情報Pが示す自車両50の位置とすることも、本発明の好適な実施形態の一つである。この場合、認識位置導出部32は、地物情報生成部36により学習地物情報Fbを生成する際に、撮像装置11の取付位置、取付角度、及び画角等に基づいて、自車両50の位置に対する画像情報G中の対象地物の道路上の位置を演算し、当該対象地物の道路上の位置を、対象地物の学習地物情報Fbが含む位置情報とすると好適である。
【0113】
(2)上記の実施形態では、推測位置判定部34が、同じ対象地物についての複数の認識位置情報Aaの分布に基づいて、当該分布の最頻値を当該対象地物の推測位置pgとして判定する場合の例について説明した。しかし、推測位置判定部34による推測位置pgの判定方法はこれに限定されない。したがって、例えば、認識位置情報Aaの分布に基づいて、当該分布の平均値や中央値等の他の代表値を当該対象地物の推測位置pgとして判定する構成とすることも、本発明の好適な実施形態の一つである。
【0114】
(3)上記の実施形態では、認識位置導出部32が、一つの対象地物の画像認識に成功する毎に1点の学習値を加算する場合の例について説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、画像認識部18による対象地物の画像認識処理において、画像認識結果に基づいて対象種別決定部42により決定された対象種別の対象地物であることの確からしさを表す認識自信度を判定し、当該認識自信度に応じて異なる学習値を加算する構成とすることも、本発明の好適な実施形態の一つである。すなわち、認識位置情報Aaとしての学習値を位置範囲毎に加算して学習データベースDB3に記憶するのに際して、当該地物種別の対象地物であることの自信度が高い場合には、大きい値を学習値として加算し、逆に自信度が低い場合には、小さい値を学習値として加算する構成とすると好適である。また、対象地物の画像認識に成功する毎に加算する学習値は正の数には限られず、負の数としても好適である。また、この学習値は、整数に限られず、小数としても好適である。
【0115】
(4)上記の実施形態では、認識失敗処理部33が、対象地物の画像認識に失敗する毎に、認識失敗情報Acとしての当該対象地物についての学習値を所定の初期値Tdに対して減算し、学習値がゼロになったときに当該対象地物の地物情報Fを地物データベースDB2から削除する構成を例として説明した。しかし、認識失敗情報Acとしての学習値の構成はこのようなものに限定されず、例えば、学習値の初期値Tdをゼロとして画像認識に失敗する毎に学習値を減算し、負の値に設定された所定の削除しきい値T2以下となったときに当該対象地物の地物情報Fを地物データベースDB2から削除する構成とすることも、本発明の好適な実施形態の一つである。また、対象地物の画像認識に失敗する毎に減算する学習値は正の数には限られず、負の数としても好適である。また、この学習値は、整数に限られず、小数や分数としても好適である。更に、学習データベースDB3に記憶される認識失敗情報Acの構成は、このような学習値を用いるものに限定されず、地物情報Fが示す対象地物の画像認識に失敗したことを記憶するために適した各種の形態の情報を用いることができる。
【0116】
(5)上記の実施形態における各データベースDB1〜DB6の分け方は単なる一例であり、各データベースDB1〜DB6のハードウェア構成を限定するものではない。したがって、例えば、地物データベースDB2と学習データベースDB3とを一つのデータベースとし、或いは、地図データベースDB1と地物データベースDB2とを一つのデータベースとするなど、任意の構成を採用することができる。
【0117】
(6)上記の実施形態では、地物情報Fとして記憶された対象地物が自車両50の周辺に存在するか否かを判定するための自車両50の周辺の範囲を、自車位置情報Pに示される自車両50の現在位置(自車位置)から、当該自車両50が走行中の道路を表すリンクkの終端までの間の範囲とする場合の例について説明した。しかし、これは単なる一例であり、他の基準により定めた範囲を自車両50の周辺の範囲とすることも可能である。したがって、例えば、自車両50の周辺の範囲を、自車両50の現在位置からリンクkを単位としない所定距離内の範囲とすることも、本発明の好適な実施形態の一つである。
【0118】
(7)上記の実施形態では、自車両50の周辺に地物情報Fとして記憶された対象地物が存在しない場合に、所定の対象種別の地物を対象地物とする画像認識結果に基づいて対象地物の位置を学習し、地物情報Fを生成する地物情報収集処理と、自車両50の周辺に地物情報Fとして記憶された対象地物が存在する場合に、地物情報Fが示す対象地物の画像認識に失敗したことを学習し、地物情報Fを削除或いは修正する地物情報修正処理と、の2つの処理を両方行うことが可能な構成の地物情報収集装置2の例について説明した。しかし、本発明に係る地物情報収集装置2の実施形態はこれに限定されるものではなく、例えば、前記地物情報収集処理と、前記地物情報修正処理或いは地物情報の削除処理とのいずれか一方のみを行うことが可能な構成とすることも、本発明の好適な実施形態の一つである。
【0119】
(8)上記の実施形態では、認識頻度決定部42の認識頻度導出部43により、出現頻度情報S2及び認識率情報S1を取得し、出現頻度情報S2に示される道路属性に応じた各地物種別の出現頻度と、認識率情報S1に示される各地物種別の地物の認識率の予想値とを乗算して認識頻度として求める場合の例について説明した。しかし、本発明の実施形態はこれに限定されない。したがって、例えば、全ての道路属性と地物種別との組み合わせについて、認識頻度を規定した認識頻度テーブルを用い、道路属性情報取得部41により取得した道路属性情報Rbに基づいて、認識頻度テーブルを参照して各地物種別についての認識頻度を求める構成とすることも、本発明の好適な実施形態の一つである。
【0120】
(9)上記の実施形態では、道路区域Z毎の各地物種別の優先順位に基づいて、道路区域Z毎に対象種別を決定するに際して、道路区域Z毎の優先順位が「1」である地物種別を対象種別として決定する場合を例として説明した。これは、画像認識部18による画像認識処理の負荷を小さくするために、対象種別の数を少なく抑えることが有効だからである。なお、画像認識部18による演算処理能力に余裕がある場合には、道路区域Z毎の優先順位が「1」である地物種別以外も対象種別とし、対象種別の数を多くすることも可能である。またこの際、異なる道路区域Zの地物種別を対象種別とすることも可能である。
【0121】
(10)上記の実施形態では、道路属性情報Rbとして道路種別情報及び地域種別情報を取得し、これらの情報に基づいて自車両50が走行中の道路における各地物種別の出現頻度を求める場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、道路種別及び地域種別以外の道路属性であっても、地物種別の出現頻度に影響するものであれば、道路属性情報Rbとして取得する構成とするのが好適である。したがって、例えば、リンク長、道路幅、リンク形状等の情報を道路属性情報Rbとして取得する構成とすることも、本発明の好適な実施形態の一つである。
【0122】
(11)上記の実施形態では、対象種別の決定のために、各地物種別の認識属性情報として、各地物種別の地物の認識率の予想値を表す認識率情報S1を取得する場合を例として説明した。しかし、対象種別の決定のために用いる各地物種別の認識属性情報は、認識率の予測値の情報に限られるものではなく、各地物種別の地物の画像認識処理に影響を与える様々な情報を、認識属性情報として対象種別の決定に用いることが可能である。
【0123】
(12)上記の実施形態では、対象種別の決定に際して、配置傾向データベースDB6に記憶された各地物種別についての区域情報S3を参照し、各区域情報S3に示される道路区域Z毎に分けて、認識頻度の上位から順に各地物種別の優先順位を決定する場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、この区域情報S3のような各地物種別の地物の配置傾向情報を用いることなく対象種別の決定を行う構成とすることも、本発明の好適な実施形態の一つである。この場合、例えば、認識頻度導出部43により導出された各地物種別の認識頻度に応じて、対象種別となり得る全ての地物種別の中で認識頻度が上位の一又は二以上の地物種別を対象種別として決定する構成とすることができる。
【0124】
(13)上記の実施形態では、対象種別の決定に際して、認識成否管理部45に記憶されている種別失敗情報S4を参照し、過去における対象地物の画像認識の成否の情報に基づいて対象種別を決定する場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、認識成否管理部45を備えない構成とし、過去における対象地物の画像認識の成否に関係なく、認識頻度導出部43により導出された各地物種別の認識頻度等に基づいて、一律に各地物種別の優先順位を決定し、対象種別を決定する構成とすることも、本発明の好適な実施形態の一つである。
【0125】
(14)上記の実施形態では、道路の路面に設けられた各種の道路標示の中から選択された地物種別の地物を対象地物とする場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、道路の周辺に設けられた様々な地物を対象地物とすることが可能である。したがって、例えば、道路標識、案内標識、看板、信号機、マンホール等の各種の地物を対象地物とすることが可能である。
【0126】
(15)上記の実施形態では、本発明に係る地物情報収集装置2の全ての構成が自車両50に搭載される場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。すなわち、本発明の認識結果記憶手段としての学習データベースDB3を含む地物情報収集装置2の一部の構成が、図15に示すように、無線通信回線等を介して、複数の車両50と通信可能に接続されたサーバ装置60に設置された構成とすることも、本発明の好適な実施形態の一つである。地物情報収集装置2をこのような構成とすれば、複数の車両50による対象地物の学習結果をサーバ装置60に設置された学習データベースDB3に集積することができる。したがって、より多くの認識位置情報Aaや認識失敗情報Acを用いて、更に高精度な位置情報を有する対象地物の地物情報Fを生成することが可能となる。なお、サーバ装置60に設置する地物情報収集装置2の構成は、学習データベースDB3に限られず、撮像装置11や自車位置情報取得部16等のような、自車両50に搭載する必要がある構成以外の全ての構成を、サーバ装置60に設置することが可能である。また、同様に、画像認識装置3、自車位置認識装置4、及びナビゲーション装置1の一部の構成を、サーバ装置60に設置することも本発明の好適な実施形態の一つである。
【0127】
(16)上記の各実施形態では、本発明に係る画像認識装置3を地物情報収集装置2に利用し、本発明に係る地物情報収集装置2を自車位置認識装置4及びナビゲーション装置1に利用する場合の例について説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、本発明に係る画像認識装置3及び地物情報収集装置2を含む自車位置認識装置4を、車両の走行制御装置に利用する等のように、各装置を上記の実施形態とは異なる他の用途に利用することも当然に可能である。
【産業上の利用可能性】
【0128】
本発明は、車両に搭載した撮像装置等により取得した車両周辺の画像情報に含まれる対象地物の画像認識処理を行う画像認識装置及び画像認識方法に好適に利用することが可能である。
【図面の簡単な説明】
【0129】
【図1】本発明の実施形態に係るナビゲーション装置の概略構成を示すブロック図
【図2】地図データベースに記憶されている地図情報の構成の例を示す図
【図3】地物データベースに記憶されている道路標示の地物情報の例を示す図
【図4】自車両への撮像装置の配置構成の一例を示す図
【図5】地物情報が整備されていない道路を自車両が走行する場合の地物情報の収集処理の概要を説明するための説明図
【図6】地物情報が既に整備されている道路を自車両が走行する場合の地物情報の修正処理の概要を説明するための説明図
【図7】図5(b)に示す学習データベースに記憶された学習値の要部拡大図
【図8】図6(b)に示す学習データベースに記憶された学習値の要部拡大図
【図9】道路種別が市街地道路である場合における、道路区域の区分と対象種別決定処理の具体例を示す図
【図10】道路種別が細街路である場合における、道路区域の区分と対象種別決定処理の具体例を示す図
【図11】本発明の実施形態に係るナビゲーション装置の自車位置情報補正方法を含む全体の動作処理の順序を示すフローチャート
【図12】本発明の実施形態に係る地物情報収集処理の詳細な処理順序を示すフローチャート
【図13】本発明の実施形態に係る対象種別決定処理の詳細な処理順序を示すフローチャート
【図14】本発明の実施形態に係る地物情報修正処理の詳細な処理順序を示すフローチャート
【図15】本発明の実施形態に係る地物情報収集装置の一部の構成がサーバ装置に設置された例を示す図
【符号の説明】
【0130】
1:ナビゲーション装置
2:地物情報収集装置
3:画像認識装置
4:自車位置認識装置
12:画像情報取得部(画像情報取得手段)
16:自車位置情報取得部(自車位置情報取得手段)
17:地物情報取得部
18:画像認識部(画像認識手段)
19:自車位置情報補正部(自車位置情報補正手段)
23:アプリケーションプログラム
24:案内情報出力手段
32:認識位置導出部
33:認識失敗処理部
34:推測位置判定部(推測位置判定手段)
35:地物情報管理部(地物情報管理手段)
36:地物情報生成部(地物情報生成手段)
37:地物間距離判定部(地物間距離判定手段)
38:削除管理部
39:道路情報管理部(道路情報管理手段)
41:道路属性情報取得部(道路属性情報取得手段)
42:対象種別決定部(対象種別決定手段)
43:認識頻度導出部
44:対象種別決定演算部
45:認識成否管理部
50:自車両
Aa:認識位置情報
Ab:地物属性情報
Ac:認識失敗情報
DB1:地図データベース(道路情報記憶手段)
DB2:地物データベース(地物情報記憶手段)
DB3:学習データベース(認識結果記憶手段)
D:地物間距離
E:認識領域
F:地物情報
G:画像情報
L:リンク長さ
M:地図情報
P:自車位置情報
Ra:道路情報
Rb:道路属性情報
S1:認識率情報(認識属性情報)
S2:出現頻度情報
S3:区域情報(配置傾向情報)
S4:種別失敗情報
T1:学習しきい値
T2:削除しきい値
Z:道路区域
a1〜a7:位置範囲
k:リンク
n:ノード
pg:推測位置
pn:ノード位置
【技術分野】
【0001】
本発明は、車両に搭載した撮像装置等により取得した車両周辺の画像情報に含まれる対象地物の画像認識処理を行う画像認識装置及び画像認識方法に関する。
【背景技術】
【0002】
これまでに、車両に搭載した撮像装置等により取得した車両周辺の画像情報に含まれる対象地物の画像認識処理を行い、その画像認識結果に基づいて地物の情報を収集する装置が知られている(例えば、下記の特許文献1及び2参照)。これらの特許文献に記載された従来の装置は、いずれも、道路に設置された交通標識や道路交通情報表示板を対象地物とするものである。そして、これらの装置は、車両に搭載された撮像装置により取得した画像情報に含まれる対象地物の画像認識を行い、その認識結果から抽出された標識情報等の地物情報を、位置情報や区間情報と関連付けて地図データベースに記憶する。ここで、対象地物の画像認識処理に際しては、交通標識や道路交通情報表示板等の具体的な種別を、パターンマッチング等により認識する構成とされている。
【0003】
【特許文献1】特開2006−038558号公報
【特許文献2】特開2006−275690号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、上記のような従来の装置では、画像情報に含まれる可能性がある交通標識や道路交通情報表示板等の多数の地物種別を対象として、その地物種別を特定する画像認識処理を行うこととしている。そのため、一つの画像情報に対して、多数の地物種別のそれぞれに関して認識アルゴリズムを適用することが必要となり、画像認識処理のための処理負荷が大きくなる。したがって、画像認識処理を高速で行うことが困難になり、或いは高速で画像認識処理を行うことが可能な装置を実現するために製造コストが高くなるという問題が生じる。
【0005】
一方、画像認識処理のための処理負荷を抑えるためには、画像認識の対象とする地物種別を限定することが考えられる。しかし、自車両の周辺状況等を考慮せずに一律に同じ地物種別の地物を対象として画像認識処理を行うこととすると、自車両の周辺にほとんど存在していない地物種別の地物を対象として画像認識処理を行うような場合も生じ得る。したがって、取得した画像情報に対して効率的に地物の画像認識処理を行うことができず、そのため効率的に地物の情報を収集することが困難であるという問題がある。
【0006】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、画像認識処理のための処理負荷を抑えることができるとともに、効率的に地物の画像認識処理を行うことが可能な画像認識装置及び画像認識方法を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するための本発明に係る画像認識装置の特徴構成は、自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段と、自車両の周辺の画像情報を取得する画像情報取得手段と、前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得手段と、前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定手段と、前記対象種別決定手段により決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識手段と、を備え、前記対象種別決定手段は、前記道路属性情報取得手段により取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定する点にある。
【0008】
この特徴構成によれば、自車両が走行中の道路についての道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、画像認識処理の対象とする対象種別を決定するため、道路属性と認識属性とに応じて画像認識処理の対象として最適な地物種別を対象種別とすることが可能となる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定した場合であっても、道路属性と認識属性とに応じて画像認識処理に最適な地物種別を対象とし、効率的に地物の画像認識処理を行うことが可能となる。
【0009】
ここで、前記対象種別決定手段は、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する構成とすると好適である。
【0010】
この構成によれば、自車両が走行中の道路の道路属性に応じた各地物種別の出現頻度と、各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて、最も画像認識に成功する可能性が高い一又は二以上の地物種別を対象種別とすることができる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定した場合であっても、単位走行距離あたりの画像認識に成功する対象地物の数を多くすることができ、効率的に地物の画像認識処理を行うことが可能となる。
【0011】
また、前記道路属性情報は、道路種別情報及び地域種別情報のいずれか一つ以上を含む構成とすると好適である。
ここで、道路種別情報は、例えば、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。また、地域種別情報は、例えば、関東地方や関西地方等の地方、都道府県や市区町村等の行政区画等のように、道路が設けられている地域を複数に区分した際の地域種別の情報である。
【0012】
この構成によれば、自車両が走行中の道路についての道路種別及び地域種別の少なくとも一方に応じて、画像認識処理の対象として最も適した地物種別を対象種別に決定することができる。
【0013】
また、前記認識属性情報は、地物種別毎の形態、大きさ、色彩、及びかすれの生じ易さのいずれか一つ以上を含む各地物種別に固有の性質に基づいて定めた、画像認識処理に際しての認識率の予想値を表す認識率情報を含む構成とすると好適である。
【0014】
この構成によれば、各地物種別の画像認識処理に際しての認識容易性の程度を、各地物種別に固有の性質に基づいて定めた画像認識処理に際しての認識率の予想値の情報として取得することができる。したがって、各地物種別の画像認識に成功する割合を比較的容易に求めることが可能となる。
【0015】
また、前記対象種別決定手段は、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する構成とすると好適である。
【0016】
この構成によれば、各地物種別の地物の道路上での配置傾向に応じて対象種別となる地物種別が異なるように決定することができる。したがって、自車両が同じ道路属性の道路を走行中の場合であっても、自車両の道路上での配置に応じて、適切に対象種別を変化させることが可能となる。これにより、単位走行距離あたりの画像認識に成功する対象地物の数を更に多くすることができ、より効率的に地物の画像認識処理を行うことが可能となる。
【0017】
また、前記配置傾向情報は、各地物種別の地物が、交差点を基準として道路の長さ方向に区分された複数の道路区域のいずれに配置されている可能性が高いかを表す区域情報を含む構成とすると好適である。
【0018】
この構成によれば、地物種別毎に、交差点を基準とする道路の長さ方向のいずれの道路区域に配置されている可能性が高いかを表す区域情報に応じて、道路区域毎に適切な対象種別を決定することができる。これにより、例えば横断歩道、停止線、最高速度標示、矢印標示等のように交差点に対する配置傾向が定まっている地物種別の地物を、その配置傾向に応じて適切に画像認識することが可能となる。したがって、単位走行距離あたりの画像認識に成功する対象地物の数を更に多くすることができ、より効率的に地物の画像認識処理を行うことが可能となる。
【0019】
また、前記対象種別決定手段は、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定手段により決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報に基づいて、前記対象種別を決定する構成とすると好適である。
【0020】
この構成によれば、特定の領域における過去の対象地物の画像認識の成否の情報に基づいて、対象種別を決定することができる。したがって、例えば、特定の領域において、ある地物種別の地物の画像認識に所定回数連続で失敗した場合には、当該特定の領域における対象種別を他の地物種別に変更することが可能となる。これにより、画像認識できない地物種別の地物の画像認識を何度も繰り返すことを防止でき、より効率的に地物の画像認識処理を行うことが可能となる。
【0021】
また、前記対象種別となり得る地物種別は、道路の路面に設けられた各種の道路標示の中から選択された地物種別である構成とすると好適である。
【0022】
この構成によれば、道路標識、案内標識、信号機等の立体的な地物と比較して比較的画像認識が容易な道路標示の中から対象種別を選択することになるので、画像認識の成功率を高めることができ、より効率的に地物の画像認識処理を行うことが可能となる。
【0023】
本発明に係る地物情報収集装置の特徴構成は、上記の各構成を備えた画像認識装置と、前記自車位置情報に基づいて求められる、前記画像認識手段による対象地物の認識位置を表す認識位置情報を、当該対象地物が識別可能な状態で記憶する認識結果記憶手段と、を備える点にある。
【0024】
この特徴構成によれば、道路属性と認識属性とに応じて決定した最適な対象種別の地物を対象地物として画像認識処理を行い、その画像認識結果に係る対象地物の認識位置情報を認識結果記憶手段に記憶することになる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定しつつ、効率的に対象地物の画像認識処理を行い、その認識結果を認識結果記憶手段に蓄積することができる。
【0025】
ここで、同じ対象地物が複数回画像認識されることにより前記認識結果記憶手段に記憶された、同じ対象地物についての複数の前記認識位置情報に基づいて、当該対象地物の推測位置を判定する推測位置判定手段を更に備える構成とすると好適である。
【0026】
この構成によれば、認識結果記憶手段に記憶された複数の認識位置情報のそれぞれが示す対象地物の認識位置に誤差が含まれる場合であっても、複数の認識位置情報を用いて推測位置を判定することにより誤差を平均化し、対象地物の推測位置を実際の位置により近づけることが可能となる。これにより、対象地物の位置情報を高精度に取得することが可能となる。
【0027】
また、前記推測位置判定手段により判定された各対象地物の推測位置を表す位置情報を、当該対象地物についての前記画像認識手段による画像認識結果に基づく属性情報と関連付けた地物情報として記憶する地物情報記憶手段を更に備える構成とすると好適である。
【0028】
この構成によれば、道路属性と認識属性とに応じて決定した最適な対象種別の地物を対象地物とした画像認識処理の結果に基づいて、画像認識された対象地物の地物情報を生成し、地物情報記憶手段に記憶させることができる。したがって、地物情報が予め整備されていない道路を自車両が走行する場合であっても、新たに生成された地物情報を用いて、当該地物情報に示される地物の画像認識処理や、そのような地物の画像認識結果を用いた自車位置情報の補正等を行うことが可能となる。
【0029】
また、前記認識結果記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記認識位置情報を記憶する構成とすると好適である。
【0030】
この構成によれば、複数の車両による対象地物の学習結果としての認識位置情報を、複数の車両と通信可能に接続された認識結果記憶手段に記憶することができ、したがって、多くの認識位置情報を認識結果記憶手段に集積することができる。これにより、多くの認識位置情報を用いて更に高精度な位置情報を有する対象地物の地物情報を生成することが可能となる。
【0031】
本発明に係る画像認識方法の特徴構成は、自車両の現在位置を表す自車位置情報を取得する自車位置情報取得ステップと、自車両の周辺の画像情報を取得する画像情報取得ステップと、前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得ステップと、前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定ステップと、前記対象種別決定ステップにより決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識ステップと、を備え、前記対象種別決定ステップでは、前記道路属性情報取得ステップにより取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定する点にある。
【0032】
この特徴構成によれば、自車両が走行中の道路についての道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、画像認識処理の対象とする対象種別を決定するため、道路属性と認識属性とに応じて画像認識処理の対象として最適な地物種別を対象種別とすることが可能となる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定した場合であっても、道路属性と認識属性とに応じて画像認識処理に最適な地物種別を対象とし、効率的に地物の画像認識処理を行うことが可能となる。
【0033】
ここで、前記対象種別決定ステップでは、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する構成とすると好適である。
【0034】
この構成によれば、自車両が走行中の道路の道路属性に応じた各地物種別の出現頻度と、各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて、最も画像認識に成功する可能性が高い一又は二以上の地物種別を対象種別とすることができる。したがって、画像認識処理のための処理負荷を抑えるために画像認識処理の対象とする地物種別を限定した場合であっても、単位走行距離あたりの画像認識に成功する対象地物の数を多くすることができ、効率的に地物の画像認識処理を行うことが可能となる。
【0035】
また、前記対象種別決定ステップでは、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する構成とすると好適である。
【0036】
この構成によれば、各地物種別の地物の道路上での配置傾向に応じて対象種別となる地物種別が異なるように決定することができる。したがって、自車両が同じ道路属性の道路を走行中の場合であっても、自車両の道路上での配置に応じて、適切に対象種別を変化させることが可能となる。これにより、単位走行距離あたりの画像認識に成功する対象地物の数を更に多くすることができ、より効率的に地物の画像認識処理を行うことが可能となる。
【0037】
また、前記対象種別決定ステップでは、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定ステップにより決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報に基づいて、前記対象種別を決定する構成とすると好適である。
【0038】
この構成によれば、特定の領域における過去の対象地物の画像認識の成否の情報に基づいて、対象種別を決定することができる。したがって、例えば、特定の領域において、ある地物種別の地物の画像認識に所定回数連続で失敗した場合には、当該特定の領域における対象種別を他の地物種別に変更することが可能となる。これにより、画像認識できない地物種別の地物の画像認識を何度も繰り返すことを防止でき、より効率的に地物の画像認識処理を行うことが可能となる。
【発明を実施するための最良の形態】
【0039】
次に、本発明の実施形態について図面に基づいて説明する。図1は、本実施形態に係るナビゲーション装置1の概略構成を示すブロック図である。このナビゲーション装置1は、本発明の実施形態としての地物情報収集装置2、画像認識装置3、及び自車位置認識装置4を含んで構成されている。このナビゲーション装置1は、所定の地物種別の地物を対象地物とし、画像認識部18による対象地物の画像認識結果を用いて当該対象地物の位置を学習する。そして、このような対象地物の学習結果を地物データベースDB2に反映させることにより、地物情報Fが整備されていなかった道路においても、地物情報Fを用いた自車位置情報Pの補正を行うことを可能とする。また、このナビゲーション装置1は、地物データベースDB2に記憶されている地物情報Fに基づく対象地物の画像認識に失敗した際に、そのことを学習し、それを地物データベースDB2に反映させて地物情報Fを修正する。そして、ナビゲーション装置1は、補正された自車位置情報Pに基づいて経路案内等のナビゲーション処理を行う。
【0040】
図1に示すナビゲーション装置1の各機能部、具体的には、画像情報取得部12、自車位置情報取得部16、地物情報取得部17、画像認識部18、自車位置情報補正部19、ナビゲーション用演算部20、認識情報処理部31、推測位置判定部34、地物情報管理部35、道路情報管理部39、道路属性情報取得部41、及び対象種別決定部42は、CPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。そして、これらの各機能部は、互いに情報の受け渡しを行うことができるように構成されている。また、ナビゲーション装置1の各データベースDB1〜DB6は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えている。以下、本実施形態に係るナビゲーション装置1の各部の構成について詳細に説明する。
【0041】
1.地図データベース
地図データベースDB1は、所定の区画毎に分けられた地図情報Mが記憶されたデータベースである。図2は、地図データベースDB1に記憶されている地図情報Mの構成の例を示す図である。この図に示すように、地図情報Mは、交差点に対応する多数のノードnと、各交差点間を結ぶ道路に対応するリンクkとの接続関係により道路ネットワークを表す道路情報Raを有している。各ノードnは、緯度及び経度で表現された地図上の位置(座標)の情報を有している。各リンクkは、ノードnを介して接続されている。また、各リンクkは、その属性情報として、道路種別、地域種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報を有している。ここで、道路種別情報は、例えば、自動車専用道路、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。また、地域種別情報は、例えば、関東地方や関西地方等の地方、都道府県や市区町村等の行政区画等のように、リンクkに対応する道路が設けられている地域を複数に区分した際の地域種別の情報である。これらのリンクkの属性情報が、道路属性情報Rb(図1参照)に相当する。そして、本実施形態においては、この地図データベースDB1が、本発明における道路情報記憶手段及び地図情報記憶手段に相当する。なお、図2においては、一つの区画の道路情報Raのみを図示し、他の区画の道路情報Raは省略して示している。
【0042】
2.地物データベース
地物データベースDB2は、道路上や道路周辺に設けられた各種の地物の情報、すなわち地物情報Fが記憶されたデータベースである。図1に示すように、本実施形態においては、地物データベースDB2には、初期地物情報Fa及び学習地物情報Fbの2種類の情報が記憶される。ここで、初期地物情報Faとは、地物データベースDB2に予め整備されて記憶されている複数の地物についての地物情報Fである。このような初期地物情報Faは、道路情報Raを含む地図情報Mが整備されている全ての地域の中で、大都市周辺や幹線道路等の一部の地域についてのみ整備されている。一方、学習地物情報Fbとは、後述するように、画像認識部18による対象地物の画像認識結果を用いて学習した結果として地物データベースDB2に記憶される地物情報Fである。なお、以下の説明において、単に「地物情報F」というときは、これら初期地物情報Fa及び学習地物情報Fbを総称するものとする。本実施形態においては、この地物データベースDB2が、本発明における地物情報記憶手段に相当する。
【0043】
この地物データベースDB2に地物情報Fが記憶される地物には、道路の路面に設けられた道路標示(ペイント標示)が含まれている。図3は、地物データベースDB2に記憶されている道路標示の地物情報Fの例を示す図である。このような道路標示に係る地物としては、例えば、横断歩道、停止線、最高速度等を表す速度標示、ゼブラゾーン、道路に沿って車線を分ける区画線(実線、破線、二重線等の各種区画線を含む。)、各車線の進行方向を指定する進行方向別通行区分標示(矢印標示、例えば、直進矢印、右折矢印等を含む)等が含まれる。なお、地物情報Fが記憶される地物としては、このような道路標示のほか、信号機、標識、陸橋、トンネル等の各種の地物も含めることができる。
【0044】
また、地物情報Fは、その内容として各地物の位置情報と、それに関連付けられた地物属性情報とを有している。ここで、位置情報は、道路情報Raを構成するリンクk又はノードn等と関連付けられた各地物の代表点の地図上の位置(座標)、及び各地物の向きの情報を有している。本例では、代表点は、各地物の長さ方向及び幅方向の中央部付近に設定される。また、地物属性情報は、地物種別情報や、地物の形状、大きさ、色彩等の地物形態情報等を含んでいる。ここで、地物種別は、具体的には、「横断歩道」、「停止線」、「速度標示(30km/時)」等のような、基本的に同じ形態を有する地物の種別を表す情報である。また、本実施形態においては、地物情報Fは、近接する他の地物との関係を表す関連付情報や、当該他の地物との間の地物間距離を表す地物間距離情報を有している。ここで、関連付情報は、自車両50(図5等参照)が道路に沿って進行中に、一つの地物を画像認識することにより、前方に存在する他の地物を予測できるようにするための情報である。また、地物間距離情報は、そのような前方に存在する地物までの自車両50からの距離を正確に予測するための情報である。
【0045】
3.学習データベース
学習データベースDB3は、認識位置導出部32により導出された認識位置情報Aa、及び認識失敗処理部33により導出された認識失敗情報Acを、各認識位置情報Aa及び各認識失敗情報Acに対応する対象地物が識別可能な状態で記憶するデータベースである。ここでは、各情報Aa、Acに対応する対象地物を識別可能とするために、各情報Aa、Acと、それに対応する対象地物の地物属性情報Abとを関連付けて記憶している。この学習データベースDB3に記憶される認識位置情報Aa、地物属性情報Ab、及び認識失敗情報Acの具体的な内容については、後で詳細に説明する。本実施形態においては、この学習データベースDB3が、本発明における認識結果記憶手段に相当する。
【0046】
4.画像情報取得部
画像情報取得部12は、撮像装置11により撮像した自車両の周辺の画像情報Gを取得する画像情報取得手段として機能する。ここで、撮像装置11は、撮像素子を備えた車載カメラ等であって、少なくとも自車両50の周辺の道路の路面を撮像可能な位置に設けられている。このような撮像装置11としては、例えば、図4に示すような自車両50の後方の路面を撮像するバックカメラを用いると好適である。画像情報取得部12は、撮像装置11により撮像した撮像情報をフレームメモリ(不図示)などを介して所定の時間間隔で取り込む。この際の画像情報Gの取り込みの時間間隔は、例えば、10〜50ms程度とすることができる。これにより、画像情報取得部12は、撮像装置11により撮像した複数フレームの画像情報Gを連続的に取得することができる。ここで取得された画像情報Gは、画像認識部18へ出力される。
【0047】
5.自車位置情報取得部
自車位置情報取得部16は、自車両50の現在位置を示す自車位置情報Pを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部16は、GPS受信機13、方位センサ14、及び距離センサ15と接続されている。ここで、GPS受信機13は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置情報取得部16へ出力される。自車位置情報取得部16では、GPS受信機13で受信されたGPS衛星からの信号を解析し、自車両50の現在位置(緯度及び経度)、進行方位、移動速度等の情報を取得することができる。方位センサ14は、自車両50の進行方位又はその進行方位の変化を検出するセンサである。この方位センサ14は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ14は、その検出結果を自車位置情報取得部16へ出力する。距離センサ15は、自車両50の車速や移動距離を検出するセンサである。この距離センサ15は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両50の加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ15は、その検出結果としての車速及び移動距離の情報を自車位置情報取得部16へ出力する。
【0048】
そして、自車位置情報取得部16は、これらのGPS受信機13、方位センサ14及び距離センサ15からの出力に基づいて、公知の方法により自車位置を特定する演算を行う。また、自車位置情報取得部16は、地図データベースDB1から抽出された自車位置周辺の道路情報Raを取得し、それに基づいて公知のマップマッチングを行うことにより自車位置を道路情報Raに示される道路上に合わせる補正も行う。このようにして、自車位置情報取得部16は、緯度及び経度で表された自車両50の現在位置の情報、及び自車両50の進行方位の情報を含む自車位置情報Pを取得する。
【0049】
6.地物情報取得部
地物情報取得部17は、自車位置情報取得部16で取得された自車位置情報P等に基づいて、地物データベースDB2から自車両50の周辺に存在する地物の地物情報Fを抽出して取得する。本実施形態においては、一例として、地物情報取得部17は、自車位置情報Pに基づいて、自車位置情報Pに示される自車両50の現在位置から、当該自車両50が走行中の道路を表すリンクkの終端までの間に存在する対象地物の地物情報Fを地物データベースDB2から抽出する。そして、この地物情報取得部17により取得された地物情報Fは、画像認識部18及び自車位置情報補正部19へ出力される。ここで、地物情報取得部17により地物データベースDB2から抽出される対象地物の地物情報Fには、初期地物情報Fa及び学習地物情報Fbの双方が含まれる。また、対象地物となる地物は、画像認識部5による画像認識処理の対象となる地物である。本実施形態においては、横断歩道、停止線、速度標示等のような、道路の路面に設けられた各種の道路標示の中から選択された地物種別の地物が対象地物となる。
【0050】
7.画像認識部
画像認識部18は、画像情報取得部12で取得された画像情報Gに含まれる対象地物の画像認識処理を行う画像認識手段として機能する。本実施形態においては、画像認識部18は、自車位置情報Pの補正に用いるための位置補正用画像認識処理と、対象地物の画像認識結果を学習して地物データベースDB2に反映させるための情報収集用画像認識処理との2種類の画像認識処理を行う。本実施形態においては、画像認識部18は、地物情報取得部17により自車位置情報Pに基づいて地物データベースDB2から取得された地物情報Fを参照する。そして、自車両50の周辺に地物情報Fとして記憶された対象地物が存在すると判定された場合に位置補正用画像認識処理を行い、自車両50の周辺に地物情報Fとして記憶された対象地物が存在しないと判定された場合に情報収集用画像認識処理を行う。これは、後述するように、地物情報Fが既に整備された道路上を自車両50が走行中の場合には、位置補正用画像認識処理による画像認識結果と地物情報Fとに基づく自車位置情報Pの補正処理や、位置補正用画像認識処理に失敗した場合の地物情報Fの修正処理を行い、地物情報Fが整備されていない道路上を自車両50が走行中の場合には、情報収集用画像認識処理により画像認識結果を用いて対象地物の存在する位置を学習する処理を行うためである。なお、本実施形態においては、自車両50の周辺に地物情報Fとして記憶された対象地物が存在するか否かを、自車位置情報Pに示される自車両50の現在位置(自車位置)から、当該自車両50が走行中の道路を表すリンクkの終端までの間に地物情報Fとして記憶された対象地物が存在するか否かにより判定することとしている。
【0051】
そして、位置補正用画像認識処理では、画像認識部18は、自車位置情報Pに基づいて地物データベースDB2から取得した自車両50の周辺に存在する対象地物の地物情報Fに基づいて、画像情報Gに含まれる当該地物情報Fが示す対象地物の画像認識処理を行う。この際、画像認識部18は、当該地物情報Fが示す対象地物の認識要求を行う所定の認識領域E(図6参照)を設定し、この認識領域E内の画像情報Gに対して対象地物の画像認識処理を行う。この認識領域Eは、道路情報Raが示すリンクk上における、当該対象地物が存在すると推測される位置範囲として設定される。ここで、各画像情報Gに含まれる現実の道路の撮像領域は、自車両50への撮像装置11の取付位置、取付角度、及び画角等に基づいて予め演算された自車位置と撮像領域との位置関係を用いることで、自車位置情報Pに基づいて求めることができる。よって、画像認識部18は、このように求めた各画像情報Gの撮像領域の情報に基づいて、各対象地物について設定された認識領域Eに対応する画像情報Gを抽出し、画像認識処理を行う。そして、この位置補正用画像認識処理による対象地物の画像認識結果は、自車位置情報補正部19による自車位置情報Pの補正に用いられる。また、位置補正用画像認識処理では、画像認識部18は、各対象地物について設定された認識領域Eの外での対象地物の画像認識も行う。このような認識領域Eの外で認識された対象地物の画像認識結果は、自車位置情報Pの補正に用いられず、後述するように、地物情報Fの修正に用いられる。
【0052】
また、情報収集用画像認識処理では、画像認識部18は、後述する対象種別決定部42により決定された対象種別の地物を対象地物とし、画像情報Gに含まれる対象地物の画像認識処理を行う。この画像認識処理は、地物データベースDB2に記憶された地物情報Fを用いずに行うため、対象地物が存在する位置を推測することができない。したがって、この情報収集用画像認識処理では、画像認識部18は、対象種別決定部42により所定の道路区域Z(図9及び図10参照)毎に対象種別が決定されることに応じて、各道路区域Z毎に、当該道路区域Zについて決定された対象種別の対象地物の画像認識処理を行う。この道路区域Zは、道路情報Raが示すノードn及びリンクk上に設定される区域であり、各道路(リンクk)の道路属性に応じて、例えば、図9に示すリンク端部Za及びリンク中央部Zb、図10に示すノード上Zc及びリンク上Zd等として設定される。ここで、各画像情報Gに含まれる現実の道路の撮像領域は、上記のとおり、自車両50への撮像装置11の取付位置、取付角度、及び画角等に基づいて予め演算された自車位置と撮像領域との位置関係を用いることで、自車位置情報Pに基づいて求めることができる。よって、画像認識部18は、このように求めた各画像情報Gの撮像領域の情報に基づいて、各道路区域Zに対応する画像情報Gを抽出し、当該道路区域Zについて決定された対象種別の対象地物の画像認識処理を行う。そして、この情報収集用画像認識処理による対象地物の画像認識結果は、後述するように認識位置導出部32により認識位置情報とされ、学習データベースDB3に記憶される。
【0053】
画像認識部18は、対象地物の画像認識に際しては、画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている地物(道路標示)の輪郭情報を抽出する。その後、画像認識部18は、抽出された地物の輪郭情報と、対象地物の形態の特徴量とのパターンマッチングを行うことにより、画像情報Gに含まれる対象地物の画像を抽出する。そして、画像認識部18は、位置補正用画像認識処理に際しては、設定された認識領域E内の画像情報Gの中から対象地物の画像を抽出できた場合に対象地物の画像認識に成功したと判定する。また、画像認識部18は、情報収集用画像認識処理に際しては、各道路区域Zの画像情報Gの中から対象地物の画像を抽出できた場合に対象地物の画像認識に成功したと判定する。一方、画像認識部18は、認識領域E内又は各道路区域Z内の全ての画像情報Gについて画像認識処理を行った結果、対象地物の画像を抽出できなかった場合には、対象地物の画像認識に失敗したと判定する。
【0054】
8.自車位置情報補正部
自車位置情報補正部19は、画像認識部18による対象地物の画像認識処理の結果と、当該対象地物についての地物情報Fに含まれる当該対象地物の位置情報とに基づいて自車位置情報Pを補正する自車位置情報補正手段として機能する。本実施形態では、自車位置情報補正部19は、画像認識部18における地物情報Fに基づく位置補正用画像認識処理による対象地物の画像認識結果と、当該地物情報Fに含まれる当該対象地物の位置情報とを用いて、自車両50の進行方向に沿って自車位置情報Pを補正する。具体的には、自車位置情報補正部19は、まず、画像認識部18による位置補正用画像認識処理の結果と、撮像装置11の取付位置、取付角度、及び画角等とに基づいて、対象地物の画像を含む画像情報Gの取得時における自車両50と対象地物との位置関係を演算する。次に、自車位置情報補正部19は、この自車両50と対象地物との位置関係の演算結果と、当該対象地物についての地物情報Fに含まれる当該対象地物の位置情報とに基づいて、自車両50の進行方向における対象地物の位置情報(地物情報F)を基準とする高精度な自車両50の位置情報を演算して取得する。そして、自車位置情報補正部19は、このようにして取得した高精度な自車両50の位置情報に基づいて、自車位置情報取得部16で取得した自車位置情報Pに含まれる、自車両50の進行方向の現在位置の情報を補正する。その結果、自車位置情報取得部16は、このような補正後の高精度な自車位置情報Pを取得することになる。
【0055】
9.ナビゲーション用演算部
ナビゲーション用演算部20は、自車位置表示、出発地から目的地までの経路探索、目的地までの進路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラム23に従って動作する演算処理手段である。例えば、ナビゲーション用演算部20は、自車位置情報Pに基づいて地図データベースDB1から自車両50周辺の地図情報Mを取得して表示入力装置21に地図の画像を表示するとともに、当該地図の画像上に、自車位置情報Pに基づいて自車位置マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部20は、地図データベースDB1に記憶された地図情報Mに基づいて、所定の出発地から目的地までの経路探索を行う。更に、ナビゲーション用演算部20は、探索された出発地から目的地までの経路と自車位置情報Pとに基づいて、表示入力装置21及び音声出力装置22の一方又は双方を用いて、運転者に対する進路案内を行う。また、本実施形態においては、ナビゲーション用演算部20は、表示入力装置21及び音声出力装置22に接続されている。表示入力装置21は、液晶表示装置等の表示装置とタッチパネル等の入力装置が一体となったものである。音声出力装置は、スピーカ等を有して構成されている。本実施形態においては、ナビゲーション用演算部20、表示入力装置21、及び音声出力装置22が、本発明における案内情報出力手段24として機能する。
【0056】
10.認識情報処理部
認識情報処理部31は、画像認識部18による画像認識処理の結果を表す情報、具体的には、認識位置導出部32により導出される認識位置情報及び認識失敗処理部33により生成される認識失敗情報を、学習データベースDB3に記憶させるための処理を行うための認識情報処理手段である。このため、本実施形態においては、認識情報処理部31は、認識位置導出部32、及び認識失敗処理部33を備えている。そこで、以下に、これら認識位置導出部32及び認識失敗処理部33が行う処理の詳細について、図5〜図8を用いて説明する。
【0057】
10−1.認識位置導出部
認識位置導出部32は、画像認識部18による画像認識処理において対象地物の画像認識に成功した場合に、自車位置情報Pに基づいて当該対象地物の認識位置を導出する認識位置導出手段として機能する。そして、認識位置導出部32は、導出された認識位置を表す認識位置情報Aaを生成し、当該画像認識に成功した対象地物が識別可能な状態で学習データベースDB3に記憶する。図5は、地物情報Fが整備されていない道路(リンクk)を自車両50が走行する場合を例とし、情報収集用画像認識処理の結果を用いた地物情報Fの収集処理の概要を説明するための説明図である。そして、図5(a)は、自車両50が走行する実際の道路に設けられた道路標示(地物)の一例である。図5(b)は、学習データベースDB3に記憶された認識位置情報Aaの一例である。図5(c)は、学習データベースDB3に記憶された学習結果が反映された地物データベースDB2の一例である。この図5では、説明の簡略化のため、図9及び図10に示すように所定の道路区域Z(Za〜Zd)毎に対象種別が異なるものとせず、図示された全ての領域において対象種別が同じ「横断歩道」である場合の例を示している。
【0058】
そして、本実施形態においては、認識位置導出部32は、図5(b)に示すように、各対象地物について認識位置情報Aaを、画像認識部18による当該対象地物の認識位置が属する所定の位置範囲についての学習値として生成し、当該対象地物を認識する度に学習値を前記位置範囲毎に加算して記憶することとしている。以下に、認識位置導出部32が行う処理の内容について、図5(a)及び(b)を用いて順に説明する。
【0059】
認識位置導出部32は、まず、画像認識部18による、対象種別決定部42により決定された対象種別の地物を対象地物とする情報収集用画像認識処理に際して、対象地物の画像認識に成功したか否かを監視する。本例では、地物種別が「横断歩道」である全ての地物を対象地物として情報収集用画像認識処理を行う。よって、図5(a)に示される例では、自車両50は、進行方向の4箇所において、対象地物としての横断歩道f1〜f4を画像認識するはずである。
【0060】
そして、画像認識部18により、一つの対象地物の画像認識に成功した場合には、認識位置導出部32は、その画像認識結果に基づいて当該対象地物の認識位置を導出する。ここでは、認識位置導出部32は、対象地物の認識位置を、自車位置情報Pを基準とする当該対象地物の道路上の位置を表す情報として導出する。したがって、認識位置導出部32は、画像認識部18による対象地物の画像認識結果と、撮像装置11の取付位置、取付角度、及び画角等とに基づいて、対象地物の画像を含む画像情報Gの取得時における自車両50と対象地物との位置関係を演算する。次に、自車位置情報補正部19は、この自車両50と対象地物との位置関係の演算結果と、当該画像情報Gの取得時における自車位置情報Pとに基づいて、自車位置情報Pを基準とする対象地物の位置を演算する。本例では、認識位置導出部32は、対象地物の位置を、自車両50が走行中の道路を表すリンクkに沿った方向の対象地物の代表点の位置として求める。そして、認識位置導出部32は、このように演算された対象地物の位置を、対象地物の認識位置として導出する。この対象地物の認識位置は、当該対象地物の画像を含む画像情報Gの取得時の自車位置情報Pを基準として導出されるため、自車位置情報Pが有する誤差を反映した位置の情報となる。
【0061】
次に、認識位置導出部32は、上記のようにして導出した対象地物の認識位置を、所定の位置範囲についての学習値とし、当該位置範囲についての学習値を認識位置情報Aaとする。本例では、所定の位置範囲は、道路を表すリンクkに沿った方向に一定距離毎に区分され設定された範囲であり、例えば、リンクkに沿った方向に0.5〔m〕毎に区分された範囲とする。また、学習値は、一つの対象地物の画像認識に成功する毎に、学習データベースDB3における当該対象地物の認識位置が属する位置範囲に加算される値であり、例えば、一つの対象地物の画像認識に成功する毎に1点とする。すなわち、本例では、認識位置情報Aaは、対象地物の認識位置が含まれる位置範囲を表す情報と、その学習値「1」の情報とにより構成される。
【0062】
ここで、図7は、図5(b)に示す学習データベースDB3に記憶された学習値の横断歩道f1に関する部分の拡大図である。例えば、図5(a)の例において、対象地物としての横断歩道f1の画像認識に成功した場合であって、認識位置導出部32により導出された横断歩道f1の認識位置が、図7中に「a4」として示される位置範囲であった場合には、この図7中に破線で示すように、当該位置範囲a4の学習値に1が加算される。そして、自車両50が同じ道路を複数回通行することにより、同じ対象地物(例えば横断歩道f1)が複数回画像認識されると、学習データベースDB3には、図5(b)及び図7に示すように、当該対象地物が認識される毎に生成された複数の認識位置情報Aaとしての学習値が、当該対象地物の認識位置を表す位置範囲毎に積算されて蓄積される。そして、後述するように、学習値が所定の学習しきい値T1以上になると、地物情報生成部36により当該対象地物についての学習地物情報Fbが生成され、地物データベースDB2に記憶される。図5の例では、図5(c)に示すように、横断歩道f1〜f4に対応する学習地物情報Fb1〜Fb4が、地物データベースDB2に記憶されている。
【0063】
また、認識位置導出部32は、画像認識部18による位置補正用画像認識処理に際して、各対象地物について設定された認識領域Eの外において対象地物が画像認識された場合には、上記の情報収集用画像認識処理の結果を用いた地物情報Fの収集処理と同様の処理を行う。すなわち、認識位置導出部32は、位置補正用画像認識処理による対象地物の画像認識結果に基づいて、自車位置情報Pを基準とする当該対象地物の認識位置を導出する。そして、認識位置導出部32は、導出された認識位置を表す認識位置情報Aaを生成し、当該画像認識に成功した対象地物が識別可能な状態で学習データベースDB3に記憶する。これにより、後述するように、位置補正用画像認識処理における対象地物の画像認識結果を用いて、地物データベースDB2に記憶された地物情報Fの修正を行うことができる。なお、このような位置補正用画像認識処理において設定された認識領域Eの外で対象地物を画像認識した場合の認識位置導出部32による処理の詳細については、後に図6に示す例を用いて詳細に説明する。
【0064】
ところで、認識位置導出部32は、当該画像認識に成功した対象地物を他の対象地物に対して識別可能な状態とするため、生成した認識位置情報Aaを、当該対象地物の各種属性を表す地物属性情報Abと関連付けて記憶している。ここで、地物属性情報Abが含む対象地物の属性は、当該一つの対象地物を他の対象地物と識別できるものであればよい。したがって、例えば地物属性情報Abは、当該対象地物の地物種別、当該対象地物の具体的形状や大きさ、当該対象地物が存在するリンクkのリンクID、当該対象地物が存在する概略の位置等の中から選択される一又は二以上の情報を備えている。このような対象地物についての地物属性情報Abを構成する情報は、画像認識部18による当該対象地物の画像認識結果や、当該画像認識処理に係る画像情報Gの取得時の自車位置情報P等に基づいて生成される。
【0065】
10−2.認識失敗処理部
認識失敗処理部33は、画像認識部18による位置補正用画像認識処理において地物情報Fが示す対象地物の画像認識に失敗した場合に、当該地物情報Fが示す対象地物の画像認識に失敗したことを表す認識失敗情報Acを生成し、当該画像認識に失敗した対象地物が識別可能な状態で学習データベースDB3に記憶する。すなわち、認識失敗処理部33は、このような認識失敗情報Acの生成及びその学習データベースDB3への記憶といった認識失敗処理を行う認識失敗処理手段として機能する。図6は、地物情報Fが既に整備されている道路(リンクk)を自車両50が走行する場合を例とし、位置補正用画像認識処理の結果を用いた地物情報Fの修正処理の概要を説明するための説明図である。そして、図6(a)は、自車両50が走行する実際の道路に設けられた道路標示(地物)の一例である。図6(b)は、学習データベースDB3に記憶された認識位置情報Aa及び認識失敗情報Acの一例である。図6(c)は、学習データベースDB3に記憶された学習結果が反映された地物データベースDB2の一例である。この図6では、図6(c)の初期地物情報Fa11〜Fa14に示される4つの「横断歩道」を対象地物として位置補正用画像認識処理を行う場合の例を示している。
【0066】
そして、本実施形態においては、認識失敗処理部33は、図6(b)に示すように、各対象地物について認識失敗情報Acを当該対象地物についての学習値として生成し、当該対象地物の画像認識に失敗する度に当該対象地物についての学習値を減算して記憶することとしている。以下に、認識失敗処理部33が行う処理の内容について、図6(a)〜(c)を用いて順に説明する。
【0067】
認識失敗処理部33は、まず、画像認識部18による、地物情報Fに示される対象地物の位置補正用画像認識処理に際して、当該対象地物について設定された所定の認識領域E内における対象地物の画像認識に成功したか否かを監視する。本例では、初期地物情報Faが整備された道路(リンクk)を自車両50が走行する際に、初期地物情報Fa11〜Fa14のそれぞれに示される4つの「横断歩道」を対象地物として、画像認識部18において順に画像認識要求を行う。しかし、図6(a)に示すように、本例では、初期地物情報Fa12が示す横断歩道f12はかすれて消えかけており、初期地物情報Fa13が示す横断歩道は完全になくなっている。このため、ここでは、かすれている横断歩道f12については、所定の割合で画像認識に失敗し、完全になくなっている初期地物情報Fa13に示される横断歩道については、毎回画像認識に失敗する例について説明する。また、認識失敗処理部33は、画像認識部18による、地物情報Fに示される対象地物の位置補正用画像認識処理に際して、各対象地物について設定された認識領域Eの外において対象地物が画像認識されたか否かも監視する。本例では、初期地物情報Fa13が示す対象地物(横断歩道)について設定された認識領域E13の外に、初期地物情報Faとして整備されていない横断歩道f5が設けられており、この横断歩道f5が画像認識される。
【0068】
また、本実施形態においては、学習データベースDB3には、地物データベースDB2に予め整備されて記憶されている初期地物情報Faのそれぞれに対応して、各初期地物情報Faが示す対象地物についての学習値の初期値Tdが設定され記憶されている。図6(b)に示す例では、学習値の初期値Tdは、学習しきい値T1より低い値に設定している。そして、初期地物情報Faが示す対象地物の画像認識に失敗した場合には、認識失敗処理部33は、当該対象地物についての認識失敗情報Acを当該対象地物についての学習値として生成し、当該対象地物の画像認識に失敗する毎に、学習データベースDB3に記憶されている当該対象地物についての学習値の前記初期値Tdから順に減算して記憶する。この際、例えば、対象地物の画像認識に一回失敗する毎に1点を減算する。すなわち、本例では、認識失敗情報Acは、初期地物情報Faが示す対象地物又は当該初期地物情報Faそのものを特定できる情報と、その学習値「1」の情報とにより構成される。
【0069】
ここで、学習データベースDB3に記憶された学習値の初期値Td及び認識失敗処理部33により生成された認識失敗情報Acは、当該画像認識に失敗した対象地物を他の対象地物に対して識別可能な状態とするため、当該対象地物の各種属性を表す地物属性情報Abと関連付けて記憶される。この地物属性情報Abは、認識位置情報Aaと関連付けて記憶されるものと同様の情報である。
【0070】
ここで、図8は、図6(b)に示す学習データベースDB3に記憶された学習値の横断歩道f12(初期地物情報Fa12)に関する部分の拡大図である。例えば、図6(a)の例において、初期地物情報Fa12が示す対象地物としての横断歩道f12の画像認識に失敗した場合には、この図8中に破線で示すように、当該対象地物についての学習値から1が減算される。そして、自車両50が同じ道路を複数回通行することにより、同じ対象地物の画像認識に複数回失敗すると、例えば図6(b)の初期地物情報Fa13が示す横断歩道f13の学習値のように、最終的には学習値がゼロになるまで減少する。そして、本実施形態においては、後述するように、削除しきい値T2をゼロに設定しているので、学習値がゼロになると、削除管理部38により、当該対象地物を表す初期地物情報Faは、地物データベースDB2から削除される。図6の例では、初期地物情報Fa13が示す横断歩道f13の学習値がゼロになったことにより、地物データベースDB2から初期地物情報Fa13が削除されている。
【0071】
なお、本実施形態においては、認識失敗処理部33は、位置補正用画像認識処理に際して、学習地物情報Fbに示される対象地物の画像認識に失敗した場合であっても、当該対象地物についての認識失敗情報Acを学習データベースDB3に記憶する処理は行わないこととしている。ただし、新たに学習地物情報Fbを生成して地物データベースDB2に記憶する際に、当該学習地物情報Fbについても、初期地物情報Faと同様に学習値の初期値Tdを設定し、これまでの認識位置情報Aaとしての学習値に代えて、学習値の初期値Tdを学習データベースDB3に記憶する構成としても好適である。この場合、認識失敗処理部33は、学習地物情報Fbが示す対象地物の画像認識に失敗した場合には、当該対象地物についての認識失敗情報Acを当該対象地物についての学習値として生成し、当該対象地物の画像認識に失敗する毎に、学習データベースDB3に記憶されている当該対象地物についての学習値の前記初期値Tdから順に減算して記憶する。これにより、学習地物情報Fbについても、初期地物情報Faと同様に取り扱うことが可能となる。
【0072】
一方、認識失敗処理部33は、画像認識部18による位置補正用画像認識処理において、地物情報Fが示す対象地物の画像認識を、当該対象地物について設定された所定の認識領域E内において成功した場合には、認識失敗情報Acとしての学習値の記憶は行わない。図6の例では、初期地物情報Fa11が示す横断歩道f11、及び初期地物情報Fa14が示す横断歩道f14については、画像認識に成功しているため、図6(b)に示すように、学習データベースDB3に記憶された横断歩道f11及びf14についての学習値は初期値Tdのまま維持されている。
【0073】
また、認識失敗処理部33は、位置補正用画像認識処理に際して、各対象地物について設定された認識領域Eの外において対象地物が画像認識されたか否かを判定する処理を行う。そして、各対象地物について設定された認識領域Eの外において対象地物が画像認識された場合には、上記のとおり、認識位置導出部32により、情報収集用画像認識処理の結果を用いた地物情報Fの収集処理と同様の処理を行う。すなわち、認識位置導出部32は、位置補正用画像認識処理による対象地物の画像認識結果に基づいて、自車位置情報Pを基準とする当該対象地物の認識位置を導出する。そして、認識位置導出部32は、導出された認識位置を表す認識位置情報Aaを生成し、当該画像認識に成功した対象地物が識別可能な状態で学習データベースDB3に記憶する。
【0074】
図6の例では、初期地物情報Fa13が示す対象地物(横断歩道)について設定された認識領域E13に対して自車両50の進行方向手前側に、初期地物情報Faが整備されていない横断歩道f5が設けられている。よって、本例では、この横断歩道f5が、各対象地物について設定された認識領域Eの外において画像認識された対象地物となる。この場合には、認識失敗処理部33に代えて、認識位置導出部32により情報収集用画像認識処理の結果を用いた地物情報Fの収集処理と同様の処理を行う。すなわち、認識位置導出部32は、横断歩道f5の画像認識に成功する毎に、横断歩道f5についての認識位置情報Aaとしての学習値を、学習データベースDB3における当該横断歩道f5の認識位置が属する位置範囲に加算する。そして、自車両50が同じ道路を複数回通行することにより、横断歩道f5が複数回画像認識されると、学習データベースDB3には、図6(b)に示すように、当該横断歩道f5が認識される毎に生成された複数の認識位置情報Aaとしての学習値が積算されて蓄積される。そして、この横断歩道f5についての学習値が所定の学習しきい値T1以上になると、推測位置判定部34により推測位置pgが判定される。そして、図6(c)に示すように、地物情報生成部36により学習地物情報Fb5が生成され、地物データベースDB2に記憶される。本実施形態の構成によれば、地物データベースDB2に対する、上記のような初期地物情報Faの削除と、学習地物情報Fbの追加とにより、地物データベースDB2に記憶された地物情報Fを現状に合わせて適宜修正することが可能となる。
【0075】
また、認識失敗処理部33は、当該画像認識に失敗した対象地物を他の対象地物に対して識別可能な状態とするため、生成した認識失敗情報Acを、当該対象地物の各種属性を表す地物属性情報Abと関連付けて記憶している。この地物属性情報Abは、認識位置情報Aaと関連付けて記憶されるものと同様の情報である。
【0076】
11.推測位置判定部
推測位置判定部34は、同じ対象地物が複数回画像認識されることにより学習データベースDB3に記憶された、同じ対象地物についての複数の認識位置情報Aaに基づいて、当該対象地物の推測位置pg(図5参照)を判定する推測位置判定手段として機能する。ここで、推測位置判定部34は、同じ対象地物についての複数の認識位置情報Aaの分布に基づいて、当該分布の代表値を当該対象地物の推測位置pgとして判定する。本実施形態においては、分布の代表値として最頻値を用いる。すなわち、推測位置判定部34は、各対象地物についての認識位置情報Aaとしての学習値が、最初に所定の学習しきい値T1以上となった位置範囲を代表する位置を、当該対象地物の推測位置pgと判定する。これにより、推測位置判定部34は、一つの対象地物についての推測位置pgを判定する場合に、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値の分布に基づいて、最頻値をとる位置範囲を代表する位置を、当該対象地物の推測位置pgと判定することになる。一例として、図5の例における横断歩道f1の推測位置pgを判定する場合の判定方法について説明する。図7に示すように、横断歩道f1についての認識位置情報Aaとしての学習値は、位置範囲a4において最初に学習しきい値T1以上となっている。したがって、推測位置判定部34は、位置範囲a4を代表する位置、例えば位置範囲a4の中央位置pg4を、横断歩道f1の推測位置pgと判定する。
【0077】
12.地物情報管理部
地物情報管理部35は、学習データベースDB3に記憶された対象地物の学習結果に基づいて、地物データベースDB2に記憶された地物情報Fの管理を行う地物情報管理手段として機能する。本実施形態においては、この地物情報管理部35は、地物情報生成部36、地物間距離判定部37、及び削除管理部38を備えている。以下、個別に説明する。
【0078】
12−1.地物情報生成部
地物情報生成部36は、学習データベースDB3に記憶された対象地物の学習結果に基づいて、学習地物情報Fbを生成する地物情報生成手段として機能する。すなわち、地物情報生成部36は、推測位置判定部34により判定された各対象地物の推測位置pgを表す位置情報と、当該対象地物についての画像認識部18による画像認識結果に基づく地物属性情報とを関連付けた学習地物情報Fbを生成する。ここで、学習地物情報Fbを構成する地物属性情報は、学習データベースDB3において、当該対象地物についての認識位置情報Aaと関連付けて記憶されている地物属性情報Abの内容を用いて生成する。これにより、学習地物情報Fbは、初期地物情報Faと同様に、位置情報及びそれに関連付けられた地物属性情報を備えた情報として生成される。そして、この地物情報生成部36で生成された学習地物情報Fbは、地物データベースDB2に記憶される。本実施形態においては、図5(c)に示す学習地物情報Fb1〜Fb4、及び図6(c)に示す学習地物情報Fb5が、地物情報生成部36により生成され、地物データベースDB2に記憶されている。なお、これらの図に表されている黒い四角形「■」は、各学習地物情報Fb1〜Fb5の位置情報が示す各対象地物の推測位置pgを表している。
【0079】
12−2.地物間距離判定部
地物間距離判定部37は、2つの対象地物についての複数の認識位置情報Aaに基づいて、当該2つの対象地物間の距離を表す地物間距離Dを判定する地物間距離判定手段として機能する。本実施形態においては、地物間距離判定部37は、推測位置判定部34により判定された2つの対象地物についての推測位置pgの情報を用いて、一つの対象地物の推測位置pgと、他の対象地物の推測位置pgとの間の距離を演算することにより、これら2つの対象地物の地物間距離Dを求める。図5(b)に示す例では、地物間距離判定部37は、互いに隣接する2つの対象地物間の距離を求めることしている。すなわち、この例では、地物間距離判定部37は、横断歩道f1と横断歩道f2との間の地物間距離D1、横断歩道f2と横断歩道f3との間の地物間距離D2、横断歩道f3と横断歩道f4との間の地物間距離D3を判定して求めている。この地物間距離判定部37により判定された地物間距離Dの情報は、上記地物情報生成部36により生成される学習地物情報Fbを構成する情報として利用される。すなわち、本実施形態においては、各対象地物についての学習地物情報Fbは、当該対象地物と近接する他の対象地物との関係を表す関連付情報と、当該他の対象地物との間の地物間距離Dを表す地物間距離情報を有するものとして生成される。これらの情報も、初期地物情報Faに含まれる関連付情報及び地物間距離情報と同じ内容のものとなる。
【0080】
12−3.削除管理部
削除管理部38は、学習データベースDB3に記憶された対象地物の学習結果に基づいて、地物データベースDB2に記憶された地物情報Fを削除する処理を行う削除管理手段として機能する。すなわち、削除管理部38は、同じ対象地物について複数回の画像認識処理が行われることにより学習データベースDB3に記憶された、同じ対象地物についての複数の認識失敗情報Acに基づいて、地物データベースDB2に記憶された当該対象地物についての地物情報Fの削除を行う。具体的には、削除管理部38は、各対象地物についての学習値が所定の削除しきい値T2以下となった場合に、当該対象地物についての地物情報Fの削除を行う。上記のとおり、本実施形態においては、削除しきい値T2をゼロに設定している。したがって、削除管理部38は、学習データベースDB3に記憶されている、一つの対象地物についての認識失敗情報Acとしての学習値がゼロになった場合に、当該対象地物についての地物情報Fを地物データベースDB2から削除する処理を行う。
【0081】
また、本実施形態においては、学習地物情報Fbについては認識失敗情報Acを学習データベースDB3に記憶しないこととしているので、削除管理部38は、初期地物情報Faについてのみ地物データベースDB2から削除する処理を行う。図6に示す例では、削除管理部38は、初期地物情報Fa13が示す横断歩道f13の学習値がゼロになった際に、地物データベースDB2から初期地物情報Fa13を削除している。なお、上記のように、学習地物情報Fbについても初期地物情報Faと同様に認識失敗情報Acを学習データベースDB3に記憶する構成とした場合には、削除管理部38は、学習地物情報Fbについても地物データベースDB2から削除する処理を行う。
【0082】
13.道路情報管理部
道路情報管理部39は、地図データベースDB1に記憶された道路情報Ra及び道路属性情報Rbの一方又は双方を修正する処理を行う道路情報管理手段として機能する。本実施形態においては、道路情報管理手段39は、道路情報Raに含まれるノードnの位置情報及び2つのノードn間を結ぶリンクkの長さの情報の一方又は双方を修正する。この際、道路情報管理手段39は、ノードnを挟んで当該ノードnに対して略均等な間隔で配置される2つの対象地物についての推測位置判定部34により判定された推測位置pgを表す位置情報に基づいて、ノードnの位置及びリンクkの長さの一方又は双方の判定を行う。ここで、ノードnを挟んで当該ノードnに対して略均等な間隔で配置される対象地物としては、例えば横断歩道が該当する。
【0083】
すなわち、横断歩道は、交差点と道路との境界部分に設けられることから、交差点の中心を表すノードnの両側に略均等な間隔で配置されるのが一般的である。したがって、例えば図5(b)に示すように、学習データベースDB3に記憶された認識位置情報Aaに基づいて、推測位置判定部34により、ノードnの近傍に存在する2つの横断歩道の推測位置pgが求まれば、それら2つの横断歩道の推測位置pgに対して均等な間隔dとなる中間位置をノードnが位置するノード位置pnと推測することができる。同様に、前記ノードnとは反対側のリンクkの端部に位置するノードnについてもノード位置pnを求めることができれば、それら2つのノード位置pn間の距離がリンク長さLに相当するものと推測することができる。そして、道路情報管理手段39は、このようにして求めたノード位置pn及びリンク長さLが、地図データベースDB1に記憶されている道路情報Raに示されるものと異なる場合には、それに合わせて道路情報Raを修正する処理を行う。これにより、対象地物の学習結果を用いて、地図データベースDB1に記憶された道路情報Raを現状に合わせて適宜修正することが可能となる。
【0084】
14.道路属性情報取得部
道路属性情報取得部41は、自車位置情報Pに基づいて、自車両50が走行中の道路(リンクk)についての道路属性情報Rbを地図データベースDB1から取得する道路属性情報取得手段として機能する。上記のとおり、地図データベースDB1に記憶される道路属性情報Rbには、道路種別、地域種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報が含まれる。そして、道路属性情報取得部41は、これらの中から後述する対象種別決定部42による対象種別の決定のために必要な情報を道路属性情報Rbとして地図データベースDB1から取得する。本実施形態においては、道路属性情報取得部41は、道路種別情報及び地域種別情報を道路属性情報Rbとして取得する。上記のとおり、道路種別情報は、例えば、自動車専用道路、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。また、地域種別情報は、例えば、関東地方や関西地方等の地方、都道府県や市区町村等の行政区画等のように、リンクkに対応する道路が設けられている地域を複数に区分した際の地域種別の情報である。したがって、道路属性情報取得部41は、自車両50が走行中の道路(リンクk)の道路属性情報Rbとして、例えば、「道路種別:市街地道路、地域種別:愛知県」といった情報を取得する。
【0085】
15.認識属性データベース
認識属性データベースDB4は、対象種別となり得る全ての地物種別についての認識属性情報としての認識率情報S1を記憶したデータベースであり、認識属性情報記憶手段として機能する。ここで、認識率情報S1は、各地物種別に固有の性質に基づいて定めた、画像認識部18による情報収集用画像認識処理に際しての各地物種別の地物の認識率の予想値を表す情報である。すなわち、認識率情報S1は、各地物種別の対象地物の画像認識を行う際に、認識に成功する理論上の割合を表す情報となっている。ここで、各地物種別の認識率に影響を与える各地物種別に固有の性質としては、例えば、地物種別毎の形態、大きさ、色彩、及びかすれの生じ易さ等がある。例えば、地物の形態に関しては、他の地物種別と誤認識する可能性が低く、認識が容易な特徴的形態を有する地物種別では認識率が高くなる傾向がある。地物の大きさに関しては、特に道路幅方向に大きい地物ほど撮像装置11により撮像される画像情報Gに含まれる可能性が高くなるため、認識率が高くなる傾向がある。地物の色彩に関しては、道路の路面の色彩とのコントラストが大きいほど認識率が高くなる傾向がある。また、地物のかすれの生じ易さに関しては、かすれが生じている可能性が高いほど、画像認識に失敗する可能性が高くなり、認識率が低くなる傾向がある。なお、地物種別毎のかすれの生じ易さは、各地物種別の地物がどの程度の割合でかすれているかに関する実地調査の結果に基づいて統計的に求められる。そして、認識属性データベースDB4に記憶される各地物種別の認識率情報S1は、これらの各地物種別に固有の性質に基づいて、予め定めた認識率の予想値を表す情報となっている。
【0086】
16.出現頻度データベース
出現頻度データベースDB5は、対象種別となり得る全ての地物種別について、道路属性情報Rbに示される道路属性に応じた各地物種別の出現頻度を表す出現頻度情報S2を記憶したデータベースであり、出現頻度情報記憶手段として機能する。ここで、出現頻度情報S2は、道路属性情報Rbに示される複数の道路属性のそれぞれの道路(リンクk)における、各地物種別の地物の出現頻度を表す情報である。本実施形態においては、上記のとおり、道路属性情報Rbとして道路種別情報及び地域種別情報が用いられる。よって、出現頻度データベースDB5には道路種別情報と地域種別情報との全ての組み合わせについての、各地物種別の出現頻度情報S2が規定されている。このような道路属性に応じた各地物種別の出現頻度は、各道路属性の道路に存在する地物の地物種別に関する実地調査の結果に基づいて統計的に求められる。この出現頻度情報S2は、本実施形態においては、道路の単位長さあたりの各地物種別の地物の出現個数で表される情報とし、より具体的には、道路長1〔km〕あたりの出現個数で表される情報とする。したがって、例えば、道路属性が「道路種別:市街地道路、地域種別:愛知県」であって地物種別が「横断歩道」である出現頻度情報S2が「10.3」の場合、当該出現頻度情報S2は、愛知県の市街地道路には、統計的に道路長1〔km〕あたりに10.3個の横断歩道が設けられていることを表している。
【0087】
17.配置傾向データベース
配置傾向データベースDB6は、対象種別となり得る全ての地物種別の地物の道路上での配置傾向を表す配置傾向情報として、各地物種別についての区域情報S3を記憶したデータベースであり、配置傾向情報記憶手段として機能する。ここで、区域情報S3は、各地物種別の地物が、交差点(ノードn)を基準として、道路(リンクk)の長さ方向に区分された複数の道路区域Zのいずれに配置されている可能性が高いかを表す情報である。すなわち、区域情報S3は、各地物種別の地物が配置されている可能性が高い道路区域Zを表す情報となっている。本実施形態においては、図9及び図10に示すように、区域情報S3は、道路属性情報Rbに示される道路種別によって異なる道路区域Zに区分することとしている。すなわち、ここでは、市街地道路については、図9に示すように、道路(リンクk)を、その長さ方向に、道路端部領域に相当する「リンク端部Za」と、道路中央部領域に相当する「リンク中央部Zb」との2つの道路区域Zに区分している。また、細街路については、図10に示すように、道路(リンクk)を、その長さ方向に、交差点中央領域に相当する「ノード上Zc」と、交差点以外の道路上の領域に相当する「リンク上Zd」との2つの道路区域Zに区分している。そして、配置傾向データベースDB6に記憶される区域情報S3の具体例として、例えば、地物種別が「横断歩道」の区域情報S3が表す道路区域Zは、市街地道路については「リンク端部Za」であり、細街路については「リンク上Zd」である。
【0088】
18.対象種別決定部
対象種別決定部42は、道路属性情報取得部41により取得した道路属性情報Rbと、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、対象種別を決定する対象種別決定手段として機能する。ここで、対象種別は、画像認識部18による情報収集用画像認識処理の対象とする一又は二以上の地物種別である。本実施形態においては、対象種別決定部42は、横断歩道、停止線、速度標示等のような、道路の路面に設けられた各種の道路標示に係る地物種別の中から対象種別を選択して決定する。そして、このような対象種別の決定を適切に行うために、本実施形態においては、対象種別決定部42は、認識頻度導出部43、対象種別決定演算部44、及び認識成否管理部45を備えている。そこで、以下に、これら各部が行う処理の詳細について、図9及び図10を用いて説明する。図9は、道路種別が市街地道路である場合における、道路区域Zの区分と対象種別決定処理の具体例を示す図である。図10は、道路種別が細街路である場合における、道路区域Zの区分と対象種別決定処理の具体例を示す図である。これらの図9及び図10においては、いずれも(a)が道路区域Zの区分の具体例を示し、(b)が対象種別決定処理の具体例を示している。
【0089】
18−1.認識頻度導出部
認識頻度導出部43は、道路属性情報取得部41により取得された道路属性情報Rbに示される道路属性に応じた各地物種別の出現頻度と、認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて、各地物種別の認識頻度を導出する認識頻度導出手段として機能する。そのため、本実施形態においては、認識頻度導出部43は、まず、道路属性情報取得部41により取得された道路属性情報Rbに基づいて出現頻度データベースDB5を検索し、当該道路属性情報Rbに示される道路属性に応じた各地物種別の出現頻度を表す出現頻度情報S2を取得する。ここでは、認識頻度導出部43は、道路属性情報取得部41により取得される、自車両50が現在走行中の道路(リンクk)の道路種別情報及び地域種別情報を示す道路属性情報Rbに基づいて、当該道路種別と地域種別との組み合わせに対応する出現頻度情報S2を、各地物種別について取得する。
【0090】
具体的には、例えば自車両50が走行中の道路(リンクk)の道路属性情報Rbとして「道路種別:市街地道路、地域種別:愛知県」が取得された場合、図9(b)に示すように、この道路種別と地域種別との組み合わせに対応する複数の地物種別についての出現頻度情報S2が、出現頻度データベースDB5から取得される。図示の例では、各地物種別についての出現頻度情報S2として、「横断歩道:10.3」、「停止線:8.7」、「矢印:15.2」、「回転禁止:3.3」、「最高速度:3.1」という情報が取得されている。また、例えば自車両50が走行中の道路(リンクk)の道路属性情報Rbとして「道路種別:細街路、地域種別:東京都」が取得された場合、図10(b)に示すように、この道路種別と地域種別との組み合わせに対応する複数の地物種別についての出現頻度情報S2が、出現頻度データベースDB5から取得される。図示の例では、各地物種別についての出現頻度情報S2として、「T字:9.8」、「十字:10.5」、「停止線:19.6」、「横断歩道:5.1」、「横断歩道あり:5.3」という情報が取得されている。なお、これらの図では、説明の簡略化のために、5種類の地物種別についての出現頻度情報S2が取得された例を示しているが、実際には、もっと多数の地物種別についての出現頻度情報S2が取得されることになる。
【0091】
次に、認識頻度導出部43は、各地物種別の認識属性情報としての認識率情報S1を、認識属性データベースDB4から取得する。ここでは、認識頻度導出部43は、上記のように出現頻度情報S2が取得された複数の地物種別のそれぞれについて、認識属性データベースDB4を検索して認識率情報S1を取得する。具体的には、図9(b)に示す例では、各地物種別についての認識率情報S1として、「横断歩道:80%」、「停止線:55%」、「矢印:70%」、「回転禁止:90%」、「最高速度:80%」という情報が取得されている。また、図10(b)に示す例では、各地物種別についての認識率情報S1として、「T字:90%」、「十字:80%」、「停止線:55%」、「横断歩道:80%」、「横断歩道あり:60%」という情報が取得されている。
【0092】
その後、認識頻度導出部43は、取得した出現頻度情報S2及び認識率情報S1に基づいて、各地物種別の認識頻度を導出する。本実施形態においては、認識頻度導出部43は、下記の式(1)に示すように、出現頻度情報S2に示される各地物種別についての出現頻度と、認識率情報S1に示される各地物種別の地物の認識率の予想値とを乗算して得られる値を認識頻度として求める。
(認識頻度)=(出現頻度)×(認識率の予測値)・・・(1)
すなわち、この認識頻度は、自車両50が走行中の道路(リンクk)の道路属性に応じた各地物種別の地物の出現頻度に、各地物種別の地物の画像認識処理における認識率の予想値を重みとして乗算した重み付き出現頻度に相当する値として求められる。これにより、認識頻度は、自車両50が道路属性情報Rbに示される道路属性を有する道路(リンクk)を走行しながら地物の画像認識処理を行う際における、各地物種別の地物の総合的な認識率を表す情報となる。具体的には、例えば図9(b)に示す例では、地物種別が「横断歩道」についての認識頻度は、「出現頻度:10.3」に「認識率の予想値80%」を乗算して「8.2」と求められている。同様に、各地物種別の認識頻度は、「停止線:4.8」、「矢印:10.6」「回転禁止:3.0」、「最高速度:2.5」と求められている。また、図10(b)に示す例では、各地物種別の認識頻度は、「T字:8.8」、「十字:8.4」、「停止線:10.8」、「横断歩道:4.1」、「横断歩道あり:3.2」と求められている。認識頻度導出部43は、以上のようにして各地物種別の認識頻度を導出する。
【0093】
18−2.対象種別決定演算部
対象種別決定演算部44は、認識頻度導出部43により導出された各地物種別の認識頻度に基づいて、情報収集用画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する。本実施形態においては、対象種別決定演算部44は、認識頻度導出部43により導出された各地物種別の認識頻度に応じて、対象種別となり得る全ての地物種別の中で認識頻度が上位の一又は二以上の地物種別を、対象種別として決定する。但し、この際、対象種別決定演算部44は、各地物種別の地物の配置傾向情報としての区域情報S3に基づいて、各地物種別の区域情報S3が表す配置傾向が、自車位置情報Pに基づく自車両50の道路(リンクk)上での配置に合致する地物種別を優先して、対象種別を決定する。そのため、本実施形態においては、対象種別決定演算部44は、配置傾向データベースDB6に記憶された各地物種別についての区域情報S3を参照し、各区域情報S3に示される道路区域Z毎に分けて、認識頻度の上位から順に各地物種別の優先順位を決定する。
【0094】
図9に示す市街地道路の例では、認識頻度導出部43により認識頻度が導出された複数の地物種別の中で、「横断歩道」及び「停止線」は、区域情報S3に示される道路区域Zが「リンク端部Za」であり、「矢印」、「回転禁止」、及び「最高速度」は、区域情報S3に示される道路区域Zが「リンク中央部Zb」となっている。そこで、対象種別決定演算部44は、道路区域Zが「リンク端部Za」である各地物種別の優先順位を、当該道路区域Zの地物種別の中での認識頻度の上位から順に「横断歩道:1」、「停止線:2」と決定する。また、対象種別決定演算部44は、道路区域Zが「リンク中央部Zb」である各地物種別の優先順位を、当該道路区域Zの地物種別の中での認識頻度の上位から順に「矢印:1」、「回転禁止:2」、「最高速度:3」と決定する。なお、図9(a)に示す例では、交差点(ノードn)の両側に配置された横断歩道及び停止線を含む交差点(ノードn)近傍の区域を「リンク端部Za」とし、その他の道路(リンクk)上の区域を「リンク中央部Zb」としている。
【0095】
また、図10に示す細街路の例では、認識頻度導出部43により認識頻度が導出された複数の地物種別の中で、「T字」及び「十字」は、区域情報S3に示される道路区域Zが「ノード上Zc」であり、「停止線」、「横断歩道」、及び「横断歩道あり」は、区域情報S3に示される道路区域Zが「リンク上Zd」となっている。そこで、対象種別決定演算部44は、道路区域Zが「ノード上Zc」である各地物種別の優先順位を、当該道路区域Zの地物種別の中での認識頻度の上位から順に「T字:1」、「十字:1」と決定する。なお、本例では、認識頻度の値が異なるにも関わらず、「T字」と「十字」の優先順位をともに「1」としている。これは、「T字」と「十字」が同じ場所に配置されることがないために位置的に競合せず、更に、これらの地物が、共通する形態を有するために、共通の画像認識処理を用いて、双方を同時に対象種別とする画像認識処理を行うことができるからである。また、対象種別決定演算部44は、道路区域Zが「リンク上Zd」である各地物種別の優先順位を、当該道路区域Zの地物種別の中での認識頻度の上位から順に「停止線:1」、「横断歩道:2」、「横断歩道あり:3」と決定する。なお、図10(a)に示す例では、交差点(ノードn)の両側に配置された横断歩道及び停止線を含む道路(リンクk)上の区域を「リンク上Zd」とし、その他の交差点(ノードn)近傍の区域を「ノード上Zc」としている。
【0096】
そして、対象種別決定演算部44は、道路区域Z毎の各地物種別の優先順位に基づいて、道路区域Z毎に対象種別を決定する。本実施形態においては、対象種別決定演算部44は、道路区域Z毎の優先順位が「1」である地物種別を対象種別として決定する。よって、図9に示す例では、道路区域Zが「リンク端部Za」での対象種別を「横断歩道」と決定し、道路区域Zが「リンク中央部Zb」での対象種別を「矢印」と決定する。また、図10に示す例では、道路区域Zが「ノード上Zc」での対象種別を「T字」及び「十字」と決定し、道路区域Zが「リンク上Zd」での対象種別を「停止線」と決定する。
【0097】
また、本実施形態においては、対象種別決定演算部44は、上記のような対象種別の決定に際して、認識成否管理部45に記憶されている種別失敗情報S4を参照し、過去における対象地物の画像認識の成否の情報に基づいて対象種別を決定する。この際、対象種別決定演算部44は、まず、自車位置情報Pに基づいて、認識成否管理部45を検索し、自車両50が走行する道路区域Zについての種別失敗情報S4を抽出する。後述するように、本実施形態においては、種別失敗情報S4は、過去に道路区域Z毎に決定された対象種別の地物についての画像認識に失敗したことを表す情報であって、当該画像認識に失敗した地物種別を表す情報と、当該画像認識に失敗した領域に相当する特定の道路区域Zを表す情報とを有している。
【0098】
そして、自車両50が走行する道路区域Zについての種別失敗情報S4が取得された場合には、対象種別決定演算部44は、当該種別失敗情報S4に示されている地物種別の順位が下位になるように当該道路区域Zについての地物種別の優先順位を変更する調整を行う。具体的には、対象種別決定演算部44は、種別失敗情報S4に示されている地物種別の順位が最下位となるように前記優先順位を変更する。またこの際、対象種別決定演算部44は、他の地物種別の優先順位を順に繰り上げる。そして、対象種別決定演算部44は、変更後の優先順位が「1」である地物種別を対象種別として決定する。例えば、図9に示す例において、自車両50の進行方向のリンク中央部Zbの特定の道路区域Zにおいて、過去に対象種別「矢印」の画像認識に失敗したことを表す種別失敗情報S4が取得されたとする。その場合、対象種別決定演算部44は、「矢印」の優先順位を最下位とするように変更する。これにより、当該特定の道路区域Zでの優先順位は「回転禁止」が「1」に、「最高速度」が「2」にそれぞれ繰り上がる。よって、この場合には、対象種別決定演算部44は、変更後の優先順位に従って対象種別を「回転禁止」と決定する。
【0099】
18−3.認識成否管理部
認識成否管理部45は、情報収集用画像認識処理に関し、過去における対象地物の画像認識の成否の情報を管理する認識成否管理手段として機能する。このため、認識成否管理部45は、自車位置情報Pに基づいて、道路区域Z(所定の領域の一例)毎に、対象種別決定演算部44により決定された対象種別の対象地物の画像認識の成否を表す認識成否情報としての種別失敗情報S4を生成し、生成された種別失敗情報S4を記憶する。本実施形態においては、種別失敗情報S4は、過去に対象種別決定演算部44により道路区域Z毎に決定された対象種別の対象地物の情報収集用画像認識処理に関して、各道路区域Zの全体において全く対象地物を画像認識できなかった場合に、当該画像認識に失敗した事実を表す情報である。そのため、本例では、種別失敗情報S4は、当該画像認識に失敗した地物種別を表す情報と、当該画像認識に失敗した領域に相当する特定の道路区域Zを表す情報とを有している。ここで、種別失敗情報S4に含まれる「特定の道路区域Z」は、当該画像認識に失敗した一つの道路区域Zを特定可能な情報であって、配置傾向データベースDB6に記憶された区域情報S3のように、単に「リンク端部Za」や「リンク中央部Zb」等の道路区域Zの種別のみを特定する情報とは異なる。そのため、この種別失敗情報S4に含まれる「特定の道路区域Z」は、画像認識に失敗した特定の道路区域Zを通過した際の自車位置情報Pと道路情報Raとに基づいて求められ、例えば、当該特定の道路区域Zが存在する特定のリンクkと関連付けられた情報とされる。
【0100】
そして、認識成否管理部45は、特定の道路区域Zについての対象地物の画像認識処理に関して、当該画像認識に失敗した回数を計数し、所定回数(例えば、1回、5回、10回等)連続で失敗した場合に、種別失敗情報S4を生成して記憶する。これにより、特定の道路区域Zについて、対象種別決定演算部44により決定された対象種別の地物の画像認識に所定回数失敗した後は、当該特定の道路区域Zについての対象種別が変更されることになる。これにより、情報収集用画像認識処理に際して効率的に対象地物の画像認識を行うことが可能となり、対象地物の学習を効率的に行うことが可能となる。
【0101】
19.ナビゲーション装置の動作処理
次に、本実施形態に係るナビゲーション装置1において実行される、地物情報収集方法、地物情報修正方法、自車位置情報補正方法、及び地物情報収集方法を実行するための対象種別決定方法について説明する。図11は、本実施形態に係るナビゲーション装置1の自車位置情報補正方法を含む全体の動作処理の順序を示すフローチャートである。図12は、本実施形態に係る地物情報収集方法としての地物情報収集処理の詳細な処理順序を示すフローチャートである。図13は、本実施形態に係る対象種別決定方法としての対象種別決定処理の詳細な処理順序を示すフローチャートである。図14は、本実施形態に係る地物情報修正方法としての地物情報修正処理の詳細な処理順序を示すフローチャートである。以下では、まず、ナビゲーション装置1の全体の動作処理について説明する。
【0102】
図11に示すように、ナビゲーション装置1では、まず、自車位置情報取得部16により自車位置情報Pを取得する(ステップ#01)。次に、画像情報取得部12により、撮像装置11により撮像した自車両50の周辺の画像情報Gを取得する(ステップ#02)。その後、地物情報取得部17により、自車位置情報Pに示される自車両50の現在位置(自車位置)から、当該自車両50が走行中の道路を表すリンクkの終端までの間に存在する対象地物の地物情報Fを地物データベースDB2から取得する(ステップ#03)。そして、ステップ#03において地物情報Fが取得されなかった場合には(ステップ#04:No)、ナビゲーション装置1は、地物情報収集処理を実行する(ステップ#07)。この地物情報収集処理については、後に図12に示すフローチャートに基づいて詳細に説明する。
【0103】
一方、ステップ#03において地物情報Fが取得された場合には(ステップ#04:Yes)、次に、画像認識部18により、ステップ#03において取得された各地物情報Fが示す各対象地物について、認識領域Eを設定して画像認識処理を行う(ステップ#05)。このステップ#05の画像認識処理が、上述した画像認識部18による位置補正用画像認識処理である。そして、ステップ#05により、認識領域E内で対象地物を画像認識した場合には(ステップ#06:Yes)、自車位置情報補正部19により、当該対象地物の画像認識結果と、当該対象地物についての地物情報Fに含まれる当該対象地物の位置情報とに基づいて、自車位置情報Pの補正を行う(ステップ#08)。一方、認識領域E内で対象地物を画像認識できなかった場合には(ステップ#06:No)、ナビゲーション装置1は、地物情報修正処理を実行する(ステップ#09)。この地物情報修正処理については、後に図14に示すフローチャートに基づいて詳細に説明する。以上で、ナビゲーション装置1の全体の動作処理を終了する。
【0104】
19−1.地物情報収集方法
次に、本実施形態に係る地物情報収集方法としての地物情報収集処理の処理順序について説明する。図12に示すように、まず、対象種別決定部42による対象種別決定処理を行う(ステップ#21)。この対象種別決定処理は、対象地物となり得る複数の地物種別の中から、情報収集用画像認識処理の対象とする地物種別を対象種別として決定する処理である。この際、対象種別は、所定の道路区域Z(図9及び図10参照)毎に決定される。この対象種別決定処理については、後に図13に示すフローチャートに基づいて詳細に説明する。次に、画像認識部18により、ステップ#21において道路区域Z毎に決定された対象種別に応じて、道路区域Z毎に対象地物の画像認識処理を行う(ステップ#22)。この際、画像認識部18は、道路区域Z毎に決定された対象種別の地物を対象地物として画像認識を行う。このステップ#22の画像認識処理が、上述した画像認識部18による情報収集用画像認識処理である。そして、一つの道路区域Zにおいて、対象地物を画像認識できなかった場合には(ステップ#23:No)、当該道路区域Zにおいて、ステップ#21で決定された対象種別の画像認識に失敗したことを表す種別失敗情報S4(図1参照)を認識成否管理部45に記憶する(ステップ#30)。
【0105】
一方、画像認識部18により、対象地物を画像認識した場合には(ステップ#23:Yes)、認識位置導出部32により、ステップ#01で取得した自車位置情報Pに基づいて、当該対象地物の認識位置を導出する(ステップ#24)。次に、ステップ#24で導出した対象地物の認識位置を表す認識位置情報Aaを、当該認識位置が属する所定の位置範囲についての学習値として生成し、図5(b)及び図7に示すように、位置範囲毎に加算して学習データベースDB3に記憶する(ステップ#25)。ここで、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値が、所定の学習しきい値T1未満である場合には(ステップ#26:No)、処理はそのまま終了する。
【0106】
一方、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値が、所定の学習しきい値T1以上である場合には(ステップ#26:Yes)、推測位置判定部34により、当該対象地物の推測位置pgを判定する(ステップ#27)。その後、地物情報生成部36により、当該対象地物についての、ステップ#27で判定された推測位置pgと画像認識結果に基づく地物属性情報とを関連付けた学習地物情報Fbを生成する(ステップ#28)。そして、生成した学習地物情報Fbを地物データベースDB2に記憶する(ステップ#29)。以上で、地物情報収集処理は終了する。
【0107】
19−2.対象種別決定方法
次に、本実施形態に係る対象種別決定方法としての対象種別決定処理の処理順序について説明する。図13に示すように、まず、道路属性情報取得部41により、ステップ#01で取得した自車位置情報Pに基づいて、自車両50が走行中の道路(リンクk)についての道路属性情報Rb(図1参照)を地図データベースDB1から取得する(ステップ#41)。次に、対象種別決定部42の認識頻度導出部43により、ステップ#41で取得した道路属性情報Rbに応じた各地物種別の出現頻度情報S2(図1参照)を出現頻度データベースDB5から取得する(ステップ#42)。また、認識頻度導出部43により、各地物種別の認識率情報S1を認識属性データベースDB4から取得する(ステップ#43)。そして、認識頻度導出部43により、ステップ#41〜#43により取得した情報に基づいて各地物種別の認識頻度を導出する(ステップ#44)。この認識頻度導出部43による各地物種別の認識頻度の導出方法は、既に説明したとおりである。
【0108】
次に、対象種別決定部42の対象種別決定演算部44により、各地物種別の配置傾向情報としての区域情報S3を配置傾向データベースDB6から取得する(ステップ#45)。そして、対象種別決定演算部44により、区域情報S3に示される所定の道路区域Z毎に、各地物種別の優先順位を決定する(ステップ#46)。具体的には、上記のとおり、区域情報S3に示される所定の道路区域Z毎に、認識頻度が高い地物種別が上位となるように各地物種別の優先順位を決定する。その後、対象種別決定部42により、認識成否管理部45を参照する(ステップ#47)。そして、ステップ#46で優先順位を決定した道路区域Zについての種別失敗情報S4が認識成否管理部45に記憶されているか否かを判定する(ステップ#48)。ここで、そのような種別失敗情報S4が認識成否管理部45に記憶されていない場合には(ステップ#48:No)、処理はステップ#50へ進む。一方、ステップ#46で優先順位を決定した道路区域Zについての種別失敗情報S4が認識成否管理部45に記憶されている場合には(ステップ#48:Yes)、当該種別失敗情報S4がある道路区域Zの優先順位を変更する。具体的には、上記のとおり、種別失敗情報S4に示されている地物種別の順位が下位になるように優先順位を変更する。そして、対象種別決定演算部44により、ステップ#46及び#49により決定された各地物種別の優先順位に従って一又は二以上の対象種別を決定する(ステップ#50)。以上で対象種別決定処理は終了する。
【0109】
19−3.地物情報修正方法
次に、本実施形態に係る地物情報修正方法としての地物情報修正処理の処理順序について説明する。図14に示すように、まず、ステップ#05の位置補正用画像認識処理において、認識領域E内での画像認識に失敗した(ステップ#06:No)対象地物について、認識失敗処理部33により、当該対象地物についての認識失敗情報Acとしての学習値を生成し、図6(b)及び図8に示すように、当該対象地物についての学習値を減算して学習データベースDB3に記憶する(ステップ#61)。ここで、学習値がゼロでない場合には(ステップ#62:No)、処理はステップ#64へ進む。そして、学習値がゼロである場合(ステップ#62:Yes)、すなわち学習値が削除しきい値T2以下となった場合には、削除管理部38により、当該対象地物の地物情報Fを地物データベースDB2から削除する(ステップ#63)。
【0110】
その後、認識失敗処理部33により、ステップ#05の位置補正用画像認識処理において、認識領域Eの外で対象地物が画像認識されたか否かを判定する(ステップ#64)。認識領域Eの外で対象地物が画像認識されなかった場合には(ステップ#64:No)、処理はそのまま終了する。一方、認識領域Eの外で対象地物が画像認識された場合には(ステップ#64:Yes)、認識位置導出部32により、情報収集用画像認識処理において対象地物を画像認識した場合のステップ#24〜#29の処理と同様の処理を行う。すなわち、認識位置導出部32により、ステップ#01で取得した自車位置情報Pに基づいて、当該対象地物の認識位置を導出する(ステップ#65)。次に、図6(b)に横断歩道f5の例として示すように、ステップ#65で導出した対象地物の認識位置を表す認識位置情報Aaを、当該認識位置が属する所定の位置範囲についての学習値として生成し、位置範囲毎に加算して学習データベースDB3に記憶する(ステップ#66)。ここで、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値が、所定の学習しきい値T1未満である場合には(ステップ#67:No)、処理はそのまま終了する。
【0111】
一方、学習データベースDB3に記憶された当該対象地物についての認識位置情報Aaとしての学習値が、所定の学習しきい値T1以上である場合には(ステップ#67:Yes)、推測位置判定部34により、当該対象地物の推測位置pgを判定する(ステップ#68)。その後、地物情報生成部36により、当該対象地物についての、ステップ#68で判定された推測位置pgと画像認識結果に基づく地物属性情報とを関連付けた学習地物情報Fbを生成する(ステップ#69)。そして、生成した学習地物情報Fbを地物データベースDB2に記憶する(ステップ#70)。以上で、地物情報修正処理は終了する。
【0112】
20.その他の実施形態
(1)上記の実施形態では、認識位置導出部32は、認識位置情報Aaが表す対象地物の認識位置を、自車位置情報Pを基準とする当該対象地物の道路上の位置を表す情報として導出する場合の例について説明した。しかし、本発明に係る認識位置情報Aaは、このような位置の情報に限定されるものではない。したがって、例えば、認識位置情報Aaが表す対象地物の認識位置を、当該対象地物の画像を含む画像情報Gを取得した際の自車位置情報Pが示す自車両50の位置とすることも、本発明の好適な実施形態の一つである。この場合、認識位置導出部32は、地物情報生成部36により学習地物情報Fbを生成する際に、撮像装置11の取付位置、取付角度、及び画角等に基づいて、自車両50の位置に対する画像情報G中の対象地物の道路上の位置を演算し、当該対象地物の道路上の位置を、対象地物の学習地物情報Fbが含む位置情報とすると好適である。
【0113】
(2)上記の実施形態では、推測位置判定部34が、同じ対象地物についての複数の認識位置情報Aaの分布に基づいて、当該分布の最頻値を当該対象地物の推測位置pgとして判定する場合の例について説明した。しかし、推測位置判定部34による推測位置pgの判定方法はこれに限定されない。したがって、例えば、認識位置情報Aaの分布に基づいて、当該分布の平均値や中央値等の他の代表値を当該対象地物の推測位置pgとして判定する構成とすることも、本発明の好適な実施形態の一つである。
【0114】
(3)上記の実施形態では、認識位置導出部32が、一つの対象地物の画像認識に成功する毎に1点の学習値を加算する場合の例について説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、画像認識部18による対象地物の画像認識処理において、画像認識結果に基づいて対象種別決定部42により決定された対象種別の対象地物であることの確からしさを表す認識自信度を判定し、当該認識自信度に応じて異なる学習値を加算する構成とすることも、本発明の好適な実施形態の一つである。すなわち、認識位置情報Aaとしての学習値を位置範囲毎に加算して学習データベースDB3に記憶するのに際して、当該地物種別の対象地物であることの自信度が高い場合には、大きい値を学習値として加算し、逆に自信度が低い場合には、小さい値を学習値として加算する構成とすると好適である。また、対象地物の画像認識に成功する毎に加算する学習値は正の数には限られず、負の数としても好適である。また、この学習値は、整数に限られず、小数としても好適である。
【0115】
(4)上記の実施形態では、認識失敗処理部33が、対象地物の画像認識に失敗する毎に、認識失敗情報Acとしての当該対象地物についての学習値を所定の初期値Tdに対して減算し、学習値がゼロになったときに当該対象地物の地物情報Fを地物データベースDB2から削除する構成を例として説明した。しかし、認識失敗情報Acとしての学習値の構成はこのようなものに限定されず、例えば、学習値の初期値Tdをゼロとして画像認識に失敗する毎に学習値を減算し、負の値に設定された所定の削除しきい値T2以下となったときに当該対象地物の地物情報Fを地物データベースDB2から削除する構成とすることも、本発明の好適な実施形態の一つである。また、対象地物の画像認識に失敗する毎に減算する学習値は正の数には限られず、負の数としても好適である。また、この学習値は、整数に限られず、小数や分数としても好適である。更に、学習データベースDB3に記憶される認識失敗情報Acの構成は、このような学習値を用いるものに限定されず、地物情報Fが示す対象地物の画像認識に失敗したことを記憶するために適した各種の形態の情報を用いることができる。
【0116】
(5)上記の実施形態における各データベースDB1〜DB6の分け方は単なる一例であり、各データベースDB1〜DB6のハードウェア構成を限定するものではない。したがって、例えば、地物データベースDB2と学習データベースDB3とを一つのデータベースとし、或いは、地図データベースDB1と地物データベースDB2とを一つのデータベースとするなど、任意の構成を採用することができる。
【0117】
(6)上記の実施形態では、地物情報Fとして記憶された対象地物が自車両50の周辺に存在するか否かを判定するための自車両50の周辺の範囲を、自車位置情報Pに示される自車両50の現在位置(自車位置)から、当該自車両50が走行中の道路を表すリンクkの終端までの間の範囲とする場合の例について説明した。しかし、これは単なる一例であり、他の基準により定めた範囲を自車両50の周辺の範囲とすることも可能である。したがって、例えば、自車両50の周辺の範囲を、自車両50の現在位置からリンクkを単位としない所定距離内の範囲とすることも、本発明の好適な実施形態の一つである。
【0118】
(7)上記の実施形態では、自車両50の周辺に地物情報Fとして記憶された対象地物が存在しない場合に、所定の対象種別の地物を対象地物とする画像認識結果に基づいて対象地物の位置を学習し、地物情報Fを生成する地物情報収集処理と、自車両50の周辺に地物情報Fとして記憶された対象地物が存在する場合に、地物情報Fが示す対象地物の画像認識に失敗したことを学習し、地物情報Fを削除或いは修正する地物情報修正処理と、の2つの処理を両方行うことが可能な構成の地物情報収集装置2の例について説明した。しかし、本発明に係る地物情報収集装置2の実施形態はこれに限定されるものではなく、例えば、前記地物情報収集処理と、前記地物情報修正処理或いは地物情報の削除処理とのいずれか一方のみを行うことが可能な構成とすることも、本発明の好適な実施形態の一つである。
【0119】
(8)上記の実施形態では、認識頻度決定部42の認識頻度導出部43により、出現頻度情報S2及び認識率情報S1を取得し、出現頻度情報S2に示される道路属性に応じた各地物種別の出現頻度と、認識率情報S1に示される各地物種別の地物の認識率の予想値とを乗算して認識頻度として求める場合の例について説明した。しかし、本発明の実施形態はこれに限定されない。したがって、例えば、全ての道路属性と地物種別との組み合わせについて、認識頻度を規定した認識頻度テーブルを用い、道路属性情報取得部41により取得した道路属性情報Rbに基づいて、認識頻度テーブルを参照して各地物種別についての認識頻度を求める構成とすることも、本発明の好適な実施形態の一つである。
【0120】
(9)上記の実施形態では、道路区域Z毎の各地物種別の優先順位に基づいて、道路区域Z毎に対象種別を決定するに際して、道路区域Z毎の優先順位が「1」である地物種別を対象種別として決定する場合を例として説明した。これは、画像認識部18による画像認識処理の負荷を小さくするために、対象種別の数を少なく抑えることが有効だからである。なお、画像認識部18による演算処理能力に余裕がある場合には、道路区域Z毎の優先順位が「1」である地物種別以外も対象種別とし、対象種別の数を多くすることも可能である。またこの際、異なる道路区域Zの地物種別を対象種別とすることも可能である。
【0121】
(10)上記の実施形態では、道路属性情報Rbとして道路種別情報及び地域種別情報を取得し、これらの情報に基づいて自車両50が走行中の道路における各地物種別の出現頻度を求める場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、道路種別及び地域種別以外の道路属性であっても、地物種別の出現頻度に影響するものであれば、道路属性情報Rbとして取得する構成とするのが好適である。したがって、例えば、リンク長、道路幅、リンク形状等の情報を道路属性情報Rbとして取得する構成とすることも、本発明の好適な実施形態の一つである。
【0122】
(11)上記の実施形態では、対象種別の決定のために、各地物種別の認識属性情報として、各地物種別の地物の認識率の予想値を表す認識率情報S1を取得する場合を例として説明した。しかし、対象種別の決定のために用いる各地物種別の認識属性情報は、認識率の予測値の情報に限られるものではなく、各地物種別の地物の画像認識処理に影響を与える様々な情報を、認識属性情報として対象種別の決定に用いることが可能である。
【0123】
(12)上記の実施形態では、対象種別の決定に際して、配置傾向データベースDB6に記憶された各地物種別についての区域情報S3を参照し、各区域情報S3に示される道路区域Z毎に分けて、認識頻度の上位から順に各地物種別の優先順位を決定する場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、この区域情報S3のような各地物種別の地物の配置傾向情報を用いることなく対象種別の決定を行う構成とすることも、本発明の好適な実施形態の一つである。この場合、例えば、認識頻度導出部43により導出された各地物種別の認識頻度に応じて、対象種別となり得る全ての地物種別の中で認識頻度が上位の一又は二以上の地物種別を対象種別として決定する構成とすることができる。
【0124】
(13)上記の実施形態では、対象種別の決定に際して、認識成否管理部45に記憶されている種別失敗情報S4を参照し、過去における対象地物の画像認識の成否の情報に基づいて対象種別を決定する場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、認識成否管理部45を備えない構成とし、過去における対象地物の画像認識の成否に関係なく、認識頻度導出部43により導出された各地物種別の認識頻度等に基づいて、一律に各地物種別の優先順位を決定し、対象種別を決定する構成とすることも、本発明の好適な実施形態の一つである。
【0125】
(14)上記の実施形態では、道路の路面に設けられた各種の道路標示の中から選択された地物種別の地物を対象地物とする場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、道路の周辺に設けられた様々な地物を対象地物とすることが可能である。したがって、例えば、道路標識、案内標識、看板、信号機、マンホール等の各種の地物を対象地物とすることが可能である。
【0126】
(15)上記の実施形態では、本発明に係る地物情報収集装置2の全ての構成が自車両50に搭載される場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。すなわち、本発明の認識結果記憶手段としての学習データベースDB3を含む地物情報収集装置2の一部の構成が、図15に示すように、無線通信回線等を介して、複数の車両50と通信可能に接続されたサーバ装置60に設置された構成とすることも、本発明の好適な実施形態の一つである。地物情報収集装置2をこのような構成とすれば、複数の車両50による対象地物の学習結果をサーバ装置60に設置された学習データベースDB3に集積することができる。したがって、より多くの認識位置情報Aaや認識失敗情報Acを用いて、更に高精度な位置情報を有する対象地物の地物情報Fを生成することが可能となる。なお、サーバ装置60に設置する地物情報収集装置2の構成は、学習データベースDB3に限られず、撮像装置11や自車位置情報取得部16等のような、自車両50に搭載する必要がある構成以外の全ての構成を、サーバ装置60に設置することが可能である。また、同様に、画像認識装置3、自車位置認識装置4、及びナビゲーション装置1の一部の構成を、サーバ装置60に設置することも本発明の好適な実施形態の一つである。
【0127】
(16)上記の各実施形態では、本発明に係る画像認識装置3を地物情報収集装置2に利用し、本発明に係る地物情報収集装置2を自車位置認識装置4及びナビゲーション装置1に利用する場合の例について説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、本発明に係る画像認識装置3及び地物情報収集装置2を含む自車位置認識装置4を、車両の走行制御装置に利用する等のように、各装置を上記の実施形態とは異なる他の用途に利用することも当然に可能である。
【産業上の利用可能性】
【0128】
本発明は、車両に搭載した撮像装置等により取得した車両周辺の画像情報に含まれる対象地物の画像認識処理を行う画像認識装置及び画像認識方法に好適に利用することが可能である。
【図面の簡単な説明】
【0129】
【図1】本発明の実施形態に係るナビゲーション装置の概略構成を示すブロック図
【図2】地図データベースに記憶されている地図情報の構成の例を示す図
【図3】地物データベースに記憶されている道路標示の地物情報の例を示す図
【図4】自車両への撮像装置の配置構成の一例を示す図
【図5】地物情報が整備されていない道路を自車両が走行する場合の地物情報の収集処理の概要を説明するための説明図
【図6】地物情報が既に整備されている道路を自車両が走行する場合の地物情報の修正処理の概要を説明するための説明図
【図7】図5(b)に示す学習データベースに記憶された学習値の要部拡大図
【図8】図6(b)に示す学習データベースに記憶された学習値の要部拡大図
【図9】道路種別が市街地道路である場合における、道路区域の区分と対象種別決定処理の具体例を示す図
【図10】道路種別が細街路である場合における、道路区域の区分と対象種別決定処理の具体例を示す図
【図11】本発明の実施形態に係るナビゲーション装置の自車位置情報補正方法を含む全体の動作処理の順序を示すフローチャート
【図12】本発明の実施形態に係る地物情報収集処理の詳細な処理順序を示すフローチャート
【図13】本発明の実施形態に係る対象種別決定処理の詳細な処理順序を示すフローチャート
【図14】本発明の実施形態に係る地物情報修正処理の詳細な処理順序を示すフローチャート
【図15】本発明の実施形態に係る地物情報収集装置の一部の構成がサーバ装置に設置された例を示す図
【符号の説明】
【0130】
1:ナビゲーション装置
2:地物情報収集装置
3:画像認識装置
4:自車位置認識装置
12:画像情報取得部(画像情報取得手段)
16:自車位置情報取得部(自車位置情報取得手段)
17:地物情報取得部
18:画像認識部(画像認識手段)
19:自車位置情報補正部(自車位置情報補正手段)
23:アプリケーションプログラム
24:案内情報出力手段
32:認識位置導出部
33:認識失敗処理部
34:推測位置判定部(推測位置判定手段)
35:地物情報管理部(地物情報管理手段)
36:地物情報生成部(地物情報生成手段)
37:地物間距離判定部(地物間距離判定手段)
38:削除管理部
39:道路情報管理部(道路情報管理手段)
41:道路属性情報取得部(道路属性情報取得手段)
42:対象種別決定部(対象種別決定手段)
43:認識頻度導出部
44:対象種別決定演算部
45:認識成否管理部
50:自車両
Aa:認識位置情報
Ab:地物属性情報
Ac:認識失敗情報
DB1:地図データベース(道路情報記憶手段)
DB2:地物データベース(地物情報記憶手段)
DB3:学習データベース(認識結果記憶手段)
D:地物間距離
E:認識領域
F:地物情報
G:画像情報
L:リンク長さ
M:地図情報
P:自車位置情報
Ra:道路情報
Rb:道路属性情報
S1:認識率情報(認識属性情報)
S2:出現頻度情報
S3:区域情報(配置傾向情報)
S4:種別失敗情報
T1:学習しきい値
T2:削除しきい値
Z:道路区域
a1〜a7:位置範囲
k:リンク
n:ノード
pg:推測位置
pn:ノード位置
【特許請求の範囲】
【請求項1】
自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段と、
自車両の周辺の画像情報を取得する画像情報取得手段と、
前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得手段と、
前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定手段と、
前記対象種別決定手段により決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識手段と、を備え、
前記対象種別決定手段は、前記道路属性情報取得手段により取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定する画像認識装置。
【請求項2】
前記対象種別決定手段は、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する請求項1に記載の画像認識装置。
【請求項3】
前記道路属性情報は、道路種別情報及び地域種別情報のいずれか一つ以上を含む請求項1又は2に記載の画像認識装置。
【請求項4】
前記認識属性情報は、地物種別毎の形態、大きさ、色彩、及びかすれの生じ易さのいずれか一つ以上を含む各地物種別に固有の性質に基づいて定めた、画像認識処理に際しての認識率の予想値を表す認識率情報を含む請求項1から3のいずれか一項に記載の画像認識装置。
【請求項5】
前記対象種別決定手段は、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する請求項1から4のいずれか一項に記載の画像認識装置。
【請求項6】
前記配置傾向情報は、各地物種別の地物が、交差点を基準として道路の長さ方向に区分された複数の道路区域のいずれに配置されている可能性が高いかを表す区域情報を含む請求項5に記載の画像認識装置。
【請求項7】
前記対象種別決定手段は、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定手段により決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報に基づいて、前記対象種別を決定する請求項1から6のいずれか一項に記載の画像認識装置。
【請求項8】
前記対象種別となり得る地物種別は、道路の路面に設けられた各種の道路標示の中から選択された地物種別である請求項1から7のいずれか一項に記載の画像認識装置。
【請求項9】
請求項1から8のいずれか一項に記載の画像認識装置と、
前記自車位置情報に基づいて求められる、前記画像認識手段による対象地物の認識位置を表す認識位置情報を、当該対象地物が識別可能な状態で記憶する認識結果記憶手段と、
を備える地物情報収集装置。
【請求項10】
同じ対象地物が複数回画像認識されることにより前記認識結果記憶手段に記憶された、同じ対象地物についての複数の前記認識位置情報に基づいて、当該対象地物の推測位置を判定する推測位置判定手段を更に備える請求項9に記載の地物情報収集装置。
【請求項11】
前記推測位置判定手段により判定された各対象地物の推測位置を表す位置情報を、当該対象地物についての前記画像認識手段による画像認識結果に基づく属性情報と関連付けた地物情報として記憶する地物情報記憶手段を更に備える請求項10に記載の地物情報収集装置。
【請求項12】
前記認識結果記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記認識位置情報を記憶する請求項9から11のいずれか一項に記載の地物情報収集装置。
【請求項13】
自車両の現在位置を表す自車位置情報を取得する自車位置情報取得ステップと、
自車両の周辺の画像情報を取得する画像情報取得ステップと、
前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得ステップと、
前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定ステップと、
前記対象種別決定ステップにより決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識ステップと、を備え、
前記対象種別決定ステップでは、前記道路属性情報取得ステップにより取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定する画像認識方法。
【請求項14】
前記対象種別決定ステップでは、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する請求項13に記載の画像認識方法。
【請求項15】
前記対象種別決定ステップでは、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する請求項13又は14に記載の画像認識方法。
【請求項16】
前記対象種別決定ステップでは、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定ステップにより決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報に基づいて、前記対象種別を決定する請求項13から15のいずれか一項に記載の画像認識方法。
【請求項1】
自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段と、
自車両の周辺の画像情報を取得する画像情報取得手段と、
前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得手段と、
前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定手段と、
前記対象種別決定手段により決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識手段と、を備え、
前記対象種別決定手段は、前記道路属性情報取得手段により取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定する画像認識装置。
【請求項2】
前記対象種別決定手段は、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する請求項1に記載の画像認識装置。
【請求項3】
前記道路属性情報は、道路種別情報及び地域種別情報のいずれか一つ以上を含む請求項1又は2に記載の画像認識装置。
【請求項4】
前記認識属性情報は、地物種別毎の形態、大きさ、色彩、及びかすれの生じ易さのいずれか一つ以上を含む各地物種別に固有の性質に基づいて定めた、画像認識処理に際しての認識率の予想値を表す認識率情報を含む請求項1から3のいずれか一項に記載の画像認識装置。
【請求項5】
前記対象種別決定手段は、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する請求項1から4のいずれか一項に記載の画像認識装置。
【請求項6】
前記配置傾向情報は、各地物種別の地物が、交差点を基準として道路の長さ方向に区分された複数の道路区域のいずれに配置されている可能性が高いかを表す区域情報を含む請求項5に記載の画像認識装置。
【請求項7】
前記対象種別決定手段は、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定手段により決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報に基づいて、前記対象種別を決定する請求項1から6のいずれか一項に記載の画像認識装置。
【請求項8】
前記対象種別となり得る地物種別は、道路の路面に設けられた各種の道路標示の中から選択された地物種別である請求項1から7のいずれか一項に記載の画像認識装置。
【請求項9】
請求項1から8のいずれか一項に記載の画像認識装置と、
前記自車位置情報に基づいて求められる、前記画像認識手段による対象地物の認識位置を表す認識位置情報を、当該対象地物が識別可能な状態で記憶する認識結果記憶手段と、
を備える地物情報収集装置。
【請求項10】
同じ対象地物が複数回画像認識されることにより前記認識結果記憶手段に記憶された、同じ対象地物についての複数の前記認識位置情報に基づいて、当該対象地物の推測位置を判定する推測位置判定手段を更に備える請求項9に記載の地物情報収集装置。
【請求項11】
前記推測位置判定手段により判定された各対象地物の推測位置を表す位置情報を、当該対象地物についての前記画像認識手段による画像認識結果に基づく属性情報と関連付けた地物情報として記憶する地物情報記憶手段を更に備える請求項10に記載の地物情報収集装置。
【請求項12】
前記認識結果記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記認識位置情報を記憶する請求項9から11のいずれか一項に記載の地物情報収集装置。
【請求項13】
自車両の現在位置を表す自車位置情報を取得する自車位置情報取得ステップと、
自車両の周辺の画像情報を取得する画像情報取得ステップと、
前記自車位置情報に基づいて、自車両が走行中の道路についての道路属性情報を取得する道路属性情報取得ステップと、
前記画像情報に対する画像認識処理の対象とする一又は二以上の地物種別である対象種別を決定する対象種別決定ステップと、
前記対象種別決定ステップにより決定された前記対象種別の地物を対象地物とし、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識ステップと、を備え、
前記対象種別決定ステップでは、前記道路属性情報取得ステップにより取得した前記道路属性情報と、画像認識処理に関して予め定められた地物種別毎の認識属性情報とに基づいて、前記対象種別を決定する画像認識方法。
【請求項14】
前記対象種別決定ステップでは、前記道路属性情報に示される道路属性に応じた各地物種別の出現頻度と、前記認識属性情報に示される各地物種別の画像認識処理に際しての認識容易性の程度とに基づいて定まる認識頻度に応じて、前記対象種別となり得る全ての地物種別の中で前記認識頻度が上位の一又は二以上の地物種別を、前記対象種別として決定する請求項13に記載の画像認識方法。
【請求項15】
前記対象種別決定ステップでは、各地物種別の地物の道路上での配置傾向を表す地物種別毎の配置傾向情報に基づいて、この配置傾向情報が表す配置傾向が、前記自車位置情報に基づく自車両の道路上での配置に合致する地物種別を優先して、前記対象種別を決定する請求項13又は14に記載の画像認識方法。
【請求項16】
前記対象種別決定ステップでは、前記自車位置情報に基づいて、所定の領域毎に、前記対象種別決定ステップにより決定された前記対象種別の対象地物の画像認識の成否を管理し、前記対象種別の対象地物の画像認識の成否の情報に基づいて、前記対象種別を決定する請求項13から15のいずれか一項に記載の画像認識方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2008−249480(P2008−249480A)
【公開日】平成20年10月16日(2008.10.16)
【国際特許分類】
【出願番号】特願2007−91047(P2007−91047)
【出願日】平成19年3月30日(2007.3.30)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
【公開日】平成20年10月16日(2008.10.16)
【国際特許分類】
【出願日】平成19年3月30日(2007.3.30)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
[ Back to top ]