車両挙動学習装置及び車両挙動学習プログラム
【課題】特定の位置において検出される自車両の挙動を高精度に学習することが可能な車両挙動学習装置及び車両挙動学習プログラムを提供する。
【解決手段】挙動検出手段により検出された自車両Cの挙動と、当該挙動の検出より前に画像認識手段により認識された対象地物f1との関係を表す関係情報Brを取得し、前記挙動検出手段により検出された自車両Cの挙動の属性を表す挙動属性情報Baと、当該挙動について取得された関係情報Brとを含む検出挙動情報Bを検出挙動記憶手段に記憶し、前記検出挙動記憶手段に記憶された記検出挙動情報Bに基づいて、対象地物と関係付けられた自車両の挙動の学習結果を表す学習挙動情報Sを生成する。
【解決手段】挙動検出手段により検出された自車両Cの挙動と、当該挙動の検出より前に画像認識手段により認識された対象地物f1との関係を表す関係情報Brを取得し、前記挙動検出手段により検出された自車両Cの挙動の属性を表す挙動属性情報Baと、当該挙動について取得された関係情報Brとを含む検出挙動情報Bを検出挙動記憶手段に記憶し、前記検出挙動記憶手段に記憶された記検出挙動情報Bに基づいて、対象地物と関係付けられた自車両の挙動の学習結果を表す学習挙動情報Sを生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自車両の挙動を学習する車両挙動学習装置及び車両挙動学習プログラムに関する。
【背景技術】
【0002】
自家用車など、特定の運転者が運転する車両が同一の経路を複数回通行する場合、特定の自車位置において高い頻度で特定の挙動を行うことがある。ここで、挙動とは、例えば自宅や職場、店など特定の場所へ向かう際の右折や左折等の進路変更、加速や減速、窓の開閉、ライトのオン/オフ、自動変速装置の変速などである。一方、近年では、多くの車両に経路案内等を行うためのナビゲーション装置が搭載されているが、このナビゲーション装置の精度をさらに向上させることが望まれている。また、ナビゲーション装置が有する諸機能を経路案内等の従来の用途以外に拡大することも種々検討されている。下記に出典を示す特許文献1にはナビゲーション装置を搭載した車両における死角モニタの制御装置に関する発明が記載されている。
【0003】
この死角モニタの制御装置は、死角モニタを起動する手動スイッチが操作された時、ナビゲーション装置から入力される車両が位置した地点に関するデータを起動情報として記憶する。そして、ナビゲーション装置からの入力情報に対して起動情報を検索、照合して車両が当該地点に位置した時に、死角モニタの起動信号を送出する。このナビゲーション装置は、交差点などの座標点を結ぶ線(リンク)によって道路情報を管理している。手動スイッチが操作された地点がリンクの番号が付された道路である場合には、起動情報は、当該リンクの番号、座標、車両の走行方向を含んで記憶される。当該地点がリンクの番号が付された道路以外である場合には、座標、車両の走行方向を含んで起動情報が記憶される。また、車両が位置する地点は、GPS(Global Positioning System:グローバル・ポジショニング・システム)を利用すると共に、車速パルスセンサ等からの車速信号や角速度センサ等からの角速度信号に基づいて自律航法により推定するハイブリッドシステムを用いて求められる。
【0004】
【特許文献1】特開2002−286459号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の死角モニタの制御装置は、上記のとおり、ハイブリッドシステムを用いて自車の位置を求める。しかし、特許文献1にも記載されているように、GPS測位であれ自律航法による測位であれ、測位値には誤差が含まれ、実際の走行位置からはずれてしまう。そこで、いわゆるマップマッチング処理によって最も確からしい位置が推定される。
【0006】
ところで、死角モニタの起動操作に限らず、車両における種々の特定の挙動は、特定の地点において実施されることが多い。例えば、大きな道から細街路への右左折や、キックダウンなどは、自宅や職場、店など、特定の場所へのアプローチの際に実施される。大きな道から分岐する細街路は、多くあり、その間隔も狭いことが多い。細街路の間隔が、測位値の誤差よりも小さいような場合には、測位結果から車両の挙動を予測することは困難である。
【0007】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、特定の位置において検出される自車両の挙動を高精度に学習することが可能な車両挙動学習装置及び車両挙動学習プログラムを提供することにある。
【課題を解決するための手段】
【0008】
上記目的を達成するための本発明に係る車両挙動学習装置の特徴構成は、自車両の周辺の画像情報を取得する画像情報取得手段と、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識手段と、自車両の挙動を検出する挙動検出手段と、前記挙動検出手段により検出された自車両の挙動と、当該挙動の検出より前に前記画像認識手段により認識された対象地物との関係を表す関係情報を取得する関係情報取得手段と、前記挙動検出手段により検出された自車両の挙動の属性を表す挙動属性情報と、当該挙動について前記関係情報取得手段により取得された前記関係情報とを含む検出挙動情報を記憶する検出挙動記憶手段と、前記検出挙動記憶手段に記憶された前記検出挙動情報に基づいて、対象地物と関係付けられた自車両の挙動の学習結果を表す学習挙動情報を生成する学習挙動情報生成手段と、を備える点にある。
【0009】
この特徴構成によれば、挙動検出手段により検出された自車両の挙動の属性を表す挙動属性情報と、当該挙動の検出より前に画像認識手段により認識された対象地物との関係を表す関係情報とを含む検出挙動情報に基づいて、自車両の挙動の学習結果を表す学習挙動情報が生成される。すなわち、自車両の挙動は、対象地物の画像認識結果と関連付けられた情報として学習される。したがって、GPS測位や自律航法のみにより自車両の挙動を単独で学習する場合と比較して、対象地物の画像認識結果を併せて利用することになり、特定の位置において検出される自車両の挙動を高精度に学習することが可能となる。また、既に生成された学習挙動情報を用いれば、次に同じ対象地物を画像認識した場合に、自車両の挙動を予測することも可能となる。
【0010】
ここで、前記挙動検出手段により検出される自車両の挙動は、自車両の各部における運転者の操作の受け付け、及び自車両の動作の少なくとも一方を含む構成とすると好適である。
なお、本願において、自車両の動作には、運転者の操作によって生じる自車両の各部や車両全体の動作、或いは、外部から自車両に加わる外的要因によって生じる自車両の各部や車両全体の動作等が含まれる。
【0011】
自車両の挙動には、運転者の操作に伴って発生するものと、道路の状況や天候などの外的要因によって発生するものとがある。例えば、運転者の操作とは、ステアリング操作、シフト操作、アクセルやブレーキの操作、空調装置の操作、窓の開閉操作、ナビゲーション装置やオーディオの操作などである。そして、このような運転者の操作により生じる自車両の動作として、例えば、ステアリング操作によって生じる自車両の進行方向の変化や横方向加速度の変化、シフト操作やアクセル操作等による変速装置の変速段の変更(キックダウンやシフトダウン等)、ブレーキやアクセルの操作により発生する進行方向加速度の変化などがある。一方、外的要因により生じる自車両の動作として、例えば、カーブを走行することにより発生する横加速度の変化、段差通過により生じる振動・衝撃、坂道を走行する際の進行方向加速度の変化などがある。本発明に係る挙動検出手段は、これら運転者の操作の受け付け、及び運転者の操作や外的要因等による自車両の動作の少なくとも一方を自車両の挙動として検出するので、幅広く自車両の挙動を検出することができる。
【0012】
また、前記関係情報は、前記画像認識手段により認識された対象地物の認識位置から前記挙動検出手段により検出された自車両の挙動の検出位置までの距離を表す距離情報を含む構成とすると好適である。
【0013】
この構成によれば、検出挙動記憶手段に記憶される検出挙動情報が、対象地物の認識位置から自車両の挙動の検出位置までの距離情報を含むことになり、当該距離情報が学習挙動情報に反映されることになる。したがって、学習挙動情報に基づいて、対象地物を画像認識してから自車両の挙動が発生するまでの距離を予測することが可能となるので、自車両の挙動を高精度に予測することが可能となる。
【0014】
また、前記関係情報は、前記画像認識手段により認識された対象地物を特定するための地物特定情報を含む構成とすると好適である。
【0015】
この構成によれば、検出挙動記憶手段に記憶される検出挙動情報が、例えば対象地物の属性及び認識位置などの対象地物を特定するための地物特定情報を含むことになる。したがって、検出挙動情報及び学習挙動情報を対象地物を特定する情報と関係付けた挙動の情報とすることができる。これにより、各情報が示す挙動と関係付けられた対象地物を容易に特定することができ、対象地物の画像認識結果に基づく自車両の挙動の予測をより高精度に行うことが可能となる。
【0016】
また、前記関係情報取得手段は、自車両の移動距離を検出する移動距離検出手段、及び自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段の少なくとも一方からの情報に基づいて前記関係情報を取得する構成とすると好適である。
【0017】
この構成によれば、少なくとも対象地物の認識位置から自車両の挙動の検出位置までの距離又はそれらの位置関係の情報を含む前記関係情報を取得することができる。
【0018】
また、前記学習挙動情報は、同じ挙動が複数回検出されることにより前記検出挙動記憶手段に記憶された、同じ挙動についての複数の前記検出挙動情報に基づいて生成され、当該複数の検出挙動情報に示される同じ挙動についての前記挙動属性情報と、当該挙動についての複数の前記関係情報を統計的に処理して求めた統計的関係情報とを含む構成とすると好適である。
【0019】
この構成によれば、学習挙動情報は、同じ挙動が複数回検出されることにより検出挙動記憶手段に記憶された、同じ挙動についての複数の検出挙動情報に基づいて生成される。したがって、各検出挙動情報に誤差が含まれる場合であっても、複数の検出挙動情報を用いて誤差を平均化し、自車両の挙動の学習結果の精度を高めることが可能となる。また、学習挙動情報が、同じ挙動についての複数の前記関係情報を統計的に処理して求めた統計的関係情報を含むので、検出挙動情報に対して精度の高い関係情報を学習挙動情報に含めることができる。したがって、学習挙動情報に基づいて自車両の挙動を高精度に予測することが可能となる。
【0020】
また、前記対象地物は、道路の路面に設けられた道路標示である構成とすると好適である。
【0021】
道路標示は、法令によってその寸法や形状などが規定されている。従って、この構成によれば、対象地物の画像認識処理の負荷を軽減することができると共に、認識精度を高めることが可能となる。したがって、このような対象地物の画像認識結果を利用する自車両の挙動の学習の精度を高めることが可能となる。
【0022】
また、前記学習挙動情報生成手段により生成された前記学習挙動情報を記憶する学習挙動情報記憶手段を更に備える構成とすると好適である。
【0023】
この構成によれば、学習挙動情報生成手段により生成された学習挙動情報を、学習挙動情報記憶手段に記憶しておくことができる。したがって、前記検出挙動記憶手段に記憶された検出挙動情報に基づいて、必要に応じて学習挙動情報を生成する場合と比べて、演算処理の負荷を軽減することができ、学習挙動情報を迅速且つ容易に利用することが可能となる。
【0024】
また、前記学習挙動情報に基づいて、当該学習挙動情報が示す対象地物が画像認識された際に、当該対象地物と関係付けられた自車両の挙動が発生することを予測し、当該挙動の予測結果を出力する挙動予測手段を更に備える構成とすると好適である。
【0025】
この構成によれば、上記のように高精度な自車両の挙動の学習結果である学習挙動情報を利用して、当該学習挙動情報が示す対象地物が画像認識された際に、当該認識された対象地物を基準として高精度に自車両の挙動を予測することが可能となる。
【0026】
また、前記画像認識手段による対象地物の認識位置を表す認識位置情報を取得する認識位置情報取得手段と、前記画像認識手段により認識された対象地物の属性を表す地物属性情報と、前記認識位置情報取得手段により取得された前記認識位置情報とを含む認識地物情報を記憶する認識地物記憶手段と、同じ対象地物が複数回画像認識されることにより前記認識地物記憶手段に記憶された、同じ対象地物についての複数の前記認識地物情報に基づいて、当該対象地物の学習結果を表す学習地物情報を生成する学習地物情報生成手段と、を更に備える構成とすると好適である。
【0027】
この構成によれば、同じ対象地物が複数回画像認識されることにより認識地物記憶手段に記憶された、同じ対象地物についての複数の認識地物情報に基づいて学習地物情報を生成することができる。したがって、自車両の挙動と共に、画像認識された対象地物についても同時に学習することができる。また、この学習地物情報は、同じ対象地物が複数回画像認識されることにより認識地物記憶手段に記憶された、同じ対象地物についての複数の認識地物情報に基づいて生成される。したがって、各認識地物情報に誤差が含まれる場合であっても、複数の認識地物情報を用いて誤差を平均化し、対象地物の学習結果の精度を高めることが可能となる。
【0028】
また、前記検出挙動記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記検出挙動情報を記憶する構成とすると好適である。
【0029】
例えば、自車両に加わる外的要因による自車両の動作などのように、複数の別の車両においても共通に生じる挙動については、複数の車両において検出された挙動についての検出挙動情報を収集することにより、特定の位置で生じる車両の挙動をより迅速に学習することが可能となる。この構成によれば、複数の車両により検出した挙動についての検出挙動情報を、複数の車両と通信可能に接続された検出挙動記憶手段に記憶することができる。したがって、多くの検出挙動情報を迅速に認識結果記憶手段に集積することができる。
【0030】
また、上記のように自車両の挙動を予測する挙動予測手段を備える構成において、前記挙動予測手段は、前記挙動の予測結果を、自車両の案内情報の出力のための演算処理を行うナビゲーション用演算手段に対して出力する構成とすると好適である。
【0031】
この構成によれば、挙動予測手段による挙動の予測結果に基づいて、ナビゲーション用演算手段が適切な案内情報の出力を行うことが可能となる。例えば、右折や左折等の自車両の挙動を予測して、自車位置表示や経路案内を精度良く行うことが可能となる。
【0032】
また、上記のように自車両の挙動を予測する挙動予測手段を備える構成において、前記挙動予測手段は、前記挙動の予測結果を、前記運転者の操作を再現する自車両内の制御装置に対して出力する構成とすると好適である。
【0033】
この構成によれば、挙動予測手段による挙動の予測結果に基づいて、当該制御装置は運転者の操作を再現することができる。つまり、運転者の能動的な操作のアシストを行い、あるいは運転者の能動的な操作に先行して同一の操作を実施したりすることができる。その結果、運転者の利便性を高めることが可能となる。
【0034】
また、上記のように自車両の挙動を予測する挙動予測手段を備える構成において、前記挙動予測手段は、前記挙動の予測結果を、自車両の動作を最適化する制御装置に対して出力する構成とすると好適である。
【0035】
この構成によれば、挙動予測手段による挙動の予測結果に基づいて、当該制御装置が自車両の挙動を最適化することができる。例えば、シフト制御装置や、エンジン制御装置、ハイブリッド車両のモータ制御装置、アクティブサスペンションの制御装置などは、挙動予測手段の予測結果に基づいて自車両の挙動を最適化することができる。その結果、乗車中の快適性の向上や、燃費向上などを図ることができる。
【0036】
また、前記学習地物情報は、複数の前記認識地物情報に示される同じ対象地物についての前記地物属性情報と、当該対象地物についての複数の前記認識位置情報を統計的に処理して求めた推測位置情報とを含む構成とすると好適である。
【0037】
この構成によれば、学習地物情報が、同じ対象地物についての複数の前記認識位置情報を統計的に処理して求めた推測位置情報を含むので、比較的精度の高い対象地物の認識位置の情報を学習地物情報に含めることができる。したがって、対象地物の画像認識処理を精度良く行うことが可能となる。
【0038】
また、前記学習地物情報生成手段により生成された前記学習地物情報を記憶する学習地物情報記憶手段を更に備える構成とすると好適である。
【0039】
この構成によれば、学習地物情報生成手段により生成された学習地物情報を、学習地物情報記憶手段に記憶しておくことができる。したがって、前記認識地物記憶手段に記憶された認識地物情報に基づいて、必要に応じて学習地物情報を生成する場合と比べて、演算処理の負荷を軽減することができ、学習地物情報を迅速且つ容易に利用することが可能となる。
【0040】
また、前記認識地物記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記認識地物情報を記憶する構成とすると好適である。
【0041】
この構成によれば、複数の車両により画像認識した対象地物についての認識地物情報を、複数の車両と通信可能に接続された認識地物記憶手段に記憶することができる。したがって、多くの認識地物情報を迅速に認識地物記憶手段に集積することができる。
【0042】
本発明に係るナビゲーション装置の特徴構成は、上記の各構成を備えた車両挙動学習装置と、地図情報が記憶された地図情報記憶手段と、前記学習挙動情報及び前記地図情報の一方又は双方を参照して動作するアプリケーションプログラムと、前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、を備える点にある。
【0043】
この特徴構成によれば、アプリケーションプログラムは、高い精度を伴って学習された学習挙動情報を利用して動作することが可能である。よって、より高い精度を有して案内情報を出力することができる。例えば、右折や左折等の自車両の挙動を予測して、実際の自車位置とは異なる道路への誤マッチング等を防止でき、自車位置表示や経路案内を精度良く行うことが可能となる。
【0044】
本発明に係る車両挙動学習プログラムの特徴構成は、自車両の周辺の画像情報を取得する画像情報取得ステップと、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識ステップと、自車両の挙動を検出する挙動検出ステップと、前記挙動検出ステップにより検出された自車両の挙動と、当該挙動の検出より前に前記画像認識ステップにより認識された対象地物との関係を表す関係情報を取得する関係情報取得ステップと、前記挙動検出ステップにより検出された自車両の挙動の属性を表す挙動属性情報と、当該挙動について前記関係情報取得ステップにより取得された前記関係情報とを含む検出挙動情報を検出挙動記憶手段に記憶する検出挙動記憶ステップと、前記検出挙動記憶手段に記憶された前記検出挙動情報に基づいて、対象地物と関係付けられた自車両の挙動の学習結果を表す学習挙動情報を生成する学習挙動情報生成ステップと、をコンピュータに実行させる点にある。
【0045】
この特徴構成によれば、挙動検出ステップにより検出された自車両の挙動の属性を表す挙動属性情報と、当該挙動の検出より前に画像認識ステップにより認識された対象地物との関係を表す関係情報とを含む検出挙動情報に基づいて、自車両の挙動の学習結果を表す学習挙動情報が生成される。すなわち、自車両の挙動は、対象地物の画像認識結果と関連付けられた情報として学習される。したがって、GPS測位や自律航法のみにより自車両の挙動を単独で学習する場合と比較して、対象地物の画像認識結果を併せて利用することになり、特定の位置において検出される自車両の挙動を高精度に学習することが可能となる。また、既に生成された学習挙動情報を用いれば、次に同じ対象地物を画像認識した場合に、自車両の挙動を予測することも可能となる。
【発明を実施するための最良の形態】
【0046】
次に、本発明の実施形態について図面に基づいて説明する。図1は、本実施形態に係るナビゲーション装置1の概略構成を示すブロック図である。このナビゲーション装置1は、本発明の実施形態としての車両挙動学習装置2及び自車位置認識装置3を含んで構成されている。このナビゲーション装置1は、自車両C(図4参照)の挙動を検出し、当該挙動の検出より前に画像認識された対象地物と関係付けて学習する。そして、このような自車両Cの挙動の学習結果に基づいて、次に同じ対象地物が画像認識された際に自車両Cの挙動を予測して、適切な自車両の制御を行う。更に、このナビゲーション装置1は、対象地物の画像認識結果に基づいて、対象地物の位置や地物属性等も表す地物情報Fの学習も行う。
【0047】
図1に示すナビゲーション装置1の各機能部は、互いに共通の或いはそれぞれ独立のCPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。そして、これらの各機能部は、互いに情報の受け渡しを行うことができるように構成されている。また、ナビゲーション装置1の各データベースDB1〜DB5は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えている。以下、本実施形態に係るナビゲーション装置1の各部の構成について詳細に説明する。
【0048】
1.地図データベース
地図データベースDB1は、所定の区画毎に分けられた地図情報Mが記憶されたデータベースである。図2は、地図データベースDB1に記憶されている地図情報Mの構成の例を示す図である。この図に示すように、地図情報Mは、交差点に対応する多数のノードnと、各交差点間を結ぶ道路に対応するリンクkとの接続関係により道路ネットワークを表す道路情報Raを有している。各ノードnは、緯度及び経度で表現された地図上の位置(座標)の情報を有している。各リンクkは、ノードnを介して接続されている。また、各リンクkは、その属性情報として、道路種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報を有している。ここで、道路種別情報は、例えば、自動車専用道路、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。これらのリンクkの属性情報が、道路属性情報Rb(図1参照)に相当する。そして、本実施形態においては、この地図データベースDB1が、本発明における地図情報記憶手段に相当する。なお、図2においては、一つの区画の道路情報Raのみを図示し、他の区画の道路情報Raは省略して示している。
【0049】
2.地物データベース
地物データベースDB2は、道路上や道路周辺に設けられた各種の地物の情報、すなわち地物情報Fが記憶されたデータベースである。図1に示すように、本実施形態においては、地物データベースDB2には、初期地物情報Fa及び学習地物情報Fbの2種類の情報が記憶される。ここで、初期地物情報Faとは、地物データベースDB2に予め整備されて記憶されている複数の地物についての地物情報Fである。このような初期地物情報Faは、道路情報Raを含む地図情報Mが整備されている全ての地域の中で、大都市周辺や幹線道路等の一部の地域についてのみ整備されている。一方、学習地物情報Fbとは、後述するように、画像認識部24による対象地物の画像認識結果を用いて学習した結果として学習地物情報生成部44により生成され、地物データベースDB2に記憶される地物情報Fである。なお、以下の説明において、単に「地物情報F」というときは、これら初期地物情報Fa及び学習地物情報Fbを総称するものとする。本実施形態においては、この地物データベースDB2が、本発明における学習地物情報記憶手段に相当する。
【0050】
この地物データベースDB2に地物情報Fが記憶される地物には、道路の路面に設けられた道路標示(ペイント標示)が含まれている。図3は、地物データベースDB2に記憶されている道路標示の地物情報Fの例を示す図である。このような道路標示に係る地物としては、例えば、横断歩道、停止線、最高速度等を表す速度標示、ゼブラゾーン、道路に沿って車線を分ける区画線(実線、破線、二重線等の各種区画線を含む。)、各車線の進行方向を指定する進行方向別通行区分標示(矢印標示、例えば、直進矢印、右折矢印等を含む)等が含まれる。なお、地物情報Fが記憶される地物としては、このような道路標示のほか、信号機、標識、陸橋、トンネル等の各種の地物も含めることができる。
【0051】
また、地物情報Fは、その内容として各地物の位置情報と、それに関連付けられた地物属性情報とを有している。ここで、位置情報は、道路情報Raを構成するリンクk又はノードn等と関連付けられた各地物の代表点の地図上の位置(座標)、及び各地物の向きの情報を有している。本例では、代表点は、各地物の長さ方向及び幅方向の中央部付近に設定される。また、地物属性情報は、各地物を他の地物と識別するための識別情報(地物ID)、各地物の地物種別を表す種別情報、或いは、地物の形状、大きさ、色彩等の地物形態情報等を含んでいる。ここで、地物種別は、具体的には、「横断歩道」、「停止線」、「速度標示(30km/時)」等のような、基本的に同じ形態を有する地物の種別を表す情報である。また、地物情報Fは、近接する他の地物との関係を表す地物関係情報や、当該他の地物との間の地物間距離を表す地物間距離情報を有する構成としても好適である。ここで、地物関係情報は、自車両C(図4参照)が道路に沿って進行中に、一つの地物を画像認識することにより、前方に存在する他の地物を予測できるようにするための情報である。また、地物間距離情報は、そのような前方に存在する地物までの自車両Cからの距離を正確に予測するための情報である。
【0052】
3.地物学習データベース
地物学習データベースDB3は、後述する認識地物情報生成部42により生成された認識地物情報Aを記憶するデータベースである。この地物学習データベースDB3内には、画像認識部24による認識に成功した複数の対象地物のそれぞれについての認識地物情報Aが記憶される。この地物学習データベースDB3に記憶される認識地物情報Aの具体的な内容については、後で詳細に説明する。本実施形態においては、この地物学習データベースDB3が、本発明における認識地物記憶手段に相当する。
【0053】
4.挙動学習データベース
挙動学習データベースDB4は、後述する検出挙動情報生成部48により生成された検出挙動情報Bを記憶するデータベースである。この挙動学習データベースDB4内には、挙動検出部17により検出された複数の挙動のそれぞれについての検出挙動情報Bが記憶される。この挙動学習データベースDB4に記憶される検出挙動情報Bの具体的な内容については、後で詳細に説明する。本実施形態においては、この挙動学習データベースDB4が、本発明における検出挙動記憶手段に相当する。
【0054】
5.挙動データベース
挙動データベースDB5は、後述する学習挙動情報生成部50により生成された学習挙動情報Sを記憶するデータベースである。この挙動データベースDB5内には、学習挙動検出部17により検出された複数の挙動のそれぞれについての学習挙動情報Sが記憶される。この挙動データベースDB5に記憶される学習挙動情報Sの具体的な内容については、後で詳細に説明する。本実施形態においては、この挙動データベースDB5が、本発明における学習挙動情報記憶手段に相当する。
【0055】
6.画像情報取得部
画像情報取得部12は、撮像装置11により撮像した自車両の周辺の画像情報Gを取得する画像情報取得手段として機能する。ここで、撮像装置11は、撮像素子を備えた車載カメラ等であって、少なくとも自車両Cの周辺の道路の路面を撮像可能な位置に設けられている。このような撮像装置11としては、例えば、図4に示すような自車両Cの後方の路面を撮像するバックカメラを用いると好適である。画像情報取得部12は、撮像装置11により撮像した撮像情報をフレームメモリ(不図示)などを介して所定の時間間隔で取り込む。この際の画像情報Gの取り込みの時間間隔は、例えば、10〜50ms程度とすることができる。これにより、画像情報取得部12は、撮像装置11により撮像した複数フレームの画像情報Gを連続的に取得することができる。ここで取得された画像情報Gは、画像認識部24へ出力される。
【0056】
7.自車位置情報取得部
自車位置情報取得部16は、自車両Cの現在位置を示す自車位置情報Pを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部16は、GPS受信機13、方位センサ14、及び距離センサ15と接続されている。ここで、GPS受信機13は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置情報取得部16へ出力される。自車位置情報取得部16では、GPS受信機13で受信されたGPS衛星からの信号を解析し、自車両Cの現在位置(座標)、進行方位、移動速度等の情報を取得することができる。方位センサ14は、自車両Cの進行方位又はその進行方位の変化を検出するセンサである。この方位センサ14は、例えば、ジャイロスコープ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ14は、その検出結果を自車位置情報取得部16へ出力する。距離センサ15は、自車両Cの車速や移動距離を検出するセンサである。この距離センサ15は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Cの加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ15は、その検出結果としての車速及び移動距離の情報を自車位置情報取得部16へ出力する。また、本実施形態においては、方位センサ14及び距離センサ15は、その検出結果を、挙動検出部17へも出力する。
【0057】
自車位置情報取得部16は、これらのGPS受信機13、方位センサ14及び距離センサ15からの出力に基づいて、公知の方法により自車位置を特定する演算を行う。また、自車位置情報取得部16は、地図データベースDB1から抽出された自車位置周辺の道路情報Raを取得し、それに基づいて公知のマップマッチングを行うことにより自車位置を道路情報Raに示される道路上に合わせる補正も行う。このようにして、自車位置情報取得部16は、座標(緯度及び経度)で表された自車両Cの現在位置の情報、及び自車両Cの進行方位の情報を含む自車位置情報Pを取得する。
【0058】
8.挙動検出部
挙動検出部17は、自車両Cの挙動を検出する挙動検出手段として機能する。図1に示すように、挙動検出部17は、自車両Cの各部に設けられた各種のセンサやスイッチ等からの信号の入力を受けて自車両Cの挙動を検出する。挙動検出部17に信号を出力する各種センサとしては、上述した方位センサ14及び距離センサ15のほか、例えば、振動センサ19、傾斜センサ20、加速度センサ21、アクセルセンサ(不図示)、ブレーキセンサ(不図示)、照度センサ(不図示)等がある。また、挙動検出部17に信号を出力する各種スイッチとしては、例えば、空調スイッチ22、ウィンドウスイッチ23、ヘッドライト操作スイッチ(不図示)、オーディオ操作スイッチ(不図示)、ナビゲーション用のタッチパネルを備えた表示入力装置29やリモートコントローラ(不図示)等がある。
【0059】
振動センサ19は、自車両Cの車体に伝わる振動を検出するセンサである。この検出結果は、例えばアクティブサスペンションの制御等に用いられる。傾斜センサ20は、自車両Cの車体の傾斜状態を検出するセンサである。この検出結果により、自車両Cが走行中の道路の傾斜状態を知ることができる。加速度センサ21は、自車両Cの加速や減速の加速度を検出するセンサである。アクセルセンサは、運転者によるアクセルペダルの操作量(アクセル開度)を検出するセンサである。ブレーキセンサは、運転者によるブレーキペダルの操作量やブレーキ踏力等を検出するセンサである。照度センサは、ヘッドライトの自動制御等のために自車両Cの外部の明るさを検出するセンサである。
【0060】
空調スイッチ22は、空調装置の温度設定や外気導入又は室内循環の切り替え等を行うためのスイッチである。ウィンドウスイッチ23は、窓の開閉を行うためのスイッチである。ヘッドライト操作スイッチは、ヘッドライトの点灯又は消灯やハイビーム又はロービームの切り替え等を行うためのスイッチである。オーディオ操作スイッチは、オーディオの音量設定や再生指示等を行うためのスイッチである。ナビゲーション用の表示入力装置29やリモートコントローラ(不図示)は、ナビゲーション装置1を構成するナビゲーション用演算部27に対する指示の入力を行うためのスイッチを備えている。
【0061】
本実施形態において、挙動検出部17により検出される自車両Cの挙動には、検出可能である特徴的なあらゆる挙動が含まれ、自車両Cの各部における運転者の操作の受け付け及び自車両Cの動作が含まれる。また、この自車両Cの動作には、運転者の操作によって生じる自車両Cの各部や車両全体の動作、或いは、外部から自車両Cに加わる外的要因によって生じる自車両Cの各部や車両全体の動作等が含まれる。例えば、空調スイッチ22、ウィンドウスイッチ23、ヘッドライト操作スイッチ(不図示)、オーディオ操作スイッチ(不図示)、ナビゲーション用の表示入力装置29やリモートコントローラ(不図示)等の各種スイッチの操作、アクセルセンサやブレーキセンサ等の各種センサ等により検出される運転者の操作は、自車両Cの各部における運転者の操作の受け付けに係る挙動として、挙動検出部17により検出される。
【0062】
また、例えば、運転者のステアリング操作により方位センサ14が検出する自車両Cの進行方位の変化、運転者のアクセルペダルやブレーキペダルの操作により加速度センサ21が検出する自車両Cの加速度の変化、運転者のシフト操作やアクセル操作による変速装置の変速段の変更等、運転者の操作の受け付けの結果として各種センサ等により検出される自車両Cの動作は、運転者の操作による自車両Cの動作に係る挙動として、挙動検出部17により検出される。また、例えば、ナビゲーション用の表示入力装置29が備えるタッチパネルやリモートコントローラ(不図示)等の操作に基づくナビゲーション用演算部27の動作も、運転者の操作による自車両Cの動作に係る挙動として、挙動検出部17により検出される。このようなナビゲーション用演算部27の動作としては、例えば、運転者の操作に基づく、渋滞情報の取得、地図表示縮尺の変更、画面表示輝度の変更、案内経路の変更等が含まれる。
【0063】
また、例えば、段差や荒れた路面を通過することにより振動センサ19が検出する自車両Cの振動や衝撃、坂道を走行することにより傾斜センサ20及び加速度センサ21が検出する自車両Cの加速度の変化、カーブを走行することにより方位センサ14が検出する自車両Cの進行方位の変化等、外的要因によって生じて各種センサ等により検出される自車両Cの動作は、外的要因による自車両Cの動作に係る挙動として、挙動検出部17により検出される。なお、運転者の操作による自車両Cの動作と外的要因による自車両Cの動作とは、厳密に区別することができるものばかりではなく、いずれにも属する自車両Cの動作も存在する。
【0064】
本実施形態においては、挙動検出部17は、挙動属性情報生成部18を備えている。挙動属性情報生成部18は、挙動検出部17により自車両Cの挙動が検出された場合に、当該挙動の属性を表す挙動属性情報Ba(図7参照)を生成する挙動属性情報生成手段として機能する。この挙動属性情報Baは、後述するように検出挙動情報B及び学習挙動情報Sの一部を構成する。ここで、挙動属性情報Baにより表される挙動の属性は、挙動検出部17により検出された挙動の内容や種別を、他の挙動に対して識別するための分類を表す情報である。したがって、挙動属性情報Baは、例えば以下のような内容の情報となる。
【0065】
すなわち、運転者の操作の受け付けに係る挙動に関する挙動属性情報Baとしては、例えば、「空調装置の外気導入から室内循環への切り替え操作」、「運転席側の窓の開操作」、「ヘッドライトのロービームからハイビームへの切り替え操作」、「シフトレバーのシフトダウン操作」等がある。また、運転者の操作による自車両Cの動作に係る挙動に関する挙動属性情報Baは、例えば、「左折」、「右折」、「左カーブ」、「右カーブ」、「加速」、「減速」、「停止」、「変速装置のシフトダウン」、「ナビゲーション装置の地図表示縮尺の変更」、「ナビゲーション装置の案内経路の変更」等がある。また、外的要因による自車両Cの動作に係る挙動に関する挙動属性情報Baは、例えば、「振動」、「衝撃」、「上り傾斜」、「下り傾斜」等のほか、運転者の操作による自車両Cの動作に係る挙動と重複するものとして、「左カーブ」、「右カーブ」、「加速」、「減速」等がある。なお、以上の挙動属性情報Baの内容は単なる一例であり、挙動属性情報Baにより表される挙動の属性の分類のレベルは、識別可能とする挙動をどの程度まで細分化するかに応じて任意に定めることができる。
【0066】
9.画像認識部
画像認識部24は、画像情報取得部12で取得された画像情報Gに含まれる対象地物の画像認識処理を行う画像認識手段として機能する。本実施形態においては、画像認識部24は、道路の路面に設けられた道路標示を対象地物として画像認識処理を行う。具体的には、画像認識部24は、対象地物の画像認識に際しては、画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている対象地物(道路標示)の輪郭情報を抽出する。その後、画像認識部24は、抽出された地物の輪郭情報と、対象地物となり得る各種地物の形態の特徴量とのパターンマッチングを行うことにより、画像情報Gに含まれる対象地物の画像を抽出する。また、画像認識部24は、抽出された地物の輪郭情報と特徴量がマッチングする地物の地物種別を、画像情報Gに含まれる対象地物の地物種別として認識する。そして、画像認識部24は、パターンマッチングに成功した場合に対象地物の画像認識に成功したと判定する。一方、画像認識部24は、画像情報Gについて画像認識処理を行った結果、パターンマッチングに失敗した場合には、対象地物の画像認識に失敗したと判定する。
【0067】
また、本実施形態においては、画像認識部24は、地物属性情報生成部25を備えている。地物属性情報生成部25は、画像認識部24により認識された対象地物について、当該対象地物の属性を表す地物属性情報を生成する地物属性情報生成手段として機能する。この地物属性情報は、後述するように認識地物情報A及び学習地物情報Fbの一部を構成する。ここで、地物属性情報により表される対象地物の属性は、当該一つの対象地物を他の対象地物と識別できるものであればよい。したがって、例えば、地物属性情報は、当該対象地物の地物種別、当該対象地物の具体的形状や大きさ、当該対象地物が存在するリンクkのリンクID、当該対象地物が存在する概略の位置等の中から選択される一又は二以上の情報を有して構成される。このような地物属性情報を構成する情報は、画像認識部24による当該対象地物の画像認識結果や、当該対象地物が認識された画像情報Gの取得時の自車位置情報P等に基づいて生成される。
【0068】
10.自車位置情報補正部
自車位置情報補正部26は、画像認識部24による対象地物の画像認識処理の結果と、当該対象地物についての地物データベースDB2に記憶された地物情報Fとに基づいて自車位置情報Pを補正する自車位置情報補正手段として機能する。本実施形態では、自車位置情報補正部26は、まず、画像認識部24による画像認識処理の結果と、撮像装置11の取付位置、取付角度、及び画角等とに基づいて、対象地物の画像を含む画像情報Gの取得時における自車両Cと対象地物との位置関係を演算する。次に、自車位置情報補正部26は、画像認識部24により認識された対象地物についての地物情報Fを地物データベースDB2から抽出する。そして、自車位置情報補正部26は、この自車両Cと対象地物との位置関係の演算結果と、当該対象地物についての地物情報Fに含まれる当該対象地物の位置情報とに基づいて、自車両Cの進行方向における対象地物の位置情報(地物情報F)を基準とする高精度な自車両Cの位置情報を演算して取得する。そして、自車位置情報補正部26は、このようにして取得した高精度な自車両Cの位置情報に基づいて、自車位置情報取得部16で取得した自車位置情報Pに含まれる、自車両Cの進行方向の現在位置の情報を補正する。その結果、自車位置情報取得部16は、このような補正後の高精度な自車位置情報Pを取得する。
【0069】
11.ナビゲーション用演算部
ナビゲーション用演算部27は、自車位置表示、出発地から目的地までの経路探索、目的地までの経路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラム28に従って動作する演算処理手段である。ここで、アプリケーションプログラム28は、自車位置情報P、地図情報M、学習挙動情報S、及び地物情報F等を参照して、ナビゲーション用演算部27に各種のナビゲーション機能を実行させる。例えば、ナビゲーション用演算部27は、自車位置情報Pに基づいて地図データベースDB1から自車両C周辺の地図情報Mを取得して表示入力装置29の表示画面に地図の画像を表示するとともに、当該地図の画像上に、自車位置情報Pに基づいて自車位置マークを重ね合わせて表示する処理を行う。この際、アプリケーションプログラム28は、学習挙動情報Sを参照することにより、後述する挙動予測部51によって右折や左折等の自車両Cの挙動を予測し、実際の自車両Cの位置とは異なる道路上の位置への誤マッチング等を防止できる。また、ナビゲーション用演算部27は、地図データベースDB1に記憶された地図情報Mに基づいて、所定の出発地から目的地までの経路探索を行う。更に、ナビゲーション用演算部27は、探索された出発地から目的地までの経路と自車位置情報Pとに基づいて、表示入力装置29及び音声出力装置30の一方又は双方を用いて、運転者に対する経路案内を行う。表示入力装置29は、液晶表示装置等の表示装置とタッチパネルや操作スイッチ等の入力装置が一体となったものである。音声出力装置30は、スピーカ等を有して構成されている。本実施形態においては、ナビゲーション用演算部27、表示入力装置29、及び音声出力装置30が、本発明における案内情報出力手段31として機能する。
【0070】
12.認識位置情報取得部
認識位置情報取得部41は、画像認識部24により画像認識に成功した対象地物について、当該対象地物の認識位置を表す認識位置情報を取得する認識位置情報取得手段として機能する。本実施形態においては、認識位置情報取得部41は、まず、画像認識部24による画像認識処理において、対象地物の画像認識に成功したか否かを監視する。そして、画像認識部24により、対象地物の画像認識に成功した場合には、認識位置情報取得部41は、当該画像認識結果と、自車位置情報取得部16により取得された自車位置情報Pとに基づいて当該対象地物の認識位置を導出する。ここでは、認識位置情報取得部41は、認識に成功した対象地物の画像を含む画像情報Gを取得した際の自車位置情報Pを、当該対象地物の認識位置情報として取得する。このように取得される対象地物の認識位置情報は、自車位置情報Pを基準として導出されるため、自車位置情報Pが有する誤差を反映した位置の情報となる。
【0071】
13.認識地物情報生成部
認識地物情報生成部42は、画像認識部24により画像認識に成功した対象地物について、地物属性情報生成部25により生成された当該対象地物の地物属性情報と、認識位置情報取得部41により取得された当該対象地物の認識位置情報とを含む認識地物情報Aを生成する認識地物情報生成手段として機能する。そして、認識地物情報生成部42は、生成した認識地物情報Aを地物学習データベースDB3に記憶する。以下、認識地物情報生成部42が行う処理の詳細について、図5及び図6を用いて説明する。図5は、対象地物の画像認識結果に基づく地物情報Fの学習処理の概要を説明するための説明図である。そして、図5(a)は、自車両Cが走行する実際の道路に設けられた道路標示(対象地物)の一例である。この例では、画像認識部24は、速度標示の「30」の文字を対象地物f1としての画像認識することになる。図5(b)は、地物学習データベースDB3に記憶された認識地物情報Aの一例である。図5(c)は、地物学習データベースDB3に記憶された学習結果が反映された地物データベースDB2の一例である。
【0072】
本実施形態においては、認識地物情報生成部42は、図5(b)に示すように、各対象地物について認識地物情報Aを、認識位置情報取得部41により取得された認識位置情報に基づいて、当該認識位置情報が示す当該対象地物の認識位置が属する所定の位置範囲についての学習値として生成する。そして、認識地物情報生成部42は、当該対象地物を認識する度に学習値を前記位置範囲毎に加算して記憶することとしている。本例では、所定の位置範囲は、道路を表すリンクkに沿った方向に一定距離毎に区分され設定された範囲であり、例えば、リンクkに沿った方向に0.5〔m〕毎に区分された範囲とする。また、学習値は、一つの対象地物の画像認識に成功する毎に、地物学習データベースDB3における当該対象地物の認識位置が属する位置範囲に加算される値であり、例えば、一つの対象地物の画像認識に成功する毎に1点とする。すなわち、本例では、認識地物情報Aは、対象地物の認識位置情報として、当該対象地物の認識位置が含まれる位置範囲を表す情報と、その学習値「1」の情報を有して構成される。
【0073】
図6は、図5(b)に示す地物学習データベースDB3に記憶された学習値の対象地物f1に関する部分の拡大図である。例えば、図5(a)の例において、対象地物f1の画像認識に成功した場合であって、認識位置情報取得部41により取得された対象地物f1の認識位置が、図6中に「a4」として示される位置範囲であった場合には、この図6中に破線で示すように、当該位置範囲a4の学習値に1が加算される。そして、自車両Cが同じ道路を複数回通行することにより、同じ対象地物f1が複数回画像認識されると、地物学習データベースDB3には、図5(b)及び図6に示すように、当該対象地物が認識される毎に生成された複数の認識地物情報Aとしての学習値が、当該対象地物の認識位置を表す位置範囲毎に積算されて蓄積される。そして、後述するように、学習値が所定の学習しきい値T1以上になると、学習地物情報生成部44により当該対象地物についての学習地物情報Fbが生成され、地物データベースDB2に記憶される。図5の例では、図5(c)に示すように、対象地物f1に対応する学習地物情報Fb1が、地物データベースDB2に記憶される。
【0074】
また、認識地物情報生成部42は、当該認識地物情報Aが示す対象地物を他の対象地物に対して識別可能な状態とするため、地物属性情報生成部25により生成された当該対象地物の地物属性情報を有している。すなわち、地物学習データベースDB3に記憶される認識地物情報Aは、当該対象地物の認識位置情報としての位置範囲を表す情報及びその学習値「1」の情報を有するとともに、当該対象地物の地物属性を表す地物属性情報が関連付けられて構成されている。上記のとおり、この地物属性情報は、例えば、地物属性情報は、当該対象地物の地物種別、当該対象地物の具体的形状や大きさ、当該対象地物が存在するリンクkのリンクID、当該対象地物が存在する概略の位置等の中から選択される一又は二以上の情報を有して構成される。
【0075】
14.推測位置判定部
推測位置判定部43は、地物学習データベースDB3に記憶された各対象地物についての複数の前記認識位置情報を統計的に処理して求めた推測位置情報を取得する推測位置情報取得手段として機能する。そのため、推測位置判定部43は、同じ対象地物が複数回画像認識されることにより地物学習データベースDB3に記憶された、同じ対象地物についての複数の認識地物情報Aに基づいて、図5に示すように、当該対象地物についての推測認識位置paを判定し、当該推測認識位置paを当該対象地物の道路上の位置に変換することにより当該対象地物の推測位置pgを判定する処理を行う。本実施形態においては、推測位置判定部43は、まず、同じ対象地物についての複数の認識地物情報Aの分布に基づいて、当該分布の代表値を当該対象地物についての推測認識位置paとして判定する。ここでは、分布の代表値として最頻値を用いる。すなわち、推測位置判定部43は、各対象地物についての認識地物情報Aとしての学習値が、最初に所定の学習しきい値T1以上となった位置範囲を代表する位置を、当該対象地物についての推測認識位置paと判定する。一例として、図5の例における対象地物f1の推測認識位置paを判定する場合の判定方法について説明する。図6に示すように、対象地物f1についての認識地物情報Aとしての学習値は、位置範囲a4において最初に学習しきい値T1以上となっている。したがって、推測位置判定部43は、位置範囲a4を代表する位置、例えば位置範囲a4の中央位置pa4を、対象地物f1の推測認識位置paと判定する。
【0076】
次に、推測位置判定部43は、上記のようにして判定された対象地物の推測認識位置paを、当該対象地物の道路上の位置に変換して当該対象地物の推測位置pgを判定する。このような変換は、撮像装置11の取付位置、取付角度、及び画角等から理論上求められる自車両Cと画像情報G中の対象地物との位置関係に基づいて行うことができる。そして、このようにして推測位置判定部43により求められた対象地物の推測位置pgを表す情報が、当該対象地物の推測位置情報として取得される。
【0077】
15.学習地物情報生成部
学習地物情報生成部44は、同じ対象地物が複数回画像認識されることにより地物学習データベースDB3に記憶された同じ対象地物についての複数の認識地物情報Aに基づいて、当該対象地物の学習結果を表す学習地物情報Fbを生成する学習地物情報生成手段として機能する。ここで、学習地物情報Fbは、複数の認識地物情報Aに示される同じ対象地物についての地物属性情報と、推測位置判定部43により当該対象地物についての複数の認識位置情報Aを統計的に処理して求めた、当該対象地物の推測位置pgを表す推測位置情報とを含んで構成される。すなわち、学習地物情報生成部44は、推測位置判定部43により取得された各対象地物の推測位置pgを表す推測位置情報と、当該対象地物についての認識地物情報Aに含まれる地物属性情報とを関連付けて学習地物情報Fbを生成する。またこの際、学習地物情報生成部44は、各学習地物情報Fbの地物属性情報として、各地物を他の地物と識別するための識別情報(地物ID)を付与する。これにより、学習地物情報Fbは、初期地物情報Faと同様に、位置情報及びそれに関連付けられた地物属性情報を備えた情報として生成される。そして、この学習地物情報生成部44で生成された学習地物情報Fbは、地物データベースDB2に記憶される。本実施形態においては、図5(c)に示すように、学習地物情報Fb1が、学習地物情報生成部44により生成され、地物データベースDB2に記憶されている。なお、この図に表されている黒い四角形「■」は、学習地物情報Fb1の位置情報が示す対象地物f1の推測位置pgを表している。
【0078】
16.関係情報生成部
関係情報生成部45は、挙動検出部17により自車両Cの挙動が検出された場合に、当該検出された自車両Cの挙動と、当該挙動の検出より前に画像認識部24により認識された対象地物との関係を表す関係情報Br(図7参照)を取得する関係情報取得手段として機能する。ここで、関係情報生成部45は、自車両Cの移動距離を検出する移動距離検出手段としての距離センサ15、及び自車両Cの現在位置を表す自車位置情報Pを取得する自車位置情報取得部16の少なくとも一方からの情報に基づいて関係情報Brを取得する。そのため、本実施形態においては、関係情報生成部45は、図1に示すように、距離情報生成部46及び地物特定情報生成部47を有して構成されている。そこで、以下に、これら距離情報生成部46及び地物特定情報生成部47が行う処理の詳細について説明する。
【0079】
なお、以下の説明においては、自車両Cの挙動の具体例に関する検出挙動情報B及び学習挙動情報Sの内容を示す図7を適宜参照する。ここで、図7(a)は、自車両Cが実際に走行する道路の状況の具体例を示している。この図7(a)の例では、自車両Cは、速度標示の「30」の文字の対象地物f1の上を通過した後、距離100〔m〕進行してから交差点Nで左折している。したがって、本例では、画像認識部24が対象地物f1を画像認識した後に、距離100〔m〕進行した交差点Nにおいて挙動検出部17が自車両Cの「左折」の挙動を検出することになる。図7(b)は、当該挙動についての検出挙動情報Bの例を示し、図7(c)は、当該挙動についての学習挙動情報Sの例を示している。
【0080】
16−1.距離情報生成部
距離情報生成部46は、画像認識部24により認識された対象地物の認識位置から挙動検出部17により検出された自車両Cの挙動の検出位置までの距離を表す距離情報Bc(図7(b)参照)を生成する距離情報生成手段として機能する。すなわち、距離情報生成部46は、図7(a)の例に示すように、画像認識部24により対象地物f1が認識された後に、挙動検出部17により自車両Cの挙動が検出された場合に、当該対象地物の認識位置から当該挙動の検出位置までの距離である地物−挙動間距離Lを検出して距離情報Bcを生成する。そのため、本実施形態においては、距離情報生成部46は、距離センサ15により検出される自車両Cの移動距離の情報を用いて、地物−挙動間距離Lを検出する。
【0081】
すなわち、距離情報生成部46は、画像認識部24により対象地物が認識された際の自車両Cの位置を始点とし、自車両Cの挙動が検出されるまでの自車両Cの移動距離を地物−挙動間距離Lとして検出する。このように距離センサ15からの出力を用いることにより、自車位置情報Pとは無関係に地物−挙動間距離Lを検出することができる。そして、距離情報生成部46は、このように検出した地物−挙動間距離Lを表す情報を距離情報Bcとする。図7(a)に示す例では、実際の地物−挙動間距離Lが100〔m〕である。したがって、当該地物−挙動間距離Lの距離センサ15による検出結果として、図7(b)に示すように、距離センサ15の検出誤差が含まれた値が、距離情報生成部46により距離情報Bcとして生成される。
【0082】
16−2.地物特定情報生成部
地物特定情報生成部47は、画像認識部24により認識された対象地物を特定するための地物特定情報Bbを生成する地物特定情報生成手段として機能する。すなわち、地物特定情報生成部47は、図7(a)の例に示すように、画像認識部24により対象地物f1が認識された後に、挙動検出部17により自車両Cの挙動が検出された場合に、当該認識された対象地物f1を特定するための地物特定情報Bbを生成する。本実施形態においては、地物特定情報Bbは、地物学習データベースDB3に記憶された認識地物情報Aを特定するための識別情報(図7(b)の例では地物ID(ID=××××))としている。すなわち、地物特定情報生成部47は、画像認識部24により対象地物f1が認識された後、当該認識された対象地物f1についての認識地物情報Aが認識地物情報生成部42により生成され、地物学習データベースDB3に記憶される際に、当該認識地物情報Aを特定するための識別情報を取得する。そして、地物特定情報生成部47は、当該識別情報を地物特定情報Bbとして生成する。これにより、後述する検出挙動情報B又は学習挙動情報Sに含まれる地物特定情報Bbに基づいて、地物学習データベースDB3に記憶された認識地物情報Aを参照することにより、検出挙動情報B又は学習挙動情報Sに示される対象地物の地物属性や認識位置を特定することが可能となる。
【0083】
なお、地物学習データベースDB3に記憶された認識地物情報Aを特定するための識別情報は、各認識地物情報Aに付された地物IDに限られるものではなく、例えば、地物学習データベースDB3内の各認識地物情報Aの格納場所等のような他の情報とすることも可能である。
【0084】
そして、図7(b)に示すように、本実施形態においては、距離情報生成部46により生成された距離情報Bcと、地物特定情報生成部47により生成された地物特定情報Bbとにより、関係情報Brが構成される。
【0085】
17.検出挙動情報生成部
検出挙動情報生成部48は、挙動検出部17により検出された自車両Cの挙動の属性を表す挙動属性情報Baと、当該挙動について関係情報生成部45により取得された関係情報Brとを含む検出挙動情報Bを生成する検出挙動生成手段として機能する。本実施形態においては、上記のとおり、挙動属性情報Baは、挙動検出部17により自車両Cの挙動が検出された際に挙動属性情報生成部18により生成される。また、関係情報Brを構成する距離情報Bc及び地物特定情報Bbは、関係情報生成部45の距離情報生成部46及び地物特定情報生成部47により生成される。そこで、検出挙動情報生成部48は、これらの挙動属性情報Baと関係情報Brとを関連付けて検出挙動情報Bを生成する。そして、検出挙動情報生成部48は、生成した検出挙動情報Bを挙動学習データベースDB4に記憶する。
【0086】
ここで、ある一つの挙動についての複数の検出挙動情報Bでは、当該挙動の挙動属性、及び当該挙動の検出前に画像認識される対象地物は同一となる。したがって、本実施形態においては、検出挙動情報生成部48は、同じ挙動についての複数の検出挙動情報Bについて、挙動属性情報Ba及び地物特定情報Bbを共通とした一まとめの情報として挙動学習データベースDB4に記憶する。図7(b)は、図7(a)の例に示される一つの挙動(「左折」)についての複数の検出挙動情報Bを一つにまとめて格納した例を示している。この例では、検出挙動情報Bは、「左折」の挙動を内容とする一つの挙動属性情報Baと、「ID=××××」の識別情報を内容とする地物特定情報Bbとに関連付けられた複数の距離情報Bcにより構成されている。そして、これら複数の距離情報Bcは、距離センサ15による検出誤差を含むため、実際の地物−挙動間距離Lである100〔m〕に近い値ではあるが、それぞれ若干異なる値となっている。
【0087】
18.平均距離判定部
平均距離判定部49は、同じ挙動についての複数の検出挙動情報Bに示される同じ挙動についての複数の距離情報Bcの平均値を判定し、平均距離情報Scを生成する。本実施形態においては、平均距離判定部49は、ある一つの挙動について挙動属性情報Ba及び地物特定情報Bbを共通として一つにまとめて記憶された検出挙動情報Bの複数の距離情報Bcについて平均値を判定する。そして、判定された同じ挙動についての複数の距離情報Bcの平均値を、平均距離情報Scとして生成する。図7(c)に示される学習挙動情報Sの例では、平均距離情報Scは、図7(b)の例に示される一つの挙動(「左折」)についての検出挙動情報Bの複数の距離情報Bcの全ての値の平均値(「100.1〔m〕」)となっている。そして、このように平均距離判定部49により生成される平均距離情報Scと、同じ挙動についての複数の検出挙動情報Bに共通する地物特定情報Bbとにより、本発明における統計的関係情報Srが構成される。よって、本実施形態においては、平均距離判定部49は、複数の検出挙動情報Bに示される同じ挙動についての複数の関係情報Brを統計的に処理して求めた統計的関係情報Srを生成する統計的関係情報生成手段として機能する。
【0088】
19.学習挙動情報生成部
学習挙動情報生成部50は、挙動学習データベースDB4に記憶された検出挙動情報Bに基づいて、対象地物と関係付けられた自車両Cの挙動の学習結果を表す学習挙動情報Sを生成する学習挙動情報生成手段として機能する。本実施形態においては、学習挙動情報生成部50は、基本的に、同じ挙動が複数回検出されることにより挙動学習データベースDB4に記憶された、同じ挙動についての複数の検出挙動情報Bに基づいて学習挙動情報Sを生成する。そして、学習挙動情報Sは、複数の検出挙動情報Bに示される同じ挙動についての挙動属性情報Baと、当該挙動についての複数の関係情報Brを統計的に処理して求めた統計的関係情報Srとを含んで構成される。ここでは、統計的関係情報Srは、平均距離判定部49により生成される平均距離情報Scと、同じ挙動についての複数の検出挙動情報Bに共通する地物特定情報Bbとにより構成される。したがって、この学習挙動情報Sは、ある一つの挙動についての複数の検出挙動情報Bについて共通の挙動属性情報Ba及び地物特定情報Bbと、当該挙動についての複数の検出挙動情報Bに示される同じ挙動についての複数の距離情報Bcの平均値である平均距離情報Scとを関連付けた情報として構成される。図7(c)に示される例では、学習挙動情報Sは、「左折」の挙動を内容とする一つの挙動属性情報Baと、「ID=××××」の識別情報を内容とする地物特定情報Bbと、これらに関連付けられた「100.1〔m〕」を内容とする平均距離情報Scとにより構成されている。そして、学習挙動情報生成部50は、生成した学習挙動情報Sを挙動データベースDB5に記憶する。
【0089】
なお、学習挙動情報生成部50は、ある一つの挙動について挙動学習データベースDB4に一つの検出挙動情報Bしかない場合には、当該一つの検出挙動情報Bに基づいて学習挙動情報Sを生成する。この場合、学習挙動情報Sの統計的関係情報Srに含まれる平均距離情報Scが、検出挙動情報Bの距離情報Bcと同じになるため、学習挙動情報Sの内容は、実質的に検出挙動情報Bと同じとなる。以下では、複数の検出挙動情報Bに基づいて学習挙動情報Sを生成する場合を例として説明する。
【0090】
20.挙動予測部
挙動予測部51は、挙動データベースDB5に記憶された学習挙動情報Sに基づいて、当該学習挙動情報Sが示す対象地物が画像認識された際に、当該対象地物と関係付けられた自車両Cの挙動が発生することを予測し、当該挙動の予測結果を出力する挙動予測手段として機能する。そのために、挙動予測部51は、画像認識部24により対象地物が画像認識された際に、当該認識された対象地物に係る学習挙動情報Sを、各学習挙動情報Sに含まれる地物特定情報Bbを参照することにより挙動データベースDB5から抽出して取得する。そして、当該抽出された学習挙動情報Sに含まれる挙動属性情報Baと平均距離情報Scとに基づいて、自車両Cの挙動を予測する。具体的には、挙動予測部51は、対象地物を画像認識した認識位置から平均距離情報Scに示される距離を移動した時に、挙動属性情報Baに示される自車両Cの挙動が発生するという予測を行う。そして、挙動予測部51は、当該挙動の予測結果を、自車両Cの動作や制御等に反映するために、自車両Cの種々の制御手段に対して出力する。このような挙動の予測結果の出力先としては、例えば、自車両Cの案内情報の出力のための演算処理を行うナビゲーション用演算部27や、運転者の操作を再現するため、或いは運転者の操作による自車両の動作又は外的要因による自車両の動作を最適化するための制御装置である車両制御部52等がある。このような挙動の予測結果に関する具体的な適用例については、後に複数の例を挙げて詳細に説明する。
【0091】
21.挙動学習処理
次に、本実施形態に係るナビゲーション装置1に含まれる車両挙動学習装置2において実行される自車両Cの挙動の学習処理の手順(車両挙動学習プログラム)について説明する。図8は、本実施形態に係る挙動学習処理の全体の手順を示すフローチャートである。また、図9は、本実施形態において、図8に示す挙動学習処理の一部として含まれる地物学習処理の手順を示すフローチャートである。以下に説明する処理の手順は、上記の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、ナビゲーション装置1が有する演算処理装置が、上記の各機能部を構成する車両挙動学習プログラムを実行するコンピュータとして動作する。以下では、まず、挙動学習処理の全体の手順について説明する。
【0092】
21−1.挙動学習処理の全体の手順
図8に示すように、車両挙動学習装置2では、まず、自車位置情報取得部16により自車位置情報Pを取得する(ステップ#01)。次に、画像情報取得部12により、撮像装置11により撮像した自車両Cの周辺の画像情報Gを取得する(ステップ#02)。その後、画像認識部24により、画像情報Gに含まれる対象地物の画像認識処理を行う(ステップ#03)。このステップ#03により対象地物が認識されなかった場合には(ステップ#04:No)、処理はステップ#01へ戻り、再び自車位置情報P及び画像情報Gの取得を行う。そして、ステップ#03により画像情報Gに含まれる対象地物を認識した場合には(ステップ#04:Yes)、地物学習処理を実行する(ステップ#05)。この地物学習処理の手順については、後に図9に示すフローチャートに基づいて詳細に説明する。
【0093】
また、ステップ#05の地物学習処理と並行して、関係情報生成部45の距離情報生成部46により、地物−挙動間距離Lの測定を開始する(ステップ#06)。ここで、地物−挙動間距離Lは、上記のとおり、ステップ#03により認識された対象地物の認識位置から、後述するステップ#07により検出される自車両Cの挙動の検出位置までの距離である。このステップ#06では、ステップ#03により対象地物が認識された際の自車両Cの位置を始点として距離の測定を開始する。次に、挙動検出部17により、自車両Cの挙動の検出処理を実行する(ステップ#07)。このステップ#07の挙動検出処理では、挙動検出部17は自車両Cの挙動を検出可能な状態で待機する。そして、自車両Cの挙動を検出するまでに(ステップ#08:No)、測定中の地物−挙動間距離Lが所定の中止しきい値以上となった場合には(ステップ#16:Yes)、地物−挙動間距離Lの測定を中止し(ステップ#17)、処理を終了する。一方、測定中の地物−挙動間距離Lが所定の中止しきい値未満の状態で(ステップ#16:No)、自車両Cの挙動を検出した場合には(ステップ#08:Yes)、距離情報生成部46による地物−挙動間距離Lの測定を終了する(ステップ#09)。その後、測定された地物−挙動間距離Lを表す距離情報Bcと、地物特定情報生成部47により生成される地物特定情報Bbとにより構成される関係情報Brを取得する(ステップ#10)。
【0094】
次に、挙動検出情報生成部48により、ステップ#07で検出された自車両Cの挙動の属性を表す挙動属性情報Baと、当該挙動についてステップ#10で取得された関係情報Brとを含む検出挙動情報Bを生成する(ステップ#11)。そして、生成した検出挙動情報Bを挙動学習データベースDB4に記憶する(ステップ#12)。次に、以上の処理によって挙動学習データベースDB4に記憶された同じ挙動についての複数の検出挙動情報Bに基づいて、平均距離判定部49により、平均距離情報Scを生成する(ステップ#13)。ここで、平均距離情報Scは、上記のとおり、同じ挙動についての複数の検出挙動情報Bに示される同じ挙動についての複数の距離情報Bcの平均値の情報とされる。その後、同じ挙動が複数回検出されることにより挙動学習データベースDB4に記憶された同じ挙動についての複数の検出挙動情報Bに基づいて、学習挙動情報生成部50により、対象地物と関係付けられた自車両Cの挙動の学習結果を表す学習挙動情報Sを生成する(ステップ#14)。そして、生成した学習挙動情報Sを挙動データベースDB5に記憶する(ステップ#15)。以上で、車両挙動学習装置2における挙動学習処理の全体の手順を終了する。
【0095】
21−2.地物学習処理の手順
次に、本実施形態に係る挙動学習処理の一部として含まれる地物学習処理の手順について説明する。図8のステップ#05の地物学習処理では、図9に示すように、まず、認識位置情報取得部41により、図8のステップ#03で認識した対象地物の認識位置情報を自車位置情報Pに基づいて取得する(ステップ#21)。次に、認識地物情報生成部42により、学習値の情報を有する認識地物情報Aを生成する(ステップ#22)。すなわち、上記のとおり、認識地物情報Aは、対象地物の認識時に地物属性情報生成部25により生成された当該対象地物の地物属性情報と、ステップ#21で取得された当該対象地物の認識位置情報に基づく位置範囲毎の学習値の情報とが関連付けられて構成される。そして、例えば図5(b)に示すように、このような学習値の情報を有する認識地物情報Aを地物学習データベースDB3に記憶する(ステップ#23)。ここで、地物学習データベースDB3に記憶された当該対象地物についての認識地物情報Aの学習値が、所定の学習しきい値T1未満である場合には(ステップ#24:No)、処理はそのまま終了する。
【0096】
一方、地物学習データベースDB3に記憶された当該対象地物についての認識地物情報Aの学習値が、所定の学習しきい値T1以上である場合には(ステップ#24:Yes)、推測位置判定部43により、当該対象地物の推測位置pgを判定する(ステップ#25)。その後、学習地物情報生成部44により、当該対象地物についての、ステップ#25で判定された推測位置pgと当該対象地物についての認識地物情報Aに含まれる地物属性情報とを関連付けた学習地物情報Fbを生成する(ステップ#26)。そして、生成した学習地物情報Fbを地物データベースDB2に記憶する(ステップ#27)。以上で、地物学習処理の手順を終了する。
【0097】
22.挙動予測処理
次に、本実施形態に係るナビゲーション装置1に含まれる車両挙動学習装置2において実行される自車両Cの挙動予測処理の手順(車両挙動予測プログラム)について説明する。図10は、本実施形態に係る挙動予測処理の手順を示すフローチャートである。以下に説明する処理の手順は、上記の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、ナビゲーション装置1が有する演算処理装置が、上記の各機能部を構成する車両挙動予測プログラムを実行するコンピュータとして動作する。
【0098】
図10に示すように、車両挙動学習装置2における挙動予測処理では、まず、自車位置情報取得部16により自車位置情報Pを取得する(ステップ#31)。次に、画像情報取得部12により、撮像装置11により撮像した自車両Cの周辺の画像情報Gを取得する(ステップ#32)。その後、画像認識部24により、画像情報Gに含まれる対象地物の画像認識処理を行う(ステップ#33)。このステップ#33により対象地物が認識されなかった場合には(ステップ#34:No)、処理はステップ#31へ戻り、再び自車位置情報P及び画像情報Gの取得を行う。そして、ステップ#33により画像情報Gに含まれる対象地物を認識した場合には(ステップ#34:Yes)、挙動予測部51により、当該対象地物に係る学習挙動情報Sを挙動データベースDB5から抽出して取得する(ステップ#35)。
【0099】
そして、ステップ#35で取得した学習挙動情報Sに基づいて、挙動予測部51により、自車両Cの挙動を予測する(ステップ#36)。ここでは、挙動予測部51は、上記のとおり、学習挙動情報Sに含まれる挙動属性情報Baと平均距離情報Scとに基づいて、対象地物を画像認識した認識位置から平均距離情報Scに示される距離を移動した時に、挙動属性情報Baに示される自車両Cの挙動が発生するという予測を行う。その後、挙動予測部51は、当該挙動予測結果を、自車両Cの動作や制御等に反映するために、自車両Cの種々の制御手段に対して出力する(ステップ#37)。以上で、車両挙動学習装置2における挙動予測処理の手順を終了する。
【0100】
23.適用例1
以下、本発明に係る車両挙動学習装置2の具体的な適用例について説明する。図11は、自車位置情報取得部16により取得される自車位置情報Pの軌跡に基づいて車両挙動を学習する例を示す説明図である。本例において、自車両Cは幹線道路K1を走行し、別の幹線道路K2との大きな交差点N2に至る前に交差点N3において細街路K3へと左折する。平行する幹線道路K2と、細街路K3とが近い場合、つまり交差点N2とN3との距離が短い場合、自車位置情報取得部16は自車位置情報Pに示される自車両Cの現在位置を、誤った道路上にマップマッチングする場合がある。自車両Cは、図11に実線で示すように細街路K3へ左折して進行しているにも拘わらず、自車位置情報Pに示される自車両Cの現在位置が、図11に破線で示すように幹線道路K2上にマップマッチングされ、当該自車位置情報Pに示される自車両Cの位置が自車位置マークPcとして表示入力装置29に表示される場合がある。このような誤マッチングは、ナビゲーション用演算部27により自動で、或いは運転者により手動で、修正されるが、短時間であっても現実とは異なる誤った位置を示す自車位置マークPcが表示入力装置29に表示されることになる。本発明の車両挙動学習装置2を用いることによって、このような誤マッチングを抑制することができる。
【0101】
図11に示す例では、自車両Cの運転者は、交差点N3に至る前に方向指示器を操作し、ブレーキを操作して自車両Cを減速させ、交差点N3においては左折の操舵を行う。このような方向指示器、ブレーキ、ステアリングへの運転者による操作は、挙動検出部17により車両の挙動として検出される。また、このような自車両Cの左折動作に伴い、方位センサ24により検出される自車両Cの進行方位の変化も、運転者の操作の結果生じる自車両Cの挙動として挙動検出部17により検出される。一方、自車両Cは、このような自車両Cの左折の挙動を検出する前に、交差点N1を通過している。交差点N1の前後には、横断歩道の対象地物f2及びf3があり、これらは対象地物として画像認識部24において認識される。したがって、本例では、これらの対象地物f2及びf3の一方又は双方と関係付けられた自車両Cの挙動についての検出挙動情報Bが生成され、挙動学習データベースDB4に記憶される。
【0102】
この細街路K3への左折が例えば自宅への経路であれば、自車両Cは、幹線道路K1から細街路K3へ至る同じ経路を複数回通行する。したがって、挙動学習データベースDB4には、自車両Cの同一の挙動についての複数の検出挙動情報Bが記憶される。そして、このような複数の検出挙動情報Bに基づいて、対象地物f2、f3と関係付けられた自車両Cの挙動の学習結果を表す学習挙動情報Sが生成され、挙動データベースDB5に記憶される。この学習挙動情報Sには、自車両Cの左折の挙動やその際の運転者による方向指示器の操作等の挙動を表す挙動属性情報Baと、対象地物f2及びf3の一方又は双方を特定する地物特定情報Bbと、地物−挙動間距離Lの平均値を表す平均距離情報Scとが含まれる。
【0103】
図12は、ナビゲーション用演算部27による自車位置表示において車両挙動の予測結果を利用する例を示す説明図である。上述したように、自車両Cの学習挙動情報Sが挙動データベースDB5に記憶された状態で、自車両Cが幹線道路K1を通行する場合を考える。自車両Cが交差点N1を通過すると、画像認識部24により横断歩道の対象地物f2及びf3が認識される。挙動予測部51は、対象地物f2、f3に関連づけられた学習挙動情報Sを挙動データベースDB5から抽出して取得し、交差点N3において自車両Cが左折する可能性が高いことを予測する。また、挙動予測部51は、このような挙動の予測結果を、ナビゲーション用演算部27に対して出力する。そして、予測された位置において自車両Cが左折すると、ナビゲーション用演算部27は、自車両Cが、幹線道路K2ではなく細街路K3に進入したと判定して、自車位置マークPcを細街路K3上に合わせて表示入力装置29に表示させる。また、この際、挙動予測部51が、このような挙動の予測結果を自車位置情報取得部16に対して出力し、自車位置情報Pを補正する構成としても好適である。
【0104】
このように、本発明に係る車両挙動学習装置2を適用することによって、ナビゲーション装置1における自車位置表示や経路案内の精度を向上させることができる。
【0105】
24.適用例2
上述した適用例1では、自車両Cの挙動として、自車両Cの各部において受け付けられる運転者の操作、及び当該運転者の操作の結果生じる自車両Cの動作を挙動検出部17が検出する場合の例を示した。本適用例2では、外部から自車両Cに加わる外的要因による自車両Cの動作が挙動として検出される場合の例について説明する。
【0106】
ナビゲーション装置1からの道路情報を元に、自車両Cのサスペンションの減衰力を制御し、カーブ走行時の操舵安定性を向上し、或いは段差における振動の減衰力を最適に制御するシステムがある。これらは、サスペンションの制御とナビゲーション装置1とが協調して実施されることから、ナビ協調サスペンションシステムと称される。通常、このナビ協調サスペンションシステムは、主としてナビゲーション装置1がGPS受信機13や方位センサ14、距離センサ15などを通じて取得する自車位置情報Pを用いて実施される。しかし、上述したように、この自車位置情報Pは誤差を含むため、サスペンションの制御が最適な位置からずれる場合がある。
【0107】
本発明に係る挙動学習装置2を適用すると、振動センサ19や方位センサ14、加速度センサ21等により、カーブ走行や段差通過による自車両Cの挙動が、検出挙動情報Bとして挙動学習データベースDB4に記憶される。そして、自車両Cが同じ経路を複数回通行することにより、挙動学習データベースDB4に記憶される複数の検出挙動情報Bに基づいて、当該挙動についての学習挙動情報Sが生成され、挙動データベースDB5に記憶される。
【0108】
このようにして生成され、記憶された学習挙動情報Sに基づいて、該当する対象地物に関連づけられた段差通過やカーブ走行などによる自車両Cの挙動が挙動予測部51によって予測される。そして、この挙動予測結果が、ナビ協調サスペンションシステムの制御装置(車両制御部52)に出力され、サスペンションの制御が実施される。したがって、例えば、道路の特定の場所に段差が生じている場合に、当該段差の通行時に振動・衝撃を受けることを予測して、最適なサスペンションの制御を行うことが可能となる。その結果、従来に比べてより精密な制御が可能となる。このようなナビ協調サスペンションシステムの制御装置は、本発明における自車両の動作を最適化する制御装置に相当する。
【0109】
なお、この適用例2で検出される挙動は、外部から自車両Cに加わる外的要因による自車両Cの動作に係る挙動である。このため、運転者や車両への依存性が低く、道路自体への依存性が高い。従って、例えば、複数の車両と通信可能なサーバ等に挙動学習データベースDB4や挙動データベースDB5等を設け、複数の車両で検出挙動情報Bや学習挙動情報Sを共有化することも、本発明の好適な実施形態の一つである。このような構成とすることにより、特定の位置で生じる車両の挙動をより迅速に学習することが可能となる。
【0110】
25.適用例3
本適用例3では、地図データベースDB1に記憶された道路情報Raと運転者の操作の受け付けとに基づいて、自車両Cのエンジンや自動変速装置などを最適に制御する例について説明する。これは、自動変速装置などのシフト制御とナビゲーショ装置1とが協調して実施されることから、ナビ協調シフト制御と称される。例えば、上り坂を走行する際、運転者の好みによって、登坂車線などをゆっくりと登ったり、キックダウンを行って高速で登ったりする場合がある。挙動検出部17は、例えばこのキックダウンの動作を検出挙動情報Bとして検出する。この挙動が同じ対象地物を基準として、繰り返し検出された場合には、この運転操作を運転者の癖として学習する。つまり、この挙動は、対象地物と関連付けられて学習挙動情報Sとして挙動データベースDB5に記憶される。
【0111】
挙動予測部51は、記憶された学習挙動情報Sに基づいて、画像認識部24により該当する対象地物を認識した際に、シフトダウンが必要であると予測する。この予測結果に基づいて、ナビ協調シフト制御システムは、燃費なども考慮して最適なシフト制御を行う。尚、この制御は、エンジン、変速装置などいわゆるパワートレインの種々の機構に対して実施することができる。また、駆動力源としてエンジンとモータとを有したハイブリッド車両では、各駆動力源の動作状態を最適な状態とするように制御することができる。
【0112】
26.適用例4
運転者の操作の受け付けに係る自車両Cの挙動として、運転者によるサンバイザーの操作を検出してもよい。この際、GPS受信機13からは、時刻情報や日付情報も取得可能である。従って、運転者がまぶしさを感じる時間帯、場所、方角と合わせて学習挙動情報Sを生成し、記憶することができる。挙動予測部51が、この学習挙動情報Sに基づいて運転者がまぶしさを感じることを予測すると、例えば、表示入力装置29の表示画面の輝度を高く調整する、電動サンバイザーを駆動する、などの制御を各装置の制御部が実施する。
【0113】
27.適用例5
運転者の操作の受け付けに係る自車両Cの挙動として、運転者による空調装置の操作を空調スイッチ22からの入力に基づいて検出してもよい。例えば、通常は空調装置を外気導入で使用する運転者が、ある地点において繰り返し内気循環に切り替えるという挙動を、学習挙動情報Sとして生成し、記憶する。これは、運転者が交通量の多い幹線道路を走行する際に、他の車両の排気ガスが自車両Cに浸入しないように、空調スイッチ22を操作する場合の例である。挙動予測部51は、学習挙動情報Sに基づいて、空調装置が操作されることを予測する。空調装置の制御部は、この予測結果に基づいて、自動的に外気導入から内気循環に切り替える。内気循環への切り替えが遅れ、排気ガスが自車両Cにわずかでも浸入すると、不快であるが、このように自動的に切り替わることで、車内の快適性が確保される。
【0114】
28.その他の実施形態
【0115】
(1)上記の実施形態では、関係情報生成部45により生成される関係情報Brが、距離情報生成部46により生成された距離情報Bcと、地物特定情報生成部47により生成された地物特定情報Bbとを有して構成される場合の例について説明した。しかし、関係情報Brの内容はこのような例に限定されるものではない。したがって、例えば、関係情報Brが、距離情報Bc及び地物特定情報Bbのいずれか一方を含む構成とし、或いは、これら以外の、自車両の挙動と当該挙動の検出より前に前記画像認識手段により認識された対象地物との関係を表す情報を含む構成としても好適である。
【0116】
(2)上記の実施形態では、図7(b)に示すように、同じ挙動についての複数の検出挙動情報Bについて、挙動属性情報Ba及び地物特定情報Bbを共通とした一まとめの情報として挙動学習データベースDB4に記憶する場合の例について説明した。しかし、挙動学習データベースDB4に記憶する際の検出挙動情報Bの形式はこのようなものに限定されるものではない。したがって、同じ挙動についての複数の検出挙動情報Bを、それぞれ別個に挙動学習データベースDB4に記憶する構成とすることも、本発明の好適な実施形態の一つである。
【0117】
(3)上記の実施形態では、複数の検出挙動情報Bに示される同じ挙動についての複数の関係情報Brを統計的に処理して求めた統計的関係情報Srとして、平均距離判定部49により、同じ挙動についての複数の距離情報Bcの平均値である平均距離情報Scを求める場合を例として説明した。しかし、統計的関係情報Srの内容はこれに限定されるものではない。したがって、例えば、同じ挙動についての複数の距離情報Bcの分布に基づいて、当該分布の最頻値や中央値等の他の代表値を統計的距離情報として判定し、当該統計的距離情報と地物特定情報Bb等とを含む情報を統計的関係情報Srとすることも、本発明の好適な実施形態の一つである。
【0118】
(4)上記の実施形態では、車両挙動学習装置2が挙動予測部51を備え、自車両Cの挙動の予測結果を車両制御部52等に出力する構成である場合を例として説明した。しかし、本発明に係る車両挙動学習装置2の構成は、これに限定されるものではなく、挙動予測部51を備えない構成とすることも、本発明の好適な実施形態の一つである。例えば、車両挙動学習装置2は、右折や左折等の自車両Cの進路変更に関わる挙動と、地図情報Mに含まれる道路形状等とに基づいて、当該進路変更の挙動が地図上の道路形状に適合するように、自車位置情報取得部16により取得される自車位置情報Pを補正する自車位置情報補正手段を備える構成としても好適である。この場合、本発明に係る車両挙動学習装置2は、自車位置認識装置の一部を構成する。
【0119】
(5)上記の実施形態では、認識位置情報取得部41により取得する認識位置情報を、画像認識に成功した際の自車両Cの位置を表す情報とする場合の例について説明した。しかし、対象地物の認識位置を表す認識位置情報として取得する位置情報は、これに限定されるものではない。したがって、例えば、画像認識に成功した対象地物について、自車位置情報Pと画像情報Gの画像認識結果とに基づいて、自車位置情報Pを基準とする当該対象地物の道路上の位置を演算し、当該道路上の対象地物の位置を認識位置情報として認識位置情報取得部41により取得する構成とすることも、本発明の好適な実施形態の一つである。
【0120】
(6)上記の実施形態では、推測位置判定部43が、同じ対象地物についての複数の認識地物情報Aの分布に基づいて、当該分布の最頻値を当該対象地物の推測認識位置paとして判定し、当該推測認識位置paを、対象地物の道路上の位置に変換して対象地物の推測位置pgを判定する構成である場合の例について説明した。しかし、推測位置判定部43による推測位置pgの判定方法はこれに限定されない。したがって、例えば、認識地物情報Aの分布に基づいて、当該分布の平均値や中央値等の他の代表値を当該対象地物の推測認識位置paとして判定する構成とすることも、本発明の好適な実施形態の一つである。
【0121】
(7)上記の実施形態では、道路の路面に設けられた各種の道路標示を対象地物とする場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、道路の周辺に設けられた様々な地物を対象地物とすることが可能である。したがって、例えば、道路標識、案内標識、看板、信号機、マンホール等の各種の地物を対象地物とすることが可能である。
【0122】
(8)上記の実施形態における各データベースDB1〜DB5の分け方は単なる一例であり、各データベースDB1〜DB5のハードウェア構成を限定するものではない。したがって、例えば、地物データベースDB2と地物学習データベースDB3とを一つのデータベースとし、挙動学習データベースDB4と挙動データベースDB5とを一つのデータベースとし、或いは、地図データベースDB1と地物データベースDB2とを一つのデータベースとするなど、任意の構成を採用することができる。
【0123】
(9)上記の実施形態では、本発明に係る車両挙動学習装置2を含むナビゲーション装置1の全ての構成が自車両Cに搭載される場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。すなわち、本発明の認識地物記憶手段としての地物学習データベースDB3及び検出挙動記憶手段としての挙動学習データベースDB4の一方又は双方を含む車両挙動学習装置2の一部の構成が、図13に示すように、無線通信回線等を介して、複数の車両Cと通信可能に接続されたサーバ装置60に設置された構成とすることも、本発明の好適な実施形態の一つである。車両挙動学習装置2をこのような構成とすれば、複数の車両Cによる挙動の学習結果や対象地物の学習結果をサーバ装置60に設置された挙動学習データベースDB4や地物学習データベースDB3に集積することができる。したがって、より多くの検出挙動情報Bや認識地物情報Aを用いて、迅速に学習挙動情報Sや学習地物情報Fbを生成することが可能となる。なお、サーバ装置60に設置する車両挙動学習装置2の構成は、地物学習データベースDB3や挙動学習データベースDB4に限られず、撮像装置11や自車位置情報取得部16等のような、自車両Cに搭載する必要がある構成以外の全ての構成を、サーバ装置60に設置することが可能である。したがって、例えば、地図データベースDB1、地物データベースDB2、及び挙動データベースDB5のいずれか一つ以上を、サーバ装置60に設置しても好適である。
【0124】
(10)上記の各実施形態では、本発明に係る車両挙動学習装置2をナビゲーション装置1に利用する場合の例について説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、本発明に係る車両挙動学習装置2を、ナビゲーション装置1とは無関係な車両の走行制御装置等に利用する等のように、本発明を上記の実施形態とは異なる他の構成に適用することも当然に可能である。
【産業上の利用可能性】
【0125】
本発明は、自車両の挙動を学習する車両挙動学習装置及び車両挙動学習プログラムに好適に利用することが可能である。
【図面の簡単な説明】
【0126】
【図1】本発明の実施形態に係る車両挙動学習装置を含むナビゲーション装置の概略構成を示すブロック図
【図2】地図データベースに記憶されている地図情報の構成の例を示す図
【図3】地物データベースに記憶されている道路標示の地物情報の例を示す図
【図4】自車両への撮像装置の配置構成の一例を示す図
【図5】対象地物の画像認識結果に基づく地物情報の学習処理の概要を説明するための説明図
【図6】図5(b)に示す学習データベースに記憶された学習値の要部拡大図
【図7】自車両の挙動の具体例に関する検出挙動情報及び学習挙動情報の内容を示す図
【図8】本発明の実施形態に係る挙動学習処理の全体の手順を示すフローチャート
【図9】本発明の実施形態に係る地物学習処理の手順を示すフローチャート
【図10】本発明の実施形態に係る挙動予測処理の手順を示すフローチャート
【図11】自車位置情報取得部により取得される自車位置情報の軌跡に基づいて車両挙動を学習する例を示す説明図
【図12】ナビゲーション用演算部による自車位置表示において車両挙動の予測結果を利用する例を示す説明図
【図13】本発明の実施形態に係る車両挙動学習装置の一部の構成がサーバ装置に設置された例を示す図
【符号の説明】
【0127】
1:ナビゲーション装置
2:車両挙動学習装置
12:画像情報取得部(画像情報取得手段)
15:距離センサ(移動距離検出手段)
16:自車位置情報取得部(自車位置情報取得手段)
17:挙動検出部(挙動検出手段)
24:画像認識部(画像認識手段)
27:ナビゲーション用演算部(ナビゲーション用演算手段)
28:アプリケーションプログラム
31:案内情報出力手段
41:認識位置情報取得部(認識位置情報取得手段)
44:学習地物情報生成部(学習地物情報生成手段)
45:関係情報生成部(関係情報取得手段)
50:学習挙動情報生成部(学習挙動情報生成手段)
51:挙動予測部(挙動予測手段)
52:車両制御部(制御装置)
DB1:地図データベース(地図情報記憶手段)
DB2:地物データベース(学習地物情報記憶手段)
DB3:地物学習データベース(認識地物記憶手段)
DB4:挙動学習データベース(検出挙動記憶手段)
DB5:挙動データベース(学習挙動情報記憶手段)
C:自車両
M:地図情報
G:画像情報
P:自車位置情報
A:認識地物情報
Fb:学習地物情報
B:検出挙動情報
Ba:挙動属性情報
Br:関係情報
Bb:地物特定情報
Bc:距離情報
S:学習挙動情報
Sr:統計的関係情報
Sc:平均距離情報
【技術分野】
【0001】
本発明は、自車両の挙動を学習する車両挙動学習装置及び車両挙動学習プログラムに関する。
【背景技術】
【0002】
自家用車など、特定の運転者が運転する車両が同一の経路を複数回通行する場合、特定の自車位置において高い頻度で特定の挙動を行うことがある。ここで、挙動とは、例えば自宅や職場、店など特定の場所へ向かう際の右折や左折等の進路変更、加速や減速、窓の開閉、ライトのオン/オフ、自動変速装置の変速などである。一方、近年では、多くの車両に経路案内等を行うためのナビゲーション装置が搭載されているが、このナビゲーション装置の精度をさらに向上させることが望まれている。また、ナビゲーション装置が有する諸機能を経路案内等の従来の用途以外に拡大することも種々検討されている。下記に出典を示す特許文献1にはナビゲーション装置を搭載した車両における死角モニタの制御装置に関する発明が記載されている。
【0003】
この死角モニタの制御装置は、死角モニタを起動する手動スイッチが操作された時、ナビゲーション装置から入力される車両が位置した地点に関するデータを起動情報として記憶する。そして、ナビゲーション装置からの入力情報に対して起動情報を検索、照合して車両が当該地点に位置した時に、死角モニタの起動信号を送出する。このナビゲーション装置は、交差点などの座標点を結ぶ線(リンク)によって道路情報を管理している。手動スイッチが操作された地点がリンクの番号が付された道路である場合には、起動情報は、当該リンクの番号、座標、車両の走行方向を含んで記憶される。当該地点がリンクの番号が付された道路以外である場合には、座標、車両の走行方向を含んで起動情報が記憶される。また、車両が位置する地点は、GPS(Global Positioning System:グローバル・ポジショニング・システム)を利用すると共に、車速パルスセンサ等からの車速信号や角速度センサ等からの角速度信号に基づいて自律航法により推定するハイブリッドシステムを用いて求められる。
【0004】
【特許文献1】特開2002−286459号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の死角モニタの制御装置は、上記のとおり、ハイブリッドシステムを用いて自車の位置を求める。しかし、特許文献1にも記載されているように、GPS測位であれ自律航法による測位であれ、測位値には誤差が含まれ、実際の走行位置からはずれてしまう。そこで、いわゆるマップマッチング処理によって最も確からしい位置が推定される。
【0006】
ところで、死角モニタの起動操作に限らず、車両における種々の特定の挙動は、特定の地点において実施されることが多い。例えば、大きな道から細街路への右左折や、キックダウンなどは、自宅や職場、店など、特定の場所へのアプローチの際に実施される。大きな道から分岐する細街路は、多くあり、その間隔も狭いことが多い。細街路の間隔が、測位値の誤差よりも小さいような場合には、測位結果から車両の挙動を予測することは困難である。
【0007】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、特定の位置において検出される自車両の挙動を高精度に学習することが可能な車両挙動学習装置及び車両挙動学習プログラムを提供することにある。
【課題を解決するための手段】
【0008】
上記目的を達成するための本発明に係る車両挙動学習装置の特徴構成は、自車両の周辺の画像情報を取得する画像情報取得手段と、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識手段と、自車両の挙動を検出する挙動検出手段と、前記挙動検出手段により検出された自車両の挙動と、当該挙動の検出より前に前記画像認識手段により認識された対象地物との関係を表す関係情報を取得する関係情報取得手段と、前記挙動検出手段により検出された自車両の挙動の属性を表す挙動属性情報と、当該挙動について前記関係情報取得手段により取得された前記関係情報とを含む検出挙動情報を記憶する検出挙動記憶手段と、前記検出挙動記憶手段に記憶された前記検出挙動情報に基づいて、対象地物と関係付けられた自車両の挙動の学習結果を表す学習挙動情報を生成する学習挙動情報生成手段と、を備える点にある。
【0009】
この特徴構成によれば、挙動検出手段により検出された自車両の挙動の属性を表す挙動属性情報と、当該挙動の検出より前に画像認識手段により認識された対象地物との関係を表す関係情報とを含む検出挙動情報に基づいて、自車両の挙動の学習結果を表す学習挙動情報が生成される。すなわち、自車両の挙動は、対象地物の画像認識結果と関連付けられた情報として学習される。したがって、GPS測位や自律航法のみにより自車両の挙動を単独で学習する場合と比較して、対象地物の画像認識結果を併せて利用することになり、特定の位置において検出される自車両の挙動を高精度に学習することが可能となる。また、既に生成された学習挙動情報を用いれば、次に同じ対象地物を画像認識した場合に、自車両の挙動を予測することも可能となる。
【0010】
ここで、前記挙動検出手段により検出される自車両の挙動は、自車両の各部における運転者の操作の受け付け、及び自車両の動作の少なくとも一方を含む構成とすると好適である。
なお、本願において、自車両の動作には、運転者の操作によって生じる自車両の各部や車両全体の動作、或いは、外部から自車両に加わる外的要因によって生じる自車両の各部や車両全体の動作等が含まれる。
【0011】
自車両の挙動には、運転者の操作に伴って発生するものと、道路の状況や天候などの外的要因によって発生するものとがある。例えば、運転者の操作とは、ステアリング操作、シフト操作、アクセルやブレーキの操作、空調装置の操作、窓の開閉操作、ナビゲーション装置やオーディオの操作などである。そして、このような運転者の操作により生じる自車両の動作として、例えば、ステアリング操作によって生じる自車両の進行方向の変化や横方向加速度の変化、シフト操作やアクセル操作等による変速装置の変速段の変更(キックダウンやシフトダウン等)、ブレーキやアクセルの操作により発生する進行方向加速度の変化などがある。一方、外的要因により生じる自車両の動作として、例えば、カーブを走行することにより発生する横加速度の変化、段差通過により生じる振動・衝撃、坂道を走行する際の進行方向加速度の変化などがある。本発明に係る挙動検出手段は、これら運転者の操作の受け付け、及び運転者の操作や外的要因等による自車両の動作の少なくとも一方を自車両の挙動として検出するので、幅広く自車両の挙動を検出することができる。
【0012】
また、前記関係情報は、前記画像認識手段により認識された対象地物の認識位置から前記挙動検出手段により検出された自車両の挙動の検出位置までの距離を表す距離情報を含む構成とすると好適である。
【0013】
この構成によれば、検出挙動記憶手段に記憶される検出挙動情報が、対象地物の認識位置から自車両の挙動の検出位置までの距離情報を含むことになり、当該距離情報が学習挙動情報に反映されることになる。したがって、学習挙動情報に基づいて、対象地物を画像認識してから自車両の挙動が発生するまでの距離を予測することが可能となるので、自車両の挙動を高精度に予測することが可能となる。
【0014】
また、前記関係情報は、前記画像認識手段により認識された対象地物を特定するための地物特定情報を含む構成とすると好適である。
【0015】
この構成によれば、検出挙動記憶手段に記憶される検出挙動情報が、例えば対象地物の属性及び認識位置などの対象地物を特定するための地物特定情報を含むことになる。したがって、検出挙動情報及び学習挙動情報を対象地物を特定する情報と関係付けた挙動の情報とすることができる。これにより、各情報が示す挙動と関係付けられた対象地物を容易に特定することができ、対象地物の画像認識結果に基づく自車両の挙動の予測をより高精度に行うことが可能となる。
【0016】
また、前記関係情報取得手段は、自車両の移動距離を検出する移動距離検出手段、及び自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段の少なくとも一方からの情報に基づいて前記関係情報を取得する構成とすると好適である。
【0017】
この構成によれば、少なくとも対象地物の認識位置から自車両の挙動の検出位置までの距離又はそれらの位置関係の情報を含む前記関係情報を取得することができる。
【0018】
また、前記学習挙動情報は、同じ挙動が複数回検出されることにより前記検出挙動記憶手段に記憶された、同じ挙動についての複数の前記検出挙動情報に基づいて生成され、当該複数の検出挙動情報に示される同じ挙動についての前記挙動属性情報と、当該挙動についての複数の前記関係情報を統計的に処理して求めた統計的関係情報とを含む構成とすると好適である。
【0019】
この構成によれば、学習挙動情報は、同じ挙動が複数回検出されることにより検出挙動記憶手段に記憶された、同じ挙動についての複数の検出挙動情報に基づいて生成される。したがって、各検出挙動情報に誤差が含まれる場合であっても、複数の検出挙動情報を用いて誤差を平均化し、自車両の挙動の学習結果の精度を高めることが可能となる。また、学習挙動情報が、同じ挙動についての複数の前記関係情報を統計的に処理して求めた統計的関係情報を含むので、検出挙動情報に対して精度の高い関係情報を学習挙動情報に含めることができる。したがって、学習挙動情報に基づいて自車両の挙動を高精度に予測することが可能となる。
【0020】
また、前記対象地物は、道路の路面に設けられた道路標示である構成とすると好適である。
【0021】
道路標示は、法令によってその寸法や形状などが規定されている。従って、この構成によれば、対象地物の画像認識処理の負荷を軽減することができると共に、認識精度を高めることが可能となる。したがって、このような対象地物の画像認識結果を利用する自車両の挙動の学習の精度を高めることが可能となる。
【0022】
また、前記学習挙動情報生成手段により生成された前記学習挙動情報を記憶する学習挙動情報記憶手段を更に備える構成とすると好適である。
【0023】
この構成によれば、学習挙動情報生成手段により生成された学習挙動情報を、学習挙動情報記憶手段に記憶しておくことができる。したがって、前記検出挙動記憶手段に記憶された検出挙動情報に基づいて、必要に応じて学習挙動情報を生成する場合と比べて、演算処理の負荷を軽減することができ、学習挙動情報を迅速且つ容易に利用することが可能となる。
【0024】
また、前記学習挙動情報に基づいて、当該学習挙動情報が示す対象地物が画像認識された際に、当該対象地物と関係付けられた自車両の挙動が発生することを予測し、当該挙動の予測結果を出力する挙動予測手段を更に備える構成とすると好適である。
【0025】
この構成によれば、上記のように高精度な自車両の挙動の学習結果である学習挙動情報を利用して、当該学習挙動情報が示す対象地物が画像認識された際に、当該認識された対象地物を基準として高精度に自車両の挙動を予測することが可能となる。
【0026】
また、前記画像認識手段による対象地物の認識位置を表す認識位置情報を取得する認識位置情報取得手段と、前記画像認識手段により認識された対象地物の属性を表す地物属性情報と、前記認識位置情報取得手段により取得された前記認識位置情報とを含む認識地物情報を記憶する認識地物記憶手段と、同じ対象地物が複数回画像認識されることにより前記認識地物記憶手段に記憶された、同じ対象地物についての複数の前記認識地物情報に基づいて、当該対象地物の学習結果を表す学習地物情報を生成する学習地物情報生成手段と、を更に備える構成とすると好適である。
【0027】
この構成によれば、同じ対象地物が複数回画像認識されることにより認識地物記憶手段に記憶された、同じ対象地物についての複数の認識地物情報に基づいて学習地物情報を生成することができる。したがって、自車両の挙動と共に、画像認識された対象地物についても同時に学習することができる。また、この学習地物情報は、同じ対象地物が複数回画像認識されることにより認識地物記憶手段に記憶された、同じ対象地物についての複数の認識地物情報に基づいて生成される。したがって、各認識地物情報に誤差が含まれる場合であっても、複数の認識地物情報を用いて誤差を平均化し、対象地物の学習結果の精度を高めることが可能となる。
【0028】
また、前記検出挙動記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記検出挙動情報を記憶する構成とすると好適である。
【0029】
例えば、自車両に加わる外的要因による自車両の動作などのように、複数の別の車両においても共通に生じる挙動については、複数の車両において検出された挙動についての検出挙動情報を収集することにより、特定の位置で生じる車両の挙動をより迅速に学習することが可能となる。この構成によれば、複数の車両により検出した挙動についての検出挙動情報を、複数の車両と通信可能に接続された検出挙動記憶手段に記憶することができる。したがって、多くの検出挙動情報を迅速に認識結果記憶手段に集積することができる。
【0030】
また、上記のように自車両の挙動を予測する挙動予測手段を備える構成において、前記挙動予測手段は、前記挙動の予測結果を、自車両の案内情報の出力のための演算処理を行うナビゲーション用演算手段に対して出力する構成とすると好適である。
【0031】
この構成によれば、挙動予測手段による挙動の予測結果に基づいて、ナビゲーション用演算手段が適切な案内情報の出力を行うことが可能となる。例えば、右折や左折等の自車両の挙動を予測して、自車位置表示や経路案内を精度良く行うことが可能となる。
【0032】
また、上記のように自車両の挙動を予測する挙動予測手段を備える構成において、前記挙動予測手段は、前記挙動の予測結果を、前記運転者の操作を再現する自車両内の制御装置に対して出力する構成とすると好適である。
【0033】
この構成によれば、挙動予測手段による挙動の予測結果に基づいて、当該制御装置は運転者の操作を再現することができる。つまり、運転者の能動的な操作のアシストを行い、あるいは運転者の能動的な操作に先行して同一の操作を実施したりすることができる。その結果、運転者の利便性を高めることが可能となる。
【0034】
また、上記のように自車両の挙動を予測する挙動予測手段を備える構成において、前記挙動予測手段は、前記挙動の予測結果を、自車両の動作を最適化する制御装置に対して出力する構成とすると好適である。
【0035】
この構成によれば、挙動予測手段による挙動の予測結果に基づいて、当該制御装置が自車両の挙動を最適化することができる。例えば、シフト制御装置や、エンジン制御装置、ハイブリッド車両のモータ制御装置、アクティブサスペンションの制御装置などは、挙動予測手段の予測結果に基づいて自車両の挙動を最適化することができる。その結果、乗車中の快適性の向上や、燃費向上などを図ることができる。
【0036】
また、前記学習地物情報は、複数の前記認識地物情報に示される同じ対象地物についての前記地物属性情報と、当該対象地物についての複数の前記認識位置情報を統計的に処理して求めた推測位置情報とを含む構成とすると好適である。
【0037】
この構成によれば、学習地物情報が、同じ対象地物についての複数の前記認識位置情報を統計的に処理して求めた推測位置情報を含むので、比較的精度の高い対象地物の認識位置の情報を学習地物情報に含めることができる。したがって、対象地物の画像認識処理を精度良く行うことが可能となる。
【0038】
また、前記学習地物情報生成手段により生成された前記学習地物情報を記憶する学習地物情報記憶手段を更に備える構成とすると好適である。
【0039】
この構成によれば、学習地物情報生成手段により生成された学習地物情報を、学習地物情報記憶手段に記憶しておくことができる。したがって、前記認識地物記憶手段に記憶された認識地物情報に基づいて、必要に応じて学習地物情報を生成する場合と比べて、演算処理の負荷を軽減することができ、学習地物情報を迅速且つ容易に利用することが可能となる。
【0040】
また、前記認識地物記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記認識地物情報を記憶する構成とすると好適である。
【0041】
この構成によれば、複数の車両により画像認識した対象地物についての認識地物情報を、複数の車両と通信可能に接続された認識地物記憶手段に記憶することができる。したがって、多くの認識地物情報を迅速に認識地物記憶手段に集積することができる。
【0042】
本発明に係るナビゲーション装置の特徴構成は、上記の各構成を備えた車両挙動学習装置と、地図情報が記憶された地図情報記憶手段と、前記学習挙動情報及び前記地図情報の一方又は双方を参照して動作するアプリケーションプログラムと、前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、を備える点にある。
【0043】
この特徴構成によれば、アプリケーションプログラムは、高い精度を伴って学習された学習挙動情報を利用して動作することが可能である。よって、より高い精度を有して案内情報を出力することができる。例えば、右折や左折等の自車両の挙動を予測して、実際の自車位置とは異なる道路への誤マッチング等を防止でき、自車位置表示や経路案内を精度良く行うことが可能となる。
【0044】
本発明に係る車両挙動学習プログラムの特徴構成は、自車両の周辺の画像情報を取得する画像情報取得ステップと、前記画像情報に含まれる対象地物の画像認識処理を行う画像認識ステップと、自車両の挙動を検出する挙動検出ステップと、前記挙動検出ステップにより検出された自車両の挙動と、当該挙動の検出より前に前記画像認識ステップにより認識された対象地物との関係を表す関係情報を取得する関係情報取得ステップと、前記挙動検出ステップにより検出された自車両の挙動の属性を表す挙動属性情報と、当該挙動について前記関係情報取得ステップにより取得された前記関係情報とを含む検出挙動情報を検出挙動記憶手段に記憶する検出挙動記憶ステップと、前記検出挙動記憶手段に記憶された前記検出挙動情報に基づいて、対象地物と関係付けられた自車両の挙動の学習結果を表す学習挙動情報を生成する学習挙動情報生成ステップと、をコンピュータに実行させる点にある。
【0045】
この特徴構成によれば、挙動検出ステップにより検出された自車両の挙動の属性を表す挙動属性情報と、当該挙動の検出より前に画像認識ステップにより認識された対象地物との関係を表す関係情報とを含む検出挙動情報に基づいて、自車両の挙動の学習結果を表す学習挙動情報が生成される。すなわち、自車両の挙動は、対象地物の画像認識結果と関連付けられた情報として学習される。したがって、GPS測位や自律航法のみにより自車両の挙動を単独で学習する場合と比較して、対象地物の画像認識結果を併せて利用することになり、特定の位置において検出される自車両の挙動を高精度に学習することが可能となる。また、既に生成された学習挙動情報を用いれば、次に同じ対象地物を画像認識した場合に、自車両の挙動を予測することも可能となる。
【発明を実施するための最良の形態】
【0046】
次に、本発明の実施形態について図面に基づいて説明する。図1は、本実施形態に係るナビゲーション装置1の概略構成を示すブロック図である。このナビゲーション装置1は、本発明の実施形態としての車両挙動学習装置2及び自車位置認識装置3を含んで構成されている。このナビゲーション装置1は、自車両C(図4参照)の挙動を検出し、当該挙動の検出より前に画像認識された対象地物と関係付けて学習する。そして、このような自車両Cの挙動の学習結果に基づいて、次に同じ対象地物が画像認識された際に自車両Cの挙動を予測して、適切な自車両の制御を行う。更に、このナビゲーション装置1は、対象地物の画像認識結果に基づいて、対象地物の位置や地物属性等も表す地物情報Fの学習も行う。
【0047】
図1に示すナビゲーション装置1の各機能部は、互いに共通の或いはそれぞれ独立のCPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。そして、これらの各機能部は、互いに情報の受け渡しを行うことができるように構成されている。また、ナビゲーション装置1の各データベースDB1〜DB5は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えている。以下、本実施形態に係るナビゲーション装置1の各部の構成について詳細に説明する。
【0048】
1.地図データベース
地図データベースDB1は、所定の区画毎に分けられた地図情報Mが記憶されたデータベースである。図2は、地図データベースDB1に記憶されている地図情報Mの構成の例を示す図である。この図に示すように、地図情報Mは、交差点に対応する多数のノードnと、各交差点間を結ぶ道路に対応するリンクkとの接続関係により道路ネットワークを表す道路情報Raを有している。各ノードnは、緯度及び経度で表現された地図上の位置(座標)の情報を有している。各リンクkは、ノードnを介して接続されている。また、各リンクkは、その属性情報として、道路種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報を有している。ここで、道路種別情報は、例えば、自動車専用道路、市街道路、細街路、山岳路等のように、道路を複数の種別に区分した際の道路種別の情報である。これらのリンクkの属性情報が、道路属性情報Rb(図1参照)に相当する。そして、本実施形態においては、この地図データベースDB1が、本発明における地図情報記憶手段に相当する。なお、図2においては、一つの区画の道路情報Raのみを図示し、他の区画の道路情報Raは省略して示している。
【0049】
2.地物データベース
地物データベースDB2は、道路上や道路周辺に設けられた各種の地物の情報、すなわち地物情報Fが記憶されたデータベースである。図1に示すように、本実施形態においては、地物データベースDB2には、初期地物情報Fa及び学習地物情報Fbの2種類の情報が記憶される。ここで、初期地物情報Faとは、地物データベースDB2に予め整備されて記憶されている複数の地物についての地物情報Fである。このような初期地物情報Faは、道路情報Raを含む地図情報Mが整備されている全ての地域の中で、大都市周辺や幹線道路等の一部の地域についてのみ整備されている。一方、学習地物情報Fbとは、後述するように、画像認識部24による対象地物の画像認識結果を用いて学習した結果として学習地物情報生成部44により生成され、地物データベースDB2に記憶される地物情報Fである。なお、以下の説明において、単に「地物情報F」というときは、これら初期地物情報Fa及び学習地物情報Fbを総称するものとする。本実施形態においては、この地物データベースDB2が、本発明における学習地物情報記憶手段に相当する。
【0050】
この地物データベースDB2に地物情報Fが記憶される地物には、道路の路面に設けられた道路標示(ペイント標示)が含まれている。図3は、地物データベースDB2に記憶されている道路標示の地物情報Fの例を示す図である。このような道路標示に係る地物としては、例えば、横断歩道、停止線、最高速度等を表す速度標示、ゼブラゾーン、道路に沿って車線を分ける区画線(実線、破線、二重線等の各種区画線を含む。)、各車線の進行方向を指定する進行方向別通行区分標示(矢印標示、例えば、直進矢印、右折矢印等を含む)等が含まれる。なお、地物情報Fが記憶される地物としては、このような道路標示のほか、信号機、標識、陸橋、トンネル等の各種の地物も含めることができる。
【0051】
また、地物情報Fは、その内容として各地物の位置情報と、それに関連付けられた地物属性情報とを有している。ここで、位置情報は、道路情報Raを構成するリンクk又はノードn等と関連付けられた各地物の代表点の地図上の位置(座標)、及び各地物の向きの情報を有している。本例では、代表点は、各地物の長さ方向及び幅方向の中央部付近に設定される。また、地物属性情報は、各地物を他の地物と識別するための識別情報(地物ID)、各地物の地物種別を表す種別情報、或いは、地物の形状、大きさ、色彩等の地物形態情報等を含んでいる。ここで、地物種別は、具体的には、「横断歩道」、「停止線」、「速度標示(30km/時)」等のような、基本的に同じ形態を有する地物の種別を表す情報である。また、地物情報Fは、近接する他の地物との関係を表す地物関係情報や、当該他の地物との間の地物間距離を表す地物間距離情報を有する構成としても好適である。ここで、地物関係情報は、自車両C(図4参照)が道路に沿って進行中に、一つの地物を画像認識することにより、前方に存在する他の地物を予測できるようにするための情報である。また、地物間距離情報は、そのような前方に存在する地物までの自車両Cからの距離を正確に予測するための情報である。
【0052】
3.地物学習データベース
地物学習データベースDB3は、後述する認識地物情報生成部42により生成された認識地物情報Aを記憶するデータベースである。この地物学習データベースDB3内には、画像認識部24による認識に成功した複数の対象地物のそれぞれについての認識地物情報Aが記憶される。この地物学習データベースDB3に記憶される認識地物情報Aの具体的な内容については、後で詳細に説明する。本実施形態においては、この地物学習データベースDB3が、本発明における認識地物記憶手段に相当する。
【0053】
4.挙動学習データベース
挙動学習データベースDB4は、後述する検出挙動情報生成部48により生成された検出挙動情報Bを記憶するデータベースである。この挙動学習データベースDB4内には、挙動検出部17により検出された複数の挙動のそれぞれについての検出挙動情報Bが記憶される。この挙動学習データベースDB4に記憶される検出挙動情報Bの具体的な内容については、後で詳細に説明する。本実施形態においては、この挙動学習データベースDB4が、本発明における検出挙動記憶手段に相当する。
【0054】
5.挙動データベース
挙動データベースDB5は、後述する学習挙動情報生成部50により生成された学習挙動情報Sを記憶するデータベースである。この挙動データベースDB5内には、学習挙動検出部17により検出された複数の挙動のそれぞれについての学習挙動情報Sが記憶される。この挙動データベースDB5に記憶される学習挙動情報Sの具体的な内容については、後で詳細に説明する。本実施形態においては、この挙動データベースDB5が、本発明における学習挙動情報記憶手段に相当する。
【0055】
6.画像情報取得部
画像情報取得部12は、撮像装置11により撮像した自車両の周辺の画像情報Gを取得する画像情報取得手段として機能する。ここで、撮像装置11は、撮像素子を備えた車載カメラ等であって、少なくとも自車両Cの周辺の道路の路面を撮像可能な位置に設けられている。このような撮像装置11としては、例えば、図4に示すような自車両Cの後方の路面を撮像するバックカメラを用いると好適である。画像情報取得部12は、撮像装置11により撮像した撮像情報をフレームメモリ(不図示)などを介して所定の時間間隔で取り込む。この際の画像情報Gの取り込みの時間間隔は、例えば、10〜50ms程度とすることができる。これにより、画像情報取得部12は、撮像装置11により撮像した複数フレームの画像情報Gを連続的に取得することができる。ここで取得された画像情報Gは、画像認識部24へ出力される。
【0056】
7.自車位置情報取得部
自車位置情報取得部16は、自車両Cの現在位置を示す自車位置情報Pを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部16は、GPS受信機13、方位センサ14、及び距離センサ15と接続されている。ここで、GPS受信機13は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置情報取得部16へ出力される。自車位置情報取得部16では、GPS受信機13で受信されたGPS衛星からの信号を解析し、自車両Cの現在位置(座標)、進行方位、移動速度等の情報を取得することができる。方位センサ14は、自車両Cの進行方位又はその進行方位の変化を検出するセンサである。この方位センサ14は、例えば、ジャイロスコープ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ14は、その検出結果を自車位置情報取得部16へ出力する。距離センサ15は、自車両Cの車速や移動距離を検出するセンサである。この距離センサ15は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Cの加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ15は、その検出結果としての車速及び移動距離の情報を自車位置情報取得部16へ出力する。また、本実施形態においては、方位センサ14及び距離センサ15は、その検出結果を、挙動検出部17へも出力する。
【0057】
自車位置情報取得部16は、これらのGPS受信機13、方位センサ14及び距離センサ15からの出力に基づいて、公知の方法により自車位置を特定する演算を行う。また、自車位置情報取得部16は、地図データベースDB1から抽出された自車位置周辺の道路情報Raを取得し、それに基づいて公知のマップマッチングを行うことにより自車位置を道路情報Raに示される道路上に合わせる補正も行う。このようにして、自車位置情報取得部16は、座標(緯度及び経度)で表された自車両Cの現在位置の情報、及び自車両Cの進行方位の情報を含む自車位置情報Pを取得する。
【0058】
8.挙動検出部
挙動検出部17は、自車両Cの挙動を検出する挙動検出手段として機能する。図1に示すように、挙動検出部17は、自車両Cの各部に設けられた各種のセンサやスイッチ等からの信号の入力を受けて自車両Cの挙動を検出する。挙動検出部17に信号を出力する各種センサとしては、上述した方位センサ14及び距離センサ15のほか、例えば、振動センサ19、傾斜センサ20、加速度センサ21、アクセルセンサ(不図示)、ブレーキセンサ(不図示)、照度センサ(不図示)等がある。また、挙動検出部17に信号を出力する各種スイッチとしては、例えば、空調スイッチ22、ウィンドウスイッチ23、ヘッドライト操作スイッチ(不図示)、オーディオ操作スイッチ(不図示)、ナビゲーション用のタッチパネルを備えた表示入力装置29やリモートコントローラ(不図示)等がある。
【0059】
振動センサ19は、自車両Cの車体に伝わる振動を検出するセンサである。この検出結果は、例えばアクティブサスペンションの制御等に用いられる。傾斜センサ20は、自車両Cの車体の傾斜状態を検出するセンサである。この検出結果により、自車両Cが走行中の道路の傾斜状態を知ることができる。加速度センサ21は、自車両Cの加速や減速の加速度を検出するセンサである。アクセルセンサは、運転者によるアクセルペダルの操作量(アクセル開度)を検出するセンサである。ブレーキセンサは、運転者によるブレーキペダルの操作量やブレーキ踏力等を検出するセンサである。照度センサは、ヘッドライトの自動制御等のために自車両Cの外部の明るさを検出するセンサである。
【0060】
空調スイッチ22は、空調装置の温度設定や外気導入又は室内循環の切り替え等を行うためのスイッチである。ウィンドウスイッチ23は、窓の開閉を行うためのスイッチである。ヘッドライト操作スイッチは、ヘッドライトの点灯又は消灯やハイビーム又はロービームの切り替え等を行うためのスイッチである。オーディオ操作スイッチは、オーディオの音量設定や再生指示等を行うためのスイッチである。ナビゲーション用の表示入力装置29やリモートコントローラ(不図示)は、ナビゲーション装置1を構成するナビゲーション用演算部27に対する指示の入力を行うためのスイッチを備えている。
【0061】
本実施形態において、挙動検出部17により検出される自車両Cの挙動には、検出可能である特徴的なあらゆる挙動が含まれ、自車両Cの各部における運転者の操作の受け付け及び自車両Cの動作が含まれる。また、この自車両Cの動作には、運転者の操作によって生じる自車両Cの各部や車両全体の動作、或いは、外部から自車両Cに加わる外的要因によって生じる自車両Cの各部や車両全体の動作等が含まれる。例えば、空調スイッチ22、ウィンドウスイッチ23、ヘッドライト操作スイッチ(不図示)、オーディオ操作スイッチ(不図示)、ナビゲーション用の表示入力装置29やリモートコントローラ(不図示)等の各種スイッチの操作、アクセルセンサやブレーキセンサ等の各種センサ等により検出される運転者の操作は、自車両Cの各部における運転者の操作の受け付けに係る挙動として、挙動検出部17により検出される。
【0062】
また、例えば、運転者のステアリング操作により方位センサ14が検出する自車両Cの進行方位の変化、運転者のアクセルペダルやブレーキペダルの操作により加速度センサ21が検出する自車両Cの加速度の変化、運転者のシフト操作やアクセル操作による変速装置の変速段の変更等、運転者の操作の受け付けの結果として各種センサ等により検出される自車両Cの動作は、運転者の操作による自車両Cの動作に係る挙動として、挙動検出部17により検出される。また、例えば、ナビゲーション用の表示入力装置29が備えるタッチパネルやリモートコントローラ(不図示)等の操作に基づくナビゲーション用演算部27の動作も、運転者の操作による自車両Cの動作に係る挙動として、挙動検出部17により検出される。このようなナビゲーション用演算部27の動作としては、例えば、運転者の操作に基づく、渋滞情報の取得、地図表示縮尺の変更、画面表示輝度の変更、案内経路の変更等が含まれる。
【0063】
また、例えば、段差や荒れた路面を通過することにより振動センサ19が検出する自車両Cの振動や衝撃、坂道を走行することにより傾斜センサ20及び加速度センサ21が検出する自車両Cの加速度の変化、カーブを走行することにより方位センサ14が検出する自車両Cの進行方位の変化等、外的要因によって生じて各種センサ等により検出される自車両Cの動作は、外的要因による自車両Cの動作に係る挙動として、挙動検出部17により検出される。なお、運転者の操作による自車両Cの動作と外的要因による自車両Cの動作とは、厳密に区別することができるものばかりではなく、いずれにも属する自車両Cの動作も存在する。
【0064】
本実施形態においては、挙動検出部17は、挙動属性情報生成部18を備えている。挙動属性情報生成部18は、挙動検出部17により自車両Cの挙動が検出された場合に、当該挙動の属性を表す挙動属性情報Ba(図7参照)を生成する挙動属性情報生成手段として機能する。この挙動属性情報Baは、後述するように検出挙動情報B及び学習挙動情報Sの一部を構成する。ここで、挙動属性情報Baにより表される挙動の属性は、挙動検出部17により検出された挙動の内容や種別を、他の挙動に対して識別するための分類を表す情報である。したがって、挙動属性情報Baは、例えば以下のような内容の情報となる。
【0065】
すなわち、運転者の操作の受け付けに係る挙動に関する挙動属性情報Baとしては、例えば、「空調装置の外気導入から室内循環への切り替え操作」、「運転席側の窓の開操作」、「ヘッドライトのロービームからハイビームへの切り替え操作」、「シフトレバーのシフトダウン操作」等がある。また、運転者の操作による自車両Cの動作に係る挙動に関する挙動属性情報Baは、例えば、「左折」、「右折」、「左カーブ」、「右カーブ」、「加速」、「減速」、「停止」、「変速装置のシフトダウン」、「ナビゲーション装置の地図表示縮尺の変更」、「ナビゲーション装置の案内経路の変更」等がある。また、外的要因による自車両Cの動作に係る挙動に関する挙動属性情報Baは、例えば、「振動」、「衝撃」、「上り傾斜」、「下り傾斜」等のほか、運転者の操作による自車両Cの動作に係る挙動と重複するものとして、「左カーブ」、「右カーブ」、「加速」、「減速」等がある。なお、以上の挙動属性情報Baの内容は単なる一例であり、挙動属性情報Baにより表される挙動の属性の分類のレベルは、識別可能とする挙動をどの程度まで細分化するかに応じて任意に定めることができる。
【0066】
9.画像認識部
画像認識部24は、画像情報取得部12で取得された画像情報Gに含まれる対象地物の画像認識処理を行う画像認識手段として機能する。本実施形態においては、画像認識部24は、道路の路面に設けられた道路標示を対象地物として画像認識処理を行う。具体的には、画像認識部24は、対象地物の画像認識に際しては、画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている対象地物(道路標示)の輪郭情報を抽出する。その後、画像認識部24は、抽出された地物の輪郭情報と、対象地物となり得る各種地物の形態の特徴量とのパターンマッチングを行うことにより、画像情報Gに含まれる対象地物の画像を抽出する。また、画像認識部24は、抽出された地物の輪郭情報と特徴量がマッチングする地物の地物種別を、画像情報Gに含まれる対象地物の地物種別として認識する。そして、画像認識部24は、パターンマッチングに成功した場合に対象地物の画像認識に成功したと判定する。一方、画像認識部24は、画像情報Gについて画像認識処理を行った結果、パターンマッチングに失敗した場合には、対象地物の画像認識に失敗したと判定する。
【0067】
また、本実施形態においては、画像認識部24は、地物属性情報生成部25を備えている。地物属性情報生成部25は、画像認識部24により認識された対象地物について、当該対象地物の属性を表す地物属性情報を生成する地物属性情報生成手段として機能する。この地物属性情報は、後述するように認識地物情報A及び学習地物情報Fbの一部を構成する。ここで、地物属性情報により表される対象地物の属性は、当該一つの対象地物を他の対象地物と識別できるものであればよい。したがって、例えば、地物属性情報は、当該対象地物の地物種別、当該対象地物の具体的形状や大きさ、当該対象地物が存在するリンクkのリンクID、当該対象地物が存在する概略の位置等の中から選択される一又は二以上の情報を有して構成される。このような地物属性情報を構成する情報は、画像認識部24による当該対象地物の画像認識結果や、当該対象地物が認識された画像情報Gの取得時の自車位置情報P等に基づいて生成される。
【0068】
10.自車位置情報補正部
自車位置情報補正部26は、画像認識部24による対象地物の画像認識処理の結果と、当該対象地物についての地物データベースDB2に記憶された地物情報Fとに基づいて自車位置情報Pを補正する自車位置情報補正手段として機能する。本実施形態では、自車位置情報補正部26は、まず、画像認識部24による画像認識処理の結果と、撮像装置11の取付位置、取付角度、及び画角等とに基づいて、対象地物の画像を含む画像情報Gの取得時における自車両Cと対象地物との位置関係を演算する。次に、自車位置情報補正部26は、画像認識部24により認識された対象地物についての地物情報Fを地物データベースDB2から抽出する。そして、自車位置情報補正部26は、この自車両Cと対象地物との位置関係の演算結果と、当該対象地物についての地物情報Fに含まれる当該対象地物の位置情報とに基づいて、自車両Cの進行方向における対象地物の位置情報(地物情報F)を基準とする高精度な自車両Cの位置情報を演算して取得する。そして、自車位置情報補正部26は、このようにして取得した高精度な自車両Cの位置情報に基づいて、自車位置情報取得部16で取得した自車位置情報Pに含まれる、自車両Cの進行方向の現在位置の情報を補正する。その結果、自車位置情報取得部16は、このような補正後の高精度な自車位置情報Pを取得する。
【0069】
11.ナビゲーション用演算部
ナビゲーション用演算部27は、自車位置表示、出発地から目的地までの経路探索、目的地までの経路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラム28に従って動作する演算処理手段である。ここで、アプリケーションプログラム28は、自車位置情報P、地図情報M、学習挙動情報S、及び地物情報F等を参照して、ナビゲーション用演算部27に各種のナビゲーション機能を実行させる。例えば、ナビゲーション用演算部27は、自車位置情報Pに基づいて地図データベースDB1から自車両C周辺の地図情報Mを取得して表示入力装置29の表示画面に地図の画像を表示するとともに、当該地図の画像上に、自車位置情報Pに基づいて自車位置マークを重ね合わせて表示する処理を行う。この際、アプリケーションプログラム28は、学習挙動情報Sを参照することにより、後述する挙動予測部51によって右折や左折等の自車両Cの挙動を予測し、実際の自車両Cの位置とは異なる道路上の位置への誤マッチング等を防止できる。また、ナビゲーション用演算部27は、地図データベースDB1に記憶された地図情報Mに基づいて、所定の出発地から目的地までの経路探索を行う。更に、ナビゲーション用演算部27は、探索された出発地から目的地までの経路と自車位置情報Pとに基づいて、表示入力装置29及び音声出力装置30の一方又は双方を用いて、運転者に対する経路案内を行う。表示入力装置29は、液晶表示装置等の表示装置とタッチパネルや操作スイッチ等の入力装置が一体となったものである。音声出力装置30は、スピーカ等を有して構成されている。本実施形態においては、ナビゲーション用演算部27、表示入力装置29、及び音声出力装置30が、本発明における案内情報出力手段31として機能する。
【0070】
12.認識位置情報取得部
認識位置情報取得部41は、画像認識部24により画像認識に成功した対象地物について、当該対象地物の認識位置を表す認識位置情報を取得する認識位置情報取得手段として機能する。本実施形態においては、認識位置情報取得部41は、まず、画像認識部24による画像認識処理において、対象地物の画像認識に成功したか否かを監視する。そして、画像認識部24により、対象地物の画像認識に成功した場合には、認識位置情報取得部41は、当該画像認識結果と、自車位置情報取得部16により取得された自車位置情報Pとに基づいて当該対象地物の認識位置を導出する。ここでは、認識位置情報取得部41は、認識に成功した対象地物の画像を含む画像情報Gを取得した際の自車位置情報Pを、当該対象地物の認識位置情報として取得する。このように取得される対象地物の認識位置情報は、自車位置情報Pを基準として導出されるため、自車位置情報Pが有する誤差を反映した位置の情報となる。
【0071】
13.認識地物情報生成部
認識地物情報生成部42は、画像認識部24により画像認識に成功した対象地物について、地物属性情報生成部25により生成された当該対象地物の地物属性情報と、認識位置情報取得部41により取得された当該対象地物の認識位置情報とを含む認識地物情報Aを生成する認識地物情報生成手段として機能する。そして、認識地物情報生成部42は、生成した認識地物情報Aを地物学習データベースDB3に記憶する。以下、認識地物情報生成部42が行う処理の詳細について、図5及び図6を用いて説明する。図5は、対象地物の画像認識結果に基づく地物情報Fの学習処理の概要を説明するための説明図である。そして、図5(a)は、自車両Cが走行する実際の道路に設けられた道路標示(対象地物)の一例である。この例では、画像認識部24は、速度標示の「30」の文字を対象地物f1としての画像認識することになる。図5(b)は、地物学習データベースDB3に記憶された認識地物情報Aの一例である。図5(c)は、地物学習データベースDB3に記憶された学習結果が反映された地物データベースDB2の一例である。
【0072】
本実施形態においては、認識地物情報生成部42は、図5(b)に示すように、各対象地物について認識地物情報Aを、認識位置情報取得部41により取得された認識位置情報に基づいて、当該認識位置情報が示す当該対象地物の認識位置が属する所定の位置範囲についての学習値として生成する。そして、認識地物情報生成部42は、当該対象地物を認識する度に学習値を前記位置範囲毎に加算して記憶することとしている。本例では、所定の位置範囲は、道路を表すリンクkに沿った方向に一定距離毎に区分され設定された範囲であり、例えば、リンクkに沿った方向に0.5〔m〕毎に区分された範囲とする。また、学習値は、一つの対象地物の画像認識に成功する毎に、地物学習データベースDB3における当該対象地物の認識位置が属する位置範囲に加算される値であり、例えば、一つの対象地物の画像認識に成功する毎に1点とする。すなわち、本例では、認識地物情報Aは、対象地物の認識位置情報として、当該対象地物の認識位置が含まれる位置範囲を表す情報と、その学習値「1」の情報を有して構成される。
【0073】
図6は、図5(b)に示す地物学習データベースDB3に記憶された学習値の対象地物f1に関する部分の拡大図である。例えば、図5(a)の例において、対象地物f1の画像認識に成功した場合であって、認識位置情報取得部41により取得された対象地物f1の認識位置が、図6中に「a4」として示される位置範囲であった場合には、この図6中に破線で示すように、当該位置範囲a4の学習値に1が加算される。そして、自車両Cが同じ道路を複数回通行することにより、同じ対象地物f1が複数回画像認識されると、地物学習データベースDB3には、図5(b)及び図6に示すように、当該対象地物が認識される毎に生成された複数の認識地物情報Aとしての学習値が、当該対象地物の認識位置を表す位置範囲毎に積算されて蓄積される。そして、後述するように、学習値が所定の学習しきい値T1以上になると、学習地物情報生成部44により当該対象地物についての学習地物情報Fbが生成され、地物データベースDB2に記憶される。図5の例では、図5(c)に示すように、対象地物f1に対応する学習地物情報Fb1が、地物データベースDB2に記憶される。
【0074】
また、認識地物情報生成部42は、当該認識地物情報Aが示す対象地物を他の対象地物に対して識別可能な状態とするため、地物属性情報生成部25により生成された当該対象地物の地物属性情報を有している。すなわち、地物学習データベースDB3に記憶される認識地物情報Aは、当該対象地物の認識位置情報としての位置範囲を表す情報及びその学習値「1」の情報を有するとともに、当該対象地物の地物属性を表す地物属性情報が関連付けられて構成されている。上記のとおり、この地物属性情報は、例えば、地物属性情報は、当該対象地物の地物種別、当該対象地物の具体的形状や大きさ、当該対象地物が存在するリンクkのリンクID、当該対象地物が存在する概略の位置等の中から選択される一又は二以上の情報を有して構成される。
【0075】
14.推測位置判定部
推測位置判定部43は、地物学習データベースDB3に記憶された各対象地物についての複数の前記認識位置情報を統計的に処理して求めた推測位置情報を取得する推測位置情報取得手段として機能する。そのため、推測位置判定部43は、同じ対象地物が複数回画像認識されることにより地物学習データベースDB3に記憶された、同じ対象地物についての複数の認識地物情報Aに基づいて、図5に示すように、当該対象地物についての推測認識位置paを判定し、当該推測認識位置paを当該対象地物の道路上の位置に変換することにより当該対象地物の推測位置pgを判定する処理を行う。本実施形態においては、推測位置判定部43は、まず、同じ対象地物についての複数の認識地物情報Aの分布に基づいて、当該分布の代表値を当該対象地物についての推測認識位置paとして判定する。ここでは、分布の代表値として最頻値を用いる。すなわち、推測位置判定部43は、各対象地物についての認識地物情報Aとしての学習値が、最初に所定の学習しきい値T1以上となった位置範囲を代表する位置を、当該対象地物についての推測認識位置paと判定する。一例として、図5の例における対象地物f1の推測認識位置paを判定する場合の判定方法について説明する。図6に示すように、対象地物f1についての認識地物情報Aとしての学習値は、位置範囲a4において最初に学習しきい値T1以上となっている。したがって、推測位置判定部43は、位置範囲a4を代表する位置、例えば位置範囲a4の中央位置pa4を、対象地物f1の推測認識位置paと判定する。
【0076】
次に、推測位置判定部43は、上記のようにして判定された対象地物の推測認識位置paを、当該対象地物の道路上の位置に変換して当該対象地物の推測位置pgを判定する。このような変換は、撮像装置11の取付位置、取付角度、及び画角等から理論上求められる自車両Cと画像情報G中の対象地物との位置関係に基づいて行うことができる。そして、このようにして推測位置判定部43により求められた対象地物の推測位置pgを表す情報が、当該対象地物の推測位置情報として取得される。
【0077】
15.学習地物情報生成部
学習地物情報生成部44は、同じ対象地物が複数回画像認識されることにより地物学習データベースDB3に記憶された同じ対象地物についての複数の認識地物情報Aに基づいて、当該対象地物の学習結果を表す学習地物情報Fbを生成する学習地物情報生成手段として機能する。ここで、学習地物情報Fbは、複数の認識地物情報Aに示される同じ対象地物についての地物属性情報と、推測位置判定部43により当該対象地物についての複数の認識位置情報Aを統計的に処理して求めた、当該対象地物の推測位置pgを表す推測位置情報とを含んで構成される。すなわち、学習地物情報生成部44は、推測位置判定部43により取得された各対象地物の推測位置pgを表す推測位置情報と、当該対象地物についての認識地物情報Aに含まれる地物属性情報とを関連付けて学習地物情報Fbを生成する。またこの際、学習地物情報生成部44は、各学習地物情報Fbの地物属性情報として、各地物を他の地物と識別するための識別情報(地物ID)を付与する。これにより、学習地物情報Fbは、初期地物情報Faと同様に、位置情報及びそれに関連付けられた地物属性情報を備えた情報として生成される。そして、この学習地物情報生成部44で生成された学習地物情報Fbは、地物データベースDB2に記憶される。本実施形態においては、図5(c)に示すように、学習地物情報Fb1が、学習地物情報生成部44により生成され、地物データベースDB2に記憶されている。なお、この図に表されている黒い四角形「■」は、学習地物情報Fb1の位置情報が示す対象地物f1の推測位置pgを表している。
【0078】
16.関係情報生成部
関係情報生成部45は、挙動検出部17により自車両Cの挙動が検出された場合に、当該検出された自車両Cの挙動と、当該挙動の検出より前に画像認識部24により認識された対象地物との関係を表す関係情報Br(図7参照)を取得する関係情報取得手段として機能する。ここで、関係情報生成部45は、自車両Cの移動距離を検出する移動距離検出手段としての距離センサ15、及び自車両Cの現在位置を表す自車位置情報Pを取得する自車位置情報取得部16の少なくとも一方からの情報に基づいて関係情報Brを取得する。そのため、本実施形態においては、関係情報生成部45は、図1に示すように、距離情報生成部46及び地物特定情報生成部47を有して構成されている。そこで、以下に、これら距離情報生成部46及び地物特定情報生成部47が行う処理の詳細について説明する。
【0079】
なお、以下の説明においては、自車両Cの挙動の具体例に関する検出挙動情報B及び学習挙動情報Sの内容を示す図7を適宜参照する。ここで、図7(a)は、自車両Cが実際に走行する道路の状況の具体例を示している。この図7(a)の例では、自車両Cは、速度標示の「30」の文字の対象地物f1の上を通過した後、距離100〔m〕進行してから交差点Nで左折している。したがって、本例では、画像認識部24が対象地物f1を画像認識した後に、距離100〔m〕進行した交差点Nにおいて挙動検出部17が自車両Cの「左折」の挙動を検出することになる。図7(b)は、当該挙動についての検出挙動情報Bの例を示し、図7(c)は、当該挙動についての学習挙動情報Sの例を示している。
【0080】
16−1.距離情報生成部
距離情報生成部46は、画像認識部24により認識された対象地物の認識位置から挙動検出部17により検出された自車両Cの挙動の検出位置までの距離を表す距離情報Bc(図7(b)参照)を生成する距離情報生成手段として機能する。すなわち、距離情報生成部46は、図7(a)の例に示すように、画像認識部24により対象地物f1が認識された後に、挙動検出部17により自車両Cの挙動が検出された場合に、当該対象地物の認識位置から当該挙動の検出位置までの距離である地物−挙動間距離Lを検出して距離情報Bcを生成する。そのため、本実施形態においては、距離情報生成部46は、距離センサ15により検出される自車両Cの移動距離の情報を用いて、地物−挙動間距離Lを検出する。
【0081】
すなわち、距離情報生成部46は、画像認識部24により対象地物が認識された際の自車両Cの位置を始点とし、自車両Cの挙動が検出されるまでの自車両Cの移動距離を地物−挙動間距離Lとして検出する。このように距離センサ15からの出力を用いることにより、自車位置情報Pとは無関係に地物−挙動間距離Lを検出することができる。そして、距離情報生成部46は、このように検出した地物−挙動間距離Lを表す情報を距離情報Bcとする。図7(a)に示す例では、実際の地物−挙動間距離Lが100〔m〕である。したがって、当該地物−挙動間距離Lの距離センサ15による検出結果として、図7(b)に示すように、距離センサ15の検出誤差が含まれた値が、距離情報生成部46により距離情報Bcとして生成される。
【0082】
16−2.地物特定情報生成部
地物特定情報生成部47は、画像認識部24により認識された対象地物を特定するための地物特定情報Bbを生成する地物特定情報生成手段として機能する。すなわち、地物特定情報生成部47は、図7(a)の例に示すように、画像認識部24により対象地物f1が認識された後に、挙動検出部17により自車両Cの挙動が検出された場合に、当該認識された対象地物f1を特定するための地物特定情報Bbを生成する。本実施形態においては、地物特定情報Bbは、地物学習データベースDB3に記憶された認識地物情報Aを特定するための識別情報(図7(b)の例では地物ID(ID=××××))としている。すなわち、地物特定情報生成部47は、画像認識部24により対象地物f1が認識された後、当該認識された対象地物f1についての認識地物情報Aが認識地物情報生成部42により生成され、地物学習データベースDB3に記憶される際に、当該認識地物情報Aを特定するための識別情報を取得する。そして、地物特定情報生成部47は、当該識別情報を地物特定情報Bbとして生成する。これにより、後述する検出挙動情報B又は学習挙動情報Sに含まれる地物特定情報Bbに基づいて、地物学習データベースDB3に記憶された認識地物情報Aを参照することにより、検出挙動情報B又は学習挙動情報Sに示される対象地物の地物属性や認識位置を特定することが可能となる。
【0083】
なお、地物学習データベースDB3に記憶された認識地物情報Aを特定するための識別情報は、各認識地物情報Aに付された地物IDに限られるものではなく、例えば、地物学習データベースDB3内の各認識地物情報Aの格納場所等のような他の情報とすることも可能である。
【0084】
そして、図7(b)に示すように、本実施形態においては、距離情報生成部46により生成された距離情報Bcと、地物特定情報生成部47により生成された地物特定情報Bbとにより、関係情報Brが構成される。
【0085】
17.検出挙動情報生成部
検出挙動情報生成部48は、挙動検出部17により検出された自車両Cの挙動の属性を表す挙動属性情報Baと、当該挙動について関係情報生成部45により取得された関係情報Brとを含む検出挙動情報Bを生成する検出挙動生成手段として機能する。本実施形態においては、上記のとおり、挙動属性情報Baは、挙動検出部17により自車両Cの挙動が検出された際に挙動属性情報生成部18により生成される。また、関係情報Brを構成する距離情報Bc及び地物特定情報Bbは、関係情報生成部45の距離情報生成部46及び地物特定情報生成部47により生成される。そこで、検出挙動情報生成部48は、これらの挙動属性情報Baと関係情報Brとを関連付けて検出挙動情報Bを生成する。そして、検出挙動情報生成部48は、生成した検出挙動情報Bを挙動学習データベースDB4に記憶する。
【0086】
ここで、ある一つの挙動についての複数の検出挙動情報Bでは、当該挙動の挙動属性、及び当該挙動の検出前に画像認識される対象地物は同一となる。したがって、本実施形態においては、検出挙動情報生成部48は、同じ挙動についての複数の検出挙動情報Bについて、挙動属性情報Ba及び地物特定情報Bbを共通とした一まとめの情報として挙動学習データベースDB4に記憶する。図7(b)は、図7(a)の例に示される一つの挙動(「左折」)についての複数の検出挙動情報Bを一つにまとめて格納した例を示している。この例では、検出挙動情報Bは、「左折」の挙動を内容とする一つの挙動属性情報Baと、「ID=××××」の識別情報を内容とする地物特定情報Bbとに関連付けられた複数の距離情報Bcにより構成されている。そして、これら複数の距離情報Bcは、距離センサ15による検出誤差を含むため、実際の地物−挙動間距離Lである100〔m〕に近い値ではあるが、それぞれ若干異なる値となっている。
【0087】
18.平均距離判定部
平均距離判定部49は、同じ挙動についての複数の検出挙動情報Bに示される同じ挙動についての複数の距離情報Bcの平均値を判定し、平均距離情報Scを生成する。本実施形態においては、平均距離判定部49は、ある一つの挙動について挙動属性情報Ba及び地物特定情報Bbを共通として一つにまとめて記憶された検出挙動情報Bの複数の距離情報Bcについて平均値を判定する。そして、判定された同じ挙動についての複数の距離情報Bcの平均値を、平均距離情報Scとして生成する。図7(c)に示される学習挙動情報Sの例では、平均距離情報Scは、図7(b)の例に示される一つの挙動(「左折」)についての検出挙動情報Bの複数の距離情報Bcの全ての値の平均値(「100.1〔m〕」)となっている。そして、このように平均距離判定部49により生成される平均距離情報Scと、同じ挙動についての複数の検出挙動情報Bに共通する地物特定情報Bbとにより、本発明における統計的関係情報Srが構成される。よって、本実施形態においては、平均距離判定部49は、複数の検出挙動情報Bに示される同じ挙動についての複数の関係情報Brを統計的に処理して求めた統計的関係情報Srを生成する統計的関係情報生成手段として機能する。
【0088】
19.学習挙動情報生成部
学習挙動情報生成部50は、挙動学習データベースDB4に記憶された検出挙動情報Bに基づいて、対象地物と関係付けられた自車両Cの挙動の学習結果を表す学習挙動情報Sを生成する学習挙動情報生成手段として機能する。本実施形態においては、学習挙動情報生成部50は、基本的に、同じ挙動が複数回検出されることにより挙動学習データベースDB4に記憶された、同じ挙動についての複数の検出挙動情報Bに基づいて学習挙動情報Sを生成する。そして、学習挙動情報Sは、複数の検出挙動情報Bに示される同じ挙動についての挙動属性情報Baと、当該挙動についての複数の関係情報Brを統計的に処理して求めた統計的関係情報Srとを含んで構成される。ここでは、統計的関係情報Srは、平均距離判定部49により生成される平均距離情報Scと、同じ挙動についての複数の検出挙動情報Bに共通する地物特定情報Bbとにより構成される。したがって、この学習挙動情報Sは、ある一つの挙動についての複数の検出挙動情報Bについて共通の挙動属性情報Ba及び地物特定情報Bbと、当該挙動についての複数の検出挙動情報Bに示される同じ挙動についての複数の距離情報Bcの平均値である平均距離情報Scとを関連付けた情報として構成される。図7(c)に示される例では、学習挙動情報Sは、「左折」の挙動を内容とする一つの挙動属性情報Baと、「ID=××××」の識別情報を内容とする地物特定情報Bbと、これらに関連付けられた「100.1〔m〕」を内容とする平均距離情報Scとにより構成されている。そして、学習挙動情報生成部50は、生成した学習挙動情報Sを挙動データベースDB5に記憶する。
【0089】
なお、学習挙動情報生成部50は、ある一つの挙動について挙動学習データベースDB4に一つの検出挙動情報Bしかない場合には、当該一つの検出挙動情報Bに基づいて学習挙動情報Sを生成する。この場合、学習挙動情報Sの統計的関係情報Srに含まれる平均距離情報Scが、検出挙動情報Bの距離情報Bcと同じになるため、学習挙動情報Sの内容は、実質的に検出挙動情報Bと同じとなる。以下では、複数の検出挙動情報Bに基づいて学習挙動情報Sを生成する場合を例として説明する。
【0090】
20.挙動予測部
挙動予測部51は、挙動データベースDB5に記憶された学習挙動情報Sに基づいて、当該学習挙動情報Sが示す対象地物が画像認識された際に、当該対象地物と関係付けられた自車両Cの挙動が発生することを予測し、当該挙動の予測結果を出力する挙動予測手段として機能する。そのために、挙動予測部51は、画像認識部24により対象地物が画像認識された際に、当該認識された対象地物に係る学習挙動情報Sを、各学習挙動情報Sに含まれる地物特定情報Bbを参照することにより挙動データベースDB5から抽出して取得する。そして、当該抽出された学習挙動情報Sに含まれる挙動属性情報Baと平均距離情報Scとに基づいて、自車両Cの挙動を予測する。具体的には、挙動予測部51は、対象地物を画像認識した認識位置から平均距離情報Scに示される距離を移動した時に、挙動属性情報Baに示される自車両Cの挙動が発生するという予測を行う。そして、挙動予測部51は、当該挙動の予測結果を、自車両Cの動作や制御等に反映するために、自車両Cの種々の制御手段に対して出力する。このような挙動の予測結果の出力先としては、例えば、自車両Cの案内情報の出力のための演算処理を行うナビゲーション用演算部27や、運転者の操作を再現するため、或いは運転者の操作による自車両の動作又は外的要因による自車両の動作を最適化するための制御装置である車両制御部52等がある。このような挙動の予測結果に関する具体的な適用例については、後に複数の例を挙げて詳細に説明する。
【0091】
21.挙動学習処理
次に、本実施形態に係るナビゲーション装置1に含まれる車両挙動学習装置2において実行される自車両Cの挙動の学習処理の手順(車両挙動学習プログラム)について説明する。図8は、本実施形態に係る挙動学習処理の全体の手順を示すフローチャートである。また、図9は、本実施形態において、図8に示す挙動学習処理の一部として含まれる地物学習処理の手順を示すフローチャートである。以下に説明する処理の手順は、上記の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、ナビゲーション装置1が有する演算処理装置が、上記の各機能部を構成する車両挙動学習プログラムを実行するコンピュータとして動作する。以下では、まず、挙動学習処理の全体の手順について説明する。
【0092】
21−1.挙動学習処理の全体の手順
図8に示すように、車両挙動学習装置2では、まず、自車位置情報取得部16により自車位置情報Pを取得する(ステップ#01)。次に、画像情報取得部12により、撮像装置11により撮像した自車両Cの周辺の画像情報Gを取得する(ステップ#02)。その後、画像認識部24により、画像情報Gに含まれる対象地物の画像認識処理を行う(ステップ#03)。このステップ#03により対象地物が認識されなかった場合には(ステップ#04:No)、処理はステップ#01へ戻り、再び自車位置情報P及び画像情報Gの取得を行う。そして、ステップ#03により画像情報Gに含まれる対象地物を認識した場合には(ステップ#04:Yes)、地物学習処理を実行する(ステップ#05)。この地物学習処理の手順については、後に図9に示すフローチャートに基づいて詳細に説明する。
【0093】
また、ステップ#05の地物学習処理と並行して、関係情報生成部45の距離情報生成部46により、地物−挙動間距離Lの測定を開始する(ステップ#06)。ここで、地物−挙動間距離Lは、上記のとおり、ステップ#03により認識された対象地物の認識位置から、後述するステップ#07により検出される自車両Cの挙動の検出位置までの距離である。このステップ#06では、ステップ#03により対象地物が認識された際の自車両Cの位置を始点として距離の測定を開始する。次に、挙動検出部17により、自車両Cの挙動の検出処理を実行する(ステップ#07)。このステップ#07の挙動検出処理では、挙動検出部17は自車両Cの挙動を検出可能な状態で待機する。そして、自車両Cの挙動を検出するまでに(ステップ#08:No)、測定中の地物−挙動間距離Lが所定の中止しきい値以上となった場合には(ステップ#16:Yes)、地物−挙動間距離Lの測定を中止し(ステップ#17)、処理を終了する。一方、測定中の地物−挙動間距離Lが所定の中止しきい値未満の状態で(ステップ#16:No)、自車両Cの挙動を検出した場合には(ステップ#08:Yes)、距離情報生成部46による地物−挙動間距離Lの測定を終了する(ステップ#09)。その後、測定された地物−挙動間距離Lを表す距離情報Bcと、地物特定情報生成部47により生成される地物特定情報Bbとにより構成される関係情報Brを取得する(ステップ#10)。
【0094】
次に、挙動検出情報生成部48により、ステップ#07で検出された自車両Cの挙動の属性を表す挙動属性情報Baと、当該挙動についてステップ#10で取得された関係情報Brとを含む検出挙動情報Bを生成する(ステップ#11)。そして、生成した検出挙動情報Bを挙動学習データベースDB4に記憶する(ステップ#12)。次に、以上の処理によって挙動学習データベースDB4に記憶された同じ挙動についての複数の検出挙動情報Bに基づいて、平均距離判定部49により、平均距離情報Scを生成する(ステップ#13)。ここで、平均距離情報Scは、上記のとおり、同じ挙動についての複数の検出挙動情報Bに示される同じ挙動についての複数の距離情報Bcの平均値の情報とされる。その後、同じ挙動が複数回検出されることにより挙動学習データベースDB4に記憶された同じ挙動についての複数の検出挙動情報Bに基づいて、学習挙動情報生成部50により、対象地物と関係付けられた自車両Cの挙動の学習結果を表す学習挙動情報Sを生成する(ステップ#14)。そして、生成した学習挙動情報Sを挙動データベースDB5に記憶する(ステップ#15)。以上で、車両挙動学習装置2における挙動学習処理の全体の手順を終了する。
【0095】
21−2.地物学習処理の手順
次に、本実施形態に係る挙動学習処理の一部として含まれる地物学習処理の手順について説明する。図8のステップ#05の地物学習処理では、図9に示すように、まず、認識位置情報取得部41により、図8のステップ#03で認識した対象地物の認識位置情報を自車位置情報Pに基づいて取得する(ステップ#21)。次に、認識地物情報生成部42により、学習値の情報を有する認識地物情報Aを生成する(ステップ#22)。すなわち、上記のとおり、認識地物情報Aは、対象地物の認識時に地物属性情報生成部25により生成された当該対象地物の地物属性情報と、ステップ#21で取得された当該対象地物の認識位置情報に基づく位置範囲毎の学習値の情報とが関連付けられて構成される。そして、例えば図5(b)に示すように、このような学習値の情報を有する認識地物情報Aを地物学習データベースDB3に記憶する(ステップ#23)。ここで、地物学習データベースDB3に記憶された当該対象地物についての認識地物情報Aの学習値が、所定の学習しきい値T1未満である場合には(ステップ#24:No)、処理はそのまま終了する。
【0096】
一方、地物学習データベースDB3に記憶された当該対象地物についての認識地物情報Aの学習値が、所定の学習しきい値T1以上である場合には(ステップ#24:Yes)、推測位置判定部43により、当該対象地物の推測位置pgを判定する(ステップ#25)。その後、学習地物情報生成部44により、当該対象地物についての、ステップ#25で判定された推測位置pgと当該対象地物についての認識地物情報Aに含まれる地物属性情報とを関連付けた学習地物情報Fbを生成する(ステップ#26)。そして、生成した学習地物情報Fbを地物データベースDB2に記憶する(ステップ#27)。以上で、地物学習処理の手順を終了する。
【0097】
22.挙動予測処理
次に、本実施形態に係るナビゲーション装置1に含まれる車両挙動学習装置2において実行される自車両Cの挙動予測処理の手順(車両挙動予測プログラム)について説明する。図10は、本実施形態に係る挙動予測処理の手順を示すフローチャートである。以下に説明する処理の手順は、上記の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、ナビゲーション装置1が有する演算処理装置が、上記の各機能部を構成する車両挙動予測プログラムを実行するコンピュータとして動作する。
【0098】
図10に示すように、車両挙動学習装置2における挙動予測処理では、まず、自車位置情報取得部16により自車位置情報Pを取得する(ステップ#31)。次に、画像情報取得部12により、撮像装置11により撮像した自車両Cの周辺の画像情報Gを取得する(ステップ#32)。その後、画像認識部24により、画像情報Gに含まれる対象地物の画像認識処理を行う(ステップ#33)。このステップ#33により対象地物が認識されなかった場合には(ステップ#34:No)、処理はステップ#31へ戻り、再び自車位置情報P及び画像情報Gの取得を行う。そして、ステップ#33により画像情報Gに含まれる対象地物を認識した場合には(ステップ#34:Yes)、挙動予測部51により、当該対象地物に係る学習挙動情報Sを挙動データベースDB5から抽出して取得する(ステップ#35)。
【0099】
そして、ステップ#35で取得した学習挙動情報Sに基づいて、挙動予測部51により、自車両Cの挙動を予測する(ステップ#36)。ここでは、挙動予測部51は、上記のとおり、学習挙動情報Sに含まれる挙動属性情報Baと平均距離情報Scとに基づいて、対象地物を画像認識した認識位置から平均距離情報Scに示される距離を移動した時に、挙動属性情報Baに示される自車両Cの挙動が発生するという予測を行う。その後、挙動予測部51は、当該挙動予測結果を、自車両Cの動作や制御等に反映するために、自車両Cの種々の制御手段に対して出力する(ステップ#37)。以上で、車両挙動学習装置2における挙動予測処理の手順を終了する。
【0100】
23.適用例1
以下、本発明に係る車両挙動学習装置2の具体的な適用例について説明する。図11は、自車位置情報取得部16により取得される自車位置情報Pの軌跡に基づいて車両挙動を学習する例を示す説明図である。本例において、自車両Cは幹線道路K1を走行し、別の幹線道路K2との大きな交差点N2に至る前に交差点N3において細街路K3へと左折する。平行する幹線道路K2と、細街路K3とが近い場合、つまり交差点N2とN3との距離が短い場合、自車位置情報取得部16は自車位置情報Pに示される自車両Cの現在位置を、誤った道路上にマップマッチングする場合がある。自車両Cは、図11に実線で示すように細街路K3へ左折して進行しているにも拘わらず、自車位置情報Pに示される自車両Cの現在位置が、図11に破線で示すように幹線道路K2上にマップマッチングされ、当該自車位置情報Pに示される自車両Cの位置が自車位置マークPcとして表示入力装置29に表示される場合がある。このような誤マッチングは、ナビゲーション用演算部27により自動で、或いは運転者により手動で、修正されるが、短時間であっても現実とは異なる誤った位置を示す自車位置マークPcが表示入力装置29に表示されることになる。本発明の車両挙動学習装置2を用いることによって、このような誤マッチングを抑制することができる。
【0101】
図11に示す例では、自車両Cの運転者は、交差点N3に至る前に方向指示器を操作し、ブレーキを操作して自車両Cを減速させ、交差点N3においては左折の操舵を行う。このような方向指示器、ブレーキ、ステアリングへの運転者による操作は、挙動検出部17により車両の挙動として検出される。また、このような自車両Cの左折動作に伴い、方位センサ24により検出される自車両Cの進行方位の変化も、運転者の操作の結果生じる自車両Cの挙動として挙動検出部17により検出される。一方、自車両Cは、このような自車両Cの左折の挙動を検出する前に、交差点N1を通過している。交差点N1の前後には、横断歩道の対象地物f2及びf3があり、これらは対象地物として画像認識部24において認識される。したがって、本例では、これらの対象地物f2及びf3の一方又は双方と関係付けられた自車両Cの挙動についての検出挙動情報Bが生成され、挙動学習データベースDB4に記憶される。
【0102】
この細街路K3への左折が例えば自宅への経路であれば、自車両Cは、幹線道路K1から細街路K3へ至る同じ経路を複数回通行する。したがって、挙動学習データベースDB4には、自車両Cの同一の挙動についての複数の検出挙動情報Bが記憶される。そして、このような複数の検出挙動情報Bに基づいて、対象地物f2、f3と関係付けられた自車両Cの挙動の学習結果を表す学習挙動情報Sが生成され、挙動データベースDB5に記憶される。この学習挙動情報Sには、自車両Cの左折の挙動やその際の運転者による方向指示器の操作等の挙動を表す挙動属性情報Baと、対象地物f2及びf3の一方又は双方を特定する地物特定情報Bbと、地物−挙動間距離Lの平均値を表す平均距離情報Scとが含まれる。
【0103】
図12は、ナビゲーション用演算部27による自車位置表示において車両挙動の予測結果を利用する例を示す説明図である。上述したように、自車両Cの学習挙動情報Sが挙動データベースDB5に記憶された状態で、自車両Cが幹線道路K1を通行する場合を考える。自車両Cが交差点N1を通過すると、画像認識部24により横断歩道の対象地物f2及びf3が認識される。挙動予測部51は、対象地物f2、f3に関連づけられた学習挙動情報Sを挙動データベースDB5から抽出して取得し、交差点N3において自車両Cが左折する可能性が高いことを予測する。また、挙動予測部51は、このような挙動の予測結果を、ナビゲーション用演算部27に対して出力する。そして、予測された位置において自車両Cが左折すると、ナビゲーション用演算部27は、自車両Cが、幹線道路K2ではなく細街路K3に進入したと判定して、自車位置マークPcを細街路K3上に合わせて表示入力装置29に表示させる。また、この際、挙動予測部51が、このような挙動の予測結果を自車位置情報取得部16に対して出力し、自車位置情報Pを補正する構成としても好適である。
【0104】
このように、本発明に係る車両挙動学習装置2を適用することによって、ナビゲーション装置1における自車位置表示や経路案内の精度を向上させることができる。
【0105】
24.適用例2
上述した適用例1では、自車両Cの挙動として、自車両Cの各部において受け付けられる運転者の操作、及び当該運転者の操作の結果生じる自車両Cの動作を挙動検出部17が検出する場合の例を示した。本適用例2では、外部から自車両Cに加わる外的要因による自車両Cの動作が挙動として検出される場合の例について説明する。
【0106】
ナビゲーション装置1からの道路情報を元に、自車両Cのサスペンションの減衰力を制御し、カーブ走行時の操舵安定性を向上し、或いは段差における振動の減衰力を最適に制御するシステムがある。これらは、サスペンションの制御とナビゲーション装置1とが協調して実施されることから、ナビ協調サスペンションシステムと称される。通常、このナビ協調サスペンションシステムは、主としてナビゲーション装置1がGPS受信機13や方位センサ14、距離センサ15などを通じて取得する自車位置情報Pを用いて実施される。しかし、上述したように、この自車位置情報Pは誤差を含むため、サスペンションの制御が最適な位置からずれる場合がある。
【0107】
本発明に係る挙動学習装置2を適用すると、振動センサ19や方位センサ14、加速度センサ21等により、カーブ走行や段差通過による自車両Cの挙動が、検出挙動情報Bとして挙動学習データベースDB4に記憶される。そして、自車両Cが同じ経路を複数回通行することにより、挙動学習データベースDB4に記憶される複数の検出挙動情報Bに基づいて、当該挙動についての学習挙動情報Sが生成され、挙動データベースDB5に記憶される。
【0108】
このようにして生成され、記憶された学習挙動情報Sに基づいて、該当する対象地物に関連づけられた段差通過やカーブ走行などによる自車両Cの挙動が挙動予測部51によって予測される。そして、この挙動予測結果が、ナビ協調サスペンションシステムの制御装置(車両制御部52)に出力され、サスペンションの制御が実施される。したがって、例えば、道路の特定の場所に段差が生じている場合に、当該段差の通行時に振動・衝撃を受けることを予測して、最適なサスペンションの制御を行うことが可能となる。その結果、従来に比べてより精密な制御が可能となる。このようなナビ協調サスペンションシステムの制御装置は、本発明における自車両の動作を最適化する制御装置に相当する。
【0109】
なお、この適用例2で検出される挙動は、外部から自車両Cに加わる外的要因による自車両Cの動作に係る挙動である。このため、運転者や車両への依存性が低く、道路自体への依存性が高い。従って、例えば、複数の車両と通信可能なサーバ等に挙動学習データベースDB4や挙動データベースDB5等を設け、複数の車両で検出挙動情報Bや学習挙動情報Sを共有化することも、本発明の好適な実施形態の一つである。このような構成とすることにより、特定の位置で生じる車両の挙動をより迅速に学習することが可能となる。
【0110】
25.適用例3
本適用例3では、地図データベースDB1に記憶された道路情報Raと運転者の操作の受け付けとに基づいて、自車両Cのエンジンや自動変速装置などを最適に制御する例について説明する。これは、自動変速装置などのシフト制御とナビゲーショ装置1とが協調して実施されることから、ナビ協調シフト制御と称される。例えば、上り坂を走行する際、運転者の好みによって、登坂車線などをゆっくりと登ったり、キックダウンを行って高速で登ったりする場合がある。挙動検出部17は、例えばこのキックダウンの動作を検出挙動情報Bとして検出する。この挙動が同じ対象地物を基準として、繰り返し検出された場合には、この運転操作を運転者の癖として学習する。つまり、この挙動は、対象地物と関連付けられて学習挙動情報Sとして挙動データベースDB5に記憶される。
【0111】
挙動予測部51は、記憶された学習挙動情報Sに基づいて、画像認識部24により該当する対象地物を認識した際に、シフトダウンが必要であると予測する。この予測結果に基づいて、ナビ協調シフト制御システムは、燃費なども考慮して最適なシフト制御を行う。尚、この制御は、エンジン、変速装置などいわゆるパワートレインの種々の機構に対して実施することができる。また、駆動力源としてエンジンとモータとを有したハイブリッド車両では、各駆動力源の動作状態を最適な状態とするように制御することができる。
【0112】
26.適用例4
運転者の操作の受け付けに係る自車両Cの挙動として、運転者によるサンバイザーの操作を検出してもよい。この際、GPS受信機13からは、時刻情報や日付情報も取得可能である。従って、運転者がまぶしさを感じる時間帯、場所、方角と合わせて学習挙動情報Sを生成し、記憶することができる。挙動予測部51が、この学習挙動情報Sに基づいて運転者がまぶしさを感じることを予測すると、例えば、表示入力装置29の表示画面の輝度を高く調整する、電動サンバイザーを駆動する、などの制御を各装置の制御部が実施する。
【0113】
27.適用例5
運転者の操作の受け付けに係る自車両Cの挙動として、運転者による空調装置の操作を空調スイッチ22からの入力に基づいて検出してもよい。例えば、通常は空調装置を外気導入で使用する運転者が、ある地点において繰り返し内気循環に切り替えるという挙動を、学習挙動情報Sとして生成し、記憶する。これは、運転者が交通量の多い幹線道路を走行する際に、他の車両の排気ガスが自車両Cに浸入しないように、空調スイッチ22を操作する場合の例である。挙動予測部51は、学習挙動情報Sに基づいて、空調装置が操作されることを予測する。空調装置の制御部は、この予測結果に基づいて、自動的に外気導入から内気循環に切り替える。内気循環への切り替えが遅れ、排気ガスが自車両Cにわずかでも浸入すると、不快であるが、このように自動的に切り替わることで、車内の快適性が確保される。
【0114】
28.その他の実施形態
【0115】
(1)上記の実施形態では、関係情報生成部45により生成される関係情報Brが、距離情報生成部46により生成された距離情報Bcと、地物特定情報生成部47により生成された地物特定情報Bbとを有して構成される場合の例について説明した。しかし、関係情報Brの内容はこのような例に限定されるものではない。したがって、例えば、関係情報Brが、距離情報Bc及び地物特定情報Bbのいずれか一方を含む構成とし、或いは、これら以外の、自車両の挙動と当該挙動の検出より前に前記画像認識手段により認識された対象地物との関係を表す情報を含む構成としても好適である。
【0116】
(2)上記の実施形態では、図7(b)に示すように、同じ挙動についての複数の検出挙動情報Bについて、挙動属性情報Ba及び地物特定情報Bbを共通とした一まとめの情報として挙動学習データベースDB4に記憶する場合の例について説明した。しかし、挙動学習データベースDB4に記憶する際の検出挙動情報Bの形式はこのようなものに限定されるものではない。したがって、同じ挙動についての複数の検出挙動情報Bを、それぞれ別個に挙動学習データベースDB4に記憶する構成とすることも、本発明の好適な実施形態の一つである。
【0117】
(3)上記の実施形態では、複数の検出挙動情報Bに示される同じ挙動についての複数の関係情報Brを統計的に処理して求めた統計的関係情報Srとして、平均距離判定部49により、同じ挙動についての複数の距離情報Bcの平均値である平均距離情報Scを求める場合を例として説明した。しかし、統計的関係情報Srの内容はこれに限定されるものではない。したがって、例えば、同じ挙動についての複数の距離情報Bcの分布に基づいて、当該分布の最頻値や中央値等の他の代表値を統計的距離情報として判定し、当該統計的距離情報と地物特定情報Bb等とを含む情報を統計的関係情報Srとすることも、本発明の好適な実施形態の一つである。
【0118】
(4)上記の実施形態では、車両挙動学習装置2が挙動予測部51を備え、自車両Cの挙動の予測結果を車両制御部52等に出力する構成である場合を例として説明した。しかし、本発明に係る車両挙動学習装置2の構成は、これに限定されるものではなく、挙動予測部51を備えない構成とすることも、本発明の好適な実施形態の一つである。例えば、車両挙動学習装置2は、右折や左折等の自車両Cの進路変更に関わる挙動と、地図情報Mに含まれる道路形状等とに基づいて、当該進路変更の挙動が地図上の道路形状に適合するように、自車位置情報取得部16により取得される自車位置情報Pを補正する自車位置情報補正手段を備える構成としても好適である。この場合、本発明に係る車両挙動学習装置2は、自車位置認識装置の一部を構成する。
【0119】
(5)上記の実施形態では、認識位置情報取得部41により取得する認識位置情報を、画像認識に成功した際の自車両Cの位置を表す情報とする場合の例について説明した。しかし、対象地物の認識位置を表す認識位置情報として取得する位置情報は、これに限定されるものではない。したがって、例えば、画像認識に成功した対象地物について、自車位置情報Pと画像情報Gの画像認識結果とに基づいて、自車位置情報Pを基準とする当該対象地物の道路上の位置を演算し、当該道路上の対象地物の位置を認識位置情報として認識位置情報取得部41により取得する構成とすることも、本発明の好適な実施形態の一つである。
【0120】
(6)上記の実施形態では、推測位置判定部43が、同じ対象地物についての複数の認識地物情報Aの分布に基づいて、当該分布の最頻値を当該対象地物の推測認識位置paとして判定し、当該推測認識位置paを、対象地物の道路上の位置に変換して対象地物の推測位置pgを判定する構成である場合の例について説明した。しかし、推測位置判定部43による推測位置pgの判定方法はこれに限定されない。したがって、例えば、認識地物情報Aの分布に基づいて、当該分布の平均値や中央値等の他の代表値を当該対象地物の推測認識位置paとして判定する構成とすることも、本発明の好適な実施形態の一つである。
【0121】
(7)上記の実施形態では、道路の路面に設けられた各種の道路標示を対象地物とする場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、道路の周辺に設けられた様々な地物を対象地物とすることが可能である。したがって、例えば、道路標識、案内標識、看板、信号機、マンホール等の各種の地物を対象地物とすることが可能である。
【0122】
(8)上記の実施形態における各データベースDB1〜DB5の分け方は単なる一例であり、各データベースDB1〜DB5のハードウェア構成を限定するものではない。したがって、例えば、地物データベースDB2と地物学習データベースDB3とを一つのデータベースとし、挙動学習データベースDB4と挙動データベースDB5とを一つのデータベースとし、或いは、地図データベースDB1と地物データベースDB2とを一つのデータベースとするなど、任意の構成を採用することができる。
【0123】
(9)上記の実施形態では、本発明に係る車両挙動学習装置2を含むナビゲーション装置1の全ての構成が自車両Cに搭載される場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。すなわち、本発明の認識地物記憶手段としての地物学習データベースDB3及び検出挙動記憶手段としての挙動学習データベースDB4の一方又は双方を含む車両挙動学習装置2の一部の構成が、図13に示すように、無線通信回線等を介して、複数の車両Cと通信可能に接続されたサーバ装置60に設置された構成とすることも、本発明の好適な実施形態の一つである。車両挙動学習装置2をこのような構成とすれば、複数の車両Cによる挙動の学習結果や対象地物の学習結果をサーバ装置60に設置された挙動学習データベースDB4や地物学習データベースDB3に集積することができる。したがって、より多くの検出挙動情報Bや認識地物情報Aを用いて、迅速に学習挙動情報Sや学習地物情報Fbを生成することが可能となる。なお、サーバ装置60に設置する車両挙動学習装置2の構成は、地物学習データベースDB3や挙動学習データベースDB4に限られず、撮像装置11や自車位置情報取得部16等のような、自車両Cに搭載する必要がある構成以外の全ての構成を、サーバ装置60に設置することが可能である。したがって、例えば、地図データベースDB1、地物データベースDB2、及び挙動データベースDB5のいずれか一つ以上を、サーバ装置60に設置しても好適である。
【0124】
(10)上記の各実施形態では、本発明に係る車両挙動学習装置2をナビゲーション装置1に利用する場合の例について説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、本発明に係る車両挙動学習装置2を、ナビゲーション装置1とは無関係な車両の走行制御装置等に利用する等のように、本発明を上記の実施形態とは異なる他の構成に適用することも当然に可能である。
【産業上の利用可能性】
【0125】
本発明は、自車両の挙動を学習する車両挙動学習装置及び車両挙動学習プログラムに好適に利用することが可能である。
【図面の簡単な説明】
【0126】
【図1】本発明の実施形態に係る車両挙動学習装置を含むナビゲーション装置の概略構成を示すブロック図
【図2】地図データベースに記憶されている地図情報の構成の例を示す図
【図3】地物データベースに記憶されている道路標示の地物情報の例を示す図
【図4】自車両への撮像装置の配置構成の一例を示す図
【図5】対象地物の画像認識結果に基づく地物情報の学習処理の概要を説明するための説明図
【図6】図5(b)に示す学習データベースに記憶された学習値の要部拡大図
【図7】自車両の挙動の具体例に関する検出挙動情報及び学習挙動情報の内容を示す図
【図8】本発明の実施形態に係る挙動学習処理の全体の手順を示すフローチャート
【図9】本発明の実施形態に係る地物学習処理の手順を示すフローチャート
【図10】本発明の実施形態に係る挙動予測処理の手順を示すフローチャート
【図11】自車位置情報取得部により取得される自車位置情報の軌跡に基づいて車両挙動を学習する例を示す説明図
【図12】ナビゲーション用演算部による自車位置表示において車両挙動の予測結果を利用する例を示す説明図
【図13】本発明の実施形態に係る車両挙動学習装置の一部の構成がサーバ装置に設置された例を示す図
【符号の説明】
【0127】
1:ナビゲーション装置
2:車両挙動学習装置
12:画像情報取得部(画像情報取得手段)
15:距離センサ(移動距離検出手段)
16:自車位置情報取得部(自車位置情報取得手段)
17:挙動検出部(挙動検出手段)
24:画像認識部(画像認識手段)
27:ナビゲーション用演算部(ナビゲーション用演算手段)
28:アプリケーションプログラム
31:案内情報出力手段
41:認識位置情報取得部(認識位置情報取得手段)
44:学習地物情報生成部(学習地物情報生成手段)
45:関係情報生成部(関係情報取得手段)
50:学習挙動情報生成部(学習挙動情報生成手段)
51:挙動予測部(挙動予測手段)
52:車両制御部(制御装置)
DB1:地図データベース(地図情報記憶手段)
DB2:地物データベース(学習地物情報記憶手段)
DB3:地物学習データベース(認識地物記憶手段)
DB4:挙動学習データベース(検出挙動記憶手段)
DB5:挙動データベース(学習挙動情報記憶手段)
C:自車両
M:地図情報
G:画像情報
P:自車位置情報
A:認識地物情報
Fb:学習地物情報
B:検出挙動情報
Ba:挙動属性情報
Br:関係情報
Bb:地物特定情報
Bc:距離情報
S:学習挙動情報
Sr:統計的関係情報
Sc:平均距離情報
【特許請求の範囲】
【請求項1】
自車両の周辺の画像情報を取得する画像情報取得手段と、
前記画像情報に含まれる対象地物の画像認識処理を行う画像認識手段と、
自車両の挙動を検出する挙動検出手段と、
前記挙動検出手段により検出された自車両の挙動と、当該挙動の検出より前に前記画像認識手段により認識された対象地物との関係を表す関係情報を取得する関係情報取得手段と、
前記挙動検出手段により検出された自車両の挙動の属性を表す挙動属性情報と、当該挙動について前記関係情報取得手段により取得された前記関係情報とを含む検出挙動情報を記憶する検出挙動記憶手段と、
前記検出挙動記憶手段に記憶された前記検出挙動情報に基づいて、対象地物と関係付けられた自車両の挙動の学習結果を表す学習挙動情報を生成する学習挙動情報生成手段と、
を備える車両挙動学習装置。
【請求項2】
前記挙動検出手段により検出される自車両の挙動は、自車両の各部における運転者の操作の受け付け、及び自車両の動作の少なくとも一方を含む請求項1に記載の車両挙動学習装置。
【請求項3】
前記関係情報は、前記画像認識手段により認識された対象地物の認識位置から前記挙動検出手段により検出された自車両の挙動の検出位置までの距離を表す距離情報を含む請求項1又は2に記載の車両挙動学習装置。
【請求項4】
前記関係情報は、前記画像認識手段により認識された対象地物を特定するための地物特定情報を含む請求項1から3のいずれか一項に記載の車両挙動学習装置。
【請求項5】
前記関係情報取得手段は、自車両の移動距離を検出する移動距離検出手段、及び自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段の少なくとも一方からの情報に基づいて前記関係情報を取得する請求項1から4のいずれか一項に記載の車両挙動学習装置。
【請求項6】
前記学習挙動情報は、同じ挙動が複数回検出されることにより前記検出挙動記憶手段に記憶された、同じ挙動についての複数の前記検出挙動情報に基づいて生成され、当該複数の検出挙動情報に示される同じ挙動についての前記挙動属性情報と、当該挙動についての複数の前記関係情報を統計的に処理して求めた統計的関係情報とを含む請求項1から5のいずれか一項に記載の車両挙動学習装置。
【請求項7】
前記対象地物は、道路の路面に設けられた道路標示である請求項1から6の何れか一項に記載の車両挙動学習装置。
【請求項8】
前記学習挙動情報生成手段により生成された前記学習挙動情報を記憶する学習挙動情報記憶手段を更に備える請求項1から7のいずれか一項に記載の車両挙動学習装置。
【請求項9】
前記学習挙動情報に基づいて、当該学習挙動情報が示す対象地物が画像認識された際に、当該対象地物と関係付けられた自車両の挙動が発生することを予測し、当該挙動の予測結果を出力する挙動予測手段を更に備える請求項1から8の何れか一項に記載の車両挙動学習装置。
【請求項10】
前記画像認識手段による対象地物の認識位置を表す認識位置情報を取得する認識位置情報取得手段と、
前記画像認識手段により認識された対象地物の属性を表す地物属性情報と、前記認識位置情報取得手段により取得された前記認識位置情報とを含む認識地物情報を記憶する認識地物記憶手段と、
同じ対象地物が複数回画像認識されることにより前記認識地物記憶手段に記憶された、同じ対象地物についての複数の前記認識地物情報に基づいて、当該対象地物の学習結果を表す学習地物情報を生成する学習地物情報生成手段と、
を更に備える請求項1から9の何れか一項に記載の車両挙動学習装置。
【請求項11】
前記検出挙動記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記検出挙動情報を記憶する請求項1から10のいずれか一項に記載の車両挙動学習装置。
【請求項12】
前記挙動予測手段は、前記挙動の予測結果を、自車両の案内情報の出力のための演算処理を行うナビゲーション用演算手段に対して出力する請求項9に記載の車両挙動学習装置。
【請求項13】
前記挙動予測手段は、前記挙動の予測結果を、運転者の操作を再現する自車両内の制御装置に対して出力する請求項9に記載の車両挙動学習装置。
【請求項14】
前記挙動予測手段は、前記挙動の予測結果を、自車両の動作を最適化する制御装置に対して出力する請求項9に記載の車両挙動学習装置。
【請求項15】
前記学習地物情報は、複数の前記認識地物情報に示される同じ対象地物についての前記地物属性情報と、当該対象地物についての複数の前記認識位置情報を統計的に処理して求めた推測位置情報とを含む請求項10に記載の車両挙動学習装置。
【請求項16】
前記学習地物情報生成手段により生成された前記学習地物情報を記憶する学習地物情報記憶手段を更に備える請求項10又は15に記載の車両挙動学習装置。
【請求項17】
前記認識地物記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記認識地物情報を記憶する請求項10、15、又は16に記載の車両挙動学習装置。
【請求項18】
請求項1〜17の何れか一項に記載の車両挙動学習装置と、
地図情報が記憶された地図情報記憶手段と、
前記学習挙動情報及び前記地図情報の一方又は双方を参照して動作するアプリケーションプログラムと、
前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、
を備えるナビゲーション装置。
【請求項19】
自車両の周辺の画像情報を取得する画像情報取得ステップと、
前記画像情報に含まれる対象地物の画像認識処理を行う画像認識ステップと、
自車両の挙動を検出する挙動検出ステップと、
前記挙動検出ステップにより検出された自車両の挙動と、当該挙動の検出より前に前記画像認識ステップにより認識された対象地物との関係を表す関係情報を取得する関係情報取得ステップと、
前記挙動検出ステップにより検出された自車両の挙動の属性を表す挙動属性情報と、当該挙動について前記関係情報取得ステップにより取得された前記関係情報とを含む検出挙動情報を検出挙動記憶手段に記憶する検出挙動記憶ステップと、
前記検出挙動記憶手段に記憶された前記検出挙動情報に基づいて、対象地物と関係付けられた自車両の挙動の学習結果を表す学習挙動情報を生成する学習挙動情報生成ステップと、
をコンピュータに実行させる車両挙動学習プログラム。
【請求項1】
自車両の周辺の画像情報を取得する画像情報取得手段と、
前記画像情報に含まれる対象地物の画像認識処理を行う画像認識手段と、
自車両の挙動を検出する挙動検出手段と、
前記挙動検出手段により検出された自車両の挙動と、当該挙動の検出より前に前記画像認識手段により認識された対象地物との関係を表す関係情報を取得する関係情報取得手段と、
前記挙動検出手段により検出された自車両の挙動の属性を表す挙動属性情報と、当該挙動について前記関係情報取得手段により取得された前記関係情報とを含む検出挙動情報を記憶する検出挙動記憶手段と、
前記検出挙動記憶手段に記憶された前記検出挙動情報に基づいて、対象地物と関係付けられた自車両の挙動の学習結果を表す学習挙動情報を生成する学習挙動情報生成手段と、
を備える車両挙動学習装置。
【請求項2】
前記挙動検出手段により検出される自車両の挙動は、自車両の各部における運転者の操作の受け付け、及び自車両の動作の少なくとも一方を含む請求項1に記載の車両挙動学習装置。
【請求項3】
前記関係情報は、前記画像認識手段により認識された対象地物の認識位置から前記挙動検出手段により検出された自車両の挙動の検出位置までの距離を表す距離情報を含む請求項1又は2に記載の車両挙動学習装置。
【請求項4】
前記関係情報は、前記画像認識手段により認識された対象地物を特定するための地物特定情報を含む請求項1から3のいずれか一項に記載の車両挙動学習装置。
【請求項5】
前記関係情報取得手段は、自車両の移動距離を検出する移動距離検出手段、及び自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段の少なくとも一方からの情報に基づいて前記関係情報を取得する請求項1から4のいずれか一項に記載の車両挙動学習装置。
【請求項6】
前記学習挙動情報は、同じ挙動が複数回検出されることにより前記検出挙動記憶手段に記憶された、同じ挙動についての複数の前記検出挙動情報に基づいて生成され、当該複数の検出挙動情報に示される同じ挙動についての前記挙動属性情報と、当該挙動についての複数の前記関係情報を統計的に処理して求めた統計的関係情報とを含む請求項1から5のいずれか一項に記載の車両挙動学習装置。
【請求項7】
前記対象地物は、道路の路面に設けられた道路標示である請求項1から6の何れか一項に記載の車両挙動学習装置。
【請求項8】
前記学習挙動情報生成手段により生成された前記学習挙動情報を記憶する学習挙動情報記憶手段を更に備える請求項1から7のいずれか一項に記載の車両挙動学習装置。
【請求項9】
前記学習挙動情報に基づいて、当該学習挙動情報が示す対象地物が画像認識された際に、当該対象地物と関係付けられた自車両の挙動が発生することを予測し、当該挙動の予測結果を出力する挙動予測手段を更に備える請求項1から8の何れか一項に記載の車両挙動学習装置。
【請求項10】
前記画像認識手段による対象地物の認識位置を表す認識位置情報を取得する認識位置情報取得手段と、
前記画像認識手段により認識された対象地物の属性を表す地物属性情報と、前記認識位置情報取得手段により取得された前記認識位置情報とを含む認識地物情報を記憶する認識地物記憶手段と、
同じ対象地物が複数回画像認識されることにより前記認識地物記憶手段に記憶された、同じ対象地物についての複数の前記認識地物情報に基づいて、当該対象地物の学習結果を表す学習地物情報を生成する学習地物情報生成手段と、
を更に備える請求項1から9の何れか一項に記載の車両挙動学習装置。
【請求項11】
前記検出挙動記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記検出挙動情報を記憶する請求項1から10のいずれか一項に記載の車両挙動学習装置。
【請求項12】
前記挙動予測手段は、前記挙動の予測結果を、自車両の案内情報の出力のための演算処理を行うナビゲーション用演算手段に対して出力する請求項9に記載の車両挙動学習装置。
【請求項13】
前記挙動予測手段は、前記挙動の予測結果を、運転者の操作を再現する自車両内の制御装置に対して出力する請求項9に記載の車両挙動学習装置。
【請求項14】
前記挙動予測手段は、前記挙動の予測結果を、自車両の動作を最適化する制御装置に対して出力する請求項9に記載の車両挙動学習装置。
【請求項15】
前記学習地物情報は、複数の前記認識地物情報に示される同じ対象地物についての前記地物属性情報と、当該対象地物についての複数の前記認識位置情報を統計的に処理して求めた推測位置情報とを含む請求項10に記載の車両挙動学習装置。
【請求項16】
前記学習地物情報生成手段により生成された前記学習地物情報を記憶する学習地物情報記憶手段を更に備える請求項10又は15に記載の車両挙動学習装置。
【請求項17】
前記認識地物記憶手段は、複数の車両と通信可能に接続され、複数の車両による前記認識地物情報を記憶する請求項10、15、又は16に記載の車両挙動学習装置。
【請求項18】
請求項1〜17の何れか一項に記載の車両挙動学習装置と、
地図情報が記憶された地図情報記憶手段と、
前記学習挙動情報及び前記地図情報の一方又は双方を参照して動作するアプリケーションプログラムと、
前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、
を備えるナビゲーション装置。
【請求項19】
自車両の周辺の画像情報を取得する画像情報取得ステップと、
前記画像情報に含まれる対象地物の画像認識処理を行う画像認識ステップと、
自車両の挙動を検出する挙動検出ステップと、
前記挙動検出ステップにより検出された自車両の挙動と、当該挙動の検出より前に前記画像認識ステップにより認識された対象地物との関係を表す関係情報を取得する関係情報取得ステップと、
前記挙動検出ステップにより検出された自車両の挙動の属性を表す挙動属性情報と、当該挙動について前記関係情報取得ステップにより取得された前記関係情報とを含む検出挙動情報を検出挙動記憶手段に記憶する検出挙動記憶ステップと、
前記検出挙動記憶手段に記憶された前記検出挙動情報に基づいて、対象地物と関係付けられた自車両の挙動の学習結果を表す学習挙動情報を生成する学習挙動情報生成ステップと、
をコンピュータに実行させる車両挙動学習プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2009−6946(P2009−6946A)
【公開日】平成21年1月15日(2009.1.15)
【国際特許分類】
【出願番号】特願2007−172142(P2007−172142)
【出願日】平成19年6月29日(2007.6.29)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
【公開日】平成21年1月15日(2009.1.15)
【国際特許分類】
【出願日】平成19年6月29日(2007.6.29)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】
[ Back to top ]