説明

車両挙動学習装置及び車両挙動学習プログラム

【課題】道路上の特定の位置における頻度の高い車両の挙動を、高い位置精度を伴って学習することが可能な車両挙動学習装置を提供する。
【解決手段】自車位置情報Lと、自車両の周辺の画像情報Gと、自車両の周辺の地物情報Fとを取得し、画像情報Gに含まれる対象地物の認識処理が行われる。挙動検出手段7は、画像認識に成功した位置から所定範囲内の自車両の挙動を検出する。検出結果を表す挙動検出情報Bは、検出位置の情報と関連づけて検出結果記憶手段8に記憶される。学習挙動抽出手段29は、自車両が同じ場所を複数回通行することにより検出結果記憶手段8に記憶された、同じ自車両の挙動についての複数の挙動検出情報Bに基づいて、繰り返し検出される自車両の挙動を学習挙動として抽出し、学習挙動の属性情報及び位置情報を対応する対象地物の地物情報Fと関連づけた学習挙動情報Rとして出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特定の車両位置における車両の特定の挙動を学習可能な車両挙動学習装置及び車両挙動学習プログラムに関する。
【背景技術】
【0002】
自家用車など、特定の運転者が同一の経路を頻繁に運転する場合、特定の自車位置において高い頻度で特定の挙動を行うことがある。挙動とは、例えば自宅や職場、店など特定の場所へ向かう際の右左折や減速、窓の開閉、ライトのオン/オフ、オートマッチック変速装置におけるキックダウンなどである。近年、多くの車両に経路案内を行うナビゲーションシステムが搭載されているが、ナビゲーションシステムの精度をさらに向上させることが望まれている。また、ナビゲーションシステムが有する諸機能を経路案内以外の用途に拡大することも種々検討されている。下記に出典を示す特許文献1にはナビゲーションシステムを搭載した車両における死角モニタの制御装置に関する発明が記載されている。
【0003】
この死角モニタの制御装置は、死角モニタを起動する手動スイッチが操作された時、ナビゲーションシステムから入力される車両が位置した地点に関するデータを起動情報として記憶する。そして、ナビゲーションシステムからの入力情報に対して起動情報を検索、照合して車両が当該地点に位置した時に、死角モニタの起動信号を送出する。このナビゲーションシステムは、交差点などの座標点を結ぶ線(リンク)によって道路情報を管理している。手動スイッチが操作された地点がリンクの番号が付された道路である場合には、起動情報は、当該リンクの番号、座標、車両の走行方向を含んで記憶される。当該地点がリンクの番号が付された道路以外である場合には、座標、車両の走行方向を含んで起動情報が記憶される。また、車両が位置する地点は、GPSシステムを利用すると共に、車速信号や角速度信号に基づいて自律航法により推定するハイブリッドシステムを用いて求められる。
【0004】
【特許文献1】特開2002−286459号公報(第1〜14、第24〜28段落等参照)
【発明の開示】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の死角モニタの制御装置は、ハイブリッドシステムを用いて自車の位置を求める。しかし、特許文献1にも記載されているように、GPS測位であれ自律航法による測位であれ、測位値には誤差が含まれ、実際の走行位置からはずれてしまう。そこで、いわゆるマップマッチング処理によって最も確からしい位置が推定される。
【0006】
ところで、死角モニタの起動操作に限らず、車両における種々の特定の挙動は、特定の地点において実施されることが多い。例えば、大きな道から細街路への右左折や、キックダウンなどは、自宅や職場、店など、特定の場所へのアプローチの際に実施される。大きな道から分岐する細街路は、多くあり、その間隔も狭いことが多い。細街路の間隔が、測位値の誤差よりも小さいような場合には、測位結果から車両の挙動を予測することは困難である。
【0007】
本願発明は、上記課題に鑑みて創案されたもので、道路上の特定の位置における頻度の高い車両の挙動を、高い位置精度を伴って学習することが可能な車両挙動学習装置及び車両挙動学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するための本発明に係る車両挙動学習装置の特徴構成は、自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、自車両の周辺の画像情報を取得する画像情報取得手段と、複数の対象地物についての位置情報及び属性情報を含む地物情報が記憶された地物情報記憶手段と、前記自車位置情報に基づいて、前記地物情報記憶手段から自車両の周辺の前記地物情報を取得する地物情報取得手段と、前記地物情報に基づいて、前記画像情報に含まれる対象地物の認識処理を行う画像認識手段と、前記画像認識手段による対象地物の画像認識に成功した位置から所定範囲内の自車両の挙動を検出する挙動検出手段と、前記自車位置情報に基づいて、前記挙動検出手段による自車両の挙動の検出結果を表す挙動検出情報を、当該挙動が検出された検出位置の情報と関連づけて記憶する検出結果記憶手段と、自車両が同じ場所を複数回通行することにより前記検出結果記憶手段に記憶された、同じ挙動についての複数の前記挙動検出情報に基づいて、繰り返し検出される自車両の挙動を学習挙動として抽出し、当該学習挙動の属性情報及び位置情報を前記画像認識に成功した対象地物の地物情報と関連づけた学習挙動情報として出力する学習挙動抽出手段と、を備える点にある。
【0009】
この特徴構成によれば、学習挙動情報は、対象地物の画像認識に成功した位置から所定範囲内における自車両の挙動が検出された挙動検出情報と、挙動が検出された検出位置の情報とを含む。つまり、特定の位置に存在する対象地物と、自車両の挙動とが関連づけられて学習挙動情報として出力される。また、学習挙動情報は、特定の位置に存在する対象地物を基準とする場所において、繰り返し検出される自車両の挙動を含むので、特定の位置において高い頻度で出現する自車両の挙動を示すものとなる。GPS測位や自律航法のみによる測位に比べて、対象地物を認識することによる測位方法を併せて利用することにより、高い位置精度を実現することができる。従って、対象地物に対して関連づけられた本特徴構成の学習挙動情報も、高い位置精度を有するものとなる。その結果、道路上の特定の位置における頻度の高い車両の挙動を、高い位置精度を伴って学習することが可能な車両挙動学習装置を提供することが可能となる。また、学習挙動抽出手段から出力される学習挙動情報を用いることによって、画像認識された対象地物を基準として、車両の挙動を予測することも可能となる。
【0010】
ここで、前記挙動検出手段により検出される自車両の挙動が、自車両の各部における運転者の操作の受け付け、及び自車両の動作の少なくとも一方を含むものであると好適である。
なお、本願において、自車両の動作には、運転者の操作によって生じる自車両の各部や車両全体の動作、或いは、外部から自車両に加わる外的要因によって生じる自車両の各部や車両全体の動作等が含まれる。
【0011】
自車両の挙動には、運転者による自発的な操作に伴って発生するものと、道路の状況や天候など、受動的な原因によって発生するものとがある。例えば、運転者の自発的な操作とは、ステアリング操作、シフト操作、アクセルやブレーキの操作、空調装置の操作、窓の開閉操作、ナビゲーション装置やオーディオの操作などである。そして、このような運転者の自発的な操作により生じる自車両の挙動として、例えば、ステアリング操作によって生じる自車両の進行方向の変化や横方向加速度の変化、シフト操作やアクセル操作等による変速機の変速段の変更(キックダウンやシフトダウン等)、ブレーキやアクセルの操作により発生する進行方向加速度の変化などがある。一方、受動的な原因によって生じる自車両の挙動として、例えば、カーブを走行することにより発生する横加速度の変化、段差通過により生じる振動・衝撃、坂道を走行する際の進行方向加速度の変化などがある。本発明に係る挙動検出手段は、これら運転者の自発的な操作の受け付け、及び運転者の操作や外的要因等による自車両の動作の少なくとも一方を自車両の挙動として検出するので、幅広く自車両の挙動を検出することができる。
【0012】
また、本発明に係る車両挙動学習装置は、前記学習挙動抽出手段が、複数の車両と通信可能に接続され、前記挙動検出手段が、自車両の挙動として外部から自車両に加わる外的要因による自車両の動作を検出する場合には、前記学習挙動情報を以下のように抽出することを特徴とする。
即ち、前記学習挙動抽出手段は、複数の車両が同じ場所を通行することにより各車両の検出結果記憶手段に記憶された、車両の挙動についての複数の挙動検出情報に基づいて、再現性を有して検出される自車両の挙動を学習挙動として抽出し、当該学習挙動の属性情報及び位置情報を前記画像認識に成功した対象地物の地物情報と関連づけた前記学習挙動情報として出力することを特徴とする。
【0013】
外的要因による自車両の挙動は、程度の差はあっても、複数の別の車両においても共通に生じる挙動である。つまり、道路の状況や天候など、受動的な原因によって発生するので、同一の車両において繰り返し同じ挙動が検出されなくても、複数の車両において同じ挙動が再現されれば学習挙動情報とすることができる。本特徴によれば、学習挙動抽出手段が、複数の車両と通信可能に接続されているので、自車両において検出された挙動が1回であっても、他の車両において検出された挙動と合わせることで、再現性を有する挙動とすることができる。その結果、幅広く車両の挙動を学習することができる。
【0014】
また、本発明に係る車両挙動学習装置が、前記学習挙動情報に基づいて、当該対象地物に関連づけられた前記挙動を予測する挙動予測手段を備えると好適である。
【0015】
この構成によれば、上述したように、高い位置精度を伴って学習された、道路上の特定の位置における頻度の高い車両の挙動を示す学習挙動情報を利用して、その挙動を予測することができる。つまり、画像認識された対象地物を基準として、精度よく自車両の挙動を予測することができる。
【0016】
本発明に係る車両挙動学習装置が前記挙動予測手段を備える場合、前記挙動予測手段は、前記挙動の予測結果を、自車両の案内情報の出力のための演算処理を行うナビゲーション用演算手段に対して出力すると好適である。
【0017】
この構成によれば、挙動予測手段の予測結果に基づいて、ナビゲーション用演算手段が適切な案内情報の出力を行うことが可能となる。例えば、右折や左折等の自車両の挙動を予測して、自車位置表示や経路案内を精度良く行うことが可能となる。
【0018】
本発明に係る車両挙動学習装置が前記挙動予測手段を備える場合、前記挙動予測手段が、前記挙動の予測結果を、前記運転者の操作を再現する自車両内の制御装置に対して出力すると好適である。
【0019】
この構成によれば、挙動予測手段の予測結果に基づいて、当該制御装置は運転者の操作を再現することができる。つまり、運転者の能動的な操作のアシストを行ったり、あるいは能動的な操作に先行して同一の操作を実施したりすることができる。その結果、運転者による能動的な操作が遅れたり、失念していたりしても、確実に車両の挙動を再現することができる。
【0020】
本発明に係る車両挙動学習装置が前記挙動予測手段を備える場合、前記挙動予測手段が、前記挙動の予測結果を、自車両の動作を最適化する制御装置に対して出力すると好適である。
【0021】
この構成によれば、挙動予測手段の予測結果に基づいて、当該制御装置が自車両の挙動を最適化することができる。例えば、シフト制御装置や、エンジン制御装置、ハイブリッド車両のモータ制御装置、アクティブサスペンションの制御装置などは、挙動予測手段の予測結果に基づいて自車両の挙動を最適化することができる。その結果、乗車中の快適性の向上や、燃費向上などを図ることができる。
【0022】
ここで、前記対象地物が、道路の路面に設けられた道路標示であると好適である。
【0023】
道路標示は、法令によってその寸法などが規定されている。従って、画像認識手段による認識処理の負荷を軽減することができると共に、正確な位置判定も可能である。つまり、高い精度で自車両の位置情報を得ることができる。その結果、車両の挙動を、高い位置精度を伴って学習することが可能な車両挙動学習装置を提供することができる。
【0024】
また、前記地物情報記憶手段には、前記地物情報として、予め記憶された初期地物情報、及び前記地物情報とは無関係な前記画像認識手段による地物の画像認識結果に基づいて学習して記憶された学習地物情報の一方又は双方が記憶されていると好適である。
【0025】
この構成によれば、地物情報記憶手段に、初期地物情報が記憶されている場合には、当該初期地物情報を用いた車両挙動学習を行うことが可能であり、学習地物情報が記憶されている場合には、当該学習地物情報を用いた車両挙動学習を行うことが可能である。そして、初期地物情報と学習地物情報の双方が記憶されている場合には、状況に応じてこれらの一方又は双方を用いた車両挙動学習を行うことが可能である。また、学習地物情報が記憶される構成では、初期地物情報が整備されていない道路であっても、自車両が走行したことがある道路について地物情報を順次整備していくことが可能となる。よって、自車両の走行経路に従って車両挙動学習を行うことができる道路や地域を拡大することができ、更には、初期地物情報を整備するための手間や費用を削減することも可能となる。
【0026】
また、前記挙動が検出された検出位置の情報は、当該挙動の検出位置を表す座標情報、及び前記画像認識に成功した対象地物の当該画像認識に成功した位置から当該挙動の検出位置までの距離情報の一方又は双方を含む構成とすると好適である。
【0027】
この構成によれば、前記挙動の検出位置の情報を、当該検出位置を単独で表す情報、及び当該検出位置を前記画像認識に成功した対象地物との関係を示す地物−挙動間の距離で表す情報の一方又は双方を用いて、適切に表すことが可能となる。また、前記距離情報を含む構成とした場合には、当該距離情報を用いて、前記学習挙動の位置情報として前記画像認識に成功した対象地物の位置から当該学習挙動の位置までの距離情報を含む学習挙動情報を、学習挙動抽出手段によって容易に生成して出力することが可能となる。
【0028】
更に、前記学習挙動情報に係る前記学習挙動の位置情報は、当該学習挙動の位置を表す座標情報、及び前記画像認識に成功した対象地物の位置から当該学習挙動の位置までの距離情報の一方又は双方を含む構成とすると好適である。
【0029】
この構成によれば、前記学習挙動の位置情報を、当該学習挙動の位置を単独で表す情報、及び当該学習挙動の位置を前記画像認識に成功した対象地物との関係を示す地物−学習挙動間の距離で表す情報の一方又は双方を用いて、適切に表すことが可能となる。また、前記距離情報を含む構成とした場合には、前記学習挙動情報に示される前記対象地物の画像認識に成功した際に、当該対象地物の画像認識に成功した位置を基準としてより正確に学習挙動の発生を予測することが可能となる。
【0030】
また、本発明に係るナビゲーション装置の特徴構成は、上述した何れかの特徴構成を備えた車両挙動学習装置と、地図情報が記憶された地図情報記憶手段と、前記車両挙動学習装置により出力された前記学習挙動情報及び前記地図情報の一方又は双方を参照して動作する複数のアプリケーションプログラムと、前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、を備える点にある。
【0031】
この特徴構成によれば、アプリケーションプログラムは、高い精度を伴って学習された学習挙動情報を利用して動作することが可能である。従って、より高い精度を有して案内情報を出力することができる。例えば、自宅など頻繁に利用する細街路に対しての屈曲動作が挙動として学習されていれば、細街路近傍の大きな道に誤ってマップマッチングすることなく、正確に細街路へのマップマッチングを実施することができる。
【0032】
また、本発明に係る車両挙動学習プログラムの特徴構成は、自車両の現在位置を示す自車位置情報を取得する自車位置情報取得工程と、自車両の周辺の画像情報を取得する画像情報取得工程と、複数の対象地物についての位置情報及び属性情報を含む地物情報が記憶された地物情報記憶手段から、前記自車位置情報に基づいて自車両の周辺の前記地物情報を取得する地物情報取得工程と、前記地物情報に基づいて、前記画像情報に含まれる対象地物の認識処理を行う画像認識工程と、前記画像認識手段による対象地物の画像認識に成功した位置から所定範囲内の自車両の挙動を検出する挙動検出工程と、前記自車位置情報に基づいて、前記挙動検出手段による自車両の挙動の検出結果を表す挙動検出情報を、当該挙動が検出された検出位置の情報と関連づけて検出結果記憶手段に記憶させる検出結果記憶工程と、自車両が同じ場所を複数回通行することにより前記検出結果記憶手段に記憶された、同じ自車両の挙動についての複数の挙動検出情報に基づいて、繰り返し検出される自車両の挙動を学習挙動として抽出し、当該学習挙動の属性情報及び位置情報を前記画像認識に成功した対象地物の地物情報と関連づけた学習挙動検出情報として出力する学習挙動抽出工程と、をコンピュータに実行させる点にある。
【0033】
この特徴構成によれば、学習挙動情報は、対象地物の画像認識に成功した位置から所定範囲内における自車両の挙動が検出された挙動検出情報と、挙動が検出された検出位置の情報とを含む。つまり、特定の位置に存在する対象地物と、自車両の挙動とが関連づけられて学習挙動情報として出力される。また、学習挙動情報は、特定の位置に存在する対象地物を基準とする場所において、繰り返し検出される自車両の挙動を含むので、特定の位置において高い頻度で出現する自車両の挙動を示すものとなる。GPS測位や自律航法のみによる測位に比べて、対象地物を認識することによる測位方法を併せて利用すれば、より高い位置精度を実現することができる。従って、対象地物に対して関連づけられた本特徴構成の学習挙動情報も、高い位置精度を有するものとなる。その結果、道路上の特定の位置における頻度の高い車両の挙動を、高い位置精度を伴って学習することが可能な車両挙動学習プログラムを提供することが可能となる。
【発明を実施するための最良の形態】
【0034】
以下、本発明の実施形態を図面に基づいて説明する。図1は、本実施形態に係る車両挙動学習装置2を含むナビゲーション装置1の構成例を模式的に示すブロック図である。図2は、図1に示される地図データベース13及び地物データベース15に記憶される情報の構成例を示す説明図である。地図データベース13は本発明の地図情報記憶手段に、地物データベース15は本発明の地物情報記憶手段に相当する。図1に示すように、ナビゲーション装置1は、車両挙動学習装置2と、地図データベース13と、アプリケーションプログラム16と、案内情報出力部(案内情報出力手段)28と、の各機能部を備えている。車両挙動学習装置2は、自車位置情報取得部3と、画像情報取得部4と、地物情報取得部5と、画像認識部6と、挙動検出部7と、検出結果記憶部8と、学習挙動抽出部9と、の各機能部を備えている。これらの機能部は、マイクロプロセッサやDSP(digital signal processor)などの演算処理装置を中核部材として、ハードウェア及びソフトウェア(プログラム)の一方又は双方により構築される。つまり、これらの各機能部は、ハードウェア及びソフトウェアの協働によって、入力された種々のデータに対して処理を実行する。上記各機能部の詳細については後述する。
【0035】
〔地図データベース及び地物データベース〕
地図データベース13は、所定の領域毎に分けられた複数の地図情報Mと、この地図情報Mに関連付けられた複数の地物情報Fとが記憶されたデータベースである。図2には、地図データベース13に記憶されている地図情報M及び地物データベース15に記憶されている地物情報Fの構成例が示されている。この図に示すように、地図データベース13には、道路ネットワークレイヤm1、道路形状レイヤm2、地物レイヤm3が記憶されている。本実施形態においては、これらの各レイヤm1〜m3に格納された情報により地図データベース13の地図情報Mが構成され、その中の地物レイヤm3に格納された情報により地物データベース15の地物情報Fが構成されている。
【0036】
道路ネットワークレイヤm1は、道路間の接続情報を示すレイヤである。具体的には、緯度及び経度等の座標で表現された地図上の位置情報を有する多数のノードnの情報と、2つのノードnを連結して道路を構成する多数のリンクkの情報とを有して構成されている。また、各リンクkは、そのリンク情報として、道路の種別(高速道路、有料道路、国道、県道等の種別)やリンク長さ等の情報を有している。また、道路形状レイヤm2は、道路ネットワークレイヤm1に関連付けられて記憶され、道路の形状を示すレイヤである。具体的には、2つのノードnの間(リンクk上)に配置されて緯度及び経度等の座標で表現された地図上の位置情報を有する多数の道路形状補完点sの情報や、道路幅wの情報等を有して構成されている。
【0037】
地物レイヤm3は、道路ネットワークレイヤm1及び道路形状レイヤm2に関連付けられて構成され、道路上や道路周辺に設けられた各種の地物の情報、即ち地物情報Fが記憶されているレイヤである。この地物レイヤm3に地物情報Fが記憶される地物には、道路の路面に設けられた道路標示(ペイント標示)が含まれている。このような道路標示に係る地物としては、例えば、道路に沿って車線を分ける区画線(実線、破線、二重線等の各種区画線を含む。)、各車線の進行方向を指定する進行方向別通行区分標示、横断歩道、停止線、速度表示、ゼブラゾーン等が含まれる。尚、地物情報Fが記憶される地物としては、このような道路標示のほか、信号機、標識、陸橋、トンネル等の各種の地物も含めることができる。
【0038】
また、地物情報Fは、その内容として各地物の位置情報及び属性情報を含んでいる。ここで、位置情報は、リンクk又はノードn等と関連付けられた各地物の代表点の地図上の位置(緯度及び経度等の座標)及び各地物の向きの情報を有している。本例では、代表点は、各地物の長さ方向及び幅方向の中心に設定される。属性情報は、各地物の形態を表す形態情報や各地物の種別を表す種別情報等を含んでいる。ここで、形態情報は、各地物の形状、大きさ、色彩等の情報を有している。種別情報は、具体的には、「区画線(実線、破線、二重線等の線種も含む)」、「進行方向別通行区分標示」、「横断歩道」等の道路標示種別を示す情報である。
【0039】
〔自車位置演算部〕
自車位置情報取得部3は、自車位置即ち自車両の現在位置を示す自車位置情報Lを取得する自車位置情報取得手段として機能する。本例では自車位置情報取得部3は、GPS受信機23、方位センサ24、及び距離センサ25と接続されている。
GPS受信機23は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置情報取得部3へ出力される。自車位置情報取得部3は、受け取ったGPS衛星からの信号を解析し、自車両の現在位置(緯度及び経度等の座標)、進行方位、移動速度等の情報を取得する。
方位センサ24は、自車両の進行方位又はその進行方位の変化を検出し、その検出結果を自車位置情報取得部3へ出力する。この方位センサ24は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。
距離センサ25は、自車両の車速や移動距離を検出し、その検出結果としての車速及び移動距離の情報を自車位置情報取得部3へ出力する。この距離センサ25は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両の加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。
【0040】
自車位置情報取得部3は、これらのGPS受信機23、方位センサ24及び距離センサ25からの出力に基づいて、公知の方法により自車位置を特定する演算を行う。また、自車位置情報取得部3は、地図データベース13から取得した自車位置周辺の地図情報Mに基づいて公知のマップマッチングを行うことにより自車位置を地図情報Mに示される道路上に調整する。
【0041】
このようにして取得される自車位置の情報は、各センサ23〜25の検出精度等に起因する誤差を含む場合がある。また、このようにして取得される自車位置の情報は、自車両が進行中の道路が複数レーンを有している場合において自車両が進行中のレーンまでを正確に特定できていない場合がある。そこで、本実施形態においては、後述するレーン特定部17から、自車両が進行中の道路における自車両が存在するレーンを特定したレーン特定情報Jが自車位置情報取得部3に供給される。自車位置情報取得部3は、上記の自車位置を特定する演算結果とレーン特定部17から供給されたレーン特定情報Jとにより、緯度及び経度等の座標で表された自車両の現在位置の情報、自車両の進行方位の情報、及び自車両が進行中のレーンに関するレーン特定情報Jを含む自車位置情報Lを取得する。この自車位置情報Lは、自車位置情報補正部11、地物情報取得部5、認識条件設定部14、及びナビゲーション用演算部12へ出力される。
【0042】
〔画像情報取得部〕
画像情報取得部4は、撮像装置21により撮像した自車位置周辺の画像情報Gを取得する画像情報取得手段として機能する。ここで、撮像装置21は、撮像素子を備えたカメラ等であって、少なくとも自車両(自車位置)の周辺の道路の路面を撮像可能な位置に設けられている。このような撮像装置21としては、例えばバックカメラ等を用いることができる。画像情報取得部4は、撮像装置21により撮像した撮像情報をフレームメモリ(不図示)などを介して所定の時間間隔で取り込む。この際画像情報Gの取り込みの時間間隔は、例えば、10〜50ms程度とすることができる。これにより、画像情報取得部4は、撮像装置21により撮像した複数フレームの画像情報Gを連続的に取得する。ここで取得された画像情報Gは、画像認識部6へ出力される。
【0043】
〔地物情報取得部〕
地物情報取得部5は、地物データベース15から画像認識処理の対象となる対象地物ftの地物情報Fを抽出する地物情報取得手段として機能する。本例では、地物情報取得部5は、自位置情報Lの進行方向の位置を補正する処理に用いるために、後述する認識条件設定部14により設定された1つの対象地物ftについての地物情報Fを地物データベース15から取得する。ここで取得された地物情報Fには、上記のとおり、対象地物ftの位置情報及び形態情報が含まれている。地物情報取得部5により抽出された対象地物ftの地物情報Fは、画像認識部6、自車位置情報補正部11、検出結果記憶部9、挙動予測部10、認識条件設定部14へ出力される。
【0044】
また、地物情報取得部5は、レーン特定部17によるレーン特定情報Jを取得する処理に用いるために、自位置情報Lに基づいて、自車両が進行中の道路における自車位置周辺の区画線の地物情報Fを地物データベース15から抽出する。地物情報取得部5により抽出された区画線の地物情報Fは、画像認識部6及びレーン特定部17へ出力される。
【0045】
〔認識条件設定部〕
認識条件設定部14は、画像認識部における画像認識処理の認識条件を設定する認識条件設定手段として機能する。
認識条件設定部14は、画像認識処理の対象とする対象地物ftを設定する。対象地物ftは、地物データベース15に地物情報Fが記憶された地物の中から、撮像装置21による撮像範囲に入る自位置の周辺の1又は2以上の地物から選択される。本例では認識条件設定部14は、自車位置情報取得部3により取得された自車位置情報Lと、地物データベース15に記憶された地物情報Fとに基づいて、自車両が進行中のレーン内における進行方向の最も近い位置に存在する1つの地物を対象地物ftに設定する。尚、本例では、自車両の進行方向において、対象地物ftが探索される範囲は所定距離内に規定される。従って、自車両の進行方向の所定距離内に地物が存在しない場合には、対象地物ftは設定されない。
【0046】
また、認識条件設定部14は、画像情報Gに対する各対象地物ftについての画像認識処理を行う範囲である画像認識範囲を設定する。画像認識範囲は、本実施形態では、自車両(自車位置)の進行方向に区画される範囲である。この範囲は、対象地物ftの自位置の進行方向の長さに応じて設定され、地物情報Fに含まれる形態情報から求められる。例えば、対象地物ftが停止線である場合よりも、速度表示など自車両の進行方向に長い場合の方が長い範囲に設定される。設定された画像認識範囲の情報は、画像認識部6へ出力される。そして、画像認識部6は、設定された画像認識範囲内の画像情報Gに対して、対象地物ftの画像認識処理を行う。
【0047】
〔画像認識部〕
画像認識部6は、画像情報取得部4で取得された画像情報Gに対する画像認識処理を行う画像認識手段として機能する。本実施形態においては、画像認識部6は、認識条件設定部14により設定された画像認識範囲に規定される範囲内について、画像情報Gに対する画像認識処理を行う。この際、画像認識部6は、地物情報取得部5で抽出された対象地物ftの地物情報Fを用いて対象地物ftの画像認識処理を行う。具体的には、画像認識部6は、画像情報取得部4で取得された画像情報Gの中から画像認識範囲の画像情報Gを抽出する。各画像情報Gにおける撮像領域の情報は、予め取得された撮像装置21の校正情報に基づいて予め演算された自車位置と撮像領域との位置関係と、自位置情報Lとに基づいて求めることができる。ここで、撮像装置21の校正情報とは、自車両への撮像装置21の取り付け位置、取り付け角度、及び画角等に基づく情報(並進・回転・カメラ内部パラメータ)である。
【0048】
画像認識部6は、このように得られた各画像情報Gの撮像領域の情報に基づいて、画像認識範囲の画像情報Gを抽出する。具体的には、画像認識部6は、抽出された画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている地物(道路標示)の輪郭情報を抽出する。その後、画像認識部6は、抽出された地物の輪郭情報と、地物情報取得部5で取得された対象地物ftの地物情報Fに含まれる形態情報とを比較し、それらが一致するか否かを判定する。地物の輪郭情報と対象地物ftの地物情報Fに含まれる形態情報とが一致する場合には、対象地物ftの画像認識に成功したと判定し、その画像認識結果を自車位置情報補正部11へ出力する。尚、対象地物ftの画像認識に失敗した場合には、自車位置情報補正部11へは画像認識結果が出力されず、従って自車位置情報補正部11による自位置情報Lの補正も行われない。
【0049】
また、画像認識部6は、レーン特定部17におけるレーン特定情報Jの取得のために、地物情報取得部5で抽出された自車両が進行中の道路における自車位置周辺の区画線の地物情報Fを用いて、自車両の周辺の区画線の画像認識を行う。具体的には、画像認識部6は、画像情報取得部4で取得された画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている地物(道路標示)の輪郭情報を抽出する。その後、画像認識部6は、抽出された地物の輪郭情報と、区画線の地物情報Fに含まれる形態情報とに基づいて、自車両の周辺の区画線の位置及び区画線の種別の認識を行う。そして、画像認識部6は、この区画線の画像認識結果を、レーン特定部17へ出力する。
【0050】
〔自車位置情報補正部〕
自車位置情報補正部11は、画像認識部6による画像認識処理の結果と、地物情報取得部5により取得された地物情報Fに含まれる対象地物ftの位置情報とに基づいて自位置情報Lを補正する自位置情報補正手段として機能する。本実施形態では、自車位置情報補正部11は、車両の進行方向に沿って自車位置情報Lを補正する。具体的には、自車位置情報補正部6は、まず、画像認識部6による画像認識結果と、撮像装置21の校正情報とに基づいて、対象地物ftの画像を含む画像情報Gの取得時における自車両と対象地物ftとの位置関係を演算する。次に、自車位置情報補正部11は、自車両と対象地物ftとの位置関係の演算結果と、地物情報Fに含まれる対象地物ftの位置情報とに基づいて、自車両の進行方向における対象地物ftの位置情報(地物情報F)を基準とする高精度な自車両の位置情報を演算する。自車位置情報補正部11は、この高精度な自車両の位置情報に基づいて、自車位置情報取得部3で取得した自車位置情報Lに含まれる、自車両の進行方向の現在位置の情報を補正する。その結果、自車位置情報取得部11は、補正後の高精度な自位置情報Lを取得することになる。
【0051】
〔レーン特定部〕
レーン特定部17は、自車両が進行中の道路において自車両が存在するレーンを特定したレーン特定情報Jを取得する。レーン特定部17は、自車両が進行中の道路における自車位置周辺の区画線の地物情報Fと、画像情報Gに含まれる区画線に対する画像認識結果とに基づいて、自車両が進行中のレーンを特定する演算を行って、レーン特定情報Jを取得する。具体的には、例えば、レーン特定部17は、画像認識部6による画像認識結果に示される自車両の周辺の区画線の種別(実線、破線、二重線等の線種)及び配置と、自位置周辺の区画線の地物情報Fに含まれる形態情報とに基づいて、自車両が進行中のレーンを特定する。
【0052】
例えば、図3に示すような画像情報Gが取得された場合において、図4に示すような自車両周辺の地図情報Mが取得された場合には、自車両が存在するレーンは、3車線の中の中央車線であると特定することができる。即ち、図3に示す画像情報Gに示される画像中では、自車両の位置である画像の幅方向中央に対して両側に破線の区画線があり、更にその両外側にそれぞれ実線の区画線がある。一方、図4に示す地図情報Mによれば、自車両が走行している道路は3車線であり、道路の幅方向両側には実線の区画線の地物情報Fが存在し、道路の幅方向中央側には各車線を区切る破線の区画線の地物情報Fが存在していることがわかる。従って、レーン特定部17は、これらの情報を対比することにより、自車両が存在するレーンが3車線の中の中央車線であると特定することができる。
【0053】
また、レーン特定部17は、画像認識結果に示される区画線の位置情報に基づいて、自車両が区画線を跨いだか否かにより車線変更の有無を判定し、自車両が進行中のレーンを特定する。尚、レーン特定部17は、自車両が進行中のレーンの特定が必要な場合、即ち自車両が進行中の道路が進行方向(片側)に複数レーンを有している場合にのみレーンを特定する演算を行う。そして、レーン特定部17は、自車両が進行中のレーンを特定する情報であるレーン特定情報Jを自車位置情報取得部3へ供給する。これにより、自位置演算部3は、上記のとおり、自車両が進行中のレーンに関するレーン特定情報Jを含む自位置情報Lを生成する。従って、本実施形態において、レーン特定部17は、自車位置情報取得部3とともに自車位置情報取得手段18として機能する。
【0054】
〔挙動検出部〕
挙動検出部7は、画像認識部6による対象地物の画像認識に成功した位置から所定範囲内の自車両の挙動を検出する挙動検出手段として機能する。図1に示すように、挙動検出部7は、挙動入力手段として機能する、自車両に備えられた各種スイッチや各種センサからの入力を受けて自車両の挙動を検出する。各種スイッチとは、例えば空調スイッチ31やライティングスイッチ33、ウィンドウスイッチ35、オーディオの操作スイッチ(不図示)などである。また、各種センサとは、例えば振動センサ37、照度センサ39、加速度センサ(不図示)、アクセルセンサ(不図示)、ブレーキセンサ(不図示)などである。
【0055】
空調スイッチ31は冷暖房の設定や外気導入、室内循環などの切り替えを行うスイッチである。ライティングスイッチ33は、車両の灯火装置の点灯や消灯、ハイビームやロービームの設定などの切り替えを行うスイッチである。ウィンドウスイッチ35は、窓の開閉の指示を行うスイッチである。振動センサ37は、自車両に伝わる振動を検出するセンサである。その検出結果は、例えばアクティブサスペンションの制御装置などに伝達されて、サスペンションが最適な堅さに調整される。照度センサ39は自車両の外の明るさを検出するセンサである。その検出結果は、例えば灯火装置の制御装置に伝達されて、灯火装置の点灯や消灯が自動的に制御される。加速度センサは、自車両の加速や減速の加速度を検出するセンサである。アクセルセンサは、運転者によるアクセルペダルの操作量(アクセル開度)を検出するセンサである。ブレーキセンサは、運転者によるブレーキペダルの操作量やブレーキ踏力等を検出するセンサである。
【0056】
本実施形態において、挙動検出部7により検出される自車両の挙動には、自車両の各部における運転者の操作の受け付け、及び自車両の動作が含まれる。また、この自車両の動作には、運転者の操作によって生じる自車両の各部や車両全体の動作、或いは、外部から自車両に加わる外的要因によって生じる自車両の各部や車両全体の動作等が含まれる。例えば、空調スイッチ31やライティングスイッチ33、ウィンドウスイッチ35、オーディオの操作スイッチなどの各種スイッチの操作、アクセルセンサやブレーキセンサ等の各種センサ等により検出される運転者の操作は、自車両の各部における運転者の操作の受け付けに係る挙動として、挙動検出部7により検出される。
【0057】
また、例えば、運転者のステアリング操作により方位センサ24が検出する自車両の進行方位の変化、運転者のアクセルペダルやブレーキペダルの操作により加速度センサが検出する自車両の加速度の変化、運転者のシフト操作やアクセル操作による変速機の変速段の変更等、運転者の操作の受け付けの結果として各種センサ等により検出される自車両の動作は、運転者の操作による自車両の動作に係る挙動として、挙動検出部7により検出される。また、例えば、ナビゲーション装置1のモニタ26と一体的に設けられたタッチパネルやリモートコントローラへの入力に基づくナビゲーション装置1の動作も、運転者の操作による自車両の動作に係る挙動として、挙動検出部7により検出される。このようなナビゲーション装置1の動作としては、例えば、運転者の操作に基づく、渋滞情報の取得、地図表示縮尺の変更、画面表示輝度の変更、案内経路の変更等が含まれる。
【0058】
また、例えば、段差や荒れた路面を通過することにより振動センサ37が検出する自車両の振動、坂道を走行することにより加速度センサが検出する自車両の加速度の変化、カーブを走行することにより方位センサ24が検出する自車両の進行方位の変化等、外的要因によって生じて各種センサ等により検出される自車両の動作は、外的要因による自車両の動作に係る挙動として、挙動検出部7により検出される。
【0059】
挙動検出部7は、画像認識手段6が画像認識に成功した対象地物の自車位置情報Lに基づいて設定される所定範囲内における自車両の挙動を検出する。例えば、横断歩道有りを示す道路標示(菱形マーク)を検出した後、所定範囲内に自車両が右折又は左折した場合には、この挙動を検出する。この挙動は、方位センサ24により検出される自車両の進行方位の変化、各種スイッチとして機能する方向指示器からの入力、各種センサとして機能するステアリングの回転を検出する操舵角センサからの入力等に基づいて検出することができる。挙動検出部7は、検出した挙動を自車位置情報Lと関連づけて、挙動検出情報Bとして出力する。
【0060】
〔検出結果記憶手段〕
検出結果記憶部8は、自車位置情報Lに基づいて、挙動検出部7による自車両の挙動の検出結果を表す挙動検出情報Bを、当該挙動が検出された検出位置の情報と関連づけて記憶する検出結果記憶手段として機能する。本実施形態においては、当該挙動が検出された検出位置の情報は、当該挙動の検出位置を表す座標情報とする。このような挙動の検出位置を表す座標情報は、当該挙動を検出した際の自車位置情報Lが示す自車両の現在位置の座標に基づいて導出される。なお、検出結果記憶部8は、運転者など個人を特定する手段が自車両に設けられている場合には、個人別に挙動検出情報を記憶してもよい。
【0061】
〔学習挙動抽出部〕
学習挙動抽出部9は、自車両の挙動を学習挙動として抽出し、当該学習挙動の属性情報及び位置情報を画像認識に成功した対象地物の地物情報Fと関連づけた学習挙動情報Rとして出力する学習挙動抽出手段29として機能する。本実施形態においては、この学習挙動情報Rに係る当該学習挙動の位置情報は、当該学習挙動の位置を表す座標情報とする。このような学習挙動の位置を表す座標情報は、検出結果記憶部8に記憶された挙動検出情報Bと関連付けられた当該挙動の検出位置の情報、ここでは、上記のとおり当該挙動の検出位置を表す座標情報に基づいて導出される。そして、出力された学習挙動情報Rは、学習挙動データベース19に記憶される。この学習挙動データベース19も、学習挙動抽出手段29として機能する。
【0062】
ここで、学習挙動は、自車両が同じ場所を複数回通行することにより検出結果記憶部8に記憶された、同じ自車両の挙動についての複数の挙動検出情報Bに基づいて、繰り返し検出される自車両の挙動とすることができる。例えば、ある地点において方向指示器を左折側に操作して、自車両を左折させる挙動や、ある地点において空調器を外気導入から内気循環に切り替える挙動などである。
【0063】
この場合、学習挙動データベース19は、図5に示すように車ごとに整備された各車適応データベース200と見ることができる。上述したように、運転者など個人を特定する手段が設けられている場合は、さらに個人適応データベースを構成してもよい。一方、地図データベース13や地物データベース15は、各車に依存することなく道路に対して整備された共通データベース100と見ることができる。図5に示すように共通データベース100はデータベース管理センタ300と無線又は有線により通信可能に構成することができる。データベース管理センタ300の地図データベース13Cや地物データベース15Cに記憶された地図情報MCや地物情報FCは、随時情報が更新される。自車両の地図データベース13や地物データベース15は、記憶された地図情報Mや地物情報Fの内容を通信によって最新の情報に更新することができる。
【0064】
また、学習挙動は、学習挙動抽出部9が複数の車両と通信可能に接続され、且つ自車両の挙動として外部から自車両に加わる外的要因による自車両の動作を検出する場合には、以下のような挙動とすることができる。図6は、自車両の学習挙動抽出部9Aが、他の車両の学習挙動抽出部9Bと、データベース管理センタ300を介して通信可能に接続されている例を示している。勿論、学習挙動抽出部9同士が直接通信可能であってもよい。このような場合、学習挙動は、複数の車両が同じ場所を通行することにより各車両の検出結果記憶手段に記憶された、車両の挙動についての複数の挙動検出情報に基づいて、再現性を有して検出される自車両の挙動とすることができる。
【0065】
例えば、ある地点において複数の車両が、振動センサ37によって同様の振動を検出するような挙動である。この場合、振動は道路の段差などを起因とすることが考えられ、各車両には依存しない挙動と見ることができる。従って、個々の車両はそれぞれ1回しか振動を検出しなくとも、複数の車両がほぼ同一の地点において同様の振動を検出したとすれば、充分な再現性を有して検出される挙動とすることができる。
【0066】
この場合、学習挙動データベース19は、図6に示すように車ごとに整備された各車適応データベース200と、各車に依存することなく整備された共通データベース100との両方であると見ることができる。図6に示すように、学習挙動データベース19には、車ごと(個人ごと)に整備された学習挙動情報Raと、各車に依存することなく例えば道路に対して整備された学習挙動情報Rbとを記憶している。学習挙動情報Raは、各車適応データベース200に属し、学習挙動情報Rbは、共通データベース100に属する。図6に示すように共通データベース100はデータベース管理センタ300と無線又は有線により通信可能に構成することができる。
【0067】
上述したように、データベース管理センタ300の地図データベース13Cや地物データベース15Cに記憶された地図情報MCや地物情報FCは、随時情報が更新される。自車両の地図データベース13や地物データベース15は、記憶された地図情報Mや地物情報Fの内容を通信によって最新の情報に更新することができる。また、データベース管理センタ300には、複数の車両と通信可能に接続される学習挙動抽出部9を利用して整備された学習挙動データベース19Cが備えられている。学習挙動データベース19Cに記憶された学習挙動情報RCは、随時更新される。自車両の学習挙動データベース19は、記憶するデータの内、各車に依存することなく整備される学習挙動情報Rbを通信によって更新することができる。
【0068】
〔挙動予測部〕
挙動予測部10は、学習挙動情報Rに基づいて、当該対象地物に関連づけられた挙動を予測する挙動予測手段として機能する。そして、予測結果を、ナビゲーション用演算部12など、自車両の種々の制御手段に対して出力する。種々の制御手段とは運転者の操作を再現する自車両内の制御装置や、運転者の操作や外的要因によって生じる自車両の動作を最適化する制御装置である。具体的な例については、後述する。
【0069】
〔車両挙動を学習し予測する手順〕
以下、図7及び図8のフローチャートを利用して、車両挙動を学習する手順及び車両挙動を予測する手順について説明する。以下に説明する処理の手順は、上記の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、ナビゲーション装置1が有する演算処理装置が、上記の各機能部を構成する車両挙動学習プログラムを実行するコンピュータとして動作する。
【0070】
自車位置情報取得部3により、自車両の現在位置を示す自車位置情報Lが取得される(自車位置情報取得工程#1)。画像情報取得部4により、自車両の周辺の画像情報Gが取得される(画像情報取得工程#2)。地物情報取得部5により、複数の対象地物についての位置情報及び属性情報を含む地物情報Fが記憶された地物データベース15から、自車位置情報Lに基づいて自車両の周辺の地物情報Fが取得される(地物情報取得工程#3)。画像認識部6により、地物情報Fに基づいて、画像情報Gに含まれる対象地物の認識処理が行われ、自車位置情報補正部11により自車位置情報Lが補正される(画像認識工程#4)。以上の工程により、自車両が通行する道路が地物情報Fを有し、対象地物が認識された場合には、自車両が高精度自車位置認識状態にあることになる。自車両がこのような高精度自車位置認識状態にある場合には、上述したように自車両の挙動を学習することが可能である。従って、高精度自車位置認識状態にあるか否かが、適用条件判定工程#5において判定される。認識状態にある場合には、以下の工程#11〜#13が実施され、自車両の挙動が学習される。
【0071】
尚、対象地物を画像認識できないまま所定距離以上走行すると、自車位置情報Lの誤差が大きくなる可能性があるので、高精度自車位置認識状態ではなくなる。そこで、自車位置情報Lの誤差が比較的小さいとみなすことができる小さい範囲、即ち画像認識部6による対象地物の画像認識に成功した位置から所定範囲内の自車両の挙動が、挙動検出部7により検出される(挙動検出工程#11)。挙動検出工程#11において検出される自車両の挙動は、自車両の各部における運転者の操作の受け付け、及び運転者の操作や外部から自車両に加わる外的要因によって生じる自車両の動作の少なくとも一方を含むものである。次に、自車位置情報Lに基づき、挙動検出部7による自車両の挙動の検出結果を表す挙動検出情報Bが、当該挙動が検出された検出位置の情報と関連づけて検出結果記憶部8に記憶される(検出結果記憶工程#12)。
【0072】
そして、学習挙動抽出部9により、挙動検出情報Bに基づいて学習挙動が抽出され、学習挙動情報Rが出力される(学習挙動抽出工程#13)。上述したように、自車両が同じ場所を複数回通行することにより検出結果記憶部8に記憶された、同じ自車両の挙動についての複数の挙動検出情報Bに基づいて、繰り返し検出される自車両の挙動が学習挙動として抽出される。そして、当該学習挙動の属性情報及び位置情報が画像認識に成功した対象地物の地物情報と関連づけて学習挙動情報Rとして出力される。学習挙動情報Rは、学習挙動データベース19に登録され、自車両内の種々の制御装置により参照される。
【0073】
また、学習挙動抽出工程#13は、挙動検出工程#11が自車両の挙動として外部から自車両に加わる外的要因による自車両の動作を検出する場合、複数の車両において検出され、検出された検出位置の情報と関連づけられた挙動に対する挙動検出情報Bを共有して実施することが可能である。この場合には、複数の車両が同じ場所を通行することにより各車両の検出結果記憶部8に記憶された、車両の挙動についての複数の挙動検出情報Bに基づいて、再現性を有して検出される自車両の挙動が学習挙動として抽出される。そして、当該学習挙動の属性情報及び位置情報が前記画像認識に成功した対象地物の地物情報と関連づけた学習挙動情報Rとして出力される。
【0074】
以上の工程により、自車両の挙動が学習される。以下、学習した学習挙動情報Rを用いて、自車両の挙動を予測する手順について説明する。図8に示すように、自車両の挙動を学習する際と同様に、自車位置情報取得工程#1、画像情報取得工程#2、地物情報取得工程#3、画像認識工程#4が実施される。以上の工程により、自車両が通行する道路が地物情報Fを有し、対象地物が認識されている場合には、自車両が高精度自車位置認識状態にあることになる。自車両がこのような高精度自車位置認識状態にある場合には、上述したように自車両の挙動を予測することが可能である。従って、高精度自車位置認識状態にあるか否かが、適用条件判定工程#5において判定される。認識状態にある場合には、以下の工程#21が実施され、自車両の挙動が予測される。
【0075】
挙動予測部10により、学習挙動情報Rに基づいて、当該対象地物に関連づけられた挙動が予測される(挙動予測工程#21)。上述したように、挙動検出工程#11において検出される自車両の挙動は、自車両の各部における運転者の操作の受け付け、及び運転者の操作や外部から自車両に加わる外的要因によって生じる自車両の動作の少なくとも一方を含む。従って、挙動予測工程#21における予測結果に基づいて、学習挙動情報Rが、運転者の操作を再現する自車両内の制御装置に対して出力される。また、挙動予測工程#21における予測結果に基づいて、学習挙動情報Rが、運転者の操作や外的要因によって生じる自車両の動作を最適化する制御装置に対して出力される。
【0076】
〔適用例1〕
以下、本発明に係る車両挙動学習装置2の具体的な適用例について説明する。図9は、自車位置情報取得部3により取得される自車位置情報Lの軌跡に基づいて車両挙動を学習する例を示す説明図である。本例において、自車両50は幹線道路K1を走行し、別の幹線道路K2との大きな交差点N2に至る前に交差点N3において細街路K3へと左折する。平行する幹線道路K2と、細街路K3とが近い場合、つまり交差点N2とN3との距離が短い場合、自車位置情報取得部3は自車位置情報Lに示される自車両50の現在位置を誤った道路上にマップマッチングする場合がある。自車両50は、図9に実線で示すように進行しているにも拘わらず、自車位置情報Lに示される自車両50の現在位置が、図9に破線で示すように幹線道路K2上にマップマッチングされ、当該自車位置情報Lに示される自車両50の位置が自車位置マーク60としてモニタ26に表示される場合がある。このような誤マッチングは、運転者により手動で、あるいはナビゲーション用演算部12により自動で、修正されるが、短時間であっても誤った位置を示す自車位置マーク60がモニタ26に表示されることになる。本発明の車両挙動学習装置2を用いることによって、このような誤マッチングを抑制することができる。
【0077】
図9に示す例では、自車両50の運転者は、交差点N3に至る前に方向指示器を操作し、ブレーキを操作して自車両50を減速させ、交差点N3においては左折の操舵を行う。このような方向指示器、ブレーキ、ステアリングへの運転者による操作は、挙動検出部9により車両の挙動として検出される。また、このような自車両50の左折動作に伴い、方位センサ24により検出される自車両50の進行方位の変化も、運転者の操作の結果生じる自車両50の挙動として挙動検出部9により検出される。一方、自車両50は、交差点N3へ接近する前、交差点N1を通過している。交差点N1の前後には、地物としての横断歩道C1及びC2があり、これらは対象地物として画像認識される。本例では、自車両50の進行方向側の端部(図中の■部)を位置情報とする対象地物として認識される。これら対象地物の一方又は双方を基準として、交差点N3における自車両50の屈曲動作(本例では左折)が車両挙動として検出結果記憶部8に記憶される。すなわち、この車両挙動の検出結果を表す挙動検出情報Bは、対象地物としての横断歩道C1及びC2の一方又は双方を基準として、自車位置情報補正部11により補正された自車位置情報Lに基づく当該挙動の検出位置の情報と関連付けられて検出結果記憶部8に記憶される。
【0078】
この細街路K3への左折が例えば自宅への経路であれば、自車両50は、幹線道路K1から細街路K3へ至る同じ経路を複数回通行する。したがって、検出結果記憶部8には、自車両50の同一の挙動についての複数回の挙動検出情報Bが記憶される。このように繰り返し検出される自車両50の挙動は、学習挙動抽出部9によって学習挙動として抽出される。そして、この学習挙動の属性情報及び位置情報が、画像認識に成功した対象地物の地物情報と関連づけた学習挙動情報Rとして学習挙動データベース19に記憶される。本例では、属性情報とは、交差点N3における左折や、方向指示器の操作を特定する情報である。また、位置情報とは、当該学習挙動の位置を表す座標情報であり、検出結果記憶部8に記憶された挙動検出情報Bと関連付けられた当該挙動の検出位置の情報に基づいて導出される。本例では、学習挙動情報Rの位置情報に示される位置は、交差点N3内の位置となる。
【0079】
図10は、ナビゲーション用演算部12による自車位置表示において車両挙動の予測結果を利用する例を示す説明図である。上述したように、自車両50の学習挙動情報Rが学習挙動データベース19に記憶された状態で、自車両50が幹線道路K1を通行する場合を考える。自車両50が交差点N1を通過すると、画像認識部6により横断歩道C1及びC2を対象地物として認識する。挙動予測部10は、横断歩道C1及びC2に関連づけられた学習挙動情報Rを取得し、交差点N3において自車両50が左折する可能性が高いことを予測する。また、挙動予測部10は、このような挙動の予測結果を、ナビゲーション用演算部12(ナビゲーション用演算手段の一例)に対して出力する。そして、予測された位置において自車両50が左折すると、ナビゲーション用演算部12は、自車両50が、幹線道路K2ではなく細街路K3に進入したと判定して、自車位置マーク60を細街路K3上に合わせてモニタ26に表示させる。また、この際、挙動予測部10が、このような挙動の予測結果を自車位置情報取得部3に対して出力し、自車位置情報Lを補正する構成としても好適である。
【0080】
このように、本発明に係る車両挙動学習装置2を適用することによって、ナビゲーション装置1における自車位置表示や経路案内の精度を向上させることができる。
【0081】
〔適用例2〕
上述した適用例1では、自車両50の挙動として、自車両50の各部において受け付けられる運転者の操作、及び当該運転者の操作の結果生じる自車両50の動作を挙動検出部7が検出する場合を示した。本適用例2では、外部から自車両50に加わる外的要因による自車両50の動作が挙動として検出される場合の例について説明する。
【0082】
ナビゲーション装置1からの道路情報を元に、自車両50のサスペンションの減衰力を制御し、カーブ走行時の操舵安定性を向上し、或いは段差における振動の減衰力を最適に制御するシステムがある。これらは、サスペンションの制御とナビゲーション装置1とが協調して実施されることから、ナビ協調サスペンションシステムと称される。通常、このナビ協調サスペンションシステムは、主としてナビゲーション装置1がGPS受信機23や方位センサ24、距離センサ25などを通じて取得する自車位置情報Lを用いて実施される。しかし、上述したように、この自車位置情報Lは誤差を含むため、サスペンションの制御が最適な位置からずれる場合がある。
【0083】
本発明に係る挙動学習装置2を適用すると、サスペンションの振動センサ37や方位センサ24、ヨー・Gセンサなどにより、カーブ走行や段差通過の挙動が、挙動検出情報Bとして検出される。上述したように、この挙動検出情報Bは、地物情報Fと関連付けられて学習挙動情報Rとして学習挙動データベース19に記憶される。この学習挙動情報Rは、同じ自車両50の挙動についての複数の挙動検出情報Bに基づいて、繰り返し検出される自車両50の挙動が抽出されたものとすることができる。
【0084】
一方、この挙動は、外部から自車両50に加わる外的要因による自車両50の動作に基づくものである。このため、運転者や車両への依存性が低く、道路自体への依存性が高い。従って、図6に基づいて説明したように、複数の車両が同じ場所を通行することにより各車両の検出結果記憶部8に記憶された複数の挙動検出情報Bに基づいて、再現性を有して検出される車両の挙動が抽出されたものとすることもできる。
【0085】
このようにして抽出され、記憶された学習挙動情報Rに基づいて、該当する対象地物に関連づけられた段差通過やカーブ走行などの挙動が挙動予測部10によって予測される。そして、この予測結果に基づいてナビ協調サスペンションシステムの制御が実施される。したがって、例えば、道路の特定の場所に段差が生じている場合に、当該段差の通行時に振動・衝撃を受けることを予測して、最適なサスペンションの制御を行うことが可能となる。その結果、従来に比べてより精密な制御が可能となる。尚、サスペンションの制御装置は、本発明における自車両50の動作を最適化する制御装置に相当する。
【0086】
〔適用例3〕
本適用例3では、ナビゲーション装置1からの道路情報と運転者の操作の受け付けとを元に、自車両50のエンジンやオートマチックトランスミッションなどを最適に制御する例について説明する。これは、オートマチックトランスミッションなどのシフト制御とナビゲーショ装置1とが協調して実施されることから、ナビ協調シフト制御と称される。例えば、上り坂を走行する際、運転者の好みによって、登坂車線などをゆっくりと登ったり、キックダウンを行って高速で登ったりする場合がある。挙動検出部7は、例えばこのキックダウンの動作を挙動検出情報Bとして検出する。この挙動が同じ対象地物を基準として、繰り返し検出された場合には、この運転操作を運転者の癖として学習する。つまり、この挙動検出情報Bは、地物情報Fと関連付けられて学習挙動情報Rとして学習挙動データベース19に記憶される。
【0087】
挙動予測部10は、記憶された学習挙動情報Rに基づいて、画像認識部6により該当する対象地物を認識した際に、シフトダウンが必要であると予測する。この予測結果に基づいて、ナビ協調シフト制御システムは、燃費なども考慮して最適なシフト制御を行う。尚、この制御は、エンジン、トランスミッションなどいわゆるパワートレインの種々の機構に対して実施することができる。また、駆動力源としてエンジンとモータとを有したハイブリッド車両では、各駆動力源の動作状態を最適な状態とするように制御することができる。
【0088】
〔適用例4〕
運転者の操作の受け付けに係る自車両50の挙動として、運転者によるサンバイザーの操作を検出してもよい。この際、GPS受信機23からは、時刻情報や日付情報も取得可能である。従って、運転者がまぶしさを感じる時間帯、場所、方角と合わせて学習挙動情報Rを抽出し、記憶することができる。挙動予測部10が、この学習挙動情報Rに基づいて運転者がまぶしさを感じることを予測すると、例えば、モニタ26の輝度を高く調整する、電動サンバイザーを駆動する、などの制御を各装置の制御部が実施する。
【0089】
〔適用例5〕
運転者の操作の受け付けに係る自車両50の挙動として、運転者による空調装置の操作を空調スイッチ31からの入力に基づいて検出してもよい。例えば、通常は空調装置を外気導入で使用する運転者が、ある地点において繰り返し内気循環に切り替えるという挙動を、学習挙動情報Rとして抽出し、記憶する。これは、運転者が交通量の多い幹線道路を走行する際に、他の車両の排気ガスが自車両50に浸入しないように、空調スイッチ31を操作する場合の例である。挙動予測部10は、学習挙動情報Rに基づいて、空調装置が操作されることを予測する。空調装置の制御部は、この予測結果に基づいて、自動的に外気導入から内気循環に切り替える。内気循環への切り替えが遅れ、排気ガスが自車両50にわずかでも浸入すると、不快であるが、このように自動的に切り替わることで、車内の快適性が確保される。
【0090】
以上説明したように、本発明によって、自車両の位置を高精度に測位し、道路上の特定の位置で実施される頻度の高い車両の挙動を学習することが可能な車両挙動学習装置を提供することができる。
【0091】
〔その他の実施形態〕
(1)上記の実施形態においては特に説明はしなかったが、地物データベース15に記憶されている地物情報Fは、予め記憶された初期地物情報、及び地物情報Fとは無関係な画像認識部6による地物の画像認識結果に基づいて学習して記憶された学習地物情報の双方とすると好適である。ここで、初期地物情報とは、地物データベース15に予め整備されて記憶されている複数の地物についての地物情報Fである。このような初期地物情報を、地図情報Mが整備されている全ての地域について整備するためには、多くの手間と費用が必要となる。よって、初期地物情報は、大都市周辺や幹線道路等の一部の地域についてのみ整備されている場合が多い。そこで、地物データベース15に初期地物情報と学習地物情報の双方を記憶した構成とする場合には、初期地物情報が整備されていない地域等において、学習地物情報を用いて自車両の挙動の学習を行う構成とすると好適である。
ここで、学習地物情報は、例えば以下のようにして学習され、地物データベース15に記憶される。すなわち、地物の情報を学習するために、画像認識部6は、地物情報Fとは無関係に、画像情報取得部4において取得した画像情報Gに含まれる地物の画像認識処理を行う。そして、地物の画像認識に成功した場合には、当該地物の認識位置を求め、当該認識位置を表す認識位置情報を、当該地物が識別可能な状態で所定の地物学習データベース等に記憶する。これにより、自車両が同じ道路を繰り返し走行すれば、同じ地物が複数回画像認識され、前記地物学習データベースに同じ地物についての複数の認識位置情報が記憶されることになる。そこで、所定の推測位置判定手段により、当該地物の推測位置を判定し、所定の学習地物情報生成手段により、地物の推測位置を表す位置情報と、当該地物についての画像認識結果に基づく属性情報とを関連付けた情報を学習地物情報として生成し、地物データベース15に記憶する。
なお、地物データベース15に記憶されている地物情報Fを初期地物情報のみとし、或いは学習地物情報のみとすることも、当然に可能である。
【0092】
(2)上記の実施形態では、前記挙動検出情報Bに関連付けられる挙動の検出位置の情報、及び学習挙動情報Rに係る学習挙動の位置情報が、当該挙動の検出位置又は当該学習挙動の位置を表す座標情報である場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、挙動の検出位置の情報及び学習挙動の位置情報を、他の態様により当該挙動の位置を表す情報としてもよい。したがって、例えば、挙動が検出された検出位置の情報及び学習挙動の位置情報の一方又は双方を、当該挙動の検出前に画像認識に成功した対象地物との関係で当該挙動の位置を表す情報とすることも、本発明の好適な実施形態の一つである。具体的には、例えば、挙動の検出位置の情報を、画像認識に成功した対象地物の当該画像認識に成功した位置から当該挙動の検出位置までの距離情報としても好適である。このようにすれば、挙動の検出位置を、画像認識に成功した対象地物との関係を示す地物−挙動間の距離を用いて適切に表すことができる。また、これと同様に、学習挙動情報Rに係る学習挙動の位置情報を、画像認識に成功した対象地物の位置から当該学習挙動の位置までの距離情報としても好適である。このようにすれば、学習挙動の位置を、画像認識に成功した対象地物との関係を示す地物−挙動間の距離を用いて適切に表すことができる。また、このように対象地物との距離情報により学習挙動の位置を表すことにより、学習挙動情報Rに示される対象地物の画像認識に成功した際に、当該対象地物の画像認識に成功した位置を基準としてより正確に学習挙動の発生を予測することが可能となる。
また、前記挙動検出情報Bに関連付けられる挙動の検出位置の情報、及び学習挙動情報Rに係る学習挙動の位置情報の一方又は双方が、当該挙動の検出位置又は当該学習挙動の位置を表す座標情報と、前記対象地物との距離情報との双方を有する構成としても好適である。
【0093】
(3)上記の実施形態では、車両挙動学習装置2を含むナビゲーション装置1の全ての構成が自車両に搭載される場合を例として説明した。しかし、本発明の実施形態はこのような構成に限定されるものではない。すなわち、例えば、撮像装置21を除く一部の構成が、インターネット等の通信ネットワークを介して接続された状態で自車両の外に設置されており、ネットワークを介して情報や信号の送受信を行うことにより、車両挙動学習装置2及びナビゲーション装置1を構成することも、本発明の好適な実施形態の一つである。したがって、例えば、地図データベース13や地物データベース15を、無線通信回線等を介して自車両と通信可能に接続されたサーバ装置に設置し、自車位置情報Lに基づいてサーバ装置から取得した地物情報Fや地図情報Mに基づいて、車両挙動学習装置2を含むナビゲーション装置1の動作を行わせる構成とすることも、本発明の好適な実施形態の一つである。
【0094】
(4)上記の実施形態では、車両挙動学習装置2が挙動予測部10を備え、自車両50の挙動の予測結果を自車両50の各制御部等に出力する構成である場合を例として説明した。しかし、本発明に係る車両挙動学習装置2の構成は、これに限定されるものではなく、挙動予測部10を備えない構成とすることも、本発明の好適な実施形態の一つである。例えば、車両挙動学習装置2は、右折や左折等の自車両50の進路変更に関わる挙動と、地図情報Mに含まれる道路形状等とに基づいて、当該進路変更の挙動が地図上の道路形状に適合するように、自車位置情報取得部3により取得される自車位置情報Lを補正する自車位置情報補正手段を備える構成としても好適である。この場合、本発明に係る車両挙動学習装置2は、自車位置認識装置の一部を構成する。
【産業上の利用可能性】
【0095】
本発明は、特定の車両位置における車両の特定の挙動を学習可能な車両挙動学習装置に及び車両挙動学習プログラムに好適に利用することが可能である。
【図面の簡単な説明】
【0096】
【図1】本発明の実施形態に係る車両挙動学習装置を含むナビゲーション装置の構成例を模式的に示すブロック図
【図2】地図データベース及び地物データベースに記憶される情報の構成例を示す説明図
【図3】画像情報の一例を示す図
【図4】自車両周辺の地図情報の一例を示す図
【図5】学習挙動データベースの構成の一例を模式的に示すブロック図
【図6】学習挙動データベースの構成の他の例を模式的に示すブロック図
【図7】車両挙動を学習する手順の一例を示すフローチャート
【図8】車両挙動を予測する手順の一例を示すフローチャート
【図9】ナビゲーション装置の経路案内に基づいて車両挙動を学習する例を示す説明図
【図10】ナビゲーション装置の経路案内において車両挙動の予測結果を利用する例を示す説明図
【符号の説明】
【0097】
1:ナビゲーション装置
2:車両挙動学習装置
3:自車位置演算部(自車位置情報取得手段)
4:画像情報取得部(画像情報取得手段)
5:地物情報取得部(地物情報取得手段)
6:画像認識部(画像認識手段)
7:挙動検出部(挙動検出手段)
8:検出結果記憶部(検出結果記憶手段)
9:学習挙動抽出部(学習挙動抽出手段)
10:挙動予測部(挙動予測手段)
11:自車位置補正部(自車位置補正手段)
12:ナビゲーション用演算部(案内情報出力手段)
13:地図データベース(地図情報記憶手段)
15:地物データベース(地物情報記憶手段)
16:アプリケーションプログラム(案内情報出力手段)
17:レーン特定部(自車位置情報取得手段)
18:自車位置情報取得手段
19:学習挙動データベース
21:カメラ、撮影部
23:GPS受信機
24:方位センサ
25:距離センサ
26:モニタ(案内情報出力手段)
27:スピーカ(案内情報出力手段)
28:案内情報出力部(案内情報出力手段)
B:挙動検出情報
F、FC:地物情報
G:画像情報
L:自車位置情報
M、MC:地図情報
R、Ra、Rb、RC:学習挙動情報

【特許請求の範囲】
【請求項1】
自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、
自車両の周辺の画像情報を取得する画像情報取得手段と、
複数の対象地物についての位置情報及び属性情報を含む地物情報が記憶された地物情報記憶手段と、
前記自車位置情報に基づいて、前記地物情報記憶手段から自車両の周辺の前記地物情報を取得する地物情報取得手段と、
前記地物情報に基づいて、前記画像情報に含まれる対象地物の認識処理を行う画像認識手段と、
前記画像認識手段による対象地物の画像認識に成功した位置から所定範囲内の自車両の挙動を検出する挙動検出手段と、
前記自車位置情報に基づいて、前記挙動検出手段による自車両の挙動の検出結果を表す挙動検出情報を、当該挙動が検出された検出位置の情報と関連づけて記憶する検出結果記憶手段と、
自車両が同じ場所を複数回通行することにより前記検出結果記憶手段に記憶された、同じ挙動についての複数の前記挙動検出情報に基づいて、繰り返し検出される自車両の挙動を学習挙動として抽出し、当該学習挙動の属性情報及び位置情報を前記画像認識に成功した対象地物の地物情報と関連づけた学習挙動情報として出力する学習挙動抽出手段と、
を備える車両挙動学習装置。
【請求項2】
前記挙動検出手段により検出される自車両の挙動は、自車両の各部における運転者の操作の受け付け、及び自車両の動作の少なくとも一方を含む、請求項1に記載の車両挙動学習装置。
【請求項3】
前記学習挙動抽出手段は、
複数の車両と通信可能に接続され、
前記挙動検出手段が、自車両の挙動として外部から自車両に加わる外的要因による自車両の動作を検出する場合、複数の車両が同じ場所を通行することにより各車両の検出結果記憶手段に記憶された、車両の挙動についての複数の挙動検出情報に基づいて、再現性を有して検出される自車両の挙動を学習挙動として抽出し、当該学習挙動の属性情報及び位置情報を前記画像認識に成功した対象地物の地物情報と関連づけた前記学習挙動情報として出力する、請求項1又は2に記載の車両挙動学習装置。
【請求項4】
前記学習挙動情報に基づいて、当該対象地物に関連づけられた前記挙動を予測する挙動予測手段を備える、請求項1〜3の何れか一項に記載の車両挙動学習装置。
【請求項5】
前記挙動予測手段は、前記挙動の予測結果を、自車両の案内情報の出力のための演算処理を行うナビゲーション用演算手段に対して出力する請求項4に記載の車両挙動学習装置。
【請求項6】
前記挙動予測手段は、前記挙動の予測結果を、前記運転者の操作を再現する自車両内の制御装置に対して出力する、請求項4に記載の車両挙動学習装置。
【請求項7】
前記挙動予測手段は、前記挙動の予測結果を、自車両の動作を最適化する制御装置に対して出力する、請求項4に記載の車両挙動学習装置。
【請求項8】
前記対象地物は、道路の路面に設けられた道路標示である請求項1〜7の何れか一項に記載の車両挙動学習装置。
【請求項9】
前記地物情報記憶手段には、前記地物情報として、予め記憶された初期地物情報、及び前記地物情報とは無関係な前記画像認識手段による地物の画像認識結果に基づいて学習して記憶された学習地物情報の一方又は双方が記憶されている請求項1〜8の何れか一項に記載の車両挙動学習装置。
【請求項10】
前記挙動が検出された検出位置の情報は、当該挙動の検出位置を表す座標情報、及び前記画像認識に成功した対象地物の当該画像認識に成功した位置から当該挙動の検出位置までの距離情報の一方又は双方を含む請求項1〜9の何れか一項に記載の車両挙動学習装置。
【請求項11】
前記学習挙動情報に係る前記学習挙動の位置情報は、当該学習挙動の位置を表す座標情報、及び前記画像認識に成功した対象地物の位置から当該学習挙動の位置までの距離情報の一方又は双方を含む請求項1〜10の何れか一項に記載の車両挙動学習装置。
【請求項12】
請求項1〜11の何れか一項に記載の車両挙動学習装置と、
地図情報が記憶された地図情報記憶手段と、
前記車両挙動学習装置により出力された前記学習挙動情報及び前記地図情報の一方又は双方を参照して動作する複数のアプリケーションプログラムと、
前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、
を備えるナビゲーション装置。
【請求項13】
自車両の現在位置を示す自車位置情報を取得する自車位置情報取得工程と、
自車両の周辺の画像情報を取得する画像情報取得工程と、
複数の対象地物についての位置情報及び属性情報を含む地物情報が記憶された地物情報記憶手段から、前記自車位置情報に基づいて自車両の周辺の前記地物情報を取得する地物情報取得工程と、
前記地物情報に基づいて、前記画像情報に含まれる対象地物の認識処理を行う画像認識工程と、
前記画像認識手段による対象地物の画像認識に成功した位置から所定範囲内の自車両の挙動を検出する挙動検出工程と、
前記自車位置情報に基づいて、前記挙動検出手段による自車両の挙動の検出結果を表す挙動検出情報を、当該挙動が検出された検出位置の情報と関連づけて検出結果記憶手段に記憶させる検出結果記憶工程と、
自車両が同じ場所を複数回通行することにより前記検出結果記憶手段に記憶された、同じ自車両の挙動についての複数の挙動検出情報に基づいて、繰り返し検出される自車両の挙動を学習挙動として抽出し、当該学習挙動の属性情報及び位置情報を前記画像認識に成功した対象地物の地物情報と関連づけた学習挙動検出情報として出力する学習挙動抽出工程と、
をコンピュータに実行させる車両挙動学習プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2008−275575(P2008−275575A)
【公開日】平成20年11月13日(2008.11.13)
【国際特許分類】
【出願番号】特願2007−171894(P2007−171894)
【出願日】平成19年6月29日(2007.6.29)
【出願人】(000100768)アイシン・エィ・ダブリュ株式会社 (3,717)
【Fターム(参考)】