車両位置認識装置及び車両位置認識方法
【課題】 車両に搭載された撮像装置により撮像した画像情報に加えて、地図情報や車両情報等を用いることにより、走行中の道路の中における車両の位置をより詳細に特定することを可能とする車両位置認識装置及び車両位置認識方法を提供する。
【解決手段】 車両に搭載された撮像装置２により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段３と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段９と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段１０と、道路特徴情報取得手段９により取得された前記道路特徴情報と、画像情報認識手段１０により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、車両の道路幅方向の位置を特定する車両位置特定手段１７と、を備える。
【解決手段】 車両に搭載された撮像装置２により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段３と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段９と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段１０と、道路特徴情報取得手段９により取得された前記道路特徴情報と、画像情報認識手段１０により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、車両の道路幅方向の位置を特定する車両位置特定手段１７と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両等に搭載され、道路上で撮像した画像情報の中に含まれる所定の認識対象物の画像を認識し、車両の道路幅方向の位置を特定する処理を行う車両位置認識装置及び車両位置認識方法に関する。
【背景技術】
【０００２】
近年、例えばナビゲーション装置等において、走行中の車両の位置を特定するために、ＧＰＳ（グローバル・ポジショニング・システム）からの電波信号を用いた位置特定の方法が広く用いられている。しかし、このＧＰＳによる車両の位置特定の精度は、数十ｍ程度の誤差を含んでおり、それ以上の精度での詳細な位置特定を行うことは困難であった。そこで、このＧＰＳによる位置特定の精度の悪さを補うために、これまでにも様々な技術が提案されている。
【０００３】
このような技術として、例えば、下記の特許文献１には、車両に搭載された撮像装置により撮像された画像情報について、認識部が画像の輝度等に基づいて区画線を認識し、それにより車両が走行中の道路が一般道か高速道かを判定する技術が開示されている。
【０００４】
すなわち、この技術では、撮像した画像中の一定の広さを有するウィンドウ内の輝度が一定の基準を超えている部分を区画線の画像として認識し、或いは、撮像した画像に対して微分処理を行い、エッジに囲まれた部分を区画線の画像として認識する。これにより認識された区画線は、その長さ、区画線間の空白部分の長さ、区画線の繰り返しピッチといった特徴抽出データとして判定部に出力される。そして、判定部では、一般道と高速道とでそれぞれ規格化された区画線の設置基準に基づいて、走行中の道路が一般道か高速道かを判定する処理を行う。
【０００５】
【特許文献１】実開平５−２３２９８号公報（第６−８頁、第１−３図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記の技術によれば、例えば一般道と高速道とが隣接して設けられている場合等において、車両が一般道と高速道のいずれを走行しているかを判別することができるので、ＧＰＳによる位置特定の誤差により、車両が一般道を走行中であるのに高速道を走行していると判定し、或いは逆に高速道を走行中であるのに一般道を走行していると判定することを防止することが可能となる。したがって、車両が走行中の道路が一般道か高速道かに応じて、車両の速度制御等を行うことができる。
【０００７】
しかしながら、上記の技術では、車両が走行している道路が一般道か高速道かということの判定は可能であるが、走行中の道路の中における車両の位置、例えば、走行方向に複数の車線がある道路を車両が走行中である場合において、車両がどの車線を走行しているか等のように、走行中の道路の中における車両の道路幅方向の位置を特定することは不可能である。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、車両に搭載された撮像装置により道路上で撮像した画像情報に加えて、地図情報や車両情報等を用いることにより、走行中の道路の中における車両の位置をより詳細に特定することを可能とする車両位置認識装置及び車両位置認識方法を提供する点にある。
【課題を解決するための手段】
【０００９】
上記目的を達成するための本発明に係る車両位置認識装置の特徴構成は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と、前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定手段と、を備える点にある。
【００１０】
この特徴構成によれば、車両に搭載された撮像装置により撮像された画像情報に加えて、地図情報から取得した画像情報の撮像位置周辺の地物に関する道路特徴情報を用いることにより、画像情報認識手段により認識された前記地物に対応する認識対象物の画像の画像情報中の配置と、道路特徴情報とを対比することができ、走行中の道路における車両の道路幅方向の位置を特定することができる。
【００１１】
ここで、前記車両位置特定手段は、前記画像情報認識手段により認識された１又は２以上の認識対象物の画像の前記画像情報中の配置と、前記道路特徴情報に含まれる前記１又は２以上の認識対象物に対応する物の位置情報とを対比して、前記車両の道路幅方向の位置を特定する構成とすると好適である。
【００１２】
これにより、特定の認識対象物の画像の画像情報中の配置と、道路特徴情報に含まれる当該特定の認識対象物に対応する物の位置情報とを対比して、撮像装置による道路幅方向の撮像位置、すなわち車両の道路幅方向の位置を高い精度で特定することができる。
【００１３】
また、前記画像情報認識手段は、前記画像情報から前記認識対象物の画像候補を抽出して前記道路特徴情報と対比し、前記道路特徴情報との整合性が高い前記画像候補を前記認識対象物の画像として認識する構成とすると好適である。
【００１４】
これにより、地図情報から取得される道路特徴情報との整合性が高い画像候補を認識対象物の画像として認識するので、認識対象物と誤認し易い画像的な特徴を有する物が撮像された画像情報に含まれる場合等であっても認識対象物の認識率を高めることができ、車両の道路幅方向の位置を高い精度で特定することが可能となる。
【００１５】
本発明に係る車両位置認識装置の更なる特徴構成は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を、前記道路の幅方向に異なる複数の位置を基準とする位置毎の情報として取得する道路特徴情報取得手段と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と、前記道路特徴情報取得手段により取得された前記道路幅方向の位置毎の道路特徴情報のそれぞれについて、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置と対比し、整合性が高い前記道路特徴情報が基準とする道路幅方向の位置を、前記車両の道路幅方向の位置として特定する車両位置特定手段と、を備える点にある。
【００１６】
この特徴構成によれば、地図情報から取得した道路の幅方向に異なる複数の位置を基準とする位置毎の道路特徴情報のそれぞれについて、車両に搭載された撮像装置により撮像された画像情報に基づいて画像情報認識手段により認識された認識対象物の画像の画像情報中の配置と対比し、整合性が高い道路特徴情報が基準とする道路幅方向の位置を、車両の道路幅方向の位置として特定することにより、走行中の道路における車両の道路幅方向の位置を特定することができるとともに、その特定のための演算処理を、各位置毎の道路特徴情報と画像情報認識手段の認識結果との整合性の高さを判断する処理とすることができるので、車両の道路幅方向の位置を特定するための演算処理の際の装置の負荷を軽減することができる。
【００１７】
ここで、前記車両の進路に関する前記車両からの情報を取得する車両情報取得手段及び前記車両の過去の走行経路に関する情報を取得する過去経路取得手段の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測手段を備え、前記車両位置特定手段は、前記車両位置推測手段による推測結果に基づいて、前記道路幅方向の位置毎の道路特徴情報の対比の順序を決定する構成とすると好適である。
【００１８】
これにより、車両の現在の状況や過去の走行経路等に基づく車両位置推測手段による推測結果に基づいて、整合する可能性が高い道路の幅方向の位置を基準とする道路特徴情報から先に画像情報認識手段の認識結果と対比することができるので、車両の道路幅方向の位置を特定するための演算処理の速度を速くすることができるとともに、その演算処理の際の装置の負荷を更に軽減することができる。
【００１９】
また、前記車両の進路に関する前記車両からの情報を取得する車両情報取得手段及び前記車両の過去の走行経路に関する情報を取得する過去経路取得手段の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測手段を備え、前記車両位置特定手段は、前記車両の道路幅方向の位置の特定に、前記車両位置推測手段による推測結果を用いる構成とすると好適である。
【００２０】
これにより、車両の道路幅方向の位置の特定のための情報に、車両の現在の状況や過去の走行経路等に基づく車両位置推測手段による推測結果を更に加えるので、車両の道路幅方向の位置をより高い精度で特定することが可能となる。
【００２１】
また、前記道路特徴情報が、前記地物に関する位置情報と、形状情報及び色彩情報の少なくとも一方とを含む構成とすれば、道路特徴情報を、画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置と容易に対比可能な形で取得することができる。
【００２２】
また、前記車両位置特定手段は、前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、前記車両の道路長手方向の位置を特定する構成とすると更に好適である。
【００２３】
これにより、車両の道路幅方向の位置の特定のための処理と同様の処理により、車両の道路長手方向の位置も特定することができる。したがって、走行中の道路の中における車両の位置をより詳細に特定することができる。
【００２４】
また、前記道路特徴情報取得手段は、ナビゲーション装置を構成する地図情報データベースが有する地図情報から、前記撮像装置による前記画像情報の撮像時に、前記ナビゲーション装置を構成する位置情報取得手段により取得された位置周辺の前記道路特徴情報を取得する構成とすること好適である。
【００２５】
これにより、ナビゲーション装置に必須の機能を利用して道路特徴情報を容易に取得することができる。したがって、車両位置認識装置の専用の構成として道路特徴情報を有する地図情報のデータベース及び画像情報の撮像位置の認識装置等を設ける必要がなく、車両位置認識装置を安価に構成することができる。
【００２６】
本発明に係る車両位置認識装置のもう一つの特徴構成は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる認識対象物の画像を認識する画像情報認識手段と、前記車両の進路に関する前記車両からの情報を取得する車両情報取得手段及び前記車両の過去の走行経路に関する情報を取得する過去経路取得手段の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測手段と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置と、前記車両位置推測手段による推測結果とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定手段と、を備える点にある。
【００２７】
この特徴構成によれば、車両に搭載された撮像装置により撮像された画像情報に加えて、車両の現在の状況や過去の走行経路等に基づく車両位置推測手段による推測結果を用いることにより、画像情報認識手段により認識された認識対象物の画像の画像情報中の配置と車両位置推測手段による推測結果との両方を用いて、走行中の道路における車両の道路幅方向の位置を特定することができる。
【００２８】
ここで、前記地物としては、例えば、道路の路面に設けられた区画線や進行方向別通行区分表示等のペイント表示が含まれる。
【００２９】
また、前記画像情報取得手段は、車両に搭載した撮像装置により撮像した画像情報を所定の時間間隔で取り込む構成とすること好適である。
【００３０】
これにより、車両位置認識装置による車両の道路幅方向の位置を特定する処理を、車両が走行するのに従ってリアルタイムで行うことができる。
【００３１】
本発明に係る車両位置認識方法の特徴構成は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得工程と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得工程と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識工程と、前記道路特徴情報取得工程により取得された前記道路特徴情報と、前記画像情報認識工程により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定工程と、を有する点にある。
【００３２】
この特徴構成によれば、車両に搭載された撮像装置により撮像された画像情報に加えて、地図情報から取得した画像情報の撮像位置周辺の地物に関する道路特徴情報を用いることにより、画像情報認識工程により認識された前記地物に対応する認識対象物の画像の画像情報中の配置と、道路特徴情報とを対比することができ、走行中の道路における車両の道路幅方向の位置を特定することができる。
【００３３】
本発明に係る車両位置認識方法の更なる特徴構成は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得工程と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を、前記道路の幅方向に異なる複数の位置を基準とする位置毎の情報として取得する道路特徴情報取得工程と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識工程と、前記道路特徴情報取得工程により取得された前記道路幅方向の位置毎の道路特徴情報のそれぞれについて、前記画像情報認識工程により認識された前記認識対象物の画像の前記画像情報中の配置と対比し、整合性が高い前記道路特徴情報が基準とする道路幅方向の位置を、前記車両の道路幅方向の位置として特定する車両位置特定工程と、を有する点にある。
【００３４】
この特徴構成によれば、地図情報から取得した道路の幅方向に異なる複数の位置を基準とする位置毎の道路特徴情報のそれぞれについて、車両に搭載された撮像装置により撮像された画像情報に基づいて画像情報認識工程により認識された認識対象物の画像の画像情報中の配置と対比し、整合性が高い道路特徴情報が基準とする道路幅方向の位置を、車両の道路幅方向の位置として特定することにより、走行中の道路における車両の道路幅方向の位置を特定することができるとともに、その特定のための演算処理を、各位置毎の道路特徴情報と画像情報認識工程による認識結果との整合性の高さを判断する処理とすることができるので、車両の道路幅方向の位置を特定するための演算処理の際の負荷を軽減することができる。
【００３５】
本発明に係る車両位置認識装置のもう一つの特徴構成は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得工程と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる認識対象物の画像を認識する画像情報認識工程と、前記車両の進路に関する前記車両からの情報を取得する車両情報取得工程及び前記車両の過去の走行経路に関する情報を取得する過去経路取得工程の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測工程と、前記画像情報認識工程により認識された前記認識対象物の画像の前記画像情報中の配置と、前記車両位置推測工程による推測結果とに基づいて、前記車両の道路幅方向の位置を特定する点にある。
【００３６】
この特徴構成によれば、車両に搭載された撮像装置により撮像された画像情報に加えて、車両の現在の状況や過去の走行経路等に基づく車両位置推測肯定による推測結果を用いることにより、画像情報認識工程により認識された認識対象物の画像の画像情報中の配置と車両位置推測肯定による推測結果との両方を用いて、走行中の道路における車両の道路幅方向の位置を特定することができる。
【発明を実施するための最良の形態】
【００３７】
〔第一の実施形態〕
以下に、本発明の第一の実施形態について図面に基づいて説明する。図１は、本実施形態に係る車両位置認識装置１のハードウエア構成の概略を示すブロック図である。
本実施形態に係る車両位置認識装置１は、撮像装置２により撮像された画像情報の認識結果と地図情報から取得した道路特徴情報Ｃとに基づいて、車両Ｍの走行中の道路１１内における詳細な位置、すなわち道路幅方向及び道路長手方向の詳細な位置を特定する処理を行う。
【００３８】
この図１に示すように、本実施形態に係る車両位置認識装置１は、主たる構成として、車両Ｍ（図２参照）に搭載された撮像装置２からの画像情報Ｇを取り込む画像情報取得部３と、ＧＰＳ（グローバル・ポジショニング・システム）受信機４、方位センサ５及び距離センサ６からの出力に基づいて撮像装置２による概略の撮像位置を特定するための演算を行う概略位置特定演算部７と、地図情報データベース８に格納されている地図情報から撮像装置２による概略の撮像位置周辺の地物に関する道路特徴情報Ｃを取得するための演算を行う道路特徴情報取得演算部９と、取得された道路特徴情報Ｃを用いて画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる前記地物に対応する認識対象物の画像を認識するための演算を行う画像情報認識演算部１０と、道路特徴情報取得演算部９で取得された道路特徴情報Ｃと、画像情報認識演算部１０で認識された認識対象物の画像の画像情報Ｇ中の配置とに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定する車両位置特定演算部１７と、を備えている。
ここで、概略位置特定演算部７、ＧＰＳ受信機４、方位センサ５、距離センサ６、及び地図情報データベース８は、車両に搭載され、車両の経路案内等を行うためのナビゲーション装置の構成を利用することができる。この場合、位置特定演算部７、ＧＰＳ受信機４、方位センサ５、距離センサ６等が、本発明における「位置情報取得手段」に相当する。
【００３９】
撮像装置２は、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。この撮像装置２は、車両Ｍの、例えば図２のＱ１〜Ｑ３で示す位置に前方や後方に向けて配置され、車両Ｍが走行する道路１１の少なくとも路面が撮影され、更にここではその道路１１の周囲も撮影されるように設けられる。このような撮像装置２としては、車両Ｍの前方や後方等の映像を撮像するためにこれまでにも設けられている車載カメラ等が好適に用いられる。
【００４０】
画像情報取得部３は、撮像装置２と接続するためのインターフェース回路１２と、撮像装置２からの画像情報Ｇに対して前処理を行う画像前処理回路１３と、前処理後の画像情報Ｇを格納する画像メモリ１４とを有している。インターフェース回路１２は、アナログ／デジタル・コンバータ等を備えており、撮像装置２により撮像したアナログの画像情報Ｇを所定の時間間隔で取り込み、デジタル信号に変換して画像前処理回路１３へ出力する。このインターフェース回路１２による画像情報Ｇの取り込みの時間間隔は、例えば、１０〜５０ｍｓ程度とすることができる。これにより、画像情報取得部３は、車両Ｍが走行中の道路１１の画像情報をほぼ連続的に取得することができる。画像前処理回路１３は、ここでは画像情報Ｇに対する前処理として二値化処理、エッジ検出処理等の画像情報認識
演算部１０による画像認識を容易にするための処理を行う。そして、このような前処理後の画像情報Ｇが画像メモリ１４に格納される。
また、インターフェース回路１２は、画像前処理回路１３へ送る画像情報Ｇとは別に、直接画像メモリ１４へも画像情報Ｇを出力する。したがって、画像メモリ１４には、画像前処理回路１３により前処理を行った後の画像情報Ｇ２と、前処理を行っていないそのままの画像情報Ｇ１との両方が格納されることになる。
本実施形態においては、この画像情報取得部３が、本発明における「画像情報取得手段」を構成する。
【００４１】
概略位置特定演算部７は、本実施形態においては、ＧＰＳ受信機４、方位センサ５、及び距離センサ６と接続さている。ここで、ＧＰＳ受信機４は、ＧＰＳ衛星からの信号を受信する装置であり、ＧＰＳ受信機４の位置（緯度及び経度）や移動速度など様々な情報を得ることができる。方位センサ５は、地磁気センサやジャイロセンサ、或いは、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、車両Ｍの進行方向を検知することができる。距離センサ６は、車輪の回転数を検知する車速センサや車両Ｍの加速度を検知するヨー・Ｇセンサと、検知された加速度を２回積分する回路との組み合わせ等により構成され、車両Ｍの移動距離を検知することができる。そして、概略位置特定演算部７は、これらのＧＰＳ受信機４、方位センサ５及び距離センサ６からの出力に基づいて、車両Ｍの現在の概略位置を特定する演算を行う。こうして演算された車両Ｍの位置が撮像装置２の位置となる。
【００４２】
この概略位置特定演算部７により特定することができる車両の概略位置の精度は、ＧＰＳ受信機の精度に大きく影響を受ける。このため、現状では、数十ｍ程度の誤差を含んでいる。よって、この概略位置特定演算部７において、車両Ｍの道路幅方向及び道路長手方向の詳細な位置を特定することはできない。
【００４３】
また、概略位置特定演算部７は、画像情報取得部３のインターフェース回路１２とも接続されている。このインターフェース回路１２は、撮像装置２による撮像のタイミングで概略位置特定演算部７に対して信号の出力を行う。したがって、概略位置特定演算部７は、このインターフェース回路１２からの信号の入力を受けたタイミングでの撮像装置２の位置を演算することにより、画像情報Ｇの概略の撮像位置を特定することができる。このようにして概略位置特定演算部７により特定された画像情報Ｇの概略の撮像位置は緯度及び経度の情報により表され、道路特徴情報取得演算部９に出力される。
この概略位置特定演算部７は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
【００４４】
道路特徴情報取得演算部９は、概略位置特定演算部７及び地図情報データベース８と接続されている。
図３は、地図情報データベース８に格納されている地図情報の内容を示す説明図である。この図に示すように、本実施形態に係る地図情報データベース８には、地図情報として、道路ネットワークレイヤＬ１、道路形状レイヤＬ２、地物レイヤＬ３が格納されている。
道路ネットワークレイヤＬ１は、道路１１間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードＮの情報と、２つのノードＮを連結して道路１１を構成する多数のリンクＬの情報とを有して構成されている。また、各リンクＬは、そのリンク情報として、道路１１の種別（高速道路、有料道路、国道、県道等の種別）やリンク長さ等の情報を有している。
道路形状レイヤＬ２は、道路ネットワークレイヤＬ１に関連付けられて格納され、道路１１の形状を示すレイヤである。具体的には、２つのノードＮの間（リンクＬ上）に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Ｓの情報と、各道路形状補完点Ｓにおける道路幅Ｗの情報とを有して構成されている。
【００４５】
地物レイヤＬ３は、道路ネットワークレイヤＬ１及び道路形状レイヤＬ２に関連付けられて格納され、道路１１上及び道路１１の周辺に設けられた各種地物の情報を示すレイヤである。この地物レイヤＬ３に格納する地物情報としては、少なくともこの車両位置認識装置１において認識対象物となり得る地物に関する位置、形状、色彩等の情報が格納されている。本実施形態においては、具体的には、道路１１の路面に設けられたペイント表示Ｐ、道路１１に隣接する走行不可能領域Ｉ、道路１１上に設けられた各種の標識１５や信号機１６等の各種地物について、道路形状補完点Ｓ又はノードＮを基準とした地図上の位置、並びに形状及び色彩等の地物情報を有して構成されている。ここで、ペイント表示Ｐには、例えば、車線を分ける区画線（実線、破線、二重線等の区画線の種類の情報も含む。）、ゼブラゾーン、各レーンの進行方向を指定する進行方向別通行区分表示、停止線、横断歩道、速度表示等が含まれる。また、正確にはペイントによるものではないが、同じく道路１１の路面に設けられるマンホールもここではペイント表示Ｐに含めることとする。走行不可能領域Ｉには、例えば、道路１１に隣接する路肩、歩道、分離帯等が含まれる。
なお、地図情報データベース８は、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。
【００４６】
そして、道路特徴情報取得演算部９は、概略位置特定演算部７により特定された画像情報Ｇの撮像位置を示す緯度及び経度の情報に基づいて、地図情報データベース８に格納されている地図情報から、画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを取得するための演算を行う。ここでは、道路特徴情報取得演算部９は、画像情報Ｇの撮像位置周辺の、少なくとも撮像装置２による撮像領域を含む領域内に含まれる地物の位置、形状、色彩等の地物情報を、道路特徴情報Ｃとして地図情報データベース８の地物レイヤＬ３から抽出する演算処理を行う。
【００４７】
この道路特徴情報取得演算部９は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この道路特徴情報取得演算部９が、本発明における「道路特徴情報取得手段」を構成する。
【００４８】
画像情報認識演算部１０は、画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる認識対象物の画像を認識するための演算を行う。本実施形態においては、画像情報認識演算部１０は、画像情報取得部３の画像メモリ１４及び道路特徴情報取得演算部９と接続されており、道路特徴情報取得演算部９により取得された道路特徴情報Ｃを用いて画像情報Ｇの認識処理を行う。
また、画像情報認識演算部１０において画像認識を行う認識対象物は、上述したペイント表示Ｐ、走行不可能領域Ｉ、及び各種の標識１５や信号機１６等の地物レイヤＬ３に地物情報として格納されている地物に対応するものとする。
【００４９】
この画像情報認識演算部１０は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この画像情報認識演算部１０が、本発明における「画像情報認識手段」を構成する。
【００５０】
画像情報認識演算部１０における道路特徴情報Ｃを用いた画像情報Ｇの認識処理の具体的方法として、この車両位置認識装置１では、以下の２つの方法をそれぞれ単独で或いはこれらを組み合わせて用いる。
第一の画像認識処理方法は、画像情報Ｇから認識対象物の画像候補を抽出して道路特徴情報Ｃと対比し、道路特徴情報Ｃとの整合性が高い画像候補を認識対象物の画像として認識する処理方法である。
また、第二の画像認識処理方法は、道路特徴情報Ｃに基づいて画像情報Ｇ中における認識対象物の画像が存在する領域を推測し、その推測結果に基づいて、認識対象物の画像が存在すると推測される領域内では認識対象物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して、画像情報Ｇの中から認識対象物の画像を認識する処理方法である。
本実施形態においては、後にフローチャートを用いて説明するように、画像情報認識演算部１０は、これらの第一及び第二の画像認識処理方法を組み合わせて、道路１１の路面に設けられたペイント表示Ｐと、道路１１に隣接する走行不可能領域Ｉとを認識する処理を行う。そのため、この画像情報認識演算部１０は、ペイント表示認識演算部１０ａ、道路特徴情報照合部１０ｂ、領域推測部１０ｃ、及び走行不可能領域認識部１０ｄを備えている。
【００５１】
車両位置特定演算部１７は、道路特徴情報取得演算部９で取得された道路特徴情報Ｃと、画像情報認識演算部１０で認識された認識対象物の画像の画像情報Ｇ中の配置とに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定するための演算を行う。そのため、本実施形態においては、車両Ｍの道路幅方向と車両Ｍの道路長手方向との両方の詳細な位置を特定する演算処理を行う。
本実施形態においては、後にフローチャートを用いて説明するように、車両位置特定演算部１７は、画像情報認識演算部１０により認識された１又は２以上の認識対象物の画像の画像情報Ｇ中の配置と、道路特徴情報Ｃに含まれる１又は２以上の認識対象物に対応する物の位置情報とを対比して、画像情報Ｇの撮像位置を詳細に特定することにより、車両Ｍの道路幅方向及び車両Ｍの道路長手方向の詳細な位置を特定する演算処理を行う。そのため、この車両位置特定演算部１７は、配置情報抽出部１７ａ、対比演算部１７ｂ、及び撮像位置特定部１７ｃを備えている。
【００５２】
この車両位置特定演算部１７は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この車両位置特定演算部１７が、本発明における「車両位置特定手段」を構成する。
【００５３】
そこで、次に、撮像装置２により撮像された画像情報の認識結果と地図情報から取得した道路特徴情報Ｃとに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定する処理の具体例について、図４〜６に示すフローチャートを用いて詳細に説明する。
【００５４】
図４に示すように、車両位置認識装置１は、まず、撮像装置２により撮像された画像情報Ｇを取り込む処理を行う（ステップ＃０１）。具体的には、車載カメラ等からなる撮像装置２により撮像した画像情報Ｇをインターフェース回路１２を介して画像前処理回路１３及び画像メモリ１４に送る処理を行う。またこの際、インターフェース回路１２は、撮像装置２からの画像情報Ｇの取り込みのタイミングで、すなわち撮像装置２による撮像のタイミングとほぼ同じタイミングで、概略位置特定演算部７に対して信号の出力を行う。この信号は概略位置特定演算部７に対して撮像のタイミングを知らせるための信号である。
【００５５】
画像情報Ｇの入力を受けた画像前処理回路１３では、画像情報Ｇに対する前処理を行う（ステップ＃０２）。ここで行う前処理としては、例えば、二値化処理やエッジ検出処理等の画像情報認識演算部１０による画像認識を容易にするための各種の処理を行う。図７（ａ）は、撮像装置２により撮像された画像情報Ｇ（Ｇ１）の一例であり、図７（ｂ）は、（ａ）に示された画像情報Ｇに対して前処理を行った後の画像情報Ｇ（Ｇ２）の一例である。この図７（ｂ）に示す例では、エッジ検出処理により画像情報Ｇとして撮像された物の輪郭を示す画像が抽出されている。そして、このステップ＃０２において前処理が行われた後の画像情報Ｇ２、及びインターフェース回路１２から直接送られてきた画像情報Ｇ１を画像メモリ１４に格納する（ステップ＃０３）。
【００５６】
また、ステップ＃０２及び＃０３の処理と並行して、概略位置特定演算部７では、画像情報Ｇの概略の撮像位置を特定する処理を行う（ステップ＃０４）。具体的には、インターフェース回路１２から画像情報Ｇの取り込みのタイミングを示す信号が出力された時に、それを撮像装置２による撮像のタイミングとして、ＧＰＳ受信機４、方位センサ５及び距離センサ６に基づいて車両Ｍの概略の現在位置を特定する演算を行う。そして、これにより特定された車両Ｍの概略の現在位置を画像情報Ｇの概略の撮像位置とする。ここで特定された概略の撮像位置の情報は、緯度及び経度の情報として道路特徴情報取得演算部９に送られる。
【００５７】
次に、道路特徴情報取得演算部９において、地図情報データベース８に格納されている地図情報から画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを取得する処理を行う（ステップ＃０５）。この際、道路特徴情報取得演算部９は、地図情報データベース８に格納されている広範囲の地図情報の中から、ステップ＃０４において特定された概略の撮像位置の周辺の一定範囲Ｒ内の道路特徴情報Ｃを抽出して取得する。ここで、概略の撮像位置周辺の一定範囲Ｒとしては、撮像装置２により画像情報Ｇとして撮像される領域を少なくとも含むように設定すると好適である。
【００５８】
図８は、道路特徴情報取得演算部９により取得された道路特徴情報Ｃの一例を図形化して示したものである。本例では、道路特徴情報Ｃに含まれる地物としては、ペイント表示Ｐとして、片側３車線の道路１１の車道の外縁を示す２本の実線の区画線Ｐ１ａ、Ｐ１ｂと、３車線の間を区切る２本の破線の区画線Ｐ２ａ、Ｐ２ｂと、３車線のうちの左側車線に設けられたマンホールＰ３とがある。また、走行不可能領域Ｉとして、道路１１の左側に隣接する歩道Ｉ１と、道路１１の右側に隣接する中央分離帯Ｉ２とがある。なお、この図８は単なる一例であり、画像情報Ｇの撮像位置によって様々な地物が道路特徴情報Ｃに含まれることになる。
【００５９】
そして、この道路特徴情報Ｃの内容は、これらの各地物の位置情報、形状情報及び色彩情報により構成されている。ここで、各地物の位置情報は、道路形状補完点Ｓ（交差点等のノードＮが存在する場所ではノードＮ（図３参照）も含む。）を基準とする位置情報により表される。すなわち、例えば、ペイント表示Ｐのうちの実線の区画線Ｐ１ａ、Ｐ１ｂや破線の区画線Ｐ２ａ、Ｐ２ｂ、或いは走行不可能領域Ｉの歩道Ｉ１や中央分離帯Ｉ２等の道路１１に沿って設けられている地物については、道路形状補完点Ｓ（又はノードＮ）からの距離（オフセット量）のみにより表される。一方、例えば、道路１１に沿って設けられないマンホールＰ３や、停止線、標識等の地物については、特定の道路形状補完点Ｓ（又はノードＮ）からの距離及び方向により位置情報を表される。
また、各地物の形状情報は、上記位置情報により特定される位置を基準として縦、横、高さ方向にそれぞれどれだけの大きさを有し、どのような形状（シルエット）を備えているか等の情報を有する。この形状情報は、画像情報Ｇとの対比が容易となるように簡略化して表された情報とすると好適である。
各地物の色彩情報は、例えば道路標識等の一様な色彩でない地物の場合には、上記形状情報の中の領域毎に色彩情報が格納された情報とすると好適である。
【００６０】
次に、画像情報認識演算部１０において、画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる認識対象物の画像を認識する処理を行う（ステップ＃０６）。本実施形態においては、画像情報Ｇに含まれる地物の画像の中で、ペイント表示Ｐと走行不可能領域Ｉを認識対象物としている。そして、この認識対象物の画像認識処理として、認識が比較的容易なペイント表示Ｐの画像認識を行った後、それに基づいて認識アルゴリズムを調整して、ペイント表示Ｐより認識が困難な走行不可能領域Ｉの画像認識を行う処理としている。このような画像情報Ｇの認識処理の具体例を図５のフローチャートに示す。
なお、走行不可能領域Ｉの画像認識がペイント表示Ｐの画像認識より困難であるのは、ペイント表示Ｐは、道路１１の路面との輝度や色彩の差が大きく画像認識が比較的容易であるのに対して、路肩、歩道、分離帯等の走行不可能領域Ｉは、道路１１やその周囲との輝度や色彩の差が小さいためにエッジ検出等によっても輪郭を特定することが困難な場合が多いからである。
【００６１】
この画像情報Ｇの認識処理では、図５に示すように、まず、画像情報認識演算部１０のペイント表示認識演算部１０ａにおいて、画像情報Ｇの中に含まれるペイント表示Ｐの可能性がある画像候補を抽出する処理を行う（ステップ＃６１）。具体的には、図７（ｂ）に示されるようにエッジ検出処理等の前処理を行った後の画像情報Ｇ２の中から、区画線やマンホール等のペイント表示Ｐの特徴を表すテンプレート等の予め規定された特徴データと整合性が高い画像を抽出し、それをペイント表示Ｐの画像候補とする処理を行う。図７に示す例では、前方を走行する車両の画像ＧＳ及びそれと重なっている右側の破線の区画線の画像ＧＰ２ｂは除外され、それ以外の画像、すなわち、左側の破線の区画線の画像ＧＰ２ａ、左側の実線の区画線の画像ＧＰ１ａ、その外側にある歩道の縁石の画像ＧＩ１ａ、右側の実線の区画線の画像ＧＰ１ｂ、及びマンホールの画像ＧＰ３がペイント表示Ｐの画像候補として抽出される。
【００６２】
その後、画像情報認識演算部１０の道路特徴情報照合部１０ｂにおいて、ステップ＃６１で抽出されたペイント表示Ｐの画像候補と、ステップ＃０５で取得された道路特徴情報Ｃの中のペイント表示Ｐに関する情報とを対比する（ステップ＃６２）。そして、この対比の結果、位置関係、形状、及び色彩や輝度等の各情報についての整合性が高い画像候補を抽出し、抽出された画像候補をペイント表示Ｐの画像と認識する（ステップ＃６３）。図８に示す例では、ペイント表示Ｐに関する道路特徴情報Ｃに基づいて、実線及び破線の区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂの位置関係（間隔）、これらの区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂとマンホールＰ３との位置関係、並びにこれらの区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂ及びマンホールＰ３の形状及び色彩や輝度等がわかる。したがって、これらの道路特徴情報Ｃと整合性が高い画像情報Ｇ中のペイント表示Ｐの画像候補を抽出することで、ペイント表示Ｐの可能性が高い画像候補のみを抽出することができる。図７に示す例の場合、このステップ＃６３の処理により、左側の実線の区画線の画像ＧＰ１ａの外側にある歩道の縁石の画像ＧＩ１ａが除外される。そして、このように抽出された画像候補をペイント表示Ｐの画像と認識する。なお、ペイント表示Ｐの画像候補の色彩や輝度等の情報は、画像メモリ１４に格納されている前処理が行われていない画像情報Ｇから取得することができる。
図９（ａ）は、画像情報Ｇからステップ＃６３の処理により抽出されたペイント表示Ｐの画像のみを表した図である。なお、右側の破線の区画線の画像ＧＰ２ｂは、車両の画像ＧＳとともにペイント表示Ｐの画像候補から除外されているので、ここで抽出されたペイント表示Ｐの画像には含まれない（なお、図９（ａ）においては点線で示している）。
【００６３】
次に、認識されたペイント表示Ｐの画像を基準として、画像情報Ｇと道路特徴情報Ｃとの照合を行う（ステップ＃６４）。すなわち、画像情報Ｇ中における認識されたペイント表示Ｐの画像の位置と、道路特徴情報Ｃに含まれるペイント表示Ｐの位置とが合致するように対応付けることにより、道路特徴情報Ｃに含まれる各地物の情報と画像情報Ｇに含まれる画像とを対応付けることが可能になる。この際、道路１１に沿って設けられている区画線ＧＰ１ａ、ＧＰ２ａ等の地物を基準とすることにより道路１１の幅方向の位置関係を正確に対応付けることができ、道路１１に沿って設けられないマンホールＰ３や、図示しない停止線、標識等の地物を基準とすることにより道路１１に沿った方向の位置関係を正確に対応付けることができる。
【００６４】
その後、画像情報認識演算部１０の領域推測部１０ｃにおいて、ステップ＃６４における道路特徴情報Ｃと画像情報Ｇとの照合結果に基づいて、画像情報Ｇ中における走行不可能領域Ｉの画像が存在する領域を推測する処理を行う（ステップ＃６５）。すなわち、上記のステップ＃６４における画像情報Ｇと道路特徴情報Ｃとの照合結果に基づけば、画像情報Ｇの中におけるペイント表示Ｐや走行不可能領域Ｉを含む各地物の画像の配置が推測可能である。そこで、道路特徴情報Ｃに含まれる走行不可能領域Ｉの位置及び形状に対応する画像情報Ｇ中の領域を、ステップ＃０７における照合結果から推測する演算を行う。そして、このステップ＃０８の処理の結果として演算される領域を、走行不可能領域Ｉの画像が存在する領域と推測する。
【００６５】
本実施形態においては、図９（ｂ）に示すように、画像情報Ｇとして撮像された画像範囲を、ステップ＃６３の処理により認識されたペイント表示Ｐの中の区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａに基づいて、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａのそれぞれが属する領域Ａ１〜Ａ３と、これらの領域Ａ１〜Ａ３により挟まれた領域Ａ４〜Ａ７とに簡易的に区分している。そして、それぞれの領域Ａ４〜Ａ７が走行不可能領域Ｉを含むか否かという判断をステップ＃６４における照合結果に基づいて行うことにより、走行不可能領域Ｉの画像が存在する領域を推測する処理を行う。ここでは、図８に示されるように、道路特徴情報Ｃに基づいて、道路１１の両側の実線の区画線Ｐ１ａ、Ｐ１ｂの外側にそれぞれ走行不可能領域Ｉが存在していると判断することができるので、当該道路１１の両側の実線の区画線Ｐ１ａ、Ｐ１ｂが属する領域Ａ１及びＡ３の外側の領域Ａ４及びＡ７内に走行不可能領域Ｉの画像が存在と推測できる。
【００６６】
次に、ステップ＃６５の推測結果に基づいて、画像情報認識演算部１０の走行不可能領域認識部１０ｄにおける認識アルゴリズムを調整し（ステップ＃６６）、画像情報Ｇの中に含まれる走行不可能領域Ｉの画像の認識を行う（ステップ＃６７）。
本実施形態においては、ステップ＃０８において走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内について、走行不可能領域Ｉであるか否かの判断基準が他の領域（ここでは領域Ａ５及びＡ６）よりも低くなるように認識アルゴリズムを調整する。すなわち、上述のとおり、歩道Ｉ１、分離帯Ｉ２、路肩等の走行不可能領域Ｉは、道路１１やその周囲との輝度や色彩の差が小さいためにエッジ検出等によっても輪郭を特定することが困難な場合が多く、ペイント表示Ｐよりも画像認識が一般的に困難である。そこで、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７について、他の領域よりも走行不可能領域Ｉと認識しやすくする方向に認識アルゴリズムを調整することにより、走行不可能領域Ｉの認識率を高めることができる。
なお、走行不可能領域Ｉであるか否かの判断基準が他の領域よりも低くなるように認識アルゴリズムを調整するためには、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７における判断基準を他の領域に対して低くする方法の他に、他の領域の判断基準を領域Ａ４及びＡ７に対して高くする方法や、領域Ａ４及びＡ７における判断基準を他の領域に対して低くするとともに他の領域の判断基準を領域Ａ４及びＡ７に対して高くする方法等がある。この認識アルゴリズムの具体的な調整方法は、走行不可能領域Ｉの認識方法に応じた方法とする。
【００６７】
例えば、本実施形態においては、走行不可能領域Ｉの画像の認識アルゴリズムとして、画像情報Ｇに対してエッジ検出処理を行い、道路１１の幅方向の各位置におけるエッジ点数を検出し、このエッジ点数が所定のしきい値以上となっている場所が走行不可能領域Ｉであると認識するアルゴリズムとしている。そして、この際のしきい値として、図１０に示すように、低い値に設定された第一しきい値ｔ１と、高い値に設定された第二しきい値ｔ２とを用いている。すなわち、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内では第一しきい値ｔ１を用い、それ以外の領域Ａ５及びＡ６内では第二しきい値ｔ２を用いることにより、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内について、走行不可能領域Ｉであるか否かの判断基準が他の領域Ａ５及びＡ６よりも低くなるように認識アルゴリズムを調整している。
【００６８】
図１０は、図７に示す画像情報Ｇについて、道路１１の幅方向の各位置におけるエッジ点数を検出した結果を示すグラフである。この図に示すように、領域Ａ１〜Ａ３は、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａが存在するのでエッジ点数は多くなっていが、これらの領域Ａ１〜Ａ３は走行不可能領域Ｉの画像認識の対象とはならない。領域Ａ５は、マンホールＰ３が存在する位置以外はアスファルトの路面のみであるので全体的にエッジ点数は少なくなっている。
一方、領域Ａ４、Ａ６、及びＡ７は、エッジ点数はある程度多くなっている。結論からいうと、領域Ａ４及びＡ７はそれぞれ歩道Ｉ１又は中央分離帯Ｉ２といった走行不可能領域Ｉが存在することによりエッジ点数が多くなっているのに対して、領域Ａ６は前方の車両の画像Ｇｓ及びその車両の画像Ｇｓに隠れた破線の区画線ＧＰ２ｂが存在することによりエッジ点数が多くなっている。しかし、エッジ点数のみからそれが走行不可能領域Ｉであるか否かを判断することは困難である。
【００６９】
そこで、ステップ＃６５の推測結果に基づいて、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内については、走行不可能領域Ｉであると判断するしきい値を低い値に設定された第一しきい値ｔ１とし、その他の領域Ａ５及びＡ６内については、走行不可能領域Ｉであると判断するしきい値を高い値に設定された第二しきい値ｔ２としている。これにより、ステップ＃０８の推測結果に基づいて、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内で走行不可能領域Ｉの検出漏れを減らすとともに、それ以外の領域Ａ５及びＡ６内で走行不可能領域Ｉと誤検出することを防止できる。したがって、走行不可能領域Ｉの認識率を高めることができる。これらの第一しきい値ｔ１及び第二しきい値ｔ２の値は、実験的及び統計的に適切な値を求めるとよい。また、これらの第一しきい値ｔ１及び第二しきい値ｔ２の値を、画像情報Ｇから抽出される他の情報や車両Ｍに搭載された他のセンサからの信号等に基づいて変化する可変値とすることも好適な実施形態の一つである。
【００７０】
以上のようにして、画像情報認識演算部１０において画像情報Ｇの認識処理を行うことにより、画像情報Ｇ中に含まれる認識対象物としてのペイント表示Ｐと走行不可能領域Ｉの画像が認識される。図７に示す画像情報Ｇの例では、図１１に示すように、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａの画像ＧＰ１ａ、ＧＰ１ｂ、ＧＰ２ａ、マンホールＰ３の画像Ｇｐ３、区画線Ｐ１ａの画像ＧＰ１ａの左側の歩道Ｉ１の画像ＧＩ１、区画線Ｐ１ｂの画像ＧＰ１ｂの右側の中央分離帯Ｉ２の画像ＧＩ２がそれぞれ認識されることになる。
【００７１】
次に、車両位置特定演算部１７において、図４に示すように、ステップ＃０５により取得された道路特徴情報Ｃと、ステップ＃０６により認識された認識対象物の画像の画像情報Ｇ中の配置とに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定する処理を行う（ステップ＃０７）。本実施形態においては、ステップ＃０６により認識された認識対象物の画像の画像情報Ｇ中の配置と、ステップ＃０５により取得された道路特徴情報Ｃに含まれる前記認識対象物に対応する物の位置情報とを対比して、画像情報Ｇの撮像位置を詳細に特定することにより、車両Ｍの道路幅方向及び車両Ｍの道路長手方向の詳細な位置を特定する演算処理を行う。
【００７２】
このような車両Ｍの詳細な位置を特定する処理の具体例を図６のフローチャートに示す。この処理では、まず、車両位置特定演算部１７の配置情報抽出部１７ａにおいて、ステップ＃０６で認識された各認識対象物の画像情報Ｇ中の配置情報を抽出する（ステップ＃７１）。ここでは、認識対象物の画像情報Ｇ中の配置情報としては、各認識対象物の画像情報Ｇ中における位置の情報と、それに対応する各認識対象物の形状及び色彩等の情報とが含まれる。図７に示す画像情報Ｇの例では、図１１に示すように、認識対象物として、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａの画像ＧＰ１ａ、ＧＰ１ｂ、ＧＰ２ａ、マンホールＰ３の画像Ｇｐ３、歩道Ｉ１の画像ＧＩ１、中央分離帯Ｉ２の画像ＧＩ２が認識されているので、このステップ＃７１では、これらの認識対象物についての画像情報Ｇ中の配置情報が抽出される。
【００７３】
次に、車両位置特定演算部１７の対比演算部１７ｂにおいて、ステップ＃７１により抽出された各認識対象物の画像情報Ｇ中の配置情報と、ステップ＃０５により取得された道路特徴情報Ｃとを対比する処理を行う（ステップ＃７２）。ここでは、各認識対象物の画像情報Ｇ中の配置情報と、道路特徴情報Ｃ中に含まれる各地物の配置とを対比し、整合性が高い画像情報Ｇ中の認識対象物の画像と道路特徴情報Ｃ中の地物の情報とを対応付ける処理を行う。これにより、画像情報Ｇ中の各認識対象物の画像が、道路特徴情報Ｃ中のどの地物の画像であって、道路特徴情報Ｃにより表される道路１１上のどの位置に配置されているかを特定することができる。
【００７４】
その後、車両位置特定演算部１７の撮像位置特定部１７ｃにおいて、画像情報Ｇの撮像位置を詳細に特定する処理を行う（ステップ＃７３）。図１２は、この処理の手順を模式的に表した図である。すなわち、この撮像位置を詳細に特定する処理は、ステップ＃７２の対比結果に基づいて、画像情報Ｇ中の各認識対象物の画像の配置と整合する画像情報Ｇの撮像位置を、道路特徴情報Ｃ中の位置に対応させて、道路１１の道路幅方向及び道路長手方向に詳細に特定することにより行う。
【００７５】
そこで、図１１に示す画像情報Ｇの認識結果に基づいて画像情報Ｇの撮像位置を特定する際の演算処理方法について具体的に説明する。まず道路幅方向の位置を特定する場合、画像情報Ｇ中の各認識対象物の画像の配置を解析すると、画像情報Ｇの中心から、右側に破線の区画線の画像ＧＰ２ａがあり、左側に実線の区画線の画像ＧＰ１ａがあることがわかる。また、この実線の区画線の画像ＧＰ１ａの右側には歩道の画像ＧＩ１があり、更に、右側の破線の区画線の画像ＧＰ２ａと左側の実線の区画線の画像ＧＰ１ａとの間には、マンホールの画像ＧＰ３があることがわかる。これらの各認識対象物の画像は、ステップ＃７２の処理により道路特徴情報Ｃに含まれる各地物の情報と対応付けられているので、画像情報Ｇ中の上記の各認識対象物の画像の配置の解析結果に基づけば、道路幅方向の撮像位置は、図１２に示されている道路特徴情報Ｃ中において、３車線の道路１１の左側車線（Ｂ１位置が存在する車線）内に撮像位置があると特定することができる。また、実線の区画線の画像ＧＰ１ａ又は破線の区画線の画像ＧＰ２ａの画像情報Ｇ中の配置、特に幅方向の配置に基づけば、左側車線内の右寄り又は左寄り等の更に詳細な位置も特定することが可能である。
【００７６】
なお、例えば、画像情報Ｇの撮像位置が、図１２のＢ２位置のように３車線の道路１１の中央車線にある場合には、画像情報Ｇの中心から両側に破線の区画線Ｐ２ａ、Ｐ２ｂの画像が認識されることなる。また、例えば、画像情報Ｇの撮像位置が、図１２のＢ３位置のように３車線の道路１１の右側車線にある場合には、画像情報Ｇの中心から、左側に破線の区画線Ｐ２ｂの画像が、右側に実線の区画線Ｐ１ｂの画像がそれぞれ認識されることなる。
【００７７】
また、道路長手方向の撮像位置を特定する場合は、区画線や歩道等とは異なり、道路１１に沿って設けられないマンホール、停止線、標識、信号機等の認識対象物の画像を基準とすることにより道路１１に沿った方向、すなわち道路長手方向の撮像位置を詳細に特定することができる。すなわち、画像情報Ｇ中における、これらの道路１１に沿って設けられていない認識対象物の画像の配置を解析すると、図１１に示す例では、マンホールの画像ＧＰ３があることがわかる。ここで、撮像装置２は車両Ｍに所定の高さで所定の撮像方向となるように固定されていることから、マンホールの画像ＧＰ３の画像情報Ｇ中の配置、特に高さ方向の配置に基づいて、撮像位置からマンホールＰ３までの距離Ｄを算出することができる。これにより、画像情報Ｇの撮像位置を道路長手方向にも詳細に特定することができる。図１２に示す例では、この画像情報Ｇの撮像位置はＢ１位置と特定されている。
【００７８】
以上の演算処理方法により、画像情報Ｇの撮像位置を道路幅方向及び道路長手方向の双方について詳細に特定することができる。そして、撮像装置２は、車両Ｍに搭載されているので、この特定された撮像位置を、車両Ｍの詳細な位置であると特定することができる（ステップ＃７４）。
【００７９】
以上に説明したステップ＃０１〜＃０７の一連の処理工程は、所定の時間間隔で繰り返し行われる。これにより、走行中の車両Ｍの詳細な位置特定をリアルタイムで常時行うことができる。
【００８０】
また、車両位置特定演算部１７による詳細な車両位置の特定結果は、例えば、図示しない車両Ｍの走行制御装置やナビゲーション装置等へ出力され、レーンキープ等の車両Ｍの操舵や車速等の走行制御に用いられ、或いはナビゲーション装置における詳細な自車位置の表示等に用いられる。
【００８１】
〔第二の実施形態〕
次に、本発明の第二の実施形態について図面に基づいて説明する。図１３は、本実施形態に係る車両位置認識装置１のハードウエア構成の概略を示すブロック図である。
本実施形態に係る車両位置認識装置１は、道路特徴情報取得演算部９において地図情報から画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを、道路１１の車線毎に異なる複数の位置を基準とする車線別道路特徴情報Ｃ´として取得し、各車線別道路特徴情報Ｃ´のそれぞれについて、画像情報Ｇ中の前記地物に対応する認識対象物の配置と対比することにより、車両Ｍの車線位置を特定する点で、上記第一の実施形態とは異なる。
また、本実施形態に係る車両位置認識装置１は、車両Ｍの進路に関する車両Ｍからの情報や車両Ｍの過去の走行経路に関する情報を取得して車両Ｍの車線位置を推測する車両位置推測演算部１８を備え、これによる推測結果を用いて車両Ｍの車線位置の特定を行う点でも、上記第一の実施形態とは異なる。
【００８２】
図１３に示すように、本実施形態に係る車両位置認識装置１は、主たる構成として、上記第一の実施形態において説明した構成に加えて、車両位置推測演算部１８を更に備えている。この車両位置推測演算部１８は、車両Ｍの進路に関する車両Ｍからの情報を取得する車両情報取得部１９、及び車両Ｍの過去の走行経路に関する情報を取得して記憶している過去経路記憶部２０と接続されており、これらの車両情報取得部１９及び過去経路記憶部２０からの情報に基づいて、車両Ｍの車線の位置を推測する演算処理を行う。そして、この車両位置推測演算部１８による推測結果は、道路特徴情報取得演算部９に出力されて車線別道路特徴情報Ｃ´の取得のための処理に用いられる。
本実施形態においては、この車両位置推測演算部１８が、本発明における「車両位置推測手段」を構成する。
【００８３】
車両情報取得部１９は、本実施形態においては、運転操作検知部２１、ＧＰＳ受信機４、方位センサ５、及び距離センサ６と接続さている。ここで、ＧＰＳ受信機４、方位センサ５、及び距離センサ６は、既に説明した概略位置特定演算部７に接続されているものと共用しており、これらの出力が車両情報取得部１９へも出力されるような構成としている。これにより、車両情報取得部１９は、車両Ｍの移動方向、移動距離、ハンドル操作等の情報を取得することができる。
また、運転操作検知部２１は、運転者による運転操作、例えば方向指示器の操作やハンドル操作（方位センサ５の構成として設けられている場合は重複するため除く。）、アクセル操作、ブレーキ操作等を検知するセンサ等により構成され、その検知結果も車両情報取得部１９へ出力される。
【００８４】
そして、車両情報取得部１９は、これら車両の各部から取得した車両情報を総合して、車両Ｍの進路に関する情報を作成し、その情報を車両位置推測演算部１８及び過去経路記憶部２０へ出力する。この車両Ｍの進路に関する情報は、具体的には、車両Ｍの進路変更の有無及びその角度等の情報となる。
この車両情報取得部１９は、このような演算処理を行うためのＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この車両情報取得部１９が、本発明における「車両情報取得手段」を構成する。
【００８５】
過去経路記憶部２０は、車両情報取得部１９から出力された車両Ｍの進路に関する情報を、車両Ｍの移動距離や移動時間等の情報と関連付けて車両Ｍの過去の走行経路に関する情報として記憶する処理を行う。そして、この過去経路記憶部２０に記憶された車両Ｍの過去の走行経路に関する情報は、車両位置推測演算部１８からの命令信号等に応じて、車両位置推測演算部１８へ出力される。
この過去経路記憶部２０は、このような演算処理を行うための演算処理装置及びその演算結果を記憶するメモリを中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この過去経路記憶部２０が、本発明における「過去経路取得手段」を構成する。
【００８６】
また、本実施形態に係る車両位置認識装置１は、道路特徴情報取得演算部９が、車線情報取得部９ａ及び車線別道路特徴情報取得演算部９ｂを備えている点、並びに、車両位置特定演算部１７が、配置情報抽出部１７ａ及び撮像位置特定部１７ｃを備えていない代わりに撮像車線特定部１７ｄを備えている点でも、上記第一の実施形態とは異なる。これらの相違は、本実施形態に係る車両位置認識装置１による車両位置の認識処理が、上記第一の実施形態と異なることによるものである。よって、これらの各部により行う処理については、以下にフローチャートを用いて詳細に説明する。
【００８７】
図１４は、本実施形態に係る車両位置認識装置１により車両Ｍの走行中の車線位置を特定する処理の具体例を示すフローチャートである。
この図に示すように、本実施形態に係る車両位置認識装置１は、まず、撮像装置２により撮像された画像情報Ｇを取り込み（ステップ＃１０１）、画像前処理回路１３で画像情報Ｇに対する前処理を行う（ステップ＃１０２）。そして、このステップ＃１０２において前処理が行われた後の画像情報Ｇ２、及びインターフェース回路１２から直接送られてきた画像情報Ｇ１を画像メモリ１４に格納する（ステップ＃１０３）。また、ステップ＃０１２及び＃１０３の処理と並行して、概略位置特定演算部７で画像情報Ｇの概略の撮像位置を特定する処理を行う（ステップ＃１０４）。なお、これらのステップ＃１０１〜＃１０４の処理は、上記第一の実施形態についての図４のステップ＃０１〜＃０４と同様の処理であるため、詳細な説明は省略する。
【００８８】
次に、車両位置推測演算部１８において、車両Ｍが走行中の車線を推測する処理を行う（ステップ＃１０５）。この車線を推測する処理は、車両情報取得部１９及び過去経路記憶部２０からの情報に基づいて行う。すなわち、車両情報取得部１９は、車両Ｍの各部のセンサ等からの情報に基づいて車両Ｍの進路に関する情報を車両位置推測演算部１８に出力する。また、過去経路記憶部２０は、車両情報取得部１９から出力された車両Ｍの進路に関する情報を、車両Ｍの移動距離や移動時間等の情報と関連付けて車両Ｍの過去の走行経路に関する情報として記憶している。したがって、車両位置推測演算部１８は、車両情報取得部１９及び過去経路記憶部２０から、車両Ｍが過去に行った進路変更の回数や各進路変更の角度等の履歴及び現在の進路変更の有無の状況等の情報を得ることができる。また、車両位置推測演算部１８は、車両Ｍが行った進路変更の角度や方向指示器の操作等から各進路変更が車線変更か否かを判断することが可能である。車両位置推測演算部１８は、これらの情報に基づいて所定の判断アルゴリズムに従って走行中の車線を推測する。
【００８９】
この判断アルゴリズムは、例えば以下のようにすることができる。すなわち、例えば、車両Ｍが走行を開始したときの車線は最も左側の車線であると推測する。また、その状態から車両Ｍが車線変更に該当する進路変更を右方向にｎ回行った場合には、左からｎ番目の車線にいると推測することができる（ｎは自然数）。更に、その状態から車両Ｍが車線変更に該当する進路変更を左方向にｍ回行った場合には、左から（ｎ−ｍ）番目の車線にいると推測することができる（ｍは自然数）。この際、（ｎ−ｍ）がゼロ又は負の値となった場合には、推測した車線が誤っていたことになるので、そのときの車線を最も左側の車線と推測するように修正を行う。
以上の判断アルゴリズムは単なる一例であり、車両位置推測演算部１８における判断アルゴリズムはこれ以外にも、様々なアルゴリズムを用いることが可能である。
【００９０】
その後、ステップ＃１０５による推測結果に基づいて、道路特徴情報取得演算部９において車両Ｍが走行中と推測された車線についての車線別道路特徴情報Ｃ´を取得する処理を行う（ステップ＃１０６）。ここでは、まず車線情報取得部９ａにより、地図情報データベース８からステップ＃１０４において特定された概略の撮像位置の周辺の道路１１の車線数を含む車線情報を取得し、次に、取得された車線情報に基づいて、ステップ＃１０５による推測結果として推測された車線についての車線別道路特徴情報Ｃ´を、車線別道路特徴情報取得演算部９ｂにより取得する処理を行う。後述するステップ＃１０８では、取得された車線別道路特徴情報Ｃ´について画像情報Ｇとの対比を行うので、車線別道路特徴情報Ｃ´を取得する順序をステップ＃１０５による推測結果に基づいて決定することにより、車線別道路特徴情報Ｃ´の対比の順序も決定することになる。
【００９１】
車線別道路特徴情報Ｃ´は、地図情報データベース８に格納されている広範囲の地図情報の中から、ステップ＃１０４において特定された概略の撮像位置の周辺の地物に関する道路特徴情報Ｃを、特定の車線を基準として抽出した情報である。図１５は、この車線別道路特徴情報Ｃ´の一例を図形化して示した図である。この図に示すように、本例では、車線別道路特徴情報Ｃ´は、ステップ＃１０４において特定された概略の撮像位置の周辺の道路特徴情報Ｃを左側車線、中央車線、及び右側車線の３つの車線毎に、各車線を基準として、当該車線及びその両側の所定範囲内に存在する地物の情報までを含む範囲で抽出したものとしている。図１５の（ａ）は左側車線を基準とする車線別道路特徴情報Ｃ´１を、（ｂ）は中央車線を基準とする車線別道路特徴情報Ｃ´２を、（ｃ）は右側車線を基準とする車線別道路特徴情報Ｃ´３をそれぞれ示している。なお、この図１５に示す道路１１の全体の地物の配置は図８に示す例と同じである。
【００９２】
次に、画像情報認識演算部１０において、画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる前記地物に対応する認識対象物の画像を認識する処理を行う（ステップ＃１０７）。この処理は、上記第一の実施形態についての図４のステップ＃０６と同様の処理であるため、詳細な説明は省略する。
【００９３】
その後、車両位置特定演算部１７の対比演算部１７ｂにおいて、ステップ＃１０７により認識された認識対象物の画像を含む画像情報Ｇと、ステップ＃１０６により取得された車線別道路特徴情報Ｃ´とを対比する処理を行う（ステップ＃１０８）。本実施形態においては、車線別道路特徴情報Ｃ´を、画像情報Ｇと対比可能な情報の形式に変換する処理を行い、変換後の車線別道路特徴情報Ｃ´と画像情報Ｇとを対比して整合性が高いか否かの判断を行うこととする。ここで、車線別道路特徴情報Ｃ´の変換処理として、ここでは、図１６に示すように、車線別道路特徴情報Ｃ´を、その車線別道路特徴情報Ｃ´が基準とする車線のほぼ中央を撮像位置としたときに撮像されると考えられる画像情報に対応する配置となるように車線別道路特徴情報Ｃ´に含まれる各地物を配置したデータに変換する処理とする。図１６に示す例では、（ａ）は図１５（ａ）に示す左側車線を基準とする車線別道路特徴情報Ｃ´１を変換したデータであり、（ｂ）は図１５（ｂ）に示す中央車線を基準とする車線別道路特徴情報Ｃ´２を変換したデータであり、（ｃ）は図１５（ｃ）に示す右側車線を基準とする車線別道路特徴情報Ｃ´３を変換したデータである。
【００９４】
このような変換処理を行うことにより、画像情報Ｇ中の認識対象物の画像の配置と、車線別道路特徴情報Ｃ´に含まれる当該認識対象物に対応する各地物の配置とを容易に対比することができる。この対比の処理は、具体的には、画像情報Ｇ中の各認識対象物の画像の位置並びに各認識対象物の画像の形状及び色彩等と、車線別道路特徴情報Ｃ´に含まれる前記認識対象物に対応する各地物の位置並びにその形状及び色彩等の情報とを対比して、整合性が高いか否かの判断を行う。例えば、画像情報Ｇが図７に示す例のとおりである場合には、図１６（ａ）に示される左側車線を基準とする車線別道路特徴情報Ｃ´１が、車線の両側の区画線Ｐ１ａ、Ｐ２ａ、マンホールＰ３、及び歩道Ｉ１の位置、形状及び色彩等について画像情報Ｇと整合する。
【００９５】
そして、この対比演算部１７ｂにおけるステップ＃１０８の対比の結果、整合性が高い場合には（ステップ＃１０９：ＹＥＳ）、車両位置特定演算部１７の撮像車線特定部１７ｂにおいて、その車線別道路特徴情報Ｃ´が基準とする車線を車両Ｍが走行中の車線として特定する（ステップ＃１１０）。
【００９６】
一方、この対比演算部１７ｂにおけるステップ＃１０８の対比の結果、整合性が低い場合には（ステップ＃１０９：ＮＯ）、隣接する車線の車線別道路特徴情報Ｃ´を地図情報データベース８から取得する処理を行う（ステップ＃１０６）。ここで、隣接する車線の車線別道路特徴情報Ｃ´を取得するのは、ステップ＃１０５による推測結果が外れていた場合であっても、それに近い車線を車両Ｍが走行中である可能性が高いからである。この際、例えばステップ＃１０８で最初に対比した車線別道路特徴情報Ｃ´が３車線のうちの中央車線を基準とするものであった場合等のように、ステップ＃１０９の判断の結果、整合性が低い車線に隣接する、未だ対比の対象となっていない車線が両側にある場合には、例えば、右側の車線を先に対比する等のように、予め定め一定のアルゴリズムに従って決定することになる。
【００９７】
そして、ステップ＃１１０により取得された新たな車線別道路特徴情報Ｃ´について、ステップ＃１０８以降の処理を再度行い、ステップ＃１０９において整合性が高いと判断されて車両Ｍが走行中の車線が特定されるか、或いは、車両Ｍが走行中の道路１１の全ての車線の車線別道路特徴情報Ｃ´についてステップ＃１０８の対比処理が行われるまで、ステップ＃１０８〜＃１１０の処理を繰り返し行う。なお、図１４のフローチャートには示していないが、車両Ｍが走行中の道路１１の全ての車線の車線別道路特徴情報Ｃ´についてステップ＃１０８の対比処理を行った結果、整合性が高い車線別道路特徴情報Ｃ´が存在しない場合には、車線位置は不明と判断し、次の画像情報Ｇについて、ステップ＃１０１〜＃１１１の処理を実行する。
以上の処理により、車両Ｍが走行中の車線を特定することができる。
【００９８】
〔その他の実施形態〕
（１）上記第二の実施形態に係る車両位置認識装置１では、車両位置推測演算部１８による推測結果は、道路特徴情報取得演算部９に出力されて車線別道路特徴情報Ｃ´を取得する際の順序を決定するためにのみ用いられる場合について説明した。しかし、この第二の実施形態に係る車両位置認識装置１において、車両位置推測演算部１８による推測結果を車両位置特定演算部１７にも出力し、車線位置の特定のための処理に用いる構成とすることも好適な実施形態の一つである。この場合、例えば、図１４のステップ＃１０９の整合性の判断において、車両位置推測演算部１８による推測結果との矛盾の有無等を判断の対象に加えると、更に、車線の特定の精度を高めることが可能となる。
同様に、上記第一の実施形態に係る車両位置認識装置１においても、車両位置推測演算部１８等を設け、車両位置推測演算部１８による推測結果を車両位置特定演算部１７に出力し、車両Ｍの詳細な位置の特定のための処理に用いる構成とすることも好適な実施形態の一つである。
【００９９】
（２）上記第二の実施形態に係る車両位置認識装置１では、車両Ｍの詳細な位置として、車両Ｍが走行中の車線位置を特定する場合について説明したが、本発明はこれに限定されるものではない。例えば、道路１１の幅方向に異なる複数の位置を基準とする位置毎の道路特徴情報Ｃとして、車線毎よりも更に細分化した位置毎に道路特徴情報Ｃを取得することにより、更に詳細な道路幅方向の位置を特定することが可能な構成とすることも好適な実施形態の一つである。
【０１００】
（３）また、上記第二の実施形態に係る車両位置認識装置１では、車両Ｍの詳細な位置として、道路幅方向の車線位置を特定する構成について説明したが、上記第二の実施形態の構成において、上記第一の実施形態と同様に、道路１１に沿って設けられないマンホール、停止線、標識、信号機等の認識対象物の画像を基準とすることにより、道路１１に沿った方向、すなわち道路長手方向の撮像位置を詳細に特定することができる構成とすることも好適な実施形態の一つである。
【０１０１】
（４）上記の第一及び第二の実施形態に係る車両位置認識装置１では、いずれも、地図情報データベース８から道路特徴情報を取得して画像情報Ｇと対比することにより車両Ｍの詳細な位置を特定する処理を行う場合について説明した。しかし、本発明は、このような道路特徴情報を用いるものに限定されない。すなわち、上記の第二の実施形態に係る車両位置認識装置１において道路特徴情報取得演算部９及び地図情報データベース８を備えない構成とし、画像情報認識演算部１０による画像情報に含まれる認識対象物の画像の認識結果と、車両位置推測演算部による車両の道路幅方向の位置の推測結果とに基づいて、車両Ｍの道路幅方向の詳細な位置を特定する構成とすることも本発明の好適な実施形態の一つである。この場合、例えば、画像情報Ｇと道路特徴情報Ｃとの対比の処理に代えて、画像情報Ｇと車両位置推測演算部１８による推測結果との矛盾の有無の判断の処理を行う構成とすることができる。
【産業上の利用可能性】
【０１０２】
本発明に係る車両位置認識装置及び車両位置認識方法は、道路上で撮像した画像情報を用いて、車両の道路幅方向や道路長手方向の詳細な位置を特定することができるので、レーンキープ等の車両Ｍの操舵や車速等の走行制御、或いはナビゲーション装置における詳細な自車位置の表示等に好適に用いることができる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の第一の実施形態に係る車両位置認識装置のハードウエア構成の概略を示すブロック図
【図２】本発明の第一の実施形態に係る車両位置認識装置における撮像装置の配置例を示す図
【図３】本発明の第一の実施形態に係る車両位置認識装置における地図情報データベースに格納されている地図情報の内容を示す説明図
【図４】本発明の第一の実施形態に係る車両位置認識装置における車両位置の認識処理の具体例を示すフローチャート
【図５】図４のステップ＃０６の処理の詳細を示すフローチャート
【図６】図４のステップ＃０７の処理の詳細を示すフローチャート
【図７】（ａ）：撮像装置により撮像された画像情報の一例、（ｂ）：（ａ）に示された画像情報に対して前処理を行った後の画像情報の一例
【図８】本発明の第一の実施形態に係る車両位置認識装置における道路特徴情報取得演算部により取得された道路特徴情報の一例を図形化して示した図
【図９】（ａ）：画像情報からステップ＃６３の処理により抽出されたペイント表示の画像のみを表した図、（ｂ）：（ａ）に示された画像に基づいて区画線により領域を区分した状態を示す図
【図１０】図７に示す画像情報について、道路の幅方向の各位置におけるエッジ点数を検出した結果を示すグラフ
【図１１】本発明の第一の実施形態に係る画像認識装置の画像情報認識演算部において認識対象物として認識された画像を示す図
【図１２】本発明の第一の実施形態に係る画像認識装置の車両位置特定演算部において、詳細な撮像位置を特定する方法の一例を説明するための説明図
【図１３】本発明の第二の実施形態に係る車両位置認識装置のハードウエア構成の概略を示すブロック図
【図１４】本発明の第二の実施形態に係る車両位置認識装置における車両位置の認識処理の具体例を示すフローチャート
【図１５】本発明の第二の実施形態に係る車両位置認識装置における道路特徴情報取得演算部により取得された車線別道路特徴情報の一例を図形化して示した図
【図１６】図１５に示される車線別道路特徴情報を画像情報Ｇと対比可能な情報の形式に変換したデータを示す図
【符号の説明】
【０１０４】
１：車両位置認識装置
２：撮像装置
３：画像情報取得部（画像情報取得手段）
７：概略位置特定演算部
８：地図情報データベース
９：道路特徴情報取得演算部（道路特徴情報取得手段）
１０：画像情報認識演算部（画像情報認識手段）
１７：車両位置特定演算部（車両位置特定手段）
１８：車両位置推測演算部（車両位置推測手段）
１９：車両情報取得部（車両情報取得手段）
２０：過去経路記憶部（過去経路取得手段）
Ｇ：画像情報
Ｃ：道路特徴情報
【技術分野】
【０００１】
本発明は、車両等に搭載され、道路上で撮像した画像情報の中に含まれる所定の認識対象物の画像を認識し、車両の道路幅方向の位置を特定する処理を行う車両位置認識装置及び車両位置認識方法に関する。
【背景技術】
【０００２】
近年、例えばナビゲーション装置等において、走行中の車両の位置を特定するために、ＧＰＳ（グローバル・ポジショニング・システム）からの電波信号を用いた位置特定の方法が広く用いられている。しかし、このＧＰＳによる車両の位置特定の精度は、数十ｍ程度の誤差を含んでおり、それ以上の精度での詳細な位置特定を行うことは困難であった。そこで、このＧＰＳによる位置特定の精度の悪さを補うために、これまでにも様々な技術が提案されている。
【０００３】
このような技術として、例えば、下記の特許文献１には、車両に搭載された撮像装置により撮像された画像情報について、認識部が画像の輝度等に基づいて区画線を認識し、それにより車両が走行中の道路が一般道か高速道かを判定する技術が開示されている。
【０００４】
すなわち、この技術では、撮像した画像中の一定の広さを有するウィンドウ内の輝度が一定の基準を超えている部分を区画線の画像として認識し、或いは、撮像した画像に対して微分処理を行い、エッジに囲まれた部分を区画線の画像として認識する。これにより認識された区画線は、その長さ、区画線間の空白部分の長さ、区画線の繰り返しピッチといった特徴抽出データとして判定部に出力される。そして、判定部では、一般道と高速道とでそれぞれ規格化された区画線の設置基準に基づいて、走行中の道路が一般道か高速道かを判定する処理を行う。
【０００５】
【特許文献１】実開平５−２３２９８号公報（第６−８頁、第１−３図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記の技術によれば、例えば一般道と高速道とが隣接して設けられている場合等において、車両が一般道と高速道のいずれを走行しているかを判別することができるので、ＧＰＳによる位置特定の誤差により、車両が一般道を走行中であるのに高速道を走行していると判定し、或いは逆に高速道を走行中であるのに一般道を走行していると判定することを防止することが可能となる。したがって、車両が走行中の道路が一般道か高速道かに応じて、車両の速度制御等を行うことができる。
【０００７】
しかしながら、上記の技術では、車両が走行している道路が一般道か高速道かということの判定は可能であるが、走行中の道路の中における車両の位置、例えば、走行方向に複数の車線がある道路を車両が走行中である場合において、車両がどの車線を走行しているか等のように、走行中の道路の中における車両の道路幅方向の位置を特定することは不可能である。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、車両に搭載された撮像装置により道路上で撮像した画像情報に加えて、地図情報や車両情報等を用いることにより、走行中の道路の中における車両の位置をより詳細に特定することを可能とする車両位置認識装置及び車両位置認識方法を提供する点にある。
【課題を解決するための手段】
【０００９】
上記目的を達成するための本発明に係る車両位置認識装置の特徴構成は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と、前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定手段と、を備える点にある。
【００１０】
この特徴構成によれば、車両に搭載された撮像装置により撮像された画像情報に加えて、地図情報から取得した画像情報の撮像位置周辺の地物に関する道路特徴情報を用いることにより、画像情報認識手段により認識された前記地物に対応する認識対象物の画像の画像情報中の配置と、道路特徴情報とを対比することができ、走行中の道路における車両の道路幅方向の位置を特定することができる。
【００１１】
ここで、前記車両位置特定手段は、前記画像情報認識手段により認識された１又は２以上の認識対象物の画像の前記画像情報中の配置と、前記道路特徴情報に含まれる前記１又は２以上の認識対象物に対応する物の位置情報とを対比して、前記車両の道路幅方向の位置を特定する構成とすると好適である。
【００１２】
これにより、特定の認識対象物の画像の画像情報中の配置と、道路特徴情報に含まれる当該特定の認識対象物に対応する物の位置情報とを対比して、撮像装置による道路幅方向の撮像位置、すなわち車両の道路幅方向の位置を高い精度で特定することができる。
【００１３】
また、前記画像情報認識手段は、前記画像情報から前記認識対象物の画像候補を抽出して前記道路特徴情報と対比し、前記道路特徴情報との整合性が高い前記画像候補を前記認識対象物の画像として認識する構成とすると好適である。
【００１４】
これにより、地図情報から取得される道路特徴情報との整合性が高い画像候補を認識対象物の画像として認識するので、認識対象物と誤認し易い画像的な特徴を有する物が撮像された画像情報に含まれる場合等であっても認識対象物の認識率を高めることができ、車両の道路幅方向の位置を高い精度で特定することが可能となる。
【００１５】
本発明に係る車両位置認識装置の更なる特徴構成は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を、前記道路の幅方向に異なる複数の位置を基準とする位置毎の情報として取得する道路特徴情報取得手段と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と、前記道路特徴情報取得手段により取得された前記道路幅方向の位置毎の道路特徴情報のそれぞれについて、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置と対比し、整合性が高い前記道路特徴情報が基準とする道路幅方向の位置を、前記車両の道路幅方向の位置として特定する車両位置特定手段と、を備える点にある。
【００１６】
この特徴構成によれば、地図情報から取得した道路の幅方向に異なる複数の位置を基準とする位置毎の道路特徴情報のそれぞれについて、車両に搭載された撮像装置により撮像された画像情報に基づいて画像情報認識手段により認識された認識対象物の画像の画像情報中の配置と対比し、整合性が高い道路特徴情報が基準とする道路幅方向の位置を、車両の道路幅方向の位置として特定することにより、走行中の道路における車両の道路幅方向の位置を特定することができるとともに、その特定のための演算処理を、各位置毎の道路特徴情報と画像情報認識手段の認識結果との整合性の高さを判断する処理とすることができるので、車両の道路幅方向の位置を特定するための演算処理の際の装置の負荷を軽減することができる。
【００１７】
ここで、前記車両の進路に関する前記車両からの情報を取得する車両情報取得手段及び前記車両の過去の走行経路に関する情報を取得する過去経路取得手段の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測手段を備え、前記車両位置特定手段は、前記車両位置推測手段による推測結果に基づいて、前記道路幅方向の位置毎の道路特徴情報の対比の順序を決定する構成とすると好適である。
【００１８】
これにより、車両の現在の状況や過去の走行経路等に基づく車両位置推測手段による推測結果に基づいて、整合する可能性が高い道路の幅方向の位置を基準とする道路特徴情報から先に画像情報認識手段の認識結果と対比することができるので、車両の道路幅方向の位置を特定するための演算処理の速度を速くすることができるとともに、その演算処理の際の装置の負荷を更に軽減することができる。
【００１９】
また、前記車両の進路に関する前記車両からの情報を取得する車両情報取得手段及び前記車両の過去の走行経路に関する情報を取得する過去経路取得手段の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測手段を備え、前記車両位置特定手段は、前記車両の道路幅方向の位置の特定に、前記車両位置推測手段による推測結果を用いる構成とすると好適である。
【００２０】
これにより、車両の道路幅方向の位置の特定のための情報に、車両の現在の状況や過去の走行経路等に基づく車両位置推測手段による推測結果を更に加えるので、車両の道路幅方向の位置をより高い精度で特定することが可能となる。
【００２１】
また、前記道路特徴情報が、前記地物に関する位置情報と、形状情報及び色彩情報の少なくとも一方とを含む構成とすれば、道路特徴情報を、画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置と容易に対比可能な形で取得することができる。
【００２２】
また、前記車両位置特定手段は、前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、前記車両の道路長手方向の位置を特定する構成とすると更に好適である。
【００２３】
これにより、車両の道路幅方向の位置の特定のための処理と同様の処理により、車両の道路長手方向の位置も特定することができる。したがって、走行中の道路の中における車両の位置をより詳細に特定することができる。
【００２４】
また、前記道路特徴情報取得手段は、ナビゲーション装置を構成する地図情報データベースが有する地図情報から、前記撮像装置による前記画像情報の撮像時に、前記ナビゲーション装置を構成する位置情報取得手段により取得された位置周辺の前記道路特徴情報を取得する構成とすること好適である。
【００２５】
これにより、ナビゲーション装置に必須の機能を利用して道路特徴情報を容易に取得することができる。したがって、車両位置認識装置の専用の構成として道路特徴情報を有する地図情報のデータベース及び画像情報の撮像位置の認識装置等を設ける必要がなく、車両位置認識装置を安価に構成することができる。
【００２６】
本発明に係る車両位置認識装置のもう一つの特徴構成は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる認識対象物の画像を認識する画像情報認識手段と、前記車両の進路に関する前記車両からの情報を取得する車両情報取得手段及び前記車両の過去の走行経路に関する情報を取得する過去経路取得手段の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測手段と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置と、前記車両位置推測手段による推測結果とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定手段と、を備える点にある。
【００２７】
この特徴構成によれば、車両に搭載された撮像装置により撮像された画像情報に加えて、車両の現在の状況や過去の走行経路等に基づく車両位置推測手段による推測結果を用いることにより、画像情報認識手段により認識された認識対象物の画像の画像情報中の配置と車両位置推測手段による推測結果との両方を用いて、走行中の道路における車両の道路幅方向の位置を特定することができる。
【００２８】
ここで、前記地物としては、例えば、道路の路面に設けられた区画線や進行方向別通行区分表示等のペイント表示が含まれる。
【００２９】
また、前記画像情報取得手段は、車両に搭載した撮像装置により撮像した画像情報を所定の時間間隔で取り込む構成とすること好適である。
【００３０】
これにより、車両位置認識装置による車両の道路幅方向の位置を特定する処理を、車両が走行するのに従ってリアルタイムで行うことができる。
【００３１】
本発明に係る車両位置認識方法の特徴構成は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得工程と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得工程と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識工程と、前記道路特徴情報取得工程により取得された前記道路特徴情報と、前記画像情報認識工程により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定工程と、を有する点にある。
【００３２】
この特徴構成によれば、車両に搭載された撮像装置により撮像された画像情報に加えて、地図情報から取得した画像情報の撮像位置周辺の地物に関する道路特徴情報を用いることにより、画像情報認識工程により認識された前記地物に対応する認識対象物の画像の画像情報中の配置と、道路特徴情報とを対比することができ、走行中の道路における車両の道路幅方向の位置を特定することができる。
【００３３】
本発明に係る車両位置認識方法の更なる特徴構成は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得工程と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を、前記道路の幅方向に異なる複数の位置を基準とする位置毎の情報として取得する道路特徴情報取得工程と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識工程と、前記道路特徴情報取得工程により取得された前記道路幅方向の位置毎の道路特徴情報のそれぞれについて、前記画像情報認識工程により認識された前記認識対象物の画像の前記画像情報中の配置と対比し、整合性が高い前記道路特徴情報が基準とする道路幅方向の位置を、前記車両の道路幅方向の位置として特定する車両位置特定工程と、を有する点にある。
【００３４】
この特徴構成によれば、地図情報から取得した道路の幅方向に異なる複数の位置を基準とする位置毎の道路特徴情報のそれぞれについて、車両に搭載された撮像装置により撮像された画像情報に基づいて画像情報認識工程により認識された認識対象物の画像の画像情報中の配置と対比し、整合性が高い道路特徴情報が基準とする道路幅方向の位置を、車両の道路幅方向の位置として特定することにより、走行中の道路における車両の道路幅方向の位置を特定することができるとともに、その特定のための演算処理を、各位置毎の道路特徴情報と画像情報認識工程による認識結果との整合性の高さを判断する処理とすることができるので、車両の道路幅方向の位置を特定するための演算処理の際の負荷を軽減することができる。
【００３５】
本発明に係る車両位置認識装置のもう一つの特徴構成は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得工程と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる認識対象物の画像を認識する画像情報認識工程と、前記車両の進路に関する前記車両からの情報を取得する車両情報取得工程及び前記車両の過去の走行経路に関する情報を取得する過去経路取得工程の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測工程と、前記画像情報認識工程により認識された前記認識対象物の画像の前記画像情報中の配置と、前記車両位置推測工程による推測結果とに基づいて、前記車両の道路幅方向の位置を特定する点にある。
【００３６】
この特徴構成によれば、車両に搭載された撮像装置により撮像された画像情報に加えて、車両の現在の状況や過去の走行経路等に基づく車両位置推測肯定による推測結果を用いることにより、画像情報認識工程により認識された認識対象物の画像の画像情報中の配置と車両位置推測肯定による推測結果との両方を用いて、走行中の道路における車両の道路幅方向の位置を特定することができる。
【発明を実施するための最良の形態】
【００３７】
〔第一の実施形態〕
以下に、本発明の第一の実施形態について図面に基づいて説明する。図１は、本実施形態に係る車両位置認識装置１のハードウエア構成の概略を示すブロック図である。
本実施形態に係る車両位置認識装置１は、撮像装置２により撮像された画像情報の認識結果と地図情報から取得した道路特徴情報Ｃとに基づいて、車両Ｍの走行中の道路１１内における詳細な位置、すなわち道路幅方向及び道路長手方向の詳細な位置を特定する処理を行う。
【００３８】
この図１に示すように、本実施形態に係る車両位置認識装置１は、主たる構成として、車両Ｍ（図２参照）に搭載された撮像装置２からの画像情報Ｇを取り込む画像情報取得部３と、ＧＰＳ（グローバル・ポジショニング・システム）受信機４、方位センサ５及び距離センサ６からの出力に基づいて撮像装置２による概略の撮像位置を特定するための演算を行う概略位置特定演算部７と、地図情報データベース８に格納されている地図情報から撮像装置２による概略の撮像位置周辺の地物に関する道路特徴情報Ｃを取得するための演算を行う道路特徴情報取得演算部９と、取得された道路特徴情報Ｃを用いて画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる前記地物に対応する認識対象物の画像を認識するための演算を行う画像情報認識演算部１０と、道路特徴情報取得演算部９で取得された道路特徴情報Ｃと、画像情報認識演算部１０で認識された認識対象物の画像の画像情報Ｇ中の配置とに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定する車両位置特定演算部１７と、を備えている。
ここで、概略位置特定演算部７、ＧＰＳ受信機４、方位センサ５、距離センサ６、及び地図情報データベース８は、車両に搭載され、車両の経路案内等を行うためのナビゲーション装置の構成を利用することができる。この場合、位置特定演算部７、ＧＰＳ受信機４、方位センサ５、距離センサ６等が、本発明における「位置情報取得手段」に相当する。
【００３９】
撮像装置２は、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。この撮像装置２は、車両Ｍの、例えば図２のＱ１〜Ｑ３で示す位置に前方や後方に向けて配置され、車両Ｍが走行する道路１１の少なくとも路面が撮影され、更にここではその道路１１の周囲も撮影されるように設けられる。このような撮像装置２としては、車両Ｍの前方や後方等の映像を撮像するためにこれまでにも設けられている車載カメラ等が好適に用いられる。
【００４０】
画像情報取得部３は、撮像装置２と接続するためのインターフェース回路１２と、撮像装置２からの画像情報Ｇに対して前処理を行う画像前処理回路１３と、前処理後の画像情報Ｇを格納する画像メモリ１４とを有している。インターフェース回路１２は、アナログ／デジタル・コンバータ等を備えており、撮像装置２により撮像したアナログの画像情報Ｇを所定の時間間隔で取り込み、デジタル信号に変換して画像前処理回路１３へ出力する。このインターフェース回路１２による画像情報Ｇの取り込みの時間間隔は、例えば、１０〜５０ｍｓ程度とすることができる。これにより、画像情報取得部３は、車両Ｍが走行中の道路１１の画像情報をほぼ連続的に取得することができる。画像前処理回路１３は、ここでは画像情報Ｇに対する前処理として二値化処理、エッジ検出処理等の画像情報認識
演算部１０による画像認識を容易にするための処理を行う。そして、このような前処理後の画像情報Ｇが画像メモリ１４に格納される。
また、インターフェース回路１２は、画像前処理回路１３へ送る画像情報Ｇとは別に、直接画像メモリ１４へも画像情報Ｇを出力する。したがって、画像メモリ１４には、画像前処理回路１３により前処理を行った後の画像情報Ｇ２と、前処理を行っていないそのままの画像情報Ｇ１との両方が格納されることになる。
本実施形態においては、この画像情報取得部３が、本発明における「画像情報取得手段」を構成する。
【００４１】
概略位置特定演算部７は、本実施形態においては、ＧＰＳ受信機４、方位センサ５、及び距離センサ６と接続さている。ここで、ＧＰＳ受信機４は、ＧＰＳ衛星からの信号を受信する装置であり、ＧＰＳ受信機４の位置（緯度及び経度）や移動速度など様々な情報を得ることができる。方位センサ５は、地磁気センサやジャイロセンサ、或いは、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、車両Ｍの進行方向を検知することができる。距離センサ６は、車輪の回転数を検知する車速センサや車両Ｍの加速度を検知するヨー・Ｇセンサと、検知された加速度を２回積分する回路との組み合わせ等により構成され、車両Ｍの移動距離を検知することができる。そして、概略位置特定演算部７は、これらのＧＰＳ受信機４、方位センサ５及び距離センサ６からの出力に基づいて、車両Ｍの現在の概略位置を特定する演算を行う。こうして演算された車両Ｍの位置が撮像装置２の位置となる。
【００４２】
この概略位置特定演算部７により特定することができる車両の概略位置の精度は、ＧＰＳ受信機の精度に大きく影響を受ける。このため、現状では、数十ｍ程度の誤差を含んでいる。よって、この概略位置特定演算部７において、車両Ｍの道路幅方向及び道路長手方向の詳細な位置を特定することはできない。
【００４３】
また、概略位置特定演算部７は、画像情報取得部３のインターフェース回路１２とも接続されている。このインターフェース回路１２は、撮像装置２による撮像のタイミングで概略位置特定演算部７に対して信号の出力を行う。したがって、概略位置特定演算部７は、このインターフェース回路１２からの信号の入力を受けたタイミングでの撮像装置２の位置を演算することにより、画像情報Ｇの概略の撮像位置を特定することができる。このようにして概略位置特定演算部７により特定された画像情報Ｇの概略の撮像位置は緯度及び経度の情報により表され、道路特徴情報取得演算部９に出力される。
この概略位置特定演算部７は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
【００４４】
道路特徴情報取得演算部９は、概略位置特定演算部７及び地図情報データベース８と接続されている。
図３は、地図情報データベース８に格納されている地図情報の内容を示す説明図である。この図に示すように、本実施形態に係る地図情報データベース８には、地図情報として、道路ネットワークレイヤＬ１、道路形状レイヤＬ２、地物レイヤＬ３が格納されている。
道路ネットワークレイヤＬ１は、道路１１間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードＮの情報と、２つのノードＮを連結して道路１１を構成する多数のリンクＬの情報とを有して構成されている。また、各リンクＬは、そのリンク情報として、道路１１の種別（高速道路、有料道路、国道、県道等の種別）やリンク長さ等の情報を有している。
道路形状レイヤＬ２は、道路ネットワークレイヤＬ１に関連付けられて格納され、道路１１の形状を示すレイヤである。具体的には、２つのノードＮの間（リンクＬ上）に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Ｓの情報と、各道路形状補完点Ｓにおける道路幅Ｗの情報とを有して構成されている。
【００４５】
地物レイヤＬ３は、道路ネットワークレイヤＬ１及び道路形状レイヤＬ２に関連付けられて格納され、道路１１上及び道路１１の周辺に設けられた各種地物の情報を示すレイヤである。この地物レイヤＬ３に格納する地物情報としては、少なくともこの車両位置認識装置１において認識対象物となり得る地物に関する位置、形状、色彩等の情報が格納されている。本実施形態においては、具体的には、道路１１の路面に設けられたペイント表示Ｐ、道路１１に隣接する走行不可能領域Ｉ、道路１１上に設けられた各種の標識１５や信号機１６等の各種地物について、道路形状補完点Ｓ又はノードＮを基準とした地図上の位置、並びに形状及び色彩等の地物情報を有して構成されている。ここで、ペイント表示Ｐには、例えば、車線を分ける区画線（実線、破線、二重線等の区画線の種類の情報も含む。）、ゼブラゾーン、各レーンの進行方向を指定する進行方向別通行区分表示、停止線、横断歩道、速度表示等が含まれる。また、正確にはペイントによるものではないが、同じく道路１１の路面に設けられるマンホールもここではペイント表示Ｐに含めることとする。走行不可能領域Ｉには、例えば、道路１１に隣接する路肩、歩道、分離帯等が含まれる。
なお、地図情報データベース８は、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。
【００４６】
そして、道路特徴情報取得演算部９は、概略位置特定演算部７により特定された画像情報Ｇの撮像位置を示す緯度及び経度の情報に基づいて、地図情報データベース８に格納されている地図情報から、画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを取得するための演算を行う。ここでは、道路特徴情報取得演算部９は、画像情報Ｇの撮像位置周辺の、少なくとも撮像装置２による撮像領域を含む領域内に含まれる地物の位置、形状、色彩等の地物情報を、道路特徴情報Ｃとして地図情報データベース８の地物レイヤＬ３から抽出する演算処理を行う。
【００４７】
この道路特徴情報取得演算部９は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この道路特徴情報取得演算部９が、本発明における「道路特徴情報取得手段」を構成する。
【００４８】
画像情報認識演算部１０は、画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる認識対象物の画像を認識するための演算を行う。本実施形態においては、画像情報認識演算部１０は、画像情報取得部３の画像メモリ１４及び道路特徴情報取得演算部９と接続されており、道路特徴情報取得演算部９により取得された道路特徴情報Ｃを用いて画像情報Ｇの認識処理を行う。
また、画像情報認識演算部１０において画像認識を行う認識対象物は、上述したペイント表示Ｐ、走行不可能領域Ｉ、及び各種の標識１５や信号機１６等の地物レイヤＬ３に地物情報として格納されている地物に対応するものとする。
【００４９】
この画像情報認識演算部１０は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この画像情報認識演算部１０が、本発明における「画像情報認識手段」を構成する。
【００５０】
画像情報認識演算部１０における道路特徴情報Ｃを用いた画像情報Ｇの認識処理の具体的方法として、この車両位置認識装置１では、以下の２つの方法をそれぞれ単独で或いはこれらを組み合わせて用いる。
第一の画像認識処理方法は、画像情報Ｇから認識対象物の画像候補を抽出して道路特徴情報Ｃと対比し、道路特徴情報Ｃとの整合性が高い画像候補を認識対象物の画像として認識する処理方法である。
また、第二の画像認識処理方法は、道路特徴情報Ｃに基づいて画像情報Ｇ中における認識対象物の画像が存在する領域を推測し、その推測結果に基づいて、認識対象物の画像が存在すると推測される領域内では認識対象物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して、画像情報Ｇの中から認識対象物の画像を認識する処理方法である。
本実施形態においては、後にフローチャートを用いて説明するように、画像情報認識演算部１０は、これらの第一及び第二の画像認識処理方法を組み合わせて、道路１１の路面に設けられたペイント表示Ｐと、道路１１に隣接する走行不可能領域Ｉとを認識する処理を行う。そのため、この画像情報認識演算部１０は、ペイント表示認識演算部１０ａ、道路特徴情報照合部１０ｂ、領域推測部１０ｃ、及び走行不可能領域認識部１０ｄを備えている。
【００５１】
車両位置特定演算部１７は、道路特徴情報取得演算部９で取得された道路特徴情報Ｃと、画像情報認識演算部１０で認識された認識対象物の画像の画像情報Ｇ中の配置とに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定するための演算を行う。そのため、本実施形態においては、車両Ｍの道路幅方向と車両Ｍの道路長手方向との両方の詳細な位置を特定する演算処理を行う。
本実施形態においては、後にフローチャートを用いて説明するように、車両位置特定演算部１７は、画像情報認識演算部１０により認識された１又は２以上の認識対象物の画像の画像情報Ｇ中の配置と、道路特徴情報Ｃに含まれる１又は２以上の認識対象物に対応する物の位置情報とを対比して、画像情報Ｇの撮像位置を詳細に特定することにより、車両Ｍの道路幅方向及び車両Ｍの道路長手方向の詳細な位置を特定する演算処理を行う。そのため、この車両位置特定演算部１７は、配置情報抽出部１７ａ、対比演算部１７ｂ、及び撮像位置特定部１７ｃを備えている。
【００５２】
この車両位置特定演算部１７は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この車両位置特定演算部１７が、本発明における「車両位置特定手段」を構成する。
【００５３】
そこで、次に、撮像装置２により撮像された画像情報の認識結果と地図情報から取得した道路特徴情報Ｃとに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定する処理の具体例について、図４〜６に示すフローチャートを用いて詳細に説明する。
【００５４】
図４に示すように、車両位置認識装置１は、まず、撮像装置２により撮像された画像情報Ｇを取り込む処理を行う（ステップ＃０１）。具体的には、車載カメラ等からなる撮像装置２により撮像した画像情報Ｇをインターフェース回路１２を介して画像前処理回路１３及び画像メモリ１４に送る処理を行う。またこの際、インターフェース回路１２は、撮像装置２からの画像情報Ｇの取り込みのタイミングで、すなわち撮像装置２による撮像のタイミングとほぼ同じタイミングで、概略位置特定演算部７に対して信号の出力を行う。この信号は概略位置特定演算部７に対して撮像のタイミングを知らせるための信号である。
【００５５】
画像情報Ｇの入力を受けた画像前処理回路１３では、画像情報Ｇに対する前処理を行う（ステップ＃０２）。ここで行う前処理としては、例えば、二値化処理やエッジ検出処理等の画像情報認識演算部１０による画像認識を容易にするための各種の処理を行う。図７（ａ）は、撮像装置２により撮像された画像情報Ｇ（Ｇ１）の一例であり、図７（ｂ）は、（ａ）に示された画像情報Ｇに対して前処理を行った後の画像情報Ｇ（Ｇ２）の一例である。この図７（ｂ）に示す例では、エッジ検出処理により画像情報Ｇとして撮像された物の輪郭を示す画像が抽出されている。そして、このステップ＃０２において前処理が行われた後の画像情報Ｇ２、及びインターフェース回路１２から直接送られてきた画像情報Ｇ１を画像メモリ１４に格納する（ステップ＃０３）。
【００５６】
また、ステップ＃０２及び＃０３の処理と並行して、概略位置特定演算部７では、画像情報Ｇの概略の撮像位置を特定する処理を行う（ステップ＃０４）。具体的には、インターフェース回路１２から画像情報Ｇの取り込みのタイミングを示す信号が出力された時に、それを撮像装置２による撮像のタイミングとして、ＧＰＳ受信機４、方位センサ５及び距離センサ６に基づいて車両Ｍの概略の現在位置を特定する演算を行う。そして、これにより特定された車両Ｍの概略の現在位置を画像情報Ｇの概略の撮像位置とする。ここで特定された概略の撮像位置の情報は、緯度及び経度の情報として道路特徴情報取得演算部９に送られる。
【００５７】
次に、道路特徴情報取得演算部９において、地図情報データベース８に格納されている地図情報から画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを取得する処理を行う（ステップ＃０５）。この際、道路特徴情報取得演算部９は、地図情報データベース８に格納されている広範囲の地図情報の中から、ステップ＃０４において特定された概略の撮像位置の周辺の一定範囲Ｒ内の道路特徴情報Ｃを抽出して取得する。ここで、概略の撮像位置周辺の一定範囲Ｒとしては、撮像装置２により画像情報Ｇとして撮像される領域を少なくとも含むように設定すると好適である。
【００５８】
図８は、道路特徴情報取得演算部９により取得された道路特徴情報Ｃの一例を図形化して示したものである。本例では、道路特徴情報Ｃに含まれる地物としては、ペイント表示Ｐとして、片側３車線の道路１１の車道の外縁を示す２本の実線の区画線Ｐ１ａ、Ｐ１ｂと、３車線の間を区切る２本の破線の区画線Ｐ２ａ、Ｐ２ｂと、３車線のうちの左側車線に設けられたマンホールＰ３とがある。また、走行不可能領域Ｉとして、道路１１の左側に隣接する歩道Ｉ１と、道路１１の右側に隣接する中央分離帯Ｉ２とがある。なお、この図８は単なる一例であり、画像情報Ｇの撮像位置によって様々な地物が道路特徴情報Ｃに含まれることになる。
【００５９】
そして、この道路特徴情報Ｃの内容は、これらの各地物の位置情報、形状情報及び色彩情報により構成されている。ここで、各地物の位置情報は、道路形状補完点Ｓ（交差点等のノードＮが存在する場所ではノードＮ（図３参照）も含む。）を基準とする位置情報により表される。すなわち、例えば、ペイント表示Ｐのうちの実線の区画線Ｐ１ａ、Ｐ１ｂや破線の区画線Ｐ２ａ、Ｐ２ｂ、或いは走行不可能領域Ｉの歩道Ｉ１や中央分離帯Ｉ２等の道路１１に沿って設けられている地物については、道路形状補完点Ｓ（又はノードＮ）からの距離（オフセット量）のみにより表される。一方、例えば、道路１１に沿って設けられないマンホールＰ３や、停止線、標識等の地物については、特定の道路形状補完点Ｓ（又はノードＮ）からの距離及び方向により位置情報を表される。
また、各地物の形状情報は、上記位置情報により特定される位置を基準として縦、横、高さ方向にそれぞれどれだけの大きさを有し、どのような形状（シルエット）を備えているか等の情報を有する。この形状情報は、画像情報Ｇとの対比が容易となるように簡略化して表された情報とすると好適である。
各地物の色彩情報は、例えば道路標識等の一様な色彩でない地物の場合には、上記形状情報の中の領域毎に色彩情報が格納された情報とすると好適である。
【００６０】
次に、画像情報認識演算部１０において、画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる認識対象物の画像を認識する処理を行う（ステップ＃０６）。本実施形態においては、画像情報Ｇに含まれる地物の画像の中で、ペイント表示Ｐと走行不可能領域Ｉを認識対象物としている。そして、この認識対象物の画像認識処理として、認識が比較的容易なペイント表示Ｐの画像認識を行った後、それに基づいて認識アルゴリズムを調整して、ペイント表示Ｐより認識が困難な走行不可能領域Ｉの画像認識を行う処理としている。このような画像情報Ｇの認識処理の具体例を図５のフローチャートに示す。
なお、走行不可能領域Ｉの画像認識がペイント表示Ｐの画像認識より困難であるのは、ペイント表示Ｐは、道路１１の路面との輝度や色彩の差が大きく画像認識が比較的容易であるのに対して、路肩、歩道、分離帯等の走行不可能領域Ｉは、道路１１やその周囲との輝度や色彩の差が小さいためにエッジ検出等によっても輪郭を特定することが困難な場合が多いからである。
【００６１】
この画像情報Ｇの認識処理では、図５に示すように、まず、画像情報認識演算部１０のペイント表示認識演算部１０ａにおいて、画像情報Ｇの中に含まれるペイント表示Ｐの可能性がある画像候補を抽出する処理を行う（ステップ＃６１）。具体的には、図７（ｂ）に示されるようにエッジ検出処理等の前処理を行った後の画像情報Ｇ２の中から、区画線やマンホール等のペイント表示Ｐの特徴を表すテンプレート等の予め規定された特徴データと整合性が高い画像を抽出し、それをペイント表示Ｐの画像候補とする処理を行う。図７に示す例では、前方を走行する車両の画像ＧＳ及びそれと重なっている右側の破線の区画線の画像ＧＰ２ｂは除外され、それ以外の画像、すなわち、左側の破線の区画線の画像ＧＰ２ａ、左側の実線の区画線の画像ＧＰ１ａ、その外側にある歩道の縁石の画像ＧＩ１ａ、右側の実線の区画線の画像ＧＰ１ｂ、及びマンホールの画像ＧＰ３がペイント表示Ｐの画像候補として抽出される。
【００６２】
その後、画像情報認識演算部１０の道路特徴情報照合部１０ｂにおいて、ステップ＃６１で抽出されたペイント表示Ｐの画像候補と、ステップ＃０５で取得された道路特徴情報Ｃの中のペイント表示Ｐに関する情報とを対比する（ステップ＃６２）。そして、この対比の結果、位置関係、形状、及び色彩や輝度等の各情報についての整合性が高い画像候補を抽出し、抽出された画像候補をペイント表示Ｐの画像と認識する（ステップ＃６３）。図８に示す例では、ペイント表示Ｐに関する道路特徴情報Ｃに基づいて、実線及び破線の区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂの位置関係（間隔）、これらの区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂとマンホールＰ３との位置関係、並びにこれらの区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂ及びマンホールＰ３の形状及び色彩や輝度等がわかる。したがって、これらの道路特徴情報Ｃと整合性が高い画像情報Ｇ中のペイント表示Ｐの画像候補を抽出することで、ペイント表示Ｐの可能性が高い画像候補のみを抽出することができる。図７に示す例の場合、このステップ＃６３の処理により、左側の実線の区画線の画像ＧＰ１ａの外側にある歩道の縁石の画像ＧＩ１ａが除外される。そして、このように抽出された画像候補をペイント表示Ｐの画像と認識する。なお、ペイント表示Ｐの画像候補の色彩や輝度等の情報は、画像メモリ１４に格納されている前処理が行われていない画像情報Ｇから取得することができる。
図９（ａ）は、画像情報Ｇからステップ＃６３の処理により抽出されたペイント表示Ｐの画像のみを表した図である。なお、右側の破線の区画線の画像ＧＰ２ｂは、車両の画像ＧＳとともにペイント表示Ｐの画像候補から除外されているので、ここで抽出されたペイント表示Ｐの画像には含まれない（なお、図９（ａ）においては点線で示している）。
【００６３】
次に、認識されたペイント表示Ｐの画像を基準として、画像情報Ｇと道路特徴情報Ｃとの照合を行う（ステップ＃６４）。すなわち、画像情報Ｇ中における認識されたペイント表示Ｐの画像の位置と、道路特徴情報Ｃに含まれるペイント表示Ｐの位置とが合致するように対応付けることにより、道路特徴情報Ｃに含まれる各地物の情報と画像情報Ｇに含まれる画像とを対応付けることが可能になる。この際、道路１１に沿って設けられている区画線ＧＰ１ａ、ＧＰ２ａ等の地物を基準とすることにより道路１１の幅方向の位置関係を正確に対応付けることができ、道路１１に沿って設けられないマンホールＰ３や、図示しない停止線、標識等の地物を基準とすることにより道路１１に沿った方向の位置関係を正確に対応付けることができる。
【００６４】
その後、画像情報認識演算部１０の領域推測部１０ｃにおいて、ステップ＃６４における道路特徴情報Ｃと画像情報Ｇとの照合結果に基づいて、画像情報Ｇ中における走行不可能領域Ｉの画像が存在する領域を推測する処理を行う（ステップ＃６５）。すなわち、上記のステップ＃６４における画像情報Ｇと道路特徴情報Ｃとの照合結果に基づけば、画像情報Ｇの中におけるペイント表示Ｐや走行不可能領域Ｉを含む各地物の画像の配置が推測可能である。そこで、道路特徴情報Ｃに含まれる走行不可能領域Ｉの位置及び形状に対応する画像情報Ｇ中の領域を、ステップ＃０７における照合結果から推測する演算を行う。そして、このステップ＃０８の処理の結果として演算される領域を、走行不可能領域Ｉの画像が存在する領域と推測する。
【００６５】
本実施形態においては、図９（ｂ）に示すように、画像情報Ｇとして撮像された画像範囲を、ステップ＃６３の処理により認識されたペイント表示Ｐの中の区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａに基づいて、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａのそれぞれが属する領域Ａ１〜Ａ３と、これらの領域Ａ１〜Ａ３により挟まれた領域Ａ４〜Ａ７とに簡易的に区分している。そして、それぞれの領域Ａ４〜Ａ７が走行不可能領域Ｉを含むか否かという判断をステップ＃６４における照合結果に基づいて行うことにより、走行不可能領域Ｉの画像が存在する領域を推測する処理を行う。ここでは、図８に示されるように、道路特徴情報Ｃに基づいて、道路１１の両側の実線の区画線Ｐ１ａ、Ｐ１ｂの外側にそれぞれ走行不可能領域Ｉが存在していると判断することができるので、当該道路１１の両側の実線の区画線Ｐ１ａ、Ｐ１ｂが属する領域Ａ１及びＡ３の外側の領域Ａ４及びＡ７内に走行不可能領域Ｉの画像が存在と推測できる。
【００６６】
次に、ステップ＃６５の推測結果に基づいて、画像情報認識演算部１０の走行不可能領域認識部１０ｄにおける認識アルゴリズムを調整し（ステップ＃６６）、画像情報Ｇの中に含まれる走行不可能領域Ｉの画像の認識を行う（ステップ＃６７）。
本実施形態においては、ステップ＃０８において走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内について、走行不可能領域Ｉであるか否かの判断基準が他の領域（ここでは領域Ａ５及びＡ６）よりも低くなるように認識アルゴリズムを調整する。すなわち、上述のとおり、歩道Ｉ１、分離帯Ｉ２、路肩等の走行不可能領域Ｉは、道路１１やその周囲との輝度や色彩の差が小さいためにエッジ検出等によっても輪郭を特定することが困難な場合が多く、ペイント表示Ｐよりも画像認識が一般的に困難である。そこで、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７について、他の領域よりも走行不可能領域Ｉと認識しやすくする方向に認識アルゴリズムを調整することにより、走行不可能領域Ｉの認識率を高めることができる。
なお、走行不可能領域Ｉであるか否かの判断基準が他の領域よりも低くなるように認識アルゴリズムを調整するためには、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７における判断基準を他の領域に対して低くする方法の他に、他の領域の判断基準を領域Ａ４及びＡ７に対して高くする方法や、領域Ａ４及びＡ７における判断基準を他の領域に対して低くするとともに他の領域の判断基準を領域Ａ４及びＡ７に対して高くする方法等がある。この認識アルゴリズムの具体的な調整方法は、走行不可能領域Ｉの認識方法に応じた方法とする。
【００６７】
例えば、本実施形態においては、走行不可能領域Ｉの画像の認識アルゴリズムとして、画像情報Ｇに対してエッジ検出処理を行い、道路１１の幅方向の各位置におけるエッジ点数を検出し、このエッジ点数が所定のしきい値以上となっている場所が走行不可能領域Ｉであると認識するアルゴリズムとしている。そして、この際のしきい値として、図１０に示すように、低い値に設定された第一しきい値ｔ１と、高い値に設定された第二しきい値ｔ２とを用いている。すなわち、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内では第一しきい値ｔ１を用い、それ以外の領域Ａ５及びＡ６内では第二しきい値ｔ２を用いることにより、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内について、走行不可能領域Ｉであるか否かの判断基準が他の領域Ａ５及びＡ６よりも低くなるように認識アルゴリズムを調整している。
【００６８】
図１０は、図７に示す画像情報Ｇについて、道路１１の幅方向の各位置におけるエッジ点数を検出した結果を示すグラフである。この図に示すように、領域Ａ１〜Ａ３は、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａが存在するのでエッジ点数は多くなっていが、これらの領域Ａ１〜Ａ３は走行不可能領域Ｉの画像認識の対象とはならない。領域Ａ５は、マンホールＰ３が存在する位置以外はアスファルトの路面のみであるので全体的にエッジ点数は少なくなっている。
一方、領域Ａ４、Ａ６、及びＡ７は、エッジ点数はある程度多くなっている。結論からいうと、領域Ａ４及びＡ７はそれぞれ歩道Ｉ１又は中央分離帯Ｉ２といった走行不可能領域Ｉが存在することによりエッジ点数が多くなっているのに対して、領域Ａ６は前方の車両の画像Ｇｓ及びその車両の画像Ｇｓに隠れた破線の区画線ＧＰ２ｂが存在することによりエッジ点数が多くなっている。しかし、エッジ点数のみからそれが走行不可能領域Ｉであるか否かを判断することは困難である。
【００６９】
そこで、ステップ＃６５の推測結果に基づいて、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内については、走行不可能領域Ｉであると判断するしきい値を低い値に設定された第一しきい値ｔ１とし、その他の領域Ａ５及びＡ６内については、走行不可能領域Ｉであると判断するしきい値を高い値に設定された第二しきい値ｔ２としている。これにより、ステップ＃０８の推測結果に基づいて、走行不可能領域Ｉの画像が存在すると推測された領域Ａ４及びＡ７内で走行不可能領域Ｉの検出漏れを減らすとともに、それ以外の領域Ａ５及びＡ６内で走行不可能領域Ｉと誤検出することを防止できる。したがって、走行不可能領域Ｉの認識率を高めることができる。これらの第一しきい値ｔ１及び第二しきい値ｔ２の値は、実験的及び統計的に適切な値を求めるとよい。また、これらの第一しきい値ｔ１及び第二しきい値ｔ２の値を、画像情報Ｇから抽出される他の情報や車両Ｍに搭載された他のセンサからの信号等に基づいて変化する可変値とすることも好適な実施形態の一つである。
【００７０】
以上のようにして、画像情報認識演算部１０において画像情報Ｇの認識処理を行うことにより、画像情報Ｇ中に含まれる認識対象物としてのペイント表示Ｐと走行不可能領域Ｉの画像が認識される。図７に示す画像情報Ｇの例では、図１１に示すように、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａの画像ＧＰ１ａ、ＧＰ１ｂ、ＧＰ２ａ、マンホールＰ３の画像Ｇｐ３、区画線Ｐ１ａの画像ＧＰ１ａの左側の歩道Ｉ１の画像ＧＩ１、区画線Ｐ１ｂの画像ＧＰ１ｂの右側の中央分離帯Ｉ２の画像ＧＩ２がそれぞれ認識されることになる。
【００７１】
次に、車両位置特定演算部１７において、図４に示すように、ステップ＃０５により取得された道路特徴情報Ｃと、ステップ＃０６により認識された認識対象物の画像の画像情報Ｇ中の配置とに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定する処理を行う（ステップ＃０７）。本実施形態においては、ステップ＃０６により認識された認識対象物の画像の画像情報Ｇ中の配置と、ステップ＃０５により取得された道路特徴情報Ｃに含まれる前記認識対象物に対応する物の位置情報とを対比して、画像情報Ｇの撮像位置を詳細に特定することにより、車両Ｍの道路幅方向及び車両Ｍの道路長手方向の詳細な位置を特定する演算処理を行う。
【００７２】
このような車両Ｍの詳細な位置を特定する処理の具体例を図６のフローチャートに示す。この処理では、まず、車両位置特定演算部１７の配置情報抽出部１７ａにおいて、ステップ＃０６で認識された各認識対象物の画像情報Ｇ中の配置情報を抽出する（ステップ＃７１）。ここでは、認識対象物の画像情報Ｇ中の配置情報としては、各認識対象物の画像情報Ｇ中における位置の情報と、それに対応する各認識対象物の形状及び色彩等の情報とが含まれる。図７に示す画像情報Ｇの例では、図１１に示すように、認識対象物として、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａの画像ＧＰ１ａ、ＧＰ１ｂ、ＧＰ２ａ、マンホールＰ３の画像Ｇｐ３、歩道Ｉ１の画像ＧＩ１、中央分離帯Ｉ２の画像ＧＩ２が認識されているので、このステップ＃７１では、これらの認識対象物についての画像情報Ｇ中の配置情報が抽出される。
【００７３】
次に、車両位置特定演算部１７の対比演算部１７ｂにおいて、ステップ＃７１により抽出された各認識対象物の画像情報Ｇ中の配置情報と、ステップ＃０５により取得された道路特徴情報Ｃとを対比する処理を行う（ステップ＃７２）。ここでは、各認識対象物の画像情報Ｇ中の配置情報と、道路特徴情報Ｃ中に含まれる各地物の配置とを対比し、整合性が高い画像情報Ｇ中の認識対象物の画像と道路特徴情報Ｃ中の地物の情報とを対応付ける処理を行う。これにより、画像情報Ｇ中の各認識対象物の画像が、道路特徴情報Ｃ中のどの地物の画像であって、道路特徴情報Ｃにより表される道路１１上のどの位置に配置されているかを特定することができる。
【００７４】
その後、車両位置特定演算部１７の撮像位置特定部１７ｃにおいて、画像情報Ｇの撮像位置を詳細に特定する処理を行う（ステップ＃７３）。図１２は、この処理の手順を模式的に表した図である。すなわち、この撮像位置を詳細に特定する処理は、ステップ＃７２の対比結果に基づいて、画像情報Ｇ中の各認識対象物の画像の配置と整合する画像情報Ｇの撮像位置を、道路特徴情報Ｃ中の位置に対応させて、道路１１の道路幅方向及び道路長手方向に詳細に特定することにより行う。
【００７５】
そこで、図１１に示す画像情報Ｇの認識結果に基づいて画像情報Ｇの撮像位置を特定する際の演算処理方法について具体的に説明する。まず道路幅方向の位置を特定する場合、画像情報Ｇ中の各認識対象物の画像の配置を解析すると、画像情報Ｇの中心から、右側に破線の区画線の画像ＧＰ２ａがあり、左側に実線の区画線の画像ＧＰ１ａがあることがわかる。また、この実線の区画線の画像ＧＰ１ａの右側には歩道の画像ＧＩ１があり、更に、右側の破線の区画線の画像ＧＰ２ａと左側の実線の区画線の画像ＧＰ１ａとの間には、マンホールの画像ＧＰ３があることがわかる。これらの各認識対象物の画像は、ステップ＃７２の処理により道路特徴情報Ｃに含まれる各地物の情報と対応付けられているので、画像情報Ｇ中の上記の各認識対象物の画像の配置の解析結果に基づけば、道路幅方向の撮像位置は、図１２に示されている道路特徴情報Ｃ中において、３車線の道路１１の左側車線（Ｂ１位置が存在する車線）内に撮像位置があると特定することができる。また、実線の区画線の画像ＧＰ１ａ又は破線の区画線の画像ＧＰ２ａの画像情報Ｇ中の配置、特に幅方向の配置に基づけば、左側車線内の右寄り又は左寄り等の更に詳細な位置も特定することが可能である。
【００７６】
なお、例えば、画像情報Ｇの撮像位置が、図１２のＢ２位置のように３車線の道路１１の中央車線にある場合には、画像情報Ｇの中心から両側に破線の区画線Ｐ２ａ、Ｐ２ｂの画像が認識されることなる。また、例えば、画像情報Ｇの撮像位置が、図１２のＢ３位置のように３車線の道路１１の右側車線にある場合には、画像情報Ｇの中心から、左側に破線の区画線Ｐ２ｂの画像が、右側に実線の区画線Ｐ１ｂの画像がそれぞれ認識されることなる。
【００７７】
また、道路長手方向の撮像位置を特定する場合は、区画線や歩道等とは異なり、道路１１に沿って設けられないマンホール、停止線、標識、信号機等の認識対象物の画像を基準とすることにより道路１１に沿った方向、すなわち道路長手方向の撮像位置を詳細に特定することができる。すなわち、画像情報Ｇ中における、これらの道路１１に沿って設けられていない認識対象物の画像の配置を解析すると、図１１に示す例では、マンホールの画像ＧＰ３があることがわかる。ここで、撮像装置２は車両Ｍに所定の高さで所定の撮像方向となるように固定されていることから、マンホールの画像ＧＰ３の画像情報Ｇ中の配置、特に高さ方向の配置に基づいて、撮像位置からマンホールＰ３までの距離Ｄを算出することができる。これにより、画像情報Ｇの撮像位置を道路長手方向にも詳細に特定することができる。図１２に示す例では、この画像情報Ｇの撮像位置はＢ１位置と特定されている。
【００７８】
以上の演算処理方法により、画像情報Ｇの撮像位置を道路幅方向及び道路長手方向の双方について詳細に特定することができる。そして、撮像装置２は、車両Ｍに搭載されているので、この特定された撮像位置を、車両Ｍの詳細な位置であると特定することができる（ステップ＃７４）。
【００７９】
以上に説明したステップ＃０１〜＃０７の一連の処理工程は、所定の時間間隔で繰り返し行われる。これにより、走行中の車両Ｍの詳細な位置特定をリアルタイムで常時行うことができる。
【００８０】
また、車両位置特定演算部１７による詳細な車両位置の特定結果は、例えば、図示しない車両Ｍの走行制御装置やナビゲーション装置等へ出力され、レーンキープ等の車両Ｍの操舵や車速等の走行制御に用いられ、或いはナビゲーション装置における詳細な自車位置の表示等に用いられる。
【００８１】
〔第二の実施形態〕
次に、本発明の第二の実施形態について図面に基づいて説明する。図１３は、本実施形態に係る車両位置認識装置１のハードウエア構成の概略を示すブロック図である。
本実施形態に係る車両位置認識装置１は、道路特徴情報取得演算部９において地図情報から画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを、道路１１の車線毎に異なる複数の位置を基準とする車線別道路特徴情報Ｃ´として取得し、各車線別道路特徴情報Ｃ´のそれぞれについて、画像情報Ｇ中の前記地物に対応する認識対象物の配置と対比することにより、車両Ｍの車線位置を特定する点で、上記第一の実施形態とは異なる。
また、本実施形態に係る車両位置認識装置１は、車両Ｍの進路に関する車両Ｍからの情報や車両Ｍの過去の走行経路に関する情報を取得して車両Ｍの車線位置を推測する車両位置推測演算部１８を備え、これによる推測結果を用いて車両Ｍの車線位置の特定を行う点でも、上記第一の実施形態とは異なる。
【００８２】
図１３に示すように、本実施形態に係る車両位置認識装置１は、主たる構成として、上記第一の実施形態において説明した構成に加えて、車両位置推測演算部１８を更に備えている。この車両位置推測演算部１８は、車両Ｍの進路に関する車両Ｍからの情報を取得する車両情報取得部１９、及び車両Ｍの過去の走行経路に関する情報を取得して記憶している過去経路記憶部２０と接続されており、これらの車両情報取得部１９及び過去経路記憶部２０からの情報に基づいて、車両Ｍの車線の位置を推測する演算処理を行う。そして、この車両位置推測演算部１８による推測結果は、道路特徴情報取得演算部９に出力されて車線別道路特徴情報Ｃ´の取得のための処理に用いられる。
本実施形態においては、この車両位置推測演算部１８が、本発明における「車両位置推測手段」を構成する。
【００８３】
車両情報取得部１９は、本実施形態においては、運転操作検知部２１、ＧＰＳ受信機４、方位センサ５、及び距離センサ６と接続さている。ここで、ＧＰＳ受信機４、方位センサ５、及び距離センサ６は、既に説明した概略位置特定演算部７に接続されているものと共用しており、これらの出力が車両情報取得部１９へも出力されるような構成としている。これにより、車両情報取得部１９は、車両Ｍの移動方向、移動距離、ハンドル操作等の情報を取得することができる。
また、運転操作検知部２１は、運転者による運転操作、例えば方向指示器の操作やハンドル操作（方位センサ５の構成として設けられている場合は重複するため除く。）、アクセル操作、ブレーキ操作等を検知するセンサ等により構成され、その検知結果も車両情報取得部１９へ出力される。
【００８４】
そして、車両情報取得部１９は、これら車両の各部から取得した車両情報を総合して、車両Ｍの進路に関する情報を作成し、その情報を車両位置推測演算部１８及び過去経路記憶部２０へ出力する。この車両Ｍの進路に関する情報は、具体的には、車両Ｍの進路変更の有無及びその角度等の情報となる。
この車両情報取得部１９は、このような演算処理を行うためのＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この車両情報取得部１９が、本発明における「車両情報取得手段」を構成する。
【００８５】
過去経路記憶部２０は、車両情報取得部１９から出力された車両Ｍの進路に関する情報を、車両Ｍの移動距離や移動時間等の情報と関連付けて車両Ｍの過去の走行経路に関する情報として記憶する処理を行う。そして、この過去経路記憶部２０に記憶された車両Ｍの過去の走行経路に関する情報は、車両位置推測演算部１８からの命令信号等に応じて、車両位置推測演算部１８へ出力される。
この過去経路記憶部２０は、このような演算処理を行うための演算処理装置及びその演算結果を記憶するメモリを中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この過去経路記憶部２０が、本発明における「過去経路取得手段」を構成する。
【００８６】
また、本実施形態に係る車両位置認識装置１は、道路特徴情報取得演算部９が、車線情報取得部９ａ及び車線別道路特徴情報取得演算部９ｂを備えている点、並びに、車両位置特定演算部１７が、配置情報抽出部１７ａ及び撮像位置特定部１７ｃを備えていない代わりに撮像車線特定部１７ｄを備えている点でも、上記第一の実施形態とは異なる。これらの相違は、本実施形態に係る車両位置認識装置１による車両位置の認識処理が、上記第一の実施形態と異なることによるものである。よって、これらの各部により行う処理については、以下にフローチャートを用いて詳細に説明する。
【００８７】
図１４は、本実施形態に係る車両位置認識装置１により車両Ｍの走行中の車線位置を特定する処理の具体例を示すフローチャートである。
この図に示すように、本実施形態に係る車両位置認識装置１は、まず、撮像装置２により撮像された画像情報Ｇを取り込み（ステップ＃１０１）、画像前処理回路１３で画像情報Ｇに対する前処理を行う（ステップ＃１０２）。そして、このステップ＃１０２において前処理が行われた後の画像情報Ｇ２、及びインターフェース回路１２から直接送られてきた画像情報Ｇ１を画像メモリ１４に格納する（ステップ＃１０３）。また、ステップ＃０１２及び＃１０３の処理と並行して、概略位置特定演算部７で画像情報Ｇの概略の撮像位置を特定する処理を行う（ステップ＃１０４）。なお、これらのステップ＃１０１〜＃１０４の処理は、上記第一の実施形態についての図４のステップ＃０１〜＃０４と同様の処理であるため、詳細な説明は省略する。
【００８８】
次に、車両位置推測演算部１８において、車両Ｍが走行中の車線を推測する処理を行う（ステップ＃１０５）。この車線を推測する処理は、車両情報取得部１９及び過去経路記憶部２０からの情報に基づいて行う。すなわち、車両情報取得部１９は、車両Ｍの各部のセンサ等からの情報に基づいて車両Ｍの進路に関する情報を車両位置推測演算部１８に出力する。また、過去経路記憶部２０は、車両情報取得部１９から出力された車両Ｍの進路に関する情報を、車両Ｍの移動距離や移動時間等の情報と関連付けて車両Ｍの過去の走行経路に関する情報として記憶している。したがって、車両位置推測演算部１８は、車両情報取得部１９及び過去経路記憶部２０から、車両Ｍが過去に行った進路変更の回数や各進路変更の角度等の履歴及び現在の進路変更の有無の状況等の情報を得ることができる。また、車両位置推測演算部１８は、車両Ｍが行った進路変更の角度や方向指示器の操作等から各進路変更が車線変更か否かを判断することが可能である。車両位置推測演算部１８は、これらの情報に基づいて所定の判断アルゴリズムに従って走行中の車線を推測する。
【００８９】
この判断アルゴリズムは、例えば以下のようにすることができる。すなわち、例えば、車両Ｍが走行を開始したときの車線は最も左側の車線であると推測する。また、その状態から車両Ｍが車線変更に該当する進路変更を右方向にｎ回行った場合には、左からｎ番目の車線にいると推測することができる（ｎは自然数）。更に、その状態から車両Ｍが車線変更に該当する進路変更を左方向にｍ回行った場合には、左から（ｎ−ｍ）番目の車線にいると推測することができる（ｍは自然数）。この際、（ｎ−ｍ）がゼロ又は負の値となった場合には、推測した車線が誤っていたことになるので、そのときの車線を最も左側の車線と推測するように修正を行う。
以上の判断アルゴリズムは単なる一例であり、車両位置推測演算部１８における判断アルゴリズムはこれ以外にも、様々なアルゴリズムを用いることが可能である。
【００９０】
その後、ステップ＃１０５による推測結果に基づいて、道路特徴情報取得演算部９において車両Ｍが走行中と推測された車線についての車線別道路特徴情報Ｃ´を取得する処理を行う（ステップ＃１０６）。ここでは、まず車線情報取得部９ａにより、地図情報データベース８からステップ＃１０４において特定された概略の撮像位置の周辺の道路１１の車線数を含む車線情報を取得し、次に、取得された車線情報に基づいて、ステップ＃１０５による推測結果として推測された車線についての車線別道路特徴情報Ｃ´を、車線別道路特徴情報取得演算部９ｂにより取得する処理を行う。後述するステップ＃１０８では、取得された車線別道路特徴情報Ｃ´について画像情報Ｇとの対比を行うので、車線別道路特徴情報Ｃ´を取得する順序をステップ＃１０５による推測結果に基づいて決定することにより、車線別道路特徴情報Ｃ´の対比の順序も決定することになる。
【００９１】
車線別道路特徴情報Ｃ´は、地図情報データベース８に格納されている広範囲の地図情報の中から、ステップ＃１０４において特定された概略の撮像位置の周辺の地物に関する道路特徴情報Ｃを、特定の車線を基準として抽出した情報である。図１５は、この車線別道路特徴情報Ｃ´の一例を図形化して示した図である。この図に示すように、本例では、車線別道路特徴情報Ｃ´は、ステップ＃１０４において特定された概略の撮像位置の周辺の道路特徴情報Ｃを左側車線、中央車線、及び右側車線の３つの車線毎に、各車線を基準として、当該車線及びその両側の所定範囲内に存在する地物の情報までを含む範囲で抽出したものとしている。図１５の（ａ）は左側車線を基準とする車線別道路特徴情報Ｃ´１を、（ｂ）は中央車線を基準とする車線別道路特徴情報Ｃ´２を、（ｃ）は右側車線を基準とする車線別道路特徴情報Ｃ´３をそれぞれ示している。なお、この図１５に示す道路１１の全体の地物の配置は図８に示す例と同じである。
【００９２】
次に、画像情報認識演算部１０において、画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる前記地物に対応する認識対象物の画像を認識する処理を行う（ステップ＃１０７）。この処理は、上記第一の実施形態についての図４のステップ＃０６と同様の処理であるため、詳細な説明は省略する。
【００９３】
その後、車両位置特定演算部１７の対比演算部１７ｂにおいて、ステップ＃１０７により認識された認識対象物の画像を含む画像情報Ｇと、ステップ＃１０６により取得された車線別道路特徴情報Ｃ´とを対比する処理を行う（ステップ＃１０８）。本実施形態においては、車線別道路特徴情報Ｃ´を、画像情報Ｇと対比可能な情報の形式に変換する処理を行い、変換後の車線別道路特徴情報Ｃ´と画像情報Ｇとを対比して整合性が高いか否かの判断を行うこととする。ここで、車線別道路特徴情報Ｃ´の変換処理として、ここでは、図１６に示すように、車線別道路特徴情報Ｃ´を、その車線別道路特徴情報Ｃ´が基準とする車線のほぼ中央を撮像位置としたときに撮像されると考えられる画像情報に対応する配置となるように車線別道路特徴情報Ｃ´に含まれる各地物を配置したデータに変換する処理とする。図１６に示す例では、（ａ）は図１５（ａ）に示す左側車線を基準とする車線別道路特徴情報Ｃ´１を変換したデータであり、（ｂ）は図１５（ｂ）に示す中央車線を基準とする車線別道路特徴情報Ｃ´２を変換したデータであり、（ｃ）は図１５（ｃ）に示す右側車線を基準とする車線別道路特徴情報Ｃ´３を変換したデータである。
【００９４】
このような変換処理を行うことにより、画像情報Ｇ中の認識対象物の画像の配置と、車線別道路特徴情報Ｃ´に含まれる当該認識対象物に対応する各地物の配置とを容易に対比することができる。この対比の処理は、具体的には、画像情報Ｇ中の各認識対象物の画像の位置並びに各認識対象物の画像の形状及び色彩等と、車線別道路特徴情報Ｃ´に含まれる前記認識対象物に対応する各地物の位置並びにその形状及び色彩等の情報とを対比して、整合性が高いか否かの判断を行う。例えば、画像情報Ｇが図７に示す例のとおりである場合には、図１６（ａ）に示される左側車線を基準とする車線別道路特徴情報Ｃ´１が、車線の両側の区画線Ｐ１ａ、Ｐ２ａ、マンホールＰ３、及び歩道Ｉ１の位置、形状及び色彩等について画像情報Ｇと整合する。
【００９５】
そして、この対比演算部１７ｂにおけるステップ＃１０８の対比の結果、整合性が高い場合には（ステップ＃１０９：ＹＥＳ）、車両位置特定演算部１７の撮像車線特定部１７ｂにおいて、その車線別道路特徴情報Ｃ´が基準とする車線を車両Ｍが走行中の車線として特定する（ステップ＃１１０）。
【００９６】
一方、この対比演算部１７ｂにおけるステップ＃１０８の対比の結果、整合性が低い場合には（ステップ＃１０９：ＮＯ）、隣接する車線の車線別道路特徴情報Ｃ´を地図情報データベース８から取得する処理を行う（ステップ＃１０６）。ここで、隣接する車線の車線別道路特徴情報Ｃ´を取得するのは、ステップ＃１０５による推測結果が外れていた場合であっても、それに近い車線を車両Ｍが走行中である可能性が高いからである。この際、例えばステップ＃１０８で最初に対比した車線別道路特徴情報Ｃ´が３車線のうちの中央車線を基準とするものであった場合等のように、ステップ＃１０９の判断の結果、整合性が低い車線に隣接する、未だ対比の対象となっていない車線が両側にある場合には、例えば、右側の車線を先に対比する等のように、予め定め一定のアルゴリズムに従って決定することになる。
【００９７】
そして、ステップ＃１１０により取得された新たな車線別道路特徴情報Ｃ´について、ステップ＃１０８以降の処理を再度行い、ステップ＃１０９において整合性が高いと判断されて車両Ｍが走行中の車線が特定されるか、或いは、車両Ｍが走行中の道路１１の全ての車線の車線別道路特徴情報Ｃ´についてステップ＃１０８の対比処理が行われるまで、ステップ＃１０８〜＃１１０の処理を繰り返し行う。なお、図１４のフローチャートには示していないが、車両Ｍが走行中の道路１１の全ての車線の車線別道路特徴情報Ｃ´についてステップ＃１０８の対比処理を行った結果、整合性が高い車線別道路特徴情報Ｃ´が存在しない場合には、車線位置は不明と判断し、次の画像情報Ｇについて、ステップ＃１０１〜＃１１１の処理を実行する。
以上の処理により、車両Ｍが走行中の車線を特定することができる。
【００９８】
〔その他の実施形態〕
（１）上記第二の実施形態に係る車両位置認識装置１では、車両位置推測演算部１８による推測結果は、道路特徴情報取得演算部９に出力されて車線別道路特徴情報Ｃ´を取得する際の順序を決定するためにのみ用いられる場合について説明した。しかし、この第二の実施形態に係る車両位置認識装置１において、車両位置推測演算部１８による推測結果を車両位置特定演算部１７にも出力し、車線位置の特定のための処理に用いる構成とすることも好適な実施形態の一つである。この場合、例えば、図１４のステップ＃１０９の整合性の判断において、車両位置推測演算部１８による推測結果との矛盾の有無等を判断の対象に加えると、更に、車線の特定の精度を高めることが可能となる。
同様に、上記第一の実施形態に係る車両位置認識装置１においても、車両位置推測演算部１８等を設け、車両位置推測演算部１８による推測結果を車両位置特定演算部１７に出力し、車両Ｍの詳細な位置の特定のための処理に用いる構成とすることも好適な実施形態の一つである。
【００９９】
（２）上記第二の実施形態に係る車両位置認識装置１では、車両Ｍの詳細な位置として、車両Ｍが走行中の車線位置を特定する場合について説明したが、本発明はこれに限定されるものではない。例えば、道路１１の幅方向に異なる複数の位置を基準とする位置毎の道路特徴情報Ｃとして、車線毎よりも更に細分化した位置毎に道路特徴情報Ｃを取得することにより、更に詳細な道路幅方向の位置を特定することが可能な構成とすることも好適な実施形態の一つである。
【０１００】
（３）また、上記第二の実施形態に係る車両位置認識装置１では、車両Ｍの詳細な位置として、道路幅方向の車線位置を特定する構成について説明したが、上記第二の実施形態の構成において、上記第一の実施形態と同様に、道路１１に沿って設けられないマンホール、停止線、標識、信号機等の認識対象物の画像を基準とすることにより、道路１１に沿った方向、すなわち道路長手方向の撮像位置を詳細に特定することができる構成とすることも好適な実施形態の一つである。
【０１０１】
（４）上記の第一及び第二の実施形態に係る車両位置認識装置１では、いずれも、地図情報データベース８から道路特徴情報を取得して画像情報Ｇと対比することにより車両Ｍの詳細な位置を特定する処理を行う場合について説明した。しかし、本発明は、このような道路特徴情報を用いるものに限定されない。すなわち、上記の第二の実施形態に係る車両位置認識装置１において道路特徴情報取得演算部９及び地図情報データベース８を備えない構成とし、画像情報認識演算部１０による画像情報に含まれる認識対象物の画像の認識結果と、車両位置推測演算部による車両の道路幅方向の位置の推測結果とに基づいて、車両Ｍの道路幅方向の詳細な位置を特定する構成とすることも本発明の好適な実施形態の一つである。この場合、例えば、画像情報Ｇと道路特徴情報Ｃとの対比の処理に代えて、画像情報Ｇと車両位置推測演算部１８による推測結果との矛盾の有無の判断の処理を行う構成とすることができる。
【産業上の利用可能性】
【０１０２】
本発明に係る車両位置認識装置及び車両位置認識方法は、道路上で撮像した画像情報を用いて、車両の道路幅方向や道路長手方向の詳細な位置を特定することができるので、レーンキープ等の車両Ｍの操舵や車速等の走行制御、或いはナビゲーション装置における詳細な自車位置の表示等に好適に用いることができる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の第一の実施形態に係る車両位置認識装置のハードウエア構成の概略を示すブロック図
【図２】本発明の第一の実施形態に係る車両位置認識装置における撮像装置の配置例を示す図
【図３】本発明の第一の実施形態に係る車両位置認識装置における地図情報データベースに格納されている地図情報の内容を示す説明図
【図４】本発明の第一の実施形態に係る車両位置認識装置における車両位置の認識処理の具体例を示すフローチャート
【図５】図４のステップ＃０６の処理の詳細を示すフローチャート
【図６】図４のステップ＃０７の処理の詳細を示すフローチャート
【図７】（ａ）：撮像装置により撮像された画像情報の一例、（ｂ）：（ａ）に示された画像情報に対して前処理を行った後の画像情報の一例
【図８】本発明の第一の実施形態に係る車両位置認識装置における道路特徴情報取得演算部により取得された道路特徴情報の一例を図形化して示した図
【図９】（ａ）：画像情報からステップ＃６３の処理により抽出されたペイント表示の画像のみを表した図、（ｂ）：（ａ）に示された画像に基づいて区画線により領域を区分した状態を示す図
【図１０】図７に示す画像情報について、道路の幅方向の各位置におけるエッジ点数を検出した結果を示すグラフ
【図１１】本発明の第一の実施形態に係る画像認識装置の画像情報認識演算部において認識対象物として認識された画像を示す図
【図１２】本発明の第一の実施形態に係る画像認識装置の車両位置特定演算部において、詳細な撮像位置を特定する方法の一例を説明するための説明図
【図１３】本発明の第二の実施形態に係る車両位置認識装置のハードウエア構成の概略を示すブロック図
【図１４】本発明の第二の実施形態に係る車両位置認識装置における車両位置の認識処理の具体例を示すフローチャート
【図１５】本発明の第二の実施形態に係る車両位置認識装置における道路特徴情報取得演算部により取得された車線別道路特徴情報の一例を図形化して示した図
【図１６】図１５に示される車線別道路特徴情報を画像情報Ｇと対比可能な情報の形式に変換したデータを示す図
【符号の説明】
【０１０４】
１：車両位置認識装置
２：撮像装置
３：画像情報取得部（画像情報取得手段）
７：概略位置特定演算部
８：地図情報データベース
９：道路特徴情報取得演算部（道路特徴情報取得手段）
１０：画像情報認識演算部（画像情報認識手段）
１７：車両位置特定演算部（車両位置特定手段）
１８：車両位置推測演算部（車両位置推測手段）
１９：車両情報取得部（車両情報取得手段）
２０：過去経路記憶部（過去経路取得手段）
Ｇ：画像情報
Ｃ：道路特徴情報
【特許請求の範囲】
【請求項１】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段と、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と、
前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定手段と、
を備える車両位置認識装置。
【請求項２】
前記車両位置特定手段は、前記画像情報認識手段により認識された１又は２以上の認識対象物の画像の前記画像情報中の配置と、前記道路特徴情報に含まれる前記１又は２以上の認識対象物に対応する物の位置情報とを対比して、前記車両の道路幅方向の位置を特定する請求項１に記載の車両位置認識装置。
【請求項３】
前記画像情報認識手段は、前記画像情報から前記認識対象物の画像候補を抽出して前記道路特徴情報と対比し、前記道路特徴情報との整合性が高い前記画像候補を前記認識対象物の画像として認識する請求項１又は２に記載の車両位置認識装置。
【請求項４】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段と、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を、前記道路の幅方向に異なる複数の位置を基準とする位置毎の情報として取得する道路特徴情報取得手段と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と、
前記道路特徴情報取得手段により取得された前記道路幅方向の位置毎の道路特徴情報のそれぞれについて、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置と対比し、整合性が高い前記道路特徴情報が基準とする道路幅方向の位置を、前記車両の道路幅方向の位置として特定する車両位置特定手段と、
を備える車両位置認識装置。
【請求項５】
前記車両の進路に関する前記車両からの情報を取得する車両情報取得手段及び前記車両の過去の走行経路に関する情報を取得する過去経路取得手段の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測手段を備え、
前記車両位置特定手段は、前記車両位置推測手段による推測結果に基づいて、前記道路幅方向の位置毎の道路特徴情報の対比の順序を決定する請求項４に記載の車両位置認識装置。
【請求項６】
前記車両の進路に関する前記車両からの情報を取得する車両情報取得手段及び前記車両の過去の走行経路に関する情報を取得する過去経路取得手段の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測手段を備え、
前記車両位置特定手段は、前記車両の道路幅方向の位置の特定に、前記車両位置推測手段による推測結果を用いる請求項１から４の何れか一項に記載の車両位置認識装置。
【請求項７】
前記道路特徴情報は、前記地物に関する位置情報と、形状情報及び色彩情報の少なくとも一方とを含む請求項１から６の何れか一項に記載の車両位置認識装置。
【請求項８】
前記車両位置特定手段は、前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、前記車両の道路長手方向の位置を特定する請求項１から７の何れか一項に記載の車両位置認識装置。
【請求項９】
前記道路特徴情報取得手段は、ナビゲーション装置を構成する地図情報データベースが有する地図情報から、前記撮像装置による前記画像情報の撮像時に、前記ナビゲーション装置を構成する位置情報取得手段により取得された位置周辺の前記道路特徴情報を取得する請求項１から８の何れか一項に記載の車両位置認識装置。
【請求項１０】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる認識対象物の画像を認識する画像情報認識手段と、
前記車両の進路に関する前記車両からの情報を取得する車両情報取得手段及び前記車両の過去の走行経路に関する情報を取得する過去経路取得手段の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測手段と、
前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置と、前記車両位置推測手段による推測結果とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定手段と、
を備える車両位置認識装置。
【請求項１１】
前記地物として、道路の路面に設けられたペイント表示を含む請求項１から１０の何れか一項に記載の車両位置認識装置。
【請求項１２】
前記画像情報取得手段は、車両に搭載した撮像装置により撮像した画像情報を所定の時間間隔で取り込む請求項１から１１の何れか一項に記載の車両位置認識装置。
【請求項１３】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得工程と、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得工程と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識工程と、
前記道路特徴情報取得工程により取得された前記道路特徴情報と、前記画像情報認識工程により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定工程と、
を有する車両位置認識方法。
【請求項１４】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得工程と、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を、前記道路の幅方向に異なる複数の位置を基準とする位置毎の情報として取得する道路特徴情報取得工程と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識工程と、
前記道路特徴情報取得工程により取得された前記道路幅方向の位置毎の道路特徴情報のそれぞれについて、前記画像情報認識工程により認識された前記認識対象物の画像の前記画像情報中の配置と対比し、整合性が高い前記道路特徴情報が基準とする道路幅方向の位置を、前記車両の道路幅方向の位置として特定する車両位置特定工程と、
を有する車両位置認識方法。
【請求項１５】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得工程と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる認識対象物の画像を認識する画像情報認識工程と、
前記車両の進路に関する前記車両からの情報を取得する車両情報取得工程及び前記車両の過去の走行経路に関する情報を取得する過去経路取得工程の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測工程と、
前記画像情報認識工程により認識された前記認識対象物の画像の前記画像情報中の配置と、前記車両位置推測工程による推測結果とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定工程と、
を有する車両位置認識方法。
【請求項１】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段と、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と、
前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定手段と、
を備える車両位置認識装置。
【請求項２】
前記車両位置特定手段は、前記画像情報認識手段により認識された１又は２以上の認識対象物の画像の前記画像情報中の配置と、前記道路特徴情報に含まれる前記１又は２以上の認識対象物に対応する物の位置情報とを対比して、前記車両の道路幅方向の位置を特定する請求項１に記載の車両位置認識装置。
【請求項３】
前記画像情報認識手段は、前記画像情報から前記認識対象物の画像候補を抽出して前記道路特徴情報と対比し、前記道路特徴情報との整合性が高い前記画像候補を前記認識対象物の画像として認識する請求項１又は２に記載の車両位置認識装置。
【請求項４】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段と、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を、前記道路の幅方向に異なる複数の位置を基準とする位置毎の情報として取得する道路特徴情報取得手段と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と、
前記道路特徴情報取得手段により取得された前記道路幅方向の位置毎の道路特徴情報のそれぞれについて、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置と対比し、整合性が高い前記道路特徴情報が基準とする道路幅方向の位置を、前記車両の道路幅方向の位置として特定する車両位置特定手段と、
を備える車両位置認識装置。
【請求項５】
前記車両の進路に関する前記車両からの情報を取得する車両情報取得手段及び前記車両の過去の走行経路に関する情報を取得する過去経路取得手段の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測手段を備え、
前記車両位置特定手段は、前記車両位置推測手段による推測結果に基づいて、前記道路幅方向の位置毎の道路特徴情報の対比の順序を決定する請求項４に記載の車両位置認識装置。
【請求項６】
前記車両の進路に関する前記車両からの情報を取得する車両情報取得手段及び前記車両の過去の走行経路に関する情報を取得する過去経路取得手段の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測手段を備え、
前記車両位置特定手段は、前記車両の道路幅方向の位置の特定に、前記車両位置推測手段による推測結果を用いる請求項１から４の何れか一項に記載の車両位置認識装置。
【請求項７】
前記道路特徴情報は、前記地物に関する位置情報と、形状情報及び色彩情報の少なくとも一方とを含む請求項１から６の何れか一項に記載の車両位置認識装置。
【請求項８】
前記車両位置特定手段は、前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、前記車両の道路長手方向の位置を特定する請求項１から７の何れか一項に記載の車両位置認識装置。
【請求項９】
前記道路特徴情報取得手段は、ナビゲーション装置を構成する地図情報データベースが有する地図情報から、前記撮像装置による前記画像情報の撮像時に、前記ナビゲーション装置を構成する位置情報取得手段により取得された位置周辺の前記道路特徴情報を取得する請求項１から８の何れか一項に記載の車両位置認識装置。
【請求項１０】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得手段と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる認識対象物の画像を認識する画像情報認識手段と、
前記車両の進路に関する前記車両からの情報を取得する車両情報取得手段及び前記車両の過去の走行経路に関する情報を取得する過去経路取得手段の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測手段と、
前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置と、前記車両位置推測手段による推測結果とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定手段と、
を備える車両位置認識装置。
【請求項１１】
前記地物として、道路の路面に設けられたペイント表示を含む請求項１から１０の何れか一項に記載の車両位置認識装置。
【請求項１２】
前記画像情報取得手段は、車両に搭載した撮像装置により撮像した画像情報を所定の時間間隔で取り込む請求項１から１１の何れか一項に記載の車両位置認識装置。
【請求項１３】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得工程と、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得工程と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識工程と、
前記道路特徴情報取得工程により取得された前記道路特徴情報と、前記画像情報認識工程により認識された前記認識対象物の画像の前記画像情報中の配置とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定工程と、
を有する車両位置認識方法。
【請求項１４】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得工程と、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を、前記道路の幅方向に異なる複数の位置を基準とする位置毎の情報として取得する道路特徴情報取得工程と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識工程と、
前記道路特徴情報取得工程により取得された前記道路幅方向の位置毎の道路特徴情報のそれぞれについて、前記画像情報認識工程により認識された前記認識対象物の画像の前記画像情報中の配置と対比し、整合性が高い前記道路特徴情報が基準とする道路幅方向の位置を、前記車両の道路幅方向の位置として特定する車両位置特定工程と、
を有する車両位置認識方法。
【請求項１５】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を取り込む画像情報取得工程と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる認識対象物の画像を認識する画像情報認識工程と、
前記車両の進路に関する前記車両からの情報を取得する車両情報取得工程及び前記車両の過去の走行経路に関する情報を取得する過去経路取得工程の一方又は双方からの情報に基づいて前記車両の道路幅方向の位置を推測する車両位置推測工程と、
前記画像情報認識工程により認識された前記認識対象物の画像の前記画像情報中の配置と、前記車両位置推測工程による推測結果とに基づいて、前記車両の道路幅方向の位置を特定する車両位置特定工程と、
を有する車両位置認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００６−２０８２２３（Ｐ２００６−２０８２２３Ａ）
【公開日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願番号】特願２００５−２１３３８（Ｐ２００５−２１３３８）
【出願日】平成１７年１月２８日（２００５．１．２８）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願日】平成１７年１月２８日（２００５．１．２８）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]