自車情報認識装置及び自車情報認識方法
【課題】 演算処理負荷が少なく正確性が高い画像認識処理を用いて、自車位置及び自車方位の一方又は双方を高精度に認識することが可能な自車情報認識装置を提供する。
【解決手段】 自車両に搭載された撮像装置２により撮像した画像情報Ｇを取り込む画像情報取得手段１０と、自車位置情報Ｄ３を取得する自車位置情報取得手段７と、地物の位置及び高さの情報を含む地物情報Ｄ１を格納する地物情報格納手段３と、年月日及び時刻の情報並びに地物情報Ｄ１を用いて地物の影の位置及び形状を演算する地物影演算手段１８と、画像情報Ｇに含まれる地物の影の画像ｇ１を認識する影画像認識手段１１と、同一地物に対する地物影演算手段１８による演算結果と影画像認識手段１１による認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識手段２１と、を備える。
【解決手段】 自車両に搭載された撮像装置２により撮像した画像情報Ｇを取り込む画像情報取得手段１０と、自車位置情報Ｄ３を取得する自車位置情報取得手段７と、地物の位置及び高さの情報を含む地物情報Ｄ１を格納する地物情報格納手段３と、年月日及び時刻の情報並びに地物情報Ｄ１を用いて地物の影の位置及び形状を演算する地物影演算手段１８と、画像情報Ｇに含まれる地物の影の画像ｇ１を認識する影画像認識手段１１と、同一地物に対する地物影演算手段１８による演算結果と影画像認識手段１１による認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識手段２１と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像装置により撮像した画像情報を用いて、自車位置や自車方位を高精度に認識する自車情報認識装置及び自車情報認識方法に関する。
【背景技術】
【０００２】
車両用のナビゲーション装置において車両の位置や方位を特定する方法として、これまでは主に次の２種類の方法が用いられている。一つは、ＧＰＳ（グローバル・ポジショニング・システム）衛星からの電波信号を受信し、３角測量の原理で位置特定を行うＧＰＳ航法である。この航法を用いれば、車両の現在位置を絶対座標として検出することができる利点がある、もう一つは、ジャイロセンサ（方位センサ）や距離センサ等の各種センサを用いて車両の方位と走行距離を検出しながら、一定距離走行する毎に位置変化分を累積することにより位置特定を行う自律航法である。現在では、これら２つの航法を組み合わせたハイブリッド方式が多く用いられている。
【０００３】
しかし、ＧＰＳ航法では、ＧＰＳ衛星からの電波信号を受信する必要があるためにトンネル内や高層ビルの陰などでは位置検出ができない、位置検出の精度に限界があり数ｍ〜数十ｍ程度の誤差を含んでいる、現在の検出位置と直前の検出位置とを結ぶ方向を車両の方位とするために車速が遅い場合に方位の検出精度が低くなるといった問題がある。また、自律航法では、走行距離が長くなる或いは進路変更の数が増えることによりセンサによる検出誤差が累積する問題がある。したがって、これらの２つの航法を組み合わせたハイブリッド方式であっても、車両の位置や方位の検出にはある程度の誤差が生じることは避けられなかった。
【０００４】
そこで、自車位置の検出精度を高めるための技術として、例えば下記特許文献１には、以下のような車両位置測定装置に関する技術が記載されている。すなわち、この車両位置測定装置は、車両に搭載されたカメラを用いて車両前方を撮影して交差点名称を含む案内標識の画像を撮影する。この案内標識としては、法令によって設置位置や大きさ（高さ）等が定まっているものを対象する。そして、撮影された画像情報から案内標識の画像を抽出し、文字認識処理により交差点名称を特定する。また、撮影された画像情報に含まれる案内標識の大きさに基づいて、車両位置（撮影位置）から当該案内標識までの距離を演算する。これにより、交差点名称から特定された交差点ノードから車両位置（撮影位置）までの距離を演算し、この演算結果を用いて車両位置の絶対座標を特定することができる。そして、この車両位置の絶対座標を用いて、ＧＰＳ受信機、方位センサ、距離センサ等により検出された車両位置を補正する処理を行う。これにより自車位置の検出精度を高めることができる。
【０００５】
また、自車方位の検出精度を高めるための技術として、例えば下記特許文献２には、以下のような車載ナビゲータに関する技術が記載されている。すなわち、この車載ナビゲータは、まず、ＧＰＳ受信機により衛星航法で検出された車両位置を、車両位置修正部が地図データ記憶手段に記憶された地図データを用いてマップマッチングにより道路上に修正する。そして、表示用車両方位計算部により、マップマッチング後の車両位置が乗っている道路の方位を自車方位として計算する処理を行う。これにより、自車方位が、走行中の道路の方向と一致するので、不自然な自車方向の表示が行われることを防止できる。
【０００６】
【特許文献１】特開２００４−４５２２７号公報（第７−１０頁、第４−５図）
【特許文献２】特開平６−２４２２１１号公報（第３−４頁、第２図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載された技術は、立体物である案内標識の画像認識処理を行うものであって、案内標識を画像情報の中から抽出する処理に加えて、その大きさや高さ等を認識し、更には案内標識に含まれる文字の認識処理も行うことから、高度な画像認識処理を行う必要がある。そのため、車両の走行に合わせてリアルタイムで高精度に画像認識処理を行うためには装置の演算処理負荷が非常に大きくなるという問題がある。
【０００８】
また、上記特許文献２に記載された技術は、自車方位を正確に演算する技術ではなく、マップマッチングの結果を自車方位の表示に反映させるというだけの技術であるため、必ずしも自車方位を正確に表しているとは限らず、誤った方位を自車方位とする場合がある。したがって、例えば狭角分岐道路等のようにマップマッチングによる車両の進路の推定を正確に行うことが困難な状況においては、正確な自車方位を認識することが困難であるという問題がある。
【０００９】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、演算処理負荷が少なく正確性が高い画像認識処理を用いて、自車位置及び自車方位の一方又は双方を高精度に認識することが可能な自車情報認識装置を提供する点にある。
【課題を解決するための手段】
【００１０】
上記目的を達成するための本発明に係る自車情報認識装置の特徴構成は、自車両に搭載された撮像装置により撮像した画像情報を取り込む画像情報取得手段と、自車位置情報を取得する自車位置情報取得手段と、地物の位置及び高さの情報を含む地物情報を格納する地物情報格納手段と、年月日及び時刻の情報並びに前記地物情報を用いて前記地物の影の位置及び形状を演算する地物影演算手段と、前記画像情報に含まれる地物の影の画像を認識する影画像認識手段と、同一地物に対する前記地物影演算手段による演算結果と前記影画像認識手段による認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識手段と、を備える点にある。
【００１１】
この特徴構成によれば、例えば道路の路面等に映る地物の影の画像を認識するという平面的な画像認識処理を行うものであり、更に濃淡が明確になり易い影の画像を認識対象とするためにエッジ抽出等の画像認識処理を正確に行うことが容易であるので、少ない演算処理負荷で正確性が高い画像認識を行うことができる。そして、そのような影の画像認識の結果と、予め用意された地物情報に基づいて演算される理論上の影の位置及び形状に基づいて、自車位置及び自車方位の一方又は双方を高精度に認識することができる。
この際、道路の路面等に映る地物の影の画像を認識できればよいので、車両に搭載されたバックカメラ等の各種の車載カメラの画像を好適に用いることができる。
また、地物の影の画像を用いるので、例えば高速道路のように道路の路面に横断歩道や停止線等のペイント表示が少なく、ペイント表示の画像認識による自車位置や自車方位の認識を行うことができない場合であっても自車位置や自車方位の認識を行うことができる。
【００１２】
ここで、前記地物影演算手段は、前記年月日及び時刻の情報に基づいて太陽の位置を演算する太陽位置演算手段と、前記自車位置情報に示される位置周辺の地物についての前記地物情報を前記地物情報格納手段から取得する地物情報取得手段と、前記太陽位置演算手段による演算結果と前記地物情報取得手段により取得された前記地物情報とを用いて前記地物の理論上の影の位置及び形状を演算する理論影演算手段と、を備える構成とすると好適である。
【００１３】
この構成によれば、画像情報に含まれる少なくとも一部の地物の影の位置及び形状を理論上正確に演算することができる。
【００１４】
また、自車方位情報を取得する自車方位情報取得手段を備え、前記地物影演算手段は、年月日及び時刻の情報並びに前記地物情報に基づいて、地球側に固定された絶対座標上における前記地物の理論上の影の位置及び形状を演算し、前記自車情報認識手段は、前記影画像認識手段による認識結果に基づいて、前記自車位置情報に示される位置及び前記自車方位情報に示される方位に基づいて定まる撮像装置の位置及び方位をそれぞれ撮像位置及び撮像方位とした場合の前記絶対座標上における前記地物の影の位置及び形状を演算する影画像演算手段を備え、前記地物影演算手段による演算結果と前記影画像演算手段による演算結果とを対比して前記自車位置情報の位置誤差及び前記自車方位情報の方位誤差の一方又は双方を演算し、前記位置誤差に基づいて前記自車位置情報を補正し、前記方位誤差に基づいて前記自車方位情報を補正して、自車位置及び自車方位の一方又は双方の認識を行う構成とすると好適である。
【００１５】
この構成によれば、地物情報に基づいて演算される理論上の地物の影の位置及び形状と、前記影画像認識手段による影画像の認識結果並びに自車位置情報及び自車方位情報に基づいて演算される地物の影の位置及び形状とを、絶対座標上で対比することができるので、前記自車位置情報の位置誤差及び前記自車方位情報の方位誤差の一方又は双方を容易に演算することができる。したがって、演算された位置誤差及び方位誤差の一方又は双方に基づいて、前記自車位置情報及び前記自車方位情報の一方又は双方を補正して自車位置及び自車方位の一方又は双方を高精度に認識することができる。
【００１６】
また、画像情報取得手段は、前記撮像装置により撮像した画像情報を所定の時間間隔で複数取り込み、前記自車情報認識手段は、前記影画像認識手段による認識結果に基づいて前記複数の画像情報に含まれる同一の地物の影の画像の時間経過に従う移動の状態を解析し、その解析結果に基づいて少なくとも自車方位の変化方向を演算する移動方向演算手段を備え、この移動方向演算手段による演算結果に基づいて自車方位の認識を行う構成とすると好適である。
【００１７】
この構成によれば、移動方向演算手段により少なくとも自車方位の変化方向を演算し、演算された自車方位の変化方向を自車方位の認識や自車両の進路の推測に利用することができる。したがって、例えば、自車両が道路の狭角分岐等を通過する際などのように、従来の方法では自車両がいずれの方向に進行するかを判定する困難であった場合にも、自車方位の変化方向に基づいて自車両の進路の推測を良好に行うことが可能となる。またこれにより、自車位置及び自車方位の一方又は双方の認識の精度も高めることができる。
【００１８】
本発明に係るナビゲーション装置の特徴構成は、上記特徴を備えた自車情報認識装置と、地図情報を格納した地図情報格納手段と、前記地図情報格納手段から取得した地図上に自車マークを重ね合わせて表示する表示手段とを備え、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方に基づいて、前記地図上に前記自車マークを重ね合わせて表示する点にある。
【００１９】
この特徴構成によれば、地図上に自車マークを重ね合わせて表示手段に表示する場合に、地図上により正確な自車位置及び自車方位を表す自車マークを表示することができる。
【００２０】
本発明に係るナビゲーション装置のもう一つの特徴構成は、上記特徴を備えた自車情報認識装置と、地図情報を格納した地図情報格納手段と、所定の誘導経路に従って進路案内を行う進路案内手段とを備え、前記地図情報格納手段から取得した地図情報と、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方とに基づいて前記進路案内を行う点にある。
【００２１】
この特徴構成によれば、所定の誘導経路に従って進路案内を行う場合に、高精度に認識された自車位置及び自車方位に基づいてより正確なタイミング及び内容で進路案内を行うことができる。
【００２２】
本発明に係る車両制御装置の特徴構成は、上記特徴を備えた自車情報認識装置と、地図情報を格納した地図情報格納手段とを備え、前記地図情報格納手段から取得した地図情報と、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方とに基づいて、車両の走行制御を行う点にある。
【００２３】
この特徴構成によれば、高精度に認識された自車位置及び自車方位に基づいてより正確で信頼性の高い車両制御を行うことができる。
【００２４】
本発明に係る自車情報認識方法の特徴構成は、自車両に搭載された撮像装置により撮像した画像情報を取り込む画像情報取得ステップと、自車位置情報を取得する自車位置情報取得ステップと、年月日及び時刻の情報並びに地物情報格納手段に格納された地物情報を用いて地物の影の位置及び形状を演算する地物影演算ステップと、前記画像情報に含まれる地物の影の画像を認識する影画像認識ステップと、同一地物に対する前記地物影演算ステップによる演算結果と前記影画像認識ステップによる認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識ステップと、を備える点にある。
【００２５】
この特徴構成によれば、例えば道路の路面等に映る地物の影の画像を認識するという平面的な画像認識処理を行うものであり、更に濃淡が明確になり易い影の画像を認識対象とするためにエッジ抽出等の画像認識処理を正確に行うことが容易であるので、少ない演算処理負荷で正確性が高い画像認識を行うことができる。そして、そのような影の画像認識の結果と、予め用意された地物情報に基づいて演算される理論上の影の位置及び形状に基づいて、自車位置及び自車方位の一方又は双方を高精度に認識することができる。
この際、道路の路面等に映る地物の影の画像を認識できればよいので、車両に搭載されたバックカメラ等の各種の車載カメラの画像を好適に用いることができる。
また、地物の影の画像を用いるので、例えば高速道路のように道路の路面に横断歩道や停止線等のペイント表示が少なく、ペイント表示の画像認識による自車位置や自車方位の認識を行うことができない場合であっても自車位置や自車方位の認識を行うことができる。
【発明を実施するための最良の形態】
【００２６】
以下に、本発明の実施形態について図面に基づいて説明する。本実施形態においては、図１は、本実施形態に係る自車情報認識装置１並びにこれを備えたナビゲーション装置及び車両制御装置のハードウエア構成の概略を示すブロック図である。
本実施形態に係る自車情報認識装置１は、撮像装置２により撮像した画像情報Ｇから認識される地物の影の画像ｇ１と、地図情報データベース３に格納された地物情報Ｄ１に基づいて演算される地物の理論上の影の位置及び形状とを対比することにより、ＧＰＳ受信機４、方位センサ５及び距離センサ６に基づいてロケーション部７において取得される自車位置情報Ｄ３及び自車方位情報Ｄ４よりも高精度に自車位置及び自車方位を認識する処理を行う。
以下、各部の構成について詳細に説明する。なお、自車情報認識装置１の各機能部は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装されて構成されている。
【００２７】
撮像装置２は、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。この撮像装置２は、自車両８の前方や後方に向けて搭載され、少なくとも自車両８が走行する道路９の路面が撮影されるように設けられる。ここでは、図２及び図３に示すように、自車両８の前方を撮像する場合を例として説明する。このような撮像装置２としては、自車両８の前方や後方等の映像を撮像するために既に設けられている車載カメラ等が好適に用いられる。
【００２８】
画像情報取得部１０は、撮像装置２により撮像した画像情報Ｇを取り込む処理を行う。取り込まれた画像情報Ｇは、画像情報取得部１０が備える図示しない画像メモリに格納される。本実施形態においては、この画像情報取得部１０が、本発明における「画像情報取得手段」を構成する。
【００２９】
画像認識部１１は、画像情報取得部１０により取得された画像情報Ｇに含まれる地物の影の画像ｇ１を認識する処理を行う。具体的には、画像認識部１１は、二値化処理やエッジ抽出処理等による輪郭抽出の後、パターン認識処理等により、画像情報Ｇの中から地物の影の画像ｇ１を抽出する処理を行う。例えば、図２に示すように、自車両８が走行する道路９の前方に太陽１７の光による案内標識Ｃ１の影Ｓ１が存在する場合、図３に示すような画像情報Ｇが撮像装置２により撮像される。画像認識部１１は、この画像情報Ｇから図４に示すように案内標識Ｃ１の影の画像ｇ１のみを抽出する処理を行う。この画像認識部１１において影の画像が認識される地物としては、例えば、各種の標識、信号機、ビルなどの建物等の立体物が含まれる。
本実施形態においては、この画像認識部１１が、本発明における「影画像認識手段」を構成する。
【００３０】
ロケーション部７は、ＧＰＳ受信機４、方位センサ５、距離センサ６、及び地図情報データベース３と接続さている。ここで、ＧＰＳ受信機４は、ＧＰＳ衛星１２（図２参照）からの信号を受信する装置であり、受信した信号に基づいてＧＰＳ受信機４の位置（緯度及び経度）、年月日及び時刻の情報等の各種情報を取得する。このＧＰＳ受信機４により取得された年月日及び時刻の情報は、ロケーション部７の他に後述する太陽位置演算部１３へも出力される。方位センサ５は、地磁気センサやジャイロセンサ、或いは、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、自車両８の進行方向を検知する。距離センサ６は、車輪の回転数を検知する車速センサや自車両８の加速度を検知するヨー・Ｇセンサと、検知された加速度を２回積分する回路との組み合わせ等により構成され、自車両８の移動距離を検知する。そして、ロケーション部７は、これらのＧＰＳ受信機４、方位センサ５及び距離センサ６からの出力に基づいて、公知の方法により自車両８の現在位置や方位を特定する演算を行う。また、ロケーション部７は、後述する地図情報データベース３から地図情報Ｄ２を取得し、それに基づいて公知のマップマッチングを行うことにより自車両８の現在位置や方位の修正も行う。そして、このロケーション部７により特定された自車両８の現在位置の情報が自車位置情報Ｄ３となり、自車両８の現在の方位の情報が自車方位情報Ｄ４となる。
【００３１】
ここで、自車位置情報Ｄ３は、地球側に固定された絶対座標上の位置としての緯度及び経度の情報として表される。また、自車方位情報Ｄ４は、地球側に固定された絶対座標上の方位として表される。なお、本実施形態の説明において、「位置」又は「方位」といった時には、特に断らない限り、地球側に固定された絶対座標上の位置（緯度及び経度）又は方位であるとする。
【００３２】
このロケーション部７により取得される自車位置情報Ｄ３及び自車方位情報Ｄ４の精度は、ＧＰＳ受信機４や方位センサ５及び距離センサ６の精度に大きく影響を受ける。このため、自車位置情報Ｄ３は数十ｍ程度の誤差を含んでいる可能性がある。また、自車方位情報Ｄ４については、特に自車両８の走行速度が低いときに誤差が非常に大きくなる場合がある。
本実施形態においては、このロケーション部７が、本発明における「自車位置情報取得手段」及び「自車方位情報取得手段」を構成する。
【００３３】
影画像演算部１４は、画像認識部１１による地物の影の画像ｇ１の認識結果に基づいて、自車位置情報Ｄ３に示される位置及び自車方位情報Ｄ４に示される方位に基づいて定まる撮像装置２の位置及び方位をそれぞれ画像情報Ｇの撮像位置及び撮像方位とした場合の、地物の影の画像ｇ１として認識された地物の影の位置及び形状を演算する処理を行う。すなわち、撮像装置２は自車両８に固定されているので、自車位置情報Ｄ３及び自車方位情報Ｄ４と撮像装置２による撮像位置及び撮像方位との関係は一定である。また、撮像装置２の撮像位置及び撮像方位が定まれば、撮像装置２の位置及び方位を基準とする画像情報Ｇ中に撮像された地物の影の実際の位置を求めることができる。したがって、自車位置情報Ｄ３及び自車方位情報Ｄ４を基準として画像認識部１１で画像情報Ｇから認識された地物の影の位置及び形状を演算することができる。ここでは、図７に示すように、影画像演算部１４は、地球側に固定された絶対座標上における地物の位置（緯度及び経度）及び形状を演算する。この影画像演算部１４における処理については、後で具体例に従って詳細に説明する。
本実施形態においては、この影画像演算部１４が、本発明における「影画像演算手段」を構成する。
【００３４】
地図情報データベース３には、地図情報Ｄ２及び地物情報Ｄ１が格納されている。図５は、地図情報データベース３に格納されている地図情報Ｄ２及び地物情報Ｄ１の内容を示す説明図である。この図に示すように、本実施形態に係る地図情報データベース３には、地図情報として、道路ネットワークレイヤＬ１、道路形状レイヤＬ２、地物レイヤＬ３が格納されている。
道路ネットワークレイヤＬ１は、道路９間の接続情報を格納するレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードＮの情報と、２つのノードＮを連結して道路９を構成する多数のリンクＬの情報とを有して構成されている。また、各リンクＬは、そのリンク情報として、道路９の種別（高速道路、有料道路、国道、県道等の種別）やリンク長さ等の情報を有している。
道路形状レイヤＬ２は、道路ネットワークレイヤＬ１に関連付けられて格納され、道路９の形状を格納するレイヤである。具体的には、２つのノードＮの間（リンクＬ上）に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Ｓの情報や、各道路形状補完点Ｓにおける道路幅の情報等を有して構成されている。
【００３５】
地物レイヤＬ３は、道路ネットワークレイヤＬ１及び道路形状レイヤＬ２に関連付けられて格納され、道路９上及び道路９の周辺に設けられた各種の地物に関する地物情報Ｄ１を格納するレイヤである。この地物レイヤＬ３に格納する地物情報Ｄ１としては、少なくとも理論影演算部１５において演算対象となり得る地物に関する位置、形状、色彩等の情報が格納されている。本実施形態においては、具体的には、地物レイヤＬ３には、道路９上や道路９の周囲に設けられた各種の標識、信号機、建物、看板、モニュメント等の特に立体物の地物情報Ｄ１が、道路形状補完点Ｓ又はノードＮを基準とした地図上の位置と関連付けて格納されている。このような地物情報Ｄ１の具体的な内容としては、各地物の基準点の位置（緯度及び経度）の情報、道路９の路面からの高さの情報、平面的及び立体的な形状の情報等が含まれる。ここで、標識には、例えば、案内標識、警戒標識、規制標識等が含まれる。また、建物には、高さが高いビル等が特に含まれ、看板やモニュメント等についても特に大規模なものが含まれる。また、地物情報Ｄ１として、道路９の路面に設けられたペイント表示等の立体物以外の各種地物の情報を格納することとしてもよい。このように、地物情報Ｄ１は、地物レイヤＬ３上において地図情報Ｄ２と関連付けられて地図情報データベース３に格納されている。
【００３６】
なお、地図情報データベース３は、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。
本実施形態においては、この地図情報データベース３が、本発明における「地物情報格納手段」及び「地図情報格納手段」を構成する。
【００３７】
地物情報取得部１６は、ロケーション部７及び地図情報データベース３と接続されている。この地物情報取得部１６は、ロケーション部７により特定された自車位置情報Ｄ３に基づいて、地図情報データベース３から自車位置情報Ｄ３に示される位置周辺の地物についての地物情報Ｄ１を取得する処理を行う。ここでは、地物情報取得部１６は、自車位置情報Ｄ３に示される位置を撮像位置とした場合に撮像装置２による撮像領域に含まれる地物であって、理論影演算部１５による演算に用いる立体物（各種の標識や信号機等）の位置、高さ、形状を含む地物情報Ｄ１を、地図情報データベース３の地物レイヤＬ３から抽出する処理を行う。
本実施形態においては、この地物情報取得部１６が、本発明における「地物情報取得手段」を構成する。
【００３８】
太陽位置演算部１３は、ＧＰＳ受信機４により取得された年月日及び時刻の情報に基づいてその時点での太陽１７の位置を演算する処理を行う。ここでは、太陽位置演算部１３は、ＧＰＳ受信機４及び地物情報取得部１６に接続されている。そして、太陽位置演算部１３は、ＧＰＳ受信機４により取得された年月日及び時刻の情報に基づいて、地物情報取得部１６において取得された各地物情報Ｄ１に含まれる各地物の位置（緯度及び経度）に対する太陽１７の方位及び高さ（地表面に対する角度）を演算する処理を行う。
本実施形態においては、この太陽位置演算部１３が、本発明における「太陽位置演算手段」を構成する。
【００３９】
理論影演算部１５は、太陽位置演算部１３による演算結果と、地物情報取得部１６により取得された地物情報Ｄ１とを用いて各地物の理論上の影Ｓａの位置及び形状を演算する処理を行う。すなわち、上記のとおり、太陽位置演算部１３の演算結果として、地物情報取得部１６において取得された各地物情報Ｄ１に含まれる各地物の位置（緯度及び経度）に対する太陽の方位及び高さの情報が理論影演算部１５に入力される。また、地物情報取得部１６からは取得された各地物情報Ｄ１として、各地物の位置、高さ、形状等の情報が理論影演算部１５に入力される。そして、理論影演算部１５は、これらの入力情報に基づいて、各地物についての理論上の影の位置及び形状を演算する。本実施形態においては、一例として、図７に示すように、緯度（ｙ軸）及び経度（ｘ軸）により表される絶対座標上において、各地物情報Ｄ１に含まれる位置、高さ及び形状の地物が太陽位置演算部１３により演算された方位及び高さ（地表面に対する角度）の仮想上の太陽からの平行光により、地表面（道路面）に投影される理論上の影Ｓａの位置及び形状を演算することにより行う。ここで、理論上の影Ｓａの位置及び形状としては、例えば、任意の基準点位置Ｓａ１（例えば地物の基準点と一致する位置）を緯度及び経度で表す基準位置情報と、この基準位置を基準としてその地物の影の外縁形状を表す輪郭線Ｓａ２上の各点の位置を表す輪郭線情報とにより表すことができる。
本実施形態においては、この理論影演算部１５が、本発明における「理論影演算手段」を構成する。
【００４０】
そして、本実施形態においては、これら太陽位置演算部１３、地物情報取得部１６及び理論影演算部１５が、本発明における「地物影演算手段１８」を構成している。
【００４１】
誤差算出部１９は、同一地物に対する理論影演算部１５による演算結果と影画像演算部１４による演算結果とを対比して、ロケーション部７により特定された自車位置情報Ｄ３の位置誤差（Δｘ，Δｙ）及び自車方位情報Ｄ４の方位誤差Δθを算出する処理を行う。この誤差算出部１９における処理については、後で具体例に従って詳細に説明する。
【００４２】
自車情報補正部２０は、誤差算出部１９により算出された位置誤差（Δｘ，Δｙ）に基づいて自車位置情報Ｄ３を補正し、方位誤差Δθに基づいて自車方位情報Ｄ４を補正する演算処理を行う。この自車情報補正部２０における処理については、後で具体例に従って詳細に説明する。
この自車情報補正部２０による補正後の自車位置情報Ｄ３ｃ及び補正後の自車方位情報Ｄ４ｃが、ロケーション部７により特定された自車位置情報Ｄ３及び自車方位情報Ｄ４より高精度に特定された自車位置及び自車方位の情報となる。したがって、本実施形態においては、影画像演算部１４、誤差算出部１９、及び自車情報補正部２０が、本発明における「自車情報認識手段２１」を構成する。この自車情報補正部２０による補正後の自車位置情報Ｄ３ｃ及び補正後の自車方位情報Ｄ４ｃは、ナビゲーション用演算処理部２２及びこれを介して車両制御用演算処理部２３へ出力される。
【００４３】
移動方向演算部２４は、画像認識部１１による画像情報Ｇの認識結果に基づいて複数の画像情報Ｇに含まれる同一の地物の影の画像ｇ１の時間経過に従う移動の状態を解析し、その解析結果に基づいて自車方位の変化方向を演算して変化方向情報Ｄ５として出力する処理を行う。ここでは、所定の時間間隔で連続的に取り込まれた画像情報Ｇに共通して含まれる一又は二以上の地物の影の画像ｇ１について、当該地物の影の画像ｇ１が時間経過に従って移動する方向を解析し、その解析結果に基づいて自車方位の変化方向を演算する処理を行う。この移動方向演算部２４における処理については、後で具体例に従って詳細に説明する。この移動方向演算部２４の演算結果として変化方向情報Ｄ５は、ナビゲーション用演算処理部２２及びこれを介して車両制御用演算処理部２３へ出力される。なお、移動方向演算部２４において自車方位の変化方向に加えてその変化量（変化角度等）をも演算して出力し、自車方位の認識に利用することも可能である。
本実施形態においては、この移動方向演算部２４が、本発明における「移動方向演算手段」を構成する。そして、本実施形態においては、この移動方向演算部２４も本発明における「自車情報認識手段２１」を構成する。
【００４４】
ナビゲーション用演算処理部２２は、自車情報補正部２０、移動方向演算部２４、地図情報データベース３、表示装置２５及び音声出力装置２６に接続されている。そして、ナビゲーション用演算処理部２２は、表示装置２５を用いた自車位置及び自車方位の表示や、表示装置２５及び音声出力装置２６を用いた進路案内のための演算処理を行う。具体的には、ナビゲーション用演算処理部２２は、地図情報データベース３から自車位置の周辺の地図情報Ｄ２を取得して表示装置２５に地図の画像を表示するとともに、当該地図の画像上に、自車情報補正部２０による補正後の自車位置情報Ｄ３ｃ及び補正後の自車方位情報Ｄ４ｃに基づいて自車マークを重ね合わせて表示する処理を行う。この際、移動方向演算部２４から出力された自車方位の変化方向情報Ｄ５に基づいた自車マークの表示の補正（自車方位や自車位置の補正）も行う。また、ナビゲーション用演算処理部２２は、公知の方法により出発地点と目的地点とを結ぶように予め設定された案内経路と補正後の自車位置情報Ｄ３ｃ及び自車方位情報Ｄ４ｃ等に基づいて、表示装置２５に進路を表示するとともに交差点等において音声出力装置２６により進路案内のための音声を出力する処理を行う。また、図示は省略するが、ナビゲーション用演算処理部２２は、この他にも、リモートコントローラやタッチパネルなどのユーザインタフェース等の、ナビゲーション装置として必要な公知の各種構成に接続されている。
本実施形態においては、表示装置２５が本発明における「表示手段」を構成し、表示装置２５及び音声出力装置２６が本発明における「進路案内手段」を構成する。
【００４５】
車両制御用演算処理部２３は、ナビゲーション用演算処理部２２に接続されており、このナビゲーション用演算処理部２２から、地図情報データベース３からの自車位置の周辺の地図情報Ｄ２、自車情報補正部２０による補正後の自車位置情報Ｄ３ｃ及び補正後の自車方位情報Ｄ４ｃ、及び移動方向演算部２４から出力された自車方位の変化方向情報Ｄ５が入力され、或いはこれらの情報をナビゲーション用演算処理部２２において加工した結果の情報が入力される。そして、車両制御用演算処理部２３は、ナビゲーション用演算処理部２２から入力されるこれらの情報に基づいて自車両８の走行制御を行う。具体的には、車両制御用演算処理部２３は、高精度に特定された自車位置及び自車方位と、自車位置の周囲の地図情報Ｄ２とに基づいて、例えばレーンキープや速度超過の防止等のための制御信号をブレーキ、ハンドル、スロットル等の車両の各部に対して出力する処理を行う。なお、車両制御用演算処理部２３を自車情報補正部２０、移動方向演算部２４及び地図情報データベース３と直接接続し、それらから直接的に自車位置情報Ｄ３、自車方位情報Ｄ４及び地図情報Ｄ２等を取得する構成とすることも可能である。
【００４６】
外部状況判定部２７は、ＧＰＳ受信機４により取得された年月日及び時刻の情報、並びに明るさセンサ２８により取得された自車両８の外部の明るさ情報に基づいて、自車両８の外部の状況が、地物の影の画像ｇ１を認識できる状況であるか否かを判定する処理を行う。そして、地物の影の画像ｇ１を認識できる状況と判定した場合には、影画像演算部１４、理論影演算部１５、地物情報取得部１６、太陽位置演算部１３等に対して処理の実行を許可する信号を出力し、地物の影の画像ｇ１を認識できない状況と判定した場合には、これらに対して処理の実行を禁止する信号を出力する。
【００４７】
次に、本実施形態に係る自車情報認識装置１における自車位置及び自車方位の認識処理の具体例について、図６に示すフローチャートに従って説明する。ここでは、図２に示すように、走行中の自車両８から前方にある案内標識Ｃ１の影Ｓ１の画像を認識して自車位置情報Ｄ３及び自車方位情報Ｄ４を補正する場合を例として説明する。なお、この図６に示すフローチャートの処理は、所定の時間間隔（例えば１０〜５０ｍｓ程度）で連続的に繰り返し行う。
【００４８】
図６に示すように、自車情報認識装置１は、まず、外部状況判定部２７において、外部状況の判定を行う（ステップ＃０１）。具体的には、自車情報認識装置１は、ＧＰＳ受信機４により取得された年月日及び時刻の情報、並びに明るさセンサ２８により取得された自車両８の外部の明るさ情報に基づいて、自車両８の外部の状況が、地物の影の画像ｇ１を認識できる状況であるか否かを判定する処理を行う。すなわち、自車情報認識装置１は、現在の年月日に基づいて現在時刻が太陽１７の出ている時刻であり、なおかつ自車両８の外部の明るさが地物の影ができるのに十分な明るさである場合には地物の影の画像ｇ１を認識できる状況であると判定する。ここで、自車両８の外部の状況が、地物の影の画像ｇ１を認識できる状況でないと判定された場合には（ステップ＃０１：ＮＧ）、以降の処理へは進まない。
【００４９】
そして、外部状況判定部２７において自車両８の外部の状況が、地物の影の画像ｇ１を認識できる状況であると判定された場合には（ステップ＃０１：ＯＫ）、次に、ロケーション部７において、自車位置情報Ｄ３及び自車方位情報Ｄ４を取得する（ステップ＃０２）。具体的には、上記のとおり、ＧＰＳ受信機４により受信されるＧＰＳ衛星１２からの情報や、方位センサ５及び距離センサ６からの出力に基づいて自車両８の現在位置や方位を特定し、更に地図情報データベース３から取得した地図情報Ｄ２に基づいてマップマッチングを行って自車両８の位置及び方位が道路９上に合致するように現在位置や方位の修正を行うことにより、自車位置情報Ｄ３及び自車方位情報Ｄ４を取得する。
【００５０】
次に、地物情報取得部１６において自車位置周辺の立体物の地物情報Ｄ１を取得する（ステップ＃０３）。具体的には、ロケーション部７により特定された自車位置情報Ｄ３に基づいて、当該自車位置情報Ｄ３に示される位置を撮像位置とした場合に撮像装置２による撮像領域に含まれる立体物の地物情報Ｄ１を、地図情報データベース３の地物レイヤＬ３から抽出して取得する。ここで取得される地物情報Ｄ１の内容としては、各地物の位置、高さ、及び形状の情報が含まれる。図２の例に示す状況では、地物情報Ｄ１として案内標識Ｃ１の位置（緯度及び経度）、道路９の路面からの高さ、及び形状の情報が取得される。なお、このステップ＃０３において複数の地物情報Ｄ１が取得されることもあるが、ここでは説明の簡略化のために一の案内標識Ｃ１の地物情報Ｄ１のみが取得された場合を例として説明する。
このステップ＃０３の処理により地物情報Ｄ１が取得された場合には（ステップ＃０４：ＹＥＳ）、ステップ＃０５以降の処理に進み、地物情報Ｄ１が取得されない場合には、すなわち撮像装置２による撮像領域に立体物の地物情報Ｄ１が含まれていない場合には（ステップ＃０４：ＮＯ）、処理はステップ＃０１へ戻る。
【００５１】
ステップ＃０３の処理により地物情報Ｄ１が取得された場合には（ステップ＃０４：ＹＥＳ）、太陽位置演算部１３において各地物の位置に対する太陽の方位及び高さを演算する（ステップ＃０５）。具体的には、ＧＰＳ受信機４により取得された年月日及び時刻の情報に基づいて、地物情報取得部１６において取得された各地物情報Ｄ１に含まれる各地物の位置（緯度及び経度）に対応する太陽の方位及び高さ（地表面に対する角度）をそれぞれ演算する。これにより、ステップ＃０３の処理により取得された各地物情報Ｄ１に対応する太陽の方位及び高さが演算される。図２に示す例では、案内標識Ｃ１の位置（緯度及び経度）を基準とする太陽１７の方位及び高さ（地表面に対する角度）が演算される。
【００５２】
そして、理論影演算部１５において、ステップ＃０３の処理により取得された各地物情報Ｄ１に示される各地物の理論上の影Ｓａの位置及び形状を演算する（ステップ＃０６）。具体的には、太陽位置演算部１３による演算結果と、地物情報取得部１６により取得された地物情報Ｄ１とを用いて各地物の理論上の影Ｓａの位置及び形状を演算する。図２に示す例では、案内標識Ｃ１の位置（緯度及び経度）を基準とする太陽１７の方位及び高さ（地表面に対する角度）と、地物情報取得部１６により取得された案内標識Ｃ１の地物情報Ｄ１に含まれる位置、高さ、及び形状の情報とに基づいて、図７に示すように、緯度（ｙ軸）及び経度（ｘ軸）により表される絶対座標上において、仮想的な太陽からの平行光により、地表面（道路面）に投影される案内標識Ｃ１の理論上の影Ｓａの位置及び形状を演算する。本例では、案内標識Ｃ１の理論上の影Ｓａの位置及び形状は、図中左上の脚部先端に設定された基準点位置Ｓａ１と、案内標識Ｃ１の影の外縁形状を表す輪郭線上の各点の位置を表す輪郭線Ｓａ２とにより表されている。なお、ここでは案内標識Ｃ１の理論上の影Ｓａの基準点位置Ｓａ１は、案内標識Ｃ１の地物情報Ｄ１の基準点の位置（地物情報Ｄ１の位置情報として示される位置）と一致する位置としている。
【００５３】
また、ステップ＃０３の処理により地物情報Ｄ１が取得された場合には（ステップ＃０４：ＹＥＳ）、画像情報取得部１０において撮像装置２により撮像した画像情報Ｇを取り込む(ステップ＃０７)。図２に示す例では、図３に示すような画像情報Ｇが取り込まれる。
【００５４】
次に、画像認識部１１において画像情報Ｇに含まれる地物の影の画像ｇ１を認識する(ステップ＃０８)。具体的には、二値化処理やエッジ抽出処理等による輪郭抽出の後、パターン認識処理等により、画像情報Ｇの中から地物の影の画像ｇ１を抽出する処理を行う。図３に示す画像情報Ｇからは、図４に示すように案内標識Ｃ１の影の画像ｇ１が抽出される。
【００５５】
その後、影画像演算部１４において、ロケーション部７で取得した自車位置情報Ｄ３に示される位置及び自車方位情報Ｄ４に示される方位に基づいて定まる撮像装置２の位置及び方位をそれぞれ画像情報Ｇの撮像位置及び撮像方位とした場合の画像認識部１１で認識された地物の影（以下「ロケーション部基準の影Ｓｂ」という。）の位置及び形状を演算する(ステップ＃０９)。本例では、図２に示すように撮像装置２は自車両８の前方に向けて所定の上下方向角度で固定されている。そして、この撮像装置２により撮像された図３に示す画像情報Ｇから抽出された案内標識Ｃ１の影の画像ｇ１は、図４に示すような画像情報Ｇ中の位置及び形状となっている。したがって、このような自車両８に対する撮像装置２の固定位置及び撮像方向と、案内標識Ｃ１の影の画像ｇ１の画像情報Ｇ中の位置及び形状とに基づいて、自車位置情報Ｄ３及び自車方位情報Ｄ４を自車両８の位置及び方位とした場合における案内標識Ｃ１のロケーション部基準の影Ｓｂの位置及び形状を演算できる。この際、本例では理論影演算部１５による演算結果との対比を容易にするため、図７に示すように、緯度（ｙ軸）及び経度（ｘ軸）により表される絶対座標上において、案内標識Ｃ１のロケーション部基準の影Ｓｂの位置及び形状を演算する。本例では、案内標識Ｃ１のロケーション部基準の影Ｓｂの位置及び形状は、図中左上の脚部先端に設定された基準点位置Ｓｂ１と、案内標識Ｃ１の影の外縁形状を表す輪郭線上の各点の位置を表す輪郭線Ｓｂ２とにより表されている。
【００５６】
そして、誤差算出部１９において、同一地物に対する理論影演算部１５による演算結果と影画像演算部１４による演算結果とを対比して、ロケーション部７により特定された自車位置情報Ｄ３の位置誤差（Δｘ，Δｙ）及び自車方位情報Ｄ４の方位誤差Δθを算出する(ステップ＃１０)。本例では、図７に示すように、理論影演算部１５において演算された案内標識Ｃ１の理論上の影Ｓａの位置及び形状と、影画像演算部１４において演算された案内標識Ｃ１のロケーション部基準の影Ｓｂの位置及び形状とを対比して、これらの位置及び方位（角度）の差に基づいて自車位置情報Ｄ３の位置誤差（Δｘ，Δｙ）及び自車方位情報Ｄ４の方位誤差Δθを算出する。すなわち、理論上の影Ｓａの位置及び形状は、地図情報データベース３に格納された地物情報Ｄ１と仮想的な太陽の位置とに基づいて演算されたものであるので、ほぼ正確な影の位置及び形状を表している。一方、ロケーション部基準の影Ｓｂの位置及び形状は、ロケーション部７により特定された自車位置情報Ｄ３及び自車方位情報Ｄ４を自車両８の位置及び方位とした場合における影の位置及び形状を表しており、自車位置情報Ｄ３の位置誤差（Δｘ，Δｙ）及び自車方位情報Ｄ４の方位誤差Δθを含んでいる。したがって、この理論上の影Ｓａの位置及び形状に対するロケーション部基準の影Ｓｂの位置及び形状のずれがロケーション部７により特定された自車位置情報Ｄ３及び自車方位情報Ｄ４の誤差として算出できる。
【００５７】
ここでは、誤差算出部１９は、まず、理論上の影Ｓａとロケーション部基準の影Ｓｂとの方位（角度）の差、すなわち方位誤差Δθを算出する。具体的には、理論上の影Ｓａとロケーション部基準の影Ｓｂとの対応する部分、特に輪郭線Ｓａ２及びＳｂ２の直線状の部分の絶対座標上での方位（角度）の差Δθを、理論上の影Ｓａを基準として算出することにより行う。
【００５８】
次に、誤差算出部１９は、ロケーション部７により特定された自車位置情報Ｄ３に示される自車位置Ｍを基準としてロケーション部基準の影Ｓｂの方位誤差Δθを修正し、理論上の影Ｓａと方位誤差Δθの修正後のロケーション部基準の影Ｓｂとの対応する点の位置の差、すなわち位置誤差（Δｘ，Δｙ）を算出する。具体的には、理論上の影Ｓａの基準点位置Ｓａ１の座標（ｘ０，ｙ０）と、方位誤差Δθの修正後のロケーション部基準の影Ｓｂの基準点位置Ｓｂ１´の座標（ｘ１，ｙ１）との差を、理論上の影Ｓａの基準点位置Ｓａ１の座標（ｘ０，ｙ０）を基準として算出することにより行う。すなわち、位置誤差（Δｘ，Δｙ）は、経度方向の位置誤差Δｘ＝ｘ０−ｘ１、緯度方向の位置誤差Δｙ＝ｙ０−ｙ１となる。
【００５９】
次に、自車情報補正部２０において、誤差算出部１９により算出された位置誤差（Δｘ，Δｙ）に基づいて自車位置情報Ｄ３を補正し、方位誤差Δθに基づいて自車方位情報Ｄ４を補正する（ステップ＃１１）。本例では、自車位置情報Ｄ３の補正については、ロケーション部７により特定された自車位置情報Ｄ３に示される自車位置Ｍの座標を（Ｘ，Ｙ）とすると、これに位置誤差（Δｘ，Δｙ）を加えた座標（Ｘ＋Δｘ，Ｙ＋Δｙ）を補正後の自車位置情報Ｄ３ｃとする処理を行う。また、自車方位情報Ｄ４の補正については、ロケーション部７により特定された自車方位情報Ｄ４に示される自車方位をΘとすると、これに方位誤差Δθを加えた方位Θ＋Δθを補正後の自車方位情報Ｄ４ｃとする処理を行う。
【００６０】
そして、このようにして演算された自車情報補正部２０による補正後の自車位置情報Ｄ３ｃ及び補正後の自車方位情報Ｄ４ｃは、ナビゲーション用演算処理部２２及びこれを介して車両制御用演算処理部２３へ出力する（ステップ＃１２）。
これにより、このような補正後の自車位置情報Ｄ３ｃ及び補正後の自車方位情報Ｄ４ｃの入力を受けるナビゲーション用演算処理部２２や車両制御用演算処理部２３においては、自車位置及び自車方位をより高精度に認識することができる。したがって、ナビゲーション用演算処理部２２においてより正確に自車位置及び自車方位の表示や進路案内を行い、或いは車両制御用演算処理部２３においてより正確に自車両８の走行制御を行うことができる。
【００６１】
また、ステップ＃０８により画像情報Ｇに含まれる地物の影の画像ｇ１を認識した後は、移動方向演算部２４において、当該画像情報Ｇの認識結果に基づいて複数の画像情報Ｇに含まれる地物の影の画像ｇ１の時間経過に従う移動の状態を解析する（ステップ＃１３）。そして、この解析結果に基づいて自車方位の変化方向を演算し、その演算結果は自車方位の変化方向情報Ｄ５としてナビゲーション用演算処理部２２及びこれを介して車両制御用演算処理部２３へ出力する（ステップ＃１４）。この移動方向演算部２４によるステップ＃１３及びステップ＃１４の処理については、図８及び図９に基づいて以下に説明する。
【００６２】
例えば、図８に示すように、自車両８が走行する道路９の前方に速度標識Ｃ２の影Ｓ２が存在する場合、撮像装置２により撮像された画像情報Ｇからは、例えば図９（ａ）に示すような影の画像ｇ１が抽出される。そして、ステップ＃０７及びステップ＃０８の処理は、上記のとおり所定の時間間隔で連続的に繰り返し行われるので、連続的に撮像された複数枚の画像情報Ｇから、同一の地物の影の画像ｇ１が時間経過に従ってどのように移動するかを解析することができる。例えば、図９（ａ）の後に撮像された画像情報Ｇから図９（ｂ）に示されるような影の画像ｇ１が抽出された場合、速度標識Ｃ２の影の画像ｇ１は時計方向に回転しつつ接近する方向に移動していることから、自車方位は影の画像ｇ１の移動方向と反対の左方向に変化していることがわかる。一方、図９（ａ）の後に撮像された画像情報Ｇから図９（ｃ）に示されるような影の画像ｇ１が抽出された場合、速度標識Ｃ２の影の画像ｇ１は反時計方向に回転しつつ接近する方向に移動していることから、自車方位は影の画像ｇ１の移動方向と反対の右方向に変化していることがわかる。このような解析結果に基づけば、自車方位の変化方向を求めることができる。なお、本例では、時間的に前後する２枚の画像情報Ｇに基づいて自車方位の変化方向を演算する場合について説明したが、３枚以上の連続する画像情報Ｇに基づいて変化の傾向を解析すれば、より正確に自車方位の変化方向を演算することができる。
【００６３】
このようにして、移動方向演算部２４により自車方位の変化方向を演算し、その演算結果を自車方位の変化方向情報Ｄ５として出力することにより、この変化方向情報Ｄ５の入力を受けるナビゲーション用演算処理部２２や車両制御用演算処理部２３においては、自車両８の進行方向をより高精度に特定することができ、自車両８の進路の推測も良好に行うことができる。例えば、図８に示すように、自車両８が走行する道路９の前方に狭角分岐がある場合においても、自車方位の変化方向情報Ｄ５に基づいて自車両８が左右のいずれの方向に進行するかを良好に推測することができる。したがって、ナビゲーション用演算処理部２２においてより正確に自車位置及び自車方位の表示や進路案内を行い、或いは車両制御用演算処理部２３においてより正確に自車両８の走行制御を行うことができる。
【００６４】
〔その他の実施形態〕
（１）上記実施形態においては、地物影演算手段を構成する理論影演算部１５において演算した理論上の影Ｓａの位置及び形状と、影画像演算手段を構成する影画像演算部１４において演算したロケーション部基準の影Ｓｂの位置及び形状とを絶対座標上で対比することにより、自車位置情報Ｄ３及び自車方位情報Ｄ４の誤差を算出して補正する場合について説明した。しかし、本発明の適用範囲はこれに限定されるものではない。例えば、以下のような自車情報認識装置１の構成とすることも好適な実施形態の一つである。すなわち、この自車情報認識装置１は、地物影演算手段において、年月日及び時刻の情報並びに地物情報Ｄ１に加えて、ロケーション部７からの自車位置情報Ｄ３及び自車方位情報Ｄ４を取得する。そして、これらの情報に基づいて、自車位置情報Ｄ３及び自車方位情報Ｄ４に示される自車位置及び自車方位から仮想的な撮像装置により撮像した場合の地物の理論上の影の画像情報を生成する。一方、画像認識手段において、撮像装置２により撮像した画像情報Ｇから同一の地物についての実際の影の画像情報を生成する。そして、理論上の影の画像情報中の影の位置と実際の影の画像情報中の影の位置とを対比することにより、自車位置情報Ｄ３及び自車方位情報Ｄ４の誤差を算出して補正する。すなわち、この自車情報認識装置１は、画像情報Ｇ中の影の位置に基づいて自車位置情報Ｄ３及び自車方位情報Ｄ４を補正する構成となっている。
【００６５】
（２）上記実施形態においては、同一地物に対する理論影演算部１５による演算結果と影画像演算部１４による演算結果とを対比することにより、ロケーション部７により特定された自車位置情報Ｄ３の位置誤差（Δｘ，Δｙ）及び自車方位情報Ｄ４の方位誤差Δθを算出し、自車位置情報Ｄ３及び自車方位情報Ｄ４の双方を補正して認識する場合について説明した。しかし、本発明の実施形態はこれに限定されるものではなく、上記実施形態と同様の方法により自車位置情報Ｄ３の位置誤差（Δｘ，Δｙ）又は自車方位情報Ｄ４の方位誤差Δθのいずれか一方を算出し、自車位置情報Ｄ３又は自車方位情報Ｄ４のいずれか一方のみを補正して認識することも好適な実施形態の一つである。
【００６６】
（３）上記の実施形態においては、太陽位置演算部１３が、各地物情報Ｄ１に含まれる各地物の位置（緯度及び経度）に対する太陽の方位及び高さ（地表面に対する角度）を演算する処理を行う場合について説明した。しかし、自車位置の周辺の撮像領域内という限られた範囲内では、いずれの位置であっても太陽の方位及び高さはほぼ同じと考えることができる。そこで、演算処理の簡略化のために、このロケーション部７により取得された自車位置情報Ｄ３に示される自車位置や、任意の一の地物情報Ｄ１に含まれる地物の位置を基準として太陽の方位及び高さを演算する処理を行うことも好適な実施形態の一つである。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施形態に係る自車情報認識装置並びにこれを備えたナビゲーション装置及び車両制御装置のハードウエア構成の概略を示すブロック図
【図２】本発明の実施形態に係る自車情報認識装置が搭載された自車両及びその周囲の状態の一例を示す図
【図３】図２に示す自車両から撮像した画像情報を示す図
【図４】図３に示す画像情報から案内標識の影のみを抽出した画像を示す図
【図５】本発明の実施形態に係る自車情報認識装置の地図情報データベースに格納されている地図情報及び地物情報の内容を示す説明図
【図６】本発明の実施形態に係る自車情報認識装置における自車位置及び自車方位の認識処理の具体例を示すフローチャート
【図７】本発明の実施形態に係る自車情報認識装置において演算した案内標識の理論上の影及びロケーション部基準の影の位置及び形状を、緯度（ｙ軸）及び経度（ｘ軸）により表される絶対座標上に表した説明図
【図８】本発明の実施形態に係る自車情報認識装置が搭載された自車両及びその周囲の状態のもう一つの例を示す図
【図９】図８に示す自車両から撮像した画像情報が時間経過に従って変化する様子を示す図
【符号の説明】
【００６８】
１：自車情報認識装置
２：撮像装置
３：地図情報データベース（地物情報格納手段、地図情報格納手段）
７：ロケーション部（自車位置情報取得手段、自車方位情報取得手段）
８：自車両
１０：画像情報取得部（画像情報取得手段）
１１：画像認識部（影画像認識手段）
１３：太陽位置演算部（太陽位置演算手段）
１４：影画像演算部（影画像演算手段）
１５：理論影演算部（理論影演算手段）
１６：地物情報取得部（地物情報取得手段）
１８：地物影演算手段
１９：誤差算出部
２０：自車情報補正部
２１：自車情報認識手段
２２：ナビゲーション用演算処理部
２３：車両制御用演算処理部
２４：移動方向演算部（移動方向演算手段）
２５：表示装置（表示手段、進路案内手段）
２６：音声出力装置（進路案内手段）
Ｇ：画像情報
ｇ１：地物の影の画像
Ｄ１：地物情報
Ｄ２：地図情報
Ｄ３：自車位置情報
Ｄ３ｃ：補正後の自車位置情報
Ｄ４：自車方位情報
Ｄ４ｃ：補正後の自車方位情報
Ｄ５：変化方向情報
Ｓａ：理論上の影
Ｓｂ：ロケーション部基準の影
【技術分野】
【０００１】
本発明は、車両に搭載された撮像装置により撮像した画像情報を用いて、自車位置や自車方位を高精度に認識する自車情報認識装置及び自車情報認識方法に関する。
【背景技術】
【０００２】
車両用のナビゲーション装置において車両の位置や方位を特定する方法として、これまでは主に次の２種類の方法が用いられている。一つは、ＧＰＳ（グローバル・ポジショニング・システム）衛星からの電波信号を受信し、３角測量の原理で位置特定を行うＧＰＳ航法である。この航法を用いれば、車両の現在位置を絶対座標として検出することができる利点がある、もう一つは、ジャイロセンサ（方位センサ）や距離センサ等の各種センサを用いて車両の方位と走行距離を検出しながら、一定距離走行する毎に位置変化分を累積することにより位置特定を行う自律航法である。現在では、これら２つの航法を組み合わせたハイブリッド方式が多く用いられている。
【０００３】
しかし、ＧＰＳ航法では、ＧＰＳ衛星からの電波信号を受信する必要があるためにトンネル内や高層ビルの陰などでは位置検出ができない、位置検出の精度に限界があり数ｍ〜数十ｍ程度の誤差を含んでいる、現在の検出位置と直前の検出位置とを結ぶ方向を車両の方位とするために車速が遅い場合に方位の検出精度が低くなるといった問題がある。また、自律航法では、走行距離が長くなる或いは進路変更の数が増えることによりセンサによる検出誤差が累積する問題がある。したがって、これらの２つの航法を組み合わせたハイブリッド方式であっても、車両の位置や方位の検出にはある程度の誤差が生じることは避けられなかった。
【０００４】
そこで、自車位置の検出精度を高めるための技術として、例えば下記特許文献１には、以下のような車両位置測定装置に関する技術が記載されている。すなわち、この車両位置測定装置は、車両に搭載されたカメラを用いて車両前方を撮影して交差点名称を含む案内標識の画像を撮影する。この案内標識としては、法令によって設置位置や大きさ（高さ）等が定まっているものを対象する。そして、撮影された画像情報から案内標識の画像を抽出し、文字認識処理により交差点名称を特定する。また、撮影された画像情報に含まれる案内標識の大きさに基づいて、車両位置（撮影位置）から当該案内標識までの距離を演算する。これにより、交差点名称から特定された交差点ノードから車両位置（撮影位置）までの距離を演算し、この演算結果を用いて車両位置の絶対座標を特定することができる。そして、この車両位置の絶対座標を用いて、ＧＰＳ受信機、方位センサ、距離センサ等により検出された車両位置を補正する処理を行う。これにより自車位置の検出精度を高めることができる。
【０００５】
また、自車方位の検出精度を高めるための技術として、例えば下記特許文献２には、以下のような車載ナビゲータに関する技術が記載されている。すなわち、この車載ナビゲータは、まず、ＧＰＳ受信機により衛星航法で検出された車両位置を、車両位置修正部が地図データ記憶手段に記憶された地図データを用いてマップマッチングにより道路上に修正する。そして、表示用車両方位計算部により、マップマッチング後の車両位置が乗っている道路の方位を自車方位として計算する処理を行う。これにより、自車方位が、走行中の道路の方向と一致するので、不自然な自車方向の表示が行われることを防止できる。
【０００６】
【特許文献１】特開２００４−４５２２７号公報（第７−１０頁、第４−５図）
【特許文献２】特開平６−２４２２１１号公報（第３−４頁、第２図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載された技術は、立体物である案内標識の画像認識処理を行うものであって、案内標識を画像情報の中から抽出する処理に加えて、その大きさや高さ等を認識し、更には案内標識に含まれる文字の認識処理も行うことから、高度な画像認識処理を行う必要がある。そのため、車両の走行に合わせてリアルタイムで高精度に画像認識処理を行うためには装置の演算処理負荷が非常に大きくなるという問題がある。
【０００８】
また、上記特許文献２に記載された技術は、自車方位を正確に演算する技術ではなく、マップマッチングの結果を自車方位の表示に反映させるというだけの技術であるため、必ずしも自車方位を正確に表しているとは限らず、誤った方位を自車方位とする場合がある。したがって、例えば狭角分岐道路等のようにマップマッチングによる車両の進路の推定を正確に行うことが困難な状況においては、正確な自車方位を認識することが困難であるという問題がある。
【０００９】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、演算処理負荷が少なく正確性が高い画像認識処理を用いて、自車位置及び自車方位の一方又は双方を高精度に認識することが可能な自車情報認識装置を提供する点にある。
【課題を解決するための手段】
【００１０】
上記目的を達成するための本発明に係る自車情報認識装置の特徴構成は、自車両に搭載された撮像装置により撮像した画像情報を取り込む画像情報取得手段と、自車位置情報を取得する自車位置情報取得手段と、地物の位置及び高さの情報を含む地物情報を格納する地物情報格納手段と、年月日及び時刻の情報並びに前記地物情報を用いて前記地物の影の位置及び形状を演算する地物影演算手段と、前記画像情報に含まれる地物の影の画像を認識する影画像認識手段と、同一地物に対する前記地物影演算手段による演算結果と前記影画像認識手段による認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識手段と、を備える点にある。
【００１１】
この特徴構成によれば、例えば道路の路面等に映る地物の影の画像を認識するという平面的な画像認識処理を行うものであり、更に濃淡が明確になり易い影の画像を認識対象とするためにエッジ抽出等の画像認識処理を正確に行うことが容易であるので、少ない演算処理負荷で正確性が高い画像認識を行うことができる。そして、そのような影の画像認識の結果と、予め用意された地物情報に基づいて演算される理論上の影の位置及び形状に基づいて、自車位置及び自車方位の一方又は双方を高精度に認識することができる。
この際、道路の路面等に映る地物の影の画像を認識できればよいので、車両に搭載されたバックカメラ等の各種の車載カメラの画像を好適に用いることができる。
また、地物の影の画像を用いるので、例えば高速道路のように道路の路面に横断歩道や停止線等のペイント表示が少なく、ペイント表示の画像認識による自車位置や自車方位の認識を行うことができない場合であっても自車位置や自車方位の認識を行うことができる。
【００１２】
ここで、前記地物影演算手段は、前記年月日及び時刻の情報に基づいて太陽の位置を演算する太陽位置演算手段と、前記自車位置情報に示される位置周辺の地物についての前記地物情報を前記地物情報格納手段から取得する地物情報取得手段と、前記太陽位置演算手段による演算結果と前記地物情報取得手段により取得された前記地物情報とを用いて前記地物の理論上の影の位置及び形状を演算する理論影演算手段と、を備える構成とすると好適である。
【００１３】
この構成によれば、画像情報に含まれる少なくとも一部の地物の影の位置及び形状を理論上正確に演算することができる。
【００１４】
また、自車方位情報を取得する自車方位情報取得手段を備え、前記地物影演算手段は、年月日及び時刻の情報並びに前記地物情報に基づいて、地球側に固定された絶対座標上における前記地物の理論上の影の位置及び形状を演算し、前記自車情報認識手段は、前記影画像認識手段による認識結果に基づいて、前記自車位置情報に示される位置及び前記自車方位情報に示される方位に基づいて定まる撮像装置の位置及び方位をそれぞれ撮像位置及び撮像方位とした場合の前記絶対座標上における前記地物の影の位置及び形状を演算する影画像演算手段を備え、前記地物影演算手段による演算結果と前記影画像演算手段による演算結果とを対比して前記自車位置情報の位置誤差及び前記自車方位情報の方位誤差の一方又は双方を演算し、前記位置誤差に基づいて前記自車位置情報を補正し、前記方位誤差に基づいて前記自車方位情報を補正して、自車位置及び自車方位の一方又は双方の認識を行う構成とすると好適である。
【００１５】
この構成によれば、地物情報に基づいて演算される理論上の地物の影の位置及び形状と、前記影画像認識手段による影画像の認識結果並びに自車位置情報及び自車方位情報に基づいて演算される地物の影の位置及び形状とを、絶対座標上で対比することができるので、前記自車位置情報の位置誤差及び前記自車方位情報の方位誤差の一方又は双方を容易に演算することができる。したがって、演算された位置誤差及び方位誤差の一方又は双方に基づいて、前記自車位置情報及び前記自車方位情報の一方又は双方を補正して自車位置及び自車方位の一方又は双方を高精度に認識することができる。
【００１６】
また、画像情報取得手段は、前記撮像装置により撮像した画像情報を所定の時間間隔で複数取り込み、前記自車情報認識手段は、前記影画像認識手段による認識結果に基づいて前記複数の画像情報に含まれる同一の地物の影の画像の時間経過に従う移動の状態を解析し、その解析結果に基づいて少なくとも自車方位の変化方向を演算する移動方向演算手段を備え、この移動方向演算手段による演算結果に基づいて自車方位の認識を行う構成とすると好適である。
【００１７】
この構成によれば、移動方向演算手段により少なくとも自車方位の変化方向を演算し、演算された自車方位の変化方向を自車方位の認識や自車両の進路の推測に利用することができる。したがって、例えば、自車両が道路の狭角分岐等を通過する際などのように、従来の方法では自車両がいずれの方向に進行するかを判定する困難であった場合にも、自車方位の変化方向に基づいて自車両の進路の推測を良好に行うことが可能となる。またこれにより、自車位置及び自車方位の一方又は双方の認識の精度も高めることができる。
【００１８】
本発明に係るナビゲーション装置の特徴構成は、上記特徴を備えた自車情報認識装置と、地図情報を格納した地図情報格納手段と、前記地図情報格納手段から取得した地図上に自車マークを重ね合わせて表示する表示手段とを備え、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方に基づいて、前記地図上に前記自車マークを重ね合わせて表示する点にある。
【００１９】
この特徴構成によれば、地図上に自車マークを重ね合わせて表示手段に表示する場合に、地図上により正確な自車位置及び自車方位を表す自車マークを表示することができる。
【００２０】
本発明に係るナビゲーション装置のもう一つの特徴構成は、上記特徴を備えた自車情報認識装置と、地図情報を格納した地図情報格納手段と、所定の誘導経路に従って進路案内を行う進路案内手段とを備え、前記地図情報格納手段から取得した地図情報と、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方とに基づいて前記進路案内を行う点にある。
【００２１】
この特徴構成によれば、所定の誘導経路に従って進路案内を行う場合に、高精度に認識された自車位置及び自車方位に基づいてより正確なタイミング及び内容で進路案内を行うことができる。
【００２２】
本発明に係る車両制御装置の特徴構成は、上記特徴を備えた自車情報認識装置と、地図情報を格納した地図情報格納手段とを備え、前記地図情報格納手段から取得した地図情報と、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方とに基づいて、車両の走行制御を行う点にある。
【００２３】
この特徴構成によれば、高精度に認識された自車位置及び自車方位に基づいてより正確で信頼性の高い車両制御を行うことができる。
【００２４】
本発明に係る自車情報認識方法の特徴構成は、自車両に搭載された撮像装置により撮像した画像情報を取り込む画像情報取得ステップと、自車位置情報を取得する自車位置情報取得ステップと、年月日及び時刻の情報並びに地物情報格納手段に格納された地物情報を用いて地物の影の位置及び形状を演算する地物影演算ステップと、前記画像情報に含まれる地物の影の画像を認識する影画像認識ステップと、同一地物に対する前記地物影演算ステップによる演算結果と前記影画像認識ステップによる認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識ステップと、を備える点にある。
【００２５】
この特徴構成によれば、例えば道路の路面等に映る地物の影の画像を認識するという平面的な画像認識処理を行うものであり、更に濃淡が明確になり易い影の画像を認識対象とするためにエッジ抽出等の画像認識処理を正確に行うことが容易であるので、少ない演算処理負荷で正確性が高い画像認識を行うことができる。そして、そのような影の画像認識の結果と、予め用意された地物情報に基づいて演算される理論上の影の位置及び形状に基づいて、自車位置及び自車方位の一方又は双方を高精度に認識することができる。
この際、道路の路面等に映る地物の影の画像を認識できればよいので、車両に搭載されたバックカメラ等の各種の車載カメラの画像を好適に用いることができる。
また、地物の影の画像を用いるので、例えば高速道路のように道路の路面に横断歩道や停止線等のペイント表示が少なく、ペイント表示の画像認識による自車位置や自車方位の認識を行うことができない場合であっても自車位置や自車方位の認識を行うことができる。
【発明を実施するための最良の形態】
【００２６】
以下に、本発明の実施形態について図面に基づいて説明する。本実施形態においては、図１は、本実施形態に係る自車情報認識装置１並びにこれを備えたナビゲーション装置及び車両制御装置のハードウエア構成の概略を示すブロック図である。
本実施形態に係る自車情報認識装置１は、撮像装置２により撮像した画像情報Ｇから認識される地物の影の画像ｇ１と、地図情報データベース３に格納された地物情報Ｄ１に基づいて演算される地物の理論上の影の位置及び形状とを対比することにより、ＧＰＳ受信機４、方位センサ５及び距離センサ６に基づいてロケーション部７において取得される自車位置情報Ｄ３及び自車方位情報Ｄ４よりも高精度に自車位置及び自車方位を認識する処理を行う。
以下、各部の構成について詳細に説明する。なお、自車情報認識装置１の各機能部は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装されて構成されている。
【００２７】
撮像装置２は、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。この撮像装置２は、自車両８の前方や後方に向けて搭載され、少なくとも自車両８が走行する道路９の路面が撮影されるように設けられる。ここでは、図２及び図３に示すように、自車両８の前方を撮像する場合を例として説明する。このような撮像装置２としては、自車両８の前方や後方等の映像を撮像するために既に設けられている車載カメラ等が好適に用いられる。
【００２８】
画像情報取得部１０は、撮像装置２により撮像した画像情報Ｇを取り込む処理を行う。取り込まれた画像情報Ｇは、画像情報取得部１０が備える図示しない画像メモリに格納される。本実施形態においては、この画像情報取得部１０が、本発明における「画像情報取得手段」を構成する。
【００２９】
画像認識部１１は、画像情報取得部１０により取得された画像情報Ｇに含まれる地物の影の画像ｇ１を認識する処理を行う。具体的には、画像認識部１１は、二値化処理やエッジ抽出処理等による輪郭抽出の後、パターン認識処理等により、画像情報Ｇの中から地物の影の画像ｇ１を抽出する処理を行う。例えば、図２に示すように、自車両８が走行する道路９の前方に太陽１７の光による案内標識Ｃ１の影Ｓ１が存在する場合、図３に示すような画像情報Ｇが撮像装置２により撮像される。画像認識部１１は、この画像情報Ｇから図４に示すように案内標識Ｃ１の影の画像ｇ１のみを抽出する処理を行う。この画像認識部１１において影の画像が認識される地物としては、例えば、各種の標識、信号機、ビルなどの建物等の立体物が含まれる。
本実施形態においては、この画像認識部１１が、本発明における「影画像認識手段」を構成する。
【００３０】
ロケーション部７は、ＧＰＳ受信機４、方位センサ５、距離センサ６、及び地図情報データベース３と接続さている。ここで、ＧＰＳ受信機４は、ＧＰＳ衛星１２（図２参照）からの信号を受信する装置であり、受信した信号に基づいてＧＰＳ受信機４の位置（緯度及び経度）、年月日及び時刻の情報等の各種情報を取得する。このＧＰＳ受信機４により取得された年月日及び時刻の情報は、ロケーション部７の他に後述する太陽位置演算部１３へも出力される。方位センサ５は、地磁気センサやジャイロセンサ、或いは、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、自車両８の進行方向を検知する。距離センサ６は、車輪の回転数を検知する車速センサや自車両８の加速度を検知するヨー・Ｇセンサと、検知された加速度を２回積分する回路との組み合わせ等により構成され、自車両８の移動距離を検知する。そして、ロケーション部７は、これらのＧＰＳ受信機４、方位センサ５及び距離センサ６からの出力に基づいて、公知の方法により自車両８の現在位置や方位を特定する演算を行う。また、ロケーション部７は、後述する地図情報データベース３から地図情報Ｄ２を取得し、それに基づいて公知のマップマッチングを行うことにより自車両８の現在位置や方位の修正も行う。そして、このロケーション部７により特定された自車両８の現在位置の情報が自車位置情報Ｄ３となり、自車両８の現在の方位の情報が自車方位情報Ｄ４となる。
【００３１】
ここで、自車位置情報Ｄ３は、地球側に固定された絶対座標上の位置としての緯度及び経度の情報として表される。また、自車方位情報Ｄ４は、地球側に固定された絶対座標上の方位として表される。なお、本実施形態の説明において、「位置」又は「方位」といった時には、特に断らない限り、地球側に固定された絶対座標上の位置（緯度及び経度）又は方位であるとする。
【００３２】
このロケーション部７により取得される自車位置情報Ｄ３及び自車方位情報Ｄ４の精度は、ＧＰＳ受信機４や方位センサ５及び距離センサ６の精度に大きく影響を受ける。このため、自車位置情報Ｄ３は数十ｍ程度の誤差を含んでいる可能性がある。また、自車方位情報Ｄ４については、特に自車両８の走行速度が低いときに誤差が非常に大きくなる場合がある。
本実施形態においては、このロケーション部７が、本発明における「自車位置情報取得手段」及び「自車方位情報取得手段」を構成する。
【００３３】
影画像演算部１４は、画像認識部１１による地物の影の画像ｇ１の認識結果に基づいて、自車位置情報Ｄ３に示される位置及び自車方位情報Ｄ４に示される方位に基づいて定まる撮像装置２の位置及び方位をそれぞれ画像情報Ｇの撮像位置及び撮像方位とした場合の、地物の影の画像ｇ１として認識された地物の影の位置及び形状を演算する処理を行う。すなわち、撮像装置２は自車両８に固定されているので、自車位置情報Ｄ３及び自車方位情報Ｄ４と撮像装置２による撮像位置及び撮像方位との関係は一定である。また、撮像装置２の撮像位置及び撮像方位が定まれば、撮像装置２の位置及び方位を基準とする画像情報Ｇ中に撮像された地物の影の実際の位置を求めることができる。したがって、自車位置情報Ｄ３及び自車方位情報Ｄ４を基準として画像認識部１１で画像情報Ｇから認識された地物の影の位置及び形状を演算することができる。ここでは、図７に示すように、影画像演算部１４は、地球側に固定された絶対座標上における地物の位置（緯度及び経度）及び形状を演算する。この影画像演算部１４における処理については、後で具体例に従って詳細に説明する。
本実施形態においては、この影画像演算部１４が、本発明における「影画像演算手段」を構成する。
【００３４】
地図情報データベース３には、地図情報Ｄ２及び地物情報Ｄ１が格納されている。図５は、地図情報データベース３に格納されている地図情報Ｄ２及び地物情報Ｄ１の内容を示す説明図である。この図に示すように、本実施形態に係る地図情報データベース３には、地図情報として、道路ネットワークレイヤＬ１、道路形状レイヤＬ２、地物レイヤＬ３が格納されている。
道路ネットワークレイヤＬ１は、道路９間の接続情報を格納するレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードＮの情報と、２つのノードＮを連結して道路９を構成する多数のリンクＬの情報とを有して構成されている。また、各リンクＬは、そのリンク情報として、道路９の種別（高速道路、有料道路、国道、県道等の種別）やリンク長さ等の情報を有している。
道路形状レイヤＬ２は、道路ネットワークレイヤＬ１に関連付けられて格納され、道路９の形状を格納するレイヤである。具体的には、２つのノードＮの間（リンクＬ上）に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Ｓの情報や、各道路形状補完点Ｓにおける道路幅の情報等を有して構成されている。
【００３５】
地物レイヤＬ３は、道路ネットワークレイヤＬ１及び道路形状レイヤＬ２に関連付けられて格納され、道路９上及び道路９の周辺に設けられた各種の地物に関する地物情報Ｄ１を格納するレイヤである。この地物レイヤＬ３に格納する地物情報Ｄ１としては、少なくとも理論影演算部１５において演算対象となり得る地物に関する位置、形状、色彩等の情報が格納されている。本実施形態においては、具体的には、地物レイヤＬ３には、道路９上や道路９の周囲に設けられた各種の標識、信号機、建物、看板、モニュメント等の特に立体物の地物情報Ｄ１が、道路形状補完点Ｓ又はノードＮを基準とした地図上の位置と関連付けて格納されている。このような地物情報Ｄ１の具体的な内容としては、各地物の基準点の位置（緯度及び経度）の情報、道路９の路面からの高さの情報、平面的及び立体的な形状の情報等が含まれる。ここで、標識には、例えば、案内標識、警戒標識、規制標識等が含まれる。また、建物には、高さが高いビル等が特に含まれ、看板やモニュメント等についても特に大規模なものが含まれる。また、地物情報Ｄ１として、道路９の路面に設けられたペイント表示等の立体物以外の各種地物の情報を格納することとしてもよい。このように、地物情報Ｄ１は、地物レイヤＬ３上において地図情報Ｄ２と関連付けられて地図情報データベース３に格納されている。
【００３６】
なお、地図情報データベース３は、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。
本実施形態においては、この地図情報データベース３が、本発明における「地物情報格納手段」及び「地図情報格納手段」を構成する。
【００３７】
地物情報取得部１６は、ロケーション部７及び地図情報データベース３と接続されている。この地物情報取得部１６は、ロケーション部７により特定された自車位置情報Ｄ３に基づいて、地図情報データベース３から自車位置情報Ｄ３に示される位置周辺の地物についての地物情報Ｄ１を取得する処理を行う。ここでは、地物情報取得部１６は、自車位置情報Ｄ３に示される位置を撮像位置とした場合に撮像装置２による撮像領域に含まれる地物であって、理論影演算部１５による演算に用いる立体物（各種の標識や信号機等）の位置、高さ、形状を含む地物情報Ｄ１を、地図情報データベース３の地物レイヤＬ３から抽出する処理を行う。
本実施形態においては、この地物情報取得部１６が、本発明における「地物情報取得手段」を構成する。
【００３８】
太陽位置演算部１３は、ＧＰＳ受信機４により取得された年月日及び時刻の情報に基づいてその時点での太陽１７の位置を演算する処理を行う。ここでは、太陽位置演算部１３は、ＧＰＳ受信機４及び地物情報取得部１６に接続されている。そして、太陽位置演算部１３は、ＧＰＳ受信機４により取得された年月日及び時刻の情報に基づいて、地物情報取得部１６において取得された各地物情報Ｄ１に含まれる各地物の位置（緯度及び経度）に対する太陽１７の方位及び高さ（地表面に対する角度）を演算する処理を行う。
本実施形態においては、この太陽位置演算部１３が、本発明における「太陽位置演算手段」を構成する。
【００３９】
理論影演算部１５は、太陽位置演算部１３による演算結果と、地物情報取得部１６により取得された地物情報Ｄ１とを用いて各地物の理論上の影Ｓａの位置及び形状を演算する処理を行う。すなわち、上記のとおり、太陽位置演算部１３の演算結果として、地物情報取得部１６において取得された各地物情報Ｄ１に含まれる各地物の位置（緯度及び経度）に対する太陽の方位及び高さの情報が理論影演算部１５に入力される。また、地物情報取得部１６からは取得された各地物情報Ｄ１として、各地物の位置、高さ、形状等の情報が理論影演算部１５に入力される。そして、理論影演算部１５は、これらの入力情報に基づいて、各地物についての理論上の影の位置及び形状を演算する。本実施形態においては、一例として、図７に示すように、緯度（ｙ軸）及び経度（ｘ軸）により表される絶対座標上において、各地物情報Ｄ１に含まれる位置、高さ及び形状の地物が太陽位置演算部１３により演算された方位及び高さ（地表面に対する角度）の仮想上の太陽からの平行光により、地表面（道路面）に投影される理論上の影Ｓａの位置及び形状を演算することにより行う。ここで、理論上の影Ｓａの位置及び形状としては、例えば、任意の基準点位置Ｓａ１（例えば地物の基準点と一致する位置）を緯度及び経度で表す基準位置情報と、この基準位置を基準としてその地物の影の外縁形状を表す輪郭線Ｓａ２上の各点の位置を表す輪郭線情報とにより表すことができる。
本実施形態においては、この理論影演算部１５が、本発明における「理論影演算手段」を構成する。
【００４０】
そして、本実施形態においては、これら太陽位置演算部１３、地物情報取得部１６及び理論影演算部１５が、本発明における「地物影演算手段１８」を構成している。
【００４１】
誤差算出部１９は、同一地物に対する理論影演算部１５による演算結果と影画像演算部１４による演算結果とを対比して、ロケーション部７により特定された自車位置情報Ｄ３の位置誤差（Δｘ，Δｙ）及び自車方位情報Ｄ４の方位誤差Δθを算出する処理を行う。この誤差算出部１９における処理については、後で具体例に従って詳細に説明する。
【００４２】
自車情報補正部２０は、誤差算出部１９により算出された位置誤差（Δｘ，Δｙ）に基づいて自車位置情報Ｄ３を補正し、方位誤差Δθに基づいて自車方位情報Ｄ４を補正する演算処理を行う。この自車情報補正部２０における処理については、後で具体例に従って詳細に説明する。
この自車情報補正部２０による補正後の自車位置情報Ｄ３ｃ及び補正後の自車方位情報Ｄ４ｃが、ロケーション部７により特定された自車位置情報Ｄ３及び自車方位情報Ｄ４より高精度に特定された自車位置及び自車方位の情報となる。したがって、本実施形態においては、影画像演算部１４、誤差算出部１９、及び自車情報補正部２０が、本発明における「自車情報認識手段２１」を構成する。この自車情報補正部２０による補正後の自車位置情報Ｄ３ｃ及び補正後の自車方位情報Ｄ４ｃは、ナビゲーション用演算処理部２２及びこれを介して車両制御用演算処理部２３へ出力される。
【００４３】
移動方向演算部２４は、画像認識部１１による画像情報Ｇの認識結果に基づいて複数の画像情報Ｇに含まれる同一の地物の影の画像ｇ１の時間経過に従う移動の状態を解析し、その解析結果に基づいて自車方位の変化方向を演算して変化方向情報Ｄ５として出力する処理を行う。ここでは、所定の時間間隔で連続的に取り込まれた画像情報Ｇに共通して含まれる一又は二以上の地物の影の画像ｇ１について、当該地物の影の画像ｇ１が時間経過に従って移動する方向を解析し、その解析結果に基づいて自車方位の変化方向を演算する処理を行う。この移動方向演算部２４における処理については、後で具体例に従って詳細に説明する。この移動方向演算部２４の演算結果として変化方向情報Ｄ５は、ナビゲーション用演算処理部２２及びこれを介して車両制御用演算処理部２３へ出力される。なお、移動方向演算部２４において自車方位の変化方向に加えてその変化量（変化角度等）をも演算して出力し、自車方位の認識に利用することも可能である。
本実施形態においては、この移動方向演算部２４が、本発明における「移動方向演算手段」を構成する。そして、本実施形態においては、この移動方向演算部２４も本発明における「自車情報認識手段２１」を構成する。
【００４４】
ナビゲーション用演算処理部２２は、自車情報補正部２０、移動方向演算部２４、地図情報データベース３、表示装置２５及び音声出力装置２６に接続されている。そして、ナビゲーション用演算処理部２２は、表示装置２５を用いた自車位置及び自車方位の表示や、表示装置２５及び音声出力装置２６を用いた進路案内のための演算処理を行う。具体的には、ナビゲーション用演算処理部２２は、地図情報データベース３から自車位置の周辺の地図情報Ｄ２を取得して表示装置２５に地図の画像を表示するとともに、当該地図の画像上に、自車情報補正部２０による補正後の自車位置情報Ｄ３ｃ及び補正後の自車方位情報Ｄ４ｃに基づいて自車マークを重ね合わせて表示する処理を行う。この際、移動方向演算部２４から出力された自車方位の変化方向情報Ｄ５に基づいた自車マークの表示の補正（自車方位や自車位置の補正）も行う。また、ナビゲーション用演算処理部２２は、公知の方法により出発地点と目的地点とを結ぶように予め設定された案内経路と補正後の自車位置情報Ｄ３ｃ及び自車方位情報Ｄ４ｃ等に基づいて、表示装置２５に進路を表示するとともに交差点等において音声出力装置２６により進路案内のための音声を出力する処理を行う。また、図示は省略するが、ナビゲーション用演算処理部２２は、この他にも、リモートコントローラやタッチパネルなどのユーザインタフェース等の、ナビゲーション装置として必要な公知の各種構成に接続されている。
本実施形態においては、表示装置２５が本発明における「表示手段」を構成し、表示装置２５及び音声出力装置２６が本発明における「進路案内手段」を構成する。
【００４５】
車両制御用演算処理部２３は、ナビゲーション用演算処理部２２に接続されており、このナビゲーション用演算処理部２２から、地図情報データベース３からの自車位置の周辺の地図情報Ｄ２、自車情報補正部２０による補正後の自車位置情報Ｄ３ｃ及び補正後の自車方位情報Ｄ４ｃ、及び移動方向演算部２４から出力された自車方位の変化方向情報Ｄ５が入力され、或いはこれらの情報をナビゲーション用演算処理部２２において加工した結果の情報が入力される。そして、車両制御用演算処理部２３は、ナビゲーション用演算処理部２２から入力されるこれらの情報に基づいて自車両８の走行制御を行う。具体的には、車両制御用演算処理部２３は、高精度に特定された自車位置及び自車方位と、自車位置の周囲の地図情報Ｄ２とに基づいて、例えばレーンキープや速度超過の防止等のための制御信号をブレーキ、ハンドル、スロットル等の車両の各部に対して出力する処理を行う。なお、車両制御用演算処理部２３を自車情報補正部２０、移動方向演算部２４及び地図情報データベース３と直接接続し、それらから直接的に自車位置情報Ｄ３、自車方位情報Ｄ４及び地図情報Ｄ２等を取得する構成とすることも可能である。
【００４６】
外部状況判定部２７は、ＧＰＳ受信機４により取得された年月日及び時刻の情報、並びに明るさセンサ２８により取得された自車両８の外部の明るさ情報に基づいて、自車両８の外部の状況が、地物の影の画像ｇ１を認識できる状況であるか否かを判定する処理を行う。そして、地物の影の画像ｇ１を認識できる状況と判定した場合には、影画像演算部１４、理論影演算部１５、地物情報取得部１６、太陽位置演算部１３等に対して処理の実行を許可する信号を出力し、地物の影の画像ｇ１を認識できない状況と判定した場合には、これらに対して処理の実行を禁止する信号を出力する。
【００４７】
次に、本実施形態に係る自車情報認識装置１における自車位置及び自車方位の認識処理の具体例について、図６に示すフローチャートに従って説明する。ここでは、図２に示すように、走行中の自車両８から前方にある案内標識Ｃ１の影Ｓ１の画像を認識して自車位置情報Ｄ３及び自車方位情報Ｄ４を補正する場合を例として説明する。なお、この図６に示すフローチャートの処理は、所定の時間間隔（例えば１０〜５０ｍｓ程度）で連続的に繰り返し行う。
【００４８】
図６に示すように、自車情報認識装置１は、まず、外部状況判定部２７において、外部状況の判定を行う（ステップ＃０１）。具体的には、自車情報認識装置１は、ＧＰＳ受信機４により取得された年月日及び時刻の情報、並びに明るさセンサ２８により取得された自車両８の外部の明るさ情報に基づいて、自車両８の外部の状況が、地物の影の画像ｇ１を認識できる状況であるか否かを判定する処理を行う。すなわち、自車情報認識装置１は、現在の年月日に基づいて現在時刻が太陽１７の出ている時刻であり、なおかつ自車両８の外部の明るさが地物の影ができるのに十分な明るさである場合には地物の影の画像ｇ１を認識できる状況であると判定する。ここで、自車両８の外部の状況が、地物の影の画像ｇ１を認識できる状況でないと判定された場合には（ステップ＃０１：ＮＧ）、以降の処理へは進まない。
【００４９】
そして、外部状況判定部２７において自車両８の外部の状況が、地物の影の画像ｇ１を認識できる状況であると判定された場合には（ステップ＃０１：ＯＫ）、次に、ロケーション部７において、自車位置情報Ｄ３及び自車方位情報Ｄ４を取得する（ステップ＃０２）。具体的には、上記のとおり、ＧＰＳ受信機４により受信されるＧＰＳ衛星１２からの情報や、方位センサ５及び距離センサ６からの出力に基づいて自車両８の現在位置や方位を特定し、更に地図情報データベース３から取得した地図情報Ｄ２に基づいてマップマッチングを行って自車両８の位置及び方位が道路９上に合致するように現在位置や方位の修正を行うことにより、自車位置情報Ｄ３及び自車方位情報Ｄ４を取得する。
【００５０】
次に、地物情報取得部１６において自車位置周辺の立体物の地物情報Ｄ１を取得する（ステップ＃０３）。具体的には、ロケーション部７により特定された自車位置情報Ｄ３に基づいて、当該自車位置情報Ｄ３に示される位置を撮像位置とした場合に撮像装置２による撮像領域に含まれる立体物の地物情報Ｄ１を、地図情報データベース３の地物レイヤＬ３から抽出して取得する。ここで取得される地物情報Ｄ１の内容としては、各地物の位置、高さ、及び形状の情報が含まれる。図２の例に示す状況では、地物情報Ｄ１として案内標識Ｃ１の位置（緯度及び経度）、道路９の路面からの高さ、及び形状の情報が取得される。なお、このステップ＃０３において複数の地物情報Ｄ１が取得されることもあるが、ここでは説明の簡略化のために一の案内標識Ｃ１の地物情報Ｄ１のみが取得された場合を例として説明する。
このステップ＃０３の処理により地物情報Ｄ１が取得された場合には（ステップ＃０４：ＹＥＳ）、ステップ＃０５以降の処理に進み、地物情報Ｄ１が取得されない場合には、すなわち撮像装置２による撮像領域に立体物の地物情報Ｄ１が含まれていない場合には（ステップ＃０４：ＮＯ）、処理はステップ＃０１へ戻る。
【００５１】
ステップ＃０３の処理により地物情報Ｄ１が取得された場合には（ステップ＃０４：ＹＥＳ）、太陽位置演算部１３において各地物の位置に対する太陽の方位及び高さを演算する（ステップ＃０５）。具体的には、ＧＰＳ受信機４により取得された年月日及び時刻の情報に基づいて、地物情報取得部１６において取得された各地物情報Ｄ１に含まれる各地物の位置（緯度及び経度）に対応する太陽の方位及び高さ（地表面に対する角度）をそれぞれ演算する。これにより、ステップ＃０３の処理により取得された各地物情報Ｄ１に対応する太陽の方位及び高さが演算される。図２に示す例では、案内標識Ｃ１の位置（緯度及び経度）を基準とする太陽１７の方位及び高さ（地表面に対する角度）が演算される。
【００５２】
そして、理論影演算部１５において、ステップ＃０３の処理により取得された各地物情報Ｄ１に示される各地物の理論上の影Ｓａの位置及び形状を演算する（ステップ＃０６）。具体的には、太陽位置演算部１３による演算結果と、地物情報取得部１６により取得された地物情報Ｄ１とを用いて各地物の理論上の影Ｓａの位置及び形状を演算する。図２に示す例では、案内標識Ｃ１の位置（緯度及び経度）を基準とする太陽１７の方位及び高さ（地表面に対する角度）と、地物情報取得部１６により取得された案内標識Ｃ１の地物情報Ｄ１に含まれる位置、高さ、及び形状の情報とに基づいて、図７に示すように、緯度（ｙ軸）及び経度（ｘ軸）により表される絶対座標上において、仮想的な太陽からの平行光により、地表面（道路面）に投影される案内標識Ｃ１の理論上の影Ｓａの位置及び形状を演算する。本例では、案内標識Ｃ１の理論上の影Ｓａの位置及び形状は、図中左上の脚部先端に設定された基準点位置Ｓａ１と、案内標識Ｃ１の影の外縁形状を表す輪郭線上の各点の位置を表す輪郭線Ｓａ２とにより表されている。なお、ここでは案内標識Ｃ１の理論上の影Ｓａの基準点位置Ｓａ１は、案内標識Ｃ１の地物情報Ｄ１の基準点の位置（地物情報Ｄ１の位置情報として示される位置）と一致する位置としている。
【００５３】
また、ステップ＃０３の処理により地物情報Ｄ１が取得された場合には（ステップ＃０４：ＹＥＳ）、画像情報取得部１０において撮像装置２により撮像した画像情報Ｇを取り込む(ステップ＃０７)。図２に示す例では、図３に示すような画像情報Ｇが取り込まれる。
【００５４】
次に、画像認識部１１において画像情報Ｇに含まれる地物の影の画像ｇ１を認識する(ステップ＃０８)。具体的には、二値化処理やエッジ抽出処理等による輪郭抽出の後、パターン認識処理等により、画像情報Ｇの中から地物の影の画像ｇ１を抽出する処理を行う。図３に示す画像情報Ｇからは、図４に示すように案内標識Ｃ１の影の画像ｇ１が抽出される。
【００５５】
その後、影画像演算部１４において、ロケーション部７で取得した自車位置情報Ｄ３に示される位置及び自車方位情報Ｄ４に示される方位に基づいて定まる撮像装置２の位置及び方位をそれぞれ画像情報Ｇの撮像位置及び撮像方位とした場合の画像認識部１１で認識された地物の影（以下「ロケーション部基準の影Ｓｂ」という。）の位置及び形状を演算する(ステップ＃０９)。本例では、図２に示すように撮像装置２は自車両８の前方に向けて所定の上下方向角度で固定されている。そして、この撮像装置２により撮像された図３に示す画像情報Ｇから抽出された案内標識Ｃ１の影の画像ｇ１は、図４に示すような画像情報Ｇ中の位置及び形状となっている。したがって、このような自車両８に対する撮像装置２の固定位置及び撮像方向と、案内標識Ｃ１の影の画像ｇ１の画像情報Ｇ中の位置及び形状とに基づいて、自車位置情報Ｄ３及び自車方位情報Ｄ４を自車両８の位置及び方位とした場合における案内標識Ｃ１のロケーション部基準の影Ｓｂの位置及び形状を演算できる。この際、本例では理論影演算部１５による演算結果との対比を容易にするため、図７に示すように、緯度（ｙ軸）及び経度（ｘ軸）により表される絶対座標上において、案内標識Ｃ１のロケーション部基準の影Ｓｂの位置及び形状を演算する。本例では、案内標識Ｃ１のロケーション部基準の影Ｓｂの位置及び形状は、図中左上の脚部先端に設定された基準点位置Ｓｂ１と、案内標識Ｃ１の影の外縁形状を表す輪郭線上の各点の位置を表す輪郭線Ｓｂ２とにより表されている。
【００５６】
そして、誤差算出部１９において、同一地物に対する理論影演算部１５による演算結果と影画像演算部１４による演算結果とを対比して、ロケーション部７により特定された自車位置情報Ｄ３の位置誤差（Δｘ，Δｙ）及び自車方位情報Ｄ４の方位誤差Δθを算出する(ステップ＃１０)。本例では、図７に示すように、理論影演算部１５において演算された案内標識Ｃ１の理論上の影Ｓａの位置及び形状と、影画像演算部１４において演算された案内標識Ｃ１のロケーション部基準の影Ｓｂの位置及び形状とを対比して、これらの位置及び方位（角度）の差に基づいて自車位置情報Ｄ３の位置誤差（Δｘ，Δｙ）及び自車方位情報Ｄ４の方位誤差Δθを算出する。すなわち、理論上の影Ｓａの位置及び形状は、地図情報データベース３に格納された地物情報Ｄ１と仮想的な太陽の位置とに基づいて演算されたものであるので、ほぼ正確な影の位置及び形状を表している。一方、ロケーション部基準の影Ｓｂの位置及び形状は、ロケーション部７により特定された自車位置情報Ｄ３及び自車方位情報Ｄ４を自車両８の位置及び方位とした場合における影の位置及び形状を表しており、自車位置情報Ｄ３の位置誤差（Δｘ，Δｙ）及び自車方位情報Ｄ４の方位誤差Δθを含んでいる。したがって、この理論上の影Ｓａの位置及び形状に対するロケーション部基準の影Ｓｂの位置及び形状のずれがロケーション部７により特定された自車位置情報Ｄ３及び自車方位情報Ｄ４の誤差として算出できる。
【００５７】
ここでは、誤差算出部１９は、まず、理論上の影Ｓａとロケーション部基準の影Ｓｂとの方位（角度）の差、すなわち方位誤差Δθを算出する。具体的には、理論上の影Ｓａとロケーション部基準の影Ｓｂとの対応する部分、特に輪郭線Ｓａ２及びＳｂ２の直線状の部分の絶対座標上での方位（角度）の差Δθを、理論上の影Ｓａを基準として算出することにより行う。
【００５８】
次に、誤差算出部１９は、ロケーション部７により特定された自車位置情報Ｄ３に示される自車位置Ｍを基準としてロケーション部基準の影Ｓｂの方位誤差Δθを修正し、理論上の影Ｓａと方位誤差Δθの修正後のロケーション部基準の影Ｓｂとの対応する点の位置の差、すなわち位置誤差（Δｘ，Δｙ）を算出する。具体的には、理論上の影Ｓａの基準点位置Ｓａ１の座標（ｘ０，ｙ０）と、方位誤差Δθの修正後のロケーション部基準の影Ｓｂの基準点位置Ｓｂ１´の座標（ｘ１，ｙ１）との差を、理論上の影Ｓａの基準点位置Ｓａ１の座標（ｘ０，ｙ０）を基準として算出することにより行う。すなわち、位置誤差（Δｘ，Δｙ）は、経度方向の位置誤差Δｘ＝ｘ０−ｘ１、緯度方向の位置誤差Δｙ＝ｙ０−ｙ１となる。
【００５９】
次に、自車情報補正部２０において、誤差算出部１９により算出された位置誤差（Δｘ，Δｙ）に基づいて自車位置情報Ｄ３を補正し、方位誤差Δθに基づいて自車方位情報Ｄ４を補正する（ステップ＃１１）。本例では、自車位置情報Ｄ３の補正については、ロケーション部７により特定された自車位置情報Ｄ３に示される自車位置Ｍの座標を（Ｘ，Ｙ）とすると、これに位置誤差（Δｘ，Δｙ）を加えた座標（Ｘ＋Δｘ，Ｙ＋Δｙ）を補正後の自車位置情報Ｄ３ｃとする処理を行う。また、自車方位情報Ｄ４の補正については、ロケーション部７により特定された自車方位情報Ｄ４に示される自車方位をΘとすると、これに方位誤差Δθを加えた方位Θ＋Δθを補正後の自車方位情報Ｄ４ｃとする処理を行う。
【００６０】
そして、このようにして演算された自車情報補正部２０による補正後の自車位置情報Ｄ３ｃ及び補正後の自車方位情報Ｄ４ｃは、ナビゲーション用演算処理部２２及びこれを介して車両制御用演算処理部２３へ出力する（ステップ＃１２）。
これにより、このような補正後の自車位置情報Ｄ３ｃ及び補正後の自車方位情報Ｄ４ｃの入力を受けるナビゲーション用演算処理部２２や車両制御用演算処理部２３においては、自車位置及び自車方位をより高精度に認識することができる。したがって、ナビゲーション用演算処理部２２においてより正確に自車位置及び自車方位の表示や進路案内を行い、或いは車両制御用演算処理部２３においてより正確に自車両８の走行制御を行うことができる。
【００６１】
また、ステップ＃０８により画像情報Ｇに含まれる地物の影の画像ｇ１を認識した後は、移動方向演算部２４において、当該画像情報Ｇの認識結果に基づいて複数の画像情報Ｇに含まれる地物の影の画像ｇ１の時間経過に従う移動の状態を解析する（ステップ＃１３）。そして、この解析結果に基づいて自車方位の変化方向を演算し、その演算結果は自車方位の変化方向情報Ｄ５としてナビゲーション用演算処理部２２及びこれを介して車両制御用演算処理部２３へ出力する（ステップ＃１４）。この移動方向演算部２４によるステップ＃１３及びステップ＃１４の処理については、図８及び図９に基づいて以下に説明する。
【００６２】
例えば、図８に示すように、自車両８が走行する道路９の前方に速度標識Ｃ２の影Ｓ２が存在する場合、撮像装置２により撮像された画像情報Ｇからは、例えば図９（ａ）に示すような影の画像ｇ１が抽出される。そして、ステップ＃０７及びステップ＃０８の処理は、上記のとおり所定の時間間隔で連続的に繰り返し行われるので、連続的に撮像された複数枚の画像情報Ｇから、同一の地物の影の画像ｇ１が時間経過に従ってどのように移動するかを解析することができる。例えば、図９（ａ）の後に撮像された画像情報Ｇから図９（ｂ）に示されるような影の画像ｇ１が抽出された場合、速度標識Ｃ２の影の画像ｇ１は時計方向に回転しつつ接近する方向に移動していることから、自車方位は影の画像ｇ１の移動方向と反対の左方向に変化していることがわかる。一方、図９（ａ）の後に撮像された画像情報Ｇから図９（ｃ）に示されるような影の画像ｇ１が抽出された場合、速度標識Ｃ２の影の画像ｇ１は反時計方向に回転しつつ接近する方向に移動していることから、自車方位は影の画像ｇ１の移動方向と反対の右方向に変化していることがわかる。このような解析結果に基づけば、自車方位の変化方向を求めることができる。なお、本例では、時間的に前後する２枚の画像情報Ｇに基づいて自車方位の変化方向を演算する場合について説明したが、３枚以上の連続する画像情報Ｇに基づいて変化の傾向を解析すれば、より正確に自車方位の変化方向を演算することができる。
【００６３】
このようにして、移動方向演算部２４により自車方位の変化方向を演算し、その演算結果を自車方位の変化方向情報Ｄ５として出力することにより、この変化方向情報Ｄ５の入力を受けるナビゲーション用演算処理部２２や車両制御用演算処理部２３においては、自車両８の進行方向をより高精度に特定することができ、自車両８の進路の推測も良好に行うことができる。例えば、図８に示すように、自車両８が走行する道路９の前方に狭角分岐がある場合においても、自車方位の変化方向情報Ｄ５に基づいて自車両８が左右のいずれの方向に進行するかを良好に推測することができる。したがって、ナビゲーション用演算処理部２２においてより正確に自車位置及び自車方位の表示や進路案内を行い、或いは車両制御用演算処理部２３においてより正確に自車両８の走行制御を行うことができる。
【００６４】
〔その他の実施形態〕
（１）上記実施形態においては、地物影演算手段を構成する理論影演算部１５において演算した理論上の影Ｓａの位置及び形状と、影画像演算手段を構成する影画像演算部１４において演算したロケーション部基準の影Ｓｂの位置及び形状とを絶対座標上で対比することにより、自車位置情報Ｄ３及び自車方位情報Ｄ４の誤差を算出して補正する場合について説明した。しかし、本発明の適用範囲はこれに限定されるものではない。例えば、以下のような自車情報認識装置１の構成とすることも好適な実施形態の一つである。すなわち、この自車情報認識装置１は、地物影演算手段において、年月日及び時刻の情報並びに地物情報Ｄ１に加えて、ロケーション部７からの自車位置情報Ｄ３及び自車方位情報Ｄ４を取得する。そして、これらの情報に基づいて、自車位置情報Ｄ３及び自車方位情報Ｄ４に示される自車位置及び自車方位から仮想的な撮像装置により撮像した場合の地物の理論上の影の画像情報を生成する。一方、画像認識手段において、撮像装置２により撮像した画像情報Ｇから同一の地物についての実際の影の画像情報を生成する。そして、理論上の影の画像情報中の影の位置と実際の影の画像情報中の影の位置とを対比することにより、自車位置情報Ｄ３及び自車方位情報Ｄ４の誤差を算出して補正する。すなわち、この自車情報認識装置１は、画像情報Ｇ中の影の位置に基づいて自車位置情報Ｄ３及び自車方位情報Ｄ４を補正する構成となっている。
【００６５】
（２）上記実施形態においては、同一地物に対する理論影演算部１５による演算結果と影画像演算部１４による演算結果とを対比することにより、ロケーション部７により特定された自車位置情報Ｄ３の位置誤差（Δｘ，Δｙ）及び自車方位情報Ｄ４の方位誤差Δθを算出し、自車位置情報Ｄ３及び自車方位情報Ｄ４の双方を補正して認識する場合について説明した。しかし、本発明の実施形態はこれに限定されるものではなく、上記実施形態と同様の方法により自車位置情報Ｄ３の位置誤差（Δｘ，Δｙ）又は自車方位情報Ｄ４の方位誤差Δθのいずれか一方を算出し、自車位置情報Ｄ３又は自車方位情報Ｄ４のいずれか一方のみを補正して認識することも好適な実施形態の一つである。
【００６６】
（３）上記の実施形態においては、太陽位置演算部１３が、各地物情報Ｄ１に含まれる各地物の位置（緯度及び経度）に対する太陽の方位及び高さ（地表面に対する角度）を演算する処理を行う場合について説明した。しかし、自車位置の周辺の撮像領域内という限られた範囲内では、いずれの位置であっても太陽の方位及び高さはほぼ同じと考えることができる。そこで、演算処理の簡略化のために、このロケーション部７により取得された自車位置情報Ｄ３に示される自車位置や、任意の一の地物情報Ｄ１に含まれる地物の位置を基準として太陽の方位及び高さを演算する処理を行うことも好適な実施形態の一つである。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施形態に係る自車情報認識装置並びにこれを備えたナビゲーション装置及び車両制御装置のハードウエア構成の概略を示すブロック図
【図２】本発明の実施形態に係る自車情報認識装置が搭載された自車両及びその周囲の状態の一例を示す図
【図３】図２に示す自車両から撮像した画像情報を示す図
【図４】図３に示す画像情報から案内標識の影のみを抽出した画像を示す図
【図５】本発明の実施形態に係る自車情報認識装置の地図情報データベースに格納されている地図情報及び地物情報の内容を示す説明図
【図６】本発明の実施形態に係る自車情報認識装置における自車位置及び自車方位の認識処理の具体例を示すフローチャート
【図７】本発明の実施形態に係る自車情報認識装置において演算した案内標識の理論上の影及びロケーション部基準の影の位置及び形状を、緯度（ｙ軸）及び経度（ｘ軸）により表される絶対座標上に表した説明図
【図８】本発明の実施形態に係る自車情報認識装置が搭載された自車両及びその周囲の状態のもう一つの例を示す図
【図９】図８に示す自車両から撮像した画像情報が時間経過に従って変化する様子を示す図
【符号の説明】
【００６８】
１：自車情報認識装置
２：撮像装置
３：地図情報データベース（地物情報格納手段、地図情報格納手段）
７：ロケーション部（自車位置情報取得手段、自車方位情報取得手段）
８：自車両
１０：画像情報取得部（画像情報取得手段）
１１：画像認識部（影画像認識手段）
１３：太陽位置演算部（太陽位置演算手段）
１４：影画像演算部（影画像演算手段）
１５：理論影演算部（理論影演算手段）
１６：地物情報取得部（地物情報取得手段）
１８：地物影演算手段
１９：誤差算出部
２０：自車情報補正部
２１：自車情報認識手段
２２：ナビゲーション用演算処理部
２３：車両制御用演算処理部
２４：移動方向演算部（移動方向演算手段）
２５：表示装置（表示手段、進路案内手段）
２６：音声出力装置（進路案内手段）
Ｇ：画像情報
ｇ１：地物の影の画像
Ｄ１：地物情報
Ｄ２：地図情報
Ｄ３：自車位置情報
Ｄ３ｃ：補正後の自車位置情報
Ｄ４：自車方位情報
Ｄ４ｃ：補正後の自車方位情報
Ｄ５：変化方向情報
Ｓａ：理論上の影
Ｓｂ：ロケーション部基準の影
【特許請求の範囲】
【請求項１】
自車両に搭載された撮像装置により撮像した画像情報を取り込む画像情報取得手段と、
自車位置情報を取得する自車位置情報取得手段と、
地物の位置及び高さの情報を含む地物情報を格納する地物情報格納手段と、
年月日及び時刻の情報並びに前記地物情報を用いて前記地物の影の位置及び形状を演算する地物影演算手段と、
前記画像情報に含まれる地物の影の画像を認識する影画像認識手段と、
同一地物に対する前記地物影演算手段による演算結果と前記影画像認識手段による認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識手段と、
を備える自車情報認識装置。
【請求項２】
前記地物影演算手段は、
前記年月日及び時刻の情報に基づいて太陽の位置を演算する太陽位置演算手段と、
前記自車位置情報に示される位置周辺の地物についての前記地物情報を前記地物情報格納手段から取得する地物情報取得手段と、
前記太陽位置演算手段による演算結果と前記地物情報取得手段により取得された前記地物情報とを用いて前記地物の理論上の影の位置及び形状を演算する理論影演算手段と、
を備える請求項１に記載の自車情報認識装置。
【請求項３】
自車方位情報を取得する自車方位情報取得手段を備え、
前記地物影演算手段は、年月日及び時刻の情報並びに前記地物情報に基づいて、地球側に固定された絶対座標上における前記地物の理論上の影の位置及び形状を演算し、
前記自車情報認識手段は、前記影画像認識手段による認識結果に基づいて、前記自車位置情報に示される位置及び前記自車方位情報に示される方位に基づいて定まる撮像装置の位置及び方位をそれぞれ撮像位置及び撮像方位とした場合の前記絶対座標上における前記地物の影の位置及び形状を演算する影画像演算手段を備え、前記地物影演算手段による演算結果と前記影画像演算手段による演算結果とを対比して前記自車位置情報の位置誤差及び前記自車方位情報の方位誤差の一方又は双方を演算し、前記位置誤差に基づいて前記自車位置情報を補正し、前記方位誤差に基づいて前記自車方位情報を補正して、自車位置及び自車方位の一方又は双方の認識を行う請求項１又は２に記載の自車情報認識装置。
【請求項４】
画像情報取得手段は、前記撮像装置により撮像した画像情報を所定の時間間隔で複数取り込み、
前記自車情報認識手段は、前記影画像認識手段による認識結果に基づいて前記複数の画像情報に含まれる同一の地物の影の画像の時間経過に従う移動の状態を解析し、その解析結果に基づいて少なくとも自車方位の変化方向を演算する移動方向演算手段を備え、この移動方向演算手段による演算結果に基づいて自車方位の認識を行う請求項１から３の何れか一項に記載の自車情報認識装置。
【請求項５】
前記請求項１から４の何れか一項に記載の自車情報認識装置と、地図情報を格納した地図情報格納手段と、前記地図情報格納手段から取得した地図上に自車マークを重ね合わせて表示する表示手段とを備え、
前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方に基づいて、前記地図上に前記自車マークを重ね合わせて表示するナビゲーション装置。
【請求項６】
前記請求項１から４の何れか一項に記載の自車情報認識装置と、地図情報を格納した地図情報格納手段と、所定の誘導経路に従って進路案内を行う進路案内手段とを備え、
前記地図情報格納手段から取得した地図情報と、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方とに基づいて前記進路案内を行うナビゲーション装置。
【請求項７】
前記請求項１から４の何れか一項に記載の自車情報認識装置と、地図情報を格納した地図情報格納手段とを備え、
前記地図情報格納手段から取得した地図情報と、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方とに基づいて、車両の走行制御を行う車両制御装置。
【請求項８】
自車両に搭載された撮像装置により撮像した画像情報を取り込む画像情報取得ステップと、
自車位置情報を取得する自車位置情報取得ステップと、
年月日及び時刻の情報並びに地物情報格納手段に格納された地物情報を用いて地物の影の位置及び形状を演算する地物影演算ステップと、
前記画像情報に含まれる地物の影の画像を認識する影画像認識ステップと、
同一地物に対する前記地物影演算ステップによる演算結果と前記影画像認識ステップによる認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識ステップと、
を備える自車情報認識方法。
【請求項１】
自車両に搭載された撮像装置により撮像した画像情報を取り込む画像情報取得手段と、
自車位置情報を取得する自車位置情報取得手段と、
地物の位置及び高さの情報を含む地物情報を格納する地物情報格納手段と、
年月日及び時刻の情報並びに前記地物情報を用いて前記地物の影の位置及び形状を演算する地物影演算手段と、
前記画像情報に含まれる地物の影の画像を認識する影画像認識手段と、
同一地物に対する前記地物影演算手段による演算結果と前記影画像認識手段による認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識手段と、
を備える自車情報認識装置。
【請求項２】
前記地物影演算手段は、
前記年月日及び時刻の情報に基づいて太陽の位置を演算する太陽位置演算手段と、
前記自車位置情報に示される位置周辺の地物についての前記地物情報を前記地物情報格納手段から取得する地物情報取得手段と、
前記太陽位置演算手段による演算結果と前記地物情報取得手段により取得された前記地物情報とを用いて前記地物の理論上の影の位置及び形状を演算する理論影演算手段と、
を備える請求項１に記載の自車情報認識装置。
【請求項３】
自車方位情報を取得する自車方位情報取得手段を備え、
前記地物影演算手段は、年月日及び時刻の情報並びに前記地物情報に基づいて、地球側に固定された絶対座標上における前記地物の理論上の影の位置及び形状を演算し、
前記自車情報認識手段は、前記影画像認識手段による認識結果に基づいて、前記自車位置情報に示される位置及び前記自車方位情報に示される方位に基づいて定まる撮像装置の位置及び方位をそれぞれ撮像位置及び撮像方位とした場合の前記絶対座標上における前記地物の影の位置及び形状を演算する影画像演算手段を備え、前記地物影演算手段による演算結果と前記影画像演算手段による演算結果とを対比して前記自車位置情報の位置誤差及び前記自車方位情報の方位誤差の一方又は双方を演算し、前記位置誤差に基づいて前記自車位置情報を補正し、前記方位誤差に基づいて前記自車方位情報を補正して、自車位置及び自車方位の一方又は双方の認識を行う請求項１又は２に記載の自車情報認識装置。
【請求項４】
画像情報取得手段は、前記撮像装置により撮像した画像情報を所定の時間間隔で複数取り込み、
前記自車情報認識手段は、前記影画像認識手段による認識結果に基づいて前記複数の画像情報に含まれる同一の地物の影の画像の時間経過に従う移動の状態を解析し、その解析結果に基づいて少なくとも自車方位の変化方向を演算する移動方向演算手段を備え、この移動方向演算手段による演算結果に基づいて自車方位の認識を行う請求項１から３の何れか一項に記載の自車情報認識装置。
【請求項５】
前記請求項１から４の何れか一項に記載の自車情報認識装置と、地図情報を格納した地図情報格納手段と、前記地図情報格納手段から取得した地図上に自車マークを重ね合わせて表示する表示手段とを備え、
前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方に基づいて、前記地図上に前記自車マークを重ね合わせて表示するナビゲーション装置。
【請求項６】
前記請求項１から４の何れか一項に記載の自車情報認識装置と、地図情報を格納した地図情報格納手段と、所定の誘導経路に従って進路案内を行う進路案内手段とを備え、
前記地図情報格納手段から取得した地図情報と、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方とに基づいて前記進路案内を行うナビゲーション装置。
【請求項７】
前記請求項１から４の何れか一項に記載の自車情報認識装置と、地図情報を格納した地図情報格納手段とを備え、
前記地図情報格納手段から取得した地図情報と、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方とに基づいて、車両の走行制御を行う車両制御装置。
【請求項８】
自車両に搭載された撮像装置により撮像した画像情報を取り込む画像情報取得ステップと、
自車位置情報を取得する自車位置情報取得ステップと、
年月日及び時刻の情報並びに地物情報格納手段に格納された地物情報を用いて地物の影の位置及び形状を演算する地物影演算ステップと、
前記画像情報に含まれる地物の影の画像を認識する影画像認識ステップと、
同一地物に対する前記地物影演算ステップによる演算結果と前記影画像認識ステップによる認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識ステップと、
を備える自車情報認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−２８４２８１（Ｐ２００６−２８４２８１Ａ）
【公開日】平成１８年１０月１９日（２００６．１０．１９）
【国際特許分類】
【出願番号】特願２００５−１０２３９４（Ｐ２００５−１０２３９４）
【出願日】平成１７年３月３１日（２００５．３．３１）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１８年１０月１９日（２００６．１０．１９）
【国際特許分類】
【出願日】平成１７年３月３１日（２００５．３．３１）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]