地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
【課題】地物の撮像情報と地図データベースに記憶された地物に関する道路特徴情報とに基づいて、地物を認識する地物認識装置において、例えば、区画線としての実線と破線とを誤って識別するような問題を発生することがない地物認識装置を得る。
【解決手段】路面を撮像した画像情報を逐次取り込む画像情報取得手段と、撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、地物に対応する認識対象物の画像を認識する画像情報認識手段と道路特徴情報と、認識対象物の画像の画像情報中の配置に基づいて地物を認識する地物認識装置を構成するに、車両の走行速度情報Ｖを取得する速度情報取得手段１０１を備え、走行速度情報が所定の値より低い場合に認識対象物の認識を停止する。
【解決手段】路面を撮像した画像情報を逐次取り込む画像情報取得手段と、撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、地物に対応する認識対象物の画像を認識する画像情報認識手段と道路特徴情報と、認識対象物の画像の画像情報中の配置に基づいて地物を認識する地物認識装置を構成するに、車両の走行速度情報Ｖを取得する速度情報取得手段１０１を備え、走行速度情報が所定の値より低い場合に認識対象物の認識を停止する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を逐次取り込む画像情報取得手段と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置に基づいて、前記地物を認識する地物認識装置に関するとともに、この種の地物認識装置で使用される地物認識方法、さらには、当該地物認識装置を装備した自車位置認識装置及びナビゲーション装置に関する。
【背景技術】
【０００２】
近年、例えばナビゲーション装置等において、走行中の車両の位置を特定するために、ＧＰＳ（全地球測位システム）からの電波信号を用いた位置特定の方法が広く用いられている。しかし、このＧＰＳによる車両の位置特定の精度は、数ｍ程度の誤差を含んでおり、それ以上の精度での詳細な位置を特定することは困難であった。そこで、このＧＰＳによる位置特定の精度の悪さを補うために、これまでにも様々な技術が提案されている。
【０００３】
このような技術として、特許文献１には、車両に搭載された撮像装置により撮像された画像情報について、認識部が画像の輝度等に基づいて区画線を認識し、それにより車両が走行中の道路が一般道か高速道かを判定する技術が開示されている。
【０００４】
この技術では、例えば、撮像した画像中の一定の広さを有するウィンドウ内の輝度が一定の基準を超えている部分を区画線の画像として認識する。これにより認識された区画線は、その長さ、区画線間の破断部部分の長さ、区画線の繰り返しピッチといった特徴抽出データとして判定部に出力される。そして、判定部では、一般道と高速道とでそれぞれ規格化された区画線の設置基準に基づいて、走行中の道路が一般道か高速道かを判定できる。結果、この技術によれば、車両が走行中の道路が一般道か高速道かに応じて、車両の速度制御等を行うことができる。
【０００５】
しかしながら、上記技術では、走行中の道路の中における車両の位置、例えば、走行方向に複数の車線がある道路を車両が走行中である場合において、車両がどの車線を走行しているか等のように、走行中の道路の中における位置等の詳細な位置を特定することは不可能である。
【０００６】
そこで、出願人は、特許文献２において、撮像装置から得られる画像の画像認識を実行するに際して、撮像位置にある地物の情報（道路特徴情報と呼んでいる）に基づいて画像認識を実行し、認識対象物を精度良く個々に認識するとともに、認識された地物の位置情報と撮像装置の位置との関係とに基づいて、自車の詳細な位置を特定することを提案している。
この特許文献２にあっては、道路の長手方向に沿った位置の特定おいては、マンホール、停止線、標識等、道路に沿って設けられてない地物が使用される。道路の幅方向に沿った位置の特定においては、道路に沿って設けられている区画線（実線、破線）等の地物が使用される。この例にあっては、道路特徴情報と、認識対象物の画像の画像情報中の位置との関係に基づいて、地物を認識する。
【０００７】
この例における自車位置の特定は、例えば、本明細書図１０に示されるように、歩道Ｉ１から分離体Ｉ２に渡って、区画線Ｐ１ａ，Ｐ２ａ，Ｐ２ｂ，Ｐ１ｂが存在し、区画線間に走行方向別通行区分Ｐ３がある場合、これら区画線及び走行方向別通行区画を個別に識別認識し、その位置関係から自車位置を特定するものとなる。従って、この位置特定手法では、あくまでも、地物個々が良好に認識されることを前提とする。即ち、例えば、自車が走行している走行線あるいは道路幅方向の位置を特定しようとすると、少なくとも区画線である実線と破線とは正確に識別認識される必要がある。
【０００８】
区画線である実線と破線との識別認識は、特許文献２の図７に示すような撮像画像が得られた場合は比較的容易であるが、本願明細書の図９（ａ）に示すような撮像画像が得られた場合は、破線の認識が困難となる場合がある。この図にあっては、区画線の画像ＧＰ２ｂの認識において、破断部が画像奥側に位置するため、この区画線Ｐ２ｂが破線なのか実線なのか識別が困難となる場合がある。そこで、撮像装置により逐次撮像される複数の画像（複数のフレーム画像）に関して、同一の認識対象物を順次認識し、複数フレーム間に渡って、同一と認められる認識対象物（この場合は区画線）に関して、破断部が認められる当該区画線を破線と認識し、破断部が認められない当該区画線を実線と認識する認識方法も採用されている。
【０００９】
【特許文献１】実開平５−２３２９８号公報（第６−８頁、第１−３図）
【特許文献２】特開２００６−２０８２２３号公報（図４）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、先に説明したように、実線と破線との識別を複数フレームに渡って行う構成を採用したとしても、車両が停止している場合、あるいは極めて低速で走行している場合には、撮像装置により取り込まれる画像に実質的な変化がないため、結果的に継続的に破断部の無い部位を撮像し続けたり、破断部を継続的に撮像することになり、破線を実線と識別したり、破線が存在するにも拘らず、破線が無いと識別してしまうことがあることが判明した。
【００１１】
また、車両が何らかの理由から、例えば、道路上に描かれたペイント表示の一種である走行方向通行区分上で停車した場合に、画像認識側では区画線上で車両が停車したと認識し、車線間に渡って走行する、所謂跨ぎが行われたと誤認識する場合があることが判明した。
【００１２】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、地物の撮像情報と地図データベースに記憶された地物に関する道路特徴情報とに基づいて、地物を認識する地物認識装置において、例えば、区画線としての実線と破線とを誤って識別するような問題を発生することがない地物認識装置を得ることにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するための、
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を逐次取り込む画像情報取得手段と、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と
前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置に基づいて、前記地物を認識する地物認識装置の第１の特徴構成は、請求項１に記載されているように、
車両の走行速度情報を取得する速度情報取得手段を備え、
取得された前記走行速度情報が所定の値より低い場合に、前記画像情報認識手段による前記認識対象物の認識を停止する認識補正処理制御手段を備えたことにある。
【００１４】
この地物認識装置にあっても、撮像装置側から得られる画像情報において地物に対応する認識対象物の画像を認識する画像認識を実行するとともに、画像認識の結果認識された認識対象物と、地物に関す情報を含む道路特徴情報を比較対照して、地物を認識するのであるが、この地物認識装置が搭載される車両の走行速度が別途、速度情報取得手段により取得され、認識補正処理制御手段により、走行速度が所定値より小さい場合には、画像情報認識処理手段による認識処理を行わないものとされる。
即ち、走行速度が所定値より小さい場合は、撮像装置において同じ画像を継続的に取り込んだり（停止している場合）、ほぼ同じ画像を継続的に取り込んだり（極めて低速で走行している場合）することとなるが、このような画像情報が認識処理の対象となることはない。換言すると、画像認識の対象となる画像情報は、走行に伴って順次遷移していく画像となる。結果、画像情報として認識対象物を異なった撮像位置から撮像した画像情報を得ることとなり、認識対象物である地物の特徴が良く現れた画像情報を得て、或は、複数のフレーム間に渡る画像情報から識別認識を行う場合は、認識対象物の特徴を良好に捉えて、地物の認識を的確に行える。
【００１５】
この第１の特徴構成を備えた地物認識装置にあっては、請求項１０に記載されているように、下記の画像認識方法を使用することとなる。
即ち、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を逐次取り込む画像情報取得ステップと、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得ステップと、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識ステップと、
前記道路特徴情報取得ステップで取得された前記道路特徴情報と、前記画像情報認識ステップで認識された前記認識対象物の画像の前記画像情報中の配置に基づいて、前記地物を認識する地物認識方法を実行するに、
車両の走行速度情報を取得する速度情報取得ステップを実行し、
取得された前記走行速度情報が所定の値より低い場合に、前記画像情報認識ステップによる前記認識対象物の認識を停止するのである。
この場合、認識対象物の認識を停止した後、車両の走行が始まり走行速度が所定の値より大きくなった場合は，当然に認識を再開する。このようにすることで、車両の走行状態に合わせて正確に地物の認識を行える。
【００１６】
さて、第１の特徴構成を備えた地物認識装置において、請求項２に記載されているように、少なくとも、全地球測位システムから得られる測位システム位置情報に基づいて、車両の概略位置を求める位置情報取得手段を備え、
前記画像情報が撮像された時点で前記位置情報取得手段により求められる車両の位置を、前記画像情報の撮像位置とすることが、好ましい。この構成が本願第２の特徴構成である。
【００１７】
全地球測位システムからの位置情報は、粗い位置情報ではあるが、画像情報内に含まれる可能性のある地物を特定するには充分な情報である。そこで、道路特徴取得手段により取得する道路特徴情報の取得のための位置基準及び撮像位置の特定に際して、この情報を利用することで、画像情報内に含まれる認識対象物の画像情報と道路特徴情報との対照を的確に行い、撮像された地物（認識対象物）を迅速且つ正確に認識できる。
【００１８】
さて、第１又は２の特徴構成を備えた地物認識装置において、請求項３に記載されているように、前記認識対象物が区画線であり、少なくとも前記画像情報認識手段が区画線である実線と破線とを識別認識するものであることが好ましい。この構成が本願の第３の特徴構成である。
区画線の一種である実線若しくは破線は、道路において自車が走行する車線の認識、道路の車線数の認識、車線変更が行われたか否かの判断において、その正確な認識が非常に重要なものである。一方、両者の識別認識に関しては、画像情報が走行状態で取得されている間は，比較的良好に識別が可能であるが，先にも示したように、停車或は実質的に停車状態にあると，識別を誤る可能性が高くなる。そこで、本願のように、一定の走行速度以下では、両者間の識別認識を行わないようにすることで、誤認識の発生を防止することができる。
【００１９】
さて、第３の特徴構成を備えた地物認識装置において、請求項４に記載されているように、
前記画像情報認識手段において、前記区画線である実線と破線とを識別認識するに、
単一フレームに含まれる区画線に破断部が認められる場合に当該区画線を破線と認識し、破断部が認められない場合に当該区画線を実線と認識する第一認識処理と、
複数フレーム間に渡って、同一と認められる区画線に関して、破断部が認められる場合に当該区画線を破線と、破断部が認められない場合に実線と認識する第二認識処理とを実行することが好ましい。
この構成にあっては、第一認識処理において、少なくとも一のフレームに含まれる区画線である実線と破線との識別を実行し、第二認識処理において、複数のフレーム間に渡って含まれる同一と認められる区画線である実線と破線との識別を行うことで、道路にペイントされた区画線を両手法を使用して良好に識別できる。
【００２０】
さて、第３の特徴構成を備えた地物認識装置において、請求項５に記載されているように、
前記画像情報認識手段において、前記区画線である実線と破線とを識別認識するに、
単位時間に取り込まれる複数のフレーム間に渡って、同一と認められる区画線に関して、破断部が認められる場合に当該区画線を破線と、破断部が認められない場合に実線と認識することが、好ましい。
この構成の場合は、所定時間内に取り込まれる複数のフレームを使用し、同一の区画線に関する実線及び破線の識別を良好に行える。
【００２１】
さて、これまで説明してきた地物認識装置を備えた自車位置認識装置は、請求項６に記載されるように、地物認識装置に加えて、
前記認識対象物に予め定められた測定点について、前記画像情報に含まれている前記認識対象物についての前記測定点の画像認識を行い、
認識された前記測定点の画像認識結果と、予め求められている当該測定点の位置情報とに基づいて自車位置情報を更新補正する自車位置認識補正手段、
を備える構成とできる。
この自車位置認識装置は、地物認識装置を成す、各手段に加えて、自車位置認識補正手段が備えられる。
一方、認識対象物（地物）には、予め測定点を定めておく。例えば、矢印である走行方法通行区分においては、その矢印先端点を測定点と定めておいたり、停止線であれば、その走行方向前方側の輪郭線上を測定点と定めておく。そして、その測定点の画像認識結果から、測定点から撮像位置（実質的に自車位置）を割り出し、予め求められている当該測定点の位置情報に基づいて自車位置を求め、自車位置情報を更新補正する。このようにして、詳細な自車位置を正確に特定することができる。
【００２２】
このような測定点としては、請求項７に記載されているように、各地物の輪郭形状に応じて、自車両の進行方向に略直交する輪郭線上、又は前記輪郭形状が角部を有する場合には当該角部上に設定されていることが好ましい。
進行方向に略直交する輪郭線上を測定点とすることで、輪郭線上で発生する画像情報での輝度の変化を良好に見出して、その測定点の特定が容易であり、さらに、進行方向に略直交することで、道路の長手方向に沿った自車の位置の特定を容易に行えることとなる。
輪郭形状が角部を有する場合には当該角部上に設定されていることで、角部上で発生する画像情報での輝度の変化を良好に見出して、その測定点の特定が容易である。さらに、道路の長手方向及び幅方向の自車の位置の特定を容易に行えることとなる。
【００２３】
これまで説明してきた自車位置認識装置を備えた車両制御装置は、請求項８に記載されるように、自車位置認識装置に加えて、地図情報を格納した地図情報格納手段を備え、
前記地図情報格納手段から取得した自車両の進行方向の地図情報と、前記自車位置認識補正手段による更新補正後の自車位置情報とに基づいて、自車両の走行制御を行う車両制御装置とすることができる。
この車両制御装置は、自車位置認識装置を成す、各手段に加えて、地図情報格納手段が備えられる。そして、車両制御に際しては、正確な自車位置を自車位置認識装置側から取得して、地図情報格納手段から得られる地図情報に基づいて、自車両を走行制御する。結果、正確に信頼性の高い車両制御を実現できる。
【００２４】
これまで説明してきた自車位置認識装置を備えたナビゲーション装置は、請求項９に記載されるように、自車位置認識装置に加えて、地図情報を格納した地図情報格納手段を備え、
前記地図情報格納手段から取得した自車両の進行方向の地図情報と、前記自車位置認識補正手段による更新補正後の自車位置情報とに基づいて、自車両の進路案内を行うナビゲーション装置とすることができる。
このナビゲーション装置は、自車位置認識装置を成す、各手段に加えて、地図情報格納手段が備えられる。そして、ナビゲーションに際しては、正確な自車位置を自車位置認識装置側から取得して、地図情報格納手段から得られる地図情報に基づいて、自車両をナビゲートする。結果、正確に信頼性の高いナビゲーションを実現できる。
【発明を実施するための最良の形態】
【００２５】
以下に、本発明の実施形態について図面に基づいて説明する。
本願にあっては、第一の実施形態と第二の実施形態について、本願に係る自車位置認識装置１００を説明する。この自車位置認識装置１００は、本願にいう地物認識装置ともなっている。
第一の実施形態では、自車位置認識装置１００は、道路における自車の道路長手方向及び道路幅方向の詳細な位置を特定するとともに、自車位置を精度の高い詳細な位置に更新補正するように構成され、自車の周りにある走行不可能領域の認識も行うように構成されている。
一方、第二の実施形態では、自車位置認識装置１００は、走行中の道路における走行車線（自車線）を認識して、道路幅方向の詳細な位置を特定し、自車位置（具体的には自車線位置）を精度の高い詳細な位置に更新補正するように構成されている。
本願にあっては、このような詳細な位置の特定、走行不可能領域の認識において、道路にペイントされている区画線の認識（特に、実線と破線との識別認識）が的確に行われることが重要となる。そこで、本願にあっては、実線と破線との誤認識が起こりやすい特定の条件下で、認識処理、それに続く後続処理を行わないように自車位置認識装置１００が構築されている。
【００２６】
本願に係る自車位置認識装置１００は、自車位置の特定・更新補正に際して、ＧＰＳ受信機４等からの情報に基づいて自車の概略位置を求めるとともに、同時に撮像された画像情報Ｇに関して、当該概略位置に存在するはずの地物に関する情報である道路特徴情報Ｃとを利用して撮像された地物の画像認識を行い、認識された地物を基準に詳細な位置を特定し、特定された自車位置に自車位置を更新補正する。このような処理を実行するに際して、先にも述べたように、区画線の認識に誤りを生じると、自車位置特定の信頼性が低くなる。そこで、本願に係る自車位置認識装置１００にあっては、画像認識、自車位置特定、それら処理に随伴する自車位置の更新補正、さらには、走行不可能領域の認識を、自車が停止している場合あるいは、極めて低速で走行している場合には実行しない。この実行停止は、第一及び第二の実施形態において共通である。そこで、図１〜図３に基づいて、まず共通構成である、この制御機能部位に関して説明する。
【００２７】
図１は、上記共通の制御機能部位のハードウエア構成の概略を説明するための機能ブロック図である。図１に示すように、自車位置認識装置１００は、走行速度導出部１０１、認識補正処理制御部１０２と自車位置認識補正部１０３とを備えて構成されており、走行速度導出部１０１で導出される走行速度情報Ｖに基づいて、認識補正処理制御部１０２が自車位置認識補正部１０３での処理の実行の可否を制御するように構成されている。
自車位置認識補正部１０３の詳細構成を示したのが、第一の実施形態について図４であり、第二の実施形態について図１５である。この自車位置認識補正部１０３の詳細は、後に、これら図及びその部位のフローチャートに基づいて説明する。
【００２８】
走行速度導出部１０１は、図２に示すように、走行輪Ｗに連結される駆動伝達軸等の回転を検出する回転センサ１０１ａからの回転情報を利用して走行速度を導出する。この走行速度導出部１０１にあっては、車両が停止している走行停止状態、及び、走行速度が１ｋｍ／ｈｒ未満といった極めて低速で走行している低速走行状態も検出される。この場合、回転センサ１０１ａ，走行速度導出部１０１が、本発明における「速度情報取得手段」に相当する。
【００２９】
認識補正処理制御部１０２は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備え、走行速度導出部１０１により導出される走行速度情報Ｖに基づいて、自車位置認識補正部１０３における処理を実行するか否かの判断を実行する。図３に、認識補正処理制御部１０２におけるフローチャートを示した。
自車位置認識装置１００が働いている状態にあっては、走行速度導出部１０１は逐次、回転センサ１０１ａからその回転情報を受け取り、走行速度情報Ｖを導出する。そして、導出された走行速度情報Ｖが認識補正処理制御部１０２に取得される（ステップ＃１）。
認識補正処理制御部１０２にあっては、取得した走行速度情報Ｖを、予め設定されている走行基準情報と比較する（ステップ＃２）。この走行基準情報は、自車が走行しているか、停止しているかの判断を行うための走行速度情報であり、例えば、１ｋｍ／ｈｒに設定されている。
【００３０】
認識補正処理制御部１０２にあっては、走行速度情報Ｖが走行基準情報より大きい場合（ステップ＃２：ｙｅｓ）は、自車位置認識補正部１０３での処理を許可する。一方、走行速度情報Ｖが走行基準情報より小さい場合（ステップ＃２：ｎｏ）は、自車が停止若しくは極めて低速で走行しているため、自車位置認識補正部１０３での処理を行うことなく、走行速度情報の取得を繰り返す。即ち、自車位置認識補正部１０３での処理は行われない。
このように、本願の自車位置認識装置１００にあっては、自車が停止しているか、若しくは、極めて低速で走行している状態にあっては、自車位置認識補正処理を実行しないように構成されている。従って、この認識補正処理制御部１０２が、本発明における「認識補正処理制御手段」に相当する。また、前記自車位置認識補正部１０３が、本発明における「自車位置認識補正手段」に相当する。
【００３１】
以下、第一、第二の実施形態の夫々に関して、自車位置認識補正部１０３の構成及びその働きについて順に説明する。
【００３２】
〔第一の実施形態〕
この実施形態における自車位置認識補正部１０３は、図４に示すように、撮像装置２により撮像された画像情報Ｇの認識結果と地図情報から取得した道路特徴情報Ｃとの両方に基づいて、車両Ｍの走行中の道路１１内における詳細な位置、すなわち自車の道路長手方向及び道路幅方向の詳細な位置を特定し、装置１００が認識している自車位置を、特定された詳細な位置に更新補正する。さらに、走行不可能領域Ｉの認識も行う。
【００３３】
図４に示すように、この自車位置認識補正部１０３は、主たる構成として、車両Ｍ（図２参照）に搭載された撮像装置２からの画像情報Ｇを取り込む画像情報取得部３と、ＧＰＳ（全地球測位システム）受信機４、方位センサ５及び距離センサ６からの出力に基づいて撮像装置２による概略の撮像位置を特定するための演算を行う概略位置特定演算部７と、地図情報データベース８に格納されている地図情報から撮像装置２による概略の撮像位置周辺の地物に関する道路特徴情報Ｃを取得するための演算を行う道路特徴情報取得演算部９と、取得された道路特徴情報Ｃを用いて画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる前記地物に対応する認識対象物の画像を認識するための演算を行う画像情報認識演算部１０と、道路特徴情報取得演算部９で取得された道路特徴情報Ｃと、画像情報認識演算部１０で認識された認識対象物の画像の画像情報Ｇ中の配置とに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定し、自車の認識位置を補正する車両位置特定演算部１７と、を備えている。
【００３４】
ここで、概略位置特定演算部７、ＧＰＳ受信機４、方位センサ５、距離センサ６、及び地図情報データベース８は、車両に搭載され、車両の経路案内等を行うためのナビゲーション装置の構成を利用することができる。この場合、概略位置特定演算部７、ＧＰＳ受信機４、方位センサ５、距離センサ６等が、本発明における「位置情報取得手段」に相当する。
【００３５】
撮像装置２は、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。この撮像装置２は、車両Ｍの前方や後方、例えば図２のＱ１〜Ｑ３で示す位置に向けて配置され、車両Ｍが走行する道路１１の少なくとも路面が撮影され、更にここではその道路１１の周囲も撮影されるように設けられる。このような撮像装置２としては、車両Ｍの前方や後方等の映像を撮像するためにこれまでにも設けられている車載カメラ等が好適に用いられる。
【００３６】
画像情報取得部３は、撮像装置２と接続するためのインターフェース回路１２と、撮像装置２からの画像情報Ｇに対して前処理を行う画像前処理回路１３と、前処理後の画像情報Ｇを格納する画像メモリ１４とを有している。インターフェース回路１２は、アナログ／デジタル・コンバータ等を備えており、撮像装置２により撮像したアナログの画像情報Ｇを所定の時間間隔で取り込み、デジタル信号に変換して画像前処理回路１３へ出力する。このインターフェース回路１２による画像情報Ｇの取り込みの時間間隔は、例えば、１０〜５０ｍｓ程度とすることができる。これにより、画像情報取得部３は、車両Ｍが走行中の道路１１の画像情報をほぼ連続的に取得することができる。画像前処理回路１３は、ここでは画像情報Ｇに対する前処理として二値化処理、エッジ検出処理等の画像情報認識演算部１０による画像認識を容易にするための処理を行う。そして、このような前処理後の画像情報Ｇが画像メモリ１４に格納される。
【００３７】
また、インターフェース回路１２は、画像前処理回路１３へ送る画像情報Ｇとは別に、直接画像メモリ１４へも画像情報Ｇを出力する。したがって、画像メモリ１４には、画像前処理回路１３により前処理を行った後の画像情報Ｇ２と、前処理を行っていないそのままの画像情報Ｇ１との両方が格納されることになる。
本実施形態においては、この画像情報取得部３が、本発明における「画像情報取得手段」を構成する。
【００３８】
概略位置特定演算部７は、本実施形態においては、ＧＰＳ受信機４、方位センサ５、及び距離センサ６と接続さている。ここで、ＧＰＳ受信機４は、ＧＰＳ衛星からの信号を受信する装置であり、ＧＰＳ受信機４の位置（緯度及び経度）や移動速度など様々な情報を得ることができる。方位センサ５は、地磁気センサやジャイロセンサ、或いは、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、車両Ｍの進行方向を検知することができる。距離センサ６は、車輪の回転数を検知する車速センサや車両Ｍの加速度を検知するヨー・Ｇセンサと、検知された加速度を２回積分する回路との組み合わせ等により構成され、車両Ｍの移動距離を検知することができる。
【００３９】
そして、概略位置特定演算部７は、これらのＧＰＳ受信機４、方位センサ５及び距離センサ６からの出力に基づいて、車両Ｍの現在の概略位置を求める演算を行う。こうして演算された車両Ｍの位置が撮像装置２の位置となる。
【００４０】
この概略位置特定演算部７により求めることができる車両の概略位置の精度は、ＧＰＳ受信機の精度に大きく影響を受ける。このため、現状では、数ｍ程度の誤差を含んでいる。よって、この概略位置特定演算部７において、車両Ｍの道路長手方向及び道路幅方向の詳細な位置を特定することはできない。
結果、本願で示すように、画像情報Ｇ及び地物に関して地図情報データベース８に記憶される情報を利用して、車両Ｍの詳細な位置を特定し、その特定結果に基づいて、自車位置認識装置１００が認識する自車位置を更新補正することが必要となる。
【００４１】
概略位置特定演算部７は、画像情報取得部３のインターフェース回路１２とも接続されている。このインターフェース回路１２は、撮像装置２による撮像のタイミングで概略位置特定演算部７に対して信号の出力を行う。したがって、概略位置特定演算部７は、このインターフェース回路１２からの信号の入力を受けたタイミングでの撮像装置２の位置を演算することにより、画像情報Ｇの概略の撮像位置を特定することができる。このようにして概略位置特定演算部７により求められた画像情報Ｇの概略の撮像位置は緯度及び経度の情報により表され、道路特徴情報取得演算部９に出力される。
この概略位置特定演算部７は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
【００４２】
道路特徴情報取得演算部９は、概略位置特定演算部７及び地図情報データベース８と接続されている。
図５は、地図情報データベース８に格納されている地図情報の内容を示す説明図である。この図に示すように、本実施形態に係る地図情報データベース８には、地図情報として、道路ネットワークレイヤＬ１、道路形状レイヤＬ２、地物レイヤＬ３が格納されている。
道路ネットワークレイヤＬ１は、道路１１間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードＮの情報と、２つのノードＮを連結して道路１１を構成する多数のリンクＬの情報とを有して構成されている。また、各リンクＬは、そのリンク情報として、道路１１の種別（高速道路、有料道路、国道、県道等の種別）やリンク長さ等の情報を有している。
道路形状レイヤＬ２は、道路ネットワークレイヤＬ１に関連付けられて格納され、道路１１の形状を示すレイヤである。具体的には、２つのノードＮの間（リンクＬ上）に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Ｓの情報と、各道路形状補完点Ｓにおける道路幅Ｗの情報とを有して構成されている。
【００４３】
地物レイヤＬ３は、道路ネットワークレイヤＬ１及び道路形状レイヤＬ２に関連付けられて格納され、道路１１上及び道路１１の周辺に設けられた各種地物の情報を示すレイヤである。この地物レイヤＬ３に格納する地物情報としては、少なくとも、この自車位置認識補正部１０３において認識対象物となり得る地物に関する位置、形状、色彩等の情報が格納されている。本実施形態においては、具体的には、道路１１の路面に設けられたペイント表示Ｐ、道路１１に隣接する走行不可能領域Ｉ、道路１１上に設けられた各種の標識１５や信号機１６等の各種地物について、道路形状補完点Ｓ又はノードＮを基準とした地図上の位置、並びに形状及び色彩等の地物情報を有して構成されている。
【００４４】
ここで、ペイント表示Ｐには、例えば、車線を分ける区画線（実線、破線、二重線等の区画線の種類の情報も含む。）、ゼブラゾーン、各レーンの進行方向を指定する進行方向別通行区分表示、停止線、横断歩道、横断歩道予告（横断歩道あり）、転回禁止、速度表示等が含まれる。走行不可能領域Ｉには、例えば、道路１１に隣接する路肩、歩道、分離帯等が含まれる。
【００４５】
なお、地図情報データベース８は、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。
【００４６】
そして、道路特徴情報取得演算部９は、概略位置特定演算部７により特定された画像情報Ｇの撮像位置を示す緯度及び経度の情報に基づいて、地図情報データベース８に格納されている地図情報から、画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを取得するための演算を行う。ここでは、道路特徴情報取得演算部９は、画像情報Ｇの撮像位置周辺の、少なくとも撮像装置２による撮像領域を含む領域内に含まれる地物の位置、形状、色彩等の地物情報を、道路特徴情報Ｃとして地図情報データベース８の地物レイヤＬ３から抽出する演算処理を行う。
【００４７】
この道路特徴情報取得演算部９は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この道路特徴情報取得演算部９が、本発明における「道路特徴情報取得手段」を構成する。
【００４８】
画像情報認識演算部１０は、画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる認識対象物の画像を認識するための演算を行う。本実施形態においては、画像情報認識演算部１０は、画像情報取得部３の画像メモリ１４及び道路特徴情報取得演算部９と接続されており、道路特徴情報取得演算部９により取得された道路特徴情報Ｃを用いて画像情報Ｇの認識処理を行う。
また、画像情報認識演算部１０において画像認識を行う認識対象物は、上述したペイント表示Ｐ、走行不可能領域Ｉ、及び各種の標識１５や信号機１６等の地物レイヤＬ３に地物情報として格納されている地物に対応するものとする。
【００４９】
この画像情報認識演算部１０は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この画像情報認識演算部１０が、本発明における「画像情報認識手段」を構成する。
【００５０】
画像情報認識演算部１０における道路特徴情報Ｃを用いた画像情報Ｇの認識処理の具体的方法として、この車両位置認識装置１では、画像情報Ｇに含まれる一のフレームを対象とする場合、以下の２つの方法をそれぞれ単独で或いはこれらを組み合わせて用いる。
一の画像認識処理方法は、画像情報Ｇから認識対象物の画像候補を抽出して道路特徴情報Ｃと対比し、道路特徴情報Ｃとの整合性が高い画像候補を認識対象物の画像として認識する処理方法である。
他の画像認識処理方法は、道路特徴情報Ｃに基づいて画像情報Ｇ中における認識対象物の画像が存在する領域を推測し、その推測結果に基づいて、認識対象物の画像が存在すると推測される領域内では認識対象物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して、画像情報Ｇの中から認識対象物の画像を認識する処理方法である。
これら２つの画像認識処理方法は、何れも、単一フレーム内にある画像情報にも適応可能な画像認識処理方法であり、本発明の「第一認識処理」に相当する。
【００５１】
さらに、区画線である実線と破線との識別認識に関しては、上記の手法により実線若しくは破線と認識された認識対象物の画像に関して、単位時間に取り込まれる連続する複数のフレーム間に渡って、同一と認められる個々の認識対象物を順次抽出・追跡し、認識処理において、連続するフレーム間で同一と認められる区画線に関し、破断部が認められる場合にその当該区画線を破線と認識し、破断部が認められない場合に実線と認識する。
この画像認識処理方法は、複数のフレームに亘って得られる画像情報を対象とするものであり、本発明の「第二認識処理」に相当する。
【００５２】
本実施形態においては、後にフローチャートを用いて説明するように、画像情報認識演算部１０は、これらの認識処理方法を組み合わせて、道路１１の路面に設けられたペイント表示Ｐと、道路１１に隣接する走行不可能領域Ｉとを認識する処理を行う。そのため、この画像情報認識演算部１０は、ペイント表示認識演算部１０ａ、道路特徴情報照合部１０ｂ、領域推測部１０ｃ、及び走行不可能領域認識部１０ｄを備えている。
【００５３】
車両位置特定演算部１７は、道路特徴情報取得演算部９で取得された道路特徴情報Ｃと、画像情報認識演算部１０で認識された認識対象物の画像の画像情報Ｇ中の配置とに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定するための演算を行う。そのため、本実施形態においては、車両Ｍの道路長手方向と車両Ｍの道路幅方向との両方の詳細な位置を特定する演算処理を行う。
本実施形態においては、後にフローチャートを用いて説明するように、車両位置特定演算部１７は、画像情報認識演算部１０により認識された１又は２以上の認識対象物の画像の画像情報Ｇ中の配置と、道路特徴情報Ｃに含まれる１又は２以上の認識対象物に対応する物の位置情報とを対比して、画像情報Ｇの撮像位置を詳細に特定することにより、車両Ｍの道路長手方向及び車両Ｍの道路幅方向の詳細な位置を特定する演算処理を行う。そして、このような演算処理により求められた車両Ｍの詳細な位置が、新たな自車の位置として更新補正される。そのため、この車両位置特定演算部１７は、配置情報抽出部１７ａ、対比演算部１７ｂ、撮像位置特定部１７ｃ及び自車位置認識補正部１７ｄを備えている。
【００５４】
この車両位置特定演算部１７は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
【００５５】
次に、撮像装置２により撮像された画像情報の認識結果と地図情報から取得した道路特徴情報Ｃとに基づいて、走行不可能領域Ｉの特定、車両Ｍの走行中の道路１１内における詳細な位置を特定し、自車位置を更新補正する処理の具体例について、図６〜８に示すフローチャートを用いて詳細に説明する。
【００５６】
図６に示すように、自車位置認識補正部１０３は、まず、撮像装置２により撮像された画像情報Ｇを取り込む処理を行う（ステップ＃６１）。具体的には、車載カメラ等からなる撮像装置２により撮像した画像情報Ｇをインターフェース回路１２を介して画像前処理回路１３及び画像メモリ１４に送る処理を行う。またこの際、インターフェース回路１２は、撮像装置２からの画像情報Ｇの取り込みのタイミングで、すなわち撮像装置２による撮像のタイミングとほぼ同じタイミングで、概略位置特定演算部７に対して信号の出力を行う。この信号は概略位置特定演算部７に対して撮像のタイミングを知らせるための信号である。
【００５７】
画像情報Ｇの入力を受けた画像前処理回路１３では、画像情報Ｇに対する前処理を行う（ステップ＃６２）。ここで行う前処理としては、例えば、二値化処理やエッジ検出処理等の画像情報認識演算部１０による画像認識を容易にするための各種の処理を行う。図９（ａ）は、撮像装置２により撮像された画像情報Ｇ（Ｇ１）の一例であり、図９（ｂ）は、（ａ）に示された画像情報Ｇに対して前処理を行った後の画像情報Ｇ（Ｇ２）の一例である。この図９（ｂ）に示す例では、エッジ検出処理により画像情報Ｇとして撮像された物の輪郭を示す画像が抽出されている。そして、このステップ＃６２において前処理が行われた後の画像情報Ｇ２、及びインターフェース回路１２から直接送られてきた画像情報Ｇ１を画像メモリ１４に格納する（ステップ＃６３）。
【００５８】
また、ステップ＃６２及び＃６３の処理と並行して、概略位置特定演算部７では、画像情報Ｇの概略の撮像位置を求める処理を行う（ステップ＃６４）。具体的には、インターフェース回路１２から画像情報Ｇの取り込みのタイミングを示す信号が出力された時に、それを撮像装置２による撮像のタイミングとして、ＧＰＳ受信機４、方位センサ５及び距離センサ６に基づいて車両Ｍの概略の現在位置を求める演算を行う。そして、これにより求められた車両Ｍの概略の現在位置を画像情報Ｇの概略の撮像位置とする。ここで求められた概略の撮像位置の情報は、緯度及び経度の情報として道路特徴情報取得演算部９に送られる。
【００５９】
次に、道路特徴情報取得演算部９において、地図情報データベース８に格納されている地図情報から画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを取得する処理を行う（ステップ＃６５）。この際、道路特徴情報取得演算部９は、地図情報データベース８に格納されている広範囲の地図情報の中から、ステップ＃６４において求められた概略の撮像位置の周辺の一定範囲Ｒ内の道路特徴情報Ｃを抽出して取得する。ここで、概略の撮像位置周辺の一定範囲Ｒとしては、撮像装置２により画像情報Ｇとして撮像される領域を少なくとも含むように設定すると好適である。
【００６０】
図１０は、道路特徴情報取得演算部９により取得された道路特徴情報Ｃの一例を図形化して示したものである。本例では、道路特徴情報Ｃに含まれる地物としては、ペイント表示Ｐとして、片側３車線の道路１１の車道の外縁を示す２本の実線の区画線Ｐ１ａ、Ｐ１ｂと、３車線の間を区切る２本の破線の区画線Ｐ２ａ、Ｐ２ｂと、３車線に設けられた走行方向通行区分Ｐ３とがある。また、走行不可能領域Ｉとして、道路１１の右側に隣接する歩道Ｉ１と、道路１１の左側に隣接する中央分離帯Ｉ２とがある。なお、この図１０は単なる一例であり、画像情報Ｇの撮像位置によって様々な地物が道路特徴情報Ｃに含まれることになる。
【００６１】
この道路特徴情報Ｃの内容は、これらの各地物の位置情報、形状情報及び色彩情報により構成されている。ここで、各地物の位置情報は、道路形状補完点Ｓ（交差点等のノードＮが存在する場所ではノードＮ（図５参照）も含む。）を基準とする位置情報により表される。すなわち、例えば、ペイント表示Ｐのうちの実線の区画線Ｐ１ａ、Ｐ１ｂや破線の区画線Ｐ２ａ、Ｐ２ｂ、或いは走行不可能領域Ｉの歩道Ｉ１や中央分離帯Ｉ２等の道路１１に沿って設けられている地物については、道路形状補完点Ｓ（又はノードＮ）からの距離（オフセット量）のみにより表される。一方、例えば、道路１１に沿って設けられない走行方向通行区分Ｐ３や、停止線、標識等の地物については、特定の道路形状補完点Ｓ（又はノードＮ）からの距離及び方向により位置情報を表される。
各地物の形状情報は、上記位置情報により求められる位置を基準として縦、横、高さ方向にそれぞれどれだけの大きさを有し、どのような形状（シルエット）を備えているか等の情報を有する。この形状情報は、画像情報Ｇとの対比が容易となるように簡略化して表された情報とすると好適である。
各地物の色彩情報は、例えば道路標識等の一様な色彩でない地物の場合には、上記形状情報の中の領域毎に色彩情報が格納された情報とすると好適である。
【００６２】
次に、画像情報認識演算部１０において、画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる認識対象物の画像を認識する処理を行う（ステップ＃６６）。本実施形態においては、画像情報Ｇに含まれる地物の画像の中で、ペイント表示Ｐと走行不可能領域Ｉ（特に歩道Ｉ１）を認識対象物としている。そして、この認識対象物の画像認識処理として、認識が比較的容易なペイント表示Ｐの画像認識を行った後、それに基づいて認識アルゴリズムを調整して、ペイント表示Ｐより認識が困難な走行不可能領域Ｉの画像認識を行う処理としている。このような画像情報Ｇの認識処理の具体例を図７のフローチャートに示す。
なお、走行不可能領域Ｉの画像認識がペイント表示Ｐの画像認識より困難であるのは、ペイント表示Ｐは、道路１１の路面との輝度や色彩の差が大きく画像認識が比較的容易であるのに対して、路肩、歩道、分離帯等の走行不可能領域Ｉは、道路１１やその周囲との輝度や色彩の差が小さいためにエッジ検出等によっても輪郭を特定することが困難な場合が多いからである。
【００６３】
この画像情報Ｇの認識処理では、図７に示すように、まず、画像情報認識演算部１０のペイント表示認識演算部１０ａにおいて、画像情報Ｇの中に含まれるペイント表示Ｐの可能性がある画像候補を抽出する処理を行う（ステップ＃７１）。具体的には、図９（ｂ）に示されるようにエッジ検出処理等の前処理を行った後の画像情報Ｇ２の中から、区画線等のペイント表示Ｐの特徴を表すテンプレート等の予め規定された特徴データと整合性が高い画像を抽出し、それをペイント表示Ｐの画像候補とする処理を行う。図１０に示す例では、図９（ｂ）、右側の実線の区画線の画像ＧＰ１ａ、右側の破線の区画線の画像ＧＰ２ａ、左側の破線の区画線の画像ＧＰ２ｂ、外側にある歩道の縁石の画像ＧＩ１ａ、左側の実線の区画線の画像ＧＰ１ｂ、及び走行方向進行区分の画像ＧＰ３がペイント表示Ｐの画像候補として抽出される。
【００６４】
その後、画像情報認識演算部１０の道路特徴情報照合部１０ｂにおいて、ステップ＃７１で抽出されたペイント表示Ｐの画像候補と、ステップ＃６５で取得された道路特徴情報Ｃの中のペイント表示Ｐに関する情報とを対比する（ステップ＃７２）。そして、この対比の結果、位置関係、形状、及び色彩や輝度等の各情報についての整合性が高い画像候補を抽出し、抽出された画像候補をペイント表示Ｐの画像と認識する（ステップ＃７３）。図１０のペイント表示Ｐに関する道路特徴情報Ｃに基づいて、実線及び破線の区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂの位置関係（間隔）、これらの区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂと走行方向通行区分Ｐ３との位置関係、並びにこれらの区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂ及び走行方向通行区分Ｐ３の形状及び色彩や輝度等がわかる。したがって、これらの道路特徴情報Ｃと整合性が高い画像情報Ｇ中のペイント表示Ｐの画像候補を抽出することで、ペイント表示Ｐの可能性が高い画像候補のみを抽出することができる。図１０に示す例の場合、このステップ＃７３の処理により、左側の実線の区画線の画像ＧＰ１ａの外側にある歩道の縁石の画像ＧＩ１ａが除外される。そして、このように抽出された画像候補をペイント表示Ｐの画像と認識する。なお、ペイント表示Ｐの画像候補の色彩や輝度等の情報は、画像メモリ１４に格納されている前処理が行われていない画像情報Ｇから取得することができる。
図１１（ａ）は、画像情報Ｇからステップ＃７３の処理により抽出されたペイント表示Ｐの画像のみを表した図である。
【００６５】
次に、認識されたペイント表示Ｐの画像を基準として、画像情報Ｇと道路特徴情報Ｃとの照合を行う（ステップ＃７４）。すなわち、画像情報Ｇ中における認識されたペイント表示Ｐの画像の位置と、道路特徴情報Ｃに含まれるペイント表示Ｐの位置とが合致するように対応付けることにより、道路特徴情報Ｃに含まれる各地物の情報と画像情報Ｇに含まれる画像とを対応付けることが可能になる。この対応付けにおいて、実線ＧＰ１ａ，ＧＰ１ｂと破線ＧＰ２ａ，ＧＰ２ｂとの識別に際しては、順次取得されている画像情報Ｇの複数のフレームの画像に関して、連続する複数のフレーム間に渡って、同一と認められる個々の認識対象物ＧＰ１ａ，ＧＰ１ｂ，ＧＰ２ａ，ＧＰ２ｂを順次抽出・追跡し、認識処理において、連続するフレーム間で同一と認められる区画線ＧＰ１ａ，ＧＰ１ｂ，ＧＰ２ａ，ＧＰ２ｂに関し、破断部が認められる場合にその当該区画線を破線ＧＰ２ａ，ＧＰ２ｂと認識し、破断部が認められない場合に実線ＧＰ１ａ，ＧＰ１ｂと認識する。
この識別手法に関して、図９（ａ），図１３に基づいて説明する。図９（ａ）は、これまで説明してきたように、現在認識の対象としている画像情報Ｇであり、図１３は、図９（ａ）に示されるように数フレーム前の画像情報Ｇである。両者間で、走行車線の変更は行われていない。両図を比較すると、実線ＧＰ１ａ，ＧＰ１ｂに関しては、その画像がほぼ同一の位置に連続する白線として認められるのに対して、破線ＧＰ２ａ，ＧＰ２ｂでは、破断部ＧＳの位置を異ならせて、ほぼ同一の位置に撮影される破断状態にある白線となる。従って、車両が走行状態にあると、画像の特定高さ位置において画像横断方向の輝度を、複数フレームに渡って、区画線毎に追跡すると実線には破断部が出現することはなく、破線には順次破断部ＧＳが出現する。そこで、このような識別処理により実線ＧＰ１ａ，ＧＰ１ｂと破線ＧＰ２ａ，ＧＰ２ｂとをさらに正確に識別することができる。
【００６６】
そして、道路１１に沿って設けられている区画線ＧＰ１ａ、ＧＰ２ａ等の地物を基準とすることにより道路１１の幅方向の位置関係を正確に対応付けることができ、道路１１に沿って設けられない走行方向通行区分Ｐ３や、図示しない停止線、標識等の地物を基準とすることにより道路１１に沿った長手方向の位置関係を正確に対応付けることができる。
【００６７】
その後、画像情報認識演算部１０の領域推測部１０ｃにおいて、ステップ＃７４における道路特徴情報Ｃと画像情報Ｇとの照合結果に基づいて、画像情報Ｇ中における走行不可能領域Ｉの画像が存在する領域を推測する処理を行う（ステップ＃７５）。すなわち、上記のステップ＃７４における画像情報Ｇと道路特徴情報Ｃとの照合結果に基づけば、画像情報Ｇの中におけるペイント表示Ｐや走行不可能領域Ｉを含む各地物の画像の配置が推測可能である。そこで、道路特徴情報Ｃに含まれる走行不可能領域Ｉの位置及び形状に対応する画像情報Ｇ中の領域を、ステップ＃７４における照合結果から推測する演算を行う。そして、このステップ＃７５の処理の結果として演算される領域を、走行不可能領域Ｉの画像が存在する領域と推測する。
【００６８】
本実施形態においては、図１１（ｂ）に示すように、画像情報Ｇとして撮像された画像範囲を、ステップ＃７３の処理により認識されたペイント表示Ｐの中の区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂに基づいて、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂのそれぞれが属する領域Ａ１〜Ａ４と、これらの領域Ａ１〜Ａ４により分割された領域Ａ５〜Ａ８とに簡易的に区分している。そして、それぞれの領域Ａ５〜Ａ８が走行不可能領域Ｉを含むか否かという判断をステップ＃７４における照合結果に基づいて行うことにより、走行不可能領域Ｉの画像が存在する領域を推測する処理を行う。ここでは、図１１（ｂ）に示されるように、道路特徴情報Ｃに基づいて、道路１１の両側の実線の区画線Ｐ１ａの外側に走行不可能領域Ｉ（歩道Ｉ１）が存在していると判断することができるので、当該道路１１の実線の区画線Ｐ１ａ、が属する領域Ａ１の外側の領域Ａ５内に走行不可能領域Ｉの画像が存在すると推測できる（ステップ＃７５）。
【００６９】
次に、ステップ＃７５の推測結果に基づいて、画像情報認識演算部１０の走行不可能領域認識部１０ｄにおける認識アルゴリズムを調整し（ステップ＃７６）、画像情報Ｇの中に含まれる走行不可能領域Ｉの画像の認識を行う（ステップ＃７７）。
本実施形態においては、ステップ＃７５において走行不可能領域Ｉの画像が存在すると推測された領域Ａ５内について、走行不可能領域Ｉであるか否かの判断基準が他の領域（ここでは領域Ａ６〜Ａ８）よりも低くなるように認識アルゴリズムを調整する。すなわち、上述のとおり、歩道Ｉ１、路肩等の走行不可能領域Ｉは、道路１１やその周囲との輝度や色彩の差が小さいためにエッジ検出等によっても輪郭を特定することが困難な場合が多く、ペイント表示Ｐよりも画像認識が一般的に困難である。そこで、走行不可能領域Ｉの画像が存在すると推測された領域Ａ５について、他の領域よりも走行不可能領域Ｉと認識しやすくする方向に認識アルゴリズムを調整することにより、走行不可能領域Ｉの認識率を高めることができる。
なお、走行不可能領域Ｉであるか否かの判断基準が他の領域よりも低くなるように認識アルゴリズムを調整するためには、走行不可能領域Ｉの画像が存在すると推測された領域Ａ５における判断基準を他の領域に対して低くする方法の他に、他の領域の判断基準を領域Ａ５に対して高くする方法や、領域Ａ５における判断基準を他の領域に対して低くするとともに他の領域の判断基準を領域Ａ５に対して高くする方法等がある。この認識アルゴリズムの具体的な調整方法は、走行不可能領域Ｉの認識方法に応じた方法とする。
【００７０】
例えば、本実施形態においては、走行不可能領域Ｉの画像の認識アルゴリズムとして、画像情報Ｇに対してエッジ検出処理を行い、道路１１の幅方向の各位置におけるエッジ点数を検出し、このエッジ点数が所定のしきい値以上となっている場所が走行不可能領域Ｉであると認識するアルゴリズムとしている。そして、この際のしきい値として、図１２に示すように、低い値に設定された第一しきい値ｔ１と、高い値に設定された第二しきい値ｔ２とを用いている。すなわち、走行不可能領域Ｉの画像が存在すると推測された領域Ａ５内では第一しきい値ｔ１を用い、それ以外の領域Ａ６〜Ａ８内では第二しきい値ｔ２を用いることにより、走行不可能領域Ｉの画像が存在すると推測された領域Ａ５内について、走行不可能領域Ｉであるか否かの判断基準が他の領域Ａ６〜Ａ８よりも低くなるように認識アルゴリズムを調整している。
【００７１】
図１２は、図１１に示す画像情報Ｇについて、道路１１の幅方向の各位置におけるエッジ点数を検出した結果を示すグラフである。この図に示すように、領域Ａ１〜Ａ４は、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂが存在するのでエッジ点数は多くなっているが、これらの領域Ａ１〜Ａ４は走行不可能領域Ｉの画像認識の対象とはならない。領域Ａ６、Ａ７、Ａ８は、走行方向進行区分Ｐ３が存在する位置以外はアスファルトの路面のみであるので全体的にエッジ点数は少なくなる。
一方、領域Ａ５は、エッジ点数はある程度多くなっている。結論からいうと、領域Ａ５は歩道Ｉ１といった走行不可能領域Ｉが存在することによりエッジ点数が多くなる。しかし、エッジ点数のみからそれが走行不可能領域Ｉであるか否かを判断することは困難である。
【００７２】
そこで、ステップ＃７５の推測結果に基づいて、走行不可能領域Ｉの画像が存在すると推測された領域Ａ５内については、走行不可能領域Ｉであると判断するしきい値を低い値に設定された第一しきい値ｔ１とし、その他の領域Ａ６〜Ａ８内については、走行不可能領域Ｉであると判断するしきい値を高い値に設定された第二しきい値ｔ２としている。これにより、ステップ＃７５の推測結果に基づいて、走行不可能領域Ｉの画像が存在すると推測された領域Ａ５内で走行不可能領域Ｉの検出漏れを減らすとともに、それ以外の領域Ａ６〜Ａ８内で走行不可能領域Ｉと誤検出することを防止できる。したがって、走行不可能領域Ｉの認識率を高めることができる。これらの第一しきい値ｔ１及び第二しきい値ｔ２の値は、実験的及び統計的に適切な値を求めるとよい。また、これらの第一しきい値ｔ１及び第二しきい値ｔ２の値を、画像情報Ｇから抽出される他の情報や車両Ｍに搭載された他のセンサからの信号等に基づいて変化する可変値とすることも好適な実施形態の一つである。
【００７３】
以上のようにして、画像情報認識演算部１０において画像情報Ｇの認識処理を行うことにより、画像情報Ｇ中に含まれる認識対象物としてのペイント表示Ｐと走行不可能領域Ｉの画像が認識される。図１１に示す画像情報Ｇの例では、図１１（ｂ）に示すように、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂの画像ＧＰ１ａ、ＧＰ１ｂ、ＧＰ２ａ、ＧＰ２ｂ、走行方向通行区分Ｐ３の画像Ｇｐ３、区画線Ｐ１ａの画像ＧＰ１ａの右側の歩道Ｉ１の画像ＧＩ１がそれぞれ認識されることになる。この認識処理において、特に区画線である実線と破線とに認識を正確に行えることが、本願に係る地物認識装置１００の信頼性の向上に大きく寄与するが、本願にあっては、走行速度が低い場合は、画像認識処理を行わない構成が採用されるため、装置の信頼性が大幅に向上する。
【００７４】
次に、車両位置特定演算部１７において、図６に示すように、ステップ＃６５により取得された道路特徴情報Ｃと、ステップ＃６６により認識された認識対象物の画像の画像情報Ｇ中の配置とに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定し自車位置を更新補正する処理を行う（ステップ＃６７）。本実施形態においては、ステップ＃６６により認識された認識対象物の画像の画像情報Ｇ中の配置と、ステップ＃６５により取得された道路特徴情報Ｃに含まれる前記認識対象物に対応する物の位置情報とを対比して、画像情報Ｇの撮像位置を詳細に特定することにより、車両Ｍの道路長手方向及び車両Ｍの道路幅方向の詳細な位置を特定する演算処理を行う。
【００７５】
このような車両Ｍの詳細な位置を特定する処理の具体例を図８のフローチャートに示す。この処理では、まず、車両位置特定演算部１７の配置情報抽出部１７ａにおいて、ステップ＃６６で認識された各認識対象物の画像情報Ｇ中の配置情報を抽出する（ステップ＃８１）。ここでは、認識対象物の画像情報Ｇ中の配置情報としては、各認識対象物の画像情報Ｇ中における位置の情報と、それに対応する各認識対象物の形状及び色彩等の情報とが含まれる。図９に示す画像情報Ｇの例では、図９（ａ），図１４に示すように、認識対象物として、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂの画像ＧＰ１ａ、ＧＰ１ｂ、ＧＰ２ａ、ＧＰ２ｂ、走行方向通行区分Ｐ３の画像ＧＰ３、歩道Ｉ１の画像ＧＩ１が認識されているので、このステップ＃８１では、これらの認識対象物についての画像情報Ｇ中の配置情報が抽出される。
【００７６】
次に、車両位置特定演算部１７の対比演算部１７ｂにおいて、ステップ＃８１により抽出された各認識対象物の画像情報Ｇ中の配置情報と、ステップ＃６５により取得された道路特徴情報Ｃとを対比する処理を行う（ステップ＃８２）。ここでは、各認識対象物の画像情報Ｇ中の配置情報と、道路特徴情報Ｃ中に含まれる各地物の配置とを対比し、整合性が高い画像情報Ｇ中の認識対象物の画像と道路特徴情報Ｃ中の地物の情報とを対応付ける処理を行う。これにより、画像情報Ｇ中の各認識対象物の画像が、道路特徴情報Ｃ中のどの地物の画像であって、道路特徴情報Ｃにより表される道路１１上のどの位置に配置されているかを特定することができる。
【００７７】
その後、車両位置特定演算部１７の撮像位置特定部１７ｃにおいて、画像情報Ｇの撮像位置を詳細に特定する処理を行う（ステップ＃８３）。図１４は、この処理の手順を模式的に表した図である。すなわち、この撮像位置を詳細に特定する処理は、ステップ＃８２の対比結果に基づいて、画像情報Ｇ中の各認識対象物の画像の配置と整合する画像情報Ｇの撮像位置を、道路特徴情報Ｃ中の位置に対応させて、道路１１の道路長手方向及び道路幅方向に詳細に特定することにより行う。
【００７８】
そこで、画像情報Ｇの認識結果に基づいて画像情報Ｇの撮像位置を特定する際の演算処理方法について具体的に説明する。
まず、道路長手方向の撮像位置を特定する場合は、区画線や歩道等とは異なり、道路１１に沿って設けられない走行方向通行区分、停止線、標識、信号機等の認識対象物の画像を基準とすることにより道路１１に沿った方向、すなわち道路長手方向の撮像位置を詳細に特定することができる。すなわち、画像情報Ｇ中における、これらの道路１１に沿って設けられていない認識対象物の画像の配置を解析すると、図１４に示す例では、走行方向通行区分の画像ＧＰ３があることがわかる。ここで、撮像装置２は車両Ｍに所定の高さで所定の撮像方向となるように固定されていることから、走行方向通行区分の画像ＧＰ３の画像情報Ｇ中の配置、特に高さ方向の配置に基づいて、撮像位置から走行方向通行区分Ｐ３までの距離Ｄを算出することができる。この時、図１４に示す例では、矢印である走行方向通行区分Ｐ３の先端に設定される測定点ＦＣに注目して、距離Ｄが算出される。この注目点ＦＣの絶対位置は、その緯度・経度情報として地図情報データベース８に格納されている。これにより、画像情報Ｇの撮像位置を道路長手方向に詳細に特定することができる。図１４に示す例では、この画像情報Ｇの撮像位置はＢ１位置と特定されている。
【００７９】
道路幅方向の位置を特定する場合、画像情報Ｇ中の各認識対象物の画像の配置を解析すると、画像情報Ｇの中心から、左側に破線の区画線の画像ＧＰ２ａがあり、右側に実線の区画線の画像ＧＰ１ａがあることがわかる。また、この実線の区画線の画像ＧＰ１ａの左側には歩道の画像ＧＩ１があり、更に、左側の破線の区画線の画像ＧＰ２ａと右側の実線の区画線の画像ＧＰ１ａとの間には、走行方向通行区分の画像ＧＰ３がある。これらの各認識対象物の画像は、ステップ＃８２の処理により道路特徴情報Ｃに含まれる各地物の情報と対応付けられているので、画像情報Ｇ中の上記の各認識対象物の画像の配置の解析結果に基づけば、道路幅方向の撮像位置は、図１４に示されている道路特徴情報Ｃ中において、３車線の道路１１の右側車線（Ｂ１位置が存在する車線）内に撮像位置があると特定することができる。また、実線の区画線の画像ＧＰ１ａ又は破線の区画線の画像ＧＰ２ａの画像情報Ｇ中の配置、特に幅方向の配置に基づけば、左側車線内の左寄り又は右寄り等の更に詳細な位置も特定することが可能である。
【００８０】
なお、例えば、画像情報Ｇの撮像位置が、図１４のＢ２位置のように３車線の道路１１の中央車線にある場合には、画像情報Ｇの中心から両側に破線の区画線Ｐ２ａ、Ｐ２ｂの画像が認識されることなる。また、例えば、画像情報Ｇの撮像位置が、図１４のＢ３位置のように３車線の道路１１の右側車線にある場合には、画像情報Ｇの中心から、右側に破線の区画線Ｐ２ｂの画像が、左側に実線の区画線Ｐ１ｂの画像がそれぞれ認識されることなる。
本願にあっては、実線の区画線Ｐ１ａ、Ｐ１ｂと破線の区画線Ｐ２ａ、Ｐ２ｂとの識別認識が重要であるが、車両が停止している、あるいは極低速で走行している状態では、認識処理自体を行わない構成を採用しているため、実線及び破線の識別認識を信頼性の高い状態で実行することができる。
【００８１】
以上の演算処理により、画像情報Ｇの撮像位置を道路長手方向及び道路幅方向の双方について詳細に特定することができる。そして、撮像装置２は、車両Ｍに搭載されているので、この特定された撮像位置を、車両Ｍの詳細な位置であると特定する（ステップ＃８４）。そして、このようにして特定された車両Ｍの位置が、確度の高い位置として詳細な自車位置の更新補正に使用される（ステップ＃８５）。
【００８２】
以上に説明したステップ＃６１〜＃６７の一連の処理工程は、所定の時間間隔で繰り返し行われる。これにより、走行中の車両Ｍの詳細な位置特定をリアルタイムで常時行うことができる。
【００８３】
また、車両位置特定演算部１７による詳細な車両位置の特定結果は、例えば、図示しない車両Ｍの走行制御装置やナビゲーション装置等へ出力され、レーンキープ等の車両Ｍの操舵や車速等の走行制御に用いられ、或いはナビゲーション装置における詳細な自車位置の表示等に用いられる。
【００８４】
〔第二の実施形態〕
次に、第二の実施形態について図面に基づいて説明する。図１５は、この実施形態に係る自車位置認識補正部１０３のハードウエア構成の概略を示すブロック図である。この例の場合も、車両が停止している場合、或は、極めて低速で走行している場合は、自車位置認識補正部１０３における処理が行われることはない。
本実施形態に係る自車位置認識補正部１０３は、道路特徴情報取得演算部９において地図情報から画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを、道路１１の車線毎に異なる複数の位置を基準とする車線別道路特徴情報Ｃ´として取得し、各車線別道路特徴情報Ｃ´のそれぞれについて、画像情報Ｇ中の前記地物に対応する認識対象物の配置と対比することにより、車両Ｍの車線位置（自車両の位置の一種）を特定する点で、上記第一の実施形態とは異なる。
また、本実施形態に係る自車位置認識補正部１０３は、車両Ｍの進路に関する車両Ｍからの情報や車両Ｍの過去の走行経路に関する情報を取得して車両Ｍの車線位置を推測する車両位置推測演算部１８を備え、これによる推測結果を用いて車両Ｍの車線位置の特定を行う点でも、上記第一の実施形態とは異なる。
【００８５】
図１５に示すように、本実施形態に係る自車位置認識補正部１０３は、主たる構成として、上記第一の実施形態において説明した構成に加えて、車両位置推測演算部１８を更に備えている。この車両位置推測演算部１８は、車両Ｍの進路に関する車両Ｍからの情報を取得する車両情報取得部１９、及び車両Ｍの過去の走行経路に関する情報を取得して記憶している過去経路記憶部２０と接続されており、これらの車両情報取得部１９及び過去経路記憶部２０からの情報に基づいて、車両Ｍの車線の位置を推測する演算処理を行う。そして、この車両位置推測演算部１８による推測結果は、道路特徴情報取得演算部９に出力されて車線別道路特徴情報Ｃ´の取得のための処理に用いられる。
【００８６】
車両情報取得部１９は、本実施形態においては、運転操作検知部２１、ＧＰＳ受信機４、方位センサ５、及び距離センサ６と接続さている。ここで、ＧＰＳ受信機４、方位センサ５、及び距離センサ６は、既に説明した概略位置特定演算部７に接続されているものと共用しており、これらの出力が車両情報取得部１９へも出力されるような構成としている。これにより、車両情報取得部１９は、車両Ｍの移動方向、移動距離、ハンドル操作等の情報を取得することができる。
また、運転操作検知部２１は、運転者による運転操作、例えば方向指示器の操作やハンドル操作（方位センサ５の構成として設けられている場合は重複するため除く。）、アクセル操作、ブレーキ操作等を検知するセンサ等により構成され、その検知結果も車両情報取得部１９へ出力される。
【００８７】
そして、車両情報取得部１９は、これら車両の各部から取得した車両情報を総合して、車両Ｍの進路に関する情報を作成し、その情報を車両位置推測演算部１８及び過去経路記憶部２０へ出力する。この車両Ｍの進路に関する情報は、具体的には、車両Ｍの進路変更の有無及びその角度等の情報となる。
この車両情報取得部１９は、このような演算処理を行うためのＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
【００８８】
過去経路記憶部２０は、車両情報取得部１９から出力された車両Ｍの進路に関する情報を、車両Ｍの移動距離や移動時間等の情報と関連付けて車両Ｍの過去の走行経路に関する情報として記憶する処理を行う。そして、この過去経路記憶部２０に記憶された車両Ｍの過去の走行経路に関する情報は、車両位置推測演算部１８からの命令信号等に応じて、車両位置推測演算部１８へ出力される。
この過去経路記憶部２０は、このような演算処理を行うための演算処理装置及びその演算結果を記憶するメモリを中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
【００８９】
また、本実施形態に係る自車位置認識補正部１０３は、道路特徴情報取得演算部９が、車線情報取得部９ａ及び車線別道路特徴情報取得演算部９ｂを備えている点、並びに、車両位置特定演算部１７が、配置情報抽出部１７ａ及び撮像位置特定部１７ｃを備えていない代わりに撮像車線特定部１７ｅを備えている点でも、上記第一の実施形態とは異なる。これらの相違は、本実施形態に係る自車位置認識補正部１０３による車両位置の認識処理が、上記第一の実施形態と異なることによるものである。よって、これらの各部により行う処理については、以下にフローチャートを用いて詳細に説明する。
【００９０】
図１６は、本実施形態に係る自車位置認識補正部１０３により車両Ｍの走行中の車線位置を特定する処理の具体例を示すフローチャートである。
この図に示すように、本実施形態に係る自車位置認識補正部１０３は、まず、撮像装置２により撮像された画像情報Ｇを取り込み（ステップ＃１０１）、画像前処理回路１３で画像情報Ｇに対する前処理を行う（ステップ＃１０２）。そして、このステップ＃１０２において前処理が行われた後の画像情報Ｇ２、及びインターフェース回路１２から直接送られてきた画像情報Ｇ１を画像メモリ１４に格納する（ステップ＃１０３）。また、ステップ＃１０２及び＃１０３の処理と並行して、概略位置特定演算部７で画像情報Ｇの概略の撮像位置を求める処理を行う（ステップ＃１０４）。なお、これらのステップ＃１０１〜＃１０４の処理は、上記第一の実施形態についての図６のステップ＃６１〜＃６４と同様の処理であるため、詳細な説明は省略する。
【００９１】
次に、車両位置推測演算部１８において、車両Ｍが走行中の車線を推測する処理を行う（ステップ＃１０５）。この車線を推測する処理は、車両情報取得部１９及び過去経路記憶部２０からの情報に基づいて行う。すなわち、車両情報取得部１９は、車両Ｍの各部のセンサ等からの情報に基づいて車両Ｍの進路に関する情報を車両位置推測演算部１８に出力する。また、過去経路記憶部２０は、車両情報取得部１９から出力された車両Ｍの進路に関する情報を、車両Ｍの移動距離や移動時間等の情報と関連付けて車両Ｍの過去の走行経路に関する情報として記憶している。したがって、車両位置推測演算部１８は、車両情報取得部１９及び過去経路記憶部２０から、車両Ｍが過去に行った進路変更の回数や各進路変更の角度等の履歴及び現在の進路変更の有無の状況等の情報を得ることができる。また、車両位置推測演算部１８は、車両Ｍが行った進路変更の角度や方向指示器の操作等から各進路変更が車線変更か否かを判断することが可能である。車両位置推測演算部１８は、これらの情報に基づいて所定の判断アルゴリズムに従って走行中の車線を推測する。
【００９２】
この判断アルゴリズムは、例えば以下のようにすることができる。すなわち、例えば、車両Ｍが走行を開始したときの車線は最も左側の車線であると推測する。また、その状態から車両Ｍが車線変更に該当する進路変更を右方向にｎ回行った場合には、左からｎ番目の車線にいると推測することができる（ｎは自然数）。更に、その状態から車両Ｍが車線変更に該当する進路変更を左方向にｍ回行った場合には、左から（ｎ−ｍ）番目の車線にいると推測することができる（ｍは自然数）。この際、（ｎ−ｍ）がゼロ又は負の値となった場合には、推測した車線が誤っていたことになるので、そのときの車線を最も左側の車線と推測するように修正を行う。この場合も、区画線認識を伴った実線の区画線と破線の区画線の識別認識が重要な役割を果す。
以上の判断アルゴリズムは単なる一例であり、車両位置推測演算部１８における判断アルゴリズムはこれ以外にも、様々なアルゴリズムを用いることが可能である。
【００９３】
その後、ステップ＃１０５による推測結果に基づいて、道路特徴情報取得演算部９において車両Ｍが走行中と推測された車線についての車線別道路特徴情報Ｃ´を取得する処理を行う（ステップ＃１０６）。ここでは、まず車線情報取得部９ａにより、地図情報データベース８からステップ＃１０４において特定された概略の撮像位置の周辺の道路１１の車線数を含む車線情報を取得し、次に、取得された車線情報に基づいて、ステップ＃１０５による推測結果として推測された車線についての車線別道路特徴情報Ｃ´を、車線別道路特徴情報取得演算部９ｂにより取得する処理を行う。後述するステップ＃１０８では、取得された車線別道路特徴情報Ｃ´について画像情報Ｇとの対比を行うので、車線別道路特徴情報Ｃ´を取得する順序をステップ＃１０５による推測結果に基づいて決定することにより、車線別道路特徴情報Ｃ´の対比の順序も決定することになる。
【００９４】
車線別道路特徴情報Ｃ´は、地図情報データベース８に格納されている広範囲の地図情報の中から、ステップ＃１０４において求められた概略の撮像位置の周辺の地物に関する道路特徴情報Ｃを、特定の車線を基準として抽出した情報である。図１７は、この車線別道路特徴情報Ｃ´の一例を図形化して示した図である。この図に示すように、本例では、車線別道路特徴情報Ｃ´は、ステップ＃１０４において特定された概略の撮像位置の周辺の道路特徴情報Ｃを左側車線、中央車線、及び右側車線の３つの車線毎に、各車線を基準として、当該車線及びその両側の所定範囲内に存在する地物の情報までを含む範囲で抽出したものとしている。図１７の（ａ）は左側車線を基準とする車線別道路特徴情報Ｃ´１を、（ｂ）は中央車線を基準とする車線別道路特徴情報Ｃ´２を、（ｃ）は右側車線を基準とする車線別道路特徴情報Ｃ´３をそれぞれ示している。なお、この図１７に示す道路１１の全体の地物の配置は図１０に示す例と同じである。
【００９５】
次に、画像情報認識演算部１０において、画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる前記地物に対応する認識対象物の画像を認識する処理を行う（ステップ＃１０７）。この処理は、上記第一の実施形態についての図６のステップ＃６６と同様の処理であるため、詳細な説明は省略する。
【００９６】
その後、車両位置特定演算部１７の対比演算部１７ｂにおいて、ステップ＃１０７により認識された認識対象物の画像を含む画像情報Ｇと、ステップ＃１０６により取得された車線別道路特徴情報Ｃ´とを対比する処理を行う（ステップ＃１０８）。本実施形態においては、車線別道路特徴情報Ｃ´を、画像情報Ｇと対比可能な情報の形式に変換する処理を行い、変換後の車線別道路特徴情報Ｃ´と画像情報Ｇとを対比して整合性が高いか否かの判断を行うこととする。ここで、車線別道路特徴情報Ｃ´の変換処理として、ここでは、図に示すように、車線別道路特徴情報Ｃ´を、その車線別道路特徴情報Ｃ´が基準とする車線のほぼ中央を撮像位置としたときに撮像されると考えられる画像情報に対応する配置となるように車線別道路特徴情報Ｃ´に含まれる各地物を配置したデータに変換する処理とする。図１８に示す例では、（ａ）は図１７（ａ）に示す左側車線を基準とする車線別道路特徴情報Ｃ´１を変換したデータであり、（ｂ）は図１７（ｂ）に示す中央車線を基準とする車線別道路特徴情報Ｃ´２を変換したデータであり、（ｃ）は図１７（ｃ）に示す右側車線を基準とする車線別道路特徴情報Ｃ´３を変換したデータである。
【００９７】
このような変換処理を行うことにより、画像情報Ｇ中の認識対象物の画像の配置と、車線別道路特徴情報Ｃ´に含まれる当該認識対象物に対応する各地物の配置とを容易に対比することができる。この対比の処理は、具体的には、画像情報Ｇ中の各認識対象物の画像の位置並びに各認識対象物の画像の形状及び色彩等と、車線別道路特徴情報Ｃ´に含まれる前記認識対象物に対応する各地物の位置並びにその形状及び色彩等の情報とを対比して、整合性が高いか否かの判断を行う。例えば、画像情報Ｇが図９に示す例のとおりである場合には、図１７（ａ）に示される左側車線を基準とする車線別道路特徴情報Ｃ´１が、車線の両側の区画線Ｐ１ａ、Ｐ２ａ、走行方向通行区分Ｐ３、及び歩道Ｉ１の位置、形状及び色彩等について画像情報Ｇと整合する。
【００９８】
そして、この対比演算部１７ｂにおけるステップ＃１０８の対比の結果、整合性が高い場合には（ステップ＃１０９：ｙｅｓ）、車両位置特定演算部１７の撮像車線特定部１７ｂにおいて、その車線別道路特徴情報Ｃ´が基準とする車線を車両Ｍが走行中の車線として特定する（ステップ＃１１０）。
【００９９】
一方、この対比演算部１７ｂにおけるステップ＃１０８の対比の結果、整合性が低い場合には（ステップ＃１０９：ｎｏ）、隣接する車線の車線別道路特徴情報Ｃ´を地図情報データベース８から取得する処理を行う（ステップ＃１０６）。ここで、隣接する車線の車線別道路特徴情報Ｃ´を取得するのは、ステップ＃１０５による推測結果が外れていた場合であっても、それに近い車線を車両Ｍが走行中である可能性が高いからである。この際、例えばステップ＃１０８で最初に対比した車線別道路特徴情報Ｃ´が３車線のうちの中央車線を基準とするものであった場合等のように、ステップ＃１０９の判断の結果、整合性が低い車線に隣接する、未だ対比の対象となっていない車線が両側にある場合には、例えば、左側の車線を先に対比する等のように、予め定め一定のアルゴリズムに従って決定することになる。
【０１００】
そして、ステップ＃１１０により取得された新たな車線別道路特徴情報Ｃ´について、ステップ＃１０８以降の処理を再度行い、ステップ＃１０９において整合性が高いと判断されて車両Ｍが走行中の車線が特定されるか、或いは、車両Ｍが走行中の道路１１の全ての車線の車線別道路特徴情報Ｃ´についてステップ＃１０８の対比処理が行われるまで、ステップ＃１０８〜＃１１０の処理を繰り返し行う。この場合も、区画線認識を伴った実線の区画線と破線の区画線の識別認識が重要な役割を果す。なお、図１６のフローチャートには示していないが、車両Ｍが走行中の道路１１の全ての車線の車線別道路特徴情報Ｃ´についてステップ＃１０８の対比処理を行った結果、整合性が高い車線別道路特徴情報Ｃ´が存在しない場合には、車線位置は不明と判断し、次の画像情報Ｇについて、ステップ＃１０１〜＃１１１の処理を実行する。
以上の処理により、車両Ｍが走行中の車線を特定することができる。
そして、自車線更新補正部１７ｆは、自車線を新たに認識された詳細な車線に更新補正する（ステップ＃１１２）。
この実施形態の場合も、区画線である自線と破線とが的確に認識され、これら区画線を渡る車線変更が行われたか否かが的確に認識されて、信頼性の高い装置とできる。
【０１０１】
〔その他の実施形態〕
（１） 上記の実施形態では、地物の認識実行する地物認識装置としての構成と、自車位置認識装置としての構成に関して述べたが、これら装置は、地図情報を格納した地図データベースを、「地図情報格納手段」として備えるため、自車位置認識装置から得られる自車位置情報と、地図情報とを使用して、車両制御情報を生成できる構成とする場合、装置は車両制御装置とすることができる。
【０１０２】
（２） 上記の実施形態では、地物の認識実行する地物認識装置としての構成と、自車位置認識装置としての構成に関して述べたが、これら装置は、地図情報を格納した地図データベースを、「地図情報格納手段」として備えるため、自車位置認識装置から得られる自車位置情報と、地図情報とを使用して、ナビゲーション情報を生成できる構成とする場合、装置はナビゲーション装置とすることができる。
【０１０３】
（３） 上記の実施形態では、詳細な自車位置の特定に際して、測定点として、進行方向別通行区分の矢印先端を採用する場合を示したが、矢印先端を使用する他、矢の基端部、矢印の根元部としてもよい。即ち、任意の地物の輪郭形状の角部を選択することができる。さらに、これまでも説明してきたように、地物としては、停止線、横断歩道、横断歩道予告、転回禁止、速度表示等も使用できるが、これらにおいて、道路の進行方向に略直交する輪郭線上に測定点を設定することができる。
【０１０４】
（４）上記第二の実施形態に係る車両位置認識装置１では、車両Ｍの詳細な位置として、車両Ｍが走行中の車線位置を特定する場合について説明したが、本発明はこれに限定されるものではない。例えば、道路１１の幅方向に異なる複数の位置を基準とする位置毎の道路特徴情報Ｃとして、車線毎よりも更に細分化した位置毎に道路特徴情報Ｃを取得することにより、更に詳細な道路幅方向の位置を特定することが可能な構成とすることも好適な実施形態の一つである。
【０１０５】
（５）また、上記第二の実施形態に係る車両位置認識装置１では、車両Ｍの詳細な位置として、道路幅方向の車線位置を特定する構成について説明したが、上記第二の実施形態の構成において、上記第一の実施形態と同様に、道路１１に沿って設けられない停止線、標識、信号機等の認識対象物の画像を基準とすることにより、道路１１に沿った方向、すなわち道路長手方向の撮像位置を詳細に特定することができる構成とすることも好適な実施形態の一つである。
【産業上の利用可能性】
【０１０６】
地物の撮像情報と地図データベースに記憶された地物に関する道路特徴情報とに基づいて、地物を認識する地物認識装置において、例えば、区画線としての実線と破線とを誤って識別するような問題を発生することがない地物認識装置を得ることができた。
【図面の簡単な説明】
【０１０７】
【図１】第一、第二の実施形態に係る認識補正制御機能のハードウエア構成の概略を示すブロック図
【図２】第一、第二の実施形態に係る自車位置認識補正装置における撮像装置及び回転センサの配置例を示す図
【図３】第一、第二の実施形態に係る認識補正制御処理の具体例を示すフローチャート
【図４】第一の実施形態に係る自車位置認識補正部のハードウエア構成の概略を示すブロック図
【図５】第一の実施形態に係る車両位置認識装置における地図情報データベースに格納されている地図情報の内容を示す説明図
【図６】第一の実施形態に係る車両位置認識装置における車両位置の認識処理の具体例を示すフローチャート
【図７】図６のステップ＃６６の処理の詳細を示すフローチャート
【図８】図６のステップ＃６７の処理の詳細を示すフローチャート
【図９】（ａ）：撮像装置により撮像された画像情報の一例、（ｂ）：（ａ）に示された画像情報に対して前処理を行った後の画像情報の一例
【図１０】第一の実施形態に係る道路特徴情報取得演算部により取得された道路特徴情報の一例を図形化して示した図
【図１１】（ａ）：画像情報からステップ＃７３の処理により抽出されたペイント表示の画像のみを表した図、（ｂ）：（ａ）に示された画像に基づいて区画線により領域を区分した状態を示す図
【図１２】図９に示す画像情報について、道路の幅方向の各位置におけるエッジ点数を検出した結果を示すグラフ
【図１３】図９（ａ）より数フレーム前の撮像装置により撮像された画像情報の一例を示す図
【図１４】第一の実施形態に係る車両位置特定演算部において、詳細な撮像位置を特定する方法の一例を説明するための説明図
【図１５】第二の実施形態に係る自車位置認識補正部のハードウエア構成の概略を示すブロック図
【図１６】第二の実施形態に係る車両位置の認識処理の具体例を示すフローチャート
【図１７】第二の実施形態に係る道路特徴情報取得演算部により取得された車線別道路特徴情報の一例を図形化して示した図
【図１８】図１７に示される車線別道路特徴情報を画像情報Ｇと対比可能な情報の形式に変換したデータを示す図
【符号の説明】
【０１０８】
２ ：撮像装置
３ ：画像情報取得部（画像情報取得手段）
８ ：地図情報データベース（地図情報格納手段）
９ ：道路特徴情報取得演算部（道路特徴情報取得手段）
１０ ：画像情報認識演算部（画像情報認識手段）
１７ ：車両位置特定演算部（車両位置特定手段）
１８ ：車両位置推測演算部
１０１ａ：回転センサ（速度情報取得手段）
１０１ ：走行速度導出部（速度情報取得手段）
１０２ ：認識補正処理制御部（認識補正処理制御手段）
１０３ ：自車位置認識補正部（自車位置認識補正手段）
Ｇ ：画像情報
Ｃ ：道路特徴情報
【技術分野】
【０００１】
本発明は、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を逐次取り込む画像情報取得手段と、地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置に基づいて、前記地物を認識する地物認識装置に関するとともに、この種の地物認識装置で使用される地物認識方法、さらには、当該地物認識装置を装備した自車位置認識装置及びナビゲーション装置に関する。
【背景技術】
【０００２】
近年、例えばナビゲーション装置等において、走行中の車両の位置を特定するために、ＧＰＳ（全地球測位システム）からの電波信号を用いた位置特定の方法が広く用いられている。しかし、このＧＰＳによる車両の位置特定の精度は、数ｍ程度の誤差を含んでおり、それ以上の精度での詳細な位置を特定することは困難であった。そこで、このＧＰＳによる位置特定の精度の悪さを補うために、これまでにも様々な技術が提案されている。
【０００３】
このような技術として、特許文献１には、車両に搭載された撮像装置により撮像された画像情報について、認識部が画像の輝度等に基づいて区画線を認識し、それにより車両が走行中の道路が一般道か高速道かを判定する技術が開示されている。
【０００４】
この技術では、例えば、撮像した画像中の一定の広さを有するウィンドウ内の輝度が一定の基準を超えている部分を区画線の画像として認識する。これにより認識された区画線は、その長さ、区画線間の破断部部分の長さ、区画線の繰り返しピッチといった特徴抽出データとして判定部に出力される。そして、判定部では、一般道と高速道とでそれぞれ規格化された区画線の設置基準に基づいて、走行中の道路が一般道か高速道かを判定できる。結果、この技術によれば、車両が走行中の道路が一般道か高速道かに応じて、車両の速度制御等を行うことができる。
【０００５】
しかしながら、上記技術では、走行中の道路の中における車両の位置、例えば、走行方向に複数の車線がある道路を車両が走行中である場合において、車両がどの車線を走行しているか等のように、走行中の道路の中における位置等の詳細な位置を特定することは不可能である。
【０００６】
そこで、出願人は、特許文献２において、撮像装置から得られる画像の画像認識を実行するに際して、撮像位置にある地物の情報（道路特徴情報と呼んでいる）に基づいて画像認識を実行し、認識対象物を精度良く個々に認識するとともに、認識された地物の位置情報と撮像装置の位置との関係とに基づいて、自車の詳細な位置を特定することを提案している。
この特許文献２にあっては、道路の長手方向に沿った位置の特定おいては、マンホール、停止線、標識等、道路に沿って設けられてない地物が使用される。道路の幅方向に沿った位置の特定においては、道路に沿って設けられている区画線（実線、破線）等の地物が使用される。この例にあっては、道路特徴情報と、認識対象物の画像の画像情報中の位置との関係に基づいて、地物を認識する。
【０００７】
この例における自車位置の特定は、例えば、本明細書図１０に示されるように、歩道Ｉ１から分離体Ｉ２に渡って、区画線Ｐ１ａ，Ｐ２ａ，Ｐ２ｂ，Ｐ１ｂが存在し、区画線間に走行方向別通行区分Ｐ３がある場合、これら区画線及び走行方向別通行区画を個別に識別認識し、その位置関係から自車位置を特定するものとなる。従って、この位置特定手法では、あくまでも、地物個々が良好に認識されることを前提とする。即ち、例えば、自車が走行している走行線あるいは道路幅方向の位置を特定しようとすると、少なくとも区画線である実線と破線とは正確に識別認識される必要がある。
【０００８】
区画線である実線と破線との識別認識は、特許文献２の図７に示すような撮像画像が得られた場合は比較的容易であるが、本願明細書の図９（ａ）に示すような撮像画像が得られた場合は、破線の認識が困難となる場合がある。この図にあっては、区画線の画像ＧＰ２ｂの認識において、破断部が画像奥側に位置するため、この区画線Ｐ２ｂが破線なのか実線なのか識別が困難となる場合がある。そこで、撮像装置により逐次撮像される複数の画像（複数のフレーム画像）に関して、同一の認識対象物を順次認識し、複数フレーム間に渡って、同一と認められる認識対象物（この場合は区画線）に関して、破断部が認められる当該区画線を破線と認識し、破断部が認められない当該区画線を実線と認識する認識方法も採用されている。
【０００９】
【特許文献１】実開平５−２３２９８号公報（第６−８頁、第１−３図）
【特許文献２】特開２００６−２０８２２３号公報（図４）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、先に説明したように、実線と破線との識別を複数フレームに渡って行う構成を採用したとしても、車両が停止している場合、あるいは極めて低速で走行している場合には、撮像装置により取り込まれる画像に実質的な変化がないため、結果的に継続的に破断部の無い部位を撮像し続けたり、破断部を継続的に撮像することになり、破線を実線と識別したり、破線が存在するにも拘らず、破線が無いと識別してしまうことがあることが判明した。
【００１１】
また、車両が何らかの理由から、例えば、道路上に描かれたペイント表示の一種である走行方向通行区分上で停車した場合に、画像認識側では区画線上で車両が停車したと認識し、車線間に渡って走行する、所謂跨ぎが行われたと誤認識する場合があることが判明した。
【００１２】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、地物の撮像情報と地図データベースに記憶された地物に関する道路特徴情報とに基づいて、地物を認識する地物認識装置において、例えば、区画線としての実線と破線とを誤って識別するような問題を発生することがない地物認識装置を得ることにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するための、
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を逐次取り込む画像情報取得手段と、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と
前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置に基づいて、前記地物を認識する地物認識装置の第１の特徴構成は、請求項１に記載されているように、
車両の走行速度情報を取得する速度情報取得手段を備え、
取得された前記走行速度情報が所定の値より低い場合に、前記画像情報認識手段による前記認識対象物の認識を停止する認識補正処理制御手段を備えたことにある。
【００１４】
この地物認識装置にあっても、撮像装置側から得られる画像情報において地物に対応する認識対象物の画像を認識する画像認識を実行するとともに、画像認識の結果認識された認識対象物と、地物に関す情報を含む道路特徴情報を比較対照して、地物を認識するのであるが、この地物認識装置が搭載される車両の走行速度が別途、速度情報取得手段により取得され、認識補正処理制御手段により、走行速度が所定値より小さい場合には、画像情報認識処理手段による認識処理を行わないものとされる。
即ち、走行速度が所定値より小さい場合は、撮像装置において同じ画像を継続的に取り込んだり（停止している場合）、ほぼ同じ画像を継続的に取り込んだり（極めて低速で走行している場合）することとなるが、このような画像情報が認識処理の対象となることはない。換言すると、画像認識の対象となる画像情報は、走行に伴って順次遷移していく画像となる。結果、画像情報として認識対象物を異なった撮像位置から撮像した画像情報を得ることとなり、認識対象物である地物の特徴が良く現れた画像情報を得て、或は、複数のフレーム間に渡る画像情報から識別認識を行う場合は、認識対象物の特徴を良好に捉えて、地物の認識を的確に行える。
【００１５】
この第１の特徴構成を備えた地物認識装置にあっては、請求項１０に記載されているように、下記の画像認識方法を使用することとなる。
即ち、車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を逐次取り込む画像情報取得ステップと、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得ステップと、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識ステップと、
前記道路特徴情報取得ステップで取得された前記道路特徴情報と、前記画像情報認識ステップで認識された前記認識対象物の画像の前記画像情報中の配置に基づいて、前記地物を認識する地物認識方法を実行するに、
車両の走行速度情報を取得する速度情報取得ステップを実行し、
取得された前記走行速度情報が所定の値より低い場合に、前記画像情報認識ステップによる前記認識対象物の認識を停止するのである。
この場合、認識対象物の認識を停止した後、車両の走行が始まり走行速度が所定の値より大きくなった場合は，当然に認識を再開する。このようにすることで、車両の走行状態に合わせて正確に地物の認識を行える。
【００１６】
さて、第１の特徴構成を備えた地物認識装置において、請求項２に記載されているように、少なくとも、全地球測位システムから得られる測位システム位置情報に基づいて、車両の概略位置を求める位置情報取得手段を備え、
前記画像情報が撮像された時点で前記位置情報取得手段により求められる車両の位置を、前記画像情報の撮像位置とすることが、好ましい。この構成が本願第２の特徴構成である。
【００１７】
全地球測位システムからの位置情報は、粗い位置情報ではあるが、画像情報内に含まれる可能性のある地物を特定するには充分な情報である。そこで、道路特徴取得手段により取得する道路特徴情報の取得のための位置基準及び撮像位置の特定に際して、この情報を利用することで、画像情報内に含まれる認識対象物の画像情報と道路特徴情報との対照を的確に行い、撮像された地物（認識対象物）を迅速且つ正確に認識できる。
【００１８】
さて、第１又は２の特徴構成を備えた地物認識装置において、請求項３に記載されているように、前記認識対象物が区画線であり、少なくとも前記画像情報認識手段が区画線である実線と破線とを識別認識するものであることが好ましい。この構成が本願の第３の特徴構成である。
区画線の一種である実線若しくは破線は、道路において自車が走行する車線の認識、道路の車線数の認識、車線変更が行われたか否かの判断において、その正確な認識が非常に重要なものである。一方、両者の識別認識に関しては、画像情報が走行状態で取得されている間は，比較的良好に識別が可能であるが，先にも示したように、停車或は実質的に停車状態にあると，識別を誤る可能性が高くなる。そこで、本願のように、一定の走行速度以下では、両者間の識別認識を行わないようにすることで、誤認識の発生を防止することができる。
【００１９】
さて、第３の特徴構成を備えた地物認識装置において、請求項４に記載されているように、
前記画像情報認識手段において、前記区画線である実線と破線とを識別認識するに、
単一フレームに含まれる区画線に破断部が認められる場合に当該区画線を破線と認識し、破断部が認められない場合に当該区画線を実線と認識する第一認識処理と、
複数フレーム間に渡って、同一と認められる区画線に関して、破断部が認められる場合に当該区画線を破線と、破断部が認められない場合に実線と認識する第二認識処理とを実行することが好ましい。
この構成にあっては、第一認識処理において、少なくとも一のフレームに含まれる区画線である実線と破線との識別を実行し、第二認識処理において、複数のフレーム間に渡って含まれる同一と認められる区画線である実線と破線との識別を行うことで、道路にペイントされた区画線を両手法を使用して良好に識別できる。
【００２０】
さて、第３の特徴構成を備えた地物認識装置において、請求項５に記載されているように、
前記画像情報認識手段において、前記区画線である実線と破線とを識別認識するに、
単位時間に取り込まれる複数のフレーム間に渡って、同一と認められる区画線に関して、破断部が認められる場合に当該区画線を破線と、破断部が認められない場合に実線と認識することが、好ましい。
この構成の場合は、所定時間内に取り込まれる複数のフレームを使用し、同一の区画線に関する実線及び破線の識別を良好に行える。
【００２１】
さて、これまで説明してきた地物認識装置を備えた自車位置認識装置は、請求項６に記載されるように、地物認識装置に加えて、
前記認識対象物に予め定められた測定点について、前記画像情報に含まれている前記認識対象物についての前記測定点の画像認識を行い、
認識された前記測定点の画像認識結果と、予め求められている当該測定点の位置情報とに基づいて自車位置情報を更新補正する自車位置認識補正手段、
を備える構成とできる。
この自車位置認識装置は、地物認識装置を成す、各手段に加えて、自車位置認識補正手段が備えられる。
一方、認識対象物（地物）には、予め測定点を定めておく。例えば、矢印である走行方法通行区分においては、その矢印先端点を測定点と定めておいたり、停止線であれば、その走行方向前方側の輪郭線上を測定点と定めておく。そして、その測定点の画像認識結果から、測定点から撮像位置（実質的に自車位置）を割り出し、予め求められている当該測定点の位置情報に基づいて自車位置を求め、自車位置情報を更新補正する。このようにして、詳細な自車位置を正確に特定することができる。
【００２２】
このような測定点としては、請求項７に記載されているように、各地物の輪郭形状に応じて、自車両の進行方向に略直交する輪郭線上、又は前記輪郭形状が角部を有する場合には当該角部上に設定されていることが好ましい。
進行方向に略直交する輪郭線上を測定点とすることで、輪郭線上で発生する画像情報での輝度の変化を良好に見出して、その測定点の特定が容易であり、さらに、進行方向に略直交することで、道路の長手方向に沿った自車の位置の特定を容易に行えることとなる。
輪郭形状が角部を有する場合には当該角部上に設定されていることで、角部上で発生する画像情報での輝度の変化を良好に見出して、その測定点の特定が容易である。さらに、道路の長手方向及び幅方向の自車の位置の特定を容易に行えることとなる。
【００２３】
これまで説明してきた自車位置認識装置を備えた車両制御装置は、請求項８に記載されるように、自車位置認識装置に加えて、地図情報を格納した地図情報格納手段を備え、
前記地図情報格納手段から取得した自車両の進行方向の地図情報と、前記自車位置認識補正手段による更新補正後の自車位置情報とに基づいて、自車両の走行制御を行う車両制御装置とすることができる。
この車両制御装置は、自車位置認識装置を成す、各手段に加えて、地図情報格納手段が備えられる。そして、車両制御に際しては、正確な自車位置を自車位置認識装置側から取得して、地図情報格納手段から得られる地図情報に基づいて、自車両を走行制御する。結果、正確に信頼性の高い車両制御を実現できる。
【００２４】
これまで説明してきた自車位置認識装置を備えたナビゲーション装置は、請求項９に記載されるように、自車位置認識装置に加えて、地図情報を格納した地図情報格納手段を備え、
前記地図情報格納手段から取得した自車両の進行方向の地図情報と、前記自車位置認識補正手段による更新補正後の自車位置情報とに基づいて、自車両の進路案内を行うナビゲーション装置とすることができる。
このナビゲーション装置は、自車位置認識装置を成す、各手段に加えて、地図情報格納手段が備えられる。そして、ナビゲーションに際しては、正確な自車位置を自車位置認識装置側から取得して、地図情報格納手段から得られる地図情報に基づいて、自車両をナビゲートする。結果、正確に信頼性の高いナビゲーションを実現できる。
【発明を実施するための最良の形態】
【００２５】
以下に、本発明の実施形態について図面に基づいて説明する。
本願にあっては、第一の実施形態と第二の実施形態について、本願に係る自車位置認識装置１００を説明する。この自車位置認識装置１００は、本願にいう地物認識装置ともなっている。
第一の実施形態では、自車位置認識装置１００は、道路における自車の道路長手方向及び道路幅方向の詳細な位置を特定するとともに、自車位置を精度の高い詳細な位置に更新補正するように構成され、自車の周りにある走行不可能領域の認識も行うように構成されている。
一方、第二の実施形態では、自車位置認識装置１００は、走行中の道路における走行車線（自車線）を認識して、道路幅方向の詳細な位置を特定し、自車位置（具体的には自車線位置）を精度の高い詳細な位置に更新補正するように構成されている。
本願にあっては、このような詳細な位置の特定、走行不可能領域の認識において、道路にペイントされている区画線の認識（特に、実線と破線との識別認識）が的確に行われることが重要となる。そこで、本願にあっては、実線と破線との誤認識が起こりやすい特定の条件下で、認識処理、それに続く後続処理を行わないように自車位置認識装置１００が構築されている。
【００２６】
本願に係る自車位置認識装置１００は、自車位置の特定・更新補正に際して、ＧＰＳ受信機４等からの情報に基づいて自車の概略位置を求めるとともに、同時に撮像された画像情報Ｇに関して、当該概略位置に存在するはずの地物に関する情報である道路特徴情報Ｃとを利用して撮像された地物の画像認識を行い、認識された地物を基準に詳細な位置を特定し、特定された自車位置に自車位置を更新補正する。このような処理を実行するに際して、先にも述べたように、区画線の認識に誤りを生じると、自車位置特定の信頼性が低くなる。そこで、本願に係る自車位置認識装置１００にあっては、画像認識、自車位置特定、それら処理に随伴する自車位置の更新補正、さらには、走行不可能領域の認識を、自車が停止している場合あるいは、極めて低速で走行している場合には実行しない。この実行停止は、第一及び第二の実施形態において共通である。そこで、図１〜図３に基づいて、まず共通構成である、この制御機能部位に関して説明する。
【００２７】
図１は、上記共通の制御機能部位のハードウエア構成の概略を説明するための機能ブロック図である。図１に示すように、自車位置認識装置１００は、走行速度導出部１０１、認識補正処理制御部１０２と自車位置認識補正部１０３とを備えて構成されており、走行速度導出部１０１で導出される走行速度情報Ｖに基づいて、認識補正処理制御部１０２が自車位置認識補正部１０３での処理の実行の可否を制御するように構成されている。
自車位置認識補正部１０３の詳細構成を示したのが、第一の実施形態について図４であり、第二の実施形態について図１５である。この自車位置認識補正部１０３の詳細は、後に、これら図及びその部位のフローチャートに基づいて説明する。
【００２８】
走行速度導出部１０１は、図２に示すように、走行輪Ｗに連結される駆動伝達軸等の回転を検出する回転センサ１０１ａからの回転情報を利用して走行速度を導出する。この走行速度導出部１０１にあっては、車両が停止している走行停止状態、及び、走行速度が１ｋｍ／ｈｒ未満といった極めて低速で走行している低速走行状態も検出される。この場合、回転センサ１０１ａ，走行速度導出部１０１が、本発明における「速度情報取得手段」に相当する。
【００２９】
認識補正処理制御部１０２は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備え、走行速度導出部１０１により導出される走行速度情報Ｖに基づいて、自車位置認識補正部１０３における処理を実行するか否かの判断を実行する。図３に、認識補正処理制御部１０２におけるフローチャートを示した。
自車位置認識装置１００が働いている状態にあっては、走行速度導出部１０１は逐次、回転センサ１０１ａからその回転情報を受け取り、走行速度情報Ｖを導出する。そして、導出された走行速度情報Ｖが認識補正処理制御部１０２に取得される（ステップ＃１）。
認識補正処理制御部１０２にあっては、取得した走行速度情報Ｖを、予め設定されている走行基準情報と比較する（ステップ＃２）。この走行基準情報は、自車が走行しているか、停止しているかの判断を行うための走行速度情報であり、例えば、１ｋｍ／ｈｒに設定されている。
【００３０】
認識補正処理制御部１０２にあっては、走行速度情報Ｖが走行基準情報より大きい場合（ステップ＃２：ｙｅｓ）は、自車位置認識補正部１０３での処理を許可する。一方、走行速度情報Ｖが走行基準情報より小さい場合（ステップ＃２：ｎｏ）は、自車が停止若しくは極めて低速で走行しているため、自車位置認識補正部１０３での処理を行うことなく、走行速度情報の取得を繰り返す。即ち、自車位置認識補正部１０３での処理は行われない。
このように、本願の自車位置認識装置１００にあっては、自車が停止しているか、若しくは、極めて低速で走行している状態にあっては、自車位置認識補正処理を実行しないように構成されている。従って、この認識補正処理制御部１０２が、本発明における「認識補正処理制御手段」に相当する。また、前記自車位置認識補正部１０３が、本発明における「自車位置認識補正手段」に相当する。
【００３１】
以下、第一、第二の実施形態の夫々に関して、自車位置認識補正部１０３の構成及びその働きについて順に説明する。
【００３２】
〔第一の実施形態〕
この実施形態における自車位置認識補正部１０３は、図４に示すように、撮像装置２により撮像された画像情報Ｇの認識結果と地図情報から取得した道路特徴情報Ｃとの両方に基づいて、車両Ｍの走行中の道路１１内における詳細な位置、すなわち自車の道路長手方向及び道路幅方向の詳細な位置を特定し、装置１００が認識している自車位置を、特定された詳細な位置に更新補正する。さらに、走行不可能領域Ｉの認識も行う。
【００３３】
図４に示すように、この自車位置認識補正部１０３は、主たる構成として、車両Ｍ（図２参照）に搭載された撮像装置２からの画像情報Ｇを取り込む画像情報取得部３と、ＧＰＳ（全地球測位システム）受信機４、方位センサ５及び距離センサ６からの出力に基づいて撮像装置２による概略の撮像位置を特定するための演算を行う概略位置特定演算部７と、地図情報データベース８に格納されている地図情報から撮像装置２による概略の撮像位置周辺の地物に関する道路特徴情報Ｃを取得するための演算を行う道路特徴情報取得演算部９と、取得された道路特徴情報Ｃを用いて画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる前記地物に対応する認識対象物の画像を認識するための演算を行う画像情報認識演算部１０と、道路特徴情報取得演算部９で取得された道路特徴情報Ｃと、画像情報認識演算部１０で認識された認識対象物の画像の画像情報Ｇ中の配置とに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定し、自車の認識位置を補正する車両位置特定演算部１７と、を備えている。
【００３４】
ここで、概略位置特定演算部７、ＧＰＳ受信機４、方位センサ５、距離センサ６、及び地図情報データベース８は、車両に搭載され、車両の経路案内等を行うためのナビゲーション装置の構成を利用することができる。この場合、概略位置特定演算部７、ＧＰＳ受信機４、方位センサ５、距離センサ６等が、本発明における「位置情報取得手段」に相当する。
【００３５】
撮像装置２は、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。この撮像装置２は、車両Ｍの前方や後方、例えば図２のＱ１〜Ｑ３で示す位置に向けて配置され、車両Ｍが走行する道路１１の少なくとも路面が撮影され、更にここではその道路１１の周囲も撮影されるように設けられる。このような撮像装置２としては、車両Ｍの前方や後方等の映像を撮像するためにこれまでにも設けられている車載カメラ等が好適に用いられる。
【００３６】
画像情報取得部３は、撮像装置２と接続するためのインターフェース回路１２と、撮像装置２からの画像情報Ｇに対して前処理を行う画像前処理回路１３と、前処理後の画像情報Ｇを格納する画像メモリ１４とを有している。インターフェース回路１２は、アナログ／デジタル・コンバータ等を備えており、撮像装置２により撮像したアナログの画像情報Ｇを所定の時間間隔で取り込み、デジタル信号に変換して画像前処理回路１３へ出力する。このインターフェース回路１２による画像情報Ｇの取り込みの時間間隔は、例えば、１０〜５０ｍｓ程度とすることができる。これにより、画像情報取得部３は、車両Ｍが走行中の道路１１の画像情報をほぼ連続的に取得することができる。画像前処理回路１３は、ここでは画像情報Ｇに対する前処理として二値化処理、エッジ検出処理等の画像情報認識演算部１０による画像認識を容易にするための処理を行う。そして、このような前処理後の画像情報Ｇが画像メモリ１４に格納される。
【００３７】
また、インターフェース回路１２は、画像前処理回路１３へ送る画像情報Ｇとは別に、直接画像メモリ１４へも画像情報Ｇを出力する。したがって、画像メモリ１４には、画像前処理回路１３により前処理を行った後の画像情報Ｇ２と、前処理を行っていないそのままの画像情報Ｇ１との両方が格納されることになる。
本実施形態においては、この画像情報取得部３が、本発明における「画像情報取得手段」を構成する。
【００３８】
概略位置特定演算部７は、本実施形態においては、ＧＰＳ受信機４、方位センサ５、及び距離センサ６と接続さている。ここで、ＧＰＳ受信機４は、ＧＰＳ衛星からの信号を受信する装置であり、ＧＰＳ受信機４の位置（緯度及び経度）や移動速度など様々な情報を得ることができる。方位センサ５は、地磁気センサやジャイロセンサ、或いは、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、車両Ｍの進行方向を検知することができる。距離センサ６は、車輪の回転数を検知する車速センサや車両Ｍの加速度を検知するヨー・Ｇセンサと、検知された加速度を２回積分する回路との組み合わせ等により構成され、車両Ｍの移動距離を検知することができる。
【００３９】
そして、概略位置特定演算部７は、これらのＧＰＳ受信機４、方位センサ５及び距離センサ６からの出力に基づいて、車両Ｍの現在の概略位置を求める演算を行う。こうして演算された車両Ｍの位置が撮像装置２の位置となる。
【００４０】
この概略位置特定演算部７により求めることができる車両の概略位置の精度は、ＧＰＳ受信機の精度に大きく影響を受ける。このため、現状では、数ｍ程度の誤差を含んでいる。よって、この概略位置特定演算部７において、車両Ｍの道路長手方向及び道路幅方向の詳細な位置を特定することはできない。
結果、本願で示すように、画像情報Ｇ及び地物に関して地図情報データベース８に記憶される情報を利用して、車両Ｍの詳細な位置を特定し、その特定結果に基づいて、自車位置認識装置１００が認識する自車位置を更新補正することが必要となる。
【００４１】
概略位置特定演算部７は、画像情報取得部３のインターフェース回路１２とも接続されている。このインターフェース回路１２は、撮像装置２による撮像のタイミングで概略位置特定演算部７に対して信号の出力を行う。したがって、概略位置特定演算部７は、このインターフェース回路１２からの信号の入力を受けたタイミングでの撮像装置２の位置を演算することにより、画像情報Ｇの概略の撮像位置を特定することができる。このようにして概略位置特定演算部７により求められた画像情報Ｇの概略の撮像位置は緯度及び経度の情報により表され、道路特徴情報取得演算部９に出力される。
この概略位置特定演算部７は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
【００４２】
道路特徴情報取得演算部９は、概略位置特定演算部７及び地図情報データベース８と接続されている。
図５は、地図情報データベース８に格納されている地図情報の内容を示す説明図である。この図に示すように、本実施形態に係る地図情報データベース８には、地図情報として、道路ネットワークレイヤＬ１、道路形状レイヤＬ２、地物レイヤＬ３が格納されている。
道路ネットワークレイヤＬ１は、道路１１間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードＮの情報と、２つのノードＮを連結して道路１１を構成する多数のリンクＬの情報とを有して構成されている。また、各リンクＬは、そのリンク情報として、道路１１の種別（高速道路、有料道路、国道、県道等の種別）やリンク長さ等の情報を有している。
道路形状レイヤＬ２は、道路ネットワークレイヤＬ１に関連付けられて格納され、道路１１の形状を示すレイヤである。具体的には、２つのノードＮの間（リンクＬ上）に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Ｓの情報と、各道路形状補完点Ｓにおける道路幅Ｗの情報とを有して構成されている。
【００４３】
地物レイヤＬ３は、道路ネットワークレイヤＬ１及び道路形状レイヤＬ２に関連付けられて格納され、道路１１上及び道路１１の周辺に設けられた各種地物の情報を示すレイヤである。この地物レイヤＬ３に格納する地物情報としては、少なくとも、この自車位置認識補正部１０３において認識対象物となり得る地物に関する位置、形状、色彩等の情報が格納されている。本実施形態においては、具体的には、道路１１の路面に設けられたペイント表示Ｐ、道路１１に隣接する走行不可能領域Ｉ、道路１１上に設けられた各種の標識１５や信号機１６等の各種地物について、道路形状補完点Ｓ又はノードＮを基準とした地図上の位置、並びに形状及び色彩等の地物情報を有して構成されている。
【００４４】
ここで、ペイント表示Ｐには、例えば、車線を分ける区画線（実線、破線、二重線等の区画線の種類の情報も含む。）、ゼブラゾーン、各レーンの進行方向を指定する進行方向別通行区分表示、停止線、横断歩道、横断歩道予告（横断歩道あり）、転回禁止、速度表示等が含まれる。走行不可能領域Ｉには、例えば、道路１１に隣接する路肩、歩道、分離帯等が含まれる。
【００４５】
なお、地図情報データベース８は、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。
【００４６】
そして、道路特徴情報取得演算部９は、概略位置特定演算部７により特定された画像情報Ｇの撮像位置を示す緯度及び経度の情報に基づいて、地図情報データベース８に格納されている地図情報から、画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを取得するための演算を行う。ここでは、道路特徴情報取得演算部９は、画像情報Ｇの撮像位置周辺の、少なくとも撮像装置２による撮像領域を含む領域内に含まれる地物の位置、形状、色彩等の地物情報を、道路特徴情報Ｃとして地図情報データベース８の地物レイヤＬ３から抽出する演算処理を行う。
【００４７】
この道路特徴情報取得演算部９は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この道路特徴情報取得演算部９が、本発明における「道路特徴情報取得手段」を構成する。
【００４８】
画像情報認識演算部１０は、画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる認識対象物の画像を認識するための演算を行う。本実施形態においては、画像情報認識演算部１０は、画像情報取得部３の画像メモリ１４及び道路特徴情報取得演算部９と接続されており、道路特徴情報取得演算部９により取得された道路特徴情報Ｃを用いて画像情報Ｇの認識処理を行う。
また、画像情報認識演算部１０において画像認識を行う認識対象物は、上述したペイント表示Ｐ、走行不可能領域Ｉ、及び各種の標識１５や信号機１６等の地物レイヤＬ３に地物情報として格納されている地物に対応するものとする。
【００４９】
この画像情報認識演算部１０は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この画像情報認識演算部１０が、本発明における「画像情報認識手段」を構成する。
【００５０】
画像情報認識演算部１０における道路特徴情報Ｃを用いた画像情報Ｇの認識処理の具体的方法として、この車両位置認識装置１では、画像情報Ｇに含まれる一のフレームを対象とする場合、以下の２つの方法をそれぞれ単独で或いはこれらを組み合わせて用いる。
一の画像認識処理方法は、画像情報Ｇから認識対象物の画像候補を抽出して道路特徴情報Ｃと対比し、道路特徴情報Ｃとの整合性が高い画像候補を認識対象物の画像として認識する処理方法である。
他の画像認識処理方法は、道路特徴情報Ｃに基づいて画像情報Ｇ中における認識対象物の画像が存在する領域を推測し、その推測結果に基づいて、認識対象物の画像が存在すると推測される領域内では認識対象物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して、画像情報Ｇの中から認識対象物の画像を認識する処理方法である。
これら２つの画像認識処理方法は、何れも、単一フレーム内にある画像情報にも適応可能な画像認識処理方法であり、本発明の「第一認識処理」に相当する。
【００５１】
さらに、区画線である実線と破線との識別認識に関しては、上記の手法により実線若しくは破線と認識された認識対象物の画像に関して、単位時間に取り込まれる連続する複数のフレーム間に渡って、同一と認められる個々の認識対象物を順次抽出・追跡し、認識処理において、連続するフレーム間で同一と認められる区画線に関し、破断部が認められる場合にその当該区画線を破線と認識し、破断部が認められない場合に実線と認識する。
この画像認識処理方法は、複数のフレームに亘って得られる画像情報を対象とするものであり、本発明の「第二認識処理」に相当する。
【００５２】
本実施形態においては、後にフローチャートを用いて説明するように、画像情報認識演算部１０は、これらの認識処理方法を組み合わせて、道路１１の路面に設けられたペイント表示Ｐと、道路１１に隣接する走行不可能領域Ｉとを認識する処理を行う。そのため、この画像情報認識演算部１０は、ペイント表示認識演算部１０ａ、道路特徴情報照合部１０ｂ、領域推測部１０ｃ、及び走行不可能領域認識部１０ｄを備えている。
【００５３】
車両位置特定演算部１７は、道路特徴情報取得演算部９で取得された道路特徴情報Ｃと、画像情報認識演算部１０で認識された認識対象物の画像の画像情報Ｇ中の配置とに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定するための演算を行う。そのため、本実施形態においては、車両Ｍの道路長手方向と車両Ｍの道路幅方向との両方の詳細な位置を特定する演算処理を行う。
本実施形態においては、後にフローチャートを用いて説明するように、車両位置特定演算部１７は、画像情報認識演算部１０により認識された１又は２以上の認識対象物の画像の画像情報Ｇ中の配置と、道路特徴情報Ｃに含まれる１又は２以上の認識対象物に対応する物の位置情報とを対比して、画像情報Ｇの撮像位置を詳細に特定することにより、車両Ｍの道路長手方向及び車両Ｍの道路幅方向の詳細な位置を特定する演算処理を行う。そして、このような演算処理により求められた車両Ｍの詳細な位置が、新たな自車の位置として更新補正される。そのため、この車両位置特定演算部１７は、配置情報抽出部１７ａ、対比演算部１７ｂ、撮像位置特定部１７ｃ及び自車位置認識補正部１７ｄを備えている。
【００５４】
この車両位置特定演算部１７は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
【００５５】
次に、撮像装置２により撮像された画像情報の認識結果と地図情報から取得した道路特徴情報Ｃとに基づいて、走行不可能領域Ｉの特定、車両Ｍの走行中の道路１１内における詳細な位置を特定し、自車位置を更新補正する処理の具体例について、図６〜８に示すフローチャートを用いて詳細に説明する。
【００５６】
図６に示すように、自車位置認識補正部１０３は、まず、撮像装置２により撮像された画像情報Ｇを取り込む処理を行う（ステップ＃６１）。具体的には、車載カメラ等からなる撮像装置２により撮像した画像情報Ｇをインターフェース回路１２を介して画像前処理回路１３及び画像メモリ１４に送る処理を行う。またこの際、インターフェース回路１２は、撮像装置２からの画像情報Ｇの取り込みのタイミングで、すなわち撮像装置２による撮像のタイミングとほぼ同じタイミングで、概略位置特定演算部７に対して信号の出力を行う。この信号は概略位置特定演算部７に対して撮像のタイミングを知らせるための信号である。
【００５７】
画像情報Ｇの入力を受けた画像前処理回路１３では、画像情報Ｇに対する前処理を行う（ステップ＃６２）。ここで行う前処理としては、例えば、二値化処理やエッジ検出処理等の画像情報認識演算部１０による画像認識を容易にするための各種の処理を行う。図９（ａ）は、撮像装置２により撮像された画像情報Ｇ（Ｇ１）の一例であり、図９（ｂ）は、（ａ）に示された画像情報Ｇに対して前処理を行った後の画像情報Ｇ（Ｇ２）の一例である。この図９（ｂ）に示す例では、エッジ検出処理により画像情報Ｇとして撮像された物の輪郭を示す画像が抽出されている。そして、このステップ＃６２において前処理が行われた後の画像情報Ｇ２、及びインターフェース回路１２から直接送られてきた画像情報Ｇ１を画像メモリ１４に格納する（ステップ＃６３）。
【００５８】
また、ステップ＃６２及び＃６３の処理と並行して、概略位置特定演算部７では、画像情報Ｇの概略の撮像位置を求める処理を行う（ステップ＃６４）。具体的には、インターフェース回路１２から画像情報Ｇの取り込みのタイミングを示す信号が出力された時に、それを撮像装置２による撮像のタイミングとして、ＧＰＳ受信機４、方位センサ５及び距離センサ６に基づいて車両Ｍの概略の現在位置を求める演算を行う。そして、これにより求められた車両Ｍの概略の現在位置を画像情報Ｇの概略の撮像位置とする。ここで求められた概略の撮像位置の情報は、緯度及び経度の情報として道路特徴情報取得演算部９に送られる。
【００５９】
次に、道路特徴情報取得演算部９において、地図情報データベース８に格納されている地図情報から画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを取得する処理を行う（ステップ＃６５）。この際、道路特徴情報取得演算部９は、地図情報データベース８に格納されている広範囲の地図情報の中から、ステップ＃６４において求められた概略の撮像位置の周辺の一定範囲Ｒ内の道路特徴情報Ｃを抽出して取得する。ここで、概略の撮像位置周辺の一定範囲Ｒとしては、撮像装置２により画像情報Ｇとして撮像される領域を少なくとも含むように設定すると好適である。
【００６０】
図１０は、道路特徴情報取得演算部９により取得された道路特徴情報Ｃの一例を図形化して示したものである。本例では、道路特徴情報Ｃに含まれる地物としては、ペイント表示Ｐとして、片側３車線の道路１１の車道の外縁を示す２本の実線の区画線Ｐ１ａ、Ｐ１ｂと、３車線の間を区切る２本の破線の区画線Ｐ２ａ、Ｐ２ｂと、３車線に設けられた走行方向通行区分Ｐ３とがある。また、走行不可能領域Ｉとして、道路１１の右側に隣接する歩道Ｉ１と、道路１１の左側に隣接する中央分離帯Ｉ２とがある。なお、この図１０は単なる一例であり、画像情報Ｇの撮像位置によって様々な地物が道路特徴情報Ｃに含まれることになる。
【００６１】
この道路特徴情報Ｃの内容は、これらの各地物の位置情報、形状情報及び色彩情報により構成されている。ここで、各地物の位置情報は、道路形状補完点Ｓ（交差点等のノードＮが存在する場所ではノードＮ（図５参照）も含む。）を基準とする位置情報により表される。すなわち、例えば、ペイント表示Ｐのうちの実線の区画線Ｐ１ａ、Ｐ１ｂや破線の区画線Ｐ２ａ、Ｐ２ｂ、或いは走行不可能領域Ｉの歩道Ｉ１や中央分離帯Ｉ２等の道路１１に沿って設けられている地物については、道路形状補完点Ｓ（又はノードＮ）からの距離（オフセット量）のみにより表される。一方、例えば、道路１１に沿って設けられない走行方向通行区分Ｐ３や、停止線、標識等の地物については、特定の道路形状補完点Ｓ（又はノードＮ）からの距離及び方向により位置情報を表される。
各地物の形状情報は、上記位置情報により求められる位置を基準として縦、横、高さ方向にそれぞれどれだけの大きさを有し、どのような形状（シルエット）を備えているか等の情報を有する。この形状情報は、画像情報Ｇとの対比が容易となるように簡略化して表された情報とすると好適である。
各地物の色彩情報は、例えば道路標識等の一様な色彩でない地物の場合には、上記形状情報の中の領域毎に色彩情報が格納された情報とすると好適である。
【００６２】
次に、画像情報認識演算部１０において、画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる認識対象物の画像を認識する処理を行う（ステップ＃６６）。本実施形態においては、画像情報Ｇに含まれる地物の画像の中で、ペイント表示Ｐと走行不可能領域Ｉ（特に歩道Ｉ１）を認識対象物としている。そして、この認識対象物の画像認識処理として、認識が比較的容易なペイント表示Ｐの画像認識を行った後、それに基づいて認識アルゴリズムを調整して、ペイント表示Ｐより認識が困難な走行不可能領域Ｉの画像認識を行う処理としている。このような画像情報Ｇの認識処理の具体例を図７のフローチャートに示す。
なお、走行不可能領域Ｉの画像認識がペイント表示Ｐの画像認識より困難であるのは、ペイント表示Ｐは、道路１１の路面との輝度や色彩の差が大きく画像認識が比較的容易であるのに対して、路肩、歩道、分離帯等の走行不可能領域Ｉは、道路１１やその周囲との輝度や色彩の差が小さいためにエッジ検出等によっても輪郭を特定することが困難な場合が多いからである。
【００６３】
この画像情報Ｇの認識処理では、図７に示すように、まず、画像情報認識演算部１０のペイント表示認識演算部１０ａにおいて、画像情報Ｇの中に含まれるペイント表示Ｐの可能性がある画像候補を抽出する処理を行う（ステップ＃７１）。具体的には、図９（ｂ）に示されるようにエッジ検出処理等の前処理を行った後の画像情報Ｇ２の中から、区画線等のペイント表示Ｐの特徴を表すテンプレート等の予め規定された特徴データと整合性が高い画像を抽出し、それをペイント表示Ｐの画像候補とする処理を行う。図１０に示す例では、図９（ｂ）、右側の実線の区画線の画像ＧＰ１ａ、右側の破線の区画線の画像ＧＰ２ａ、左側の破線の区画線の画像ＧＰ２ｂ、外側にある歩道の縁石の画像ＧＩ１ａ、左側の実線の区画線の画像ＧＰ１ｂ、及び走行方向進行区分の画像ＧＰ３がペイント表示Ｐの画像候補として抽出される。
【００６４】
その後、画像情報認識演算部１０の道路特徴情報照合部１０ｂにおいて、ステップ＃７１で抽出されたペイント表示Ｐの画像候補と、ステップ＃６５で取得された道路特徴情報Ｃの中のペイント表示Ｐに関する情報とを対比する（ステップ＃７２）。そして、この対比の結果、位置関係、形状、及び色彩や輝度等の各情報についての整合性が高い画像候補を抽出し、抽出された画像候補をペイント表示Ｐの画像と認識する（ステップ＃７３）。図１０のペイント表示Ｐに関する道路特徴情報Ｃに基づいて、実線及び破線の区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂの位置関係（間隔）、これらの区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂと走行方向通行区分Ｐ３との位置関係、並びにこれらの区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂ及び走行方向通行区分Ｐ３の形状及び色彩や輝度等がわかる。したがって、これらの道路特徴情報Ｃと整合性が高い画像情報Ｇ中のペイント表示Ｐの画像候補を抽出することで、ペイント表示Ｐの可能性が高い画像候補のみを抽出することができる。図１０に示す例の場合、このステップ＃７３の処理により、左側の実線の区画線の画像ＧＰ１ａの外側にある歩道の縁石の画像ＧＩ１ａが除外される。そして、このように抽出された画像候補をペイント表示Ｐの画像と認識する。なお、ペイント表示Ｐの画像候補の色彩や輝度等の情報は、画像メモリ１４に格納されている前処理が行われていない画像情報Ｇから取得することができる。
図１１（ａ）は、画像情報Ｇからステップ＃７３の処理により抽出されたペイント表示Ｐの画像のみを表した図である。
【００６５】
次に、認識されたペイント表示Ｐの画像を基準として、画像情報Ｇと道路特徴情報Ｃとの照合を行う（ステップ＃７４）。すなわち、画像情報Ｇ中における認識されたペイント表示Ｐの画像の位置と、道路特徴情報Ｃに含まれるペイント表示Ｐの位置とが合致するように対応付けることにより、道路特徴情報Ｃに含まれる各地物の情報と画像情報Ｇに含まれる画像とを対応付けることが可能になる。この対応付けにおいて、実線ＧＰ１ａ，ＧＰ１ｂと破線ＧＰ２ａ，ＧＰ２ｂとの識別に際しては、順次取得されている画像情報Ｇの複数のフレームの画像に関して、連続する複数のフレーム間に渡って、同一と認められる個々の認識対象物ＧＰ１ａ，ＧＰ１ｂ，ＧＰ２ａ，ＧＰ２ｂを順次抽出・追跡し、認識処理において、連続するフレーム間で同一と認められる区画線ＧＰ１ａ，ＧＰ１ｂ，ＧＰ２ａ，ＧＰ２ｂに関し、破断部が認められる場合にその当該区画線を破線ＧＰ２ａ，ＧＰ２ｂと認識し、破断部が認められない場合に実線ＧＰ１ａ，ＧＰ１ｂと認識する。
この識別手法に関して、図９（ａ），図１３に基づいて説明する。図９（ａ）は、これまで説明してきたように、現在認識の対象としている画像情報Ｇであり、図１３は、図９（ａ）に示されるように数フレーム前の画像情報Ｇである。両者間で、走行車線の変更は行われていない。両図を比較すると、実線ＧＰ１ａ，ＧＰ１ｂに関しては、その画像がほぼ同一の位置に連続する白線として認められるのに対して、破線ＧＰ２ａ，ＧＰ２ｂでは、破断部ＧＳの位置を異ならせて、ほぼ同一の位置に撮影される破断状態にある白線となる。従って、車両が走行状態にあると、画像の特定高さ位置において画像横断方向の輝度を、複数フレームに渡って、区画線毎に追跡すると実線には破断部が出現することはなく、破線には順次破断部ＧＳが出現する。そこで、このような識別処理により実線ＧＰ１ａ，ＧＰ１ｂと破線ＧＰ２ａ，ＧＰ２ｂとをさらに正確に識別することができる。
【００６６】
そして、道路１１に沿って設けられている区画線ＧＰ１ａ、ＧＰ２ａ等の地物を基準とすることにより道路１１の幅方向の位置関係を正確に対応付けることができ、道路１１に沿って設けられない走行方向通行区分Ｐ３や、図示しない停止線、標識等の地物を基準とすることにより道路１１に沿った長手方向の位置関係を正確に対応付けることができる。
【００６７】
その後、画像情報認識演算部１０の領域推測部１０ｃにおいて、ステップ＃７４における道路特徴情報Ｃと画像情報Ｇとの照合結果に基づいて、画像情報Ｇ中における走行不可能領域Ｉの画像が存在する領域を推測する処理を行う（ステップ＃７５）。すなわち、上記のステップ＃７４における画像情報Ｇと道路特徴情報Ｃとの照合結果に基づけば、画像情報Ｇの中におけるペイント表示Ｐや走行不可能領域Ｉを含む各地物の画像の配置が推測可能である。そこで、道路特徴情報Ｃに含まれる走行不可能領域Ｉの位置及び形状に対応する画像情報Ｇ中の領域を、ステップ＃７４における照合結果から推測する演算を行う。そして、このステップ＃７５の処理の結果として演算される領域を、走行不可能領域Ｉの画像が存在する領域と推測する。
【００６８】
本実施形態においては、図１１（ｂ）に示すように、画像情報Ｇとして撮像された画像範囲を、ステップ＃７３の処理により認識されたペイント表示Ｐの中の区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂに基づいて、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂのそれぞれが属する領域Ａ１〜Ａ４と、これらの領域Ａ１〜Ａ４により分割された領域Ａ５〜Ａ８とに簡易的に区分している。そして、それぞれの領域Ａ５〜Ａ８が走行不可能領域Ｉを含むか否かという判断をステップ＃７４における照合結果に基づいて行うことにより、走行不可能領域Ｉの画像が存在する領域を推測する処理を行う。ここでは、図１１（ｂ）に示されるように、道路特徴情報Ｃに基づいて、道路１１の両側の実線の区画線Ｐ１ａの外側に走行不可能領域Ｉ（歩道Ｉ１）が存在していると判断することができるので、当該道路１１の実線の区画線Ｐ１ａ、が属する領域Ａ１の外側の領域Ａ５内に走行不可能領域Ｉの画像が存在すると推測できる（ステップ＃７５）。
【００６９】
次に、ステップ＃７５の推測結果に基づいて、画像情報認識演算部１０の走行不可能領域認識部１０ｄにおける認識アルゴリズムを調整し（ステップ＃７６）、画像情報Ｇの中に含まれる走行不可能領域Ｉの画像の認識を行う（ステップ＃７７）。
本実施形態においては、ステップ＃７５において走行不可能領域Ｉの画像が存在すると推測された領域Ａ５内について、走行不可能領域Ｉであるか否かの判断基準が他の領域（ここでは領域Ａ６〜Ａ８）よりも低くなるように認識アルゴリズムを調整する。すなわち、上述のとおり、歩道Ｉ１、路肩等の走行不可能領域Ｉは、道路１１やその周囲との輝度や色彩の差が小さいためにエッジ検出等によっても輪郭を特定することが困難な場合が多く、ペイント表示Ｐよりも画像認識が一般的に困難である。そこで、走行不可能領域Ｉの画像が存在すると推測された領域Ａ５について、他の領域よりも走行不可能領域Ｉと認識しやすくする方向に認識アルゴリズムを調整することにより、走行不可能領域Ｉの認識率を高めることができる。
なお、走行不可能領域Ｉであるか否かの判断基準が他の領域よりも低くなるように認識アルゴリズムを調整するためには、走行不可能領域Ｉの画像が存在すると推測された領域Ａ５における判断基準を他の領域に対して低くする方法の他に、他の領域の判断基準を領域Ａ５に対して高くする方法や、領域Ａ５における判断基準を他の領域に対して低くするとともに他の領域の判断基準を領域Ａ５に対して高くする方法等がある。この認識アルゴリズムの具体的な調整方法は、走行不可能領域Ｉの認識方法に応じた方法とする。
【００７０】
例えば、本実施形態においては、走行不可能領域Ｉの画像の認識アルゴリズムとして、画像情報Ｇに対してエッジ検出処理を行い、道路１１の幅方向の各位置におけるエッジ点数を検出し、このエッジ点数が所定のしきい値以上となっている場所が走行不可能領域Ｉであると認識するアルゴリズムとしている。そして、この際のしきい値として、図１２に示すように、低い値に設定された第一しきい値ｔ１と、高い値に設定された第二しきい値ｔ２とを用いている。すなわち、走行不可能領域Ｉの画像が存在すると推測された領域Ａ５内では第一しきい値ｔ１を用い、それ以外の領域Ａ６〜Ａ８内では第二しきい値ｔ２を用いることにより、走行不可能領域Ｉの画像が存在すると推測された領域Ａ５内について、走行不可能領域Ｉであるか否かの判断基準が他の領域Ａ６〜Ａ８よりも低くなるように認識アルゴリズムを調整している。
【００７１】
図１２は、図１１に示す画像情報Ｇについて、道路１１の幅方向の各位置におけるエッジ点数を検出した結果を示すグラフである。この図に示すように、領域Ａ１〜Ａ４は、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂが存在するのでエッジ点数は多くなっているが、これらの領域Ａ１〜Ａ４は走行不可能領域Ｉの画像認識の対象とはならない。領域Ａ６、Ａ７、Ａ８は、走行方向進行区分Ｐ３が存在する位置以外はアスファルトの路面のみであるので全体的にエッジ点数は少なくなる。
一方、領域Ａ５は、エッジ点数はある程度多くなっている。結論からいうと、領域Ａ５は歩道Ｉ１といった走行不可能領域Ｉが存在することによりエッジ点数が多くなる。しかし、エッジ点数のみからそれが走行不可能領域Ｉであるか否かを判断することは困難である。
【００７２】
そこで、ステップ＃７５の推測結果に基づいて、走行不可能領域Ｉの画像が存在すると推測された領域Ａ５内については、走行不可能領域Ｉであると判断するしきい値を低い値に設定された第一しきい値ｔ１とし、その他の領域Ａ６〜Ａ８内については、走行不可能領域Ｉであると判断するしきい値を高い値に設定された第二しきい値ｔ２としている。これにより、ステップ＃７５の推測結果に基づいて、走行不可能領域Ｉの画像が存在すると推測された領域Ａ５内で走行不可能領域Ｉの検出漏れを減らすとともに、それ以外の領域Ａ６〜Ａ８内で走行不可能領域Ｉと誤検出することを防止できる。したがって、走行不可能領域Ｉの認識率を高めることができる。これらの第一しきい値ｔ１及び第二しきい値ｔ２の値は、実験的及び統計的に適切な値を求めるとよい。また、これらの第一しきい値ｔ１及び第二しきい値ｔ２の値を、画像情報Ｇから抽出される他の情報や車両Ｍに搭載された他のセンサからの信号等に基づいて変化する可変値とすることも好適な実施形態の一つである。
【００７３】
以上のようにして、画像情報認識演算部１０において画像情報Ｇの認識処理を行うことにより、画像情報Ｇ中に含まれる認識対象物としてのペイント表示Ｐと走行不可能領域Ｉの画像が認識される。図１１に示す画像情報Ｇの例では、図１１（ｂ）に示すように、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂの画像ＧＰ１ａ、ＧＰ１ｂ、ＧＰ２ａ、ＧＰ２ｂ、走行方向通行区分Ｐ３の画像Ｇｐ３、区画線Ｐ１ａの画像ＧＰ１ａの右側の歩道Ｉ１の画像ＧＩ１がそれぞれ認識されることになる。この認識処理において、特に区画線である実線と破線とに認識を正確に行えることが、本願に係る地物認識装置１００の信頼性の向上に大きく寄与するが、本願にあっては、走行速度が低い場合は、画像認識処理を行わない構成が採用されるため、装置の信頼性が大幅に向上する。
【００７４】
次に、車両位置特定演算部１７において、図６に示すように、ステップ＃６５により取得された道路特徴情報Ｃと、ステップ＃６６により認識された認識対象物の画像の画像情報Ｇ中の配置とに基づいて、車両Ｍの走行中の道路１１内における詳細な位置を特定し自車位置を更新補正する処理を行う（ステップ＃６７）。本実施形態においては、ステップ＃６６により認識された認識対象物の画像の画像情報Ｇ中の配置と、ステップ＃６５により取得された道路特徴情報Ｃに含まれる前記認識対象物に対応する物の位置情報とを対比して、画像情報Ｇの撮像位置を詳細に特定することにより、車両Ｍの道路長手方向及び車両Ｍの道路幅方向の詳細な位置を特定する演算処理を行う。
【００７５】
このような車両Ｍの詳細な位置を特定する処理の具体例を図８のフローチャートに示す。この処理では、まず、車両位置特定演算部１７の配置情報抽出部１７ａにおいて、ステップ＃６６で認識された各認識対象物の画像情報Ｇ中の配置情報を抽出する（ステップ＃８１）。ここでは、認識対象物の画像情報Ｇ中の配置情報としては、各認識対象物の画像情報Ｇ中における位置の情報と、それに対応する各認識対象物の形状及び色彩等の情報とが含まれる。図９に示す画像情報Ｇの例では、図９（ａ），図１４に示すように、認識対象物として、区画線Ｐ１ａ、Ｐ１ｂ、Ｐ２ａ、Ｐ２ｂの画像ＧＰ１ａ、ＧＰ１ｂ、ＧＰ２ａ、ＧＰ２ｂ、走行方向通行区分Ｐ３の画像ＧＰ３、歩道Ｉ１の画像ＧＩ１が認識されているので、このステップ＃８１では、これらの認識対象物についての画像情報Ｇ中の配置情報が抽出される。
【００７６】
次に、車両位置特定演算部１７の対比演算部１７ｂにおいて、ステップ＃８１により抽出された各認識対象物の画像情報Ｇ中の配置情報と、ステップ＃６５により取得された道路特徴情報Ｃとを対比する処理を行う（ステップ＃８２）。ここでは、各認識対象物の画像情報Ｇ中の配置情報と、道路特徴情報Ｃ中に含まれる各地物の配置とを対比し、整合性が高い画像情報Ｇ中の認識対象物の画像と道路特徴情報Ｃ中の地物の情報とを対応付ける処理を行う。これにより、画像情報Ｇ中の各認識対象物の画像が、道路特徴情報Ｃ中のどの地物の画像であって、道路特徴情報Ｃにより表される道路１１上のどの位置に配置されているかを特定することができる。
【００７７】
その後、車両位置特定演算部１７の撮像位置特定部１７ｃにおいて、画像情報Ｇの撮像位置を詳細に特定する処理を行う（ステップ＃８３）。図１４は、この処理の手順を模式的に表した図である。すなわち、この撮像位置を詳細に特定する処理は、ステップ＃８２の対比結果に基づいて、画像情報Ｇ中の各認識対象物の画像の配置と整合する画像情報Ｇの撮像位置を、道路特徴情報Ｃ中の位置に対応させて、道路１１の道路長手方向及び道路幅方向に詳細に特定することにより行う。
【００７８】
そこで、画像情報Ｇの認識結果に基づいて画像情報Ｇの撮像位置を特定する際の演算処理方法について具体的に説明する。
まず、道路長手方向の撮像位置を特定する場合は、区画線や歩道等とは異なり、道路１１に沿って設けられない走行方向通行区分、停止線、標識、信号機等の認識対象物の画像を基準とすることにより道路１１に沿った方向、すなわち道路長手方向の撮像位置を詳細に特定することができる。すなわち、画像情報Ｇ中における、これらの道路１１に沿って設けられていない認識対象物の画像の配置を解析すると、図１４に示す例では、走行方向通行区分の画像ＧＰ３があることがわかる。ここで、撮像装置２は車両Ｍに所定の高さで所定の撮像方向となるように固定されていることから、走行方向通行区分の画像ＧＰ３の画像情報Ｇ中の配置、特に高さ方向の配置に基づいて、撮像位置から走行方向通行区分Ｐ３までの距離Ｄを算出することができる。この時、図１４に示す例では、矢印である走行方向通行区分Ｐ３の先端に設定される測定点ＦＣに注目して、距離Ｄが算出される。この注目点ＦＣの絶対位置は、その緯度・経度情報として地図情報データベース８に格納されている。これにより、画像情報Ｇの撮像位置を道路長手方向に詳細に特定することができる。図１４に示す例では、この画像情報Ｇの撮像位置はＢ１位置と特定されている。
【００７９】
道路幅方向の位置を特定する場合、画像情報Ｇ中の各認識対象物の画像の配置を解析すると、画像情報Ｇの中心から、左側に破線の区画線の画像ＧＰ２ａがあり、右側に実線の区画線の画像ＧＰ１ａがあることがわかる。また、この実線の区画線の画像ＧＰ１ａの左側には歩道の画像ＧＩ１があり、更に、左側の破線の区画線の画像ＧＰ２ａと右側の実線の区画線の画像ＧＰ１ａとの間には、走行方向通行区分の画像ＧＰ３がある。これらの各認識対象物の画像は、ステップ＃８２の処理により道路特徴情報Ｃに含まれる各地物の情報と対応付けられているので、画像情報Ｇ中の上記の各認識対象物の画像の配置の解析結果に基づけば、道路幅方向の撮像位置は、図１４に示されている道路特徴情報Ｃ中において、３車線の道路１１の右側車線（Ｂ１位置が存在する車線）内に撮像位置があると特定することができる。また、実線の区画線の画像ＧＰ１ａ又は破線の区画線の画像ＧＰ２ａの画像情報Ｇ中の配置、特に幅方向の配置に基づけば、左側車線内の左寄り又は右寄り等の更に詳細な位置も特定することが可能である。
【００８０】
なお、例えば、画像情報Ｇの撮像位置が、図１４のＢ２位置のように３車線の道路１１の中央車線にある場合には、画像情報Ｇの中心から両側に破線の区画線Ｐ２ａ、Ｐ２ｂの画像が認識されることなる。また、例えば、画像情報Ｇの撮像位置が、図１４のＢ３位置のように３車線の道路１１の右側車線にある場合には、画像情報Ｇの中心から、右側に破線の区画線Ｐ２ｂの画像が、左側に実線の区画線Ｐ１ｂの画像がそれぞれ認識されることなる。
本願にあっては、実線の区画線Ｐ１ａ、Ｐ１ｂと破線の区画線Ｐ２ａ、Ｐ２ｂとの識別認識が重要であるが、車両が停止している、あるいは極低速で走行している状態では、認識処理自体を行わない構成を採用しているため、実線及び破線の識別認識を信頼性の高い状態で実行することができる。
【００８１】
以上の演算処理により、画像情報Ｇの撮像位置を道路長手方向及び道路幅方向の双方について詳細に特定することができる。そして、撮像装置２は、車両Ｍに搭載されているので、この特定された撮像位置を、車両Ｍの詳細な位置であると特定する（ステップ＃８４）。そして、このようにして特定された車両Ｍの位置が、確度の高い位置として詳細な自車位置の更新補正に使用される（ステップ＃８５）。
【００８２】
以上に説明したステップ＃６１〜＃６７の一連の処理工程は、所定の時間間隔で繰り返し行われる。これにより、走行中の車両Ｍの詳細な位置特定をリアルタイムで常時行うことができる。
【００８３】
また、車両位置特定演算部１７による詳細な車両位置の特定結果は、例えば、図示しない車両Ｍの走行制御装置やナビゲーション装置等へ出力され、レーンキープ等の車両Ｍの操舵や車速等の走行制御に用いられ、或いはナビゲーション装置における詳細な自車位置の表示等に用いられる。
【００８４】
〔第二の実施形態〕
次に、第二の実施形態について図面に基づいて説明する。図１５は、この実施形態に係る自車位置認識補正部１０３のハードウエア構成の概略を示すブロック図である。この例の場合も、車両が停止している場合、或は、極めて低速で走行している場合は、自車位置認識補正部１０３における処理が行われることはない。
本実施形態に係る自車位置認識補正部１０３は、道路特徴情報取得演算部９において地図情報から画像情報Ｇの撮像位置周辺の地物に関する道路特徴情報Ｃを、道路１１の車線毎に異なる複数の位置を基準とする車線別道路特徴情報Ｃ´として取得し、各車線別道路特徴情報Ｃ´のそれぞれについて、画像情報Ｇ中の前記地物に対応する認識対象物の配置と対比することにより、車両Ｍの車線位置（自車両の位置の一種）を特定する点で、上記第一の実施形態とは異なる。
また、本実施形態に係る自車位置認識補正部１０３は、車両Ｍの進路に関する車両Ｍからの情報や車両Ｍの過去の走行経路に関する情報を取得して車両Ｍの車線位置を推測する車両位置推測演算部１８を備え、これによる推測結果を用いて車両Ｍの車線位置の特定を行う点でも、上記第一の実施形態とは異なる。
【００８５】
図１５に示すように、本実施形態に係る自車位置認識補正部１０３は、主たる構成として、上記第一の実施形態において説明した構成に加えて、車両位置推測演算部１８を更に備えている。この車両位置推測演算部１８は、車両Ｍの進路に関する車両Ｍからの情報を取得する車両情報取得部１９、及び車両Ｍの過去の走行経路に関する情報を取得して記憶している過去経路記憶部２０と接続されており、これらの車両情報取得部１９及び過去経路記憶部２０からの情報に基づいて、車両Ｍの車線の位置を推測する演算処理を行う。そして、この車両位置推測演算部１８による推測結果は、道路特徴情報取得演算部９に出力されて車線別道路特徴情報Ｃ´の取得のための処理に用いられる。
【００８６】
車両情報取得部１９は、本実施形態においては、運転操作検知部２１、ＧＰＳ受信機４、方位センサ５、及び距離センサ６と接続さている。ここで、ＧＰＳ受信機４、方位センサ５、及び距離センサ６は、既に説明した概略位置特定演算部７に接続されているものと共用しており、これらの出力が車両情報取得部１９へも出力されるような構成としている。これにより、車両情報取得部１９は、車両Ｍの移動方向、移動距離、ハンドル操作等の情報を取得することができる。
また、運転操作検知部２１は、運転者による運転操作、例えば方向指示器の操作やハンドル操作（方位センサ５の構成として設けられている場合は重複するため除く。）、アクセル操作、ブレーキ操作等を検知するセンサ等により構成され、その検知結果も車両情報取得部１９へ出力される。
【００８７】
そして、車両情報取得部１９は、これら車両の各部から取得した車両情報を総合して、車両Ｍの進路に関する情報を作成し、その情報を車両位置推測演算部１８及び過去経路記憶部２０へ出力する。この車両Ｍの進路に関する情報は、具体的には、車両Ｍの進路変更の有無及びその角度等の情報となる。
この車両情報取得部１９は、このような演算処理を行うためのＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
【００８８】
過去経路記憶部２０は、車両情報取得部１９から出力された車両Ｍの進路に関する情報を、車両Ｍの移動距離や移動時間等の情報と関連付けて車両Ｍの過去の走行経路に関する情報として記憶する処理を行う。そして、この過去経路記憶部２０に記憶された車両Ｍの過去の走行経路に関する情報は、車両位置推測演算部１８からの命令信号等に応じて、車両位置推測演算部１８へ出力される。
この過去経路記憶部２０は、このような演算処理を行うための演算処理装置及びその演算結果を記憶するメモリを中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
【００８９】
また、本実施形態に係る自車位置認識補正部１０３は、道路特徴情報取得演算部９が、車線情報取得部９ａ及び車線別道路特徴情報取得演算部９ｂを備えている点、並びに、車両位置特定演算部１７が、配置情報抽出部１７ａ及び撮像位置特定部１７ｃを備えていない代わりに撮像車線特定部１７ｅを備えている点でも、上記第一の実施形態とは異なる。これらの相違は、本実施形態に係る自車位置認識補正部１０３による車両位置の認識処理が、上記第一の実施形態と異なることによるものである。よって、これらの各部により行う処理については、以下にフローチャートを用いて詳細に説明する。
【００９０】
図１６は、本実施形態に係る自車位置認識補正部１０３により車両Ｍの走行中の車線位置を特定する処理の具体例を示すフローチャートである。
この図に示すように、本実施形態に係る自車位置認識補正部１０３は、まず、撮像装置２により撮像された画像情報Ｇを取り込み（ステップ＃１０１）、画像前処理回路１３で画像情報Ｇに対する前処理を行う（ステップ＃１０２）。そして、このステップ＃１０２において前処理が行われた後の画像情報Ｇ２、及びインターフェース回路１２から直接送られてきた画像情報Ｇ１を画像メモリ１４に格納する（ステップ＃１０３）。また、ステップ＃１０２及び＃１０３の処理と並行して、概略位置特定演算部７で画像情報Ｇの概略の撮像位置を求める処理を行う（ステップ＃１０４）。なお、これらのステップ＃１０１〜＃１０４の処理は、上記第一の実施形態についての図６のステップ＃６１〜＃６４と同様の処理であるため、詳細な説明は省略する。
【００９１】
次に、車両位置推測演算部１８において、車両Ｍが走行中の車線を推測する処理を行う（ステップ＃１０５）。この車線を推測する処理は、車両情報取得部１９及び過去経路記憶部２０からの情報に基づいて行う。すなわち、車両情報取得部１９は、車両Ｍの各部のセンサ等からの情報に基づいて車両Ｍの進路に関する情報を車両位置推測演算部１８に出力する。また、過去経路記憶部２０は、車両情報取得部１９から出力された車両Ｍの進路に関する情報を、車両Ｍの移動距離や移動時間等の情報と関連付けて車両Ｍの過去の走行経路に関する情報として記憶している。したがって、車両位置推測演算部１８は、車両情報取得部１９及び過去経路記憶部２０から、車両Ｍが過去に行った進路変更の回数や各進路変更の角度等の履歴及び現在の進路変更の有無の状況等の情報を得ることができる。また、車両位置推測演算部１８は、車両Ｍが行った進路変更の角度や方向指示器の操作等から各進路変更が車線変更か否かを判断することが可能である。車両位置推測演算部１８は、これらの情報に基づいて所定の判断アルゴリズムに従って走行中の車線を推測する。
【００９２】
この判断アルゴリズムは、例えば以下のようにすることができる。すなわち、例えば、車両Ｍが走行を開始したときの車線は最も左側の車線であると推測する。また、その状態から車両Ｍが車線変更に該当する進路変更を右方向にｎ回行った場合には、左からｎ番目の車線にいると推測することができる（ｎは自然数）。更に、その状態から車両Ｍが車線変更に該当する進路変更を左方向にｍ回行った場合には、左から（ｎ−ｍ）番目の車線にいると推測することができる（ｍは自然数）。この際、（ｎ−ｍ）がゼロ又は負の値となった場合には、推測した車線が誤っていたことになるので、そのときの車線を最も左側の車線と推測するように修正を行う。この場合も、区画線認識を伴った実線の区画線と破線の区画線の識別認識が重要な役割を果す。
以上の判断アルゴリズムは単なる一例であり、車両位置推測演算部１８における判断アルゴリズムはこれ以外にも、様々なアルゴリズムを用いることが可能である。
【００９３】
その後、ステップ＃１０５による推測結果に基づいて、道路特徴情報取得演算部９において車両Ｍが走行中と推測された車線についての車線別道路特徴情報Ｃ´を取得する処理を行う（ステップ＃１０６）。ここでは、まず車線情報取得部９ａにより、地図情報データベース８からステップ＃１０４において特定された概略の撮像位置の周辺の道路１１の車線数を含む車線情報を取得し、次に、取得された車線情報に基づいて、ステップ＃１０５による推測結果として推測された車線についての車線別道路特徴情報Ｃ´を、車線別道路特徴情報取得演算部９ｂにより取得する処理を行う。後述するステップ＃１０８では、取得された車線別道路特徴情報Ｃ´について画像情報Ｇとの対比を行うので、車線別道路特徴情報Ｃ´を取得する順序をステップ＃１０５による推測結果に基づいて決定することにより、車線別道路特徴情報Ｃ´の対比の順序も決定することになる。
【００９４】
車線別道路特徴情報Ｃ´は、地図情報データベース８に格納されている広範囲の地図情報の中から、ステップ＃１０４において求められた概略の撮像位置の周辺の地物に関する道路特徴情報Ｃを、特定の車線を基準として抽出した情報である。図１７は、この車線別道路特徴情報Ｃ´の一例を図形化して示した図である。この図に示すように、本例では、車線別道路特徴情報Ｃ´は、ステップ＃１０４において特定された概略の撮像位置の周辺の道路特徴情報Ｃを左側車線、中央車線、及び右側車線の３つの車線毎に、各車線を基準として、当該車線及びその両側の所定範囲内に存在する地物の情報までを含む範囲で抽出したものとしている。図１７の（ａ）は左側車線を基準とする車線別道路特徴情報Ｃ´１を、（ｂ）は中央車線を基準とする車線別道路特徴情報Ｃ´２を、（ｃ）は右側車線を基準とする車線別道路特徴情報Ｃ´３をそれぞれ示している。なお、この図１７に示す道路１１の全体の地物の配置は図１０に示す例と同じである。
【００９５】
次に、画像情報認識演算部１０において、画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる前記地物に対応する認識対象物の画像を認識する処理を行う（ステップ＃１０７）。この処理は、上記第一の実施形態についての図６のステップ＃６６と同様の処理であるため、詳細な説明は省略する。
【００９６】
その後、車両位置特定演算部１７の対比演算部１７ｂにおいて、ステップ＃１０７により認識された認識対象物の画像を含む画像情報Ｇと、ステップ＃１０６により取得された車線別道路特徴情報Ｃ´とを対比する処理を行う（ステップ＃１０８）。本実施形態においては、車線別道路特徴情報Ｃ´を、画像情報Ｇと対比可能な情報の形式に変換する処理を行い、変換後の車線別道路特徴情報Ｃ´と画像情報Ｇとを対比して整合性が高いか否かの判断を行うこととする。ここで、車線別道路特徴情報Ｃ´の変換処理として、ここでは、図に示すように、車線別道路特徴情報Ｃ´を、その車線別道路特徴情報Ｃ´が基準とする車線のほぼ中央を撮像位置としたときに撮像されると考えられる画像情報に対応する配置となるように車線別道路特徴情報Ｃ´に含まれる各地物を配置したデータに変換する処理とする。図１８に示す例では、（ａ）は図１７（ａ）に示す左側車線を基準とする車線別道路特徴情報Ｃ´１を変換したデータであり、（ｂ）は図１７（ｂ）に示す中央車線を基準とする車線別道路特徴情報Ｃ´２を変換したデータであり、（ｃ）は図１７（ｃ）に示す右側車線を基準とする車線別道路特徴情報Ｃ´３を変換したデータである。
【００９７】
このような変換処理を行うことにより、画像情報Ｇ中の認識対象物の画像の配置と、車線別道路特徴情報Ｃ´に含まれる当該認識対象物に対応する各地物の配置とを容易に対比することができる。この対比の処理は、具体的には、画像情報Ｇ中の各認識対象物の画像の位置並びに各認識対象物の画像の形状及び色彩等と、車線別道路特徴情報Ｃ´に含まれる前記認識対象物に対応する各地物の位置並びにその形状及び色彩等の情報とを対比して、整合性が高いか否かの判断を行う。例えば、画像情報Ｇが図９に示す例のとおりである場合には、図１７（ａ）に示される左側車線を基準とする車線別道路特徴情報Ｃ´１が、車線の両側の区画線Ｐ１ａ、Ｐ２ａ、走行方向通行区分Ｐ３、及び歩道Ｉ１の位置、形状及び色彩等について画像情報Ｇと整合する。
【００９８】
そして、この対比演算部１７ｂにおけるステップ＃１０８の対比の結果、整合性が高い場合には（ステップ＃１０９：ｙｅｓ）、車両位置特定演算部１７の撮像車線特定部１７ｂにおいて、その車線別道路特徴情報Ｃ´が基準とする車線を車両Ｍが走行中の車線として特定する（ステップ＃１１０）。
【００９９】
一方、この対比演算部１７ｂにおけるステップ＃１０８の対比の結果、整合性が低い場合には（ステップ＃１０９：ｎｏ）、隣接する車線の車線別道路特徴情報Ｃ´を地図情報データベース８から取得する処理を行う（ステップ＃１０６）。ここで、隣接する車線の車線別道路特徴情報Ｃ´を取得するのは、ステップ＃１０５による推測結果が外れていた場合であっても、それに近い車線を車両Ｍが走行中である可能性が高いからである。この際、例えばステップ＃１０８で最初に対比した車線別道路特徴情報Ｃ´が３車線のうちの中央車線を基準とするものであった場合等のように、ステップ＃１０９の判断の結果、整合性が低い車線に隣接する、未だ対比の対象となっていない車線が両側にある場合には、例えば、左側の車線を先に対比する等のように、予め定め一定のアルゴリズムに従って決定することになる。
【０１００】
そして、ステップ＃１１０により取得された新たな車線別道路特徴情報Ｃ´について、ステップ＃１０８以降の処理を再度行い、ステップ＃１０９において整合性が高いと判断されて車両Ｍが走行中の車線が特定されるか、或いは、車両Ｍが走行中の道路１１の全ての車線の車線別道路特徴情報Ｃ´についてステップ＃１０８の対比処理が行われるまで、ステップ＃１０８〜＃１１０の処理を繰り返し行う。この場合も、区画線認識を伴った実線の区画線と破線の区画線の識別認識が重要な役割を果す。なお、図１６のフローチャートには示していないが、車両Ｍが走行中の道路１１の全ての車線の車線別道路特徴情報Ｃ´についてステップ＃１０８の対比処理を行った結果、整合性が高い車線別道路特徴情報Ｃ´が存在しない場合には、車線位置は不明と判断し、次の画像情報Ｇについて、ステップ＃１０１〜＃１１１の処理を実行する。
以上の処理により、車両Ｍが走行中の車線を特定することができる。
そして、自車線更新補正部１７ｆは、自車線を新たに認識された詳細な車線に更新補正する（ステップ＃１１２）。
この実施形態の場合も、区画線である自線と破線とが的確に認識され、これら区画線を渡る車線変更が行われたか否かが的確に認識されて、信頼性の高い装置とできる。
【０１０１】
〔その他の実施形態〕
（１） 上記の実施形態では、地物の認識実行する地物認識装置としての構成と、自車位置認識装置としての構成に関して述べたが、これら装置は、地図情報を格納した地図データベースを、「地図情報格納手段」として備えるため、自車位置認識装置から得られる自車位置情報と、地図情報とを使用して、車両制御情報を生成できる構成とする場合、装置は車両制御装置とすることができる。
【０１０２】
（２） 上記の実施形態では、地物の認識実行する地物認識装置としての構成と、自車位置認識装置としての構成に関して述べたが、これら装置は、地図情報を格納した地図データベースを、「地図情報格納手段」として備えるため、自車位置認識装置から得られる自車位置情報と、地図情報とを使用して、ナビゲーション情報を生成できる構成とする場合、装置はナビゲーション装置とすることができる。
【０１０３】
（３） 上記の実施形態では、詳細な自車位置の特定に際して、測定点として、進行方向別通行区分の矢印先端を採用する場合を示したが、矢印先端を使用する他、矢の基端部、矢印の根元部としてもよい。即ち、任意の地物の輪郭形状の角部を選択することができる。さらに、これまでも説明してきたように、地物としては、停止線、横断歩道、横断歩道予告、転回禁止、速度表示等も使用できるが、これらにおいて、道路の進行方向に略直交する輪郭線上に測定点を設定することができる。
【０１０４】
（４）上記第二の実施形態に係る車両位置認識装置１では、車両Ｍの詳細な位置として、車両Ｍが走行中の車線位置を特定する場合について説明したが、本発明はこれに限定されるものではない。例えば、道路１１の幅方向に異なる複数の位置を基準とする位置毎の道路特徴情報Ｃとして、車線毎よりも更に細分化した位置毎に道路特徴情報Ｃを取得することにより、更に詳細な道路幅方向の位置を特定することが可能な構成とすることも好適な実施形態の一つである。
【０１０５】
（５）また、上記第二の実施形態に係る車両位置認識装置１では、車両Ｍの詳細な位置として、道路幅方向の車線位置を特定する構成について説明したが、上記第二の実施形態の構成において、上記第一の実施形態と同様に、道路１１に沿って設けられない停止線、標識、信号機等の認識対象物の画像を基準とすることにより、道路１１に沿った方向、すなわち道路長手方向の撮像位置を詳細に特定することができる構成とすることも好適な実施形態の一つである。
【産業上の利用可能性】
【０１０６】
地物の撮像情報と地図データベースに記憶された地物に関する道路特徴情報とに基づいて、地物を認識する地物認識装置において、例えば、区画線としての実線と破線とを誤って識別するような問題を発生することがない地物認識装置を得ることができた。
【図面の簡単な説明】
【０１０７】
【図１】第一、第二の実施形態に係る認識補正制御機能のハードウエア構成の概略を示すブロック図
【図２】第一、第二の実施形態に係る自車位置認識補正装置における撮像装置及び回転センサの配置例を示す図
【図３】第一、第二の実施形態に係る認識補正制御処理の具体例を示すフローチャート
【図４】第一の実施形態に係る自車位置認識補正部のハードウエア構成の概略を示すブロック図
【図５】第一の実施形態に係る車両位置認識装置における地図情報データベースに格納されている地図情報の内容を示す説明図
【図６】第一の実施形態に係る車両位置認識装置における車両位置の認識処理の具体例を示すフローチャート
【図７】図６のステップ＃６６の処理の詳細を示すフローチャート
【図８】図６のステップ＃６７の処理の詳細を示すフローチャート
【図９】（ａ）：撮像装置により撮像された画像情報の一例、（ｂ）：（ａ）に示された画像情報に対して前処理を行った後の画像情報の一例
【図１０】第一の実施形態に係る道路特徴情報取得演算部により取得された道路特徴情報の一例を図形化して示した図
【図１１】（ａ）：画像情報からステップ＃７３の処理により抽出されたペイント表示の画像のみを表した図、（ｂ）：（ａ）に示された画像に基づいて区画線により領域を区分した状態を示す図
【図１２】図９に示す画像情報について、道路の幅方向の各位置におけるエッジ点数を検出した結果を示すグラフ
【図１３】図９（ａ）より数フレーム前の撮像装置により撮像された画像情報の一例を示す図
【図１４】第一の実施形態に係る車両位置特定演算部において、詳細な撮像位置を特定する方法の一例を説明するための説明図
【図１５】第二の実施形態に係る自車位置認識補正部のハードウエア構成の概略を示すブロック図
【図１６】第二の実施形態に係る車両位置の認識処理の具体例を示すフローチャート
【図１７】第二の実施形態に係る道路特徴情報取得演算部により取得された車線別道路特徴情報の一例を図形化して示した図
【図１８】図１７に示される車線別道路特徴情報を画像情報Ｇと対比可能な情報の形式に変換したデータを示す図
【符号の説明】
【０１０８】
２ ：撮像装置
３ ：画像情報取得部（画像情報取得手段）
８ ：地図情報データベース（地図情報格納手段）
９ ：道路特徴情報取得演算部（道路特徴情報取得手段）
１０ ：画像情報認識演算部（画像情報認識手段）
１７ ：車両位置特定演算部（車両位置特定手段）
１８ ：車両位置推測演算部
１０１ａ：回転センサ（速度情報取得手段）
１０１ ：走行速度導出部（速度情報取得手段）
１０２ ：認識補正処理制御部（認識補正処理制御手段）
１０３ ：自車位置認識補正部（自車位置認識補正手段）
Ｇ ：画像情報
Ｃ ：道路特徴情報
【特許請求の範囲】
【請求項１】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を逐次取り込む画像情報取得手段と、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と
前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置に基づいて、前記地物を認識する地物認識装置であって、
車両の走行速度情報を取得する速度情報取得手段を備え、
取得された前記走行速度情報が所定の値より低い場合に、前記画像情報認識手段による前記認識対象物の認識を停止する認識補正処理制御手段を備えた地物認識装置。
【請求項２】
少なくとも、全地球測位システムから得られる測位システム位置情報に基づいて、車両の概略位置を求める位置情報取得手段を備え、
前記画像情報が撮像された時点で前記位置情報取得手段により求められる車両の位置を、前記画像情報の撮像位置とする請求項１記載の地物認識装置。
【請求項３】
前記認識対象物が区画線であり、少なくとも前記画像情報認識手段が区画線である実線と破線とを識別認識する請求項１又は２記載の地物認識装置。
【請求項４】
前記画像情報認識手段において、前記区画線である実線と破線とを識別認識するに、
単一フレームに含まれる区画線に破断部が認められる場合に当該区画線を破線と認識し、破断部が認められない場合に当該区画線を実線と認識する第一認識処理と、
複数フレーム間に渡って、同一と認められる区画線に関して、破断部が認められる場合に当該区画線を破線と、破断部が認められない場合に実線と認識する第二認識処理とを実行する請求項３記載の地物認識装置。
【請求項５】
前記画像情報認識手段において、前記区画線である実線と破線とを識別認識するに、
単位時間に取り込まれる複数のフレーム間に渡って、同一と認められる区画線に関して、破断部が認められる場合に当該区画線を破線と、破断部が認められない場合に実線と認識する請求項３記載の地物認識装置。
【請求項６】
請求項１〜５の何れか一項記載の地物認識装置を備え、
前記認識対象物に予め定められた測定点について、前記画像情報に含まれている前記認識対象物についての前記測定点の画像認識を行い、
認識された前記測定点の画像認識結果と、予め求められている当該測定点の位置情報とに基づいて自車位置情報を更新補正する自車位置認識補正手段、
を備える自車位置認識装置。
【請求項７】
前記測定点は、各地物の輪郭形状に応じて、自車両の進行方向に略直交する輪郭線上、又は前記輪郭形状が角部を有する場合には当該角部上に設定されている請求項６に記載の自車位置認識装置。
【請求項８】
前記請求項６又は７記載の自車位置認識装置と、地図情報を格納した地図情報格納手段とを備え、
前記地図情報格納手段から取得した自車両の進行方向の地図情報と、前記自車位置認識補正手段による更新補正後の自車位置情報とに基づいて、自車両の走行制御を行う車両制御装置。
【請求項９】
前記請求項６又は７記載の自車位置認識装置と、地図情報を格納した地図情報格納手段を備え、
前記地図情報格納手段から取得した自車両の進行方向の地図情報と、前記自車位置認識補正手段による更新補正後の自車位置情報とに基づいて、自車両の進路案内を行うナビゲーション装置。
【請求項１０】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を逐次取り込む画像情報取得ステップと、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得ステップと、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識ステップと、
前記道路特徴情報取得ステップで取得された前記道路特徴情報と、前記画像情報認識ステップで認識された前記認識対象物の画像の前記画像情報中の配置に基づいて、前記地物を認識する地物認識方法を実行するに、
車両の走行速度情報を取得する速度情報取得ステップを実行し、
取得された前記走行速度情報が所定の値より低い場合に、前記画像情報認識ステップによる前記認識対象物の認識を停止する地物認識方法。
【請求項１１】
前記認識対象物が区画線であり、前記画像情報認識ステップにおいて実線と破線とを識別認識する請求項１０記載の地物認識方法。
【請求項１】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を逐次取り込む画像情報取得手段と、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得手段と、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識手段と
前記道路特徴情報取得手段により取得された前記道路特徴情報と、前記画像情報認識手段により認識された前記認識対象物の画像の前記画像情報中の配置に基づいて、前記地物を認識する地物認識装置であって、
車両の走行速度情報を取得する速度情報取得手段を備え、
取得された前記走行速度情報が所定の値より低い場合に、前記画像情報認識手段による前記認識対象物の認識を停止する認識補正処理制御手段を備えた地物認識装置。
【請求項２】
少なくとも、全地球測位システムから得られる測位システム位置情報に基づいて、車両の概略位置を求める位置情報取得手段を備え、
前記画像情報が撮像された時点で前記位置情報取得手段により求められる車両の位置を、前記画像情報の撮像位置とする請求項１記載の地物認識装置。
【請求項３】
前記認識対象物が区画線であり、少なくとも前記画像情報認識手段が区画線である実線と破線とを識別認識する請求項１又は２記載の地物認識装置。
【請求項４】
前記画像情報認識手段において、前記区画線である実線と破線とを識別認識するに、
単一フレームに含まれる区画線に破断部が認められる場合に当該区画線を破線と認識し、破断部が認められない場合に当該区画線を実線と認識する第一認識処理と、
複数フレーム間に渡って、同一と認められる区画線に関して、破断部が認められる場合に当該区画線を破線と、破断部が認められない場合に実線と認識する第二認識処理とを実行する請求項３記載の地物認識装置。
【請求項５】
前記画像情報認識手段において、前記区画線である実線と破線とを識別認識するに、
単位時間に取り込まれる複数のフレーム間に渡って、同一と認められる区画線に関して、破断部が認められる場合に当該区画線を破線と、破断部が認められない場合に実線と認識する請求項３記載の地物認識装置。
【請求項６】
請求項１〜５の何れか一項記載の地物認識装置を備え、
前記認識対象物に予め定められた測定点について、前記画像情報に含まれている前記認識対象物についての前記測定点の画像認識を行い、
認識された前記測定点の画像認識結果と、予め求められている当該測定点の位置情報とに基づいて自車位置情報を更新補正する自車位置認識補正手段、
を備える自車位置認識装置。
【請求項７】
前記測定点は、各地物の輪郭形状に応じて、自車両の進行方向に略直交する輪郭線上、又は前記輪郭形状が角部を有する場合には当該角部上に設定されている請求項６に記載の自車位置認識装置。
【請求項８】
前記請求項６又は７記載の自車位置認識装置と、地図情報を格納した地図情報格納手段とを備え、
前記地図情報格納手段から取得した自車両の進行方向の地図情報と、前記自車位置認識補正手段による更新補正後の自車位置情報とに基づいて、自車両の走行制御を行う車両制御装置。
【請求項９】
前記請求項６又は７記載の自車位置認識装置と、地図情報を格納した地図情報格納手段を備え、
前記地図情報格納手段から取得した自車両の進行方向の地図情報と、前記自車位置認識補正手段による更新補正後の自車位置情報とに基づいて、自車両の進路案内を行うナビゲーション装置。
【請求項１０】
車両に搭載された撮像装置により少なくとも道路の路面を撮像した画像情報を逐次取り込む画像情報取得ステップと、
地図情報から前記画像情報の撮像位置周辺の地物に関する道路特徴情報を取得する道路特徴情報取得ステップと、
前記画像情報の認識処理を行い、前記画像情報の中に含まれる前記地物に対応する認識対象物の画像を認識する画像情報認識ステップと、
前記道路特徴情報取得ステップで取得された前記道路特徴情報と、前記画像情報認識ステップで認識された前記認識対象物の画像の前記画像情報中の配置に基づいて、前記地物を認識する地物認識方法を実行するに、
車両の走行速度情報を取得する速度情報取得ステップを実行し、
取得された前記走行速度情報が所定の値より低い場合に、前記画像情報認識ステップによる前記認識対象物の認識を停止する地物認識方法。
【請求項１１】
前記認識対象物が区画線であり、前記画像情報認識ステップにおいて実線と破線とを識別認識する請求項１０記載の地物認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００８−１６５３２６（Ｐ２００８−１６５３２６Ａ）
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願番号】特願２００６−３５１６１９（Ｐ２００６−３５１６１９）
【出願日】平成１８年１２月２７日（２００６．１２．２７）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願日】平成１８年１２月２７日（２００６．１２．２７）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]