周辺状況認識装置及び方法
【課題】画像認識を用いて自車両周辺に存在する障害物を認識する場合において、当該認識対象としての障害物の形状や色彩等の様々な違いによる影響、或いは周辺に存在するノイズ成分となり得るものの影響を受け難く、安定的に障害物の認識が可能な周辺状況認識装置及び周辺状況認識方法を、比較的簡易な構成により実現する。
【解決手段】地物情報に基づいて画像情報Ｇに含まれているべき地物ｆについて、当該地物ｆの全部又は一部の画像が画像認識手段により認識できない場合に、自車両Ｃａと当該地物ｆとの間に障害物Ｂが存在すると認識する。
【解決手段】地物情報に基づいて画像情報Ｇに含まれているべき地物ｆについて、当該地物ｆの全部又は一部の画像が画像認識手段により認識できない場合に、自車両Ｃａと当該地物ｆとの間に障害物Ｂが存在すると認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置からの画像情報とデータベースから取得した地物情報とに基づいて、自車両の周辺における障害物の存在状況を認識する周辺状況認識装置及び方法、並びにこの周辺状況認識装置を用いたナビゲーション装置及び車両制御装置に関する。
【背景技術】
【０００２】
車両に搭載されるカメラやレーダ等を用いて自車両の周辺に存在する障害物を認識する技術が既に知られている。このような技術に関して、例えば下記の特許文献１には、以下のような障害物検出装置が開示されている。この装置は、ナビゲーション装置等から取得した情報に基づき自車両の走行路の進行方向前方あるいは予測した進行軌跡上の道路構成として、少なくとも交差道路の有無または車線数を検出する。そして、自車両の現在位置と進行方向（直進、右左折、車線変更等）に応じて、さらに、視線検出装置にて検出される運転者の視線方向に応じて、レーダの検知方向およびカメラの撮像方向を設定する。そして、制御装置はレーダやカメラにより検知した移動体や障害物が自車両の走行の支障となる可能性を算出し、この可能性に応じて制動装置や各種伝達装置やエアバッグ等の乗員保護装置を作動させる。
【０００３】
ここで、レーダは、レーザ光やミリ波等の発信信号を適宜の検知方向に向けて発信すると共に、この発信信号が障害物等によって反射されることで生じた反射信号を受信する。そして、これらの反射信号と発信信号とに基づいて、所定の検知エリア内の領域における障害物までの相対距離や相対速度等を算出する。また、カメラは、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラ等であって、適宜の検知方向での外界を撮影する。そして、画像処理部により、カメラから出力される画像を画像処理して、自車両周辺の他の車両、歩行者等の障害物や標識等を検出する。また、これらの検出結果と共に、自車両から認識した各障害物までの相対距離の情報等を生成して出力する。
【０００４】
【特許文献１】特開２００５−２３１４５０号公報（第６−１６頁、第１−１２図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記の装置のように、レーダやカメラ等の撮像装置を用いた画像認識により、自車両の周辺の他の車両や歩行者等を直接的に認識する構成では、実際には誤認識が多く発生するため、実用的な装置とすることが困難であるという問題がある。すなわち、車両や歩行者等の認識対象物以外にも、現実の道路周辺には樹木、柵、歩道等の様々なものが存在し、それらがノイズ成分となるために認識対象物の正確な認識が妨げられる。また、特に画像認識を行う場合において、車両等の認識対象の形状や色彩等が様々であるため、それらの全てを正確に認識できる装置を構成することは困難である。そして、これらの問題を克服して高精度な認識を可能とするためには、高性能で高価なシステムが必要とされる。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、画像認識を用いて自車両周辺に存在する障害物を認識する場合において、当該認識対象としての障害物の形状や色彩等の様々な違いによる影響、或いは周辺に存在するノイズ成分となり得るものの影響を受け難く、安定的に障害物の認識が可能な周辺状況認識装置及び周辺状況認識方法を、比較的簡易な構成により実現することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明に係る周辺状況認識装置の特徴構成は、自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得手段と、自車両周辺の地物についての地物情報をデータベースから取得する地物情報取得手段と、前記地物情報に基づいて、前記画像情報に含まれている地物の画像認識を行う画像認識手段と、その画像認識結果に基づいて、自車両の周辺における障害物の存在状況を認識する障害物認識手段と、を備え、前記障害物認識手段は、前記地物情報に基づいて前記画像情報に含まれているべき地物について、当該地物の全部又は一部の画像が前記画像認識手段により認識できない場合に、自車両と当該地物との間に障害物が存在すると認識する点にある。
【０００８】
この特徴構成によれば、自車両の周辺に存在する障害物の認識を、データベースから取得された地物情報に示される地物についての画像認識結果に基づいて行うことになる。したがって、障害物を直接的に画像認識する場合と比較して、障害物の形状や色彩等の影響を受け難いという利点がある。また、地物情報に基づいて位置、形状、色彩等が予め特定された地物の画像認識を行うため、周辺に存在するノイズ成分となり得るものの影響を受け難いという利点もある。したがって、比較的簡易な構成によって自車両周辺の障害物の安定的な認識を行うことが可能な装置とすることができる。
【０００９】
本発明に係る周辺状況認識装置の更なる特徴構成は、自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得手段と、自車両が走行中の車線である自車線を認識する自車線認識手段と、前記自車線に隣接する車線より奥に位置する地物についての地物情報をデータベースから取得する地物情報取得手段と、前記地物情報に基づいて、前記画像情報に含まれている前記地物の画像認識を行う画像認識手段と、その画像認識結果に基づいて、前記自車線に隣接する車線上における障害物の存在状況を認識する障害物認識手段と、を備え、前記障害物認識手段は、前記地物情報に基づいて前記画像情報に含まれているべき前記地物について、当該地物の全部又は一部の画像が前記画像認識手段により認識できない場合に、前記自車線に隣接する車線上に障害物が存在すると認識する点にある。
【００１０】
この特徴構成によれば、自車線に隣接する車線上に存在する障害物の認識を、データベースから取得された地物情報に示される地物についての画像認識結果に基づいて行うことになる。したがって、障害物を直接的に画像認識する場合と比較して、障害物の形状や色彩等の影響を受け難いという利点がある。また、地物情報に基づいて位置、形状、色彩等が予め特定された地物の画像認識を行うため、周辺に存在するノイズ成分となり得るものの影響を受け難いという利点もある。したがって、比較的簡易な構成によって自車線に隣接する車線上の障害物の安定的な認識を行うことが可能な装置とすることができる。
【００１１】
ここで、前記障害物認識手段による認識結果に基づいて、前記自車線に隣接する車線への車線変更の可否を判定する車線変更判定手段を更に備える構成とすると好適である。
【００１２】
このように構成すれば、障害物認識手段による自車線に隣接する車線上における障害物の存在状況の認識結果に基づいて、自車両の車線変更の可否を判定することができる。したがって、比較的簡易な構成によって車線変更の可否の安定的な判定を行うことが可能な装置とすることができる。
【００１３】
また、前記地物情報取得手段は、道路に沿って配置された連続性のある地物についての地物情報を取得する構成とすると好適である。
このように構成すれば、当該連続性のある地物の配置に応じて、障害物の配置を道路に沿って連続的に認識することが可能となる。したがって、自車両の周囲の障害物の配置をより詳しく認識することが可能となる。
【００１４】
ここで、前記連続性のある地物は、道路面上に設けられた区画線、及び道路に沿って配置された縁石の少なくとも一方を含む構成とすると特に好適である。
これらの地物は、その周囲や背後に道路面以外の雑多なものが撮像されることが少なく、また道路面との色彩の差も大きい。そのため画像認識が比較的容易であり、一層安定的な障害物の認識を行うことが可能となる。
【００１５】
また、前記障害物認識手段は、前記地物情報に基づいて前記画像情報に含まれているべき前記連続性のある地物についての、前記画像認識手段による当該地物の認識できた部分の割合に基づいて、前記障害物の存在状況を認識する構成とすると好適である。
【００１６】
このように構成すれば、画像情報に含まれているべき連続性のある地物についての画像認識できた部分の割合に基づいて、その割合が高いほど障害物が存在する割合が少ないものとして、簡易的に障害物の存在状況を認識することが可能となる。
【００１７】
また、前記障害物認識手段は、前記地物情報に基づく前記連続性のある地物の自車両を基準とした配置と、前記画像認識手段による画像認識結果に基づく前記連続性のある地物の認識できない部分の配置とに基づいて、前記障害物の位置及び大きさを認識する構成としても好適である。
【００１８】
このように構成すれば、地物情報に基づいて連続性のある地物が画像認識されるべき位置にも関わらず、画像認識されない部分に障害物が存在するものとして、自車両の位置を基準として障害物の位置及び大きさを演算して認識することができる。したがって、障害物の存在状況をより詳細に認識することができる。
【００１９】
本発明に係るナビゲーション装置の特徴構成は、上記の構成を備えた周辺状況認識装置と、自車両の進路案内を行う進路案内手段と、を備え、前記進路案内手段は、自車両の車線変更が必要であって、且つ前記車線変更判定手段により車線変更可能と判断した場合に、車線変更の案内を行う点にある。
【００２０】
この特徴構成によれば、自車両の車線変更が必要な場合であっても、自車線に隣接する車線への車線変更が可能である場合にのみ車線変更の案内を行うので、車線変更の際の安全性を高めることが可能となる。また、車線変更が不可能な状況で車線変更の案内を行わないことで、運転者が案内によるわずらわしさを感じることを抑制できる。
【００２１】
本発明に係る車両制御装置の特徴構成は、上記の構成を備えた周辺状況認識装置と、自車両の各部の動作制御を行う制御手段と、を備え、前記制御手段は、前記障害物認識手段による認識結果に基づいて自車両の各部の動作制御を行う点にある。
【００２２】
この特徴構成によれば、自車両の周辺における障害物の存在状況に応じて、例えば、自車両が障害物に接近することを防止し或いは減速する等のための車両各部の制御又はそのような制御のための運転者の操作の補助等、適切な車両制御を行うことが可能となる。
【００２３】
本発明に係る周辺状況認識方法の特徴構成は、自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得ステップと、自車両周辺の地物についての地物情報をデータベースから取得する地物情報取得ステップと、前記地物情報に基づいて、前記画像情報に含まれている地物の画像認識を行う画像認識ステップと、前記地物情報に基づいて前記画像情報に含まれているべき地物について、当該地物の全部又は一部の画像が前記画像認識ステップにより認識できない場合に、自車両と当該地物との間に障害物が存在すると認識する障害物認識ステップと、を備える点にある。
【００２４】
この特徴構成によれば、自車両の周辺に存在する障害物の認識を、データベースから取得された地物情報に示される地物についての画像認識結果に基づいて行うことになる。したがって、障害物を直接的に画像認識する場合と比較して、障害物の形状や色彩等の影響を受け難いという利点がある。また、地物情報に基づいて位置、形状、色彩等が予め特定された地物の画像認識を行うため、周辺に存在するノイズ成分となり得るものの影響を受け難いという利点もある。したがって、比較的簡易な構成の装置を用いて自車両周辺の障害物の安定的な認識を行うことができる。
【００２５】
本発明に係る周辺状況認識方法の更なる特徴構成は、自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得ステップと、自車両が走行中の車線である自車線を認識する自車線認識ステップと、前記自車線に隣接する車線より奥に位置する地物についての地物情報をデータベースから取得する地物情報取得ステップと、前記地物情報に基づいて、前記画像情報に含まれている前記地物の画像認識を行う画像認識ステップと、前記地物情報に基づいて前記画像情報に含まれているべき前記地物について、当該地物の全部又は一部の画像が前記画像認識ステップにより認識できない場合に、自車線に隣接する車線上に障害物が存在すると認識する障害物認識ステップと、を備える点にある。
【００２６】
この特徴構成によれば、自車線に隣接する車線上に存在する障害物の認識を、データベースから取得された地物情報に示される地物についての画像認識結果に基づいて行うことになる。したがって、障害物を直接的に画像認識する場合と比較して、障害物の形状や色彩等の影響を受け難いという利点がある。また、地物情報に基づいて位置、形状、色彩等が予め特定された地物の画像認識を行うため、周辺に存在するノイズ成分となり得るものの影響を受け難いという利点もある。したがって、比較的簡易な構成の装置を用いて自車線に隣接する車線上の障害物の安定的な認識を行うことができる。
【発明を実施するための最良の形態】
【００２７】
１．第一の実施形態
まず、本発明の第一の実施形態について図面に基づいて説明する。本実施形態では、本発明に係る周辺状況認識装置１をナビゲーション装置２に適用した場合について説明する。図１は、本実施形態に係る周辺状況認識装置１の全体構成を模式的に示すブロック図である。本実施形態に係る周辺状況認識装置１は、地図データベースＤＢから取得した地物情報Ｆに基づいて、撮像装置４により撮像された画像情報Ｇに含まれている自車線Ｌａの隣接車線Ｌｂより奥に位置する区画線ｆａ１の画像認識を行う（図７及び図８参照）。そして、画像情報Ｇに含まれているべき当該区画線ｆａ１について画像認識できない部分がある場合に隣接車線Ｌｂ上に他の車両Ｃｂ等の障害物Ｂが存在すると認識する処理を行う。また、このような障害物Ｂの認識結果に基づいて、自車両Ｃａの隣接車線Ｌｂへの車線変更の可否を判定し、車線変更が必要な場合であって車線変更可能な場合にのみ運転者に対して車線変更を促すための案内を行う。
【００２８】
図１に示すように、この周辺状況認識装置１の各機能部、具体的には、画像情報取得部５、自車位置演算部６、地図情報取得部７、地物情報抽出部８、画像認識部９、障害物認識部１０、ナビゲーション用演算部１１、自車線認識部１２、及び車線変更判定部１３は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア（プログラム）或いはその両方により実装されて構成されている。また、地図データベースＤＢは、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。以下、各部の構成について詳細に説明する。
【００２９】
１−１．撮像装置４
撮像装置４は、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。この撮像装置４は、自車両Ｃａの周辺の少なくとも道路面を撮像可能に設けられている。本例では、図２に示すように、自車両Ｃａは、撮像装置４として、その進行方向周辺を撮像可能なフロントカメラを備えている。図２中の一点鎖線は、この撮像装置４の撮像領域を示している。
【００３０】
１−２．画像情報取得部５
画像情報取得部５は、撮像装置４により撮像した画像情報Ｇを取得する画像情報取得手段として機能する。ここでは、画像情報取得部５は、撮像装置４により撮像したアナログの撮像情報を所定の時間間隔で取り込み、デジタル信号の画像情報Ｇに変換して画像メモリ２１に格納する。この際の画像情報Ｇの取り込みの時間間隔は、例えば、１０〜５０ｍｓ程度とすることができる。これにより、画像情報取得部５は、自車両Ｃａの周辺を撮像した複数フレームの画像情報Ｇをほぼ連続的に取得することができる。一旦画像メモリ２１に格納された画像情報Ｇは、画像認識部９及び自車線認識部１２へ出力される。
【００３１】
１−３．自車位置演算部６
自車位置演算部６は、自車両Ｃａの現在位置を示す自車位置情報Ｓを取得する自車位置情報取得手段として機能する。ここでは、自車位置演算部６は、ＧＰＳ受信機２２、方位センサ２３、及び車速センサ２４と接続されている。ここで、ＧＰＳ受信機２２は、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号を受信する装置である。このＧＰＳ信号は、通常１秒おきに受信され、自車位置演算部６へ出力される。自車位置演算部６では、ＧＰＳ受信機２２で受信されたＧＰＳ衛星からの信号を解析し、自車の位置（緯度及び経度）、進行方位、移動速度等の情報を取得することができる。方位センサ２３は、自車両Ｃａの進行方位又はその進行方位の変化を検出するセンサである。この方位センサ２３は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ２３は、その検出結果を自車位置演算部６へ出力する。車速センサ２４は、自車両Ｃａの車速や移動距離を検出するセンサである。この車速センサ２４は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Ｃａの加速度を検知するヨー・Ｇセンサ及び検知された加速度を積分する回路等により構成される。そして、車速センサ２４は、その検出結果としての車速情報を自車位置演算部６へ出力する。
【００３２】
そして、自車位置演算部６は、これらのＧＰＳ受信機２２、方位センサ２３及び車速センサ２４からの出力に基づいて、公知の方法により自車両Ｃａの現在位置を特定する演算を行う。また、自車位置演算部６は、地図データベースＤＢから自車位置周辺の地図情報Ｅを取得し、それに基づいて公知のマップマッチングを行うことにより自車両Ｃａの現在位置を地図情報Ｅに示される道路上とする補正も行う。そして、この自車位置演算部６は、演算結果である自車両Ｃａの現在位置の情報を自車位置情報Ｓとして地図情報取得部７、地物情報抽出部８、自車線認識部１２、及びナビゲーション用演算部１１へ出力する。この際、自車位置情報Ｓは、例えば、緯度及び経度で表された位置の情報として表される。なお、自車位置情報Ｓは、道路に沿った方向の自車両Ｃａの位置を示しているが、道路が複数車線を有する場合に、自車両Ｃａが走行している自車線Ｌａを特定することができるほど詳細な情報とはなっていない。
【００３３】
１−４．地図データベースＤＢ
地図データベースＤＢは、各地の地図情報を格納したデータベースである。図３は、地図データベースＤＢに格納されている地図情報Ｅの内容を示す説明図である。この図に示すように、地図データベースＤＢには、道路ネットワークレイヤＸ１、道路形状レイヤＸ２、地物レイヤＸ３が格納されており、これらにより地図情報Ｅが構成されている。
【００３４】
道路ネットワークレイヤＸ１は、道路間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードＮの情報と、２つのノードＮを連結して道路を構成する多数のリンクＬの情報とを有して構成されている。また、各リンクＬは、そのリンク情報として、道路の種別（高速道路、有料道路、国道、県道等の種別）やリンク長さ等の情報を有している。
【００３５】
道路形状レイヤＸ２は、道路ネットワークレイヤＸ１に関連付けられて格納され、道路の形状を示すレイヤである。具体的には、２つのノードＮの間（リンクＬ上）に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Ｓの情報と、各道路形状補完点Ｓにおける道路幅Ｗの情報とを有して構成されている。
【００３６】
地物レイヤＸ３は、道路ネットワークレイヤＸ１及び道路形状レイヤＸ２に関連付けられて格納され、道路上及び道路の周辺に設けられた各種地物ｆの情報、すなわち地物情報Ｆが記録されているレイヤである。この地物レイヤＸ３に地物情報Ｆが格納される地物ｆは、ペイント系の地物ｆと立体系の地物ｆとに大別される。ペイント系の地物ｆとしては、例えば、道路に沿って車線を分ける区画線（実線、破線、二重線等の各種区画線を含む。）、各車線の進行方向を指定する進行方向別通行区分標示、横断歩道、停止線、速度表示、ゼブラゾーン等の道路面上に設けられる各種の道路標示が含まれる。また、立体系の地物ｆとしては、例えば、道路の両側に沿って設けられる縁石、ガードレール、各種の標識、信号機等の道路上又は道路の周辺に設けられる各種の立体物が含まれる。
【００３７】
また、地物情報Ｆは、その内容として各地物ｆの配置情報、種別情報、形態情報を含んでいる。ここで、配置情報は、各地物ｆの地図上の位置（緯度及び経度）及び方向の情報を含んでいる。種別情報は、各地物ｆの種別を示す情報であって、具体的には、「区画線（実線、破線、二重線等の線種も含む）」、「進行方向別通行区分標示」、「横断歩道」等の道路標示種別、「縁石」、「ガードレール」、「信号機」等の地物ｆ自体の種別、「一時停止」、「駐車禁止標識」等の標識種別などの情報が含まれる。形態情報は、各地物ｆの特徴的な形状や色彩等の情報の他、立体系の地物ｆの場合には道路面からの高さの情報も含んでいる。
【００３８】
１−５．地図情報取得部７
地図情報取得部７は、自車位置演算部６から出力される自車位置情報Ｓに基づいて、地図データベースＤＢから自車両Ｃａ周辺の地図情報Ｅを取得する。そして、地図情報取得部７は、自車位置演算部６、地物情報抽出部８、自車線認識部１２、及びナビゲーション用演算部１１に地図情報Ｅを出力する。この際、地図情報取得部７が地図情報Ｅを取得する範囲は、地図情報Ｅの出力先により異なる。すなわち、地図情報取得部７は、出力先において必要とする地図情報Ｅの範囲に応じた範囲の地図情報Ｅを取得して出力する。例えば、自車位置演算部６でのマップマッチングや、自車線認識部１２での自車線認識のためには、自車両Ｃａ周辺の比較的狭い範囲の地図情報Ｅが用いられる。一方、ナビゲーション用演算部１１による表示部２７への地図表示のためには、表示縮尺に応じて比較的広い範囲の地図情報Ｅが用いられる。地図情報取得部７は、これらの用途に応じて必要な地図情報Ｅを取得して出力する。
【００３９】
１−６．自車線認識部１２
自車線認識部１２は、自車両Ｃａが走行中の車線である自車線Ｌａを認識する自車線認識手段として機能する。ここでは、自車線認識部１２は、撮像装置４により撮像された画像情報Ｇの画像認識を行い、その画像認識結果と自車位置情報Ｓに示される自車位置の周辺の地図情報Ｅとを対比することにより、自車線Ｌａの認識を行う。例えば、図４に示すような画像情報Ｇが取得された場合において、図５に示すような自車両Ｃａ周辺の地図情報Ｅが取得された場合には、自車線Ｌａは、３車線の中の中央車線であると認識することができる。すなわち、図４に示す画像情報Ｇに示される画像中では、自車両Ｃａの位置である画像の幅方向中央に対して両側に破線の区画線ｆａ２、ｆａ３が位置しており、更にその両外側にそれぞれ実線の区画線ｆａ１、ｆａ４が位置している。一方、図５に示す地図情報Ｅによれば、自車両Ｃａが走行している道路は３車線であり、道路の幅方向両側には実線の区画線の地物情報Ｆａ１、Ｆａ４、道路の幅方向中央側には各車線を区切る破線の区画線の地物情報Ｆａ２、Ｆａ３が位置していることがわかる。したがって、自車線認識部１２は、これらの情報を対比することにより、自車線Ｌａが３車線の中の中央車線であると認識することができる。また、自車線認識部１２は、自車両Ｃａの走行に従ってこのような自車線Ｌａの認識を連続的に行い、その情報を蓄積することにより、自車線Ｌａの認識精度を高める処理も行う。自車線認識部１２は、自車線Ｌａの認識結果の情報を、地物情報抽出部８及びナビゲーション用演算部１１へ出力する。
【００４０】
１−７．地物情報抽出部８
地物情報抽出部８は、画像認識部９において画像認識を行う自車両Ｃａ周辺の地物ｆについての地物情報Ｆを地図情報Ｅから抽出する地物情報抽出手段として機能する。したがって、本実施形態においては、地図情報取得部７及び地物情報抽出部８により、地物情報取得手段１７が構成される。ここでは、地物情報抽出部８は、自車位置情報Ｓ、自車線認識部１２による自車線Ｌａの認識結果の情報、及び後述するナビゲーション用演算部１１から出力される車線変更要求情報に基づいて、自車線Ｌａに対して車線変更要求情報が示す車線変更方向側に隣接する隣接車線Ｌｂより奥に位置する地物ｆについての地物情報Ｆを地図情報Ｅから抽出して取得する。ここで、隣接車線Ｌｂより奥に位置する地物ｆとは、当該隣接車線Ｌｂよりも更に車線変更方向側（右側又は左側）に位置する地物ｆとなる。この際、地物情報抽出部８は、道路に沿って配置された連続性のある地物ｆについての地物情報Ｆを抽出する。ここで、このような連続性のある地物ｆとしては、道路面上に設けられた実線又は破線の区画線ｆａや道路に沿って配置された縁石ｆｂ等が好適であり、本例では、区画線ｆａについての地物情報Ｆを抽出する。なお、「ｆａ」の符号は、「ｆａ１」〜「ｆａ４」等の各種区画線を総称する符号として用いている。
【００４１】
ここでは一例として、図６に示す地図情報Ｅから、地物情報抽出部８により地物情報Ｆを抽出する処理について説明する。図６において、符号「Ｃａ´」は、自車位置情報Ｓ及び自車線認識部１２による自車線Ｌａの認識結果の情報に示される自車両Ｃａの位置を示している。この図に示すように、本例では、自車線Ｌａは３車線の中の中央車線である。また、ナビゲーション用演算部１１からの車線変更要求情報は、右車線への変更要求を示しているものとする。この場合、地物情報抽出部８は、自車線Ｌａの右側の隣接車線（右車線）Ｌｂより奥（右側）に位置する実線の区画線（車道中央線）ｆａ１の地物情報Ｆａ１を抽出する。本例では、地図情報取得部７から地物情報抽出部８へ出力される地図情報Ｅは、撮像装置４による撮像領域にほぼ一致する範囲の情報とされている。なお、撮像装置４による撮像領域は、自車両Ｃａにおける撮像装置４の搭載位置、撮像方向、撮像画角等に基づいて予め定まっている。この地物情報抽出部８により抽出された地物情報Ｆは、画像認識部９へ出力される。
【００４２】
また、地物情報抽出部８は、地図情報Ｅから、自車両Ｃａ周辺の連続性のある地物ｆ、本例では、自車線Ｌａ及び隣接車線Ｌｂを特定するための区画線ｆａ１〜ｆａ４の地物情報Ｆａ１〜Ｆａ４を抽出し、障害物認識部１０の配置認識部２６へ出力する。配置認識部２６では、これらの地物情報Ｆに基づいて、自車線Ｌａと隣接車線Ｌｂとの位置関係の認識を行う。
【００４３】
１−８．画像認識部９
画像認識部９は、地物情報抽出部８から出力された地物情報Ｆに基づいて、画像情報Ｇに含まれている地物ｆの画像認識を行う画像認識手段として機能する。具体的には、画像認識部９は、まず、画像情報Ｇに対する二値化処理やエッジ検出処理等による輪郭抽出を用いて区画線ｆａ等の道路標示（ペイント）の画像を抽出する。その後、画像認識部９は、地物情報抽出部８から出力された地物情報Ｆに示される地物ｆの位置及び形状等の情報に基づいて、画像情報Ｇ中における当該地物ｆの画像の配置を特定し、当該地物ｆの画像認識を行う。本例では、地物情報抽出部８から出力された地物情報Ｆに示される地物ｆは、自車線Ｌａの右側の隣接車線（右車線）Ｌｂより奥（右側）に位置する実線の区画線（車道中央線）ｆａ１である。図７及び図８に、各状況で取得された画像情報Ｇ及びその画像情報Ｇの画像認識部９による認識結果の例を示す。図７は、（ａ）に示すように周囲に他の車両Ｃｂ等の障害物Ｂが存在しない状況で撮像された（ｂ）画像情報Ｇと（ｃ）その認識結果を示している。図８は、（ａ）に示すように自車線Ｌａの右側の隣接車線Ｌｂに他の車両Ｃｂが存在する状況で撮像された（ｂ）画像情報Ｇと（ｃ）その認識結果を示している。
【００４４】
図７（ａ）に示すように、自車線Ｌａの右側の隣接車線Ｌｂに障害物Ｂが存在しない場合には、図７（ｂ）に示すように、画像情報Ｇには、この画像情報Ｇに含まれているべき右側の隣接車線Ｌｂより奥に位置する実線の区画線ｆａ１の全部（区画線ｆａ１の画像情報Ｇに含まれているべき部分の内の全部）が撮像されていることになる。したがって、画像認識部９は、図７（ｃ）に示すように、画像認識部９は、前記区画線ｆａ１の全部の画像を認識することができる。一方、図８（ａ）に示すように、自車線Ｌａの右側の隣接車線Ｌｂに他の車両Ｃｂ等の障害物Ｂが存在する場合には、図８（ｂ）に示すように、画像情報Ｇには、この画像情報Ｇに含まれているべき前記区画線ｆａ１の一部が当該障害物Ｂの背後に隠れて撮像できないことになる。したがって、図８（ｃ）に示すように、画像認識部９は、前記区画線ｆａ１の画像の一部を認識することができず、前記区画線ｆａ１の画像を断続的に認識することになる。そして、これら図７（ｃ）又は図８（ｃ）のような画像認識部９による画像認識結果の情報が、障害物認識部１０へ出力される。
【００４５】
１−９．障害物認識部１０
障害物認識部１０は、画像認識部９による画像認識結果に基づいて、自車両Ｃａの周辺における障害物Ｂの存在状況を認識する障害物認識手段として機能する。本実施形態においては、障害物認識部１０は、自車線Ｌａに隣接する隣接車線Ｌｂ上における障害物Ｂの存在状況を認識する。すなわち、ここでは、障害物認識部１０は、地物情報抽出部８から出力された地物情報Ｆに基づいて画像情報Ｇに含まれているべき地物ｆについて、当該地物ｆの全部又は一部の画像が画像認識部９により認識できない場合に、自車線Ｌａに隣接する車線Ｌｂ上に障害物Ｂが存在すると認識する。ここで、地物情報Ｆに基づいて画像情報Ｇに含まれているべき地物ｆとは、地物情報抽出部８により地物情報Ｆが抽出された地物ｆであって撮像装置４による画像情報Ｇの撮像領域内に含まれている地物ｆ（全体又は部分）である。また、このような地物ｆが、画像認識部９による画像認識の対象となる。本例では、この地物ｆは、上記のとおり、自車線Ｌａの右側の隣接車線Ｌｂより奥に位置する実線の区画線ｆａ１である。
【００４６】
そして、障害物認識部１０は、自車線Ｌａの右側の隣接車線Ｌｂ上に障害物Ｂが存在する場合には、前記実線の区画線ｆａ１の全部又は一部が当該障害物Ｂの背後に隠れて画像認識できないことを利用して、間接的に障害物Ｂの認識を行う。具体的には、図７（ｃ）に示すように、画像情報Ｇに含まれているべき右側の隣接車線Ｌｂより奥に位置する実線の区画線ｆａ１の全部の画像を画像認識部９により認識できた場合には、障害物認識部１０は、自車線Ｌａの右側の隣接車線Ｌｂ上に障害物Ｂが存在しないと認識する。一方、図８（ｃ）に示すように、画像情報Ｇに含まれているべき右側の隣接車線Ｌｂより奥に位置する実線の区画線ｆａ１の全部又は一部の画像を画像認識部９により認識できなかった場合には、障害物認識部１０は、自車線Ｌａの右側の隣接車線Ｌｂ上に障害物Ｂが存在すると認識する。すなわち、この障害物認識部１０は、他の車両Ｃｂ等の障害物Ｂを直接的に画像認識して障害物Ｂの認識を行うのではなく、当該障害物Ｂが存在する場合に背後に隠れることになる区画線ｆａ１等の画像認識が容易な地物ｆの画像認識結果を用いて間接的に障害物認識を行う。ここで、区画線ｆａは、位置、形状、色彩等が予め特定されており、更に、その周囲や背後に道路面以外の雑多なものが撮像されることが少なく、また道路面との色彩の差も大きい。そのため、各種の形状や色彩を持った車両等の障害物Ｂを画像認識する場合と比較して画像認識が容易であり、周辺に存在するノイズ成分となり得るものの影響も受け難い。したがって、このような区画線ｆａの画像認識結果を用いて間接的に障害物認識を行うことで、障害物認識の安定性を高めることができる。
【００４７】
また、本実施形態においては、障害物認識部１０は、連続性のある地物ｆについての認識率を判定する認識率判定部２５を備えている。そして、上記のような障害物Ｂが存在するか否かの認識を、認識率判定部２５により判定される認識率に基づいて行う。これは、区画線ｆａ１等の画像情報Ｇに含まれているべき地物ｆの一部が画像認識できない場合であっても、それが障害物Ｂの存在に起因するものでない場合が有り得ることを考慮して障害物Ｂの認識を行うことで、その認識精度を高めるためである。すなわち、現実には、障害物Ｂが存在しない場合であっても、画像認識の対象となる地物ｆの汚れやかすれ等、或いは画像認識の際の誤差等の各種の要因により、当該地物ｆの全部が完全に認識できない場合があり得る。そこで、これらの要因を考慮して、障害物認識部１０は、認識率判定部２５により判定される認識率が所定の閾値未満である場合に、障害物Ｂが存在すると認識する処理を行う。
【００４８】
ここでは、認識率は、認識対象である連続性のある地物ｆの画像情報Ｇに含まれているべき部分の内の全部が完全に画像認識されている場合を１００〔％〕とし、画像認識できた部分の面積比を百分率で表すものとする。そして、例えば、地物ｆの汚れやかすれ等、或いは画像認識の際の誤差等の各種の要因により認識率が低下し得る範囲を１０〔％〕に設定した場合、障害物Ｂが存在すると認識する認識率の閾値は９０〔％〕となる。したがって、例えば、図７（ｃ）に示す画像認識結果に基づく区画線ｆａ１の認識率が９５〔％〕であり、図８（ｃ）に示す画像認識結果に基づく区画線ｆａ１の認識率が４０〔％〕である場合、障害物認識部１０は、図７（ｃ）の場合は障害物Ｂが存在しないと認識し、図８（ｃ）の場合は障害物Ｂが存在すると認識する（図１１参照）。
【００４９】
更に、障害物認識部１０は配置認識部２６を備えている。この配置認識部２６は、地物情報Ｆに基づく連続性のある地物ｆの自車両Ｃａを基準とした配置と、画像認識結果に基づく連続性のある地物ｆの認識できない部分の配置とに基づいて、障害物Ｂの位置及び大きさを認識する処理を行う。図９は、本例における配置認識部２６により行う障害物Ｂの位置及び大きさを認識する処理の説明図である。この図では、図８（ａ）に示す状況と同様に、自車線Ｌａの右側の隣接車線Ｌｂより奥に位置する地物ｆが実線の区画線ｆａ１であり、当該右側の隣接車線Ｌｂ上に他の車両Ｃｂが存在する状況をとなっている。この場合、配置認識部２６には、画像認識部９による画像認識結果の情報として、図９に示すように、自車線Ｌａの右側の隣接車線Ｌｂより奥に位置する実線の区画線ｆａ１の認識結果の情報が入力されている。また、配置認識部２６には、地物情報抽出部８からの地物情報Ｆとして、区画線ｆａ１〜ｆａ４の地物情報Ｆａ１〜Ｆａ４が入力されている。
【００５０】
そして、配置認識部２６は、これらの地物情報Ｆ（Ｆａ１〜Ｆａ４）と画像認識結果に基づいて、障害物Ｂが存在すると推測される位置及び大きさを示す障害物領域Ｂｃを導出する。そのため、配置認識部２６は、まず、画像認識部９による画像認識結果に基づいて、自車両Ｃａの中央を基準位置Ｐ０として、区画線ｆａ１の認識できない部分の始端Ｐ１と終端Ｐ２とのなす角度θ１及び区画線ｆａ１上における自車両Ｃａの進行方向位置Ｐ３と始点Ｐ１とのなす角度θ２を導出する。ここで、区画線ｆａ１上における自車両Ｃａの進行方向位置Ｐ３は、基準位置Ｐ０を通り自車両Ｃａの進行方向に直交する線と区画線ｆａ１との交点としている。また、ここでは、始端Ｐ１、終端Ｐ２及び進行方向位置Ｐ３は、区画線ｆａ１の中心線上の点としている。そして、角度θ１は、基準位置Ｐ０と区画線ｆａ１との距離Ｗ、区画線ｆａ１の認識できない部分の始端Ｐ１から終端Ｐ２までの長さＬ１、及び区画線ｆａ１上における自車両Ｃａの進行方向位置Ｐ３から始点Ｐ１までの長さＬ２に基づいて、下記の式（１）により演算して導出する。
θ１＝tan−１〔（Ｗ×Ｌ１）／｛Ｗ×Ｗ＋Ｌ２×（Ｌ１＋Ｌ２）｝〕・・・（１）
また、角度θ２は、下記の式（２）により演算して導出する。
θ２＝tan−１（Ｌ２／Ｗ）・・・（２）
【００５１】
そして、配置認識部２６は、図９に示すように、角度θ１及び角度θ２と、区画線ｆａ１〜ｆａ４の地物情報Ｆａ１〜Ｆａ４により特定される自車線Ｌａ及び隣接車線Ｌｂの配置とに基づいて障害物領域Ｂｃを導出する。この障害物領域Ｂｃの導出は、例えば、角度θ１及び角度θ２の値に応じて障害物領域Ｂｃの位置及び大きさを予め規定した障害物テーブルに基づいて行う。この障害物テーブルは、例えば、障害物Ｂを、隣接車線Ｌｂ上のほぼ中央付近に位置する車両と仮定すれば、各種車両の幅及び長さの統計的データを用いて規定することができる。すなわち、角度θ１と角度θ２の値、及び自車線Ｌａと隣接車線Ｌｂの配置関係により、角度θ１の範囲内であって且つ隣接車線Ｌｂ内が障害物Ｂとしての車両が存在する領域として規定される。そこで、各種車両の幅及び長さの統計的データを用いて、この領域内に収まる適切な幅及び長さの車両に相当する大きさの矩形領域を障害物領域Ｂｃとして規定することができる。この障害物テーブルは、これを様々な角度θ１及び角度θ２について行い、予めテーブル化したものである。
【００５２】
１−１０．車線変更判定部１３
車線変更判定部１３は、障害物認識部１０による認識結果に基づいて、自車線Ｌａに隣接する隣接車線Ｌｂへの車線変更の可否を判定する車線変更判定手段として機能する。本実施形態においては、車線変更判定部１３は、基本的には、障害物認識部１０により隣接車線Ｌｂ上に障害物Ｂが存在しないと認識した場合には車線変更が可能であると判定し、障害物認識部１０により隣接車線Ｌｂ上に障害物Ｂが存在すると認識した場合には車線変更が不可能であると判定する。また、本実施形態においては、障害物認識部１０は配置認識部２６を備えている。そこで、隣接車線Ｌｂ上に障害物Ｂが存在すると認識した場合であっても、配置認識部２６による障害物Ｂの位置及び大きさの認識結果に基づいて、自車両Ｃａが車線変更するのに十分な空間が隣接車線Ｌｂ上に存在する場合には、車線変更判定部１３は、当該空間の側方位置において車線変更が可能であると判定する。
【００５３】
１−１１．ナビゲーション用演算部１１
ナビゲーション用演算部１１は、表示装置２７を用いた自車位置の表示や、表示装置２７及び音声出力装置２８を用いた進路案内のための演算処理を行う。具体的には、ナビゲーション用演算部１１は、地図情報取得部７により地図データベースＤＢから自車両Ｃａ周辺の地図情報Ｅを取得して表示装置２７に地図の画像を表示するとともに、当該地図の画像上に、自車位置演算部６から出力された自車位置情報Ｓに基づいて自車マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部１１は、公知の方法により出発地点と目的地点とを結ぶように予め設定された案内経路と自車位置情報Ｓとに基づいて、表示装置２７及び音声出力装置２８の一方又は双方を用いて進路案内を行う。よって、ナビゲーション用演算部１１、表示装置２７及び音声出力装置２８は、自車両Ｃａの進路案内を行う進路案内手段３１として機能する。なお、図示は省略するが、ナビゲーション用演算部１１は、この他にも、リモートコントローラやタッチパネルなどのユーザインタフェース等の、ナビゲーション装置として必要な公知の各種構成に接続されている。
【００５４】
また、本実施形態においては、ナビゲーション用演算部１１は、案内経路に従って進行するために自車両Ｃａの車線変更が必要な場合に車線変更要求情報を生成する車線変更要求生成部２９を備えている。この車線変更要求生成部２９は、自車両Ｃａが複数車線の道路を走行中であって、設定された案内経路に従って進行するために交差点等での進路変更が必要であり、且つ自車線認識部１２により認識された自車線Ｌａが進路変更のための適切な車線でない場合に、自車両Ｃａの車線変更が必要と判定する。そして、車線変更要求生成部２９は、車線変更が必要と判定した場合には、進路変更のための適切な車線側への車線変更を要求する車線変更要求情報を生成する。ここで生成された車線変更要求情報は、地物情報抽出部８へ出力される。
そして、ナビゲーション用演算部１１は、車線変更要求生成部２９により車線変更要求情報が生成され、且つ車線変更判定部１３により車線変更が可能であると判定された場合に、運転者に対する車線変更の案内を行う。この際の車線変更の案内は、表示装置２７及び音声出力装置２８の一方又は双方を用いて、進路変更のための適切な車線側への車線変更を促す図形やメッセージの表示、音声案内等により行う。
【００５５】
１−１２．周辺状況認識方法
次に、本実施形態に係る周辺状況認識装置１を含むナビゲーション装置２において実行される周辺状況認識方法及びそれを用いた車線変更案内方法の具体例について、図１０及び図１１に示すフローチャートに従って説明する。ここでは、まず、画像情報取得部５において、撮像装置１４により撮像した画像情報Ｇを取得する（ステップ＃０１）。次に、自車位置演算部６において、自車位置情報Ｓを取得する（ステップ＃０２）。そして、地図情報取得部７において、ステップ＃０１で取得した自車位置情報Ｓに基づいて、地図データベースＤＢから自車両Ｃａ周辺の地図情報Ｅを取得する（ステップ＃０３）。その後、自車線認識部１２において、自車両Ｃａが走行中の車線である自車線Ｌａを認識する（ステップ＃０４）。
【００５６】
そして、自車両Ｃａの車線変更が必要でない場合であって、ナビゲーション用演算部１１で設定された案内経路と自車線認識部１２により認識された自車線Ｌａとに基づいて、車線変更要求生成部２９において、車線変更要求が生成されていない場合には（ステップ＃０５：ＮＯ）、処理はそのまま終了する。一方、車線変更要求生成部２９において車線変更要求が生成された場合には（ステップ＃０５：ＹＥＳ）、地物情報抽出部８において、自車両Ｃａ周辺の地物ｆについての地物情報Ｆを地図情報Ｅから抽出する（ステップ＃０６）。本例では、自車線Ｌａに対して車線変更要求情報が示す車線変更方向側に隣接する隣接車線Ｌｂより奥に位置する地物ｆについての地物情報Ｆを地図情報Ｅから抽出する。次に、画像認識部９において、ステップ＃０６で抽出された地物情報Ｆに基づいて、画像情報Ｇに含まれている地物ｆの画像認識を行う（ステップ＃０７）。そして、障害物認識部１０において、ステップ＃０７の画像認識結果に基づいて、自車両Ｃａの周辺における障害物Ｂの存在状況を認識する（ステップ＃０８）。この障害物認識処理については、図１１のフローチャートに従って後に詳細に説明する。
【００５７】
その後、車線変更判定部１３において、障害物認識部１０による認識結果に基づいて、自車線Ｌａに隣接する隣接車線Ｌｂへの車線変更の可否判定を行う（ステップ＃０９）。そして、車線変更が不可能であると判定した場合には（ステップ＃１０：ＮＯ）、処理はそのまま終了する。一方、車線変更が可能であると判定した場合には（ステップ＃１０：ＹＥＳ）、ナビゲーション用演算部１１において、表示装置２７及び音声出力装置２８の一方又は双方を用いて車線変更の案内を行う（ステップ＃１１）。以上で処理は終了する。
【００５８】
次に、ステップ＃０８の障害物認識処理について説明する。本例では、図７及び図８に示すように、自車線Ｌａの右側の隣接車線Ｌｂより奥に位置する実線の区画線ｆａ１（連続性のある地物ｆの一例）の画像認識を行い、その認識結果に基づいて自車線Ｌａに隣接する隣接車線Ｌｂ上における障害物Ｂの存在状況を認識する処理を行う。そこで、図１１に示すように、障害物認識部１０では、まず、認識率判定部２５において、ステップ＃０７の画像認識結果に基づいて、連続性のある地物ｆとしての実線の区画線ｆａ１についての認識率を判定する（ステップ＃２１）。ここでは、上記のとおり、障害物Ｂが存在すると認識する認識率の閾値は９０〔％〕としている。そこで、認識率が９０〔％〕未満か否かを判定し、認識率が９０〔％〕未満である場合には（ステップ＃２２：ＹＥＳ）、障害物Ｂが存在すると認識し（ステップ＃２３）、配置認識部２６において障害物Ｂの位置及び大きさを認識する（ステップ＃２４）。一方、認識率が９０〔％〕以上である場合には（ステップ＃２２：ＮＯ）、障害物Ｂが存在しないと認識する（ステップ＃２５）。以上で障害物認識処理は終了する。
【００５９】
２．第二の実施形態
次に、本発明の第二の実施形態について説明する。本実施形態では、本発明に係る周辺状況認識装置１を、車両制御装置３も兼ねたナビゲーション装置２に適用した場合について説明する。図１２は、本実施形態に係る周辺状況認識装置１の全体構成を模式的に示すブロック図である。本実施形態に係る周辺状況認識装置１は、地図データベースＤＢから取得した地物情報Ｆに基づいて、撮像装置４により撮像された画像情報Ｇに含まれている自車両Ｃａの進行方向に存在する交差点Ｋに交差する道路Ｒ１に配置された区画線ｆａの画像認識を行う（図１４及び図１６参照）。そして、画像情報Ｇに含まれているべき当該区画線ｆａについて画像認識できない部分がある場合に交差点Ｋの通行に影響を与える障害物Ｂが存在すると認識する処理を行う。また、このような障害物Ｂの認識結果に基づいて、自車両Ｃａの運転者に対して減速を促す案内を行い、或いは自車両Ｃａの減速制御を行う。
【００６０】
図１２に示すように、この周辺状況認識装置１の各機能部、具体的には、画像情報取得部５、自車位置演算部６、地図情報取得部７、地物情報抽出部８、画像認識部９、障害物認識部１０、ナビゲーション用演算部１１、交差点認識部１４、走行状態判定部１５、及び車両制御部１６は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア（プログラム）或いはその両方により実装されて構成されている。また、地図データベースＤＢは、上記第一の実施形態と同様に、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。以下、各部の構成について、上記第一の実施形態と相違する点を中心として説明する。
【００６１】
本実施形態においては、画像情報取得部５で取得された画像情報Ｇは画像認識部９へ出力される。車速センサ２４の検出結果としての車速情報は、自車位置演算部６及び走行状態判定部１５へ出力される。自車位置演算部６は、演算結果である自車位置情報Ｓを地図情報取得部７、地物情報抽出部８、交差点認識部１４、及びナビゲーション用演算部１１へ出力する。地図情報取得部７は、自車位置演算部６、地物情報抽出部８、交差点認識部１４、及びナビゲーション用演算部１１に地図情報Ｅを出力する。
【００６２】
２−１．交差点認識部１４
交差点認識部１４は、自車両Ｃａの進行方向に存在する交差点Ｋを認識する交差点認識手段として機能する。ここでは、交差点認識部１４は、地図情報取得部７により取得された地図情報Ｅと、自車位置演算部６から出力された自車位置情報Ｓとに基づいて、自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在するか否かの認識を行う。ここで、交差点Ｋの情報を取得する自車両Ｃａからの所定距離Ｌｋは、撮像装置４により交差点Ｋ内の地物ｆを画像認識可能な範囲内に定めると好適であり、例えば１００〔ｍ〕等とすることができる。例えば、図１３に示すような自車両Ｃａ周辺の地図情報Ｅが取得された場合であって、自車両Ｃａの位置から交差点Ｋの中心までの距離が所定距離Ｌｋ以下である場合には、交差点認識部１４は、自車両Ｃａの進行方向に交差点Ｋが存在すると認識する。交差点認識部１４は、自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在すると認識した場合には、走行状態判定部１５へ自車両Ｃａの位置から当該交差点Ｋまでの距離を示す距離情報を出力する。よって、この交差点認識部１４は、交差点Ｋまでの距離情報を取得する距離情報取得手段としても機能する。また、交差点認識部１４は、自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在すると認識した場合には、地図情報取得部７により取得された地図情報Ｅを地物情報抽出部８へ出力する。
【００６３】
２−２．走行状態判定部１５
走行状態判定部１５は、交差点Ｋまでの距離に対して車速が高いか否かを判定する走行状態判定手段として機能する。ここでは、走行状態判定部１５は、車速センサ２４により取得された自車両Ｃａの走行速度を示す車速情報と、交差点認識部１４から出力された交差点Ｋまでの距離情報とに基づいて自車両Ｃａの走行状態の判定を行う。具体的には、走行状態判定部１５は、自車両Ｃａが交差点Ｋの手前に停止することを基準とした場合に、自車両Ｃａの現在の車速での制動距離が、自車両Ｃａから交差点Ｋまでの距離に対して十分に短い場合には、交差点Ｋまでの距離に対して車速が低いと判定する。一方、自車両Ｃａの現在の車速での制動距離が、自車両Ｃａから交差点Ｋまでの距離に近い場合やこれを超えている場合には、交差点Ｋまでの距離に対して車速が高いと判定する。なお、自車両Ｃａの各速度での制動距離は、天候や路面状態等によって変化するものである。したがって、判定の基準としては悪条件での制動距離を用いるのが好適である。また、天候や路面状態等の情報を取得し、これらの情報に基づいて基準として用いる制動距離を変化させる構成としても好適である。この走行状態判定部１５における判定は、自車両Ｃａの位置から交差点Ｋまでの距離との関係で自車両Ｃａの車速が高いと判定する閾値車速を規定したテーブル等を用いて行うことができる。そして、走行状態判定部１５は、交差点Ｋまでの距離に対して車速が高いか低いかを示す走行状態情報をナビゲーション用演算部１１へ出力する。
【００６４】
２−３．地物情報抽出部８
地物情報抽出部８は、自車両Ｃａの進行方向に存在する交差点Ｋに交差する道路Ｒ１に配置された地物ｆについての地物情報Ｆを地図情報Ｅから抽出する地物情報抽出手段として機能する。したがって、本実施形態においては、地図情報取得部７及び地物情報抽出部８により、地物情報取得手段１７が構成される。ここでは、地物情報抽出部８は、自車位置情報Ｓ及びナビゲーション用演算部１１から出力される減速要求情報に基づいて、交差点Ｋに交差する道路Ｒ１に沿って配置された連続性のある地物ｆについての地物情報Ｆを地図情報Ｅから抽出して取得する。ここで、このような連続性のある地物ｆとしては、道路面上に設けられた実線又は破線の区画線ｆａや道路に沿って配置された縁石等が好適であり、本例では、区画線ｆａについての地物情報Ｆを抽出する。
【００６５】
ここでは一例として、図１３に示す地図情報Ｅから、地物情報抽出部８により地物情報Ｆを抽出する処理について説明する。図１３において、符号「Ｃａ´」は、自車位置情報Ｓに示される自車両Ｃａの位置を示している。この図に示すように、本例では、自車両Ｃａの進行方向にＴ字路の交差点Ｋが存在している。そして、自車両Ｃａが走行中の道路Ｒ０は１車線の一方通行道路であり、交差点Ｋで道路Ｒ０と交差する道路Ｒ１は片側１車線の２車線道路である。また、ナビゲーション用演算部１１からは減速要求情報が出力されているものとする。この場合、地物情報抽出部８は、道路Ｒ１の手前側に配置された実線の区画線（車道外側線）ｆａ５の地物情報Ｆａ５、道路Ｒ１の幅方向中央部に配置された実線の区画線（車道中央線）ｆａ６の地物情報Ｆａ６、道路Ｒ１の奥側に配置された実線の区画線（車道外側線）ｆａ７の地物情報Ｆａ７を抽出する（ｆａ５〜ｆａ７については図１４参照）。本例では、地図情報取得部７から地物情報抽出部８へ出力される地図情報Ｅは、撮像装置４による撮像領域（図１４参照）にほぼ一致する範囲の情報とされている。なお、撮像装置４による撮像領域は、自車両Ｃａにおける撮像装置４の搭載位置、撮像方向、撮像画角等に基づいて予め定まっている。この地物情報抽出部８により抽出された地物情報Ｆは、画像認識部９へ出力される。
【００６６】
２−４．画像認識部９
画像認識部９は、地物情報抽出部８から出力された地物情報Ｆに基づいて、画像情報Ｇに含まれている地物ｆの画像認識を行う画像認識手段として機能する。具体的には、画像認識部９は、まず、画像情報Ｇに対する二値化処理やエッジ検出処理等による輪郭抽出を用いて区画線ｆａ等の道路標示（ペイント）の画像を抽出する。その後、画像認識部９は、地物情報抽出部８から出力された地物情報Ｆに示される地物ｆの位置及び形状等の情報に基づいて、画像情報Ｇ中における当該地物ｆの画像の配置を特定し、当該地物ｆの画像認識を行う。本例では、地物情報抽出部８から出力された地物情報Ｆに示される地物ｆは、自車両Ｃａの進行方向の交差点Ｋで交差する道路Ｒ１に沿って配置された３本の実線の区画線ｆａ５〜ｆａ７である。図１４及び図１６に、自車両Ｃａ及び交差点Ｋの周辺の状況の例をそれぞれ示す。また、図１５及び図１７に、各状況で取得された画像情報Ｇ及びその画像情報Ｇの画像認識部９による認識結果の例を示す。ここで、図１４は、交差点Ｋの周辺に障害物Ｂが存在しない状況を示しており、図１６は、交差点Ｋの通行に影響を与える障害物Ｂが存在する状況を示している。そして、図１５は、図１４に示される状況で撮像された（ａ）画像情報Ｇと（ｂ）その画像認識結果を示している。また、図１７は、図１６に示される状況で撮像された（ａ）画像情報Ｇと（ｂ）その画像認識結果を示している。なお、図１４及び図１６は、図１３に示される地図情報Ｅの内容と同様に、いずれも自車両Ｃａの進行方向にＴ字路の交差点Ｋが存在している状況を示している。また、自車両Ｃａが走行中の道路Ｒ０は１車線の一方通行道路であり、交差点Ｋで道路Ｒ０と交差する道路Ｒ１は片側１車線の２車線道路である。そして、自車両Ｃａの進行方向には停止線ｆｃ１が存在している。
【００６７】
図１４に示すように、交差点Ｋの周辺に障害物Ｂが存在しない場合には、図１５（ａ）に示すように、画像情報Ｇには、この画像情報Ｇに含まれているべき道路Ｒ１に沿って配置された区画線ｆａ５〜ｆａ７の全部（区画線ｆａ５〜ｆａ７の画像情報Ｇに含まれているべき部分の内の全部）が撮像されることになる。したがって、画像認識部９は、図１５（ｂ）に示すように、画像認識部９は、前記区画線ｆａ５〜ｆａ７の全部の画像を認識することができる。一方、図１６に示す状況では、交差点Ｋの通行に影響を与える障害物Ｂとして、交差点Ｋの手前の左側の角部に建物ｆｄが存在し、道路Ｒ１の手前側の車線には他の車両Ｃｂが存在している。このため、図１７（ａ）に示すように、画像情報Ｇには、この画像情報Ｇに含まれているべき道路Ｒ１に沿って配置された区画線ｆａ５〜ｆａ７の一部が、これらの障害物Ｂの背後に隠れて撮像できないことになる。したがって、画像認識部９は、図１７（ｂ）に示すように、画像認識部９は、前記区画線ｆａ５〜ｆａ７の一部の画像を認識することができない。この際、建物ｆｄは、道路Ｒ１より手前側に位置するため、建物ｆｄの背後には区画線ｆａ５、ｆａ６、及びｆａ７の３本ともが隠れて撮像されない。したがって、当該領域では画像認識部９は３本の区画線ｆａ５、ｆａ６、及びｆａ７の画像を認識できないことになる。これに対して、他の車両Ｃｂは、道路Ｒ１の手前側の車線上に位置するため、他の車両Ｃｂの背後には区画線ｆａ６及びａ７の２本が隠れて撮像されない。したがって、当該領域では画像認識部９は２本の区画線ｆａ６及びａ７の画像を認識できないことになる。なお、図１４及び図１６中のハッチングを施した区画線ｆａ５〜ｆａ７の領域は、画像認識部９により認識できた区画線ｆａ５〜ｆａ７の部分を示している。また、図１４及び図１６中の一点鎖線は、この撮像装置４の撮像領域を示している。そして、これら図１５（ｂ）又は図１７（ｂ）のような画像認識部９による画像認識結果の情報が、障害物認識部１０へ出力される。
【００６８】
２−５．障害物認識部１０
障害物認識部１０は、画像認識部９による画像認識結果に基づいて、自車両Ｃａの進行方向の交差点Ｋの通行に影響を与える障害物Ｂの存在状況を認識する障害物認識手段として機能する。本実施形態においては、障害物認識部１０は、地物情報抽出部８から出力された地物情報Ｆに基づいて画像情報Ｇに含まれているべき地物ｆについて、当該地物ｆの全部又は一部の画像が画像認識部９により認識できない場合に、交差点Ｋの通行に影響を与える障害物Ｂが存在すると認識する。ここで、交差点Ｋの通行に影響を与える障害物Ｂとしては、例えば、交差点Ｋの見通しを妨げる建物ｆｄ、樹木、駐車車両等の障害物Ｂ、又は交差点Ｋに交差する道路Ｒ１上を移動する車両Ｃｂや歩行者等の障害物Ｂ等が含まれる。また、地物情報Ｆに基づいて画像情報Ｇに含まれているべき地物ｆとは、地物情報抽出部８により地物情報Ｆが抽出された地物ｆであって撮像装置４による画像情報Ｇの撮像領域内に含まれている地物ｆ（全体又は部分）である。また、このような地物ｆが、画像認識部９による画像認識の対象となる。本例では、この地物ｆは、上記のとおり、自車両Ｃａの進行方向の交差点Ｋで交差する道路Ｒ１に沿って配置された３本の実線の区画線ｆａ５〜ｆａ７である。
【００６９】
そして、障害物認識部１０は、自車両Ｃａの進行方向の交差点Ｋで交差する道路Ｒ１の手前又は道路Ｒ１上に障害物Ｂが存在する場合には、道路Ｒ１に沿って配置された３本の区画線ｆａ５〜ｆａ７のいずれか一本以上の全部又は一部が当該障害物Ｂの背後に隠れて画像認識できないことを利用して、間接的に障害物Ｂの認識を行う。具体的には、図１５（ｂ）に示すように、画像情報Ｇに含まれているべき３本の区画線ｆａ５〜ｆａ７の全部の画像を画像認識部９により認識できた場合には、障害物認識部１０は、交差点Ｋの見通しを妨げる建物ｆｄや道路Ｒ１上を移動する車両Ｃｂ等の交差点Ｋの通行に影響を与える障害物Ｂが存在しないと認識する。一方、図１７（ｂ）に示すように、画像情報Ｇに含まれているべき３本の区画線ｆａ５〜ｆａ７のいずれか一本以上の全部又は一部の画像を画像認識部９により認識できなかった場合には、障害物認識部１０は、交差点Ｋの通行に影響を与える障害物Ｂが存在すると認識する。すなわち、この障害物認識部１０は、上記第一の実施形態と同様に、建物ｆｄや他の車両Ｃｂ等の障害物Ｂを直接的に画像認識して障害物Ｂの認識を行うのではなく、当該障害物Ｂが存在する場合に背後に隠れることになる区画線ｆａ５〜ｆａ７等の画像認識が容易な地物ｆの画像認識結果を用いて間接的に障害物認識を行う。
【００７０】
また、障害物認識部１０は、３本の区画線ｆａ５〜ｆａ７のいずれか一本以上の全部又は一部の画像が画像認識部９により認識できなかった場合に、当該認識できなかった区画線ｆａの手前側に障害物Ｂが存在すると認識する。これにより、障害物認識部１０は、自車両Ｃａの進行方向に平行は方向における障害物Ｂの位置を概略的に認識することができる。すなわち、例えば図１６に示すように、交差点Ｋの手前の左側の角部に建物ｆｄは、３本の区画線ｆａ５〜ｆａ７よりも自車両Ｃａ側に位置するため、３本の区画線ｆａ５〜ｆａ７の３本ともがこの建物ｆｄの背後に隠れて画像認識できないことになる。したがって、障害物認識部１０は、図１７（ｂ）の左側部分に示されるように、３本の区画線ｆａ５〜ｆａ７の３本ともの画像が認識できない場合には、最も手前の区画線ｆａ５よりも手前側に障害物Ｂが存在すると認識する。一方、道路Ｒ１の手前側の車線上の他の車両Ｃｂは、３本の区画線ｆａ５〜ｆａ７のうちの２本の区画線ｆａ６及びｆａ７よりも自車両Ｃａ側に位置するため、これら２本の区画線ｆａ６及びｆａ７がこの車両Ｃｂの背後に隠れて画像認識できないことになる。したがって、障害物認識部１０は、図１７（ｂ）の右側部分に示されるように、３本の区画線ｆａ５〜ｆａ７のうちの２本の区画線ｆａ６及びｆａ７の画像が認識できない場合には、それらのうちの手前側の区画線ｆａ６よりも手前側に障害物Ｂが存在すると認識する。
【００７１】
また、本実施形態においては、障害物認識部１０は、自車両Ｃａの進行方向に向かって交差点Ｋより右側の領域Ａ１と左側の領域Ａ２とに分けて、障害物Ｂの存在状況の認識を行う。ここでは、図１４及び図１６に示すように、自車両Ｃａから進行方向に延びる境界線ａを境に右側の領域Ａ１と左側の領域Ａ２とに分けている。そして、障害物認識部１０は、右側の領域Ａ１と左側の領域Ａ２とのそれぞれについて、個別に障害物Ｂが存在するか否かの認識を行う。このように障害物Ｂの認識を行うことにより、交差点Ｋでの自車両Ｃａの進行方向に応じて障害物Ｂの存在状況の認識結果を適切に利用することが可能となる。すなわち、例えば、自車両Ｃａが交差点Ｋで左折する場合には右側の領域Ａ１についての障害物Ｂの存在状況の情報が重要となり、自車両Ｃａが交差点Ｋで直進又は右折する場合には右側の領域Ａ１及び左側の領域Ａ２の双方についての障害物Ｂの存在状況の情報が重要となる。
【００７２】
また、障害物認識部１０は、上記第一の実施形態と同様に、連続性のある地物ｆについての認識率を判定する認識率判定部２５を備えている。また、障害物Ｂが存在すると認識する認識率の閾値についても、上記第一の実施形態と同様に９０〔％〕としている。したがって、例えば、図１５（ｂ）に示す画像認識結果に基づく３本の区画線ｆａ５〜ｆａ７の認識率が右側の領域Ａ１及び左側の領域Ａ２の双方について９５〔％〕である場合、障害物認識部１０は、右側の領域Ａ１及び左側の領域Ａ２の双方について障害物Ｂが存在しないと認識する。一方、図１７（ｂ）に示す画像認識結果に基づく３本の区画線ｆａ５〜ｆａ７の認識率が右側の領域Ａ１について６０〔％〕、左側の領域Ａ２について３０〔％〕である場合、障害物認識部１０は、右側の領域Ａ１及び左側の領域Ａ２の双方について障害物Ｂが存在すると認識する。
なお、本実施形態においては、障害物認識部１０は障害物Ｂの位置及び大きさを認識するための配置認識部２６を備えていない。しかし、上記第一の実施形態と同様に、配置認識部２６を備える構成とすることも好適な実施形態の一つである。
【００７３】
２−６．ナビゲーション用演算部１１
ナビゲーション用演算部１１は、上記のとおり、自車両Ｃａの位置の表示や進路案内等のために用いる表示装置２７及び音声出力装置２８に接続されている。また、本実施形態においては、ナビゲーション用演算部１１は、交差点Ｋにおいて自車両Ｃａの減速が必要か否かを判定する減速必要性判定部３０を備えている。この減速必要性判定部３０は、地図情報Ｅに基づいて自車両Ｃａが走行中の道路Ｒ０が交差点Ｋで交差する道路Ｒ１に対して優先道路であることが明らかでなく、走行状態判定部１５から出力された走行状態情報が交差点Ｋまでの距離に対して車速が高いことを示している場合であって、更に障害物認識部１０において交差点Ｋの通行に影響を与える障害物Ｂが存在すると認識した場合に、自車両Ｃａの減速が必要であると判定する。この際、減速必要性判定部３０は、障害物認識部１０による交差点Ｋより右側の領域Ａ１及び左側の領域Ａ２のそれぞれについての障害物Ｂの存在状況に基づいて自車両Ｃａの減速必要性を判定する。すなわち、ナビゲーション用演算部１１において予め設定されている案内経路やターンシグナルの操作状況等に基づいて、自車両Ｃａが交差点Ｋで左折すると判断した場合には、減速必要性判定部３０は、右側の領域Ａ１についての障害物Ｂの存在状況に基づいて自車両Ｃａの減速必要性を判定する。一方、自車両Ｃａが交差点Ｋで右折又は直進すると判断した場合には、減速必要性判定部３０は、右側の領域Ａ１及び左側の領域Ａ２の双方についての障害物Ｂの存在状況に基づいて自車両Ｃａの減速必要性を判定する。
【００７４】
そして、ナビゲーション用演算部１１は、減速必要性判定部３０により自車両Ｃａの減速必要性があると判定した場合には、運転者に対して減速を促す警告のための報知を行う。この報知は、表示装置２７及び音声出力装置２８の一方又は双方を用いて、減速を促す図形やメッセージの表示、音声案内等により行う。よって、ナビゲーション用演算部１１、表示装置２７及び音声出力装置２８は、運転者への報知を行うための報知手段３２としても機能する。また、ナビゲーション用演算部１１は、後述する車両制御部１６に接続されている。そして、ナビゲーション用演算部１１は、減速必要性判定部３０により自車両Ｃａの減速必要性があると判定した場合には、車両制御部１６に対して減速制御命令を出力し、自車両Ｃａの減速制御を行わせる。
【００７５】
また、減速必要性判定部３０は、障害物認識部１０における障害物Ｂの存在状況の認識前の段階で、自車両Ｃａの進行方向に存在する交差点Ｋでの減速要求があるか否かの判定を行う。すなわち、減速必要性判定部３０は、交差点認識部１４により自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在すると認識した場合であって、走行状態判定部１５により自車両Ｃａの走行状態の判定が行われた際に、減速要求の判定を行う。そして、減速必要性判定部３０は、地図情報Ｅに基づいて自車両Ｃａが走行中の道路Ｒ０が交差点Ｋで交差する道路Ｒ１に対して優先道路であることが明らかでなく、更に走行状態判定部１５から出力された走行状態情報が交差点Ｋまでの距離に対して車速が高いことを示している場合には、減速要求があると判定する。減速必要性判定部３０は、減速要求があると判定した場合には、当該交差点Ｋで減速が必要となる可能性があると判定して減速要求情報を生成する。ここで生成された減速要求情報は、地物情報抽出部８へ出力される。
【００７６】
２−７．車両制御部１６
車両制御部１６は、自車両Ｃａの各部の動作制御を行う制御手段として機能する。ここでは、車両制御部１６は、ナビゲーション用演算部１１から減速制御命令が出力された場合に、自車両Ｃａを減速させるための各部の動作制御を実行する。このような減速制御としては、具体的には、自車両Ｃａの各車輪に設けられているホイールブレーキによる制動、スロットルをオフにして変速機のギヤ比を下げることによるエンジンブレーキを作用させる制動等が行われる。
【００７７】
２−８．周辺状況認識方法
次に、本実施形態に係る周辺状況認識装置１を含む車両制御装置３を兼ねたナビゲーション装置２において実行される周辺状況認識方法並びにそれを用いた減速案内方法及び減速制御方法の具体例について、図１８に示すフローチャートに従って説明する。ここでは、まず、画像情報取得部５において、撮像装置１４により撮像した画像情報Ｇを取得する（ステップ＃３１）。次に、自車位置演算部６において、自車位置情報Ｓを取得する（ステップ＃３２）。そして、地図情報取得部７において、ステップ＃０１で取得した自車位置情報Ｓに基づいて、地図データベースＤＢから自車両Ｃａ周辺の地図情報Ｅを取得する（ステップ＃３３）。その後、交差点認識部１４において、自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在するか否かの認識を行う（ステップ＃３４）。
【００７８】
そして、ステップ＃３４において、自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在しないと認識した場合には（ステップ＃３５：ＮＯ）、処理は終了する。一方、自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在すると認識した場合には（ステップ＃３５：ＹＥＳ）、次に、走行状態判定部１５において、交差点Ｋまでの距離に対して自車両Ｃａの車速が高いか否かを判定する（ステップ＃３６）。次に、ナビゲーション用演算部１１の減速必要性判定部３０において、ステップ＃３４で認識された交差点Ｋでの減速要求があるか否かの判定を行う（ステップ＃３７）。ここで減速要求がないと判定された場合には（ステップ＃３７：ＮＯ）、処理は終了する。一方、減速要求があると判定された場合には（ステップ＃３７：ＹＥＳ）、次に、地物情報抽出部８において、自車両Ｃａの進行方向に存在する交差点Ｋに交差する道路Ｒ１に配置された地物ｆについての地物情報Ｆを地図情報Ｅから抽出する（ステップ＃３８）。本例では、交差点Ｋに交差する道路Ｒ１に沿って配置された連続性のある地物ｆについての地物情報Ｆを地図情報Ｅから抽出する。次に、画像認識部９において、ステップ＃３８で抽出された地物情報Ｆに基づいて、画像情報Ｇに含まれている地物ｆの画像認識を行う（ステップ＃３９）。
【００７９】
その後、障害物認識部１０において、ステップ＃３９の画像認識結果に基づいて、自車両Ｃａの進行方向の交差点Ｋの通行に影響を与える障害物Ｂの存在状況を認識する（ステップ＃４０）。この障害物認識処理は、図１１のフローチャートに示される上記第一の実施形態での障害物認識処理とほぼ同じであるが、ステップ＃２４の障害物Ｂの配置認識を行わない点で相違する。そして、ステップ＃４０において障害物Ｂが存在しないと認識した場合には（ステップ＃４１：ＮＯ）、処理は終了する。一方、ステップ＃４０において障害物Ｂが存在すると認識した場合には（ステップ＃４１：ＹＥＳ）、ナビゲーション用演算部１１の減速必要性判定部３０において、自車両Ｃａの減速必要性を判定する（ステップ＃４２）。このステップ＃４２において自車両Ｃａの減速必要性がないと判定した場合には（ステップ＃４３：ＮＯ）、処理は終了する。一方、ステップ＃４２において自車両Ｃａの減速必要性があると判定した場合には（ステップ＃４３：ＹＥＳ）、ナビゲーション用演算部１１及び車両制御部１６において、運転者に対して減速を促す警告のための報知、及び自車両Ｃａを減速させるための各部の動作制御の一方又は双方を実行する（ステップ＃４４）。以上で処理は終了する。
【００８０】
３．その他の実施形態
（１）上記第一の実施形態では、ナビゲーション装置２は車両制御部１６を備えない構成として説明した。しかし、上記第一の実施形態に係る周辺状況認識装置１を含むナビゲーション装置２において、上記第二の実施形態と同様に車両制御部１６を備えた構成とし、車両制御装置３を兼ねたナビゲーション装置２とすることも好適な実施形態の一つである。
【００８１】
（２）上記の各実施形態では、撮像装置４として、その進行方向周辺を撮像可能なフロントカメラを備えている場合について説明した。しかし、撮像装置４の構成は、これに限定されない。したがって、例えば、撮像装置４として、フロントカメラに加えて自車両Ｃａの後方を撮像するバックカメラや、自車両Ｃａの左右側方を撮像するサイドカメラ等を備える構成とし、これらの複数のカメラからの画像情報Ｇを用いて、障害物Ｂの認識を行う構成とすることも好適な実施形態の一つである。
【００８２】
（３）上記の各実施形態では、地物情報抽出部８において区画線ｆａの地物情報Ｆを抽出して画像認識を行う場合について説明した。しかし、画像認識の対象とする地物ｆは区画線ｆａに限定されない。すなわち、画像認識の対象を、道路の縁石や区画線ｆａ以外の道路標示等の地物ｆとすることも好適な実施形態の一つである。また、ガードレール等の立体的な地物ｆを画像認識の対象とすることも可能である。なお、区画線ｆａ以外の地物ｆを画像認識の対象とする場合であっても、縁石やガードレール等の道路に沿って配置された連続性のある地物ｆを対象とすれば、障害物Ｂの配置を道路に沿って連続的に認識することが可能となるのでより好適である。
【００８３】
（４）上記の各実施形態では、本発明に係る周辺状況認識装置１をナビゲーション装置２や車両制御装置３に適用する場合の例について説明した。しかし、本発明に係る周辺状況認識装置１は、その他の装置、例えば、自車両Ｃａの周辺状況に応じてシートベルトの張力を調節するシートベルトテンショナーやその他の車両用の安全装置等にも適用することが可能である。
【産業上の利用可能性】
【００８４】
本発明によれば、撮像装置からの画像情報とデータベースから取得した地物情報とに基づいて、自車両の周辺における障害物の存在状況を認識することができる。したがって、本発明は、ナビゲーション装置による案内や車両制御装置による車両制御等に好適に利用することができる。
【図面の簡単な説明】
【００８５】
【図１】本発明の第一の実施形態に係る周辺状況認識装置の全体構成を模式的に示すブロック図
【図２】撮像装置の配置を示す説明図
【図３】地図データベースに格納されている地図情報の内容を示す説明図
【図４】撮像装置により撮像された画像情報の一例を示す図
【図５】自車両周辺の地図情報の一例を示す図
【図６】地図情報から地物情報を抽出する処理の説明図
【図７】（ａ）周囲に障害物が存在しない状況で取得された（ｂ）画像情報及び（ｃ）その画像情報の画像認識結果の例を示す図
【図８】（ａ）自車線の隣接車線に障害物が存在する状況で取得された（ｂ）画像情報及び（ｃ）その画像認識結果の例を示す図
【図９】障害物の位置及び大きさを認識する処理の説明図
【図１０】本発明の第一の実施形態に係る周辺状況認識方法及びそれを用いた車線変更案内方法を示すフローチャート
【図１１】図１０のステップ＃０８の障害物認識処理を示すフローチャート
【図１２】本発明の第二の実施形態に係る周辺状況認識装置の全体構成を模式的に示すブロック図
【図１３】自車両及びその進行方向に存在する交差点の周辺の地図情報の一例を示す図
【図１４】自車両の進行方向に存在する交差点の周辺に障害物が存在しない状況を示す平面図
【図１５】図１４に示される状況で撮像された（ａ）画像情報及び（ｂ）その画像認識結果の例を示す図
【図１６】自車両の進行方向に存在する交差点の通行に影響を与える障害物が存在する状況を示す平面図
【図１７】図１６に示される状況で撮像された（ａ）画像情報及び（ｂ）その画像認識結果の例を示す図
【図１８】本発明の第二の実施形態に係る周辺状況認識方法並びにそれを用いた減速案内方法及び減速制御方法を示すフローチャート
【符号の説明】
【００８６】
１：周辺状況認識装置
２：ナビゲーション装置
３：車両制御装置
４：撮像装置
５：画像情報取得部（画像情報取得手段）
６：自車位置演算部
７：地図情報取得部
８：地物情報抽出部
９：画像認識部（画像認識手段）
１０：障害物認識部（障害物認識手段）
１１：ナビゲーション用演算部
１２：自車線認識部（自車線認識手段）
１３：車線変更判定部
１４：交差点認識部（距離情報取得手段）
１５：走行状態判定部（走行状態判定手段）
１６：車両制御部（制御手段）
１７：地物情報取得手段
２４：車速センサ（車速情報取得手段）
２５：認識率判定部
２６：配置認識部
２７：表示装置
２８：音声出力装置
２９：車線変更要求生成部
３０：減速必要性判定部
３１：進路案内手段
３２：報知手段
Ｇ：画像情報
Ｓ：自車位置情報
Ｅ：地図情報
Ｆ：地物情報
ＤＢ：地図データベース
Ｌａ：自車線
Ｌｂ：隣接車線
Ｂ：障害物
Ｃａ：自車両
ｆ：地物
Ｋ：交差点
【技術分野】
【０００１】
本発明は、撮像装置からの画像情報とデータベースから取得した地物情報とに基づいて、自車両の周辺における障害物の存在状況を認識する周辺状況認識装置及び方法、並びにこの周辺状況認識装置を用いたナビゲーション装置及び車両制御装置に関する。
【背景技術】
【０００２】
車両に搭載されるカメラやレーダ等を用いて自車両の周辺に存在する障害物を認識する技術が既に知られている。このような技術に関して、例えば下記の特許文献１には、以下のような障害物検出装置が開示されている。この装置は、ナビゲーション装置等から取得した情報に基づき自車両の走行路の進行方向前方あるいは予測した進行軌跡上の道路構成として、少なくとも交差道路の有無または車線数を検出する。そして、自車両の現在位置と進行方向（直進、右左折、車線変更等）に応じて、さらに、視線検出装置にて検出される運転者の視線方向に応じて、レーダの検知方向およびカメラの撮像方向を設定する。そして、制御装置はレーダやカメラにより検知した移動体や障害物が自車両の走行の支障となる可能性を算出し、この可能性に応じて制動装置や各種伝達装置やエアバッグ等の乗員保護装置を作動させる。
【０００３】
ここで、レーダは、レーザ光やミリ波等の発信信号を適宜の検知方向に向けて発信すると共に、この発信信号が障害物等によって反射されることで生じた反射信号を受信する。そして、これらの反射信号と発信信号とに基づいて、所定の検知エリア内の領域における障害物までの相対距離や相対速度等を算出する。また、カメラは、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラ等であって、適宜の検知方向での外界を撮影する。そして、画像処理部により、カメラから出力される画像を画像処理して、自車両周辺の他の車両、歩行者等の障害物や標識等を検出する。また、これらの検出結果と共に、自車両から認識した各障害物までの相対距離の情報等を生成して出力する。
【０００４】
【特許文献１】特開２００５−２３１４５０号公報（第６−１６頁、第１−１２図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記の装置のように、レーダやカメラ等の撮像装置を用いた画像認識により、自車両の周辺の他の車両や歩行者等を直接的に認識する構成では、実際には誤認識が多く発生するため、実用的な装置とすることが困難であるという問題がある。すなわち、車両や歩行者等の認識対象物以外にも、現実の道路周辺には樹木、柵、歩道等の様々なものが存在し、それらがノイズ成分となるために認識対象物の正確な認識が妨げられる。また、特に画像認識を行う場合において、車両等の認識対象の形状や色彩等が様々であるため、それらの全てを正確に認識できる装置を構成することは困難である。そして、これらの問題を克服して高精度な認識を可能とするためには、高性能で高価なシステムが必要とされる。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、画像認識を用いて自車両周辺に存在する障害物を認識する場合において、当該認識対象としての障害物の形状や色彩等の様々な違いによる影響、或いは周辺に存在するノイズ成分となり得るものの影響を受け難く、安定的に障害物の認識が可能な周辺状況認識装置及び周辺状況認識方法を、比較的簡易な構成により実現することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明に係る周辺状況認識装置の特徴構成は、自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得手段と、自車両周辺の地物についての地物情報をデータベースから取得する地物情報取得手段と、前記地物情報に基づいて、前記画像情報に含まれている地物の画像認識を行う画像認識手段と、その画像認識結果に基づいて、自車両の周辺における障害物の存在状況を認識する障害物認識手段と、を備え、前記障害物認識手段は、前記地物情報に基づいて前記画像情報に含まれているべき地物について、当該地物の全部又は一部の画像が前記画像認識手段により認識できない場合に、自車両と当該地物との間に障害物が存在すると認識する点にある。
【０００８】
この特徴構成によれば、自車両の周辺に存在する障害物の認識を、データベースから取得された地物情報に示される地物についての画像認識結果に基づいて行うことになる。したがって、障害物を直接的に画像認識する場合と比較して、障害物の形状や色彩等の影響を受け難いという利点がある。また、地物情報に基づいて位置、形状、色彩等が予め特定された地物の画像認識を行うため、周辺に存在するノイズ成分となり得るものの影響を受け難いという利点もある。したがって、比較的簡易な構成によって自車両周辺の障害物の安定的な認識を行うことが可能な装置とすることができる。
【０００９】
本発明に係る周辺状況認識装置の更なる特徴構成は、自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得手段と、自車両が走行中の車線である自車線を認識する自車線認識手段と、前記自車線に隣接する車線より奥に位置する地物についての地物情報をデータベースから取得する地物情報取得手段と、前記地物情報に基づいて、前記画像情報に含まれている前記地物の画像認識を行う画像認識手段と、その画像認識結果に基づいて、前記自車線に隣接する車線上における障害物の存在状況を認識する障害物認識手段と、を備え、前記障害物認識手段は、前記地物情報に基づいて前記画像情報に含まれているべき前記地物について、当該地物の全部又は一部の画像が前記画像認識手段により認識できない場合に、前記自車線に隣接する車線上に障害物が存在すると認識する点にある。
【００１０】
この特徴構成によれば、自車線に隣接する車線上に存在する障害物の認識を、データベースから取得された地物情報に示される地物についての画像認識結果に基づいて行うことになる。したがって、障害物を直接的に画像認識する場合と比較して、障害物の形状や色彩等の影響を受け難いという利点がある。また、地物情報に基づいて位置、形状、色彩等が予め特定された地物の画像認識を行うため、周辺に存在するノイズ成分となり得るものの影響を受け難いという利点もある。したがって、比較的簡易な構成によって自車線に隣接する車線上の障害物の安定的な認識を行うことが可能な装置とすることができる。
【００１１】
ここで、前記障害物認識手段による認識結果に基づいて、前記自車線に隣接する車線への車線変更の可否を判定する車線変更判定手段を更に備える構成とすると好適である。
【００１２】
このように構成すれば、障害物認識手段による自車線に隣接する車線上における障害物の存在状況の認識結果に基づいて、自車両の車線変更の可否を判定することができる。したがって、比較的簡易な構成によって車線変更の可否の安定的な判定を行うことが可能な装置とすることができる。
【００１３】
また、前記地物情報取得手段は、道路に沿って配置された連続性のある地物についての地物情報を取得する構成とすると好適である。
このように構成すれば、当該連続性のある地物の配置に応じて、障害物の配置を道路に沿って連続的に認識することが可能となる。したがって、自車両の周囲の障害物の配置をより詳しく認識することが可能となる。
【００１４】
ここで、前記連続性のある地物は、道路面上に設けられた区画線、及び道路に沿って配置された縁石の少なくとも一方を含む構成とすると特に好適である。
これらの地物は、その周囲や背後に道路面以外の雑多なものが撮像されることが少なく、また道路面との色彩の差も大きい。そのため画像認識が比較的容易であり、一層安定的な障害物の認識を行うことが可能となる。
【００１５】
また、前記障害物認識手段は、前記地物情報に基づいて前記画像情報に含まれているべき前記連続性のある地物についての、前記画像認識手段による当該地物の認識できた部分の割合に基づいて、前記障害物の存在状況を認識する構成とすると好適である。
【００１６】
このように構成すれば、画像情報に含まれているべき連続性のある地物についての画像認識できた部分の割合に基づいて、その割合が高いほど障害物が存在する割合が少ないものとして、簡易的に障害物の存在状況を認識することが可能となる。
【００１７】
また、前記障害物認識手段は、前記地物情報に基づく前記連続性のある地物の自車両を基準とした配置と、前記画像認識手段による画像認識結果に基づく前記連続性のある地物の認識できない部分の配置とに基づいて、前記障害物の位置及び大きさを認識する構成としても好適である。
【００１８】
このように構成すれば、地物情報に基づいて連続性のある地物が画像認識されるべき位置にも関わらず、画像認識されない部分に障害物が存在するものとして、自車両の位置を基準として障害物の位置及び大きさを演算して認識することができる。したがって、障害物の存在状況をより詳細に認識することができる。
【００１９】
本発明に係るナビゲーション装置の特徴構成は、上記の構成を備えた周辺状況認識装置と、自車両の進路案内を行う進路案内手段と、を備え、前記進路案内手段は、自車両の車線変更が必要であって、且つ前記車線変更判定手段により車線変更可能と判断した場合に、車線変更の案内を行う点にある。
【００２０】
この特徴構成によれば、自車両の車線変更が必要な場合であっても、自車線に隣接する車線への車線変更が可能である場合にのみ車線変更の案内を行うので、車線変更の際の安全性を高めることが可能となる。また、車線変更が不可能な状況で車線変更の案内を行わないことで、運転者が案内によるわずらわしさを感じることを抑制できる。
【００２１】
本発明に係る車両制御装置の特徴構成は、上記の構成を備えた周辺状況認識装置と、自車両の各部の動作制御を行う制御手段と、を備え、前記制御手段は、前記障害物認識手段による認識結果に基づいて自車両の各部の動作制御を行う点にある。
【００２２】
この特徴構成によれば、自車両の周辺における障害物の存在状況に応じて、例えば、自車両が障害物に接近することを防止し或いは減速する等のための車両各部の制御又はそのような制御のための運転者の操作の補助等、適切な車両制御を行うことが可能となる。
【００２３】
本発明に係る周辺状況認識方法の特徴構成は、自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得ステップと、自車両周辺の地物についての地物情報をデータベースから取得する地物情報取得ステップと、前記地物情報に基づいて、前記画像情報に含まれている地物の画像認識を行う画像認識ステップと、前記地物情報に基づいて前記画像情報に含まれているべき地物について、当該地物の全部又は一部の画像が前記画像認識ステップにより認識できない場合に、自車両と当該地物との間に障害物が存在すると認識する障害物認識ステップと、を備える点にある。
【００２４】
この特徴構成によれば、自車両の周辺に存在する障害物の認識を、データベースから取得された地物情報に示される地物についての画像認識結果に基づいて行うことになる。したがって、障害物を直接的に画像認識する場合と比較して、障害物の形状や色彩等の影響を受け難いという利点がある。また、地物情報に基づいて位置、形状、色彩等が予め特定された地物の画像認識を行うため、周辺に存在するノイズ成分となり得るものの影響を受け難いという利点もある。したがって、比較的簡易な構成の装置を用いて自車両周辺の障害物の安定的な認識を行うことができる。
【００２５】
本発明に係る周辺状況認識方法の更なる特徴構成は、自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得ステップと、自車両が走行中の車線である自車線を認識する自車線認識ステップと、前記自車線に隣接する車線より奥に位置する地物についての地物情報をデータベースから取得する地物情報取得ステップと、前記地物情報に基づいて、前記画像情報に含まれている前記地物の画像認識を行う画像認識ステップと、前記地物情報に基づいて前記画像情報に含まれているべき前記地物について、当該地物の全部又は一部の画像が前記画像認識ステップにより認識できない場合に、自車線に隣接する車線上に障害物が存在すると認識する障害物認識ステップと、を備える点にある。
【００２６】
この特徴構成によれば、自車線に隣接する車線上に存在する障害物の認識を、データベースから取得された地物情報に示される地物についての画像認識結果に基づいて行うことになる。したがって、障害物を直接的に画像認識する場合と比較して、障害物の形状や色彩等の影響を受け難いという利点がある。また、地物情報に基づいて位置、形状、色彩等が予め特定された地物の画像認識を行うため、周辺に存在するノイズ成分となり得るものの影響を受け難いという利点もある。したがって、比較的簡易な構成の装置を用いて自車線に隣接する車線上の障害物の安定的な認識を行うことができる。
【発明を実施するための最良の形態】
【００２７】
１．第一の実施形態
まず、本発明の第一の実施形態について図面に基づいて説明する。本実施形態では、本発明に係る周辺状況認識装置１をナビゲーション装置２に適用した場合について説明する。図１は、本実施形態に係る周辺状況認識装置１の全体構成を模式的に示すブロック図である。本実施形態に係る周辺状況認識装置１は、地図データベースＤＢから取得した地物情報Ｆに基づいて、撮像装置４により撮像された画像情報Ｇに含まれている自車線Ｌａの隣接車線Ｌｂより奥に位置する区画線ｆａ１の画像認識を行う（図７及び図８参照）。そして、画像情報Ｇに含まれているべき当該区画線ｆａ１について画像認識できない部分がある場合に隣接車線Ｌｂ上に他の車両Ｃｂ等の障害物Ｂが存在すると認識する処理を行う。また、このような障害物Ｂの認識結果に基づいて、自車両Ｃａの隣接車線Ｌｂへの車線変更の可否を判定し、車線変更が必要な場合であって車線変更可能な場合にのみ運転者に対して車線変更を促すための案内を行う。
【００２８】
図１に示すように、この周辺状況認識装置１の各機能部、具体的には、画像情報取得部５、自車位置演算部６、地図情報取得部７、地物情報抽出部８、画像認識部９、障害物認識部１０、ナビゲーション用演算部１１、自車線認識部１２、及び車線変更判定部１３は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア（プログラム）或いはその両方により実装されて構成されている。また、地図データベースＤＢは、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。以下、各部の構成について詳細に説明する。
【００２９】
１−１．撮像装置４
撮像装置４は、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。この撮像装置４は、自車両Ｃａの周辺の少なくとも道路面を撮像可能に設けられている。本例では、図２に示すように、自車両Ｃａは、撮像装置４として、その進行方向周辺を撮像可能なフロントカメラを備えている。図２中の一点鎖線は、この撮像装置４の撮像領域を示している。
【００３０】
１−２．画像情報取得部５
画像情報取得部５は、撮像装置４により撮像した画像情報Ｇを取得する画像情報取得手段として機能する。ここでは、画像情報取得部５は、撮像装置４により撮像したアナログの撮像情報を所定の時間間隔で取り込み、デジタル信号の画像情報Ｇに変換して画像メモリ２１に格納する。この際の画像情報Ｇの取り込みの時間間隔は、例えば、１０〜５０ｍｓ程度とすることができる。これにより、画像情報取得部５は、自車両Ｃａの周辺を撮像した複数フレームの画像情報Ｇをほぼ連続的に取得することができる。一旦画像メモリ２１に格納された画像情報Ｇは、画像認識部９及び自車線認識部１２へ出力される。
【００３１】
１−３．自車位置演算部６
自車位置演算部６は、自車両Ｃａの現在位置を示す自車位置情報Ｓを取得する自車位置情報取得手段として機能する。ここでは、自車位置演算部６は、ＧＰＳ受信機２２、方位センサ２３、及び車速センサ２４と接続されている。ここで、ＧＰＳ受信機２２は、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号を受信する装置である。このＧＰＳ信号は、通常１秒おきに受信され、自車位置演算部６へ出力される。自車位置演算部６では、ＧＰＳ受信機２２で受信されたＧＰＳ衛星からの信号を解析し、自車の位置（緯度及び経度）、進行方位、移動速度等の情報を取得することができる。方位センサ２３は、自車両Ｃａの進行方位又はその進行方位の変化を検出するセンサである。この方位センサ２３は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ２３は、その検出結果を自車位置演算部６へ出力する。車速センサ２４は、自車両Ｃａの車速や移動距離を検出するセンサである。この車速センサ２４は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Ｃａの加速度を検知するヨー・Ｇセンサ及び検知された加速度を積分する回路等により構成される。そして、車速センサ２４は、その検出結果としての車速情報を自車位置演算部６へ出力する。
【００３２】
そして、自車位置演算部６は、これらのＧＰＳ受信機２２、方位センサ２３及び車速センサ２４からの出力に基づいて、公知の方法により自車両Ｃａの現在位置を特定する演算を行う。また、自車位置演算部６は、地図データベースＤＢから自車位置周辺の地図情報Ｅを取得し、それに基づいて公知のマップマッチングを行うことにより自車両Ｃａの現在位置を地図情報Ｅに示される道路上とする補正も行う。そして、この自車位置演算部６は、演算結果である自車両Ｃａの現在位置の情報を自車位置情報Ｓとして地図情報取得部７、地物情報抽出部８、自車線認識部１２、及びナビゲーション用演算部１１へ出力する。この際、自車位置情報Ｓは、例えば、緯度及び経度で表された位置の情報として表される。なお、自車位置情報Ｓは、道路に沿った方向の自車両Ｃａの位置を示しているが、道路が複数車線を有する場合に、自車両Ｃａが走行している自車線Ｌａを特定することができるほど詳細な情報とはなっていない。
【００３３】
１−４．地図データベースＤＢ
地図データベースＤＢは、各地の地図情報を格納したデータベースである。図３は、地図データベースＤＢに格納されている地図情報Ｅの内容を示す説明図である。この図に示すように、地図データベースＤＢには、道路ネットワークレイヤＸ１、道路形状レイヤＸ２、地物レイヤＸ３が格納されており、これらにより地図情報Ｅが構成されている。
【００３４】
道路ネットワークレイヤＸ１は、道路間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードＮの情報と、２つのノードＮを連結して道路を構成する多数のリンクＬの情報とを有して構成されている。また、各リンクＬは、そのリンク情報として、道路の種別（高速道路、有料道路、国道、県道等の種別）やリンク長さ等の情報を有している。
【００３５】
道路形状レイヤＸ２は、道路ネットワークレイヤＸ１に関連付けられて格納され、道路の形状を示すレイヤである。具体的には、２つのノードＮの間（リンクＬ上）に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Ｓの情報と、各道路形状補完点Ｓにおける道路幅Ｗの情報とを有して構成されている。
【００３６】
地物レイヤＸ３は、道路ネットワークレイヤＸ１及び道路形状レイヤＸ２に関連付けられて格納され、道路上及び道路の周辺に設けられた各種地物ｆの情報、すなわち地物情報Ｆが記録されているレイヤである。この地物レイヤＸ３に地物情報Ｆが格納される地物ｆは、ペイント系の地物ｆと立体系の地物ｆとに大別される。ペイント系の地物ｆとしては、例えば、道路に沿って車線を分ける区画線（実線、破線、二重線等の各種区画線を含む。）、各車線の進行方向を指定する進行方向別通行区分標示、横断歩道、停止線、速度表示、ゼブラゾーン等の道路面上に設けられる各種の道路標示が含まれる。また、立体系の地物ｆとしては、例えば、道路の両側に沿って設けられる縁石、ガードレール、各種の標識、信号機等の道路上又は道路の周辺に設けられる各種の立体物が含まれる。
【００３７】
また、地物情報Ｆは、その内容として各地物ｆの配置情報、種別情報、形態情報を含んでいる。ここで、配置情報は、各地物ｆの地図上の位置（緯度及び経度）及び方向の情報を含んでいる。種別情報は、各地物ｆの種別を示す情報であって、具体的には、「区画線（実線、破線、二重線等の線種も含む）」、「進行方向別通行区分標示」、「横断歩道」等の道路標示種別、「縁石」、「ガードレール」、「信号機」等の地物ｆ自体の種別、「一時停止」、「駐車禁止標識」等の標識種別などの情報が含まれる。形態情報は、各地物ｆの特徴的な形状や色彩等の情報の他、立体系の地物ｆの場合には道路面からの高さの情報も含んでいる。
【００３８】
１−５．地図情報取得部７
地図情報取得部７は、自車位置演算部６から出力される自車位置情報Ｓに基づいて、地図データベースＤＢから自車両Ｃａ周辺の地図情報Ｅを取得する。そして、地図情報取得部７は、自車位置演算部６、地物情報抽出部８、自車線認識部１２、及びナビゲーション用演算部１１に地図情報Ｅを出力する。この際、地図情報取得部７が地図情報Ｅを取得する範囲は、地図情報Ｅの出力先により異なる。すなわち、地図情報取得部７は、出力先において必要とする地図情報Ｅの範囲に応じた範囲の地図情報Ｅを取得して出力する。例えば、自車位置演算部６でのマップマッチングや、自車線認識部１２での自車線認識のためには、自車両Ｃａ周辺の比較的狭い範囲の地図情報Ｅが用いられる。一方、ナビゲーション用演算部１１による表示部２７への地図表示のためには、表示縮尺に応じて比較的広い範囲の地図情報Ｅが用いられる。地図情報取得部７は、これらの用途に応じて必要な地図情報Ｅを取得して出力する。
【００３９】
１−６．自車線認識部１２
自車線認識部１２は、自車両Ｃａが走行中の車線である自車線Ｌａを認識する自車線認識手段として機能する。ここでは、自車線認識部１２は、撮像装置４により撮像された画像情報Ｇの画像認識を行い、その画像認識結果と自車位置情報Ｓに示される自車位置の周辺の地図情報Ｅとを対比することにより、自車線Ｌａの認識を行う。例えば、図４に示すような画像情報Ｇが取得された場合において、図５に示すような自車両Ｃａ周辺の地図情報Ｅが取得された場合には、自車線Ｌａは、３車線の中の中央車線であると認識することができる。すなわち、図４に示す画像情報Ｇに示される画像中では、自車両Ｃａの位置である画像の幅方向中央に対して両側に破線の区画線ｆａ２、ｆａ３が位置しており、更にその両外側にそれぞれ実線の区画線ｆａ１、ｆａ４が位置している。一方、図５に示す地図情報Ｅによれば、自車両Ｃａが走行している道路は３車線であり、道路の幅方向両側には実線の区画線の地物情報Ｆａ１、Ｆａ４、道路の幅方向中央側には各車線を区切る破線の区画線の地物情報Ｆａ２、Ｆａ３が位置していることがわかる。したがって、自車線認識部１２は、これらの情報を対比することにより、自車線Ｌａが３車線の中の中央車線であると認識することができる。また、自車線認識部１２は、自車両Ｃａの走行に従ってこのような自車線Ｌａの認識を連続的に行い、その情報を蓄積することにより、自車線Ｌａの認識精度を高める処理も行う。自車線認識部１２は、自車線Ｌａの認識結果の情報を、地物情報抽出部８及びナビゲーション用演算部１１へ出力する。
【００４０】
１−７．地物情報抽出部８
地物情報抽出部８は、画像認識部９において画像認識を行う自車両Ｃａ周辺の地物ｆについての地物情報Ｆを地図情報Ｅから抽出する地物情報抽出手段として機能する。したがって、本実施形態においては、地図情報取得部７及び地物情報抽出部８により、地物情報取得手段１７が構成される。ここでは、地物情報抽出部８は、自車位置情報Ｓ、自車線認識部１２による自車線Ｌａの認識結果の情報、及び後述するナビゲーション用演算部１１から出力される車線変更要求情報に基づいて、自車線Ｌａに対して車線変更要求情報が示す車線変更方向側に隣接する隣接車線Ｌｂより奥に位置する地物ｆについての地物情報Ｆを地図情報Ｅから抽出して取得する。ここで、隣接車線Ｌｂより奥に位置する地物ｆとは、当該隣接車線Ｌｂよりも更に車線変更方向側（右側又は左側）に位置する地物ｆとなる。この際、地物情報抽出部８は、道路に沿って配置された連続性のある地物ｆについての地物情報Ｆを抽出する。ここで、このような連続性のある地物ｆとしては、道路面上に設けられた実線又は破線の区画線ｆａや道路に沿って配置された縁石ｆｂ等が好適であり、本例では、区画線ｆａについての地物情報Ｆを抽出する。なお、「ｆａ」の符号は、「ｆａ１」〜「ｆａ４」等の各種区画線を総称する符号として用いている。
【００４１】
ここでは一例として、図６に示す地図情報Ｅから、地物情報抽出部８により地物情報Ｆを抽出する処理について説明する。図６において、符号「Ｃａ´」は、自車位置情報Ｓ及び自車線認識部１２による自車線Ｌａの認識結果の情報に示される自車両Ｃａの位置を示している。この図に示すように、本例では、自車線Ｌａは３車線の中の中央車線である。また、ナビゲーション用演算部１１からの車線変更要求情報は、右車線への変更要求を示しているものとする。この場合、地物情報抽出部８は、自車線Ｌａの右側の隣接車線（右車線）Ｌｂより奥（右側）に位置する実線の区画線（車道中央線）ｆａ１の地物情報Ｆａ１を抽出する。本例では、地図情報取得部７から地物情報抽出部８へ出力される地図情報Ｅは、撮像装置４による撮像領域にほぼ一致する範囲の情報とされている。なお、撮像装置４による撮像領域は、自車両Ｃａにおける撮像装置４の搭載位置、撮像方向、撮像画角等に基づいて予め定まっている。この地物情報抽出部８により抽出された地物情報Ｆは、画像認識部９へ出力される。
【００４２】
また、地物情報抽出部８は、地図情報Ｅから、自車両Ｃａ周辺の連続性のある地物ｆ、本例では、自車線Ｌａ及び隣接車線Ｌｂを特定するための区画線ｆａ１〜ｆａ４の地物情報Ｆａ１〜Ｆａ４を抽出し、障害物認識部１０の配置認識部２６へ出力する。配置認識部２６では、これらの地物情報Ｆに基づいて、自車線Ｌａと隣接車線Ｌｂとの位置関係の認識を行う。
【００４３】
１−８．画像認識部９
画像認識部９は、地物情報抽出部８から出力された地物情報Ｆに基づいて、画像情報Ｇに含まれている地物ｆの画像認識を行う画像認識手段として機能する。具体的には、画像認識部９は、まず、画像情報Ｇに対する二値化処理やエッジ検出処理等による輪郭抽出を用いて区画線ｆａ等の道路標示（ペイント）の画像を抽出する。その後、画像認識部９は、地物情報抽出部８から出力された地物情報Ｆに示される地物ｆの位置及び形状等の情報に基づいて、画像情報Ｇ中における当該地物ｆの画像の配置を特定し、当該地物ｆの画像認識を行う。本例では、地物情報抽出部８から出力された地物情報Ｆに示される地物ｆは、自車線Ｌａの右側の隣接車線（右車線）Ｌｂより奥（右側）に位置する実線の区画線（車道中央線）ｆａ１である。図７及び図８に、各状況で取得された画像情報Ｇ及びその画像情報Ｇの画像認識部９による認識結果の例を示す。図７は、（ａ）に示すように周囲に他の車両Ｃｂ等の障害物Ｂが存在しない状況で撮像された（ｂ）画像情報Ｇと（ｃ）その認識結果を示している。図８は、（ａ）に示すように自車線Ｌａの右側の隣接車線Ｌｂに他の車両Ｃｂが存在する状況で撮像された（ｂ）画像情報Ｇと（ｃ）その認識結果を示している。
【００４４】
図７（ａ）に示すように、自車線Ｌａの右側の隣接車線Ｌｂに障害物Ｂが存在しない場合には、図７（ｂ）に示すように、画像情報Ｇには、この画像情報Ｇに含まれているべき右側の隣接車線Ｌｂより奥に位置する実線の区画線ｆａ１の全部（区画線ｆａ１の画像情報Ｇに含まれているべき部分の内の全部）が撮像されていることになる。したがって、画像認識部９は、図７（ｃ）に示すように、画像認識部９は、前記区画線ｆａ１の全部の画像を認識することができる。一方、図８（ａ）に示すように、自車線Ｌａの右側の隣接車線Ｌｂに他の車両Ｃｂ等の障害物Ｂが存在する場合には、図８（ｂ）に示すように、画像情報Ｇには、この画像情報Ｇに含まれているべき前記区画線ｆａ１の一部が当該障害物Ｂの背後に隠れて撮像できないことになる。したがって、図８（ｃ）に示すように、画像認識部９は、前記区画線ｆａ１の画像の一部を認識することができず、前記区画線ｆａ１の画像を断続的に認識することになる。そして、これら図７（ｃ）又は図８（ｃ）のような画像認識部９による画像認識結果の情報が、障害物認識部１０へ出力される。
【００４５】
１−９．障害物認識部１０
障害物認識部１０は、画像認識部９による画像認識結果に基づいて、自車両Ｃａの周辺における障害物Ｂの存在状況を認識する障害物認識手段として機能する。本実施形態においては、障害物認識部１０は、自車線Ｌａに隣接する隣接車線Ｌｂ上における障害物Ｂの存在状況を認識する。すなわち、ここでは、障害物認識部１０は、地物情報抽出部８から出力された地物情報Ｆに基づいて画像情報Ｇに含まれているべき地物ｆについて、当該地物ｆの全部又は一部の画像が画像認識部９により認識できない場合に、自車線Ｌａに隣接する車線Ｌｂ上に障害物Ｂが存在すると認識する。ここで、地物情報Ｆに基づいて画像情報Ｇに含まれているべき地物ｆとは、地物情報抽出部８により地物情報Ｆが抽出された地物ｆであって撮像装置４による画像情報Ｇの撮像領域内に含まれている地物ｆ（全体又は部分）である。また、このような地物ｆが、画像認識部９による画像認識の対象となる。本例では、この地物ｆは、上記のとおり、自車線Ｌａの右側の隣接車線Ｌｂより奥に位置する実線の区画線ｆａ１である。
【００４６】
そして、障害物認識部１０は、自車線Ｌａの右側の隣接車線Ｌｂ上に障害物Ｂが存在する場合には、前記実線の区画線ｆａ１の全部又は一部が当該障害物Ｂの背後に隠れて画像認識できないことを利用して、間接的に障害物Ｂの認識を行う。具体的には、図７（ｃ）に示すように、画像情報Ｇに含まれているべき右側の隣接車線Ｌｂより奥に位置する実線の区画線ｆａ１の全部の画像を画像認識部９により認識できた場合には、障害物認識部１０は、自車線Ｌａの右側の隣接車線Ｌｂ上に障害物Ｂが存在しないと認識する。一方、図８（ｃ）に示すように、画像情報Ｇに含まれているべき右側の隣接車線Ｌｂより奥に位置する実線の区画線ｆａ１の全部又は一部の画像を画像認識部９により認識できなかった場合には、障害物認識部１０は、自車線Ｌａの右側の隣接車線Ｌｂ上に障害物Ｂが存在すると認識する。すなわち、この障害物認識部１０は、他の車両Ｃｂ等の障害物Ｂを直接的に画像認識して障害物Ｂの認識を行うのではなく、当該障害物Ｂが存在する場合に背後に隠れることになる区画線ｆａ１等の画像認識が容易な地物ｆの画像認識結果を用いて間接的に障害物認識を行う。ここで、区画線ｆａは、位置、形状、色彩等が予め特定されており、更に、その周囲や背後に道路面以外の雑多なものが撮像されることが少なく、また道路面との色彩の差も大きい。そのため、各種の形状や色彩を持った車両等の障害物Ｂを画像認識する場合と比較して画像認識が容易であり、周辺に存在するノイズ成分となり得るものの影響も受け難い。したがって、このような区画線ｆａの画像認識結果を用いて間接的に障害物認識を行うことで、障害物認識の安定性を高めることができる。
【００４７】
また、本実施形態においては、障害物認識部１０は、連続性のある地物ｆについての認識率を判定する認識率判定部２５を備えている。そして、上記のような障害物Ｂが存在するか否かの認識を、認識率判定部２５により判定される認識率に基づいて行う。これは、区画線ｆａ１等の画像情報Ｇに含まれているべき地物ｆの一部が画像認識できない場合であっても、それが障害物Ｂの存在に起因するものでない場合が有り得ることを考慮して障害物Ｂの認識を行うことで、その認識精度を高めるためである。すなわち、現実には、障害物Ｂが存在しない場合であっても、画像認識の対象となる地物ｆの汚れやかすれ等、或いは画像認識の際の誤差等の各種の要因により、当該地物ｆの全部が完全に認識できない場合があり得る。そこで、これらの要因を考慮して、障害物認識部１０は、認識率判定部２５により判定される認識率が所定の閾値未満である場合に、障害物Ｂが存在すると認識する処理を行う。
【００４８】
ここでは、認識率は、認識対象である連続性のある地物ｆの画像情報Ｇに含まれているべき部分の内の全部が完全に画像認識されている場合を１００〔％〕とし、画像認識できた部分の面積比を百分率で表すものとする。そして、例えば、地物ｆの汚れやかすれ等、或いは画像認識の際の誤差等の各種の要因により認識率が低下し得る範囲を１０〔％〕に設定した場合、障害物Ｂが存在すると認識する認識率の閾値は９０〔％〕となる。したがって、例えば、図７（ｃ）に示す画像認識結果に基づく区画線ｆａ１の認識率が９５〔％〕であり、図８（ｃ）に示す画像認識結果に基づく区画線ｆａ１の認識率が４０〔％〕である場合、障害物認識部１０は、図７（ｃ）の場合は障害物Ｂが存在しないと認識し、図８（ｃ）の場合は障害物Ｂが存在すると認識する（図１１参照）。
【００４９】
更に、障害物認識部１０は配置認識部２６を備えている。この配置認識部２６は、地物情報Ｆに基づく連続性のある地物ｆの自車両Ｃａを基準とした配置と、画像認識結果に基づく連続性のある地物ｆの認識できない部分の配置とに基づいて、障害物Ｂの位置及び大きさを認識する処理を行う。図９は、本例における配置認識部２６により行う障害物Ｂの位置及び大きさを認識する処理の説明図である。この図では、図８（ａ）に示す状況と同様に、自車線Ｌａの右側の隣接車線Ｌｂより奥に位置する地物ｆが実線の区画線ｆａ１であり、当該右側の隣接車線Ｌｂ上に他の車両Ｃｂが存在する状況をとなっている。この場合、配置認識部２６には、画像認識部９による画像認識結果の情報として、図９に示すように、自車線Ｌａの右側の隣接車線Ｌｂより奥に位置する実線の区画線ｆａ１の認識結果の情報が入力されている。また、配置認識部２６には、地物情報抽出部８からの地物情報Ｆとして、区画線ｆａ１〜ｆａ４の地物情報Ｆａ１〜Ｆａ４が入力されている。
【００５０】
そして、配置認識部２６は、これらの地物情報Ｆ（Ｆａ１〜Ｆａ４）と画像認識結果に基づいて、障害物Ｂが存在すると推測される位置及び大きさを示す障害物領域Ｂｃを導出する。そのため、配置認識部２６は、まず、画像認識部９による画像認識結果に基づいて、自車両Ｃａの中央を基準位置Ｐ０として、区画線ｆａ１の認識できない部分の始端Ｐ１と終端Ｐ２とのなす角度θ１及び区画線ｆａ１上における自車両Ｃａの進行方向位置Ｐ３と始点Ｐ１とのなす角度θ２を導出する。ここで、区画線ｆａ１上における自車両Ｃａの進行方向位置Ｐ３は、基準位置Ｐ０を通り自車両Ｃａの進行方向に直交する線と区画線ｆａ１との交点としている。また、ここでは、始端Ｐ１、終端Ｐ２及び進行方向位置Ｐ３は、区画線ｆａ１の中心線上の点としている。そして、角度θ１は、基準位置Ｐ０と区画線ｆａ１との距離Ｗ、区画線ｆａ１の認識できない部分の始端Ｐ１から終端Ｐ２までの長さＬ１、及び区画線ｆａ１上における自車両Ｃａの進行方向位置Ｐ３から始点Ｐ１までの長さＬ２に基づいて、下記の式（１）により演算して導出する。
θ１＝tan−１〔（Ｗ×Ｌ１）／｛Ｗ×Ｗ＋Ｌ２×（Ｌ１＋Ｌ２）｝〕・・・（１）
また、角度θ２は、下記の式（２）により演算して導出する。
θ２＝tan−１（Ｌ２／Ｗ）・・・（２）
【００５１】
そして、配置認識部２６は、図９に示すように、角度θ１及び角度θ２と、区画線ｆａ１〜ｆａ４の地物情報Ｆａ１〜Ｆａ４により特定される自車線Ｌａ及び隣接車線Ｌｂの配置とに基づいて障害物領域Ｂｃを導出する。この障害物領域Ｂｃの導出は、例えば、角度θ１及び角度θ２の値に応じて障害物領域Ｂｃの位置及び大きさを予め規定した障害物テーブルに基づいて行う。この障害物テーブルは、例えば、障害物Ｂを、隣接車線Ｌｂ上のほぼ中央付近に位置する車両と仮定すれば、各種車両の幅及び長さの統計的データを用いて規定することができる。すなわち、角度θ１と角度θ２の値、及び自車線Ｌａと隣接車線Ｌｂの配置関係により、角度θ１の範囲内であって且つ隣接車線Ｌｂ内が障害物Ｂとしての車両が存在する領域として規定される。そこで、各種車両の幅及び長さの統計的データを用いて、この領域内に収まる適切な幅及び長さの車両に相当する大きさの矩形領域を障害物領域Ｂｃとして規定することができる。この障害物テーブルは、これを様々な角度θ１及び角度θ２について行い、予めテーブル化したものである。
【００５２】
１−１０．車線変更判定部１３
車線変更判定部１３は、障害物認識部１０による認識結果に基づいて、自車線Ｌａに隣接する隣接車線Ｌｂへの車線変更の可否を判定する車線変更判定手段として機能する。本実施形態においては、車線変更判定部１３は、基本的には、障害物認識部１０により隣接車線Ｌｂ上に障害物Ｂが存在しないと認識した場合には車線変更が可能であると判定し、障害物認識部１０により隣接車線Ｌｂ上に障害物Ｂが存在すると認識した場合には車線変更が不可能であると判定する。また、本実施形態においては、障害物認識部１０は配置認識部２６を備えている。そこで、隣接車線Ｌｂ上に障害物Ｂが存在すると認識した場合であっても、配置認識部２６による障害物Ｂの位置及び大きさの認識結果に基づいて、自車両Ｃａが車線変更するのに十分な空間が隣接車線Ｌｂ上に存在する場合には、車線変更判定部１３は、当該空間の側方位置において車線変更が可能であると判定する。
【００５３】
１−１１．ナビゲーション用演算部１１
ナビゲーション用演算部１１は、表示装置２７を用いた自車位置の表示や、表示装置２７及び音声出力装置２８を用いた進路案内のための演算処理を行う。具体的には、ナビゲーション用演算部１１は、地図情報取得部７により地図データベースＤＢから自車両Ｃａ周辺の地図情報Ｅを取得して表示装置２７に地図の画像を表示するとともに、当該地図の画像上に、自車位置演算部６から出力された自車位置情報Ｓに基づいて自車マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部１１は、公知の方法により出発地点と目的地点とを結ぶように予め設定された案内経路と自車位置情報Ｓとに基づいて、表示装置２７及び音声出力装置２８の一方又は双方を用いて進路案内を行う。よって、ナビゲーション用演算部１１、表示装置２７及び音声出力装置２８は、自車両Ｃａの進路案内を行う進路案内手段３１として機能する。なお、図示は省略するが、ナビゲーション用演算部１１は、この他にも、リモートコントローラやタッチパネルなどのユーザインタフェース等の、ナビゲーション装置として必要な公知の各種構成に接続されている。
【００５４】
また、本実施形態においては、ナビゲーション用演算部１１は、案内経路に従って進行するために自車両Ｃａの車線変更が必要な場合に車線変更要求情報を生成する車線変更要求生成部２９を備えている。この車線変更要求生成部２９は、自車両Ｃａが複数車線の道路を走行中であって、設定された案内経路に従って進行するために交差点等での進路変更が必要であり、且つ自車線認識部１２により認識された自車線Ｌａが進路変更のための適切な車線でない場合に、自車両Ｃａの車線変更が必要と判定する。そして、車線変更要求生成部２９は、車線変更が必要と判定した場合には、進路変更のための適切な車線側への車線変更を要求する車線変更要求情報を生成する。ここで生成された車線変更要求情報は、地物情報抽出部８へ出力される。
そして、ナビゲーション用演算部１１は、車線変更要求生成部２９により車線変更要求情報が生成され、且つ車線変更判定部１３により車線変更が可能であると判定された場合に、運転者に対する車線変更の案内を行う。この際の車線変更の案内は、表示装置２７及び音声出力装置２８の一方又は双方を用いて、進路変更のための適切な車線側への車線変更を促す図形やメッセージの表示、音声案内等により行う。
【００５５】
１−１２．周辺状況認識方法
次に、本実施形態に係る周辺状況認識装置１を含むナビゲーション装置２において実行される周辺状況認識方法及びそれを用いた車線変更案内方法の具体例について、図１０及び図１１に示すフローチャートに従って説明する。ここでは、まず、画像情報取得部５において、撮像装置１４により撮像した画像情報Ｇを取得する（ステップ＃０１）。次に、自車位置演算部６において、自車位置情報Ｓを取得する（ステップ＃０２）。そして、地図情報取得部７において、ステップ＃０１で取得した自車位置情報Ｓに基づいて、地図データベースＤＢから自車両Ｃａ周辺の地図情報Ｅを取得する（ステップ＃０３）。その後、自車線認識部１２において、自車両Ｃａが走行中の車線である自車線Ｌａを認識する（ステップ＃０４）。
【００５６】
そして、自車両Ｃａの車線変更が必要でない場合であって、ナビゲーション用演算部１１で設定された案内経路と自車線認識部１２により認識された自車線Ｌａとに基づいて、車線変更要求生成部２９において、車線変更要求が生成されていない場合には（ステップ＃０５：ＮＯ）、処理はそのまま終了する。一方、車線変更要求生成部２９において車線変更要求が生成された場合には（ステップ＃０５：ＹＥＳ）、地物情報抽出部８において、自車両Ｃａ周辺の地物ｆについての地物情報Ｆを地図情報Ｅから抽出する（ステップ＃０６）。本例では、自車線Ｌａに対して車線変更要求情報が示す車線変更方向側に隣接する隣接車線Ｌｂより奥に位置する地物ｆについての地物情報Ｆを地図情報Ｅから抽出する。次に、画像認識部９において、ステップ＃０６で抽出された地物情報Ｆに基づいて、画像情報Ｇに含まれている地物ｆの画像認識を行う（ステップ＃０７）。そして、障害物認識部１０において、ステップ＃０７の画像認識結果に基づいて、自車両Ｃａの周辺における障害物Ｂの存在状況を認識する（ステップ＃０８）。この障害物認識処理については、図１１のフローチャートに従って後に詳細に説明する。
【００５７】
その後、車線変更判定部１３において、障害物認識部１０による認識結果に基づいて、自車線Ｌａに隣接する隣接車線Ｌｂへの車線変更の可否判定を行う（ステップ＃０９）。そして、車線変更が不可能であると判定した場合には（ステップ＃１０：ＮＯ）、処理はそのまま終了する。一方、車線変更が可能であると判定した場合には（ステップ＃１０：ＹＥＳ）、ナビゲーション用演算部１１において、表示装置２７及び音声出力装置２８の一方又は双方を用いて車線変更の案内を行う（ステップ＃１１）。以上で処理は終了する。
【００５８】
次に、ステップ＃０８の障害物認識処理について説明する。本例では、図７及び図８に示すように、自車線Ｌａの右側の隣接車線Ｌｂより奥に位置する実線の区画線ｆａ１（連続性のある地物ｆの一例）の画像認識を行い、その認識結果に基づいて自車線Ｌａに隣接する隣接車線Ｌｂ上における障害物Ｂの存在状況を認識する処理を行う。そこで、図１１に示すように、障害物認識部１０では、まず、認識率判定部２５において、ステップ＃０７の画像認識結果に基づいて、連続性のある地物ｆとしての実線の区画線ｆａ１についての認識率を判定する（ステップ＃２１）。ここでは、上記のとおり、障害物Ｂが存在すると認識する認識率の閾値は９０〔％〕としている。そこで、認識率が９０〔％〕未満か否かを判定し、認識率が９０〔％〕未満である場合には（ステップ＃２２：ＹＥＳ）、障害物Ｂが存在すると認識し（ステップ＃２３）、配置認識部２６において障害物Ｂの位置及び大きさを認識する（ステップ＃２４）。一方、認識率が９０〔％〕以上である場合には（ステップ＃２２：ＮＯ）、障害物Ｂが存在しないと認識する（ステップ＃２５）。以上で障害物認識処理は終了する。
【００５９】
２．第二の実施形態
次に、本発明の第二の実施形態について説明する。本実施形態では、本発明に係る周辺状況認識装置１を、車両制御装置３も兼ねたナビゲーション装置２に適用した場合について説明する。図１２は、本実施形態に係る周辺状況認識装置１の全体構成を模式的に示すブロック図である。本実施形態に係る周辺状況認識装置１は、地図データベースＤＢから取得した地物情報Ｆに基づいて、撮像装置４により撮像された画像情報Ｇに含まれている自車両Ｃａの進行方向に存在する交差点Ｋに交差する道路Ｒ１に配置された区画線ｆａの画像認識を行う（図１４及び図１６参照）。そして、画像情報Ｇに含まれているべき当該区画線ｆａについて画像認識できない部分がある場合に交差点Ｋの通行に影響を与える障害物Ｂが存在すると認識する処理を行う。また、このような障害物Ｂの認識結果に基づいて、自車両Ｃａの運転者に対して減速を促す案内を行い、或いは自車両Ｃａの減速制御を行う。
【００６０】
図１２に示すように、この周辺状況認識装置１の各機能部、具体的には、画像情報取得部５、自車位置演算部６、地図情報取得部７、地物情報抽出部８、画像認識部９、障害物認識部１０、ナビゲーション用演算部１１、交差点認識部１４、走行状態判定部１５、及び車両制御部１６は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア（プログラム）或いはその両方により実装されて構成されている。また、地図データベースＤＢは、上記第一の実施形態と同様に、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。以下、各部の構成について、上記第一の実施形態と相違する点を中心として説明する。
【００６１】
本実施形態においては、画像情報取得部５で取得された画像情報Ｇは画像認識部９へ出力される。車速センサ２４の検出結果としての車速情報は、自車位置演算部６及び走行状態判定部１５へ出力される。自車位置演算部６は、演算結果である自車位置情報Ｓを地図情報取得部７、地物情報抽出部８、交差点認識部１４、及びナビゲーション用演算部１１へ出力する。地図情報取得部７は、自車位置演算部６、地物情報抽出部８、交差点認識部１４、及びナビゲーション用演算部１１に地図情報Ｅを出力する。
【００６２】
２−１．交差点認識部１４
交差点認識部１４は、自車両Ｃａの進行方向に存在する交差点Ｋを認識する交差点認識手段として機能する。ここでは、交差点認識部１４は、地図情報取得部７により取得された地図情報Ｅと、自車位置演算部６から出力された自車位置情報Ｓとに基づいて、自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在するか否かの認識を行う。ここで、交差点Ｋの情報を取得する自車両Ｃａからの所定距離Ｌｋは、撮像装置４により交差点Ｋ内の地物ｆを画像認識可能な範囲内に定めると好適であり、例えば１００〔ｍ〕等とすることができる。例えば、図１３に示すような自車両Ｃａ周辺の地図情報Ｅが取得された場合であって、自車両Ｃａの位置から交差点Ｋの中心までの距離が所定距離Ｌｋ以下である場合には、交差点認識部１４は、自車両Ｃａの進行方向に交差点Ｋが存在すると認識する。交差点認識部１４は、自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在すると認識した場合には、走行状態判定部１５へ自車両Ｃａの位置から当該交差点Ｋまでの距離を示す距離情報を出力する。よって、この交差点認識部１４は、交差点Ｋまでの距離情報を取得する距離情報取得手段としても機能する。また、交差点認識部１４は、自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在すると認識した場合には、地図情報取得部７により取得された地図情報Ｅを地物情報抽出部８へ出力する。
【００６３】
２−２．走行状態判定部１５
走行状態判定部１５は、交差点Ｋまでの距離に対して車速が高いか否かを判定する走行状態判定手段として機能する。ここでは、走行状態判定部１５は、車速センサ２４により取得された自車両Ｃａの走行速度を示す車速情報と、交差点認識部１４から出力された交差点Ｋまでの距離情報とに基づいて自車両Ｃａの走行状態の判定を行う。具体的には、走行状態判定部１５は、自車両Ｃａが交差点Ｋの手前に停止することを基準とした場合に、自車両Ｃａの現在の車速での制動距離が、自車両Ｃａから交差点Ｋまでの距離に対して十分に短い場合には、交差点Ｋまでの距離に対して車速が低いと判定する。一方、自車両Ｃａの現在の車速での制動距離が、自車両Ｃａから交差点Ｋまでの距離に近い場合やこれを超えている場合には、交差点Ｋまでの距離に対して車速が高いと判定する。なお、自車両Ｃａの各速度での制動距離は、天候や路面状態等によって変化するものである。したがって、判定の基準としては悪条件での制動距離を用いるのが好適である。また、天候や路面状態等の情報を取得し、これらの情報に基づいて基準として用いる制動距離を変化させる構成としても好適である。この走行状態判定部１５における判定は、自車両Ｃａの位置から交差点Ｋまでの距離との関係で自車両Ｃａの車速が高いと判定する閾値車速を規定したテーブル等を用いて行うことができる。そして、走行状態判定部１５は、交差点Ｋまでの距離に対して車速が高いか低いかを示す走行状態情報をナビゲーション用演算部１１へ出力する。
【００６４】
２−３．地物情報抽出部８
地物情報抽出部８は、自車両Ｃａの進行方向に存在する交差点Ｋに交差する道路Ｒ１に配置された地物ｆについての地物情報Ｆを地図情報Ｅから抽出する地物情報抽出手段として機能する。したがって、本実施形態においては、地図情報取得部７及び地物情報抽出部８により、地物情報取得手段１７が構成される。ここでは、地物情報抽出部８は、自車位置情報Ｓ及びナビゲーション用演算部１１から出力される減速要求情報に基づいて、交差点Ｋに交差する道路Ｒ１に沿って配置された連続性のある地物ｆについての地物情報Ｆを地図情報Ｅから抽出して取得する。ここで、このような連続性のある地物ｆとしては、道路面上に設けられた実線又は破線の区画線ｆａや道路に沿って配置された縁石等が好適であり、本例では、区画線ｆａについての地物情報Ｆを抽出する。
【００６５】
ここでは一例として、図１３に示す地図情報Ｅから、地物情報抽出部８により地物情報Ｆを抽出する処理について説明する。図１３において、符号「Ｃａ´」は、自車位置情報Ｓに示される自車両Ｃａの位置を示している。この図に示すように、本例では、自車両Ｃａの進行方向にＴ字路の交差点Ｋが存在している。そして、自車両Ｃａが走行中の道路Ｒ０は１車線の一方通行道路であり、交差点Ｋで道路Ｒ０と交差する道路Ｒ１は片側１車線の２車線道路である。また、ナビゲーション用演算部１１からは減速要求情報が出力されているものとする。この場合、地物情報抽出部８は、道路Ｒ１の手前側に配置された実線の区画線（車道外側線）ｆａ５の地物情報Ｆａ５、道路Ｒ１の幅方向中央部に配置された実線の区画線（車道中央線）ｆａ６の地物情報Ｆａ６、道路Ｒ１の奥側に配置された実線の区画線（車道外側線）ｆａ７の地物情報Ｆａ７を抽出する（ｆａ５〜ｆａ７については図１４参照）。本例では、地図情報取得部７から地物情報抽出部８へ出力される地図情報Ｅは、撮像装置４による撮像領域（図１４参照）にほぼ一致する範囲の情報とされている。なお、撮像装置４による撮像領域は、自車両Ｃａにおける撮像装置４の搭載位置、撮像方向、撮像画角等に基づいて予め定まっている。この地物情報抽出部８により抽出された地物情報Ｆは、画像認識部９へ出力される。
【００６６】
２−４．画像認識部９
画像認識部９は、地物情報抽出部８から出力された地物情報Ｆに基づいて、画像情報Ｇに含まれている地物ｆの画像認識を行う画像認識手段として機能する。具体的には、画像認識部９は、まず、画像情報Ｇに対する二値化処理やエッジ検出処理等による輪郭抽出を用いて区画線ｆａ等の道路標示（ペイント）の画像を抽出する。その後、画像認識部９は、地物情報抽出部８から出力された地物情報Ｆに示される地物ｆの位置及び形状等の情報に基づいて、画像情報Ｇ中における当該地物ｆの画像の配置を特定し、当該地物ｆの画像認識を行う。本例では、地物情報抽出部８から出力された地物情報Ｆに示される地物ｆは、自車両Ｃａの進行方向の交差点Ｋで交差する道路Ｒ１に沿って配置された３本の実線の区画線ｆａ５〜ｆａ７である。図１４及び図１６に、自車両Ｃａ及び交差点Ｋの周辺の状況の例をそれぞれ示す。また、図１５及び図１７に、各状況で取得された画像情報Ｇ及びその画像情報Ｇの画像認識部９による認識結果の例を示す。ここで、図１４は、交差点Ｋの周辺に障害物Ｂが存在しない状況を示しており、図１６は、交差点Ｋの通行に影響を与える障害物Ｂが存在する状況を示している。そして、図１５は、図１４に示される状況で撮像された（ａ）画像情報Ｇと（ｂ）その画像認識結果を示している。また、図１７は、図１６に示される状況で撮像された（ａ）画像情報Ｇと（ｂ）その画像認識結果を示している。なお、図１４及び図１６は、図１３に示される地図情報Ｅの内容と同様に、いずれも自車両Ｃａの進行方向にＴ字路の交差点Ｋが存在している状況を示している。また、自車両Ｃａが走行中の道路Ｒ０は１車線の一方通行道路であり、交差点Ｋで道路Ｒ０と交差する道路Ｒ１は片側１車線の２車線道路である。そして、自車両Ｃａの進行方向には停止線ｆｃ１が存在している。
【００６７】
図１４に示すように、交差点Ｋの周辺に障害物Ｂが存在しない場合には、図１５（ａ）に示すように、画像情報Ｇには、この画像情報Ｇに含まれているべき道路Ｒ１に沿って配置された区画線ｆａ５〜ｆａ７の全部（区画線ｆａ５〜ｆａ７の画像情報Ｇに含まれているべき部分の内の全部）が撮像されることになる。したがって、画像認識部９は、図１５（ｂ）に示すように、画像認識部９は、前記区画線ｆａ５〜ｆａ７の全部の画像を認識することができる。一方、図１６に示す状況では、交差点Ｋの通行に影響を与える障害物Ｂとして、交差点Ｋの手前の左側の角部に建物ｆｄが存在し、道路Ｒ１の手前側の車線には他の車両Ｃｂが存在している。このため、図１７（ａ）に示すように、画像情報Ｇには、この画像情報Ｇに含まれているべき道路Ｒ１に沿って配置された区画線ｆａ５〜ｆａ７の一部が、これらの障害物Ｂの背後に隠れて撮像できないことになる。したがって、画像認識部９は、図１７（ｂ）に示すように、画像認識部９は、前記区画線ｆａ５〜ｆａ７の一部の画像を認識することができない。この際、建物ｆｄは、道路Ｒ１より手前側に位置するため、建物ｆｄの背後には区画線ｆａ５、ｆａ６、及びｆａ７の３本ともが隠れて撮像されない。したがって、当該領域では画像認識部９は３本の区画線ｆａ５、ｆａ６、及びｆａ７の画像を認識できないことになる。これに対して、他の車両Ｃｂは、道路Ｒ１の手前側の車線上に位置するため、他の車両Ｃｂの背後には区画線ｆａ６及びａ７の２本が隠れて撮像されない。したがって、当該領域では画像認識部９は２本の区画線ｆａ６及びａ７の画像を認識できないことになる。なお、図１４及び図１６中のハッチングを施した区画線ｆａ５〜ｆａ７の領域は、画像認識部９により認識できた区画線ｆａ５〜ｆａ７の部分を示している。また、図１４及び図１６中の一点鎖線は、この撮像装置４の撮像領域を示している。そして、これら図１５（ｂ）又は図１７（ｂ）のような画像認識部９による画像認識結果の情報が、障害物認識部１０へ出力される。
【００６８】
２−５．障害物認識部１０
障害物認識部１０は、画像認識部９による画像認識結果に基づいて、自車両Ｃａの進行方向の交差点Ｋの通行に影響を与える障害物Ｂの存在状況を認識する障害物認識手段として機能する。本実施形態においては、障害物認識部１０は、地物情報抽出部８から出力された地物情報Ｆに基づいて画像情報Ｇに含まれているべき地物ｆについて、当該地物ｆの全部又は一部の画像が画像認識部９により認識できない場合に、交差点Ｋの通行に影響を与える障害物Ｂが存在すると認識する。ここで、交差点Ｋの通行に影響を与える障害物Ｂとしては、例えば、交差点Ｋの見通しを妨げる建物ｆｄ、樹木、駐車車両等の障害物Ｂ、又は交差点Ｋに交差する道路Ｒ１上を移動する車両Ｃｂや歩行者等の障害物Ｂ等が含まれる。また、地物情報Ｆに基づいて画像情報Ｇに含まれているべき地物ｆとは、地物情報抽出部８により地物情報Ｆが抽出された地物ｆであって撮像装置４による画像情報Ｇの撮像領域内に含まれている地物ｆ（全体又は部分）である。また、このような地物ｆが、画像認識部９による画像認識の対象となる。本例では、この地物ｆは、上記のとおり、自車両Ｃａの進行方向の交差点Ｋで交差する道路Ｒ１に沿って配置された３本の実線の区画線ｆａ５〜ｆａ７である。
【００６９】
そして、障害物認識部１０は、自車両Ｃａの進行方向の交差点Ｋで交差する道路Ｒ１の手前又は道路Ｒ１上に障害物Ｂが存在する場合には、道路Ｒ１に沿って配置された３本の区画線ｆａ５〜ｆａ７のいずれか一本以上の全部又は一部が当該障害物Ｂの背後に隠れて画像認識できないことを利用して、間接的に障害物Ｂの認識を行う。具体的には、図１５（ｂ）に示すように、画像情報Ｇに含まれているべき３本の区画線ｆａ５〜ｆａ７の全部の画像を画像認識部９により認識できた場合には、障害物認識部１０は、交差点Ｋの見通しを妨げる建物ｆｄや道路Ｒ１上を移動する車両Ｃｂ等の交差点Ｋの通行に影響を与える障害物Ｂが存在しないと認識する。一方、図１７（ｂ）に示すように、画像情報Ｇに含まれているべき３本の区画線ｆａ５〜ｆａ７のいずれか一本以上の全部又は一部の画像を画像認識部９により認識できなかった場合には、障害物認識部１０は、交差点Ｋの通行に影響を与える障害物Ｂが存在すると認識する。すなわち、この障害物認識部１０は、上記第一の実施形態と同様に、建物ｆｄや他の車両Ｃｂ等の障害物Ｂを直接的に画像認識して障害物Ｂの認識を行うのではなく、当該障害物Ｂが存在する場合に背後に隠れることになる区画線ｆａ５〜ｆａ７等の画像認識が容易な地物ｆの画像認識結果を用いて間接的に障害物認識を行う。
【００７０】
また、障害物認識部１０は、３本の区画線ｆａ５〜ｆａ７のいずれか一本以上の全部又は一部の画像が画像認識部９により認識できなかった場合に、当該認識できなかった区画線ｆａの手前側に障害物Ｂが存在すると認識する。これにより、障害物認識部１０は、自車両Ｃａの進行方向に平行は方向における障害物Ｂの位置を概略的に認識することができる。すなわち、例えば図１６に示すように、交差点Ｋの手前の左側の角部に建物ｆｄは、３本の区画線ｆａ５〜ｆａ７よりも自車両Ｃａ側に位置するため、３本の区画線ｆａ５〜ｆａ７の３本ともがこの建物ｆｄの背後に隠れて画像認識できないことになる。したがって、障害物認識部１０は、図１７（ｂ）の左側部分に示されるように、３本の区画線ｆａ５〜ｆａ７の３本ともの画像が認識できない場合には、最も手前の区画線ｆａ５よりも手前側に障害物Ｂが存在すると認識する。一方、道路Ｒ１の手前側の車線上の他の車両Ｃｂは、３本の区画線ｆａ５〜ｆａ７のうちの２本の区画線ｆａ６及びｆａ７よりも自車両Ｃａ側に位置するため、これら２本の区画線ｆａ６及びｆａ７がこの車両Ｃｂの背後に隠れて画像認識できないことになる。したがって、障害物認識部１０は、図１７（ｂ）の右側部分に示されるように、３本の区画線ｆａ５〜ｆａ７のうちの２本の区画線ｆａ６及びｆａ７の画像が認識できない場合には、それらのうちの手前側の区画線ｆａ６よりも手前側に障害物Ｂが存在すると認識する。
【００７１】
また、本実施形態においては、障害物認識部１０は、自車両Ｃａの進行方向に向かって交差点Ｋより右側の領域Ａ１と左側の領域Ａ２とに分けて、障害物Ｂの存在状況の認識を行う。ここでは、図１４及び図１６に示すように、自車両Ｃａから進行方向に延びる境界線ａを境に右側の領域Ａ１と左側の領域Ａ２とに分けている。そして、障害物認識部１０は、右側の領域Ａ１と左側の領域Ａ２とのそれぞれについて、個別に障害物Ｂが存在するか否かの認識を行う。このように障害物Ｂの認識を行うことにより、交差点Ｋでの自車両Ｃａの進行方向に応じて障害物Ｂの存在状況の認識結果を適切に利用することが可能となる。すなわち、例えば、自車両Ｃａが交差点Ｋで左折する場合には右側の領域Ａ１についての障害物Ｂの存在状況の情報が重要となり、自車両Ｃａが交差点Ｋで直進又は右折する場合には右側の領域Ａ１及び左側の領域Ａ２の双方についての障害物Ｂの存在状況の情報が重要となる。
【００７２】
また、障害物認識部１０は、上記第一の実施形態と同様に、連続性のある地物ｆについての認識率を判定する認識率判定部２５を備えている。また、障害物Ｂが存在すると認識する認識率の閾値についても、上記第一の実施形態と同様に９０〔％〕としている。したがって、例えば、図１５（ｂ）に示す画像認識結果に基づく３本の区画線ｆａ５〜ｆａ７の認識率が右側の領域Ａ１及び左側の領域Ａ２の双方について９５〔％〕である場合、障害物認識部１０は、右側の領域Ａ１及び左側の領域Ａ２の双方について障害物Ｂが存在しないと認識する。一方、図１７（ｂ）に示す画像認識結果に基づく３本の区画線ｆａ５〜ｆａ７の認識率が右側の領域Ａ１について６０〔％〕、左側の領域Ａ２について３０〔％〕である場合、障害物認識部１０は、右側の領域Ａ１及び左側の領域Ａ２の双方について障害物Ｂが存在すると認識する。
なお、本実施形態においては、障害物認識部１０は障害物Ｂの位置及び大きさを認識するための配置認識部２６を備えていない。しかし、上記第一の実施形態と同様に、配置認識部２６を備える構成とすることも好適な実施形態の一つである。
【００７３】
２−６．ナビゲーション用演算部１１
ナビゲーション用演算部１１は、上記のとおり、自車両Ｃａの位置の表示や進路案内等のために用いる表示装置２７及び音声出力装置２８に接続されている。また、本実施形態においては、ナビゲーション用演算部１１は、交差点Ｋにおいて自車両Ｃａの減速が必要か否かを判定する減速必要性判定部３０を備えている。この減速必要性判定部３０は、地図情報Ｅに基づいて自車両Ｃａが走行中の道路Ｒ０が交差点Ｋで交差する道路Ｒ１に対して優先道路であることが明らかでなく、走行状態判定部１５から出力された走行状態情報が交差点Ｋまでの距離に対して車速が高いことを示している場合であって、更に障害物認識部１０において交差点Ｋの通行に影響を与える障害物Ｂが存在すると認識した場合に、自車両Ｃａの減速が必要であると判定する。この際、減速必要性判定部３０は、障害物認識部１０による交差点Ｋより右側の領域Ａ１及び左側の領域Ａ２のそれぞれについての障害物Ｂの存在状況に基づいて自車両Ｃａの減速必要性を判定する。すなわち、ナビゲーション用演算部１１において予め設定されている案内経路やターンシグナルの操作状況等に基づいて、自車両Ｃａが交差点Ｋで左折すると判断した場合には、減速必要性判定部３０は、右側の領域Ａ１についての障害物Ｂの存在状況に基づいて自車両Ｃａの減速必要性を判定する。一方、自車両Ｃａが交差点Ｋで右折又は直進すると判断した場合には、減速必要性判定部３０は、右側の領域Ａ１及び左側の領域Ａ２の双方についての障害物Ｂの存在状況に基づいて自車両Ｃａの減速必要性を判定する。
【００７４】
そして、ナビゲーション用演算部１１は、減速必要性判定部３０により自車両Ｃａの減速必要性があると判定した場合には、運転者に対して減速を促す警告のための報知を行う。この報知は、表示装置２７及び音声出力装置２８の一方又は双方を用いて、減速を促す図形やメッセージの表示、音声案内等により行う。よって、ナビゲーション用演算部１１、表示装置２７及び音声出力装置２８は、運転者への報知を行うための報知手段３２としても機能する。また、ナビゲーション用演算部１１は、後述する車両制御部１６に接続されている。そして、ナビゲーション用演算部１１は、減速必要性判定部３０により自車両Ｃａの減速必要性があると判定した場合には、車両制御部１６に対して減速制御命令を出力し、自車両Ｃａの減速制御を行わせる。
【００７５】
また、減速必要性判定部３０は、障害物認識部１０における障害物Ｂの存在状況の認識前の段階で、自車両Ｃａの進行方向に存在する交差点Ｋでの減速要求があるか否かの判定を行う。すなわち、減速必要性判定部３０は、交差点認識部１４により自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在すると認識した場合であって、走行状態判定部１５により自車両Ｃａの走行状態の判定が行われた際に、減速要求の判定を行う。そして、減速必要性判定部３０は、地図情報Ｅに基づいて自車両Ｃａが走行中の道路Ｒ０が交差点Ｋで交差する道路Ｒ１に対して優先道路であることが明らかでなく、更に走行状態判定部１５から出力された走行状態情報が交差点Ｋまでの距離に対して車速が高いことを示している場合には、減速要求があると判定する。減速必要性判定部３０は、減速要求があると判定した場合には、当該交差点Ｋで減速が必要となる可能性があると判定して減速要求情報を生成する。ここで生成された減速要求情報は、地物情報抽出部８へ出力される。
【００７６】
２−７．車両制御部１６
車両制御部１６は、自車両Ｃａの各部の動作制御を行う制御手段として機能する。ここでは、車両制御部１６は、ナビゲーション用演算部１１から減速制御命令が出力された場合に、自車両Ｃａを減速させるための各部の動作制御を実行する。このような減速制御としては、具体的には、自車両Ｃａの各車輪に設けられているホイールブレーキによる制動、スロットルをオフにして変速機のギヤ比を下げることによるエンジンブレーキを作用させる制動等が行われる。
【００７７】
２−８．周辺状況認識方法
次に、本実施形態に係る周辺状況認識装置１を含む車両制御装置３を兼ねたナビゲーション装置２において実行される周辺状況認識方法並びにそれを用いた減速案内方法及び減速制御方法の具体例について、図１８に示すフローチャートに従って説明する。ここでは、まず、画像情報取得部５において、撮像装置１４により撮像した画像情報Ｇを取得する（ステップ＃３１）。次に、自車位置演算部６において、自車位置情報Ｓを取得する（ステップ＃３２）。そして、地図情報取得部７において、ステップ＃０１で取得した自車位置情報Ｓに基づいて、地図データベースＤＢから自車両Ｃａ周辺の地図情報Ｅを取得する（ステップ＃３３）。その後、交差点認識部１４において、自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在するか否かの認識を行う（ステップ＃３４）。
【００７８】
そして、ステップ＃３４において、自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在しないと認識した場合には（ステップ＃３５：ＮＯ）、処理は終了する。一方、自車両Ｃａの進行方向の所定距離Ｌｋ内に交差点Ｋが存在すると認識した場合には（ステップ＃３５：ＹＥＳ）、次に、走行状態判定部１５において、交差点Ｋまでの距離に対して自車両Ｃａの車速が高いか否かを判定する（ステップ＃３６）。次に、ナビゲーション用演算部１１の減速必要性判定部３０において、ステップ＃３４で認識された交差点Ｋでの減速要求があるか否かの判定を行う（ステップ＃３７）。ここで減速要求がないと判定された場合には（ステップ＃３７：ＮＯ）、処理は終了する。一方、減速要求があると判定された場合には（ステップ＃３７：ＹＥＳ）、次に、地物情報抽出部８において、自車両Ｃａの進行方向に存在する交差点Ｋに交差する道路Ｒ１に配置された地物ｆについての地物情報Ｆを地図情報Ｅから抽出する（ステップ＃３８）。本例では、交差点Ｋに交差する道路Ｒ１に沿って配置された連続性のある地物ｆについての地物情報Ｆを地図情報Ｅから抽出する。次に、画像認識部９において、ステップ＃３８で抽出された地物情報Ｆに基づいて、画像情報Ｇに含まれている地物ｆの画像認識を行う（ステップ＃３９）。
【００７９】
その後、障害物認識部１０において、ステップ＃３９の画像認識結果に基づいて、自車両Ｃａの進行方向の交差点Ｋの通行に影響を与える障害物Ｂの存在状況を認識する（ステップ＃４０）。この障害物認識処理は、図１１のフローチャートに示される上記第一の実施形態での障害物認識処理とほぼ同じであるが、ステップ＃２４の障害物Ｂの配置認識を行わない点で相違する。そして、ステップ＃４０において障害物Ｂが存在しないと認識した場合には（ステップ＃４１：ＮＯ）、処理は終了する。一方、ステップ＃４０において障害物Ｂが存在すると認識した場合には（ステップ＃４１：ＹＥＳ）、ナビゲーション用演算部１１の減速必要性判定部３０において、自車両Ｃａの減速必要性を判定する（ステップ＃４２）。このステップ＃４２において自車両Ｃａの減速必要性がないと判定した場合には（ステップ＃４３：ＮＯ）、処理は終了する。一方、ステップ＃４２において自車両Ｃａの減速必要性があると判定した場合には（ステップ＃４３：ＹＥＳ）、ナビゲーション用演算部１１及び車両制御部１６において、運転者に対して減速を促す警告のための報知、及び自車両Ｃａを減速させるための各部の動作制御の一方又は双方を実行する（ステップ＃４４）。以上で処理は終了する。
【００８０】
３．その他の実施形態
（１）上記第一の実施形態では、ナビゲーション装置２は車両制御部１６を備えない構成として説明した。しかし、上記第一の実施形態に係る周辺状況認識装置１を含むナビゲーション装置２において、上記第二の実施形態と同様に車両制御部１６を備えた構成とし、車両制御装置３を兼ねたナビゲーション装置２とすることも好適な実施形態の一つである。
【００８１】
（２）上記の各実施形態では、撮像装置４として、その進行方向周辺を撮像可能なフロントカメラを備えている場合について説明した。しかし、撮像装置４の構成は、これに限定されない。したがって、例えば、撮像装置４として、フロントカメラに加えて自車両Ｃａの後方を撮像するバックカメラや、自車両Ｃａの左右側方を撮像するサイドカメラ等を備える構成とし、これらの複数のカメラからの画像情報Ｇを用いて、障害物Ｂの認識を行う構成とすることも好適な実施形態の一つである。
【００８２】
（３）上記の各実施形態では、地物情報抽出部８において区画線ｆａの地物情報Ｆを抽出して画像認識を行う場合について説明した。しかし、画像認識の対象とする地物ｆは区画線ｆａに限定されない。すなわち、画像認識の対象を、道路の縁石や区画線ｆａ以外の道路標示等の地物ｆとすることも好適な実施形態の一つである。また、ガードレール等の立体的な地物ｆを画像認識の対象とすることも可能である。なお、区画線ｆａ以外の地物ｆを画像認識の対象とする場合であっても、縁石やガードレール等の道路に沿って配置された連続性のある地物ｆを対象とすれば、障害物Ｂの配置を道路に沿って連続的に認識することが可能となるのでより好適である。
【００８３】
（４）上記の各実施形態では、本発明に係る周辺状況認識装置１をナビゲーション装置２や車両制御装置３に適用する場合の例について説明した。しかし、本発明に係る周辺状況認識装置１は、その他の装置、例えば、自車両Ｃａの周辺状況に応じてシートベルトの張力を調節するシートベルトテンショナーやその他の車両用の安全装置等にも適用することが可能である。
【産業上の利用可能性】
【００８４】
本発明によれば、撮像装置からの画像情報とデータベースから取得した地物情報とに基づいて、自車両の周辺における障害物の存在状況を認識することができる。したがって、本発明は、ナビゲーション装置による案内や車両制御装置による車両制御等に好適に利用することができる。
【図面の簡単な説明】
【００８５】
【図１】本発明の第一の実施形態に係る周辺状況認識装置の全体構成を模式的に示すブロック図
【図２】撮像装置の配置を示す説明図
【図３】地図データベースに格納されている地図情報の内容を示す説明図
【図４】撮像装置により撮像された画像情報の一例を示す図
【図５】自車両周辺の地図情報の一例を示す図
【図６】地図情報から地物情報を抽出する処理の説明図
【図７】（ａ）周囲に障害物が存在しない状況で取得された（ｂ）画像情報及び（ｃ）その画像情報の画像認識結果の例を示す図
【図８】（ａ）自車線の隣接車線に障害物が存在する状況で取得された（ｂ）画像情報及び（ｃ）その画像認識結果の例を示す図
【図９】障害物の位置及び大きさを認識する処理の説明図
【図１０】本発明の第一の実施形態に係る周辺状況認識方法及びそれを用いた車線変更案内方法を示すフローチャート
【図１１】図１０のステップ＃０８の障害物認識処理を示すフローチャート
【図１２】本発明の第二の実施形態に係る周辺状況認識装置の全体構成を模式的に示すブロック図
【図１３】自車両及びその進行方向に存在する交差点の周辺の地図情報の一例を示す図
【図１４】自車両の進行方向に存在する交差点の周辺に障害物が存在しない状況を示す平面図
【図１５】図１４に示される状況で撮像された（ａ）画像情報及び（ｂ）その画像認識結果の例を示す図
【図１６】自車両の進行方向に存在する交差点の通行に影響を与える障害物が存在する状況を示す平面図
【図１７】図１６に示される状況で撮像された（ａ）画像情報及び（ｂ）その画像認識結果の例を示す図
【図１８】本発明の第二の実施形態に係る周辺状況認識方法並びにそれを用いた減速案内方法及び減速制御方法を示すフローチャート
【符号の説明】
【００８６】
１：周辺状況認識装置
２：ナビゲーション装置
３：車両制御装置
４：撮像装置
５：画像情報取得部（画像情報取得手段）
６：自車位置演算部
７：地図情報取得部
８：地物情報抽出部
９：画像認識部（画像認識手段）
１０：障害物認識部（障害物認識手段）
１１：ナビゲーション用演算部
１２：自車線認識部（自車線認識手段）
１３：車線変更判定部
１４：交差点認識部（距離情報取得手段）
１５：走行状態判定部（走行状態判定手段）
１６：車両制御部（制御手段）
１７：地物情報取得手段
２４：車速センサ（車速情報取得手段）
２５：認識率判定部
２６：配置認識部
２７：表示装置
２８：音声出力装置
２９：車線変更要求生成部
３０：減速必要性判定部
３１：進路案内手段
３２：報知手段
Ｇ：画像情報
Ｓ：自車位置情報
Ｅ：地図情報
Ｆ：地物情報
ＤＢ：地図データベース
Ｌａ：自車線
Ｌｂ：隣接車線
Ｂ：障害物
Ｃａ：自車両
ｆ：地物
Ｋ：交差点
【特許請求の範囲】
【請求項１】
自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得手段と、
自車両周辺の地物についての地物情報をデータベースから取得する地物情報取得手段と、
前記地物情報に基づいて、前記画像情報に含まれている地物の画像認識を行う画像認識手段と、
その画像認識結果に基づいて、自車両の周辺における障害物の存在状況を認識する障害物認識手段と、を備え、
前記障害物認識手段は、前記地物情報に基づいて前記画像情報に含まれているべき地物について、当該地物の全部又は一部の画像が前記画像認識手段により認識できない場合に、自車両と当該地物との間に障害物が存在すると認識する周辺状況認識装置。
【請求項２】
自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得手段と、
自車両が走行中の車線である自車線を認識する自車線認識手段と、
前記自車線に隣接する車線より奥に位置する地物についての地物情報をデータベースから取得する地物情報取得手段と、
前記地物情報に基づいて、前記画像情報に含まれている前記地物の画像認識を行う画像認識手段と、
その画像認識結果に基づいて、前記自車線に隣接する車線上における障害物の存在状況を認識する障害物認識手段と、を備え、
前記障害物認識手段は、前記地物情報に基づいて前記画像情報に含まれているべき前記地物について、当該地物の全部又は一部の画像が前記画像認識手段により認識できない場合に、前記自車線に隣接する車線上に障害物が存在すると認識する周辺状況認識装置。
【請求項３】
前記障害物認識手段による認識結果に基づいて、前記自車線に隣接する車線への車線変更の可否を判定する車線変更判定手段を更に備える請求項２に記載の周辺状況認識装置。
【請求項４】
前記地物情報取得手段は、道路に沿って配置された連続性のある地物についての地物情報を取得する請求項１から３のいずれか一項に記載の周辺状況認識装置。
【請求項５】
前記連続性のある地物は、道路面上に設けられた区画線、及び道路に沿って配置された縁石の少なくとも一方を含む請求項４に記載の周辺状況認識装置。
【請求項６】
前記障害物認識手段は、前記地物情報に基づいて前記画像情報に含まれているべき前記連続性のある地物についての、前記画像認識手段による当該地物の認識できた部分の割合に基づいて、前記障害物の存在状況を認識する請求項４に記載の周辺状況認識装置。
【請求項７】
前記障害物認識手段は、前記地物情報に基づく前記連続性のある地物の自車両を基準とした配置と、前記画像認識手段による画像認識結果に基づく前記連続性のある地物の認識できない部分の配置とに基づいて、前記障害物の位置及び大きさを認識する請求項４に記載の周辺状況認識装置。
【請求項８】
請求項３に記載の周辺状況認識装置と、自車両の進路案内を行う進路案内手段と、を備え、
前記進路案内手段は、自車両の車線変更が必要であって、且つ前記車線変更判定手段により車線変更可能と判断した場合に、車線変更の案内を行うナビゲーション装置。
【請求項９】
請求項１から７のいずれか一項に記載の周辺状況認識装置と、自車両の各部の動作制御を行う制御手段と、を備え、
前記制御手段は、前記障害物認識手段による認識結果に基づいて自車両の各部の動作制御を行う車両制御装置。
【請求項１０】
自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得ステップと、
自車両周辺の地物についての地物情報をデータベースから取得する地物情報取得ステップと、
前記地物情報に基づいて、前記画像情報に含まれている地物の画像認識を行う画像認識ステップと、
前記地物情報に基づいて前記画像情報に含まれているべき地物について、当該地物の全部又は一部の画像が前記画像認識ステップにより認識できない場合に、自車両と当該地物との間に障害物が存在すると認識する障害物認識ステップと、
を備える周辺状況認識方法。
【請求項１１】
自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得ステップと、
自車両が走行中の車線である自車線を認識する自車線認識ステップと、
前記自車線に隣接する車線より奥に位置する地物についての地物情報をデータベースから取得する地物情報取得ステップと、
前記地物情報に基づいて、前記画像情報に含まれている前記地物の画像認識を行う画像認識ステップと、
前記地物情報に基づいて前記画像情報に含まれているべき前記地物について、当該地物の全部又は一部の画像が前記画像認識ステップにより認識できない場合に、自車線に隣接する車線上に障害物が存在すると認識する障害物認識ステップと、
を備える周辺状況認識方法。
【請求項１】
自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得手段と、
自車両周辺の地物についての地物情報をデータベースから取得する地物情報取得手段と、
前記地物情報に基づいて、前記画像情報に含まれている地物の画像認識を行う画像認識手段と、
その画像認識結果に基づいて、自車両の周辺における障害物の存在状況を認識する障害物認識手段と、を備え、
前記障害物認識手段は、前記地物情報に基づいて前記画像情報に含まれているべき地物について、当該地物の全部又は一部の画像が前記画像認識手段により認識できない場合に、自車両と当該地物との間に障害物が存在すると認識する周辺状況認識装置。
【請求項２】
自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得手段と、
自車両が走行中の車線である自車線を認識する自車線認識手段と、
前記自車線に隣接する車線より奥に位置する地物についての地物情報をデータベースから取得する地物情報取得手段と、
前記地物情報に基づいて、前記画像情報に含まれている前記地物の画像認識を行う画像認識手段と、
その画像認識結果に基づいて、前記自車線に隣接する車線上における障害物の存在状況を認識する障害物認識手段と、を備え、
前記障害物認識手段は、前記地物情報に基づいて前記画像情報に含まれているべき前記地物について、当該地物の全部又は一部の画像が前記画像認識手段により認識できない場合に、前記自車線に隣接する車線上に障害物が存在すると認識する周辺状況認識装置。
【請求項３】
前記障害物認識手段による認識結果に基づいて、前記自車線に隣接する車線への車線変更の可否を判定する車線変更判定手段を更に備える請求項２に記載の周辺状況認識装置。
【請求項４】
前記地物情報取得手段は、道路に沿って配置された連続性のある地物についての地物情報を取得する請求項１から３のいずれか一項に記載の周辺状況認識装置。
【請求項５】
前記連続性のある地物は、道路面上に設けられた区画線、及び道路に沿って配置された縁石の少なくとも一方を含む請求項４に記載の周辺状況認識装置。
【請求項６】
前記障害物認識手段は、前記地物情報に基づいて前記画像情報に含まれているべき前記連続性のある地物についての、前記画像認識手段による当該地物の認識できた部分の割合に基づいて、前記障害物の存在状況を認識する請求項４に記載の周辺状況認識装置。
【請求項７】
前記障害物認識手段は、前記地物情報に基づく前記連続性のある地物の自車両を基準とした配置と、前記画像認識手段による画像認識結果に基づく前記連続性のある地物の認識できない部分の配置とに基づいて、前記障害物の位置及び大きさを認識する請求項４に記載の周辺状況認識装置。
【請求項８】
請求項３に記載の周辺状況認識装置と、自車両の進路案内を行う進路案内手段と、を備え、
前記進路案内手段は、自車両の車線変更が必要であって、且つ前記車線変更判定手段により車線変更可能と判断した場合に、車線変更の案内を行うナビゲーション装置。
【請求項９】
請求項１から７のいずれか一項に記載の周辺状況認識装置と、自車両の各部の動作制御を行う制御手段と、を備え、
前記制御手段は、前記障害物認識手段による認識結果に基づいて自車両の各部の動作制御を行う車両制御装置。
【請求項１０】
自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得ステップと、
自車両周辺の地物についての地物情報をデータベースから取得する地物情報取得ステップと、
前記地物情報に基づいて、前記画像情報に含まれている地物の画像認識を行う画像認識ステップと、
前記地物情報に基づいて前記画像情報に含まれているべき地物について、当該地物の全部又は一部の画像が前記画像認識ステップにより認識できない場合に、自車両と当該地物との間に障害物が存在すると認識する障害物認識ステップと、
を備える周辺状況認識方法。
【請求項１１】
自車両周辺を撮像可能な撮像装置からの画像情報を取得する画像情報取得ステップと、
自車両が走行中の車線である自車線を認識する自車線認識ステップと、
前記自車線に隣接する車線より奥に位置する地物についての地物情報をデータベースから取得する地物情報取得ステップと、
前記地物情報に基づいて、前記画像情報に含まれている前記地物の画像認識を行う画像認識ステップと、
前記地物情報に基づいて前記画像情報に含まれているべき前記地物について、当該地物の全部又は一部の画像が前記画像認識ステップにより認識できない場合に、自車線に隣接する車線上に障害物が存在すると認識する障害物認識ステップと、
を備える周辺状況認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００７−２６６９７５（Ｐ２００７−２６６９７５Ａ）
【公開日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【出願番号】特願２００６−８９０２０（Ｐ２００６−８９０２０）
【出願日】平成１８年３月２８日（２００６．３．２８）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
【公開日】平成１９年１０月１１日（２００７．１０．１１）
【国際特許分類】
【出願日】平成１８年３月２８日（２００６．３．２８）
【出願人】（０００１００７６８）アイシン・エィ・ダブリュ株式会社 (3,717)
【Ｆターム（参考）】
[ Back to top ]