ナビゲーション装置
【課題】 カメラを任意の位置に取り付けることができ、カメラで撮影した前方画像と３Ｄ地図とを一致させて周囲状況に応じた案内が可能なナビゲーション装置を提供する。
【解決手段】 現在位置を検出する位置検出手段２４と、検出された現在位置に応じた２Ｄ地図データを取得する地図情報取得手段１１と、移動体が進行する方位の前方を撮像する撮像手段１０と、取得された２Ｄ地図データに基づき生成される２Ｄ地図の俯瞰角度、倍率および横方向位置を調整して、撮像手段で撮像することにより得られた前方画像に一致する３Ｄ地図を生成する３Ｄ地図生成手段１２と、前方画像および３Ｄ地図生成手段で生成された３Ｄ地図を、２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、自己の周囲状況を判定する画像照合判定手段１３と、画像照合判定手段により判定された周囲状況に基づき案内を行う制御手段３５とを備えている。
【解決手段】 現在位置を検出する位置検出手段２４と、検出された現在位置に応じた２Ｄ地図データを取得する地図情報取得手段１１と、移動体が進行する方位の前方を撮像する撮像手段１０と、取得された２Ｄ地図データに基づき生成される２Ｄ地図の俯瞰角度、倍率および横方向位置を調整して、撮像手段で撮像することにより得られた前方画像に一致する３Ｄ地図を生成する３Ｄ地図生成手段１２と、前方画像および３Ｄ地図生成手段で生成された３Ｄ地図を、２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、自己の周囲状況を判定する画像照合判定手段１３と、画像照合判定手段により判定された周囲状況に基づき案内を行う制御手段３５とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ナビゲーション装置に関し、特にカメラで撮影することにより得られた三次元（以下、「３Ｄ」という）の画像と二次元（以下、「２Ｄ」という）の地図データとを用いて種々の案内や制御を行う技術に関する。
【背景技術】
【０００２】
従来、自車両の前景を撮像する単眼カメラ画像より抽出した道路形状（または、レーダのレーダ信号から推定した道路形状）と、通常のデジタル道路地図の道路形状とを照合することにより、走行中の道路又はレーンの概略的な形状を推定する道路形状推定装置が知られている（例えば、特許文献１参照）。
【０００３】
この道路形状推定装置においては、道路画像取得手段は画像中にある道路形状を抽出するものであり、白線や道路端を画像処理によって抽出する。白線抽出の方法は、前方画像をモノクロに変換し微分フィルタによって輝度変化を取得し、輝度変化が大きい部分を白線として抽出を行う方法等がある。道路地図取得手段は、取得した地図情報から自車両が走行する道路端の座標点を道路形状として抽出する。画像道路情報と地図道路情報を用い、三次元道路形状を推定すれば、画像の投影誤差を排除し、単体で推定するよりも精度よく道路形状を推定することができる。
【０００４】
なお、関連する技術として、特許文献２は、自車および相手車両の危険な運転に対して警報等を発して事故を未然に防止する電気自動車の制御装置を開示している。この電気自動車の制御装置は、地図データベースの自車位置データをＧＰＳデータとチェックポイント確認で修正した現在地情報に基づいて、車載レーザレーダで得られた自車周囲の物体に対する適切な危険回避制御を行う処理手段を有する。これにより、より高精度かつ確実に警報等を発することができる。
【０００５】
【特許文献１】特開２００１−３３１７８７号公報
【特許文献２】特開２００２−１７８８６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術は、カメラの位置を基準（固定）とするものであり、安価なカメラを任意の位置に後付けすることができない。そこで、カメラを、移動体の前方方向を向けて任意の場所に設置できるような技術が望まれている。
【０００７】
また、従来のナビゲーション装置では、所定の俯瞰角度が見下ろした３Ｄ地図を表示して案内を行うものも知られているが、３Ｄ地図の俯瞰角度は固定であるのでカメラで撮影した前方画像と３Ｄ地図とが一致しないという問題がある。
【０００８】
この発明は、上述した要請に応えるとともに上述した問題を解消するためになされたものであり、カメラを任意の位置に取り付けることができるとともに、カメラで撮影した前方画像と３Ｄ地図とを一致させることにより周囲状況に応じた案内を行うことができるナビゲーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係るナビゲーション装置は、現在位置を検出する位置検出手段と、位置検出手段で検出された現在位置に応じた２Ｄ地図データを取得する地図情報取得手段と、移動体が進行する方位の前方を撮像する撮像手段と、地図情報取得手段で取得された２Ｄ地図データに基づき生成される２Ｄ地図の俯瞰角度、倍率および横方向位置を調整して、撮像手段で撮像することにより得られた前方画像に一致する３Ｄ地図を生成する３Ｄ地図生成手段と、撮像手段で撮像することにより得られた前方画像および３Ｄ地図生成手段で生成された３Ｄ地図を、２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、自己の周囲状況を判定する画像照合判定手段と、画像照合判定手段により判定された周囲状況に基づき案内を行う制御手段とを備えている。
【発明の効果】
【００１０】
この発明によれば、２Ｄ地図の俯瞰角度、倍率および横方向位置を調整して、前方画像に一致する３Ｄ地図を生成するように構成したので、撮像手段としてのカメラは任意の位置に取り付けても、前方画像と同様の３Ｄ地図が得られる。また、前方画像および３Ｄ地図を２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、自己の周囲状況を判定するように構成したので、周囲状況に応じた案内を行うことができる。
【発明を実施するための最良の形態】
【００１１】
以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係るナビゲーション装置のハードウェア構成を示す図である。このナビゲーション装置は、ドライブ２０２、ＧＰＳ受信機２０３、ジャイロ２０４、車速センサ２０５、カメラ２０６、インタフェース回路２０７、ナビＥＣＵ（Electronic Control Unit ；電子制御装置）２０８、メモリ２０９、ディスプレイ２１０、スピーカ２１１および操作部２１２から構成されている。
【００１２】
ドライブ２０２は、例えばＤＶＤやハードディスクといった記録メディア２０１から地図データを読み出す。この地図データは、進行方向を上側に表示する２ＤのＨ−ＵＰ地図データ（以下、単に「２Ｄ地図データ」という）から構成されている。ドライブ２０２によって読み出された２Ｄ地図データは、インタフェース回路２０７を介してナビＥＣＵ２０８に送られる。ＧＰＳ受信機２０３は、図示しないＧＰＳ衛星から送られてくるＧＰＳ信号に基づき、このナビゲーション装置が搭載された車両の絶対位置や絶対方位を検出する。ＧＰＳ受信機２０３で検出された絶対位置や絶対方位は、ＧＰＳデータとしてインタフェース回路２０７を介してナビＥＣＵ２０８に送られる。
【００１３】
ジャイロ２０４は、旋回時の角速度を検出する。このジャイロ２０４によって検出された角速度は、インタフェース回路２０７を介してナビＥＣＵ２０８に送られる。車速センサ２０５は、車両が所定距離だけ走行したことを検出する毎に車速パルスを発生し、車速信号として出力する。この車速センサ２０５から出力される車速信号は、インタフェース回路２０７を介してナビＥＣＵ２０８に送られる。
【００１４】
カメラ２０６は、車両の進行方向の前方を撮影する。このカメラ２０６で撮影することにより得られた前方画像データは、インタフェース回路２０７を介してナビＥＣＵ２０８に送られる。この前方画像は、例えば白線検出などといった画像認識に使用される。インタフェース回路２０７は、ドライブ２０２、ＧＰＳ受信機２０３、ジャイロ２０４、車速センサ２０５およびカメラ２０６とナビＥＣＵ２０８との間の信号の送受を制御する。
【００１５】
ナビＥＣＵ２０８は、例えばマイクロコンピュータから構成されており、ナビゲーション装置の全体を制御する。例えば、ナビＥＣＵ２０８は、ドライブ２０２からの２Ｄ地図データ、ＧＰＳ受信機２０３からのＧＰＳデータ、ジャイロ２０４からの角速度、車速センサ２０５からの車速信号およびカメラ２０６からの前方画像データをメモリ２０９に書き込む。そして、このメモリ２０９の内容に基づき各種処理を実行する。
【００１６】
メモリ２０９は、上述したようにナビＥＣＵ２０８が使用するデータを一時記憶するために使用される。ディスプレイ２１０は、ナビＥＣＵ２０８からの表示データに従って各種の画像やメッセージを表示する。スピーカ２１１は、ナビＥＣＵ２０８からの音声信号に従って案内音声などを発生する。操作部２１２は、例えばリモートコントローラ、操作ボタン、タッチパネルなどから構成されており、ユーザがナビゲーション装置に対して種々の指示を与えるために使用される。
【００１７】
次に、上述したハードウェア構成を有する、この発明の実施の形態１に係るナビゲーション装置の機能的な構成を、図２に示すブロック図を参照しながら説明する。このナビゲーション装置は、撮像手段１０、地図情報取得手段１１、３Ｄ地図生成手段１２、画像照合判定手段１３、水平状態判断手段１４、自動学習手段１５、不一致区間判断手段１６、勾配角度検出手段１７、画像オブジェクト変換手段１８、他移動体判定手段１９、駐車場出入口判断手段２０、オブジェクト高さ進行判定手段２１、新設道路判断手段２２、新設道路記憶手段２３、位置方位検出手段２４、駐車場内道路記憶手段２５、駐車場エリア記憶手段２６、他移動体進路予測手段２７、車線直進走行判断手段２８、入力手段２９、経路探索手段３０、移動体推奨進路予測手段３１、移動体回避進路予測手段３２、衝突判断手段３３、移動体優先走行判断手段３４、制御手段３５および出力手段３６から構成されている。
【００１８】
撮像手段１０は、カメラ２０６に対応し、車両の前方を撮影する。この撮像手段１０で撮影することにより得られた画像は、前方画像として３Ｄ地図生成手段１２、画像照合判定手段１３および制御手段３５に送られる。地図情報取得手段１１は、ドライブ２０２に対応し、位置方位検出手段２４によって検出された現在位置から所定範囲の２Ｄ地図データを取得する。この地図情報取得手段１１で取得された２Ｄ地図データは、３Ｄ地図生成手段１２に送られる。
【００１９】
３Ｄ地図生成手段１２は、撮像手段１０で撮像された前方画像と地図情報取得手段１１で取得された２Ｄ地図データとに基づいて、自動または手動で設定された俯瞰角度、倍率および横方向位置が前方画像に一致するような３Ｄ地図を生成する。この３Ｄ地図生成手段１２で生成された３Ｄ地図は、画像照合判定手段１３、自動学習手段１５、水平状態判断手段１４および画像オブジェクト変換手段１８に送られる。
【００２０】
画像照合判定手段１３は、撮像手段１０で撮像された前方画像と３Ｄ地図生成手段１２で生成された３Ｄ地図とを、自動または手動で設定された俯瞰角度、倍率および横方向位置に基づいて、２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、経路探索手段３０から送られてくる探索経路における運転状況または道路状況を判定する。この画像照合判定手段１３における判定結果は、新設道路判断手段２２および車線直進走行判断手段２８に送られる。
【００２１】
水平状態判断手段１４は、不一致区間判断手段１６からの判断結果と３Ｄ地図生成手段１２からのデータとに基づいて、水平状態であるか否かを判断する。この水平状態判断手段１４における判断結果は、自動学習手段１５に送られる。自動学習手段１５は、水平状態判断手段１４から水平状態である旨の通知を受け取った時に、３Ｄ地図生成手段１２において３Ｄ地図を生成する際に使用された俯瞰角度、倍率および横方向位置を取得して自動で学習する。この自動学習手段１５においてなされた学習結果は、３Ｄ地図生成手段１２に送られる。
【００２２】
不一致区間判断手段１６は、水平状態判断手段１４からの判断結果に基づき前方画像と３Ｄ地図との不一致区間を求め、この求めた不一致区間が、勾配、道路幅員増減または方位ずれの何れに起因して発生したかを判断する。この不一致区間判断手段１６における判断結果は、水平状態判断手段１４および勾配角度検出手段１７に送られる。勾配角度検出手段１７は、不一致区間判断手段１６から受け取った判断結果が、勾配に起因して不一致区間が発生したことを示しているときに、前方画像および３Ｄ画像における勾配開始点を求め、画像オブジェクト変換手段１８からの前方画像のオブジェクトに基づき前方画像に一致する、自動または手動で設定された俯瞰角度、倍率および横方向位置で示された３Ｄ地図を生成し、俯瞰角度を勾配角度として検出する。この勾配角度検出手段１７で検出された勾配角度は新設道路記憶手段２３に送られる。
【００２３】
画像オブジェクト変換手段１８は、３Ｄ地図生成手段１２からの前方画像のオブジェクトを、自動または手動で設定された俯瞰角度、倍率および横方向位置に基づき２Ｄに変換して緯度および経度といった２Ｄ座標を求める。ここで、前方画像のオブジェクトとは、道路、車線、横断歩道、車両などの移動体、移動しない障害物、駐車場やトンネル出入口、信号、標識、路線看板、建物、歩道橋、架橋やガード下などをいう。この画像オブジェクト変換手段１８の出力は、勾配角度検出手段１７、他移動体判定手段１９、駐車場出入口判断手段２０およびオブジェクト高さ進行判定手段２１に送られる。
【００２４】
他移動体判定手段１９は、画像オブジェクト変換手段１８において逐次実施されるオブジェクト変換の履歴を参照してオブジェクトの座標が移動しているかどうかを調べ、オブジェクトの座標が移動していれば、そのオブジェクトは移動体であると判定する。この他移動体判定手段１９による判定結果は、他移動体進路予測手段２７に送られる。駐車場出入口判断手段２０は、画像オブジェクト変換手段１８において逐次実施されるオブジェクト変換の履歴を参照して道路または車線のオブジェクトが消失したかどうかを調べ、道路または車線のオブジェクトが消失したときは駐車場入口と判定し、道路または車線のオブジェクトが出現したときは駐車場出口と判定する。駐車場出入口判断手段２０による判定結果は、位置方位検出手段２４および駐車場エリア記憶手段２６に送られる。
【００２５】
オブジェクト高さ進行判定手段２１は、画像オブジェクト変換手段１８からのオブジェクトが駐車場、トンネル入口、歩道橋、架橋やガード下の場合は、オブジェクトの高さを検出し、あらかじめ設定されている高さを有する移動体が進行可能かどうかを判定する。このオブジェクト高さ進行判定手段２１による判定結果は、移動体推奨進路予測手段３１に送られる。
【００２６】
新設道路判断手段２２は、画像照合判定手段１３からの２Ｄの前方画像および２Ｄ地図に基づいて、前方画像の道路が新設道路かどうかを判断する。この新設道路判断手段２２により新設道路と判断された場合は、新設道路のデータが新設道路記憶手段２３に送られる。新設道路記憶手段２３は、新設道路判断手段２２から送られてくる新設道路のデータを、勾配角度検出手段１７により検出された勾配角度、画像オブジェクト変換手段１８により求められた他移動体ではないオブジェクト、不一致区間判断手段１６で求められた道路幅員増減とともに記憶する。
【００２７】
位置方位検出手段２４は、ＧＰＳ受信機２０３、ジャイロ２０４および車速センサ２０５に対応し、自車の位置および進行方位を検出する。この位置方位検出手段２４は、駐車場出入口判断手段２０において前方画像が駐車場入口であると判断されときに、マップマッチングを停止させ、一方、前方画像が駐車場出口であると判断されたときに、最近接道路に対するマップマッチングを開始させる機能を有する。位置方位検出手段２４は、検出した位置および進行方位を地図情報取得手段１１に送る。
【００２８】
駐車場内道路記憶手段２５は、マップマッチングが停止されている間の移動体軌跡の座標を位置方位検出手段２４から取得し、駐車場内道路として記憶する。この場合、新設道路判断手段２２は、画像照合判定手段１３において３Ｄ地図を、自動または手動で設定された俯瞰角度、倍率および横方向位置に基づき２Ｄ地図に変換することなく、既存の２Ｄ地図を用いるように構成できる。駐車場エリア記憶手段２６は、マップマッチングが停止されている間の前方画像の壁面を、自動または手動で設定された俯瞰角度、倍率および横方向位置に基づき２Ｄに変換することにより得られた座標を駐車場エリアとして記憶する。
【００２９】
他移動体進路予測手段２７は、他移動体判定手段１９によって判定された他移動体の今後の移動方向と距離とによって定まる移動可能領域を予測する。この他移動体進路予測手段２７による予測結果は、移動体回避進路予測手段３２に送られる。車線直進走行判断手段２８は、車線に沿っていない一時的に異なる移動方向かどうかを前方画像と３Ｄ地図とを、自動または手動で設定された俯瞰角度、倍率および横方向位置に基づいて２Ｄの前方画像および地図にそれぞれ変換した座標系で常時判断する。車線直進走行判断手段２８における判断結果は、移動体推奨進路予測手段３１に送られる。
【００３０】
入力手段２９は、操作部２１２に対応し、経路探索手段３０に対して目的地や経由地を設定するために使用される。経路探索手段３０は、入力手段２９から設定された目的地や経由地に従って経路を探索する。この経路探索手段３０で探索された経路は、画像照合判定手段１３および移動体推奨進路予測手段３１に送られる。移動体推奨進路予測手段３１は、オブジェクト高さ進行判定手段２１からの判定結果によって前方のオブジェクトを進行不可であることを判断した場合は、経路探索手段３０によって新規に探索された経路から移動体の推奨移動方向と距離の領域を予測する。この移動体推奨進路予測手段３１による予測結果は、移動体回避進路予測手段３２に送られる。
【００３１】
移動体回避進路予測手段３２は、他移動体進路予測手段２７から得た他移動体の予測進路の領域と移動しない障害物の座標とから、これらを回避した移動体の予測進路の領域を求める。この移動体回避進路予測手段３２で求められた予測進路の領域は、衝突判定手段３３に送られる。衝突判断手段３３は、移動体回避進路予測手段３２において移動体推奨進路予測手段３１で求めた領域から他移動体進路予測手段２７で求めた領域が取り除かれた領域を移動体の回避進路予測の領域として移動可能性の信頼度を再演算する。一方、回避進路の領域がない場合には、衝突の危険性があると判断して移動体の予測進路の領域を再演算する。領域はファジィを用いた時系列にセグメント化した信頼度分布として求め、所定の信頼度をしきい値として領域の加算や減算を行う。この衝突判断手段３３における判断結果は、移動体優先走行判断手段３４および制御手段３５に送られる。
【００３２】
移動体優先走行判断手段３４は、衝突判断手段３３からの判断結果に基づき、移動体の交通法規テーブルに基づき移動体および他移動体の道路関係または道路属性により優先判断を行う。すなわち、移動体が自動車である場合は、直進走行か、右折か、左折か、さらには一旦停止ではないか、などにより優先判断を行う。この移動体優先走行判断手段３４における判断結果は、制御手段３５に送られる。
【００３３】
制御手段３５は、移動体優先走行判断手段３４による移動体優先判断結果と、衝突判断手段３３による衝突の可能性の大きさとに基づき、適切な案内と制御を行う。例えば、移動体優先時には他移動体へ所定距離や所定時間のタイミングで報知や表示または通信により警告を行い、衝突の危険性が極めて高いとき、または移動体非優先時には移動体を減速または停止させる制御を行い、これら以外の場合は、移動体の推奨進路に沿った走行を続ける制御を行う。また、撮像手段１０が故障または有効に作用しない場合、所定のメッセージを生成して出力手段３６に送る。出力手段３６は、ディスプレイ２１０およびスピーカ２１１に対応し、制御手段３５からのメッセージに従って表示や音声を発生し、各種の制御ができないことをドライバに知らしめる適切な案内を行う。
【００３４】
次に、上記のように構成されるナビゲーション装置の動作を、図２に示した機能ブロック毎に説明する。
【００３５】
まず、３Ｄ地図生成手段１２の動作を、図３に示すフローチャートおよび図４〜図６に示す説明図を参照しながら説明する。３Ｄ地図は、概念的には、２Ｄ地図を、ある横方向の基軸を中心として回転させることにより、自動または手動で設定された俯瞰角度から見下ろした図として生成される。具体的には、まず、ある横方向の基軸に該当する位置における前方画像の白線レーンの幅が求められる（ステップＳＴ１０）。すなわち、図４（ａ）に示すように、地図情報取得手段１１で取得された２Ｄ地図データに基づき描かれた２Ｄ地図上に、ある横方向の基軸を設定し、この基軸に該当する、撮像手段１０から得られた前方画像上における白線レーンの幅が、２Ｄ地図データから求められる（ステップＳＴ１０）。次いで、前方画像と２Ｄ地図のスケールが同じになるように調整される（ステップＳＴ１１）。すなわち、ステップＳＴ１０で求められた白線レーンの幅に対する２Ｄ地図上の白線レーンの幅の倍率が算出され、この算出された倍率が、２Ｄ地図の道路幅に対して乗算される。これにより、図４（ｂ）に示すように、２Ｄ地図の道路幅は、前方画像の基軸の位置における道路幅と一致するように調整（図示例では拡大）される。
【００３６】
次に、中心位置の調整が行われる（ステップＳＴ１２）。すなわち、前方画像の白線レーンの幅に対する自車位置（図４（ｂ）において逆三角マークで示されている）を求め、この求められた自車位置の白線レーンの幅における左右の比率を求め、この比率の分だけ、ステップＳＴ１２で得られた２Ｄ地図の中心位置をずらす。これにより、カメラ２０６の位置によって見え方が異なる前方画像に２Ｄ地図が一致するように調整される。
【００３７】
次いで、俯瞰角度の選定が行われる（ステップＳＴ１３）。すなわち、基軸を中心に０〜９０度の範囲で俯瞰角度を順次設定し、前方画像と地図とが最も一致する俯瞰角度を選定する。俯瞰角度の選定は次のようにして行われる。すなわち、図５に示すように、デフォルトの中央値を定めておき、まず、この中央値より大きい俯瞰角度と小さい俯瞰角度とで３Ｄ地図を生成し、前方画像との一致度を調べる。例えば、中央値を４５度と定めておき、６７．５度の俯瞰角度と２２．５度の俯瞰角度とで３Ｄ地図を生成し、前方画像との一致度を調べる。ここで、例えば２２．５度の俯瞰角度で生成した３Ｄ地図の一致が高ければ、次に、２２．５度を中央値として、３３．７５度の俯瞰角度と１１．２５度の俯瞰角度とで３Ｄ地図を生成し、前方画像との一致度を調べる。以下、同様の処理を繰り返し、所定回数繰り返した時点で一致度が最も高い俯瞰角度を最終的な俯瞰角度として選定する。
【００３８】
また、この一致度の大小は、図６に示すように、前方画像の白線レーン端と３Ｄ地図の道路端とによって形成される差分領域（斜線部分）の面積の総和により決定される。すなわち、この差分領域の面積の総和が小さければ小さいほど一致度が高いと判定される。以上の処理により、図４（ｃ）に示すように、前方画像に対応する３Ｄ地図が得られる。このようにして得られた３Ｄ地図は、画像照合判定手段１３、自動学習手段１５、水平状態判断手段１４および画像オブジェクト変換手段１８に送られる。
【００３９】
なお、３Ｄ地図生成手段１２における３Ｄ地図の生成は、次のようにして行うこともできる。すなわち、まず、図７（ａ）に示すように、中心位置を求めて２Ｄ地図をずらし、次に、前方画像の白線の傾きと地図の道路縁の傾きとが最も一致する俯瞰角度を選定し、最後に、図７（ｂ）に示すように白線レーンの幅に対する２Ｄ地図上の白線レーンの幅の倍率を算出し、この算出した倍率を３Ｄ地図の道路幅に対して乗算する。以上の処理により、図７（ｃ）に示すように、前方画像に対応する３Ｄ地図が得られる。
【００４０】
次に、水平状態判断手段１４および自動学習手段１５の動作を、図８のフローチャートを参照しながら説明する。水平状態判断手段１４は、地図情報取得手段１１から３Ｄ地図生成手段１２を介して現在地周辺の地図データを取得し、この地図データに基づいて現在地周辺の道路数に対する交差点の数（交差点密度）を調べ、交差点密度が所定値以上である場合に、市街地であることを判断し、水平状態であることを自動学習手段１５に通知する（ステップＳＴ２０）。なお、水平状態判断手段１４は、位置方位検出手段２４から地図情報取得手段１１および３Ｄ地図生成手段１２を介してＧＰＳデータを受け取り、このＧＰＳデータによって示される高度の変化に基づき水平状態であるかどうかを判断するように構成できる（ステップＳＴ２１）。あるいは、水平状態判断手段１４は、地図情報取得手段１１から３Ｄ地図生成手段１２を介して現在地周辺の地図データを受け取り、この地図データに含まれる、道路や領域の傾斜角、高度、等高線等のデータに基づき水平状態であるかどうかを判断するように構成できる（ステップＳＴ２２）。
【００４１】
自動学習手段１５は、水平状態判断手段１４から水平状態であることが通知されたときに、平均化または平滑化により、学習する（ステップＳＴ２３）。この場合、自動学習手段１５は、平均化学習において重みを例えば１０倍に強めて、水平状態であると判断されたときの俯瞰角度や倍率の値を学習値として用いやすくすることができる。この自動学習手段１５においてなされた学習結果は、３Ｄ地図生成手段１２に送られ、次回の３Ｄ地図の生成に利用される。
【００４２】
次に、不一致区間判断手段１６の動作を、図９に示すフローチャートを参照しながら説明する。不一致区間判断手段１６では、まず、前方画像と３Ｄ地図とから不一致区間が求められる（ステップＳＴ３０）。次いで、前方画像の道路色（反射色）が求められる（ステップＳＴ３１）。次に、勾配であるかどうかが調べられる（ステップＳＴ３２）。具体的には、図１０（ａ）に示すように、不一致区間における前方画像の白線レーン端と３Ｄ地図の道路端とによって形成される差分領域の面積が単調減少または単調増加であり（区間Ａ）、かつ前方画像の道路色（反射色）が他の領域の道路色と異なり（区間Ａ）、かつ差分領域の面積が単調減少または単調増加する部分より先の部分（区間Ｂ）の差分領域の面積の増減がないかどうかが調べられる。ここで、上記条件が満足すれば勾配であることが判断され、その旨のデータが出力される（ステップＳＴ３３）。
【００４３】
上記ステップＳＴ３２において、勾配でないことが判断されると、次いで、道路幅員増減であるかどうかが調べられる（ステップＳＴ３４）。具体的には、図１０（ｂ）に示すように、不一致区間における前方画像の白線レーン端と３Ｄ地図の道路端とによって形成される差分領域の面積が単調減少または単調増加であり（区間Ａ）、かつ前方画像の道路色（反射色）が他の領域の道路色と同じであり（区間Ａ）、かつ差分領域の面積が単調減少または単調増加する部分より先の部分（区間Ｂ）の差分領域の面積の増減がないかどうかが調べられる。ここで、上記条件が満足すれば道路幅員増減であることが判断され、その旨のデータが出力される（ステップＳＴ３５）。
【００４４】
上記ステップＳＴ３４において、道路幅員増減でないことが判断されると、次いで、方位ずれであるかどうかが調べられる（ステップＳＴ３６）。具体的には、図１０（ｃ）に示すように、不一致区間における前方画像の左側の白線レーン端と３Ｄ地図の道路端とによって形成される差分領域の面積が単調減少または単調増加であり、右側の白線レーン端と３Ｄ地図の道路端とによって形成される差分領域の面積がその逆であるかどうかが調べられる。ここで、上記条件が満足すれば方位ずれであることが判断され、その旨のデータが出力される（ステップＳＴ３７）。以上の処理により不一致区間判断手段１６で得られた判断結果（勾配、道路幅員増減または方位ずれ）は、水平状態判断手段１４および勾配角度検出手段１７に送られる。
【００４５】
次に、勾配角度検出手段１７の動作を、図１１のフローチャートを参照しながら説明する。勾配角度検出手段１７は、不一致区間判断手段１６から勾配に起因して不一致が発生した旨のデータを受け取ると、前方画像の白線レーン端と３Ｄ地図の道路端の各勾配開始点を、後述する画像オブジェクト変換手段１８からオブジェクトの１つとして送られてくる建物の地面と天面が平行でない箇所を考慮して求める（ステップＳＴ４０）。次いで、この勾配開始点より不一致区間における前方画像または建物の地面と天面が平行でない箇所の地面に一致する、自動または手動で設定された俯瞰角度、倍率および横方向位置で示された３Ｄ地図を生成する（ステップＳＴ４１）。そして、この３Ｄ地図の生成に使用された俯瞰角度を勾配角度として検出する（ステップＳＴ４２）。
【００４６】
図１２は、勾配が存在する位置における建物の模式図と勾配角度の関係を示す図である。例えば、複数の建物を選択するといった所定の建物選定条件の下で、建物の天井面の方向を水平と判断して勾配角度を検出する。この勾配角度検出手段１７で検出された勾配角度は、新設道路記憶手段２３に送られる。なお、ステップＳＴ４１における３Ｄ地図は、図３〜図６を参照して説明した処理ロジックを用いて生成することもできる。
【００４７】
次に、画像照合判定手段１３の動作を説明する。画像照合判定手段１３は、撮像手段１０で撮影することにより得られた前方画像と３Ｄ地図生成手段１２で生成された３Ｄ地図とを、設定された俯瞰角度、倍率および横方向位置に基づいて、２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、経路探索手段３０から送られてくる探索経路における運転状況や道路状況を判定する。この画像照合判定手段１３で得られた２Ｄの前方画像および２Ｄ地図は、新設道路判断手段２２、車線直進走行判断手段２８に送られる。
【００４８】
次に、画像オブジェクト変換手段１８の動作を、図１３に示すフローチャートを参照しながら説明する。画像オブジェクト変換手段１８は、画像照合判定手段１３からの前方画像のオブジェクトを、あらかじめ設定されているパターン（道路、車線、横断歩道、車両などの移動体、移動しない障害物、駐車場やトンネル出入口、信号、標識、路線看板、建物、歩道橋、架橋やガード下等）と照合して明確化する（ステップＳＴ５０）。次いで、設定された俯瞰角度、倍率および横方向位置に基づいてオブジェクトを２Ｄに変換して緯度および経度といった２Ｄ座標を求める（ステップＳＴ５１）。
【００４９】
次いで、あらかじめ設定されている建物のパターンと照合して当該建物の地面と天面を明確化する（ステップＳＴ５２）。次いで、当該建物について設定された俯瞰角度、倍率および横方向位置から高さ方向を含めた建物の３Ｄ座標（ｘ、ｙ、ｚ）を求める（ステップＳＴ５３）。建物の天面は、通常は水平であるので傾斜がある場合は、当該建物のｚの値が異なることになる。次いで、あらかじめ設定している駐車場、トンネル入口、歩道橋、架橋やガード下のパターンと照合してそれらのオブジェクトを明確化する（ステップＳＴ５４）。そして、当該オブジェクトについて設定された俯瞰角度、倍率および横方向位置から高さ方向を含めた３Ｄ座標（ｘ、ｙ、ｚ）を求める（ステップＳＴ５５）。この画像オブジェクト変換手段１８で求められたオブジェクトの２Ｄまたは３Ｄ座標は、勾配角度検出手段１７、他移動体判定手段１９、駐車場出入口判断手段２０およびオブジェクト高さ進行判定手段２１に送られる。
【００５０】
次に、他移動体判定手段１９の動作を、図１４に示すフローチャートを参照しながら説明する。他移動体判定手段１９は、まず、画像オブジェクト変換手段１８で求めた前方画像のオブジェクトの２Ｄ座標を保存する（ステップＳＴ６０）。この保存された２Ｄ座標は駐車場出入口判断手段２０に送られる。次いで、既に保存済みの２Ｄ座標と最新の２Ｄ座標を比較し、この比較結果が所定範囲を超えればそのオブジェクトを他移動体と判断する（ステップＳＴ６１）。次いで、他移動体の移動ベクトル（方向、距離）を求める（ステップＳＴ６２）。図１５は、他移動体および移動しない障害物の状況を示す模式図である。この他移動体判定手段１９によって求められた他移動体の移動ベクトルは、他移動体進路予測手段２７に送られる。なお、前方画像のオブジェクトについて建物パターンを照合させ、当該建物オブジェクト付近から子供などの飛び出しの可能性があるものを「他移動体」とあらかじめ定義しておいてもよい。
【００５１】
次に、駐車場出入口判断手段２０の動作を説明する。駐車場出入口判断手段２０は、他移動体判定手段１９から送られてくる道路および車線の２Ｄ座標と最新の道路および車線の２Ｄ座標を比較し、図１６の駐車場出入の状況を示す模式図に示すように、道路および車線のオブジェクトが消失したときは駐車場入口と判断し、道路および車線のオブジェクトが出現したときは駐車場出口と判定する。この駐車場出入口判断手段２０による判定結果は、位置方位検出手段２４および駐車場エリア記憶手段２６に送られる。なお、駐車場出入口判断手段２０では、前方画像の道路および車線が認識不可能になったことにより駐車場入口と判断し、前方画像の道路および車線が認識可能になったことにより駐車場出口と判断するように構成することができる。
【００５２】
次に、オブジェクト高さ進行判定手段２１の動作を説明する。オブジェクト高さ進行判定手段２１は、画像オブジェクト変換手段１８で求められた駐車場やトンネル入口、歩道橋、架橋やガード下の高さと幅より、あらかじめ高さと幅が設定されている移動体が進行可能かどうかを判定する。図１７は、移動体の大きさと駐車場やトンネル入口などの高さや幅との関係を示した模式図である。このオブジェクト高さ進行判定手段２１による判定結果は、移動体推奨進路予測手段３１に送られる。
【００５３】
次に、新設道路判断手段２２の動作を説明する。新設道路判断手段２２は、記憶エリアに空きがなければ、最も古く記憶した新設道路を削除した上で、画像照合判定手段１３からの２Ｄの前方画像の白線レーン座標と２Ｄ地図の道路端がなす面積の総和を求め、地図データの道路長単位の面積率が一定値より大きければ、前方画像の道路は新設道路と判断する。図１８は、面積判断の一例を示す模式図である。
【００５４】
次に、新設道路記憶手段２３の動作を説明する。新設道路記憶手段２３は、新設道路判断手段２２により判断された新設道路を、勾配角度検出手段１７により検出された勾配角度、画像オブジェクト変換手段１８により求めた他移動体ではないオブジェクトおよび不一致区間判断手段１６で求められた道路幅員増減とともに記憶する。
【００５５】
次に、位置方位検出手段２４の動作を、図１９に示すフローチャートを参照しながら説明する。位置方位検出手段２４は、駐車場出入口判断手段２０からの判断結果に基づいて前方画像が駐車場入口であるかどうかを調べる（ステップＳＴ７０）。そして、駐車場入口であることを判断し場合は、駐車場の属性ではない道路にマップマッチング中であればマップマッチングを解除する（ステップＳＴ７１）。上記ステップＳＴ７０において、駐車場入口でないことを判断した場合は、駐車場出入口判断手段２０からの判断結果に基づいて前方画像が駐車場出口であるかどうかを調べる（ステップＳＴ７２）。そして、駐車場出口であることを判断した場合は、方向の一致する最近接道路にマップマッチングする（ステップＳＴ７３）。図２０は、駐車場出入口におけるマップマッチングの解除および開始の状況を示す模式図である。なお、マップマッチングの相関度や重み付けの値は、適宜変更するように構成できる。
【００５６】
次に、駐車場内道路記憶手段２５の動作を説明する。駐車場内道路記憶手段２５は、記憶エリアに空きがなければ、最も古く記憶した駐車場内道路を削除した上で、位置方位検出手段２４でマップマッチングを解除されている間に、図２１に示すように、位置方位検出手段２４からの位置データに基づいて、移動体軌跡の座標について折れ線近似の編集を行って駐車場内道路として記憶する。
【００５７】
次に、駐車場エリア記憶手段２６の動作を説明する。駐車場エリア記憶手段２６は、記憶エリアに空きがなければ、最も古く記憶した駐車場エリアを削除した上で、位置方位検出手段２４でマップマッチングが解除されている間に、前方画像の壁面と道路の境界縁を、設定された俯瞰角度、倍率および横方向位置に基づいて前方画像を２Ｄに変換することにより得られた座標に基づいて算出し、駐車場エリアとして記憶する。図２２は、駐車場の壁面と道路の境界縁および駐車場エリアの例を示す模式図である。これにより、過去に走行した駐車場エリアを表示させることができ、また、夜間や激しい暴風雨時など、カメラ２０６による前方画像が認識できない場合に、位置方位検出手段２４の機能を有効に動作させることができる。
【００５８】
次に、他移動体進路予測手段２７の動作を、図２３に示すフローチャートおよび図２４に示す説明図を参照しながら説明する。他移動体進路予測手段２７は、他移動体判定手段１９により判定された他移動体の移動ベクトル（方位、距離）をそのまま加算することにより、他移動体が移動する可能性が最も高いベクトルを求める（ステップＳＴ８０）。次いで、最大減速に伴う最小回転範囲を考慮した左右のベクトルを加算し、図２４に示すような移動可能領域を求める（ステップＳＴ８１）。移動可能範囲は、図２４に示すように、他移動体が高速移動であれば狭くなる。
【００５９】
次いで、過去の移動ベクトルの方位と距離に関する各推移状況が安定度として算出される（ステップＳＴ８２）。そして、図２４に破線でＺ軸方向に示すように、移動可能領域における移動可能性の信頼度が所定のセグメント毎に求められる（ステップＳＴ８３）。セグメントは、例えば所定の移動予測距離によって定義される。過去の移動が、直進方向の移動であって安定した高速走行であれば移動可能領域における直進方向の移動可能性の信頼度が高くなり、また、旋回を繰り返す移動であって低速または速度変化が大きい移動であれば移動可能領域の全体への移動可能性の信頼度が高くなる。なお、図２４は、遠い時間（距離）になるに連れて信頼度が低下していき、車線逸脱ではさらに信頼度が低下する様子を示している。この他移動体進路予測手段２７による予測結果は、移動体回避進路予測手段３２に送られる。
【００６０】
次に、車線直進走行判定手段２８の動作を、図２５のフローチャートおよび図２６に示す説明図を参照しながら説明する。車線直進走行判定手段２８は、画像照合判定手段１３からの前方画像と３Ｄ地図を、設定された俯瞰角度、倍率および横方向位置に基づいて変換することにより２Ｄの前方画像および２Ｄ地図の座標系を求める（ステップＳＴ９０）。次いで、図２６に示すように、２Ｄの前方画像および２Ｄ地図の各々の道路の中央の座標を求めて道路線を作成し、この作成した道路線を所定距離毎の線分に区切る（ステップＳＴ９１）。
【００６１】
次いで、図２６に示すように、２Ｄの前方画像上で移動体に最も近い基準点αおよび２Ｄ地図上で移動体に最も近い基準点ａをそれぞれ定め、両基準点αおよびａから延びている線分の方位差を求めて、この方位差分だけ２Ｄの前方画像上および２Ｄ地図上の何れかを回転させて重ね合わせる（ステップＳＴ９２）。次いで、所定割合以上の数の線分が所定誤差内で一致するかどうかが調べられる（ステップＳＴ９３）。ここで、一致しないことが判断されると、位置方位検出手段２４が検出した移動体の位置が誤っている場合があるため、２Ｄの前方画像上の基準点（例えばａ）を次の基準点（例えばｂ）に移し、シーケンスはステップＳＴ９２に戻る。一方、ステップＳＴ９３において一致することが判断されると、方位差が保存される（ステップＳＴ９４）。次いで、過去の方位差の履歴より、一時的な方位ずれであるかどうかが判断される（ステップＳＴ９５）。なお、図２６に示した例では、２Ｄ地図上の基準点ｃが選択された時に、所定割合以上の数の線分が所定誤差内で一致する。
【００６２】
なお、上述した処理では、３Ｄ地図から２Ｄ地図の座標系を求めて道路線を作成するようにしたが、あらかじめ演算されている２Ｄ地図の地図データの道路線を用いるようにできる。また、ステップＳＴ９３において、所定角度以上の方位差が継続する場合は、その方位差を位置方位検出手段２４に通知し、検出されている移動体の方位を補正するようにできる。さらに、ステップＳＴ９４で方位差を保存したときの基準点を位置方位検出手段２４に通知し、検出されている移動体の位置を補正するようにすることもできる。
【００６３】
次に、移動体推奨進路予測手段３１の動作を、図２７に示すフローチャートおよび図２８に示す説明図を参照しながら説明する。移動体推奨進路予測手段３１は、オブジェクト高さ進行判定手段２１から送られてくる判定結果が移動体の進行が不可能な地点であることを示していれば、これを経路探索手段３０に設定して新規に探索経路を求める（ステップＳＴ１００）。次いで、探索経路より移動体の推奨移動方向と距離とを含む推奨移動領域を予測する（ステップＳＴ１０１）。
【００６４】
なお、移動体推奨進路予測手段３１では、図２８に示すように、基本的には他移動体進路予測手段２７における移動可能領域と同様に、移動体の推奨移動方向と距離によって推奨移動領域を算出し、その推奨移動領域の中央部分の移動可能性の信頼度を高めるような処理が行われる。このとき、推奨移動領域が移動体の大きさにより移動可能かどうかも同時に判断される。また、移動体が車線またはレーンを跨ぐ場合は、早い時点で跨ぐほうが安全であるため、推奨移動領域の移動体に近い部分の移動可能性の信頼度を高めるように処理される。また、右左折を行う場合は、右左折開始前において最も右側または左側の車線またはレーンの領域を優先して移動可能性の信頼度を高める処理がなされ、その領域の範囲は前方画像で認識できていれば、その車線またはレーンの範囲が優先して有効とされる。さらに、地図データにある車線またはレーンの範囲を有効と定めるか、または地図データの信頼性が低ければ最も右側または左側の車線またはレーンの領域のみを有効と定める。
【００６５】
次に、移動体回避進路予測手段３２の動作を説明する。移動体回避進路予測手段３２は、移動体推奨進路予測手段３１から得た移動体の推奨移動領域から、他移動体進路予測手段２７から得た他移動体の移動可能領域と移動しない障害物の領域とを減算して移動体回避進路の予測領域を求める。なお、移動しない障害物についての信頼度は、その障害物が存在する領域では一律に最大値を設定し、その障害物の周囲の所定領域では障害物から離れるに連れて信頼度が低下するように決定する。
【００６６】
次に、衝突判断手段３３の動作を説明する。衝突判断手段３３は、移動体回避進路予測手段３２から得た移動体回避進路の予測領域について移動体が移動可能かどうかを判断して移動可能性の信頼度を再演算する。そして、移動可能でない場合は、移動体は停止する進路予測となる。以上の各領域については、ファジィを用いた時系列にセグメント化した信頼度分布を求め、所定の信頼度をしきい値として領域の加算や減算が行われる。図２９は、障害物を回避した予測領域と信頼度の例について示したものであり、図３０は、他移動体を回避した予測領域と信頼度の例について示したものである。
【００６７】
次に、移動体優先走行判断手段３４の動作を説明する。移動体優先走行判断手段３４は、衝突判断手段３３からの判断結果に応じて、移動体の交通法規テーブルに基づき移動体および他移動体の道路上での位置関係、幅員、車線数、国道などの属性により優先判断を行う。すなわち、移動体が自動車である場合は、右左折に対して直進が優先である、または左方優先である、一旦停止に対して規制無しが優先である、などといった優先判断を行う。
【００６８】
次に、制御手段３５の動作を説明する。制御手段３５は、移動体優先走行判断手段３４による移動体優先判断結果と、衝突判断手段３３による衝突の可能性の大きさより、適切な案内と制御を行う。適切な案内と制御とは、移動体優先時には他移動体に対し、所定距離や所定時間のタイミングで報知や表示または通信により警告を行うものである。また、衝突の危険性が極めて高いとき、または移動体非優先時には移動体を減速または停止させる制御を行うものである。さらに、これら以外の場合は、移動体の推奨進路に沿った走行を続ける制御を行うものである。
【００６９】
また、制御手段３５は、撮像手段が故障または有効に作用しない場合、ドライバへ各種の制御ができないことを表示や音声で知らしめる適切な案内を行う。また、移動体の移動方向および距離をユーザに表示または音声で知らしめる。また、移動体の移動方向および距離をハンドル、ブレーキ、アクセル等の車両制御機器に通知して自動運転を行う。撮像手段が故障または有効に作用しない場合、ドライバへ各種の制御ができないことを表示や音声で知らしめる適切な案内を行う。
【図面の簡単な説明】
【００７０】
【図１】この発明の実施の形態１に係るナビゲーション装置のハードウェア構成を示す図である。
【図２】この発明の実施の形態１に係るナビゲーション装置の機能的な構成を示すブロック図である。
【図３】図２に示す３Ｄ地図生成手段の動作を示すフローチャートである。
【図４】図２に示す３Ｄ地図生成手段における処理手順を説明するための図である。
【図５】図２に示す３Ｄ地図生成手段における俯瞰角度の選定処理を説明するための図である。
【図６】図２に示す３Ｄ地図生成手段における一致度の判定処理を説明するための図である。
【図７】図２に示す３Ｄ地図生成手段における他の処理手順を説明するための図である。
【図８】図２に示す自動学習手段の動作を示すフローチャートである。
【図９】図２に示す不一致区間判断手段の動作を示すフローチャートである。
【図１０】図２に示す不一致区間判断手段における処理を説明するための図である。
【図１１】図２に示す勾配角度検出手段の動作を示すフローチャートである。
【図１２】図２に示す勾配角度検出手段における処理を説明するための図である。
【図１３】図２に示す画像オブジェクト変換手段の動作を示すフローチャートである。
【図１４】図２に示す他移動体判定手段の動作を示すフローチャートである。
【図１５】図２に示す他移動体判定手段における処理を説明するための図である。
【図１６】図２に示す駐車場出入口判定手段における処理を説明するための図である。
【図１７】図２に示すオブジェクト高さ進行判定手段における処理を説明するための図である。
【図１８】図２に示す新設道路判断手段における処理を説明するための図である。
【図１９】図２に示す位置方位検出手段の動作を示すフローチャートである。
【図２０】図２に示す位置方位検出手段における処理を説明するための図である。
【図２１】図２に示す駐車場内道路記憶手段における処理を説明するための図である。
【図２２】図２に示す駐車場エリア記憶手段における処理を説明するための図である。
【図２３】図２に示す他移動体進路予測手段の動作を示すフローチャートである。
【図２４】図２に示す他移動体進路予測手段における処理を説明するための図である。
【図２５】図２に示す車線直進走行判定手段の動作を示すフローチャートである。
【図２６】図２に示す車線直進走行判定手段における処理を説明するための図である。
【図２７】図２に示す移動体推奨進路予測手段の動作を示すフローチャートである。
【図２８】図２に示す移動体推奨進路予測手段における処理を説明するための図である。
【図２９】図２に示す衝突判断手段における処理を説明するための図である。
【図３０】図２に示す衝突判断手段における処理を説明するための図である。
【符号の説明】
【００７１】
１０ 撮像手段１０、１１ 地図情報取得手段、１２ ３Ｄ地図生成手段、１３ 画像照合判定手段、１４ 水平状態判断手段、１５ 自動学習手段、１６ 不一致区間判断手段、１７ 勾配角度検出手段、１８ 画像オブジェクト変換手段、１９ 他移動体判定手段、２０ 駐車場出入口判断手段、２１ オブジェクト高さ進行判定手段、２２ 新設道路判断手段、２３ 新設道路記憶手段、２４ 位置方位検出手段（位置検出手段）、２５ 駐車場内道路記憶手段、２６ 駐車場エリア記憶手段、２７ 他移動体進路予測手段、２８ 車線直進走行判断手段、２９ 入力手段、３０ 経路探索手段、３１ 移動体推奨進路予測手段、３２ 移動体回避進路予測手段、３３ 衝突判断手段、３４ 移動体優先走行判断手段、３５ 制御手段、３６ 出力手段、２０１ 記録メディア、２０２ ドライブ、２０３ ＧＰＳ受信機、２０４ ジャイロ、２０５ 車速センサ、２０６ カメラ、２０７ インタフェース回路、２０８ ナビＥＣＵ、２０９ メモリ、２１０ ディスプレイ、２１１ スピーカ、２１２ 操作部。
【技術分野】
【０００１】
この発明は、ナビゲーション装置に関し、特にカメラで撮影することにより得られた三次元（以下、「３Ｄ」という）の画像と二次元（以下、「２Ｄ」という）の地図データとを用いて種々の案内や制御を行う技術に関する。
【背景技術】
【０００２】
従来、自車両の前景を撮像する単眼カメラ画像より抽出した道路形状（または、レーダのレーダ信号から推定した道路形状）と、通常のデジタル道路地図の道路形状とを照合することにより、走行中の道路又はレーンの概略的な形状を推定する道路形状推定装置が知られている（例えば、特許文献１参照）。
【０００３】
この道路形状推定装置においては、道路画像取得手段は画像中にある道路形状を抽出するものであり、白線や道路端を画像処理によって抽出する。白線抽出の方法は、前方画像をモノクロに変換し微分フィルタによって輝度変化を取得し、輝度変化が大きい部分を白線として抽出を行う方法等がある。道路地図取得手段は、取得した地図情報から自車両が走行する道路端の座標点を道路形状として抽出する。画像道路情報と地図道路情報を用い、三次元道路形状を推定すれば、画像の投影誤差を排除し、単体で推定するよりも精度よく道路形状を推定することができる。
【０００４】
なお、関連する技術として、特許文献２は、自車および相手車両の危険な運転に対して警報等を発して事故を未然に防止する電気自動車の制御装置を開示している。この電気自動車の制御装置は、地図データベースの自車位置データをＧＰＳデータとチェックポイント確認で修正した現在地情報に基づいて、車載レーザレーダで得られた自車周囲の物体に対する適切な危険回避制御を行う処理手段を有する。これにより、より高精度かつ確実に警報等を発することができる。
【０００５】
【特許文献１】特開２００１−３３１７８７号公報
【特許文献２】特開２００２−１７８８６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された技術は、カメラの位置を基準（固定）とするものであり、安価なカメラを任意の位置に後付けすることができない。そこで、カメラを、移動体の前方方向を向けて任意の場所に設置できるような技術が望まれている。
【０００７】
また、従来のナビゲーション装置では、所定の俯瞰角度が見下ろした３Ｄ地図を表示して案内を行うものも知られているが、３Ｄ地図の俯瞰角度は固定であるのでカメラで撮影した前方画像と３Ｄ地図とが一致しないという問題がある。
【０００８】
この発明は、上述した要請に応えるとともに上述した問題を解消するためになされたものであり、カメラを任意の位置に取り付けることができるとともに、カメラで撮影した前方画像と３Ｄ地図とを一致させることにより周囲状況に応じた案内を行うことができるナビゲーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係るナビゲーション装置は、現在位置を検出する位置検出手段と、位置検出手段で検出された現在位置に応じた２Ｄ地図データを取得する地図情報取得手段と、移動体が進行する方位の前方を撮像する撮像手段と、地図情報取得手段で取得された２Ｄ地図データに基づき生成される２Ｄ地図の俯瞰角度、倍率および横方向位置を調整して、撮像手段で撮像することにより得られた前方画像に一致する３Ｄ地図を生成する３Ｄ地図生成手段と、撮像手段で撮像することにより得られた前方画像および３Ｄ地図生成手段で生成された３Ｄ地図を、２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、自己の周囲状況を判定する画像照合判定手段と、画像照合判定手段により判定された周囲状況に基づき案内を行う制御手段とを備えている。
【発明の効果】
【００１０】
この発明によれば、２Ｄ地図の俯瞰角度、倍率および横方向位置を調整して、前方画像に一致する３Ｄ地図を生成するように構成したので、撮像手段としてのカメラは任意の位置に取り付けても、前方画像と同様の３Ｄ地図が得られる。また、前方画像および３Ｄ地図を２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、自己の周囲状況を判定するように構成したので、周囲状況に応じた案内を行うことができる。
【発明を実施するための最良の形態】
【００１１】
以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係るナビゲーション装置のハードウェア構成を示す図である。このナビゲーション装置は、ドライブ２０２、ＧＰＳ受信機２０３、ジャイロ２０４、車速センサ２０５、カメラ２０６、インタフェース回路２０７、ナビＥＣＵ（Electronic Control Unit ；電子制御装置）２０８、メモリ２０９、ディスプレイ２１０、スピーカ２１１および操作部２１２から構成されている。
【００１２】
ドライブ２０２は、例えばＤＶＤやハードディスクといった記録メディア２０１から地図データを読み出す。この地図データは、進行方向を上側に表示する２ＤのＨ−ＵＰ地図データ（以下、単に「２Ｄ地図データ」という）から構成されている。ドライブ２０２によって読み出された２Ｄ地図データは、インタフェース回路２０７を介してナビＥＣＵ２０８に送られる。ＧＰＳ受信機２０３は、図示しないＧＰＳ衛星から送られてくるＧＰＳ信号に基づき、このナビゲーション装置が搭載された車両の絶対位置や絶対方位を検出する。ＧＰＳ受信機２０３で検出された絶対位置や絶対方位は、ＧＰＳデータとしてインタフェース回路２０７を介してナビＥＣＵ２０８に送られる。
【００１３】
ジャイロ２０４は、旋回時の角速度を検出する。このジャイロ２０４によって検出された角速度は、インタフェース回路２０７を介してナビＥＣＵ２０８に送られる。車速センサ２０５は、車両が所定距離だけ走行したことを検出する毎に車速パルスを発生し、車速信号として出力する。この車速センサ２０５から出力される車速信号は、インタフェース回路２０７を介してナビＥＣＵ２０８に送られる。
【００１４】
カメラ２０６は、車両の進行方向の前方を撮影する。このカメラ２０６で撮影することにより得られた前方画像データは、インタフェース回路２０７を介してナビＥＣＵ２０８に送られる。この前方画像は、例えば白線検出などといった画像認識に使用される。インタフェース回路２０７は、ドライブ２０２、ＧＰＳ受信機２０３、ジャイロ２０４、車速センサ２０５およびカメラ２０６とナビＥＣＵ２０８との間の信号の送受を制御する。
【００１５】
ナビＥＣＵ２０８は、例えばマイクロコンピュータから構成されており、ナビゲーション装置の全体を制御する。例えば、ナビＥＣＵ２０８は、ドライブ２０２からの２Ｄ地図データ、ＧＰＳ受信機２０３からのＧＰＳデータ、ジャイロ２０４からの角速度、車速センサ２０５からの車速信号およびカメラ２０６からの前方画像データをメモリ２０９に書き込む。そして、このメモリ２０９の内容に基づき各種処理を実行する。
【００１６】
メモリ２０９は、上述したようにナビＥＣＵ２０８が使用するデータを一時記憶するために使用される。ディスプレイ２１０は、ナビＥＣＵ２０８からの表示データに従って各種の画像やメッセージを表示する。スピーカ２１１は、ナビＥＣＵ２０８からの音声信号に従って案内音声などを発生する。操作部２１２は、例えばリモートコントローラ、操作ボタン、タッチパネルなどから構成されており、ユーザがナビゲーション装置に対して種々の指示を与えるために使用される。
【００１７】
次に、上述したハードウェア構成を有する、この発明の実施の形態１に係るナビゲーション装置の機能的な構成を、図２に示すブロック図を参照しながら説明する。このナビゲーション装置は、撮像手段１０、地図情報取得手段１１、３Ｄ地図生成手段１２、画像照合判定手段１３、水平状態判断手段１４、自動学習手段１５、不一致区間判断手段１６、勾配角度検出手段１７、画像オブジェクト変換手段１８、他移動体判定手段１９、駐車場出入口判断手段２０、オブジェクト高さ進行判定手段２１、新設道路判断手段２２、新設道路記憶手段２３、位置方位検出手段２４、駐車場内道路記憶手段２５、駐車場エリア記憶手段２６、他移動体進路予測手段２７、車線直進走行判断手段２８、入力手段２９、経路探索手段３０、移動体推奨進路予測手段３１、移動体回避進路予測手段３２、衝突判断手段３３、移動体優先走行判断手段３４、制御手段３５および出力手段３６から構成されている。
【００１８】
撮像手段１０は、カメラ２０６に対応し、車両の前方を撮影する。この撮像手段１０で撮影することにより得られた画像は、前方画像として３Ｄ地図生成手段１２、画像照合判定手段１３および制御手段３５に送られる。地図情報取得手段１１は、ドライブ２０２に対応し、位置方位検出手段２４によって検出された現在位置から所定範囲の２Ｄ地図データを取得する。この地図情報取得手段１１で取得された２Ｄ地図データは、３Ｄ地図生成手段１２に送られる。
【００１９】
３Ｄ地図生成手段１２は、撮像手段１０で撮像された前方画像と地図情報取得手段１１で取得された２Ｄ地図データとに基づいて、自動または手動で設定された俯瞰角度、倍率および横方向位置が前方画像に一致するような３Ｄ地図を生成する。この３Ｄ地図生成手段１２で生成された３Ｄ地図は、画像照合判定手段１３、自動学習手段１５、水平状態判断手段１４および画像オブジェクト変換手段１８に送られる。
【００２０】
画像照合判定手段１３は、撮像手段１０で撮像された前方画像と３Ｄ地図生成手段１２で生成された３Ｄ地図とを、自動または手動で設定された俯瞰角度、倍率および横方向位置に基づいて、２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、経路探索手段３０から送られてくる探索経路における運転状況または道路状況を判定する。この画像照合判定手段１３における判定結果は、新設道路判断手段２２および車線直進走行判断手段２８に送られる。
【００２１】
水平状態判断手段１４は、不一致区間判断手段１６からの判断結果と３Ｄ地図生成手段１２からのデータとに基づいて、水平状態であるか否かを判断する。この水平状態判断手段１４における判断結果は、自動学習手段１５に送られる。自動学習手段１５は、水平状態判断手段１４から水平状態である旨の通知を受け取った時に、３Ｄ地図生成手段１２において３Ｄ地図を生成する際に使用された俯瞰角度、倍率および横方向位置を取得して自動で学習する。この自動学習手段１５においてなされた学習結果は、３Ｄ地図生成手段１２に送られる。
【００２２】
不一致区間判断手段１６は、水平状態判断手段１４からの判断結果に基づき前方画像と３Ｄ地図との不一致区間を求め、この求めた不一致区間が、勾配、道路幅員増減または方位ずれの何れに起因して発生したかを判断する。この不一致区間判断手段１６における判断結果は、水平状態判断手段１４および勾配角度検出手段１７に送られる。勾配角度検出手段１７は、不一致区間判断手段１６から受け取った判断結果が、勾配に起因して不一致区間が発生したことを示しているときに、前方画像および３Ｄ画像における勾配開始点を求め、画像オブジェクト変換手段１８からの前方画像のオブジェクトに基づき前方画像に一致する、自動または手動で設定された俯瞰角度、倍率および横方向位置で示された３Ｄ地図を生成し、俯瞰角度を勾配角度として検出する。この勾配角度検出手段１７で検出された勾配角度は新設道路記憶手段２３に送られる。
【００２３】
画像オブジェクト変換手段１８は、３Ｄ地図生成手段１２からの前方画像のオブジェクトを、自動または手動で設定された俯瞰角度、倍率および横方向位置に基づき２Ｄに変換して緯度および経度といった２Ｄ座標を求める。ここで、前方画像のオブジェクトとは、道路、車線、横断歩道、車両などの移動体、移動しない障害物、駐車場やトンネル出入口、信号、標識、路線看板、建物、歩道橋、架橋やガード下などをいう。この画像オブジェクト変換手段１８の出力は、勾配角度検出手段１７、他移動体判定手段１９、駐車場出入口判断手段２０およびオブジェクト高さ進行判定手段２１に送られる。
【００２４】
他移動体判定手段１９は、画像オブジェクト変換手段１８において逐次実施されるオブジェクト変換の履歴を参照してオブジェクトの座標が移動しているかどうかを調べ、オブジェクトの座標が移動していれば、そのオブジェクトは移動体であると判定する。この他移動体判定手段１９による判定結果は、他移動体進路予測手段２７に送られる。駐車場出入口判断手段２０は、画像オブジェクト変換手段１８において逐次実施されるオブジェクト変換の履歴を参照して道路または車線のオブジェクトが消失したかどうかを調べ、道路または車線のオブジェクトが消失したときは駐車場入口と判定し、道路または車線のオブジェクトが出現したときは駐車場出口と判定する。駐車場出入口判断手段２０による判定結果は、位置方位検出手段２４および駐車場エリア記憶手段２６に送られる。
【００２５】
オブジェクト高さ進行判定手段２１は、画像オブジェクト変換手段１８からのオブジェクトが駐車場、トンネル入口、歩道橋、架橋やガード下の場合は、オブジェクトの高さを検出し、あらかじめ設定されている高さを有する移動体が進行可能かどうかを判定する。このオブジェクト高さ進行判定手段２１による判定結果は、移動体推奨進路予測手段３１に送られる。
【００２６】
新設道路判断手段２２は、画像照合判定手段１３からの２Ｄの前方画像および２Ｄ地図に基づいて、前方画像の道路が新設道路かどうかを判断する。この新設道路判断手段２２により新設道路と判断された場合は、新設道路のデータが新設道路記憶手段２３に送られる。新設道路記憶手段２３は、新設道路判断手段２２から送られてくる新設道路のデータを、勾配角度検出手段１７により検出された勾配角度、画像オブジェクト変換手段１８により求められた他移動体ではないオブジェクト、不一致区間判断手段１６で求められた道路幅員増減とともに記憶する。
【００２７】
位置方位検出手段２４は、ＧＰＳ受信機２０３、ジャイロ２０４および車速センサ２０５に対応し、自車の位置および進行方位を検出する。この位置方位検出手段２４は、駐車場出入口判断手段２０において前方画像が駐車場入口であると判断されときに、マップマッチングを停止させ、一方、前方画像が駐車場出口であると判断されたときに、最近接道路に対するマップマッチングを開始させる機能を有する。位置方位検出手段２４は、検出した位置および進行方位を地図情報取得手段１１に送る。
【００２８】
駐車場内道路記憶手段２５は、マップマッチングが停止されている間の移動体軌跡の座標を位置方位検出手段２４から取得し、駐車場内道路として記憶する。この場合、新設道路判断手段２２は、画像照合判定手段１３において３Ｄ地図を、自動または手動で設定された俯瞰角度、倍率および横方向位置に基づき２Ｄ地図に変換することなく、既存の２Ｄ地図を用いるように構成できる。駐車場エリア記憶手段２６は、マップマッチングが停止されている間の前方画像の壁面を、自動または手動で設定された俯瞰角度、倍率および横方向位置に基づき２Ｄに変換することにより得られた座標を駐車場エリアとして記憶する。
【００２９】
他移動体進路予測手段２７は、他移動体判定手段１９によって判定された他移動体の今後の移動方向と距離とによって定まる移動可能領域を予測する。この他移動体進路予測手段２７による予測結果は、移動体回避進路予測手段３２に送られる。車線直進走行判断手段２８は、車線に沿っていない一時的に異なる移動方向かどうかを前方画像と３Ｄ地図とを、自動または手動で設定された俯瞰角度、倍率および横方向位置に基づいて２Ｄの前方画像および地図にそれぞれ変換した座標系で常時判断する。車線直進走行判断手段２８における判断結果は、移動体推奨進路予測手段３１に送られる。
【００３０】
入力手段２９は、操作部２１２に対応し、経路探索手段３０に対して目的地や経由地を設定するために使用される。経路探索手段３０は、入力手段２９から設定された目的地や経由地に従って経路を探索する。この経路探索手段３０で探索された経路は、画像照合判定手段１３および移動体推奨進路予測手段３１に送られる。移動体推奨進路予測手段３１は、オブジェクト高さ進行判定手段２１からの判定結果によって前方のオブジェクトを進行不可であることを判断した場合は、経路探索手段３０によって新規に探索された経路から移動体の推奨移動方向と距離の領域を予測する。この移動体推奨進路予測手段３１による予測結果は、移動体回避進路予測手段３２に送られる。
【００３１】
移動体回避進路予測手段３２は、他移動体進路予測手段２７から得た他移動体の予測進路の領域と移動しない障害物の座標とから、これらを回避した移動体の予測進路の領域を求める。この移動体回避進路予測手段３２で求められた予測進路の領域は、衝突判定手段３３に送られる。衝突判断手段３３は、移動体回避進路予測手段３２において移動体推奨進路予測手段３１で求めた領域から他移動体進路予測手段２７で求めた領域が取り除かれた領域を移動体の回避進路予測の領域として移動可能性の信頼度を再演算する。一方、回避進路の領域がない場合には、衝突の危険性があると判断して移動体の予測進路の領域を再演算する。領域はファジィを用いた時系列にセグメント化した信頼度分布として求め、所定の信頼度をしきい値として領域の加算や減算を行う。この衝突判断手段３３における判断結果は、移動体優先走行判断手段３４および制御手段３５に送られる。
【００３２】
移動体優先走行判断手段３４は、衝突判断手段３３からの判断結果に基づき、移動体の交通法規テーブルに基づき移動体および他移動体の道路関係または道路属性により優先判断を行う。すなわち、移動体が自動車である場合は、直進走行か、右折か、左折か、さらには一旦停止ではないか、などにより優先判断を行う。この移動体優先走行判断手段３４における判断結果は、制御手段３５に送られる。
【００３３】
制御手段３５は、移動体優先走行判断手段３４による移動体優先判断結果と、衝突判断手段３３による衝突の可能性の大きさとに基づき、適切な案内と制御を行う。例えば、移動体優先時には他移動体へ所定距離や所定時間のタイミングで報知や表示または通信により警告を行い、衝突の危険性が極めて高いとき、または移動体非優先時には移動体を減速または停止させる制御を行い、これら以外の場合は、移動体の推奨進路に沿った走行を続ける制御を行う。また、撮像手段１０が故障または有効に作用しない場合、所定のメッセージを生成して出力手段３６に送る。出力手段３６は、ディスプレイ２１０およびスピーカ２１１に対応し、制御手段３５からのメッセージに従って表示や音声を発生し、各種の制御ができないことをドライバに知らしめる適切な案内を行う。
【００３４】
次に、上記のように構成されるナビゲーション装置の動作を、図２に示した機能ブロック毎に説明する。
【００３５】
まず、３Ｄ地図生成手段１２の動作を、図３に示すフローチャートおよび図４〜図６に示す説明図を参照しながら説明する。３Ｄ地図は、概念的には、２Ｄ地図を、ある横方向の基軸を中心として回転させることにより、自動または手動で設定された俯瞰角度から見下ろした図として生成される。具体的には、まず、ある横方向の基軸に該当する位置における前方画像の白線レーンの幅が求められる（ステップＳＴ１０）。すなわち、図４（ａ）に示すように、地図情報取得手段１１で取得された２Ｄ地図データに基づき描かれた２Ｄ地図上に、ある横方向の基軸を設定し、この基軸に該当する、撮像手段１０から得られた前方画像上における白線レーンの幅が、２Ｄ地図データから求められる（ステップＳＴ１０）。次いで、前方画像と２Ｄ地図のスケールが同じになるように調整される（ステップＳＴ１１）。すなわち、ステップＳＴ１０で求められた白線レーンの幅に対する２Ｄ地図上の白線レーンの幅の倍率が算出され、この算出された倍率が、２Ｄ地図の道路幅に対して乗算される。これにより、図４（ｂ）に示すように、２Ｄ地図の道路幅は、前方画像の基軸の位置における道路幅と一致するように調整（図示例では拡大）される。
【００３６】
次に、中心位置の調整が行われる（ステップＳＴ１２）。すなわち、前方画像の白線レーンの幅に対する自車位置（図４（ｂ）において逆三角マークで示されている）を求め、この求められた自車位置の白線レーンの幅における左右の比率を求め、この比率の分だけ、ステップＳＴ１２で得られた２Ｄ地図の中心位置をずらす。これにより、カメラ２０６の位置によって見え方が異なる前方画像に２Ｄ地図が一致するように調整される。
【００３７】
次いで、俯瞰角度の選定が行われる（ステップＳＴ１３）。すなわち、基軸を中心に０〜９０度の範囲で俯瞰角度を順次設定し、前方画像と地図とが最も一致する俯瞰角度を選定する。俯瞰角度の選定は次のようにして行われる。すなわち、図５に示すように、デフォルトの中央値を定めておき、まず、この中央値より大きい俯瞰角度と小さい俯瞰角度とで３Ｄ地図を生成し、前方画像との一致度を調べる。例えば、中央値を４５度と定めておき、６７．５度の俯瞰角度と２２．５度の俯瞰角度とで３Ｄ地図を生成し、前方画像との一致度を調べる。ここで、例えば２２．５度の俯瞰角度で生成した３Ｄ地図の一致が高ければ、次に、２２．５度を中央値として、３３．７５度の俯瞰角度と１１．２５度の俯瞰角度とで３Ｄ地図を生成し、前方画像との一致度を調べる。以下、同様の処理を繰り返し、所定回数繰り返した時点で一致度が最も高い俯瞰角度を最終的な俯瞰角度として選定する。
【００３８】
また、この一致度の大小は、図６に示すように、前方画像の白線レーン端と３Ｄ地図の道路端とによって形成される差分領域（斜線部分）の面積の総和により決定される。すなわち、この差分領域の面積の総和が小さければ小さいほど一致度が高いと判定される。以上の処理により、図４（ｃ）に示すように、前方画像に対応する３Ｄ地図が得られる。このようにして得られた３Ｄ地図は、画像照合判定手段１３、自動学習手段１５、水平状態判断手段１４および画像オブジェクト変換手段１８に送られる。
【００３９】
なお、３Ｄ地図生成手段１２における３Ｄ地図の生成は、次のようにして行うこともできる。すなわち、まず、図７（ａ）に示すように、中心位置を求めて２Ｄ地図をずらし、次に、前方画像の白線の傾きと地図の道路縁の傾きとが最も一致する俯瞰角度を選定し、最後に、図７（ｂ）に示すように白線レーンの幅に対する２Ｄ地図上の白線レーンの幅の倍率を算出し、この算出した倍率を３Ｄ地図の道路幅に対して乗算する。以上の処理により、図７（ｃ）に示すように、前方画像に対応する３Ｄ地図が得られる。
【００４０】
次に、水平状態判断手段１４および自動学習手段１５の動作を、図８のフローチャートを参照しながら説明する。水平状態判断手段１４は、地図情報取得手段１１から３Ｄ地図生成手段１２を介して現在地周辺の地図データを取得し、この地図データに基づいて現在地周辺の道路数に対する交差点の数（交差点密度）を調べ、交差点密度が所定値以上である場合に、市街地であることを判断し、水平状態であることを自動学習手段１５に通知する（ステップＳＴ２０）。なお、水平状態判断手段１４は、位置方位検出手段２４から地図情報取得手段１１および３Ｄ地図生成手段１２を介してＧＰＳデータを受け取り、このＧＰＳデータによって示される高度の変化に基づき水平状態であるかどうかを判断するように構成できる（ステップＳＴ２１）。あるいは、水平状態判断手段１４は、地図情報取得手段１１から３Ｄ地図生成手段１２を介して現在地周辺の地図データを受け取り、この地図データに含まれる、道路や領域の傾斜角、高度、等高線等のデータに基づき水平状態であるかどうかを判断するように構成できる（ステップＳＴ２２）。
【００４１】
自動学習手段１５は、水平状態判断手段１４から水平状態であることが通知されたときに、平均化または平滑化により、学習する（ステップＳＴ２３）。この場合、自動学習手段１５は、平均化学習において重みを例えば１０倍に強めて、水平状態であると判断されたときの俯瞰角度や倍率の値を学習値として用いやすくすることができる。この自動学習手段１５においてなされた学習結果は、３Ｄ地図生成手段１２に送られ、次回の３Ｄ地図の生成に利用される。
【００４２】
次に、不一致区間判断手段１６の動作を、図９に示すフローチャートを参照しながら説明する。不一致区間判断手段１６では、まず、前方画像と３Ｄ地図とから不一致区間が求められる（ステップＳＴ３０）。次いで、前方画像の道路色（反射色）が求められる（ステップＳＴ３１）。次に、勾配であるかどうかが調べられる（ステップＳＴ３２）。具体的には、図１０（ａ）に示すように、不一致区間における前方画像の白線レーン端と３Ｄ地図の道路端とによって形成される差分領域の面積が単調減少または単調増加であり（区間Ａ）、かつ前方画像の道路色（反射色）が他の領域の道路色と異なり（区間Ａ）、かつ差分領域の面積が単調減少または単調増加する部分より先の部分（区間Ｂ）の差分領域の面積の増減がないかどうかが調べられる。ここで、上記条件が満足すれば勾配であることが判断され、その旨のデータが出力される（ステップＳＴ３３）。
【００４３】
上記ステップＳＴ３２において、勾配でないことが判断されると、次いで、道路幅員増減であるかどうかが調べられる（ステップＳＴ３４）。具体的には、図１０（ｂ）に示すように、不一致区間における前方画像の白線レーン端と３Ｄ地図の道路端とによって形成される差分領域の面積が単調減少または単調増加であり（区間Ａ）、かつ前方画像の道路色（反射色）が他の領域の道路色と同じであり（区間Ａ）、かつ差分領域の面積が単調減少または単調増加する部分より先の部分（区間Ｂ）の差分領域の面積の増減がないかどうかが調べられる。ここで、上記条件が満足すれば道路幅員増減であることが判断され、その旨のデータが出力される（ステップＳＴ３５）。
【００４４】
上記ステップＳＴ３４において、道路幅員増減でないことが判断されると、次いで、方位ずれであるかどうかが調べられる（ステップＳＴ３６）。具体的には、図１０（ｃ）に示すように、不一致区間における前方画像の左側の白線レーン端と３Ｄ地図の道路端とによって形成される差分領域の面積が単調減少または単調増加であり、右側の白線レーン端と３Ｄ地図の道路端とによって形成される差分領域の面積がその逆であるかどうかが調べられる。ここで、上記条件が満足すれば方位ずれであることが判断され、その旨のデータが出力される（ステップＳＴ３７）。以上の処理により不一致区間判断手段１６で得られた判断結果（勾配、道路幅員増減または方位ずれ）は、水平状態判断手段１４および勾配角度検出手段１７に送られる。
【００４５】
次に、勾配角度検出手段１７の動作を、図１１のフローチャートを参照しながら説明する。勾配角度検出手段１７は、不一致区間判断手段１６から勾配に起因して不一致が発生した旨のデータを受け取ると、前方画像の白線レーン端と３Ｄ地図の道路端の各勾配開始点を、後述する画像オブジェクト変換手段１８からオブジェクトの１つとして送られてくる建物の地面と天面が平行でない箇所を考慮して求める（ステップＳＴ４０）。次いで、この勾配開始点より不一致区間における前方画像または建物の地面と天面が平行でない箇所の地面に一致する、自動または手動で設定された俯瞰角度、倍率および横方向位置で示された３Ｄ地図を生成する（ステップＳＴ４１）。そして、この３Ｄ地図の生成に使用された俯瞰角度を勾配角度として検出する（ステップＳＴ４２）。
【００４６】
図１２は、勾配が存在する位置における建物の模式図と勾配角度の関係を示す図である。例えば、複数の建物を選択するといった所定の建物選定条件の下で、建物の天井面の方向を水平と判断して勾配角度を検出する。この勾配角度検出手段１７で検出された勾配角度は、新設道路記憶手段２３に送られる。なお、ステップＳＴ４１における３Ｄ地図は、図３〜図６を参照して説明した処理ロジックを用いて生成することもできる。
【００４７】
次に、画像照合判定手段１３の動作を説明する。画像照合判定手段１３は、撮像手段１０で撮影することにより得られた前方画像と３Ｄ地図生成手段１２で生成された３Ｄ地図とを、設定された俯瞰角度、倍率および横方向位置に基づいて、２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、経路探索手段３０から送られてくる探索経路における運転状況や道路状況を判定する。この画像照合判定手段１３で得られた２Ｄの前方画像および２Ｄ地図は、新設道路判断手段２２、車線直進走行判断手段２８に送られる。
【００４８】
次に、画像オブジェクト変換手段１８の動作を、図１３に示すフローチャートを参照しながら説明する。画像オブジェクト変換手段１８は、画像照合判定手段１３からの前方画像のオブジェクトを、あらかじめ設定されているパターン（道路、車線、横断歩道、車両などの移動体、移動しない障害物、駐車場やトンネル出入口、信号、標識、路線看板、建物、歩道橋、架橋やガード下等）と照合して明確化する（ステップＳＴ５０）。次いで、設定された俯瞰角度、倍率および横方向位置に基づいてオブジェクトを２Ｄに変換して緯度および経度といった２Ｄ座標を求める（ステップＳＴ５１）。
【００４９】
次いで、あらかじめ設定されている建物のパターンと照合して当該建物の地面と天面を明確化する（ステップＳＴ５２）。次いで、当該建物について設定された俯瞰角度、倍率および横方向位置から高さ方向を含めた建物の３Ｄ座標（ｘ、ｙ、ｚ）を求める（ステップＳＴ５３）。建物の天面は、通常は水平であるので傾斜がある場合は、当該建物のｚの値が異なることになる。次いで、あらかじめ設定している駐車場、トンネル入口、歩道橋、架橋やガード下のパターンと照合してそれらのオブジェクトを明確化する（ステップＳＴ５４）。そして、当該オブジェクトについて設定された俯瞰角度、倍率および横方向位置から高さ方向を含めた３Ｄ座標（ｘ、ｙ、ｚ）を求める（ステップＳＴ５５）。この画像オブジェクト変換手段１８で求められたオブジェクトの２Ｄまたは３Ｄ座標は、勾配角度検出手段１７、他移動体判定手段１９、駐車場出入口判断手段２０およびオブジェクト高さ進行判定手段２１に送られる。
【００５０】
次に、他移動体判定手段１９の動作を、図１４に示すフローチャートを参照しながら説明する。他移動体判定手段１９は、まず、画像オブジェクト変換手段１８で求めた前方画像のオブジェクトの２Ｄ座標を保存する（ステップＳＴ６０）。この保存された２Ｄ座標は駐車場出入口判断手段２０に送られる。次いで、既に保存済みの２Ｄ座標と最新の２Ｄ座標を比較し、この比較結果が所定範囲を超えればそのオブジェクトを他移動体と判断する（ステップＳＴ６１）。次いで、他移動体の移動ベクトル（方向、距離）を求める（ステップＳＴ６２）。図１５は、他移動体および移動しない障害物の状況を示す模式図である。この他移動体判定手段１９によって求められた他移動体の移動ベクトルは、他移動体進路予測手段２７に送られる。なお、前方画像のオブジェクトについて建物パターンを照合させ、当該建物オブジェクト付近から子供などの飛び出しの可能性があるものを「他移動体」とあらかじめ定義しておいてもよい。
【００５１】
次に、駐車場出入口判断手段２０の動作を説明する。駐車場出入口判断手段２０は、他移動体判定手段１９から送られてくる道路および車線の２Ｄ座標と最新の道路および車線の２Ｄ座標を比較し、図１６の駐車場出入の状況を示す模式図に示すように、道路および車線のオブジェクトが消失したときは駐車場入口と判断し、道路および車線のオブジェクトが出現したときは駐車場出口と判定する。この駐車場出入口判断手段２０による判定結果は、位置方位検出手段２４および駐車場エリア記憶手段２６に送られる。なお、駐車場出入口判断手段２０では、前方画像の道路および車線が認識不可能になったことにより駐車場入口と判断し、前方画像の道路および車線が認識可能になったことにより駐車場出口と判断するように構成することができる。
【００５２】
次に、オブジェクト高さ進行判定手段２１の動作を説明する。オブジェクト高さ進行判定手段２１は、画像オブジェクト変換手段１８で求められた駐車場やトンネル入口、歩道橋、架橋やガード下の高さと幅より、あらかじめ高さと幅が設定されている移動体が進行可能かどうかを判定する。図１７は、移動体の大きさと駐車場やトンネル入口などの高さや幅との関係を示した模式図である。このオブジェクト高さ進行判定手段２１による判定結果は、移動体推奨進路予測手段３１に送られる。
【００５３】
次に、新設道路判断手段２２の動作を説明する。新設道路判断手段２２は、記憶エリアに空きがなければ、最も古く記憶した新設道路を削除した上で、画像照合判定手段１３からの２Ｄの前方画像の白線レーン座標と２Ｄ地図の道路端がなす面積の総和を求め、地図データの道路長単位の面積率が一定値より大きければ、前方画像の道路は新設道路と判断する。図１８は、面積判断の一例を示す模式図である。
【００５４】
次に、新設道路記憶手段２３の動作を説明する。新設道路記憶手段２３は、新設道路判断手段２２により判断された新設道路を、勾配角度検出手段１７により検出された勾配角度、画像オブジェクト変換手段１８により求めた他移動体ではないオブジェクトおよび不一致区間判断手段１６で求められた道路幅員増減とともに記憶する。
【００５５】
次に、位置方位検出手段２４の動作を、図１９に示すフローチャートを参照しながら説明する。位置方位検出手段２４は、駐車場出入口判断手段２０からの判断結果に基づいて前方画像が駐車場入口であるかどうかを調べる（ステップＳＴ７０）。そして、駐車場入口であることを判断し場合は、駐車場の属性ではない道路にマップマッチング中であればマップマッチングを解除する（ステップＳＴ７１）。上記ステップＳＴ７０において、駐車場入口でないことを判断した場合は、駐車場出入口判断手段２０からの判断結果に基づいて前方画像が駐車場出口であるかどうかを調べる（ステップＳＴ７２）。そして、駐車場出口であることを判断した場合は、方向の一致する最近接道路にマップマッチングする（ステップＳＴ７３）。図２０は、駐車場出入口におけるマップマッチングの解除および開始の状況を示す模式図である。なお、マップマッチングの相関度や重み付けの値は、適宜変更するように構成できる。
【００５６】
次に、駐車場内道路記憶手段２５の動作を説明する。駐車場内道路記憶手段２５は、記憶エリアに空きがなければ、最も古く記憶した駐車場内道路を削除した上で、位置方位検出手段２４でマップマッチングを解除されている間に、図２１に示すように、位置方位検出手段２４からの位置データに基づいて、移動体軌跡の座標について折れ線近似の編集を行って駐車場内道路として記憶する。
【００５７】
次に、駐車場エリア記憶手段２６の動作を説明する。駐車場エリア記憶手段２６は、記憶エリアに空きがなければ、最も古く記憶した駐車場エリアを削除した上で、位置方位検出手段２４でマップマッチングが解除されている間に、前方画像の壁面と道路の境界縁を、設定された俯瞰角度、倍率および横方向位置に基づいて前方画像を２Ｄに変換することにより得られた座標に基づいて算出し、駐車場エリアとして記憶する。図２２は、駐車場の壁面と道路の境界縁および駐車場エリアの例を示す模式図である。これにより、過去に走行した駐車場エリアを表示させることができ、また、夜間や激しい暴風雨時など、カメラ２０６による前方画像が認識できない場合に、位置方位検出手段２４の機能を有効に動作させることができる。
【００５８】
次に、他移動体進路予測手段２７の動作を、図２３に示すフローチャートおよび図２４に示す説明図を参照しながら説明する。他移動体進路予測手段２７は、他移動体判定手段１９により判定された他移動体の移動ベクトル（方位、距離）をそのまま加算することにより、他移動体が移動する可能性が最も高いベクトルを求める（ステップＳＴ８０）。次いで、最大減速に伴う最小回転範囲を考慮した左右のベクトルを加算し、図２４に示すような移動可能領域を求める（ステップＳＴ８１）。移動可能範囲は、図２４に示すように、他移動体が高速移動であれば狭くなる。
【００５９】
次いで、過去の移動ベクトルの方位と距離に関する各推移状況が安定度として算出される（ステップＳＴ８２）。そして、図２４に破線でＺ軸方向に示すように、移動可能領域における移動可能性の信頼度が所定のセグメント毎に求められる（ステップＳＴ８３）。セグメントは、例えば所定の移動予測距離によって定義される。過去の移動が、直進方向の移動であって安定した高速走行であれば移動可能領域における直進方向の移動可能性の信頼度が高くなり、また、旋回を繰り返す移動であって低速または速度変化が大きい移動であれば移動可能領域の全体への移動可能性の信頼度が高くなる。なお、図２４は、遠い時間（距離）になるに連れて信頼度が低下していき、車線逸脱ではさらに信頼度が低下する様子を示している。この他移動体進路予測手段２７による予測結果は、移動体回避進路予測手段３２に送られる。
【００６０】
次に、車線直進走行判定手段２８の動作を、図２５のフローチャートおよび図２６に示す説明図を参照しながら説明する。車線直進走行判定手段２８は、画像照合判定手段１３からの前方画像と３Ｄ地図を、設定された俯瞰角度、倍率および横方向位置に基づいて変換することにより２Ｄの前方画像および２Ｄ地図の座標系を求める（ステップＳＴ９０）。次いで、図２６に示すように、２Ｄの前方画像および２Ｄ地図の各々の道路の中央の座標を求めて道路線を作成し、この作成した道路線を所定距離毎の線分に区切る（ステップＳＴ９１）。
【００６１】
次いで、図２６に示すように、２Ｄの前方画像上で移動体に最も近い基準点αおよび２Ｄ地図上で移動体に最も近い基準点ａをそれぞれ定め、両基準点αおよびａから延びている線分の方位差を求めて、この方位差分だけ２Ｄの前方画像上および２Ｄ地図上の何れかを回転させて重ね合わせる（ステップＳＴ９２）。次いで、所定割合以上の数の線分が所定誤差内で一致するかどうかが調べられる（ステップＳＴ９３）。ここで、一致しないことが判断されると、位置方位検出手段２４が検出した移動体の位置が誤っている場合があるため、２Ｄの前方画像上の基準点（例えばａ）を次の基準点（例えばｂ）に移し、シーケンスはステップＳＴ９２に戻る。一方、ステップＳＴ９３において一致することが判断されると、方位差が保存される（ステップＳＴ９４）。次いで、過去の方位差の履歴より、一時的な方位ずれであるかどうかが判断される（ステップＳＴ９５）。なお、図２６に示した例では、２Ｄ地図上の基準点ｃが選択された時に、所定割合以上の数の線分が所定誤差内で一致する。
【００６２】
なお、上述した処理では、３Ｄ地図から２Ｄ地図の座標系を求めて道路線を作成するようにしたが、あらかじめ演算されている２Ｄ地図の地図データの道路線を用いるようにできる。また、ステップＳＴ９３において、所定角度以上の方位差が継続する場合は、その方位差を位置方位検出手段２４に通知し、検出されている移動体の方位を補正するようにできる。さらに、ステップＳＴ９４で方位差を保存したときの基準点を位置方位検出手段２４に通知し、検出されている移動体の位置を補正するようにすることもできる。
【００６３】
次に、移動体推奨進路予測手段３１の動作を、図２７に示すフローチャートおよび図２８に示す説明図を参照しながら説明する。移動体推奨進路予測手段３１は、オブジェクト高さ進行判定手段２１から送られてくる判定結果が移動体の進行が不可能な地点であることを示していれば、これを経路探索手段３０に設定して新規に探索経路を求める（ステップＳＴ１００）。次いで、探索経路より移動体の推奨移動方向と距離とを含む推奨移動領域を予測する（ステップＳＴ１０１）。
【００６４】
なお、移動体推奨進路予測手段３１では、図２８に示すように、基本的には他移動体進路予測手段２７における移動可能領域と同様に、移動体の推奨移動方向と距離によって推奨移動領域を算出し、その推奨移動領域の中央部分の移動可能性の信頼度を高めるような処理が行われる。このとき、推奨移動領域が移動体の大きさにより移動可能かどうかも同時に判断される。また、移動体が車線またはレーンを跨ぐ場合は、早い時点で跨ぐほうが安全であるため、推奨移動領域の移動体に近い部分の移動可能性の信頼度を高めるように処理される。また、右左折を行う場合は、右左折開始前において最も右側または左側の車線またはレーンの領域を優先して移動可能性の信頼度を高める処理がなされ、その領域の範囲は前方画像で認識できていれば、その車線またはレーンの範囲が優先して有効とされる。さらに、地図データにある車線またはレーンの範囲を有効と定めるか、または地図データの信頼性が低ければ最も右側または左側の車線またはレーンの領域のみを有効と定める。
【００６５】
次に、移動体回避進路予測手段３２の動作を説明する。移動体回避進路予測手段３２は、移動体推奨進路予測手段３１から得た移動体の推奨移動領域から、他移動体進路予測手段２７から得た他移動体の移動可能領域と移動しない障害物の領域とを減算して移動体回避進路の予測領域を求める。なお、移動しない障害物についての信頼度は、その障害物が存在する領域では一律に最大値を設定し、その障害物の周囲の所定領域では障害物から離れるに連れて信頼度が低下するように決定する。
【００６６】
次に、衝突判断手段３３の動作を説明する。衝突判断手段３３は、移動体回避進路予測手段３２から得た移動体回避進路の予測領域について移動体が移動可能かどうかを判断して移動可能性の信頼度を再演算する。そして、移動可能でない場合は、移動体は停止する進路予測となる。以上の各領域については、ファジィを用いた時系列にセグメント化した信頼度分布を求め、所定の信頼度をしきい値として領域の加算や減算が行われる。図２９は、障害物を回避した予測領域と信頼度の例について示したものであり、図３０は、他移動体を回避した予測領域と信頼度の例について示したものである。
【００６７】
次に、移動体優先走行判断手段３４の動作を説明する。移動体優先走行判断手段３４は、衝突判断手段３３からの判断結果に応じて、移動体の交通法規テーブルに基づき移動体および他移動体の道路上での位置関係、幅員、車線数、国道などの属性により優先判断を行う。すなわち、移動体が自動車である場合は、右左折に対して直進が優先である、または左方優先である、一旦停止に対して規制無しが優先である、などといった優先判断を行う。
【００６８】
次に、制御手段３５の動作を説明する。制御手段３５は、移動体優先走行判断手段３４による移動体優先判断結果と、衝突判断手段３３による衝突の可能性の大きさより、適切な案内と制御を行う。適切な案内と制御とは、移動体優先時には他移動体に対し、所定距離や所定時間のタイミングで報知や表示または通信により警告を行うものである。また、衝突の危険性が極めて高いとき、または移動体非優先時には移動体を減速または停止させる制御を行うものである。さらに、これら以外の場合は、移動体の推奨進路に沿った走行を続ける制御を行うものである。
【００６９】
また、制御手段３５は、撮像手段が故障または有効に作用しない場合、ドライバへ各種の制御ができないことを表示や音声で知らしめる適切な案内を行う。また、移動体の移動方向および距離をユーザに表示または音声で知らしめる。また、移動体の移動方向および距離をハンドル、ブレーキ、アクセル等の車両制御機器に通知して自動運転を行う。撮像手段が故障または有効に作用しない場合、ドライバへ各種の制御ができないことを表示や音声で知らしめる適切な案内を行う。
【図面の簡単な説明】
【００７０】
【図１】この発明の実施の形態１に係るナビゲーション装置のハードウェア構成を示す図である。
【図２】この発明の実施の形態１に係るナビゲーション装置の機能的な構成を示すブロック図である。
【図３】図２に示す３Ｄ地図生成手段の動作を示すフローチャートである。
【図４】図２に示す３Ｄ地図生成手段における処理手順を説明するための図である。
【図５】図２に示す３Ｄ地図生成手段における俯瞰角度の選定処理を説明するための図である。
【図６】図２に示す３Ｄ地図生成手段における一致度の判定処理を説明するための図である。
【図７】図２に示す３Ｄ地図生成手段における他の処理手順を説明するための図である。
【図８】図２に示す自動学習手段の動作を示すフローチャートである。
【図９】図２に示す不一致区間判断手段の動作を示すフローチャートである。
【図１０】図２に示す不一致区間判断手段における処理を説明するための図である。
【図１１】図２に示す勾配角度検出手段の動作を示すフローチャートである。
【図１２】図２に示す勾配角度検出手段における処理を説明するための図である。
【図１３】図２に示す画像オブジェクト変換手段の動作を示すフローチャートである。
【図１４】図２に示す他移動体判定手段の動作を示すフローチャートである。
【図１５】図２に示す他移動体判定手段における処理を説明するための図である。
【図１６】図２に示す駐車場出入口判定手段における処理を説明するための図である。
【図１７】図２に示すオブジェクト高さ進行判定手段における処理を説明するための図である。
【図１８】図２に示す新設道路判断手段における処理を説明するための図である。
【図１９】図２に示す位置方位検出手段の動作を示すフローチャートである。
【図２０】図２に示す位置方位検出手段における処理を説明するための図である。
【図２１】図２に示す駐車場内道路記憶手段における処理を説明するための図である。
【図２２】図２に示す駐車場エリア記憶手段における処理を説明するための図である。
【図２３】図２に示す他移動体進路予測手段の動作を示すフローチャートである。
【図２４】図２に示す他移動体進路予測手段における処理を説明するための図である。
【図２５】図２に示す車線直進走行判定手段の動作を示すフローチャートである。
【図２６】図２に示す車線直進走行判定手段における処理を説明するための図である。
【図２７】図２に示す移動体推奨進路予測手段の動作を示すフローチャートである。
【図２８】図２に示す移動体推奨進路予測手段における処理を説明するための図である。
【図２９】図２に示す衝突判断手段における処理を説明するための図である。
【図３０】図２に示す衝突判断手段における処理を説明するための図である。
【符号の説明】
【００７１】
１０ 撮像手段１０、１１ 地図情報取得手段、１２ ３Ｄ地図生成手段、１３ 画像照合判定手段、１４ 水平状態判断手段、１５ 自動学習手段、１６ 不一致区間判断手段、１７ 勾配角度検出手段、１８ 画像オブジェクト変換手段、１９ 他移動体判定手段、２０ 駐車場出入口判断手段、２１ オブジェクト高さ進行判定手段、２２ 新設道路判断手段、２３ 新設道路記憶手段、２４ 位置方位検出手段（位置検出手段）、２５ 駐車場内道路記憶手段、２６ 駐車場エリア記憶手段、２７ 他移動体進路予測手段、２８ 車線直進走行判断手段、２９ 入力手段、３０ 経路探索手段、３１ 移動体推奨進路予測手段、３２ 移動体回避進路予測手段、３３ 衝突判断手段、３４ 移動体優先走行判断手段、３５ 制御手段、３６ 出力手段、２０１ 記録メディア、２０２ ドライブ、２０３ ＧＰＳ受信機、２０４ ジャイロ、２０５ 車速センサ、２０６ カメラ、２０７ インタフェース回路、２０８ ナビＥＣＵ、２０９ メモリ、２１０ ディスプレイ、２１１ スピーカ、２１２ 操作部。
【特許請求の範囲】
【請求項１】
現在位置を検出する位置検出手段と、
前記位置検出手段で検出された現在位置に応じた２Ｄ地図データを取得する地図情報取得手段と、
移動体が進行する方位の前方を撮像する撮像手段と、
前記地図情報取得手段で取得された２Ｄ地図データに基づき生成される２Ｄ地図の俯瞰角度、倍率および横方向位置を調整して、前記撮像手段で撮像することにより得られた前方画像に一致する３Ｄ地図を生成する３Ｄ地図生成手段と、
前記撮像手段で撮像することにより得られた前方画像および前記３Ｄ地図生成手段で生成された３Ｄ地図を、２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、自己の周囲状況を判定する画像照合判定手段と、
前記画像照合判定手段により判定された周囲状況に基づき案内を行う制御手段
とを備えたナビゲーション装置。
【請求項２】
３Ｄ地図生成手段で３Ｄ地図を生成するために使用される俯瞰角度、倍率および横方向位置を自動で学習する自動学習手段を備えたことを特徴とする請求項１記載のナビゲーション装置。
【請求項３】
水平状態を判断する水平状態判断手段を備え、
自動学習手段は、前記水平状態判断手段で水平状態であることが判断されたときに俯瞰角度、倍率および横方向位置を自動で学習することを特徴とする請求項２記載のナビゲーション装置。
【請求項４】
水平状態判断手段からの情報に基づいて前方画像と３Ｄ地図との不一致区間を求め、該不一致区間が、勾配、道路幅員増減または方位ずれの何れに起因して発生したかを判断する不一致区間判断手段を備えたことを特徴とする請求項３記載のナビゲーション装置。
【請求項５】
不一致区間判断手段から勾配に起因して不一致が発生した旨が送られてきた場合に、勾配開始点を求め、該勾配開始点から前方画像に一致する３Ｄ地図を生成し、該３Ｄ地図の生成に使用された俯瞰角度を勾配角度として検出する勾配角度検出手段を備えたことを特徴とする請求項４記載のナビゲーション装置。
【請求項６】
撮像手段で撮像することにより得られた前方画像に含まれるオブジェクトを、３Ｄ地図生成手段において３Ｄ地図の生成に使用された俯瞰角度、倍率および横方向位置を用いて２Ｄのオブジェクトに変換する画像オブジェクト変換手段を備えたことを特徴とする請求項１記載のナビゲーション装置。
【請求項７】
前方画像のオブジェクトは、道路、車線、横断歩道、車両を含む移動体、移動しない障害物、駐車場、トンネル出入口、信号、標識、路線看板、建物、歩道橋、架橋およびガード下を含むことを特徴とする請求項６記載のナビゲーション装置。
【請求項８】
画像オブジェクト変換手段における変換履歴によって、オブジェクトの座標が移動していることが示されている場合に、該オブジェクトは他移動体と判定する他移動体判定手段を備えたことを特徴とする請求項６記載のナビゲーション装置。
【請求項９】
画像オブジェクト変換手段における変換履歴によって、道路または車線のオブジェクトが消失したことが示されている場合に駐車場入口と判定し、道路または車線のオブジェクトが出現したことが示されている場合に駐車場出口と判定する駐車場出入口判定手段を備えたことを特徴とする請求項６記載のナビゲーション装置。
【請求項１０】
勾配角度検出手段は、画像オブジェクト変換手段においてオブジェクトとして得られた建物の地面と天面が傾斜角度を有する場合、該傾斜角度を勾配角度として検出することを特徴とする請求項５記載のナビゲーション装置。
【請求項１１】
前記画像オブジェクト変換手段においてオブジェクトとして得られた駐車場、トンネル入口、歩道橋、架橋またはガード下の高さを検出し、あらかじめ決められている移動体の高さによる進行が可能かどうかを判定するオブジェクト高さ進行判定手段を備えたことを特徴とする請求項６記載のナビゲーション装置。
【請求項１２】
画像照合判定手段における照合の結果に基づき前方画像の道路が新設道路かどうかを判断する新設道路判断手段と、
前記新設道路判断手段により判断された新設道路を表す情報を、勾配角度検出手段によって検出された勾配角度、画像オブジェクト変換手段によって求めたオブジェクトおよび不一致区間判断手段によって求められた道路幅員増減を表す情報とともに記憶する新設道路記憶手段
とを備えたことを特徴とする請求項６記載のナビゲーション装置。
【請求項１３】
新設道路判断手段は、撮像手段で撮像することにより得られた前方画像を変換することにより得られた２Ｄの前方画像と、地図情報取得手段で取得された２Ｄ地図データとを照合した結果に基づき前方画像の道路が新設道路かどうかを判断することを特徴とする請求項１２記載のナビゲーション装置。
【請求項１４】
位置検出手段は、駐車場出入口判断手段によって駐車場入口であると判断されたときにマップマッチングを停止させ、前方画像が駐車場出口であると判断されたときに最近接道路に対するマップマッチングを開始させることを特徴とする請求項９記載のナビゲーション装置。
【請求項１５】
位置検出手段によるマップマッチングが停止されている間の移動体軌跡の座標を駐車場内道路として記憶する駐車場内道路記憶手段と、
位置検出手段によるマップマッチングが停止されている間の前方画像の壁面を、俯瞰角度、倍率および横方向位置に基づき２Ｄに変換することにより得られた座標を駐車場エリアとして記憶する駐車場エリア記憶手段
とを備えたことを特徴とする請求項１４記載のナビゲーション装置。
【請求項１６】
他移動体判定手段により判定された他移動体の今後の移動方向と距離とによって定まる領域を移動可能領域として予測する他移動体進路予測手段を備えたことを特徴とする請求項８記載のナビゲーション装置。
【請求項１７】
画像照合判定手段における照合の結果に基づき、車線に沿っていない一時的に異なる移動方向かどうかを常時判断する車線直進走行判断手段と、
オブジェクト高さ進行判定手段より移動体がオブジェクトを進行不可と判定された場合は新規に探索経路を求める経路探索手段と、
前記車線直進走行判断手段による判断結果と前記経路探索手段によって求められた探索経路から移動体の推奨移動方向と距離とによって定まる領域を推奨移動領域として予測する移動体推奨進路予測手段と、
前記他移動体進路予測手段から得た他移動体の移動可能領域と移動しない障害物の領域とを回避した移動体の予測進路の領域を求める移動体回避進路予測手段
とを備えたことを特徴とする請求項１６記載のナビゲーション装置。
【請求項１８】
移動体回避進路予測手段から得た移動体回避進路の予測領域について移動体が移動可能かどうかを調べることにより衝突の可能性を判断する衝突判断手段を備えたことを特徴とする請求項１７記載のナビゲーション装置。
【請求項１９】
移動可能領域、推奨移動領域、障害物の領域および移動体の予測進路の領域は、ファジィを用いた時系列にセグメント化した信頼度分布を求め、該信頼度分布を所定のしきい値でスライスすることにより求められることを特徴とする請求項１７または請求項１８記載のナビゲーション装置。
【請求項２０】
衝突判断手段からの判断結果に応じて、移動体の交通法規テーブルに基づき移動体および他移動体の道路上における関係または道路属性により優先判断を行う移動体優先走行判断手段を備えたことを特徴とする請求項１８記載のナビゲーション装置。
【請求項２１】
移動体優先走行判断手段による移動体優先判断結果と、衝突判断手段による衝突の可能性の大きさとに基づき案内および制御を行う制御手段を備えたことを特徴とする請求項２０記載のナビゲーション装置。
【請求項２２】
制御手段による案内および制御は、移動体優先の場合は他移動体に対して行う警告、衝突の危険性が極めて高い場合または移動体非優先の場合は移動体を減速または停止させる制御、これら以外の場合は、移動体の推奨進路に沿った走行を続ける制御を含むことを特徴とする請求項２１記載のナビゲーション装置。
【請求項２３】
制御手段は、撮像手段が故障または有効に作用しない場合、該撮像手段を制御できないことを報知することを特徴とする請求項２１記載のナビゲーション装置。
【請求項１】
現在位置を検出する位置検出手段と、
前記位置検出手段で検出された現在位置に応じた２Ｄ地図データを取得する地図情報取得手段と、
移動体が進行する方位の前方を撮像する撮像手段と、
前記地図情報取得手段で取得された２Ｄ地図データに基づき生成される２Ｄ地図の俯瞰角度、倍率および横方向位置を調整して、前記撮像手段で撮像することにより得られた前方画像に一致する３Ｄ地図を生成する３Ｄ地図生成手段と、
前記撮像手段で撮像することにより得られた前方画像および前記３Ｄ地図生成手段で生成された３Ｄ地図を、２Ｄの前方画像および２Ｄ地図にそれぞれ変換して照合を行い、自己の周囲状況を判定する画像照合判定手段と、
前記画像照合判定手段により判定された周囲状況に基づき案内を行う制御手段
とを備えたナビゲーション装置。
【請求項２】
３Ｄ地図生成手段で３Ｄ地図を生成するために使用される俯瞰角度、倍率および横方向位置を自動で学習する自動学習手段を備えたことを特徴とする請求項１記載のナビゲーション装置。
【請求項３】
水平状態を判断する水平状態判断手段を備え、
自動学習手段は、前記水平状態判断手段で水平状態であることが判断されたときに俯瞰角度、倍率および横方向位置を自動で学習することを特徴とする請求項２記載のナビゲーション装置。
【請求項４】
水平状態判断手段からの情報に基づいて前方画像と３Ｄ地図との不一致区間を求め、該不一致区間が、勾配、道路幅員増減または方位ずれの何れに起因して発生したかを判断する不一致区間判断手段を備えたことを特徴とする請求項３記載のナビゲーション装置。
【請求項５】
不一致区間判断手段から勾配に起因して不一致が発生した旨が送られてきた場合に、勾配開始点を求め、該勾配開始点から前方画像に一致する３Ｄ地図を生成し、該３Ｄ地図の生成に使用された俯瞰角度を勾配角度として検出する勾配角度検出手段を備えたことを特徴とする請求項４記載のナビゲーション装置。
【請求項６】
撮像手段で撮像することにより得られた前方画像に含まれるオブジェクトを、３Ｄ地図生成手段において３Ｄ地図の生成に使用された俯瞰角度、倍率および横方向位置を用いて２Ｄのオブジェクトに変換する画像オブジェクト変換手段を備えたことを特徴とする請求項１記載のナビゲーション装置。
【請求項７】
前方画像のオブジェクトは、道路、車線、横断歩道、車両を含む移動体、移動しない障害物、駐車場、トンネル出入口、信号、標識、路線看板、建物、歩道橋、架橋およびガード下を含むことを特徴とする請求項６記載のナビゲーション装置。
【請求項８】
画像オブジェクト変換手段における変換履歴によって、オブジェクトの座標が移動していることが示されている場合に、該オブジェクトは他移動体と判定する他移動体判定手段を備えたことを特徴とする請求項６記載のナビゲーション装置。
【請求項９】
画像オブジェクト変換手段における変換履歴によって、道路または車線のオブジェクトが消失したことが示されている場合に駐車場入口と判定し、道路または車線のオブジェクトが出現したことが示されている場合に駐車場出口と判定する駐車場出入口判定手段を備えたことを特徴とする請求項６記載のナビゲーション装置。
【請求項１０】
勾配角度検出手段は、画像オブジェクト変換手段においてオブジェクトとして得られた建物の地面と天面が傾斜角度を有する場合、該傾斜角度を勾配角度として検出することを特徴とする請求項５記載のナビゲーション装置。
【請求項１１】
前記画像オブジェクト変換手段においてオブジェクトとして得られた駐車場、トンネル入口、歩道橋、架橋またはガード下の高さを検出し、あらかじめ決められている移動体の高さによる進行が可能かどうかを判定するオブジェクト高さ進行判定手段を備えたことを特徴とする請求項６記載のナビゲーション装置。
【請求項１２】
画像照合判定手段における照合の結果に基づき前方画像の道路が新設道路かどうかを判断する新設道路判断手段と、
前記新設道路判断手段により判断された新設道路を表す情報を、勾配角度検出手段によって検出された勾配角度、画像オブジェクト変換手段によって求めたオブジェクトおよび不一致区間判断手段によって求められた道路幅員増減を表す情報とともに記憶する新設道路記憶手段
とを備えたことを特徴とする請求項６記載のナビゲーション装置。
【請求項１３】
新設道路判断手段は、撮像手段で撮像することにより得られた前方画像を変換することにより得られた２Ｄの前方画像と、地図情報取得手段で取得された２Ｄ地図データとを照合した結果に基づき前方画像の道路が新設道路かどうかを判断することを特徴とする請求項１２記載のナビゲーション装置。
【請求項１４】
位置検出手段は、駐車場出入口判断手段によって駐車場入口であると判断されたときにマップマッチングを停止させ、前方画像が駐車場出口であると判断されたときに最近接道路に対するマップマッチングを開始させることを特徴とする請求項９記載のナビゲーション装置。
【請求項１５】
位置検出手段によるマップマッチングが停止されている間の移動体軌跡の座標を駐車場内道路として記憶する駐車場内道路記憶手段と、
位置検出手段によるマップマッチングが停止されている間の前方画像の壁面を、俯瞰角度、倍率および横方向位置に基づき２Ｄに変換することにより得られた座標を駐車場エリアとして記憶する駐車場エリア記憶手段
とを備えたことを特徴とする請求項１４記載のナビゲーション装置。
【請求項１６】
他移動体判定手段により判定された他移動体の今後の移動方向と距離とによって定まる領域を移動可能領域として予測する他移動体進路予測手段を備えたことを特徴とする請求項８記載のナビゲーション装置。
【請求項１７】
画像照合判定手段における照合の結果に基づき、車線に沿っていない一時的に異なる移動方向かどうかを常時判断する車線直進走行判断手段と、
オブジェクト高さ進行判定手段より移動体がオブジェクトを進行不可と判定された場合は新規に探索経路を求める経路探索手段と、
前記車線直進走行判断手段による判断結果と前記経路探索手段によって求められた探索経路から移動体の推奨移動方向と距離とによって定まる領域を推奨移動領域として予測する移動体推奨進路予測手段と、
前記他移動体進路予測手段から得た他移動体の移動可能領域と移動しない障害物の領域とを回避した移動体の予測進路の領域を求める移動体回避進路予測手段
とを備えたことを特徴とする請求項１６記載のナビゲーション装置。
【請求項１８】
移動体回避進路予測手段から得た移動体回避進路の予測領域について移動体が移動可能かどうかを調べることにより衝突の可能性を判断する衝突判断手段を備えたことを特徴とする請求項１７記載のナビゲーション装置。
【請求項１９】
移動可能領域、推奨移動領域、障害物の領域および移動体の予測進路の領域は、ファジィを用いた時系列にセグメント化した信頼度分布を求め、該信頼度分布を所定のしきい値でスライスすることにより求められることを特徴とする請求項１７または請求項１８記載のナビゲーション装置。
【請求項２０】
衝突判断手段からの判断結果に応じて、移動体の交通法規テーブルに基づき移動体および他移動体の道路上における関係または道路属性により優先判断を行う移動体優先走行判断手段を備えたことを特徴とする請求項１８記載のナビゲーション装置。
【請求項２１】
移動体優先走行判断手段による移動体優先判断結果と、衝突判断手段による衝突の可能性の大きさとに基づき案内および制御を行う制御手段を備えたことを特徴とする請求項２０記載のナビゲーション装置。
【請求項２２】
制御手段による案内および制御は、移動体優先の場合は他移動体に対して行う警告、衝突の危険性が極めて高い場合または移動体非優先の場合は移動体を減速または停止させる制御、これら以外の場合は、移動体の推奨進路に沿った走行を続ける制御を含むことを特徴とする請求項２１記載のナビゲーション装置。
【請求項２３】
制御手段は、撮像手段が故障または有効に作用しない場合、該撮像手段を制御できないことを報知することを特徴とする請求項２１記載のナビゲーション装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【公開番号】特開２００６−１１９０９０（Ｐ２００６−１１９０９０Ａ）
【公開日】平成１８年５月１１日（２００６．５．１１）
【国際特許分類】
【出願番号】特願２００４−３０９７７０（Ｐ２００４−３０９７７０）
【出願日】平成１６年１０月２５日（２００４．１０．２５）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成１８年５月１１日（２００６．５．１１）
【国際特許分類】
【出願日】平成１６年１０月２５日（２００４．１０．２５）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]