ナビゲーション装置、ナビゲーション方法、および、自動車
【課題】非接触慣性航法装置を用いた際に、ＧＰＳ測位が困難な経路上での精度の高いナビゲーションを実現できるようにすることを課題とする。
【解決手段】道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する３次元座標ＤＢ２２および地図・音声・ＯＦ情報ＤＢ２３を使用する。非接触慣性航法装置を有するナビゲーションセンサ６を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、カメラ７から取得される画像のオプティカルフロー情報と地図・音声・ＯＦ情報ＤＢ２３のオプティカルフロー情報とのマッチングを行い、不一致の際は、３次元位置情報の補正を実行する。
【解決手段】道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する３次元座標ＤＢ２２および地図・音声・ＯＦ情報ＤＢ２３を使用する。非接触慣性航法装置を有するナビゲーションセンサ６を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、カメラ７から取得される画像のオプティカルフロー情報と地図・音声・ＯＦ情報ＤＢ２３のオプティカルフロー情報とのマッチングを行い、不一致の際は、３次元位置情報の補正を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ナビゲーション装置、ナビゲーション方法、および、自動車に関する。
【背景技術】
【０００２】
近年、自動車のナビゲーション装置の普及は著しいものであり、モニタに映し出されるコンピュータグラフィックス（ＣＧ）の描写能力や案内時に提供される各種情報の充実振りを各社で競うかたちとなっている。このように、多機能・高性能型の追求では、ナビゲーション装置の価格高騰は避けられないものとなっている。
【０００３】
その一方で、２００５年あたりから、欧州を中心にパーソナルナビゲーションデバイス（以下、ＰＮＤという）の需要が急速に高まっている。世界のカーナビ市場が急成長する原動力ともいわれ、その理由のひとつとして、通常のナビゲーション装置に比べて低価格な設定を挙げることができる。
【０００４】
現在のＰＮＤは、グローバルポジショニングシステム（以下、ＧＰＳという）で現在位置を確認してナビゲーションを行うものであり、通常のナビゲーション装置のように車速パルスは不要となる。もちろん、トンネル内やビルの陰のようにＧＰＳが利用できない区間では、使用できないという問題も持ち合わせている。
【０００５】
このように、ＰＮＤはＧＰＳに依存した簡易型ナビゲーション装置ではあるが、非接触慣性航法装置（加速度センサとジャイロセンサとの組み合わせ）を用いれば、トンネル内でも移動距離や移動方向を入手できるので上記の問題を解決することができる。
【０００６】
ＧＰＳと非接触慣性航法装置とを組み合わせたとしても、相対位置を取得する非接触慣性航法装置はＧＰＳの補完的な役割を担うに過ぎないことから、ＧＰＳからつぎの絶対位置を取得するまでの区間で計測誤差を解消する必要がある。この解消を怠ると、計測誤差が累積して真位置とのずれは拡がるばかりとなり、ナビゲーションとして求められる許容範囲を逸脱する虞がある。そこで、近年、相対位置検出における方位あるいは加速度に対して補正を行うことで、累積誤差の影響を可及的に抑制する提案がなされている（特許文献１）。
【０００７】
近年、自動車に取り付けたカメラを用いて、撮影時間に時間差のある画像を比較し、その差から物体の移動状態を検出するオプティカルフロー手段を備えた画像処理装置の提案がある（特許文献１）。また、走行領域表面およびその近傍の情景の画像のあらなじめ記憶しているオプティカルフローと現在のオプティカルフローとの比較する移動体現在位置検出方法が提案されている（特許文献２）。
【０００８】
【特許文献１】特開平１０−２２２６６５号公報
【特許文献２】特開２０００−１７１２５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来例においては、同一地点での過去と現在のオプティカルフロー比較に頼っているだけの構成なので、ＧＰＳ測位が困難な走行区間においては、適切な補正タイミングを得ることが困難であった。
【００１０】
本発明の目的は、非接触慣性航法装置を用いた際に、ＧＰＳ測位が困難な経路上での精度の高いナビゲーションを実現することが可能なナビゲーション装置、ナビゲーション方法、および、自動車を提供することにある。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、上記目的を達成するため、本発明の請求項１に係るナビゲーション装置は、移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得するナビゲーション装置であって、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する記憶手段と、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記記憶手段に記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する算出手段と、前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、を備えたことを特徴とするものである。
【００１２】
また、請求項２の発明に係るナビゲーション装置は、移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得するナビゲーション装置であって、道路ネットワークに対応するＸＹＺ座標系の３次元座標データを記憶する記憶手段と、前記カメラにより撮影される画像情報内には、移動体の進行方向に交差するように並ぶ少なくとも２本の仮想バーが設けられ、かつ、当該２本の仮想バー間について経路上の距離があらかじめ算出されているとともに、所定の画像処理により検出可能なオブジェクトのパターンがすくなくとも１つ設けられており、移動体の前進もしくは後退の際に、前記カメラにより撮影された画像情報について前記所定の画像処理にしたがって前記オブジェクトのパターンマッチングを行うとともに、当該パターンマッチングでマッチしたオブジェクトのパターンを追跡する画像処理手段と、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、前記画像処理手段により前記オブジェクトがマッチングした際に、前記画像処理手段により当該オブジェクトのパターンを追跡して、前記少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出する算出手段と、前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、を備えたことを特徴とするものである。
【００１３】
また、請求項３の発明は、請求項１または２において、さらに、前記３次元マップマッチング手段で算出された３次元位置情報に基づいてルート案内を示す画像情報を生成する画像生成手段と、前記移動体にカメラが設定されており、当該カメラで撮影された画像情報を入力する入力手段と、前記画像生成手段で生成された画像情報と前記入力手段で入力された画像情報とを重畳する重畳手段と、前記重畳手段で重畳された画像を前記ディスプレイに表示する表示手段と、を備えたことを特徴とするものである。
【００１４】
また、請求項４の発明は、請求項３において、さらに、２次元地図データを記憶する地図記憶手段と、前記地図記憶手段に記憶される２次元地図データを参照して前記３次元マップマッチング手段で算出された３次元位置情報に基づいて前記移動体の現在位置情報を含む２次元地図を生成する地図生成手段と、前記地図生成手段で生成された２次元地図を前記ディスプレイに表示する地図表示手段とを有することを特徴とするものである。
【００１５】
また、請求項５の発明に係るナビゲーション方法は、移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得する装置のナビゲーション方法であって、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報がメモリに記憶されており、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記メモリに記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する第１ステップと、前記第１ステップにより算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する第２ステップと、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報をメモリに記憶しておき、前記第２ステップで算出された２次元位置情報と前記メモリに記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出する第３ステップと、前記移動体の移動上、前記第３ステップで算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する第４ステップと、前記第４ステップで検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する第５ステップと、を含んだことを特徴とするものである。
【００１６】
また、請求項６の発明に係るナビゲーション方法は、移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得する装置のナビゲーション方法であって、前記カメラにより撮影される画像情報内には、移動体の進行方向に交差するように並ぶ少なくとも２本の仮想バーが設けられ、かつ、当該２本の仮想バー間について経路上の距離があらかじめ算出されているとともに、所定の画像処理により検出可能なオブジェクトのパターンがすくなくとも１つ設けられており、移動体の前進もしくは後退の際に、前記カメラにより撮影された画像情報について前記所定の画像処理にしたがって前記オブジェクトのパターンマッチングを行うとともに、当該パターンマッチングでマッチしたオブジェクトのパターンを追跡する第１ステップと、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、前記第１ステップにより前記オブジェクトがマッチングした際に、前記第１ステップにより当該オブジェクトのパターンを追跡して、前記少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出する第２ステップと、前記第２ステップにより算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する第３ステップと、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報がメモリに記憶されており、前記第３ステップで算出された２次元位置情報と前記メモリに記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出する第４ステップと、前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する第５ステップと、前記第５ステップで検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する第６ステップと、を含んだことを特徴とするものである。
【００１７】
また、請求項７の発明に係る自動車は、自動車であって、前後左右方向のいずれか１つまたはその組み合わせ分の撮影を行うカメラと、ディスプレイと、衛星測位装置、および、方位および加速度を検出する非接触慣性航法装置を用いて、少なくとも現在位置および進行情報を検出する位置検出ユニットと、ディスプレイを有しており、当該ディスプレイに画像を表示するナビゲーション装置と、を備え、前記ナビゲーション装置は、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する記憶手段と、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記記憶手段に記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する算出手段と、前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、前記３次元マップマッチング手段で算出された３次元位置情報に基づいてルート案内を示す画像情報を生成する画像生成手段と、前記画像生成手段で生成された画像情報と前記入力手段で入力された画像情報とを重畳する重畳手段と、前記重畳手段で重畳された画像を前記ディスプレイに表示する表示手段と、を備えたことを特徴とするものである。
【発明の効果】
【００１８】
本発明は、非接触慣性航法装置を用いた際に、ＧＰＳ測位が困難な経路上での精度の高いナビゲーションを実現することが可能である。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照して、本発明に係る一実施の形態について詳細に説明する。
【００２０】
まず、全体の構成について説明する。図１は本発明の一実施形態による自動車の内部構成例を示すブロック図である。本実施形態の自動車１は、たとえば図１に示したように、以下に説明するが、本実施形態の３次元マップマッチングにより３次元位置情報の取得等を行うナビゲーション装置２、無線通信により各種の情報を授受するためのアンテナ３、音声を出力するスピーカ４、画像を表示するディスプレイ５、自車の現在位置を検出するＧＰＳ機器６１、進行情報となる方位、移動量をそれぞれ検出する２次元振動ジャイロ６２および加速度センサ６３を具備しているナビゲーションセンサ６（非接触慣性航法装置を指す）、自車の前方景色（情景）を撮影して画像を入力するＣＣＤ等のカメラ７、自車の傾斜を検知する傾斜センサ８等により構成されている。自動車１の制御系、電気系、エンジン部位等の構成は、本発明の趣旨からその説明を省略する。なお、ナビゲーションセンサ６は、自車の現在位置と進行情報を検出できるものであればその他の構成であってもよい。
【００２１】
ナビゲーション装置２は、以下に詳述するが、ＧＰＳからの測位が困難な場所（区間）でのナビゲーションセンサ６の誤差解消および３次元マップマッチングを実現するものであり、たとえば、ロケーションコンピュータ２１、領域の一部もしくは全部の３次元座標データ（３次元折線形状データ）を蓄積する３次元座標データベース（３次元座標ＤＢ）２２、領域の一部もしくは全部の２次元地図データ、右左折等のポイントに応じて生成されるべき音声情報（音声データおよび生成ポイントの組み合わせ）、そして、以前に座標ポイントに応じて撮影された前方画像から取得されたオプティカルフロー情報を蓄積する地図・音声・ＯＦ情報データベース（地図・音声・ＯＦ情報ＤＢ）２３、通信処理装置２４、操作パネル２５、音声処理装置２６、画像処理装置２７等により構成されている。ここで、３次元座標ＤＢ２２および地図・音声・ＯＦ情報ＤＢ２４は、記憶手段に相当する。
【００２２】
ロケーションコンピュータ２１は、ＣＰＵ、ＲＯＭおよびＲＡＭによる制御ユニット、本実施形態のセンサ誤差解消（オプティカルフロー使用）および３次元マップマッチング処理等を実現するためのロケーション処理プログラム２１１等を具備している。このロケーションコンピュータ２１は、ナビゲーションセンサ６に接続され、ＧＰＳ機器６１から現在位置情報、２次元振動ジャイロ６２から方位、そして、加速度センサ６３から移動量をそれぞれ入力してＸ−Ｙ座標系の２次元マップマッチングを実行し、さらに、３次元座標ＤＢ２２から３次元座標データを読み出してＸ−ＹＺ座標系でのＺ座標位置情報を算出する。
【００２３】
このロケーションコンピュータ２１は、Ｚ座標位置情報に基づいて移動距離の補正を行ってから３次元位置情報を求めて画像処理装置２７に供給するものである。とくに、ＧＰＳからの測位が困難なトンネル内、ビルの陰等の区間については、３次元座標ＤＢ２２に記憶する座標に対してあらかじめＧＰＳ不能区間を示す道路属性をもたせておき、画像処理装置２７よりオプティカルフロー情報の合致もしくは不一致を確認した際は、正確な移動距離を求める補正を実行するものである。
【００２４】
通信処理装置２４は、アンテナ３に接続され、無線通信によってアンテナ３を介して各種の情報（渋滞情報、２次元地図データ、３次元座標データ、音声情報等）を取得する。通信処理装置２４は、アンテナ３を介して受信される２次元地図データや音声情報を地図・音声・ＯＦ情報ＤＢ２３に出力する。これにより、地図・音声・ＯＦ情報ＤＢ２３の更新処理が実行される。また、通信処理装置２４は、アンテナ３を介して受信される３次元座標データを３次元座標ＤＢ２２に出力する。これにより、３次元座標ＤＢ２２の更新処理が実行される。
【００２５】
操作パネル２５においては、ここではナビゲーション装置自体に設けられている例が示されているが、本発明はこれに限定されるものではなく、ナビゲーション装置外に設けてナビゲーション装置に対して操作信号を送る構成としてもよい。操作パネル２５は、出発地、目的地の入力により経路要求をしたり、候補として挙げられる経路の選択をしたり、本実施形態のカメラ撮影画像によるナビゲーション表示と２次元地図によるナビゲーション表示間の切り替えを指示するための操作ボタン等を備えている。
【００２６】
音声処理装置２６は、ロケーションコンピュータ２１、地図・音声・ＯＦ情報ＤＢ２３等に接続され、地図・音声・ＯＦ情報ＤＢ２３を参照してロケーションコンピュータ２から供給される３次元位置情報に基づいて真の現在位置に応じた音声データを後段に接続されるスピーカ４に供給する。スピーカ４は、音声処理装置２６から音声データを入力して音声を再生する。
【００２７】
画像処理装置２７は、ロケーションコンピュータ２１、地図・音声・ＯＦ情報ＤＢ２３等に接続され、ロケーションコンピュータ２１から供給される３次元位置情報に基づいて真の現在位置に応じた経路案内画像を生成し、その画像をカメラ７から供給される風景の画像に重畳して後段に接続されるディスプレイ５に供給する。この画像処理装置２７は、傾斜センサ８にも接続され、その傾斜センサ８から供給される傾斜角度に応じて経路案内画像の角度をカメラ座標系に整合させる。ディスプレイ５は、画像処理装置２７に接続され、そこから出力される画像情報に基づく画像を表示する。
【００２８】
つぎに、主要なデータベースについて詳述する。図２は本実施形態による３次元座標ＤＢ２２および地図・音声・ＯＦ情報ＤＢの一例を示す図である。３次元座標ＤＢ２２は、たとえば図２に示したように、ヘッダ部を先頭にして座標ポイント毎にＸ，Ｙ，Ｚ座標データを対応付けて記憶している。一例として、座標ポイントＰ０（Ｘ０，Ｙ０，Ｚ０）、・・・、Ｐn-1（Ｘn-1，Ｙn-1，Ｚn-1）のように順に記憶されている。３次元座標データの計測手法にもよるが、座標ポイントは、たとえば１ｍ間隔でもよいが、それ以上もしくはそれ以下の間隔でもよいことは言うまでもない。この３次元座標ＤＢ２２は、各座標ポイントに対してあらかじめ撮影済みの画像から抽出したオプティカルフロー情報（ＯＦデータｎ（ｎは整数））をもたせている。
【００２９】
つづいて、動作について説明する。図３は本実施形態によるナビゲーション処理の一例を説明するフローチャートである。以下に説明する動作は、主として、ナビゲーション装置２のロケーションコンピュータ２１および画像処理装置２３において、各制御ユニットおよびプログラムにより実現されるものである。
【００３０】
ナビゲーション装置２の電源が投入されると、初期設定が実行され（ステップＳ１０１）、ナビゲーションセンサ６および傾斜センサ８からそれぞれにおいて検知される情報の入力が開始される（ステップＳ１０２）。つづいて、ドライバもしくは同乗者から経路設定（出発地、目的地等）等の入力が受け付けられ、メモリに記憶される（ステップＳ１０３）。ここで、メモリは図示せぬがナビゲーション装置２全体を制御する制御ユニットの記憶装置でもよく、あるいは、ロケーションコンピュータ２１や画像処理装置２７のメモリでもよい。
【００３１】
以上の準備が整い、自動車２が走行を開始すると、ロケーションコンピュータ２１において、図７および図８に示す３次元マップマッチング処理が開始される（ステップＳ１０４）。この３次元マップマッチング処理により３次元位置情報が決定すると、画像処理装置２７において、その３次元位置情報に基づいて経路案内画像（矢印で示すものであって右左折の案内、色等で示すものであって識別可能な坂道の案内、数字等で示すものであって車線数が多いときの走行ラインの案内等）が生成される（ステップＳ１０５）。
【００３２】
この経路案内画像には、傾斜センサ８から供給される自車の傾斜角度に応じてカメラ座標系としての補正が施される（ステップＳ１０６）。そして、カメラ７から撮影画像が読み込まれて（ステップＳ１０７）、その撮影画像に傾斜補正された経路案内画像が重畳される（ステップＳ１０８）。このようにして得られた重畳画像データに基づく画像はディスプレイ５に出力されて表示される（ステップＳ１０９）。
【００３３】
さらに、音声処理装置２６においては、ロケーションコンピュータ２１から供給された３次元位置情報に基づいて地図・音声・ＯＦ情報ＤＢ２３から音声情報が抽出され、その音声情報のうち音声データに基づいて音声ガイダンスが生成される。この音声ガイダンスはスピーカ４から音声として出力される（ステップＳ１１０）。
【００３４】
つづいて、本実施形態によるＧＰＳ測位不能なときの移動時における累積誤差解消および３次元マップマッチングについて詳述する。図４は本実施形態における３次元マップマッチングの原理を座標系で説明する図、図５は本実施形態においてＧＰＳ測位不能なときの移動時における累積誤差解消および３次元マップマッチング処理の一例を説明するフローチャート、そして、図６はオプティカルフローに基づく処理を説明する図である。累積誤差解消および３次元マップマッチング処理は、ロケーションコンピュータ２１により実行されるものである。図４（ａ）は、３次元座標系における２次元マップマッチングと３次元マップマッチングとの関係を示すものであり、同図（ｂ）は、走行時、勾配差の発生において、３次元マップマッチングにより移動量の誤差を防止する原理を説明するものである。
【００３５】
図４（ａ）において、２次元座標上の位置Ａ′，Ｐ′，Ｂ′，Ｃ′には、３次元座標系の位置Ａ，Ｐ，Ｂ，Ｃがそれぞれ対応しているものとする。ＸＹ平面に写像した２次元位置情報による線分Ａ′，Ｂ′，Ｃ′上にある点Ｐ′の位置情報が得られた場合、３次元位置情報の線分Ａ，Ｂ上の点Ｐの位置に自車があると推定できる。線分ＡＢは、たとえば１ｍ間隔に取得した位置情報を端点とする。このように、２次元マップマッチングにより自車の位置Ｐ′がわかれば、必然的に高さデータＺすなわちＺ軸座標位置データを算出することが可能となる。これにより、ナビゲーションセンサ６を備えるだけでＸ，Ｙ，Ｚの３次元ナビゲーションセンサをソフトウェアにより実現することが可能となる。
【００３６】
図４（ｂ）において、２次元座標上の位置Ｆ′，Ｇ′，Ｈ′，Ｉ′，Ｊ′には、３次元座標系の位置Ｆ，Ｇ，Ｈ，Ｉ，Ｊがそれぞれ対応しているものとする。３次元に拡張して勾配の変化を利用して、距離計測の補正を行うと、既存の方法よりも制度が向上する。たとえば、線分ＦＧ間において道路の勾配差（角度θ１）が確認されると、本実施形態の３次元マップマッチングにより移動距離の補正が可能となる。ところが、補正が施されないと線分間の補正前移動距離で示されるように、誤差ｄ１が発生する。同様に、線分ＧＨ間においても道路の勾配差（角度θ２）が確認され、本実施形態の３次元マップマッチングによる移動距離の補正が施されないと、誤差は蓄積して誤差ｄ２が発生する。本実施形態の３次元マップマッチングが施されると、図示の如く、各線分において誤差の発生が抑制された各線分の補正後移動距離が得られる。その結果、誤差の蓄積を防止することが可能となる。
【００３７】
以下、具体的な処理について図５を参照して説明する。その前提でまず、ナビゲーションセンサ６から計測情報が入力されるとともに、３次元座標ＤＢ２２から現座標ポイントのＯＦデータｎが入力される（ステップＳ２０１）。このとき、カメラ７で撮影された画像のＯＦデータが取得される（ステップＳ２０２）。ここで、図６（Ａ）の画像ＩＭＧ１は、ある座標ポイントでのオブジェクト６１Ａを含んでおり、ステップＳ２０２においてこのオブジェクト６１Ａに関するＯＦデータが取得された例を以下に説明する。なお、オプティカルフロー処理については、本発明の骨子ではないことから、説明を省略する。
【００３８】
この後、まずナビゲーションセンサ６からの計測情報にしたがって現在位置、移動距離、および、進行方向の算出が行われる（ステップＳ２０３）。そして、これらの情報に基づいて２次元マップマッチング処理が実行され、その結果、２次元座標位置が算出される（ステップＳ２０４）。ここで、一例として、図４（ａ）に示したように、２次元座標位置（Ｘ−Ｙ座標系）をＰ′とする。そして、３次元座標ＤＢ２２から３次元座標データ（Ｘ−Ｙ−Ｚ座標系）が読み出されて参照され（ステップＳ２０５）、２次元座標位置Ｐ′の位置における高さＺすなわちＺ座標位置が算出される。このようにして、Ｚ位置座標データが取得され、ロケーションコンピュータ２１内のメモリに記憶される（ステップＳ２０６）。
【００３９】
つづいてＺ座標位置間の線分から勾配差が判断される（ステップＳ２０７）。勾配差があるという判断結果が得られた場合には（ステップＳ２０７のＹＥＳルート）、その勾配差に基づいて移動距離が補正される（ステップＳ２０８）。たとえば、図４（ｂ）の場合、線分ＦＧ間では、角度θ１となってそれに基づいて補正処理が実行される。一方、線分ＧＨ間では、角度θ２となってそれに基づいて補正処理が実行される。これにより、それぞれの誤差ｄ１、ｄ２は解消される。
【００４０】
勾配差に基づく補正が施されると、移動距離の補正からＸ−Ｙ座標におけるＸ座標位置およびＹ座標位置が確定し、これらＸ−Ｙ座標位置データにＺ座標位置データが組み合わされて３次元位置情報が確定する。このようにして３次元位置情報が算出され、その位置のＯＦデータが地図・音声・ＯＦ情報ＤＢ２３から読み出される（ステップＳ２０９）。
【００４１】
そして、ステップＳ２０２で取得したＯＦデータとステップＳ２０９で読み出されたＯＦデータとのＯＦマッチング処理が実行され（ステップＳ２１０）。その結果、一致が確認された場合、すなわち、図６（Ａ）で説明したＯＤデータとの一致が確認された場合には（ステップＳ２１１のＹＥＳルート）、ステップＳ２０９で算出された３次元位置情報がロケーションコンピュータ２１のメモリに記憶され、処理は図３に戻る（ステップＳ２１３）。
【００４２】
一方、不一致が確認された場合、すなわち、図６（Ｂ）で示すオブジェクト６７Ｂに関するＯＤデータとの間で不一致が確認された場合には（ステップＳ２１１のＮＯルート）、３次元位置情報の補正が実行され（ステップＳ２１２）、その補正後の３次元位置情報がロケーションコンピュータ２１のメモリに記憶され、処理は図３に戻る（ステップＳ２１３）。
【００４３】
ここで、補正処理について説明する。補正処理の一例として、ステップＳ２０９で算出された３次元位置情報を基点として進行方向に対する前後方向に向かってＯＦデータを読み出して、ステップＳ２０２で取得したＯＦデータと比較して一致した座標ポイントの３次元位置情報を補正後の情報とするようにしてもよい。また、この補正処理に道路形状の特徴を盛り込むようにしてもよい。この場合は、道路形状による加速度の急激な変化ポイント（座標ポイント）をあらかじめ予測しておき、並行して加速度センサ６３に基づく移動距離から３次元位置情報を求めてＯＦマッチング処理の範囲を絞り込めるようにしてもよい。このとき、３次元座標ＤＢ２２の座標ポイントに対して変化ポイントを示す属性をもたせておけばよい。
【００４４】
このようにして、従来、移動距離の補正は交差点ノードでの右左折を利用しており、直進移動距離が伸びると誤差が蓄積していたが、以上の結果、その蓄積を抑制することができる。
【００４５】
以上説明したように、本実施形態によれば、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶しておき、非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、カメラにより撮影された画像情報に基づくオプティカルフロー情報とＤＢに記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出し、この算出された移動距離に基づく現在位置を２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出して、この２次元位置情報と上述した記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出し、移動体の移動上、その算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出して、この検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出するようにしたので、非接触慣性航法装置を用いた際に、オプティカルフローの技術を用いてもＧＰＳ測位が困難な経路上での精度の高いナビゲーションを実現することが可能である。さらに、勾配差のある道路で自動車の直進移動距離が伸びても、地図上に反映される自動車の現在位置に誤差が蓄積することはなく、誤差の発生を抑制することが可能である。
【００４６】
また、以上のように誤差の発生を抑制したので、ナビゲーション装置および自動車においては、案内精度の高いナビゲーションを実現することが可能である。
【００４７】
さて、上述した実施形態では、オプティカルフロー技術を適用してナビゲーションを実現したが、本発明はこれに限定されず、以下に説明する他の実施形態のように、オプティカルフロー技術を適用しなくてもカメラが撮影した画像だけで車速を導き出してナビゲーションを実現するようにしてもよい。なお、以下の説明では、主要な構成および処理のみ説明する。
【００４８】
まず、全体構成として、他の実施形態では、オプティカルフロー技術を採用しないことから、図１に示す地図・音声・ＯＦ情報ＤＢ２３のＯＦ情報が不要となる。その他の構成については、図１の通りのため、説明を省略する。以上の全体構成における処理について説明する。図７は本発明の他の実施形態による画面遷移の一例を説明する図であり、図８は画像処理の一例を説明するフローチャートである。
【００４９】
図７には、ＧＰＳから位置情報を取得できない経路の一例として、トンネル内の撮影画像が示されている。この他の実施形態においては、たとえば図７（ａ），（ｂ）に示したように、撮影画像ＩＭＧ１１内に第１および第２仮想バーＬＮ１，ＬＮ２を一定の幅をもたせて設けられている。この第１および第２仮想バーＬＮ１，ＬＮ２は、実際のディスプレイには見えず、画像処理の仮想空間内で必要とされる基準である。すなわち、仮想空間内において、第１および第２仮想バーＬＮ１，ＬＮ２は、オブジェクトの当り判定処理に寄与するものである。なお、当り判定処理自体は、一般的な処理のため、説明を省略する。
【００５０】
撮影画像ＩＭＧ１１内での第１および第２仮想バーＬＮ１，ＬＮ２の幅には、あらかじめ計測済みの実際の距離が対応付けられている。この距離は、たとえば、５ｍ、１０ｍ、２０ｍ、３０ｍなどであり、カメラの設置や仮想バーの平面的な幅との関係を調整することにより利用者が任意に設定できるものである。また、前提として、トンネル内の側面には、規則的もしくは不規則にライトが設置されているものとする。ＯＢＪは、ある位置に設定されるライトを示している。ここでは、証明を例に挙げているが、その他に、木のようにある程度画像処理でパターン等を認識しやすいものであればなんでもよい。パターンは、形状等のデータとしており、精度を高めるために色相、彩度、輝度等の色に関する情報をもつようにしてもよい。
【００５１】
この他の実施形態では、画像認識すべき対象オブジェクトをライトのパターンとする。このパターンは、あらかじめ画像処理装置２７に登録されている。図7の例において、移動中の自動車は前方を進行方向としてカメラ撮影を実行する（ステップＳ８０１）。そして、対象オブジェクトであるライトＯＢＪが画像認識されると（ステップＳ８０２のＹＥＳルート）、そのパターンの追跡が開始される（ステップＳ８０３）。もちろん、画像認識でライトＯＢＪが確認できないときは（ステップＳ８０２のＮＯルート）、処理はステップＳ８０１に戻る。
【００５２】
パターン追跡が開始された後、第１仮想バーＬＮ１とライトＯＢＪとの当り判定が検出されると（ステップＳ８０４のＹＥＳルート）、図７（ａ）のように、ライトＯＢＪが第１仮想バーＬＮ１を跨いだことが確認される。これにより、時間計測が開始される（ステップＳ８０５）。
【００５３】
そして、第１仮想バーＬＮ１に続いて続く第２仮想バーＬＮ２とライトＯＢＪとの当り判定処理が実行される（ステップＳ８０６）。その後、第２仮想バーＬＮ２とライトＯＢＪとの当り判定が検出されると（ステップＳ８０６のＹＥＳルート）、図７（ｂ）のように、ライトＯＢＪが第２仮想バーＬＮ２を跨いだことが確認される。これにより、計測時間が確定し、第１および第２仮想バーＬＮ１，ＬＮ２間の実際の距離に対する計測時間に基づいて移動速度が算出される（ステップＳ８０７）。
【００５４】
そして、この移動速度にしたがって自動車の正確な移動距離が算出され（ステップＳ８０８）、現在位置が算出される（ステップＳ８０９）。以上の説明では、図３のステップＳ１０４に含まれる進行方向等の他の要素は省略しているが、他の要素も含んでいるものとする。
【００５５】
この他の実施形態では、前述の実施形態のようにすべての説明は省略するが、以降、ステップＳ８０９で求められた現在位置に基づいて２次元マッチング、さらには３次元マッチングを行って、ナビゲーションを実現することができる。
【００５６】
以上説明したように、他の実施形態によれば、自動車の前進もしくは後退の際に、カメラにより撮影された画像情報についてオブジェクトのパターンマッチングを行うとともに、パターンマッチングでマッチしたオブジェクトのパターンを追跡するようにして、非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、オブジェクトがマッチングした際に、オブジェクトのパターンを追跡して、少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出するようにしたので、非接触慣性航法装置を用いた際に、ＧＰＳ測位が困難な経路上での精度の高いナビゲーションを実現することが可能である。さらに、前述の実施形態と同様に、勾配差のある道路で自動車の直進移動距離が伸びても、地図上に反映される自動車の現在位置に誤差が蓄積することはなく、誤差の発生を抑制することが可能である。
【００５７】
この他の実施形態においては、ＧＰＳから位置情報を取得できないトンネルやビルの陰などにおいて確認しやすい街灯、トンネル設置のライト、道路沿いに植え込んである木などがパターンとして適用しやすい。
【００５８】
このように、上述した２つの実施形態から、ＰＮＤとして安価なナビゲーションシステムを提供することができることはもちろん、本発明のロケーションコンピュータを適用すれば、ナビゲーションシステム全体で高精度の３次元ナビゲーションセンサを実現することが可能である。
【００５９】
そして、３次元ＣＧ技術を駆使して実際の風景を再現しないため、膨大な地図データを自動車に取り込む必要はなくなる。
【００６０】
また、自動車の現在位置を精度高く地図上にマップマッチングさせるようにしたので、地図鳥瞰画像とカメラで撮影される画像との間で整合されるカメラ座標系においては、自動車の傾斜補正を正確な現在位置に基づいて反映させることが可能である。
【００６１】
さらに、自動車の現在位置を正確にマップマッチングさせていることから、カメラで撮影される画像に案内画像を重畳させるときにも案内画像をディスプレイに表示される撮影画像中に正確な位置で表示させることが可能である。
【００６２】
そして、３次元折線形状データを使用することから、案内画像の生成もより細かく設定することができるので、右左折の経路においても緩やかな曲線で案内の矢印等を描写することが可能である。
【００６３】
また、３次元折線形状データを使用して、自動車の現在位置を正確にマップマッチングさせていることから、夜間、雨、霧等で見通しの悪い景観や前方の視界を大型車両が遮って交差点が確認できないときの走行時でも、前方に近づく右左折案内等の情報を正確にディスプレイ上で表示することが可能である。
【００６４】
さらに、ディスプレイに実際の景観を表示させ、そこに適宜案内を重ねて表示するようにしたので、ドライバが見ている景観と同じ映像でのナビゲーションを実現することが可能である。これにより、一般のナビゲーション装置に不慣れな利用者であっても矢印等の案内確認さえできればよく、誰でも簡単かつ即座に使いこなせるというメリットがある。また、右左折レーンや側道までもわかりやすく案内することが可能である。
【００６５】
そして、２次元表示する地図においては、必要最小限の情報が収録されていればよく、本実施形態の３次元マップマッチングに対して特別な地図データを用意する必要はないので、この場合にも安価なカーナビゲーションシステムを提供することが可能である。
【産業上の利用可能性】
【００６６】
本発明は、船舶等の業種においても産業上有用であるとともに、位置情報を取得することが可能な携帯電話、携帯情報端末、歩数計、携帯ゲーム機等の電化製品市場においても有用である。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施形態による自動車の内部構成例を示すブロック図である。
【図２】本実施形態による３次元座標ＤＢおよび地図・音声・ＯＦ情報ＤＢの一例を示す図である。
【図３】本実施形態によるナビゲーション処理の一例を説明するフローチャートである。
【図４】本実施形態における３次元マップマッチングの原理を座標系で説明する図である。
【図５】本実施形態においてＧＰＳ測位不能なときの移動時における累積誤差解消および３次元マップマッチング処理の一例を説明するフローチャートである。
【図６】オプティカルフローに基づく処理を説明する図である。
【図７】他の実施形態による画面遷移の一例を説明する図である。
【図８】他の実施形態による画像処理の一例を説明するフローチャートである。
【符号の説明】
【００６８】
１ 自動車
２ ナビゲーション装置
３ アンテナ
４ スピーカ
５ ディスプレイ
６ ナビゲーションセンサ
７ カメラ
８ 傾斜センサ
２１ ロケーションコンピュータ
２２ ３次元座標ＤＢ
２３ 地図・音声・ＯＦ情報ＤＢ
２４ 通信処理装置
２５ 操作パネル
２６ 音声処理装置
２７ 画像処理装置
５１ 経路案内画像
５３ 経路案内画像
５４ 経路画像
５５ 現在位置マーク
６１ ＧＰＳ機器
６２ ２次元振動ジャイロ
６３ 加速度センサ
２１１ ロケーション処理プログラム
２７１ 画像処理プログラム
【技術分野】
【０００１】
本発明は、ナビゲーション装置、ナビゲーション方法、および、自動車に関する。
【背景技術】
【０００２】
近年、自動車のナビゲーション装置の普及は著しいものであり、モニタに映し出されるコンピュータグラフィックス（ＣＧ）の描写能力や案内時に提供される各種情報の充実振りを各社で競うかたちとなっている。このように、多機能・高性能型の追求では、ナビゲーション装置の価格高騰は避けられないものとなっている。
【０００３】
その一方で、２００５年あたりから、欧州を中心にパーソナルナビゲーションデバイス（以下、ＰＮＤという）の需要が急速に高まっている。世界のカーナビ市場が急成長する原動力ともいわれ、その理由のひとつとして、通常のナビゲーション装置に比べて低価格な設定を挙げることができる。
【０００４】
現在のＰＮＤは、グローバルポジショニングシステム（以下、ＧＰＳという）で現在位置を確認してナビゲーションを行うものであり、通常のナビゲーション装置のように車速パルスは不要となる。もちろん、トンネル内やビルの陰のようにＧＰＳが利用できない区間では、使用できないという問題も持ち合わせている。
【０００５】
このように、ＰＮＤはＧＰＳに依存した簡易型ナビゲーション装置ではあるが、非接触慣性航法装置（加速度センサとジャイロセンサとの組み合わせ）を用いれば、トンネル内でも移動距離や移動方向を入手できるので上記の問題を解決することができる。
【０００６】
ＧＰＳと非接触慣性航法装置とを組み合わせたとしても、相対位置を取得する非接触慣性航法装置はＧＰＳの補完的な役割を担うに過ぎないことから、ＧＰＳからつぎの絶対位置を取得するまでの区間で計測誤差を解消する必要がある。この解消を怠ると、計測誤差が累積して真位置とのずれは拡がるばかりとなり、ナビゲーションとして求められる許容範囲を逸脱する虞がある。そこで、近年、相対位置検出における方位あるいは加速度に対して補正を行うことで、累積誤差の影響を可及的に抑制する提案がなされている（特許文献１）。
【０００７】
近年、自動車に取り付けたカメラを用いて、撮影時間に時間差のある画像を比較し、その差から物体の移動状態を検出するオプティカルフロー手段を備えた画像処理装置の提案がある（特許文献１）。また、走行領域表面およびその近傍の情景の画像のあらなじめ記憶しているオプティカルフローと現在のオプティカルフローとの比較する移動体現在位置検出方法が提案されている（特許文献２）。
【０００８】
【特許文献１】特開平１０−２２２６６５号公報
【特許文献２】特開２０００−１７１２５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した従来例においては、同一地点での過去と現在のオプティカルフロー比較に頼っているだけの構成なので、ＧＰＳ測位が困難な走行区間においては、適切な補正タイミングを得ることが困難であった。
【００１０】
本発明の目的は、非接触慣性航法装置を用いた際に、ＧＰＳ測位が困難な経路上での精度の高いナビゲーションを実現することが可能なナビゲーション装置、ナビゲーション方法、および、自動車を提供することにある。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、上記目的を達成するため、本発明の請求項１に係るナビゲーション装置は、移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得するナビゲーション装置であって、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する記憶手段と、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記記憶手段に記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する算出手段と、前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、を備えたことを特徴とするものである。
【００１２】
また、請求項２の発明に係るナビゲーション装置は、移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得するナビゲーション装置であって、道路ネットワークに対応するＸＹＺ座標系の３次元座標データを記憶する記憶手段と、前記カメラにより撮影される画像情報内には、移動体の進行方向に交差するように並ぶ少なくとも２本の仮想バーが設けられ、かつ、当該２本の仮想バー間について経路上の距離があらかじめ算出されているとともに、所定の画像処理により検出可能なオブジェクトのパターンがすくなくとも１つ設けられており、移動体の前進もしくは後退の際に、前記カメラにより撮影された画像情報について前記所定の画像処理にしたがって前記オブジェクトのパターンマッチングを行うとともに、当該パターンマッチングでマッチしたオブジェクトのパターンを追跡する画像処理手段と、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、前記画像処理手段により前記オブジェクトがマッチングした際に、前記画像処理手段により当該オブジェクトのパターンを追跡して、前記少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出する算出手段と、前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、を備えたことを特徴とするものである。
【００１３】
また、請求項３の発明は、請求項１または２において、さらに、前記３次元マップマッチング手段で算出された３次元位置情報に基づいてルート案内を示す画像情報を生成する画像生成手段と、前記移動体にカメラが設定されており、当該カメラで撮影された画像情報を入力する入力手段と、前記画像生成手段で生成された画像情報と前記入力手段で入力された画像情報とを重畳する重畳手段と、前記重畳手段で重畳された画像を前記ディスプレイに表示する表示手段と、を備えたことを特徴とするものである。
【００１４】
また、請求項４の発明は、請求項３において、さらに、２次元地図データを記憶する地図記憶手段と、前記地図記憶手段に記憶される２次元地図データを参照して前記３次元マップマッチング手段で算出された３次元位置情報に基づいて前記移動体の現在位置情報を含む２次元地図を生成する地図生成手段と、前記地図生成手段で生成された２次元地図を前記ディスプレイに表示する地図表示手段とを有することを特徴とするものである。
【００１５】
また、請求項５の発明に係るナビゲーション方法は、移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得する装置のナビゲーション方法であって、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報がメモリに記憶されており、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記メモリに記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する第１ステップと、前記第１ステップにより算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する第２ステップと、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報をメモリに記憶しておき、前記第２ステップで算出された２次元位置情報と前記メモリに記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出する第３ステップと、前記移動体の移動上、前記第３ステップで算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する第４ステップと、前記第４ステップで検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する第５ステップと、を含んだことを特徴とするものである。
【００１６】
また、請求項６の発明に係るナビゲーション方法は、移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得する装置のナビゲーション方法であって、前記カメラにより撮影される画像情報内には、移動体の進行方向に交差するように並ぶ少なくとも２本の仮想バーが設けられ、かつ、当該２本の仮想バー間について経路上の距離があらかじめ算出されているとともに、所定の画像処理により検出可能なオブジェクトのパターンがすくなくとも１つ設けられており、移動体の前進もしくは後退の際に、前記カメラにより撮影された画像情報について前記所定の画像処理にしたがって前記オブジェクトのパターンマッチングを行うとともに、当該パターンマッチングでマッチしたオブジェクトのパターンを追跡する第１ステップと、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、前記第１ステップにより前記オブジェクトがマッチングした際に、前記第１ステップにより当該オブジェクトのパターンを追跡して、前記少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出する第２ステップと、前記第２ステップにより算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する第３ステップと、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報がメモリに記憶されており、前記第３ステップで算出された２次元位置情報と前記メモリに記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出する第４ステップと、前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する第５ステップと、前記第５ステップで検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する第６ステップと、を含んだことを特徴とするものである。
【００１７】
また、請求項７の発明に係る自動車は、自動車であって、前後左右方向のいずれか１つまたはその組み合わせ分の撮影を行うカメラと、ディスプレイと、衛星測位装置、および、方位および加速度を検出する非接触慣性航法装置を用いて、少なくとも現在位置および進行情報を検出する位置検出ユニットと、ディスプレイを有しており、当該ディスプレイに画像を表示するナビゲーション装置と、を備え、前記ナビゲーション装置は、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する記憶手段と、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記記憶手段に記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する算出手段と、前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、前記３次元マップマッチング手段で算出された３次元位置情報に基づいてルート案内を示す画像情報を生成する画像生成手段と、前記画像生成手段で生成された画像情報と前記入力手段で入力された画像情報とを重畳する重畳手段と、前記重畳手段で重畳された画像を前記ディスプレイに表示する表示手段と、を備えたことを特徴とするものである。
【発明の効果】
【００１８】
本発明は、非接触慣性航法装置を用いた際に、ＧＰＳ測位が困難な経路上での精度の高いナビゲーションを実現することが可能である。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照して、本発明に係る一実施の形態について詳細に説明する。
【００２０】
まず、全体の構成について説明する。図１は本発明の一実施形態による自動車の内部構成例を示すブロック図である。本実施形態の自動車１は、たとえば図１に示したように、以下に説明するが、本実施形態の３次元マップマッチングにより３次元位置情報の取得等を行うナビゲーション装置２、無線通信により各種の情報を授受するためのアンテナ３、音声を出力するスピーカ４、画像を表示するディスプレイ５、自車の現在位置を検出するＧＰＳ機器６１、進行情報となる方位、移動量をそれぞれ検出する２次元振動ジャイロ６２および加速度センサ６３を具備しているナビゲーションセンサ６（非接触慣性航法装置を指す）、自車の前方景色（情景）を撮影して画像を入力するＣＣＤ等のカメラ７、自車の傾斜を検知する傾斜センサ８等により構成されている。自動車１の制御系、電気系、エンジン部位等の構成は、本発明の趣旨からその説明を省略する。なお、ナビゲーションセンサ６は、自車の現在位置と進行情報を検出できるものであればその他の構成であってもよい。
【００２１】
ナビゲーション装置２は、以下に詳述するが、ＧＰＳからの測位が困難な場所（区間）でのナビゲーションセンサ６の誤差解消および３次元マップマッチングを実現するものであり、たとえば、ロケーションコンピュータ２１、領域の一部もしくは全部の３次元座標データ（３次元折線形状データ）を蓄積する３次元座標データベース（３次元座標ＤＢ）２２、領域の一部もしくは全部の２次元地図データ、右左折等のポイントに応じて生成されるべき音声情報（音声データおよび生成ポイントの組み合わせ）、そして、以前に座標ポイントに応じて撮影された前方画像から取得されたオプティカルフロー情報を蓄積する地図・音声・ＯＦ情報データベース（地図・音声・ＯＦ情報ＤＢ）２３、通信処理装置２４、操作パネル２５、音声処理装置２６、画像処理装置２７等により構成されている。ここで、３次元座標ＤＢ２２および地図・音声・ＯＦ情報ＤＢ２４は、記憶手段に相当する。
【００２２】
ロケーションコンピュータ２１は、ＣＰＵ、ＲＯＭおよびＲＡＭによる制御ユニット、本実施形態のセンサ誤差解消（オプティカルフロー使用）および３次元マップマッチング処理等を実現するためのロケーション処理プログラム２１１等を具備している。このロケーションコンピュータ２１は、ナビゲーションセンサ６に接続され、ＧＰＳ機器６１から現在位置情報、２次元振動ジャイロ６２から方位、そして、加速度センサ６３から移動量をそれぞれ入力してＸ−Ｙ座標系の２次元マップマッチングを実行し、さらに、３次元座標ＤＢ２２から３次元座標データを読み出してＸ−ＹＺ座標系でのＺ座標位置情報を算出する。
【００２３】
このロケーションコンピュータ２１は、Ｚ座標位置情報に基づいて移動距離の補正を行ってから３次元位置情報を求めて画像処理装置２７に供給するものである。とくに、ＧＰＳからの測位が困難なトンネル内、ビルの陰等の区間については、３次元座標ＤＢ２２に記憶する座標に対してあらかじめＧＰＳ不能区間を示す道路属性をもたせておき、画像処理装置２７よりオプティカルフロー情報の合致もしくは不一致を確認した際は、正確な移動距離を求める補正を実行するものである。
【００２４】
通信処理装置２４は、アンテナ３に接続され、無線通信によってアンテナ３を介して各種の情報（渋滞情報、２次元地図データ、３次元座標データ、音声情報等）を取得する。通信処理装置２４は、アンテナ３を介して受信される２次元地図データや音声情報を地図・音声・ＯＦ情報ＤＢ２３に出力する。これにより、地図・音声・ＯＦ情報ＤＢ２３の更新処理が実行される。また、通信処理装置２４は、アンテナ３を介して受信される３次元座標データを３次元座標ＤＢ２２に出力する。これにより、３次元座標ＤＢ２２の更新処理が実行される。
【００２５】
操作パネル２５においては、ここではナビゲーション装置自体に設けられている例が示されているが、本発明はこれに限定されるものではなく、ナビゲーション装置外に設けてナビゲーション装置に対して操作信号を送る構成としてもよい。操作パネル２５は、出発地、目的地の入力により経路要求をしたり、候補として挙げられる経路の選択をしたり、本実施形態のカメラ撮影画像によるナビゲーション表示と２次元地図によるナビゲーション表示間の切り替えを指示するための操作ボタン等を備えている。
【００２６】
音声処理装置２６は、ロケーションコンピュータ２１、地図・音声・ＯＦ情報ＤＢ２３等に接続され、地図・音声・ＯＦ情報ＤＢ２３を参照してロケーションコンピュータ２から供給される３次元位置情報に基づいて真の現在位置に応じた音声データを後段に接続されるスピーカ４に供給する。スピーカ４は、音声処理装置２６から音声データを入力して音声を再生する。
【００２７】
画像処理装置２７は、ロケーションコンピュータ２１、地図・音声・ＯＦ情報ＤＢ２３等に接続され、ロケーションコンピュータ２１から供給される３次元位置情報に基づいて真の現在位置に応じた経路案内画像を生成し、その画像をカメラ７から供給される風景の画像に重畳して後段に接続されるディスプレイ５に供給する。この画像処理装置２７は、傾斜センサ８にも接続され、その傾斜センサ８から供給される傾斜角度に応じて経路案内画像の角度をカメラ座標系に整合させる。ディスプレイ５は、画像処理装置２７に接続され、そこから出力される画像情報に基づく画像を表示する。
【００２８】
つぎに、主要なデータベースについて詳述する。図２は本実施形態による３次元座標ＤＢ２２および地図・音声・ＯＦ情報ＤＢの一例を示す図である。３次元座標ＤＢ２２は、たとえば図２に示したように、ヘッダ部を先頭にして座標ポイント毎にＸ，Ｙ，Ｚ座標データを対応付けて記憶している。一例として、座標ポイントＰ０（Ｘ０，Ｙ０，Ｚ０）、・・・、Ｐn-1（Ｘn-1，Ｙn-1，Ｚn-1）のように順に記憶されている。３次元座標データの計測手法にもよるが、座標ポイントは、たとえば１ｍ間隔でもよいが、それ以上もしくはそれ以下の間隔でもよいことは言うまでもない。この３次元座標ＤＢ２２は、各座標ポイントに対してあらかじめ撮影済みの画像から抽出したオプティカルフロー情報（ＯＦデータｎ（ｎは整数））をもたせている。
【００２９】
つづいて、動作について説明する。図３は本実施形態によるナビゲーション処理の一例を説明するフローチャートである。以下に説明する動作は、主として、ナビゲーション装置２のロケーションコンピュータ２１および画像処理装置２３において、各制御ユニットおよびプログラムにより実現されるものである。
【００３０】
ナビゲーション装置２の電源が投入されると、初期設定が実行され（ステップＳ１０１）、ナビゲーションセンサ６および傾斜センサ８からそれぞれにおいて検知される情報の入力が開始される（ステップＳ１０２）。つづいて、ドライバもしくは同乗者から経路設定（出発地、目的地等）等の入力が受け付けられ、メモリに記憶される（ステップＳ１０３）。ここで、メモリは図示せぬがナビゲーション装置２全体を制御する制御ユニットの記憶装置でもよく、あるいは、ロケーションコンピュータ２１や画像処理装置２７のメモリでもよい。
【００３１】
以上の準備が整い、自動車２が走行を開始すると、ロケーションコンピュータ２１において、図７および図８に示す３次元マップマッチング処理が開始される（ステップＳ１０４）。この３次元マップマッチング処理により３次元位置情報が決定すると、画像処理装置２７において、その３次元位置情報に基づいて経路案内画像（矢印で示すものであって右左折の案内、色等で示すものであって識別可能な坂道の案内、数字等で示すものであって車線数が多いときの走行ラインの案内等）が生成される（ステップＳ１０５）。
【００３２】
この経路案内画像には、傾斜センサ８から供給される自車の傾斜角度に応じてカメラ座標系としての補正が施される（ステップＳ１０６）。そして、カメラ７から撮影画像が読み込まれて（ステップＳ１０７）、その撮影画像に傾斜補正された経路案内画像が重畳される（ステップＳ１０８）。このようにして得られた重畳画像データに基づく画像はディスプレイ５に出力されて表示される（ステップＳ１０９）。
【００３３】
さらに、音声処理装置２６においては、ロケーションコンピュータ２１から供給された３次元位置情報に基づいて地図・音声・ＯＦ情報ＤＢ２３から音声情報が抽出され、その音声情報のうち音声データに基づいて音声ガイダンスが生成される。この音声ガイダンスはスピーカ４から音声として出力される（ステップＳ１１０）。
【００３４】
つづいて、本実施形態によるＧＰＳ測位不能なときの移動時における累積誤差解消および３次元マップマッチングについて詳述する。図４は本実施形態における３次元マップマッチングの原理を座標系で説明する図、図５は本実施形態においてＧＰＳ測位不能なときの移動時における累積誤差解消および３次元マップマッチング処理の一例を説明するフローチャート、そして、図６はオプティカルフローに基づく処理を説明する図である。累積誤差解消および３次元マップマッチング処理は、ロケーションコンピュータ２１により実行されるものである。図４（ａ）は、３次元座標系における２次元マップマッチングと３次元マップマッチングとの関係を示すものであり、同図（ｂ）は、走行時、勾配差の発生において、３次元マップマッチングにより移動量の誤差を防止する原理を説明するものである。
【００３５】
図４（ａ）において、２次元座標上の位置Ａ′，Ｐ′，Ｂ′，Ｃ′には、３次元座標系の位置Ａ，Ｐ，Ｂ，Ｃがそれぞれ対応しているものとする。ＸＹ平面に写像した２次元位置情報による線分Ａ′，Ｂ′，Ｃ′上にある点Ｐ′の位置情報が得られた場合、３次元位置情報の線分Ａ，Ｂ上の点Ｐの位置に自車があると推定できる。線分ＡＢは、たとえば１ｍ間隔に取得した位置情報を端点とする。このように、２次元マップマッチングにより自車の位置Ｐ′がわかれば、必然的に高さデータＺすなわちＺ軸座標位置データを算出することが可能となる。これにより、ナビゲーションセンサ６を備えるだけでＸ，Ｙ，Ｚの３次元ナビゲーションセンサをソフトウェアにより実現することが可能となる。
【００３６】
図４（ｂ）において、２次元座標上の位置Ｆ′，Ｇ′，Ｈ′，Ｉ′，Ｊ′には、３次元座標系の位置Ｆ，Ｇ，Ｈ，Ｉ，Ｊがそれぞれ対応しているものとする。３次元に拡張して勾配の変化を利用して、距離計測の補正を行うと、既存の方法よりも制度が向上する。たとえば、線分ＦＧ間において道路の勾配差（角度θ１）が確認されると、本実施形態の３次元マップマッチングにより移動距離の補正が可能となる。ところが、補正が施されないと線分間の補正前移動距離で示されるように、誤差ｄ１が発生する。同様に、線分ＧＨ間においても道路の勾配差（角度θ２）が確認され、本実施形態の３次元マップマッチングによる移動距離の補正が施されないと、誤差は蓄積して誤差ｄ２が発生する。本実施形態の３次元マップマッチングが施されると、図示の如く、各線分において誤差の発生が抑制された各線分の補正後移動距離が得られる。その結果、誤差の蓄積を防止することが可能となる。
【００３７】
以下、具体的な処理について図５を参照して説明する。その前提でまず、ナビゲーションセンサ６から計測情報が入力されるとともに、３次元座標ＤＢ２２から現座標ポイントのＯＦデータｎが入力される（ステップＳ２０１）。このとき、カメラ７で撮影された画像のＯＦデータが取得される（ステップＳ２０２）。ここで、図６（Ａ）の画像ＩＭＧ１は、ある座標ポイントでのオブジェクト６１Ａを含んでおり、ステップＳ２０２においてこのオブジェクト６１Ａに関するＯＦデータが取得された例を以下に説明する。なお、オプティカルフロー処理については、本発明の骨子ではないことから、説明を省略する。
【００３８】
この後、まずナビゲーションセンサ６からの計測情報にしたがって現在位置、移動距離、および、進行方向の算出が行われる（ステップＳ２０３）。そして、これらの情報に基づいて２次元マップマッチング処理が実行され、その結果、２次元座標位置が算出される（ステップＳ２０４）。ここで、一例として、図４（ａ）に示したように、２次元座標位置（Ｘ−Ｙ座標系）をＰ′とする。そして、３次元座標ＤＢ２２から３次元座標データ（Ｘ−Ｙ−Ｚ座標系）が読み出されて参照され（ステップＳ２０５）、２次元座標位置Ｐ′の位置における高さＺすなわちＺ座標位置が算出される。このようにして、Ｚ位置座標データが取得され、ロケーションコンピュータ２１内のメモリに記憶される（ステップＳ２０６）。
【００３９】
つづいてＺ座標位置間の線分から勾配差が判断される（ステップＳ２０７）。勾配差があるという判断結果が得られた場合には（ステップＳ２０７のＹＥＳルート）、その勾配差に基づいて移動距離が補正される（ステップＳ２０８）。たとえば、図４（ｂ）の場合、線分ＦＧ間では、角度θ１となってそれに基づいて補正処理が実行される。一方、線分ＧＨ間では、角度θ２となってそれに基づいて補正処理が実行される。これにより、それぞれの誤差ｄ１、ｄ２は解消される。
【００４０】
勾配差に基づく補正が施されると、移動距離の補正からＸ−Ｙ座標におけるＸ座標位置およびＹ座標位置が確定し、これらＸ−Ｙ座標位置データにＺ座標位置データが組み合わされて３次元位置情報が確定する。このようにして３次元位置情報が算出され、その位置のＯＦデータが地図・音声・ＯＦ情報ＤＢ２３から読み出される（ステップＳ２０９）。
【００４１】
そして、ステップＳ２０２で取得したＯＦデータとステップＳ２０９で読み出されたＯＦデータとのＯＦマッチング処理が実行され（ステップＳ２１０）。その結果、一致が確認された場合、すなわち、図６（Ａ）で説明したＯＤデータとの一致が確認された場合には（ステップＳ２１１のＹＥＳルート）、ステップＳ２０９で算出された３次元位置情報がロケーションコンピュータ２１のメモリに記憶され、処理は図３に戻る（ステップＳ２１３）。
【００４２】
一方、不一致が確認された場合、すなわち、図６（Ｂ）で示すオブジェクト６７Ｂに関するＯＤデータとの間で不一致が確認された場合には（ステップＳ２１１のＮＯルート）、３次元位置情報の補正が実行され（ステップＳ２１２）、その補正後の３次元位置情報がロケーションコンピュータ２１のメモリに記憶され、処理は図３に戻る（ステップＳ２１３）。
【００４３】
ここで、補正処理について説明する。補正処理の一例として、ステップＳ２０９で算出された３次元位置情報を基点として進行方向に対する前後方向に向かってＯＦデータを読み出して、ステップＳ２０２で取得したＯＦデータと比較して一致した座標ポイントの３次元位置情報を補正後の情報とするようにしてもよい。また、この補正処理に道路形状の特徴を盛り込むようにしてもよい。この場合は、道路形状による加速度の急激な変化ポイント（座標ポイント）をあらかじめ予測しておき、並行して加速度センサ６３に基づく移動距離から３次元位置情報を求めてＯＦマッチング処理の範囲を絞り込めるようにしてもよい。このとき、３次元座標ＤＢ２２の座標ポイントに対して変化ポイントを示す属性をもたせておけばよい。
【００４４】
このようにして、従来、移動距離の補正は交差点ノードでの右左折を利用しており、直進移動距離が伸びると誤差が蓄積していたが、以上の結果、その蓄積を抑制することができる。
【００４５】
以上説明したように、本実施形態によれば、道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶しておき、非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、カメラにより撮影された画像情報に基づくオプティカルフロー情報とＤＢに記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出し、この算出された移動距離に基づく現在位置を２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出して、この２次元位置情報と上述した記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出し、移動体の移動上、その算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出して、この検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出するようにしたので、非接触慣性航法装置を用いた際に、オプティカルフローの技術を用いてもＧＰＳ測位が困難な経路上での精度の高いナビゲーションを実現することが可能である。さらに、勾配差のある道路で自動車の直進移動距離が伸びても、地図上に反映される自動車の現在位置に誤差が蓄積することはなく、誤差の発生を抑制することが可能である。
【００４６】
また、以上のように誤差の発生を抑制したので、ナビゲーション装置および自動車においては、案内精度の高いナビゲーションを実現することが可能である。
【００４７】
さて、上述した実施形態では、オプティカルフロー技術を適用してナビゲーションを実現したが、本発明はこれに限定されず、以下に説明する他の実施形態のように、オプティカルフロー技術を適用しなくてもカメラが撮影した画像だけで車速を導き出してナビゲーションを実現するようにしてもよい。なお、以下の説明では、主要な構成および処理のみ説明する。
【００４８】
まず、全体構成として、他の実施形態では、オプティカルフロー技術を採用しないことから、図１に示す地図・音声・ＯＦ情報ＤＢ２３のＯＦ情報が不要となる。その他の構成については、図１の通りのため、説明を省略する。以上の全体構成における処理について説明する。図７は本発明の他の実施形態による画面遷移の一例を説明する図であり、図８は画像処理の一例を説明するフローチャートである。
【００４９】
図７には、ＧＰＳから位置情報を取得できない経路の一例として、トンネル内の撮影画像が示されている。この他の実施形態においては、たとえば図７（ａ），（ｂ）に示したように、撮影画像ＩＭＧ１１内に第１および第２仮想バーＬＮ１，ＬＮ２を一定の幅をもたせて設けられている。この第１および第２仮想バーＬＮ１，ＬＮ２は、実際のディスプレイには見えず、画像処理の仮想空間内で必要とされる基準である。すなわち、仮想空間内において、第１および第２仮想バーＬＮ１，ＬＮ２は、オブジェクトの当り判定処理に寄与するものである。なお、当り判定処理自体は、一般的な処理のため、説明を省略する。
【００５０】
撮影画像ＩＭＧ１１内での第１および第２仮想バーＬＮ１，ＬＮ２の幅には、あらかじめ計測済みの実際の距離が対応付けられている。この距離は、たとえば、５ｍ、１０ｍ、２０ｍ、３０ｍなどであり、カメラの設置や仮想バーの平面的な幅との関係を調整することにより利用者が任意に設定できるものである。また、前提として、トンネル内の側面には、規則的もしくは不規則にライトが設置されているものとする。ＯＢＪは、ある位置に設定されるライトを示している。ここでは、証明を例に挙げているが、その他に、木のようにある程度画像処理でパターン等を認識しやすいものであればなんでもよい。パターンは、形状等のデータとしており、精度を高めるために色相、彩度、輝度等の色に関する情報をもつようにしてもよい。
【００５１】
この他の実施形態では、画像認識すべき対象オブジェクトをライトのパターンとする。このパターンは、あらかじめ画像処理装置２７に登録されている。図7の例において、移動中の自動車は前方を進行方向としてカメラ撮影を実行する（ステップＳ８０１）。そして、対象オブジェクトであるライトＯＢＪが画像認識されると（ステップＳ８０２のＹＥＳルート）、そのパターンの追跡が開始される（ステップＳ８０３）。もちろん、画像認識でライトＯＢＪが確認できないときは（ステップＳ８０２のＮＯルート）、処理はステップＳ８０１に戻る。
【００５２】
パターン追跡が開始された後、第１仮想バーＬＮ１とライトＯＢＪとの当り判定が検出されると（ステップＳ８０４のＹＥＳルート）、図７（ａ）のように、ライトＯＢＪが第１仮想バーＬＮ１を跨いだことが確認される。これにより、時間計測が開始される（ステップＳ８０５）。
【００５３】
そして、第１仮想バーＬＮ１に続いて続く第２仮想バーＬＮ２とライトＯＢＪとの当り判定処理が実行される（ステップＳ８０６）。その後、第２仮想バーＬＮ２とライトＯＢＪとの当り判定が検出されると（ステップＳ８０６のＹＥＳルート）、図７（ｂ）のように、ライトＯＢＪが第２仮想バーＬＮ２を跨いだことが確認される。これにより、計測時間が確定し、第１および第２仮想バーＬＮ１，ＬＮ２間の実際の距離に対する計測時間に基づいて移動速度が算出される（ステップＳ８０７）。
【００５４】
そして、この移動速度にしたがって自動車の正確な移動距離が算出され（ステップＳ８０８）、現在位置が算出される（ステップＳ８０９）。以上の説明では、図３のステップＳ１０４に含まれる進行方向等の他の要素は省略しているが、他の要素も含んでいるものとする。
【００５５】
この他の実施形態では、前述の実施形態のようにすべての説明は省略するが、以降、ステップＳ８０９で求められた現在位置に基づいて２次元マッチング、さらには３次元マッチングを行って、ナビゲーションを実現することができる。
【００５６】
以上説明したように、他の実施形態によれば、自動車の前進もしくは後退の際に、カメラにより撮影された画像情報についてオブジェクトのパターンマッチングを行うとともに、パターンマッチングでマッチしたオブジェクトのパターンを追跡するようにして、非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、オブジェクトがマッチングした際に、オブジェクトのパターンを追跡して、少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出するようにしたので、非接触慣性航法装置を用いた際に、ＧＰＳ測位が困難な経路上での精度の高いナビゲーションを実現することが可能である。さらに、前述の実施形態と同様に、勾配差のある道路で自動車の直進移動距離が伸びても、地図上に反映される自動車の現在位置に誤差が蓄積することはなく、誤差の発生を抑制することが可能である。
【００５７】
この他の実施形態においては、ＧＰＳから位置情報を取得できないトンネルやビルの陰などにおいて確認しやすい街灯、トンネル設置のライト、道路沿いに植え込んである木などがパターンとして適用しやすい。
【００５８】
このように、上述した２つの実施形態から、ＰＮＤとして安価なナビゲーションシステムを提供することができることはもちろん、本発明のロケーションコンピュータを適用すれば、ナビゲーションシステム全体で高精度の３次元ナビゲーションセンサを実現することが可能である。
【００５９】
そして、３次元ＣＧ技術を駆使して実際の風景を再現しないため、膨大な地図データを自動車に取り込む必要はなくなる。
【００６０】
また、自動車の現在位置を精度高く地図上にマップマッチングさせるようにしたので、地図鳥瞰画像とカメラで撮影される画像との間で整合されるカメラ座標系においては、自動車の傾斜補正を正確な現在位置に基づいて反映させることが可能である。
【００６１】
さらに、自動車の現在位置を正確にマップマッチングさせていることから、カメラで撮影される画像に案内画像を重畳させるときにも案内画像をディスプレイに表示される撮影画像中に正確な位置で表示させることが可能である。
【００６２】
そして、３次元折線形状データを使用することから、案内画像の生成もより細かく設定することができるので、右左折の経路においても緩やかな曲線で案内の矢印等を描写することが可能である。
【００６３】
また、３次元折線形状データを使用して、自動車の現在位置を正確にマップマッチングさせていることから、夜間、雨、霧等で見通しの悪い景観や前方の視界を大型車両が遮って交差点が確認できないときの走行時でも、前方に近づく右左折案内等の情報を正確にディスプレイ上で表示することが可能である。
【００６４】
さらに、ディスプレイに実際の景観を表示させ、そこに適宜案内を重ねて表示するようにしたので、ドライバが見ている景観と同じ映像でのナビゲーションを実現することが可能である。これにより、一般のナビゲーション装置に不慣れな利用者であっても矢印等の案内確認さえできればよく、誰でも簡単かつ即座に使いこなせるというメリットがある。また、右左折レーンや側道までもわかりやすく案内することが可能である。
【００６５】
そして、２次元表示する地図においては、必要最小限の情報が収録されていればよく、本実施形態の３次元マップマッチングに対して特別な地図データを用意する必要はないので、この場合にも安価なカーナビゲーションシステムを提供することが可能である。
【産業上の利用可能性】
【００６６】
本発明は、船舶等の業種においても産業上有用であるとともに、位置情報を取得することが可能な携帯電話、携帯情報端末、歩数計、携帯ゲーム機等の電化製品市場においても有用である。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施形態による自動車の内部構成例を示すブロック図である。
【図２】本実施形態による３次元座標ＤＢおよび地図・音声・ＯＦ情報ＤＢの一例を示す図である。
【図３】本実施形態によるナビゲーション処理の一例を説明するフローチャートである。
【図４】本実施形態における３次元マップマッチングの原理を座標系で説明する図である。
【図５】本実施形態においてＧＰＳ測位不能なときの移動時における累積誤差解消および３次元マップマッチング処理の一例を説明するフローチャートである。
【図６】オプティカルフローに基づく処理を説明する図である。
【図７】他の実施形態による画面遷移の一例を説明する図である。
【図８】他の実施形態による画像処理の一例を説明するフローチャートである。
【符号の説明】
【００６８】
１ 自動車
２ ナビゲーション装置
３ アンテナ
４ スピーカ
５ ディスプレイ
６ ナビゲーションセンサ
７ カメラ
８ 傾斜センサ
２１ ロケーションコンピュータ
２２ ３次元座標ＤＢ
２３ 地図・音声・ＯＦ情報ＤＢ
２４ 通信処理装置
２５ 操作パネル
２６ 音声処理装置
２７ 画像処理装置
５１ 経路案内画像
５３ 経路案内画像
５４ 経路画像
５５ 現在位置マーク
６１ ＧＰＳ機器
６２ ２次元振動ジャイロ
６３ 加速度センサ
２１１ ロケーション処理プログラム
２７１ 画像処理プログラム
【特許請求の範囲】
【請求項１】
移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得するナビゲーション装置であって、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する記憶手段と、
前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記記憶手段に記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する算出手段と、
前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、
前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、
前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、
前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、
を備えたことを特徴とするナビゲーション装置。
【請求項２】
移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得するナビゲーション装置であって、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データを記憶する記憶手段と、
前記カメラにより撮影される画像情報内には、移動体の進行方向に交差するように並ぶ少なくとも２本の仮想バーが設けられ、かつ、当該２本の仮想バー間について経路上の距離があらかじめ算出されているとともに、所定の画像処理により検出可能なオブジェクトのパターンがすくなくとも１つ設けられており、移動体の前進もしくは後退の際に、前記カメラにより撮影された画像情報について前記所定の画像処理にしたがって前記オブジェクトのパターンマッチングを行うとともに、当該パターンマッチングでマッチしたオブジェクトのパターンを追跡する画像処理手段と、
前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、前記画像処理手段により前記オブジェクトがマッチングした際に、前記画像処理手段により当該オブジェクトのパターンを追跡して、前記少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出する算出手段と、
前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、
前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、
前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、
前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、
を備えたことを特徴とするナビゲーション装置。
【請求項３】
さらに、前記３次元マップマッチング手段で算出された３次元位置情報に基づいてルート案内を示す画像情報を生成する画像生成手段と、前記移動体にカメラが設定されており、当該カメラで撮影された画像情報を入力する入力手段と、前記画像生成手段で生成された画像情報と前記入力手段で入力された画像情報とを重畳する重畳手段と、前記重畳手段で重畳された画像を前記ディスプレイに表示する表示手段と、を備えたことを特徴とする請求項１または２に記載のナビゲーション装置。
【請求項４】
さらに、２次元地図データを記憶する地図記憶手段と、前記地図記憶手段に記憶される２次元地図データを参照して前記３次元マップマッチング手段で算出された３次元位置情報に基づいて前記移動体の現在位置情報を含む２次元地図を生成する地図生成手段と、前記地図生成手段で生成された２次元地図を前記ディスプレイに表示する地図表示手段とを有することを特徴とする請求項３に記載のナビゲーション装置。
【請求項５】
移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得する装置のナビゲーション方法であって、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報がメモリに記憶されており、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記メモリに記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する第１ステップと、
前記第１ステップにより算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する第２ステップと、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報をメモリに記憶しておき、前記第２ステップで算出された２次元位置情報と前記メモリに記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出する第３ステップと、
前記移動体の移動上、前記第３ステップで算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する第４ステップと、
前記第４ステップで検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する第５ステップと、
を含んだことを特徴とするナビゲーション方法。
【請求項６】
移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得する装置のナビゲーション方法であって、
前記カメラにより撮影される画像情報内には、移動体の進行方向に交差するように並ぶ少なくとも２本の仮想バーが設けられ、かつ、当該２本の仮想バー間について経路上の距離があらかじめ算出されているとともに、所定の画像処理により検出可能なオブジェクトのパターンがすくなくとも１つ設けられており、移動体の前進もしくは後退の際に、前記カメラにより撮影された画像情報について前記所定の画像処理にしたがって前記オブジェクトのパターンマッチングを行うとともに、当該パターンマッチングでマッチしたオブジェクトのパターンを追跡する第１ステップと、
前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、前記第１ステップにより前記オブジェクトがマッチングした際に、前記第１ステップにより当該オブジェクトのパターンを追跡して、前記少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出する第２ステップと、
前記第２ステップにより算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する第３ステップと、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報がメモリに記憶されており、前記第３ステップで算出された２次元位置情報と前記メモリに記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出する第４ステップと、
前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する第５ステップと、
前記第５ステップで検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する第６ステップと、
を含んだことを特徴とするナビゲーション方法。
【請求項７】
自動車であって、
前後左右方向のいずれか１つまたはその組み合わせ分の撮影を行うカメラと、
ディスプレイと、
衛星測位装置、および、方位および加速度を検出する非接触慣性航法装置を用いて、少なくとも現在位置および進行情報を検出する位置検出ユニットと、
ディスプレイを有しており、当該ディスプレイに画像を表示するナビゲーション装置と、
を備え、
前記ナビゲーション装置は、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する記憶手段と、
前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記記憶手段に記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する算出手段と、
前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、
前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、
前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、
前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、
前記３次元マップマッチング手段で算出された３次元位置情報に基づいてルート案内を示す画像情報を生成する画像生成手段と、
前記画像生成手段で生成された画像情報と前記入力手段で入力された画像情報とを重畳する重畳手段と、
前記重畳手段で重畳された画像を前記ディスプレイに表示する表示手段と、
を備えたことを特徴とする自動車。
【請求項１】
移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得するナビゲーション装置であって、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する記憶手段と、
前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記記憶手段に記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する算出手段と、
前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、
前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、
前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、
前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、
を備えたことを特徴とするナビゲーション装置。
【請求項２】
移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得するナビゲーション装置であって、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データを記憶する記憶手段と、
前記カメラにより撮影される画像情報内には、移動体の進行方向に交差するように並ぶ少なくとも２本の仮想バーが設けられ、かつ、当該２本の仮想バー間について経路上の距離があらかじめ算出されているとともに、所定の画像処理により検出可能なオブジェクトのパターンがすくなくとも１つ設けられており、移動体の前進もしくは後退の際に、前記カメラにより撮影された画像情報について前記所定の画像処理にしたがって前記オブジェクトのパターンマッチングを行うとともに、当該パターンマッチングでマッチしたオブジェクトのパターンを追跡する画像処理手段と、
前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、前記画像処理手段により前記オブジェクトがマッチングした際に、前記画像処理手段により当該オブジェクトのパターンを追跡して、前記少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出する算出手段と、
前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、
前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、
前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、
前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、
を備えたことを特徴とするナビゲーション装置。
【請求項３】
さらに、前記３次元マップマッチング手段で算出された３次元位置情報に基づいてルート案内を示す画像情報を生成する画像生成手段と、前記移動体にカメラが設定されており、当該カメラで撮影された画像情報を入力する入力手段と、前記画像生成手段で生成された画像情報と前記入力手段で入力された画像情報とを重畳する重畳手段と、前記重畳手段で重畳された画像を前記ディスプレイに表示する表示手段と、を備えたことを特徴とする請求項１または２に記載のナビゲーション装置。
【請求項４】
さらに、２次元地図データを記憶する地図記憶手段と、前記地図記憶手段に記憶される２次元地図データを参照して前記３次元マップマッチング手段で算出された３次元位置情報に基づいて前記移動体の現在位置情報を含む２次元地図を生成する地図生成手段と、前記地図生成手段で生成された２次元地図を前記ディスプレイに表示する地図表示手段とを有することを特徴とする請求項３に記載のナビゲーション装置。
【請求項５】
移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得する装置のナビゲーション方法であって、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報がメモリに記憶されており、前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記メモリに記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する第１ステップと、
前記第１ステップにより算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する第２ステップと、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報をメモリに記憶しておき、前記第２ステップで算出された２次元位置情報と前記メモリに記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出する第３ステップと、
前記移動体の移動上、前記第３ステップで算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する第４ステップと、
前記第４ステップで検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する第５ステップと、
を含んだことを特徴とするナビゲーション方法。
【請求項６】
移動体の前方を撮影するカメラ、衛星測位装置、ならびに、方位および加速度を検出する非接触慣性航法装置に接続され、移動体の現在位置を取得する装置のナビゲーション方法であって、
前記カメラにより撮影される画像情報内には、移動体の進行方向に交差するように並ぶ少なくとも２本の仮想バーが設けられ、かつ、当該２本の仮想バー間について経路上の距離があらかじめ算出されているとともに、所定の画像処理により検出可能なオブジェクトのパターンがすくなくとも１つ設けられており、移動体の前進もしくは後退の際に、前記カメラにより撮影された画像情報について前記所定の画像処理にしたがって前記オブジェクトのパターンマッチングを行うとともに、当該パターンマッチングでマッチしたオブジェクトのパターンを追跡する第１ステップと、
前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、移動体の移動時、前記第１ステップにより前記オブジェクトがマッチングした際に、前記第１ステップにより当該オブジェクトのパターンを追跡して、前記少なくとも２本の仮想バーを跨ぐ時間を算出して移動距離を算出する第２ステップと、
前記第２ステップにより算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する第３ステップと、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報がメモリに記憶されており、前記第３ステップで算出された２次元位置情報と前記メモリに記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出する第４ステップと、
前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する第５ステップと、
前記第５ステップで検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する第６ステップと、
を含んだことを特徴とするナビゲーション方法。
【請求項７】
自動車であって、
前後左右方向のいずれか１つまたはその組み合わせ分の撮影を行うカメラと、
ディスプレイと、
衛星測位装置、および、方位および加速度を検出する非接触慣性航法装置を用いて、少なくとも現在位置および進行情報を検出する位置検出ユニットと、
ディスプレイを有しており、当該ディスプレイに画像を表示するナビゲーション装置と、
を備え、
前記ナビゲーション装置は、
道路ネットワークに対応するＸＹＺ座標系の３次元座標データに対応させて、事前に撮影された情景のオプティカルフロー情報を記憶する記憶手段と、
前記非接触慣性航法装置を用いて、現在位置、移動距離、および、進行方向に関する情報を算出する処理において、前記カメラにより撮影された画像情報に基づくオプティカルフロー情報と前記記憶手段に記憶されているオプティカルフロー情報とのマッチングを実行し、当該マッチング結果に基づいて移動距離を算出する算出手段と、
前記算出手段により算出された情報に基づいて２次元マップマッチングしてＸ−Ｙ座標上の２次元位置情報を算出する２次元マッチング手段と、
前記２次元マップマッチング手段で算出された２次元位置情報と前記記憶手段に記憶される３次元座標データとに基づいてＸ−Ｙ−Ｚ座標上のＺ座標位置を算出するＺ算出手段と、
前記移動体の移動上、前記Ｚ算出手段で算出されたＺ座標位置に基づいてＺ軸方向の勾配差を検出する検出手段と、
前記検出手段で検出された勾配差に基づいて移動距離を補正して３次元位置情報を算出する３次元マップマッチング手段と、
前記３次元マップマッチング手段で算出された３次元位置情報に基づいてルート案内を示す画像情報を生成する画像生成手段と、
前記画像生成手段で生成された画像情報と前記入力手段で入力された画像情報とを重畳する重畳手段と、
前記重畳手段で重畳された画像を前記ディスプレイに表示する表示手段と、
を備えたことを特徴とする自動車。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−１８５５０６（Ｐ２００８−１８５５０６Ａ）
【公開日】平成２０年８月１４日（２００８．８．１４）
【国際特許分類】
【出願番号】特願２００７−２０５６３（Ｐ２００７−２０５６３）
【出願日】平成１９年１月３１日（２００７．１．３１）
【出願人】（５０６０２７８６０）モバイルマッピング株式会社 (5)
【Ｆターム（参考）】
【公開日】平成２０年８月１４日（２００８．８．１４）
【国際特許分類】
【出願日】平成１９年１月３１日（２００７．１．３１）
【出願人】（５０６０２７８６０）モバイルマッピング株式会社 (5)
【Ｆターム（参考）】
[ Back to top ]