ナビゲーション装置
誤差数ｃｍの範囲で移動体の現在位置を示すことができるナビゲーションシステムを提供する。 ナビゲーション装置１００は、車両等の移動体に備えられたカメラにより得られる現実の映像に基づき、当該移動体から観察される範囲における映像的な特徴点の三次元座標を含む所定の三次元情報を予め生成する特徴点三次元地図生成装置１１０と、その所定の三次元情報を記録した記録媒体１２０と、移動体に備えられたカメラにより得られる現実の映像を、記録媒体１２０に記録された所定の三次元情報と比較し、現実の映像と一致する三次元座標上の地点と方向を求め、移動体に備えられたカメラの三次元座標上の位置，速度，加速度，視点方向，３軸回転姿勢，３軸回転速度，３軸回転加速度等の所定項目を出力，表示する地点検索ナビゲーション装置１３０とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両や船舶，航空機等の移動体の進行方向や現在状況等をガイドするためのナビゲーション装置に関する。特に、本発明は、走行，航行する移動体の現在位置を三次元の空間内に探索して、移動体の進行方向や車両姿勢等とともに三次元地図上に表示することにより、移動する移動体の現在状況を高精度に出力，表示することができるナビゲーション装置に関する。
【背景技術】
【０００２】
一般に、車両等の移動をナビゲートするナビゲーション装置としては、ＧＰＳ測地衛星を利用したカーナビゲーションシステムが知られている（例えば、特許文献１−３参照。）。
ＧＰＳナビゲーションシステムは、複数の測地衛星から発せられる時刻と位置データを、車両に設置した受信装置で読み取り、各衛星からの電波到達時間の差から受信地点の三次元座標を演算により求め、車両等の現在位置を表示するものである。このようなＧＰＳナビゲーションシステムによれば、全地球的な範囲で受信地点の三次元位置を計測することができる。
【０００３】
ここで、ＧＰＳナビゲーションシステムで得られる位置精度としては、従来は、電離層における電波の反射や屈折等の影響があり、誤差が５０〜３００メートルというところであった。
近年は、緯度・経度・高度の既知の点を利用して電波到達時間の誤差を計測し、それを修正信号として送信して受信地点の誤差を修正する方法が付加されるようになり、誤差は十数メートル程度まで縮小されるようになった。
【０００４】
【特許文献１】特開平１１−３０４５１３号
【特許文献２】特開２００１−２５５１５７号
【特許文献３】特開２００２−３５７４３０号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このように位置精度の誤差が数十メートルの範囲にある従来のナビゲーションシステムでは、誤差が大きすぎて自動運転等には適用できなかった。例えば、道路上で車両の自動運転を実現するためには、道路上の車両位置精度を数ｃｍ程度の誤差にまで高める必要があり、この精度は測量の精度に近く、従来のナビゲーションシステムを利用する限り、いかなる方法であっても、数ｃｍの精度で、しかも、リアルタイムに連続的な位置計測をして、それを出力するようなことは不可能であった。
また、自動運転に限らず、例えば、自動車の車庫入れや、航空機の離着陸時、ロボットのナビゲーションなどに用いる場合にも、数ｃｍ程度の位置精度をリアルタイムに取得することが必要であり、このようなナビゲーションシステムは現在まで実現されていない。
【０００６】
そこで、本願発明者は、鋭意研究の結果、移動体に搭載したカメラで撮影される動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡し、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることができ、そのカメラ位置情報により、移動体の三次元位置座標を高精度に表示し得ることに想到した。
【０００７】
すなわち、本発明は、従来の技術が有する問題を解決するために提案されたものであり、画像処理技術を用いて、移動体の移動経路について予め特徴点の三次元座標を精度良く計測しておき、その三次元座標と、現実の移動体の移動時に撮影されるカメラ映像を対比することにより、移動体のカメラ位置を示す三次元座標をＧＰＳシステムより高精度に求め得ることができ、誤差数ｃｍの範囲で移動体の現在位置を示すことができるナビゲーション装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明のナビゲーション装置は、ナビゲーション対象となる移動体から観察される範囲における映像的な特徴点を三次元座標で記録した記録媒体と、ナビゲーション対象となる移動体に備えられたカメラにより得られる現実の映像を、記録媒体を再生して得られる映像的な特徴点の三次元座標と比較し、現実の映像と一致する三次元座標上の地点と方向を求め、移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力する地点検索ナビゲーション装置とを備える構成としてある。
【０００９】
また、本発明のナビゲーション装置は、記録媒体に記録される情報が、移動体から観察される範囲における映像的な特徴点の種類とその三次元座標と、映像的な特徴点を含む小領域の二次元画像の三次元配置とその三次元座標と、映像的な特徴点を含む対象物の形状とその三次元座標と、映像的な特徴点以外の移動体の移動に必要な周辺画像，ＣＧ等の形状と三次元座標と、移動体が移動する道路，車両走行路，又は予定航路等の画像，ＣＧとその三次元形状及びその三次元座標とを含み、これら各情報は、いずれか又はそれらの組み合わせ又はそれら全部、又はそれらの属性情報を含んで、三次元地図とともに記録される構成としてある。
【００１０】
また、本発明のナビゲーション装置は、地点探索ナビゲーション装置が、記録媒体を再生する特徴点３Ｄ地図再生部と、移動体の概略の現在位置を指定し、初期設定時の探索範囲を限定する概略現在位置指定部と、記録媒体に記録された三次元地図から、移動体の現在地周辺の複数の特徴点を読み出し、現在地の探索目標として指定する現在地周辺特徴点指定部と、ナビゲーション対象となる移動体に備えられたカメラから当該移動体周囲の映像を取得するカメラ映像取得部と、カメラ映像取得部で取得された映像を記録する映像一時記録部と、映像一時記録部に記録された映像内に、探索目標と同一物となるべき特徴点の候補を探し出す映像内特徴点探索部と、映像内特徴点探索部で得られた特徴点の候補と、現在地周辺の探索目標とを比較照合して同一物としての対応関係を求め、候補の中から所定数の対応点を決定し、決定された対応点の三次元座標を記録媒体から受け取る映像内特徴点対応部と、決定された対応点とその三次元座標を用いて、移動体の現時点の状況を示すカメラ位置，方向，姿勢等の三次元データを演算により決定するカメラ座標演算部と、カメラ座標演算部で決定された三次元データの組み合わせ又はそのすべてを、単独で又は記録媒体に記録された地図、映像、属性等の情報とともに画面上に表示する現在地点表示部とを備える構成としてある。
【００１１】
また、本発明のナビゲーション装置は、記録媒体生成用の移動体に備えられたカメラにより得られる現実の映像に基づき、当該移動体から観察される範囲における映像的な特徴点を三次元座標で記録した、記録媒体に記録すべき情報を生成する特徴点三次元地図生成装置を備える構成としてある。
【００１２】
また、本発明のナビゲーション装置は、特徴点三次元地図生成装置が、記録媒体生成用の移動体に備えられたカメラから当該移動体の周囲画像を取得するカメラ映像取得部と、カメラ映像取得部で取得された画像を記録する映像記録部と、映像記憶部に記録された画像データから、所定数の特徴点を自動抽出する特徴点抽出部と、特徴点抽出部で抽出された特徴点について、各フレーム画像内で自動追跡してフレーム画像間での対応関係を求める特徴点対応処理部と、特徴点対応処理部で対応関係が求められた特徴点の三次元位置座標を求めるとともに、当該三次元位置座標から各フレーム画像に対応したカメラベクトルを求める特徴点・カメラベクトル演算部と、特徴点・カメラベクトル演算部において求められる各特徴点の三次元位置座標とカメラベクトルの分布が最小になるように統計処理し、誤差の最小化処理を施した特徴点の三次元座標とカメラベクトルを自動的に決定する誤差最小化部と、誤差最小化部で誤差の最小化処理が施されたカメラベクトルと特徴点又はその特徴点を含む小領域の画像の三次元形状とその三次元座標及びその分布を、ナビゲーション対象となる移動体の通路とともに三次元地図として配列し、特徴点を含む対象物等とともに記録媒体に記録する３Ｄ地図生成記録部とを備える構成としてある。
【００１３】
また、本発明のナビゲーション装置は、ナビゲーション対象となる移動体に備えられたカメラにより得られる現実の映像に基づき、当該移動体から観察される範囲における映像的な特徴点を三次元座標で生成するとともに、当該三次元座標からカメラベクトルを生成し、生成された三次元座標に基づいて三次元地図を生成しつつ、特徴点の三次元分布及び当該移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力する特徴点三次元地図生成表示装置を備える構成としてある。
【００１４】
そして、本発明の特徴点三次元地図生成表示装置は、移動体に備えられたカメラから当該移動体の周囲画像を取得するカメラ映像取得部と、カメラ映像取得部で取得された画像を記録する映像記録部と、映像記憶部に記録された画像データから、所定数の特徴点を自動抽出する特徴点抽出部と、特徴点抽出部で抽出された特徴点について、各フレーム画像内で自動追跡してフレー厶画像間での対応関係を求める特徴点対応処理部と、特徴点対応処理部で対応関係が求められた特徴点の三次元位置座標を求めるとともに、当該三次元位置座標から各フレーム画像に対応したカメラベクトルを求める特徴点・カメラベクトル演算部と、特徴点・カメラベクトル演算部において求められる各特徴点の三次元位置座標とカメラベクトルの分布が最小になるように統計処理し、誤差の最小化処理を施した特徴点の三次元座標とカメラベクトルを自動的に決定する誤差最小化部と、誤差最小化部で誤差の最小化処理が施されたカメラベクトルと特徴点又はその特徴点を含む小領域の画像の三次元形状とその三次元座標及びその分布を、ナビゲーション対象となる移動体の移動軌跡又は必要に応じて移動予定路とともに三次元地図として配列し、特徴点を含む対象物等とともに表示する３Ｄ地図生成表示部とを備える構成としてある。
【００１５】
また、本発明のナビゲーション装置は、特徴点・カメラベクトル演算部が、カメラベクトル及び特徴点の三次元座標演算に用いる任意の二つのフレーム画像Ｆｎ及びＦｎ＋ｍ（ｍ＝フレーム間隔）を単位画像として、所望の特徴点の三次元座標とカメラベクトルを求める単位演算を繰り返し、二つのフレーム画像Ｆｎ及びＦｎ＋ｍの間のフレーム画像については、簡素化した演算によりカメラベクトル及び特徴点の三次元座標を求め、誤差最小化部は、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルと特徴点の三次元座標の誤差が最小になるようにスケール調整して統合し、最終の三次元座標を決定する構成としてある。
【００１６】
また、本発明の特徴点・カメラベクトル演算部は、フレーム間隔ｍを、カメラから特徴点までの距離に応じて、カメラから特徴点までの距離が大きいほどｍが大きくなるように設定して単位演算を行う構成としてある。
【００１７】
また、本発明の特徴点・カメラベクトル演算部は、求められたカメラベクトル又は特徴点の三次元座標の誤差の分布が大きい特徴点を削除し、必要が有れば他の特徴点について再演算を行い、三次元座標演算の精度を上げる構成としてある。
【００１８】
また、本発明のナビゲーション装置は、記録媒体と地点探索ナビゲーション装置が離間して備えられ、基地局又は他の移動体に備えられた記録媒体に記録された所定の三次元情報が、通信回線を介して一又は二以上の地点探索ナビゲーション装置に送信される構成としてある。
【００１９】
また、本発明のナビゲーション装置は、地点探索ナビゲーション装置が、ＧＰＳによって得られた緯度経度高度データにより、概略現在位置指定部による移動体の概略の現在位置を指定する構成としてある。
【００２０】
また、本発明の地点探索ナビゲーション装置は、カメラ座標演算部で得られた現時点の移動体状況を示すカメラ位置，方向，姿勢等の三次元データを、緯度経度高度に変換してＧＰＳを補正する補正信号として出力し、映像的特徴点が得られない場合にＧＰＳから位置データを得るための補助信号とする構成としてある。
【００２１】
そして、本発明のナビゲーション装置は、ナビゲーション対象となる移動体が、自動車，航空機，船舶，人，ロボット，重機，宇宙船，深海探査船，移動部分を持つ機械等である構成としてある。
【発明の効果】
【００２２】
以上のような本発明のナビゲーション装置によれば、車両等の移動体に搭載されたカメラで撮影される動画映像の複数のフレー厶画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することにより、多数の特徴点について重複演算して、カメラベクトル（カメラ位置と回転角）と特徴点の三次元位置座標を高精度に求めることができる。
そして、得られた特徴点の三次元座標を予め記録媒体に格納し、その三次元座標を現実に移動する移動体から撮影されたカメラ映像と対比することで、あるいは、カメラから得られた映像から、リアルタイムにカメラ位置の三次元座標を直接生成し、現在のカメラ位置を示す高精度な三次元情報を得ることができ、これによって、移動体のナビゲーションシステムとして用いることができる。
【００２３】
具体的には、本発明のナビゲーション装置では、車両等の移動体の現在地点座標をＧＰＳより高い精度でリアルタイムに取得するために、画像処理技術を用いて、画像内の複数の特徴有る点に着目し、前もって特徴点の三次元座標を精度良く計測しておく。そして、その特徴点を三次元座標に記述した地図（３Ｄ地図）を記録媒体に格納し、移動体側でその記録媒体を再生することで、特徴点の三次元座標を読み出すことができる。さらに、移動体の現在地点で得られたカメラ画像から映像内の特徴点を抽出し、その特徴点の方向と、記録媒体に予め記録された三次元座標が既知である特徴点の方向とを比較して、複数の特徴点の方向が一致する地点の座標を演算により求めることで、カメラ位置を示す三次元座標、すなわち、現在の移動体の位置を示す三次元座標を得ることができる。
また、記録媒体を備えず、移動体のカメラで取得した映像から、その場で特徴点を自動抽出し、自動追跡し、三次元地図と比較することなく、直接三次元座標を取得し、直接カメラ位置を求めることもできる。
【００２４】
これにより、走行する車両等の移動体の現在位置が、カメラ映像から直接的に、あるいは、予め生成，記録された三次元地図によって正確に示されることになり、従来のＧＰＳシステムでは不可能であった、誤差範囲が数ｃｍ程度の高精度なナビゲーションシステムを実現することができる。
なお、記録媒体に記録しておくべき（又はリアルタイムで生成する）特徴点の三次元座標を示す３Ｄ地図を生成するには、予め、走行が予想される道路及びその周辺を撮影し、記録し、それらの映像の中に複数の特徴点を自動あるいは手動で抽出し、それら特徴点を画像内に復数点求め、それらが動画像の各フレーム内で移動する軌跡を追跡して、エピポーラ幾何学により線形連立方程式を解くことで、各特徴点の三次元地図を生成することができる。
【図面の簡単な説明】
【００２５】
［図１］本発明の第一実施形態に係るナビゲーション装置の概略構成を示すブロック図である。
［図２］本発明の第一実施形態に係る特徴点三次元地図生成装置の概略構成を示すブロック図である。
［図３］本発明の第一実施形態に係る地点探索ナビゲーション装置の概略構成を示すブロック図である。
［図４］本発明の第一実施形態に係るナビゲーション装置における記録媒体に記録された三次元座標とカメラ映像の対応関係を模式的に示す説明図である。
［図５］本発明の第一実施形態に係る特徴点三次元地図生成装置における具体的なカメラベクトルの検出方法を示す説明図である。
［図６］本発明の第一実施形態に係る特徴点三次元地図生成装置における具体的なカメラベクトルの検出方法を示す説明図である。
［図７］本発明の第一実施形態に係る特徴点三次元地図生成装置における具体的なカメラベクトルの検出方法を示す説明図である。
［図８］本発明の第一実施形態に係る特徴点三次元地図生成装置によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。
［図９］本発明の第一実施形態に係る特徴点三次元地図生成装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
［図１０］本発明の第一実施形態に係る特徴点三次元地図生成装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
［図１１］本発明の第一実施形態に係る特徴点三次元地図生成装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
［図１２］本発明の第一実施形態に係る特徴点三次元地図生成装置において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。
［図１３］本発明の第一実施形態に係るナビゲーション装置に備えられる揺れ成分検出部における揺れ成分検出の具体例を示す説明図である。
［図１４］本発明の第一実施形態に係る揺れ成分検出部で検出される揺れ成分に基づいて補正される安定化画像の一例を示す説明図である。
［図１５］本発明の第一実施形態に係る揺れ成分検出部で検出される揺れ成分に基づいて補正されるカメラベクトルの軌跡を示すグラフである。
［図１６］本発明の第一実施形態に係る特徴点三次元地図生成装置で求められたカメラベクトルの軌跡を生成された三次元地図中に表示した場合の図である。
［図１７］本発明の第一実施形態に係るナビゲーション装置で生成，表示される三次元形状（三次元地図）の表示例を示す説明図である。
［図１８］本発明の第一実施形態に係る特徴点三次元地図生成装置における三次元地図の生成方法を示す説明図である。
［図１９］本発明の第一実施形態に係る特徴点三次元地図生成装置における三次元地図の更新方法を示す説明図である。
［図２０］本発明の第一実施形態に係る特徴点三次元地図生成装置で生成される三次元地図の一例を示す図であり、（ａ）は三次元地図で表される道路の断面図であり、（ｂ）は（ａ）に示す道路の三次元地図の一例で道路上空から撮影した投影図であり、（ｃ）は（ｂ）に示す三次元地図において三次元座標を取得するために使用されるオペレータ部品を示す図である。
［図２１］図２０に示す道路の立体図であり、道路標識のオペレータ部品（ＣＧ部品）が合成された図を示している。
［図２２］図２１に示すＣＶ映像中に手動により対象物の属性を取得し登録する場合を説明する図であり、（ａ）はＣＶ映像、（ｂ）ＣＶ映像中に任意の点と直線を指定した状態、（ｂ）は指定された点と直線を登録することにより生成・表示された三次元地図を示している。
［図２３］本発明の第一実施形態に係るナビゲーション装置全体の動作の概要の一例を示す説明図である。
［図２４］本発明の第一実施形態に係るナビゲーション装置全体の動作の概要の他の一例を示す説明図である。
［図２５］本発明の第一実施形態に係るナビゲーション装置全体の動作の概要の他の一例を示す説明図である。
［図２６］本発明の第一実施形態に係るナビゲーション装置全体の動作の概要の他の一例を示す説明図である。
［図２７］本発明の第二実施形態に係るナビゲーション装置に付加されるオプション装置の概略構成を示すブロック図である。
［図２８］本発明の第三実施形態に係るナビゲーション装置の概略構成を示すブロック図である。
［図２９］本発明の第三実施形態に係るナビゲーション装置の他の実施形態の概略構成を示すブロック図である。
［図３０］本発明の第四実施形態に係るナビゲーション装置の概略構成を示すブロック図である。
［図３１］本発明の第一〜第四実施形態に係るナビゲーション装置を組み合わせた場合の概略構成を示すブロック図である。
［図３２］本発明の第四実施形態におけるリアルタイムナビゲーション方法により生成，表示される特徴点の三次元座標と移動体の現在位置を示す説明図である。
［図３３］本発明の第四実施形態におけるリアルタイムナビゲーション方法により生成，表示される特徴点の三次元座標と移動体の現在位置を示す説明図である。
［図３４］本発明の第四実施形態に係るナビゲーション装置の具体的な構成を示すブロック図である。
［図３５］本発明の第四実施形態に係るナビゲーション装置における処理動作の内容を示すブロック図である。
［図３６］本発明の第四実施形態に係るナビゲーション装置を利用した具体例を模式的に示す説明図である。
【発明を実施するための最良の形態】
【００２６】
以下、本発明に係るナビゲーション装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明のナビゲーション装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラ厶は、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、特徴点の自動抽出，抽出した特徴点の自動追跡，特徴点の三次元座標の算出，カメラベクトルの演算等を行わせる。このように、本発明のナビゲーション装置における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現されるようになっている。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラ厶がコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
【００２７】
［第一実施形態］
まず、図１〜図２６を参照して、本発明に係るナビゲーション装置の第一実施形態について説明する。
［基本構成］
図１は、本発明の第一実施形態に係るナビゲーション装置の概略構成を示すブロック図である。
同図に示す本実施形態に係るナビゲーション装置１００は、特徴点三次元地図生成装置１１０と、記録媒体１２０と、地点探索ナビゲーション装置１３０とを備えている。
【００２８】
車両や航空機，船舶等の移動体の現在地点座標をＧＰＳより高い精度でリアルタイムに取得できるようにするために、本実施形態では、画像処理技術を用いて、画像内の複数の特徴有る点に着目し、特徴点三次元地図生成装置１１０を使用して前もって特徴点の三次元座標を精度良く計測し、その特徴点を三次元座標に記述した地図（３Ｄ地図）を生成する。生成した３Ｄ地図は、例えばＤＶＤやハードディスク，ＣＤなどの記録媒体１２０に記録する。
そして、本ナビゲーション装置を使用するナビゲーション対象となる車両等の移動体側では、地点探索ナビゲーション装置１３０により、実際に移動する移動体に備えられたカメラで得られた現在地点のカメラ画像から映像内の特徴点を抽出し、その特徴点の方向と、記録媒体に予め記録された三次元座標が既知である特徴点の方向とを比較して、複数の特徴点の方向が一致する地点の座標を演算により求める。
これによって、移動体に備えられたカメラ位置を示す三次元座標、すなわち、現在の移動体の位置を示す三次元座標を得ることができる。
なお、本ナビゲーション装置によってナビゲートされる移動体としては、例えば、自動車，船舶，航空機，ロボット，移動する機械，移動する人等があり、また、その用途等に応じて、重機（重工業用機械），深海探査船、移動部分を持つ機械、さらには宇宙船等も含まれる。
【００２９】
具体的には、ナビゲーション対象となる移動体では、地点探索ナビゲーション装置１３０によって、記録媒体１２０から読み出された複数の映像的な特徴点の三次元座標を持つ画像を、走行車両や航空機等に取り付けたカメラから得られる映像内に探索し、対応関係を求める。カメラから得られた二次元映像内に、記録媒体１２０から得られる三次元地図として記述された複数の特徴点との対応点を画像認識で求める。
次に、各対応点の方向が両者で一致する地点を、記録媒体中の三次元地図の中に探索し、演算で求める。その位置がカメラの現在地点、すなわち、移動体の現在地点となる。そして、記録媒体１２０に記録された三次元地図中に、カメラを搭載した車両の三次元的現在位置、速度、加速度、方向、回転速度、回転加速度、をリアルタイムで表示できることになる。
【００３０】
このようにして、本実施形態のナビゲーション装置では、予め生成，記録された三次元座標によって移動体の現在位置が正確に示されることになり、従来のＧＰＳシステムでは不可能であった、誤差範囲が数ｃｍ程度の高精度なナビゲーションシステムを実現することができる。
また、本実施形態では、特徴点の三次元座標を示す３Ｄ地図を記録媒体に記録することで、量産し、配布できるようになる。これにより、本ナビゲーション装置の利用者、その記録媒体を取得し、それを再生することで、特徴点の三次元座標を読み出すことが可能となる。
記録媒体に記録しておくべき特徴点の三次元座標を示す３Ｄ地図を生成するには、予め、３Ｄ地図生成用車両等に搭載したカメラで走行が予想される道路及びその周辺を撮影し、記録し、特徴点三次元地図生成装置１１０によって、それらの映像の中に複数の特徴点を自動あるいは手動で抽出し、それら特徴点を画像内に複数点求め、それらが動画像の各フレーム内で移動する軌跡を追跡して、エピポーラ幾何学により線形連立方程式を解くことで、カメラ位置と各特徴点の三次元座標を示す三次元地図（３Ｄ地図）を生成することができる。
【００３１】
ここで、３Ｄ地図を精度良く生成するには、画像内の映像的な特徴点を検出し、その移動を追跡する技術を用いることが好ましい。特徴点の検出を自動化し、追跡も自動化することで、手作業による作業を大幅に省略することができる。
画像内の特徴点から三次元座標とカメラ位置（カメラベクトル）を求めるには、例えば、同時に６〜７点以上の特徴点があるように、特徴点を画像内で追跡する。そして、それらの特徴点に対してエピポーラ幾何学を用い、特徴点の三次元座標とカメラ位置を演算により求めることができるが、６〜７点程度の特徴点では、得られる特徴点やカメラの位置精度は不十分なものとなる。
【００３２】
そこで、本実施形態では、後述するように、抽出，追跡する特徴点の数を十分に多くし、また、十分なフレーム数を用いることで多重視差を取得し、有り余る特徴点とフレーム数を得るようにしてある。有り余る特徴点と有り余るフレーム数による多重視差を用い、統計処理を施して、重複する演算を繰り返し、カメラ位置の誤差分布を求め、そこから統計処理により、精度の高いカメラ位置を求めるようにする。このようにすることで、各フレームのカメラ位置は高精度で求められ、カメラ位置が高精度で求められれば、その後は、視差から三次元座標を求める技術で、画像内の全画素についての三次元座標が得られるようになる。
３Ｄ地図生成の詳細については更に後述する。
なお、記録媒体に記録すべき３Ｄ地図生成用の移動体としては、例えば、自動車，船舶，航空機，ロボット，移動する機械，移動する人等が含まれる。
【００３３】
このように、本実施形態のナビゲーション装置１００は、３Ｄ地図自体は予め特徴点三次元地図生成装置１１０で生成され、生成された３Ｄ地図が記録媒体１２０に記録され、それを地点探索ナビゲーション装置１３０が備えられた車両等の移動体側で再生することにより、現実の映像と３Ｄ地図を比較して地点を探索できるようになっている。従って、利用者側では、記録媒体１２０のみを入手（購入）し、地点探索ナビゲーション装置１３６を搭載した車両で再生，使用することができ、容易かつ安価に本ナビゲーション装置１００を利用することができる。
その意味で、特徴点三次元地図生成装置１１０は、利用者側に備えられる必要はなく、記録媒体１２０及び地点探索ナビゲーション装置１３０とは分離して設けることができる。また、所定の３Ｄ地図を生成して記録媒体１２０に記録できれば、特徴点三次元地図生成装置１１０以外の構成によって３Ｄ地図を生成，記録することも可能である。
【００３４】
［具体的構成］
以下、より具体的に、本実施形態のナビゲーション装置１００を構成する特徴点三次元地図生成装置１１０と記録媒体１２０及び地点探索ナビゲーション装置１３０について説明する。
［特徴点三次元地図生成装置］
図２は、本実施形態に係る特徴点三次元地図生成装置１１０の概略構成を示すブロック図である。
特徴点三次元地図生成装置１１０は、車両等の移動体に備えられたカメラにより得られる現実の映像に基づき、移動体から観察される範囲における映像的な特徴点の三次元座標を含む所定の三次元情報を生成する。
【００３５】
具体的には、図２に示すように、カメラ映像取得部１１１，映像記録部１１２，特徴点抽出部１１３，特徴点対応処理部１１４，特徴点・カメラベクトル演算部１１５，誤差最小化部１１６，揺れ成分検出部１１７，絶対座標取得部１１８及び３Ｄ地図生成記録部１１９を備えている。
カメラ映像取得部１１１は、移動する車両の車載カメラ等の移動体に備えられるカメラから移動体の周囲画像を取得する。
映像記録部１１２は、カメラ映像取得部１１１において取得した画像を記録する。
特徴点抽出部１１３は、において、記録した画像の中に、特徴点となるべき小領域画像を手動又は自動により指定し抽出する。
【００３６】
特徴点対応処理部１１４は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
特徴点・カメラベクトル演算部１１５は、対応関係が求められた特徴点の三次元位置座標を求め、その三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部１１６は、複数の重複演算により、各カメラベクトルと各特徴点の位置の分布が最小になるように統計処理をし、さらに誤差の大きい特徴点を検出して、それを削除することで、全体の誤差を最小化処理する。
【００３７】
揺れ成分検出部１１７は、特徴点・カメラベクトル演算部１１５において得られたカメラベクトル（カメラの三次元位置座標及び３軸回転座標）から、あらかじめ予定された車両位置（カメラ位置と一対一に対応）と車両回転姿勢（カメラ姿勢と一対一に対応）である予定カメラベクトルとのズレ成分を抽出する。そして、予定カメラベクトルと現時点でのカメラベクトルとの差から、若しくは評価時点でのカメラベクトルとの差から、位置ズレ成分信号及び回転ズレ成分信号を生成し、これらズレ成分信号のすべて、若しくは一部及びそれらの選択と組み合わせによる値を、目的に沿った適切な評価すべき座標系に変換して、カメラ（カメラが固定される車両等の固定物）の揺れを評価し、出力し、さらに、必要が有れば表示することができる。この揺れ成分検出の詳細については後述する。
【００３８】
そして、求められたカメラベクトルとその揺れ成分に基づいて、ビデオ映像等の動画撮影において取得された画像のカメラの揺れに起因する不規則なブレ等を補正し、ブレのある画像からブレのない画像を生成することができる（画像安定化処理）。また、得られるカメラベクトルとその揺れ成分に基づいて、カメラ自身の位置と姿勢を駆動制御して、画像安定化処理と同様に、画像を安定化させることができる（位置姿勢安定化処理）。
さらに、得られたカメラベクトルに基づいて、画像内に指定した対象物を実写座標系で計測してその三次元座標を求め、三次元座標が求められた指定対象物が、常に画枠の中心位置（又は任意の所定位置）に表示されるように、画像表示又はカメラ（カメラが固定される固定物）の位置及び姿勢を制御することができる（目的対象物ロックオン処理）。このとき、ロックオン制御される対象画像は、揺れ成分を含んだままのオリジナル画像でもよく、また、画像安定化処理され安定化された画像であっても良い。
【００３９】
絶対座標取得部１１８は、予め定めた所定の基準点の既知の絶対座標から、求められた三次元相対座標を絶対座標系に変換し、特徴点のすべての点、又は必要な所定の点について絶対座標を与える。
なお、緯度経度等の絶対座標を必要としないときは、長さの基準を示す長さ基準点により、各画像で長さ校正をし、スケール合わせができて、正しいスケールの座標を取得できる。この場合には、特徴点・カメラベクトル演算部１１５は、長さ基準点の両端の三次元座標を求め、得られた三次元座標から長さ基準点の２点間の距離を演算により求める。そして、誤差最小化部１１６において、特徴点・カメラベクトル演算部１１５で演算により得られた長さ基準点の２点間の距離が、長さ基準点の既知の長さと一致するように、重複演算を繰り返し、統計処理する。
勿論、座標基準点と長さ基準点を同時に用いることもでき、その場合には、更に精度を向上させることができる。
【００４０】
ここで、基準点は、後述するように、三次元相対座標を絶対座標に変換する際の基準となる点であり、予め、任意の方法により既知の基準座標（三次元絶対座標）が計測される点（座標基準点）である。また、基準点は、三次元絶対座標が既知の基準点とともに、又は三次元絶対座標が既知の基準点に換えて、長さが既知の基準点（長さ基準点）を含むことができる。
長さ基準点とは、２点以上の点からなり、２点間の距離を既知のものとして扱う基準点であり、例えば、長さ基準点の間隔を１メートルというように設定し、画像内に１メートルの棒等を多数映るように設置することで得られる。そして、各画像に少なくとも一つの長さ基準点が重複するように撮影する。このような長さ基準点を設けることで、長さ基準点の既知の長さを基準として、後述するように、画像毎にスケールのキャリブレーションができ、精度を大幅に向上させることができる。
【００４１】
長さ基準点は、座標基準点を複数設定するのと同様と捉えることもできるが、「長さ」である長さ基準点を多数設定することは、「点」である座標基凖点を多数設定するよりも有効である。すなわち、座標基準点は全計測範囲に２点のみ設定すれば絶対座標に変換でき、また、座標基準点がすべての画像から観察されるとは限らず、さらに、複数の座標基準点を設定するよりも複数の長さ基準点を設ける方が費用や手間の点で有利となる。従って、例えば全計測範囲において、座標基準点は２点のみとし、長さの基準を示す所定長（例えば１メートル）の棒を計測範囲に多数、しかもランダムに設置するだけで、本発明に係る自動測量を実施でき、計測作業の手間も費用も大幅に削減することができる。
なお、基準点（座標基準点又は長さ基準点）についての三次元座標や長さの測量はどのような方法であってもよく、例えば、三角法等の従来公知の測量方法によって絶対座標や長さを取得しておくことができる。
【００４２】
３Ｄ地図生成記録部１１９は、誤差の最小化処理を施したカメラベクトルと特徴点、又はその特徴点を含む小領域の画像の三次元形状と、その三次元座標と、その分布を、車両等の移動体の通路（走行路，航路等）とともに三次元地図として配列し、特徴点を含む対象物等とともに、記録媒体１２０に記録する。
【００４３】
以上のような特徴点三次元地図生成装置１１０では、後述するように、エピポーラ幾何により、２フレーム画像から複数点の対応点を求めることで、記録媒体１２０に記録すべき特徴点の三次元地図を生成する。本実施形態では、対応点の三次元座標が演算可能なエピポーラ幾何学を用いるとともに、さらに、対応点を自動検出すること、７点程度の対応点と二フレーム画像があれば足りる演算を、すべてのフレームにわたって演算して統計処理することにより誤差を最小にすることにより、高精度な３Ｄ地図を生成している。すなわち、特徴点の数やフレームの数等の充分に多数の情報を用いて、各特徴点の誤差を縮小にし、エラーを含む特徴点を削除して精度の高い特徴点三次元地図を生成するようにしてある。
【００４４】
［記録媒体］
図３は、本実施形態に係る記録媒体１２０及び地点探索ナビゲーション装置１３０の概略構成を示すブロック図である。
記録媒体１２０は、ＤＶＤやハードディスク，ＣＤなどのデータを記録可能な媒体からなり、特徴点三次元地図生成装置１１０で生成された三次元地図情報を含む所定の情報が記録，格納されている。
記録媒体１２０に記録される情報としては、（１）移動体から観察可能な映像的な特徴点の特徴の種類とその三次元座標（三次元地図）、（２）映像的な特徴点を含む小領域の二次元画像の三次元配置とその三次元座標、（３）映像的な特徴点を含む対象物の形状（二次元又は三次元形状）とその三次元座標、（４）必ずしも特徴点ではないが、走行、航行に必要な周辺画像やＣＧ等の形状（二次元又は三次元形状）と三次元座標、（５）移動体の移動路、例えば、道路、車両走行路、予定航路などの画像、ＣＧ及びその形状（二次元又は三次元形状）と、その三次元座標、などがある。そして、これらの情報のいずれか、又はそれらの組み合わせ、又はその全部を、必要に応じてそれらの属性を含む形で、三次元地図とともに記録されるようになっている。
【００４５】
このように、記録媒体１２０には、移動体から観察可能な特徴点が記述されるが、その特徴点の周囲の小領域の画像を含めて記録することで、移動体の現地点映像と地図上の特徴点の対応がとり易くなり好ましい。
また、後述するように、地点探索ナビゲーション装置１３０において演算の結果求められるのは三次元座標であり、抽出される特徴点は人間の視覚から見た特徴点である必要はないが、利用者に理解し易い情報を出力するために、車両走行路の地図や周辺の建築物等が記録されることが望ましい。
さらに、現在地点の認識には直接関係しない情報であっても、利用者の走行等を助ける情報として、例えば、交通標識や道路表示等の画像やＣＧとその属性が記録されることで、より理解し易く、操作し易くなり好ましい。
【００４６】
［地点探索ナビゲーション装置］
地点探索ナビゲーション装置１３０は、車両等の移動体側に設置される装置であり、移動体に備えられたカメラにより得られる現実の映像を、記録媒体１２０に記録された所定の三次元情報と比較し、現実の映像と一致する三次元座標上の地点と方向を求める。これによって、移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力する。
具体的には、図３に示すように、特徴点３Ｄ地図再生部１３１，概略現在位置指定部１３２，現在地周辺特徴点指定部１３３，カメラ映像取得部１３４，映像一時記録部１３５，映像内特徴点探索部１３６，映像内特徴点対応部１３７，カメラ座標演算部１３８，現在地点表示部１３９を備えている。
【００４７】
特徴点３Ｄ地図再生部１３１は、記録媒体１２０を再生し、記録されている所定の三次元情報を読み出す。上述したように、記録媒体１２０は、ＤＶＤやＣＤとして提供されるので、利用者は自己の車両等に備えられたナビゲーションシステムに記録媒体１２０を装填し、再生する。特徴点３Ｄ地図再生部１３１では、記録媒体１２０に記録されている特徴点３Ｄ地図を再生する。再生された３Ｄ地図には、特徴点の三次元座標と、その属性が記述されている。
概略現在位置指定部１３２は、移動体の概略の現在位置を何らかの手段で決定して指定し、初期設定時の探索範囲を限定する。この現在位置の指定は、例えば利用者が手入力に指定することもでき、また、ＧＰＳによって得られた緯度経度高度データによって移動体の概略の現在位置を指定することもできる。移動体の概略位置情報を指定，入力することにより、現在地点周辺の特徴点を探すのに大きな手がかりとなる。そして、そのための手段としてＧＰＳを利用することができる。ＧＰＳは本発明のナビゲーション装置１００と比較して精度が悪いが、概略位置の情報としては適当な精度を持つといえ、概略位置情報の指定手段としては有効に利用できる。
【００４８】
現在地周辺特徴点指定部１３３は、記録媒体１２０の３Ｄ地図から現在地周辺の複数の特徴点を読み出し、それを現在地の探索目標として指定し、映像内特徴点探索部１３６に出力する。概略現在位置指定部１３２の指定により概略位置が分かるので、現在地周辺特徴点指示部１３３では、記録媒体１２０から現在地周辺の特徴点データ取り込み、それらの特徴点を三次元座標として配分する。
カメラ映像取得部１３４は、特徴点三次元地図生成装置１１０のカメラ映像取得部１１１と同様、車載カメラにより、移動する車両の車載カメラ等の移動体に備えられるカメラから移動体の周囲画像を取得する。
映像一時記録部１３５は、特徴点三次元地図生成装置１１０の映像記録部１１２と同様、カメラ映像取得部１３４において取得した画像を記録する。
【００４９】
映像内特徴点探索部１３６は、映像一時記録部１３５に記録された映像内に、現在地周辺特徴点指定部１３３で指定された探索目標と同一物となるべき特徴点の候補をいくつか探し出す。
映像内特徴点対応部１３７は、映像内特徴点探索部１３６で探索された特徴点の候補と現在地点周辺の探索目標とを比較照合して一致点を探し出し、同一物としての対応関係を求める。そして、対応関係が求められた候補の中から演算に十分な数の対応点を決定する。
ここで、記録媒体１２０に記録された三次元座標とカメラ映像の一致点を求めるには、例えば、マッチングや相関等の画像処理技術により行える。
図４に、記録媒体１２０に記録された三次元座標とカメラ映像の対応関係を二次元的に示す。同図において、●はカメラ映像と三次元座標の対応が取れた特徴点であり、×は対応が取れなかった特徴点を示している。
【００５０】
カメラ座標演算部１３８は、決定された対応点の三次元座標を記録媒体１２０から受け取り、決定された対応点とその三次元座標を用いて、現時点の車両状況を示すカメラ位置、方向、姿勢等の三次元データを演算して決定する。記録媒体１２０に記録されている多数の特徴点と、取り込んだ映像の特徴点の三次元配列が一致する地点が、求めるカメラ位置の三次元座標である。得られたカメラ位置の三次元座標、速度、加速度、回転姿勢等のデータを表示することで、ナビゲーションシステムが完了する。
すなわち、現在地点表示部１３９は、カメラ座標演算部１３８で求められら現時点の移動体の状況を示す三次元データのいくつかの項目、又はその組み合わせ項目を、単独で、あるいは地図、映像、属性等、記録媒体１２０に記録されている情報とともに、それらのうちのいくつか又は全部を目的の形式で走行地図，予定走行路等の地図上に表示する。
【００５１】
このように、地点探索ナビゲーション装置１３０では、記録媒体１２０に記録されている特徴点と、それに対応するリアルタイムで取り込んだ映像内の特徴点を複数個求めて、それらの観察方向が一致するような三次元地図上の視点を演算で求めることができる。
そして、記録媒体１２０には、特徴点の三次元情報以外に、地図や様々な情報が記録してあるので、それらの情報とともに表示することができる。
なお、本実施形態では、特に図示しないが、地点探索ナビゲーション装置１３０は、さらに、カメラ座標演算部１３８で決定された三次元データにより、本ナビゲーション装置を搭載する車両等の移動体を直接制御する制御装置を備えることができる。すなわち、本ナビゲーション装置で求められる高精度な位置情報に基づいて、車両等の移動体を自動制御することができ、自動運転システムを実現することができる。
【００５２】
また、地点探索ナビゲーション装置１３０は、上述した特徴点三次元地図生成装置１１０の機能を付加することにより、記録媒体１２０のデータを更新するようにすることもできる。すなわち、地点探索ナビゲーション装置１３０において、利用者の車両等に搭載したカメラによる映像を蓄積し、複数のフレームにわたる記録媒体の特徴点やその特徴点を含む小領域画像との対応点を、カメラで取得した画像内で追跡し、特徴点三次元地図生成装置１１０と同様にして、複数のフレームにわたる記録媒体の特徴点、又はその特徴点を含む小領域画像と、カメラで取得した映像内の小領域の画像との対応関係から、既存の特徴点の移動等の座標更新データを演算で求め、その結果を次回からの特徴点として付加することが可能である。
あるいは、カメラによる映像から新たな特徴点を検出して、三次元座標に加えることで、次回からの特徴点として付加し、次回からの特徴点として付加することが可能である。
【００５３】
このようにすると、利用者側に備えられる地点探索ナビゲーション装置１３０に、特徴点三次元地図生成装置１１０に相当する装置を備えることで、地図を作りながら探索をすることが可能となり、現地点探索と同時に、特徴点検出と三次元座標演算を同時に行い、記録し、記録媒体のデータを更新し、次回からのデータとして用いることができる。これにより、データ更新装置やリアルタイムナビゲーション装置を構成することができる。データ更新装置については図２７を参照しつつ、また、リアルタイムナビゲーション装置については図３０以下を参照しつつ、それぞれ後述する。
【００５４】
［カメラベクトル演算・３Ｄ地図生成方法］
次に、上述した本実施形態の特徴点三次元地図生成装置１１０（必要に応じて地点探索ナビゲーション装置１３０）におけるカメラベクトル演算及び三次元情報（３Ｄ地図）の生成方法について説明する。
複数の画像（動画又は連続静止画）の特徴点からカメラベクトルと特徴点の三次元情報を求めるにはいくつかの方法があるが、本実施形態の特徴点三次元地図生成装置１１０では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルと特徴点の三次元座標を求めるようにしてある。特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルと特徴点の三次元座標を求めることができる。
【００５５】
まず、車載カメラ等によって画像を取得し、フレーム間で対応関係にある十分に多くの点を用い、カメラベクトルを精度良く演算で求める。原理的には６点乃至７点の特徴点があれば三次元座標は求まるが、本実施形態では、例えば、１００点程度の十分に多くの点を用いることで、解の分布を求め、その分布から統計処理により各ベクトルを求め、結果としてカメラベクトルを求める。
このようにして求められたカメラの三次元位置とカメラの３軸回転から、それを各フレーム画像にデータとして付加し、複数のフレーム画像から得られる複数の視差、即ち多重視差と、既に取得しているカメラの三次元位置から、対象物の特徴点の三次元座標を演算で求めることができる。
【００５６】
なお、以上の処理は、車載カメラだけでなく、例えば、人が手に持ってカメラを自由に振り回して、対象物を撮影し、撮影後にその映像からカメラベクトルを演算で求め、カメラベクトルから、撮影した対象物の三次元形状を求めることができる。
そして、以上の処理を繰り返すことで、広範囲の三次元形状、即ち三次元地図（３Ｄ地図）が生成されることになる。
【００５７】
［カメラベクトル演算］
カメラベクトルとは、カメラの持つ自由度のベクトルをいう。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態の特徴点三次元地図生成装置１１０におけるカメラベクトルの検出は、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
【００５８】
以下、特徴点三次元地図生成装置１１０における、より具体的なカメラベクトルと特徴点の三次元座標の検出方法について、図５以下を参照しつつ説明する。
特徴点三次元地図生成装置１１０では、まず、特徴点抽出部１１３において、適切にサンプリングしたフレーム画像中に、特徴点となるべき点又は小領域画像を自動抽出し、特徴点対応処理部１１４で、複数のフレーム画像間で特徴点の対応関係を自動的に求める。具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図５〜図７に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図７に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図８に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図８の○印参照）、例えば、１００点程度の特徴点を抽出する。
【００５９】
続いて、特徴点・カメラベクトル演算部１１５で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、特徴点・カメラベクトル演算部１１５は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する。
本実施形態では、カメラ映像として原則的に３６０度全周映像を使用し、３６０度全周映像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。
【００６０】
３６０度全周映像は、例えば広角レンズや魚眼レンズ付きカメラや複数台のカメラ、あるいは回転カメラなどで撮影されるパノラマ映像や全方位映像，３６０度全周囲映像であり、通常のカメラで撮影される映像より広い範囲が示されるため、高精度なカメラベクトル演算をより簡易，迅速に算出することができ好ましい。なお、３６０度全周映像といっても、必ずしも４π全空間を含む映像のみでなく、３６０度全周の一部分をカメラベクトル演算用の映像として扱うこともできる。その意味では、通常のカメラで撮影される映像も、３６０度全周映像の一部と捉えることができ、本実施形態におけるような優れた効果は少ないものの、本質的に差異はなく、本発明の３６０度全周映像（４π映像）と同様に扱うことができる。
【００６１】
図７に示す画像１，２は、３６０度全周映像をメルカトール展開した画像であり、緯度φ、経度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１Ｔ［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。
なお、図７は、特徴点三次元地図生成装置１１０における処理を理解し易くするために、１台または複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際の特徴点三次元地図生成装置１１０の処理では、必ずしもメルカトール図法による展開画像である必要はない。
【００６２】
次に、誤差最小化部１１６では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
【００６３】
図９〜図１１に、特徴点・カメラベクトル演算部１１５において得られる特徴点の三次元座標とカメラベクトルの例を示す。図９〜図１１は、本実施形態におけるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図９では、図７の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトルが示されている。
図１０及び図１１は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
【００６４】
ここで、特徴点三次元地図生成装置１１０における演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図１２に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ベクトル検出部は、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像ＦｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返す。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
【００６５】
そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。
【００６６】
ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、ｍ枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたｍ枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、ｍ枚の連続したカメラベクトルのスケール調整をすることができる。
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
【００６７】
ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、（１）高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、（２）同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
【００６８】
また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。
【００６９】
さらに、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行うことが好ましい。具体的には、三次元情報の追跡とは、まず、特徴点・カメラベクトル演算部１１５，誤差最小化部１１６を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。そして、自動追跡で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部においてより高精度なカメラベクトルが求められる。
【００７０】
上述した特徴点抽出部１１３及び特徴点対応処理部１１４では、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。このような三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これは特徴点・カメラベクトル演算部１１５により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
【００７１】
カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。
【００７２】
ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
【００７３】
［揺れ成分検出］
そして、以上のようにして求められたカメラベクトルは、揺れ成分検出部１１７において、あらかじめ予定されたカメラ位置とカメラ姿勢を示す予定カメラベクトルとのズレ成分が抽出される。
揺れ成分検出部１１７においては、例えば、車載カメラを搭載した車両位置（すなわちカメラ位置）Ｘ，Ｙ，Ｚと、車両回転姿勢（すなわちカメラ姿勢）Φｘ，Φｙ，Φｚによる揺れ成分であるδＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚのすべてが評価の対象となる。ここで、δＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚとは、必ずしも微分値や差分値ではなく、予定の位置及び予定の姿勢からのズレを意味する。多くの場合は微分値で代用することで揺れ成分は検出できるが、予定の位置と予定の姿勢が前もって決まっていれば、それとの差分がδＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚとなる。
【００７４】
具体的には、軌道上を走行する電車等においては、予定カメラベクトルは走行時に計測される平均値に近いものであるが、航空機のように三次元空間を航行する場合は、予定カメラベクトルは走行時のものと平均で一致することはない。
揺れ成分出力としては、Ｘ，Ｙ，Ｚ，Φｘ，Φｙ，Φｚと、δＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚの計１２個のパラメータを出力することができる。
但し、いずれの揺れ評価を目的とするかによって、パラメータの数はこの中から選択的に組み合わせることができ、評価対象物に対応することができる。
【００７５】
すなわち、特徴点・カメラベクトル演算部１１５と揺れ成分検出部１１７からの出力を総合すると、Ｘ，Ｙ，Ｚと、Φｘ，Φｙ，Φｚと、δＸ，δＹ，δＺと、δΦｘ，δΦｙ，δΦｚの１２のパラメータがあるが、通常の画像安定化処理にはδΦｘ，δΦｙ，δΦｚの３つのパラメータのみでよい。一方、カメラを同時に複数用いているような場合には、画像の三次元位置の補正も可能となるので、δＸ，δＹ，δＺのパラメータを用意しておく必要がある。また、通常、姿勢制御には、回転制御の場合にはδΦｘ，δΦｙ，δΦｚ、位置の制御を含むのであればこれに加えてδＸ，δＹ，δＺの計六個のパラメータが必要となる。さらに、状況判断を含めれば特徴点三次元地図生成装置１１０からの出力であるＸ，Ｙ，Ｚと、Φｘ，Φｙ，Φｚ
も含めて必要となる場合もあるので、得られる１２個のパラメータの中から選択的に組み合わせて画像処理や姿勢制御に用いることができる。
なお、この１２個の変数以外に、画像安定化や姿勢安定化に用いられる撮影条件による他の係数としては、カメラの基準姿勢として画像の画枠での揺れ幅制限などがある。
【００７６】
図１３に揺れ成分検出部１１７における揺れ成分検出の具体例を示す。同図に示す例は、車両にカメラを取り付けて走行し、その時に撮影した動画像から揺れ成分検出部１１７で揺れを検出する場合となっている。
同図において、太線矢印はカメラを取り付けた車両の進行方向を示しており、カメラの光軸を原点とするカメラの位置と姿勢をカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）とし（同図に示す破線）、カメラが半固定状態で取り付けられた車両は車両座標系（Ｘｔ，Ｙｔ，Ｚｔ）とし（同図に示す実線）、常に車両進行方向に座標軸を変える座標系を回転世界座標系（Ｘｗｒ，Ｙｗｒ，Ｚｗｒ）とし（同図に示す２点鎖線）、さらに、外界の静止系を表す座標系を世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）とする（同図に示す１点鎖線）。そして、この四つの座標系の関係を求めて、評価に必要な座標系に変換して車両の揺れが表現されるようになっている。
【００７７】
特徴点・カメラベクトル演算部１１５で得られるカメラベクトルはカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）そのものである。カメラ座標系は、一般に任意の方向で設定されるから、車両の揺れを検出するには、カメラ座標系を一旦車両座標系（Ｘｔ，Ｙｔ，Ｚｔ）に変換する。この変換は単なる回転変換であり、一般には半固定であり、一旦設定すれば、その後は計測を終了するまで変更はない。
車両進行方向を車両座標系（Ｘｔ，Ｙｔ，Ｚｔ）の３軸の一つに選択することで揺れを評価するのにふさわしい座標系とすることができる。
【００７８】
また、車両の移動の軌跡は静止座標系である世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）で表現するのが適切である。速度を表現するには回転世界座標系（Ｘｗｒ，Ｙｗｒ，Ｚｗｒ）で単純に表現することができるが、べクトルとして表現するには世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）で表現するのがふさわしい。
揺れ評価にあたっては、揺れ評価に適した座標系で評価を行う。
揺れ信号は予定進路からのズレとして検出されるが、図１３に示す例では、車両の平均進路を予定進路として揺れを評価している。そこで、世界座標系上でカメラの移動軌跡を求め、その平均進路を求め、これを予定進路とする。
【００７９】
本実施形態の揺れ成分検出部１１７では、姿勢の基準となるジャイロ等を用いることなく、画像データを取得するカメラのみで揺れ成分の検出が可能となっているが、カメラ１台の場合、得られるカメラベクトルは相対値となり、ジャイロ等の世界座標系との校正装置を持たないことから、誤差の蓄積が生じることになる。このため、常に車両に対する揺れを評価するために、平均鉛直水平方向を与える必要がある。そこで、カメラ設置時点において、カメラ座標系の１軸を車両に対する水平軸に合致させて設置すれば、それが基準となって、後にも水平姿勢の校正が容易にできることになる。これにより、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）は、車両座標系（Ｘｔ，Ｙｔ，Ｚｔ）に変換して揺れを計測して評価すればよい。
評価される揺れとしては、位置ズレ成分Ｘｔ，Ｙｔ，Ｚｔと、回転成分Φｘｔ，Φｙｔ，Φｚｔ、及び位置ズレ差分δＸｔ，δＹｔ，δＺｔ等である（但し、ＺｔとδＺｔは、進行方向速度及びその加速度成分となるので、揺れの意味が他の成分とは異なる）。
【００８０】
以上のような揺れ成分の評価において、評価すべき変数と表示は次のようなものが挙げられる。
・世界座標系における車両位置表示：
（Ｘｗ，Ｙｗ，Ｚｗ）
・車両進行方向に回転した回転世界座標系における速度及び加速度表示：
（δＸｗｒ，δＹｗｒ，δＺｗｒ）（ΔδＸｗｒ，ΔδＹｗｒ，ΔδＺｗｒ）
・車両座標系における揺れ表示：
（△Ｘｔ，△Ｙｔ，（△Ｚｔ））（△Φｘｔ，△Φｙｔ，△Φｚｔ）
・車両座標系とカメラ座標系の回転表示（半固定）：
（Ｘｃ，Ｙｃ，Ｚｃ）＝Ｆ（Ｘｔ，Ｙｔ，Ｚｔ）
・世界座標系における進行方向表示：
（Ｘｗ，Ｙｗ，Ｚｗ）＝Ｇ（Ｘｔ，Ｙｔ，Ｚｔ）
・カメラ座標系における進行方向表示：
（Ｘｃ，Ｙｃ，Ｚｃ）＝Ｈ（Ｘｔ，Ｙｔ，Ｚｔ）
・世界座標系に対する車両座標系の原点移動、回転姿勢表示：
（Ｘｗ，Ｙｗ，Ｚｗ）（δＸｗ，δＹｗ，δＺｗ）
【００８１】
以上のような本実施形態の揺れ成分検出部１１７によれば、例えば、電車に取り付けたカメラの場合には、揺れ成分検出部１１７により、電車の揺れを解析・分析し、車両や線路の異常を発見することが可能となる。通常は水銀加速時計等の高額な装置を使って揺れを計測するのに対して、本実施形態の揺れ成分検出部１１７を使用することにより、簡単に揺れ成分が検出でき、それを表示することができる。
そして、このような揺れ成分検出部１１７を用いることにより、上述したような画像の安定化処理やカメラの位置姿勢安定化処理、更には目的対象物のロックオン処理が実現できるようになる。
【００８２】
図１４は、揺れ成分検出部１１７で検出された揺れ成分に基づく補正信号により安定化画像に変換処理される画像の一例を示しており、例えば、同図（ａ），（ｂ）に示すように揺らぎのある画像が、同図（ｃ），（ｄ）に示すように補正された安定化画像として出力，表示されるようになる。また、図１５は、補正されたカメラベクトルの軌跡を示すグラフであり、同図中、グラフ中央に直線櫛状に並ぶのがカメラ移動の軌跡であり、移動するカメラの位置と高さを示している。
【００８３】
そして、以上のようにして各点の三次元位置相対座標が求められると、絶対座標取得部１１８において、各三次元相対座標に、予め絶対座標が測定された基準点の既知の座標が与えられ、三次元相対座標が絶対座標系に変換され、計測点、基準点、特徴点のすべての点（又は必要な所定の点）について、絶対座標が付与される。これにより、所望の計測点や、特徴点中の任意に指定した指定点についての最終的な絶対座標が得られ、そのデータが３Ｄ地図生成記録部１１９に記録され、３Ｄ地図情報として必要に応じて出力，表示される。
【００８４】
なお、以上の説明では、特徴点，カメラ座標と回転（カメラベクトル）を特徴点・カメラベクトル演出部１１５で同時に求めるように説明したが、一度カメラベクトルが求められれば、新たな特徴点，特徴点中の任意の指定点については、カメラベクトルとともに再演算することなく、すでに得られたカメラベクトルから、二つの画像、すなわち、二つのカメラ位置を底辺とする頂点の一点として簡単に演算することができる。カメラベクトルの精度が変わらないため、新たな特徴点や任意の指定点の精度も変わらない。但し、再度カメラベクトルを求めて再演算すれば、精度は一般に向上することになる。
【００８５】
以上のように求められたカメラベクトルや特徴点の三次元座標は、生成された三次元地図中に表示することができる。
例えば、図１６に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。そして、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。
図１７に、本実施形態で生成される３Ｄ地図の表示例を示す。
【００８６】
なお、以上の方法では、映像を取得するカメラは一台でも良く、複数のカメラであっても良い。カメラを同時に複数台設置し、複数のカメラ間距離による近距離計測を併用することで、三次元絶対距離の基準長を取得可能とし、また、移動体検出を可能にし、移動体座標・距離・速度を計測可能とし、さらに、移動体部分の削除を可能とすることができる。
カメラを二台用いることにより、絶対計測ができるようになり、絶対計測ができることで、カメラ一台による演算結果に基準長を与えることが可能となり、また、これによって、移動体検出が可能となる。従って、不必要な移動体については特徴点から削除することができる。
さらに、複数のカメラを用いることにより、絶対座標が既知である２点以上の特徴点を画像内に求め、特徴点地図に絶対座標を与えることができる。カメラ一台で計測した場合には相対値が得られるが、複数台使用すれば絶対距離が与えられる。そして、既知の絶対座標を二点以上の特徴点として与えれば、絶対座標が得られる。
【００８７】
［３Ｄ地図生成］
次に、以上のように求められたカメラベクトルや特徴点の三次元座標に基づいて生成される３Ｄ地図の生成方法について、図１８及び図１９を参照して説明する。
図１８は、本実施形態の特徴点三次元地図生成装置１１０で生成される三次元地図の生成方法を示す説明図であり、図１９は、同様に、特徴点三次元地図生成装置１１０で行われる三次元地図の更新方法を示す説明図である。
【００８８】
ナビゲーション装置（交通自動案内装置）で使用する３Ｄ地図（三次元地図）として、本実施形態では二種類の３Ｄ地図の生成が可能であり、一つはＣＶ映像地図であり、もう一つはＣＶ映像から生成するＣＧ地図による三次元地図である。
ＣＶ映像とは、カメラベクトル映像、すなわち、３６０度全周映像から得られるカメラ位置及びカメラ姿勢（カメラベクトル）を全フレーム画像に亘って取得し、各フレームにカメラベクトル（ＣＶ値）を対応させた３６０度全周映像のことである。なお、上述したように、３６０度全周映像ではない通常の映像であっても、３６０度全周映像の一部分として位置づけることができる。
【００８９】
図１８を参照しつつ、ＣＶ映像地図からＣＧ地図を生成するプロセスを以下に説明する。
同図に示すように、まず、道路面を走行する車両に搭載したカメラによって走行空間の全景映像を撮影して、３６０度全周映像を取得する（Ｓ１８０１：地上４π撮影映像）。
取得した３６０度全周映像に基づいて、上述したようなカメラベクトル演算を行い（Ｓ１８０２：ＣＶ演算）、カメラベクトルを取得する。
そして、取得したカメラベクトルに対して、実写映像や既成の地図（Ｓ１８０７）等に基づいてキャリブレーションを施し（Ｓ１８０３：キャリブレーション）、さらに、ＣＶ値は相対値であることから既成の地図（Ｓ１８０７）と対比させることで緯度・経度・高度を取得して絶対座標取得（Ｓ１８０８）を行う。
【００９０】
路面等を俯瞰で観察するためには、空撮映像（Ｓ１８０４）を撮影し、その空撮映像についてＣＶ演算（Ｓ１８０５）することによりカメラベクトルを取得し、同様に既成の地図（Ｓ１８０７）等によりキャリブレーションし（Ｓ１８０６）、絶対座標を取得する（Ｓ１８０８）。
得られた各ＣＶ値の誤差を修正して座標統合し（Ｓ１８０９）、これによって、ＣＶ映像地図データベースを構築する（Ｓ１８１０）。
ＣＶ映像地図データベース（Ｓ１８１０）は、そのまま三次元地図として交通案内装置に利用できるが、さらに、ＣＶ映像に基づいて三次元ＣＧ地図を生成することができる。
【００９１】
以下、カーナビゲーション装置等においてより一般的に受け入れられている三次元ＣＧ地図をＣＶ映像地図から生成する方法について説明する。
図１８に示すように、ＣＶ映像地図データベース（Ｓ１８１０）は、次のプロセスで安定化処理（Ｓ１８１１）がなされる。
安定化処理は、Ｓ１８１１に示すように、まずＣＧ化される範囲を映像の一部切りだし処理をし、画像スタビライズにより画像の揺れを排除する。次に、仮想のカメラ移動方向を決定して、走行方向指定及び横揺れ補正により画像の誤差を修正する。さらに、一定方向に一定スピードで走行する時間軸補正を行う。この安定化処理は、画像を所定の固定平面にロックオンして安定化処理を行う。
以上のようにして安定化処理された画像は、ＭＲＳＳビュア上に表示される（Ｓ１８１２）。ここで、ＭＲＳＳビュア（株式会社岩根研究所の製品名）とは、Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｓｉｍｕｌａｔｉｏｎ Ｓｙｓｔｅｍビュアの略で、ビュア上で三次元座標を取得できる表示装置である。
【００９２】
画像は上述した安定化処理（Ｓ１８１１）により安定化されているので、仮想走行面は道路面と正確に平行に移動する。そこでは、対象物の平面の移動速度は走行カメラからの垂直距離に対して逆比例し、近いものほど早く、遠いものほど遅くなる。すなわち、対象平面の移動速度が距離と一対一の関係になるので、背景分離と対象物抽出で目的とする対象物平面のみを選択的に取り出すことができる（Ｓ１８１３：ベクトル選択抽出）。また、ＭＲＳＳビュア上で三次元計測（Ｓ１８１３）することにより、対象物の座標を取得することもできる。
また、移動べクトルに幅を持たせることで、ある範囲の対象物を選択的に取り出すことができる。３６０度映像の特徴により対象物を多視点に取得しているので、多視点テクスチャー抽出切り取り（Ｓ１８１４）により、背景や対象物のテクスチャーを方向別に抽出して、ＣＧに貼り付けることができる。
さらに、対象物の三次元座標指定（マニュアル）及びワイヤフレームＣＧ取得（Ｓ１８１５）を行うことで、対象物の形状をワイヤフレームで抜き出すことができる。
【００９３】
次に、表示されている目的の対象物に対し、手動で代表点をクリックし、対象物の三次元座標をＣＧ作成ツールへ置換（Ｓ１８１６）する。これにより、３ＤＳＭＡＸ等のＣＧ生成ツールに入力し、そのツール上でＣＧを生成することができる（Ｓ１８１７）。また、簡単な図形はＭＲＳＳビュア上で生成できるようにする。すなわち、垂直線・水平線・垂直面・水平面・垂直円柱等のＣＧ生成（Ｓ１８１８）や、図形回転・図形切断・移動・簡易加工（Ｓ１８１９）を行うことができる。
そして、生成したＣＧには、マニュアルで対象物の属性付加（Ｓ１８２０）を行い、座標統合して（Ｓ１８２１）、三次元ＣＧ地図データベース（Ｓ１８２２）が構築される。
【００９４】
なお、以上のようなＣＧを付加した三次元地図については、適宜ＣＧを簡略化し、あるいは消去することが可能である。三次元地図におけるＣＧの果たす役割は、一つにはそれを人間が見るものだからである。従って、三次元地図を、もし人間が見ず、機械が見る（認識する）だけでよいのであれば、使用目的に応じて、または必要とされる精度に応じて、ＣＧの形状そのものを正確に生成する必要はなくなり、ＣＧの属性としては、名称（対象物の名前）と概略位置座標と概略の大きさ程度の登録でよいことになる。また、さらに省略して、概略の大きさも無視でき、点，直線，面だけで表現して登録することが可能な場合もあり得る。
【００９５】
例えば、機械が見る場合には、色や価値は必要なく、道路標識・電柱・ガードレール等はその道路側の位置座標だけでよく、また、形状も必要なく、例えばガードレールは線又は面で近似する。従って、ガードレースなどは大まかな存在範囲だけを取得し、道路標識はその存在位置座標を点で登録すればよく、道路のセンターラインは連続する線で近似し、登録することで目的を達することができる。
このように、ＣＧ三次元地図の生成については、可能な限り簡略化することができ、それによってコストダウンを図ることができる。
【００９６】
次に、以上のようにして生成されたＣＶ映像地図を更新する場合について、図１９を参照しつつ説明する。
図１９に示すように、ＣＶ映像地図（Ｓ１９０１）を更新する場合には、まず、自動更新の前処理を行っておく。
具体的には、映像中の目印として適切な対象物等、新旧映像で比較するに適した対象物を重要ポイントをマニュアル指定しておく（Ｓ１９０２）。重要ポイントは、ある領域を持った断片の画像である。また、画像としての特徴ある部分を自動抽出し（Ｓ１９０３：特徴ポイント自動抽出）、重要ポイントと特徴点の三次元座標取得をする（Ｓ１９０４）。
【００９７】
重要ポイントと特徴点は、必要に応じて映像に対応させて一部三次元部品化（Ｓ１９０５）することにより、三次元座標とともに記録することができ（Ｓ１９０６）、これによって、更新のための自動更新機能を持つＣＧ映像地図データベース（Ｓ１９０７）が構築されることになる。
以上のような前処理を経た後に、ＣＶ映像地図データの更新処理を行う。
更新処理は、まず、更新用映像として４π撮影映像（３６０度全周映像）を取得する（Ｓ１９０８）。すなわち、ＣＶ映像地図データを更新するためには、更新用の映像を取得して新旧映像を比較しなければならない。
【００９８】
新旧映像の比較は、まず、重要ポイントについて初期位置合わせを行い（Ｓ１９０９）、更新映像の最初のフレームだけをマニュアルで重要ポイントの旧映像との対応を取る（Ｓ１９１０）。次に、新画像座標取得により（Ｓ１９１１）、更新画像の重要ポイントの三次元座標と回転座標を取得する。
同様に、特徴点ポイント抽出（Ｓ１９１２）により特徴点を自動抽出し、特徴点ポイント新旧対応（Ｓ１９１３）により新旧映像の対応をとり、新画像座標取得により（Ｓ１９１４）更新画像の特徴ポイントの三次元座標と回転座標を取得する。
【００９９】
三個以上の重要ポイントにより、あるいは、必要に応じて特徴ポイントも加えて、新画像カメラ座標点取得（Ｓ１９１５）により、更新画像のカメラベクトルを三角形を解く演算で求めることができる。なお、特徴ポイントの抽出・新旧対応・座標取得（Ｓ１９１２〜Ｓ１９１４）については省略してもよい。
このようにして、更新された映像とそのカメラベクトルが取得されると（Ｓ１９１５）、そのカメラベクトルによって、自動更新機能を持つＣＶ映像地図データベース（Ｓ１９０７）を更新することができる。
さらに、ＣＧ地図データを更新するためには、上述した新画像座標取得（Ｓ１９１１）により、重要ポイントの三次元座標を取得し、新旧座標を比較し（Ｓ１９１６）、更新対象物を特定して（Ｓ１９１７）、同じ座標に有るか否かを自動判断する。座標が一致しない場合には対象物を入れ替える必要があると判断し、図１８で示したＣＧ生成によるマニュアル処理（Ｓ１９１８）により、更新のためのＣＧを自動又はマニュアルで生成し、重要ポイントを更新した三次元ＣＧ地図データベース（Ｓ１９１９）に、更新データを記録する。
【０１００】
図２０は、道路上空から撮影した映像に基づいて三次元地図を生成する場合の一例を示している。同図に示す道路映像は３６０度のＣＶ映像であり、完全な平面図ではなく、地上数メートルから観察した道路面となっている。
道路の三次元地図を生成する場合には、道路面の近傍の形状が重要であり、高い計測精度が求められる。一般に、道路構造は、図２０（ａ）の断面図に示すよな構造をしていることが前もって分かっているので、その形状を予想して、三次元計測をすることができる。
【０１０１】
また、３６０度映像の特長を生かして、道路面の直下を視点方向とする道路面表示に設定することで、広い領域でのマッチング＆グリップが可能となる。具体的には、通常任意方向では１５＊１５ピクセル程度の領域でのマッチング＆グリップが限界であったが、直下表示では視点と道路面が直角に近い形となり、フレーム間画像は形状を変更することなく移動するので、各フレームによる画像歪みを無視することができる。
これにより、例えば５０＊５０ピクセル以上の広い領域でのマッチング＆グリップ（Ｍ＆Ｇ）が可能となり、特徴の少ない道路面であってもマッチング＆グリップが行え、計測精度が向上する。
さらに、道路舗装面には道路標示（センターライン，路肩ライン等）が決められた基準で描かれていることから、そのパターンをＰＲＭオペレータ（ＰＲＭ Ｏｐｅｒａｔｏｒ）の部品として予め用意しておき、用意されたオペレータ部品と映像比較することで、その三次元的位置を検出することが可能となる。
【０１０２】
ここで、ＰＲＭとは、Ｐａｒｔｓ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｍｅｔｈｏｄ（３Ｄ空間認識方法）の略であり、本願出願人が既に特許出願している対象物を認識するための技術である（国際出願ＰＣＴ／ＪＰ０１／０５３８７号参照）。具体的には、ＰＲＭ技術は、前もって予想される対象物の形状と属性を部品（オペレータ部品）としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。車両の自動案内走行や自動運転走行のために必要となる対象物の「部品」は、道路標示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などであり、これらは定形のものであるので、ＰＲＭ技術によりその認識は容易に行える。また対象物をＣＶ映像中に検索する場合においても、その対象物の存在する予想三次元空間を狭い範囲に限定することが可能となり、認識の効率化が可能となる。
【０１０３】
具体的には、道路面オペレータとしては、図２０（ｃ）に示すようなパターンがある。なお、オペレータ部品としては図示しない他のパターンも多数想定されるが、三次元地図においては道路全面の計測は必要なく、道路面を適切な間隔でサンプリングして道路断面図を完成させればよいので、図２０に示す程度で十分であると言える。
さらに、三次元のＰＲＭオペレータ部品（ＰＲＭ ３Ｄ Ｏｐｅｒａｔｏｒ）も用意し、三次元的にマッチングすることで、例えば、道路の縁石部分の段差についても精度良く再現することができる。
【０１０４】
図２１は、図２０に示した道路を立体視した三次元地図を示す。
同図に示すように、舖装道路の映像においては、ＰＲＭオペレータは、図２０に示したセンターライン等の道路面表示よりも、立体的な道路標識の認識においてその有効性を発揮する。すなわち、道路標識の認識に関しては、図２１（ａ）に示すように、ＣＶ映像上に道路標識予想空間を想定して、その限定された空間で目的の道路標識の種類と位置と形状と座標を認識することが可能となる。
ＣＶ映像は、実写画像上に道路標識予想空間をＣＧとして合成配置することができ、その制限範囲のみで目的の道路標識を検索することが可能となる。
また、道路標識の形状やサイズ等は通常決まっているので、予め用意してある各道路標識の三次元オペレータ部品として（図２１（ｂ）参照）、道路標識予想空間の中に三次元的に決まった大きさの標識を検索し、探し出すことが可能となる。そして、探し出された標識の種類と位置と座標と形状が認識される。
【０１０５】
このように、ＣＶ映像は、対象物が三次元座標を持つのと同じ扱いが可能であり、検索には極めて有利となる。道路標識のように、検索するものの形状が既に決まっているものについては、その三次元位置における見かけの大きさを計算で求められるので、ＰＲＭオペレータを使用するのが有利であり、ＰＲＭオペレータ部品として様々な標識を用意しておくことで、用意された標識部品の中から一致する部品を探し出すことで、対象標識を認識することが可能となる。
さらに、ＭＲＳＳビュアで表示される３６０度実写のＣＶ映像は、ＣＶ映像内の任意の点をマウスでクリックすることにより、（１）その指定した点の三次元座標を取得できるとともに、（２）指定した任意の２点間をマウスで直線に結び、その２点間の距離を計測でき、さらに、（３）任意の多角形をマウスで指定・入力することによりその多角形の面積を計測することができる。従って、この機能を利用してＣＶ映像中の目的対象物の位置をマウスのクリック操作するだけで、（１）実写映像の中に属性の登録ポイントを指定することができ、（２）道路形状や道路標示を直線で登録でき、さらに、（３）路面や看板の面を登録することが可能となる。
【０１０６】
図２２は、ＣＶ映像中に手動により対象物の属性を取得し登録する場合の手順を示す図であり、ＭＲＳＳビュアで同図（ａ）に示すＣＶ映像が表示されている場合に、同図（ｂ）に示すように、マウスを用いて映像中に所望の点や直線を指定することができる。指定した点や直線，面は登録することができ、同図（ｃ）に示すように三次元地図として出力・表示することができる。
このようにＣＶ映像の任意の点を指定して直線や面のみを登録することで三次元地図が生成でき、その登録の際に属性についても分類しておけば属性抽出も同時に完了し、所望の三次元地図を容易に生成・取得することができる。
【０１０７】
［ナビゲーション動作］
次に、以上説明したような本実施形態に係るナビゲーション装置における全体の動作の概要を図２３〜図２６を参照しつつ説明する。
図２３に示すように、本実施形態のナビゲーション装置の動作は大きく２つに分けられ、一つはＣＶ映像地図生成装置（特徴点三次元地図生成装置１１０）側で行われる前処理と、もう一つは車両等に積載されたナビゲーション装置（地点探索ナビゲーション装置１３０）側で行われる後処理である。
【０１０８】
［前処理］
前処理としては、以下の手順により行う。
まず、図２３に示すように、車載カメラ等で３６０度全周映像が取得され（Ｓ２２０１：３６９度映像撮影）、この３６０度映像についてＣＶ演算により全フレームのカメラベクトルが取得される（Ｓ２２０２：ＣＶデータ付加）。なお、カメラで撮影される映像は原則として３６０度全周映像であることが望ましいが、必ずしも３６０度全周映像でなくてもよい。
ＣＶ演算で得られたＣＶデータは相対値であるので、これを実測データやＧＰＳ等に基づいて絶対座標（緯度・経度・高さ）に変換する（Ｓ２２０３：絶対座標取得）。
【０１０９】
また、ＣＶ映像中、後に計測基準となり得る画像部位を切り取り、当該部位の属性とともに付加・記録する（Ｓ２２０４：指定基準部位座標及び属性付加）。ここでは、さらに座標を与えてもよい。指定点は部分映像として切り取ることでデータ量を小さくする。専用マークを静止物体の映像として取得することもできる。
ＣＶ映像中の重要ポイント及び看板等については、ＣＧ化して属性とともにＣＶ映像に合成又は対応させておく（Ｓ２２０５：指定ＣＧ付加）。交通標識等は共通するものであるので、共通のＣＧとしてそのＩＤと座標のみを付加する。
以上の手順により、各フレームに対応するＣＶデータ・属性等を生成する（Ｓ２２０６：ＣＶ映像生成）。なお、計測のみで映像を観察しない場合は、特徴部位のみの映像とする。そして、生成されたＣＶ映像は、ＷＥＢ，ＨＤＤ又はＤＶＤ等により、後処理を行うナビゲーション装置側に配信する（Ｓ２２０７：ＣＶ映像配信）。
【０１１０】
［後処理］
後処理としては、以下の手順により行う。
まず、図２３に示すように、配信されたＣＶ映像をＷＥＢ等を介して受信し、あるいは購入したＤＶＤ等から読み取る（Ｓ２３０１：ＣＶ映像受信）。
また、車両に積載したカメラで現在の３６０度映像を取得する（Ｓ２３０２：リアルタイム映像取得）。なお、ここでも取得映像は必ずしも３６０度映像でなくてもよい。
そして、受信したＣＶ映像と車載カメラで撮影されたリアルタイム映像を比較することにより、車両の現在位置を演算で求める（Ｓ２３０３：リアルタイム車両位置計測）。なお、この車両の現在位置の演算は、（１）ＣＶ演算で求める方法と、（２）座標が既知の指定点から演算で車両の座標を求める方法と、（３）両者を組み合わせた中間の方法とがある。
【０１１１】
その後、求められた自車両の三次元位置を地図上に高精度（例えばＧＰＳの十倍以上の精度）で表示し、ナビゲーションに必要な項目を自動表示する（Ｓ２３０４：ナビゲーション項目自動選択、Ｓ２３０５：マルチビュア表示）。このとき、ナビゲーション目的の属性を表示する。また、車両の座標と地図を比較し、自車両走行に必要な標識・道路標示・案内板等を走行に合わせて順次選択することができる。さらに、表示画像内で対象物をクリックすることにより属性表示することができる。
なお、自車両の三次元位置を表示すればナビゲーションとしては十分であり、ＣＶ映像（記録映像）自体は表示しなくてもよい。
また、自車両の位置を三次元地図上に表示する場合に、ＧＰＳは概略位置を求める補助的情報として利用できる（後述する第二実施形態参照）。
【０１１２】
以上でナビゲーション装置の全体の動作が完了するが、さらに、図２４に示すように、ナビゲーション装置側の後処理において、自車両の周囲のＣＶ映像を任意の視角で表示し、目的によって任意視点で表示することができる（図２４のＳ２３０６：任意視点映像及び属性表示）。このとき、交通標識等は共通のＣＧ部品から取り出して表現することができる。また、夜間に昼間の映像を表示したり、積雪した冬に夏の映像を表示することも可能である。
また、図２５に示すように、後処理において、車間距離や周囲を走行する車両の方向と速度、路面状況等の走行状況の情報をリアルタイムで判断して、走行に必要な認識・判断の結果を表示することもできる（図２５のＳ２３０７：走行状況認識・判断）。
【０１１３】
さらに、図２６に示すように、後処理において得られたデータは、他の車両や基地局との間で送受信することが可能である（図２６のＳ２３０８：走行状況認識・判断データ送受信）。
すなわち、自車両で認識・判断した結果の走行状況認識・判断データを他車両と共有するために、所定のデータを多謝料に送信することができ、同時に、周囲を走行する他車両が認識・判断した結果の走行状況認識・判断データを受信して、自車両の走行に反映させることが可能である（後述する第三実施形態参照）。
さらにまた、所定の基地局に自車両の走行状況認識・判断データを送信し、基地局から送られる走行状況認識・判断データを受信して自車両の走行に反映させることも可能である（後述する第三実施形態参照）。
【０１１４】
以上説明したように本実施形態のナビゲーション装置によれば、車両等の移動体に搭載されたカメラで撮影される動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することにより、多数の特徴点について重複演算して、カメラベクトル（カメラ位置と回転角）と特徴点の三次元位置座標を高精度に求めることができる。
そして、得られた特徴点の三次元座標を予め記録媒体に格納し、その三次元座標を現実に移動する移動体から撮影されたカメラ映像と対比することで、あるいは、カメラから得られた映像から、リアルタイムにカメラ位置の三次元座標を直接生成し、現在のカメラ位置を示す高精度な三次元情報を得ることができ、これによって、移動体のナビゲーションシステムとして用いることができる。
【０１１５】
具体的には、本発明のナビゲーション装置では、車両等の移動体の現在地点座標をＧＰＳより高い精度でリアルタイムに取得するために、画像処理技術を用いて、画像内の複数の特徴有る点に着目し、前もって特徴点の三次元座標を精度良く計測しておく。そして、その特徴点を三次元座標に記述した地図（３Ｄ地図）を記録媒体に格納し、移動体側でその記録媒体を再生することで、特徴点の三次元座標を読み出すことができる。さらに、移動体の現在地点で得られたカメラ画像から映像内の特徴点を抽出し、その特徴点の方向と、記録媒体に予め記録された三次元座標が既知である特徴点の方向とを比較して、複数の特徴点の方向が一致する地点の座標を演算により求めることで、カメラ位置を示す三次元座標、すなわち、現在の移動体の位置を示す三次元座標を得ることができる。
これにより、走行する車両等の移動体の現在位置が、カメラ映像から直接的に、あるいは、予め生成，記録された三次元地図によって正確に示されることになり、従来のＧＰＳシステムでは不可能であった、誤差範囲が数ｃｍ程度の高精度なナビゲーションシステムを実現することができる。
【０１１６】
［第二実施形態］
次に、本発明のナビゲーション装置の第二実施形態について、図２７を参照して説明する。
図２７は、本発明の第二実施形態に係るナビゲーション装置１００の概略構成を示すブロック図である。本実施形態のナビゲーション装置１００は、選択的に付加することができるオプション装置３００を備えるようになっている。
同図に示すように、本実施形態では、オプション装置３００として、３Ｄ地図属性付加装置３１０，ＧＰＳ装置３２０，データ更新装置３３０及びオプション表示装置３４０を備えることができる。
【０１１７】
［３Ｄ地図属性付加装置］
３Ｄ地図属性付加装置３１０は、記録媒体１２０に記録される情報として、特徴点の三次元座標以外の付加情報として属性情報を付加することができる。
ここで、特徴点の属性とは、例えば、特徴点の属するビルディングの名称，通りの名称，住所，歴史の記述等があり、また、特徴点が標識一部であればその標識の意味等である。
具体的には、特徴点属性取得部３１１において特徴点の属性を取得する。
所属対象物３Ｄ形状座標取得部３１２では、属性を付加すべき特徴点の三次元座標を特徴点三次元地図生成装置１１０の特徴点・カメラベクトル演算部１１５から入力する。
属性付加部３１３では、入力された三次元座標に対応する属性情報を付加する。
属性付き対象物３Ｄ地図生成部３１４では、属性情報が付加された三次元情報を特徴点三次元地図生成装置１１０の３Ｄ地図生成部１１９に戻す。
これにより、記録媒体１２０に記録される三次元情報として特徴点の属性情報が付加されるようになる。
【０１１８】
［ＧＰＳ装置］
ＧＰＳ装置３２０は、地点探索ナビゲーション装置１３０の概略現在位置指定部１３２に、ＧＰＳによって得られる緯度経度高度データを出力し、概略現在位置指定部１３２における移動体の概略の現在位置を指定する。
また、ＧＰＳ装置３２０は、地点探索ナビゲーション装置１３０のカメラ座標演算部１３８で得られた現時点の移動体状況を示すカメラ位置，方向，姿勢等の三次元データを入力し、ＧＰＳで得られるデータを補正し、映像から特徴点が得られない場合の補助装置として利用する。
【０１１９】
ＧＰＳは、本発明のナビゲーション装置で得られる位置情報と比較して精度が悪いが、概略位置を指定する情報としては適切である。ＧＰＳからの概略位置情報があれば、地点探索ナビゲーション装置１３０により、現在地点周辺の特徴点を探すのに大きな手がかりとなる。
また、このように精度の悪いＧＰＳを主体とした計測システムにおいては、本発明による高精度な位置データを補正信号として利用して、ＧＰＳシステムで得られたデータを補正することにより、最終的に本発明と同等の精度を一定期間保持することが可能となる。
さらに、本発明のナビゲーション装置においてカメラ映像の取得が困難となる夜間やトンネル内などにおいては、ＧＰＳシステムとの併用が望ましい場合もある。
【０１２０】
そこで、本実施形態では、ナビゲーション装置１００のオプション装置としてＧＰＳ装置３２０を組み合わせることで、計測可能地点ではナビゲーション装置１００により計測し、映像的な特徴点が充分に得られないような場合には、本装置で取得された最終データによってＧＰＳを補正，校正することで、高精度にＧＰＳシステムを稼働させることができる。これによって、本ナビゲーション装置１００とＧＰＳのそれぞれの長所を有効活用することができる。
具体的には、ＧＰＳデータ取得部３２１では、ＧＰＳで得られたデータを取得する。
【０１２１】
装置座標演算部３２２では、ＧＰＳデータに基づいて、地点探索ナビゲーション装置１３０の概略現在位置指定部１３２に入力する座標信号を生成，出力する。
ＧＰＳデータ補正部３２３では、地点探索ナビゲーション装置１３０のカメラ座標演算１３８で得られた精度の高い位置情報を入力し、ＧＰＳ計測装置との差を検出して、そこからＧＰＳの補正校正信号を生成する。なお、ＧＰＳデータ補正部３２３には、ＧＰＳ位置計測装置に生成した高精度の補正校正信号を送るための出力端子が備えられる。
現在地点表示部３２４は、補正校正信号で補正されたＧＰＳデータを現在地点の表示として出力，表示する。
【０１２２】
このようにして、本実施形態では、ＧＰＳ装置３２０をオプション装置として備えることにより、通常は地点探索ナビゲーション装置１３０として作動し、夜間等の映像的な特徴点を連続的に取得することが困難な場合には、ＧＰＳによるナビゲーション機能を併用し、断片的に取得される地点探索ナビゲーション装置１３０から得られる地点データを補正信号とし、高精度に補正されたＧＰＳデータを表示することができる。
なお、ＧＰＳ装置３２０をオプションで備える本実施形態では、ＧＰＳによるナビゲータシステムに必要なデータも記録媒体１２０に記録することができる。
【０１２３】
［データ更新装置］
データ更新装置３３０は、記録媒体１２０のデータを更新することができ、地点探索ナビゲーション装置１３０に特徴点三次元地図生成装置１１０の機能を付加する装置である。
具体的には、データ更新装置３３０は、映像記録部３３１で、地点探索ナビゲーション装置１３０において取得されたカメラ映像を蓄積する。
特徴点データ再演算部３３２では、複数のフレームにわたる記録媒体の特徴点やその特徴点を含む小領域画像との対応点を、カメラで取得した画像内で追跡し、特徴点三次元地図生成装置１１０と同様にして、複数のフレームにわたる記録媒体の特徴点、又はその特徴点を含む小領域画像と、カメラで取得した映像内の小領域の画像との対応関係から、既存の特徴点の移動等の更新データが求められる。
また、新規特徴点取得部３３３では、カメラによる映像から新たな特徴点を検出して、三次元座標に加えることで、次回からの特徴点として付加し、次回からの特徴点として付加する。
【０１２４】
そして、特徴点データ更新部３３４でデータが更新され、その更新データが更新データ記録部３３５によって記録媒体１２０に出力される。
このようにして、データ更新装置３３０を備えることにより、利用者側に備えられる地点探索ナビゲーション装置１３０に、特徴点三次元地図生成装置１１０に相当する機能を付加することができ、地図を作りながら探索をすることが可能となり、現地点探索と同時に、特徴点検出と三次元座標演算を同時に行い、記録し、記録媒体のデータを更新し、次回からのデータとして用いることができるようになる。
【０１２５】
［オプション表示装置］
オプション表示装置３４０は、地点探索ナビゲーション装置１３０で表示される表示内容以外の付加的な情報を表示することができる。例えば、地点探索ナビゲーション装置１３０における現在地点の認識には直接関係しなくとも、利用者の走行を助ける交通標識や道路表示等の画像やＣＧを、オプション表示装置３４０によって表示することで、より理解し易く、操作し易いナビゲーション装置とすることができる。
具体的には、現在地点周辺画像表示部３４１では、地点探索ナビデーション装置１３０の特徴点３Ｄ地図再生部１３１及び現在地点表示部１３９の表示画像データを入力する。
表示画像属性表示部３４２では、入力した表示画像データの属性を表示する。
また、交通標識等認識表示部３４３では、現在地点から観察される交通標識や道路表示等の画像やＣＧを表示する。
【０１２６】
以上説明したように、本実施形態に係るナビゲーション装置によれば、予め３Ｄ地図生成用の車両等に搭載されたカメラで撮影された動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することにより、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることができる。
そして、得られたカメラ位置の三次元座標を予め記録媒体に格納し（あるいは、リアルタイムにカメラ位置の三次元座標を生成し）、その三次元座標を現実に移動するナビゲーション対象となる車両等から撮影されたカメラ映像と対比することで、現在のカメラ位置を示す高精度な三次元情報を得ることができ、これによって、移動体のナビゲーションシステ厶として用いることができる。
【０１２７】
［第三実施形態］
次に、本発明のナビゲーション装置の第三実施形態について、図２８及び図２９を参照して説明する。
図２８は、本発明の第三実施形態に係るナビゲーション装置の概略構成を示すブロック図であり、図２９は、同じく、本発明の第三実施形態に係るナビゲーション装置の他の実施形態の概略構成を示すブロック図である。
これらの図に示すナビゲーション装置は、記録媒体１２０と地点探索ナビゲーション装置１３０が離間して備えられ、基地局や他の移動体に備えられた記録媒体１２０に記録された所定の三次元情報が、通信回線を介して一又は二以上の他の地点探索ナビゲーション装置１３０に送信されるようになっている。
【０１２８】
具体的には、図２８に示すナビゲーション装置は、サテライト通信方式を採用しており、まず、所定の三次元情報を記録した記録媒体１２０は、基地局となるサテライト装置４００に備えられている。
サテライト装置４００は、受信部４１１により、データ更新逆送信装置３５０を介してデータ更新装置３３２からの更新データが受信され、データ更新部４１２により、記録媒体１２０のデータが随時更新できるようになっている。
そして、送信部４１３により、記録媒体１２０のデータが地点探索ナビゲーション装置に送信されるようになっている。
【０１２９】
地点探索ナビゲーション装置１３０側には、受信装置１４０が備えられている。
受信装置１４０は、受信部１４１により、通信回線を介してサテライト装置４００から送信された記録媒体１２０の三次元情報のデータを受信できるようなっている。
さらに、図２９に示すナビゲーション装置は、図２８に示したサテライト通信方式に加えて、さらに、相互通信方式を採用しており、基地局との間のみでなく、移動体相互間でもデータの送受信が行えるようになっている。
【０１３０】
このような本実施形態のナビゲーション装置によれば、記録媒体１２０のデータを基地局から受信し、更新データや新規取得データを基地局に送信し、さらには、直接車両間でデータのやりとりをして、必要に応じてデータを更新し、他の車両とデータを共有することができる。
これにより、一台の車両のみの場合と比較して、より広範囲で総合的なナビゲーションシステムを実現することができる。
【０１３１】
記録媒体１２０は、通常はＤＶＤやハードディスクなどであり、固体として移動体側の装置に装填し、あるいは設置される。
本実施形態では、基地局から記録媒体１２０のデータを複数の車両に送信することで、記録媒体１２０はソフトウェアそのもの、デジタルデータそのものとして扱うことができる。そして、ソフトウェアの受信は、固体としての記録媒体１２０の装填と同じ意味となり、再生装置の構成や規格等に左右されない分、利用範囲が拡張される。
また、本実施形態では、車両が新たに取得したデータを基地局に送り、また直接車両間でやりとりすることができ、さらに、通信回線を用いることでデータの更新が容易となり、周囲車両とのデータの共有も可能となり、リアルタイムデータのやりとりも可能となる。
このようにして、本実施形態によれば、より汎用性に優れたナビゲーション装置を提供することができる。
【０１３２】
［第四実施形態］
さらに、本発明のナビゲーション装置の第四実施形態について、図３０〜図３６を参照しつつ説明する。
図３０は、本発明の第三実施形態に係るナビゲーション装置の概略構成を示すブロック図である。
同図に示すように、本実施形態のリアルタイムナビゲーション装置２００は、上述した第一実施形態で示した記録媒体１２０を省略し、ナビゲーション対象となる移動体側に、第一実施形態における特徴点三次元地図生成装置１１０に地点探索ナビゲーション装置１３０の機能を持たせた、特徴点三次元地図生成表示装置２１０を備えている。
【０１３３】
本リアルタイムナビゲーション装置２００に備えられる特徴点三次元地図生成表示装置２１０は、第一実施形態で示したような記録媒体を備えず、ナビゲーション対象となる車両等の移動体に備えられたカメラにより得られる現実の映像に基づき、当該移動体から観察される範囲における映像的な特徴点の三次元座標を、そのままリアルタイムで生成するとともに、カメラベクトルを生成する。
そして、求められた特徴点の三次元座標から直接的に３Ｄ地図を生成し、特徴点の三次元分布と、ナビゲーション対象となる移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力，表示する。
【０１３４】
具体的には、本実施形態のリアルタイ厶ナビゲーション装置２００は、図３０に示すように、特徴点三次元地図生成表示装置２１０を備えている。
特徴点三次元地図生成表示装置２１０は、第一実施形態の特徴点三次元地図生成装置１１０とほぼ同様の構成となっており、カメラ映像取得部２１１，映像記録部２１２，特徴点抽出部２１３，特徴点対応処理部２１４，特徴点・カメラベクトル演算部２１５，誤差最小化部２１６，揺れ成分検出部２１７，絶対座標取得部２１８及び３Ｄ地図生成表示部２１９を備えている。このうち、カメラ映像取得部２１１，映像記録部２１２，特徴点抽出部２１３，特徴点対応処理部２１４，特徴点・カメラベクトル演算部２１５，誤差最小化部２１６，揺れ成分検出部２１７及び絶対座標取得部２１８については、第一実施形態におけるカメラ映像取得部１１１，映像記録部１１２，特徴点抽出部１１３，特徴点対応処理部１１４，特徴点・カメラベクトル演算部１１５，誤差最小化部１１６，揺れ成分検出部１１７及び絶対座標取得部１１８と同様の構成となっている。
【０１３５】
本実施形態の特徴点三次元地図生成表示装置２１０では、３Ｄ地図生成表示部２１９は、誤差最小化部２１６で誤差の最小化処理が施され、絶対座標取得部２１８で絶対座標が付与された特徴点又はその特徴点を含む小領域の画像の三次元形状とその三次元座標及びその分布を、ナビゲーション対象となる移動体の移動軌跡、さらに、必要に応じて移動予定路とともに三次元地図として配列し、特徴点を含む対象物等とともにこれらを直接表示するようになっている。
図３２及び図３３に、本実施形態におけるリアルタイムナビゲーション方法により生成，表示される特徴点の三次元座標と移動体の現在位置を示す。
図３２（ａ）に示すように、走行する車両の周囲の多数の特徴点が抽出され、その特徴点から、車両が走行する道路と建物等の三次元地図が生成され、その地図中に移動する車両の軌跡が示されている。図３２（ｂ）は、抽出された特徴点と求められた車両の軌跡を、実際のカメラ映像中に表示したものである。
図３３は、図３２（ｂ）に示す映像の平面展開画像であり、車両の走行軌跡と現在位置，予定進路が映像中にプロットしてある。
【０１３６】
このようにして、本実施形態のリアルタイムナビゲーション装置２００では、ナビゲーション対象となる移動体で移動しながら、直接的に３Ｄ地図を作りつつ、現在地点の探索を行うことが可能となり、特徴点検出と三次元座標演算，現地点探索を同時に行い、記録し、記録媒体のデータを更新できるリアルタイムナビゲーションを実現している。
上述した第一実施形態では、特徴点三次元地図生成装置１１０は、画像の取得後、オフライン処理で三次元地図を生成し、その後、三次元地図を記録媒体１２０に記録し、それを配布等することで、記録媒体１２０に記録された特徴点と現時点の映像と比較することで、現時点の位置を確認する方式を採っている。
本実施形態では、車両等で移動しつつ、リアルタイムに３Ｄ地図を生成し、現在地点の探索を行うことができ、記録媒体１２０を省略することができる。これにより、例えば、記録媒体１２０に記録された特徴点三次元地図に記載されていない地域を走行する場合や、記録媒体１２０を備えていない場合等であっても、特徴点三次元地図をリアルタイムで生成しながら、現在地点を表示することができる。勿論、本実施形態においても、第一実施形態で示した記録媒体１２０を併用することは可能である。
【０１３７】
従って、本発明に係るナビゲーション装置としては、図３１に示すように、記録媒体１２０を備える方式（同図に示すナビゲーション装置１００）と、記録媒体１２０を省略する方式（同図に示すナビゲーション装置２００）とを実施でき、記録媒体１２０を備える方式においても、特徴点三次元地図生成装置１１０を地点探索ナビゲーション装置１３０と分離して設ける場合と、特徴点三次元地図生成装置１１０と地点探索ナビゲーション装置１３０を一体的に設ける場合とが実施できる。
さらに、図３１に示すように、第一実施形態で示した各種のオプション装置３００を備えることができ、本発明のナビゲーション装置を搭載する移動体の種類や、移動経路、移動範囲、使用目的等に応じて、オプション装置３００を選択的に組み合わせて採用することができる。
【０１３８】
次に、以上のようなリアルタイムナビゲーション機能を備えた本実施形態のリアルタイムナビゲーション装置２００の詳細について、図３４〜図３６を参照しつつ説明する。
図３４は、リアルタイムナビゲーション装置の一実施形態の概略構成を示すブロック図であり、移動体として道路を走行する車両にリアルタイムナビゲーション装置が搭載される場合を説明する。
なお、以下に示すリアルタイムナビゲーション装置の各部における処理動作の具体的な内容は、対応する第一及び第二実施形態における内容と同様である。
【０１３９】
［基本形］
同図に示すリアルタイムナビゲーション装置２００において、画像取得部２００−０１は、車両に積載されたカメラにより周囲画像を取得する。
画像一時記録部２００−０２は、画像取得部２００−０１で取得された周囲画像を一次記録する。
特徴点抽出部２００−０３は、画像一時記録部２００−０２に記録された周囲画像から特徴点を抽出する。
特徴点追跡部２００−０４は、隣接する画像の中に特徴点を追跡する。
【０１４０】
特徴点追跡座標テーブル作成部２００−０５は、特徴点追跡部２００−０４で追跡した複数の画像内における特徴点の各座標を記録しておく。
ベクトル演算部２００−０６は、画像内の特徴点の各座標のいくつかを選択して、カメラベクトル及び特徴点分布を演算で求める。
絶対座標変換部２００−０７は、ベクトル演算部２００−０６における演算結果に、絶対座標を与える。
特徴点分布図内カメラベクトル表示部２００−０８は、絶対座標が付与された演算結果を特徴点の三次元分布とともに表示する。
【０１４１】
［基準対象物による絶対座標変換］
地図部２００−０９には、移動体を構成する車両の予定走行路が記載してある。
基準対象物データベース部２００−１０には、車両の走行路から見える位置にあり、座標と形状が既知である基準対象物が記載してある。基準対象物としては、移動体が車両であるので、例えば、走行路の交差点毎にある信号機等が好適である。この基準対象物データベース部２００−１０により、概略位置が分かればその基準対象物（信号機等）の仕様が分かるようになる。サイズ等は規格化されているので、形式が分かれば既知の基準対象物として使える。
基準対象物認識部２００−１１は、画像取得部２００−０１で取得される周囲画像の中にあり、形状と座標が既知である基準対象物を画像内において認識する。
基準対象物位置演算部２００−１２は、基準対象物認識部２００−１１で認識された基準対象物の画像内位置から、その基準対象物の三次元座標を演算で求める。
絶対座標変換部２００−１３は、基準対象物位置演算部２００−１２で得られた基準対象物の三次元座標と、基準対象物の既知データとを比較して、座標を絶対座標に変換する。
合成表示部２００−１４は、変換されたカメラの絶対座標を、あらかじめ用意した地図等とともに合成して表示する。
【０１４２】
［姿勢制御］
カメラ姿勢信号取得部２００−１５は、ベクトル演算部２００−０６で得られたカメラベクトルから、カメラの３軸姿勢信号を検出する。
車両姿勢制御部２００−１６は、カメラ姿勢信号取得部２００−１５で検出されたカメラ３軸姿勢信号により、車両の姿勢制御を行う。
カメラベクトルから、カメラの回転成分を抽出できるので、車両姿勢を計測することができる。そして、車両姿勢が目的の位置を保つように、車両姿勢信号からフィードバック信号を生成し、車両姿勢制御を行うことができる。
また、水平及び鉛直方向は、車両静止時又は等加速度運動時に、水準器等でキャリブレーションが可能である。
【０１４３】
［ＧＰＳによる概略位置特定］
ＧＰＳデータ取得部２００−１７は、ＧＰＳによる位置データを取得する。
概略位置座標取得部２００−１８は、ＧＰＳによる位置データによって、車両の概略位置及び方向を特定し、画像取得部２００−０１で取得される周囲画像中の基準対象物を特定する。
第一実施形態で示したように、本発明のナビゲーションシステムは、既存のＧＰＳの位置精度より優れているため、ＧＰＳによる位置データを概略位置取得のために用いることで、位置の絞り込みが可能となり、演算に有利となる。また、ＧＰＳによる位置データによって緯度経度を取得して、カメラ位置を緯度経度で表示することが可能である。さらに、ＧＰＳデータを取り込むことにより、例えば、特徴点が見つからないような場合には、ＧＰＳによるナビゲーションによって走行することが可能となる。
【０１４４】
［並列カメラによる絶対測定補正］
上述した画像取得部２００−０１は、視野が重複するように並列に配置され、位置関係が固定されている複数のカメラを積載したカメラによる並列画像を取得する機能を付加することができる。
そして、特徴点追跡部２００−０４では、複数のカメラによる画像から特徴点の対応点を並列画像内に検索する機能を付加することができる。
これにより、ベクトル演算部２００−０６では、並列画像内の各対応点の座標から、特徴点及びカメラベクトルの絶対長を演算で求める機能を付加することができる。この場合、並列カメラにより、すべてのカメラ位置で絶対長を取得できるので、長距離計測において誤差の蓄積が少ない計測が行える。
【０１４５】
［移動体ベクトル演算］
移動体特徴点追跡部２００−１９は、特徴点静止座標系の特徴点を取り除いたものを移動体の特徴点として扱う。
移動追跡座標テーブル作成部２００−２０は、追跡した特徴点のテーブルを生成する。
移動体ベクトル演算部２００−２１は、移動体別の移動体ベクトルを演算し、静止座標系に変換し、先に求められている静止座標系の特徴点と合成することで、静止座標系の特徴点と、移動体のベクトルを重ねて表示する。
この移動体ベクトル抽出処理の詳細を図３５に示す。
【０１４６】
図３５（ａ）において、静止座標系によるカメラベクトル決定部Ｓ３４０１においては、既にカメラベクトル、すなわち、カメラ位置と方向が三次元的に求められている。
静止座標系以外の移動体特徴点抽出部Ｓ３４０２において、すべての特徴点の中から、静止座標系以外の特徴点を選択，抽出し、それらが移動体における特徴点を含むものと判断して、特徴点固定・カメラ移動とした特徴点追跡部Ｓ３４０３において追跡し、それをテーブル化して一時保存し、以下のプロセスで移動体の特徴点のベクトルを演算で求める。
【０１４７】
まず、特徴点は移動体であるから移動しているが、カメラから見れば、はじめは静止座標系か移動座標系かの判断はできないので、すべて静止座標系の特徴点として扱うことになる。
特徴点固定・カメラ移動とした特徴点追跡部Ｓ３４０３において、特徴点の追跡を行い、移動体特徴点追跡テーブル作成部Ｓ３４０４により、特徴点追跡のテーブルを生成する。このテーブルには、移動体毎に異なるカメラ位置のグループが生成される。カメラは一つでも、移動体は特徴点の一群として観察され、その一群が一つのカメラ位置に対応するように、移動体に対応する特徴点毎にカメラ位置が異なる場所に複数観察されることになる。
【０１４８】
特徴点座標系からみた複数のカメラ位置分類部Ｓ３４０５において、いくつかのカメラ位置が求まり、それカメラ位置毎に移動体が分類される。カメラ位置毎に一群とする特徴点の分類部Ｓ３４０６において、特徴点を移動体毎に分類する。
カメラ位置と移動体は相対運動であるから、いつでも座標変換が可能である。そこで、静止座標系からみた各特徴点群の座標系決定部Ｓ３４０７において、カメラを元の静止座標系表示に戻すことで、各移動体による特徴点群及び座標決定部Ｓ３４０８において、移動体毎の特徴点の座標も静止座標系に変換することができる。これにより、移動体抽出部Ｓ３４０９において、移動体を静止座標系の中に三次元的に抽出することができるようになる。
はじめから静止座標系を元として演算することもでき、その場合には、図３５（ｂ）に示すようになる。
【０１４９】
以上のようなリアルタイムナビゲーション装置によれば、リアルタイム性を追求するために、演算を簡素化しており、大きなハードディスク等の記録媒体を用いない。特徴点を抽出して、カメラベクトルと特徴点を抽出し、特徴点の中から適切なもののみを演算に使用し、他は表示のみとすることで、十分に多くの特徴点の分布図は大まかな三次元形状の地図として生成する。
そして、その中にカメラベクトルを表示することで、走行位置を道路及び周辺の形状の中に、表示することができる。また、特徴点の中から演算用の特徴点を選択することで、演算スピードを上げることができる。
【０１５０】
図３６に、リアルタイムナビゲーション装置の応用例として、自動離着陸装置を示す。同図は、本実施形態に係るリアルタイムナビゲーション装置を、航空機の自動離着陸装置（又は案内装置）として応用した例を示している。
同図に示す例では、航空機の地上側の任意の位置に広角のカメラを取り付けておく。カメラは地上側を撮影し、滑走路を一部その視界にとらえている。
カメラによって撮影した映像の中に十分多くの特徴点を自動検出し、追跡し、航空機の三次元的位置と姿勢を演算によって求める。
また、位置の再確認と位置精度の向上を目的として、地上に既知の対象物をもとらえ、データベースに保存してある既知の部品と比較し、それを映像中に認識し、名称と形状と座標を確認する。
【０１５１】
このようにして、絶対座標を取得し、航空機位置と姿勢は、地上の滑走路との位置関係として、高精度で三次元的に完全に関係付けられることになる。
航空機の目的の理想進路を設定し、本ナビゲーション装置で取得された航空機の実際の進路とのズレを検出し、制御することで、理想の進路近くの進入路を自動的に得ることができるようになる。航空機の離陸においても全く同様に制御することができる。
以上と同様の本ナビゲーション装置の応用例としては、例えば、（１）自動離着陸装置、（２）宇宙船自動ドッキング装置、（３）列車車両の自動停止位置確保装置、（４）車両の自動駐車装置、（５）船舶自動接岸装置などに適用することができる。
【０１５２】
以上、本発明のナビゲーション装置について、好ましい実施形態を示して説明したが、本発明に係るナビゲーション装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、本発明のナビゲーション装置は、三次元地図を持つことから、適用する移動体は、地上を走行する車両に限らず、三次元空間を航行するものであっても良い。飛行機でも利用可能であるから、着陸時の精度の高いナビゲーションが可能である。また、宇宙船から見える星や星座を特徴点として、宇宙規模でのナビゲーションも可能である。
【産業上の利用可能性】
【０１５３】
以上のように本発明は、例えば、自動車に搭載されるカーナビゲーション装置、飛行機に搭載されるナビゲーション装置、自動運転用のナビゲーション装置、ロボットのナビゲーション装置などに好適なナビゲーション装置として利用することができる。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【技術分野】
【０００１】
本発明は、車両や船舶，航空機等の移動体の進行方向や現在状況等をガイドするためのナビゲーション装置に関する。特に、本発明は、走行，航行する移動体の現在位置を三次元の空間内に探索して、移動体の進行方向や車両姿勢等とともに三次元地図上に表示することにより、移動する移動体の現在状況を高精度に出力，表示することができるナビゲーション装置に関する。
【背景技術】
【０００２】
一般に、車両等の移動をナビゲートするナビゲーション装置としては、ＧＰＳ測地衛星を利用したカーナビゲーションシステムが知られている（例えば、特許文献１−３参照。）。
ＧＰＳナビゲーションシステムは、複数の測地衛星から発せられる時刻と位置データを、車両に設置した受信装置で読み取り、各衛星からの電波到達時間の差から受信地点の三次元座標を演算により求め、車両等の現在位置を表示するものである。このようなＧＰＳナビゲーションシステムによれば、全地球的な範囲で受信地点の三次元位置を計測することができる。
【０００３】
ここで、ＧＰＳナビゲーションシステムで得られる位置精度としては、従来は、電離層における電波の反射や屈折等の影響があり、誤差が５０〜３００メートルというところであった。
近年は、緯度・経度・高度の既知の点を利用して電波到達時間の誤差を計測し、それを修正信号として送信して受信地点の誤差を修正する方法が付加されるようになり、誤差は十数メートル程度まで縮小されるようになった。
【０００４】
【特許文献１】特開平１１−３０４５１３号
【特許文献２】特開２００１−２５５１５７号
【特許文献３】特開２００２−３５７４３０号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このように位置精度の誤差が数十メートルの範囲にある従来のナビゲーションシステムでは、誤差が大きすぎて自動運転等には適用できなかった。例えば、道路上で車両の自動運転を実現するためには、道路上の車両位置精度を数ｃｍ程度の誤差にまで高める必要があり、この精度は測量の精度に近く、従来のナビゲーションシステムを利用する限り、いかなる方法であっても、数ｃｍの精度で、しかも、リアルタイムに連続的な位置計測をして、それを出力するようなことは不可能であった。
また、自動運転に限らず、例えば、自動車の車庫入れや、航空機の離着陸時、ロボットのナビゲーションなどに用いる場合にも、数ｃｍ程度の位置精度をリアルタイムに取得することが必要であり、このようなナビゲーションシステムは現在まで実現されていない。
【０００６】
そこで、本願発明者は、鋭意研究の結果、移動体に搭載したカメラで撮影される動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡し、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることができ、そのカメラ位置情報により、移動体の三次元位置座標を高精度に表示し得ることに想到した。
【０００７】
すなわち、本発明は、従来の技術が有する問題を解決するために提案されたものであり、画像処理技術を用いて、移動体の移動経路について予め特徴点の三次元座標を精度良く計測しておき、その三次元座標と、現実の移動体の移動時に撮影されるカメラ映像を対比することにより、移動体のカメラ位置を示す三次元座標をＧＰＳシステムより高精度に求め得ることができ、誤差数ｃｍの範囲で移動体の現在位置を示すことができるナビゲーション装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明のナビゲーション装置は、ナビゲーション対象となる移動体から観察される範囲における映像的な特徴点を三次元座標で記録した記録媒体と、ナビゲーション対象となる移動体に備えられたカメラにより得られる現実の映像を、記録媒体を再生して得られる映像的な特徴点の三次元座標と比較し、現実の映像と一致する三次元座標上の地点と方向を求め、移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力する地点検索ナビゲーション装置とを備える構成としてある。
【０００９】
また、本発明のナビゲーション装置は、記録媒体に記録される情報が、移動体から観察される範囲における映像的な特徴点の種類とその三次元座標と、映像的な特徴点を含む小領域の二次元画像の三次元配置とその三次元座標と、映像的な特徴点を含む対象物の形状とその三次元座標と、映像的な特徴点以外の移動体の移動に必要な周辺画像，ＣＧ等の形状と三次元座標と、移動体が移動する道路，車両走行路，又は予定航路等の画像，ＣＧとその三次元形状及びその三次元座標とを含み、これら各情報は、いずれか又はそれらの組み合わせ又はそれら全部、又はそれらの属性情報を含んで、三次元地図とともに記録される構成としてある。
【００１０】
また、本発明のナビゲーション装置は、地点探索ナビゲーション装置が、記録媒体を再生する特徴点３Ｄ地図再生部と、移動体の概略の現在位置を指定し、初期設定時の探索範囲を限定する概略現在位置指定部と、記録媒体に記録された三次元地図から、移動体の現在地周辺の複数の特徴点を読み出し、現在地の探索目標として指定する現在地周辺特徴点指定部と、ナビゲーション対象となる移動体に備えられたカメラから当該移動体周囲の映像を取得するカメラ映像取得部と、カメラ映像取得部で取得された映像を記録する映像一時記録部と、映像一時記録部に記録された映像内に、探索目標と同一物となるべき特徴点の候補を探し出す映像内特徴点探索部と、映像内特徴点探索部で得られた特徴点の候補と、現在地周辺の探索目標とを比較照合して同一物としての対応関係を求め、候補の中から所定数の対応点を決定し、決定された対応点の三次元座標を記録媒体から受け取る映像内特徴点対応部と、決定された対応点とその三次元座標を用いて、移動体の現時点の状況を示すカメラ位置，方向，姿勢等の三次元データを演算により決定するカメラ座標演算部と、カメラ座標演算部で決定された三次元データの組み合わせ又はそのすべてを、単独で又は記録媒体に記録された地図、映像、属性等の情報とともに画面上に表示する現在地点表示部とを備える構成としてある。
【００１１】
また、本発明のナビゲーション装置は、記録媒体生成用の移動体に備えられたカメラにより得られる現実の映像に基づき、当該移動体から観察される範囲における映像的な特徴点を三次元座標で記録した、記録媒体に記録すべき情報を生成する特徴点三次元地図生成装置を備える構成としてある。
【００１２】
また、本発明のナビゲーション装置は、特徴点三次元地図生成装置が、記録媒体生成用の移動体に備えられたカメラから当該移動体の周囲画像を取得するカメラ映像取得部と、カメラ映像取得部で取得された画像を記録する映像記録部と、映像記憶部に記録された画像データから、所定数の特徴点を自動抽出する特徴点抽出部と、特徴点抽出部で抽出された特徴点について、各フレーム画像内で自動追跡してフレーム画像間での対応関係を求める特徴点対応処理部と、特徴点対応処理部で対応関係が求められた特徴点の三次元位置座標を求めるとともに、当該三次元位置座標から各フレーム画像に対応したカメラベクトルを求める特徴点・カメラベクトル演算部と、特徴点・カメラベクトル演算部において求められる各特徴点の三次元位置座標とカメラベクトルの分布が最小になるように統計処理し、誤差の最小化処理を施した特徴点の三次元座標とカメラベクトルを自動的に決定する誤差最小化部と、誤差最小化部で誤差の最小化処理が施されたカメラベクトルと特徴点又はその特徴点を含む小領域の画像の三次元形状とその三次元座標及びその分布を、ナビゲーション対象となる移動体の通路とともに三次元地図として配列し、特徴点を含む対象物等とともに記録媒体に記録する３Ｄ地図生成記録部とを備える構成としてある。
【００１３】
また、本発明のナビゲーション装置は、ナビゲーション対象となる移動体に備えられたカメラにより得られる現実の映像に基づき、当該移動体から観察される範囲における映像的な特徴点を三次元座標で生成するとともに、当該三次元座標からカメラベクトルを生成し、生成された三次元座標に基づいて三次元地図を生成しつつ、特徴点の三次元分布及び当該移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力する特徴点三次元地図生成表示装置を備える構成としてある。
【００１４】
そして、本発明の特徴点三次元地図生成表示装置は、移動体に備えられたカメラから当該移動体の周囲画像を取得するカメラ映像取得部と、カメラ映像取得部で取得された画像を記録する映像記録部と、映像記憶部に記録された画像データから、所定数の特徴点を自動抽出する特徴点抽出部と、特徴点抽出部で抽出された特徴点について、各フレーム画像内で自動追跡してフレー厶画像間での対応関係を求める特徴点対応処理部と、特徴点対応処理部で対応関係が求められた特徴点の三次元位置座標を求めるとともに、当該三次元位置座標から各フレーム画像に対応したカメラベクトルを求める特徴点・カメラベクトル演算部と、特徴点・カメラベクトル演算部において求められる各特徴点の三次元位置座標とカメラベクトルの分布が最小になるように統計処理し、誤差の最小化処理を施した特徴点の三次元座標とカメラベクトルを自動的に決定する誤差最小化部と、誤差最小化部で誤差の最小化処理が施されたカメラベクトルと特徴点又はその特徴点を含む小領域の画像の三次元形状とその三次元座標及びその分布を、ナビゲーション対象となる移動体の移動軌跡又は必要に応じて移動予定路とともに三次元地図として配列し、特徴点を含む対象物等とともに表示する３Ｄ地図生成表示部とを備える構成としてある。
【００１５】
また、本発明のナビゲーション装置は、特徴点・カメラベクトル演算部が、カメラベクトル及び特徴点の三次元座標演算に用いる任意の二つのフレーム画像Ｆｎ及びＦｎ＋ｍ（ｍ＝フレーム間隔）を単位画像として、所望の特徴点の三次元座標とカメラベクトルを求める単位演算を繰り返し、二つのフレーム画像Ｆｎ及びＦｎ＋ｍの間のフレーム画像については、簡素化した演算によりカメラベクトル及び特徴点の三次元座標を求め、誤差最小化部は、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルと特徴点の三次元座標の誤差が最小になるようにスケール調整して統合し、最終の三次元座標を決定する構成としてある。
【００１６】
また、本発明の特徴点・カメラベクトル演算部は、フレーム間隔ｍを、カメラから特徴点までの距離に応じて、カメラから特徴点までの距離が大きいほどｍが大きくなるように設定して単位演算を行う構成としてある。
【００１７】
また、本発明の特徴点・カメラベクトル演算部は、求められたカメラベクトル又は特徴点の三次元座標の誤差の分布が大きい特徴点を削除し、必要が有れば他の特徴点について再演算を行い、三次元座標演算の精度を上げる構成としてある。
【００１８】
また、本発明のナビゲーション装置は、記録媒体と地点探索ナビゲーション装置が離間して備えられ、基地局又は他の移動体に備えられた記録媒体に記録された所定の三次元情報が、通信回線を介して一又は二以上の地点探索ナビゲーション装置に送信される構成としてある。
【００１９】
また、本発明のナビゲーション装置は、地点探索ナビゲーション装置が、ＧＰＳによって得られた緯度経度高度データにより、概略現在位置指定部による移動体の概略の現在位置を指定する構成としてある。
【００２０】
また、本発明の地点探索ナビゲーション装置は、カメラ座標演算部で得られた現時点の移動体状況を示すカメラ位置，方向，姿勢等の三次元データを、緯度経度高度に変換してＧＰＳを補正する補正信号として出力し、映像的特徴点が得られない場合にＧＰＳから位置データを得るための補助信号とする構成としてある。
【００２１】
そして、本発明のナビゲーション装置は、ナビゲーション対象となる移動体が、自動車，航空機，船舶，人，ロボット，重機，宇宙船，深海探査船，移動部分を持つ機械等である構成としてある。
【発明の効果】
【００２２】
以上のような本発明のナビゲーション装置によれば、車両等の移動体に搭載されたカメラで撮影される動画映像の複数のフレー厶画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することにより、多数の特徴点について重複演算して、カメラベクトル（カメラ位置と回転角）と特徴点の三次元位置座標を高精度に求めることができる。
そして、得られた特徴点の三次元座標を予め記録媒体に格納し、その三次元座標を現実に移動する移動体から撮影されたカメラ映像と対比することで、あるいは、カメラから得られた映像から、リアルタイムにカメラ位置の三次元座標を直接生成し、現在のカメラ位置を示す高精度な三次元情報を得ることができ、これによって、移動体のナビゲーションシステムとして用いることができる。
【００２３】
具体的には、本発明のナビゲーション装置では、車両等の移動体の現在地点座標をＧＰＳより高い精度でリアルタイムに取得するために、画像処理技術を用いて、画像内の複数の特徴有る点に着目し、前もって特徴点の三次元座標を精度良く計測しておく。そして、その特徴点を三次元座標に記述した地図（３Ｄ地図）を記録媒体に格納し、移動体側でその記録媒体を再生することで、特徴点の三次元座標を読み出すことができる。さらに、移動体の現在地点で得られたカメラ画像から映像内の特徴点を抽出し、その特徴点の方向と、記録媒体に予め記録された三次元座標が既知である特徴点の方向とを比較して、複数の特徴点の方向が一致する地点の座標を演算により求めることで、カメラ位置を示す三次元座標、すなわち、現在の移動体の位置を示す三次元座標を得ることができる。
また、記録媒体を備えず、移動体のカメラで取得した映像から、その場で特徴点を自動抽出し、自動追跡し、三次元地図と比較することなく、直接三次元座標を取得し、直接カメラ位置を求めることもできる。
【００２４】
これにより、走行する車両等の移動体の現在位置が、カメラ映像から直接的に、あるいは、予め生成，記録された三次元地図によって正確に示されることになり、従来のＧＰＳシステムでは不可能であった、誤差範囲が数ｃｍ程度の高精度なナビゲーションシステムを実現することができる。
なお、記録媒体に記録しておくべき（又はリアルタイムで生成する）特徴点の三次元座標を示す３Ｄ地図を生成するには、予め、走行が予想される道路及びその周辺を撮影し、記録し、それらの映像の中に複数の特徴点を自動あるいは手動で抽出し、それら特徴点を画像内に復数点求め、それらが動画像の各フレーム内で移動する軌跡を追跡して、エピポーラ幾何学により線形連立方程式を解くことで、各特徴点の三次元地図を生成することができる。
【図面の簡単な説明】
【００２５】
［図１］本発明の第一実施形態に係るナビゲーション装置の概略構成を示すブロック図である。
［図２］本発明の第一実施形態に係る特徴点三次元地図生成装置の概略構成を示すブロック図である。
［図３］本発明の第一実施形態に係る地点探索ナビゲーション装置の概略構成を示すブロック図である。
［図４］本発明の第一実施形態に係るナビゲーション装置における記録媒体に記録された三次元座標とカメラ映像の対応関係を模式的に示す説明図である。
［図５］本発明の第一実施形態に係る特徴点三次元地図生成装置における具体的なカメラベクトルの検出方法を示す説明図である。
［図６］本発明の第一実施形態に係る特徴点三次元地図生成装置における具体的なカメラベクトルの検出方法を示す説明図である。
［図７］本発明の第一実施形態に係る特徴点三次元地図生成装置における具体的なカメラベクトルの検出方法を示す説明図である。
［図８］本発明の第一実施形態に係る特徴点三次元地図生成装置によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。
［図９］本発明の第一実施形態に係る特徴点三次元地図生成装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
［図１０］本発明の第一実施形態に係る特徴点三次元地図生成装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
［図１１］本発明の第一実施形態に係る特徴点三次元地図生成装置により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
［図１２］本発明の第一実施形態に係る特徴点三次元地図生成装置において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。
［図１３］本発明の第一実施形態に係るナビゲーション装置に備えられる揺れ成分検出部における揺れ成分検出の具体例を示す説明図である。
［図１４］本発明の第一実施形態に係る揺れ成分検出部で検出される揺れ成分に基づいて補正される安定化画像の一例を示す説明図である。
［図１５］本発明の第一実施形態に係る揺れ成分検出部で検出される揺れ成分に基づいて補正されるカメラベクトルの軌跡を示すグラフである。
［図１６］本発明の第一実施形態に係る特徴点三次元地図生成装置で求められたカメラベクトルの軌跡を生成された三次元地図中に表示した場合の図である。
［図１７］本発明の第一実施形態に係るナビゲーション装置で生成，表示される三次元形状（三次元地図）の表示例を示す説明図である。
［図１８］本発明の第一実施形態に係る特徴点三次元地図生成装置における三次元地図の生成方法を示す説明図である。
［図１９］本発明の第一実施形態に係る特徴点三次元地図生成装置における三次元地図の更新方法を示す説明図である。
［図２０］本発明の第一実施形態に係る特徴点三次元地図生成装置で生成される三次元地図の一例を示す図であり、（ａ）は三次元地図で表される道路の断面図であり、（ｂ）は（ａ）に示す道路の三次元地図の一例で道路上空から撮影した投影図であり、（ｃ）は（ｂ）に示す三次元地図において三次元座標を取得するために使用されるオペレータ部品を示す図である。
［図２１］図２０に示す道路の立体図であり、道路標識のオペレータ部品（ＣＧ部品）が合成された図を示している。
［図２２］図２１に示すＣＶ映像中に手動により対象物の属性を取得し登録する場合を説明する図であり、（ａ）はＣＶ映像、（ｂ）ＣＶ映像中に任意の点と直線を指定した状態、（ｂ）は指定された点と直線を登録することにより生成・表示された三次元地図を示している。
［図２３］本発明の第一実施形態に係るナビゲーション装置全体の動作の概要の一例を示す説明図である。
［図２４］本発明の第一実施形態に係るナビゲーション装置全体の動作の概要の他の一例を示す説明図である。
［図２５］本発明の第一実施形態に係るナビゲーション装置全体の動作の概要の他の一例を示す説明図である。
［図２６］本発明の第一実施形態に係るナビゲーション装置全体の動作の概要の他の一例を示す説明図である。
［図２７］本発明の第二実施形態に係るナビゲーション装置に付加されるオプション装置の概略構成を示すブロック図である。
［図２８］本発明の第三実施形態に係るナビゲーション装置の概略構成を示すブロック図である。
［図２９］本発明の第三実施形態に係るナビゲーション装置の他の実施形態の概略構成を示すブロック図である。
［図３０］本発明の第四実施形態に係るナビゲーション装置の概略構成を示すブロック図である。
［図３１］本発明の第一〜第四実施形態に係るナビゲーション装置を組み合わせた場合の概略構成を示すブロック図である。
［図３２］本発明の第四実施形態におけるリアルタイムナビゲーション方法により生成，表示される特徴点の三次元座標と移動体の現在位置を示す説明図である。
［図３３］本発明の第四実施形態におけるリアルタイムナビゲーション方法により生成，表示される特徴点の三次元座標と移動体の現在位置を示す説明図である。
［図３４］本発明の第四実施形態に係るナビゲーション装置の具体的な構成を示すブロック図である。
［図３５］本発明の第四実施形態に係るナビゲーション装置における処理動作の内容を示すブロック図である。
［図３６］本発明の第四実施形態に係るナビゲーション装置を利用した具体例を模式的に示す説明図である。
【発明を実施するための最良の形態】
【００２６】
以下、本発明に係るナビゲーション装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明のナビゲーション装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラ厶は、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、特徴点の自動抽出，抽出した特徴点の自動追跡，特徴点の三次元座標の算出，カメラベクトルの演算等を行わせる。このように、本発明のナビゲーション装置における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現されるようになっている。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラ厶がコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
【００２７】
［第一実施形態］
まず、図１〜図２６を参照して、本発明に係るナビゲーション装置の第一実施形態について説明する。
［基本構成］
図１は、本発明の第一実施形態に係るナビゲーション装置の概略構成を示すブロック図である。
同図に示す本実施形態に係るナビゲーション装置１００は、特徴点三次元地図生成装置１１０と、記録媒体１２０と、地点探索ナビゲーション装置１３０とを備えている。
【００２８】
車両や航空機，船舶等の移動体の現在地点座標をＧＰＳより高い精度でリアルタイムに取得できるようにするために、本実施形態では、画像処理技術を用いて、画像内の複数の特徴有る点に着目し、特徴点三次元地図生成装置１１０を使用して前もって特徴点の三次元座標を精度良く計測し、その特徴点を三次元座標に記述した地図（３Ｄ地図）を生成する。生成した３Ｄ地図は、例えばＤＶＤやハードディスク，ＣＤなどの記録媒体１２０に記録する。
そして、本ナビゲーション装置を使用するナビゲーション対象となる車両等の移動体側では、地点探索ナビゲーション装置１３０により、実際に移動する移動体に備えられたカメラで得られた現在地点のカメラ画像から映像内の特徴点を抽出し、その特徴点の方向と、記録媒体に予め記録された三次元座標が既知である特徴点の方向とを比較して、複数の特徴点の方向が一致する地点の座標を演算により求める。
これによって、移動体に備えられたカメラ位置を示す三次元座標、すなわち、現在の移動体の位置を示す三次元座標を得ることができる。
なお、本ナビゲーション装置によってナビゲートされる移動体としては、例えば、自動車，船舶，航空機，ロボット，移動する機械，移動する人等があり、また、その用途等に応じて、重機（重工業用機械），深海探査船、移動部分を持つ機械、さらには宇宙船等も含まれる。
【００２９】
具体的には、ナビゲーション対象となる移動体では、地点探索ナビゲーション装置１３０によって、記録媒体１２０から読み出された複数の映像的な特徴点の三次元座標を持つ画像を、走行車両や航空機等に取り付けたカメラから得られる映像内に探索し、対応関係を求める。カメラから得られた二次元映像内に、記録媒体１２０から得られる三次元地図として記述された複数の特徴点との対応点を画像認識で求める。
次に、各対応点の方向が両者で一致する地点を、記録媒体中の三次元地図の中に探索し、演算で求める。その位置がカメラの現在地点、すなわち、移動体の現在地点となる。そして、記録媒体１２０に記録された三次元地図中に、カメラを搭載した車両の三次元的現在位置、速度、加速度、方向、回転速度、回転加速度、をリアルタイムで表示できることになる。
【００３０】
このようにして、本実施形態のナビゲーション装置では、予め生成，記録された三次元座標によって移動体の現在位置が正確に示されることになり、従来のＧＰＳシステムでは不可能であった、誤差範囲が数ｃｍ程度の高精度なナビゲーションシステムを実現することができる。
また、本実施形態では、特徴点の三次元座標を示す３Ｄ地図を記録媒体に記録することで、量産し、配布できるようになる。これにより、本ナビゲーション装置の利用者、その記録媒体を取得し、それを再生することで、特徴点の三次元座標を読み出すことが可能となる。
記録媒体に記録しておくべき特徴点の三次元座標を示す３Ｄ地図を生成するには、予め、３Ｄ地図生成用車両等に搭載したカメラで走行が予想される道路及びその周辺を撮影し、記録し、特徴点三次元地図生成装置１１０によって、それらの映像の中に複数の特徴点を自動あるいは手動で抽出し、それら特徴点を画像内に複数点求め、それらが動画像の各フレーム内で移動する軌跡を追跡して、エピポーラ幾何学により線形連立方程式を解くことで、カメラ位置と各特徴点の三次元座標を示す三次元地図（３Ｄ地図）を生成することができる。
【００３１】
ここで、３Ｄ地図を精度良く生成するには、画像内の映像的な特徴点を検出し、その移動を追跡する技術を用いることが好ましい。特徴点の検出を自動化し、追跡も自動化することで、手作業による作業を大幅に省略することができる。
画像内の特徴点から三次元座標とカメラ位置（カメラベクトル）を求めるには、例えば、同時に６〜７点以上の特徴点があるように、特徴点を画像内で追跡する。そして、それらの特徴点に対してエピポーラ幾何学を用い、特徴点の三次元座標とカメラ位置を演算により求めることができるが、６〜７点程度の特徴点では、得られる特徴点やカメラの位置精度は不十分なものとなる。
【００３２】
そこで、本実施形態では、後述するように、抽出，追跡する特徴点の数を十分に多くし、また、十分なフレーム数を用いることで多重視差を取得し、有り余る特徴点とフレーム数を得るようにしてある。有り余る特徴点と有り余るフレーム数による多重視差を用い、統計処理を施して、重複する演算を繰り返し、カメラ位置の誤差分布を求め、そこから統計処理により、精度の高いカメラ位置を求めるようにする。このようにすることで、各フレームのカメラ位置は高精度で求められ、カメラ位置が高精度で求められれば、その後は、視差から三次元座標を求める技術で、画像内の全画素についての三次元座標が得られるようになる。
３Ｄ地図生成の詳細については更に後述する。
なお、記録媒体に記録すべき３Ｄ地図生成用の移動体としては、例えば、自動車，船舶，航空機，ロボット，移動する機械，移動する人等が含まれる。
【００３３】
このように、本実施形態のナビゲーション装置１００は、３Ｄ地図自体は予め特徴点三次元地図生成装置１１０で生成され、生成された３Ｄ地図が記録媒体１２０に記録され、それを地点探索ナビゲーション装置１３０が備えられた車両等の移動体側で再生することにより、現実の映像と３Ｄ地図を比較して地点を探索できるようになっている。従って、利用者側では、記録媒体１２０のみを入手（購入）し、地点探索ナビゲーション装置１３６を搭載した車両で再生，使用することができ、容易かつ安価に本ナビゲーション装置１００を利用することができる。
その意味で、特徴点三次元地図生成装置１１０は、利用者側に備えられる必要はなく、記録媒体１２０及び地点探索ナビゲーション装置１３０とは分離して設けることができる。また、所定の３Ｄ地図を生成して記録媒体１２０に記録できれば、特徴点三次元地図生成装置１１０以外の構成によって３Ｄ地図を生成，記録することも可能である。
【００３４】
［具体的構成］
以下、より具体的に、本実施形態のナビゲーション装置１００を構成する特徴点三次元地図生成装置１１０と記録媒体１２０及び地点探索ナビゲーション装置１３０について説明する。
［特徴点三次元地図生成装置］
図２は、本実施形態に係る特徴点三次元地図生成装置１１０の概略構成を示すブロック図である。
特徴点三次元地図生成装置１１０は、車両等の移動体に備えられたカメラにより得られる現実の映像に基づき、移動体から観察される範囲における映像的な特徴点の三次元座標を含む所定の三次元情報を生成する。
【００３５】
具体的には、図２に示すように、カメラ映像取得部１１１，映像記録部１１２，特徴点抽出部１１３，特徴点対応処理部１１４，特徴点・カメラベクトル演算部１１５，誤差最小化部１１６，揺れ成分検出部１１７，絶対座標取得部１１８及び３Ｄ地図生成記録部１１９を備えている。
カメラ映像取得部１１１は、移動する車両の車載カメラ等の移動体に備えられるカメラから移動体の周囲画像を取得する。
映像記録部１１２は、カメラ映像取得部１１１において取得した画像を記録する。
特徴点抽出部１１３は、において、記録した画像の中に、特徴点となるべき小領域画像を手動又は自動により指定し抽出する。
【００３６】
特徴点対応処理部１１４は、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
特徴点・カメラベクトル演算部１１５は、対応関係が求められた特徴点の三次元位置座標を求め、その三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部１１６は、複数の重複演算により、各カメラベクトルと各特徴点の位置の分布が最小になるように統計処理をし、さらに誤差の大きい特徴点を検出して、それを削除することで、全体の誤差を最小化処理する。
【００３７】
揺れ成分検出部１１７は、特徴点・カメラベクトル演算部１１５において得られたカメラベクトル（カメラの三次元位置座標及び３軸回転座標）から、あらかじめ予定された車両位置（カメラ位置と一対一に対応）と車両回転姿勢（カメラ姿勢と一対一に対応）である予定カメラベクトルとのズレ成分を抽出する。そして、予定カメラベクトルと現時点でのカメラベクトルとの差から、若しくは評価時点でのカメラベクトルとの差から、位置ズレ成分信号及び回転ズレ成分信号を生成し、これらズレ成分信号のすべて、若しくは一部及びそれらの選択と組み合わせによる値を、目的に沿った適切な評価すべき座標系に変換して、カメラ（カメラが固定される車両等の固定物）の揺れを評価し、出力し、さらに、必要が有れば表示することができる。この揺れ成分検出の詳細については後述する。
【００３８】
そして、求められたカメラベクトルとその揺れ成分に基づいて、ビデオ映像等の動画撮影において取得された画像のカメラの揺れに起因する不規則なブレ等を補正し、ブレのある画像からブレのない画像を生成することができる（画像安定化処理）。また、得られるカメラベクトルとその揺れ成分に基づいて、カメラ自身の位置と姿勢を駆動制御して、画像安定化処理と同様に、画像を安定化させることができる（位置姿勢安定化処理）。
さらに、得られたカメラベクトルに基づいて、画像内に指定した対象物を実写座標系で計測してその三次元座標を求め、三次元座標が求められた指定対象物が、常に画枠の中心位置（又は任意の所定位置）に表示されるように、画像表示又はカメラ（カメラが固定される固定物）の位置及び姿勢を制御することができる（目的対象物ロックオン処理）。このとき、ロックオン制御される対象画像は、揺れ成分を含んだままのオリジナル画像でもよく、また、画像安定化処理され安定化された画像であっても良い。
【００３９】
絶対座標取得部１１８は、予め定めた所定の基準点の既知の絶対座標から、求められた三次元相対座標を絶対座標系に変換し、特徴点のすべての点、又は必要な所定の点について絶対座標を与える。
なお、緯度経度等の絶対座標を必要としないときは、長さの基準を示す長さ基準点により、各画像で長さ校正をし、スケール合わせができて、正しいスケールの座標を取得できる。この場合には、特徴点・カメラベクトル演算部１１５は、長さ基準点の両端の三次元座標を求め、得られた三次元座標から長さ基準点の２点間の距離を演算により求める。そして、誤差最小化部１１６において、特徴点・カメラベクトル演算部１１５で演算により得られた長さ基準点の２点間の距離が、長さ基準点の既知の長さと一致するように、重複演算を繰り返し、統計処理する。
勿論、座標基準点と長さ基準点を同時に用いることもでき、その場合には、更に精度を向上させることができる。
【００４０】
ここで、基準点は、後述するように、三次元相対座標を絶対座標に変換する際の基準となる点であり、予め、任意の方法により既知の基準座標（三次元絶対座標）が計測される点（座標基準点）である。また、基準点は、三次元絶対座標が既知の基準点とともに、又は三次元絶対座標が既知の基準点に換えて、長さが既知の基準点（長さ基準点）を含むことができる。
長さ基準点とは、２点以上の点からなり、２点間の距離を既知のものとして扱う基準点であり、例えば、長さ基準点の間隔を１メートルというように設定し、画像内に１メートルの棒等を多数映るように設置することで得られる。そして、各画像に少なくとも一つの長さ基準点が重複するように撮影する。このような長さ基準点を設けることで、長さ基準点の既知の長さを基準として、後述するように、画像毎にスケールのキャリブレーションができ、精度を大幅に向上させることができる。
【００４１】
長さ基準点は、座標基準点を複数設定するのと同様と捉えることもできるが、「長さ」である長さ基準点を多数設定することは、「点」である座標基凖点を多数設定するよりも有効である。すなわち、座標基準点は全計測範囲に２点のみ設定すれば絶対座標に変換でき、また、座標基準点がすべての画像から観察されるとは限らず、さらに、複数の座標基準点を設定するよりも複数の長さ基準点を設ける方が費用や手間の点で有利となる。従って、例えば全計測範囲において、座標基準点は２点のみとし、長さの基準を示す所定長（例えば１メートル）の棒を計測範囲に多数、しかもランダムに設置するだけで、本発明に係る自動測量を実施でき、計測作業の手間も費用も大幅に削減することができる。
なお、基準点（座標基準点又は長さ基準点）についての三次元座標や長さの測量はどのような方法であってもよく、例えば、三角法等の従来公知の測量方法によって絶対座標や長さを取得しておくことができる。
【００４２】
３Ｄ地図生成記録部１１９は、誤差の最小化処理を施したカメラベクトルと特徴点、又はその特徴点を含む小領域の画像の三次元形状と、その三次元座標と、その分布を、車両等の移動体の通路（走行路，航路等）とともに三次元地図として配列し、特徴点を含む対象物等とともに、記録媒体１２０に記録する。
【００４３】
以上のような特徴点三次元地図生成装置１１０では、後述するように、エピポーラ幾何により、２フレーム画像から複数点の対応点を求めることで、記録媒体１２０に記録すべき特徴点の三次元地図を生成する。本実施形態では、対応点の三次元座標が演算可能なエピポーラ幾何学を用いるとともに、さらに、対応点を自動検出すること、７点程度の対応点と二フレーム画像があれば足りる演算を、すべてのフレームにわたって演算して統計処理することにより誤差を最小にすることにより、高精度な３Ｄ地図を生成している。すなわち、特徴点の数やフレームの数等の充分に多数の情報を用いて、各特徴点の誤差を縮小にし、エラーを含む特徴点を削除して精度の高い特徴点三次元地図を生成するようにしてある。
【００４４】
［記録媒体］
図３は、本実施形態に係る記録媒体１２０及び地点探索ナビゲーション装置１３０の概略構成を示すブロック図である。
記録媒体１２０は、ＤＶＤやハードディスク，ＣＤなどのデータを記録可能な媒体からなり、特徴点三次元地図生成装置１１０で生成された三次元地図情報を含む所定の情報が記録，格納されている。
記録媒体１２０に記録される情報としては、（１）移動体から観察可能な映像的な特徴点の特徴の種類とその三次元座標（三次元地図）、（２）映像的な特徴点を含む小領域の二次元画像の三次元配置とその三次元座標、（３）映像的な特徴点を含む対象物の形状（二次元又は三次元形状）とその三次元座標、（４）必ずしも特徴点ではないが、走行、航行に必要な周辺画像やＣＧ等の形状（二次元又は三次元形状）と三次元座標、（５）移動体の移動路、例えば、道路、車両走行路、予定航路などの画像、ＣＧ及びその形状（二次元又は三次元形状）と、その三次元座標、などがある。そして、これらの情報のいずれか、又はそれらの組み合わせ、又はその全部を、必要に応じてそれらの属性を含む形で、三次元地図とともに記録されるようになっている。
【００４５】
このように、記録媒体１２０には、移動体から観察可能な特徴点が記述されるが、その特徴点の周囲の小領域の画像を含めて記録することで、移動体の現地点映像と地図上の特徴点の対応がとり易くなり好ましい。
また、後述するように、地点探索ナビゲーション装置１３０において演算の結果求められるのは三次元座標であり、抽出される特徴点は人間の視覚から見た特徴点である必要はないが、利用者に理解し易い情報を出力するために、車両走行路の地図や周辺の建築物等が記録されることが望ましい。
さらに、現在地点の認識には直接関係しない情報であっても、利用者の走行等を助ける情報として、例えば、交通標識や道路表示等の画像やＣＧとその属性が記録されることで、より理解し易く、操作し易くなり好ましい。
【００４６】
［地点探索ナビゲーション装置］
地点探索ナビゲーション装置１３０は、車両等の移動体側に設置される装置であり、移動体に備えられたカメラにより得られる現実の映像を、記録媒体１２０に記録された所定の三次元情報と比較し、現実の映像と一致する三次元座標上の地点と方向を求める。これによって、移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力する。
具体的には、図３に示すように、特徴点３Ｄ地図再生部１３１，概略現在位置指定部１３２，現在地周辺特徴点指定部１３３，カメラ映像取得部１３４，映像一時記録部１３５，映像内特徴点探索部１３６，映像内特徴点対応部１３７，カメラ座標演算部１３８，現在地点表示部１３９を備えている。
【００４７】
特徴点３Ｄ地図再生部１３１は、記録媒体１２０を再生し、記録されている所定の三次元情報を読み出す。上述したように、記録媒体１２０は、ＤＶＤやＣＤとして提供されるので、利用者は自己の車両等に備えられたナビゲーションシステムに記録媒体１２０を装填し、再生する。特徴点３Ｄ地図再生部１３１では、記録媒体１２０に記録されている特徴点３Ｄ地図を再生する。再生された３Ｄ地図には、特徴点の三次元座標と、その属性が記述されている。
概略現在位置指定部１３２は、移動体の概略の現在位置を何らかの手段で決定して指定し、初期設定時の探索範囲を限定する。この現在位置の指定は、例えば利用者が手入力に指定することもでき、また、ＧＰＳによって得られた緯度経度高度データによって移動体の概略の現在位置を指定することもできる。移動体の概略位置情報を指定，入力することにより、現在地点周辺の特徴点を探すのに大きな手がかりとなる。そして、そのための手段としてＧＰＳを利用することができる。ＧＰＳは本発明のナビゲーション装置１００と比較して精度が悪いが、概略位置の情報としては適当な精度を持つといえ、概略位置情報の指定手段としては有効に利用できる。
【００４８】
現在地周辺特徴点指定部１３３は、記録媒体１２０の３Ｄ地図から現在地周辺の複数の特徴点を読み出し、それを現在地の探索目標として指定し、映像内特徴点探索部１３６に出力する。概略現在位置指定部１３２の指定により概略位置が分かるので、現在地周辺特徴点指示部１３３では、記録媒体１２０から現在地周辺の特徴点データ取り込み、それらの特徴点を三次元座標として配分する。
カメラ映像取得部１３４は、特徴点三次元地図生成装置１１０のカメラ映像取得部１１１と同様、車載カメラにより、移動する車両の車載カメラ等の移動体に備えられるカメラから移動体の周囲画像を取得する。
映像一時記録部１３５は、特徴点三次元地図生成装置１１０の映像記録部１１２と同様、カメラ映像取得部１３４において取得した画像を記録する。
【００４９】
映像内特徴点探索部１３６は、映像一時記録部１３５に記録された映像内に、現在地周辺特徴点指定部１３３で指定された探索目標と同一物となるべき特徴点の候補をいくつか探し出す。
映像内特徴点対応部１３７は、映像内特徴点探索部１３６で探索された特徴点の候補と現在地点周辺の探索目標とを比較照合して一致点を探し出し、同一物としての対応関係を求める。そして、対応関係が求められた候補の中から演算に十分な数の対応点を決定する。
ここで、記録媒体１２０に記録された三次元座標とカメラ映像の一致点を求めるには、例えば、マッチングや相関等の画像処理技術により行える。
図４に、記録媒体１２０に記録された三次元座標とカメラ映像の対応関係を二次元的に示す。同図において、●はカメラ映像と三次元座標の対応が取れた特徴点であり、×は対応が取れなかった特徴点を示している。
【００５０】
カメラ座標演算部１３８は、決定された対応点の三次元座標を記録媒体１２０から受け取り、決定された対応点とその三次元座標を用いて、現時点の車両状況を示すカメラ位置、方向、姿勢等の三次元データを演算して決定する。記録媒体１２０に記録されている多数の特徴点と、取り込んだ映像の特徴点の三次元配列が一致する地点が、求めるカメラ位置の三次元座標である。得られたカメラ位置の三次元座標、速度、加速度、回転姿勢等のデータを表示することで、ナビゲーションシステムが完了する。
すなわち、現在地点表示部１３９は、カメラ座標演算部１３８で求められら現時点の移動体の状況を示す三次元データのいくつかの項目、又はその組み合わせ項目を、単独で、あるいは地図、映像、属性等、記録媒体１２０に記録されている情報とともに、それらのうちのいくつか又は全部を目的の形式で走行地図，予定走行路等の地図上に表示する。
【００５１】
このように、地点探索ナビゲーション装置１３０では、記録媒体１２０に記録されている特徴点と、それに対応するリアルタイムで取り込んだ映像内の特徴点を複数個求めて、それらの観察方向が一致するような三次元地図上の視点を演算で求めることができる。
そして、記録媒体１２０には、特徴点の三次元情報以外に、地図や様々な情報が記録してあるので、それらの情報とともに表示することができる。
なお、本実施形態では、特に図示しないが、地点探索ナビゲーション装置１３０は、さらに、カメラ座標演算部１３８で決定された三次元データにより、本ナビゲーション装置を搭載する車両等の移動体を直接制御する制御装置を備えることができる。すなわち、本ナビゲーション装置で求められる高精度な位置情報に基づいて、車両等の移動体を自動制御することができ、自動運転システムを実現することができる。
【００５２】
また、地点探索ナビゲーション装置１３０は、上述した特徴点三次元地図生成装置１１０の機能を付加することにより、記録媒体１２０のデータを更新するようにすることもできる。すなわち、地点探索ナビゲーション装置１３０において、利用者の車両等に搭載したカメラによる映像を蓄積し、複数のフレームにわたる記録媒体の特徴点やその特徴点を含む小領域画像との対応点を、カメラで取得した画像内で追跡し、特徴点三次元地図生成装置１１０と同様にして、複数のフレームにわたる記録媒体の特徴点、又はその特徴点を含む小領域画像と、カメラで取得した映像内の小領域の画像との対応関係から、既存の特徴点の移動等の座標更新データを演算で求め、その結果を次回からの特徴点として付加することが可能である。
あるいは、カメラによる映像から新たな特徴点を検出して、三次元座標に加えることで、次回からの特徴点として付加し、次回からの特徴点として付加することが可能である。
【００５３】
このようにすると、利用者側に備えられる地点探索ナビゲーション装置１３０に、特徴点三次元地図生成装置１１０に相当する装置を備えることで、地図を作りながら探索をすることが可能となり、現地点探索と同時に、特徴点検出と三次元座標演算を同時に行い、記録し、記録媒体のデータを更新し、次回からのデータとして用いることができる。これにより、データ更新装置やリアルタイムナビゲーション装置を構成することができる。データ更新装置については図２７を参照しつつ、また、リアルタイムナビゲーション装置については図３０以下を参照しつつ、それぞれ後述する。
【００５４】
［カメラベクトル演算・３Ｄ地図生成方法］
次に、上述した本実施形態の特徴点三次元地図生成装置１１０（必要に応じて地点探索ナビゲーション装置１３０）におけるカメラベクトル演算及び三次元情報（３Ｄ地図）の生成方法について説明する。
複数の画像（動画又は連続静止画）の特徴点からカメラベクトルと特徴点の三次元情報を求めるにはいくつかの方法があるが、本実施形態の特徴点三次元地図生成装置１１０では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルと特徴点の三次元座標を求めるようにしてある。特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルと特徴点の三次元座標を求めることができる。
【００５５】
まず、車載カメラ等によって画像を取得し、フレーム間で対応関係にある十分に多くの点を用い、カメラベクトルを精度良く演算で求める。原理的には６点乃至７点の特徴点があれば三次元座標は求まるが、本実施形態では、例えば、１００点程度の十分に多くの点を用いることで、解の分布を求め、その分布から統計処理により各ベクトルを求め、結果としてカメラベクトルを求める。
このようにして求められたカメラの三次元位置とカメラの３軸回転から、それを各フレーム画像にデータとして付加し、複数のフレーム画像から得られる複数の視差、即ち多重視差と、既に取得しているカメラの三次元位置から、対象物の特徴点の三次元座標を演算で求めることができる。
【００５６】
なお、以上の処理は、車載カメラだけでなく、例えば、人が手に持ってカメラを自由に振り回して、対象物を撮影し、撮影後にその映像からカメラベクトルを演算で求め、カメラベクトルから、撮影した対象物の三次元形状を求めることができる。
そして、以上の処理を繰り返すことで、広範囲の三次元形状、即ち三次元地図（３Ｄ地図）が生成されることになる。
【００５７】
［カメラベクトル演算］
カメラベクトルとは、カメラの持つ自由度のベクトルをいう。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態の特徴点三次元地図生成装置１１０におけるカメラベクトルの検出は、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
【００５８】
以下、特徴点三次元地図生成装置１１０における、より具体的なカメラベクトルと特徴点の三次元座標の検出方法について、図５以下を参照しつつ説明する。
特徴点三次元地図生成装置１１０では、まず、特徴点抽出部１１３において、適切にサンプリングしたフレーム画像中に、特徴点となるべき点又は小領域画像を自動抽出し、特徴点対応処理部１１４で、複数のフレーム画像間で特徴点の対応関係を自動的に求める。具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図５〜図７に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図７に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図８に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図８の○印参照）、例えば、１００点程度の特徴点を抽出する。
【００５９】
続いて、特徴点・カメラベクトル演算部１１５で、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、特徴点・カメラベクトル演算部１１５は、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する。
本実施形態では、カメラ映像として原則的に３６０度全周映像を使用し、３６０度全周映像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。
【００６０】
３６０度全周映像は、例えば広角レンズや魚眼レンズ付きカメラや複数台のカメラ、あるいは回転カメラなどで撮影されるパノラマ映像や全方位映像，３６０度全周囲映像であり、通常のカメラで撮影される映像より広い範囲が示されるため、高精度なカメラベクトル演算をより簡易，迅速に算出することができ好ましい。なお、３６０度全周映像といっても、必ずしも４π全空間を含む映像のみでなく、３６０度全周の一部分をカメラベクトル演算用の映像として扱うこともできる。その意味では、通常のカメラで撮影される映像も、３６０度全周映像の一部と捉えることができ、本実施形態におけるような優れた効果は少ないものの、本質的に差異はなく、本発明の３６０度全周映像（４π映像）と同様に扱うことができる。
【００６１】
図７に示す画像１，２は、３６０度全周映像をメルカトール展開した画像であり、緯度φ、経度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１Ｔ［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。
なお、図７は、特徴点三次元地図生成装置１１０における処理を理解し易くするために、１台または複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際の特徴点三次元地図生成装置１１０の処理では、必ずしもメルカトール図法による展開画像である必要はない。
【００６２】
次に、誤差最小化部１１６では、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
【００６３】
図９〜図１１に、特徴点・カメラベクトル演算部１１５において得られる特徴点の三次元座標とカメラベクトルの例を示す。図９〜図１１は、本実施形態におけるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図９では、図７の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトルが示されている。
図１０及び図１１は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
【００６４】
ここで、特徴点三次元地図生成装置１１０における演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図１２に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ベクトル検出部は、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像ＦｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返す。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
【００６５】
そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。
【００６６】
ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、ｍ枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたｍ枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、ｍ枚の連続したカメラベクトルのスケール調整をすることができる。
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
【００６７】
ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、（１）高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、（２）同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
【００６８】
また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。
【００６９】
さらに、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行うことが好ましい。具体的には、三次元情報の追跡とは、まず、特徴点・カメラベクトル演算部１１５，誤差最小化部１１６を経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。そして、自動追跡で得られた三次元情報の追跡結果から、高精度カメラベクトル演算部においてより高精度なカメラベクトルが求められる。
【００７０】
上述した特徴点抽出部１１３及び特徴点対応処理部１１４では、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。このような三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これは特徴点・カメラベクトル演算部１１５により概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
【００７１】
カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。
【００７２】
ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
【００７３】
［揺れ成分検出］
そして、以上のようにして求められたカメラベクトルは、揺れ成分検出部１１７において、あらかじめ予定されたカメラ位置とカメラ姿勢を示す予定カメラベクトルとのズレ成分が抽出される。
揺れ成分検出部１１７においては、例えば、車載カメラを搭載した車両位置（すなわちカメラ位置）Ｘ，Ｙ，Ｚと、車両回転姿勢（すなわちカメラ姿勢）Φｘ，Φｙ，Φｚによる揺れ成分であるδＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚのすべてが評価の対象となる。ここで、δＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚとは、必ずしも微分値や差分値ではなく、予定の位置及び予定の姿勢からのズレを意味する。多くの場合は微分値で代用することで揺れ成分は検出できるが、予定の位置と予定の姿勢が前もって決まっていれば、それとの差分がδＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚとなる。
【００７４】
具体的には、軌道上を走行する電車等においては、予定カメラベクトルは走行時に計測される平均値に近いものであるが、航空機のように三次元空間を航行する場合は、予定カメラベクトルは走行時のものと平均で一致することはない。
揺れ成分出力としては、Ｘ，Ｙ，Ｚ，Φｘ，Φｙ，Φｚと、δＸ，δＹ，δＺ，δΦｘ，δΦｙ，δΦｚの計１２個のパラメータを出力することができる。
但し、いずれの揺れ評価を目的とするかによって、パラメータの数はこの中から選択的に組み合わせることができ、評価対象物に対応することができる。
【００７５】
すなわち、特徴点・カメラベクトル演算部１１５と揺れ成分検出部１１７からの出力を総合すると、Ｘ，Ｙ，Ｚと、Φｘ，Φｙ，Φｚと、δＸ，δＹ，δＺと、δΦｘ，δΦｙ，δΦｚの１２のパラメータがあるが、通常の画像安定化処理にはδΦｘ，δΦｙ，δΦｚの３つのパラメータのみでよい。一方、カメラを同時に複数用いているような場合には、画像の三次元位置の補正も可能となるので、δＸ，δＹ，δＺのパラメータを用意しておく必要がある。また、通常、姿勢制御には、回転制御の場合にはδΦｘ，δΦｙ，δΦｚ、位置の制御を含むのであればこれに加えてδＸ，δＹ，δＺの計六個のパラメータが必要となる。さらに、状況判断を含めれば特徴点三次元地図生成装置１１０からの出力であるＸ，Ｙ，Ｚと、Φｘ，Φｙ，Φｚ
も含めて必要となる場合もあるので、得られる１２個のパラメータの中から選択的に組み合わせて画像処理や姿勢制御に用いることができる。
なお、この１２個の変数以外に、画像安定化や姿勢安定化に用いられる撮影条件による他の係数としては、カメラの基準姿勢として画像の画枠での揺れ幅制限などがある。
【００７６】
図１３に揺れ成分検出部１１７における揺れ成分検出の具体例を示す。同図に示す例は、車両にカメラを取り付けて走行し、その時に撮影した動画像から揺れ成分検出部１１７で揺れを検出する場合となっている。
同図において、太線矢印はカメラを取り付けた車両の進行方向を示しており、カメラの光軸を原点とするカメラの位置と姿勢をカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）とし（同図に示す破線）、カメラが半固定状態で取り付けられた車両は車両座標系（Ｘｔ，Ｙｔ，Ｚｔ）とし（同図に示す実線）、常に車両進行方向に座標軸を変える座標系を回転世界座標系（Ｘｗｒ，Ｙｗｒ，Ｚｗｒ）とし（同図に示す２点鎖線）、さらに、外界の静止系を表す座標系を世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）とする（同図に示す１点鎖線）。そして、この四つの座標系の関係を求めて、評価に必要な座標系に変換して車両の揺れが表現されるようになっている。
【００７７】
特徴点・カメラベクトル演算部１１５で得られるカメラベクトルはカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）そのものである。カメラ座標系は、一般に任意の方向で設定されるから、車両の揺れを検出するには、カメラ座標系を一旦車両座標系（Ｘｔ，Ｙｔ，Ｚｔ）に変換する。この変換は単なる回転変換であり、一般には半固定であり、一旦設定すれば、その後は計測を終了するまで変更はない。
車両進行方向を車両座標系（Ｘｔ，Ｙｔ，Ｚｔ）の３軸の一つに選択することで揺れを評価するのにふさわしい座標系とすることができる。
【００７８】
また、車両の移動の軌跡は静止座標系である世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）で表現するのが適切である。速度を表現するには回転世界座標系（Ｘｗｒ，Ｙｗｒ，Ｚｗｒ）で単純に表現することができるが、べクトルとして表現するには世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）で表現するのがふさわしい。
揺れ評価にあたっては、揺れ評価に適した座標系で評価を行う。
揺れ信号は予定進路からのズレとして検出されるが、図１３に示す例では、車両の平均進路を予定進路として揺れを評価している。そこで、世界座標系上でカメラの移動軌跡を求め、その平均進路を求め、これを予定進路とする。
【００７９】
本実施形態の揺れ成分検出部１１７では、姿勢の基準となるジャイロ等を用いることなく、画像データを取得するカメラのみで揺れ成分の検出が可能となっているが、カメラ１台の場合、得られるカメラベクトルは相対値となり、ジャイロ等の世界座標系との校正装置を持たないことから、誤差の蓄積が生じることになる。このため、常に車両に対する揺れを評価するために、平均鉛直水平方向を与える必要がある。そこで、カメラ設置時点において、カメラ座標系の１軸を車両に対する水平軸に合致させて設置すれば、それが基準となって、後にも水平姿勢の校正が容易にできることになる。これにより、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）は、車両座標系（Ｘｔ，Ｙｔ，Ｚｔ）に変換して揺れを計測して評価すればよい。
評価される揺れとしては、位置ズレ成分Ｘｔ，Ｙｔ，Ｚｔと、回転成分Φｘｔ，Φｙｔ，Φｚｔ、及び位置ズレ差分δＸｔ，δＹｔ，δＺｔ等である（但し、ＺｔとδＺｔは、進行方向速度及びその加速度成分となるので、揺れの意味が他の成分とは異なる）。
【００８０】
以上のような揺れ成分の評価において、評価すべき変数と表示は次のようなものが挙げられる。
・世界座標系における車両位置表示：
（Ｘｗ，Ｙｗ，Ｚｗ）
・車両進行方向に回転した回転世界座標系における速度及び加速度表示：
（δＸｗｒ，δＹｗｒ，δＺｗｒ）（ΔδＸｗｒ，ΔδＹｗｒ，ΔδＺｗｒ）
・車両座標系における揺れ表示：
（△Ｘｔ，△Ｙｔ，（△Ｚｔ））（△Φｘｔ，△Φｙｔ，△Φｚｔ）
・車両座標系とカメラ座標系の回転表示（半固定）：
（Ｘｃ，Ｙｃ，Ｚｃ）＝Ｆ（Ｘｔ，Ｙｔ，Ｚｔ）
・世界座標系における進行方向表示：
（Ｘｗ，Ｙｗ，Ｚｗ）＝Ｇ（Ｘｔ，Ｙｔ，Ｚｔ）
・カメラ座標系における進行方向表示：
（Ｘｃ，Ｙｃ，Ｚｃ）＝Ｈ（Ｘｔ，Ｙｔ，Ｚｔ）
・世界座標系に対する車両座標系の原点移動、回転姿勢表示：
（Ｘｗ，Ｙｗ，Ｚｗ）（δＸｗ，δＹｗ，δＺｗ）
【００８１】
以上のような本実施形態の揺れ成分検出部１１７によれば、例えば、電車に取り付けたカメラの場合には、揺れ成分検出部１１７により、電車の揺れを解析・分析し、車両や線路の異常を発見することが可能となる。通常は水銀加速時計等の高額な装置を使って揺れを計測するのに対して、本実施形態の揺れ成分検出部１１７を使用することにより、簡単に揺れ成分が検出でき、それを表示することができる。
そして、このような揺れ成分検出部１１７を用いることにより、上述したような画像の安定化処理やカメラの位置姿勢安定化処理、更には目的対象物のロックオン処理が実現できるようになる。
【００８２】
図１４は、揺れ成分検出部１１７で検出された揺れ成分に基づく補正信号により安定化画像に変換処理される画像の一例を示しており、例えば、同図（ａ），（ｂ）に示すように揺らぎのある画像が、同図（ｃ），（ｄ）に示すように補正された安定化画像として出力，表示されるようになる。また、図１５は、補正されたカメラベクトルの軌跡を示すグラフであり、同図中、グラフ中央に直線櫛状に並ぶのがカメラ移動の軌跡であり、移動するカメラの位置と高さを示している。
【００８３】
そして、以上のようにして各点の三次元位置相対座標が求められると、絶対座標取得部１１８において、各三次元相対座標に、予め絶対座標が測定された基準点の既知の座標が与えられ、三次元相対座標が絶対座標系に変換され、計測点、基準点、特徴点のすべての点（又は必要な所定の点）について、絶対座標が付与される。これにより、所望の計測点や、特徴点中の任意に指定した指定点についての最終的な絶対座標が得られ、そのデータが３Ｄ地図生成記録部１１９に記録され、３Ｄ地図情報として必要に応じて出力，表示される。
【００８４】
なお、以上の説明では、特徴点，カメラ座標と回転（カメラベクトル）を特徴点・カメラベクトル演出部１１５で同時に求めるように説明したが、一度カメラベクトルが求められれば、新たな特徴点，特徴点中の任意の指定点については、カメラベクトルとともに再演算することなく、すでに得られたカメラベクトルから、二つの画像、すなわち、二つのカメラ位置を底辺とする頂点の一点として簡単に演算することができる。カメラベクトルの精度が変わらないため、新たな特徴点や任意の指定点の精度も変わらない。但し、再度カメラベクトルを求めて再演算すれば、精度は一般に向上することになる。
【００８５】
以上のように求められたカメラベクトルや特徴点の三次元座標は、生成された三次元地図中に表示することができる。
例えば、図１６に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。そして、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。
図１７に、本実施形態で生成される３Ｄ地図の表示例を示す。
【００８６】
なお、以上の方法では、映像を取得するカメラは一台でも良く、複数のカメラであっても良い。カメラを同時に複数台設置し、複数のカメラ間距離による近距離計測を併用することで、三次元絶対距離の基準長を取得可能とし、また、移動体検出を可能にし、移動体座標・距離・速度を計測可能とし、さらに、移動体部分の削除を可能とすることができる。
カメラを二台用いることにより、絶対計測ができるようになり、絶対計測ができることで、カメラ一台による演算結果に基準長を与えることが可能となり、また、これによって、移動体検出が可能となる。従って、不必要な移動体については特徴点から削除することができる。
さらに、複数のカメラを用いることにより、絶対座標が既知である２点以上の特徴点を画像内に求め、特徴点地図に絶対座標を与えることができる。カメラ一台で計測した場合には相対値が得られるが、複数台使用すれば絶対距離が与えられる。そして、既知の絶対座標を二点以上の特徴点として与えれば、絶対座標が得られる。
【００８７】
［３Ｄ地図生成］
次に、以上のように求められたカメラベクトルや特徴点の三次元座標に基づいて生成される３Ｄ地図の生成方法について、図１８及び図１９を参照して説明する。
図１８は、本実施形態の特徴点三次元地図生成装置１１０で生成される三次元地図の生成方法を示す説明図であり、図１９は、同様に、特徴点三次元地図生成装置１１０で行われる三次元地図の更新方法を示す説明図である。
【００８８】
ナビゲーション装置（交通自動案内装置）で使用する３Ｄ地図（三次元地図）として、本実施形態では二種類の３Ｄ地図の生成が可能であり、一つはＣＶ映像地図であり、もう一つはＣＶ映像から生成するＣＧ地図による三次元地図である。
ＣＶ映像とは、カメラベクトル映像、すなわち、３６０度全周映像から得られるカメラ位置及びカメラ姿勢（カメラベクトル）を全フレーム画像に亘って取得し、各フレームにカメラベクトル（ＣＶ値）を対応させた３６０度全周映像のことである。なお、上述したように、３６０度全周映像ではない通常の映像であっても、３６０度全周映像の一部分として位置づけることができる。
【００８９】
図１８を参照しつつ、ＣＶ映像地図からＣＧ地図を生成するプロセスを以下に説明する。
同図に示すように、まず、道路面を走行する車両に搭載したカメラによって走行空間の全景映像を撮影して、３６０度全周映像を取得する（Ｓ１８０１：地上４π撮影映像）。
取得した３６０度全周映像に基づいて、上述したようなカメラベクトル演算を行い（Ｓ１８０２：ＣＶ演算）、カメラベクトルを取得する。
そして、取得したカメラベクトルに対して、実写映像や既成の地図（Ｓ１８０７）等に基づいてキャリブレーションを施し（Ｓ１８０３：キャリブレーション）、さらに、ＣＶ値は相対値であることから既成の地図（Ｓ１８０７）と対比させることで緯度・経度・高度を取得して絶対座標取得（Ｓ１８０８）を行う。
【００９０】
路面等を俯瞰で観察するためには、空撮映像（Ｓ１８０４）を撮影し、その空撮映像についてＣＶ演算（Ｓ１８０５）することによりカメラベクトルを取得し、同様に既成の地図（Ｓ１８０７）等によりキャリブレーションし（Ｓ１８０６）、絶対座標を取得する（Ｓ１８０８）。
得られた各ＣＶ値の誤差を修正して座標統合し（Ｓ１８０９）、これによって、ＣＶ映像地図データベースを構築する（Ｓ１８１０）。
ＣＶ映像地図データベース（Ｓ１８１０）は、そのまま三次元地図として交通案内装置に利用できるが、さらに、ＣＶ映像に基づいて三次元ＣＧ地図を生成することができる。
【００９１】
以下、カーナビゲーション装置等においてより一般的に受け入れられている三次元ＣＧ地図をＣＶ映像地図から生成する方法について説明する。
図１８に示すように、ＣＶ映像地図データベース（Ｓ１８１０）は、次のプロセスで安定化処理（Ｓ１８１１）がなされる。
安定化処理は、Ｓ１８１１に示すように、まずＣＧ化される範囲を映像の一部切りだし処理をし、画像スタビライズにより画像の揺れを排除する。次に、仮想のカメラ移動方向を決定して、走行方向指定及び横揺れ補正により画像の誤差を修正する。さらに、一定方向に一定スピードで走行する時間軸補正を行う。この安定化処理は、画像を所定の固定平面にロックオンして安定化処理を行う。
以上のようにして安定化処理された画像は、ＭＲＳＳビュア上に表示される（Ｓ１８１２）。ここで、ＭＲＳＳビュア（株式会社岩根研究所の製品名）とは、Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｓｉｍｕｌａｔｉｏｎ Ｓｙｓｔｅｍビュアの略で、ビュア上で三次元座標を取得できる表示装置である。
【００９２】
画像は上述した安定化処理（Ｓ１８１１）により安定化されているので、仮想走行面は道路面と正確に平行に移動する。そこでは、対象物の平面の移動速度は走行カメラからの垂直距離に対して逆比例し、近いものほど早く、遠いものほど遅くなる。すなわち、対象平面の移動速度が距離と一対一の関係になるので、背景分離と対象物抽出で目的とする対象物平面のみを選択的に取り出すことができる（Ｓ１８１３：ベクトル選択抽出）。また、ＭＲＳＳビュア上で三次元計測（Ｓ１８１３）することにより、対象物の座標を取得することもできる。
また、移動べクトルに幅を持たせることで、ある範囲の対象物を選択的に取り出すことができる。３６０度映像の特徴により対象物を多視点に取得しているので、多視点テクスチャー抽出切り取り（Ｓ１８１４）により、背景や対象物のテクスチャーを方向別に抽出して、ＣＧに貼り付けることができる。
さらに、対象物の三次元座標指定（マニュアル）及びワイヤフレームＣＧ取得（Ｓ１８１５）を行うことで、対象物の形状をワイヤフレームで抜き出すことができる。
【００９３】
次に、表示されている目的の対象物に対し、手動で代表点をクリックし、対象物の三次元座標をＣＧ作成ツールへ置換（Ｓ１８１６）する。これにより、３ＤＳＭＡＸ等のＣＧ生成ツールに入力し、そのツール上でＣＧを生成することができる（Ｓ１８１７）。また、簡単な図形はＭＲＳＳビュア上で生成できるようにする。すなわち、垂直線・水平線・垂直面・水平面・垂直円柱等のＣＧ生成（Ｓ１８１８）や、図形回転・図形切断・移動・簡易加工（Ｓ１８１９）を行うことができる。
そして、生成したＣＧには、マニュアルで対象物の属性付加（Ｓ１８２０）を行い、座標統合して（Ｓ１８２１）、三次元ＣＧ地図データベース（Ｓ１８２２）が構築される。
【００９４】
なお、以上のようなＣＧを付加した三次元地図については、適宜ＣＧを簡略化し、あるいは消去することが可能である。三次元地図におけるＣＧの果たす役割は、一つにはそれを人間が見るものだからである。従って、三次元地図を、もし人間が見ず、機械が見る（認識する）だけでよいのであれば、使用目的に応じて、または必要とされる精度に応じて、ＣＧの形状そのものを正確に生成する必要はなくなり、ＣＧの属性としては、名称（対象物の名前）と概略位置座標と概略の大きさ程度の登録でよいことになる。また、さらに省略して、概略の大きさも無視でき、点，直線，面だけで表現して登録することが可能な場合もあり得る。
【００９５】
例えば、機械が見る場合には、色や価値は必要なく、道路標識・電柱・ガードレール等はその道路側の位置座標だけでよく、また、形状も必要なく、例えばガードレールは線又は面で近似する。従って、ガードレースなどは大まかな存在範囲だけを取得し、道路標識はその存在位置座標を点で登録すればよく、道路のセンターラインは連続する線で近似し、登録することで目的を達することができる。
このように、ＣＧ三次元地図の生成については、可能な限り簡略化することができ、それによってコストダウンを図ることができる。
【００９６】
次に、以上のようにして生成されたＣＶ映像地図を更新する場合について、図１９を参照しつつ説明する。
図１９に示すように、ＣＶ映像地図（Ｓ１９０１）を更新する場合には、まず、自動更新の前処理を行っておく。
具体的には、映像中の目印として適切な対象物等、新旧映像で比較するに適した対象物を重要ポイントをマニュアル指定しておく（Ｓ１９０２）。重要ポイントは、ある領域を持った断片の画像である。また、画像としての特徴ある部分を自動抽出し（Ｓ１９０３：特徴ポイント自動抽出）、重要ポイントと特徴点の三次元座標取得をする（Ｓ１９０４）。
【００９７】
重要ポイントと特徴点は、必要に応じて映像に対応させて一部三次元部品化（Ｓ１９０５）することにより、三次元座標とともに記録することができ（Ｓ１９０６）、これによって、更新のための自動更新機能を持つＣＧ映像地図データベース（Ｓ１９０７）が構築されることになる。
以上のような前処理を経た後に、ＣＶ映像地図データの更新処理を行う。
更新処理は、まず、更新用映像として４π撮影映像（３６０度全周映像）を取得する（Ｓ１９０８）。すなわち、ＣＶ映像地図データを更新するためには、更新用の映像を取得して新旧映像を比較しなければならない。
【００９８】
新旧映像の比較は、まず、重要ポイントについて初期位置合わせを行い（Ｓ１９０９）、更新映像の最初のフレームだけをマニュアルで重要ポイントの旧映像との対応を取る（Ｓ１９１０）。次に、新画像座標取得により（Ｓ１９１１）、更新画像の重要ポイントの三次元座標と回転座標を取得する。
同様に、特徴点ポイント抽出（Ｓ１９１２）により特徴点を自動抽出し、特徴点ポイント新旧対応（Ｓ１９１３）により新旧映像の対応をとり、新画像座標取得により（Ｓ１９１４）更新画像の特徴ポイントの三次元座標と回転座標を取得する。
【００９９】
三個以上の重要ポイントにより、あるいは、必要に応じて特徴ポイントも加えて、新画像カメラ座標点取得（Ｓ１９１５）により、更新画像のカメラベクトルを三角形を解く演算で求めることができる。なお、特徴ポイントの抽出・新旧対応・座標取得（Ｓ１９１２〜Ｓ１９１４）については省略してもよい。
このようにして、更新された映像とそのカメラベクトルが取得されると（Ｓ１９１５）、そのカメラベクトルによって、自動更新機能を持つＣＶ映像地図データベース（Ｓ１９０７）を更新することができる。
さらに、ＣＧ地図データを更新するためには、上述した新画像座標取得（Ｓ１９１１）により、重要ポイントの三次元座標を取得し、新旧座標を比較し（Ｓ１９１６）、更新対象物を特定して（Ｓ１９１７）、同じ座標に有るか否かを自動判断する。座標が一致しない場合には対象物を入れ替える必要があると判断し、図１８で示したＣＧ生成によるマニュアル処理（Ｓ１９１８）により、更新のためのＣＧを自動又はマニュアルで生成し、重要ポイントを更新した三次元ＣＧ地図データベース（Ｓ１９１９）に、更新データを記録する。
【０１００】
図２０は、道路上空から撮影した映像に基づいて三次元地図を生成する場合の一例を示している。同図に示す道路映像は３６０度のＣＶ映像であり、完全な平面図ではなく、地上数メートルから観察した道路面となっている。
道路の三次元地図を生成する場合には、道路面の近傍の形状が重要であり、高い計測精度が求められる。一般に、道路構造は、図２０（ａ）の断面図に示すよな構造をしていることが前もって分かっているので、その形状を予想して、三次元計測をすることができる。
【０１０１】
また、３６０度映像の特長を生かして、道路面の直下を視点方向とする道路面表示に設定することで、広い領域でのマッチング＆グリップが可能となる。具体的には、通常任意方向では１５＊１５ピクセル程度の領域でのマッチング＆グリップが限界であったが、直下表示では視点と道路面が直角に近い形となり、フレーム間画像は形状を変更することなく移動するので、各フレームによる画像歪みを無視することができる。
これにより、例えば５０＊５０ピクセル以上の広い領域でのマッチング＆グリップ（Ｍ＆Ｇ）が可能となり、特徴の少ない道路面であってもマッチング＆グリップが行え、計測精度が向上する。
さらに、道路舗装面には道路標示（センターライン，路肩ライン等）が決められた基準で描かれていることから、そのパターンをＰＲＭオペレータ（ＰＲＭ Ｏｐｅｒａｔｏｒ）の部品として予め用意しておき、用意されたオペレータ部品と映像比較することで、その三次元的位置を検出することが可能となる。
【０１０２】
ここで、ＰＲＭとは、Ｐａｒｔｓ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｍｅｔｈｏｄ（３Ｄ空間認識方法）の略であり、本願出願人が既に特許出願している対象物を認識するための技術である（国際出願ＰＣＴ／ＪＰ０１／０５３８７号参照）。具体的には、ＰＲＭ技術は、前もって予想される対象物の形状と属性を部品（オペレータ部品）としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。車両の自動案内走行や自動運転走行のために必要となる対象物の「部品」は、道路標示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などであり、これらは定形のものであるので、ＰＲＭ技術によりその認識は容易に行える。また対象物をＣＶ映像中に検索する場合においても、その対象物の存在する予想三次元空間を狭い範囲に限定することが可能となり、認識の効率化が可能となる。
【０１０３】
具体的には、道路面オペレータとしては、図２０（ｃ）に示すようなパターンがある。なお、オペレータ部品としては図示しない他のパターンも多数想定されるが、三次元地図においては道路全面の計測は必要なく、道路面を適切な間隔でサンプリングして道路断面図を完成させればよいので、図２０に示す程度で十分であると言える。
さらに、三次元のＰＲＭオペレータ部品（ＰＲＭ ３Ｄ Ｏｐｅｒａｔｏｒ）も用意し、三次元的にマッチングすることで、例えば、道路の縁石部分の段差についても精度良く再現することができる。
【０１０４】
図２１は、図２０に示した道路を立体視した三次元地図を示す。
同図に示すように、舖装道路の映像においては、ＰＲＭオペレータは、図２０に示したセンターライン等の道路面表示よりも、立体的な道路標識の認識においてその有効性を発揮する。すなわち、道路標識の認識に関しては、図２１（ａ）に示すように、ＣＶ映像上に道路標識予想空間を想定して、その限定された空間で目的の道路標識の種類と位置と形状と座標を認識することが可能となる。
ＣＶ映像は、実写画像上に道路標識予想空間をＣＧとして合成配置することができ、その制限範囲のみで目的の道路標識を検索することが可能となる。
また、道路標識の形状やサイズ等は通常決まっているので、予め用意してある各道路標識の三次元オペレータ部品として（図２１（ｂ）参照）、道路標識予想空間の中に三次元的に決まった大きさの標識を検索し、探し出すことが可能となる。そして、探し出された標識の種類と位置と座標と形状が認識される。
【０１０５】
このように、ＣＶ映像は、対象物が三次元座標を持つのと同じ扱いが可能であり、検索には極めて有利となる。道路標識のように、検索するものの形状が既に決まっているものについては、その三次元位置における見かけの大きさを計算で求められるので、ＰＲＭオペレータを使用するのが有利であり、ＰＲＭオペレータ部品として様々な標識を用意しておくことで、用意された標識部品の中から一致する部品を探し出すことで、対象標識を認識することが可能となる。
さらに、ＭＲＳＳビュアで表示される３６０度実写のＣＶ映像は、ＣＶ映像内の任意の点をマウスでクリックすることにより、（１）その指定した点の三次元座標を取得できるとともに、（２）指定した任意の２点間をマウスで直線に結び、その２点間の距離を計測でき、さらに、（３）任意の多角形をマウスで指定・入力することによりその多角形の面積を計測することができる。従って、この機能を利用してＣＶ映像中の目的対象物の位置をマウスのクリック操作するだけで、（１）実写映像の中に属性の登録ポイントを指定することができ、（２）道路形状や道路標示を直線で登録でき、さらに、（３）路面や看板の面を登録することが可能となる。
【０１０６】
図２２は、ＣＶ映像中に手動により対象物の属性を取得し登録する場合の手順を示す図であり、ＭＲＳＳビュアで同図（ａ）に示すＣＶ映像が表示されている場合に、同図（ｂ）に示すように、マウスを用いて映像中に所望の点や直線を指定することができる。指定した点や直線，面は登録することができ、同図（ｃ）に示すように三次元地図として出力・表示することができる。
このようにＣＶ映像の任意の点を指定して直線や面のみを登録することで三次元地図が生成でき、その登録の際に属性についても分類しておけば属性抽出も同時に完了し、所望の三次元地図を容易に生成・取得することができる。
【０１０７】
［ナビゲーション動作］
次に、以上説明したような本実施形態に係るナビゲーション装置における全体の動作の概要を図２３〜図２６を参照しつつ説明する。
図２３に示すように、本実施形態のナビゲーション装置の動作は大きく２つに分けられ、一つはＣＶ映像地図生成装置（特徴点三次元地図生成装置１１０）側で行われる前処理と、もう一つは車両等に積載されたナビゲーション装置（地点探索ナビゲーション装置１３０）側で行われる後処理である。
【０１０８】
［前処理］
前処理としては、以下の手順により行う。
まず、図２３に示すように、車載カメラ等で３６０度全周映像が取得され（Ｓ２２０１：３６９度映像撮影）、この３６０度映像についてＣＶ演算により全フレームのカメラベクトルが取得される（Ｓ２２０２：ＣＶデータ付加）。なお、カメラで撮影される映像は原則として３６０度全周映像であることが望ましいが、必ずしも３６０度全周映像でなくてもよい。
ＣＶ演算で得られたＣＶデータは相対値であるので、これを実測データやＧＰＳ等に基づいて絶対座標（緯度・経度・高さ）に変換する（Ｓ２２０３：絶対座標取得）。
【０１０９】
また、ＣＶ映像中、後に計測基準となり得る画像部位を切り取り、当該部位の属性とともに付加・記録する（Ｓ２２０４：指定基準部位座標及び属性付加）。ここでは、さらに座標を与えてもよい。指定点は部分映像として切り取ることでデータ量を小さくする。専用マークを静止物体の映像として取得することもできる。
ＣＶ映像中の重要ポイント及び看板等については、ＣＧ化して属性とともにＣＶ映像に合成又は対応させておく（Ｓ２２０５：指定ＣＧ付加）。交通標識等は共通するものであるので、共通のＣＧとしてそのＩＤと座標のみを付加する。
以上の手順により、各フレームに対応するＣＶデータ・属性等を生成する（Ｓ２２０６：ＣＶ映像生成）。なお、計測のみで映像を観察しない場合は、特徴部位のみの映像とする。そして、生成されたＣＶ映像は、ＷＥＢ，ＨＤＤ又はＤＶＤ等により、後処理を行うナビゲーション装置側に配信する（Ｓ２２０７：ＣＶ映像配信）。
【０１１０】
［後処理］
後処理としては、以下の手順により行う。
まず、図２３に示すように、配信されたＣＶ映像をＷＥＢ等を介して受信し、あるいは購入したＤＶＤ等から読み取る（Ｓ２３０１：ＣＶ映像受信）。
また、車両に積載したカメラで現在の３６０度映像を取得する（Ｓ２３０２：リアルタイム映像取得）。なお、ここでも取得映像は必ずしも３６０度映像でなくてもよい。
そして、受信したＣＶ映像と車載カメラで撮影されたリアルタイム映像を比較することにより、車両の現在位置を演算で求める（Ｓ２３０３：リアルタイム車両位置計測）。なお、この車両の現在位置の演算は、（１）ＣＶ演算で求める方法と、（２）座標が既知の指定点から演算で車両の座標を求める方法と、（３）両者を組み合わせた中間の方法とがある。
【０１１１】
その後、求められた自車両の三次元位置を地図上に高精度（例えばＧＰＳの十倍以上の精度）で表示し、ナビゲーションに必要な項目を自動表示する（Ｓ２３０４：ナビゲーション項目自動選択、Ｓ２３０５：マルチビュア表示）。このとき、ナビゲーション目的の属性を表示する。また、車両の座標と地図を比較し、自車両走行に必要な標識・道路標示・案内板等を走行に合わせて順次選択することができる。さらに、表示画像内で対象物をクリックすることにより属性表示することができる。
なお、自車両の三次元位置を表示すればナビゲーションとしては十分であり、ＣＶ映像（記録映像）自体は表示しなくてもよい。
また、自車両の位置を三次元地図上に表示する場合に、ＧＰＳは概略位置を求める補助的情報として利用できる（後述する第二実施形態参照）。
【０１１２】
以上でナビゲーション装置の全体の動作が完了するが、さらに、図２４に示すように、ナビゲーション装置側の後処理において、自車両の周囲のＣＶ映像を任意の視角で表示し、目的によって任意視点で表示することができる（図２４のＳ２３０６：任意視点映像及び属性表示）。このとき、交通標識等は共通のＣＧ部品から取り出して表現することができる。また、夜間に昼間の映像を表示したり、積雪した冬に夏の映像を表示することも可能である。
また、図２５に示すように、後処理において、車間距離や周囲を走行する車両の方向と速度、路面状況等の走行状況の情報をリアルタイムで判断して、走行に必要な認識・判断の結果を表示することもできる（図２５のＳ２３０７：走行状況認識・判断）。
【０１１３】
さらに、図２６に示すように、後処理において得られたデータは、他の車両や基地局との間で送受信することが可能である（図２６のＳ２３０８：走行状況認識・判断データ送受信）。
すなわち、自車両で認識・判断した結果の走行状況認識・判断データを他車両と共有するために、所定のデータを多謝料に送信することができ、同時に、周囲を走行する他車両が認識・判断した結果の走行状況認識・判断データを受信して、自車両の走行に反映させることが可能である（後述する第三実施形態参照）。
さらにまた、所定の基地局に自車両の走行状況認識・判断データを送信し、基地局から送られる走行状況認識・判断データを受信して自車両の走行に反映させることも可能である（後述する第三実施形態参照）。
【０１１４】
以上説明したように本実施形態のナビゲーション装置によれば、車両等の移動体に搭載されたカメラで撮影される動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することにより、多数の特徴点について重複演算して、カメラベクトル（カメラ位置と回転角）と特徴点の三次元位置座標を高精度に求めることができる。
そして、得られた特徴点の三次元座標を予め記録媒体に格納し、その三次元座標を現実に移動する移動体から撮影されたカメラ映像と対比することで、あるいは、カメラから得られた映像から、リアルタイムにカメラ位置の三次元座標を直接生成し、現在のカメラ位置を示す高精度な三次元情報を得ることができ、これによって、移動体のナビゲーションシステムとして用いることができる。
【０１１５】
具体的には、本発明のナビゲーション装置では、車両等の移動体の現在地点座標をＧＰＳより高い精度でリアルタイムに取得するために、画像処理技術を用いて、画像内の複数の特徴有る点に着目し、前もって特徴点の三次元座標を精度良く計測しておく。そして、その特徴点を三次元座標に記述した地図（３Ｄ地図）を記録媒体に格納し、移動体側でその記録媒体を再生することで、特徴点の三次元座標を読み出すことができる。さらに、移動体の現在地点で得られたカメラ画像から映像内の特徴点を抽出し、その特徴点の方向と、記録媒体に予め記録された三次元座標が既知である特徴点の方向とを比較して、複数の特徴点の方向が一致する地点の座標を演算により求めることで、カメラ位置を示す三次元座標、すなわち、現在の移動体の位置を示す三次元座標を得ることができる。
これにより、走行する車両等の移動体の現在位置が、カメラ映像から直接的に、あるいは、予め生成，記録された三次元地図によって正確に示されることになり、従来のＧＰＳシステムでは不可能であった、誤差範囲が数ｃｍ程度の高精度なナビゲーションシステムを実現することができる。
【０１１６】
［第二実施形態］
次に、本発明のナビゲーション装置の第二実施形態について、図２７を参照して説明する。
図２７は、本発明の第二実施形態に係るナビゲーション装置１００の概略構成を示すブロック図である。本実施形態のナビゲーション装置１００は、選択的に付加することができるオプション装置３００を備えるようになっている。
同図に示すように、本実施形態では、オプション装置３００として、３Ｄ地図属性付加装置３１０，ＧＰＳ装置３２０，データ更新装置３３０及びオプション表示装置３４０を備えることができる。
【０１１７】
［３Ｄ地図属性付加装置］
３Ｄ地図属性付加装置３１０は、記録媒体１２０に記録される情報として、特徴点の三次元座標以外の付加情報として属性情報を付加することができる。
ここで、特徴点の属性とは、例えば、特徴点の属するビルディングの名称，通りの名称，住所，歴史の記述等があり、また、特徴点が標識一部であればその標識の意味等である。
具体的には、特徴点属性取得部３１１において特徴点の属性を取得する。
所属対象物３Ｄ形状座標取得部３１２では、属性を付加すべき特徴点の三次元座標を特徴点三次元地図生成装置１１０の特徴点・カメラベクトル演算部１１５から入力する。
属性付加部３１３では、入力された三次元座標に対応する属性情報を付加する。
属性付き対象物３Ｄ地図生成部３１４では、属性情報が付加された三次元情報を特徴点三次元地図生成装置１１０の３Ｄ地図生成部１１９に戻す。
これにより、記録媒体１２０に記録される三次元情報として特徴点の属性情報が付加されるようになる。
【０１１８】
［ＧＰＳ装置］
ＧＰＳ装置３２０は、地点探索ナビゲーション装置１３０の概略現在位置指定部１３２に、ＧＰＳによって得られる緯度経度高度データを出力し、概略現在位置指定部１３２における移動体の概略の現在位置を指定する。
また、ＧＰＳ装置３２０は、地点探索ナビゲーション装置１３０のカメラ座標演算部１３８で得られた現時点の移動体状況を示すカメラ位置，方向，姿勢等の三次元データを入力し、ＧＰＳで得られるデータを補正し、映像から特徴点が得られない場合の補助装置として利用する。
【０１１９】
ＧＰＳは、本発明のナビゲーション装置で得られる位置情報と比較して精度が悪いが、概略位置を指定する情報としては適切である。ＧＰＳからの概略位置情報があれば、地点探索ナビゲーション装置１３０により、現在地点周辺の特徴点を探すのに大きな手がかりとなる。
また、このように精度の悪いＧＰＳを主体とした計測システムにおいては、本発明による高精度な位置データを補正信号として利用して、ＧＰＳシステムで得られたデータを補正することにより、最終的に本発明と同等の精度を一定期間保持することが可能となる。
さらに、本発明のナビゲーション装置においてカメラ映像の取得が困難となる夜間やトンネル内などにおいては、ＧＰＳシステムとの併用が望ましい場合もある。
【０１２０】
そこで、本実施形態では、ナビゲーション装置１００のオプション装置としてＧＰＳ装置３２０を組み合わせることで、計測可能地点ではナビゲーション装置１００により計測し、映像的な特徴点が充分に得られないような場合には、本装置で取得された最終データによってＧＰＳを補正，校正することで、高精度にＧＰＳシステムを稼働させることができる。これによって、本ナビゲーション装置１００とＧＰＳのそれぞれの長所を有効活用することができる。
具体的には、ＧＰＳデータ取得部３２１では、ＧＰＳで得られたデータを取得する。
【０１２１】
装置座標演算部３２２では、ＧＰＳデータに基づいて、地点探索ナビゲーション装置１３０の概略現在位置指定部１３２に入力する座標信号を生成，出力する。
ＧＰＳデータ補正部３２３では、地点探索ナビゲーション装置１３０のカメラ座標演算１３８で得られた精度の高い位置情報を入力し、ＧＰＳ計測装置との差を検出して、そこからＧＰＳの補正校正信号を生成する。なお、ＧＰＳデータ補正部３２３には、ＧＰＳ位置計測装置に生成した高精度の補正校正信号を送るための出力端子が備えられる。
現在地点表示部３２４は、補正校正信号で補正されたＧＰＳデータを現在地点の表示として出力，表示する。
【０１２２】
このようにして、本実施形態では、ＧＰＳ装置３２０をオプション装置として備えることにより、通常は地点探索ナビゲーション装置１３０として作動し、夜間等の映像的な特徴点を連続的に取得することが困難な場合には、ＧＰＳによるナビゲーション機能を併用し、断片的に取得される地点探索ナビゲーション装置１３０から得られる地点データを補正信号とし、高精度に補正されたＧＰＳデータを表示することができる。
なお、ＧＰＳ装置３２０をオプションで備える本実施形態では、ＧＰＳによるナビゲータシステムに必要なデータも記録媒体１２０に記録することができる。
【０１２３】
［データ更新装置］
データ更新装置３３０は、記録媒体１２０のデータを更新することができ、地点探索ナビゲーション装置１３０に特徴点三次元地図生成装置１１０の機能を付加する装置である。
具体的には、データ更新装置３３０は、映像記録部３３１で、地点探索ナビゲーション装置１３０において取得されたカメラ映像を蓄積する。
特徴点データ再演算部３３２では、複数のフレームにわたる記録媒体の特徴点やその特徴点を含む小領域画像との対応点を、カメラで取得した画像内で追跡し、特徴点三次元地図生成装置１１０と同様にして、複数のフレームにわたる記録媒体の特徴点、又はその特徴点を含む小領域画像と、カメラで取得した映像内の小領域の画像との対応関係から、既存の特徴点の移動等の更新データが求められる。
また、新規特徴点取得部３３３では、カメラによる映像から新たな特徴点を検出して、三次元座標に加えることで、次回からの特徴点として付加し、次回からの特徴点として付加する。
【０１２４】
そして、特徴点データ更新部３３４でデータが更新され、その更新データが更新データ記録部３３５によって記録媒体１２０に出力される。
このようにして、データ更新装置３３０を備えることにより、利用者側に備えられる地点探索ナビゲーション装置１３０に、特徴点三次元地図生成装置１１０に相当する機能を付加することができ、地図を作りながら探索をすることが可能となり、現地点探索と同時に、特徴点検出と三次元座標演算を同時に行い、記録し、記録媒体のデータを更新し、次回からのデータとして用いることができるようになる。
【０１２５】
［オプション表示装置］
オプション表示装置３４０は、地点探索ナビゲーション装置１３０で表示される表示内容以外の付加的な情報を表示することができる。例えば、地点探索ナビゲーション装置１３０における現在地点の認識には直接関係しなくとも、利用者の走行を助ける交通標識や道路表示等の画像やＣＧを、オプション表示装置３４０によって表示することで、より理解し易く、操作し易いナビゲーション装置とすることができる。
具体的には、現在地点周辺画像表示部３４１では、地点探索ナビデーション装置１３０の特徴点３Ｄ地図再生部１３１及び現在地点表示部１３９の表示画像データを入力する。
表示画像属性表示部３４２では、入力した表示画像データの属性を表示する。
また、交通標識等認識表示部３４３では、現在地点から観察される交通標識や道路表示等の画像やＣＧを表示する。
【０１２６】
以上説明したように、本実施形態に係るナビゲーション装置によれば、予め３Ｄ地図生成用の車両等に搭載されたカメラで撮影された動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することにより、多数の特徴点について重複演算してカメラ位置と回転角を高精度に求めることができる。
そして、得られたカメラ位置の三次元座標を予め記録媒体に格納し（あるいは、リアルタイムにカメラ位置の三次元座標を生成し）、その三次元座標を現実に移動するナビゲーション対象となる車両等から撮影されたカメラ映像と対比することで、現在のカメラ位置を示す高精度な三次元情報を得ることができ、これによって、移動体のナビゲーションシステ厶として用いることができる。
【０１２７】
［第三実施形態］
次に、本発明のナビゲーション装置の第三実施形態について、図２８及び図２９を参照して説明する。
図２８は、本発明の第三実施形態に係るナビゲーション装置の概略構成を示すブロック図であり、図２９は、同じく、本発明の第三実施形態に係るナビゲーション装置の他の実施形態の概略構成を示すブロック図である。
これらの図に示すナビゲーション装置は、記録媒体１２０と地点探索ナビゲーション装置１３０が離間して備えられ、基地局や他の移動体に備えられた記録媒体１２０に記録された所定の三次元情報が、通信回線を介して一又は二以上の他の地点探索ナビゲーション装置１３０に送信されるようになっている。
【０１２８】
具体的には、図２８に示すナビゲーション装置は、サテライト通信方式を採用しており、まず、所定の三次元情報を記録した記録媒体１２０は、基地局となるサテライト装置４００に備えられている。
サテライト装置４００は、受信部４１１により、データ更新逆送信装置３５０を介してデータ更新装置３３２からの更新データが受信され、データ更新部４１２により、記録媒体１２０のデータが随時更新できるようになっている。
そして、送信部４１３により、記録媒体１２０のデータが地点探索ナビゲーション装置に送信されるようになっている。
【０１２９】
地点探索ナビゲーション装置１３０側には、受信装置１４０が備えられている。
受信装置１４０は、受信部１４１により、通信回線を介してサテライト装置４００から送信された記録媒体１２０の三次元情報のデータを受信できるようなっている。
さらに、図２９に示すナビゲーション装置は、図２８に示したサテライト通信方式に加えて、さらに、相互通信方式を採用しており、基地局との間のみでなく、移動体相互間でもデータの送受信が行えるようになっている。
【０１３０】
このような本実施形態のナビゲーション装置によれば、記録媒体１２０のデータを基地局から受信し、更新データや新規取得データを基地局に送信し、さらには、直接車両間でデータのやりとりをして、必要に応じてデータを更新し、他の車両とデータを共有することができる。
これにより、一台の車両のみの場合と比較して、より広範囲で総合的なナビゲーションシステムを実現することができる。
【０１３１】
記録媒体１２０は、通常はＤＶＤやハードディスクなどであり、固体として移動体側の装置に装填し、あるいは設置される。
本実施形態では、基地局から記録媒体１２０のデータを複数の車両に送信することで、記録媒体１２０はソフトウェアそのもの、デジタルデータそのものとして扱うことができる。そして、ソフトウェアの受信は、固体としての記録媒体１２０の装填と同じ意味となり、再生装置の構成や規格等に左右されない分、利用範囲が拡張される。
また、本実施形態では、車両が新たに取得したデータを基地局に送り、また直接車両間でやりとりすることができ、さらに、通信回線を用いることでデータの更新が容易となり、周囲車両とのデータの共有も可能となり、リアルタイムデータのやりとりも可能となる。
このようにして、本実施形態によれば、より汎用性に優れたナビゲーション装置を提供することができる。
【０１３２】
［第四実施形態］
さらに、本発明のナビゲーション装置の第四実施形態について、図３０〜図３６を参照しつつ説明する。
図３０は、本発明の第三実施形態に係るナビゲーション装置の概略構成を示すブロック図である。
同図に示すように、本実施形態のリアルタイムナビゲーション装置２００は、上述した第一実施形態で示した記録媒体１２０を省略し、ナビゲーション対象となる移動体側に、第一実施形態における特徴点三次元地図生成装置１１０に地点探索ナビゲーション装置１３０の機能を持たせた、特徴点三次元地図生成表示装置２１０を備えている。
【０１３３】
本リアルタイムナビゲーション装置２００に備えられる特徴点三次元地図生成表示装置２１０は、第一実施形態で示したような記録媒体を備えず、ナビゲーション対象となる車両等の移動体に備えられたカメラにより得られる現実の映像に基づき、当該移動体から観察される範囲における映像的な特徴点の三次元座標を、そのままリアルタイムで生成するとともに、カメラベクトルを生成する。
そして、求められた特徴点の三次元座標から直接的に３Ｄ地図を生成し、特徴点の三次元分布と、ナビゲーション対象となる移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力，表示する。
【０１３４】
具体的には、本実施形態のリアルタイ厶ナビゲーション装置２００は、図３０に示すように、特徴点三次元地図生成表示装置２１０を備えている。
特徴点三次元地図生成表示装置２１０は、第一実施形態の特徴点三次元地図生成装置１１０とほぼ同様の構成となっており、カメラ映像取得部２１１，映像記録部２１２，特徴点抽出部２１３，特徴点対応処理部２１４，特徴点・カメラベクトル演算部２１５，誤差最小化部２１６，揺れ成分検出部２１７，絶対座標取得部２１８及び３Ｄ地図生成表示部２１９を備えている。このうち、カメラ映像取得部２１１，映像記録部２１２，特徴点抽出部２１３，特徴点対応処理部２１４，特徴点・カメラベクトル演算部２１５，誤差最小化部２１６，揺れ成分検出部２１７及び絶対座標取得部２１８については、第一実施形態におけるカメラ映像取得部１１１，映像記録部１１２，特徴点抽出部１１３，特徴点対応処理部１１４，特徴点・カメラベクトル演算部１１５，誤差最小化部１１６，揺れ成分検出部１１７及び絶対座標取得部１１８と同様の構成となっている。
【０１３５】
本実施形態の特徴点三次元地図生成表示装置２１０では、３Ｄ地図生成表示部２１９は、誤差最小化部２１６で誤差の最小化処理が施され、絶対座標取得部２１８で絶対座標が付与された特徴点又はその特徴点を含む小領域の画像の三次元形状とその三次元座標及びその分布を、ナビゲーション対象となる移動体の移動軌跡、さらに、必要に応じて移動予定路とともに三次元地図として配列し、特徴点を含む対象物等とともにこれらを直接表示するようになっている。
図３２及び図３３に、本実施形態におけるリアルタイムナビゲーション方法により生成，表示される特徴点の三次元座標と移動体の現在位置を示す。
図３２（ａ）に示すように、走行する車両の周囲の多数の特徴点が抽出され、その特徴点から、車両が走行する道路と建物等の三次元地図が生成され、その地図中に移動する車両の軌跡が示されている。図３２（ｂ）は、抽出された特徴点と求められた車両の軌跡を、実際のカメラ映像中に表示したものである。
図３３は、図３２（ｂ）に示す映像の平面展開画像であり、車両の走行軌跡と現在位置，予定進路が映像中にプロットしてある。
【０１３６】
このようにして、本実施形態のリアルタイムナビゲーション装置２００では、ナビゲーション対象となる移動体で移動しながら、直接的に３Ｄ地図を作りつつ、現在地点の探索を行うことが可能となり、特徴点検出と三次元座標演算，現地点探索を同時に行い、記録し、記録媒体のデータを更新できるリアルタイムナビゲーションを実現している。
上述した第一実施形態では、特徴点三次元地図生成装置１１０は、画像の取得後、オフライン処理で三次元地図を生成し、その後、三次元地図を記録媒体１２０に記録し、それを配布等することで、記録媒体１２０に記録された特徴点と現時点の映像と比較することで、現時点の位置を確認する方式を採っている。
本実施形態では、車両等で移動しつつ、リアルタイムに３Ｄ地図を生成し、現在地点の探索を行うことができ、記録媒体１２０を省略することができる。これにより、例えば、記録媒体１２０に記録された特徴点三次元地図に記載されていない地域を走行する場合や、記録媒体１２０を備えていない場合等であっても、特徴点三次元地図をリアルタイムで生成しながら、現在地点を表示することができる。勿論、本実施形態においても、第一実施形態で示した記録媒体１２０を併用することは可能である。
【０１３７】
従って、本発明に係るナビゲーション装置としては、図３１に示すように、記録媒体１２０を備える方式（同図に示すナビゲーション装置１００）と、記録媒体１２０を省略する方式（同図に示すナビゲーション装置２００）とを実施でき、記録媒体１２０を備える方式においても、特徴点三次元地図生成装置１１０を地点探索ナビゲーション装置１３０と分離して設ける場合と、特徴点三次元地図生成装置１１０と地点探索ナビゲーション装置１３０を一体的に設ける場合とが実施できる。
さらに、図３１に示すように、第一実施形態で示した各種のオプション装置３００を備えることができ、本発明のナビゲーション装置を搭載する移動体の種類や、移動経路、移動範囲、使用目的等に応じて、オプション装置３００を選択的に組み合わせて採用することができる。
【０１３８】
次に、以上のようなリアルタイムナビゲーション機能を備えた本実施形態のリアルタイムナビゲーション装置２００の詳細について、図３４〜図３６を参照しつつ説明する。
図３４は、リアルタイムナビゲーション装置の一実施形態の概略構成を示すブロック図であり、移動体として道路を走行する車両にリアルタイムナビゲーション装置が搭載される場合を説明する。
なお、以下に示すリアルタイムナビゲーション装置の各部における処理動作の具体的な内容は、対応する第一及び第二実施形態における内容と同様である。
【０１３９】
［基本形］
同図に示すリアルタイムナビゲーション装置２００において、画像取得部２００−０１は、車両に積載されたカメラにより周囲画像を取得する。
画像一時記録部２００−０２は、画像取得部２００−０１で取得された周囲画像を一次記録する。
特徴点抽出部２００−０３は、画像一時記録部２００−０２に記録された周囲画像から特徴点を抽出する。
特徴点追跡部２００−０４は、隣接する画像の中に特徴点を追跡する。
【０１４０】
特徴点追跡座標テーブル作成部２００−０５は、特徴点追跡部２００−０４で追跡した複数の画像内における特徴点の各座標を記録しておく。
ベクトル演算部２００−０６は、画像内の特徴点の各座標のいくつかを選択して、カメラベクトル及び特徴点分布を演算で求める。
絶対座標変換部２００−０７は、ベクトル演算部２００−０６における演算結果に、絶対座標を与える。
特徴点分布図内カメラベクトル表示部２００−０８は、絶対座標が付与された演算結果を特徴点の三次元分布とともに表示する。
【０１４１】
［基準対象物による絶対座標変換］
地図部２００−０９には、移動体を構成する車両の予定走行路が記載してある。
基準対象物データベース部２００−１０には、車両の走行路から見える位置にあり、座標と形状が既知である基準対象物が記載してある。基準対象物としては、移動体が車両であるので、例えば、走行路の交差点毎にある信号機等が好適である。この基準対象物データベース部２００−１０により、概略位置が分かればその基準対象物（信号機等）の仕様が分かるようになる。サイズ等は規格化されているので、形式が分かれば既知の基準対象物として使える。
基準対象物認識部２００−１１は、画像取得部２００−０１で取得される周囲画像の中にあり、形状と座標が既知である基準対象物を画像内において認識する。
基準対象物位置演算部２００−１２は、基準対象物認識部２００−１１で認識された基準対象物の画像内位置から、その基準対象物の三次元座標を演算で求める。
絶対座標変換部２００−１３は、基準対象物位置演算部２００−１２で得られた基準対象物の三次元座標と、基準対象物の既知データとを比較して、座標を絶対座標に変換する。
合成表示部２００−１４は、変換されたカメラの絶対座標を、あらかじめ用意した地図等とともに合成して表示する。
【０１４２】
［姿勢制御］
カメラ姿勢信号取得部２００−１５は、ベクトル演算部２００−０６で得られたカメラベクトルから、カメラの３軸姿勢信号を検出する。
車両姿勢制御部２００−１６は、カメラ姿勢信号取得部２００−１５で検出されたカメラ３軸姿勢信号により、車両の姿勢制御を行う。
カメラベクトルから、カメラの回転成分を抽出できるので、車両姿勢を計測することができる。そして、車両姿勢が目的の位置を保つように、車両姿勢信号からフィードバック信号を生成し、車両姿勢制御を行うことができる。
また、水平及び鉛直方向は、車両静止時又は等加速度運動時に、水準器等でキャリブレーションが可能である。
【０１４３】
［ＧＰＳによる概略位置特定］
ＧＰＳデータ取得部２００−１７は、ＧＰＳによる位置データを取得する。
概略位置座標取得部２００−１８は、ＧＰＳによる位置データによって、車両の概略位置及び方向を特定し、画像取得部２００−０１で取得される周囲画像中の基準対象物を特定する。
第一実施形態で示したように、本発明のナビゲーションシステムは、既存のＧＰＳの位置精度より優れているため、ＧＰＳによる位置データを概略位置取得のために用いることで、位置の絞り込みが可能となり、演算に有利となる。また、ＧＰＳによる位置データによって緯度経度を取得して、カメラ位置を緯度経度で表示することが可能である。さらに、ＧＰＳデータを取り込むことにより、例えば、特徴点が見つからないような場合には、ＧＰＳによるナビゲーションによって走行することが可能となる。
【０１４４】
［並列カメラによる絶対測定補正］
上述した画像取得部２００−０１は、視野が重複するように並列に配置され、位置関係が固定されている複数のカメラを積載したカメラによる並列画像を取得する機能を付加することができる。
そして、特徴点追跡部２００−０４では、複数のカメラによる画像から特徴点の対応点を並列画像内に検索する機能を付加することができる。
これにより、ベクトル演算部２００−０６では、並列画像内の各対応点の座標から、特徴点及びカメラベクトルの絶対長を演算で求める機能を付加することができる。この場合、並列カメラにより、すべてのカメラ位置で絶対長を取得できるので、長距離計測において誤差の蓄積が少ない計測が行える。
【０１４５】
［移動体ベクトル演算］
移動体特徴点追跡部２００−１９は、特徴点静止座標系の特徴点を取り除いたものを移動体の特徴点として扱う。
移動追跡座標テーブル作成部２００−２０は、追跡した特徴点のテーブルを生成する。
移動体ベクトル演算部２００−２１は、移動体別の移動体ベクトルを演算し、静止座標系に変換し、先に求められている静止座標系の特徴点と合成することで、静止座標系の特徴点と、移動体のベクトルを重ねて表示する。
この移動体ベクトル抽出処理の詳細を図３５に示す。
【０１４６】
図３５（ａ）において、静止座標系によるカメラベクトル決定部Ｓ３４０１においては、既にカメラベクトル、すなわち、カメラ位置と方向が三次元的に求められている。
静止座標系以外の移動体特徴点抽出部Ｓ３４０２において、すべての特徴点の中から、静止座標系以外の特徴点を選択，抽出し、それらが移動体における特徴点を含むものと判断して、特徴点固定・カメラ移動とした特徴点追跡部Ｓ３４０３において追跡し、それをテーブル化して一時保存し、以下のプロセスで移動体の特徴点のベクトルを演算で求める。
【０１４７】
まず、特徴点は移動体であるから移動しているが、カメラから見れば、はじめは静止座標系か移動座標系かの判断はできないので、すべて静止座標系の特徴点として扱うことになる。
特徴点固定・カメラ移動とした特徴点追跡部Ｓ３４０３において、特徴点の追跡を行い、移動体特徴点追跡テーブル作成部Ｓ３４０４により、特徴点追跡のテーブルを生成する。このテーブルには、移動体毎に異なるカメラ位置のグループが生成される。カメラは一つでも、移動体は特徴点の一群として観察され、その一群が一つのカメラ位置に対応するように、移動体に対応する特徴点毎にカメラ位置が異なる場所に複数観察されることになる。
【０１４８】
特徴点座標系からみた複数のカメラ位置分類部Ｓ３４０５において、いくつかのカメラ位置が求まり、それカメラ位置毎に移動体が分類される。カメラ位置毎に一群とする特徴点の分類部Ｓ３４０６において、特徴点を移動体毎に分類する。
カメラ位置と移動体は相対運動であるから、いつでも座標変換が可能である。そこで、静止座標系からみた各特徴点群の座標系決定部Ｓ３４０７において、カメラを元の静止座標系表示に戻すことで、各移動体による特徴点群及び座標決定部Ｓ３４０８において、移動体毎の特徴点の座標も静止座標系に変換することができる。これにより、移動体抽出部Ｓ３４０９において、移動体を静止座標系の中に三次元的に抽出することができるようになる。
はじめから静止座標系を元として演算することもでき、その場合には、図３５（ｂ）に示すようになる。
【０１４９】
以上のようなリアルタイムナビゲーション装置によれば、リアルタイム性を追求するために、演算を簡素化しており、大きなハードディスク等の記録媒体を用いない。特徴点を抽出して、カメラベクトルと特徴点を抽出し、特徴点の中から適切なもののみを演算に使用し、他は表示のみとすることで、十分に多くの特徴点の分布図は大まかな三次元形状の地図として生成する。
そして、その中にカメラベクトルを表示することで、走行位置を道路及び周辺の形状の中に、表示することができる。また、特徴点の中から演算用の特徴点を選択することで、演算スピードを上げることができる。
【０１５０】
図３６に、リアルタイムナビゲーション装置の応用例として、自動離着陸装置を示す。同図は、本実施形態に係るリアルタイムナビゲーション装置を、航空機の自動離着陸装置（又は案内装置）として応用した例を示している。
同図に示す例では、航空機の地上側の任意の位置に広角のカメラを取り付けておく。カメラは地上側を撮影し、滑走路を一部その視界にとらえている。
カメラによって撮影した映像の中に十分多くの特徴点を自動検出し、追跡し、航空機の三次元的位置と姿勢を演算によって求める。
また、位置の再確認と位置精度の向上を目的として、地上に既知の対象物をもとらえ、データベースに保存してある既知の部品と比較し、それを映像中に認識し、名称と形状と座標を確認する。
【０１５１】
このようにして、絶対座標を取得し、航空機位置と姿勢は、地上の滑走路との位置関係として、高精度で三次元的に完全に関係付けられることになる。
航空機の目的の理想進路を設定し、本ナビゲーション装置で取得された航空機の実際の進路とのズレを検出し、制御することで、理想の進路近くの進入路を自動的に得ることができるようになる。航空機の離陸においても全く同様に制御することができる。
以上と同様の本ナビゲーション装置の応用例としては、例えば、（１）自動離着陸装置、（２）宇宙船自動ドッキング装置、（３）列車車両の自動停止位置確保装置、（４）車両の自動駐車装置、（５）船舶自動接岸装置などに適用することができる。
【０１５２】
以上、本発明のナビゲーション装置について、好ましい実施形態を示して説明したが、本発明に係るナビゲーション装置は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、本発明のナビゲーション装置は、三次元地図を持つことから、適用する移動体は、地上を走行する車両に限らず、三次元空間を航行するものであっても良い。飛行機でも利用可能であるから、着陸時の精度の高いナビゲーションが可能である。また、宇宙船から見える星や星座を特徴点として、宇宙規模でのナビゲーションも可能である。
【産業上の利用可能性】
【０１５３】
以上のように本発明は、例えば、自動車に搭載されるカーナビゲーション装置、飛行機に搭載されるナビゲーション装置、自動運転用のナビゲーション装置、ロボットのナビゲーション装置などに好適なナビゲーション装置として利用することができる。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【特許請求の範囲】
【請求項１】
ナビゲーション対象となる移動体から観察される範囲における映像的な特徴点を三次元座標で記録した記録媒体と、
ナビゲーション対象となる移動体に備えられたカメラにより得られる現実の映像を、前記記録媒体を再生して得られる映像的な特徴点の三次元座標と比較し、現実の映像と一致する三次元座標上の地点と方向を求め、移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力する地点検索ナビゲーション装置と、
を備えることを特徴とするナビゲーション装置。
【請求項２】
前記記録媒体に記録される情報は、
移動体から観察される範囲における映像的な特徴点の種類とその三次元座標と、
前記映像的な特徴点を含む小領域の二次元画像の三次元配置とその三次元座標と、
前記映像的な特徴点を含む対象物の形状とその三次元座標と、
前記映像的な特徴点以外の移動体の移動に必要な周辺画像，ＣＧ等の形状と三次元座標と、
移動体が移動する道路，車両走行路，又は予定航路等の画像，ＣＧとその三次元形状及びその三次元座標と、を含み、
これら各情報は、いずれか又はそれらの組み合わせ又はそれら全部、又はそれらの属性情報を含んで、三次元地図とともに記録される請求項１記載のナビゲーション装置。
【請求項３】
前記地点探索ナビゲーション装置は、
前記記録媒体を再生する特徴点３Ｄ地図再生部と、
移動体の概略の現在位置を指定し、初期設定時の探索範囲を限定する概略現在位置指定部と、
前記記録媒体に記録された三次元地図から、移動体の現在地周辺の複数の特徴点を読み出し、現在地の探索目標として指定する現在地周辺特徴点指定部と、
ナビゲーション対象となる移動体に備えられたカメラから当該移動体周囲の映像を取得するカメラ映像取得部と、
前記カメラ映像取得部で取得された映像を記録する映像一時記録部と、
前記映像一時記録部に記録された映像内に、前記探索目標と同一物となるべき特徴点の候補を探し出す映像内特徴点探索部と、
前記映像内特徴点探索部で得られた特徴点の候補と、前記現在地周辺の探索目標とを比較照合して同一物としての対応関係を求め、前記候補の中から所定数の対応点を決定し、決定された対応点の三次元座標を前記記録媒体から受け取る映像内特徴点対応部と、
前記決定された対応点とその三次元座標を用いて、移動体の現時点の状況を示すカメラ位置，方向，姿勢等の三次元データを演算により決定するカメラ座標演算部と、
前記カメラ座標演算部で決定された三次元データの組み合わせ又はそのすべてを、単独で又は前記記録媒体に記録された地図、映像、属性等の情報とともに画面上に表示する現在地点表示部と、
を備える請求項１又は２項記載のナビゲーション装置。
【請求項４】
記録媒体生成用の移動体に備えられたカメラにより得られる現実の映像に基づき、当該移動体から観察される範囲における映像的な特徴点を三次元座標で記録した、前記記録媒体に記録すべき情報を生成する特徴点三次元地図生成装置を備える請求項１又は２記載のナビゲーション装置。
【請求項５】
前記特徴点三次元地図生成装置は、
前記記録媒体生成用の移動体に備えられたカメラから当該移動体の周囲画像を取得するカメラ映像取得部と、
前記カメラ映像取得部で取得された画像を記録する映像記録部と、
前記映像記憶部に記録された画像データから、所定数の特徴点を自動抽出する特徴点抽出部と、
前記特徴点抽出部で抽出された特徴点について、各フレーム画像内で自動追跡してフレーム画像間での対応関係を求める特徴点対応処理部と、
前記特徴点対応処理部で対応関係が求められた特徴点の三次元位置座標を求めるとともに、当該三次元位置座標から各フレーム画像に対応したカメラベクトルを求める特徴点・カメラベクトル演算部と、
前記特徴点・カメラベクトル演算部において求められる各特徴点の三次元位置座標とカメラベクトルの分布が最小になるように統計処理し、誤差の最小化処理を施した特徴点の三次元座標とカメラベクトルを自動的に決定する誤差最小化部と、
前記誤差最小化部で誤差の最小化処理が施されたカメラベクトルと特徴点又はその特徴点を含む小領域の画像の三次元形状とその三次元座標及びその分布を、ナビゲーション対象となる移動体の通路とともに三次元地図として配列し、特徴点を含む対象物等とともに、前記記録媒体に記録する３Ｄ地図生成記録部と、
を備える請求項４記載のナビゲーション装置。
【請求項６】
ナビゲーション対象となる移動体に備えられたカメラにより得られる現実の映像に基づき、当該移動体から観察される範囲における映像的な特徴点を三次元座標で生成するとともに、当該三次元座標からカメラベクトルを生成し、
生成された三次元座標に基づいて三次元地図を生成しつつ、特徴点の三次元分布及び当該移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力する特徴点三次元地図生成表示装置
を備えることを特徴とするナビゲーション装置。
【請求項７】
前記特徴点三次元地図生成表示装置は、
移動体に備えられたカメラから当該移動体の周囲画像を取得するカメラ映像取得部と、
前記カメラ映像取得部で取得された画像を記録する映像記録部と、
前記映像記憶部に記録された画像データから、所定数の特徴点を自動抽出する特徴点抽出部と、
前記特徴点抽出部で抽出された特徴点について、各フレーム画像内で自動追跡してフレーム画像間での対応関係を求める特徴点対応処理部と、
前記特徴点対応処理部で対応関係が求められた特徴点の三次元位置座標を求めるとともに、当該三次元位置座標から各フレーム画像に対応したカメラベクトルを求める特徴点・カメラベクトル演算部と、
前記特徴点・カメラベクトル演算部において求められる各特徴点の三次元位置座標とカメラベクトルの分布が最小になるように統計処理し、誤差の最小化処理を施した特徴点の三次元座標とカメラベクトルを自動的に決定する誤差最小化部と、
前記誤差最小化部で誤差の最小化処理が施されたカメラベクトルと特徴点又はその特徴点を含む小領域の画像の三次元形状とその三次元座標及びその分布を、ナビゲーション対象となる移動体の移動軌跡又は必要に応じて移動予定路とともに三次元地図として配列し、特徴点を含む対象物等とともに表示する３Ｄ地図生成表示部と、
を備える請求項６記載のナビゲーション装置。
【請求項８】
前記特徴点・カメラベクトル演算部は、
カメラベクトル及び特徴点の三次元座標演算に用いる任意の二つのフレーム画像Ｆｎ及びＦｎ＋ｍ（ｍ＝フレーム間隔）を単位画像として、所望の特徴点の三次元座標とカメラベクトルを求める単位演算を繰り返し、
前記二つのフレーム画像Ｆｎ及びＦｎ＋ｍの間のフレー厶画像については、簡素化した演算によりカメラベクトル及び特徴点の三次元座標を求め、
前記誤差最小化部は、
画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルと特徴点の三次元座標の誤差が最小になるようにスケール調整して統合し、最終の三次元座標を決定する請求項５又は７記載のナビゲーション装置。
【請求項９】
前記特徴点・カメラベクトル演算部は、
前記フレーム間隔ｍを、カメラから特徴点までの距離に応じて、カメラから特徴点までの距離が大きいほどｍが大きくなるように設定して単位演算を行う請求項８記載のナビゲーション装置。
【請求項１０】
前記特徴点・カメラベクトル演算部は、
求められたカメラベクトル又は特徴点の三次元座標の誤差の分布が大きい特徴点を削除し、必要が有れば、他の特徴点について再演算を行い、三次元座標演算の精度を上げる請求項５又は７記載のナビゲーション装置。
【請求項１１】
前記記録媒体と前記地点探索ナビゲーション装置が離間して備えられ、
基地局又は他の移動体に備えられた記録媒体に記録された前記所定の三次元情報が、通信回線を介して一又は二以上の地点探索ナビゲーション装置に送信される請求項１又は２記載のナビゲーション装置。
【請求項１２】
前記地点探索ナビゲーション装置は、ＧＰＳによって得られた緯度経度高度データにより、前記概略現在位置指定部による移動体の概略の現在位置を指定する請求項１又は６記載のナビゲーション装置。
【請求項１３】
前記地点探索ナビゲーション装置は、前記カメラ座標演算部で得られた現時点の移動体状況を示すカメラ位置，方向，姿勢等の三次元データを、緯度経度高度に変換してＧＰＳを補正する補正信号として出力し、映像的特徴点が得られない場合にＧＰＳから位置データを得るための補助信号とする請求項１２記載のナビゲーション装置。
【請求項１４】
前記ナビゲーション対象となる移動体は、自動車，航空機，船舶，人，ロボット，重機，宇宙船，深海探査船，移動部分を持つ機械等である請求項１又は６記載のナビゲーション装置。
【請求項１】
ナビゲーション対象となる移動体から観察される範囲における映像的な特徴点を三次元座標で記録した記録媒体と、
ナビゲーション対象となる移動体に備えられたカメラにより得られる現実の映像を、前記記録媒体を再生して得られる映像的な特徴点の三次元座標と比較し、現実の映像と一致する三次元座標上の地点と方向を求め、移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力する地点検索ナビゲーション装置と、
を備えることを特徴とするナビゲーション装置。
【請求項２】
前記記録媒体に記録される情報は、
移動体から観察される範囲における映像的な特徴点の種類とその三次元座標と、
前記映像的な特徴点を含む小領域の二次元画像の三次元配置とその三次元座標と、
前記映像的な特徴点を含む対象物の形状とその三次元座標と、
前記映像的な特徴点以外の移動体の移動に必要な周辺画像，ＣＧ等の形状と三次元座標と、
移動体が移動する道路，車両走行路，又は予定航路等の画像，ＣＧとその三次元形状及びその三次元座標と、を含み、
これら各情報は、いずれか又はそれらの組み合わせ又はそれら全部、又はそれらの属性情報を含んで、三次元地図とともに記録される請求項１記載のナビゲーション装置。
【請求項３】
前記地点探索ナビゲーション装置は、
前記記録媒体を再生する特徴点３Ｄ地図再生部と、
移動体の概略の現在位置を指定し、初期設定時の探索範囲を限定する概略現在位置指定部と、
前記記録媒体に記録された三次元地図から、移動体の現在地周辺の複数の特徴点を読み出し、現在地の探索目標として指定する現在地周辺特徴点指定部と、
ナビゲーション対象となる移動体に備えられたカメラから当該移動体周囲の映像を取得するカメラ映像取得部と、
前記カメラ映像取得部で取得された映像を記録する映像一時記録部と、
前記映像一時記録部に記録された映像内に、前記探索目標と同一物となるべき特徴点の候補を探し出す映像内特徴点探索部と、
前記映像内特徴点探索部で得られた特徴点の候補と、前記現在地周辺の探索目標とを比較照合して同一物としての対応関係を求め、前記候補の中から所定数の対応点を決定し、決定された対応点の三次元座標を前記記録媒体から受け取る映像内特徴点対応部と、
前記決定された対応点とその三次元座標を用いて、移動体の現時点の状況を示すカメラ位置，方向，姿勢等の三次元データを演算により決定するカメラ座標演算部と、
前記カメラ座標演算部で決定された三次元データの組み合わせ又はそのすべてを、単独で又は前記記録媒体に記録された地図、映像、属性等の情報とともに画面上に表示する現在地点表示部と、
を備える請求項１又は２項記載のナビゲーション装置。
【請求項４】
記録媒体生成用の移動体に備えられたカメラにより得られる現実の映像に基づき、当該移動体から観察される範囲における映像的な特徴点を三次元座標で記録した、前記記録媒体に記録すべき情報を生成する特徴点三次元地図生成装置を備える請求項１又は２記載のナビゲーション装置。
【請求項５】
前記特徴点三次元地図生成装置は、
前記記録媒体生成用の移動体に備えられたカメラから当該移動体の周囲画像を取得するカメラ映像取得部と、
前記カメラ映像取得部で取得された画像を記録する映像記録部と、
前記映像記憶部に記録された画像データから、所定数の特徴点を自動抽出する特徴点抽出部と、
前記特徴点抽出部で抽出された特徴点について、各フレーム画像内で自動追跡してフレーム画像間での対応関係を求める特徴点対応処理部と、
前記特徴点対応処理部で対応関係が求められた特徴点の三次元位置座標を求めるとともに、当該三次元位置座標から各フレーム画像に対応したカメラベクトルを求める特徴点・カメラベクトル演算部と、
前記特徴点・カメラベクトル演算部において求められる各特徴点の三次元位置座標とカメラベクトルの分布が最小になるように統計処理し、誤差の最小化処理を施した特徴点の三次元座標とカメラベクトルを自動的に決定する誤差最小化部と、
前記誤差最小化部で誤差の最小化処理が施されたカメラベクトルと特徴点又はその特徴点を含む小領域の画像の三次元形状とその三次元座標及びその分布を、ナビゲーション対象となる移動体の通路とともに三次元地図として配列し、特徴点を含む対象物等とともに、前記記録媒体に記録する３Ｄ地図生成記録部と、
を備える請求項４記載のナビゲーション装置。
【請求項６】
ナビゲーション対象となる移動体に備えられたカメラにより得られる現実の映像に基づき、当該移動体から観察される範囲における映像的な特徴点を三次元座標で生成するとともに、当該三次元座標からカメラベクトルを生成し、
生成された三次元座標に基づいて三次元地図を生成しつつ、特徴点の三次元分布及び当該移動体に備えられたカメラの三次元座標上の位置、速度、加速度、視点方向、３軸回転姿勢、３軸回転速度、３軸回転加速度を含む所定項目のうち、いずれか又はそれらを組み合わせた複数の項目を出力する特徴点三次元地図生成表示装置
を備えることを特徴とするナビゲーション装置。
【請求項７】
前記特徴点三次元地図生成表示装置は、
移動体に備えられたカメラから当該移動体の周囲画像を取得するカメラ映像取得部と、
前記カメラ映像取得部で取得された画像を記録する映像記録部と、
前記映像記憶部に記録された画像データから、所定数の特徴点を自動抽出する特徴点抽出部と、
前記特徴点抽出部で抽出された特徴点について、各フレーム画像内で自動追跡してフレーム画像間での対応関係を求める特徴点対応処理部と、
前記特徴点対応処理部で対応関係が求められた特徴点の三次元位置座標を求めるとともに、当該三次元位置座標から各フレーム画像に対応したカメラベクトルを求める特徴点・カメラベクトル演算部と、
前記特徴点・カメラベクトル演算部において求められる各特徴点の三次元位置座標とカメラベクトルの分布が最小になるように統計処理し、誤差の最小化処理を施した特徴点の三次元座標とカメラベクトルを自動的に決定する誤差最小化部と、
前記誤差最小化部で誤差の最小化処理が施されたカメラベクトルと特徴点又はその特徴点を含む小領域の画像の三次元形状とその三次元座標及びその分布を、ナビゲーション対象となる移動体の移動軌跡又は必要に応じて移動予定路とともに三次元地図として配列し、特徴点を含む対象物等とともに表示する３Ｄ地図生成表示部と、
を備える請求項６記載のナビゲーション装置。
【請求項８】
前記特徴点・カメラベクトル演算部は、
カメラベクトル及び特徴点の三次元座標演算に用いる任意の二つのフレーム画像Ｆｎ及びＦｎ＋ｍ（ｍ＝フレーム間隔）を単位画像として、所望の特徴点の三次元座標とカメラベクトルを求める単位演算を繰り返し、
前記二つのフレーム画像Ｆｎ及びＦｎ＋ｍの間のフレー厶画像については、簡素化した演算によりカメラベクトル及び特徴点の三次元座標を求め、
前記誤差最小化部は、
画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルと特徴点の三次元座標の誤差が最小になるようにスケール調整して統合し、最終の三次元座標を決定する請求項５又は７記載のナビゲーション装置。
【請求項９】
前記特徴点・カメラベクトル演算部は、
前記フレーム間隔ｍを、カメラから特徴点までの距離に応じて、カメラから特徴点までの距離が大きいほどｍが大きくなるように設定して単位演算を行う請求項８記載のナビゲーション装置。
【請求項１０】
前記特徴点・カメラベクトル演算部は、
求められたカメラベクトル又は特徴点の三次元座標の誤差の分布が大きい特徴点を削除し、必要が有れば、他の特徴点について再演算を行い、三次元座標演算の精度を上げる請求項５又は７記載のナビゲーション装置。
【請求項１１】
前記記録媒体と前記地点探索ナビゲーション装置が離間して備えられ、
基地局又は他の移動体に備えられた記録媒体に記録された前記所定の三次元情報が、通信回線を介して一又は二以上の地点探索ナビゲーション装置に送信される請求項１又は２記載のナビゲーション装置。
【請求項１２】
前記地点探索ナビゲーション装置は、ＧＰＳによって得られた緯度経度高度データにより、前記概略現在位置指定部による移動体の概略の現在位置を指定する請求項１又は６記載のナビゲーション装置。
【請求項１３】
前記地点探索ナビゲーション装置は、前記カメラ座標演算部で得られた現時点の移動体状況を示すカメラ位置，方向，姿勢等の三次元データを、緯度経度高度に変換してＧＰＳを補正する補正信号として出力し、映像的特徴点が得られない場合にＧＰＳから位置データを得るための補助信号とする請求項１２記載のナビゲーション装置。
【請求項１４】
前記ナビゲーション対象となる移動体は、自動車，航空機，船舶，人，ロボット，重機，宇宙船，深海探査船，移動部分を持つ機械等である請求項１又は６記載のナビゲーション装置。
【図３】
【図３５】
【図３６】
【図３５】
【図３６】
【国際公開番号】ＷＯ２００５／０３８４０２
【国際公開日】平成１７年４月２８日（２００５．４．２８）
【発行日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【出願番号】特願２００５−５１４７４８（Ｐ２００５−５１４７４８）
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１４９８９
【国際出願日】平成１６年１０月４日（２００４．１０．４）
【出願人】（５０３３６１９６１）
【Ｆターム（参考）】
【国際公開日】平成１７年４月２８日（２００５．４．２８）
【発行日】平成１９年１月１１日（２００７．１．１１）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１４９８９
【国際出願日】平成１６年１０月４日（２００４．１０．４）
【出願人】（５０３３６１９６１）
【Ｆターム（参考）】
[ Back to top ]