【課題】 カメラ位置とカメラ回転角を示すカメラベクトルにＧＰＳ等で得られる絶対座標を与えて校正を行い、高精度の位置情報を生成・取得する。
【解決手段】 移動体の周辺のビデオ映像を取得するとともに、移動体の位置計測データを計測する移動体計測部１０と、取得されたビデオ映像からカメラの三次元位置及び３軸回転位置を示すＣＶデータを生成するとともに、計測された位置計測データを取得するデータ生成部２０と、ＣＶデータ及び位置計測データを、基準時刻により関連付けられた時刻同期ＣＶデータと時刻同期計測データとして生成する時間軸整合部３０と、時刻同期ＣＶデータと時刻同期計測データを同一時間軸で関連付けて比較して相互に補完補正するＣＶ補正信号を生成するＣＶ補正部４０と、取得されたビデオ映像の各フレームに対応して、ＣＶ補正信号により補正された高精度ＣＶ値を出力する高精度ＣＶデータ出力部５０とを備える。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画映像をビデオ撮影するカメラのカメラ位置とカメラ方向を算出して、そのカメラ位置情報に基づいて任意の対象物の位置情報を取得する画像処理演算装置に関する。
特に、本発明は、ビデオ映像（動画映像）の複数のフレーム画像からカメラ位置とカメラ回転角を高精度に示すＣＶ（カメラベクトル）データを演算により自動的に求める高精度ＣＶ演算装置と、求められた高精度ＣＶデータに基づいて、走行，航行する移動体の進行方向や車輌姿勢等とともに三次元地図をリアルタイムに生成し、移動する移動体の現在状況を高精度に出力，表示するＣＶ方式三次元地図生成装置と、高精度ＣＶデータに基づく車輌等の移動体を制御可能なＣＶ方式航法装置に関する。
【背景技術】
【０００２】
一般に、移動する車輌等の位置情報を取得する手段として、ＧＰＳ測地衛星を利用したカーナビゲーションシステムが知られている（例えば、特許文献１−３参照）。
ＧＰＳシステムは、複数の測地衛星から発せられる時刻と位置データを、車輌に設置した受信装置で読み取り、各衛星からの電波到達時間の差から受信地点の三次元座標を演算により求め、車輌等の現在位置を表示するものである。
このようなＧＰＳシステムによれば、全地球的な範囲で受信地点の三次元位置を計測することができる。
【０００３】
ここで、ＧＰＳシステムで得られる位置精度としては、従来は、電離層における電波の反射や屈折等の影響があり、誤差が５０〜３００メートルというところであった。
近年は、緯度・経度・高度の既知の点を利用して電波到達時間の誤差を計測し、それを修正信号として送信して受信地点の誤差を修正する方法が付加されるようになり、誤差は十数メートル程度まで縮小されるようになった。
【０００４】
【特許文献１】特開平１１−３０４５１３号公報
【特許文献２】特開２００１−２５５１５７号公報
【特許文献３】特開２００２−３５７４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、位置精度の誤差が数十メートルの範囲にある従来のＧＰＳシステムでは、移動する対象物の三次元位置を高精度に計測することは困難で、例えば、数cmの精度で、リアルタイムに連続的な位置計測を行い、その位置情報を出力するようなことは不可能であった。
ここで、本願発明者によって、カメラが移動することによる画像の動きから、カメラの三次元位置との３軸回転姿勢を演算で求めるＣＶ（カメラベクトル）演算技術が開発されている。ＣＶ演算は、ＣＶ（カメラベクトル：Camera Vector）値を求める技術であり、カメラベクトル値は、計測のための映像を取得したカメラの三次元位置と３軸回転姿勢を示す値である。
【０００６】
ＣＶ演算で求められたＣＶ値は、取得された映像のカメラ位置を示すものであり、映像内での三次元計測が可能となるという優れた特性を持ち、ＧＰＳと比較して高精度な位置情報の取得が可能であった。
ただ、ＣＶ値は絶対値ではなく相対値であるためにスケールが変化し、距離を重ねるにつれて誤差が蓄積するという特性もあった。
【０００７】
この点、ＧＰＳシステムで取得される位置情報は絶対値であり、三次元位置を絶対値として計測できる。しかし、ＧＰＳで得られる位置情報は相対値としてみた場合の誤差が大きく、また、ＧＰＳの持つ精度は、固定局からの補正信号を受けて測位するＤＧＰＳ（Differential ＧＰＳ）方式であっても、その精度は１メートル程度である。
さらに、ＧＰＳシステムでは、当然のことながら、得られる位置情報はある計測地点のみの座標だけであり、また、ビデオ映像との結合もできない。従って、ＣＶ演算におけるような画像内での計測等は不可能であった。
【０００８】
このように、従来の測位システムや地図作成装置や航法装置等では、移動しながら対象物の絶対座標を高精度（例えば±１５cmの誤差）に測定して三次元位置情報を取得できる技術は存在していなかった。
そこで、本願発明者は、鋭意研究の結果、移動体に搭載したカメラで撮影される動画映像の複数のフレーム画像から充分な数の特徴点を自動検出し、各フレーム間で特徴点を自動追跡することで、多数の特徴点について重複演算してカメラ位置と回転角を示すＣＶデータを高精度に求めることができるとともに、そのカメラ位置情報を、ＧＰＳ等で得られる絶対座標により校正することで、移動体の三次元位置座標を高精度に取得し出力し得ることに想到した。
【０００９】
すなわち、本発明は、従来の技術が有する問題を解決するために提案されたものであり、画像処理技術を用いて、移動体の移動時に撮影されるカメラ映像に基づいて、移動体のカメラ位置を示す三次元座標をＧＰＳシステムより高精度に求め得ることができるとともに、三次元座標の誤差の累積をＧＰＳやＩＭＵ等で得られる絶対座標で補正することで、誤差数cmの範囲の高精度な位置情報の取得が可能となる高精度ＣＶ演算装置と、この高精度ＣＶ演算装置を備えたＣＶ方式三次元地図生成装置及びＣＶ方式航法装置の提供を目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の高精度ＣＶ演算装置は、請求項１に記載するように、移動体に固定され、当該移動体の移動とともに移動体周辺を撮影してビデオ映像を取得するとともに、当該移動体の位置データと移動量データを含む位置計測データを計測する移動体計測部と、前記移動体計測部で取得されたビデオ映像を記録し、当該ビデオ映像からカメラの三次元位置及び３軸回転位置を示すＣＶデータを生成するＣＶ演算を行うとともに、前記移動体計測部で計測された位置計測データを取得するデータ生成部と、前記データ生成部で生成されたＣＶデータを、基準時刻により関連付けられた時刻同期ＣＶデータとして生成するとともに、前記位置計測データを、基準時刻により関連付けられた時刻同期計測データとして生成する時間軸整合部と、前記時刻同期ＣＶデータと前記時刻同期計測データを同一時間軸で関連付けて比較し、当該比較結果により、時刻同期ＣＶデータと時刻同期計測データを相互に補完補正し、ＣＶデータの最終的なＣＶ値を補正するＣＶ補正信号を生成するＣＶ補正部と、前記データ生成部に記録されたビデオ映像を出力し、当該ビデオ映像の各フレームに対応して、前記ＣＶ補正信号により補正された高精度ＣＶ値を出力する高精度ＣＶデータ出力部と、を備える構成としてある。
【００１１】
また、本発明の高精度ＣＶ演算装置は、請求項２に記載するように、前記移動体計測部が、複数のビデオカメラ機器を備え、前記データ生成部が、前記複数のビデオカメラ機器により得られたビデオ映像の視差のある複数画像から、カメラ間視差によりカメラ座標系における三次元形状を生成する視差方式カメラ座標三次元化部と、前記カメラ座標系における三次元形状の中から三次元特徴部位を抽出し、当該三次元特徴部位をビデオ映像の隣接する複数のフレーム上で追跡し、又は当該フレームに対応する三次元形状上で追跡し、当該カメラ座標系における当該三次元特徴部位と当該カメラ位置から、静止座標系におけるカメラ座標と３軸回転角とをＣＶ演算により求めるマルチＣＶ演算部、又は、前記カメラ座標系による三次元形状の中から複数の三次元特徴点を抽出し、当該三次元特徴点をビデオ映像の隣接する複数のフレーム、又は当該フレームに対応する三次元形状上で追跡し、カメラ座標として取得した当該三次元特徴点と当該カメラ原点座標から、静止座標系におけるカメラ位置座標とその３軸回転角とをＣＶ演算により求めるマルチＣＶ演算部と、を備える構成としてある。
【００１２】
また、本発明の高精度ＣＶ演算装置は、請求項３に記載するように、前記移動体計測部が、移動体に固定され、当該移動体の移動とともに、移動体周辺を撮影して全周ビデオ映像を取得する全周ビデオカメラ機器部と、前記移動体に固定され、位置関係を既知とする複数のカメラによって移動体周囲の視差のある映像を取得する複数ビデオカメラ機器部とを有し、これら全周ビデオカメラ機器部と複数ビデオカメラ機器部が、相互に三次元的位置と姿勢の関係を既知として設置され、前記データ生成部が、前記全周ビデオカメラ機器部によって得られた全周ビデオ映像を記録する全周ビデオ映像記録部と、前記全周ビデオ映像記録部に記録された全周ビデオ映像の各フレーム画像内に複数の特徴点を抽出し、当該特徴点を全周ビデオ映像の隣接する複数のフレームに追跡し、前記移動体の座標系における当該複数の特徴点とカメラ位置関係に基づいて、静止座標系における全周カメラの位置座標と３軸回転角とを示すＣＶデータを演算により求めるＣＶ演算部と、前記複数ビデオカメラ機器部によって得られたビデオ映像の各フレーム画像内に複数の特徴点を抽出し、当該特徴点を、ビデオ映像の隣接する各フレーム画像内に追跡するとともに、カメラ間距離が既知の他のカメラの対応する各フレーム画像内に追跡することで、絶対距離を取得し、高精度のカメラ三次元座標と３軸回転姿勢を示すマルチＣＶデータを演算により求めるマルチＣＶ演算部と、を備え、前記時間軸整合装置部が、前記ＣＶデータと前記マルチＣＶデータに、時刻データを供給する時計部と、前記時計部から供給される時刻データに基づいて前記ＣＶデータを関連付けて記録する時刻同期ＣＶデータ記録部と、前記時計部から供給される時刻データに基づいて前記マルチＣＶデータを関連付けて記録する時刻同期マルチＣＶデータ記録部と、ＣＶデータの記録時刻と前記時計部から供給される時刻データとの時間差を補正して遅延調整ＣＶ信号を出力する遅延調整ＣＶ信号出力部と、マルチＣＶデータの記録時刻と前記時計部から供給される時刻データとの時間差を補正して遅延調整マルチＣＶ信号を出力する遅延マルチＣＶ信号出力部と、を備え、前記ＣＶ補正部が、前記複数ビデオカメラ機器部と前記全周ビデオカメラ機器部との設置位置の差による座標のズレを前記ＣＶデータに基づいて生成し、複数ビデオカメラ機器部の位置座標を全周ビデオカメラ機器部の位置に補正する機器座標位置補正部と、前記遅延調整マルチＣＶ信号の座標配列形状と、遅延調整ＣＶ信号の座標配列形状とを比較して、座標配列形状差を検出する座標配列形状比較部と、前記遅延調整マルチＣＶ信号の座標配列形状と、遅延調整ＣＶ信号の座標配列形状と、両者の対応関係がとれた区間の座標配列形状差から、３軸方向のスケール誤差を補正する補正信号を生成する補正信号生成部と、前記区間に対応するＣＶデータによる座標配列形状を、前記マルチＣＶデータによる座標配列形状と一致させるようにＣＶデータを補正するＣＶデータスケール補正部と、前記ＣＶデータスケール補正部における補正処理を、目的区間の全域に亘って繰り返すことにより、連続する位置補正ＣＶデータを生成する全域スケール補正部と、前記全域スケール補正部で補正されたＣＶデータの三次元座標を既知として、３軸回転を含む高精度ＣＶデータの再演算を行うＣＶ再演算部と、を備え、高精度ＣＶデータ出力部が、前記全周ビデオカメラ機器部で取得された全周ビデオ映像を出力する全周ビデオ映像出力部と、前記全周ビデオ映像出力の各画像フレームに同期して、前記全域スケール補正部で位置補正され、前記ＣＶ再演算部で再演算されて３軸回転補正されたＣＶデータ信号を出力する再演算ＣＶデータ出力部と、を備える構成としてある。
【００１３】
また、本発明の高精度ＣＶ演算装置は、請求項４に記載するように、前記データ生成部が、前記複数ビデオカメラ機器部の視差のある複数画像から、カメラ間視差によりカメラ座標系における三次元形状を生成する視差方式カメラ座標三次元化部と、前記視差方式カメラ座標三次元化部で取得された、前記カメラ座標系における三次元形状の中から複数の三次元的特徴部位を抽出し、当該三次元的特徴部位をビデオ映像の隣接するフレームに追跡し、又は当該フレームに対応する三次元形状に追跡し、当該三次元的特徴部位とカメラ位置関係に基づいて、前記移動体に備えられたカメラの静止座標系におけるカメラ位置座標とその３軸回転角をＣＶ演算により求めるマルチＣＶ演算部と、を備える構成としてある。
【００１４】
また、本発明の高精度ＣＶ演算装置は、請求項５に記載するように、前記移動体計測部が、移動体に固定され、当該移動体の移動とともに、移動体周辺を撮影して全周ビデオ映像を取得する全周ビデオカメラ機器部と、前記移動体に固定され、当該移動体の三次元位置を緯度経度高度で取得するＧＰＳ計測機器部とを有し、これら全周ビデオカメラ機器部とＧＰＳ計測機器部が、相互に三次元的位置と姿勢の関係を既知として設置され、前記データ生成部が、前記全周ビデオカメラ機器部によって得られた全周ビデオ映像を記録する全周ビデオ映像記録部と、前記全周ビデオ映像記録部に記録された全周ビデオ映像の各フレーム画像内に複数の特徴点を抽出し、当該特徴点を全周ビデオ映像の隣接する複数のフレームに追跡し、当該複数の特徴点とカメラ位置関係に基づいて、前記移動体に備えられた全周カメラの静止座標系における三次元位置座標と３軸回転角を示すＣＶデータを演算により求めるＣＶデータ取得部と、前記ＧＰＳ計測機器部から当該ＧＰＳ計測機器部の三次元位置を示す絶対座標データを取得する絶対座標データ取得部と、を備え、前記時間軸整合装置部が、前記ＣＶデータと前記絶対座標データに、時刻データを供給する時計部と、前記時計部から供給される時刻データに基づいて前記ＣＶデータを関係付けて記録する時刻同期ＣＶデータ記録部と、前記時計部から供給される時刻データに基づいて前記絶対座標データを関連付けて記録する時刻同期絶対座標記録部と、ＣＶデータの記録時刻と前記時計部から供給される時刻データとの時間差を補正して遅延調整ＣＶ信号を出力する遅延調整ＣＶ信号出力部と、絶対座標データの絶対座標信号出力時刻と計測時刻との時間差を補正して、遅延調整絶対座標信号を出力する遅延調整絶対座標信号出力部と、を備え、前記ＣＶ補正部が、前記ＧＰＳ計測機器部と前記全周ビデオカメラ機器部との設置位置の差による座標と３軸回転のズレを前記ＣＶデータに基づいて生成し、ＧＰＳ計測機器部の位置座標を全周ビデオカメラ機器部の位置に補正して遅延座標回転補正信号を出力する座標位置回転補正部と、前記座標回転補正信号により補正された前記遅延調整絶対座標信号の座標配列形状と、前記遅延調整ＣＶ信号の座標配列形状とを比較する座標配列形状比較部と、前記両座標配列の座標配列形状比較により、ＣＶ値の座標配列から外れる遅延調整絶対座標信号の地点を、絶対座標の精度変更地点として検出する絶対座標精度変更地点検出部と、前記絶対座標精度変更地点を排除した相対精度が高い区間のみを複数選択する高精度相対値区間選択部と、演算誤差の累積によりスケール誤差を含むＣＶデータについて、前記絶対座標データによる前記高精度相対値区間選択部に対応する地点の区間と、ビデオ映像から演算により求められたＣＶデータによる地点の区間を、時刻をパラメータとして対応させ、当該区間によって区切られた始点と終点の時刻の一致点に計測値が存在しないときは内挿によって一致点を求めて対応させる計測区間対応部と、前記対応関係がとれた区間の始点と終点の絶対座標間の距離を区間距離として、スケール誤差を含むＣＶデータを補正する補正信号を生成する補正信号生成部と、前記区間に対応するＣＶデータを、相対精度が高い絶対座標データによる区間距離データと一致させることで、当該ＣＶデータを補正するＣＶデータスケール補正部と、前記ＣＶデータスケール補正部における補正処理を、目的区間の全域に亘って複数回繰り返することにより、連続する高精度ＣＶデータを生成する全域スケール補正部と、を備え、高精度ＣＶデータ出力部が、前記全周ビデオカメラ機器部で取得された全周ビデオ映像を出力する全周ビデオ出力部と、前記全周ビデオ映像出力の各画像フレームに同期して、上記全域スケール補正されたＣＶデータ信号を出力するＣＶデータ出力部と、を備える構成としてある。
【００１５】
また、本発明の高精度ＣＶ演算装置は、請求項６に記載するように、前記ＣＶ補正部が、前記絶対精度変更地点検出部で検出された絶対精度変更地点の分布を統計処理する分布統計処理部と、前記絶対精度変更地点の分布の統計的中心を仮の真値として求める仮の真値演算部と、前記仮の真値に基づいて、絶対精度変更地点を始点及び終点とする区間の補正値を取得する仮の真値補正データ取得部と、前記区間の補正値に基づいて、絶対座標の配列を補正した高精度の絶対座標配列を求める絶対座標補正部と、を備え、前記高精度ＣＶデータ出力部が、前記高精度絶対座標配列を絶対座標の基準として、前記高精度ＣＶデータ出力部から出力されたスケール補正されたＣＶデータに絶対座標を与える絶対座標付加ＣＶデータ統合部と、各画像フレームに同期した、絶対座標が付加されたＣＶデータを出力する絶対座標ＣＶデータ出力部と、を備える構成としてある。
【００１６】
また、本発明の高精度ＣＶ演算装置は、請求項７に記載するように、前記移動体計測部が、絶対３軸回転姿勢を計測するＩＭＵ計測器を備え、前記データ生成部が、前記ＩＭＵ計測機器部により計測された絶対３軸回転姿勢のデータを取得する絶対３軸回転姿勢データ取得部を備え、前記時間軸整合部が、前記時計部から供給される時刻信号により前記絶対３軸回転姿勢データを関係付けて記録する時刻同期３軸回転姿勢記録部と、前記絶対３軸回転姿勢データの記録時刻と基準時刻のズレを補正して地点調整３軸回転姿勢データ信号を出力する遅延調整３軸回転姿勢出力部と、を備え、前記ＣＶ補正部が、前記遅延調整ＣＶ信号出力部からの３軸回転姿勢信号と前記遅延調整３軸回転姿勢出力部からの絶対回転３軸姿勢信号とを比較する３軸回転姿勢比較部と、前記３軸回転姿勢信号と前記絶対回転３軸姿勢信号の差を、予め定めた閾値と比較する３軸回転閾値比較部と、前記３軸回転姿勢信号と前記絶対回転３軸姿勢信号の差が前記閾値を超えたときに、補正区間を指定する３軸回転補正区間設定部と、前記補正区間における補正値を生成する３軸回転補正信号生成部と、を備え、前記高精度ＣＶデータ出力部が、前記ＣＶデータ出力部から出力されるＣＶデータの各画像フレームに同期した３軸回転姿勢データに、３軸回転補正を加えて出力する３軸回転補正ＣＶデータ出力部を備える構成としてある。
【００１７】
また、本発明の高精度ＣＶ演算装置は、請求項８に記載するように、前記データ生成部が、球面変換座標で記録されている前記全周ビデオ映像を、概略真下方向及び真上方向に平面変換する概略両極平面展開部と、球面変換座標で記録されている前記全周ビデオ映像を、複数の赤道面方向に平面変換する概略赤道平面展開部と、前記平面変換された画像に含まれる鉛直成分に基づいて鉛直方向を検出し、検出された鉛直方向をＣＶデータの演算に反映させる鉛直方向検出部と、を備える構成としてある。
【００１８】
また、本発明の高精度ＣＶ演算装置は、請求項９に記載するように、前記移動体計測部が、対象物を低縮尺で撮影する低縮尺全周ビデオ映像機器部と、前記対象物を高縮尺で撮影する高縮尺全周ビデオ映像機器部と、を備え、前記データ生成部が、前記低縮尺全周ビデオ映像機器部により、低縮尺ビデオ信号を取得する低縮尺ビデオ信号取得部と、前記高縮尺全周ビデオ映像機器部により、高縮尺ビデオ信号を取得する高縮尺ビデオ信号取得部と、前記低縮尺全周ビデオ映像機器部から出力される低縮尺全周ビデオ映像と、前記高縮尺全周ビデオ映像機器部から出力される高縮尺全周ビデオ映像とを比較し、両映像に含まれる共通特徴点を抽出してその対応点を取ることにより共通特徴点を検出する共通特徴点検出部と、検出された各共通特徴点に対し、重み関数により重みを与えた重み共通特徴点を設定する共通特徴点重み設定部と、前記低縮尺全周ビデオ映像から低縮尺の特徴点を検出する低縮尺特徴点検出部と、検出された低縮尺の特徴点を隣接するフレームに追跡する低縮尺フレーム間追跡部と、前記高縮尺全周ビデオ映像から高縮尺の特徴点を検出する高縮尺特徴点検出部と、検出された高縮尺の特徴点を隣接するフレームに追跡する高縮尺フレーム間追跡部と、前記低縮尺の特徴点，高縮尺の特徴点及び重み共通特徴点に基づいて、前記低縮尺全周ビデオ映像と高縮尺全周ビデオ映像を一括統合してＣＶ演算を行うＣＶ演算部と、前記ＣＶ演算部で得られた精度の高いＣＶ演算データを出力するＣＶデータ取得部と、を備える構成としてある。
【００１９】
また、本発明の高精度ＣＶ演算装置は、請求項１０に記載するように、二次元座標が既知として与えられた二次元地図部と、前記移動体計測部で取得されるビデオ映像中の、前記二次元地図部の地点座標と対応する共通地点部分を検出する共通点検出部と、検出された前記共通地点の二次元地図上の二次元座標を検出する共通点二次元座標検出部と、前記移動体計測部で取得されるビデオ映像中に、追跡可能な特徴点を抽出する特徴点抽出部と、抽出された前記特徴点を複数の隣接する画像フレームの中に対応点を追跡する特徴点追跡部と、複数の特徴点の対応点とカメラ位置関係に基づいて、静止座標系におけるカメラの三次元位置と３軸回転姿勢を求めるＣＶ演算部とを備え、ＣＶデータを取得するＣＶデータ取得部と、前記ＣＶデータ取得部からのＣＶデータに基づいて、前記移動体計測部で取得されるビデオ映像の共通点の三次元座標を取得する共通点三次元座標演算部と、前記共通点の三次元座標を二次元平面に変換する二次元平面座標変換部と、前記二次元地図部のデータから得られた共通点の二次元座標と、前記ビデオ映像から得られた共通点の三次元座標を二次元平面に投影して得られた複数の共通点二次元座標とを比較する共通点二次元座標比較部と、比較された前記両二次元座標の差分を検出し、差分が最小になる比較信号の位置座標を決定するとともに、同一比率でもう一つの座標軸方向の座標を補正し、前記共通点の補正量をその周囲に分散的に配分して、ＣＶ値の位置座標全体を補正するＣＶ値の位置座標と置換する共通点領域ＣＶ値補正部と、前記共通点部分で、地図と一致したカメラの位置座標データを固定し、前記共通点と前記特徴点の追跡結果に基づいて再度ＣＶ演算を行い、より精度の高い３軸回転データを取得するＣＶ補正演算部と、前記補正により、精度が高まった補正ＣＶ値を出力する補正ＣＶデータ出力部と、を備える構成としてある。
【００２０】
また、本発明の高精度ＣＶ演算装置は、請求項１１に記載するように、三次元座標が既知として与えられた三次元地図，二次元地図上に複数の既知の三次元座標点を座標とともに示す既知三次元点記載地図、又は複数の既知の三次元座標を示す三次元地点リストのうち、少なくともいずれか一つを備える地図部と、前記移動体計測部で取得されるビデオ映像のうち、前記地図部の既知の三次元地点と対応するビデオ映像の画像フレーム中に共通地点部分を検出する共通点検出部と、前記共通地点部分を共通特徴点として、前記ビデオ映像の複数の画像フレーム中に対応地点を抽出して追跡する共通特徴点追跡部と、前記共通特徴点を一般特徴点と区別して、演算時の優先順位を決める重み付けをする共通特徴点重み付け部と、重み付けされた複数の前記共通特徴点の追跡結果と、一般特徴点の追跡結果と、前記カメラの三次元位置関係とに基づいて、静止座標系における前記カメラの三次元位置と３軸回転姿勢を演算により求めるＣＶ演算部と、前記ＣＶ演算部からＣＶ値とともに出力される前記共通特徴点の三次元座標を取得する共通点三次元座標検出部と、前記地図部のデータから既知として得られる共通点三次元座標と、前記共通特徴点の三次元座標とを比較する共通点三次元座標比較部と、比較された前記両三次元座標の差分を検出する三次元差分検出部と、前記ＣＶ演算部から出力される前記一般特徴点の三次元座標を取得する一般特徴点三次元化部と、前記一般特徴点三次元化部で取得された一般特徴点の三次元座標をビデオ映像の各フレーム中の映像面に投影した二次元座標と、前記ビデオ映像の各フレーム中の一般特徴点のビデオ映像面の二次元座標との二次元差分を検出する画像二次元差分検出部と、前記三次元差分と前記二次元差分の値が最小になるように、ＣＶ演算のパラメータを変更して前記ＣＶ演算部でのCV演算を繰り返すＣＶ補正演算部と、前記補正により、精度が高まった補正ＣＶ値を出力するＣＶデータ取得部と、を備える構成としてある。
【００２１】
また、本発明のＣＶ方式三次元地図生成装置は、請求項１２に記載するように、請求項１乃至１１記載の前記高精度ＣＶ演算装置の高精度ＣＶデータ出力部から出力されるビデオ映像中に、三次元地図として生成すべき任意の対象物を指定する対象物指定部と、前記対象物指定部で指定された対象物を三次元計測する対象物三次元計測部と、前記対象物指定部で三次元計測されたデータから、三次元地図に記載する形式で三次元部品を生成する三次元地図部品生成部と、三次元地図としての三次元空間を定義する三次元空間定義部と、前記対象物の座標上の位置を測量して、その三次元座標を求める対象物地点測量部と、前記三次元地図部品を、前記三次元空間定義部で定義された三次元空間内に、前記対象物地点測量部の測量により求められた三次元座標により三次元配置を決定する三次元座標決定部と、前記三次元地図部品の三次元座標配置を繰り返して、三次元地図を出力する三次元地図出力部と、を備える構成としてある。
【００２２】
また、本発明のＣＶ方式三次元地図生成装置は、請求項１３に記載するように、三次元地図を構成する複数の三次元部品を記憶した三次元部品データベースと、前記三次元部品データベースに記憶された三次元部品の中から、前記対象物指定部で指定された対象物と比較する候補となる三次元部品を選択する三次元部品候補選択部と、前記対象物指定部で指定されたビデオ映像の一部と、前記三次元部品候補選択部から出力される三次元部品とを比較する比較部と、前記比較部での比較の結果、不一致の場合に不一致信号を出力し、当該不一致信号に基づいて前記三次元部品候補選択部から次の候補となる三次元部品を出力させる不一致信号出力部と、前記比較部での比較の結果、一致の場合に一致信号を出力する一致信号出力部と、前記一致信号により、前記三次元部品候補部品選択部から最終的に出力された三次元部品を一致部品とする一致部品選択部と、前記一致部品が対応するビデオ映像と異なる場合に、当該一致部品を修正して修正部品を生成する部品修正部と、を備え、前記一致部品又は修正部品を前記三次元地図部品生成部に送出する構成としてある。
【００２３】
また、本発明のＣＶ方式三次元地図生成装置は、請求項１４に記載するように、請求項１乃至１１記載の前記高精度ＣＶ演算装置の高精度ＣＶデータ出力部から出力されるビデオ映像中に、三次元地図として生成すべき任意の対象範囲を指定する対象範囲指定部と、前記対象範囲指定部で指定された対象範囲中に、計測点密度を指定する計測点密度指定部と、指定された前記対象範囲と前記計測点密度に基づいて、計測点を生成する計測点生成部と、前記計測点を前記ビデオ映像の隣接する複数のフレームに亘って追跡する計測点追跡部と、前記高精度ＣＶ演算装置の高精度ＣＶデータ出力部から出力されるＣＶ値と、前記計測点の追跡により追跡データが取得された計測点に基づいて、計測点の三次元座標を演算により求める計測点演算部と、前記対象範囲にあるすべての計測点の三次元座標分布を求める対象範囲測量部と、前記計測点の三次元分布から計測点が作る三次元形状を生成する三次元形状生成部と、前記ビデオ映像中の前記対象範囲に、直線部分から構成される対象物の一部を特定計測点として指定し、その属性とともに登録する特定計測点指定登録部と、前記特定計測点が特定されることにより、当該特定計測点の属性が前記計測点生成部に送出され、一般の計測点と同様に追跡され演算されて、前記計測点演算部に出力され、前記計測点演算部から出力される三次元座標データ中から、特定計測点のデータのみを抽出し、その属性に適合した形状を与える特定計測点形成部と、前記特定計測点形成部から出力される特定計測点で形成される三次元形状を、特定計測点以外の前記計測点から得られた三次元形状とともに統合する三次元座標統合部と、前記統合された三次元形状に基づいて三次元地図を生成して出力する三次元地図出力部と、を備える構成としてある。
【００２４】
また、本発明のＣＶ方式三次元地図生成装置は、請求項１５に記載するように、前記計測点密度指定部が、前記高精度ＣＶ演算装置の高精度ＣＶデータ出力部から取得したＣＶ値に基づいて、ビデオ映像の回転成分を停止した映像を生成する画像安定化部と、前記回転成分を停止したビデオ映像の動きの原点となる湧きだし点を決定する湧きだし点決定部と、任意の指定範囲の画像フレームを小領域の画像ブロックの集合に分割する画像ブロック分割部と、前記画像ブロックのすべてについて、特徴点となり得るブロックを抽出する特徴点抽出部と、前記画像ブロックのすべてについて、境界線の一部となり得るブロックを抽出する境界点抽出部と、前記画像ブロックの前記特徴点及び境界点以外の点を領域点として抽出する領域点抽出部と、前記画像ブロックの各点を、湧きだし点から放射状に伸びる方向に結合し、その順番と隣り合う関係を保つように固定するとともに、隣り合う各ブロック間の距離関係は任意に伸縮可能にゴム紐結合する二次元ゴム紐結合映像生成部と、を備え、前記計測点生成部が、前記特徴点を計測点として選択する特徴点選択部と、前記領域点とそれを取り囲む特徴点及び境界点で作る領域を生成する領域生成部と、前記特徴点と計測点及び領域点を計測領域として、追跡計測対象とする計測点決定部と、を備え、前記計測点追跡部が、前記計測点としての特徴点，境界点及び計測領域を、湧き出し点方向に沿って、隣接する複数のフレームに亘って追跡し、前記計測点演算部が、前記計測点の追跡結果と前記高精度ＣＶ演算装置の高精度ＣＶデータ出力部から出力されるＣＶデータに基づいて、計測点の三次元座標及び領域の三次元座標を取得し、前記計測点測量部が、前記計測点及び計測領域を囲む境界点の三次元座標を前記対象範囲に亘って繰り返し演算により求め、前記計測点追跡部において追跡不可能な画像ブロックがある場合には、当該画像ブロックを演算済みの既知の三次元座標に基づいて内挿により求め、その三次元位置を予想して対象範囲を測量し、前記三次元形状生成部が、前記特徴点と境界点の三次元座標から、特徴点と境界点が所属する領域を決定する境界線所属分類部と、前記特徴点と境界点の所属により、前記ブロックのゴム紐結合の一方を切断して、片方の領域間の結合を断ち、もう一方の領域に結合させるゴム紐切断部と、前記対象範囲のすべてのブロックを、特徴点，境界点，領域点に分類し、特徴点は計測点として求めた座標で固定し、座標が定まらない境界点及び領域点はゴム紐上で内挿し、それぞれの三次元座標を与えて、すべてのブロックを三次元的にゴム紐結合する三次元ゴム紐結合映像部と、を備え、前記三次元座標統合部が、前記画像ブロック分割部の分割密度を、前記三次元ゴム紐結合映像が生成される毎に、粗い密度から順次より高密度に変更し、前期画像ブロック分割からの工程の再演算を行わせる画像分割密度変更部と、最初に設定された前記画像ブロック分割の密度により前記三次元ゴム紐結合された画像を一旦記録し、次工程において、より詳細な三次元形状を順次生成し、当該工程を繰り返して所定の密度に至るまで順次三次元形状を生成し、より詳細な三次元映像を生成する三次元画像記録統合部と、を備える構成としてある。
【００２５】
また、本発明のＣＶ方式三次元地図生成装置は、請求項１６に記載するように、視野が重複し視差のあるビデオ映像を取得する複数のビデオカメラを備えた複数カメラ撮影部と、移動体とともに移動する前記複数のビデオカメラで撮影された視差のあるビデオ映像に基づいて、カメラ座標系の三次元形状を演算により求めて、カメラ座標系三次元距離分布データを取得する視差方式カメラ座標三次元化部と、を備えた視差方式三次元化装置と、前記複数カメラを含むカメラ位置のＣＶデータを取得する請求項１乃至１１記載の前記高精度ＣＶ演算装置と、前記視差方式三次元化装置により得られた前記カメラ座標三次元距離分布データを、前記高精度ＣＶ演算装置で得られた高精度ＣＶ値に基づいて、連続的に静止座標系における三次元距離分布データに変換する静止座標系変換部と、前記ビデオ映像の進行にともなって重複しながら連続的に得られる前記静止座標系における三次元距離分布データを結合して、静止座標系に統合する静止座標系合成結合部と、を備える構成としてある。
【００２６】
また、本発明のＣＶ方式三次元地図生成装置は、請求項１７に記載するように、前記静止座標系合成結合部で静止座標系に統合される三次元距離分布データを、静止座標系における静止物体のみで構成する静止物体分離空間構成部と、前記静止座標系合成結合部で静止座標系に統合される三次元距離分布データから、時間的変動のある三次元データを分離して、運動対象物として分離記録する運動対象物分離部と、を備える構成としてある。
【００２７】
また、本発明のＣＶ方式航法装置は、請求項１８に記載するように、請求項１２乃至１７記載の前記ＣＶ方式三次元地図生成装置と、前記ＣＶ方式三次元地図生成装置により生成される三次元地図情報を有する車載可能な三次元地図装置と、三次元データ及び属性を含む走行に必要な所定情報を、前記三次元地図装置に変更可能に入力する走行経路入力装置と、走行車輌に備えられた車載カメラから、広角映像データと走行時点の比較的低精度のＣＶデータを出力する車載式カメラと概略ＣＶ演算装置と、前記概略ＣＶ演算装置から出力された概略ＣＶデータに基づいて、前記走行車輌の現在位置と姿勢を示す三次元データを取得し、当該三次元データを三次元地図と概略対応させて三次元空間構成を検出し、対象物の認識以前に緊急対応が必要な障害物を関知し、最優先で回避及び停止の緊急制御信号をリアルタイム制御装置に送出し、前記車載式カメラと概略ＣＶ演算装置により、走行路から可視範囲にあり、走行目的及び交通に関係する複数の対象物からなる三次元空間構成を検出する対象物空間構成装置と、前記対象物空間構成装置で検出された対象物空間構成データと、前記走行車輌の概略三次元位置データを照合し、走行路から可視範囲にあり、走行目的に合致し、交通に関係する信号機，道路標識，道路標示を含む個々の対象物の三次元形状を、前記三次元地図の情報と照合して形状及び属性を特定して認識する対象物認識装置と、前記対象物認識装置による複数の対象物の三次元形状又は部品形状を三次元追跡し、又は特定以前の三次元空間構成の段階で特徴ある形状を選択して切り取って追跡し、当該追跡結果から、高精度のＣＶデータを取得する請求項１乃至１１記載の前記高精度ＣＶ演算装置と、前記高精度ＣＶ演算装置で取得されるＣＶデータと、前記対象物空間構成装置の出力と、前記対象物認識装置の対象物認識結果と、車載レーダを含む車載計測器の出力に基づいて、前記走行車輌の現状判断結果を出力する現状判断装置と、前記現状判断装置の出力により、前記走行車輌のアクセル，ブレーキ，ハンドルを含む所定の操作部を制御し、又は前記走行経路入力装置のデータを変更するリアルタイム制御装置と、を備える構成としてある。
【００２８】
さらに、本発明のＣＶ方式航法装置は、請求項１９に記載するように、前記高精度ＣＶ演算装置の出力，前記対象物認識装置の認識結果、及び前記現状判断装置の現状判断結果を、二次元地図又は三次元地図上にリアルタイムに表示するリアルタイム表示装置を備える構成としてある。
【００２９】
以上のような構成からなる本発明の高精度ＣＶ演算装置によれば、動画映像の複数のフレーム画像から、カメラ位置、カメラ回転角等を高精度に示すＣＶ（カメラベクトル）を演算により自動的に求めることができる。そして、求められたＣＶデータをＧＰＳ等で得られる位置情報で補正することで、相対値であるＣＶデータに絶対座標を与え、スケールキャリブレーションを実行することで、高精度で高サンプリング可能な高精度ＣＶ演算装置が実現する。
絶対座標校正を行うには、通常はその計器等の位置で校正する必要があるが、ＣＶ演算を利用することにより、計測器等の位置は勿論のこと、ビデオ映像に映っている任煮の地点の座標において校正することもできるという極めて優れた長所がある。
【００３０】
ＣＶ演算によれば、相対精度ではほぼ±１５cm程度の精度が実現可能であり、これとＧＰＳの統計処理による絶対精度を相互に組み合わせることにより、ＣＶ演算によりＧＰＳの絶対座標校正を行い、同時にＧＰＳの絶対座標でＣＶ演算の相対座標を校正することができる。
これにより、高精度の位置情報を生成・取得することができ、この位置情報を用いてほぼ±１５cmの絶対精度を持つ三次元地図を生成することが可能となる。
そして、このような本発明の高精度ＣＶ演算装置を用いて三次元地図生成装置や航法装置を実現することで、ほぼ±１５cmの精度で、走行車輌等の制御が可能となる。
【発明の効果】
【００３１】
本発明によれば、動画映像の複数のフレーム画像から、カメラ位置、カメラ回転角等を高精度に示すＣＶ（カメラベクトル）を演算により自動的に求めるとともに、得られたＣＶデータをＧＰＳ等で得られる位置情報で補正することがで、相対値であるＣＶデータに絶対座標を与え、スケールキャリブレーションを実行することができる。
これにより、高精度の位置情報を生成・取得することができ、得られた高精度の位置情報を用いて、三次元地図を生成し、また、走行車輌等の制御が可能な航法装置を実現することができる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明に係る高精度ＣＶ演算装置と、この高精度ＣＶ演算装置を備えるＣＶ方式三次元地図生成装置及びＣＶ方式航法装置の好ましい実施形態について、図面を参照しつつ説明する。
ここで、以下に示す本発明の高精度ＣＶ演算装置，ＣＶ方式三次元地図生成装置及びＣＶ方式航法装置は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような所定の処理や機能、例えば、特徴点の自動抽出，抽出した特徴点の自動追跡，特徴点の三次元座標の算出，カメラベクトルの演算等を行わせる。このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
【００３３】
［高精度ＣＶ演算装置］
まず、本発明に係る高精度ＣＶ演算装置の基本概念について説明する。
本発明の高精度ＣＶ演算装置は、ビデオ映像の複数のフレーム画像から、カメラ位置とカメラ回転角等を高精度に示すＣＶ（カメラベクトル）を演算により自動的に求めるとともに、求められたＣＶデータをＧＰＳ等で得られる位置情報で補正することで、相対値であるＣＶデータに絶対座標を与え、スケールキャリブレーションを実行する装置である。
【００３４】
［基本概念］
画像計測装置や測量装置，走行車輌等の航法装置を目的とする場合、画像とその画像から求めたＣＶ値を用いることができるが、動画像からＣＶ値を求める場合、スケールも相対値となるため、長区間のＣＶ演算データは、誤差が累積して誤差が増加することになる。従って、ＣＶ演算そのままでは、特に長距離区間における計測等で誤差の累積が生じてしまうが、ＧＰＳやＩＭＵ（Inertial Measuring Unit：慣性姿勢計測装置）からの絶対値データでＣＶ値を補正することで、誤差の累積を補正・校正することができる。
そこで、本発明では、ＣＶ演算において、ＧＰＳ等の絶対誤差の少ない計測データを結合させることで、より高精度なＣＶ方式の画像計測，画像測量，画像位置決め，画像航法等の装置を実現するようにしたものである。
【００３５】
ここで、ＣＶ演算とはＣＶ値を求めることを意味し、求められた結果をＣＶ値，ＣＶデータと呼ぶ。ＣＶという表記は、カメラベクトル：Camera Vectorの略記であり、カメラベクトルとは計測等のために映像を取得するビデオカメラ等のカメラの三次元位置と３軸回転姿勢を示す値である。
ＣＶ演算は、動画像（ビデオ映像）を取得し、その映像内の特徴点を検出し、それを隣接する複数のフレームに追跡し、カメラ位置と特徴点の追跡軌跡とが作る三角形を画像内に数多く生成し、その三角形を解析することで、カメラの三次元位置とカメラの３軸回転姿勢を求めるものである。
【００３６】
ＣＶ演算では、ＣＶ値を求める過程で、同時に映像内の特徴点についても三次元座標が同時に求まることが重要な特性である。
また、動画像から演算で求められるＣＶ値は、動画像の各フレームに対応して、三次元のカメラ位置と三次元のカメラ姿勢とが同時に求まる。しかも、原理的には一台のカメラで、映像と対応してＣＶ値が求められる特性は、ＣＶ演算でしか実現し得ない優れた特徴である。
例えば、他の方法による計測手段（ＧＰＳやＩＭＵ等）では、動画像の各フレームと、その三次元的カメラ位置と三次元的カメラ姿勢とを同時に取得するためには画像フレームと計測サンプリング時刻を高精度で、しかも完全に同期しなければならないために、巨額の装置となり、実質的には実現が困難である。
【００３７】
動画像から演算で求められるＣＶデータは、加工しない段階では相対値であるが、短区間であれば高精度で三次元位置情報と３軸回転の角度情報を取得できる。
また、ＣＶデータは画像から取得するため、取得されたデータは相対値であるが、画像内の任意の対象物との位置関係を計測することができるという他の方法では実現は可能な優れた特性を備える。
また、画像に対応したＣＶ値が求まるので、画像内計測や測量において、画像から直接にカメラ位置とその３軸回転姿勢を求めることができるＣＶ演算は画像内計測や画像内測量に好適となる
【００３８】
これに対して、ＧＰＳシステムは、絶対座標を持つという優れた特性を有するが、ＧＰＳデータの取得におけるサンプリング周波数は、毎秒１０回程度であり、動画像に同期することは困難である。
従って、高速で移動する車輌等に取り付けたカメラ機器とＧＰＳ装置では、測量用カメラの画像や計測器とＧＰＳの同期を取ることは極めて困難であり、画像に同期した測量装置や精度の高い位置決め装置，航法装置等は実現されていない。
ましてや、カメラの３軸姿勢とＧＰＳ等から取得される３軸回転姿勢を同期した形で検出することは位置の同期以上に困難である。
【００３９】
ＧＰＳによる位置決めと３軸回転姿勢位置決めにおける誤差の要因としては、地平近くのＧＰＳ衛星は電離層の影響を強く受け、マルチパスによる誤差を発生させて、計測に大きな誤差を発生させるものである。
また、受信可能な衛星が地平近くで切り替わる時点では、計測値の精度が変化して計測位置が不連続となる相対誤差を発生させる。
一方で、ＧＰＳは絶対距離計測であるため、計測地点で種々の誤差が発生することがある、誤差は累積せず、長距離計測になるほど、計測距離に対する誤差の比率は小さくなるという特性を持つ。
【００４０】
そこで、本発明の高精度ＣＶ演算装置では、ＣＶ方式計測とＧＰＳ方式計測が、それぞれ相対座標と絶対座標であり、それぞれが互いの不利な面を相補う特性を持つことに着目し、両者の位置情報を相互に補完・補正し得る装置を実現したものである。
すなわち、本発明の高精度ＣＶ演算装置によれば、取得されるＣＶ（カメラベクトル）は、スケールに関して相対値であるために、累積誤差を含むことになるが、ＧＰＳデータ等によって絶対座標を与え、累積誤差を大幅に減少させることができる。ＣＶデータをＧＰＳで補正することで、絶対座標を与えてスケールキャリブレーションを実行することができ、高精度で高サンプリング可能な高精度ＣＶ演算装置が実現することになる。
絶対座標校正するためには、通常であればその計測器等の位置で校正する必要があるが、ＣＶ演算を用いることで、計測器の位置は勿論のこと、映像に映っている地点の座標によって校正することも可能となる。
【００４１】
そして、このような高精度ＣＶ演算装置を用いてビデオカメラの位置が正確に計測できることから、これを利用した画像内測量が可能となり、ＣＶ方式の測量装置が実現でき、このＣＶ方式測量装置によって高精度な三次元地図を生成することができる。
なお、三次元地図とは、通常の地図と同様に、キロメートル単位の広範囲を扱う実際の地図等であってもよいが、同様の原理により、数メートル単位、あるいは顕微鏡下の極めて狭い範囲の三次元形状を示すものであってもよい。
【００４２】
さらに、三次元地図と車載カメラ等の映像に基づくＣＶ演算により、リアルタイムに高精度ＣＶ演算を行うことで、ＣＶ方式航法装置が実現できる。
ここで、ＣＶ方式航法装置とは、交通標識や道路標示や信号を認識・理解して、予定された場所まで車輌等を走行制御する自動運転装置等であるが、ＣＶ方式航法装置を用いることで、周囲を認識し、判断して行動可能なロボットの目と頭脳を実現することも可能であり、小型化によるロボット技術への利用・応用も可能となる。
【００４３】
［基本構成］
以下、図１を参照して、本発明に係る高精度ＣＶ演算装置の一実施形態について説明する。図１は、本発明の一実施形態に係る高精度ＣＶ演算装置の基本構成を示すブロック図である。また、図２は、図１に示す高精度ＣＶ演算装置の詳細を示すブロック図である。
これらの図に示すように、高精度ＣＶ演算装置１は、移動体計測部１０と、データ生成部２０と、時間軸整合部３０と、ＣＶ補正部４０と、高精度ＣＶデータ出力部５０を備え、さらに、選択的にＣＶ映像合成表示部６０を備えている。
【００４４】
移動体計測部１０は、ＣＶデータを取得する目的で、走行車輌等の移動体に固定され、移動体の移動とともに移動体周辺を撮影し、映像を取得するビデオカメラ機器部１１を備える。
また、移動体計測部１０は、ＣＶデータを補正する目的でのビデオカメラ機器１１と、自分自身の位置に関するデータ及び移動量データを計測できる位置計測機器部１２を備える。位置計測器基部１２としては、後述するように、絶対座標を取得するＧＰＳ機器やＩＭＵ機器等により構成されるが、しばしば視点を異にする複数のビデオカメラや、視差のある画像を取得可能な複数カメラにより構成することもできる。
【００４５】
ここで、移動体としては、図３及び図４に示すように、自動車のような走行車輌が該当し、移動体２の天井部等にＣＶデータ取得様のビデオカメラ機器部１１が備えられる。
なお、図３，図４に示す例では、移動体２に搭載されるビデオカメラ機器部１１として、走行する移動体２の周辺の広範囲映像を撮影可能な全周カメラ１１ａを備えている。広範囲映像を撮影，取得するカメラとしては、広角レンズや魚眼レンズ付きカメラ、移動カメラ、固定カメラ、複数のカメラを固定したカメラ、３６０度周囲に回転可能なカメラ等があり、車輌に複数のカメラが一体的に固定され、移動体２の移動に伴って広範囲映像を撮影する全周カメラ１１ａを使用することができる。
【００４６】
全周カメラ１１ａによれば、図４に示すように、移動体２の天井部に設置されることで、カメラの３６０度全周囲の映像を複数のカメラで同時に撮影することができ、移動体２が移動することで、広範囲映像を動画データとして取得できる。
ここで、全周カメラは、カメラの全周映像を直接取得できるビデオカメラであるが、カメラの全周囲の半分以上を映像として取得できれば全周映像として使用できる。また、画角が制限された通常のカメラの場合でも、ＣＶ演算の精度としては低下するが、全周映像の一部分として取り扱うことが可能である。
【００４７】
なお、全周カメラ１１ａで撮影された広範囲映像は、一枚の画像として、撮影時の画角に一致する仮想球面に貼り付けることができる。仮想球面に貼り付けられた球面画像データは、仮想球面に貼り付けた状態の球面画像（３６０度画像）データとして保存・出力される。仮想球面は、広範囲映像を取得するカメラ部を中心点とした任意の球面状に設定することができる。
図５（ａ）は球面画像が貼り付けられる仮想球面の外観イメージであり、同図（ｂ）は仮想球面に貼り付けられた球面画像の一例である。また、同図（ｃ）は、（ｂ）の球面画像をメルカトール図法に従って平面展開した画像例を示す。
【００４８】
データ生成部２０は、移動体計測部１０のビデオカメラ機器部による映像を記録するビデオ映像記録部２１を備えるとともに、記録されたビデオ映像から、カメラの三次元位置及び３軸回転位置を表すＣＶ演算を行うＣＶデータ演算部２３を備える。ＣＶデータ演算部２３におけるＣＶ演算の詳細については後述する（図６〜図１５参照）。
また、データ生成部２０は、移動体計測部１０の位置計測機器部から計測データを取得する計測データ取得部２２を備える。
【００４９】
時間軸整合部３０は、基準となる時刻を発生する時計部３１を備える。
そして、時間軸整合部３０は、データ生成部２０のＣＶ演算部によって求められたＣＶデータを、基準時刻によって関連付けて時刻同期ＣＶデータを生成する時刻同期ＣＶデータ生成部３２と、データ生成部２０の計測データ取得部からの計測データを、基準時刻によって関連付けて時刻同期計測データを生成する時刻同期計測データ生成装置部３３を備える。
ここで、時間軸整合部３０としては、移動体計測部１０に備えられる機器装置のどちらかの時刻に合わせることでも成立する。例えば、移動体計測部１０のビデオカメラ機器部において、映像として他方の機器のデータを表示し、あるいは、そのデータに同期する時刻表示を映像として取得しても時間軸の整合を取ることができる。
【００５０】
ＣＶ補正部４０は、時間軸整合部３０で生成される時刻同期ＣＶデータと時刻同期計測データとを同一時間軸で比較して、両者を同一時間軸で関連づける時間軸比較部４１を備える。
そして、ＣＶ補正部４０は、時間軸比較部４１の結果により、時刻同期ＣＶデータと時刻同期計測データを相互に補完補正し、最終的にＣＶ値を補正するためのＣＶ補正信号を生成するＣＶ補正信号生成部４２を備える。
【００５１】
高精度ＣＶデータ出力部５０は、ビデオ映像記録部２１のビデオ映像を出力するビデオ映像出力部５２を備えるとともに、ビデオ映像の各フレームに対応して、ＣＶ補正部４２で生成されるＣＶ補正信号により高精度になったＣＶ値を出力するＣＶデータ出力部５１を備える。
さらに、ビデオ映像出力と高精度ＣＶデータは同一画面で表示するＣＶ映像合成表示装置部６０を備えることができる（図１参照）。
【００５２】
ＣＶ映像合成表示装置部６０は、ビデオ映像のカメラ位置に相当する場所に、当該フレームのＣＶデータ及びその前後のフレームのＣＶデータを重ねて表示する。ＣＶデータは、その三次元位置と３軸回転を示しており、ビデオ映像に重ねて表示することで、ビデオ映像の各フレームでＣＶ値を同時に観察できる。ＣＶデータをビデオ映像に重ねた表示した画像例を図１５に示す。
なお、ビデオ映像内にカメラ位置を正しく表示すると、ＣＶ値が示すビデオ映像内の位置は画像の中心となり、カメラ移動が直線に近い場合は、すべてのフレームのＣＶ値が重なって表示されてしまうので、例えば図１５に示すように、敢えてカメラ位置から真下に１メートルの位置を表示することが適切である。あるいは道路面までの距離を基準として、道路面の高さにＣＶ値を表示するのがより適切である。
【００５３】
［ＣＶデータ演算部］
次に、高精度ＣＶ演算装置１における基本となるＣＶ演算の詳細について図６〜図１５を参照しつつ説明する。
上述のように、ＣＶ演算はデータ生成部２０のＣＶデータ演算部２３で行われる。ＣＶデータ演算部２３は、図６に示すように、特徴点抽出部２３ａと、特徴点対応処理部２３ｂと、カメラベクトル演算部２３ｃと、誤差最小化部２３ｄと、三次元情報追跡部２３ｅと、高精度カメラベクトル演算部２３ｆを備えている。
【００５４】
特徴点抽出部２３ａは、移動体計測部１０のビデオカメラ機器部１１で撮影されビデオ映像記録部２１に一時記録された動画像データの中から、十分な数の特徴点を自動抽出する。
特徴点対応処理部２３ｂは、自動抽出された特徴点を、各フレーム間で各フレーム画像内において自動的に追跡することで、その対応関係を自動的に求める。
カメラベクトル演算部２３ｃは、対応関係が求められた特徴点の三次元位置座標から各フレーム画像に対応したカメラベクトルを演算で自動的に求める。
誤差最小化部２３ｄは、複数のカメラ位置の重複演算により、各カメラベクトルの解の分布が最小になるように統計処理をし、誤差の最小化処理を施したカメラ位置方向を自動的に決定する。
【００５５】
三次元情報追跡部２３ｅは、カメラベクトル演算部２３ｃで得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで順次画像の一部として得られる三次元情報に基づいてい、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレームの画像に沿って自動追跡を行う。ここで、三次元情報（三次元形状）とは、主に特徴点の三次元分布情報であり、すなわち、三次元の点の集まりであり、この三次元の点の集まりが三次元形状を構成する。
高精度カメラベクトル演算部２３ｆは、三次元情報追跡部２３ｅで得られた追跡データに基づいて、カメラベクトル演算部２３ｃで得られるカメラベクトルより、さらに高精度なカメラベクトルを生成，出力する。
そして、以上のようにして得られたカメラベクトルが時間軸整合部３０に入力され、位置計測データによるＣＶ補正が行われることになる。
【００５６】
複数の画像（動画又は連続静止画）の特徴点からカメラベクトルを検出するには幾つかの方法があるが、図６に示す本実施形態のＣＶデータ演算部２３では、画像内に十分に多くの数の特徴点を自動抽出し、それを自動追跡することで、エピポーラ幾何学により、カメラの三次元ベクトル及び３軸回転ベクトルを求めるようにしてある。
特徴点を充分に多くとることにより、カメラベクトル情報が重複することになり、重複する情報から誤差を最小化させて、より精度の高いカメラベクトルを求めることができる。
【００５７】
ここで、カメラベクトルとは、カメラの持つ自由度のベクトルをいう。
一般に、静止した三次元物体は、位置座標（Ｘ，Ｙ，Ｚ）と、それぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度を持つ。従って、カメラベクトルは、カメラの位置座標（Ｘ，Ｙ，Ｚ）とそれぞれの座標軸の回転角（Φｘ，Φｙ，Φｚ）の六個の自由度のベクトルをいう。なお、カメラが移動する場合は、自由度に移動方向も入るが、これは上記の六個の自由度から微分して導き出すことができる。
このように、本実施形態のカメラベクトル演算装置１によるカメラベクトルの検出は、カメラは各フレーム毎に六個の自由度の値をとり、各フレーム毎に異なる六個の自由度を決定することである。
【００５８】
以下、ＣＶデータ演算部２３における具体的なカメラベクトルの検出方法について、図７以下を参照しつつ説明する。
まず、移動体計測部１０のビデオカメラ機器部１１で取得された画像データはビデオ映像記録部２１を経て（又は直接）、ＣＶデータ演算部２３の特徴点抽出部２３ａに入力され、特徴点抽出部２３ａで、適切にサンプリングされたフレーム画像中に、特徴点となるべき点又は小領域画像が自動抽出され、特徴点対応処理部２３ｂで、複数のフレーム画像間で特徴点の対応関係が自動的に求められる。
具体的には、カメラベクトルの検出の基準となる、十分に必要な数以上の特徴点を求める。画像間の特徴点とその対応関係の一例を、図７〜図９に示す。図中「＋」が自動抽出された特徴点であり、複数のフレーム画像間で対応関係が自動追跡される（図９に示す対応点１〜４参照）。
ここで、特徴点の抽出は、図１０に示すように、各画像中に充分に多くの特徴点を指定，抽出することが望ましく（図１０の○印参照）、例えば、１００点程度の特徴点を抽出する。
【００５９】
続いて、カメラベクトル演算部２３ｃで、抽出された特徴点の三次元座標が演算により求められ、その三次元座標に基づいてカメラベクトルが演算により求められる。具体的には、カメラベクトル演算部２３ｃは、連続する各フレーム間に存在する、十分な数の特徴の位置と、移動するカメラ間の位置ベクトル、カメラの３軸回転ベクトル、各カメラ位置と特徴点をそれぞれ結んだベクトル等、各種三次元ベクトルの相対値を演算により連続的に算出する
本実施形態では、例えば、３６０度全周画像のエピポーラ幾何からエピポーラ方程式を解くことによりカメラ運動（カメラ位置とカメラ回転）を計算するようになっている。
【００６０】
図９に示す画像１，２は、３６０度全周画像をメルカトール展開した画像であり、緯度φ、軽度θとすると、画像１上の点は（θ１，φ１）、画像２上の点は（θ２，φ２）となる。そして、それぞれのカメラでの空間座標は、ｚ１＝（ｃｏｓφ１ｃｏｓθ１，ｃｏｓφ１ｓｉｎθ１，ｓｉｎφ１）、ｚ２＝（ｃｏｓφ２ｃｏｓθ２，ｃｏｓφ２ｓｉｎθ２，ｓｉｎφ２）である。カメラの移動ベクトルをｔ、カメラの回転行列をＲ、とすると、ｚ１^T［ｔ］×Ｒｚ２＝０がエピポーラ方程式である。
十分な数の特徴点を与えることにより、線形代数演算により最小自乗法による解としてｔ及びＲを計算することができる。この演算を対応する複数フレームに適用し演算する。
【００６１】
ここで、カメラベクトルの演算に利用する画像としては、３６０度全周画像を用いることが好ましい。
カメラベクトル演算に用いる画像としては、原理的にはどのような画像でも良いが、図９に示す３６０度全周画像のような広角画像の方が特徴点を数多く選択し易くなる。そこで、本実施形態では、ＣＶ演算に３６０度全周画像を用いるようにしてあり、これによって、特徴点の追跡距離を長くでき、特徴点を十分に多く選択することができ、遠距離、中距離、短距離それぞれに都合の良い特徴点を選択することができるようになる。また、回転ベクトルを補正する場合には、極回転変換処理を加えることで、演算処理も容易に行えるようになる。これらのことから、より精度の高い演算結果が得られるようになる。
なお、図９は、ＣＶデータ演算部２３における処理を理解し易くするために、１台又は複数台のカメラで撮影した画像を合成した３６０度全周囲の球面画像を地図図法でいうメルカトール図法で展開したものを示しているが、実際のＣＶ演算では、必ずしもメルカトール図法による展開画像である必要はない。
【００６２】
次に、誤差最小化部２３ｄでは、各フレームに対応する複数のカメラ位置と複数の特徴点の数により、複数通り生じる演算方程式により、各特徴点に基づくベクトルを複数通り演算して求めて、各特徴点の位置及びカメラ位置の分布が最小になるように統計処理をして、最終的なベクトルを求める。例えば、複数フレームのカメラ位置、カメラ回転及び複数の特徴点について、Levenberg-Marquardt法により最小自乗法の最適解を推定し、誤差を収束してカメラ位置、カメラ回転行列、特徴点の座標を求める。
さらに、誤差の分布が大きい特徴点につては削除し、他の特徴点に基づいて再演算することで、各特徴点及びカメラ位置での演算の精度を上げるようにする。
このようにして、特徴点の位置とカメラベクトルを精度良く求めることができる。
【００６３】
図１１〜図１３に、ＣＶ演算により得られる特徴点の三次元座標とカメラベクトルの例を示す。図１１〜図１３は、本実施形態のＣＶ演算によるベクトル検出方法を示す説明図であり、移動するカメラによって取得された複数のフレーム画像によって得られるカメラ及び対象物の相対的な位置関係を示す図である。
図１１では、図９の画像１，２に示した特徴点１〜４の三次元座標と、画像１と画像２の間で移動するカメラベクトル（Ｘ，Ｙ，Ｚ）が示されている。
図１２及び図１３は、充分に多くの特徴点とフレーム画像により得られた特徴点の位置と移動するカメラの位置が示されている。同図中、グラフ中央に直線状に連続する○印がカメラ位置であり、その周囲に位置する○印が特徴点の位置と高さを示している。
【００６４】
ここで、ＣＶデータ演算部２３におけるＣＶ演算は、より高精度な特徴点とカメラ位置の三次元情報を高速に得るために、図１４に示すように、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行うようにする。
具体的には、ＣＶデータ演算部２３は、画像内には映像的に特徴がある特徴点を自動検出し、各フレーム画像内に特徴点の対応点を求める際に、カメラベクトル演算に用いるｎ番目とｎ＋ｍ番目の二つのフレーム画像FｎとＦｎ＋ｍに着目して単位演算とし、ｎとｍを適切に設定した単位演算を繰り返す。
ｍはフレーム間隔であり、カメラから画像内の特徴点までの距離によって特徴点を複数段に分類し、カメラから特徴点までの距離が遠いほどｍが大きくなるように設定し、カメラから特徴点までの距離が近いほどｍが小さくなるように設定する。このようにするのは、カメラから特徴点までの距離が遠ければ遠いほど、画像間における位置の変化が少ないからである。
【００６５】
そして、特徴点のｍ値による分類を、十分にオーバーラップさせながら、複数段階のｍを設定し、画像の進行とともにｎが連続的に進行するのにともなって、演算を連続的に進行させる。そして、ｎの進行とｍの各段階で、同一特徴点について複数回重複演算を行う。
このようにして、フレーム画像ＦｎとＦｎ＋ｍに着目した単位演算を行うことにより、ｍ枚毎にサンプリングした各フレーム間（フレーム間は駒落ちしている）では、長時間かけて精密カメラベクトルを演算し、フレーム画像ＦｎとＦｎ＋ｍの間のｍ枚のフレーム（最小単位フレーム）では、短時間処理で行える簡易演算とすることができる。
【００６６】
ｍ枚毎の精密カメラベクトル演算に誤差がないとすれば、m枚のフレームのカメラベクトルの両端は、高精度演算をしたＦｎとＦｎ＋ｍのカメラベクトルと重なることになる。従って、ＦｎとＦｎ＋ｍの中間のｍ枚の最小単位のフレームについては簡易演算で求め、簡易演算で求めたm枚の最小単位フレームのカメラベクトルの両端を、高精度演算で求めたＦｎとＦｎ＋ｍのカメラベクトルに一致するように、m枚の連続したカメラベクトルのスケール調整をすることができる。
このようにして、画像の進行とともにｎが連続的に進行することにより、同一特徴点について複数回演算されて得られる各カメラベクトルの誤差が最小になるようにスケール調整して統合し、最終のカメラベクトルを決定することができる。
これにより、誤差のない高精度のカメラベクトルを求めつつ、簡易演算を組み合わせることにより、演算処理を高速化することができるようになる。
【００６７】
ここで、簡易演算としては、精度に応じて種々の方法があるが、例えば、(1)高精度演算では１００個以上の多くの特徴点を用いる場合に、簡易演算では最低限の１０個程度の特徴点を用いる方法や、(2)同じ特徴点の数としても、特徴点とカメラ位置を同等に考えれば、そこには無数の三角形が成立し、その数だけの方程式が成立するため、その方程式の数を減らすことで、簡易演算とすることができる。
これによって、各特徴点及びカメラ位置の誤差が最小になるようにスケール調整する形で統合し、距離演算を行い、さらに、誤差の分布が大きい特徴点を削除し、必要に応じて他の特徴点について再演算することで、各特徴点及びカメラ位置での演算の精度を上げることができる。
【００６８】
また、このように高速な簡易演算を行うことにより、カメラベクトルのリアルタイム処理が可能となる。カメラベクトルのリアルタイム処理は、目的の精度をとれる最低のフレーム数と、自動抽出した最低の特徴点数で演算を行い、カメラベクトルの概略値をリアルタイムで求め、表示し、次に、画像が蓄積するにつれて、フレーム数を増加させ、特徴点の数を増加させ、より精度の高いカメラベクトル演算を行い、概略値を精度の高いカメラベクトル値に置き換えて表示することができる。
【００６９】
さらに、本実施形態では、より高精度のカメラベクトルを求めるために、三次元情報（三次元形状）の追跡を行うことができる。
具体的には、まず、三次元情報追跡部２３ｅで、カメラベクトル演算部２３ｃ，誤差最小化部２３ｄを経て得られたカメラベクトルを概略のカメラベクトルと位置づけ、その後のプロセスで生成される画像の一部として得られる三次元情報（三次元形状）に基づいて、複数のフレーム画像に含まれる部分的三次元情報を隣接するフレーム間で連続的に追跡して三次元形状の自動追跡を行う。
そして、この三次元情報追跡部２３ｅで得られた三次元情報の追跡結果から、高精度カメラベクトル演算部においてより高精度なカメラベクトルが求められる。
【００７０】
上述した特徴点抽出部２３ａ及び特徴点対応処理部２３ｂでは、特徴点を複数のフレーム間画像内に自動追跡するが、特徴点が消失するなどして特徴点の追跡フレーム数に制限が出てくることがある。また、画像は二次元であり、追跡途中で形状が変化するために追跡精度にも一定の限界がある。
そこで、特徴点追跡で得られるカメラベクトルを概略値と位置づけ、その後のプロセスで得られる三次元情報（三次元形状）を各フレーム画像上に追跡して、その軌跡から高精度カメラベクトルを求めることができる。
三次元形状の追跡は、マッチング及び相関の精度を得やすく、三次元形状はフレーム画像によって、その三次元形状も大きさも変化しないので、多くのフレームに亘って追跡が可能であり、そのことでカメラベクトル演算の精度を向上させることができる。これはカメラベクトル演算部２３ｃにより概略のカメラベクトルが既知であり、三次元形状が既に分かっているから可能となるものである。
【００７１】
カメラベクトルが概略値の場合、非常に多くのフレームに亘る三次元座標の誤差は、特徴点追跡による各フレームに関係するフレームが少ないので、誤差が累積して長距離では次第に大きな誤差になるが、画像の一部分を切り取ったときの三次元形状の誤差は相対的に少なく、形状の変化と大きさに及ぼす影響はかなり少ないものとなる。このため、三次元形状での比較や追跡は、二次元形状追跡の時よりも極めて有利となる。追跡において、二次元形状での追跡の場合、複数のフレームにおける形状の変化と大きさの変化を避けられないまま追跡することになるので、誤差が大きかったり、対応点が見つからないなどの問題があったが、三次元形状での追跡においては形状の変化が極めて少なく、しかも原理的に大きさの変化もないので、正確な追跡が可能となる。
【００７２】
ここで、追跡の対象となる三次元形状データとしては、例えば、特徴点の三次元分布形状や、特徴点の三次元分布形状から求められるポリゴン面等がある。
また、得られた三次元形状を、カメラ位置から二次元画像に変換して、二次元画像として追跡することも可能である。カメラベクトルの概略値が既知であることから、カメラ視点からの二次元画像に投影変換が可能であり、カメラ視点の移動による対象の形状変化にも追従することが可能となる。
【００７３】
以上のようにして求められたカメラベクトルは、ビデオカメラ機器部１１で撮影されたビデオ映像中に重ねて表示することができる。
例えば、図１５に示すように、車載カメラからの映像を平面展開して、各フレーム画像内の目的平面上の対応点を自動で探索し、対応点を一致させるように結合して目的平面の結合画像を生成し、同一の座標系に統合して表示する。
さらに、その共通座標系の中にカメラ位置とカメラ方向を次々に検出し、その位置や方向、軌跡をプロットしていくことができる。
【００７４】
そして、以上のようにして求められたＣＶデータが、移動体計測部１０の位置計測機器部１１で取得された位置計測データに基づいて補正されることになる。
上述したように、動画像からＣＶ値を求めると、スケールも相対値となるため、長区間のＣＶ演算データは、誤差が累積することになり、特に長距離区間における計測等で誤差が増大する。
一方、ＧＰＳでは、地平近くのＧＰＳ衛星は電離層の影響を強く受け、マルチパスによる誤差を発生させる。また、受信可能な衛星が地平近くで切り替わる時点では、計測値の精度が変化して計測位置が不連続となる相対誤差を発生させる。
但し、ＧＰＳは絶対距離計測であるため、計測地点で種々の誤差が発生するが、誤差は累積せず、長距離計測になるほど、計測距離に対する誤差の比率は小さくなる。
【００７５】
図１６に、ＣＶデータとＧＰＳデータの誤差態様の対比を示す。
同図に示すように、移動体の移動が短区間であれば、累積誤差はＣＶデータよりＧＰＳデータの方が大きくなる。従って、この区間では、ＧＰＳデータをＣＶデータによって補正することが有利となる。
一方、移動体の移動が長距離区間に及ぶと、ＣＶデータの累積誤差が増大するが、ＧＰＳデータの誤差は累積せず、結果的に計測距離に対する誤差の比率は小さくなる。従って、長距離区間では、ＣＶデータをＧＰＳデータによって補正することが有利となる。
【００７６】
以上のようにして、本発明では、ＣＶ演算により得られたＣＶデータと、ＧＰＳ等の絶対誤差の少ない計測データとを結合させ、相互の補完・補正することにより、誤差累積のないより高精度な位置情報を生成するようにしたものである。
以下、ＣＶデータを絶対座標に基づいて補正する高精度ＣＶ演算装置のより具体的な実施形態について説明する。
【００７７】
［複数カメラによる視差三次元形状からのＣＶ演算］
まず、図１７を参照して、複数カメラによる視差三次元形状からのＣＶ演算を行う高精度ＣＶ演算装置１７１の実施形態について説明する。
同図に示すように、本実施形態の高精度ＣＶ演算装置１７１は、図２に示した基本構成の高精度ＣＶ演算装置１とほぼ同様の構成となっているが、データ生成部１７２０に視差方式カメラ座標三次元化部１７２４を備えることを特徴としている。
【００７８】
移動体計測部１７１０は、視差のある複数画像を撮影するための複数ビデオカメラ機器１７７１を備える。
データ生成部１７２０は、複数ビデオカメラ機器１７７１から得られたビデオ映像の視差ある複数画像から、カメラ間視差により、カメラ座標系における三次元形状を生成する視差方式座標三次元化部１７２４を備える。
また、データ生成部１７２０は、マルチＣＶデータ演算部１７２３を備える。
【００７９】
マルチＣＶデータ演算部１７２３は、視差方式座標三次元化部１７２４で生成されるカメラ座標における三次元形状の中から三次元特徴部位を抽出し、その三次元特徴部位を隣接するフレームに追跡し、三次元特徴部位とカメラ位置で構成される三角形を解くことで、移動体に設置されたカメラの相対移動軌跡とその３軸回転角を演算（ＣＶ演算）で求める機能を有する。
あるいは、マルチＣＶ演算部は１７２３は、視差方式座標三次元化部１７２４で生成されるカメラ座標における三次元形状の中から、複数の三次元特徴点を抽出し、その三次元特徴点を隣接するフレームに追跡し、三次元特徴点とカメラ位置で構成される三角形を解くことで、移動体に設置されたカメラの相対移動軌跡とその３軸回転角を演算（ＣＶ演算）で求める機能を有する。
【００８０】
上述したＣＶ演算は、画像中の二次元点を特徴点としていたが、本実施形態のマルチＣＶ演算では、既にカメラ座標として三次元形状が分かっている三次元特徴点を用いることで、演算の精度を上げ、また、演算速度を向上し、誤差の累積を減少させている。
二次元の特徴点では、６〜８点以上の独立した二次元特徴点でそのＣＶ値を求めることができるが、三次元特徴点では、３〜４点の独立した三次元特徴点で、そのＣＶ値を求めることができる。
【００８１】
さらに、特徴部位として三次元形状の一部をそのまま用いれば、前記三次元形状は特徴点の集まりと見なされるので、三次元形状の一部の中には無数（最大ピクセル数）の特徴点が有ることになり、最低一個の三次元特徴部位が有れば、ＣＶ演算が可能となる。実際には、多数の三次元部位を用いて、統計的に扱うことで精度を向上させることが望ましい。
以上のように、本実施形態では、図２に示した高精度ＣＶ演算装置１を利用しつつ、既知の技術である視差方式で求められた三次元形状の中に三次元特徴部位を一個以上、又は三次元特徴点を３個以上抽出して、それを追跡することでＣＶ値を求める方法を取り入れたものである。
なお、三次元特徴点又は三次元特徴部位の数を多く抽出し、統計処理することで、精度を向上できることは二次元特徴点のＣＶ演算と同様である。
【００８２】
［複数カメラの絶対長ＣＶ値によるＣＶデータ補正］
次に、図１８〜図２２を参照して、複数カメラの絶対長ＣＶ値によるＣＶデータ補正を行う高精度ＣＶ演算装置１８１の実施形態について説明する。
同図に示すように、本実施形態の高精度ＣＶ演算装置１８１は、図２に示した基本構成の高精度ＣＶ演算装置１とほぼ同様の構成となっているが、移動体計測部１７１０の位置計測機器部として複数ビデオカメラ機器部１８１２を備えることを特徴としている。
【００８３】
図１８に本実施形態の高精度ＣＶ演算装置１８１の基本形を示す。
移動体計測部１８１０は、移動体に固定され、移動体の移動とともに、移動体周辺を撮影する目的の全周ビデオカメラ（図３，図４参照）からなる全周ビデオカメラ機器部１８１１を備える。
また、移動体計測部１８１０は、移動体に固定され、移動体の三次元位置を取得する目的の複数ビデオカメラ機器部１８１２を備える。
全周ビデオカメラ機器部１８１１と複数ビデオカメラ機器部１８１２を構成する機器類は、相互に三次元的位置と姿勢の関係が既知として設置されるようになっている。
【００８４】
データ生成部１８２０は、全周ビデオカメラ機器部１８１１によって得られた全周ビデオ映像を記録する全周ビデオ映像記録部１８２１を備える。
また、データ生成部１８２０は、全周ビデオ映像記録部１８２１に記録された全周ビデオ映像の各フレーム画像内に、十分多くの特徴点を抽出し、特徴点を隣接するフレームに追跡し、特徴点とカメラ位置で構成される十分多くの三角形を解くことで、移動体に設置された全周カメラの相対移動軌跡と全周カメラの３軸回転角を演算で求めるＣＶ演算部１８２３を備える。
【００８５】
また、データ生成部１８２０は、複数ビデオカメラ機器部１８１２について、全周ビデオカメラ機器部１８１１と同じようにＣＶ演算を行い、隣接する各フレーム画像内に、十分多くの特徴点を抽出し、しかも単体の全周カメラの場合とは異なり、隣接するフレーム内だけではなく、隣接し、距離の分かっている他のカメラの各フレームについても対応を取り、追跡することで絶対距離を取得し、高精度のカメラ三次元座標と３軸回転姿勢を取得するマルチＣＶ演算部１８２４を備える。
マルチＣＶ演算部１８２４は、カメラ座標系における三次元形状の中から複数の三次元的特徴部位を切り取り、その三次元的特徴部位を、隣接するフレームに追跡し、三次元的特徴部位とカメラ位置で構成される三角形を解くことで、移動体に設置されたカメラの相対移動軌跡とその３軸回転角を演算（ＣＶ演算）で求める機能を有する。
【００８６】
本実施形態では、複数ビデオカメラ機器部１８１２を構成する高精度の代表カメラの三次元座標と３軸回転角のＣＶ値が、全周ビデオカメラ機器部１８１１から得られたＣＶ値と比較され、これによって全周ビデオカメラ機器部１８１１のＣＶ値を校正しようとするのである。
さらに、複数ビデオカメラ機器部１８１２からは、既知の技術によって直接簡単にカメラ周囲の三次元形状を取得することができるが、この三次元形状はカメラ位置から見たカメラ座標系における三次元形状であるため、移動するカメラでは座標系が定まらず目的を達しない。そこで、ＣＶ値と組み合わせることで、静止座標系に変換することができ、既知の技術を組み合わせることで、さらに精度を向上させることができるようになる。
【００８７】
時間軸整合部１８３０は、ＣＶデータ演算部１８２３からの信号とマルチＣＶ演算部１８２４からの信号に、時刻データを供給する時計部１８３１を備える。
また、時間軸整合部１８３０は、時計部１８３１から供給される時刻信号でＣＶデータを関係付けて記録する時刻同期ＣＶデータ記録部１８３２と、時計部１８３１から供給される時刻信号で絶対座標データを関連付けて記録する時刻同期マルチＣＶデータ記録部１８３３を備える。
また、ＣＶデータに関しては、動画像の処理時間等に由来する遅れを考慮し、記録時刻との時間差を補正して遅延調整ＣＶ信号を出力する遅延調整ＣＶ信号出力部１８３４を備える。
絶対座標データに関しては、絶対座標信号出力と計測時刻との時間差を補正して、遅延調整絶対座標信号を出力する遅延マルチＣＶ信号出力部を備える。
【００８８】
ＣＶ補正部１８４０は、複数ビデオカメラ機器部１８１２と全周ビデオカメラ機器部１８１１との設置位置の差に起因する座標のズレをＣＶ信号から生成して、全周ビデオ映像機器部１８１１の位置に複数ビデオカメラ機器部（マルチＣＶデータ機器部）１８１２の位置を補正する機器座標位置補正部１８４１を備える。
また、ＣＶ補正部１８４０は、遅延調整マルチＣＶ信号の座標配列形状と、遅延調整ＣＶ信号の座標配列形状とを比較して、座標配列形状差を検出する座標配列形状比較部を備える。
また、ＣＶ補正部１８４０は、遅延調整マルチＣＶ信号の座標配列形状と、遅延調整ＣＶ信号の座標配列形状と、両者の対応関係が付いた区間の座標配列形状差から、３軸方向のスケール誤差補正するための補正信号を生成する補正信号生成部１８４３を備える。
【００８９】
また、ＣＶ補正部１８４０は、上記の区間に対応するＣＶデータによる座標配列形状を、相対精度が高いマルチＣＶデータによる座標配列形状と一致させるように、ＣＶデータを補正するＣＶデータスケール補正部を備える。
また、ＣＶ補正部１８４０は、以上の処理を、目的区間の全域に渡り繰り返すことで、一連の位置補正ＣＶデータを生成する全域スケール補正部を備える。
さらに、ＣＶ補正部１８４０は、全域スケール補正された、ＣＶデータの三次元座標を既知として、再度３軸回転まで含めた高精度ＣＶデータの再演算を行うＣＶ再演算部１８４６を備える。
【００９０】
高精度ＣＶデータ出力部１８５０は、全周ビデオ映像を出力する全周ビデオ映像出力部１８５２を備えるとともに、全周ビデオ映像出力の各画像フレームに同期して、全域スケール位置補正され、さらに再演算され３軸回転補正施されたＣＶデータ信号を出力するＣＶデータ出力部１８５１を備える。
【００９１】
図１９〜２０に、本実施形態の複数ビデオカメラ機器部１８１２を構成する同期したカメラ二台と、全周ビデオカメラ機器部１８１１を構成する非同期の全周カメラを固定し、車輌の進行方法に向けて取り付けた場合の一例を示す。
この例によれば、車輌進行方向の対象物をカメラ二台で重複して捉え、対応関係からその距離を求める。二台のカメラから得られた映像中の特徴点は、図２０（ａ），（ｂ）に示すように多面体を形成する。
この多面体を構成する特徴点を追跡して、カメラ位置をＣＶ演算で求める。多面体形状は変形しないとの条件で、精度を向上させることができる。また、車輌の進行方向（又は進行逆方向）に向けてカメラを取り付けることで、特徴点を長距離追跡できるという利点がある。また、精度をさらに上げるために、図２０（ｃ）に示すように、カメラ方向を全方位とすることもできる。
【００９２】
このとき、得られるＣＶ値は相対値ではなく、スケールを持った絶対長である。
なお、二台のカメラに関するＣＶ演算のための特徴点と、全周カメラに関するＣＶ演算に関する特徴点とは、一般に一致する必要はない。
図１９に示すように、カメラ二台単位で用いるのが、操作性等において有利であるが、複数カメラで共通の特徴点を追跡することも精度向上に貢献することから好ましい。従って、カメラは、二台一組とし、それぞれ独自に特徴点を抽出し追跡することもでき、また特徴点が共通であっても良い。
また、本実施形態では、全周カメラは非同期で用いることを重要視し、二台のビデオカメラのみの同期をとるようにしてある。
また、図２０に示した例では、１台の全周カメラと２台の複数カメラとを用いるようにしてあるが、これ以外にも、例えば、複数カメラに広角画像を用いることで、全周カメラの替わりをさせることも可能である。その場合には、全周カメラを省略して、複数カメラのみで本実施形態の移動体計測部１８１０を構成することができる。
全周カメラと複数カメラの組み合わせのバリエーションを図２１に示す。
【００９３】
以上のように、複数カメラによってカメラ座標の映像の三次元座標と同時にＣＶ値を求めるが、全周カメラを併設すれば、全周映像の中で、複数カメラの範囲内での三次元形状を取得できることになる。
なお、ＣＶ演算と複数カメラの視差方式とでは、相反する性質がある。
すなわち、複数カメラを使う視差方式では、視差によって三次元計測を行うために、レンズの焦点距離は長い方が、つまり狭角の方が精度は上がる。ただし、狭角のため計測範囲が狭くなり、また、（静止座標系ではなく）カメラ座標系での三次元座標が求まる。
【００９４】
これに対して、ＣＶ演算方式の方は、反対に焦点距離の短い広角レンズの方が精度は上がり、広角レンズの方が視野を広く取れ、静止座標系で座標が求まることになる。従って、ＣＶ演算用には広角レンズ、視差方式用には狭角レンズと、使い分けることが精度の点では有利となる。
但し、装置等が大がかりとなるため、本実施形態では、複数カメラにも広角レンズを用いて、ＣＶ演算方式と視差方式の双方の要求を同時に満たすようにしてある。
【００９５】
勿論、装置等が大がかりになることや、データ量が増加すること等を考慮する必要がない場合には、複数カメラのすべてを全周カメラとするとか、ＣＶ演算用の広角レンズと、視差演算用の標準レンズのいずれをも用意して機能分離することで、より高精度化を図ることができる。
また、複数カメラにおいては、カメラ座標系での距離計測の精度を上げるために白黒カメラとし、それ以外にカラーカメラを一台設置して、白黒カメラで取得した三次元データをカラー映像と重ねて表示することで、計測された三次元データをカラー画像として観察することも可能である（図２１（ｄ）参照）。
【００９６】
さらに、図２２に示す高精度ＣＶ演算装置２２１のようにし、複数カメラの視差ある複数画像から、カメラ座標三次元形状を生成する視差方式カメラ座標三次元化部２２２５を備えることも可能である。
視差方式カメラ座標三次元化部２２２５は、図１７の高精度ＣＶ演算装置１７１の視差方式カメラ座標三次元化部１７２４と同様であり、その他の構成要素は、図１８に示した高精度ＣＶ演算装置１８１と同様に構成することができる。
このように、本実施形態の高精度ＣＶ演算装置では、全周カメラと複数カメラの組み合わせ等を含めて様々なバリエーションや組み合わせを採用することが可能であり、装置の規模やコスト等を考慮して柔軟な対応ができるようになる。
【００９７】
［ＧＰＳによるＣＶデータ補正］
次に、図２３を参照して、ＧＰＳによりＣＶデータ補正を行う高精度ＣＶ演算装置２３１の実施形態について説明する。
同図に示す本実施形態の高精度ＣＶ演算装置２３１は、移動体計測部２３１０の位置計測機器部としてＧＰＳ機器部２３１２を備えることを特徴としている。
移動体計測部２３１０は、自動車や航空機等の移動体の屋根に固定され、移動体の移動とともに、移動体周辺を撮影する目的の全周囲映像カメラや通常ビデオカメラ等の映像を取得する全周ビデオカメラ機器部２３１１と、自動車や航空機等の移動体に固定され、移動体の三次元位置を緯度経度高度で取得する目的のＧＰＳやＩＭＵ等の絶対座標を取得するＧＰＳ計測機器部２３１２を備える。
全周ビデオカメラ機器部２３１１とＧＰＳ計測機器部２３１２を構成する機器類は、相互に位置関係が分かるように、三次元的位置と姿勢の関係を既知として設置される。
【００９８】
データ生成部２３２０は、全周ビデオカメラ機器部２３１１によって得られた全周ビデオ映像を記録する全周ビデオ映像記録部２３２１を備える。
また、データ生成部２３２０は、全周ビデオ映像記録部２３２１に記録された全周ビデオ映像の各フレーム画像内に、十分多くの特徴点を抽出し、特徴点を隣接するフレームに追跡し、特徴点とカメラ位置で構成される十分多くの三角形を解くことで、移動体に設置されたカメラの相対移動軌跡とカメラの３軸回転角を演算（ＣＶ演算）で求めるＣＶデータ取得部（ＣＶデータ演算部）２３２３と、ＧＰＳやＩＭＵ等のＧＰＳ計測機器部２３１０により、三次元位置データを取得する絶対座標データ取得部２３２２を備える。
【００９９】
時間軸整合部２３３０は、ＣＶデータ取得部２３２３から出力される信号と絶対座標データ取得部２３２２から出力される信号に、同一の時計から発生する高相対精度の時刻データを供給する時計部２３３１を備える。
また、時間軸整合部２３３０は、時計部２３３１から供給される時刻信号でＣＶデータを関係付けて記録する時刻同期ＣＶデータ記録部２３３２と、時計部２３３１から供給される時刻信号で絶対座標データを関連付けて記録する時刻同期絶対座標記録部２３３３を備える。
また、ＣＶデータに関しては、一部のカメラには原理的に存在する動画像の画像処理時間等に由来する一定の時間遅れを考慮し、記録時刻とのズレを補正してＣＶ信号出力する遅延調整ＣＶ信号出力部２３３４を備える。
また、絶対座標データに関しては、絶対座標信号出力時刻と計測時刻との遅延時間補正して、信号出力する遅延調整絶対座標信号出力部２３３５を備える。
なお、それぞれの時刻の遅延時間に依らずとも、遅延調整ＣＶ信号と遅延調整絶対座標信号との一致を取ることで両者を対応づける。
【０１００】
ＣＶ補正部２３４０は、ＧＰＳ計測機器部２３１２と全周ビデオカメラ機器部２３１１との設置位置の差に起因する座標と３軸回転のズレをＣＶ信号から生成して、全周ビデオ映像機器部２３１１の位置にＧＰＳ計測器の位置を補正して、遅延座標回転補正信号を出力する座標回転補正部２３４１を備える。
また、ＣＶ補正部２３４０は、絶対精度の高い遅延調整絶対座標信号の座標配列形状と、相対精度の高いＣＶ値の座標配列形状を比較するために、遅延調整絶対座標信号が座標回転補正信号による座標配列形状と、遅延調整ＣＶ信号の座標配列形状とを比較する座標配列形状比較部２３４２を備える。
【０１０１】
また、ＣＶ補正部２３４０は、両者座標配列の座標配列形状比較により、相対精度の高い遅延調整ＣＶ信号の座標配列形状から大きくはずれるＧＰＳ配列形状の地点をＧＰＳ側の絶対座標の精度変更地点として検出する絶対座標精度変更地点検出部２３４３を備える。
また、ＣＶ補正部２３４０は、遅延調整絶対座標信号から、ＧＰＳ等の絶対座標データが、例えば衛星の切り替え地点等で発生する絶対誤差が変更される場合には、絶対精度は向上することがあっても、相対誤差が著しく低下するので、そのような相対精度が低下する区間をＣＶ値と比較することで削除し、又は、地下や建造物内のＧＰＳ信号が受信できない区間を削除するなどして、絶対座標精度変更地点を排除し、相対精度が高い区間のみを複数選択する、高精度相対値区間選択部２３４４を備える。
【０１０２】
また、ＣＶ補正部２３４０は、演算誤差の累積によりスケール誤差を含むＣＶデータに関して、絶対座標データによる高精度相対値区間選択部に対応する地点の区間と、動画像から演算で求めたＣＶデータによる地点と区間を、時刻をパラメータとして対応させ、もしくは、一般にＣＶデータのサンプリング周波数はＧＰＳのサンプリング周波数よりも高いので、上記の区間によって区切られた始点と終点の時刻の一致点に計測値が存在しないときは、内挿によって一致点を求めて対応させる計測区間対応部２３４５を備える。
また、ＣＶ補正部２３４０は、上記の対応関係がついた両者の区間の始点と終点の絶対座標間の距離を区間距離として、ＣＶ演算による誤差の累積に起因するスケール誤差を含むCVデータを補正するための補正信号を生成する補正信号生成部２３４６を備える。
また、ＣＶ補正部２３４０は、上記の区間に対応するＣＶデータを、相対精度が高い絶対座標データによる区間距離データに一致させることで、もしくは調整することで、ＣＶデータを補正するＣＶデータスケール補正部２３４７を備える。
さらに、ＣＶ補正部２３４０は、上記の処理を、目的区間全域に亘り、複数回繰り返すことで、高精度な一連のＣＶデータを生成する全域スケール補正部２３４８を備える。
【０１０３】
高精度ＣＶデータ出力部２３５０は、全周ビデオ映像を出力する全周ビデオ出力部２３５２と、全周ビデオ映像出力の各画像フレームに同期して、全域スケール補正されたＣＶデータ信号を出力するＣＶデータ出力部２３５１を備える。
【０１０４】
以上のような構成からなる本実施形態の高精度ＣＶ演算装置２３１による高精度ＣＶ演算処理は、以下のようにして行われる。
まず、ＧＰＳ装置と動画像取得のためのカメラ装置を同一車輌等に積載する。このとき、ＧＰＳ装置とカメラ装置との三次元的位置関係は実測により既知としておく。
ＧＰＳ計測地点とカメラ撮影地点を、時刻で関係づけて取得できるようにし、ＧＰＳによる計測データとカメラによるＣＶデータを同一の時計の時刻の関数として表現して記録する。
【０１０５】
ＧＰＳから取得されたデータに関しては、ＧＰＳから得られた時刻と距離が対応したデータから適切な区間を複数設定し、さらに、上記の区間の中からＧＰＳの相対精度が高い区間のみを複数選択して、当該区間を構成する時刻と移動距離データを取得する。
次に、動画像から求めたＣＶデータに関しては、ＧＰＳによる三次元距離データに対応する同一場所の同一時刻の区間における計測データに、画像から求めたＣＶデータを対応させる。上記の区間によって区切られた始点と終点の時刻の一致点に計測値が存在しないときは、内挿によって一致点を求め、上記の区間の始点と終点のＧＰＳデータから得られる距離をＣＶデータから得られた距離に差し替えることで、ＣＶデータを補正する。以上の操作を、選択された複数の区間で繰り返すことにより、ＧＰＳデータによって補正された高精度な一連のＣＶデータを生成することができる。
【０１０６】
［ＧＰＳデータ補正］
次に、図２４を参照して、ＧＰＳデータ補正を行う高精度ＣＶ演算装置２４１の実施形態について説明する。
同図に示す本実施形態の高精度ＣＶ演算装置２４１は、基本構成は図２３に示した高精度ＣＶ演算装置２３１と同様となっており、さらに、ＧＰＳの計測データの誤差を補正する補正手段を備えることを特徴としている。
なお、図２４中、鎖線で示す要素は上述した実施形態と共通する部分であり、適宜重複説明は省略する。以下の実施形態においても同様である。
【０１０７】
図２４に示すように、本実施形態の高精度ＣＶ演算装置２４１では、ＣＶ補正部２４４０が、分布統計２４４１と、仮の真値演算部２４４２と、仮の真値補正データ取得部２４４３と、絶対座標補正部２４４４を備えている。
分布統計２４４１は、ＧＰＳの衛星切り替え地点などによる、絶対精度変更地点検出部（図２３の２３４３）で検出された絶対精度変更地点の分布を統計処理する。
仮の真値演算部２４４２は、絶対精度変更地点検出部で検出されたＧＰＳ等の絶対精度変更地点の分布を統計処理し、ＧＰＳの仮の真値を求める。具体的には、仮の真値演算部２４４２は、ＧＰＳによる絶対精度変更地点の分布の統計的中心を最小自乗法等により、分布の重心を求め、仮の真値として求める。
【０１０８】
仮の真値補正データ取得部２４４３と、上記の仮の真値により、衛星切り替え地点等に起因する絶対精度変更地点の始点及び終点を区間の絶対誤差補正値を取得する。
絶対座標補正部２４４４は、上記の区間の補正値により、先ず絶対座標の配列を補正したＧＰＳの高精度の絶対座標配列を求める。
絶対座標補正部２４４４で補正された絶対座標配列は、高精度ＣＶデータ出力部２４５０に出力される。
【０１０９】
本実施形態の高精度ＣＶデータ出力部２４５０は、図２３の高精度ＣＶデータ出力部２３５０に加えて、絶対座標付加ＣＶデータ統合部２４５１と、絶対座標ＣＶデータ出力部２４５２をさらに備えている。
絶対座標付加ＣＶデータ統合部２４５１は、ＧＰＳデータから得られた絶対座標のデータを基準として、ＣＶデータ出力部（図２３の２３５１）から出力されたスケール補正されたＣＶデータに、絶対座標を与える。
全周ビデオ映像は、全周ビデオ出力部（図２３の２３５２）から出力されるとともに、絶対座標ＣＶデータ出力部２４５２により、各画像フレームに、絶対座標が付加されたＣＶデータが出力される。
【０１１０】
以上のような構成からなる本実施形態の高精度ＣＶ演算装置２４１によるＧＰＳデータの補正処理は、以下のようにして行われる。
まず、ＧＰＳ装置と動画像取得のためのカメラ装置を同一車輌等に積載し、ＧＰＳ装置とカメラ装置との三次元的位置関係と三次元的３軸回転関係は実測により既知としておく。
次に、ＧＰＳ計測地点とカメラ撮影地点を、時刻で関係づけて取得できるようにし、ＧＰＳによる計測データとカメラによるＣＶデータを同一の時計の時刻の関数として表現して記録する。
【０１１１】
そして、ＧＰＳデータとＣＶデータを同一時刻で比較し、時刻に対して、ＣＶデータが連続的に配列されていて、しかもＧＰＳの取得データが不連続となった地点を、ＧＰＳによる絶対誤差が変化したことによる誤差変更地点として検出し、十分に長時間のデータから、十分に多い誤差変更地点のデータを取得して、十分に多い誤差変更地点の分布を求める。
上記の分布から最小自乗法等の演算で統計処理し、ＧＰＳの仮の補正真値を取得し、それを仮の補正真値として、各誤差変更地点のデータを仮の補正真値に差し替えて、ＧＰＳの修正値として採用する。
さらに、上記の誤差変更地点を始点とする区間の一部のＧＰＳデータをリニアリティーの高いＣＶデータで置き換えることで、ＧＰＳの絶対精度を高め、その絶対精度の高まったＧＰＳデータよって、ＣＶ値に絶対座標を与えることができるようになる。
【０１１２】
［ＩＭＵによる３軸回転累積誤差補正］
次に、図２５を参照して、ＩＭＵによる３軸回転累積誤差補正を行う高精度ＣＶ演算装置２５１の実施形態について説明する。
同図に示す本実施形態の高精度ＣＶ演算装置２５１は、基本構成は図２３に示した高精度ＣＶ演算装置２３１と同様となっており、さらに、ＩＭＵによる３軸回転累積誤差を補正する補正手段を備えることを特徴としている。
【０１１３】
具体的には、まず、移動体計測部２５１０は、ＩＭＵ等の絶対３軸回転姿勢を計測できるＩＭＵ計測機器部２５１１を備える。
データ生成部２５２０は、ＩＭＵ計測機器部２５１１により、絶対３軸回転姿勢のデータを取得する、絶対３軸回転姿勢データ取得部２５２１を備える。
時間軸整合部２５３０は、時計部（図２３の２３３１）から新たに供給される時刻信号で絶対３軸回転姿勢データを関係付けて記録する時刻同期３軸回転姿勢記録部２５３１を備える。
また、時間軸整合部２５３０は、絶対３軸回転姿勢データに関して、機器部の処理時間等に由来する遅れを考慮して、記録時刻とのズレを補正して信号出力する遅延調整３軸回転姿勢出力部２５３２を備える。
【０１１４】
ＣＶ補正部２５４０は、遅延調整ＣＶ信号出力部（図２３の２３３４）からの３軸回転姿勢信号と遅延調整３軸回転姿勢出力部２５３２からの絶対回転３軸姿勢信号とを比較する３軸回転姿勢比較部２５４１を備える。
また、ＣＶ補正部２５４０は、３軸回転姿勢信号と、絶対回転３軸姿勢信号との両者の差を、前もって定めた閾値と比較する３軸回転閾値比較部２５４２を備えるとともに、両者の差が上記の閾値を超えたときに、補正区間を指定する３軸回転補正区間設定部２５４３を備える。
また、ＣＶ補正部２５４０は、上記の補正区間における補正値を生成する３軸回転補正信号生成部２５４４を備える。
【０１１５】
高精度ＣＶデータ出力部２５５０は、３軸回転補正ＣＶデータ出力部２５５１と、３軸回転絶対座標付加ＣＶデータ出力部２５５２を備える。
３軸回転絶対座標付加ＣＶデータ出力部２５５２は、遅延調整ＣＶ信号出力部（図２３の３４）からのＣＶデータに対して、又はＣＶデータ出力部（図２３の２３５１）からのＣＶデータに対して、又は絶対座標ＣＶデータ出力部（図２４の２４５２）からのＣＶデータに対して、各画像フレームに絶対座標ＣＶデータ出力部から３軸回転姿勢データに３軸回転補正と絶対座標とを加えて出力する。
この場合、補正された３軸回転データは絶対座標となる。
３軸回転補正ＣＶデータ出力部２５５１は、ＣＶデータ出力部の出力に３軸回転補正のみを加えた３軸回転補正ＣＶデータを出力する。
【０１１６】
図２６〜３３を参照しつつ、本実施形態のＧＰＳとＩＭＵを備えた高精度ＣＶ演算装置２５１のより具体的な一実施例について説明する。
図２６に示すように、全周囲カメラとＧＰＳとＩＭＵ，二台の広角カメラを固定して、小型車輌の屋根に固定して積載する。各機器は、図２７（ａ）に示すように、車輌に搭載した情報処理装置（ＰＣ）に接続され、リアルタイムに演算処理が行われる。
【０１１７】
ここでは、全周カメラとして３６０度全周囲を撮影可能なＰＧＲ社製のLadybugを使用している。
ＩＭＵは３軸が望ましいが、１軸又は軸でも十分効果はある。
ＧＰＳとＩＭＵは、それぞれ車輌に一台取り付ける。ＧＰＳとＩＭＵと二台のカメラの三次元的位置関係、及び車輌と各機器との関係は前もって正確に計測して求めておく（図２６参照）。
なお、ＧＰＳとカメラを一体化させた移動体計測部とすることで、一体化したまま着脱・取り外し可能であり、他の車輌等への付け替えも容易に行えるようになる。
【０１１８】
ＧＰＳにより、車輌の絶対座標が計算で求められ、またＩＭＵのデータが取得されることで、車輌の３軸絶対回転量が計算により得られることになる。
ただ、ＧＰＳとＩＭＵによるそれぞれのデータの精度は低いので、それを二台の広角カメラによるＣＶ値で補正することになる。
また、ＧＰＳは、長時間かけてその静止位置を求めることにより、精度の高い位置関係を求めることができる。
全周カメラとＧＰＳデータとＩＭＵデータと二台の広角カメラから取得した画像の各フレーム画像との関係は、図２７（ｂ），図２８に示すように、共通の時計による時刻で関係づけられる。例えば、ＧＰＳデータとＩＭＵデータと全周カメラと広角カメラから取得した画像の各フレーム画像との関係は、ＰＣのクロックから生成される時刻で完全に同期して記録される。
【０１１９】
絶対座標はＧＰＣにより取得され、また、二台の広角カメラにより、絶対長が取得され、また、ＩＭＵからは絶対３軸回転角が取得される。
そして、図２３に示した高精度ＣＶ演算装置２３１によって、ＧＰＳデータによりＣＶ値のスケールキャリブレーションを行う。
ＧＰＳは、一般に絶対座標を取得できるが、絶対誤差についての誤差も含んでいる。そこで、先ずＧＰＳの持つ相対スケールの高精度の特徴を利用し、ＧＰＳの相対スケールのみに着目して、高精度のＧＰＳの区間距離を求める。
衛星切り替えやマルチパス等により、突然ＧＰＳの絶対誤差精度が変化する地点，区間があり、そこでは相対精度が著しく低下するので、ＧＰＳデータは不連続となる。この絶対誤差が変化したために相対誤差が低下した地点又は区間を「誤差変更地点」とする（図２９参照）。
【０１２０】
そして、先ず当該誤差精度変更地点を含む区間を相対誤差補正区間から誤差変更地点を削除する。上記の区間選択により、ＧＰＳの相対座標として精度の高い部分のみを選択することができる。
そこで、相対誤差の高い区間により、ＧＰＳのある時間間隔に対応するＧＰＳデータとＣＶデータを比較し、その相対距離をＣＶデータに反映させて、高精度なＣＶ値を生成する。これにより、ＣＶデータ特有の誤差の累積を補正することができる。
【０１２１】
ＣＶデータは全周ビデオ映像中の特徴点を自動抽出し、それを隣接する複数のフレームに追跡し、移動するカメラ位置と各特徴点で作る複数の三角形を解析することで、カメラの三次元位置と３軸回転姿勢が求められる。ＣＶデータの座標とスケールは相対座標となる。
ここで、ＧＰＳデータは絶対誤差を含んでいるが、ここでは相対値のみに着目して、ＣＶデータの相対値を補正する。図３０に示すように、相対値補正により、ＣＶデータが持つ累積誤差を補正することができ、スケールのリニアリティーがよりよく補正されたことになる。
ＧＰＳデータから区間選択において、削除されたことでスケール補正されない区間については、隣接する区間での累積誤差は微少であると考えられので、スケール補正された前後の区間からの比例配分でスケール補正を行う。
【０１２２】
次に、二台の広角カメラによるＣＶ値（図１８参照）により、全周カメラのＣＶ値は絶対長補正され、スケールキャリブレーションされる。
さらに、ＣＶ値のリニアリティーを利用して、ＧＰＳの不連続点を補正する。
以下、図２９〜図３１を参照しつつ、ＣＶデータでＧＰＳデータを補正しながら、その絶対座標により、ＣＶデータに絶対座標値を与える方法を説明する。
ＧＰＳは絶対誤差を含んで出力されるが、その誤差精度は衛星が切り替わることなどで急に変化すると、ＧＰＳデータは不連続となり相対誤差が増加する。このとき、ＣＶデータはＧＰＳとはまったく異なる方法で位置を検出しているので、衛星切り替え等の影響は受けずに、連続的にデータが取得される。
【０１２３】
ＧＰＳが不連続となることで、相対誤差は増加し、絶対誤差が変化したと言えるが、このとき絶対誤差が増加するとは限らず、絶対誤差は減少していることもある。そこで、誤差変更点を抽出して、その区間をＣＶ値の高サンプリングの特徴と短区間の相対値の高精度性を利用して、ＧＰＳの不連続点を検出することで、ＧＰＳをリニアリティー補正することができる（図２９〜図３１参照）。
このようにして、検出した不連続点の相対座標をＣＶデータで置き換えることで、ＧＰＳの連続性を回復でき、また、相対座標の精度が向上する。
【０１２４】
但し、以上の処理だけでは、相対精度は向上されるが、絶対精度は必ずしも向上していないことになる。
そこで、誤差変更点の移動量を統計処理することで、平均的な移動量を求め、これによって絶対精度も向上させることができる。
図３２に示すように、正しい座標の周りに誤差が発生すると仮定できるので、統計処理により、仮の補正真値を求めることができる。
【０１２５】
具体的には、まず、図３２（ａ）に示すように、定点観測ではなく、移動しながらＧＰＳデータの不連続部分を抽出する。この不連続部分で衛星受信の切り替わりが行われていると考えられ、当該不連続部分の予想値と観測値との２点間ＧＰＳからその差分「δｎｓ」を多数取り、図３２（ｂ）に示すような分布図を生成する。同図に示す「＋」は一つ一つの観測点を示す。
ここで、「δｎｓ」は、図３２（ａ）に示すように、不連続地点における、予想値と実測値との差分値ベクトルである。また、予想値とは、図３２（ａ）に示すように、誤差を含む前回までの連続観測データが、そのままの誤差で継続したとして得られる予想地点の予想値を意味する。
【０１２６】
次に、分布図の重心を最小自乗法により求める。なお、図３２（ｂ）には分布を二次元的に示してあるが、実際は三次元の分布となる。
具体的には、未知数の真値（図３２（ｂ）に示す■）から観測点差分値「＋」までの距離をδｎｓとし、その二乗（＊＊２）の合計をΣδｎｓ＊＊２として、その最小値となる所を真値として求める。Σｎｓ＊＊２＝０は真値から観測点差分値までの距離の二乗の和が０となることを意味する。
真値δ０が求まれば、実測値から、真値を求める式は図３２（ｃ）に示すようになる。
式：［Ｇ０Ｔｎ＝ＧｍＴｎ＋（δｎｓ−δ０ｓ）］
（δｎｓ−δ０ｓ）は、求められた真値から、観測実行値までの距離である、真値差分距離を示す。この真値差分距離を、実測生データＧｍＴｎに加えることにより、求める実効値Ｇ０Ｔｎが得られることになる。
以上のようにして、各誤差変更地点に仮の補正真値を代入して置換することで、精度の高いＧＰＳの絶対座標が得られることになる。
【０１２７】
そして、図３３に示すように、絶対精度の高まったＧＰＳデータにより、ＧＰＳサンプリング地点とＣＶのフレームと対応する地点のすべてにおいて、ＣＶデータを補正して、絶対値を与えることで精度の高いＣＶデータを取得することができる。
さらに、ＩＭＵにより、絶対３軸回転角によってＣＶデータの３軸回転角の誤差の累積を消去し、ＣＶデータから絶対３軸回転角を取得する。
画像フレームとＧＰＳデータのそれぞれのサンプリングは独立に行われるので、それぞれのサンプリングが極めて近い地点のタイミングで、誤差の累積を消去して絶対３軸回転角を取得することが好ましい。
以上のようにして、精度の高いＣＶ演算が実現できる。
【０１２８】
［鉛直方向検出による１軸回転累積誤差補正］
次に、図３４を参照して、鉛直方向検出による１軸回転累積誤差補正を行う高精度ＣＶ演算装置３４１の実施形態について説明する。
同図に示す本実施形態の高精度ＣＶ演算装置３４１は、取得されたビデオ映像から鉛直方向を検出し、それによってＣＶデータを補正する補正手段を備えることを特徴としている。
具体的には、本実施形態の高精度ＣＶ演算装置３４１は、データ生成部３４２０が、概略両極平面展開部３４２２と、概略赤道平面展開部３４２３と、鉛直方向検出部３４２４を備えている。
【０１２９】
上述のように、全周映像は一般に球面変換座標で記録されている（図５参照）。
そこで、概略両極平面展開部３４２２は、全周ビデオ映像記録部３４２１に記録された全周ビデオ映像から、概略真上方向及び真下方向に平面変換（パースペクティブ変換）する（図３５及び図３６参照）。
また、概略赤道平面展開部３４２３は、全周ビデオ映像を、複数の赤道面方向に平面変換（パースペクティブ変換）する（図３７参照）。
鉛直方向検出部３４２４は、真上・真下方向と赤道面方向に平面変換された画像から鉛直方向を画像処理で検出する。
そして、検出された鉛直方向は、ＣＶデータ取得部３４２５に出力・反映され、ＣＶ演算に鉛直方向が付加されることになる。
【０１３０】
平面変換された画像は、図３５〜３７に示すように、人工構造物が含まれていれば、一般に鉛直成分を多く含むことから、その鉛直成分に着目して、平面変換された映像に含まれる人工構造物の鉛直線を、両極平面では極点（天頂）で交差する放射線群として検出し、赤道平面では、垂直線群として検出する。
例えば、両極平面の画像を重ね合わせれば、平面変換の軸が、画像内の鉛直と合致していれば、それぞれの鉛直方向の船群が作る極は一致する。合致しなければ二つの極ができる。
従って、それぞれの平面変換面の鉛直線の交点が作る極を一致するように、平面変換の軸を移動させることで、変換軸と映像中の鉛直方向を合わせることができる。
【０１３１】
また、概略赤道変換面では、映像中に含まれる鉛直線群は画像中に並行垂線として表記させる。変換軸と映像中の鉛直船群が一致すれば、すべての垂線が平行な垂直線となる。一致しなければ、平行性は崩れ、一部のみ垂線が残る。
従って、垂線群が最も増加する変換軸が鉛直方向を示していることになる。
【０１３２】
映像中の直線部分を検出するには、ハフ変換が有効である。ハフ変換により、直線成分を方程式で表記できる。
両極平面では、方程式で表記できた各直線から、各直線の座標軸との切片を求めれば、それが座標原点からどれだけずれているかが分かる。各直線が原点を通るような座標原点を求めることで、変換軸と画像内の鉛直成分を一致させることができる。
また、赤道変換平面では、ハフ変換で求められた直線成分の、多くの直線が垂直となる変換軸を求めることで、映像内の鉛直が平行垂直となる位置を求めればよい。
以上のようにして両極平面変換から求めた鉛直方向と赤道平面変換から求めた鉛直方向は原理的に一致する。従って、双方を用いても良いがいずれか一方のみでもよい。画像の様々な状況に対応するためには両方を用いるのが好ましい。
【０１３３】
［空撮映像と地上撮映像による高精度ＣＶ演算］
次に、図３８を参照して、空撮映像と地上撮映像による高精度ＣＶ演算を行う高精度ＣＶ演算装置３８１の実施形態について説明する。
同図に示す本実施形態の高精度ＣＶ演算装置３８１は、取得されたビデオ映像から鉛直方向を検出し、それによってＣＶデータを補正する補正手段を備えることを特徴としている。
具体的には、本実施形態の高精度ＣＶ演算装置３８１は、低縮尺ＣＶ演算では、主として対象物の形状及び隣接形状をＣＶ値で取得し、高縮尺ＣＶ演算では、主として対象物の空間配置形状をＣＶ値で取得し、両者を結合することで、両者に矛盾のない高精度ＣＶデータを取得するようにしたものである。
【０１３４】
図３８に示すように、移動体計測部３８１０は、低縮尺映像と高縮尺映像の二つの全周ビデオ映像機器部３８１１，３８１２を備えている。
低縮尺全周ビデオ映像機器部３８１１は、ＣＶ演算を目的とする、広角画像で地上の対象物を撮影するために車輌に積載されるビデオ映像機器からなる。
高縮尺全周ビデオ映像機器部３８１２は、同様にＣＶ演算を目的とする、広角画像で地上の対象物を映り込むように撮影する空撮のために航空機等に積載されるビデオ映像機器からなる。
低縮尺全周ビデオ映像機器部３８１１と高縮尺全周ビデオ映像機器部３８１２は、異なる二種類のビデオ機器部で構成し、それぞれが撮影を行っても良いし、同一のビデオ機器部で構成し、異なる時間に利用して、地上と空中での撮影をするようにしてもよい。
【０１３５】
データ生成部３８２０は、図３８に示すように、低縮尺全周ビデオ映像機器部３８１１と、高縮尺全周ビデオ映像機器部３８１２に対応して、低縮尺，高縮尺のビデオ映像を処理する構成となっている。
低縮尺ビデオ映像記録部３８２１ａは、低縮尺全周ビデオ映像機器部３８１１から低縮尺ビデオ信号を取得し、映像を記録する。
高縮尺ビデオ映像記録部３８２１ｂは、高縮尺全周ビデオ映像機器部３８１２から高縮尺ビデオ信号を取得し、映像を記録する。
【０１３６】
共通特徴点検出部３８２３は、低縮尺全周ビデオ映像機器部３８１１から出力される低縮尺全周ビデオ映像と、高縮尺全周ビデオ映像機器部３８１２から出力される高縮尺全周ビデオ映像とを比較し、二者の映像に含まれる共通特徴点を探し、その対応点を取り、共通特徴点を検出する。
共通特徴点重み設定部３８２４は、後のＣＶ演算のためにそれぞれの共通特徴点に対し、重み関数により重みを与える。
【０１３７】
低縮尺特徴点検出部３８２２ａは、低縮尺全周ビデオ映像から低縮尺の特徴点を検出する。
低縮尺フレーム間追跡部３８２５ａは、低縮尺の特徴点を隣接するフレームに追跡する。
高縮尺特徴点検出部３８２２ｂは、高縮尺全周ビデオ映像から高縮尺の特徴点を検出する。
高縮尺フレーム間追跡部３８２５ｂは、高縮尺の特徴点を隣接するフレームに追跡する。
【０１３８】
ＣＶ演算部３８２６は、低縮尺の特徴点と、高縮尺の特徴点と、重み共通特徴点から、低縮尺の地上撮の全周ビデオ映像と、高縮尺の空撮の全周ビデオ映像を、一括統合してＣＶ演算を行う。
ＣＶデータ取得部３８２７は、ＣＶ演算部３８２６で得られた精度の高いＣＶ演算データを取得して出力する。このＣＶ演算データは、必要に応じて時刻同期ＣＶデータ記録部３８２８に記録される。
【０１３９】
以上のようにして、本実施形態では、目的地点が映っているスケールの異なる映像を複数用意して、それぞれをＣＶ演算し、スケールの大きい映像（縮尺率の大きい映像、例えば空撮映像）のＣＶ値で、小さいスケールの映像（縮尺の小さい映像、例えば地上撮影像）全体をキャリブレーションすることで、小さいスケール側の映像のＣＶ値の誤差の累積を除去することができる。
なお、空撮映像において、計測範囲に対して十分高度が高ければ、カメラ位置を無限大と見なすことができ、このことは二次元地図を高度無限大からの空撮映像として扱うことで、空撮映像の替わりに二次元地図を用いることができることを示している。
【０１４０】
［地図を備えた高精度ＣＶ演算］
次に、図３９を参照して、地図を備えた高精度ＣＶ演算装置３９１の実施形態について説明する。
同図に示す本実施形態の高精度ＣＶ演算装置３９１は、データ生成部３９２０に二次元地図部３９２１を備えている。
二次元地図部３９２１は、記載された地点の二次元座標が既知として与えられた地図である。
【０１４１】
また、データ生成部３９２０は、特徴点抽出部３９２２ａ，特徴点追跡部３９２２ｂ，ＣＶ演算部３９２２ｃを備えたＣＶデータ取得部３９２２を備える。
特徴点抽出部３９２２ａは、全周ビデオ映像記録部の映像の中に、追跡の手がかりとなる特徴点を抽出する。
特徴点追跡部３９２２ｂは、特徴点を複数の隣接する画像フレームの中にその対応点を追跡する。
ＣＶ演算部３９２２ｃは、複数の特徴点の対応点と、カメラ位置座標が作る三角形を解析して、カメラの三次元位置と３軸回転姿勢を求める。
から成り、ＣＶデータを取得するＣＶデータ取得部を設置する。
【０１４２】
時間軸整合部３９３０は、共通点検出部３９３１を備える。
共通点検出部３９３１は、二次元地図部の地点二次元座標と対応する全周ビデオ映像の内の共通地点部分を検出する。この共通点検出処理は自動でも手動でも良い。
ここで、共通点部分とは、共通する「点」でも良いが、形状を持つものの方が検出しやすいので、道路形状や交差点形状や構造物立体形状や、複数の構造体の一部で作る立体空間等が有利である。そこで映像と地図の共通形状を検出して、その形状を構成する複数の点群を共通点とするのが適している。
【０１４３】
ＣＶ補正部３９４０は、共通点三次元座標演算部３９４１，共通点二次元座標検出部３９４２，二次元平面座標変換部３９４３，共通点二次元形状比較部３９４４，共通点領域ＣＶ値補正部３９４５，ＣＶ補正演算部３９４６を備える。
共通点三次元座標検出部３９４１は、ＣＶ演算データにより共通点検出部３９３１で検出された共通地点の三次元座標を演算により求める。
二次元平面座標変換部（オルソ変換部）３９４３は、全周ビデオ映像から得られた共通点の三次元座標を二次元平面に投影して複数の共通点二次元座標を変換・生成する。
【０１４４】
共通点二次元座標検出部３９４２は、共通点検出部３９３１で検出された共通地点の二次元地図上の二次元座標を検出する。
共通点二次元形状比較部３９４４は、二次元地図部３９２１のデータから得られた共通点二次元座標（比較信号１）と、全周ビデオ映像から得られた共通点の三次元座標を二次元平面に投影して得られた複数の共通点二次元座標（比較信号２）とを比較する。
共通点領域ＣＶ値補正部３９４５は、比較される両二次元座標の差分を検出し、差分が最小になるような、両者の比較信号の位置座標を決定し、さらに、同一比率でもう一つの座標軸方向の座標を補正し、共通点の補正量をその周囲に分散的に配分し、共通点の補正の影響を周囲に分散させることでＣＶ値の位置座標全体を補正するＣＶ値の位置座標と置換する。
【０１４５】
ＣＶ補正演算部３９４６は、共通点部分で、地図と一致したカメラ位置座標データを固定し、共通点と特徴点追跡結果を使って再度ＣＶ演算をして、より精度の高い３軸回転データを取得する。
以上の補正・再演算により精度が高まった補正ＣＶ値は、高精度ＣＶデータ出力部３９５０のＣＶデータ出力部３９５１により出力される。
なお、図３９の高精度ＣＶ演算装置３９１では、各要素を図１〜２に示した高精度ＣＶ演算装置１の基本構成に対応させて分類したが、図４０に示す高精度ＣＶ演算装置４０１のように、本実施形態に係る各要素４０２１〜４０２７を、ＣＶデータ取得部４０２８までの高精度化処理と捉えることもでき、その場合には、各要素をすべてデータ生成部４０２０として位置づけることも可能である。
【０１４６】
［既知三次元点を用いた高精度ＣＶ演算］
次に、図４１を参照して、既知の三次元点を用いて高精度ＣＶ演算を行う高精度ＣＶ演算装置４１１の実施形態について説明する。
取得された映像内にカメラ位置ではなく既知の三次元点を探すことができれば、既知の点まで計測器を移動させることなく、映像内の三次元座標を使って、キャリブレーションできることが可能であり、本実施形態では、このような既知三次元点を用いて高精度ＣＶ演算を行うことを特徴としている。
【０１４７】
具体的には、本実施形態の高精度ＣＶ演算装置４１１は、既知の三次元点情報を有する地図部４１２１を備えている。
地図部４１２１は、二次元座標が既知として与えられた三次元地図４１２１ａ、二次元地図上に複数点の既知の三次元座標点を座標とともに記した既知三次元点記載地図４１２１ｂ、三次元地図の形態をなさないが既知の複数点の三次元座標を印した三次元地点リスト４１２１ｃのうちの何れか、又はその複数の組み合わせによる地図部を構成している。
ＧＰＳを定点で長時間かけて計測した三次元データ等がこれに相当する。
また、正確な三次元地図が先に存在している場合もこれに相当する。
【０１４８】
共通点検出部４１２３ａは、地図部４１２１の既知の三次元地点と、対応する全周ビデオ映像記録部４１２２ａから出力される画像フレームの中に共通地点部分を検出する。
共通特徴点追跡部４１２３ｂは、共通点地点部分を共通特徴点として、全周ビデオ映像記録部４１２２ａの複数の画像フレームの中に対応地点を見つけることで追跡する。
共通特徴点点重み付け部４１２３ｃは、共通特徴点を一般特徴点と区別して、演算時の優先順位を決める重み付けをする。ここでは、共通特徴点を一般特徴点に対してどの程度優先させて演算するかを決定する。
【０１４９】
ＣＶ演算部４１２２ｄは、重み付けされた複数の共通特徴点の追跡結果と、一般特徴点追跡部４１２２ｃによる一般特徴点の追跡結果と、カメラの三次元位置座標とが作る複数の三角形を解析して、カメラの三次元位置と３軸回転姿勢を演算で求める。
ＣＶ値は、三次元位置座標と３軸回転姿勢を持つが、ここではＣＶ値と同時に得られる一般特徴点及び共通特徴点の三次元座標に着目する。すなわち、ここでは、ＣＶ値を取得することは、特徴点の三次元座標を取得することと同じ意味として扱う。
共通点三次元座標検出部４１２４ａは、ＣＶ演算部４１２２ｄからＣＶ値と同時に出力される出力される共通特徴点の三次元座標を取得する。原理的には、ＣＶ値は特徴点の三次元座標と同時に求まるので、ＣＶ値と特徴点の三次元出力の同時出力が可能である。
【０１５０】
共通点三次元座標比較部４１２４ｂは、地図部４１２１のデータから既知として得られている共通点三次元座標と、共通特徴点の三次元座標を比較する。
三次元差分検出部４１２４ｃは、比較される両三次元座標の差分を検出する。
一般特徴点三次元化部４１２５は、ＣＶ演算部４１２２ｄから出力される一般特徴点の三次元座標を取得する。
画像二次元差分検出部４１２６は、一般特徴点三次元化部４１２５で取得された一般特徴点の三次元座標を、全周ビデオ映像記録部４１２２ａから出力される各フレームの中の映像面に投影した二次元座標と、全周ビデオ映像記録部４１２２ａから出力される各フレームの中の一般特徴点の全周ビデオ映像の映像面での二次元座標との二次元差分を検出する。
【０１５１】
そして、ＣＶ補正演算部４１２７により、以上の三次元差分と二次元差分が、最小になるように、ＣＶ演算のパラメータを変更して、ＣＶ演算部４１２２ｄでのＣＶ演算を繰り返し行う。
以上の補正・再演算により精度が高まった補正ＣＶ値は、ＣＶデータ取得部４１２８により取得・出力される。
【０１５２】
［三次元地図生成装置］
次に、以上のような本発明の高精度ＣＶ演算装置を備えた三次元地図生成装置の具体的な実施形態について説明する。
まず、図４２を参照して、本発明に係る三次元地図の一実施形態の基本構成について説明する。
図４２は、本発明に係る高精度ＣＶ演算装置を備えた三次元地図生成装置４２００の基本構成を示すブロック図である。
三次元地図生成装置４２００は、上述した本発明に係る高精度ＣＶ演算装置４２１を備えるとともに、以下に示す対象物指定部４２１０，対象物三次元計測部４２２０，三次元地図部品生成部４３２０，三次元空間定義部４２４０，対象物地点測量部４２５０，三次元座標決定部４２６０，三次元地図出力部４２７０の各部を備えている。
【０１５３】
対象物指定部４２１０は、全周ビデオ映像と各フレームに対応したＣＶデータ取得部からの出力から、全周ビデオ映像の中に有って、三次元地図として表現するべき対象物を、自動又は手動で指定する。
対象物三次元計測部４２２０は、地図として取り入れるべき対象物を、対象物指定部４２１０で指定し、当該対象物を三次元計測する。
三次元地図部品生成部４２３０は、対象物指定部４２１０で三次元計測されたデータから、三次元地図に記載する形式で三次元部品を生成する。
三次元空間定義部４２４０は、三次元地図としての三次元空間を三次元座標で定義する。
対象物地点測量部４２５０は、対象物の実空間座標上の位置を測量して、その三次元座標を求める。
三次元座標決定部４２６０は、三次元地図部品を、三次元空間定義部４２４０で定義された仮想三次元空間内に、測量で求められた三次元座標により三次元配置を決定する。
そして、三次元地図出力部４２７０は、上記の三次元地図部品の三次元座標配置を繰り返して三次元地図を出力する。
【０１５４】
次に、図４３及び図４４を参照して、本実施形態の三次元地図生成装置４２００における具体的な処理動作について説明する。
まず、ＣＶ値の誤差累積を防ぐために、図４３に示すように、地図生成のための測量走行車輌を一定区間で交差するように走行させる。
このようにすることで、共通の特徴点を用いることができるので、誤差の累積をかなり防ぐことが可能となる。
また、スケールキャリブレーションのために、空撮と地上撮をＣＶ演算で結合して、同時にＣＶ値を求めることで、誤差累積を低減することができる。
地上撮ＣＶ演算と空撮ＣＶ演算とを適宜結合して、結合係数を設定し、近距離誤差と長距離誤差を分離して調節する。
先にＣＶ結合を行い、その後に部分スケール調整を行う。
短距離はＣＶ値から三角形で距離演算し、長距離はＣＶ値から、カメラ座標を積算して、フレーム間距離を出す。フレーム間距離は空撮ＣＶを使う。
【０１５５】
実際の作業としては、図３１に示すように行う。なお、以下の操作はビュア（表示手段）上に表示される表示内容に従って行えるようにすることができる。
対象物指定部４４１０での操作としては、以下の対象部指定操作を行う。
・マウス操作による地点指定
・マウス操作による直線指定
・マウス操作による輪郭指定
・マウス操作による面指定
【０１５６】
次に、対象物三次元計測部４４２０において、以下のようにして対象物の形状を取得する。これは、地上撮影ＣＶを中心に、対象物に対して近距離の場合の操作である。
・指定点部分切り取り
・指定点周囲画像切り取り
・特徴点抽出
・特徴点と指定点の位置関係取得
・指定点周囲画像の隣接フレームへの追跡
・特徴点の隣接フレームへの追跡
・指定点部分の位置決め
・ＣＶ値による指定点三次元計測
【０１５７】
さらに、対象物地点測量部４４３０において、以下のように対象物の空間配置を取得する。これは、空撮ＣＶ映像が主体の場合の操作である。
・始点の位置指定
・始点の座標の部分画像追跡→三次元位置計測
・終点の位置指定
・終点の座標の部分画像 追跡→三次元位置計測
・指定点周囲画像の隣接フレームへの追跡
以上のようにして、三次元地図生成が行えるようになる。
【０１５８】
［ＰＲＭ三次元地図生成装置］
次に、図４５を参照して、ＰＲＭ技術を付加した三次元地図生成装置の実施形態について説明する。
同図に示す三次元地図生成装置４５００は、図４２で示した基本構成の三次元地図生成装置にＰＲＭ技術を付加したことを特徴とするものである。
ここで、ＰＲＭとは、Parts Reconstruction Method（３Ｄ空間認識方法）の略であり、本願発明者により開発された対象物を認識するための技術である（国際出願PCT/JP01/05387号参照）。具体的には、ＰＲＭ技術は、前もって予想される対象物の形状と属性を部品（オペレータ部品）としてすべて用意しておき、それら部品と現実の実写映像を対比して、一致する部品を選択して対象物を認識する技術である。例えば、走行車輌等に必要となる対象物の「部品」は、道路標示としての車線、白線、黄線、横断道、道路標識としての速度標識、案内標識などであり、これらは定形のものであるので、ＰＲＭ技術によりその認識は容易に行える。また対象物をＣＶ映像中に検索する場合においても、その対象物の存在する予想三次元空間を狭い範囲に限定することが可能となり、認識の効率化が可能となる。
【０１５９】
具体的には、本実施形態では、ＰＲＭ手段として、三次元部品データベース４５１０，三次元部品候補選択部４５２０，比較部４５３０，不一致信号出力部４５４０，一致信号出力部４５５０，一致部品選択部４５６０，部品修正部４５７０の各部を備えている。
三次元部品データベース４５１０には、前もって三次元地図を構成する三次元地図部品を複数用意しておく。
三次元部品候補選択部４５２０は、対象物指定部（図４２の４２１０）で指定された対象物と比較するための候補となる三次元部品をデータベースから引き出して、選択的に用意しておく。
比較部４５３０は、対象物指定部で指定された全周ビデオ映像の一部分と、三次元部品候補選択部４５２０から出力される三次元部品とを三次元的に、又は同一面に投影して、比較する。
【０１６０】
不一致信号出力部４５４０は、比較部４５３０で比較した結果不一致の場合に不一致信号を出力し、この不一致信号により、三次元部品候補選択部４５２０から、次の候補となる三次元部品が、順次に送り出される。
一致信号出力部４５５０は、比較部４５３０で比較した結果、一致した場合に一致信号を出力する。
一致部品選択部４５６０は、上記の一致信号により、三次元部品候補部品選択部４５２０から最終的に送られた部品を一致部品として出力する。
部品修正部４５７０は、一致部品が現実の映像と多少異なる場合に、修正して修正部品を生成する。
以上のようにして、修正部品又は修正のない場合には一致部品選択部４５６０からの一致部品が、三次元地図部品生成部（図４２の４２３０）に送られ、三次元地図が生成されることになる。
【０１６１】
このＰＲＭによる方法は、三次元地図を生成するだけではなく、特に三次元地図の自動更新において極めて有効である。
ＰＲＭによる三次元地図はもちろん、一般の三次元地図であっても、既に対象物単位で部品化され、それらの部品の集合として表現されているので、新規生成と同様な方法により、既に座標が既知である旧三次元地図の部品の形状又は属性を、最新の映像内の同じ座標で比較することで、旧データとの差異の有無を確認することができる。
また、新旧の三次元地図の部品を確認するだけではなく、新旧の映像（二次元）間での新旧データの確認も可能である。
【０１６２】
三次元地図の自動更新装置としての具体的実施の一例を以下に示す。
更新されるべき旧三次元地図を、図４５における三次元部品データベース４５１０に含めておく。
このように自動更新装置においては、旧三次元地図を三次元データベース４５１０として用いることになる。
旧三次元地図は座標を持つ三次元部品の集合から成っているので、旧三次元地図を構成する各部品の更新の有無を旧三次元地図の部品の配列の順番で行うことができるので、新規に三次元地図を生成するより、かなり効率的になる。
【０１６３】
三次元部品候補選択部４５２０では、旧三次元地図を構成する各部品を順番に送り出し、同じ座標の新映像の一部分と比較する。
新映像は三次元部品化して、三次元部品間の比較としてもよいが、新映像は映像（二次元）のまま三次元部品との形状又は属性比較を行う新映像内の部分映像との比較方式の方が簡単であり、ここではこの方式を採用する。
比較部４５３０により、旧三次元地図の各部品と新映像の座標対応部分との一致不一致を確認し、一致の場合は変更無しとし、旧三次元地図をそのまま新三次元地図とする。
【０１６４】
一方、不一致の場合は不一致信号出力部（４５４０）を三次元部品候補選択部（４５２０）に送り、候補部品を繰り返し比較をして、一致する部品を探して、その新部品により旧部品を自動更新すれば、三次元地図は部品単位で自動更新されることになり、この作業を自動的に繰り返すことで旧三次元地図は自動更新されることになる。
ここで、三次元地図を自動更新することで何時でも二次元地図に変換できるので、二次元地図の自動更新であっても同様である。
旧三次元地図にはなく、新規に追加される新部品については、新たに三次元地図を生成する上述のＰＲＭによる方法と同様である。
【０１６５】
［空撮映像による三次元地図生成］
次に、図４６〜図４８を参照して、空撮映像による三次元地図生成を行う三次元地図生成装置の実施形態について説明する。
図４６Ａ及び図４６Ｂに示す三次元地図生成装置４６００は、空撮映像に基づいて三次元地図生成を行うことを特徴とするものである。
具体的には、図４６Ａに示すように、三次元地図生成装置４６００は、以下のような各要素を備えている。
【０１６６】
対象範囲指定部４６１０は、全周ビデオ映像と各フレームに対応したＣＶデータ取得部の出力から、全周ビデオ映像の中に有って、三次元地図として生成すべき対象範囲を指定する。
計測点密度指定部４６２０は、上記の対象範囲の中に計測点密度を指定する。
計測点生成部４６３０は、上記の対象範囲と計測点密度で、計測点を自動的に、あるいは手動で、任意の位置に生成する。
計測点追跡部４６４０は、上記の計測点を全周ビデオ映像の隣接する複数のフレームに亘って追跡する。
計測点演算部４６５０は、ＣＶデータ取得部から出力されるＣＶ値と、計測点と追跡による追跡データを取得した計測点により、計測点の三次元座標を演算で求める。
対象範囲測量部４６６０は、対象範囲にあるすべての計測点の三次元分布を求める。
【０１６７】
一方、特定計測点指定登録部４６８０は、全周ビデオ映像の中の対象範囲内に、人工物に多く見られる直線部分から構成される対象物の角や縁や面や立体、又はその一部を特定計測点として、指定して、属性とともに登録する。
特定計測点は、特定されているので、その属性を登録されたまま計測点生成部４６３０に送られ、一般の計測点と同じように追跡され、演算され、前記計測点演算部４６５０され、出力される。
特定計測点形成部４６９０は、計測点演算部４６５０からの出力の中から、特定計測点のみ抽出し、その属性に適合した形状を与える。
三次元形状生成部４６７０は、特定計測点形成部４６９０から出力される特定計測点で形成される三次元形状を生成する。
三次元座標統合部４６１００は、三次元形状生成部４６７０で生成された三次元形状を、特定計測点以外の計測点から得られた三次元形状とともに統合する。
そして、上記のように生成・統合された三次元形状が、三次元地図出力部４６１１０により三次元地図として生成・出力される。
【０１６８】
さらには、本実施形態の三次元地図生成装置４６００は、図４６Ｂに示すように、以下の三次元形状生成部４６０１と結合条件設定部４６０２を備えることもできる。
三次元形状生成部４６０１は、計測点の三次元分布をワイヤフレームで表現するワイヤフレーム生成部４６０１ａと、ワイヤフレームに、全周ビデオ映像の対象範囲のテクスチャーを貼り付けるテクスチャー貼り付け部４６０１ｂを備える。
また、結合条件設定部４６０２は、上記の三次元座標分布からワイヤフレームが一義的に定まらない場合に、適切な三次元形状を生成するためのワイヤフレームの結合条件を変更する。
【０１６９】
図４７及び図４８に、以上のような空撮映像から三次元地図を生成する三次元生成装置の具体的な一実施例を示す。
図４７（ａ）に示すような航空機の一部に、図４７（ｂ）に示すようにＧＰＳ１個と広角ビデオカメラ五台を取りつける。
それぞれのカメラは、図４８（ａ），（ｂ）に示すように、５０°×７０°程度の視野を持ち、一部視野を重複して地上を撮影する。
カメラ間距離は精度良く計測しておくことで、後の演算に反映させる。また、カメラの取り付け角度については、振動による揺らぎを考慮し、概略設定として、後に演算で求める。
【０１７０】
広角レンズを有する五台のビデオカメラで地上を撮影したビデオ映像は、降格ビデオ映像記録部に同期して記憶する。
各広角カメラからの画像データとＧＰＳデータは、同一の時計による時刻と同時に記録される。
広角ビデオ映像からＧＰＳにより、絶対座標校正を行い、ＣＶ演算を行い、ＣＶデータによりＧＰＳデータの揺らぎを補正し、ＣＶデータとしてＣＶデータ取得部によりＣＶデータとして取得する。
【０１７１】
［二次元動画映像から三次元映像の生成］
次に、図４９〜図５７を参照して、二次元動画映像から三次元映像を生成する三次元地図生成装置の実施形態について説明する。
図４９に示す三次元地図生成装置４７００は、二次元動画映像から三次元映像を生成することを特徴とするものである。
具体的には、図４９に示すように、三次元地図生成装置４７００は、以下のような処理動作を行う各要素を備えている。
【０１７２】
対象範囲指定部４７１０は、高精度ＣＶ演算装置４７１からの出力である全周ビデオ映像の中に有って、三次元映像として生成すべき対象範囲を指定する。
図５０及び図５１に、オペレータの単純ブロック化の例（図５１（ａ）参照）と、オペレータを一般画像に適応して範囲を指定している例（図５０，図５１（ｂ）参照）を示す。
ここでは、オペレータを用いて、範囲を決めて三次元化することにより演算時間が短くなるメリットがある。もちろん、一度に全域を三次元化することも同様に可能である。
また、対象範囲を限定し、対象物一個程度に狭く指定することで、図４５に示したＰＲＭによる三次元地図生成における対象物認識の前段階として、ＰＲＭ三次元地図生成装置を含めて利用することも可能である。
【０１７３】
計測点密度指定部４７２０では、画像安定化部４７２０ａにより、ＣＶデータ取得部から取得したＣＶ値から、動画映像の回転成分を停止した映像が生成される。このとき、３軸回転成分を固定するように、座標変換を施すことは可能である。このことにより、画像は安定化し、カメラ移動による画像の動きは、湧きだし点方向に規定される。
次に、湧きだし点決定部４７２０ｂにより、上記の回転成分を停止した時に、動画映像の動きの原点となる湧きだし点が決定される。
【０１７４】
次いで、画像ブロック分割部４７２０ｃにより、映像の指定範囲を画像ブロックに分割する。ここで、画像ブロック分割は、例えば、単純に長方形を単位とした単純ブロック分割による矩形オペレータ、あるいは湧きだし点からエピポーラ線に沿って放射状に伸びる放射線とそれと交わる方向の曲線又は直線が作る領域を単位とする湧きだし点方向オペレータなどを使用して行える。
矩形オペレータは各ブロックをエピポーラ線上に追跡することで、実質的に一次元と扱うことができるので、湧きだし点方向オペレータと同じ結果を得ることができる。
湧きだし点方向オペレータには、画像展開方式により様々なものが考えられる。
【０１７５】
エピポーラ線に沿った放射線は、平面変換した画像（遠近法画像）においては直線となるが、メルカトール画像では曲線となる。又、球面展開画像（魚眼レンズの射影方式）でも曲線となるが、前記湧きだし点を画像中心近くに取ることで、直線に近くすることが可能であり、その後の追跡演算には有利である。
なお、オペレータは画像全域まで拡張することが可能である。
図５０には、湧きだし点方向オペレータを交通標識部分に適応した例を示す。
また、図５２には、平面変換画像における湧きだし点位置と、湧きだし点方向分割オペレータの関係を示す。
【０１７６】
また、図５３には、メルカトール画像における湧きだし点位置と吸い込み点位置と、画像分割例として、矩形オペレータと湧きだし点オペレータの例を示す。
同図に示すように、メルカトール画像では、画像分割された各分割領域は、湧きだし点から生成されて、上記のエピポーラ線上を曲線的に移動し、吸い込み点で消失するように運動する。遠近法に対応する平面展開の画像では、上記領域は直線的に移動する。
【０１７７】
また、各分割領域の実際の運動は、カメラの方向が変化し、移動方向が変化するにつれて、湧きだし点と吸い込み点の位置が刻々変化するので、上記の運動の一部分が、連続的に積み重なる運動きとなる。
回転の方向が変わる一般画像では、上記の状態が微分的に成立する。
画像の回転とカメラ方向を後処理で安定化させることで、上記の状態を連続的に実現することが可能である。すなわち、画像の回転とカメラ方向を安定化させる処理により、湧きだし点と吸い込み点が固定され、回転が無くなり、上記状態が長く保たれることになる。
湧きだし点方向オペレータはこのエピポーラ線とそれに交わるラインとで分割される領域に分割される。なお、図５３では垂直線としているが、特に制限はない。
【０１７８】
以上の点は、図５４に示す球面展開画像でも同様である。
図５４は、球面展開画像（魚眼レンズの射影方式）における画像分割例とオペレータ例と湧きだし点位置を示す。
具体的には、魚眼レンズの投影法による画像の湧きだし点位置と吸い込み点位置の例を示す。なお、魚眼レンズの投影法には主に２種類有るが、湧きだし点と吸い込み点に関してはどちらも同じことが言える。
画像分割領域は、湧きだし点と吸い込み点の２点間をつなぐエピポーラ線上を曲線的に移動する。曲線ではあるが、湧きだし点が定まれば一義的に決まった経路をたどるので、実質的に一次元ベクトルとして扱うことができる。
【０１７９】
以上のようにして画像ブロック分割部４７２０ｃで分割された画像ブロックのすべてについて、特徴点抽出部４７２０ｄにより特徴点となり得るブロックが抽出される。特徴点はそのまま追跡可能であり、この特徴点を追加してＣＶ演算を再度行うことも可能である。
また、画像ブロックは、境界点抽出部４７２０ｅにより、境界線の一部となり得る境界点が抽出される。
さらに、領域点抽出部４７２０ｆにより、上記の特徴点及び境界点以外の点を領域点として、その領域点が抽出される。
この特徴点，境界点，領域点を三種の点要素と呼ぶ。
図５５に、全ブロックについて特徴点、境界点、領域点を定義して分類したものを示す。
【０１８０】
そして、画像ブロックの各点は、二次元ゴム紐結合映像生成部４７２０ｇにより、湧きだし点から放射状に伸びる線状で結合され、その順番が固定され、かつ、距離関係が自由となるように結合される。
図５６にはその二次元ゴム紐結合状況が示してある。
なお、以上の計測密度指定部４７２０においては、画像安定化部４７２０ａは必ずしも必要ではなく、湧きだし点決定部４７２０ｂも必ずしも必要ではなく、その場合には、画像ブロック分割部４７２０ｃは、単純に長方形のブロックに分割することでも、特徴点、境界点、領域点の分類は可能である。
もし、画像ブロック分割が湧きだし点に依らずに、長方形のような単純分割である場合には、ゴム紐結合はブロックの順番を変えずに、垂直水平両方向へのゴム紐結合が必要となる。
【０１８１】
次に、計測点生成部４７３０では、まず、特徴点選択部４７３０ａにより、特徴点を計測点として選択する。
また、領域生成部４７３０ｂにより、領域点とそれを取り囲む特徴点及び境界点で作る領域を生成する。
最終画像ブロック分類を図５７（ｂ）に示す。同図において、境界点又は特徴点に囲まれる閉じた領域点が集合した領域はハッチ部分、不完全な領域は塗潰し部分で分類している。
そして、計測点決定部４７３０ｃにより、特徴点を計測点、領域を計測領域として、追跡計測対象として決定する。
【０１８２】
計測点追跡部４７４０においては、計測点としての特徴点、境界点、及び計測領域を、湧き出し点方向に、隣接する複数のフレームの中に追跡する。
特徴点は、そのまま複数の隣接フレームに追跡可能である。
境界点は、湧きだし方向に追跡することで、その対応点が決定できる場合はあるが、一部は決定できない。また、領域点はそれ自身を追跡しても対応点を発見できないが、閉じた領域全域の形状を用いて追跡すれば、追跡可能なものが存在する。
しかしながら、追跡不可能な点であっても、ゴム紐で結合され、配列順番が決定されていることから、また、湧きだし点からの距離と速度は一次関数で表せることから、未知のブロックを比例関係で内装することで、一部の未知のブロックの追跡点を想定することは十分可能である。
【０１８３】
隣接フレームに亘って追跡する場合、追跡ブロックが湧き出し点の近くにあると、隣接フレームへの追跡を重ねるにつれて、対応する画像ブロックの変化が大きくなるために、単にブロックを移動させて対応を取るだけでは、形状が異なり対応が不完全となる。
その画像ブロックの大きさの変化は、湧き出し点からの距離に依存し、演算可能であり、前もって予想がつく。従って、その予想を反映させて、湧き出し点からの距離の関数として画像ブロックの大きさと形状を変更して、追跡を行うことも可能である。このようにすることで、より適切な追跡が可能となり、追跡精度が向上する。なお、画像ブロック分割部４７２０ｃにおいて、湧きだし点を用いずに画像を単純分割した場合には、対応演算は単純化されるが、計測点追跡部において、追跡方向が二次元となることによる非効率化と演算速度の増加というデメリットが発生する。
【０１８４】
計測点演算部４７５０においては、計測点の追跡結果とＣＶデータ取得部の出力によるＣＶデータから、計測点の三次元座標、及び領域の三次元座標を取得する。
ここで、特徴点、及び追跡可能な境界点、追跡可能な閉じた領域点集合については三次元計測が可能となり、その三次元座標を演算で求められる。
【０１８５】
対象範囲測量部４７６０においては、計測点、及び計測領域を囲む境界点の三次元座標を、対象範囲に亘って繰り返し演算して求め、追跡部において、未だ追跡不可能な画像ブロックがあれば、その画像ブロックを演算済みの既知の三次元座標から内挿で求めて、その三次元位置を予想して、対象範囲を測量する。
追跡不可能な点であっても、ゴム紐で結合され、配列順番が決定されていることから、また、湧きだし点からの距離と速度は実質的に一次関数で表せることから、三次元座標の未知のブロックについては、隣接する三次元座標の既知の画像ブロックから、比例関係で内装することで、未知のブロックの三次元座標を推測できる。
ここでは、対象範囲を限定して処理することにするが、まったく同じ原理と方法で画像全域に亘って、一度の全域変換も可能であるが、演算時間がかかるというデメリットがある。
【０１８６】
三次元形状生成部４７７０においては、境界線所属分類部４７７０ａにより、特徴点と境界点の三次元座標から、特徴点と境界点が所属する領域を決定する。
次に、ゴム紐切断部４７７０ｂにより、特徴点と境界点の所属により、ゴム紐結合の一方を切断して、片方の領域間の結合を立ち、もう一方の領域に結合させる。境界点は一般に連続して複数の領域の境界線を作るが、その複数の領域のどの領域に当該境界点が所属するかを決定しなければならない。また、境界点を先に決めて、その境界点に属する領域を決めることでも同じである。
さらに、三次元ゴム紐結合映像部４７７０ｃにより、対象範囲のすべてのブロックを、特徴点、境界点、領域点に分類し、特徴点は計測点として求めた座標で固定し、最後に残った未だ座標の定まらない画像ブロックついてはゴム紐上で内挿し、それぞれの三次元座標を与えることで、すべてのブロックには三次元座標が与えられ、最終的に全ブロックを三次元的にゴム紐で結合する。
【０１８７】
追跡によって三次元座標が決定されるのは特徴点のみである。境界点は追跡方向を限定できる湧きだし点方向の追跡によって追跡が可能なものがあり、一部はその三次元座標が求められる。また、単純画像ブロックでの分割であれば、各ブロックをエピポーラ線上に追跡すれば、特徴点以外の追跡は困難になるが、ほぼ湧きだし点方向分割と同じ効果が得られ、さらにゴム紐結合により、追跡位置を予想できるし、それができない場合でも、三次元座標が既知となった周囲の特徴点分布から、その三次元座標を推論できる。さらに、領域を作るものについては、その領域の形状そのものを複数の隣接フレームに追跡することで、領域単位の三次元座標を求めることができる。従って、最終的にはすべての画像ブロックは三次元座標を取得することができる。
図５７（ｂ）に示す例は二次元ゴム紐結合であるが、これに各ブロックに三次元座標を与えたものが三次元ゴム紐結合となる。
【０１８８】
三次元座標統合部４７１００においては、画像分割密度変更部４７１００ａにより、三次元ゴム紐結合された画像の分割密度を荒い密度から順次より高密度に変更する。
また、三次元画像記録統合部４７１００ｂにより、画像ブロック分割の密度を最初に設定したことによる三次元ゴム紐結合された画像を一旦記録し、次の行程により、より詳細な三次元形状を順次生成し、それを繰り返し、目的の密度まで順次生成し、より詳細な三次元映像を生成する。
三次元ゴム紐結合映像は、最初は粗い三次元形状を生成し、それを修正する形で次第に密の形状の三次元形状を生成する。
以上により生成された三次元形状により、三次元地図出力部で三次元地図が生成・出力される。
【０１８９】
なお、映像が単純であれば、一回の三次元ゴム紐結合画像を生成するだけでも十分である。
但し、複雑な形状の対象においては、複数回密度を変更し、次第に細かくしていく作業が必要である。また、対象範囲指定部の指定範囲によっても、密度を変更し、繰り返しを変更することで、画像と範囲に適した、密度変更が必要となる。
【０１９０】
以下に、上述した領域分割による領域分けのより具体的な実施例について説明する。
ここで、本発明に係る領域分割による領域分けは、空撮映像においても地上撮映像においても同様に有効であり、それを一般化したものが、図５２及び図５５〜５７に示す例である。
領域分割は、まず、広角ビデオ映像の中に、目的とする測量対象範囲を指定する。図５５（ａ）に示す例では全域の１１０％を指定した場合である。
次に、対象部分をブロック化する。ブロック化するときに、ＣＶデータから湧きだし点を求めて、湧きだし点からの延長線上に配列されるようにブロック化する（図５２（ａ）参照）。
【０１９１】
また、湧きだし点を中心とする放射直線と同心円状で作られるブロックに分割する。このブロックは後の追跡等により、その位置を変えても、ゴム紐で結合された短冊を伸び縮するようにその隣接ブロックとの関係は保たれる。これが二次元ゴム紐結合映像である（図５２（ｂ）参照）。
この二次元ゴム紐映像の生成処理により、後の追跡作業が容易になる。追跡はこの放射直線上を追跡すればよいことになる。
対象指定範囲の全領域をブロック化し、各ブロックを自己相関演算により、内部にピークを持つブロックを特徴点とし、ピークを持つが縁に位置する場合を境界線候補とし、それ以外を図及び地とする。
【０１９２】
図及び地の領域はそれを塗りつぶして図５７（ａ）のようになる。
この段階で、図と地の区別はまだ無いが、特徴点、及び輪郭候補点に囲まれているものが図であり、囲まれていないものが地となる。それを分離したものが図５７（ｂ）である。
この段階で、映像はブロックに分割され、それぞれのブロックは特徴点、境界線、図、地の４種類に分割され、しかも各ブロックは前記４種類の何れかに属することになる。ただし、全周映像では最終的に図と地の区別はなくなる。
さらに、地を除く三種類から、輪郭を形成する点と、図となる領域と地となる領域に分類することができる。
【０１９３】
特徴点の中から近距離に重なる部分や、移動体部分等の不適切なものを排除し、を計測点と決定し、計測点を映像内に追跡する。
計測点と既に求められているＣＶデータから、各計測点の三次元座標を演算で求める。
この計測点演算出力から、矛盾する計測結果を排除して、対象範囲の三次元座標の分布を求める。
そして、特徴点、領域境界、図、地等の分類により、映像の全ブロックを反映させた三次元ゴム紐結合映像を生成する。
【０１９４】
一方、測量対象範囲の中で、特に重要となる特定計測点を手動により指定して、登録する。特定計測点とは、画像の中の垂直部分、水平部分、直角部分等の人工構造物に由来する部分を特定することで、後の三次元地図の精度を向上させる。また、その属性を記憶させておいて、後に垂直水平部分を三次元地図に反映させる。特定計測点の中から、演算に適しないものを排除して、適切な特定計測点を決定する。
そして、特定計測点を広角ビデオ映像内に追跡し、追跡結果とＣＶデータから、特定計測点の演算を行う。このとき、特定計測点の垂直、水平等の属性を反映させる。
【０１９５】
三次元ゴム紐結合された三次元画像は既に三次元地図であり、この段階でも三次元地図として利用できるが、さらに精度を高めるためには特徴点となった計測点でサンプリングするポリゴン化に分解することができる。
ポリゴン化した骨格には既に三次元ゴム紐化した三次元映像がテクスチャーとして貼り付けてあるので、この場合はテクスチャー貼り付け部（図４６Ｂの４６０１ｂ）は不要となる。
ポリゴンの結節点は現実に合わせて、関係を調整するポリゴン生成条件を設定する。ポリゴンの結合関係は一義的に定まらないので、現実に合わせる必要があるためである。
【０１９６】
三次元ゴム紐結合映像、又はポリゴン化された三次元映像と、特定計測点測量の出力を座標統合し、その過程で特定特徴点の属性を取り入れて三次元座標統合する。
そして、統合されたものを三次元地図として出力する。
このようにすることで、空撮映像から直接三次元地図を生成することができる。
撮影時点では、カメラ姿勢、即ち航空機の姿勢を心配することなく、オルソ化もすることなく、動画映像から直接三次元地図を取得できることは優れた利点となる。
【０１９７】
［複数カメラ視差方式三次元地図生成装置］
次に、図５８〜図５９を参照して、複数カメラによる視差併用方式の三次元地図生成装置の実施形態について説明する。
図５８に示すように、本実施形態の三次元地図生成装置５８００は、視野が重複し、視差のあるビデオ映像を取得するための、複数のビデオカメラを有する複数カメラ撮影部５８０１を備えることを特徴とする。
なお、本実施形態に備えられる高精度ＣＶ演算装置は、図１７で示した全周カメラを省略して全周カメラの機能を複数カメラに持たせた高精度ＣＶ演算装置１７１に対応するものであるが、勿論、全周カメラを備えた高精度ＣＶ演算装置への適用を妨げるものではない。
【０１９８】
本実施形態の三次元地図生成装置は、まず、複数カメラ撮影部５８０１ａと視差方式カメラ座標三次元化部５８０１ｂを有する視差方式三次元化装置５８０１を備える。
視差方式三次元化装置５８０１は、車載等により移動する、複数のビデオカメラにより撮影される視差のあるビデオ映像により、カメラ位置から対象物までの距離を重複した視野範囲に亘って演算で求めて、カメラ座標三次元距離分布データを取得する。
【０１９９】
なお、この視差方式三次元化の部分は既に存在する技術であり、装置としても存在している。しかし三次元化した映像は得られるが、それはカメラ座標系の映像であり、カメラ位置から見た三次元化映像であり、カメラが静止していれば十分意味を持つが、カメラが移動した場合には、静止座標系におけるカメラ自身の位置と姿勢が未知となり、従って取得された三次元座標も未知となる。
そこで、本実施形態のような構成とすることにより、カメラ自身の三次元座標を、ＣＶ値を求めることでカメラ位置が既知となり、従って取得された映像の三次元データは静止座標系からの距離に変換できることになる。
視差方式カメラ装置の具体例を図５９に示す。
【０２００】
そして、本実施形態は、上述したような本発明に係る高精度ＣＶ演算装置５８０２を備える。
高精度ＣＶ演算装置５８０２は、画像取得部５８０２ａとＣＶ演算部５８０２ｂを備えている。
画像取得部５８０２ａは、複数カメラを代表するカメラからのビデオ映像を取得し、一時記録する。
ＣＶ演算部５８０２ｂは、同時併設してある他のカメラで取得したＣＶ値からカメラ位置に変換して、代表するカメラ位置のＣＶデータを取得する。このＣＶ演算処理は、図１７で示した高精度ＣＶ演算装置１７１と同様である。
【０２０１】
このＣＶ演算は、当該カメラからの映像で直接ＣＶ値を求めずに、ＣＶ演算に適した画角等を持つ他のカメラを併設して、当該カメラの画角と解像度には関係なく、高精度ＣＶ値が得られる。しかも非同期とすることもできるので有利である。
なお、代表するカメラ位置のＣＶデータを当該カメラの映像から取得することもできる。この場合は、当該カメラを用いるため、ＣＶ演算専用カメラではないことから、画角を広角に選べないために画角が狭くなるか、又は解像度が低下する等、演算時のＣＶ値の精度が落ちることになる。
【０２０２】
さらに、本実施形態の三次元地図生成装置５８００は、静止座標系変換部５８０３と静止座標系合成結合部５８０６を備える。
静止座標系変換部５８０３は、視差方式三次元化装置５８０１により得られたカメラ座標系における三次元距離分布データを、高精度ＣＶ演算装置５８０２で得られた高精度ＣＶ値により、連続的に静止座標系における三次元距離分布データに変換する。
ＣＶ値はカメラの三次元位置と３軸回転姿勢を示すので、カメラ座標三次元距離分布データを正確に任意の座標系に変換できる。
静止座標系合成結合部５８０６は、ビデオ映像の進行とともに、重複しながら連続的に得られる静止座標系における三次元距離分布データを結合して、静止座標系に統合する。
【０２０３】
なお、三次元地図生成は、動画として連続的に変換データが得られるので、データは重複している。従って、それを合成し、重ね合わせることで三次元地図は生成されるが、運動対象物の処理が残っている。
そこで、さらに必要が有れば、以下に示す運動対象物分離部５８０５及び静止物体分離空間構成部５８０８を備えることで、運動対象物を分離して、運動対象物と静止体とに分離し表示することができる。
静止物体は重複するか、運動対象物は重複しないので、分離することができる。また、それぞれの領域のＣＶ値から、運動対象物を分離することもできる。
【０２０４】
従って、運動対象物分離部５８０５により、時間的変動のある三次元データを分離して、運動対象物として分離記録する。
そして、静止物体分離空間構成部５８０８により、静止座標系に統合時に、静止座標系における静止物体のみで構成するようにする。
なお、上述したように、ＣＶ演算と視差方式とは、相反する性質があり、ＣＶデータ用のカメラと視差方式用の複数カメラの選択や組み合わせのバリエーションとしては、装置の規模やコスト等に応じて最適なものに設定することができる（図２１参照）。
【０２０５】
［航法装置］
次に、図６０〜６２を参照して、本発明に係る高精度ＣＶ演算装置を備えたＣＶ方式航法装置の具体的な実施形態について説明する。
図６０に示すように、本実施形態に係るＣＶ方式航法装置６０００は、ＣＶ方式三次元地図生成装置６００１と、三次元地図装置６００２，走行経路入力装置６００３，車載式カメラと概略ＣＶ演算装置６００４，対象物空間構成装置６００５，対象物認識装置６００６，高精度ＣＶ演算装置６００７，現状判断装置６００８，リアルタイム制御装置６００９及びリアルタイム表示装置６０１０の各部を備えている。
【０２０６】
三次元地図生成装置６００１は、上述した本発明に係る三次元地図を生成する高精度ＣＶ演算装置を備えるＣＶ方式三次元地図生成装置６００１である。
三次元地図装置６００２は、ＣＶ方式三次元地図生成装置６００１により生成され、車載可能とした三次元地図情報を備える。
走行経路入力装置６００３は、三次元地図装置６００２に、走行に必要な情報を三次元データ及び属性として予めに入力し、途中で変更可能な入力手段である。
車載式カメラと概略ＣＶ演算装置６００４は、車載カメラから、広角映像データと走行時点の比較的低精度のＣＶデータを出力する。
【０２０７】
対象物空間構成装置６００５は、出力された概略ＣＶデータにより、走行車輌の現在位置と姿勢を三次元で取得して、三次元地図と概略対応させ、三次元空間構成を検出し、対象物の認識以前に緊急対応が必要な障害物を関知し、最優先で回避及び停止の緊急制御信号をリアルタイム制御装置に送る。そして、対象物空間構成装置６００５は、車載式カメラと概略ＣＶ演算装置６００４により、走行路から可視範囲にあり、走行目的及び交通に関係する複数の対象物からなる三次元空間構成を検出する。
なお、本実施形態の航法装置６０００において、図５８で示した二台のカメラの視野を重複して視差による三次元画像生成とＣＶ演算を併用すれば、三次元空間構成を検出が容易になり、リアルタイム処理が可能となる。
事故回避の緊急対応として、車輌の前に人間が飛び出す等が考えられるが、車輌の進行方向の空間に、空間構成データから、何らかの物体が進行方向に存在すると判断された場合に、それを人間か否かを認識判断する以前に、緊急判断として、車輌を回避させるか、停止させることで事故を未然に防止する行動を取るようにする。
【０２０８】
対象物認識装置６００６は、対象物空間構成データと、車輌の概略三次元位置データとを照らし合わせ、走行路から可視範囲にあり、走行目的に合致し、交通に関係する、信号機、道路標識、道路標示等の、個々の対象物の三次元形状を、前記三次元地図の情報と照らし合わせて、形状及び、属性を特定して認識する。
対象物空間構成装置６００５と対象物認識装置６００６のより具体的な処理内容を図６１に示す。
同図に示すように、対象物空間構成装置６００５では、粗密度画像分割６１０１により、車載の映像出力を粗密度で画像を分割し、粗密度三次元空間配置認識６１０２により、ＣＶ値から映像空間の大まかな三次元配置を認識する。
【０２０９】
次に、対象物概略位置検出６１０３で、概略三次元位置の求められている映像から、信号機や道路標識等の予想位置に着目して、ＣＶデータから、対象物の概略三次元位置の三次元的移動を求め、対象範囲指定部の指定範囲を、対象物を一個程度含む範囲にまで狭く指定して、その範囲を画像分割する。この画像分割処理は、上述した図４９で示した実施形態と同様に行う。
さらに、対象物ロックオン６１０４により、隣接するフレームにおける位置を予想し、対象物ロックオン追跡６１０５により、対象物を追跡する。
【０２１０】
次に、対象物認識装置６００６において、まず、対象物領域画像ブロック分割６１０６により、対象物を構成する特徴点，境界点，領域点による三種の点要素に分解して、点及び領域を追跡する。
この追跡結果から、対象物領域三次元形状生成６１０７により、その三次元形状を求める。
一方、図４５に示したＰＲＭ方式と同様、データべース部品を三次元地図の情報として用意し、その部品と、あるいはその部品を三種の点要素に前もって分解しておき、比較６１０８において、部品、もしくはその部品の三種の点要素及び領域を比較し、ＰＲＭによる三次元部品特定６１０９により部品を特定し、対象物最終認識６１１０で対象物を認識する。
【０２１１】
高精度ＣＶ演算装置６００７は、図６０に示すように、対象物認識装置６００６による複数の対象物の三次元形状、又は部品形状を三次元追跡し、もしくは、特定以前の三次元空間構成の段階で、特徴ある形状を選択して、切り取って追跡し、その追跡結果から、高精度のＣＶデータを取得する。
このように二段構えとすることで、認識以前の段階で高速リアルタイム演算を行い、最優先で障害物を検知し、その障害物を回避し、その多少の演算時間をかけて、高度の認識まで含めて低速リアルタイム処理を行うことができる。
現状判断装置６００８は、上記の高精度のＣＶデータと、対象物空間構成の出力と、対象物認識結果と、車載レーダやその他車載計測器の出力を総合的に判断して、走行条件の結論を導く現状判断装置を設置し、
【０２１２】
リアルタイム制御装置６００９は、現状判断装置６００８の出力により、当該車輌のアクセル、ブレーキ、ハンドル等を適切に制御し、あるいは前記走行経路入力装置のデータを変更する。
すなわち、リアルタイムで得られたＣＶ値とカメラ映像の解析により、直接車輌や航空機を目的位置、目的方向、目的速度、目的姿勢を予定に合わせて、しかも現場の状況に応じて適宜修正しながら、制御することができる。
リアルタイム表示装置は、カメラを積載した走行車輌の位置と姿勢に関して、走行経路入力装置６００３から出力される制御信号を予め走行車輌内に記録し、走行車輌に積載された高精度ＣＶ演算装置６００７の出力から現在位置と姿勢を取得し、記録された制御信号により、車輌が予定の走行経路を走行するように制御し、さらに、走行時に取得した情報から判断し、現在位置の周囲の状況に合わせてリアルタイムで修正制御する、また、必要に応じて高精度ＣＶ演算装置６００７の出力、認識結果、及び現状判断結果を、二次元地図又は三次元地図上にリアルタイムで表示して、運転者等に知らせる。
以上のような本実施形態に係る航法装置６０００を走行車輌に実装した一実施例を図６２に示す。
【０２１３】
［歩行者ナビシステム］
さらに、図６３〜６９を参照して、本発明に係る高精度ＣＶ演算装置を備えたＣＶ方式航法装置の応用例として、歩行者ナビシステムの実施形態について説明する。
歩行者ナビシステムは、本発明に係る高精度ＣＶ演算装置が適用されるナビゲーション装置として実現されるものであり、車両走行時には、カーナビ装置に歩行者ナビ装置が接続された状態に置かれる。そして、カーナビ装置では、通常のガイド（カーナビゲーション）を行い、一方、被案内者が車両から離れるときには、歩行者ナビ装置がカーナビ装置から独立して歩行者ナビ装置単体としても用いることができるものである。
歩行者ナビ装置は、車両走行中はカーナビ装置と情報を共有する必要性から、カーナビ装置と接続した状態に置かれているときには、歩行者ナビ装置による機能はカーナビ装置の機能と結合して、車内のカーナビ装置の大きなディスプレイに表示して、案内する機能を持つ。
【０２１４】
歩行者ナビの主な機能としては、カーナビ装置と歩行者ナビ装置は基本的に同じ機能を持つことができるが、歩行者ナビ装置では、地下街やビルの中をも案内することが必要となり、また、ＧＰＳ計測以外の機能で自己位置を決定することが必要となる。
カーナビ装置ではＧＰＳ機能が主となるが、歩行者ナビ装置ではＧＰＳ機能は補足的であり、歩行者ナビ装置以外から取得したＣＶ映像、又は歩行者ナビ装置に付加されたカメラ映像から位置を取得するＣＶ機能が重要となる。
また、歩行者ナビ装置は、情報センターとデータのやり取りが可能で、情報センターは歩行者ナビ装置に対してＣＶ映像地図配信サービスと地点特定サービスを行う。
歩行者ナビ装置と情報センターとは、回線を介して通信可能に接続される。回線としては、携帯電話回線や専用回線を使用することができるが、少なくとも静止画像や動画像のデータ伝送を可能とする回線が必要となる。
【０２１５】
以下、本実施形態に係る歩行者ナビシステム６３００の具体的構成について説明する。
歩行者ナビシステム６３００は、図６３に示すように、基本的構成として、情報センター施設６３１０と、歩行者ナビ装置６３２０を備えている。
情報センター施設６３１０は、撮影地点のカメラ位置と姿勢データを持つＣＶ映像と、その属性等が記録され、座標や属性等で検索し、特定された地点のCV映像や属性等を配信する機能を持つ。この情報センター施設６３１０は、前もって設置される。
歩行者ナビ装置６３２０は、被案内者となる歩行者が携帯可能な端末装置等で構成され、装置本体では、目的地点を指定することで、情報センター施設６３１０との通信により、目的地点までのＣＶ映像と座標，属性等を取得し、もしくは、歩行途中で目的地や経路を変更し、情報センターとの通信によって新たなデータを取得し、それらの取得データ等によって、歩行者を目的地まで案内する。
【０２１６】
そして、以上のような基本構成からなる歩行者ナビシステム６３００は、図６４に示すように、カーナビ装置との組合せにより使用される。
具体的には、カーナビ装置６３３０は、通常のカーナビゲーション機能を持つカーナビゲーション装置を構成し、結合装置６３４０を介して歩行者ナビ装置６３２０と接続されるようになっている。すなわち、歩行者ナビ装置６３２０は、カーナビ装置６３３０に対して着脱可能に接続されるようになっている。
結合装置６３４０は、カーナビ装置６３３０と歩行者ナビ装置６３２０がそれぞれ着脱可能であり、接続状態では一体化した機能を有し、分離した状態ではそれぞれ単独で機能するような、カーナビ装置部と歩行者ナビ装置部とを接続して、データのやり取りをするための装置である。
【０２１７】
より具体的には、一実施形態に係る歩行者ナビシステム６３００は、図６５に示すような構成となっている。
情報センター施設６３１０では、まず、センター受信部６３１１で、歩行者ナビ装置６３２０から経路データ等を受信する。
ＣＶ映像データベース部６３１２では、目的地点を含むＣＶ映像を保存し、その属性とともに記録して、受信した座標又は属性で検索できるようにデータベース化されて保存される。
近接位置ＣＶ映像選択部６３１３では、ＣＶ映像データベース部のデータの中から、受信したデータに最も適切なＣＶ映像を選択する。
センター送信部６３１４は、選択された最も適切なＣＶ映像を、歩行者ナビ装置６３２０に送信する。
【０２１８】
歩行者ナビ装置６３２０では、まず、目的地点指定部６３２０１で、歩行者の案内の目的地点を指定する。
また、経過地点指定部６３２０２で、任意の経過地点を指定する。
経路演算部６３２０３では、現地点と目的地点を設定することで、途中経路を自動的に求める。
経路決定部６３２０４では、経路演算部６３２０３で演算された複数の経路の中から、適切な経路を選択する。
経路送信部６３２０５は、経路決定部６３２０４で決定された経路と現地点と目的地とを表す経路データ等を、情報センター施設へ送信する。
【０２１９】
ＣＶ映像受信部６３２０６は、情報センター施設６３１０のセンター送信部６３１４から配信されたＣＶ映像を受信する。
地点映像選択部６３２０７は、情報センター施設６３１０により配信されたＣＶ映像から、現地点映像を選択する。
地点映像ページめくり部６３２０８は、歩行者の移動にともない、ＣＶ映像を次々選択する。
目的地点到達案内部６３２０９は、目的地点周辺に到達したときに、歩行者に目的地を知らせる。
【０２２０】
随時現在地点座標取得部６３２１０は、当該歩行者が移動中の任意地点における位置を取得し、取得したデータにより経過経路送信部６３２０５の信号として情報センター施設６３１０に送信する。そして、ＣＶ映像受信部６３２０６を通して情報センター施設６３１０から目的のＣＶ映像の配信を受ける。
表示案内部６３２１１は、地点映像選択部６３２０７と、地点映像ページめくり部６３２０８と、目的地点到達案内部６３２０９と、随時配信されたＣＶ映像を、それぞれ切り替えて、あるいは同時に表示する。
音声案内部６３２１２は、表示案内部６３２１１で表示される案内内容を、必要に応じて音声で案内する。
【０２２１】
以上のような構成からなる歩行者ナビシステム６３００は、図６６に示すように、歩行者ナビ装置６３２０に撮影手段を備え、情報センター施設６３１０からの情報とともに、自らが取得した映像に基づいてナビゲーションを行う手段を備えることができる。
具体的には、同図に示すように、歩行者ナビ装置６３２０は、まず、広角映像撮影部６３２１３により、当該歩行者の周辺の映像を動画撮影する。
画像処理部６３２１４では、撮影された広角映像を一次記録し、隣接するフレーム内に特徴点を抽出する。
ＣＶ演算部６３２１５は、追跡した特徴点により、カメラベクトル（ＣＶ）を演算で求める。このＣＶ演算は上述した通りである。
絶対座標変換部６３２１６は、長さや距離や座標が既知の対象物を基準として絶対座標を取得する。
【０２２２】
ナビ位置ＣＶ映像生成部６３２１７は、歩行者ナビ装置６３２０のＣＶ値を付加した動画映像を生成する。
二種ＣＶ映像比較部６３２１８は、情報センター施設６３１０から配信されたＣＶ映像と、歩行者ナビ装置６３２０で取得したＣＶ映像と二種類のＣＶ映像を比較して、二種類のＣＶ映像の位置関係を決定する。
自己位置決定部６３２１９は、情報センター施設６３１０から配信されたＣＶ映像における自己位置を決定し、さらに地点映像ページめくり部６３２０８においてＣＶ映像を自動選択して自動ページめくりを行う信号を生成する。
自己位置マーカ生成部６３２２０は、自己位置のマーカを生成し、自己位置を案内映像上、又は地図上に表記する信号を表示案内部６３２１１に送る。
【０２２３】
また、以上のように歩行者ナビ装置６３２０側で取得される撮影データを、情報センター施設６３１０に送信して配信情報に反映させる手段を備えることができる。
具体的には、図６７に示すように、歩行者ナビ装置６３２０は、総合データ送信部６３２２１により、経路決定部６３２０４からの出力と、広角映像撮影部６３２１２からの出力、絶対座標変換部６３２１６からの出力を情報センター施設６３１０へ送出する。
情報センター施設６３１０では、センター受信部６３１１が、歩行者ナビ装置６３２０の総合データ送信部６３２２１から送られた信号を受信する。
ＣＶ映像データベース部６３１２は、目的地点を含むＣＶ映像を保存し、その属性とともに記録し、受信した座標又は属性で検索できるようにデータベース化して保存する。
【０２２４】
二種ＣＶ映像比較部６３１５は、受信した位置信号から歩行者ナビ装置６３２０の概略位置を取得し、その周辺のＣＶ映像をＣＶ映像データベース部６３１２から選択的に取り出し、必要に応じて受信した歩行者ナビ装置６３２０で取得された映像とＣＶ映像とを比較する。
自己位置決定部６３１６は、二種ＣＶ映像比較部６３１５のＣＶ映像比較により、自己の位置を座標上で、もしくは映像上で決定する。
地点ＣＶ映像選択部６３１７は、自己位置決定部６３１６で自己位置を決定したことで取得されるＣＶ映像データベース部６３１２から対応するＣＶ映像を選択する。
選択された地点のＣＶ映像等は、センター送信部６３１４から歩行者ナビ装置６３２０に送信される。
【０２２５】
さらに、以上のような構成からなる歩行者ナビシステム６３００では、ＧＰＳを併用してより高精度なナビゲーションを行うことができる。
具体的には、図６８に示すように、歩行者ナビ装置６３２０には、ＧＰＳ部６３２２２を備えることができる。
ＧＰＳ部６３２２２は、ＧＰＳにより絶対座標を取得する。
これにより、ＧＰＳ電波が良好に受信できて精度が十分あるときは、ＧＰＳにより絶対座標を取得し、さらに、自己位置をＧＰＳとＣＶ値で互いに補完し合うことで精度を向上させることができる。また、ＧＰＳ電波を受信できないときや、ＧＰＳの誤差が大きいときには、既に補完補正されたＣＶ値による自己位置決定を行うことができる。
【０２２６】
次に、以上のような構成からなる歩行者ナビシステム６３００の一実施形態における具体的な動作の一例を、図６９を参照しつつ説明する。
同図に示す動作例では、カーナビ装置により目的地近くまで車両により走行し、車両を目的地近くの駐車場に止め、そこから徒歩で歩行者ナビにより最終目的地まで案内移動することを想定している。
まず、目的地点をカーナビ装置６３３０の地図上、もしくは歩行者ナビ装置６３２０上の地図上で設定をすることができる。
なお、目的地点の設定は、歩行者ナビ装置６３２０，カーナビ装置６３３０のいずれのディスプレイでも設定可能であるが、一般にカーナビ装置６３３０のディスプレイの方が大画面であり、歩行者ナビ装置６３２０がカーナビ装置６３３０に接続されている状態では、カーナビ装置６３３０の大画面ディスプレイで設定するのが有利である。
【０２２７】
車両に積載のカーナビ装置６３３０だけでも、目的地近くの駐車場まで被案内者を案内することができるが、途中でカーナビ装置６３３０に接続した歩行者ナビ装置６３２０をアクティブ状態にしておくことで、通過する主な交差点や分岐点や目的地近くのＣＶ映像地図を情報センター６３１０から配信を受けることができる。
また、カーナビ装置６３３０の精度だけでは、重要ポイントを見落とすることがあり、必要時に情報センター６３１０から位置の特定サービスも受けることができる。
情報センター６３１０と歩行者ナビ装置６３２０は回線で接続されており、ＣＶ映像地図だけではなく、後述するように、その他情報の交換ができるようになっている。
また、情報センター６３１０によらず、歩行者ナビ装置６３２０単体の機能としてのＣＶ機能により、車両の位置精度を高精度で求めて、カーナビ装置６３３０に反映することができる。
【０２２８】
カーナビ装置６３３０に接続された歩行者ナビ装置６３２０は、情報センター６３１０からのＣＶ映像地図の配信を受けて、属性が付加されたＣＶ映像地図を取得する。例えば目的地周辺や途中通過する右折左折予定の交差点や重要通過地点を自分の車両位置からみた全周映像として取得することができる。
ＣＶ映像中には、交通に必要な信号機の位置や、道路標識，道路標示，行き先標示，通りの名称やビルの名称や重要構造物の名称など、映像内の主な対象物の名称が印されている。
【０２２９】
車両の走行前に目的地をカーナビ装置６３３０上で設定する。情報センター６３１０から配信された目的地周辺の映像に目的地が明確に印されていれば、それを目的地として設定する。また、周辺までしか印されていない場合は、通過目的地として登録設定する。
歩行者ナビ装置６３２０のＣＶ機能（走行中は接続されているカーナビ装置の機能と一体化している）により、ＧＰＳによる位置計測を補正し、車線位置や停止線まで特定できる程の高精度で車両位置を計測して表示することが可能となる。
ここでＣＶ機能とは、広角カメラによる位置座標をＣＶ演算により取得し、位置の特定を行う機能のことである。
【０２３０】
歩行者ナビ装置６３２０の機能としては、配信されたＣＶ映像地図の属性表示機能により道路標識，道路標示，行き先標示を示すだけでなく、地図に登録されているビルや店舗やホテルには直接回線で接続できるサービス機能がある。
また、ＣＶ機能のために付いているカメラにより、信号機の自動認識も可能となる。
また、情報センター６３１０へ現地店の映像を送信することで、位置特定サービスを受けることができる。これは、被案内者が道に迷ったとき等に有効である。特に、歩行者ナビ装置６３２０が単独のときに重要となる。
【０２３１】
目的地の近くまではカーナビ装置６３３０を主として、歩行者ナビ装置６３２０を従として走行し、近くの駐車場をカーナビ装置６３３０から選択して駐車する。
エンジンを停止するか、カーナビ装置６３３０と歩行者ナビ装置６３２０との接続を切り離せば、カーナビ装置６３３０により走行中に受信した駐車場から目的地近くまで、必要となる重要ポイントのＣＶ映像地図は歩行者ナビ装置６３２０に自動的にコピーされるようにすることができる。
被案内者が車両を離れて以降は、歩行者ナビ装置６３２０はカーナビ装置６３３０から切り離なされて被案内者が身につけた状態で使用される。
これ以降は、カーナビ装置から切り離された歩行者ナビ装置６３２０により、被案内者を目的地まで地図と映像と音声により案内する。
【０２３２】
歩行者ナビ装置６３２０では、先に情報センター６３１０から配信されたＣＶ映像地図により全周画像内に目的地方向が示される。被案内者は全周画像と実際を対比して見ることで、自分の位置と目的地方向を確認することができる。
被案内者は、歩行者ナビ装置６３２０により、目的地方向にＣＶ映像地図を見ながら、あるいは二次元地図を見ながら歩行して進行する。
ＧＰＳ部６３２２２を備える歩行者ナビ装置６３２０（図６８参照）であれば、ＧＰＳによる位置情報を地図上に表示できる。
ＧＰＳ部６３２２２を備えない歩行者ナビ装置６３２０や、ＧＰＳの電波が受けられない場所にいる場合には、歩行者ナビ装置６３２０のＣＶ機能により、被案内者は自分の位置を知ることができる。
【０２３３】
また、歩行者ナビ装置６３２０には広角カメラを備えて、カメラ映像から自分の移動方向と位置を計算して求めるＣＶ演算機能を備えることができる。
具体的には、歩行者ナビ装置６３２０に備えられるカメラにより、自動的に、あるいは手動により、被案内者が立つ場所の周囲の映像を撮影し、それを情報センター６３１０に送信する。情報センター６３１０では、受信した映像を、データベースに記録されているＣＶ映像と比較して、受信した映像の撮影位置を割り出す。
位置が割り出された結果を三次元座標として歩行者ナビ装置６３２０側に送り返し、歩行者ナビ装置６３２０側では、受信した座標を、地図上に、又はＣＶ映像地図上に表示することができる。
このようにして、被案内者は、道に迷った場合でも、この位置特定サービス機能により、いつでも自分の位置を確認することができる。
【０２３４】
配信されたＣＶ映像のみでは自分の位置が特定できない場合は、歩行者ナビ装置６３２０のカメラで取得した周辺映像を情報センター６３１０に送信して、位置特定サービスを受けることができる。
この画像認識による位置特定には、二種類の方法がある。第一の方法としては、歩行者ナビ装置６３２０からＣＶ演算可能な動画像を送信して、情報センター６３１０のＣＶ映像と三次元比較して位置を特定する方法である。この方法は、精度は高いが、動画像を送信する点でコストがかかることになる。
第二の方法としては、歩行者ナビ装置６３２０から静止画像を送信して、情報センター６３１０側で、ＣＶ映像との対比をすることで位置特定を行うことができる。この方法は、送信するのは二次元画像の静止画であるが、元は動画像であるためにＣＶ値は求まっているので、一連の移動のＣＶ値をも同時に送信することで、情報センター６３１０側での比較時には良い手がかりとなり、精度が得られる。また、基本機能の二次元地図表示では、二次元地図上に自分の位置と目的地方向を表示できる。
【０２３５】
歩行者ナビ装置６３２０にＧＰＳ部６３２２２が付いていれば、ＧＰＳ電波の受信できる範囲での案内が可能であるが、ＧＰＳ部６３２２２が付いていない場合や、付いていても誤差が生じていたり、さらには電波状況により、またはビル中や地下街や電波の到達しない場所では、適切な案内ができないことになる。
一方、ＣＶ機能付きの歩行者ナビ装置６３２０では、電波の届かない場所でもＣＶ映像と一特定サービスにより自分の移動量をベクトルで求めることができるので、案内が可能となる。
【０２３６】
案内目的のための加工のない現実のままの空間でもＣＶ機能により位置の特定がある程度可能であるが、ある規則と約束事によるマーカを通路や近傍の電柱や壁等に付けてあれば、それを自動認識することで場所の特定が可能となる。
場所を自動特定するマーカもあれば、あるいは単にＣＶ演算を容易にするための特徴点となるマーカを付けておくだけでも、位置の精度は向上する。ビル内や地下街においては特徴点として天井に様々なマーカを印すことが可能である。歩行者ナビ装置６３２０にとっては、ビルや地下街の天井等は優れた情報付加部分となる。
なお、マーカは肉眼で捉える場合もあるが基本的にはカメラで捉え、画像処理で特定される。そこで、マーカは肉眼では見えないが、カメラでは捉えられるように、カメラのＣＣＤが感度を持つ近赤外光を反射するマーカとすることも可能である。
また、現実空間内の特徴ある形状を三次元特徴物として登録しておくことでもＣＶ演算は容易となり、精度と信頼性とに貢献する。
【０２３７】
目的地までの最終案内は、目的地の画像情報があれば好都合であるが、最終目的地を示すマーカがあれば案内はそこで完結する。それが位置認識目的で付加したマーカであれ、元々の属性であれ、位置特定には貢献することになる。
最終目的地が登録されていない場合は、通過目的地まで案内するが、その後最終目的地までの経路を記録することができるので、次回からは最終目的地を設定できることになる。
最終目的地のマーカ又はＣＶ映像を他から取得することで、最終目的地を設定することが可能となる。最終目的地の座標が不明確でも、特定しやすいマーカがあればそれを最終目的地と設定することが可能である。
なお、ＣＶ映像による案内は、二次元地図ではなく映像が主体となるため、座標の正確さは重要ではなくなる。
【０２３８】
以上、本発明の高精度ＣＶ演算装置と、この高精度ＣＶ演算装置を備えるＣＶ方式三次元地図生成装置及びＣＶ方式航法装置について、好ましい実施形態を示して説明したが、本発明は、上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、本発明の高精度ＣＶ演算装置を備えるＣＶ方式三次元地図生成装置やＣＶ方式航法装置を適用可能な移動体としては、地上を走行する車輌に限らず、三次元空間を航行する飛行機等であっても良い。
【産業上の利用可能性】
【０２３９】
本発明は、例えば、自動車に搭載されるカーナビゲーション装置に備えられる三次元地図を生成するための三次元地図生成装置等に好適に利用することができる。
【図面の簡単な説明】
【０２４０】
【図１】本発明の一実施形態に係る高精度ＣＶ演算装置の基本構成を示すブロック図である。
【図２】図１に示す高精度ＣＶ演算装置の詳細を示すブロック図である。
【図３】本発明の一実施形態に係る高精度ＣＶ演算装置のビデオカメラ機器部を移動体に搭載した状態を示す概略図であり、屋根部に全周カメラを搭載した車輌の斜視図である。
【図４】本発明の一実施形態に係る高精度ＣＶ演算装置のビデオカメラ機器部を移動体に搭載した状態を示す概略図であり、（ａ）は屋根部に全周カメラを搭載した車輌の正面図、（ｂ）は同じく平面図である。
【図５】全周カメラで撮影される映像から得られる変換画像を示す説明図であり、（ａ）は球面画像が貼り付けられる仮想球面を、（ｂ）は仮想球面に貼り付けられた球面画像の一例を、（ｃ）は（ｂ）に示した球面画像をメルカトール図法に従って平面展開した画像を示している。
【図６】本発明の一実施形態に係る高精度ＣＶ演算装置のＣＶデータ演算部の基本構成を示すブロック図である。
【図７】本発明の一実施形態に係るＣＶデータ演算部おける具体的なカメラベクトルの検出方法を示す説明図である。
【図８】本発明の一実施形態に係るＣＶデータ演算部における具体的なカメラベクトルの検出方法を示す説明図である。
【図９】本発明の一実施形態に係るＣＶデータ演算部における具体的なカメラベクトルの検出方法を示す説明図である。
【図１０】本発明の一実施形態に係るＣＶデータ演算部によるカメラベクトルの検出方法における望ましい特徴点の指定態様を示す説明図である。
【図１１】本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図１２】本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図１３】本発明の一実施形態に係るＣＶデータ演算部により得られる特徴点の三次元座標とカメラベクトルの例を示すグラフである。
【図１４】本発明の一実施形態に係るＣＶデータ演算部において、カメラから特徴点の距離に応じて複数の特徴点を設定し、複数の演算を繰り返し行う場合を示す説明図である。
【図１５】本発明の一実施形態に係るＣＶデータ演算部求められたカメラベクトルの軌跡をビデオ映像中に表示した場合の図である。
【図１６】ＣＶデータとＧＰＳデータの誤差の比較を示す説明図である。
【図１７】本発明の一実施形態に係る複数カメラによる視差三次元形状からのＣＶ演算を行う高精度ＣＶ演算装置の構成を示すブロック図である。
【図１８】本発明の一実施形態に係る複数カメラの絶対長ＣＶ値によるＣＶデータ補正を行う高精度ＣＶ演算装置の構成を示すブロック図である。
【図１９】図１８に示す高精度ＣＶ演算装置に備えられるカメラ機器を示す説明図であり、（ａ）は、複数ビデオカメラ機器部を構成する同期したカメラ二台の平面図、（ｂ）は、（ａ）に示すカメラと全周ビデオカメラ機器部を構成する非同期の全周カメラを屋根部に固定した車輌の平面図、（ｃ）は、同じく車輌の右側面図である。
【図２０】（ａ）は、図１９に示すカメラ機器で撮影される映像を概念的に示した側面図、（ｂ）は同じく平面図、（ｃ）は図１８に示す高精度ＣＶ演算装置に備えられるカメラ機器の他の構成例を示す車輌の平面図である。
【図２１】（ａ）〜（ｃ）は、それぞれ図１８に示す高精度ＣＶ演算装置に備えられる複数カメラと全周カメラの組合せ構成例を示す平面図である。
【図２２】本発明の一実施形態に係る複数カメラの絶対長ＣＶ値によるＣＶデータ補正を行う高精度ＣＶ演算装置にカメラ座標三次元形状を生成する視差方式カメラ座標三次元化部を備える場合の構成を示すブロック図である。
【図２３】本発明の一実施形態に係るＧＰＳによりＣＶデータ補正を行う高精度ＣＶ演算装置の構成を示すブロック図である。
【図２４】本発明の一実施形態に係るＧＰＳデータ補正を行う高精度ＣＶ演算装置の構成を示すブロック図である。
【図２５】本発明の一実施形態に係るＩＭＵによる３軸回転累積誤差補正を行う高精度ＣＶ演算装置の構成を示すブロック図である。
【図２６】図２５に示す高精度ＣＶ演算装置に備えられるカメラ機器を示す説明図であり、（ａ）は、絶対長計測用のカメラ二台の平面図、（ｂ）は、（ａ）に示すカメラと全周ビデオカメラとＩＭＵ機器を屋根部に固定した車輌の平面図、（ｃ）は、同じく車輌の右側面図である。
【図２７】（ａ）は、図２５に示す高精度ＣＶ演算装置に備えられるカメラ機器及び計測機器類を模式的に示す説明図であり、（ｂ）は、（ａ）に示すカメラ機器及び計測機器で取得されるデータ値の対応関係を示す説明図である。
【図２８】図２５に示す高精度ＣＶ演算装置に備えられるカメラ機器及び計測機器類で取得されるデータの対応関係を模式的に示した車輌進行方向の平面図である。
【図２９】図２５に示す高精度ＣＶ演算装置において、ＧＰＳデータが不連続となる誤差変更地点を模式的に示した車輌進行方向の平面図である。
【図３０】図２５に示す高精度ＣＶ演算装置において、ＧＰＳデータの絶対値によるＣＶデータの補正を模式的に示した車輌進行方向の平面図である。
【図３１】図２５に示す高精度ＣＶ演算装置において、ＣＶ値のリニアリティーによるＧＰＳの不連続点の補正を模式的に示した車輌進行方向の平面図である。
【図３２】図２５に示す高精度ＣＶ演算装置において、誤差変更地点における仮の補正真値によるＧＰＳの絶対座標補正を説明する説明図で、（ａ）は、ＧＰＳデータの不連続地点を模式的に示した車輌進行方向の平面図、（ｂ）は、（ａ）に示す不連続地点における差分値の分布を示す平面図、（ｃ）は、（ｂ）に示す分布の重心を求めるための演算式である。
【図３３】図２５に示す高精度ＣＶ演算装置において、ＧＰＳデータによるＣＶデータの補正を説明する説明図であり、（ａ）は、絶対精度の高まったＧＰＳデータにより、ＧＰＳサンプリング地点とＣＶのフレームと対応する地点のすべてにおいて、ＣＶデータを補正して、絶対値を与えた状態を模式的に示す平面図、（ｂ）は、補正前と補正後のＣＶデータの具体的な数値例を示す図である。
【図３４】本発明の一実施形態に係る鉛直方向検出による１軸回転累積誤差補正を行う高精度ＣＶ演算装置の構成を示すブロック図である。
【図３５】図３４に示す高精度ＣＶ演算装置により概略真下方向に平面変換（パースペクティブ変換）された画像例を示す図であり、（ａ）はビデオ画像、（ｂ）はビデオ画像から輪郭のみを抽出した画像である。
【図３６】図３４に示す高精度ＣＶ演算装置により概略真上方向に平面変換（パースペクティブ変換）された画像例を示す図であり、（ａ）はビデオ画像、（ｂ）はビデオ画像から輪郭のみを抽出した画像である。
【図３７】図３４に示す高精度ＣＶ演算装置により概略赤道面方向に平面変換（パースペクティブ変換）された画像例を示す図であり、（ａ）はビデオ画像、（ｂ）はビデオ画像から輪郭のみを抽出した画像である。
【図３８】本発明の一実施形態に係る空撮映像と地上撮映像による高精度ＣＶ演算を行う高精度ＣＶ演算装置の構成を示すブロック図である。
【図３９】本発明の一実施形態に係る二次元地図を備えた高精度ＣＶ演算装置の構成を示すブロック図である。
【図４０】本発明の一実施形態に係る二次元地図を備えた高精度ＣＶ演算装置の変更例の構成を示すブロック図である。
【図４１】本発明の一実施形態に係る既知の三次元点を用いて高精度ＣＶ演算を行う高精度ＣＶ演算装置の構成を示すブロック図である。
【図４２】本発明の一実施形態に係るＣＶ方式三次元地図生成装置の基本構成を示すブロック図である。
【図４３】（ａ）〜（ｂ）は、図４２に示す三次元地図生成装置における測量用の走行車輌の走行パターンを示す平面図である。
【図４４】図４２に示す三次元地図生成装置における具体的な処理動作を説明する説明図で、ビュアで操作可能な表示面を模したブロック図である。
【図４５】本発明の一実施形態に係るＣＶ方式ＰＲＭ三次元地図生成装置の構成を示すブロック図である。
【図４６Ａ】本発明の一実施形態に係る空撮映像による三次元地図生成を行う三次元地図生成装置の構成を示すブロック図である。
【図４６Ｂ】本発明の一実施形態に係る空撮映像による三次元地図生成を行う三次元地図生成装置の変更例の構成を示すブロック図である。
【図４７】（ａ）は、図４６に示す三次元地図生成装置を搭載した航空機の一例を示す斜視図であり、（ｂ）は、（ａ）に示す航空機に備えられる広角ビデオカメラとＧＰＳ機器の配置例を示す平面図である。
【図４８】図４７に示す広角ビデオカメラの視野を示す模式的に示した説明図であり、（ａ）は正面図、（ｂ）は平面図である。
【図４９】本発明の一実施形態に係る二次元動画映像から三次元映像を生成する三次元地図生成装置の構成を示すブロック図である。
【図５０】図４９に示す三次元地図生成装置における画像分割用のオペレータの一例を示す図で、湧きだし点方向オペレータを一般画像に適応して範囲を指定している画像例である。
【図５１】図４９に示す三次元地図生成装置における画像分割用のオペレータの一例を示す図で、（ａ）は、矩形オペレータの単純ブロック化の画像例、（ｂ）は、（ａ）に示す矩形オペレータを一般画像に適応して範囲を指定している画像例である。である。
【図５２】図４９に示す三次元地図生成装置における画像分割用のオペレータの一例を示す図で、（ａ）は、平面変換画像における湧きだし点位置と、湧きだし点方向分割オペレータの関係を示す画像例、（ｂ）はその拡大図である。
【図５３】図４９に示す三次元地図生成装置における画像分割用のオペレータの一例を示す図で、メルカトール画像における湧きだし点位置と吸い込み点位置と、画像分割を示す画像例である。
【図５４】図４９に示す三次元地図生成装置における画像分割用のオペレータの一例を示す図で、球面展開画像における湧きだし点位置と吸い込み点位置と、画像分割を示す画像例である。
【図５５】（ａ）〜（ｂ）は、図４９に示す三次元地図生成装置における画像分割処理手順を示す説明図である。
【図５６】（ａ）〜（ｂ）は、図４９に示す三次元地図生成装置における画像分割処理手順を示す説明図である。
【図５７】（ａ）〜（ｂ）は、図４９に示す三次元地図生成装置における画像分割処理手順を示す説明図である。
【図５８】本発明の一実施形態に係る複数カメラによる視差併用方式の三次元地図生成装置の構成を示すブロック図である。
【図５９】図５８に示す三次元地図生成装置における視差方式カメラの構成例を示す説明図である。
【図６０】本発明の一実施形態に係るＣＶ方式航法装置の構成を示すブロック図である。
【図６１】図６０に示す航法装置における具体的な処理動作を説明するブロック図である。
【図６２】図６０に示す航法装置を搭載した車輌を模式的に示した車輌の右側面図である。
【図６３】本発明の一実施形態に係る歩行者ナビシステムの基本構成を示すブロック図である。
【図６４】本発明の一実施形態に係る歩行者ナビシステムの基本構成の他の一例を示すブロック図である。
【図６５】本発明の一実施形態に係る歩行者ナビシステムの具体的構成の一例を示すブロック図である。
【図６６】本発明の一実施形態に係る歩行者ナビシステムの具体的構成の他の一例を示すブロック図である。
【図６７】本発明の一実施形態に係る歩行者ナビシステムの具体的構成の他の一例を示すブロック図である。
【図６８】本発明の一実施形態に係る歩行者ナビシステムの具体的構成の他の一例を示すブロック図である。
【図６９】本発明の一実施形態に係る歩行者ナビシステムの動作の一例を示すブロック図である。
【符号の説明】
【０２４１】
１ 高精度ＣＶ演算装置
１０ 移動体計測部
２０ データ生成部
３０ 時間軸整合部
４０ ＣＶ補正部
５０ 高精度ＣＶデータ出力部
６０ ＣＶ映像合成表示部

【特許請求の範囲】
【請求項１】
移動体に固定され、当該移動体の移動とともに移動体周辺を撮影してビデオ映像を取得するとともに、当該移動体の位置データと移動量データを含む位置計測データを計測する移動体計測部と、
前記移動体計測部で取得されたビデオ映像を記録し、当該ビデオ映像からカメラの三次元位置及び３軸回転位置を示すＣＶデータを生成するＣＶ演算を行うとともに、前記移動体計測部で計測された位置計測データを取得するデータ生成部と、
前記データ生成部で生成されたＣＶデータを、基準時刻により関連付けられた時刻同期ＣＶデータとして生成するとともに、前記位置計測データを、基準時刻により関連付けられた時刻同期計測データとして生成する時間軸整合部と、
前記時刻同期ＣＶデータと前記時刻同期計測データを同一時間軸で関連付けて比較し、当該比較結果により、時刻同期ＣＶデータと時刻同期計測データを相互に補完補正し、ＣＶデータの最終的なＣＶ値を補正するＣＶ補正信号を生成するＣＶ補正部と、
前記データ生成部に記録されたビデオ映像を出力し、当該ビデオ映像の各フレームに対応して、前記ＣＶ補正信号により補正された高精度ＣＶ値を出力する高精度ＣＶデータ出力部と、
を備えることを特徴とする高精度ＣＶ演算装置。
【請求項２】
前記移動体計測部が、
複数のビデオカメラ機器を備え、
前記データ生成部が、
前記複数のビデオカメラ機器により得られたビデオ映像の視差のある複数画像から、カメラ間視差によりカメラ座標系における三次元形状を生成する視差方式カメラ座標三次元化部と、
前記カメラ座標系における三次元形状の中から三次元特徴部位を抽出し、当該三次元特徴部位をビデオ映像の隣接する複数のフレーム上で追跡し、又は当該フレームに対応する三次元形状上で追跡し、当該カメラ座標系における当該三次元特徴部位と当該カメラ位置から、静止座標系におけるカメラ座標と３軸回転角とをＣＶ演算により求めるマルチＣＶ演算部、
又は、前記カメラ座標系による三次元形状の中から複数の三次元特徴点を抽出し、当該三次元特徴点をビデオ映像の隣接する複数のフレーム、又は当該フレームに対応する三次元形状上で追跡し、カメラ座標として取得した当該三次元特徴点と当該カメラ原点座標から、静止座標系におけるカメラ位置座標とその３軸回転角とをＣＶ演算により求めるマルチＣＶ演算部と、
を備える請求項１記載の高精度ＣＶ演算装置。
【請求項３】
前記移動体計測部が、
移動体に固定され、当該移動体の移動とともに、移動体周辺を撮影して全周ビデオ映像を取得する全周ビデオカメラ機器部と、前記移動体に固定され、位置関係を既知とする複数のカメラによって移動体周囲の視差のある映像を取得する複数ビデオカメラ機器部とを有し、これら全周ビデオカメラ機器部と複数ビデオカメラ機器部が、相互に三次元的位置と姿勢の関係を既知として設置され、
前記データ生成部が、
前記全周ビデオカメラ機器部によって得られた全周ビデオ映像を記録する全周ビデオ映像記録部と、
前記全周ビデオ映像記録部に記録された全周ビデオ映像の各フレーム画像内に複数の特徴点を抽出し、当該特徴点を全周ビデオ映像の隣接する複数のフレームに追跡し、前記移動体の座標系における当該複数の特徴点とカメラ位置関係に基づいて、静止座標系における全周カメラの位置座標と３軸回転角とを示すＣＶデータを演算により求めるＣＶ演算部と、
前記複数ビデオカメラ機器部によって得られたビデオ映像の各フレーム画像内に複数の特徴点を抽出し、当該特徴点を、ビデオ映像の隣接する各フレーム画像内に追跡するとともに、カメラ間距離が既知の他のカメラの対応する各フレーム画像内に追跡することで、絶対距離を取得し、高精度のカメラ三次元座標と３軸回転姿勢を示すマルチＣＶデータを演算により求めるマルチＣＶ演算部と、を備え、
前記時間軸整合装置部が、
前記ＣＶデータと前記マルチＣＶデータに、時刻データを供給する時計部と、
前記時計部から供給される時刻データに基づいて前記ＣＶデータを関連付けて記録する時刻同期ＣＶデータ記録部と、
前記時計部から供給される時刻データに基づいて前記マルチＣＶデータを関連付けて記録する時刻同期マルチＣＶデータ記録部と、
ＣＶデータの記録時刻と前記時計部から供給される時刻データとの時間差を補正して遅延調整ＣＶ信号を出力する遅延調整ＣＶ信号出力部と、
マルチＣＶデータの記録時刻と前記時計部から供給される時刻データとの時間差を補正して遅延調整マルチＣＶ信号を出力する遅延マルチＣＶ信号出力部と、を備え、
前記ＣＶ補正部が、
前記複数ビデオカメラ機器部と前記全周ビデオカメラ機器部との設置位置の差による座標のズレを前記ＣＶデータに基づいて生成し、複数ビデオカメラ機器部の位置座標を全周ビデオカメラ機器部の位置に補正する機器座標位置補正部と、
前記遅延調整マルチＣＶ信号の座標配列形状と、遅延調整ＣＶ信号の座標配列形状とを比較して、座標配列形状差を検出する座標配列形状比較部と、
前記遅延調整マルチＣＶ信号の座標配列形状と、遅延調整ＣＶ信号の座標配列形状と、両者の対応関係がとれた区間の座標配列形状差から、３軸方向のスケール誤差を補正する補正信号を生成する補正信号生成部と、
前記区間に対応するＣＶデータによる座標配列形状を、前記マルチＣＶデータによる座標配列形状と一致させるようにＣＶデータを補正するＣＶデータスケール補正部と、
前記ＣＶデータスケール補正部における補正処理を、目的区間の全域に亘って繰り返すことにより、連続する位置補正ＣＶデータを生成する全域スケール補正部と、
前記全域スケール補正部で補正されたＣＶデータの三次元座標を既知として、３軸回転を含む高精度ＣＶデータの再演算を行うＣＶ再演算部と、を備え、
高精度ＣＶデータ出力部が、
前記全周ビデオカメラ機器部で取得された全周ビデオ映像を出力する全周ビデオ映像出力部と、
前記全周ビデオ映像出力の各画像フレームに同期して、前記全域スケール補正部で位置補正され、前記ＣＶ再演算部で再演算されて３軸回転補正されたＣＶデータ信号を出力する再演算ＣＶデータ出力部と、を備える請求項１又は２記載の高精度ＣＶ演算装置。
【請求項４】
前記データ生成部が、
前記複数ビデオカメラ機器部の視差のある複数画像から、カメラ間視差によりカメラ座標系における三次元形状を生成する視差方式カメラ座標三次元化部と、
前記視差方式カメラ座標三次元化部で取得された、前記カメラ座標系における三次元形状の中から複数の三次元的特徴部位を抽出し、当該三次元的特徴部位をビデオ映像の隣接するフレームに追跡し、又は当該フレームに対応する三次元形状に追跡し、当該三次元的特徴部位とカメラ位置関係に基づいて、前記移動体に備えられたカメラの静止座標系におけるカメラ位置座標とその３軸回転角をＣＶ演算により求めるマルチＣＶ演算部と、を備える請求項３記載の高精度ＣＶ演算装置。
【請求項５】
前記移動体計測部が、
移動体に固定され、当該移動体の移動とともに、移動体周辺を撮影して全周ビデオ映像を取得する全周ビデオカメラ機器部と、前記移動体に固定され、当該移動体の三次元位置を緯度経度高度で取得するＧＰＳ計測機器部とを有し、これら全周ビデオカメラ機器部とＧＰＳ計測機器部が、相互に三次元的位置と姿勢の関係を既知として設置され、
前記データ生成部が、
前記全周ビデオカメラ機器部によって得られた全周ビデオ映像を記録する全周ビデオ映像記録部と、
前記全周ビデオ映像記録部に記録された全周ビデオ映像の各フレーム画像内に複数の特徴点を抽出し、当該特徴点を全周ビデオ映像の隣接する複数のフレームに追跡し、当該複数の特徴点とカメラ位置関係に基づいて、前記移動体に備えられた全周カメラの静止座標系における三次元位置座標と３軸回転角とを示すＣＶデータを演算により求めるＣＶデータ取得部と、
前記ＧＰＳ計測機器部から当該ＧＰＳ計測機器部の三次元位置を示す絶対座標データを取得する絶対座標データ取得部と、を備え、
前記時間軸整合装置部が、
前記ＣＶデータと前記絶対座標データに、時刻データを供給する時計部と、
前記時計部から供給される時刻データに基づいて前記ＣＶデータを関係付けて記録する時刻同期ＣＶデータ記録部と、
前記時計部から供給される時刻データに基づいて前記絶対座標データを関連付けて記録する時刻同期絶対座標記録部と、
ＣＶデータの記録時刻と前記時計部から供給される時刻データとの時間差を補正して遅延調整ＣＶ信号を出力する遅延調整ＣＶ信号出力部と、
絶対座標データの絶対座標信号出力時刻と計測時刻との時間差を補正して、遅延調整絶対座標信号を出力する遅延調整絶対座標信号出力部と、を備え、
前記ＣＶ補正部が、
前記ＧＰＳ計測機器部と前記全周ビデオカメラ機器部との設置位置の差による座標と３軸回転のズレを前記ＣＶデータに基づいて生成し、ＧＰＳ計測機器部の位置座標を全周ビデオカメラ機器部の位置に補正して遅延座標回転補正信号を出力する座標位置回転補正部と、
前記座標回転補正信号により補正された前記遅延調整絶対座標信号の座標配列形状と、前記遅延調整ＣＶ信号の座標配列形状とを比較する座標配列形状比較部と、
前記両座標配列の座標配列形状比較により、ＣＶ値の座標配列から外れる遅延調整絶対座標信号の地点を、絶対座標の精度変更地点として検出する絶対座標精度変更地点検出部と、
前記絶対座標精度変更地点を排除した相対精度が高い区間のみを複数選択する高精度相対値区間選択部と、
演算誤差の累積によりスケール誤差を含むＣＶデータについて、前記絶対座標データによる前記高精度相対値区間選択部に対応する地点の区間と、ビデオ映像から演算により求められたＣＶデータによる地点の区間を、時刻をパラメータとして対応させ、当該区間によって区切られた始点と終点の時刻の一致点に計測値が存在しないときは内挿によって一致点を求めて対応させる計測区間対応部と、
前記対応関係がとれた区間の始点と終点の絶対座標間の距離を区間距離として、スケール誤差を含むＣＶデータを補正する補正信号を生成する補正信号生成部と、
前記区間に対応するＣＶデータを、相対精度が高い絶対座標データによる区間距離データと一致させることで、当該ＣＶデータを補正するＣＶデータスケール補正部と、
前記ＣＶデータスケール補正部における補正処理を、目的区間の全域に亘って複数回繰り返することにより、連続する高精度ＣＶデータを生成する全域スケール補正部と、を備え、
高精度ＣＶデータ出力部が、
前記全周ビデオカメラ機器部で取得された全周ビデオ映像を出力する全周ビデオ出力部と、
前記全周ビデオ映像出力の各画像フレームに同期して、上記全域スケール補正されたＣＶデータ信号を出力するＣＶデータ出力部と、を備える請求項１乃至４のいずれかに記載の高精度ＣＶ演算装置。
【請求項６】
前記ＣＶ補正部が、
前記絶対精度変更地点検出部で検出された絶対精度変更地点の分布を統計処理する分布統計処理部と、
前記絶対精度変更地点の分布の統計的中心を仮の真値として求める仮の真値演算部と、
前記仮の真値に基づいて、絶対精度変更地点を始点及び終点とする区間の補正値を取得する仮の真値補正データ取得部と、
前記区間の補正値に基づいて、絶対座標の配列を補正した高精度の絶対座標配列を求める絶対座標補正部と、を備え、
前記高精度ＣＶデータ出力部が、
前記高精度絶対座標配列を絶対座標の基準として、前記高精度ＣＶデータ出力部から出力されたスケール補正されたＣＶデータに絶対座標を与える絶対座標付加ＣＶデータ統合部と、
各画像フレームに同期した、絶対座標が付加されたＣＶデータを出力する絶対座標ＣＶデータ出力部と、を備える請求項５記載の高精度ＣＶ演算装置。
【請求項７】
前記移動体計測部が、
絶対３軸回転姿勢を計測するＩＭＵ計測器を備え、
前記データ生成部が、
前記ＩＭＵ計測機器部により計測された絶対３軸回転姿勢のデータを取得する絶対３軸回転姿勢データ取得部を備え、
前記時間軸整合部が、
前記時計部から供給される時刻信号により前記絶対３軸回転姿勢データを関係付けて記録する時刻同期３軸回転姿勢記録部と、
前記絶対３軸回転姿勢データの記録時刻と基準時刻のズレを補正して地点調整３軸回転姿勢データ信号を出力する遅延調整３軸回転姿勢出力部と、を備え、
前記ＣＶ補正部が、
前記遅延調整ＣＶ信号出力部からの３軸回転姿勢信号と前記遅延調整３軸回転姿勢出力部からの絶対回転３軸姿勢信号とを比較する３軸回転姿勢比較部と、
前記３軸回転姿勢信号と前記絶対回転３軸姿勢信号の差を、予め定めた閾値と比較する３軸回転閾値比較部と、
前記３軸回転姿勢信号と前記絶対回転３軸姿勢信号の差が前記閾値を超えたときに、補正区間を指定する３軸回転補正区間設定部と、
前記補正区間における補正値を生成する３軸回転補正信号生成部と、を備え、
前記高精度ＣＶデータ出力部が、
前記ＣＶデータ出力部から出力されるＣＶデータの各画像フレームに同期した３軸回転姿勢データに、３軸回転補正を加えて出力する３軸回転補正ＣＶデータ出力部を備える請求項３乃至６のいずれかに記載の高精度ＣＶ演算装置。
【請求項８】
前記データ生成部が、
球面変換座標で記録されている前記全周ビデオ映像を、概略真下方向及び真上方向に平面変換する概略両極平面展開部と、
球面変換座標で記録されている前記全周ビデオ映像を、複数の赤道面方向に平面変換する概略赤道平面展開部と、
前記平面変換された画像に含まれる鉛直成分に基づいて鉛直方向を検出し、検出された鉛直方向をＣＶデータの演算に反映させる鉛直方向検出部と、を備える請求項１乃至７記載の高精度ＣＶ演算装置。
【請求項９】
前記移動体計測部が、
対象物を低縮尺で撮影する低縮尺全周ビデオ映像機器部と、
前記対象物を高縮尺で撮影する高縮尺全周ビデオ映像機器部と、を備え、
前記データ生成部が、
前記低縮尺全周ビデオ映像機器部により、低縮尺ビデオ信号を取得する低縮尺ビデオ信号取得部と、
前記高縮尺全周ビデオ映像機器部により、高縮尺ビデオ信号を取得する高縮尺ビデオ信号取得部と、
前記低縮尺全周ビデオ映像機器部から出力される低縮尺全周ビデオ映像と、前記高縮尺全周ビデオ映像機器部から出力される高縮尺全周ビデオ映像とを比較し、両映像に含まれる共通特徴点を抽出してその対応点を取ることにより共通特徴点を検出する共通特徴点検出部と、
検出された各共通特徴点に対し、重み関数により重みを与えた重み共通特徴点を設定する共通特徴点重み設定部と、
前記低縮尺全周ビデオ映像から低縮尺の特徴点を検出する低縮尺特徴点検出部と、
検出された低縮尺の特徴点を隣接するフレームに追跡する低縮尺フレーム間追跡部と、
前記高縮尺全周ビデオ映像から高縮尺の特徴点を検出する高縮尺特徴点検出部と、
検出された高縮尺の特徴点を隣接するフレームに追跡する高縮尺フレーム間追跡部と、
前記低縮尺の特徴点，高縮尺の特徴点及び重み共通特徴点に基づいて、前記低縮尺全周ビデオ映像と高縮尺全周ビデオ映像を一括統合してＣＶ演算を行うＣＶ演算部と、
前記ＣＶ演算部で得られた精度の高いＣＶ演算データを出力するＣＶデータ取得部と、を備える請求項１乃至８記載の高精度ＣＶ演算装置。
【請求項１０】
二次元座標が既知として与えられた二次元地図部と、
前記移動体計測部で取得されるビデオ映像中の、前記二次元地図部の地点座標と対応する共通地点部分を検出する共通点検出部と、
検出された前記共通地点の二次元地図上の二次元座標を検出する共通点二次元座標検出部と、
前記移動体計測部で取得されるビデオ映像中に、追跡可能な特徴点を抽出する特徴点抽出部と、抽出された前記特徴点を複数の隣接する画像フレームの中に対応点を追跡する特徴点追跡部と、複数の特徴点の対応点とカメラ位置関係に基づいて、静止座標系におけるカメラの三次元位置と３軸回転姿勢を求めるＣＶ演算部とを備え、ＣＶデータを取得するＣＶデータ取得部と、
前記ＣＶデータ取得部からのＣＶデータに基づいて、前記移動体計測部で取得されるビデオ映像の共通点の三次元座標を取得する共通点三次元座標演算部と、
前記共通点の三次元座標を二次元平面に変換する二次元平面座標変換部と、
前記二次元地図部のデータから得られた共通点の二次元座標と、前記ビデオ映像から得られた共通点の三次元座標を二次元平面に投影して得られた複数の共通点二次元座標とを比較する共通点二次元座標比較部と、
比較された前記両二次元座標の差分を検出し、差分が最小になる比較信号の位置座標を決定するとともに、同一比率でもう一つの座標軸方向の座標を補正し、前記共通点の補正量をその周囲に分散的に配分して、ＣＶ値の位置座標全体を補正するＣＶ値の位置座標と置換する共通点領域ＣＶ値補正部と、
前記共通点部分で、地図と一致したカメラの位置座標データを固定し、前記共通点と前記特徴点の追跡結果に基づいて再度ＣＶ演算を行い、より精度の高い３軸回転データを取得するＣＶ補正演算部と、
前記補正により、精度が高まった補正ＣＶ値を出力する補正ＣＶデータ出力部と、を備える請求項１乃至９のいずれかに記載の高精度ＣＶ演算装置。
【請求項１１】
三次元座標が既知として与えられた三次元地図，二次元地図上に複数の既知の三次元座標点を座標とともに示す既知三次元点記載地図、又は複数の既知の三次元座標を示す三次元地点リストのうち、少なくともいずれか一つを備える地図部と、
前記移動体計測部で取得されるビデオ映像のうち、前記地図部の既知の三次元地点と対応するビデオ映像の画像フレーム中に共通地点部分を検出する共通点検出部と、
前記共通地点部分を共通特徴点として、前記ビデオ映像の複数の画像フレーム中に対応地点を抽出して追跡する共通特徴点追跡部と、
前記共通特徴点を一般特徴点と区別して、演算時の優先順位を決める重み付けをする共通特徴点重み付け部と、
重み付けされた複数の前記共通特徴点の追跡結果と、一般特徴点の追跡結果と、前記カメラの三次元位置関係に基づいて、静止座標系における前記カメラの三次元位置と３軸回転姿勢を演算により求めるＣＶ演算部と、
前記ＣＶ演算部からＣＶ値とともに出力される前記共通特徴点の三次元座標を取得する共通点三次元座標検出部と、
前記地図部のデータから既知として得られる共通点三次元座標と、前記共通特徴点の三次元座標とを比較する共通点三次元座標比較部と、
比較された前記両三次元座標の差分を検出する三次元差分検出部と、
前記ＣＶ演算部から出力される前記一般特徴点の三次元座標を取得する一般特徴点三次元化部と、
前記一般特徴点三次元化部で取得された一般特徴点の三次元座標をビデオ映像の各フレーム中の映像面に投影した二次元座標と、前記ビデオ映像の各フレーム中の一般特徴点のビデオ映像面の二次元座標との二次元差分を検出する画像二次元差分検出部と、
前記三次元差分と前記二次元差分の値が最小になるように、ＣＶ演算のパラメータを変更して前記ＣＶ演算部でのCV演算を繰り返すＣＶ補正演算部と、
前記補正により、精度が高まった補正ＣＶ値を出力するＣＶデータ取得部と、を備える請求項１乃至１０のいずれかに記載の高精度ＣＶ演算装置。
【請求項１２】
請求項１乃至１１記載の前記高精度ＣＶ演算装置の高精度ＣＶデータ出力部から出力されるビデオ映像中に、三次元地図として生成すべき任意の対象物を指定する対象物指定部と、
前記対象物指定部で指定された対象物を三次元計測する対象物三次元計測部と、
前記対象物指定部で三次元計測されたデータから、三次元地図に記載する形式で三次元部品を生成する三次元地図部品生成部と、
三次元地図としての三次元空間を定義する三次元空間定義部と、
前記対象物の座標上の位置を測量して、その三次元座標を求める対象物地点測量部と、
前記三次元地図部品を、前記三次元空間定義部で定義された三次元空間内に、前記対象物地点測量部の測量により求められた三次元座標により三次元配置を決定する三次元座標決定部と、
前記三次元地図部品の三次元座標配置を繰り返して、三次元地図を出力する三次元地図出力部と、
を備えることを特徴とするＣＶ方式三次元地図生成装置。
【請求項１３】
三次元地図を構成する複数の三次元部品を記憶した三次元部品データベースと、
前記三次元部品データベースに記憶された三次元部品の中から、前記対象物指定部で指定された対象物と比較する候補となる三次元部品を選択する三次元部品候補選択部と、
前記対象物指定部で指定されたビデオ映像の一部と、前記三次元部品候補選択部から出力される三次元部品とを比較する比較部と、
前記比較部での比較の結果、不一致の場合に不一致信号を出力し、当該不一致信号に基づいて前記三次元部品候補選択部から次の候補となる三次元部品を出力させる不一致信号出力部と、
前記比較部での比較の結果、一致の場合に一致信号を出力する一致信号出力部と、
前記一致信号により、前記三次元部品候補部品選択部から最終的に出力された三次元部品を一致部品とする一致部品選択部と、
前記一致部品が対応するビデオ映像と異なる場合に、当該一致部品を修正して修正部品を生成する部品修正部と、を備え、
前記一致部品又は修正部品を前記三次元地図部品生成部に送出する請求項１２記載のＣＶ方式三次元地図生成装置。
【請求項１４】
請求項１乃至１１記載の前記高精度ＣＶ演算装置の高精度ＣＶデータ出力部から出力されるビデオ映像中に、三次元地図として生成すべき任意の対象範囲を指定する対象範囲指定部と、
前記対象範囲指定部で指定された対象範囲中に、計測点密度を指定する計測点密度指定部と、
指定された前記対象範囲と前記計測点密度に基づいて、計測点を生成する計測点生成部と、
前記計測点を前記ビデオ映像の隣接する複数のフレームに亘って追跡する計測点追跡部と、
前記高精度ＣＶ演算装置の高精度ＣＶデータ出力部から出力されるＣＶ値と、前記計測点の追跡により追跡データが取得された計測点に基づいて、計測点の三次元座標を演算により求める計測点演算部と、
前記対象範囲にあるすべての計測点の三次元座標分布を求める対象範囲測量部と、
前記計測点の三次元分布から計測点が作る三次元形状を生成する三次元形状生成部と、
前記ビデオ映像中の前記対象範囲に、直線部分から構成される対象物の一部を特定計測点として指定し、その属性とともに登録する特定計測点指定登録部と、
前記特定計測点が特定されることにより、当該特定計測点の属性が前記計測点生成部に送出され、一般の計測点と同様に追跡され演算されて、前記計測点演算部に出力され、前記計測点演算部から出力される三次元座標データ中から、特定計測点のデータのみを抽出し、その属性に適合した形状を与える特定計測点形成部と、
前記特定計測点形成部から出力される特定計測点で形成される三次元形状を、特定計測点以外の前記計測点から得られた三次元形状とともに統合する三次元座標統合部と、
前記統合された三次元形状に基づいて三次元地図を生成して出力する三次元地図出力部と、
を備えることを特徴とするＣＶ方式三次元地図生成装置。
【請求項１５】
前記計測点密度指定部が、
前記高精度ＣＶ演算装置の高精度ＣＶデータ出力部から取得したＣＶ値に基づいて、ビデオ映像の回転成分を停止した映像を生成する画像安定化部と、
前記回転成分を停止したビデオ映像の動きの原点となる湧きだし点を決定する湧きだし点決定部と、
任意の指定範囲の画像フレームを小領域の画像ブロックの集合に分割する画像ブロック分割部と、
前記画像ブロックのすべてについて、特徴点となり得るブロックを抽出する特徴点抽出部と、
前記画像ブロックのすべてについて、境界線の一部となり得るブロックを抽出する境界点抽出部と、
前記画像ブロックの前記特徴点及び境界点以外の点を領域点として抽出する領域点抽出部と、
前記画像ブロックの各点を、湧きだし点から放射状に伸びる方向に結合し、その順番と隣り合う関係を保つように固定するとともに、隣り合う各ブロック間の距離関係は任意に伸縮可能にゴム紐結合する二次元ゴム紐結合映像生成部と、を備え、
前記計測点生成部が、
前記特徴点を計測点として選択する特徴点選択部と、
前記領域点とそれを取り囲む特徴点及び境界点で作る領域を生成する領域生成部と、
前記特徴点と計測点及び領域点を計測領域として、追跡計測対象とする計測点決定部と、を備え、
前記計測点追跡部が、
前記計測点としての特徴点，境界点及び計測領域を、湧き出し点方向に沿って、隣接する複数のフレームに亘って追跡し、
前記計測点演算部が、
前記計測点の追跡結果と前記高精度ＣＶ演算装置の高精度ＣＶデータ出力部から出力されるＣＶデータに基づいて、計測点の三次元座標及び領域の三次元座標を取得し、
前記計測点測量部が、
前記計測点及び計測領域を囲む境界点の三次元座標を前記対象範囲に亘って繰り返し演算により求め、前記計測点追跡部において追跡不可能な画像ブロックがある場合には、当該画像ブロックを演算済みの既知の三次元座標に基づいて内挿により求め、その三次元位置を予想して対象範囲を測量し、
前記三次元形状生成部が、
前記特徴点と境界点の三次元座標から、特徴点と境界点が所属する領域を決定する境界線所属分類部と、
前記特徴点と境界点の所属により、前記ブロックのゴム紐結合の一方を切断して、片方の領域間の結合を断ち、もう一方の領域に結合させるゴム紐切断部と、
前記対象範囲のすべてのブロックを、特徴点，境界点，領域点に分類し、特徴点は計測点として求めた座標で固定し、座標が定まらない境界点及び領域点はゴム紐上で内挿し、それぞれの三次元座標を与えて、すべてのブロックを三次元的にゴム紐結合する三次元ゴム紐結合映像部と、を備え、
前記三次元座標統合部が、
前記画像ブロック分割部の分割密度を、前記三次元ゴム紐結合映像が生成される毎に、粗い密度から順次より高密度に変更し、前期画像ブロック分割からの工程の再演算を行わせる画像分割密度変更部と、
最初に設定された前記画像ブロック分割の密度により前記三次元ゴム紐結合された画像を一旦記録し、次工程において、より詳細な三次元形状を順次生成し、当該工程を繰り返して所定の密度に至るまで順次三次元形状を生成し、より詳細な三次元映像を生成する三次元画像記録統合部と、
を備える請求項１４記載のＣＶ方式三次元地図生成装置。
【請求項１６】
視野が重複し視差のあるビデオ映像を取得する複数のビデオカメラを備えた複数カメラ撮影部と、
移動体とともに移動する前記複数のビデオカメラで撮影された視差のあるビデオ映像に基づいて、カメラ座標系の三次元形状を演算により求めて、カメラ座標系三次元距離分布データを取得する視差方式カメラ座標三次元化部と、
を備えた視差方式三次元化装置と、
前記複数カメラを含むカメラ位置のＣＶデータを取得する請求項１乃至１１記載の前記高精度ＣＶ演算装置と、
前記視差方式三次元化装置により得られた前記カメラ座標三次元距離分布データを、前記高精度ＣＶ演算装置で得られた高精度ＣＶ値に基づいて、連続的に静止座標系における三次元距離分布データに変換する静止座標系変換部と、
前記ビデオ映像の進行にともなって重複しながら連続的に得られる前記静止座標系における三次元距離分布データを結合して、静止座標系に統合する静止座標系合成結合部と、
を備えることを特徴とするＣＶ方式三次元地図生成装置。
【請求項１７】
前記静止座標系合成結合部で静止座標系に統合される三次元距離分布データを、静止座標系における静止物体のみで構成する静止物体分離空間構成部と、
前記静止座標系合成結合部で静止座標系に統合される三次元距離分布データから、時間的変動のある三次元データを分離して、運動対象物として分離記録する運動対象物分離部と、
を備える請求項１５記載のＣＶ方式三次元地図生成装置。
【請求項１８】
請求項１２乃至１７記載の前記ＣＶ方式三次元地図生成装置と、
前記ＣＶ方式三次元地図生成装置により生成される三次元地図情報を有する車載可能な三次元地図装置と、
三次元データ及び属性を含む走行に必要な所定情報を、前記三次元地図装置に変更可能に入力する走行経路入力装置と、
走行車輌に備えられた車載カメラから、広角映像データと走行時点の比較的低精度のＣＶデータを出力する車載式カメラと概略ＣＶ演算装置と、
前記概略ＣＶ演算装置から出力された概略ＣＶデータに基づいて、前記走行車輌の現在位置と姿勢を示す三次元データを取得し、当該三次元データを三次元地図と概略対応させて三次元空間構成を検出し、対象物の認識以前に緊急対応が必要な障害物を関知し、最優先で回避及び停止の緊急制御信号をリアルタイム制御装置に送出し、前記車載式カメラと概略ＣＶ演算装置により、走行路から可視範囲にあり、走行目的及び交通に関係する複数の対象物からなる三次元空間構成を検出する対象物空間構成装置と、
前記対象物空間構成装置で検出された対象物空間構成データと、前記走行車輌の概略三次元位置データを照合し、走行路から可視範囲にあり、走行目的に合致し、交通に関係する信号機，道路標識，道路標示を含む個々の対象物の三次元形状を、前記三次元地図の情報と照合して形状及び属性を特定して認識する対象物認識装置と、
前記対象物認識装置による複数の対象物の三次元形状又は部品形状を三次元追跡し、又は特定以前の三次元空間構成の段階で特徴ある形状を選択して切り取って追跡し、当該追跡結果から、高精度のＣＶデータを取得する請求項１乃至１１記載の前記高精度ＣＶ演算装置と、
前記高精度ＣＶ演算装置で取得されるＣＶデータと、前記対象物空間構成装置の出力と、前記対象物認識装置の対象物認識結果と、車載レーダを含む車載計測器の出力に基づいて、前記走行車輌の現状判断結果を出力する現状判断装置と、
前記現状判断装置の出力により、前記走行車輌のアクセル，ブレーキ，ハンドルを含む所定の操作部を制御し、又は前記走行経路入力装置のデータを変更するリアルタイム制御装置と、
を備えることを特徴とするＣＶ方式航法装置。
【請求項１９】
前記高精度ＣＶ演算装置の出力，前記対象物認識装置の認識結果、及び前記現状判断装置の現状判断結果を、二次元地図又は三次元地図上にリアルタイムに表示するリアルタイム表示装置を備える請求項１８記載のＣＶ方式航法装置。

【図１】

【図２】

【図４】

【図６】

【図１０】

【図１４】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５】

【図２６】

【図２７】

【図２８】

【図２９】

【図３０】

【図３１】

【図３２】

【図３３】

【図３４】

【図３８】

【図３９】

【図４０】

【図４１】

【図４２】

【図４３】

【図４４】

【図４５】

【図４６Ａ】

【図４６Ｂ】

【図４９】

【図５１】

【図５２】

【図５３】

【図５４】

【図５５】

【図５６】

【図５８】

【図６０】

【図６１】

【図６２】

【図６３】

【図６４】

【図６５】

【図６６】

【図６７】

【図６８】

【図６９】

【図３】

【図５】

【図７】

【図８】

【図９】

【図１１】

【図１２】

【図１３】

【図１５】

【図３５】

【図３６】

【図３７】

【図４７】

【図４８】

【図５０】

【図５７】

【図５９】

【公開番号】特開２００６−２５０９１７（Ｐ２００６−２５０９１７Ａ）
【公開日】平成１８年９月２１日（２００６．９．２１）
【国際特許分類】
【出願番号】特願２００５−１１０７８０（Ｐ２００５−１１０７８０）
【出願日】平成１７年４月７日（２００５．４．７）
【出願人】（５０３３６１９６１）
【Ｆターム（参考）】