説明

画像ベースの表面トラッキング

画像取り込装置(12)を使用することによる画像追跡。前記方法は、画像取り込装置の使用によりシーン(54)の取り込画像を行なう工程、及び画像処理アルゴリズム(64)を使用することにより1セットの画像を分析することによる画像取り込装置(12)の追跡移動(62)を含んでいる。

【発明の詳細な説明】
【技術分野】
【0001】
この技術は、画像ベースのナビゲーションの分野に関するものである。
【背景技術】
【0002】
空がはっきり見えない地域、例えばトンネルまたは森において、GPS装置は、GPS衛生からの受信不足により、正確な位置決めを維持するという難しい課題に直面する。我々は、「地上追跡(ground tracking)」と呼ばれるアプリケーションを提供する。このアプリケーションは、画像取り込装置の3D位置を正常な状態に戻すことができる。この画像取り込装置は、あらゆる方向に保つことができ、画像を取り込み、統計と画像処理アルゴリズムを組み合わせて使用して、その3D軌道を推定する。
【発明の概要】
【0003】
この要旨は、以下の詳細な説明において更に記載される概念の選択を導入するために提供される。この要旨は、請求された主題の要所または本質的な特徴を示すために意図されず、また、請求された主題の範囲を定義するのに助けとなるものとして使用されるように意図されてはいない。
【0004】
画像追跡の方法が提供される。その方法は、(A)画像取り込装置を使用することにより、シーンの画像取り込みを行う工程、および(B)1セットの画像を分析することにより、画像取り込装置の動作を追跡する工程を含む。
【図面の簡単な説明】
【0005】
この明細書中に組み込まれ、明細書の一部を形成する添付の図面は、本技術の実施形態を図示し、および説明と共に、原理を以下の通り説明する役目を果たす:
【0006】
【図1】本技術の実施形態に従った画像追跡のための装置を表す。
【図2】本技術の実施形態に従った画像追跡の方法のフローチャートであり、ここで、シーンの深さのデータは、予めシーンを測量することにより得られる。
【図3】本技術の実施形態に従った画像追跡の方法のフローチャートであり、ここで、シーンの深さのデータは、距離測定装置(range measurement device)を使用することにより得られる。
【図4】画像取り込装置によるシーンの画像の取り込みを図示する図である。
【図5】本技術の実施形態に従った画像処理アルゴリズムにより計算される、画像取り込装置の2D運動を図示する図を表す。
【図6】本技術の実施形態に従った画像処理アルゴリズムにより計算される、画像取り込装置の高さ運動を図示する図である。
【図7】本技術の実施形態に従った画像処理アルゴリズムにより計算される、画像取り込装置の総回転角度(total rotation angels)(ヨー、ピッチおよびロール)を図示する図を表す。
【発明を実施するための形態】
【0007】
ここで、本技術の実施形態、添付の図面において図示される実施例について詳しく言及する。本技術が様々な実施形態と組み合わせて説明される一方で、それらがこれら実施形態に対して本技術を制限するために意図されたものでないということが理解される。反対に、本技術は、代替案、修正および同等物を包含するよう意図されたものであり、それらは添付の請求項によって定義されるように、様々な実施形態の精神および範囲内に含まれる。
【0008】
更に、以下の詳細な説明において、多数の具体的な詳細が、本実施形態の完全な理解を提供するために説明される。しかし当業者にとって、本実施形態がこれら具体的な詳細無しに実行されることは明らかである。他の例において、よく知られた方法、手順、要素、および回路は、本実施形態の実施態様を不必要に曖昧にしないように、詳しく説明されていなかった。
【0009】
図1は、本技術の実施形態に従った画像追跡22のための装置を図示するブロック図10である。
【0010】
本技術の実施形態において、画像追跡装置(22)は更に、画像処理アルゴリズム(25)を搭載するメモリ(24)を更に含む、ソフトウェアモード(SW)におけるシーン(20)の画像取り込みを実行するために構成された画像取り込装置(12)、および画像処理アルゴリズム(25)を可能にすることにより1セットの画像を分析するために構成された汎用プロセッサ(またはデジタルシグナルプロセッサ、或いはグラフィックプロセッシングユニットなど)(26)を含む。
【0011】
本技術の実施形態において、画像追跡装置(22)は更に、ハードウェアにおいて画像処理アルゴリズム(25)を実行することにより1セットの画像を分析するために構成されたASICチップ(またはFPGAチップ)(27)(アナログまたはデジタルモードにおける)を更に含む、ハードウェアモード(HW)においてシーン(20)の画像取り込みを実行するために構成された画像取り込装置(12)を含む。
【0012】
画像取り込装置(12)は、デジタルカメラ;デジタルビデオカメラ;デジタルカムコーダー;ステレオデジタルカメラ;ステレオビデオカメラ;モーションピクチャーカメラ;テレビカメラ;およびデプスカメラ(depth camera)からなる群から選択される。
【0013】
本技術の実施形態において、画像取り込装置(12)は、遮光ボックス(light−tight box)であり、その中でシーン(20)の画像が、センサ板(32)にあるピンホールまたはレンズ(16)により形成される。未だにビデオとデジタルカメラは、固体メモリ(28)、または磁気メディア或いは光ディスク(28)の中に画像を保存する。
【0014】
モーションピクチャーカメラまたはシネカメラは、1セットのフレームにおける一定間隔での動きを記録する。テレビカメラまたはビデオカメラは、放送のため電子的に動きを記録し、磁気メディアまたは光ディスク上に保存する。カムコーダーは、単一のユニットの中に画像センサ及び記録媒体の両方を含むビデオカメラである。
【0015】
小さな穴を通してフィルムに画像の焦点を当てるピンホールカメラを除き、他の全てのカメラは焦点を当てるためにレンズ(16)を用いる。レンズの焦点の長さ、即ち、レンズの後部(限遠に焦点を合わせられた場合)と画像装置の間の距離は、それらが画像表面センサ板(32)(imaging surface−sensor plate 32)上に現れる通りに、画角、または視角 (FOV)(18)および対象の大きさを定める。画像は、レンズと表面の間の距離を調節することにより、その表面に焦点を当てられる。
【0016】
本技術の実施形態において、レンズ(16)は更に、一般的なレクチリニアーレンズを含む。レクチリニアーレンズは、直線が実質的に曲げられていない、または歪められていないレンズである。
【0017】
本技術の実施形態において、レンズ(16)は更に、魚眼レンズを含む。魚眼レンズは、かなり広い半球状の画像を取り込む広角レンズである。魚眼レンズは、広大な風景を撮影するためによく使用される。魚眼レンズは、直線的な画像を無くし、代わりに画像に特徴的な凸状の外観を与える特別なマッピング(例えば、等角(equisolid angle))を選ぶことにより、かなり広い角度の景色にまで達する。
【0018】
本技術の実施形態において、レンズ(16)は更に、特別に調整されたレンズ(custom−calibrated lenses)を含む。
【0019】
本技術の実施形態において、画像取り込装置(12)は更に、光ディスプレイ、液晶ディスプレイ(LCD)、またはスクリーンを更に含む、ディスプレイ(34)を更に含む。
【0020】
本技術の実施形態において、画像取り込装置(12)は更に、ステレオデジタルカメラを含む。ステレオカメラは、2つ以上のレンズを備えるカメラの一種である。これによりカメラは両眼視を模倣することができ、それゆえ3D画像を取り込む能力、ステレオ写真撮影として知られる処理が与えられる。ステレオカメラは、映画用に立体的な景色や立体画を作るため、またはレンジ撮像のために使用され得る。イギリスにある3−D Images Ltd.,は、3−Dデジタルステレオカメラ、即ち完全に自動的で、時間が同時進行のデジタルステレオカメラを製作している。カナダにあるPoint Grey Research Inc.,は、非構造化環境において3D測定イオン(3 D measurements ion)の完全な視野を提供できる双眼鏡または複数アレイのカメラを製作している。
【0021】
対象の画像の基本的な要素は、色またはグレースケールの一点を表すピクセルである。
【0022】
各々のピクセルは、その色または明度を表す1セットの数を含む。ピクセルが色を明示できる精度は、そのビットまたは色の深さと呼ばれる。画像がより多くのピクセルを含むにつれ、描写する能力もより細かくなる。
【0023】
ピクセルは単なる情報の論理ユニットであるため、その大きさを明示しなければ実在の大きさを表すのに役に立たない。用語「1インチあたりのピクセル(PPI)」は、この理論的なピクセルユニットを実在の視角解像度に関連付けるために導入された。
【0024】
「1インチあたりのピクセル(PPI)」は、非常に率直な用語である。この用語は、水平および垂直方向における距離1インチ当たり、画像がどれだけのピクセルを含むかということを単に表すものである。
【0025】
「メガピクセル」は単に、百万ピクセルの単位である。デジタルカメラは、画像を作成するためにメガピクセルのセンサアレイ(数百万の小さなピクセル)を使用し得る。カメラのシャッターボタンが押され、露光が始まると、これらピクセルの各々は、光子を保存する「フォトサイト(photo site)」を有する。一旦露光が終わると、カメラはどのくらいの光子が各々に入ったかを査定しようとする。各々の空洞における光子の相対量はその後、様々な明度レベルへと保存され、その精度はビットの深さ(8ビットの画像に関しては0−255)により定められる。
【0026】
各々の空洞は、各々の色がどのくらい入ったかを区別することができず、故に上記の表現は、グレースケールの画像を作成することしかできない。色の情報を取り込むデジタルセンサを広げるため使用される一つの方法は、センサが赤(R)、緑(G)および青(B)の光を区別できるようにする各々の空洞に入る光を、フィルターにかけることである。
【0027】
本技術の実施形態において、シーン(20)の深さ上のオブジェクトポイント(30)から画像ベースの追跡装置(22)までの距離は、ポイントレーザービーム、ソナー、レーダー、レーザースキャナおよびデプスカメラからなる群から選択された距離測定装置(14)を使用して定められる。
【0028】
ポイントレーザービーム距離測定装置(14)は、連続して照射されたレーザー、またはパルス状のレーザー、或いは配列されたレーザーであり得る、青色固体レーザー、赤色ダイオードレーザー、IRレーザーを使用することにより実行される。
【0029】
レーザースキャナ距離測定装置(14)は、Sensor Intelligenceのウェブサイトwww.sick.comにより提供される位置決めセンサを使用することによって実行される。例えば、小型のハウジングを有するレーザースキャナーモデルネームS10B−9011DAおよび頑丈なIP 65デザインが使用され得る。このレーザースキャナは、以下のデータシート:寸法:(W×H×D)=102×152×105mm、270度の走査角、および10メートルのスイッチング磁場範囲を有する。それは、以下の機能性:スタンバイモード、7セグメントの入力ディスプレイ、結合型パラメーターメモリーインシステム、プラグCANopenインターフェース、および低エネルギー消費を有する。
【0030】
ソナー距離測定装置(14)は、音声送信機および受信機を含む能動的ソナーを使用することにより実行される。
【0031】
能動的ソナーは、よく「ピン」と呼ばれる音の振動を作り、その後、振動の反射(反響)を聞き取る。この音の振動は一般的に、おそらくビーム成形器を備えた、信号発生器、電力増幅器および電機音響変換器/アレイからなるソナープロジェクターを使用して、電子的に作られる。シーン(20)までの距離を測定するため、振動の送信から受信までの時間は、音の速さを知ることによって測定され、距離へと切り替えられる。振動は、(受信時に振動の圧縮を許容するための)一定の頻度または変わる頻度のチャープにあり得る。振動の圧縮は、デジタル相関技術を使用することにより達成され得る。
【0032】
レーダー距離測定装置(14)は、シーン(20)により反射され、受信機により、典型的には送信機と同じ位置において検出されるマイクロ波または電波を放つ送信機を使用することにより実行される。
【0033】
本技術の実施形態において、画像取り込装置(12)は更に、対象の画像撮影と対象までの距離の測定を組み合わせるデプスカメラを含む。
【0034】
デプスカメラは、深さの情報を伴うビデオを取り込むことができるZCamビデオカメラを使用することにより実行される。このカメラは、飛行時間と呼ばれる原理を使用して取り込まれたピクセルの各々に関する深さを測定することができるセンサを有する。シーンにおける全ての対象に赤外線光の振動を放つこと、および各々の対象の表面から反射された光を感知することにより、3D情報を得る。深さは、発信源から離れ、シーン(20)における対象により反射されるにつれ、光線の飛行時間を計算することにより測定される。往復時間は、CMOS時間/デジタル変換器(CMOS time−to−digital converter)を使用して、各々のピクセルに関するデジタルコードへと独立して変換される。3DVシステムの製造業者によると、深さの解像度はかなり良い:1秒につき60フレームで同時にフルカラーの1.3メガピクセルビデオを取り込み、3D動作を検出し、0.4インチまで小さくできる。
【0035】
本技術の実施形態において、まだ図1を指すが、画像取り込装置(12)は更に、全地球的航法衛星システム(GNSS)測量システム;レーザープレーンシステム(laser plane system);およびセオドライトからなる群から選択された、測量器(36)を含む。この実施形態において、シーン(20)は予め測量され、シーンの距離データは、画像ベースの追跡装置(22)の位置座標を定めるため画像のセットと組み合わせた、画像ベースの追跡装置(22)により使用される。
【0036】
全地球的航法衛星システム(GNSS)測量システム(36)は、GPSの新しいL2Cおよび次のL5シグナルを含む、全てのGPSおよびGLONASS L1/L2シグナルを支持し、44の衛生まで追跡する能力があるTRIMBLE R8 GNSSシステムを使用することにより実行される。
【0037】
全地球的航法衛星システム(GNSS)測量システム(36)は、高精度GPS受信器および一つのユニットに組み合わせられたUHFラジオを含む、Trimble(登録商標)R7 GNSSシステムを使用することにより実行される。Trimble R7 GNSSは、RTKまたは静的測量のために使用され得る。モジュラーTrimble R7 GNSSシステムは、別々のアンテナ:ローバーとして使用される場合はTrimble Zephyr(商標)2を、基地局として使用される場合はZephyr Geodetic(商標)2を利用する。Trimble GeoExplorerソフトウェアは、異なるパスファインダーシナリオのために使用され得る。Trimble GeoExplorerは、以下のデータシート:統合されたSBASを備える1〜3メートルのGPS;鮮明ではっきりとしたマップビューイング用の高解像度のVGAディスプレイ;Bluetooth(登録商標)および無線LAN接続オプション;リムーバブルカードのためのSDスロットを加えた1GBの内蔵記憶装置を有する。それは、Windows(登録商標) Mobile version 6オペレーティングシステムを含む。それはまた、全日バッテリーが備わった頑丈なハンドヘルドとして実行される。
【0038】
レーザープレーン測量システム(36)はまた、Trimble product−Spectra PrecisionレーザーGL412およびGL422を使用することにより実行される。Spectra Precision(登録商標)レーザーGL412およびGL422グレードレーザーは、3つのジョブ−レベル、グレードおよび垂直で垂直整列を行う、費用効率が高い自動セルフレベリングレーザーである。両方のレーザーは、両方向の、全機能搭載型リモートコントロールを特徴付け、故に減少した設定時間およびより早い操作のため、現場のあらゆる場所からグレードを変化させる。GL412(シングルグレード)およびGL422(デュアルグレード)レーザーは、作業領域全体にわたり、連続した、セルフレベルの360度レーザーリファレンスを送り、様々なスロープアプリケーションにおいて使用されるように広いグレード距離(wide grand range)を有する。
【0039】
レーザープレーン測量システム(36)はまた、レーザー光の面を作るために回転される連続したセルフレベルのレーザービームを放つApache Horizonレーザーを使用することにより実行される。この面は、直径1600フィート(500メートル)までの作業領域にわたって広がる。基準面は、オングレードへの方向を示す1つ以上のレーザー検知器により検知される。
【0040】
セオドライト測量システム(36)はまた、ケーブルフリーのロボットの総合ステーションおよびローバーであるTrimble(登録商標)S6 DR(直接反射)Total Stationを使用することにより実行される。セオドライト測量システム(36)は、Trimble MultiTrack Targetを用いた能動的なまたは受動的な追跡から選択できる。能動的な追跡は、セオドライト測量システム(36)が位置づき、正しい標的を自動追跡することを可能にする。
【0041】
本技術の実施形態において、画像追跡の方法は、図1の画像ベースの追跡装置(22)を使用することにより実行される。より具体的には、工程(A)は、シーン(20)の画像取り込みを行うための画像取り込装置(12)を使用することにより行われる一方で、画像取り込装置(12)の追跡動作の工程(B)は、画像処理アルゴリズム25を使用する1セットの画像の分析により行われる。
【0042】
本技術の実施形態において、シーン(20)の画像取り込みを行う工程(A)は、画像取り込装置(12)を使用することによりリアルタイムで行われる。
【0043】
本技術の別の実施形態において、シーン(20)の画像取り込みを行う工程(A)は、画像取り込装置(12)を使用することにより予め記録される。
【0044】
本技術の実施形態において、シーン(20)の画像取り込みを行う工程(A)は更に、上記で十分に開示されたように、測量器(36)を使用してシーン(20)を予め測量することにより、シーン(20)の1セットの深さデータを得る工程(A3)を含む。
【0045】
本技術の実施形態において、画像取り込装置(12)の移動を追跡する工程(B)は、画像処理アルゴリズム(25)を使用することにより実行される。
【0046】
本技術の実施形態において、画像処理アルゴリズム(25)は、画像取り込装置(12)のビデオ追跡の遂行を、取り込まれる1セットの画像を分析することにより可能にする。
【0047】
本技術の実施形態において、画像処理アルゴリズム(25)は、全体的な剛体運動を仮定する。画像取り込装置(12)の6つの自由度で全体的なオプティカルフローをパラメーター化することにより、2つの連続したフレームの間の最適な全体的な変換は、非線形の最小二乗問題を解決することにより発見される。
【0048】
6つの自由度で固定した全体的な変換を行うために、シーン(20)の深さを知ることが必要である。上記に十分に開示されたように、ポイントレーザービーム、深さ画像取り込装置、ステレオカメラ用具などの外部装置からの画像取り込みに沿って、シーン(20)は予め測量され、または深さの大きさがリアルタイムで得られる。
【0049】
本技術の実施形態において、画像処理アルゴリズム(25)は、フレーム機能を使用することにより、ピクセルの最適な性質を一致させる。
【0050】
本技術の実施形態において、利用可能な深さ情報と共に、画像処理アルゴリズム(25)は、フレーム機能の再定義により2つのフレームの深さを(ピクセルの最適な性質の代わりに)一致させる。
【0051】
本技術の実施形態において、画像処理アルゴリズム(25)は、ピクセルの最適な性質および深さ情報の組み合わせを一致させることにより示される。これは、以下に十分に開示されるように、組み合わされた費用関数を使用することにより、または他のものと共に1つのプロセスを支援することにより行われる。
【0052】
本技術の実施形態において、画像処理アルゴリズム(25)は、様々な座標系:固定された照合システム;画像取り込装置(12)に取り付けられた照合システム;および画像取り込装置のセンサ面(32)上の2D照合システムを利用する。
【0053】
シーン(20)におけるポイント(30)が座標x=(x,y,z)を有する、固定された照合システムにおいて、画像取り込装置(12)は、装置の位置座標xci=(xci,yci,zci)、および各々のi番目のフレームに対して装置の方向座標(Ψ,θ,Φ)(ヨー、ピッチおよびロール)を含む、6つのベクトル(38)により記載される。
【0054】
画像取り込装置(12)に取り付けられた照合システムにおいて、シーン(20)における同じポイント(30)は、画像取り込装置12に関して座標x=(x,y,z)を有する。
【0055】
画像取り込装置のセンサ面(32)に取り付けられた2D照合システムにおいて、i番目のフレームにおけるポイントの2Dピクセル座標は、u=(u,v)である。
【0056】
固定された3Dシステム及び3Dシステムに取り付けられた画像取り込装置の間の関係は、以下の通りである:
=(x−xci)R(式1)
【0057】
【数1】

【0058】
3Dシステムに取り付けられた画像取り込装置と2Dピクセル座標の間の関係は、画像取り込装置12のマッピング関数mに依存する。マッピング関数は、i番目のフレームの画像取り込装置に取り付けられたシステムにおける3D座標xをマッピングし、i番目のフレームにおける2Dピクセル座標に変換する:
=m(x)(式3)
【0059】
マッピング関数の形態は、レンズの種類に依存する。本技術の実施形態において、レンズ(16)が(反転ピンホールモデルにおいて)正常なレクチリニアーレンズを含む場合、マッピング関数mは、以下の方程式に由来する:
【0060】
【数2】

【0061】
ここで、fは画像取り込装置(12)の焦点距離であり、S、Sはピクセルの幅および高さである。u、vは、光学的中心およびセンサ中心の間のオフセットである。
【0062】
本技術の別の実施形態において、レンズ(16)が正投影の魚眼レンズを含む場合、マッピング関数mは、以下の方程式に由来する:
【0063】
【数3】

【0064】

【0065】
本技術の実施形態において、マッピング関数mは調整され、数値形式で保存される。
【0066】
マッピング関数:x=m−1(u)(式6)の反転を見つけ出すため、オブジェクトポイント(30)の深さを知る必要がある。
【0067】
本技術の実施形態において、上記に開示されるように、シーン(20)は予め測量される。この本技術の実施形態において、深さの測定は、3Dの固定された照合システムz=z(x,y)において行われ、フレームからフレームへと変化しない。
【0068】
本技術の実施形態において、距離測定装置(14)が画像取り込装置(12)に取り付けられた場合、シーンのオブジェクトポイント(30)の深さは、各々のフレームz=z(u)におけるピクセルの位置の関数として得られる。これらの測定は、画像取り込装置に取り付けられた3D照合システムにおいて行われる。
【0069】
本技術の実施形態において、距離測定装置(14)は、多くのポイントレーザーを使用することにより実行される。この本技術の実施形態において、ポイントレーザーの数は大抵、ピクセルの数よりずっと少ないため、各々のi番目のフレームに関する深さの大きさの密度は、ピクセルの密度よりもかなり少ないかもしれない。各々のピクセルの深さは、これら大きさの中の補間により得られる。
【0070】
本技術の実施形態において、距離測定装置(14)は、3DVシステムからのZcamのようなデプスカメラを使用することにより実行される。この本技術の実施形態において、深さの大きさのグリッドは、ビデオフレームのものと比較可能な解像度により利用可能となり、それにより深さの大きさのグリッドは、更に処理を必要とせずに直接使用される。
【0071】
本技術の実施形態において、距離測定装置(14)は、ステレオカメラを使用することにより実行される。ステレオカメラは、多くの確認された特徴点からの深さ情報の抽出を可能にし、および残りのピクセルは、補間により行われる。
【0072】
2つの連続したフレームfおよびfとの関係は、シーン(20)における同じポイント(30)が、2つのフレームにおいて同じ明度の2つのピクセルを作り出すという前提に基づく。つまり、uおよびuが同じオブジェクトポイントのfおよびfにおけるピクセルの位置である場合、f(u)=f(u)である。ここで、f(u)は、フレームfにおけるuでのピクセルの明度を表す。この前提に基づいて、2つのフレームの関係は純粋に、画像取り込装置の動作から生じる幾何学的な変換である。
【0073】
からfまでの画像取り込装置の運動は、δxci−>jおよびδRi−>jによって表され、それはフレーム間の相対的な動きや回転、又はξi−>j=(δxci−>j,δyci−>j,δzci−>j,δΨi−>j,δθi−>j,δΦi−>j)であり、6つの自由度を有する6つのベクトルである。フレームfでの画像取り込装置の位置および姿勢が分かり、fからfまでのこの相対的な動きを解決することにより、フレームfでの位置および姿勢を得る。次のように、我々は可能であれば常に、下付き文字i−>jを省略する。
【0074】
フレームfの照合システムにおいてxを統合させる同じオブジェクトポイント(30)は、フレームfの照合システムにおいてx、および:x=(x−δx)δR(式7)を統合させる。
【0075】
それゆえ、2Dピクセルの座標系において、uとuとの関係は、以下の通りである:
【0076】
【数4】

【0077】
ここでmは、マッピング関数である。又は単に、u=δP(u)(式9)であり、ここでδP=moξom−1は、3つの操作の組み合わせを表す。
【0078】
この目的は、適切なξを見つけ出すことであり、そうすることにより費用関数∫|f(u)−f(δP(u))|du(式10)が最小化される。これは、よく調査された非線形の最小二乗問題である。それを解決することは大抵、線形の近似および反復に関する。異なる線形の近似は、Gauss−Newton、steepest−descent、Levenberg−Marquardt descentなどの異なる収束法を引き起こす。
【0079】
本技術の実施形態において、画像処理アルゴリズム(25)は、Gauss−Newtonの式を使用することにより実行される。Gauss−Newtonの式を得るために、以下のものを拡張する。
【0080】
【数5】

【0081】
【数6】

【0082】
【数7】

【0083】
はξの線形関数であるため、(式13)は以下の反復ループルーチンを使用することにより解決されている:
1. ξを初期化;
2. ξからのδPを計算し、fの変換を実行する:
3. f,fからdξを計算する、dξ=∫|(f(u)−f(u))Ddu/∫DDdu;
4. ξをアップデートする,dξ=>ξ;
5. dξが実質的に小さいか最大の反復に達すると終了し、さもないと、工程2にループバックする。
【0084】
上記のルーチンにおいて、各々の後続の反復fは、それらが十分近くなるまで、fに更に近づこうとしている。しかし、各々の反復において、fの画像の勾配は、fが工程2においてアップデートされたため、再び計算されなければならない。他の問題は、δP(および故にヤコビアン)が深さの大きさzに依存すること、又は固定化された照合システムにおける深さを予め測量する場合は、深さの大きさzに依存し、およびフレームf:xcj,Rに通じる総合の画像取り込装置の動作に依存する。
【0085】
本技術の実施形態において、深さの大きさが画像取り込装置に取り付けられた照合システム(レーザーポイント、デプスカメラ、ステレオ装置など)において得られる場合、全ての前のフレームの大きさは、今ではxcj、Rが知られているフレームfの照合システムへと変換されるため、より大きな深さの大きさがフレームfのため利用可能となる。
【0086】
本技術の実施形態において、シーンの深さが固定化されたシステムにおいて予め測量される一方で、総合的な動作xcj、Rはまだ解決されず、従って、ヤコビアンの形態が計算されると、xcj、Rおよびξの関数として発現されるだけである。これは、ヤコビアンの形態を複雑にするだけでなく、ヤコビアンを反復依存にする。
【0087】
【数8】

【0088】
【数9】

【0089】
【数10】

【0090】
における各々のピクセルに関する深さは、工程3においてδP(u)を計算することが必要とされる。fはその時点での最良の推定であるため、最も単純な選択は、代わりにfにおけるピクセルの深さを使用することである。
【0091】
本技術の実施形態において、反復の収束は、いかに勾配画像が「滑らか」であるかに依存する。勾配画像が、2つのフレーム間での画像取り込装置の移動から生じる画像置換よりも小さな規模で異なる場合、ループは収束しない。それゆえ、2つのフレームは、上記のループに送り込まれる前に最初に滑らかにされる。おおよそのξが滑らかになったフレームから見つけられた後、スムージングが除去されるまたは減らされ、およびより正確なξが、出発点として前のξと共に得られる。
【0092】
従って、画像反復ピラミッドにおいて、より高いレベルは、より濃密に滑らかとなる一方で、下のレベルはスムージングの無い原画像である。画像ピラミッドξの最上段から最下段までは、以下の通りに改善される:
【0093】
【数11】

【0094】
δP(u)の明示型は、マッピング関数mに依存する。与えられたmと同様、δP(u)の形態は一意的なものではない。本技術の実施形態において、レンズ(16)がレクチリニアーレンズを含み、および予め測量された深さzが利用可能な場合、以下のものが選択される:
【0095】
【数12】

【0096】
ここで、R(3,:)は、フレームfでの3列の総回転行列Rの転置行列である。それは、z方向における単位ベクトルであり、フレームfの画像取り込装置に取り付けられた照合システム中に発現される。
【0097】
【数13】

【0098】
本技術の実施形態において、深さの測定が画像取り込装置に取り付けられたシステム(zが知られる)において行われる場合、以下のものが選択される
【0099】
【数14】

【0100】
本技術の実施形態において、深さが分かっている場合、ピクセルの明度の代わりに、2つのフレームの深さを一致させる。深さが分かっている場合、ピクセルポイントの3D距離もまた分かっているためである。2Dピクセル座標:(x(u)−δx)δR=x(u)(式18)のベクトル関数として、画像取り込装置に取り付けられたシステムにおける3D座標を処理することにより、フレームfおよびフレームfの間の3D距離の平方であるコスト関数が使用される。
∫||(x(u)−δx)δR−x(δP(u))||du(式19)
別の可能性は、これら2つの間のz要素の違いの平方を使用することである。
【0101】
このアルゴリズムはカラー画像を扱うために容易に拡張することができる。例えば、RGB画像については、フレームf=(f,f,f)は行ベクトルであり、D=(D,D,D)は、それぞれ6x1の列ベクトルとしてD,D,Dをもつ6x3の行列である。
【0102】
ピクセル強度のためのアルゴリズム最適化に似ており、ヤコビアンの算出はxi側でなされ、変換はxj側で行なわれる。1セットの3D座標には3つの成分があるので、列ベクトルDは、6x3の行列D´によって置換される。
【0103】
【数15】

【0104】
本技術のこの実施形態では、画像処理アルゴリズム(25)は以下のループルーチンの使用により実行することができる:
1.1 ξの初期化
2. z及びzの画像ピラミッドを構築する、そしてそうでなければ、既に利用可能。
3. 当該ピラミッドのそれぞれのレベルに対して最上段から最下段まで
3.1 フレームfで、D´を初期化し、
3.2 ξからδPを算出し、xで変換を実行する。
(u)=>x´(u)=x(δP(u))δR+δx
3.3 x,xからdξを算出する、
dξ=∫(x(u)−x´(u))D´Tdu/∫D´D´Tdu
3.4 ξをアップデートする,dξ=>ξ
3.5 dξが実質的に小さいか最大の反復に達すると終了し、さもないと、工程3.2にループバックする。
【0105】
本技術の実施形態において、ピクセル強度整合コスト関数と深さ整合コスト関数の組み合わせを使用することがあり得る。
∫(λ|f(u)−f(δP(u)))|+(1−λ)||(x(u)−δxc)δR−x(δP(u)))||)du (式21)
λ∈[0,1]が、オプティカルフロー仮定が如何によく保持されるかによって調節される加重係数、光学画像の質および深さ画像の質である。
各反復における漸進的変化はつぎのとおりである。
dξ=∫λ(f(u)−f´(u))D+(1−λ)(x(u)−x(u))D´du/∫λDD+(1−λ)D´D´du (式22)
【0106】
本技術の一実施形態において、f及びfi+1のデルタ運動とトータル移動の間の関係は、以下のとおりである:
i+1=RδRi−>i+1
ci+1=xci+δxci->i+1 (式23)
もし、ループが、fとfi+1の間のξに収斂することなく最大反復を終了すると、fi−1とfi+1の間に移動を見出すことができるか、その代わりにfとfi+2の間に進むことを選択することに決めることができるか、若しくは、信頼できないとしてfとfi+1の間の結果をマークすることができる。
【0107】
fiにおける各ピクセルの深さ情報は、
1)変換f(u)=>f´(u)=f(δP(u))を行うこと、及び
2)fでヤコビアンを計算することが必要とされる。
深さ情報は異なる形態に至り得る。
【0108】
本技術の実施形態では、シーンは比較的水平で、固定された照合システムにおける少数の(フレームにおけるピクセル数よりはるかに少ない)あらかじめ測量された点によって記載することができる。その場合、固定された照合システムで表現されたあらかじめ測量された点は、フレームfの照合システムへの変換z(x,y)=>z(u)がなされる必要がある。その後、三角形の補間によってfにおける各ピクセル点の深さを見つけ出すために、これらの点は基準点として使用されるだろう。三角形の補間では、三角形の点は三角形の3つの頂点の結合として表現される。3つの頂点の深さに従って3D照合システムと投射された2D照合システムとの間で切り替わるときに、3つの結合係数を調節する必要がある。
【0109】
本技術の実施形態では、少数の(フレームのピクセル数よりはるかに少ない)深さ点は、画像取り込装置に取り付けられたポイントレーザーなど、画像取り込装置に付けられたシステムにおける各フレームに沿って得られるか、或いはステレオカメラ装置からの特徴点と一致する点である。その場合は、レーザー点深さの大きさ、各フレームに由来する。当該深さ点及び前フレームからの点は3つのカテゴリに入れられる:
1)沈降点:
レーザー点深さの大きさは、フレームfi+1に由来する。深さマッチングが使用される場合のみ、沈降点が使用される。
2)活性点:
レーザー点深さの大きさはフレームfに由来する。また、レーザー点深さの大きさは、いずれのフレームから出ることはなく、かつフレームfiの照合システムに変換した先のフレームに由来する。これらの点はドローネー三角測量で入れられる。ドローネー頂点は、三角形の補間によってピクセルの深さを計算する基準点として使用される。
3)引っ込められた点:
これらの点は、f及びfi+1の外に移動した前フレームか引っ込められた点である。これらの点は所望により、シーンの深さマップを形成するために保存される。
【0110】
本技術の実施形態では、深さ点のグリッドは、ビデオフレームと同一の解像度、あるいはビデオフレームと比較可能な解像度をもつ、画像取り込装置に取り付けられた照合システムにおいて、各フレームで利用可能である。この場合、解像度が同一である場合、フレームfで得られた深さの大きさは直接使用することができるか、あるいは解像度が低い場合、補間され得る。f及びfi+1で得られた深さの大きさは、深さマッチングで直接または補間後に使用することができる。
【0111】
本技術の実施形態において、図2は図1の装置(22)の使用による画像追跡のフローチャート(50)である。シーン(20)の深さデータは、シーンをあらかじめ測量することにより得られる。
【0112】
本技術のこの実施形態では、画像追跡の方法は2つの工程を含む:
(工程54)画像取り込装置の使用により、(図1の)シーン(20)の画像取り込を行なう工程、及び
((工程62)工程(54)で得られた1セットの画像の分析による画像取り込装置を追跡移動する工程。
【0113】
本技術の実施形態では、シーン(20)の画像取り込みを行なう工程(54)は、工程56の(図1の)画像取り込装置(22)の使用により、リアルタイムで行なわれる。
【0114】
本技術の実施形態では、工程(54)は、工程58の画像取り込装置(22)の使用により、あらかじめシーン(20)を記録することにより行なわれる。
【0115】
本技術の実施形態では、工程60の、工程(54)はあらかじめシーンを測量することによりシーンの1セットの深さデータに(20)を得させることをさらに含む。
【0116】
上述したように、画像取り込装置は次のものから成る群から選ばれる。すなわち、デジタルカメラ、デジタルビデオカメラ、デジタルカムコーダー、ステレオデジタルカメラ、ステレオビデオカメラ、モーションピクチャーカメラ、及びテレビカメラである。
【0117】
本技術の実施形態では、工程(54)で得られた画像のセットの分析による、画像取り込装置の追跡移動工程(62)は、捕らえられた画像データのセットおよびシーン・深さデータのセットを、6座標のデータへの厳密なグローバル変換を実行する工程(64)を含み、ここで、6座標データのセットは、(図1の)画像取り込装置(22)の移動を表わす。
【0118】
本技術の実施形態では、図3は画像追跡方法のフローチャート(100)を例示する、シーンの深さデータ、距離測定装置(14)の使用により得られる。
【0119】
本技術の実施形態では、画像追跡方法のフローチャート(100)は、画像取り込装置の使用によりシーンの画像取り込を行なう工程(104)をさらに含む。
【0120】
本技術の実施形態では、工程(104)は、工程(106)の画像取り込装置の使用によりリアルタイムのシーンの画像取り込を行なうことにより実行することができる。
【0121】
本技術の実施形態では、工程(104)は、画像取り込装置の使用によりシーンの画像記録を行なう工程(108)を行なうことにより実行することができる。
【0122】
本技術の実施形態では、画像追跡方法のフローチャート(100)は、次のものから成る群から選択された距離測定装置の使用により、1セットのシーン・深さデータを得る工程(110)をさらに含む。すなわち、ポイントレーザービーム、ソナー、レーダー、レーザースキャナ及びデプスカメラである。
【0123】
本技術の実施形態では、工程(110)は、工程(112)の画像取り込装置に取り付けられたK点距離測定システムを使用した、画像取り込装置(取り付けられた3D照合システム)で、シーン・深さデータのセットを測定することにより実行される。
【0124】
本技術の実施形態では、工程(110)は、工程(114)の画像取り込装置に付けられたM点距離測定システムの使用により、対象点の少なくとも1つの像点のために、対象点の深さを直接測定することにより実行され、シーンの深さ測定の整数Mは、フレームにおけるピクセル数と実質的に等しい。
【0125】
本技術の実施形態では、工程(110)は、工程(116)の画像取り込装置に付けられた特徴点範囲測定システムの使用により、画像取り込装置に取り付けられた3D照合システムによるシーン・深さデータのセットを測定することにより実行される。
【0126】
最後に、本技術の実施形態では、画像追跡方法のフローチャート(100)は、画像のセットの分析により画像取り込装置の追跡移動工程(118)をさらに含む。
【0127】
本技術の実施形態では、工程(118)は、捕らえられた画像データのセット及びシーンの深さデータの6座標データのセットへの厳密なグローバル変換を実行することにより行われる。ここで、6座標データのセットは、工程(120)の画像取り込装置の移動を表わす。
【0128】
図4、5、6および7は、図1の装置(22)を使用する画像をベースにした追跡のサンプル結果を例示する。より具体的には、図2は、センサ面(16)におけるシーン(20)の画像取り込装置画像を描いた図(140)を示す。
【0129】
図5は、実質的に上述したように、図1のアルゴリズム(25)を使用することにより計算された画像取り込装置の2D運動を例示する図(150)を示す。
【0130】
図6は、実質的に上述したように、図1のアルゴリズム(25)を使用することにより計算された画像取り込装置の高さ運動を例示する図(160)を示す。
【0131】
図7は、実質的に上述したように、図1のアルゴリズム(25)を使用することにより計算された画像取り込装置の合計の回転角度(ヨー(172)、ピッチ(174)及びロール(176))を例示する図(170)を示す。
【0132】
この技術の実施形態において、特徴は、単に点として定義されるのではなく、領域及び/又は輪郭の表現として定義される。本技術の実施形態では、広く定義された特徴は、実質的に表面の追跡の能力を広げるために使用することができる。
【0133】
本技術の実施形態では、広く、定義された特徴は、問題となる対象(すなわち、自動車)を捨てる、シーン条件把握技術を使用するために用いることができる。
【0134】
本技術の実施形態では、シーン把握技術は、画像から推論するより高いレベルを推論する方法である。例えば、それは、シーンにおける自動車、歩行者の境界を検知すること、およびこれらの領域に存在する適合した特徴の境界を検知することを含むことができる。ひとたび、かかる望まれない対象物が識別されると、当該画像の使用可能な領域が抽出される。ついで、特徴マッチングがこの領域に対して抑制される。
【0135】
本技術の実施形態では、望まれない対象物の検出は、次のものを含む被写体認識を含んでいる:
(A)画像からの希薄な特徴の抽出、
(B)近傍の特徴を一緒に集めること、
(C)および、少なくとも1個の既知のクラスタの対象カテゴリを推論すること。
【0136】
本技術の実施形態では、広く、定義された特徴は、追跡のために、画像の適合性または画像領域を決定するために、(差異評価などの)初期画像分析において使用することができる。
【0137】
本技術の実施形態において、集められた画像の質が低すぎて、表面の追跡に通すことができない場合、例えば、画像が暗すぎる場合、抽出され一致した特徴はほとんどないであろう、初期画像評価分析は、画像が使用可能な場合、または画像を再度集めなければならない場合に、現場のオペレーターに通知するために行なわれる。
【0138】
本技術の実施形態において、初期画像評価分析は画像から少なくとも3つの属性を抽出する工程を含む:
(A)赤−緑−青のほとんど1つの値から成るかどうかチェックするための飽和品質、
(B)画像がほとんど曇って、特徴抽出用のシャープな部位を欠いているか否か、画像の構造品質をチェックする、
(C)および、画像がほとんど暗いか、ほとんど明るいか画像コントラストをチェックし、実質的に洗い流された路面をレンダリングする。
【0139】
本技術の実施形態では、広く、定義された特徴は表面追跡解法を初期化するために使用することができる。
【0140】
本技術の実施形態では、より具体的には、初期解は、広く定義された特徴およびRANdom SAmple Consequence(RANSAC)を使用することにより見出される。
【0141】
RANSACは、異常値を包含している測定値のセットから数学的モデルのパラメーターを評価する反復法である。
【0142】
統計では、異常値はデータの残りから数値的に遠く離れている観察である。より具体的には、異常値は、それが生じる例の他の要素に著しく反するように見える異常値として定義される。
【0143】
異常値が、任意の分配で偶然生じる場合がある、しかし、それらは多くの場合、測定誤差を示すか、または母集団が多数の分布を有することのいずれかを示す。以前は、それらは捨てたいとされるか、あるいは異常値に対して強い統計学を使用したいとされたが、後者のケースでは、分配が高いとがりを有しており、正規分布を仮定する使用ツールまたは直観に非常に用心深くあるべきであることを示している。異常値のよくある要因は、2つの分配の混在(すなわち、2つの別個のサブ母集団であり得る)か、あるいは「正確な試験」対「測定誤差」を示すことであり、これは混在モデルによってモデル化される。
【0144】
本技術の実施形態では、広く定義された特徴とRANSACに基づいた初期解は、ある見込みでの合理的な結果を生成し、より多くの反復が許可されるにつれて見込みが増加するという意味で、非確定的アルゴリズムを使用している。当該アルゴリズムは、1981年に、FichlerとBollesによって最初に公表された。
【0145】
本技術の実施形態中で、広く定義された特徴およびRANSACを使用する初期解は、モデルに適合しないデータである「インライアー(inlier)」(すなわち、モデルパラメータのあるセットがその分配について説明することができるデータ)および「異常値」からデータが構成されるという仮定に基づく。これに加えて、データは雑音を受ける。異常値は、例えば、雑音の極値、またはデータの解釈に関する、誤計測または正しくない仮説から生じ得る。またRANSACは、1セット(通常小さい)のインライアーを仮定すると、最適にこのデータについて説明するか適合するモデルのパラメーターを評価し得る手順が存在する。
【0146】
本技術の実施形態では、表面追跡への入力としてカメラ・ポジションの初期解を見つけるために1セットの広く定義された特徴を使用する方法は、1セットの広く定義された特徴を検知する工程、広く定義された特徴のセットと、少なくとも2つの選択されたフレームの一致を確立する工程、RANSAC数学的モデルのパラメーターを使用して、選択された少なくとも2つのフレーム間のホモグラフィー(homography)を評価する工程、少なくとも2つの選択されたフレーム間の評価されたホモグラフィーから画像取り込装置の最初のポーズ(pose)を引き出す工程を含み、ここで、画像取り込装置のポーズは、画像取り込装置の位置座標および画像取り込装置の1セットの位置座標を含み、前記方法は、また表面追跡説明への初期解として画像取り込装置の派生した最初のポーズを使用する工程を含む。
【0147】
本技術の実施形態では、厳密な二次元(strict_2D)の表面追跡法を見つけるために広く定義された特徴を使用する方法は、単一の追跡表面上で広く定義された1セットの特徴を検知する工程、RANSAC数学的モデルのパラメーターの使用により1セットの共面の広く定義された特徴を選択する工程、前記選択された共面の広く定義された特徴および少なくとも2つの選択されたフレームのセットの対応を確立する工程、少なくとも2つの選択されたフレーム間のホモグラフィーから画像取り込装置の最初の姿勢を引き出す工程、厳密な二次元(厳密な2D)の表面追跡法への初期解として画像取り込装置の派生した最初の姿勢を使用する工程、および、共面の特徴の群をグループ化し、厳密な2Dの表面追跡法への入力として共面の特徴の群のまわりの領域を使用する工程を含む。
【0148】
本技術の実施形態において、実質的に二次元の(sub_2D)表面追跡解法を見出すために、複数の二次元(2D)の追跡表面上に広く定義された共面の特徴のセットを使用する方法は、さらに、
複数の追跡表面上で1セットの広く定義された特徴を検知する工程、
RANSC数学的モデルのパラメーターの使用により、1セットの広く定義された共面の特徴を選択する工程、
広く定義された共面の特徴と、少なくとも2つの選択されたフレームのセットの対応を確立する工程、
少なくとも2つの選択されたフレーム間のホグラフィーから画像取り込装置の最初の姿勢を引き出す工程、
実質的に二次元(sub_2D)の表面追跡解法説明への初期解として画像取り込装置の派生した最初の姿勢を使用する工程、
また、個々の選択された広く定義された共面の特徴のまわりの局所領域を選択する工程、複数の選択された局所的な領域を二次元(2D)の大域的な領域にグループ化する工程、及びsub_2D表面追跡解法への入力として2D大域領域を使用する工程を含む。
【0149】
本技術の実施形態において、実質的に三次元(3D)の表面追跡のための解法を見出すために、三次元(3D)から抽出された、1セットの広く定義された特徴を使用する方法は、
前記3Dの表面上で1セットの広く定義された特徴を検知する工程、
前記1セットの広く定義された特徴と少なくとも2つの選択されたフレームのセットの対応を確立する工程、
少なくとも2つの選択されたフレーム間のホモグラフィーを評価する工程、
少なくとも2つの選択されたフレーム間のホモグラフィーから画像取り込装置の最初の姿勢を引き出す工程、
実質的に三次元(sub_3D)の表面追跡解法への初期解として画像取り込装置の派生した最初の姿勢を使用する工程、および、
各選択された広く定義された特徴のまわりで局所的な領域選択する工程、当該選択された複数の局所的な領域を三次元(3D)の大域的な領域にグループ化する工程、及びsub_3D表面追跡解法への入力として3Dの大域を使用する工程を含む。
【0150】
上記の記載は、システムや装置などを操作する例示的な方法に関係する様々な実施形態並びに種々の例示的なシステムや装置の操作に言及した。種々の実施形態において、実施方法の1以上の工程は、コンピュータの読み取り可能な命令およびコンピュータの実行可能な命令の制御下でプロセッサによって実行される。したがって、幾つかの実施形態では、これらの方法はコンピュータによって実現される。
【0151】
実施形態では、コンピュータの読み取り可能な命令およびコンピュータの実行可能な命令は、コンピュータで使用可能/読み取り可能な媒体。
【0152】
したがって、種々の実施形態の1以上の実施は、コンピュータによって実行され得るか、コンピュータによって実行されるプログラムモジュールなどのコンピュータの実行可能な命令を用いて実現され得る。一般に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含んでいる、それは特定のタスクを実行するか、または特定の抽出データタイプを実行する。加えて、本技術も分散コンピュータ環境で実行され得るのであり、通信網を介してリンクされる遠隔処理装置によってタスクが実行される。分散コンピュータ環境では、プログラムモジュールは、記憶格納媒体を含む局所的及び遠隔のコンピュータ格納媒体の両方に位置され得る。
【0153】
例示的な実行方法の特定の工程が本明細書に記載されているが、これらの工程は工程の一例であり、種々の例示的な実施形態に従って実行され得る。すなわち、本明細書に記載された実施形態は、様々な他の工程を実行したり、種々の記載された工程を実行することによく適している。さらに、本明細書に記載された工程は、示された順序と異なる順序で行なわれることがあり得、また、工程のすべてが、特定の実施形態内で必ず行なわれるとは限らない。
【0154】
種々の電子とソフトウェアに基づいたシステムが本明細書に記載されているが、これらのシステムは、利用され得る単なる例にすぎないものであり、本技術の用途又は機能の範囲に関して任意の制限を示唆するようには意図されてない。かかるシステムは、開示された実施例において示された構成要素または機能の任意の一つ若しくはセットみ合わせに対して従属性又は間系を有するとして解釈されるべきではない。
【0155】
主題が構造的特徴及び/又は方法の行為に特有の用語で記載されたが、添付の特許請求の範囲で定義された主題は、必ずしも上述された特定の特徴または行為に限定されない。むしろ、上述された特定の特徴および行為は、特許請求の範囲を実行する例示的形態として開示される。

【特許請求の範囲】
【請求項1】
画像ベースのポジショニング方法であって、
(A)画像取り込装置の使用によりシーンの画像取り込を行なう工程、および
(B)1セットの画像の分析により前記画像取り込装置の位置座標を求める工程
を含む方法。
【請求項2】
前記工程(A)は、さらに、(A1)前記画像取り込装置を使用することによりリアルタイムで前記シーンの前記画像取り込を行なう工程を含み、前記画像取り込装置は、デジタルカメラ、デジタルビデオカメラ、デジタルカムコーダ、ステレオデジタルカメラ、ステレオビデオカメラ、モーションピクチャーカメラおよびテレビカメラからなる群から選択されることを特徴とする請求項1に記載の方法。
【請求項3】
前記工程(B)はさらに、(B1)前記セットの捕らえられた画像データおよび前記セットのシーン・深さデータの1セットの6座標データへの厳密なグローバル変換を行なうことを含み、6座標データの前記セットが、前記画像取り込装置の移動を表わすことを特徴とする請求項1に記載の方法。
【請求項4】
前記工程(B1)はさらに、(B1, 1)前記画像取り込み装置に取り付けられた照合システムでの少なくとも1つのオブジェクトポイントの少なくとも1つのi番目のフレームの3D座標に対して、2D照合座標系における前記画像取り込装置センサー面上の像点の2Dピクセル座標にマッピングするために前記画像取り込装置のマッピング関数を使用する工程を含み、iは整数であることを特徴とする請求項3に記載の方法。
【請求項5】
前記工程(B1,1)はさらに、(B1,1,1)規則的なレクチリニアーレンズのマッピング関数、魚眼レンズのマッピング関数、及び特別に調整されたレンズのマッピング関数からなる群から、前記画像取り込装置の前記マッピング関数を選択する工程を含むことを特徴とする請求項4に記載の方法。
【請求項6】
前記工程(B1)はさらに、(B1,2)前記マッピング関数の反転を得る工程を含み、
ここで、前記マッピング関数の前記反転は、少なくとも1つのi番目のフレームに対してマッピングするように構成される、2D照合座標系への前記画像取り込装置センサー面上の少なくとも1つの像点の2Dピクセル座標、照合システムでの少なくとも1つのオブジェクトポイントの3D座標に、前記画像取り込装置に付けられたことを特徴とする請求項3に記載の方法。
【請求項7】
前記工程(B1)はさらに、(B1,3)前記シーンの前記あらかじめ測量されたデータを使用して前記少なくとも1つのオブジェクトポイントの3D深さ座標を得る工程を含むことを特徴とする請求項3に記載の方法。
【請求項8】
前記工程(B1)はさらに、(B1,4)2つの連続するフレームである、i番目のフレームと、k番目のフレームの関係から、前記画像取り込装置の6つのベクトル記載する前記移動を抽出する工程を含み、ここで、少なくとも1つのオブジェクトポイントは、前記2つの実質的に連続する同じ強度の少なくとも2つのピクセルを生成することを特徴とする請求項3に記載の方法。
【請求項9】
(B1,4,1)前記画像取り込装置の移動を記載している前記6つのベクトルを最適化する工程を含む請求項8に記載の方法。
【請求項10】
(B1,4,2)前記2つの連続するフレームの前記関係に対して、非線形の最小自乗問題の解決により、前記画像取り込装置の移動を記載している前記6つのベクトルを最適化する工程を含む請求項8に記載の方法。
【請求項11】
(B1,4,3)前記2つの連続するフレームの前記関係を最適化することにより、前記画像取り込装置のn次元に制限された移動を記載している(6−n)ベクトルを最適化する工程を含み、ここで、整数nは6未満である請求項8に記載の方法。
【請求項12】
前記工程(B1)はさらに、(B1,5)前記2つの連続するフレームの関係、すなわち少なくとも2つのピクセルである、第1ピクセルおよび第2ピクセルに対して深さデータを一致させて、i番目のフレームとk番目のフレームの間系から、前記画像取り込装置の移動を記載している6つのベクトルを抽出する工程を含み、前記第1ピクセルが前記i番目のフレームに位置づけられ、前記第2ピクセルが前記k番目のフレームに位置づけられることを特徴とする請求項3に記載の方法。
【請求項13】
(B1,5,1)前記画像取り込装置の移動を記載している前記6つのベクトルを最適化する工程をさらに含む請求項12に記載の方法。
【請求項14】
(B1,5,2)前記2つの連続するフレームの前記関係に対して非線形の最小自乗問題の解決により、前記画像取り込装置の移動を記載している前記6つのベクトルを最適化する工程をさらに含む請求項12記載の方法。
【請求項15】
(B1,5,3)前記2つの連続するフレームの前記関係を最適化することによって、前記画像取り込装置のn次元に制限された移動を記載している(6−n)ベクトルを最適化する工程を含み、ここで、整数nは6未満である請求項12に記載の方法。
【請求項16】
前記工程(B1)はさらに、(B1,6)2つの連続するフレームの関係から、すなわち少なくとも2つのピクセルである、第1ピクセル及び第2ピクセルに対する前記深さデータを一致させることによって、および前記2つの連続するフレームにおいて実質的に同じ強度を有する少なくとも2つのピクセル一致させることによって、i番目のフレームとk番目のフレームの間系から、前記画像取り込装置の6つのベクトル記載する前記移動を抽出する工程を含み、ここで、前記第1ピクセルは前記i番目のフレームに位置づけられ、前記第2ピクセルは前記k番目のフレームに位置づけられることを特徴とする請求項3に記載の方法。
【請求項17】
(B1,6,1)前記画像取り込装置の移動を記載している前記6つのベクトルを最適化する工程を含む請求項16に記載の方法。
【請求項18】
(B1,6,2)前記2つの連続するフレームの前記関係に対して非線形の最小自乗問題の解決により、前記画像取り込装置の移動を記載している前記6つのベクトルを最適化する工程を含む請求項16に記載の方法。
【請求項19】
(B1,6,3)前記2つの連続するフレームの前記関係を最適化することによって前記画像取り込装置のn次元的に制限された移動を記載している(6−n)ベクトルを最適化する工程を含み、ここで、整数nは6未満である請求項16に記載の方法。
【請求項20】
画像追跡の方法であって、
(A)画像取り込装置の使用によりシーンの画像取り込をリアルタイムで行なう工程、
(B)ポイントレーザービーム、ソナー、レーダー、レーザースキャナー、及びデプスカメラから成る群から選ばれた距離測定装置の使用により、1セットのシーン・深さデータを得る工程、および
(C)前記セットのリアルタイムで捕えられた画像の分析により前記画像取り込装置の移動を追跡する工程を含む
方法。
【請求項21】
前記工程(B)はさらに、(B1)前記画像取り込装置に付けられたKポイント距離測定システムの使用によって画像取り込装置に付属の3D照合システムでの前記セットのシーン・深さデータを測定する工程を含み、ここで、前記セットのシーン・深さデータは、前記シーンの3D深さ測定の整数のKポイント集合を含み、また、ここで、少なくとも1つの前記オブジェクトポイントの少なくとも1つの像点のために最適の深さ測定を得るために、前記3Dオブジェクトポイントの2D像点に関連した少なくとも1つのオブジェクトポイントの3D深さ座標は、前記シーンの3D深さ測定の前記Kポイント集合の補間によって得られ、また、ここで、前記整数Kは、実質的に前記フレーム中のピクセル数未満であることを特徴とする請求項20に記載の方法。
【請求項22】
前記工程(B)はさらに、(B2)前記画像取り込装置に付けられたMポイント距離測定システムの使用により、前記オブジェクトポイントの少なくとも1つの像点のために前記オブジェクトポイントの前記深さを直接測定する工程を含み、ここで、前記シーンの深さ測定の前記整数Mは、前記フレームのピクセル数と実質的に等しいことを特徴とする請求項20に記載の方法。
【請求項23】
前記工程(B)はさらに、(B3)前記画像取り込装置に付けられた特徴点距離測定システムの使用により、画像取り込装置に付属の3D照合システムの前記セットのシーン・深さデータを測定する工程を含み、前記シーンは1セットの整数Kの特徴オブジェクトポイントを含み、
ここで、前記特徴点距離測定システムは前記シーンの前記K特徴オブジェクトポイントのKセットの3D深さ測定を得るものであって、
また、ここで、少なくとも1つの前記オブジェクトポイントの少なくとも1つの像点のための最適の深さ測定を得るために、前記3Dオブジェクトポイントの2D像点に関連した少なくとも1つのオブジェクトポイントの3D深さ座標は、前記シーンの3D深さ測定の前記Kポイント集合の補間によって得られ、また、前記整数Kは、実質的に前記フレームのピクセル数未満であることを特徴とする請求項20に記載の方法。
【請求項24】
前記工程(C)はさらに、(C1)捕らえられた画像データの前記セット、および前記1セットのシーン・深さデータの1セットの6座標データへの厳密なグローバル変換を行な工程を含み、ここで、前記セットの6座標データは、前記画像取り込装置の移動を表わすことを特徴とする請求項20に記載の方法。
【請求項25】
前記工程(C1)はさらに、(C1,1)少なくとも1つのi番目のフレームのために、前記画像取り込装置に付けられた照合システムでの少なくとも1つのオブジェクトポイントの3D座標を、2D照合座標系の前記画像取り込装置センサー面上の像点の2Dピクセル座標にマッピングするマッピング関数を使用する工程を含むことを特徴とする請求項24に記載の方法。
【請求項26】
前記工程(C1,1)はさらに、(C1,1,1)規則的なレクチリニアーレンズのマッピング関数、魚眼レンズのマッピング関数、特別に調整されたレンズのマッピング関数から成る群から前記マッピング関数を選択する工程を含むことを特徴とする請求項25に記載の方法。
【請求項27】
前記工程(C1)はさらに、(C1,2)前記マッピング関数の反転を得る工程を含み、前記マッピング関数の前記反転は、2D照合座標系における前記画像取り込装置センサー面上の少なくとも1つの像点の少なくとも1つのi番目のフレーム2D画像座標に対して、前記画像取り込装置に取り付けられた照合システムでの少なくとも1つのオブジェクトポイントの3D座標にマッピングするように構成される請求項24に記載の方法。
【請求項28】
前記工程(C1)はさらに、(C1,3)前記2つの連続するフレームであるi番目のフレームおよびk番目のフレームの関係から前記画像取り込装置の前記移動を記載する6つのベクトルを抽出する工程を含み、ここで、前記シーンの少なくとも1つのポイントは、前記2つの連続するフレームの実質的に同じ強度の少なくとも2つのピクセルを生成することを特徴とする請求項24に記載の方法。
【請求項29】
(C1,3,1)前記画像取り込装置の移動を記載している前記6つのベクトルを最適化する工程をさらに含む請求項28に記載の方法。
【請求項30】
(C1,3,2)前記2つの連続するフレームの前記関係に対して非線形の最小自乗問題の解決により、前記画像取り込装置の移動について記載している前記6つのベクトルを最適化する工程をさらに含む請求項28に記載の方法。
【請求項31】
(C1,3,3)前記2つの連続するフレームの前記関係の最適化によって、前記画像取り込装置のn次元に制限された移動を記載している(6n)ベクトルを最適化する工程を含み、ここで、整数nは6未満である請求項28に記載の方法。
【請求項32】
前記工程(C1)はさらに、(C1,4)前記2つの連続するフレームであるi番目のフレームおよびk番目のフレームの関係、すなわち少なくとも2つのピクセル用の深さデータとの一致によって前記第1ピクセルは前記i番目のフレームに位置づけられ、前記第2ピクセルは前記k番目のフレームに位置づけられる関係から、前記画像取り込装置の前記移動を記載する6つのベクトルを抽出する工程を含むことを特徴とする請求項24に記載の方法。
【請求項33】
(C1,4,1)前記画像取り込装置の移動を記載している前記6つのベクトルを最適化する工程をさらに含む請求項32に記載の方法。
【請求項34】
(C1,4,2)前記2つの連続するフレームの前記関係に対して非線形の最小自乗問題の解決により、前記画像取り込装置の移動を記載している前記6つのベクトルを最適化する工程をさらに含む請求項32に記載の方法。
【請求項35】
(C1,4,3)前記2つの連続するフレームの前記関係の最適化によって、前記画像取り込装置のn次元に制限された移動を記載している(6n)ベクトルを最適化する工程を含み、ここで、整数nは6未満である請求項32に記載の方法。
【請求項36】
前記工程(C1)はさらに、(C1,5)前記2つの連続するフレームである、少なくとも二つのピクセルに対して深さデータを一致させることによって、および前記2つの連続するフレームにおける実質的に同じ強度を有する少なくとも2つのピクセルと実質的に一致することにより、番目のフレームおよびk番目のフレームの関係から前記画像取り込装置の前記移動を記載する6つのベクトルを抽出する工程を含み、
前記二つのピクセルが、第1ピクセルおよび第2ピクセルであり、ここで、前記第1ピクセルは前記i番目のフレームに位置し、前記第2ピクセルは、前記k番目のフレームに位置することを特徴とする請求項24に記載の方法。
【請求項37】
(C1,5,1)前記画像取り込装置の移動を記載している前記6つのベクトルを最適化する工程をさらに含む請求項36に記載の方法。
【請求項38】
(C1,5,2)前記2つの連続するフレームの前記関係に対する非線形の最小自乗問題の解決により、前記画像取り込装置の移動を記載している前記6つのベクトルを最適化する工程を含む請求項36に記載の方法。
【請求項39】
(C1,5,3)前記2つの連続するフレーム間の前記関係を最適化することによって、前記画像取り込装置のn次元で制限された移動を記載している(6n)ベクトルを最適化する工程をさらに含み、ここで、整数nは6未満である請求項36に記載の方法。
【請求項40】
画像追跡用の装置であって、
(A)シーンの画像取り込をリアルタイムで行なうように構成された画像取り込装置、および
(B)1セットの画像を分析することにより前記画像取り込装置の追跡移動のための手段
を備える装置。
【請求項41】
(C)前記シーンの1セットの深さデータを得るための手段をさらに備える請求項40に記載の装置。
【請求項42】
前記手段(B)はさらに、(B1)前記セットの捕らえられた画像および前記セットのシーン・深さデータの1セットの6座標データへの厳密なグローバル変換を行なうための手段をさらに含み、ここで、前記セットの6座標データは、前記画像取り込装置の移動を表わすことを特徴とする請求項40に記載の装置。
【請求項43】
前記手段(C)はさらに、(C1)全地球型衛星航法システム(GNSS)測量システム、レーザ平面システム、及びセオドライトから成る群から選ばれた測量器を備える請求項41に記載の装置。
【請求項44】
前記手段(C)はさらに、(C2)ポイントレーザービーム、ソナー、レーダー、レーザースキャナー、及びデプスカメラから成る群から選ばれた距離測定装置をさらに備える請求項40に記載の装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公表番号】特表2012−533222(P2012−533222A)
【公表日】平成24年12月20日(2012.12.20)
【国際特許分類】
【出願番号】特願2012−519675(P2012−519675)
【出願日】平成22年7月6日(2010.7.6)
【国際出願番号】PCT/US2010/041096
【国際公開番号】WO2011/005783
【国際公開日】平成23年1月13日(2011.1.13)
【出願人】(506144905)トリンブル ナビゲーション リミテッド (4)
【氏名又は名称原語表記】Trimble Navigation Limited
【Fターム(参考)】