単一像から、3D物体の測定、モデリングおよびマッピングのためのシステム、コンピュータプログラムおよび方法
少なくとも1つの3次元物体の単一画像から、3次元測定情報を導出し、かつ/または3次元モデルおよびマップを作成するための方法が提供される。前記方法は以下のステップを含む。(a)物体の少なくとも1つの前記物体の2次元単一画像を取得し、該画像は画像データから構成されて画像幾何モデル(IGM)に関連付けられること、(b)IGMに基づいて、画像に関連付けられた3次元座標情報を導出し、3次元座標情報を画像データに関連付けること、(c)(i)IGMを使用して物体の投影を測定し、物体に関する高さおよび/または点間距離を含む測定データを導出し、かつ/または(ii)物体の影を測定し、物体に関する高さおよび/または点間距離を含む測定データを導出するように画像データを分析すること、および(d)物体の投影および/または影の測定に基づいて3次元測定結果を取得すること。前記方法の別態様において、前記方法は投影および/または影の測定に基づいて3次元モデルまたはマップを作成するステップをさらに含む。一連のアルゴリズムは、本発明の方法を処理するためにも提供される。少なくとも1つの3次元物体の単一画像から、3次元測定情報を導出し、かつ/または3次元モデルおよびマップを作成するための、コンピュータシステムおよび関連コンピュータプログラムも、開示した方法に基づいて提供される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マッピング、測量、写真測量、リモートセンシング、可視化およびシミュレーション、ゲーム、計画、ジオマティックス、土木工学、地理学に関し、さらにとりわけ、単一画像からの、物体のまたは物体間の測定情報の収集および次元情報の収集、ならびに3次元(3D)モデルおよびマップ、ならびに、続いてそのような情報を、分析、モデリング、マッピングおよび可視化において使用することに関する。
【背景技術】
【0002】
3D物体を測定する従来の方法は立体視と呼ばれ、同一物体から得られた対のステレオ画像を取得するものである。各画像の画像幾何モデル(IGM)が与えられると、物体の3D座標情報を判定することができる。写真測量的な方法は、共役点(conjugate points)を選択することにより物体を調査し、それによりこれらの点に基づいたIGMを使用して任意の次元を測定する。3Dモデルおよびマップがその後、立体視の手法を使用することにより生成される。
【発明の開示】
【発明が解決しようとする課題】
【0003】
立体画像を特に空中または衛星のセンサから獲得することは、単一画像(single images)を獲得することと比較して、より高価であり、より長い配信時間が必要である。また、画像ベンダが保守するデータベースに保管された画像の大多数は単一画像である。従って、単一画像を使用することは、緊急用の地図作成、防衛、諜報活動、電気通信および工学等のようなアプリケーションに対して有利である。
【0004】
単一画像から3D測定、モデリングおよびマッピングを実行するために開発された公知のシステムはない。本発明は、3D測定を効率的に取得し、ならびに3D物体モデルおよびマップを効率的に作成できるオペレーション方法、コンピュータプログラムおよびシステムを提供する。システムは独特のユーティリティおよび斬新なアルゴリズムから成り、それらは物体の投影、影、物体の幾何、およびIGMを利用するよう設計されている。
【0005】
IGMは物体空間と画像空間の間、またはその逆の間の幾何学的関係を記述する。広く使用される2つのIGMとしては、物理センサモデルおよび汎用センサモデルがある。有理関数モデル(RFM)は汎用センサモデルの一種である。
【0006】
以下の関連先行技術が確認されている。
【0007】
Jiang,W.,Tao,C.V.,Hu,Y.,Xu,Z.,2003.RFMに基づいた単一および立体の高解像度衛星画像からの3−D測定、ASPRS Annual Conference,5月,5〜9日、アラスカ州アンカレッジ,7頁(この参考文献は、RFMベースの方法を使用して衛星画像から取得した実験結果のいくつかを記述している。)
【0008】
OpenGISコンソーシアム,1999.The OpenGIS Abstract Specification−Topic7:The Earth Imagery Case。(この参考文献は、マッピング、リモートセンシングおよび地理空間産業(geospatial industry)で使用されるIGMの概要を提供する。)
【0009】
Tao,C.V.,Hu,Y.,2001.写真測量処理に対する有理関数モデルの包括的研究、Photogrammetric Engineering &Remote Sensing、67(12):1347−1357(この参考文献は、RFMセンサモデルの詳細な数学的定式化およびその正確性の実験的研究を提供する。)
【課題を解決するための手段】
【0010】
本発明の1態様によると、少なくとも1つの3次元物体の単一画像から、3次元測定情報を導出し、かつ/または3次元モデルとマップを作成する方法が提供される。この方法は、画像データから成り、画像幾何モデル(IGM)に関連付けられる、物体の少なくとも1つの2次元単一画像を取得するステップと、IGMに基づいてその画像に関連付けられた3次元座標情報を導出し、その3次元座標情報を画像データに関連付けるステップと、IGMを使用して物体の投影を測定し、その物体に関する高さおよび/または点間距離を含む測定データを導出するように、および/またはその物体の影を測定してその物体に関する高さおよび/または点間距離を含む測定データを導出するように画像データを分析するステップ、ならびにその物体の投影および/または影の測定に基づいた3次元測定結果を取得するステップを備える。
【0011】
本発明の別の態様によると、少なくとも1つの3次元物体の単一画像から、3次元測定情報を導出し、かつ/または3次元モデルとマップを作成するシステムが提供される。本システムは、少なくとも1つのコンピュータとコンピュータプログラムであって、画像データから成り、画像幾何モデル(IGM)に関連付けられる、物体の少なくとも1つの2次元単一画像を取得し、IGMに基づいてその画像に関連付けられた3次元座標情報を導出し、その3次元座標情報を画像データに関連付け、その画像データをIGMを使用して物体の投影を測定し、その物体に関する高さおよび/または点間距離を含む測定データを導出するように、および/または、その物体の影を測定してその物体に関する高さおよび/または点間距離を含む測定データを導出するように分析し、ならびにその物体の投影および/または影の測定に基づいて3次元測定結果を取得することが可能であるように前記コンピュータに対して機能するようにリンクされるコンピュータプログラムを備える。
【0012】
本発明のさらに別の態様によると、コンピュータ上で測定ユーティリティを定義する命令を備えるコンピュータ使用可能媒体が提供される。この測定ユーティリティは、画像データから成り、画像幾何モデル(IGM)に関連付けられる、物体の少なくとも1つの2次元単一画像を取得すること、IGMに基づいてその画像に関連付けられた3次元座標情報を導出し、その3次元座標情報を画像データに関連付けること、その画像データを、IGMを使用して物体の投影を測定し、その物体に関する高さおよび/または点間距離を含む測定データを導出するように分析すること、および/または、その物体の影を測定してその物体に関する高さおよび/または点間距離を含む測定データを導出すること、ならびにその物体の投影および/または影の測定に基づいて3次元測定結果を取得することが可能なように動作する。
【0013】
本発明は、RFMセンサモデルを含めて、IGMのサポートにより単一像から、3D測定情報を導出すること、ならびに3Dモデルおよびマップを作成するための方法を以下の場合に提供する。すなわち、(1)単一画像が利用可能である、(2)静的および動的物体の両方が測定される、(3)立体視装置が利用可能でない、(4)立体画像対からの共役点が特定できない、場合に提供する。
【0014】
本発明は、本発明の方法に従って、測定情報が容易にアクセスされ、画像から使用されることを可能とするシステムを含む。このシステムは、単一画像から3D測定結果を取得し、3Dモデルおよび3Dマップを作成するユーティリティから成る。システムは、一般的に本発明のコンピュータプログラムが提供する命令を処理するよう適合されたコンピュータシステムから成る。
【0015】
本発明のコンピュータプログラムはコンピュータアプリケーションから成る。このアプリケーションは、(1)測定ユーティリティを含み、IGMをサポートする2D画像から測定を行うことを可能とする。この測定ユーティリティは、投影測定ユーティリティおよび影測定ユーティリティを含む。投影測定ユーティリティおよび影測定ユーティリティは、IGMのサポートにより投影測定ユーティリティ、影測定ユーティリティ、またはその両方を操作することで、点間の測定を可能にするように協働する。このアプリケーションはまた、(2)本発明の測定ユーティリティにより行われた測定に基づいて3Dモデルおよびマップを効率的に作成するモデル生成ユーティリティを含む。RFMを用いると、このアプリケーションはRFM等をサポートする任意の(例えば、衛星または航空の)画像に適用できる。本発明は、単一画像からの3D測定、モデルおよびマップを使用可能とする。
【0016】
本発明の方法の別態様は、測定情報、即ち、3次元内の任意の2点間距離を単一画像から取得する方法と、測定結果から3Dモデルを作成し、続いて単一画像から3Dマップを生成する方法とから成る。特に、本発明は以下の方法を提供する。
1.IGMを使用して投影測定ユーティリティを操作することで物体または物体群の投影
を測定し、物体等の高さ、点間距離等を導出すること。
2.IGMを使用して影測定ユーティリティを操作することで物体または物体群の影を測
定し、静的(ビル、陸橋、橋等を含む)および動的(空中の飛行機を含む)物体両方
の高さ、点間距離を導出すること。これらの物体は地上にフットプリントがないかもしれない。
3.IGMにより投影および/または影データの連携を使用することによって、3D測定結果を取得すること。
4.1つまたは複数のアルゴリズムを実装するモデル生成ユーティリティを使用すること
で、3Dモデルおよびマップを作成すること。
【0017】
本発明の方法の別態様は、上述の測定結果を取得するために、本発明の特定アルゴリズムを応用したものである。
【0018】
本発明は、RFMのサポートがある任意の画像に適用できる。これは、RFMがセンサと独立で、複数のセンサに普遍的に適用可能である事実による。従って、本発明がもたらすコンピュータプログラムは、内在するセンサのモデルを変更する必要なしに任意の画像に使用できる。
【発明を実施するための最良の形態】
【0019】
本発明の一定の実施態様の詳細な説明を、一例としてのみ、および以下の図面を参照して、以下で提供する。
【0020】
図面では、例を通して本発明の好適な実施態様を示す。例示の目的のため、および理解の幇助としてのみ説明および図面があり、それらは本発明の境界を規定するものとして意図されていないことは明確に理解されるべきである。
【0021】
1.本発明の一般的な説明
本発明の1態様においては、コンピュータプログラムが提供され、測定ユーティリティを使用して単一、複合、複数の物体および物体間関係の測定結果を単一画像から取得し、続いてモデル生成ユーティリティを使用して3Dモデルおよびマップを作成する。3Dモデルおよびマップは従来、ステレオ画像対(この文脈では、一般に“ステレオ対”と呼ばれる)を使用して実行される。本発明はその1実施形態において、単一画像から3D測定結果を取得し、3Dモデルおよびマップを作成することが可能なソフトウェア製品として最も良く理解される。
【0022】
コンピュータプログラムのインタフェースは、図1aを参照することにより最も良く理解される。本発明のコンピュータプログラムの要素は、図1bを参照して最も良く理解される。本発明から導出されたユーティリティにより、単一画像から取得した測定結果を使用することで3Dモデルおよびマップの開発が可能である。
【0023】
本発明の方法は、図2から図17を参照することにより最も良く理解され、以下でさらに説明される。本発明のコンピュータプログラムは、本発明の方法を実装する命令をコンピュータに提供するよう適合されたコンピュータアプリケーションから成る。本発明のシステムは図1bを参照することにより最も良く理解される。
【0024】
その一態様において、本発明は、投影、または影、あるいはそれらの組み合わせ(図1a、図1bに示す)を使用して単一像から物体の、および物体間の3D測定結果を取得するよう設計された測定ユーティリティ8と、3Dモデルおよびマップを生成するよう設計されたモデル生成ユーティリティ9とを提供する。
・本発明は広範囲の測定結果とその派生物(例えば、体積)の収集を可能とする。
・本発明はモデル生成ユーティリティ9を使用して、複雑な屋根構造を含む3Dモデル(例えば、ビル)およびそれに続く3D生成物(3Dのサイトマップおよび、3Dの都市や自然の景色)を全て単一像から迅速および効果的に構築する。
・上述のように、従来、3Dモデルは立体画像対を使用して抽出される。抽出作業を実行するために、しばしば特別な観察装置を必要とする。本発明により、3D測定結果および3Dモデルは、立体画像または特別な観察装置を使用することなく取得できる。
・RFMを、内在するIGMとして使用することにより、本発明はRFMのサポートがある(衛星および航空等の)任意のセンサ画像に、プログラム構成を何ら変更することなく使用できる。本発明は、任意のセンサ画像に対して、拡張可能、柔軟かつ相互運用可能となる。即ち、1つのプログラムが複数のセンサ画像をサポートできる。
・さらに、自動車、飛行機、雲等の多くの動的物体の測定、例えば飛行機の高さおよび方位が、それらの移動特徴も含めて本発明に従って取得できる。大部分の空中または衛星ベースの立体対は同時に捕捉されない。従って、動いている物体の次元は立体対を使用して容易に測定されない。
【0025】
本発明により使用可能となる測定結果には、高さ、3D次元内の距離、見通し距離(例えば、2つのビルの屋上間の距離、塔と受信機間の距離)、体積、3D内の方位およびそれらの派生物が含まれる。3Dモデルおよびマップはモデル生成ユーティリティの使用により、測定情報を使用して生成できる。3Dモデルは、複雑な屋根構造をもつビル、コンテナ、タンク、塔などでありうる。
【0026】
本発明に従って測定されうる対象には以下が含まれる。
・地上の単一物体、例えばビル、塔、木など、または地表面の“上方”にある物体、例えば飛行機、橋など。
・複合物体。即ち、多層の複雑なビルの屋根、複雑な構造体など。
・複数の物体。即ち、物体集団、例えば住居用ビルディングブロックの体積推定、森林地域の損害査定。
・物体間の関係。即ち、物体間の空間関係に関する測定、例えば基地局と、動いている地上車にある受信機との間の3D距離など。
【0027】
物体は静止(例えばビル、木など)または動的(例えば飛行機、動いている自動車など)のいずれかでありうる。それは、現実の物体および人工(即ち、コンピュータが生成した)物体も含む。
【0028】
本発明は物体を様々な詳細レベルまたは地上サンプリング距離レベルで、測定、モデリングおよびマッピングすることができる。本開示で参照される単一像は以下を含むことができる。
・衛星画像
・航空画像
・地上画像、および
・RFMなどの適切に校正した画像幾何モデルを用いてセンサが取得した他の画像。これらの画像の地上サンプリング距離は、数インチから数メートルの範囲でありうる。
【0029】
2.インタフェースの説明
図1aは本発明の測定ユーティリティ8およびモデル生成ユーティリティ9の機能にアクセスする代表的なユーザインタフェースの概念図である。ユーザインタフェースは公知の方法で提供される。
・ボタン1は画像平面におけるマウスの画像座標を表示する。
・ボタン2は画像点に対応する物体点の地上座標を表示し、地上座標は図3に示すように式1を使用して計算される。データおよびマップの投影はダイアログボックスで設定されるのが望ましい。
・ボタン3はプログラムに対して画像、IGMおよびDTMデータ(任意)の入力を可能とする。
・ボタン4は次元、モデルおよびマップを含む3D情報の出力を可能とする。
・ボタン5は測定ユーティリティ8のオン/オフを切り替える。システム内のダイアログボックスは、投影測定ユーティリティ12(または投影ルーラ)または影測定ユーティリティ14(または影ルーラ)のどちらかを選択するための2つのラジオボタンを提供する(これらのユーティリティは図1bに図示される)。ボタン6はモデル生成ユーティリティ9のオン/オフを切り替える。コンピュータプログラムは、その一特定態様において、以下で詳述するように3Dモデルおよびマップを生成する一連の斬新なアルゴリズムを実装する。
・ボタン7は描画結果および関連情報を表示する。
【0030】
本発明は代替的なユーザインタフェースの使用を考慮しており、このインタフェースによりオペレータは測定ユーティリティ8およびモデル生成ユーティリティ9の機能にアクセスできることは、理解されるべきである。
【0031】
3.測定ユーティリティ
上述のように、本発明は測定ユーティリティ8を提供して、IGMを用いて単一像から物体のおよび物体間の次元を測定する。測定ユーティリティ8は本発明のプロセスを可能とし、それにより投影情報または影情報またはそれらの組み合わせを使用して3D測定を可能とする。単一像の表示をその画像幾何に従って可能とし、そのような単一像の処理を本発明の方法に従って可能とするWindows(登録商標)プログラム(上述のように)として、測定ユーティリティ8は最も良く理解される。特に、測定ユーティリティ8により、オペレータはマウスまたは他の適当なインタフェース装置を使用して画像内の選択点をポインティングおよびクリックすることができ、それにより下記で詳述する測定結果を取得できる。
【0032】
測定ユーティリティ8は公知の方法でプログラムされる。本開示はこの中で、本発明の測定ユーティリティ8の代表的なコンピュータアプリケーションの実施形態を説明する。図1bに示すように、測定ユーティリティ8は、画像を表示するための表示機能10と接続される。測定ユーティリティ8はデータ入力源11にも接続される。この入力データ源11は、画像データ、IGMおよびDTM(任意)を含む、物体の3D測定に必要な全てのデータを格納する。測定ユーティリティ8の操作のためのデータ入力は、データベース(またはファイル)(図示せず)に格納するか、または他の実施形態において、オンザフライ(on the fly)で分析されるかのいずれかである。計算器13は、投影測定ユーティリティ12および影測定ユーティティ14の機能をサポートする。計算器13は、ここで説明される方法および式に従って入力データを処理するユーティリティとして最も良く理解される。計算器はさらに、入力データをモデルデータ(例えば、IGMまたはDTM)に基づいて分析し、従ってモデラ(modeler)および/またはアナライザとしても最も良く理解される。モデル生成ユーティリティ9は、測定ユーティリティ8に接続される。これは3Dモデルの効果的な再構築を可能とするアルゴリズムを実装する。
・本発明はその一実施形態において、適用可能なIGMにより判定される特定の画像化プロセスに依存する。画像化プロセスは一般に、像の方位情報を提供する。本発明の特定実施形態において、使用されるIGMは有理関数モデル、即ち、複数のセンサ(センサ独立)をサポートできるセンサモデル(OGC、1999;TaoおよびHu、2001)である。使用されるIGMは、共線式、直接線形変換(direct linear transformation)およびその他などに基づくものなどの、周知のモデルも含むことができる。
・使用される画像は、地上、空中または衛星のプラットフォームにより、フレーム、プッシュブルーム(pushbroom)またはSARなどの異なる画像化センサを使用して獲得できる。
・測定ユーティリティ8は、それが物体の投影および影を組み合わせて物体を測定する(以下で詳述)ようにプログラムされることが好ましい。
・測定ユーティリティ8はさらに、飛行機などの動的物体を測定するための、以下で詳述するプロセスを実装するよう(上述のように)プログラムされることが好ましい。
・測定ユーティリティ8は、陸橋、橋、高架橋などの、地上または地表面より上方の物体を測定できる。地上より上方の物体は、地上の物理的な基準点を有しない。
【0033】
測定ユーティリティは、物体の投影または影、ならびにその両方に基づくアルゴリズムを実装する。
【0034】
測定可能な投影および影(基準点15、頂点16および影の端点17を含む)の要素間関係の概念的説明は、図2aを参照することにより最も良く理解される。図2bは物体、IGMおよび太陽の角度間の関係に関する本発明の概略図である。物体は地上から垂直に押し出され、高さはhである。基準点の3D座標が(X0、Y0、Z0)のとき、物体の真の頂点は(X0、Y0、Z2)にある。Z0は物体底面の高度であり、数値地形モデル(DTM)または定平面、またはユーザにより設定された値から抽出されうる。Z2は物体の頂点の高度である。
【0035】
以下の式は図3に示すように(X、Y)を解くために使用される。
【0036】
【数1】
【0037】
ここで、rおよびcは画像内の選択点の座標の行および列であり、エラー! 編集中のフィールド コードからは、オブジェクトを作成できません。およびエラー! 編集中のフィールド コードからは、オブジェクトを作成できません。は推定値で、ΔXおよびΔYは補正(corrections)である。
【0038】
3.1投影ベースの測定アルゴリズム
高度Zを調整することで、オペレータは高さの測定結果を取得できる。
【0039】
例1−投影全体が可視のときの測定
投影ベース測定に関連して本発明の利点を実証するための実験を行った。調整された高さ情報を、ルーラ線が物体の真の頂点に到達するまで繰り返し可視化しながら投影ルーラを描画することができる。図4aにおいて、線1001はビルのアウトラインを表す。オペレータはビルの基準(黒の太円1002)を指し示すことから始め、その後浮動カーソルの高さ(黒の太線1003)を上昇させる。カーソルが繰り返し上昇されると、その画像内の位置はIGMによってリアルタイムに計算され、カーソルはグラフィックユーザインタフェース内で連続して描画される。カーソルが画像内の屋根の端(黒の太円1002)に触れると、このインタラクティブな手続きは停止する。実際のインタフェースにおいては、線1003は本発明の代表的実施態様として緑色で現れるであろう。屋根の高さは、図4bに示されるように48.6mである。この操作は、物体のフットプリントの境界で行うこともできる。
【0040】
3.2 影ベースの測定アルゴリズム
平坦な地表面での測定
図2bに示すように、影の端点の3D座標は(X1、Y1、Z1)であり、平坦な地表面に対してはZ1はZ0に等しい。影の長さlは太陽高度により判定される。長さl、物体の高さhおよび太陽高度の間の関係は、平坦な地表面に対する以下の式によって判定される。
【0041】
【数2】
【0042】
ここで、hは物体の高さであり、θは太陽高度である。
【0043】
図2bにおいて、地形が平坦であると仮定すると、地上の物体位置に対する影の端点の座標オフセットは、図5に示すように、以下で取得される。
【0044】
【数3】
【0045】
平坦でない地表面での測定
平坦な地表上の影の長さlと、角度ψを有する傾斜上の影の長さs、物体の高さhおよび太陽高度の間の関係は、図6に示すように平坦でない地表面に対する以下の式によって判定される。
【0046】
【数4】
【0047】
ここで、
【0048】
【数5】
【0049】
【数6】
【0050】
【数7】
【0051】
である。
【0052】
地形の起伏の様々な場合が考察される。
【0053】
影ベースの測定のステップ
図7aは、測定可能な物体の影に対する本発明の方法の適用を説明するものである。このプロセスのフローは一般的に5つのステップを有する。オペレータは画像内の基準点を選択し、その地上座標は式1を使用して計算される。その後、オペレータはZの値を増分変化ΔZだけ調整する。影の端点の地上座標オフセットは、平坦な地上に対しては式3、または平坦でない地上に対しては式4を物体の近傍で使用して、取得される。影の端点は、IGMの地上から画像への変換を使用して画像内に投影され、影ルーラがプロットされる。そのプロセスは、影ルーラが画像の線に良く適合すると終了する。
【0054】
図7bは測定不能な物体の影に対するプロセスを示している。このワークフローは一般的に6つのステップを有する。オペレータは画像内の影の端点を選択する必要があり、その地上座標も式1を使用して計算される。その後、オペレータは高度ZをΔZだけ調整する。基準点の地上座標を推定するために、計算されたオフセットが端点から差し引かれる。投影ルーラおよび影ルーラの両方がプロットされる。投影ルーラは、それが物体の真の頂点に到達するかどうかを判断するために使用される。このプロセスは、両方のルーラが画像内で投影および影の可視部に良く適合すると終了する。
【0055】
例2−影全体が可視のときの測定
影ベースの測定を目的とした本発明の利点を実証するための実験を行った。影ルーラ(実際のインタフェースにおいては、線は本発明の代表的実施形態として青色で表されるであろう。)が、本明細書で説明するグラフィックユーザインタフェース内の画像上に描画される。高さ情報は、ルーラ線が画像内の影全体に適合するまで繰り返し調整される。図8aに示されるように、オペレータは画像内の物体の影(円1005)の端点を位置付けすることから始め、その後、浮動カーソルの高さを上昇させる。カーソルが上昇されると、図7bで説明されるように基準点の位置が更新され、それらの画像内位置がIGMによって計算される。基準点と影の端点を結ぶ線(点線1006)および基準点と上昇されたカーソルを結ぶ第2の線(1007)が、グラフィックユーザインタフェース内に描画される。カーソルが画像内の物体の上縁(円1008)に到達すると、この対話手続きが停止する。屋根の高さは、図8bに示すように48.4mであり、例1の投影ユーティリティを使用して測定された高さの値に近い。
【0056】
例3−投影および影が部分的に可視のときの測定
測定不可能な投影および影に対する影ベースの測定の本発明の利点を実証するために、いくつかの場合を実施する。以下の場合では、物体の基準点は確実には位置付けすることができないかまたは存在しないが、影ルーラは基準点を正確に位置付けすることができる。図9において影(1009)は点線により測定され、投影(1010)は太線で測定される。2本の線の交点が、位置付けされる基準点である。
【0057】
図9aは空中の飛行機の測定を示す。飛行機は空中にあり、地上に物理的な基準点をもたない。測定された高さは57.1mである。図9bにおいて、陸橋が測定され、点線(1011)は測定された影の長さであり、太線(1012)は測定された投影後の高さ(13.8m)である。図9cにおいて、木が測定され、点線(1013)は測定された影の長さであり、太線(1014)は測定された投影後の高さ(29.4m)である。図9dは基準点が正確に位置付けできる煙突の測定を示し、その高さは100.7mである。点線(1015)は測定された影の長さであり、太線(1016)は測定された投影後の高さである。図9aから9dに示すように、これらの物体の基準点は、太陽の位置およびIGMに関する情報を使用するとき影の端点から推測でき、測定された影のこれら発明の代表的実施例は、実際の場合では、青い線で表示され、測定された投影は緑の線で表示されるであろう。
【0058】
例4−物体と物体の関係の測定
2つの物体の任意の2点間の次元測定に対する本発明の利点を実証するための実験を行った。
【0059】
図10aに示すように、地上の飛行機の基準点が影ルーラを使用して判定され、飛行機の高さは57.1mである(太線1017)。その後、ラインマーク(一点鎖線1018)が描画され(図10b)、基準点と空港の滑走路の着陸点とを結び、地上でのこの距離は158.1mである。最後に図10cにおいては、ラインマークの基準点は飛行機の高さまで上昇され、直線距離(一点鎖線1019)は165.8mになる。
【0060】
図11aに示すように、2つのビルの2つの基準点を結ぶときその直線距離(一点鎖線1019)は193.1mである。両方の点は投影ルーラを使用してそれらの対応する屋根の高さまで上昇され、図11bにおいて直線距離(一点鎖線1020)は193.3mになる。
【0061】
例5−物体の方位(ベアリング)の測定
任意の物体の方位測定の本発明の利点を実証するための実験を行った。図12aに示すように、飛行機の機首(1021)の基準点および機尾(1022)の基準点が影ルーラを使用して判定される。その後、ベアリングラインマーク(鎖線1023)が描画され、図12bに示すようにこれらの2つの基準点を接続し、UTMマップ投影下ではその角度は285.2°である。
【0062】
例6−複合物体の測定
複雑な構造を有するビルの高さ測定の本発明の利点を実証するための実験を行った。図13に示すように、多層ビルの屋根の異なるレベルを、投影および/または影ルーラを使用して単一画像から測定できる。図13aにおいて、屋根の第1階層の高さ(線1024)が投影ルーラを使用して測定され、その後システム内の高さが固定され、この高さは31mである。第1階層に対する屋根の第2階層の高さ(線1026)は、その固定された高さから開始して測定され、この高さは図13bに示すように5.5mである。これは、第2階層の地表面に対する高さが36.5であることを示す。
【0063】
3.3システムバイアスの補償
DTMおよび/またはGCPがない状態で測定が行われるとき、垂直および水平方向の両方でいくらかシステムバイアスが発生する。この結果、それらの次元が変化し、さらに、測定された物体の位置を変位させる。
【0064】
図14に示すように、物体の高さの測定エラー(Δh)は、飛行高度(H)、物体の高さ(h)、および地形が利用可能なことによる垂直シフト(ΔH)によって、以下によって与えられるように判定される。
【0065】
【数8】
【0066】
ここでh’は測定ユーティリティを使用して測定した物体の高さである。式8aを使用して、垂直ドリフトによる物体の高さのシステムのエラーは、DTMが後に利用可能になるとき、これらの物体に対して自動的に補償されうる。各物体の高さは、それらが通常異なるベースの高さを有するので、別個に補正される。
【0067】
同様に、物体の水平次元のエラーは以下によって判定される。
【0068】
【数9】
【0069】
ここで、l’およびlはそれぞれ、測定された真の物体の次元である。式8bを使用して、垂直ドリフトによるシステムのエラーは、DTMが後に利用可能になるとき、3Dで測定されたこれらの物体の次元に対して上述したのと同じ方法で自動的に補償することができる。
【0070】
DTMがない物体の変位補正は、物体の任意の点に対する変位を計算することで遂行されうる。このプロセスは数ステップを含む。最初に、生の画像およびDTMの両方がコンピュータシステムにロードされる。第2に、測定された3D物体モデルがロードされる。1つの特定の実施形態においては、バイアス補償が必要かどうかを指示するためにメッセージがポップアップ表示される。もしそうならば、3Dモデルに属する点(例えば、第1ポイント)がIGMを使用して画像平面に投影される。その後、投影された画像の点が式1を使用してDTMと交差される。第3に、その点の元の位置と、DTMと交差する位置との間の、X、Y、およびZ座標における差分が計算される。4番目に、3Dモデルに属する全ての点が、同じ差分だけシフトされる。更新された3Dモデルは、ディスクのファイルに再保存するのが望ましい。
【0071】
GCPがない物体の変位に対する補正も、4ステップの手続きを実行することで達成することができる。最初に、生の画像、GCPおよび任意にDTMが、コンピュータシステムにロードされ、IGMがGCPを使用することで改善される。第2に、3Dモデルに属する点(例えば、第1ポイント)が元のIGMを使用して画像平面に投影される。その後、投影された画像の点が式1および改善されたIGMを使用してDTMと交差される。第3に、その点の元の位置と、DTMと再度交差する位置との間の、X、Y、およびZ座標における差分が計算される。第4に、3Dモデルに属する全ての点が、同じ差分だけシフトされる。更新された3Dモデルは、ディスクのファイルに再保存される。
【0072】
4.測定およびその派生物の収集
従って、上述のように本発明のコンピュータプログラムは、物体の、および物体間の広範囲の3D測定を収集するよう動作可能である。それは、上で詳述したように測定ユーティリティ8を使用することにより、物体の投影、影およびそれらの組み合わせを利用する。
【0073】
多くの測定派生物は、公知の方法で測定結果を取得した後に展開することができる。これらの派生物は、限定するものではないが、体積、方位、領域、高さの差分、見通しなどを含む。測定およびそれらの派生物は、都市計画、景観分析、輸送および水文学的流域分析、緊急対応、災害緩和などのための多くの3D製品を生成するために使用することができる。
【0074】
5.3Dモデルおよびマップの作成
本発明のコンピュータプログラムは、モデル生成ユーティリティを使用することによって、3Dモデルおよびマップを作成する。
【0075】
例7−基準選択法を用いた3Dモデル作成
3D構造体のマッピングに対するこのアプローチにおいては、Zレベルの調整モードが使用可能であり、続いてマウスまたは同様なポインティング装置(図15a)を使用して構造体の基準(ベース)をマーク付けする。さらに、様々なキーの組み合わせを使用して、カーソルの固定/解除を提供することができる。その後、Zレベルは例えばページアップ/ページダウンキーを使用して調整され、Zレベルの変化(太線1027)が画像平面内でユーザに(実際の場合は黄色の線で)可視化される(図15b)。望ましいレベルに到達したとき(図15c)、ユーザは3Dマッピングツール、典型的には多角形ツールを選択し、図15dに示すように構造体の頂上の輪郭を描く(太線1028、実際の場合には所定の線の色によって)。Zレベル調整モードは使用不可にすることができ、投影された構造体の基準点はその後、フットプリント表示モードを使用可能とすることでチェックできる。フットプリントモードはIGMを使用して、図15eに示すように投影されたフットプリントを描画する(点線1029、実際の場合では所定のくっきりした線の色からなる濃い色である)。望ましい3Dモデルはその後、永続的な記憶が必要とされる場合はデータベースまたはファイル構造(図示せず)に保存される。それはまた、ビルの可視面を取り込んでそれらを3Dビジュアルモデル内のテクスチャ(図示せず)として使用することにより、3D仮想景色を生成するために使用することもできる。
【0076】
例8−屋根−フットプリント変位法を用いた3Dモデル作成
3Dビルモデリングを実行するプロセスは、屋根およびフットプリント間の相対的な変位または動作を実行することで達成することができる。3D構造のマッピングに対するこのアプローチは、最初にその屋根のアウトライン(図16aに示す太線1030)を画像平面内に投影されるようにデジタル化することで、その境界線を取り込む。このアウトラインはその後、IGMを使用して、画像平面内でシフトされ(図16b)、構造体の基準と一致する。与えられた例においては、これはページアップ/ページダウンキーを押下することで達成される(図16b)。このアルゴリズムは、モデルのフットプリントの一部が見えないときに3Dモデルを作成することができる(図16c)。
【0077】
多種類のビルの屋根形状が、このコンピュータ化されたシステム内でサポートされる。図17に示すように、典型的な屋根のタイプのいくつかは、平、切妻、半切妻、寄棟および片流れの屋根形状である。コンピュータプログラムは、任意の複雑な屋根のタイプを有する3Dビルのモデルを、基本的な屋根のタイプの組み合わせにより作成することができる。
【0078】
例9−2Dベクトルからの3Dマップの生成
2Dベクトル座標(r,c)がコンピュータアプリケーションにロードされ、各2D位置毎にZレベルの座標が、マッピングされた形状の基準レベルと一致するよう割り当てられる(図3)。各形状はその後、以下の操作を通して第3次元にマッピングされる。
【0079】
ユーザは、第3次元にマッピングする(図18a)形状(太線1031、通常は8個の円で記される)を選択し、その後ページアップキーを押下して形状内のノード全てのZレベル座標を変化させる。Zレベルにおける変化はIGMを介して画像平面に投影され、Zレベルにおける変化の視覚フィードバックを与える。望ましいレベルに到達する(図18b)と、ユーザはZレベルを変化させることを止め、形状をデータベース(図示せず)に保存することを選ぶことができる。
【0080】
6.精度査定
測定の正確性が広範囲にテストおよび評価された。まとめとして、これらのテスト結果は、サブメートルでの正確性が達成されうることを意味し、従って広範囲の商用アプリケーションに対して満足できるものである。この正確性は飛行高度、物体の高さ、地形利用可能性、画像解像度、画像ピクセルの測定、およびIGMの正確性に依存する。
【0081】
本発明はさらに、本発明の動作を拡張する追加機能の統合を考慮している。例えば、測定ユーティリティの機能に、所定のパラメータに基づいて、より効果的な収束を可能とするプロセスを組み込んでもよい。
【0082】
7.コンピュータプラットフォーム
測定ユーティリティおよびモデル生成ユーティリティは、その配置の容易さ、低い計算オーバーヘッド、IGM(即ち、RFM)に対する制限の少なさ、および立体視装置の必要性がないことにより、PC、ワークステーション、サーバー、PDAなどの最も一般的なコンピュータ化プラットフォームに配置できる。
【0083】
8.ウェブまたはネットワーク可能な環境
測定ユーティリティ8およびモデル生成ユーティリティ9は、その配置の容易さ、低い計算オーバーヘッド、画像幾何モデルに対する制限の少なさ、および立体視装置の必要性がないことを考えると、ウェブ、インターネット、およびワイヤレスネットワークなどのネットワークベースのアプリケーションに最適である。
【0084】
図19は、本発明がウェブ可能な環境内で様々な形態(影付きのコンポーネント)で配置されうることを示している。本発明はクライアントアプリケーション20、ウェブブラウザベースのプラグイン(ActiveXコントロール)またはJava(登録商標)アプレット22、アプリケーションサーバ24およびポータルベースのウェブサービス26として配置されることができる。本発明は、ワイヤレスポータル、PDAまたは携帯電話等のコンピュータ化されたプラットフォームに、公知の方法でほとんど修正なしに埋め込むこともできる。
【0085】
9.商用アプリケーション
本発明は、以下を含む広範囲のアプリケーションに対して、画像の利点の利用を可能とする。
・ビルの高さ、橋の撤去作業、道路幅、滑走路長、または森林伐採などの重要な施設および目標物の情報を取得すること。
・原子力発電所、空港、都市、公共の安全に対する重要なインフラおよび国際情報などの、重要な施設の3Dサイトマップを作成すること。
・災害による損害地域(森林火災、洪水、地震など)を、保険監査および緊急対応のために測定すること。
・都市開発、可視化およびシミュレーション、ゲーム、政府、輸送、土木工学などに対するモデリングおよびプランニング。
その応用は広い:
・防衛
・環境
・国家防衛
・電気通信
・可視化およびシミュレーション
・農業
・地方自治体
・地質学
・マッピング
・林業
・ユーティリティ
・不動産
・輸送計画
・保険
・メディア
・エンターテイメントおよびゲーム
【0086】
本発明の他の変形および変更が可能である。例えば、本発明のコンピュータプログラム製品に追加機能を組み込んで、本明細書で提供した基本的な3D測定およびモデルデータを、単一画像に基づいて構築し、例えば平方キロメートルあたりの密度、都市の影の推定等を提供できる。本発明のコンピュータ製品は、他のアプリケーションと統合できる。そのような変更または変形の全ては、添付の特許請求の範囲で定義されるように、本発明の領域および範囲内にある。
【図面の簡単な説明】
【0087】
【図1a】本発明のコンピュータプログラム製品の機能にアクセスする代表的なグラフィックユーザインタフェースの概念図である。図示したツールバーボタンにより、本発明のユーティリティ機能にアクセスできる。
【図1b】本発明のコンピュータプログラムのリソースを示すプログラムのリソースの図である。
【図2a】画像表示ウィンドウに表示される測定ユーティリティ8の概念図である。
【図2b】平坦な地表面を想定して、画像、IGM、物体、および太陽角に投じられた投影および影の間の関係を示す概略の図である。
【図3】水平位置(X,Y)を、高度Zを有する平面を単一画像内で交差させることで決定することを示す図である。高度Zは、多少増加させて調整する。
【図4a】IGMに基づいた投影測定ユーティリティを使用したビルの高さ測定の概略図である。
【図4b】IGMに基づいた本発明の投影測定ユーティリティを使用してビルの高さを測定することを示す概略図である。
【図5】太陽位置と、物体の影の変位との間の関係を示す図である。
【図6】本発明の方法を示す概略図、さらにとりわけ、平坦でない地表面を仮定して、物体の投影および影を描画する方法を示す概略図である。
【図7a】本発明を図示するブロック図であり、画像内の測定可能な影に対して、影情報を使用して物体の高さを測定することを示す。
【図7b】本発明を図示するブロック図であり、画像内の測定不可能な影に対して、影情報を使用して物体の高さを測定することを示す。
【図8a】ビルである物体に対して影測定ユーティリティを使用し、その基準点から開始して高さの測定結果を取得することを示す、概略図である。
【図8b】ビルである物体に対して影測定ユーティリティを使用し、その基準点から開始して高さの測定結果を取得することを示す、本発明の図である。
【図9a】本発明に従って影測定ユーティリティを、図9aの場合は飛行機に使用して、それらの影の端点から開始して高さを測定することを示す図である。
【図9b】本発明に従って影測定ユーティリティを、陸橋に使用して、それらの影の端点から開始して高さを測定することを示す図である。
【図9c】本発明に従って影測定ユーティリティを、木に使用して、それらの影の端点から開始して高さを測定することを示す図である。
【図9d】本発明に従って影測定ユーティリティを、煙突に使用して、それらの影の端点から開始して高さを測定することを示す図である。
【図10a】本発明の影測定ユーティリティを使用して基準点を決定する図であり、飛行機の高さが57.1mと示されている。
【図10b】本発明に従ってラインマークを描画することを示す図であり、線は基準点と滑走路の着地点とを結び、水平距離が158.1mとして示されている。
【図10c】ラインマークの基準点を飛行機の高さへ上昇させることで本発明を示す図であり、直線距離が165.8mと示されている。
【図11a】2つの物体の基準点を結ぶラインマークを描画するための本発明の動作を示す図である。
【図11b】ラインマークの2つの端部にある基準点をそれら各々の屋根の高さまで上昇させることを動作で示すことで、本発明を示す図である。
【図12a】本発明の特定の一態様を示す図であり、飛行機の機首と機尾の基準点が決定される。
【図12b】図12aに示す本発明の特定の態様をさらに示す図であり、2つの基準点を接続する線が示される。
【図13a】本発明をさらに示す図であり、多層のビルの高さが測定され、屋根の第1階層の高さが測定されて固定され、この高さは31mである。
【図13b】本発明をさらに示す図であり、多層のビルの高さが測定され、屋根の第2階層の第1階層に対する高さが、前記固定された高さから開始して測定される。
【図14】数値地形モデル(DTM)を使用せずに測定した物体の次元のシステムバイアスを補償することの概略図である。
【図15a】本発明に従った3Dマッピングに対する基準選択方法を示す図であり、ここでは基準点が選択される様子が表示されている。
【図15b】本発明に従った3Dマッピングに対する基準選択方法を示す図であり、ここではZのレベルが、注釈および現在のZのレベルを動的に更新するユーザ経由で変更される様子が表示されている(実際の場合では黄色の線で与えられる)。
【図15c】本発明に従った3Dマッピングに対する基準選択方法を示す図であり、ここではZのレベルが、注釈および現在のZのレベルを動的に更新するユーザ経由で変更される様子が表示されている(実際の場合では黄色の線で与えられる)。
【図15d】本発明に従った3Dマッピングに対する基準選択方法を示す図であり、ここでは3Dマッピングツール(多角形)を使用してビルの頂上がアウトライン化される様子が表示されている。
【図15e】本発明に従った3Dマッピングに対する基準選択方法を示す図であり、ここではビルのフットプリントが使用可能で表示されている。
【図16a】本発明に従って平屋根のビルの3Dモデリングに対する屋根−フットプリント変位を示す図であり、ここでは3D多角形マッピングツールを使用して屋根のアウトラインをマッピングすることが示されている。
【図16b】本発明に従って平屋根のビルの3Dモデリングに対する屋根−フットプリント変位を示す図であり、ここではビルの基準と一致するように屋根のアウトラインを水平変位することが示されている。
【図16c】本発明に従って平屋根のビルの3Dモデリングに対する屋根−フットプリント変位を示す図であり、ここでは3Dのビルのモデルが構築されることが示されている。
【図17】切妻、半切妻、寄棟および片流れの屋根形状を有するビルのモデリングにおいてサポートされる屋根形状の概略図である。
【図18a】本発明に従って2Dベクトルマップから3Dベクトルマップを作成することを示す図であり、ここではコンピュータプログラムへのインポート後に2Dにマッピングしたベクトルを選択することが示されている。
【図18b】本発明に従って2Dベクトルマップから3Dベクトルマップを作成することを示す図であり、ここでは2Dにマッピングしたベクトルが、IGMを使用してそれをビルの頂上に上昇させることで、3Dベクトルにマッピングされることが示されている。
【図19】ウェブおよびネットワーク環境に本発明を配置することを一般的に示すシステムの図である。
【技術分野】
【0001】
本発明は、マッピング、測量、写真測量、リモートセンシング、可視化およびシミュレーション、ゲーム、計画、ジオマティックス、土木工学、地理学に関し、さらにとりわけ、単一画像からの、物体のまたは物体間の測定情報の収集および次元情報の収集、ならびに3次元(3D)モデルおよびマップ、ならびに、続いてそのような情報を、分析、モデリング、マッピングおよび可視化において使用することに関する。
【背景技術】
【0002】
3D物体を測定する従来の方法は立体視と呼ばれ、同一物体から得られた対のステレオ画像を取得するものである。各画像の画像幾何モデル(IGM)が与えられると、物体の3D座標情報を判定することができる。写真測量的な方法は、共役点(conjugate points)を選択することにより物体を調査し、それによりこれらの点に基づいたIGMを使用して任意の次元を測定する。3Dモデルおよびマップがその後、立体視の手法を使用することにより生成される。
【発明の開示】
【発明が解決しようとする課題】
【0003】
立体画像を特に空中または衛星のセンサから獲得することは、単一画像(single images)を獲得することと比較して、より高価であり、より長い配信時間が必要である。また、画像ベンダが保守するデータベースに保管された画像の大多数は単一画像である。従って、単一画像を使用することは、緊急用の地図作成、防衛、諜報活動、電気通信および工学等のようなアプリケーションに対して有利である。
【0004】
単一画像から3D測定、モデリングおよびマッピングを実行するために開発された公知のシステムはない。本発明は、3D測定を効率的に取得し、ならびに3D物体モデルおよびマップを効率的に作成できるオペレーション方法、コンピュータプログラムおよびシステムを提供する。システムは独特のユーティリティおよび斬新なアルゴリズムから成り、それらは物体の投影、影、物体の幾何、およびIGMを利用するよう設計されている。
【0005】
IGMは物体空間と画像空間の間、またはその逆の間の幾何学的関係を記述する。広く使用される2つのIGMとしては、物理センサモデルおよび汎用センサモデルがある。有理関数モデル(RFM)は汎用センサモデルの一種である。
【0006】
以下の関連先行技術が確認されている。
【0007】
Jiang,W.,Tao,C.V.,Hu,Y.,Xu,Z.,2003.RFMに基づいた単一および立体の高解像度衛星画像からの3−D測定、ASPRS Annual Conference,5月,5〜9日、アラスカ州アンカレッジ,7頁(この参考文献は、RFMベースの方法を使用して衛星画像から取得した実験結果のいくつかを記述している。)
【0008】
OpenGISコンソーシアム,1999.The OpenGIS Abstract Specification−Topic7:The Earth Imagery Case。(この参考文献は、マッピング、リモートセンシングおよび地理空間産業(geospatial industry)で使用されるIGMの概要を提供する。)
【0009】
Tao,C.V.,Hu,Y.,2001.写真測量処理に対する有理関数モデルの包括的研究、Photogrammetric Engineering &Remote Sensing、67(12):1347−1357(この参考文献は、RFMセンサモデルの詳細な数学的定式化およびその正確性の実験的研究を提供する。)
【課題を解決するための手段】
【0010】
本発明の1態様によると、少なくとも1つの3次元物体の単一画像から、3次元測定情報を導出し、かつ/または3次元モデルとマップを作成する方法が提供される。この方法は、画像データから成り、画像幾何モデル(IGM)に関連付けられる、物体の少なくとも1つの2次元単一画像を取得するステップと、IGMに基づいてその画像に関連付けられた3次元座標情報を導出し、その3次元座標情報を画像データに関連付けるステップと、IGMを使用して物体の投影を測定し、その物体に関する高さおよび/または点間距離を含む測定データを導出するように、および/またはその物体の影を測定してその物体に関する高さおよび/または点間距離を含む測定データを導出するように画像データを分析するステップ、ならびにその物体の投影および/または影の測定に基づいた3次元測定結果を取得するステップを備える。
【0011】
本発明の別の態様によると、少なくとも1つの3次元物体の単一画像から、3次元測定情報を導出し、かつ/または3次元モデルとマップを作成するシステムが提供される。本システムは、少なくとも1つのコンピュータとコンピュータプログラムであって、画像データから成り、画像幾何モデル(IGM)に関連付けられる、物体の少なくとも1つの2次元単一画像を取得し、IGMに基づいてその画像に関連付けられた3次元座標情報を導出し、その3次元座標情報を画像データに関連付け、その画像データをIGMを使用して物体の投影を測定し、その物体に関する高さおよび/または点間距離を含む測定データを導出するように、および/または、その物体の影を測定してその物体に関する高さおよび/または点間距離を含む測定データを導出するように分析し、ならびにその物体の投影および/または影の測定に基づいて3次元測定結果を取得することが可能であるように前記コンピュータに対して機能するようにリンクされるコンピュータプログラムを備える。
【0012】
本発明のさらに別の態様によると、コンピュータ上で測定ユーティリティを定義する命令を備えるコンピュータ使用可能媒体が提供される。この測定ユーティリティは、画像データから成り、画像幾何モデル(IGM)に関連付けられる、物体の少なくとも1つの2次元単一画像を取得すること、IGMに基づいてその画像に関連付けられた3次元座標情報を導出し、その3次元座標情報を画像データに関連付けること、その画像データを、IGMを使用して物体の投影を測定し、その物体に関する高さおよび/または点間距離を含む測定データを導出するように分析すること、および/または、その物体の影を測定してその物体に関する高さおよび/または点間距離を含む測定データを導出すること、ならびにその物体の投影および/または影の測定に基づいて3次元測定結果を取得することが可能なように動作する。
【0013】
本発明は、RFMセンサモデルを含めて、IGMのサポートにより単一像から、3D測定情報を導出すること、ならびに3Dモデルおよびマップを作成するための方法を以下の場合に提供する。すなわち、(1)単一画像が利用可能である、(2)静的および動的物体の両方が測定される、(3)立体視装置が利用可能でない、(4)立体画像対からの共役点が特定できない、場合に提供する。
【0014】
本発明は、本発明の方法に従って、測定情報が容易にアクセスされ、画像から使用されることを可能とするシステムを含む。このシステムは、単一画像から3D測定結果を取得し、3Dモデルおよび3Dマップを作成するユーティリティから成る。システムは、一般的に本発明のコンピュータプログラムが提供する命令を処理するよう適合されたコンピュータシステムから成る。
【0015】
本発明のコンピュータプログラムはコンピュータアプリケーションから成る。このアプリケーションは、(1)測定ユーティリティを含み、IGMをサポートする2D画像から測定を行うことを可能とする。この測定ユーティリティは、投影測定ユーティリティおよび影測定ユーティリティを含む。投影測定ユーティリティおよび影測定ユーティリティは、IGMのサポートにより投影測定ユーティリティ、影測定ユーティリティ、またはその両方を操作することで、点間の測定を可能にするように協働する。このアプリケーションはまた、(2)本発明の測定ユーティリティにより行われた測定に基づいて3Dモデルおよびマップを効率的に作成するモデル生成ユーティリティを含む。RFMを用いると、このアプリケーションはRFM等をサポートする任意の(例えば、衛星または航空の)画像に適用できる。本発明は、単一画像からの3D測定、モデルおよびマップを使用可能とする。
【0016】
本発明の方法の別態様は、測定情報、即ち、3次元内の任意の2点間距離を単一画像から取得する方法と、測定結果から3Dモデルを作成し、続いて単一画像から3Dマップを生成する方法とから成る。特に、本発明は以下の方法を提供する。
1.IGMを使用して投影測定ユーティリティを操作することで物体または物体群の投影
を測定し、物体等の高さ、点間距離等を導出すること。
2.IGMを使用して影測定ユーティリティを操作することで物体または物体群の影を測
定し、静的(ビル、陸橋、橋等を含む)および動的(空中の飛行機を含む)物体両方
の高さ、点間距離を導出すること。これらの物体は地上にフットプリントがないかもしれない。
3.IGMにより投影および/または影データの連携を使用することによって、3D測定結果を取得すること。
4.1つまたは複数のアルゴリズムを実装するモデル生成ユーティリティを使用すること
で、3Dモデルおよびマップを作成すること。
【0017】
本発明の方法の別態様は、上述の測定結果を取得するために、本発明の特定アルゴリズムを応用したものである。
【0018】
本発明は、RFMのサポートがある任意の画像に適用できる。これは、RFMがセンサと独立で、複数のセンサに普遍的に適用可能である事実による。従って、本発明がもたらすコンピュータプログラムは、内在するセンサのモデルを変更する必要なしに任意の画像に使用できる。
【発明を実施するための最良の形態】
【0019】
本発明の一定の実施態様の詳細な説明を、一例としてのみ、および以下の図面を参照して、以下で提供する。
【0020】
図面では、例を通して本発明の好適な実施態様を示す。例示の目的のため、および理解の幇助としてのみ説明および図面があり、それらは本発明の境界を規定するものとして意図されていないことは明確に理解されるべきである。
【0021】
1.本発明の一般的な説明
本発明の1態様においては、コンピュータプログラムが提供され、測定ユーティリティを使用して単一、複合、複数の物体および物体間関係の測定結果を単一画像から取得し、続いてモデル生成ユーティリティを使用して3Dモデルおよびマップを作成する。3Dモデルおよびマップは従来、ステレオ画像対(この文脈では、一般に“ステレオ対”と呼ばれる)を使用して実行される。本発明はその1実施形態において、単一画像から3D測定結果を取得し、3Dモデルおよびマップを作成することが可能なソフトウェア製品として最も良く理解される。
【0022】
コンピュータプログラムのインタフェースは、図1aを参照することにより最も良く理解される。本発明のコンピュータプログラムの要素は、図1bを参照して最も良く理解される。本発明から導出されたユーティリティにより、単一画像から取得した測定結果を使用することで3Dモデルおよびマップの開発が可能である。
【0023】
本発明の方法は、図2から図17を参照することにより最も良く理解され、以下でさらに説明される。本発明のコンピュータプログラムは、本発明の方法を実装する命令をコンピュータに提供するよう適合されたコンピュータアプリケーションから成る。本発明のシステムは図1bを参照することにより最も良く理解される。
【0024】
その一態様において、本発明は、投影、または影、あるいはそれらの組み合わせ(図1a、図1bに示す)を使用して単一像から物体の、および物体間の3D測定結果を取得するよう設計された測定ユーティリティ8と、3Dモデルおよびマップを生成するよう設計されたモデル生成ユーティリティ9とを提供する。
・本発明は広範囲の測定結果とその派生物(例えば、体積)の収集を可能とする。
・本発明はモデル生成ユーティリティ9を使用して、複雑な屋根構造を含む3Dモデル(例えば、ビル)およびそれに続く3D生成物(3Dのサイトマップおよび、3Dの都市や自然の景色)を全て単一像から迅速および効果的に構築する。
・上述のように、従来、3Dモデルは立体画像対を使用して抽出される。抽出作業を実行するために、しばしば特別な観察装置を必要とする。本発明により、3D測定結果および3Dモデルは、立体画像または特別な観察装置を使用することなく取得できる。
・RFMを、内在するIGMとして使用することにより、本発明はRFMのサポートがある(衛星および航空等の)任意のセンサ画像に、プログラム構成を何ら変更することなく使用できる。本発明は、任意のセンサ画像に対して、拡張可能、柔軟かつ相互運用可能となる。即ち、1つのプログラムが複数のセンサ画像をサポートできる。
・さらに、自動車、飛行機、雲等の多くの動的物体の測定、例えば飛行機の高さおよび方位が、それらの移動特徴も含めて本発明に従って取得できる。大部分の空中または衛星ベースの立体対は同時に捕捉されない。従って、動いている物体の次元は立体対を使用して容易に測定されない。
【0025】
本発明により使用可能となる測定結果には、高さ、3D次元内の距離、見通し距離(例えば、2つのビルの屋上間の距離、塔と受信機間の距離)、体積、3D内の方位およびそれらの派生物が含まれる。3Dモデルおよびマップはモデル生成ユーティリティの使用により、測定情報を使用して生成できる。3Dモデルは、複雑な屋根構造をもつビル、コンテナ、タンク、塔などでありうる。
【0026】
本発明に従って測定されうる対象には以下が含まれる。
・地上の単一物体、例えばビル、塔、木など、または地表面の“上方”にある物体、例えば飛行機、橋など。
・複合物体。即ち、多層の複雑なビルの屋根、複雑な構造体など。
・複数の物体。即ち、物体集団、例えば住居用ビルディングブロックの体積推定、森林地域の損害査定。
・物体間の関係。即ち、物体間の空間関係に関する測定、例えば基地局と、動いている地上車にある受信機との間の3D距離など。
【0027】
物体は静止(例えばビル、木など)または動的(例えば飛行機、動いている自動車など)のいずれかでありうる。それは、現実の物体および人工(即ち、コンピュータが生成した)物体も含む。
【0028】
本発明は物体を様々な詳細レベルまたは地上サンプリング距離レベルで、測定、モデリングおよびマッピングすることができる。本開示で参照される単一像は以下を含むことができる。
・衛星画像
・航空画像
・地上画像、および
・RFMなどの適切に校正した画像幾何モデルを用いてセンサが取得した他の画像。これらの画像の地上サンプリング距離は、数インチから数メートルの範囲でありうる。
【0029】
2.インタフェースの説明
図1aは本発明の測定ユーティリティ8およびモデル生成ユーティリティ9の機能にアクセスする代表的なユーザインタフェースの概念図である。ユーザインタフェースは公知の方法で提供される。
・ボタン1は画像平面におけるマウスの画像座標を表示する。
・ボタン2は画像点に対応する物体点の地上座標を表示し、地上座標は図3に示すように式1を使用して計算される。データおよびマップの投影はダイアログボックスで設定されるのが望ましい。
・ボタン3はプログラムに対して画像、IGMおよびDTMデータ(任意)の入力を可能とする。
・ボタン4は次元、モデルおよびマップを含む3D情報の出力を可能とする。
・ボタン5は測定ユーティリティ8のオン/オフを切り替える。システム内のダイアログボックスは、投影測定ユーティリティ12(または投影ルーラ)または影測定ユーティリティ14(または影ルーラ)のどちらかを選択するための2つのラジオボタンを提供する(これらのユーティリティは図1bに図示される)。ボタン6はモデル生成ユーティリティ9のオン/オフを切り替える。コンピュータプログラムは、その一特定態様において、以下で詳述するように3Dモデルおよびマップを生成する一連の斬新なアルゴリズムを実装する。
・ボタン7は描画結果および関連情報を表示する。
【0030】
本発明は代替的なユーザインタフェースの使用を考慮しており、このインタフェースによりオペレータは測定ユーティリティ8およびモデル生成ユーティリティ9の機能にアクセスできることは、理解されるべきである。
【0031】
3.測定ユーティリティ
上述のように、本発明は測定ユーティリティ8を提供して、IGMを用いて単一像から物体のおよび物体間の次元を測定する。測定ユーティリティ8は本発明のプロセスを可能とし、それにより投影情報または影情報またはそれらの組み合わせを使用して3D測定を可能とする。単一像の表示をその画像幾何に従って可能とし、そのような単一像の処理を本発明の方法に従って可能とするWindows(登録商標)プログラム(上述のように)として、測定ユーティリティ8は最も良く理解される。特に、測定ユーティリティ8により、オペレータはマウスまたは他の適当なインタフェース装置を使用して画像内の選択点をポインティングおよびクリックすることができ、それにより下記で詳述する測定結果を取得できる。
【0032】
測定ユーティリティ8は公知の方法でプログラムされる。本開示はこの中で、本発明の測定ユーティリティ8の代表的なコンピュータアプリケーションの実施形態を説明する。図1bに示すように、測定ユーティリティ8は、画像を表示するための表示機能10と接続される。測定ユーティリティ8はデータ入力源11にも接続される。この入力データ源11は、画像データ、IGMおよびDTM(任意)を含む、物体の3D測定に必要な全てのデータを格納する。測定ユーティリティ8の操作のためのデータ入力は、データベース(またはファイル)(図示せず)に格納するか、または他の実施形態において、オンザフライ(on the fly)で分析されるかのいずれかである。計算器13は、投影測定ユーティリティ12および影測定ユーティティ14の機能をサポートする。計算器13は、ここで説明される方法および式に従って入力データを処理するユーティリティとして最も良く理解される。計算器はさらに、入力データをモデルデータ(例えば、IGMまたはDTM)に基づいて分析し、従ってモデラ(modeler)および/またはアナライザとしても最も良く理解される。モデル生成ユーティリティ9は、測定ユーティリティ8に接続される。これは3Dモデルの効果的な再構築を可能とするアルゴリズムを実装する。
・本発明はその一実施形態において、適用可能なIGMにより判定される特定の画像化プロセスに依存する。画像化プロセスは一般に、像の方位情報を提供する。本発明の特定実施形態において、使用されるIGMは有理関数モデル、即ち、複数のセンサ(センサ独立)をサポートできるセンサモデル(OGC、1999;TaoおよびHu、2001)である。使用されるIGMは、共線式、直接線形変換(direct linear transformation)およびその他などに基づくものなどの、周知のモデルも含むことができる。
・使用される画像は、地上、空中または衛星のプラットフォームにより、フレーム、プッシュブルーム(pushbroom)またはSARなどの異なる画像化センサを使用して獲得できる。
・測定ユーティリティ8は、それが物体の投影および影を組み合わせて物体を測定する(以下で詳述)ようにプログラムされることが好ましい。
・測定ユーティリティ8はさらに、飛行機などの動的物体を測定するための、以下で詳述するプロセスを実装するよう(上述のように)プログラムされることが好ましい。
・測定ユーティリティ8は、陸橋、橋、高架橋などの、地上または地表面より上方の物体を測定できる。地上より上方の物体は、地上の物理的な基準点を有しない。
【0033】
測定ユーティリティは、物体の投影または影、ならびにその両方に基づくアルゴリズムを実装する。
【0034】
測定可能な投影および影(基準点15、頂点16および影の端点17を含む)の要素間関係の概念的説明は、図2aを参照することにより最も良く理解される。図2bは物体、IGMおよび太陽の角度間の関係に関する本発明の概略図である。物体は地上から垂直に押し出され、高さはhである。基準点の3D座標が(X0、Y0、Z0)のとき、物体の真の頂点は(X0、Y0、Z2)にある。Z0は物体底面の高度であり、数値地形モデル(DTM)または定平面、またはユーザにより設定された値から抽出されうる。Z2は物体の頂点の高度である。
【0035】
以下の式は図3に示すように(X、Y)を解くために使用される。
【0036】
【数1】
【0037】
ここで、rおよびcは画像内の選択点の座標の行および列であり、エラー! 編集中のフィールド コードからは、オブジェクトを作成できません。およびエラー! 編集中のフィールド コードからは、オブジェクトを作成できません。は推定値で、ΔXおよびΔYは補正(corrections)である。
【0038】
3.1投影ベースの測定アルゴリズム
高度Zを調整することで、オペレータは高さの測定結果を取得できる。
【0039】
例1−投影全体が可視のときの測定
投影ベース測定に関連して本発明の利点を実証するための実験を行った。調整された高さ情報を、ルーラ線が物体の真の頂点に到達するまで繰り返し可視化しながら投影ルーラを描画することができる。図4aにおいて、線1001はビルのアウトラインを表す。オペレータはビルの基準(黒の太円1002)を指し示すことから始め、その後浮動カーソルの高さ(黒の太線1003)を上昇させる。カーソルが繰り返し上昇されると、その画像内の位置はIGMによってリアルタイムに計算され、カーソルはグラフィックユーザインタフェース内で連続して描画される。カーソルが画像内の屋根の端(黒の太円1002)に触れると、このインタラクティブな手続きは停止する。実際のインタフェースにおいては、線1003は本発明の代表的実施態様として緑色で現れるであろう。屋根の高さは、図4bに示されるように48.6mである。この操作は、物体のフットプリントの境界で行うこともできる。
【0040】
3.2 影ベースの測定アルゴリズム
平坦な地表面での測定
図2bに示すように、影の端点の3D座標は(X1、Y1、Z1)であり、平坦な地表面に対してはZ1はZ0に等しい。影の長さlは太陽高度により判定される。長さl、物体の高さhおよび太陽高度の間の関係は、平坦な地表面に対する以下の式によって判定される。
【0041】
【数2】
【0042】
ここで、hは物体の高さであり、θは太陽高度である。
【0043】
図2bにおいて、地形が平坦であると仮定すると、地上の物体位置に対する影の端点の座標オフセットは、図5に示すように、以下で取得される。
【0044】
【数3】
【0045】
平坦でない地表面での測定
平坦な地表上の影の長さlと、角度ψを有する傾斜上の影の長さs、物体の高さhおよび太陽高度の間の関係は、図6に示すように平坦でない地表面に対する以下の式によって判定される。
【0046】
【数4】
【0047】
ここで、
【0048】
【数5】
【0049】
【数6】
【0050】
【数7】
【0051】
である。
【0052】
地形の起伏の様々な場合が考察される。
【0053】
影ベースの測定のステップ
図7aは、測定可能な物体の影に対する本発明の方法の適用を説明するものである。このプロセスのフローは一般的に5つのステップを有する。オペレータは画像内の基準点を選択し、その地上座標は式1を使用して計算される。その後、オペレータはZの値を増分変化ΔZだけ調整する。影の端点の地上座標オフセットは、平坦な地上に対しては式3、または平坦でない地上に対しては式4を物体の近傍で使用して、取得される。影の端点は、IGMの地上から画像への変換を使用して画像内に投影され、影ルーラがプロットされる。そのプロセスは、影ルーラが画像の線に良く適合すると終了する。
【0054】
図7bは測定不能な物体の影に対するプロセスを示している。このワークフローは一般的に6つのステップを有する。オペレータは画像内の影の端点を選択する必要があり、その地上座標も式1を使用して計算される。その後、オペレータは高度ZをΔZだけ調整する。基準点の地上座標を推定するために、計算されたオフセットが端点から差し引かれる。投影ルーラおよび影ルーラの両方がプロットされる。投影ルーラは、それが物体の真の頂点に到達するかどうかを判断するために使用される。このプロセスは、両方のルーラが画像内で投影および影の可視部に良く適合すると終了する。
【0055】
例2−影全体が可視のときの測定
影ベースの測定を目的とした本発明の利点を実証するための実験を行った。影ルーラ(実際のインタフェースにおいては、線は本発明の代表的実施形態として青色で表されるであろう。)が、本明細書で説明するグラフィックユーザインタフェース内の画像上に描画される。高さ情報は、ルーラ線が画像内の影全体に適合するまで繰り返し調整される。図8aに示されるように、オペレータは画像内の物体の影(円1005)の端点を位置付けすることから始め、その後、浮動カーソルの高さを上昇させる。カーソルが上昇されると、図7bで説明されるように基準点の位置が更新され、それらの画像内位置がIGMによって計算される。基準点と影の端点を結ぶ線(点線1006)および基準点と上昇されたカーソルを結ぶ第2の線(1007)が、グラフィックユーザインタフェース内に描画される。カーソルが画像内の物体の上縁(円1008)に到達すると、この対話手続きが停止する。屋根の高さは、図8bに示すように48.4mであり、例1の投影ユーティリティを使用して測定された高さの値に近い。
【0056】
例3−投影および影が部分的に可視のときの測定
測定不可能な投影および影に対する影ベースの測定の本発明の利点を実証するために、いくつかの場合を実施する。以下の場合では、物体の基準点は確実には位置付けすることができないかまたは存在しないが、影ルーラは基準点を正確に位置付けすることができる。図9において影(1009)は点線により測定され、投影(1010)は太線で測定される。2本の線の交点が、位置付けされる基準点である。
【0057】
図9aは空中の飛行機の測定を示す。飛行機は空中にあり、地上に物理的な基準点をもたない。測定された高さは57.1mである。図9bにおいて、陸橋が測定され、点線(1011)は測定された影の長さであり、太線(1012)は測定された投影後の高さ(13.8m)である。図9cにおいて、木が測定され、点線(1013)は測定された影の長さであり、太線(1014)は測定された投影後の高さ(29.4m)である。図9dは基準点が正確に位置付けできる煙突の測定を示し、その高さは100.7mである。点線(1015)は測定された影の長さであり、太線(1016)は測定された投影後の高さである。図9aから9dに示すように、これらの物体の基準点は、太陽の位置およびIGMに関する情報を使用するとき影の端点から推測でき、測定された影のこれら発明の代表的実施例は、実際の場合では、青い線で表示され、測定された投影は緑の線で表示されるであろう。
【0058】
例4−物体と物体の関係の測定
2つの物体の任意の2点間の次元測定に対する本発明の利点を実証するための実験を行った。
【0059】
図10aに示すように、地上の飛行機の基準点が影ルーラを使用して判定され、飛行機の高さは57.1mである(太線1017)。その後、ラインマーク(一点鎖線1018)が描画され(図10b)、基準点と空港の滑走路の着陸点とを結び、地上でのこの距離は158.1mである。最後に図10cにおいては、ラインマークの基準点は飛行機の高さまで上昇され、直線距離(一点鎖線1019)は165.8mになる。
【0060】
図11aに示すように、2つのビルの2つの基準点を結ぶときその直線距離(一点鎖線1019)は193.1mである。両方の点は投影ルーラを使用してそれらの対応する屋根の高さまで上昇され、図11bにおいて直線距離(一点鎖線1020)は193.3mになる。
【0061】
例5−物体の方位(ベアリング)の測定
任意の物体の方位測定の本発明の利点を実証するための実験を行った。図12aに示すように、飛行機の機首(1021)の基準点および機尾(1022)の基準点が影ルーラを使用して判定される。その後、ベアリングラインマーク(鎖線1023)が描画され、図12bに示すようにこれらの2つの基準点を接続し、UTMマップ投影下ではその角度は285.2°である。
【0062】
例6−複合物体の測定
複雑な構造を有するビルの高さ測定の本発明の利点を実証するための実験を行った。図13に示すように、多層ビルの屋根の異なるレベルを、投影および/または影ルーラを使用して単一画像から測定できる。図13aにおいて、屋根の第1階層の高さ(線1024)が投影ルーラを使用して測定され、その後システム内の高さが固定され、この高さは31mである。第1階層に対する屋根の第2階層の高さ(線1026)は、その固定された高さから開始して測定され、この高さは図13bに示すように5.5mである。これは、第2階層の地表面に対する高さが36.5であることを示す。
【0063】
3.3システムバイアスの補償
DTMおよび/またはGCPがない状態で測定が行われるとき、垂直および水平方向の両方でいくらかシステムバイアスが発生する。この結果、それらの次元が変化し、さらに、測定された物体の位置を変位させる。
【0064】
図14に示すように、物体の高さの測定エラー(Δh)は、飛行高度(H)、物体の高さ(h)、および地形が利用可能なことによる垂直シフト(ΔH)によって、以下によって与えられるように判定される。
【0065】
【数8】
【0066】
ここでh’は測定ユーティリティを使用して測定した物体の高さである。式8aを使用して、垂直ドリフトによる物体の高さのシステムのエラーは、DTMが後に利用可能になるとき、これらの物体に対して自動的に補償されうる。各物体の高さは、それらが通常異なるベースの高さを有するので、別個に補正される。
【0067】
同様に、物体の水平次元のエラーは以下によって判定される。
【0068】
【数9】
【0069】
ここで、l’およびlはそれぞれ、測定された真の物体の次元である。式8bを使用して、垂直ドリフトによるシステムのエラーは、DTMが後に利用可能になるとき、3Dで測定されたこれらの物体の次元に対して上述したのと同じ方法で自動的に補償することができる。
【0070】
DTMがない物体の変位補正は、物体の任意の点に対する変位を計算することで遂行されうる。このプロセスは数ステップを含む。最初に、生の画像およびDTMの両方がコンピュータシステムにロードされる。第2に、測定された3D物体モデルがロードされる。1つの特定の実施形態においては、バイアス補償が必要かどうかを指示するためにメッセージがポップアップ表示される。もしそうならば、3Dモデルに属する点(例えば、第1ポイント)がIGMを使用して画像平面に投影される。その後、投影された画像の点が式1を使用してDTMと交差される。第3に、その点の元の位置と、DTMと交差する位置との間の、X、Y、およびZ座標における差分が計算される。4番目に、3Dモデルに属する全ての点が、同じ差分だけシフトされる。更新された3Dモデルは、ディスクのファイルに再保存するのが望ましい。
【0071】
GCPがない物体の変位に対する補正も、4ステップの手続きを実行することで達成することができる。最初に、生の画像、GCPおよび任意にDTMが、コンピュータシステムにロードされ、IGMがGCPを使用することで改善される。第2に、3Dモデルに属する点(例えば、第1ポイント)が元のIGMを使用して画像平面に投影される。その後、投影された画像の点が式1および改善されたIGMを使用してDTMと交差される。第3に、その点の元の位置と、DTMと再度交差する位置との間の、X、Y、およびZ座標における差分が計算される。第4に、3Dモデルに属する全ての点が、同じ差分だけシフトされる。更新された3Dモデルは、ディスクのファイルに再保存される。
【0072】
4.測定およびその派生物の収集
従って、上述のように本発明のコンピュータプログラムは、物体の、および物体間の広範囲の3D測定を収集するよう動作可能である。それは、上で詳述したように測定ユーティリティ8を使用することにより、物体の投影、影およびそれらの組み合わせを利用する。
【0073】
多くの測定派生物は、公知の方法で測定結果を取得した後に展開することができる。これらの派生物は、限定するものではないが、体積、方位、領域、高さの差分、見通しなどを含む。測定およびそれらの派生物は、都市計画、景観分析、輸送および水文学的流域分析、緊急対応、災害緩和などのための多くの3D製品を生成するために使用することができる。
【0074】
5.3Dモデルおよびマップの作成
本発明のコンピュータプログラムは、モデル生成ユーティリティを使用することによって、3Dモデルおよびマップを作成する。
【0075】
例7−基準選択法を用いた3Dモデル作成
3D構造体のマッピングに対するこのアプローチにおいては、Zレベルの調整モードが使用可能であり、続いてマウスまたは同様なポインティング装置(図15a)を使用して構造体の基準(ベース)をマーク付けする。さらに、様々なキーの組み合わせを使用して、カーソルの固定/解除を提供することができる。その後、Zレベルは例えばページアップ/ページダウンキーを使用して調整され、Zレベルの変化(太線1027)が画像平面内でユーザに(実際の場合は黄色の線で)可視化される(図15b)。望ましいレベルに到達したとき(図15c)、ユーザは3Dマッピングツール、典型的には多角形ツールを選択し、図15dに示すように構造体の頂上の輪郭を描く(太線1028、実際の場合には所定の線の色によって)。Zレベル調整モードは使用不可にすることができ、投影された構造体の基準点はその後、フットプリント表示モードを使用可能とすることでチェックできる。フットプリントモードはIGMを使用して、図15eに示すように投影されたフットプリントを描画する(点線1029、実際の場合では所定のくっきりした線の色からなる濃い色である)。望ましい3Dモデルはその後、永続的な記憶が必要とされる場合はデータベースまたはファイル構造(図示せず)に保存される。それはまた、ビルの可視面を取り込んでそれらを3Dビジュアルモデル内のテクスチャ(図示せず)として使用することにより、3D仮想景色を生成するために使用することもできる。
【0076】
例8−屋根−フットプリント変位法を用いた3Dモデル作成
3Dビルモデリングを実行するプロセスは、屋根およびフットプリント間の相対的な変位または動作を実行することで達成することができる。3D構造のマッピングに対するこのアプローチは、最初にその屋根のアウトライン(図16aに示す太線1030)を画像平面内に投影されるようにデジタル化することで、その境界線を取り込む。このアウトラインはその後、IGMを使用して、画像平面内でシフトされ(図16b)、構造体の基準と一致する。与えられた例においては、これはページアップ/ページダウンキーを押下することで達成される(図16b)。このアルゴリズムは、モデルのフットプリントの一部が見えないときに3Dモデルを作成することができる(図16c)。
【0077】
多種類のビルの屋根形状が、このコンピュータ化されたシステム内でサポートされる。図17に示すように、典型的な屋根のタイプのいくつかは、平、切妻、半切妻、寄棟および片流れの屋根形状である。コンピュータプログラムは、任意の複雑な屋根のタイプを有する3Dビルのモデルを、基本的な屋根のタイプの組み合わせにより作成することができる。
【0078】
例9−2Dベクトルからの3Dマップの生成
2Dベクトル座標(r,c)がコンピュータアプリケーションにロードされ、各2D位置毎にZレベルの座標が、マッピングされた形状の基準レベルと一致するよう割り当てられる(図3)。各形状はその後、以下の操作を通して第3次元にマッピングされる。
【0079】
ユーザは、第3次元にマッピングする(図18a)形状(太線1031、通常は8個の円で記される)を選択し、その後ページアップキーを押下して形状内のノード全てのZレベル座標を変化させる。Zレベルにおける変化はIGMを介して画像平面に投影され、Zレベルにおける変化の視覚フィードバックを与える。望ましいレベルに到達する(図18b)と、ユーザはZレベルを変化させることを止め、形状をデータベース(図示せず)に保存することを選ぶことができる。
【0080】
6.精度査定
測定の正確性が広範囲にテストおよび評価された。まとめとして、これらのテスト結果は、サブメートルでの正確性が達成されうることを意味し、従って広範囲の商用アプリケーションに対して満足できるものである。この正確性は飛行高度、物体の高さ、地形利用可能性、画像解像度、画像ピクセルの測定、およびIGMの正確性に依存する。
【0081】
本発明はさらに、本発明の動作を拡張する追加機能の統合を考慮している。例えば、測定ユーティリティの機能に、所定のパラメータに基づいて、より効果的な収束を可能とするプロセスを組み込んでもよい。
【0082】
7.コンピュータプラットフォーム
測定ユーティリティおよびモデル生成ユーティリティは、その配置の容易さ、低い計算オーバーヘッド、IGM(即ち、RFM)に対する制限の少なさ、および立体視装置の必要性がないことにより、PC、ワークステーション、サーバー、PDAなどの最も一般的なコンピュータ化プラットフォームに配置できる。
【0083】
8.ウェブまたはネットワーク可能な環境
測定ユーティリティ8およびモデル生成ユーティリティ9は、その配置の容易さ、低い計算オーバーヘッド、画像幾何モデルに対する制限の少なさ、および立体視装置の必要性がないことを考えると、ウェブ、インターネット、およびワイヤレスネットワークなどのネットワークベースのアプリケーションに最適である。
【0084】
図19は、本発明がウェブ可能な環境内で様々な形態(影付きのコンポーネント)で配置されうることを示している。本発明はクライアントアプリケーション20、ウェブブラウザベースのプラグイン(ActiveXコントロール)またはJava(登録商標)アプレット22、アプリケーションサーバ24およびポータルベースのウェブサービス26として配置されることができる。本発明は、ワイヤレスポータル、PDAまたは携帯電話等のコンピュータ化されたプラットフォームに、公知の方法でほとんど修正なしに埋め込むこともできる。
【0085】
9.商用アプリケーション
本発明は、以下を含む広範囲のアプリケーションに対して、画像の利点の利用を可能とする。
・ビルの高さ、橋の撤去作業、道路幅、滑走路長、または森林伐採などの重要な施設および目標物の情報を取得すること。
・原子力発電所、空港、都市、公共の安全に対する重要なインフラおよび国際情報などの、重要な施設の3Dサイトマップを作成すること。
・災害による損害地域(森林火災、洪水、地震など)を、保険監査および緊急対応のために測定すること。
・都市開発、可視化およびシミュレーション、ゲーム、政府、輸送、土木工学などに対するモデリングおよびプランニング。
その応用は広い:
・防衛
・環境
・国家防衛
・電気通信
・可視化およびシミュレーション
・農業
・地方自治体
・地質学
・マッピング
・林業
・ユーティリティ
・不動産
・輸送計画
・保険
・メディア
・エンターテイメントおよびゲーム
【0086】
本発明の他の変形および変更が可能である。例えば、本発明のコンピュータプログラム製品に追加機能を組み込んで、本明細書で提供した基本的な3D測定およびモデルデータを、単一画像に基づいて構築し、例えば平方キロメートルあたりの密度、都市の影の推定等を提供できる。本発明のコンピュータ製品は、他のアプリケーションと統合できる。そのような変更または変形の全ては、添付の特許請求の範囲で定義されるように、本発明の領域および範囲内にある。
【図面の簡単な説明】
【0087】
【図1a】本発明のコンピュータプログラム製品の機能にアクセスする代表的なグラフィックユーザインタフェースの概念図である。図示したツールバーボタンにより、本発明のユーティリティ機能にアクセスできる。
【図1b】本発明のコンピュータプログラムのリソースを示すプログラムのリソースの図である。
【図2a】画像表示ウィンドウに表示される測定ユーティリティ8の概念図である。
【図2b】平坦な地表面を想定して、画像、IGM、物体、および太陽角に投じられた投影および影の間の関係を示す概略の図である。
【図3】水平位置(X,Y)を、高度Zを有する平面を単一画像内で交差させることで決定することを示す図である。高度Zは、多少増加させて調整する。
【図4a】IGMに基づいた投影測定ユーティリティを使用したビルの高さ測定の概略図である。
【図4b】IGMに基づいた本発明の投影測定ユーティリティを使用してビルの高さを測定することを示す概略図である。
【図5】太陽位置と、物体の影の変位との間の関係を示す図である。
【図6】本発明の方法を示す概略図、さらにとりわけ、平坦でない地表面を仮定して、物体の投影および影を描画する方法を示す概略図である。
【図7a】本発明を図示するブロック図であり、画像内の測定可能な影に対して、影情報を使用して物体の高さを測定することを示す。
【図7b】本発明を図示するブロック図であり、画像内の測定不可能な影に対して、影情報を使用して物体の高さを測定することを示す。
【図8a】ビルである物体に対して影測定ユーティリティを使用し、その基準点から開始して高さの測定結果を取得することを示す、概略図である。
【図8b】ビルである物体に対して影測定ユーティリティを使用し、その基準点から開始して高さの測定結果を取得することを示す、本発明の図である。
【図9a】本発明に従って影測定ユーティリティを、図9aの場合は飛行機に使用して、それらの影の端点から開始して高さを測定することを示す図である。
【図9b】本発明に従って影測定ユーティリティを、陸橋に使用して、それらの影の端点から開始して高さを測定することを示す図である。
【図9c】本発明に従って影測定ユーティリティを、木に使用して、それらの影の端点から開始して高さを測定することを示す図である。
【図9d】本発明に従って影測定ユーティリティを、煙突に使用して、それらの影の端点から開始して高さを測定することを示す図である。
【図10a】本発明の影測定ユーティリティを使用して基準点を決定する図であり、飛行機の高さが57.1mと示されている。
【図10b】本発明に従ってラインマークを描画することを示す図であり、線は基準点と滑走路の着地点とを結び、水平距離が158.1mとして示されている。
【図10c】ラインマークの基準点を飛行機の高さへ上昇させることで本発明を示す図であり、直線距離が165.8mと示されている。
【図11a】2つの物体の基準点を結ぶラインマークを描画するための本発明の動作を示す図である。
【図11b】ラインマークの2つの端部にある基準点をそれら各々の屋根の高さまで上昇させることを動作で示すことで、本発明を示す図である。
【図12a】本発明の特定の一態様を示す図であり、飛行機の機首と機尾の基準点が決定される。
【図12b】図12aに示す本発明の特定の態様をさらに示す図であり、2つの基準点を接続する線が示される。
【図13a】本発明をさらに示す図であり、多層のビルの高さが測定され、屋根の第1階層の高さが測定されて固定され、この高さは31mである。
【図13b】本発明をさらに示す図であり、多層のビルの高さが測定され、屋根の第2階層の第1階層に対する高さが、前記固定された高さから開始して測定される。
【図14】数値地形モデル(DTM)を使用せずに測定した物体の次元のシステムバイアスを補償することの概略図である。
【図15a】本発明に従った3Dマッピングに対する基準選択方法を示す図であり、ここでは基準点が選択される様子が表示されている。
【図15b】本発明に従った3Dマッピングに対する基準選択方法を示す図であり、ここではZのレベルが、注釈および現在のZのレベルを動的に更新するユーザ経由で変更される様子が表示されている(実際の場合では黄色の線で与えられる)。
【図15c】本発明に従った3Dマッピングに対する基準選択方法を示す図であり、ここではZのレベルが、注釈および現在のZのレベルを動的に更新するユーザ経由で変更される様子が表示されている(実際の場合では黄色の線で与えられる)。
【図15d】本発明に従った3Dマッピングに対する基準選択方法を示す図であり、ここでは3Dマッピングツール(多角形)を使用してビルの頂上がアウトライン化される様子が表示されている。
【図15e】本発明に従った3Dマッピングに対する基準選択方法を示す図であり、ここではビルのフットプリントが使用可能で表示されている。
【図16a】本発明に従って平屋根のビルの3Dモデリングに対する屋根−フットプリント変位を示す図であり、ここでは3D多角形マッピングツールを使用して屋根のアウトラインをマッピングすることが示されている。
【図16b】本発明に従って平屋根のビルの3Dモデリングに対する屋根−フットプリント変位を示す図であり、ここではビルの基準と一致するように屋根のアウトラインを水平変位することが示されている。
【図16c】本発明に従って平屋根のビルの3Dモデリングに対する屋根−フットプリント変位を示す図であり、ここでは3Dのビルのモデルが構築されることが示されている。
【図17】切妻、半切妻、寄棟および片流れの屋根形状を有するビルのモデリングにおいてサポートされる屋根形状の概略図である。
【図18a】本発明に従って2Dベクトルマップから3Dベクトルマップを作成することを示す図であり、ここではコンピュータプログラムへのインポート後に2Dにマッピングしたベクトルを選択することが示されている。
【図18b】本発明に従って2Dベクトルマップから3Dベクトルマップを作成することを示す図であり、ここでは2Dにマッピングしたベクトルが、IGMを使用してそれをビルの頂上に上昇させることで、3Dベクトルにマッピングされることが示されている。
【図19】ウェブおよびネットワーク環境に本発明を配置することを一般的に示すシステムの図である。
【特許請求の範囲】
【請求項1】
少なくとも1つの3次元物体の単一画像から、3次元測定情報を導出し、かつ/または3次元モデルおよびマップを作成する方法であって、
(a)前記物体の少なくとも1つの2次元単一画像を取得するステップであって、前記画像は画像データから成りかつ画像幾何モデル(IGM)に関連付けられている、ステップと、
(b)前記画像に関連付けられた3次元座標情報をIGMに基づいて導出し、前記3次元座標情報を前記画像データに関連付けるステップと、
(c)
(i)前記IGMを使用して前記物体の投影を測定し、前記物体に関する高さおよび/または点間距離を含む測定データを導出し、
(ii)前記物体の影を測定し、前記物体に関する高さおよび/または点間距離を含む測定データを導出するように画像データを分析するステップと、
(d)前記物体の前記投影および/または影の測定結果に基づいた3次元測定結果を取得するステップと
を備えることを特徴とする方法。
【請求項2】
前記画像データは測定ユーティリティの操作により分析されることを特徴とする請求項1に記載の方法。
【請求項3】
前記投影および/または影の測定結果に基づいた3次元モデルまたはマップを作成するステップをさらに備えることを特徴とする請求項1に記載の方法。
【請求項4】
前記測定ユーティリティが提供するデータを利用して3次元モデルまたはマップを作成するよう動作可能なモデル生成ユーティリティの操作により、3次元モデルまたはマップを作成するステップをさらに備えることを特徴とする請求項1に記載の方法。
【請求項5】
有理関数モデル(RFM)をIGMとして使用することを特徴とする請求項1に記載の前記方法。
【請求項6】
前記物体の投影は投影ルーラを使用して測定され、前記物体の影は影ルーラを使用して測定され、前記投影ルーラおよび影ルーラの各々は前記測定ユーティリティにリンクされたグラフィックユーザインタフェースを介してアクセス可能であることを特徴とする請求項1に記載の方法。
【請求項7】
オペレータが前記投影ルーラを使用するステップをさらに備え、それにより、前記投影ルーラは前記画像内の前記物体の投影に適合し、
(a)前記投影が測定可能な場合、前記投影は前記画像内で前記物体の基準点から真の頂点まで完全に投じられ、かつ
(b)前記投影が測定不可能な場合、前記方法は前記測定不可能な投影を投ずるステップをさらに備える
ことを特徴とする請求項6に記載の前記方法。
【請求項8】
オペレータが前記影ルーラを使用するステップをさらに備え、それにより、前記影ルーラは前記画像内の前記物体の影に適合し、
(a)前記影が測定可能な場合、前記影は前記画像内で前記影の基準点から端点まで完全に投じられ、かつ
(b)前記影が測定不可能な場合、前記方法は前記測定不可能な影を投ずるステップをさらに備える
ことを特徴とする請求項6に記載の方法。
【請求項9】
前記物体の影が測定可能な場合に、前記物体の影を測定するためのステップであって、
(a)ユーザが、前記画像に関連付けられたグラフィックユーザインタフェースの操作によって前記画像内の基準点を選択するステップと、
(b)測定ユーティリティの操作により、IGMを使用して前記基準点の地上座標を計算するステップと、
(c)前記グラフィックユーザインタフェースの操作により、前記物体の高さを選択し、かつ調整することで前記物体の高さを調整するステップと、
(d)前記測定ユーティリティが、前記基準点に対して推定した影の端点のオフセットを計算するステップと、
(e)前記ユーザが、前記IGMを使用して前記測定ユーティリティの操作により、前記画像に対して前記物体の影の端点を投影するステップと、
をさらに備えることを特徴とする請求項8に記載の方法。
【請求項10】
前記物体の影が測定不可能な場合に、前記物体の影を測定するためのステップであって、
(a)ユーザは、前記画像に関連付けられたグラフィックユーザインタフェースの操作によって前記画像内の前記影の端点を選択するステップと、
(b)測定ユーティリティの操作により、IGMを使用して前記影の端点の地上座標を計算するステップと、
(c)前記グラフィックユーザインタフェースの操作により、前記物体の高さを選択し、かつ調整することで前記物体の高さを調整するステップと、
(d)前記測定ユーティリティは、前記基準点に対して推定した影の端点のオフセットを計算するステップと、
(e)前記測定ユーティリティは、対応する前記投影ルーラの位置を計算するステップと、
(f)前記ユーザは、前記IGMを使用して前記測定ユーティリティの操作により前記投影ルーラが前記物体の前記真の頂点に到達するとき、前記画像に対して前記物体の基準点を投影するステップと、
の各ステップをさらに備えることを特徴とする請求項8に記載の方法。
【請求項11】
前記測定ユーティリティは、以下の式を処理することにより前記基準点の地上座標(X,Y)を計算するものであって、
【数1】
ここで、rおよびcは画像内の選択された点の行および列の座標であって、
【数2】
および
【数3】
はX、Y、Zの近似値をIGMに代入することで推定され、ΔXおよびΔYは初期値に対する相関であり、∂r/∂X、∂r/∂Y、∂c/∂Xおよび∂c/∂Yは偏微分であることを特徴とする請求項9に記載の方法。
【請求項12】
前記影のオフセットは、前記物体の近傍の平坦な地上に対して以下の式を処理することにより計算され、
【数4】
ここで、hは前記物体の高さ、θは前記画像の撮影時点の太陽高度、およびlは前記影の長さであることを特徴とする請求項9に記載の方法。
【請求項13】
前記影のオフセットは、前記物体の近傍の平坦でない地上に対して以下の式を処理することにより計算され、
【数5】
ここで、
【数6】
であり、lは平坦な地上の影の長さであり、sは角度Ψを有する傾斜上の影の長さであり、前記物体の高さはh、および太陽高度はθである
ことを特徴とする請求項9に記載の方法。
【請求項14】
前記物体が平坦な表面上に位置決めされ、前記影の端点の座標が(X1,Y1,Z1)で、前記平坦な表面に対してZ1がZ0に等しいとき、前記物体の影の長さは以下の式を処理することにより計算され、
【数7】
ここで、hは前記物体の高さであり、θは前記画像の撮影時点の太陽高度であることを特徴とする請求項9に記載の方法。
【請求項15】
前記3次元測定は、(a)高さ、(b)3Dでの距離、(c)見通し距離、(d)体積、または(e)3Dでの方位のうち1つまたは複数を含むことを特徴とする請求項1に記載の方法。
【請求項16】
前記物体の投影全体が前記画像内で可視である場合に、少なくとも1つの3次元物体の単一画像から測定情報を導出するステップをさらに備え、
(a)ユーザが、前記画像に関連付けられたグラフィックユーザインタフェースの操作によって前記画像内の前記基準点を選択するステップと、
(b)測定ユーティリティの操作により、IGMを使用して前記基準点の地上座標を計算するステップと、
(c)前記グラフィックユーザインタフェースの操作により、前記物体の選択された長さを選択しかつ調整することで前記物体の選択された長さを調整するステップと、
(d)前記測定ユーティリティは、前記物体の選択された長さを計算するステップと
からなるさらなるステップ群を備えることを特徴とする請求項1に記載の方法。
【請求項17】
前記方法は、3次元物体の影全体が前記画像内で可視である場合に、少なくとも1つの前記3次元物体の単一画像から測定情報を導出するステップをさらに備え、
(a)ユーザが、前記画像に関連付けられたグラフィックユーザインタフェースの操作によって前記画像上に影ルーラを描画するステップと、
(b)測定ユーティリティが、IGMを使用して前記影の端点および前記基準端点の座標を計算するステップと、
(c)測定ユーティリティがまた、IGMを使用して前記対応する投影ルーラの端点および基準点の座標を計算するステップと、
(d)前記ユーザが、前記グラフィックユーザインタフェースの操作により、前記影ルーラが実質的に前記物体の影全体に適合するまで、および/または前記投影ルーラが前記物体の真の頂点に到達するまで、前記物体に関連付けられる高さ情報を繰り返し調整するステップと、
(e)前記測定ユーティリティは、IGMを使用して前記物体の高さを計算するステップと
からなるさらなるステップ群を備えることを特徴とする請求項1に記載の方法。
【請求項18】
基準点が不可視または存在しない3次元物体の単一画像から測定情報を導出するステップをさらに備え、
(a)ユーザが、前記画像に関連付けられたグラフィックユーザインタフェースの操作により前記画像上に影ルーラを描画するステップと、
(b)前記測定ユーティリティが、IGMを使用して前記影の端点および前記基準端点の座標を計算するステップと、
(c)前記測定ユーティリティがまた、IGMを使用して前記対応する投影ルーラの端点および基準点の座標を計算するステップと、
(d)前記ユーザが、前記グラフィックユーザインタフェースの操作により、前記投影ルーラが前記物体の真の頂点に到達するまで、前記物体に関連付けられた高さ情報を繰り返し調整するステップと、
(e)前記測定ユーティリティが、IGMを使用して前記物体の高さを計算するステップとからなるさらなるステップ群を備えることを特徴とする請求項1に記載の方法。
【請求項19】
前記単一画像を取り込む際に水平および垂直方向に発生するシステムバイアスを補償するステップをさらに備える、請求項1に記載の方法。
【請求項20】
前記物体に関する形状幾何(shape geometry)を確立し、3次元モデルおよび/またはマップを作成するため前記物体の形状幾何を使用するステップをさらに備えることを特徴とする請求項3に記載の方法。
【請求項21】
モデル生成ユーティリティの操作により様々な形状の3Dモデルを作成するステップをさらに備えることを特徴とする請求項3に記載の方法。
【請求項22】
モデル生成ユーティリティの操作により様々な屋根構造の3Dモデルを作成するステップをさらに備えることを特徴とする請求項3に記載の方法。
【請求項23】
少なくとも1つの3次元物体の単一画像から3次元測定情報を導出し、および/または3次元モデルおよびマップを作成するシステムであって、
(a)少なくとも1つのコンピュータと、
(b)前記コンピュータが、
(i)前記物体の少なくとも1つの2次元単一画像であって、画像データからなりかつ画像幾何モデル(IGM)に関連付けられている前記画像を、取得し、
(ii)前記画像に関連付けられた3次元座標情報をIGMに基づいて導出し、前記3次元座標情報を前記画像データに関連付け、
(iii)
(A)IGMを使用して前記物体の投影を測定して、前記物体に関する高さおよび/または点間距離を含む測定データを導出し、かつ/または
(B)前記物体の影を測定して、前記物体に関する高さおよび/または点間距離を含む測定データを導出するように前記画像データを分析し、
(iv)前記物体の投影および/または影の測定結果に基づいて3次元測定結果を取得する
ことができるようにするように前記コンピュータに動作可能にリンクされたコンピュータプログラムと
を備えることを特徴とするシステム。
【請求項24】
前記コンピュータプログラムはさらに、前記測定ユーティリティが提供するデータを利用して3次元モデルまたはマップを作成するよう動作可能なモデル生成ユーティリティを定義するように前記コンピュータに動作可能にリンクされることを特徴とする請求項23に記載のシステム。
【請求項25】
前記システムはさらにサーバコンピュータを備え、前記コンピュータプログラムはサーバコンピュータにロードされ、前記サーバコンピュータはネットワークを介して前記コンピュータによりアクセス可能であり、前記サーバコンピュータは前記ネットワークを介して前記コンピュータにある前記測定ユーティリティの機能へのアクセスを提供することを特徴とする請求項21に記載のシステム。
【請求項26】
コンピュータ使用可能媒体であって、
(i)物体の少なくとも1つの2次元単一画像であって、画像データからなりかつ画像幾何モデル(IGM)に関連付けられている前記画像を、取得し、
(ii)前記画像に関連付けられた3次元座標情報をIGMに基づいて導出し、前記3次元座標情報を前記画像データに関連付け、
(iii)
(A)前記IGMを使用して前記物体の投影を測定し、前記物体に関する高さおよび/または点間距離を含む測定データを導出し、かつ/または
(B)前記物体の影を測定し、前記物体に関する高さおよび/または点間距離を含む測定データを導出するように前記画像データを分析し、および
(iv)前記物体の投影および/または影の測定結果に基づいて3次元測定結果を取得する
ように動作可能である測定ユーティリティをコンピュータ上で定義する命令群を備えることを特徴とするコンピュータ使用可能媒体。
【請求項1】
少なくとも1つの3次元物体の単一画像から、3次元測定情報を導出し、かつ/または3次元モデルおよびマップを作成する方法であって、
(a)前記物体の少なくとも1つの2次元単一画像を取得するステップであって、前記画像は画像データから成りかつ画像幾何モデル(IGM)に関連付けられている、ステップと、
(b)前記画像に関連付けられた3次元座標情報をIGMに基づいて導出し、前記3次元座標情報を前記画像データに関連付けるステップと、
(c)
(i)前記IGMを使用して前記物体の投影を測定し、前記物体に関する高さおよび/または点間距離を含む測定データを導出し、
(ii)前記物体の影を測定し、前記物体に関する高さおよび/または点間距離を含む測定データを導出するように画像データを分析するステップと、
(d)前記物体の前記投影および/または影の測定結果に基づいた3次元測定結果を取得するステップと
を備えることを特徴とする方法。
【請求項2】
前記画像データは測定ユーティリティの操作により分析されることを特徴とする請求項1に記載の方法。
【請求項3】
前記投影および/または影の測定結果に基づいた3次元モデルまたはマップを作成するステップをさらに備えることを特徴とする請求項1に記載の方法。
【請求項4】
前記測定ユーティリティが提供するデータを利用して3次元モデルまたはマップを作成するよう動作可能なモデル生成ユーティリティの操作により、3次元モデルまたはマップを作成するステップをさらに備えることを特徴とする請求項1に記載の方法。
【請求項5】
有理関数モデル(RFM)をIGMとして使用することを特徴とする請求項1に記載の前記方法。
【請求項6】
前記物体の投影は投影ルーラを使用して測定され、前記物体の影は影ルーラを使用して測定され、前記投影ルーラおよび影ルーラの各々は前記測定ユーティリティにリンクされたグラフィックユーザインタフェースを介してアクセス可能であることを特徴とする請求項1に記載の方法。
【請求項7】
オペレータが前記投影ルーラを使用するステップをさらに備え、それにより、前記投影ルーラは前記画像内の前記物体の投影に適合し、
(a)前記投影が測定可能な場合、前記投影は前記画像内で前記物体の基準点から真の頂点まで完全に投じられ、かつ
(b)前記投影が測定不可能な場合、前記方法は前記測定不可能な投影を投ずるステップをさらに備える
ことを特徴とする請求項6に記載の前記方法。
【請求項8】
オペレータが前記影ルーラを使用するステップをさらに備え、それにより、前記影ルーラは前記画像内の前記物体の影に適合し、
(a)前記影が測定可能な場合、前記影は前記画像内で前記影の基準点から端点まで完全に投じられ、かつ
(b)前記影が測定不可能な場合、前記方法は前記測定不可能な影を投ずるステップをさらに備える
ことを特徴とする請求項6に記載の方法。
【請求項9】
前記物体の影が測定可能な場合に、前記物体の影を測定するためのステップであって、
(a)ユーザが、前記画像に関連付けられたグラフィックユーザインタフェースの操作によって前記画像内の基準点を選択するステップと、
(b)測定ユーティリティの操作により、IGMを使用して前記基準点の地上座標を計算するステップと、
(c)前記グラフィックユーザインタフェースの操作により、前記物体の高さを選択し、かつ調整することで前記物体の高さを調整するステップと、
(d)前記測定ユーティリティが、前記基準点に対して推定した影の端点のオフセットを計算するステップと、
(e)前記ユーザが、前記IGMを使用して前記測定ユーティリティの操作により、前記画像に対して前記物体の影の端点を投影するステップと、
をさらに備えることを特徴とする請求項8に記載の方法。
【請求項10】
前記物体の影が測定不可能な場合に、前記物体の影を測定するためのステップであって、
(a)ユーザは、前記画像に関連付けられたグラフィックユーザインタフェースの操作によって前記画像内の前記影の端点を選択するステップと、
(b)測定ユーティリティの操作により、IGMを使用して前記影の端点の地上座標を計算するステップと、
(c)前記グラフィックユーザインタフェースの操作により、前記物体の高さを選択し、かつ調整することで前記物体の高さを調整するステップと、
(d)前記測定ユーティリティは、前記基準点に対して推定した影の端点のオフセットを計算するステップと、
(e)前記測定ユーティリティは、対応する前記投影ルーラの位置を計算するステップと、
(f)前記ユーザは、前記IGMを使用して前記測定ユーティリティの操作により前記投影ルーラが前記物体の前記真の頂点に到達するとき、前記画像に対して前記物体の基準点を投影するステップと、
の各ステップをさらに備えることを特徴とする請求項8に記載の方法。
【請求項11】
前記測定ユーティリティは、以下の式を処理することにより前記基準点の地上座標(X,Y)を計算するものであって、
【数1】
ここで、rおよびcは画像内の選択された点の行および列の座標であって、
【数2】
および
【数3】
はX、Y、Zの近似値をIGMに代入することで推定され、ΔXおよびΔYは初期値に対する相関であり、∂r/∂X、∂r/∂Y、∂c/∂Xおよび∂c/∂Yは偏微分であることを特徴とする請求項9に記載の方法。
【請求項12】
前記影のオフセットは、前記物体の近傍の平坦な地上に対して以下の式を処理することにより計算され、
【数4】
ここで、hは前記物体の高さ、θは前記画像の撮影時点の太陽高度、およびlは前記影の長さであることを特徴とする請求項9に記載の方法。
【請求項13】
前記影のオフセットは、前記物体の近傍の平坦でない地上に対して以下の式を処理することにより計算され、
【数5】
ここで、
【数6】
であり、lは平坦な地上の影の長さであり、sは角度Ψを有する傾斜上の影の長さであり、前記物体の高さはh、および太陽高度はθである
ことを特徴とする請求項9に記載の方法。
【請求項14】
前記物体が平坦な表面上に位置決めされ、前記影の端点の座標が(X1,Y1,Z1)で、前記平坦な表面に対してZ1がZ0に等しいとき、前記物体の影の長さは以下の式を処理することにより計算され、
【数7】
ここで、hは前記物体の高さであり、θは前記画像の撮影時点の太陽高度であることを特徴とする請求項9に記載の方法。
【請求項15】
前記3次元測定は、(a)高さ、(b)3Dでの距離、(c)見通し距離、(d)体積、または(e)3Dでの方位のうち1つまたは複数を含むことを特徴とする請求項1に記載の方法。
【請求項16】
前記物体の投影全体が前記画像内で可視である場合に、少なくとも1つの3次元物体の単一画像から測定情報を導出するステップをさらに備え、
(a)ユーザが、前記画像に関連付けられたグラフィックユーザインタフェースの操作によって前記画像内の前記基準点を選択するステップと、
(b)測定ユーティリティの操作により、IGMを使用して前記基準点の地上座標を計算するステップと、
(c)前記グラフィックユーザインタフェースの操作により、前記物体の選択された長さを選択しかつ調整することで前記物体の選択された長さを調整するステップと、
(d)前記測定ユーティリティは、前記物体の選択された長さを計算するステップと
からなるさらなるステップ群を備えることを特徴とする請求項1に記載の方法。
【請求項17】
前記方法は、3次元物体の影全体が前記画像内で可視である場合に、少なくとも1つの前記3次元物体の単一画像から測定情報を導出するステップをさらに備え、
(a)ユーザが、前記画像に関連付けられたグラフィックユーザインタフェースの操作によって前記画像上に影ルーラを描画するステップと、
(b)測定ユーティリティが、IGMを使用して前記影の端点および前記基準端点の座標を計算するステップと、
(c)測定ユーティリティがまた、IGMを使用して前記対応する投影ルーラの端点および基準点の座標を計算するステップと、
(d)前記ユーザが、前記グラフィックユーザインタフェースの操作により、前記影ルーラが実質的に前記物体の影全体に適合するまで、および/または前記投影ルーラが前記物体の真の頂点に到達するまで、前記物体に関連付けられる高さ情報を繰り返し調整するステップと、
(e)前記測定ユーティリティは、IGMを使用して前記物体の高さを計算するステップと
からなるさらなるステップ群を備えることを特徴とする請求項1に記載の方法。
【請求項18】
基準点が不可視または存在しない3次元物体の単一画像から測定情報を導出するステップをさらに備え、
(a)ユーザが、前記画像に関連付けられたグラフィックユーザインタフェースの操作により前記画像上に影ルーラを描画するステップと、
(b)前記測定ユーティリティが、IGMを使用して前記影の端点および前記基準端点の座標を計算するステップと、
(c)前記測定ユーティリティがまた、IGMを使用して前記対応する投影ルーラの端点および基準点の座標を計算するステップと、
(d)前記ユーザが、前記グラフィックユーザインタフェースの操作により、前記投影ルーラが前記物体の真の頂点に到達するまで、前記物体に関連付けられた高さ情報を繰り返し調整するステップと、
(e)前記測定ユーティリティが、IGMを使用して前記物体の高さを計算するステップとからなるさらなるステップ群を備えることを特徴とする請求項1に記載の方法。
【請求項19】
前記単一画像を取り込む際に水平および垂直方向に発生するシステムバイアスを補償するステップをさらに備える、請求項1に記載の方法。
【請求項20】
前記物体に関する形状幾何(shape geometry)を確立し、3次元モデルおよび/またはマップを作成するため前記物体の形状幾何を使用するステップをさらに備えることを特徴とする請求項3に記載の方法。
【請求項21】
モデル生成ユーティリティの操作により様々な形状の3Dモデルを作成するステップをさらに備えることを特徴とする請求項3に記載の方法。
【請求項22】
モデル生成ユーティリティの操作により様々な屋根構造の3Dモデルを作成するステップをさらに備えることを特徴とする請求項3に記載の方法。
【請求項23】
少なくとも1つの3次元物体の単一画像から3次元測定情報を導出し、および/または3次元モデルおよびマップを作成するシステムであって、
(a)少なくとも1つのコンピュータと、
(b)前記コンピュータが、
(i)前記物体の少なくとも1つの2次元単一画像であって、画像データからなりかつ画像幾何モデル(IGM)に関連付けられている前記画像を、取得し、
(ii)前記画像に関連付けられた3次元座標情報をIGMに基づいて導出し、前記3次元座標情報を前記画像データに関連付け、
(iii)
(A)IGMを使用して前記物体の投影を測定して、前記物体に関する高さおよび/または点間距離を含む測定データを導出し、かつ/または
(B)前記物体の影を測定して、前記物体に関する高さおよび/または点間距離を含む測定データを導出するように前記画像データを分析し、
(iv)前記物体の投影および/または影の測定結果に基づいて3次元測定結果を取得する
ことができるようにするように前記コンピュータに動作可能にリンクされたコンピュータプログラムと
を備えることを特徴とするシステム。
【請求項24】
前記コンピュータプログラムはさらに、前記測定ユーティリティが提供するデータを利用して3次元モデルまたはマップを作成するよう動作可能なモデル生成ユーティリティを定義するように前記コンピュータに動作可能にリンクされることを特徴とする請求項23に記載のシステム。
【請求項25】
前記システムはさらにサーバコンピュータを備え、前記コンピュータプログラムはサーバコンピュータにロードされ、前記サーバコンピュータはネットワークを介して前記コンピュータによりアクセス可能であり、前記サーバコンピュータは前記ネットワークを介して前記コンピュータにある前記測定ユーティリティの機能へのアクセスを提供することを特徴とする請求項21に記載のシステム。
【請求項26】
コンピュータ使用可能媒体であって、
(i)物体の少なくとも1つの2次元単一画像であって、画像データからなりかつ画像幾何モデル(IGM)に関連付けられている前記画像を、取得し、
(ii)前記画像に関連付けられた3次元座標情報をIGMに基づいて導出し、前記3次元座標情報を前記画像データに関連付け、
(iii)
(A)前記IGMを使用して前記物体の投影を測定し、前記物体に関する高さおよび/または点間距離を含む測定データを導出し、かつ/または
(B)前記物体の影を測定し、前記物体に関する高さおよび/または点間距離を含む測定データを導出するように前記画像データを分析し、および
(iv)前記物体の投影および/または影の測定結果に基づいて3次元測定結果を取得する
ように動作可能である測定ユーティリティをコンピュータ上で定義する命令群を備えることを特徴とするコンピュータ使用可能媒体。
【図1a】
【図1b】
【図2a】
【図2b】
【図3】
【図4a】
【図4b】
【図5】
【図6】
【図7a】
【図7b】
【図8a】
【図8b】
【図9a】
【図9b】
【図9c】
【図9d】
【図10a】
【図10b】
【図10c】
【図11a】
【図11b】
【図12a】
【図12b】
【図13a】
【図13b】
【図14】
【図15a】
【図15b】
【図15c】
【図15d】
【図15e】
【図16a】
【図16b】
【図16c】
【図17】
【図18a】
【図18b】
【図19】
【図1b】
【図2a】
【図2b】
【図3】
【図4a】
【図4b】
【図5】
【図6】
【図7a】
【図7b】
【図8a】
【図8b】
【図9a】
【図9b】
【図9c】
【図9d】
【図10a】
【図10b】
【図10c】
【図11a】
【図11b】
【図12a】
【図12b】
【図13a】
【図13b】
【図14】
【図15a】
【図15b】
【図15c】
【図15d】
【図15e】
【図16a】
【図16b】
【図16c】
【図17】
【図18a】
【図18b】
【図19】
【公表番号】特表2007−522443(P2007−522443A)
【公表日】平成19年8月9日(2007.8.9)
【国際特許分類】
【出願番号】特願2006−548058(P2006−548058)
【出願日】平成17年1月14日(2005.1.14)
【国際出願番号】PCT/CA2005/000043
【国際公開番号】WO2005/068936
【国際公開日】平成17年7月28日(2005.7.28)
【出願人】(506245110)ジオタンゴ インターナショナル コーポレーション (1)
【Fターム(参考)】
【公表日】平成19年8月9日(2007.8.9)
【国際特許分類】
【出願日】平成17年1月14日(2005.1.14)
【国際出願番号】PCT/CA2005/000043
【国際公開番号】WO2005/068936
【国際公開日】平成17年7月28日(2005.7.28)
【出願人】(506245110)ジオタンゴ インターナショナル コーポレーション (1)
【Fターム(参考)】
[ Back to top ]