説明

縦続カメラおよび/またはキャリブレーション特徴を含む広いエリア画像を詳細に取り込むシステムおよび方法

【課題】縦続カメラおよび/またはキャリブレーション特徴を含む広いエリア画像を詳細に取り込むシステムおよび方法を提供する。
【解決手段】概観画像が第一の重複度で作成され、詳細画像が少ない重なりおよび第二の重複度で取り込まれるように、概観および詳細撮像デバイスから画像が取り込まれる方法およびシステムが示される。

【発明の詳細な説明】
【背景技術】
【0001】
関連出願への相互参照
この出願は、2008年4月11日に提出された、縦続カメラおよび/またはキャリブレーション特徴を含む広いエリア画像を詳細に取り込むシステムおよび方法と題する、米国特許出願12/101,167号の一部継続出願であり、そのすべての開示は参照によってここに組み込まれる。
【0002】
著作権表示と認証
この特許文書中の考証の部分は、著作権保護に供される材料を包含している。著作権所有者は、特許商標庁のファイルまたは記録に現われるが、他の方法ですべての著作権権利を留保するように、特許文書または特許開示の誰による複製にも反対しない。
【図面の簡単な説明】
【0003】
続く詳細な説明は、本開示の多数の実施形態の一つ以上が示されている添付の図面と一緒に読まれるときに一層よく理解されるであろう。しかしながら、本開示のさまざまな実施形態は、図面に示された正確な構成および機械に限定されないと理解されるべきである。
【図1】図1は、概観および詳細画像を取り込むための代表的システムのブロック図である。
【図2A】図2Aは、概観および詳細画像を取り込むための他の代表的システムのブロック図である。
【図2B】図2Bは、概観および詳細画像を取り込むための他の代表的システムのブロック図である。
【図3】図3は、概観および詳細画像を取り込むための別の代表的システムのブロック図である。
【図4】図4は、カメラポッドシステムの代表的な図である。
【図5A】図5Aは、小さい単発機に装着された外部ポッドを有する一つの代表的実施を示す。
【図5B】図5Bは、外部ポッド内に装着された画像取り込みサブシステムの一つの代表的実施を示す。
【図5C】図5Cは、概観および詳細画像のデータ収集のための航空機の代表的利用を示す。
【図5D】図5Dは、概観および詳細画像の収集のための代表的飛行プランを示す。
【図6A】図6Aは、概観および詳細画像表現を代表的に示している図である。
【図6B】図6Bは、概観および詳細画像表現を代表的に示している図である。
【図7A】図7Aは、概観および詳細画像表現をさらに代表的に示している図である。
【図7B】図7Bは、概観および詳細画像表現をさらに代表的に示している図である。
【図8A】図8Aは、概観および詳細画像を取り込むための代表的システムの二つの実施形態のための代表的カメラ構成を示している表である。
【図8B】図8Bは、概観および詳細画像を取り込むための代表的システムの二つの実施形態のための代表的カメラ構成を示している表である。
【図8C】図8Cは、概観および詳細画像を取り込むための代表的システムの二つの実施形態のための代表的カメラ構成を示している表である。
【図9】図9は、演算/処理システム、ナビゲーション/飛行プランシステム、飛行プランディスプレイおよびカメラポッドシステムが設けられた航空機を示す。
【図10】図10は、一つの実施形態で説明されるようなコントローラーおよびGPSシステムと一緒に作動するノート/ラップトップコンピューターのためのブロック図を示す。
【発明を実施するための形態】
【0004】
詳細な説明
ある用語は、便宜のためだけにここに使用され、本開示の実施形態に対する限定としてとらえられるべきではない。図面において、同じ参照文字および数字が、いくつかの図にわたって同じ要素を指定するために使用されている。
【0005】
単語「右」、「左」、「下」、「上」は、参照される図面中の方向を示す。単語「前方」、「側方」は、地面に対して並進される乗り物、航空機、宇宙機、潜水艦または他のプラットフォームの移動の方向を指す。用語は、上に述べられた単語、それらの派生語および同様の趣旨の単語を含む。
【0006】
画像に関連してここに使用される用語「解像度」は、画像化された物体を区別する能力を指し、解像度は一般にcmで与えられ、地上の物体に関連する。その文脈で使用されるとき、解像度は、地上サンプル距離、解像度セル、地上解像度または地上ピクセル解像度とさまざまに呼ばれ得る。カメラまたは他の撮像デバイスに関連して使用されるとき、解像度は、その撮像デバイスのピクセルの密度を指し得る。この分野の当業者に理解されるように、画像の解像度(地上サンプル距離、解像度セル、地上解像度または地上ピクセル解像度)は多くのパラメーターに依存し、それは、カメラの解像度だけでなく、画像が取り込まれる撮像システム(たとえばレンズ)および動作条件(たとえば高度)を限定なく含む他の変数を含む。
【0007】
地球の航空および衛星影像は、軍事、広告および消費者用途の広い範囲で使用される。多数の撮像用途は、インターネット上の写真影像地図を配給すること、およびそれらの写真地図の生成に基づいたサービス(たとえば地図および指示、不動産評価)を含む。一般に、写真影像地図および最新更新写真地図の需要は増大している。しかしながら、写真地図の生成のための現在のシステムはしばしば、他の欠点に囲まれて、過度に複雑なコンポーネントを伴う、高い資本支出を必要とする、および/または、高い運転費用を有する。それらは、短い時間フレームおよび動作レジームでの撮像を達成することができないか、現在望まれる高解像度を提供することができない。
【0008】
一般に、既存の写真測量撮像の解決策は、効率的な手法で十分な量の適切な高解像度データを取り込む能力の無さのために、よりタイムリーでより高い解像度撮像のための増大する需要を満たさない。ここで新機軸に関係するある側面と一致する原理によれば、空中写真測量に使用されるカメラシステムは二つの相反する要求に応えなければならない。
【0009】
第一に、(外部定位として知られる)空間内の位置と視角が正確に計算されることに加えて、(内部定位として知られる)カメラシステムのレンズおよび合焦システムのパラメーターが重要である。バンドル調整として知られる写真測量の解決策は、カメラと、カメラによって撮られた各写真について、内部および外部定位情報を計算するために使用され得る。そのような計算はしばしば、シームレス写真地図に個々の写真を融合することを可能にするための事前要求を示す。要求レベルの精度を達成する一つの方法は、写真間に大量の重複データをもたせて、多数の画像を撮ることである。それから、カメラ内部および外部のパラメーターを計算するために、多数の写真に見られる共通の特徴、共通の要素、共通の地点または画像要素が識別され使用され得る。しかしながら、写真間の大量の重複データをもってしても、共通の地点または画像要素は移動することや外見が異なる(たとえば、照明の変化による異なる陰影)ことがあり、それは共通の地点または画像要素の間の相関計算を困難にするので、写真が異なる時刻にまたは異なる条件(たとえば、異なる高度、一日の異なる時刻)で撮られたならば、共通の地点または画像要素を識別することは難しいこともある。
【0010】
第二に、空中写真測量は素早く完了されることが望まれる。これは、異常気象などの不利な環境または測量の条件から生じる、運転費用の低減や遅延の最小化などのいくつかの利点を提供する。毎時kmで測定される、取り込まれる地上エリアの量を増大させる有効な方法は、写真地図を生成するために続いて使用される詳細な高解像度写真の間の重複性の量を最小にすることである。
【0011】
そのため、画像間の重複性を増大させて画像の正確な写真測量の位置決めを可能にする望みが、写真間の重複性を減少させて測量を低いコストで完了させる望みと比較検討されなければならない。
【0012】
航空写真地図データの収集は、航空撮像デバイス(たとえばカメラ)を装備した航空機を、比較的まっすぐな経路に沿って飛行し、元の経路から側方移動を伴って平行戻り経路を飛行するように航空機を180°旋回させ、地上の指定エリアが写真撮影されるまでこのパターを繰り返すことを内包する飛行プランに沿って、飛行させることによって実施され得る。この分野の当業者に理解されるように、画像や写真は、前方重なりを有する複数の写真を作成するために飛行プランのまっすぐ部に沿って周期的間隔をもって取り込まれ、また、飛行プランは、取り込まれる複数の画像が側方重なりを有するように設計される。
【0013】
画像の重なりは、多数の機構によって作成され得る。たとえば、乗り物(たとえば航空機)で軸に沿って並進されたり地面の上方に移動されたりする撮像システムは画像を周期的に取り込み得る。取り込まれる画像(写真)間のタイミングは、移動の方向に写真が重なりを有するように調整され得る。前方方向の移動から生じる重なりは共通して前方重なりと呼ばれる。そのようなシステムで次々に撮られる、前述の前方重なりを有する写真は、連続または隣接写真と呼ばれ得る。往路と復路を有する飛行プランでは、側方重なりは、往路および復路に沿って取り込まれる画像が所望の程度の重なりを有するようにそれらの経路の間隔を空けることによって作成される。飛行経路の前方および復路の間隔から生じる重なりは、共通して側方重なりと呼ばれる。最後に、複数の撮像システムまたはカメラは、撮像取り込み(たとえばカメラ)システムの機械的配置のために取り込まれる画像間に重なりが作成される状態で下方の地上の異なるエリアを指すように、画像取り込みシステム内に配置され得る。
【0014】
前方および側方重なりの量は用途ごとに変更されてよいけれども、現在の航空地図作成システムの共通重なりは80/30であり、それは、飛行ラインに沿った連続写真に80%の前方重なりと、飛行ラインに平行な隣接する写真に30%の側方重なりを有する。そのような構成では、一つの飛行ラインで前方並進中に画像を連続して取り込むことは、各画像の20%だけが新しい情報を含むことをもたらす。この手法でデータを収集することは、特徴、画像要素または共通の地点がおよそ五つの画像内に識別されることを可能にする。前述の例における重複性の点では、その共通エリアの任意の地点、ピクセル、ピクセルのセット、要素、画像要素、物体または特徴は、4の重複性(その地点または物体のオリジナル足す四つのさらに識別可能な画像)を有している。そういうものとして、80%の重なりを有している一つのセットの連続画像は、4の重複性を有していると見なされ得る。一般に、重複性は、(一つのセットの画像において)ある地点が平均で現れる画像の枚数ひく一と説明され得る。重複して取り込まれた地点は画像要素として使用されてもされなくてもよいが、そのような地点またはピクセルはセット内の多数の画像に現われる。この分野の当業者に理解されるように、重複性の高い値のために、ある地点が平均で現れる画像の枚数(n)は、ほぼ重複性(n−1)である。複数セットの画像の重複性情報の量は側方重なりによってさらに増大し、最終写真地図の見地からは、新しい情報を含んでいるのは各画像のおよそ14%だけであり、およそ86%の画像情報が重複している。この分野の当業者に理解されるように、前方重なり、側方重なり、または他の操作または機械的な構成によって生成される重なりであろうがなかろうが、重なりを増大させることは、複数セットの画像の重複性を増大させる。
【0015】
本システムおよび方法の一つの実施形態では、概観画像および詳細画像を取り込むために少なくとも二つの撮像システム/サブシステムが使用される。別の実施形態では、概観画像を第一の解像度レベルで、また詳細画像を第二の解像度レベルで取り込むために少なくとも二つの撮像システム/サブシステムが使用され、第二の解像度レベルは第一の解像度レベルよりも高い(より画像詳細)。図1に示されるように、第二のシステム120によって取り込まれる詳細画像122、124および126は、第一のシステム110によって取り込まれる概観画像112の取り込みエリア内に部分的にまたは完全にある。第一および第二のシステム110および120は、X軸115に沿って一般に並進され得る。図5Cおよび5Dは、典型的な飛行測量経路に沿った飛行機からからの詳細および概観画像の取り込みをそれぞれ示す。画像は、重要な重なりが概観画像に存在するが、詳細画像の重なりが概観画像の重なりの量に対して著しく低減または最小化されるように収集される。同様に、本システムおよび方法の一つ以上の実施形態における詳細画像の重なりの量は、他の従来の写真地図撮像システムで得られる画像に対して大幅に低減される。概観画像に著しい量の重なりを有していることによって、それらの低い解像度画像に高い重複性が存在し、その重複性が、写真地図生成に関する画像処理に使用される。詳細画像は、写真地図にとって所望の解像度にあり、大きく少ない重複性を有し、それにより、それらの画像のための記憶および処理の要求を低減する。
【0016】
重複性または重なりのレベルが大きいほど、カメラシステムのための外部および内部定位を正確に計算する能力を向上させる。しかしながら、最終写真地図を作成するために必要とされるよりも著しく多くの画像データが取り込まれるので、増大された重複性は、最終写真地図を作成する際に大部分が浪費される。この過剰なデータの収集は、飛行機で測量する際の時間とコストを増大させる。たとえば、従来の航空撮像システムが80/30重なりを使用して10cmの地上ピクセルサイズ写真地図を作るのに十分な高度で飛行機で運ばれるならば、約100テラバイト(TB)の画像データが、約14TBのサイズの最終写真地図を生成するために収集される必要がある。そのため、10cmの地上ピクセル解像度画像は、およそ6(各画像のおよそ14%だけの新しい情報に対応する)の重複性を有し、また、それらの画像は、最終写真地図の生成のほかに、カメラシステムの外部および内部定位の計算の両方に役立つ。
【0017】
一方、本方法およびシステムの使用は、極低唯一エリアが写真(約1%)ごとにカバーされる100cmの地上ピクセルサイズを高い重複性(たとえば98)で提供する第一のカメラシステムと、80%の写真ごと高唯一エリアで10cmでの高解像度を提供する第二のカメラシステムの使用を可能にする。この技術およびシステムを使用することは、高い重複性写真設定に対しておよそ15TB、低重複性写真設定に対しておよそ15TBを、30TBよりも少ない総記憶要求に対して必要とするであろう。さらに、低い解像度写真における高い重複性(98)のために、次の処理は、より高い解像度でのより低重複性画像におけるよりも、より高い強健さ(より少ない誤差)とより高い精度を達成し得る。たとえば、従来のシステムが0.5のピクセルの二乗平均平方根(RMS)誤差を有するならば、絶対地上誤差は5cm(0.5*10cm)になる。本方法およびシステムを使用すると、高い重複性写真は、0.1*100cm=10cmの絶対地上誤差に対して、0.1のピクセルの次の処理RMSを可能にし得る。これは、高詳細画像を高い重複性画像内に配置することによってさらに改善され得、先のシステムと同等またはそれよりも少ない絶対地上誤差レベルを達成する能力をもたらす。
【0018】
一つの実施形態では、本方法およびシステムは多数のカメラセットの使用を使用し、各カメラセットは潜在的に多数のカメラを備えている。そのため、解像度は、現在のカメラシステムの解像度に限定されない。たとえば、Vexce社によって提供されるものなどの現在のカメラシステムは300のメガピクセルの解像度を有し得るが、これは、超硬質プラットフォームに装着され、あらかじめ較正された多数のカメラの使用によって達成される。本方法およびシステムを使用すると、超高解像度(たとえば10ギガピクセル)の仮想カメラシステムを作成することが可能である。
【0019】
空撮のための過酷な要求のために、カメラシステムは一般に特別の空撮用途のために特注される。従来のシステムは、商用オフザシェルフ(COTS)コンポーネントの利点を享受し得ず、比較的低コストの(絶えず低下している)プロ仕様デジタル一眼レフ(D−SLR)カメラなどの先進デジタル写真技術の利点を享受し得ない。双発ターボプロップ航空機の使用を必要とする従来の取り組み手法の高重量かつ高コストのカメラシステムは、運転コストの上昇をさらにまねき、航空機は、セスナ210などの一般的単発商用航空機よりも運転するのに著しくより高価である。さらに、従来システムの使用は一般に、カメラ装着のための航空機のカスタム修正を必要とする。これとは対照的に、本方法およびシステムは、ある実施形態では、双発航空機よりも運転コストが低い単発機の使用を可能にし、また航空機フレームの修正を必要としない。
【0020】
本方法およびシステムの高解像度デジタル画像を使用することは、空撮写真地図測量に取り込まれ得る。データ収集回数は、現行システムに対して著しく低減され得る。そのため、資本および運転費用は低減され得、天候が許せば、飛行測量は速やかにおこなわれ得る。ある実施形態では、高解像度測量は高高度から取り込まれ得、それにより、航空交通管制への衝撃を低減し、飛行測量士のためのよりスムースな飛行条件を提供し、パイロットの作業負荷を一般に低減する。
【0021】
加えて、異なるタイプのカメラまたは異なる角度で使用されるカメラが、異なる解像度および重複度の画像を収集するために利用され得る。たとえば、写真測量用途のための画像データの収集では、高い重複度で比較的低い解像度で概観画像を収集するために頭上カメラが使用され得、低い重複度で高解像度データを収集するために傾斜カメラが使用され得る。カメラおよび解像度/重複性の他の組み合わせもが、他の用途のほかに写真測量の用途の両方のために可能である。本方法およびシステムを使用すると、天底写真図、傾斜写真地図、赤外線写真地図または測量要求によって必要とされる他の組み合わせを生成するために異なるタイプのカメラが組み合わされてもよい。
【0022】
詳細および概観カメラのシステムとしてここに説明されるが、異なる解像度および異なる重複性の量で動作する画像取り込みシステムの縦続を形成するためにカメラ(または他のタイプの画像取り込みデバイス)の追加セットが組み込まれ得る。より高い解像度画像よりも低い解像度で高い重複度を有していることによって、より高い解像度画像の重複性の量を同時に最小化しながら、画像処理(たとえばバンドル調整、デジタル立面地図生成)のための適切な量の重複性を有することが可能である。たとえば、ここに説明される方法およびシステムは、三セットのカメラ、高い重複性で低い解像度で動作する第一のカメラセットと、中間の重複性で中解像度で動作する第二のカメラセットと、低い重複性で高解像度で動作する第三のカメラセットが利用され得る。一般に、カスケージングは、異なる重なり度、解像度および/または重複性で画像を取り込む多数のカメラセットを使用しておこなわれ得、より低い解像度の結果の画像のセットは、より高い解像度で撮られた画像のセットよりも高い重複性を有している。この分野の当業者に理解されるように、カメラの縦続は、特定の物理的配置への限定なく、n個のカメラまたはnセットのカメラに拡張され得る。カメラの縦続は、より高い解像度画像では重複性がより低いことと矛盾せずに、スペクトルの解像度で画像を作成し得る。直線に、アレイ(行および列構成)に、または倍率の階層に組織されてもされなくても、結果が、異なる地上解像度を有している複数の取り込み画像であれば、1セットのカメラは、縦続手法で組織されると見なされ得る。一例として、異なる地上解像度で、または異なる倍率で異なる地上解像度で画像を取り込むことにより、アレイ状に配置された4セットのカメラが、縦続手法で組織され得る。カメラが、同じ地上エリアまたは重なり地上エリアをカバーするように組織されるならば、取り込み画像の間に重複画像データがある。
【0023】
この分野の当業者に理解されるように、画像が取り込まれた後に、これらのまたは従来技術の方法によって、写真地図またはデジタル立面地図などの多数の用途を作成するために写真測量ツールを使用して処理され得る。そのような処理に使用される共通のソフトウェアプログラムは、これに限らないが、Inpho株式会社によって販売されているMatch−AT三角測量ソフトウェア、BAEシステムズ(登録商標)によって商標Socet Set(登録商標)の下で販売されるデジタルマッピングソフトウェア、GIP株式会社によってBINGOとして販売される写真測量バンドル調整ソフトウェアに統合されるSocet Set(登録商標)ソフトウェア、ERDAS(登録商標)によって販売されるERDAS ERマッパー画像処理ソフトウェアを含む。加えて、さまざまな販売者によって販売される種々様々な画像処理および三角測量ソフトウェアがデータを処理するために使用され得る。
【0024】
概観および詳細画像取り込みのための撮像システム/サブシステムは、画像取り込みに好適な乗り物(たとえば航空機、宇宙船、潜水艦、気球)に共同配置され得るか、個別のプラットフォームに配置されてもよい。いくつかの実施形態では、概観および詳細撮像システムは、小型機に付くハウジング(たとえばポッド)内に共同配置される。一つ以上の実施形態では、概観および詳細画像は実質的に同時に取り込まれる。画像取り込み信号は、詳細および概観画像の近同時取り込みを促進するタイミングシステム/サブシステム(たとえばシステムコントローラ)から生成され得る。
【0025】
本システムおよび方法の一つ以上の実施形態では、概観画像は、前方方向に50%以上の連続取り込み概観画像(以下、連続概観画像と呼ぶ)の重なりがあるように収集される。代替実施形態では、前方方向の連続概観画像の重なりは少なくとも90%である。一つの実施形態では、前方方向の連続詳細画像の重なりは0%ないし20%の範囲内にある。この分野の当業者に理解されるように、連続詳細画像の重なり度が連続概観画像の重なり度よりも著しく低いことに準じる重なりの他の組み合わせの他の実施形態も可能である。
【0026】
本方法およびシステムの一つの実施形態では、第一の画像取り込みシステムが概観エリアの概観画像を取り込むために使用される一方、第二の画像取り込みシステムが、実質的に同時に、前記概観エリアの少なくとも一部の詳細画像を取り込み、概観画像間に重複性が存在し、詳細画像間に重複性が存在する。
【0027】
重複性に関して、一つの実施形態では、概観画像の重複性は10よりも大きいのに対し、詳細画像の重複性は10以下である。別の実施形態では、詳細画像の重複性はゼロに近づく。また別の実施形態では、詳細画像の重複性は時たまゼロよりも小さく(負であり)、これは、取り込み画像にすき間があることを示す。概観画像の高い重複性のために、詳細画像のすき間は、次の画像処理によって再創造または充てんされ得る。
【0028】
この分野の当業者に認められるように、重複度は、画像が収集される環境または条件に応じて変更され得る。低い視程または急速に変化する環境では、重複度は非常に高い必要がある。たとえば、霧が立ちこめた/ほこりっぽい状態では、または水面下の用途では、解決策は、より大きい重複性の方へ偏らされ得る。これは、より多くの概観カメラの使用を含むさまざまな機構により、または(ビデオフレームレートにさえ近づく)より頻繁な画像取り込みによって実施され得る。水面下の用途の場合では、ビデオ周波数の近くで動作する多数の270°センサーが、超高い重複性で概観タイプ画像を収集するために使用され得る一方、超高解像度/低重複性画像を撮るために単一カメラが使用され得る。反対に、経時変化が少ない環境(たとえば宇宙からの惑星全体の眺望)では、概観画像の重複度は低減され得るだろう。
【0029】
一つの用途では、概観および詳細画像は同時に収集され、したがって、重複画像が十分に多数の潜在的共通特徴、共通要素、共通の地点または画像要素を含むことを確実にし、物体の移動または照射の変化の影響を最小にする。別の実施形態では、概観および詳細画像は、ほぼ同じ位置から取り込まれる。また別の実施形態では、概観および詳細画像は、ほぼ同じ位置から同時に取り込まれる。
【0030】
本システムおよび方法の一つ以上の実施形態では、画像取り込みシステム/サブシステムはデジタルカメラを利用する。一つ以上の実施形態では、デジタルカメラはCMOSベースカメラまたはセンサーである。代替実施形態では、押しぼうき(push broom)センサーが使用され、また別の実施形態では、手ぼうき(whisk)センサーが画像を取り込むために使用される。アナログフィルムシステム、点または線スキャンナ、CCD撮像アレイ、他のIII−VまたはII−VIベース撮像デバイス、超音波イメージャー、赤外線(サーモグラフィック)イメージャーを含むがこれらに限定されない概観および詳細画像の両方の画像取り込みのための他の機構が利用され得る。イメージャーは、電磁線の受け取りに基づいて動作し、電磁スペクトルの赤外線、可視、または他の部分で動作し得る。大きい構成および多数のレンズ、多数の検出器、および多数の検出器/レンズシステム、たとえば、グルーバーらの米国特許第7,009,638号およびタナカらの米国特許第5,757,423号に説明されたものが、参照によってここに組み込まれ、概観または詳細画像を取り込むために使用され得る。加えて、TRACK’AIR社によって提供されるマルチカメラ統合デジタル取得システム(MIDAS)などの多数画像収集システム、また、詳細メートル傾斜視界を提供するように構成された他のシステムが採用され得、本方法およびシステムへ組み込まれ得る。
【0031】
本システムおよび方法の一つ以上の実施形態では、画像取り込みシステム/サブシステムに供給され、概観および詳細画像の取り込みを引き起こす画像取り込み信号を生成するためにタイミングシステム/サブシステムが利用される。一つ以上の実施形態では、タイミングシステム/サブシステムは、ケーブルによってまたは空間を介して(たとえば無線で)画像取り込みシステム/サブシステムに送信され得る電子または光学信号を生成する適切なソフトウェア、ファームウェアおよび付随ハードウェアを備えたマイクロコントローラーまたはマイクロプロセッサーに基礎付けられる。あるいは、GPSベースのナビゲーションシステムなどのナビゲーションシステムと一緒にまたは単独で働く専用電子ハードウェアデバイスが、画像取り込み信号を生成するタイミングシステム/サブシステムとして動作し得る。一つ以上の実施形態では、画像取り込み信号は、コンピューター(たとえばラップトップまたは高耐久性コンピューター)の形態のシステムコントローラーで生成され、概観および詳細カメラのための撮像システムを形成するデジタルカメラによって受信される。(一般に長さが異なる)ケーブルによる信号の伝送には固有の歪みがあり、またデジタルカメラには、一つ以上の同期画像取り込み信号の使用は画像の実質的に同時の取り込みをもたらすけれども、画像の実際の取り込み時間に変差があるような固有の遅れがある。
【0032】
一つ以上の実施形態では、画像取り込み信号は、タイミングシステム/サブシステムから発せられる一方向の信号であり、画像取り込みシステム/サブシステムからの復帰信号は必要でない。同様に、画像取り込みデータは、撮像デバイス(たとえばデジタルカメラ)にローカルに保存され得、撮像デバイスからコントローラーまたは他のデータストレージデバイスに画像データが戻される必要はない。画像のストレージのために使用されるデータストレージは、これらに限定されないが、フラッシュメモリー、静的ランダムアクセスメモリー(SRAM)、ダイナミックランダムアクセスメモリー(DRAM)などの固体状態メモリー素子、テープ、磁気ドラム、コアメモリー、コアロープメモリー、薄膜メモリー、ツイスターメモリーおよびバブルメモリーを含むがこれらに限定されない磁気ストレージデバイス、ハードまたはディスクドライブおよびフロッピー(登録商標)ドライブを含むがこれらに限定されない電気磁気ストレージデバイス、写真フィルム、ホログラフィックメモリーデバイスおよびホログラム、および光ディスクを含むがこれらに限定されない光学ストレージデバイス、および磁気光学ドライブおよびデータストレージを含む。
【0033】
図1は、本方法およびシステムに関するある側面に準じる代表的システム100のブロック図である。図1を参照すると、システム100は、少なくとも一つの概観画像112を取得する第一のシステム110と、詳細画像122,124,126を取得する第二のシステム120を備え得る。システムは、図1に示されるようにxy座標系に、またX軸115とY軸114にしたがって方向づけられ得る。一つの実施形態では、撮像デバイス(たとえばカメラ)が複数の詳細画像122,124,126を詳細軸に沿って取り込むように構成され、詳細軸130はY軸114とほぼ平行となっている。
【0034】
第一および第二のシステム110および120は各々、一つ以上の画像取り込みデバイスたとえばカメラ(この開示の全体にわたって、広義の用語「画像取り込みデバイス」は、限定ではなく、便宜上しばしば「カメラ」と呼ばれる)を有していてよい。さらに、撮像アレイが、画像を取り込むために使用される個々のセンサーの配列によって作られ得、個々の画像取り込みデバイスまたはカメラとして働き得る。個々のカメラまたは画像取り込みデバイスは、線形配列に配列されたり、地上の異なるエリアを取り込むように軸に沿って配列され角度を変えて設置されたり、マトリックスまたはアレイ(行および列)構成に配列されたりし得る。画像取り込みデバイスが隣接または近い画像エリアを重ねてまたは重ねずに取り込むように配列されたとき、デバイスは隣接手法で配列されていると見なされ得る。
【0035】
一つの実施形態では、第一のシステム110および第二のシステム120はx方向に並進され、第一のシステム110によって取り込まれる連続概観画像には高い重なり度が作成され、第二のシステム120によって取り込まれる連続詳細画像にはより低い重なり度が作成されるように画像が周期的に取り込まれる。いくつかの実施形態では、不必要なデータストレージおよび処理の必要性を作り出すことなく概観画像内に高い重複性を生成するために、概観画像は詳細画像よりもより低い解像度を有する。
【0036】
図1に示されるように、撮像システムまたはカメラの物理的な配列のため、詳細軸130の方向に詳細画像122は詳細画像124との重なりをいくらか有し、詳細画像124は詳細画像126との重なりをいくらか有する。この分野の当業者に理解されるように、画像の周期的取り込みに伴うX軸115に沿った第一のシステム110および第二のシステム120の並進は、地上のひと刈りまたは帯が詳細画像122、124および126内に撮像されることを可能にし、その重なりは、地上のひと刈りの幅に相当する連続帯を詳細画像が取り込むことを確実にする。画像の周期的な取り込みを伴う第一のシステム110および第二のシステム120の移動または並進は、詳細画像レベルでの第一の程度の前方重なりを有する連続的帯/ひと刈りの取り込みと、第二の程度の前方重なりを有する概観画像の取り込みをもたらし、第二の重なりの程度は第一の重なりの程度よりも高い。
【0037】
代替実施形態では、第一のシステム110および第二のシステム120はY軸114に沿って並進される。また別の実施形態では、第一のシステム110は第二のシステム120と別々に並進される。また別の実施形態では、概観画像112と詳細画像122、124および126は、第一のシステム110と第二のシステム120から個別の時刻にそれぞれ取り込まれる。
【0038】
さらに、第一および第二のシステム110,120は、硬質または半硬質マウントに装着された多数のカメラの縦続または隣接グループなどのデジタル画像取り込みデバイスのアレイを有し得る。この分野の当業者は、そのような装着の詳細は代表例であることを認めよう。たとえば、用語硬質または半硬質装着システムは、単一のカメラまたは複数のカメラなどの撮像システムの相対位置を正確に規定することができるあらゆる装置を記述し得る。そのような装着システムは多数の方法で構築され得る。たとえば、装着システムは、ポッド内にカメラを装着するなどの剛性構造体で構成され得る。それは、衛星間で相対的カメラ位置を規定するローカル照合システムを備えた多数の別個の航空または衛星システムに装着されたカメラなどの、互いに独立であるが正確な相対位置に保持されるカメラを備え得る。あるいは、第一のシステム110が低い解像度撮像アレイから成ってもよく、また第二のシステム120が一つ以上の高解像度撮像アレイから成ってもよく、アレイの構成および撮像は、第一のシステム110の低い解像度撮像アレイが概観画像112を取り込み、高解像度撮像アレイが詳細画像122、124および126を取り込むように選択される。
【0039】
図1のシステム100はまた、システム110,120および/またはそれらの画像取り込みデバイスの間に存在してよいさまざまな構成に関する代表例である。たとえば、図2A〜2Bは、ここに開示された方法およびシステムに準じる第一のシステム110および第二のシステム120の異なる構成を示すブロック図である。図2Aおよび2Bの両図において、撮像システム210Aおよび220Aは、それぞれ、第一のシステム110および第二のシステム120と共に使用される。図2Aは、第一のシステム110および第二のシステム120は、航空プラットフォームなどの固定位置に、限定なく固定翼航空機またはヘリコプターに、衛星高高度または宇宙ベース観察プラットフォームに、船や潜水艦や他の海中船などの海洋進行艇に配置された実施を示す。この実施形態では、第一のシステム110と第二のシステム120は、互いに近くに配置され、一緒に移動される。他の用途では、ほぼ近くに配置された第一のシステム110と第二のシステム120は、地上観測、地空観察、海中撮像または顕微鏡撮像に使用される。
【0040】
図2Bは、第一のシステム110が第二のシステム120とは別々に位置決めされる実施形態を示す。この実施形態では、第一および第二のシステムは独立して維持されるが、それら二つ(またはそれよりも多く)のシステムの互いの相対的な位置が正確に知られるまたは計算される。物理的構造体では、これはポッド密閉容器などの硬質装着体によって実施され得る。あるいは、第一のシステム110と第二のシステム120の間の相対位置のトラッキングは、二つの完全に独立したプラットフォームの使用を考慮に入れてもよい。一つの実施形態では、第一の航空機または他のタイプの乗り物が第一のシステム110を使用して概観画像を作成する一方で、第二の航空機または他のタイプの乗り物が第二のシステム120を使用して詳細画像を作成してもよい。航海または慣性誘導システムが、システムの相対的ポジショニングを決定するために利用され得る。また別の実施形態では、システムは、多数の別個の衛星システムに装着され、ローカル照合システムが、衛星間の相対的カメラポジショニングを規定するために使用される。
【0041】
図3は、ここに新機軸に関係するある側面に準じる別の代表的システムのブロック図である。図3に示されるように、単一のプラットフォームまたはモジュール310が、第一のシステム110と第二のシステム120の両方を包含または具体化し得る。単一のプラットフォームは、第一のシステムと第二のシステムが固定的に取り付けられ、一緒に並進または移動され得るどのような構成または構造であってよい。さらなる実施によれば、プラットフォーム310はまた、第一および第二の画像取り込みデバイスまたはカメラのさまざまな構成および/またはアレイを有し得る。図3に関して、画像取り込みシステム210Aおよび210A’は、概観画像を第一の解像度で取り込む第一の撮像システムを表わす。画像取り込みシステム210Aによって示されるような概観画像を第一の解像度で取り込む画像取り込みシステムの数は拡張され得、複数のカメラまたは他の撮像デバイスが概観画像112を作成するために使用され得る。一つの実施形態では、第一の撮像システム210A、210A’ないし210Aの各々が完全な概観画像112を撮るために使用されるが、代替実施形態では、第一の撮像システム210A、210A’ないし210Aが概観画像112の一部を撮り、それにより概観画像全体の集まりを支持するように構成される。一つの実施形態では、第一の撮像システム210A、210A’ないし210Aは詳細軸130に沿って配置される。代替実施形態では、第一の撮像システム210A、210A’ないし210Aは、アレイ構成において、または概観画像112に取り込まれるべき概観エリアの区域を提供する他の任意の配列において、X軸115に沿って配置される。前に論じられたように、撮像デバイスの配列および/またはアレイは、解像度のスペクトルを生成する撮像システムの縦続を作り出すように構成され得、重複性は一般に解像度の増大とともに減少する。
【0042】
図3を再び参照すると、詳細画像122、124および126は、概観画像112よりも高い解像度を有し、第二の撮像システム220A、220A’および220Aで取り込まれる。一つの実施形態では、詳細画像122、124および126は、詳細軸130に沿って整列した重なり詳細画像であり、詳細軸130はY軸114に実質的に平行である。他の実施形態では、第二の撮像システム220A、220A’および220Aはすべて、アレイ構成において、または詳細画像122、124および126などの詳細画像の取り込みを可能にする他の重なりまたは非重なり構成において、X軸115に沿って配置される。
【0043】
一つの実施形態では、第一の撮像システム210A、210A’ないし210Aと第二の撮像システム220A、220A’および220Aはすべて、スペクトルの可視部で動作するデジタルカメラなどの同一タイプの撮像システムに基礎付けられる。代替実施形態では、第一の撮像システム210A、210A’ないし210Aおよび第二の撮像システム220A、220A’および220A内の個々の撮像システムは異なる。たとえば、第一の撮像システム220Aはスペクトルの可視域で動作してもよく、一方、第二の撮像システム220A’はスペクトルの赤外線部で動作してよい。同様に、第二の撮像システム220A、220A’および220Aは、(たとえば可視や赤外の)異なるタイプであってもよく、詳細画像122が、二つ以上の撮像システムの各々によって二度以上取り込まれるように組織されてもよい。この分野の当業者に理解されるように、詳細画像122、124および126は、(たとえば可視や赤外の)多数のタイプの撮像システムによって取り込まれてもよく、または各詳細画像は、ただ一つのタイプの撮像システムによって取り込まれてもよい。
【0044】
図4を参照すると、単位モジュール400が開示され、それは、第一の概観カメラ視界411Aに対する第一の概観カメラ410Aと、第二の概観カメラ視界411Bに対する(図4に示されない)第二の概観カメラと、第一の詳細視界421Aに対する第一の詳細カメラ420Aと、第二の詳細カメラ視界421Bに対する第二の詳細カメラ420Bと、第三の詳細カメラ視界421Cに対する第三の詳細420カメラCと、第四の詳細カメラ視界421Dに対する第四の詳細カメラ420Dと、第五の詳細カメラ視界421Eに対する第五の詳細420カメラEと、第六の詳細カメラ視界421Fに対する第六の詳細420カメラFと、第七の詳細カメラ視界421Gに対する第七の詳細カメラ420Gと、八の詳細カメラ視界421Hに対する第八の詳細カメラ420Hと、第九の詳細カメラ視界421Iに対する第九の詳細カメラ420Iと、第十の詳細カメラ視界421Jに対する第十の詳細420カメラJと、第十一の詳細カメラ視界421Kに対する第十一の詳細カメラ420Kを有する。ローカルデータストレージが各カメラで使用され、それにより、中央ストレージまたはストレージ位置に書き込む必要性を除去してもよい。ローカルデータストレージは、フラッシュまたは他のタイプの不揮発性メモリー、揮発性メモリー、そのメモリー、ディスクドライブ、または他のタイプのデジタルストレージ媒体またはシステム内に情報を保持するための関連システムを含むがこれらに限定されないどのようなタイプのデジタルメモリーで構成されてもよい。あるいは、複数のカメラがローカルメモリーを共有してもよい。後者に関連して、ここにおける新機軸のいくつかは、取り込まれた写真が中央ストレージシステムに送信され記憶されることを必要とせずに、各カメラと共同して画像を圧縮および/または格納する特徴を有する。各カメラでの写真の並列圧縮およびストレージは、カメラシステムの最大スループットおよびストレージを増大させ、それは、測量がより速い速度で進むようにし、より多くのデータが格納され、飛行時間が増大されるのを可能にする。各カメラでのそのような並列圧縮およびストレージはまた、各カメラでのコンパクトフラッシュ(登録商標)または他の固形状態媒体の使用を可能にし、ストレージの信頼性を増大させる。
【0045】
既存のデジタル撮像システムは一般に、中央ストレージシステムに保存される12ないし16のビットデータとして生のリニアセンサーを格納する。対照的に、各カメラで並列に圧縮をおこなうことによって、データはYCbCrなどのガンマ色空間に変換され得る。これは、データが8ビットデータとして保存されることを可能にし、増大したビット深度が一般に生のリニアデータに単に必要とされ、各カメラのデータストアへのストレージに先立つ画像の圧縮をさらに可能にする。ガンマ色空間への変換および圧縮は、ストレージ空間要求の10倍の低減を可能にする。たとえば、14台のカメラを有するシステムでは、各々が32GBのコンパクトフラッシュメモリーカードを備え、合計で448GBのストレージが、生の非圧縮写真データのストレージのおよそ4,500GBまたは4.5TB以上と等価になり得る。並列操作は、カメラから飛行コントロールコンピューターシステムに画像データまたは他の信号が送信される必要性を除去し、カメラシステムの取り込みレートを増大させ、それにより、後処理要求を低減し、ケーブルや信号要求を低減することによって強健さを増大させる。
【0046】
飛行プランおよび画像取り込みタイミングサブシステムが、図4に示されたものなどのカメラに送られる一つ以上の取り込み信号を生成するために使用され得る。一つの実施形態では、単一の取り込み信号が、飛行プランおよび画像取り込みタイミングサブシステムから各カメラに送られる。しかしながら、ケーブルの長さ、カメラの遅延時間の違い、および他の変数が、わずかに異なる時刻に写真が撮られることを招き得る。さらに、カメラのローカルクロックが不正確であったりドリフトを示したりすることがある。
【0047】
一つの実施形態では、CMOS画像センサーアレイを一般に含むデジタルカメラが概観および詳細画像を取り込むために使用される。代替実施形態では、光学センサーのリニアアレイで構成される押しぼうきセンサーが、詳細画像を撮るために使用され、また詳細画像取り込みシステムとして役立ち得る。別の実施形態では、手ぼうきまたはスポットライトセンサーが詳細画像を生成するために使用され得る。手ぼうきセンサーを使用するとき、一つのミラーベースまたは他のタイプの走査系が、センサー上に一つのスポットの像を作ることにより画像を作成する。走査系は、走査速度がカメラシステムを運ぶ乗り物の前方運動と適切に同期し、適切な解像度の詳細画像を作成するようにタイミングおよび航海システムに統合され得る。
【0048】
この分野の当業者は、詳細カメラの(すなわちカメラとアレイの両方の)量は所望の画像結果を提供するように調節され得ることを認めるであろう。そのような実施に準じる利点は、鉛直または傾斜(高いまたは低い)画像またはそれらの組み合わせなど、異なる測量要求を目標に定めるモジュール400を構成および/または再構成する能力を有する。この分野の当業者に理解されるように、鉛直画像または写真は、カメラ軸が可能な限り鉛直近くに向けられて撮られたものであるのに対して、傾斜画像または写真は、カメラ軸が意図的に鉛直線から遠くに傾けられて撮られた画像または写真を言う。さらに、この分野の当業者は、大俯角傾斜画像または写真は一般に水平線を含むのに対して、小大俯角傾斜画像または写真は一般に水平線を含まないことを理解するであろう。
【0049】
図4を参照すると、複数のカメラは、カメラがモジュール軸450に沿ってほぼ整列されるように単位モジュール400内に配置され得る。一つの実施形態では、モジュール軸450は、図3のX軸115に実質的に平行であり、それは一般に航空機または他の乗り物の前進移動の方向である。この実施形態では、詳細軸130(図4に示されない)はモジュール軸450に実質的に垂直であり、詳細カメラは、図3のY軸114に実質的に平行である画像のひと刈りを作成するように構成されている。
【0050】
図8Aおよび8Bは、一つの実施形態で使用され得るカメラ装置の詳細の例を提供する。ここに開示される特定の例は、ここに開示される方法およびシステムを限定するように解釈されるものではなく、またどんな点でも制限するものではなく、それらは撮像システムの多くのタイプおよび形態に適用され得る。たとえば、代表的構成は参照のキャノンまたはニコン機器を述べるが、他のタイプの撮像機器またはそれらの組み合わせ、またはカメラグループ、レイアウトまたはレンズの異なる組み合わせが利用されてもよい。一つの実施形態では、カメラは、図8Aの表Iに記されるように、概観カメラ(キャノンまたはニコンブランドのカメラ)が、鉛直下方を指す28mmレンズを備えたカメラの形態の鉛直概観カメラと、鉛直線から35度の角度で機尾(航空機または他の乗り物の移動の方向の反対側)を指す28mmレンズを備えた後方概観カメラから成るようにグループ分けされる。この実施形態では、キャノンの高解像度カメラは、−19°,−9.5°,0°,9.5°,19°,28.5°のグループ間隔で200mmレンズを備えた五台のカメラの鉛直グループから成り、側方傾斜グループは、200mmレンズおよび38°,47.5°,57°のグループ間隔を有する三台のカメラから成り、後方傾斜グループは、鉛直線から50°傾けられた−14.5°,0°,14.5°のグループ間隔で135mmレンズを備えた三台のカメラから成る。
【0051】
ニコンの高解像度カメラの場合、180mmレンズを有する6台のカメラの鉛直グループは、−21°,−10.5°,0°,10.5°,21°,31.5°のグループ間隔を有し、180mmレンズを有する3台のカメラの側方傾斜グループは、42°,52.5°,63°のグループ間隔を有し、135mmレンズを有する3台のカメラの後方傾斜グループは、鉛直線から50°傾けられた、−14.5°,0°,14.5°のグループ間隔を有する。
【0052】
代替実施形態では、カメラの第一のセットは広角レンズを備えて構成され、50/99(50%側方および99%前方)などの非常に大量の重なりを伴って写真を取り込むために使用される。これらのカメラによって取り込まれる写真は一枚の写真ごとに広いエリアをカバーし、高度の重なりおよび重複性は、共通の特徴、共通の要素、共通の地点または画像要素点が、前のシステムよりもさらに多くの写真において目に見えることもたらし、それにより、安定化されたプラットフォームを使用することなく内部および外部定位の正確な決定を可能にする。カメラの第二のセットは、より長い焦点距離レンズを備えて構成され、測量のための詳細写真地図を生成する詳細画像を取り込むために使用され得る。低い量の重なりは、それらのカメラで、重複性を最小にし、詳細測量のための写真画像の使用を最大にするために使用され、測量を完了するために必要とされる全体のコストおよび時間を著しく低減する。
【0053】
図5Aは、小さい単発機510に装着された外部ポッドを有する一つの代表的実施を示す。図5Aを参照すると、本発明の一つの実施形態では、カメラシステムのためのカメラは、ポッドまたは取り外し可能ハウジング520内に装着され、それは単位モジュール400として役立つ。そういうものとして、エアフレームに修正を施すことを必要とすることなく、セスナ210などの標準小型航空機510にカメラシステムを使用することが可能である。図5Bは、画像取り込みシステムの代表的実施を示す。図5Bに示されるように、ポッドまたは取り外し可能ハウジング520は複数の概観および詳細カメラ410および420を有していてよく、それらは、図4、8Aおよび8Bに関連して前に説明されたように、グループ分けまたは配列されてよい。図5Aおよび5Bに示されるような実施は、安定化された装着プラットフォームを必要とすることなく、高精度を提供し、また十分な重量およびサイズの低減を可能にし、カメラシステムが無人飛行機(UAV)に装着されることを可能にする。
【0054】
飛行測量は、異なる高度および異なる飛行時間で、異なる結果の解像度でおこなわれ得る。たとえば、図8Aおよび8Bに示されたカメラ構成に相応して、8,000フィートの高度において28mm焦点距離レンズを備えた1台の鉛直キャノン1Ds MkIIIカメラと200mm焦点距離レンズを備えた5台の鉛直キャノン1Ds MkIIIカメラでおこなわれる飛行測量は、最終写真地図のためのデータを7.5cmの解像度で生成し得る。この例では、330km2/hrの取り込みレートで、50km ×40kmの代表的な都市は、6時間の飛行時間で取り込まれ得る。
【0055】
別の実施形態では、図8Cに示されたカメラ構成に相応して、10,000フィートの高度において28mm焦点距離レンズを備えた1台の鉛直概観キャノン1Ds MkIIIカメラと300mm焦点距離レンズを備えた9台の詳細キャノン1Ds MkIIIカメラでは、500km2/hrの取り込み速度が得られ、4時間の飛行時間は、6.5cmの結果の解像度で50km×40kmの代表的な都市を取り込むことをもたらす。
【0056】
上に論じられた同じ実施形態を使用して、または他の実施形態において、低い高度でより長い飛行時間(たとえば9時間の飛行測量で取り込まれる3.5cmの解像度)を使用することによって、より高い解像度が取り込まれ得る。前述の飛行測量は、単なる代表的な例であり、本発明の視野を限定するために与えるものではなく、それらは種々様々の条件下で実行されてよい。水面下の用途については、高度は、海洋底の上方の距離に相当すると理解され得る。
【0057】
この分野の当業者に認められるように、撮像システムのさまざまな構成が、高度と解像度の間の異なる関係で使用され得、それらの構成はすべて、本発明の視野と真意の範囲内にある。一つの実施形態では、1,000フィートの高度ごとに1cmの解像度が提示される(たとえば3,000フィートの高度で3cmの解像度、7,000フィートの高度で7cmの解像度)。第二の実施形態では、cmの地上点解像度はフィートの高度割る900である。第三の実施形態では、cmの地上点解像度はフィートの高度割る800であり、第四の実施形態では、cmの地上解像度はフィートの高度割る2,000である。
【0058】
図5Cを参照すると、一つの実施形態の方法およびシステムの使用が示され、航空機510はポッドまたは取り外し可能ハウジング520を装備しており、(z軸117に沿って表わされる)所与の高度h530を速度v532で移動し、その移動は、x軸115とy軸114によって規定されるxy平面中でほぼおこなわれる。
【0059】
図5Dは、xy平面中の測量のための飛行プランであり、その飛行プランは、第一の長い区分560を有し、旋回564が続き、戻りの長い区分568が続く。長い区分と旋回と戻りの長い区分の繰り返しの組み合わせが、測量エリアのための飛行プランを作成するために使用され得る。
【0060】
ここに説明される方法およびシステムはまた、概観および詳細画像取り込みシステムにどの各画像が取り込まれるべきであるかを示す信号を取り込むほかに、特定のエリアの写真地図を生成するのに適した飛行プランを生成する飛行プランおよびタイミングシステム/サブシステムを取り込み得る。一つの実施形態では、飛行プランは、高度、移動の方向、対気速度、中間地点および方向転換位置などのパラメーターを含む。この分野の当業者に理解されるように、飛行プランは、適切な側方重なり度を有する画像の生成を可能にするパターンで飛行することをパイロット(または無人または自動コントロール乗り物の場合には乗り物)に指示する。前方方向の重なりは画像取り込み信号のタイミングによってコントロールされるが、側方の重なりは主に、飛行の前の平行経路に関する航空機/乗り物の経路によってコントロールされる。
【0061】
一つの実施形態では、飛行プランおよびタイミングシステム/サブシステムは、位置を決定する地上ベース(たとえばVOR、LORAN)および衛星システム(たとえばGPSやWAAS)を含むナビゲーション機器から入力信号を受け取る。慣性系から生成される信号は、航空機のピッチとヨーとロールの変化のほかに速度の変化を決定する位置決定信号と一緒に使用され得る。一つの実施形態では、方向の迅速な変化は、微小電気機械システム(MEMS)を使用して決定され得る。飛行プラン案からの短期および長期逸脱の両方が、飛行プランへの訂正を示すまたは取り込み信号が概観および詳細画像取り込みシステムに送られるように調整する飛行プランおよび画像取り込みタイミングサブシステムによって組み込まれ得る。
【0062】
一つの実施形態では、飛行プランおよび画像取り込みタイミングサブシステムは、追加ナビゲーション機器(たとえばGPS、D−GPS)、ディスプレイ、および飛行プランが開発されることを可能にし、所望の重なりに準じる画像取り込みのためのタイミング信号を生成するプログラミングを備えたパソコンに基づく。代替実施形態では、専用ハードウェアが、飛行プラン開発および画像取り込み信号生成に使用される。
【0063】
図6A〜6Bは、代表的概観および詳細画像表現を示す図である。図6Aは、一つの代表的表現を示し、多数のカメラは、多数の詳細カメラの使用によって唯一の(重ねられない)エリアに得られる詳細画像データ610の量を最大にしつつ、写真地図への好結果の処理を可能にする所望の重複性を作成するために概観画像612の間に十分な重なりが存在することを確実にするように構成される。
【0064】
図6Aの表現は、たとえば、内部および外部定位を取り込む1台の概観カメラ(たとえばそれらの代表的な画像612,616,620,624参照)と、詳細写真610,614,618,622の帯または各概観写真の下位部を概観解像度よりも高い解像度で取り込む隣接手法で配置された9台のカメラの一つのグループを使用して達成され得る。上に述べられるように、ここにおける新機軸の側面は、カメラシステムにカメラの固定されたまたは部分的に調整可能な整列を含み、帯を形成する詳細画像の間の重なりを最小にして写真が撮られることを可能にする。さらに、画像は、飛行線に沿って撮られる連続画像の間に重なりが存在することを確実にするに十分に頻繁に撮られ得、また飛行線は、隣接する飛行線に沿って撮られる詳細画像の帯の間に重なりがあることを確実にするように組織され得る。正確なバンドル調整をおこなうために著しい重なりが必要とされる現在のシステムとは異なり、本新機軸は、詳細画像の連続、順次または隣接帯の間に最少量の重なりの使用が存在するのを可能にし、それは、シームレス写真地図の作成を後におこなうために必要な分だけである。その結果、詳細カメラからの写真の帯に必要とされる重複性は、現在のシステムでよりもはるかに少なくなり、測量時間およびコストを著しく減少させる。
【0065】
さらに、要求される多くの追加詳細カメラが、天底頭上(鉛直)画像または異なる視角からの傾斜画像などの特定の視野のための概観画像の詳細な下位部を取り込むように隣接または直列仕様に構成されてもよい。これらの画像は、対応する天底頭上写真地図または傾斜写真地図を作成するために続いて処理され得る。単一の詳細カメラは、所望の測量に対して十分な解像度で下位部を取り込むために十分な解像度を有していなくてもよいので、特定の視界斜視のための詳細カメラの一つのグループが所望の斜視のより広いひと刈りを帯中に取り込むように組織されてもよい。図7A〜7Bは、さらなる代表的概観および詳細画像表現を示す。図7Aは、五台のカメラが、詳細鉛直視界(たとえば画像730,730A〜E))に対応する画像を作成し、四台のカメラが、交互の飛行線からの詳細左右傾斜視界に対応する画像(たとえば画像740)を作成し、三台のカメラが、交互飛行線から詳細前後傾斜視界に対応する画像(たとえば画像750,750A〜C)を作成する詳細カメラの三つの隣接グループの結果を示す。図7Bは、乗り物または航空機の動きによる画像取り込みを示し、多数の傾斜視界は、交番方向の飛行線を飛行することによって、たとえば、傾斜カメラの二つのグループから四つの傾斜視界を得ることによって提供される。
【0066】
図8A、8Bおよび8Cに関して前に論じたように、特別のタイプのカメラが、図7A〜7Bに示される撮像構成を達成するように幾何学的に配置され得る。この分野の当業者は、さまざまな空中乗り物または航空機からの、または海洋底マッピングの場合には航洋船からの、航空データの取り込みに適したここに開示されるものの代替構成を決定することができるであろう。
【0067】
本方法およびシステムを使用して収集される画像は互いに重なりを有し、二つ以上の画像または写真に共通する地点の出現をもたらす。そのような地点は、共通の特徴、共通の要素、共通の地点または画像要素、地上点、特徴点、地上特徴点、連絡点、立体写真、または複数の画像中の地点または物体の繰り返し出現を指す他の用語と呼ばれ得る。いくつかの例では、地点は、既知の位置を備えた物体を含み得、それらの物体は共通して基準点と呼ばれる。共通の地点は、内部定位、相対定位および絶対定位のステップを通じて適切な分析的立体モデルを開発するために使用され得る。内部定位は一般に、画像または写真が撮られたときに、カメラ(または他の撮像システム)内に存在する幾何学を再作成する。分析的相対定位は、写真が撮られたときに存在する写真間の相対的な角度姿勢および位置変位を決定する処理である。分析的絶対立体定位の処理は、基準点の座標を地上ベースシステムの三次元座標に関連づけることをもたらす。
【0068】
概して言えば、異なる視点からの多数の地点を描写する画像のセットが与えられることにより、バンドル調整の従来の処理が、単一の解決策で地上管制価値(地上点または共通地点)に対する写真測量測定のすべてを調整するために使用され得る。バンドル調整は、すべての物点の物体空間座標と、すべての写真の外部定位パラメーターを決定することを含み得る。バンドル調整は同時に、地上点位置と各写真外部および内部定位の推定値を洗練する。地上点位置は、各写真中の特徴として識別される。バンドル調整に対する要求は、地上点が識別され得る写真の平均および最大数を最大にすることである。地上点があまりに少ない写真で識別されるならば、解決策はあまり厳格でなく、精度誤差と間違いの危険の増大の両方に苦しみ、不正確な識別された地上点がハンドル解決策で使用される。たとえば、バンドル調整は、異なる姿勢の写真を洗練することがかのうであり、写真は、異なる傾斜角をもち得るか、鉛直に向けられ得る。バンドル調整に関するさらなる情報は、この分野の当業者に知られており、Paul WolfとBon Dewittによる「Elements of Photogrammetry with Applications in GIS,第三版」(McGraw Hill,2000)、Zhangらの米国特許第6,996,254号、Lecture Notes in Computer Science,vol.1882 (Springer Verlag,January 2000)に見られるBill Triggs,Philip McLauchlan,Richard Hartley,Andrew Fitzgibbonによる「Bundle adjustment−a modern synthesis」に見いだされ、それらはすべて参照によってここに組み込まれる。
【0069】
一つの実施形態では、ここに説明される方法およびシステムを使用して適切な生画像を撮り航空機のパイロットを正確な座標まで案内する撮像取り込みシステムが航空機に装着される。図9は、この実施形態による必要機器を備えた代表的航空機を示す。航空機510は、航空機510に堅固に装着されたポッドまたは取り外し可能ハウジング520を備えている。一つの実施形態では、装着は、乗客側航空機ドアの除去と、ドア/ポッド装着台を備えたドアの交換によっておこなわれる。
【0070】
ポッドまたは取り外し可能ハウジング520は、図4に関して上に説明したように複数のカメラを包含している。一つの実施形態では、一連の可動ドアが、離着陸を含む飛行の最中にカメラを保護するためにポッドまたは取り外し可能ハウジング520内のカメラを覆う。一つの実施形態では、センサーがカメラドアに組み込まれ、その結果、ドアの状態が監視され得る。一つの実施形態では、カメラとポッドまたは取り外し可能ハウジング520のドアがコンピューター1000に接続される。この実施形態では、コンピューター1000は、飛行中にシステムの要素をコントロールし操作するように開発されたソフトウェアを実行する。ラップトップとして描かれているが、コンピューター1000は、ラップトップ高耐久性パソコンや、航空機に埋め込まれたシステム、専門コンピューター、パーソナルデジタルアシスタントなどの携帯機器、携帯電話など、どのようなコンピューターであってもよい。
【0071】
図9を再び参照すると、コンピューター1000は全地球測位システム(GPS)ユニット1010に接続され、それは、飛行機の現在位置を追跡し、現在位置をコンピューター1000のストレージに記録するフィードを作製する。カメラコントロールユニット1030は、自動合焦をおこない写真を撮る信号を送ることを含め、ポッドまたは取り外し可能ハウジング520内のカメラアレイをコントロールする。図10に示された実施形態では、GPSユニット1010はナビゲーションシステム/サブシステムとして役立ち、コンピューター1000はタイミングシステム/サブシステムとして役立つ。代替実施形態では、コンピューター1000が、ナビゲーションシステムの機能を取り込み、GPSユニット1010を包含し得る。また別の実施形態では、専用ユニットが、ナビゲーションおよびタイミング機能を提供するサブシステムを有している。
【0072】
フライトディスプレイ1020はコンピューター1000に接続され、一つの実施形態では飛行の詳細を表示する。代替実施形態では、フライトディスプレイ1020は、画像を取得する際のドアの状態とカメラの動作を含め、システムの状態を全体として示す。フライトディスプレイ1020は、パソコン1000のモニターや、追加外部モニター、航空機に埋め込まれたモニターであってよい。フライトディスプレイ1020は、タッチ感応モニターであって、システムへの命令の入力を可能にしてもよい。あるいは、ユーザー入力を受け取るために、マウスやキーボード、他の入力装置(図示せず)が使用されてもよい。
【0073】
一つの実施形態では、システムは、航空機510のパイロットへのさまざまな情報を表示する。この情報は、フライトディスプレイ1020、コンピューター1000のディスプレイ、またはパイロットに入手可能な別のディスプレイに表示されてもよい。システムは、取り込むべき地図内の実際のエリアを規定する投影エリア、規定された地理的エリアおよび測量データの飛行線を表示する。
【0074】
図10は、コントローラー1120およびGPSデバイス1122と一緒に作動するコンピューター1000のブロック図を示す。一つの実施形態では、コンピューター1000は、USBハブ1112に接続される少なくとも一つのユニバーサルシリアルバス(USB)ポート1100を有している。USBハブ1112は、複数のデバイスがコンピューター1100に接続され通信することを可能にする複数の追加USBポートを有している。USBポート114はコントローラー1120に接続される。この分野の当業者には分かるように、図10のコンポーネントを相互に連結するために、有線または無線、シリアルまたはパラレルの他のタイプのバスが使用され得る。一つの実施形態では、コントローラー1120は、カメラコントロールユニット(たとえばカメラコントロールユニット1030)であり、ポッドまたは取り外し可能ハウジング520内の一つまたは複数のカメラをコントロールし、一つまたは複数のカメラに自動合焦命令1130およびシャッター命令1132を命じる。コントローラー1120はまたドアセンサー1134から読み、ポッドまたは取り外し可能ハウジング520内のカメラを保護するドアが開いているか閉じられているかを判断する。ドアは、ドアセンサー1134を読むコントローラー1120に応じて適切に開かれ得るか閉じられ得る。GPSのデバイス1122はUSBポート1116,1118を介してUSBハブ1112に接続される。GPSのデバイス1122は、デバイスの現在の地理的な位置を読み取り、このデータをコンピューター1000に送信する。コントローラー1120は、取り外し可能ハウジング520から写真が撮られるようにする信号を送信することが可能となっている。
【0075】
本開示の実施形態はハードウェアとソフトウェアの任意の組み合わせで実行されてもよい。もしコンピューター実行装置として実行されるならば、本開示は、上に説明したステップおよび機能のすべてをおこなうための手段を使用して実行される。
【0076】
本開示の実施形態は、たとえば、コンピューター使用可能またはコンピューター読取可能媒体を有している製造品(たとえば一つ以上のコンピュータープログラム製品)に包含され得る。その媒体は、たとえば、本開示の実施形態の機構を提供および容易にするための、コンピューター実行可能命令を含む、コンピューター読取可能プログラムコード手段を具体化した。その製造品は、コンピューターシステムの一部として含まれる、または別々に販売され得る。
【0077】
特定の実施形態が先の詳細な説明に詳細に説明され、添付図面に示されたが、開示およびその広い発明概念の全面的な教示を考慮してそれらの詳細へのさまざまな変更および代案が開発される得ることはこの分野の当業者に認められるであろう。したがって、本開示の視野は、ここに開示された特別の例および実施に限定されていないが、添付の請求項によって規定されるような精神および視野の範囲内の変更およびその等価物を包含すると意図されていると理解される。

【特許請求の範囲】
【請求項1】
概観エリアの少なくとも一つの概観画像を、第一の時間インスタンスにおいて取り込むように構成された第一の撮像デバイスを備えている第一の画像取り込みサブシステムと、
前記概観エリアの少なくとも一部の少なくとも一つの詳細画像を、前記第一の時間インスタンスと実質的に同時に取り込むように構成された第二の撮像デバイスを備えている第二の画像取り込みサブシステムを備え、前記第一および第二の画像取り込みサブシステムは、複数の概観画像が前記複数の概観画像の間の画像要素の概観重複性をもたらし、複数の詳細画像が前記複数の詳細画像の間の画像要素の詳細重複性をもたらすように構成されている、画像取り込みシステム。
【請求項2】
前記第一の画像取り込みサブシステムが、前記複数の概観画像を取り込むように構成された複数の撮像デバイスを有する、請求項1の画像取り込みシステム。
【請求項3】
前記複数の撮像デバイスが、前記複数の概観画像を実質的に同時に取り込むように構成されている、請求項2の画像取り込みシステム。
【請求項4】
前記複数の撮像デバイスが、隣接手法で前記複数の概観画像を取り込むように構成されている、請求項2の画像取り込みシステム。
【請求項5】
前記第一および第二の画像取り込みサブシステムが互いに近くに配置されている、請求項1の画像取り込みシステム。
【請求項6】
前記重複性は、画像要素が多数の画像中に現われる程度を示す、請求項1の画像取り込みシステム。
【請求項7】
前記画像要素は、前記少なくとも一つの概観画像と前記少なくとも一つの詳細画像の中に取り込まれたエリアに対応する一つ以上の識別可能な特徴、エリアまたはマーキングを含む、請求項6の画像取り込みシステム。
【請求項8】
前記概観重複性が10よりも大きい、請求項1の画像取り込みシステム。
【請求項9】
前記詳細重複性が10以下である、請求項1の画像取り込みシステム。
【請求項10】
概観エリアの少なくとも一つの概観画像を、第一の時間インスタンスにおいて第一の地上解像度で取り込むように構成された第一の撮像デバイスを備えている第一の画像取り込みサブシステムと、
前記概観エリアの少なくとも一部の少なくとも一つの詳細画像を、前記第一の時間インスタンスと実質的に同時に取り込むように構成された第二の撮像デバイスを備えている第二の画像取り込みサブシステムを備え、前記少なくとも一つの詳細画像は、前記第一の地上解像度よりも高い第二の地上解像度にある、画像取り込みシステム。
【請求項11】
前記第一および第二の画像取り込みサブシステムは、複数の概観画像が前記複数の概観画像の間の画像要素の重複性をもたらし、複数の詳細画像が前記複数の詳細画像の間の画像要素の重複性をもたらす、請求項10の画像取り込みシステム。
【請求項12】
前記第一の画像取り込みサブシステムが、一つ以上の概観エリアの複数の概観画像を取り込むように構成された複数の撮像デバイスを有する、請求項10の画像取り込みシステム。
【請求項13】
前記複数の撮像デバイスが、前記複数の概観画像を実質的に同時に取り込むように構成されている、請求項12の画像取り込みシステム。
【請求項14】
複数の撮像デバイスが、隣接手法で前記複数の概観画像を取り込むように構成されている、請求項12の画像取り込みシステム。
【請求項15】
前記第一の複数の撮像デバイスが、縦続手法で前記複数の概観画像を取り込むように構成されている、請求項12の画像取り込みシステム。
【請求項16】
前記第二の画像取り込みサブシステムが、一つ以上の詳細エリアの複数の詳細画像を取り込むように構成された複数の撮像デバイスを有する、請求項10の画像取り込みシステム。
【請求項17】
前記複数の撮像デバイスが、前記複数の詳細画像を実質的に同時に取り込むように構成されている、請求項16の画像取り込みシステム。
【請求項18】
前記第二の複数の撮像デバイスが、隣接手法で前記複数の詳細画像を取り込むように構成されている、請求項16の画像取り込みシステム。
【請求項19】
前記複数の撮像デバイスが、縦続手法で前記複数の詳細画像を取り込むように構成されている、請求項16の方法。
【請求項20】
前記第一および第二の画像取り込みサブシステムが互いに近くに配置されている、請求項10の画像取り込みシステム。
【請求項21】
前記第一および第二の画像取り込みサブシステムが航空機に装着される、請求項10の画像取り込みシステム。
【請求項22】
前記第一および第二の画像取り込みサブシステムが航空機のハウジング内に配置される、請求項21の画像取り込みシステム。
【請求項23】
前記ハウジングが前記航空機に取り外し可能に取り付けられる、請求項22の画像取り込みシステム。
【請求項24】
前記少なくとも一つの第二の撮像デバイスがデジタルカメラである、請求項10のシステム。
【請求項25】
前記少なくとも一つの第二の撮像デバイスがCMOSセンサーである、請求項10のシステム。
【請求項26】
前記少なくとも一つの第二の撮像デバイスが押しぼうきセンサーである、請求項10のシステム。
【請求項27】
前記少なくとも一つの第二の撮像デバイスが手ぼうきセンサーである、請求項10のシステム。
【請求項28】
前記概観画像が、前記第一の画像取り込みサブシステム内でローカルに格納される、請求項10のシステム。
【請求項29】
前記詳細画像が、前記第二の画像取り込みサブシステム内でローカルに格納される、請求項10のシステム。
【請求項30】
(a)第一の画像取り込みサブシステムによって概観エリアの第一の概観画像を取り込むことを有し、前記第一の概観画像は第一の地上解像度にあり、
(b)第二の画像取り込みサブシステムによって前記第一の概観画像の取り込みと実質的に同時に前記概観エリアの少なくとも一部の第一の詳細画像を取り込むことを有し、前記第一の詳細画像は、前記第一の地上解像度よりも高い第二の地上解像度にある、画像を取り込む方法。
【請求項31】
(c) 前記第一および第二の画像取り込みサブシステムを第一軸に沿って並進させることと、
(d)前記第一の画像取り込みサブシステムによって、第二の概観エリアの第二の概観画像を第一の地上解像度で取り込むことをさらに有し、前記第一および第二の概観画像は、少なくとも一つの重なり概観部を互いに有し、
(e)前記第二の画像取り込みサブシステムによって、第二の詳細画像を第二の地上解像度で取り込むことをさらに有し、前記第一および第二の詳細画像は、前記第一および第二の概観画像の重なり概観部よりも実質的に小さい少なくとも一つの重なり詳細部を互いに有している、請求項30の方法。
【請求項32】
前記重なり概観部と前記重なり詳細部の少なくとも一つが、前記第一および第二の概観画像に対する概観重複性と前記第一および第二の詳細画像に対する詳細重複性をもたらす、請求項31の方法。
【請求項33】
前記重複性は、画像要素が多数の画像中に現われる程度を示す、請求項32の方法。
【請求項34】
前記画像要素は、前記概観画像と前記詳細画像の中に取り込まれたエリアに対応する一つ以上の識別可能な特徴、エリアまたはマーキングを含む、請求項33の方法。
【請求項35】
前記概観重複性が10よりも大きい、請求項32の方法。
【請求項36】
前記詳細重複性が10以下である、請求項32の方法。
【請求項37】
前記概観重複性が10よりも大きく、前記詳細重複性が10以下である、請求項32の方法。
【請求項38】
前記第一軸に沿った前記少なくとも一つの重なり概観部のエリアが、前記第一および第二の概観画像の一つのエリアの50%以上である、請求項31の方法。
【請求項39】
前記第一軸に沿った前記少なくとも一つの重なり詳細部のエリアが、前記第一および第二の詳細画像の一つのエリアの20%以下である、請求項31の方法。

【図1】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図5C】
image rotate

【図5D】
image rotate

【図6A】
image rotate

【図6B】
image rotate

【図7A】
image rotate

【図7B】
image rotate

【図8A】
image rotate

【図8B】
image rotate

【図8C】
image rotate

【図9】
image rotate

【図10】
image rotate


【公表番号】特表2013−505457(P2013−505457A)
【公表日】平成25年2月14日(2013.2.14)
【国際特許分類】
【出願番号】特願2012−530353(P2012−530353)
【出願日】平成22年9月22日(2010.9.22)
【国際出願番号】PCT/IB2010/002380
【国際公開番号】WO2011/036541
【国際公開日】平成23年3月31日(2011.3.31)
【出願人】(510270926)ニアマップ・ピーティーワイ・リミテッド (2)
【氏名又は名称原語表記】NEARMAP PTY LTD.