移動体によるデータの収集及び処理システム
移動体を利用したデータ収容及び処理システムであって、飛行中の航空機や自動車、衛星、列車などの移動体からの様々な種類のデータを収集するために使用される。システムの様々な実施例では、移動体及びシステムの動作を制御するためのコンピュータコンソールユニットと、１又は２以上のコンピュータコンソールに通信可能に接続された地球測位システムと、１又は２以上のコンピュータコンソールに通信可能に接続され、アパーチャから見える標的画像を作成するためのカメラアレイアセンブリと、１又は２以上のコンピュータコンソール及び１又は２以上のカメラアレイアセンブリに通信可能に接続された姿勢測定装置と、１又は２以上のコンピュータコンソール内に収容され、地球測位システム、姿勢測定装置及び網膜カメラアレイアセンブリから生データを収集し、生データをオルソ補正された画像に処理するためのモザイク作成モジュールとを含んでいる。
【発明の詳細な説明】
【技術分野】
【０００１】
＜関連出願の記載＞
本発明は、２００２年９月２０日に出願された「移動体によるデータの収集及び処理システム」に関する米国仮特許出願第６０／４１２,５０４号の優先権を主張する。
【０００２】
＜発明の技術分野＞
本発明は、全体的には、リモートイメージング技術(remote imaging techniques)の分野に関し、より具体的には、非常に広い視野に亘って高解像度、高精度、低歪みのデジタル画像を提供するシステムに関する。
【背景技術】
【０００３】
リモートセンシング及びイメージングは、例えば地質図の作成及び分析、軍事用監視及び計画、気象予報などのように、極めて重要な数多くの用途を有する広範な技術である。航空機及び衛星を利用した写真及び画像の作成は、特に有用なリモートイメージング技術であって、ここ数年、デジタル画像、スペクトル、空間、高度、並びに移動体の位置及び方向のデータの収集及び処理の依存性が極めて高くなっている。例えば土地建物の工事及び位置決め、一般道路、高速道路、環境の危険及び条件、施設のインフラ設備(例えば、電話回線、パイプライン)、地球物理的特徴などの空間データは、現在、デジタル形式で収集、処理及び通信が行われ、非常に正確な地図及び監視データとして、様々な用途(例えばダイナミックＧＳＰマッピング)に用いられる。高さデータは、総合システムの空間及び位置の正確さを向上させるために使用され、また、既存の数値標高モデル(ＤＥＭ)のデータ群、又は能動的な放射線測定用ドップラー装置又は受動的な立体計算(stereographic calculations)によるスペクトルセンサ・データで収集された数値標高モデル(ＤＥＭ)のデータ群から獲得される。
【０００４】
このようなリモートセンシング及びイメージングの幾つかの用途が直面する主な問題は、空間解像度とスペクトル忠実度(spectral fidelity)である。写真の問題、例えば球面収差、非点収差、フィールド湾曲、コマ、歪み及び色収差などは、全てのセンサー／イメージングを適用する際に取り扱われなければならない問題として広く知られている。用途によっては、非常に高い画像解像度が要求され、許容誤差はインチ単位の場合がある。使用される具体的システム(例えば、航空機、人工衛星又は宇宙船)にもよるが、実際のデジタルイメージングデバイスは、その標的から数百フィート乃至数マイル離れた位置に配置されることがあり、結果として、倍率(scale factor)が非常に大きくなる。画像の倍率が非常に大きくなり、解像度の許容誤差がインチ単位であると、最も頑強なイメージングシステムに対しても問題が起こる。このように、従来のシステムでは、解像品質と、作像される標的領域の大きさとは、二律背反(trade-off)の関係の下で作製されなければならない。システムが高解像度デジタル画像が生成されるように設計される場合、イメージングデバイスの視野(Fieled of View; ＦＯＶ)は一般的には小さくなる。システムが提供するＦＯＶがさらに大きくなると、通常は、スペクトル及び空間データの解像度が低下し、歪みが増す。
【０００５】
オルソ画像(正斜投影画像)は、この問題の対策として使用されてきた１つの方策である。一般的に、オルソ画像は、変化する標的のサブ画像をコンパイルすることによって、標的の複合画像を描画(render)する。典型的には、航空イメージング用の場合、有限の範囲及び解像度を有するデジタルイメージングデバイスが、固定された小区分の標的領域を連続的に記録する。次に、それらの画像は、標的領域の合成物を描画するためのシーケンスに従って調整される。
【０００６】
このような描画プロセスは、多大な時間と労働力を要する。多くの場合、それらのプロセスは、繰返し処理を必要とし、特に何千ものサブ画像が生成される場合には、画像の品質及び解像度の有意的な低下を招く。画像データが自動的に処理され得る場合、そのデータが繰り返して変換されサンプリングされることがあり、一連の操作毎に、色の忠実性と画像の鮮明さが低下する。自動修正及び調整システムは、画像異常(例えば、異常に明るいか又は暗い物体)を起こしやすいため、そのようなシステムが用いられる場合、画像データの修正の過剰又は不足が起こり、信頼性に欠ける。画像を手操作で生成することが必要とされるか所望される場合、それに要する時間と労働コストは膨大なものとなる。
【０００７】
それゆえ、非常に大きなＦＯＶ及びそれに関連するデータ群について、画像品質、精度、位置の正確性及び明瞭性(clarity)を維持しつつ、効率的で様々な画像がもたらされるオルソ画像生成システムが要請されている。また、関連する全ての操作のプラニング、収集、ナビゲーション及び処理の全ての段階において、自動アルゴリズムが広範囲に適用される。
【発明の開示】
【０００８】
＜発明の要旨＞
本発明は、リモートセンサーを使用し、移動体(vehicle)によりデータを収集及び処理するシステムに関する。該システムは、移動体及びシステムの操作をリアルタイムで制御するコンピュータコンソール装置を含むことができる。該システムはまた、コンピュータコンソールにリンクされて通信が行われる地球測位システムを含んでいる。さらにまた、カメラ及び／又はカメラアレイアセンブリは、アパーチャ(aperture)から見える標的の画像を作成するために用いられることができる。カメラアレイアセンブリは、コンピュータコンソールに通信可能に接続されている。カメラアレイアセンブリは、取付用ハウジングと、アパーチャを通る第１焦点軸を有し、前記ハウジングに取り付けられた中央の第１イメージングセンサーを具えている。カメラアレイアセンブリは、アパーチャを通り、交差領域内で第１焦点軸と交差する第２焦点軸を有し、第１イメージングセンサーから軸に沿ってオフセットした位置でハウジングに取り付けられた第２イメージングセンサーを有している。カメラアセンブリは、アパーチャを通り、交差領域内で第１焦点軸と交差する第３焦点軸を有し、第１イメージングセンサーから第２イメージングセンサーと反対側に軸に沿ってオフセットされた位置でハウジングに取り付けられた第３イメージングセンサーを有している。ここで用いられるカメラの数１〜ｎは任意の数であり、ｎはどんな奇数又は偶数の数であってよい。
【０００９】
システムはまた、例えば慣性計測装置、光学的測定装置又は同様な測定装置のような姿勢測定装置(Attitude Measurement Unit; ＡＭＵ)を、コンピュータコンソール及びカメラアレイアセンブリに通信可能に接続することもできる。ＡＭＵは、航空機のヨー(横揺れ)、ピッチ(縦揺れ)、及び／又はロール(片方への傾き)をいかなる瞬間にも時間どおり測定し、連続するＤＧＰＳ位置を、測地学上の北に関する移動体のヘッド部を測定するために使用されることができる。ＡＭＵデータは、高精度のＤＧＰＳデータと一体化され、ロバスト性(robust)のリアルタイムＡＭＵシステムが作成される。該システムは、コンピュータコンソール内に収容されたモザイク作成モジュールを含んでいる。モザイク作成モジュールは、入力画像上で最初の処理を実行する第１要素を含んでいる。モザイク作成モジュールはまた、第１要素と協同作用可能に接続され、入力画像の地理的境界を決定する第２要素を含んでいる。モザイク作成モジュールは、入力画像を、正確な地理的な位置を有する複合画像にマッピングする第３要素をさらに含んでいる。第３要素は、第１要素及び第２要素と協同作用可能に接続されている。モザイク作成モジュールには、複合画像にマッピングされた入力画像の色の調整を行なう第４要素も含まれている。第４要素は、第１要素、第２要素及び第３要素と協同作用可能に接続されることができる。さらにまた、モザイク作成モジュールは、複合画像にマッピングされた隣接入力画像間の境界を一体化させる第５要素を含むことができる。第５要素は、第１要素、第２要素、第３要素及び第４要素と協同作用可能に接続されることができる。
【００１０】
カメラアレイシステムには、第６要素、選択的前方傾斜及び／又は選択後方傾斜システムを実装することもでき、傾斜画像データを収集し、画像データを姿勢測定値及び位置測定値と合成することにより、ステレオグラフィック技術を使用してデジタル標高モデル(digital elevation model)を作成することができる。その作成は、移動体の中でリアルタイムに行なうこともできるし、後の処理で行なうこともできる。この第６要素は、他の要素と協同作用可能である。全ての要素は、センサーデータのコレジストレーション(co-registration)を行なうために、剛性プラットフォームに取り付けられる。移動体に対して、振動、乱流及びその他の力が作用すると、センサー間の配列関係に誤差を生ずることになる。センサーの取付用として、共通の剛性プラットフォームを用いると、このコレジストレーションの構成を利用しない他のシステムと比べて、有意的利点がもたらされる。
【００１１】
本発明をより理解するために、また、本発明がどのように実施されるかを例示するために、添付の図面を参照して説明する。なお、同じ要素に付した番号は、異なる図面でも同じ番号を付している。
【００１２】
＜発明の詳細な説明＞
本発明の様々な実施例の実施及び使用について以下で詳しく説明するが、本発明は、適用可能な多くの発明概念を提供するものであり、広範囲に亘る特定の状況において具体化されることができることは理解されるべきである。ここで説明する具体的実施例は、発明を実施し使用するための具体的方法を単に例示するものであって、発明の範囲を制限するものではない。
【００１３】
移動体(vehicle)によるデータ収集及び処理システム(100)を図１に示している。本発明の追加の態様と実施例を図２及び図１８に示している。システム(100)は、１又は２以上のコンピュータコンソール(102)を含んでいる。コンピュータコンソールは、移動体とシステムの両方の操作を制御するための１又は２以上のコンピュータ(104)を含んでいる。コンピュータコンソールの機能の例として、データ収集及び処理システムに連繋可能な制御用デジタルカラーセンサシステムがあり、ディスプレイデータの操縦者への提供、衛星が生成したＧＰＳの毎秒パルス数(pulse-per-second; ＰＰＳ)事象トリガー(例えば２０ＰＰＳ以上)の調整、データロギング、センサーの制御及び調整、エラー事象の調査及び警告、写真の記録及びインデックス、移動体のナビゲーションを自動化する飛行計画能力に関するデータの格納及び処理、関連情報のリアルタイムディスプレイの提供が行われる。制御コンピュータコンソールと移動体の自動操縦制御部との間の通信インターフェースは、移動体の移動経路をリアルタイムで実際に制御する能力を付与する。この結果、移動体の経路の制御は、人間が成し得る制御よりも正確である。これらの機能はすべて、ＧＰＳ ＰＰＳシグナルと同期され、測定装置の様々な電気レイテンシ(electrical latencies)を考慮した様々なコンピュータプログラムを用いて達成されることができる。
【００１４】
１又は２以上の差動型衛星利用測位システム(ＤＧＰＳ)(106)は、システム(100)に組み入れられている。衛星利用測位システム(106)は、移動体及びシステムの動作中、正確な飛行経路をナビゲートし決定するために使用される。これを実行するために、衛星利用測位システム(106)は、該システムからの情報が、飛行を中断することなく、獲得及び処理されるように、コンピュータコンソール(102)に連繋されている。ゼロ又は１以上のＧＰＳユニットは、ＧＰＳの衛星に起因する１秒以下のエラーを記録し、システム(100)の精度を後で修正(back correct)できるように、既知の監視位置に配置される。地上の制御位置を不要にするため、ＧＰＳ及び／又は地上ベースの測位手段を用いることもできる。この技術により、データ収集用移動体の位置精度は、１秒以下の単位で大幅に向上する。
【００１５】
１又は２以上のＡＭＵ(108)もコンピュータコンソール(102)に通信可能に連繋され、リアルタイムでヨー(yaw)、ピッチ及びロールの情報を提供し、この情報は、データの獲得時にビークルの姿勢を正確に決定するために使用される。この姿勢測定装置(ＡＭＵ)(例えばApplanix POS AV)は、３つの高性能光ファイバージャイロを使用しており、１つのジャイロは、各々がヨー、ピッチ及びロールを測定するために用いられる。他の製造業者のＡＭＵ、他の慣性計測装置を使用したＡＭＵもまた、同じように使用することができる。さらに、ＡＭＵは、移動体の瞬間姿勢を求めるために用いられ、システムには、ＡＭＵリーディング時の統計誤差に対して故障許容力(fault-tolerance)がもたらされる。１又は２以上の多周波ＤＧＰＳレシーバ(110)を、ＡＭＵに接続することもできる。多周波ＤＧＰＳレシーバ(110)は、三次元空間で遠隔センサープラットフォームの位置をより正確に求めることができるように、ＡＭＵのヨー、ピッチ及びロールの姿勢のデータと一体化されることができる。さらに、測地系の北方向は、連続ＤＧＰＳ位置によって作成されたベクターによって決定され、ＧＰＳ ＳＳ信号と同期する形で記録される。
【００１６】
アパーチャから観察される標的の画像を生成するための１又は２以上のカメラアレイアセンブリ(112)も、１又は２以上のコンピュータコンソール(102)に通信可能に接続されている。カメラアレイアセンブリ(112)は、以下に詳述するが、データ収集及び処理システムに対し、高解像度、高精度プログレッシブスキャン又はラインスキャンによるカラーデジタル写真を獲得能力付与する。
【００１７】
システムはまた、ＤＣ電源と調節装置(114)を含んでおり、前記調節装置は、ＤＣ電力を調節すると共に、ＤＣ電力をシステムに電力を供給するためのＡＣ電力に変換する。システムは、ナビゲーションディスプレイ(116)をさらに含んでおり、該ディスプレイは、移動体を操縦(機内或いは遠隔)することにより、使用される飛行計画に対するビークル位置を映像表示し、水平面及び垂直面内で精密な飛行経路が可能となる。システムはまた、ＬＩＤＡＲ、ＳＡＲ(118)又は三次元高さ／起伏(elevation/relief)データを獲得するための前方及び後方傾斜カメラを具えるＥＭＵモジュールを含んでいる。ＥＭＵモジュール(118)は、レーザーユニット(120)、ＥＭＵ制御装置(122)及びＥＭＵ制御コンピュータ(124)を含むことができる。また、システムに適した熱的環境を提供するために、例えば、固体(solid state)冷却モジュールのような温度調節装置を、必要に応じて配備することもできる。
【００１８】
システムはまた、コンピュータコンソール(102)に収容されたモザイク作成モジュール(mosaicing module)(図示せず)を含んでいる。モザイク作成モジュールは、以下で詳述するが、衛星利用測位システム(106)、ＡＭＵ(108)及びカメラシステム(112)によって獲得されたデータを収集し、そのデータを使用可能なオルソマップ(orthomap)に処理する能力をシステムに提供する。
【００１９】
システム(100)は、セルフロッキング飛行パターン技術を含めることもできる。この技術によって、隣接飛行経路の位置精度を微修正する能力が付与され、ＡＭＵセンサー及びＤＧＰＳセンサーそのものが本来的に具える精度を超える精度が実現することができる。
【００２０】
完全な飛行計画方法論は、ミッションプランの全ての態様を細かく計画するのに用いられる。入力は、様々なミッションパラメータ(緯度／経度、解像度、カラー、精度など)である。出力は、詳細なオンラインデジタル地図及びデータファイルであり、これらは、データ収集の移動体の機内に格納され、リアルタイムのナビゲーションを行ない警告するために使用される。飛行計画データを自動操縦装置に直接接続する能力は、組み込まれた追加の能力である。コンピュータプログラムを用いて、飛行経路、姿勢調節、グラフィック表示、移動体経路の移動地図、警報条件のチェック及び修正措置が自動的に制御され、操縦者及び／又は乗務員に対して、システムの全体状況が告知され、危険防止(fail-safe)のための操作及び制御が提供される。安全操作パラメータは、常に監視され、報告される。現在のシステムは、有人のクルーを使用しているけれども、システムは、無人移動体でも命令を同じ様に実行できるように設計されている。
【００２１】
図２は、本発明の他の実施例を示している。図２は、カメラアレイアセンブリ(112)を、より詳細に示している。図示のように、カメラアレイアセンブリ(112)は、画像を、後方傾斜、前方傾斜及び鉛直(nadir)位置から取得することができる。図３は、本発明のカメラアレイアセンブリをより詳細に示している。図３は、標的(302)(例えば地形)の上の空中にカメラアレイアセンブリ(300)を配備している。例示であるため、アセンブリ(300)の相対的なサイズ並びに該アセンブリと地形(302)との相対的距離は、縮尺どおり示されていない。カメラアレイアセンブリ(300)は、ハウジング(304)を具えており、ハウジング内には、イメージングセンサー(306)(308)(310)(312)(314)が、凹状湾曲軸(316)に沿って配置されている。軸(316)の曲率半径は、大幅な変更が可能であって、軸(316)の屈曲度を非常に小さくすることもできるし、非常に大きくすることもできる。或いはまた、軸(316)は、完全な線形で、屈曲は全く無くてもよい。イメージングセンサー(306)(308)(310)(312)(314)は、取付部材(318)により、ハウジング(304)へ直接又は間接的に取り付けられる。取付部材(318)は、固定又は可動式で、永久的又は一時的な幾つかの接続装置を含んでいる。例えば、部材(318)は、単純な溶接でよいし、取外し可能なクランプ装置でもよいし、電気機械的に制御されたユニバーサルジョイントでもよい。
【００２２】
さらに、システム(100)は、リアルタイムのナビゲーションシステムが機内に搭載されており、移動体の操縦者にバイオフィードバックするために画像表示するか、又は無人の移動体の操作の場合には遠隔的に表示する。操縦者は、より正確な飛行経路を得るために、移動体の位置をリアルタイムで調整することができる。操縦者が移動体の機内に位置する場合も、離れた所に位置する場合も、飛行ディスプレイを用いて、通信リンクを通じて移動体を制御することができる。
【００２３】
システム(100)は、ソフトウエアでインタリーブされたディスク格納がもたらされるように開発された故障許容力の高い方法を使用することもでき、これにより、１又は２つのハードドライブが機能しなくなるが、ドライブ上に記憶された標的のデータは失われない。このソフトウェアでインタリーブされたディスク格納法は、ＲＡＩＤ−５のような他のハードウェア方法と比べて、故障許容力とポータビリティ(portability)に優れている。
【００２４】
システム(100)は、ミッションデータを獲得する直前に、短時間で較正ステップを行なうことができるように開発された手法を組み入れることもできる。較正ステップでは、カメラの設定(主として、周囲の光強度のサンプリング結果に基づく露光時間の調節)と、対象領域に達する直前の最適値の設定が行われる。次に、一貫性ある改善された写真が送給されるように、移動平均アルゴリズムを用いて、秒単位でカメラの調節が行われる。これにより、オルソマップのカラー処理が改善される。さらにまた、較正ステップでは、各センサー装置(カメラ、ＤＰＧ、ＡＭＵ、ＥＭＵなど)の正確な空間位置を調査し又は決定することができる。このように、これらの装置が空間位置で生じる変化は補償され、システム全体の精度評価指標(precision metrics)が維持される。
【００２５】
さらにまた、複数の既知の可視的な高精度の地理的位置を含む領域の上を飛行することにより、移動体上の各センサー装置(カメラ、ＤＰＧ、ＡＭＵ、ＥＭＵなど)の正確な位置及び姿勢を較正できるように開発された手法を、システム(100)に組み入れることもできる。プログラムは、このデータを入力として入手し、次に、精密な位置データを出力し、このデータを用いて、オルソマップが正確に処理される。
【００２６】
図３に示されるように、ハウジング(304)は、単純形状の筺体であって、その内部にイメージングセンサー(306)(308)(310)(312)(314)が配置される。図３は、カメラが５つのアレイを示しているが、システムは、カメラのセンサー数が１から任意の数に至るまで、等しく機能することができる。センサー(306)〜(314)は、取付部材(318)により、ハウジング(304)の対向する壁の間に配置された１本の横断部材にまとめて取り付けられるか、又は複数の横断部材に個々に取り付けられる。他の実施例として、ハウジング(304)自体が、凹状に屈曲した支持用横断部材を構成するようになし、イメージングセンサー(306)〜(314)は、部材(318)を介して前記横断部材に取り付けられることもできる。さらに他の実施例として、ハウジング(304)を、筐体と支持用横断部材の複合的な組合せとすることもできる。ハウジング(304)は、イメージングセンサーと標的(302)との間の表面に、アパーチャ(aperture)(320)がさらに形成されている。航空機の具体的型式によっては、アパーチャ(320)は、空隙だけでもよいし、ハウジング(304)内の環境的完全性を維持するために、保護用スクリーン又は窓を含むこともできる。保護用の透明プレートがセンサーに用いられる場合、センサーデータの質を向上させるために、前記プレートには特別なコーティングを施すことができる。所望により、アパーチャ(320)には、センサーによって記録された画像の性質を向上又は変更するために、レンズ又はその他の光学デバイスを含むこともできる。アパーチャ(320)は、センサー(306)〜(314)が、地形(302)上の標的領域(322)に対して適切な視線を有することができるサイズ及び形状に形成される。
【００２７】
イメージングセンサー(306)〜(314)は、全てのセンサーの焦点軸が、アパーチャ(320)が境界をなす交差領域の中で集束し互いに交わるように、ハウジング(304)の内部にハウジングに沿って配置される。収集される画像データの種類、使用される具体的なイメージングセンサー、使用される他の光学要素又は機器によっては、交差領域又は収束位置をアパーチャ(320)の上か下に変位させることが必要となることもあるし、又、それが望ましいこともある。イメージングセンサー(306)〜(314)は、望ましくは等しい角度間隔で互いに離れている。イメージングセンサー間の正確な角度は、使用されるセンサーの数及び収集される画像データの種類によって大きく異なる。必要に応じて、所望の画像の位置をずらしたり整列できるように、イメージングセンサー間の角度間隔を等しくないようにすることもできる。使用されるセンサーの数及びアレイの特定の形状に応じて、全てのセンサーの焦点軸は、全て同じ位置で交差することもできるし、或いは複数の位置で交差することもできる。なお、全てのセンサーは互いに非常に近接し、アパーチャ(320)によって規定される交差領域の中にある。
【００２８】
図３に示すように、イメージングセンサー(310)は、ハウジング(304)内で軸(316)に沿って中央に配置されている。イメージングセンサー(310)の焦点軸(324)は、センサーの視線が領域(322)の画像領域(326)と揃うように、ハウジング(304)と直交している。イメージングセンサー(308)は、ハウジング(304)内で、軸(316)に沿ってイメージングセンサー(310)の隣りに配置されている。イメージングセンサー(308)の配置は、その視線が領域(322)の画像領域(328)と一致するように、また、その焦点軸(330)が集束し、アパーチャ(320)が境界をなす領域内で軸(324)と交差するように調整されている。イメージングセンサー(312)は、ハウジング(304)内で、イメージングセンサー(310)の隣りでセンサー(308)とは反対側に軸(316)に沿って配置される。イメージングセンサー(312)の配置は、その視線が領域(322)の画像領域(332)と一致するように、さらにその焦点軸(334)が集束し、アパーチャ(320)が境界をなす領域内で軸(324)(330)と交差するように調整されている。イメージングセンサー(306)は、ハウジング(304)内で、軸(316)に沿ってセンサー(308)の隣りに配置されている。イメージングセンサー(306)の配置は、その視線が領域(322)の画像領域(336)と一致するように、また、その焦点軸(338)が集束し、アパーチャ(320)が境界をなす領域内で他の焦点軸と交差するように調整されている。イメージングセンサー(314)は、ハウジング(304)内で、センサー(312)の隣りでセンサー(306)とは反対側に軸(316)に沿って配置される。イメージングセンサー(314)の配置は、その視線が領域(322)の画像領域(340)と一致するように、さらにその焦点軸(344)が集束し、アパーチャ(320)が境界をなす領域内で他の焦点軸と交差するように調整されている。
【００２９】
イメージングセンサ(306)〜(314)は、例えば、個別領域スキャンカメラ、ラインスキャンカメラ、赤外線センサー、高スペクトルセンサー及び／又は地震感知器を含む数多くのデジタルイメージングデバイスを含むことができる。各センサーは、個別のイメージングデバイスを含むこともできるし、センサー自体がイメージングアレイを含むこともできる。イメージングセンサー(306)〜(314)は、全てが同じ性質であることが望ましいが、様々なイメージングデバイスの組合せでもよい。以下の説明では、便宜上、イメージングセンサ(306)〜(314)は、夫々、カメラ(306)〜(314)として記載する。
【００３０】
大型フィルム又はデジタルカメラでは、作像上の典型的な問題の原因は、レンズの歪みである。個別レンズの各々は、歪み率を決定するために、注意深く較正されなければならない。本発明の一実施例では、レンズの角度幅が１７度よりも小さなデジタルカメラを使用した。これは、歪みの問題を効率的且つ安価に解決する。
【００３１】
カメラ(306)〜(314)は、各カメラの焦点軸が、アパーチャ(308)に集束し、焦点軸(324)と交差し、その視野がアレイの夫々の位置と対向する標的位置と同一線上に揃うように、ハウジング(302)の中で軸(316)に沿って配置され、カメラと作像すべき標的との間で「斜視(cross-eyed)」の網膜的関係を生ずる。カメラのアレイアッセンブリ(300)は、画像領域(326)(328)(332)(336)(340)の隣り合う境界が若干重なるように構成されている。
【００３２】
取付部材(318)が永久的に固定されている(例えば溶接)場合、アパーチャ(320)、カメラとそれらの視線との空間的関係は、画像領域(326)(328)(332)(336)(340)の空間的関係と同様、固定されたままである。そのような構造は、例えば衛星監視のように、カメラアレイアセンブリ(300)が、領域(322)から本質的に一定の距離に維持される用途に好ましい。カメラの位置と調整は、領域(326)(328)(332)(336)(340)が、領域(322)の全体をイメージングできるように設定される。取付部材(318)が一時的な固定又は調節可能である場合、画像領域(326)(328)(332)(336)(340)が狭く又は広くなるように移動できるように、カメラの位置又は配列を、手操作又は遠隔からの自動操作により選択的に調節できることが好ましく、これによって、カメラアレイアセンブリ(300)によって収集された画像の質を向上させたり、変えることができる。
【００３３】
カメラ(310)は、主カメラとして表される。カメラ(310)の画像面(326)は、基準面(plane of reference)となる。他のカメラ(306)(308)(312)(314)の向きは、基準面に関して測定される。各カメラの相対的な向きは、カメラの画像面が基準面と平行になるように回転させるのに必要なヨー、ピッチ及びロールの角度に関して測定される。回転の順序は、ロール、ピッチ、そしてヨーである。
【００３４】
図２は、カメラ(306)〜(314)によって夫々撮影される領域(326)(328)(332)(336)(340)の画像を上から見た図である。この場合も先と同様、「斜視(cross-eyed)」の配置であるため、領域(336)の画像はカメラ(306)によって撮影され、領域(340)の画像はカメラ(314)によって撮影されるという具合である。本発明の一実施例において、中央のカメラ(310)によって撮影された画像以外の画像は、透視変換(perspective transformation)した後は台形でなる。カメラ(306)〜(314)は、軸(316)に沿ってアレイを形成し、この軸は、殆どの場合が垂直で下向きである。他の実施例において、カメラの第２アレイは、カメラ(306)〜(314)のアレイと同じ様に構成され、カメラの第１アレイに対して斜めから見た図、「ヘッドアップ(heads-up)」斜視図となるように揃えられる。「ヘッドアップ」カメラアレイアセンブリの水平軸からの傾斜角度は、ミッションの目的及びパラメータによって異なるが、２５〜４５度の角度が一般的である。その他の実施例は、カメラアレイの実装は様々であるが、同じ様に本発明に含まれる。そのような実施例において、カメラの相対的な位置と姿勢は、本発明に基づく画像処理を容易にするために、測定及び較正が正確に行われる。
【００３５】
本発明の一実施例において、外部機構(例えば、ＧＰＳタイミング信号)は、カメラを同時にトリガするために使用され、それによって入力画像のアレイが獲得される。次に、モザイク作成モジュールは、そのようなアレイからの個々の入力画像を、隣接画像間に視覚的に認識できる継ぎ目を生ずることなく、オルソ修正された(ortho-rectified)複合画像(又は「モザイク」)にする。モザイク作成モジュールが実行する一組のタスクは、各入力画像の地理上の境界及び寸法を決定し、各入力画像をモザイク上に投射して正確な地理上の位置を決定し、モザイク中の画像の色のバランスをとり、隣接する入力画像を、それらが共有する継ぎ目で一体化することを含んでいる。実行されるタスクの正確な順序は、入力画像データのサイズ及び性質によって異なる。特定の実施例において、モザイク作成モジュールは、モザイク作成中に、元の入力画像に対して１つの変換だけを実行する。変換は、４×４マトリクスによって表されることができる。複数の変換マトリクスを単一マトリクスに合成することにより、処理時間は低減され、元の入力画像の鮮明さは保持される。
【００３６】
入力画像をモザイクにマッピングする間、特にモザイク作成が高解像度で行われる場合は、モザイク内のピクセル(即ち出力ピクセル)は、入力画像(即ち、入力ピクセル)中のどのピクセルによってもマッピングされない。曲がった線は、モザイク内に人工事実(artifacts)を引き起こす可能性がある。本発明の特定の実施例は、この問題をスーパーサンプリングシステムで解消するもので、このシステムでは、入力ピクセルと出力ピクセルの各々は、ｎ×ｍグリッドのサブピクセルにさらに分割される。変換は、サブピクセルからサブピクセルに行われる。出力ピクセルの最終値は、そのサブピクセルの平均値であり、これに対し、対応する入力サブピクセルが存在する。ｎ値とｍ値がより大きくなると、解像度がより高いモザイクを生成するが、余分の処理時間を必要としない。
【００３７】
画像データを処理する間、モザイク作成モジュールは、下記の情報を使用することができる。その情報は、入力画像が獲得される時の各カメラの焦点の空間位置(例えば、ｘ、ｙ、ｚ座標)、入力画像が獲得される時の標的領域の地面(ground plane)に対する各カメラの像平面の姿勢(即ち、ヨー、ピッチ、ロール)、各カメラの視野(即ち、軌道に沿う場合と軌道を横切る場合)、及び領域の数値地形モデル(ＤＴＭ)である。姿勢は、システムに連繋されたＡＭＵｓによってもたらされる。数値地形モデル(ＤＴＭｓ)又は数値地表モデル(ＤＳＭ)は、ＬＩＤＡＲモジュール(118)を用いて得られる情報から作成されることができる。ＬＩＤＡＲは、広く知られたレーダーと同様であり、レーザー・レーダーと考えられることができる。レーダーでは、電波は大気中に送信され、エネルギーの一部は散乱してレーダーの受信機へ戻される。ＬＩＤＡＲは、高周波で、電磁放射線の送信と受信を行なう。これは、ＬＩＤＡＲは電磁スペクトルの紫外線、可視線及び赤外線領域内で動作するからである。動作中、ＬＩＤＡＲは、光を標的領域に送信する。送信された光は、標的領域と交差し、変化する。この光の一部は、ＬＩＤＡＲ機器に戻されて反射／散乱し、そこで分析されることができる。光の特性の変化により、標的領域の特性の一部を求めることが可能となる。光が標的領域を出て、ＬＩＤＡＲ装置に戻るまでの時間は、標的までの範囲を決定するために使用される。
【００３８】
ＤＴＭとＤＳＭのデータ群は、カメラアレイアセンブリから獲得されることもできる。また、高さデータを得る従来の手段として、例えばステレオグラフィック技術を用いることもできる。
【００３９】
現在、ＬＩＤＡＲには、測距儀(range finders)、差別的吸収ライダー(Differential Absorption LIDAR)(ＤＩＡＬ)及びドップラーライダー(Doppler LIDAR)の３種類の基本的な形態がある。測距儀ＬＩＤＡＲは、最も単純なＬＩＤＡＲであり、ＬＩＤＡＲ装置から固体又は硬質標的までの距離を測定するために使用される。ＤＩＡＬライダーは、大気中の化学濃度(例えば、オゾン、水蒸気、汚染物質)を測定するために用いられる。ＤＩＡＬ ＬＩＤＡＲは、２種類の異なるレーザー波長を使用しており、一方の波長は対象分子によって吸収されるが、他方の波長は吸収されないように選択される。２つのリターン信号の強度の差は、調査される分子の濃度を推定するために使用されることができる。ドップラーＬＩＤＡＲは、標的の速度を測定するために使用される。ＬＩＤＡＲから送信された光が、ＬＩＤＡＲに接近離間する標的に衝突する際、標的に反射／散乱する光の波長は僅かに変化する。これは、ドップラーシフトとして、それゆえドップラーＬＩＤＡＲとして知られている。標的がＬＩＤＡＲから離れる場合、リターン光は、より長い波長(赤方偏移と呼ばれることがある)を有し、標的がＬＩＤＡＲに接近する場合、リターン光は、より短い波長(青方偏移と呼ばれることがある)を有する。標的は、硬質標的又は大気標的(例えば、風によって運ばれる微細な塵埃やエアロゾル粒子)のどちらかである。
【００４０】
カメラの焦点は、透視変換の中心として使用される。空間中のその位置の決定は、例えば、航空機(host craft)に搭載された多周波キャリア位相処理後ＧＰＳシステムによって行われる。カメラの焦点から三次元のオフセット位置は、ＧＰＳアンテナの中心を対照して注意深く測定されなければならない。これらのオフセットは、ＧＰＳアンテナの位置及び航空機の方向と組み合わされて、カメラの焦点の正確な位置が決定される。ＧＰＳアンテナの位置は、収集されたＧＰＳデータの飛行後処理により、正確な測量地点に配備された同様な地上ＧＰＳアンテナと対照して決定される。
【００４１】
１又は２以上のＡＭＵｓ(例えば、the Applanix POS AV)は、姿勢決定のために機内に搭載される。標的領域の地面に対するＡＭＵ基準面の姿勢は、短い間隔で測定、記録され、その精度は１／１００度よりも良好である。ＡＭＵ基準面の姿勢は、この平面の軸上で、地面と平行にするために行われる一連の回転として規定される。「位置調整(align)」という語もまた、この操作を説明するために使用される。
【００４２】
ＡＭＵに関する中央カメラ(310)の姿勢(即ちその像平面)は、注意深く較正されなければならない。中央カメラ(310)に関する他の各カメラの姿勢は、注意深く較正されなければならない。この従属較正は、各カメラを直接較正するよりも効率的である。カメラアレイアセンブリ(300)が再搭載される場合、中央カメラ(310)だけが再較正を必要とする。事実上、一連の２つの変換は、中央カメラ(310)から入力画像に施される。まず、中央カメラの像平面は、ＡＭＵ平面と同一線上の位置に調整される。次に、ＡＭＵ平面は、地面に対して再び位置調整される。しかしながら、これらの変換は、夫々の変換マトリクスを乗じることによって、単一動作に組み合わされる。他のカメラの各々からの画像が、中央カメラの像平面と同一線上に揃うように、追加の変換が実行される。
【００４３】
中央カメラ(310)の焦点の位置は、上記のように決定される。この位置のｘ成分とｙ成分は、地面上のモザイクの鉛直位置(nadir point)(400)を決定する。各カメラの視野(ＦＯＶ)角度は知られているので、各入力画像の寸法は、カメラの焦点のｚ成分によって決定されることができる。地面の平均高さは、領域のＤＴＭｓでの平均標高地点を演算することによって決定され、各入力画像は、この標高の想像上の水平面に投影される。次に、領域のＤＴＭｓを使用して、起伏による標高のずれ(relief displacement)が適用される。ＤＴＭｓは、多くのソースから獲得されることができ、それには、アメリカ合衆国の殆どの所で利用されるＵＳＧＳ ３０−又は１０−メートルＤＴＭｓ、商業用ＤＴＭｓ、又は、カメラと同時にデータ獲得する航空機上に搭載されたＬＩＤＡＲ又はＳＡＲ ＥＭＵ装置によって得られるＤＴＭｓが挙げられる。
【００４４】
地理的に正しく配置されることに加えて、得られた複合画像は、全体を通して色を一致させる必要があり、２つの隣接する画像間の接合部に、視覚的に認識できる継ぎ目がないようにする。本発明は、この目標を達成するために幾つかの技術を提供する。
【００４５】
従来のカメラの特徴は、露光時間(即ち、像平面に光を集めるためにシャッターが開いている時間)である。露光時間が長ければ長いほど、得られる画像は明るくなる。露光時間は、例えば、雲の量、カメラに対する太陽の角度と位置などの条件によって生じる周囲環境の光の明るさの変化に、適合させなければならない。最適な露光時間は、光源に関するカメラの向きにも依存する(例えば、一般的に、太陽に照らされた物体の方に向けられているカメラは、日陰にある物体の方に向けられているカメラよりも周囲の光を多く受ける)。露光時間は、画像の平均強度が所定の範囲内に維持されるように調整される。例えば、２４ビットのカラー画像では、レッド、グリーン及びブルーの各成分は、０〜２５５の強度値を有することができる。しかしながら、多くの場合、平均強度を、平均値(即ち１２７)に維持することが望ましい。
【００４６】
本発明では、露光制御モジュールは、カメラ又はイメージングセンサーの各々の露光時間を制御する。露光制御モジュールは、各入力画像を検査し、平均画像強度を計算する。移動平均(即ち、最後のＸ数の画像の平均強度)に基づいて、露光制御モジュールは、露光時間を増加又は減少すべきかを決定する。該モジュールは、照明条件の変化に対する反応時間を遅くするために、より長い移動平均時間を用いることができるので、通常は暗い画像又は明るい画像(例えばアスファルト道路又は水)に対する感受性が少ない。露光制御モジュールは、各カメラの露光時間を別々に制御する。
【００４７】
カメラが取り付けられるシステムに前進運動補償機構(forward-motion compensation mechanisms)が用いられていない場合、露光時間に最大限度を設けなければならない。露光時間を最大値より大きい値に設定すると、動きによって不鮮明な像が生じる。例えば、カメラが、１７０マイル／時(又は約３インチ／ｍｓ)で移動する飛行機に搭載されていると仮定する。所望のピクセル解像度は６インチと仮定する。画像獲得中の前進運動は、ピクセルサイズの半分に制限されるべきであり、この場合では３インチである。従って、この例での最大露光は１ミリ秒である。
【００４８】
生成される画像品質の制御の際、光強度の変化が、周囲環境の光に起因するものか、又は、通常は明るい物体若しくは暗い物体(例えば、反射する水塊、金属屋根、アスファルトなど)の存在に起因して起こるのかを決定できることは有用である。この発明の用途の中には、空中での撮影又は監視を含んでいる。地面の航空画像は、通常は、植物や草木を含んでおり、これらは、水塊(water bodies)又は道路や建物のような人工構造物よりも反射率はより一定であることが観察される。植物や草木の画像は、通常は、グリーンに支配されている(即ち、グリーン成分は、レッド、グリーン及びブルーの値の中で最も大きい)ことは勿論である。それゆえ、強度の相関は、グリーンが支配的なピクセルに焦点を当てることにより、より正確に得られることができる。
【００４９】
露光制御モジュールは、グリーンが支配的なピクセルだけを選択することによって、画像の平均強度を演算する。例えば、画像が１００万ピクセルを有し、３００,０００はグリーンが支配的である場合、それら３００,０００のグリーンの支配的なピクセルだけが、平均強度の計算に含まれる。この結果、作像プロセスでは、ピクセルが通常はグリーン支配的でない人造の建物及び水塊によって引き起こされるバイアス(偏り)に対する感受性が小さくなる。前述したように、約１２７の強度値を維持することが望ましい。強度値が１２７を越えると(即ち、過剰露光)、露光時間は短くなり、捕獲される光は少なくなる。同様に、強度値が１２７以下(露光不足)の場合、露光時間は長くなり、捕獲される光は多くなる。例えば、白い屋根が多くあって、強度が非常に高い標的地形領域上を飛行するシステムについて検討する。捕獲される画像の平均強度は高くなる傾向がある。従来のシステムの殆どは、露光時間は、補償できるように短くされる。しかしながら、前記の例では、露光時間を短くすることは妥当でない。その理由は、屋根の明るさによって、画像の平均強度がバイアスされているためである。露光時間を短くすると、得られる画像の地面は実際よりも暗くなる。これに対し、本発明に基づいて、グリーンが支配的なピクセルだけが処理されると、ピクセルに表れる屋根は過度に明るいため、平均強度をバイアスし、露光時間は変化しない。
【００５０】
このように、露光制御モジュールは、入力画像間の強度差を少なくする。それでもなお、色調バランスを向上させるために、さらなる処理が行われる。像平面からの不均一な光を受ける要因は数多くある(例えば、レンズ物理学、大気条件、イメージング装置の空間／位置関係)。また、カメラ又はセンサーの中央部は、縁部よりも多くの光を受ける。
【００５１】
本発明のモザイク作成モジュールは、これをビグネッティング(口径食)防止機能(anti-vignetting function)で対応しており、これについて、図５を参照して説明する。該モジュールが、作像標的領域(512)(例えば、地形)の範囲を通るとき、幾つかの焦点のカラム(500)(502)(504)(506)(508)は、像平面(509)から集束し、焦点(510)で交差する。カラム(500)〜(508)は、単一のカメラ又はセンサーの個々の解像カラムを含むことができるし、又は幾つかの独立したカメラ又はセンサーの焦点軸を表すこともできる。参考の目的で説明すると、カラム(504)は、軸として機能し、カラム(504)が像平面(509)と交差する位置(513)は、主位置として機能する。露光制御モジュールは、ビグネッティング防止機能を適用し、入力ピクセルの元の強度と、カラム依存性ビグネッティング防止因子が乗じられる。受光面は、座標系を持つ平面として表されるから、各コラムは、幾つかの解像用ロー(resolution rows)を有している(図示せず)。この関係は、カラムｘ、ローｙにおけるピクセルｐについて、次のとおり表されることができる。
＜調整された強度＞＝＜元の強度＞*ｆ(ｘ)；
但し、ｆ(ｘ)は、フォームの関数であり：
ｆ(ｘ)＝cos(軸外角度)**４
軸外角度(off-axis angle)(514)は、中央カラム(504)に対して０、カラム(502)(506)に対しては大きく、カラム(504)(508)に対してはさらに大きい。全体の視野角度(516)(ＦＯＶ×角度)は、カラム(504)と(508)の間に示されている。
【００５２】
関数ｆ(ｘ)は、カラム間の幾つかの線セグメントによって近似されることができる。任意のカラムｃ１とｃ２との線セグメントの範囲内にある位置に関して、調整係数は次のように算出される。
＜ｃの調整係数＞＝ｆ(ｃ１)＋[ｆ(ｃ２)−ｆ(ｃ１)*(ｃ−ｃ１)/(ｃ２−ｃ１)]
【００５３】
なお、ｆ(ｃ１)はカラムｃ１での軸外角度のｆ関数値であり、ｆ(ｃ２)はカラムｃ２での軸外角度のｆ関数値である。
【００５４】
各組の入力画像は、モザイク画像に挿入される必要がある。露光制御モジュールが各カメラ又はセンサーの受光量を調節するにもかかわらず、得られる入力画像は強度による相違がある。本発明は、強度バランシングモジュールを提供するもので、隣接する入力画像間の重なり合う領域を比較して、相対強度のさらなるバランス取りが行われる。隣接する入力画像は、同時に得られるから、重なり合う領域は、理論上、両方の入力画像で理想的な強度を有するはずである。しかしながら、様々な要因により、強度値は通常は同じではない。強度差を引き起こす要因の幾つかには、例えば、露光制御モジュールが特定カメラだけの視野に存在する通常は明るい物体又は暗い物体によってバイアスされることや、カメラのボアサイト角度が異なること(即ち、傾斜の大きいカメラは、垂直により近いカメラよりも受光が少ない)が挙げられる。
【００５５】
２つの隣接する画像のバランスをとるために、一方は、基準画像(reference image)として選択され、他方は二次的画像ある。相関ベクター(ｆＲ、ｆＧ、ＦＢ)は、例えば次のプロセスを用いて決定される。Ｖを、ピクセルの値(Ｒ、Ｇ及びＶ)を表す３×１ベクターとする：
【数１】
相関マトリクスＣは次のように導き出される。
【数２】
ここで、ＦＲ＝ＡｖｇＩｒ／ＡｖｇＩｎである。ＡｖｇＩｒは基準画像内の重なり領域のレッド平均強度であり、ＡｖｇＩｎは新画像内の重なり領域のレッド平均強度であり、ＦＧとＦＢについても同じように導き出される。
【００５６】
相関マトリクスは、二次的画像の重なり領域の平均強度が、基準画像の重なり領域の平均強度と同一になるように、二次的画像のピクセル値に倍率をかける。第２画像は、そのピクセル値に相関マトリクスを乗じることにより、基準画像とのバランス取りが行われる。
【００５７】
このように、本発明に基づくバランシングプロセスの一実施例では、中央画像は、基準画像として扱っている。基準画像は、まず、複合画像(又はモザイク)にコピーされる。基準画像と隣接画像(例えば、すぐ左の画像)との間の重なり領域は、相互に関連づけられ、バランシング相関マトリクス(ＢＣＭ)が演算される。ＢＣＭは、重なり領域の強度を両画像で一致させるために、隣接画像のピクセルを表すベクターで乗算される。この関係の一実施例は、次のように表される。
Ｉ(中央)＝中央画像内の重なり領域の平均強度、とし、
Ｉ(隣接)＝隣接画像内の重なり領域の平均強度、とすると、
バランス係数＝Ｉ(中央)／Ｉ(隣接)、となる。
【００５８】
各カラーチャンネル(即ち、レッド、グリーン及びブルー)のバランス係数は、個々に演算される。これら３つの値はＢＣＭを生成する。バランス処理された隣接画像は、モザイクにコピーされる。コピーされた画像の境界での滑らかな移行は、マスクで「フェザリング」することによって行われる。このマスクは、隣接画像と同じ寸法であり、幾つかの要素を含んでいる。マスク中の各要素は、モザイク内の対応する隣接画像ピクセルの重みを示している。重みは、境界のピクセルでは０であり(即ち、出力値は基準画像からとられる)、選択された混合幅に達した後、一体化するまで、隣接画像の方に向けて徐々に増加する。混合領域を越えると、モザイクは、隣接画像のピクセルによって完全に決定される。同様に、他の入力画像についても、全ての入力画像間の重なり部分が分析され処理され、相関ベクターが演算され、画像の強度のバランスがとられる。
【００５９】
相関マトリクスは、例えば次のプロセス(図６を参照)によって決定される。図６は、本発明に基づいて生成されたストリップ(600)を示している。基本モザイク(602)と新モザイク(604)は、経路(又は軌道)(606)に沿って追加され、領域(308)内で相互に重なっている。Ｖを、ピクセルのＲ値、Ｇ値及びＢ値を表すベクターと仮定した場合、Ｖは、次のとおりである。
【数３】
また、ｈを、領域(608)の移行幅とし、ｙを、重なり領域の境界(610)から位置Ａまでの軌道(606)に沿う距離とすると、そのピクセル値はＶによって表される。
Ｃを相関マトリクスとすると、次のとおり表される。
【数４】
バランス処理されたＶ値を、Ｖ'とすると、Ｖ'は、
０＜ｙ＜ｈの場合、Ｖ’＝[ｙ／ｈ.Ｉ＋(１−ｙ／ｈ).Ｃ]×Ｖ、
ｙ＞＝ｈの場合、Ｖ’＝Ｖである。
ここで、Ｉは、識別マトリクス(identity matrix)である。
【数５】
「フェザリング(feathering)」技術は、視覚的に認識されるシーム部を最小にするために、勾配(gradient)と組み合わせて使用されることは留意されるべきである。
【００６０】
モザイクが長い場合、重複部分の強度差は、モザイクの一端から他端まで変化する。シーム部が視覚的に認識できないようにするために、単一の相関ベクターを算出することはできないことがある。モザイクは、モザイクを構成する元の入力画像の位置に対応する幾つかのセグメントに分割されることができる。上記プロセスは、各セグメントへ別々に適用され、局部的なカラーの一致性はより優れたものとなる。
【００６１】
このように手の込んだアルゴリズムの下では、２つのセグメントの境界にあるピクセルは、垂直なシーム部(南北のフライトラインと仮定)を生成する可能性がある。この問題を回避するために、この領域内のピクセルのバランス係数は、一方のセグメントから他方のセグメントまで移さなくてはならない。これについては、図７を参照して説明する。
【００６２】
図７は、本発明に基づいて形成されたストリップ(700)を示している。基本モザイク(702)と新モザイク(704)は、領域(706)で重なっている。モザイク(702)と他の新セグメント(708)は、領域(710)で重なっている。セグメント(704)と(708)は、領域(712)で重なり、領域(706)、(710)、(712)は全て、領域(714)で重なり、一致している。説明の都合上、位置(716)は、ｙ軸(718)とｘ軸(720)の原点である。ｙ軸(718)に沿う移動は、イメージングシステムの飛行経路に沿う移動を表している。位置(716)は、領域(714)の左下に位置している。
【００６３】
本発明に基づいて、ストリップの寸法は、構成モザイクの最小と最大のｘ値及びｙ値によって決定される。出力ストリップは、背景色に初期化される。第１モザイクはストリップへ移動される。次の(飛行経路に沿う)モザイクは、次に処理される。新モザイクと第１モザイクの重なる領域の強度値は、カラーチャンネル毎に別々に相関関係を有している。新モザイクは、モザイクを構成する元の入力画像に対応する幾つかのセグメントに分割されることができる。幾つかのマスク要素を含むマスクマトリクスは、新モザイクのために作成される。マスク要素は、新モザイク内の対応するピクセルに対する相関マトリクスを含んでいる。マスクの全ての要素は、一体化のために初期化される。マスクのサイズは、新モザイクの移行領域だけに制限されることができる。相関マトリクスは、中央セグメントに対して計算される。中央セグメントに対応するマスク領域が処理される。重なり領域の端部における要素の値は、相関ベクターに設定される。次に、第１モザイクからストリップに沿って徐々に離れていくと、相関マトリクスの成分は、所定の移行距離で一体化されるまで、増加又は減少する(一体化よりも少ないか又は多い)。中央セグメントに隣接するセグメントに対応するマスクの領域は、次に、同じ様に処理される。しかしながら、第１モザイクと、隣接する新画像の中央及び隣接セグメントによって形成される領域(814)は、特別な処理を必要とする。隣接セグメントに対する相関マトリクスは、中央セグメントの相関マトリクスと同一でない場合は、第１モザイクと重なる領域(714)の２つのセグメントの境界に、シーム部が見えることがある。それゆえ、コーナー部は、両方のセグメントからの相関マトリクスによる影響を受ける。中央セグメントとの境界までの距離ｘと、重複端部までの距離ｙにあるマスクセルＡの場合、その相関マトリクスは、２つのセグメントの距離加重平均(distance-weighted average)であり、次のように評価される。
領域(714)内で中央セグメントとの境界までの距離ｘのピクセルＡ(ｘ，ｙ)の場合、そのバランス処理された値は、２つのセグメントを用いて計算された値の距離加重平均として計算され、
Ｖ１は、セグメント(704)に基づくバランス処理後のＲＧＢベクター、Ｖ２は、セグメント(708)に基づくバランス処理後のＲＧＢベクター、Ｖ’は、バランス処理後のＲＧＢベクターの合計(最終)で、
Ｖ’＝((ｄ−ｘ)／ｄ).Ｖ１＋(ｘ／ｄ).Ｖ２である。
前記式において、ｘ軸は、重なり領域の底部を通るライン線であり、ｙ軸は、セグメント(704)と(708)の間の重なり領域の左側を通るラインであり、ｈは、移行幅であり、ｄは、セグメント(704)と(708)の間の重なり領域の幅である。
他の隣接セグメントに対応するマスク領域は、同じ様に計算される。
【００６４】
本発明にあっては、カラー忠実度(color fidelity)(即ち、ホワイトバランス)フィルターがさらに適用される。これは、カラー忠実度を高めるために、Ｒ成分とＢ成分を確定因子(determinable factor)と乗算するものである。因子は、カメラとレンズを較正することによって決定される。カラー忠実性フィルターは、人間の目で直接感知されるときのように、画像のカラーの忠実性を確実に保持する。画像獲得装置の中で、レッド、グリーン及びブルーの受光要素は、それら要素が捕獲することになっているカラーに対する感受性が異なる。
「ホワイトバランス」のプロセスは、白色物体の画像が捕獲される場合に適用される。理論上、その白色物体の画像のピクセルは、Ｒ、Ｇ及びＢ値は等しい値でなければならない。ところが実際には、感受性の相違や他の要因によって、Ｒ、Ｇ及びＢに対する平均のカラー値は、夫々、ａｖｇＲ、ａｖｇＧ及びａｖｇＢである。カラー成分を等しくするために、ピクセルのＲ、Ｇ及びＢ値には、下記の比が乗算される。
Ｒ値には、ａｖｇＧ／ａｖｇＲが掛け算され、Ｂ値には、ａｖｇＧ／ａｖｇＢが掛け算される。
最終的には、白色物体の画像は、等しいＲ、Ｇ、Ｂ成分を有するように設定される。
【００６５】
殆どのアプリケーションにおいて、ストリップは、通常は、表面に水の無い広い領域を覆っている。それゆえ、ストリップの平均強度は、高反射性表面のような異常例(anomalies)によって歪められる可能性が少ない。本発明は、平均と標準偏差が所望の値となるように、各ストリップの平均強度を正規化する強度正規化モジュール(intensity normalization module)を提供するものである。例えば、平均値１２７は、写真測量法の標準である。標準偏差５１は、画像の特徴を視覚認知するための最適範囲に対する強度値を広げるのに有用である。各ストリップは、異なる照明条件で撮影されるので、異なる画像データのプロファイル(即ち、平均強度及び標準偏差)を有している。このモジュールは、全てが同じ平均及び標準偏差を有するように、ストリップを正規化する。これにより、ストリップは、シーム部が視覚的に認識されることなく、一緒に繋ぎ合わせられることができる。
【００６６】
この強度正規化は、Ｒ、Ｇ及びＢの各チャンネル、及び全チャンネルに対する平均強度の計算を含んでいる。次に、全体の標準偏差が計算される。各ピクセルのＲ、Ｇ及びＢの各値は、新平均値及び標準偏差に変換される。
新値＝新平均値＋(旧値−旧値)*(新標準／旧標準)
【００６７】
次に、複数の隣接するストリップを組み合わせて、対象領域に対するタイルモザイクが作成される。完成タイルは、USGS quads又はquarter-quadsに対応することができる。ストリップをモザイクに繋ぎ合わせることは、モザイクどうしを繋ぎ合わせてストリップを生成することを同様であり、ここではストリップがモザイクの役割を果たしている。２つのストリップ間のシームライン(seam line)では、ラインがビルや橋などの高架構造物を横切る場合、問題が生じる可能性がある。これは写真測量法では古典的な問題であり、２つの異なる視点(perspectives)から見られる同一物体によって引き起こされる視差から生じるものである。ビルを作像する際、例えば、一方のストリップは、ビルの一方の側から見た図であるが、他方のストリップは、ビルの他方の側から見た図である。画像が一緒に繋ぎ合わせられた後、得られたモザイクは、円錐状テント(tepee)のように見えるかもしれない。これに対処するために、地形案内型モザイク作成プロセス(terrain-guided mosaicing process)を実行することにより、シームラインの配置が案内される。例えば、画像データを使って収集又は画像データから分析されたＬＩＤＡＲ又はＤＥＭデータは、画像を貼り合わせるときに処理され、画像の構成及び形状が決定される。このように、モザイク画像の中には、シームラインが直線ではなく、高架構造物を蛇行するように前後左右に移動するシームラインを含むものもある。
【００６８】
ここで図８を参照すると、本発明に係るイメージングプロセス(800)の一実施例が示されている。プロセス(800)は、収集された１又は２以上の未処理の一連の画像(802)で開始する。次に、画像(802)は、ホワイトバランス処理プロセス(804)によって処理され、画像は一連の中間画像に変換される。次に、一連の画像(802)は、オルソ補正(Orthorectification)プロセス(808)に進む前に、ビグネッティング防止機能(806)によって処理される。前述したように、オルソ補正は、イメージングセンサーシステム又はプラットフォームからの位置及び姿勢データ(810)と、ＤＴＭデータ(812)に基づいて行われる。ＤＴＭデータ(812)は、位置データ(810)から作成され、例えば、ＵＳＧＳ ＤＴＭデータ(814)又はＬＩＤＡＲデータ(816)から作成される。一連の画像(802)は、ここでオルソ補正され、カラーバランス処理(818)が続いて行われる。カラーバランス処理後、一連の画像(802)は、モザイク作成モジュール(820)により、複合画像(822)に変換される。モジュール(820)は、この変換中、モザイク処理とフェザリングプロセスを実行する。ここで、１又は２以上の複合画像(822)は、ステップ(824)でさらに合成され、勾配をつけたフェザリングにより、モザイクから画像ストリップ(826)が生成する。画像ストリップは、強度正規化(828)によって処理される。このように正規化されたストリップ(828)は、ステップ(830)で、再びモザイク処理され、勾配をつけたフェザリングによって、完成タイルモザイク(832)が生成される。ステップ(830)で行われるモザイク処理は、ＤＴＭデータ(812)又はＬＩＤＡＲデータ(816)に基づく地形案内型モザイク処理プロセスを含んでいる。
【００６９】
図９は、カメラアレイアセンブリで撮影された写真が、どのように調整され、個々のフレームが作成されるかを図式的に示すものである。
【００７０】
図１０は、本発明の特定の実施例に基づく処理ロジック(processing logic)のブロック図である。処理ロジックは、ブロック図(1000)に示されるように、標高測定値(1002)、姿勢測定値(1004)及び／又は、写真及びセンサー像(1006)を含む１又は２以上の入力を受ける。ブロック(1008)で示されるように、分析が行われる前に、特定の入力が最初の処理ステップに通され、姿勢測定値は、地上制御位置からのデータと合成される。標高測定値(1002)と姿勢測定値(1004)を合成することにより、処理された標高データ(1010)が生成される。処理された標高データ(1010)は、次に、標高ＤＥＭ(1014)及びＤＴＭ(1016)を生成するために使用される。同様に、姿勢測定値(1006)は、写真及びセンサー画像(1006)と合成され、地理情報を含む(georeferenced)画像(1012)が生成され、次に、前記画像は、カラーバランス処理及び勾配フィルタリングを含む画像処理(1018)が施される。
【００７１】
使用されるデータ群(1020)に応じて、ＤＴＭ(1016)又はＵＳＧＳ ＤＥＭ(1022)のどちらか一方が、処理された画像(1018)と組み合わされ、オルソ補正された画像(1024)が生成される。オルソ補正された画像(1024)は、次に、セルフロック式フライトライン(1026)に供給される。次に、投影されたモザイクのバランス処理(1028)が続いて行われ、最終的な写真出力(1030)を生成する。
【００７２】
本発明は、出力品質を向上させるために、側方向をある程度オーバーサンプリングする。図１１は、本発明の特定の実施例に基づくもので、移動体から見た側方向オーバーサンプリングのパターン(1100)で、最小の側方向オーバーサンプリング(lateral oversampling)を示している。この実施例では、中央カメラに割り当てられた中央鉛直領域(1102)は、鉛直領域左側(1104)及び鉛直領域右側(1106)とほんの僅かだけ重なり、重なり部は最小である。図１２は、本発明の特定の実施例に基づくもので、移動体から見た側方向オーバーサンプリングのパターン(1200)で、より大きな側方向オーバーサンプリングを示している。中央カメラに割り当てられた中央鉛直領域(1202)は、鉛直領域左側(1204)及び鉛直領域右側(1206)とかなり重なっている。
【００７３】
図１１及び図１２に示される側方向オーバーサンプリングを使用することに加えて、本発明はまた、フライトラインのオーバーサンプリングも同様に採用する。図１３は、本発明の特定の実施例に基づくもので、移動体から見たフライトラインのオーバーサンプリングパターン(1300)の例示であって、フライトラインのある程度のオーバーラインで、最小の側方向オーバーサンプリングを示している。中央の鉛直領域(1302)及び(1304)は、フライトラインに沿って互いに重なるが、鉛直領域の左側領域(1306)(1308)又は鉛直領域の右側領域(1310)(1312)とは、側方向で重ならない。
【００７４】
図１４は、本発明の特定の実施例に基づくもので、移動体から見たフライトラインのオーバーサンプリングを例示したもので、大きなフライトラインのオーバーサンプリングと、大きな側方向オーバーサンプリングを示している。中央の鉛直領域(1402)〜(1406)の各々は、鉛直領域の左側領域(1408)〜(1412)及び鉛直領域の右側領域(1414)〜(1418)と、互いに大きく重なっていることがわかる。鉛直領域の左側領域(1408)〜(1412)は、鉛直領域の右側領域(1414)〜(1418)と同じように、互いに重なっている。それゆえ、表面上の各位置は、少なくとも２回以上、場合によっては４回もサンプリングされる。この技術では、異なるカメラセンサーによって２回又はそれ以上覆われる画像の領域において、全体で解像度を４倍にするために、側方向(経路を横切る方向)と、フライトラインの方向(経路に沿う方向)の両方向で、画像の解像度を倍増させることが可能である。実際には、画像／センサーの解像度の向上は、各寸法において２倍より幾分少なく、各寸法でおよそ４０％であり、１.４×１.４＝約２倍である。これは、サブピクセルの排列／配向の統計的変動によるものである。事実上、ピクセルのグリッドは、上に重ねられたピクセルグリッドから正確に等距離であることは殆どない。非常に精密な側方向カメラセンサーの配列が、サブピクセルレベルで行われた場合、画像解像度の４倍増が実現される。
【００７５】
図１５は、本発明の特定の実施例に基づくもので、移動体から見た累進的拡大パターン(progressive magnification pattern)(1500)を示している。中央の鉛直領域(1502)は、その左縁部と右縁部が、夫々、鉛直領域左の内側領域(1504)及び鉛直領域右の内側領域(1506)と境界を有している。鉛直領域左の内側領域(1504)は、その左縁部が鉛直領域左の外側領域(1508)と境界を有する一方、鉛直領域右の内側領域(1506)は、その右縁部が鉛直領域右の外側領域(1510)と境界を有している。なお、これらの領域は、重なりとオーバーサンプリングの程度が互いに最小であることを示していることに留意されるべきである。
【００７６】
図１６は、本発明の特定の実施例に基づくもので、移動体から見た累進的拡大パターン(1600)を示している。中央の鉛直領域(1602)は、その左縁部と右縁部が、夫々、鉛直領域左の内側領域(1604)及び鉛直領域右の内側領域(1606)と境界を有している。鉛直領域左の内側領域(1604)は、その左縁部が鉛直領域左の外側領域(1608)と境界を有する一方、鉛直領域右の内側領域(1606)は、その右縁部が鉛直領域右の外側領域(1610)と境界を有している。上記の如く、これらの領域は、重なりとオーバーサンプリングの程度が互いに最小であることを示していることに留意されるべきである。鉛直領域(1604)〜(1610)の各々はその内部に、グレーで陰影を付けて示された中央画像領域(1614)〜(1620)がある。
【００７７】
図１７は、本発明の特定の実施例に基づくもので、移動体から見た累進的拡大パターン(1700)を示している。パターン(1700)の中央では、鉛直領域左の内側領域(1702)と鉛直領域右の内側領域(1704)が中央で重なっている。鉛直領域左側の中間の領域(1706)と鉛直領域右側の中間の領域(1708)は、夫々、領域(1702)及び領域(1704)から部分的に外側に配置されており、各々は、夫々の隣接領域と約５０％重なる領域を共有している。鉛直領域左の外側領域(1710)と鉛直領域右の外側領域(1712)は、夫々、領域(1706)及び領域(1708)から部分的に外側に配置されており、各々は、夫々の隣接領域と約５０％重なる領域を共有している。中央の画像領域(1714)は、パターン(1700)の中央に配置され、鉛直領域(1702)〜(1712)の中央部分で構成されている。
【００７８】
図１８は、本発明の特定の実施例に基づくもので、システム(1800)のアーキテクチャの概略図を示している。システム(1800)は、１又は２以上のＧＰＳ衛星(1802)及び１又は２以上のＳＡＴＣＯＭ衛星(1804)を含んでいる。さらに、１又は２以上のＧＰＳロケーションシステム(1806)を含むことができ、該システムは、ＬＩＤＡＲ、ＧＰＳ及び／又はＸ、Ｙ、Ｚの位置データを収集し、そのような情報を１又は２以上のデータ捕獲システムアプリケーション(1812)に供給する１又は２以上のモジュール(1808)へ動作可能に接続されている。また、１又は２以上のデータ捕獲システムアプリケーション(1812)は、カメラアレイ(1822)からスペクトルデータを受信する。ＤＧＰＳ(1810)は、無線通信リンク(1826)を通じて１又は２以上のＳＡＴＣＯＭ衛星(1804)と通信が行われる。同様に、１又は２以上のＳＡＴＣＯＭ衛星(1804)は、１又は２以上のデータ捕獲システムアプリケーション(1812)と通信が行われる。
【００７９】
１又は２以上のデータ捕獲システムアプリケーション(1812)は、自動操縦装置(1816)、ＳＳＤ及び／又はRealTime StitchGシステム(1820)と繋がり、これらは互いに相互作用する。ＳＳＤ(1814)は、RealTime DEM(1818)へ動作可能に接続されることができる。最終的に、RealTime DEM(1818)及びRealTime StitchGシステム(1820)は、ディスクアレイ(1824)のような格納装置に接続されることができる。
【００８０】
上記のモジュール、アルゴリズム及びプロセスは、多くの技術及び構成に実装されることができる。本発明の実施例は、ソフトウェア又はハードウェア、或いはその組合せに関する機能例を含んでいる。さらにまた、本発明のモジュール及びプロセスは、単一の機能(例えば１つのソフトウェアプログラム)を有するように一緒に組み合わせることもできるし、動作可能に接続された別個の機能デバイス(例えば複数のネットワーク化されたプロセッサ／メモリブロック)を含むことができる。そのような実施例は本発明に含まれる。
【００８１】
この説明で開示した実施例は、当該分野の専門家が本発明を実施及び利用できるようにするために、本発明及びその実際の適用を最も良く説明するために提供されるものである。しかしながら、当該分野の専門家であれば、前記の説明及び実施例は、例示目的だけのためであることを認識するであろう。前述の説明は、本発明の範囲を、開示した形態に限定することを意図するものではない。添付の請求の範囲の精神及び範囲から逸脱することなく、上記の開示を参照して、多くの変更及び変形を加えることは可能である。
【図面の簡単な説明】
【００８２】
【図１】移動体を利用してデータの収集及び処理を行なう本発明のシステムを示す図である。
【図２】移動体を利用してデータの収集及び処理を行なう図１のシステムについて、本発明のカメラアレイアセンブリをより詳細に示す図である。
【図３】本発明の特定の態様におけるカメラアレイアセンブリを示す図である。
【図４】図１のカメラアレイアセンブリによって得られた画像パターンの一実施例を示す図である。
【図５】本発明の特定の態様における画像パターンを示す図である。
【図６】本発明に基づく画像片(image strip)を示す図である。
【図７】本発明に基づく画像片の他の実施例を示す図である。
【図８】本発明に基づく画像化プロセスの一実施例を示す図である。
【図９】カメラアレイアセンブリで撮影された写真を揃えて個々のフレームを作る方法を図式的に説明する図である。
【図１０】本発明の一実施例に係る処理ロジックのブロック図である。
【図１１】本発明の実施例に係るもので、横方向のオーバーサンプリングを移動体から見た図である。
【図１２】本発明の実施例に係るもので、横方向のオーバーサンプリングを移動体から見た図である。
【図１３】本発明の実施例に係るもので、フライトラインのオーバーサンプリングを移動体から見た図である。
【図１４】本発明の実施例に係るもので、フライトラインのオーバーサンプリングを移動体から見た図である。
【図１５】本発明の実施例に係るもので、累進的拡大を移動体から見た図である。
【図１６】本発明の実施例に係るもので、累進的拡大を移動体から見た図である。
【図１７】本発明の実施例に係るもので、累進的拡大を移動体から見た図である。
【図１８】本発明の実施例に係るもので、システムの構成を示す概略図である。
【技術分野】
【０００１】
＜関連出願の記載＞
本発明は、２００２年９月２０日に出願された「移動体によるデータの収集及び処理システム」に関する米国仮特許出願第６０／４１２,５０４号の優先権を主張する。
【０００２】
＜発明の技術分野＞
本発明は、全体的には、リモートイメージング技術(remote imaging techniques)の分野に関し、より具体的には、非常に広い視野に亘って高解像度、高精度、低歪みのデジタル画像を提供するシステムに関する。
【背景技術】
【０００３】
リモートセンシング及びイメージングは、例えば地質図の作成及び分析、軍事用監視及び計画、気象予報などのように、極めて重要な数多くの用途を有する広範な技術である。航空機及び衛星を利用した写真及び画像の作成は、特に有用なリモートイメージング技術であって、ここ数年、デジタル画像、スペクトル、空間、高度、並びに移動体の位置及び方向のデータの収集及び処理の依存性が極めて高くなっている。例えば土地建物の工事及び位置決め、一般道路、高速道路、環境の危険及び条件、施設のインフラ設備(例えば、電話回線、パイプライン)、地球物理的特徴などの空間データは、現在、デジタル形式で収集、処理及び通信が行われ、非常に正確な地図及び監視データとして、様々な用途(例えばダイナミックＧＳＰマッピング)に用いられる。高さデータは、総合システムの空間及び位置の正確さを向上させるために使用され、また、既存の数値標高モデル(ＤＥＭ)のデータ群、又は能動的な放射線測定用ドップラー装置又は受動的な立体計算(stereographic calculations)によるスペクトルセンサ・データで収集された数値標高モデル(ＤＥＭ)のデータ群から獲得される。
【０００４】
このようなリモートセンシング及びイメージングの幾つかの用途が直面する主な問題は、空間解像度とスペクトル忠実度(spectral fidelity)である。写真の問題、例えば球面収差、非点収差、フィールド湾曲、コマ、歪み及び色収差などは、全てのセンサー／イメージングを適用する際に取り扱われなければならない問題として広く知られている。用途によっては、非常に高い画像解像度が要求され、許容誤差はインチ単位の場合がある。使用される具体的システム(例えば、航空機、人工衛星又は宇宙船)にもよるが、実際のデジタルイメージングデバイスは、その標的から数百フィート乃至数マイル離れた位置に配置されることがあり、結果として、倍率(scale factor)が非常に大きくなる。画像の倍率が非常に大きくなり、解像度の許容誤差がインチ単位であると、最も頑強なイメージングシステムに対しても問題が起こる。このように、従来のシステムでは、解像品質と、作像される標的領域の大きさとは、二律背反(trade-off)の関係の下で作製されなければならない。システムが高解像度デジタル画像が生成されるように設計される場合、イメージングデバイスの視野(Fieled of View; ＦＯＶ)は一般的には小さくなる。システムが提供するＦＯＶがさらに大きくなると、通常は、スペクトル及び空間データの解像度が低下し、歪みが増す。
【０００５】
オルソ画像(正斜投影画像)は、この問題の対策として使用されてきた１つの方策である。一般的に、オルソ画像は、変化する標的のサブ画像をコンパイルすることによって、標的の複合画像を描画(render)する。典型的には、航空イメージング用の場合、有限の範囲及び解像度を有するデジタルイメージングデバイスが、固定された小区分の標的領域を連続的に記録する。次に、それらの画像は、標的領域の合成物を描画するためのシーケンスに従って調整される。
【０００６】
このような描画プロセスは、多大な時間と労働力を要する。多くの場合、それらのプロセスは、繰返し処理を必要とし、特に何千ものサブ画像が生成される場合には、画像の品質及び解像度の有意的な低下を招く。画像データが自動的に処理され得る場合、そのデータが繰り返して変換されサンプリングされることがあり、一連の操作毎に、色の忠実性と画像の鮮明さが低下する。自動修正及び調整システムは、画像異常(例えば、異常に明るいか又は暗い物体)を起こしやすいため、そのようなシステムが用いられる場合、画像データの修正の過剰又は不足が起こり、信頼性に欠ける。画像を手操作で生成することが必要とされるか所望される場合、それに要する時間と労働コストは膨大なものとなる。
【０００７】
それゆえ、非常に大きなＦＯＶ及びそれに関連するデータ群について、画像品質、精度、位置の正確性及び明瞭性(clarity)を維持しつつ、効率的で様々な画像がもたらされるオルソ画像生成システムが要請されている。また、関連する全ての操作のプラニング、収集、ナビゲーション及び処理の全ての段階において、自動アルゴリズムが広範囲に適用される。
【発明の開示】
【０００８】
＜発明の要旨＞
本発明は、リモートセンサーを使用し、移動体(vehicle)によりデータを収集及び処理するシステムに関する。該システムは、移動体及びシステムの操作をリアルタイムで制御するコンピュータコンソール装置を含むことができる。該システムはまた、コンピュータコンソールにリンクされて通信が行われる地球測位システムを含んでいる。さらにまた、カメラ及び／又はカメラアレイアセンブリは、アパーチャ(aperture)から見える標的の画像を作成するために用いられることができる。カメラアレイアセンブリは、コンピュータコンソールに通信可能に接続されている。カメラアレイアセンブリは、取付用ハウジングと、アパーチャを通る第１焦点軸を有し、前記ハウジングに取り付けられた中央の第１イメージングセンサーを具えている。カメラアレイアセンブリは、アパーチャを通り、交差領域内で第１焦点軸と交差する第２焦点軸を有し、第１イメージングセンサーから軸に沿ってオフセットした位置でハウジングに取り付けられた第２イメージングセンサーを有している。カメラアセンブリは、アパーチャを通り、交差領域内で第１焦点軸と交差する第３焦点軸を有し、第１イメージングセンサーから第２イメージングセンサーと反対側に軸に沿ってオフセットされた位置でハウジングに取り付けられた第３イメージングセンサーを有している。ここで用いられるカメラの数１〜ｎは任意の数であり、ｎはどんな奇数又は偶数の数であってよい。
【０００９】
システムはまた、例えば慣性計測装置、光学的測定装置又は同様な測定装置のような姿勢測定装置(Attitude Measurement Unit; ＡＭＵ)を、コンピュータコンソール及びカメラアレイアセンブリに通信可能に接続することもできる。ＡＭＵは、航空機のヨー(横揺れ)、ピッチ(縦揺れ)、及び／又はロール(片方への傾き)をいかなる瞬間にも時間どおり測定し、連続するＤＧＰＳ位置を、測地学上の北に関する移動体のヘッド部を測定するために使用されることができる。ＡＭＵデータは、高精度のＤＧＰＳデータと一体化され、ロバスト性(robust)のリアルタイムＡＭＵシステムが作成される。該システムは、コンピュータコンソール内に収容されたモザイク作成モジュールを含んでいる。モザイク作成モジュールは、入力画像上で最初の処理を実行する第１要素を含んでいる。モザイク作成モジュールはまた、第１要素と協同作用可能に接続され、入力画像の地理的境界を決定する第２要素を含んでいる。モザイク作成モジュールは、入力画像を、正確な地理的な位置を有する複合画像にマッピングする第３要素をさらに含んでいる。第３要素は、第１要素及び第２要素と協同作用可能に接続されている。モザイク作成モジュールには、複合画像にマッピングされた入力画像の色の調整を行なう第４要素も含まれている。第４要素は、第１要素、第２要素及び第３要素と協同作用可能に接続されることができる。さらにまた、モザイク作成モジュールは、複合画像にマッピングされた隣接入力画像間の境界を一体化させる第５要素を含むことができる。第５要素は、第１要素、第２要素、第３要素及び第４要素と協同作用可能に接続されることができる。
【００１０】
カメラアレイシステムには、第６要素、選択的前方傾斜及び／又は選択後方傾斜システムを実装することもでき、傾斜画像データを収集し、画像データを姿勢測定値及び位置測定値と合成することにより、ステレオグラフィック技術を使用してデジタル標高モデル(digital elevation model)を作成することができる。その作成は、移動体の中でリアルタイムに行なうこともできるし、後の処理で行なうこともできる。この第６要素は、他の要素と協同作用可能である。全ての要素は、センサーデータのコレジストレーション(co-registration)を行なうために、剛性プラットフォームに取り付けられる。移動体に対して、振動、乱流及びその他の力が作用すると、センサー間の配列関係に誤差を生ずることになる。センサーの取付用として、共通の剛性プラットフォームを用いると、このコレジストレーションの構成を利用しない他のシステムと比べて、有意的利点がもたらされる。
【００１１】
本発明をより理解するために、また、本発明がどのように実施されるかを例示するために、添付の図面を参照して説明する。なお、同じ要素に付した番号は、異なる図面でも同じ番号を付している。
【００１２】
＜発明の詳細な説明＞
本発明の様々な実施例の実施及び使用について以下で詳しく説明するが、本発明は、適用可能な多くの発明概念を提供するものであり、広範囲に亘る特定の状況において具体化されることができることは理解されるべきである。ここで説明する具体的実施例は、発明を実施し使用するための具体的方法を単に例示するものであって、発明の範囲を制限するものではない。
【００１３】
移動体(vehicle)によるデータ収集及び処理システム(100)を図１に示している。本発明の追加の態様と実施例を図２及び図１８に示している。システム(100)は、１又は２以上のコンピュータコンソール(102)を含んでいる。コンピュータコンソールは、移動体とシステムの両方の操作を制御するための１又は２以上のコンピュータ(104)を含んでいる。コンピュータコンソールの機能の例として、データ収集及び処理システムに連繋可能な制御用デジタルカラーセンサシステムがあり、ディスプレイデータの操縦者への提供、衛星が生成したＧＰＳの毎秒パルス数(pulse-per-second; ＰＰＳ)事象トリガー(例えば２０ＰＰＳ以上)の調整、データロギング、センサーの制御及び調整、エラー事象の調査及び警告、写真の記録及びインデックス、移動体のナビゲーションを自動化する飛行計画能力に関するデータの格納及び処理、関連情報のリアルタイムディスプレイの提供が行われる。制御コンピュータコンソールと移動体の自動操縦制御部との間の通信インターフェースは、移動体の移動経路をリアルタイムで実際に制御する能力を付与する。この結果、移動体の経路の制御は、人間が成し得る制御よりも正確である。これらの機能はすべて、ＧＰＳ ＰＰＳシグナルと同期され、測定装置の様々な電気レイテンシ(electrical latencies)を考慮した様々なコンピュータプログラムを用いて達成されることができる。
【００１４】
１又は２以上の差動型衛星利用測位システム(ＤＧＰＳ)(106)は、システム(100)に組み入れられている。衛星利用測位システム(106)は、移動体及びシステムの動作中、正確な飛行経路をナビゲートし決定するために使用される。これを実行するために、衛星利用測位システム(106)は、該システムからの情報が、飛行を中断することなく、獲得及び処理されるように、コンピュータコンソール(102)に連繋されている。ゼロ又は１以上のＧＰＳユニットは、ＧＰＳの衛星に起因する１秒以下のエラーを記録し、システム(100)の精度を後で修正(back correct)できるように、既知の監視位置に配置される。地上の制御位置を不要にするため、ＧＰＳ及び／又は地上ベースの測位手段を用いることもできる。この技術により、データ収集用移動体の位置精度は、１秒以下の単位で大幅に向上する。
【００１５】
１又は２以上のＡＭＵ(108)もコンピュータコンソール(102)に通信可能に連繋され、リアルタイムでヨー(yaw)、ピッチ及びロールの情報を提供し、この情報は、データの獲得時にビークルの姿勢を正確に決定するために使用される。この姿勢測定装置(ＡＭＵ)(例えばApplanix POS AV)は、３つの高性能光ファイバージャイロを使用しており、１つのジャイロは、各々がヨー、ピッチ及びロールを測定するために用いられる。他の製造業者のＡＭＵ、他の慣性計測装置を使用したＡＭＵもまた、同じように使用することができる。さらに、ＡＭＵは、移動体の瞬間姿勢を求めるために用いられ、システムには、ＡＭＵリーディング時の統計誤差に対して故障許容力(fault-tolerance)がもたらされる。１又は２以上の多周波ＤＧＰＳレシーバ(110)を、ＡＭＵに接続することもできる。多周波ＤＧＰＳレシーバ(110)は、三次元空間で遠隔センサープラットフォームの位置をより正確に求めることができるように、ＡＭＵのヨー、ピッチ及びロールの姿勢のデータと一体化されることができる。さらに、測地系の北方向は、連続ＤＧＰＳ位置によって作成されたベクターによって決定され、ＧＰＳ ＳＳ信号と同期する形で記録される。
【００１６】
アパーチャから観察される標的の画像を生成するための１又は２以上のカメラアレイアセンブリ(112)も、１又は２以上のコンピュータコンソール(102)に通信可能に接続されている。カメラアレイアセンブリ(112)は、以下に詳述するが、データ収集及び処理システムに対し、高解像度、高精度プログレッシブスキャン又はラインスキャンによるカラーデジタル写真を獲得能力付与する。
【００１７】
システムはまた、ＤＣ電源と調節装置(114)を含んでおり、前記調節装置は、ＤＣ電力を調節すると共に、ＤＣ電力をシステムに電力を供給するためのＡＣ電力に変換する。システムは、ナビゲーションディスプレイ(116)をさらに含んでおり、該ディスプレイは、移動体を操縦(機内或いは遠隔)することにより、使用される飛行計画に対するビークル位置を映像表示し、水平面及び垂直面内で精密な飛行経路が可能となる。システムはまた、ＬＩＤＡＲ、ＳＡＲ(118)又は三次元高さ／起伏(elevation/relief)データを獲得するための前方及び後方傾斜カメラを具えるＥＭＵモジュールを含んでいる。ＥＭＵモジュール(118)は、レーザーユニット(120)、ＥＭＵ制御装置(122)及びＥＭＵ制御コンピュータ(124)を含むことができる。また、システムに適した熱的環境を提供するために、例えば、固体(solid state)冷却モジュールのような温度調節装置を、必要に応じて配備することもできる。
【００１８】
システムはまた、コンピュータコンソール(102)に収容されたモザイク作成モジュール(mosaicing module)(図示せず)を含んでいる。モザイク作成モジュールは、以下で詳述するが、衛星利用測位システム(106)、ＡＭＵ(108)及びカメラシステム(112)によって獲得されたデータを収集し、そのデータを使用可能なオルソマップ(orthomap)に処理する能力をシステムに提供する。
【００１９】
システム(100)は、セルフロッキング飛行パターン技術を含めることもできる。この技術によって、隣接飛行経路の位置精度を微修正する能力が付与され、ＡＭＵセンサー及びＤＧＰＳセンサーそのものが本来的に具える精度を超える精度が実現することができる。
【００２０】
完全な飛行計画方法論は、ミッションプランの全ての態様を細かく計画するのに用いられる。入力は、様々なミッションパラメータ(緯度／経度、解像度、カラー、精度など)である。出力は、詳細なオンラインデジタル地図及びデータファイルであり、これらは、データ収集の移動体の機内に格納され、リアルタイムのナビゲーションを行ない警告するために使用される。飛行計画データを自動操縦装置に直接接続する能力は、組み込まれた追加の能力である。コンピュータプログラムを用いて、飛行経路、姿勢調節、グラフィック表示、移動体経路の移動地図、警報条件のチェック及び修正措置が自動的に制御され、操縦者及び／又は乗務員に対して、システムの全体状況が告知され、危険防止(fail-safe)のための操作及び制御が提供される。安全操作パラメータは、常に監視され、報告される。現在のシステムは、有人のクルーを使用しているけれども、システムは、無人移動体でも命令を同じ様に実行できるように設計されている。
【００２１】
図２は、本発明の他の実施例を示している。図２は、カメラアレイアセンブリ(112)を、より詳細に示している。図示のように、カメラアレイアセンブリ(112)は、画像を、後方傾斜、前方傾斜及び鉛直(nadir)位置から取得することができる。図３は、本発明のカメラアレイアセンブリをより詳細に示している。図３は、標的(302)(例えば地形)の上の空中にカメラアレイアセンブリ(300)を配備している。例示であるため、アセンブリ(300)の相対的なサイズ並びに該アセンブリと地形(302)との相対的距離は、縮尺どおり示されていない。カメラアレイアセンブリ(300)は、ハウジング(304)を具えており、ハウジング内には、イメージングセンサー(306)(308)(310)(312)(314)が、凹状湾曲軸(316)に沿って配置されている。軸(316)の曲率半径は、大幅な変更が可能であって、軸(316)の屈曲度を非常に小さくすることもできるし、非常に大きくすることもできる。或いはまた、軸(316)は、完全な線形で、屈曲は全く無くてもよい。イメージングセンサー(306)(308)(310)(312)(314)は、取付部材(318)により、ハウジング(304)へ直接又は間接的に取り付けられる。取付部材(318)は、固定又は可動式で、永久的又は一時的な幾つかの接続装置を含んでいる。例えば、部材(318)は、単純な溶接でよいし、取外し可能なクランプ装置でもよいし、電気機械的に制御されたユニバーサルジョイントでもよい。
【００２２】
さらに、システム(100)は、リアルタイムのナビゲーションシステムが機内に搭載されており、移動体の操縦者にバイオフィードバックするために画像表示するか、又は無人の移動体の操作の場合には遠隔的に表示する。操縦者は、より正確な飛行経路を得るために、移動体の位置をリアルタイムで調整することができる。操縦者が移動体の機内に位置する場合も、離れた所に位置する場合も、飛行ディスプレイを用いて、通信リンクを通じて移動体を制御することができる。
【００２３】
システム(100)は、ソフトウエアでインタリーブされたディスク格納がもたらされるように開発された故障許容力の高い方法を使用することもでき、これにより、１又は２つのハードドライブが機能しなくなるが、ドライブ上に記憶された標的のデータは失われない。このソフトウェアでインタリーブされたディスク格納法は、ＲＡＩＤ−５のような他のハードウェア方法と比べて、故障許容力とポータビリティ(portability)に優れている。
【００２４】
システム(100)は、ミッションデータを獲得する直前に、短時間で較正ステップを行なうことができるように開発された手法を組み入れることもできる。較正ステップでは、カメラの設定(主として、周囲の光強度のサンプリング結果に基づく露光時間の調節)と、対象領域に達する直前の最適値の設定が行われる。次に、一貫性ある改善された写真が送給されるように、移動平均アルゴリズムを用いて、秒単位でカメラの調節が行われる。これにより、オルソマップのカラー処理が改善される。さらにまた、較正ステップでは、各センサー装置(カメラ、ＤＰＧ、ＡＭＵ、ＥＭＵなど)の正確な空間位置を調査し又は決定することができる。このように、これらの装置が空間位置で生じる変化は補償され、システム全体の精度評価指標(precision metrics)が維持される。
【００２５】
さらにまた、複数の既知の可視的な高精度の地理的位置を含む領域の上を飛行することにより、移動体上の各センサー装置(カメラ、ＤＰＧ、ＡＭＵ、ＥＭＵなど)の正確な位置及び姿勢を較正できるように開発された手法を、システム(100)に組み入れることもできる。プログラムは、このデータを入力として入手し、次に、精密な位置データを出力し、このデータを用いて、オルソマップが正確に処理される。
【００２６】
図３に示されるように、ハウジング(304)は、単純形状の筺体であって、その内部にイメージングセンサー(306)(308)(310)(312)(314)が配置される。図３は、カメラが５つのアレイを示しているが、システムは、カメラのセンサー数が１から任意の数に至るまで、等しく機能することができる。センサー(306)〜(314)は、取付部材(318)により、ハウジング(304)の対向する壁の間に配置された１本の横断部材にまとめて取り付けられるか、又は複数の横断部材に個々に取り付けられる。他の実施例として、ハウジング(304)自体が、凹状に屈曲した支持用横断部材を構成するようになし、イメージングセンサー(306)〜(314)は、部材(318)を介して前記横断部材に取り付けられることもできる。さらに他の実施例として、ハウジング(304)を、筐体と支持用横断部材の複合的な組合せとすることもできる。ハウジング(304)は、イメージングセンサーと標的(302)との間の表面に、アパーチャ(aperture)(320)がさらに形成されている。航空機の具体的型式によっては、アパーチャ(320)は、空隙だけでもよいし、ハウジング(304)内の環境的完全性を維持するために、保護用スクリーン又は窓を含むこともできる。保護用の透明プレートがセンサーに用いられる場合、センサーデータの質を向上させるために、前記プレートには特別なコーティングを施すことができる。所望により、アパーチャ(320)には、センサーによって記録された画像の性質を向上又は変更するために、レンズ又はその他の光学デバイスを含むこともできる。アパーチャ(320)は、センサー(306)〜(314)が、地形(302)上の標的領域(322)に対して適切な視線を有することができるサイズ及び形状に形成される。
【００２７】
イメージングセンサー(306)〜(314)は、全てのセンサーの焦点軸が、アパーチャ(320)が境界をなす交差領域の中で集束し互いに交わるように、ハウジング(304)の内部にハウジングに沿って配置される。収集される画像データの種類、使用される具体的なイメージングセンサー、使用される他の光学要素又は機器によっては、交差領域又は収束位置をアパーチャ(320)の上か下に変位させることが必要となることもあるし、又、それが望ましいこともある。イメージングセンサー(306)〜(314)は、望ましくは等しい角度間隔で互いに離れている。イメージングセンサー間の正確な角度は、使用されるセンサーの数及び収集される画像データの種類によって大きく異なる。必要に応じて、所望の画像の位置をずらしたり整列できるように、イメージングセンサー間の角度間隔を等しくないようにすることもできる。使用されるセンサーの数及びアレイの特定の形状に応じて、全てのセンサーの焦点軸は、全て同じ位置で交差することもできるし、或いは複数の位置で交差することもできる。なお、全てのセンサーは互いに非常に近接し、アパーチャ(320)によって規定される交差領域の中にある。
【００２８】
図３に示すように、イメージングセンサー(310)は、ハウジング(304)内で軸(316)に沿って中央に配置されている。イメージングセンサー(310)の焦点軸(324)は、センサーの視線が領域(322)の画像領域(326)と揃うように、ハウジング(304)と直交している。イメージングセンサー(308)は、ハウジング(304)内で、軸(316)に沿ってイメージングセンサー(310)の隣りに配置されている。イメージングセンサー(308)の配置は、その視線が領域(322)の画像領域(328)と一致するように、また、その焦点軸(330)が集束し、アパーチャ(320)が境界をなす領域内で軸(324)と交差するように調整されている。イメージングセンサー(312)は、ハウジング(304)内で、イメージングセンサー(310)の隣りでセンサー(308)とは反対側に軸(316)に沿って配置される。イメージングセンサー(312)の配置は、その視線が領域(322)の画像領域(332)と一致するように、さらにその焦点軸(334)が集束し、アパーチャ(320)が境界をなす領域内で軸(324)(330)と交差するように調整されている。イメージングセンサー(306)は、ハウジング(304)内で、軸(316)に沿ってセンサー(308)の隣りに配置されている。イメージングセンサー(306)の配置は、その視線が領域(322)の画像領域(336)と一致するように、また、その焦点軸(338)が集束し、アパーチャ(320)が境界をなす領域内で他の焦点軸と交差するように調整されている。イメージングセンサー(314)は、ハウジング(304)内で、センサー(312)の隣りでセンサー(306)とは反対側に軸(316)に沿って配置される。イメージングセンサー(314)の配置は、その視線が領域(322)の画像領域(340)と一致するように、さらにその焦点軸(344)が集束し、アパーチャ(320)が境界をなす領域内で他の焦点軸と交差するように調整されている。
【００２９】
イメージングセンサ(306)〜(314)は、例えば、個別領域スキャンカメラ、ラインスキャンカメラ、赤外線センサー、高スペクトルセンサー及び／又は地震感知器を含む数多くのデジタルイメージングデバイスを含むことができる。各センサーは、個別のイメージングデバイスを含むこともできるし、センサー自体がイメージングアレイを含むこともできる。イメージングセンサー(306)〜(314)は、全てが同じ性質であることが望ましいが、様々なイメージングデバイスの組合せでもよい。以下の説明では、便宜上、イメージングセンサ(306)〜(314)は、夫々、カメラ(306)〜(314)として記載する。
【００３０】
大型フィルム又はデジタルカメラでは、作像上の典型的な問題の原因は、レンズの歪みである。個別レンズの各々は、歪み率を決定するために、注意深く較正されなければならない。本発明の一実施例では、レンズの角度幅が１７度よりも小さなデジタルカメラを使用した。これは、歪みの問題を効率的且つ安価に解決する。
【００３１】
カメラ(306)〜(314)は、各カメラの焦点軸が、アパーチャ(308)に集束し、焦点軸(324)と交差し、その視野がアレイの夫々の位置と対向する標的位置と同一線上に揃うように、ハウジング(302)の中で軸(316)に沿って配置され、カメラと作像すべき標的との間で「斜視(cross-eyed)」の網膜的関係を生ずる。カメラのアレイアッセンブリ(300)は、画像領域(326)(328)(332)(336)(340)の隣り合う境界が若干重なるように構成されている。
【００３２】
取付部材(318)が永久的に固定されている(例えば溶接)場合、アパーチャ(320)、カメラとそれらの視線との空間的関係は、画像領域(326)(328)(332)(336)(340)の空間的関係と同様、固定されたままである。そのような構造は、例えば衛星監視のように、カメラアレイアセンブリ(300)が、領域(322)から本質的に一定の距離に維持される用途に好ましい。カメラの位置と調整は、領域(326)(328)(332)(336)(340)が、領域(322)の全体をイメージングできるように設定される。取付部材(318)が一時的な固定又は調節可能である場合、画像領域(326)(328)(332)(336)(340)が狭く又は広くなるように移動できるように、カメラの位置又は配列を、手操作又は遠隔からの自動操作により選択的に調節できることが好ましく、これによって、カメラアレイアセンブリ(300)によって収集された画像の質を向上させたり、変えることができる。
【００３３】
カメラ(310)は、主カメラとして表される。カメラ(310)の画像面(326)は、基準面(plane of reference)となる。他のカメラ(306)(308)(312)(314)の向きは、基準面に関して測定される。各カメラの相対的な向きは、カメラの画像面が基準面と平行になるように回転させるのに必要なヨー、ピッチ及びロールの角度に関して測定される。回転の順序は、ロール、ピッチ、そしてヨーである。
【００３４】
図２は、カメラ(306)〜(314)によって夫々撮影される領域(326)(328)(332)(336)(340)の画像を上から見た図である。この場合も先と同様、「斜視(cross-eyed)」の配置であるため、領域(336)の画像はカメラ(306)によって撮影され、領域(340)の画像はカメラ(314)によって撮影されるという具合である。本発明の一実施例において、中央のカメラ(310)によって撮影された画像以外の画像は、透視変換(perspective transformation)した後は台形でなる。カメラ(306)〜(314)は、軸(316)に沿ってアレイを形成し、この軸は、殆どの場合が垂直で下向きである。他の実施例において、カメラの第２アレイは、カメラ(306)〜(314)のアレイと同じ様に構成され、カメラの第１アレイに対して斜めから見た図、「ヘッドアップ(heads-up)」斜視図となるように揃えられる。「ヘッドアップ」カメラアレイアセンブリの水平軸からの傾斜角度は、ミッションの目的及びパラメータによって異なるが、２５〜４５度の角度が一般的である。その他の実施例は、カメラアレイの実装は様々であるが、同じ様に本発明に含まれる。そのような実施例において、カメラの相対的な位置と姿勢は、本発明に基づく画像処理を容易にするために、測定及び較正が正確に行われる。
【００３５】
本発明の一実施例において、外部機構(例えば、ＧＰＳタイミング信号)は、カメラを同時にトリガするために使用され、それによって入力画像のアレイが獲得される。次に、モザイク作成モジュールは、そのようなアレイからの個々の入力画像を、隣接画像間に視覚的に認識できる継ぎ目を生ずることなく、オルソ修正された(ortho-rectified)複合画像(又は「モザイク」)にする。モザイク作成モジュールが実行する一組のタスクは、各入力画像の地理上の境界及び寸法を決定し、各入力画像をモザイク上に投射して正確な地理上の位置を決定し、モザイク中の画像の色のバランスをとり、隣接する入力画像を、それらが共有する継ぎ目で一体化することを含んでいる。実行されるタスクの正確な順序は、入力画像データのサイズ及び性質によって異なる。特定の実施例において、モザイク作成モジュールは、モザイク作成中に、元の入力画像に対して１つの変換だけを実行する。変換は、４×４マトリクスによって表されることができる。複数の変換マトリクスを単一マトリクスに合成することにより、処理時間は低減され、元の入力画像の鮮明さは保持される。
【００３６】
入力画像をモザイクにマッピングする間、特にモザイク作成が高解像度で行われる場合は、モザイク内のピクセル(即ち出力ピクセル)は、入力画像(即ち、入力ピクセル)中のどのピクセルによってもマッピングされない。曲がった線は、モザイク内に人工事実(artifacts)を引き起こす可能性がある。本発明の特定の実施例は、この問題をスーパーサンプリングシステムで解消するもので、このシステムでは、入力ピクセルと出力ピクセルの各々は、ｎ×ｍグリッドのサブピクセルにさらに分割される。変換は、サブピクセルからサブピクセルに行われる。出力ピクセルの最終値は、そのサブピクセルの平均値であり、これに対し、対応する入力サブピクセルが存在する。ｎ値とｍ値がより大きくなると、解像度がより高いモザイクを生成するが、余分の処理時間を必要としない。
【００３７】
画像データを処理する間、モザイク作成モジュールは、下記の情報を使用することができる。その情報は、入力画像が獲得される時の各カメラの焦点の空間位置(例えば、ｘ、ｙ、ｚ座標)、入力画像が獲得される時の標的領域の地面(ground plane)に対する各カメラの像平面の姿勢(即ち、ヨー、ピッチ、ロール)、各カメラの視野(即ち、軌道に沿う場合と軌道を横切る場合)、及び領域の数値地形モデル(ＤＴＭ)である。姿勢は、システムに連繋されたＡＭＵｓによってもたらされる。数値地形モデル(ＤＴＭｓ)又は数値地表モデル(ＤＳＭ)は、ＬＩＤＡＲモジュール(118)を用いて得られる情報から作成されることができる。ＬＩＤＡＲは、広く知られたレーダーと同様であり、レーザー・レーダーと考えられることができる。レーダーでは、電波は大気中に送信され、エネルギーの一部は散乱してレーダーの受信機へ戻される。ＬＩＤＡＲは、高周波で、電磁放射線の送信と受信を行なう。これは、ＬＩＤＡＲは電磁スペクトルの紫外線、可視線及び赤外線領域内で動作するからである。動作中、ＬＩＤＡＲは、光を標的領域に送信する。送信された光は、標的領域と交差し、変化する。この光の一部は、ＬＩＤＡＲ機器に戻されて反射／散乱し、そこで分析されることができる。光の特性の変化により、標的領域の特性の一部を求めることが可能となる。光が標的領域を出て、ＬＩＤＡＲ装置に戻るまでの時間は、標的までの範囲を決定するために使用される。
【００３８】
ＤＴＭとＤＳＭのデータ群は、カメラアレイアセンブリから獲得されることもできる。また、高さデータを得る従来の手段として、例えばステレオグラフィック技術を用いることもできる。
【００３９】
現在、ＬＩＤＡＲには、測距儀(range finders)、差別的吸収ライダー(Differential Absorption LIDAR)(ＤＩＡＬ)及びドップラーライダー(Doppler LIDAR)の３種類の基本的な形態がある。測距儀ＬＩＤＡＲは、最も単純なＬＩＤＡＲであり、ＬＩＤＡＲ装置から固体又は硬質標的までの距離を測定するために使用される。ＤＩＡＬライダーは、大気中の化学濃度(例えば、オゾン、水蒸気、汚染物質)を測定するために用いられる。ＤＩＡＬ ＬＩＤＡＲは、２種類の異なるレーザー波長を使用しており、一方の波長は対象分子によって吸収されるが、他方の波長は吸収されないように選択される。２つのリターン信号の強度の差は、調査される分子の濃度を推定するために使用されることができる。ドップラーＬＩＤＡＲは、標的の速度を測定するために使用される。ＬＩＤＡＲから送信された光が、ＬＩＤＡＲに接近離間する標的に衝突する際、標的に反射／散乱する光の波長は僅かに変化する。これは、ドップラーシフトとして、それゆえドップラーＬＩＤＡＲとして知られている。標的がＬＩＤＡＲから離れる場合、リターン光は、より長い波長(赤方偏移と呼ばれることがある)を有し、標的がＬＩＤＡＲに接近する場合、リターン光は、より短い波長(青方偏移と呼ばれることがある)を有する。標的は、硬質標的又は大気標的(例えば、風によって運ばれる微細な塵埃やエアロゾル粒子)のどちらかである。
【００４０】
カメラの焦点は、透視変換の中心として使用される。空間中のその位置の決定は、例えば、航空機(host craft)に搭載された多周波キャリア位相処理後ＧＰＳシステムによって行われる。カメラの焦点から三次元のオフセット位置は、ＧＰＳアンテナの中心を対照して注意深く測定されなければならない。これらのオフセットは、ＧＰＳアンテナの位置及び航空機の方向と組み合わされて、カメラの焦点の正確な位置が決定される。ＧＰＳアンテナの位置は、収集されたＧＰＳデータの飛行後処理により、正確な測量地点に配備された同様な地上ＧＰＳアンテナと対照して決定される。
【００４１】
１又は２以上のＡＭＵｓ(例えば、the Applanix POS AV)は、姿勢決定のために機内に搭載される。標的領域の地面に対するＡＭＵ基準面の姿勢は、短い間隔で測定、記録され、その精度は１／１００度よりも良好である。ＡＭＵ基準面の姿勢は、この平面の軸上で、地面と平行にするために行われる一連の回転として規定される。「位置調整(align)」という語もまた、この操作を説明するために使用される。
【００４２】
ＡＭＵに関する中央カメラ(310)の姿勢(即ちその像平面)は、注意深く較正されなければならない。中央カメラ(310)に関する他の各カメラの姿勢は、注意深く較正されなければならない。この従属較正は、各カメラを直接較正するよりも効率的である。カメラアレイアセンブリ(300)が再搭載される場合、中央カメラ(310)だけが再較正を必要とする。事実上、一連の２つの変換は、中央カメラ(310)から入力画像に施される。まず、中央カメラの像平面は、ＡＭＵ平面と同一線上の位置に調整される。次に、ＡＭＵ平面は、地面に対して再び位置調整される。しかしながら、これらの変換は、夫々の変換マトリクスを乗じることによって、単一動作に組み合わされる。他のカメラの各々からの画像が、中央カメラの像平面と同一線上に揃うように、追加の変換が実行される。
【００４３】
中央カメラ(310)の焦点の位置は、上記のように決定される。この位置のｘ成分とｙ成分は、地面上のモザイクの鉛直位置(nadir point)(400)を決定する。各カメラの視野(ＦＯＶ)角度は知られているので、各入力画像の寸法は、カメラの焦点のｚ成分によって決定されることができる。地面の平均高さは、領域のＤＴＭｓでの平均標高地点を演算することによって決定され、各入力画像は、この標高の想像上の水平面に投影される。次に、領域のＤＴＭｓを使用して、起伏による標高のずれ(relief displacement)が適用される。ＤＴＭｓは、多くのソースから獲得されることができ、それには、アメリカ合衆国の殆どの所で利用されるＵＳＧＳ ３０−又は１０−メートルＤＴＭｓ、商業用ＤＴＭｓ、又は、カメラと同時にデータ獲得する航空機上に搭載されたＬＩＤＡＲ又はＳＡＲ ＥＭＵ装置によって得られるＤＴＭｓが挙げられる。
【００４４】
地理的に正しく配置されることに加えて、得られた複合画像は、全体を通して色を一致させる必要があり、２つの隣接する画像間の接合部に、視覚的に認識できる継ぎ目がないようにする。本発明は、この目標を達成するために幾つかの技術を提供する。
【００４５】
従来のカメラの特徴は、露光時間(即ち、像平面に光を集めるためにシャッターが開いている時間)である。露光時間が長ければ長いほど、得られる画像は明るくなる。露光時間は、例えば、雲の量、カメラに対する太陽の角度と位置などの条件によって生じる周囲環境の光の明るさの変化に、適合させなければならない。最適な露光時間は、光源に関するカメラの向きにも依存する(例えば、一般的に、太陽に照らされた物体の方に向けられているカメラは、日陰にある物体の方に向けられているカメラよりも周囲の光を多く受ける)。露光時間は、画像の平均強度が所定の範囲内に維持されるように調整される。例えば、２４ビットのカラー画像では、レッド、グリーン及びブルーの各成分は、０〜２５５の強度値を有することができる。しかしながら、多くの場合、平均強度を、平均値(即ち１２７)に維持することが望ましい。
【００４６】
本発明では、露光制御モジュールは、カメラ又はイメージングセンサーの各々の露光時間を制御する。露光制御モジュールは、各入力画像を検査し、平均画像強度を計算する。移動平均(即ち、最後のＸ数の画像の平均強度)に基づいて、露光制御モジュールは、露光時間を増加又は減少すべきかを決定する。該モジュールは、照明条件の変化に対する反応時間を遅くするために、より長い移動平均時間を用いることができるので、通常は暗い画像又は明るい画像(例えばアスファルト道路又は水)に対する感受性が少ない。露光制御モジュールは、各カメラの露光時間を別々に制御する。
【００４７】
カメラが取り付けられるシステムに前進運動補償機構(forward-motion compensation mechanisms)が用いられていない場合、露光時間に最大限度を設けなければならない。露光時間を最大値より大きい値に設定すると、動きによって不鮮明な像が生じる。例えば、カメラが、１７０マイル／時(又は約３インチ／ｍｓ)で移動する飛行機に搭載されていると仮定する。所望のピクセル解像度は６インチと仮定する。画像獲得中の前進運動は、ピクセルサイズの半分に制限されるべきであり、この場合では３インチである。従って、この例での最大露光は１ミリ秒である。
【００４８】
生成される画像品質の制御の際、光強度の変化が、周囲環境の光に起因するものか、又は、通常は明るい物体若しくは暗い物体(例えば、反射する水塊、金属屋根、アスファルトなど)の存在に起因して起こるのかを決定できることは有用である。この発明の用途の中には、空中での撮影又は監視を含んでいる。地面の航空画像は、通常は、植物や草木を含んでおり、これらは、水塊(water bodies)又は道路や建物のような人工構造物よりも反射率はより一定であることが観察される。植物や草木の画像は、通常は、グリーンに支配されている(即ち、グリーン成分は、レッド、グリーン及びブルーの値の中で最も大きい)ことは勿論である。それゆえ、強度の相関は、グリーンが支配的なピクセルに焦点を当てることにより、より正確に得られることができる。
【００４９】
露光制御モジュールは、グリーンが支配的なピクセルだけを選択することによって、画像の平均強度を演算する。例えば、画像が１００万ピクセルを有し、３００,０００はグリーンが支配的である場合、それら３００,０００のグリーンの支配的なピクセルだけが、平均強度の計算に含まれる。この結果、作像プロセスでは、ピクセルが通常はグリーン支配的でない人造の建物及び水塊によって引き起こされるバイアス(偏り)に対する感受性が小さくなる。前述したように、約１２７の強度値を維持することが望ましい。強度値が１２７を越えると(即ち、過剰露光)、露光時間は短くなり、捕獲される光は少なくなる。同様に、強度値が１２７以下(露光不足)の場合、露光時間は長くなり、捕獲される光は多くなる。例えば、白い屋根が多くあって、強度が非常に高い標的地形領域上を飛行するシステムについて検討する。捕獲される画像の平均強度は高くなる傾向がある。従来のシステムの殆どは、露光時間は、補償できるように短くされる。しかしながら、前記の例では、露光時間を短くすることは妥当でない。その理由は、屋根の明るさによって、画像の平均強度がバイアスされているためである。露光時間を短くすると、得られる画像の地面は実際よりも暗くなる。これに対し、本発明に基づいて、グリーンが支配的なピクセルだけが処理されると、ピクセルに表れる屋根は過度に明るいため、平均強度をバイアスし、露光時間は変化しない。
【００５０】
このように、露光制御モジュールは、入力画像間の強度差を少なくする。それでもなお、色調バランスを向上させるために、さらなる処理が行われる。像平面からの不均一な光を受ける要因は数多くある(例えば、レンズ物理学、大気条件、イメージング装置の空間／位置関係)。また、カメラ又はセンサーの中央部は、縁部よりも多くの光を受ける。
【００５１】
本発明のモザイク作成モジュールは、これをビグネッティング(口径食)防止機能(anti-vignetting function)で対応しており、これについて、図５を参照して説明する。該モジュールが、作像標的領域(512)(例えば、地形)の範囲を通るとき、幾つかの焦点のカラム(500)(502)(504)(506)(508)は、像平面(509)から集束し、焦点(510)で交差する。カラム(500)〜(508)は、単一のカメラ又はセンサーの個々の解像カラムを含むことができるし、又は幾つかの独立したカメラ又はセンサーの焦点軸を表すこともできる。参考の目的で説明すると、カラム(504)は、軸として機能し、カラム(504)が像平面(509)と交差する位置(513)は、主位置として機能する。露光制御モジュールは、ビグネッティング防止機能を適用し、入力ピクセルの元の強度と、カラム依存性ビグネッティング防止因子が乗じられる。受光面は、座標系を持つ平面として表されるから、各コラムは、幾つかの解像用ロー(resolution rows)を有している(図示せず)。この関係は、カラムｘ、ローｙにおけるピクセルｐについて、次のとおり表されることができる。
＜調整された強度＞＝＜元の強度＞*ｆ(ｘ)；
但し、ｆ(ｘ)は、フォームの関数であり：
ｆ(ｘ)＝cos(軸外角度)**４
軸外角度(off-axis angle)(514)は、中央カラム(504)に対して０、カラム(502)(506)に対しては大きく、カラム(504)(508)に対してはさらに大きい。全体の視野角度(516)(ＦＯＶ×角度)は、カラム(504)と(508)の間に示されている。
【００５２】
関数ｆ(ｘ)は、カラム間の幾つかの線セグメントによって近似されることができる。任意のカラムｃ１とｃ２との線セグメントの範囲内にある位置に関して、調整係数は次のように算出される。
＜ｃの調整係数＞＝ｆ(ｃ１)＋[ｆ(ｃ２)−ｆ(ｃ１)*(ｃ−ｃ１)/(ｃ２−ｃ１)]
【００５３】
なお、ｆ(ｃ１)はカラムｃ１での軸外角度のｆ関数値であり、ｆ(ｃ２)はカラムｃ２での軸外角度のｆ関数値である。
【００５４】
各組の入力画像は、モザイク画像に挿入される必要がある。露光制御モジュールが各カメラ又はセンサーの受光量を調節するにもかかわらず、得られる入力画像は強度による相違がある。本発明は、強度バランシングモジュールを提供するもので、隣接する入力画像間の重なり合う領域を比較して、相対強度のさらなるバランス取りが行われる。隣接する入力画像は、同時に得られるから、重なり合う領域は、理論上、両方の入力画像で理想的な強度を有するはずである。しかしながら、様々な要因により、強度値は通常は同じではない。強度差を引き起こす要因の幾つかには、例えば、露光制御モジュールが特定カメラだけの視野に存在する通常は明るい物体又は暗い物体によってバイアスされることや、カメラのボアサイト角度が異なること(即ち、傾斜の大きいカメラは、垂直により近いカメラよりも受光が少ない)が挙げられる。
【００５５】
２つの隣接する画像のバランスをとるために、一方は、基準画像(reference image)として選択され、他方は二次的画像ある。相関ベクター(ｆＲ、ｆＧ、ＦＢ)は、例えば次のプロセスを用いて決定される。Ｖを、ピクセルの値(Ｒ、Ｇ及びＶ)を表す３×１ベクターとする：
【数１】
相関マトリクスＣは次のように導き出される。
【数２】
ここで、ＦＲ＝ＡｖｇＩｒ／ＡｖｇＩｎである。ＡｖｇＩｒは基準画像内の重なり領域のレッド平均強度であり、ＡｖｇＩｎは新画像内の重なり領域のレッド平均強度であり、ＦＧとＦＢについても同じように導き出される。
【００５６】
相関マトリクスは、二次的画像の重なり領域の平均強度が、基準画像の重なり領域の平均強度と同一になるように、二次的画像のピクセル値に倍率をかける。第２画像は、そのピクセル値に相関マトリクスを乗じることにより、基準画像とのバランス取りが行われる。
【００５７】
このように、本発明に基づくバランシングプロセスの一実施例では、中央画像は、基準画像として扱っている。基準画像は、まず、複合画像(又はモザイク)にコピーされる。基準画像と隣接画像(例えば、すぐ左の画像)との間の重なり領域は、相互に関連づけられ、バランシング相関マトリクス(ＢＣＭ)が演算される。ＢＣＭは、重なり領域の強度を両画像で一致させるために、隣接画像のピクセルを表すベクターで乗算される。この関係の一実施例は、次のように表される。
Ｉ(中央)＝中央画像内の重なり領域の平均強度、とし、
Ｉ(隣接)＝隣接画像内の重なり領域の平均強度、とすると、
バランス係数＝Ｉ(中央)／Ｉ(隣接)、となる。
【００５８】
各カラーチャンネル(即ち、レッド、グリーン及びブルー)のバランス係数は、個々に演算される。これら３つの値はＢＣＭを生成する。バランス処理された隣接画像は、モザイクにコピーされる。コピーされた画像の境界での滑らかな移行は、マスクで「フェザリング」することによって行われる。このマスクは、隣接画像と同じ寸法であり、幾つかの要素を含んでいる。マスク中の各要素は、モザイク内の対応する隣接画像ピクセルの重みを示している。重みは、境界のピクセルでは０であり(即ち、出力値は基準画像からとられる)、選択された混合幅に達した後、一体化するまで、隣接画像の方に向けて徐々に増加する。混合領域を越えると、モザイクは、隣接画像のピクセルによって完全に決定される。同様に、他の入力画像についても、全ての入力画像間の重なり部分が分析され処理され、相関ベクターが演算され、画像の強度のバランスがとられる。
【００５９】
相関マトリクスは、例えば次のプロセス(図６を参照)によって決定される。図６は、本発明に基づいて生成されたストリップ(600)を示している。基本モザイク(602)と新モザイク(604)は、経路(又は軌道)(606)に沿って追加され、領域(308)内で相互に重なっている。Ｖを、ピクセルのＲ値、Ｇ値及びＢ値を表すベクターと仮定した場合、Ｖは、次のとおりである。
【数３】
また、ｈを、領域(608)の移行幅とし、ｙを、重なり領域の境界(610)から位置Ａまでの軌道(606)に沿う距離とすると、そのピクセル値はＶによって表される。
Ｃを相関マトリクスとすると、次のとおり表される。
【数４】
バランス処理されたＶ値を、Ｖ'とすると、Ｖ'は、
０＜ｙ＜ｈの場合、Ｖ’＝[ｙ／ｈ.Ｉ＋(１−ｙ／ｈ).Ｃ]×Ｖ、
ｙ＞＝ｈの場合、Ｖ’＝Ｖである。
ここで、Ｉは、識別マトリクス(identity matrix)である。
【数５】
「フェザリング(feathering)」技術は、視覚的に認識されるシーム部を最小にするために、勾配(gradient)と組み合わせて使用されることは留意されるべきである。
【００６０】
モザイクが長い場合、重複部分の強度差は、モザイクの一端から他端まで変化する。シーム部が視覚的に認識できないようにするために、単一の相関ベクターを算出することはできないことがある。モザイクは、モザイクを構成する元の入力画像の位置に対応する幾つかのセグメントに分割されることができる。上記プロセスは、各セグメントへ別々に適用され、局部的なカラーの一致性はより優れたものとなる。
【００６１】
このように手の込んだアルゴリズムの下では、２つのセグメントの境界にあるピクセルは、垂直なシーム部(南北のフライトラインと仮定)を生成する可能性がある。この問題を回避するために、この領域内のピクセルのバランス係数は、一方のセグメントから他方のセグメントまで移さなくてはならない。これについては、図７を参照して説明する。
【００６２】
図７は、本発明に基づいて形成されたストリップ(700)を示している。基本モザイク(702)と新モザイク(704)は、領域(706)で重なっている。モザイク(702)と他の新セグメント(708)は、領域(710)で重なっている。セグメント(704)と(708)は、領域(712)で重なり、領域(706)、(710)、(712)は全て、領域(714)で重なり、一致している。説明の都合上、位置(716)は、ｙ軸(718)とｘ軸(720)の原点である。ｙ軸(718)に沿う移動は、イメージングシステムの飛行経路に沿う移動を表している。位置(716)は、領域(714)の左下に位置している。
【００６３】
本発明に基づいて、ストリップの寸法は、構成モザイクの最小と最大のｘ値及びｙ値によって決定される。出力ストリップは、背景色に初期化される。第１モザイクはストリップへ移動される。次の(飛行経路に沿う)モザイクは、次に処理される。新モザイクと第１モザイクの重なる領域の強度値は、カラーチャンネル毎に別々に相関関係を有している。新モザイクは、モザイクを構成する元の入力画像に対応する幾つかのセグメントに分割されることができる。幾つかのマスク要素を含むマスクマトリクスは、新モザイクのために作成される。マスク要素は、新モザイク内の対応するピクセルに対する相関マトリクスを含んでいる。マスクの全ての要素は、一体化のために初期化される。マスクのサイズは、新モザイクの移行領域だけに制限されることができる。相関マトリクスは、中央セグメントに対して計算される。中央セグメントに対応するマスク領域が処理される。重なり領域の端部における要素の値は、相関ベクターに設定される。次に、第１モザイクからストリップに沿って徐々に離れていくと、相関マトリクスの成分は、所定の移行距離で一体化されるまで、増加又は減少する(一体化よりも少ないか又は多い)。中央セグメントに隣接するセグメントに対応するマスクの領域は、次に、同じ様に処理される。しかしながら、第１モザイクと、隣接する新画像の中央及び隣接セグメントによって形成される領域(814)は、特別な処理を必要とする。隣接セグメントに対する相関マトリクスは、中央セグメントの相関マトリクスと同一でない場合は、第１モザイクと重なる領域(714)の２つのセグメントの境界に、シーム部が見えることがある。それゆえ、コーナー部は、両方のセグメントからの相関マトリクスによる影響を受ける。中央セグメントとの境界までの距離ｘと、重複端部までの距離ｙにあるマスクセルＡの場合、その相関マトリクスは、２つのセグメントの距離加重平均(distance-weighted average)であり、次のように評価される。
領域(714)内で中央セグメントとの境界までの距離ｘのピクセルＡ(ｘ，ｙ)の場合、そのバランス処理された値は、２つのセグメントを用いて計算された値の距離加重平均として計算され、
Ｖ１は、セグメント(704)に基づくバランス処理後のＲＧＢベクター、Ｖ２は、セグメント(708)に基づくバランス処理後のＲＧＢベクター、Ｖ’は、バランス処理後のＲＧＢベクターの合計(最終)で、
Ｖ’＝((ｄ−ｘ)／ｄ).Ｖ１＋(ｘ／ｄ).Ｖ２である。
前記式において、ｘ軸は、重なり領域の底部を通るライン線であり、ｙ軸は、セグメント(704)と(708)の間の重なり領域の左側を通るラインであり、ｈは、移行幅であり、ｄは、セグメント(704)と(708)の間の重なり領域の幅である。
他の隣接セグメントに対応するマスク領域は、同じ様に計算される。
【００６４】
本発明にあっては、カラー忠実度(color fidelity)(即ち、ホワイトバランス)フィルターがさらに適用される。これは、カラー忠実度を高めるために、Ｒ成分とＢ成分を確定因子(determinable factor)と乗算するものである。因子は、カメラとレンズを較正することによって決定される。カラー忠実性フィルターは、人間の目で直接感知されるときのように、画像のカラーの忠実性を確実に保持する。画像獲得装置の中で、レッド、グリーン及びブルーの受光要素は、それら要素が捕獲することになっているカラーに対する感受性が異なる。
「ホワイトバランス」のプロセスは、白色物体の画像が捕獲される場合に適用される。理論上、その白色物体の画像のピクセルは、Ｒ、Ｇ及びＢ値は等しい値でなければならない。ところが実際には、感受性の相違や他の要因によって、Ｒ、Ｇ及びＢに対する平均のカラー値は、夫々、ａｖｇＲ、ａｖｇＧ及びａｖｇＢである。カラー成分を等しくするために、ピクセルのＲ、Ｇ及びＢ値には、下記の比が乗算される。
Ｒ値には、ａｖｇＧ／ａｖｇＲが掛け算され、Ｂ値には、ａｖｇＧ／ａｖｇＢが掛け算される。
最終的には、白色物体の画像は、等しいＲ、Ｇ、Ｂ成分を有するように設定される。
【００６５】
殆どのアプリケーションにおいて、ストリップは、通常は、表面に水の無い広い領域を覆っている。それゆえ、ストリップの平均強度は、高反射性表面のような異常例(anomalies)によって歪められる可能性が少ない。本発明は、平均と標準偏差が所望の値となるように、各ストリップの平均強度を正規化する強度正規化モジュール(intensity normalization module)を提供するものである。例えば、平均値１２７は、写真測量法の標準である。標準偏差５１は、画像の特徴を視覚認知するための最適範囲に対する強度値を広げるのに有用である。各ストリップは、異なる照明条件で撮影されるので、異なる画像データのプロファイル(即ち、平均強度及び標準偏差)を有している。このモジュールは、全てが同じ平均及び標準偏差を有するように、ストリップを正規化する。これにより、ストリップは、シーム部が視覚的に認識されることなく、一緒に繋ぎ合わせられることができる。
【００６６】
この強度正規化は、Ｒ、Ｇ及びＢの各チャンネル、及び全チャンネルに対する平均強度の計算を含んでいる。次に、全体の標準偏差が計算される。各ピクセルのＲ、Ｇ及びＢの各値は、新平均値及び標準偏差に変換される。
新値＝新平均値＋(旧値−旧値)*(新標準／旧標準)
【００６７】
次に、複数の隣接するストリップを組み合わせて、対象領域に対するタイルモザイクが作成される。完成タイルは、USGS quads又はquarter-quadsに対応することができる。ストリップをモザイクに繋ぎ合わせることは、モザイクどうしを繋ぎ合わせてストリップを生成することを同様であり、ここではストリップがモザイクの役割を果たしている。２つのストリップ間のシームライン(seam line)では、ラインがビルや橋などの高架構造物を横切る場合、問題が生じる可能性がある。これは写真測量法では古典的な問題であり、２つの異なる視点(perspectives)から見られる同一物体によって引き起こされる視差から生じるものである。ビルを作像する際、例えば、一方のストリップは、ビルの一方の側から見た図であるが、他方のストリップは、ビルの他方の側から見た図である。画像が一緒に繋ぎ合わせられた後、得られたモザイクは、円錐状テント(tepee)のように見えるかもしれない。これに対処するために、地形案内型モザイク作成プロセス(terrain-guided mosaicing process)を実行することにより、シームラインの配置が案内される。例えば、画像データを使って収集又は画像データから分析されたＬＩＤＡＲ又はＤＥＭデータは、画像を貼り合わせるときに処理され、画像の構成及び形状が決定される。このように、モザイク画像の中には、シームラインが直線ではなく、高架構造物を蛇行するように前後左右に移動するシームラインを含むものもある。
【００６８】
ここで図８を参照すると、本発明に係るイメージングプロセス(800)の一実施例が示されている。プロセス(800)は、収集された１又は２以上の未処理の一連の画像(802)で開始する。次に、画像(802)は、ホワイトバランス処理プロセス(804)によって処理され、画像は一連の中間画像に変換される。次に、一連の画像(802)は、オルソ補正(Orthorectification)プロセス(808)に進む前に、ビグネッティング防止機能(806)によって処理される。前述したように、オルソ補正は、イメージングセンサーシステム又はプラットフォームからの位置及び姿勢データ(810)と、ＤＴＭデータ(812)に基づいて行われる。ＤＴＭデータ(812)は、位置データ(810)から作成され、例えば、ＵＳＧＳ ＤＴＭデータ(814)又はＬＩＤＡＲデータ(816)から作成される。一連の画像(802)は、ここでオルソ補正され、カラーバランス処理(818)が続いて行われる。カラーバランス処理後、一連の画像(802)は、モザイク作成モジュール(820)により、複合画像(822)に変換される。モジュール(820)は、この変換中、モザイク処理とフェザリングプロセスを実行する。ここで、１又は２以上の複合画像(822)は、ステップ(824)でさらに合成され、勾配をつけたフェザリングにより、モザイクから画像ストリップ(826)が生成する。画像ストリップは、強度正規化(828)によって処理される。このように正規化されたストリップ(828)は、ステップ(830)で、再びモザイク処理され、勾配をつけたフェザリングによって、完成タイルモザイク(832)が生成される。ステップ(830)で行われるモザイク処理は、ＤＴＭデータ(812)又はＬＩＤＡＲデータ(816)に基づく地形案内型モザイク処理プロセスを含んでいる。
【００６９】
図９は、カメラアレイアセンブリで撮影された写真が、どのように調整され、個々のフレームが作成されるかを図式的に示すものである。
【００７０】
図１０は、本発明の特定の実施例に基づく処理ロジック(processing logic)のブロック図である。処理ロジックは、ブロック図(1000)に示されるように、標高測定値(1002)、姿勢測定値(1004)及び／又は、写真及びセンサー像(1006)を含む１又は２以上の入力を受ける。ブロック(1008)で示されるように、分析が行われる前に、特定の入力が最初の処理ステップに通され、姿勢測定値は、地上制御位置からのデータと合成される。標高測定値(1002)と姿勢測定値(1004)を合成することにより、処理された標高データ(1010)が生成される。処理された標高データ(1010)は、次に、標高ＤＥＭ(1014)及びＤＴＭ(1016)を生成するために使用される。同様に、姿勢測定値(1006)は、写真及びセンサー画像(1006)と合成され、地理情報を含む(georeferenced)画像(1012)が生成され、次に、前記画像は、カラーバランス処理及び勾配フィルタリングを含む画像処理(1018)が施される。
【００７１】
使用されるデータ群(1020)に応じて、ＤＴＭ(1016)又はＵＳＧＳ ＤＥＭ(1022)のどちらか一方が、処理された画像(1018)と組み合わされ、オルソ補正された画像(1024)が生成される。オルソ補正された画像(1024)は、次に、セルフロック式フライトライン(1026)に供給される。次に、投影されたモザイクのバランス処理(1028)が続いて行われ、最終的な写真出力(1030)を生成する。
【００７２】
本発明は、出力品質を向上させるために、側方向をある程度オーバーサンプリングする。図１１は、本発明の特定の実施例に基づくもので、移動体から見た側方向オーバーサンプリングのパターン(1100)で、最小の側方向オーバーサンプリング(lateral oversampling)を示している。この実施例では、中央カメラに割り当てられた中央鉛直領域(1102)は、鉛直領域左側(1104)及び鉛直領域右側(1106)とほんの僅かだけ重なり、重なり部は最小である。図１２は、本発明の特定の実施例に基づくもので、移動体から見た側方向オーバーサンプリングのパターン(1200)で、より大きな側方向オーバーサンプリングを示している。中央カメラに割り当てられた中央鉛直領域(1202)は、鉛直領域左側(1204)及び鉛直領域右側(1206)とかなり重なっている。
【００７３】
図１１及び図１２に示される側方向オーバーサンプリングを使用することに加えて、本発明はまた、フライトラインのオーバーサンプリングも同様に採用する。図１３は、本発明の特定の実施例に基づくもので、移動体から見たフライトラインのオーバーサンプリングパターン(1300)の例示であって、フライトラインのある程度のオーバーラインで、最小の側方向オーバーサンプリングを示している。中央の鉛直領域(1302)及び(1304)は、フライトラインに沿って互いに重なるが、鉛直領域の左側領域(1306)(1308)又は鉛直領域の右側領域(1310)(1312)とは、側方向で重ならない。
【００７４】
図１４は、本発明の特定の実施例に基づくもので、移動体から見たフライトラインのオーバーサンプリングを例示したもので、大きなフライトラインのオーバーサンプリングと、大きな側方向オーバーサンプリングを示している。中央の鉛直領域(1402)〜(1406)の各々は、鉛直領域の左側領域(1408)〜(1412)及び鉛直領域の右側領域(1414)〜(1418)と、互いに大きく重なっていることがわかる。鉛直領域の左側領域(1408)〜(1412)は、鉛直領域の右側領域(1414)〜(1418)と同じように、互いに重なっている。それゆえ、表面上の各位置は、少なくとも２回以上、場合によっては４回もサンプリングされる。この技術では、異なるカメラセンサーによって２回又はそれ以上覆われる画像の領域において、全体で解像度を４倍にするために、側方向(経路を横切る方向)と、フライトラインの方向(経路に沿う方向)の両方向で、画像の解像度を倍増させることが可能である。実際には、画像／センサーの解像度の向上は、各寸法において２倍より幾分少なく、各寸法でおよそ４０％であり、１.４×１.４＝約２倍である。これは、サブピクセルの排列／配向の統計的変動によるものである。事実上、ピクセルのグリッドは、上に重ねられたピクセルグリッドから正確に等距離であることは殆どない。非常に精密な側方向カメラセンサーの配列が、サブピクセルレベルで行われた場合、画像解像度の４倍増が実現される。
【００７５】
図１５は、本発明の特定の実施例に基づくもので、移動体から見た累進的拡大パターン(progressive magnification pattern)(1500)を示している。中央の鉛直領域(1502)は、その左縁部と右縁部が、夫々、鉛直領域左の内側領域(1504)及び鉛直領域右の内側領域(1506)と境界を有している。鉛直領域左の内側領域(1504)は、その左縁部が鉛直領域左の外側領域(1508)と境界を有する一方、鉛直領域右の内側領域(1506)は、その右縁部が鉛直領域右の外側領域(1510)と境界を有している。なお、これらの領域は、重なりとオーバーサンプリングの程度が互いに最小であることを示していることに留意されるべきである。
【００７６】
図１６は、本発明の特定の実施例に基づくもので、移動体から見た累進的拡大パターン(1600)を示している。中央の鉛直領域(1602)は、その左縁部と右縁部が、夫々、鉛直領域左の内側領域(1604)及び鉛直領域右の内側領域(1606)と境界を有している。鉛直領域左の内側領域(1604)は、その左縁部が鉛直領域左の外側領域(1608)と境界を有する一方、鉛直領域右の内側領域(1606)は、その右縁部が鉛直領域右の外側領域(1610)と境界を有している。上記の如く、これらの領域は、重なりとオーバーサンプリングの程度が互いに最小であることを示していることに留意されるべきである。鉛直領域(1604)〜(1610)の各々はその内部に、グレーで陰影を付けて示された中央画像領域(1614)〜(1620)がある。
【００７７】
図１７は、本発明の特定の実施例に基づくもので、移動体から見た累進的拡大パターン(1700)を示している。パターン(1700)の中央では、鉛直領域左の内側領域(1702)と鉛直領域右の内側領域(1704)が中央で重なっている。鉛直領域左側の中間の領域(1706)と鉛直領域右側の中間の領域(1708)は、夫々、領域(1702)及び領域(1704)から部分的に外側に配置されており、各々は、夫々の隣接領域と約５０％重なる領域を共有している。鉛直領域左の外側領域(1710)と鉛直領域右の外側領域(1712)は、夫々、領域(1706)及び領域(1708)から部分的に外側に配置されており、各々は、夫々の隣接領域と約５０％重なる領域を共有している。中央の画像領域(1714)は、パターン(1700)の中央に配置され、鉛直領域(1702)〜(1712)の中央部分で構成されている。
【００７８】
図１８は、本発明の特定の実施例に基づくもので、システム(1800)のアーキテクチャの概略図を示している。システム(1800)は、１又は２以上のＧＰＳ衛星(1802)及び１又は２以上のＳＡＴＣＯＭ衛星(1804)を含んでいる。さらに、１又は２以上のＧＰＳロケーションシステム(1806)を含むことができ、該システムは、ＬＩＤＡＲ、ＧＰＳ及び／又はＸ、Ｙ、Ｚの位置データを収集し、そのような情報を１又は２以上のデータ捕獲システムアプリケーション(1812)に供給する１又は２以上のモジュール(1808)へ動作可能に接続されている。また、１又は２以上のデータ捕獲システムアプリケーション(1812)は、カメラアレイ(1822)からスペクトルデータを受信する。ＤＧＰＳ(1810)は、無線通信リンク(1826)を通じて１又は２以上のＳＡＴＣＯＭ衛星(1804)と通信が行われる。同様に、１又は２以上のＳＡＴＣＯＭ衛星(1804)は、１又は２以上のデータ捕獲システムアプリケーション(1812)と通信が行われる。
【００７９】
１又は２以上のデータ捕獲システムアプリケーション(1812)は、自動操縦装置(1816)、ＳＳＤ及び／又はRealTime StitchGシステム(1820)と繋がり、これらは互いに相互作用する。ＳＳＤ(1814)は、RealTime DEM(1818)へ動作可能に接続されることができる。最終的に、RealTime DEM(1818)及びRealTime StitchGシステム(1820)は、ディスクアレイ(1824)のような格納装置に接続されることができる。
【００８０】
上記のモジュール、アルゴリズム及びプロセスは、多くの技術及び構成に実装されることができる。本発明の実施例は、ソフトウェア又はハードウェア、或いはその組合せに関する機能例を含んでいる。さらにまた、本発明のモジュール及びプロセスは、単一の機能(例えば１つのソフトウェアプログラム)を有するように一緒に組み合わせることもできるし、動作可能に接続された別個の機能デバイス(例えば複数のネットワーク化されたプロセッサ／メモリブロック)を含むことができる。そのような実施例は本発明に含まれる。
【００８１】
この説明で開示した実施例は、当該分野の専門家が本発明を実施及び利用できるようにするために、本発明及びその実際の適用を最も良く説明するために提供されるものである。しかしながら、当該分野の専門家であれば、前記の説明及び実施例は、例示目的だけのためであることを認識するであろう。前述の説明は、本発明の範囲を、開示した形態に限定することを意図するものではない。添付の請求の範囲の精神及び範囲から逸脱することなく、上記の開示を参照して、多くの変更及び変形を加えることは可能である。
【図面の簡単な説明】
【００８２】
【図１】移動体を利用してデータの収集及び処理を行なう本発明のシステムを示す図である。
【図２】移動体を利用してデータの収集及び処理を行なう図１のシステムについて、本発明のカメラアレイアセンブリをより詳細に示す図である。
【図３】本発明の特定の態様におけるカメラアレイアセンブリを示す図である。
【図４】図１のカメラアレイアセンブリによって得られた画像パターンの一実施例を示す図である。
【図５】本発明の特定の態様における画像パターンを示す図である。
【図６】本発明に基づく画像片(image strip)を示す図である。
【図７】本発明に基づく画像片の他の実施例を示す図である。
【図８】本発明に基づく画像化プロセスの一実施例を示す図である。
【図９】カメラアレイアセンブリで撮影された写真を揃えて個々のフレームを作る方法を図式的に説明する図である。
【図１０】本発明の一実施例に係る処理ロジックのブロック図である。
【図１１】本発明の実施例に係るもので、横方向のオーバーサンプリングを移動体から見た図である。
【図１２】本発明の実施例に係るもので、横方向のオーバーサンプリングを移動体から見た図である。
【図１３】本発明の実施例に係るもので、フライトラインのオーバーサンプリングを移動体から見た図である。
【図１４】本発明の実施例に係るもので、フライトラインのオーバーサンプリングを移動体から見た図である。
【図１５】本発明の実施例に係るもので、累進的拡大を移動体から見た図である。
【図１６】本発明の実施例に係るもので、累進的拡大を移動体から見た図である。
【図１７】本発明の実施例に係るもので、累進的拡大を移動体から見た図である。
【図１８】本発明の実施例に係るもので、システムの構成を示す概略図である。
【特許請求の範囲】
【請求項１】
地表の地図を作成するためのシステムであって、
地球位置トランスミッターと、
地表の上方に位置する移動体と、
移動体に取り付けられた高さ計測装置と、
移動体に取り付けられた地球測位アンテナと、
移動体に取り付けられた姿勢測定装置と、
移動体に取り付けられたイメージングアレイであって、ハウジングと、内部に交差領域を有し、ハウジング内に設けられたアパーチャと、交差領域内のアパーチャを通る第１焦点軸を有し、ハウジングに取り付けられた第１イメージングセンサーと、アパーチャを通り、交差領域内で第１焦点軸と交差する第２焦点軸を有し、第１イメージングセンサーからオフセットした位置でハウジングに取り付けられた第２イメージングセンサーとを具えるイメージングアレイと、
高さ計測装置、地球測位アンテナ、姿勢測定装置、第１イメージングセンサー及び第２イメージングセンサーに接続されたコンピュータであって、第１及び第２のイメージングセンサーからの画像データの少なくとも一部を、高さ計測装置、地球測位アンテナ、姿勢測定装置のうちの少なくとも１つからの入力に基づいて地表の一部と関連づけるコンピュータと、を具えているシステム。
【請求項２】
アパーチャを通り、交差領域内で第１焦点軸と交差する第２焦点軸を有し、第１イメージングセンサーからオフセットした位置でハウジングに取り付けられた第３イメージングセンサーをさらに具えている請求項１に記載のシステム。
【請求項３】
第３イメージングセンサーの焦点軸は、第１及び第２イメージングセンサーの焦点軸と共通の平面内に存在する請求項２に記載のシステム。
【請求項４】
第１及び第２イメージングセンサーの焦点軸は、第１の共通平面に存在し、第３イメージングセンサーの焦点軸は、第１の共通平面と直角の平面内に存在する請求項２に記載のシステム。
【請求項５】
第１イメージングセンサーの焦点軸は垂直に配置されている請求項１に記載のシステム。
【請求項６】
第２イメージングセンサーの焦点軸は、第１イメージングセンサーの焦点軸を有する第１平面内で該焦点軸に対して第１の角度で配置され、第３イメージングセンサーの焦点軸は、第１の共通平面内で、第１イメージングセンサーから第２イメージングセンサーと反対側の位置に、第１の角度と同じ大きさの第２の角度で配置されている請求項５に記載のシステム。
【請求項７】
第１イメージングセンサーの対向する側に配備された第５イメージングセンサーと第６イメージングセンサーをさらに具えており、前記第５及び第６イメージングセンサーは、第１の共通平面と直角で第１イメージングセンサーの焦点軸を共有する第２平面内に、同じ大きさの角度を有する第１イメージングセンサーの焦点軸から第３及び第４の角度で配置された焦点軸を有する請求項６に記載のシステム。
【請求項８】
地表の地図を作成するためのシステムであって、
地球位置トランスミッターと、
地表の上方に位置する移動体と、
移動体に取り付けられた高さ計測装置と、
移動体に取り付けられた地球測位アンテナと、
移動体に取り付けられた姿勢測定装置と、
移動体に取り付けられ、地表の方向に配置された焦点軸を有し、ピクセルのアレイを含む画像を生成する第１イメージングセンサーと、
高さ計測装置、地球測位アンテナ、姿勢測定装置及び第１イメージングセンサーに接続されたコンピュータであって、高さ計測装置、地球測位アンテナ、姿勢測定装置のうちの少なくとも１つからの入力に基づいて、アレイの少なくとも１つのピクセルに対応する座標に合わせて経度及び緯度の計算値を生成するコンピュータと、を具えているシステム。
【請求項９】
地球位置トランスミッターは衛星に配備される請求項８に記載のシステム。
【請求項１０】
地球位置トランスミッターは地上に配備される請求項８に記載のシステム。
【請求項１１】
高さ計測装置はＬＩＤＡＲ装置である請求項８に記載のシステム。
【請求項１２】
姿勢測定装置はジャイロスコープである請求項８に記載のシステム。
【請求項１３】
第１イメージングセンサーの焦点軸は、垂直で、アパーチャを通り、前記システムは、
アパーチャを通り、交差領域内で第１焦点軸と交差する第２焦点軸を有し、第１イメージングセンサーからオフセットした位置で移動体に取り付けられた第２イメージングセンサーと、
アパーチャを通り、交差領域内で第１焦点軸と交差する第３焦点軸を有し、第２イメージングセンサーとは反対側で、第１イメージングセンサーからオフセットした位置で移動体に取り付けられた第３イメージングセンサーと、を具えている請求項８に記載のシステム。
【請求項１４】
移動体は方向ベクターを有し、第２イメージングセンサーの焦点軸は移動体の方向ベクターに直角な平面内に存在する請求項１３に記載のシステム。
【請求項１５】
地表の地図を作成するためのシステムであって、
地球位置トランスミッターと、
地表の上方に位置する移動体と、
移動体に取り付けられた高さ計測装置と、
移動体に取り付けられた地球測位アンテナと、
移動体に取り付けられた姿勢測定装置と、
移動体に取り付けられたイメージングアレイであって、ハウジングと、内部に交差領域を有し、ハウジング内に設けられたアパーチャと、ハウジングに取り付けられ、交差領域内のアパーチャを通る第１焦点軸を有し、ピクセルの第１アレイを生成する第１イメージングセンサーと、第１イメージングセンサーからオフセットした位置でハウジングに取り付けられ、アパーチャを通り、交差領域内で第１焦点軸と交差する第２焦点軸を有し、ピクセルの第２アレイを生成する第２イメージングセンサーとを具えるイメージングアレイと、
高さ計測装置、地球測位アンテナ、姿勢測定装置、第１イメージングセンサー及び第２イメージングセンサーのうちの１又は２以上に接続されたコンピュータであって、高さ計測装置、地球測位アンテナ及び姿勢測定装置のうちの少なくとも１つからの入力に基づいて、アレイの少なくとも１つのピクセルに対応する地表上の少なくとも１つの位置の真の経度及び真の緯度を計算するコンピュータと、を具えているシステム。
【請求項１６】
アパーチャを通り、交差領域内で第１焦点軸と交差する第２焦点軸を有し、第１イメージングセンサーからオフセットした位置でハウジングに取り付けられた第３イメージングセンサーをさらに具えている請求項１５に記載のシステム。
【請求項１７】
第３イメージングセンサーの焦点軸は、第１及び第２イメージングセンサーの焦点軸と共通の平面内に存在する請求項１６に記載のシステム。
【請求項１８】
第１及び第２イメージングセンサーの焦点軸は、第１の共通平面に存在し、第３イメージングセンサーの焦点軸は、第１の共通平面と直角の平面内に存在する請求項１６に記載のシステム。
【請求項１９】
第３イメージングセンサーの焦点軸は、第１及び第２イメージングセンサーの焦点軸を有する第１の共通平面内に存在し、前記システムは、第１の共通平面と直角の平面内に存在する焦点軸を有する第４イメージングセンサーをさらに具えている請求項１６に記載のシステム。
【請求項２０】
第３イメージングセンサーの焦点軸は、第１及び第２イメージングセンサーの焦点軸を有する第１の共通平面内に存在し、前記システムは、第１の共通平面内に存在する焦点軸を有し、交差領域内で第１イメージングセンサーの焦点軸と交差する第４及び第５のイメージングセンサーをさらに具えている請求項１６に記載のシステム。
【請求項１】
地表の地図を作成するためのシステムであって、
地球位置トランスミッターと、
地表の上方に位置する移動体と、
移動体に取り付けられた高さ計測装置と、
移動体に取り付けられた地球測位アンテナと、
移動体に取り付けられた姿勢測定装置と、
移動体に取り付けられたイメージングアレイであって、ハウジングと、内部に交差領域を有し、ハウジング内に設けられたアパーチャと、交差領域内のアパーチャを通る第１焦点軸を有し、ハウジングに取り付けられた第１イメージングセンサーと、アパーチャを通り、交差領域内で第１焦点軸と交差する第２焦点軸を有し、第１イメージングセンサーからオフセットした位置でハウジングに取り付けられた第２イメージングセンサーとを具えるイメージングアレイと、
高さ計測装置、地球測位アンテナ、姿勢測定装置、第１イメージングセンサー及び第２イメージングセンサーに接続されたコンピュータであって、第１及び第２のイメージングセンサーからの画像データの少なくとも一部を、高さ計測装置、地球測位アンテナ、姿勢測定装置のうちの少なくとも１つからの入力に基づいて地表の一部と関連づけるコンピュータと、を具えているシステム。
【請求項２】
アパーチャを通り、交差領域内で第１焦点軸と交差する第２焦点軸を有し、第１イメージングセンサーからオフセットした位置でハウジングに取り付けられた第３イメージングセンサーをさらに具えている請求項１に記載のシステム。
【請求項３】
第３イメージングセンサーの焦点軸は、第１及び第２イメージングセンサーの焦点軸と共通の平面内に存在する請求項２に記載のシステム。
【請求項４】
第１及び第２イメージングセンサーの焦点軸は、第１の共通平面に存在し、第３イメージングセンサーの焦点軸は、第１の共通平面と直角の平面内に存在する請求項２に記載のシステム。
【請求項５】
第１イメージングセンサーの焦点軸は垂直に配置されている請求項１に記載のシステム。
【請求項６】
第２イメージングセンサーの焦点軸は、第１イメージングセンサーの焦点軸を有する第１平面内で該焦点軸に対して第１の角度で配置され、第３イメージングセンサーの焦点軸は、第１の共通平面内で、第１イメージングセンサーから第２イメージングセンサーと反対側の位置に、第１の角度と同じ大きさの第２の角度で配置されている請求項５に記載のシステム。
【請求項７】
第１イメージングセンサーの対向する側に配備された第５イメージングセンサーと第６イメージングセンサーをさらに具えており、前記第５及び第６イメージングセンサーは、第１の共通平面と直角で第１イメージングセンサーの焦点軸を共有する第２平面内に、同じ大きさの角度を有する第１イメージングセンサーの焦点軸から第３及び第４の角度で配置された焦点軸を有する請求項６に記載のシステム。
【請求項８】
地表の地図を作成するためのシステムであって、
地球位置トランスミッターと、
地表の上方に位置する移動体と、
移動体に取り付けられた高さ計測装置と、
移動体に取り付けられた地球測位アンテナと、
移動体に取り付けられた姿勢測定装置と、
移動体に取り付けられ、地表の方向に配置された焦点軸を有し、ピクセルのアレイを含む画像を生成する第１イメージングセンサーと、
高さ計測装置、地球測位アンテナ、姿勢測定装置及び第１イメージングセンサーに接続されたコンピュータであって、高さ計測装置、地球測位アンテナ、姿勢測定装置のうちの少なくとも１つからの入力に基づいて、アレイの少なくとも１つのピクセルに対応する座標に合わせて経度及び緯度の計算値を生成するコンピュータと、を具えているシステム。
【請求項９】
地球位置トランスミッターは衛星に配備される請求項８に記載のシステム。
【請求項１０】
地球位置トランスミッターは地上に配備される請求項８に記載のシステム。
【請求項１１】
高さ計測装置はＬＩＤＡＲ装置である請求項８に記載のシステム。
【請求項１２】
姿勢測定装置はジャイロスコープである請求項８に記載のシステム。
【請求項１３】
第１イメージングセンサーの焦点軸は、垂直で、アパーチャを通り、前記システムは、
アパーチャを通り、交差領域内で第１焦点軸と交差する第２焦点軸を有し、第１イメージングセンサーからオフセットした位置で移動体に取り付けられた第２イメージングセンサーと、
アパーチャを通り、交差領域内で第１焦点軸と交差する第３焦点軸を有し、第２イメージングセンサーとは反対側で、第１イメージングセンサーからオフセットした位置で移動体に取り付けられた第３イメージングセンサーと、を具えている請求項８に記載のシステム。
【請求項１４】
移動体は方向ベクターを有し、第２イメージングセンサーの焦点軸は移動体の方向ベクターに直角な平面内に存在する請求項１３に記載のシステム。
【請求項１５】
地表の地図を作成するためのシステムであって、
地球位置トランスミッターと、
地表の上方に位置する移動体と、
移動体に取り付けられた高さ計測装置と、
移動体に取り付けられた地球測位アンテナと、
移動体に取り付けられた姿勢測定装置と、
移動体に取り付けられたイメージングアレイであって、ハウジングと、内部に交差領域を有し、ハウジング内に設けられたアパーチャと、ハウジングに取り付けられ、交差領域内のアパーチャを通る第１焦点軸を有し、ピクセルの第１アレイを生成する第１イメージングセンサーと、第１イメージングセンサーからオフセットした位置でハウジングに取り付けられ、アパーチャを通り、交差領域内で第１焦点軸と交差する第２焦点軸を有し、ピクセルの第２アレイを生成する第２イメージングセンサーとを具えるイメージングアレイと、
高さ計測装置、地球測位アンテナ、姿勢測定装置、第１イメージングセンサー及び第２イメージングセンサーのうちの１又は２以上に接続されたコンピュータであって、高さ計測装置、地球測位アンテナ及び姿勢測定装置のうちの少なくとも１つからの入力に基づいて、アレイの少なくとも１つのピクセルに対応する地表上の少なくとも１つの位置の真の経度及び真の緯度を計算するコンピュータと、を具えているシステム。
【請求項１６】
アパーチャを通り、交差領域内で第１焦点軸と交差する第２焦点軸を有し、第１イメージングセンサーからオフセットした位置でハウジングに取り付けられた第３イメージングセンサーをさらに具えている請求項１５に記載のシステム。
【請求項１７】
第３イメージングセンサーの焦点軸は、第１及び第２イメージングセンサーの焦点軸と共通の平面内に存在する請求項１６に記載のシステム。
【請求項１８】
第１及び第２イメージングセンサーの焦点軸は、第１の共通平面に存在し、第３イメージングセンサーの焦点軸は、第１の共通平面と直角の平面内に存在する請求項１６に記載のシステム。
【請求項１９】
第３イメージングセンサーの焦点軸は、第１及び第２イメージングセンサーの焦点軸を有する第１の共通平面内に存在し、前記システムは、第１の共通平面と直角の平面内に存在する焦点軸を有する第４イメージングセンサーをさらに具えている請求項１６に記載のシステム。
【請求項２０】
第３イメージングセンサーの焦点軸は、第１及び第２イメージングセンサーの焦点軸を有する第１の共通平面内に存在し、前記システムは、第１の共通平面内に存在する焦点軸を有し、交差領域内で第１イメージングセンサーの焦点軸と交差する第４及び第５のイメージングセンサーをさらに具えている請求項１６に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公表番号】特表２００６−５０７４８３（Ｐ２００６−５０７４８３Ａ）
【公表日】平成１８年３月２日（２００６．３．２）
【国際特許分類】
【出願番号】特願２００４−５３７９７６（Ｐ２００４−５３７９７６）
【出願日】平成１５年９月１８日（２００３．９．１８）
【国際出願番号】ＰＣＴ／ＵＳ２００３／０２９３７５
【国際公開番号】ＷＯ２００４／０２８１３４
【国際公開日】平成１６年４月１日（２００４．４．１）
【出願人】（５０５０７２５８０）エム７ ビジュアル インテリジェンス，エルピー (1)
【氏名又は名称原語表記】Ｍ７ ＶＩＳＵＡＬ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＬＰ
【Ｆターム（参考）】
【公表日】平成１８年３月２日（２００６．３．２）
【国際特許分類】
【出願日】平成１５年９月１８日（２００３．９．１８）
【国際出願番号】ＰＣＴ／ＵＳ２００３／０２９３７５
【国際公開番号】ＷＯ２００４／０２８１３４
【国際公開日】平成１６年４月１日（２００４．４．１）
【出願人】（５０５０７２５８０）エム７ ビジュアル インテリジェンス，エルピー (1)
【氏名又は名称原語表記】Ｍ７ ＶＩＳＵＡＬ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＬＰ
【Ｆターム（参考）】
[ Back to top ]