大気及び太陽照明モデリングを利用した画像の対の融合システム及び方法
イメージを処理する方法は、第１のスペクトル帯域に関連する第１の画像と、複数の第２のスペクトル帯域に関連する複数の第２の画像とを規定するデータを受信すること（204）を含む。この方法はまた、第２の画像における画素について第１の反射率関数を取得し（210）、複数の第１の反射率関数に基づいて第１の画像の画素における画素について第２の反射率関数を生成し（212）、第２の反射率関数と、第１の画像のイメージデータと、少なくとも１つの小平面方向の制約とに基づいて、第１の画像における画素について第３の反射率関数を取得すること（216）を含む。この方法は、第２及び第３の反射率関数の間の差に基づいて、第２の画像における画素について第４の反射率関数を生成するため、第１の反射率関数を変更し（218）、第２のスペクトル帯域に関連すると共に第１の空間分解能を有する第３の画像を規定するイメージデータを計算すること（224）を更に含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、特に大気及び太陽照明（atmospheric and solar illumination）のモデリングに基づく画像の対の融合システム及び方法に関する。
【背景技術】
【０００２】
リモート画像センシングの分野では、２つの一般的な種類の画像は、パンクロイメージ（panchromatic imagery）とマルチスペクトルイメージ（MSI：multi-spectral imagery）とを含む。パンクロイメージは、１つの非常に広い帯域で電磁気エネルギーを検出するように設計されたセンサを用いて、リモートセンシング装置により取得される。典型的には、この広い帯域は、可視光線及び近赤外線の波長のほとんどを含む。パンクロイメージは、非常に高い空間分解能を提供するという利点を有する。これに対して、典型的には、マルチスペクトルイメージは、可視光線領域と近赤外線領域との範囲内で複数の狭いスペクトル帯域から生成される。従って、マルチスペクトル画像は、一般的に、異なる部分の光スペクトル（例えば、青、緑、赤及び赤外線）に応じてセンサによりそれぞれ生成された２つ以上の画像データセットから構成される。マルチスペクトル画像は、同様のパンクロ画像から利用可能でないスペクトル情報を含むため、有利である。しかし、マルチスペクトル画像は、典型的には、パンクロ画像に比べて低い空間分解能を有する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
パンクロ画像の高分解能でマルチスペクトル画像を拡張すること、及びその逆を行うことが、しばしば望まれる。典型的には、この処理は、画像の対の“融合（fusion）”と呼ばれる。このような画像の対を融合するために複数の方法が利用可能であるが、このような方法からの結果の融合された画像は、典型的には、描写される位置の色スペクトルの不正確な表現を生じる。すなわち、通常の融合処理は、画像の色を歪める傾向がある。従って、このような方法は、一般的には、特定の種類の用途には不適切な融合された画像を生じる。例えば、画像に基づくデータ（素材）分類の場合、一般的には、パンクロ帯域での基本的な色のマルチスペクトル帯域（赤、青、緑）の通常の融合に提供されるものより、高い忠実度が必要である。特に、パンクロ帯域と相当に重複しないスペクトル帯域からの更なる情報が、データ分類に必要になることがある。更に悪いことに、可視マルチスペクトル帯域の或る部分は、パンクロ帯域と１つ以上のマルチスペクトル帯域（例えば、青）との間の限られた重複のため、最終的な画像に適切に表されない可能性がある。この失ったマルチスペクトル帯域情報を含めるために、いくつかのウェーブレットに基づく統計手法が利用可能であるが、一般的には、画像処理中のレジストレーション（registration）、地理的位置及び／又は大気条件における変化に敏感なアーティファクト（artifact）を導入しがちになり、及び／又は融合された画像を生成するために広範囲の計算を必要とする。
【課題を解決するための手段】
【０００４】
本発明の実施例は、遠隔で取得されたイメージを処理するシステム及び方法を提供する。特に、画像の対を融合するシステム及び方法は、大気及び太陽照明のモデリングに基づく。本発明の第１の実施例では、遠隔で取得されたイメージを処理する方法が提供される。この方法は、第１のスペクトル帯域に関連する第１の画像と、複数の第２のスペクトル帯域に関連する複数の第２の画像とを規定するイメージデータを受信するステップを含み、第１の画像は、第１の空間分解能を有し、それぞれの第２の画像は、第１の空間分解能より低い第２の空間分解能を有する。この方法はまた、複数の第２の画像における画素の反射率の値を指定する複数の第１の反射率関数を取得するステップと、複数の第１の反射率関数に基づいて第１の画像における画素の反射率の値を推定する第２の反射率関数を生成するステップと、第２の反射率関数と、第１の画像のイメージデータと、少なくとも１つの小平面方向の制約（facet orientation constraint）とに基づいて、第１の画像における画素の反射率の値を指定する第３の反射率関数を取得するステップとを含む。この方法は、複数の第２の画像における画素の反射率の値を指定する複数の第４の反射率関数を生成するため、第２及び第３の反射率関数の間の差に基づいて、複数の第１の反射率関数を変更し、複数の第２のスペクトル帯域に関連すると共に第１の空間分解能を有する複数の第３の画像を規定するイメージデータを計算することを有し、複数の第３の画像は、複数の第４の反射率関数に基づく。
【０００５】
本発明の第２の実施例では、遠隔で取得されたイメージを処理するシステムが提供される。このシステムは、第１のスペクトル帯域に関連する第１の画像と、複数の第２のスペクトル帯域に関連する複数の第２の画像とを規定するイメージデータを受信する記憶要素を含み、第１の画像は、第１の空間分解能を有し、それぞれの第２の画像は、第１の空間分解能より低い第２の空間分解能を有する。このシステムはまた、記憶要素に通信可能に結合された処理要素を有する。このシステムにおいて、処理要素は、複数の第２の画像における画素の反射率の値を指定する複数の第１の反射率関数を取得し、複数の第１の反射率関数に基づいて第１の画像における画素の反射率の値を推定する第２の反射率関数を生成し、第２の反射率関数と、第１の画像のイメージデータと、少なくとも１つの小平面方向の制約とに基づいて、第１の画像における画素の反射率の値を指定する第３の反射率関数を取得するように構成される。処理要素はまた、複数の第２の画像における画素の反射率の値を指定する複数の第４の反射率関数を生成するため、第２及び第３の反射率関数の間の差に基づいて、複数の第１の反射率関数を変更し、複数の第２のスペクトル帯域に関連すると共に第１の空間分解能を有する複数の第３の画像を規定するイメージデータを計算するように構成され、複数の第３の画像は、複数の第４の反射率関数に基づく。
【０００６】
本発明の第３の実施例では、遠隔で取得されたイメージを処理するコンピュータプログラムを記憶したコンピュータ可読媒体が提供される。コンピュータプログラムは、コンピュータにより実行可能な複数のコード部分を含み、コンピュータに対して、第１のスペクトル帯域に関連する第１の画像と、複数の第２のスペクトル帯域に関連する複数の第２の画像とを規定するイメージデータを受信させ、第１の画像は、第１の空間分解能を有し、それぞれの第２の画像は、第１の空間分解能より低い第２の空間分解能を有する。また、複数の第２の画像における画素の反射率の値を指定する複数の第１の反射率関数を取得させ、複数の第１の反射率関数に基づいて第１の画像における画素の反射率の値を推定する第２の反射率関数を生成させ、第２の反射率関数と、第１の画像のイメージデータと、少なくとも１つの小平面方向の制約とに基づいて、第１の画像における画素の反射率の値を指定する第３の反射率関数を取得させ、複数の第２の画像における画素の反射率の値を指定する複数の第４の反射率関数を生成するため、第２及び第３の反射率関数の間の差に基づいて、複数の第１の反射率関数を変更させ、複数の第２のスペクトル帯域に関連すると共に第１の空間分解能を有する複数の第３の画像を規定するイメージデータを計算させ、複数の第３の画像は、複数の第４の反射率関数に基づく。
【図面の簡単な説明】
【０００７】
【図１】一式の命令が本発明の実施例に従って動作するコンピュータシステムの概略図
【図２】融合された画像における改善した色スペクトルを提供するために遠隔で取得されたイメージを処理する例示的な方法のステップのフローチャート
【図３】リモートセンサにより収集された放射輝度の様々な成分を示す概略図
【図４】パンクロ画像とマルチスペクトル画像とを生成するために使用されるセンサのスペクトル反応の例を示すプロット
【図５】スペクトル重みがマルチスペクトル画像のスペクトル分解能を減少させるためのマルチスペクトル画像のダウンスケール処理で使用される様子を示す概略図
【図６】本発明の実施例に従って融合された画像で改善した色スペクトルを提供するために遠隔で取得されたイメージを処理する例示的な方法のステップのフローチャート
【図７】本発明の実施例に従って融合された画像で改善した色スペクトルを提供するために遠隔で取得されたイメージを処理する例示的な方法のステップのフローチャート
【図８】本発明の実施例に従って融合された画像で改善した色スペクトルを提供するために遠隔で取得されたイメージを処理する例示的な方法のステップのフローチャート
【発明を実施するための形態】
【０００８】
本発明の実施例は、遠隔で取得されたイメージを処理するシステム及び方法を提供する。特に、本発明の様々な実施例は、遠隔で取得された画像の対に基づいて融合された画像で色スペクトルを改善するシステム及び方法を提供する。一般的には、既存の融合方法は、取得されたマルチスペクトル（MSI：multi-spectral）画像のスペクトルと取得されたパンクロ画像のスペクトルとの間での重複量の変化の結果として、色の歪みのある融合された画像を生じる。更に、スペクトルの重複におけるこのような変化を補う方法は、一般的に計算集約的であり、画像取得の変化に過度に敏感になり、或いは、典型的には望ましくないアーティファクト（artifact）を生成する。明るさから色を分離し、関連するパンクロ画像の分解能をアップサンプリングし、パンクロ画像に基づいて明るさを調整し、融合されたプロダクトを提供するために変換を逆にすることを試みてMSI画像を変換する複数の方法が存在する。これらの方法の色の歪みは、遠隔で検知されたイメージにとって非現実的な色の変換及び明るさの調整の選択肢の結果である。
【０００９】
これらの制約を克服するために、本発明の実施例は、イメージデータに典型的に関連する放射輝度値（radiance value）から抽出された反射率情報に基づいてリモートイメージデータを融合するシステム及び方法を提供する。特に、本発明の様々な実施例は、新たなイメージ融合技術を提供し、ここでは、描写される表面の反射率が位置に関して表面の方向より比較的遅く変化することが想定される。すなわち、明るさの急激な変化は、小平面方向（facet orientation）による照度の変化に寄与される。従って、描写されている位置の大気及び太陽照明は、通常の画像取得中に一般的に記録されるメタデータに基づいてモデル化可能である。このモデルは、描写される表面の反射率へのMSI放射輝度を大気によって訂正するために使用されてもよい。
【００１０】
本発明の様々な実施例では、モデルの放射輝度の明るさは、表面の小平面がどのくらい太陽の方向に向いているかにより調整される。例えば、法線が太陽を直接示す小平面では、太陽は明るく輝く。従って、他の物体（ビル等）の陰にある表面の小平面は、主にモデルの青空により照らされていることが想定される。従って、MSI画像を大気によって訂正するために、全てのMSI画像を通じて滑らかにした（smoothened）反射率を提供するために、画素毎に有効な小平面方向が選択される。これらの滑らかにした反射率は、パンクロ画像の最大分解能でMSI画像の放射輝度を取得するために、パンクロ画像の各画素の小平面方向を選択することにより調整される。この手法の１つの利点は、パン（Pan）のスペクトル範囲の外側の帯域を正確に先鋭化（sharpening）する能力にある。
【００１１】
ここで使用される“リモート（遠隔）イメージデータ（remote imagery data）”は、画像の対を規定する何らかのデータのセットを示す。すなわち、リモートイメージデータは、画像データと、合成される第１及び少なくとも第２の画像に関連する何らかの種類のメタデータとを含む。画像データは、リモートに配置されたセンサ又は画像処理装置から取得される。例えば、リモートセンサは、限定ではなく一例として、高い位置の閲覧構造、飛行機、宇宙船又は人工衛星で動作するような位置にあってもよい。すなわち、リモートデータは、描写される位置に関して高い何らかの位置（固定位置又は移動位置）から取得される。画像データは、特定の範囲の波長（すなわち、スペクトル帯域）にそれぞれ関連する様々なセンサにより取得された画像の光強度データを含んでもよい。従って、本発明の様々な実施例では、リモートイメージデータは、マルチスペクトル（〜4帯域）、超スペクトル（>100帯域）及び／又はパンクロ（可視帯域）の画像データを含んでもよい。
【００１２】
一般的に、リモートイメージデータは、特定の他の特性を有することが想定される。例えば、異なる画像は、グローバルレジストレーション誤差（global registration error）を低減するために、典型的には相互に非常に短い時間フレーム内で、ほぼ同じ位置から取得される。依然として、本発明は、この基準を必ずしも満たすとは限らない異なる画像に関して、場合によっては劣化した結果で利用され得ることを、当業者は分かる。従って、画像の対は、異なる位置のセンサを使用して取得されてもよいが、複雑又は複数のシフト、スケーリング及び回転処理を含み、より複雑なレジストレーション処理を生じ得る。
【００１３】
以下に記載する例示的な実施例では、画像の対に関連するリモートイメージデータは、パンクロ画像と、MSI画像と、関連するメタデータとを含む。メタデータは、センサ又は描写される位置に関する何らかの更なる情報を含み、レジストレーション処理を容易にするのに適した情報を含んでもよい。限定ではなく一例として、メタデータは、画像取得日及び／又は時間を識別する情報、描写される地理的位置を識別する情報、又はセンサの位置を指定する情報を含む。例えば、描写される地理的位置を識別する情報は、メタデータで提供され得る矩形画像の４つの角の地理的座標を含んでもよい。メタデータはまた、各帯域のデジタル値を放射輝度に変換する放射分析キャリブレーション（radiometric calibration）を含んでもよい。
【００１４】
一般的に、パンクロ及びMSI画像の画素のレジストレーション又は位置合わせは、画像を適切に融合するために必要である。例えば、典型的には、MSI画像の各画素をパンクロ画像の画素にマッピングし、及びその逆を行うマッピング関数が提供される。例えば、MSI画像の画素は、xp=M2P(xm)を使用してパンクロ画像の画素にマッピングされてもよい。同様に、パンクロ画像の画素は、xm=P2M(xp)を使用してMSI画像の画素にマッピングされてもよい。このようなマッピング関数は、以下に説明するように、メタデータ又は他の方法に基づいて生成されてもよい。典型的には、MSI画像は、パンクロ画像に比べて低減した空間分解能を有することを、当業者は容易に認識する。従って、パンクロ画像をMSI画像にマッピングするときに、パンクロ画像の複数の画素は、MSI画像の少なくとも１つの共通の画素にマッピングされる。同様に、MSI画像をパンクロ画像にマッピングするときに、MSI画像の１つの画素は、パンクロ画像の複数の画素にマッピングされる。
【００１５】
様々な例示的な実施例は、主にMSI画像の空間分解能を拡張するためにパンクロ画像を利用することに関してここで説明されるが、これらの実施例は、説明を容易にするためにのみ提供されており、本発明はこの点に限定されない。ここに記載する方法及びシステムは、異なる空間及び／又はスペクトル分解能を有する如何なる種類の画像を有する画像の対にも同様に適用可能である。
【００１６】
本発明の様々な実施例は、特に画像の対のマッピング関数を生成する方法、データ処理システム及びコンピュータプログラムプロダクトとして具現される。従って、本発明は、完全にハードウェアの実施例、完全にソフトウェアの実施例又はこれらの組み合わせとしての形式になってもよい。しかし、本発明はこの点に限定されず、ここに記載しない多くの他の形式に実装されてもよい。
【００１７】
図１は、実行された場合、コンピュータシステム100に対して、ここに記載の１つ以上の方法及び手順を実行させる一式の命令を実行するコンピュータシステム100の実施例の概略図である。或る実施例では、コンピュータシステム100は、スタンドアローン型装置として動作する。他の実施例では、コンピュータシステム100は、（例えば、ネットワークを使用して）他のコンピュータ装置に接続される。ネットワーク接続された配置では、コンピュータシステム100は、サーバ・クライアント開発ネットワーク環境におけるサーバ又はクライアント開発機という立場で、或いはピア・ツー・ピア（又は分散）ネットワーク環境におけるピア・マシンとして動作する。
【００１８】
或る実施例では、コンピュータシステム100は、サーバコンピュータ、クライアントユーザコンピュータ、パーソナルコンピュータ（PC）、タブレットPC、ラップトップコンピュータ、デスクトップコンピュータ、制御システム、ネットワークルータ、スイッチ若しくはブリッジ、又は装置により行われる動作を指定する一式の命令（順次又は他のもの）を実行可能な他の種類の装置を含み、様々な種類のコンピュータシステム及び装置を有してもよい。この開示の装置はまた、音声、ビデオ又はデータ通信を提供する何らかの電子装置を含むことがわかる。更に、単一のコンピュータが示されているが、“コンピュータシステム”という用語は、ここで説明するいずれか１つ以上の方法を実行する一式の命令（又は命令の複数のセット）を個々に又は併せて実行する何らかのコンピュータ装置の集合を含むことが分かる。
【００１９】
コンピュータシステム100は、プロセッサ102（中央処理装置（CPU）、グラフィック処理装置（GPU）又は双方等）と、メインメモリ104と、スタティックメモリ106とを含む。これらは、バス108を介して相互に通信する。コンピュータシステム100は、ディスプレイユニット110（ビデオディスプレイ（例えば、液晶ディスプレイ又はLCD）、フラットパネル、固体ディスプレイ又は陰極線管（CRT）等）を更に含む。コンピュータシステム100はまた、入力装置112（例えば、キーボード）、カーソル制御装置114（例えば、マウス）、ディスクドライブユニット116、信号生成装置118（例えば、スピーカ又はリモコン）、及びネットワークインタフェース装置120を含む。
【００２０】
ディスクドライブユニット116は、ここに記載の方法、手順又は関数の１つ以上を実施するように構成された命令の１つ以上のセット124（例えば、ソフトウェアコード）を格納したコンピュータ可読記憶媒体122を含む。命令124は、コンピュータシステム100による実行中に、メインメモリ104、スタティックメモリ106及び／又はプロセッサ102内に完全に又は少なくとも部分的に存在する。メインメモリ104及びプロセッサ102はまた、機械可読媒体を構成してもよい。
【００２１】
図１に示すコンピュータシステムアーキテクチャは、コンピュータシステムの考えられる一例であることが、当業者に分かる。しかし、本発明はこの点に限定されず、他の適切なコンピュータシステムアーキテクチャも限定せずに使用可能である。
【００２２】
例えば、特定用途向け集積回路、プログラム可能ロジックアレイ及び他のハードウェア装置を非限定的に含む専用ハードウェアの実装も同様に、ここに記載の方法を実装するために構成されてもよい。様々な実施例の装置及びシステムを含み得る用途は、広く様々な電子及びコンピュータシステムを含む。或る実施例は、モジュール間で及びモジュールを通じて通信される関連の制御及びデータ信号で２つ以上の特に相互接続されたハードウェアモジュール又は装置に機能を実装する、或いは特定用途向け集積回路として実装する。従って、例示的なシステムは、ソフトウェア、ファームウェア及びハードウェアの実装に適用可能である。
【００２３】
本発明の様々な実施例によれば、以下に記載の方法は、コンピュータ可読記憶媒体にソフトウェアプログラムとして格納されてもよく、コンピュータプロセッサで動作するように構成されてもよい。更に、ソフトウェアの実装は、ここに記載の方法を実施するように構成され得る分散処理、コンポーネント／オブジェクト分散型処理、並列処理、仮想機械処理を含んでもよく、これらに限定されない。
【００２４】
従って、本発明の或る実施例では、本発明は、命令124を含むコンピュータ可読記憶媒体として、或いはネットワーク環境126に接続された装置が音声及び／又はビデオデータを送信又は受信し、命令124を使用してネットワーク126で通信するように、伝搬信号から命令124を受信して実行するコンピュータ可読記憶媒体として具現される。命令124は、ネットワークインタフェース装置120を介してネットワーク126で更に送信又は受信される。
【００２５】
例示的な実施例では、コンピュータ可読記憶媒体122は単一の記憶媒体であるように示されているが、“コンピュータ可読記憶媒体”という用語は、命令の１つ以上のセットを格納する単一の媒体又は複数の媒体（例えば、集中型若しくは分散型データベース、及び／又は関連するキャッシュ及びサーバ）を含むものとして受け取られるべきである。“コンピュータ可読記憶媒体”という用語はまた、機械により実行される一式の命令を格納、符号化又は伝達可能であり、機械に対してこの開示のいずれか１つ以上の方法を実行させる何らかの媒体を含むものとして受け取られるべきである。
【００２６】
従って、“コンピュータ可読媒体”という用語は、１つ以上の読み取り専用（不揮発性）メモリ、ランダムアクセスメモリ若しくは他の書き込み可能（揮発性）メモリを収容するメモリカード若しくは他のパッケージ、ディスク若しくはテープのような光磁気若しくは光媒体、及び伝送媒体にコンピュータ命令を具現する信号のような搬送波信号、及び／又は、電子メールへのデジタルファイル添付若しくは有形の記憶媒体に等価な配布媒体であると考えられる他の自己完結型の情報アーカイブ若しくは一式のアーカイブを含むが、これらに限定されないものとして受け取られるべきである。従って、この開示は、ここに記載のコンピュータ可読媒体又は配布媒体のいずれか１つ以上を含み、ここでのソフトウェアの実装が格納される認識される等価なもの及び次の媒体を含むものとして考えられる。
【００２７】
この明細書は、特定の標準及びプロトコルを参照した実施例で実装される構成要素及び機能を説明するが、この開示は、このような標準及びプロトコルに限定されない。インターネット及び他のパケット交換ネットワーク伝送の各標準（例えば、TCP/IP、UDP/IP、HTML及びHTTP）は、当該技術の状態の例を表す。このような標準は、基本的に同じ機能を有する高速又は高効率の等価なものにより定期的に取って代わられる。従って、同じ機能を有する置換の標準及びプロトコルも等価なものと考えられる。
【００２８】
図２に関して、本発明について詳細に説明する。図２は、本発明の実施例に従って融合された画像で改善した色スペクトルを提供するために遠隔で取得されたイメージを処理する例示的な方法200のステップを示している。しかし、図２に開示の例示的な処理は、説明の目的のみで提供されており、本発明はこの点に限定されないことが分かる。
【００２９】
図２に示すように、方法200は、ステップ202で始まり、ステップ204に続いてもよい。ステップ204において、描写される地理的位置のイメージデータ及びメタデータを有する画像の対が受信される。例示的な方法200において、画像の対は、パンクロ形式の第１の画像と、MSI形式の画像を規定する様々なMSIスペクトル帯域に関連する第２の画像の集合とを規定する。ステップ204において画像の対が取得されると、ステップ206において、画像の対において画素をレジストレーション（すなわち、位置合わせ）するためのマッピング関数が生成される。一般的に、ステップ206は、パンクロ画像の各点をMSI画像の座標のどこにマッピングするかを決定することに基づく数学関数を生成することを含む。マッピング関数を生成するための複数の通常の方法が存在する。典型的には、１つの画像の複数の点を選択し、他の画像のどこにマッピングするかを見つけ、変換の係数を最適化することを含む。通常では、これは、１つの画像からの点を他の画像にマッピングする二乗誤差を最小化する一式の係数を取得することを可能にする最小二乗誤差の解である。融合処理における最善の結果のため、パンクロ画像は、0.1パンクロ画素により規定された大きさより小さい誤差距離により規定された精度で、マルチスペクトル画像にマッピングされることが好ましい。ステップ206において生成されたマッピング関数は、１つの画像の座標から他の画像の座標への点のマッピングを決定する。このマッピング関数は、形式x1=ax2+by2+x0の線形変換のように簡単でもよく、センサと描写される表面との双方の幾何学的配置をモデル化する複雑な変換でもよい。マッピング関数は、メタデータとしてイメージデータ内に含まれる座標に基づいてもよい。例えば、メタデータは、取得された画像の対の４つの角の緯度及び経度座標を含んでもよく、初期のマッピング関数は、これらの座標に基づいてもよい。本発明の或る実施例では、メタデータは、描写される表面の緯度、経度及び高度を行／列画像座標に変換する有理多項式係数（RPC：rational polynomial coefficient）を含んでもよい。これらのセンサモデルはまた、画像間の正確なマッピングを生成するために使用されてもよい。
【００３０】
ステップ206において初期のマッピング関数が生成された後に、MSI帯域毎に初期の一式の反射率関数が生成されてもよい。すなわち、センサ毎に、画素の放射輝度の値に基づいてMSI帯域の画像の各画素の反射率の値を提供する関数が生成されてもよい。典型的には、センサにより収集された合計の放射輝度は、大気反射成分と表面反射成分との合計により表現又はモデル化される。これが、図３に概略的に示されている。
【００３１】
図３に示すように、太陽又は他の光源は、描写される表面302に向けられた合計量の放射輝度LTotal_Solを提供する。この合計の放射輝度の一部は、大気304により上方向に反射され、上昇経路の放射輝度を記述する放射輝度LPathを生じる。この合計の放射輝度の第２の部分は、表面302に向かって下方向に大気304により反射及び／又は拡散され、“青空（blue-sky）”の放射輝度を記述する放射輝度LSkyを生じる。この合計の放射輝度の第３の部分は、表面302に到達し、表面302の太陽直射放射輝度を記述する放射輝度LSolを生じる。従って、センサ306は、センサ306に到達する上昇経路の放射輝度量LPathと、太陽直射放射輝度量LSolと、表面302により反射されてセンサ306に到達する青空の放射輝度LSkyとに基づいて、合計の放射輝度LTotalを最終的に検出する。数学的には、画素についてセンサにより収集されるこの合計の放射輝度は、以下のように式(1)で記述されてもよい。
【００３２】
【数１】
ただし、
Ppath(λ)はセンサにより収集された経路の放射輝度である。
p(λ)は光の特定の波長の表面反射率である。
LSolar(λ)は表面反射された太陽直射放射輝度である。
LSky(λ)は表面反射された青空の放射輝度である。
cos(A)は太陽単位ベクトルとの表面の法線の内積である。
【００３３】
式(1)は、以下の式(2)のようにMSI画像の放射輝度に基づいて、光の各波長の画素の反射率を数学的に記述するように再構成されてもよい。
【００３４】
【数２】
図２に戻ると、式(2)は、MSI画像の一式の反射率関数を決定するために利用されてもよい。しかし、結果の反射率関数は、典型的には複雑である。すなわち、異なる物体又は素材の表面で反射率は一定であるが、表面の境界領域での反射率は、典型的には不連続であり、反射率を正確に表すために必要な複雑な関数を生じる。従って、本発明の様々な実施例では、反射率関数の複雑性を低減するために、これらの不連続性が除去された近似反射率関数が代わりに生成されてもよい。これは、これらの境界領域での反射率関数の不連続性を減衰させるように小平面方向を調整することにより実現されてもよい。このため、式(2)は、以下の式(3)のように、MSI画像の放射輝度に基づいて画素の小平面方向を数学的に記述するように再構成されてもよい。
【００３５】
【数３】
しかし、典型的なMSI画像がそれぞれ2000×2000画素の3〜4の画像から構成されることを考慮すると、MSI分解能での小平面方向のこのような調整の実行は、計算集約的になる可能性がある。従って、本発明の様々な実施例では、調整される必要のある小平面方向の数を低減することにより、高い計算効率で空間的に最も滑らかな反射率を提供するために、多分解能（multi-resolution）の手法が使用される。従って、ステップ208において、MSI放射輝度はダウンサンプリングされ、小平面方向の初期のセットが取得される。ダウンサンプリングは、様々な方法を使用して実現されてもよい。例えば、MSI画像の分解能を〜10画素の幅の画像に低減するために、2xピラミッド（2x pyramid）関数が使用されてもよい。しかし、本発明の様々な実施例では、他の下位分解能が使用されてもよい。従って、ダウンサンプリングして画素の数を低減することにより、平坦な地表の小平面方向に基づく初期の反射率が、全体の画像を通じて滑らかな反射率に迅速に最適化され得る。前述の10画素×10画素の例では、約10回の反復で、滑らかにした反射率が取得されてもよい。下位分解能では、MSI画像のそれぞれの反射率はぼやかされ、小平面方向は、反射率の現在の推定値に基づいてMSI放射輝度から推定される。本発明の様々な実施例では、小平面方向は、有効範囲(0,1)に制限され、各帯域の反射率は、更新された小平面方向に基づいてMSI放射輝度から推定される。初期の小平面方向の生成の詳細は、図６に関して以下に詳細に説明する。
【００３６】
ここで使用される“アップサンプリング（up-sampling）”は、低分解能から高分解能への画像の分解能の調整を示す。同様に、“ダウンサンプリング（down-sampling）”は、高分解能から低分解能への画像の分解能の調整を示す。本発明の様々な実施例では、画像の分解能を調整するいずれかの方法が使用され得るが、画像の分解能の一定のスケーリングを提供するために、単一の方法が利用されてもよい。
【００３７】
ステップ208において初期の小平面方向が取得されると、ステップ210において、MSI分解能のMSIスペクトル帯域毎に、反射率関数が生成される。すなわち、ステップ208で取得された初期の小平面方向は、MSI帯域毎の反射率関数を導くために使用される。更に、ステップ210において、MSI反射率関数のいずれかの残りの不連続性も除去される。特に、図７について以下に説明するように、平滑化（smoothing）が実行されてもよい。通常では、このような不連続性の除去は、MSI分解能では計算集約的であるが、ステップ208で生成された初期の小平面方向は、相当の不連続性を減衰させるように既に調整されている。従って、ステップ210における残りの不連続性の数は低く、反射率関数及び小平面方向に必要な改善の量を低減する。
【００３８】
ステップ210においてMSI分解能での滑らかにした反射率関数が取得されると、ステップ212において、滑らかにした反射率関数は、パンクロ画像データに基づいて更なる改善を始めるために、少なくとも１つの超解像（super-resolution）にアップサンプリングされてもよい。すなわち、反射率関数は、MSI分解能の上の分解能にアップサンプリングされる。超解像は、パンクロ分解能でもよいが、パンクロ画像で反射率関数の改善を実行するための試みは、計算集約的になる。この理由は、典型的なパンクロ画像は、〜8000×8000画素を含み得るからである。従って、計算上の要件を低減するために、滑らかにしたMSI反射率関数が、画素数を制限することにより改善が繰り返し実行可能であるように、代わりにMSI分解能とパンクロ分解能との間の中間分解能までアップサンプリングされてもよい。
【００３９】
ステップ212においてMSI反射率関数が超解像にアップサンプリングされた後に、ステップ214において、パンクロ画像の近似反射率関数が生成されてもよい。本発明の様々な実施例では、近似反射率関数は、近似のパンクロ画像がMSI画像から生成されたのと同様に生成されてもよい。MSI画像の場合、近似のパンクロ放射輝度の値は、パンクロ画像の画素の反射率の値に正確に対応するようにキャリブレーションされたMSI放射輝度の値の組み合わせから生成される。本発明の様々な実施例では、放射輝度の値及び反射率関数のスペクトル重みは同じである。これは、式(2)に示すように反射率と放射輝度とは比例するからである。
【００４０】
スペクトル重みを決定するために、特定の地理の完全なマルチスペクトル画像は、典型的には複数の光又はスペクトル画像帯域から構成されることを、当業者は認識する。これらの帯域のそれぞれにおいて、センサは、非常に限られた範囲の光波長に反応する。この概念は図４に示されており、図４は、光波長の４つの異なる帯域へのセンサの反応を表す曲線401、402、403、404を示している。センサは、基本的には、反応曲線401、402、403、404により表される光帯域毎に１つの画像を生成する。この例では、単一のマルチスペクトル画像は、これらの４つのスペクトル帯域を使用してセンサにより取得された画像から構成される。異なるセンサシステムは、より多く又はより少ない光帯域を有してもよいことを、当業者は認識する。これに対して、パンクロ画像は、かなり広い範囲の光波長に反応するセンサにより取得された単一の画像である。図４では、パンクロセンサの反応が曲線400により示されている。
【００４１】
図４において、様々なマルチスペクトル帯域のセンサの反応曲線401、402、403、404は、同じ波長のパンクロセンサの反応曲線400と比較して非常に異なる可能性があることがわかる。様々な光波長に対するセンサの反応のこれらの差は、パンクロ画像に比較したときのマルチスペクトル画像の各画素に関連する放射輝度の値の間のスケーリング差を生じる。従って、マルチスペクトルセンサにより測定された各画素の放射輝度の値をスケーリングし、パンクロセンサから生じた放射輝度の値のスケーリングに対応するために、キャリブレーション関数が必要になる。例えば、〜500nmでの曲線400及び401により表されるスペクトル反応を検討する。曲線401は、約1.0のスペクトル反応を有するが、パンクロセンサのスペクトル反応は、約0.35の範囲での平均スペクトル反応を示す。曲線401により規定される波長の範囲での曲線402の反応の動きを無視すると、このような放射輝度の値が、曲線400により示される反応を有するセンサにより測定された値に適切にキャリブレーションされるためには、反応曲線401の特性を有するセンサを使用したマルチスペクトル画像の画素の放射輝度の値は、約0.35の重みの値だけスケーリングされる必要がある。一般的に、適切なスペクトルのキャリブレーションは、図４の各スペクトル帯域に関連する画素の放射輝度の値が、曲線400により規定される反応を有するセンサを使用して取得された放射輝度の値に適切にスケーリングされる合計の放射輝度の値を取得するために一緒に追加される必要があることを必要とする。従って、スペクトル重みは、超解像のパンクロ画像の反射率関数を近似するために、放射輝度の値に適用されてもよい。この処理は、図５に概略的に示されている。しかし、前述のように、スペクトル重みはまた、パンクロ反射率関数を導くために反射率関数に適用されてもよい。従って、本発明の様々な実施例では、パンクロ反射率関数の図５の処理は、以下の式(4)のように表されてもよい。
【００４２】
【数４】
ただし、
ρApprox_Pan(i,j)は各画素の近似のパンクロ反射率の値である。
Wλはスペクトル帯域λ毎のスペクトル重みである。
ρλ(i,j)はマルチスペクトル画像を有するスペクトル帯域毎の各画素の放射輝度の値である。
【００４３】
これらのスペクトル重みを使用して、ステップ214において、近似のパンクロ反射率関数が生成される。更に、ステップ214において、パンクロ画像のダウンサンプリングされた放射輝度の値と、近似のパンクロ反射率関数とに基づいて、パンクロ小平面方向もまた、例えば式(3)に基づいて決定されてもよい。ステップ214において近似のパンクロ反射率と小平面方向とが取得されると、パンクロの小平面方向は、実数値に制約され、ステップ216において、パンクロの反射率関数が再計算される。この再計算の詳細は、図７を参照して以下に説明する。ステップ216において再計算された反射率関数が取得されると、ステップ218において、MSI反射率関数を調整するために、近似の反射率関数と再計算された反射率関数との間の差が使用されてもよい。この調整の詳細は、図８を参照して以下に説明する。
【００４４】
ステップ218において超解像でのMSI反射率関数が調整されると、方法200は、更なる改善が必要であるか否かを調べるために検査してもよい。すなわち、ステップ220において超解像がパンクロ分解能でない場合、より高い分解能での反射率の値の更なる改善が必要になる。従って、ステップ222において、次の高い超解像が選択されてもよく、次の超解像についてステップ218〜220が繰り返されてもよい。ステップ220において超解像がパンクロ分解能である場合、MSI反射率関数の更なる改善は必要なく、ステップ224において、融合された画像が、パンクロ分解能にアップサンプリングされた反射率関数に基づいて生成されてもよい。方法200はステップ226で終了し、前の処理を再開してもよい。
【００４５】
図６は、本発明の実施例に従ってMSI帯域の初期の小平面方向を生成する例示的な方法600のフローチャートを示している。このような方法は、例えば、図２のステップ208の間に実行されてもよい。方法600はステップ602で始まり、ステップ604に続いてもよい。ステップ604において、第１の下位分解能（sub-resolution）が選択されてもよい。すなわち、MSI画像の空間分解能より低い空間分解能が選択される。前述のように、ダウンサンプリング処理を介して画素の数が低減された場合、計算上の要件は低減される。後にステップ606において、選択された下位分解能で初期の小平面方向が取得されてもよい。すなわち、MSI画像の画素毎の小平面方向の値の初期の推定値である。これらの初期の推定値は、画像の対のメタデータを使用して生成されてもよく、描写される位置の一般的照明条件に基づいてもよい。次に又はステップ606と同時に、ステップ608において、MSI帯域毎のMSI画像の放射輝度の値は、選択された下位分解能にダウンサンプリングされてもよい。ダウンサンプリングされた放射輝度の値及び小平面方向の値の初期の推定値は、ステップ610において、下位分解能でのMSI帯域毎の初期の反射率関数を計算するために使用される。初期の反射率関数は、例えば、式(2)又は大気モデリングシステムを使用して計算されてもよい。
【００４６】
一般的に、小平面方向が領域で一定であっても、物体の反射率はその領域で絶えず変化するとは限らない。すなわち、真の反射率関数は、異なる物体の間の境界で不連続性を生じる。不都合なことに、このような関数は、計算上の複雑性を増加させる。従って、計算を簡単にするために、本発明の様々な実施例の反射率関数は、絶えず変化するように要求されてもよい。従って、ステップ612において、ステップ610において取得された反射率関数は、小平面方向を調整することにより、このような不連続性を除去するように平滑化されてもよい。すなわち、反射率関数に適用される平滑化関数の調整パラメータとして、小平面方向が使用される。本発明の様々な実施例では、如何なる種類の平滑化関数又はぼやけ演算子が利用されてもよい。しかし、簡単なボックス平均のような比較的簡単なぼやけ演算子は良好な結果を生成するが、加速した収束及び高い分解能は、異方性平滑化演算子（anisotropic smoothing operator）を使用することにより実現されてもよい。例えば、ぼやけ演算子の周辺画素の相対寄与は、パンクロ画像の放射輝度の値の類似性に従って重み付けられてもよい。
【００４７】
ステップ612において選択された下位分解能での反射率関数が下位分解能で平滑化された後に、方法600は、小平面方向の更なる改善が必要であるか否かを決定してもよい。特に、選択された下位分解能がMSI画像のものである場合、小平面方向の更なる改善は必要ない。従って、ステップ614において下位分解能がMSI分解能である場合、この方法はステップ616で終了し、前の処理を再開してもよい。すなわち、例えば図２のステップ210においてMSI反射率関数を決定するために、調整された小平面方向が使用されてもよい。しかし、選択された下位分解能がMSI分解能でない場合、ステップ618において、次の高い下位分解能が選択されてもよい。ステップ612で調整された小平面方向は、次の高い下位分解能にアップサンプリングされ、小平面方向がMSI分解能に改善されるまでステップ608〜614が繰り返されてもよい。或いは、本発明の或る実施例では、MSI分解能への最終的なアップスケーリングを必要としても、小平面方向は、MSI分解能以外の下位分解能に到達するまで改善されてもよい。
【００４８】
図７は、本発明の実施例に従って制約された小平面方向に基づいてパンクロ反射率関数を再計算する例示的な方法700のフローチャートを示している。例えば、方法700は、図２のステップ216の間に実行されてもよい。方法700はステップ702で始まり、ステップ704に続いてもよい。ステップ704において、パンクロ小平面方向の値は、近似のパンクロ反射率関数とパンクロ放射輝度の値とに基づいて計算される。例えば、ステップ704は、式(3)を使用して実行されてもよい。その後、全てのパンクロ小平面方向の値が0から1の範囲内にある場合、方法700はステップ708で終了し、前の処理を再開してもよい。しかし、ステップ706において少なくとも１つのパンクロ小平面方向の値が0と1との範囲外にあることが検出された場合、方法700は代わりにステップ710に続く。
【００４９】
ステップ710において、制約されたパンクロ小平面方向が生成されてもよい。すなわち、パンクロ小平面方向は、0未満の小平面方向の値に関連する画素について0の値に制約され、1より大きい小平面方向の値に関連する画素について1の値に制約される。0から1の範囲内の他の値は乱されないままになる。次にステップ712において、ステップ710における制約された小平面方向と、パンクロ画像からの放射輝度の値とに基づいて、再計算されたパンクロ反射率関数が生成される。方法700はステップ708で終了し、前の処理を続けてもよい。
【００５０】
図８は、本発明の実施例に従って超解像で取得された近似及び再計算されたパンクロ反射率関数に基づいて、MSI分解能でのMSI反射率関数を調整する例示的な方法800のフローチャートを示している。方法800は、例えば図２のステップ218の間に実行されてもよい。方法800は、ステップ802で始まり、ステップ804に続いてもよい。ステップ804において、反射率比関数は、再計算されたパンクロ反射率関数と近似の反射率関数との比から生成されてもよい。従って、反射率比関数は、超解像での各画素に関連する反射率の比を提供する。この反射率比関数は、対応する小平面方向の値が適切な範囲（0〜1）内になるように、MSI反射率に必要な調整量を記述するスケーリングファクタ（係数）を効果的に提供する。しかし、スケーリングファクタは、MSI分解能ではなく、超解像で提供され、MSI画像の値を調整するために、通常ではスケーリングファクタのダウンサンプリングが必要となる。これらのセンサは、画素毎に限られた立体角でまとめられた放射輝度としてイメージを収集する。従って、超解像での反射率の値は、MSI画像の画素の立体角での小平面方向の変化から生じる非定常の照度のため、典型的にはかなりの歪みなしにはダウンサンプリングできない。画像は、センサの物理モデルに準拠するような放射輝度の値としてダウンサンプリングされるべきである。従って、本発明の様々な実施例では、MSI反射率関数の調整は、超解像での反射率のスケーリングファクタに基づいてMSI分解能での放射輝度のスケーリングファクタを決定することにより実行される。
【００５１】
従って、MSI反射率関数は、まずステップ806において反射率比関数によりスケーリングされ、超解像でのスケーリングされた反射率の値を提供してもよい。ステップ808において、スケーリングされた反射率関数は、超解像でのMSI放射輝度の値を生成するために使用されてもよい。MSI放射輝度の値は、超解像でのパンクロ画像から導かれた小平面方向の値を使用して生成されてもよい。前述のように、MSI放射輝度の値は、ダウンサンプリングされ得る適切な一式の値を提供する。従って、ステップ810において、超解像でのMSI放射輝度の値は、MSI分解能にダウンサンプリングされる。その後、ステップ812において、放射輝度比関数が生成される。ステップ812の放射輝度比は、ステップ808において生成されてステップ810でダウンサンプリングされたMSI放射輝度の値と、MSI画像のMSI放射輝度の値との比に基づく。ステップ812において放射輝度比関数が取得されると、ステップ814において、放射輝度比関数は、超解像にアップサンプリングされ、超解像での融合された放射輝度画像に適用される。この方法はステップ816で終了し、更なる改善のため、訂正後の融合された放射輝度又は訂正後のMSI反射率関数の更なるアップスケーリングを使用して反射率画像を生成するように、前の処理を再開してもよい。
【００５２】
ここに記載する実施例の例は、様々な実施例の構成の一般的な理解を提供することを目的としており、ここに記載の構成を利用し得る装置及びシステムの全ての要素及び特徴の完全な記述としての役目をすることを意図しない。多くの他の実施例は、前述の説明を検討することにより、当業者に明らかになる。この開示の範囲を逸脱することなく、構造的及び論理的置換及び変更が行われるように、他の実施例も利用及び導出されてもよい。図面もまた、単に代表例であり、縮尺通りには記載されていない。特定の部分は誇張されることがあり、他の部分は最小化されることがある。従って、明細書及び図面は、限定的な意味ではなく、例示的として見なされるべきである。
【技術分野】
【０００１】
本発明は、画像処理に関し、特に大気及び太陽照明（atmospheric and solar illumination）のモデリングに基づく画像の対の融合システム及び方法に関する。
【背景技術】
【０００２】
リモート画像センシングの分野では、２つの一般的な種類の画像は、パンクロイメージ（panchromatic imagery）とマルチスペクトルイメージ（MSI：multi-spectral imagery）とを含む。パンクロイメージは、１つの非常に広い帯域で電磁気エネルギーを検出するように設計されたセンサを用いて、リモートセンシング装置により取得される。典型的には、この広い帯域は、可視光線及び近赤外線の波長のほとんどを含む。パンクロイメージは、非常に高い空間分解能を提供するという利点を有する。これに対して、典型的には、マルチスペクトルイメージは、可視光線領域と近赤外線領域との範囲内で複数の狭いスペクトル帯域から生成される。従って、マルチスペクトル画像は、一般的に、異なる部分の光スペクトル（例えば、青、緑、赤及び赤外線）に応じてセンサによりそれぞれ生成された２つ以上の画像データセットから構成される。マルチスペクトル画像は、同様のパンクロ画像から利用可能でないスペクトル情報を含むため、有利である。しかし、マルチスペクトル画像は、典型的には、パンクロ画像に比べて低い空間分解能を有する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
パンクロ画像の高分解能でマルチスペクトル画像を拡張すること、及びその逆を行うことが、しばしば望まれる。典型的には、この処理は、画像の対の“融合（fusion）”と呼ばれる。このような画像の対を融合するために複数の方法が利用可能であるが、このような方法からの結果の融合された画像は、典型的には、描写される位置の色スペクトルの不正確な表現を生じる。すなわち、通常の融合処理は、画像の色を歪める傾向がある。従って、このような方法は、一般的には、特定の種類の用途には不適切な融合された画像を生じる。例えば、画像に基づくデータ（素材）分類の場合、一般的には、パンクロ帯域での基本的な色のマルチスペクトル帯域（赤、青、緑）の通常の融合に提供されるものより、高い忠実度が必要である。特に、パンクロ帯域と相当に重複しないスペクトル帯域からの更なる情報が、データ分類に必要になることがある。更に悪いことに、可視マルチスペクトル帯域の或る部分は、パンクロ帯域と１つ以上のマルチスペクトル帯域（例えば、青）との間の限られた重複のため、最終的な画像に適切に表されない可能性がある。この失ったマルチスペクトル帯域情報を含めるために、いくつかのウェーブレットに基づく統計手法が利用可能であるが、一般的には、画像処理中のレジストレーション（registration）、地理的位置及び／又は大気条件における変化に敏感なアーティファクト（artifact）を導入しがちになり、及び／又は融合された画像を生成するために広範囲の計算を必要とする。
【課題を解決するための手段】
【０００４】
本発明の実施例は、遠隔で取得されたイメージを処理するシステム及び方法を提供する。特に、画像の対を融合するシステム及び方法は、大気及び太陽照明のモデリングに基づく。本発明の第１の実施例では、遠隔で取得されたイメージを処理する方法が提供される。この方法は、第１のスペクトル帯域に関連する第１の画像と、複数の第２のスペクトル帯域に関連する複数の第２の画像とを規定するイメージデータを受信するステップを含み、第１の画像は、第１の空間分解能を有し、それぞれの第２の画像は、第１の空間分解能より低い第２の空間分解能を有する。この方法はまた、複数の第２の画像における画素の反射率の値を指定する複数の第１の反射率関数を取得するステップと、複数の第１の反射率関数に基づいて第１の画像における画素の反射率の値を推定する第２の反射率関数を生成するステップと、第２の反射率関数と、第１の画像のイメージデータと、少なくとも１つの小平面方向の制約（facet orientation constraint）とに基づいて、第１の画像における画素の反射率の値を指定する第３の反射率関数を取得するステップとを含む。この方法は、複数の第２の画像における画素の反射率の値を指定する複数の第４の反射率関数を生成するため、第２及び第３の反射率関数の間の差に基づいて、複数の第１の反射率関数を変更し、複数の第２のスペクトル帯域に関連すると共に第１の空間分解能を有する複数の第３の画像を規定するイメージデータを計算することを有し、複数の第３の画像は、複数の第４の反射率関数に基づく。
【０００５】
本発明の第２の実施例では、遠隔で取得されたイメージを処理するシステムが提供される。このシステムは、第１のスペクトル帯域に関連する第１の画像と、複数の第２のスペクトル帯域に関連する複数の第２の画像とを規定するイメージデータを受信する記憶要素を含み、第１の画像は、第１の空間分解能を有し、それぞれの第２の画像は、第１の空間分解能より低い第２の空間分解能を有する。このシステムはまた、記憶要素に通信可能に結合された処理要素を有する。このシステムにおいて、処理要素は、複数の第２の画像における画素の反射率の値を指定する複数の第１の反射率関数を取得し、複数の第１の反射率関数に基づいて第１の画像における画素の反射率の値を推定する第２の反射率関数を生成し、第２の反射率関数と、第１の画像のイメージデータと、少なくとも１つの小平面方向の制約とに基づいて、第１の画像における画素の反射率の値を指定する第３の反射率関数を取得するように構成される。処理要素はまた、複数の第２の画像における画素の反射率の値を指定する複数の第４の反射率関数を生成するため、第２及び第３の反射率関数の間の差に基づいて、複数の第１の反射率関数を変更し、複数の第２のスペクトル帯域に関連すると共に第１の空間分解能を有する複数の第３の画像を規定するイメージデータを計算するように構成され、複数の第３の画像は、複数の第４の反射率関数に基づく。
【０００６】
本発明の第３の実施例では、遠隔で取得されたイメージを処理するコンピュータプログラムを記憶したコンピュータ可読媒体が提供される。コンピュータプログラムは、コンピュータにより実行可能な複数のコード部分を含み、コンピュータに対して、第１のスペクトル帯域に関連する第１の画像と、複数の第２のスペクトル帯域に関連する複数の第２の画像とを規定するイメージデータを受信させ、第１の画像は、第１の空間分解能を有し、それぞれの第２の画像は、第１の空間分解能より低い第２の空間分解能を有する。また、複数の第２の画像における画素の反射率の値を指定する複数の第１の反射率関数を取得させ、複数の第１の反射率関数に基づいて第１の画像における画素の反射率の値を推定する第２の反射率関数を生成させ、第２の反射率関数と、第１の画像のイメージデータと、少なくとも１つの小平面方向の制約とに基づいて、第１の画像における画素の反射率の値を指定する第３の反射率関数を取得させ、複数の第２の画像における画素の反射率の値を指定する複数の第４の反射率関数を生成するため、第２及び第３の反射率関数の間の差に基づいて、複数の第１の反射率関数を変更させ、複数の第２のスペクトル帯域に関連すると共に第１の空間分解能を有する複数の第３の画像を規定するイメージデータを計算させ、複数の第３の画像は、複数の第４の反射率関数に基づく。
【図面の簡単な説明】
【０００７】
【図１】一式の命令が本発明の実施例に従って動作するコンピュータシステムの概略図
【図２】融合された画像における改善した色スペクトルを提供するために遠隔で取得されたイメージを処理する例示的な方法のステップのフローチャート
【図３】リモートセンサにより収集された放射輝度の様々な成分を示す概略図
【図４】パンクロ画像とマルチスペクトル画像とを生成するために使用されるセンサのスペクトル反応の例を示すプロット
【図５】スペクトル重みがマルチスペクトル画像のスペクトル分解能を減少させるためのマルチスペクトル画像のダウンスケール処理で使用される様子を示す概略図
【図６】本発明の実施例に従って融合された画像で改善した色スペクトルを提供するために遠隔で取得されたイメージを処理する例示的な方法のステップのフローチャート
【図７】本発明の実施例に従って融合された画像で改善した色スペクトルを提供するために遠隔で取得されたイメージを処理する例示的な方法のステップのフローチャート
【図８】本発明の実施例に従って融合された画像で改善した色スペクトルを提供するために遠隔で取得されたイメージを処理する例示的な方法のステップのフローチャート
【発明を実施するための形態】
【０００８】
本発明の実施例は、遠隔で取得されたイメージを処理するシステム及び方法を提供する。特に、本発明の様々な実施例は、遠隔で取得された画像の対に基づいて融合された画像で色スペクトルを改善するシステム及び方法を提供する。一般的には、既存の融合方法は、取得されたマルチスペクトル（MSI：multi-spectral）画像のスペクトルと取得されたパンクロ画像のスペクトルとの間での重複量の変化の結果として、色の歪みのある融合された画像を生じる。更に、スペクトルの重複におけるこのような変化を補う方法は、一般的に計算集約的であり、画像取得の変化に過度に敏感になり、或いは、典型的には望ましくないアーティファクト（artifact）を生成する。明るさから色を分離し、関連するパンクロ画像の分解能をアップサンプリングし、パンクロ画像に基づいて明るさを調整し、融合されたプロダクトを提供するために変換を逆にすることを試みてMSI画像を変換する複数の方法が存在する。これらの方法の色の歪みは、遠隔で検知されたイメージにとって非現実的な色の変換及び明るさの調整の選択肢の結果である。
【０００９】
これらの制約を克服するために、本発明の実施例は、イメージデータに典型的に関連する放射輝度値（radiance value）から抽出された反射率情報に基づいてリモートイメージデータを融合するシステム及び方法を提供する。特に、本発明の様々な実施例は、新たなイメージ融合技術を提供し、ここでは、描写される表面の反射率が位置に関して表面の方向より比較的遅く変化することが想定される。すなわち、明るさの急激な変化は、小平面方向（facet orientation）による照度の変化に寄与される。従って、描写されている位置の大気及び太陽照明は、通常の画像取得中に一般的に記録されるメタデータに基づいてモデル化可能である。このモデルは、描写される表面の反射率へのMSI放射輝度を大気によって訂正するために使用されてもよい。
【００１０】
本発明の様々な実施例では、モデルの放射輝度の明るさは、表面の小平面がどのくらい太陽の方向に向いているかにより調整される。例えば、法線が太陽を直接示す小平面では、太陽は明るく輝く。従って、他の物体（ビル等）の陰にある表面の小平面は、主にモデルの青空により照らされていることが想定される。従って、MSI画像を大気によって訂正するために、全てのMSI画像を通じて滑らかにした（smoothened）反射率を提供するために、画素毎に有効な小平面方向が選択される。これらの滑らかにした反射率は、パンクロ画像の最大分解能でMSI画像の放射輝度を取得するために、パンクロ画像の各画素の小平面方向を選択することにより調整される。この手法の１つの利点は、パン（Pan）のスペクトル範囲の外側の帯域を正確に先鋭化（sharpening）する能力にある。
【００１１】
ここで使用される“リモート（遠隔）イメージデータ（remote imagery data）”は、画像の対を規定する何らかのデータのセットを示す。すなわち、リモートイメージデータは、画像データと、合成される第１及び少なくとも第２の画像に関連する何らかの種類のメタデータとを含む。画像データは、リモートに配置されたセンサ又は画像処理装置から取得される。例えば、リモートセンサは、限定ではなく一例として、高い位置の閲覧構造、飛行機、宇宙船又は人工衛星で動作するような位置にあってもよい。すなわち、リモートデータは、描写される位置に関して高い何らかの位置（固定位置又は移動位置）から取得される。画像データは、特定の範囲の波長（すなわち、スペクトル帯域）にそれぞれ関連する様々なセンサにより取得された画像の光強度データを含んでもよい。従って、本発明の様々な実施例では、リモートイメージデータは、マルチスペクトル（〜4帯域）、超スペクトル（>100帯域）及び／又はパンクロ（可視帯域）の画像データを含んでもよい。
【００１２】
一般的に、リモートイメージデータは、特定の他の特性を有することが想定される。例えば、異なる画像は、グローバルレジストレーション誤差（global registration error）を低減するために、典型的には相互に非常に短い時間フレーム内で、ほぼ同じ位置から取得される。依然として、本発明は、この基準を必ずしも満たすとは限らない異なる画像に関して、場合によっては劣化した結果で利用され得ることを、当業者は分かる。従って、画像の対は、異なる位置のセンサを使用して取得されてもよいが、複雑又は複数のシフト、スケーリング及び回転処理を含み、より複雑なレジストレーション処理を生じ得る。
【００１３】
以下に記載する例示的な実施例では、画像の対に関連するリモートイメージデータは、パンクロ画像と、MSI画像と、関連するメタデータとを含む。メタデータは、センサ又は描写される位置に関する何らかの更なる情報を含み、レジストレーション処理を容易にするのに適した情報を含んでもよい。限定ではなく一例として、メタデータは、画像取得日及び／又は時間を識別する情報、描写される地理的位置を識別する情報、又はセンサの位置を指定する情報を含む。例えば、描写される地理的位置を識別する情報は、メタデータで提供され得る矩形画像の４つの角の地理的座標を含んでもよい。メタデータはまた、各帯域のデジタル値を放射輝度に変換する放射分析キャリブレーション（radiometric calibration）を含んでもよい。
【００１４】
一般的に、パンクロ及びMSI画像の画素のレジストレーション又は位置合わせは、画像を適切に融合するために必要である。例えば、典型的には、MSI画像の各画素をパンクロ画像の画素にマッピングし、及びその逆を行うマッピング関数が提供される。例えば、MSI画像の画素は、xp=M2P(xm)を使用してパンクロ画像の画素にマッピングされてもよい。同様に、パンクロ画像の画素は、xm=P2M(xp)を使用してMSI画像の画素にマッピングされてもよい。このようなマッピング関数は、以下に説明するように、メタデータ又は他の方法に基づいて生成されてもよい。典型的には、MSI画像は、パンクロ画像に比べて低減した空間分解能を有することを、当業者は容易に認識する。従って、パンクロ画像をMSI画像にマッピングするときに、パンクロ画像の複数の画素は、MSI画像の少なくとも１つの共通の画素にマッピングされる。同様に、MSI画像をパンクロ画像にマッピングするときに、MSI画像の１つの画素は、パンクロ画像の複数の画素にマッピングされる。
【００１５】
様々な例示的な実施例は、主にMSI画像の空間分解能を拡張するためにパンクロ画像を利用することに関してここで説明されるが、これらの実施例は、説明を容易にするためにのみ提供されており、本発明はこの点に限定されない。ここに記載する方法及びシステムは、異なる空間及び／又はスペクトル分解能を有する如何なる種類の画像を有する画像の対にも同様に適用可能である。
【００１６】
本発明の様々な実施例は、特に画像の対のマッピング関数を生成する方法、データ処理システム及びコンピュータプログラムプロダクトとして具現される。従って、本発明は、完全にハードウェアの実施例、完全にソフトウェアの実施例又はこれらの組み合わせとしての形式になってもよい。しかし、本発明はこの点に限定されず、ここに記載しない多くの他の形式に実装されてもよい。
【００１７】
図１は、実行された場合、コンピュータシステム100に対して、ここに記載の１つ以上の方法及び手順を実行させる一式の命令を実行するコンピュータシステム100の実施例の概略図である。或る実施例では、コンピュータシステム100は、スタンドアローン型装置として動作する。他の実施例では、コンピュータシステム100は、（例えば、ネットワークを使用して）他のコンピュータ装置に接続される。ネットワーク接続された配置では、コンピュータシステム100は、サーバ・クライアント開発ネットワーク環境におけるサーバ又はクライアント開発機という立場で、或いはピア・ツー・ピア（又は分散）ネットワーク環境におけるピア・マシンとして動作する。
【００１８】
或る実施例では、コンピュータシステム100は、サーバコンピュータ、クライアントユーザコンピュータ、パーソナルコンピュータ（PC）、タブレットPC、ラップトップコンピュータ、デスクトップコンピュータ、制御システム、ネットワークルータ、スイッチ若しくはブリッジ、又は装置により行われる動作を指定する一式の命令（順次又は他のもの）を実行可能な他の種類の装置を含み、様々な種類のコンピュータシステム及び装置を有してもよい。この開示の装置はまた、音声、ビデオ又はデータ通信を提供する何らかの電子装置を含むことがわかる。更に、単一のコンピュータが示されているが、“コンピュータシステム”という用語は、ここで説明するいずれか１つ以上の方法を実行する一式の命令（又は命令の複数のセット）を個々に又は併せて実行する何らかのコンピュータ装置の集合を含むことが分かる。
【００１９】
コンピュータシステム100は、プロセッサ102（中央処理装置（CPU）、グラフィック処理装置（GPU）又は双方等）と、メインメモリ104と、スタティックメモリ106とを含む。これらは、バス108を介して相互に通信する。コンピュータシステム100は、ディスプレイユニット110（ビデオディスプレイ（例えば、液晶ディスプレイ又はLCD）、フラットパネル、固体ディスプレイ又は陰極線管（CRT）等）を更に含む。コンピュータシステム100はまた、入力装置112（例えば、キーボード）、カーソル制御装置114（例えば、マウス）、ディスクドライブユニット116、信号生成装置118（例えば、スピーカ又はリモコン）、及びネットワークインタフェース装置120を含む。
【００２０】
ディスクドライブユニット116は、ここに記載の方法、手順又は関数の１つ以上を実施するように構成された命令の１つ以上のセット124（例えば、ソフトウェアコード）を格納したコンピュータ可読記憶媒体122を含む。命令124は、コンピュータシステム100による実行中に、メインメモリ104、スタティックメモリ106及び／又はプロセッサ102内に完全に又は少なくとも部分的に存在する。メインメモリ104及びプロセッサ102はまた、機械可読媒体を構成してもよい。
【００２１】
図１に示すコンピュータシステムアーキテクチャは、コンピュータシステムの考えられる一例であることが、当業者に分かる。しかし、本発明はこの点に限定されず、他の適切なコンピュータシステムアーキテクチャも限定せずに使用可能である。
【００２２】
例えば、特定用途向け集積回路、プログラム可能ロジックアレイ及び他のハードウェア装置を非限定的に含む専用ハードウェアの実装も同様に、ここに記載の方法を実装するために構成されてもよい。様々な実施例の装置及びシステムを含み得る用途は、広く様々な電子及びコンピュータシステムを含む。或る実施例は、モジュール間で及びモジュールを通じて通信される関連の制御及びデータ信号で２つ以上の特に相互接続されたハードウェアモジュール又は装置に機能を実装する、或いは特定用途向け集積回路として実装する。従って、例示的なシステムは、ソフトウェア、ファームウェア及びハードウェアの実装に適用可能である。
【００２３】
本発明の様々な実施例によれば、以下に記載の方法は、コンピュータ可読記憶媒体にソフトウェアプログラムとして格納されてもよく、コンピュータプロセッサで動作するように構成されてもよい。更に、ソフトウェアの実装は、ここに記載の方法を実施するように構成され得る分散処理、コンポーネント／オブジェクト分散型処理、並列処理、仮想機械処理を含んでもよく、これらに限定されない。
【００２４】
従って、本発明の或る実施例では、本発明は、命令124を含むコンピュータ可読記憶媒体として、或いはネットワーク環境126に接続された装置が音声及び／又はビデオデータを送信又は受信し、命令124を使用してネットワーク126で通信するように、伝搬信号から命令124を受信して実行するコンピュータ可読記憶媒体として具現される。命令124は、ネットワークインタフェース装置120を介してネットワーク126で更に送信又は受信される。
【００２５】
例示的な実施例では、コンピュータ可読記憶媒体122は単一の記憶媒体であるように示されているが、“コンピュータ可読記憶媒体”という用語は、命令の１つ以上のセットを格納する単一の媒体又は複数の媒体（例えば、集中型若しくは分散型データベース、及び／又は関連するキャッシュ及びサーバ）を含むものとして受け取られるべきである。“コンピュータ可読記憶媒体”という用語はまた、機械により実行される一式の命令を格納、符号化又は伝達可能であり、機械に対してこの開示のいずれか１つ以上の方法を実行させる何らかの媒体を含むものとして受け取られるべきである。
【００２６】
従って、“コンピュータ可読媒体”という用語は、１つ以上の読み取り専用（不揮発性）メモリ、ランダムアクセスメモリ若しくは他の書き込み可能（揮発性）メモリを収容するメモリカード若しくは他のパッケージ、ディスク若しくはテープのような光磁気若しくは光媒体、及び伝送媒体にコンピュータ命令を具現する信号のような搬送波信号、及び／又は、電子メールへのデジタルファイル添付若しくは有形の記憶媒体に等価な配布媒体であると考えられる他の自己完結型の情報アーカイブ若しくは一式のアーカイブを含むが、これらに限定されないものとして受け取られるべきである。従って、この開示は、ここに記載のコンピュータ可読媒体又は配布媒体のいずれか１つ以上を含み、ここでのソフトウェアの実装が格納される認識される等価なもの及び次の媒体を含むものとして考えられる。
【００２７】
この明細書は、特定の標準及びプロトコルを参照した実施例で実装される構成要素及び機能を説明するが、この開示は、このような標準及びプロトコルに限定されない。インターネット及び他のパケット交換ネットワーク伝送の各標準（例えば、TCP/IP、UDP/IP、HTML及びHTTP）は、当該技術の状態の例を表す。このような標準は、基本的に同じ機能を有する高速又は高効率の等価なものにより定期的に取って代わられる。従って、同じ機能を有する置換の標準及びプロトコルも等価なものと考えられる。
【００２８】
図２に関して、本発明について詳細に説明する。図２は、本発明の実施例に従って融合された画像で改善した色スペクトルを提供するために遠隔で取得されたイメージを処理する例示的な方法200のステップを示している。しかし、図２に開示の例示的な処理は、説明の目的のみで提供されており、本発明はこの点に限定されないことが分かる。
【００２９】
図２に示すように、方法200は、ステップ202で始まり、ステップ204に続いてもよい。ステップ204において、描写される地理的位置のイメージデータ及びメタデータを有する画像の対が受信される。例示的な方法200において、画像の対は、パンクロ形式の第１の画像と、MSI形式の画像を規定する様々なMSIスペクトル帯域に関連する第２の画像の集合とを規定する。ステップ204において画像の対が取得されると、ステップ206において、画像の対において画素をレジストレーション（すなわち、位置合わせ）するためのマッピング関数が生成される。一般的に、ステップ206は、パンクロ画像の各点をMSI画像の座標のどこにマッピングするかを決定することに基づく数学関数を生成することを含む。マッピング関数を生成するための複数の通常の方法が存在する。典型的には、１つの画像の複数の点を選択し、他の画像のどこにマッピングするかを見つけ、変換の係数を最適化することを含む。通常では、これは、１つの画像からの点を他の画像にマッピングする二乗誤差を最小化する一式の係数を取得することを可能にする最小二乗誤差の解である。融合処理における最善の結果のため、パンクロ画像は、0.1パンクロ画素により規定された大きさより小さい誤差距離により規定された精度で、マルチスペクトル画像にマッピングされることが好ましい。ステップ206において生成されたマッピング関数は、１つの画像の座標から他の画像の座標への点のマッピングを決定する。このマッピング関数は、形式x1=ax2+by2+x0の線形変換のように簡単でもよく、センサと描写される表面との双方の幾何学的配置をモデル化する複雑な変換でもよい。マッピング関数は、メタデータとしてイメージデータ内に含まれる座標に基づいてもよい。例えば、メタデータは、取得された画像の対の４つの角の緯度及び経度座標を含んでもよく、初期のマッピング関数は、これらの座標に基づいてもよい。本発明の或る実施例では、メタデータは、描写される表面の緯度、経度及び高度を行／列画像座標に変換する有理多項式係数（RPC：rational polynomial coefficient）を含んでもよい。これらのセンサモデルはまた、画像間の正確なマッピングを生成するために使用されてもよい。
【００３０】
ステップ206において初期のマッピング関数が生成された後に、MSI帯域毎に初期の一式の反射率関数が生成されてもよい。すなわち、センサ毎に、画素の放射輝度の値に基づいてMSI帯域の画像の各画素の反射率の値を提供する関数が生成されてもよい。典型的には、センサにより収集された合計の放射輝度は、大気反射成分と表面反射成分との合計により表現又はモデル化される。これが、図３に概略的に示されている。
【００３１】
図３に示すように、太陽又は他の光源は、描写される表面302に向けられた合計量の放射輝度LTotal_Solを提供する。この合計の放射輝度の一部は、大気304により上方向に反射され、上昇経路の放射輝度を記述する放射輝度LPathを生じる。この合計の放射輝度の第２の部分は、表面302に向かって下方向に大気304により反射及び／又は拡散され、“青空（blue-sky）”の放射輝度を記述する放射輝度LSkyを生じる。この合計の放射輝度の第３の部分は、表面302に到達し、表面302の太陽直射放射輝度を記述する放射輝度LSolを生じる。従って、センサ306は、センサ306に到達する上昇経路の放射輝度量LPathと、太陽直射放射輝度量LSolと、表面302により反射されてセンサ306に到達する青空の放射輝度LSkyとに基づいて、合計の放射輝度LTotalを最終的に検出する。数学的には、画素についてセンサにより収集されるこの合計の放射輝度は、以下のように式(1)で記述されてもよい。
【００３２】
【数１】
ただし、
Ppath(λ)はセンサにより収集された経路の放射輝度である。
p(λ)は光の特定の波長の表面反射率である。
LSolar(λ)は表面反射された太陽直射放射輝度である。
LSky(λ)は表面反射された青空の放射輝度である。
cos(A)は太陽単位ベクトルとの表面の法線の内積である。
【００３３】
式(1)は、以下の式(2)のようにMSI画像の放射輝度に基づいて、光の各波長の画素の反射率を数学的に記述するように再構成されてもよい。
【００３４】
【数２】
図２に戻ると、式(2)は、MSI画像の一式の反射率関数を決定するために利用されてもよい。しかし、結果の反射率関数は、典型的には複雑である。すなわち、異なる物体又は素材の表面で反射率は一定であるが、表面の境界領域での反射率は、典型的には不連続であり、反射率を正確に表すために必要な複雑な関数を生じる。従って、本発明の様々な実施例では、反射率関数の複雑性を低減するために、これらの不連続性が除去された近似反射率関数が代わりに生成されてもよい。これは、これらの境界領域での反射率関数の不連続性を減衰させるように小平面方向を調整することにより実現されてもよい。このため、式(2)は、以下の式(3)のように、MSI画像の放射輝度に基づいて画素の小平面方向を数学的に記述するように再構成されてもよい。
【００３５】
【数３】
しかし、典型的なMSI画像がそれぞれ2000×2000画素の3〜4の画像から構成されることを考慮すると、MSI分解能での小平面方向のこのような調整の実行は、計算集約的になる可能性がある。従って、本発明の様々な実施例では、調整される必要のある小平面方向の数を低減することにより、高い計算効率で空間的に最も滑らかな反射率を提供するために、多分解能（multi-resolution）の手法が使用される。従って、ステップ208において、MSI放射輝度はダウンサンプリングされ、小平面方向の初期のセットが取得される。ダウンサンプリングは、様々な方法を使用して実現されてもよい。例えば、MSI画像の分解能を〜10画素の幅の画像に低減するために、2xピラミッド（2x pyramid）関数が使用されてもよい。しかし、本発明の様々な実施例では、他の下位分解能が使用されてもよい。従って、ダウンサンプリングして画素の数を低減することにより、平坦な地表の小平面方向に基づく初期の反射率が、全体の画像を通じて滑らかな反射率に迅速に最適化され得る。前述の10画素×10画素の例では、約10回の反復で、滑らかにした反射率が取得されてもよい。下位分解能では、MSI画像のそれぞれの反射率はぼやかされ、小平面方向は、反射率の現在の推定値に基づいてMSI放射輝度から推定される。本発明の様々な実施例では、小平面方向は、有効範囲(0,1)に制限され、各帯域の反射率は、更新された小平面方向に基づいてMSI放射輝度から推定される。初期の小平面方向の生成の詳細は、図６に関して以下に詳細に説明する。
【００３６】
ここで使用される“アップサンプリング（up-sampling）”は、低分解能から高分解能への画像の分解能の調整を示す。同様に、“ダウンサンプリング（down-sampling）”は、高分解能から低分解能への画像の分解能の調整を示す。本発明の様々な実施例では、画像の分解能を調整するいずれかの方法が使用され得るが、画像の分解能の一定のスケーリングを提供するために、単一の方法が利用されてもよい。
【００３７】
ステップ208において初期の小平面方向が取得されると、ステップ210において、MSI分解能のMSIスペクトル帯域毎に、反射率関数が生成される。すなわち、ステップ208で取得された初期の小平面方向は、MSI帯域毎の反射率関数を導くために使用される。更に、ステップ210において、MSI反射率関数のいずれかの残りの不連続性も除去される。特に、図７について以下に説明するように、平滑化（smoothing）が実行されてもよい。通常では、このような不連続性の除去は、MSI分解能では計算集約的であるが、ステップ208で生成された初期の小平面方向は、相当の不連続性を減衰させるように既に調整されている。従って、ステップ210における残りの不連続性の数は低く、反射率関数及び小平面方向に必要な改善の量を低減する。
【００３８】
ステップ210においてMSI分解能での滑らかにした反射率関数が取得されると、ステップ212において、滑らかにした反射率関数は、パンクロ画像データに基づいて更なる改善を始めるために、少なくとも１つの超解像（super-resolution）にアップサンプリングされてもよい。すなわち、反射率関数は、MSI分解能の上の分解能にアップサンプリングされる。超解像は、パンクロ分解能でもよいが、パンクロ画像で反射率関数の改善を実行するための試みは、計算集約的になる。この理由は、典型的なパンクロ画像は、〜8000×8000画素を含み得るからである。従って、計算上の要件を低減するために、滑らかにしたMSI反射率関数が、画素数を制限することにより改善が繰り返し実行可能であるように、代わりにMSI分解能とパンクロ分解能との間の中間分解能までアップサンプリングされてもよい。
【００３９】
ステップ212においてMSI反射率関数が超解像にアップサンプリングされた後に、ステップ214において、パンクロ画像の近似反射率関数が生成されてもよい。本発明の様々な実施例では、近似反射率関数は、近似のパンクロ画像がMSI画像から生成されたのと同様に生成されてもよい。MSI画像の場合、近似のパンクロ放射輝度の値は、パンクロ画像の画素の反射率の値に正確に対応するようにキャリブレーションされたMSI放射輝度の値の組み合わせから生成される。本発明の様々な実施例では、放射輝度の値及び反射率関数のスペクトル重みは同じである。これは、式(2)に示すように反射率と放射輝度とは比例するからである。
【００４０】
スペクトル重みを決定するために、特定の地理の完全なマルチスペクトル画像は、典型的には複数の光又はスペクトル画像帯域から構成されることを、当業者は認識する。これらの帯域のそれぞれにおいて、センサは、非常に限られた範囲の光波長に反応する。この概念は図４に示されており、図４は、光波長の４つの異なる帯域へのセンサの反応を表す曲線401、402、403、404を示している。センサは、基本的には、反応曲線401、402、403、404により表される光帯域毎に１つの画像を生成する。この例では、単一のマルチスペクトル画像は、これらの４つのスペクトル帯域を使用してセンサにより取得された画像から構成される。異なるセンサシステムは、より多く又はより少ない光帯域を有してもよいことを、当業者は認識する。これに対して、パンクロ画像は、かなり広い範囲の光波長に反応するセンサにより取得された単一の画像である。図４では、パンクロセンサの反応が曲線400により示されている。
【００４１】
図４において、様々なマルチスペクトル帯域のセンサの反応曲線401、402、403、404は、同じ波長のパンクロセンサの反応曲線400と比較して非常に異なる可能性があることがわかる。様々な光波長に対するセンサの反応のこれらの差は、パンクロ画像に比較したときのマルチスペクトル画像の各画素に関連する放射輝度の値の間のスケーリング差を生じる。従って、マルチスペクトルセンサにより測定された各画素の放射輝度の値をスケーリングし、パンクロセンサから生じた放射輝度の値のスケーリングに対応するために、キャリブレーション関数が必要になる。例えば、〜500nmでの曲線400及び401により表されるスペクトル反応を検討する。曲線401は、約1.0のスペクトル反応を有するが、パンクロセンサのスペクトル反応は、約0.35の範囲での平均スペクトル反応を示す。曲線401により規定される波長の範囲での曲線402の反応の動きを無視すると、このような放射輝度の値が、曲線400により示される反応を有するセンサにより測定された値に適切にキャリブレーションされるためには、反応曲線401の特性を有するセンサを使用したマルチスペクトル画像の画素の放射輝度の値は、約0.35の重みの値だけスケーリングされる必要がある。一般的に、適切なスペクトルのキャリブレーションは、図４の各スペクトル帯域に関連する画素の放射輝度の値が、曲線400により規定される反応を有するセンサを使用して取得された放射輝度の値に適切にスケーリングされる合計の放射輝度の値を取得するために一緒に追加される必要があることを必要とする。従って、スペクトル重みは、超解像のパンクロ画像の反射率関数を近似するために、放射輝度の値に適用されてもよい。この処理は、図５に概略的に示されている。しかし、前述のように、スペクトル重みはまた、パンクロ反射率関数を導くために反射率関数に適用されてもよい。従って、本発明の様々な実施例では、パンクロ反射率関数の図５の処理は、以下の式(4)のように表されてもよい。
【００４２】
【数４】
ただし、
ρApprox_Pan(i,j)は各画素の近似のパンクロ反射率の値である。
Wλはスペクトル帯域λ毎のスペクトル重みである。
ρλ(i,j)はマルチスペクトル画像を有するスペクトル帯域毎の各画素の放射輝度の値である。
【００４３】
これらのスペクトル重みを使用して、ステップ214において、近似のパンクロ反射率関数が生成される。更に、ステップ214において、パンクロ画像のダウンサンプリングされた放射輝度の値と、近似のパンクロ反射率関数とに基づいて、パンクロ小平面方向もまた、例えば式(3)に基づいて決定されてもよい。ステップ214において近似のパンクロ反射率と小平面方向とが取得されると、パンクロの小平面方向は、実数値に制約され、ステップ216において、パンクロの反射率関数が再計算される。この再計算の詳細は、図７を参照して以下に説明する。ステップ216において再計算された反射率関数が取得されると、ステップ218において、MSI反射率関数を調整するために、近似の反射率関数と再計算された反射率関数との間の差が使用されてもよい。この調整の詳細は、図８を参照して以下に説明する。
【００４４】
ステップ218において超解像でのMSI反射率関数が調整されると、方法200は、更なる改善が必要であるか否かを調べるために検査してもよい。すなわち、ステップ220において超解像がパンクロ分解能でない場合、より高い分解能での反射率の値の更なる改善が必要になる。従って、ステップ222において、次の高い超解像が選択されてもよく、次の超解像についてステップ218〜220が繰り返されてもよい。ステップ220において超解像がパンクロ分解能である場合、MSI反射率関数の更なる改善は必要なく、ステップ224において、融合された画像が、パンクロ分解能にアップサンプリングされた反射率関数に基づいて生成されてもよい。方法200はステップ226で終了し、前の処理を再開してもよい。
【００４５】
図６は、本発明の実施例に従ってMSI帯域の初期の小平面方向を生成する例示的な方法600のフローチャートを示している。このような方法は、例えば、図２のステップ208の間に実行されてもよい。方法600はステップ602で始まり、ステップ604に続いてもよい。ステップ604において、第１の下位分解能（sub-resolution）が選択されてもよい。すなわち、MSI画像の空間分解能より低い空間分解能が選択される。前述のように、ダウンサンプリング処理を介して画素の数が低減された場合、計算上の要件は低減される。後にステップ606において、選択された下位分解能で初期の小平面方向が取得されてもよい。すなわち、MSI画像の画素毎の小平面方向の値の初期の推定値である。これらの初期の推定値は、画像の対のメタデータを使用して生成されてもよく、描写される位置の一般的照明条件に基づいてもよい。次に又はステップ606と同時に、ステップ608において、MSI帯域毎のMSI画像の放射輝度の値は、選択された下位分解能にダウンサンプリングされてもよい。ダウンサンプリングされた放射輝度の値及び小平面方向の値の初期の推定値は、ステップ610において、下位分解能でのMSI帯域毎の初期の反射率関数を計算するために使用される。初期の反射率関数は、例えば、式(2)又は大気モデリングシステムを使用して計算されてもよい。
【００４６】
一般的に、小平面方向が領域で一定であっても、物体の反射率はその領域で絶えず変化するとは限らない。すなわち、真の反射率関数は、異なる物体の間の境界で不連続性を生じる。不都合なことに、このような関数は、計算上の複雑性を増加させる。従って、計算を簡単にするために、本発明の様々な実施例の反射率関数は、絶えず変化するように要求されてもよい。従って、ステップ612において、ステップ610において取得された反射率関数は、小平面方向を調整することにより、このような不連続性を除去するように平滑化されてもよい。すなわち、反射率関数に適用される平滑化関数の調整パラメータとして、小平面方向が使用される。本発明の様々な実施例では、如何なる種類の平滑化関数又はぼやけ演算子が利用されてもよい。しかし、簡単なボックス平均のような比較的簡単なぼやけ演算子は良好な結果を生成するが、加速した収束及び高い分解能は、異方性平滑化演算子（anisotropic smoothing operator）を使用することにより実現されてもよい。例えば、ぼやけ演算子の周辺画素の相対寄与は、パンクロ画像の放射輝度の値の類似性に従って重み付けられてもよい。
【００４７】
ステップ612において選択された下位分解能での反射率関数が下位分解能で平滑化された後に、方法600は、小平面方向の更なる改善が必要であるか否かを決定してもよい。特に、選択された下位分解能がMSI画像のものである場合、小平面方向の更なる改善は必要ない。従って、ステップ614において下位分解能がMSI分解能である場合、この方法はステップ616で終了し、前の処理を再開してもよい。すなわち、例えば図２のステップ210においてMSI反射率関数を決定するために、調整された小平面方向が使用されてもよい。しかし、選択された下位分解能がMSI分解能でない場合、ステップ618において、次の高い下位分解能が選択されてもよい。ステップ612で調整された小平面方向は、次の高い下位分解能にアップサンプリングされ、小平面方向がMSI分解能に改善されるまでステップ608〜614が繰り返されてもよい。或いは、本発明の或る実施例では、MSI分解能への最終的なアップスケーリングを必要としても、小平面方向は、MSI分解能以外の下位分解能に到達するまで改善されてもよい。
【００４８】
図７は、本発明の実施例に従って制約された小平面方向に基づいてパンクロ反射率関数を再計算する例示的な方法700のフローチャートを示している。例えば、方法700は、図２のステップ216の間に実行されてもよい。方法700はステップ702で始まり、ステップ704に続いてもよい。ステップ704において、パンクロ小平面方向の値は、近似のパンクロ反射率関数とパンクロ放射輝度の値とに基づいて計算される。例えば、ステップ704は、式(3)を使用して実行されてもよい。その後、全てのパンクロ小平面方向の値が0から1の範囲内にある場合、方法700はステップ708で終了し、前の処理を再開してもよい。しかし、ステップ706において少なくとも１つのパンクロ小平面方向の値が0と1との範囲外にあることが検出された場合、方法700は代わりにステップ710に続く。
【００４９】
ステップ710において、制約されたパンクロ小平面方向が生成されてもよい。すなわち、パンクロ小平面方向は、0未満の小平面方向の値に関連する画素について0の値に制約され、1より大きい小平面方向の値に関連する画素について1の値に制約される。0から1の範囲内の他の値は乱されないままになる。次にステップ712において、ステップ710における制約された小平面方向と、パンクロ画像からの放射輝度の値とに基づいて、再計算されたパンクロ反射率関数が生成される。方法700はステップ708で終了し、前の処理を続けてもよい。
【００５０】
図８は、本発明の実施例に従って超解像で取得された近似及び再計算されたパンクロ反射率関数に基づいて、MSI分解能でのMSI反射率関数を調整する例示的な方法800のフローチャートを示している。方法800は、例えば図２のステップ218の間に実行されてもよい。方法800は、ステップ802で始まり、ステップ804に続いてもよい。ステップ804において、反射率比関数は、再計算されたパンクロ反射率関数と近似の反射率関数との比から生成されてもよい。従って、反射率比関数は、超解像での各画素に関連する反射率の比を提供する。この反射率比関数は、対応する小平面方向の値が適切な範囲（0〜1）内になるように、MSI反射率に必要な調整量を記述するスケーリングファクタ（係数）を効果的に提供する。しかし、スケーリングファクタは、MSI分解能ではなく、超解像で提供され、MSI画像の値を調整するために、通常ではスケーリングファクタのダウンサンプリングが必要となる。これらのセンサは、画素毎に限られた立体角でまとめられた放射輝度としてイメージを収集する。従って、超解像での反射率の値は、MSI画像の画素の立体角での小平面方向の変化から生じる非定常の照度のため、典型的にはかなりの歪みなしにはダウンサンプリングできない。画像は、センサの物理モデルに準拠するような放射輝度の値としてダウンサンプリングされるべきである。従って、本発明の様々な実施例では、MSI反射率関数の調整は、超解像での反射率のスケーリングファクタに基づいてMSI分解能での放射輝度のスケーリングファクタを決定することにより実行される。
【００５１】
従って、MSI反射率関数は、まずステップ806において反射率比関数によりスケーリングされ、超解像でのスケーリングされた反射率の値を提供してもよい。ステップ808において、スケーリングされた反射率関数は、超解像でのMSI放射輝度の値を生成するために使用されてもよい。MSI放射輝度の値は、超解像でのパンクロ画像から導かれた小平面方向の値を使用して生成されてもよい。前述のように、MSI放射輝度の値は、ダウンサンプリングされ得る適切な一式の値を提供する。従って、ステップ810において、超解像でのMSI放射輝度の値は、MSI分解能にダウンサンプリングされる。その後、ステップ812において、放射輝度比関数が生成される。ステップ812の放射輝度比は、ステップ808において生成されてステップ810でダウンサンプリングされたMSI放射輝度の値と、MSI画像のMSI放射輝度の値との比に基づく。ステップ812において放射輝度比関数が取得されると、ステップ814において、放射輝度比関数は、超解像にアップサンプリングされ、超解像での融合された放射輝度画像に適用される。この方法はステップ816で終了し、更なる改善のため、訂正後の融合された放射輝度又は訂正後のMSI反射率関数の更なるアップスケーリングを使用して反射率画像を生成するように、前の処理を再開してもよい。
【００５２】
ここに記載する実施例の例は、様々な実施例の構成の一般的な理解を提供することを目的としており、ここに記載の構成を利用し得る装置及びシステムの全ての要素及び特徴の完全な記述としての役目をすることを意図しない。多くの他の実施例は、前述の説明を検討することにより、当業者に明らかになる。この開示の範囲を逸脱することなく、構造的及び論理的置換及び変更が行われるように、他の実施例も利用及び導出されてもよい。図面もまた、単に代表例であり、縮尺通りには記載されていない。特定の部分は誇張されることがあり、他の部分は最小化されることがある。従って、明細書及び図面は、限定的な意味ではなく、例示的として見なされるべきである。
【特許請求の範囲】
【請求項１】
遠隔で取得されたイメージを処理する方法であって、
第１のスペクトル帯域に関連する第１の画像と、複数の第２のスペクトル帯域に関連する複数の第２の画像とを規定するイメージデータを受信するステップであり、前記第１の画像は、第１の空間分解能を有し、それぞれの前記第２の画像は、前記第１の空間分解能より低い第２の空間分解能を有するステップと、
前記複数の第２の画像のそれぞれにおける画素の反射率の値を指定する複数の第１の反射率関数を取得するステップと、
前記複数の第１の反射率関数に基づいて前記第１の画像における画素の反射率の値を推定する第２の反射率関数を生成するステップと、
前記第２の反射率関数と、前記第１の画像の前記イメージデータと、少なくとも１つの小平面方向の制約とに基づいて、前記第１の画像における画素の反射率の値を指定する第３の反射率関数を取得するステップと、
前記複数の第２の画像における画素の反射率の値を指定する複数の第４の反射率関数を生成するため、前記第２及び前記第３の反射率関数の間の差に基づいて、前記複数の第１の反射率関数を変更するステップと、
前記複数の第２のスペクトル帯域に関連すると共に前記第１の空間分解能を有する複数の第３の画像を規定するイメージデータを計算するステップであり、前記複数の第３の画像は、前記複数の第４の反射率関数に基づくステップと
を有する方法。
【請求項２】
前記複数の第１の反射率関数を取得するステップは、
前記複数の第２の画像の前記イメージデータを、前記第２の空間分解能より低い第３の空間分解能にダウンサンプリングするステップと、
前記第３の空間分解能での前記複数の第２の画像における前記画素の小平面方向の値を指定する１つ以上の小平面方向を受信するステップと、
前記第３の空間分解能での前記複数の第２の画像における前記画素の前記反射率の値を指定する複数の初期の反射率関数を生成するステップであり、前記複数の初期の反射率関数は、前記小平面方向と、前記第３の空間分解能での前記第２の画像の前記イメージデータとに基づくステップと、
前記第３の空間分解能での前記複数第２の画像のそれぞれにおける前記画素の前記反射率を指定する複数の更新された反射率関数を生成するように、前記複数の初期の反射率関数を平滑化するステップと、
前記複数の第１の反射率関数として前記複数の更新された反射率関数を提供するステップと
を有する、請求項１に記載の方法。
【請求項３】
前記平滑化するステップは、
前記複数の更新された反射率関数と前記第３の空間分解能での前記第２の画像の前記イメージデータとに基づいて前記小平面方向を更新するステップを更に有し、
前記複数の第１の反射率関数を取得するステップは、
前記複数の更新された反射率関数を提供する前に、前記複数の第２の画像の前記イメージデータを、前記第２の空間分解能より低く前記第３の空間分解能より大きい第４の空間分解能にダウンサンプリングするステップと、
前記小平面方向を前記第４の空間分解能に適合するステップと、
前記生成するステップと前記平滑化するステップとを繰り返すステップと
を更に有する、請求項２に記載の方法。
【請求項４】
前記第２の反射率関数を生成するステップは、
前記複数の第１の反射率関数を、前記第２の空間分解能より大きい第３の空間分解能に適合するステップと、
前記複数の第２のスペクトル帯域の１つにそれぞれ関連する複数のスペクトル重みを決定するステップと、
前記第３の空間分解能での前記複数の第１の反射率関数の組み合わせを計算し、前記第２の反射率関数を生成するステップであり、前記複数の第１の反射率関数のそれぞれは、前記組み合わせにおいて前記複数のスペクトル重みの関連するものによりスケーリングされるステップと
を更に有する、請求項１に記載の方法。
【請求項５】
前記第３の反射率関数を取得するステップは、
前記第１の画像の前記イメージデータを前記第３の空間分解能にダウンサンプリングするステップと、
前記第３の空間分解能での前記第１の画像の前記イメージデータと前記第２の反射率関数とに基づいて、前記第３の空間分解能での前記第１の画像における前記画素の小平面方向の値を指定する小平面方向を生成するステップと、
前記小平面方向の制約を満たすように前記小平面方向における前記小平面方向の値を構成するステップと、
前記第３の空間分解能での前記第１の画像の前記イメージデータと前記小平面方向とに基づいて前記第３の反射率関数を計算するステップと
を更に有する、請求項４に記載の方法。
【請求項６】
前記計算するステップの前に、前記複数の第１の反射率関数として前記複数の第４の反射率関数を選択するステップと、
前記生成するステップ、前記取得するステップ及び前記変更するステップを繰り返すステップと
を更に有する、請求項１に記載の方法。
【請求項７】
遠隔で取得されたイメージを処理するシステムであって、
第１のスペクトル帯域に関連する第１の画像と、複数の第２のスペクトル帯域に関連する複数の第２の画像とを規定するイメージデータを受信する記憶要素であり、前記第１の画像は、第１の空間分解能を有し、それぞれの前記第２の画像は、前記第１の空間分解能より低い第２の空間分解能を有する記憶要素と、
前記記憶要素に通信可能に結合された処理要素と
を有し、
前記処理要素は、
前記複数の第２の画像における画素の反射率の値を指定する複数の第１の反射率関数を取得し、
前記複数の第１の反射率関数に基づいて前記第１の画像における画素の反射率の値を推定する第２の反射率関数を生成し、
前記第２の反射率関数と、前記第１の画像の前記イメージデータと、少なくとも１つの小平面方向の制約とに基づいて、前記第１の画像における画素の反射率の値を指定する第３の反射率関数を取得し、
前記複数の第２の画像における画素の反射率の値を指定する複数の第４の反射率関数を生成するため、前記第２及び前記第３の反射率関数の間の差に基づいて、前記複数の第１の反射率関数を変更し、
前記複数の第２のスペクトル帯域に関連すると共に前記第１の空間分解能を有する複数の第３の画像を規定するイメージデータを計算し、前記複数の第３の画像は、前記複数の第４の反射率関数に基づくように構成されるシステム。
【請求項８】
前記処理要素は、前記複数の第１の反射率関数を取得する間に、
前記複数の第２の画像の前記イメージデータを、前記第２の空間分解能より低い第３の空間分解能にダウンサンプリングし、
前記第３の空間分解能での前記複数の第２の画像における前記画素の小平面方向の値を指定する１つ以上の小平面方向を受信し、
前記第３の空間分解能での前記複数の第２の画像における前記画素の前記反射率の値を指定する複数の初期の反射率関数を生成し、前記複数の初期の反射率関数は、前記小平面方向と、前記第３の空間分解能での前記第２の画像の前記イメージデータとに基づき、
前記第３の空間分解能での前記複数第２の画像のそれぞれにおける前記画素の前記反射率を指定する複数の更新された反射率関数を生成するように、前記複数の初期の反射率関数を平滑化し、
前記複数の第１の反射率関数として前記複数の更新された反射率関数を提供するように更に構成される、請求項７に記載のシステム。
【請求項９】
前記平滑化することは、
前記複数の更新された反射率関数と前記第３の空間分解能での前記第２の画像の前記イメージデータとに基づいて前記小平面方向を更新することを更に有し、
前記複数の第１の反射率関数を取得することは、
前記複数の更新された反射率関数を提供する前に、前記複数の第２の画像の前記イメージデータを、前記第２の空間分解能より低く前記第３の空間分解能より大きい第４の空間分解能にダウンサンプリングし、
前記小平面方向を前記第４の空間分解能に適合し、
前記生成することと前記平滑化することとを繰り返すこと
を更に有する、請求項８に記載のシステム。
【請求項１０】
前記処理要素は、前記第２の反射率関数を生成する間に、
前記複数の第１の反射率関数を、前記第２の空間分解能より大きい第３の空間分解能に適合し、
前記複数の第２のスペクトル帯域の１つにそれぞれ関連する複数のスペクトル重みを決定し、
前記第３の空間分解能での前記複数の第１の反射率関数の組み合わせを計算し、前記第２の反射率関数を生成し、前記複数の第１の反射率関数のそれぞれは、前記組み合わせにおいて前記複数のスペクトル重みの関連するものによりスケーリングされるように更に構成される、請求項７に記載のシステム。
【請求項１１】
前記処理要素は、前記第３の反射率関数を取得する間に、
前記第１の画像の前記イメージデータを前記第３の空間分解能にダウンサンプリングし、
前記第３の空間分解能での前記第１の画像の前記イメージデータと前記第２の反射率関数とに基づいて、前記第３の空間分解能での前記第１の画像における前記画素の小平面方向の値を指定する小平面方向を生成し、
前記小平面方向の制約を満たすように前記小平面方向における前記小平面方向の値を構成し、
前記第３の空間分解能での前記第１の画像の前記イメージデータと前記小平面方向とに基づいて前記第３の反射率関数を計算するように更に構成される、請求項１０に記載のシステム。
【請求項１２】
前記処理要素は、
前記計算の前に、前記複数の第１の反射率関数として前記複数の第４の反射率関数を選択し、
前記生成すること、前記取得すること及び前記変更することを繰り返すように更に構成される、請求項７に記載のシステム。
【請求項１】
遠隔で取得されたイメージを処理する方法であって、
第１のスペクトル帯域に関連する第１の画像と、複数の第２のスペクトル帯域に関連する複数の第２の画像とを規定するイメージデータを受信するステップであり、前記第１の画像は、第１の空間分解能を有し、それぞれの前記第２の画像は、前記第１の空間分解能より低い第２の空間分解能を有するステップと、
前記複数の第２の画像のそれぞれにおける画素の反射率の値を指定する複数の第１の反射率関数を取得するステップと、
前記複数の第１の反射率関数に基づいて前記第１の画像における画素の反射率の値を推定する第２の反射率関数を生成するステップと、
前記第２の反射率関数と、前記第１の画像の前記イメージデータと、少なくとも１つの小平面方向の制約とに基づいて、前記第１の画像における画素の反射率の値を指定する第３の反射率関数を取得するステップと、
前記複数の第２の画像における画素の反射率の値を指定する複数の第４の反射率関数を生成するため、前記第２及び前記第３の反射率関数の間の差に基づいて、前記複数の第１の反射率関数を変更するステップと、
前記複数の第２のスペクトル帯域に関連すると共に前記第１の空間分解能を有する複数の第３の画像を規定するイメージデータを計算するステップであり、前記複数の第３の画像は、前記複数の第４の反射率関数に基づくステップと
を有する方法。
【請求項２】
前記複数の第１の反射率関数を取得するステップは、
前記複数の第２の画像の前記イメージデータを、前記第２の空間分解能より低い第３の空間分解能にダウンサンプリングするステップと、
前記第３の空間分解能での前記複数の第２の画像における前記画素の小平面方向の値を指定する１つ以上の小平面方向を受信するステップと、
前記第３の空間分解能での前記複数の第２の画像における前記画素の前記反射率の値を指定する複数の初期の反射率関数を生成するステップであり、前記複数の初期の反射率関数は、前記小平面方向と、前記第３の空間分解能での前記第２の画像の前記イメージデータとに基づくステップと、
前記第３の空間分解能での前記複数第２の画像のそれぞれにおける前記画素の前記反射率を指定する複数の更新された反射率関数を生成するように、前記複数の初期の反射率関数を平滑化するステップと、
前記複数の第１の反射率関数として前記複数の更新された反射率関数を提供するステップと
を有する、請求項１に記載の方法。
【請求項３】
前記平滑化するステップは、
前記複数の更新された反射率関数と前記第３の空間分解能での前記第２の画像の前記イメージデータとに基づいて前記小平面方向を更新するステップを更に有し、
前記複数の第１の反射率関数を取得するステップは、
前記複数の更新された反射率関数を提供する前に、前記複数の第２の画像の前記イメージデータを、前記第２の空間分解能より低く前記第３の空間分解能より大きい第４の空間分解能にダウンサンプリングするステップと、
前記小平面方向を前記第４の空間分解能に適合するステップと、
前記生成するステップと前記平滑化するステップとを繰り返すステップと
を更に有する、請求項２に記載の方法。
【請求項４】
前記第２の反射率関数を生成するステップは、
前記複数の第１の反射率関数を、前記第２の空間分解能より大きい第３の空間分解能に適合するステップと、
前記複数の第２のスペクトル帯域の１つにそれぞれ関連する複数のスペクトル重みを決定するステップと、
前記第３の空間分解能での前記複数の第１の反射率関数の組み合わせを計算し、前記第２の反射率関数を生成するステップであり、前記複数の第１の反射率関数のそれぞれは、前記組み合わせにおいて前記複数のスペクトル重みの関連するものによりスケーリングされるステップと
を更に有する、請求項１に記載の方法。
【請求項５】
前記第３の反射率関数を取得するステップは、
前記第１の画像の前記イメージデータを前記第３の空間分解能にダウンサンプリングするステップと、
前記第３の空間分解能での前記第１の画像の前記イメージデータと前記第２の反射率関数とに基づいて、前記第３の空間分解能での前記第１の画像における前記画素の小平面方向の値を指定する小平面方向を生成するステップと、
前記小平面方向の制約を満たすように前記小平面方向における前記小平面方向の値を構成するステップと、
前記第３の空間分解能での前記第１の画像の前記イメージデータと前記小平面方向とに基づいて前記第３の反射率関数を計算するステップと
を更に有する、請求項４に記載の方法。
【請求項６】
前記計算するステップの前に、前記複数の第１の反射率関数として前記複数の第４の反射率関数を選択するステップと、
前記生成するステップ、前記取得するステップ及び前記変更するステップを繰り返すステップと
を更に有する、請求項１に記載の方法。
【請求項７】
遠隔で取得されたイメージを処理するシステムであって、
第１のスペクトル帯域に関連する第１の画像と、複数の第２のスペクトル帯域に関連する複数の第２の画像とを規定するイメージデータを受信する記憶要素であり、前記第１の画像は、第１の空間分解能を有し、それぞれの前記第２の画像は、前記第１の空間分解能より低い第２の空間分解能を有する記憶要素と、
前記記憶要素に通信可能に結合された処理要素と
を有し、
前記処理要素は、
前記複数の第２の画像における画素の反射率の値を指定する複数の第１の反射率関数を取得し、
前記複数の第１の反射率関数に基づいて前記第１の画像における画素の反射率の値を推定する第２の反射率関数を生成し、
前記第２の反射率関数と、前記第１の画像の前記イメージデータと、少なくとも１つの小平面方向の制約とに基づいて、前記第１の画像における画素の反射率の値を指定する第３の反射率関数を取得し、
前記複数の第２の画像における画素の反射率の値を指定する複数の第４の反射率関数を生成するため、前記第２及び前記第３の反射率関数の間の差に基づいて、前記複数の第１の反射率関数を変更し、
前記複数の第２のスペクトル帯域に関連すると共に前記第１の空間分解能を有する複数の第３の画像を規定するイメージデータを計算し、前記複数の第３の画像は、前記複数の第４の反射率関数に基づくように構成されるシステム。
【請求項８】
前記処理要素は、前記複数の第１の反射率関数を取得する間に、
前記複数の第２の画像の前記イメージデータを、前記第２の空間分解能より低い第３の空間分解能にダウンサンプリングし、
前記第３の空間分解能での前記複数の第２の画像における前記画素の小平面方向の値を指定する１つ以上の小平面方向を受信し、
前記第３の空間分解能での前記複数の第２の画像における前記画素の前記反射率の値を指定する複数の初期の反射率関数を生成し、前記複数の初期の反射率関数は、前記小平面方向と、前記第３の空間分解能での前記第２の画像の前記イメージデータとに基づき、
前記第３の空間分解能での前記複数第２の画像のそれぞれにおける前記画素の前記反射率を指定する複数の更新された反射率関数を生成するように、前記複数の初期の反射率関数を平滑化し、
前記複数の第１の反射率関数として前記複数の更新された反射率関数を提供するように更に構成される、請求項７に記載のシステム。
【請求項９】
前記平滑化することは、
前記複数の更新された反射率関数と前記第３の空間分解能での前記第２の画像の前記イメージデータとに基づいて前記小平面方向を更新することを更に有し、
前記複数の第１の反射率関数を取得することは、
前記複数の更新された反射率関数を提供する前に、前記複数の第２の画像の前記イメージデータを、前記第２の空間分解能より低く前記第３の空間分解能より大きい第４の空間分解能にダウンサンプリングし、
前記小平面方向を前記第４の空間分解能に適合し、
前記生成することと前記平滑化することとを繰り返すこと
を更に有する、請求項８に記載のシステム。
【請求項１０】
前記処理要素は、前記第２の反射率関数を生成する間に、
前記複数の第１の反射率関数を、前記第２の空間分解能より大きい第３の空間分解能に適合し、
前記複数の第２のスペクトル帯域の１つにそれぞれ関連する複数のスペクトル重みを決定し、
前記第３の空間分解能での前記複数の第１の反射率関数の組み合わせを計算し、前記第２の反射率関数を生成し、前記複数の第１の反射率関数のそれぞれは、前記組み合わせにおいて前記複数のスペクトル重みの関連するものによりスケーリングされるように更に構成される、請求項７に記載のシステム。
【請求項１１】
前記処理要素は、前記第３の反射率関数を取得する間に、
前記第１の画像の前記イメージデータを前記第３の空間分解能にダウンサンプリングし、
前記第３の空間分解能での前記第１の画像の前記イメージデータと前記第２の反射率関数とに基づいて、前記第３の空間分解能での前記第１の画像における前記画素の小平面方向の値を指定する小平面方向を生成し、
前記小平面方向の制約を満たすように前記小平面方向における前記小平面方向の値を構成し、
前記第３の空間分解能での前記第１の画像の前記イメージデータと前記小平面方向とに基づいて前記第３の反射率関数を計算するように更に構成される、請求項１０に記載のシステム。
【請求項１２】
前記処理要素は、
前記計算の前に、前記複数の第１の反射率関数として前記複数の第４の反射率関数を選択し、
前記生成すること、前記取得すること及び前記変更することを繰り返すように更に構成される、請求項７に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公表番号】特表２０１２−５１９９１７（Ｐ２０１２−５１９９１７Ａ）
【公表日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−５５３０９９（Ｐ２０１１−５５３０９９）
【出願日】平成２２年３月４日（２０１０．３．４）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０２６１５５
【国際公開番号】ＷＯ２０１０／１０２０８０
【国際公開日】平成２２年９月１０日（２０１０．９．１０）
【出願人】（５９４０７１６７５）ハリス コーポレイション (287)
【氏名又は名称原語表記】Ｈａｒｒｉｓ Ｃｏｒｐｏｒａｔｉｏｎ
【Ｆターム（参考）】
【公表日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２２年３月４日（２０１０．３．４）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０２６１５５
【国際公開番号】ＷＯ２０１０／１０２０８０
【国際公開日】平成２２年９月１０日（２０１０．９．１０）
【出願人】（５９４０７１６７５）ハリス コーポレイション (287)
【氏名又は名称原語表記】Ｈａｒｒｉｓ Ｃｏｒｐｏｒａｔｉｏｎ
【Ｆターム（参考）】
[ Back to top ]