説明

画像の表示

【課題】合成開口レーダー画像の特徴に基づいて画像を表示する装置を提供する。
【解決手段】画像110を処理する方法及び装置である。第1画像132において識別された第1特徴136のクラスタ156が識別される。複数のクラスタのうちの各クラスタは、第1特徴136からの第1グループの特徴159を含む。複数のクラスタのうちの各クラスタを、第2画像134において識別された第2特徴138からの第2グループの特徴163を含む対応するクラスタ161とともに表示するための変換155は、第1画像の第1特徴と、第2画像の第2特徴との間の初期対応を使用して識別される。第1特徴のクラスタからのクラスタのセット162は、各クラスタに対して識別された変換を使用して識別される。第1画像を第2画像とともに表示するための最終変換172は、クラスタのセットを使用して識別される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は概して画像の処理に関し、具体的には合成開口レーダー(SAR)画像の表示に関するものである。さらに具体的には、本発明は正射補正された合成開口レーダー画像を表示する方法及び装置に関するものである。
【背景技術】
【0002】
画像は、様々な種類の操作を実施するのに使用される。これらの操作には例えば非限定的に、オブジェクトの認識、オブジェクトのトラッキング、及び/又はその他の好適な種類の操作が含まれ得る。画像表示はしばしばこれらの操作を実施する前に行われる。画像表示は異なる時点で、異なる視点から、及び/又は異なるセンサによって生成された同じシーンの画像の位置調整である。
【0003】
特徴に基づく画像表示は、ある種の画像表示の一例である。特徴に基づく表示では、シーンの最初の画像を、最初の画像の特徴が同じシーンの2番目の画像の同じ特徴に沿って位置調整されるように変換する。2番目の画像は参照画像又はソース画像とも呼ぶことができる。
【0004】
特徴に基づく画像表示では、異なる種類の変換モデルを使用して第1画像を変換して第1画像を参照画像に沿って位置調整することができる。ある種の変換モデルは線形変換である。線形変換は例えば非限定的に、並進、回転、スケーリング、及び/又はその他の好適な種類のアフィン変換を含むことができる。アフィン変換とは、点と点の間の共線性と、線上の点と点の間の距離比を保つすべての変換である。
【0005】
特徴に基づく画像表示を異なる種類の画像で使用することができる。これら異なる種類の画像は例えば非限定的に、可視スペクトル画像、光画像、赤外線画像、レーダー画像、合成開口レーダー(SAR)画像、及びその他の好適な種類の画像を含むことができる。
【0006】
通常、合成開口レーダー画像は、画像の表示を実施する前にオルソ修正される。このプロセスは正射修正とも呼ぶことができる。正射修正とは、画像のスケールがほぼ均一になるように画像から幾何学的ひずみを除去することである。これらの幾何学的ひずみは、画像を生成したセンサの傾き、地形の起伏、レンズのひずみ、及び/又はその他適切なひずみ発生源によって生じうる。オルソ修正された画像は正射修正画像と呼ぶことができる。
【0007】
正射修正画像の特徴に基づく画像表示には、正射修正画像を並進及び/又は回転させて参照画像に沿って位置調整する正射変換を使用することが含まれうる。参照画像もまた正射修正される。合成開口レーダー画像の特徴に基づいて画像表示を実施するための現在利用可能な方法は、可視スペクトル画像の特徴に基づく画像表示の現在利用可能な方法のようには正確でない場合がある。
【0008】
例えば、可視スペクトル画像に比べて合成開口レーダー画像のノイズ量が大きい場合がある。このノイズ量が大きいために、画像の特徴を識別する現在利用可能な方法を利用した合成開口レーダー画像における特徴の識別が、可視スペクトル画像における特徴の識別に比べてより不正確になる場合がある。この結果、合成開口レーダー画像の特徴に基づく画像表示の現在利用可能な方法は、所望するよりも不正確となる可能性がある。
【0009】
したがって、上述した課題のうちの少なくとも幾つかの課題だけでなく、その他の潜在的な課題を考慮した方法及び装置を有することは有利である。
【発明の概要】
【0010】
ある有利な実施形態では、画像を処理する方法が提供されている。第1画像において識別された第1特徴のクラスタを識別する。複数のクラスタの内の各クラスタは第1特徴からの第1グループの特徴を含む。複数のクラスタのうちの各クラスタを、第2画像において識別された第2特徴からの第2グループの特徴を含む対応するクラスタとともに表示するための変換は、第1画像の第1特徴と第2画像の第2特徴との間の初期対応を使用して識別される。第1特徴の複数のクラスタからのクラスタのセットは、各クラスタに対して識別された変換を使用して識別される。第1画像を第2画像とともに表示するための最終変換は、クラスタのセットを使用して識別される。
【0011】
別の有利な実施形態では、画像を表示する方法が提供されている。画像における第1画像の第1特徴と、画像における第2画像の第2特徴が識別される。初期の変換は、第1特徴及び第2特徴を使用して第1画像を第2画像とともに表示するために識別される。
【0012】
第1画像の第1特徴と第2画像の第2特徴との間の初期対応は、第1画像を第2画像とともに表示するための初期変換を使用して識別される。第1画像の第1特徴のクラスタは、第1特徴を使用して形成された最小スパニング木を使用して識別される。複数のクラスタの内の各クラスタは、第1特徴からの第1グループの特徴を含む。複数のクラスタのうちの各クラスタを、第2画像において識別された第2特徴からの第2グループの特徴を含む対応するクラスタとともに表示するための変換は初期対応を使用して識別される。クラスタに対して識別された変換の投影エラーが選択閾値よりも小さい場合、複数のクラスタの内の一クラスタがクラスタのセットに追加される。第1画像を第2画像とともに表示するための最終変換は、クラスタのセットの特徴と、ランダム・サンプル・コンセンサス・アルゴリズムを使用して識別される。第1画像は最終変換を利用して第2画像とともに表示される。
【0013】
さらに別の有利な実施形態では、装置は画像処理モジュールを含む。画像処理モジュールは、第1画像において識別された第1特徴のクラスタを識別する。複数のクラスタの内の各クラスタは、第1特徴からの第1グループの特徴を含む。
【0014】
画像処理モジュールはさらに、第1画像の第1特徴と第2画像の第2特徴との間の初期対応を使用して、複数のクラスタのうちの各クラスタを第2画像において識別された第2特徴からの第2グループの特徴を含む対応するクラスタとともに表示するための変換を識別する。画像処理モジュールはさらに、各クラスタに対して識別された変換を使用して、第1特徴のクラスタからのクラスタのセットを識別する。画像処理モジュールはさらに、クラスタのセットを使用して第1画像を第2画像とともに表示するための最終変換を識別する。
【0015】
別の有利な実施形態は下記:
第1画像内の第1数の閉輪郭と、第2画像内の第2数の閉輪郭を識別し、
第1数の閉輪郭、第2数の閉輪郭、及び整合アルゴリズムを使用して、第1画像を第2画像とともに表示するための初期変換を識別する
ことを含む方法を有する。
【0016】
その他の実施形態は、複数の画像の内の第1画像(132)の第1特徴(136)と、複数の画像の内の第2画像(134)の第2特徴(138)を識別し、
第1特徴(136)及び第2特徴(138)を使用して、第1画像(132)を第2画像(134)とともに表示するための初期変換(142)を識別し、
第1画像(132)を第2画像(134)とともに表示するための初期変換(142)を使用して、第1画像(132)の第1特徴(136)と、第2画像(134)の第2特徴(138)との間の初期対応(141)を識別し、
第1特徴(136)を使用して形成された最小スパニング木(146)を使用して、第1画像(132)の第1特徴(136)のクラスタ(156)を識別し、ここでクラスタ(156)の各クラスタ(157)は第1特徴(136)からの第1グループの特徴を含み、
初期対応(141)を使用して第2画像(134)において識別された第2特徴(138)からの第2グループの特徴(163)を含む対応するクラスタ(161)とともに、クラスタ(156)の内の各クラスタ(157)を表示するために変換(155)を識別し、
クラスタ(157)に対して識別された変換(155)の投影エラー(164)が選択閾値よりも小さい場合に、クラスタ(156)の内の一つのクラスタ(157)をクラスタのセット(162)に追加し、
クラスタのセット(162)の特徴と、ランダム・サンプル・コンセンサス・アルゴリズムを使用して、第1画像(132)を第2画像(134)とともに表示するための最終変換(172)を識別し、
最終変換(172)を使用して第1画像(132)を第2画像(134)とともに表示する
ステップを含む画像を表示する方法を包含する。
【0017】
先行実施形態のうちの任意の実施形態の変形例もまた変更可能であり、ここでは第1画像(132)は第1合成開口レーダー画像(114)であり、第2画像(134)は第2合成開口レーダー画像(114)であり、第1合成開口レーダー画像(114)と第2合成開口レーダー画像(114)は正射修正され、最終変換(172)を使用して第1画像(132)を第2画像(134)とともに表示するステップは、
最終変換(172)を使用して第1画像(132)の並進及び回転のうちの少なくとも一つを行って、第1画像(132)を第2画像(134)に沿って所望の精度で位置調整する
ことを含む。
【0018】
特徴、機能及び利点は、本発明の様々な実施形態において個別に達成することができる、または下記の説明及び図面を参照することによってさらに詳細を理解することができる更に別の実施形態と組み合わせることができる。
【0019】
有利な実施形態を特徴づけていると思われる新規特性は添付の請求項に記載されている。有利な実施形態だけでなく、使用の好ましいモード、更なる目的及びその利点はしかしながら、添付の図面と併せて読むときに、本発明の有利な実施形態の下記の詳細説明を参照することによって最適に理解される。
【図面の簡単な説明】
【0020】
【図1】図1は有利な実施形態によるブロック図の形態の画像処理環境の図である。
【図2】図2は有利な実施形態による正射修正画像において識別された特徴の図である。
【図3】図3は有利な実施形態による第1画像及び第2画像から識別された特徴の図である。
【図4】図4は有利な実施形態による第2画像とともに表示された第1画像の図である。
【図5】図5は有利な実施形態による画像において識別された特徴の図である。
【図6】図6は有利な実施形態による画像において識別された特徴の図である。
【図7】図7は有利な実施形態による画像を表示するプロセスのフロー図である。
【図8】図8は有利な実施形態による画像の特徴を識別するプロセスのフロー図である。
【図9】図9は有利な実施形態による第1画像を第2画像とともに表示するための初期変換を識別するプロセスのフロー図である。
【図10】図10は有利な実施形態による第1画像の第1特徴と第2画像の第2特徴との間の初期対応を識別するプロセスのフロー図である。
【図11】図11は有利な実施形態による第1画像において識別された第1特徴のクラスタを識別するプロセスのフロー図である。
【図12】図12は有利な実施形態による第1画像の第1特徴のクラスタからクラスタのセットを識別するプロセスのフロー図である。
【図13】図13は有利な実施形態によるデータ処理システムの図である。
【発明を実施するための形態】
【0021】
異なる有利な実施形態は、多数の異なる検討事項を認識し考慮する。例えば、異なる有利な実施形態は、合成開口レーダー(SAR)画像のノイズが所望するよりも大きい場合があることを認識し考慮している。合成開口レーダーイメージングシステムは電磁放射線のパルスを送信する。これらのパルスは電磁信号と呼ぶこともできる。これら電磁信号は、例えば地形の一領域、近隣、森の一区域、都市の一部分、工場、又はその他何らかの好適な種類の領域等の一領域に送られる。
【0022】
異なる有利な実施形態は、少なくとも一部の電磁信号はこれらの電磁信号が表面に接触した時にその領域の表面で反射することを認識し考慮している。表面で反射した電磁波は、後方散乱、散乱した電磁波、散乱した電磁信号、反響波、又は反響と呼ぶことができる。
【0023】
合成開口レーダーイメージングシステムは、散乱したこれらの電磁信号を検出し、合成開口レーダー画像を生成する。この検出はコヒーレント検出と呼ばれる。この種の検出は、散乱した電磁信号に対して行われ、信号の振幅情報及び位相情報の両方の取得が可能な種類の検出である。異なる有利な実施形態は、コヒーレント検出を使用することにより、生成された合成開口レーダー画像の非ガウスノイズが望ましくないレベルとなることを認識し考慮している。
【0024】
加えて、異なる有利な実施形態は表面での電磁信号の反射性が、電磁信号が表面に向かって送られる角度に依存しうることを認識し考慮している。このため、合成開口レーダー画像はしばしば異方性である。つまり、合成開口レーダー画像におけるシーンの様子は、合成開口レーダーイメージングシステムによってその領域に向かって電磁信号が送られる角度によって変化する可能性がある。
【0025】
異なる有利な実施形態は、合成開口レーダー画像に存在する非ガウスノイズと、この種の画像の異方性により、可視スペクトル画像の処理に比べて合成開口レーダー画像の処理がさらに難しくなりうることを認識し考慮している。特に、合成開口レーダー画像の画像表示は、可視スペクトル画像の画像表示と比べてさらに難しい場合がある。
【0026】
例えば、合成開口レーダー画像の画像を表示するための現在利用可能な方法は通常、特徴検出アルゴリズムと、合成開口レーダー画像を表示するための変換モデルを推定するアルゴリズムを使用する。変換モデルは、合成開口レーダー画像の特徴の検出に基づいて推定される。
【0027】
しかしながら、異なる有利な実施形態は、合成開口レーダー画像の画像表示のためのこれらの現在利用可能な方法の精度は望ましいレベルでない可能性があることを認識し、考慮している。特に、合成開口レーダー画像に存在するノイズ量により、現在利用可能な特徴検出アルゴリズムを使用したこれらの画像の特徴の検出の精度が下がり、所望するよりも信頼性が低くなり得る。この結果、これらの合成開口レーダー画像の画像表示は、所望するよりも不正確となる可能性がある。
【0028】
異なる有利な実施形態は、オブジェクトの認識を行う際に、合成開口レーダー画像の正確な画像表示が望ましい場合があることを認識し考慮している。例えば、異なる有利な実施形態はまた、この種の画像が所望の精度よりも劣る精度で表示された時に、オブジェクトの偽識別数が増加する、及び/又は対象のオブジェクトではないオブジェクトの識別数が増加する可能性があることを認識し、考慮している。
【0029】
ある実施例として、合成開口レーダー画像の表示の精度が望ましくないと、影を対象のオブジェクトとして誤って識別することがさらに増える可能性がある。さらに、異なる有利な実施形態は、合成開口レーダー画像表示の精度が望ましいレベルを下回る場合、これらの画像のオブジェクトを長い期間かけてトラッキングすることが所望するよりもさらに難しくなり得ることを認識し、考慮している。
【0030】
加えて、異なる有利な実施形態は、この種の画像表示の精度が所望するよりも低い場合、あるシーンの様々な部分の合成開口レーダー画像を使用して、そのシーンのより大きい画像を形成することが不可能になり得ることを認識し考慮している。
【0031】
したがって、異なる有利な実施形態は画像を表示する方法及び装置を提供する。ある有利な実施形態では、画像を処理する方法が提供されている。第1画像において識別された第1特徴のクラスタが識別される。複数のクラスタの内の各クラスタは、第1特徴からの第1グループの特徴を含む。複数のクラスタの内の各クラスタを第2画像において識別された第2特徴からの第2グループの特徴を含む対応するクラスタとともに表示するための変換は、第1画像の第1特徴と第2画像の第2特徴との間の初期対応を使用して識別される。第1特徴の複数のクラスタからのクラスタのセットは、各クラスタについて識別された変換を使用して識別される。第1画像を第2画像とともに表示するための最終変換は、クラスタのセットを使用して識別される。
【0032】
ここで、有利な実施形態によるブロック図の形態の画像処理環境を示す図1を参照する。画像処理環境100は、センサシステム102と画像処理モジュール104を含む。
【0033】
これら実施例では、センサシステム102は複数のセンサ106を含むことができる。本明細書で使われる「複数の品目」は一以上の品目を意味する。例えば、「複数のセンサ」は一以上のセンサを意味している。複数のセンサ106は例えば非限定的に、光カメラ、赤外線カメラ、レーダーイメージングシステム、合成開口レーダーイメージングシステム、及びその他好適な種類のセンサのうちの少なくとも一つを含むことができる。
【0034】
本明細書で使用される「少なくとも一つの」という表現は、品目リストとともに使用される場合は、一以上のリスト品目の異なる組み合わせを使用することができ、リストの中の各品目のうちの一つのみが必要であり得ることを意味する。例えば、「品目A、品目B、及び品目Cのうちの少なくとも一つ」は例えば非限定的に、品目A、又は品目A及び品目Bを含むことができる。この実施例はまた、品目A、品目B、及び品目C、又は品目B及び品目Cも含むことができる。その他の実施例では、「少なくとも一つの」は例えば非限定的に、品目Aの内の2つ、品目Bの内の一つ、及び品目Cの内の10個;品目Bの内の4つと品目Cの内の7つ;及びその他好適な組み合わせであってよい。
【0035】
図示したように、センサシステム102はプラットフォーム108に関連している。例えばセンサシステム102等の第1コンポーネントは、第2コンポーネントに固定されている、第2コンポーネントに接着されている、第2コンポーネントに溶接されている、第2コンポーネントに締め付けられている、及び/又はその他何らかの好適な方法で第2コンポーネントに接続されていることによって、例えばプラットフォーム108等の第2コンポーネントと関連していると判断することができる。第1コンポーネントはまた、第3コンポーネントを使用して第2コンポーネントに接続することもできる。第1コンポーネントはまた、第2コンポーネントの一部として、及び/又は第2コンポーネントの延長として形成することによって第2コンポーネントと関連していると判断することもできる。
【0036】
これらの実施例においては、プラットフォーム108は可動プラットフォーム、固定プラットフォーム、陸上構造物、水上構造物、宇宙構造物、空中ビークル、航空機、無人機、水上艦、タンク、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、製造施設、建造物のうちの一つから選択することができる。
【0037】
図示したように、センサシステム102は領域112の画像110を生成する。これらの実施例では、領域112はプラットフォーム108の下の領域であってよい。さらに、これらの実施例では、画像110は合成開口レーダー(SAR)画像114の形態である。
【0038】
センサシステム102は複数の通信リンク116上で画像処理モジュール104へ画像110を送る。複数の通信リンク116は、無線通信リンク、有線通信リンク、光通信リンク、及びその他何らかの好適な種類の通信リンクのうちの少なくとも一つを含むことができる。
【0039】
これらの実施例では、画像処理モジュール104はハードウェア、ソフトウェア、又は2つの組み合わせを使用して実行することができる。実施例として、画像処理モジュール104はコンピュータシステム118において実行可能である。コンピュータシステム118は複数のコンピュータ120を含む。コンピュータシステム118に一より多いコンピュータがある時は、これらのコンピュータは相互に連通していてよい。
【0040】
複数のコンピュータ120はプラットフォーム108上の位置にあってよく、及び/又はプラットフォーム108とは離れていてもよい。ある実施例では、複数のコンピュータ120は全てプラットフォーム108に位置づけすることができる。別の実施例では、複数のコンピュータ120の一部をプラットフォーム108上に位置づけすることができ、一方で複数のコンピュータ120の別の一部をプラットフォーム108から離れた地上局に位置づけすることができる。
【0041】
これら実施例では、画像処理モジュール104は画像調節モジュール122、特徴検出モジュール124、及び画像表示モジュール126を含むことができる。画像調節モジュール122はセンサシステム102から受信した画像110をオルソ修正して、正射修正画像128を形成する。
【0042】
画像110のオルソ修正には、画像110の各画像のスケールがほぼ均一になるように、画像110から幾何学的歪みを除去することが含まれる。画像110の一つの画像に存在する幾何学的歪みは、画像を生成した複数のセンサ106のうちのセンサの傾き、領域112内の地形の起伏、センサのレンズのひずみ、及び/又はその他適切なひずみ発生源によって生じうる。
【0043】
図示したように、画像調節モジュール122は正射画像128を特徴検出モジュール124へ送る。特徴検出モジュール124は、正射画像128の特徴130を識別する。特徴検出モジュール124はシュテーガーアルゴリズム、キャニー線分検出アルゴリズム、エッジ検出アルゴリズム、ハフ変換、スケール不変特徴変換(SIFT)、speeded up robust特徴検出器(SURF検出器)、Kanade−Lucas−Tomasiトラッカー(KLT)、線分検出アルゴリズム、及びその他好適な種類のアルゴリズムのうちの少なくとも1つを使用して特徴130を識別することができる。
【0044】
ある実施例として、正射画像128は第1画像132と第2画像134を含む。第1画像132及び第2画像134は異なる時点においてセンサシステム102によって、複数のセンサ106内の異なるセンサによって、及び/又は異なる視点から生成されたものであってよい。
【0045】
第1画像132と第2画像134は、画像表示モジュール126を使用して表示される2つの画像の例である。具体的には、第1画像132は第1特徴136と第2特徴138に基づいて第2画像134と共に表示される。第2画像134はまた、参照画像又はソース画像とも呼ぶことができる。
【0046】
第1画像132の第1特徴136と第2画像134の第2特徴138は、特徴検出モジュール124を使用して識別される。第1特徴136と第2特徴138の特徴は、線、形状、及びその他好適な種類の特徴のうちの少なくとも一つから選択することができる。
【0047】
特徴検出モジュール124は、正射修正画像128において識別された特徴130を画像表示モジュール126へ送る。画像表示モジュール126はまた画像調節モジュール122から正射修正画像128も受信する。
【0048】
画像表示モジュール126は第1画像132を第2画像134とともに表示して、第1画像132を第2画像134に沿って位置調整する。具体的には、第1画像132を第2画像134とともに表示することにより、第1画像132の第1特徴136を第2画像134の第2特徴138に沿って位置調整する。この位置調整は実質的に完全な位置調整でなくともよい。
【0049】
つまり、第1画像132が第2画像134とともに表示された時、第1特徴136の一部が第2特徴138と実質的に重なり合っていてもよい。第1特徴136のその他の部分はしかしながら、第2特徴138と重なり合わなくてもよい、又は第2特徴138と大幅に重なり合う第1特徴136の部分よりも少なく重なり合っていてもよい。第1特徴136と第2特徴138とが重なる量を使用して、第1画像132を第2画像134とともに表示する精度を決定することができる。
【0050】
これらの実施例では、画像表示モジュール126は第1特徴136と第2特徴138との間の初期対応141を識別する。初期対応141はこれらの実施例では一対一の対応である。
【0051】
つまり、第1画像132の第1特徴136の各特徴には、第2画像134の第2特徴138の対応する特徴がある。さらに、第2特徴138の各特徴は第1特徴136の特徴に対応する。ある実施例では、初期対応141は第1特徴136の一部と第2特徴138の一部との間においてのみ識別され得る。
【0052】
初期対応141は、第2画像134とともに第1画像132を表示するための初期変換142を使用して識別される。ある実施例では、画像表示モジュール126は第1特徴136、第2特徴138、及びランダム・サンプル・コンセンサス(RANSAC)アルゴリズムを使用して初期変換142を識別することができる。
【0053】
初期変換142はこれらの実施例では正射変換であってよい。つまり、初期変換142を使用して第1画像132を第2画像134とともに表示することで、第1画像132を並進及び/又は回転させて第1画像132の第1特徴136を第2画像134の第2特徴138に沿って位置調整する。
【0054】
ある実施例として、画像表示モジュール126は初期変換142、第1画像132、第2画像134、及び第1特徴136を第2特徴138と一致させるアルゴリズムを使用して初期対応141を識別する。この実施例では、アルゴリズムは例えば、k次元木アルゴリズム、最近接原子マッチングアルゴリズム、又はその他何らかの好適な種類のアルゴリズムであってよい。
【0055】
さらに、画像表示モジュール126は第1特徴136を使用して最小スパニング木(MST)146を形成する。最小スパニング木146はノード148と複数のブランチ150を有する。
【0056】
ノード148のうちの各ノードは第1特徴136の特徴である。このように、これらの実施例では、第1特徴136は全て最小スパニング木146に提示されている。複数のブランチ150の各ブランチはノード148の2つのノードを接続する。さらに、複数のブランチ150の各ブランチはウエイト152を有する。これらの実施例では、各ブランチのウエイト152はブランチによってつながるノード148の2つのノードの間のピクセル単位の距離である。
【0057】
画像表示モジュール126は、最小スパニング木146から、選択したウエイト154よりも大きいウエイト152を有する複数のブランチ150の任意のブランチを除去する。選択したウエイト154よりも大きいウエイト152を有するすべてのブランチが最小スパニング木146から除去された場合、第1特徴136のクラスタ156が最小スパニング木146に形成される。
【0058】
これら実施例では、画像表示モジュール126はクラスタ156のうちの各クラスタの変換155を識別する。変換155とは、第1画像132のクラスタ156のうちの各クラスタを第2画像134の対応するクラスタとともに表示するための正射変換である。変換155は、これらの実施例では最小二乗アルゴリズムを使用して識別することができる。
【0059】
クラスタ157は、クラスタ156のうちの一つのクラスタの一例である。クラスタ157は、第1グループの特徴159を含む。本明細書に使用される「一グループの品目」は、一以上の品目を意味する。例えば、「一グループの特徴」は、一以上の特徴である。
【0060】
画像表示モジュール126は、クラスタ157に対応するクラスタ161を識別する。具体的には、画像表示モジュール126は初期対応141に基づいて、第1グループの特徴159と対応する第2特徴138からの第2グループの特徴163を識別する。第2グループの特徴163は対応するクラスタ161を形成する。初期対応が一対一の対応である時、第1グループの特徴159の特徴の合計数は、第2グループの特徴163の特徴の合計数と同じである。
【0061】
画像表示モジュール126はクラスタ157に対して識別された変換155を使用して、第1グループの特徴159を第2画像134に投影する。具体的には、第1グループの特徴159を第2画像134に投影して、第1グループの特徴159を第2画像134の第2グループの特徴163に沿って位置調整する。第1グループの特徴159はこれらの実施例では、第2画像134の座標系160に投影される。
【0062】
画像表示モジュール126は次に、第1グループの特徴159が投影される第2画像134の第1グループの位置158を識別する。第1グループの位置158は座標系160を使用して画定される。さらに、第2グループの特徴163は、これもまた座標系160を使用して画定される、第2画像134の第2グループの位置168を有する。
【0063】
これらの実施例において、画像表示モジュール126はクラスタ156からクラスタのセット162を形成する。本明細書で使用する「品目のセット」とは、ゼロ以上の品目を意味する。「品目のセット」は例えばゼロ又は空のセットであってよい。
【0064】
投影エラー164が選択閾値170よりも小さい時に、例えばクラスタ157等のクラスタ156のうちの一つのクラスタがクラスタのセット162に追加される。投影エラー164とは、第1グループの特徴159を第2画像134の第2グループの特徴163に沿って位置調整するためのエラーである。投影エラー164は多数の異なる方法で測定することができる。
【0065】
例えば、投影エラー164は、クラスタ157の第1グループの特徴159の第1グループの位置158と、対応するクラスタ161の第2グループの特徴163の第2グループの位置168との間の距離の合計であってよい。実施例においては、投影エラー164は、第1グループの位置158と、第2グループの位置168との間の距離の合計を第1グループの特徴159の特徴の合計数で割ったものであってよい。
【0066】
画像表示モジュール126はクラスタのセット162を使用して、第1画像132を第2画像134とともに表示するための最終変換172を識別する。具体的には、画像表示モジュール126はクラスタのセット162に含まれる特徴と、ランダム・サンプル・コンセンサス(RANSAC)アルゴリズムを使用して、第1画像132を第2画像134とともに表示するための最終変換172を識別する。
【0067】
これら実施例では、画像表示モジュール126は最終変換172を用いて第1画像132を第2画像134とともに表示する。最終変換172とはこれらの実施例では正射変換である。つまり、最終変換172は、並進及び/又は回転のみを使用して第1画像132を第2画像134に沿って位置調整する。
【0068】
最終変換172は、これらの実施例において初期変換142に比べて正確な変換である。つまり、最終変換172を使用して所望の精度174で第1画像132を第2画像134とともに表示することが可能である。所望の精度174は、初期変換142を使用して第1画像132を第2画像134とともに表示する精度よりも高い可能性がある。
【0069】
このように、画像処理モジュール104は、センサシステム102によって生成された画像110を表示するシステムに所望の精度174を提供する。所望の精度174は、画像を表示するための現在利用可能な方法の精度よりも高い可能性がある。
【0070】
図1の画像処理環境100の図は、物理的又はアーキテクチャ制限を暗示するように意図されたものではなく、有利な実施形態が実行可能である。他のコンポーネントを説明したものに加えて、又はそれの代わりに用いてもよい。あるコンポーネントは不必要である場合がある。また、ブロックは幾つかの機能性コンポーネントを説明するために記載されたものである。一以上のこれらのブロックは、有利な実施形態において実行するときに、組み合わせる、あるいは異なるブロックに分割することが可能である。
【0071】
例えば、いくつかの実施例では、特徴検出モジュール124は画像表示モジュール126の一部であってよい。その他の実施例では、第1画像132は、センサシステム102以外のセンサシステムによって生成される参照画像とともに表示することができる。例えば、画像処理環境100には第2プラットフォームに関連する第2センサシステムがあってよい。センサシステム102によって生成される画像110はセンサシステムを使用して生成された参照画像に沿って位置調整可能である。
【0072】
さらに別の実施例では、初期変換142はランダム・サンプル・コンセンサス・アルゴリズム以外のアルゴリズムを使用して識別することができる。例えば、初期変換142は、第1画像132において識別された閉輪郭の第1数と、第2画像134において識別された閉輪郭の第2数のフーリエ輪郭記述子を照合することによって識別することができる。
【0073】
ここで、有利な実施形態による正射修正画像において識別された特徴を示す図2を参照する。この実施例において、画像200は図1の正射修正画像128の例である。
【0074】
画像200は、第1画像202と第2画像204を含む。第1画像202は図1の第1画像132の一実行形態の一例である。第2画像204は、図1の第2画像134の一実行形態の一例である。図示したように、第1画像202において第1特徴206が識別されている。さらに、第2画像204において第2特徴208が識別されている。
【0075】
ここで、有利な実施形態による、図2の第1画像202と第2画像204から識別された特徴を示す図3を参照する。この実施例において、図2の第1画像202から識別された第1特徴206は、図2の第2画像204から識別された第2特徴208の上に重ね合わせられる。
【0076】
第1特徴206は、第2画像204の座標系に対して第2特徴208の上に重ね合わせられる。具体的には、第1画像202が第2画像204とともに表示される前、第1特徴206は第2画像204の座標系に対する位置300にある。さらに、第2特徴208は第2画像204の座標系に対する位置302にある。
【0077】
この実施例において、投影された特徴304とは、例えば図1の最終変換172を使用して行われる第1特徴206の第2画像204の座標系への投影である。つまり、投影された特徴304とは、最終変換172を使用して第2特徴208に沿って位置調整された後の第1特徴206である。
【0078】
投影された特徴304は位置306にある。図示したように、第2特徴208の対応する部分の位置302から選択距離内の位置306にある投影された特徴304の部分はインライアとみなされる。第1特徴206の第2特徴208との位置合わせの精度は、インライアである投影された特徴304の割合に基づいて決定することができる。
【0079】
ここで、有利な実施形態による図2の第2画像204とともに表示された第1画像202を示す図4を参照する。この実施例において、第1画像202は、図1の最終変換172を用いて図2の第2画像204とともに表示されている。この実施例では、第1画像202は並進し、回転し、その後第2画像204上に重ねられる。図示したように、第1画像202が第2画像204とともに表示された後は、第1画像202と第2画像204は座標系400を共有する。
【0080】
ここで、有利な実施形態による、画像において識別された特徴を示す図5に注目する。この実施例において、例えば図1の第1画像132等の第1画像の特徴502が識別される。例えば図1の第2画像134等の第2画像の特徴504が識別される。
【0081】
加えて、図示した実施例において、投影された特徴506は図1の最終変換172を使用して行われる特徴502の投影である。この実施例で図示したように、投影された特徴506の一部はインライア508である。
【0082】
ここで、有利な実施形態による、画像について識別された閉輪郭を使用して形成されたグラフを示す図6を参照する。この実施例において、画像600は図1の第1画像132の一実行形態の一例である。
【0083】
この実施例で示すように、グラフ601は画像600において識別された閉輪郭602を使用して形成される。閉輪郭602は画像600のオブジェクトに対して識別される。例えば、閉輪郭604は画像600の木606に対して識別される。
【0084】
さらに、この実施例では、閉輪郭602のセントロイド608が識別されている。グラフ601はブランチ610を使用してセントロイド608を相互につなぎ合わせることによって形成されている。セントロイド608はグラフ601のノードを形成する。
【0085】
この実施例において、ブランチ610の長さを分類して、複数のブランチ610のうちの一番長いブランチを識別することができる。具体的には、複数のブランチ610の中で一番長い2つのブランチが識別される。図示したように、ブランチ612とブランチ614は一番長い2つのブランチである。ブランチ612は閉輪郭604のセントロイド616を閉輪郭620のセントロイド618に接続する。ブランチ614は閉輪郭604のセントロイド616を閉輪郭624のセントロイド622に接続する。
【0086】
ブランチ612とブランチ614、及び/又はブランチ612とブランチ614の端部の閉輪郭604、618、及び624を、第2画像において識別された閉輪郭と比較するために選択することができる。この比較を使用して、画像600を第2画像に沿って位置調整するための初期変換を識別することができる。
【0087】
ここで、有利な実施形態による、画像を表示するプロセスのフロー図を示す図7を参照する。図7に示すプロセスは、図1の画像処理モジュール104を使用して実行可能である。
【0088】
このプロセスは、第1画像の第1特徴と、第2画像の第2特徴を識別することによって開始する(工程700)。この実施例において、第1画像及び第2画像は正射修正画像である。これらの正射修正画像は、例えば図1のセンサシステム102等のセンサシステムから受信した画像を使用して、例えば図1の画像調節モジュール122によって生成することができる。センサシステムから受信した画像はこの実施例では、合成開口レーダー画像である。
【0089】
このプロセスは次に、第1画像を第2画像とともに表示するための初期変換を識別する(工程702)。この実施例において、工程702は第1画像において識別された第1特徴、第2画像において識別された第2特徴、及びランダム・サンプル・コンセンサス・アルゴリズムを使用して実施することができる。初期変換を使用して、第1画像が第2画像に沿って位置調整されるように並進及び/又は回転させることによって、第1画像を第2画像とともに表示することができる。初期変換モデルの第1画像を第2画像に沿って位置合わせする精度は、所望の精度よりも低い。
【0090】
次に、プロセスは初期変換を使用して第1画像の第1特徴と第2画像の第2特徴との間の初期対応を識別する(工程704)。このプロセスは次に、第1特徴を使用して形成された最小スパニング木を使用して第1画像の第1特徴のクラスタを識別する(工程706)。識別された複数のクラスタのうちの各クラスタは、第1特徴からの第1グループの特徴を含む。
【0091】
その後プロセスは初期対応を使用して、複数のクラスタのうちの各クラスタを、第2画像の第2特徴からの第2グループの特徴を含む対応するクラスタとともに表示するための変換を識別する(工程708)。工程708において、対応するクラスタを形成する第2グループの特徴は初期対応に基づいて識別することができる。
【0092】
さらに、工程708において、変換により、クラスタの第1グループの特徴が第2画像に投影され、クラスタの第1グループの特徴が、第2画像の対応するクラスタの第2グループの特徴に沿って位置調整される。工程708は、最小二乗アルゴリズムを使用して実施して、第1グループの特徴を第2画像の第2グループの特徴に沿って位置合わせするための最適な変換を識別することができる。
【0093】
このプロセスは、クラスタに対して識別された変換の投影エラーが選択閾値よりも小さい時に、クラスタのセットに複数のクラスタのうちの一つのクラスタを追加する(工程710)。このため、工程710の実施においては、第1画像の第1特徴の複数のクラスタからクラスタのセットが識別される。工程710においては、第1グループの特徴を含むクラスタに対して識別された変換を使用して第1グループの特徴が第2画像に投影された時に、投影エラーにより、第1グループの特徴を第2画像の第2グループの特徴に沿って位置合わせする際のエラーが識別される。
【0094】
その後、プロセスはクラスタのセットの特徴と、ランダム・サンプル・コンセンサス・アルゴリズムを使用して第1画像を第2画像とともに表示するための最終変換を識別する(工程712)。プロセスは次に、最終変換を使用して第1画像を第2画像とともに表示し(工程714)、その後プロセスは終了する。
【0095】
ここで、有利な実施形態による、ある画像の特徴を識別するプロセスのフロー図を示す図8を参照する。図8に示すプロセスを使用して、図7の工程700を実行することができる。
【0096】
このプロセスは、第1画像のシュテーガー・エッジと、第2画像のシュテーガー・エッジを識別することによって開始される(工程800)。シュテーガー・エッジは、シュテーガーアルゴリズムを使用して識別されるエッジである。このプロセスは次に、ハフ変換を使用して第1画像の無限線と第2画像の無限線を識別する(工程802)。
【0097】
その後、プロセスは第1画像の無限線の一部を選択し、第1画像のシュテーガー・エッジを使用して第1画像の第1線を形成する(工程804)。プロセスは第2画像の無限線の一部を選択し、第2画像のシュテーガー・エッジを使用して第2画像の第2線を形成する(工程806)。
【0098】
工程804及び工程806において、第1画像の無限線の一部と第2画像の無限線の選択は、同じような方法で行うことができる。具体的には、無限線は、無限線とシュテーガー・エッジの間に所望の位置合わせ量が存在する場合に、選択される。
【0099】
次に、プロセスは第1画像の第1線における線の交点を識別して第1画像の第1特徴を形成し、第2画像の第2線における線の交点を識別して第2画像の第2特徴を形成し(工程808)、その後プロセスは終了する。第1特徴及び第2特徴はこの実施例において点特徴と呼ぶことができる。
【0100】
ここで、有利な実施形態による、第1画像を第2画像とともに表示するための初期変換を識別するプロセスのフロー図を示す図9を参照する。図9に示すプロセスは、図7の工程702を実行するのに使用可能である。
【0101】
このプロセスは、第1画像の第1閉輪郭と第2画像の第2閉輪郭を識別することによって開始される(工程900)。第1閉輪郭と第2閉輪郭はそれぞれ第1画像及び第2画像において存在するオブジェクトに対して識別される。
【0102】
工程900は例えば連結画素の鎖を形成するための結合アルゴリズム等の、閉輪郭を識別する現在利用可能な方法を使用して行うことができる。これらの実施例において、閉輪郭とは連続的な閉曲線である。その他の実施例において、閉輪郭は非連続性の閉曲線であってよい。つまり、閉曲線に隙間が存在していてよい。
【0103】
次に、プロセスは第1閉輪郭の第1セントロイドと第2閉輪郭の第2セントロイドを識別する(工程902)。プロセスは次に、第1ブランチを使用して第1セントロイドを相互に接続して第1グラフを形成する(工程904)。このプロセスは第2ブランチを使用して第2セントロイドを互いに接続して第2グラフを形成する(工程906)。
【0104】
その後、プロセスは第1ブランチの長さと第2ブランチの長さを識別して分類する(工程908)。プロセスは次に、第1ブランチのうちで一番長い複数の第1ブランチを選択して、第1選択ブランチを形成する(工程910)。
【0105】
工程910において、2つの一番長いブランチを選択することができる。ある実施例においては、3つの一番長いブランチを選択することができる。当然ながら、任意の数の一番長い第1ブランチを選択することが可能である。
【0106】
このプロセスは次に、第2ブランチのうちの、選択された長さよりも長い各ブランチを選択して第2選択ブランチを形成する(工程912)。選択された長さは、この実施例では第1選択ブランチの中の一番短い長さのブランチよりも短い。このため、第2選択ブランチのブランチの数は、第1選択ブランチのブランチの数よりも多い可能性がある。
【0107】
次に、プロセスは第2選択ブランチの複数の組み合わせを識別する(工程914)。工程914において、第2選択ブランチのそれぞれの組み合わせは、第1選択ブランチのブランチの数と等しい数のブランチを有する。プロセスは、処理を行うために複数の組み合わせの中から特定のブランチの組み合わせを選択する(工程916)。
【0108】
プロセスは次に、第1選択ブランチの第1数の特性を選択された特定のブランチの組み合わせの第2数の特性と比較して、整合点数を識別する(工程918)。第1数の特性と第2数の特性は例えば非限定的に、ブランチの長さ、ブランチとブランチの間の複数の角度、ブランチ端部の閉輪郭のフーリエ輪郭記述子、及びその他の好適な種類の特性のうちの少なくとも一つを含むことができる。
【0109】
フーリエ輪郭記述子は、閉輪郭の形状を表す数を含み、形状が並進及び/又は回転した時に実質的に変化しない。さらに、これらの記述子はスケールに関しても実質的に変化しない。
【0110】
工程918では、整合点数を計算する整合アルゴリズムを使用してこれらの特性間の比較を行うことができる。整合点数とは、第1数の特性と第2数の特性がどれほど一致しているかを測るものである。つまり、整合点数は第1選択ブランチの第1数の特性が選択された特定のブランチの組み合わせの第2数の特性とどれだけ類似しているかを測るものである。
【0111】
整合点数を計算するための整合アルゴリズムは下記の方程式:

及び

を含むことができ、上記式においてDは整合点数であり、Eは第1選択ブランチの端部の第1閉輪郭の第1セントロイドの位置と、選択された特定のブランチの組み合わせのブランチの端部の第2閉輪郭の対応する第2セントロイドの位置との間の距離の合計であり、Sは第1選択ブランチの端部の第1閉輪郭のフーリエ輪郭記述子と、選択された特定のブランチの組み合わせのブランチの端部の第2閉輪郭のフーリエ輪郭記述子との間の点数差であり、pは第1画像のj番目の第1セントロイドの位置と、第2画像の対応する第2セントロイドの位置との間の距離である。
【0112】
このプロセスは次に、整合点数が選択閾値を上回るかどうかを決定する(工程920)。整合点数が選択閾値よりも大きい場合、このプロセスは第1選択ブランチの端部の第1閉輪郭を、選択された特定のブランチの組み合わせのブランチの端部の第2閉輪郭に沿って位置調整をするための変換を識別し(工程922)、その後プロセスは終了する。この変換は、図7の工程702で識別された、第1画像を第2画像と共に表示するための初期変換である。
【0113】
再び工程920を参照する。整合点数が選択閾値よりも小さい場合、プロセスは識別された複数の組み合わせのうちにさらに未処理の組み合わせがあるか否かを決定する(工程924)。追加の未処理の組み合わせがない場合、プロセスは終了する。そうでない場合、プロセスは上述した工程916へ戻る。
【0114】
ここで、有利な実施形態による、第1画像の第1特徴と第2画像の第2特徴との間の初期対応を識別するプロセスのフロー図を示す図10を参照する。図10に示すプロセスは、図7の工程704を実行するのに使用可能である。
【0115】
このプロセスは、初期変換を使用して第1画像において識別された第1特徴を第2画像に投影することによって開始される(工程1000)。プロセスは次に、第1画像において識別された第1特徴からの一つの特徴を第1選択特徴として選択する(工程1002)。
【0116】
次に、プロセスは第2画像の第2特徴からの一つの特徴を第2選択特徴として識別する(工程1004)。工程1004において、第2選択特徴として第2特徴から識別された特徴は、第2特徴のその他の特徴のいかなる位置よりも第2画像に投影された選択特徴の位置に近い第2画像における位置を有する特徴である。
【0117】
プロセスは次に、第1画像の第1選択特徴の値と、第2画像の第2選択特徴との間の差が選択閾値よりも小さいか否かを決定する(工程1006)。第1選択特徴と第2選択特徴が点特徴である場合、これらの特徴の値は、これらの特徴の位置における画素値であってよい。
【0118】
この差が選択閾値よりも小さい場合、プロセスは第1選択特徴と第2選択特徴との間の対応を識別して、第1画像の第1特徴と、第2画像の第2特徴との間の初期対応を形成する(工程1008)。
【0119】
このプロセスは次に、第1特徴からの追加の未処理特徴があるか否かを決定する(工程1010)。追加の未処理特徴がない場合に、プロセスは終了する。そうでなければ、プロセスは上述した工程1002に戻る。
【0120】
再び工程1006を参照する。この差が選択閾値よりも小さくない場合、プロセスは第1選択特徴を検討事項からはずして初期対応を形成する(工程1012)。このように、第1画像において識別された第1特徴がすべて、第2画像の第2特徴の対応する特徴を有すると識別できるわけではない。その後、プロセスは上述した工程1010へ進む。
【0121】
ここで、有利な実施形態による、第1画像において識別された第1特徴のクラスタを識別するプロセスのフロー図を示す図11を参照する。図11に示すこのプロセスは、図7の工程706を実行するのに使用可能である。
【0122】
このプロセスは、第1画像において識別された第1特徴を使用して最小スパニング木を形成することによって開始される(工程1100)。最小スパニング木は、ノードと複数のブランチを含む。複数のノードのうちの各ノードは第1特徴の中の一つの特徴であり、複数のブランチのうちの各ブランチにはウエイトを有する。プロセスは次に、最小スパニング木から選択されたウエイトよりも大きいウエイトを有する複数のブランチのうちのすべてのブランチを取り除いて第1特徴のクラスタを形成し(工程1102)、その後プロセスは終了する。
【0123】
ここで、有利な実施形態による、第1画像の第1特徴のクラスタからクラスタのセットを識別するプロセスのフロー図を示す図12を参照する。図12に示すプロセスは、図7の工程710を実行するのに使用可能である。
【0124】
このプロセスは、処理のために複数のクラスタの中からクラスタを選択することによって開始される(工程1200)。プロセスは次に、選択されたクラスタに対して識別された変換を使用して、クラスタの第1グループの特徴を第2画像に投影する(工程1202)。このプロセスは第1グループの特徴が投影される第2画像の第1グループの位置を識別する(工程1204)。第1グループの位置は第2画像の座標系に対して画定される。
【0125】
プロセスは、第1グループの特徴に対応して第2画像の第2グループの特徴の第2グループの位置を識別する(工程1206)。プロセスは次に、第1グループの位置と、第2グループの位置のうちの対応する位置との間の距離に基づいて投影エラーを識別する(工程1208)。
【0126】
次に、プロセスは投影エラーが選択閾値を下回るか否かを決定する(工程1210)。投影エラーが選択閾値よりも小さい場合に、プロセスは選択されたクラスタをクラスタのセットに追加する(工程1212)。プロセスは次に、追加の未処理のクラスタが存在するかどうかを決定する(工程1214)。追加の未処理のクラスタがない場合、プロセスは終了する。そうでなければ、プロセスは上述した工程1200に戻る。
【0127】
再び工程1210を参照する。投影エラーが選択閾値よりも小さくない場合、プロセスは上述した工程1214へ進む。
【0128】
異なる実施形態のフロー図及びブロック図は、有利な実施形態の装置及び方法の幾つかの可能な実行形態のアーキテクチャ、機能性、及び操作を示すものである。これに関してはフロー図又はブロック図の各ブロックはモジュール、セグメント、機能、及び/又は操作又はステップの一部を表すことができる。例えば、一以上のブロックをプログラムコードとして、ハードウェアにおいて、又はプログラムコードとハードウェアを組み合わせて実行することが可能である。ハードウェアにおいて実行される時は、ハードウェアは例えば、フロー図又はブロック図の一以上の操作を実行するように製造された又は構成された集積回路の形態をとることができる。
【0129】
有利な実施形態の幾つかの代替実行形態において、ブロックに注記された一つの機能又は複数の機能は、図面に注記された順番以外の順番で実施可能である。例えば、ある場合には、関連する機能性に依存して、連続して示す2つのブロックは実質的に同時に実行可能である、又はブロックはしばしば逆の順に実行することができる。また、フロー図又はブロック図に図示されたブロック以外に他のブロックを加えることができる。
【0130】
ここで、有利な実施形態によるデータ処理システムを示す図13に注目する。この実施例では、データ処理システム1300を使用して、図1のコンピュータシステム118の一以上の複数のコンピュータ120を実行することができる。
【0131】
図示したように、データ処理システム1300はプロセッサ装置1304、メモリ1306、永続記憶装置1308、通信装置1310、入力/出力(I/O)装置1312、及び表示装置1314の間の通信を可能にする通信ファブリック1302を含む。
【0132】
プロセッサ装置1304はメモリ1306にロード可能なソフトウェアの命令を実行する。プロセッサ装置1304は、特定の実行形態によって、複数のプロセッサ一式、マルチプロセッサコア、又はその他何らかの種類のプロセッサであってよい。ある品目に関して本明細書で使用する複数の、とは、一以上の品目を意味する。さらに、プロセッサ装置1304は、二次プロセッサを単一チップ上に有するメインプロセッサが設置された一又は複数の異機種環境のプロセッサシステムを使用して実行可能である。別の有利な実施例として、プロセッサ装置1304は同じ種類の複数のプロセッサを含む対称なマルチプロセッサシステムであってよい。
【0133】
メモリ1306及び永続記憶装置1308は、記憶装置1316の実施例である。記憶装置は、例えば非限定的に、データ、関数形式のプログラムコード、及び/又は一時的及び/又は永続的のいずれかのその他好適な情報等の情報を記憶できる任意のハードウェアである。記憶装置1316はまた、これらの実施例では、コンピュータによって読取可能な記憶装置とも呼ぶことができる。メモリ1306はこれらの実施例では例えば、ランダム・アクセス・メモリ、又は他の任意の好適な揮発性又は非揮発性記憶装置であってよい。永続記憶装置1308は、特定の実行形態によって様々な形態をとることができる。
【0134】
例えば、永続記憶装置1308は一以上の構成部品又はデバイスを含むことができる。例えば、永続記憶装置1308は、ハードドライブ、フラッシュメモリ、書き換え可能な光ディスク、書き換え可能な磁気テープ、又は上記の幾つかの組み合わせであってよい。永続記憶装置1308によって使用される媒体はまた取り外し可能であってよい。例えば、取り外し可能なハードドライブを永続記憶装置1308に使用することが可能である。
【0135】
通信装置1310はこれらの実施例では、その他のデータ処理システム又はデバイスとの通信を可能にする。これらの実施例では、通信装置1310はネットワークインターフェースカードである。通信装置1310は物理的及び無線通信リンクのいずれかあるいは両方の使用を通して通信を可能にすることができる。
【0136】
入力/出力装置1312により、データ処理システム1300に接続可能なその他のデバイスとのデータの入力及び出力が可能になる。例えば、入力/出力装置1312は、キーボード、マウス、及び/又はその他何らかの好適な入力デバイスを介してユーザ入力するための接続部を提供しうる。さらに、入力/出力装置1312は出力をプリンタに送ることができる。表示装置1314は、ユーザに情報を表示する機構を提供する。
【0137】
オペレーティングシステム、アプリケーション、及び/又はプログラムの命令は、通信ファブリック1302を通してプロセッサ装置1304と通信している記憶装置1316に位置しうる。これらの実施例では、命令は永続記憶装置1308において関数形式である。これらの命令は、メモリ1306にロードされプロセッサ装置1304によって実行可能である。異なる実施形態のプロセスは、例えばメモリ1306等のメモリに位置しうるコンピュータによって実行される命令を使用して、プロセッサ装置1304によって実施可能である。
【0138】
これらの命令は、プロセッサ装置1304のうちの一つのプロセッサによって読み取り及び実行可能なプログラムコード、コンピュータが使用可能なプログラムコード、又はコンピュータによって読取可能なプログラムコードと呼ばれる。異なる実施形態のプログラムコードは、例えばメモリ1306又は永続記憶装置1308等の異なる物理的な又はコンピュータによって読取可能な記憶媒体上に具現化することができる。
【0139】
プログラムコード1318は、選択的に取り外し可能で、データ処理システム1300にロードする又は転送してプロセッサ装置1304によって実行可能なコンピュータによって読取可能な媒体1320上に関数形式で位置している。プログラムコード1318及びコンピュータによって読取可能な媒体1320はこれらの実施例においてコンピュータプログラム製品1322を形成する。ある実施例では、コンピュータによって読取可能な媒体1320は、コンピュータによって読取可能な記憶媒体1324又はコンピュータによって読取可能な信号媒体1326であってよい。
【0140】
コンピュータによって読取可能な記憶媒体1324は例えば、永続記憶装置1308の一部であるハードドライブ等の記憶装置に転送するために、永続記憶装置1308の一部であるドライブ又はその他のデバイスに挿入されるあるいは配置される光又は磁気ディスクを含むことができる。コンピュータによって読取可能な記憶媒体1324はまた、データ処理システム1300に接続された、例えばハードドライブ、サムドライブ、又はフラッシュメモリ等の永続記憶装置の形態をとることもできる。ある場合には、コンピュータによって読取可能な記憶媒体1324は、データ処理システム1300から取り外し可能でなくてよい。
【0141】
これらの実施例では、コンピュータによって読取可能な記憶媒体1324はプログラムコード1318を伝播させる又は送信する媒体の代わりに、プログラムコード1318を記憶するのに使用される物理的又は有形記憶装置である。コンピュータによって読取可能な記憶媒体1324はまた、コンピュータによって読取可能な有形記憶装置、又はコンピュータによって読取可能な物理的記憶媒体とも呼ばれる。つまり、コンピュータによって読取可能な記憶媒体1324は人が触ることができる媒体である。
【0142】
あるいは、プログラムコード1318はコンピュータによって読取可能な信号媒体1326を使用して、データ処理システム1300に転送することができる。コンピュータによって読取可能な信号媒体1326は例えば、プログラムコード1318を含む伝播されたデータ信号であってよい。例えば、コンピュータによって読取可能な信号媒体1326は、電磁気信号、光信号、及び/又はその他任意の好適な種類の信号であってよい。これらの信号は、例えば無線通信リンク、光ファイバーケーブル、同軸ケーブル、配線、及び/又はその他任意の好適な種類の通信リンク等の通信リンク上で送信することができる。つまり、通信リンク及び/又は接続は実施例において物理的又は無線であってよい。
【0143】
ある有利な実施形態では、プログラムコード1318は、データ処理システム1300内で使用するために、コンピュータによって読取可能な信号媒体1326を介して、別のデバイス又はデータ処理システムから永続記憶装置1308までネットワーク上をダウンロードすることができる。例えば、サーバデータ処理システムのコンピュータによって読取可能な記憶媒体に記憶されたプログラムコードは、サーバからデータ処理システム1300までネットワーク上をダウンロードすることができる。プログラムコード1318を提供するデータ処理システムは、サーバコンピュータ、クライアントコンピュータ、又はプログラムコード1318を記憶し送信することができるその他何らかのデバイスであってよい。
【0144】
データ処理システム1300について示した異なるコンポーネントは、アーキテクチャ制限をもたらすように意図されたものではなく、異なる実施形態を実行可能である。異なる有利な実施形態は、データ処理システム1300について示したコンポーネントに追加の、あるいは代わりのコンポーネントを含むデータ処理システムにおいて実行可能である。図13に示す他のコンポーネントは、図示した実施例から変更することができる。異なる実施形態は、プログラムコードを実行できる任意のハードウェア装置又はシステムを使用して実行することができる。一例として、データ処理システムは無機コンポーネントと統合された有機コンポーネントを含むことができる、及び/又は全体的に人間以外の有機コンポーネントからなるものであってよい。例えば、記憶装置は有機半導体からなるものであってよい。
【0145】
別の実施例では、プロセッサ装置1304は、特定使用のために製造された又は構成された回路を有するハードウェア装置の形態であってよい。この種のハードウェアは、プログラムコードを記憶装置からメモリにロードして工程を実施するように構成する必要なく工程を実施することが可能である。
【0146】
例えば、プロセッサ装置1304がハードウェア装置の形態である時に、プロセッサ装置1304は回路システム、特定用途向け集積回路(ASIC)、プログラマブル論理回路、又は複数の工程を実施するその他何らかの好適な種類のハードウェアの形態であってよい。プログラマブル論理回路に関しては、複数の工程を実施するように構成されている。この回路は後の時点で再構成することができる、又は複数の工程を実施するように不変に構成することができる。プログラマブル論理回路の実施例は例えば、プログラマブル論理アレイ、プログラマブルアレイ論理、フィールド・プログラマブル論理アレイ、フィールド・プログラマブル・ゲート・アレイ、及びその他好適なハードウェア装置が挙げられる。この種の実行形態では、プログラムコード1318を省略することができ、これは異なる実施形態のプロセスがハードウェア装置において実行されるからである。
【0147】
さらに別の実施例では、プロセッサ装置1304はコンピュータ及びハードウェア装置に含まれるプロセッサの組み合わせを使用して実行可能である。プロセッサ装置1304は、プログラムコード1318を実行する複数のハードウェア装置と複数のプロセッサを有することができる。この実施例では、幾つかのプロセスを複数のハードウェア装置において使用することができるのと同時に、その他のプロセスを複数のプロセッサにおいて実行することができる。
【0148】
別の実施例では、バスシステムを使用して通信ファブリック1302を実行することができ、バスシステムは例えばシステムバス又は入力/出力バス等の一以上のバスからなるものであってよい。当然ながら、バスシステムは、バスシステムに装着された異なるコンポーネント又は装置の間のデータの送信を可能にする任意の好適な種類のアーキテクチャを使用して実行することができる。
【0149】
加えて、通信装置はデータを送信する、データを受信する、又はデータを送受信する複数の装置を含むことができる。通信装置は、例えばモデム又はネットワークアダプタ、2つのネットワークアダプタ、又はこれらのいくつかの組み合わせであってよい。さらに、メモリは例えば通信ファブリック1302にあってよいインターフェース及びメモリコントローラハブに含まれる等のメモリ1306、又はキャッシュであってよい。
【0150】
したがって、異なる有利な実施形態は画像を表示する方法及び装置を提供する。ある有利な実施形態では、画像を処理する方法が提供されている。第1画像において識別された第1特徴のクラスタが識別される。複数のクラスタのうちの各クラスタは第1特徴からの第1グループの特徴を含む。複数のクラスタのうちの各クラスタを、第2画像において識別された第2特徴からの第2グループの特徴を含む対応するクラスタとともに表示するための変換は、第1画像の第1特徴と第2画像の第2特徴との間の初期対応を使用して識別される。第1特徴の複数のクラスタからのクラスタのセットは、各クラスタに対して識別された変換を使用して識別される。第1画像を第2画像とともに表示するための最終変換は、クラスタのセットを使用して識別される。
【0151】
異なる有利な実施形態は、画像を所望の精度で表示するためのシステムを提供する。この所望の精度は、画像に非ガウスノイズが見られるときでも提供される。
【0152】
異なる有利な実施形態の記載は、図示及び説明の目的のために提示されたものであり、包括的、又は開示された形の実施形態に限定するように意図されたものではない。当業者には多数の修正及び変形例が明らかである。さらに、他の有利な実施形態と比較して、異なる有利な実施形態により異なる利点を得ることが可能である。選択された一又は複数の実施形態は、実施形態及び実際の応用形態の原理を最適に説明するため、また、当業者が、考えられる特定の使用に好適である様々な修正を施した様々な実施形態の開示内容を理解できるように選択され記載されたものである。
【符号の説明】
【0153】
202 第1画像
204 第2画像
206 第1特徴
208 第2特徴
300 第1特徴の位置
302 第2特徴の位置
304 投影された特徴
306 投影された特徴の位置
400 座標系
502 第1画像の特徴
504 第2画像の特徴
506 投影された特徴
508 インライア
600 画像
601 グラフ
602 閉輪郭
604 閉輪郭
606 木
608 セントロイド
610 ブランチ
612 ブランチ
614 ブランチ
616 セントロイド
618 セントロイド
620 閉輪郭
622 セントロイド
624 閉輪郭

【特許請求の範囲】
【請求項1】
画像を処理する方法であって、
第1画像(132)において識別された第1特徴(136)のクラスタを識別し、ここでクラスタ(156)の内の各クラスタ(157)は第1特徴(136)からの第1グループの特徴(159)を含み、
クラスタ(156)のうちの各クラスタ(157)を、第2画像(134)において識別された第2特徴(138)からの第2グループの特徴(163)を含む対応するクラスタ(161)とともに表示するための変換を、第1画像(132)の第1特徴(136)と第2画像(134)の第2特徴との間の初期対応を使用して識別し、
第1特徴(136)のクラスタ(156)からのクラスタのセット(162)を、各クラスタ(157)に対して識別された変換を使用して識別し、
第1画像(132)を第2画像(134)とともに表示するための最終変換(172)を、クラスタのセット(162)を使用して識別する
ことを含む方法。
【請求項2】
第1画像(132)の第1特徴(136)と第2画像(134)の第2特徴(138)との間の初期対応を、第1画像(132)を第2画像(134)とともに表示するための初期変換を使用して識別する
ことをさらに含む、請求項1に記載の方法。
【請求項3】
第1画像(132)において識別された第1特徴(136)及び第2画像(134)において識別された第2特徴(138)と、ランダム・サンプル・コンセンサス・アルゴリズムを使用して第1画像(132)を第2画像(134)とともに表示するための初期の変換(142)を識別することをさらに含む、
請求項2に記載の方法。
【請求項4】
第1画像(132)において識別された第1特徴(136)のクラスタ(156)を識別するステップが、
第1特徴(136)を使用して最小スパニング木(146)を形成し、最小スパニング木(146)はノード(148)と複数のブランチ(150)を含み、ノード(148)のうちの各ノードは第1特徴(136)の特徴であり、複数のブランチ(150)の各ブランチはウエイト(152)を有し、
任意のブランチのウエイト(152)が第1特徴(136)の複数のクラスタ(136)を形成するための選択ウエイトよりも大きい時に、最小スパニング木(146)から、複数のブランチ(150)のうちの任意のブランチを除去し、複数のクラスタ(136)の各クラスタは第1特徴(136)からの第1グループの特徴を含む
ステップを含む、請求項1乃至3のいずれか1項に記載の方法。
【請求項5】
第1画像(132)の第1特徴(136)と第2画像(134)の第2特徴(138)との間の初期対応を使用して、クラスタ(156)のうちの各クラスタを第2画像(134)において識別された第2特徴(138)からの第2グループの特徴(163)を含む対応するクラスタ(161)とともに表示するための変換を識別するステップが、
初期対応を使用して、クラスタ(156)のクラスタ(157)の第1グループの特徴(159)に対応する第2画像(134)において識別された第2特徴(138)から特徴(130)を、第2グループの特徴(163)として識別し、ここで第2グループの特徴(163)は対応するクラスタ(161)を形成し、
最小二乗アルゴリズムを使用して、クラスタ(157)を対応するクラスタ(161)とともに表示するための変換(155)を識別し、ここで変換により、クラスタ(157)の第1グループの特徴(159)を対応するクラスタ(161)の第2グループの特徴(163)に合わせて位置調整するために、クラスタ(157)の第1グループの特徴(159)を第2画像(134)に投影する
ステップを含み、
各クラスタ(157)に対して識別された変換(155)を使用してクラスタ(156)からクラスタのセット(162)を識別するステップが、
変換を使用して、第1グループの特徴(159)が投影される第2画像(134)の第1グループの位置(158)を識別し、
第1グループの特徴(159)の第1グループの位置(158)と、第2グループの特徴(163)の第2画像(134)の第2グループの位置(168)との間の距離を使用して、投影エラー(164)を識別し、
クラスタ(157)の第1グループの特徴(159)を対応するクラスタ(161)の第2グループの特徴(163)に沿って位置調整するために、投影エラー(164)が選択閾値(170)よりも小さい時に、クラスタ(157)をクラスタのセット(162)に追加する
ことを含む、請求項1乃至4のいずれか1項に記載の方法。
【請求項6】
各クラスタ(157)に対して識別された変換を使用してクラスタ(156)からクラスタのセット(162)を識別するステップが、
クラスタ(157)に対して識別された変換の投影エラー(164)が選択閾値(170)よりも小さい時に、クラスタ(156)のうちのあるクラスタをクラスタのセット(162)に追加する
ことを含む、請求項1乃至5のいずれか1項に記載の方法。
【請求項7】
クラスタのセット(162)を使用して第1画像(132)を第2画像(134)とともに表示するための最終変換(172)を識別するステップが、
クラスタのセット(162)の特徴と、ランダム・サンプル・コンセンサス・アルゴリズムを使用して、第1画像(132)を第2画像(134)とともに表示するための最終変換を識別する
ことを含む、請求項1乃至6のいずれか1項に記載の方法。
【請求項8】
第1画像(132)の第1特徴(136)と、第2画像(134)の第2特徴(138)を識別し、
線分検出アルゴリズムを使用して第1画像(132)の第1線と、第2画像(134)の第2線を識別し、
第1線の線の交点を第1特徴(136)として、第2線の線の交点を第2特徴(138)として識別する
ことをさらに含む、請求項1乃至7のいずれか1項に記載の方法。
【請求項9】
第1画像(132)の第1特徴(136)と、第2画像(134)の第2特徴(138)を識別するステップが、特徴検出モジュール(124)を使用して行われ、特徴検出モジュール(124)はシュテーガーアルゴリズム、キャニー線分検出アルゴリズム、エッジ検出アルゴリズム、ハフ変換、スケール不変特徴変換、speeded up robust特徴検出器(SURF検出器)、Kanade−Lucas−Tomasi変換のうちの少なくとも1つを使用して、第1特徴と第2特徴を識別する、請求項1乃至8のいずれか1項に記載の方法。
【請求項10】
最終変換を使用して、第1画像(132)を第2画像(134)とともに表示して、所望の精度(174)で第1画像(132)を第2画像(134)に沿って位置調整し、第1画像(132)と第2画像(134)は、正射修正された合成開口レーダー画像(114)であることをさらに含む、請求項1乃至9のいずれか1項に記載の方法。
【請求項11】
画像処理モジュール(104)であって、
第1画像(132)において識別された第1特徴(136)のクラスタ(156)を識別し、クラスタ(156)のうちの各クラスタ(157)が第1特徴(136)からの第1グループの特徴(159)を含み、
クラスタ(156)の各クラスタ(157)を、第2画像(134)において識別された第2特徴(138)からの第2グループの特徴(163)を含む対応するクラスタ(161)とともに表示するための変換を、第1画像(132)の第1特徴(136)と、第2画像(134)の第2特徴(138)との間の初期対応(141)を使用して識別し、
各クラスタ(157)に対して識別された変換(155)を使用して、第1特徴(136)のクラスタ(156)からクラスタのセット(162)を識別し、
クラスタのセット(162)を使用して、第1画像(132)を第2画像(134)とともに表示するための最終変換(172)を識別し、第1画像(132)において識別された第1特徴(136)のクラスタ(156)を識別するように構成されている画像処理モジュール(104)は、第1特徴(136)を使用して最小スパニング木(146)を形成するように構成されており、最小スパニング木(146)はノード(148)と複数のブランチ(150)を含み、ノード(148)の各ノードは、第1特徴(136)の特徴であり、複数のブランチ(150)の各ブランチはウエイト(152)を有し、
任意のブランチのウエイト(152)が第1特徴(136)のクラスタ(156)を形成するための選択ウエイトよりも大きい時に、最小スパニング木(146)から、複数のブランチ(150)のうちの任意のブランチを除去し、クラスタ(156)の各クラスタ(157)は第1特徴(136)からの第1グループの特徴を含む
画像処理モジュール(104)を含む装置。
【請求項12】
各クラスタ(157)に対して識別された変換を使用して、クラスタ(156)からクラスタのセット(162)を識別する画像処理モジュール(104)が、クラスタ(157)に対して識別された変換の投影エラー(164)が選択閾値(170)よりも小さい時に、クラスタ(156)のクラスタ(157)をクラスタのセット(162)に追加する、請求項11に記載の装置。
【請求項13】
第1画像(132)の第1特徴(136)と、第2画像(134)の第2特徴(138)を識別する、画像処理モジュール(104)の特徴検出モジュール(124)と、
第1画像(132)と第2画像(134)を生成する、画像処理モジュール(104)と連通しているセンサシステム(102)
をさらに含む、請求項11又は12に記載の装置。

【図1】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2013−8364(P2013−8364A)
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【外国語出願】
【出願番号】特願2012−137786(P2012−137786)
【出願日】平成24年6月19日(2012.6.19)
【出願人】(500520743)ザ・ボーイング・カンパニー (773)
【氏名又は名称原語表記】The Boeing Company
【Fターム(参考)】