画像を融合するためのシステムおよび方法
融合画像を生成するためのシステムおよび方法が提供される。このシステムは、複数の画像にアクセスし、これらの画像を複数のセットにグループ化し、各セットの画像を融合して複数の融合画像を形成し、これらの融合画像を融合して最終融合画像を形成するように構成された処理回路を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２００９年１２月２３日に出願されたインド特許出願第２９８１／ＭＵＭ／２００９号の優先権を主張する、２０１０年２月１０日に出願された米国特許出願第１２／７０３，５９４号の利益を主張するものであり、これらの出願はどちらも、その全体が参照により本明細書に組み込まれる。
【０００２】
本発明は、画像処理システムに関し、より詳細には、いくつかの画像を融合するためのシステムおよび方法に関する。
【背景技術】
【０００３】
ハイパースペクトル画像の応用例などの多数の画像処理の応用例では、いくつかの画像センサを用いて関心領域の画像を得る。このような画像は、通常、いくつかの画像バンド（ｉｍａｇｅ ｂａｎｄ）を含む豊富な多次元情報を提示する。典型的には、これらの画像は融合されて単一の画像を形成する。この単一の融合画像は、最初に受け取られたすべての画像から抽出された特徴を含む。
【０００４】
さまざまな情報を有する複数の画像を１つの融合画像に結合するために適用できるいくつかの画像融合法がある。具体的には、数百の画像が１つの画像に融合されることが必要な場合があるハイパースペクトル画像の応用例では、マルチバンドの画像融合法が用いられる。マルチバンド画像融合法では、同じ空間分解能のいくつかの画像が結合されて単一の画像を形成する。
【０００５】
複数の画像を融合して単一の画像にする間に、いくつかの問題が存在する。多数の画像バンドが画像セットに存在するので、処理の計算コストが高くなる場合がある。さらに、単一のハイパースペクトル画像データセットが多数の画像バンドを含むことがあるので、画像の記憶には、大量のメモリが必要となる。具体的には、ハイパースペクトルの応用例において、ハイパースペクトルデータキューブ内の隣接する画像バンドは、センサの近接性および狭域性（ｃｏｎｔｉｇｕｏｕｓ ａｎｄ ｎａｒｒｏｗ ｎａｔｕｒｅ）により、それらの画像バンド間での高度の空間的相関を示す。効率的な処理を行い、計算のオーバーヘッドを減少させるために、冗長データを除去する必要がある。
【発明の概要】
【０００６】
簡略に言えば、本技法の一実施形態によれば、融合画像を生成するための方法が提供される。この方法は、複数の画像にアクセスすること、これらの画像を複数のセットにグループ化すること、各セットの画像を融合して複数の融合画像を形成すること、およびこの融合画像を融合して最終融合画像を形成することを含む。
【０００７】
別の実施形態では、融合画像を生成するためのシステムが提供される。このシステムは、複数の画像にアクセスすること、第１の階層レベルでこれらの画像を複数のセットにグループ化すること、および第１の階層レベルで各セットの画像を融合することを含む。この方法は、第１の階層レベルからの融合画像をグループ化して、第２の階層レベルで画像のセットを形成すること、この第２の階層レベルで各セットの画像を融合すること、単一の融合画像が得られるまで、より高い階層レベルでのグループ化および融合を継続することをさらに含む。
【０００８】
別の実施形態では、複数の画像を融合するための画像処理システムが提供される。このシステムは、複数の画像にアクセスし、これらの画像を複数のセットにグループ化し、各セットの画像を融合して複数の融合画像を形成し、これらの融合画像を融合して最終融合画像を形成するように構成された処理回路を備える。
【０００９】
前述の概要は例示的なものに過ぎず、いかなる形であれ限定を意図するものではない。図面および以下の詳細な説明を参照すれば、上述の例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴が明らかになるであろう。
【図面の簡単な説明】
【００１０】
【図１】例示的な画像システムのブロック図である。
【図２】複数の画像を単一の画像に融合するための１つの方法を示す流れ図である。
【図３】複数の画像を単一の画像に融合するための例示的な階層的融合法を実施する線図である。
【図４】コンピューティングデバイスの一実施形態のブロック図である。
【発明を実施するための形態】
【００１１】
以下の詳細な説明では、本発明の一部を形成する添付の図面を参照する。図面においては、文脈上特に指示しない限り、同じ符号は典型的には同じ構成要素を識別する。詳細な説明、図面、および特許請求の範囲に記載する例示的な実施形態は限定を意図したものではない。本明細書で示す主題の趣旨または範囲から逸脱することなく、他の実施形態が利用可能であり、また他の変更を加えることができる。本明細書において一般的に説明され、かつ図に示される本開示の態様は、多種多様の異なる構成での配置、置き換え、組み合わせ、分離、および設計が可能であり、これらは本明細書においていずれも明示的に企図されることは容易に理解されよう。
【００１２】
例示的な実施形態は、一般に、複数の画像の融合に関する。この技法によって、説明したように、画像のセットを階層的に融合することにより複数の画像から単一の融合画像を生成するための方法が可能になる。以下の部分ではハイパースペクトル画像に関して説明するが、本明細書において説明する技法は、医用画像処理、セキュリティシステムなどのさまざまな他の画像処理の応用例に適用できることを理解されたい。
【００１３】
図１は、例示的な画像システムのブロック図である。画像システム１００は、処理回路１２０と、メモリ回路１５０と、表示ユニット１６０とを備える。図示の実施形態では、複数の画像１１０−Ａ〜１１０−Ｎは、ハイパースペクトル画像キューブのハイパースペクトル画像である。各ブロックについては、以下でさらに詳細に説明する。
【００１４】
処理回路１２０は、複数の画像１１０−Ａ〜１１０−Ｎにアクセスするように構成された１つまたは複数のプロセッサ（図示せず）を含む。これらの画像は、画像センサ１３０から、または外部メモリデバイス１４０からアクセスされることができる。一実施形態では、画像センサ１３０は、可視光ならびに赤外線波長スペクトルを対象として含む高解像度スペクトル画像を提供するハイパースペクトル画像センサを備える。
【００１５】
処理回路は、階層的融合法を使用して複数の画像を最終融合画像に融合するように構成される。この階層的融合法では、最初に、複数の画像が複数のセットにグループ化される。各セット内の画像の数は等しくてもよいし、異なってもよい。
【００１６】
第１段階で、各セットの画像が融合されて複数の融合画像を形成する。この複数の融合画像は、いくつかのセットにさらにグループ化される。次に、第２段階で、各セット内の画像が融合されて第２の複数の融合画像を形成する。このグループ化および融合の処理は、最終融合画像が得られるまで継続される。
【００１７】
例示的な一実施形態では、処理回路１２０は、各画像１１０−Ａ〜１１０−Ｎに対して計算された重みに基づいて画像を融合するように構成される。この処理回路はまた、画像を融合する前に画像のフィルタ処理などの前処理動作を実行するように構成される。
【００１８】
処理回路が各段階においてグループ内の画像を融合するので、画像システムに対するメモリ要件は実質的に軽減される。また、各段階において処理される必要がある画像の数が徐々に減少することにより、画像を融合する計算の複雑度も実質的に低減される。
【００１９】
メモリ回路１５０は、最終融合画像を記憶するように構成される。一実施形態では、このメモリ回路は、中間融合画像および最終融合画像を記憶するように構成される。一実施形態では、処理回路は、最終融合画像にアクセスせずに、中間融合画像にアクセスするように構成されてもよい。
【００２０】
メモリ回路１５０（および外部メモリ１４０）には、ハードディスクドライブ、光ドライブ、テープドライブ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙ ｏｆ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｉｓｋ）、フラッシュメモリ、光磁気メモリ、ホログラフィックメモリ、バブルメモリ、磁気ドラム、メモリスティック、Ｍｙｌａｒ（登録商標）テープ、スマートディスク（ｓｍａｒｔｄｉｓｋ）、薄膜メモリ、Ｚｉｐドライブなどが含まれ得る。表示ユニット１６０は、融合画像を表示するように構成される。表示ユニットの例としては、ＬＣＤ／ＬＥＤ表示システム、陰極線管、プロジェクタ表示ユニットなどがある。上述のように、処理回路は、以下でさらに詳細に説明する階層的融合法を使用して画像を融合するように構成される。
【００２１】
図２は、複数の画像が融合されて単一の画像を形成する例示的な技法を示す流れ図である。ステップ２１０において、複数の画像がアクセスされる。これらの画像は、画像センサから、またはメモリデバイスから直接アクセスされることができる。一実施形態では、これらの複数の画像は、ハイパースペクトル画像を含む。本明細書では、ハイパースペクトル画像とは、電磁スペクトル全体にわたって異なる波長で１つまたは複数の画像センサによって取得された画像を指す。ステップ２２０において、画像が複数のセットにグループ化される。一実施形態では、これらのセットは、等しい数の画像を有する。別の実施形態では、少なくとも２つのセットは、等しくない数の画像を有する。
【００２２】
ステップ２３０において、各セットの画像が融合されて複数の融合画像を形成する。一実施形態では、これらの画像は、セット内の各画像に対して重みを計算し、次に個々の重みに基づいて画像を融合することによって融合される。ステップ２２０および２３０は、ステップ２４０において最終融合画像が得られるまで反復的に実行されることができる。
【００２３】
ステップ２５０において、最終融合画像がメモリ回路に記憶される。一実施形態では、ステップ２３０において生成された融合画像およびステップ２４０において生成された最終融合画像がメモリ回路に記憶される。画像が融合される手法については、以下の例を参照して詳細に説明する。
【００２４】
図３は、階層的融合法の一実施形態を示す線図である。階層的融合法３００は、複数の画像３０１−１〜３０１−Ｎを融合するために実施されることができる。最初のレベル３１０において、画像は、セット３２０−Ａ〜３２０−Ｘにグループ化されることができる。一実施形態では、各セットは「Ｍ」個の画像を有する。
【００２５】
この例では第１の階層レベル３３０と呼ばれる階層レベルにおいて、各セット３２０−Ａ〜３２０−Ｘ内の画像が融合されて対応する複数の画像３３１−１〜３３１−Ｐを形成する。これらの画像は、セット３４０−Ａ〜３４０−Ｙに再度グループ化される。各セット３４０−Ａ〜３４０−Ｙ内の画像は、第２の階層レベル３５０において再度融合される。第２の階層レベルは、複数の融合画像３５１−１〜３５１−Ｑを含む。この例示的な実施形態では、最終的な階層レベル３８０において単一の融合画像３８１が得られるまで、より高い階層レベルにおけるグループ化および融合が継続される。
【００２６】
図３に示される例示的な実施形態では、最終の１つ前の（ｐｒｅ−ｆｉｎａｌ）階層レベル３７０は、３つの画像３７１−１〜３７１−３を含む。本明細書では、最終の１つ前の階層レベルとは、最終的な階層レベルの直前のレベルを指す。各画像は、利用可能な全波長帯域幅の約３分の１の融合画像となる。最終の１つ前の段階で３つの融合画像を生成し、それらを赤、緑、青などの適切な色チャネルに割り当てることによって、三刺激値を用いて可視化する（ｔｒｉｓｔｉｍｕｌｕｓ ｖｉｓｕａｌｉｚａｔｉｏｎ）ためのハイパースペクトル画像キューブのＲＧＢ表現が得られる。
【００２７】
上述の技法によって、メモリの有効利用および計算の複雑度の低減などのいくつかの利点がもたらされる。たとえば、「Ｎ」個の画像からなるセットでは、「Ｍ」個の画像のみがメモリに読み込まれる。結果として中間段階において生成される融合画像によって、そのシーンの中間周波帯域の反射応答の視覚化および解析が容易になる。したがって、「δ」がハイパースペクトル画像セットの個々の狭帯域幅である場合、「Μδ」は第１の段階における融合画像のそれぞれの帯域幅である。
【００２８】
また、リモートセンシングの応用例で使用されるハイパースペクトル画像の場合は、結果として中間階層レベルにおいて生成される融合画像によって、撮像領域の中間周波帯域の反射応答の視覚化および解析が容易になる。上述の技法から得られる画像は、より高いレベルに移動しながらより広帯域に対する応答を含む。たとえば、最終の１つ前の段階３７０における各画像は、ハイパースペクトル帯域幅の全範囲の帯域幅の約３分の１を包含する。最終融合画像は、利用可能なデータの全帯域幅にわたる融合を表す。さらに、本技法では、一度にほんの数個の画像のみを処理することによって計算の複雑度が低減される。
【００２９】
図４は、本開示により複数の画像から融合画像を生成するように構成された例示的なコンピューティングデバイス４００を示すブロック図である。非常に基本な構成４０２において、コンピューティングデバイス４００は、典型的には、１つまたは複数のプロセッサ４０４と、システムメモリ４０６とを含む。プロセッサ４０４とシステムメモリ４０６の間での通信にメモリバス４０８を使用してもよい。
【００３０】
プロセッサ４０４は、所望の構成に応じて、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、またはこれらの任意の組み合わせを含む任意のタイプであってよいが、これらに限定されない。プロセッサ４０４は、１次キャッシュ４１０および２次キャッシュ４１２などの１より多いレベルのキャッシングと、プロセッサコア４１４と、レジスタ４１６とを含んでもよい。例示的なプロセッサコア４１４は、算術論理演算装置（ＡＬＵ）、浮動小数点演算装置（ＦＰＵ）、デジタルシグナルプロセッサコア（ＤＳＰコア）、またはこれらの任意の組み合わせを含んでよい。例示的なメモリコントローラ４１８は、プロセッサ４０４と共に使用されてもよいし、またはいくつかの実装形態では、メモリコントローラ４１８は、プロセッサ４０４の内部部品であってもよい。
【００３１】
システムメモリ４０６は、所望の構成に応じて、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）、またはこれらの任意の組み合わせを含む任意のタイプであってよいが、これらに限定されない。システムメモリ４０６は、オペレーティングシステム４２０と、１つまたは複数のアプリケーション４２２と、プログラムデータ４２４とを含んでよい。アプリケーション４２２は、複数の画像から単一の融合画像を生成するように構成された画像融合アルゴリズム４２６を含んでもよい。プログラムデータ４２４は、本明細書において説明する画像処理などの種々の応用例に有用となり得る単一の画像に融合されるべき画像を含んでよい。いくつかの実施形態では、アプリケーション４２２は、融合画像が画像のセットから生成されるために、オペレーティングシステム４２０上でプログラムデータ４２４を用いて演算を行うように構成されることができる。説明したこの基本的な構成４０２は、図４において内側の破線の内部にあるこれらの構成要素によって示されている。
【００３２】
コンピューティングデバイス４００は、追加の特徴または機能と、基本的な構成４０２と任意の必要なデバイスおよびインタフェースとの間の通信を容易にするための追加のインタフェースとを有してもよい。たとえば、ストレージインタフェースバス４３４を介した、基本的な構成４０２と１つまたは複数のデータストレージデバイス４３２との間の通信を容易にするために、バス／インタフェース制御装置４３０が使用されてもよい。データストレージデバイス４３２は、リムーバブルストレージデバイス４３６、ノンリムーバブルストレージデバイス４３８、またはこれらの組み合わせであってよい。リムーバブルストレージデバイスおよびノンリムーバブルストレージデバイスの例としていくつか挙げると、フレキシブルディスクドライブおよびハードディスクドライブ（ＨＤＤ）などの磁気ディスクデバイス、コンパクトディスク（ＣＤ）ドライブまたはデジタル多用途ディスク（ＤＶＤ）ドライブなどの光ディスクドライブ、ソリッドステートドライブ（ＳＳＤ）、およびテープドライブがある。例示的なコンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術として実施される、揮発性および不揮発性の、リムーバブルおよびノンリムーバブルな媒体が含まれ得る。
【００３３】
システムメモリ４０６、リムーバブルストレージデバイス４３６、およびノンリムーバブルストレージデバイス４３８はコンピュータ記憶媒体の例である。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、または他の磁気ストレージデバイス、または所望の情報を記憶するために使用可能でかつコンピューティングデバイス４００によりアクセス可能な他の任意の媒体があるが、これらに限定されない。このような任意のコンピュータ記憶媒体は、コンピューティングデバイス４００の一部であってもよい。
【００３４】
コンピューティングデバイス４００は、バス／インタフェース制御装置４３０を介した、種々のインタフェースデバイス（たとえば、出力デバイス４４２、周辺装置インタフェース４４４、および通信デバイス４４６）から基本的な構成４０２への通信を容易にするためのインタフェースバス４４０も含んでよい。例示的な出力デバイス４４２は、グラフィックス処理ユニット４４８と、音声処理ユニット４５０とを含み、これらは、１つまたは複数のＡ／Ｖポート４５２を介してディスプレイまたはスピーカなどの種々の外部デバイスに通信するように構成されてもよい。例示的な周辺装置インタフェース４４４は、シリアルインタフェースコントローラ４５４またはパラレルインタフェースコントローラ４５６を含み、これらは、入力デバイス（たとえば、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイスなど）または他の周辺機器（たとえば、プリンタ、スキャナなど）などの外部デバイスと１つまたは複数のＩ／Ｏポート４５８を介して通信するように構成されてもよい。例示的な通信デバイス４４６は、ネットワークコントローラ４６０を含み、これは、１つまたは複数の通信ポート４６４を介したネットワーク通信リンクによる１つまたは複数の他のコンピューティングデバイス４６２との通信を容易にするように構成されてもよい。
【００３５】
ネットワーク通信リンクは通信媒体の一例であり得る。通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波もしくは他の移送機構などの変調データ信号内の他のデータによって実施でき、任意の情報配信媒体を含んでよい。「変調データ信号」は、信号内の情報を符号化するようにその特性のうちの１つまたは複数を設定または変更させた信号であってよい。限定ではなく、例として、通信媒体には、有線ネットワークまたは直接有線接続（ｄｉｒｅｃｔ−ｗｉｒｅｄ ｃｏｎｎｅｃｔｉｏｎ）などの有線媒体、ならびに音響、無線周波数（ＲＦ）、赤外線（ＩＲ）、および他の無線媒体などの無線媒体が含まれ得る。本明細書で使用するコンピュータ可読媒体という用語は、記憶媒体と通信媒体の両方を含むことができる。
【００３６】
コンピューティングデバイス４００は、携帯電話、携帯情報端末（ＰＤＡ）、パーソナルメディアプレーヤーデバイス、ワイヤレスウェブウォッチデバイス、パーソナルヘッドセットデバイス、特定用途向けデバイス、または上記の機能のいずれかを含むハイブリッドデバイスなどの小型ポータブル（またはモバイル）電子デバイスの一部分として実施されてもよい。コンピューティングデバイス４００は、ラップトップコンピュータ構成とラップトップではないコンピュータ構成の両方を含むパーソナルコンピュータとして実施されてもよい。
【００３７】
本開示は、種々の態様の例示として意図される、本出願で説明する特定の実施形態に関して限定されるものではない。当業者には明らかであるように、その趣旨および範囲から逸脱することなく、多数の修正および変形を加えることができる。前述の説明から、本明細書において列挙された方法および装置に加えて、本開示の範囲内にある機能的に等価な方法および装置が当業者には明らかであろう。かかる修正および変形は、添付の特許請求の範囲内に含まれるものである。本開示は、添付の特許請求の範囲により与えられる等価物の全範囲と共に、かかる特許請求の範囲の項によってのみ限定されるべきである。本開示は特定の方法、試薬、化合物組成、または生体系に限定されるものではなく、これらは当然のことながら変更できることを理解されたい。本明細書で使用する用語は特定の実施形態を説明することのみを目的としており、限定を意図するものではないことも理解されたい。
【００３８】
本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。さまざまな単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
【００３９】
通常、本明細書において、特に添付の特許請求の範囲（たとえば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（たとえば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。たとえば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」および「１つまたは複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（たとえば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（たとえば、他の修飾語なしでの「２つの記載（ｔｗｏ ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。さらに、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ ｏｆ ｔｈｅ ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ ｏｆ ｔｈｅ ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。たとえば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。
【００４０】
当業者には理解されるように、明細書の提供などに関するあらゆる目的のために、本明細書で開示されるすべての範囲は、考えられるあらゆる部分範囲およびその部分範囲の組み合わせも包含する。記載されたあらゆる範囲は、その同じ範囲が少なくとも等しい２分の１、３分の１、４分の１、５分の１、１０分の１などに分解されることを十分に説明し、かつ可能にすると容易に認識することができる。非限定的な例として、本明細書において説明した各範囲は、下位３分の１、中位３分の１、および上位３分の１などに容易に分解することができる。同様に当業者によって理解されるように、「最大」、「少なくとも」、「より大きい」、「より小さい」などの文言は、記載された数を含み、かつ続いて上述の部分範囲に分解できる範囲を指す。最後に、当業者によって理解されるように、範囲は各個々の要素を含む。したがって、たとえば、１〜３個のセルを有するグループは、１、２、または３個のセルを有するグループを指す。同様に、１〜５個のセルを有するグループは、１、２、３、４、または５個のセルを有するグループを指し、以下同様である。
【００４１】
本明細書において種々の態様および実施形態を開示してきたが、他の態様および実施形態は当業者に明らかであろう。本明細書で開示される種々の態様および実施形態は例示を目的としており、限定を意図するものではない。真の範囲および趣旨は、以下の特許請求の範囲によって示される。
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２００９年１２月２３日に出願されたインド特許出願第２９８１／ＭＵＭ／２００９号の優先権を主張する、２０１０年２月１０日に出願された米国特許出願第１２／７０３，５９４号の利益を主張するものであり、これらの出願はどちらも、その全体が参照により本明細書に組み込まれる。
【０００２】
本発明は、画像処理システムに関し、より詳細には、いくつかの画像を融合するためのシステムおよび方法に関する。
【背景技術】
【０００３】
ハイパースペクトル画像の応用例などの多数の画像処理の応用例では、いくつかの画像センサを用いて関心領域の画像を得る。このような画像は、通常、いくつかの画像バンド（ｉｍａｇｅ ｂａｎｄ）を含む豊富な多次元情報を提示する。典型的には、これらの画像は融合されて単一の画像を形成する。この単一の融合画像は、最初に受け取られたすべての画像から抽出された特徴を含む。
【０００４】
さまざまな情報を有する複数の画像を１つの融合画像に結合するために適用できるいくつかの画像融合法がある。具体的には、数百の画像が１つの画像に融合されることが必要な場合があるハイパースペクトル画像の応用例では、マルチバンドの画像融合法が用いられる。マルチバンド画像融合法では、同じ空間分解能のいくつかの画像が結合されて単一の画像を形成する。
【０００５】
複数の画像を融合して単一の画像にする間に、いくつかの問題が存在する。多数の画像バンドが画像セットに存在するので、処理の計算コストが高くなる場合がある。さらに、単一のハイパースペクトル画像データセットが多数の画像バンドを含むことがあるので、画像の記憶には、大量のメモリが必要となる。具体的には、ハイパースペクトルの応用例において、ハイパースペクトルデータキューブ内の隣接する画像バンドは、センサの近接性および狭域性（ｃｏｎｔｉｇｕｏｕｓ ａｎｄ ｎａｒｒｏｗ ｎａｔｕｒｅ）により、それらの画像バンド間での高度の空間的相関を示す。効率的な処理を行い、計算のオーバーヘッドを減少させるために、冗長データを除去する必要がある。
【発明の概要】
【０００６】
簡略に言えば、本技法の一実施形態によれば、融合画像を生成するための方法が提供される。この方法は、複数の画像にアクセスすること、これらの画像を複数のセットにグループ化すること、各セットの画像を融合して複数の融合画像を形成すること、およびこの融合画像を融合して最終融合画像を形成することを含む。
【０００７】
別の実施形態では、融合画像を生成するためのシステムが提供される。このシステムは、複数の画像にアクセスすること、第１の階層レベルでこれらの画像を複数のセットにグループ化すること、および第１の階層レベルで各セットの画像を融合することを含む。この方法は、第１の階層レベルからの融合画像をグループ化して、第２の階層レベルで画像のセットを形成すること、この第２の階層レベルで各セットの画像を融合すること、単一の融合画像が得られるまで、より高い階層レベルでのグループ化および融合を継続することをさらに含む。
【０００８】
別の実施形態では、複数の画像を融合するための画像処理システムが提供される。このシステムは、複数の画像にアクセスし、これらの画像を複数のセットにグループ化し、各セットの画像を融合して複数の融合画像を形成し、これらの融合画像を融合して最終融合画像を形成するように構成された処理回路を備える。
【０００９】
前述の概要は例示的なものに過ぎず、いかなる形であれ限定を意図するものではない。図面および以下の詳細な説明を参照すれば、上述の例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴が明らかになるであろう。
【図面の簡単な説明】
【００１０】
【図１】例示的な画像システムのブロック図である。
【図２】複数の画像を単一の画像に融合するための１つの方法を示す流れ図である。
【図３】複数の画像を単一の画像に融合するための例示的な階層的融合法を実施する線図である。
【図４】コンピューティングデバイスの一実施形態のブロック図である。
【発明を実施するための形態】
【００１１】
以下の詳細な説明では、本発明の一部を形成する添付の図面を参照する。図面においては、文脈上特に指示しない限り、同じ符号は典型的には同じ構成要素を識別する。詳細な説明、図面、および特許請求の範囲に記載する例示的な実施形態は限定を意図したものではない。本明細書で示す主題の趣旨または範囲から逸脱することなく、他の実施形態が利用可能であり、また他の変更を加えることができる。本明細書において一般的に説明され、かつ図に示される本開示の態様は、多種多様の異なる構成での配置、置き換え、組み合わせ、分離、および設計が可能であり、これらは本明細書においていずれも明示的に企図されることは容易に理解されよう。
【００１２】
例示的な実施形態は、一般に、複数の画像の融合に関する。この技法によって、説明したように、画像のセットを階層的に融合することにより複数の画像から単一の融合画像を生成するための方法が可能になる。以下の部分ではハイパースペクトル画像に関して説明するが、本明細書において説明する技法は、医用画像処理、セキュリティシステムなどのさまざまな他の画像処理の応用例に適用できることを理解されたい。
【００１３】
図１は、例示的な画像システムのブロック図である。画像システム１００は、処理回路１２０と、メモリ回路１５０と、表示ユニット１６０とを備える。図示の実施形態では、複数の画像１１０−Ａ〜１１０−Ｎは、ハイパースペクトル画像キューブのハイパースペクトル画像である。各ブロックについては、以下でさらに詳細に説明する。
【００１４】
処理回路１２０は、複数の画像１１０−Ａ〜１１０−Ｎにアクセスするように構成された１つまたは複数のプロセッサ（図示せず）を含む。これらの画像は、画像センサ１３０から、または外部メモリデバイス１４０からアクセスされることができる。一実施形態では、画像センサ１３０は、可視光ならびに赤外線波長スペクトルを対象として含む高解像度スペクトル画像を提供するハイパースペクトル画像センサを備える。
【００１５】
処理回路は、階層的融合法を使用して複数の画像を最終融合画像に融合するように構成される。この階層的融合法では、最初に、複数の画像が複数のセットにグループ化される。各セット内の画像の数は等しくてもよいし、異なってもよい。
【００１６】
第１段階で、各セットの画像が融合されて複数の融合画像を形成する。この複数の融合画像は、いくつかのセットにさらにグループ化される。次に、第２段階で、各セット内の画像が融合されて第２の複数の融合画像を形成する。このグループ化および融合の処理は、最終融合画像が得られるまで継続される。
【００１７】
例示的な一実施形態では、処理回路１２０は、各画像１１０−Ａ〜１１０−Ｎに対して計算された重みに基づいて画像を融合するように構成される。この処理回路はまた、画像を融合する前に画像のフィルタ処理などの前処理動作を実行するように構成される。
【００１８】
処理回路が各段階においてグループ内の画像を融合するので、画像システムに対するメモリ要件は実質的に軽減される。また、各段階において処理される必要がある画像の数が徐々に減少することにより、画像を融合する計算の複雑度も実質的に低減される。
【００１９】
メモリ回路１５０は、最終融合画像を記憶するように構成される。一実施形態では、このメモリ回路は、中間融合画像および最終融合画像を記憶するように構成される。一実施形態では、処理回路は、最終融合画像にアクセスせずに、中間融合画像にアクセスするように構成されてもよい。
【００２０】
メモリ回路１５０（および外部メモリ１４０）には、ハードディスクドライブ、光ドライブ、テープドライブ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙ ｏｆ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｉｓｋ）、フラッシュメモリ、光磁気メモリ、ホログラフィックメモリ、バブルメモリ、磁気ドラム、メモリスティック、Ｍｙｌａｒ（登録商標）テープ、スマートディスク（ｓｍａｒｔｄｉｓｋ）、薄膜メモリ、Ｚｉｐドライブなどが含まれ得る。表示ユニット１６０は、融合画像を表示するように構成される。表示ユニットの例としては、ＬＣＤ／ＬＥＤ表示システム、陰極線管、プロジェクタ表示ユニットなどがある。上述のように、処理回路は、以下でさらに詳細に説明する階層的融合法を使用して画像を融合するように構成される。
【００２１】
図２は、複数の画像が融合されて単一の画像を形成する例示的な技法を示す流れ図である。ステップ２１０において、複数の画像がアクセスされる。これらの画像は、画像センサから、またはメモリデバイスから直接アクセスされることができる。一実施形態では、これらの複数の画像は、ハイパースペクトル画像を含む。本明細書では、ハイパースペクトル画像とは、電磁スペクトル全体にわたって異なる波長で１つまたは複数の画像センサによって取得された画像を指す。ステップ２２０において、画像が複数のセットにグループ化される。一実施形態では、これらのセットは、等しい数の画像を有する。別の実施形態では、少なくとも２つのセットは、等しくない数の画像を有する。
【００２２】
ステップ２３０において、各セットの画像が融合されて複数の融合画像を形成する。一実施形態では、これらの画像は、セット内の各画像に対して重みを計算し、次に個々の重みに基づいて画像を融合することによって融合される。ステップ２２０および２３０は、ステップ２４０において最終融合画像が得られるまで反復的に実行されることができる。
【００２３】
ステップ２５０において、最終融合画像がメモリ回路に記憶される。一実施形態では、ステップ２３０において生成された融合画像およびステップ２４０において生成された最終融合画像がメモリ回路に記憶される。画像が融合される手法については、以下の例を参照して詳細に説明する。
【００２４】
図３は、階層的融合法の一実施形態を示す線図である。階層的融合法３００は、複数の画像３０１−１〜３０１−Ｎを融合するために実施されることができる。最初のレベル３１０において、画像は、セット３２０−Ａ〜３２０−Ｘにグループ化されることができる。一実施形態では、各セットは「Ｍ」個の画像を有する。
【００２５】
この例では第１の階層レベル３３０と呼ばれる階層レベルにおいて、各セット３２０−Ａ〜３２０−Ｘ内の画像が融合されて対応する複数の画像３３１−１〜３３１−Ｐを形成する。これらの画像は、セット３４０−Ａ〜３４０−Ｙに再度グループ化される。各セット３４０−Ａ〜３４０−Ｙ内の画像は、第２の階層レベル３５０において再度融合される。第２の階層レベルは、複数の融合画像３５１−１〜３５１−Ｑを含む。この例示的な実施形態では、最終的な階層レベル３８０において単一の融合画像３８１が得られるまで、より高い階層レベルにおけるグループ化および融合が継続される。
【００２６】
図３に示される例示的な実施形態では、最終の１つ前の（ｐｒｅ−ｆｉｎａｌ）階層レベル３７０は、３つの画像３７１−１〜３７１−３を含む。本明細書では、最終の１つ前の階層レベルとは、最終的な階層レベルの直前のレベルを指す。各画像は、利用可能な全波長帯域幅の約３分の１の融合画像となる。最終の１つ前の段階で３つの融合画像を生成し、それらを赤、緑、青などの適切な色チャネルに割り当てることによって、三刺激値を用いて可視化する（ｔｒｉｓｔｉｍｕｌｕｓ ｖｉｓｕａｌｉｚａｔｉｏｎ）ためのハイパースペクトル画像キューブのＲＧＢ表現が得られる。
【００２７】
上述の技法によって、メモリの有効利用および計算の複雑度の低減などのいくつかの利点がもたらされる。たとえば、「Ｎ」個の画像からなるセットでは、「Ｍ」個の画像のみがメモリに読み込まれる。結果として中間段階において生成される融合画像によって、そのシーンの中間周波帯域の反射応答の視覚化および解析が容易になる。したがって、「δ」がハイパースペクトル画像セットの個々の狭帯域幅である場合、「Μδ」は第１の段階における融合画像のそれぞれの帯域幅である。
【００２８】
また、リモートセンシングの応用例で使用されるハイパースペクトル画像の場合は、結果として中間階層レベルにおいて生成される融合画像によって、撮像領域の中間周波帯域の反射応答の視覚化および解析が容易になる。上述の技法から得られる画像は、より高いレベルに移動しながらより広帯域に対する応答を含む。たとえば、最終の１つ前の段階３７０における各画像は、ハイパースペクトル帯域幅の全範囲の帯域幅の約３分の１を包含する。最終融合画像は、利用可能なデータの全帯域幅にわたる融合を表す。さらに、本技法では、一度にほんの数個の画像のみを処理することによって計算の複雑度が低減される。
【００２９】
図４は、本開示により複数の画像から融合画像を生成するように構成された例示的なコンピューティングデバイス４００を示すブロック図である。非常に基本な構成４０２において、コンピューティングデバイス４００は、典型的には、１つまたは複数のプロセッサ４０４と、システムメモリ４０６とを含む。プロセッサ４０４とシステムメモリ４０６の間での通信にメモリバス４０８を使用してもよい。
【００３０】
プロセッサ４０４は、所望の構成に応じて、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、またはこれらの任意の組み合わせを含む任意のタイプであってよいが、これらに限定されない。プロセッサ４０４は、１次キャッシュ４１０および２次キャッシュ４１２などの１より多いレベルのキャッシングと、プロセッサコア４１４と、レジスタ４１６とを含んでもよい。例示的なプロセッサコア４１４は、算術論理演算装置（ＡＬＵ）、浮動小数点演算装置（ＦＰＵ）、デジタルシグナルプロセッサコア（ＤＳＰコア）、またはこれらの任意の組み合わせを含んでよい。例示的なメモリコントローラ４１８は、プロセッサ４０４と共に使用されてもよいし、またはいくつかの実装形態では、メモリコントローラ４１８は、プロセッサ４０４の内部部品であってもよい。
【００３１】
システムメモリ４０６は、所望の構成に応じて、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）、またはこれらの任意の組み合わせを含む任意のタイプであってよいが、これらに限定されない。システムメモリ４０６は、オペレーティングシステム４２０と、１つまたは複数のアプリケーション４２２と、プログラムデータ４２４とを含んでよい。アプリケーション４２２は、複数の画像から単一の融合画像を生成するように構成された画像融合アルゴリズム４２６を含んでもよい。プログラムデータ４２４は、本明細書において説明する画像処理などの種々の応用例に有用となり得る単一の画像に融合されるべき画像を含んでよい。いくつかの実施形態では、アプリケーション４２２は、融合画像が画像のセットから生成されるために、オペレーティングシステム４２０上でプログラムデータ４２４を用いて演算を行うように構成されることができる。説明したこの基本的な構成４０２は、図４において内側の破線の内部にあるこれらの構成要素によって示されている。
【００３２】
コンピューティングデバイス４００は、追加の特徴または機能と、基本的な構成４０２と任意の必要なデバイスおよびインタフェースとの間の通信を容易にするための追加のインタフェースとを有してもよい。たとえば、ストレージインタフェースバス４３４を介した、基本的な構成４０２と１つまたは複数のデータストレージデバイス４３２との間の通信を容易にするために、バス／インタフェース制御装置４３０が使用されてもよい。データストレージデバイス４３２は、リムーバブルストレージデバイス４３６、ノンリムーバブルストレージデバイス４３８、またはこれらの組み合わせであってよい。リムーバブルストレージデバイスおよびノンリムーバブルストレージデバイスの例としていくつか挙げると、フレキシブルディスクドライブおよびハードディスクドライブ（ＨＤＤ）などの磁気ディスクデバイス、コンパクトディスク（ＣＤ）ドライブまたはデジタル多用途ディスク（ＤＶＤ）ドライブなどの光ディスクドライブ、ソリッドステートドライブ（ＳＳＤ）、およびテープドライブがある。例示的なコンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術として実施される、揮発性および不揮発性の、リムーバブルおよびノンリムーバブルな媒体が含まれ得る。
【００３３】
システムメモリ４０６、リムーバブルストレージデバイス４３６、およびノンリムーバブルストレージデバイス４３８はコンピュータ記憶媒体の例である。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、または他の磁気ストレージデバイス、または所望の情報を記憶するために使用可能でかつコンピューティングデバイス４００によりアクセス可能な他の任意の媒体があるが、これらに限定されない。このような任意のコンピュータ記憶媒体は、コンピューティングデバイス４００の一部であってもよい。
【００３４】
コンピューティングデバイス４００は、バス／インタフェース制御装置４３０を介した、種々のインタフェースデバイス（たとえば、出力デバイス４４２、周辺装置インタフェース４４４、および通信デバイス４４６）から基本的な構成４０２への通信を容易にするためのインタフェースバス４４０も含んでよい。例示的な出力デバイス４４２は、グラフィックス処理ユニット４４８と、音声処理ユニット４５０とを含み、これらは、１つまたは複数のＡ／Ｖポート４５２を介してディスプレイまたはスピーカなどの種々の外部デバイスに通信するように構成されてもよい。例示的な周辺装置インタフェース４４４は、シリアルインタフェースコントローラ４５４またはパラレルインタフェースコントローラ４５６を含み、これらは、入力デバイス（たとえば、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイスなど）または他の周辺機器（たとえば、プリンタ、スキャナなど）などの外部デバイスと１つまたは複数のＩ／Ｏポート４５８を介して通信するように構成されてもよい。例示的な通信デバイス４４６は、ネットワークコントローラ４６０を含み、これは、１つまたは複数の通信ポート４６４を介したネットワーク通信リンクによる１つまたは複数の他のコンピューティングデバイス４６２との通信を容易にするように構成されてもよい。
【００３５】
ネットワーク通信リンクは通信媒体の一例であり得る。通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波もしくは他の移送機構などの変調データ信号内の他のデータによって実施でき、任意の情報配信媒体を含んでよい。「変調データ信号」は、信号内の情報を符号化するようにその特性のうちの１つまたは複数を設定または変更させた信号であってよい。限定ではなく、例として、通信媒体には、有線ネットワークまたは直接有線接続（ｄｉｒｅｃｔ−ｗｉｒｅｄ ｃｏｎｎｅｃｔｉｏｎ）などの有線媒体、ならびに音響、無線周波数（ＲＦ）、赤外線（ＩＲ）、および他の無線媒体などの無線媒体が含まれ得る。本明細書で使用するコンピュータ可読媒体という用語は、記憶媒体と通信媒体の両方を含むことができる。
【００３６】
コンピューティングデバイス４００は、携帯電話、携帯情報端末（ＰＤＡ）、パーソナルメディアプレーヤーデバイス、ワイヤレスウェブウォッチデバイス、パーソナルヘッドセットデバイス、特定用途向けデバイス、または上記の機能のいずれかを含むハイブリッドデバイスなどの小型ポータブル（またはモバイル）電子デバイスの一部分として実施されてもよい。コンピューティングデバイス４００は、ラップトップコンピュータ構成とラップトップではないコンピュータ構成の両方を含むパーソナルコンピュータとして実施されてもよい。
【００３７】
本開示は、種々の態様の例示として意図される、本出願で説明する特定の実施形態に関して限定されるものではない。当業者には明らかであるように、その趣旨および範囲から逸脱することなく、多数の修正および変形を加えることができる。前述の説明から、本明細書において列挙された方法および装置に加えて、本開示の範囲内にある機能的に等価な方法および装置が当業者には明らかであろう。かかる修正および変形は、添付の特許請求の範囲内に含まれるものである。本開示は、添付の特許請求の範囲により与えられる等価物の全範囲と共に、かかる特許請求の範囲の項によってのみ限定されるべきである。本開示は特定の方法、試薬、化合物組成、または生体系に限定されるものではなく、これらは当然のことながら変更できることを理解されたい。本明細書で使用する用語は特定の実施形態を説明することのみを目的としており、限定を意図するものではないことも理解されたい。
【００３８】
本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。さまざまな単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
【００３９】
通常、本明細書において、特に添付の特許請求の範囲（たとえば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（たとえば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。たとえば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」および「１つまたは複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（たとえば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（たとえば、他の修飾語なしでの「２つの記載（ｔｗｏ ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。さらに、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ ｏｆ ｔｈｅ ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ ｏｆ ｔｈｅ ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。たとえば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。
【００４０】
当業者には理解されるように、明細書の提供などに関するあらゆる目的のために、本明細書で開示されるすべての範囲は、考えられるあらゆる部分範囲およびその部分範囲の組み合わせも包含する。記載されたあらゆる範囲は、その同じ範囲が少なくとも等しい２分の１、３分の１、４分の１、５分の１、１０分の１などに分解されることを十分に説明し、かつ可能にすると容易に認識することができる。非限定的な例として、本明細書において説明した各範囲は、下位３分の１、中位３分の１、および上位３分の１などに容易に分解することができる。同様に当業者によって理解されるように、「最大」、「少なくとも」、「より大きい」、「より小さい」などの文言は、記載された数を含み、かつ続いて上述の部分範囲に分解できる範囲を指す。最後に、当業者によって理解されるように、範囲は各個々の要素を含む。したがって、たとえば、１〜３個のセルを有するグループは、１、２、または３個のセルを有するグループを指す。同様に、１〜５個のセルを有するグループは、１、２、３、４、または５個のセルを有するグループを指し、以下同様である。
【００４１】
本明細書において種々の態様および実施形態を開示してきたが、他の態様および実施形態は当業者に明らかであろう。本明細書で開示される種々の態様および実施形態は例示を目的としており、限定を意図するものではない。真の範囲および趣旨は、以下の特許請求の範囲によって示される。
【特許請求の範囲】
【請求項１】
複数の画像を融合する方法であって、
複数の画像にアクセスすること、
前記画像を複数のセットにグループ化すること、
各セットの画像を融合して複数の融合画像を形成すること、および
前記融合画像を融合して最終融合画像を形成すること
を含む方法。
【請求項２】
前記画像を融合することが、前記複数の画像のそれぞれに対して重みを計算すること、および各画像の前記重みに基づいて前記画像を融合することを含む、請求項１に記載の方法。
【請求項３】
画像の各セットが、等しい数の画像を含む、請求項１に記載の方法。
【請求項４】
画像の少なくとも２つのセットが、異なる数の画像を含む、請求項１に記載の方法。
【請求項５】
前記最終融合画像を記憶することをさらに含む、請求項１に記載の方法。
【請求項６】
前記複数の融合画像および前記最終融合画像を記憶することをさらに含む、請求項１に記載の方法。
【請求項７】
前記最終融合画像にアクセスせずに、前記記憶された融合画像にアクセスすることをさらに含む、請求項６に記載の方法。
【請求項８】
複数の画像を融合する方法であって、
複数の画像にアクセスすること、
第１の階層レベルで前記画像を複数のセットにグループ化すること、
前記第１の階層レベルで各セットの前記画像を融合すること、
前記第１の階層レベルからの前記融合画像をグループ化して、第２の階層レベルの画像のセットを形成すること、
前記第２の階層レベルで各セットの前記画像を融合すること、および
単一の融合画像が得られるまで、より高い階層レベルでのグループ化および融合を継続すること
を含む方法。
【請求項９】
前記融合することが、前記複数のセットの各画像に対する重みを計算すること、および各画像の前記重みに基づいて各セットの前記画像を融合することを含む、請求項８に記載の方法。
【請求項１０】
画像の各セットが、等しい数の画像を含む、請求項８に記載の方法。
【請求項１１】
画像の少なくとも２つのセットが、異なる数の画像を含む、請求項８に記載の方法。
【請求項１２】
最終融合画像にアクセスせずに、記憶された融合画像にアクセスすることをさらに含む、請求項８に記載の方法。
【請求項１３】
複数の画像を融合するための画像処理システムであって、
複数の画像にアクセスし、
前記画像を複数のセットにグループ化し、
各セットの前記画像を融合して複数の融合画像を形成し、
前記融合画像を融合して最終融合画像を形成する
ように構成された処理回路
を備えるシステム。
【請求項１４】
前記処理回路が、前記複数の画像のそれぞれに対して計算された重みに基づいて前記画像を融合するようにさらに構成される、請求項１３に記載のシステム。
【請求項１５】
画像の各セットが、等しい数の画像を含む、請求項１３に記載のシステム。
【請求項１６】
画像の少なくとも２つのセットが、異なる数の画像を含む、請求項１３に記載のシステム。
【請求項１７】
前記最終融合画像を記憶するように構成されたメモリ回路をさらに備える、請求項１３に記載のシステム。
【請求項１８】
前記メモリ回路が、すべての融合画像および前記最終融合画像を記憶するように構成される、請求項１７に記載のシステム。
【請求項１９】
前記処理回路が、前記最終融合画像にアクセスせずに、記憶された融合画像にアクセスするように構成される、請求項１３に記載のシステム。
【請求項２０】
前記複数の画像がハイパースペクトル画像を含む、請求項１３に記載のシステム。
【請求項１】
複数の画像を融合する方法であって、
複数の画像にアクセスすること、
前記画像を複数のセットにグループ化すること、
各セットの画像を融合して複数の融合画像を形成すること、および
前記融合画像を融合して最終融合画像を形成すること
を含む方法。
【請求項２】
前記画像を融合することが、前記複数の画像のそれぞれに対して重みを計算すること、および各画像の前記重みに基づいて前記画像を融合することを含む、請求項１に記載の方法。
【請求項３】
画像の各セットが、等しい数の画像を含む、請求項１に記載の方法。
【請求項４】
画像の少なくとも２つのセットが、異なる数の画像を含む、請求項１に記載の方法。
【請求項５】
前記最終融合画像を記憶することをさらに含む、請求項１に記載の方法。
【請求項６】
前記複数の融合画像および前記最終融合画像を記憶することをさらに含む、請求項１に記載の方法。
【請求項７】
前記最終融合画像にアクセスせずに、前記記憶された融合画像にアクセスすることをさらに含む、請求項６に記載の方法。
【請求項８】
複数の画像を融合する方法であって、
複数の画像にアクセスすること、
第１の階層レベルで前記画像を複数のセットにグループ化すること、
前記第１の階層レベルで各セットの前記画像を融合すること、
前記第１の階層レベルからの前記融合画像をグループ化して、第２の階層レベルの画像のセットを形成すること、
前記第２の階層レベルで各セットの前記画像を融合すること、および
単一の融合画像が得られるまで、より高い階層レベルでのグループ化および融合を継続すること
を含む方法。
【請求項９】
前記融合することが、前記複数のセットの各画像に対する重みを計算すること、および各画像の前記重みに基づいて各セットの前記画像を融合することを含む、請求項８に記載の方法。
【請求項１０】
画像の各セットが、等しい数の画像を含む、請求項８に記載の方法。
【請求項１１】
画像の少なくとも２つのセットが、異なる数の画像を含む、請求項８に記載の方法。
【請求項１２】
最終融合画像にアクセスせずに、記憶された融合画像にアクセスすることをさらに含む、請求項８に記載の方法。
【請求項１３】
複数の画像を融合するための画像処理システムであって、
複数の画像にアクセスし、
前記画像を複数のセットにグループ化し、
各セットの前記画像を融合して複数の融合画像を形成し、
前記融合画像を融合して最終融合画像を形成する
ように構成された処理回路
を備えるシステム。
【請求項１４】
前記処理回路が、前記複数の画像のそれぞれに対して計算された重みに基づいて前記画像を融合するようにさらに構成される、請求項１３に記載のシステム。
【請求項１５】
画像の各セットが、等しい数の画像を含む、請求項１３に記載のシステム。
【請求項１６】
画像の少なくとも２つのセットが、異なる数の画像を含む、請求項１３に記載のシステム。
【請求項１７】
前記最終融合画像を記憶するように構成されたメモリ回路をさらに備える、請求項１３に記載のシステム。
【請求項１８】
前記メモリ回路が、すべての融合画像および前記最終融合画像を記憶するように構成される、請求項１７に記載のシステム。
【請求項１９】
前記処理回路が、前記最終融合画像にアクセスせずに、記憶された融合画像にアクセスするように構成される、請求項１３に記載のシステム。
【請求項２０】
前記複数の画像がハイパースペクトル画像を含む、請求項１３に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２０１３−５１５９９４（Ｐ２０１３−５１５９９４Ａ）
【公表日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１２−５４５４６１（Ｐ２０１２−５４５４６１）
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【国際出願番号】ＰＣＴ／ＩＢ２０１０／００２８７７
【国際公開番号】ＷＯ２０１１／０７７２０２
【国際公開日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（５０９２６９８７２）インディアン インスティテュート オブ テクノロジー， ボンベイ (3)
【Ｆターム（参考）】
【公表日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【国際出願番号】ＰＣＴ／ＩＢ２０１０／００２８７７
【国際公開番号】ＷＯ２０１１／０７７２０２
【国際公開日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（５０９２６９８７２）インディアン インスティテュート オブ テクノロジー， ボンベイ (3)
【Ｆターム（参考）】
[ Back to top ]