説明

新型背景推定技術及びハイパースペクトル標的検出法

【課題】ハイパースペクトルイメージデータに基づく標的検出のためのシステム、回路、及び方法が開示される。
【解決手段】フィルタ係数は、修正済みの制約付きエネルギー最小化(CEM)法を用いて決定される。修正済みCEM法は、制約付きリニアプログラミング最適化を実行するように動作可能な回路に使用することができる。フィルタ係数を含むフィルタを、ハイパースペクトルイメージデータの複数のピクセルに適用することにより、それらピクセルのCEM値が形成され、このCEM値に基づいて一又は複数の標的ピクセルが特定される。本プロセスを繰返すことにより、ハイパースペクトルイメージデータから前記特定された標的ピクセルを除外することによって決定されるフィルタ係数を使用して、標的認識を向上させることができる。

【発明の詳細な説明】
【技術分野】
【0001】
本明細書の実施形態は、概してハイパースペクトルイメージング及び検出に関し、具体的にはハイパースペクトル標的検出に関する。
【背景技術】
【0002】
ハイパースペクトルイメージング及び検出は、通常、必ずしも隣接しない広い電磁スペクトルバンドを利用して対象物のイメージング及び/又は検出を行う一種のスペクトルイメージング及び解析である。ハイパースペクトルリモートセンシングは、広い用途を有し、例えば採鉱及び地質学において、油及び鉱物の探索に使用することができる。ハイパースペクトルイメージングは、生態学と監視、空港保安、並びに古代の判読不能な文章の画像化といった歴史的手書き原稿などの広い分野でも使用されている。衝突回避といった自動車の分野にも使用されている。また、ハイパースペクトルイメージング技術は、無人航空機(UAV)を使用する情報、監視、及び偵察(ISR)の用途などの、様々な標的検出のアプリケーションに関連している。
【0003】
ハイパースペクトルイメージング及び検出システムは、一又は複数のセンサからハイパースペクトルイメージデータを受信する。このハイパースペクトルイメージデータには、通常、数百〜数千のスペクトルバンドが含まれている。ハイパースペクトルセンサは、通常、各々がピクセルの二次元配列である一組のイメージのような情報を収集する。各ピクセルは、電磁スペクトル(スペクトルバンド)の範囲内において受信されたエネルギーを測定及び表示する。次いでこれらのイメージは複数の平面に合成されて三次元のハイパースペクトルキューブを形成する。このキューブにおいて、深さは各スペクトルバンドのピクセル配列平面を表わしている。
【0004】
一又は複数のセンサの精度は、一般にスペクトル分解能において測定される。スペクトル分解能は、一又はセンサによって捕捉されたスペクトルの各バンドのバンド幅である。ハイパースペクトルイメージング及び検出システムが極めて狭い多数の周波数バンドを受信する場合、対象物が少数のピクセルに捕捉されているだけでも、対象物を特定することができる。しかしながら、スペクトル分解能だけでなく空間的分解能も一の因子である。一のピクセルが大きすぎる表面積からのスペクトルを受信する場合、同じピクセルに複数の対象物が受信される場合があり、これは標的の特定を困難にする。ピクセルが小さすぎる場合、各センサ−セルによって捕捉されるエネルギーが低く、信号対雑音比が低下することにより、測定された特徴の信頼性が低下する。
【0005】
背景から標的材料を特定するため、及び/又はピクセル内の未知の材料を特定するために、様々なアルゴリズムが存在する。一般に、このようなアルゴリズムは、最前のアナログ信号を、高速且つ高ダイナミックレンジのアナログ−デジタル変換(デジタル化)した後、極めて複雑且つ計算機負荷の高いデジタル信号処理(DSP)を必要とする。デジタル化及びDSPは共に大きな電力を消費しうる。従来のアナログ式信号処理のようなハードウェアにおける既存のアルゴリズムの実装は、例えば相補型金属酸化膜半導体(CMOS)技術を用いるもののような、スケーリングされたアナログ回路の性能限界により最適でない場合がある。反対に、伝統的なDSPアプローチは高速サンプリングと演繹的デジタル化とを必要とし、これは電力消費が大きいこと、及び結果的に得られる演算速度が低いことによる限界を有しうる。既存の制約付きエネルギー最小化(CEM)アルゴリズムの実装のような伝統的なハイパースペクトル標的検出アルゴリズムは、特に小型で電力に制限のある移動プラットフォームにおいて、実時間又は準実時間で動作できない場合がある。
【0006】
したがって、実時間又は準実時間で動作できる、ハイパースペクトルイメージング及び検出、回路、検出アルゴリズム、及び背景推定技術に対する需要が存在する。
【発明の概要】
【0007】
ハイパースペクトルイメージデータに基づく標的検出のためのシステム、回路、及び方法が開示される。修正された制約付きエネルギー最小化(CEM)法を用いてフィルタ係数が決定される。修正されたCEM法は、制約付きリニアプログラミング最適化を実行するように動作可能な回路において動作することができる。フィルタ係数を含むフィルタをハイパースペクトルイメージデータの複数のピクセルに適用することにより、ピクセルのCEM値が形成され、このCEM値に基づいて一又は複数のピクセルが特定される。本方法を繰返すことにより、ハイパースペクトルイメージデータに基づいて特定された標的ピクセルを除外することによって決定されるフィルタ係数を使用することにより、標的認識を強化することができる。
【0008】
第1の実施形態は、標的材料からなる標的スペクトルと背景材料からなる背景スペクトルとを含む複数のピクセルを含むハイパースペクトルイメージデータに基づいて、標的を検出する方法から構成される。本方法は、ハイパースペクトルイメージデータ、標的スペクトル、及び推定される背景スペクトルに基づいて制約付きリニアプログラミング最適化を実行する回路手段を使用することにより第1のフィルタ係数を決定する。本方法は更に、第1フィルタ係数を含む第1のフィルタをピクセルに適用することにより、第1のフィルタ済みピクセルを取得し、第1のフィルタ済みピクセルに基づいて第1の標的ピクセルを特定する。
【0009】
第2の実施形態は、複数のピクセルを含むハイパースペクトルイメージデータに基づいて標的検出を行うシステムから構成される。このシステムは、制約付きリニアプログラミング最適化を実行して、制約付きエネルギー最小化アルゴリズムを実行するように動作可能なプロセッサを含んでいる。このプロセッサは、ハイパースペクトルイメージデータ、標的スペクトル、及び推定される背景スペクトルに基づいて制約付きリニアプログラミング最適化を実行するように動作可能な回路手段を使用して第1のフィルタ係数を決定するように動作可能である。このプロセッサは、更に、第1のフィルタ係数を含むフィルタをピクセルに適用することにより、第1のフィルタ済みピクセルを取得して、第1のフィルタ済みピクセルに基づいて第1の標的ピクセルを特定するように動作することができる。
【0010】
第3の実施形態は、ハイパースペクトルイメージデータに基づく標的検出方法から構成される。本方法は、各々が標的材料の標的スペクトルと背景材料の背景スペクトルとを含む複数のピクセルを特定して、それらピクセルの平均スペクトルを計算することにより第1の背景スペクトルを取得する。本方法は、更に、ハイパースペクトルイメージデータ、標的スペクトル、及び第1の背景スペクトルに基づいて制約付きエネルギー最小化(CEM)最適化を実行することにより、第1のフィルタ係数を取得する。本方法はまた、第1のフィルタ係数を使用してピクセルのCEM値を推定する。
【0011】
第4の実施形態は、ハイパースペクトル標的検出用の回路から構成される。この回路は、ハイパースペクトルイメージデータから標的ピクセルを選択するように動作可能な制御手段と、ハイパースペクトルイメージデータに対して標的ハイパースペクトルイメージデータを比較するように動作可能なフィルタ手段とを備えている。この回路は、更に、ハイパースペクトルイメージデータ、標的スペクトル、及び推定される背景スペクトルに基づいてフィルタ係数を計算するように動作可能な制約付きリニアプログラミング最適化手段を含んでいる。
【0012】
本発明の概要は、一連の構想を紹介するために簡潔に記載されており、この構想は後述で更に詳細に説明される。本発明の概要は、特許請求される主題の重要な特徴、又は基本的な特徴を特定することを意図したものではなく、特許請求される主題の範囲を決定するうえでの補助として使用されることを意図したものでもない。
【図面の簡単な説明】
【0013】
本明細書の実施形態について、添付図面を参照して以下に説明する。図中、類似の参照番号は類似の要素を示している。添付図面は、説明のため、及び本発明の例示的実施形態を示すために提供されている。これらの図面は、本発明の、幅、範囲、規模、又は適用性を制限することなく、本発明の理解を促すために提供されている。図面は必ずしも正確な縮尺で描かれてはいない。
【0014】
【図1】本発明の一実施形態によるハイパースペクトルイメージングを行う状況の一例を示している。
【図2】本発明の一実施形態による例示的なハイパースペクトルイメージングを示している。
【図3】本発明の一実施形態による例示的なハイパースペクトルイメージデータキューブを示している。
【図4】本発明の一実施形態による例示的なハイパースペクトル標的スペクトルを示している。
【図5】本発明の一実施形態による実数値のマトリックスの各ピクセルの、例示的なハイパースペクトルイメージデータを示している。
【図6】本発明の一実施形態によりハイパースペクトルイメージデータに基づいて標的検出を行う例示的な方法を示すフロー図である。
【図7】本発明の一実施形態により背景スペクトルを推定するための制約付きエネルギー最小化(CEM)アルゴリズムの回路実現を示している。
【図8】本発明の一実施形態により図7の回路を動作させるための例示的方法を示すフロー図である。
【図9】本発明の一実施形態による背景スペクトルの放射輝度の決定の一実施例を示すグラフである。
【図10】本発明の一実施形態によるフィルタ係数の決定の一実施例を示すグラフである。
【図11】本発明の一実施形態による標的スペクトルに対するピクセルの一致度を例示するグラフである。
【図12】本発明の一実施形態によるイメージングに使用された様々な数のピクセルについて、標的材料の相対的存在量の推定値を従来のアルゴリズムとの対比で例示するグラフである。
【図13】本発明の一実施形態により300個のピクセルについて行った標的検出の一実施例を示すグラフである。
【図14】本発明の一実施形態により30個のピクセルについて行った標的検出の一実施例を示すグラフである。
【図15】本発明の一実施形態による、背景除去を行わない修正済みCEMアルゴリズムを用いたフィルタ係数の収束の一実施例を示すグラフである。
【図16】本発明の一実施形態による、背景除去を行わない修正済みCEMアルゴリズムを用いて推定されたCEM値の一実施例と、基準となるグラウンドトルースとの比較を示すグラフである。
【図17】本発明の一実施形態による、背景除去を行う修正済みCEMアルゴリズムを用いたフィルタ係数の収束の一実施例を示すグラフである。
【図18】本発明の一実施形態による、背景除去を行う修正済みCEMアルゴリズムを用いて推定されたCEM値の一実施例と、基準となるグラウンドトルースとの比較を示すグラフである。
【発明を実施するための形態】
【0015】
後述の詳細な説明は、例示的な性質のものであって、本開示内容又は用途、及び本発明の実施形態の使用を限定することを意図するものではない。特定の装置、技術、及び用途の説明は、例示のみを目的として提供されている。当業者であれば、本明細書に記載される実施例への修正が容易に想起できるであろうし、本明細書に規定される一般原理は、本発明の理念及び範囲を逸脱せずに他の実施例及び用途に適用可能である。更に、本発明は、上述の技術分野、背景技術、発明の概要、又は後述の詳細な説明において、明示、暗示の区別を問わず提示されるいずれの理論にも縛られることはない。本発明は、請求の範囲と一致する許容範囲を有し、本明細書に記載及び例示される実施例に限定されるものではない。
【0016】
本明細書において、本発明の実施例は、機能的及び/又は論理的ブロック要素及び種々の処理ステップの観点から記載される。このようなブロック要素は、特定の機能を実行するために構成された任意の数のハードウェア、ソフトウェア、及び/又はファームウェア要素により実現することができる。簡潔さのために、ハイパースペクトルセンシング、DSP、及びシステムのその他の機能的な面(及びシステムの個々の動作要素)に関連する従来の技術及び要素についてはここでは詳細に説明しない場合がある。加えて、当業者であれば、リモートセンシング、標的検出などに関連して本発明の実施形態を実施できることを理解するであろう。当業者であれば、本明細書に開示されるシステムが、本発明の一例示的実施形態にすぎないことも理解するであろう。
【0017】
本明細書では、本発明の実施形態は、実用的な非限定的な用途、即ちリモートセンシングに照らして説明される。しかしながら、本発明の実施形態は、このようなリモートセンシングの用途に限定されるものではなく、本明細書に記載される技術は他の用途でも利用することができる。例えば、これらの実施形態は、画像解析、衝突回避、空港での薬物及び爆発物に関する身体走査、手荷物走査、製品欠陥走査などに適用できる。
【0018】
本明細書を読んだ当業者であれば理解するように、後述する本発明の実施例及び実施形態は、これらの実施例による動作に限定されない。本発明の例示的実施形態の範囲から逸脱せずに、他の実施形態を利用することができ、構造を変更することができる。
【実施例】
【0019】
図1は、本発明の一実施形態によるハイパースペクトルイメージングを行う状況100を示している。ハイパースペクトルイメージングを行う状況100は、走査対象表面102、標的104、及びイメージングプラットフォーム106を含んでいる。航空機などのイメージングプラットフォーム106は、走査対象表面102を走査することにより、標的104を探索する。
【0020】
走査対象表面102は、限定しないが、例えば、耕作地などの地形材料S、道路などの地形材料S、及び樹木などの地形材料Sからなる三種類の地形材料を含む地表からなっている。耕作地S、道路S、及び樹木Sの各々は、ハイパースペクトル周波数バンドに異なるスペクトル特性を有しうる。例えば、耕作地Sは、水の吸収周波数で高い吸収を有し、道路Sはタール及びアスファルトの吸収周波数で高い吸収を有し、樹木Sは可視光の高い吸収を有しうる。
【0021】
標的104は、限定しないが、例えば、ライフル銃のような金属物を含む。ライフル銃は、兵士によって保持されて木の葉に隠れている場合がある。ライフル銃が木の葉に隠れている場合、可視イメージングだけでは走査対象表面102のような背景から区別することが困難でありうる。しかしながら、標的104、例えば本実施例の場合ライフル銃は、走査対象表面102のハイパースペクトルのスペクトルから区別可能なハイパースペクトルのスペクトルを有しうる。
【0022】
イメージングプラットフォーム106は、限定しないが、例えば、巡視航空機、衛星、飛行船、UAV、地上用ビークル、ボート又は船、携帯式デバイスのような移動プラットフォーム、国境及び港湾における全身透視検査機などを含みうる。イメージングプラットフォーム106は、ハイパースペクトルイメージングデバイス(図示せず)を含む。航空機のようなイメージングプラットフォーム106は、走査対象表面102の上を飛行して、ハイパースペクトルイメージングデバイスを用いて標的104を探索することができる。イメージングプラットフォーム106は、走査対象表面102の上を飛行するとき、走査対象表面102の走査対象帯状域108を走査する。限定しないが、例えば、走査対象帯状域108の長さは、飛行方向110にほぼ垂直に約1000メートル、及び飛行方向110にほぼ平行に約100メートルとすることができる。イメージングプラットフォーム106の速度及び構成に応じて、イメージングプラットフォーム106は、限定しないが、例えば一秒間に約60回にわたって(60Hz)走査対象帯状域108を連続して走査することができる。走査対象帯状域108のような帯状域は、飛行方向110に連続していてもいなくてもよい。即ち、走査対象帯状域108は非連続的に走査することができる。
【0023】
図2は、本発明の一実施形態による例示的なハイパースペクトルイメージングシステム200を示している。例示的なハイパースペクトルイメージングシステム200は、センサ210と、CEM回路214を含む非同期式パルスプロセッサ(APP)212とを含んでいる。センサ210は、イメージングプラットフォーム106に連結可能であって、レンズシステム202、及び焦点面アレイ204を含んでいる。センサ210は、限定しないが、例えばプッシュブルーム型センサなどとすることができる。
【0024】
レンズシステム202は、走査対象表面102(図1)から受信された光の流れ206を、センサ210の焦点面アレイ204上に集めて、光の流れ206を複数のスペクトルに分割する。限定しないが、例えば、レンズシステム202は光の流れ206を210個のイメージングされたスペクトルバンドなどに分割することができる。
【0025】
焦点面アレイ204は複数のピクセルからなる一のアレイを含み、各ピクセルはイメージスペクトルバンドを受信するためのサブピクセルを含んでいる。限定しないが、例えば、焦点面アレイ204は、9個の空間ピクセルからなるピクセルアレイを含むことができ、9個の空間ピクセルの各々は210個のイメージングされたスペクトルバンドを受信するサブピクセルを有している。210個のイメージングされたスペクトルバンドは、限定しないが、例えば約500nm〜約1100nmの周波数スペクトルを区切ることができる。9個の空間ピクセルは、イメージングプラットフォーム106が走査対象表面102の上を走査すると、走査対象表面102を、走査方向にほぼ垂直な直線としてイメージングする。このようにして、焦点面アレイ204は9個のピクセルデータベクトルx(i=1〜9)を生じさせる。この場合、ピクセルデータベクトルxの各々は、各期間について、210個のイメージングされたスペクトルバンド(λ,...,λ210)の各々に関する210個のデータ値を含んでいる。後述では、各ピクセルデータベクトルx(i=1〜9)は、互換可能に、i番目のピクセルの、ピクセルスペクトル、ハイパースペクトルイメージデータ、又はスペクトルと呼ばれる。
【0026】
APP212はセンサ210に連結することができる。APP212は、実時間で、又は準実時間で、リニアプログラミング最適化アルゴリズムを処理できる専用プロセッサとすることができる。このようにして、修正済みCEMアルゴリズムは、標的104を検出するために、APP212のCEM回路214上にマッピングすることができる。これについては後述する。APP212は連続時間分散型振幅シグナルプロセッサであり、これにより、標準のリニアプログラミング最適化問題として修正されたCEMアルゴリズムのような最新式アルゴリズムを、単純に、高解像度且つ低電力で実施することができる。APP212のCEM回路214は、実時間で又は準実時間で、センサ210の焦点面アレイ204からピクセルアレイを含むハイパースペクトルイメージデータを受信する。ピクセルアレイは、ハイパースペクトルイメージデータを含むピクセルデータベクトルxi(i=1〜9)を生成する。APP212のCEM回路214の出力は、限定しないが、例えば、標的y104の標的材料のスペクトルt、各ピクセル中の標的104の相対存在量(CEM)値(下記等式(2)参照)などを含む。限定しないが、マイクロプロセッサ、デジタル式シグナルプロセッサ、アナログ式シグナルプロセッサ、アナログ/デジタル混合式プロセッサなどの非同期式パルスプロセッサ(APP212)以外のプロセッサも使用することができる。
【0027】
図3は、本発明の一実施形態による例示的なハイパースペクトルイメージデータキューブ300を示している。ハイパースペクトルイメージデータキューブ300は複数のハイパースペクトル面302を含み、これらのスペクトル面が一のハイパースペクトルキューブ304を形成している。ハイパースペクトル面302は、走査対象帯状域108(図1)から得られたデータを含む実数値のマトリックスXにより形成される。ハイパースペクトルイメージデータキューブ304は、走査対象表面102全体から収集された走査対象帯状域108のような複数の走査対象帯状域から得られたデータを含んでいる。
【0028】
標的104のような標的材料を含むピクセルを特定するために、修正済みCEMアルゴリズムが実行される。修正済みCEMアルゴリズムは、所与のシーンから背景スペクトルの統計的詳細を生成し、次いで、所与のシーンのハイパースペクトルイメージデータxに混入しそうな背景スペクトルの影響を最小化するように、標的スペクトルに対する背景スペクトルの比較を重み付けする。このようにして、修正済みCEMアルゴリズムは、特定された標的材料を含むピクセルを見出し、ピクセルのスペクトル内における特定された標的材料のスペクトルを推定する。第1のステップとして、修正済みCEMアルゴリズムは、以下の関係式を最適化することにより、CEMフィルタ係数wを見出す。

ここで、pは、考慮されるグループに含まれるピクセルの総数であり、xは、i番目のピクセルのスペクトルを含むベクトル(サイズnb×1)であり、nbは、p個のピクセルの各々のイメージングされたスペクトルバンドλの数であり、


はp個のピクセル(又は除外されていないピクセル)の平均スペクトル(推定された背景スペクトル)を含むベクトル(サイズnb×1)であり、tは標的材料のスペクトル(標的スペクトル)を含むベクトル(サイズnb×1)であり、wはCEMフィルタ係数のベクトル(サイズ1×nb)であり、Tはベクトル移項走査を表わしている。
【0029】
第2のステップとして、修正済みCEMアルゴリズムは、以下の関係式にしたがって前記p個のピクセルをフィルタリングする。


ここで、yは前記p個のピクセルの各々に含まれる標的材料の相対存在量であり、


はCEMフィルタ係数ベクトル(サイズnb×1)であり、


はi番目のピクセルの背景推定値(放射輝度)を含むベクトル(サイズnb×1)である。例えば、yが1に等しい場合は、i番目のピクセルは標的材料を約100%含み、yが0に等しい場合は、i番目のピクセルは標的材料を約0%含み、且つyがZに等しい場合は、i番目のピクセルは標的材料を約100×Z%含む。
【0030】
全部でp個のピクセルのハイパースペクトルイメージデータxの所定のセグメントについて、それらピクセルのハイパースペクトルイメージデータxを平均することにより、背景スペクトルの推定値


が計算される。次いで、修正済みCEMアルゴリズムは、費用関数を最小化することにより、ハイパースペクトルイメージデータxの所与のセグメントのCEMフィルタ係数wを推定し、これは、背景スペクトルの推定値


とCEMフィルタ係数ベクトルw(CEMフィルタ係数w)との積である。前記最小化プロセスの間に等式(1)が満たさなければならない二つの制約は、(1)標的材料の標的スペクトルtとCEMフィルタ係数wとの積が1でなければならないこと(


)と、(2)p個のピクセルの各々とCEMフィルタ係数wとの積がそれぞれゼロ以上でなければならないこと(


)である。
【0031】
別の幾つかの実施形態では、制約(2)、即ち


に関して、少なくとも一つのピクセルデータベクトルxとCEMフィルタ係数wとの個々の積は、限定しないが、例えば較正誤差、雑音などによりゼロ未満であることが許容される。例えば、(環境保護の分野で)ガスを検出するために修正済みCEMが使用されるかどうかは、ガスが、排出モード(即ちガスは背景より温度が高い)に対して吸収モード(即ち、ガスは背景より温度が低い)で現われるときはネガティブである。標的が吸収モードであるとき、標的はCEMフィルタと否定的に相関される。
【0032】
ハイパースペクトルイメージデータキューブ300は、標的104を検出するために修正済みCEMアルゴリズムを適用することができる一実施例である。この実施例では、標的104のような一の標的材料と、図1に示す地形材料S、S、Sのような三つの未知の材料が、図1に示す走査対象表面102のようなシーンの中に存在する。実数値マトリックスX(9の横列と210の縦列)の各ピクセルデータは、重み付けされた、四つの材料、即ちS、S、S及び標的材料のスペクトルの和を含むことができる。図1に示す地形材料S、S、Sのような三つの未知の材料のスペクトルは不明でありうる。実際には、ランダム雑音が、四つの材料S1、S2、S3、及び標的材料のスペクトルを遮蔽しうる。このような実施例では、ランダム雑音がp=9のピクセルの、210個のイメージングされたスペクトルバンド(λ,...λ210)に付加される結果、信号対雑音比(SNR)が約90dBとなる。
【0033】
精度を上げるために、背景スペクトルの推定値、即ち


は、標的ピクセルであると決定されたピクセルを除外することにより計算することができる。背景スペクトルの推定値


の計算から除外されていないピクセルは非除外ピクセルである。背景スペクトルの推定値


は、以下の関係式に従って計算することができる。

ここで、pは非除外ピクセルの総数であり、xはi番目の非除外ピクセルのスペクトルを含むベクトルであり、


は、非除外ピクセルの平均スペクトルを含むベクトルである。
【0034】
図4は、本発明の一実施形態による例示的なハイパースペクトル標的スペクトル400を示している。このハイパースペクトル標的スペクトル400は、標的材料に対応し、210個のイメージングされるスペクトルバンド(λ,...,λ210)の各々の放射輝度の値402を含んでいる。放射輝度の値402は、受け取った電磁放射を表わしており、限定しないが、例えば、直接的な経験的測定、間接的な経験的測定、概念的設計などに基づいて取得することができる。ハイパースペクトル標的スペクトル400は、各走査対象帯状域108の実数値マトリックスXと比較される。この比較は、相関などによって行うことができ、相関の度合いはp個のピクセルの各々のピクセルデータベクトルx中に標的材料が存在する可能性を示す。
【0035】
図5は、本発明の一実施形態による例示的ハイパースペクトルイメージデータ500を示している。ハイパースペクトルイメージデータ500は、それぞれが実数値マトリックスXのピクセルスペクトルxを有するp=9のピクセルの各々に関する、ハイパースペクトルイメージデータ502〜518のグラフを示している。ハイパースペクトルイメージデータ502〜518の各グラフは、9個のピクセルデータベクトル(x,x,...,x)の各々に対応している。p=9個のピクセルの各々は、走査対象帯状域108から得られた、210個のイメージングされたスペクトルバンド(λ,...,λ210)の各々の、走査された放射輝度測定値を含んでいる。ハイパースペクトル標的スペクトル(図4)と、このハイパースペクトルイメージデータ500とを比較することにより、p個のピクセルの各々のピクセルデータベクトルx中における標的材料の存在又は不在が決定され、それにより標的104の存在又は不在が決定される。
【0036】
図6は、本発明の一実施形態によりハイパースペクトルイメージデータに基づいて標的を検出する例示的プロセス600を示すフロー図である。プロセス600に関して実行される様々なタスクは、ソフトウェア、ハードウェア、ファームウェア、又はこれらのあらゆる組み合わせにより実行することができる。説明のために、プロセス600の後述の説明は、図7に関連して後述する要素に言及している場合がある。実際の実施形態では、プロセス600の一部は、回路700に関連して後述される様々な要素により実行される。プロセス600は、図1〜5、及び7に示す実施形態に類似の機能、材料、及び構造を有しうる。したがって、共通の特徴、機能、及び要素については繰り返し説明することをしない。
【0037】
プロセス600は、ハイパースペクトルイメージデータx、標的スペクトルt、及び背景スペクトル推定値


に基づき、修正済みCEMアルゴリズムを用いて、第1のフィルタ係数を決定すること(タスク602)により開始される。第1のフィルタ係数は、ハイパースペクトルデータxi、標的スペクトルt、及び背景スペクトル推定値


に基づく制約つきリニアプログラミング最適化用に構成された回路を使用することにより決定される。このようにして、実時間で又は準実時間でリニアプログラミング最適化アルゴリズムを処理できる専用APP212上に、修正済みCEMアルゴリズムをマッピングすることができる。後述で図7を参照して詳述するように、専用回路を使用することにより、図3を参照して上述した修正済みCEMアルゴリズムに基づいて、実質的に実時間のアルゴリズムを実行することができる。修正済みCEMアルゴリズムは、制約付きリニアプログラミング最適化問題として定式化される。
【0038】
プロセス600は、続いて、ハイパースペクトルイメージデータ(x,x,...,x)に対し、第1のフィルタ係数を含むフィルタを適用して第1のフィルタ済みピクセルを取得することができる(タスク604)。修正済みCEMアルゴリズムは、標的材料のスペクトルtが既知であって他の材料のスペクトルが未知である場合も、標的材料を検出することができる。
【0039】
プロセス600は、続いて、第1のフィルタ済みピクセルに基づいて、それぞれのハイパースペクトルイメージデータx中に標的材料を含む第1の標的ピクセルを特定することができる(タスク606)。このようにして、制約付きリニアプログラミング最適化を適用して未知のフィルタ係数を決定することにより、CEMフィルタ係数wが決定される。次いで、CEMフィルタ係数wを、ピクセルデータベクトル(例えば、実数値マトリックスXの9個のピクセルx,x,...,x、p=xの9の横列であり、nb=λの210の縦列である)に適用することにより、第1のフィルタ済みピクセルのCEM値が得られる。9個のピクセルデータベクトル(x,x,...,x)の各々についてCEM値による検索が行われ、閾値に達するCEM値が第1の標的ピクセルとして特定される。しかしながら、精度を上げるために、背景スペクトルの推定値


の計算から第1の標的ピクセルを除外することにより、未知の背景材料S、S、Sのスペクトルから標的材料のスペクトルtを区別することができる。
【0040】
プロセス600は、続いて、第1の標的ピクセルに基づいて標的を特定することができる(タスク614)。標的104及び/又はその他の標的は、第1の標的ピクセルに基づいて特定することができる。
【0041】
プロセス600は、続いて、ハイパースペクトルイメージデータxi、標的スペクトルt、及び背景スペクトルの推定値


に基づき、修正済みCEMアルゴリズムを使用して、第2のフィルタ係数を決定することができる。この場合の、背景スペクトル推定値


は、ハイパースペクトルイメージデータxから第1の標的ピクセルのハイパースペクトルイメージデータxを除外することで計算される(タスク608)。タスク608は、背景スペクトル推定値


を推定するプロセスのために、ハイパースペクトルイメージデータxから除外された第1標的ピクセルのハイパースペクトルイメージデータxに対し、タスク604を繰返す。背景スペクトル推定値


の推定プロセスから標的材料のスペクトルtを含む第1の標的ピクセルを除外することにより、修正済みCEMアルゴリズムの機能的信頼性と標的検出、並びにy推定性能が大きく改善される。
【0042】
プロセス600は、続いて、ハイパースペクトルイメージデータxに対して第2のフィルタ係数を含むフィルタを適用することにより、第2のフィルタ済みピクセルを取得することができる(タスク610)。修正済みCEMアルゴリズムは、所与のシーンの背景スペクトル推定値


の統計的詳細を生成する。次いで、修正済みCEMアルゴリズムは、ハイパースペクトルイメージデータxに混入しうる全ての背景スペクトル推定値


の影響を最小化するように、第1の標的ピクセルの標的スペクトルtに対する背景スペクトル推定値の比較に重み付けする。標的104の標的材料のような特定の標的材料を含むピクセルが見出され、各ピクセルに含まれるそのような特定の標的材料の量(CEM値)が推定される。
【0043】
プロセス600は、続いて、第2のフィルタ済みピクセルに基づいて第2の標的ピクセルを特定することができる(タスク612)。APP212のようなAPPプラットフォーム上への回路設計の導入能を単純化して向上させるためには、例えば、約30及び300のピクセルからなる小グループのピクセルに対して動作可能でなければならない。一実施形態では、背景スペクトル推定値


に標的スペクトルが混入しないように、標的スペクトルtを含みうるピクセルを素早く特定して、背景スペクトル推定値


の推定プロセスから除外する。このようにして、実数値間トリックスX(サイズ:p=9×nb=210)の9個のピクセル(x,x,...,x)の各々についてCEM値による検索が行われ、閾値に到達するCEM値が第2の標的ピクセルとして特定される。
【0044】
プロセス600は、続いて、第2の標的ピクセルに基づいて標的を特定することができる(タスク616)。標的104及び/又はその他の標的は、第1の標的ピクセルに基づいて特定される。
【0045】
プロセス600と、その部分及びタスクは、複数回に亘って繰返すことができ、反復の度に精度を向上させることができる。例えば、第1の標的ピクセルの代わりに第2の標的ピクセルを使用し、更には第2の標的ピクセルのイメージデータを除外して精度を向上させた背景推定値を使用して特定された第3組の標的ピクセルを使用して、タスク608〜612を繰返すことができる。
【0046】
図7は、本発明の一実施形態による背景スペクトル推定値


の推定を行う修正済みCEMアルゴリズムの例示的回路700を示している。上述のように、CEMアルゴリズムのような最先端の計算機負荷の高いアルゴリズムに対する従来の信号処理方式は、新規のスケーリングされたCMOS技術の回路が性能限界を有するために最適でない場合がある。更に、伝統的なデジタル式信号処理不式は、高速サンプリングとデジタル化を最前で必要とし、高い電力消費と低い演算速度による限界を有しうる。対照的に、APP技術は、時間連続的で振幅分散型の、非同期式アナログ/デジタル信号処理技術であり、実時間での演算又は動作を必要とするもののような、単純で高解像度であるが消費電力の低い最新のアルゴリズムを実施することができる。APP212のようなAPPプラットフォーム上での実施を容易にするために、修正済みCEMアルゴリズムは、APP212の回路700のリニアプログラミング最適化問題として定式化される。
【0047】
回路700は、制御回路702及びCEM回路704(図2のCEM回路214)を含んでいる。第1に、一組のピクセルのハイパースペクトルイメージデータxの所与のセグメントについて、これらピクセルのスペクトルxを平均化することにより、背景スペクトル推定値


が計算される。次いで、修正済みCEMアルゴリズムは、ハイパースペクトルイメージデータxの所与のセグメントのCEMフィルタ係数wを推定する。
【0048】
制御回路702は、第1のスイッチ722、マトリックス積724、第2のスイッチ726、第3のスイッチ728、第1の合算730、第2の合算732、及び除算734を含んでいる。
【0049】
第1のスイッチ722は、制御回路702の時間値に応じて、フィルタ係数値又は0値をロードする。経過時間が所定の時間閾値を超えており、且つ第1のスイッチ722の出力がフィルタ係数値(サイズnb×1)の現在の設定値である場合、或いは第1のスイッチ722の出力が0ベクトル(サイズnb×1)である場合、経過時間は第1のスイッチ722のトリガとして機能する。
【0050】
マトリックス積724は、ピクセル(サイズp×nb)のマトリックスA1と第1のスイッチ722(サイズnb×1)の出力との積を含むピクセル(サイズp×1)のCEM値のベクトルを含んでいる。
【0051】
第2のスイッチ726は、第2のスイッチの制御入力736におけるCEM値に応じて、1と0の間で出力値を切替える。p個のピクセルのCEM値は、第2のスイッチ726のトリガとして機能する。p個のピクセルの各々のCEM値が所定の存在量の閾値より大きく、それによってピクセルが標的スペクトルtを含有しうることが示される場合、そのピクセルに対して第2のスイッチ726は値0を出力する。このようにして、標的スペクトルtを含むピクセルを背景スペクトル推定プロセスから除外するという信号が発せられて、背景スペクトル推定値に標的スペクトルtが混入されないことが示される。それ以外の場合、第2のスイッチ726は値1を出力する。
【0052】
第3のスイッチ728は、第3のスイッチの制御入力738に基づく第2スイッチ726の結果に応じて、0、又はp個のスペクトル(サイズp×nb)のマトリックスを出力する。第2のスイッチ726の出力は、ピクセルデータベクトルxに対応する値が1である場合、第3のスイッチ728のトリガとして機能し、次いでピクセルデータベクトルx(サイズ1×nb)は第3のスイッチ728の出力に中継される。そうではなくてピクセルに値0を示すフラグが立っている場合、0ベクトル(サイズ1×nb)が第3のスイッチ728の出力に中継される。
【0053】
第1の合算730は、第2のスイッチ726から得られる値(サイズp×1)を合計することにより、標的材料を含むとは思われないフラグ無しピクセルの総数が計算されるように動作する。
【0054】
第2の合算732は、第3のスイッチ728から得られたデータを合計する。第3のスイッチ728から得られたベクトル(サイズp×nb)が合計される(標的スペクトルtを含むと思われるピクセルは0ベクトルで置き換えられる)。出力ベクトル(サイズ1×nb)をフラグ無しピクセルの数で除することにより、純粋な背景スペクトルが計算される。
【0055】
除算734は、第2の合算732の出力ベクトル(サイズ1×nb)を、第1の合算730から得られたフラグ無しピクセルの数で除することにより、純粋な背景スペクトル推定値を計算する。純粋な背景スペクトル推定値は、上記等式(1)において


として計算された背景スペクトル推定値(エネルギー)を含んでいる。
【0056】
CEM回路704は、等式(1)の最小値を計算するフィードバックループを実行するように動作可能である。CEM回路704は、フィルタ係数計算回路706、ピクセル−フィルタ係数マトリックス積回路708、及び標的−フィルタ係数マトリックス積回路710を含んでいる。
【0057】
標的−フィルタ係数マトリックス積回路710は、等式(2)の計算を行って、標的スペクトルt(サイズ1×nb)と瞬間的CEMフィルタ係数ベクトル740(サイズ1×nb)を求める。標的スペクトル(等式(1)のt)のマトリックス積(等式(1)の )と、瞬間的CEMフィルタ係数ベクトル740(等式(1)のw)が乗算機714によって計算されて、CEM値の結果790(サイズ1×1)が取得される。約1に等しい値B2(サイズ1×1)がCEM値の結果790から減算されて、差別的CEM値792(サイズ1×1)が取得される。値B2は、約100の標的スペクトルtを含むピクセルデータベクトルxのスペクトルのCEM値を表わしている。差別的CEM値792は、(等式(1))からの距離


からなっている。積分機I3は、差別的CEM値792のローパスフィルタ機能を提供することにより、回路704のフィードバックループにおける変動を低減する。
【0058】
フィードバックループのペナルティー係数G6が積分機I3の出力772に加算されることにより、標的−フィルタ係数マトリックス積出力774(サイズ1×1)が取得される。フィードバックループペナルティー係数G6は、第1のペナルティー係数×差別的CEM値792を含むことができる。第1のペナルティー係数は、限定しないが、例えば、ハイパースペクトルイメージデータxiの種類、瞬間的CEMフィルタ係数ベクトル740の収束率、回路特性などによって決まりうる。第1のペナルティー係数は、限定しないが、例えば、約1e3の一定値、約0〜約1e5で変動しうる値などでありうる。
【0059】
ピクセル−フィルタ係数マトリックス積回路708は、等式(2)の計算を行って、ピクセルデータベクトルx(サイズp×nb)と、瞬間的CEMフィルタ係数ベクトル740(サイズ1×nb)とを求める。ピクセルデータベクトルxのマトリックス積(等式(1)の )と、瞬間的CEMフィルタ係数ベクトル740(等式(1)のw)とが、乗算機712によって計算されて、CEM値の結果ベクトル754(サイズ1×p)が取得される。積分機I1は、CEM値の結果754のローパスフィルタ機能を提供することにより、回路704のフィードバックループにおける変動を低減する。
【0060】
フィードバックループペナルティー係数G2が積分機I1の出力798に加算されて、調整された積分機出力796(サイズ1×p)が取得される。フィードバックループペナルティー係数G2は、第2のペナルティー係数x差別的CEM値754を含むことができる。第2のペナルティー係数は、限定しないが、例えば、ハイパースペクトルイメージデータxの種類、瞬間的CEMフィルタ係数ベクトル740の収束率、回路特性などによって決まりうる。第1のペナルティー係数は、限定しないが、例えば、約1e3の一定値、約0〜約1e5で変動しうる値などでありうる。
【0061】
CEM値の結果754はスイッチバンク752を制御し、これは、対応するピクセルデータベクトルxのCEM値の結果754に応じて、出力ベクトル762(サイズ1×p)の各アイテムに、値0又は調整済み積分機出力ベクトル796を設定する。対応するピクセルデータベクトルxのCEM値の結果754が0以上の値を有する場合、i番目の位置の出力ベクトル762は0である。対応するピクセルデータベクトルxのCEM値の結果754が0未満の値を有する場合、i番目の位置の出力ベクトル762は調整済み積分機出力ベクトル796のi番目の位置である。
【0062】
フィルタ係数計算回路706は、ピクセル−フィルタ係数マトリックス積回路708の出力ベクトル762(サイズ1×p)と標的−フィルタ係数マトリックス積出力774(サイズ1×1)とを受け取って、瞬間的係数値740(サイズp×nb)を計算する。瞬間的係数値740は、ピクセル−フィルタ係数マトリックス積回路708と、標的−フィルタ係数マトリックス積回路710へのフィードバックであり、この計算は、等式(1)の最小値に収束するまで繰返される。
【0063】
ピクセル−フィルタ係数マトリックス積回路708の出力ベクトル762と標的−フィルタ係数マトリックス積出力774とは連結されて単一のベクトル782(サイズ1×p+1)を形成する。乗算機716が単一のベクトル782にピクセルスペクトルxの各々と標的スペクトルtのマトリックス(サイズp+1×nb)とを乗じることにより、結果ベクトル784(サイズ1×nb)が取得される。この結果ベクトル784は、p個のピクセルの各々と、標的スペクトルtとに含まれる標的材料の含有量を示すCEM値のベクトルを含んでいる(即ち、標的スペクトルtの標的材料のパーセンテージは約100%でなければならない、 )。結果ベクトル784が背景スペクトル推定値ベクトル780(サイズ1×nb)に加算されることにより、中間ベクトル786(サイズ1×nb)が取得される。中間ベクトル786は、インバータG4によって反転されて反転済みベクトル788を生成し、積分機I2によって積分されて、瞬間的係数値740(サイズ1×nb)を生成するために変動を低減する。フィルタ係数レジスタ794は、CEM回路704が収束するとき、最終フィルタ係数wを保持している。
【0064】
CEM回路704のフィードバックループは、出力ベクトル762が完全に0ベクトルに収束するまで反復する。CEM回路704が収束した後は、最終フィルタ係数740を使用して、等式(2)に従って標的104の標的スペクトルtの標的ピクセルを特定することができる。CEM回路704は、対象の標的材料に関する所定の閾値を超えるピクセル位置を出力する。限定しないが、例えば、対象の標的材料の所定の閾値は約0.2とすることができる。
【0065】
図8は、本発明の一実施形態により図7の回路の動作の例示的プロセスを示すフロー図である。プロセス800に関連して実行される種々のタスクは、ソフトウェア、ハードウェア、ファームウェア、又はこれらのあらゆる組み合わせによって実行することができる。例示のために、プロセス800に関する後述の説明では、図7に関連して上述した要素に言及する場合がある。実際の実施形態では、プロセス800の部分は、後述する様々な要素によって実行されうる。プロセス800は、図7に示した実施形態に類似の機能、材料、及び構造を有しうる。したがって、本明細書では、共通の特徴、機能、及び要素については繰返し説明することをしない。
【0066】
プロセス800は、各々が標的材料の標的スペクトルtと背景材料のスペクトルとを含む複数のピクセルデータベクトルxを特定することにより開始される(タスク802)。
【0067】
プロセス800は、続いて、ピクセルデータベクトルxのスペクトルの平均を計算することにより、第1の背景スペクトルを取得することができる(タスク804)。ピクセルデータベクトルxの到来するグループの背景スペクトル推定値は、ピクセルデータベクトルxを平均化することにより計算される。この背景スペクトル推定値


を、修正済みCEMアルゴリズムの数学的回路又は等価な回路のモデルが使用することにより、最適化が実行される。次いで、最適化サイクルの最後に修正済みCEMアルゴリズムによって推定されるフィルタ係数wを使用して、ピクセルデータベクトルxのCEM値が推定される。
【0068】
プロセス800は、続いて、第1の背景スペクトル


に対してCEM最適化を実行することができる(タスク806)。限定しないが、例えば、第1のフィルタ係数を得るためのリニアプログラミング回路などを使用して、第1の背景スペクトル


に対してCEM最適化を行うことができる。
【0069】
プロセス800は、続いて、第1のフィルタ係数を使用することによりピクセルデータベクトルxのCEM値を推定することができる(タスク808)。
【0070】
プロセス800は、続いて、CEM値を使用して、標的材料のスペクトルtを含むピクセルデータベクトルxを特定することにより、特定されたピクセルを取得することができる(タスク810)。所定のCEM閾値より大きいCEM値を有するピクセルデータベクトルxには、標的材料のスペクトルtを含むピクセルデータベクトルxとしてフラグが立てられて、特定済みピクセルが取得される。限定しないが、例えば、CME閾値は、約0〜約1、例えば約50%の標的材料と約50%の背景材料とを示す約0.5とすることができる。約0.5のCEM閾値の場合、約0.5を超えるCEM値を有する(背景より標的を多く含む)ピクセルには、標的材料のスペクトルtを含むものとしてフラグを立てることができる。
【0071】
プロセス800は、続いて、ピクセル(ピクセルデータベクトルx)のうちの、特定されたピクセルを除外することにより、非標的ピクセルを取得することができる(タスク812)。
【0072】
プロセス800は、続いて、非標的ピクセルのスペクトルの平均を計算することにより、第2の背景スペクトルを取得することができる(タスク814)。次のステップでは、ピクセルの同じ到来グループ(ピクセルデータベクトルx)について第2の背景スペクトルが計算されるが、今回の計算は、フラグ無しピクセルのスペクトルバンドを平均化することにより行われる。
【0073】
プロセス800は、続いて、第2の背景スペクトル(新規


)に対するCME最適化を実行することにより、第2のフィルタ係数を取得することができる(タスク816)。限定しないが、例えば、第1のフィルタ係数を取得するためのリニアプログラミング回路などを使用して、第2の背景スペクトル


に対してCEM最適化を実行することができる。次いで、アルゴリズムの数学的回路又は等価な回路のモデルが第2の背景スペクトル


を使用してフィルタ係数値の最適化を実行することにより、最適化されたフィルタ係数が取得される。
【0074】
プロセス800は、続いて、最適化されたフィルタ係数を使用してピクセルデータベクトルxの最終CEM値を計算することができる(タスク818)。このようにして、フィルタ係数の新規セットを使用してピクセルの最終的なCEM値(ピクセルデータベクトルx)が計算される。
【0075】
図9〜11は、本発明の種々の実施形態による標的検出プロセスのシミュレーション結果を示している。
【0076】
図9は、本発明の一実施形態による放射輝度


(背景スペクトル)の決定の一実施例を示すグラフである。図9は、等式(1)を用いて計算された、p個のピクセルのスペクトルの平均を示している。
【0077】
図10は、本発明の一実施形態によるフィルタ係数の決定の一実施例を示すグラフである。図10は、計算されたCEMフィルタ係数の振幅w(CEMフィルタ係数w)を示している。の計算されたCEMフィルタ係数の振幅wは、x


、及びtに基づいて、制約付きリニアプログラミング最適化問題を解くこと、及び


を決定することによって計算される。
【0078】
図11は、本発明の一実施形態による、標的スペクトルtに対するp=9個のピクセルの一致度の一実施例を示すグラフである。図11は、各ピクセル中における標的材料の相対存在量の推定値を示している。存在量の計算値yは82dB SNRと同じであった。
【0079】
標的検出のための修正済みCEMアルゴリズムを、ハイパースペクトルデジタル式イメージ収集実験(HYDICE)プラットフォーム(Su May Hsu等、"Multisensor Function with Hyper-spectral Imaging Data: Detection and Classification," Lincoln Laboratory Journal, vol. 14, no. 1, 2003参照)を使用して収集した実際のハイパースペクトルイメージデータx及び標的スペクトルtについて試験した。
【0080】
図12は、本発明の一実施形態により修正済みCEMアルゴリズムに使用され様々な数のピクセルについて、標的材料の標的ピクセル中における、実例T1、T2、及びT3の場合の標的材料の相対存在量の例示的推定値yを、代表的なハイパースペクトルデジタル式イメージ収集実験(HYDICE)データキューブ(従来のアルゴリズム)と対比させて示す複数のグラフ1200である。ハイパースペクトルイメージデータの横列を960列有するデータキューブが使用され、このデータキューブでは、各横列が約300個のピクセルを含んでおり、各ピクセルが165のスペクトルバンドの反射率情報を含んでいた。修正済みCEMアルゴリズムを、20、30、50、及び150個のピクセルに対して動作させた。図12に示すように、修正済みCEMアルゴリズム1202は、20個という少数のピクセルに使用した場合も、全ての実例の標的材料を確実に検出し、更には、許容可能な精度でピクセルの材料存在量の値を推定することができる。対照的に、従来のアルゴリズム1204(二次プログラミング最適化に基づく)は、p個のピクセルに含まれる標的材料を確実に検出し、対応する材料存在量の値yを正確に推定するために、データキューブ300のようなデータキューブ全体に動作させることができる。試験結果は、修正済みCEMアルゴリズムが、20個という少数のピクセルに使用した場合も、標的材料の実例T1、T2、及びT3を確実に検出することだけでなく、ピクセル中の標的材料の相対存在量の値yを許容可能な精度で推定することができることも示すものである。
【0081】
図13は、本発明の一実施形態による、300個のピクセルの標的検出性能の一実施例を示すグラフ1300である。標的検出に関する修正済みCEMアルゴリズムの性能を定量化するために、修正済みCEMアルゴリズムを、実際のハイパースペクトルイメージデータと、ハイパースペクトルデジタル式イメージ収集実験(HYDICE)を用いて収集した標的スペクトルとについて試験した。所与のハイパースペクトルイメージデータ中に存在する特定の標的材料に関する試験結果を図13に示す。イメージ1302は、標的検出性能に関する修正済みCEMアルゴリズムの試験結果バー1306、1308、及び1310を示す。これらのバー1306、1308、及び1310は、それぞれ、300個のピクセルを使用した場合の、特定の標的材料の3×3、2×2、及び1×1の実例に対応している。イメージ1304は、特定の標的材料の、それぞれ3×3、2×2、及び1×1の実例に対応する、グラウンドトルース参照標的検出性能バー1312、1314、1316を示している。イメージ1302に示される修正済みCEMアルゴリズムの試験結果は、イメージ1304に示されるグラウンドトルース参照とほぼ同様である。
【0082】
図14は、本発明の一実施形態による修正済みCEMアルゴリズムを用いた30個のピクセルに関する標的検出性能の一実施例を示すグラフ1400である。本実施形態の修正済みCEMアルゴリズムの性能限界を試験するために、修正済みCEMアルゴリズムを、30個のピクセルからなる少数のピクセルグループについて試験した。イメージ1402は、標的検出性能に関する修正済みCEMアルゴリズムの試験結果バー1406、1408、及び1410を示す。これらのバー1406、1408、及び1410は、それぞれ、30個のピクセルを使用した場合の、特定の標的材料の3×3、2×2、及び1×1の実例に対応している。イメージ1404は、特定の標的材料の、それぞれ3×3、2×2、及び1×1の実例に対応する、グラウンドトルース参照標的検出性能バー1412、1414、1416を示している。イメージ1402に示される修正済みCEMアルゴリズムの試験結果は、修正済みCEMアルゴリズムに30個のピクセルを使用したときも、許容可能な精度を示す。
【0083】
図15は、本発明の一実施形態による、背景除去を行わない修正済みCEMアルゴリズムを用いたフィルタ係数の収束の一実施例を示すグラフ1500である。図15に示すように、フィルタ係数wはゆっくりと収束する。
【0084】
図16は、本発明の一実施形態による、背景除去を行わない修正済みCEMアルゴリズムを用いてCEM値を推定する一実施例と、グラウンドトルース参照との比較を示すグラフ1600である。図16に示すように、修正済みCEMアルゴリズムによって推定されたCEM値1604は、背景における混入によりグラウンドトルース参照1602とは有意に異なっている。
【0085】
図17は、本発明の一実施形態による、背景除去を行う修正済みCEMアルゴリズムを用いたフィルタ係数の収束の一実施例を示すグラフ1700である。図17に示すように、フィルタ係数wは、比較的迅速に且つ効率的に収束する。
【0086】
図18は、本発明の一実施形態による、背景除去を行う修正済みCEMアルゴリズムを用いてCEM値を推定する一実施例を示すグラフ1800である。図18に示すように、修正済みCEMアルゴリズムによって推定されたCEM値1804は、背景スペクトル推定値


及びCEMフィルタ係数wの統計値を演算するときに標的材料中のピクセルに類似するピクセルが除去されることにより、グラウンドトルース参照1802とほぼ同じである。
【0087】
このようにして、時間連続的且つ振幅分散的な、アナログ及びデジタル式信号処理回路及び方法を使用して、簡単で高解像度を有するが、低電力で実行できる、実時間又は準実時間ハイパースペクトルイメージング及び標的検出技術のためのアルゴリズムが提供される。
【0088】
後述のような追加的な実施形態も特許請求される。
【0089】
A23.ハイパースペクトルイメージデータに基づく標的検出方法であって、各々が標的材料の標的スペクトルと、背景材料の背景スペクトルとを含む複数のピクセルを特定すること;それらピクセルのスペクトルの平均を計算することにより、第1の背景スペクトルを取得すること;ハイパースペクトルイメージデータ、標的スペクトル、及び第1の背景スペクトルに基づき制約付きエネルギー最小化(CEM)最適化を実行することにより、第1のフィルタ係数を取得すること;並びに第1のフィルタ係数を使用してピクセルのCEM値を推定することを含む方法。
【0090】
A24.第1の背景スペクトルを、以下の関係式:


(式中、pは除外されないピクセルの総数であり、xはi番目の非除外ピクセルのスペクトルを含むベクトルであり、


は非除外ピクセルのスペクトルの平均を含むベクトルである)に基づいて計算する、請求項A23に記載の方法。
【0091】
A25.更に、CEM値を用いて標的材料を含むピクセルを特定することにより標的ピクセルを取得することを含む、請求項A23に記載の方法。
【0092】
A26.更に、ピクセルから標的ピクセルを除去することにより非標的ピクセルを取得すること;非標的ピクセルのスペクトルの平均を計算することにより第2の背景スペクトルを取得すること;ハイパースペクトルイメージデータ、標的スペクトル、及び第2の背景スペクトルに基づきCEM最適化を実行することにより、第2のフィルタ係数を取得すること;並びに第2のフィルタ係数を用いてピクセルのCEM値を計算することを含む、請求項A25に記載の方法。
【0093】
A27.第2の背景スペクトルを、以下の関係式:


(式中、pは除外されないピクセルの総数であり、xはi番目の非除外ピクセルのスペクトルを含むベクトルであり、


は非除外ピクセルのスペクトルの平均を含むベクトルである)に基づいて計算する、請求項A26に記載の方法。
【0094】
A28.更に、リモートセンシング、衝突回避、画像解析、及び身体の走査のうちの一つのために、標的を検出することを含む、請求項A23に記載の方法。
【0095】
A29.CEM最適化が、以下の関係式:

(式中、pはピクセルの総数であり、xはi番目のピクセルのスペクトルを含むベクトルであり、


は非除外ピクセルのスペクトルの平均を含むベクトルであり、wはCEMフィルタ係数ベクトルであり、tは標的材料のスペクトルを含むベクトルである)に基づいている、請求項A23に記載の方法。
【0096】
A30.少なくとも一つのxについて、 は0未満であることが許容される、請求項A23に記載の方法。
【0097】
A31.ハイパースペクトル標的検出のための回路であって、ハイパースペクトルイメージデータから標的ピクセルを選択するように動作可能な制御手段:ハイパースペクトルイメージデータと標的スペクトルを比較するように動作可能なフィルタ手段;並びにハイパースペクトルイメージデータ、標的スペクトル、及び背景スペクトル推定値に基づいて、フィルタ係数を計算するように動作可能な制約付きリニアプログラミング最適化手段を備える回路。
【0098】
A32.準実時間ハイパースペクトルイメージデータを受信することを更に含む、A31に記載の回路。
【0099】
A33.制約付きリニアプログラミング最適化手段が、更に、ハイパースペクトルイメージデータ、標的スペクトル、及び背景スペクトルの推定値に基づき、制約付きリニアプログラミング最適化を用いて、第1のフィルタ係数を決定するように動作可能であり;フィルタ手段が、更に、ハイパースペクトルイメージデータに対して第1のフィルタ係数を適用することにより第1のフィルタ済みピクセルを取得するように動作可能であり;且つ制御手段が、更に、第1のフィルタ済みピクセルの中から第1の標的ピクセルを特定するように動作可能である、請求項A31に記載の回路。
【0100】
制御手段が、更に、第1の標的ピクセルに基づいて標的を特定するように動作可能である、請求項A33に記載の回路。
【0101】
A35.一又は複数の第1のフィルタ済みピクセルのCEM値がCEM閾値より大きい場合、一又は複数の第1のフィルタ済みピクセルが一又は複数の第1の標的ピクセルとして特定される、請求項A33に記載の回路。
【0102】
A36.第1のフィルタ係数を用いてCEM値が推定される、請求項A35に記載の回路。
【0103】
A37.回路が、リモートセンシング、衝突回避、画像解析、及び身体の走査のうちの一つために動作可能である、請求項A31に記載の回路。
【0104】
A38.制約付きリニアプログラミング最適化手段が、更に、ハイパースペクトルイメージデータ、標的スペクトル、及び背景スペクトルの推定値に基づき、制約付きリニアプログラミング最適化を用いて、第2のフィルタ係数を決定するように動作可能であり、この場合背景スペクトルの推定値が、ハイパースペクトルイメージデータから第1の標的ピクセルを除外することにより計算されており;フィルタ手段が、更に、第2のフィルタ係数を含むフィルタをハイパースペクトルイメージデータに適用することにより第2のフィルタ済みピクセルを取得するように動作可能であり;且つ制御手段が、更に、第2のフィルタ済みピクセルの中から第2の標的ピクセルを特定するように動作可能である、請求項A31に記載の回路。
【0105】
A39.制御手段が、更に、第2の標的ピクセルに基づいて標的を特定するように動作可能である、請求項A38に記載の回路。
【0106】
A40.一又は複数の第2のフィルタ済みピクセルのCEM値がCEM閾値より大きい場合、一又は複数の第2のフィルタ済みピクセルが、一又は複数の第2の標的ピクセルとして特定される、請求項A38に記載の回路。
【0107】
A41.第1のフィルタ係数を用いてCEM値が推定される、請求項A38に記載の回路。
【0108】
A42.制御手段が、更に、以下の関係式:

(式中、pは除外されないピクセルの総数であり、xはi番目の非除外ピクセルのスペクトルを含むベクトルであり、


は非除外ピクセルのスペクトルの平均を含むベクトルである)に基づいて背景スペクトル推定値を計算するように動作可能である、請求項A31に記載の回路。
【0109】
A43.リニアプログラミング最適化が、以下の関係式:

(式中、pはピクセルの総数であり、xはi番目のピクセルのスペクトルを含むベクトルであり、


は非除外ピクセルのスペクトルの平均を含むベクトルであり、wはCEMフィルタ係数ベクトルであり、tは標的材料のスペクトルを含むベクトルである)に基づいている、請求項A31に記載の回路。
【0110】
A44. が、少なくとも一つのxについて0未満であることが許容される、請求項A43に記載の回路。
【0111】
A45.リニアプログラミング最適化手段が、更に、実時間で計算を実行するように動作可能である、請求項A31に記載の回路。
【0112】
上述の説明では、少なくとも一の例示的実施形態が提示されているが、多数の変形例が存在することを理解されたい。本明細書に記載された一又は複数の例示的実施形態は、本発明の主題の範囲、応用可能性、又は構成をいかなる意味でも限定するものではないことも理解されたい。そうではなく、上述の詳細な説明は、当業者に対し、記載された一又は複数の実施形態を実施するための便利なロードマップとなるものである。請求の範囲によって規定される範囲から逸脱することなく、要素の機能及び構成に様々な変更を加えることができ、それには、本特許出願が出願された時点で既知である等価物、及び予見可能な等価物が含まれる。
【0113】
上述の説明では、互いに「接続された」又は「連結された」要素、ノード、又は特徴に言及した。本明細書で使用される限りにおいては、別途断らない限り、「接続された」という表現は、一の要素/ノード/特徴が別の要素/ノード/特徴に対し、直接的に、必ずしも機械的にではなく、接続(又は直接的に連絡)していることを意味している。同様に、特に断らない限り、「連結された」という表現は、一の要素/ノード/特徴が別の要素/ノード/特徴に対し、直接的に又は間接的に、必ずしも機械的にではなく、接合(或いは直接的又は間接的に連絡)していることを意味している。したがって、図1〜2及び7は要素の例示的な構成を示しているのであるが、本発明の一実施形態には、追加的な仲介要素、デバイス、特徴又は構成部品が存在してもよい。
【0114】
特に断らない限り、本明細書で使用される語句とそれらの変形は、限定的なものではなく、広義に解釈されるべきである。その例として:「含む」という語は、「限定することなく含む」などを意味するために使用され;「例」という語は、議題となるアイテムの、完全なリスト又は限定的なリストではなく実例を提供するために使用され;「従来の」、「伝統的な」、「通常の」、「標準の」、「既知の」といった形容詞及び同義の表現は、所与の期間に関して記載されたアイテム、又は所与の時点で入手可能であったアイテムに限定しているのではなく、現在又は将来のいつかに、入手可能であるか、既知である、従来の、伝統的な、通常の、又は標準の技術を包含すると解釈されるべきである。同様に、複数のアイテムを連結する接続詞「及び」、「且つ」(又は同様の表現)は、連結されるアイテムの全てが必ずしも存在しなければならないという意味ではなく、特に断らない限り、むしろ「及び(且つ)/又は」という意味である。同様に、複数のアイテムを連結する接続詞「又は」は、それらアイテムが必ずしも互いに排他的であることを意味せず、特に断らない限り、むしろ「及び(且つ)/又は」という意味である。更に、本発明のアイテム、要素、又は構成部品が単数形で記載されていたとしても、単数形に限定されることが明記されていない限り、複数形もその範囲内に含まれると考慮される。幾つかの場合の「一又は複数の」、「少なくとも一つの」、「限定しないが」、又はその他の同様の表現のような範囲を広げる表現は、そのような範囲を広げる表現が無い場合にもっと限定されたケースが意図される又は必要とされることを意味するものではない。

【特許請求の範囲】
【請求項1】
標的材料の標的スペクトルと背景材料の背景スペクトルとを含む複数のピクセルからなるハイパースペクトルイメージデータに基づく標的検出方法であって、
ハイパースペクトルイメージデータ、標的スペクトル、及び推定される背景スペクトルに基づいて制約付きリニアプログラミング最適化を実行する回路手段を用いて第1のフィルタ係数を決定すること、
第1のフィルタ係数を含むフィルタをハイパースペクトルイメージデータに適用することにより第1のフィルタ済みピクセルを取得すること、並びに
第1のフィルタ済みピクセルの中から第1の標的ピクセルを特定すること
を含む方法。
【請求項2】
第1の標的ピクセルに基づいて標的を特定することを更に含む、請求項1に記載の方法。
【請求項3】
以下の関係式:


(式中、pは除外されていないピクセルの総数であり、xはi番目の非除外
ピクセルのスペクトルを含むベクトルであり、


は非除外ピクセルのスペクトルの平均を含むベクトルである)に基づいて、背景スペクトル推定値を推定することを更に含む、請求項1に記載の方法。
【請求項4】
一又は複数の第1のフィルタ済みピクセルの制約付きエネルギー最小化「CEM」値がCEM閾値より大きい場合に、当該一又は複数の第1のフィルタ済みピクセルを、一又は複数の第1の標的ピクセルとして特定することを更に含む、請求項1に記載の方法。
【請求項5】
回路手段が、実時間で制約付きリニアプログラミング最適化を実行するように動作可能である、請求項1に記載の方法。
【請求項6】
回路手段が、修正済みCEMアルゴリズムを含む、請求項1に記載の方法。
【請求項7】
修正済みCEMアルゴリズムが、以下の関係式:

(式中、pはピクセルの総数であり、xはi番目のピクセルのスペクトルを含むベクトルであり、


は非除外ピクセルのスペクトルの平均を含むベクトルであり、wはCEMフィルタ係数ベクトルであり、tは標的スペクトルを含むベクトルである)に基づいている、請求項6に記載の方法。
【請求項8】
が、少なくとも一つのxについて0未満であることが許容される、請求項7に記載の方法。
【請求項9】
ハイパースペクトルイメージデータ、標的スペクトル、及び背景スペクトルの推定値に基づき制約付きリニアプログラミング最適化を実行する回路手段を用いて第2のフィルタ係数を決定することであって、背景スペクトルの推定値が、第1の標的ピクセルを除外したハイパースペクトルイメージデータに基づいて計算されていること、
第2のフィルタ係数を含む第2のフィルタを、ハイパースペクトルイメージデータに適用することにより、第2のフィルタ済みピクセルを取得すること、並びに
第2のフィルタ済みピクセルの中から第2の標的ピクセルを特定すること
を更に含む、請求項1に記載の方法。
【請求項10】
CEM値に基づいて第1の標的ピクセルを除外することを更に含む、請求項9に記載の方法。
【請求項11】
第2の標的ピクセルに基づいて標的を特定することを更に含む、請求項9に記載の方法。
【請求項12】
リモートセンシング、衝突回避、画像解析、及び身体の走査からなる群のうちの一つのために標的検出を使用することを更に含む、請求項1に記載の方法。
【請求項13】
複数のピクセルを含むハイパースペクトルイメージデータに基づく標的検出システムであって、
制約付きリニアプログラミング最適化を行って、制約付きエネルギー最小化を実行するように動作可能なプロセッサであって、
ハイパースペクトルイメージデータ、標的スペクトル、及び背景スペクトルの推定値に基づいて制約付きリニアプログラミング最適化を実行するように動作可能な回路手段を使用して第1のフィルタ係数を決定し、
第1のフィルタ係数を含むフィルタをピクセルに適用することにより第1のフィルタ済みピクセルを取得し、且つ
第1のフィルタ済みピクセルの中から第1の標的ピクセルを特定する
ように動作可能である
プロセッサを備えているシステム。
【請求項14】
プロセッサが、非同期式パルスプロセッサ、マイクロプロセッサ、デジタル式シグナルプロセッサ、アナログ式シグナルプロセッサ、及びアナログ/デジタル混合式プロセッサからなる群のうちの一つから構成されている、請求項13に記載のハイパースペクトルイメージデータに基づく標的検出システム。
【請求項15】
プロセッサを介した処理のためにほぼ実時間でハイパースペクトルイメージデータを感知するように動作可能な複数のセンサを更に含む、請求項13に記載のハイパースペクトルイメージデータに基づく標的検出システム。
【請求項16】
一又は複数の第1のフィルタ済みピクセルのCEM値がCEM閾値より大きい場合に、当該一又は複数の第1のフィルタ済みピクセルが第1の標的ピクセルとして特定される、請求項13に記載のハイパースペクトルイメージデータに基づく標的検出システム。
【請求項17】
第1のフィルタ係数を用いてCEM値が推定される、請求項16に記載のハイパースペクトルイメージデータに基づく標的検出システム。
【請求項18】
回路手段が、制約付きリニアプログラミング最適化を実時間で実行するように動作可能である、請求項13に記載のハイパースペクトルイメージデータに基づく標的検出システム。
【請求項19】
プロセッサが、更に、第1の標的ピクセルに基づいて標的を特定するように動作可能である、請求項13に記載のハイパースペクトルイメージデータに基づく標的検出システム。
【請求項20】
プロセッサが、更に、
ハイパースペクトルイメージデータ、標的スペクトル、及び背景スペクトルの推定値に基づいて制約付きリニアプログラミング最適化を実行するように動作可能な回路手段であって、背景スペクトルの推定値が第1の標的ピクセルを除外したハイパースペクトルイメージデータに基づいて計算されている回路手段を使用して、第2のフィルタ係数を決定し、
第2のフィルタ係数を含む第2のフィルタをピクセルに適用することにより第2のフィルタ済みピクセルを取得し、且つ
第2のフィルタ済みピクセルに基づいて第2の標的ピクセルを特定する
ように動作可能である、請求項13に記載のハイパースペクトルイメージデータに基づく標的検出システム。
【請求項21】
プロセッサが、更に、第2の標的ピクセルに基づいて標的を特定するように動作可能である、請求項20に記載のハイパースペクトルイメージデータに基づく標的検出システム。
【請求項22】
リモートセンシング、衝突回避、画像解析、及び身体の走査からなる群のうちの一つのために動作可能である、請求項13に記載のハイパースペクトルイメージデータに基づく標的検出システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2011−169896(P2011−169896A)
【公開日】平成23年9月1日(2011.9.1)
【国際特許分類】
【外国語出願】
【出願番号】特願2011−28033(P2011−28033)
【出願日】平成23年2月14日(2011.2.14)
【出願人】(500520743)ザ・ボーイング・カンパニー (773)
【氏名又は名称原語表記】The Boeing Company
【Fターム(参考)】