説明

符号化開口画像システム

本発明は符号化開口画像装置および符号化開口画像化方法に関する。一態様では、符号化開口撮像装置は少なくとも1つの検出器アレイおよび再構成可能な符号化開口マスク手段を有する。再構成可能な符号化開口マスク手段は様々な符号化開口マスクを表示して、いかなる可動部または大型の光学構成要素も必要とせずに、様々な視野にわたっておよび/または様々な解像度で画像化を行うことができる。1つよりも多い検出器アレイを使用して継ぎ目なく並べる必要なしに大きい区域の画像化を行うことができ、これは本発明の別の態様を表す。本発明は、可視、紫外、または赤外の波長帯における符号化開口画像化法の使用にも関する。画像復号が湾曲した要素によって導入されるいかなる収差も自動的に除去することができるので、湾曲した光学要素により画像化するための符号化開口画像化法の使用が教示される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、再構成可能な符号化開口マスクを有する符号化開口画像システムに関し、特に、可動部を必要とせずに調整可能な画像化性能を有する画像システム、および紫外、可視、赤外の波長で操作する符号化開口画像装置に関する。
【背景技術】
【0002】
情景を観察するための光システムはCCTVセキュリティシステムから監視/偵察システムまで様々な状況で使用される。しばしば、これらのシステムは、例えば、解像度または画像更新速度に関してシステムの画像化性能を調整することができるようなものであることが必要とされる。別の例は、撮像装置が瞬間視野(FOV)よりも何倍も大きい対象領域(FOR)にわたって走査すべきであるという要求がある場合である。
【0003】
光システムの機械走査はよく知られており、例えば、レンズまたはミラー構成の移動がFOR中のFOVを変えることができ、または全画像システムが移動することができる。しかし、光学構成要素の移動は一般に大型で重い機械的移動手段を必要とし、場合によってはサイズおよび重量を最小限にすることが重要である。さらに、機械的走査システムは不要な振動を生成することがあり、それが取得された画像を歪ませることがある。さらに、大きい慣性モーメントを有することがある大きくて重い光学構成要素または全システムの急速な移動が問題となることがある。
【0004】
走査画像システムを実現するように検出器アレイで回折パターンを表示する空間光変調器(SLM)を使用することも知られており、例えば、公表されたPCT出願WO2000/17810を参照されたい。情景の様々な部分からの放射を検出器に向ける様々な回折パターンを表示することができる。したがって、走査は可動部なしで達成され、それにより光システムの重量および容積を低減することができる。そのような回折光学装置は、それらが非常に分散的であるので通常狭帯域(単色)に対して有用である。それらはしばしば非能率的でもある。
【発明の開示】
【発明が解決しようとする課題】
【0005】
本発明の目的は、前述の欠点の少なくともいくつかを軽減し、ある程度より一般的な撮像装置適応性を備える画像システムを提供することである。
【課題を解決するための手段】
【0006】
したがって、本発明によれば、検出器アレイおよび再構成可能な符号化開口マスク手段を有する符号化開口画像システムが提供される。
【0007】
符号化開口画像化法は、適切なレンズ材料が一般に存在しないX線またはγ線画像化などの高エネルギー画像化で主として使用される既知の画像化技法であり、例えば、E.FenimoreおよびT.M.Cannon、「Coded aperture imaging with uniformly redundant arrays」、Applied Optics、17巻、3号、337〜347頁、1978年2月1日を参照されたい。それは3次元画像化用にも提案されており、例えば、「Tomographical imaging using uniformly redundant arrays」、Cannon TM、Fenimore EE、Applied Optics、18巻、7号、1052〜1057頁、(1979年)を参照されたい。
【0008】
符号化開口画像化法はピンホールカメラと同じ原理を利用するが、単一の小さい開口を有する代わりに、開口アレイを有する符号化開口マスクを使用する。開口の小さいサイズは高い角度分解能をもたらすが、開口の数を増加させると検出器に達する放射が増加し、したがって信号対雑音比が増加する。各開口は情景の画像を検出器アレイに送り、したがって検出器アレイにおけるパターンは重なり合う一連の画像であり、情景として認識することはできない。記録されたデータからオリジナルの情景画像を再現するために処理が必要である。再現処理は使用される開口アレイについての知見を必要とし、開口アレイはその後の良好な品質の画像再現を可能にするために符号化される。したがって、符号化開口画像化法は従来の画像化技法とはまったく異なる。従来の画像化では、検出器アレイで形成された空間強度パターンはシステム光学装置によって取得された焦点が合った画像である。符号化開口撮像装置では、検出器アレイで形成された強度パターンは、画像および符号化開口アレイに関係する符号化画像パターンである。
【0009】
再構成可能な符号化開口マスク手段を使用すると様々な符号化開口マスクを様々なときに表示することができる。これにより、例えば、画像システムの方向およびFOVを、大きい可動部を必要とせずに変更することができる。さらに、画像システムの解像度は、符号化開口マスク手段に表示された符号化開口マスクを変えることによって変更することもできる。さらに、複数の様々な符号化開口アレイを使用して同じ情景を画像化すること、すなわち、各々が異なるマスクで取得される情景の多数のフレームを得ることも可能である。多フレーム画像化は画像品質を改善することができ、本発明はいくつかの異なるフレームを各々異なるマスクで迅速に取得することを可能にし、それらの各々は必要に応じて自由に適応することができる。知られている符号化開口画像システムは再構成可能なマスク手段でなく固定マスクを使用する。本明細書で使用されるように、マスク手段に関する再構成可能なという用語は、マスク手段がマスクパターンを設けることができる再構成可能な区域を有すること、および再構成可能な区域内のマスク手段のどの部分も必要に応じて不透明(すなわち情景からの放射が検出器アレイに達するのを阻止する)または透過性(情景からの放射が検出器に達するのを可能にする)になるように設定することができることを表すために使用される。例えば、再構成可能なマスク手段は画素化することができ、各活性画素はそれぞれ複数の様々な可能なマスクを提供するように透過性または不透明に設定することができる。
【0010】
Ail Systems Incへの国際特許出願WO97/26557は、正方形の反対称均一冗長アレイを示すマスクを有する符号化開口画像システムを説明している。マスクパターンは、符号化開口アレイが第1の位置で第1のパターンを、第2の回転した位置で第2の相補的なパターンを示すように構成される。したがって、異なるが相補的な2つのマスクパターンはマスクをその軸のまわりに回転させることによって提供することができる。2つの相補的なパターンの使用は背景ノイズを除去するのに有用である。WO97/26557の符号化開口マスク手段によると固定マスクの位置を変えて新しいアレイパターンを提供できるが、マスク手段は再構成可能なマスク手段でなく、視野のサイズもしくは方向または生じる画像の解像度を制御しない。このシステムはさらに使用された符号化開口アレイについて柔軟性のない最大で2つの異なるマスクに限定される。
【0011】
符号化開口マスク手段に、すなわちマスク手段の全区域に表示されるパターンは本明細書では符号化開口マスクと呼ばれる。少なくとも符号化開口マスクの一部は符号化開口アレイである。検出器アレイで形成された放射パターンは、情景画像として直接認識できないが、処理されて情景画像を示すことができるような方法復号化開口アレイは、放射が情景から検出器アレイに達せられるようにする開口のパターン化アレイである。符号化開口アレイを形成する符号化開口マスクの区域は、符号化開口マスク手段のすべてまたは少しだけとすることができる。すなわち、マスク手段に表示された全パターンが符号化開口アレイであるか、または、以下で詳細に説明されるように、パターンの一部だけが符号化開口アレイであり、マスクの他の部分は放射が検出器に達するのを阻止する。当業者は、表示することができる符号化開口アレイを十分に知っているであろう。疑念を避けるために、本明細書で使用される開口という用語はマスク手段における物理的な孔でなく、放射が検出器に達することができるようにする単なるパターンの区域を意味し、符号化開口アレイは透過性または反射性とすることができる。符号化開口アレイは、開口の意図的なパターンが配置される区域である。
【0012】
したがって、好ましくは、符号化開口マスク手段はシステムに様々な視野を与える符号化開口マスクを提供するように再構成可能である。このように、画像システム性能は、いかなる巨視的な可動部も必要とせずに何倍も大きくできる対象領域内で変更することができる。様々な符号化開口マスクは、符号化開口マスクの一部だけが符号化開口アレイを含み、マスク中の符号化開口アレイの位置が視野を画定するように構成することができる。言いかえれば、マスク手段の一部だけを使用して符号化開口アレイを画定し、マスクの他の部分は放射が検出器アレイに達するのを阻止することができる。したがって、検出器アレイに達することができる情景からの放射だけが符号化開口アレイを通過し、したがって、検出器アレイに対する符号化開口アレイの位置および符号化開口アレイのサイズがシステムの視野を画定することになる。マスク手段に表示されるマスク内の符号化開口アレイの位置を移動させると、放射が検出器アレイに達することができる方向が変更され、したがって、視野の方向およびサイズが変更されることになる。したがって、マスク手段の全体サイズがシステムの対象領域を画定し、再構成可能なマスク手段に書き込まれた符号化開口アレイのサイズよりも非常に大きくすることができるが、視野は例えば情景内の物体を走査するかまたは追跡するように制御することができる。
【0013】
好ましくは、符号化開口マスク手段は様々な解像度を有する符号化開口マスクを提供するように再構成可能である。例えば、様々な有効開口サイズおよび間隔をもつ符号化開口アレイを有する様々な符号化開口マスクを表示することができる。符号化開口マスク手段は、様々な符号化開口アレイを有する符号化開口マスクを提供するように再構成可能とすることもできる。
【0014】
さらに、マスクパターンを変更する能力は固定マスクシステムと比べて画像化性能の増加において有利であり、例えば、多数のマスクパターンから検出された強度を組み合わせることによって、画像の解像度および/または品質の増強を達成することができる。画像処理を改善するために同じ情景を画像化するのにいくつかのマスクパターンを使用することができ、例えば、2つよりも多いマスクパターンを使用することができ、必要に応じて、5個以上または10個以上の様々なマスクパターンを使用することができる。使用されるマスクパターンまたは使用されるマスクパターンの組合せは自由に適応可能であり、例えば情景変化に応じて変わる。
【0015】
本発明は、特に、監視で使用されることがあるような可視、近赤外、熱赤外、または紫外の波長帯における多機能の高解像度画像に適用することができる。この種の画像システムはほぼすべて屈折、反射、または回折の光学構成要素を使用し、当業者は符号化開口画像化法がそれに適用可能であると考えないであろう。符号化開口画像化法は、まさにその性質によって、検出器に達する視野からの実質的な放射の量を阻止し、したがって検出された放射の信号対雑音比を低減することがある。さらに、画像化された情景を復号し回復するために単一の信号処理技法が検出された出力に実行されなければならない。可視、UV、またはIRの波長の高解像度符号化開口画像化法を考慮する場合、回折の影響も重要になることがある。符号化開口画像化法は一般に高エネルギー放射画像化または粒子画像化で使用されている。そのような用途では、開口サイズおよびマスクから検出器までの間隔は回折効果が重要でないような状態である。高解像度画像化のために可視波長帯放射を使用する場合、回折効果が検出器アレイで形成されたパターンをぼかし始め、それが再現をより困難にする。したがって、当業者はこれまで可視またはその近傍の波長帯の画像システムに有用である符号化開口画像化法を無視してきた。しかしながら、本発明者は、符号化開口画像化法が可視、UV、およびIRの波長を含む多機能画像化に適用できるだけでなく、それらに適用する場合いくつかの利点を有することを認識した。
【0016】
前述のように、比較的大きい符号化開口マスク手段を使用する場合、様々な異なるサイズの符号化開口アレイをマスクの様々な部分に設けて、いかなる可動部も必要とせずに変動する解像度の様々な異なる視野を与えることができる。さらに、一連の情景画像が検出器アレイ上の様々な位置で重なり合うので、マスクおよび/または検出器アレイに無動作画素があれば、依然として完全な画像が得られ、無動作画素の影響は全画像にわたって平均化される。これは、監視タイプの用途に有用な情報を損なわないことを意味する。さらに、前述のように、検出器アレイによって記録された画像は視野内の情景を複製しない。オリジナルの情景画像を回復することができるのは記録された画像が処理された後だけである。これはこれまで欠点と見なされていた。しかし、画像システムが遠隔で使用され、記録された画像を基地ステーションに送り返す場合、または画像が後の分析のために記録される場合、記録された情報は効果的に暗号化されることに留意されたい。自然に暗号化された(encrypted off)検出器データストリームが生成され、それは妨害または干渉に対してセキュリティを与えることができる。さらに、マスクは再構成できるので、暗号鍵(効果的にはマスクパターン)は自在に変更することができる。符号化開口画像システムで、情景のどこの単一の場所からの光も検出器アレイの単一の部分に集光されず、したがって、システムは明るい光源、例えばレーザ光源からの損傷に保護も与えることにも留意されたい。
【0017】
符号化開口マスク手段は、符号化開口マスクがマスクの異なる場所で複数の別個の符号化開口アレイを有するように再構成することができる。言いかえれば、2つ以上の別個の符号化開口アレイがマスク上の異なる場所で同時に使用される。したがって、各符号化開口アレイは情景の異なる部分からの放射を検出器に送ることになる。明らかに、検出器における強度パターンは各符号化開口アレイからの要素を含むことになる。しかし、生じた強度信号を処理して各符号化開口アレイに関連した情景画像を再現することができる。言いかえれば、撮像装置は同時に複数の異なる方向で、各々が検出器の十分な解像度を使用して画像化することができる。したがって、本発明は多数の窩のパッチをもつ撮像装置を可能にする。
【0018】
異なる符号化開口アレイは異なる解像度および/またはサイズを有することができる。例えば、符号化開口マスクのある符号化開口アレイは非常に高い解像度を有し、したがって情景の一部の詳細像を与えるが、別の符号化開口アレイは情景の異なる部分のためにより低い解像度を有する。
【0019】
各符号化開口アレイは、好ましくは、他の符号化開口アレイと相関がなく、すなわち、個々のマスクパターン間の相互相関に著しいピークがあるべきでない。
【0020】
符号化開口マスク手段は平面または非平面とすることができる。例えば、マスク手段はデバイスの開口と共形にすることができる。湾曲符号化開口マスク手段は画像システムの対象領域を最適化することができる。例えば、湾曲符号化開口マスク手段は、平面符号化開口手段と比べて所与のシステム開口に対するFOVを増加させることができる。さらに、非平面符号化開口マスク手段は、使用するときこの符号化開口マスク手段がプラットフォームの形状と共形であるように所定の形状を有することができる。例えば、本発明の画像システムは、航空機または他の空輸用プラットフォームに、例えば翼または航空機機首に埋め込むことができる。
【0021】
従来の画像システムは、通常、航空機外部の窓の背後のハウジング内に配置されなければならない。画像に収差を生じさせる窓の影響を避けるために、窓の光学的影響が受け入れがたい画像収差または歪みを導入しないように、窓は一般に半球形または平坦としなければならないことになる。これは最適でない窓形状の使用を必要とし、それが抗力を増加させ、より強固な取付けなどを必要とすることがある。
【0022】
本発明は、符号化開口マスク手段が取り付けられるプラットフォームの形状と共形である湾曲したまたは切子面の符号化開口マスク手段の使用を可能にする。航空機の例では、符号化開口マスク手段は窓と共形にすることができ、それに隣接して配置することができる。これにより、システムの入力開口が最大化され、プラットフォームの形状から外れる必要なしに最適の視野を与えることが保証される。符号化開口マスク手段は、それが操作される環境で十分に強靱である場合には符号化開口マスク手段は窓を形成することができる。非平面符号化開口マスクをもつ符号化開口撮像装置の使用は、再構成可能であってもなくても、本発明の別の態様を示す。
【0023】
本発明の別の利点は、符号化開口マスク手段を、平面であっても湾曲であっても、使用して半球形である必要がない湾曲または切子面の表面によって画像化することができることである。どんな視野にも使用される特定の符号化開口アレイおよび処理アルゴリズムは、様々な視野の湾曲表面の光学的影響のいかなる差も補正することができる。湾曲表面によって画像化するように構成された符号化開口撮像装置の使用は本発明の別の態様を表し、本発明は非平面要素によって画像化するように構成された符号化開口撮像装置を有する画像システムも提供する。非平面要素は明らかに動作波長の放射に対して少なくとも部分的に透過性でなくてはならず、例えば、表面に窓を含むことができる。前述のように、非平面要素は半球形である必要がなく、実際は非規則的とすることができ、しかも本発明のこの態様の画像システムは依然として収差なしの画像を生成することになる。本発明のこの態様の符号化開口撮像装置は少なくとも1つの検出器および符号化開口マスク手段を含み、好都合には、本発明の第1の態様による符号化開口撮像装置とすることができる。非平面要素は航空機などのプラットフォームの外部表面の一部を形成することができ、形状において空力学的にすることができ、すなわち、非平面要素の形状が主として空力学的考察によって決定される。
【0024】
本発明の第1の態様の再構成可能な符号化開口マスク手段は、符号化開口アレイを少なくともその表面の一部に対して表示することができるどのような再構成可能なデバイスにもすることができる。マスク手段は画素化することができ、各画素は透過性と不透明との間で切り替えることができるべきである。本明細書で使用されるように、透過性という用語は画素において少なくともある入来放射がマスクから検出器アレイの方に通ることができることを意味するものと解釈すべきであり、不透明はその画素において少なくともある入来放射が検出器の方に通るのを阻止するものとして読まれるべきであり、透過性画素は不透明画素よりも検出器アレイに達する放射を著しく多くできることに留意されたい。再構成可能なマスク手段はデジタルマイクロミラーデバイスなどの反射デバイスとすることができ、画素の反射率が情景からの放射を検出器アレイに反射する(透過性)かまたはそれをしない(不透明)かのいずれかに変更される。
【0025】
再構成可能な符号化開口マスク手段は、少なくとも1つの符号化開口マスクを符号化開口マスク手段に書き込むように構成されたコントローラを有することができる。コントローラは複数の異なる符号化開口マスクで予めプログラムし、特定のときに特定のマスクを再構成可能なマスク手段に書き込むように構成することができる。例えば、ターゲットが検出されるまで、コントローラは低解像度監視モードに対応するマスクを書き込み、次に、検出されたターゲットに一致する高解像度狭FOVに対応するマスクを書き込むことができる。
【0026】
好ましくは、符号化開口マスク手段は比較的短い時間尺度で再構成可能である。好ましくは、マスク手段は、15ミリ秒未満、10ミリ秒、または5ミリ秒未満で再構成できる。符号化開口マスク手段の解像度はシステムで使用される可能性のある検出器アレイのものと一致する解像度を有することが好ましく、それは、例えば、可視帯の5μmから長波熱赤外帯の25μmまでの全部の範囲とすることができる。符号化開口アレイ中の画素は符号化開口マスク手段のいくつかの個々の画素の群から形成することができる。したがって、より大きい有効画素をもつマスク手段は画素の群を組み合わせることによってシミュレーションすることができる。
【0027】
前述のように、本発明の画像システムは紫外帯の画像化に適用することができ、したがって、約380nm以下および/または約10nm以上の波長または波長範囲で操作することができる。本発明は可視帯の画像化にも適用することができ、したがって、約780nm以下および/または約380nm以上の波長または波長範囲で作動することができる。本発明は赤外帯の画像化にも適用することができ、したがって、約780nm以上および/または約1mm以下の波長または波長範囲で操作することができる。例えば、画像システムは、中間IR波長帯すなわち3μm以上および/または5μm以下の波長、または長波IR帯すなわち8ミクロン以上および/または14μm以下の波長で使用することができる。しかし、当業者は必要に応じて他の波長範囲を使用することができることを理解されよう。
【0028】
好ましくは、符号化開口マスク手段は双安定であり、すなわち、画素は電力の適用なしに2つの安定した透過状態の一方であり得る。これは、一旦符号化開口マスク手段が特定のマスクに構成されたならばそのマスクを維持するのに電力が必要でないという利点を有する。
【0029】
符号化開口マスク手段は少なくとも1つの空間光変調器を含むことができる。空間光変調器は液晶デバイスとすることができる。液晶デバイスは可視帯および赤外帯において動作可能であり、迅速に切替え可能である。双安定液晶デバイスが知られており、例えば強誘電性液晶デバイスがある。他の適切な再構成可能なマスク手段は、MEMSまたはMOEMS変調器、エレクトロクロミックデバイス、電気泳動デバイス、および電気光学変調器を含む。例えば、赤外用途では、二酸化バナジウム変調器を使用することができる。
【0030】
検出器アレイは、好ましくは、高感度および高ダイナミックレンジ、良好な信号対雑音特性、高画素個数および小さい画素間隔を有する。使用される検出器アレイは明らかに動作波長に依存することになる。可視および近赤外波長帯では、CMOS検出器アレイまたはCCDアレイを使用することができる。熱赤外帯では、いくつかの冷却または非冷却検出器技術が、カドミウム水銀テルル(CMT)およびアンチモン化インジウム(InSb)の検出器アレイを含めて利用できる。大きい検出器アレイを必要とする用途では、互いに隣接して配置された1つよりも多い検出器アレイとすることができる。したがって、本発明により、大きい面積の検出器が複数の小さい検出器アレイを使用して実現される。実際に、符号化開口画像化法の使用は大区域の画像化に対して利点を有する。前述のように、一連の情景画像が検出器アレイ上の様々な位置で重なり合うので、無動作画素があれば、依然として完全な画像が得られ、無動作画素の影響は全画像にわたって平均化される。同じことが隣接する検出器アレイ間の間隙にも当てはまる。検出器アレイ間の間隙が画像に間隙をもたらす従来の画像化と異なり、CAIシステムでは検出器アレイ間のいかなる間隙の影響も平均化されることになり、依然として完全な画像を得ることができる。これは、標準の検出器アレイがアレイの周辺近くに配置された配線/アドレス指定回路を有する傾向があるので有利である。したがって、活性な検出器区域および非活性な周辺区域を有する複数の標準の検出器アレイは、活性な区域が境界線を共にする、すなわち1つの活性な区域の端部が隣の検出器区域の発端を見るように一緒に継ぎ目なく並べてより大きな検出器を形成することができない。したがって、大きい区域の画像化は特別注文の検出器を必要とし、生成することができる検出器アレイのサイズに制限がある。しかし、符号化開口画像システムを使用することによって、標準の検出器アレイを使用することができ、平均化の効果は、大きい区域の継ぎ目なしの画像化または非標準のアスペクト比の画像化が比較的簡単に安価に達成できることを意味する。これは、固定視野、すなわち固定符号化開口マスク、または再構成可能な符号化開口マスク手段を使用する可変視野を有する画像システムに適用できる。
【0031】
したがって、本発明の別の態様では、符号化開口マスクを通して情景からの放射を受け取るように構成された複数の検出器アレイを有する符号化開口画像システムが提供される。前述のように、各検出器アレイは放射を受け取るための活性な検出器区域および非活性な周辺区域を有し、少なくとも1つの検出器アレイの活性な区域は隣の検出器アレイの活性な区域と境界線を共にしない。本発明の他の態様に関して本明細書で説明される実施形態および利点のすべてがこの点に関し多数の検出器アレイを使用する態様に適用可能である。
【0032】
平面検出器アレイは、製造の容易さ、したがって入手のしやすさおよびコストのために本発明のすべての態様で好ましいが、必要に応じて検出器アレイは湾曲または切子面である。
【0033】
前述のように、検出器アレイに到達する放射パターンは一連の重なり合う各開口からの情景の画像と考えることができ、信号処理は検出されたパターンを復号するために必要とされる。したがって、このシステムは、画像を生成するために検出器アレイの出力を復号するためのプロセッサを含むことがある。好ましくは、プロセッサは画像を復号するために様々な復号アルゴリズムを適用するように構成される。湾曲表面によって画像化するようにシステムが構成される場合、復号アルゴリズムは湾曲表面を通る放射によって生じたいかなる収差の影響も補正する。
【0034】
いくつかの異なる復号アルゴリズムを使用することができる。使用されるアルゴリズムは、画像システムが使用される特定の用途に依存することになり、必要とされるフレーム速度、画像品質、および利用可能な信号処理リソースによって影響されることもある。様々なアルゴリズムを記憶して状況によって使用することができる。
【0035】
好都合には、復号アルゴリズムはデコンボリューションアルゴリズムを含むことができる。あるいは、復号アルゴリズムは相互相関アルゴリズムを含むことができる。復号は、画像を回復するための解空間の反復探索、例えば最大エントロピー法、ソースの反復除去(iterative removal of sources)を含むことができる。処理は前述の復号アルゴリズムの1つまたは複数を実行するように構成することができる。
【0036】
当業者は、回折がない場合、符号化開口画像システムの検出器アレイで記録された信号は、情景の強度と符号化開口アレイの開口関数とのコンボリューションにあるノイズを加えたものとして記述することができることを理解されるであろう。したがって、すべての復号アルゴリズムの目的は、マスクパターンについての知見を使用することによって、例えばデコンボリューションまたは相互相関を実行することによって情景画像を回復することである。
【0037】
しかし、回折効果が著しい場合、検出器アレイの強度パターンはもはや開口関数に直接対応しない。代わりに、検出器アレイで形成された回折パターンは実際上マスクパターンのぼかされた変形となる。したがって、符号化開口アレイの開口関数に基づいた復号アルゴリズムはぼかされた画像をもたらすことになる。
【0038】
したがって、画像の処理は多段処理を要することがある。第1のステップで、情景の第1の画像が形成される。この第1の画像は回折効果によりぼかされることになる。次に、画像品質を改善するために少なくとも1つの画像増強ステップを適用することができる。
【0039】
第1の画像を形成するステップは、従来の符号化開口アレイで知られている処理技法のいずれかを使用することができる。しかし、好ましくは、画像デコンボリューションは悪条件逆問題であるので、悪条件逆問題の解決に適用可能な様々な技法を適用することができる。1つの好ましい実施形態では、Tikhonov正規化技法を第1の画像の生成ときに適用することができる。Tikhonovの正規化は逆問題の解決の知られた技法であり、例えば、「Introduction to Inverse Problems in Imaging」、M.BerteroおよびP.Boccacci、Institute of Physics Publishing、1998年、ISBN0750304359(以下、BerteroおよびBoccacciと呼ぶ)の108頁を参照されたい。あるいは、Weinerフィルタ技法を適用することができる。Landweber反復などの反復技法を使用することができ、BerteroおよびBoccacciの291頁を参照されたい。
【0040】
さらに画像品質を改善するために、少なくとも1つの画像増強ステップを第1のぼかされた画像に実行することができる。ぼかされた画像は点像分布関数でコンボリューションされた真の画像と見ることができる。次に、画像増強のステップは真の画像を回復するためのものである。
【0041】
好ましくは、画像増強ステップは第1の画像を点像分布関数が相対的に不変である一連の画像領域に分割することおよび品質を改善するためにこれらのサブ画像を処理することを含む。画像を複数の小さい画像区域に分割することは、点像分布関数がその区域で空間的に不変であることを確実にするだけでなく全画像を処理しようとすることと比べて計算を容易にする。好ましくは、逆問題は各小さい画像領域に対して解かれ、領域の中心の解の値が解として保持される。次に、領域はいくつかの画素だけ移動され、処理が繰り返される。
【0042】
好ましくは、各画像領域の逆問題を解くことはフーリエ法を使用して遂行することができるTikhonovの正規化である。あるいは、打切り特異(truncated singular)関数展開を「Scanning singular−value decomposition method for restoration of images with space−variant blur」、D A Fish、J Grochmalicki、およびE R Pike、J.Opt.Soc.Am A、13巻、3号、1996年、464〜469頁に提案されているように使用することができる。これは計算上Tikhonovの正規化よりも強力な方法である。この方法は点像分布関数に関連した特異値分解(SVD)の計算を必要とする。しかし、点像分布関数が空間的に不変である場合、SVDは全画像を扱うために1回しか計算する必要がない。
【0043】
符号化開口画像化法はインコヒーレントな画像化を含むので、真の画像は非負でなければならない。この事前情報は逆問題の解決に含むことができる(例えば、G D de Villiers、E R PikeおよびB McNally、Positive solutions to linear inverse problems、Inverse Problems 15、1999年、615〜635頁を参照)。
【0044】
正値性をLandweber反復の変種を使用して解に組み込むこともでき、これは実行するのが潜在的により簡単である(BerteroおよびBoccacci、291頁を参照)。Richardson−Lucy法(期待値最大化方法としても知られている)は射影Landweber法と同様の性能を有し、計算上より強力である(BerteroおよびBoccacci、179頁)ことに留意されたい。
【0045】
画像が少数の点ターゲットを有するという事前知見を有する場合、画像増強ステップは付加的または選択的に曲線のあてはめを含む超解像法を使用することができる。
【0046】
符号化開口撮像装置が追跡するために使用されることになる場合、追跡が実行されている所にだけ高解像度パッチが必要になる。これは計算負荷を著しく削減することになる。したがって、この方法は、画像の注目する部分、すなわち情景の移動部分またはあり得るもしくは確認されたターゲットの領域にのみ画像増強を実行するステップを含むことができる。
【0047】
画像増強ステップは情景の複数の画像からのデータを組み合わせることを含むことができる。様々な符号化開口マスクを使用して情景のいくつかの画像を取ることによって、情景に関する付加情報を生成することが可能である。本質的にデータにある統計的構造を課することができる。
【0048】
特に、符号化開口撮像装置がターゲット追跡に使用される場合、1つよりも多い画像からの情報を組み合わせることができる。好ましくは、検出前追跡(track−before−detect)方式が使用される。検出前追跡アルゴリズムがこれまでレーダーおよびソナーの分野で使用されており、ターゲット識別を改善するためにセンサからのデータのうちのいくつかの取得物からのデータを一緒に使用する。同様の手法が符号化開口画像システムからの様々な画像に使用することができる。
【0049】
したがって、画像処理は3段階処理を使用することができる。第1段階では、情景の第1の画像が生成される。これは回折効果のため情景のぼかされた画像になるであろう。第2段階では、画像は画像領域に分割され、各々が画像品質を改善するために処理される。最終的に、第3段階で、他の画像からのデータが組み合わされて画像の少なくとも一部の画像品質がさらに改善される。
【0050】
前述のように、復号された画像の品質は、各々が異なる符号化開口アレイを使用して取り込まれた、情景の多数のフレームを取ることにより増加することができる。再構成可能なマスク手段を使用する本発明はまったく容易に符号化開口マスク手段を変更し、情景の複数のフレームを取得することができる。様々なフレームは、(様々な符号化開口アレイ用のマスク開口関数とすることができるような)適切な重み付けで一緒に組み合わせることができる。
【0051】
プロセッサ自体を、画像を復号するために様々なアルゴリズムを実行するデジタル信号プロセッサとすることができる。それは、再構成可能な符号化開口マスクと組み合わせて使用されるとき画像システムに一層の柔軟性を与える。適切な信号処理ハードウェアは、オン検出器チップ処理、マイクロプロセッサ、CPUもしくはグラフィックプロセッサ(GPU)またはこれらのクラスタ、フィールドプログラマブルゲートアレイ、および特定用途向け集積回路またはこれらの任意の組合せを含む。
【0052】
しかし、前述のように、検出器出力は自然に暗号化された画像であり、したがって、用途によってはシステムはその後の復号のために検出器出力を送信/記録する送信機またはレコーダーを含むことができる。使用される符号化開口アレイは、暗号「鍵」を変更するために、随時、周期的にまたはある外部指示に応じて変更することができる。
【0053】
したがって、本発明は可視および紫外を含む波長帯の範囲で操作可能な適応画像システム提供する。前述のように、従前の符号化開口画像システムは可視または紫外の波長帯の画像化に適さないと考えられてきた。したがって、本発明の別の態様では、検出器アレイおよび可視帯符号化開口マスク手段を含む可視帯画像システムが提供される。したがって、本発明は、可視帯システムで使用することができるマスク手段および復号アルゴリズムにも適用される。同様に、本発明の別の態様では、検出器アレイおよび紫外帯符号化開口マスク手段を含む紫外帯画像システムが提供される。本発明の第1の態様の実施形態および利点のすべてを本発明のこれらの態様に適用でき、特に、可視帯符号化開口マスク手段および紫外帯符号化開口マスク手段は再構成可能とすることができる。
【0054】
FOVを変えることに加えて、本発明によって提供される再構成可能な画像化の性能の別の例は、粗い構造(すなわち、大きい画素および画素間隔)の符号化開口アレイを製作することによってデジタル信号プロセッサの画像解像度および処理負荷を低減することができ、所与の量の信号処理リソースまたはシステムエネルギー消費に対してより速い画像復号を可能にすることである。
【0055】
本発明の別の態様では、再構成可能な符号化開口アレイ手段を通して情景を見るように検出器アレイを構成するステップと、符号化開口マスクを符号化開口マスク手段に書き込むステップとを含む画像化の方法が提供される。本発明の方法は、本発明の第1の態様に関して前述された利点のすべてを有する。
【0056】
この方法は、第1の符号化開口マスクを符号化開口マスク手段に書き込むことと、引き続き第2の符号化開口マスクを符号化開口マスク手段に書き込むこととを含み、第1および第2の符号化開口マスクは異なる視野および/または解像度を有する。必要に応じて、さらなる様々の符号化開口マスクを書き込むことができる。前述のように、符号化開口マスクのFOVはマスク内の符号化開口アレイの場所、すなわちそれが符号化開口マスク手段に現われる場所を変えることによって変更することができる。解像度はアレイ中の開口の間隔およびサイズを変えることによって変更することができる。多数の窩のパッチは、個別の高品質画像を与えるために符号化開口マスク手段に設けることができる。
【0057】
この方法は、好ましくは、画像を与えるために検出器アレイの出力を復号するステップを含む。これは局所プロセッサによって検出器アレイの出力で直接行うことができ、または出力は遠隔復号のために伝達するかもしくは記録して後で処理することができる。復号のステップは、デコンボリューションアルゴリズム、相互相関アルゴリズム、および反復解探索の1つまたは複数を適用することを含む。
【0058】
次に、本発明が以下の図を参照しながら単なる例として説明される。
【発明を実施するための最良の形態】
【0059】
従来のカメラシステムは、カメラの深度を実際上固定するレンズ系の焦点面に集束された画像を生成する。そのようなシステムでは、集束レンズは半径方向で変わる位相シフトを導入することによって前検出器処理で必要な要素を与え、それにより、個々の光線束がレンズの焦点面に伝搬する時までに画像を生成することができる。フレネル回折レンズ系およびゾーンプレートは薄い構造を使用して必要な位相シフトを生成するが、依然として同じ距離だけ個々の光線束の伝搬を必要とする。従来の反射系および屈折レンズ系は現在のカメラ設計を制約し、高性能システムは生成するのに比較的大型で高価である。そのようなカメラシステムの適応性も制限され、例えば視野を操向するには大きな慣性モーメントをもつ大型の光学構成要素を移動させることを必要とすることがある。
【0060】
本発明は軽量の適応画像システム内復号化開口画像化法(CAI)を使用する。CAIはピンホールカメラと同じ原理に基づく。ピンホールカメラでは、色収差のない画像がピンホールから離れたすべての距離で形成され、それにより非常に大きい被写界深度を持つより小型の画像システムの可能性が与えられる。しかし、主要な不利益は乏しい強度処理能力であり、それはピンホールの小さい集光特性に起因する。それにもかかわらず、回折効果が考慮されなければならないが、カメラは依然としてピンホールの直径によって決定された解像度をもつ画像を生成することができる。システムの光処理能力は、ピンホールのアレイの使用によって、角度解像度を保持しながら数桁増加することができる。各検出器要素は、情景の各地点に対応する、異なるピンホールからの寄与の合計の結果を捉える。
【0061】
CAIの操作原理を理解する別の方法は、これが純粋に幾何学的画像化技法であることを注視することである。システムの対象領域(FOR)内の情景のすべての点からの光は検出器アレイ上に符号化された開口の陰影を投じる。検出器はこれらの陰影の強度の合計を測定する。符号化開口は、特に、その自己相関関数が鋭く非常に低いサイドローブであるように設計される。検出器強度パターンのデコンボリューションが情景の点分布に良好な近似をもたらすことができるところで、一般的な擬似乱数または均一冗長アレイ(URA)が使用される(E.FenimoreおよびT.M.Cannon、「Coded aperture imaging with uniformly redundant arrays」、Applied Optics、17巻、3号、337〜347頁、1978年2月1日に説明されているように)。
【0062】
図1は、全体的に2で示される符号化開口画像システムの例を概略的に示す。情景4の点からの光線は、マスクを表示する再構成可能なマスク手段6上に向けられる。この例では、マスク全体が特定の符号化開口アレイを形成する。符号化開口アレイはシャドウマスクの役割をし、したがって一連の重なり合う符号化画像が検出器アレイ8上に生成される。検出器アレイ上の各画素において、重なり合う符号化画像からの強度が合計される。検出器アレイ8からの出力はプロセッサ10に送られ、そこで情景の画像は引き続き様々なデジタル信号処理技法を使用して検出器信号から復号することができる。符号化開口マスク手段は、様々な符号化開口マスクを表示するために再構成可能なマスク手段を制御するコントローラ12によって制御される。
【0063】
図2aおよびbに示されるように、検出器アレイ8に対する再構成可能なマスク手段6のサイズおよび関係が画像システムの対象領域を画定する。図2aは、粗い符号化開口アレイを全区域にわたって有するマスクを表示する再構成可能なマスク手段を示す。図2aの画像システムは全対象領域(FOR)画像化モードで操作しており、全FORの比較的低い解像度の画像を生成する。次に、再構成可能なマスク手段は図2bに示される高解像度モードに再構成することができ、マスクの小さい区域だけがより精細な解像度の符号化開口アレイを表示し、マスクの残りの区域は不透明である。放射は単に符号化開口アレイを支えるマスクの部分を通って検出器アレイ8に達することができ、したがって狭い視野(FOV)だけが観察されるが、全検出器アレイが放射を受け取るので画像の解像度が改善される。したがって、システムの解像度およびFOVは、特定の要求に従って容易に変えることができる。例えば、画像システムがセキュリティ監視システムで使用される場合、それは一般に区域をモニタするために全FOR低解像度モードで操作することができる。しかし、必要な場合、特定のFOVを高解像度画像化のために選択することができる。例えば、画像中に動きが検出される場合、オペレータによりまたは自動的に画像処理を使用して、マスク手段は動きが生じた区域の高解像度画像を与えるように再構成することができる。
【0064】
システムの視野は再構成可能なマスク手段に表示された符号化開口アレイのサイズおよび場所によって決定されることは明白であろう。マスク手段上の小さいアレイの位置を変えると視野が変わる。したがって、画像システムの視野は、符号化開口アレイの位置を変更するように単にマスク手段を再構成することによって容易に操向することができる。図3は使用することができる一連のマスクパターンを示す。
【0065】
時間t=0で、マスク手段全体は表示されたフルサイズの符号化開口アレイをもつ全FOR監視モードである。時間t=1で、システムは高解像度追跡および識別モードに切り替わり、マスクの一部分だけが符号化開口アレイを表示し、その位置は情景中の対象を追跡するように移動される(t=2、3など)。
【0066】
したがって、本発明は、大きなFORからの放射が選択的に検出器アレイに向けられるように十分な大きさの迅速に再構成可能な符号化マスクをシステムに与える。平面マスク手段または湾曲もしくは切子面手段を使用することができる。図4は湾曲マスク手段40の例を示す。平面マスク手段と同様に、湾曲マスク手段は様々な符号化開口アレイを表示して様々な解像度を与え、マスク手段上の符号化開口アレイの位置を変えてFOVを変更することができる。しかし、湾曲マスク手段は、製作するのはより困難であるが、所与のシステム開口に対してFORをさらに増加させるという利点を有する。前述のように、符号化開口マスク手段は、使用中の環境に適合するように設計される形状を有することができる。例えば、画像システムが航空機の翼で使用されることになる場合、翼形状の曲線に適合する湾曲マスクを使用することができる。これは、使用のとき画像システムを、空気力学を損なうことなく最適のFOVで翼の適切な部分に配置できることを意味する。あるいは、平面、湾曲、または切子面のマスクを使用することができ、このシステムは、受け入れがたい光学収差を被ることなく翼または航空機機首の窓などの曲面を通して画像化するように構成される。図8は、曲面82を通して画像化するように構成された検出器アレイ8および符号化開口マスク6を有する符号化開口画像システムを示す。
【0067】
すべての場合に、再構成可能な符号化マスクの厚さは純粋に機械的強度の考慮によって決定されるので、このCAI手法によって必要とされる比較的広いシステム開口はシステム質量および慣性に比較的小さい影響を有する。より従来の画像化手法はシステム開口にある形態の光学的能力を必要とし、これが、ここで提案されたCAI技法と比べるとき恐らく質量および慣性モーメントを著しく増加させることになろう。
【0068】
この手法の特徴は、操向できるFOVをもつ大部分の他のシステムと異なり、巨視的な可動部がCAIシステムにないということである。これにより、システム応答時間、電力要件、および振動低減に著しい利点が生じる。選択された適応マスク技術に応じて、機敏な画像システムの一時的性能は恐らく検出器アレイ集積化および読出し時間によって制限されることになる。
【0069】
適応マスク手段の重要な要件は、それを再構成することができ、注目する波長帯で透明または不透明のいずれかになるように迅速に切り替える(理想的にはいくつかの用途では<5ms)ことができる画素を有し、システムで使用される可能性のある検出器の解像能力と適合するものを有する(可視帯の約5μmから長波熱帯(LWIR)の25μmまで全部)ことである。有利な要件は湾曲した基板上に製作する能力および双安定透過であることを含む。後者は、構成されないときマスクにエネルギーは必要とされず、システムの低電力操作に寄与することになる。
【0070】
可視帯では、様々な液晶表示技術を使用することができる。例えば、速く本質的に2値であり、マトリクスアドレス指定の必要性が簡単な可視および近赤外帯マスクで、強誘電性液晶デバイスを使用することができる(原理上、熱帯(thermal band)操作が可能であることもある)。それらはさらに双安定の性質を示すことができる。10μs未満の切替え速度、2μmまで低減した画素サイズ、および10よりも多い画素の画素個数をもつデバイスが実証された。あるいは、双安定ネマチック液晶技術を使用することができ、例えば米国特許第6249332号に説明されているような表面格子配向型ジナサル(zenithally)双安定液晶である。これは真の双安定技術の例であり、それはプラスチック基板を使用して製造することができ、丈夫であり、衝撃に強い。
【0071】
当業者は、他の液晶技術を適応マスク手段として使用できることを理解されよう。これらのいくつかは熱赤外まで使用することもできるが、いくつかのネマチック液晶の切替え速度は、必然的に操作波長と共に増加する液晶セル間隙の2乗で減少することがある。ネマチック液晶切替え速度は緩和効果によって支配され、その結果、10.6μmでかなり遅く約1sである。再び、強誘電性液晶はより適切である可能性があり、それらの切替えは完全に電気的に行われる。付加的に配慮すべきことは、最も適切なLCモードが必然的に偏光性依存性を有し、操作のために偏光子および/または波長板を必要とすることである。付加的な複雑さおよび光透過の低減は欠点と見なされることがあるが、それらの性質を使用して付加的な機能、例えば偏光識別または分析を撮像装置に与えることもできる。
【0072】
代替の非偏光依存技術は、エレクトロクロミック(現在、電子書籍用途のために追求されている)および様々なタイプの懸濁粒子を含む。
【0073】
赤外用途では、二酸化バナジウム変調器を適応マスクで使用することができる。薄膜二酸化バナジウム(VO)は340Kで剪断相転移を経験する。この材料の電気的特性および赤外光学特性はこの相転移によって劇的に影響される。相転移温度以下で、VOは「不良」電気絶縁体であり、赤外スペクトル領域の吸収は微少である。相転移温以上で、VOは不良導体であり、赤外で不透明である。絶縁相と導電相との間の迅速な電気的切替え(20ns)が実証された。これおよび関連する材料が赤外での様々な用途のため幾人かの研究者によって探求されており、再構成可能なCAIマスクの使用に適応される可能性がある。
【0074】
再構成可能なマスク手段のための別の有用な候補技術は微小光電気機械システム(MOEMS)空間光変調器である。MOEMS光変調器が知られており、それらのいくつかは光干渉効果を使用して光ビームの強度および/または位相を制御する。例えば、GB0521251に説明されている変調器は光干渉効果を利用して光の1つのビーム(または複数のビーム)の強度および/または位相を制御し、1つまたは複数の移動可能なマイクロミラーが基板上に吊るされている単一のMOEMS光変調器またはMOEMS光変調器のアレイに基づく。この構成は、基板(例えばシリコン)が光学的に透過性である波長では透過で使用することができ、実質的により大きい範囲の波長では反射で使用することができる。このタイプの技術に基づいた変調器は、本発明で特に有用である。そのような変調器は複数の波長および/または入射角を有する電磁放射を変調することができ、または単一の波長を有する電磁放射を変調するように構成することができる。
【0075】
光変調器は、赤外放射の透過を、より好ましくは、短波赤外(SWIR)放射(0.8〜2.5μm)、中波赤外(MWIR)放射(3〜5μm)、および長波赤外(LWlR)放射(8〜14μm)の大気の窓のうちの少なくとも1つの透過を変調するように構成される。好都合には、光変調器基板がSWIR、MWIR、およびLWIRの放射に実質的に透過性である。この特性は、その上に光共振器を製作する前の光変調器の基板層の透過特性を指す。
【0076】
本発明の適応CAI手法の重要な利点は、システムにおいて多種多様な検出器技術を使用する能力である。検出器選択への配慮の多くは、より従来の画像システムのものと同一である。システムの性能を最大化するために、理想的な検出器アレイ特性は高い感度およびダイナミックレンジ、良好な信号対雑音性能、高い画素個数、および小さい画素間隔を含む。非冷却操作は様々な理由で好ましい。オンチップ前検出器処理を実行する能力は有利である。
【0077】
可視および近赤外帯において、使用できる検出器アレイ技術は相補形金属酸化膜半導体(CMOS)および電荷結合素子(CCD)である。両方とも5メガ画素を超える画素個数で利用できる。CCDは成熟した技術であり、高感度(CMOSよりも約1桁良好)、高画像品質(低い固定パターンノイズ)、小さい画素間隔(CMOSの7〜8μmと比べて2.5μm以下)という利点を有する。しかし、CMOS技術は依然として発展しており、検出器チップに組み込む補助回路(タイミング論理回路、露光制御、アナログーデジタル変換、信号前処理など)を有する能力を提供する。これにより、低いシステム体積および低い電力消費(約3分の1〜10分の1まで)をもつ単一チップ画像化解決策が可能になる。適応CAI画像システムに対するCMOS技術の主要な利点は画像読出しの柔軟性である。画素ビニング(複数のグループの画素からの出力を結合すること)および選択的ウインドイング(高フレーム速度でアレイの一部を読み出すこと)がこれの例である。適切なデジタル処理アーキテクチャおよびアルゴリズムと組み合わせると、そのような操作モードは様々な適応可能な操作モードを可能にすることになる。
【0078】
熱帯では、様々な冷却および非冷却熱赤外検出器技術が利用できる。これらのうち、カドミウム水銀テルル(CMT)およびアンチモン化インジウム(InSb)技術は熱帯適応CAIの第1の候補である。CAI性能への1つの重要な要因は検出器ノイズの影響である。これは熱帯システムでより問題となる可能性がある。数値シミュレーションは、検出された強度パターンの不十分な信号対雑音比は復号された画像のコントラストを低減させる影響があることを示している。
【0079】
本発明の適応CAI手法の利点はその柔軟性である。様々な復号アルゴリズムを使用することができる。そのときの用途ニーズに応じて、最も適切なアルゴリズムおよびパラメータを状況に応じて選ぶことができる。分かっている先験的な情報は、それが利用可能になるとき更新することができ、性能をさらに改善することができる。必要であれば、復号されていないかまたは部分的に復号された画像を、自然に暗号化された形態でCAIシステムから遠隔地に伝達して、より精巧な分析を可能にすることもできる。
【0080】
従来技術で既に利用可能な様々なCAI復号アルゴリズムがあり、それらの大部分は、X線、g線、および放射線の画像化に関連した比較的低い画素個数検出器を含めてオフライン復号用に開発されている。実時間復号用途では、適切なアルゴリズムを選択する場合に考慮されるべき要因は、使用される検出器の信号対雑音特性、マスクタイプ、効率的な復号コンピュータアーキテクチャとの相乗効果、および様々な性能オプションをサポートするための適応性を含む。
【0081】
最も一般的な場合に、検出器アレイDを出る信号は、
【数1】

で記述することができ、ここでx、yは2次元信号分布の横座標であり、Sは情景からの信号であり、Aはシステムのマスクの開口関数であり、Nは検出器で導入されたノイズであり、
【数2】

はコンボリューション演算子である。すべてのそのようなアルゴリズムの目的は、できるだけ少ないアーティファクトでS(x,y)の一部または全体を回復することである。これらのアーティファクトは、CAIが使用される用途に応じて様々なメトリクスによって定量化することができる。例えば、画像を見る人間は、自動的な(装置ベースの)解釈よりも様々なメトリックの使用を必要とすることがあり、検出、識別および/または追跡は同様に適切な最適化を必要とすることになる。
【0082】
デコンボリューション法
復号はデコンボリューションを使用して行われ、
S’(x,y)=F−1[F(D(x,y))/F(A(x,y))]=S(x,y)+F−1[F(N(x,y))/F(A(x,y))] (2)
ここで、Fはフーリエ変換演算子である。計算上効率的であるが、F(A(x,y))は小さい項を有すること(例えば、大きな2値アレイの一般的性質)があり、ノイズの再現をもたらす。適切なマスク設計はこの影響を最小にすることになる。正確なデコンボリューションがノイズに影響されやすいことはよく知られており、したがって、検出器ノイズがいくつかの他のものよりもこのアルゴリズムに影響することがある。多くのフーリエベースの手法におけるように、高速フーリエ変換(FFT)の速度がこのアルゴリズムの効率的な計算処理の実施をもたらすことができる。図5はこのアルゴリズムの使用の結果を示す。オリジナルの3〜5μm帯の情景50がランダム2値マスク52を使用して画像化された。検出器アレイで記録された画素強度54は符号化されたパターンであることが分かる。これは復号されて、逆転アルゴリズムを使用してオリジナル画像の高品質バージョン56が生成された。
【0083】
相互相関法
この技法では、S(x,y)がD(x,y)をアレイG(x,y)と相関することによって復号される。
【数3】

【0084】
G=Aの簡単な場合、マスク設計Aは、その自己相関が小さいサイドローブをもつデルタ関数に十分に近似するようなものである。均一冗長アレイはこれを小さいアレイ寸法で達成するために開発された。この場合には、妥当な品質の再現を達成することができる。しかし、マスク関数の実数の正の性質は、理想的な場合でさえ、理想的な場合のデコンボリューションアルゴリズムと比べて再現品質の関連する減少を伴い、自己相関のピーク値の0.5倍のペデスタルになるであろう。より一般的には、GはG≠Aのように選択される。この場合、この方法は「バランス相互相関」として知られており、Gの適切な選択は良好な品質の再現をもたらすことができる。
【0085】
再び、フーリエベースの実施は計算上効率的になり得る。密接に関連する手法はWienerフィルタリングであり、重み付け相互相関が使用される。この手法は不十分な自己相関関数を有するマスクに有用である。
【0086】
最初の兆候では、理想的なノイズなしの場合(N=0)、相互相関法はデコンボリューションアルゴリズムと比べるとき低質の再現を行う。しかし、N>0では、相互相関はより強固となることができる。
【0087】
マスク手段が、同時に異なる視野を与えるように異なる場所で1つよりも多い別個の符号化開口アレイを備える場合、検出器アレイは実際に符号化開口アレイの各々によって与えられたすべての強度パターンの合計になる。しかし、アレイの任意の1つの開口パターンに基づいた信号の処理はそのアレイによって見せられる画像だけを示すことになる。したがって、各個別の視野に関連した画像を回復することができる。
【0088】
反復回復法
解空間の反復探索を使用して高品質画像を回復することができる。これらの技法の例は最大エントロピー法およびLand Weberアルゴリズムを含む。これらはより柔軟であり、先験的情報、優先順位付けられた復号、およびノイズによる影響の最小化の組込みを可能にすることができる。非常に高品質の再現を達成することができるが、これらのアルゴリズムの反復の性質は特に大きなアレイサイズに対してそれらを比較的遅くする。
【0089】
フォトンタギング
マスクを通して検出されたフォトンを情景の特定の角度位置の方に後方投射することによって、選択された領域に関する画像を再現することが可能である。このように、利用可能な計算リソースを注目する情景の部分に向けることができる。したがって、この手法は、CAI技法を使用して情景の窩状で柔軟な画像化を行うための別の有用な技法である。
【0090】
3D画像回復
CAIは核医学などの用途で3D画像回復に使用されている。そのような用途では、CAIはしばしば「インコヒーレントホログラフィ」と呼ばれる。これの理由は、CAI画像が2次元強度分布であり(多くのホログラムとして)、復号核の適切な選択によって(ホログラフィ中の正しい「参照波」の使用と同様に)情景の3D情報を回復することができることである。深さ解像度は一般にx−y解像度よりも1桁少ない。図6は簡単な原理を示し、システムからさらに離れた光源60が62におけるより近い陰影よりも符号化開口の小さい陰影を投じる。
【0091】
明らかに、そのような操作モードは多くの用途で有用であろう。強力な非線形最適化に基づいたマスク設計により、高品質3次元システム点像分布関数を実現する見込みがある。
【0092】
利用可能な様々なデジタル処理技術があり、それにより検出された強度の画像の映像速度の後処理および復号が可能になる。オン検出器チップ処理(例えば、CMOS検出器アレイによって可能となるように)に加えて、これらはCPUおよびグラフィックスプロセッサ(GPU)ならびにそれらのクラスタ、デジタル信号処理(DSP)チップ、フィールドプログラマブルアレイ(FPGA)、および特定用途向け集積回路(ASIC)を含む。FPGAは、それらが柔軟であり、経済的に実行し、再構成することができるので魅力的であり、したがって、一般に柔軟性を必要とするシステムで使用されることになる。製造システムで、ASICは使用される可能性がある。それらは、高い性能、低い質量および電力消費、および量的に低いユニットコストを有する。
【0093】
カスタム化アルゴリズムの実施に加えて、FPGAおよびASICの両方は、汎用中央処理装置(CPU)と比べるとき優れた性能を提供する。例えば、CPU/FPGA/ASICの現在の性能は、1〜2Gflop/20Gflop/200Gflop(Gflop=ギガ浮動小数点演算回数/秒)である。ギガビット/秒のデータ転送速度がFPGAおよびASICデバイスの両方で可能である。DSP、FPGA、およびASICの電力消費もCPUと比べるとき有利である。現在の最新技術の例として、知られている高処理能力の高速フーリエ変換(FFT)コアは、8.4msで1024×1024の8ビットFFTを実行し、約17msで2つのFFTを含むデコンボリューションまたは相関操作および事前計算核(いくつかのクラスのCAI復号アルゴリズムで使用されるような)を用いてスカラ乗法を実行する。
【0094】
受け取られた強度パターンを復号するには使用された特定の符号化開口アレイのマスク開口関数の知見を必要とすることは前述のことから明らかであろう。通常、マスク開口関数は、マスクおよび検出器アレイに対するその場所の知見を使用して理論的に計算される。しかし、これはマスクの正確な位置合せを必要とする。マスクの回転は検出器によって感知される異なるパターンをもたらすので、方位のいかなる位置合せ不良も特に重要である。
【0095】
正確な位置合せの必要を低減し、処理の精度を改善するために、較正タイプのステップは、復号パターンを形成するように符号化開口画像装置を使用し、参照物体による検出器アレイ上の強度パターンを使用して参照物体を画像化することを含むことができる。特定の符号化開口をもつ符号化開口画像(CAI)システムを使用して点源を画像化する場合、検出器上の強度パターンは、効果的に、符号化開口により投じられた陰影になるであろう。したがって、この強度パターンは、検出器アレイに対する特定の場所および方位において特定の符号化開口に必要な復号パターンを与える。
【0096】
したがって、この強度パターンは記録され、復号アルゴリズム中のマスクパターンとして直接使用することができる。マスクパターンの直接使用は、マスクのいかなる回折効果も記録された強度パターン中に存在するという利点を有することができる。前述のように、CAIは純粋に幾何学的な画像化技法である。その結果、符号化開口マスクによって生じたいかなる回折も画像化性能に悪影響を及ぼすと予想される。所与の波長で、検出器からマスクまでの距離が増加するにつれて、およびマスク開口が減少するにつれて回折はより重大になることになる。
【0097】
本質的に回折効果を含む符号化開口マスクの画像の取込みは、処理するとき画像品質に利点を与えることができる。
【0098】
取り込まれたパターンは、例えばコントラストを改善するために記憶される前に処理することができる。
【0099】
あるいは、実際の符号化開口アレイの位置合せ不良の程度を決定するために、理論的なマスクパターンを使用することができるが、参照物体を画像化するとき記録されたデータを使用することができる。取り込まれた強度パターンは理論的なパターンと相関を取ることができ、その相関に基づいて、例えば方位に対するわずかな調整が理論的なパターンに適用される。そうするための実際的な方法は、取り込まれた強度パターンと理論的なパターンの縮尺および回転のバージョンとの間の相関関係を調べることである。最も高い相関ピークを与えるものが取り込まれたパターンの尺度および方位を示すことになる。
【0100】
符号化開口マスク手段は再構成可能であるので、各々が異なる符号化開口アレイおよび/またはマスク手段の異なる位置に配置された符号化開口アレイを有するいくつかの異なるマスクのうちのいずれか1つに対して再構成することができる。したがって、適切に配置された参照物体を各々異なるマスク構成で画像化し、検出器での強度パターンを使用して各々異なる構成に対する復号パターンを決定するのは都合がよい。
【0101】
他のところで述べたように、本発明は湾曲符号化開口アレイの使用を可能にする。そのような湾曲符号化開口アレイに対する理論的復号パターンの生成は重要な計算を含むことができる。検出器アレイをもつ湾曲符号化開口アレイを使用すると、いかなる処理も必要とせずに復号パターンを直接決定することができる。
【0102】
点源は顕微鏡対物レンズで点に収束されたレーザビームとすることができる。遠方画像化の用途では、点源は情景内のフレアまたはレーザによって照光された逆反射体とすることができる。明らかに、点源からの強度パターンを記録するとき、情景のその他の部分の強度レベルは点源の強度と比べて低くすべきである。波長特定点源は点源の強度を保証するために使用することができ、または点源は変調された出力を有することができ、検出器アレイ上の強度パターンの処理を使用して一致する変調を有する信号、したがって点源に対応する信号を抽出することができる。
【0103】
使用中の視野の点源を使用するのは、長い距離にわたって画像化する場合、大気の収差の補正を可能にするので有利なこともある。レーザなどの強い照明手段によって照光された逆反射体などの点源を情景に配置することができる。大気を通る放射の伝搬によって生じたいかなる大気の収差、すなわち光信号の歪みも符号化開口撮像装置で感知されるとき歪んだ形状を有する点源になるはずである。次に、検出器アレイで受け取られた強度パターンは、そのような歪んだ点源によって照光されるマスクにより生じた強度パターンになるはずである。次に、この強度パターンは、画像を復号する目的で復号パターンとして使用することができる。そのようなパターンを使用して復号された歪んだ点源の画像は、実際には歪んでいない点源の画像を与えることになる。したがって、点源が画像化されるべき情景内に配置され、その点源によって生成された強度パターンが復号パターンとして使用される場合、情景から撮像装置までの放射の伝搬中のいかなる歪みも補正されることになる。
【0104】
前述のように、CAIは純粋に幾何学的な画像化技術である。その結果、符号化開口マスクによって生じたいかなる回折も画像化性能に悪影響を及ぼすと予想される。所与の波長で、検出器からマスクまでの距離が増加するにつれて、およびマスク開口が減少するにつれて回折はより重大になることになる。CAIベースの撮像装置の最大角度解像度の場合、マスク開口間隔は検出器画素間隔とサイズにおいて同等であり、一般に画像化される光波長のサイズの約10倍である。計算によると重大な回折がそのような状況で生じることが示されている。
【0105】
幸運にも、復号された画像品質への回折の影響は予想されるものほど激しくないことが分かり、簡単なデコンボリューション核でさえ良好な画像を回復することができる。例が図7に示され、異なる量の回折をもつ3つの投射マスクパターンのシミュレーション、すなわち回折マスク投射70、いくらかの回折72、および激しい回折74が示される。下列は再現された画像を表し、回折が画像品質にある影響を有することが理解できる。基本デコンボリューションが非回折核と共にこれらのシミュレーションで使用された。
【0106】
回折の影響は、より精巧なアルゴリズムの使用、例えばデータの多数のフレームの使用、および/または穏やかな開口関数などの特別設計の開口の使用によってさらに最小化することができる。これらはグレースケール透過関数によって形成することができ、または開口の端部がサブ波長構造を有する2値透過タイプとすることができる。さらに、注目する波長帯の入来放射の回折を故意に引き起こすパターンを有し、よく調整された符号化パターンである検出器アレイ上の回折パターンを生成するマスクを使用することも可能であり、すなわち、システムが情景からの単一点を画像化する場合、検出器に形成された回折パターンは小さいサイドローブをもつ鋭い自己相関関数を有する。言いかえれば、マスクは回折を念頭において設計し、回折に依存して符号化パターンを生成することができる。
【0107】
回折を生じさせるように設計されているマスクの使用は、情景画像を再現するために復号することができる符号化パターンを生成するという点で従来の符号化開口画像化法と同様である。しかし、マスクパターンが、よく調整され、かつ最小の回折であり、マスクからのいかなる回折効果も処理中に補正されることを保証するように設計される従来の符号化開口画像化法と異なり、回折を生じるが、回折されたパターンはそれ自体よく調整されていることを保証するマスクパターンを故意に使用することができる。
【0108】
これは、それが角度解像度を決定する検出器アレイ上の投射パターンのフィーチャサイズであることを意味する。これは、必ずしも符号化回折マスクのフィーチャサイズと直接関係せず(標準の符号化開口画像化法の場合のように)、それはある量のより大きい設計自由度を可能にする。
【0109】
回折を念頭において設計されている符号化開口マスクの使用は、WO2000/17810で説明されているような回折レンズを使用する手法とはまったく異なることに留意されたい。回折レンズを使用する撮像装置は、従来のレンズを同じ機能性を有する回折の要素に置き替えている。したがって、これらのシステムは検出器平面で画像を形成するように放射を収束する回折レンズを教示し、従来の画像化におけるように、検出器アレイにおける空間強度が画像の空間強度である。本発明のマスクは放射を収束せず、検出器平面に画像を生成しない。回折レンズを有する撮像装置によって画像化された点源は検出器アレイ上に点を生成することになる。符号化開口アレイが同じ点を画像化するように構成される場合、その結果は検出器アレイ上の符号化強度パターン(またはそれの重要な部分)、すなわち画像を再現するために復号される必要がある画像とは異なる強度パターンになる。回折を念頭において設計されたマスクの使用は、単に、注目する波長で検出器アレイ上の強度パターンがよく調整されることを意味する。
【0110】
回折マスクが検出器アレイにおいてよく調整されたパターンを生成するとすれば、簡単な復号アルゴリズムを、回折パターンに基づいて従来の符号化開口画像化法と類似の方法で使用することができる。より高度な復号技法を使用して解像度を改善することができる。
【0111】
検出器ノイズは熱帯システムでより問題となる可能性がある。この状況は、2値CAIマスク自体による入来情景エネルギーの少なくとも半分の吸収によって悪化する。本発明者による数値シミュレーションは、検出された強度パターンの不十分な信号対雑音比が復号された画像のコントラストを低減させる影響を有することを示している。より精巧なアルゴリズムはこれらの影響を低減することができる。
【0112】
前述のように、多数フレームの画像化の使用は、画像品質および/または解像度の改善において特に有利である。複数の異なる符号化開口マスクを使用して組み合わされた多数のフレームから情景およびデータが画像化される。いくつかの異なるマスクの使用は、信号中のノイズを低減させることができ、最終画像の解像度をさらに増加させることもできる。使用される異なるマスクの数は用途および情景変化に応じて変わることができる。例えば、ゆっくり変化する情景または高品質画像が必要とされる場合には、いくつかの異なるフレーム、例えば10、20、50、または100個を取得することができる。急速に変化する情景または移動するターゲットを追跡する場合には、より少ないフレームを組み合わせることができる。しかし、本発明は、必要に応じて組み合わされるフレームおよび使用されるマスクパターンの数を変更する能力を提供する。
【図面の簡単な説明】
【0113】
【図1】本発明による符号化開口画像システムの概略図である。
【図2a】全FOR低解像度画像化モードで操作可能な簡単な平面符号化開口マスク手段を示す図である。
【図2b】高解像度狭FOV画像化モードで操作可能な簡単な平面符号化開口マスク手段を示す図である。
【図3】様々なときに使用することができるいくつかのマスクパターンを示す図である。
【図4】湾曲符号化開口マスク手段を示す図である。
【図5】情景のシミュレーション、典型的なマスクパターン、検出器アレイにおける強度パターン、および復号された画像を示す図である。
【図6】符号化開口画像システムを使用する3D画像化の原理を示す図である。
【図7】デコンボリューションアルゴリズムを使用して画像品質への回折の影響をシミュレーションする数値計算の結果を示す図である。
【図8】湾曲表面によって画像化するように構成された符号化開口画像システムを示す図である。

【特許請求の範囲】
【請求項1】
検出器アレイおよび再構成可能な符号化開口マスク手段を備える、符号化開口画像システム。
【請求項2】
符号化開口マスク手段が様々な視野を有する符号化開口マスクを提供するように再構成可能である、請求項1に記載の画像システム。
【請求項3】
符号化開口マスクの一部だけが符号化開口アレイを備え、マスク中の符号化開口アレイの位置が視野を画定する、請求項2に記載の画像システム。
【請求項4】
符号化開口マスク手段が様々な解像度を有する符号化開口マスクを提供するように再構成可能である、請求項1から3のいずれかに記載の画像システム。
【請求項5】
符号化開口マスク手段が、様々な符号化開口アレイを有する符号化開口マスクを提供するように再構成可能である、請求項1から4のいずれかに記載の画像システム。
【請求項6】
再構成可能な符号化開口マスク手段が、少なくとも1つの符号化開口マスクを符号化開口マスク手段に書き込むように構成されたコントローラを備える、請求項1から5のいずれかに記載の画像システム。
【請求項7】
コントローラが複数の異なる符号化開口マスクで予めプログラムされる、請求項6に記載の画像システム。
【請求項8】
符号化開口マスク手段が非平面である、請求項1から7のいずれかに記載の画像システム。
【請求項9】
符号化開口マスク手段が、150ms未満、100ms未満、50ms未満、15ms未満、10ms未満、または5ms未満で再構成可能である、請求項1から8のいずれかに記載の画像システム。
【請求項10】
符号化開口マスク手段が空間光変調器を備える、請求項1から9のいずれかに記載の画像システム。
【請求項11】
空間光変調器が双安定である、請求項10に記載の画像システム。
【請求項12】
空間光変調器が液晶デバイスである、請求項10または11に記載の画像システム。
【請求項13】
画像を提供するために検出器アレイの出力を復号するように構成されたプロセッサを備える、請求項1から12のいずれかに記載の画像システム。
【請求項14】
プロセッサが、検出器アレイの出力を復号するために様々な復号アルゴリズムを適用するように構成される、請求項13に記載の画像システム。
【請求項15】
プロセッサが検出器アレイからのデータの多数のフレームを組み合わせ、各フレームが異なる符号化開口マスクで取得される、請求項13または14に記載の画像システム。
【請求項16】
検出器アレイの復号されていない出力を送信/記録するための送信機/レコーダーを備える、請求項1から12のいずれかに記載の画像システム。
【請求項17】
再構成可能な符号化開口アレイ手段が、画像暗号化を変えるために、表示された符号化開口マスクを変えるように構成される、請求項16に記載の画像システム。
【請求項18】
検出器アレイおよび可視帯符号化開口マスク手段を備える、可視帯画像システム。
【請求項19】
検出器アレイおよび紫外帯符号化開口マスク手段を備える、紫外帯画像システム。
【請求項20】
検出器アレイおよび赤外帯符号化開口マスク手段を備える、赤外帯画像システム。
【請求項21】
再構成可能な符号化開口アレイ手段によって情景を見るように検出器アレイを構成するステップと、符号化開口マスクを符号化開口マスク手段に書き込むステップとを含む、画像化の方法。
【請求項22】
第1の符号化開口マスクを符号化開口マスク手段に書き込み、続いて第2の符号化開口マスクを符号化開口マスク手段に書き込む、請求項21に記載の画像化の方法。
【請求項23】
第1および第2の符号化開口マスクが異なる視野および/または解像度を有する、請求項22に記載の画像化の方法。
【請求項24】
画像を提供するために検出器アレイの出力を復号するステップを含む、請求項21から23のいずれかに記載の画像化の方法。
【請求項25】
復号のステップが、デコンボリューションアルゴリズム、相互相関アルゴリズム、および反復解探索の1つまたは複数を適用することを含む、請求項24に記載の方法。
【請求項26】
画像を復号するとき複数の異なる符号化開口マスクを使用して取得されたデータを組み合わせることを含む、請求項22に記載の方法。
【請求項27】
非平面要素によって画像化するように構成された符号化開口撮像装置を備える、画像システム。
【請求項28】
符号化開口撮像装置が少なくとも1つの検出器および符号化開口マスク手段を備える、請求項27に記載の画像システム。
【請求項29】
符号化開口マスク手段が再構成可能である、請求項28に記載の画像システム。
【請求項30】
非平面要素がプラットフォームの外部表面の一部を形成する、請求項27から29のいずれかに記載の画像システム。
【請求項31】
非平面要素が空力学的な形状を有する、請求項27から30のいずれかに記載の画像システム。
【請求項32】
情景からの放射を符号化開口マスクを通して受け取るように配置された複数の検出器アレイを有する、符号化開口画像システム。
【請求項33】
各検出器アレイが、放射を受け取るための活性な検出器区域および非活性な周辺区域を有する、請求項32に記載の符号化開口画像システム。
【請求項34】
少なくとも1つの検出器アレイの活性な区域が隣の検出器アレイの活性な区域と境界線を共にしない、請求項29から30のいずれかに記載の符号化開口画像システム。

【図1】
image rotate

【図2a】
image rotate

【図2b】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公表番号】特表2008−542863(P2008−542863A)
【公表日】平成20年11月27日(2008.11.27)
【国際特許分類】
【出願番号】特願2008−512909(P2008−512909)
【出願日】平成18年5月23日(2006.5.23)
【国際出願番号】PCT/GB2006/001890
【国際公開番号】WO2006/125975
【国際公開日】平成18年11月30日(2006.11.30)
【出願人】(501352882)キネテイツク・リミテツド (93)
【Fターム(参考)】