開口符号化多重画像化システムのためのフィルタ・モジュールの設計
【課題】多重画像化システムで用いられるフィルタ・モジュールを設計するための、コンピュータにより実施される方法を提供することにより従来技術(RGB画像化装置、バイヤー・パターン)の制限を克服する。
【解決手段】「開口多重」画像化システム110は、対象150の多重化画像をキャプチャするセンサ180を有する。フィルタ・モジュール125は、センサの共役面にほぼ位置付けられ、多重化画像の開口符号化を提供する。フィルタ・モジュールは、以下の通り設計される。画像化システムにより画像化されるべき対象のモデルが受信され、フィルタ・モジュールの設計候補も受信される。設計候補は、フィルタ・モジュールをフィルタ・セルに空間区分する候補を有し、画像化システムによる多重化画像の構成がシミュレートされる。性能メトリックが計算され、フィルタ・セルの空間区分の候補は、計算された性能メトリックに基づき修正される。
【解決手段】「開口多重」画像化システム110は、対象150の多重化画像をキャプチャするセンサ180を有する。フィルタ・モジュール125は、センサの共役面にほぼ位置付けられ、多重化画像の開口符号化を提供する。フィルタ・モジュールは、以下の通り設計される。画像化システムにより画像化されるべき対象のモデルが受信され、フィルタ・モジュールの設計候補も受信される。設計候補は、フィルタ・モジュールをフィルタ・セルに空間区分する候補を有し、画像化システムによる多重化画像の構成がシミュレートされる。性能メトリックが計算され、フィルタ・セルの空間区分の候補は、計算された性能メトリックに基づき修正される。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、同一の対象の複数の画像、例えば対象の異なるスペクトル又は偏光成分の画像を同時にキャプチャできる画像化システムに関する。
【背景技術】
【0002】
同一の対象の複数の画像を同時にキャプチャするのに有用な多くのアプリケーションがある。これらの画像は、異なる方法でフィルタされ、対象に関する異なる情報を提供してもよい。例えば、多スペクトル及びハイパースペクトルでは、スペクトル情報を得るために異なる波長フィルタが用いられうる。そして、この情報は次にスペクトル分析又は物質の識別又は分子若しくは蛍光体でラベル付けされた他のアイテムの測定のために用いられてもよい。
【0003】
市販のセンサ・アレイは同時に1つの画像をキャプチャするよう設計されているので、これらの複数の画像を得ることは難しい。伝統的に複数の画像は、単に時分割多重化(例えば、時間的に次々に画像をキャプチャする)により、又は2以上の画像化システム若しくは検出器アレイを並列に用いることにより、得られた。
【0004】
例えば、スペクトル画像化アプリケーションは、単一の画像カメラをフィルタ・ホイールと一緒に用いうる。フィルタ・ホイールは、関心のある波長帯に対応する波長フィルタを有する。どの時点においても、1つの波長フィルタのみが画像化経路内に位置付けられ、カメラはフィルタされた画像をキャプチャする。フィルタ・ホイールは、波長フィルタを次から次へと切り替えるために回転し、カメラは該波長フィルタで次々に画像をキャプチャする。従って、多スペクトル画像化は、時分割多重化方法で実施される。しかしながら、結果として生じるシステムは大規模であり複雑である。
【0005】
代替の手法は、プリズム又は格子のような分散素子に基づく。この手法では、分散素子は異なる波長を空間的に分けるために用いられる。光は、標準的に、検出器アレイの1つの次元に沿って分散される。他の次元は、対象の1つの空間的次元をキャプチャするために用いられる。しかしながら、対象の第2の空間次元をキャプチャすることは難しい。屡々、時分割多重化は、例えば走査により第2の空間次元をキャプチャするために導入される。
【0006】
更に別の手法は、複数のカメラ又は画像化システムを並列に用いることである。各カメラは、異なるスペクトル・フィルタに取り付けられ、カメラ・バンクはフィルタされた画像を同時にキャプチャする。しかしながら、これは、必要なハードウェアの量が有意に増大するので、全体のコスト及び複雑性を増大させてしまう。更に、大きいカメラ・システムは視差問題を導入しうる。
【0007】
幾つかのアプリケーションでは、フィルタを各センサ素子に個々に取り付けることが可能である。例えば、従来のRGB画像化装置は、赤、緑及び青色フィルタが各個々の検出器に取り付けられた検出器アレイに基づきうる。バイヤー・パターンは、これらのマイクロフィルタを検出器アレイに配置するための1つの一般的なパターンである。しかしながら、この手法の欠点は、製造コスト及び複雑性の増大である。マイクロフィルタと検出器とは1対1に対応するので、及びマイクロフィルタは検出器に取り付けられるので、マイクロフィルタは検出器と同一の大きさであり、小さい。多くの異なるマイクロフィルタは、従ってアレイに配置され、下にある検出器に揃えられる。これは、特に多数の異なる種類のマイクロフィルタが必要な場合に難しい。別の欠点は、柔軟性の欠如である。マイクロフィルタ・アレイが検出器アレイに取り付けられると、マイクロフィルタ・アレイを偏光することは困難である。
【発明の概要】
【発明が解決しようとする課題】
【0008】
従って、多スペクトル及び偏光画像化システムを含む、より良い多重画像化システム、及び該システムを設計する手法が必要である。
【課題を解決するための手段】
【0009】
本発明は、多重画像化システムで用いられるフィルタ・モジュールを設計するための、コンピュータにより実施される方法を提供することにより従来技術の制限を克服する。
【0010】
一態様では、「開口多重」画像化システムは、対象の多重化画像をキャプチャするセンサを有する。フィルタ・モジュールは、センサの共役面にほぼ位置付けられ、多重化画像の開口符号化を提供する。開口多重画像化システムは、所定のタスクを実行する。フィルタ・モジュールは、以下の通り設計される。画像化システムにより画像化されるべき対象のモデルが受信される。フィルタ・モジュールの設計候補も受信される。設計候補は、フィルタ・モジュールをフィルタ・セルに空間区分する候補を有する。画像化システムによる多重化画像の構成がシミュレートされる。性能メトリックが計算される。性能メトリックは、シミュレートされた多重化画像の関数であり、所定のタスクを示すように選択される。フィルタ・セルの空間区分の候補は、計算された性能メトリックに基づき修正される。
【0011】
他の態様は、フィルタ・モジュールの空間区分の異なる配置、及び所望のタスクに依存する異なる性能メトリックを有する。1つの設計手法では、異なるフィルタ・セル間のクロストークが低減される。例えば、フィルタ・セルが波長フィルタである場合に、スペクトル・クロストークが低減される。
【0012】
本発明の他の態様は、これらの方法を実施する装置及びシステム、及びこれらの方法を用いて設計された装置及びシステムも有する。
【0013】
本特許又は出願のファイルは、少なくとも1つのカラーで作成された図面を有する。カラーの図面を有する本特許又は特許出願の出版物の複製は、当局により要求に応じて及び必要な料金の支払いにより提供される。
【0014】
本発明は、添付の図面と関連して以下の発明の詳細な説明及び添付の特許請求の範囲から直ちに明らかになる他の利点及び特徴を有する。
【図面の簡単な説明】
【0015】
【図1A】本発明による例である開口多重画像化システムを示す図である。
【図1B】本発明による例である開口多重画像化システムを示す図である。
【図2】本発明による例である開口多重画像化システムを設計する方法のフロー図である。
【図3A】フィルタ・モジュールのための異なる空間区分を示す。
【図3B】フィルタ・モジュールのための異なる空間区分を示す。
【図3C】フィルタ・モジュールのための異なる空間区分を示す。
【図3D】フィルタ・モジュールのための異なる空間区分を示す。
【図3E】フィルタ・モジュールのための異なる空間区分を示す。
【図3F】フィルタ・モジュールのための異なる空間区分を示す。
【図3G】フィルタ・モジュールのための異なる空間区分を示す。
【図4A】フィルタ・モジュールのための異なる空間区分を示す。
【図4B】フィルタ・モジュールのための異なる空間区分を示す。
【図5A】フィルタ・モジュール内の赤、緑及び青色フィルタのセルの異なる構成を示す。
【図5B】フィルタ・モジュール内の赤、緑及び青色フィルタのセルの異なる構成を示す。
【図5C】フィルタ・モジュール内の赤、緑及び青色フィルタのセルの異なる構成を示す。
【図6A】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図6B】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図6C】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図7A】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図7B】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図7C】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図8A】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図8B】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図8C】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図9A】RGB環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図9B】RGB環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図9C】RGB環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図10A】RGB環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図10B】RGB環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図10C】RGB環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図11A】(A)皮膚、(B)検出器、及び(C)4つのフィルタ・セルの例である設計問題に対するスペクトル応答を示す。
【図11B】(A)皮膚、(B)検出器、及び(C)4つのフィルタ・セルの例である設計問題に対するスペクトル応答を示す。
【図11C】(A)皮膚、(B)検出器、及び(C)4つのフィルタ・セルの例である設計問題に対するスペクトル応答を示す。
【図12】図11の設計問題に対するフィルタ・モジュールの空間区分を示す。
【発明を実施するための形態】
【0016】
図は本発明の実施形態を説明のみを目的として図示する。当業者は、本願明細書に示された構造及び方法の代替の実施形態が本願明細書に記載された発明の原理から逸脱することなく用いられてもよいことを以下の議論から直ちに認識するだろう。
【0017】
図及び以下の説明は、説明のみのために好適な実施形態を参照する。以下の議論から、本願明細書に開示された構造及び方法の代替の実施形態は特許請求の範囲で請求された原理から逸脱することなく用いられてもよい変形の代替として直ちに認識されることに留意すべきである。
【0018】
<システム概要>
図1A及び1Bは、本発明による例である開口多重画像化システム110を示す図である。用語「開口多重」を以下に説明する。システム110は、光学画像化グループ112及び画像形成要素115のアレイ114を有する。アレイ114は、マイクロ画像化アレイとして表されてもよい。便宜上、光学画像化グループ112は、単一の対物レンズとして図1Aに示されるが、複数の要素を有しうると理解されるべきである。対物レンズ112は、像平面IPで対象150の光学画像155を形成する。マイクロ画像化アレイ114は像平面IPに置かれる。システムは、全体として、空間的に多重化されたインターリーブされた光学画像170をセンサ平面SPで形成する。マイクロ画像化アレイ114の例は、マイクロレンズ・アレイ、ピンホールのアレイ、マイクロミラー・アレイ、チェッカーボード格子及び導波管/チャネル・アレイを含む。センサ・アレイ180は図1Aに示される。
【0019】
フィルタ・モジュール125は、センサ平面SPの共役面SP’に位置付けられる。実際の物理的位置は、光学画像グループ112の前、後又は中間であってもよい。フィルタ・モジュールは、多数の空間的に多重化されたフィルタ・セル127A−Dを有する。この例では、図1Aの下部に示されるように、フィルタ・モジュール125は、フィルタ・セル127の方形アレイを有する。
【0020】
図1Aの下部は、より詳細を提供する。この図では、対象150は、1−9でラベル付けされた3×3アレイの領域に分割される。フィルタ・モジュール125は、個々のフィルタ・セル127A−Dの2×2方形アレイである。例えば、各フィルタ・セル127A−Dは異なるスペクトル応答を有しうる。センサ・アレイ180は6×6方形アレイとして示される。
【0021】
図1Bは、空間的に多重化された光学画像170A−Dがセンサ・アレイ180でどのように生成されインターリーブされるかを概念的に示す。対象150は、フィルタ・セル127Aによりキャプチャされフィルタされた場合、光学画像155Aを生成しうる。光学画像155Aを対象のフィルタされていない画像と区別するために、3×3の領域は添え字Aでラベル付けされる。つまり、1A−9Aである。同様に、フィルタ・セル127B、C、Dによりフィルタされた対象150は、1B−9B、1C−9C、及び1D−9Dでラベル付けされた3×3の領域を有する、対応する光学画像155B、C、Dを生成しうる。これらの4つの光学画像155A−Dのそれぞれは、フィルタ・モジュール125内の異なるフィルタ・セル127A−Dによりフィルタされるが、画像化システム110により全て同時に生成される。
【0022】
図1Bに示されるように、4つの光学画像155A−Dは、センサ平面にインターリーブされて形成される。例として画像155Aを用いると、光学画像155Aからの3×3領域1A−9Aは、光学画像170内の3×3ブロック内で隣接していない。むしろ、4つの異なる光学画像からの領域1A、1B、1C及び1Dが、光学画像170の左上に2×2形式で配置される(画像170の反転は明確性のために無視される)。領域2−9は同様に配置される。従って、光学画像170Aを作り出す領域1A−9Aは、合成光学画像170全体に広がり、他の光学画像170B−Dの部分により分離される。別の方法では、センサが個々のセンサ要素の方形アレイである場合、アレイ全体は、センサ要素の方形サブアレイ171(1)―(9)に分割されうる(図1Bには1つのサブアレイ171(1)のみが示される)。各領域1−9では、各フィルタされた画像からの対応する領域の全てがサブアレイに画像化される。例えば、領域1A、1B、1C及び1Dは全てサブアレイ171(1)に画像化される。フィルタ・モジュール125及びセンサ組立体180は共役面に置かれるので、アレイ114内の各画像化要素115は、センサ平面SPにフィルタ・モジュール125の画像を形成することに留意する。複数の画像化要素115があるので、フィルタ・モジュール125の複数の画像171が形成される。
【0023】
図1は基礎をなす概念を説明するために簡略化されていることに留意すべきである。例えば、対象150は、全体の画像化機能をより簡単に説明するために人為的にアレイに分割された。本発明はアレイにされた対象に限定されない。別の例として、最も実用的なシステムは、有意に大きいアレイを、特にセンサ組立体で及び場合によってはフィルタ・モジュールでも用いる。更に、センサ平面にある6×6領域とセンサ・アレイ内の下にあるセンサ要素とは1:1の関係である必要はない。各領域は、例えば複数のセンサ要素に対応しうる。最後の例として、対象内の1でラベル付けされた領域、つまりフィルタされた画像155A内の1A及び合成画像170内の1Aは、厳密に互いの画像である必要はない。幾つかの設計では、画像170内の領域1Aは、対象150内の領域1からのフィルタされたエネルギを殆どキャプチャしうるが、実際には領域1の画像でなくてもよい。従って、画像170の領域1A内のセンサ要素により集められたエネルギは、該領域における対象の幾何学的再現を表すのではなく、対象150の領域1内の画像(又は画像の特定の変換)の積算又はサンプリングであってもよい。更に、視差、口径食、回折及び光伝搬のような影響は、如何なる画像形成にも影響を与えない。
【0024】
図1に示される手法は幾つかの利点を有する。第1に、複数の光学画像170A−Dはセンサ平面で同時にキャプチャされる。第2に、各キャプチャされた画像は、フィルタ・モジュール125内のフィルタ・セル127A−Dによりフィルタされ、各フィルタ・セル127は異なるフィルタリング機能を実施するよう設計されてもよい。更に、フィルタ・モジュール125は実際のセンサ平面SPではなく共役面SP’に置かれるので、及びこれはフィルタ・モジュールがセンサ平面において要求されるものと比べて遙かに大きいことを意味するので、耐性及び他の機械的要件は緩和される。これは、フィルタ・モジュールがセンサ平面に置かれた場合(例えば、センサ組立体に取り付けられた場合)に比べて、フィルタ・モジュールの走査を容易にする。
【0025】
<設計手法の概要>
用語「開口多重」は、センサ180において(インターリーブされて)複数の画像170が空間的に多重化されるという事実、及び各画像170が異なるフィルタ・セル127A−Dによりフィルタされるが、フィルタリングは実際のセンサ平面ではなく共役センサ平面(つまり、開口)において適用されるという事実を表す。従って、システム110は「開口多重」画像化システムである。開口平面で生じるフィルタリングは、屡々開口符号化と称される。
【0026】
開口符号化の1つの欠点は、共役面SP’が、通常、センサ平面SPで完全に画像化されないことである。歪み、視差及び収差(幾何及び色の両方)のような影響は、センサ平面における隣接する多重化画像間でクロストークを生じうる。図1Bを参照すると、不完全な画像化は、画像1A及び1Bを少なくとも境界で一緒に融合させうる。全体的な影響は、センサ180によりキャプチャされ融合された画像は、もはやフィルタAのみにより又はフィルタBのみによりフィルタされた対象を表さず、フィルタA及びBの特定の組合せによりフィルタされたものであることである。このフィルタA及びBの間のクロストークは、通常望ましくない。
【0027】
従って、フィルタ・モジュールを設計するときに、システムの特性を考慮することが望ましい。図2は、これらのシステム特性を考慮した開口多重画像化システムを設計する方法のフロー図である。この手法では、フィルタ・モジュールの記述210は2つの部分を有する。つまり、フィルタ・モジュールを個々のフィルタ・セルに空間的に区分すること、及び各フィルタ・セルの光学特性(例えば、特定のスペクトル・フィルタ応答又は偏光フィルタ応答)である。図2の方法の目的は、空間区分及び場合によっては個々の光学特性も設計することである。
【0028】
フィルタ・モジュール210の設計の候補が与えられると、コンピュータ・システムは画像化システムによる全体の画像形成をシミュレートする220。これは、通常、全ての光学機器を通じた伝搬、検出器の動作及び後続の処理のモデル化を含む。モデル化は、異なるフィルタ・セル間のクロストークを予測するのに十分な程、正確であるべきである。結果として生じたシミュレートされた画像は、性能メトリックを計算するために用いられる230。性能メトリックは、画像化システムの所望のタスクに従い選択される。段階220及び230は、通常、画像化されるべき対象のモデル、画像化システムの他の部分の記述、及び場合によっては目前にあるタスクに関する追加情報も用いる。フィルタ・モジュール210は、計算された性能メトリックに基づき修正される240。この周期を繰り返すことにより、フィルタ・モジュールの設計を改善する。
【0029】
図3A−4Bは、種々の区分及びパラメータ化を示す。図3Aでは、フィルタ・モジュールは、方形フィルタ・セルのアレイに区分される。方形フィルタ・セルは自身の境界により定められる。区分は、図中の矢印により示されるように境界を移動することにより修正されうる。明確化のため、少数の矢印のみが図中に示される。フィルタ・セルは全て方形であるが、同一の大きさである必要がないことに留意する。図3Bでは、フィルタ・モジュールは、円形の環状フィルタ・セルの同心アレイに区分される。この区分は、フィルタ・セル間の境界によっても定められる。境界は、この例では円である。図3Cは、フィルタ・セルが正方形のフィルタ・セルである変形例である。図3Dでは、フィルタ・モジュールは、セクタに成形されたフィルタ・セルの極性のあるアレイに区分される。再び、フィルタ・セルは自身の境界により定められる。境界線の外側は、方形として示されるが、他の形状(例えば、円形)であってもよい。1つの変形例では、元の位置も変更されうる。図3Eは、セクタに基づく区分を示す。ここでは、原点はフィルタ・モジュールの中心からずれている。図3Fは、環状及びセクタ境界を組合せ、環状のセクタ形状を有するフィルタ・セルを生成している。環状の境界及び/又はセクタ境界は、修正されうる。図3Gは、セクタ境界が各環について独立して移動しうることを除き同様である。
【0030】
図3A乃至3Gは、空間区分がフィルタ・セル間の境界を移動することにより修正される全ての例である。これは、隣接するフィルタ/セルが互いに突き合わせられていると仮定している。これは必須ではない。図4Aは、方形フィルタ・セルの区分を示す。ここでは、各フィルタ・セルの境界は、隣接するフィルタ・セルの境界から離されて調整されうる。これは、図4Aの斜線領域で示されるように、フィルタ・セル間のデッドスペース又は保護帯を生成するために用いられうる。デッドゾーンは、有利なことにセンサにおけるクロストークを低減するために用いられうる。図4Bは、環状フィルタ・セルを用いた類似の例である。
【0031】
フィルタ・モジュールのフィルタ・セルへの空間区分は、他の方法でもパラメータ化されうる。例えば、パラメータ化は、フィルタ・モジュール内のフィルタ・セルの位置及び/又は大きさの修正を許容するよう設計されうる。全体的な修正が行われてもよく、例えばフィルタ・モジュール全体を拡大縮小してもよい。フィルタ・セルの数は可変であってもよい。
【0032】
幾つかの例では、フィルタ・セルの光学特性は、推測的に決定されてもよい。このような場合には、空間区分はフィルタ・モジュールを設計する際の主要なタスクである。例えば、特定のスペクトル応答が望ましい場合である(例えば、対象のR、G、B成分を検出する、異なる成分は業界標準により定められる)。他の例では、フィルタ・セルの光学特性は、空間区分化に加えて繰り返されてよい。画像化システムの残りの部分についても同様である。つまり、幾つかの例では、画像化システムの残りの部分(又は画像化システム内の特定の構成要素)は、性能メトリックに基づき繰り返されてもよい。
【0033】
上述のように、個々のフィルタ・セルは、異なる形状及び大きさ、つまり長方形、ディスク・セグメント、リング、リング・セグメントを有しうる。どれを選択するかはアプリケーションの要件に部分的に依存する。例えば、環で符号化された開口マスクは、拡張された焦点深度要件に対して幾つかの利点を有する。正方形への区分は、隣接する画像化要素間のクロストークを最小限に保つためにマイクロ画像化アレイ114において小さい点広がり関数を必要とするアプリケーションで幾つかの利点を有する。
【0034】
<光伝搬>
この章は、図2の段階220の一部の特定の実施、特に光のセンサへの伝搬のモデル化を記載する。図1Aを参照すると、主レンズ・システム112は、焦点長F及び焦点直径Dを有する。マイクロ画像化アレイ114はマイクロレンズ・アレイであり、各マイクロレンズは焦点長f及び焦点直径dを有する。主レンズ112からマイクロ画像化アレイ114までの距離はz1であり、マイクロレンズ・アレイ114とセンサ180との間の距離はz2である。開口平面SP’内の座標はu,vにより表され、マイクロレンズ平面IP内の座標はx,yにより表され、、センサ平面SP内の座標はη,ξにより表される。
【0035】
フィルタ・モジュールは、フィルタ・モジュールの重なり合わないフィルタ・セルのセットへの区分
【数1】
により記述される。各セルci,i=1,...,Mは、スペクトル応答関数ρi(λ)を有し、λは波長パラメータである。
【0036】
先ず、スペクトル応答ρ*を有するフィルタ・モジュール内のこれらのフィルタ・セルを通過する光をモデル化する。これは、開口符号マスクを定めることによりモデル化されうる。開口符号マスクは、2値関数であり、スペクトル応答ρ*を有するこれらのセルを通過する光のみを伝達する。このマスクは、次の開口透過関数により与えられる。
【数2】
ここで、u,vは開口平面内の空間座標である。主レンズ及びマイクロレンズを通過してセンサへ向かう波面は、Usensor{tρ}により表される。主レンズを通過してマイクロレンズ平面(MLA平面)へ向かう波面は、UMLA{tρ}により表される。
【0037】
MLA平面におけるクロストークは次のように特徴付けられうる。主レンズを通過する光は、理想的にはMLA平面で焦点が合う。レンズの光行差及び色収差により、この理想的な場合は達成されない。特定の波長の点広がり関数(PSF)は、他の波長のPSFよりも長い幅を有し、他のマイクロレンズにも漏洩し、MLA平面でクロストークを生じうる。軸上のマイクロレンズにより伝達されセンサに入射するPSFエネルギのスループットは、次のように計算される。
【数3】
【0038】
センサにおけるスペクトルのクロストークは次のように特徴付けられうる。センサの開口マスクの画像は、マイクロレンズの倍率因子により拡大縮小された単純に同一の画像ではない。色収差、回折の影響、及びレンズ収差は、画像を歪ませ、開口マスク内で重なり合わないセル同士をセンサ画像内で重なり合わせる。このような重なり合いは、センサ平面でスペクトルのクロストークを引き起こす。従って、セル領域全体ではなく、削減されたセル領域が、フィルタされるべき対象のスペクトル情報を有してもよい。システムの性能を測定するために、クロストークにより影響を受けないスーパーピクセルS内のセンサのスペクトル情報を測定する。この目的を達成するために、先ず、次のようにセンサの2つのセル画像間で重なり合う領域を定める。
【数4】
無駄になったピクセルのセットは次式で表される。
【数5】
ここで、Sは直径dのスーパーピクセル内の全てのピクセルを有するセットである。Δ1及びΔ2の領域を評価することは、単一のフィルタ応答のみを通過した光に晒されたピクセルのうちのどれだけ多くがスーパーピクセル内にあるかの指標を与える。
【0039】
所与のアプリケーションでは、フィルタへの特定の分散に従いスペクトル情報をキャプチャすることが望ましい。例えば、バイヤー・パターンでは、緑は人間の視覚システム固有の特性に合っているので、緑は赤及び青に比べて2倍のフィルタを有する。検出又は分類タスクのような他のアプリケーションでは、異なる分散、例えば光スペクトルの青及び赤領域の信号間で際立ったパワーが要求されるために、赤よりも青でより高い応答を有することを望むかも知れない。
【0040】
一般的なモデルとして、応答ρ1,...,ρMを有するM個のスペクトル・フィルタに対してαm,m=1,...,M、0<αm≦1且つΣαm=1の離散値により与えられる目標分布を仮定する。.センサ上の場所(η,ξ)で集められた光は、次式により記述される。
【数6】
ここで、τ(λ)は検出器のスペクトル感度である。軸上の空間位置に対してセンサ測定値から計算される最終的なスペクトル情報は、次式の通りである。
【数7】
μは積分測度である。一例では、μはルベーグ測度である。目標分布{αm}に合わせるため、センサで集められた情報は次式を満たすべきである。
【数8】
【0041】
キャプチャされたスペクトル情報の分布と目標分布との間の相違は、距離メトリックにより示される。
【数9】
【0042】
<幾何光学>
光線伝達行列を用い、幾何光学を用いて伝搬Uの近似を引き出しうる。光線は、光軸から距離x1で入力平面を横切り同時に光軸と角度θ1を成す方向に進むとき、システムに入射する。更に光軸に沿った特定の距離では、光線は出力平面を横切り、このとき、光軸からの距離x2で角度θ2を成す。これらの量は次式により関連付けられる。
【数10】
薄いレンズの近似を用いて、この例であるシステムの光線伝達行列を次式のように定めうる。
【数11】
【0043】
レンズの焦点長は、レンズを通過する光の波長に依存する。通常、レンズの仕様は、基準波長に対して1つの数として焦点長を与える。他の波長では、焦点特性は少し異なり、画像平面で色収差を生じる。これは、fλ及びFλがλに依存するので、光線伝達行列Uがλに依存することを意味する。
【0044】
主レンズDの直径及び特定の基準波長の焦点長Fに依存して、該波長で主レンズを通過する全ての光線がマイクロレンズに衝突しなくてもよい。主レンズ・システムの光線伝達行列は次式で与えられるので、
【数12】
次式の半径のディスク内の主レンズに衝突する平面波からの光線のみが、直径dのマイクロレンズに衝突する。
【数13】
【0045】
この幾何モデルが与えられると、式(3)及び(4)のUsensorについて式(9)からのUを減算することにより、重なり合う無駄な領域の観点からセンサにおけるスペクトル・クロストークを特定しうる。
【数14】
【0046】
<バイヤー・フィルタリングの例>
次に、図3Bに示されるようにフィルタ・モジュールが区分された場合に、バイヤー・フィルタリングを実行するよう設計されたシステムを検討する。区分は、内径及び外径ri,1,ro,1,ri,2,ro,2,ri,3,ro,3を有するリングを形成する3つのフィルタ・セルc1、c2、c3を有する。ここでri,1=0、ro,1=ri,2且つro,2=ri,3である。フィルタ・セルのスペクトル応答はそれぞれρ1、ρ2、ρ3であり、それぞれ中心波長λ1、λ2、λ3により特徴付けられる。各中心波長λiについて、マイクロレンズ及び主レンズの焦点長fi及びFiを計算しうる。
【0047】
基準波長λi及び平面入射波について、センサに画像化された半径rのディスクの空間的広がりは、次式により与えられる。
【数15】
対応する中心波長のリング半径の画像から、画像化されたリング間の重なり合う無駄な領域を計算しうる。
【0048】
図5A乃至5Cは、フィルタ・モジュール内の赤、緑及び青色フィルタの3つの可能な配置を示す。図5Aでは、青色フィルタは中央にある。図5B及び5Cは、赤色フィルタが中心にある2つの可能な構成である。これらの構成はそれぞれBGR、RGB及びRBGとして表される。フィルタ・セルは、Gフィルタ・セルがR又はGフィルタ・セルの何れかの面積の2倍を有するように大きさを定められ、標準的なバイヤー構成と一致する。中心波長は、λB=450、λG=550、λR=650として選択される。z1=50mm及びz2=1.625mmに設定する。これは、それぞれ、λ=588における主レンズ及びマイクロレンズの焦点長F及びfに等しい。レンズ直径比d/D=0.0325である。
【0049】
これらの数値に対し、マイクロレンズによる各フィルタ・セルのセンサへの画像化をシミュレートするために、幾何光学を用いる。
【0050】
表1は各フィルタ・セルの画像の半径を示す。
【0051】
表1: 図5のフィルタ・セルの画像の半径
【表1】
BGRの列は、BGR構成(図5Aに示される)の場合の結果を示す。表1に示されるように、中心の青色フィルタはro,1=0.0164を有するディスクに画像化する。中央の環状の緑色フィルタは、内径ri,2=0.0163及び外径内径ro,2=0.0282を有する環に画像化する。青色フィルタの画像はro,1=0.0164で終了するが緑色フィルタの画像はri,2=0.0163で開始するので、青色フィルタ及び緑色フィルタの画像は重なり合うことに留意する。同様に、BGR構成では、緑色フィルタと赤色フィルタの画像も重なり合う。他の2つの構成では、フィルタ・セルの境界でデッドゾーン又は重なり合いが存在する。
【0052】
次に、青、緑及び赤色フィルタに対し、1:2:1の領域カバレッジに関する制約を与える。この構成は、スーパーピクセル内の死角及び重なり合う領域の量を最小にする。また、1:2:1の領域カバレッジ条件の精度も考慮する。これを行う1つの費用関数は次式の通りである。
【数16】
α1=0.25、α2=0.5、α3=0.25のときのCBayerの値は、表2に示される。各列は、赤、緑及び青色フィルタ・セルの異なる順序付けである。
【0053】
表2: フィルタ・セルの異なる順序付けの費用関数
【表2】
【0054】
ここで、2つの配置BRG及びRBGが、使用不可能なピクセルが最も少なく、6個の異なる配置の中で最良の目標分布1:2:1を維持していることが分かる。この例では、光軸に平行な主レンズに入射する全ての光線がマイクロレンズに衝突することに留意する。これは、一般的に真である必要はない。高い色収差を有するレンズ又は小さいマイクロレンズでは、異なる波長の光に対して、焦点長の変動が増大し、光線がレンズを出てマイクロレンズに衝突しない可能性が増大する。
【0055】
<波面収差>
回折の影響及びレンズ収差を波伝搬の計算に含め、開口及びマイクロレンズをセンサへと通過する波面を記述するため、J.W.Goodman, Introduction to Fourier Optics, McGraw-Hill, New York, 1986で紹介された演算子記法を用いてフレネル近似により回折積分を求める。焦点長F及び開口伝達関数
【数17】
を有するレンズを通過する平面波は、次式で与えられる。
【数18】
距離zにわたる波面Uの自由空間伝搬は、次式で与えられる。
【数19】
【0056】
従って、この例であるレンズ・システムでは、平面波面のセンサへの伝搬は、次式で与えられる。
【数20】
ここで、tdは直径dのクリア開口の開口伝達関数である。この伝搬は入ってくる平面波を想定する。これは、軸上の点源から来る光が、フィルタ・マスクの挿入面でテレセントリック絞りを有する主レンズへ伝搬していく場合をモデル化している。一般化は、軸外の物点からの及び非テレセントリック主レンズ・システムを通じて伝搬する光を含む。
【0057】
上述の量Δ1、Δ2及びI(ρm)は、式(2)で導入された波伝搬のUsensorの表現を用いて計算されうる。
【0058】
図6A乃至6Cは、OPD−RMS=0.01を有する収差主レンズのMLA平面におけるPSFクロストークを示す。フィルタ・モジュールは、フィルタ・モジュールに対してBGR構成を用いる(図5A)。主レンズの直径D=4cm、マイクロレンズの直径DMLA=130ミクロン、z1=50mm及びz2=1.650mmである。図6Aは、青色フィルタ・セルを通じて進む光により生成された、MLA平面における強度分布を示す。図6B及び6Cは、それぞれ緑及び赤色フィルタ・セルを通じて進む光により生成された、MLA平面における強度分布を示す。図7A乃至7Cは、無収差マイクロレンズと仮定して、この同一であるがセンサ平面へ伝搬した光を示す。図7Aは、青色フィルタ・セルを通じて進む光により生成された、センサ平面における光分布を示す。同様に、図7B及び7Cは、それぞれ緑及び赤色フィルタ・セルを通じて進む光により生成された、センサ平面における光分布を示す。図8A乃至8Cは、図7A乃至7Cと同じであるが、OPD−RMS=0.05を有する収差マイクロレンズを仮定している。回折効果は明白である。図6乃至8中の色は、波長ではなく相対強度を示すために用いられた疑似色であることに留意する。
【0059】
図9及び10は、類似の図であるが、RBG構成(図5C)を用いている。図9A乃至9Cは図6A乃至6Cに対応し、OPD−RMS=0.01を有する収差主レンズのMLA平面における光分布を示す。図9Aは青色フィルタの場合、図9Bは緑色フィルタの場合、図9Cは赤色フィルタの場合である。フィルタ・モジュール内のフィルタ・セルの順序は異なるが、波長は図6乃至8と同じ順序で現れ比較を容易にする。図10A乃至10Cは図8A乃至8Cに対応し、OPD−RMS=0.05を有する収差マイクロレンズを仮定した、センサ平面における光分布を示す。無収差マイクロレンズの場合は、本願明細書で提示されない。幾何の場合と同様に、BGRパターンより優れているRBGパターンは、緑色フィルタを外側に赤色フィルタを内側に配置し、結果としてセンサにおいて少ないクロストークしか生じない。
【0060】
<最適化に関する詳細>
フィルタ・モジュールの空間区分の設計は、最適化問題として説明されうる。つまり、特定の性能メトリックが与えられた場合に、空間区分を形成するフィルタ・セルのパラメータを最適化する。図3Gの区分を例として検討する。各フィルタ・セルはリング・セグメントである。リング・セグメントは、内径r0、幅δ(従って、外径はr0+δである)、角度オフセットφ0及び角度の広がりφ(従って、リング・セグメントはφ0からφ0+φまで延在する)により定められる。区分PRは、ディスクをN個の入れ子リングRnに分割する。各リングRnは、r0,n,m、δn、φn,m及びφ0,n,mによりパラメータ化されたM(n)個のリング・セグメントcn,mに分割される。各リング・セグメント(つまり、フィルタ・セル)はスペクトル応答関数ρn,m(λ)を有する。区分PRの例では、最適なリングの幅及び最適なリング・セグメントの角度の広がりを、アプリケーション固有の費用関数Cを最小化することに従って決定することが望ましい。この問題に答えるため、以下の条件付き最適化問題を設定する。
最小化:C(x) (18)
条件:g(x)≦0、h(x)≦0
最適化変数:
【数21】
ここで、
【数22】
ここで、gは線形制約関数、hは例えばセル領域の下限を計算するために用いられうる非線形制約関数である。
【0061】
区分PRの例では、線形制約は次のようになる。
【0062】
変数オフセットv=(v1,v2)を有する固定半径区分の配置では、最適化問題は次のようになる。
最小化:C(Px) (20)
条件:0≦x1≦R
0≦x2≦R
h(x)≦0
最適化変数:
【数24】
【0063】
これらの例の費用関数は、MLA平面におけるクロストークに加え、センサにおけるスペクトル・クロストーク及び異なるスペクトル・フィルタにわたってキャプチャされた情報の分布も考慮するよう設計される。これらの指標は、特定領域にわたる波伝搬及び積分に基づくので、それらは極めて非線形であり非凸形である。従って、一般的に、最適化問題を凸形であると仮定できず、非凸形の制約の最適化問題に適用される解法を用いることが望ましい。
【0064】
費用関数についての1つの選択肢は、幾何光学近似を適用するバイヤー・パターンの評価に用いられる費用関数を式(14)から次式のように一般化することである。
【数25】
ここで、{αm}m=1,...,Mは目標分布である。
【0065】
費用関数についての別の選択肢は、マイクロレンズの光スループットによりセンサでキャプチャされる情報を重み付けすることを含む。
【数26】
又は、量Δ1及びΔ2により評価される、センサ上の使用不可能ピクセルの量を考慮することである。
【数27】
代替の費用関数は次の通りである。
【数28】
ここで、重み0≦wi≦1、且つΣiwi=1である。
【0066】
最適化問題(18)は、非線形制約関数hを有する。この関数は、センサ上の最小分解可能スポット・サイズ及びマイクロレンズの倍率因子に依存するフィルタ・セルの大きさの下限を計算しうる。開口平面上のマイクロレンズを通じて投影された、センサ上の最小分解可能スポット・サイズの大きさの円は、Δuと表される。
【0067】
マイクロレンズ・システムの最小分解可能スポット・サイズΔsλは、レイリーの基準を適用することにより次のように記述される。
【数29】
ここで、NAMLAはマイクロレンズ・システムの開口数である。結果として、マイクロレンズの焦点長は、最小分解可能スポット・サイズが少なくとも1つのセンサ・ピクセルに及ぶように設定されるべきである。
【数30】
ここで、最小化はjにわたる。
【0068】
最小分解可能スポット・サイズを開口平面に投影するために、マイクロレンズの倍率Mを考慮すると、結果として生じるフィルタ・アレイ内のフィルタ・セルciのサイズδu(i)は、セルのスペクトル応答に依存し、次式を満たす。
【数31】
【0069】
フィルタ・セルが直径dの環である場合、制約関数hを次のように設定する。
【数32】
ここで、γはスカラ>0であり、アプリケーションの仕様が与えられた場合に最小フィルタ・セグメント・サイズを調整可能にするために導入される。
【0070】
フィルタ・セルがリング・セグメントである場合、セグメントの最小セグメント・サイズは、内接円、つまりセグメントの内側に描ける最大の円の半径により概算され、min(δn/2,(rn+δn/2)sinφn,m)である。また、制約関数hは次式の通りである。
【数33】
ここで、γ∈Rはスカラであり、アプリケーションの仕様が与えられた場合に最小フィルタ・セグメント・サイズを調整可能にするために導入される。
【0071】
区分が上述のようにパラメータ化される場合、最適化問題は条件付き最適化により解決されうる。代替として、区分が固定された大きさだが柔軟なスペクトル応答を有するセルの集まりである場合、二分探索法のような組合せ最適化方法が用いられうる。
【0072】
<具体例>
3つの具体的な例であるアプリケーションを記載する。第1の例は、バイヤー・パターン型フィルタで写真情報をキャプチャすることである。第2のアプリケーションでは、フィルタ・モジュールは、異なるキャプチャされたスペクトル画像に対して等しい信号対雑音比のように設計される。第3のアプリケーションは、雑音中の信号を検出する。3つの全てのアプリケーションは、同一の設計パラメータを用いる。つまり、主レンズの直径D=40mm、主レンズの焦点長=50mm、マイクロレンズの直径d=130ミクロン、及びマイクロレンズの焦点長=1.650mmである。
【0073】
<写真アプリケーション>
図5Cに示されたRBGバイヤー・パターンを用いるフィルタ・モジュールを検討する。この場合、リング・セグメントは完全な環(リング)であり、区分のパラメータ記述はN=3、M(1)=M(2)=M(3)=1;φ1,1=φ2,1=φ3,1=2π、φ0,1,1=φ0,2,1=φ0,3,1=0である。これは、2つの最適化変数δ1、δ2のみを有することを意味する。3つのRGBフィルタのスペクトル応答をシミュレートするために、ρ1=450nm、ρ2=550nm、ρ3=650nmを選択する。
【0074】
環の幅δ1、δ2を最適化するために、式(23)から費用関数C3を用いる。最適化のための計算は、Matlab最適化ルーチンfminconを用いて実行される。フィルタ・セルの大きさに関する非線形性の制約は、γ=2について式(27)の制約を用いる。表3は、最適化の結果を示す。列「RBG 1:2:1」は最適化されていない区分であり、環の幅は開口平面のR、G及びBに対して1:2:1の面積比を完全に実施するように選択される。列「最適化されたRBG」は上述のように最適化された区分を示す。
【0075】
表3: 1:2:1区分と最適化された区分との比較
【表3】
【0076】
最適化された区分では、最適化されない場合に比べて、内側の赤色リングの幅は減少され、中間の青の幅は増大される。最適化されていない区分はフィルタ・モジュールにおいて正確に1:2:1の領域カバレッジを有するが、最適化された区分は、センサ平面において良好に近似された1:2:1の領域カバレッジ特性を有する。調整されたリング直径を有する最適化された区分は、最適化されていない場合に比べて、B及びG帯のクロストークを低減すると同時に、センサにおいて1:2:1比の良好な近似を達成する(表の最後の3行)。
【0077】
<SNRの均一化>
検出器の応答は、標準的に該検出器の波長範囲にわたり一定ではない。殆どのシリコン検出器は、緑色領域よりも青色領域のほうが感度が低い。従って、RGB画像の青色チャネルは、緑色チャネルよりも屡々雑音が多い。このような感度の損失及び関連する雑音の増大を補償するために、キャプチャされた情報の信号対雑音比が一定になるようにフィルタ・モジュールを設計しうる。このために、σ(n)を強度J(ρn)のピクセル毎の変動として定め、一定であり、全ての(s,t)∈An、Anはセンサ平面における領域であり、応答ρnによりフィルタされた信号のスペクトル応答を受けるピクセルを有するとする。ピクセル毎のSNRは次式のように定められる。
【数34】
ここで、
【数35】
はρnからの応答を得るスーパーピクセル内の全てのピクセルにわたる平均を表す。スーパーピクセルのSNRは次式のように定められる。
【数36】
ここで、|An|は領域An内に含まれるピクセルの数を表す。
【0078】
次に、放射状フィルタ区分のパラメータを次のように計算する。
【数37】
一般的な最適化の枠組みは、以下の通りである。
【数38】
【0079】
幾何無収差モデルに対して最適化の枠組みを分析する。この例では、点源が与えられると、全てのs,t∈AnについてJsensor(ρn)(s,t)=一定である。従って、次式の通りである。
【数39】
ここで、(sn,0,tn,0)はAnの内側の基準点である。領域AnにわたりJsensor(ρn)を積分することにより得られる情報は次の通りである。
【数40】
ここで、A0はスーパーピクセル内の開口の画像の領域であり、0<βn≦1、area(An)=βnarea(A0)である。開口が等しい大きさの4つのフィルタ・セルに区分される場合、各セグメントn=1,...,4についてβn=1/4である。
【0080】
開口ディスク全体のセグメントを有する区分、つまりN=1、δ1=Rと仮定すると、0<βn<1且つΣnβn=1を有する目標分布{β1,...β2}を探す。従って、次の通りである。
【数41】
【0081】
全てのn=1,...,Nに対してσ(n)が一定である特別な場合には、上述の最適化問題に対する解は次式で与えられる。
【数42】
【0082】
例として、雑音中の人間の皮膚反射スペクトルの信号について等しいSNRのフィルタ・モジュールを設計することを検討する。物体の線源スペクトル放射輝度y(λ)が与えられると、センサのピクセルで測定される該信号の強度は、次のように表される。
【数43】
【0083】
図11A乃至11Cは、それぞれ皮膚y、検出器τ、及び4つのフィルタ・セルρ1,...,ρ4のスペクトル応答を示す。スペクトル応答は、中心波長λ1=450nm、λ2=540nm、λ3=557nm及びλ4=650nmを有するインパルス応答としてモデル化される。雑音の相関行列Cが同一の行列である、つまりn=1;:::;4についてρ(n)=1と仮定する。レンズのパラメータは、表3で与えられたのと同じである。最適化されたフィルタ区分のパラメータ化は、式(35)を用いて計算される。結果として得るフィルタ・モジュールは図12に示される。数値は、φ1,1=(.5074)2π、φ1,2=(.2820)2π、φ1,3=(.1597)2π、φ1,4=(.0508)2πである。
【0084】
<整合フィルタを用いたSNRの最大化>
この例では、所与のスペクトル・シグニチャ及び雑音分布に対して、フィルタ・セルが整合フィルタをもたらすという目標が与えられた場合に、フィルタ区分をどのように最適化するかという問題を解決する。N個のスペクトル・フィルタにより得られる測定値は、次式によりモデル化される。x(n)=x(n)+w(n) (37)
ここで、zは既知のスペクトル・シグニチャ、wはn=1,...,N、N=サンプル数のときの雑音である。wは、相関行列Cとしてガウス雑音w〜N(0,C)であると仮定する。最適線形整合フィルタは次式で与えられる。
【数44】
また、最適線形整合フィルタはFIRフィルタの出力でSNRを最大化する。スペクトル検出タスクで用いられる種々の整合フィルタは、二次の制約整合フィルタ
【数45】
及び強靱な整合フィルタ
【数46】
を有する。
ここで、負荷率δh及び
(外1)
である。
【0085】
整合フィルタhの係数をセンサ平面におけるスペクトル情報の目標分布として解釈する。上述の枠組みを用いて、α=h/Σhnを設定することにより、上述の最適化の枠組みを整合フィルタ分布の最適化に適用しうる。
【0086】
以下の結果は、前の章に記載した検出実験で用いられたのと同じ試験データに基づく。
【0087】
信号zは、スーパーピクセルから抽出された情報である。つまり、y=hτz=[I(ρn)]である。また、雑音は共分散行列C=diag[σ(n)]2を有するガウス分布であるとする。
【0088】
幾何無収差モデルでは、zはz=Jsensor(ρn)(sn,0,tn,o)に減少し、hのフィルタ・タップは量|An|を表す。図11A乃至11Cに示された皮膚信号、フィルタ応答及び検出器応答では、測定データはz=[0.9427,1.2646,1.6803,2.9783]になる。C=diag[1,1,1,1]の場合、式(38)からの整合フィルタは、h=[0.0665,0.0892,0.1185,0.2100]である。フィルタ・エントリの制約を要約して2πに適合するように正規化した後、整合フィルタに対応する角度の広がりはφ1=0.8627、φ2=1.1573、φ3=1.5377、φ4=2.7255である。対照的に、C=diag[0.52,1,1,0.82]の共分散では、整合フィルタはh=[0.1727,0.0579,00769,0.2131]であり、φ1=2.0839、φ2=0.6989、φ3=0.9286、φ4=2.5718を有するフィルタ区分をもたらす。
【0089】
レンズ収差と共に回折効果を有する回折モデルでは、上述の最適化の枠組みを、整合フィルタh=[0.0665,0.0892,0.1185,0.2100]に対応するC=diag[1,1,1,1]から得た目標分布α=[0.1373,0.1842,0.2447,0.4337]に適用する。得られた最適化された結果は表4に示される。最適化されない場合の費用関数の値は0.2549である。最適化さた結果の費用関数の値は0.2280である。最適化された空間区分は、最適化されていないフィルタ・パターンを回転したものである。更なる詳細は表4に示される。
【0090】
表4: 最適化された整合フィルタと最適化されていない整合フィルタとの比較
【表4】
【0091】
<検出アプリケーション>
この例では、システムが検出タスクのために設計されている場合に、フィルタ区分をどのように最適化するかという問題を解決する。ガウス雑音中の信号の検出問題は、次式で表される。
【数47】
ここで、zは決定論信号、wは雑音、x(n)は観測結果、n=1,...,N、N=サンプル数である。wは、相関行列Cとしてガウス雑音w〜N(0,C)であると仮定する。この検出問題では、試験関数は次の通りである。
T(x)=xTC−1z (41)
次の偏向率を有する。
d2=zTC−1z (42)
分類性能は最大偏向率に対して最適化される。
【0092】
我々のシステムでは、信号zは、スーパーピクセル内の所与のスペクトル応答ρnが与えられた場合に、区分セルの画像により覆われた領域Anにわたり積分された検知されたスペクトル・データである。
z(n)=I(ρn),n=1,...,N (43)
ここで、I(ρn)は、スペクトル応答ρnの検出器データから計算された情報である。雑音は、積分領域Anにわたり積分されたピクセル雑音である。ピクセル雑音がガウス分布N(0,Cp)であると見なされる場合、スーパーピクセル測定について得られた雑音は、分布N(0,C)である。ここで、Cは次の変数の相関行列であり、
【数48】
(wk(k))は多変量ガウス分布N(0,Cp)である。最適化の枠組みは、以下のように記載される。
【数49】
【0093】
以上の記載は多くの詳細を含むが、これらは本発明の範囲を制限しない。これらは単に本発明の異なる例及び態様の説明と考えられる。本発明の範囲は、上述の詳細に記載されていない他の実施形態を含むことが理解される。例えば、他の実施形態は、例えば信号及び雑音がガウス分布としてモデル化されるとき、バッタチャリャ距離のような分類性能を評価する費用関数を含んでもよい。代替の分類性能測定は、ハイパースペクトル画像化アプリケーションの帯域選択で用いられる構造化バックグラウンド・モデルを有してもよい。別の実施形態では、費用関数は、人間の視覚システムのRGB性能と関連して、光学的バックグラウンド中の単一分子の検出性能を評価してもよい。このようなアプリケーションは、領域のRGB画像及び蛍光信号応答が1つの画像化経路でキャプチャされるべき場合に、蛍光画像化で生じる。
【0094】
フィルタ区分の配置は、マルチモーダル検出と一緒に画像に再び焦点を合わせることを可能にするよう変更されうる。このようなアプリケーションの費用関数は、再び焦点を合わされた各画像の鮮明さを試験するための鮮明さのメトリックのようなメトリックを各画像化モダリティの重み付けと結合しうる。画像解像度、再焦点平面の数、複数の画像化モダリティ(フィルタ区分)の間の適切なトレードオフを保証するメトリックもありうる。クロストークのような回折効果の不利益もありうる。
【0095】
当業者に明らかな種々の他の修正、変更、及び変形が、添付の特許請求の範囲に定められた本発明の精神及び範囲から逸脱することなく、本願明細書に開示された本発明の方法及び装置の配置、動作及び詳細について行われてもよい。従って、本発明の範囲は、添付の特許請求の範囲及びその法的等価物により定められるべきである。
【符号の説明】
【0096】
110 開口多重画像化システム
112 光学画像化グループ
114 マイクロ画像化アレイ
115 画像形成要素
125 フィルタ・モジュール
127A−D フィルタ・セル
150 対象
155、155A−D 光学画像
170 合成光学画像
170A−D 光学画像
180 センサ組立体
SP センサ平面
SP’ 共役面
IP マイクロレンズ平面
【技術分野】
【0001】
本発明は、概して、同一の対象の複数の画像、例えば対象の異なるスペクトル又は偏光成分の画像を同時にキャプチャできる画像化システムに関する。
【背景技術】
【0002】
同一の対象の複数の画像を同時にキャプチャするのに有用な多くのアプリケーションがある。これらの画像は、異なる方法でフィルタされ、対象に関する異なる情報を提供してもよい。例えば、多スペクトル及びハイパースペクトルでは、スペクトル情報を得るために異なる波長フィルタが用いられうる。そして、この情報は次にスペクトル分析又は物質の識別又は分子若しくは蛍光体でラベル付けされた他のアイテムの測定のために用いられてもよい。
【0003】
市販のセンサ・アレイは同時に1つの画像をキャプチャするよう設計されているので、これらの複数の画像を得ることは難しい。伝統的に複数の画像は、単に時分割多重化(例えば、時間的に次々に画像をキャプチャする)により、又は2以上の画像化システム若しくは検出器アレイを並列に用いることにより、得られた。
【0004】
例えば、スペクトル画像化アプリケーションは、単一の画像カメラをフィルタ・ホイールと一緒に用いうる。フィルタ・ホイールは、関心のある波長帯に対応する波長フィルタを有する。どの時点においても、1つの波長フィルタのみが画像化経路内に位置付けられ、カメラはフィルタされた画像をキャプチャする。フィルタ・ホイールは、波長フィルタを次から次へと切り替えるために回転し、カメラは該波長フィルタで次々に画像をキャプチャする。従って、多スペクトル画像化は、時分割多重化方法で実施される。しかしながら、結果として生じるシステムは大規模であり複雑である。
【0005】
代替の手法は、プリズム又は格子のような分散素子に基づく。この手法では、分散素子は異なる波長を空間的に分けるために用いられる。光は、標準的に、検出器アレイの1つの次元に沿って分散される。他の次元は、対象の1つの空間的次元をキャプチャするために用いられる。しかしながら、対象の第2の空間次元をキャプチャすることは難しい。屡々、時分割多重化は、例えば走査により第2の空間次元をキャプチャするために導入される。
【0006】
更に別の手法は、複数のカメラ又は画像化システムを並列に用いることである。各カメラは、異なるスペクトル・フィルタに取り付けられ、カメラ・バンクはフィルタされた画像を同時にキャプチャする。しかしながら、これは、必要なハードウェアの量が有意に増大するので、全体のコスト及び複雑性を増大させてしまう。更に、大きいカメラ・システムは視差問題を導入しうる。
【0007】
幾つかのアプリケーションでは、フィルタを各センサ素子に個々に取り付けることが可能である。例えば、従来のRGB画像化装置は、赤、緑及び青色フィルタが各個々の検出器に取り付けられた検出器アレイに基づきうる。バイヤー・パターンは、これらのマイクロフィルタを検出器アレイに配置するための1つの一般的なパターンである。しかしながら、この手法の欠点は、製造コスト及び複雑性の増大である。マイクロフィルタと検出器とは1対1に対応するので、及びマイクロフィルタは検出器に取り付けられるので、マイクロフィルタは検出器と同一の大きさであり、小さい。多くの異なるマイクロフィルタは、従ってアレイに配置され、下にある検出器に揃えられる。これは、特に多数の異なる種類のマイクロフィルタが必要な場合に難しい。別の欠点は、柔軟性の欠如である。マイクロフィルタ・アレイが検出器アレイに取り付けられると、マイクロフィルタ・アレイを偏光することは困難である。
【発明の概要】
【発明が解決しようとする課題】
【0008】
従って、多スペクトル及び偏光画像化システムを含む、より良い多重画像化システム、及び該システムを設計する手法が必要である。
【課題を解決するための手段】
【0009】
本発明は、多重画像化システムで用いられるフィルタ・モジュールを設計するための、コンピュータにより実施される方法を提供することにより従来技術の制限を克服する。
【0010】
一態様では、「開口多重」画像化システムは、対象の多重化画像をキャプチャするセンサを有する。フィルタ・モジュールは、センサの共役面にほぼ位置付けられ、多重化画像の開口符号化を提供する。開口多重画像化システムは、所定のタスクを実行する。フィルタ・モジュールは、以下の通り設計される。画像化システムにより画像化されるべき対象のモデルが受信される。フィルタ・モジュールの設計候補も受信される。設計候補は、フィルタ・モジュールをフィルタ・セルに空間区分する候補を有する。画像化システムによる多重化画像の構成がシミュレートされる。性能メトリックが計算される。性能メトリックは、シミュレートされた多重化画像の関数であり、所定のタスクを示すように選択される。フィルタ・セルの空間区分の候補は、計算された性能メトリックに基づき修正される。
【0011】
他の態様は、フィルタ・モジュールの空間区分の異なる配置、及び所望のタスクに依存する異なる性能メトリックを有する。1つの設計手法では、異なるフィルタ・セル間のクロストークが低減される。例えば、フィルタ・セルが波長フィルタである場合に、スペクトル・クロストークが低減される。
【0012】
本発明の他の態様は、これらの方法を実施する装置及びシステム、及びこれらの方法を用いて設計された装置及びシステムも有する。
【0013】
本特許又は出願のファイルは、少なくとも1つのカラーで作成された図面を有する。カラーの図面を有する本特許又は特許出願の出版物の複製は、当局により要求に応じて及び必要な料金の支払いにより提供される。
【0014】
本発明は、添付の図面と関連して以下の発明の詳細な説明及び添付の特許請求の範囲から直ちに明らかになる他の利点及び特徴を有する。
【図面の簡単な説明】
【0015】
【図1A】本発明による例である開口多重画像化システムを示す図である。
【図1B】本発明による例である開口多重画像化システムを示す図である。
【図2】本発明による例である開口多重画像化システムを設計する方法のフロー図である。
【図3A】フィルタ・モジュールのための異なる空間区分を示す。
【図3B】フィルタ・モジュールのための異なる空間区分を示す。
【図3C】フィルタ・モジュールのための異なる空間区分を示す。
【図3D】フィルタ・モジュールのための異なる空間区分を示す。
【図3E】フィルタ・モジュールのための異なる空間区分を示す。
【図3F】フィルタ・モジュールのための異なる空間区分を示す。
【図3G】フィルタ・モジュールのための異なる空間区分を示す。
【図4A】フィルタ・モジュールのための異なる空間区分を示す。
【図4B】フィルタ・モジュールのための異なる空間区分を示す。
【図5A】フィルタ・モジュール内の赤、緑及び青色フィルタのセルの異なる構成を示す。
【図5B】フィルタ・モジュール内の赤、緑及び青色フィルタのセルの異なる構成を示す。
【図5C】フィルタ・モジュール内の赤、緑及び青色フィルタのセルの異なる構成を示す。
【図6A】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図6B】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図6C】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図7A】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図7B】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図7C】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図8A】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図8B】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図8C】BGR環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図9A】RGB環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図9B】RGB環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図9C】RGB環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図10A】RGB環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図10B】RGB環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図10C】RGB環状構成を用いたフィルタ・モジュールのための、画像化システム内の異なる点における強度分布を示す。
【図11A】(A)皮膚、(B)検出器、及び(C)4つのフィルタ・セルの例である設計問題に対するスペクトル応答を示す。
【図11B】(A)皮膚、(B)検出器、及び(C)4つのフィルタ・セルの例である設計問題に対するスペクトル応答を示す。
【図11C】(A)皮膚、(B)検出器、及び(C)4つのフィルタ・セルの例である設計問題に対するスペクトル応答を示す。
【図12】図11の設計問題に対するフィルタ・モジュールの空間区分を示す。
【発明を実施するための形態】
【0016】
図は本発明の実施形態を説明のみを目的として図示する。当業者は、本願明細書に示された構造及び方法の代替の実施形態が本願明細書に記載された発明の原理から逸脱することなく用いられてもよいことを以下の議論から直ちに認識するだろう。
【0017】
図及び以下の説明は、説明のみのために好適な実施形態を参照する。以下の議論から、本願明細書に開示された構造及び方法の代替の実施形態は特許請求の範囲で請求された原理から逸脱することなく用いられてもよい変形の代替として直ちに認識されることに留意すべきである。
【0018】
<システム概要>
図1A及び1Bは、本発明による例である開口多重画像化システム110を示す図である。用語「開口多重」を以下に説明する。システム110は、光学画像化グループ112及び画像形成要素115のアレイ114を有する。アレイ114は、マイクロ画像化アレイとして表されてもよい。便宜上、光学画像化グループ112は、単一の対物レンズとして図1Aに示されるが、複数の要素を有しうると理解されるべきである。対物レンズ112は、像平面IPで対象150の光学画像155を形成する。マイクロ画像化アレイ114は像平面IPに置かれる。システムは、全体として、空間的に多重化されたインターリーブされた光学画像170をセンサ平面SPで形成する。マイクロ画像化アレイ114の例は、マイクロレンズ・アレイ、ピンホールのアレイ、マイクロミラー・アレイ、チェッカーボード格子及び導波管/チャネル・アレイを含む。センサ・アレイ180は図1Aに示される。
【0019】
フィルタ・モジュール125は、センサ平面SPの共役面SP’に位置付けられる。実際の物理的位置は、光学画像グループ112の前、後又は中間であってもよい。フィルタ・モジュールは、多数の空間的に多重化されたフィルタ・セル127A−Dを有する。この例では、図1Aの下部に示されるように、フィルタ・モジュール125は、フィルタ・セル127の方形アレイを有する。
【0020】
図1Aの下部は、より詳細を提供する。この図では、対象150は、1−9でラベル付けされた3×3アレイの領域に分割される。フィルタ・モジュール125は、個々のフィルタ・セル127A−Dの2×2方形アレイである。例えば、各フィルタ・セル127A−Dは異なるスペクトル応答を有しうる。センサ・アレイ180は6×6方形アレイとして示される。
【0021】
図1Bは、空間的に多重化された光学画像170A−Dがセンサ・アレイ180でどのように生成されインターリーブされるかを概念的に示す。対象150は、フィルタ・セル127Aによりキャプチャされフィルタされた場合、光学画像155Aを生成しうる。光学画像155Aを対象のフィルタされていない画像と区別するために、3×3の領域は添え字Aでラベル付けされる。つまり、1A−9Aである。同様に、フィルタ・セル127B、C、Dによりフィルタされた対象150は、1B−9B、1C−9C、及び1D−9Dでラベル付けされた3×3の領域を有する、対応する光学画像155B、C、Dを生成しうる。これらの4つの光学画像155A−Dのそれぞれは、フィルタ・モジュール125内の異なるフィルタ・セル127A−Dによりフィルタされるが、画像化システム110により全て同時に生成される。
【0022】
図1Bに示されるように、4つの光学画像155A−Dは、センサ平面にインターリーブされて形成される。例として画像155Aを用いると、光学画像155Aからの3×3領域1A−9Aは、光学画像170内の3×3ブロック内で隣接していない。むしろ、4つの異なる光学画像からの領域1A、1B、1C及び1Dが、光学画像170の左上に2×2形式で配置される(画像170の反転は明確性のために無視される)。領域2−9は同様に配置される。従って、光学画像170Aを作り出す領域1A−9Aは、合成光学画像170全体に広がり、他の光学画像170B−Dの部分により分離される。別の方法では、センサが個々のセンサ要素の方形アレイである場合、アレイ全体は、センサ要素の方形サブアレイ171(1)―(9)に分割されうる(図1Bには1つのサブアレイ171(1)のみが示される)。各領域1−9では、各フィルタされた画像からの対応する領域の全てがサブアレイに画像化される。例えば、領域1A、1B、1C及び1Dは全てサブアレイ171(1)に画像化される。フィルタ・モジュール125及びセンサ組立体180は共役面に置かれるので、アレイ114内の各画像化要素115は、センサ平面SPにフィルタ・モジュール125の画像を形成することに留意する。複数の画像化要素115があるので、フィルタ・モジュール125の複数の画像171が形成される。
【0023】
図1は基礎をなす概念を説明するために簡略化されていることに留意すべきである。例えば、対象150は、全体の画像化機能をより簡単に説明するために人為的にアレイに分割された。本発明はアレイにされた対象に限定されない。別の例として、最も実用的なシステムは、有意に大きいアレイを、特にセンサ組立体で及び場合によってはフィルタ・モジュールでも用いる。更に、センサ平面にある6×6領域とセンサ・アレイ内の下にあるセンサ要素とは1:1の関係である必要はない。各領域は、例えば複数のセンサ要素に対応しうる。最後の例として、対象内の1でラベル付けされた領域、つまりフィルタされた画像155A内の1A及び合成画像170内の1Aは、厳密に互いの画像である必要はない。幾つかの設計では、画像170内の領域1Aは、対象150内の領域1からのフィルタされたエネルギを殆どキャプチャしうるが、実際には領域1の画像でなくてもよい。従って、画像170の領域1A内のセンサ要素により集められたエネルギは、該領域における対象の幾何学的再現を表すのではなく、対象150の領域1内の画像(又は画像の特定の変換)の積算又はサンプリングであってもよい。更に、視差、口径食、回折及び光伝搬のような影響は、如何なる画像形成にも影響を与えない。
【0024】
図1に示される手法は幾つかの利点を有する。第1に、複数の光学画像170A−Dはセンサ平面で同時にキャプチャされる。第2に、各キャプチャされた画像は、フィルタ・モジュール125内のフィルタ・セル127A−Dによりフィルタされ、各フィルタ・セル127は異なるフィルタリング機能を実施するよう設計されてもよい。更に、フィルタ・モジュール125は実際のセンサ平面SPではなく共役面SP’に置かれるので、及びこれはフィルタ・モジュールがセンサ平面において要求されるものと比べて遙かに大きいことを意味するので、耐性及び他の機械的要件は緩和される。これは、フィルタ・モジュールがセンサ平面に置かれた場合(例えば、センサ組立体に取り付けられた場合)に比べて、フィルタ・モジュールの走査を容易にする。
【0025】
<設計手法の概要>
用語「開口多重」は、センサ180において(インターリーブされて)複数の画像170が空間的に多重化されるという事実、及び各画像170が異なるフィルタ・セル127A−Dによりフィルタされるが、フィルタリングは実際のセンサ平面ではなく共役センサ平面(つまり、開口)において適用されるという事実を表す。従って、システム110は「開口多重」画像化システムである。開口平面で生じるフィルタリングは、屡々開口符号化と称される。
【0026】
開口符号化の1つの欠点は、共役面SP’が、通常、センサ平面SPで完全に画像化されないことである。歪み、視差及び収差(幾何及び色の両方)のような影響は、センサ平面における隣接する多重化画像間でクロストークを生じうる。図1Bを参照すると、不完全な画像化は、画像1A及び1Bを少なくとも境界で一緒に融合させうる。全体的な影響は、センサ180によりキャプチャされ融合された画像は、もはやフィルタAのみにより又はフィルタBのみによりフィルタされた対象を表さず、フィルタA及びBの特定の組合せによりフィルタされたものであることである。このフィルタA及びBの間のクロストークは、通常望ましくない。
【0027】
従って、フィルタ・モジュールを設計するときに、システムの特性を考慮することが望ましい。図2は、これらのシステム特性を考慮した開口多重画像化システムを設計する方法のフロー図である。この手法では、フィルタ・モジュールの記述210は2つの部分を有する。つまり、フィルタ・モジュールを個々のフィルタ・セルに空間的に区分すること、及び各フィルタ・セルの光学特性(例えば、特定のスペクトル・フィルタ応答又は偏光フィルタ応答)である。図2の方法の目的は、空間区分及び場合によっては個々の光学特性も設計することである。
【0028】
フィルタ・モジュール210の設計の候補が与えられると、コンピュータ・システムは画像化システムによる全体の画像形成をシミュレートする220。これは、通常、全ての光学機器を通じた伝搬、検出器の動作及び後続の処理のモデル化を含む。モデル化は、異なるフィルタ・セル間のクロストークを予測するのに十分な程、正確であるべきである。結果として生じたシミュレートされた画像は、性能メトリックを計算するために用いられる230。性能メトリックは、画像化システムの所望のタスクに従い選択される。段階220及び230は、通常、画像化されるべき対象のモデル、画像化システムの他の部分の記述、及び場合によっては目前にあるタスクに関する追加情報も用いる。フィルタ・モジュール210は、計算された性能メトリックに基づき修正される240。この周期を繰り返すことにより、フィルタ・モジュールの設計を改善する。
【0029】
図3A−4Bは、種々の区分及びパラメータ化を示す。図3Aでは、フィルタ・モジュールは、方形フィルタ・セルのアレイに区分される。方形フィルタ・セルは自身の境界により定められる。区分は、図中の矢印により示されるように境界を移動することにより修正されうる。明確化のため、少数の矢印のみが図中に示される。フィルタ・セルは全て方形であるが、同一の大きさである必要がないことに留意する。図3Bでは、フィルタ・モジュールは、円形の環状フィルタ・セルの同心アレイに区分される。この区分は、フィルタ・セル間の境界によっても定められる。境界は、この例では円である。図3Cは、フィルタ・セルが正方形のフィルタ・セルである変形例である。図3Dでは、フィルタ・モジュールは、セクタに成形されたフィルタ・セルの極性のあるアレイに区分される。再び、フィルタ・セルは自身の境界により定められる。境界線の外側は、方形として示されるが、他の形状(例えば、円形)であってもよい。1つの変形例では、元の位置も変更されうる。図3Eは、セクタに基づく区分を示す。ここでは、原点はフィルタ・モジュールの中心からずれている。図3Fは、環状及びセクタ境界を組合せ、環状のセクタ形状を有するフィルタ・セルを生成している。環状の境界及び/又はセクタ境界は、修正されうる。図3Gは、セクタ境界が各環について独立して移動しうることを除き同様である。
【0030】
図3A乃至3Gは、空間区分がフィルタ・セル間の境界を移動することにより修正される全ての例である。これは、隣接するフィルタ/セルが互いに突き合わせられていると仮定している。これは必須ではない。図4Aは、方形フィルタ・セルの区分を示す。ここでは、各フィルタ・セルの境界は、隣接するフィルタ・セルの境界から離されて調整されうる。これは、図4Aの斜線領域で示されるように、フィルタ・セル間のデッドスペース又は保護帯を生成するために用いられうる。デッドゾーンは、有利なことにセンサにおけるクロストークを低減するために用いられうる。図4Bは、環状フィルタ・セルを用いた類似の例である。
【0031】
フィルタ・モジュールのフィルタ・セルへの空間区分は、他の方法でもパラメータ化されうる。例えば、パラメータ化は、フィルタ・モジュール内のフィルタ・セルの位置及び/又は大きさの修正を許容するよう設計されうる。全体的な修正が行われてもよく、例えばフィルタ・モジュール全体を拡大縮小してもよい。フィルタ・セルの数は可変であってもよい。
【0032】
幾つかの例では、フィルタ・セルの光学特性は、推測的に決定されてもよい。このような場合には、空間区分はフィルタ・モジュールを設計する際の主要なタスクである。例えば、特定のスペクトル応答が望ましい場合である(例えば、対象のR、G、B成分を検出する、異なる成分は業界標準により定められる)。他の例では、フィルタ・セルの光学特性は、空間区分化に加えて繰り返されてよい。画像化システムの残りの部分についても同様である。つまり、幾つかの例では、画像化システムの残りの部分(又は画像化システム内の特定の構成要素)は、性能メトリックに基づき繰り返されてもよい。
【0033】
上述のように、個々のフィルタ・セルは、異なる形状及び大きさ、つまり長方形、ディスク・セグメント、リング、リング・セグメントを有しうる。どれを選択するかはアプリケーションの要件に部分的に依存する。例えば、環で符号化された開口マスクは、拡張された焦点深度要件に対して幾つかの利点を有する。正方形への区分は、隣接する画像化要素間のクロストークを最小限に保つためにマイクロ画像化アレイ114において小さい点広がり関数を必要とするアプリケーションで幾つかの利点を有する。
【0034】
<光伝搬>
この章は、図2の段階220の一部の特定の実施、特に光のセンサへの伝搬のモデル化を記載する。図1Aを参照すると、主レンズ・システム112は、焦点長F及び焦点直径Dを有する。マイクロ画像化アレイ114はマイクロレンズ・アレイであり、各マイクロレンズは焦点長f及び焦点直径dを有する。主レンズ112からマイクロ画像化アレイ114までの距離はz1であり、マイクロレンズ・アレイ114とセンサ180との間の距離はz2である。開口平面SP’内の座標はu,vにより表され、マイクロレンズ平面IP内の座標はx,yにより表され、、センサ平面SP内の座標はη,ξにより表される。
【0035】
フィルタ・モジュールは、フィルタ・モジュールの重なり合わないフィルタ・セルのセットへの区分
【数1】
により記述される。各セルci,i=1,...,Mは、スペクトル応答関数ρi(λ)を有し、λは波長パラメータである。
【0036】
先ず、スペクトル応答ρ*を有するフィルタ・モジュール内のこれらのフィルタ・セルを通過する光をモデル化する。これは、開口符号マスクを定めることによりモデル化されうる。開口符号マスクは、2値関数であり、スペクトル応答ρ*を有するこれらのセルを通過する光のみを伝達する。このマスクは、次の開口透過関数により与えられる。
【数2】
ここで、u,vは開口平面内の空間座標である。主レンズ及びマイクロレンズを通過してセンサへ向かう波面は、Usensor{tρ}により表される。主レンズを通過してマイクロレンズ平面(MLA平面)へ向かう波面は、UMLA{tρ}により表される。
【0037】
MLA平面におけるクロストークは次のように特徴付けられうる。主レンズを通過する光は、理想的にはMLA平面で焦点が合う。レンズの光行差及び色収差により、この理想的な場合は達成されない。特定の波長の点広がり関数(PSF)は、他の波長のPSFよりも長い幅を有し、他のマイクロレンズにも漏洩し、MLA平面でクロストークを生じうる。軸上のマイクロレンズにより伝達されセンサに入射するPSFエネルギのスループットは、次のように計算される。
【数3】
【0038】
センサにおけるスペクトルのクロストークは次のように特徴付けられうる。センサの開口マスクの画像は、マイクロレンズの倍率因子により拡大縮小された単純に同一の画像ではない。色収差、回折の影響、及びレンズ収差は、画像を歪ませ、開口マスク内で重なり合わないセル同士をセンサ画像内で重なり合わせる。このような重なり合いは、センサ平面でスペクトルのクロストークを引き起こす。従って、セル領域全体ではなく、削減されたセル領域が、フィルタされるべき対象のスペクトル情報を有してもよい。システムの性能を測定するために、クロストークにより影響を受けないスーパーピクセルS内のセンサのスペクトル情報を測定する。この目的を達成するために、先ず、次のようにセンサの2つのセル画像間で重なり合う領域を定める。
【数4】
無駄になったピクセルのセットは次式で表される。
【数5】
ここで、Sは直径dのスーパーピクセル内の全てのピクセルを有するセットである。Δ1及びΔ2の領域を評価することは、単一のフィルタ応答のみを通過した光に晒されたピクセルのうちのどれだけ多くがスーパーピクセル内にあるかの指標を与える。
【0039】
所与のアプリケーションでは、フィルタへの特定の分散に従いスペクトル情報をキャプチャすることが望ましい。例えば、バイヤー・パターンでは、緑は人間の視覚システム固有の特性に合っているので、緑は赤及び青に比べて2倍のフィルタを有する。検出又は分類タスクのような他のアプリケーションでは、異なる分散、例えば光スペクトルの青及び赤領域の信号間で際立ったパワーが要求されるために、赤よりも青でより高い応答を有することを望むかも知れない。
【0040】
一般的なモデルとして、応答ρ1,...,ρMを有するM個のスペクトル・フィルタに対してαm,m=1,...,M、0<αm≦1且つΣαm=1の離散値により与えられる目標分布を仮定する。.センサ上の場所(η,ξ)で集められた光は、次式により記述される。
【数6】
ここで、τ(λ)は検出器のスペクトル感度である。軸上の空間位置に対してセンサ測定値から計算される最終的なスペクトル情報は、次式の通りである。
【数7】
μは積分測度である。一例では、μはルベーグ測度である。目標分布{αm}に合わせるため、センサで集められた情報は次式を満たすべきである。
【数8】
【0041】
キャプチャされたスペクトル情報の分布と目標分布との間の相違は、距離メトリックにより示される。
【数9】
【0042】
<幾何光学>
光線伝達行列を用い、幾何光学を用いて伝搬Uの近似を引き出しうる。光線は、光軸から距離x1で入力平面を横切り同時に光軸と角度θ1を成す方向に進むとき、システムに入射する。更に光軸に沿った特定の距離では、光線は出力平面を横切り、このとき、光軸からの距離x2で角度θ2を成す。これらの量は次式により関連付けられる。
【数10】
薄いレンズの近似を用いて、この例であるシステムの光線伝達行列を次式のように定めうる。
【数11】
【0043】
レンズの焦点長は、レンズを通過する光の波長に依存する。通常、レンズの仕様は、基準波長に対して1つの数として焦点長を与える。他の波長では、焦点特性は少し異なり、画像平面で色収差を生じる。これは、fλ及びFλがλに依存するので、光線伝達行列Uがλに依存することを意味する。
【0044】
主レンズDの直径及び特定の基準波長の焦点長Fに依存して、該波長で主レンズを通過する全ての光線がマイクロレンズに衝突しなくてもよい。主レンズ・システムの光線伝達行列は次式で与えられるので、
【数12】
次式の半径のディスク内の主レンズに衝突する平面波からの光線のみが、直径dのマイクロレンズに衝突する。
【数13】
【0045】
この幾何モデルが与えられると、式(3)及び(4)のUsensorについて式(9)からのUを減算することにより、重なり合う無駄な領域の観点からセンサにおけるスペクトル・クロストークを特定しうる。
【数14】
【0046】
<バイヤー・フィルタリングの例>
次に、図3Bに示されるようにフィルタ・モジュールが区分された場合に、バイヤー・フィルタリングを実行するよう設計されたシステムを検討する。区分は、内径及び外径ri,1,ro,1,ri,2,ro,2,ri,3,ro,3を有するリングを形成する3つのフィルタ・セルc1、c2、c3を有する。ここでri,1=0、ro,1=ri,2且つro,2=ri,3である。フィルタ・セルのスペクトル応答はそれぞれρ1、ρ2、ρ3であり、それぞれ中心波長λ1、λ2、λ3により特徴付けられる。各中心波長λiについて、マイクロレンズ及び主レンズの焦点長fi及びFiを計算しうる。
【0047】
基準波長λi及び平面入射波について、センサに画像化された半径rのディスクの空間的広がりは、次式により与えられる。
【数15】
対応する中心波長のリング半径の画像から、画像化されたリング間の重なり合う無駄な領域を計算しうる。
【0048】
図5A乃至5Cは、フィルタ・モジュール内の赤、緑及び青色フィルタの3つの可能な配置を示す。図5Aでは、青色フィルタは中央にある。図5B及び5Cは、赤色フィルタが中心にある2つの可能な構成である。これらの構成はそれぞれBGR、RGB及びRBGとして表される。フィルタ・セルは、Gフィルタ・セルがR又はGフィルタ・セルの何れかの面積の2倍を有するように大きさを定められ、標準的なバイヤー構成と一致する。中心波長は、λB=450、λG=550、λR=650として選択される。z1=50mm及びz2=1.625mmに設定する。これは、それぞれ、λ=588における主レンズ及びマイクロレンズの焦点長F及びfに等しい。レンズ直径比d/D=0.0325である。
【0049】
これらの数値に対し、マイクロレンズによる各フィルタ・セルのセンサへの画像化をシミュレートするために、幾何光学を用いる。
【0050】
表1は各フィルタ・セルの画像の半径を示す。
【0051】
表1: 図5のフィルタ・セルの画像の半径
【表1】
BGRの列は、BGR構成(図5Aに示される)の場合の結果を示す。表1に示されるように、中心の青色フィルタはro,1=0.0164を有するディスクに画像化する。中央の環状の緑色フィルタは、内径ri,2=0.0163及び外径内径ro,2=0.0282を有する環に画像化する。青色フィルタの画像はro,1=0.0164で終了するが緑色フィルタの画像はri,2=0.0163で開始するので、青色フィルタ及び緑色フィルタの画像は重なり合うことに留意する。同様に、BGR構成では、緑色フィルタと赤色フィルタの画像も重なり合う。他の2つの構成では、フィルタ・セルの境界でデッドゾーン又は重なり合いが存在する。
【0052】
次に、青、緑及び赤色フィルタに対し、1:2:1の領域カバレッジに関する制約を与える。この構成は、スーパーピクセル内の死角及び重なり合う領域の量を最小にする。また、1:2:1の領域カバレッジ条件の精度も考慮する。これを行う1つの費用関数は次式の通りである。
【数16】
α1=0.25、α2=0.5、α3=0.25のときのCBayerの値は、表2に示される。各列は、赤、緑及び青色フィルタ・セルの異なる順序付けである。
【0053】
表2: フィルタ・セルの異なる順序付けの費用関数
【表2】
【0054】
ここで、2つの配置BRG及びRBGが、使用不可能なピクセルが最も少なく、6個の異なる配置の中で最良の目標分布1:2:1を維持していることが分かる。この例では、光軸に平行な主レンズに入射する全ての光線がマイクロレンズに衝突することに留意する。これは、一般的に真である必要はない。高い色収差を有するレンズ又は小さいマイクロレンズでは、異なる波長の光に対して、焦点長の変動が増大し、光線がレンズを出てマイクロレンズに衝突しない可能性が増大する。
【0055】
<波面収差>
回折の影響及びレンズ収差を波伝搬の計算に含め、開口及びマイクロレンズをセンサへと通過する波面を記述するため、J.W.Goodman, Introduction to Fourier Optics, McGraw-Hill, New York, 1986で紹介された演算子記法を用いてフレネル近似により回折積分を求める。焦点長F及び開口伝達関数
【数17】
を有するレンズを通過する平面波は、次式で与えられる。
【数18】
距離zにわたる波面Uの自由空間伝搬は、次式で与えられる。
【数19】
【0056】
従って、この例であるレンズ・システムでは、平面波面のセンサへの伝搬は、次式で与えられる。
【数20】
ここで、tdは直径dのクリア開口の開口伝達関数である。この伝搬は入ってくる平面波を想定する。これは、軸上の点源から来る光が、フィルタ・マスクの挿入面でテレセントリック絞りを有する主レンズへ伝搬していく場合をモデル化している。一般化は、軸外の物点からの及び非テレセントリック主レンズ・システムを通じて伝搬する光を含む。
【0057】
上述の量Δ1、Δ2及びI(ρm)は、式(2)で導入された波伝搬のUsensorの表現を用いて計算されうる。
【0058】
図6A乃至6Cは、OPD−RMS=0.01を有する収差主レンズのMLA平面におけるPSFクロストークを示す。フィルタ・モジュールは、フィルタ・モジュールに対してBGR構成を用いる(図5A)。主レンズの直径D=4cm、マイクロレンズの直径DMLA=130ミクロン、z1=50mm及びz2=1.650mmである。図6Aは、青色フィルタ・セルを通じて進む光により生成された、MLA平面における強度分布を示す。図6B及び6Cは、それぞれ緑及び赤色フィルタ・セルを通じて進む光により生成された、MLA平面における強度分布を示す。図7A乃至7Cは、無収差マイクロレンズと仮定して、この同一であるがセンサ平面へ伝搬した光を示す。図7Aは、青色フィルタ・セルを通じて進む光により生成された、センサ平面における光分布を示す。同様に、図7B及び7Cは、それぞれ緑及び赤色フィルタ・セルを通じて進む光により生成された、センサ平面における光分布を示す。図8A乃至8Cは、図7A乃至7Cと同じであるが、OPD−RMS=0.05を有する収差マイクロレンズを仮定している。回折効果は明白である。図6乃至8中の色は、波長ではなく相対強度を示すために用いられた疑似色であることに留意する。
【0059】
図9及び10は、類似の図であるが、RBG構成(図5C)を用いている。図9A乃至9Cは図6A乃至6Cに対応し、OPD−RMS=0.01を有する収差主レンズのMLA平面における光分布を示す。図9Aは青色フィルタの場合、図9Bは緑色フィルタの場合、図9Cは赤色フィルタの場合である。フィルタ・モジュール内のフィルタ・セルの順序は異なるが、波長は図6乃至8と同じ順序で現れ比較を容易にする。図10A乃至10Cは図8A乃至8Cに対応し、OPD−RMS=0.05を有する収差マイクロレンズを仮定した、センサ平面における光分布を示す。無収差マイクロレンズの場合は、本願明細書で提示されない。幾何の場合と同様に、BGRパターンより優れているRBGパターンは、緑色フィルタを外側に赤色フィルタを内側に配置し、結果としてセンサにおいて少ないクロストークしか生じない。
【0060】
<最適化に関する詳細>
フィルタ・モジュールの空間区分の設計は、最適化問題として説明されうる。つまり、特定の性能メトリックが与えられた場合に、空間区分を形成するフィルタ・セルのパラメータを最適化する。図3Gの区分を例として検討する。各フィルタ・セルはリング・セグメントである。リング・セグメントは、内径r0、幅δ(従って、外径はr0+δである)、角度オフセットφ0及び角度の広がりφ(従って、リング・セグメントはφ0からφ0+φまで延在する)により定められる。区分PRは、ディスクをN個の入れ子リングRnに分割する。各リングRnは、r0,n,m、δn、φn,m及びφ0,n,mによりパラメータ化されたM(n)個のリング・セグメントcn,mに分割される。各リング・セグメント(つまり、フィルタ・セル)はスペクトル応答関数ρn,m(λ)を有する。区分PRの例では、最適なリングの幅及び最適なリング・セグメントの角度の広がりを、アプリケーション固有の費用関数Cを最小化することに従って決定することが望ましい。この問題に答えるため、以下の条件付き最適化問題を設定する。
最小化:C(x) (18)
条件:g(x)≦0、h(x)≦0
最適化変数:
【数21】
ここで、
【数22】
ここで、gは線形制約関数、hは例えばセル領域の下限を計算するために用いられうる非線形制約関数である。
【0061】
区分PRの例では、線形制約は次のようになる。
【0062】
変数オフセットv=(v1,v2)を有する固定半径区分の配置では、最適化問題は次のようになる。
最小化:C(Px) (20)
条件:0≦x1≦R
0≦x2≦R
h(x)≦0
最適化変数:
【数24】
【0063】
これらの例の費用関数は、MLA平面におけるクロストークに加え、センサにおけるスペクトル・クロストーク及び異なるスペクトル・フィルタにわたってキャプチャされた情報の分布も考慮するよう設計される。これらの指標は、特定領域にわたる波伝搬及び積分に基づくので、それらは極めて非線形であり非凸形である。従って、一般的に、最適化問題を凸形であると仮定できず、非凸形の制約の最適化問題に適用される解法を用いることが望ましい。
【0064】
費用関数についての1つの選択肢は、幾何光学近似を適用するバイヤー・パターンの評価に用いられる費用関数を式(14)から次式のように一般化することである。
【数25】
ここで、{αm}m=1,...,Mは目標分布である。
【0065】
費用関数についての別の選択肢は、マイクロレンズの光スループットによりセンサでキャプチャされる情報を重み付けすることを含む。
【数26】
又は、量Δ1及びΔ2により評価される、センサ上の使用不可能ピクセルの量を考慮することである。
【数27】
代替の費用関数は次の通りである。
【数28】
ここで、重み0≦wi≦1、且つΣiwi=1である。
【0066】
最適化問題(18)は、非線形制約関数hを有する。この関数は、センサ上の最小分解可能スポット・サイズ及びマイクロレンズの倍率因子に依存するフィルタ・セルの大きさの下限を計算しうる。開口平面上のマイクロレンズを通じて投影された、センサ上の最小分解可能スポット・サイズの大きさの円は、Δuと表される。
【0067】
マイクロレンズ・システムの最小分解可能スポット・サイズΔsλは、レイリーの基準を適用することにより次のように記述される。
【数29】
ここで、NAMLAはマイクロレンズ・システムの開口数である。結果として、マイクロレンズの焦点長は、最小分解可能スポット・サイズが少なくとも1つのセンサ・ピクセルに及ぶように設定されるべきである。
【数30】
ここで、最小化はjにわたる。
【0068】
最小分解可能スポット・サイズを開口平面に投影するために、マイクロレンズの倍率Mを考慮すると、結果として生じるフィルタ・アレイ内のフィルタ・セルciのサイズδu(i)は、セルのスペクトル応答に依存し、次式を満たす。
【数31】
【0069】
フィルタ・セルが直径dの環である場合、制約関数hを次のように設定する。
【数32】
ここで、γはスカラ>0であり、アプリケーションの仕様が与えられた場合に最小フィルタ・セグメント・サイズを調整可能にするために導入される。
【0070】
フィルタ・セルがリング・セグメントである場合、セグメントの最小セグメント・サイズは、内接円、つまりセグメントの内側に描ける最大の円の半径により概算され、min(δn/2,(rn+δn/2)sinφn,m)である。また、制約関数hは次式の通りである。
【数33】
ここで、γ∈Rはスカラであり、アプリケーションの仕様が与えられた場合に最小フィルタ・セグメント・サイズを調整可能にするために導入される。
【0071】
区分が上述のようにパラメータ化される場合、最適化問題は条件付き最適化により解決されうる。代替として、区分が固定された大きさだが柔軟なスペクトル応答を有するセルの集まりである場合、二分探索法のような組合せ最適化方法が用いられうる。
【0072】
<具体例>
3つの具体的な例であるアプリケーションを記載する。第1の例は、バイヤー・パターン型フィルタで写真情報をキャプチャすることである。第2のアプリケーションでは、フィルタ・モジュールは、異なるキャプチャされたスペクトル画像に対して等しい信号対雑音比のように設計される。第3のアプリケーションは、雑音中の信号を検出する。3つの全てのアプリケーションは、同一の設計パラメータを用いる。つまり、主レンズの直径D=40mm、主レンズの焦点長=50mm、マイクロレンズの直径d=130ミクロン、及びマイクロレンズの焦点長=1.650mmである。
【0073】
<写真アプリケーション>
図5Cに示されたRBGバイヤー・パターンを用いるフィルタ・モジュールを検討する。この場合、リング・セグメントは完全な環(リング)であり、区分のパラメータ記述はN=3、M(1)=M(2)=M(3)=1;φ1,1=φ2,1=φ3,1=2π、φ0,1,1=φ0,2,1=φ0,3,1=0である。これは、2つの最適化変数δ1、δ2のみを有することを意味する。3つのRGBフィルタのスペクトル応答をシミュレートするために、ρ1=450nm、ρ2=550nm、ρ3=650nmを選択する。
【0074】
環の幅δ1、δ2を最適化するために、式(23)から費用関数C3を用いる。最適化のための計算は、Matlab最適化ルーチンfminconを用いて実行される。フィルタ・セルの大きさに関する非線形性の制約は、γ=2について式(27)の制約を用いる。表3は、最適化の結果を示す。列「RBG 1:2:1」は最適化されていない区分であり、環の幅は開口平面のR、G及びBに対して1:2:1の面積比を完全に実施するように選択される。列「最適化されたRBG」は上述のように最適化された区分を示す。
【0075】
表3: 1:2:1区分と最適化された区分との比較
【表3】
【0076】
最適化された区分では、最適化されない場合に比べて、内側の赤色リングの幅は減少され、中間の青の幅は増大される。最適化されていない区分はフィルタ・モジュールにおいて正確に1:2:1の領域カバレッジを有するが、最適化された区分は、センサ平面において良好に近似された1:2:1の領域カバレッジ特性を有する。調整されたリング直径を有する最適化された区分は、最適化されていない場合に比べて、B及びG帯のクロストークを低減すると同時に、センサにおいて1:2:1比の良好な近似を達成する(表の最後の3行)。
【0077】
<SNRの均一化>
検出器の応答は、標準的に該検出器の波長範囲にわたり一定ではない。殆どのシリコン検出器は、緑色領域よりも青色領域のほうが感度が低い。従って、RGB画像の青色チャネルは、緑色チャネルよりも屡々雑音が多い。このような感度の損失及び関連する雑音の増大を補償するために、キャプチャされた情報の信号対雑音比が一定になるようにフィルタ・モジュールを設計しうる。このために、σ(n)を強度J(ρn)のピクセル毎の変動として定め、一定であり、全ての(s,t)∈An、Anはセンサ平面における領域であり、応答ρnによりフィルタされた信号のスペクトル応答を受けるピクセルを有するとする。ピクセル毎のSNRは次式のように定められる。
【数34】
ここで、
【数35】
はρnからの応答を得るスーパーピクセル内の全てのピクセルにわたる平均を表す。スーパーピクセルのSNRは次式のように定められる。
【数36】
ここで、|An|は領域An内に含まれるピクセルの数を表す。
【0078】
次に、放射状フィルタ区分のパラメータを次のように計算する。
【数37】
一般的な最適化の枠組みは、以下の通りである。
【数38】
【0079】
幾何無収差モデルに対して最適化の枠組みを分析する。この例では、点源が与えられると、全てのs,t∈AnについてJsensor(ρn)(s,t)=一定である。従って、次式の通りである。
【数39】
ここで、(sn,0,tn,0)はAnの内側の基準点である。領域AnにわたりJsensor(ρn)を積分することにより得られる情報は次の通りである。
【数40】
ここで、A0はスーパーピクセル内の開口の画像の領域であり、0<βn≦1、area(An)=βnarea(A0)である。開口が等しい大きさの4つのフィルタ・セルに区分される場合、各セグメントn=1,...,4についてβn=1/4である。
【0080】
開口ディスク全体のセグメントを有する区分、つまりN=1、δ1=Rと仮定すると、0<βn<1且つΣnβn=1を有する目標分布{β1,...β2}を探す。従って、次の通りである。
【数41】
【0081】
全てのn=1,...,Nに対してσ(n)が一定である特別な場合には、上述の最適化問題に対する解は次式で与えられる。
【数42】
【0082】
例として、雑音中の人間の皮膚反射スペクトルの信号について等しいSNRのフィルタ・モジュールを設計することを検討する。物体の線源スペクトル放射輝度y(λ)が与えられると、センサのピクセルで測定される該信号の強度は、次のように表される。
【数43】
【0083】
図11A乃至11Cは、それぞれ皮膚y、検出器τ、及び4つのフィルタ・セルρ1,...,ρ4のスペクトル応答を示す。スペクトル応答は、中心波長λ1=450nm、λ2=540nm、λ3=557nm及びλ4=650nmを有するインパルス応答としてモデル化される。雑音の相関行列Cが同一の行列である、つまりn=1;:::;4についてρ(n)=1と仮定する。レンズのパラメータは、表3で与えられたのと同じである。最適化されたフィルタ区分のパラメータ化は、式(35)を用いて計算される。結果として得るフィルタ・モジュールは図12に示される。数値は、φ1,1=(.5074)2π、φ1,2=(.2820)2π、φ1,3=(.1597)2π、φ1,4=(.0508)2πである。
【0084】
<整合フィルタを用いたSNRの最大化>
この例では、所与のスペクトル・シグニチャ及び雑音分布に対して、フィルタ・セルが整合フィルタをもたらすという目標が与えられた場合に、フィルタ区分をどのように最適化するかという問題を解決する。N個のスペクトル・フィルタにより得られる測定値は、次式によりモデル化される。x(n)=x(n)+w(n) (37)
ここで、zは既知のスペクトル・シグニチャ、wはn=1,...,N、N=サンプル数のときの雑音である。wは、相関行列Cとしてガウス雑音w〜N(0,C)であると仮定する。最適線形整合フィルタは次式で与えられる。
【数44】
また、最適線形整合フィルタはFIRフィルタの出力でSNRを最大化する。スペクトル検出タスクで用いられる種々の整合フィルタは、二次の制約整合フィルタ
【数45】
及び強靱な整合フィルタ
【数46】
を有する。
ここで、負荷率δh及び
(外1)
である。
【0085】
整合フィルタhの係数をセンサ平面におけるスペクトル情報の目標分布として解釈する。上述の枠組みを用いて、α=h/Σhnを設定することにより、上述の最適化の枠組みを整合フィルタ分布の最適化に適用しうる。
【0086】
以下の結果は、前の章に記載した検出実験で用いられたのと同じ試験データに基づく。
【0087】
信号zは、スーパーピクセルから抽出された情報である。つまり、y=hτz=[I(ρn)]である。また、雑音は共分散行列C=diag[σ(n)]2を有するガウス分布であるとする。
【0088】
幾何無収差モデルでは、zはz=Jsensor(ρn)(sn,0,tn,o)に減少し、hのフィルタ・タップは量|An|を表す。図11A乃至11Cに示された皮膚信号、フィルタ応答及び検出器応答では、測定データはz=[0.9427,1.2646,1.6803,2.9783]になる。C=diag[1,1,1,1]の場合、式(38)からの整合フィルタは、h=[0.0665,0.0892,0.1185,0.2100]である。フィルタ・エントリの制約を要約して2πに適合するように正規化した後、整合フィルタに対応する角度の広がりはφ1=0.8627、φ2=1.1573、φ3=1.5377、φ4=2.7255である。対照的に、C=diag[0.52,1,1,0.82]の共分散では、整合フィルタはh=[0.1727,0.0579,00769,0.2131]であり、φ1=2.0839、φ2=0.6989、φ3=0.9286、φ4=2.5718を有するフィルタ区分をもたらす。
【0089】
レンズ収差と共に回折効果を有する回折モデルでは、上述の最適化の枠組みを、整合フィルタh=[0.0665,0.0892,0.1185,0.2100]に対応するC=diag[1,1,1,1]から得た目標分布α=[0.1373,0.1842,0.2447,0.4337]に適用する。得られた最適化された結果は表4に示される。最適化されない場合の費用関数の値は0.2549である。最適化さた結果の費用関数の値は0.2280である。最適化された空間区分は、最適化されていないフィルタ・パターンを回転したものである。更なる詳細は表4に示される。
【0090】
表4: 最適化された整合フィルタと最適化されていない整合フィルタとの比較
【表4】
【0091】
<検出アプリケーション>
この例では、システムが検出タスクのために設計されている場合に、フィルタ区分をどのように最適化するかという問題を解決する。ガウス雑音中の信号の検出問題は、次式で表される。
【数47】
ここで、zは決定論信号、wは雑音、x(n)は観測結果、n=1,...,N、N=サンプル数である。wは、相関行列Cとしてガウス雑音w〜N(0,C)であると仮定する。この検出問題では、試験関数は次の通りである。
T(x)=xTC−1z (41)
次の偏向率を有する。
d2=zTC−1z (42)
分類性能は最大偏向率に対して最適化される。
【0092】
我々のシステムでは、信号zは、スーパーピクセル内の所与のスペクトル応答ρnが与えられた場合に、区分セルの画像により覆われた領域Anにわたり積分された検知されたスペクトル・データである。
z(n)=I(ρn),n=1,...,N (43)
ここで、I(ρn)は、スペクトル応答ρnの検出器データから計算された情報である。雑音は、積分領域Anにわたり積分されたピクセル雑音である。ピクセル雑音がガウス分布N(0,Cp)であると見なされる場合、スーパーピクセル測定について得られた雑音は、分布N(0,C)である。ここで、Cは次の変数の相関行列であり、
【数48】
(wk(k))は多変量ガウス分布N(0,Cp)である。最適化の枠組みは、以下のように記載される。
【数49】
【0093】
以上の記載は多くの詳細を含むが、これらは本発明の範囲を制限しない。これらは単に本発明の異なる例及び態様の説明と考えられる。本発明の範囲は、上述の詳細に記載されていない他の実施形態を含むことが理解される。例えば、他の実施形態は、例えば信号及び雑音がガウス分布としてモデル化されるとき、バッタチャリャ距離のような分類性能を評価する費用関数を含んでもよい。代替の分類性能測定は、ハイパースペクトル画像化アプリケーションの帯域選択で用いられる構造化バックグラウンド・モデルを有してもよい。別の実施形態では、費用関数は、人間の視覚システムのRGB性能と関連して、光学的バックグラウンド中の単一分子の検出性能を評価してもよい。このようなアプリケーションは、領域のRGB画像及び蛍光信号応答が1つの画像化経路でキャプチャされるべき場合に、蛍光画像化で生じる。
【0094】
フィルタ区分の配置は、マルチモーダル検出と一緒に画像に再び焦点を合わせることを可能にするよう変更されうる。このようなアプリケーションの費用関数は、再び焦点を合わされた各画像の鮮明さを試験するための鮮明さのメトリックのようなメトリックを各画像化モダリティの重み付けと結合しうる。画像解像度、再焦点平面の数、複数の画像化モダリティ(フィルタ区分)の間の適切なトレードオフを保証するメトリックもありうる。クロストークのような回折効果の不利益もありうる。
【0095】
当業者に明らかな種々の他の修正、変更、及び変形が、添付の特許請求の範囲に定められた本発明の精神及び範囲から逸脱することなく、本願明細書に開示された本発明の方法及び装置の配置、動作及び詳細について行われてもよい。従って、本発明の範囲は、添付の特許請求の範囲及びその法的等価物により定められるべきである。
【符号の説明】
【0096】
110 開口多重画像化システム
112 光学画像化グループ
114 マイクロ画像化アレイ
115 画像形成要素
125 フィルタ・モジュール
127A−D フィルタ・セル
150 対象
155、155A−D 光学画像
170 合成光学画像
170A−D 光学画像
180 センサ組立体
SP センサ平面
SP’ 共役面
IP マイクロレンズ平面
【特許請求の範囲】
【請求項1】
コンピュータにより実施される方法であって、
開口多重画像化システムで用いるためのフィルタ・モジュールを設計し、
前記開口多重画像化システムは、所定のタスクを実行し、
前記開口多重画像化システムは、対象の多重化画像をキャプチャするセンサを有し、
前記フィルタ・モジュールは、前記センサの共役面内にほぼ位置付けられ、前記多重化画像の開口符号化を提供し、
当該方法は、コンピュータ・システムが、
前記画像化システムにより画像化されるべき対象のモデルを受ける段階、
前記フィルタ・モジュールの設計の候補を受ける段階であって、該フィルタ・モジュールの設計の候補は、前記フィルタ・モジュール内のフィルタ・セルの空間区分の候補を有する、段階、
前記対象の多重化画像を形成する前記画像化システムをシミュレートする段階であって、各多重化画像は前記フィルタ・モジュールの候補により開口符号化される、段階、
前記シミュレートされた多重化画像に応じて、性能メトリックを計算する段階であって、該性能メトリックは前記所定のタスクを示す、段階、
前記計算された性能メトリックに基づき、前記フィルタ・セルの空間区分の候補を修正する段階、
を実行する、
ことを特徴とする方法。
【請求項2】
前記フィルタ・セルの空間区分は、方形フィルタ・セルのアレイであり、
前記空間区分の候補を修正する段階は、フィルタ・セル間の行及び/又は列の境界を修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項3】
前記フィルタ・セルの空間区分は、環状フィルタ・セルの同心アレイであり、
前記空間区分の候補を修正する段階は、フィルタ・セル間の境界を修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項4】
前記フィルタ・セルの空間区分は、セクタに成形されたフィルタ・セルの極性のあるアレイであり、
前記空間区分の候補を修正する段階は、フィルタ・セル間の境界を修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項5】
前記極性のあるアレイは、中心がずれており、
前記空間区分の候補を修正する段階は、前記極性のあるアレイの原点の位置を修正する段階を更に有する、
ことを特徴とする請求項4に記載の方法。
【請求項6】
前記フィルタ・セルの空間区分は、環状セクタ形状を有するフィルタ・セルの同心アレイであり、
前記空間区分の候補を修正する段階は、フィルタ・セル間の半径及び/又は角度を形成する境界を修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項7】
前記空間区分の候補を修正する段階は、前記フィルタ・モジュール内のフィルタ・セルの位置を修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項8】
前記空間区分の候補を修正する段階は、前記フィルタ・モジュール内のフィルタ・セルの大きさを修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項9】
前記空間区分の候補を修正する段階は、前記空間区分の候補の大きさを拡大縮小する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項10】
前記空間区分の候補を修正する段階は、前記フィルタ・モジュール内のフィルタ・セルの総数を変更する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項11】
前記フィルタ・モジュールは、フィルタ・セル間の保護帯を更に有し、
前記空間区分の候補を修正する段階は、前記保護帯の大きさ及び/又は位置を修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項12】
各フィルタ・セルは、光学特性により特徴付けられ、
当該方法は、
前記計算された性能メトリックに基づき、少なくとも1つのフィルタ・セルの前記光学特性を修正する段階、
を更に有する請求項1に記載の方法。
【請求項13】
前記光学特性はスペクトル・フィルタ応答である、
ことを特徴とする請求項12に記載の方法。
【請求項14】
前記光学特性は偏光フィルタ応答である、
ことを特徴とする請求項12に記載の方法。
【請求項15】
前記性能メトリックを改良することは、隣接する多重化画像の前記開口符号化間のクロストークを低減する、
ことを特徴とする請求項1に記載の方法。
【請求項16】
異なるフィルタ・セルは、異なるスペクトル・フィルタ応答により特徴付けられ、
前記性能メトリックは、隣接する多重化画像間のスペクトル・クロストークを低減する、
ことを特徴とする請求項14に記載の方法。
【請求項17】
前記計算された性能メトリックに基づき、前記フィルタ・モジュールの設計の候補を修正する段階と共に、前記画像化システムの設計を修正する段階、
を更に有する請求項1に記載の方法。
【請求項18】
前記所定のタスクは、該所定のタスクのスペクトル特性に基づく物質の検出である、
ことを特徴とする請求項1に記載の方法。
【請求項19】
前記所定のタスクは、雑音中の対象の存在の検出である、
ことを特徴とする請求項1に記載の方法。
【請求項20】
ソフトウェア命令を有する有形コンピュータ可読媒体であって、
コンピュータ・システムで実行されると、該コンピュータ・システムに、
画像化システムにより画像化されるべき対象のモデルを受ける段階、
フィルタ・モジュールの設計の候補を受ける段階であって、該フィルタ・モジュールの設計の候補は前記フィルタ・モジュール内のフィルタ・セルの空間区分の候補を有する、段階、
前記対象の多重化画像を形成する前記画像化システムをシミュレートする段階であって、各多重化画像は前記フィルタ・モジュールの候補により開口符号化される、段階、
前記シミュレートされた多重化画像に応じて性能メトリックを計算する段階であって、該性能メトリックは前記所定のタスクを表す、段階、
前記計算された性能メトリックに基づき、前記フィルタ・セルの空間区分の候補を修正する段階、
を実行させる、
ことを特徴とする有形コンピュータ可読媒体。
【請求項1】
コンピュータにより実施される方法であって、
開口多重画像化システムで用いるためのフィルタ・モジュールを設計し、
前記開口多重画像化システムは、所定のタスクを実行し、
前記開口多重画像化システムは、対象の多重化画像をキャプチャするセンサを有し、
前記フィルタ・モジュールは、前記センサの共役面内にほぼ位置付けられ、前記多重化画像の開口符号化を提供し、
当該方法は、コンピュータ・システムが、
前記画像化システムにより画像化されるべき対象のモデルを受ける段階、
前記フィルタ・モジュールの設計の候補を受ける段階であって、該フィルタ・モジュールの設計の候補は、前記フィルタ・モジュール内のフィルタ・セルの空間区分の候補を有する、段階、
前記対象の多重化画像を形成する前記画像化システムをシミュレートする段階であって、各多重化画像は前記フィルタ・モジュールの候補により開口符号化される、段階、
前記シミュレートされた多重化画像に応じて、性能メトリックを計算する段階であって、該性能メトリックは前記所定のタスクを示す、段階、
前記計算された性能メトリックに基づき、前記フィルタ・セルの空間区分の候補を修正する段階、
を実行する、
ことを特徴とする方法。
【請求項2】
前記フィルタ・セルの空間区分は、方形フィルタ・セルのアレイであり、
前記空間区分の候補を修正する段階は、フィルタ・セル間の行及び/又は列の境界を修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項3】
前記フィルタ・セルの空間区分は、環状フィルタ・セルの同心アレイであり、
前記空間区分の候補を修正する段階は、フィルタ・セル間の境界を修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項4】
前記フィルタ・セルの空間区分は、セクタに成形されたフィルタ・セルの極性のあるアレイであり、
前記空間区分の候補を修正する段階は、フィルタ・セル間の境界を修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項5】
前記極性のあるアレイは、中心がずれており、
前記空間区分の候補を修正する段階は、前記極性のあるアレイの原点の位置を修正する段階を更に有する、
ことを特徴とする請求項4に記載の方法。
【請求項6】
前記フィルタ・セルの空間区分は、環状セクタ形状を有するフィルタ・セルの同心アレイであり、
前記空間区分の候補を修正する段階は、フィルタ・セル間の半径及び/又は角度を形成する境界を修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項7】
前記空間区分の候補を修正する段階は、前記フィルタ・モジュール内のフィルタ・セルの位置を修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項8】
前記空間区分の候補を修正する段階は、前記フィルタ・モジュール内のフィルタ・セルの大きさを修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項9】
前記空間区分の候補を修正する段階は、前記空間区分の候補の大きさを拡大縮小する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項10】
前記空間区分の候補を修正する段階は、前記フィルタ・モジュール内のフィルタ・セルの総数を変更する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項11】
前記フィルタ・モジュールは、フィルタ・セル間の保護帯を更に有し、
前記空間区分の候補を修正する段階は、前記保護帯の大きさ及び/又は位置を修正する段階を有する、
ことを特徴とする請求項1に記載の方法。
【請求項12】
各フィルタ・セルは、光学特性により特徴付けられ、
当該方法は、
前記計算された性能メトリックに基づき、少なくとも1つのフィルタ・セルの前記光学特性を修正する段階、
を更に有する請求項1に記載の方法。
【請求項13】
前記光学特性はスペクトル・フィルタ応答である、
ことを特徴とする請求項12に記載の方法。
【請求項14】
前記光学特性は偏光フィルタ応答である、
ことを特徴とする請求項12に記載の方法。
【請求項15】
前記性能メトリックを改良することは、隣接する多重化画像の前記開口符号化間のクロストークを低減する、
ことを特徴とする請求項1に記載の方法。
【請求項16】
異なるフィルタ・セルは、異なるスペクトル・フィルタ応答により特徴付けられ、
前記性能メトリックは、隣接する多重化画像間のスペクトル・クロストークを低減する、
ことを特徴とする請求項14に記載の方法。
【請求項17】
前記計算された性能メトリックに基づき、前記フィルタ・モジュールの設計の候補を修正する段階と共に、前記画像化システムの設計を修正する段階、
を更に有する請求項1に記載の方法。
【請求項18】
前記所定のタスクは、該所定のタスクのスペクトル特性に基づく物質の検出である、
ことを特徴とする請求項1に記載の方法。
【請求項19】
前記所定のタスクは、雑音中の対象の存在の検出である、
ことを特徴とする請求項1に記載の方法。
【請求項20】
ソフトウェア命令を有する有形コンピュータ可読媒体であって、
コンピュータ・システムで実行されると、該コンピュータ・システムに、
画像化システムにより画像化されるべき対象のモデルを受ける段階、
フィルタ・モジュールの設計の候補を受ける段階であって、該フィルタ・モジュールの設計の候補は前記フィルタ・モジュール内のフィルタ・セルの空間区分の候補を有する、段階、
前記対象の多重化画像を形成する前記画像化システムをシミュレートする段階であって、各多重化画像は前記フィルタ・モジュールの候補により開口符号化される、段階、
前記シミュレートされた多重化画像に応じて性能メトリックを計算する段階であって、該性能メトリックは前記所定のタスクを表す、段階、
前記計算された性能メトリックに基づき、前記フィルタ・セルの空間区分の候補を修正する段階、
を実行させる、
ことを特徴とする有形コンピュータ可読媒体。
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図3G】
【図4A】
【図4B】
【図11A】
【図11B】
【図11C】
【図12】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図10C】
【図1B】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図3G】
【図4A】
【図4B】
【図11A】
【図11B】
【図11C】
【図12】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図10C】
【公開番号】特開2012−185498(P2012−185498A)
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願番号】特願2012−34456(P2012−34456)
【出願日】平成24年2月20日(2012.2.20)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願日】平成24年2月20日(2012.2.20)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]