多重測定のためのシステムおよび方法
強度を有しかつノイズを免れない予め定められた個数の光源、および飽和を免れない少なくとも１つのセンサを使用して、関連する値の測定を多重化するための方法であって、前記多重化が前記光源の複数の異なる組み合わせの下で前記関連する値の各々を測定することを含み、第１組の多重化組み合わせを発生させるステップと、前記第１組を前記飽和に関して制約するステップと、それぞれの強度とノイズとの間のバランスが見出されるまで前記第１組を前記ノイズに関して修正するステップと、前記修正された組に従って前記光源を多重化することによって前記変数を測定するステップとを含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、その一部の実施形態では、多重測定のためのシステムおよび方法に関し、さらに詳しくは、ノイズまたは飽和条件または制限を考慮して所与の測定に最適な多重化シーケンスを提供するためのシステムまたは方法に関するが、それに限定されない。
【背景技術】
【０００２】
コンピュータビジョン研究および画像ベースレンダリングでは、物体または人々はしばしば可変照明方向の下で捕捉される。そのような画像は次いで、物体認識および識別、レンダリング、形状推定、ならびに鏡面性、影、およびオクルージョンの解析に使用される。従来、そのような画像は、物体の周りで光源を移動することによって、または配列における個々の光源を順次作動させることによって撮影されていた。しかし、最近、単一の点光源に基づかない照明に対する関心が高まっている。むしろ、それは、各画像で照明が幾つかの方向または光源から同時に到達するようにした一連の画像に基づく。利点を幾つか挙げると、信号対雑音比（ＳＮＲ）の著しい改善（例えば図１参照）、飽和画素の存在下のダイナミックレンジ問題の著しい軽減、および人々を写真撮影するときの簡便さがある。他の潜在的利点として取得プロセスの効率性、ならびにフラッシュおよび周囲照明の同時使用による画質向上がある。
【０００３】
問題は、光源の同時作動のあらゆる可能性を前提として、各フレームで光源を多重化する最適な方法は何かということである。Ｙ．Ｙ．Ｓｃｈｅｃｈｎｅｒ、Ｓ．Ｋ．Ｎａｙａｒ、およびＰ．Ｎ．Ｂｅｌｈｕｍｅｕｒの「Ａ ｔｈｅｏｒｙ ｏｆ ｍｕｌｔｉｐｌｅｘｅｄ ｉｌｌｕｍｉｎａｔｉｏｎ」（Ｐｒｏｃ．ＩＥＥＥ ＩＣＣＶ Ｖｏｌ．２、８０８〜８１５頁、２００３）は、アダマールベース符号を使用すべきであることを提唱している。しかし、その解析は重要な問題、すなわち画像ノイズが画像放射照度自体に依存しており、それが、Ａ．Ｗｅｎｇｅｒ、Ａ．Ｇａｒｄｎｅｒ、Ｃ．Ｔｃｈｏｕ、Ｊ．Ｕｎｇｅｒ、Ｔ．Ｈａｗｋｉｎｓ、およびＰ．Ｄｅｂｅｖｅｃの「Ｐｅｒｆｏｒｍａｎｃｅ ｒｅｌｉｇｈｔｉｎｇ ａｎｄ ｒｅｆｌｅｃｔａｎｃｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｗｉｔｈ ｔｉｍｅ‐ｍｕｌｔｉｐｌｅｘｅｄ ｉｌｌｕｍｉｎａｔｉｏｎ」（ＡＣＭ ＴＯＧ、２４：７５６〜７６４、２００５）に詳述される通り、アダマール多重化を逆効果にするおそれがあることを考慮していない。基本的に光子ノイズがそのような現象を生み出す。光子ノイズは、光の量子力学的性質に由来するので、カメラの品質に関係なく画像に存在する。
【０００４】
さらに、最適測定を探求するときに計測器の飽和を考慮した先行研究は無い。これは、複数の光源を使用する場合に飽和およびシーンのダイナミックレンジが重要な側面であるという認識にもかかわらず、である。
【０００５】
本明細書のいずれかで参照される項目を含む背景技術は、以下のものが挙げられる：
【発明の概要】
【０００６】
本発明の実施形態は、所与の個数の測定変数、所与の飽和レベル、および所与のノイズモデルに対して測定を多重化する最適な方法を提供することができる。
【０００７】
本発明の一部の実施形態の態様では、強度を有しかつノイズを免れない予め定められた個数の光源および飽和を免れない少なくとも１つのセンサを使用して関連する値の測定を多重化するための方法であって、多重化が光源の複数の異なる組み合わせの下で関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
第１組を飽和に関して制約するステップと、
それぞれの強度とノイズとの間のバランスが見出されるまで第１組をノイズに関して修正するステップと、
修正された組に従って光源を多重化することによって変数を測定するステップと
を含む方法を提供する。
【０００８】
１実施形態では、バランスは最適化を含む。
【０００９】
１実施形態では、最適化は、平均２乗誤差および加重平均２乗誤差を含む距離関数の任意の１構成要素を最小化することを含む。
【００１０】
１実施形態は、ノイズモデルを用いてセンサノイズをモデル化することを含んでよい。
【００１１】
１実施形態は、制約を有するノイズモデルをグラフ上に投影して、超平面を形成することを含んでよい。
【００１２】
１実施形態では、最適化は超平面内で最小値を求めることを含む。
【００１３】
１実施形態では、超平面内で最小値を求めることは、第１最小値に達するまで超平面内を歩進的に移動し、次いでより大きい最小値を求めるために歩進を繰返し摂動させ、それによって大域的最小値に達することを含む。
【００１４】
１実施形態では、光源は照明源である。
【００１５】
１実施形態では、照明源は、可視光源、赤外線源、紫外線源、Ｘ線源、ピンホール光源、空間的ピンホール、スロット、時間的スロット、可変アパーチャピンホール光源、符号化アパーチャピンホール光源、単一波長光源、反射源、レーダ源、および反射信号のゲーティング間隔によって画定される光源から構成される群のいずれか１つである。
【００１６】
１実施形態では、第１組を発生させることは、ランダム値を使用することを含む。
【００１７】
１実施形態では、それぞれの光源の強度は可変であり、第１組の発生および修正は両方とも、光源の強度値を定義することを含む。
【００１８】
１実施形態は、第１組を実数値域、非負数域、およびバイナリ域から構成される域群のいずれかの構成要素に制約することを含んでよい。
【００１９】
本発明の第２態様では、強度を有しかつノイズを免れない予め定められた個数の光源および飽和を免れない少なくとも１つのセンサを使用して関連する値の測定を多重化するための方法であって、多重化が光源の複数の異なる組み合わせの下で関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
第１組を飽和に関して制約するステップと、
それぞれの強度とノイズとの間で最適値が見出されるまで第１組をノイズに関して修正するステップと、
それによって光源を多重化することによって変数を測定するための測定シーケンスとして、修正された組を出力するステップと
を含む方法を提供する。
【００２０】
本発明の第３態様では、それぞれの波長強度を有しかつノイズを免れない予め定められた個数の波長光源および飽和を免れない少なくとも１つのセンサを使用して関連する値の測定を多重化するための方法であって、多重化が光源の複数の異なる組み合わせの下で関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
第１組を飽和に関して制約するステップと、
それぞれの強度とノイズとの間で最適値が見出されるまで第１組をノイズに関して修正するステップと、
修正された組に従ってフィルタを作動させて光源を多重化するステップと
を含む方法を提供する。
【００２１】
１実施形態では、フィルタは組に従って構成された固定フィルタである。
【００２２】
１実施形態では、フィルタはチューナブルフィルタであり、作動は組に従ってチューナブルフィルタを調整することを含む。
【００２３】
１実施形態では、チューナブルフィルタは、チューナブル分光フィルタ、液晶チューナブル分光フィルタ、および調整可能な出力を有する分散素子から構成される群のいずれかの構成要素である。
【００２４】
本発明の第４態様では、強度を有しかつノイズを免れない予め定められた個数の光源および飽和を免れない少なくとも１つのセンサを使用して関連する値の測定を多重化するための方法であって、多重化が光源の複数の異なる組み合わせの下で関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
それぞれの強度とノイズとの間で最適値が見出されるまで第１組をノイズに関して修正するステップと、
修正された組に従って光源を多重化することによって変数を測定するステップと
を含む方法を提供する。
【００２５】
本発明の第５態様では、強度を有しかつノイズを免れない予め定められた個数の光源および飽和を免れない少なくとも１つのセンサを使用して関連する値の測定を多重化するための方法であって、多重化が光源の複数の異なる組み合わせの下で関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
第１組を飽和に関して制約するステップと、
修正された組に従って光源を多重化することによって変数を測定するステップと
を含む方法を提供する。
【００２６】
本発明の第６態様では、強度を有しかつノイズを免れない予め定められた個数の光源および飽和を免れない少なくとも１つのセンサを使用して関連する値の測定を多重化するための装置であって、多重化が光源の複数の異なる組み合わせの下で関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるように構成されたシーケンス発生器と、
第１組を飽和に関して制約するように構成された制約器と、
それぞれの強度とノイズとの間で最適値が見出されるまで第１組をノイズに関して修正するように構成された反復修正器と、
修正された組に従って光源を多重化することによって変数を測定するように構成された測定ユニットと
を備えた装置を提供する。
【００２７】
別途定義されない限り、本明細書中で使用されるすべての技術的用語および／または科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書中に記載される方法および材料と類似または同等である方法および材料を本発明の実施または試験において使用することができるが、例示的な方法および／または材料が下記に記載される。矛盾する場合には、定義を含めて、本特許明細書が優先する。加えて、材料、方法および実施例は例示にすぎず、限定であることは意図されない。
【００２８】
本発明の実施形態の方法および／またはシステムを実行することは、選択されたタスクを、手動操作で、自動的にまたはそれらを組み合わせて実行または完了することを含んでいる。さらに、本発明の装置、方法および／またはシステムの実施形態の実際の機器や装置によって、いくつもの選択されたステップを、ハードウェア、ソフトウェア、またはファームウェア、あるいはオペレーティングシステムを用いるそれらの組合せによって実行できる。
【００２９】
例えば、本発明の実施形態による選択されたタスクを実行するためのハードウェアは、チップまたは回路として実施されることができる。ソフトウェアとして、本発明の実施形態により選択されたタスクは、コンピュータが適切なオペレーティングシステムを使って実行する複数のソフトウェアの命令のようなソフトウェアとして実施されることができる。本発明の例示的な実施形態において、本明細書中に記載される方法および／またはシステムの例示的な実施形態による１つ以上のタスクは、データプロセッサ、例えば複数の命令を実行する計算プラットフォームで実行される。任意選択的に、データプロセッサは、命令および／またはデータを格納するための揮発性メモリ、および／または、命令および／またはデータを格納するための不揮発性記憶装置（例えば、磁気ハードディスク、および／または取り外し可能な記録媒体）を含む。任意選択的に、ネットワーク接続もさらに提供される。ディスプレイおよび／またはユーザ入力装置（例えば、キーボードまたはマウス）も、任意選択的にさらに提供される。
【図面の簡単な説明】
【００３０】
本明細書では本発明のいくつかの実施形態を単に例示し添付の図面を参照して説明する。特に詳細に図面を参照して、示されている詳細が例示として本発明の実施形態を例示考察することだけを目的としていることを強調するものである。この点について、図面について行う説明によって、本発明の実施形態を実施する方法は当業者には明らかになるであろう。
【００３１】
【図１Ａ−Ｂ】図１Ａは、先行技術で公知のトリビアル事例に従って単一光源の下で撮影された画像である。図１Ｂは、５７個の多重光源によって照明された画像から復号された同一シーンの画像である。それはあたかも同じ単一光源によって照明されたかのように復号され、多重化符号は本発明の好適な実施形態を用いて最適化することができる。
【図１Ｃ】本発明の第１実施形態に係るプロセスを示すフローチャートである。
【図１Ｄ】図１Ｃの手順を実行するための装置を示すフローチャートである。
【図１Ｅ】本発明の好適な実施形態に係る、測定の多重化の最適化のための初期化手順を示す簡易フローチャートである。
【図１Ｆ】本発明の好適な実施形態に係る、測定問題の最小値を求めるための最小化手順を示す簡易フローチャートである。
【図１Ｇ】局所的最小値を打ち破り、全体的最適化のために大域的最小値を求めるための図１Ｄの最小化手順の繰返しを示す簡易フローチャートである。
【図２】０〜４７個の光源のノイズ較正を示し、かつ光源の個数と共にノイズがいかに線形的に変化するかを示すグラフである。
【図３】本発明の実施形態に係る最適化タスクの２次元図であり、陰影部は超平面内の飽和の制約を示す。
【図４】χ２の種々の値に対する期待多重化利得を示す。ここでＮ＝５７であり、したがってＣ＝｛２，．．．，２９｝である。実線は本発明の実施形態のシステムに対応し、Ｃｏｐｔの値には星印が付いている。それらは光子ノイズがκ２ｇｒａｙに対して増加するとシフトする。
【図５】図３の超平面を示し、かついかにして最適化手順が局所的最小値で行き詰まるかを示す図である。
【図６】図６Ａは、本発明の実施形態に係る、あるサンプリングレベルで測定する場合の多重化符号を示す図である。図６Ｂは、本発明の実施形態に係る、異なるサンプリングレベルで測定する場合の多重化符号を示す図である。
【図７】Ｗｕｔｔｉｇおよびトリビアル測定の図６Ａの符号の比較結果を示すグラフである。
【図８】図８Ａは、トリビアル多重化によるシーンを示す実験結果の図である。図８Ｂは、最適多重化によるシーンを示す実験結果の図である。
【図９】図９Ａは、照明多重化フレームから復号された画像のＭＳＥであり、Ｎ＝１１の場合を示し、アダマール多重化は高グレーレベルに対して逆効果になる。図９Ｂは、照明多重化フレームから復号された画像のＭＳＥであり、アダマールを使用しかつ非飽和画素だけをプロットした、多少人工的な事例を示す。
【発明を実施するための形態】
【００３２】
本発明は、その一部の実施形態では、多重測定のためのシステムおよび方法に関し、さらに詳しくは、ノイズまたは飽和条件または制限を考慮して所与の測定に最適な多重化シーケンスを提供するためのシステムまたは方法に関するが、それに限定されない。
【００３３】
複数の照明源またはセッティングを用いて一連の写真を撮影することは、多くのコンピュータビジョンおよびグラフィックスの問題の中心である。最近の方法では、シーケンスの各フレームに単一の点光源よりむしろ複数の光源を使用することが増えている。潜在的な利点として、信号対雑音比の増大およびシーンのダイナミックレンジの調節が挙げられる。しかし、アダマールベース符号を含め、既存の多重化方式は、ポアソン分布光子ノイズおよびセンサの飽和によって設定される基本的限界によって抑制される。先行方式は、これらの影響のため、事実上逆効果になることがある。本発明の実施形態は、これらの基本的影響下で最適である多重化符号を導出する。したがって、新規の符号は先行方式の適用を一般化し、ずっと幅広い適用性を有する。
【００３４】
本発明の方法は、問題を条件付き最適化として定式化することに基づく。さらに、我々はこの最適化の問題を解くアルゴリズムを提案する。この方法の優位性および有効性は、物体照明を含む実験で実証される。
【００３５】
図面の図１Ｂ〜９Ｂに示す本発明の一部の実施形態の理解を深める目的で、図１Ａに示す従来の単一点（すなわち先行技術）測定についてはすでに言及した。
【００３６】
本発明の実施形態は、カメラ読出しノイズに加えて光子ノイズおよび飽和の基本的限界の下で最適である多重化符号を追求しかつ提供する。この問題およびその解決は、コンピュータビジョンおよびグラフィックスよりずっと広い意味合いを持つ。その理由は、放射源の多重化が、Ｘ線撮像、分光法、符号化アパーチャ撮像、および光ファイバ通信などの多くの検知モダリティで使用されるからである。
【００３７】
ゆえに、ここに提示する方法は広い適用性を有する。それは条件付き最適化の定式化に基づく。我々はまた、この問題を解くためのアルゴリズムをも記載する。結果的に得られる新規の符号は、先行の多重化符号より優れている。
【００３８】
我々は、物体照明の実験でこれを実証する。
【００３９】
本発明の少なくとも１つの実施形態を詳しく説明する前に、本発明は、その適用において、下記の記載に示されるか、および／または、図面および／または実施例において例示される構成要素および／または方法の組み立ておよび構成の細部に必ずしも限定されないことを理解しなければならない。本発明は他の実施形態が可能であり、または様々な方法で実施または実行されることが可能である。
【００４０】
ここで図面を参照すると、図１Ｃは、本発明の第１実施形態に係るプロセスを示す簡略図である。図１Ｃは、予め定められた個数の光源を用いて関連する値の測定を多重化するための方法を示す。光源の個数に関係なく同じ手順に従うことができるが、いずれの場合でも特定数の光源に対してこの手順が使用される。光源は制御可能な強度または固定強度を有してよい。強度が制御可能である場合、強度は、下の手順で最適化されるパラメータの１つになる場合がある。光源はノイズを免れず、ノイズは一般的に光源の個数と共に増大する。ノイズ挙動のモデルが利用可能である場合がある。
【００４１】
検知は１個以上のセンサを用いて実行されるが、センサは飽和を免れないので、物体を単純により明るく照明しても、達成されるのはセンサまたは試料が飽和することだけであるので、結局は有利でなくなり、最大放射量の蛍光染料の場合、染料に対しさらなる影響が生じる。さらに、システムは試料に適用される安全な放射線量によって制約されることがある。光源は測定が実行されるシーケンスで一緒に多重化され得るので、測定全体は異なる組み合わせの光源を利用する。最適シーケンスは、最初に第１組の多重化組み合わせを発生させることによって得られる。この第１組はランダムに発生させることができ、あるいは学習による推測に基づくことができる。
【００４２】
この組は次いで、明るさが制限されて単一または複数のセンサの飽和が発生しないことを確実にするように、制約される。
【００４３】
強度とノイズとの間の最適値が見出されるまで、ノイズに関して第１組を修正するプロセスが続く。つまり、使用される光源が多ければ多いほど、照明が増大し、飽和に達するまではこれは有用である。しかし、ノイズは加法的であるので、全ての追加照明はノイズの量を増大させ得る。光子ノイズなどのノイズはランダムであり、ノイズ低減技術によって処理することができないので、照明とノイズとの間のバランスを取るために最適化が必要である。以下でさらに詳しく説明する通り、最適化は反復的であり得る。
【００４４】
最後に、図に示す通り、変数は、修正された組に従って光源を多重化することによって測定される。
【００４５】
述べた通り、該方法は、ノイズモデルを用いてセンサノイズをモデル化することを含むことができる。最適化は、飽和制約付きノイズモデルをグラフに投影して超平面を形成することを含むことができる。次いで、最適化は超平面内で最小値を見出すことを含む。最小値は大域的または局所的最小値とすることができ、大域的最小値は、第１最小値に達するまで超平面内を歩進的に移動し、次いでより大きい最小値を求めるために歩進プロセスを繰返し摂動させることによって、求めることができる。より大きい最小値が見つかるたびに、それは現在の最小値として設定され、設定された反復回数が実行され、プロセスの最後に設定される現在の最小値が大域的最小値とされる。
【００４６】
光源は照明源、例えば可視光源、赤外線源、紫外線源、Ｘ線源、ピンホール光源、可変アパーチャピンホール光源、符号化アパーチャピンホール光源、単一波長光源、反射源、レーダ源、および反射信号のゲーティング間隔によって画定される光源とすることができる。
【００４７】
光源に関し、本発明の実施形態の１つの可能な用途として蛍光顕微鏡がある。物体は蛍光染料を含有し、それは入射放射線を照射されると、他の波長のそれ自体の光を放出する。異なる波長は異なる変数として扱うことができる。
【００４８】
初期発生は、ランダムに選択された値を用いて行なうことができる。場合によっては、照明源の強度は可変であり、制御することができる。そのような場合、強度を定義するために、各光源にパラメータを使用することができる。
【００４９】
ここで図１Ｄを参照すると、それは図１Ｃの方法を実行するための装置を示す。装置は、第１組の多重化組み合わせ、一般的にランダムな組を発生させるように構成されたシーケンス発生器３０を備える。制約器３２はセンサ飽和に関して第１組を制約して、制約付きの組を生成する。反復修正器３４は、それぞれの強度とノイズとの間で最適値が見出されるまで、制約付きの組をノイズに関して修正する。最後に、測定手順を設定するために使用することのできる、あるいは出力／測定ユニット３６による測定で直接使用することのできる出力が生成される。
【００５０】
ここで図１Ｅを参照すると、それは明るさＣでＮ個の光源の場合の初期化プロセスを示す。最初に１組の多重化測定値Ｗｍ，ｓがランダムに生成される。各行はＣの和が得られるように正規化される。次いで、輝度制約条件すなわち無飽和が満たされるまで、要素を除去するループが続く。
【００５１】
図１Ｆは、以下でさらに詳述する最小化コアを示す。最小化コアでは、初期化手順から１組の多重化測定値を受け取るが、それは最適化にはほど遠い状態である。ノイズモデルが図３の超平面に投影されて図５を形成し、制約内すなわち図の陰影領域内でＷの最小化が行なわれる。１点が選択され、勾配が算出される。勾配を段階的に辿り、最小値が見出されるまで刻み幅が調整される。
【００５２】
図１Ｇは、その他が存在する全体的手順を示す。図１Ｆの最小化コアによって求められた最小値は、局所的最小値とすることができるので、結果が得られるたびに入力が摂動し、手順が繰り返される。反復からよりよい最小値が生じると、そのよりよい最小値が新しい最小値と設定される。この操作が設定された回数繰り返され、最後に残った最小値が大域的最小値とされる。
理論的背景
【００５３】
次に、上記手順について理論的観点から取り上げる。
多重化
Ｎ個の光源が様々な方向から物体を照明する構成を考慮する。ｉ＝（ｉ１，ｉ２，．．．，ｉＮ）ｔを特定の画素の１組の強度値とする。ここで各値はこの構成におけるいずれかの個別光源による照明に対応する。ここでｔは互換を表わす。
【００５４】
一般的に、幾つかの光源を同時に点灯させることができる（多重化）。しばしば多重化符号と呼ばれるＮ´Ｎ多重行列Ｗを定義する。そのｍ番目の行の各要素は、ｍ番目の測定値の対応する照明源のパワーを表わす。パワーはその最大値に対して相対的に測定され、０は光源が完全にオフであることを示し、１は完全に作動している光源を示す。各画素で取得される測定値はベクトル
ａ＝（ａ１，ａ２，．．．，ａＮ）ｔ．
によって表わされる。
【００５５】
上記の表記法を用いて、パワーは、
によって得られ、ここでυは測定ノイズである。このノイズに対するバイアスは補償されると仮定する。ノイズυはσ２ａの分散で異なる画素では相関しないと仮定する。
【００５６】
多重照明の下で画像が取得されると、それらを計算機で逆多重化して、単一光源照明下での画素値の推定値＾ｉを導出することができる。単一光源画像に対する平均２乗誤差（ＭＳＥ）の意味での最良の線形推定値は、次の通りである。
【００５７】
この推定量のＭＳＥは次の通りである。
【００５８】
上記の通りＭＳＥは、復元画像の期待ノイズ分散である。それが低ければ低いほど、ＳＮＲは良好である。ＳＮＲは期待＾ｉと√（ＭＳＥ＾ｉ）との間の比と定義される。多重化無しでは、Ｗは単位行列である（トリビアル検知：一度に単一光源だけがオンである）。多重化無しのＳＮＲに対し、多重化によって改善されるＳＮＲ
は多重化利得である。
【００５９】
ノイズメカニズム
多重化の効果を解析するために、最初に画像ノイズの発生源を理解する。本節では、アフィンノイズモデルについて簡単に概説する。アフィンノイズは、線形ラジオメトリック応答を有する高級検出器に存在する。ノイズは信号依存性および信号独立性の２つの成分に分割することができる。光子束にかかわらず、信号独立性ノイズは暗電流、増幅器ノイズ、およびカメラ回路構成の量子化器によって発生する。
【００６０】
信号独立性ノイズのグレーレベル分散をκ２ｇｒａｙで表わす。
【００６１】
【００６２】
ここで、Ｑｅｌｅｃｔｒは単位グレーレベルを変化させるために必要な光生成電子の個数である。一般的に、Ｑｅｌｅｃｔｒ＞＞１である。
【００６３】
式（５、６）を結合することにより、グレーレベルの分散が得られる。
【００６４】
信号非依存性ノイズと複合して、測定グレーレベルの全ノイズ分散は次のようになる。
【００６５】
ここで、拡散物体および物体を同様の方向から照明する光源について考察する。この場合、各光源は同様の物体放射輝度を生じ、したがって同様のレベルのノイズを生じる。各測定で、Ｃ個の光源を各々最大パワーで作動させる。式（８）を次のように書き直す。
【００６６】
ここでη２は、完全に点灯した単一光源からの物体放射照度によって誘発される光子ノイズ分散である。式（９）は、作動中の光源Ｃの個数のアフィン関数である。
【００６７】
ここで図２を参照すると、それは、０から４７の光源個数の関数としてのノイズ較正を示すグラフである。我々のシステムでは、ノイズ分散は、アフィンノイズモデルと一致して、作動中の光源数Ｃと共に線形的に増大する。さらに詳しくは、図２はＰｔＧｒｅｙ Ｄｒａｇｏｎｆｌｙカメラによって取得された原画像の平均ノイズ分散をプロットする。各測定で、Ｃ個の光源が作動した。１６ビット生データのダイナミックレンジはａ［０，６５５３５］グレーレベルである一方、σａ［７０，２２０］グレーレベルである。このプロットに直線を当てはめると、κ２ｇｒａｙおよびη２が得られる。
【００６８】
光子ノイズおよび多重化
周知の多重化符号はアダマール符号に基づく。その多重行列はＳ行列として知られる。したがってＣ＝（Ｎ＋１）／２である。この符号を用いて得られるＭＳＥは次の通りである。
式（９）をＣ＝（Ｎ＋１）／２と共に用いることにより、式（１０）から
が生じる。
【００６９】
光子ノイズが無視できるほど小さい特別な場合、すなわち
κ２ｇｒａｙ＞＞Ｃη２の場合、式（１０）は、
となり、対応するＳＮＲ利得は
となる。
【００７０】
したがって、そのようなシナリオでは、アダマール多重化は非常に有益である。Ｓ行列は最適であり、式（３）を最小化する。
【００７１】
他方、光子ノイズが目立つ場合には、
Ｃη２＞＞κ２ｇｒａｙとなる。この場合、式（１１）は、逆多重化された画像｛＾ｉ｝が単一光源捕捉によって得られた画像よりノイズが多いことを示している。Ｎ＞＞１の場合、ノイズ分散はこのプロセスによって２倍になる。理由は、光源の多重化によって信号が増大することにより、光子ノイズも増大するからである。
【００７２】
Ａ．Ｗｕｔｔｉｇの「Ｏｐｔｉｍａｌ ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ ｆｏｒ ｏｐｔｉｃａｌ ｍｕｌｔｉｐｌｅｘ ｍｅａｓｕｒｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｒｅｓｅｎｃｅ ｏｆ ｐｈｏｔｏｎ ｎｏｉｓｅ」（Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ，４４：２７１０‐２７１９、２００５）は、光子ノイズ下の多重化の問題を研究した。それは、式（５）のアフィンモデル下の多重化利得の一般式を次のように定式化した。
式中、
である。
ここで、
は、光子ノイズが考慮されない場合の多重化利得である。アフィンモデルが無効の場合、式１４において、Ｚは変化することがあることに留意されたい。
【００７３】
したがって、ノイズの所与の特性χに対し、式（１４）のＧは、Ｇ０を増加する一方Ｃを低減することによって最大になる。上記Ｗｕｔｔｉｇは、巡回バイナリ行列Ｗの組からＧを最適化する多重化符号を提案した。したがって、それらは一般的多重化行列ではない。さらに、完全シーケンスと呼ばれるこれらの符合は、非常に限定された組のＮおよびノイズパラメータに対してのみ存在する。χおよびΝのほとんどの値に対して、完全シーケンスは存在しない。
【００７４】
最適飽和多重化
飽和について考慮することによって考察を始める。物体は単一光源によって照明された場合、中程度に明るくなる場合があるが、多数の光源によって照明された場合、それは飽和状態になり得る。そうなったときに、例えばＳ行列を使用して多すぎる光原を多重化することは現実的ではない。
【００７５】
飽和に対抗するために露光時間を低減することができるが、そのような工程は回避すべきである。一般的に、各測定で作動する照明源の個数Ｃを低減する方が良い。これは、Ｃの制約条件に適合する新しい多重化符号の必要性を喚起する。
【００７６】
飽和現象が照明源の特定の識別性に影響されないと仮定する。飽和は、全照明放射輝度が閾値Ｃｓａｔを超えるときに発生すると考えられる。全ての光源が同様の物体放射輝度を生じる場合、Ｃｓａｔは光源の単位を表わし、上述のＣと同様である。
である場合、飽和は回避される。
【００７７】
全ての光源をそれらの最大強度の一部で作動させることができることを想起されたい。すなわち、
【００７８】
式（１６）を使用して、多重化利得Ｇ０の最適化問題を定式化する。本節では光子ノイズは考慮しない。したがって、ノイズの信号依存性はここでは使用されない。Ｇ０の最大化は、その逆数の２乗を最小化することに等しい。すなわち、
【００７９】
我々の問題に対する制約は式（１７、１８）から取られる。
【００８０】
したがって、最適化問題は次のようになる。
【００８１】
ここで、１１，Ｎはその要素が全て１である行ベクトルであり、ｗｍはＷのｍ番目の行である。ここで図３を参照すると、それは最適化タスクの２次元図である。陰影部はｗ１が制約を満たす領域である。
【００８２】
Ｃｓａｔ＞（Ｎ＋１）／２である場合、この問題は単純である。この場合、Ｓ行列に基づく符号が最適である。理由は、Ｃｓａｔ＞（Ｎ＋１）／２である場合、アダマール多重化で飽和が満たされないためである。したがって、この場合、アダマール符号の最適性が保たれる。
【００８３】
したがって我々はＣｓａｔ≦（Ｎ＋１）／２の場合に重点を置く。我々が実施したシミュレーションにより、式（２０）の局所的最小値が得られた。最良の最小値は、式（２１）が成立するときに生じた。これは、人間が全ての測定に対し最大放射輝度を使用することを好むことを主張することによって、直感的に説明することができる。この主張はノイズが信号独立性である場合に有効であることが注目される。より一般的に事例については、以下で考察する。したがって式（２１）は等式制約によって次のように置換される。
【００８４】
式（２４）にＣｓａｔを使用することにより、飽和状態での最適化が促進されるが、残りの作業に対しては、むしろＣを使用する方が良い。これは、定式化を後で光子ノイズに一般化することを可能にするために行われる。式（２４）は、単位法線ベクトルが（１／√Ｎ）Ｉｔ１，Ｎである超平面（図３参照）内にｗｍが存在しなければならないことを意味することに注目されたい。
【００８５】
最適光子制限照明
前節は飽和のみを考慮した。ここではこの手法を光子ノイズに対処するように敷延する。制約を前提として式（２０）の最適化問題を解くことにより、結果的に所与のＣに対する最適な照明行列Ｗ（Ｃ）が得られる。換言すると、信号独立性ノイズモデルの下でＷ（Ｃ）が最高利得Ｇ０を有する一方、１１，Ｎ・ｗｍが厳密にＣとなるように、Ｗ（Ｃ）の各行ｗｍの値が決定される。式（１４）は次いで一般アフィンノイズモデルの下でＧ０を多重化利得に変換する。Ｃ≧（Ｎ＋１）／２の場合についてチェックすることは無意味であることが注目される。今説明するように、所与のＮに対してそれらは確かに最適に及ばない。信号独立性ノイズで無飽和の場合、ＧはＳ行列によって最適化されることを想起されたい。（１４）から、Ｇ０が最適化される場合、Ｃを増加してもＧを劣化させるだけであるので、それは無意味であることも分かる。
【００８６】
χ２は、式（１５）に関連して上述した通り、較正から得ることができることを想起されたい。χ２およびＧ０（Ｗ（Ｃ））に基づき、式（１４）から多重化利得Ｇ（Ｃ）が得られる。
【００８７】
次にＣの値の範囲をスキャンする。各Ｃに対し、Ｗ（Ｃ）のみならずＧ（Ｃ）をも得る。我々のアルゴリズムによって得られた実際の結果について、この関数Ｇ（Ｃ）を図４にプロットする。プロットから、Ｇを最大化するＣの値を選択する。換言すると、このスキャンにより、光子ノイズを考慮して（式１４を介して）利得を最大化する測定毎の作動光源数、およびシステム固有のχが得られる。以上のことから次の手順が得られる。
１．システムを較正してχ２を求める。
２．１からＣｓａｔまでＣ値の範囲をスキャンする。Ｃの各値に対し、この後のステップ３および４を実行する。
３．式（２２、２３、２４）を前提として式（２０）を最適化する行列Ｗ（Ｃ）を求める。
４．式（１４、１６）を用いて期待多重化利得Ｇ（Ｃ）を算出する。
５．図４にある通り、Ｃｏｐｔ＝ａｒｇｍａｘＣＧ（Ｃ）とする。
６．所望の多重化符号はＷ（Ｃｏｐｔ）である。
【００８８】
上記ステップ２に関して、Ｇ（Ｃ）の網羅的検索の必要は無いことが注目される。Ｇ（Ｃ）は挙動良好であるので、効率的な最適化手順を組み込むことができる。
【００８９】
ノイズがアフィンでない場合、段階１の較正が異なり、かつ段階４で式１４のＺが異なることを除いて、最適化プロセスは同じであることが注目される。
【００９０】
最小化手順
次に、式（２０、２２、２３、２４）に掲げたシステムを解くための数値表について述べる。それは、投影勾配法に基づくコアから構成される。それはまた、局所的最小値を避けるように設計されたより高レベルの手順からも構成される。次のように定義する。
【００９１】
Ｗの関数としてＭＳＥを繰返し最小化する。最小化コアは投影勾配降下法に基づく。基本的ステップ毎に、Ｗは勾配によって更新される。
【００９２】
更新されたＷは次いで制約（１８）および（２４）に一度に１つずつ投影される。これを図５に示す。それは、最適化がいかにして局所的最小値で行き詰るか、あるいはいかにしてそれを回避するかを示す簡略図である。図５で、勾配降下法により点ｗｍから点ｗｕｎｃｏｎｓｔｍが求められる。後者は制約（２４）に投影され、ｗｐｒｏｊｍが得られる。勾配ｇｍが制約面に対して垂直である場合には、ｗｐｒｏｊｍ＝点ｗｍとなる。したがって最適化は局所的最小値で行き詰まる。
【００９３】
さらなる詳細は、下述する最小化コアの節に掲げる。
【００９４】
式（２０）のＭＳＥはＷのマルチモーダル関数である。したがって、コアは一般的に大域的最小値ではなく、局所的最小値に収束する。局所的最小値を避けるために、より高レベルのプロセスにコアを埋め込む。コアが局所的最小値に収束すると、下述の通り、Ｗは修正される。
【００９５】
次いで、コアは修正Ｗにより再初期化される。Ｗの特定の行は修正を受けることが防止されるので、最小化コアは局所的最小値で行き詰まる。この防止は、制約によって引き起こされる。
【００９６】
これを理解するために、式（２６）は決して零にならないことに注目されたい。実際、行列Ａの有効な逆元は決して零にすることができない。もしそれができるならば、矛盾が生じる。すなわち、Ａ−１Ａ＝１Ｎ×Ｎ＝０Ｎ×ＮＡとなる。ここで０Ｎ×ＮはＮ×Ｎの零行列である。
【００９７】
ゆえに、Ｋａｒｕｓｈ‐Ｋｕｈｎ‐Ｔｕｃｋｅｒ理論に従って、制約が成り立つときにＭＳＥの全ての極値が得られる。この理由により、局所的最小値は図５に示すように制約上に存在する行列の行によって生じる。他方、Ｗの他の行は自由に変化することができる。したがって最小化コアを停滞させる行を同定しようとする。
【００９８】
Ｗのｍ番目の行はｗｍである。勾配行列Γでそれに対応する行はｇｍである。ｇｍが１１，Ｎと並列の場合、それは、勾配のこの行が、図５に示す通り、制約面（２４）に垂直であることを意味する。これが該当する場合には、ｗｍはその投影と等しくなり、最小化コアは停滞する。ゆえに、Ｗの行ｍが停滞する充分条件は、ｇｍ‖１１，Ｎである。
【００９９】
上記条件は充分であるが、それは必ずしも必要条件ではない。次に、より広いクラスの停滞行について述べる。ｗｍがｗｍ，ｓ＝１または０となる要素ｓを有し、かつｗｍ−ｇｍがそれらを式（２２、２３）の境界を越えて移動させると想定する。これらの要素の指数の組をＳｏｖｅｒｆｌｏｗで表わす。ここで、行ベクトルを次のように定義する。
【０１００】
【０１０１】
ゆえに、それは、ｇｍでその指数がＳｏｖｅｒｆｌｏｗでない要素ｓからだけ構成される。
はｍ行の停滞の必要条件であることを示すことができる。
【０１０２】
アルゴリズムはコアの局所的最小値を検出するように意図されており、したがって次のようにそれを避ける。
１．下述する最小化コアを１回実行する。その出力多重化符号および対応するＭＳＥを使用して、Ｗ０およびＭＳＥｍｉｎを初期化する。
２．繰返し数に達するまで後続ステップ３、４、５を繰り返す。反復指数はｌである。
３．全てのｍ｛１，．．．，Ｎ｝に対し、式（２７）が保たれる場合、ｍ行は停滞として検出される。それをランダムな行ベクトルに置換する。この新しい行は（１８、２４）に適合し、Ａｐｐ．Ｂで記載する通り定式化される。
４．最小化コアを再び実行する。それをＷ（ｌ−１）によって初期化する。その出力はＷ（ｌ）のみならず、ＭＳＥ（ｌ）およびそれに対応する勾配Γ（ｌ）でもある。
【０１０３】
最小化コア
ここで図１Ｆに戻って説明する。以下で、最小化コアκは反復変数であり、着想はＷの関数としてＭＳＥを最小化するというものである。
１．ＮおよびＣが与えられると、初期行列Ｗ０を形成する（下の初期化を参照されたい）。初期行列Ｗ０は上記の制約（２２、２３、２４）に適合する。
２．｜ＭＳＥｋ−ＭＳＥｋ＋１｜＜ε（ここでεは予め定められた小閾値である）が達成されるまで、この後の段階３および４を繰り返す。
【０１０４】
最小化コアの初期化
ここで図１Ｅに戻って、次に初期行列Ｗ０の初期化手順について記載する。ｗｍ，ｓ ［０．１，０．９］ｍ，ｓをランダムに発生させる。これは、この段階で制約（２２、２３）を成立させることを回避する。次いで、Ｗ０の各行ｍを、その和がＣとなるように正規化する。式（１８）を侵害する要素は再発生され、次いで、式（１８、２４）が満たされるまで正規化プロセスが繰り返される。
【０１０５】
実験
新規の多重化符号を照明に適用することによって実証する。ＥＰＳＯＮ ＥＭＰ‐７８００プロジェクタで、白い拡散壁上に光パッチのパターンを形成した。これらのパッチによって反射した光は、観察される物体を照射する明確な光源として働いた。Ｄｒａｇｏｎｆｌｙカメラの露光時間は、１５Ｈｚフレームレートに対応する６３ミリ秒であった。それは、７ミリ秒の周期を有するプロジェクタの放射輝度ゆらぎを排除する。
【０１０６】
較正
ノイズ較正のために、Ｎ個の照明源のうちＣ個を単に点灯することによって、物体の画像を撮影した。各値のＣに対し、１０フレームのシーケンスを撮影した。このシーケンスからノイズ分散σ２ａ（ｘ，ｙ，Ｃ）を画素（ｘ，ｙ）毎に推定した。次いで、空間平均を取ることでσ２ａ（Ｃ）が得られた。このプロセスをある範囲のＣ値に対して繰り返した。その結果得られたσ２ａ（Ｃ）は一般的に、図２に示すアフィンノイズモデルと一致した。σ２ａ（Ｃ）のプロットからパラメータκｇｒａｙおよびηを抽出した。その結果、式（１５）からχが得られた。ゆえに、例えばＮ＝５７の光パッチ（光源）を用いる実験では、κｇｒａｙ＝４２．４のグレーレベル、η＝９．０［グレーレベル／光源］が得られ、したがってχ２＝０．０４５であった。
【０１０７】
多重化符号の構築
較正に続いて、多重化符号を調整した。我々のアルゴリズムは、これらのパラメータに対して、アダマール符号が存在せず、あるいはＷｕｔｔｉｇによって提案された行列のいずれかが存在する場合でも、任意の値のＮまたはχを処理することができる。この領域で、文献における競合符号の欠如は例外というよりむしろ常態であった。しかし、可能な場合、比較を行なうために、以下の実験では意図的に、競合符号が存在するＮおよびχの値を有する特殊な場合を選択した。
【０１０８】
ここで図６を参照すると、それは、現在説明している実験の過程で本発明の実施形態によって生成された多重化符号を示す。図６Ａは、｛Ｎ，Ｃ｝＝｛５７，２４｝の場合の多重化符号を示す。図６Ｂは、｛Ｎ，Ｃ｝＝｛４７，１２｝の場合の符号を示す。図中、黒の画素はｗｍ，ｓ＝０を表わす。白はｗｍ，ｓ＝１を表わす。中間値はグレーである。
【０１０９】
Ｎ＝５７の場合、図６Ａに示すＷ（Ｃｏｐｔ＝２４）を得た。Ｗｕｔｔｉｇは、χの我々の較正値を考慮して、使用すべき値としてＣ＝２０を得た。しかし、Ｗｕｔｔｉｇは、｛Ｎ，Ｃ｝＝｛５７，２０｝を有する多重化符号を得る方法を提供するものではない。むしろ、それは単に｛Ｎ，Ｃ｝＝｛５７，８｝をもたらすだけであり、それは最適ではなく、この特定の事例における競合符号であるにすぎない。
【０１１０】
Ｎ＝４７およびＮ＝１１について、アダマール符号（Ｓ行列）に対して性能を比較するための実験も行なった。実験セットアップにおけるＣｏｐｔのそれぞれの値は、Ｃｏｐｔ＝１２および５であった。｛Ｎ，Ｃ｝＝｛４７，１２｝に対応する行列を図６Ｂに示す。全ての場合に、トリビアル捕捉事例とみなすことのできる単位行列を用いて多重化することによって得られるものとも性能を比較した。
【０１１１】
測定
本実験は、各組の符号を使用してシーンを照明しながら、画像の組を取得した。各組の取得画像から、シーンをあたかも個別照明源によって照明されたかのように再構成した。ＭＳＥ＾ｉの経験的推定を容易化するために、この手順を１０回繰り返した。
【０１１２】
Ｎ＝５７の場合に、逆多重化された画像の例を図１に示す。対応するＭＳＥ＾ｉが図７にプロットされており、ここでそれを参照しながら説明する。図７は、Ｎ＝５７の場合に照明多重化画像を復号することによって得られたＭＳＥを示す。本実施形態の最適符号は、Ｗｕｔｔｉｇおよびトリビアル照明の符号の両方をしのぐ性能である。
【０１１３】
Ｎ＝４７の場合の逆多重化の比較例を図８Ａおよび８Ｂに示す。図８Ａは、単一光源下で撮影した画像を示す。｛Ｎ＝４７，Ｃ＝１２｝の多重化フレームから復号された同じシーンの画像を図８Ｂに示す。後者は、あたかも同じ単一光源によって照明されたかのように復号される。多重化符号は最適である。画像内の四角の印部分が各画像の右側に拡大されている。
【０１１４】
Ｎ＝１１およびＮ＝４７の場合の推定ＭＳＥ＾ｉが図９Ａおよび９Ｂにそれぞれ示される。画像のＭＳＥは照明多重化フレームから復号した。図９ＡはＮ＝１１の場合を示す。アダマール多重化は高グレーレベルでは逆効果になる。本発明の実施形態の多重化符号は、アダマール符号および単位（トリビアル）行列より優れている。図９Ｂで、アダマール事例は非飽和画素だけをプロットしている。
【０１１５】
競合符号が存在するこれらの稀な事例では、最良の多重化方式（最低出力ノイズ）は我々の方法によって作成されたものである。
【０１１６】
Ｎ＝４７を用いた実験は、アダマール符号の適用性における飽和の含意を実証する。この場合、単一光源照明は、原画の小さい部分（図８のソーダ缶）に明るいスポットを生成した。画像の大部分は暗い（１６ビットデータでグレースケールは１０００以下）が、ハイライトはダイナミックレンジを枯渇させた。この場合、飽和がアダマール符号の使用を禁止する。それにもかかわらず、我々はあえてアダマール符号を使用し、図９のプロットは非飽和画素だけを使用した。言うまでもなく、アダマール符号化照明によって飽和した画素では、データは役に立たなかった。しかし、これらの画素で、本発明の実施形態の符号によって飽和は回避された。
【０１１７】
概要
本発明の手法は、あらゆる所望の個数の光源Ｎおよび放射輝度阻害（飽和、光子ノイズ）に対し、最適な多重化符号をもたらす。符号が知られていない場合を含め、文献で報告された事例よりずっと一般的な事例に対してそうである。画像取得の基本的な物理的限界を考慮することによって、我々は、他の多重化符号が存在する場合でも、そのような符号より優れた結果を達成する。我々の研究は、物体照明以外で多重化を使用する多くの用途、例えばＸ線、分光法、符号化アパーチャ撮像等に適用することができる。例えばｙ補正されたカメラの非線形性を補償すると、アフィンノイズモデルに類似した放射輝度ノイズが誘発されることが示されている。したがって、ここで使用した形式はそのようなカメラに応用することができる。さらに、σａは多重化される光源のゆらぎに由来する乗法的成分を有することもあり得る。したがって、この効果も考慮する価値がある。
【０１１８】
用語「含む／備える（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ、ｉｎｃｌｕｄｅｓ、ｉｎｃｌｕｄｉｎｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、およびそれらの同根語は、「含むが、それらに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」ことを意味する。この用語は、「からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」および「から本質的になる（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」を包含する。
【０１１９】
本明細書中で使用される場合、単数形態（「ａ」、「ａｎ」および「ｔｈｅ」）は、文脈がそうでないことを明確に示さない限り、複数の参照物を包含する。
【０１２０】
明確にするため別個の実施形態で説明されている本発明の特定の特徴は単一の実施形態に組み合わせて提供することもできることは分かるであろう。逆に、簡潔にするため単一の実施形態で説明されている本発明の各種の特徴は別個にまたは適切なサブコンビネーションで、あるいは本発明の他の記載される実施形態において好適なように提供することもできる。種々の実施形態の文脈において記載される特定の特徴は、その実施形態がそれらの要素なしに動作不能である場合を除いては、それらの実施形態の不可欠な特徴であると見なされるべきではない。
【０１２１】
本発明はその特定の実施態様によって説明してきたが、多くの別法、変更および変形があることは当業者には明らかであることは明白である。従って、本発明は、本願の請求項の精神と広い範囲の中に入るこのような別法、変更および変形すべてを包含するものである。
【０１２２】
本明細書中で挙げた刊行物、特許および特許出願はすべて、個々の刊行物、特許および特許出願が各々あたかも具体的にかつ個々に引用提示されているのと同程度に、全体を本明細書に援用するものである。さらに、本願で引用または確認したことは本発明の先行技術として利用できるという自白とみなすべきではない。節の見出しが使用されている程度まで、それらは必ずしも限定であると解釈されるべきではない。
【技術分野】
【０００１】
本発明は、その一部の実施形態では、多重測定のためのシステムおよび方法に関し、さらに詳しくは、ノイズまたは飽和条件または制限を考慮して所与の測定に最適な多重化シーケンスを提供するためのシステムまたは方法に関するが、それに限定されない。
【背景技術】
【０００２】
コンピュータビジョン研究および画像ベースレンダリングでは、物体または人々はしばしば可変照明方向の下で捕捉される。そのような画像は次いで、物体認識および識別、レンダリング、形状推定、ならびに鏡面性、影、およびオクルージョンの解析に使用される。従来、そのような画像は、物体の周りで光源を移動することによって、または配列における個々の光源を順次作動させることによって撮影されていた。しかし、最近、単一の点光源に基づかない照明に対する関心が高まっている。むしろ、それは、各画像で照明が幾つかの方向または光源から同時に到達するようにした一連の画像に基づく。利点を幾つか挙げると、信号対雑音比（ＳＮＲ）の著しい改善（例えば図１参照）、飽和画素の存在下のダイナミックレンジ問題の著しい軽減、および人々を写真撮影するときの簡便さがある。他の潜在的利点として取得プロセスの効率性、ならびにフラッシュおよび周囲照明の同時使用による画質向上がある。
【０００３】
問題は、光源の同時作動のあらゆる可能性を前提として、各フレームで光源を多重化する最適な方法は何かということである。Ｙ．Ｙ．Ｓｃｈｅｃｈｎｅｒ、Ｓ．Ｋ．Ｎａｙａｒ、およびＰ．Ｎ．Ｂｅｌｈｕｍｅｕｒの「Ａ ｔｈｅｏｒｙ ｏｆ ｍｕｌｔｉｐｌｅｘｅｄ ｉｌｌｕｍｉｎａｔｉｏｎ」（Ｐｒｏｃ．ＩＥＥＥ ＩＣＣＶ Ｖｏｌ．２、８０８〜８１５頁、２００３）は、アダマールベース符号を使用すべきであることを提唱している。しかし、その解析は重要な問題、すなわち画像ノイズが画像放射照度自体に依存しており、それが、Ａ．Ｗｅｎｇｅｒ、Ａ．Ｇａｒｄｎｅｒ、Ｃ．Ｔｃｈｏｕ、Ｊ．Ｕｎｇｅｒ、Ｔ．Ｈａｗｋｉｎｓ、およびＰ．Ｄｅｂｅｖｅｃの「Ｐｅｒｆｏｒｍａｎｃｅ ｒｅｌｉｇｈｔｉｎｇ ａｎｄ ｒｅｆｌｅｃｔａｎｃｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｗｉｔｈ ｔｉｍｅ‐ｍｕｌｔｉｐｌｅｘｅｄ ｉｌｌｕｍｉｎａｔｉｏｎ」（ＡＣＭ ＴＯＧ、２４：７５６〜７６４、２００５）に詳述される通り、アダマール多重化を逆効果にするおそれがあることを考慮していない。基本的に光子ノイズがそのような現象を生み出す。光子ノイズは、光の量子力学的性質に由来するので、カメラの品質に関係なく画像に存在する。
【０００４】
さらに、最適測定を探求するときに計測器の飽和を考慮した先行研究は無い。これは、複数の光源を使用する場合に飽和およびシーンのダイナミックレンジが重要な側面であるという認識にもかかわらず、である。
【０００５】
本明細書のいずれかで参照される項目を含む背景技術は、以下のものが挙げられる：
【発明の概要】
【０００６】
本発明の実施形態は、所与の個数の測定変数、所与の飽和レベル、および所与のノイズモデルに対して測定を多重化する最適な方法を提供することができる。
【０００７】
本発明の一部の実施形態の態様では、強度を有しかつノイズを免れない予め定められた個数の光源および飽和を免れない少なくとも１つのセンサを使用して関連する値の測定を多重化するための方法であって、多重化が光源の複数の異なる組み合わせの下で関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
第１組を飽和に関して制約するステップと、
それぞれの強度とノイズとの間のバランスが見出されるまで第１組をノイズに関して修正するステップと、
修正された組に従って光源を多重化することによって変数を測定するステップと
を含む方法を提供する。
【０００８】
１実施形態では、バランスは最適化を含む。
【０００９】
１実施形態では、最適化は、平均２乗誤差および加重平均２乗誤差を含む距離関数の任意の１構成要素を最小化することを含む。
【００１０】
１実施形態は、ノイズモデルを用いてセンサノイズをモデル化することを含んでよい。
【００１１】
１実施形態は、制約を有するノイズモデルをグラフ上に投影して、超平面を形成することを含んでよい。
【００１２】
１実施形態では、最適化は超平面内で最小値を求めることを含む。
【００１３】
１実施形態では、超平面内で最小値を求めることは、第１最小値に達するまで超平面内を歩進的に移動し、次いでより大きい最小値を求めるために歩進を繰返し摂動させ、それによって大域的最小値に達することを含む。
【００１４】
１実施形態では、光源は照明源である。
【００１５】
１実施形態では、照明源は、可視光源、赤外線源、紫外線源、Ｘ線源、ピンホール光源、空間的ピンホール、スロット、時間的スロット、可変アパーチャピンホール光源、符号化アパーチャピンホール光源、単一波長光源、反射源、レーダ源、および反射信号のゲーティング間隔によって画定される光源から構成される群のいずれか１つである。
【００１６】
１実施形態では、第１組を発生させることは、ランダム値を使用することを含む。
【００１７】
１実施形態では、それぞれの光源の強度は可変であり、第１組の発生および修正は両方とも、光源の強度値を定義することを含む。
【００１８】
１実施形態は、第１組を実数値域、非負数域、およびバイナリ域から構成される域群のいずれかの構成要素に制約することを含んでよい。
【００１９】
本発明の第２態様では、強度を有しかつノイズを免れない予め定められた個数の光源および飽和を免れない少なくとも１つのセンサを使用して関連する値の測定を多重化するための方法であって、多重化が光源の複数の異なる組み合わせの下で関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
第１組を飽和に関して制約するステップと、
それぞれの強度とノイズとの間で最適値が見出されるまで第１組をノイズに関して修正するステップと、
それによって光源を多重化することによって変数を測定するための測定シーケンスとして、修正された組を出力するステップと
を含む方法を提供する。
【００２０】
本発明の第３態様では、それぞれの波長強度を有しかつノイズを免れない予め定められた個数の波長光源および飽和を免れない少なくとも１つのセンサを使用して関連する値の測定を多重化するための方法であって、多重化が光源の複数の異なる組み合わせの下で関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
第１組を飽和に関して制約するステップと、
それぞれの強度とノイズとの間で最適値が見出されるまで第１組をノイズに関して修正するステップと、
修正された組に従ってフィルタを作動させて光源を多重化するステップと
を含む方法を提供する。
【００２１】
１実施形態では、フィルタは組に従って構成された固定フィルタである。
【００２２】
１実施形態では、フィルタはチューナブルフィルタであり、作動は組に従ってチューナブルフィルタを調整することを含む。
【００２３】
１実施形態では、チューナブルフィルタは、チューナブル分光フィルタ、液晶チューナブル分光フィルタ、および調整可能な出力を有する分散素子から構成される群のいずれかの構成要素である。
【００２４】
本発明の第４態様では、強度を有しかつノイズを免れない予め定められた個数の光源および飽和を免れない少なくとも１つのセンサを使用して関連する値の測定を多重化するための方法であって、多重化が光源の複数の異なる組み合わせの下で関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
それぞれの強度とノイズとの間で最適値が見出されるまで第１組をノイズに関して修正するステップと、
修正された組に従って光源を多重化することによって変数を測定するステップと
を含む方法を提供する。
【００２５】
本発明の第５態様では、強度を有しかつノイズを免れない予め定められた個数の光源および飽和を免れない少なくとも１つのセンサを使用して関連する値の測定を多重化するための方法であって、多重化が光源の複数の異なる組み合わせの下で関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
第１組を飽和に関して制約するステップと、
修正された組に従って光源を多重化することによって変数を測定するステップと
を含む方法を提供する。
【００２６】
本発明の第６態様では、強度を有しかつノイズを免れない予め定められた個数の光源および飽和を免れない少なくとも１つのセンサを使用して関連する値の測定を多重化するための装置であって、多重化が光源の複数の異なる組み合わせの下で関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるように構成されたシーケンス発生器と、
第１組を飽和に関して制約するように構成された制約器と、
それぞれの強度とノイズとの間で最適値が見出されるまで第１組をノイズに関して修正するように構成された反復修正器と、
修正された組に従って光源を多重化することによって変数を測定するように構成された測定ユニットと
を備えた装置を提供する。
【００２７】
別途定義されない限り、本明細書中で使用されるすべての技術的用語および／または科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書中に記載される方法および材料と類似または同等である方法および材料を本発明の実施または試験において使用することができるが、例示的な方法および／または材料が下記に記載される。矛盾する場合には、定義を含めて、本特許明細書が優先する。加えて、材料、方法および実施例は例示にすぎず、限定であることは意図されない。
【００２８】
本発明の実施形態の方法および／またはシステムを実行することは、選択されたタスクを、手動操作で、自動的にまたはそれらを組み合わせて実行または完了することを含んでいる。さらに、本発明の装置、方法および／またはシステムの実施形態の実際の機器や装置によって、いくつもの選択されたステップを、ハードウェア、ソフトウェア、またはファームウェア、あるいはオペレーティングシステムを用いるそれらの組合せによって実行できる。
【００２９】
例えば、本発明の実施形態による選択されたタスクを実行するためのハードウェアは、チップまたは回路として実施されることができる。ソフトウェアとして、本発明の実施形態により選択されたタスクは、コンピュータが適切なオペレーティングシステムを使って実行する複数のソフトウェアの命令のようなソフトウェアとして実施されることができる。本発明の例示的な実施形態において、本明細書中に記載される方法および／またはシステムの例示的な実施形態による１つ以上のタスクは、データプロセッサ、例えば複数の命令を実行する計算プラットフォームで実行される。任意選択的に、データプロセッサは、命令および／またはデータを格納するための揮発性メモリ、および／または、命令および／またはデータを格納するための不揮発性記憶装置（例えば、磁気ハードディスク、および／または取り外し可能な記録媒体）を含む。任意選択的に、ネットワーク接続もさらに提供される。ディスプレイおよび／またはユーザ入力装置（例えば、キーボードまたはマウス）も、任意選択的にさらに提供される。
【図面の簡単な説明】
【００３０】
本明細書では本発明のいくつかの実施形態を単に例示し添付の図面を参照して説明する。特に詳細に図面を参照して、示されている詳細が例示として本発明の実施形態を例示考察することだけを目的としていることを強調するものである。この点について、図面について行う説明によって、本発明の実施形態を実施する方法は当業者には明らかになるであろう。
【００３１】
【図１Ａ−Ｂ】図１Ａは、先行技術で公知のトリビアル事例に従って単一光源の下で撮影された画像である。図１Ｂは、５７個の多重光源によって照明された画像から復号された同一シーンの画像である。それはあたかも同じ単一光源によって照明されたかのように復号され、多重化符号は本発明の好適な実施形態を用いて最適化することができる。
【図１Ｃ】本発明の第１実施形態に係るプロセスを示すフローチャートである。
【図１Ｄ】図１Ｃの手順を実行するための装置を示すフローチャートである。
【図１Ｅ】本発明の好適な実施形態に係る、測定の多重化の最適化のための初期化手順を示す簡易フローチャートである。
【図１Ｆ】本発明の好適な実施形態に係る、測定問題の最小値を求めるための最小化手順を示す簡易フローチャートである。
【図１Ｇ】局所的最小値を打ち破り、全体的最適化のために大域的最小値を求めるための図１Ｄの最小化手順の繰返しを示す簡易フローチャートである。
【図２】０〜４７個の光源のノイズ較正を示し、かつ光源の個数と共にノイズがいかに線形的に変化するかを示すグラフである。
【図３】本発明の実施形態に係る最適化タスクの２次元図であり、陰影部は超平面内の飽和の制約を示す。
【図４】χ２の種々の値に対する期待多重化利得を示す。ここでＮ＝５７であり、したがってＣ＝｛２，．．．，２９｝である。実線は本発明の実施形態のシステムに対応し、Ｃｏｐｔの値には星印が付いている。それらは光子ノイズがκ２ｇｒａｙに対して増加するとシフトする。
【図５】図３の超平面を示し、かついかにして最適化手順が局所的最小値で行き詰まるかを示す図である。
【図６】図６Ａは、本発明の実施形態に係る、あるサンプリングレベルで測定する場合の多重化符号を示す図である。図６Ｂは、本発明の実施形態に係る、異なるサンプリングレベルで測定する場合の多重化符号を示す図である。
【図７】Ｗｕｔｔｉｇおよびトリビアル測定の図６Ａの符号の比較結果を示すグラフである。
【図８】図８Ａは、トリビアル多重化によるシーンを示す実験結果の図である。図８Ｂは、最適多重化によるシーンを示す実験結果の図である。
【図９】図９Ａは、照明多重化フレームから復号された画像のＭＳＥであり、Ｎ＝１１の場合を示し、アダマール多重化は高グレーレベルに対して逆効果になる。図９Ｂは、照明多重化フレームから復号された画像のＭＳＥであり、アダマールを使用しかつ非飽和画素だけをプロットした、多少人工的な事例を示す。
【発明を実施するための形態】
【００３２】
本発明は、その一部の実施形態では、多重測定のためのシステムおよび方法に関し、さらに詳しくは、ノイズまたは飽和条件または制限を考慮して所与の測定に最適な多重化シーケンスを提供するためのシステムまたは方法に関するが、それに限定されない。
【００３３】
複数の照明源またはセッティングを用いて一連の写真を撮影することは、多くのコンピュータビジョンおよびグラフィックスの問題の中心である。最近の方法では、シーケンスの各フレームに単一の点光源よりむしろ複数の光源を使用することが増えている。潜在的な利点として、信号対雑音比の増大およびシーンのダイナミックレンジの調節が挙げられる。しかし、アダマールベース符号を含め、既存の多重化方式は、ポアソン分布光子ノイズおよびセンサの飽和によって設定される基本的限界によって抑制される。先行方式は、これらの影響のため、事実上逆効果になることがある。本発明の実施形態は、これらの基本的影響下で最適である多重化符号を導出する。したがって、新規の符号は先行方式の適用を一般化し、ずっと幅広い適用性を有する。
【００３４】
本発明の方法は、問題を条件付き最適化として定式化することに基づく。さらに、我々はこの最適化の問題を解くアルゴリズムを提案する。この方法の優位性および有効性は、物体照明を含む実験で実証される。
【００３５】
図面の図１Ｂ〜９Ｂに示す本発明の一部の実施形態の理解を深める目的で、図１Ａに示す従来の単一点（すなわち先行技術）測定についてはすでに言及した。
【００３６】
本発明の実施形態は、カメラ読出しノイズに加えて光子ノイズおよび飽和の基本的限界の下で最適である多重化符号を追求しかつ提供する。この問題およびその解決は、コンピュータビジョンおよびグラフィックスよりずっと広い意味合いを持つ。その理由は、放射源の多重化が、Ｘ線撮像、分光法、符号化アパーチャ撮像、および光ファイバ通信などの多くの検知モダリティで使用されるからである。
【００３７】
ゆえに、ここに提示する方法は広い適用性を有する。それは条件付き最適化の定式化に基づく。我々はまた、この問題を解くためのアルゴリズムをも記載する。結果的に得られる新規の符号は、先行の多重化符号より優れている。
【００３８】
我々は、物体照明の実験でこれを実証する。
【００３９】
本発明の少なくとも１つの実施形態を詳しく説明する前に、本発明は、その適用において、下記の記載に示されるか、および／または、図面および／または実施例において例示される構成要素および／または方法の組み立ておよび構成の細部に必ずしも限定されないことを理解しなければならない。本発明は他の実施形態が可能であり、または様々な方法で実施または実行されることが可能である。
【００４０】
ここで図面を参照すると、図１Ｃは、本発明の第１実施形態に係るプロセスを示す簡略図である。図１Ｃは、予め定められた個数の光源を用いて関連する値の測定を多重化するための方法を示す。光源の個数に関係なく同じ手順に従うことができるが、いずれの場合でも特定数の光源に対してこの手順が使用される。光源は制御可能な強度または固定強度を有してよい。強度が制御可能である場合、強度は、下の手順で最適化されるパラメータの１つになる場合がある。光源はノイズを免れず、ノイズは一般的に光源の個数と共に増大する。ノイズ挙動のモデルが利用可能である場合がある。
【００４１】
検知は１個以上のセンサを用いて実行されるが、センサは飽和を免れないので、物体を単純により明るく照明しても、達成されるのはセンサまたは試料が飽和することだけであるので、結局は有利でなくなり、最大放射量の蛍光染料の場合、染料に対しさらなる影響が生じる。さらに、システムは試料に適用される安全な放射線量によって制約されることがある。光源は測定が実行されるシーケンスで一緒に多重化され得るので、測定全体は異なる組み合わせの光源を利用する。最適シーケンスは、最初に第１組の多重化組み合わせを発生させることによって得られる。この第１組はランダムに発生させることができ、あるいは学習による推測に基づくことができる。
【００４２】
この組は次いで、明るさが制限されて単一または複数のセンサの飽和が発生しないことを確実にするように、制約される。
【００４３】
強度とノイズとの間の最適値が見出されるまで、ノイズに関して第１組を修正するプロセスが続く。つまり、使用される光源が多ければ多いほど、照明が増大し、飽和に達するまではこれは有用である。しかし、ノイズは加法的であるので、全ての追加照明はノイズの量を増大させ得る。光子ノイズなどのノイズはランダムであり、ノイズ低減技術によって処理することができないので、照明とノイズとの間のバランスを取るために最適化が必要である。以下でさらに詳しく説明する通り、最適化は反復的であり得る。
【００４４】
最後に、図に示す通り、変数は、修正された組に従って光源を多重化することによって測定される。
【００４５】
述べた通り、該方法は、ノイズモデルを用いてセンサノイズをモデル化することを含むことができる。最適化は、飽和制約付きノイズモデルをグラフに投影して超平面を形成することを含むことができる。次いで、最適化は超平面内で最小値を見出すことを含む。最小値は大域的または局所的最小値とすることができ、大域的最小値は、第１最小値に達するまで超平面内を歩進的に移動し、次いでより大きい最小値を求めるために歩進プロセスを繰返し摂動させることによって、求めることができる。より大きい最小値が見つかるたびに、それは現在の最小値として設定され、設定された反復回数が実行され、プロセスの最後に設定される現在の最小値が大域的最小値とされる。
【００４６】
光源は照明源、例えば可視光源、赤外線源、紫外線源、Ｘ線源、ピンホール光源、可変アパーチャピンホール光源、符号化アパーチャピンホール光源、単一波長光源、反射源、レーダ源、および反射信号のゲーティング間隔によって画定される光源とすることができる。
【００４７】
光源に関し、本発明の実施形態の１つの可能な用途として蛍光顕微鏡がある。物体は蛍光染料を含有し、それは入射放射線を照射されると、他の波長のそれ自体の光を放出する。異なる波長は異なる変数として扱うことができる。
【００４８】
初期発生は、ランダムに選択された値を用いて行なうことができる。場合によっては、照明源の強度は可変であり、制御することができる。そのような場合、強度を定義するために、各光源にパラメータを使用することができる。
【００４９】
ここで図１Ｄを参照すると、それは図１Ｃの方法を実行するための装置を示す。装置は、第１組の多重化組み合わせ、一般的にランダムな組を発生させるように構成されたシーケンス発生器３０を備える。制約器３２はセンサ飽和に関して第１組を制約して、制約付きの組を生成する。反復修正器３４は、それぞれの強度とノイズとの間で最適値が見出されるまで、制約付きの組をノイズに関して修正する。最後に、測定手順を設定するために使用することのできる、あるいは出力／測定ユニット３６による測定で直接使用することのできる出力が生成される。
【００５０】
ここで図１Ｅを参照すると、それは明るさＣでＮ個の光源の場合の初期化プロセスを示す。最初に１組の多重化測定値Ｗｍ，ｓがランダムに生成される。各行はＣの和が得られるように正規化される。次いで、輝度制約条件すなわち無飽和が満たされるまで、要素を除去するループが続く。
【００５１】
図１Ｆは、以下でさらに詳述する最小化コアを示す。最小化コアでは、初期化手順から１組の多重化測定値を受け取るが、それは最適化にはほど遠い状態である。ノイズモデルが図３の超平面に投影されて図５を形成し、制約内すなわち図の陰影領域内でＷの最小化が行なわれる。１点が選択され、勾配が算出される。勾配を段階的に辿り、最小値が見出されるまで刻み幅が調整される。
【００５２】
図１Ｇは、その他が存在する全体的手順を示す。図１Ｆの最小化コアによって求められた最小値は、局所的最小値とすることができるので、結果が得られるたびに入力が摂動し、手順が繰り返される。反復からよりよい最小値が生じると、そのよりよい最小値が新しい最小値と設定される。この操作が設定された回数繰り返され、最後に残った最小値が大域的最小値とされる。
理論的背景
【００５３】
次に、上記手順について理論的観点から取り上げる。
多重化
Ｎ個の光源が様々な方向から物体を照明する構成を考慮する。ｉ＝（ｉ１，ｉ２，．．．，ｉＮ）ｔを特定の画素の１組の強度値とする。ここで各値はこの構成におけるいずれかの個別光源による照明に対応する。ここでｔは互換を表わす。
【００５４】
一般的に、幾つかの光源を同時に点灯させることができる（多重化）。しばしば多重化符号と呼ばれるＮ´Ｎ多重行列Ｗを定義する。そのｍ番目の行の各要素は、ｍ番目の測定値の対応する照明源のパワーを表わす。パワーはその最大値に対して相対的に測定され、０は光源が完全にオフであることを示し、１は完全に作動している光源を示す。各画素で取得される測定値はベクトル
ａ＝（ａ１，ａ２，．．．，ａＮ）ｔ．
によって表わされる。
【００５５】
上記の表記法を用いて、パワーは、
によって得られ、ここでυは測定ノイズである。このノイズに対するバイアスは補償されると仮定する。ノイズυはσ２ａの分散で異なる画素では相関しないと仮定する。
【００５６】
多重照明の下で画像が取得されると、それらを計算機で逆多重化して、単一光源照明下での画素値の推定値＾ｉを導出することができる。単一光源画像に対する平均２乗誤差（ＭＳＥ）の意味での最良の線形推定値は、次の通りである。
【００５７】
この推定量のＭＳＥは次の通りである。
【００５８】
上記の通りＭＳＥは、復元画像の期待ノイズ分散である。それが低ければ低いほど、ＳＮＲは良好である。ＳＮＲは期待＾ｉと√（ＭＳＥ＾ｉ）との間の比と定義される。多重化無しでは、Ｗは単位行列である（トリビアル検知：一度に単一光源だけがオンである）。多重化無しのＳＮＲに対し、多重化によって改善されるＳＮＲ
は多重化利得である。
【００５９】
ノイズメカニズム
多重化の効果を解析するために、最初に画像ノイズの発生源を理解する。本節では、アフィンノイズモデルについて簡単に概説する。アフィンノイズは、線形ラジオメトリック応答を有する高級検出器に存在する。ノイズは信号依存性および信号独立性の２つの成分に分割することができる。光子束にかかわらず、信号独立性ノイズは暗電流、増幅器ノイズ、およびカメラ回路構成の量子化器によって発生する。
【００６０】
信号独立性ノイズのグレーレベル分散をκ２ｇｒａｙで表わす。
【００６１】
【００６２】
ここで、Ｑｅｌｅｃｔｒは単位グレーレベルを変化させるために必要な光生成電子の個数である。一般的に、Ｑｅｌｅｃｔｒ＞＞１である。
【００６３】
式（５、６）を結合することにより、グレーレベルの分散が得られる。
【００６４】
信号非依存性ノイズと複合して、測定グレーレベルの全ノイズ分散は次のようになる。
【００６５】
ここで、拡散物体および物体を同様の方向から照明する光源について考察する。この場合、各光源は同様の物体放射輝度を生じ、したがって同様のレベルのノイズを生じる。各測定で、Ｃ個の光源を各々最大パワーで作動させる。式（８）を次のように書き直す。
【００６６】
ここでη２は、完全に点灯した単一光源からの物体放射照度によって誘発される光子ノイズ分散である。式（９）は、作動中の光源Ｃの個数のアフィン関数である。
【００６７】
ここで図２を参照すると、それは、０から４７の光源個数の関数としてのノイズ較正を示すグラフである。我々のシステムでは、ノイズ分散は、アフィンノイズモデルと一致して、作動中の光源数Ｃと共に線形的に増大する。さらに詳しくは、図２はＰｔＧｒｅｙ Ｄｒａｇｏｎｆｌｙカメラによって取得された原画像の平均ノイズ分散をプロットする。各測定で、Ｃ個の光源が作動した。１６ビット生データのダイナミックレンジはａ［０，６５５３５］グレーレベルである一方、σａ［７０，２２０］グレーレベルである。このプロットに直線を当てはめると、κ２ｇｒａｙおよびη２が得られる。
【００６８】
光子ノイズおよび多重化
周知の多重化符号はアダマール符号に基づく。その多重行列はＳ行列として知られる。したがってＣ＝（Ｎ＋１）／２である。この符号を用いて得られるＭＳＥは次の通りである。
式（９）をＣ＝（Ｎ＋１）／２と共に用いることにより、式（１０）から
が生じる。
【００６９】
光子ノイズが無視できるほど小さい特別な場合、すなわち
κ２ｇｒａｙ＞＞Ｃη２の場合、式（１０）は、
となり、対応するＳＮＲ利得は
となる。
【００７０】
したがって、そのようなシナリオでは、アダマール多重化は非常に有益である。Ｓ行列は最適であり、式（３）を最小化する。
【００７１】
他方、光子ノイズが目立つ場合には、
Ｃη２＞＞κ２ｇｒａｙとなる。この場合、式（１１）は、逆多重化された画像｛＾ｉ｝が単一光源捕捉によって得られた画像よりノイズが多いことを示している。Ｎ＞＞１の場合、ノイズ分散はこのプロセスによって２倍になる。理由は、光源の多重化によって信号が増大することにより、光子ノイズも増大するからである。
【００７２】
Ａ．Ｗｕｔｔｉｇの「Ｏｐｔｉｍａｌ ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ ｆｏｒ ｏｐｔｉｃａｌ ｍｕｌｔｉｐｌｅｘ ｍｅａｓｕｒｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｒｅｓｅｎｃｅ ｏｆ ｐｈｏｔｏｎ ｎｏｉｓｅ」（Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ，４４：２７１０‐２７１９、２００５）は、光子ノイズ下の多重化の問題を研究した。それは、式（５）のアフィンモデル下の多重化利得の一般式を次のように定式化した。
式中、
である。
ここで、
は、光子ノイズが考慮されない場合の多重化利得である。アフィンモデルが無効の場合、式１４において、Ｚは変化することがあることに留意されたい。
【００７３】
したがって、ノイズの所与の特性χに対し、式（１４）のＧは、Ｇ０を増加する一方Ｃを低減することによって最大になる。上記Ｗｕｔｔｉｇは、巡回バイナリ行列Ｗの組からＧを最適化する多重化符号を提案した。したがって、それらは一般的多重化行列ではない。さらに、完全シーケンスと呼ばれるこれらの符合は、非常に限定された組のＮおよびノイズパラメータに対してのみ存在する。χおよびΝのほとんどの値に対して、完全シーケンスは存在しない。
【００７４】
最適飽和多重化
飽和について考慮することによって考察を始める。物体は単一光源によって照明された場合、中程度に明るくなる場合があるが、多数の光源によって照明された場合、それは飽和状態になり得る。そうなったときに、例えばＳ行列を使用して多すぎる光原を多重化することは現実的ではない。
【００７５】
飽和に対抗するために露光時間を低減することができるが、そのような工程は回避すべきである。一般的に、各測定で作動する照明源の個数Ｃを低減する方が良い。これは、Ｃの制約条件に適合する新しい多重化符号の必要性を喚起する。
【００７６】
飽和現象が照明源の特定の識別性に影響されないと仮定する。飽和は、全照明放射輝度が閾値Ｃｓａｔを超えるときに発生すると考えられる。全ての光源が同様の物体放射輝度を生じる場合、Ｃｓａｔは光源の単位を表わし、上述のＣと同様である。
である場合、飽和は回避される。
【００７７】
全ての光源をそれらの最大強度の一部で作動させることができることを想起されたい。すなわち、
【００７８】
式（１６）を使用して、多重化利得Ｇ０の最適化問題を定式化する。本節では光子ノイズは考慮しない。したがって、ノイズの信号依存性はここでは使用されない。Ｇ０の最大化は、その逆数の２乗を最小化することに等しい。すなわち、
【００７９】
我々の問題に対する制約は式（１７、１８）から取られる。
【００８０】
したがって、最適化問題は次のようになる。
【００８１】
ここで、１１，Ｎはその要素が全て１である行ベクトルであり、ｗｍはＷのｍ番目の行である。ここで図３を参照すると、それは最適化タスクの２次元図である。陰影部はｗ１が制約を満たす領域である。
【００８２】
Ｃｓａｔ＞（Ｎ＋１）／２である場合、この問題は単純である。この場合、Ｓ行列に基づく符号が最適である。理由は、Ｃｓａｔ＞（Ｎ＋１）／２である場合、アダマール多重化で飽和が満たされないためである。したがって、この場合、アダマール符号の最適性が保たれる。
【００８３】
したがって我々はＣｓａｔ≦（Ｎ＋１）／２の場合に重点を置く。我々が実施したシミュレーションにより、式（２０）の局所的最小値が得られた。最良の最小値は、式（２１）が成立するときに生じた。これは、人間が全ての測定に対し最大放射輝度を使用することを好むことを主張することによって、直感的に説明することができる。この主張はノイズが信号独立性である場合に有効であることが注目される。より一般的に事例については、以下で考察する。したがって式（２１）は等式制約によって次のように置換される。
【００８４】
式（２４）にＣｓａｔを使用することにより、飽和状態での最適化が促進されるが、残りの作業に対しては、むしろＣを使用する方が良い。これは、定式化を後で光子ノイズに一般化することを可能にするために行われる。式（２４）は、単位法線ベクトルが（１／√Ｎ）Ｉｔ１，Ｎである超平面（図３参照）内にｗｍが存在しなければならないことを意味することに注目されたい。
【００８５】
最適光子制限照明
前節は飽和のみを考慮した。ここではこの手法を光子ノイズに対処するように敷延する。制約を前提として式（２０）の最適化問題を解くことにより、結果的に所与のＣに対する最適な照明行列Ｗ（Ｃ）が得られる。換言すると、信号独立性ノイズモデルの下でＷ（Ｃ）が最高利得Ｇ０を有する一方、１１，Ｎ・ｗｍが厳密にＣとなるように、Ｗ（Ｃ）の各行ｗｍの値が決定される。式（１４）は次いで一般アフィンノイズモデルの下でＧ０を多重化利得に変換する。Ｃ≧（Ｎ＋１）／２の場合についてチェックすることは無意味であることが注目される。今説明するように、所与のＮに対してそれらは確かに最適に及ばない。信号独立性ノイズで無飽和の場合、ＧはＳ行列によって最適化されることを想起されたい。（１４）から、Ｇ０が最適化される場合、Ｃを増加してもＧを劣化させるだけであるので、それは無意味であることも分かる。
【００８６】
χ２は、式（１５）に関連して上述した通り、較正から得ることができることを想起されたい。χ２およびＧ０（Ｗ（Ｃ））に基づき、式（１４）から多重化利得Ｇ（Ｃ）が得られる。
【００８７】
次にＣの値の範囲をスキャンする。各Ｃに対し、Ｗ（Ｃ）のみならずＧ（Ｃ）をも得る。我々のアルゴリズムによって得られた実際の結果について、この関数Ｇ（Ｃ）を図４にプロットする。プロットから、Ｇを最大化するＣの値を選択する。換言すると、このスキャンにより、光子ノイズを考慮して（式１４を介して）利得を最大化する測定毎の作動光源数、およびシステム固有のχが得られる。以上のことから次の手順が得られる。
１．システムを較正してχ２を求める。
２．１からＣｓａｔまでＣ値の範囲をスキャンする。Ｃの各値に対し、この後のステップ３および４を実行する。
３．式（２２、２３、２４）を前提として式（２０）を最適化する行列Ｗ（Ｃ）を求める。
４．式（１４、１６）を用いて期待多重化利得Ｇ（Ｃ）を算出する。
５．図４にある通り、Ｃｏｐｔ＝ａｒｇｍａｘＣＧ（Ｃ）とする。
６．所望の多重化符号はＷ（Ｃｏｐｔ）である。
【００８８】
上記ステップ２に関して、Ｇ（Ｃ）の網羅的検索の必要は無いことが注目される。Ｇ（Ｃ）は挙動良好であるので、効率的な最適化手順を組み込むことができる。
【００８９】
ノイズがアフィンでない場合、段階１の較正が異なり、かつ段階４で式１４のＺが異なることを除いて、最適化プロセスは同じであることが注目される。
【００９０】
最小化手順
次に、式（２０、２２、２３、２４）に掲げたシステムを解くための数値表について述べる。それは、投影勾配法に基づくコアから構成される。それはまた、局所的最小値を避けるように設計されたより高レベルの手順からも構成される。次のように定義する。
【００９１】
Ｗの関数としてＭＳＥを繰返し最小化する。最小化コアは投影勾配降下法に基づく。基本的ステップ毎に、Ｗは勾配によって更新される。
【００９２】
更新されたＷは次いで制約（１８）および（２４）に一度に１つずつ投影される。これを図５に示す。それは、最適化がいかにして局所的最小値で行き詰るか、あるいはいかにしてそれを回避するかを示す簡略図である。図５で、勾配降下法により点ｗｍから点ｗｕｎｃｏｎｓｔｍが求められる。後者は制約（２４）に投影され、ｗｐｒｏｊｍが得られる。勾配ｇｍが制約面に対して垂直である場合には、ｗｐｒｏｊｍ＝点ｗｍとなる。したがって最適化は局所的最小値で行き詰まる。
【００９３】
さらなる詳細は、下述する最小化コアの節に掲げる。
【００９４】
式（２０）のＭＳＥはＷのマルチモーダル関数である。したがって、コアは一般的に大域的最小値ではなく、局所的最小値に収束する。局所的最小値を避けるために、より高レベルのプロセスにコアを埋め込む。コアが局所的最小値に収束すると、下述の通り、Ｗは修正される。
【００９５】
次いで、コアは修正Ｗにより再初期化される。Ｗの特定の行は修正を受けることが防止されるので、最小化コアは局所的最小値で行き詰まる。この防止は、制約によって引き起こされる。
【００９６】
これを理解するために、式（２６）は決して零にならないことに注目されたい。実際、行列Ａの有効な逆元は決して零にすることができない。もしそれができるならば、矛盾が生じる。すなわち、Ａ−１Ａ＝１Ｎ×Ｎ＝０Ｎ×ＮＡとなる。ここで０Ｎ×ＮはＮ×Ｎの零行列である。
【００９７】
ゆえに、Ｋａｒｕｓｈ‐Ｋｕｈｎ‐Ｔｕｃｋｅｒ理論に従って、制約が成り立つときにＭＳＥの全ての極値が得られる。この理由により、局所的最小値は図５に示すように制約上に存在する行列の行によって生じる。他方、Ｗの他の行は自由に変化することができる。したがって最小化コアを停滞させる行を同定しようとする。
【００９８】
Ｗのｍ番目の行はｗｍである。勾配行列Γでそれに対応する行はｇｍである。ｇｍが１１，Ｎと並列の場合、それは、勾配のこの行が、図５に示す通り、制約面（２４）に垂直であることを意味する。これが該当する場合には、ｗｍはその投影と等しくなり、最小化コアは停滞する。ゆえに、Ｗの行ｍが停滞する充分条件は、ｇｍ‖１１，Ｎである。
【００９９】
上記条件は充分であるが、それは必ずしも必要条件ではない。次に、より広いクラスの停滞行について述べる。ｗｍがｗｍ，ｓ＝１または０となる要素ｓを有し、かつｗｍ−ｇｍがそれらを式（２２、２３）の境界を越えて移動させると想定する。これらの要素の指数の組をＳｏｖｅｒｆｌｏｗで表わす。ここで、行ベクトルを次のように定義する。
【０１００】
【０１０１】
ゆえに、それは、ｇｍでその指数がＳｏｖｅｒｆｌｏｗでない要素ｓからだけ構成される。
はｍ行の停滞の必要条件であることを示すことができる。
【０１０２】
アルゴリズムはコアの局所的最小値を検出するように意図されており、したがって次のようにそれを避ける。
１．下述する最小化コアを１回実行する。その出力多重化符号および対応するＭＳＥを使用して、Ｗ０およびＭＳＥｍｉｎを初期化する。
２．繰返し数に達するまで後続ステップ３、４、５を繰り返す。反復指数はｌである。
３．全てのｍ｛１，．．．，Ｎ｝に対し、式（２７）が保たれる場合、ｍ行は停滞として検出される。それをランダムな行ベクトルに置換する。この新しい行は（１８、２４）に適合し、Ａｐｐ．Ｂで記載する通り定式化される。
４．最小化コアを再び実行する。それをＷ（ｌ−１）によって初期化する。その出力はＷ（ｌ）のみならず、ＭＳＥ（ｌ）およびそれに対応する勾配Γ（ｌ）でもある。
【０１０３】
最小化コア
ここで図１Ｆに戻って説明する。以下で、最小化コアκは反復変数であり、着想はＷの関数としてＭＳＥを最小化するというものである。
１．ＮおよびＣが与えられると、初期行列Ｗ０を形成する（下の初期化を参照されたい）。初期行列Ｗ０は上記の制約（２２、２３、２４）に適合する。
２．｜ＭＳＥｋ−ＭＳＥｋ＋１｜＜ε（ここでεは予め定められた小閾値である）が達成されるまで、この後の段階３および４を繰り返す。
【０１０４】
最小化コアの初期化
ここで図１Ｅに戻って、次に初期行列Ｗ０の初期化手順について記載する。ｗｍ，ｓ ［０．１，０．９］ｍ，ｓをランダムに発生させる。これは、この段階で制約（２２、２３）を成立させることを回避する。次いで、Ｗ０の各行ｍを、その和がＣとなるように正規化する。式（１８）を侵害する要素は再発生され、次いで、式（１８、２４）が満たされるまで正規化プロセスが繰り返される。
【０１０５】
実験
新規の多重化符号を照明に適用することによって実証する。ＥＰＳＯＮ ＥＭＰ‐７８００プロジェクタで、白い拡散壁上に光パッチのパターンを形成した。これらのパッチによって反射した光は、観察される物体を照射する明確な光源として働いた。Ｄｒａｇｏｎｆｌｙカメラの露光時間は、１５Ｈｚフレームレートに対応する６３ミリ秒であった。それは、７ミリ秒の周期を有するプロジェクタの放射輝度ゆらぎを排除する。
【０１０６】
較正
ノイズ較正のために、Ｎ個の照明源のうちＣ個を単に点灯することによって、物体の画像を撮影した。各値のＣに対し、１０フレームのシーケンスを撮影した。このシーケンスからノイズ分散σ２ａ（ｘ，ｙ，Ｃ）を画素（ｘ，ｙ）毎に推定した。次いで、空間平均を取ることでσ２ａ（Ｃ）が得られた。このプロセスをある範囲のＣ値に対して繰り返した。その結果得られたσ２ａ（Ｃ）は一般的に、図２に示すアフィンノイズモデルと一致した。σ２ａ（Ｃ）のプロットからパラメータκｇｒａｙおよびηを抽出した。その結果、式（１５）からχが得られた。ゆえに、例えばＮ＝５７の光パッチ（光源）を用いる実験では、κｇｒａｙ＝４２．４のグレーレベル、η＝９．０［グレーレベル／光源］が得られ、したがってχ２＝０．０４５であった。
【０１０７】
多重化符号の構築
較正に続いて、多重化符号を調整した。我々のアルゴリズムは、これらのパラメータに対して、アダマール符号が存在せず、あるいはＷｕｔｔｉｇによって提案された行列のいずれかが存在する場合でも、任意の値のＮまたはχを処理することができる。この領域で、文献における競合符号の欠如は例外というよりむしろ常態であった。しかし、可能な場合、比較を行なうために、以下の実験では意図的に、競合符号が存在するＮおよびχの値を有する特殊な場合を選択した。
【０１０８】
ここで図６を参照すると、それは、現在説明している実験の過程で本発明の実施形態によって生成された多重化符号を示す。図６Ａは、｛Ｎ，Ｃ｝＝｛５７，２４｝の場合の多重化符号を示す。図６Ｂは、｛Ｎ，Ｃ｝＝｛４７，１２｝の場合の符号を示す。図中、黒の画素はｗｍ，ｓ＝０を表わす。白はｗｍ，ｓ＝１を表わす。中間値はグレーである。
【０１０９】
Ｎ＝５７の場合、図６Ａに示すＷ（Ｃｏｐｔ＝２４）を得た。Ｗｕｔｔｉｇは、χの我々の較正値を考慮して、使用すべき値としてＣ＝２０を得た。しかし、Ｗｕｔｔｉｇは、｛Ｎ，Ｃ｝＝｛５７，２０｝を有する多重化符号を得る方法を提供するものではない。むしろ、それは単に｛Ｎ，Ｃ｝＝｛５７，８｝をもたらすだけであり、それは最適ではなく、この特定の事例における競合符号であるにすぎない。
【０１１０】
Ｎ＝４７およびＮ＝１１について、アダマール符号（Ｓ行列）に対して性能を比較するための実験も行なった。実験セットアップにおけるＣｏｐｔのそれぞれの値は、Ｃｏｐｔ＝１２および５であった。｛Ｎ，Ｃ｝＝｛４７，１２｝に対応する行列を図６Ｂに示す。全ての場合に、トリビアル捕捉事例とみなすことのできる単位行列を用いて多重化することによって得られるものとも性能を比較した。
【０１１１】
測定
本実験は、各組の符号を使用してシーンを照明しながら、画像の組を取得した。各組の取得画像から、シーンをあたかも個別照明源によって照明されたかのように再構成した。ＭＳＥ＾ｉの経験的推定を容易化するために、この手順を１０回繰り返した。
【０１１２】
Ｎ＝５７の場合に、逆多重化された画像の例を図１に示す。対応するＭＳＥ＾ｉが図７にプロットされており、ここでそれを参照しながら説明する。図７は、Ｎ＝５７の場合に照明多重化画像を復号することによって得られたＭＳＥを示す。本実施形態の最適符号は、Ｗｕｔｔｉｇおよびトリビアル照明の符号の両方をしのぐ性能である。
【０１１３】
Ｎ＝４７の場合の逆多重化の比較例を図８Ａおよび８Ｂに示す。図８Ａは、単一光源下で撮影した画像を示す。｛Ｎ＝４７，Ｃ＝１２｝の多重化フレームから復号された同じシーンの画像を図８Ｂに示す。後者は、あたかも同じ単一光源によって照明されたかのように復号される。多重化符号は最適である。画像内の四角の印部分が各画像の右側に拡大されている。
【０１１４】
Ｎ＝１１およびＮ＝４７の場合の推定ＭＳＥ＾ｉが図９Ａおよび９Ｂにそれぞれ示される。画像のＭＳＥは照明多重化フレームから復号した。図９ＡはＮ＝１１の場合を示す。アダマール多重化は高グレーレベルでは逆効果になる。本発明の実施形態の多重化符号は、アダマール符号および単位（トリビアル）行列より優れている。図９Ｂで、アダマール事例は非飽和画素だけをプロットしている。
【０１１５】
競合符号が存在するこれらの稀な事例では、最良の多重化方式（最低出力ノイズ）は我々の方法によって作成されたものである。
【０１１６】
Ｎ＝４７を用いた実験は、アダマール符号の適用性における飽和の含意を実証する。この場合、単一光源照明は、原画の小さい部分（図８のソーダ缶）に明るいスポットを生成した。画像の大部分は暗い（１６ビットデータでグレースケールは１０００以下）が、ハイライトはダイナミックレンジを枯渇させた。この場合、飽和がアダマール符号の使用を禁止する。それにもかかわらず、我々はあえてアダマール符号を使用し、図９のプロットは非飽和画素だけを使用した。言うまでもなく、アダマール符号化照明によって飽和した画素では、データは役に立たなかった。しかし、これらの画素で、本発明の実施形態の符号によって飽和は回避された。
【０１１７】
概要
本発明の手法は、あらゆる所望の個数の光源Ｎおよび放射輝度阻害（飽和、光子ノイズ）に対し、最適な多重化符号をもたらす。符号が知られていない場合を含め、文献で報告された事例よりずっと一般的な事例に対してそうである。画像取得の基本的な物理的限界を考慮することによって、我々は、他の多重化符号が存在する場合でも、そのような符号より優れた結果を達成する。我々の研究は、物体照明以外で多重化を使用する多くの用途、例えばＸ線、分光法、符号化アパーチャ撮像等に適用することができる。例えばｙ補正されたカメラの非線形性を補償すると、アフィンノイズモデルに類似した放射輝度ノイズが誘発されることが示されている。したがって、ここで使用した形式はそのようなカメラに応用することができる。さらに、σａは多重化される光源のゆらぎに由来する乗法的成分を有することもあり得る。したがって、この効果も考慮する価値がある。
【０１１８】
用語「含む／備える（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ、ｉｎｃｌｕｄｅｓ、ｉｎｃｌｕｄｉｎｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、およびそれらの同根語は、「含むが、それらに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」ことを意味する。この用語は、「からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」および「から本質的になる（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」を包含する。
【０１１９】
本明細書中で使用される場合、単数形態（「ａ」、「ａｎ」および「ｔｈｅ」）は、文脈がそうでないことを明確に示さない限り、複数の参照物を包含する。
【０１２０】
明確にするため別個の実施形態で説明されている本発明の特定の特徴は単一の実施形態に組み合わせて提供することもできることは分かるであろう。逆に、簡潔にするため単一の実施形態で説明されている本発明の各種の特徴は別個にまたは適切なサブコンビネーションで、あるいは本発明の他の記載される実施形態において好適なように提供することもできる。種々の実施形態の文脈において記載される特定の特徴は、その実施形態がそれらの要素なしに動作不能である場合を除いては、それらの実施形態の不可欠な特徴であると見なされるべきではない。
【０１２１】
本発明はその特定の実施態様によって説明してきたが、多くの別法、変更および変形があることは当業者には明らかであることは明白である。従って、本発明は、本願の請求項の精神と広い範囲の中に入るこのような別法、変更および変形すべてを包含するものである。
【０１２２】
本明細書中で挙げた刊行物、特許および特許出願はすべて、個々の刊行物、特許および特許出願が各々あたかも具体的にかつ個々に引用提示されているのと同程度に、全体を本明細書に援用するものである。さらに、本願で引用または確認したことは本発明の先行技術として利用できるという自白とみなすべきではない。節の見出しが使用されている程度まで、それらは必ずしも限定であると解釈されるべきではない。
【特許請求の範囲】
【請求項１】
強度を有しかつノイズを免れない予め定められた個数の光源、および飽和を免れない少なくとも１つのセンサを使用して、関連する値の測定を多重化するための方法であって、前記多重化が前記光源の複数の異なる組み合わせの下で前記関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
前記第１組を前記飽和に関して制約するステップと、
それぞれの強度とノイズとの間のバランスが見出されるまで前記第１組を前記ノイズに関して修正するステップと、
前記修正された組に従って前記光源を多重化することによって前記変数を測定するステップと
を含む方法。
【請求項２】
前記バランスは最適化を含む、請求項１に記載の方法。
【請求項３】
前記最適化は、平均２乗誤差および加重平均２乗誤差を含む距離関数の任意の１構成要素を最小化することを含む、請求項２に記載の方法。
【請求項４】
ノイズモデルを用いて前記センサノイズをモデル化することを含む、請求項１に記載の方法。
【請求項５】
前記制約を有する前記ノイズモデルをグラフ上に投影して、超平面を形成することを含む、請求項１に記載の方法。
【請求項６】
前記最適化は前記超平面内で最小値を求めることを含む、請求項５に記載の方法。
【請求項７】
前記超平面内で最小値を求めることは、第１最小値に達するまで前記超平面内を歩進的に移動し、次いでより大きい最小値を求めるために前記歩進を繰返し摂動させ、それによって大域的最小値に達することを含む、請求項５に記載の方法。
【請求項８】
前記光源は照明源である、請求項１に記載の方法。
【請求項９】
前記照明源は、可視光源、赤外線源、紫外線源、Ｘ線源、ピンホール光源、空間的ピンホール、スロット、時間的スロット、可変アパーチャピンホール光源、符号化アパーチャピンホール光源、単一波長光源、反射源、レーダ源、および反射信号のゲーティング間隔によって画定される光源から構成される群のいずれか１つである、請求項８に記載の方法。
【請求項１０】
前記第１組を発生させることは、ランダム値を使用することを含む、請求項１に記載の方法。
【請求項１１】
それぞれの光源の強度は可変であり、前記第１組の発生および修正は両方とも、光源の強度値を定義することを含む、請求項１に記載の方法。
【請求項１２】
前記第１組を実数値域、非負数域、およびバイナリ域から構成される域群のいずれかの構成要素に制約することをさらに含む、請求項１に記載の方法。
【請求項１３】
強度を有しかつノイズを免れない予め定められた個数の光源、および飽和を免れない少なくとも１つのセンサを使用して、関連する値の測定を多重化するための方法であって、前記多重化が前記光源の複数の異なる組み合わせの下で前記関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
前記第１組を前記飽和に関して制約するステップと、
それぞれの強度とノイズとの間で最適値が見出されるまで前記第１組を前記ノイズに関して修正するステップと、
前記光源を多重化することによって前記変数を測定するための測定シーケンスとして、前記修正された組を出力するステップと
を含む方法。
【請求項１４】
それぞれの波長強度を有しかつノイズを免れない予め定められた個数の波長光源、および飽和を免れない少なくとも１つのセンサを使用して、関連する値の測定を多重化するための方法であって、前記多重化が前記光源の複数の異なる組み合わせの下で前記関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
前記第１組を前記飽和に関して制約するステップと、
それぞれの強度とノイズとの間で最適値が見出されるまで前記第１組を前記ノイズに関して修正するステップと、
前記修正された組に従ってフィルタを作動させて前記光源を多重化するステップと
を含む方法。
【請求項１５】
前記フィルタは前記組に従って構成された固定フィルタである、請求項１４に記載の方法。
【請求項１６】
前記フィルタはチューナブルフィルタであり、作動は前記組に従ってチューナブルフィルタを調整することを含む、請求項１４に記載の方法。
【請求項１７】
前記チューナブルフィルタは、チューナブル分光フィルタ、音響光学チューナブルフィルム、および液晶チューナブル分光フィルタから構成される群のいずれかの構成要素である、請求項１６に記載の方法。
【請求項１８】
前記作動は、調整可能な入力を有する分散素子、または調整可能な出力を有する分散素子を使用することを含む、請求項１４に記載の方法。
【請求項１９】
強度を有しかつノイズを免れない予め定められた個数の光源、および飽和を免れない少なくとも１つのセンサを使用して、関連する値の測定を多重化するための方法であって、前記多重化が前記光源の複数の異なる組み合わせの下で前記関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
それぞれの強度とノイズとの間で最適値が見出されるまで前記第１組を前記ノイズに関して修正するステップと、
前記修正された組に従って前記光源を多重化することによって前記変数を測定するステップと
を含む方法。
【請求項２０】
強度を有しかつノイズを免れない予め定められた個数の光源、および飽和を免れない少なくとも１つのセンサを使用して、関連する値の測定を多重化するための方法であって、前記多重化が前記光源の複数の異なる組み合わせの下で前記関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
前記第１組を前記飽和に関して制約するステップと、
前記修正された組に従って前記光源を多重化することによって前記変数を測定するステップと
を含む方法。
【請求項２１】
強度を有しかつノイズを免れない予め定められた個数の光源、および飽和を免れない少なくとも１つのセンサを使用して、関連する値の測定を多重化するための装置であって、前記多重化が前記光源の複数の異なる組み合わせの下で前記関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるように構成されたシーケンス発生器と、
前記第１組を前記飽和に関して制約するように構成された制約器と、
それぞれの強度とノイズとの間で最適値が見出されるまで前記第１組を前記ノイズに関して修正するように構成された反復修正器と、
前記修正された組に従って前記光源を多重化することによって前記変数を測定するように構成された測定ユニットと
を備えた装置。
【請求項１】
強度を有しかつノイズを免れない予め定められた個数の光源、および飽和を免れない少なくとも１つのセンサを使用して、関連する値の測定を多重化するための方法であって、前記多重化が前記光源の複数の異なる組み合わせの下で前記関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
前記第１組を前記飽和に関して制約するステップと、
それぞれの強度とノイズとの間のバランスが見出されるまで前記第１組を前記ノイズに関して修正するステップと、
前記修正された組に従って前記光源を多重化することによって前記変数を測定するステップと
を含む方法。
【請求項２】
前記バランスは最適化を含む、請求項１に記載の方法。
【請求項３】
前記最適化は、平均２乗誤差および加重平均２乗誤差を含む距離関数の任意の１構成要素を最小化することを含む、請求項２に記載の方法。
【請求項４】
ノイズモデルを用いて前記センサノイズをモデル化することを含む、請求項１に記載の方法。
【請求項５】
前記制約を有する前記ノイズモデルをグラフ上に投影して、超平面を形成することを含む、請求項１に記載の方法。
【請求項６】
前記最適化は前記超平面内で最小値を求めることを含む、請求項５に記載の方法。
【請求項７】
前記超平面内で最小値を求めることは、第１最小値に達するまで前記超平面内を歩進的に移動し、次いでより大きい最小値を求めるために前記歩進を繰返し摂動させ、それによって大域的最小値に達することを含む、請求項５に記載の方法。
【請求項８】
前記光源は照明源である、請求項１に記載の方法。
【請求項９】
前記照明源は、可視光源、赤外線源、紫外線源、Ｘ線源、ピンホール光源、空間的ピンホール、スロット、時間的スロット、可変アパーチャピンホール光源、符号化アパーチャピンホール光源、単一波長光源、反射源、レーダ源、および反射信号のゲーティング間隔によって画定される光源から構成される群のいずれか１つである、請求項８に記載の方法。
【請求項１０】
前記第１組を発生させることは、ランダム値を使用することを含む、請求項１に記載の方法。
【請求項１１】
それぞれの光源の強度は可変であり、前記第１組の発生および修正は両方とも、光源の強度値を定義することを含む、請求項１に記載の方法。
【請求項１２】
前記第１組を実数値域、非負数域、およびバイナリ域から構成される域群のいずれかの構成要素に制約することをさらに含む、請求項１に記載の方法。
【請求項１３】
強度を有しかつノイズを免れない予め定められた個数の光源、および飽和を免れない少なくとも１つのセンサを使用して、関連する値の測定を多重化するための方法であって、前記多重化が前記光源の複数の異なる組み合わせの下で前記関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
前記第１組を前記飽和に関して制約するステップと、
それぞれの強度とノイズとの間で最適値が見出されるまで前記第１組を前記ノイズに関して修正するステップと、
前記光源を多重化することによって前記変数を測定するための測定シーケンスとして、前記修正された組を出力するステップと
を含む方法。
【請求項１４】
それぞれの波長強度を有しかつノイズを免れない予め定められた個数の波長光源、および飽和を免れない少なくとも１つのセンサを使用して、関連する値の測定を多重化するための方法であって、前記多重化が前記光源の複数の異なる組み合わせの下で前記関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
前記第１組を前記飽和に関して制約するステップと、
それぞれの強度とノイズとの間で最適値が見出されるまで前記第１組を前記ノイズに関して修正するステップと、
前記修正された組に従ってフィルタを作動させて前記光源を多重化するステップと
を含む方法。
【請求項１５】
前記フィルタは前記組に従って構成された固定フィルタである、請求項１４に記載の方法。
【請求項１６】
前記フィルタはチューナブルフィルタであり、作動は前記組に従ってチューナブルフィルタを調整することを含む、請求項１４に記載の方法。
【請求項１７】
前記チューナブルフィルタは、チューナブル分光フィルタ、音響光学チューナブルフィルム、および液晶チューナブル分光フィルタから構成される群のいずれかの構成要素である、請求項１６に記載の方法。
【請求項１８】
前記作動は、調整可能な入力を有する分散素子、または調整可能な出力を有する分散素子を使用することを含む、請求項１４に記載の方法。
【請求項１９】
強度を有しかつノイズを免れない予め定められた個数の光源、および飽和を免れない少なくとも１つのセンサを使用して、関連する値の測定を多重化するための方法であって、前記多重化が前記光源の複数の異なる組み合わせの下で前記関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
それぞれの強度とノイズとの間で最適値が見出されるまで前記第１組を前記ノイズに関して修正するステップと、
前記修正された組に従って前記光源を多重化することによって前記変数を測定するステップと
を含む方法。
【請求項２０】
強度を有しかつノイズを免れない予め定められた個数の光源、および飽和を免れない少なくとも１つのセンサを使用して、関連する値の測定を多重化するための方法であって、前記多重化が前記光源の複数の異なる組み合わせの下で前記関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるステップと、
前記第１組を前記飽和に関して制約するステップと、
前記修正された組に従って前記光源を多重化することによって前記変数を測定するステップと
を含む方法。
【請求項２１】
強度を有しかつノイズを免れない予め定められた個数の光源、および飽和を免れない少なくとも１つのセンサを使用して、関連する値の測定を多重化するための装置であって、前記多重化が前記光源の複数の異なる組み合わせの下で前記関連する値の各々を測定することを含み、
第１組の多重化組み合わせを発生させるように構成されたシーケンス発生器と、
前記第１組を前記飽和に関して制約するように構成された制約器と、
それぞれの強度とノイズとの間で最適値が見出されるまで前記第１組を前記ノイズに関して修正するように構成された反復修正器と、
前記修正された組に従って前記光源を多重化することによって前記変数を測定するように構成された測定ユニットと
を備えた装置。
【図１Ｃ】
【図１Ｄ】
【図１Ｅ】
【図１Ｆ】
【図１Ｇ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１Ａ−Ｂ】
【図８】
【図１Ｄ】
【図１Ｅ】
【図１Ｆ】
【図１Ｇ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１Ａ−Ｂ】
【図８】
【公表番号】特表２０１０−５２１６６４（Ｐ２０１０−５２１６６４Ａ）
【公表日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願番号】特願２００９−５５３２８０（Ｐ２００９−５５３２８０）
【出願日】平成２０年３月１３日（２００８．３．１３）
【国際出願番号】ＰＣＴ／ＩＬ２００８／０００３５２
【国際公開番号】ＷＯ２００８／１１１０７６
【国際公開日】平成２０年９月１８日（２００８．９．１８）
【出願人】（５０４１２７６４７）テクニオン リサーチ アンド ディベロップメント ファウンデーション リミテッド (20)
【Ｆターム（参考）】
【公表日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願日】平成２０年３月１３日（２００８．３．１３）
【国際出願番号】ＰＣＴ／ＩＬ２００８／０００３５２
【国際公開番号】ＷＯ２００８／１１１０７６
【国際公開日】平成２０年９月１８日（２００８．９．１８）
【出願人】（５０４１２７６４７）テクニオン リサーチ アンド ディベロップメント ファウンデーション リミテッド (20)
【Ｆターム（参考）】
[ Back to top ]