高密度の確率的サンプリング撮像のシステムおよび方法
本発明の実施形態は、撮像技術を対象とし、詳細には、時間とともに比較的弱い信号を検出し、検出された信号を使用して信号発光体の位置を判定する撮像システムを対象とする。本発明の特定の実施形態は、光学顕微鏡法に関連する回折限界の解像度より著しく大きい解像度で試料の画像を作り出すために蛍光体標識付きの試料を撮像する方法およびシステムを対象とする。本発明の実施形態は、重複する発光体画像の曖昧性除去を用いて、高密度に構成された発光体からデータを収集することができ、それによって、中間画像を作り出すためのデータ収集時間、ならびに高解像度の最終画像を演算的に構築するのに必要な中間画像の数を著しく低減させる。本発明の追加の実施形態は、階層的な画像処理技法を用いて、曖昧性を除去された画像をさらに解像および解釈する。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、２００９年１２月２３日出願の仮出願第６１／２８９，９１６号の利益を主張する。
【０００２】
本発明は、撮像技術に関し、詳細には、時間とともに比較的弱い信号を検出し、検出された信号を使用して信号発光体の位置を判定する撮像システムに関する。
【背景技術】
【０００３】
現在の科学研究では、小さい物体または遠くの物体の画像を獲得するには、極めて高解像度の電子顕微鏡、極めて高解像度の走査型トンネル（「ＳＴＭ」）、および原子間力（「ＡＦＭ」）撮像機器、ならびに多くの異なるタイプの光学顕微鏡、望遠鏡、および画像生成センサを含めて、多くの異なるタイプの撮像システムが用いられる。大部分のタイプの撮像デバイス、機器、および技法と同様に、異なるタイプの顕微鏡法に関連して、多くの異なる妥協および兼合いが存在する。たとえば、透過電子顕微鏡法は、固定されて薄く切断された試料上で実施され、したがって本質的に２次元の非生物試料上での使用に制約される。走査型トンネルおよび原子間力顕微鏡法は、材料の表面の高解像度の画像を得るための非光学技法であるが、表面より下の大量の試料のナノスケールまたはマイクロスケールの内容に関する情報を得るために使用することはできない。すべてのタイプの顕微鏡法は、解像度の制限によって何らかの形で制約されるが、光学顕微鏡法は、「回折限界」と呼ばれるおそらく最もよく知られている解像度の制限に関連する。回折限界は、従来の可視光による光学顕微鏡法を、約２００ｎｍという解像限界に制限する。
【０００４】
過去２０年間、光学蛍光顕微鏡機器によって、従来の光学顕微鏡法に対する回折限界の解像度を著しく下回る解像度で、蛍光標識付きの試料、ほとんどの場合は生体試料の撮像を可能にするために、様々な超解像技法が開発されてきた。これらの技法は、蛍光体標識付きの試料から放射される蛍光を時間とともに収集することに基づく。発光する蛍光体が約２００ｎｍより大きい距離だけ互いから分離されるという条件で、または言い換えれば、試料内の蛍光体の位置が従来の光学顕微鏡法によって解像可能なはずであるという条件で、試料内の蛍光体の位置は、特定の場合、１０ｎｍ未満の解像度まで判定することができる。しかし、蛍光性の発光信号は、発光する蛍光体が試料内でまばらに構成されるときのみ解釈できるため、蛍光体標識付き物体の超解像の最終画像を構築するには、まばらに構成された蛍光体の異なるセットから、通常多数の中間画像を作り出す必要がある。したがって、超解像の画像は、比較的弱い信号を蓄積して多数の中間画像を作り出すのに必要な時間を犠牲にして得られる。超解像の撮像に必要な時間は、超解像の画像が構築される比較的弱い信号を収集するのに必要な期間にわたって動き、かつ形状を変化させる傾向のある生細胞の撮像には好ましくない。比較的弱い信号を収集するのに必要な期間が長い結果、紫外光を含む有害または致命的なレベルの電磁放射に生細胞が露出されることもある。また、撮像される試料のタイプにかかわらず、超解像の撮像に十分なデータを獲得するのに必要な時間は、相当な実験上の制約になることもある。上記すべての理由のため、超解像撮像の方法論および機器類を設計および開発、製造、ならびに使用する者は、現在利用可能な超解像の方法論および機器類より少ない時間および試料準備上の制約を伴う新しく改善された方法論および機器類を探求し続けている。
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明の実施形態は、撮像技術を対象とし、詳細には、時間とともに比較的弱い信号を検出し、検出された信号を使用して信号発光体の位置を判定する撮像システムを対象とする。本発明の特定の実施形態は、光学顕微鏡法に関連する回折限界の解像度より著しく大きい解像度で試料の画像を作り出すために蛍光体標識付きの試料を撮像する方法およびシステムを対象とする。本発明の実施形態は、重複する発光体画像の曖昧性除去を用いて、高密度に構成された発光体からデータを収集することができ、それによって、中間画像を作り出すためのデータ収集時間、ならびに高解像度の最終画像を演算的に構築するのに必要な中間画像の数を著しく低減させる。本発明の追加の実施形態は、階層的な画像処理技法を用いて、曖昧性を除去された画像をさらに改良および解釈する。
【図面の簡単な説明】
【０００６】
【図１】図１Ａは、典型的な光学顕微鏡を示す図である。図１Ｂは、典型的な光学顕微鏡を示す図である。
【図２】図２Ａは、生体試料の可視光による光学顕微鏡撮像に関連する撮像上の問題を示す図である。図２Ｂは、生体試料の可視光による光学顕微鏡撮像に関連する撮像上の問題を示す図である。
【図３】図３Ａは、緑色蛍光蛋白質（「ＧＦＰ」）の特性を示す図である。図３Ｂは、緑色蛍光蛋白質（「ＧＦＰ」）の特性を示す図である。
【図４】中性型とアニオン型の間のＧＦＰ蛍光体の相互変換を示す図である。
【図５】図５Ａは、ＧＦＰおよびＧＦＰ＊の吸収曲線および放射曲線を示す図である。図５Ｂは、ＧＦＰおよびＧＦＰ＊の吸収曲線および放射曲線を示す図である。
【図６】図６Ａは、蛍光顕微鏡法で使用される様々な異なる蛋白質および化学蛍光体に対して観察される様々なタイプの吸収特性および放射特性を示す図である。図６Ｂは、蛍光顕微鏡法で使用される様々な異なる蛋白質および化学蛍光体に対して観察される様々なタイプの吸収特性および放射特性を示す図である。図６Ｃは、蛍光顕微鏡法で使用される様々な異なる蛋白質および化学蛍光体に対して観察される様々なタイプの吸収特性および放射特性を示す図である。
【図７】蛍光顕微鏡内の光路を示す図である。
【図８】図８Ａは、蛍光顕微鏡法によって生体試料に対して得られる大きいコントラストを示す図である。図８Ｂは、蛍光顕微鏡法によって生体試料に対して得られる大きいコントラストを示す図である。
【図９】標準的な光学顕微鏡または蛍光顕微鏡などの光学系の抽象的な図である。
【図１０】光学撮像に対する数学的モデルを示す図である。
【図１１】光学撮像に対する数学的モデルを示す図である。
【図１２】光学撮像に対する数学的モデルを示す図である。
【図１３】図１２を参照して論じるインパルス応答関数ｈ（ｘ，ｙ；ｘ’，ｙ’）の特性を示す図である。
【図１４】図１２を参照して論じるインパルス応答関数ｈ（ｘ，ｙ；ｘ’，ｙ’）の特性を示す図である。
【図１５】図１２を参照して論じるインパルス応答関数ｈ（ｘ，ｙ；ｘ’，ｙ’）の特性を示す図である。
【図１６】図１２を参照して論じるインパルス応答関数ｈ（ｘ，ｙ；ｘ’，ｙ’）の特性を示す図である。
【図１７】光学系へ入力される画像およびその光学系に対するインパルス応答関数から光学系の出力画像を算出するための、図１２を参照して上記で論じた畳み込みに基づく数学的モデルを示す図である。
【図１８】光学系へ入力される画像およびその光学系に対するインパルス応答関数から光学系の出力画像を算出するための、図１２を参照して上記で論じた畳み込みに基づく数学的モデルを示す図である。
【図１９】光学顕微鏡法に関連する回折限界を示す図である。
【図２０】図２０Ａは、超解像の顕微鏡法の基本を示す図である。図２０Ｂは、超解像の顕微鏡法の基本を示す図である。
【図２１】現在実施されている超解像の蛍光顕微鏡法を示す図である。
【図２２】現在実施されている超解像の撮像技法について説明する制御流れ図である。
【図２３】本発明の一実施形態である高密度の確率的サンプリング撮像（「ＤＳＳＩ」）について説明する制御流れ図である。
【図２４Ａ】本発明の一実施形態によって用いられる、図２３のステップ２３０８で呼び出される「重複する発光体画像の曖昧性の除去」ルーチンの制御流れ図である。
【図２４Ｂ】本発明の一実施形態によって用いられる、「重複する発光体画像の曖昧性の除去」ルーチンによって呼び出される「混合モデルの適用」ルーチンの制御流れ図である。
【図２５】本発明の一実施形態による、重複する発光体画像の曖昧性を除去する際に使用される様々なステップを示す図である。
【図２６】本発明の一実施形態による、重複する発光体画像の曖昧性を除去する際に使用される様々なステップを示す図である。
【図２７】本発明の一実施形態による、重複する発光体画像の曖昧性を除去する際に使用される様々なステップを示す図である。
【図２８】本発明の一実施形態による、重複する発光体画像の曖昧性を除去する際に使用される様々なステップを示す図である。
【図２９】本発明の一実施形態による、重複する発光体画像の曖昧性を除去する際に使用される様々なステップを示す図である。
【図３０Ａ】本発明の一実施形態による、図２３のステップ２３１３および２３１４で実施されるプロセスを示す図である。
【図３０Ｂ】本発明の一実施形態による、図２３のステップ２３１３および２３１４で実施されるプロセスを示す図である。
【図３０Ｃ】本発明の一実施形態による、図２３のステップ２３１３および２３１４で実施されるプロセスを示す図である。
【図３０Ｄ】本発明の一実施形態による、図２３のステップ２３１３および２３１４で実施されるプロセスを示す図である。
【図３１】本発明の一実施形態による、図２３の階層的な演算画像処理ステップ２３１３について説明する制御流れ図である。
【図３２】本発明の一実施形態による、図２３の階層的な演算画像処理ステップ２３１３について説明する制御流れ図である。
【図３３】本発明の一実施形態による、図２３の階層的な演算画像処理ステップ２３１３について説明する制御流れ図である。
【図３４】本発明の一実施形態である撮像システム内で画像処理ステップを実行する典型的な電子コンピュータを示す図である。
【発明を実施するための形態】
【０００７】
本発明の実施形態は、撮像技術を対象とし、詳細には、時間とともに比較的弱い信号を検出し、検出された信号を使用して信号発光体の位置を判定する撮像システムを対象とする。以下の議論では、従来の光学顕微鏡のいわゆる回折限界の解像度より大きい解像度で試料、特に生体試料を撮像する方法および機器類を対象とする本発明の実施形態は、本発明について説明するための文脈として働く。しかし、本発明の代替実施形態は、多くの他の撮像適用分野を対象とする。本発明の実施形態は、重複する発光体画像の曖昧性を除去するため、幾何学的要素を画像へ階層的に適合させて生画像をさらに改良するため、そして画像を解釈するために、以下でより詳細に論じる様々な演算画像処理方法論を用いる。
【０００８】
図１Ａ〜Ｂは、典型的な光学顕微鏡を示す。図１Ａは、光学顕微鏡１０２の外観を示し、図１Ｂは、典型的な光学顕微鏡内の光路１０４を示す。光学顕微鏡は、土台１０６および垂直支持部１０８を含み、土台１０６と垂直支持部１０８はともに、光源１１０と、試料台１１２と、多数の回転可能に取り付けられた対物レンズ１１４と、２つの接眼鏡１１６および１１８それぞれの中の１つまたは複数の接眼レンズとを支持する。試料は通常、ガラススライド上に配置され、ガラススライドは、観察のために試料台１１２の上部表面に取り付けられる。対物レンズと試料の間の距離は、試料内で特定の水平平面を光学的に集束させるように、焦点つまみ１２０によって調整することができる。顕微鏡内では、光学的光路は、光源１２６によって放射される光を含む。この光は、試料、１つまたは複数の対物レンズ１２８、１つまたは複数の結像レンズ、１つまたは複数の接眼レンズ１３０を通過し、人間の目、カメラ、電荷結合デバイス検出器（「ＣＣＤ」）、または他のタイプの空間強度検出器内の画像平面１３２上へレンズ系によって集束される。
【０００９】
図２Ａ〜Ｂは、生体試料の可視光による光学顕微鏡撮像に関連する撮像上の問題を示す。図２Ａは、生体試料２０２内の物体平面の概念化された抽象的な円板状部分を示す。物体平面のこの部分は、様々な異なるタイプのマイクロスケールおよびマイクロスケール以下の細胞構造２０４〜２１５を含む。これらの構造は、様々な内部の細胞小器官、細胞内の膜、および他のそのような細胞成分を含むことができる。異なる細胞成分は、異なる機能および化学組成を有することができるが、通常は類似の光学特性を有し、したがって、図２Ｂに示すように、従来の光学顕微鏡法を使用して見ると、互いに比較的画一的に見え、背景から区別できないことが多い。異なるタイプの細胞成分間のコントラストを改善するために、顕微鏡使用者は、異なる成分によって異なる形で吸収される様々な化学着色料で生体試料を着色することが多い。しかし、多くの異なるタイプの成分は、着色した後でも互いに区別できないままであり、より重要なのは、着色料が通常、細胞に有毒であり、着色および固定プロセスが通常、生物組織の細胞を死滅させることを伴うことである。
【００１０】
より最近、蛍光顕微鏡法および機器類は、図２Ａ〜Ｂを参照して上記で論じた問題を含めて、従来の光学顕微鏡法に関連する撮像上の問題のいくつかに対処するように開発されてきた。蛍光顕微鏡法は、緑色蛍光蛋白質（「ＧＦＰ」）、ならびに関連する生物学的および化学的蛍光体の発見および活用によって、著しく進化してきた。緑色蛍光蛋白質とは、最初はオワンクラゲから分離された、２３８個のアミノ酸（２６．９ｋＤａ）の蛋白質である。図３Ａ〜Ｂは、緑色蛍光蛋白質（「ＧＦＰ」）の特性を示す。図３Ａの立体画像は、ＧＦＰのβバレル３次元構造を示す。βバレルの内部では、ＧＦＰの複数のアミノ酸単量体サブユニットの側鎖が組み合わさって、蛍光体を作り出す。この蛍光体の化学構造を、図３Ｂに示す。図３Ａでは、指向されたリボンによって表されるＧＦＰβバレル内の球棒モデルとして蛍光体を示す。
【００１１】
図４は、中性型とアニオン型の間のＧＦＰ蛍光体の相互変換を示す。ＧＦＰ内の蛍光体が中性型であるとき、このＧＦＰは活性化されておらず、以下の議論では、「ＧＦＰ」と呼ぶ。ＧＦＰ内の蛍光体がアニオン型４０４であるとき、このＧＦＰは活性化されており、「ＧＦＰ＊」と呼ぶ。図５Ａ〜Ｂは、ＧＦＰおよびＧＦＰ＊に対する吸収曲線および放射曲線を示す。図５Ａと図５Ｂではどちらも、吸収または放射された光の波長に対する吸収曲線および放射曲線を水平軸５０２および５０４上に示し、垂直軸５０６および５０８は、相対的な吸収率および相対的な放射率を表す。図５Ａ〜Ｂの吸収率曲線は、実線の曲線５１０および５１２であり、放射率曲線は、破線の曲線５１４および５１６である。図５Ａは、主にＧＦＰであるが比較的少量のＧＦＰ＊も含有する平衡混合物に対する相対的な吸収率および相対的な放射率を示し、そのような平衡混合物は、照射前のＧＦＰ溶液の状態を表す。この吸収率曲線は双峰形であり、大きいピーク５２０は３９５ｎｍであり、低い方のピーク５２２は４７５ｎｍである。この双峰形の吸収ピークは、ＧＦＰとＧＦＰ＊の平衡混合物に対応すると考えられる。極大吸収率が３９５ｎｍであるＧＦＰによって光が吸収されることで、ＧＦＰをＧＦＰ＊に変換し、ＧＦＰ＊は、放射曲線のピーク５２２に対応する５０８ｎｍの極大放射率で蛍光を放射する。平衡混合物中により少ない量だけ存在するＧＦＰ＊は、波長４７５ｎｍの光を極大まで吸収し、５０３ｎｍの極大放射率で蛍光を放射する。ＧＦＰが、ある期間にわたって３９５ｎｍの光によって強く照射されると、ＧＦＰの大部分は、ＧＦＰ＊に変換される。その後、溶液の吸収率プロファイルは、図５Ｂに示すものに変化し、単一の支配的な吸収ピーク５２６は、ＧＦＰ＊による最大吸収の波長に対応して４７５ｎｍになる。したがって、本質的に２つの異なる状態のＧＦＰが存在する。活性化されていない状態であるＧＦＰは、３９５ｎｍで光を極大まで吸収し、５０８ｎｍで蛍光を極大まで放射するが、活性化されたＧＦＰであるＧＦＰ＊は、波長４７５ｎｍの光を極大まで吸収し、波長５１０ｎｍの蛍光を極大まで放射する。
【００１２】
ＧＦＰに対する遺伝子は、ＧＦＰ蛍光体で蛋白質に標識付けするために、有機体の特定の蛋白質成分を符号化する遺伝子内へ接合することができる。標準的な分子生物学的な技法を使用することによって、科学者は、個々の蛋白質ならびに個々の蛋白質含有細胞成分および構造に、精密に蛍光標識を付けることができる。重要なのは、細胞を死滅させたり、正常の細胞機能を乱したりすることなく、生細胞内へＧＦＰ蛍光体標識を導入できることである。したがって、生物組織の蛍光体標識付けおよび蛍光顕微鏡法は、図２Ａ〜Ｂを参照して論じた撮像上の問題、ならびに生体試料内のコントラストを増大させるために使用される化学着色料および他の技法に関連する問題に対処する方法およびシステムを提供する。
【００１３】
ＧＦＰの発見以来、異なる吸収および放射特性を有する多数のＧＦＰ変異体が開発されており、また蛍光顕微鏡法で使用するために、他の蛍光性蛋白質および化学蛍光体が発見および／または活用されてきた。図６Ａ〜Ｃは、蛍光顕微鏡法で使用される様々な異なる蛋白質および化学蛍光体に対して観察される様々なタイプの吸収特性および放射特性を示す。図６Ａ〜Ｃでは、蛍光体を「Ｆ」の記号で表す。非蛍光性の形態の蛍光体を、「ＦＤ」と呼ぶ。脱色されて非蛍光性の形態の蛍光体を、「ＦＢ」と呼ぶ。蛍光を放射するために励起できる異なる蛍光性の形態の蛍光体を、「ＦＡ」、「ＦＡ１」、および「ＦＡ２」と呼ぶ。刺激されて活性化された蛍光体を、上付き記号「＊」で示す。異なる非蛍光性の活性化された形態の蛍光体は、蛍光体の構造上異なる化学形態、蛍光体の異なる化学環境、または蛍光体による光の吸収および放射に影響する他の比較的安定した差を表すことができる。励起された形態の蛍光体の電子は、光エネルギーを吸収して励起された状態に促進されており、その後、蛍光を放射することによって、この状態から弛緩する。
【００１４】
図６Ａは、最初に非蛍光性の形態６０２で生じる、蛍光顕微鏡法で使用される第１のタイプの蛍光体を示す。第１の周波数ν１６０４の光によって照射されると、非蛍光性の異性体は、活性化された蛍光性の形態６０６に変換される。蛍光性の形態６０６は、第２の周波数ν２６０８の光の吸収によって励起されて、励起された形態の蛍光体６１０を生じさせ、その後、蛍光６１２を放射し、励起されていない活性化された形態の蛍光体６１４に戻る。蛍光体は、数百、数千、またはそれ以上の励起／放射サイクルを受けることがあるが、第２の周波数の光による連続照射下で、最終的には脱色された形態６１６に変わり、活性化することも、励起して蛍光を発することもできなくなる。図６Ｂは、２つの異なる励起状態ＦＡ１＊６２０およびＦＡ２＊６２２を特徴とする第２のタイプの蛍光体を示す。第１の形態ＦＡ１６２４は、第１の周波数６２６の光の吸収によって励起され、励起された形態ＦＡ１＊６２０になり、この形態から、励起された蛍光体が弛緩してＦＡ１状態になるとき、蛍光放射６２８によって第２の周波数の光が放射される。第３の周波数６３０の光による蛍光体の照射は、蛍光体を第２の状態ＦＡ２６３２に変換し、この蛍光体を、第４の周波数６３４の光の照射によって励起し、第５の周波数６３５の光を蛍光放射する第２の励起状態６２２にすることができる。２つの蛍光性の形態はいずれも、連続照射によって脱色してＦＢ状態６４０および６４２にすることができる。図６Ｃは、ＦＤ状態６４４とＦＡ状態６４６の間を可逆的に相互変換できる第３のタイプの蛍光体を示す。図６Ａを参照して説明した蛍光体の励起と同様に、ＦＡ形態を励起して、光を蛍光放射することができる。
【００１５】
図７は、蛍光顕微鏡内の光路を示す。多くの異なるタイプの蛍光顕微鏡および対応する光路が存在する。図７は、蛍光顕微鏡のすべての異なる周知の変形形態内の光路について説明しようとするものではなく、代わりに、蛍光顕微鏡法の一般原則を示すものである。蛍光励起光７０２が、レーザ７０４などの光源から放射され、励起光フィルタ７０６を通過する。励起光は、対角線の２色性ミラー７０８から反射され、１つまたは複数の対物レンズ７１０を通って、台７１４に取り付けられた試料７１２上へ進む。励起光は、上記で論じたように、試料内の蛍光体を励起して、蛍光を放射する。図７にダッシュ記号および星印からなる破線７１６によって示す放射された蛍光は、１つまたは複数の対物レンズ７１０を通過し、２色性ミラー７０８を通って伝送され、放射フィルタ７２０および１つまたは複数の結像レンズ７２２を通って、検出器７２４の画像平面へ進む。光源によって放射される励起光は、破線の矢印７２６などの破線の矢印によって示すように、試料から散乱し、１つまたは複数の対物レンズを通って後方散乱するあらゆる励起光は、２色性ミラーの表面から反射され、または放射フィルタ７２０によって吸収される。したがって、蛍光顕微鏡の光学構成要素は主に、試料内の蛍光体によって放射される蛍光を検出器で撮像する。
【００１６】
図８Ａ〜Ｂは、蛍光顕微鏡法によって生体試料に対して得られる大きいコントラストを示す。図８Ａ〜Ｂは、図２Ａ〜Ｂで使用したのと同じ図示規則を使用する。図８Ａは、図２Ａに示すのと同じ生体試料内の物体平面の円板状部分を示す。図８Ｂは、ＧＦＰまたは別の生物もしくは化学蛍光体によって生体試料上の構造２０９に標識を付けたときに生体試料内の物体平面から蛍光顕微鏡法によって生成される画像を示す。蛍光顕微鏡は主に、標識付き構造からの蛍光放射を検出する。この構造は、蛍光顕微鏡法によって生じる画像８０４内の試料の他の特徴に対して高いコントラスト８０２で表示される。
【００１７】
図９は、標準的な光学顕微鏡または蛍光顕微鏡などの光学系の抽象的な図を提供する。通常、光学系９０２は、物体平面９０４内の入力画像９０４を集束および拡大させて、画像平面９１０上に拡大画像９０８を形成する。顕微鏡法では、物体平面は通常、試料内の光軸に対して垂直な平面であり、同じく光軸に対して垂直な画像平面は通常、ＣＣＤ検出器、人間の目の網膜、または別のタイプの検出器内の画像平面である。
【００１８】
図１０〜１２は、光学撮像に対する数学的モデルを示す。図１０〜１２は、図９で使用したのと同じ図示規則または類似の図示規則を使用する。図１０に示すように、物体平面１００２の入力画像は、関数Ｉ（ｘ，ｙ，ｚ＝０）として説明することができる。上式で、ｘおよびｙは、画像平面内の直交する次元であり、ｚは、画像平面および光学系構成要素に対して垂直な光軸に対応する。関数Ｉ（ｘ，ｙ）の値は、物体平面内の各点の光の強度を表し、表面１００４と考えることができる。入力画像Ｉ（ｘ，ｙ，ｚ＝０）は、波動関数の２乗の大きさとして数学的にモデル化することができる。
【００１９】
【数１】
【００２０】
この波動関数は、次のように、周波数νの単色光に対してベクトル形式で表すことができる。
【００２１】
【数２】
【００２２】
関数Ｕ（ｒ，ｔ）は、「波動方程式」
【００２３】
【数３】
【００２４】
として知られている微分方程式、および「ヘルムホルツの方程式」
【００２５】
【数４】
【００２６】
として知られている微分方程式を満たす関数である。Ｕ（ｒ）は、光波に対する時不変の複素振幅であり、Ｕ（ｒ，ｔ）は、光波の時間依存型モデルである。画像Ｉ（ｘ，ｙ）は時不変であり、複素振幅Ｕ（ｒ）のみに依存する。この波動関数は、位置および時間のスカラー関数であり、したがって、光に対する完全な数値ではないが、多くの光学的現象について説明するには十分である。
【００２７】
図１１に示すように、レンズ１１０２は、入力関数ｆ（ｘ，ｙ）＝Ｕ（ｘ，ｙ，０）を出力関数ｇ（ｘ，ｙ）＝Ｕ（ｘ，ｙ，ｆ）に変換する光学系としてモデル化することができる。入力関数ｆ（ｘ，ｙ）および出力関数ｇ（ｘ，ｙ）は、それぞれ物体平面および画像平面における光波に対する時間非依存型の波動関数と同等である。入力関数ｆ（ｘ，ｙ）は、空間次元ｘおよびｙの調和関数の重ね合わせとしてモデル化することができる。
【００２８】
【数５】
【００２９】
これらの係数Ｆ（ｖｘ，ｕｙ）は、次のフーリエ変換によって得られる。
【００３０】
【数６】
【００３１】
入力関数ｆ（ｘ，ｙ）に関してレンズを操作して出力関数ｇ（ｘ，ｙ）を生じさせることは、次のように表すことができる。
【００３２】
【数７】
【００３３】
言い換えれば、出力画像は、入力画像ｆ（ｘ，ｙ）の調和成分を出力画像ｇ（ｘ，ｙ）内の異なる点に集束させることによって生成される周波数領域画像である。出力画像ｇ（ｘ，ｙ）は、入力画像ｆ（ｘ，ｙ）のフーリエ変換である。
【００３４】
図１２は、撮像光学系に対する数学的モデルを示す。入力画像１２０２は、上記で論じたように、第１のレンズ１２０４によって周波数領域画像１２０６に変換され、第２のレンズ１２０８は、第２の逆フーリエ変換としてモデル化されたプロセスによって、周波数領域画像１２０６を最終の空間領域出力画像ｇ（ｘ，ｙ）１２１０に変換する。プロセス全体は、次の畳み込みとして、より数学的にモデル化することができる。
【００３５】
【数８】
【００３６】
上式で、ｈ（ｘ，ｙ；ｘ’，ｙ’）は、光学系に対するインパルス応答関数である。以下でより詳細に論じるように、出力画像は、入力画像によるインパルス応答関数の畳み込みとして算出することができる。入力画像を拡大する光学系の場合、入力画像の座標ｘ’およびｙ’は、出力画像の座標ｘ＝ｘ’Ｍおよびｙ＝ｙ’Ｍに対応することに留意されたい。上式で、Ｍは拡大係数である。
【００３７】
図１３〜１６は、図１２を参照して上記で論じたインパルス応答関数ｈ（ｘ，ｙ；ｘ’，ｙ’）の特性を示す。図１３に示すように、物体平面１３０４上の点（０，０）１３０２に対応するインパルス応答関数ｈ（ｘ，ｙ；０，０）は、画像平面内に円形の横断面１３０８を有する２つの裂片がある強度分布１３０６であり、２つの裂片がある分布の第１の裂片１３１０は、ｚ軸の周りで円筒状に対称であり、画像平面から物体平面の方へ後ろに突出しており、同じく光軸の周りで円筒状に対称である第２の裂片１３１２は、画像平面内の円形の横断面１３０８から、物体平面から離れる方へ外側に突出する。図１３および後の図では、インパルス応答関数の図示の表面は、一定の強度の表面である。概念化されたインパルス応答関数は、実空間に縛られることなく延びる。しかし、出力画像空間内の点（０，０）から任意の方向に特定の距離だけ離れると、入力応答関数の強度は、任意に低い値まで低下し、したがってたとえば、下回ると強度を検出できない強度レベルに対するインパルス応答関数について説明するために、一定の強度の表面を構築することができる。インパルス応答関数は、物体平面内の点源を出力画像空間内の強度分布に写像し、または別法として、点源の画像として写像する関数と見なすことができる。出力画像は、ｚ方向に画像平面からの距離とともにますます焦点が合わなくなる。距離とともに点源の画像がぼやけることは、出力画像平面からの距離が増大するとともにインパルス応答関数の円形の横断面の半径が最初に増大することに反映される。その後、画像平面からの距離がより大きくなるとともに円形の横断面の半径が低減することは、画像平面内の原点（０，０）からの距離とともに強度が低減することに関係する。
【００３８】
図１４は、３次元出力画像空間内のインパルス応答関数の一定の強度の表面を示す。図１４に示すように、蛍光顕微鏡使用者は一般に、対物レンズに対して固定の位置で一連の画像の各画像を獲得した後、試料と対物レンズの間の距離を変化させることによって、試料内の一連の物体平面１４０２〜１４０７を撮像する。これにより、対応する１組の出力画像１４１０〜１４１６を作り出す。３次元入力画像空間内の点（０，０，０）に関する１組の入力画像が光学系によって撮像されるとき、点（０，０，０）に対応する３次元のインパルス応答関数は、３次元の出力画像空間内で円筒状に対称な楕円体１４２０である。ｘ、ｙ、およびｚ方向の連続撮像を行う収差のない光学系では、インパルス応答関数ｈ（ｘ，ｙ；０，０）は、出力画像空間内の点（０，０，０）の周りで球面状に対称である。この場合も、インパルス応答関数は、すべての実空間の出力画像空間内の点（０，０，０）から外側に延びる。しかし、強度は、点（０，０，０）からの距離が増大するとともに低減し、したがって一定の強度の楕円体または球を構築して、インパルス応答関数を表すことができる。
【００３９】
図１５は、出力画像平面内の１つの次元におけるインパルス応答関数を示す。水平軸１５０２は、原点（０，０）を通過する出力画像平面内の線である。理論上のインパルス応答関数は、高くて比較的狭い中心ピーク１５０４を有し、高さが低減する２次ピーク１５０５〜１５１４は、中心ピークから離れて両方向に延びる。インパルス応答曲線の高さは、強度に対応し、水平軸１５０２は、出力画像平面内の原点からの直線距離に対応する。理論上のインパルス応答関数は、Ｊ１ベッセル関数の２乗に比例する。図１６は、３次元空間におけるインパルス応答関数の図を提供し、２つの水平軸１６０２および１６０４は、出力画像平面の平面内に位置して原点（０，０）で交差し、インパルス応答関数の表面上の任意の点における高さは、画像平面上の対応する位置で観察される強度に対応する。光学系によって作られるインパルス応答関数の画像は、インパルス応答関数の中心ピークに対応して、明るい中心の円板のように見え、半径が増大する同心円状の輪は、中心ピークを取り囲む輪または稜線に対応する。
【００４０】
図１７〜１８は、光学系へ入力される画像および光学系に対するインパルス応答関数から光学系の出力画像を算出するための、図１２を参照して上記で論じた畳み込みに基づく数学的モデルを示す。図１３〜１６に示すインパルス応答関数は、収差のない光学系の理論上のインパルス応答関数であることに留意されたい。しかし、光学系のすべての実際の実装形態では、多くの複雑な収差を数学的にモデル化するのは困難であるため、光学系に対するインパルス応答関数を算出することはできない。インパルス応答関数は、物体平面内の非常に小さい光源を撮像することによって、実験的に求められる。実際の光学系では、インパルス応答関数は、入力画像平面内の点源の位置に対して変動しうることにも留意されたい。しかし、以下の議論では、インパルス応答関数は通常、位置に依存しないものとする。
【００４１】
図１７は、図１２を参照して上記で論じた畳み込み方法によって出力画像を算出するために入力画像平面の面積全体にわたって繰り返される基本操作を示す。波動関数振幅ｆ（ｘ，ｙ）１７０４が対応する入力画像平面内の所与の点（ｘ，ｙ）１７０２は、振幅ｆ（ｘ，ｙ）の点光源と見なされ、この点光源から放射される光は、光学系１７０６を通過し、この光学系によって、振幅ｆ（ｘ，ｙ）１７１０を掛けた対応するインパルス応答関数１７０８に変換される。図１８に示すように、図１７に示す基本操作が入力画像平面１８０２内のすべての点に対して繰り返されるとき、各点の光源によって生成されるすべての入力応答関数の和が表面１８０４を形成し、出力画像平面内の対応する点（ｘ，ｙ）より上の表面ｇ（ｘ，ｙ）の高さは、その点における出力画像の強度である。したがって、表記を変化させると、出力画像ｉ（ｘ，ｙ）は、入力画像ｏ（ｘ’，ｙ’）によるインパルス応答関数または点拡がり関数（「ＰＳＦ」）ｓ（ｘ−ｘ’，ｙ−ｙ’）の畳み込みとして算出される。数学的な表記では、
【００４２】
【数９】
【００４３】
この畳み込み操作は、周波数領域では乗算操作になる。
【００４４】
【数１０】
【００４５】
上式で、Ｉ（ｕ，ｖ）は、出力画像ｉ（ｘ，ｙ）の周波数領域変換であり、τ（ｕ，ｖ）は、ＰＳＦのフーリエ変換である光伝達関数であり、Ｏ（ｕ，ｖ）は、入力画像ｏ（ｘ，ｙ）の周波数領域変換である。３次元撮像について考慮すると、これらの関係を次のように表すことができる。
【００４６】
【数１１】
【００４７】
逆畳み込み顕微鏡法では、入力画像ｏ（ｘ，ｙ，ｚ）の推定
【００４８】
【数１２】
【００４９】
をＰＳＦで畳み込んで、対応する算出された画像
【００５０】
【数１３】
【００５１】
【数１４】
【００５２】
を作り出す。
通常、畳み込みは、乗算操作によって周波数領域内で実施され、次いで、対応する周波数領域の実体が、逆フーリエ変換によって再び空間領域の均等物に変換される。Ｒ係数または残差は、算出された画像と観察された画像の差を反映するように算出することができる。
【００５３】
【数１５】
【００５４】
次いで、推定された入力画像を、入力画像の後のより良好な推定を作り出すように、ニュートン系の最適化技法などの様々な技法のいずれかによって変えることができ、この推定から、対応する出力画像を算出し、新しいＲ係数を生成することができる。このプロセスは、Ｒ係数が閾値を下回るまで反復される。Ｒ係数が閾値を下回ると、推定された入力画像が、光学系へ入力される実際の画像を十分に忠実に表すことを示す。
【００５５】
図１９は、光学顕微鏡法に関連する回折限界を示す。距離ｄ１’１９０６によって分離された物体平面内の２つの点
【００５６】
【数１６】
【００５７】
１９０２および
【００５８】
【数１７】
【００５９】
１９０４について考察する。光学系から出力されるこれらの２つの点の画像は、点
【００６０】
【数１８】
【００６１】
に対応する出力画像点（ｘ１，ｙ１）および（ｘ２，ｙ２）を中心とする２つの点拡がり関数１９１０および１９１２である。入力画像の点源から出力画像の点拡がり関数画像へ光が拡がることは、回折に関連する現象である。ｄ１’が十分に大きく、出力画像内の点拡がり関数ｄ１の中心間の対応する距離が点拡がり関数分布を分離し、したがって図１９に曲線１９１４で表す２つの点拡がり関数の和がはっきりと双峰形のままになるとき、出力画像内の点１９０２および１９０４の画像を互いに区別することができる。しかし、入力画像内の２つの点１９２０および１９２２が、十分に小さい距離ｄ２’１９２４によって分離され、したがって出力画像内の２つの点１９２６および１９２８の画像が重複し、図１９に曲線１９３０で表す２つの点拡がり関数の和が合わさって単一のピークになるとき、出力画像では２つの点１９２０および１９２２を互いに区別することができない。従来の光学顕微鏡法に対する最小の間隔または最大の解像度は通常、次のように見なされる。
【００６２】
【数１９】
【００６３】
上式で、λは光の波長であり、
ＮＡは、光学系に対する開口数である。
入力画像内の最小の間隔は、出力される点拡がり関数間の間隔に対応し、この間隔では、右側の点拡がり関数の第１の左側のゼロの点は、左側の点拡がり関数の第１の右側のゼロの点と一致する。撮像できる特徴の最小の離隔距離は、光学顕微鏡システムの場合、約２００ｎｍに対応する。最小の間隔または最大の解像度は、出力画像内の点源の点拡がり関数画像が回折の結果として得られるため、「回折限界」と呼ばれる。
【００６４】
１９９０年代まで、図１９を参照して論じた回折限界は、光学顕微鏡法に対する絶対的な解像限界であると見なされていた。しかし、過去２０年間、様々な超解像の蛍光顕微鏡技法が開発されてきた。図２０Ａ〜Ｂは、超解像の顕微鏡法の基本を示す。図２０Ａは、物体平面上の点２００４からｚ軸の方向に放射される光に対する光学系２００２の影響を示す。上記で論じたように、光学系は、画像平面内の円板状の点拡がり関数２００６にわたって光の強度を拡げる。したがって、点拡がり関数は、出力画像空間内の光学系による点源のリアルタイムの不鮮明化または拡散と見なされる。点状光源のこの不鮮明化は、複数の異なる理由のために発生する。１つの重要な理由は、レンズなどの光学構成要素が有限の開口を有し、したがって点源から放射される非干渉性の光のうち、より低角度の部分しか受け取らないことである。より高角度で放射される光線は、レンズの円板から外れ、したがって光路から外れる。光学構成要素に入らなかったより高角度の光線は、周波数領域内のより高い周波数に対応する。したがって、光学構成要素は、空間周波数フィルタとして作用する。逆フーリエ変換としてモデル化される第２のレンズによる光の集束は、光学構成要素によって高周波数の周波数領域信号が除去されるため、幾分ぼやけた空間領域画像を作り出す。光学構成要素に固有の様々なタイプの収差および他の要因を含めて、多くの追加の要因が、点拡がり関数によって表される出力画像内の光の分散に寄与する。
【００６５】
図２０Ｂに示すように、点拡がり関数について考察する第２の方法は、点拡がり関数が確率分布を表し、点拡がり関数によって点に関連付けられる強度が、個々の光子が光学系によってその点へ偏向される確率に対応することである。このように考えると、物体平面内の点状源が連続して撮像され、連続する画像がＣＣＤ検出器などの電子検出器によって時間とともに蓄積されると、出力画像内の蓄積された強度は、点拡がり関数に従って分散される。出力画像内で蓄積された強度が最も高い点は、画像平面内の蓄積された強度の分布をうまく形成するのに十分な期間にわたって出力光が収集されたとき、光学系の拡大係数を相殺した後の検出器の解像度の精度に等しい精度のところに位置することができる。この点は、画像平面内のＰＳＦに対応する点源の物体平面の位置に対応する。理論的には、出力画像内の対応するＰＳＦ分布の質量中心を使用して、点源の位置を１ｎｍ以上の解像度まで求めることは可能である。しかし、そのような精度を実現するには、出力画像における点拡がり関数画像が明らかに重複しないように、光を放射する点源を十分な距離だけ分離しなければならない。したがって、まばらに分散された蛍光体の位置は、回折限界以下の解像度まで求めることができるが、これらの蛍光体は、現在実施されている超解像の撮像技法に従って、任意の２つの蛍光体間の距離が１８０〜２００ｎｍの回折限界距離より大きくなるように、試料内に位置決めしなければならない。
【００６６】
図２１は、現在実施されている超解像の蛍光顕微鏡法を示す。試料に十分な密度の蛍光体で標識が付けられ、蛍光体の位置が精密に求められたとき、それらの位置はともに、蛍光顕微鏡使用者が関心をもつ構造、構成要素、または細胞小器官の画像を確実に作り出す。次いで、試料は固定化され、中間画像ごとに蛍光体の小さい部分集合を活性化して、活性化された蛍光体からの蛍光放射を励起することによって、試料から複数の中間画像が生成される。上記で論じた分離の制約を満たすのに十分なほど蛍光体を互いに分離するために、蛍光体の部分集合のみが活性化される。これらの技法は、図６Ａ〜Ｃを参照して上記で論じた蛍光体標識の特性を用いる。最初、蛍光体は暗い状態ＦＤである。試料は、蛍光体の部分集合を状態ＦＤから活性状態ＦＡに変換する光の周波数で弱く照射される。蛍光体の小さい部分集合の活性化は、本質的に確率的である。活性化は、蛍光体間の平均間隔が確実に回折限界の距離より著しく大きくなるように、弱い照射で実施され、その結果、図１９を参照して上記で論じたように、中心ピークを解像できず、したがって蛍光体位置に対する質量中心を精密に算出できない程度まで点拡がり関数画像が重複するのに十分なほど、２つの活性化された蛍光体が密接して隔置されることはない。中間画像に対するデータ収集後、活性の蛍光体は、活性の蛍光体を脱色するのに最も効果的な特有の波長の明るい光で照射され、その結果、再び活性化できなくなり、後の中間画像に対するデータ収集中に蛍光しなくなる。図２１に示すように、たとえば、中間画像２１０２〜２１０９はそれぞれ、異なる１組のまばらに構成されて活性化された蛍光体からデータを収集することによって作られる。次いで中間画像はともに加算２１１０され、試料内の蛍光体標識付きの構造、細胞小器官、細胞成分、または他の特徴を明らかにする最終の高解像度の複合画像２１１２を作り出す。この場合も、任意の１つの時点で同時に活性化される蛍光体の密度は、図２１に回折限界の体積２１１４によって示すように、それぞれの活性化された蛍光体が他のすべての活性化された蛍光体から少なくとも２００ｎｍの距離だけ分離されるような密度にする必要がある。
【００６７】
図２２は、現在実施されている超解像の撮像技法について説明する制御流れ図を提供する。ステップ２２０２で、蛍光体標識付きの試料が準備される。ステップ２２０４〜２２１０のｗｈｉｌｅループでは、図２１を参照して上記で論じたように、複数の中間画像が作られる。ステップ２２０４〜２２１０のｗｈｉｌｅループを反復するたびに、ステップ２２０５で次の１組の蛍光体が活性化される。活性化された蛍光体の密度は、図２１を参照して上記で論じた解像可能な最大密度以下である。ステップ２２０６で、活性化された蛍光体からの蛍光放射が励起され、次のデータセットが時間とともに収集される。ステップ２２０７で、活性化された蛍光体は、活性化された蛍光体を脱色するのに適当な波長の光によって明るく照射され、その組の蛍光体を後の中間画像から除去する。中間画像は、図２０Ｂおよび２１を参照して上記で論じたように、ステップ２２０８で、収集されたデータから、そのデータを分析して点源画像の質量中心を見出すことによって作られる。十分な解像度の最終画像を生成するのに十分なデータが蓄積されたとき、またはステップ２２０９で判定されると、作られた中間画像の数が閾値数を超過したとき、図２１を参照して上記で論じたように、ステップ２２１２で、蓄積された中間画像を処理して最終画像を作り出し、超解像の撮像プロセスが終了する。そうでない場合、制御はステップ２２０５に戻り、次の中間画像が作られる。
【００６８】
図２３は、本発明の一実施形態である高密度の確率的サンプリング撮像（「ＤＳＳＩ」）について説明する制御流れ図を提供する。図２３に提供する制御流れ図と図２２に提供する制御流れ図を比較すると、本発明のＤＳＳＩ撮像方法と現在実施されている超解像の撮像方法の違いが明らかになる。ステップ２３０２、２３０４、２３０６、２３０９、２３１０、および２３１２は、図２２の対応するステップ２２０２、２２０４、２２０６、２２０８、２２０９、および２２１２と同一または類似であり、したがって再度議論しない。一方、図２３のステップ２３０５、２３０７〜２３０８、および２３１３〜２３１４は、新規であり、または図２２の対応するステップとは異なり、これらのステップをＤＳＳＩと現在実施されている超解像方法の相違点として示すために、「＊」の記号で印を付ける。ステップ２３０５で、後の励起およびデータ収集のために次の１組の蛍光体を活性化して、次の中間画像を作り出す。このステップは、図２２のステップ２２０５に類似しているが、重要な違いは、ＤＳＳＩ撮像では、放射性の蛍光体を少なくとも２００ｎｍの回折限界の距離だけ互いに分離しなければならないという制約がなくなり、蛍光体が試料内ではるかに大きい密度で活性化されることである。この違いは、生きた生物細胞のリアルタイムの撮像の場合、特に著しい。蛍光体が活性化される密度を著しく増大させることによって、最終画像を構築するために作り出して後に蓄積する必要のある中間画像の数が、著しく低減される。中間画像の低減は直接、データ収集時間の著しい低減につながり、したがって、ＤＳＳＩ撮像によって、形状を変化させる自動性の生細胞を高い解像度で撮像することができるのに対して、現在実施されている超解像技法では、データ収集に必要な時間があまりに長く、生細胞が形状をかなり変化させたり、移動したりすることがあり、その結果得られる画像解像度が低くなることがあり、また画像品質が乏しくなることがある。さらに、特定のタイプの細胞は、蛍光によって活性化および励起させる照射に長く露出されると、有害な影響を受けたり、または死滅したりすることがあり、ＤＳＳＩで可能な中間画像の低減によって、露出を著しく低減させることができる。要約すると、本発明の実施形態であるＤＳＳＩ撮像技法は、蛍光体の活性化に対する密度の制約を大幅に取り除き、したがって２次元撮像と３次元撮像の両方に対して、データ収集時間を著しく短縮する。
【００６９】
図２３のステップ２３０７、光脱色ステップは、現在実施されている超解像技法を示す図２２の対応するステップ２２０７の場合とは異なり、任意選択とすることができ、または不可欠というわけではない。蛍光体を試料内で著しく高い密度で活性化でき、また蛍光体の活性化が本質的に確率的であるため、ＤＳＳＩ撮像中に中間画像で特定の蛍光体の撮像を繰り返すことは、あまり重要ではない。一方、現在実施されている技法では、各中間画像の取得のために非常にわずかな蛍光体しか活性化することができず、したがって、後の中間画像で冗長データが収集されないように、それらの撮像された蛍光体を光脱色または非活性化することが重要である。言い換えれば、ＤＳＳＩ撮像では、冗長データの収集は、現在実施されている超解像技法の場合ほど、全体的なデータ収集時間または所望の最終画像解像度を実現するために作り出す必要のある中間画像の数に著しい影響を与えない。光脱色ステップをなくし、または光脱色を実施する必要のあるレベルを低減させることで、データ収集および撮像に必要な時間を著しく低減させ、短波長照射に対する試料の露出の蓄積を著しく低減させる。ステップ２３０５でより高密度の蛍光体を活性化することと、光脱色ステップをなくすことの組合せは、生細胞撮像に適した蛍光撮像方法論およびシステムを提供する。さらに、光脱色ステップをなくすと、ＤＳＳＩ撮像システムの実装を著しく簡略化することができる。活性化された蛍光体を光脱色するのではなく、本発明の特定の実施形態では、図６Ｃで記載する特性を有する可逆的に活性化された蛍光体を使用して、活性化された蛍光体を非活性化することができる。したがって、本発明の特定の実施形態では、光脱色ステップは代わりに、蛍光体非活性化ステップを含むことができる。本発明の他の実施形態では、活性化された蛍光体を非活性化するのではなく、すでに撮像された蛍光体画像を後の画像から引くことによって、異なる中間画像を算出することができる。本発明のさらに追加の実施形態では、非活性化および光脱色が完全に省略される。
【００７０】
より高い密度で蛍光体を活性化することができ、また光脱色をなくすことができ、または重視しなくてすむことは、ステップ２３０４〜２３１０のｗｈｉｌｅループの反復のたびに実施される重複する蛍光体分布の曖昧性除去ステップ２３０８を組み込むことに由来する。これは、中間画像内で重複する蛍光体画像を検出し、重複する蛍光体画像に対応する蛍光体に位置および相対的な強度を正確に割り当てることができる演算画像処理ステップである。この演算画像処理ステップがステップ２３０４〜２３１０のｗｈｉｌｅループの各反復に導入されるため、各蛍光体画像に対して蛍光体の活性化を実施して、現在実施されている超解像技法で対応できるよりはるかに高い密度で、試料内に活性化された蛍光体を生成することができる。ステップ２３１２で中間画像から最終の複合画像が作られた後、追加の演算画像処理ステップ２３１３を使用して、複合画像内の蛍光体の位置分布に幾何形状を階層的に適合させることによって、画像をさらに改良する。最終的に、本発明の特定の実施形態では、最終の構造解釈処理ステップ２３１４を用いて、画像の特徴を解釈する。ステップ２３０８、２３１３、および２３１４について、以下で詳細に論じる。
【００７１】
図２４Ａ〜Ｂは、本発明の一実施形態によって用いられる、図２３のステップ２３０８で呼び出される「重複する発光体画像の曖昧性の除去」ルーチン、および「重複する発光体画像の曖昧性の除去」ルーチンによって呼び出される「混合モデルの適用」ルーチンに対する制御流れ図を提供する。図２４Ａ〜Ｂについて論じる際には、以下、図２５〜２９を参照されたい。図２５〜２９は、本発明の一実施形態による、重複する発光体画像の曖昧性を除去するために使用される様々なステップを示す。
【００７２】
以下の議論では、重複する蛍光体画像の曖昧性除去について、全体として、２次元撮像ならびに３次元撮像のどちらにも適用できるものとして説明することに留意されたい。どちらの場合も、画像のスタックは光軸またはｚ軸に直交し、最小のｚ軸方向の移動によって分離される。Δｚが用いられる。ステップ２４０２で、ｚ軸に直交する画像のスタックが受け取られる。これは、対物レンズに対する試料のｚ軸方向の移動範囲にわたって試料からデータを収集することによって図２３のステップ２３０４〜２３１０のｗｈｉｌｅループの単一の反復で生成される中間画像のスタックとすることができる。別法として、受け取られる画像は、３次元撮像を実施するために、より広い範囲のｚ軸位置に対して作られるｚ軸に直交するより多数の中間画像とすることができる。次に、ステップ２４０４で、生画像からノイズをフィルタリングするために、画像のスタックにノイズフィルタが適用される。図２５は、本発明の特定の実施形態で用いられる１つのタイプのノイズフィルタを示す。本発明の特定の実施形態では、ガウスノイズフィルタが用いられる。ガウスフィルタは本質的に、数学的に次のように表される３次元ガウス分布である。
【００７３】
【数２０】
【００７４】
対角行列Σは、共分散行列と同等である。本発明の一実施形態では、標準偏差σｘ、σｙ、およびσｚに対する物空間値は、
【００７５】
【数２１】
【００７６】
と定義され、また対応する画像空間の標準偏差は、
【００７７】
【数２２】
【００７８】
である。上式で、Ｐｘｙは、ｘ，ｙ物体平面の画素寸法であり、Ｐｚは、ｚ軸内の体素寸法である。ガウス分布の式では、ベクトルｒおよびμはどちらも、ε、η、およびζ座標系内の画像空間ベクトルである。ガウス分布は球面状に対称であり、最も高い値は球面状の分布の中心にあり、分布の中心からすべての方向に距離が増大するとともに、値は急速に低減する。図２５に示すように、球面状のガウス分布２５０４および線２５０６に沿って平面断面２５０２が切り取られる場合、または平面図断面２５０２に沿って１次元の断面が切り取られる場合、この線に沿った値の分布は、釣鐘状の曲線２５０８の外観を有するはずである。画像処理に使用されるガウスフィルタＧ２５１０は、連続する３次元ガウス分布の個別の画素ベースのアナログ式のものである。画像のフィルタリングのために、生画像Ｉをガウスフィルタで畳み込み、平滑な画像Ｉｓを作り出す。
【００７９】
【数２３】
【００８０】
上式で、畳み込みは、元の画像内の各位置でガウスフィルタを中心に位置決めし、ガウスフィルタ内の値に元の画像内の対応する値を掛け、次いでこれらの積の値を平滑な画像２５１２に加算することによって実施される。ガウスフィルタが積み重ねられた画像に部分的にしか重複しないときは、畳み込みを算出するために、様々な技法が使用される。
【００８１】
次に、図２４Ａのステップ２４０６で、フィルタリングされた画像から１組の極大Ｌが抽出される。極大の抽出を、図２６に示す。極大は、次の式によって定義される。
【００８２】
【数２４】
【００８３】
本質的に、蛍光体画像に対する質量中心、本質的には出力画像内のＰＳＦの質量中心の候補として出力画像から特定の画素または体素を選択する基準は、画素または体素２６０２がすぐ隣接する画素または体素２６０４のすべてに対して最も高い強度値を有することである。言い換えれば、図２６内の体素２６０２は、３×３×３の体素体積２６０４内で中心に位置決めされ、体積２６０４内のすべての体素の中で、観察される最も高い強度値を有する。最初、図２４Ａのステップ２４０６で、すぐ隣接する体素に対して最も高い強度値を有する体素が選択され、極大を含むセットＬ内に含まれる。次に、ステップ２４０８で、極大のセットＬをフィルタリングして、確率の高い蛍光体画像の質量中心またはスポットのセットＳを作り出す。画像点Ι（ζ）における曲率は、画像点Ι（ζ）を取り囲む体積全体にわたって算出されるヘッセ行列式と定義される。
【００８４】
【数２５】
【００８５】
セットＬ内の各極大に対するスポット測定ＳＩ（ζ）は、次のように算出することができる。
【００８６】
【数２６】
【００８７】
図２７は、セットＬ内の極大に対して算出されるスポット測定の分布のタイプを示す。通常、大部分の極大は、ノイズに対応する。したがって、図２７に示す分布内の低いスポット測定値における大きいピーク２７０２は通常、画像ノイズに対応する。蛍光体画像の質量中心またはスポットを選択するために、閾値２７０４のスポット測定値は、大きい最初のピーク２７０２を越えて分布曲線が平坦になるスポット測定値に対応するように選択される。図２４Ａのステップ２４０８で、スポット測定が閾値２７０４より大きいこれらの極大は、セットＳの要素として選択される。
【００８８】
次に、ステップ２４１０で、セットＳ内のスポットは、クラスタに分割される。図２８は、こうしてスポットをスポットクラスタに分割することを示す。分割が行われる基準は、次のように説明することができる。
【００８９】
【数２７】
【００９０】
クラスタＣ１２８０２などの所与のクラスタ内のスポットはすべて、図２８のクラスタＣ２２８０４、Ｃ３２８０６、およびＣ４２８０４などの他のすべてのクラスタ内のスポットから閾値距離より大きい距離だけ離れたところに位置する。
【００９１】
次いで、図２４Ａのステップ２４１２で、重複する蛍光体画像に対応するスポットを検出するために、各クラスタ内のスポットに混合モデルが適用され、反復的演算手順によって、これらの重複する蛍光体画像またはスポットの位置および強度が判定される。この混合モデル演算方法については、以下により詳細に説明する。最終的に、図２４Ａのステップ２４１４で、様々な理由による様々なタイプのユーザに対する初期画像としての後の処理、電子表示デバイス上の表示、または描画のため、すべてのスポットの位置および強度が電子的に記憶される。図２４Ｂは、図２４Ａのステップ２４１２で呼び出される「混合モデルの適用」ルーチンに対する制御流れ図を提供する。図２９は、図２４Ｂで説明する演算方法を示す。図２４Ｂに関する以下の議論は、図２９を参照する。
【００９２】
スポットのクラスタに混合モデルを適用する目的は、重複する蛍光体画像を表すスポットを検出することであり、したがって、重複する画像の曖昧性を除去し、それぞれの重複する蛍光体画像に対応する蛍光体に位置および振幅または強度を割り当てることができる。混合モデルは、図２４Ｂのステップ２４０２〜２４１４のｆｏｒループ内の各クラスタに適用される。スポットのクラスタに関連する領域内の画素または体素の強度は、以下の数学的モデルを使用して、そのクラスタに関連する領域内の各蛍光体画像または核の質量中心の強度および位置に基づいて算出することができる。
【００９３】
【数２８】
【００９４】
本発明の特定の実施形態では、蛍光体画像またはＰＳＦは、ガウス強度分布としてモデル化される。クラスタに関連する領域内の既知の核の位置および振幅は、最小２乗または他のデータ適合技法により、画素または体素に対する算出された強度と観察された強度の差を最小にすることによって、そのクラスタに関連する面積内の画素または体素の観察された強度に適合させることができる。図２９では、出力画像内で観察された強度および位置を有するスポットまたは核の第１のクラスタ２９０２を出力画像に最小２乗適合２９０４し、最初の１組の核２９０６を作り出す。核は、解像される蛍光体画像に対するパラメータ化されたモデルである。ｎが現在クラスタ内に存在すると考えられる核の数を表す場合、統計χn2は、この組の核に対して次の式によって算出される。
【００９５】
【数２９】
【００９６】
統計χn2は、獲得された画像内の観察される強度について、この組の核がどれだけうまく説明するかを数値で説明する残差のタイプである。次に、ランダム選択によって、この組の核内の核の１つに相手核が追加される。図２９では、相手核は、核を表す陰影を付けた円板２９１２の上に重ね合わせた破線の円２９１０として示す。次いで、相手核を含む核は、最小２乗適合手順または他のデータ適合手順２９１４によって、相手核を含む核に対する最適化された振幅および位置２９１６を作り出すように適合される。次いで、新しい統計χn+12が算出２９１８され、核２９０６の前の最小２乗適合収集に対して算出された統計χと比較される。χn+12が、図２９の条件ステップ２９２０で判定されると、χn2より統計的に良好であるとき、追加された相手は受け入れられ２９２２、最初に相手になった核とともに、元の画像内で検出されなかった重複する蛍光体画像を表す。そうではなく、χn+12が、χn2より統計的に良好でないとき、追加される相手は拒否され、その組の核２９２４から除去される。統計χn2は、Ｆ統計に従って分散され、Ｆ統計に基づく適した試験は、χn+12が、がいつ、適当な信頼度レベルまでχn2より統計的に良好になるかを判定するように考案することができる。１回の試験で、ｎ＋１個の核を有するモデルが、ｎ個の核を有するモデルほど、観察された強度についてうまく説明しない確率が０．０５未満になるのに十分な量だけ、χn+12がχn2より、小さいとき、統計χn+12は、統計χn2より統計的に良好である。クラスタの演算処理中、図２９に示すように、元の核のそれぞれに相手を追加して試験し、元の核のそれぞれに対する潜在的な重複する蛍光体を検出する。本発明の代替実施形態では、３方向およびより高次元で重複する蛍光体が発生する可能性が低いことを検出するために、さらなる相手の追加および試験を、さらに反復して行うことができる。各クラスタ内の最初の核をより効率的に演算処理するため、潜在的な重複に対する核の試験を正当化するのに十分なほど最初の振幅を有する核だけに、相手を追加および試験することができる。
【００９７】
図２４Ｂに戻ると、ステップ２４０３で、クラスタ内の最初のスポットを使用して、ｎ個の最初の核を画定する。ステップ２４０４で、これらのｎ個の最初の核は、領域に対する強度またはクラスタの体積を観察するように適合される。ステップ２４０５で、最初の最もよく適合されたｎ個の核に対して、残差測定χｃｕｒｒｅｎｔが算出され、局所変数ｍがｎに設定される。ステップ２４０６〜２４１２の内側のｆｏｒループ内で、最初の核のそれぞれに対して、相手が追加および試験される。ステップ２４０７で、ステップ２４０６〜２４１２のｆｏｒループ現在の反復で現在考察されている核に、相手核が追加される。ステップ２４０８で、ステップ２４０７での相手核の追加前にｍ個の核を含むｍ＋１個の核およびステップ２４０７で追加された相手核が、クラスタの面積または体積内の観察された画素または体素強度に最もよく適合される。ステップ２４０９で、最もよく適合されたｍ＋１個の核に対して、新しい残差測定χｍ+12が算出される。ステップ２４１０で判定されると、χｍ+12がχＣより統計的に良好であるとき、ステップ２４０７で追加された相手は新しい核として受け入れられ、χＣは、χｍ+12に設定され、ｍはｍ＋１に設定される。ステップ２４１２で判定されると、元の核のうちのより多くの核を、ステップ２４０６〜２４１２の内側のｆｏｒループ内で考察すべきであるとき、制御は、ステップ２４０７へ戻り、元の核のうちの次の核に相手を追加する。そうでない場合、ステップ２４１３で、最もよく適合されたｍ＋１個の核が、クラスタに対するスポットとして記憶される。ステップ２４０２〜２４１４の外側のｆｏｒループ内での各クラスタの考察後、ステップ２４１６で、すべてのクラスタに対して判定されたスポットを組み合わせて、曖昧性を除去された画像にし、メモリおよび／または永続的大容量記憶域内に電子的に記憶する。本発明の代替実施形態では、ベイズの情報基準および／または追加の技法を使用して、クラスタに対する追加の核の適合不足と過剰適合の間で類似の均衡を実現することができる。
【００９８】
図３０Ａ〜Ｄは、本発明の一実施形態による図２３のステップ２３１３および２３１４で実施されるプロセスを示す。図３０Ａでは、左側の画像３００２は、図２４Ｂのステップ２４１６で記憶された、曖昧性除去処理済みの画像を表す。この画像は、図２４Ａのステップ２４０８でスポット測定閾値を使用して最初に検出されたスポットまたは蛍光体画像のすべて、ならびに図２４Ａのステップ２４１２で検出された重複する曖昧な追加のスポットを含む。これらのスポットの位置および強度は、図２４Ａのステップ２４１２で混合モデルの適用中に実施された演算上の適合のため、これらのスポットの観察された最初の強度に対して変動した可能性がある。図２３の反復的で階層的な演算処理ステップ２３１３で、画像をさらに改良および解釈するために、幾何学的基本要素のグループが、画像内のスポットのグループまたは分布に整合され、最初に整合された幾何学的基本要素は、後の反復で、ますます複雑かつ／または大きい幾何学的要素に整合される。たとえば、図３０Ａに示す要素適合の第１の階層レベルでは、幾何学的基本要素３００４のグループは、第１のさらに改良された画像３００６を生成するために、曖昧性を除去された画像３００２内のスポットに演算的に適合される。これは、本発明の一実施形態である画像解釈の階層プロセスの第１のレベルである。次いで、図３０Ｂに示す要素適合の第２の階層レベルでは、第１のレベルの要素適合３００６によって作られた画像を、第２のグループの幾何学的要素３００８を適合させる基本として使用し、第２のレベルの解釈または改良された画像３０１０を作る。図３０Ｃでは、第２のレベルの改良または解釈された画像３０１０に第３のグループの幾何学的要素３０１２の要素を適合させることによって、第２のレベルの解釈または改良された画像３０１０をさらに改良および解釈し、第３のレベルの改良または解釈された画像３０１４を作り出す。図３０Ａ〜Ｃに示すように、階層的な要素適合の各レベルは、生物構造をはっきり明らかにする、よりはっきりとした、より高度に改良されてより良好に解釈された画像を作り出す傾向がある。通常、階層的な画像処理方法のそれぞれの連続する層における幾何学的要素は、前のレベルの画像に適合されたより多くの基本要素から構築できる、より大きくより高度に解釈された意味のある要素である。もちろん、図３０Ａの元の曖昧性を除去された画像３００２は、曖昧性が生じたとき、より高いレベルの要素とより低いレベルの要素の整合を容易にするために、プロセス全体にわたって利用可能なままである。
【００９９】
本発明の特定の実施形態では、図３０Ａ〜Ｃを参照して上述した階層的な画像処理方法は、再帰的な状態空間探索として実施され、幾何学的要素の多くの異なるシーケンスが、再帰的探索の開始点である曖昧性を除去されたスポット画像に適合される。曖昧性を除去されたスポット画像について最もよく説明し、または曖昧性を除去されたスポット画像に最もよく適合する幾何学的要素の１つまたは複数のシーケンスは、改良された最終画像として選択される。
【０１００】
図３０Ｄは、図２３のステップ２３１４を示す。図２３のステップ２３１３の階層的な解像プロセスによって作られる改良および解釈された画像は、改良された画像３０１４を作り出す。次いで、より解釈的な画像処理ステップで、概念化された正規の生物学的解釈を画像に適合させて、改良された画像３０１４に対応する最終解釈３０１６を作り出す。たとえば、図３０Ｄでは、画像３０１４内の２重層構造３０２０は、解釈３０１６において脂質２重層膜３０２４と解釈され、膜貫通孔状の構造３０２６は、解釈された画像３０１６内で電位開口型カルシウムチャネル３０２８と解釈される。
【０１０１】
図３０Ａ〜Ｃを参照して論じた階層的な画像解像プロセスと図３０Ｄを参照して論じた最終解釈プロセスではどちらも、試料および試料を作り出した実験条件に関する追加の情報を使用して、画像の改良および解釈を容易にすることができる。たとえば、各階層レベルにおいて、スポットまたはより低いレベルの幾何学的要素に適合された幾何学的要素は、試料のタイプに基づいて、より大きい１組の幾何学的要素から選択することができ、幾何学的要素をより低いレベルの要素または曖昧性を除去されたスポットに適合させることは、様々な生物学的な制約によって制約することができる。たとえば、特定のタイプの生体高分子が撮像されているとき、その生体高分子は最小の曲率半径を有し、その結果、生体高分子を最小ループ直径より小さくループさせることができないことが分かる。したがって、幾何学的要素の適合プロセス中、可能なものより小さいループを作るはずの湾曲した幾何学的要素の整合は拒否され、または嫌われることがある。そのような生物学的な制約を適合して、階層的な演算プロセスの各階層レベルで作られた様々な中間画像を、そのレベルにおける幾何学的要素の適合後に拒否することもできる。
【０１０２】
図３１〜３３は、本発明の一実施形態による、図２３の階層的な演算画像処理ステップ２３１３について説明する制御流れ図を提供する。ステップ３１０２で、曖昧性を除去された画像（図３０Ａでは３００２）が受け取られる。画像のリストｒｅｓｏｌｖｅｄＩｓが初期化され、受け取った画像は、第１の要素として画像のリストに追加される。ステップ３１０４〜３１０９のｆｏｒループでは、それぞれの階層レベルの処理が実施される。ステップ３１０５で、各階層レベルに対して、画像およびレベルに適当な幾何学的要素のグループが選択される。ステップ３１０６で、画像のリスト内にすでに存在する画像および幾何学的要素の選択されたグループから、さらに改良される画像候補の数を生成するために、再帰的手順が呼び出される。次いで、ステップ３１０７で、再帰的手順によって戻される画像のリストは、ｒｅｓｏｌｖｅｄＩｓリスト内にすでに存在する画像のリストとマージされる。次いで、ｒｅｓｏｌｖｅｄＩｓリストは、閾値数以下の画像を含むように切り捨てられる。再帰的手順によって戻されたリストとｒｅｓｏｌｖｅｄＩｓリストのマージは、適合性または残差測定に関して画像を分類することによって実施され、したがって、各レベルで、最初に受け取った曖昧性を除去された画像に最もよく適合する画像候補だけが保持される。最終的に、ステップ３１１０で、ｒｅｓｏｌｖｅｄＩｓリスト内の画像候補の１つまたは複数が、１つまたは複数の最終画像として選択される。
【０１０３】
図３２は、図３１のステップ３１０６で呼び出される再帰的手順に対する制御流れ図を提供する。ステップ３２０２で、幾何学的要素のグループおよびｒｅｓｏｌｖｅｄＩｓリストが受け取られ、画像の一時的なリストｔｅｍｐＬｉｓｔが初期化される。ステップ３２０４〜３２１６のｆｏｒループでは、ｒｅｓｏｌｖｅｄＩｓリスト内に現在存在する画像はそれぞれ、さらなる解像および解釈に対して考察される。ステップ３２０５〜３２１５の内側のｆｏｒループでは、幾何学的要素のリストから、現在考察されている画像に適合する第１の幾何学的要素が選択される。これは、幾何学的要素を画像に適合させることによって得られるより高度に改良および解釈された画像に対する再帰的探索の開始点である。ステップ３２０６〜３２１４の最も内側のｆｏｒループでは、ステップ３２０５〜３２１５のｆｏｒループ内で現在考察されている各幾何学的要素の開始点に対して、ある回数ｍａｘＩｔｅｒａｔｉｏｎｓの再帰的探索が実施される。ステップ３２０８で、再帰的探索が呼び出され、ステップ３２０９で、「再帰」ルーチンへの呼出しによって戻された改良された画像に対して、最初に受け取った曖昧性を除去された画像に対する残差または適合性測定が算出される。ステップ３２１０で判定されると、ｔｅｍｐＬｉｓｔ内の画像の数がある最大寸法より小さいとき、「再帰」ルーチンへの呼出しによって戻された画像は、ステップ３２１１で、ｔｅｍｐＬｉｓｔリストに追加される。そうでない場合、ステップ３２１２で判定されると、算出された残差測定がｔｅｍｐＬｉｓｔリスト内のあらゆる画像の算出された最も小さい測定より小さいとき、ステップ３２１３で、ｔｅｍｐＬｉｓｔ内で最も大きい残差測定を有する画像が削除され、ステップ３２１１で、再帰への呼出しによって戻された画像は、ｔｅｍｐＬｉｓｔリストに追加される。ステップ３２１４で、このルーチンは、最も内側のｆｏｒループを継続するか否かを判定する。ステップ３２１５で、このルーチンは、ステップ３２０５〜３２１５の中間レベルのｆｏｒループを考察するか否かを判定する。ステップ３２１６で、このルーチンは、ステップ３２０４〜３２１６の最も外側のｆｏｒループ内でより多くの画像について考察するべきか否かを判定する。
【０１０４】
図３３は、図３２のステップ３２０８で呼び出される「再帰」ルーチンに対する制御流れ図を提供する。ステップ３３０２で、幾何学的要素の開始点が受け取られ、図３１のステップ３１０５で、局所変数ｔｍｐは、現在の階層的な処理レベルに対して選択された幾何学的要素のグループに設定される。ステップ３３０４で、受け取った要素は、受け取った画像内の特徴のグループに整合される。整合ステップ３３０４は、その要素を、閾値より大きい整合品質値をもたらす画像の１つまたは複数のより低いレベルの要素またはスポットに整合させようとする。ステップ３３０６で判定されると、整合の品質が閾値より大きいとき、ステップ３３０８で、要素が整合された特徴のグループはこの要素と置き換えられ、ステップ３３１０で、要素のグループｔｍｐから別の要素がランダムに選択され、ステップ３３１２で、「再帰」ルーチンが再帰的に呼び出される。そうではない場合、ステップ３３１４で、その要素は要素のグループｔｍｐから除去される。次いで、ステップ３３１７で、ステップ３３１６〜３３２１のｗｈｉｌｅループ内で、要素のグループｔｍｐから要素がランダムに選択され、ステップ３３１８で、その要素は画像内の特徴のグループに整合される。ステップ３３１９で判定されると、整合品質がある閾値品質より大きいとき、ステップ３３０８で、その特徴のグループはこの要素と置き換えられ、ステップ３３１０で、ｔｍｐから要素がランダムに選択され、ステップ３３１２で、「再帰」ルーチンが再帰的に呼び出される。そうではない場合、ステップ３３２０で、その要素は要素のリストｔｍｐから除去される。ステップ３３２１で判定されると、要素のリストｔｍｐが空ではないとき、次の反復のため、ステップ３３１６〜３３２１のｗｈｉｌｅループに再び入る。そうではない場合、「再帰」ルーチンは戻る。
【０１０５】
本発明の様々な実施形態では、ステップ３３０６および３３１９で使用される整合品質測定は、様々な異なる考察を含むことができる。整合品質は、幾何学的要素が適合されている画像内の特徴のグループをどれだけうまく対象に含め、または重複するかを反映するように算出することができる。整合品質はまた、確率の低い、または不可能なより高いレベルの特徴をもたらすはずの整合を未然に防ぐために、画像が得られる試料に関する様々な外部情報を組み込むことができる。整合ステップ３３０４および３３１８で、より低いレベルの特徴に対する最もよい適合を実現するために、画像処理タスクの次元性に応じて、要素を２次元または３次元に回転および／または拡大縮小させることができるが、拡大縮小と回転はどちらも、外部情報によって制約することができる。
【０１０６】
図３４は、本発明の一実施形態である撮像システム内で画像処理ステップを実行する典型的な電子コンピュータを示す。コンピュータシステムは、１つもしくは複数の中央演算処理装置（「ＣＰＵ」）３４０２〜３４０５、１つもしくは複数のＣＰＵ／メモリサブシステムバス３４１０によってＣＰＵと相互接続された１つもしくは複数の電子メモリ３４０８、ＣＰＵ／メモリサブシステムバス３４１０を追加のバス３４１４および３４１６と相互接続する第１のブリッジ３４１２、または複数の高速シリアル相互接続を含む他のタイプの高速相互接続媒体を含む。これらのバスまたはシリアル相互接続は、ＣＰＵおよびメモリを図形処理装置３４１８などの特殊な処理装置と接続し、また１つまたは複数の追加のブリッジ３４２０と接続する。ブリッジ３４２０は、様々な異なるタイプの大容量記憶デバイス３４２８、電子表示装置、入力デバイス、ならびに他のそのような構成要素、サブ構成要素、および演算資源へのアクセスを提供する高速シリアルリンクまたは制御装置３４２７などの複数の制御装置３４２２〜３４２７と相互接続される。本発明の実施形態はまた、分散型のコンピュータシステム上で実施することもでき、部分的にハードウェア論理回路内で実施することもできる。
【０１０７】
本発明について、特定の実施形態の点から説明したが、本発明をこれらの実施形態に限定しようとするものではない。修正形態は、当業者には明らかであろう。たとえば、本発明の実施形態である撮像システムで使用される演算処理方法の多くの異なる実装形態は、プログラミング言語、制御構造、モジュラ構成、データ構造、基本的な動作システム、および他の実装パラメータを含む一般的な実装パラメータを変更することによって得ることができる。これらの演算画像処理ステップは、図７を参照して上記で論じたものなどの光学構成要素と検出器の両方を含む蛍光顕微鏡法機器または他の撮像システム、ならびに大容量の多重処理コンピュータシステムならびに大容量の電子メモリおよび大容量記憶デバイスを含むことが多いデータ処理およびデータ記憶構成要素内に組み込まれる。本発明の記載の実施形態は、蛍光顕微鏡法を対象とするが、本発明の代替実施形態は、複数の中間画像を獲得して組み合わせて最終画像を生成する他のタイプの顕微鏡法、光学撮像、または他のタイプの撮像を対象とすることができる。
【０１０８】
上記の記載では、本発明の徹底的な理解を提供するために、説明の目的で特有の命名法を使用した。しかし、本発明を実施するのに特有の詳細は必須ではないことが、当業者には明らかであろう。本発明の特有の実施形態の上記の記載は、図示および説明の目的で提示される。これらの記載は、排他的なものではなく、または開示した正確な形態に本発明を限定しようとするものではない。上記の教示の点から、多くの修正形態および変形形態が可能である。これらの実施形態は、本発明の原理およびその実際の応用例について最もよく説明するために図示および記載され、それによって当業者は、企図する特定の用途に適した様々な修正形態を用いて、本発明および様々な実施形態を最もうまく利用することができる。本発明の範囲は、以下の特許請求の範囲およびその均等物によって定義されるものである。
【技術分野】
【０００１】
関連出願の相互参照
本願は、２００９年１２月２３日出願の仮出願第６１／２８９，９１６号の利益を主張する。
【０００２】
本発明は、撮像技術に関し、詳細には、時間とともに比較的弱い信号を検出し、検出された信号を使用して信号発光体の位置を判定する撮像システムに関する。
【背景技術】
【０００３】
現在の科学研究では、小さい物体または遠くの物体の画像を獲得するには、極めて高解像度の電子顕微鏡、極めて高解像度の走査型トンネル（「ＳＴＭ」）、および原子間力（「ＡＦＭ」）撮像機器、ならびに多くの異なるタイプの光学顕微鏡、望遠鏡、および画像生成センサを含めて、多くの異なるタイプの撮像システムが用いられる。大部分のタイプの撮像デバイス、機器、および技法と同様に、異なるタイプの顕微鏡法に関連して、多くの異なる妥協および兼合いが存在する。たとえば、透過電子顕微鏡法は、固定されて薄く切断された試料上で実施され、したがって本質的に２次元の非生物試料上での使用に制約される。走査型トンネルおよび原子間力顕微鏡法は、材料の表面の高解像度の画像を得るための非光学技法であるが、表面より下の大量の試料のナノスケールまたはマイクロスケールの内容に関する情報を得るために使用することはできない。すべてのタイプの顕微鏡法は、解像度の制限によって何らかの形で制約されるが、光学顕微鏡法は、「回折限界」と呼ばれるおそらく最もよく知られている解像度の制限に関連する。回折限界は、従来の可視光による光学顕微鏡法を、約２００ｎｍという解像限界に制限する。
【０００４】
過去２０年間、光学蛍光顕微鏡機器によって、従来の光学顕微鏡法に対する回折限界の解像度を著しく下回る解像度で、蛍光標識付きの試料、ほとんどの場合は生体試料の撮像を可能にするために、様々な超解像技法が開発されてきた。これらの技法は、蛍光体標識付きの試料から放射される蛍光を時間とともに収集することに基づく。発光する蛍光体が約２００ｎｍより大きい距離だけ互いから分離されるという条件で、または言い換えれば、試料内の蛍光体の位置が従来の光学顕微鏡法によって解像可能なはずであるという条件で、試料内の蛍光体の位置は、特定の場合、１０ｎｍ未満の解像度まで判定することができる。しかし、蛍光性の発光信号は、発光する蛍光体が試料内でまばらに構成されるときのみ解釈できるため、蛍光体標識付き物体の超解像の最終画像を構築するには、まばらに構成された蛍光体の異なるセットから、通常多数の中間画像を作り出す必要がある。したがって、超解像の画像は、比較的弱い信号を蓄積して多数の中間画像を作り出すのに必要な時間を犠牲にして得られる。超解像の撮像に必要な時間は、超解像の画像が構築される比較的弱い信号を収集するのに必要な期間にわたって動き、かつ形状を変化させる傾向のある生細胞の撮像には好ましくない。比較的弱い信号を収集するのに必要な期間が長い結果、紫外光を含む有害または致命的なレベルの電磁放射に生細胞が露出されることもある。また、撮像される試料のタイプにかかわらず、超解像の撮像に十分なデータを獲得するのに必要な時間は、相当な実験上の制約になることもある。上記すべての理由のため、超解像撮像の方法論および機器類を設計および開発、製造、ならびに使用する者は、現在利用可能な超解像の方法論および機器類より少ない時間および試料準備上の制約を伴う新しく改善された方法論および機器類を探求し続けている。
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明の実施形態は、撮像技術を対象とし、詳細には、時間とともに比較的弱い信号を検出し、検出された信号を使用して信号発光体の位置を判定する撮像システムを対象とする。本発明の特定の実施形態は、光学顕微鏡法に関連する回折限界の解像度より著しく大きい解像度で試料の画像を作り出すために蛍光体標識付きの試料を撮像する方法およびシステムを対象とする。本発明の実施形態は、重複する発光体画像の曖昧性除去を用いて、高密度に構成された発光体からデータを収集することができ、それによって、中間画像を作り出すためのデータ収集時間、ならびに高解像度の最終画像を演算的に構築するのに必要な中間画像の数を著しく低減させる。本発明の追加の実施形態は、階層的な画像処理技法を用いて、曖昧性を除去された画像をさらに改良および解釈する。
【図面の簡単な説明】
【０００６】
【図１】図１Ａは、典型的な光学顕微鏡を示す図である。図１Ｂは、典型的な光学顕微鏡を示す図である。
【図２】図２Ａは、生体試料の可視光による光学顕微鏡撮像に関連する撮像上の問題を示す図である。図２Ｂは、生体試料の可視光による光学顕微鏡撮像に関連する撮像上の問題を示す図である。
【図３】図３Ａは、緑色蛍光蛋白質（「ＧＦＰ」）の特性を示す図である。図３Ｂは、緑色蛍光蛋白質（「ＧＦＰ」）の特性を示す図である。
【図４】中性型とアニオン型の間のＧＦＰ蛍光体の相互変換を示す図である。
【図５】図５Ａは、ＧＦＰおよびＧＦＰ＊の吸収曲線および放射曲線を示す図である。図５Ｂは、ＧＦＰおよびＧＦＰ＊の吸収曲線および放射曲線を示す図である。
【図６】図６Ａは、蛍光顕微鏡法で使用される様々な異なる蛋白質および化学蛍光体に対して観察される様々なタイプの吸収特性および放射特性を示す図である。図６Ｂは、蛍光顕微鏡法で使用される様々な異なる蛋白質および化学蛍光体に対して観察される様々なタイプの吸収特性および放射特性を示す図である。図６Ｃは、蛍光顕微鏡法で使用される様々な異なる蛋白質および化学蛍光体に対して観察される様々なタイプの吸収特性および放射特性を示す図である。
【図７】蛍光顕微鏡内の光路を示す図である。
【図８】図８Ａは、蛍光顕微鏡法によって生体試料に対して得られる大きいコントラストを示す図である。図８Ｂは、蛍光顕微鏡法によって生体試料に対して得られる大きいコントラストを示す図である。
【図９】標準的な光学顕微鏡または蛍光顕微鏡などの光学系の抽象的な図である。
【図１０】光学撮像に対する数学的モデルを示す図である。
【図１１】光学撮像に対する数学的モデルを示す図である。
【図１２】光学撮像に対する数学的モデルを示す図である。
【図１３】図１２を参照して論じるインパルス応答関数ｈ（ｘ，ｙ；ｘ’，ｙ’）の特性を示す図である。
【図１４】図１２を参照して論じるインパルス応答関数ｈ（ｘ，ｙ；ｘ’，ｙ’）の特性を示す図である。
【図１５】図１２を参照して論じるインパルス応答関数ｈ（ｘ，ｙ；ｘ’，ｙ’）の特性を示す図である。
【図１６】図１２を参照して論じるインパルス応答関数ｈ（ｘ，ｙ；ｘ’，ｙ’）の特性を示す図である。
【図１７】光学系へ入力される画像およびその光学系に対するインパルス応答関数から光学系の出力画像を算出するための、図１２を参照して上記で論じた畳み込みに基づく数学的モデルを示す図である。
【図１８】光学系へ入力される画像およびその光学系に対するインパルス応答関数から光学系の出力画像を算出するための、図１２を参照して上記で論じた畳み込みに基づく数学的モデルを示す図である。
【図１９】光学顕微鏡法に関連する回折限界を示す図である。
【図２０】図２０Ａは、超解像の顕微鏡法の基本を示す図である。図２０Ｂは、超解像の顕微鏡法の基本を示す図である。
【図２１】現在実施されている超解像の蛍光顕微鏡法を示す図である。
【図２２】現在実施されている超解像の撮像技法について説明する制御流れ図である。
【図２３】本発明の一実施形態である高密度の確率的サンプリング撮像（「ＤＳＳＩ」）について説明する制御流れ図である。
【図２４Ａ】本発明の一実施形態によって用いられる、図２３のステップ２３０８で呼び出される「重複する発光体画像の曖昧性の除去」ルーチンの制御流れ図である。
【図２４Ｂ】本発明の一実施形態によって用いられる、「重複する発光体画像の曖昧性の除去」ルーチンによって呼び出される「混合モデルの適用」ルーチンの制御流れ図である。
【図２５】本発明の一実施形態による、重複する発光体画像の曖昧性を除去する際に使用される様々なステップを示す図である。
【図２６】本発明の一実施形態による、重複する発光体画像の曖昧性を除去する際に使用される様々なステップを示す図である。
【図２７】本発明の一実施形態による、重複する発光体画像の曖昧性を除去する際に使用される様々なステップを示す図である。
【図２８】本発明の一実施形態による、重複する発光体画像の曖昧性を除去する際に使用される様々なステップを示す図である。
【図２９】本発明の一実施形態による、重複する発光体画像の曖昧性を除去する際に使用される様々なステップを示す図である。
【図３０Ａ】本発明の一実施形態による、図２３のステップ２３１３および２３１４で実施されるプロセスを示す図である。
【図３０Ｂ】本発明の一実施形態による、図２３のステップ２３１３および２３１４で実施されるプロセスを示す図である。
【図３０Ｃ】本発明の一実施形態による、図２３のステップ２３１３および２３１４で実施されるプロセスを示す図である。
【図３０Ｄ】本発明の一実施形態による、図２３のステップ２３１３および２３１４で実施されるプロセスを示す図である。
【図３１】本発明の一実施形態による、図２３の階層的な演算画像処理ステップ２３１３について説明する制御流れ図である。
【図３２】本発明の一実施形態による、図２３の階層的な演算画像処理ステップ２３１３について説明する制御流れ図である。
【図３３】本発明の一実施形態による、図２３の階層的な演算画像処理ステップ２３１３について説明する制御流れ図である。
【図３４】本発明の一実施形態である撮像システム内で画像処理ステップを実行する典型的な電子コンピュータを示す図である。
【発明を実施するための形態】
【０００７】
本発明の実施形態は、撮像技術を対象とし、詳細には、時間とともに比較的弱い信号を検出し、検出された信号を使用して信号発光体の位置を判定する撮像システムを対象とする。以下の議論では、従来の光学顕微鏡のいわゆる回折限界の解像度より大きい解像度で試料、特に生体試料を撮像する方法および機器類を対象とする本発明の実施形態は、本発明について説明するための文脈として働く。しかし、本発明の代替実施形態は、多くの他の撮像適用分野を対象とする。本発明の実施形態は、重複する発光体画像の曖昧性を除去するため、幾何学的要素を画像へ階層的に適合させて生画像をさらに改良するため、そして画像を解釈するために、以下でより詳細に論じる様々な演算画像処理方法論を用いる。
【０００８】
図１Ａ〜Ｂは、典型的な光学顕微鏡を示す。図１Ａは、光学顕微鏡１０２の外観を示し、図１Ｂは、典型的な光学顕微鏡内の光路１０４を示す。光学顕微鏡は、土台１０６および垂直支持部１０８を含み、土台１０６と垂直支持部１０８はともに、光源１１０と、試料台１１２と、多数の回転可能に取り付けられた対物レンズ１１４と、２つの接眼鏡１１６および１１８それぞれの中の１つまたは複数の接眼レンズとを支持する。試料は通常、ガラススライド上に配置され、ガラススライドは、観察のために試料台１１２の上部表面に取り付けられる。対物レンズと試料の間の距離は、試料内で特定の水平平面を光学的に集束させるように、焦点つまみ１２０によって調整することができる。顕微鏡内では、光学的光路は、光源１２６によって放射される光を含む。この光は、試料、１つまたは複数の対物レンズ１２８、１つまたは複数の結像レンズ、１つまたは複数の接眼レンズ１３０を通過し、人間の目、カメラ、電荷結合デバイス検出器（「ＣＣＤ」）、または他のタイプの空間強度検出器内の画像平面１３２上へレンズ系によって集束される。
【０００９】
図２Ａ〜Ｂは、生体試料の可視光による光学顕微鏡撮像に関連する撮像上の問題を示す。図２Ａは、生体試料２０２内の物体平面の概念化された抽象的な円板状部分を示す。物体平面のこの部分は、様々な異なるタイプのマイクロスケールおよびマイクロスケール以下の細胞構造２０４〜２１５を含む。これらの構造は、様々な内部の細胞小器官、細胞内の膜、および他のそのような細胞成分を含むことができる。異なる細胞成分は、異なる機能および化学組成を有することができるが、通常は類似の光学特性を有し、したがって、図２Ｂに示すように、従来の光学顕微鏡法を使用して見ると、互いに比較的画一的に見え、背景から区別できないことが多い。異なるタイプの細胞成分間のコントラストを改善するために、顕微鏡使用者は、異なる成分によって異なる形で吸収される様々な化学着色料で生体試料を着色することが多い。しかし、多くの異なるタイプの成分は、着色した後でも互いに区別できないままであり、より重要なのは、着色料が通常、細胞に有毒であり、着色および固定プロセスが通常、生物組織の細胞を死滅させることを伴うことである。
【００１０】
より最近、蛍光顕微鏡法および機器類は、図２Ａ〜Ｂを参照して上記で論じた問題を含めて、従来の光学顕微鏡法に関連する撮像上の問題のいくつかに対処するように開発されてきた。蛍光顕微鏡法は、緑色蛍光蛋白質（「ＧＦＰ」）、ならびに関連する生物学的および化学的蛍光体の発見および活用によって、著しく進化してきた。緑色蛍光蛋白質とは、最初はオワンクラゲから分離された、２３８個のアミノ酸（２６．９ｋＤａ）の蛋白質である。図３Ａ〜Ｂは、緑色蛍光蛋白質（「ＧＦＰ」）の特性を示す。図３Ａの立体画像は、ＧＦＰのβバレル３次元構造を示す。βバレルの内部では、ＧＦＰの複数のアミノ酸単量体サブユニットの側鎖が組み合わさって、蛍光体を作り出す。この蛍光体の化学構造を、図３Ｂに示す。図３Ａでは、指向されたリボンによって表されるＧＦＰβバレル内の球棒モデルとして蛍光体を示す。
【００１１】
図４は、中性型とアニオン型の間のＧＦＰ蛍光体の相互変換を示す。ＧＦＰ内の蛍光体が中性型であるとき、このＧＦＰは活性化されておらず、以下の議論では、「ＧＦＰ」と呼ぶ。ＧＦＰ内の蛍光体がアニオン型４０４であるとき、このＧＦＰは活性化されており、「ＧＦＰ＊」と呼ぶ。図５Ａ〜Ｂは、ＧＦＰおよびＧＦＰ＊に対する吸収曲線および放射曲線を示す。図５Ａと図５Ｂではどちらも、吸収または放射された光の波長に対する吸収曲線および放射曲線を水平軸５０２および５０４上に示し、垂直軸５０６および５０８は、相対的な吸収率および相対的な放射率を表す。図５Ａ〜Ｂの吸収率曲線は、実線の曲線５１０および５１２であり、放射率曲線は、破線の曲線５１４および５１６である。図５Ａは、主にＧＦＰであるが比較的少量のＧＦＰ＊も含有する平衡混合物に対する相対的な吸収率および相対的な放射率を示し、そのような平衡混合物は、照射前のＧＦＰ溶液の状態を表す。この吸収率曲線は双峰形であり、大きいピーク５２０は３９５ｎｍであり、低い方のピーク５２２は４７５ｎｍである。この双峰形の吸収ピークは、ＧＦＰとＧＦＰ＊の平衡混合物に対応すると考えられる。極大吸収率が３９５ｎｍであるＧＦＰによって光が吸収されることで、ＧＦＰをＧＦＰ＊に変換し、ＧＦＰ＊は、放射曲線のピーク５２２に対応する５０８ｎｍの極大放射率で蛍光を放射する。平衡混合物中により少ない量だけ存在するＧＦＰ＊は、波長４７５ｎｍの光を極大まで吸収し、５０３ｎｍの極大放射率で蛍光を放射する。ＧＦＰが、ある期間にわたって３９５ｎｍの光によって強く照射されると、ＧＦＰの大部分は、ＧＦＰ＊に変換される。その後、溶液の吸収率プロファイルは、図５Ｂに示すものに変化し、単一の支配的な吸収ピーク５２６は、ＧＦＰ＊による最大吸収の波長に対応して４７５ｎｍになる。したがって、本質的に２つの異なる状態のＧＦＰが存在する。活性化されていない状態であるＧＦＰは、３９５ｎｍで光を極大まで吸収し、５０８ｎｍで蛍光を極大まで放射するが、活性化されたＧＦＰであるＧＦＰ＊は、波長４７５ｎｍの光を極大まで吸収し、波長５１０ｎｍの蛍光を極大まで放射する。
【００１２】
ＧＦＰに対する遺伝子は、ＧＦＰ蛍光体で蛋白質に標識付けするために、有機体の特定の蛋白質成分を符号化する遺伝子内へ接合することができる。標準的な分子生物学的な技法を使用することによって、科学者は、個々の蛋白質ならびに個々の蛋白質含有細胞成分および構造に、精密に蛍光標識を付けることができる。重要なのは、細胞を死滅させたり、正常の細胞機能を乱したりすることなく、生細胞内へＧＦＰ蛍光体標識を導入できることである。したがって、生物組織の蛍光体標識付けおよび蛍光顕微鏡法は、図２Ａ〜Ｂを参照して論じた撮像上の問題、ならびに生体試料内のコントラストを増大させるために使用される化学着色料および他の技法に関連する問題に対処する方法およびシステムを提供する。
【００１３】
ＧＦＰの発見以来、異なる吸収および放射特性を有する多数のＧＦＰ変異体が開発されており、また蛍光顕微鏡法で使用するために、他の蛍光性蛋白質および化学蛍光体が発見および／または活用されてきた。図６Ａ〜Ｃは、蛍光顕微鏡法で使用される様々な異なる蛋白質および化学蛍光体に対して観察される様々なタイプの吸収特性および放射特性を示す。図６Ａ〜Ｃでは、蛍光体を「Ｆ」の記号で表す。非蛍光性の形態の蛍光体を、「ＦＤ」と呼ぶ。脱色されて非蛍光性の形態の蛍光体を、「ＦＢ」と呼ぶ。蛍光を放射するために励起できる異なる蛍光性の形態の蛍光体を、「ＦＡ」、「ＦＡ１」、および「ＦＡ２」と呼ぶ。刺激されて活性化された蛍光体を、上付き記号「＊」で示す。異なる非蛍光性の活性化された形態の蛍光体は、蛍光体の構造上異なる化学形態、蛍光体の異なる化学環境、または蛍光体による光の吸収および放射に影響する他の比較的安定した差を表すことができる。励起された形態の蛍光体の電子は、光エネルギーを吸収して励起された状態に促進されており、その後、蛍光を放射することによって、この状態から弛緩する。
【００１４】
図６Ａは、最初に非蛍光性の形態６０２で生じる、蛍光顕微鏡法で使用される第１のタイプの蛍光体を示す。第１の周波数ν１６０４の光によって照射されると、非蛍光性の異性体は、活性化された蛍光性の形態６０６に変換される。蛍光性の形態６０６は、第２の周波数ν２６０８の光の吸収によって励起されて、励起された形態の蛍光体６１０を生じさせ、その後、蛍光６１２を放射し、励起されていない活性化された形態の蛍光体６１４に戻る。蛍光体は、数百、数千、またはそれ以上の励起／放射サイクルを受けることがあるが、第２の周波数の光による連続照射下で、最終的には脱色された形態６１６に変わり、活性化することも、励起して蛍光を発することもできなくなる。図６Ｂは、２つの異なる励起状態ＦＡ１＊６２０およびＦＡ２＊６２２を特徴とする第２のタイプの蛍光体を示す。第１の形態ＦＡ１６２４は、第１の周波数６２６の光の吸収によって励起され、励起された形態ＦＡ１＊６２０になり、この形態から、励起された蛍光体が弛緩してＦＡ１状態になるとき、蛍光放射６２８によって第２の周波数の光が放射される。第３の周波数６３０の光による蛍光体の照射は、蛍光体を第２の状態ＦＡ２６３２に変換し、この蛍光体を、第４の周波数６３４の光の照射によって励起し、第５の周波数６３５の光を蛍光放射する第２の励起状態６２２にすることができる。２つの蛍光性の形態はいずれも、連続照射によって脱色してＦＢ状態６４０および６４２にすることができる。図６Ｃは、ＦＤ状態６４４とＦＡ状態６４６の間を可逆的に相互変換できる第３のタイプの蛍光体を示す。図６Ａを参照して説明した蛍光体の励起と同様に、ＦＡ形態を励起して、光を蛍光放射することができる。
【００１５】
図７は、蛍光顕微鏡内の光路を示す。多くの異なるタイプの蛍光顕微鏡および対応する光路が存在する。図７は、蛍光顕微鏡のすべての異なる周知の変形形態内の光路について説明しようとするものではなく、代わりに、蛍光顕微鏡法の一般原則を示すものである。蛍光励起光７０２が、レーザ７０４などの光源から放射され、励起光フィルタ７０６を通過する。励起光は、対角線の２色性ミラー７０８から反射され、１つまたは複数の対物レンズ７１０を通って、台７１４に取り付けられた試料７１２上へ進む。励起光は、上記で論じたように、試料内の蛍光体を励起して、蛍光を放射する。図７にダッシュ記号および星印からなる破線７１６によって示す放射された蛍光は、１つまたは複数の対物レンズ７１０を通過し、２色性ミラー７０８を通って伝送され、放射フィルタ７２０および１つまたは複数の結像レンズ７２２を通って、検出器７２４の画像平面へ進む。光源によって放射される励起光は、破線の矢印７２６などの破線の矢印によって示すように、試料から散乱し、１つまたは複数の対物レンズを通って後方散乱するあらゆる励起光は、２色性ミラーの表面から反射され、または放射フィルタ７２０によって吸収される。したがって、蛍光顕微鏡の光学構成要素は主に、試料内の蛍光体によって放射される蛍光を検出器で撮像する。
【００１６】
図８Ａ〜Ｂは、蛍光顕微鏡法によって生体試料に対して得られる大きいコントラストを示す。図８Ａ〜Ｂは、図２Ａ〜Ｂで使用したのと同じ図示規則を使用する。図８Ａは、図２Ａに示すのと同じ生体試料内の物体平面の円板状部分を示す。図８Ｂは、ＧＦＰまたは別の生物もしくは化学蛍光体によって生体試料上の構造２０９に標識を付けたときに生体試料内の物体平面から蛍光顕微鏡法によって生成される画像を示す。蛍光顕微鏡は主に、標識付き構造からの蛍光放射を検出する。この構造は、蛍光顕微鏡法によって生じる画像８０４内の試料の他の特徴に対して高いコントラスト８０２で表示される。
【００１７】
図９は、標準的な光学顕微鏡または蛍光顕微鏡などの光学系の抽象的な図を提供する。通常、光学系９０２は、物体平面９０４内の入力画像９０４を集束および拡大させて、画像平面９１０上に拡大画像９０８を形成する。顕微鏡法では、物体平面は通常、試料内の光軸に対して垂直な平面であり、同じく光軸に対して垂直な画像平面は通常、ＣＣＤ検出器、人間の目の網膜、または別のタイプの検出器内の画像平面である。
【００１８】
図１０〜１２は、光学撮像に対する数学的モデルを示す。図１０〜１２は、図９で使用したのと同じ図示規則または類似の図示規則を使用する。図１０に示すように、物体平面１００２の入力画像は、関数Ｉ（ｘ，ｙ，ｚ＝０）として説明することができる。上式で、ｘおよびｙは、画像平面内の直交する次元であり、ｚは、画像平面および光学系構成要素に対して垂直な光軸に対応する。関数Ｉ（ｘ，ｙ）の値は、物体平面内の各点の光の強度を表し、表面１００４と考えることができる。入力画像Ｉ（ｘ，ｙ，ｚ＝０）は、波動関数の２乗の大きさとして数学的にモデル化することができる。
【００１９】
【数１】
【００２０】
この波動関数は、次のように、周波数νの単色光に対してベクトル形式で表すことができる。
【００２１】
【数２】
【００２２】
関数Ｕ（ｒ，ｔ）は、「波動方程式」
【００２３】
【数３】
【００２４】
として知られている微分方程式、および「ヘルムホルツの方程式」
【００２５】
【数４】
【００２６】
として知られている微分方程式を満たす関数である。Ｕ（ｒ）は、光波に対する時不変の複素振幅であり、Ｕ（ｒ，ｔ）は、光波の時間依存型モデルである。画像Ｉ（ｘ，ｙ）は時不変であり、複素振幅Ｕ（ｒ）のみに依存する。この波動関数は、位置および時間のスカラー関数であり、したがって、光に対する完全な数値ではないが、多くの光学的現象について説明するには十分である。
【００２７】
図１１に示すように、レンズ１１０２は、入力関数ｆ（ｘ，ｙ）＝Ｕ（ｘ，ｙ，０）を出力関数ｇ（ｘ，ｙ）＝Ｕ（ｘ，ｙ，ｆ）に変換する光学系としてモデル化することができる。入力関数ｆ（ｘ，ｙ）および出力関数ｇ（ｘ，ｙ）は、それぞれ物体平面および画像平面における光波に対する時間非依存型の波動関数と同等である。入力関数ｆ（ｘ，ｙ）は、空間次元ｘおよびｙの調和関数の重ね合わせとしてモデル化することができる。
【００２８】
【数５】
【００２９】
これらの係数Ｆ（ｖｘ，ｕｙ）は、次のフーリエ変換によって得られる。
【００３０】
【数６】
【００３１】
入力関数ｆ（ｘ，ｙ）に関してレンズを操作して出力関数ｇ（ｘ，ｙ）を生じさせることは、次のように表すことができる。
【００３２】
【数７】
【００３３】
言い換えれば、出力画像は、入力画像ｆ（ｘ，ｙ）の調和成分を出力画像ｇ（ｘ，ｙ）内の異なる点に集束させることによって生成される周波数領域画像である。出力画像ｇ（ｘ，ｙ）は、入力画像ｆ（ｘ，ｙ）のフーリエ変換である。
【００３４】
図１２は、撮像光学系に対する数学的モデルを示す。入力画像１２０２は、上記で論じたように、第１のレンズ１２０４によって周波数領域画像１２０６に変換され、第２のレンズ１２０８は、第２の逆フーリエ変換としてモデル化されたプロセスによって、周波数領域画像１２０６を最終の空間領域出力画像ｇ（ｘ，ｙ）１２１０に変換する。プロセス全体は、次の畳み込みとして、より数学的にモデル化することができる。
【００３５】
【数８】
【００３６】
上式で、ｈ（ｘ，ｙ；ｘ’，ｙ’）は、光学系に対するインパルス応答関数である。以下でより詳細に論じるように、出力画像は、入力画像によるインパルス応答関数の畳み込みとして算出することができる。入力画像を拡大する光学系の場合、入力画像の座標ｘ’およびｙ’は、出力画像の座標ｘ＝ｘ’Ｍおよびｙ＝ｙ’Ｍに対応することに留意されたい。上式で、Ｍは拡大係数である。
【００３７】
図１３〜１６は、図１２を参照して上記で論じたインパルス応答関数ｈ（ｘ，ｙ；ｘ’，ｙ’）の特性を示す。図１３に示すように、物体平面１３０４上の点（０，０）１３０２に対応するインパルス応答関数ｈ（ｘ，ｙ；０，０）は、画像平面内に円形の横断面１３０８を有する２つの裂片がある強度分布１３０６であり、２つの裂片がある分布の第１の裂片１３１０は、ｚ軸の周りで円筒状に対称であり、画像平面から物体平面の方へ後ろに突出しており、同じく光軸の周りで円筒状に対称である第２の裂片１３１２は、画像平面内の円形の横断面１３０８から、物体平面から離れる方へ外側に突出する。図１３および後の図では、インパルス応答関数の図示の表面は、一定の強度の表面である。概念化されたインパルス応答関数は、実空間に縛られることなく延びる。しかし、出力画像空間内の点（０，０）から任意の方向に特定の距離だけ離れると、入力応答関数の強度は、任意に低い値まで低下し、したがってたとえば、下回ると強度を検出できない強度レベルに対するインパルス応答関数について説明するために、一定の強度の表面を構築することができる。インパルス応答関数は、物体平面内の点源を出力画像空間内の強度分布に写像し、または別法として、点源の画像として写像する関数と見なすことができる。出力画像は、ｚ方向に画像平面からの距離とともにますます焦点が合わなくなる。距離とともに点源の画像がぼやけることは、出力画像平面からの距離が増大するとともにインパルス応答関数の円形の横断面の半径が最初に増大することに反映される。その後、画像平面からの距離がより大きくなるとともに円形の横断面の半径が低減することは、画像平面内の原点（０，０）からの距離とともに強度が低減することに関係する。
【００３８】
図１４は、３次元出力画像空間内のインパルス応答関数の一定の強度の表面を示す。図１４に示すように、蛍光顕微鏡使用者は一般に、対物レンズに対して固定の位置で一連の画像の各画像を獲得した後、試料と対物レンズの間の距離を変化させることによって、試料内の一連の物体平面１４０２〜１４０７を撮像する。これにより、対応する１組の出力画像１４１０〜１４１６を作り出す。３次元入力画像空間内の点（０，０，０）に関する１組の入力画像が光学系によって撮像されるとき、点（０，０，０）に対応する３次元のインパルス応答関数は、３次元の出力画像空間内で円筒状に対称な楕円体１４２０である。ｘ、ｙ、およびｚ方向の連続撮像を行う収差のない光学系では、インパルス応答関数ｈ（ｘ，ｙ；０，０）は、出力画像空間内の点（０，０，０）の周りで球面状に対称である。この場合も、インパルス応答関数は、すべての実空間の出力画像空間内の点（０，０，０）から外側に延びる。しかし、強度は、点（０，０，０）からの距離が増大するとともに低減し、したがって一定の強度の楕円体または球を構築して、インパルス応答関数を表すことができる。
【００３９】
図１５は、出力画像平面内の１つの次元におけるインパルス応答関数を示す。水平軸１５０２は、原点（０，０）を通過する出力画像平面内の線である。理論上のインパルス応答関数は、高くて比較的狭い中心ピーク１５０４を有し、高さが低減する２次ピーク１５０５〜１５１４は、中心ピークから離れて両方向に延びる。インパルス応答曲線の高さは、強度に対応し、水平軸１５０２は、出力画像平面内の原点からの直線距離に対応する。理論上のインパルス応答関数は、Ｊ１ベッセル関数の２乗に比例する。図１６は、３次元空間におけるインパルス応答関数の図を提供し、２つの水平軸１６０２および１６０４は、出力画像平面の平面内に位置して原点（０，０）で交差し、インパルス応答関数の表面上の任意の点における高さは、画像平面上の対応する位置で観察される強度に対応する。光学系によって作られるインパルス応答関数の画像は、インパルス応答関数の中心ピークに対応して、明るい中心の円板のように見え、半径が増大する同心円状の輪は、中心ピークを取り囲む輪または稜線に対応する。
【００４０】
図１７〜１８は、光学系へ入力される画像および光学系に対するインパルス応答関数から光学系の出力画像を算出するための、図１２を参照して上記で論じた畳み込みに基づく数学的モデルを示す。図１３〜１６に示すインパルス応答関数は、収差のない光学系の理論上のインパルス応答関数であることに留意されたい。しかし、光学系のすべての実際の実装形態では、多くの複雑な収差を数学的にモデル化するのは困難であるため、光学系に対するインパルス応答関数を算出することはできない。インパルス応答関数は、物体平面内の非常に小さい光源を撮像することによって、実験的に求められる。実際の光学系では、インパルス応答関数は、入力画像平面内の点源の位置に対して変動しうることにも留意されたい。しかし、以下の議論では、インパルス応答関数は通常、位置に依存しないものとする。
【００４１】
図１７は、図１２を参照して上記で論じた畳み込み方法によって出力画像を算出するために入力画像平面の面積全体にわたって繰り返される基本操作を示す。波動関数振幅ｆ（ｘ，ｙ）１７０４が対応する入力画像平面内の所与の点（ｘ，ｙ）１７０２は、振幅ｆ（ｘ，ｙ）の点光源と見なされ、この点光源から放射される光は、光学系１７０６を通過し、この光学系によって、振幅ｆ（ｘ，ｙ）１７１０を掛けた対応するインパルス応答関数１７０８に変換される。図１８に示すように、図１７に示す基本操作が入力画像平面１８０２内のすべての点に対して繰り返されるとき、各点の光源によって生成されるすべての入力応答関数の和が表面１８０４を形成し、出力画像平面内の対応する点（ｘ，ｙ）より上の表面ｇ（ｘ，ｙ）の高さは、その点における出力画像の強度である。したがって、表記を変化させると、出力画像ｉ（ｘ，ｙ）は、入力画像ｏ（ｘ’，ｙ’）によるインパルス応答関数または点拡がり関数（「ＰＳＦ」）ｓ（ｘ−ｘ’，ｙ−ｙ’）の畳み込みとして算出される。数学的な表記では、
【００４２】
【数９】
【００４３】
この畳み込み操作は、周波数領域では乗算操作になる。
【００４４】
【数１０】
【００４５】
上式で、Ｉ（ｕ，ｖ）は、出力画像ｉ（ｘ，ｙ）の周波数領域変換であり、τ（ｕ，ｖ）は、ＰＳＦのフーリエ変換である光伝達関数であり、Ｏ（ｕ，ｖ）は、入力画像ｏ（ｘ，ｙ）の周波数領域変換である。３次元撮像について考慮すると、これらの関係を次のように表すことができる。
【００４６】
【数１１】
【００４７】
逆畳み込み顕微鏡法では、入力画像ｏ（ｘ，ｙ，ｚ）の推定
【００４８】
【数１２】
【００４９】
をＰＳＦで畳み込んで、対応する算出された画像
【００５０】
【数１３】
【００５１】
【数１４】
【００５２】
を作り出す。
通常、畳み込みは、乗算操作によって周波数領域内で実施され、次いで、対応する周波数領域の実体が、逆フーリエ変換によって再び空間領域の均等物に変換される。Ｒ係数または残差は、算出された画像と観察された画像の差を反映するように算出することができる。
【００５３】
【数１５】
【００５４】
次いで、推定された入力画像を、入力画像の後のより良好な推定を作り出すように、ニュートン系の最適化技法などの様々な技法のいずれかによって変えることができ、この推定から、対応する出力画像を算出し、新しいＲ係数を生成することができる。このプロセスは、Ｒ係数が閾値を下回るまで反復される。Ｒ係数が閾値を下回ると、推定された入力画像が、光学系へ入力される実際の画像を十分に忠実に表すことを示す。
【００５５】
図１９は、光学顕微鏡法に関連する回折限界を示す。距離ｄ１’１９０６によって分離された物体平面内の２つの点
【００５６】
【数１６】
【００５７】
１９０２および
【００５８】
【数１７】
【００５９】
１９０４について考察する。光学系から出力されるこれらの２つの点の画像は、点
【００６０】
【数１８】
【００６１】
に対応する出力画像点（ｘ１，ｙ１）および（ｘ２，ｙ２）を中心とする２つの点拡がり関数１９１０および１９１２である。入力画像の点源から出力画像の点拡がり関数画像へ光が拡がることは、回折に関連する現象である。ｄ１’が十分に大きく、出力画像内の点拡がり関数ｄ１の中心間の対応する距離が点拡がり関数分布を分離し、したがって図１９に曲線１９１４で表す２つの点拡がり関数の和がはっきりと双峰形のままになるとき、出力画像内の点１９０２および１９０４の画像を互いに区別することができる。しかし、入力画像内の２つの点１９２０および１９２２が、十分に小さい距離ｄ２’１９２４によって分離され、したがって出力画像内の２つの点１９２６および１９２８の画像が重複し、図１９に曲線１９３０で表す２つの点拡がり関数の和が合わさって単一のピークになるとき、出力画像では２つの点１９２０および１９２２を互いに区別することができない。従来の光学顕微鏡法に対する最小の間隔または最大の解像度は通常、次のように見なされる。
【００６２】
【数１９】
【００６３】
上式で、λは光の波長であり、
ＮＡは、光学系に対する開口数である。
入力画像内の最小の間隔は、出力される点拡がり関数間の間隔に対応し、この間隔では、右側の点拡がり関数の第１の左側のゼロの点は、左側の点拡がり関数の第１の右側のゼロの点と一致する。撮像できる特徴の最小の離隔距離は、光学顕微鏡システムの場合、約２００ｎｍに対応する。最小の間隔または最大の解像度は、出力画像内の点源の点拡がり関数画像が回折の結果として得られるため、「回折限界」と呼ばれる。
【００６４】
１９９０年代まで、図１９を参照して論じた回折限界は、光学顕微鏡法に対する絶対的な解像限界であると見なされていた。しかし、過去２０年間、様々な超解像の蛍光顕微鏡技法が開発されてきた。図２０Ａ〜Ｂは、超解像の顕微鏡法の基本を示す。図２０Ａは、物体平面上の点２００４からｚ軸の方向に放射される光に対する光学系２００２の影響を示す。上記で論じたように、光学系は、画像平面内の円板状の点拡がり関数２００６にわたって光の強度を拡げる。したがって、点拡がり関数は、出力画像空間内の光学系による点源のリアルタイムの不鮮明化または拡散と見なされる。点状光源のこの不鮮明化は、複数の異なる理由のために発生する。１つの重要な理由は、レンズなどの光学構成要素が有限の開口を有し、したがって点源から放射される非干渉性の光のうち、より低角度の部分しか受け取らないことである。より高角度で放射される光線は、レンズの円板から外れ、したがって光路から外れる。光学構成要素に入らなかったより高角度の光線は、周波数領域内のより高い周波数に対応する。したがって、光学構成要素は、空間周波数フィルタとして作用する。逆フーリエ変換としてモデル化される第２のレンズによる光の集束は、光学構成要素によって高周波数の周波数領域信号が除去されるため、幾分ぼやけた空間領域画像を作り出す。光学構成要素に固有の様々なタイプの収差および他の要因を含めて、多くの追加の要因が、点拡がり関数によって表される出力画像内の光の分散に寄与する。
【００６５】
図２０Ｂに示すように、点拡がり関数について考察する第２の方法は、点拡がり関数が確率分布を表し、点拡がり関数によって点に関連付けられる強度が、個々の光子が光学系によってその点へ偏向される確率に対応することである。このように考えると、物体平面内の点状源が連続して撮像され、連続する画像がＣＣＤ検出器などの電子検出器によって時間とともに蓄積されると、出力画像内の蓄積された強度は、点拡がり関数に従って分散される。出力画像内で蓄積された強度が最も高い点は、画像平面内の蓄積された強度の分布をうまく形成するのに十分な期間にわたって出力光が収集されたとき、光学系の拡大係数を相殺した後の検出器の解像度の精度に等しい精度のところに位置することができる。この点は、画像平面内のＰＳＦに対応する点源の物体平面の位置に対応する。理論的には、出力画像内の対応するＰＳＦ分布の質量中心を使用して、点源の位置を１ｎｍ以上の解像度まで求めることは可能である。しかし、そのような精度を実現するには、出力画像における点拡がり関数画像が明らかに重複しないように、光を放射する点源を十分な距離だけ分離しなければならない。したがって、まばらに分散された蛍光体の位置は、回折限界以下の解像度まで求めることができるが、これらの蛍光体は、現在実施されている超解像の撮像技法に従って、任意の２つの蛍光体間の距離が１８０〜２００ｎｍの回折限界距離より大きくなるように、試料内に位置決めしなければならない。
【００６６】
図２１は、現在実施されている超解像の蛍光顕微鏡法を示す。試料に十分な密度の蛍光体で標識が付けられ、蛍光体の位置が精密に求められたとき、それらの位置はともに、蛍光顕微鏡使用者が関心をもつ構造、構成要素、または細胞小器官の画像を確実に作り出す。次いで、試料は固定化され、中間画像ごとに蛍光体の小さい部分集合を活性化して、活性化された蛍光体からの蛍光放射を励起することによって、試料から複数の中間画像が生成される。上記で論じた分離の制約を満たすのに十分なほど蛍光体を互いに分離するために、蛍光体の部分集合のみが活性化される。これらの技法は、図６Ａ〜Ｃを参照して上記で論じた蛍光体標識の特性を用いる。最初、蛍光体は暗い状態ＦＤである。試料は、蛍光体の部分集合を状態ＦＤから活性状態ＦＡに変換する光の周波数で弱く照射される。蛍光体の小さい部分集合の活性化は、本質的に確率的である。活性化は、蛍光体間の平均間隔が確実に回折限界の距離より著しく大きくなるように、弱い照射で実施され、その結果、図１９を参照して上記で論じたように、中心ピークを解像できず、したがって蛍光体位置に対する質量中心を精密に算出できない程度まで点拡がり関数画像が重複するのに十分なほど、２つの活性化された蛍光体が密接して隔置されることはない。中間画像に対するデータ収集後、活性の蛍光体は、活性の蛍光体を脱色するのに最も効果的な特有の波長の明るい光で照射され、その結果、再び活性化できなくなり、後の中間画像に対するデータ収集中に蛍光しなくなる。図２１に示すように、たとえば、中間画像２１０２〜２１０９はそれぞれ、異なる１組のまばらに構成されて活性化された蛍光体からデータを収集することによって作られる。次いで中間画像はともに加算２１１０され、試料内の蛍光体標識付きの構造、細胞小器官、細胞成分、または他の特徴を明らかにする最終の高解像度の複合画像２１１２を作り出す。この場合も、任意の１つの時点で同時に活性化される蛍光体の密度は、図２１に回折限界の体積２１１４によって示すように、それぞれの活性化された蛍光体が他のすべての活性化された蛍光体から少なくとも２００ｎｍの距離だけ分離されるような密度にする必要がある。
【００６７】
図２２は、現在実施されている超解像の撮像技法について説明する制御流れ図を提供する。ステップ２２０２で、蛍光体標識付きの試料が準備される。ステップ２２０４〜２２１０のｗｈｉｌｅループでは、図２１を参照して上記で論じたように、複数の中間画像が作られる。ステップ２２０４〜２２１０のｗｈｉｌｅループを反復するたびに、ステップ２２０５で次の１組の蛍光体が活性化される。活性化された蛍光体の密度は、図２１を参照して上記で論じた解像可能な最大密度以下である。ステップ２２０６で、活性化された蛍光体からの蛍光放射が励起され、次のデータセットが時間とともに収集される。ステップ２２０７で、活性化された蛍光体は、活性化された蛍光体を脱色するのに適当な波長の光によって明るく照射され、その組の蛍光体を後の中間画像から除去する。中間画像は、図２０Ｂおよび２１を参照して上記で論じたように、ステップ２２０８で、収集されたデータから、そのデータを分析して点源画像の質量中心を見出すことによって作られる。十分な解像度の最終画像を生成するのに十分なデータが蓄積されたとき、またはステップ２２０９で判定されると、作られた中間画像の数が閾値数を超過したとき、図２１を参照して上記で論じたように、ステップ２２１２で、蓄積された中間画像を処理して最終画像を作り出し、超解像の撮像プロセスが終了する。そうでない場合、制御はステップ２２０５に戻り、次の中間画像が作られる。
【００６８】
図２３は、本発明の一実施形態である高密度の確率的サンプリング撮像（「ＤＳＳＩ」）について説明する制御流れ図を提供する。図２３に提供する制御流れ図と図２２に提供する制御流れ図を比較すると、本発明のＤＳＳＩ撮像方法と現在実施されている超解像の撮像方法の違いが明らかになる。ステップ２３０２、２３０４、２３０６、２３０９、２３１０、および２３１２は、図２２の対応するステップ２２０２、２２０４、２２０６、２２０８、２２０９、および２２１２と同一または類似であり、したがって再度議論しない。一方、図２３のステップ２３０５、２３０７〜２３０８、および２３１３〜２３１４は、新規であり、または図２２の対応するステップとは異なり、これらのステップをＤＳＳＩと現在実施されている超解像方法の相違点として示すために、「＊」の記号で印を付ける。ステップ２３０５で、後の励起およびデータ収集のために次の１組の蛍光体を活性化して、次の中間画像を作り出す。このステップは、図２２のステップ２２０５に類似しているが、重要な違いは、ＤＳＳＩ撮像では、放射性の蛍光体を少なくとも２００ｎｍの回折限界の距離だけ互いに分離しなければならないという制約がなくなり、蛍光体が試料内ではるかに大きい密度で活性化されることである。この違いは、生きた生物細胞のリアルタイムの撮像の場合、特に著しい。蛍光体が活性化される密度を著しく増大させることによって、最終画像を構築するために作り出して後に蓄積する必要のある中間画像の数が、著しく低減される。中間画像の低減は直接、データ収集時間の著しい低減につながり、したがって、ＤＳＳＩ撮像によって、形状を変化させる自動性の生細胞を高い解像度で撮像することができるのに対して、現在実施されている超解像技法では、データ収集に必要な時間があまりに長く、生細胞が形状をかなり変化させたり、移動したりすることがあり、その結果得られる画像解像度が低くなることがあり、また画像品質が乏しくなることがある。さらに、特定のタイプの細胞は、蛍光によって活性化および励起させる照射に長く露出されると、有害な影響を受けたり、または死滅したりすることがあり、ＤＳＳＩで可能な中間画像の低減によって、露出を著しく低減させることができる。要約すると、本発明の実施形態であるＤＳＳＩ撮像技法は、蛍光体の活性化に対する密度の制約を大幅に取り除き、したがって２次元撮像と３次元撮像の両方に対して、データ収集時間を著しく短縮する。
【００６９】
図２３のステップ２３０７、光脱色ステップは、現在実施されている超解像技法を示す図２２の対応するステップ２２０７の場合とは異なり、任意選択とすることができ、または不可欠というわけではない。蛍光体を試料内で著しく高い密度で活性化でき、また蛍光体の活性化が本質的に確率的であるため、ＤＳＳＩ撮像中に中間画像で特定の蛍光体の撮像を繰り返すことは、あまり重要ではない。一方、現在実施されている技法では、各中間画像の取得のために非常にわずかな蛍光体しか活性化することができず、したがって、後の中間画像で冗長データが収集されないように、それらの撮像された蛍光体を光脱色または非活性化することが重要である。言い換えれば、ＤＳＳＩ撮像では、冗長データの収集は、現在実施されている超解像技法の場合ほど、全体的なデータ収集時間または所望の最終画像解像度を実現するために作り出す必要のある中間画像の数に著しい影響を与えない。光脱色ステップをなくし、または光脱色を実施する必要のあるレベルを低減させることで、データ収集および撮像に必要な時間を著しく低減させ、短波長照射に対する試料の露出の蓄積を著しく低減させる。ステップ２３０５でより高密度の蛍光体を活性化することと、光脱色ステップをなくすことの組合せは、生細胞撮像に適した蛍光撮像方法論およびシステムを提供する。さらに、光脱色ステップをなくすと、ＤＳＳＩ撮像システムの実装を著しく簡略化することができる。活性化された蛍光体を光脱色するのではなく、本発明の特定の実施形態では、図６Ｃで記載する特性を有する可逆的に活性化された蛍光体を使用して、活性化された蛍光体を非活性化することができる。したがって、本発明の特定の実施形態では、光脱色ステップは代わりに、蛍光体非活性化ステップを含むことができる。本発明の他の実施形態では、活性化された蛍光体を非活性化するのではなく、すでに撮像された蛍光体画像を後の画像から引くことによって、異なる中間画像を算出することができる。本発明のさらに追加の実施形態では、非活性化および光脱色が完全に省略される。
【００７０】
より高い密度で蛍光体を活性化することができ、また光脱色をなくすことができ、または重視しなくてすむことは、ステップ２３０４〜２３１０のｗｈｉｌｅループの反復のたびに実施される重複する蛍光体分布の曖昧性除去ステップ２３０８を組み込むことに由来する。これは、中間画像内で重複する蛍光体画像を検出し、重複する蛍光体画像に対応する蛍光体に位置および相対的な強度を正確に割り当てることができる演算画像処理ステップである。この演算画像処理ステップがステップ２３０４〜２３１０のｗｈｉｌｅループの各反復に導入されるため、各蛍光体画像に対して蛍光体の活性化を実施して、現在実施されている超解像技法で対応できるよりはるかに高い密度で、試料内に活性化された蛍光体を生成することができる。ステップ２３１２で中間画像から最終の複合画像が作られた後、追加の演算画像処理ステップ２３１３を使用して、複合画像内の蛍光体の位置分布に幾何形状を階層的に適合させることによって、画像をさらに改良する。最終的に、本発明の特定の実施形態では、最終の構造解釈処理ステップ２３１４を用いて、画像の特徴を解釈する。ステップ２３０８、２３１３、および２３１４について、以下で詳細に論じる。
【００７１】
図２４Ａ〜Ｂは、本発明の一実施形態によって用いられる、図２３のステップ２３０８で呼び出される「重複する発光体画像の曖昧性の除去」ルーチン、および「重複する発光体画像の曖昧性の除去」ルーチンによって呼び出される「混合モデルの適用」ルーチンに対する制御流れ図を提供する。図２４Ａ〜Ｂについて論じる際には、以下、図２５〜２９を参照されたい。図２５〜２９は、本発明の一実施形態による、重複する発光体画像の曖昧性を除去するために使用される様々なステップを示す。
【００７２】
以下の議論では、重複する蛍光体画像の曖昧性除去について、全体として、２次元撮像ならびに３次元撮像のどちらにも適用できるものとして説明することに留意されたい。どちらの場合も、画像のスタックは光軸またはｚ軸に直交し、最小のｚ軸方向の移動によって分離される。Δｚが用いられる。ステップ２４０２で、ｚ軸に直交する画像のスタックが受け取られる。これは、対物レンズに対する試料のｚ軸方向の移動範囲にわたって試料からデータを収集することによって図２３のステップ２３０４〜２３１０のｗｈｉｌｅループの単一の反復で生成される中間画像のスタックとすることができる。別法として、受け取られる画像は、３次元撮像を実施するために、より広い範囲のｚ軸位置に対して作られるｚ軸に直交するより多数の中間画像とすることができる。次に、ステップ２４０４で、生画像からノイズをフィルタリングするために、画像のスタックにノイズフィルタが適用される。図２５は、本発明の特定の実施形態で用いられる１つのタイプのノイズフィルタを示す。本発明の特定の実施形態では、ガウスノイズフィルタが用いられる。ガウスフィルタは本質的に、数学的に次のように表される３次元ガウス分布である。
【００７３】
【数２０】
【００７４】
対角行列Σは、共分散行列と同等である。本発明の一実施形態では、標準偏差σｘ、σｙ、およびσｚに対する物空間値は、
【００７５】
【数２１】
【００７６】
と定義され、また対応する画像空間の標準偏差は、
【００７７】
【数２２】
【００７８】
である。上式で、Ｐｘｙは、ｘ，ｙ物体平面の画素寸法であり、Ｐｚは、ｚ軸内の体素寸法である。ガウス分布の式では、ベクトルｒおよびμはどちらも、ε、η、およびζ座標系内の画像空間ベクトルである。ガウス分布は球面状に対称であり、最も高い値は球面状の分布の中心にあり、分布の中心からすべての方向に距離が増大するとともに、値は急速に低減する。図２５に示すように、球面状のガウス分布２５０４および線２５０６に沿って平面断面２５０２が切り取られる場合、または平面図断面２５０２に沿って１次元の断面が切り取られる場合、この線に沿った値の分布は、釣鐘状の曲線２５０８の外観を有するはずである。画像処理に使用されるガウスフィルタＧ２５１０は、連続する３次元ガウス分布の個別の画素ベースのアナログ式のものである。画像のフィルタリングのために、生画像Ｉをガウスフィルタで畳み込み、平滑な画像Ｉｓを作り出す。
【００７９】
【数２３】
【００８０】
上式で、畳み込みは、元の画像内の各位置でガウスフィルタを中心に位置決めし、ガウスフィルタ内の値に元の画像内の対応する値を掛け、次いでこれらの積の値を平滑な画像２５１２に加算することによって実施される。ガウスフィルタが積み重ねられた画像に部分的にしか重複しないときは、畳み込みを算出するために、様々な技法が使用される。
【００８１】
次に、図２４Ａのステップ２４０６で、フィルタリングされた画像から１組の極大Ｌが抽出される。極大の抽出を、図２６に示す。極大は、次の式によって定義される。
【００８２】
【数２４】
【００８３】
本質的に、蛍光体画像に対する質量中心、本質的には出力画像内のＰＳＦの質量中心の候補として出力画像から特定の画素または体素を選択する基準は、画素または体素２６０２がすぐ隣接する画素または体素２６０４のすべてに対して最も高い強度値を有することである。言い換えれば、図２６内の体素２６０２は、３×３×３の体素体積２６０４内で中心に位置決めされ、体積２６０４内のすべての体素の中で、観察される最も高い強度値を有する。最初、図２４Ａのステップ２４０６で、すぐ隣接する体素に対して最も高い強度値を有する体素が選択され、極大を含むセットＬ内に含まれる。次に、ステップ２４０８で、極大のセットＬをフィルタリングして、確率の高い蛍光体画像の質量中心またはスポットのセットＳを作り出す。画像点Ι（ζ）における曲率は、画像点Ι（ζ）を取り囲む体積全体にわたって算出されるヘッセ行列式と定義される。
【００８４】
【数２５】
【００８５】
セットＬ内の各極大に対するスポット測定ＳＩ（ζ）は、次のように算出することができる。
【００８６】
【数２６】
【００８７】
図２７は、セットＬ内の極大に対して算出されるスポット測定の分布のタイプを示す。通常、大部分の極大は、ノイズに対応する。したがって、図２７に示す分布内の低いスポット測定値における大きいピーク２７０２は通常、画像ノイズに対応する。蛍光体画像の質量中心またはスポットを選択するために、閾値２７０４のスポット測定値は、大きい最初のピーク２７０２を越えて分布曲線が平坦になるスポット測定値に対応するように選択される。図２４Ａのステップ２４０８で、スポット測定が閾値２７０４より大きいこれらの極大は、セットＳの要素として選択される。
【００８８】
次に、ステップ２４１０で、セットＳ内のスポットは、クラスタに分割される。図２８は、こうしてスポットをスポットクラスタに分割することを示す。分割が行われる基準は、次のように説明することができる。
【００８９】
【数２７】
【００９０】
クラスタＣ１２８０２などの所与のクラスタ内のスポットはすべて、図２８のクラスタＣ２２８０４、Ｃ３２８０６、およびＣ４２８０４などの他のすべてのクラスタ内のスポットから閾値距離より大きい距離だけ離れたところに位置する。
【００９１】
次いで、図２４Ａのステップ２４１２で、重複する蛍光体画像に対応するスポットを検出するために、各クラスタ内のスポットに混合モデルが適用され、反復的演算手順によって、これらの重複する蛍光体画像またはスポットの位置および強度が判定される。この混合モデル演算方法については、以下により詳細に説明する。最終的に、図２４Ａのステップ２４１４で、様々な理由による様々なタイプのユーザに対する初期画像としての後の処理、電子表示デバイス上の表示、または描画のため、すべてのスポットの位置および強度が電子的に記憶される。図２４Ｂは、図２４Ａのステップ２４１２で呼び出される「混合モデルの適用」ルーチンに対する制御流れ図を提供する。図２９は、図２４Ｂで説明する演算方法を示す。図２４Ｂに関する以下の議論は、図２９を参照する。
【００９２】
スポットのクラスタに混合モデルを適用する目的は、重複する蛍光体画像を表すスポットを検出することであり、したがって、重複する画像の曖昧性を除去し、それぞれの重複する蛍光体画像に対応する蛍光体に位置および振幅または強度を割り当てることができる。混合モデルは、図２４Ｂのステップ２４０２〜２４１４のｆｏｒループ内の各クラスタに適用される。スポットのクラスタに関連する領域内の画素または体素の強度は、以下の数学的モデルを使用して、そのクラスタに関連する領域内の各蛍光体画像または核の質量中心の強度および位置に基づいて算出することができる。
【００９３】
【数２８】
【００９４】
本発明の特定の実施形態では、蛍光体画像またはＰＳＦは、ガウス強度分布としてモデル化される。クラスタに関連する領域内の既知の核の位置および振幅は、最小２乗または他のデータ適合技法により、画素または体素に対する算出された強度と観察された強度の差を最小にすることによって、そのクラスタに関連する面積内の画素または体素の観察された強度に適合させることができる。図２９では、出力画像内で観察された強度および位置を有するスポットまたは核の第１のクラスタ２９０２を出力画像に最小２乗適合２９０４し、最初の１組の核２９０６を作り出す。核は、解像される蛍光体画像に対するパラメータ化されたモデルである。ｎが現在クラスタ内に存在すると考えられる核の数を表す場合、統計χn2は、この組の核に対して次の式によって算出される。
【００９５】
【数２９】
【００９６】
統計χn2は、獲得された画像内の観察される強度について、この組の核がどれだけうまく説明するかを数値で説明する残差のタイプである。次に、ランダム選択によって、この組の核内の核の１つに相手核が追加される。図２９では、相手核は、核を表す陰影を付けた円板２９１２の上に重ね合わせた破線の円２９１０として示す。次いで、相手核を含む核は、最小２乗適合手順または他のデータ適合手順２９１４によって、相手核を含む核に対する最適化された振幅および位置２９１６を作り出すように適合される。次いで、新しい統計χn+12が算出２９１８され、核２９０６の前の最小２乗適合収集に対して算出された統計χと比較される。χn+12が、図２９の条件ステップ２９２０で判定されると、χn2より統計的に良好であるとき、追加された相手は受け入れられ２９２２、最初に相手になった核とともに、元の画像内で検出されなかった重複する蛍光体画像を表す。そうではなく、χn+12が、χn2より統計的に良好でないとき、追加される相手は拒否され、その組の核２９２４から除去される。統計χn2は、Ｆ統計に従って分散され、Ｆ統計に基づく適した試験は、χn+12が、がいつ、適当な信頼度レベルまでχn2より統計的に良好になるかを判定するように考案することができる。１回の試験で、ｎ＋１個の核を有するモデルが、ｎ個の核を有するモデルほど、観察された強度についてうまく説明しない確率が０．０５未満になるのに十分な量だけ、χn+12がχn2より、小さいとき、統計χn+12は、統計χn2より統計的に良好である。クラスタの演算処理中、図２９に示すように、元の核のそれぞれに相手を追加して試験し、元の核のそれぞれに対する潜在的な重複する蛍光体を検出する。本発明の代替実施形態では、３方向およびより高次元で重複する蛍光体が発生する可能性が低いことを検出するために、さらなる相手の追加および試験を、さらに反復して行うことができる。各クラスタ内の最初の核をより効率的に演算処理するため、潜在的な重複に対する核の試験を正当化するのに十分なほど最初の振幅を有する核だけに、相手を追加および試験することができる。
【００９７】
図２４Ｂに戻ると、ステップ２４０３で、クラスタ内の最初のスポットを使用して、ｎ個の最初の核を画定する。ステップ２４０４で、これらのｎ個の最初の核は、領域に対する強度またはクラスタの体積を観察するように適合される。ステップ２４０５で、最初の最もよく適合されたｎ個の核に対して、残差測定χｃｕｒｒｅｎｔが算出され、局所変数ｍがｎに設定される。ステップ２４０６〜２４１２の内側のｆｏｒループ内で、最初の核のそれぞれに対して、相手が追加および試験される。ステップ２４０７で、ステップ２４０６〜２４１２のｆｏｒループ現在の反復で現在考察されている核に、相手核が追加される。ステップ２４０８で、ステップ２４０７での相手核の追加前にｍ個の核を含むｍ＋１個の核およびステップ２４０７で追加された相手核が、クラスタの面積または体積内の観察された画素または体素強度に最もよく適合される。ステップ２４０９で、最もよく適合されたｍ＋１個の核に対して、新しい残差測定χｍ+12が算出される。ステップ２４１０で判定されると、χｍ+12がχＣより統計的に良好であるとき、ステップ２４０７で追加された相手は新しい核として受け入れられ、χＣは、χｍ+12に設定され、ｍはｍ＋１に設定される。ステップ２４１２で判定されると、元の核のうちのより多くの核を、ステップ２４０６〜２４１２の内側のｆｏｒループ内で考察すべきであるとき、制御は、ステップ２４０７へ戻り、元の核のうちの次の核に相手を追加する。そうでない場合、ステップ２４１３で、最もよく適合されたｍ＋１個の核が、クラスタに対するスポットとして記憶される。ステップ２４０２〜２４１４の外側のｆｏｒループ内での各クラスタの考察後、ステップ２４１６で、すべてのクラスタに対して判定されたスポットを組み合わせて、曖昧性を除去された画像にし、メモリおよび／または永続的大容量記憶域内に電子的に記憶する。本発明の代替実施形態では、ベイズの情報基準および／または追加の技法を使用して、クラスタに対する追加の核の適合不足と過剰適合の間で類似の均衡を実現することができる。
【００９８】
図３０Ａ〜Ｄは、本発明の一実施形態による図２３のステップ２３１３および２３１４で実施されるプロセスを示す。図３０Ａでは、左側の画像３００２は、図２４Ｂのステップ２４１６で記憶された、曖昧性除去処理済みの画像を表す。この画像は、図２４Ａのステップ２４０８でスポット測定閾値を使用して最初に検出されたスポットまたは蛍光体画像のすべて、ならびに図２４Ａのステップ２４１２で検出された重複する曖昧な追加のスポットを含む。これらのスポットの位置および強度は、図２４Ａのステップ２４１２で混合モデルの適用中に実施された演算上の適合のため、これらのスポットの観察された最初の強度に対して変動した可能性がある。図２３の反復的で階層的な演算処理ステップ２３１３で、画像をさらに改良および解釈するために、幾何学的基本要素のグループが、画像内のスポットのグループまたは分布に整合され、最初に整合された幾何学的基本要素は、後の反復で、ますます複雑かつ／または大きい幾何学的要素に整合される。たとえば、図３０Ａに示す要素適合の第１の階層レベルでは、幾何学的基本要素３００４のグループは、第１のさらに改良された画像３００６を生成するために、曖昧性を除去された画像３００２内のスポットに演算的に適合される。これは、本発明の一実施形態である画像解釈の階層プロセスの第１のレベルである。次いで、図３０Ｂに示す要素適合の第２の階層レベルでは、第１のレベルの要素適合３００６によって作られた画像を、第２のグループの幾何学的要素３００８を適合させる基本として使用し、第２のレベルの解釈または改良された画像３０１０を作る。図３０Ｃでは、第２のレベルの改良または解釈された画像３０１０に第３のグループの幾何学的要素３０１２の要素を適合させることによって、第２のレベルの解釈または改良された画像３０１０をさらに改良および解釈し、第３のレベルの改良または解釈された画像３０１４を作り出す。図３０Ａ〜Ｃに示すように、階層的な要素適合の各レベルは、生物構造をはっきり明らかにする、よりはっきりとした、より高度に改良されてより良好に解釈された画像を作り出す傾向がある。通常、階層的な画像処理方法のそれぞれの連続する層における幾何学的要素は、前のレベルの画像に適合されたより多くの基本要素から構築できる、より大きくより高度に解釈された意味のある要素である。もちろん、図３０Ａの元の曖昧性を除去された画像３００２は、曖昧性が生じたとき、より高いレベルの要素とより低いレベルの要素の整合を容易にするために、プロセス全体にわたって利用可能なままである。
【００９９】
本発明の特定の実施形態では、図３０Ａ〜Ｃを参照して上述した階層的な画像処理方法は、再帰的な状態空間探索として実施され、幾何学的要素の多くの異なるシーケンスが、再帰的探索の開始点である曖昧性を除去されたスポット画像に適合される。曖昧性を除去されたスポット画像について最もよく説明し、または曖昧性を除去されたスポット画像に最もよく適合する幾何学的要素の１つまたは複数のシーケンスは、改良された最終画像として選択される。
【０１００】
図３０Ｄは、図２３のステップ２３１４を示す。図２３のステップ２３１３の階層的な解像プロセスによって作られる改良および解釈された画像は、改良された画像３０１４を作り出す。次いで、より解釈的な画像処理ステップで、概念化された正規の生物学的解釈を画像に適合させて、改良された画像３０１４に対応する最終解釈３０１６を作り出す。たとえば、図３０Ｄでは、画像３０１４内の２重層構造３０２０は、解釈３０１６において脂質２重層膜３０２４と解釈され、膜貫通孔状の構造３０２６は、解釈された画像３０１６内で電位開口型カルシウムチャネル３０２８と解釈される。
【０１０１】
図３０Ａ〜Ｃを参照して論じた階層的な画像解像プロセスと図３０Ｄを参照して論じた最終解釈プロセスではどちらも、試料および試料を作り出した実験条件に関する追加の情報を使用して、画像の改良および解釈を容易にすることができる。たとえば、各階層レベルにおいて、スポットまたはより低いレベルの幾何学的要素に適合された幾何学的要素は、試料のタイプに基づいて、より大きい１組の幾何学的要素から選択することができ、幾何学的要素をより低いレベルの要素または曖昧性を除去されたスポットに適合させることは、様々な生物学的な制約によって制約することができる。たとえば、特定のタイプの生体高分子が撮像されているとき、その生体高分子は最小の曲率半径を有し、その結果、生体高分子を最小ループ直径より小さくループさせることができないことが分かる。したがって、幾何学的要素の適合プロセス中、可能なものより小さいループを作るはずの湾曲した幾何学的要素の整合は拒否され、または嫌われることがある。そのような生物学的な制約を適合して、階層的な演算プロセスの各階層レベルで作られた様々な中間画像を、そのレベルにおける幾何学的要素の適合後に拒否することもできる。
【０１０２】
図３１〜３３は、本発明の一実施形態による、図２３の階層的な演算画像処理ステップ２３１３について説明する制御流れ図を提供する。ステップ３１０２で、曖昧性を除去された画像（図３０Ａでは３００２）が受け取られる。画像のリストｒｅｓｏｌｖｅｄＩｓが初期化され、受け取った画像は、第１の要素として画像のリストに追加される。ステップ３１０４〜３１０９のｆｏｒループでは、それぞれの階層レベルの処理が実施される。ステップ３１０５で、各階層レベルに対して、画像およびレベルに適当な幾何学的要素のグループが選択される。ステップ３１０６で、画像のリスト内にすでに存在する画像および幾何学的要素の選択されたグループから、さらに改良される画像候補の数を生成するために、再帰的手順が呼び出される。次いで、ステップ３１０７で、再帰的手順によって戻される画像のリストは、ｒｅｓｏｌｖｅｄＩｓリスト内にすでに存在する画像のリストとマージされる。次いで、ｒｅｓｏｌｖｅｄＩｓリストは、閾値数以下の画像を含むように切り捨てられる。再帰的手順によって戻されたリストとｒｅｓｏｌｖｅｄＩｓリストのマージは、適合性または残差測定に関して画像を分類することによって実施され、したがって、各レベルで、最初に受け取った曖昧性を除去された画像に最もよく適合する画像候補だけが保持される。最終的に、ステップ３１１０で、ｒｅｓｏｌｖｅｄＩｓリスト内の画像候補の１つまたは複数が、１つまたは複数の最終画像として選択される。
【０１０３】
図３２は、図３１のステップ３１０６で呼び出される再帰的手順に対する制御流れ図を提供する。ステップ３２０２で、幾何学的要素のグループおよびｒｅｓｏｌｖｅｄＩｓリストが受け取られ、画像の一時的なリストｔｅｍｐＬｉｓｔが初期化される。ステップ３２０４〜３２１６のｆｏｒループでは、ｒｅｓｏｌｖｅｄＩｓリスト内に現在存在する画像はそれぞれ、さらなる解像および解釈に対して考察される。ステップ３２０５〜３２１５の内側のｆｏｒループでは、幾何学的要素のリストから、現在考察されている画像に適合する第１の幾何学的要素が選択される。これは、幾何学的要素を画像に適合させることによって得られるより高度に改良および解釈された画像に対する再帰的探索の開始点である。ステップ３２０６〜３２１４の最も内側のｆｏｒループでは、ステップ３２０５〜３２１５のｆｏｒループ内で現在考察されている各幾何学的要素の開始点に対して、ある回数ｍａｘＩｔｅｒａｔｉｏｎｓの再帰的探索が実施される。ステップ３２０８で、再帰的探索が呼び出され、ステップ３２０９で、「再帰」ルーチンへの呼出しによって戻された改良された画像に対して、最初に受け取った曖昧性を除去された画像に対する残差または適合性測定が算出される。ステップ３２１０で判定されると、ｔｅｍｐＬｉｓｔ内の画像の数がある最大寸法より小さいとき、「再帰」ルーチンへの呼出しによって戻された画像は、ステップ３２１１で、ｔｅｍｐＬｉｓｔリストに追加される。そうでない場合、ステップ３２１２で判定されると、算出された残差測定がｔｅｍｐＬｉｓｔリスト内のあらゆる画像の算出された最も小さい測定より小さいとき、ステップ３２１３で、ｔｅｍｐＬｉｓｔ内で最も大きい残差測定を有する画像が削除され、ステップ３２１１で、再帰への呼出しによって戻された画像は、ｔｅｍｐＬｉｓｔリストに追加される。ステップ３２１４で、このルーチンは、最も内側のｆｏｒループを継続するか否かを判定する。ステップ３２１５で、このルーチンは、ステップ３２０５〜３２１５の中間レベルのｆｏｒループを考察するか否かを判定する。ステップ３２１６で、このルーチンは、ステップ３２０４〜３２１６の最も外側のｆｏｒループ内でより多くの画像について考察するべきか否かを判定する。
【０１０４】
図３３は、図３２のステップ３２０８で呼び出される「再帰」ルーチンに対する制御流れ図を提供する。ステップ３３０２で、幾何学的要素の開始点が受け取られ、図３１のステップ３１０５で、局所変数ｔｍｐは、現在の階層的な処理レベルに対して選択された幾何学的要素のグループに設定される。ステップ３３０４で、受け取った要素は、受け取った画像内の特徴のグループに整合される。整合ステップ３３０４は、その要素を、閾値より大きい整合品質値をもたらす画像の１つまたは複数のより低いレベルの要素またはスポットに整合させようとする。ステップ３３０６で判定されると、整合の品質が閾値より大きいとき、ステップ３３０８で、要素が整合された特徴のグループはこの要素と置き換えられ、ステップ３３１０で、要素のグループｔｍｐから別の要素がランダムに選択され、ステップ３３１２で、「再帰」ルーチンが再帰的に呼び出される。そうではない場合、ステップ３３１４で、その要素は要素のグループｔｍｐから除去される。次いで、ステップ３３１７で、ステップ３３１６〜３３２１のｗｈｉｌｅループ内で、要素のグループｔｍｐから要素がランダムに選択され、ステップ３３１８で、その要素は画像内の特徴のグループに整合される。ステップ３３１９で判定されると、整合品質がある閾値品質より大きいとき、ステップ３３０８で、その特徴のグループはこの要素と置き換えられ、ステップ３３１０で、ｔｍｐから要素がランダムに選択され、ステップ３３１２で、「再帰」ルーチンが再帰的に呼び出される。そうではない場合、ステップ３３２０で、その要素は要素のリストｔｍｐから除去される。ステップ３３２１で判定されると、要素のリストｔｍｐが空ではないとき、次の反復のため、ステップ３３１６〜３３２１のｗｈｉｌｅループに再び入る。そうではない場合、「再帰」ルーチンは戻る。
【０１０５】
本発明の様々な実施形態では、ステップ３３０６および３３１９で使用される整合品質測定は、様々な異なる考察を含むことができる。整合品質は、幾何学的要素が適合されている画像内の特徴のグループをどれだけうまく対象に含め、または重複するかを反映するように算出することができる。整合品質はまた、確率の低い、または不可能なより高いレベルの特徴をもたらすはずの整合を未然に防ぐために、画像が得られる試料に関する様々な外部情報を組み込むことができる。整合ステップ３３０４および３３１８で、より低いレベルの特徴に対する最もよい適合を実現するために、画像処理タスクの次元性に応じて、要素を２次元または３次元に回転および／または拡大縮小させることができるが、拡大縮小と回転はどちらも、外部情報によって制約することができる。
【０１０６】
図３４は、本発明の一実施形態である撮像システム内で画像処理ステップを実行する典型的な電子コンピュータを示す。コンピュータシステムは、１つもしくは複数の中央演算処理装置（「ＣＰＵ」）３４０２〜３４０５、１つもしくは複数のＣＰＵ／メモリサブシステムバス３４１０によってＣＰＵと相互接続された１つもしくは複数の電子メモリ３４０８、ＣＰＵ／メモリサブシステムバス３４１０を追加のバス３４１４および３４１６と相互接続する第１のブリッジ３４１２、または複数の高速シリアル相互接続を含む他のタイプの高速相互接続媒体を含む。これらのバスまたはシリアル相互接続は、ＣＰＵおよびメモリを図形処理装置３４１８などの特殊な処理装置と接続し、また１つまたは複数の追加のブリッジ３４２０と接続する。ブリッジ３４２０は、様々な異なるタイプの大容量記憶デバイス３４２８、電子表示装置、入力デバイス、ならびに他のそのような構成要素、サブ構成要素、および演算資源へのアクセスを提供する高速シリアルリンクまたは制御装置３４２７などの複数の制御装置３４２２〜３４２７と相互接続される。本発明の実施形態はまた、分散型のコンピュータシステム上で実施することもでき、部分的にハードウェア論理回路内で実施することもできる。
【０１０７】
本発明について、特定の実施形態の点から説明したが、本発明をこれらの実施形態に限定しようとするものではない。修正形態は、当業者には明らかであろう。たとえば、本発明の実施形態である撮像システムで使用される演算処理方法の多くの異なる実装形態は、プログラミング言語、制御構造、モジュラ構成、データ構造、基本的な動作システム、および他の実装パラメータを含む一般的な実装パラメータを変更することによって得ることができる。これらの演算画像処理ステップは、図７を参照して上記で論じたものなどの光学構成要素と検出器の両方を含む蛍光顕微鏡法機器または他の撮像システム、ならびに大容量の多重処理コンピュータシステムならびに大容量の電子メモリおよび大容量記憶デバイスを含むことが多いデータ処理およびデータ記憶構成要素内に組み込まれる。本発明の記載の実施形態は、蛍光顕微鏡法を対象とするが、本発明の代替実施形態は、複数の中間画像を獲得して組み合わせて最終画像を生成する他のタイプの顕微鏡法、光学撮像、または他のタイプの撮像を対象とすることができる。
【０１０８】
上記の記載では、本発明の徹底的な理解を提供するために、説明の目的で特有の命名法を使用した。しかし、本発明を実施するのに特有の詳細は必須ではないことが、当業者には明らかであろう。本発明の特有の実施形態の上記の記載は、図示および説明の目的で提示される。これらの記載は、排他的なものではなく、または開示した正確な形態に本発明を限定しようとするものではない。上記の教示の点から、多くの修正形態および変形形態が可能である。これらの実施形態は、本発明の原理およびその実際の応用例について最もよく説明するために図示および記載され、それによって当業者は、企図する特定の用途に適した様々な修正形態を用いて、本発明および様々な実施形態を最もうまく利用することができる。本発明の範囲は、以下の特許請求の範囲およびその均等物によって定義されるものである。
【特許請求の範囲】
【請求項１】
試料または前記試料の一部分に照射して、前記試料内の発光体を活性化し、前記発光体からの発光を励起し、ある期間にわたって、前記試料または前記試料の前記部分内の発光体の中間出力画像を記録する光検出サブシステムと、
前記中間出力画像を処理して、前記試料または前記試料の前記部分内の前記発光体の最初に判定された位置を識別および記録し、発光体位置モデルから、算出された出力画像を反復的に算出して、前記中間出力画像内の重複する発光体画像の曖昧性を除去し、前記試料または前記試料の前記部分内の前記発光体の位置の表示を含む複合画像を作り出す画像生成サブシステムと、
前記試料または前記試料の前記部分の１つまたは複数の改良および解釈された画像を作り出すために、前記画像生成サブシステムによって作られた前記複合画像に幾何学的基本要素を反復的に適合させる画像解釈サブシステムと
を備える撮像システム。
【請求項２】
前記光検出サブシステムが、蛍光顕微鏡法の光学サブシステムを備える、請求項１に記載の撮像システム。
【請求項３】
前記発光体が、第１の周波数の光への露出によって照射により活性化され、第２の周波数の光への露出によって蛍光を放射するように励起される蛍光体である、請求項２に記載の撮像システム。
【請求項４】
前記発光体が、第１の周波数の光への露出によって活性化され、第２の周波数の光への露出によって蛍光を放射するように励起される蛍光体である、請求項３に記載の撮像システム。
【請求項５】
前記画像生成サブシステムが、
前記中間画像からノイズをフィルタリングして、ノイズがフィルタリングされた中間画像を作り出すステップと、
前記ノイズがフィルタリングされた中間画像から極大を選択するステップと、
前記選択された極大から発光体を選択するステップと、
前記選択された発光体の位置に、検出された任意のさらなる発光体を追加するために、重複する発光体画像の曖昧性を除去するステップとによって、各中間画像を処理する、請求項１に記載の撮像システム。
【請求項６】
前記画像生成サブシステムが、前記中間画像にガウスフィルタを適用することによって、前記中間画像からノイズをフィルタリングする、請求項５に記載の撮像システム。
【請求項７】
前記画像生成サブシステムが、前記中間画像内のすべての隣接する画素または体素より高い関連する強度値を有する画素または体素を選択することによって、前記ノイズがフィルタリングされた中間画像から極大を選択する、請求項５に記載の撮像システム。
【請求項８】
前記画像生成サブシステムが、
前記画像内の前記極大の近傍全体で算出された曲率と前記極大の近傍の平均強度の積として、各極大に対するスポット測定を算出するステップと、
算出されたスポット測定が閾値より大きい前記極大を発光体として選択するステップとによって、前記選択された極大から発光体を選択する、請求項５に記載の撮像システム。
【請求項９】
前記画像生成サブシステムが、前記選択された発光体に、検出された任意のさらなる発光体を追加するために、
前記発光体を、それぞれ１つまたは複数の最初の発光体を含むクラスタに分割するステップと、
各クラスタに対して、
反復的に、
選択された最初の発光体に対する相手を前記クラスタに挿入するステップと、
最初の発光体の位置および前記相手の位置を、前記クラスタに対する観察された強度に適合させるステップと、
前記クラスタに対する算出された画像を算出するステップと、
前記算出された画像と観察された画像から残差統計を算出するステップと、
前記相手を含む前記クラスタに対して算出された前記残差統計が、前記相手を挿入する前の前記クラスタに対して算出された前記残差統計より良好であることを統計試験が示すとき、前記相手を前記クラスタに追加するステップとによって、重複する発光体画像の曖昧性を除去する、請求項５に記載の撮像システム。
【請求項１０】
前記クラスタに対する算出された画像を算出するステップが、各発光体および前記相手を、パラメータ化されたガウス強度分布としてモデル化するステップをさらに含む、請求項９に記載の撮像システム。
【請求項１１】
各中間画像が、前記撮像システムの光軸に対する試料の位置範囲にわたって得られる複数の２次元画像を含む、請求項１に記載の撮像システム。
【請求項１２】
前記画像解釈サブシステムが、前記試料または前記試料の前記部分の１つまたは複数の改良および解釈された画像を作り出すために、
反復的に、
現在考察されている階層的な処理レベルに対して１組の幾何学的要素を選択するステップと、
前記１組の幾何学的要素からの幾何学的要素を、前の反復からの改良された中間画像に、または第１の反復では、前記画像生成サブシステムによって作られた前記複合画像に再帰的に適合させて、１つまたは複数の改良された画像候補を作り出すステップと、
後の反復で処理するため、または最終の反復では、前記１つまたは複数の改良および解釈された画像として、改良された画像候補を選択するステップとによって、前記画像生成サブシステムによって作られた前記複合画像に幾何学的基本要素を反復的に適合させる、請求項１に記載の撮像システム。
【請求項１３】
前記画像解釈サブシステムが、
前記現在考察されている階層的な処理レベルに適当な寸法および複雑さを有する幾何学的要素を選択するステップと、
前記現在考察されている階層的な処理レベルに適当な寸法および複雑さを有する前記幾何学的要素の中から、前記試料内で生じることが分かっている構造および特徴に適合している幾何学的要素を選択するステップとによって、現在考察されている階層的な処理レベルに対して１組の幾何学的要素を選択する、請求項１２に記載の撮像システム。
【請求項１４】
前記画像解釈サブシステムが、前の反復からの前記改良された中間画像、または第１の反復では、前記画像生成サブシステムによって作られた前記複合画像への幾何学的要素の多数の可能な写像を考察するために、幾何学的要素適合の探索を実施する、請求項１２に記載の撮像システム。
【請求項１５】
画像候補が、前の反復からの前記改良された中間画像、または第１の反復では、前記画像生成サブシステムによって作られた前記複合画像の特徴が対象に入り、または含まれる程度、現在の反復で前記特徴に適合される前記幾何学的要素、ならびに前記画像候補内の特徴が前記試料内で生じることがわかっている構造および特徴に対応する可能性によって評価される、請求項１４に記載の撮像システム。
【請求項１６】
前の反復からの前記改良された中間画像、または第１の反復では、前記画像生成サブシステムによって作られた前記複合画像の１つまたは複数の特徴への幾何学的要素の適合が、前の反復からの前記改良された中間画像、または第１の反復では、前記画像生成サブシステムによって作られた前記複合画像の特徴が対象に入り、または含まれる程度、前記幾何学的要素、ならびに前記幾何学的要素を前記１つまたは複数の特徴に適合させることによって作られた前記画像候補内の何らかの中間特徴が前記試料内で生じることがわかっている構造および特徴に対応する可能性によって評価される、請求項１４に記載の撮像システム。
【請求項１７】
画像を作り出す方法であって、
繰り返し、
試料または前記試料の一部分に照射して、前記試料内の発光体を活性化するステップと、
前記発光体からの発光を励起するステップと、
ある期間にわたって、前記試料または前記試料の前記部分内の発光体の中間出力画像を記録するステップと、
前記中間出力画像を処理して、前記試料または前記試料の前記部分内の前記発光体の最初に判定された位置を識別および記録するステップと、
発光体位置モデルから、算出された出力画像を反復的に算出して、前記中間出力画像内の重複する発光体画像の曖昧性を除去し、前記試料または前記試料の前記部分内の前記発光体の位置の表示を含む複合画像を作り出すステップと、
前記試料または前記試料の前記部分の１つまたは複数の改良および解釈された画像を作り出すために、前記画像生成サブシステムによって作られた前記複合画像に幾何学的基本要素を反復的に適合させるステップとを含む方法。
【請求項１８】
前記中間出力画像を処理して、前記試料または前記試料の前記部分内の前記発光体の最初に判定された位置を識別および記録するステップが、
前記中間画像からノイズをフィルタリングして、ノイズがフィルタリングされた中間画像を作り出すステップと、
前記ノイズがフィルタリングされた中間画像から極大を選択するステップと、
前記選択された極大から発光体を選択するステップと、
前記選択された発光体の位置に、検出された任意のさらなる発光体を追加するために、重複する発光体画像の曖昧性を除去するステップとをさらに含む、請求項１７に記載の方法。
【請求項１９】
発光体位置モデルから、算出された出力画像を反復的に算出して、前記中間出力画像内の重複する発光体画像の曖昧性を除去し、前記試料または前記試料の前記部分内の前記発光体の位置の表示を含む複合画像を作り出すステップが、
前記発光体を、それぞれ１つまたは複数の最初の発光体を含むクラスタに分割するステップと、
各クラスタに対して、
反復的に、
選択された最初の発光体に対する相手を前記クラスタに挿入するステップと、
最初の発光体の位置および前記相手の位置を、前記クラスタに対する観察された強度に適合させるステップと、
前記クラスタに対する算出された画像を算出するステップと、
前記算出された画像と観察された画像から残差統計を算出するステップと、
前記相手を含む前記クラスタに対して算出された前記残差統計が、前記相手を挿入する前の前記クラスタに対して算出された前記残差統計より良好であることを統計試験が示すとき、前記相手を前記クラスタに追加するステップとをさらに含む、請求項１７に記載の方法。
【請求項２０】
前記試料または前記試料の前記部分の１つまたは複数の改良および解釈された画像を作り出すために、前記画像生成サブシステムによって作られた前記複合画像に幾何学的基本要素を反復的に適合させるステップが、
反復的に、
現在考察されている階層的な処理レベルに対して１組の幾何学的要素を選択するステップと、
前記１組の幾何学的要素からの幾何学的要素を、前の反復からの改良された中間画像に、または第１の反復では、前記画像生成サブシステムによって作られた前記複合画像に再帰的に適合させて、１つまたは複数の改良された画像候補を作り出すステップと、
後の反復で処理するため、または最終の反復では、前記１つまたは複数の改良および解釈された画像として、改良された画像候補を選択するステップとをさらに含む、請求項１７に記載の方法。
【請求項１】
試料または前記試料の一部分に照射して、前記試料内の発光体を活性化し、前記発光体からの発光を励起し、ある期間にわたって、前記試料または前記試料の前記部分内の発光体の中間出力画像を記録する光検出サブシステムと、
前記中間出力画像を処理して、前記試料または前記試料の前記部分内の前記発光体の最初に判定された位置を識別および記録し、発光体位置モデルから、算出された出力画像を反復的に算出して、前記中間出力画像内の重複する発光体画像の曖昧性を除去し、前記試料または前記試料の前記部分内の前記発光体の位置の表示を含む複合画像を作り出す画像生成サブシステムと、
前記試料または前記試料の前記部分の１つまたは複数の改良および解釈された画像を作り出すために、前記画像生成サブシステムによって作られた前記複合画像に幾何学的基本要素を反復的に適合させる画像解釈サブシステムと
を備える撮像システム。
【請求項２】
前記光検出サブシステムが、蛍光顕微鏡法の光学サブシステムを備える、請求項１に記載の撮像システム。
【請求項３】
前記発光体が、第１の周波数の光への露出によって照射により活性化され、第２の周波数の光への露出によって蛍光を放射するように励起される蛍光体である、請求項２に記載の撮像システム。
【請求項４】
前記発光体が、第１の周波数の光への露出によって活性化され、第２の周波数の光への露出によって蛍光を放射するように励起される蛍光体である、請求項３に記載の撮像システム。
【請求項５】
前記画像生成サブシステムが、
前記中間画像からノイズをフィルタリングして、ノイズがフィルタリングされた中間画像を作り出すステップと、
前記ノイズがフィルタリングされた中間画像から極大を選択するステップと、
前記選択された極大から発光体を選択するステップと、
前記選択された発光体の位置に、検出された任意のさらなる発光体を追加するために、重複する発光体画像の曖昧性を除去するステップとによって、各中間画像を処理する、請求項１に記載の撮像システム。
【請求項６】
前記画像生成サブシステムが、前記中間画像にガウスフィルタを適用することによって、前記中間画像からノイズをフィルタリングする、請求項５に記載の撮像システム。
【請求項７】
前記画像生成サブシステムが、前記中間画像内のすべての隣接する画素または体素より高い関連する強度値を有する画素または体素を選択することによって、前記ノイズがフィルタリングされた中間画像から極大を選択する、請求項５に記載の撮像システム。
【請求項８】
前記画像生成サブシステムが、
前記画像内の前記極大の近傍全体で算出された曲率と前記極大の近傍の平均強度の積として、各極大に対するスポット測定を算出するステップと、
算出されたスポット測定が閾値より大きい前記極大を発光体として選択するステップとによって、前記選択された極大から発光体を選択する、請求項５に記載の撮像システム。
【請求項９】
前記画像生成サブシステムが、前記選択された発光体に、検出された任意のさらなる発光体を追加するために、
前記発光体を、それぞれ１つまたは複数の最初の発光体を含むクラスタに分割するステップと、
各クラスタに対して、
反復的に、
選択された最初の発光体に対する相手を前記クラスタに挿入するステップと、
最初の発光体の位置および前記相手の位置を、前記クラスタに対する観察された強度に適合させるステップと、
前記クラスタに対する算出された画像を算出するステップと、
前記算出された画像と観察された画像から残差統計を算出するステップと、
前記相手を含む前記クラスタに対して算出された前記残差統計が、前記相手を挿入する前の前記クラスタに対して算出された前記残差統計より良好であることを統計試験が示すとき、前記相手を前記クラスタに追加するステップとによって、重複する発光体画像の曖昧性を除去する、請求項５に記載の撮像システム。
【請求項１０】
前記クラスタに対する算出された画像を算出するステップが、各発光体および前記相手を、パラメータ化されたガウス強度分布としてモデル化するステップをさらに含む、請求項９に記載の撮像システム。
【請求項１１】
各中間画像が、前記撮像システムの光軸に対する試料の位置範囲にわたって得られる複数の２次元画像を含む、請求項１に記載の撮像システム。
【請求項１２】
前記画像解釈サブシステムが、前記試料または前記試料の前記部分の１つまたは複数の改良および解釈された画像を作り出すために、
反復的に、
現在考察されている階層的な処理レベルに対して１組の幾何学的要素を選択するステップと、
前記１組の幾何学的要素からの幾何学的要素を、前の反復からの改良された中間画像に、または第１の反復では、前記画像生成サブシステムによって作られた前記複合画像に再帰的に適合させて、１つまたは複数の改良された画像候補を作り出すステップと、
後の反復で処理するため、または最終の反復では、前記１つまたは複数の改良および解釈された画像として、改良された画像候補を選択するステップとによって、前記画像生成サブシステムによって作られた前記複合画像に幾何学的基本要素を反復的に適合させる、請求項１に記載の撮像システム。
【請求項１３】
前記画像解釈サブシステムが、
前記現在考察されている階層的な処理レベルに適当な寸法および複雑さを有する幾何学的要素を選択するステップと、
前記現在考察されている階層的な処理レベルに適当な寸法および複雑さを有する前記幾何学的要素の中から、前記試料内で生じることが分かっている構造および特徴に適合している幾何学的要素を選択するステップとによって、現在考察されている階層的な処理レベルに対して１組の幾何学的要素を選択する、請求項１２に記載の撮像システム。
【請求項１４】
前記画像解釈サブシステムが、前の反復からの前記改良された中間画像、または第１の反復では、前記画像生成サブシステムによって作られた前記複合画像への幾何学的要素の多数の可能な写像を考察するために、幾何学的要素適合の探索を実施する、請求項１２に記載の撮像システム。
【請求項１５】
画像候補が、前の反復からの前記改良された中間画像、または第１の反復では、前記画像生成サブシステムによって作られた前記複合画像の特徴が対象に入り、または含まれる程度、現在の反復で前記特徴に適合される前記幾何学的要素、ならびに前記画像候補内の特徴が前記試料内で生じることがわかっている構造および特徴に対応する可能性によって評価される、請求項１４に記載の撮像システム。
【請求項１６】
前の反復からの前記改良された中間画像、または第１の反復では、前記画像生成サブシステムによって作られた前記複合画像の１つまたは複数の特徴への幾何学的要素の適合が、前の反復からの前記改良された中間画像、または第１の反復では、前記画像生成サブシステムによって作られた前記複合画像の特徴が対象に入り、または含まれる程度、前記幾何学的要素、ならびに前記幾何学的要素を前記１つまたは複数の特徴に適合させることによって作られた前記画像候補内の何らかの中間特徴が前記試料内で生じることがわかっている構造および特徴に対応する可能性によって評価される、請求項１４に記載の撮像システム。
【請求項１７】
画像を作り出す方法であって、
繰り返し、
試料または前記試料の一部分に照射して、前記試料内の発光体を活性化するステップと、
前記発光体からの発光を励起するステップと、
ある期間にわたって、前記試料または前記試料の前記部分内の発光体の中間出力画像を記録するステップと、
前記中間出力画像を処理して、前記試料または前記試料の前記部分内の前記発光体の最初に判定された位置を識別および記録するステップと、
発光体位置モデルから、算出された出力画像を反復的に算出して、前記中間出力画像内の重複する発光体画像の曖昧性を除去し、前記試料または前記試料の前記部分内の前記発光体の位置の表示を含む複合画像を作り出すステップと、
前記試料または前記試料の前記部分の１つまたは複数の改良および解釈された画像を作り出すために、前記画像生成サブシステムによって作られた前記複合画像に幾何学的基本要素を反復的に適合させるステップとを含む方法。
【請求項１８】
前記中間出力画像を処理して、前記試料または前記試料の前記部分内の前記発光体の最初に判定された位置を識別および記録するステップが、
前記中間画像からノイズをフィルタリングして、ノイズがフィルタリングされた中間画像を作り出すステップと、
前記ノイズがフィルタリングされた中間画像から極大を選択するステップと、
前記選択された極大から発光体を選択するステップと、
前記選択された発光体の位置に、検出された任意のさらなる発光体を追加するために、重複する発光体画像の曖昧性を除去するステップとをさらに含む、請求項１７に記載の方法。
【請求項１９】
発光体位置モデルから、算出された出力画像を反復的に算出して、前記中間出力画像内の重複する発光体画像の曖昧性を除去し、前記試料または前記試料の前記部分内の前記発光体の位置の表示を含む複合画像を作り出すステップが、
前記発光体を、それぞれ１つまたは複数の最初の発光体を含むクラスタに分割するステップと、
各クラスタに対して、
反復的に、
選択された最初の発光体に対する相手を前記クラスタに挿入するステップと、
最初の発光体の位置および前記相手の位置を、前記クラスタに対する観察された強度に適合させるステップと、
前記クラスタに対する算出された画像を算出するステップと、
前記算出された画像と観察された画像から残差統計を算出するステップと、
前記相手を含む前記クラスタに対して算出された前記残差統計が、前記相手を挿入する前の前記クラスタに対して算出された前記残差統計より良好であることを統計試験が示すとき、前記相手を前記クラスタに追加するステップとをさらに含む、請求項１７に記載の方法。
【請求項２０】
前記試料または前記試料の前記部分の１つまたは複数の改良および解釈された画像を作り出すために、前記画像生成サブシステムによって作られた前記複合画像に幾何学的基本要素を反復的に適合させるステップが、
反復的に、
現在考察されている階層的な処理レベルに対して１組の幾何学的要素を選択するステップと、
前記１組の幾何学的要素からの幾何学的要素を、前の反復からの改良された中間画像に、または第１の反復では、前記画像生成サブシステムによって作られた前記複合画像に再帰的に適合させて、１つまたは複数の改良された画像候補を作り出すステップと、
後の反復で処理するため、または最終の反復では、前記１つまたは複数の改良および解釈された画像として、改良された画像候補を選択するステップとをさらに含む、請求項１７に記載の方法。
【図１】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０Ａ】
【図２０Ｂ】
【図２１】
【図２２】
【図２３】
【図２４Ａ】
【図２４Ｂ】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０Ａ】
【図３０Ｂ】
【図３０Ｃ】
【図３０Ｄ】
【図３１】
【図３２】
【図３３】
【図３４】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０Ａ】
【図２０Ｂ】
【図２１】
【図２２】
【図２３】
【図２４Ａ】
【図２４Ｂ】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０Ａ】
【図３０Ｂ】
【図３０Ｃ】
【図３０Ｄ】
【図３１】
【図３２】
【図３３】
【図３４】
【公表番号】特表２０１３−５１５９５８（Ｐ２０１３−５１５９５８Ａ）
【公表日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１２−５４６００６（Ｐ２０１２−５４６００６）
【出願日】平成２２年１２月８日（２０１０．１２．８）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５９４４７
【国際公開番号】ＷＯ２０１１／０８７６３２
【国際公開日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（５０８２５３５１３）アプライド プレシジョン インコーポレイテッド (6)
【氏名又は名称原語表記】ＡＰＰＬＩＥＤ ＰＲＥＣＩＳＩＯＮ， ＩＮＣ．
【Ｆターム（参考）】
【公表日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２２年１２月８日（２０１０．１２．８）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５９４４７
【国際公開番号】ＷＯ２０１１／０８７６３２
【国際公開日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（５０８２５３５１３）アプライド プレシジョン インコーポレイテッド (6)
【氏名又は名称原語表記】ＡＰＰＬＩＥＤ ＰＲＥＣＩＳＩＯＮ， ＩＮＣ．
【Ｆターム（参考）】
[ Back to top ]