顕微鏡画像を形成するための方法および顕微鏡
本発明は、ａ）それぞれ顕微鏡対物レンズを介してＴＩＲＦ法により試料が照明され、ｂ）構造の種々の移動位置で試料が構造化照明され、少なくとも１つの試料領域の画像をそれぞれ形成するために、ａ）及びｂ）による方法の試料光が検出され、ａ）及びｂ）にしたがって形成された試料画像が互いに計算され、好ましくは乗算され、新たな試料画像を形成するために結果が格納される、顕微鏡画像を形成するための方法および顕微鏡に関する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡画像を形成するための方法および顕微鏡に関する。
【背景技術】
【０００２】
いわゆる全反射蛍光（英語：「ｔｏｔａｌ ｉｎｔｅｒｎａｌ ｒｅｆｌｅｃｔｉｏｎ ｆｌｕｏｒｅｓｃｅｎｃｅ」、ＴＩＲＦ）を使用する顕微鏡は、蛍光顕微鏡の特別の形式である。このような顕微鏡はたとえば特許文献１（そのたとえば図９と１０Ｃ）に開示されている。図１は、関連性を説明する。試料Ｐの蛍光体Ｆ０がもっぱらエバネッセント照明場Ｅにより、カバーガラスＤと試料との境界面の後方の薄い層内で蛍光Ｆ１に励起される。試料内のエバネッセント照明場Ｅは、励起光線ＴがカバーガラスＤ内を全反射になる角度θｃでカバーガラス・試料境界面へ案内されることによって形成される。薄い層だけが蛍光励起されることにより、とくに高い軸方向の分解能が達成できる。ＴＩＲＦ顕微鏡の光軸方向の分解能は、試料へのエバネッセント場の浸入深度ｄから得られる。入射角θに依存して次式から軸方向分解能が得られる。
【０００３】
【数１】
ここでλは励起波長、ｎ１はカバーガラスの屈折率、ｎ２は試料の媒体の屈折率である。
【０００４】
照明は典型的には図２に概略的に示すように顕微鏡対物レンズＯを通して行われ、その縁部領域では照明光が、対物レンズＯを去った後対物レンズＯの光軸と、全反射角θｃ以上の角度で交差する。励起光Ｔに対して必要な大きな入射角を可能にするためには、顕微鏡対物レンズＯが大きな開口数を有していなければならない。対応する蛍光は、同じ対物レンズＯにより集光され、ＣＣＤカメラ（図示せず）に結像される。
【０００５】
同様に特許文献１から、顕微鏡解像度を高めるために光切換可能な蛍光色素を使用することが公知である（英語：「Ｐｈｏｔｏ−ａｃｔｉｖａｔｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ」；ＰＡＬＭ、ＰＡＬ−Ｍとも）。活性化波長においては非常に強度の弱い光によりランダムに分布した極めて少数の蛍光体が励起可能な状態に変換され（活性化され）、引き続き公知のように励起波長の光によって蛍光が励起される。残りの非活性化蛍光体は、励起波長によって蛍光が励起されない。ランダムに分布しているので、活性化され励起された蛍光体は、通例、蛍光事象から発生して回折限界で広がった点光源結像の強度分布が互いに重ならないように空間的に離れて存在する。このことはとりわけ、回折広がりのため強度分布が必然的に複数の画素（英語：「ｐｉｃｔｕｒｅ ｅｌｅｍｅｎｔｓ」；ピクセル）にわたって伸長する２次元画像への投影に当てはまる。ＰＡＬ顕微鏡では、通例は空間的に重ならないそれぞれ少数の蛍光事象を備える多数の個別画像が記録される。ここで蛍光体の小さな群の活性化は、最後に活性化された蛍光体が脱色して初めて繰り返される。個々の蛍光事象の起源が、回折広がりした強度分布に基づき、個別画像においてサブピクセル分解能での補償計算により位置特定され、高分解能の結果画像に登録される。
【０００６】
光学的画像形成システムの側方分解能を、周期的パターンの照明によって対象物を走査することにより改善する方法を開示する。
本発明の枠内での高分解能の顕微鏡法が特許文献２に述べられており、ここでは周期的構造を備える対象物が走査される。
【０００７】
特許文献３では、構造化された照明によって非線形のプロセスが利用される。非線形性として蛍光の飽和が用いられる。照明光線モジュレータによって形成される構造化された光により、対象空間スペクトルが光学的システムの伝達関数に対して偏移される。具体的にスペクトルの偏移は、対象物空間周波数Ｖ０が空間周波数Ｖ０−Ｖｍにおいて伝達されることを意味し、ここでＶｍは構造化された照明の周波数である。このシステムにより伝達可能な最大空間周波数が規定されれば、これは、偏移周波数Ｖｍだけ伝達関数の最大周波数より上にある対象物の空間周波数の転移を可能にする。このアプローチは、画像形成のための復元アルゴリズムと、１つの画像に対して複数の記録の使用を必要とする。したがって高分解能顕微鏡法の対応する説明に関連して同様に完全に援用する特許文献３は、使用の構造化された広視野照明を使用し、たとえば振幅／位相グリッドによりストライプ状の変調が刻まれる。試料内の蛍光も同様に広視野で検知される。変調が少なくとも３つの異なる回転状態、たとえば０°、１２０°、および２４０°にもたらされ、各回転位置で変調が少なくとも３つの異なる位置に移動される。回転位置の各移動（すなわち全部で少なくとも９つの画像位置）において試料が広視野に検知される。さらにグリッドは、使用される光学的構成で伝達できる限界周波数にできるだけ近い周波数を有する。次に、フーリエ変換を使用して前記のスペクトル偏移が行われ、とくに０次と±１次の回折次数が画像内で評価される。この顕微鏡法もＳＩＭ法と称される。
【０００８】
ＳＩＭ法の改善形態は、変調のストライプ方向に対して垂直の線形照明により達成することができる。この場合、線形照明を行い、ラインに沿ってストライプ構造が再び見出される。線形照明は変調によって構造化される。線形照明により、共焦点のスリット検知とさらなる分解能向上が可能となる。この方法もＳＬＩＭと省略される。
【０００９】
分解能のさらなる向上は、照明光線変調が、構造化された照明の明るい領域では飽和に達するほど強烈な照明光線によって試料の蛍光が実施される場合に得られる。この場合、蛍光に関しての試料上での変調はもはや正弦波分布せず、飽和作用のため光学的限界周波数のさらに高次の高調波を有する。この方法は、飽和パターン励起顕微鏡法（ＳＰＥＥ）とも省略される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】国際公開第２００６／１２７６９２（Ａ２）号パンフレット
【特許文献２】米国特許第５８６７６０４号明細書
【特許文献３】欧州特許第１１５７２９７（Ｂ１）号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は以下に、独立請求項による、顕微鏡の回折限界より低い顕微鏡分解能を達成する方法および装置を記述する。好ましい改善形態は従属請求項の対象である。
【図面の簡単な説明】
【００１２】
【図１】従来技術を示す図である。
【図２】従来技術を示す図である。
【図３】本発明による顕微鏡を示す図である。
【図４】本発明のコンビネーション顕微鏡によって得られる種々の顕微鏡画像の重なりを概略的に示す図である。
【図５】本発明のための光学的構成の実施形態を示す図である。
【図６】構造化された（ＳＩＭ）照明についてのＴＩＲＦに対して格納された個別画像を示す図である。
【図７】画像の結合の工程を示す図である。
【発明を実施するための形態】
【００１３】
図３には、古典的な顕微鏡法、すなわち分解能が回折により制限される顕微鏡１が図示されており、この古典的な顕微鏡法は高分解能の顕微鏡法、すなわちその分解能が回折限界を越えて上昇された顕微鏡法と同時に実施することができる。顕微鏡１はモジュール型に構成されており、本発明をより良く説明するために大規模な拡張バージョンで説明する。しかし少数のモジュールによる縮小した構造も可能である。モジュール型構造も必然ではなく、一体型または非モジュール型構造も同じように可能である。図１の例の顕微鏡１は従来のレーザ走査顕微鏡をベースに組み立てられており、試料２を検知する。
【００１４】
対物レンズ３を有し、すべての顕微鏡法について光線がこの対物レンズ３を通る。対物レンズ３はビームスプリッタ４を介して鏡筒レンズ５とともに試料をＣＣＤ検出器６上に結像する。このＣＣＤ検出器６は、一般的に可能な平面検出器に対する一例である。その点で顕微鏡１は従来の光顕微鏡モジュール７を有し、試料２から対物レンズ３と鏡筒レンズ５を通ってＣＣＤ検出器６に至る光線路は従来の広視野検出光線路８に相当する。ビームスプリッタ４は、図１の双方向矢印により示されるように、異なるダイクロイック特性を有するビームスプリッタと米国特許出願公開第２００８／００８８９２０号による無色収差ビームスプリッタとを切り換えることができるように交換可能である。
【００１５】
対物レンズ３への光線路にはさらにレーザ走査モジュール９が結合されており、そのＬＳＭ照明光線路および検出光線路は、同様にビームスプリッタ機能を有する切換ミラー１１を介して対物レンズ３への光線路に入力結合される。したがって切換ミラー１１からビームスプリッタ４を通って対物レンズ３への光線路は、照明光線路および検出光線路が１つにされる光線路である。このことはレーザ走査顕微鏡９に対しても、すなわち広視野検出光線路８に対しても当てはまる。なぜなら後でさらに説明するように、切換ミラー１１で照明光線も入力結合され、照明光線が広視野検出光線路８と関連して、すなわちＣＣＤ検出器６と関連して顕微鏡法を実現するからである。
【００１６】
切換ミラー１１とビームスプリッタ４は１つのビームスプリッタモジュール１２に統合され、これにより切換ミラー１１とビームスプリッタ４を適用に応じて交換することができる。これは双方向矢印により表されている。さらにビームスプリッタモジュール１２には放射フィルタ１３が設けられており、この放射フィルタ１３は広視野検出光線路８内にあって、広視野検出光線路８を通って伝播することのできるスペクトル成分を適切にフィルタリングする。もちろんビームスプリッタモジュール１２内の放射フィルタ１３も交換可能である。
【００１７】
レーザ走査モジュール９は、動作に必要なレーザ光線を、光導体ファイバ１４を介してレーザモジュール１５から受け取る。
図１に示した構造では、ビームスプリッタモジュール１２に、より正確には切換ミラー１４に集光照明光線路１６が入力結合され、この集光照明光線路１６を通って種々の顕微鏡法に対する照明光線が延在する。この集光照明光線路１６には、個々の照明モジュールの種々の部分照明光線路が入力結合される。たとえば広視野照明モジュール１７が切換ミラー１８を介して、広視野照明光線を集光照明光線路１６に結合し、これにより鏡筒レンズ２７と対物レンズ３を介して試料２が広視野照明される。広視野照明モジュールはたとえばＨＢＯランプを有することができる。別の照明モジュールとして、切換ミラー１８が適切な位置にあるときにＴＩＲＦ照明を実現するＴＩＲＦ照明モジュール１９が設けられている。そのためにＴＩＲＦ照明モジュール１９は、レーザモジュール１５から光導体ファイバ２０を介して光線を受け取る。ＴＩＲＦ照明モジュール１９は、縦方向に可動のミラー２１を有する。縦方向の運動により、ＴＩＲＦ照明モジュール１９から出力される照明光線が、出力された照明光線の主伝播方向に対して垂直に移動され、これにより結果として対物レンズ３にＴＩＲＦ照明が、対物レンズ３の光軸に対して調整可能な角度の下で入射する。このようにして、カバーガラスでの全反射に必要な角度を簡単に保証することができる。もちろんこの角度調整を行うためには他の手段も適する。ＴＩＲＦ照明モジュール１９は、照明光線が光軸に入射するようミラー２１を調整することにより、広視野照明源としても動作することができる。
【００１８】
さらに集光照明光線路には、マニピュレータモジュール２２の照明光線路が入力結合される。このマニピュレータモジュール２２も同様に、詳細に図示しない光導体ファイバを介してレーザモジュール１５から光線を受け取り、点状または線状の光線分布を試料２の上で走査しながら案内する。したがってマニピュレータモジュール２２はレーザ走査顕微鏡の照明モジュールに実質的に対応し、したがってマニピュレータモジュール２２はレーザ走査モジュール９または広視野検出の検出器ともＣＣＤ検出器６によって組み合わせて駆動することができる。
【００１９】
集光照明光線路１６にはさらに光線モジュレータとしてストライプグリッド２３が設けられている。このストライプグリッド２３は照明光線路の中間画像面にあり、その格子定数は顕微鏡１により試料２に伝達することのできる限界周波数よりも下にある。グリッド２３は、これに入射する照明光線をストライプ状に変調する。グリッド２３は、集光照明光線路１６の光軸に対して横方向に可動であり、光線路から外れるように旋回することもできる。そのために対応する移動駆動部２４が設けられている。
【００２０】
照明方向に集光照明光線路１６中には、さらに画像野ロータ２５がグリッドに後置されている。この画像野ロータ２５はロータ駆動部２６によって回転される。画像野ロータはたとえば、アッベ・ケーニッヒプリズムとすることができる。
【００２１】
顕微鏡１のモジュールと駆動部ならびに検出器はすべて、詳細に図示しない線路を介して制御装置２８と接続されている。この接続はたとえばデータおよび制御バスを介して行うことができる。制御装置２８は、顕微鏡１を種々の動作モードで制御する。
【００２２】
制御装置２８は顕微鏡１において、古典的な顕微鏡法、すなわち広視野顕微鏡法（ＷＦ）、レーザ走査顕微鏡法（ＬＳＭ）、および内部全反射（ＴＩＲＦ）を行う蛍光顕微鏡法を実施するように構成されており、これらは解像度の高い顕微鏡法、たとえば冒頭に述べたＰＡＬ−Ｍ、ＳＩＭ、ＳＬＩＭ、ＳＰＥＭ、ＳＴＥＤ、ＲＥＳＯＬＦＴと組み合わされ、これらも互いに組み合わされる。図１の顕微鏡１はレーザ操作照明に適した実質的に２つのモジュール、すなわちレーザ走査モジュール９とマニピュレータモジュール２２を有する。もちろん別の組合せも可能である。これらのモジュールは、対物レンズ３を備える鏡筒レンズを介して試料２に結合される。マニピュレータモジュール２２はレーザ走査モジュールの励起部分を含むだけであり、したがって検出は行わない。これにより試料を点状に照明することができ、照明スポットを試料２の上にラスタ化することができる。好ましくはマニピュレータモジュール２２内には切換ユニット、たとえば切換レンズまたはシリンダレンズがあり、これにより点状の照明と線状の照明とを切り換えることができる。線状の照明はとりわけ、集光照明光線路１６の中間画像内に存在するグリッド２３が旋回して入れられており、線状の照明のラインに対して垂直である場合にとくに有利である。この場合、マニピュレータモジュール２２によって簡単にＳＬＩＭ顕微鏡法が実現できる。
【００２３】
グリッド２３の代わりに可変調節可能なストライプモジュレータまたはＤＭＤを、試料２に構造化された照明を形成するために使用することもできる。この場合当然、移動駆動部２４およびグリッド２３の入／出旋回性も不要である。
【００２４】
画像野ロータ２５により、グリッド２３（またはこれを置換するエレメント）により形成される構造化された照明を、集光照明光線路１６の光軸を中心に回転することができ、それにより構造化された照明が試料２内で種々の角度をとる。したがってマニピュレータモジュール２２または広視野照明モジュール１７の駆動により、制御装置２８によるグリッド２３の適切な調整とそれぞれ組み合わせて、顕微鏡１によりＳＩＭ、ＳＬＩＭまたはＳＰＥＭの顕微鏡法を実施することができる。もちろん切換ミラー１８は適切な位置にもたらされるべきである。
【００２５】
グリッド２３が外れるように旋回されている場合、古典的な広視野照明を広視野照明モジュール１７により、または古典的なＴＩＲＦ照明をＴＩＲＦ照明モジュール１９により行うことができる。
【００２６】
個々の動作形式を切り換えるために、切換ミラー１８と１１ならびにビームスプリッタ４が適切に調整される。そのために実現例ではフリップミラーまたは旋回ミラーを使用することができ、動作形式を順番に切り換えることができる。その代わりに、異なるモジュールの同時動作を可能にするダイクロイックミラーも可能である。
【００２７】
ビームスプリッタ４は好ましくはダイクロイックビームスプリッタとして構成されており、そのスペクトル特性を調整して、ＣＣＤ検出器６によって検出することのできるマーキング分子の蛍光放射のスペクトル成分は広視野検出光線路８に達し、その他のスペクトル成分はできるだけ透過されるようにすることができる。種々の放射特性を備えるマーキング分子の使用可能性についての柔軟度を高めるために、ビームスプリッタモジュール１２には複数の異なるビームスプリッタ４と放射フィルタ１３が交換可能に、たとえばフィルタホイール上に配置されている。
【００２８】
図４は、本発明のコンビネーション顕微鏡によって得られる種々の顕微鏡画像の重なりを概略的に示す。ここで顕微鏡画像２９は古典的顕微鏡法、たとえば通常の蛍光顕微鏡から広視野照明源１７と広視野検出を使用して得られるものである。これに対して顕微鏡画像３０は、解像度の高い方法、たとえばＳＩＭ顕微鏡法またはＰＡＬ顕微鏡法から得られるものである。顕微鏡画像２９内には構造３１があり、構造３２は解像度の高い顕微鏡画像３０内に存在する。制御装置２８は、矢印により象徴される重畳過程３３でそれぞれの画像を１つの全体画像に重ね合わせる。重ね合わせは２次元または３次元で、そして２つの変形についてそれぞれ時間を介しても行うことができる。図２は、２次元表示を例示する。図２はさらに、解像度の高い顕微鏡画像３０が解像度の低い顕微鏡画像２９と組み合わされること、すなわち解像度の異なる２つの顕微鏡法を組み合わせて、１つの全体画像が得られることを概略的に示すものである。図２から、解像度の低い画像２９を用いることで初めて、解像度の高い顕微鏡画像３０の解像度の高い細部間の関連性が明らかになることが分かる。
【００２９】
図５は、本発明のためのさらなる光学的構成の実施形態を示す。
光導体ファイバ、視準化レンズおよび偏向ミラーからなるファイバ入力結合５．１を介して、照明光が入力結合される。
【００３０】
偏向ミラー５．２を介して照明光は、ＴＩＲＦモードで画像野を低減するために好ましくは調整可能なテレスコープ５．３を介しフリップ可能なミラー５．４に達する。このミラー５．４によってＴＩＲＦ角度を調整することができる。
【００３１】
さらなるテレスコープ５．５と偏向ミラー５．６ならびに偏光を回転するための回転可能なλ／２プレートを介して、視準化された光は上に述べたように照明を構造化するためのグリッド５．８の面に、さらに画像回転のための回転可能プリズム５．９、鏡筒レンズ５．１０を介して概略的にのみ図示した顕微鏡に達する。前記グリッド５．８は好ましくは交換可能であり、圧電駆動部によって光軸に対して垂直に微細に移動可能であり、顕微鏡はＺ調整のために圧電駆動部を有する。顕微鏡には公知のようにＬＳＭ５．１１光線路が結合されている（独国特許第１９７０２７５３号明細書参照）。広視野検出のために、ここでは２つの平行なＣＣＤカメラ５．１２が検出部に配置されている。
【００３２】
図５に基づき、ＴＩＲＦ照明と構造化された照明（ＳＩＭ）のためのコンビネーション機器に格納される画像は、２つの方法から形成できることがさらに明らかである。好ましくはＴＩＲＦ照明と、引き続く検出のためにグリッドが外れるように旋回される。
【００３３】
１つまたは複数の受信器５．１により、グリッドが入るように旋回されているときには、複数のグリッド相での照明と引き続く計算によって高解像度の広視野画像が求められる。
【００３４】
同じ対物レンズを使用すればＳＩＭ記録での画像野とＴＩＲＦ記録での画像野は同じであり、したがって画像野の計算は問題なく可能である。異なる対物レンズを使用する場合、または記録条件が別のものに変化する場合、当業者には公知の画像野を適合するための措置、たとえば使用される対物レンズの較正および画像野の計算補正が行われる。
【００３５】
したがってデータ記録は、ＳＩＭに対して必要なすべての画像を含む画像の時間的順序で行われ、ＴＩＲＦ画像は光線路中にグリッドなしで、すなわち構造化なしで記録される。記録順序は重要ではなく、ハードウエアに応じて速度の利点を提供するだけである。たとえば照明をＴＩＲＦに変化することが時間を要する場合、この運動を一度だけ実施するのが好ましい。すなわちＴＩＲＦ画像は画像シーケンスの始めまたは終了で記録する。言い替えると、対象物支持体の近傍にある薄いＴＩＲＦ小プレートは計算により「側方に」構造化することができる。
【００３６】
Ｚ調整によって積層したＳＩＭ画像を形成することもでき、積層体の下方の画像（対象物の最下層）では追加でＴＩＲＦ記録が行われる。ここで最下層とは、カバーガラスの近傍にある層を意味する。倒立式顕微鏡とは異なる場合には、「最上」層とすることもできよう。したがって驚くことには、この最下層に対する画像データの乗算後に、ｚ方向に関して、しかしＹ／Ｙ方向にも横側方に良好に分解された画像が発生する。したがってデータ記録の後、たとえばＳＩＭに対してはたとえば１５の画像（５相は、０度、７２度、１４４度等の５相、５．９の調整による３つの画像方向）と記録された１つのＴＲＩＦ画像が存在する。
【００３７】
図６には、構造化された（ＳＩＭ）照明についてのＴＩＲＦ６ａｂと６ｂに対して格納された個別画像が示されている。
これらは６ｃ）で計算的に互いに結合され（好ましくは乗算され）、これにより画像６ｄ）が計算される。この画像６ｄ）は、対象物支持体の近傍で記録された画像に、両方の画像に存在する対象物Ｏに対する側方構造を追加で付与している。
【００３８】
画像の本来の結合は、図７に示すようにＴＩＲＦ画像によるＳＩＭデータのフィルタ工程で行われる。これは簡単な乗算により実行することができる。この図は、ＳＩＭデータの計算の２つの意味のある経過と、ＴＩＲＦ画像との組合せを行うことのできる個所を示す。
【００３９】
工程１〜４、６はすべて標準ＳＩＭ計算であり、工程５はここで新たに導入されたＴＩＲＦ重み付けの工程である。詳細には次のように経過する：
１．１５の画像が、ＳＩＭに対して通例のようにまず前処理される（たとえばバックグラウンドを差引き（場合により追加のバックグラウンド画像の記録により）、それぞれ５つの相を同じ平均的強度にスケーリングし、フーリエ変換のアーティファクトを回避するために画像の縁部を減衰する）。
【００４０】
２．これに、分離マトリクスの最適化後に実際に分離するために、次数をまず予備分離する工程が続く。ここで次数とは、グリッドの種々の回折次数により形成されたモアレパターンを意味し、それらの線形結合が各個別の画像で観察される。種々の相画像を記録することにより、線形等式システムが得られ、その解が分離された絶対値（次数）である。誘導の詳細は、「広視野蛍光顕微鏡法の横方向分解能の倍増（Ｄｏｕｂｌｉｎｇ ｔｈｅ ｌａｔｅｒａｌ ｒｅｓｏｌｕｔｉｏｎ ｏｆ ｗｉｄｅ ｆｉｅｌｄ ｆｌｕｏｒｅｓｃｅｎｃｅ ｍｉｃｒｏｓｃｏｐｙ）」、グスタフソン（Ｇｕｓｔａｆｓｏｎ）、Ａｇａｒｄ、Ｓｅｄａｔ、ＳＰＩＥ Ｖｏｌ．３９１９（２０００）、１６０５−７４２２にも記載されている。
【００４１】
画像中において、ＴＩＲＦ切片法とは関係のない関連性（蛍光体の濃度）を得るために、乗算後にさらに、線形の場合に対する補正である正規化を行うべきである。すなわち平方根を開き、これにより側方の強度関係が得られたままとなる。すなわちＴＩＲＦとＳＩＭに見られる強度値が、重み付け後に、２乗されていないそれらの元の値を再び獲得する。
【００４２】
図７ａと７ｂには可能な経過が示されている。
これらは以下の工程である（これらの工程についての式と関係についての説明も参照のこと）
１．画像前処理（たとえばバックグラウンドの除去、平滑化フィルタの適用）
２．次数の予備分離
３．分離マトリクスの最適化
４．次数の分離
５．ＴＩＲＦによる次数のフィルタリング、たとえば乗算と好ましくはこれに続く正規化（たとえば平方根）
６．次数の組合せ（共通の計算と画像表示）。
【００４３】
図７ａには、構造化された照明により記録された画像の個々の次数の記録および計算をまず実施し、次にＴＩＲＦ画像と計算し、そして次数から１つの画像を計算して格納すること（工程５）が示されており、図７ｂではまずＴＩＲＦ記録が行われ、その後に構造化された画像が記録され、次数が計算され、ＴＩＲＦ画像と計算され、続いて画像の次数が組み合わされる。
【００４４】
ＳＩＭ法の数学的基礎について、以下補充的に挙げる（前記刊行物も参照のこと）：
フーリエ空間での照明パターン：
【００４５】
【数２】
ただしａ０、ａ１およびａ２は強度照明次数の振幅、ｋｇは格子ベクトルを表す。格子ベクトルｋｇ＝（ｘｋ，ｙｋ）は格子周波数（“ピクセルサイズ”／｜ｋｇ｜）と方向（ａｔａｎ２（ｙｋ／ｘｋ））についての情報を含む。
【００４６】
画像形成：Ｉ（ｋ）は光学的変換関数（ＯＴＦ）Ｈｅｘ（ｋ）と乗算される
Ｉｅｘ（ｋ）＝Ｈｅｘ（ｋ）Ｉ（ｋ） （２）
Ｉｅｘ（ｋ）が対象Ｓ（ｋ）によりフーリエ空間で畳み込まれる。
【００４７】
【数３】
Ｉｓ（ｋ）が放射ＯＴＦ、Ｈｅｍ（ｋ）と乗算される。
【００４８】
【数４】
（１）を（４）に代入すると次式
【００４９】
【数５】
になる。ただし次数は
【００５０】
【数６】
である。次数強度ａ０、ａ１およびａ２をＤｘ（ｋ）に代入すると次式
【００５１】
【数７】
になる。
【００５２】
次数の分離：５つの次数Ｄ０（ｋ）、Ｄ−１（ｋ）、Ｄ１（ｋ）、Ｄ−２（ｋ）およびＤ２（ｋ）を分離するためには、少なくとも５つの画像（Ｎｐ＝５）を異なる位相ｎ＝１、．．．、Ｎｐにより記録しなければならない：
【００５３】
【数８】
集合（８）は以下のようにマトリクス形式に書き換えることができる：
Ｉ＝ＡＤ’ （９）
ただし
【００５４】
【数９】
である。
【００５５】
位相は、線形等式システム（８）が線形に依存しない等式から発生するように選択すべきであることに注意。集合（８）は以下のようにＤ０（ｋ）、Ｄ−１（ｋ）、Ｄ１（ｋ）、Ｄ−２（ｋ）およびＤ２（ｋ）について解くことができる。
分離マトリクスの最適化：位相□ｎが十分に正確に既知であることを前提にして次数を式（８）にしたがって分離する。分離マトリクスの最適化では：位相□ｎが十分に正確に既知であることを前提にして次数を式（８）にしたがって分離する。しかし実験ではこの値はプリセット値と実質的に異なることがしばしばあり、したがって格子周波数と位相は次数とともにデータから決定すべきである。したがってまず位相に対するプリセット値により式（８）にしたがい分離される（図７の工程２による次数の予備分離）。
【００５６】
続いてこの予備分離された次数が、予備分離された次数間の相互相関を最小にすることにより、分離マトリクスＡを最適化（分離マトリクスの最適化、図７の工程３）するために使用される。このマトリクスＡにより、最後に次数の分離（図７の工程４）が行われる。
【００５７】
ここでは個々の次数のＴＩＲＦ画像によるフィルタリングを乗算によって行うことができる（ＴＩＲＦによる次数のフィルタリング、図７の工程５）。平方根を開くことによる正規化は画像における相関強度を獲得する。なぜならＴＩＲＦと広視野画像において同じ明るさに見られる強度は同じ明度値を保持しており、しかしＴＩＲＦで良好に識別できない他の強度はより暗く示され、したがって所望のｚ切片法が行われる。
【００５８】
解像度の高い画像が、グスタフソン（Ｇｕｓｔａｆｆｓｏｎ）らが記載したのと同じように次数の組合せ（周波数空間での移動とＯＴＦの重み付けによる次数の合計）によって合成される（次数の合計、図７の工程６）。
【技術分野】
【０００１】
本発明は、顕微鏡画像を形成するための方法および顕微鏡に関する。
【背景技術】
【０００２】
いわゆる全反射蛍光（英語：「ｔｏｔａｌ ｉｎｔｅｒｎａｌ ｒｅｆｌｅｃｔｉｏｎ ｆｌｕｏｒｅｓｃｅｎｃｅ」、ＴＩＲＦ）を使用する顕微鏡は、蛍光顕微鏡の特別の形式である。このような顕微鏡はたとえば特許文献１（そのたとえば図９と１０Ｃ）に開示されている。図１は、関連性を説明する。試料Ｐの蛍光体Ｆ０がもっぱらエバネッセント照明場Ｅにより、カバーガラスＤと試料との境界面の後方の薄い層内で蛍光Ｆ１に励起される。試料内のエバネッセント照明場Ｅは、励起光線ＴがカバーガラスＤ内を全反射になる角度θｃでカバーガラス・試料境界面へ案内されることによって形成される。薄い層だけが蛍光励起されることにより、とくに高い軸方向の分解能が達成できる。ＴＩＲＦ顕微鏡の光軸方向の分解能は、試料へのエバネッセント場の浸入深度ｄから得られる。入射角θに依存して次式から軸方向分解能が得られる。
【０００３】
【数１】
ここでλは励起波長、ｎ１はカバーガラスの屈折率、ｎ２は試料の媒体の屈折率である。
【０００４】
照明は典型的には図２に概略的に示すように顕微鏡対物レンズＯを通して行われ、その縁部領域では照明光が、対物レンズＯを去った後対物レンズＯの光軸と、全反射角θｃ以上の角度で交差する。励起光Ｔに対して必要な大きな入射角を可能にするためには、顕微鏡対物レンズＯが大きな開口数を有していなければならない。対応する蛍光は、同じ対物レンズＯにより集光され、ＣＣＤカメラ（図示せず）に結像される。
【０００５】
同様に特許文献１から、顕微鏡解像度を高めるために光切換可能な蛍光色素を使用することが公知である（英語：「Ｐｈｏｔｏ−ａｃｔｉｖａｔｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ Ｍｉｃｒｏｓｃｏｐｙ」；ＰＡＬＭ、ＰＡＬ−Ｍとも）。活性化波長においては非常に強度の弱い光によりランダムに分布した極めて少数の蛍光体が励起可能な状態に変換され（活性化され）、引き続き公知のように励起波長の光によって蛍光が励起される。残りの非活性化蛍光体は、励起波長によって蛍光が励起されない。ランダムに分布しているので、活性化され励起された蛍光体は、通例、蛍光事象から発生して回折限界で広がった点光源結像の強度分布が互いに重ならないように空間的に離れて存在する。このことはとりわけ、回折広がりのため強度分布が必然的に複数の画素（英語：「ｐｉｃｔｕｒｅ ｅｌｅｍｅｎｔｓ」；ピクセル）にわたって伸長する２次元画像への投影に当てはまる。ＰＡＬ顕微鏡では、通例は空間的に重ならないそれぞれ少数の蛍光事象を備える多数の個別画像が記録される。ここで蛍光体の小さな群の活性化は、最後に活性化された蛍光体が脱色して初めて繰り返される。個々の蛍光事象の起源が、回折広がりした強度分布に基づき、個別画像においてサブピクセル分解能での補償計算により位置特定され、高分解能の結果画像に登録される。
【０００６】
光学的画像形成システムの側方分解能を、周期的パターンの照明によって対象物を走査することにより改善する方法を開示する。
本発明の枠内での高分解能の顕微鏡法が特許文献２に述べられており、ここでは周期的構造を備える対象物が走査される。
【０００７】
特許文献３では、構造化された照明によって非線形のプロセスが利用される。非線形性として蛍光の飽和が用いられる。照明光線モジュレータによって形成される構造化された光により、対象空間スペクトルが光学的システムの伝達関数に対して偏移される。具体的にスペクトルの偏移は、対象物空間周波数Ｖ０が空間周波数Ｖ０−Ｖｍにおいて伝達されることを意味し、ここでＶｍは構造化された照明の周波数である。このシステムにより伝達可能な最大空間周波数が規定されれば、これは、偏移周波数Ｖｍだけ伝達関数の最大周波数より上にある対象物の空間周波数の転移を可能にする。このアプローチは、画像形成のための復元アルゴリズムと、１つの画像に対して複数の記録の使用を必要とする。したがって高分解能顕微鏡法の対応する説明に関連して同様に完全に援用する特許文献３は、使用の構造化された広視野照明を使用し、たとえば振幅／位相グリッドによりストライプ状の変調が刻まれる。試料内の蛍光も同様に広視野で検知される。変調が少なくとも３つの異なる回転状態、たとえば０°、１２０°、および２４０°にもたらされ、各回転位置で変調が少なくとも３つの異なる位置に移動される。回転位置の各移動（すなわち全部で少なくとも９つの画像位置）において試料が広視野に検知される。さらにグリッドは、使用される光学的構成で伝達できる限界周波数にできるだけ近い周波数を有する。次に、フーリエ変換を使用して前記のスペクトル偏移が行われ、とくに０次と±１次の回折次数が画像内で評価される。この顕微鏡法もＳＩＭ法と称される。
【０００８】
ＳＩＭ法の改善形態は、変調のストライプ方向に対して垂直の線形照明により達成することができる。この場合、線形照明を行い、ラインに沿ってストライプ構造が再び見出される。線形照明は変調によって構造化される。線形照明により、共焦点のスリット検知とさらなる分解能向上が可能となる。この方法もＳＬＩＭと省略される。
【０００９】
分解能のさらなる向上は、照明光線変調が、構造化された照明の明るい領域では飽和に達するほど強烈な照明光線によって試料の蛍光が実施される場合に得られる。この場合、蛍光に関しての試料上での変調はもはや正弦波分布せず、飽和作用のため光学的限界周波数のさらに高次の高調波を有する。この方法は、飽和パターン励起顕微鏡法（ＳＰＥＥ）とも省略される。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】国際公開第２００６／１２７６９２（Ａ２）号パンフレット
【特許文献２】米国特許第５８６７６０４号明細書
【特許文献３】欧州特許第１１５７２９７（Ｂ１）号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は以下に、独立請求項による、顕微鏡の回折限界より低い顕微鏡分解能を達成する方法および装置を記述する。好ましい改善形態は従属請求項の対象である。
【図面の簡単な説明】
【００１２】
【図１】従来技術を示す図である。
【図２】従来技術を示す図である。
【図３】本発明による顕微鏡を示す図である。
【図４】本発明のコンビネーション顕微鏡によって得られる種々の顕微鏡画像の重なりを概略的に示す図である。
【図５】本発明のための光学的構成の実施形態を示す図である。
【図６】構造化された（ＳＩＭ）照明についてのＴＩＲＦに対して格納された個別画像を示す図である。
【図７】画像の結合の工程を示す図である。
【発明を実施するための形態】
【００１３】
図３には、古典的な顕微鏡法、すなわち分解能が回折により制限される顕微鏡１が図示されており、この古典的な顕微鏡法は高分解能の顕微鏡法、すなわちその分解能が回折限界を越えて上昇された顕微鏡法と同時に実施することができる。顕微鏡１はモジュール型に構成されており、本発明をより良く説明するために大規模な拡張バージョンで説明する。しかし少数のモジュールによる縮小した構造も可能である。モジュール型構造も必然ではなく、一体型または非モジュール型構造も同じように可能である。図１の例の顕微鏡１は従来のレーザ走査顕微鏡をベースに組み立てられており、試料２を検知する。
【００１４】
対物レンズ３を有し、すべての顕微鏡法について光線がこの対物レンズ３を通る。対物レンズ３はビームスプリッタ４を介して鏡筒レンズ５とともに試料をＣＣＤ検出器６上に結像する。このＣＣＤ検出器６は、一般的に可能な平面検出器に対する一例である。その点で顕微鏡１は従来の光顕微鏡モジュール７を有し、試料２から対物レンズ３と鏡筒レンズ５を通ってＣＣＤ検出器６に至る光線路は従来の広視野検出光線路８に相当する。ビームスプリッタ４は、図１の双方向矢印により示されるように、異なるダイクロイック特性を有するビームスプリッタと米国特許出願公開第２００８／００８８９２０号による無色収差ビームスプリッタとを切り換えることができるように交換可能である。
【００１５】
対物レンズ３への光線路にはさらにレーザ走査モジュール９が結合されており、そのＬＳＭ照明光線路および検出光線路は、同様にビームスプリッタ機能を有する切換ミラー１１を介して対物レンズ３への光線路に入力結合される。したがって切換ミラー１１からビームスプリッタ４を通って対物レンズ３への光線路は、照明光線路および検出光線路が１つにされる光線路である。このことはレーザ走査顕微鏡９に対しても、すなわち広視野検出光線路８に対しても当てはまる。なぜなら後でさらに説明するように、切換ミラー１１で照明光線も入力結合され、照明光線が広視野検出光線路８と関連して、すなわちＣＣＤ検出器６と関連して顕微鏡法を実現するからである。
【００１６】
切換ミラー１１とビームスプリッタ４は１つのビームスプリッタモジュール１２に統合され、これにより切換ミラー１１とビームスプリッタ４を適用に応じて交換することができる。これは双方向矢印により表されている。さらにビームスプリッタモジュール１２には放射フィルタ１３が設けられており、この放射フィルタ１３は広視野検出光線路８内にあって、広視野検出光線路８を通って伝播することのできるスペクトル成分を適切にフィルタリングする。もちろんビームスプリッタモジュール１２内の放射フィルタ１３も交換可能である。
【００１７】
レーザ走査モジュール９は、動作に必要なレーザ光線を、光導体ファイバ１４を介してレーザモジュール１５から受け取る。
図１に示した構造では、ビームスプリッタモジュール１２に、より正確には切換ミラー１４に集光照明光線路１６が入力結合され、この集光照明光線路１６を通って種々の顕微鏡法に対する照明光線が延在する。この集光照明光線路１６には、個々の照明モジュールの種々の部分照明光線路が入力結合される。たとえば広視野照明モジュール１７が切換ミラー１８を介して、広視野照明光線を集光照明光線路１６に結合し、これにより鏡筒レンズ２７と対物レンズ３を介して試料２が広視野照明される。広視野照明モジュールはたとえばＨＢＯランプを有することができる。別の照明モジュールとして、切換ミラー１８が適切な位置にあるときにＴＩＲＦ照明を実現するＴＩＲＦ照明モジュール１９が設けられている。そのためにＴＩＲＦ照明モジュール１９は、レーザモジュール１５から光導体ファイバ２０を介して光線を受け取る。ＴＩＲＦ照明モジュール１９は、縦方向に可動のミラー２１を有する。縦方向の運動により、ＴＩＲＦ照明モジュール１９から出力される照明光線が、出力された照明光線の主伝播方向に対して垂直に移動され、これにより結果として対物レンズ３にＴＩＲＦ照明が、対物レンズ３の光軸に対して調整可能な角度の下で入射する。このようにして、カバーガラスでの全反射に必要な角度を簡単に保証することができる。もちろんこの角度調整を行うためには他の手段も適する。ＴＩＲＦ照明モジュール１９は、照明光線が光軸に入射するようミラー２１を調整することにより、広視野照明源としても動作することができる。
【００１８】
さらに集光照明光線路には、マニピュレータモジュール２２の照明光線路が入力結合される。このマニピュレータモジュール２２も同様に、詳細に図示しない光導体ファイバを介してレーザモジュール１５から光線を受け取り、点状または線状の光線分布を試料２の上で走査しながら案内する。したがってマニピュレータモジュール２２はレーザ走査顕微鏡の照明モジュールに実質的に対応し、したがってマニピュレータモジュール２２はレーザ走査モジュール９または広視野検出の検出器ともＣＣＤ検出器６によって組み合わせて駆動することができる。
【００１９】
集光照明光線路１６にはさらに光線モジュレータとしてストライプグリッド２３が設けられている。このストライプグリッド２３は照明光線路の中間画像面にあり、その格子定数は顕微鏡１により試料２に伝達することのできる限界周波数よりも下にある。グリッド２３は、これに入射する照明光線をストライプ状に変調する。グリッド２３は、集光照明光線路１６の光軸に対して横方向に可動であり、光線路から外れるように旋回することもできる。そのために対応する移動駆動部２４が設けられている。
【００２０】
照明方向に集光照明光線路１６中には、さらに画像野ロータ２５がグリッドに後置されている。この画像野ロータ２５はロータ駆動部２６によって回転される。画像野ロータはたとえば、アッベ・ケーニッヒプリズムとすることができる。
【００２１】
顕微鏡１のモジュールと駆動部ならびに検出器はすべて、詳細に図示しない線路を介して制御装置２８と接続されている。この接続はたとえばデータおよび制御バスを介して行うことができる。制御装置２８は、顕微鏡１を種々の動作モードで制御する。
【００２２】
制御装置２８は顕微鏡１において、古典的な顕微鏡法、すなわち広視野顕微鏡法（ＷＦ）、レーザ走査顕微鏡法（ＬＳＭ）、および内部全反射（ＴＩＲＦ）を行う蛍光顕微鏡法を実施するように構成されており、これらは解像度の高い顕微鏡法、たとえば冒頭に述べたＰＡＬ−Ｍ、ＳＩＭ、ＳＬＩＭ、ＳＰＥＭ、ＳＴＥＤ、ＲＥＳＯＬＦＴと組み合わされ、これらも互いに組み合わされる。図１の顕微鏡１はレーザ操作照明に適した実質的に２つのモジュール、すなわちレーザ走査モジュール９とマニピュレータモジュール２２を有する。もちろん別の組合せも可能である。これらのモジュールは、対物レンズ３を備える鏡筒レンズを介して試料２に結合される。マニピュレータモジュール２２はレーザ走査モジュールの励起部分を含むだけであり、したがって検出は行わない。これにより試料を点状に照明することができ、照明スポットを試料２の上にラスタ化することができる。好ましくはマニピュレータモジュール２２内には切換ユニット、たとえば切換レンズまたはシリンダレンズがあり、これにより点状の照明と線状の照明とを切り換えることができる。線状の照明はとりわけ、集光照明光線路１６の中間画像内に存在するグリッド２３が旋回して入れられており、線状の照明のラインに対して垂直である場合にとくに有利である。この場合、マニピュレータモジュール２２によって簡単にＳＬＩＭ顕微鏡法が実現できる。
【００２３】
グリッド２３の代わりに可変調節可能なストライプモジュレータまたはＤＭＤを、試料２に構造化された照明を形成するために使用することもできる。この場合当然、移動駆動部２４およびグリッド２３の入／出旋回性も不要である。
【００２４】
画像野ロータ２５により、グリッド２３（またはこれを置換するエレメント）により形成される構造化された照明を、集光照明光線路１６の光軸を中心に回転することができ、それにより構造化された照明が試料２内で種々の角度をとる。したがってマニピュレータモジュール２２または広視野照明モジュール１７の駆動により、制御装置２８によるグリッド２３の適切な調整とそれぞれ組み合わせて、顕微鏡１によりＳＩＭ、ＳＬＩＭまたはＳＰＥＭの顕微鏡法を実施することができる。もちろん切換ミラー１８は適切な位置にもたらされるべきである。
【００２５】
グリッド２３が外れるように旋回されている場合、古典的な広視野照明を広視野照明モジュール１７により、または古典的なＴＩＲＦ照明をＴＩＲＦ照明モジュール１９により行うことができる。
【００２６】
個々の動作形式を切り換えるために、切換ミラー１８と１１ならびにビームスプリッタ４が適切に調整される。そのために実現例ではフリップミラーまたは旋回ミラーを使用することができ、動作形式を順番に切り換えることができる。その代わりに、異なるモジュールの同時動作を可能にするダイクロイックミラーも可能である。
【００２７】
ビームスプリッタ４は好ましくはダイクロイックビームスプリッタとして構成されており、そのスペクトル特性を調整して、ＣＣＤ検出器６によって検出することのできるマーキング分子の蛍光放射のスペクトル成分は広視野検出光線路８に達し、その他のスペクトル成分はできるだけ透過されるようにすることができる。種々の放射特性を備えるマーキング分子の使用可能性についての柔軟度を高めるために、ビームスプリッタモジュール１２には複数の異なるビームスプリッタ４と放射フィルタ１３が交換可能に、たとえばフィルタホイール上に配置されている。
【００２８】
図４は、本発明のコンビネーション顕微鏡によって得られる種々の顕微鏡画像の重なりを概略的に示す。ここで顕微鏡画像２９は古典的顕微鏡法、たとえば通常の蛍光顕微鏡から広視野照明源１７と広視野検出を使用して得られるものである。これに対して顕微鏡画像３０は、解像度の高い方法、たとえばＳＩＭ顕微鏡法またはＰＡＬ顕微鏡法から得られるものである。顕微鏡画像２９内には構造３１があり、構造３２は解像度の高い顕微鏡画像３０内に存在する。制御装置２８は、矢印により象徴される重畳過程３３でそれぞれの画像を１つの全体画像に重ね合わせる。重ね合わせは２次元または３次元で、そして２つの変形についてそれぞれ時間を介しても行うことができる。図２は、２次元表示を例示する。図２はさらに、解像度の高い顕微鏡画像３０が解像度の低い顕微鏡画像２９と組み合わされること、すなわち解像度の異なる２つの顕微鏡法を組み合わせて、１つの全体画像が得られることを概略的に示すものである。図２から、解像度の低い画像２９を用いることで初めて、解像度の高い顕微鏡画像３０の解像度の高い細部間の関連性が明らかになることが分かる。
【００２９】
図５は、本発明のためのさらなる光学的構成の実施形態を示す。
光導体ファイバ、視準化レンズおよび偏向ミラーからなるファイバ入力結合５．１を介して、照明光が入力結合される。
【００３０】
偏向ミラー５．２を介して照明光は、ＴＩＲＦモードで画像野を低減するために好ましくは調整可能なテレスコープ５．３を介しフリップ可能なミラー５．４に達する。このミラー５．４によってＴＩＲＦ角度を調整することができる。
【００３１】
さらなるテレスコープ５．５と偏向ミラー５．６ならびに偏光を回転するための回転可能なλ／２プレートを介して、視準化された光は上に述べたように照明を構造化するためのグリッド５．８の面に、さらに画像回転のための回転可能プリズム５．９、鏡筒レンズ５．１０を介して概略的にのみ図示した顕微鏡に達する。前記グリッド５．８は好ましくは交換可能であり、圧電駆動部によって光軸に対して垂直に微細に移動可能であり、顕微鏡はＺ調整のために圧電駆動部を有する。顕微鏡には公知のようにＬＳＭ５．１１光線路が結合されている（独国特許第１９７０２７５３号明細書参照）。広視野検出のために、ここでは２つの平行なＣＣＤカメラ５．１２が検出部に配置されている。
【００３２】
図５に基づき、ＴＩＲＦ照明と構造化された照明（ＳＩＭ）のためのコンビネーション機器に格納される画像は、２つの方法から形成できることがさらに明らかである。好ましくはＴＩＲＦ照明と、引き続く検出のためにグリッドが外れるように旋回される。
【００３３】
１つまたは複数の受信器５．１により、グリッドが入るように旋回されているときには、複数のグリッド相での照明と引き続く計算によって高解像度の広視野画像が求められる。
【００３４】
同じ対物レンズを使用すればＳＩＭ記録での画像野とＴＩＲＦ記録での画像野は同じであり、したがって画像野の計算は問題なく可能である。異なる対物レンズを使用する場合、または記録条件が別のものに変化する場合、当業者には公知の画像野を適合するための措置、たとえば使用される対物レンズの較正および画像野の計算補正が行われる。
【００３５】
したがってデータ記録は、ＳＩＭに対して必要なすべての画像を含む画像の時間的順序で行われ、ＴＩＲＦ画像は光線路中にグリッドなしで、すなわち構造化なしで記録される。記録順序は重要ではなく、ハードウエアに応じて速度の利点を提供するだけである。たとえば照明をＴＩＲＦに変化することが時間を要する場合、この運動を一度だけ実施するのが好ましい。すなわちＴＩＲＦ画像は画像シーケンスの始めまたは終了で記録する。言い替えると、対象物支持体の近傍にある薄いＴＩＲＦ小プレートは計算により「側方に」構造化することができる。
【００３６】
Ｚ調整によって積層したＳＩＭ画像を形成することもでき、積層体の下方の画像（対象物の最下層）では追加でＴＩＲＦ記録が行われる。ここで最下層とは、カバーガラスの近傍にある層を意味する。倒立式顕微鏡とは異なる場合には、「最上」層とすることもできよう。したがって驚くことには、この最下層に対する画像データの乗算後に、ｚ方向に関して、しかしＹ／Ｙ方向にも横側方に良好に分解された画像が発生する。したがってデータ記録の後、たとえばＳＩＭに対してはたとえば１５の画像（５相は、０度、７２度、１４４度等の５相、５．９の調整による３つの画像方向）と記録された１つのＴＲＩＦ画像が存在する。
【００３７】
図６には、構造化された（ＳＩＭ）照明についてのＴＩＲＦ６ａｂと６ｂに対して格納された個別画像が示されている。
これらは６ｃ）で計算的に互いに結合され（好ましくは乗算され）、これにより画像６ｄ）が計算される。この画像６ｄ）は、対象物支持体の近傍で記録された画像に、両方の画像に存在する対象物Ｏに対する側方構造を追加で付与している。
【００３８】
画像の本来の結合は、図７に示すようにＴＩＲＦ画像によるＳＩＭデータのフィルタ工程で行われる。これは簡単な乗算により実行することができる。この図は、ＳＩＭデータの計算の２つの意味のある経過と、ＴＩＲＦ画像との組合せを行うことのできる個所を示す。
【００３９】
工程１〜４、６はすべて標準ＳＩＭ計算であり、工程５はここで新たに導入されたＴＩＲＦ重み付けの工程である。詳細には次のように経過する：
１．１５の画像が、ＳＩＭに対して通例のようにまず前処理される（たとえばバックグラウンドを差引き（場合により追加のバックグラウンド画像の記録により）、それぞれ５つの相を同じ平均的強度にスケーリングし、フーリエ変換のアーティファクトを回避するために画像の縁部を減衰する）。
【００４０】
２．これに、分離マトリクスの最適化後に実際に分離するために、次数をまず予備分離する工程が続く。ここで次数とは、グリッドの種々の回折次数により形成されたモアレパターンを意味し、それらの線形結合が各個別の画像で観察される。種々の相画像を記録することにより、線形等式システムが得られ、その解が分離された絶対値（次数）である。誘導の詳細は、「広視野蛍光顕微鏡法の横方向分解能の倍増（Ｄｏｕｂｌｉｎｇ ｔｈｅ ｌａｔｅｒａｌ ｒｅｓｏｌｕｔｉｏｎ ｏｆ ｗｉｄｅ ｆｉｅｌｄ ｆｌｕｏｒｅｓｃｅｎｃｅ ｍｉｃｒｏｓｃｏｐｙ）」、グスタフソン（Ｇｕｓｔａｆｓｏｎ）、Ａｇａｒｄ、Ｓｅｄａｔ、ＳＰＩＥ Ｖｏｌ．３９１９（２０００）、１６０５−７４２２にも記載されている。
【００４１】
画像中において、ＴＩＲＦ切片法とは関係のない関連性（蛍光体の濃度）を得るために、乗算後にさらに、線形の場合に対する補正である正規化を行うべきである。すなわち平方根を開き、これにより側方の強度関係が得られたままとなる。すなわちＴＩＲＦとＳＩＭに見られる強度値が、重み付け後に、２乗されていないそれらの元の値を再び獲得する。
【００４２】
図７ａと７ｂには可能な経過が示されている。
これらは以下の工程である（これらの工程についての式と関係についての説明も参照のこと）
１．画像前処理（たとえばバックグラウンドの除去、平滑化フィルタの適用）
２．次数の予備分離
３．分離マトリクスの最適化
４．次数の分離
５．ＴＩＲＦによる次数のフィルタリング、たとえば乗算と好ましくはこれに続く正規化（たとえば平方根）
６．次数の組合せ（共通の計算と画像表示）。
【００４３】
図７ａには、構造化された照明により記録された画像の個々の次数の記録および計算をまず実施し、次にＴＩＲＦ画像と計算し、そして次数から１つの画像を計算して格納すること（工程５）が示されており、図７ｂではまずＴＩＲＦ記録が行われ、その後に構造化された画像が記録され、次数が計算され、ＴＩＲＦ画像と計算され、続いて画像の次数が組み合わされる。
【００４４】
ＳＩＭ法の数学的基礎について、以下補充的に挙げる（前記刊行物も参照のこと）：
フーリエ空間での照明パターン：
【００４５】
【数２】
ただしａ０、ａ１およびａ２は強度照明次数の振幅、ｋｇは格子ベクトルを表す。格子ベクトルｋｇ＝（ｘｋ，ｙｋ）は格子周波数（“ピクセルサイズ”／｜ｋｇ｜）と方向（ａｔａｎ２（ｙｋ／ｘｋ））についての情報を含む。
【００４６】
画像形成：Ｉ（ｋ）は光学的変換関数（ＯＴＦ）Ｈｅｘ（ｋ）と乗算される
Ｉｅｘ（ｋ）＝Ｈｅｘ（ｋ）Ｉ（ｋ） （２）
Ｉｅｘ（ｋ）が対象Ｓ（ｋ）によりフーリエ空間で畳み込まれる。
【００４７】
【数３】
Ｉｓ（ｋ）が放射ＯＴＦ、Ｈｅｍ（ｋ）と乗算される。
【００４８】
【数４】
（１）を（４）に代入すると次式
【００４９】
【数５】
になる。ただし次数は
【００５０】
【数６】
である。次数強度ａ０、ａ１およびａ２をＤｘ（ｋ）に代入すると次式
【００５１】
【数７】
になる。
【００５２】
次数の分離：５つの次数Ｄ０（ｋ）、Ｄ−１（ｋ）、Ｄ１（ｋ）、Ｄ−２（ｋ）およびＤ２（ｋ）を分離するためには、少なくとも５つの画像（Ｎｐ＝５）を異なる位相ｎ＝１、．．．、Ｎｐにより記録しなければならない：
【００５３】
【数８】
集合（８）は以下のようにマトリクス形式に書き換えることができる：
Ｉ＝ＡＤ’ （９）
ただし
【００５４】
【数９】
である。
【００５５】
位相は、線形等式システム（８）が線形に依存しない等式から発生するように選択すべきであることに注意。集合（８）は以下のようにＤ０（ｋ）、Ｄ−１（ｋ）、Ｄ１（ｋ）、Ｄ−２（ｋ）およびＤ２（ｋ）について解くことができる。
分離マトリクスの最適化：位相□ｎが十分に正確に既知であることを前提にして次数を式（８）にしたがって分離する。分離マトリクスの最適化では：位相□ｎが十分に正確に既知であることを前提にして次数を式（８）にしたがって分離する。しかし実験ではこの値はプリセット値と実質的に異なることがしばしばあり、したがって格子周波数と位相は次数とともにデータから決定すべきである。したがってまず位相に対するプリセット値により式（８）にしたがい分離される（図７の工程２による次数の予備分離）。
【００５６】
続いてこの予備分離された次数が、予備分離された次数間の相互相関を最小にすることにより、分離マトリクスＡを最適化（分離マトリクスの最適化、図７の工程３）するために使用される。このマトリクスＡにより、最後に次数の分離（図７の工程４）が行われる。
【００５７】
ここでは個々の次数のＴＩＲＦ画像によるフィルタリングを乗算によって行うことができる（ＴＩＲＦによる次数のフィルタリング、図７の工程５）。平方根を開くことによる正規化は画像における相関強度を獲得する。なぜならＴＩＲＦと広視野画像において同じ明るさに見られる強度は同じ明度値を保持しており、しかしＴＩＲＦで良好に識別できない他の強度はより暗く示され、したがって所望のｚ切片法が行われる。
【００５８】
解像度の高い画像が、グスタフソン（Ｇｕｓｔａｆｆｓｏｎ）らが記載したのと同じように次数の組合せ（周波数空間での移動とＯＴＦの重み付けによる次数の合計）によって合成される（次数の合計、図７の工程６）。
【特許請求の範囲】
【請求項１】
顕微鏡画像の形成方法であって、
ａ）それぞれ顕微鏡対物レンズを介して、ＴＩＲＦ法により試料が照明され、
ｂ）構造の種々の移動位置で試料が構造化照明され、
少なくとも１つの試料領域の画像をそれぞれ形成するために、前記ａ）及びｂ）による方法の試料光が検出され、
前記ａ）及びｂ）にしたがって形成された試料画像が互いに計算され、好ましくは乗算され、新たな試料画像を形成するために結果が格納される、顕微鏡画像の形成方法。
【請求項２】
試料の画像形成方法であって、
顕微鏡法によって異なる位置分解能を実現し、
少なくとも２つの顕微鏡法、すなわち、
構造化された線形照明または広視野照明により試料を発光励起し、構造を好ましくは回転し、各回転位置に対して複数回移動し、このとき少なくとも３つの回転位置と回転位置ごとに少なくとも３つの移動位置とを実現し、それぞれ発光する試料を所定の光学的分解能で平面検出器上に結像し、このようにして得られた画像からフーリエ分析を含む計算処理によって、所定の光分解能を超えて上昇した位置分解能で第１の顕微鏡画像を形成する第１の顕微鏡法と、
ＴＩＲＦ照明モジュールを介して試料を対物レンズにより、カバーガラスに配置された試料に全反射が生じるように斜めに照明し、該試料を位置分解して検出し、第２の顕微鏡画像を形成する第２の顕微鏡法と
を組み合わせ、
第１の顕微鏡画像と第２の顕微鏡画像とを互いに画素ごとに計算することにより、好ましくは乗算することにより結合する、とりわけ請求項１に記載の試料の画像形成方法。
【請求項３】
計算的に結合した結果が画像で表示される、請求項１または２に記載の方法。
【請求項４】
構造化された照明の複数の異なる位相における画像記録により次数を分離する工程と、
次数をＴＩＲＦ画像により、好ましくは乗算によりフィルタリングする工程と、
次数を共通の計算により組合せ、画像で表示する工程と
を特徴とする請求項１または２に記載の方法。
【請求項５】
ＴＩＲＦ照明を形成するための第１の照明手段と、構造化された照明を形成するための第２の照明手段とが設けられており、
ＴＩＲＦ画像と、構造化照明された試料の画像とを検出するための検出手段が設けられており、
ＴＩＲＦ画像と、構造の種々の移動位置で構造化された照明から計算された試料の画像とを格納するための手段が設けられており、
前記画像をとりわけ乗算により計算で結合するための手段が設けられている、
とりわけ請求項１乃至４のいずれか１項に記載の方法を実施するための顕微鏡。
【請求項６】
照明手段と、検出手段と、顕微鏡対物レンズを含む結像および照明光線路とからなり、
ＴＩＲＦ照明を形成するための第１の照明手段と、構造化された照明を形成するための第２の照明手段とが設けられており、
ＴＩＲＦ画像と、構造化照明された試料の画像とを検出するための検出手段が設けられており、
該ＴＩＲＦ画像と、構造の種々の移動位置で構造化された照明から形成された試料の画像とを格納するための手段が設けられており、
前記画像を計算で結合し、結果を格納するための手段が設けられている、
請求項１乃至４のいずれか１項に記載の方法を実施するための顕微鏡。
【請求項７】
前記顕微鏡は、
試料を検知する、顕微鏡法のための対物レンズと、
少なくとも部分的に一致している、対物レンズを通る検出光線路および少なくとも１つの照明光線路と、
該検出光線路に結合されており、鏡筒レンズと平面検出器とを有し、該対物レンズとともに該試料を該平面検出器上に結像する顕微鏡モジュールと、
該照明光線路に結合されており、対物レンズにより試料を広視野照明するための広視野照明モジュールであって、少なくとも２つの異なる波長領域で照明光線を出力するように制御可能な広視野照明モジュールと、
照明光線路中に照明方向で該広視野照明モジュールに後置された照明光線モジュレータであって、制御装置により制御可能であり、照明光線路中で作動または非作動可能であり、照明光線の作動状態ではストライプ状の変調を行う照明光線モジュレータと
を有し、
該照明光線モジュレータは、ストライプ状の変調が照明光線路の光軸に対して垂直に移動可能であるように制御可能であり、
該試料の上に配置されたカバーガラスに全反射が生じるように該試料を該対物レンズによって斜めに照射するため、同様に該制御装置により制御されるＴＩＲＦ照明モジュールが照明光線路に作動可能に結合されており、エバネッセント場に励起された試料光が検出器に達し、その検出信号が格納され、
エバネッセント場に励起された試料体積の検出が行われ、
ＴＩＲＦ画像と、構造化照明された試料の画像とを検出するための検出手段が設けられており、
ＴＩＲＦ画像と、構造の種々の移動位置で構造化された照明から形成された試料の画像とを格納するための手段が設けられており、
前記画像をとりわけ乗算により計算で結合するための手段が設けられている、
とりわけ請求項１乃至６のいずれか１項に記載の、分解能が異なる少なくとも２つの顕微鏡法により試料を顕微鏡観察するように構成されたコンビネーション顕微鏡。
【請求項８】
計算によって発生した画像を画像表示するための手段が設けられている、請求項１乃至７のいずれか１項に記載の顕微鏡。
【請求項１】
顕微鏡画像の形成方法であって、
ａ）それぞれ顕微鏡対物レンズを介して、ＴＩＲＦ法により試料が照明され、
ｂ）構造の種々の移動位置で試料が構造化照明され、
少なくとも１つの試料領域の画像をそれぞれ形成するために、前記ａ）及びｂ）による方法の試料光が検出され、
前記ａ）及びｂ）にしたがって形成された試料画像が互いに計算され、好ましくは乗算され、新たな試料画像を形成するために結果が格納される、顕微鏡画像の形成方法。
【請求項２】
試料の画像形成方法であって、
顕微鏡法によって異なる位置分解能を実現し、
少なくとも２つの顕微鏡法、すなわち、
構造化された線形照明または広視野照明により試料を発光励起し、構造を好ましくは回転し、各回転位置に対して複数回移動し、このとき少なくとも３つの回転位置と回転位置ごとに少なくとも３つの移動位置とを実現し、それぞれ発光する試料を所定の光学的分解能で平面検出器上に結像し、このようにして得られた画像からフーリエ分析を含む計算処理によって、所定の光分解能を超えて上昇した位置分解能で第１の顕微鏡画像を形成する第１の顕微鏡法と、
ＴＩＲＦ照明モジュールを介して試料を対物レンズにより、カバーガラスに配置された試料に全反射が生じるように斜めに照明し、該試料を位置分解して検出し、第２の顕微鏡画像を形成する第２の顕微鏡法と
を組み合わせ、
第１の顕微鏡画像と第２の顕微鏡画像とを互いに画素ごとに計算することにより、好ましくは乗算することにより結合する、とりわけ請求項１に記載の試料の画像形成方法。
【請求項３】
計算的に結合した結果が画像で表示される、請求項１または２に記載の方法。
【請求項４】
構造化された照明の複数の異なる位相における画像記録により次数を分離する工程と、
次数をＴＩＲＦ画像により、好ましくは乗算によりフィルタリングする工程と、
次数を共通の計算により組合せ、画像で表示する工程と
を特徴とする請求項１または２に記載の方法。
【請求項５】
ＴＩＲＦ照明を形成するための第１の照明手段と、構造化された照明を形成するための第２の照明手段とが設けられており、
ＴＩＲＦ画像と、構造化照明された試料の画像とを検出するための検出手段が設けられており、
ＴＩＲＦ画像と、構造の種々の移動位置で構造化された照明から計算された試料の画像とを格納するための手段が設けられており、
前記画像をとりわけ乗算により計算で結合するための手段が設けられている、
とりわけ請求項１乃至４のいずれか１項に記載の方法を実施するための顕微鏡。
【請求項６】
照明手段と、検出手段と、顕微鏡対物レンズを含む結像および照明光線路とからなり、
ＴＩＲＦ照明を形成するための第１の照明手段と、構造化された照明を形成するための第２の照明手段とが設けられており、
ＴＩＲＦ画像と、構造化照明された試料の画像とを検出するための検出手段が設けられており、
該ＴＩＲＦ画像と、構造の種々の移動位置で構造化された照明から形成された試料の画像とを格納するための手段が設けられており、
前記画像を計算で結合し、結果を格納するための手段が設けられている、
請求項１乃至４のいずれか１項に記載の方法を実施するための顕微鏡。
【請求項７】
前記顕微鏡は、
試料を検知する、顕微鏡法のための対物レンズと、
少なくとも部分的に一致している、対物レンズを通る検出光線路および少なくとも１つの照明光線路と、
該検出光線路に結合されており、鏡筒レンズと平面検出器とを有し、該対物レンズとともに該試料を該平面検出器上に結像する顕微鏡モジュールと、
該照明光線路に結合されており、対物レンズにより試料を広視野照明するための広視野照明モジュールであって、少なくとも２つの異なる波長領域で照明光線を出力するように制御可能な広視野照明モジュールと、
照明光線路中に照明方向で該広視野照明モジュールに後置された照明光線モジュレータであって、制御装置により制御可能であり、照明光線路中で作動または非作動可能であり、照明光線の作動状態ではストライプ状の変調を行う照明光線モジュレータと
を有し、
該照明光線モジュレータは、ストライプ状の変調が照明光線路の光軸に対して垂直に移動可能であるように制御可能であり、
該試料の上に配置されたカバーガラスに全反射が生じるように該試料を該対物レンズによって斜めに照射するため、同様に該制御装置により制御されるＴＩＲＦ照明モジュールが照明光線路に作動可能に結合されており、エバネッセント場に励起された試料光が検出器に達し、その検出信号が格納され、
エバネッセント場に励起された試料体積の検出が行われ、
ＴＩＲＦ画像と、構造化照明された試料の画像とを検出するための検出手段が設けられており、
ＴＩＲＦ画像と、構造の種々の移動位置で構造化された照明から形成された試料の画像とを格納するための手段が設けられており、
前記画像をとりわけ乗算により計算で結合するための手段が設けられている、
とりわけ請求項１乃至６のいずれか１項に記載の、分解能が異なる少なくとも２つの顕微鏡法により試料を顕微鏡観察するように構成されたコンビネーション顕微鏡。
【請求項８】
計算によって発生した画像を画像表示するための手段が設けられている、請求項１乃至７のいずれか１項に記載の顕微鏡。
【図３】
【図４】
【図１】
【図２】
【図５】
【図６】
【図７】
【図４】
【図１】
【図２】
【図５】
【図６】
【図７】
【公表番号】特表２０１３−５０６１６３（Ｐ２０１３−５０６１６３Ａ）
【公表日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１２−５３１２５４（Ｐ２０１２−５３１２５４）
【出願日】平成２２年８月２８日（２０１０．８．２８）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／００５２９５
【国際公開番号】ＷＯ２０１１／０３８８１７
【国際公開日】平成２３年４月７日（２０１１．４．７）
【出願人】（５０６１５１６５９）カール ツァイス マイクロスコピー ゲーエムベーハー (71)
【氏名又は名称原語表記】ＣＡＲＬ ＺＥＩＳＳ ＭＩＣＲＯＳＣＯＰＹ ＧＭＢＨ
【Ｆターム（参考）】
【公表日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２２年８月２８日（２０１０．８．２８）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／００５２９５
【国際公開番号】ＷＯ２０１１／０３８８１７
【国際公開日】平成２３年４月７日（２０１１．４．７）
【出願人】（５０６１５１６５９）カール ツァイス マイクロスコピー ゲーエムベーハー (71)
【氏名又は名称原語表記】ＣＡＲＬ ＺＥＩＳＳ ＭＩＣＲＯＳＣＯＰＹ ＧＭＢＨ
【Ｆターム（参考）】
[ Back to top ]