標本観察装置
【課題】超解像成分の視認性が高い超解像画像を高い時間分解能で生成する技術を提供する。
【解決手段】蛍光顕微鏡１は、光源２からの励起光の空間強度分布をスキャンマスク４で変調することによって、標本Ｓで生じる観察光の周波数成分のうち結像光学系３のカットオフ周波数fcを上回る高周波成分をカットオフ周波数fc以下の周波数にシフトさせて、結像光学系３により中間像位置に伝達する。そして、蛍光顕微鏡１は、スキャンマスク４で中間像の空間強度分布を変調することによって、カットオフ周波数fc以下の周波数にシフトした成分を元の高周波成分に復調して、撮像レンズ６により撮像面に伝達し、撮像素子７により超解像成分を含むデジタル画像データに変換する。さらに、蛍光顕微鏡１は、計算機８で高周波強調処理を実施してデジタル画像データの超解像成分を可視化する。
【解決手段】蛍光顕微鏡１は、光源２からの励起光の空間強度分布をスキャンマスク４で変調することによって、標本Ｓで生じる観察光の周波数成分のうち結像光学系３のカットオフ周波数fcを上回る高周波成分をカットオフ周波数fc以下の周波数にシフトさせて、結像光学系３により中間像位置に伝達する。そして、蛍光顕微鏡１は、スキャンマスク４で中間像の空間強度分布を変調することによって、カットオフ周波数fc以下の周波数にシフトした成分を元の高周波成分に復調して、撮像レンズ６により撮像面に伝達し、撮像素子７により超解像成分を含むデジタル画像データに変換する。さらに、蛍光顕微鏡１は、計算機８で高周波強調処理を実施してデジタル画像データの超解像成分を可視化する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、標本観察装置に関し、特に、光学系の解像限界を超える超解像の標本画像が得られる標本観察装置に関する。
【背景技術】
【０００２】
近年、結像光学系の解像限界を超える解像度（以降、超解像）の標本画像を得る技術が開発され、実用化されている。そのような超解像技術の一つとして、構造化照明法 (SIM:Structured Illumination Microscopy)と呼ばれる顕微鏡法が知られている。SIMについては、例えば、特許文献１で開示されている。
【０００３】
一般的な広視野観察においては、照明光はできるかぎり均一に標本に照射されるが、SIMでは、照明光を変調し、主に縞模様の照明光を標本に照射する。これにより、結像に寄与する観察光の周波数をシフトさせることが可能であり、このような現象を利用することで、結像光学系の解像限界を超えた超解像の標本画像を生成することができる。
【０００４】
以下、SIMにより超解像の標本画像を生成する方法について説明する。
図１１Ａ及び図１１Ｂは、結像光学系の結像特性について説明するための図である。図１１Ａに例示されるように、顕微鏡等の標本観察装置に用いられる結像光学系による結像では、標本上の１点からの発光は、結像面上の１点に投影されず、結像光学系固有の関数である点像分布関数（Point Spread Function）で示される分布で投影される。即ち、図１１Ｂに例示されるように、標本上の各点からの発光は、結像面上に、それぞれ点像分布関数で示される分布で投影されることになる。
【０００５】
このため、蛍光標本を一様な励起光で照明する広視野観察で得られる標本画像の光強度分布IWF(x,y)は、標本の蛍光色素の分布関数をObj(x,y)とし、結像光学系の点像分布関数をPSF(x,y)とすると、以下の式（１）で表されるように、PSF(x,y)とObj(x,y)のコンボリューションで与えられる。なお、点像分布関数PSFの空間座標系と蛍光色素の分布関数Objの空間座標系は、結像光学系の倍率Mを用いて規格化されている。
【０００６】
【数１】
【０００７】
さらに、式（１）をフーリエ変換して周波数特性を示す式に変形すると、式（２）が導出される。なお、チルダ（~）は、それが付された関数がフーリエ変換された関数であることを示している。即ち、式（１）は標本画像の空間強度分布を示し、式（２）は標本画像の周波数特性を示している。
【０００８】
【数２】
【０００９】
図１２Ａは、蛍光色素の分布関数と結像光学系の点像分布関数それぞれの周波数特性について例示した図である。図１２Ｂは、図１２Ａで示される特性を有する蛍光標本及び結像光学系により得られる標本画像の周波数特性を例示した図である。
【００１０】
図１２Ａに例示されるように、蛍光色素の分布関数Objの周波数特性は広い周波数帯域に分布している。これに対して、点像分布関数PSFの周波数特性は周波数±fcまでの範囲内でしか強度を持たない。これは結像光学系が周波数±fcまでの範囲内の周波数成分しか結像面へ伝達できないことを示している。従って、点像分布関数PSFの周波数特性はまた、結像光学系の伝達関数とも呼ばれる。以降、周波数fcを、結像光学系のカットオフ周波数と記す。
【００１１】
従って、式（２）を用いて算出される標本画像の光強度分布IWFの周波数特性は、図１２Ｂに例示されるように、カットオフ周波数±fcまでの周波数範囲内に制限されることになる。このように、標本面を一様に照明する従来の広視野観察では、結像光学系のカットオフ周波数により標本画像の解像度が制限され、結像光学系の解像限界以上の解像度を有する標本画像を生成できない。
【００１２】
これに対して、SIMでは、例えば、以下の式（３）で示される正弦波状のパターンで標本面を照明する。ここで、Illi(x)は標本面での照明光の光強度分布、f0は照明パターンの周波数、φiはx=0の原点における照明パターンの位相である。なお、以降では、説明を簡素化するため、１次元モデルを例に説明する。
【００１３】
【数３】
【００１４】
式（３）をフーリエ変換して周波数特性を示す式に変形すると、式（４）が導出される。
【００１５】
【数４】
【００１６】
照明光の光強度分布を考慮した一般化された結像面上での標本画像の光強度分布Ii(x)は、式（５）で示され、式（５）をフーリエ変換して周波数特性を示す式に変形すると、式（６）が導出される。
【００１７】
【数５】
【００１８】
従って、SIMで得られる結像面上での光強度分布Iiは、式（７）で示される。ここで、P0、P+、P-は、それぞれ、結像面上での光強度分布の０次回折光成分、＋１次回折光成分、−１次回折光成分を示している。
【００１９】
【数６】
【００２０】
式（７）で示されるように、正弦波状のパターンで標本面を照明することで、結像面上での標本画像の光強度分布Iiには、０次回折光成分に加えて、±１次回折光成分が含まれることになる。
【００２１】
図１３Ａは、正弦波状の照明パターンにより生じる標本面上での各次数の回折光成分と結像光学系の点像分布関数それぞれの周波数特性について例示した図である。図１３Ｂは、結像面上での各次数の回折光成分の周波数特性を例示した図である。
【００２２】
図１３Ａで例示されるように、標本面上での＋１次回折光成分の周波数特性と−１次回折光成分の周波数特性は、標本面上での０次回折光成分の周波数特性に対して、それぞれ照明パターンの周波数f0、-f0だけシフトして分布している。しかしながら、結像面上での光強度分布の周波数特性は、式（７）で示されるように、標本面上での各次数の回折光成分の周波数特性と結像光学系のPSFの周波数特性の積の総和であるため、標本画像の光強度分布の周波数特性は、図１３Ｂに例示されるように、均一に照明した場合と同様に、結像光学系のカットオフ周波数±fcまでの範囲内の周波数帯域に制限される。
【００２３】
そこで、SIMでは、図１３Ｂで例示される結像面上での各次数の回折光成分を個別に算出し、それらを用いて、カットオフ周波数fcを超える周波数を含む超解像画像を生成する。なお、以降では、SIMにより得られる超解像画像を特にSIM回復画像と記す。
【００２４】
具体的には、まず、初期位相φiの異なる状態で撮像した複数の標本画像を用いて、結像面上での各次数の回折光成分P0、P+、P-を変数とする連立一次方程式を解くことにより、結像面上での各次数の回折光成分を算出する。
【００２５】
次に、算出された結像面上での各次数の回折光成分P0、P+、P-のうち±１次回折光成分P+、P-について、０次回折光成分に対する周波数のシフト（以降、原点シフトと記す）を修正する。具体的には、式（８）及ぶ式（９）で示されるように、周波数-f0、f0だけシフトさせる。図１４は、原点シフト後の各次数の回折光成分を例示した図である。ここで、P’+、P’-は、原点シフト後の結像面での光強度分布の±１次回折光成分を示している。
【００２６】
【数７】
【００２７】
その上で、算出された０次回折光成分と原点シフト後の±１次回折光成分に重みｗを掛けたものとを足し合わせて、画像処理によりSIM回復画像を生成する。
式（１０）は、SIM回復画像の周波数特性を示している。ここで、ISIMは、SIM回復画像の強度分布を、PSFSIMは、SIM回復画像の点像分布関数を示している。
【００２８】
【数８】
【００２９】
図１５に例示されるように、SIM回復画像の点像分布関数PSFSIMの周波数特性は、結像光学系のカットオフ周波数fcに照明パターンの周波数f0を加えた周波数帯域±(fc+f0)の範囲まで強度を持っている。即ち、SIM回復画像のカットオフ周波数はfc+f0であり、結像光学系のカットオフ周波数fcを超える周波数帯域を伝達することができる。
【００３０】
このように、SIMによれば、結像光学系のカットオフ周波数を超える周波数帯域を伝達することが可能であり、結像光学系の解像限界を超えた超解像の標本画像を生成することができる。また、重みｗを変更することで、結像光学系のカットオフ周波数を超える超解像成分の視認性を調整することができる。
また、特許文献２には、構造化照明を生成する空間変調素子を中間像位置に配置し、標本の中間像をその空間変調素子を通して復調し撮像する構成が開示されている。
【先行技術文献】
【特許文献】
【００３１】
【特許文献１】国際公開２００７／０４３３８２号パンフレット
【特許文献２】国際公開２００７／０４３３１４号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【００３２】
上述したように、SIMにより超解像画像（SIM回復画像）を生成するためには、照明パターンの初期位相φiの異なる状態で複数回、標本を撮像する必要がある。原理的には、連立方程式を解くために、少なくとも３枚の画像（以降、原画像と記す。）が必要である。実際には、投影縞の方位の影響やノイズ等による劣化を抑制するために、照明によって生じる投影縞の方位及び位置を変えて、９枚から２５枚程度の原画像を取得する必要がある。
【００３３】
従って、SIMは、比較的速く動く標本の画像化には不向きである。原画像を取得する間に標本の状態が変化してしまうからである。また、９枚から２５枚程度の原画像を取得して原画像の各々に対してフーリエ変換及び逆フーリエ変換を行う必要がある。このため、画像取得に加えて計算にも時間がかかるため、１枚の超解像画像の生成に要する時間が長くなる。
【００３４】
従って、SIMでは、標本をリアルタイムで観察することができず、標本中の観察対象部位を特定する作業などを行いにくい。
以上のような実情を踏まえ、本発明では、超解像画像を高い時間分解能で生成する技術を提供することを課題とする。
また、構造化照明を生成する空間変調素子を用いて中間像を復調する特許文献２の方法においては、後述の通り超解像成分がほとんど視認されない。
従って、本発明では、超解像成分の視認性が高い超解像画像を生成する技術を提供することも課題とする。
【課題を解決するための手段】
【００３５】
本発明の第１の態様は、標本を励起するための励起光を生成する励起光生成手段と、励起光を標本に投影すると共に、標本に励起光が照射されて生じた観察光から標本の中間像を中間像位置に形成する中間像形成手段と、中間像位置で励起光および中間像の空間強度分布を変調する共焦点変調手段と、共焦点変調手段が有する変調パターンを中間像に対して相対的に移動させる変調駆動手段と、空間強度分布が変調された中間像を撮像面上にリレーする像リレー手段と、撮像面上にリレーされた中間像の空間強度分布をデジタル画像データに変換する撮像手段と、デジタル画像データに対して画像処理を行う画像処理手段と、を含み、像リレー手段のカットオフ周波数は、中間像形成手段のカットオフ周波数を上回り、撮像手段のナイキスト周波数は、中間像形成手段のカットオフ周波数を上回り、画像処理手段は、デジタル画像データに対して、中間像形成手段のカットオフ周波数を上回る高周波成分を強調する高周波強調処理を行う標本観察装置を提供する。
【００３６】
本発明の第２の態様は、第１の態様に記載の標本観察装置において、変調パターンは、周期的なパターンであり、撮像素子による１枚の画像取得の露出時間が、変調パターンが中間像に対して変調パターンの１周期分移動する時間以上である標本観察装置を提供する。
【００３７】
本発明の第３の態様は、第１の態様に記載の標本観察装置において、変調パターンは、周期的なパターンであり、撮像素子による１枚の画像取得の露出時間が、変調パターンが中間像に対して変調パターンの１周期分移動する時間の整数倍である標本観察装置を提供する。
【００３８】
本発明の第４の態様は、第２の態様または第３の態様に記載の標本観察装置において、変調駆動手段が、撮像素子による１枚の画像取得の露出時間に応じて、変調パターンの移動速度を調節する標本観察装置を提供する。
【００３９】
本発明の第５の態様は、第１の態様乃至第４の態様のいずれか１つに記載の標本観察装置において、像リレー手段のカットオフ周波数が、中間像形成手段のカットオフ周波数の約１．５倍以上である標本観察装置を提供する。
【００４０】
本発明の第６の態様は、第１の態様乃至第５の態様のいずれか１つに記載の標本観察装置において、撮像手段のナイキスト周波数が、中間像形成手段のカットオフ周波数の約１．５倍以上である標本観察装置を提供する。
【００４１】
本発明の第７の態様は、第６の態様に記載の標本観察装置において、撮像手段のナイキスト周波数が、中間像形成手段のカットオフ周波数の約４倍以下である標本観察装置を提供する。
【００４２】
本発明の第８の態様は、第１の態様乃至第７の態様のいずれか１つに記載の標本観察装置において、共焦点変調手段は、周期的に配列されたスリット状の開口を有するマスクである標本観察装置を提供する。
【００４３】
本発明の第９の態様は、第８の態様に記載の標本観察装置において、スリット状の開口の幅は、中間像形成手段のカットオフ周波数により規定される周期の半分以上である標本観察装置を提供する。
【００４４】
本発明の第１０の態様は、第８の態様に記載の標本観察装置において、周期的に配列されたスリット状の開口の周期は、中間像形成手段のカットオフ周波数により規定される周期よりも長い標本観察装置を提供する。
【００４５】
本発明の第１１の態様は、第１０の態様に記載の標本観察装置において、スリット状の開口の周期は、スリット状の開口の幅の１０倍以上である標本観察装置を提供する。
本発明の第１２の態様は、第８の態様乃至第１１の態様のいずれか１つに記載の標本観察装置において、さらに、励起光生成手段と共焦点変調手段の間に、スリット状の開口に集光位置を一致させたシリンドリカルレンズアレイを含み、変調駆動手段は、シリンドリカルレンズアレイとマスクを、シリンドリカルレンズアレイとマスクの相対的な位置関係を変えずに、移動させる標本観察装置を提供する。
【００４６】
本発明の第１３の態様は、第８の態様乃至第１２の態様のいずれか１つに記載の標本観察装置において、マスクは、位相シフト膜を含む標本観察装置を提供する。
本発明の第１４の態様は、第１の態様乃至第１０の態様のいずれか１つに記載の標本観察装置において、さらに、標本を励起光で輪帯照明する輪帯照明手段を含み、輪帯照明手段は、中間像形成手段に含まれる対物レンズの瞳位置と共役な位置近傍に配置される標本観察装置を提供する。
【００４７】
本発明の第１５の態様は、第１４の態様に記載の標本観察装置において、さらに、標本と中間像形成手段の間に、標本の周りの媒質の屈折率より高い屈折率を有する透明物体を含み、輪帯照明手段は、標本と透明物体との界面に入射した励起光の９０パーセント以上が全反射するような角度で励起光が界面に入射するように、励起光の一部を遮断する標本観察装置を提供する。
【００４８】
本発明の第１６の態様は、第１の態様乃至第８の態様のいずれか１つに記載の標本観察装置において、共焦点変調手段は、周期的に配列されたピンホール状の開口を有するマスクである標本観察装置を提供する。
【００４９】
本発明の第１７の態様は、第１６の態様に記載の標本観察装置において、ピンホール状の開口の径は、中間像形成手段のカットオフ周波数により規定される周期の半分以上である標本観察装置を提供する。
【００５０】
本発明の第１８の態様は、第１６の態様に記載の標本観察装置において、周期的に配列されたピンホール状の開口の周期は、中間像形成手段のカットオフ周波数により規定される周期よりも長い標本観察装置を提供する。
【００５１】
本発明の第１９の態様は、第１８の態様に記載の標本観察装置において、ピンホール状の開口の周期は、ピンホール状の開口の径の３倍以上である標本観察装置を提供する。
本発明の第２０の態様は、第１６の態様乃至第１９の態様のいずれか１つに記載の標本観察装置において、さらに、励起光生成手段と共焦点変調手段の間に、ピンホール状の開口に集光位置を一致させたマイクロレンズアレイを含み、変調駆動手段は、マイクロレンズアレイとマスクを、マイクロレンズアレイとマスクの相対的な位置関係を変えずに、移動させる標本観察装置を提供する。
【００５２】
本発明の第２１の態様は、第１６の態様乃至第１８の態様のいずれか１つに記載の標本観察装置において、さらに、標本を励起光で輪帯照明する輪帯照明手段を含み、輪帯照明手段は、中間像形成手段に含まれる対物レンズの瞳位置と共役な位置近傍に配置される標本観察装置を提供する。
【００５３】
本発明の第２２の態様は、第２１の態様に記載の標本観察装置において、さらに、標本と中間像形成手段の間に、標本の周りの媒質の屈折率より高い屈折率を有する透明物体を含み、輪帯照明手段は、標本と透明物体との界面に入射した励起光の９０パーセント以上が全反射するような角度で励起光が界面に入射するように、励起光の一部を遮断する標本観察装置を提供する。
【００５４】
本発明の第２３の態様は、第１の態様乃至第２２の態様のいずれか１つに記載の標本観察装置において、共焦点変調手段は、周期的なパターンを有する回転ディスクであり、変調駆動手段は、回転ディスクを回転させるモータである標本観察装置を提供する。
【００５５】
本発明の第２４の態様は、第１の態様乃至第２２の態様のいずれか１つに記載の標本観察装置において、共焦点変調手段は、周期的なパターンを有するプレートであり、変調駆動手段は、プレートを振動させる振動子である標本観察装置を提供する。
【００５６】
本発明の第２５の態様は、第１の態様乃至第２２の態様のいずれか１つに記載の標本観察装置において、共焦点変調手段は、周期的なパターンを有する回転ドラムであり、変調駆動手段は、ドラムを回転させるモータである標本観察装置を提供する。
【００５７】
本発明の第２６の態様は、第１の態様乃至第２５の態様のいずれか１つに記載の標本観察装置において、変調パターンの異なる複数の共焦点変調手段を含み、複数の共焦点変調手段から任意の共焦点変調手段を選択して光路上に挿入する標本観察装置を提供する。
【００５８】
本発明の第２７の態様は、第１の態様乃至第２２の態様のいずれか１つに記載の標本観察装置において、共焦点変調手段は、空間光変調器であり、変調駆動手段は、空間光変調器を駆動する駆動回路である標本観察装置を提供する。
【００５９】
本発明の第２８の態様は、第２７の態様に記載の標本観察装置において、空間光変調器は、ＤＭＤである標本観察装置を提供する。
本発明の第２９の態様は、第２７の態様に記載の標本観察装置において、空間光変調器は、ＬＣＯＳである標本観察装置を提供する。
【００６０】
本発明の第３０の態様は、第１の態様乃至第２９の態様のいずれか１つに記載の標本観察装置において、中間像形成手段は、投影倍率が可変である標本観察装置を提供する。
本発明の第３１の態様は、第１の態様乃至第３０の態様のいずれか１つに記載の標本観察装置において、像リレー手段は、リレー倍率が可変である標本観察装置を提供する。
【００６１】
本発明の第３２の態様は、第１の態様乃至第３１の態様のいずれか１つに記載の標本観察装置において、高周波強調処理は、デジタル画像データ自体から、デジタル画像データにローパスフィルタを作用させた擬似広視野画像を差し引く処理である標本観察装置を提供する。
【００６２】
本発明の第３３の態様は、第３２の態様に記載の標本観察装置において、擬似広視野画像は、核行列を用いたコンボリューション処理により生成される標本観察装置を提供する。
【００６３】
本発明の第３４の態様は、第３２の態様に記載の標本観察装置において、高周波強調処理は、核行列を用いたコンボリューション処理である標本観察装置を提供する。
本発明の第３５の態様は、第３３の態様または第３４の態様に記載の標本観察装置において、コンボリューション処理は、ＧＰＵを用いて行われる標本観察装置を提供する。
【００６４】
本発明の第３６の態様は、第３３の態様または第３４の態様に記載の標本観察装置において、コンボリューション処理は、ＦＰＤＡを用いて行われる標本観察装置を提供する。
本発明の第３７の態様は、第１の態様乃至第３１の態様のいずれか１つに記載の標本観察装置において、高周波強調処理は、デジタル画像データから、共焦点変調手段を作用させずに撮像した標本の広視野画像を差し引く処理である標本観察装置を提供する。
【発明の効果】
【００６５】
本発明によれば、超解像成分の視認性が高い超解像画像を、高い時間分解能で生成する技術を提供することができる。
【図面の簡単な説明】
【００６６】
【図１】本発明の各実施例に係る標本撮像装置の基本構成を例示した図である。
【図２Ａ】図１に例示される標本撮像装置に含まれる共焦点変調手段による変調後の中間像の点像分布関数の周波数特性を例示した図である。
【図２Ｂ】図１に例示される標本撮像装置に含まれる画像処理手段による高周波強調処理について説明するための図である。
【図３Ａ】図１に例示される標本撮像装置に含まれる共焦点変調手段の変調パターンの構成を例示した図である。
【図３Ｂ】図３Ａに例示される変調パターンの周波数特性を例示した図である。
【図３Ｃ】図３Ａに例示される変調パターンの周波数特性と結像光学系の点像分布関数の周波数特性の関係を例示した図である。
【図４Ａ】図１に例示される標本撮像装置に含まれる共焦点変調手段の変調パターンの他の構成を例示した図である。
【図４Ｂ】図４Ａに例示される変調パターンの周波数特性とコヒーレント照明に対する結像光学系の伝達関数を例示した図である。
【図５】図１に例示される標本撮像装置に含まれる共焦点変調手段の変調パターンのさらに他の構成を例示した図である。
【図６Ａ】実施例１に係る蛍光顕微鏡の構成を例示した図である。
【図６Ｂ】図６Ａに例示される蛍光顕微鏡に含まれるマスクのマスクパターンについて説明するための図である。
【図６Ｃ】図６Ｂに例示されるマスクのマスクパターンの詳細について説明するための図である。
【図７】図６Ａに例示される蛍光顕微鏡に含まれるマスクのマスクパターンの変形例について説明するための図である。
【図８Ａ】実施例２に係る全反射蛍光顕微鏡の構成を例示した図である。
【図８Ｂ】図８Ａに例示される全反射蛍光顕微鏡に含まれる同心円ダイクロイックフィルタの構成について説明するための図である。
【図９Ａ】実施例３に係る蛍光顕微鏡の構成を例示した図である。
【図９Ｂ】図９Ａに例示される蛍光顕微鏡に含まれる共焦点マスクのマスクパターンについて説明するための図である。
【図１０Ａ】実施例４に係る蛍光顕微鏡の構成を例示した図である
【図１０Ｂ】図１０Ａに例示される蛍光顕微鏡に含まれるマスクのマスクパターンについて説明するための図である。
【図１１Ａ】結像光学系の結像特性について説明するための図である。
【図１１Ｂ】結像光学系の結像特性について説明するための図である。
【図１２Ａ】蛍光色素の分布関数と点像分布関数の周波数特性について例示した図である。
【図１２Ｂ】図１２Ａで示される特性を有する蛍光標本及び結像光学系により得られる標本画像の周波数特性を例示した図である。
【図１３Ａ】正弦波状の照明パターンにより生じる標本面上での各次数の回折光成分と点像分布関数の周波数特性について例示した図である。
【図１３Ｂ】正弦波状の照明パターンにより生じる結像面上での各次数の回折光成分の周波数特性を例示した図である。
【図１４】原点シフト後の各次数の回折光成分の周波数特性を例示した図である
【図１５】SIM回復画像の点像分布関数の周波数特性を例示した図である。
【発明を実施するための形態】
【００６７】
図１は、本発明の各実施例に係る標本撮像装置の基本構成を例示した図である。まず、図１を参照しながら、本発明の各実施例に係る標本撮像装置の基本構成について説明する。
【００６８】
図１に例示される標本観察装置は、蛍光標本である標本Ｓを観察するための蛍光顕微鏡１である。蛍光顕微鏡１は、標本Ｓを励起するための励起光を生成する励起光生成手段である光源２と、励起光を標本Ｓに投影すると共に、標本Ｓに励起光が照射されて生じた観察光から標本Ｓの中間像を中間像位置に形成する中間像形成手段である結像光学系３と、中間像位置で励起光および中間像の空間強度分布を変調する共焦点変調手段であるスキャンマスク４と、スキャンマスク４が有する変調パターンを中間像に対して相対的に移動させる変調駆動手段であるモータ５と、その空間強度分布が変調された中間像を撮像面上にリレーする像リレー手段である撮像レンズ６と、撮像面上にリレーされた中間像の空間強度分布をデジタル画像データに変換する撮像手段である撮像素子７と、デジタル画像データに対して画像処理を行う画像処理手段である計算機８と、を含んでいる。
【００６９】
結像光学系３は、対物レンズＯＢと結像レンズＴＬを含んでいる。スキャンマスク４は、モータ５により回転する回転ディスクとして形成されている。計算機８は、内部にＧＰＵ８ａまたはＦＰＧＡ８ｂを含んでいる。照明光路と観察光路が交差する位置には、ハーフミラーＨＭが配置されている。光源２とハーフミラーＨＭの間には、照明レンズ９が配置されている。なお、結像光学系３と撮像レンズ６は、それぞれ投影倍率、リレー倍率が可変であってもよい。
【００７０】
スキャンマスク４が有する変調パターンは、周期的なパターンである。スキャンマスク４がモータ５の駆動により回転することで、スキャンマスク４が有する変調パターンは、中間像位置に対して相対的に移動する。
【００７１】
撮像レンズ６のカットオフ周波数は、結像光学系３のカットオフ周波数fcを上回り、撮像素子７のナイキスト周波数は、結像光学系３のカットオフ周波数fcを上回っている。なお、本明細書における結像光学系３のカットオフ周波数、撮像レンズ６のカットオフ周波数、撮像素子７のナイキスト周波数の比較は、標本Ｓの中間像位置への投影倍率と標本Ｓの撮像面への投影倍率を考慮して規格化された周波数により行われる点に留意する。
【００７２】
計算機８は、撮像素子７で取得されるデジタル画像データに対して、結像光学系３のカットオフ周波数fcを上回る高周波成分を強調する処理（以降、高周波強調処理と記す。）を行うように構成されている。
【００７３】
このように構成された蛍光顕微鏡１によれば、撮像素子７で取得されるデジタル画像データ（以降、原画像と記す。）に超解像成分を記録することができる。これは、共焦点変調手段であるスキャンマスク４が、回転により変調パターンを時々刻々と変化させながら、励起光の空間強度分布を変調することに加えて、標本Ｓから生じる観察光（中間像）の空間強度分布を復調することによって実現される。
【００７４】
具体的には、まず、スキャンマスク４が励起光の空間強度分布を変調することによって、広視野観察において標本Ｓで生じる観察光の周波数成分のうち結像光学系３のカットオフ周波数fcを上回る高周波成分の一部が、カットオフ周波数fc以下の周波数にシフトして、結像光学系３により中間像位置に伝達される。その後、スキャンマスク４が中間像の空間強度分布を復調することにより、カットオフ周波数fc以下の周波数にシフトした成分が元の高周波成分に復元されて、撮像レンズ６により撮像面に伝達されて、撮像素子７によりデジタル画像データに変換される。このため、超解像成分を原画像に記録することができる。
【００７５】
また、蛍光顕微鏡１によれば、計算機８で高周波強調処理を実施して原画像の超解像成分を強調することにより、広視野観察ではデジタル画像データに反映されることのなかった超解像成分が可視化された超解像画像を生成することができる。
【００７６】
なお、蛍光顕微鏡１では、超解像画像を生成するために、撮像素子７で複数枚の原画像を取得する必要はない。また、後述するように、計算機８で行われる高周波強調処理は、要求される計算量が少ないため、高速な画像処理が可能である。
【００７７】
従って、蛍光顕微鏡１は、超解像画像を高い時間分解能で生成することができる。このため、標本をリアルタイムで観察することができる。また、比較的速く動く標本を観察する場合であっても、画質が劣化することないため、好適である。
【００７８】
原画像に超解像成分を記録することができることについて、数式を用いて、詳細に説明する。
まず、スキャンマスク４が、周期的パターンを形成し得る式（１１）で示される透過率分布Mを有する場合を考える。ここで、fn = n/pは変調パターンの固有周波数であり、pは変調パターンのピッチであり、nは周波数展開の次数であり、x0は変調パターンの原点座標である。
【００７９】
【数９】
【００８０】
スキャンマスク４の標本面への投影により、照明縞の各周波数成分がcn倍に減衰すると仮定すると、標本面上での照明光の光強度分布Illは、式（１２）で示され、式（１２）をフーリエ変換して周波数特性を示す式に変形すると、式（１３）が導出される。なお、ここで、インコヒーレント照明では、おおよそ
の関係が成り立つ。
【００８１】
【数１０】
【００８２】
従って、結像光学系３により形成される中間像の光強度分布Iは、式（６）と式（１３）を用いて、式（１４）のように導出される。
【００８３】
【数１１】
【００８４】
さらに、スキャンマスク４を通過したスキャンマスク４による変調後の中間像の光強度分布I’は、変調前の中間像の光強度分布Iとスキャンマスク４の透過率分布Mの積で表されるので、以下の式（１５）で示される。
【００８５】
【数１２】
【００８６】
撮像素子による１枚の画像取得のための露出時間の間に、スキャンマスク４が有する変調パターンが中間像に対して変調パターンの１周期pだけ移動すると、その期間に得られる変調後の中間像の光強度分布IIntは、式（１５）を１周期pで積分することで算出される。
【００８７】
積分すると、
、つまりn = -n'の関係を満たす成分のみが残るため、変調後の中間像の光強度分布IIntは、式（１６）で示され、式（１６）をフーリエ変換して周波数特性を示す式に変形すると、式（１７）が導出される。
【００８８】
【数１３】
【００８９】
式（１７）に示されるように、変調後の中間像の光強度分布IIntは、蛍光色素の分布関数Objを有する標本Ｓを、点像分布関数PSFIntを有する仮想的な光学系を用いて、結像した場合に得られる光強度分布としてみなすことができる。即ち、変調後の中間像の点像分布関数は、点像分布関数PSFIntである。
【００９０】
図２Ａは、共焦点変調手段による変調後の中間像の点像分布関数を例示した図である。
図２Ａに例示されるように、変調後の中間像の点像分布関数PSFIntを構成する各成分
の周波数は、それぞれ結像光学系の点像分布関数PSFの周波数に対して周波数fnだけシフトして分布している。このため、各成分の総和である点像分布関数PSFIntは、結像光学系の点像分布関数PSFより広い周波数帯域を有すことになる。従って、変調後の中間像のカットオフ周波数は、結像光学系のカットオフ周波数fcよりも高くなる。このため、蛍光顕微鏡１によれば、原画像に結像光学系のカットオフ周波数fcを超える周波数の超解像成分を記録することができる。
【００９１】
なお、スキャンマスク４による変調後の中間像は、さらに、撮像レンズ６により撮像面にリレーされて撮像素子７により撮像される。このため、原画像が超解像成分を有するか否かは、実際には、撮像レンズ６のカットオフ周波数と撮像素子７のナイキスト周波数が関係する。
【００９２】
蛍光顕微鏡１では、上述したように、撮像レンズ６のカットオフ周波数及び撮像素子７のナイキスト周波数が結像光学系３のカットオフ周波数fcを上回っている。このため、撮像レンズ６及び撮像素子７はカットオフ周波数fcを上回る超解像成分を伝達することが可能であり、原画像に結像光学系のカットオフ周波数fcを超える周波数の超解像成分を記録することができる。
【００９３】
撮像レンズ６のカットオフ周波数は、結像光学系３のカットオフ周波数fcの約１．５倍以上であることが望ましい。これにより、撮像面上に結像光学系のカットオフ周波数fcの約１．５倍以上の周波数の超解像成分を結像することができるからである。また、撮像素子７のナイキスト周波数は、結像光学系３のカットオフ周波数fcの約１．５倍以上であることが望ましい。これにより、原画像に結像光学系３のカットオフ周波数fcの約１．５倍以上の周波数の超解像成分を記録することができるからである。さらに、撮像素子７のナイキスト周波数は、結像光学系３のカットオフ周波数fcの約４倍以下であることがより望ましい。ナイキスト周波数を大きくすると画素サイズが低下するため、一般に、光量損失やノイズが大きくなる。超解像成分の上限周波数は理論上カットオフ周波数fcの２倍であるので、ナイキスト周波数をその２倍（計４倍）以下にすることで、無駄な光量損失やノイズを抑えることができるからである。
【００９４】
また、以上では、撮像素子による１枚の画像取得のための露出時間が、変調パターンが中間像に対して１周期pだけ移動する時間である場合を例示したが、特にこれに限られない。撮像素子による１枚の画像取得のための露出時間が、変調パターンが中間像に対して１周期p以上移動する時間であれば、原画像において変調パターンの透過率分布に起因する明るさムラが目立たなくなる。また、撮像素子による１枚の画像取得のための露出時間が、変調パターンが中間像に対して１周期p移動する時間の整数倍であれば、原画像において変調パターンの透過率分布に起因する明るさムラを完全に排除できる。また、変調駆動手段であるモータ５は、露出時間をある程度自由に設定することを可能とするために、撮像素子７による１枚の画像取得のための露出時間に応じて、変調パターンの移動速度を調整してもよい。
【００９５】
次に、原画像から超解像成分が可視化し得る超解像画像を生成する方法について、詳細に説明する。以降では、説明を簡略化するため、スキャンマスク４による変調後の中間像の点像分布関数PSFIntを原画像の点像分布関数とみなして説明する。
【００９６】
上述したように、蛍光顕微鏡１によれば、原画像に結像光学系のカットオフ周波数fcを超える周波数の超解像成分を記録することができる。つまり、蛍光顕微鏡１では、SIMにおいて画像処理として行われる各回折光成分を算出して原点シフトを行う復調処理が、蛍光顕微鏡１の光学系により自動的に行われる。しかしながら、原画像の点像分布関数は、図２Ａに例示されるように、結像光学系のカットオフ周波数fcよりも高い周波数を弱いコントラストでしか伝達できない。従って、そのままでは原画像に記録される超解像成分を十分に視認することができない。
【００９７】
そこで、蛍光顕微鏡１では、計算機８により高周波強調処理を行う。具体的には、図２Ｂに例示されるように、結像光学系のカットオフ周波数fcを上回る高周波成分を低周波成分に対して相対的に強調する。これにより、超解像成分を可視化し得る超解像画像を生成することができる。
【００９８】
高周波強調処理の具体例について説明する。
以下の行列A,Bは、それぞれ3x3、5x5のシャープフィルタを例示している。
【００９９】
【数１４】
【０１００】
高周波成分を強調するシャープフィルタは、画像処理の分野において、広く一般的に用いられているものである。高周波強調処理は、行列A,Bで示されるようなシャープフィルタを核行列として用いたコンボリューション処理であってもよい。
【０１０１】
以下の行列Cは、3x3のローパスフィルタを例示している。
【数１５】
【０１０２】
原画像から低周波画像を差し引くことによっても、相対的に高周波成分が強調される。このため、高周波強調処理は、原画像から、原画像に行列Cで示されるようなローパスフィルタを作用させた画像（以降、擬似広視野画像）を差し引く処理であってもよい。また、擬似広視野画像は、ローパスフィルタを核行列として用いたコンボリューション処理により生成されてもよい。また、擬似広視野画像を生成して原画像から差し引く処理を、所定の核行列を用いた１回のコンボリューション処理として実施してもよい。
【０１０３】
なお、上記のコンボリューション処理は、高速に処理するために、計算機８に含まれるＧＰＵ８ａまたはＦＰＧＡ８ｂを用いて行われることが望ましい。これにより、超解像画像をリアルタイムでモニタ等に表示することが可能となる。
【０１０４】
また、高周波強調処理は、擬似広視野画像の代わりに、広視野画像を原画像から差し引く処理であってもよい。広視野画像は、スキャンマスク４による変調を励起光と観察光のいずれに対しても行うことなく取得された画像、即ち、スキャンマスク４を作用させずに撮像した画像であり、結像光学系３のカットオフ周波数fc以上の周波数の情報は、広視野画像には含まれない。このため、広視野画像に適当な係数を乗じて原画像から差し引くことにより、相対的に高周波成分を強調することができる。さらに、デフォーカス成分が減衰するように係数を設定することで、光学セクショニング像を得ることも可能である。
【０１０５】
高周波強調処理の代表的な例としては、上述したような、シャープフィルタを用いる処理、ローパスフィルタを作用させた画像を原画像から指し引く処理、さらに、広視野画像を原画像から差し引く処理などがあるが、特にこれらに限られない。他の方法により、高周波成分が強調されてもよい。
【０１０６】
次に、スキャンマスク４のマスクパターンの具体例について説明する。なお、マスクパターンは、スキャンマスク４が共焦点変調手段として機能する場合、スキャンマスク４が有する変調パターンとして機能する。
【０１０７】
図３Ａは、図１に例示される標本撮像装置に含まれる共焦点変調手段の変調パターンの構成を例示した図である。図３Ｂは、図３Ａに例示される変調パターンの周波数特性を例示した図である。図３Ｃは、図３Ａに例示される変調パターンの周波数特性と結像光学系の点像分布関数の周波数特性の関係を例示した図である。
【０１０８】
共焦点変調手段であるスキャンマスク４は、図３Ａに例示されるような、遮蔽部１０ａと周期的に配列されたスリット状の開口部１０ｂを有するマスク１０であってもよく、いわゆる、ラインアンドスペース構造を有するマスクパターンを有してもよい。これにより、スリットの短手方向に超解像性を与えることが可能となる。なお、スリットの短手方向はマスク１０の回転により任意の方向に変化するため、露出時間内のスキャンマスクの回転量を調整することで任意の方向に超解像性を与えることができる。
【０１０９】
図３Ａに例示されるように、遮蔽部１０ａ間に形成される開口幅wの開口部１０ｂが開口周期pで周期的に形成されている場合、マスク１０のマスクパターンM(x)は、以下の式（１８）で示される。マスク１０のマスクパターンの周波数特性は、図３Ｂに例示されていて、式（１８）をフーリエ変換した式（１９）で表される。ここで、rect(x)は、式（２０）で定義され、フーリエ変換すると式（２１）で表される。また、Δp(x)は、式（２２）で定義され、フーリエ変換すると式（２３）で表される。
【０１１０】
【数１６】
【０１１１】
式（１９）及び図３Ｂで示されるように、マスクパターンの周波数特性は、０次回折光成分に対して±n/pだけシフトした周波数に±n次の回折光成分を含んでいる。このため、照明光が結像光学系３のカットオフ周波数fc近傍で強い回折光成分を含むためには、開口幅wと結像光学系３のカットオフ周波数fcはw<<1/fcの関係を満たすことが望ましい。しかしながら、開口幅wが結像光学系３のカットオフ周波数fcにより規定される周期の半分1/(2fc)より小さくなると、共焦点効果による光量損失が著しく増加するため、S/N比が劣化してしまう。従って、開口幅wは、結像光学系３のカットオフ周波数fcにより規定される周期の半分1/(2fc)以上であることが望ましく、特に、周期1/(2fc)程度であることが望ましい。
【０１１２】
また、図３Ｃに例示されるように、±１次回折光成分が結像光学系３により伝達されて、標本Ｓ上に縞パターン（マスクパターン）が形成されるためには、開口周期pと結像光学系３のカットオフ周波数fcはp>1/fcの関係を満たす必要がある。換言すると、開口周期pは結像光学系３のカットオフ周波数fcにより規定される周期1/fcよりも長いことが必要である。しかしながら、開口周期pはマスクパターンの開口効率に反比例するため、開口周期pを大きくしすぎると照明効率が低下することになり、好ましくない。従って、照明効率を重視するアプリケーションでは、開口周期pは結像光学系３のカットオフ周波数fcにより規定される周期1/fcの２倍弱程度であることが望ましい。一方、p>>1/fcの関係を満たすと、光学セクショニング効果が加わるため、光学セクショニング効果が要求される特定のアプリケーションでは、開口周期pは結像光学系３のカットオフ周波数fcにより規定される周期1/fcの１０倍以上であることが望ましい。また、開口周期pは結像光学系３のカットオフ周波数fcにより規定される周期1/fcの１０倍以上であり２０倍以下であることがさらに望ましい。
【０１１３】
なお、図３Ａに例示されるような遮蔽部１０ａを含むマスク１０を共焦点変調手段として用いる場合には、光源２とマスク１０（スキャンマスク４）の間に、開口部１０ｂに集光位置を一致させたシリンドリカルレンズを含むことが望ましい。また、モータ５は、シリンドリカルレンズとマスク１０を、それらの相対的な位置関係を変化させることなく、移動させるように構成されていることが望ましい。これにより、遮蔽部１０ａに入射することにより生じる励起光の光量損失を抑制し、標本Ｓにより多くの励起光を照射することができる。
【０１１４】
図４Ａは、図１に例示される標本撮像装置に含まれる共焦点変調手段の変調パターンの他の構成を例示した図である。図４Ｂは、図４Ａに例示される変調パターンの周波数特性とコヒーレント照明に対する結像光学系の伝達関数を例示した図である。
【０１１５】
図４Ａに例示されるマスク１１は、遮蔽部１０ａの代わりに位相シフト膜部１１ａを含む点が図３Ａに例示されるマスク１０と異なっている。位相シフト膜部１１ａは、強度透過率が６％程度で開口部１１ｂとの透過位相差が使用波長の１／２程度となる蒸着膜を、マスク基板に形成したものである。
【０１１６】
位相シフト膜部１１ａを含むマスク１１を共焦点変調手段として用いる場合、レーザなどのコヒーレント性の高い光源を用いることにより、または、マスク１１を照明する開口数を小さくすることにより、位相シフト膜部１１ａを透過した光と開口部１１ｂを透過した光を互いに干渉させることができる。これにより、図４Ｂに例示されるように、マスクパターンで発生した各回折光成分において、０次回折光成分の強度を弱め、結像光学系３のカットオフ周波数fc近傍の周波数成分の強度を相対的に高くして、標本Ｓ上に形成される縞パターンのコントラストを高くすることができる。
【０１１７】
一方、コヒーレント照明に対して結像光学系３が示すカットオフ周波数は、インコヒーレント照明に対して結像光学系３が示すカットオフ周波数fcの半分（fc/2）となるが、標本の励起強度の空間周波数に換算するとその２倍の周波数fcに等しい。また、コヒーレント照明に対する結像光学系３の点像分布関数は、カットオフ周波数（fc/2）以下の周波数成分を、コントラスト１で伝達する特性を有している。従って、コヒーレント照明によれば、強度に換算してインコヒーレント照明に比べて、高いコントラストで標本Ｓ上に縞パターンを投影することができる。
【０１１８】
特に、開口周期pと開口幅wがp=2wの関係を満たすマスク１１では、開口周期pとカットオフ周波数fcが1/p>fc/2の関係を満たす場合には、図４Ｂに例示されるように、±１次回折光成分が結像光学系３によりほぼ１００％標本上に伝達される。このため、高いコントラストで標本Ｓ上に縞パターンを投影することができる。従って、中間像の形成に寄与する高周波成分の割合が増加するため、計算機８による高周波成分の強調の程度を小さくすることが可能となり、画像処理によるノイズの発生を抑制することができる。
【０１１９】
図５は、図１に例示される標本撮像装置に含まれる共焦点変調手段の変調パターンのさらに他の構成を例示した図である。
図５に例示されるように、共焦点変調手段であるスキャンマスク４は、遮蔽部１２ａと周期的に配列されたピンホール状の開口部１２ｂを有するマスク１２であってもよく、いわゆる、２次元格子構造を有するマスクパターンを有してもよい。これにより、図５に例示されるＸＹ平面上で等方的に超解像性を与えることが可能となる。より具体的には、図５に例示されるように、Ｘ方向に隣り合う開口部１２ｂのＹ方向の位置を異ならせることによって、マスク１２をＸ方向にのみ移動させるだけで、ＸＹ平面上で等方的に超解像性を与えることが可能となる。
【０１２０】
また、図５に例示される２次元格子構造を有するマスクパターンでは、開口部１２ｂのＸ方向の開口幅wxとＸ方向の開口周期pxの関係、及び、Ｙ方向の開口幅wyとＹ方向の開口周期pyの関係は、それぞれ図３Ａに例示されるラインアンドスペース構造を有するマスクパターンの開口部１０ｂの開口幅wと開口周期pの関係と同様である。従って、マスク１０の場合と同様の理由から、開口部１２ｂの径（開口幅wx及び開口幅wy）は、結像光学系３のカットオフ周波数により規定される周期の半分1/(2fc)以上であることが望ましく、特に、周期1/(2fc)程度であることが望ましい。また、同じく、マスク１０の場合と同様の理由から、開口周期px及び開口周期pyは結像光学系３のカットオフ周波数により規定される周期1/fcよりも長いことが必要であり、照明効率を重視するアプリケーションでは、開口周期px及び開口周期pyはカットオフ周波数fcにより規定される周期1/fcの２倍弱程度であることが望ましい。ただし、光学セクショニング効果が要求される特定のアプリケーションでは、開口周期px及び開口周期pyはカットオフ周波数fcにより規定される周期1/fcの３倍以上であることが望ましい。
【０１２１】
なお、図５では、開口部１２ｂの形状として、正方形を例示したが、特にこれに限られない。例えば、開口部１２ｂの形状は円形であってもよい。また、マスク１２は、遮蔽部１２ａの代わりに、図４Ａに例示されるような位相シフト膜部を含んでもよい。また、光源２とマスク１２の間に、開口部１２ｂに集光位置を一致させたマイクロレンズアレイを含んでもよく、モータ５は、マイクロレンズアレイとマスク１２を、それらの相対的な位置関係を変化させることなく、移動させるように構成されていてもよい。
【０１２２】
図１では、共焦点変調手段として機能するマスクが、回転ディスクに形成される例を示したが、特にこれに限らない。例えば、共焦点変調手段として機能するマスクは、回転ディスクの代わりに回転ドラムに形成されてもよい。また、モータの代わりに振動子を配置し、マスクを振動子により振動するプレートに形成してもよい。
【０１２３】
一般に、モータにより回転する回転ディスクまたは回転ドラムにマスクを形成する場合、変調パターンの周期pの移動に要する時間が短時間で済むため、撮像素子７による原画像の生成を高速に行うことができる点で好ましい。一方、振動子により振動するプレートにマスクを形成する場合、共焦点変調手段と変調駆動手段をコンパクトに構成できる点で好ましい。
【０１２４】
さらに、蛍光顕微鏡１は、予め変調パターンの異なる複数のマスクを含み、複数のマスクから任意のマスクを選択して光路上に挿入し得るように構成されてもよい。例えば、マスクが回転ディスク等の上に交換可能に配置されてもよい。これにより、励起光の波長や中間像位置への投影倍率などの変更による結像光学系３のカットオフ周波数の変化に合わせて、超解像性を最適化することができる。
【０１２５】
また、共焦点変調手段として、マスクの代わりに空間光変調器を用いても良い。この場合、変調駆動手段としては、モータの代わりに、空間光変調器を駆動する駆動回路が用いられる。空間光変調器を共焦点変調手段として用いることで、任意の変調パターンを形成することができるため、励起光の波長や中間像位置への投影倍率などの変更などに合わせて変調パターンを最適化することができる。なお、空間光変調器は、ＤＭＤであっても、ＬＣＯＳであってもよい。空間光変調器がＤＭＤであれば、変調パターンをより高速に変更することができる。一方、空間光変調器がＬＣＯＳであれば、励起光を位相変調することも可能となる。
【０１２６】
以下、各実施例について、具体的に説明する。
【実施例１】
【０１２７】
図６Ａは、本実施例に係る蛍光顕微鏡の構成を例示した図である。図６Ｂは、図６Ａに例示される蛍光顕微鏡に含まれるマスクのマスクパターンについて説明するための図である。図６Ｃは、図６Ｂに例示されるマスクのマスクパターンの詳細について説明するための図である。
【０１２８】
図６Ａに例示される蛍光顕微鏡２０は、標本観察装置であり、標本Ｓを励起するための励起光を生成する水銀ランプ２１と、励起光を標本Ｓに投影すると共に、標本Ｓに励起光が照射されて生じた観察光から標本Ｓの中間像を中間像位置に形成する結像光学系２２と、中間像位置で励起光および中間像の空間強度分布を変調する、回転ディスクとして形成されたマスク２３と、マスク２３が有する変調パターンを中間像に対して相対的に移動させるモータ２４と、空間強度分布が変調された中間像を撮像面上にリレーする撮像レンズ２５と、撮像面上にリレーされた中間像の空間強度分布をデジタル画像データに変換する冷却ＣＣＤ２６と、デジタル画像データに対して画像処理を行う計算機２７と、を含んでいる。
【０１２９】
回転ディスクは、溶融石英または透明ガラスでできており、その片方の面には、図６Ｂに例示されるように、周期的なパターンを有している。これにより、回転ディスクは、空間強度分布を変調するマスク２３として機能する。マスク２３は、図６Ｃに例示されるように、回転ディスク上の低反射クロムコートをエッチングすることによって形成された、遮蔽部３４と開口幅ｗの開口部３５からなる開口周期ｐのラインアンドスペースパターンを有する。但し、そのライン方向が回転ディスクの回転方向に一致しない様に、マスク２３は、図６Ｂに例示されるように、ライン方向の異なる第１の領域３２と第２の領域３３を含んでいる。
【０１３０】
蛍光顕微鏡２０は、さらに、照明レンズ２８と、励起フィルタ２９、阻止フィルタ３０、及びダイクロイックミラーＤＭからなる蛍光キューブと、を含んでいる。また、結像光学系２２は、対物レンズＯＢと結像レンズＴＬを含んでいる。
【０１３１】
結像光学系２２の分解能は、対物レンズＯＢの開口数をNAとし、結像に関与する波長をλとすると、λ/(2NA)である。従って、冷却ＣＣＤ２６上での結像光学系２２のカットオフ周波数fcは、結像光学系２２の投影倍率をMとし、撮像レンズ２５の投影倍率βとすると、fc=2NA/(λMβ)である。
【０１３２】
ここでは、撮像レンズ２５の投影倍率βは、冷却ＣＣＤ２６の画素ピッチΔで決まるナイキスト周波数1/(2Δ)が結像光学系２２のカットオフ周波数fcの２倍程度となるように設定されている。冷却ＣＣＤ２６の投影倍率βは、冷却ＣＣＤ２６のナイキスト周波数が結像光学系２２のカットオフ周波数fcを上回るように設定されていればよく、より好ましくは、カットオフ周波数fcの１．５倍以上、４倍未満であることが望ましい。
【０１３３】
また、撮像レンズ２５のカットオフ周波数も、結像光学系２２のカットオフ周波数を上回っている。
また、開口部３５の開口幅wは、およそ2Δ/βとなるように設定されている。蛍光顕微鏡２０では、1/(2Δ)=2fcの関係が成り立っているので、開口部３５の開口幅wは、およそ1/(2fcβ)である。すなわち、中間像位置での結像光学系２２のカットオフ周波数f’c(=fcβ)により規定される周期の半分程度であり、好ましい。
【０１３４】
また、パターン周波数(1/p)は、中間像位置での励起光波長に対する結像光学系２２のカットオフ周波数f’cよりも小さくなるように設定されている。即ち、パターンの周期pは中間像位置での励起光波長に対する結像光学系２２のカットオフ周波数f’cにより規定される周期1/f’cよりも長い。従って、マスクパターンに起因する空間強度分布を持った励起光を標本上に投影することが可能であり、好ましい。
【０１３５】
なお、結像レンズＴＬは、対物レンズＯＢや蛍光波長の変更に合わせて投影倍率Mを変更できるように、変倍光学系またはズーム光学系であることが望ましい。撮像レンズ２５も、対物レンズＯＢや蛍光波長の変更に合わせて投影倍率βを変更できるように、変倍光学系またはズーム光学系であることが望ましい。また、変調パターンの異なるマスクが、回転ディスクの上に交換可能に配置されてもよい。変調パターンの異なるマスクが形成された回転ディスク自体が交換可能に配置されてもよい。
【０１３６】
蛍光顕微鏡２０では、モータ２４のより回転ディスクを回転させながら、冷却ＣＣＤ２６により回転ディスクとして形成されたマスク２３のパターンを透過した標本Ｓの中間像を撮像する。露出時間は少なくともマスク２３のパターンがその周期pだけ移動する時間が必要であり、好ましくはマスク２３として機能する回転ディスクの1/2回転に要する時間以上である。露出時間は周期pだけ移動する時間の整数倍であってもよい。また、モータ２４は、回転速度が変更可能であることが望ましい。
【０１３７】
冷却ＣＣＤ２６で撮像した原画像は、計算機８にデジタル画像データとして送られ、そこで、高周波数強調のためのデジタル処理を受ける。具体的には、計算機２７は、冷却ＣＣＤ２６で生成されたデジタル画像データに対して、結像光学系２２のカットオフ周波数を上回る高周波成分を強調する。このデジタル処理には、好ましくはコンボリューションフィルタ、さらに好ましくは3x3以上の核を持つシャープフィルタ、更に好ましくは5x5以上の核を持つシャープフィルタが用いられる。なお、その他の方法で、高周波成分を強調してもよい。
【０１３８】
本実施例に係る蛍光顕微鏡２０によれば、超解像画像を高い時間分解能で生成することが可能であるため、リアルタイムに標本Ｓを観察することができる。
図７は、図６Ａに例示される蛍光顕微鏡に含まれるマスクのマスクパターンの変形例について説明するための図である。
【０１３９】
図７に例示されるマスク３６は、マスク２３の第１の領域３２または第２の領域３３に相当するラインパターン領域３７に加えて、遮蔽領域３８と開口領域３９を含む点が、マスク２３と異なっている。
【０１４０】
マスク２３の代わりにマスク３６を含む点のみが蛍光顕微鏡２０と異なる本変形例に係る蛍光顕微鏡では、光軸ＡＸ上にラインパターン領域３７があるときには、超解像成分を含む原画像（以降、共焦点画像と記す。）が取得され、光軸ＡＸ上に開口領域３９があるときには、広視野画像が取得される。光軸ＡＸ上に遮蔽領域３８があるときには、画像は取得されない。遮蔽領域３８は、共焦点画像が生成される期間と広視野画像が生成される期間を明確に区別するために設けられている。そして、計算機２７では、高周波数強調のためのデジタル処理として、取得された共焦点画像から広視野画像を差し引く処理が実施される。
【０１４１】
本変形例に係る蛍光顕微鏡によっても、本実施例に係る蛍光顕微鏡２０と同様に、超解像画像を高い時間分解能で生成することが可能であるため、リアルタイムに標本Ｓを観察することができる。
【０１４２】
また、本変形例に係る蛍光顕微鏡では、デフォーカス画像の強度がほぼゼロになるように、取得される共焦点画像と広視野画像の強度比を調整することで、光学的セクショニング効果も得られる。
また、本変形例に係る蛍光顕微鏡では、広視野画像と原画像が同じ冷却ＣＣＤ２６で取得されるため、画像間の位置合わせを行うことなく、高い精度で画像間の位置が一致した画像を取得することができる。また、広視野画像が取得される時刻と原画像が取得される時刻の時間差も極僅かであり、標本の移動に伴うアーティファクトの発生を抑えられる点において好適である。
【０１４３】
なお、中間像位置に変調手段を有する技術は、共焦点顕微鏡などで用いられていて、例えば、特表２００２−５３５７１６などで開示されている。しかしながら、本願の蛍光顕微鏡は、超解像成分を取得するために変調手段を用いる点で、共焦点効果を得るために変調手段を用いる従来の共焦点顕微鏡と大きく異なっている。
【実施例２】
【０１４４】
図８Ａは、本実施例に係る全反射蛍光（ＴＩＲＦ）顕微鏡の構成を例示した図である。図８Ｂは、図８Ａに例示される全反射蛍光顕微鏡に含まれる同心円ダイクロイックフィルタの構成について説明するための図である。
【０１４５】
図８Ａに例示される全反射蛍光顕微鏡４０は、標本観察装置であり、標本Ｓを励起するための励起光を生成するレーザ４１と、励起光を標本Ｓに投影すると共に、標本Ｓに励起光が照射されて生じた観察光から標本Ｓの中間像を中間像位置に形成する結像光学系４２と、中間像位置で励起光および中間像の空間強度分布を変調する、回転ディスクとして形成されたマスク４４と、マスク４４が有する変調パターンを中間像に対して相対的に移動させるモータ４５と、空間強度分布が変調された中間像を撮像面上にリレーする撮像レンズ４６と、撮像面上にリレーされた中間像の空間強度分布をデジタル画像データに変換するＥＭ−ＣＣＤ４７と、デジタル画像データに対して画像処理を行う計算機４８と、を含んでいる。なお、マスク４４は、周期的なパターンを有する回折格子である。
【０１４６】
全反射蛍光顕微鏡４０は、また、ビームエキスパンダ４９と、ダイクロイックミラーＤＭと、阻止フィルタ５０を含んでいる。結像光学系４２は、対物レンズＯＢと、ミラーＭＲと、対物レンズＯＢの瞳をリレーする瞳リレー光学系４３と、結像レンズＴＬとを含んでいる。
【０１４７】
全反射蛍光顕微鏡４０は、さらに、対物レンズＯＢの瞳位置と共役な位置近傍に、標本Ｓを励起光で輪帯照明する輪帯照明手段である同心円ダイクロイックフィルタ５１を含んでいる。同心円ダイクロイックフィルタ５１は、図８Ｂに例示されるように、励起光を遮蔽し、蛍光を透過する励起光阻止領域５１ａと、励起光及び蛍光を透過する透過領域５１ｂを含んでいる。励起光阻止領域５１ａは、瞳共役位置の中心部分を占めていて、透過領域５１ｂは、瞳共役位置の周辺部分を占めている。このため、対物レンズＯＢの瞳位置の中心部分に入射する励起光は、励起光阻止領域５１ａにより遮蔽されるのに対して、対物レンズＯＢの瞳位置の周辺部分に入射する励起光は、透過領域５１ｂを透過する。これにより、同心円ダイクロイックフィルタ５１により、輪帯照明が実現される。
【０１４８】
また、対物レンズＯＢは液浸対物レンズであり、標本Ｓを支持するスライドガラスＧと対物レンズＯＢとの間は、イマージョンオイルＩＭで満たされている。スライドガラスＧ及びイマージョンオイルＩＭは、標本Ｓの周りの媒質の屈折率より高い屈折率を有している。即ち、標本Ｓと結像光学系４２の間には、標本Ｓの周りの媒質の屈折率より高い屈折率を有する透明物体が含まれている。ここで、標本Ｓの周りの媒質としては、標本Ｓが培養細胞の場合であれば、例えば、水などが挙げられる。また、標本Ｓが固定標本の場合であれば、例えば、パラフィンなどが挙げられる。
【０１４９】
輪帯照明手段である同心円ダイクロイックフィルタ５１は、標本ＳとイマージョンオイルＩＭとの界面に入射した励起光の９０パーセント以上が全反射するような角度で励起光が界面に入射するように、励起光の一部を遮断する。即ち、励起光阻止領域５１ａと透過領域５１ｂの径が調整されている。これにより、同心円ダイクロイックフィルタ５１によりＴＩＲＦ照明が実現される。
【０１５０】
なお、その他の点については、実施例１に係る蛍光顕微鏡２０と同様である。例えば、結像光学系４２のカットオフ周波数、撮像レンズ４６のカットオフ周波数、ＥＭ−ＣＣＤ４７のナイキスト周波数、マスク４４からなる回折格子のパターンの開口幅w及び開口周期ｐは、実施例１に係る蛍光顕微鏡２０と同様の特徴を有している。
【０１５１】
全反射蛍光顕微鏡４０では、レーザ４１が生成した励起光は、ビームエキスパンダ４９によりビーム径が拡大された後、マスク４４からなる回折格子により、複数の回折光成分に分割される。対物レンズＯＢの瞳共役位置近傍に配置された同心円ダイクロイックフィルタ５１により、スライドガラスＧと標本Ｓの界面に入射する励起光の角度が制限されるため、標本Ｓに照射される励起光は、スライドガラスＧと標本Ｓの界面で励起光の９０パーセント以上が全反射するＴＩＲＦ照明光となる。このため、全反射蛍光顕微鏡４０では、スライドガラスＧ近傍のエバネッセント領域にある標本が励起される。
【０１５２】
蛍光は、同心円ダイクロイックフィルタ５１で遮蔽されないため、実施例１に係る蛍光顕微鏡２０と同様に、共焦点変調手段（マスク４４）により復調されて、超解像成分を含む原画像がＥＭ−ＣＣＤ４７で取得される。さらに、計算機４８では、高周波強調処理が実施される。
【０１５３】
従って、本実施例に係る蛍光顕微鏡４０によれば、実施例１に係る蛍光顕微鏡２０と同様に、超解像画像を高い時間分解能で生成することが可能であるため、リアルタイムに標本Ｓを観察することができる。
【０１５４】
なお、全反射蛍光顕微鏡４０では、同心円ダイクロイックフィルタ５１により輪帯照明が実現されるため、マスク４４からなる回折格子により生成される縞パターンを高いコントラストで標本Ｓに投影することができる。縞パターンのコントラストが改善されることで、原画像に含まれる超解像成分のＳ／Ｎ比が向上するため、全反射蛍光顕微鏡４０によれば、蛍光顕微鏡２０よりも、超解像画像の画質を改善することができる。
【０１５５】
また、全反射蛍光顕微鏡４０は、ＴＩＲＦ照明により、スライドガラスＧの極近傍から生じる蛍光のみを検出することができるため、一分子蛍光の検出に、特に有効である。
また、全反射蛍光顕微鏡４０では、蛍光顕微鏡２０ト同様に、レーザ４１の代わりに、水銀ランプなどの白色光源を用いることもできる。その場合、照明光路上に励起フィルタを含むことが望ましい。
【実施例３】
【０１５６】
図９Ａは、本実施例に係る蛍光顕微鏡の構成を例示した図である。図９Ｂは、図９Ａに例示される蛍光顕微鏡に含まれる共焦点マスクのマスクパターンについて説明するための図である。
【０１５７】
図９Ａに例示される蛍光顕微鏡６０は、標本観察装置であり、標本Ｓを励起するための励起光を生成する水銀ランプ６１と、励起光を標本Ｓに投影すると共に、標本Ｓに励起光が照射されて生じた観察光から標本Ｓの中間像を中間像位置に形成する結像光学系６２と、中間像位置で励起光および中間像の空間強度分布を変調する、プレートとして形成された共焦点マスク６３と、共焦点マスク６３が有する変調パターンを中間像に対して相対的に移動させる駆動装置６４と、空間強度分布が変調された中間像を撮像面上にリレーする撮像レンズ６５と、撮像面上にリレーされた中間像の空間強度分布をデジタル画像データに変換するＥＭ−ＣＣＤ６６と、デジタル画像データに対して画像処理を行う計算機６７及び画像処理ボード６８と、を含んでいる。
【０１５８】
蛍光顕微鏡６０は、さらに、照明レンズ７１と、励起フィルタ７２、阻止フィルタ７３及びダイクロイックミラーＤＭからなる蛍光フィルタキューブと、記憶媒体６９と、モニタ７０と、を含んでいる。結像光学系６２は、対物レンズＯＢと結像レンズＴＬとを含んでいる。
【０１５９】
図９Ｂに例示されるように、プレートとして形成される共焦点マスク６３は、周期的なパターンを有している。共焦点マスク６３は、遮蔽部７５と開口幅wの正方形の複数の開口部７６を含み、複数の開口部７６は、縦横共に開口周期pで整列している。なお、横方向に隣り合う開口部７６の縦方向の位置が異なるように、開口部７６は整列されている。このため、駆動装置６４がプレート（共焦点マスク６３）を一方向に振動させるだけで、等方的な超解像画像を得ることができる。従って、駆動装置６４としては、例えば、振動子を用いることができる。
【０１６０】
その他、結像光学系６２のカットオフ周波数、撮像レンズ６５のカットオフ周波数、ＥＭ−ＣＣＤ６６のナイキスト周波数、開口部７６の開口幅w及び周期ｐは、実施例１に係る蛍光顕微鏡２０と同様の特徴を有している。
【０１６１】
蛍光顕微鏡６０では、駆動装置６４によりプレートを振動させながら、ＥＭ−ＣＣＤ６６によりプレートとして形成された共焦点マスク６３のパターンを透過した標本Ｓの中間像を撮像する。駆動装置６４によりプレートの振動の振幅は、振動方向の開口部７６の開口周期p以上に設定されている。より好ましくは、振幅は開口周期pの整数倍である。ＥＭ−ＣＣＤ６６の露出時間は、駆動装置６４によるプレートの振動周期よりも長く設定されている。振幅が開口周期pの整数倍であれば、ＥＭ−ＣＣＤ６６の露出時間は、プレートの振動周期の整数倍の時間に設定されていることが望ましい。
【０１６２】
ＥＭ−ＣＣＤ６６で撮像した原画像は、画像処理ボード６８にデジタル画像データとして送られ、画像処理ボード６８は、デジタル画像データに対して、結像光学系６２のカットオフ周波数を上回る高周波成分を強調する。具体的には、3x3の核行列によるコンボリューション処理がリアルタイムで施される。その後、高周波成分が強調された超解像画像がモニタ７０に表示されると同時に計算機６７を介して記憶媒体６９に記憶される。
【０１６３】
従って、本実施例に係る蛍光顕微鏡６０によれば、実施例１に係る蛍光顕微鏡２０と同様に、超解像画像を高い時間分解能で生成することが可能であるため、リアルタイムに標本Ｓを観察することができる。
【実施例４】
【０１６４】
図１０Ａは、本実施例に係る蛍光顕微鏡の構成を例示した図である。図１０Ｂは、図９Ａに例示される蛍光顕微鏡に含まれるマスクのマスクパターンについて説明するための図である。
【０１６５】
図１０Ａに例示される蛍光顕微鏡８０は、標本観察装置であり、標本Ｓを励起するための励起光を生成するレーザ８１と、励起光を標本Ｓに投影すると共に、標本Ｓに励起光が照射されて生じた観察光から標本Ｓの中間像を中間像位置に形成する結像光学系８２と、中間像位置で励起光および中間像の空間強度分布を変調する、回転ディスクとして形成されたマスク８３と、マスク８３が有する変調パターンを中間像に対して相対的に移動させるモータ８４と、空間強度分布が変調された中間像を撮像面上にリレーする撮像レンズ８５と、撮像面上にリレーされた中間像の空間強度分布をデジタル画像データに変換するＥＭ−ＣＣＤ８６と、デジタル画像データに対して画像処理を行う計算機８７及び画像処理ボード８８と、を含んでいる。
【０１６６】
蛍光顕微鏡８０は、さらに、シングルモード光ファイバー９１と、ビームエキスパンダ９２、ダイクロイックミラーＤＭと、阻止フィルタ９４と、記憶媒体８９と、モニタ９０と、を含んでいる。結像光学系８２は、対物レンズＯＢと結像レンズＴＬとを含んでいる。
【０１６７】
図１０Ｂに例示されるように、回転ディスクとして形成されるマスク８３は、周期的なパターンを有している。マスク８３は、遮蔽部９６と開口直径ｗのピンホール状の複数の開口部９７を含み、複数の開口部９７は、縦横共に開口周期pで整列している。即ち、マスク８３として機能する回転ディスクは、ピンホール状の開口部９７を有する、いわゆるニポーディスクである。
【０１６８】
蛍光顕微鏡８０は、レーザ８１とマスク８３の間に、ピンホール状の開口部に集光位置を一致させたマイクロレンズアレイ９３を含んでいる。また、モータ８４は、マイクロレンズアレイ９３とマスク８３を、マイクロレンズアレイ９３とマスク８３の相対的な位置関係を変えずに、回転させる。これにより、遮蔽部９６に入射することにより生じる励起光の光量損失を抑制し、標本Ｓにより多くの励起光を照射することができる。
【０１６９】
なお、図１０Ａ及び１０Ｂでは、マイクロレンズアレイ９３とニポーディスクが例示されているが、特にこれに限られない。例えば、ニポーディスクの代わりに、実施例１で例示されるような、ラインアンドスペース構造を有するマスクが形成された回転ディスクが用いられても良い。その場合、マイクロレンズアレイ９３の代わりに、ライン状の開口部に集光位置を一致させたシリンドリカルレンズを含んでもよい。また、蛍光顕微鏡８０は、実施例２で例示されるようなＴＩＲＦ照明を実現する構成に変形してもよい。
【０１７０】
その他、マスク８３において開口周期pは、開口直径wの３倍程度に設定されている。このため、蛍光顕微鏡８０では、ニポーディスクによるセクショニング効果が生じる。また、結像光学系８２のカットオフ周波数、撮像レンズ８５のカットオフ周波数、ＥＭ−ＣＣＤ８６のナイキスト周波数、開口部９７の開口直径wは、実施例１に係る蛍光顕微鏡２０と同様の特徴を有している。
【０１７１】
本実施例に係る蛍光顕微鏡８０では、モータ８４によりマスク８３及びマイクロレンズアレイ９３を回転させながら、レーザ８１から射出されたレーザ光（励起光）により標本Ｓを励起し、蛍光を回転するマスク８３を介してＥＭ−ＣＣＤ８６で検出することで、超解像成分を含む原画像を高速に取得することができる。さらに、計算機８７及び画像処理ボード８８で超解像成分を強調する高周波成分強調処理を実施することで、超解像成分が可視化された超解像画像を高速に生成することができる。
【０１７２】
従って、本実施例に係る蛍光顕微鏡８０によれば、実施例１に係る蛍光顕微鏡２０と同様に、超解像成分の視認性が高い超解像画像を高い時間分解能で生成することが可能であるため、リアルタイムに標本Ｓを観察することができる。
【符号の説明】
【０１７３】
１、２０、６０、８０・・・蛍光顕微鏡、４０・・・全反射蛍光顕微鏡、２・・・光源３、２２、４２、６２、８２・・・結像光学系、４・・・スキャンマスク、５、２４、４５、８４・・・モータ、６、２５、４６、６５、８５・・・撮像レンズ、７・・・撮像素子、８、２７、４８、６７、８７・・・計算機、８ａ・・・ＧＰＵ、８ｂ・・・ＦＰＧＡ、９、２８、７１・・・照明レンズ、１０、１１、１２、２３、３６、４４、８３・・・マスク、１０ａ、１１ａ、１２ａ、３４、７５、９６・・・遮蔽部、１０ｂ、１１ｂ、１２ｂ、３５、７６、９７・・・開口部、２１、６１・・・水銀ランプ、２６・・・冷却ＣＣＤ、４７、６６、８６・・・ＥＭ−ＣＣＤ、２９、７２・・・励起フィルタ、３０、５０、７３、９４・・・阻止フィルタ、３２・・・第１の領域、３３・・・第２の領域、３７・・・ラインパターン領域、３８・・・遮蔽領域、３９・・・開口領域、４１、８１・・・レーザ、４３・・・瞳リレー光学系、４９、９２・・・ビームエキスパンダ、５１・・・同心円ダイクロイックフィルタ、５１ａ・・・励起光阻止領域、５１ｂ・・・透過領域、ＩＭ・・・イマージョンオイル、６３・・・共焦点マスク、６４・・・駆動装置、６８、８８・・・画像処理ボード、６９、８９・・・記憶媒体、７０、９０・・・モニタ、９１・・・シングルモード光ファイバー、９３・・・マイクロレンズアレイ、Ｓ・・・標本、Ｇ・・・スライドガラス、ＯＢ・・・対物レンズ、ＴＬ・・・結像レンズ、ＨＭ・・・ハーフミラー、ＤＭ・・・ダイクロイックミラー、ＭＲ・・・ミラー、ＡＸ・・・光軸
【技術分野】
【０００１】
本発明は、標本観察装置に関し、特に、光学系の解像限界を超える超解像の標本画像が得られる標本観察装置に関する。
【背景技術】
【０００２】
近年、結像光学系の解像限界を超える解像度（以降、超解像）の標本画像を得る技術が開発され、実用化されている。そのような超解像技術の一つとして、構造化照明法 (SIM:Structured Illumination Microscopy)と呼ばれる顕微鏡法が知られている。SIMについては、例えば、特許文献１で開示されている。
【０００３】
一般的な広視野観察においては、照明光はできるかぎり均一に標本に照射されるが、SIMでは、照明光を変調し、主に縞模様の照明光を標本に照射する。これにより、結像に寄与する観察光の周波数をシフトさせることが可能であり、このような現象を利用することで、結像光学系の解像限界を超えた超解像の標本画像を生成することができる。
【０００４】
以下、SIMにより超解像の標本画像を生成する方法について説明する。
図１１Ａ及び図１１Ｂは、結像光学系の結像特性について説明するための図である。図１１Ａに例示されるように、顕微鏡等の標本観察装置に用いられる結像光学系による結像では、標本上の１点からの発光は、結像面上の１点に投影されず、結像光学系固有の関数である点像分布関数（Point Spread Function）で示される分布で投影される。即ち、図１１Ｂに例示されるように、標本上の各点からの発光は、結像面上に、それぞれ点像分布関数で示される分布で投影されることになる。
【０００５】
このため、蛍光標本を一様な励起光で照明する広視野観察で得られる標本画像の光強度分布IWF(x,y)は、標本の蛍光色素の分布関数をObj(x,y)とし、結像光学系の点像分布関数をPSF(x,y)とすると、以下の式（１）で表されるように、PSF(x,y)とObj(x,y)のコンボリューションで与えられる。なお、点像分布関数PSFの空間座標系と蛍光色素の分布関数Objの空間座標系は、結像光学系の倍率Mを用いて規格化されている。
【０００６】
【数１】
【０００７】
さらに、式（１）をフーリエ変換して周波数特性を示す式に変形すると、式（２）が導出される。なお、チルダ（~）は、それが付された関数がフーリエ変換された関数であることを示している。即ち、式（１）は標本画像の空間強度分布を示し、式（２）は標本画像の周波数特性を示している。
【０００８】
【数２】
【０００９】
図１２Ａは、蛍光色素の分布関数と結像光学系の点像分布関数それぞれの周波数特性について例示した図である。図１２Ｂは、図１２Ａで示される特性を有する蛍光標本及び結像光学系により得られる標本画像の周波数特性を例示した図である。
【００１０】
図１２Ａに例示されるように、蛍光色素の分布関数Objの周波数特性は広い周波数帯域に分布している。これに対して、点像分布関数PSFの周波数特性は周波数±fcまでの範囲内でしか強度を持たない。これは結像光学系が周波数±fcまでの範囲内の周波数成分しか結像面へ伝達できないことを示している。従って、点像分布関数PSFの周波数特性はまた、結像光学系の伝達関数とも呼ばれる。以降、周波数fcを、結像光学系のカットオフ周波数と記す。
【００１１】
従って、式（２）を用いて算出される標本画像の光強度分布IWFの周波数特性は、図１２Ｂに例示されるように、カットオフ周波数±fcまでの周波数範囲内に制限されることになる。このように、標本面を一様に照明する従来の広視野観察では、結像光学系のカットオフ周波数により標本画像の解像度が制限され、結像光学系の解像限界以上の解像度を有する標本画像を生成できない。
【００１２】
これに対して、SIMでは、例えば、以下の式（３）で示される正弦波状のパターンで標本面を照明する。ここで、Illi(x)は標本面での照明光の光強度分布、f0は照明パターンの周波数、φiはx=0の原点における照明パターンの位相である。なお、以降では、説明を簡素化するため、１次元モデルを例に説明する。
【００１３】
【数３】
【００１４】
式（３）をフーリエ変換して周波数特性を示す式に変形すると、式（４）が導出される。
【００１５】
【数４】
【００１６】
照明光の光強度分布を考慮した一般化された結像面上での標本画像の光強度分布Ii(x)は、式（５）で示され、式（５）をフーリエ変換して周波数特性を示す式に変形すると、式（６）が導出される。
【００１７】
【数５】
【００１８】
従って、SIMで得られる結像面上での光強度分布Iiは、式（７）で示される。ここで、P0、P+、P-は、それぞれ、結像面上での光強度分布の０次回折光成分、＋１次回折光成分、−１次回折光成分を示している。
【００１９】
【数６】
【００２０】
式（７）で示されるように、正弦波状のパターンで標本面を照明することで、結像面上での標本画像の光強度分布Iiには、０次回折光成分に加えて、±１次回折光成分が含まれることになる。
【００２１】
図１３Ａは、正弦波状の照明パターンにより生じる標本面上での各次数の回折光成分と結像光学系の点像分布関数それぞれの周波数特性について例示した図である。図１３Ｂは、結像面上での各次数の回折光成分の周波数特性を例示した図である。
【００２２】
図１３Ａで例示されるように、標本面上での＋１次回折光成分の周波数特性と−１次回折光成分の周波数特性は、標本面上での０次回折光成分の周波数特性に対して、それぞれ照明パターンの周波数f0、-f0だけシフトして分布している。しかしながら、結像面上での光強度分布の周波数特性は、式（７）で示されるように、標本面上での各次数の回折光成分の周波数特性と結像光学系のPSFの周波数特性の積の総和であるため、標本画像の光強度分布の周波数特性は、図１３Ｂに例示されるように、均一に照明した場合と同様に、結像光学系のカットオフ周波数±fcまでの範囲内の周波数帯域に制限される。
【００２３】
そこで、SIMでは、図１３Ｂで例示される結像面上での各次数の回折光成分を個別に算出し、それらを用いて、カットオフ周波数fcを超える周波数を含む超解像画像を生成する。なお、以降では、SIMにより得られる超解像画像を特にSIM回復画像と記す。
【００２４】
具体的には、まず、初期位相φiの異なる状態で撮像した複数の標本画像を用いて、結像面上での各次数の回折光成分P0、P+、P-を変数とする連立一次方程式を解くことにより、結像面上での各次数の回折光成分を算出する。
【００２５】
次に、算出された結像面上での各次数の回折光成分P0、P+、P-のうち±１次回折光成分P+、P-について、０次回折光成分に対する周波数のシフト（以降、原点シフトと記す）を修正する。具体的には、式（８）及ぶ式（９）で示されるように、周波数-f0、f0だけシフトさせる。図１４は、原点シフト後の各次数の回折光成分を例示した図である。ここで、P’+、P’-は、原点シフト後の結像面での光強度分布の±１次回折光成分を示している。
【００２６】
【数７】
【００２７】
その上で、算出された０次回折光成分と原点シフト後の±１次回折光成分に重みｗを掛けたものとを足し合わせて、画像処理によりSIM回復画像を生成する。
式（１０）は、SIM回復画像の周波数特性を示している。ここで、ISIMは、SIM回復画像の強度分布を、PSFSIMは、SIM回復画像の点像分布関数を示している。
【００２８】
【数８】
【００２９】
図１５に例示されるように、SIM回復画像の点像分布関数PSFSIMの周波数特性は、結像光学系のカットオフ周波数fcに照明パターンの周波数f0を加えた周波数帯域±(fc+f0)の範囲まで強度を持っている。即ち、SIM回復画像のカットオフ周波数はfc+f0であり、結像光学系のカットオフ周波数fcを超える周波数帯域を伝達することができる。
【００３０】
このように、SIMによれば、結像光学系のカットオフ周波数を超える周波数帯域を伝達することが可能であり、結像光学系の解像限界を超えた超解像の標本画像を生成することができる。また、重みｗを変更することで、結像光学系のカットオフ周波数を超える超解像成分の視認性を調整することができる。
また、特許文献２には、構造化照明を生成する空間変調素子を中間像位置に配置し、標本の中間像をその空間変調素子を通して復調し撮像する構成が開示されている。
【先行技術文献】
【特許文献】
【００３１】
【特許文献１】国際公開２００７／０４３３８２号パンフレット
【特許文献２】国際公開２００７／０４３３１４号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【００３２】
上述したように、SIMにより超解像画像（SIM回復画像）を生成するためには、照明パターンの初期位相φiの異なる状態で複数回、標本を撮像する必要がある。原理的には、連立方程式を解くために、少なくとも３枚の画像（以降、原画像と記す。）が必要である。実際には、投影縞の方位の影響やノイズ等による劣化を抑制するために、照明によって生じる投影縞の方位及び位置を変えて、９枚から２５枚程度の原画像を取得する必要がある。
【００３３】
従って、SIMは、比較的速く動く標本の画像化には不向きである。原画像を取得する間に標本の状態が変化してしまうからである。また、９枚から２５枚程度の原画像を取得して原画像の各々に対してフーリエ変換及び逆フーリエ変換を行う必要がある。このため、画像取得に加えて計算にも時間がかかるため、１枚の超解像画像の生成に要する時間が長くなる。
【００３４】
従って、SIMでは、標本をリアルタイムで観察することができず、標本中の観察対象部位を特定する作業などを行いにくい。
以上のような実情を踏まえ、本発明では、超解像画像を高い時間分解能で生成する技術を提供することを課題とする。
また、構造化照明を生成する空間変調素子を用いて中間像を復調する特許文献２の方法においては、後述の通り超解像成分がほとんど視認されない。
従って、本発明では、超解像成分の視認性が高い超解像画像を生成する技術を提供することも課題とする。
【課題を解決するための手段】
【００３５】
本発明の第１の態様は、標本を励起するための励起光を生成する励起光生成手段と、励起光を標本に投影すると共に、標本に励起光が照射されて生じた観察光から標本の中間像を中間像位置に形成する中間像形成手段と、中間像位置で励起光および中間像の空間強度分布を変調する共焦点変調手段と、共焦点変調手段が有する変調パターンを中間像に対して相対的に移動させる変調駆動手段と、空間強度分布が変調された中間像を撮像面上にリレーする像リレー手段と、撮像面上にリレーされた中間像の空間強度分布をデジタル画像データに変換する撮像手段と、デジタル画像データに対して画像処理を行う画像処理手段と、を含み、像リレー手段のカットオフ周波数は、中間像形成手段のカットオフ周波数を上回り、撮像手段のナイキスト周波数は、中間像形成手段のカットオフ周波数を上回り、画像処理手段は、デジタル画像データに対して、中間像形成手段のカットオフ周波数を上回る高周波成分を強調する高周波強調処理を行う標本観察装置を提供する。
【００３６】
本発明の第２の態様は、第１の態様に記載の標本観察装置において、変調パターンは、周期的なパターンであり、撮像素子による１枚の画像取得の露出時間が、変調パターンが中間像に対して変調パターンの１周期分移動する時間以上である標本観察装置を提供する。
【００３７】
本発明の第３の態様は、第１の態様に記載の標本観察装置において、変調パターンは、周期的なパターンであり、撮像素子による１枚の画像取得の露出時間が、変調パターンが中間像に対して変調パターンの１周期分移動する時間の整数倍である標本観察装置を提供する。
【００３８】
本発明の第４の態様は、第２の態様または第３の態様に記載の標本観察装置において、変調駆動手段が、撮像素子による１枚の画像取得の露出時間に応じて、変調パターンの移動速度を調節する標本観察装置を提供する。
【００３９】
本発明の第５の態様は、第１の態様乃至第４の態様のいずれか１つに記載の標本観察装置において、像リレー手段のカットオフ周波数が、中間像形成手段のカットオフ周波数の約１．５倍以上である標本観察装置を提供する。
【００４０】
本発明の第６の態様は、第１の態様乃至第５の態様のいずれか１つに記載の標本観察装置において、撮像手段のナイキスト周波数が、中間像形成手段のカットオフ周波数の約１．５倍以上である標本観察装置を提供する。
【００４１】
本発明の第７の態様は、第６の態様に記載の標本観察装置において、撮像手段のナイキスト周波数が、中間像形成手段のカットオフ周波数の約４倍以下である標本観察装置を提供する。
【００４２】
本発明の第８の態様は、第１の態様乃至第７の態様のいずれか１つに記載の標本観察装置において、共焦点変調手段は、周期的に配列されたスリット状の開口を有するマスクである標本観察装置を提供する。
【００４３】
本発明の第９の態様は、第８の態様に記載の標本観察装置において、スリット状の開口の幅は、中間像形成手段のカットオフ周波数により規定される周期の半分以上である標本観察装置を提供する。
【００４４】
本発明の第１０の態様は、第８の態様に記載の標本観察装置において、周期的に配列されたスリット状の開口の周期は、中間像形成手段のカットオフ周波数により規定される周期よりも長い標本観察装置を提供する。
【００４５】
本発明の第１１の態様は、第１０の態様に記載の標本観察装置において、スリット状の開口の周期は、スリット状の開口の幅の１０倍以上である標本観察装置を提供する。
本発明の第１２の態様は、第８の態様乃至第１１の態様のいずれか１つに記載の標本観察装置において、さらに、励起光生成手段と共焦点変調手段の間に、スリット状の開口に集光位置を一致させたシリンドリカルレンズアレイを含み、変調駆動手段は、シリンドリカルレンズアレイとマスクを、シリンドリカルレンズアレイとマスクの相対的な位置関係を変えずに、移動させる標本観察装置を提供する。
【００４６】
本発明の第１３の態様は、第８の態様乃至第１２の態様のいずれか１つに記載の標本観察装置において、マスクは、位相シフト膜を含む標本観察装置を提供する。
本発明の第１４の態様は、第１の態様乃至第１０の態様のいずれか１つに記載の標本観察装置において、さらに、標本を励起光で輪帯照明する輪帯照明手段を含み、輪帯照明手段は、中間像形成手段に含まれる対物レンズの瞳位置と共役な位置近傍に配置される標本観察装置を提供する。
【００４７】
本発明の第１５の態様は、第１４の態様に記載の標本観察装置において、さらに、標本と中間像形成手段の間に、標本の周りの媒質の屈折率より高い屈折率を有する透明物体を含み、輪帯照明手段は、標本と透明物体との界面に入射した励起光の９０パーセント以上が全反射するような角度で励起光が界面に入射するように、励起光の一部を遮断する標本観察装置を提供する。
【００４８】
本発明の第１６の態様は、第１の態様乃至第８の態様のいずれか１つに記載の標本観察装置において、共焦点変調手段は、周期的に配列されたピンホール状の開口を有するマスクである標本観察装置を提供する。
【００４９】
本発明の第１７の態様は、第１６の態様に記載の標本観察装置において、ピンホール状の開口の径は、中間像形成手段のカットオフ周波数により規定される周期の半分以上である標本観察装置を提供する。
【００５０】
本発明の第１８の態様は、第１６の態様に記載の標本観察装置において、周期的に配列されたピンホール状の開口の周期は、中間像形成手段のカットオフ周波数により規定される周期よりも長い標本観察装置を提供する。
【００５１】
本発明の第１９の態様は、第１８の態様に記載の標本観察装置において、ピンホール状の開口の周期は、ピンホール状の開口の径の３倍以上である標本観察装置を提供する。
本発明の第２０の態様は、第１６の態様乃至第１９の態様のいずれか１つに記載の標本観察装置において、さらに、励起光生成手段と共焦点変調手段の間に、ピンホール状の開口に集光位置を一致させたマイクロレンズアレイを含み、変調駆動手段は、マイクロレンズアレイとマスクを、マイクロレンズアレイとマスクの相対的な位置関係を変えずに、移動させる標本観察装置を提供する。
【００５２】
本発明の第２１の態様は、第１６の態様乃至第１８の態様のいずれか１つに記載の標本観察装置において、さらに、標本を励起光で輪帯照明する輪帯照明手段を含み、輪帯照明手段は、中間像形成手段に含まれる対物レンズの瞳位置と共役な位置近傍に配置される標本観察装置を提供する。
【００５３】
本発明の第２２の態様は、第２１の態様に記載の標本観察装置において、さらに、標本と中間像形成手段の間に、標本の周りの媒質の屈折率より高い屈折率を有する透明物体を含み、輪帯照明手段は、標本と透明物体との界面に入射した励起光の９０パーセント以上が全反射するような角度で励起光が界面に入射するように、励起光の一部を遮断する標本観察装置を提供する。
【００５４】
本発明の第２３の態様は、第１の態様乃至第２２の態様のいずれか１つに記載の標本観察装置において、共焦点変調手段は、周期的なパターンを有する回転ディスクであり、変調駆動手段は、回転ディスクを回転させるモータである標本観察装置を提供する。
【００５５】
本発明の第２４の態様は、第１の態様乃至第２２の態様のいずれか１つに記載の標本観察装置において、共焦点変調手段は、周期的なパターンを有するプレートであり、変調駆動手段は、プレートを振動させる振動子である標本観察装置を提供する。
【００５６】
本発明の第２５の態様は、第１の態様乃至第２２の態様のいずれか１つに記載の標本観察装置において、共焦点変調手段は、周期的なパターンを有する回転ドラムであり、変調駆動手段は、ドラムを回転させるモータである標本観察装置を提供する。
【００５７】
本発明の第２６の態様は、第１の態様乃至第２５の態様のいずれか１つに記載の標本観察装置において、変調パターンの異なる複数の共焦点変調手段を含み、複数の共焦点変調手段から任意の共焦点変調手段を選択して光路上に挿入する標本観察装置を提供する。
【００５８】
本発明の第２７の態様は、第１の態様乃至第２２の態様のいずれか１つに記載の標本観察装置において、共焦点変調手段は、空間光変調器であり、変調駆動手段は、空間光変調器を駆動する駆動回路である標本観察装置を提供する。
【００５９】
本発明の第２８の態様は、第２７の態様に記載の標本観察装置において、空間光変調器は、ＤＭＤである標本観察装置を提供する。
本発明の第２９の態様は、第２７の態様に記載の標本観察装置において、空間光変調器は、ＬＣＯＳである標本観察装置を提供する。
【００６０】
本発明の第３０の態様は、第１の態様乃至第２９の態様のいずれか１つに記載の標本観察装置において、中間像形成手段は、投影倍率が可変である標本観察装置を提供する。
本発明の第３１の態様は、第１の態様乃至第３０の態様のいずれか１つに記載の標本観察装置において、像リレー手段は、リレー倍率が可変である標本観察装置を提供する。
【００６１】
本発明の第３２の態様は、第１の態様乃至第３１の態様のいずれか１つに記載の標本観察装置において、高周波強調処理は、デジタル画像データ自体から、デジタル画像データにローパスフィルタを作用させた擬似広視野画像を差し引く処理である標本観察装置を提供する。
【００６２】
本発明の第３３の態様は、第３２の態様に記載の標本観察装置において、擬似広視野画像は、核行列を用いたコンボリューション処理により生成される標本観察装置を提供する。
【００６３】
本発明の第３４の態様は、第３２の態様に記載の標本観察装置において、高周波強調処理は、核行列を用いたコンボリューション処理である標本観察装置を提供する。
本発明の第３５の態様は、第３３の態様または第３４の態様に記載の標本観察装置において、コンボリューション処理は、ＧＰＵを用いて行われる標本観察装置を提供する。
【００６４】
本発明の第３６の態様は、第３３の態様または第３４の態様に記載の標本観察装置において、コンボリューション処理は、ＦＰＤＡを用いて行われる標本観察装置を提供する。
本発明の第３７の態様は、第１の態様乃至第３１の態様のいずれか１つに記載の標本観察装置において、高周波強調処理は、デジタル画像データから、共焦点変調手段を作用させずに撮像した標本の広視野画像を差し引く処理である標本観察装置を提供する。
【発明の効果】
【００６５】
本発明によれば、超解像成分の視認性が高い超解像画像を、高い時間分解能で生成する技術を提供することができる。
【図面の簡単な説明】
【００６６】
【図１】本発明の各実施例に係る標本撮像装置の基本構成を例示した図である。
【図２Ａ】図１に例示される標本撮像装置に含まれる共焦点変調手段による変調後の中間像の点像分布関数の周波数特性を例示した図である。
【図２Ｂ】図１に例示される標本撮像装置に含まれる画像処理手段による高周波強調処理について説明するための図である。
【図３Ａ】図１に例示される標本撮像装置に含まれる共焦点変調手段の変調パターンの構成を例示した図である。
【図３Ｂ】図３Ａに例示される変調パターンの周波数特性を例示した図である。
【図３Ｃ】図３Ａに例示される変調パターンの周波数特性と結像光学系の点像分布関数の周波数特性の関係を例示した図である。
【図４Ａ】図１に例示される標本撮像装置に含まれる共焦点変調手段の変調パターンの他の構成を例示した図である。
【図４Ｂ】図４Ａに例示される変調パターンの周波数特性とコヒーレント照明に対する結像光学系の伝達関数を例示した図である。
【図５】図１に例示される標本撮像装置に含まれる共焦点変調手段の変調パターンのさらに他の構成を例示した図である。
【図６Ａ】実施例１に係る蛍光顕微鏡の構成を例示した図である。
【図６Ｂ】図６Ａに例示される蛍光顕微鏡に含まれるマスクのマスクパターンについて説明するための図である。
【図６Ｃ】図６Ｂに例示されるマスクのマスクパターンの詳細について説明するための図である。
【図７】図６Ａに例示される蛍光顕微鏡に含まれるマスクのマスクパターンの変形例について説明するための図である。
【図８Ａ】実施例２に係る全反射蛍光顕微鏡の構成を例示した図である。
【図８Ｂ】図８Ａに例示される全反射蛍光顕微鏡に含まれる同心円ダイクロイックフィルタの構成について説明するための図である。
【図９Ａ】実施例３に係る蛍光顕微鏡の構成を例示した図である。
【図９Ｂ】図９Ａに例示される蛍光顕微鏡に含まれる共焦点マスクのマスクパターンについて説明するための図である。
【図１０Ａ】実施例４に係る蛍光顕微鏡の構成を例示した図である
【図１０Ｂ】図１０Ａに例示される蛍光顕微鏡に含まれるマスクのマスクパターンについて説明するための図である。
【図１１Ａ】結像光学系の結像特性について説明するための図である。
【図１１Ｂ】結像光学系の結像特性について説明するための図である。
【図１２Ａ】蛍光色素の分布関数と点像分布関数の周波数特性について例示した図である。
【図１２Ｂ】図１２Ａで示される特性を有する蛍光標本及び結像光学系により得られる標本画像の周波数特性を例示した図である。
【図１３Ａ】正弦波状の照明パターンにより生じる標本面上での各次数の回折光成分と点像分布関数の周波数特性について例示した図である。
【図１３Ｂ】正弦波状の照明パターンにより生じる結像面上での各次数の回折光成分の周波数特性を例示した図である。
【図１４】原点シフト後の各次数の回折光成分の周波数特性を例示した図である
【図１５】SIM回復画像の点像分布関数の周波数特性を例示した図である。
【発明を実施するための形態】
【００６７】
図１は、本発明の各実施例に係る標本撮像装置の基本構成を例示した図である。まず、図１を参照しながら、本発明の各実施例に係る標本撮像装置の基本構成について説明する。
【００６８】
図１に例示される標本観察装置は、蛍光標本である標本Ｓを観察するための蛍光顕微鏡１である。蛍光顕微鏡１は、標本Ｓを励起するための励起光を生成する励起光生成手段である光源２と、励起光を標本Ｓに投影すると共に、標本Ｓに励起光が照射されて生じた観察光から標本Ｓの中間像を中間像位置に形成する中間像形成手段である結像光学系３と、中間像位置で励起光および中間像の空間強度分布を変調する共焦点変調手段であるスキャンマスク４と、スキャンマスク４が有する変調パターンを中間像に対して相対的に移動させる変調駆動手段であるモータ５と、その空間強度分布が変調された中間像を撮像面上にリレーする像リレー手段である撮像レンズ６と、撮像面上にリレーされた中間像の空間強度分布をデジタル画像データに変換する撮像手段である撮像素子７と、デジタル画像データに対して画像処理を行う画像処理手段である計算機８と、を含んでいる。
【００６９】
結像光学系３は、対物レンズＯＢと結像レンズＴＬを含んでいる。スキャンマスク４は、モータ５により回転する回転ディスクとして形成されている。計算機８は、内部にＧＰＵ８ａまたはＦＰＧＡ８ｂを含んでいる。照明光路と観察光路が交差する位置には、ハーフミラーＨＭが配置されている。光源２とハーフミラーＨＭの間には、照明レンズ９が配置されている。なお、結像光学系３と撮像レンズ６は、それぞれ投影倍率、リレー倍率が可変であってもよい。
【００７０】
スキャンマスク４が有する変調パターンは、周期的なパターンである。スキャンマスク４がモータ５の駆動により回転することで、スキャンマスク４が有する変調パターンは、中間像位置に対して相対的に移動する。
【００７１】
撮像レンズ６のカットオフ周波数は、結像光学系３のカットオフ周波数fcを上回り、撮像素子７のナイキスト周波数は、結像光学系３のカットオフ周波数fcを上回っている。なお、本明細書における結像光学系３のカットオフ周波数、撮像レンズ６のカットオフ周波数、撮像素子７のナイキスト周波数の比較は、標本Ｓの中間像位置への投影倍率と標本Ｓの撮像面への投影倍率を考慮して規格化された周波数により行われる点に留意する。
【００７２】
計算機８は、撮像素子７で取得されるデジタル画像データに対して、結像光学系３のカットオフ周波数fcを上回る高周波成分を強調する処理（以降、高周波強調処理と記す。）を行うように構成されている。
【００７３】
このように構成された蛍光顕微鏡１によれば、撮像素子７で取得されるデジタル画像データ（以降、原画像と記す。）に超解像成分を記録することができる。これは、共焦点変調手段であるスキャンマスク４が、回転により変調パターンを時々刻々と変化させながら、励起光の空間強度分布を変調することに加えて、標本Ｓから生じる観察光（中間像）の空間強度分布を復調することによって実現される。
【００７４】
具体的には、まず、スキャンマスク４が励起光の空間強度分布を変調することによって、広視野観察において標本Ｓで生じる観察光の周波数成分のうち結像光学系３のカットオフ周波数fcを上回る高周波成分の一部が、カットオフ周波数fc以下の周波数にシフトして、結像光学系３により中間像位置に伝達される。その後、スキャンマスク４が中間像の空間強度分布を復調することにより、カットオフ周波数fc以下の周波数にシフトした成分が元の高周波成分に復元されて、撮像レンズ６により撮像面に伝達されて、撮像素子７によりデジタル画像データに変換される。このため、超解像成分を原画像に記録することができる。
【００７５】
また、蛍光顕微鏡１によれば、計算機８で高周波強調処理を実施して原画像の超解像成分を強調することにより、広視野観察ではデジタル画像データに反映されることのなかった超解像成分が可視化された超解像画像を生成することができる。
【００７６】
なお、蛍光顕微鏡１では、超解像画像を生成するために、撮像素子７で複数枚の原画像を取得する必要はない。また、後述するように、計算機８で行われる高周波強調処理は、要求される計算量が少ないため、高速な画像処理が可能である。
【００７７】
従って、蛍光顕微鏡１は、超解像画像を高い時間分解能で生成することができる。このため、標本をリアルタイムで観察することができる。また、比較的速く動く標本を観察する場合であっても、画質が劣化することないため、好適である。
【００７８】
原画像に超解像成分を記録することができることについて、数式を用いて、詳細に説明する。
まず、スキャンマスク４が、周期的パターンを形成し得る式（１１）で示される透過率分布Mを有する場合を考える。ここで、fn = n/pは変調パターンの固有周波数であり、pは変調パターンのピッチであり、nは周波数展開の次数であり、x0は変調パターンの原点座標である。
【００７９】
【数９】
【００８０】
スキャンマスク４の標本面への投影により、照明縞の各周波数成分がcn倍に減衰すると仮定すると、標本面上での照明光の光強度分布Illは、式（１２）で示され、式（１２）をフーリエ変換して周波数特性を示す式に変形すると、式（１３）が導出される。なお、ここで、インコヒーレント照明では、おおよそ
の関係が成り立つ。
【００８１】
【数１０】
【００８２】
従って、結像光学系３により形成される中間像の光強度分布Iは、式（６）と式（１３）を用いて、式（１４）のように導出される。
【００８３】
【数１１】
【００８４】
さらに、スキャンマスク４を通過したスキャンマスク４による変調後の中間像の光強度分布I’は、変調前の中間像の光強度分布Iとスキャンマスク４の透過率分布Mの積で表されるので、以下の式（１５）で示される。
【００８５】
【数１２】
【００８６】
撮像素子による１枚の画像取得のための露出時間の間に、スキャンマスク４が有する変調パターンが中間像に対して変調パターンの１周期pだけ移動すると、その期間に得られる変調後の中間像の光強度分布IIntは、式（１５）を１周期pで積分することで算出される。
【００８７】
積分すると、
、つまりn = -n'の関係を満たす成分のみが残るため、変調後の中間像の光強度分布IIntは、式（１６）で示され、式（１６）をフーリエ変換して周波数特性を示す式に変形すると、式（１７）が導出される。
【００８８】
【数１３】
【００８９】
式（１７）に示されるように、変調後の中間像の光強度分布IIntは、蛍光色素の分布関数Objを有する標本Ｓを、点像分布関数PSFIntを有する仮想的な光学系を用いて、結像した場合に得られる光強度分布としてみなすことができる。即ち、変調後の中間像の点像分布関数は、点像分布関数PSFIntである。
【００９０】
図２Ａは、共焦点変調手段による変調後の中間像の点像分布関数を例示した図である。
図２Ａに例示されるように、変調後の中間像の点像分布関数PSFIntを構成する各成分
の周波数は、それぞれ結像光学系の点像分布関数PSFの周波数に対して周波数fnだけシフトして分布している。このため、各成分の総和である点像分布関数PSFIntは、結像光学系の点像分布関数PSFより広い周波数帯域を有すことになる。従って、変調後の中間像のカットオフ周波数は、結像光学系のカットオフ周波数fcよりも高くなる。このため、蛍光顕微鏡１によれば、原画像に結像光学系のカットオフ周波数fcを超える周波数の超解像成分を記録することができる。
【００９１】
なお、スキャンマスク４による変調後の中間像は、さらに、撮像レンズ６により撮像面にリレーされて撮像素子７により撮像される。このため、原画像が超解像成分を有するか否かは、実際には、撮像レンズ６のカットオフ周波数と撮像素子７のナイキスト周波数が関係する。
【００９２】
蛍光顕微鏡１では、上述したように、撮像レンズ６のカットオフ周波数及び撮像素子７のナイキスト周波数が結像光学系３のカットオフ周波数fcを上回っている。このため、撮像レンズ６及び撮像素子７はカットオフ周波数fcを上回る超解像成分を伝達することが可能であり、原画像に結像光学系のカットオフ周波数fcを超える周波数の超解像成分を記録することができる。
【００９３】
撮像レンズ６のカットオフ周波数は、結像光学系３のカットオフ周波数fcの約１．５倍以上であることが望ましい。これにより、撮像面上に結像光学系のカットオフ周波数fcの約１．５倍以上の周波数の超解像成分を結像することができるからである。また、撮像素子７のナイキスト周波数は、結像光学系３のカットオフ周波数fcの約１．５倍以上であることが望ましい。これにより、原画像に結像光学系３のカットオフ周波数fcの約１．５倍以上の周波数の超解像成分を記録することができるからである。さらに、撮像素子７のナイキスト周波数は、結像光学系３のカットオフ周波数fcの約４倍以下であることがより望ましい。ナイキスト周波数を大きくすると画素サイズが低下するため、一般に、光量損失やノイズが大きくなる。超解像成分の上限周波数は理論上カットオフ周波数fcの２倍であるので、ナイキスト周波数をその２倍（計４倍）以下にすることで、無駄な光量損失やノイズを抑えることができるからである。
【００９４】
また、以上では、撮像素子による１枚の画像取得のための露出時間が、変調パターンが中間像に対して１周期pだけ移動する時間である場合を例示したが、特にこれに限られない。撮像素子による１枚の画像取得のための露出時間が、変調パターンが中間像に対して１周期p以上移動する時間であれば、原画像において変調パターンの透過率分布に起因する明るさムラが目立たなくなる。また、撮像素子による１枚の画像取得のための露出時間が、変調パターンが中間像に対して１周期p移動する時間の整数倍であれば、原画像において変調パターンの透過率分布に起因する明るさムラを完全に排除できる。また、変調駆動手段であるモータ５は、露出時間をある程度自由に設定することを可能とするために、撮像素子７による１枚の画像取得のための露出時間に応じて、変調パターンの移動速度を調整してもよい。
【００９５】
次に、原画像から超解像成分が可視化し得る超解像画像を生成する方法について、詳細に説明する。以降では、説明を簡略化するため、スキャンマスク４による変調後の中間像の点像分布関数PSFIntを原画像の点像分布関数とみなして説明する。
【００９６】
上述したように、蛍光顕微鏡１によれば、原画像に結像光学系のカットオフ周波数fcを超える周波数の超解像成分を記録することができる。つまり、蛍光顕微鏡１では、SIMにおいて画像処理として行われる各回折光成分を算出して原点シフトを行う復調処理が、蛍光顕微鏡１の光学系により自動的に行われる。しかしながら、原画像の点像分布関数は、図２Ａに例示されるように、結像光学系のカットオフ周波数fcよりも高い周波数を弱いコントラストでしか伝達できない。従って、そのままでは原画像に記録される超解像成分を十分に視認することができない。
【００９７】
そこで、蛍光顕微鏡１では、計算機８により高周波強調処理を行う。具体的には、図２Ｂに例示されるように、結像光学系のカットオフ周波数fcを上回る高周波成分を低周波成分に対して相対的に強調する。これにより、超解像成分を可視化し得る超解像画像を生成することができる。
【００９８】
高周波強調処理の具体例について説明する。
以下の行列A,Bは、それぞれ3x3、5x5のシャープフィルタを例示している。
【００９９】
【数１４】
【０１００】
高周波成分を強調するシャープフィルタは、画像処理の分野において、広く一般的に用いられているものである。高周波強調処理は、行列A,Bで示されるようなシャープフィルタを核行列として用いたコンボリューション処理であってもよい。
【０１０１】
以下の行列Cは、3x3のローパスフィルタを例示している。
【数１５】
【０１０２】
原画像から低周波画像を差し引くことによっても、相対的に高周波成分が強調される。このため、高周波強調処理は、原画像から、原画像に行列Cで示されるようなローパスフィルタを作用させた画像（以降、擬似広視野画像）を差し引く処理であってもよい。また、擬似広視野画像は、ローパスフィルタを核行列として用いたコンボリューション処理により生成されてもよい。また、擬似広視野画像を生成して原画像から差し引く処理を、所定の核行列を用いた１回のコンボリューション処理として実施してもよい。
【０１０３】
なお、上記のコンボリューション処理は、高速に処理するために、計算機８に含まれるＧＰＵ８ａまたはＦＰＧＡ８ｂを用いて行われることが望ましい。これにより、超解像画像をリアルタイムでモニタ等に表示することが可能となる。
【０１０４】
また、高周波強調処理は、擬似広視野画像の代わりに、広視野画像を原画像から差し引く処理であってもよい。広視野画像は、スキャンマスク４による変調を励起光と観察光のいずれに対しても行うことなく取得された画像、即ち、スキャンマスク４を作用させずに撮像した画像であり、結像光学系３のカットオフ周波数fc以上の周波数の情報は、広視野画像には含まれない。このため、広視野画像に適当な係数を乗じて原画像から差し引くことにより、相対的に高周波成分を強調することができる。さらに、デフォーカス成分が減衰するように係数を設定することで、光学セクショニング像を得ることも可能である。
【０１０５】
高周波強調処理の代表的な例としては、上述したような、シャープフィルタを用いる処理、ローパスフィルタを作用させた画像を原画像から指し引く処理、さらに、広視野画像を原画像から差し引く処理などがあるが、特にこれらに限られない。他の方法により、高周波成分が強調されてもよい。
【０１０６】
次に、スキャンマスク４のマスクパターンの具体例について説明する。なお、マスクパターンは、スキャンマスク４が共焦点変調手段として機能する場合、スキャンマスク４が有する変調パターンとして機能する。
【０１０７】
図３Ａは、図１に例示される標本撮像装置に含まれる共焦点変調手段の変調パターンの構成を例示した図である。図３Ｂは、図３Ａに例示される変調パターンの周波数特性を例示した図である。図３Ｃは、図３Ａに例示される変調パターンの周波数特性と結像光学系の点像分布関数の周波数特性の関係を例示した図である。
【０１０８】
共焦点変調手段であるスキャンマスク４は、図３Ａに例示されるような、遮蔽部１０ａと周期的に配列されたスリット状の開口部１０ｂを有するマスク１０であってもよく、いわゆる、ラインアンドスペース構造を有するマスクパターンを有してもよい。これにより、スリットの短手方向に超解像性を与えることが可能となる。なお、スリットの短手方向はマスク１０の回転により任意の方向に変化するため、露出時間内のスキャンマスクの回転量を調整することで任意の方向に超解像性を与えることができる。
【０１０９】
図３Ａに例示されるように、遮蔽部１０ａ間に形成される開口幅wの開口部１０ｂが開口周期pで周期的に形成されている場合、マスク１０のマスクパターンM(x)は、以下の式（１８）で示される。マスク１０のマスクパターンの周波数特性は、図３Ｂに例示されていて、式（１８）をフーリエ変換した式（１９）で表される。ここで、rect(x)は、式（２０）で定義され、フーリエ変換すると式（２１）で表される。また、Δp(x)は、式（２２）で定義され、フーリエ変換すると式（２３）で表される。
【０１１０】
【数１６】
【０１１１】
式（１９）及び図３Ｂで示されるように、マスクパターンの周波数特性は、０次回折光成分に対して±n/pだけシフトした周波数に±n次の回折光成分を含んでいる。このため、照明光が結像光学系３のカットオフ周波数fc近傍で強い回折光成分を含むためには、開口幅wと結像光学系３のカットオフ周波数fcはw<<1/fcの関係を満たすことが望ましい。しかしながら、開口幅wが結像光学系３のカットオフ周波数fcにより規定される周期の半分1/(2fc)より小さくなると、共焦点効果による光量損失が著しく増加するため、S/N比が劣化してしまう。従って、開口幅wは、結像光学系３のカットオフ周波数fcにより規定される周期の半分1/(2fc)以上であることが望ましく、特に、周期1/(2fc)程度であることが望ましい。
【０１１２】
また、図３Ｃに例示されるように、±１次回折光成分が結像光学系３により伝達されて、標本Ｓ上に縞パターン（マスクパターン）が形成されるためには、開口周期pと結像光学系３のカットオフ周波数fcはp>1/fcの関係を満たす必要がある。換言すると、開口周期pは結像光学系３のカットオフ周波数fcにより規定される周期1/fcよりも長いことが必要である。しかしながら、開口周期pはマスクパターンの開口効率に反比例するため、開口周期pを大きくしすぎると照明効率が低下することになり、好ましくない。従って、照明効率を重視するアプリケーションでは、開口周期pは結像光学系３のカットオフ周波数fcにより規定される周期1/fcの２倍弱程度であることが望ましい。一方、p>>1/fcの関係を満たすと、光学セクショニング効果が加わるため、光学セクショニング効果が要求される特定のアプリケーションでは、開口周期pは結像光学系３のカットオフ周波数fcにより規定される周期1/fcの１０倍以上であることが望ましい。また、開口周期pは結像光学系３のカットオフ周波数fcにより規定される周期1/fcの１０倍以上であり２０倍以下であることがさらに望ましい。
【０１１３】
なお、図３Ａに例示されるような遮蔽部１０ａを含むマスク１０を共焦点変調手段として用いる場合には、光源２とマスク１０（スキャンマスク４）の間に、開口部１０ｂに集光位置を一致させたシリンドリカルレンズを含むことが望ましい。また、モータ５は、シリンドリカルレンズとマスク１０を、それらの相対的な位置関係を変化させることなく、移動させるように構成されていることが望ましい。これにより、遮蔽部１０ａに入射することにより生じる励起光の光量損失を抑制し、標本Ｓにより多くの励起光を照射することができる。
【０１１４】
図４Ａは、図１に例示される標本撮像装置に含まれる共焦点変調手段の変調パターンの他の構成を例示した図である。図４Ｂは、図４Ａに例示される変調パターンの周波数特性とコヒーレント照明に対する結像光学系の伝達関数を例示した図である。
【０１１５】
図４Ａに例示されるマスク１１は、遮蔽部１０ａの代わりに位相シフト膜部１１ａを含む点が図３Ａに例示されるマスク１０と異なっている。位相シフト膜部１１ａは、強度透過率が６％程度で開口部１１ｂとの透過位相差が使用波長の１／２程度となる蒸着膜を、マスク基板に形成したものである。
【０１１６】
位相シフト膜部１１ａを含むマスク１１を共焦点変調手段として用いる場合、レーザなどのコヒーレント性の高い光源を用いることにより、または、マスク１１を照明する開口数を小さくすることにより、位相シフト膜部１１ａを透過した光と開口部１１ｂを透過した光を互いに干渉させることができる。これにより、図４Ｂに例示されるように、マスクパターンで発生した各回折光成分において、０次回折光成分の強度を弱め、結像光学系３のカットオフ周波数fc近傍の周波数成分の強度を相対的に高くして、標本Ｓ上に形成される縞パターンのコントラストを高くすることができる。
【０１１７】
一方、コヒーレント照明に対して結像光学系３が示すカットオフ周波数は、インコヒーレント照明に対して結像光学系３が示すカットオフ周波数fcの半分（fc/2）となるが、標本の励起強度の空間周波数に換算するとその２倍の周波数fcに等しい。また、コヒーレント照明に対する結像光学系３の点像分布関数は、カットオフ周波数（fc/2）以下の周波数成分を、コントラスト１で伝達する特性を有している。従って、コヒーレント照明によれば、強度に換算してインコヒーレント照明に比べて、高いコントラストで標本Ｓ上に縞パターンを投影することができる。
【０１１８】
特に、開口周期pと開口幅wがp=2wの関係を満たすマスク１１では、開口周期pとカットオフ周波数fcが1/p>fc/2の関係を満たす場合には、図４Ｂに例示されるように、±１次回折光成分が結像光学系３によりほぼ１００％標本上に伝達される。このため、高いコントラストで標本Ｓ上に縞パターンを投影することができる。従って、中間像の形成に寄与する高周波成分の割合が増加するため、計算機８による高周波成分の強調の程度を小さくすることが可能となり、画像処理によるノイズの発生を抑制することができる。
【０１１９】
図５は、図１に例示される標本撮像装置に含まれる共焦点変調手段の変調パターンのさらに他の構成を例示した図である。
図５に例示されるように、共焦点変調手段であるスキャンマスク４は、遮蔽部１２ａと周期的に配列されたピンホール状の開口部１２ｂを有するマスク１２であってもよく、いわゆる、２次元格子構造を有するマスクパターンを有してもよい。これにより、図５に例示されるＸＹ平面上で等方的に超解像性を与えることが可能となる。より具体的には、図５に例示されるように、Ｘ方向に隣り合う開口部１２ｂのＹ方向の位置を異ならせることによって、マスク１２をＸ方向にのみ移動させるだけで、ＸＹ平面上で等方的に超解像性を与えることが可能となる。
【０１２０】
また、図５に例示される２次元格子構造を有するマスクパターンでは、開口部１２ｂのＸ方向の開口幅wxとＸ方向の開口周期pxの関係、及び、Ｙ方向の開口幅wyとＹ方向の開口周期pyの関係は、それぞれ図３Ａに例示されるラインアンドスペース構造を有するマスクパターンの開口部１０ｂの開口幅wと開口周期pの関係と同様である。従って、マスク１０の場合と同様の理由から、開口部１２ｂの径（開口幅wx及び開口幅wy）は、結像光学系３のカットオフ周波数により規定される周期の半分1/(2fc)以上であることが望ましく、特に、周期1/(2fc)程度であることが望ましい。また、同じく、マスク１０の場合と同様の理由から、開口周期px及び開口周期pyは結像光学系３のカットオフ周波数により規定される周期1/fcよりも長いことが必要であり、照明効率を重視するアプリケーションでは、開口周期px及び開口周期pyはカットオフ周波数fcにより規定される周期1/fcの２倍弱程度であることが望ましい。ただし、光学セクショニング効果が要求される特定のアプリケーションでは、開口周期px及び開口周期pyはカットオフ周波数fcにより規定される周期1/fcの３倍以上であることが望ましい。
【０１２１】
なお、図５では、開口部１２ｂの形状として、正方形を例示したが、特にこれに限られない。例えば、開口部１２ｂの形状は円形であってもよい。また、マスク１２は、遮蔽部１２ａの代わりに、図４Ａに例示されるような位相シフト膜部を含んでもよい。また、光源２とマスク１２の間に、開口部１２ｂに集光位置を一致させたマイクロレンズアレイを含んでもよく、モータ５は、マイクロレンズアレイとマスク１２を、それらの相対的な位置関係を変化させることなく、移動させるように構成されていてもよい。
【０１２２】
図１では、共焦点変調手段として機能するマスクが、回転ディスクに形成される例を示したが、特にこれに限らない。例えば、共焦点変調手段として機能するマスクは、回転ディスクの代わりに回転ドラムに形成されてもよい。また、モータの代わりに振動子を配置し、マスクを振動子により振動するプレートに形成してもよい。
【０１２３】
一般に、モータにより回転する回転ディスクまたは回転ドラムにマスクを形成する場合、変調パターンの周期pの移動に要する時間が短時間で済むため、撮像素子７による原画像の生成を高速に行うことができる点で好ましい。一方、振動子により振動するプレートにマスクを形成する場合、共焦点変調手段と変調駆動手段をコンパクトに構成できる点で好ましい。
【０１２４】
さらに、蛍光顕微鏡１は、予め変調パターンの異なる複数のマスクを含み、複数のマスクから任意のマスクを選択して光路上に挿入し得るように構成されてもよい。例えば、マスクが回転ディスク等の上に交換可能に配置されてもよい。これにより、励起光の波長や中間像位置への投影倍率などの変更による結像光学系３のカットオフ周波数の変化に合わせて、超解像性を最適化することができる。
【０１２５】
また、共焦点変調手段として、マスクの代わりに空間光変調器を用いても良い。この場合、変調駆動手段としては、モータの代わりに、空間光変調器を駆動する駆動回路が用いられる。空間光変調器を共焦点変調手段として用いることで、任意の変調パターンを形成することができるため、励起光の波長や中間像位置への投影倍率などの変更などに合わせて変調パターンを最適化することができる。なお、空間光変調器は、ＤＭＤであっても、ＬＣＯＳであってもよい。空間光変調器がＤＭＤであれば、変調パターンをより高速に変更することができる。一方、空間光変調器がＬＣＯＳであれば、励起光を位相変調することも可能となる。
【０１２６】
以下、各実施例について、具体的に説明する。
【実施例１】
【０１２７】
図６Ａは、本実施例に係る蛍光顕微鏡の構成を例示した図である。図６Ｂは、図６Ａに例示される蛍光顕微鏡に含まれるマスクのマスクパターンについて説明するための図である。図６Ｃは、図６Ｂに例示されるマスクのマスクパターンの詳細について説明するための図である。
【０１２８】
図６Ａに例示される蛍光顕微鏡２０は、標本観察装置であり、標本Ｓを励起するための励起光を生成する水銀ランプ２１と、励起光を標本Ｓに投影すると共に、標本Ｓに励起光が照射されて生じた観察光から標本Ｓの中間像を中間像位置に形成する結像光学系２２と、中間像位置で励起光および中間像の空間強度分布を変調する、回転ディスクとして形成されたマスク２３と、マスク２３が有する変調パターンを中間像に対して相対的に移動させるモータ２４と、空間強度分布が変調された中間像を撮像面上にリレーする撮像レンズ２５と、撮像面上にリレーされた中間像の空間強度分布をデジタル画像データに変換する冷却ＣＣＤ２６と、デジタル画像データに対して画像処理を行う計算機２７と、を含んでいる。
【０１２９】
回転ディスクは、溶融石英または透明ガラスでできており、その片方の面には、図６Ｂに例示されるように、周期的なパターンを有している。これにより、回転ディスクは、空間強度分布を変調するマスク２３として機能する。マスク２３は、図６Ｃに例示されるように、回転ディスク上の低反射クロムコートをエッチングすることによって形成された、遮蔽部３４と開口幅ｗの開口部３５からなる開口周期ｐのラインアンドスペースパターンを有する。但し、そのライン方向が回転ディスクの回転方向に一致しない様に、マスク２３は、図６Ｂに例示されるように、ライン方向の異なる第１の領域３２と第２の領域３３を含んでいる。
【０１３０】
蛍光顕微鏡２０は、さらに、照明レンズ２８と、励起フィルタ２９、阻止フィルタ３０、及びダイクロイックミラーＤＭからなる蛍光キューブと、を含んでいる。また、結像光学系２２は、対物レンズＯＢと結像レンズＴＬを含んでいる。
【０１３１】
結像光学系２２の分解能は、対物レンズＯＢの開口数をNAとし、結像に関与する波長をλとすると、λ/(2NA)である。従って、冷却ＣＣＤ２６上での結像光学系２２のカットオフ周波数fcは、結像光学系２２の投影倍率をMとし、撮像レンズ２５の投影倍率βとすると、fc=2NA/(λMβ)である。
【０１３２】
ここでは、撮像レンズ２５の投影倍率βは、冷却ＣＣＤ２６の画素ピッチΔで決まるナイキスト周波数1/(2Δ)が結像光学系２２のカットオフ周波数fcの２倍程度となるように設定されている。冷却ＣＣＤ２６の投影倍率βは、冷却ＣＣＤ２６のナイキスト周波数が結像光学系２２のカットオフ周波数fcを上回るように設定されていればよく、より好ましくは、カットオフ周波数fcの１．５倍以上、４倍未満であることが望ましい。
【０１３３】
また、撮像レンズ２５のカットオフ周波数も、結像光学系２２のカットオフ周波数を上回っている。
また、開口部３５の開口幅wは、およそ2Δ/βとなるように設定されている。蛍光顕微鏡２０では、1/(2Δ)=2fcの関係が成り立っているので、開口部３５の開口幅wは、およそ1/(2fcβ)である。すなわち、中間像位置での結像光学系２２のカットオフ周波数f’c(=fcβ)により規定される周期の半分程度であり、好ましい。
【０１３４】
また、パターン周波数(1/p)は、中間像位置での励起光波長に対する結像光学系２２のカットオフ周波数f’cよりも小さくなるように設定されている。即ち、パターンの周期pは中間像位置での励起光波長に対する結像光学系２２のカットオフ周波数f’cにより規定される周期1/f’cよりも長い。従って、マスクパターンに起因する空間強度分布を持った励起光を標本上に投影することが可能であり、好ましい。
【０１３５】
なお、結像レンズＴＬは、対物レンズＯＢや蛍光波長の変更に合わせて投影倍率Mを変更できるように、変倍光学系またはズーム光学系であることが望ましい。撮像レンズ２５も、対物レンズＯＢや蛍光波長の変更に合わせて投影倍率βを変更できるように、変倍光学系またはズーム光学系であることが望ましい。また、変調パターンの異なるマスクが、回転ディスクの上に交換可能に配置されてもよい。変調パターンの異なるマスクが形成された回転ディスク自体が交換可能に配置されてもよい。
【０１３６】
蛍光顕微鏡２０では、モータ２４のより回転ディスクを回転させながら、冷却ＣＣＤ２６により回転ディスクとして形成されたマスク２３のパターンを透過した標本Ｓの中間像を撮像する。露出時間は少なくともマスク２３のパターンがその周期pだけ移動する時間が必要であり、好ましくはマスク２３として機能する回転ディスクの1/2回転に要する時間以上である。露出時間は周期pだけ移動する時間の整数倍であってもよい。また、モータ２４は、回転速度が変更可能であることが望ましい。
【０１３７】
冷却ＣＣＤ２６で撮像した原画像は、計算機８にデジタル画像データとして送られ、そこで、高周波数強調のためのデジタル処理を受ける。具体的には、計算機２７は、冷却ＣＣＤ２６で生成されたデジタル画像データに対して、結像光学系２２のカットオフ周波数を上回る高周波成分を強調する。このデジタル処理には、好ましくはコンボリューションフィルタ、さらに好ましくは3x3以上の核を持つシャープフィルタ、更に好ましくは5x5以上の核を持つシャープフィルタが用いられる。なお、その他の方法で、高周波成分を強調してもよい。
【０１３８】
本実施例に係る蛍光顕微鏡２０によれば、超解像画像を高い時間分解能で生成することが可能であるため、リアルタイムに標本Ｓを観察することができる。
図７は、図６Ａに例示される蛍光顕微鏡に含まれるマスクのマスクパターンの変形例について説明するための図である。
【０１３９】
図７に例示されるマスク３６は、マスク２３の第１の領域３２または第２の領域３３に相当するラインパターン領域３７に加えて、遮蔽領域３８と開口領域３９を含む点が、マスク２３と異なっている。
【０１４０】
マスク２３の代わりにマスク３６を含む点のみが蛍光顕微鏡２０と異なる本変形例に係る蛍光顕微鏡では、光軸ＡＸ上にラインパターン領域３７があるときには、超解像成分を含む原画像（以降、共焦点画像と記す。）が取得され、光軸ＡＸ上に開口領域３９があるときには、広視野画像が取得される。光軸ＡＸ上に遮蔽領域３８があるときには、画像は取得されない。遮蔽領域３８は、共焦点画像が生成される期間と広視野画像が生成される期間を明確に区別するために設けられている。そして、計算機２７では、高周波数強調のためのデジタル処理として、取得された共焦点画像から広視野画像を差し引く処理が実施される。
【０１４１】
本変形例に係る蛍光顕微鏡によっても、本実施例に係る蛍光顕微鏡２０と同様に、超解像画像を高い時間分解能で生成することが可能であるため、リアルタイムに標本Ｓを観察することができる。
【０１４２】
また、本変形例に係る蛍光顕微鏡では、デフォーカス画像の強度がほぼゼロになるように、取得される共焦点画像と広視野画像の強度比を調整することで、光学的セクショニング効果も得られる。
また、本変形例に係る蛍光顕微鏡では、広視野画像と原画像が同じ冷却ＣＣＤ２６で取得されるため、画像間の位置合わせを行うことなく、高い精度で画像間の位置が一致した画像を取得することができる。また、広視野画像が取得される時刻と原画像が取得される時刻の時間差も極僅かであり、標本の移動に伴うアーティファクトの発生を抑えられる点において好適である。
【０１４３】
なお、中間像位置に変調手段を有する技術は、共焦点顕微鏡などで用いられていて、例えば、特表２００２−５３５７１６などで開示されている。しかしながら、本願の蛍光顕微鏡は、超解像成分を取得するために変調手段を用いる点で、共焦点効果を得るために変調手段を用いる従来の共焦点顕微鏡と大きく異なっている。
【実施例２】
【０１４４】
図８Ａは、本実施例に係る全反射蛍光（ＴＩＲＦ）顕微鏡の構成を例示した図である。図８Ｂは、図８Ａに例示される全反射蛍光顕微鏡に含まれる同心円ダイクロイックフィルタの構成について説明するための図である。
【０１４５】
図８Ａに例示される全反射蛍光顕微鏡４０は、標本観察装置であり、標本Ｓを励起するための励起光を生成するレーザ４１と、励起光を標本Ｓに投影すると共に、標本Ｓに励起光が照射されて生じた観察光から標本Ｓの中間像を中間像位置に形成する結像光学系４２と、中間像位置で励起光および中間像の空間強度分布を変調する、回転ディスクとして形成されたマスク４４と、マスク４４が有する変調パターンを中間像に対して相対的に移動させるモータ４５と、空間強度分布が変調された中間像を撮像面上にリレーする撮像レンズ４６と、撮像面上にリレーされた中間像の空間強度分布をデジタル画像データに変換するＥＭ−ＣＣＤ４７と、デジタル画像データに対して画像処理を行う計算機４８と、を含んでいる。なお、マスク４４は、周期的なパターンを有する回折格子である。
【０１４６】
全反射蛍光顕微鏡４０は、また、ビームエキスパンダ４９と、ダイクロイックミラーＤＭと、阻止フィルタ５０を含んでいる。結像光学系４２は、対物レンズＯＢと、ミラーＭＲと、対物レンズＯＢの瞳をリレーする瞳リレー光学系４３と、結像レンズＴＬとを含んでいる。
【０１４７】
全反射蛍光顕微鏡４０は、さらに、対物レンズＯＢの瞳位置と共役な位置近傍に、標本Ｓを励起光で輪帯照明する輪帯照明手段である同心円ダイクロイックフィルタ５１を含んでいる。同心円ダイクロイックフィルタ５１は、図８Ｂに例示されるように、励起光を遮蔽し、蛍光を透過する励起光阻止領域５１ａと、励起光及び蛍光を透過する透過領域５１ｂを含んでいる。励起光阻止領域５１ａは、瞳共役位置の中心部分を占めていて、透過領域５１ｂは、瞳共役位置の周辺部分を占めている。このため、対物レンズＯＢの瞳位置の中心部分に入射する励起光は、励起光阻止領域５１ａにより遮蔽されるのに対して、対物レンズＯＢの瞳位置の周辺部分に入射する励起光は、透過領域５１ｂを透過する。これにより、同心円ダイクロイックフィルタ５１により、輪帯照明が実現される。
【０１４８】
また、対物レンズＯＢは液浸対物レンズであり、標本Ｓを支持するスライドガラスＧと対物レンズＯＢとの間は、イマージョンオイルＩＭで満たされている。スライドガラスＧ及びイマージョンオイルＩＭは、標本Ｓの周りの媒質の屈折率より高い屈折率を有している。即ち、標本Ｓと結像光学系４２の間には、標本Ｓの周りの媒質の屈折率より高い屈折率を有する透明物体が含まれている。ここで、標本Ｓの周りの媒質としては、標本Ｓが培養細胞の場合であれば、例えば、水などが挙げられる。また、標本Ｓが固定標本の場合であれば、例えば、パラフィンなどが挙げられる。
【０１４９】
輪帯照明手段である同心円ダイクロイックフィルタ５１は、標本ＳとイマージョンオイルＩＭとの界面に入射した励起光の９０パーセント以上が全反射するような角度で励起光が界面に入射するように、励起光の一部を遮断する。即ち、励起光阻止領域５１ａと透過領域５１ｂの径が調整されている。これにより、同心円ダイクロイックフィルタ５１によりＴＩＲＦ照明が実現される。
【０１５０】
なお、その他の点については、実施例１に係る蛍光顕微鏡２０と同様である。例えば、結像光学系４２のカットオフ周波数、撮像レンズ４６のカットオフ周波数、ＥＭ−ＣＣＤ４７のナイキスト周波数、マスク４４からなる回折格子のパターンの開口幅w及び開口周期ｐは、実施例１に係る蛍光顕微鏡２０と同様の特徴を有している。
【０１５１】
全反射蛍光顕微鏡４０では、レーザ４１が生成した励起光は、ビームエキスパンダ４９によりビーム径が拡大された後、マスク４４からなる回折格子により、複数の回折光成分に分割される。対物レンズＯＢの瞳共役位置近傍に配置された同心円ダイクロイックフィルタ５１により、スライドガラスＧと標本Ｓの界面に入射する励起光の角度が制限されるため、標本Ｓに照射される励起光は、スライドガラスＧと標本Ｓの界面で励起光の９０パーセント以上が全反射するＴＩＲＦ照明光となる。このため、全反射蛍光顕微鏡４０では、スライドガラスＧ近傍のエバネッセント領域にある標本が励起される。
【０１５２】
蛍光は、同心円ダイクロイックフィルタ５１で遮蔽されないため、実施例１に係る蛍光顕微鏡２０と同様に、共焦点変調手段（マスク４４）により復調されて、超解像成分を含む原画像がＥＭ−ＣＣＤ４７で取得される。さらに、計算機４８では、高周波強調処理が実施される。
【０１５３】
従って、本実施例に係る蛍光顕微鏡４０によれば、実施例１に係る蛍光顕微鏡２０と同様に、超解像画像を高い時間分解能で生成することが可能であるため、リアルタイムに標本Ｓを観察することができる。
【０１５４】
なお、全反射蛍光顕微鏡４０では、同心円ダイクロイックフィルタ５１により輪帯照明が実現されるため、マスク４４からなる回折格子により生成される縞パターンを高いコントラストで標本Ｓに投影することができる。縞パターンのコントラストが改善されることで、原画像に含まれる超解像成分のＳ／Ｎ比が向上するため、全反射蛍光顕微鏡４０によれば、蛍光顕微鏡２０よりも、超解像画像の画質を改善することができる。
【０１５５】
また、全反射蛍光顕微鏡４０は、ＴＩＲＦ照明により、スライドガラスＧの極近傍から生じる蛍光のみを検出することができるため、一分子蛍光の検出に、特に有効である。
また、全反射蛍光顕微鏡４０では、蛍光顕微鏡２０ト同様に、レーザ４１の代わりに、水銀ランプなどの白色光源を用いることもできる。その場合、照明光路上に励起フィルタを含むことが望ましい。
【実施例３】
【０１５６】
図９Ａは、本実施例に係る蛍光顕微鏡の構成を例示した図である。図９Ｂは、図９Ａに例示される蛍光顕微鏡に含まれる共焦点マスクのマスクパターンについて説明するための図である。
【０１５７】
図９Ａに例示される蛍光顕微鏡６０は、標本観察装置であり、標本Ｓを励起するための励起光を生成する水銀ランプ６１と、励起光を標本Ｓに投影すると共に、標本Ｓに励起光が照射されて生じた観察光から標本Ｓの中間像を中間像位置に形成する結像光学系６２と、中間像位置で励起光および中間像の空間強度分布を変調する、プレートとして形成された共焦点マスク６３と、共焦点マスク６３が有する変調パターンを中間像に対して相対的に移動させる駆動装置６４と、空間強度分布が変調された中間像を撮像面上にリレーする撮像レンズ６５と、撮像面上にリレーされた中間像の空間強度分布をデジタル画像データに変換するＥＭ−ＣＣＤ６６と、デジタル画像データに対して画像処理を行う計算機６７及び画像処理ボード６８と、を含んでいる。
【０１５８】
蛍光顕微鏡６０は、さらに、照明レンズ７１と、励起フィルタ７２、阻止フィルタ７３及びダイクロイックミラーＤＭからなる蛍光フィルタキューブと、記憶媒体６９と、モニタ７０と、を含んでいる。結像光学系６２は、対物レンズＯＢと結像レンズＴＬとを含んでいる。
【０１５９】
図９Ｂに例示されるように、プレートとして形成される共焦点マスク６３は、周期的なパターンを有している。共焦点マスク６３は、遮蔽部７５と開口幅wの正方形の複数の開口部７６を含み、複数の開口部７６は、縦横共に開口周期pで整列している。なお、横方向に隣り合う開口部７６の縦方向の位置が異なるように、開口部７６は整列されている。このため、駆動装置６４がプレート（共焦点マスク６３）を一方向に振動させるだけで、等方的な超解像画像を得ることができる。従って、駆動装置６４としては、例えば、振動子を用いることができる。
【０１６０】
その他、結像光学系６２のカットオフ周波数、撮像レンズ６５のカットオフ周波数、ＥＭ−ＣＣＤ６６のナイキスト周波数、開口部７６の開口幅w及び周期ｐは、実施例１に係る蛍光顕微鏡２０と同様の特徴を有している。
【０１６１】
蛍光顕微鏡６０では、駆動装置６４によりプレートを振動させながら、ＥＭ−ＣＣＤ６６によりプレートとして形成された共焦点マスク６３のパターンを透過した標本Ｓの中間像を撮像する。駆動装置６４によりプレートの振動の振幅は、振動方向の開口部７６の開口周期p以上に設定されている。より好ましくは、振幅は開口周期pの整数倍である。ＥＭ−ＣＣＤ６６の露出時間は、駆動装置６４によるプレートの振動周期よりも長く設定されている。振幅が開口周期pの整数倍であれば、ＥＭ−ＣＣＤ６６の露出時間は、プレートの振動周期の整数倍の時間に設定されていることが望ましい。
【０１６２】
ＥＭ−ＣＣＤ６６で撮像した原画像は、画像処理ボード６８にデジタル画像データとして送られ、画像処理ボード６８は、デジタル画像データに対して、結像光学系６２のカットオフ周波数を上回る高周波成分を強調する。具体的には、3x3の核行列によるコンボリューション処理がリアルタイムで施される。その後、高周波成分が強調された超解像画像がモニタ７０に表示されると同時に計算機６７を介して記憶媒体６９に記憶される。
【０１６３】
従って、本実施例に係る蛍光顕微鏡６０によれば、実施例１に係る蛍光顕微鏡２０と同様に、超解像画像を高い時間分解能で生成することが可能であるため、リアルタイムに標本Ｓを観察することができる。
【実施例４】
【０１６４】
図１０Ａは、本実施例に係る蛍光顕微鏡の構成を例示した図である。図１０Ｂは、図９Ａに例示される蛍光顕微鏡に含まれるマスクのマスクパターンについて説明するための図である。
【０１６５】
図１０Ａに例示される蛍光顕微鏡８０は、標本観察装置であり、標本Ｓを励起するための励起光を生成するレーザ８１と、励起光を標本Ｓに投影すると共に、標本Ｓに励起光が照射されて生じた観察光から標本Ｓの中間像を中間像位置に形成する結像光学系８２と、中間像位置で励起光および中間像の空間強度分布を変調する、回転ディスクとして形成されたマスク８３と、マスク８３が有する変調パターンを中間像に対して相対的に移動させるモータ８４と、空間強度分布が変調された中間像を撮像面上にリレーする撮像レンズ８５と、撮像面上にリレーされた中間像の空間強度分布をデジタル画像データに変換するＥＭ−ＣＣＤ８６と、デジタル画像データに対して画像処理を行う計算機８７及び画像処理ボード８８と、を含んでいる。
【０１６６】
蛍光顕微鏡８０は、さらに、シングルモード光ファイバー９１と、ビームエキスパンダ９２、ダイクロイックミラーＤＭと、阻止フィルタ９４と、記憶媒体８９と、モニタ９０と、を含んでいる。結像光学系８２は、対物レンズＯＢと結像レンズＴＬとを含んでいる。
【０１６７】
図１０Ｂに例示されるように、回転ディスクとして形成されるマスク８３は、周期的なパターンを有している。マスク８３は、遮蔽部９６と開口直径ｗのピンホール状の複数の開口部９７を含み、複数の開口部９７は、縦横共に開口周期pで整列している。即ち、マスク８３として機能する回転ディスクは、ピンホール状の開口部９７を有する、いわゆるニポーディスクである。
【０１６８】
蛍光顕微鏡８０は、レーザ８１とマスク８３の間に、ピンホール状の開口部に集光位置を一致させたマイクロレンズアレイ９３を含んでいる。また、モータ８４は、マイクロレンズアレイ９３とマスク８３を、マイクロレンズアレイ９３とマスク８３の相対的な位置関係を変えずに、回転させる。これにより、遮蔽部９６に入射することにより生じる励起光の光量損失を抑制し、標本Ｓにより多くの励起光を照射することができる。
【０１６９】
なお、図１０Ａ及び１０Ｂでは、マイクロレンズアレイ９３とニポーディスクが例示されているが、特にこれに限られない。例えば、ニポーディスクの代わりに、実施例１で例示されるような、ラインアンドスペース構造を有するマスクが形成された回転ディスクが用いられても良い。その場合、マイクロレンズアレイ９３の代わりに、ライン状の開口部に集光位置を一致させたシリンドリカルレンズを含んでもよい。また、蛍光顕微鏡８０は、実施例２で例示されるようなＴＩＲＦ照明を実現する構成に変形してもよい。
【０１７０】
その他、マスク８３において開口周期pは、開口直径wの３倍程度に設定されている。このため、蛍光顕微鏡８０では、ニポーディスクによるセクショニング効果が生じる。また、結像光学系８２のカットオフ周波数、撮像レンズ８５のカットオフ周波数、ＥＭ−ＣＣＤ８６のナイキスト周波数、開口部９７の開口直径wは、実施例１に係る蛍光顕微鏡２０と同様の特徴を有している。
【０１７１】
本実施例に係る蛍光顕微鏡８０では、モータ８４によりマスク８３及びマイクロレンズアレイ９３を回転させながら、レーザ８１から射出されたレーザ光（励起光）により標本Ｓを励起し、蛍光を回転するマスク８３を介してＥＭ−ＣＣＤ８６で検出することで、超解像成分を含む原画像を高速に取得することができる。さらに、計算機８７及び画像処理ボード８８で超解像成分を強調する高周波成分強調処理を実施することで、超解像成分が可視化された超解像画像を高速に生成することができる。
【０１７２】
従って、本実施例に係る蛍光顕微鏡８０によれば、実施例１に係る蛍光顕微鏡２０と同様に、超解像成分の視認性が高い超解像画像を高い時間分解能で生成することが可能であるため、リアルタイムに標本Ｓを観察することができる。
【符号の説明】
【０１７３】
１、２０、６０、８０・・・蛍光顕微鏡、４０・・・全反射蛍光顕微鏡、２・・・光源３、２２、４２、６２、８２・・・結像光学系、４・・・スキャンマスク、５、２４、４５、８４・・・モータ、６、２５、４６、６５、８５・・・撮像レンズ、７・・・撮像素子、８、２７、４８、６７、８７・・・計算機、８ａ・・・ＧＰＵ、８ｂ・・・ＦＰＧＡ、９、２８、７１・・・照明レンズ、１０、１１、１２、２３、３６、４４、８３・・・マスク、１０ａ、１１ａ、１２ａ、３４、７５、９６・・・遮蔽部、１０ｂ、１１ｂ、１２ｂ、３５、７６、９７・・・開口部、２１、６１・・・水銀ランプ、２６・・・冷却ＣＣＤ、４７、６６、８６・・・ＥＭ−ＣＣＤ、２９、７２・・・励起フィルタ、３０、５０、７３、９４・・・阻止フィルタ、３２・・・第１の領域、３３・・・第２の領域、３７・・・ラインパターン領域、３８・・・遮蔽領域、３９・・・開口領域、４１、８１・・・レーザ、４３・・・瞳リレー光学系、４９、９２・・・ビームエキスパンダ、５１・・・同心円ダイクロイックフィルタ、５１ａ・・・励起光阻止領域、５１ｂ・・・透過領域、ＩＭ・・・イマージョンオイル、６３・・・共焦点マスク、６４・・・駆動装置、６８、８８・・・画像処理ボード、６９、８９・・・記憶媒体、７０、９０・・・モニタ、９１・・・シングルモード光ファイバー、９３・・・マイクロレンズアレイ、Ｓ・・・標本、Ｇ・・・スライドガラス、ＯＢ・・・対物レンズ、ＴＬ・・・結像レンズ、ＨＭ・・・ハーフミラー、ＤＭ・・・ダイクロイックミラー、ＭＲ・・・ミラー、ＡＸ・・・光軸
【特許請求の範囲】
【請求項１】
標本を励起するための励起光を生成する励起光生成手段と、
前記励起光を前記標本に投影すると共に、前記標本に前記励起光が照射されて生じた観察光から前記標本の中間像を中間像位置に形成する中間像形成手段と、
前記中間像位置で前記励起光および前記中間像の空間強度分布を変調する共焦点変調手段と、
前記共焦点変調手段が有する変調パターンを前記中間像に対して相対的に移動させる変調駆動手段と、
空間強度分布が変調された前記中間像を撮像面上にリレーする像リレー手段と、
前記撮像面上にリレーされた前記中間像の空間強度分布をデジタル画像データに変換する撮像手段と、
前記デジタル画像データに対して画像処理を行う画像処理手段と、を含み、
前記像リレー手段のカットオフ周波数は、前記中間像形成手段のカットオフ周波数を上回り、
前記撮像手段のナイキスト周波数は、前記中間像形成手段のカットオフ周波数を上回り、
前記画像処理手段は、前記デジタル画像データに対して、前記中間像形成手段のカットオフ周波数を上回る高周波成分を強調する高周波強調処理を行う
ことを特徴とする標本観察装置。
【請求項２】
請求項１に記載の標本観察装置において、
前記変調パターンは、周期的なパターンであり、
前記撮像素子による１枚の画像取得の露出時間が、前記変調パターンが前記中間像に対して前記変調パターンの１周期分移動する時間以上である
ことを特徴とする標本観察装置。
【請求項３】
請求項１に記載の標本観察装置において、
前記変調パターンは、周期的なパターンであり、
前記撮像素子による１枚の画像取得の露出時間が、前記変調パターンが前記中間像に対して前記変調パターンの１周期分移動する時間の整数倍である
ことを特徴とする標本観察装置。
【請求項４】
請求項２または請求項３に記載の標本観察装置において、
前記変調駆動手段が、前記撮像素子による１枚の画像取得の露出時間に応じて、前記変調パターンの移動速度を調節する
ことを特徴とする標本観察装置。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載の標本観察装置において、
前記像リレー手段のカットオフ周波数が、前記中間像形成手段のカットオフ周波数の約１．５倍以上であること
ことを特徴とする標本観察装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の標本観察装置において、
前記撮像手段のナイキスト周波数が、前記中間像形成手段のカットオフ周波数の約１．５倍以上であること
ことを特徴とする標本観察装置。
【請求項７】
請求項６に記載の標本観察装置において、
前記撮像手段のナイキスト周波数が、前記中間像形成手段のカットオフ周波数の約４倍以下であること
ことを特徴とする標本観察装置。
【請求項８】
請求項１乃至請求項７のいずれか１項に記載の標本観察装置において、
前記共焦点変調手段は、周期的に配列されたスリット状の開口を有するマスクである
ことを特徴とする標本観察装置。
【請求項９】
請求項８に記載の標本観察装置において、
前記スリット状の開口の幅は、前記中間像形成手段のカットオフ周波数により規定される周期の半分以上である
ことを特徴とする標本観察装置。
【請求項１０】
請求項８に記載の標本観察装置において、
前記周期的に配列されたスリット状の開口の周期は、前記中間像形成手段のカットオフ周波数により規定される周期よりも長い
ことを特徴とする標本観察装置。
【請求項１１】
請求項１０に記載の標本観察装置において、
前記スリット状の開口の周期は、前記スリット状の開口の幅の１０倍以上である
ことを特徴とする標本観察装置。
【請求項１２】
請求項８乃至請求項１１のいずれか１項に記載の標本観察装置において、さらに、
前記励起光生成手段と前記共焦点変調手段の間に、前記スリット状の開口に集光位置を一致させたシリンドリカルレンズアレイを含み、
前記変調駆動手段は、前記シリンドリカルレンズアレイと前記マスクを、前記シリンドリカルレンズアレイと前記マスクの相対的な位置関係を変えずに、移動させる
ことを特徴とする標本観察装置。
【請求項１３】
請求項８乃至請求項１２のいずれか１項に記載の標本観察装置において、
前記マスクは、位相シフト膜を含む
ことを特徴とする標本観察装置。
【請求項１４】
請求項１乃至請求項１０のいずれか１項に記載の標本観察装置において、さらに、
前記標本を前記励起光で輪帯照明する輪帯照明手段を含み、
前記輪帯照明手段は、前記中間像形成手段に含まれる対物レンズの瞳位置と共役な位置近傍に配置される
ことを特徴とする標本観察装置。
【請求項１５】
請求項１４に記載の標本観察装置において、さらに、
前記標本と前記中間像形成手段の間に、前記標本及び前記標本の周りの媒質の屈折率より高い屈折率を有する透明物体を含み、
前記輪帯照明手段は、前記標本と前記透明物体との界面に入射した前記励起光の９０パーセント以上が全反射するような角度で前記励起光が前記界面に入射するように、前記励起光の一部を遮断する
ことを特徴とする標本観察装置。
【請求項１６】
請求項１乃至請求項８のいずれか１項に記載の標本観察装置において、
前記共焦点変調手段は、周期的に配列されたピンホール状の開口を有するマスクである
ことを特徴とする標本観察装置。
【請求項１７】
請求項１６に記載の標本観察装置において、
前記ピンホール状の開口の径は、前記中間像形成手段のカットオフ周波数により規定される周期の半分以上である
ことを特徴とする標本観察装置。
【請求項１８】
請求項１６に記載の標本観察装置において、
前記周期的に配列されたピンホール状の開口の周期は、前記中間像形成手段のカットオフ周波数により規定される周期よりも長い
ことを特徴とする標本観察装置。
【請求項１９】
請求項１８に記載の標本観察装置において、
前記ピンホール状の開口の周期は、前記ピンホール状の開口の径の３倍以上である
ことを特徴とする標本観察装置。
【請求項２０】
請求項１６乃至請求項１９のいずれか１項に記載の標本観察装置において、さらに、
前記励起光生成手段と前記共焦点変調手段の間に、前記ピンホール状の開口に集光位置を一致させたマイクロレンズアレイを含み、
前記変調駆動手段は、前記マイクロレンズアレイと前記マスクを、前記マイクロレンズアレイと前記マスクの相対的な位置関係を変えずに、移動させる
ことを特徴とする標本観察装置。
【請求項２１】
請求項１６乃至請求項１８のいずれか１項に記載の標本観察装置において、さらに、
前記標本を前記励起光で輪帯照明する輪帯照明手段を含み、
前記輪帯照明手段は、前記中間像形成手段に含まれる対物レンズの瞳位置と共役な位置近傍に配置される
ことを特徴とする標本観察装置。
【請求項２２】
請求項２１に記載の標本観察装置において、さらに、
前記標本と前記中間像形成手段の間に、前記標本及び前記標本の周りの媒質の屈折率より高い屈折率を有する透明物体を含み、
前記輪帯照明手段は、前記標本と前記透明物体との界面に入射した前記励起光の９０パーセント以上が全反射するような角度で前記励起光が前記界面に入射するように、前記励起光の一部を遮断する
ことを特徴とする標本観察装置。
【請求項２３】
請求項１乃至請求項２２のいずれか１項に記載の標本観察装置において、
前記共焦点変調手段は、周期的なパターンを有する回転ディスクであり、
前記変調駆動手段は、前記回転ディスクを回転させるモータである
ことを特徴とする標本観察装置。
【請求項２４】
請求項１乃至請求項２２のいずれか１項に記載の標本観察装置において、
前記共焦点変調手段は、周期的なパターンを有するプレートであり、
前記変調駆動手段は、前記プレートを振動させる振動子である
ことを特徴とする標本観察装置。
【請求項２５】
請求項１乃至請求項２２のいずれか１項に記載の標本観察装置において、
前記共焦点変調手段は、周期的なパターンを有する回転ドラムであり、
前記変調駆動手段は、前記ドラムを回転させるモータである
ことを特徴とする標本観察装置。
【請求項２６】
請求項１乃至請求項２５のいずれか１項に記載の標本観察装置において、
前記変調パターンの異なる複数の前記共焦点変調手段を含み、
前記複数の共焦点変調手段から任意の共焦点変調手段を選択して光路上に挿入する
ことを特徴とする標本観察装置。
【請求項２７】
請求項１乃至請求項２２のいずれか１項に記載の標本観察装置において、
前記共焦点変調手段は、空間光変調器であり、
前記変調駆動手段は、前記空間光変調器を駆動する駆動回路である
ことを特徴とする標本観察装置。
【請求項２８】
請求項２７に記載の標本観察装置において、
前記空間光変調器は、ＤＭＤである
ことを特徴とする標本観察装置。
【請求項２９】
請求項２７に記載の標本観察装置において、
前記空間光変調器は、ＬＣＯＳである
ことを特徴とする標本観察装置。
【請求項３０】
請求項１乃至請求項２９のいずれか１項に記載の標本観察装置において、
前記中間像形成手段は、投影倍率が可変である
ことを特徴とする標本観察装置。
【請求項３１】
請求項１乃至請求項３０のいずれか１項に記載の標本観察装置において、
前記像リレー手段は、リレー倍率が可変である
ことを特徴とする標本観察装置。
【請求項３２】
請求項１乃至請求項３１のいずれか１項に記載の標本観察装置において、
前記高周波強調処理は、前記デジタル画像データ自体から、前記デジタル画像データにローパスフィルタを作用させた擬似広視野画像を差し引く処理である
ことを特徴とする標本観察装置。
【請求項３３】
請求項３２に記載の標本観察装置において、
前記擬似広視野画像は、核行列を用いたコンボリューション処理により生成される
ことを特徴とする標本観察装置。
【請求項３４】
請求項３２に記載の標本観察装置において、
前記高周波強調処理は、核行列を用いたコンボリューション処理である
ことを特徴とする標本観察装置。
【請求項３５】
請求項３３または請求項３４に記載の標本観察装置において、
前記コンボリューション処理は、ＧＰＵを用いて行われる
ことを特徴とする標本観察装置。
【請求項３６】
請求項３３または請求項３４に記載の標本観察装置において、
前記コンボリューション処理は、ＦＰＤＡを用いて行われる
ことを特徴とする標本観察装置。
【請求項３７】
請求項１乃至請求項３１のいずれか１項に記載の標本観察装置において、
前記高周波強調処理は、前記デジタル画像データから、前記共焦点変調手段を作用させずに撮像した前記標本の広視野画像を差し引く処理である
ことを特徴とする標本観察装置。
【請求項１】
標本を励起するための励起光を生成する励起光生成手段と、
前記励起光を前記標本に投影すると共に、前記標本に前記励起光が照射されて生じた観察光から前記標本の中間像を中間像位置に形成する中間像形成手段と、
前記中間像位置で前記励起光および前記中間像の空間強度分布を変調する共焦点変調手段と、
前記共焦点変調手段が有する変調パターンを前記中間像に対して相対的に移動させる変調駆動手段と、
空間強度分布が変調された前記中間像を撮像面上にリレーする像リレー手段と、
前記撮像面上にリレーされた前記中間像の空間強度分布をデジタル画像データに変換する撮像手段と、
前記デジタル画像データに対して画像処理を行う画像処理手段と、を含み、
前記像リレー手段のカットオフ周波数は、前記中間像形成手段のカットオフ周波数を上回り、
前記撮像手段のナイキスト周波数は、前記中間像形成手段のカットオフ周波数を上回り、
前記画像処理手段は、前記デジタル画像データに対して、前記中間像形成手段のカットオフ周波数を上回る高周波成分を強調する高周波強調処理を行う
ことを特徴とする標本観察装置。
【請求項２】
請求項１に記載の標本観察装置において、
前記変調パターンは、周期的なパターンであり、
前記撮像素子による１枚の画像取得の露出時間が、前記変調パターンが前記中間像に対して前記変調パターンの１周期分移動する時間以上である
ことを特徴とする標本観察装置。
【請求項３】
請求項１に記載の標本観察装置において、
前記変調パターンは、周期的なパターンであり、
前記撮像素子による１枚の画像取得の露出時間が、前記変調パターンが前記中間像に対して前記変調パターンの１周期分移動する時間の整数倍である
ことを特徴とする標本観察装置。
【請求項４】
請求項２または請求項３に記載の標本観察装置において、
前記変調駆動手段が、前記撮像素子による１枚の画像取得の露出時間に応じて、前記変調パターンの移動速度を調節する
ことを特徴とする標本観察装置。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載の標本観察装置において、
前記像リレー手段のカットオフ周波数が、前記中間像形成手段のカットオフ周波数の約１．５倍以上であること
ことを特徴とする標本観察装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の標本観察装置において、
前記撮像手段のナイキスト周波数が、前記中間像形成手段のカットオフ周波数の約１．５倍以上であること
ことを特徴とする標本観察装置。
【請求項７】
請求項６に記載の標本観察装置において、
前記撮像手段のナイキスト周波数が、前記中間像形成手段のカットオフ周波数の約４倍以下であること
ことを特徴とする標本観察装置。
【請求項８】
請求項１乃至請求項７のいずれか１項に記載の標本観察装置において、
前記共焦点変調手段は、周期的に配列されたスリット状の開口を有するマスクである
ことを特徴とする標本観察装置。
【請求項９】
請求項８に記載の標本観察装置において、
前記スリット状の開口の幅は、前記中間像形成手段のカットオフ周波数により規定される周期の半分以上である
ことを特徴とする標本観察装置。
【請求項１０】
請求項８に記載の標本観察装置において、
前記周期的に配列されたスリット状の開口の周期は、前記中間像形成手段のカットオフ周波数により規定される周期よりも長い
ことを特徴とする標本観察装置。
【請求項１１】
請求項１０に記載の標本観察装置において、
前記スリット状の開口の周期は、前記スリット状の開口の幅の１０倍以上である
ことを特徴とする標本観察装置。
【請求項１２】
請求項８乃至請求項１１のいずれか１項に記載の標本観察装置において、さらに、
前記励起光生成手段と前記共焦点変調手段の間に、前記スリット状の開口に集光位置を一致させたシリンドリカルレンズアレイを含み、
前記変調駆動手段は、前記シリンドリカルレンズアレイと前記マスクを、前記シリンドリカルレンズアレイと前記マスクの相対的な位置関係を変えずに、移動させる
ことを特徴とする標本観察装置。
【請求項１３】
請求項８乃至請求項１２のいずれか１項に記載の標本観察装置において、
前記マスクは、位相シフト膜を含む
ことを特徴とする標本観察装置。
【請求項１４】
請求項１乃至請求項１０のいずれか１項に記載の標本観察装置において、さらに、
前記標本を前記励起光で輪帯照明する輪帯照明手段を含み、
前記輪帯照明手段は、前記中間像形成手段に含まれる対物レンズの瞳位置と共役な位置近傍に配置される
ことを特徴とする標本観察装置。
【請求項１５】
請求項１４に記載の標本観察装置において、さらに、
前記標本と前記中間像形成手段の間に、前記標本及び前記標本の周りの媒質の屈折率より高い屈折率を有する透明物体を含み、
前記輪帯照明手段は、前記標本と前記透明物体との界面に入射した前記励起光の９０パーセント以上が全反射するような角度で前記励起光が前記界面に入射するように、前記励起光の一部を遮断する
ことを特徴とする標本観察装置。
【請求項１６】
請求項１乃至請求項８のいずれか１項に記載の標本観察装置において、
前記共焦点変調手段は、周期的に配列されたピンホール状の開口を有するマスクである
ことを特徴とする標本観察装置。
【請求項１７】
請求項１６に記載の標本観察装置において、
前記ピンホール状の開口の径は、前記中間像形成手段のカットオフ周波数により規定される周期の半分以上である
ことを特徴とする標本観察装置。
【請求項１８】
請求項１６に記載の標本観察装置において、
前記周期的に配列されたピンホール状の開口の周期は、前記中間像形成手段のカットオフ周波数により規定される周期よりも長い
ことを特徴とする標本観察装置。
【請求項１９】
請求項１８に記載の標本観察装置において、
前記ピンホール状の開口の周期は、前記ピンホール状の開口の径の３倍以上である
ことを特徴とする標本観察装置。
【請求項２０】
請求項１６乃至請求項１９のいずれか１項に記載の標本観察装置において、さらに、
前記励起光生成手段と前記共焦点変調手段の間に、前記ピンホール状の開口に集光位置を一致させたマイクロレンズアレイを含み、
前記変調駆動手段は、前記マイクロレンズアレイと前記マスクを、前記マイクロレンズアレイと前記マスクの相対的な位置関係を変えずに、移動させる
ことを特徴とする標本観察装置。
【請求項２１】
請求項１６乃至請求項１８のいずれか１項に記載の標本観察装置において、さらに、
前記標本を前記励起光で輪帯照明する輪帯照明手段を含み、
前記輪帯照明手段は、前記中間像形成手段に含まれる対物レンズの瞳位置と共役な位置近傍に配置される
ことを特徴とする標本観察装置。
【請求項２２】
請求項２１に記載の標本観察装置において、さらに、
前記標本と前記中間像形成手段の間に、前記標本及び前記標本の周りの媒質の屈折率より高い屈折率を有する透明物体を含み、
前記輪帯照明手段は、前記標本と前記透明物体との界面に入射した前記励起光の９０パーセント以上が全反射するような角度で前記励起光が前記界面に入射するように、前記励起光の一部を遮断する
ことを特徴とする標本観察装置。
【請求項２３】
請求項１乃至請求項２２のいずれか１項に記載の標本観察装置において、
前記共焦点変調手段は、周期的なパターンを有する回転ディスクであり、
前記変調駆動手段は、前記回転ディスクを回転させるモータである
ことを特徴とする標本観察装置。
【請求項２４】
請求項１乃至請求項２２のいずれか１項に記載の標本観察装置において、
前記共焦点変調手段は、周期的なパターンを有するプレートであり、
前記変調駆動手段は、前記プレートを振動させる振動子である
ことを特徴とする標本観察装置。
【請求項２５】
請求項１乃至請求項２２のいずれか１項に記載の標本観察装置において、
前記共焦点変調手段は、周期的なパターンを有する回転ドラムであり、
前記変調駆動手段は、前記ドラムを回転させるモータである
ことを特徴とする標本観察装置。
【請求項２６】
請求項１乃至請求項２５のいずれか１項に記載の標本観察装置において、
前記変調パターンの異なる複数の前記共焦点変調手段を含み、
前記複数の共焦点変調手段から任意の共焦点変調手段を選択して光路上に挿入する
ことを特徴とする標本観察装置。
【請求項２７】
請求項１乃至請求項２２のいずれか１項に記載の標本観察装置において、
前記共焦点変調手段は、空間光変調器であり、
前記変調駆動手段は、前記空間光変調器を駆動する駆動回路である
ことを特徴とする標本観察装置。
【請求項２８】
請求項２７に記載の標本観察装置において、
前記空間光変調器は、ＤＭＤである
ことを特徴とする標本観察装置。
【請求項２９】
請求項２７に記載の標本観察装置において、
前記空間光変調器は、ＬＣＯＳである
ことを特徴とする標本観察装置。
【請求項３０】
請求項１乃至請求項２９のいずれか１項に記載の標本観察装置において、
前記中間像形成手段は、投影倍率が可変である
ことを特徴とする標本観察装置。
【請求項３１】
請求項１乃至請求項３０のいずれか１項に記載の標本観察装置において、
前記像リレー手段は、リレー倍率が可変である
ことを特徴とする標本観察装置。
【請求項３２】
請求項１乃至請求項３１のいずれか１項に記載の標本観察装置において、
前記高周波強調処理は、前記デジタル画像データ自体から、前記デジタル画像データにローパスフィルタを作用させた擬似広視野画像を差し引く処理である
ことを特徴とする標本観察装置。
【請求項３３】
請求項３２に記載の標本観察装置において、
前記擬似広視野画像は、核行列を用いたコンボリューション処理により生成される
ことを特徴とする標本観察装置。
【請求項３４】
請求項３２に記載の標本観察装置において、
前記高周波強調処理は、核行列を用いたコンボリューション処理である
ことを特徴とする標本観察装置。
【請求項３５】
請求項３３または請求項３４に記載の標本観察装置において、
前記コンボリューション処理は、ＧＰＵを用いて行われる
ことを特徴とする標本観察装置。
【請求項３６】
請求項３３または請求項３４に記載の標本観察装置において、
前記コンボリューション処理は、ＦＰＤＡを用いて行われる
ことを特徴とする標本観察装置。
【請求項３７】
請求項１乃至請求項３１のいずれか１項に記載の標本観察装置において、
前記高周波強調処理は、前記デジタル画像データから、前記共焦点変調手段を作用させずに撮像した前記標本の広視野画像を差し引く処理である
ことを特徴とする標本観察装置。
【図１】
【図３Ａ】
【図４Ａ】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図１０Ａ】
【図１０Ｂ】
【図２Ａ】
【図２Ｂ】
【図３Ｂ】
【図３Ｃ】
【図４Ｂ】
【図５】
【図６Ｃ】
【図９Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５】
【図３Ａ】
【図４Ａ】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図９Ａ】
【図１０Ａ】
【図１０Ｂ】
【図２Ａ】
【図２Ｂ】
【図３Ｂ】
【図３Ｃ】
【図４Ｂ】
【図５】
【図６Ｃ】
【図９Ｂ】
【図１１Ａ】
【図１１Ｂ】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５】
【公開番号】特開２０１２−７８４０８（Ｐ２０１２−７８４０８Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２０９４６（Ｐ２０１０−２２０９４６）
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]