超解像観察装置
【課題】デジタル画像データに含まれるノイズ成分の強度が異なるそれぞれの場合において、超解像周波数成分の視認性が高く偽解像の発生の少ない超解像画像を生成する装置を提供する。
【解決手段】超解像観察装置（１）は、標本Ｓで生じる観察光の拡大像を撮像したデジタル画像データに含まれるノイズ（１５，１５’）のレベルに応じて変化する空間周波数強度変調手段（１６，１６’）を備える。
【解決手段】超解像観察装置（１）は、標本Ｓで生じる観察光の拡大像を撮像したデジタル画像データに含まれるノイズ（１５，１５’）のレベルに応じて変化する空間周波数強度変調手段（１６，１６’）を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、結像光学系の解像限界を超える超解像の標本画像が得られる超解像観察装置に関するものである。
【背景技術】
【０００２】
近年、結像光学系の解像限界を超える解像度（以降、超解像）の標本画像を得る技術が開発され、実用化されている。そのような超解像技術の一つとして、例えば構造化照明法 (SIM:Structured Illumination Microscopy)と呼ばれる顕微鏡法が知られている。SIMについては、例えば、特許文献１や非特許文献１で開示されている。
【０００３】
顕微鏡観察において一般的な広視野観察法では、照明光はできるかぎり均一に標本に照射されるが、SIMでは、照明光を変調し、主に縞模様の照明光を標本に照射する。これにより、結像に寄与する観察光強度分布の空間周波数をシフトさせることが可能であり、結像光学系を透過後した後にこの空間周波数シフトを元に戻すことにより、結像光学系の解像限界を超えた超解像の標本画像を生成することができる。
【０００４】
図１は従来の超解像観察装置の基本構成を示した図である。図２Ａは標本Ｓ上における観察光強度空間周波数特性を示した図である。図２Ｂは像位置Ｉにおける観察光強度空間周波数特性を示した図である。図２Ｃは超解像処理された超解像画像の空間周波数特性を示した図である。これらの図を参照しながら、従来の超解像観察装置の基本構成とその作用について説明する。
【０００５】
図１に示される超解像観察装置（１）は、標本Ｓに含まれる標識を励起し観察光を発光させるための励起光を標本Ｓに照射する励起光照射手段（２）と、励起光の標本Ｓ上における空間強度分布を変調させる励起光変調手段（３）と、標本Ｓに励起光が照射されて生じた観察光から標本Ｓの拡大像を像位置Ｉに形成する拡大像形成手段（４）と、拡大像の空間強度分布をデジタル画像データに変換する撮像手段（５）と、一枚または複数枚のデジタル画像データから拡大像形成手段（４）のカットオフ周波数を上回る超解像周波数成分を有する超解像画像を生成する超解像処理手段（６）とから構成される。
【０００６】
励起光照射手段（２）は、標本Ｓを励起することのできる波長帯域及び十分な強度をもった励起光を、標本Ｓに向かって照射することができる。標本Ｓには局所的に励起光強度にほぼ比例する強度の観察光を発生させる標識が分布し、標本Ｓからは、標本Ｓ上の励起光の空間強度分布と標識の空間濃度分布の積に相関した空間強度分布を持つ観察光が発生する。広視野観察法に代表される、標本Ｓ上の励起光強度が一様な場合は、標本Ｓ上の観察光の空間強度分布は標識の空間濃度分布と相似であり、観察光の空間強度分布をフーリエ変換して得られる観察光強度空間周波数特性（７）も、標識の空間濃度分布をフーリエ変換して得られる標識濃度空間周波数特性（８）と等しい。一方、標本Ｓ上の励起光強度が一様でない場合は、標本Ｓ上の観察光の空間強度分布は標識の空間濃度分布と異なり、図２Ａに例示されるように、観察光強度空間周波数特性（７）には、標識濃度空間周波数特性（８）を周波数空間でシフト量fsシフトしたいくつかのシフト成分（９）が、ある線形結合係数で加わる。
【０００７】
励起光変調手段（３）は、励起光照射手段（２）と標本Ｓとの間に配置され、または励起光照射手段（２）の内部に含有され、標本Ｓ上における励起光の空間強度分布を経時的に変化させることができる。従って、観察光強度空間周波数特性（７）に含まれる標識濃度空間周波数特性（８）の各シフト成分（９）の線形結合係数を変化させることができる。
【０００８】
拡大像形成手段（４）は、標本Ｓ上における観察光の空間強度分布を像位置Ｉに投影する。拡大像形成手段（４）は固有のカットオフ周波数fcを持ち、標本Ｓ上における観察光強度空間周波数特性（７）のうち、絶対値がfcより高い空間周波数の部分は像位置Ｉに投影できない。従って、図２Ｂに示されるように、像位置Ｉにおける観察光強度空間周波数特性（７’）は、標本Ｓ上における観察光強度空間周波数特性（７）のうち絶対値がfcより低い空間周波数の部分のみが含まれることとなる。従って、fcが拡大像形成手段（４）そのものの解像限界を決定する。
【０００９】
撮像手段（５）は、像位置Ｉにおける観察光の空間強度分布を輝度数値よりなるデジタル画像データに変換する。デジタル画像データに含まれる各輝度数値は、像位置Ｉ上の座標に関連付けられ、各座標位置における観察光強度にほぼ比例する値となる。なお、標本Ｓ上の励起光の空間強度分布が一様ならば、このデジタル画像データは標識濃度空間周波数特性（８）の絶対値がfcより低い空間周波数の部分から構成される画像となる。これを広視野画像と呼ぶ。広視野画像のカットオフ周波数は、拡大像形成手段（４）のそれと同じfcである。一方、標本Ｓ上の励起光の空間強度分布が一様でないならば、図２Ｂに示されるように、このデジタル画像データは標識濃度空間周波数特性（８）のシフト成分（９）の、絶対値がfcより低い空間周波数の部分も含む。
【００１０】
超解像処理手段（６）は、図２Ｃに示されるように、撮像手段（５）で生成されたデジタル画像データに含まれる標識濃度空間周波数特性（８）のシフト成分（９）のシフト量fsを元に戻すことにより、絶対値が標識濃度空間周波数特性（８）のfcより高い空間周波数fc+fsまでを含む成分から構成される超解像画像を生成する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】国際公開２００６／１０９４４８号パンフレット
【非特許文献】
【００１２】
【非特許文献１】Ｍ． Ｇｕｓｔａｆｓｓｏｎ， ｅｔ． ａｌ．， Ｂｉｏｐｈｙｓｉｃａｌ Ｊｏｕｒｎａｌ， Ｖｏｌ． ９４， ｐｐ． ４９５７−４９８０
【発明の概要】
【発明が解決しようとする課題】
【００１３】
次に、デジタル画像データに含まれるノイズ成分が超解像画像に与える影響について、図３Ａ，Ｂ，Ｃを参照しながら説明する。図３Ａは、標本Ｓの標識濃度空間周波数特性に対する超解像画像の空間周波数空間における伝達関数（ＭＴＦ）（１０）と、ノイズ成分の空間周波数特性（１１）を例示した図である。図３Ｂは、ノイズ成分の無い場合のf1,f2,f3の各空間周波数成分の結像パターン（１２）を例示した図である。図３Ｃは、ノイズ成分（１３’）のある場合の各空間周波数成分の結像パターン（１２’）を例示した図である。
【００１４】
超解像観察装置（１）における標本Ｓから超解像画像までの空間周波数成分の伝達は、図３Ａに示されるように、各空間周波数成分の結像コントラストが伝達関数（ＭＴＦ）（１０）により記述される。一般的にＭＴＦ（１０）は、空間周波数が高くなるほど結像コントラストが低くなり、超解像画像のカットオフ周波数fc'を超えるＭＴＦ（１０）はゼロとなる。
【００１５】
まず、ノイズ成分の無い場合における各空間周波数成分の結像パターン（１２）を説明する。ノイズ成分の無い場合における各空間周波数成分の結像パターン（１２）は、図３Ｂに示されるように、その振幅がＭＴＦ（１０）で示される結像コントラストに一致し、低い順にf1,f2,f3の空間周波数に対し、結像コントラストが低下するが、fc'より低い空間周波数成分については結像コントラストが存在するため、解像はfc'で示される。
【００１６】
次に、例えば図３Ａに示されるようにノイズ成分の空間周波数特性（１１）が空間周波数領域に広く存在するようなランダムなノイズがある場合の各空間周波数成分の結像パターンについて説明する。ノイズ成分の空間周波数特性（１１）が、空間周波数f3におけるＭＴＦ（１０）より高い強度を持つ場合は、図３Ｃに示されるように、空間周波数f3以上の成分の結像パターン（１２’）がノイズ成分（１３’）にかき消されて見えなくなってしまうため、このときの超解像画像の実質の解像はf3よりも低くなる。しかし、超解像画像自体の空間周波数特性にはf3以上の空間周波数成分にノイズ成分（１３’）由来のコントラストによる偽解像が存在し、観察者はそれが標識の空間濃度分布に起因するものと誤って解釈してしまうおそれがある。
【００１７】
特許文献１には、撮像枚数を増やすことにより相対的にノイズ成分からの影響を少なくする方法が開示されてあるが、撮像時間に制限があるなど撮像枚数が実質的に限られる場合においてはノイズ成分の強度を十分に低くすることができず、上述の課題が解決されることはない。
【００１８】
本発明では、デジタル画像データに含まれるノイズ成分の強度が異なるそれぞれの場合において、超解像周波数成分の視認性が高く偽解像の発生の少ない超解像画像を生成する装置を提供することを課題とする。
【課題を解決するための手段】
【００１９】
本発明の第１の態様は、標本を励起するための励起光を標本に照射する励起光照射手段と、励起光の標本上における空間強度分布を変調させる励起光変調手段と、標本に励起光が照射されて生じた観察光から標本の拡大像を像位置に形成する拡大像形成手段と、拡大像の空間強度分布をデジタル画像データに変換する撮像手段と、一枚または複数枚のデジタル画像データから拡大像形成手段のカットオフ周波数を上回る超解像周波数成分の可視化された超解像画像を生成する超解像処理手段と、を備え、超解像処理手段はデジタル画像データに含まれるノイズの強度レベルに応じて処理内容を変化させることができる空間周波数強度変調手段を有する超解像観察装置を提供する。
【００２０】
本発明の第２の態様は、第1の様態に記載の超解像観察装置において、空間周波数強度変調手段は、カットオフ周波数が互いに異なる複数のローパスフィルタを含む超解像観察装置を提供する。
【００２１】
本発明の第３の態様は、第２の様態に記載の超解像観察装置において、ローパスフィルタは、画像データのフーリエ変換にフィルタ処理を行う超解像観察装置を提供する。
【００２２】
本発明の第４の態様は、第２の様態に記載の超解像観察装置において、ローパスフィルタは、画像データにコンボリューションフィルタ処理を行う超解像観察装置を提供する。
【００２３】
本発明の第５の態様は、第１の様態に記載の超解像観察装置において、空間周波数強度変調手段は、超解像観察装置の観察パラメータに応じて処理内容を変える超解像観察装置を提供する。
【００２４】
本発明の第６の態様は、第５の様態に記載の超解像観察装置において、観察パラメータは、励起光照射手段の照明パラメータである超解像観察装置を提供する。
【００２５】
本発明の第７の態様は、第５の様態に記載の超解像観察装置において、観察パラメータは、励起光変調手段の変調パラメータである超解像観察装置を提供する。
【００２６】
本発明の第８の態様は、第５の様態に記載の超解像観察装置において、観察パラメータは、拡大像形成手段の結像パラメータである超解像観察装置を提供する。
【００２７】
本発明の第９の態様は、第５の様態に記載の超解像観察装置において、観察パラメータは、撮像手段の撮像パラメータである超解像観察装置を提供する。
【００２８】
本発明の第１０の態様は、第１の様態に記載の超解像観察装置において、励起光はレーザ光であり、ノイズはレーザスペックルノイズである超解像観察装置を提供する。
【００２９】
本発明の第１１の態様は、第１の様態に記載の超解像観察装置において、ノイズは撮像手段により発生するショットノイズである超解像観察装置を提供する。
【００３０】
本発明の第１２の態様は、第１１の様態に記載の超解像観察装置において、空間周波数強度変調手段は、デジタル画像データの輝度値に応じて処理内容を変える超解像観察装置を提供する。
【００３１】
本発明の第１３の態様は、第１１の様態に記載の超解像観察装置において、空間周波数強度変調手段は、撮像手段の露出時間に応じて処理内容を変える超解像観察装置を提供する。
【００３２】
本発明の第１４の態様は、第１の様態に記載の超解像観察装置において、空間周波数強度変調手段は、超解像画像のＭＴＦに応じて処理内容を変える超解像観察装置を提供する。
【００３３】
本発明の第１５の態様は、第１の様態に記載の超解像観察装置において、超解像処理手段は励起光変調手段の状態の異なる複数のデジタル画像データを用いて超解像画像を生成する超解像観察装置を提供する。
【００３４】
本発明の第１６の態様は、第１の様態に記載の超解像観察装置において、超解像処理手段は励起光変調手段により標本上における強度分布を変化させながら撮像したデジタル画像データを用いて超解像画像を生成する超解像観察装置を提供する。
【発明の効果】
【００３５】
本発明によれば、撮像に含まれるノイズの強度が異なるそれぞれの場合において、超解像周波数成分の視認性が高い超解像画像を生成する装置を提供することができる。
【図面の簡単な説明】
【００３６】
【図１】従来の超解像観察装置の基本構成を示した図である。
【図２Ａ】標本Ｓ上における観察光強度空間周波数特性を説明する図である。
【図２Ｂ】像位置Ｉにおける観察光強度空間周波数特性を説明する図である。
【図２Ｃ】超解像処理された超解像画像の空間周波数特性を説明する図である。
【図３Ａ】伝達関数（ＭＴＦ）とノイズ成分の空間周波数特性を例示した図である。
【図３Ｂ】ノイズの無い場合における図３Ａに示された各空間周波数成分の結像パターンを例示した図である。
【図３Ｃ】ノイズのある場合における図３Ａに示された各空間周波数成分の結像パターンを例示した図である。
【図４Ａ】超解像画像のＭＴＦとデジタル画像データに含まれるノイズ強度と空間周波数フィルタに対する空間周波数特性を例示した図である。
【図４Ｂ】空間周波数フィルタの実空間分布を例示した図である。
【図５Ａ】デジタル画像データにノイズが含まれない場合の空間周波数フィルタ１および２の作用を説明する図である。
【図５Ｂ】デジタル画像データにノイズ強度１のノイズが含まる場合の空間周波数フィルタ１および２の作用を説明する図である。
【図５Ｃ】デジタル画像データにノイズ強度２のノイズが含まる場合の空間周波数フィルタ１および２の作用を説明する図である。
【図６】超解像画像のＭＴＦが異なる場合における、デジタル画像データに含まれるノイズ強度と空間周波数フィルタの選択について例示した図である。
【図７Ａ】本発明の実施例１にかかる超解像観察装置の構成を示す図である。
【図７Ｂ】本発明の実施例１にかかる標本Ｓ上の蛍光の強度分布の空間周波数特性を説明する図である。
【図７Ｃ】本発明の実施例１にかかる空間周波数フィルタ及び空間周波数フィルタ作用前後における超解像ＭＴＦの空間周波数特性を例示する図である。
【図８Ａ】本発明の実施例１にかかるノイズフィルタを作用させない選択と、ノイズフィルタ強または弱を作用させる選択ができるラジオボタンタイプのＧＵＩを例示した図である。
【図８Ｂ】本発明の実施例１にかかるノイズフィルタのカットオフ周波数を連続的に可変できるスライダタイプのＧＵＩを例示した図である。
【図８Ｃ】本発明の実施例１にかかるノイズフィルタのタイプを選択するラジオボタンと、カットオフ周波数を連続的に可変できるスライダと、オート設定ボタンがあるＧＵＩを例示した図である。
【図９Ａ】本発明の実施例２にかかる超解像観察装置の構成を示す図である。
【図９Ｂ】本発明の実施例２にかかるスキャンマスク上の変調パターンを示した図である。
【図９Ｃ】本発明の実施例２にかかる変調パターンを例示した図である。
【図１０Ａ】本発明の実施例２にかかる標本上における蛍光強度空間周波数特性を説明する図である。
【図１０Ｂ】本発明の実施例２にかかる中間像位置における蛍光強度空間周波数特性を示す図である。
【図１０Ｃ】本発明の実施例２にかかるスキャンディスク透過後の蛍光強度空間周波数特性を示す図である。
【図１１】本発明の実施例２にかかる広視野画像および空間周波数フィルタ作用前後の超解像画像の空間周波数特性を説明する図である。
【図１２Ａ】本発明の実施例２にかかるデジタル画像データにノイズが含まれない場合における、二つの空間周波数フィルタおよび空間周波数特性補正前後の超解像画像の空間周波数特性を例示した図である。
【図１２Ｂ】本発明の実施例２にかかるデジタル画像データにノイズが含まれる場合における、二つの空間周波数フィルタおよび空間周波数特性補正前後の超解像画像の空間周波数特性を例示した図である。
【発明を実施するための形態】
【００３７】
本発明の空間周波数強度変調手段は、デジタル画像データに含まれるノイズの強度レベルに応じて処理内容を変化させることができる。簡単のため、空間周波数強度変調手段が複数の空間周波数フィルタを切り替えて使用する場合の作用を説明する。
【００３８】
図４Ａは、本発明にかかる超解像観察装置における超解像画像のＭＴＦ１（１４）、デジタル画像データに含まれるノイズ強度１（１５）とノイズ強度２（１５’）、および空間周波数強度変調手段に含まれる切替え可能な空間周波数フィルタ１（１６）と空間周波数フィルタ２（１６’）に対する空間周波数特性を例示した図であり、図４Ｂは、空間周波数フィルタ１（１６）と空間周波数フィルタ２（１６’）の実空間分布を例示した図である。標本濃度空間周波数特性（８）の各空間周波数成分が超解像画像上で示すコントラストの比を表す超解像画像のＭＴＦ１（１４）は、図４Ａに示されるように、超解像画像のカットオフ周波数fc'より低い空間周波数に対し、単調減少でコントラストが低下する。撮像手段により発生するノイズはショットノイズに代表されるホワイトノイズであることが多く、その強度の空間周波数特性はほぼ一定な値となる。ノイズ強度は照明光の強度や撮像時間などの、超解像観察装置の観察パラメータにより強度が変化するが、ここでは代表的な二つのノイズ強度１（１５）およびノイズ強度２（１５’）が発生し得るものとする。
【００３９】
このノイズ強度１（１５）およびノイズ強度２（１５’）それぞれと超解像画像のＭＴＦ１（１４）との交点の空間周波数をカットオフ周波数にもつ二つの空間周波数フィルタ１（１６）および空間周波数フィルタ２（１６’）を、空間周波数強度変調手段は用意する。空間周波数フィルタ１（１６）および空間周波数フィルタ２（１６’）は、それぞれのカットオフ周波数以上の空間周波数成分をカットするローパスフィルタである。空間周波数フィルタ１（１６）および空間周波数フィルタ２（１６’）にシャープカットフィルタを用いた場合、それぞれのカットオフ周波数未満の空間周波数成分は変化を受けず、それ以上の空間周波数成分は完全に遮断される。
【００４０】
この空間周波数フィルタ１（１６）および空間周波数フィルタ２（１６’）の作用について、図４Ａ，Ｂおよび図５Ａ，Ｂ，Ｃを用いて説明する。図５Ａ，Ｂ，Ｃはそれぞれ、図４Ａに示された空間周波数f1,f2,f3の各成分に対し、デジタル画像データにノイズが含まれない場合、強度１（１５）および強度２（１５’）のノイズが含まれる場合における、空間周波数フィルタ１（１６）および空間周波数フィルタ２（１６’）の作用について説明する図である。f1は拡大像形成手段４のカットオフ周波数fcよりも低い、広視野画像に含まれる周波数成分であり、f2,f3はfcよりも高い超解像周波数成分である。空間周波数フィルタ１（１６）のカットオフ周波数はf3より高く、空間周波数フィルタ２（１６’）のそれはf2より高くf3より低い。デジタル画像データに含まれるノイズ強度が０の場合は、図５Ａに示されるように、空間周波数フィルタ作用前の超解像画像に含まれる標識濃度空間周波数特性（８）の各空間周波数成分は、それぞれの空間周波数に対応するＭＴＦのコントラストを持ってきれいな正弦波状に結像する。空間周波数フィルタ１（１６）は、カットオフ周波数がf3より高いので空間周波数f1,f2,f3の各成分は変化を受けず、各空間周波数成分のコントラストは保たれる。空間周波数フィルタ２（１６’）は、そのカットオフ周波数より高いf3の空間周波数成分を遮断し、その結像コントラストを０にする。
【００４１】
デジタル画像データにノイズ強度１のノイズ（１６）が含まれる場合、図５Ｂに示されるように、空間周波数フィルタ作用前の超解像画像に含まれる各空間周波数成分の結像は、ノイズの混入により多少いびつな形となる。空間周波数フィルタ１（１６）作用後は、各周波数成分の信号は僅かな強度変調が残るものの、ほぼノイズ無しの場合の信号を復元できている。しかし、空間周波数フィルタ２（１６’）を作用させた場合は、空間周波数f3の成分が遮断され、実質的に解像が低下する。この場合は、空間周波数フィルタ１（１６）を作用させることにより、超解像画像の実質的な解像をf3以下に低下させること無く、超解像画像に含まれるノイズを大幅に低減することができる。
【００４２】
デジタル画像データにノイズ強度１（１６）よりも高いノイズ強度２のノイズ（１６’）が含まれる場合は、図５Ｃに示されるように、空間周波数フィルタ作用前の超解像画像に含まれる各空間周波数成分の結像は、ノイズの混入により更にいびつな形となる。特に、超解像画像のＭＴＦ１（１４）がノイズ強度２（１５’）を下回るf3の空間周波数成分においては、この結像から標識濃度空間分布の正しい形を推測することが非常に困難である。空間周波数フィルタ１（１６）作用後も、空間周波数f3の成分の結像はノイズ無しの場合の信号から大きく乱れ、偽解像となって観察者に誤った解釈を与える恐れがある。空間周波数フィルタ２（１６’）を作用させた場合は、空間周波数f3の成分が遮断され、超解像画像の実質的な解像がf3よりは低下するものの、標識濃度空間周波数特性（８）のf2以下の空間周波数成分の結像については良好な回復を示している。従ってこの場合は、空間周波数フィルタ２（１６’）を作用させた方が、偽解像を防ぎながら超解像周波数成分(f2)を視認可能にするため、観察者にとってより好ましい。
【００４３】
なお、ある場合において空間周波数フィルタは、図４Ａに例示されるような空間周波数特性で与えられ、画像のフーリエ変換に対して掛け算で作用させる形態をとることが、空間周波数フィルタ作用後の超解像画像のカットオフ周波数を明確にすることができる点で好ましい。一方、その他の場合において空間周波数フィルタは、図４Ｂに例示されるような実空間における強度分布で与えられ、超解像画像そのものにコンボリューションで作用させる形態をとるほうが、計算量が少なく高速演算可能となる点で好ましいこともある。
【００４４】
また、空間周波数強度変調手段の具体的構成については、上に説明したように複数の空間周波数フィルタを用意する他、超解像観察装置（１）の観察パラメータに応じて、空間周波数フィルタの形状を切り替えるような形態でも良い。観察パラメータとノイズ強度に相関が予測される場合は、観察パラメータをもとに空間周波数強度変調手段の処理内容を変更するようにしても良い。
【００４５】
ここで、観察パラメータには、励起光照射手段（２）の照明パラメータ、励起光変調手段（３）の変調パラメータ、拡大像形成手段（４）の結像パラメータ、撮像手段（５）の撮像パラメータなどが含まれる。照明パラメータには、照明光の強度や波長、標本への照射開口数、照射角度、瞳振幅分布、更に照明光がパルス光の場合はパルス幅や波長帯域、瞬間強度やパルス波形などが含まれ、それらとノイズ強度に相関が予測される場合において、照明パラメータをもとに空間周波数強度変調手段の処理内容を変更するようにしても良い。変調パラメータには、変調パターン、変調速度などが含まれ、それらとノイズ強度に相関が予測される場合において、変調パラメータをもとに空間周波数強度変調手段の処理内容を変更するようにしても良い。結像パラメータには、対物レンズの開口数、拡大倍率、透過波長帯域などが含まれ、それらとノイズ強度に相関が予測される場合において、結像パラメータをもとに空間周波数強度変調手段の処理内容を変更するようにしても良い。撮像パラメータには、撮像手段のピクセルサイズ、受光感度特性、量子効率、ゲイン、飽和レベル、露出時間、冷却温度、読み出しノイズ、サーマルノイズ、ノイズリダクションなどが含まれ、それらとノイズ強度に相関が予測される場合において、撮像パラメータをもとに空間周波数強度変調手段の処理内容を変更するようにしても良い。
【００４６】
励起光がレーザ光である場合は、デジタル画像データにレーザスペックルノイズが含まれることが多く、スペックルノイズの強度レベルに応じて処理内容を変化させることができる空間周波数強度変調手段を有することが好ましい。スペックルノイズの強度レベルは、主に光学系に存在するゴミや傷による散乱や、開口絞りのフチにおける回折、光学素子の表面反射による迷光などに起因するが、レーザ光の出力や波長や波長帯域、パルスレーザの場合はパルス幅によってもノイズ強度レベルが変化する。
【００４７】
蛍光観察などの微弱光観察の場合には、デジタル画像データに含まれるノイズはフォトンノイズが支配的になる。フォトンノイズは撮像手段（５）内において、露光時間内の受光フォトン数がポアソン分布に従って揺らぐために発生する。受光フォトン数が少ないほど相対的なノイズ強度が高くなるため、実効的解像の高い超解像画像を生成するためには数多くのフォトン数が必要となり、その場合においてポアソン分布は正規分布で近似され、受光したフォトンの数Ｎの平方根√Ｎがデジタル画像データの輝度の揺らぎとなって現れる。従って、フォトンノイズは露出時間や画像データの輝度や撮像素子の量子効率と相関があると予測され、それらをもとに空間周波数強度変調手段の処理内容を変更するようにしても良い。
【００４８】
空間周波数フィルタを実空間におけるコンボリューションフィルタとして作用させる場合においては、コンボリューションフィルタのサイズが大きければランダムノイズを効果的に抑制することができる一方で、コンボリューションフィルタのサイズが小さいほうが計算処理にかかる時間が短くできるので、コンボリューションフィルタのサイズをノイズ強度レベルや上記パラメータなどに応じて変更できるようにしても良い。
【００４９】
観察パラメータにより、超解像画像のＭＴＦが異なる場合も生じる。例えば図６に例示されるようにデジタル画像データに含まれるノイズ強度（１５）が等しい場合においても、異なる超解像画像のＭＴＦ１（１４）とＭＴＦ２（１４’）とでは、ノイズ強度とＭＴＦのコントラストが等しくなる空間周波数が異なるため、超解像画像がＭＴＦ１（１４）の空間周波数特性を持つ場合には空間周波数フィルタ１（１６）を選択し、超解像画像がＭＴＦ２（１４’）の空間周波数特性を持つ場合には空間周波数フィルタ２（１６’）を選択するように、空間周波数強度変調手段の処理内容を変更するようにしても良い。
【００５０】
以上説明したように、デジタル画像データに含まれるノイズの強度レベルに応じて空間周波数強度変調手段の処理内容を変化させることにより、デジタル画像データに含まれるノイズの強度が異なるそれぞれの場合において、ノイズが少なくかつ超解像周波数成分の視認性が高い超解像画像を生成する技術を提供することができる。
【００５１】
以下、各実施例について、具体的に説明する。
【実施例１】
【００５２】
本発明をＳＩＭに適用させた１実施例について、図７Ａ，Ｂ，Ｃを参照しながら説明する。本実施例の超解像観察装置（１７）の構成は、図７Ａに示されるように、標本Ｓに含有される標識分子を励起する励起光であるレーザ光（１８）を発するレーザ光源（１９）と、レーザ光を標本観察位置に集光させる照明レンズ（２０）と対物レンズ（２１）の組合せと、レーザ光（１８）を照明レンズ（２０）と対物レンズ（２１）との間で折り曲げるためのダイクロイックミラー（２２）とからなる励起光照明手段（２）と、励起光照明手段（２）の内部の標本Ｓと共役位置に配置された回折格子（２３）と、回折格子（２３）の位置、方位を変えるための駆動装置（２４）と、回折格子（２３）と標本Ｓとの間の光路内に配置され照明光路を一部遮蔽するストッパ（２５）とからなる励起光変調手段（３）と、対物レンズ（２１）と協働し、標本Ｓ内の標識分子により発生した蛍光を像位置Ｉに拡大投影するための結像レンズ（２６）と、蛍光が対物レンズ（２１）から結像レンズ（２６）に直進するように蛍光の透過率を高めたダイクロイックミラー（２２）と、励起光が像位置Ｉに届かないように励起光波長をブロックするための阻止フィルタ（２７）とからなる拡大像形成手段（４）と、像位置Ｉにおける蛍光の強度分布を数値化してデジタル画像データを生成するＣＣＤカメラ（２８）からなる撮像手段（５）と、駆動装置（２４）を用いて回折格子（２３）の位置および方位を変えながら収集した像位置Ｉにおける蛍光の強度分布のデジタル画像データを用いて超解像画像を生成する計算機（２９）とからなる超解像処理手段（６）と、から構成される。
【００５３】
レーザ光源（１９）から発したレーザ光（１８）が回折格子（２３）を通過すると、０次回折光（３０）と±１次回折光（３１）が発生する。０次回折光（３０）は光路内を直進し、途中のストッパ（２５）により遮蔽され、±１次回折光（３１）が対物レンズ（２１）により標本Ｓ上に所定の角度を持って交わり干渉し、励起光強度分布をつくる。
【００５４】
標本Ｓ上では、局所的に励起光強度分布と標本内の標識分子濃度分布の掛け算に比例する強度分布をもつ蛍光が発生する。標本Ｓ上の蛍光の強度分布の空間周波数特性（７）は、図７Ｂに示されるように、標本上に一様な強度分布の励起光が照射された場合に発生する標識濃度空間周波数特性（８）と、標本Ｓ上における励起光の不均一な強度分布から発生する中心が原点からシフトしたシフト成分（９，９’）が、標本Ｓ上の励起光強度分布で定まるある線形結合定数を持って結合している。
【００５５】
計算機（２９）は、まずＣＣＤカメラ（２８）で撮像されたデジタル画像データから、上述の図２を用いて説明された手順により超解像画像を生成する。このとき超解像画像には、図７Ｃに例示されるように、レーザ光スペックル由来のノイズ（３２）が混在している。空間周波数フィルタ作用前においては、このレーザ光スペックル由来のノイズ（３２）の強度が空間周波数フィルタ作用前の超解像画像のＭＴＦ（３３）を上回る空間周波数fc'1以上の領域において偽解像を示し、観察者は標本内の標識空間分布を正しく認識することが困難となる。そこで、カットオフ周波数がfc'1のローパスフィルタである空間周波数フィルタ（１６）を超解像画像に作用させる。このローパスフィルタ（１６）作用後の超解像画像は、カットオフ周波数がfc'1となり解像限界が幾分低下するものの、レーザ光由来のスペックルノイズ（３２）による偽解像が目立たなくなり、同時に空間周波数がfc'1以下の超解像周波数成分は正しく視認できるようになる。
【００５６】
次に、ノイズフィルタの設定を行うＧＵＩ（グラフィカルユーザインターフェイス）の例について、図８Ａ，Ｂ，Ｃを参照しながら説明する。ローパスフィルタ（１６）に設定すべきカットオフ周波数fc'1は、ノイズ（３２）の強度レベルにより変化するため、図８Ａ，Ｂ，Ｃに示されるように、計算機（２９）のモニタ画面上にはノイズフィルタの設定画面（３４，３４’，３４’’）が表示される。図８Ａは、ノイズフィルタの作用をさせない選択と、カットオフ周波数fc'1が異なるノイズフィルタ強または弱を作用させる選択ができるラジオボタン（３５）が表示されたＧＵＩの例である。観察者は超解像画像を見ながらこれら空間周波数フィルタの中から適当な選択をおこなうことができる。図８Ｂは、スライダタイプのＧＵＩにより、ノイズフィルタのカットオフ周波数fc'1を連続的に可変できる例である。観察者は、超解像画像を見ながらノイズフィルタを細かく設定することが可能である。更に、オート設定ボタン（３６）を選択ことにより、さまざまな観察パラメータをもとにノイズフィルタの強度を自動的に設定することもできるようになっている。図８Ｃは、ノイズフィルタのタイプを選択するラジオボタン（３５’）と、カットオフ周波数fc'1を連続的に可変できるスライダ（３７’）と、オート設定ボタン（３６’）があるＧＵＩの例である。ノイズフィルタのタイプは、シャープカット型、トライアングル型、トラペゾイド型、ガウシアン型から選択できるので、観察者はフィルタ作用後の超解像画像を見ながら最適なノイズフィルタのタイプを選択することができる。更に、強度設定のスライダにより、それぞれのタイプにおいてカットオフ周波数fc'1を細かく設定することや、オート設定ボタン（３６’）によりfc'1の自動設定を行うことも可能である。
【００５７】
従って、本実施形態のＳＩＭによれば、撮像に含まれるノイズの強度が異なるそれぞれの場合において、ノイズを効果的に除去しつつも超解像周波数成分の視認性が高い超解像画像を生成する技術を提供することができる。
【実施例２】
【００５８】
図９Ａに構成が示される本発明の１実施例である超解像観察装置（３８）は、蛍光標本である標本Ｓを観察するための蛍光顕微鏡である。蛍光顕微鏡は、標本Ｓを励起するための励起光を生成する水銀ランプ（３９）と、励起光を標本Ｓに投影すると共に、標本Ｓに励起光が照射されて生じた観察光である蛍光から標本Ｓの中間像を中間像位置（４０）に形成する中間結像光学系（４１）と、中間像位置（４０）で励起光および中間像の空間強度分布を変調するスキャンマスク（４２）と、図９Ｂに示されるようにスキャンマスク（４２）が有する変調パターン（４３）を中間像に対して相対的に移動させるモータ（４４）と、変調パターン（４３）により空間強度分布が変調された中間像を撮像面（４５）上にリレーする撮像レンズ（４６）と、撮像面（４５）上にリレーされた中間像の空間強度分布をデジタル画像データに変換するＣＣＤ（４７）と、デジタル画像データに対して超解像処理を行う計算機（２９’）と、を含んでいる。
【００５９】
結像光学系（４１）は、対物レンズ（２１’）と結像レンズ（２６’）とを含んでいる。照明光路（５０）と観察光路（５１）が交差する位置には、ダイクロイックミラー（２２’）が配置されている。水銀ランプ（３９）とダイクロイックミラー（２２’）の間には、照明レンズ（２０’）が配置されている。なお、中間結像光学系（４１）と撮像レンズ（４６）は、それぞれ投影倍率、リレー倍率が可変であってもよい。
【００６０】
スキャンマスク（４２）が有する変調パターン（４３）の例は、図９Ｃに例示されるように、遮蔽部（４９）を挟んで開口幅がwで周期がpの開口部分（４８）を有する周期的な開口パターンである。スキャンマスク（４２）がモータ（４４）の駆動により回転することで、スキャンマスク（４２）が有する変調パターン（４３）は、中間像位置（４０）に対して相対的に移動する。
【００６１】
撮像レンズ（４６）のカットオフ周波数およびＣＣＤ（４７）のナイキスト周波数は、中間結像光学系（４１）のカットオフ周波数fcを上回っている。なお、本明細書における中間結像光学系（４１）のカットオフ周波数、撮像レンズ（４６）のカットオフ周波数、ＣＣＤ（４７）のナイキスト周波数の比較は、標本Ｓの中間像位置（４０）への投影倍率と中間像位置（４０）の撮像面（４６）への投影倍率を考慮して規格化された周波数により行われる点に留意する。
【００６２】
計算機（２９’）は、ＣＣＤ（４７）で取得されるデジタル画像データに対して、中間結像光学系（４０）のカットオフ周波数fcを上回る高周波成分を強調する処理を行うように構成されている。
【００６３】
このように構成された蛍光顕微鏡によれば、ＣＣＤ（４７）で取得されるデジタル画像データに超解像周波数成分を記録することができる。これは、スキャンマスク（４２）が、回転により変調パターン（４９）の位置を時々刻々と変化させながら、標本Ｓ上における励起光の空間強度分布を変調することに加えて、中間像位置（４０）における標本Ｓの蛍光像の空間強度分布を復調することによって実現される。
【００６４】
より具体的には、変調バターン（４９）を透過した励起光が標本Ｓ上に投影されることにより、図１０Ａに示されるように、標本Ｓ上における蛍光強度空間周波数特性（５２）には、標識濃度空間周波数特性（８’）およびそれが変調パターン（４９）の周期pの逆数に相当する空間周波数±fsだけシフトしたシフト成分（９’）が含まれる。スキャンマスク（４２）透過直前の中間像位置（４０）における蛍光強度空間周波数特性（５２’）は、中間結像光学系（４１）により、標本Ｓ上における蛍光強度空間周波数特性（５２）の絶対値がfc以下の空間周波数成分のみが伝達される。スキャンマスク（４２）透過直後の蛍光強度空間周波数特性には、図１０Ｂに示されるように、中間像位置（４０）における蛍光強度空間周波数特性（５２’）と、その空間周波数が±fsシフトしたシフト成分が発生するが、変調バターン（４９）の周期pの移動にわたる積分により、図１０Ｃに示されるように、トータルの空間周波数シフトが０となる成分のみ残り、超解像画像が形成される。モータ（４４）によるスキャンマスク（４２）の回転により変調パターン（４９）も回転し、ＣＣＤ（４７）には等方的な解像をもつデジタル画像データが記録される。
【００６５】
一般的にはデジタル画像データに含まれるシフト成分の線形結合係数は小さく、そのままではfcより高い超解像周波数成分が十分に可視化されない。そこで、画像処理手段において空間周波数特性の補正が行われる。
【００６６】
図１１は、本実施例における空間周波数特性の補正による超解像周波数成分の可視化の原理を説明するための、広視野画像（５３）、空間周波数特性の補正前の超解像画像（５４）、空間周波数フィルタ（５５）、および空間周波数フィルタ（５５）による空間周波数特性の補正後の超解像画像（５６）の空間周波数特性を示した図である。空間周波数フィルタ（５５）の縦軸は右側に示されており、他の要素の縦軸（左側）とスケールを変えて書いてある。空間周波数特性の補正前の超解像画像（５４）の空間周波数特性は、広視野画像（５３）のカットオフ周波数fcよりも高い空間周波数の超解像周波数成分が存在するが、そのコントラストが低いため十分に可視化されない。この処理前に画像に対し、超解像周波数成分のコントラストを強調する空間周波数フィルタ（５５）を作用させた補正後の超解像画像においては、超解像周波数成分のコントラストが上がり可視化される。この空間周波数フィルタ（５５）は、fcより高い空間周波数領域において特に高い増幅率を持つ。
【００６７】
計算機（２９’）によるデータ処理は、超解像画像をユーザにとって更に好ましい特性に仕上げるための、例えば輝度値調整や擬似カラー表示などを行うための画像処理を含むこともある。
【００６８】
図１２Ａ，Ｂは、本実施例における二つの空間周波数フィルタ１（５５）および空間周波数フィルタ２（５５’）、空間周波数フィルタ作用前の超解像画像（５４）、空間周波数フィルタ１（５５）および空間周波数フィルタ２（５５’）それぞれによる空間周波数特性補正後の超解像画像（５６，５６’）の空間周波数特性を例示した図である。
【００６９】
空間周波数フィルタ１（５５）は、デジタル画像データに含まれるノイズが無視できるほど十分少ない場合において、空間周波数フィルタ１（５５）作用後の超解像画像の視認可能な解像力が最も高くなるように設計された空間周波数フィルタである。そのために空間周波数フィルタ１（５５）によるコントラスト増幅率は、低周波数側から高周波数側に向かっての超解像画像の理論的な解像限界に対応するまで単調増加し、fc'1付近で最も高い増幅率となっている。
【００７０】
一方、空間周波数フィルタ２（５５’）は、デジタル画像データに含まれるノイズ（５７）がある程度強い場合において、空間周波数フィルタ２（５５’）作用後の超解像画像の視認可能な解像力が、空間周波数フィルタ１（５５）を作用させた場合よりも高くなるように設計された空間周波数フィルタである。そのために空間周波数フィルタ２（５５’）によるコントラスト増幅率は、空間周波数が低い領域では空間周波数フィルタ１（５５）とほぼ同じであるが、fc'1より低い空間周波数fc'2に極大値を持ち、そのピークの位置よりも高い空間周波数においては増幅率が減少し、空間周波数フィルタ１（５５）と比較して低い値となっている。デジタル画像データに含まれるノイズが無視できる場合においては、図１２Ａに示されるように、空間周波数フィルタ２作用後の超解像画像の実質的なカットオフ周波数fc'2は、空間周波数フィルタ１（５５）を作用させた場合のfc'1に比較して、低い値となっている。
【００７１】
デジタル画像データに含まれるノイズ（５７）がある程度強い場合における、空間周波数フィルタ１（５５）および空間周波数フィルタ２（５５’）作用後の超解像画像に含まれるノイズの特性について、図１２Ｂを用いて説明する。デジタル画像データに含まれるノイズ（５７）は、空間周波数特性がほぼフラットな特性を持つが、空間周波数フィルタが作用された超解像画像においては、fc以上の空間周波数領域のノイズ成分が特に増幅される。空間周波数フィルタ１（５５）作用後の超解像画像は、それに含まれるノイズ成分（５８）により、実質的なカットオフ周波数fc'3は、ノイズの無い場合のカットオフ周波数fc'1に比較して低下する。空間周波数フィルタ２（５５’）作用後の実質的なカットオフ周波数fc'4も同様にノイズの無い場合のカットオフ周波数fc'2より低下するが、後者の方がノイズの強度が低いため、fc'4はfc'3よりも高くなる。この場合においては、空間周波数フィルタ２（５５’）を用いたほうが、好ましい結果が得られる。
【００７２】
従って、本実施例においては、デジタル画像データに含まれるノイズ（５７）のレベルに応じて、使用する空間周波数フィルタを切り替えて使用することが望ましい。
【００７３】
本実施例においても、上述の二つの空間周波数フィルタを選択使用する代わりに、カットオフ周波数やコントラスト増幅率の極大値を連続的に変えられるようにしたり、空間周波数フィルタの種類を複数選択可能にしたりすることが可能である。その効果は実施例１と同様である。
【００７４】
以上のように、本実施形態の超解像観察装置によれば、撮像に含まれるノイズの強度が異なるそれぞれの場合において、超解像周波数成分の視認性が高い超解像画像を生成する技術を提供することができる。
【符号の説明】
【００７５】
１・・・超解像観察装置
２・・・励起光照射手段
３・・・励起光変調手段
４・・・拡大像形成手段
５・・・撮像手段
６・・・超解像処理手段
７・・・標本Ｓ上における観察光強度空間周波数特性
７’・・・像位置Ｉにおける観察光強度空間周波数特性
７’’・・・超解像処理された超解像画像の空間周波数特性
８、８’・・・標識濃度空間周波数特性
９、９’・・・シフト成分
１０・・・伝達関数（ＭＴＦ）
１１・・・ノイズ成分の空間周波数特性
１２、１２’・・・各空間周波数成分の結像パターン
１３、１３’、１３’’・・・ノイズ成分の結像パターン
１４・・・超解像画像のＭＴＦ１
１４’・・・超解像画像のＭＴＦ２
１５・・・デジタル画像データに含まれるノイズ強度１
１５’・・・デジタル画像データに含まれるノイズ強度２
１６・・・空間周波数フィルタ１
１６’・・・空間周波数フィルタ２
１７・・・実施例１の観察装置
１８・・・レーザ光
１９・・・レーザ光源
２０、２０’・・・照明レンズ
２１、２１’・・・対物レンズ
２２、２２’・・・ダイクロイックミラー
２３・・・回折格子
２４・・・駆動装置
２５・・・ストッパ
２６、２６’・・・結像レンズ
２７・・・阻止フィルタ
２８・・・ＣＣＤカメラ
２９、２９’・・・計算機
３０・・・０次回折光
３１・・・±１次回折光
３２・・・レーザ光スペックル由来のノイズ
３３・・・空間周波数フィルタ作用前の超解像画像
３４、３４’、３４’’・・・ノイズフィルタの設定ウィンドウ
３５、３５’・・・ラジオボタン
３６、３６’・・・オート設定ボタン
３７・・・スライダ
３８・・・実施例２の超解像観察装置
３９・・・水銀ランプ
４０・・・中間像位置
４１・・・中間結像光学系
４２・・・スキャンマスク
４３・・・変調パターン
４４・・・モータ
４５・・・撮像面
４６・・・撮像レンズ
４７・・・ＣＣＤ
４８・・・開口部分
４９・・・遮蔽部分
５０・・・照明光路
５１・・・観察光路
５２，５２’，５２’’・・・蛍光強度空間周波数特性
５３・・・広視野画像
５４・・・空間周波数特性の補正前の超解像画像
５５・・・空間周波数フィルタ１
５５’・・・空間周波数フィルタ２
５６，５６’・・・空間周波数特性の補正後の超解像画像
５７・・・デジタル画像データに含まれるノイズ
５８・・・空間周波数フィルタ１作用後の超解像画像に含まれるノイズ成分
５８’・・・空間周波数フィルタ２作用後の超解像画像に含まれるノイズ成分
５９・・・空間周波数フィルタ作用後の超解像画像
６０・・・励起フィルタ
【技術分野】
【０００１】
本発明は、結像光学系の解像限界を超える超解像の標本画像が得られる超解像観察装置に関するものである。
【背景技術】
【０００２】
近年、結像光学系の解像限界を超える解像度（以降、超解像）の標本画像を得る技術が開発され、実用化されている。そのような超解像技術の一つとして、例えば構造化照明法 (SIM:Structured Illumination Microscopy)と呼ばれる顕微鏡法が知られている。SIMについては、例えば、特許文献１や非特許文献１で開示されている。
【０００３】
顕微鏡観察において一般的な広視野観察法では、照明光はできるかぎり均一に標本に照射されるが、SIMでは、照明光を変調し、主に縞模様の照明光を標本に照射する。これにより、結像に寄与する観察光強度分布の空間周波数をシフトさせることが可能であり、結像光学系を透過後した後にこの空間周波数シフトを元に戻すことにより、結像光学系の解像限界を超えた超解像の標本画像を生成することができる。
【０００４】
図１は従来の超解像観察装置の基本構成を示した図である。図２Ａは標本Ｓ上における観察光強度空間周波数特性を示した図である。図２Ｂは像位置Ｉにおける観察光強度空間周波数特性を示した図である。図２Ｃは超解像処理された超解像画像の空間周波数特性を示した図である。これらの図を参照しながら、従来の超解像観察装置の基本構成とその作用について説明する。
【０００５】
図１に示される超解像観察装置（１）は、標本Ｓに含まれる標識を励起し観察光を発光させるための励起光を標本Ｓに照射する励起光照射手段（２）と、励起光の標本Ｓ上における空間強度分布を変調させる励起光変調手段（３）と、標本Ｓに励起光が照射されて生じた観察光から標本Ｓの拡大像を像位置Ｉに形成する拡大像形成手段（４）と、拡大像の空間強度分布をデジタル画像データに変換する撮像手段（５）と、一枚または複数枚のデジタル画像データから拡大像形成手段（４）のカットオフ周波数を上回る超解像周波数成分を有する超解像画像を生成する超解像処理手段（６）とから構成される。
【０００６】
励起光照射手段（２）は、標本Ｓを励起することのできる波長帯域及び十分な強度をもった励起光を、標本Ｓに向かって照射することができる。標本Ｓには局所的に励起光強度にほぼ比例する強度の観察光を発生させる標識が分布し、標本Ｓからは、標本Ｓ上の励起光の空間強度分布と標識の空間濃度分布の積に相関した空間強度分布を持つ観察光が発生する。広視野観察法に代表される、標本Ｓ上の励起光強度が一様な場合は、標本Ｓ上の観察光の空間強度分布は標識の空間濃度分布と相似であり、観察光の空間強度分布をフーリエ変換して得られる観察光強度空間周波数特性（７）も、標識の空間濃度分布をフーリエ変換して得られる標識濃度空間周波数特性（８）と等しい。一方、標本Ｓ上の励起光強度が一様でない場合は、標本Ｓ上の観察光の空間強度分布は標識の空間濃度分布と異なり、図２Ａに例示されるように、観察光強度空間周波数特性（７）には、標識濃度空間周波数特性（８）を周波数空間でシフト量fsシフトしたいくつかのシフト成分（９）が、ある線形結合係数で加わる。
【０００７】
励起光変調手段（３）は、励起光照射手段（２）と標本Ｓとの間に配置され、または励起光照射手段（２）の内部に含有され、標本Ｓ上における励起光の空間強度分布を経時的に変化させることができる。従って、観察光強度空間周波数特性（７）に含まれる標識濃度空間周波数特性（８）の各シフト成分（９）の線形結合係数を変化させることができる。
【０００８】
拡大像形成手段（４）は、標本Ｓ上における観察光の空間強度分布を像位置Ｉに投影する。拡大像形成手段（４）は固有のカットオフ周波数fcを持ち、標本Ｓ上における観察光強度空間周波数特性（７）のうち、絶対値がfcより高い空間周波数の部分は像位置Ｉに投影できない。従って、図２Ｂに示されるように、像位置Ｉにおける観察光強度空間周波数特性（７’）は、標本Ｓ上における観察光強度空間周波数特性（７）のうち絶対値がfcより低い空間周波数の部分のみが含まれることとなる。従って、fcが拡大像形成手段（４）そのものの解像限界を決定する。
【０００９】
撮像手段（５）は、像位置Ｉにおける観察光の空間強度分布を輝度数値よりなるデジタル画像データに変換する。デジタル画像データに含まれる各輝度数値は、像位置Ｉ上の座標に関連付けられ、各座標位置における観察光強度にほぼ比例する値となる。なお、標本Ｓ上の励起光の空間強度分布が一様ならば、このデジタル画像データは標識濃度空間周波数特性（８）の絶対値がfcより低い空間周波数の部分から構成される画像となる。これを広視野画像と呼ぶ。広視野画像のカットオフ周波数は、拡大像形成手段（４）のそれと同じfcである。一方、標本Ｓ上の励起光の空間強度分布が一様でないならば、図２Ｂに示されるように、このデジタル画像データは標識濃度空間周波数特性（８）のシフト成分（９）の、絶対値がfcより低い空間周波数の部分も含む。
【００１０】
超解像処理手段（６）は、図２Ｃに示されるように、撮像手段（５）で生成されたデジタル画像データに含まれる標識濃度空間周波数特性（８）のシフト成分（９）のシフト量fsを元に戻すことにより、絶対値が標識濃度空間周波数特性（８）のfcより高い空間周波数fc+fsまでを含む成分から構成される超解像画像を生成する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】国際公開２００６／１０９４４８号パンフレット
【非特許文献】
【００１２】
【非特許文献１】Ｍ． Ｇｕｓｔａｆｓｓｏｎ， ｅｔ． ａｌ．， Ｂｉｏｐｈｙｓｉｃａｌ Ｊｏｕｒｎａｌ， Ｖｏｌ． ９４， ｐｐ． ４９５７−４９８０
【発明の概要】
【発明が解決しようとする課題】
【００１３】
次に、デジタル画像データに含まれるノイズ成分が超解像画像に与える影響について、図３Ａ，Ｂ，Ｃを参照しながら説明する。図３Ａは、標本Ｓの標識濃度空間周波数特性に対する超解像画像の空間周波数空間における伝達関数（ＭＴＦ）（１０）と、ノイズ成分の空間周波数特性（１１）を例示した図である。図３Ｂは、ノイズ成分の無い場合のf1,f2,f3の各空間周波数成分の結像パターン（１２）を例示した図である。図３Ｃは、ノイズ成分（１３’）のある場合の各空間周波数成分の結像パターン（１２’）を例示した図である。
【００１４】
超解像観察装置（１）における標本Ｓから超解像画像までの空間周波数成分の伝達は、図３Ａに示されるように、各空間周波数成分の結像コントラストが伝達関数（ＭＴＦ）（１０）により記述される。一般的にＭＴＦ（１０）は、空間周波数が高くなるほど結像コントラストが低くなり、超解像画像のカットオフ周波数fc'を超えるＭＴＦ（１０）はゼロとなる。
【００１５】
まず、ノイズ成分の無い場合における各空間周波数成分の結像パターン（１２）を説明する。ノイズ成分の無い場合における各空間周波数成分の結像パターン（１２）は、図３Ｂに示されるように、その振幅がＭＴＦ（１０）で示される結像コントラストに一致し、低い順にf1,f2,f3の空間周波数に対し、結像コントラストが低下するが、fc'より低い空間周波数成分については結像コントラストが存在するため、解像はfc'で示される。
【００１６】
次に、例えば図３Ａに示されるようにノイズ成分の空間周波数特性（１１）が空間周波数領域に広く存在するようなランダムなノイズがある場合の各空間周波数成分の結像パターンについて説明する。ノイズ成分の空間周波数特性（１１）が、空間周波数f3におけるＭＴＦ（１０）より高い強度を持つ場合は、図３Ｃに示されるように、空間周波数f3以上の成分の結像パターン（１２’）がノイズ成分（１３’）にかき消されて見えなくなってしまうため、このときの超解像画像の実質の解像はf3よりも低くなる。しかし、超解像画像自体の空間周波数特性にはf3以上の空間周波数成分にノイズ成分（１３’）由来のコントラストによる偽解像が存在し、観察者はそれが標識の空間濃度分布に起因するものと誤って解釈してしまうおそれがある。
【００１７】
特許文献１には、撮像枚数を増やすことにより相対的にノイズ成分からの影響を少なくする方法が開示されてあるが、撮像時間に制限があるなど撮像枚数が実質的に限られる場合においてはノイズ成分の強度を十分に低くすることができず、上述の課題が解決されることはない。
【００１８】
本発明では、デジタル画像データに含まれるノイズ成分の強度が異なるそれぞれの場合において、超解像周波数成分の視認性が高く偽解像の発生の少ない超解像画像を生成する装置を提供することを課題とする。
【課題を解決するための手段】
【００１９】
本発明の第１の態様は、標本を励起するための励起光を標本に照射する励起光照射手段と、励起光の標本上における空間強度分布を変調させる励起光変調手段と、標本に励起光が照射されて生じた観察光から標本の拡大像を像位置に形成する拡大像形成手段と、拡大像の空間強度分布をデジタル画像データに変換する撮像手段と、一枚または複数枚のデジタル画像データから拡大像形成手段のカットオフ周波数を上回る超解像周波数成分の可視化された超解像画像を生成する超解像処理手段と、を備え、超解像処理手段はデジタル画像データに含まれるノイズの強度レベルに応じて処理内容を変化させることができる空間周波数強度変調手段を有する超解像観察装置を提供する。
【００２０】
本発明の第２の態様は、第1の様態に記載の超解像観察装置において、空間周波数強度変調手段は、カットオフ周波数が互いに異なる複数のローパスフィルタを含む超解像観察装置を提供する。
【００２１】
本発明の第３の態様は、第２の様態に記載の超解像観察装置において、ローパスフィルタは、画像データのフーリエ変換にフィルタ処理を行う超解像観察装置を提供する。
【００２２】
本発明の第４の態様は、第２の様態に記載の超解像観察装置において、ローパスフィルタは、画像データにコンボリューションフィルタ処理を行う超解像観察装置を提供する。
【００２３】
本発明の第５の態様は、第１の様態に記載の超解像観察装置において、空間周波数強度変調手段は、超解像観察装置の観察パラメータに応じて処理内容を変える超解像観察装置を提供する。
【００２４】
本発明の第６の態様は、第５の様態に記載の超解像観察装置において、観察パラメータは、励起光照射手段の照明パラメータである超解像観察装置を提供する。
【００２５】
本発明の第７の態様は、第５の様態に記載の超解像観察装置において、観察パラメータは、励起光変調手段の変調パラメータである超解像観察装置を提供する。
【００２６】
本発明の第８の態様は、第５の様態に記載の超解像観察装置において、観察パラメータは、拡大像形成手段の結像パラメータである超解像観察装置を提供する。
【００２７】
本発明の第９の態様は、第５の様態に記載の超解像観察装置において、観察パラメータは、撮像手段の撮像パラメータである超解像観察装置を提供する。
【００２８】
本発明の第１０の態様は、第１の様態に記載の超解像観察装置において、励起光はレーザ光であり、ノイズはレーザスペックルノイズである超解像観察装置を提供する。
【００２９】
本発明の第１１の態様は、第１の様態に記載の超解像観察装置において、ノイズは撮像手段により発生するショットノイズである超解像観察装置を提供する。
【００３０】
本発明の第１２の態様は、第１１の様態に記載の超解像観察装置において、空間周波数強度変調手段は、デジタル画像データの輝度値に応じて処理内容を変える超解像観察装置を提供する。
【００３１】
本発明の第１３の態様は、第１１の様態に記載の超解像観察装置において、空間周波数強度変調手段は、撮像手段の露出時間に応じて処理内容を変える超解像観察装置を提供する。
【００３２】
本発明の第１４の態様は、第１の様態に記載の超解像観察装置において、空間周波数強度変調手段は、超解像画像のＭＴＦに応じて処理内容を変える超解像観察装置を提供する。
【００３３】
本発明の第１５の態様は、第１の様態に記載の超解像観察装置において、超解像処理手段は励起光変調手段の状態の異なる複数のデジタル画像データを用いて超解像画像を生成する超解像観察装置を提供する。
【００３４】
本発明の第１６の態様は、第１の様態に記載の超解像観察装置において、超解像処理手段は励起光変調手段により標本上における強度分布を変化させながら撮像したデジタル画像データを用いて超解像画像を生成する超解像観察装置を提供する。
【発明の効果】
【００３５】
本発明によれば、撮像に含まれるノイズの強度が異なるそれぞれの場合において、超解像周波数成分の視認性が高い超解像画像を生成する装置を提供することができる。
【図面の簡単な説明】
【００３６】
【図１】従来の超解像観察装置の基本構成を示した図である。
【図２Ａ】標本Ｓ上における観察光強度空間周波数特性を説明する図である。
【図２Ｂ】像位置Ｉにおける観察光強度空間周波数特性を説明する図である。
【図２Ｃ】超解像処理された超解像画像の空間周波数特性を説明する図である。
【図３Ａ】伝達関数（ＭＴＦ）とノイズ成分の空間周波数特性を例示した図である。
【図３Ｂ】ノイズの無い場合における図３Ａに示された各空間周波数成分の結像パターンを例示した図である。
【図３Ｃ】ノイズのある場合における図３Ａに示された各空間周波数成分の結像パターンを例示した図である。
【図４Ａ】超解像画像のＭＴＦとデジタル画像データに含まれるノイズ強度と空間周波数フィルタに対する空間周波数特性を例示した図である。
【図４Ｂ】空間周波数フィルタの実空間分布を例示した図である。
【図５Ａ】デジタル画像データにノイズが含まれない場合の空間周波数フィルタ１および２の作用を説明する図である。
【図５Ｂ】デジタル画像データにノイズ強度１のノイズが含まる場合の空間周波数フィルタ１および２の作用を説明する図である。
【図５Ｃ】デジタル画像データにノイズ強度２のノイズが含まる場合の空間周波数フィルタ１および２の作用を説明する図である。
【図６】超解像画像のＭＴＦが異なる場合における、デジタル画像データに含まれるノイズ強度と空間周波数フィルタの選択について例示した図である。
【図７Ａ】本発明の実施例１にかかる超解像観察装置の構成を示す図である。
【図７Ｂ】本発明の実施例１にかかる標本Ｓ上の蛍光の強度分布の空間周波数特性を説明する図である。
【図７Ｃ】本発明の実施例１にかかる空間周波数フィルタ及び空間周波数フィルタ作用前後における超解像ＭＴＦの空間周波数特性を例示する図である。
【図８Ａ】本発明の実施例１にかかるノイズフィルタを作用させない選択と、ノイズフィルタ強または弱を作用させる選択ができるラジオボタンタイプのＧＵＩを例示した図である。
【図８Ｂ】本発明の実施例１にかかるノイズフィルタのカットオフ周波数を連続的に可変できるスライダタイプのＧＵＩを例示した図である。
【図８Ｃ】本発明の実施例１にかかるノイズフィルタのタイプを選択するラジオボタンと、カットオフ周波数を連続的に可変できるスライダと、オート設定ボタンがあるＧＵＩを例示した図である。
【図９Ａ】本発明の実施例２にかかる超解像観察装置の構成を示す図である。
【図９Ｂ】本発明の実施例２にかかるスキャンマスク上の変調パターンを示した図である。
【図９Ｃ】本発明の実施例２にかかる変調パターンを例示した図である。
【図１０Ａ】本発明の実施例２にかかる標本上における蛍光強度空間周波数特性を説明する図である。
【図１０Ｂ】本発明の実施例２にかかる中間像位置における蛍光強度空間周波数特性を示す図である。
【図１０Ｃ】本発明の実施例２にかかるスキャンディスク透過後の蛍光強度空間周波数特性を示す図である。
【図１１】本発明の実施例２にかかる広視野画像および空間周波数フィルタ作用前後の超解像画像の空間周波数特性を説明する図である。
【図１２Ａ】本発明の実施例２にかかるデジタル画像データにノイズが含まれない場合における、二つの空間周波数フィルタおよび空間周波数特性補正前後の超解像画像の空間周波数特性を例示した図である。
【図１２Ｂ】本発明の実施例２にかかるデジタル画像データにノイズが含まれる場合における、二つの空間周波数フィルタおよび空間周波数特性補正前後の超解像画像の空間周波数特性を例示した図である。
【発明を実施するための形態】
【００３７】
本発明の空間周波数強度変調手段は、デジタル画像データに含まれるノイズの強度レベルに応じて処理内容を変化させることができる。簡単のため、空間周波数強度変調手段が複数の空間周波数フィルタを切り替えて使用する場合の作用を説明する。
【００３８】
図４Ａは、本発明にかかる超解像観察装置における超解像画像のＭＴＦ１（１４）、デジタル画像データに含まれるノイズ強度１（１５）とノイズ強度２（１５’）、および空間周波数強度変調手段に含まれる切替え可能な空間周波数フィルタ１（１６）と空間周波数フィルタ２（１６’）に対する空間周波数特性を例示した図であり、図４Ｂは、空間周波数フィルタ１（１６）と空間周波数フィルタ２（１６’）の実空間分布を例示した図である。標本濃度空間周波数特性（８）の各空間周波数成分が超解像画像上で示すコントラストの比を表す超解像画像のＭＴＦ１（１４）は、図４Ａに示されるように、超解像画像のカットオフ周波数fc'より低い空間周波数に対し、単調減少でコントラストが低下する。撮像手段により発生するノイズはショットノイズに代表されるホワイトノイズであることが多く、その強度の空間周波数特性はほぼ一定な値となる。ノイズ強度は照明光の強度や撮像時間などの、超解像観察装置の観察パラメータにより強度が変化するが、ここでは代表的な二つのノイズ強度１（１５）およびノイズ強度２（１５’）が発生し得るものとする。
【００３９】
このノイズ強度１（１５）およびノイズ強度２（１５’）それぞれと超解像画像のＭＴＦ１（１４）との交点の空間周波数をカットオフ周波数にもつ二つの空間周波数フィルタ１（１６）および空間周波数フィルタ２（１６’）を、空間周波数強度変調手段は用意する。空間周波数フィルタ１（１６）および空間周波数フィルタ２（１６’）は、それぞれのカットオフ周波数以上の空間周波数成分をカットするローパスフィルタである。空間周波数フィルタ１（１６）および空間周波数フィルタ２（１６’）にシャープカットフィルタを用いた場合、それぞれのカットオフ周波数未満の空間周波数成分は変化を受けず、それ以上の空間周波数成分は完全に遮断される。
【００４０】
この空間周波数フィルタ１（１６）および空間周波数フィルタ２（１６’）の作用について、図４Ａ，Ｂおよび図５Ａ，Ｂ，Ｃを用いて説明する。図５Ａ，Ｂ，Ｃはそれぞれ、図４Ａに示された空間周波数f1,f2,f3の各成分に対し、デジタル画像データにノイズが含まれない場合、強度１（１５）および強度２（１５’）のノイズが含まれる場合における、空間周波数フィルタ１（１６）および空間周波数フィルタ２（１６’）の作用について説明する図である。f1は拡大像形成手段４のカットオフ周波数fcよりも低い、広視野画像に含まれる周波数成分であり、f2,f3はfcよりも高い超解像周波数成分である。空間周波数フィルタ１（１６）のカットオフ周波数はf3より高く、空間周波数フィルタ２（１６’）のそれはf2より高くf3より低い。デジタル画像データに含まれるノイズ強度が０の場合は、図５Ａに示されるように、空間周波数フィルタ作用前の超解像画像に含まれる標識濃度空間周波数特性（８）の各空間周波数成分は、それぞれの空間周波数に対応するＭＴＦのコントラストを持ってきれいな正弦波状に結像する。空間周波数フィルタ１（１６）は、カットオフ周波数がf3より高いので空間周波数f1,f2,f3の各成分は変化を受けず、各空間周波数成分のコントラストは保たれる。空間周波数フィルタ２（１６’）は、そのカットオフ周波数より高いf3の空間周波数成分を遮断し、その結像コントラストを０にする。
【００４１】
デジタル画像データにノイズ強度１のノイズ（１６）が含まれる場合、図５Ｂに示されるように、空間周波数フィルタ作用前の超解像画像に含まれる各空間周波数成分の結像は、ノイズの混入により多少いびつな形となる。空間周波数フィルタ１（１６）作用後は、各周波数成分の信号は僅かな強度変調が残るものの、ほぼノイズ無しの場合の信号を復元できている。しかし、空間周波数フィルタ２（１６’）を作用させた場合は、空間周波数f3の成分が遮断され、実質的に解像が低下する。この場合は、空間周波数フィルタ１（１６）を作用させることにより、超解像画像の実質的な解像をf3以下に低下させること無く、超解像画像に含まれるノイズを大幅に低減することができる。
【００４２】
デジタル画像データにノイズ強度１（１６）よりも高いノイズ強度２のノイズ（１６’）が含まれる場合は、図５Ｃに示されるように、空間周波数フィルタ作用前の超解像画像に含まれる各空間周波数成分の結像は、ノイズの混入により更にいびつな形となる。特に、超解像画像のＭＴＦ１（１４）がノイズ強度２（１５’）を下回るf3の空間周波数成分においては、この結像から標識濃度空間分布の正しい形を推測することが非常に困難である。空間周波数フィルタ１（１６）作用後も、空間周波数f3の成分の結像はノイズ無しの場合の信号から大きく乱れ、偽解像となって観察者に誤った解釈を与える恐れがある。空間周波数フィルタ２（１６’）を作用させた場合は、空間周波数f3の成分が遮断され、超解像画像の実質的な解像がf3よりは低下するものの、標識濃度空間周波数特性（８）のf2以下の空間周波数成分の結像については良好な回復を示している。従ってこの場合は、空間周波数フィルタ２（１６’）を作用させた方が、偽解像を防ぎながら超解像周波数成分(f2)を視認可能にするため、観察者にとってより好ましい。
【００４３】
なお、ある場合において空間周波数フィルタは、図４Ａに例示されるような空間周波数特性で与えられ、画像のフーリエ変換に対して掛け算で作用させる形態をとることが、空間周波数フィルタ作用後の超解像画像のカットオフ周波数を明確にすることができる点で好ましい。一方、その他の場合において空間周波数フィルタは、図４Ｂに例示されるような実空間における強度分布で与えられ、超解像画像そのものにコンボリューションで作用させる形態をとるほうが、計算量が少なく高速演算可能となる点で好ましいこともある。
【００４４】
また、空間周波数強度変調手段の具体的構成については、上に説明したように複数の空間周波数フィルタを用意する他、超解像観察装置（１）の観察パラメータに応じて、空間周波数フィルタの形状を切り替えるような形態でも良い。観察パラメータとノイズ強度に相関が予測される場合は、観察パラメータをもとに空間周波数強度変調手段の処理内容を変更するようにしても良い。
【００４５】
ここで、観察パラメータには、励起光照射手段（２）の照明パラメータ、励起光変調手段（３）の変調パラメータ、拡大像形成手段（４）の結像パラメータ、撮像手段（５）の撮像パラメータなどが含まれる。照明パラメータには、照明光の強度や波長、標本への照射開口数、照射角度、瞳振幅分布、更に照明光がパルス光の場合はパルス幅や波長帯域、瞬間強度やパルス波形などが含まれ、それらとノイズ強度に相関が予測される場合において、照明パラメータをもとに空間周波数強度変調手段の処理内容を変更するようにしても良い。変調パラメータには、変調パターン、変調速度などが含まれ、それらとノイズ強度に相関が予測される場合において、変調パラメータをもとに空間周波数強度変調手段の処理内容を変更するようにしても良い。結像パラメータには、対物レンズの開口数、拡大倍率、透過波長帯域などが含まれ、それらとノイズ強度に相関が予測される場合において、結像パラメータをもとに空間周波数強度変調手段の処理内容を変更するようにしても良い。撮像パラメータには、撮像手段のピクセルサイズ、受光感度特性、量子効率、ゲイン、飽和レベル、露出時間、冷却温度、読み出しノイズ、サーマルノイズ、ノイズリダクションなどが含まれ、それらとノイズ強度に相関が予測される場合において、撮像パラメータをもとに空間周波数強度変調手段の処理内容を変更するようにしても良い。
【００４６】
励起光がレーザ光である場合は、デジタル画像データにレーザスペックルノイズが含まれることが多く、スペックルノイズの強度レベルに応じて処理内容を変化させることができる空間周波数強度変調手段を有することが好ましい。スペックルノイズの強度レベルは、主に光学系に存在するゴミや傷による散乱や、開口絞りのフチにおける回折、光学素子の表面反射による迷光などに起因するが、レーザ光の出力や波長や波長帯域、パルスレーザの場合はパルス幅によってもノイズ強度レベルが変化する。
【００４７】
蛍光観察などの微弱光観察の場合には、デジタル画像データに含まれるノイズはフォトンノイズが支配的になる。フォトンノイズは撮像手段（５）内において、露光時間内の受光フォトン数がポアソン分布に従って揺らぐために発生する。受光フォトン数が少ないほど相対的なノイズ強度が高くなるため、実効的解像の高い超解像画像を生成するためには数多くのフォトン数が必要となり、その場合においてポアソン分布は正規分布で近似され、受光したフォトンの数Ｎの平方根√Ｎがデジタル画像データの輝度の揺らぎとなって現れる。従って、フォトンノイズは露出時間や画像データの輝度や撮像素子の量子効率と相関があると予測され、それらをもとに空間周波数強度変調手段の処理内容を変更するようにしても良い。
【００４８】
空間周波数フィルタを実空間におけるコンボリューションフィルタとして作用させる場合においては、コンボリューションフィルタのサイズが大きければランダムノイズを効果的に抑制することができる一方で、コンボリューションフィルタのサイズが小さいほうが計算処理にかかる時間が短くできるので、コンボリューションフィルタのサイズをノイズ強度レベルや上記パラメータなどに応じて変更できるようにしても良い。
【００４９】
観察パラメータにより、超解像画像のＭＴＦが異なる場合も生じる。例えば図６に例示されるようにデジタル画像データに含まれるノイズ強度（１５）が等しい場合においても、異なる超解像画像のＭＴＦ１（１４）とＭＴＦ２（１４’）とでは、ノイズ強度とＭＴＦのコントラストが等しくなる空間周波数が異なるため、超解像画像がＭＴＦ１（１４）の空間周波数特性を持つ場合には空間周波数フィルタ１（１６）を選択し、超解像画像がＭＴＦ２（１４’）の空間周波数特性を持つ場合には空間周波数フィルタ２（１６’）を選択するように、空間周波数強度変調手段の処理内容を変更するようにしても良い。
【００５０】
以上説明したように、デジタル画像データに含まれるノイズの強度レベルに応じて空間周波数強度変調手段の処理内容を変化させることにより、デジタル画像データに含まれるノイズの強度が異なるそれぞれの場合において、ノイズが少なくかつ超解像周波数成分の視認性が高い超解像画像を生成する技術を提供することができる。
【００５１】
以下、各実施例について、具体的に説明する。
【実施例１】
【００５２】
本発明をＳＩＭに適用させた１実施例について、図７Ａ，Ｂ，Ｃを参照しながら説明する。本実施例の超解像観察装置（１７）の構成は、図７Ａに示されるように、標本Ｓに含有される標識分子を励起する励起光であるレーザ光（１８）を発するレーザ光源（１９）と、レーザ光を標本観察位置に集光させる照明レンズ（２０）と対物レンズ（２１）の組合せと、レーザ光（１８）を照明レンズ（２０）と対物レンズ（２１）との間で折り曲げるためのダイクロイックミラー（２２）とからなる励起光照明手段（２）と、励起光照明手段（２）の内部の標本Ｓと共役位置に配置された回折格子（２３）と、回折格子（２３）の位置、方位を変えるための駆動装置（２４）と、回折格子（２３）と標本Ｓとの間の光路内に配置され照明光路を一部遮蔽するストッパ（２５）とからなる励起光変調手段（３）と、対物レンズ（２１）と協働し、標本Ｓ内の標識分子により発生した蛍光を像位置Ｉに拡大投影するための結像レンズ（２６）と、蛍光が対物レンズ（２１）から結像レンズ（２６）に直進するように蛍光の透過率を高めたダイクロイックミラー（２２）と、励起光が像位置Ｉに届かないように励起光波長をブロックするための阻止フィルタ（２７）とからなる拡大像形成手段（４）と、像位置Ｉにおける蛍光の強度分布を数値化してデジタル画像データを生成するＣＣＤカメラ（２８）からなる撮像手段（５）と、駆動装置（２４）を用いて回折格子（２３）の位置および方位を変えながら収集した像位置Ｉにおける蛍光の強度分布のデジタル画像データを用いて超解像画像を生成する計算機（２９）とからなる超解像処理手段（６）と、から構成される。
【００５３】
レーザ光源（１９）から発したレーザ光（１８）が回折格子（２３）を通過すると、０次回折光（３０）と±１次回折光（３１）が発生する。０次回折光（３０）は光路内を直進し、途中のストッパ（２５）により遮蔽され、±１次回折光（３１）が対物レンズ（２１）により標本Ｓ上に所定の角度を持って交わり干渉し、励起光強度分布をつくる。
【００５４】
標本Ｓ上では、局所的に励起光強度分布と標本内の標識分子濃度分布の掛け算に比例する強度分布をもつ蛍光が発生する。標本Ｓ上の蛍光の強度分布の空間周波数特性（７）は、図７Ｂに示されるように、標本上に一様な強度分布の励起光が照射された場合に発生する標識濃度空間周波数特性（８）と、標本Ｓ上における励起光の不均一な強度分布から発生する中心が原点からシフトしたシフト成分（９，９’）が、標本Ｓ上の励起光強度分布で定まるある線形結合定数を持って結合している。
【００５５】
計算機（２９）は、まずＣＣＤカメラ（２８）で撮像されたデジタル画像データから、上述の図２を用いて説明された手順により超解像画像を生成する。このとき超解像画像には、図７Ｃに例示されるように、レーザ光スペックル由来のノイズ（３２）が混在している。空間周波数フィルタ作用前においては、このレーザ光スペックル由来のノイズ（３２）の強度が空間周波数フィルタ作用前の超解像画像のＭＴＦ（３３）を上回る空間周波数fc'1以上の領域において偽解像を示し、観察者は標本内の標識空間分布を正しく認識することが困難となる。そこで、カットオフ周波数がfc'1のローパスフィルタである空間周波数フィルタ（１６）を超解像画像に作用させる。このローパスフィルタ（１６）作用後の超解像画像は、カットオフ周波数がfc'1となり解像限界が幾分低下するものの、レーザ光由来のスペックルノイズ（３２）による偽解像が目立たなくなり、同時に空間周波数がfc'1以下の超解像周波数成分は正しく視認できるようになる。
【００５６】
次に、ノイズフィルタの設定を行うＧＵＩ（グラフィカルユーザインターフェイス）の例について、図８Ａ，Ｂ，Ｃを参照しながら説明する。ローパスフィルタ（１６）に設定すべきカットオフ周波数fc'1は、ノイズ（３２）の強度レベルにより変化するため、図８Ａ，Ｂ，Ｃに示されるように、計算機（２９）のモニタ画面上にはノイズフィルタの設定画面（３４，３４’，３４’’）が表示される。図８Ａは、ノイズフィルタの作用をさせない選択と、カットオフ周波数fc'1が異なるノイズフィルタ強または弱を作用させる選択ができるラジオボタン（３５）が表示されたＧＵＩの例である。観察者は超解像画像を見ながらこれら空間周波数フィルタの中から適当な選択をおこなうことができる。図８Ｂは、スライダタイプのＧＵＩにより、ノイズフィルタのカットオフ周波数fc'1を連続的に可変できる例である。観察者は、超解像画像を見ながらノイズフィルタを細かく設定することが可能である。更に、オート設定ボタン（３６）を選択ことにより、さまざまな観察パラメータをもとにノイズフィルタの強度を自動的に設定することもできるようになっている。図８Ｃは、ノイズフィルタのタイプを選択するラジオボタン（３５’）と、カットオフ周波数fc'1を連続的に可変できるスライダ（３７’）と、オート設定ボタン（３６’）があるＧＵＩの例である。ノイズフィルタのタイプは、シャープカット型、トライアングル型、トラペゾイド型、ガウシアン型から選択できるので、観察者はフィルタ作用後の超解像画像を見ながら最適なノイズフィルタのタイプを選択することができる。更に、強度設定のスライダにより、それぞれのタイプにおいてカットオフ周波数fc'1を細かく設定することや、オート設定ボタン（３６’）によりfc'1の自動設定を行うことも可能である。
【００５７】
従って、本実施形態のＳＩＭによれば、撮像に含まれるノイズの強度が異なるそれぞれの場合において、ノイズを効果的に除去しつつも超解像周波数成分の視認性が高い超解像画像を生成する技術を提供することができる。
【実施例２】
【００５８】
図９Ａに構成が示される本発明の１実施例である超解像観察装置（３８）は、蛍光標本である標本Ｓを観察するための蛍光顕微鏡である。蛍光顕微鏡は、標本Ｓを励起するための励起光を生成する水銀ランプ（３９）と、励起光を標本Ｓに投影すると共に、標本Ｓに励起光が照射されて生じた観察光である蛍光から標本Ｓの中間像を中間像位置（４０）に形成する中間結像光学系（４１）と、中間像位置（４０）で励起光および中間像の空間強度分布を変調するスキャンマスク（４２）と、図９Ｂに示されるようにスキャンマスク（４２）が有する変調パターン（４３）を中間像に対して相対的に移動させるモータ（４４）と、変調パターン（４３）により空間強度分布が変調された中間像を撮像面（４５）上にリレーする撮像レンズ（４６）と、撮像面（４５）上にリレーされた中間像の空間強度分布をデジタル画像データに変換するＣＣＤ（４７）と、デジタル画像データに対して超解像処理を行う計算機（２９’）と、を含んでいる。
【００５９】
結像光学系（４１）は、対物レンズ（２１’）と結像レンズ（２６’）とを含んでいる。照明光路（５０）と観察光路（５１）が交差する位置には、ダイクロイックミラー（２２’）が配置されている。水銀ランプ（３９）とダイクロイックミラー（２２’）の間には、照明レンズ（２０’）が配置されている。なお、中間結像光学系（４１）と撮像レンズ（４６）は、それぞれ投影倍率、リレー倍率が可変であってもよい。
【００６０】
スキャンマスク（４２）が有する変調パターン（４３）の例は、図９Ｃに例示されるように、遮蔽部（４９）を挟んで開口幅がwで周期がpの開口部分（４８）を有する周期的な開口パターンである。スキャンマスク（４２）がモータ（４４）の駆動により回転することで、スキャンマスク（４２）が有する変調パターン（４３）は、中間像位置（４０）に対して相対的に移動する。
【００６１】
撮像レンズ（４６）のカットオフ周波数およびＣＣＤ（４７）のナイキスト周波数は、中間結像光学系（４１）のカットオフ周波数fcを上回っている。なお、本明細書における中間結像光学系（４１）のカットオフ周波数、撮像レンズ（４６）のカットオフ周波数、ＣＣＤ（４７）のナイキスト周波数の比較は、標本Ｓの中間像位置（４０）への投影倍率と中間像位置（４０）の撮像面（４６）への投影倍率を考慮して規格化された周波数により行われる点に留意する。
【００６２】
計算機（２９’）は、ＣＣＤ（４７）で取得されるデジタル画像データに対して、中間結像光学系（４０）のカットオフ周波数fcを上回る高周波成分を強調する処理を行うように構成されている。
【００６３】
このように構成された蛍光顕微鏡によれば、ＣＣＤ（４７）で取得されるデジタル画像データに超解像周波数成分を記録することができる。これは、スキャンマスク（４２）が、回転により変調パターン（４９）の位置を時々刻々と変化させながら、標本Ｓ上における励起光の空間強度分布を変調することに加えて、中間像位置（４０）における標本Ｓの蛍光像の空間強度分布を復調することによって実現される。
【００６４】
より具体的には、変調バターン（４９）を透過した励起光が標本Ｓ上に投影されることにより、図１０Ａに示されるように、標本Ｓ上における蛍光強度空間周波数特性（５２）には、標識濃度空間周波数特性（８’）およびそれが変調パターン（４９）の周期pの逆数に相当する空間周波数±fsだけシフトしたシフト成分（９’）が含まれる。スキャンマスク（４２）透過直前の中間像位置（４０）における蛍光強度空間周波数特性（５２’）は、中間結像光学系（４１）により、標本Ｓ上における蛍光強度空間周波数特性（５２）の絶対値がfc以下の空間周波数成分のみが伝達される。スキャンマスク（４２）透過直後の蛍光強度空間周波数特性には、図１０Ｂに示されるように、中間像位置（４０）における蛍光強度空間周波数特性（５２’）と、その空間周波数が±fsシフトしたシフト成分が発生するが、変調バターン（４９）の周期pの移動にわたる積分により、図１０Ｃに示されるように、トータルの空間周波数シフトが０となる成分のみ残り、超解像画像が形成される。モータ（４４）によるスキャンマスク（４２）の回転により変調パターン（４９）も回転し、ＣＣＤ（４７）には等方的な解像をもつデジタル画像データが記録される。
【００６５】
一般的にはデジタル画像データに含まれるシフト成分の線形結合係数は小さく、そのままではfcより高い超解像周波数成分が十分に可視化されない。そこで、画像処理手段において空間周波数特性の補正が行われる。
【００６６】
図１１は、本実施例における空間周波数特性の補正による超解像周波数成分の可視化の原理を説明するための、広視野画像（５３）、空間周波数特性の補正前の超解像画像（５４）、空間周波数フィルタ（５５）、および空間周波数フィルタ（５５）による空間周波数特性の補正後の超解像画像（５６）の空間周波数特性を示した図である。空間周波数フィルタ（５５）の縦軸は右側に示されており、他の要素の縦軸（左側）とスケールを変えて書いてある。空間周波数特性の補正前の超解像画像（５４）の空間周波数特性は、広視野画像（５３）のカットオフ周波数fcよりも高い空間周波数の超解像周波数成分が存在するが、そのコントラストが低いため十分に可視化されない。この処理前に画像に対し、超解像周波数成分のコントラストを強調する空間周波数フィルタ（５５）を作用させた補正後の超解像画像においては、超解像周波数成分のコントラストが上がり可視化される。この空間周波数フィルタ（５５）は、fcより高い空間周波数領域において特に高い増幅率を持つ。
【００６７】
計算機（２９’）によるデータ処理は、超解像画像をユーザにとって更に好ましい特性に仕上げるための、例えば輝度値調整や擬似カラー表示などを行うための画像処理を含むこともある。
【００６８】
図１２Ａ，Ｂは、本実施例における二つの空間周波数フィルタ１（５５）および空間周波数フィルタ２（５５’）、空間周波数フィルタ作用前の超解像画像（５４）、空間周波数フィルタ１（５５）および空間周波数フィルタ２（５５’）それぞれによる空間周波数特性補正後の超解像画像（５６，５６’）の空間周波数特性を例示した図である。
【００６９】
空間周波数フィルタ１（５５）は、デジタル画像データに含まれるノイズが無視できるほど十分少ない場合において、空間周波数フィルタ１（５５）作用後の超解像画像の視認可能な解像力が最も高くなるように設計された空間周波数フィルタである。そのために空間周波数フィルタ１（５５）によるコントラスト増幅率は、低周波数側から高周波数側に向かっての超解像画像の理論的な解像限界に対応するまで単調増加し、fc'1付近で最も高い増幅率となっている。
【００７０】
一方、空間周波数フィルタ２（５５’）は、デジタル画像データに含まれるノイズ（５７）がある程度強い場合において、空間周波数フィルタ２（５５’）作用後の超解像画像の視認可能な解像力が、空間周波数フィルタ１（５５）を作用させた場合よりも高くなるように設計された空間周波数フィルタである。そのために空間周波数フィルタ２（５５’）によるコントラスト増幅率は、空間周波数が低い領域では空間周波数フィルタ１（５５）とほぼ同じであるが、fc'1より低い空間周波数fc'2に極大値を持ち、そのピークの位置よりも高い空間周波数においては増幅率が減少し、空間周波数フィルタ１（５５）と比較して低い値となっている。デジタル画像データに含まれるノイズが無視できる場合においては、図１２Ａに示されるように、空間周波数フィルタ２作用後の超解像画像の実質的なカットオフ周波数fc'2は、空間周波数フィルタ１（５５）を作用させた場合のfc'1に比較して、低い値となっている。
【００７１】
デジタル画像データに含まれるノイズ（５７）がある程度強い場合における、空間周波数フィルタ１（５５）および空間周波数フィルタ２（５５’）作用後の超解像画像に含まれるノイズの特性について、図１２Ｂを用いて説明する。デジタル画像データに含まれるノイズ（５７）は、空間周波数特性がほぼフラットな特性を持つが、空間周波数フィルタが作用された超解像画像においては、fc以上の空間周波数領域のノイズ成分が特に増幅される。空間周波数フィルタ１（５５）作用後の超解像画像は、それに含まれるノイズ成分（５８）により、実質的なカットオフ周波数fc'3は、ノイズの無い場合のカットオフ周波数fc'1に比較して低下する。空間周波数フィルタ２（５５’）作用後の実質的なカットオフ周波数fc'4も同様にノイズの無い場合のカットオフ周波数fc'2より低下するが、後者の方がノイズの強度が低いため、fc'4はfc'3よりも高くなる。この場合においては、空間周波数フィルタ２（５５’）を用いたほうが、好ましい結果が得られる。
【００７２】
従って、本実施例においては、デジタル画像データに含まれるノイズ（５７）のレベルに応じて、使用する空間周波数フィルタを切り替えて使用することが望ましい。
【００７３】
本実施例においても、上述の二つの空間周波数フィルタを選択使用する代わりに、カットオフ周波数やコントラスト増幅率の極大値を連続的に変えられるようにしたり、空間周波数フィルタの種類を複数選択可能にしたりすることが可能である。その効果は実施例１と同様である。
【００７４】
以上のように、本実施形態の超解像観察装置によれば、撮像に含まれるノイズの強度が異なるそれぞれの場合において、超解像周波数成分の視認性が高い超解像画像を生成する技術を提供することができる。
【符号の説明】
【００７５】
１・・・超解像観察装置
２・・・励起光照射手段
３・・・励起光変調手段
４・・・拡大像形成手段
５・・・撮像手段
６・・・超解像処理手段
７・・・標本Ｓ上における観察光強度空間周波数特性
７’・・・像位置Ｉにおける観察光強度空間周波数特性
７’’・・・超解像処理された超解像画像の空間周波数特性
８、８’・・・標識濃度空間周波数特性
９、９’・・・シフト成分
１０・・・伝達関数（ＭＴＦ）
１１・・・ノイズ成分の空間周波数特性
１２、１２’・・・各空間周波数成分の結像パターン
１３、１３’、１３’’・・・ノイズ成分の結像パターン
１４・・・超解像画像のＭＴＦ１
１４’・・・超解像画像のＭＴＦ２
１５・・・デジタル画像データに含まれるノイズ強度１
１５’・・・デジタル画像データに含まれるノイズ強度２
１６・・・空間周波数フィルタ１
１６’・・・空間周波数フィルタ２
１７・・・実施例１の観察装置
１８・・・レーザ光
１９・・・レーザ光源
２０、２０’・・・照明レンズ
２１、２１’・・・対物レンズ
２２、２２’・・・ダイクロイックミラー
２３・・・回折格子
２４・・・駆動装置
２５・・・ストッパ
２６、２６’・・・結像レンズ
２７・・・阻止フィルタ
２８・・・ＣＣＤカメラ
２９、２９’・・・計算機
３０・・・０次回折光
３１・・・±１次回折光
３２・・・レーザ光スペックル由来のノイズ
３３・・・空間周波数フィルタ作用前の超解像画像
３４、３４’、３４’’・・・ノイズフィルタの設定ウィンドウ
３５、３５’・・・ラジオボタン
３６、３６’・・・オート設定ボタン
３７・・・スライダ
３８・・・実施例２の超解像観察装置
３９・・・水銀ランプ
４０・・・中間像位置
４１・・・中間結像光学系
４２・・・スキャンマスク
４３・・・変調パターン
４４・・・モータ
４５・・・撮像面
４６・・・撮像レンズ
４７・・・ＣＣＤ
４８・・・開口部分
４９・・・遮蔽部分
５０・・・照明光路
５１・・・観察光路
５２，５２’，５２’’・・・蛍光強度空間周波数特性
５３・・・広視野画像
５４・・・空間周波数特性の補正前の超解像画像
５５・・・空間周波数フィルタ１
５５’・・・空間周波数フィルタ２
５６，５６’・・・空間周波数特性の補正後の超解像画像
５７・・・デジタル画像データに含まれるノイズ
５８・・・空間周波数フィルタ１作用後の超解像画像に含まれるノイズ成分
５８’・・・空間周波数フィルタ２作用後の超解像画像に含まれるノイズ成分
５９・・・空間周波数フィルタ作用後の超解像画像
６０・・・励起フィルタ
【特許請求の範囲】
【請求項１】
標本を励起するための励起光を前記標本に照射する励起光照射手段と、
前記励起光の前記標本上における空間強度分布を変調させる励起光変調手段と、
前記標本に前記励起光が照射されて生じた観察光から前記標本の拡大像を像位置に形成する拡大像形成手段と、
前記拡大像の空間強度分布をデジタル画像データに変換する撮像手段と、
一枚または複数枚の前記デジタル画像データから前記拡大像形成手段のカットオフ周波数を上回る超解像周波数成分の可視化された超解像画像を生成する超解像処理手段と、
を備え、
前記超解像処理手段は前記デジタル画像データに含まれるノイズの強度レベルに応じて処理内容を変化させることができる空間周波数強度変調手段を有する
ことを特徴とする超解像観察装置。
【請求項２】
前記空間周波数強度変調手段は、カットオフ周波数が互いに異なる複数のローパスフィルタを含む
ことを特徴とする請求項1記載の超解像観察装置。
【請求項３】
前記ローパスフィルタは、画像データのフーリエ変換にフィルタ処理を行う
ことを特徴とする請求項２記載の超解像観察装置。
【請求項４】
前記ローパスフィルタは、画像データにコンボリューションフィルタ処理を行う
ことを特徴とする請求項２記載の超解像観察装置。
【請求項５】
前記空間周波数強度変調手段は、前記超解像観察装置の観察パラメータに応じて処理内容を変える
ことを特徴とする請求項１記載の超解像観察装置。
【請求項６】
前記観察パラメータは、前記励起光照射手段の照明パラメータである
ことを特徴とする請求項５記載の超解像観察装置。
【請求項７】
前記観察パラメータは、前記励起光変調手段の変調パラメータである
ことを特徴とする請求項５記載の超解像観察装置。
【請求項８】
前記観察パラメータは、前記拡大像形成手段の結像パラメータである
ことを特徴とする請求項５記載の超解像観察装置。
【請求項９】
前記観察パラメータは、前記撮像手段の撮像パラメータである
ことを特徴とする請求項５記載の超解像観察装置。
【請求項１０】
前記励起光はレーザ光であり、前記ノイズはレーザスペックルノイズである
ことを特徴とする請求項１記載の超解像観察装置。
【請求項１１】
前記ノイズは前記撮像手段により発生するショットノイズである
ことを特徴とする請求項１記載の超解像観察装置。
【請求項１２】
前記空間周波数強度変調手段は、前記デジタル画像データの輝度値に応じて処理内容を変える
ことを特徴とする請求項１１記載の超解像観察装置。
【請求項１３】
前記空間周波数強度変調手段は、前記撮像手段の露出時間に応じて処理内容を変える
ことを特徴とする請求項１１記載の超解像観察装置。
【請求項１４】
前記空間周波数強度変調手段は、前記超解像画像のＭＴＦに応じて処理内容を変える
ことを特徴とする請求項１記載の超解像観察装置。
【請求項１５】
前記超解像処理手段は前記励起光変調手段の状態の異なる複数の前記デジタル画像データを用いて前記超解像画像を生成する
ことを特徴とする請求項１記載の超解像観察装置。
【請求項１６】
前記超解像処理手段は前記励起光変調手段により前記標本上における強度分布を変化させながら撮像した前記デジタル画像データを用いて前記超解像画像を生成する
ことを特徴とする請求項１記載の超解像観察装置。
【請求項１】
標本を励起するための励起光を前記標本に照射する励起光照射手段と、
前記励起光の前記標本上における空間強度分布を変調させる励起光変調手段と、
前記標本に前記励起光が照射されて生じた観察光から前記標本の拡大像を像位置に形成する拡大像形成手段と、
前記拡大像の空間強度分布をデジタル画像データに変換する撮像手段と、
一枚または複数枚の前記デジタル画像データから前記拡大像形成手段のカットオフ周波数を上回る超解像周波数成分の可視化された超解像画像を生成する超解像処理手段と、
を備え、
前記超解像処理手段は前記デジタル画像データに含まれるノイズの強度レベルに応じて処理内容を変化させることができる空間周波数強度変調手段を有する
ことを特徴とする超解像観察装置。
【請求項２】
前記空間周波数強度変調手段は、カットオフ周波数が互いに異なる複数のローパスフィルタを含む
ことを特徴とする請求項1記載の超解像観察装置。
【請求項３】
前記ローパスフィルタは、画像データのフーリエ変換にフィルタ処理を行う
ことを特徴とする請求項２記載の超解像観察装置。
【請求項４】
前記ローパスフィルタは、画像データにコンボリューションフィルタ処理を行う
ことを特徴とする請求項２記載の超解像観察装置。
【請求項５】
前記空間周波数強度変調手段は、前記超解像観察装置の観察パラメータに応じて処理内容を変える
ことを特徴とする請求項１記載の超解像観察装置。
【請求項６】
前記観察パラメータは、前記励起光照射手段の照明パラメータである
ことを特徴とする請求項５記載の超解像観察装置。
【請求項７】
前記観察パラメータは、前記励起光変調手段の変調パラメータである
ことを特徴とする請求項５記載の超解像観察装置。
【請求項８】
前記観察パラメータは、前記拡大像形成手段の結像パラメータである
ことを特徴とする請求項５記載の超解像観察装置。
【請求項９】
前記観察パラメータは、前記撮像手段の撮像パラメータである
ことを特徴とする請求項５記載の超解像観察装置。
【請求項１０】
前記励起光はレーザ光であり、前記ノイズはレーザスペックルノイズである
ことを特徴とする請求項１記載の超解像観察装置。
【請求項１１】
前記ノイズは前記撮像手段により発生するショットノイズである
ことを特徴とする請求項１記載の超解像観察装置。
【請求項１２】
前記空間周波数強度変調手段は、前記デジタル画像データの輝度値に応じて処理内容を変える
ことを特徴とする請求項１１記載の超解像観察装置。
【請求項１３】
前記空間周波数強度変調手段は、前記撮像手段の露出時間に応じて処理内容を変える
ことを特徴とする請求項１１記載の超解像観察装置。
【請求項１４】
前記空間周波数強度変調手段は、前記超解像画像のＭＴＦに応じて処理内容を変える
ことを特徴とする請求項１記載の超解像観察装置。
【請求項１５】
前記超解像処理手段は前記励起光変調手段の状態の異なる複数の前記デジタル画像データを用いて前記超解像画像を生成する
ことを特徴とする請求項１記載の超解像観察装置。
【請求項１６】
前記超解像処理手段は前記励起光変調手段により前記標本上における強度分布を変化させながら撮像した前記デジタル画像データを用いて前記超解像画像を生成する
ことを特徴とする請求項１記載の超解像観察装置。
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１１】
【図１２Ａ】
【図１】
【図１２Ｂ】
【図２Ｂ】
【図２Ｃ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１１】
【図１２Ａ】
【図１】
【図１２Ｂ】
【公開番号】特開２０１３−７６８６７（Ｐ２０１３−７６８６７Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１６９４５（Ｐ２０１１−２１６９４５）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]