顕微鏡、画像処理装置、及び画像処理方法。
【課題】蛍光波長域の互いに重複する複数種類の光活性化蛍光物質が被観察物に含まれていたとしても同時励起観察を行うことが可能な顕微鏡を提供する。
【解決手段】本発明の顕微鏡は、被観察物（１０Ａ）に含まれる光活性化蛍光物質を所定の活性化密度で活性化する活性化手段（１２１）と、活性化中の光活性化蛍光物質を励起することにより、前記被観察物内に蛍光輝点を点在させる励起手段（１２２）と、前記被観察物の蛍光像を所定の撮像面上に形成することにより、前記撮像面内に蛍光輝点像を点在させる結像光学系（１７、１４、２０）と、前記被観察物から前記撮像面へ向かう蛍光を所定の分光量で分光することにより、前記撮像面内に点在する蛍光輝点像の各々を、空間的拡がりを持った分光像とする分光手段（１８）と、前記撮像面上の輝度分布を示す画像を取得する撮像手段（２１）とを備える。
【解決手段】本発明の顕微鏡は、被観察物（１０Ａ）に含まれる光活性化蛍光物質を所定の活性化密度で活性化する活性化手段（１２１）と、活性化中の光活性化蛍光物質を励起することにより、前記被観察物内に蛍光輝点を点在させる励起手段（１２２）と、前記被観察物の蛍光像を所定の撮像面上に形成することにより、前記撮像面内に蛍光輝点像を点在させる結像光学系（１７、１４、２０）と、前記被観察物から前記撮像面へ向かう蛍光を所定の分光量で分光することにより、前記撮像面内に点在する蛍光輝点像の各々を、空間的拡がりを持った分光像とする分光手段（１８）と、前記撮像面上の輝度分布を示す画像を取得する撮像手段（２１）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＰＡＬＭ（Photoactivation Localization Microscopy）又はＳＴＯＲＭ（Stochastic Optical Reconstruction Microscopy）の原理を利用した顕微鏡、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
近年提案されたＰＡＬＭあるいはＳＴＯＲＭは、通常の共焦点顕微鏡よりも分解能の高い顕微鏡として知られている（非特許文献１、２等を参照）。ＰＡＬＭとＳＴＯＲＭは原理的にはほぼ同一の技術なので、以下ＰＡＬＭを例に説明する。
【０００３】
ＰＡＬＭの被観察物である細胞は、活性化されているときにのみ蛍光を発することが可能な蛍光蛋白質（光活性化蛍光蛋白質）で標識される。ＰＡＬＭは、その被観察物へ適当な強度の活性化光を照射することにより、被観察物に含まれる蛍光分子を適当な活性化密度で活性化し、さらに被観察物へ励起光を照射することにより、被観察物に含まれる蛍光分子の分布を画像として検出し、さらに被観察物へ不活性化光（又は高強度の励起光）を照射することにより、活性化中の蛍光分子を不活性化（又は褪色）させる。
【０００４】
ＰＡＬＭは、これらの活性化、励起、検出、不活性化（又は褪色）を繰り返すことにより複数の画像を取得する。これらの画像には、互いに近接していた複数の蛍光分子の像が個別に反映されることになる。よって、これら複数の画像を適切に合成すれば、被観察物上の蛍光強度分布を高い分解能（例えば１０ｎｍの分解能）で観察することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Samuel T. Hess et al. "Ultra-High Resolution Imaging by Fluorescence Photoactivation Localization Microscopy", Biophysical Journal, December 2006, Vol. 91, pp. 4258-4272
【非特許文献２】Eric Betzig et al. "Imaging Intracellular Flourescent Proteins at Nanometer Resolution" SCIENCE, Vol. 313, 15 September 2006, pp. 1642-1645
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ＰＡＬＭにおいても通常の共焦点顕微鏡と同様、複数種類の光活性化蛍光蛋白質を使用し、被観察物に含まれる複数種類の蛍光分子を同時に励起して観察すること（同時励起観察）が望まれる。
【０００７】
しかしながら、従来のＰＡＬＭで同時励起観察を行おうとしたならば、被観察物で発生する他種類の蛍光を分離可能とするために、複数種類の光活性化蛍光蛋白質として蛍光波長域がなるべく重複していないもの同士を選定しなければならなかった。
【０００８】
そこで本発明は、蛍光波長域の互いに重複する複数種類の光活性化蛍光物質が被観察物に含まれていたとしても同時励起観察を行うことが可能な顕微鏡、それに好適な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の顕微鏡を例示する一態様は、被観察物に含まれる光活性化蛍光物質を所定の活性化密度で活性化する活性化手段と、前記被観察物に含まれる活性化中の光活性化蛍光物質を励起することにより、前記被観察物内に蛍光輝点を点在させる励起手段と、前記被観察物の蛍光像を所定の撮像面上に形成することにより、前記撮像面内に蛍光輝点像を点在させる結像光学系と、前記被観察物から前記撮像面へ向かう蛍光を所定の分光量で分光することにより、前記撮像面内に点在する蛍光輝点像の各々を、空間的拡がりを持った分光像とする分光手段と、前記蛍光像の輝度分布を示す画像を取得する撮像手段とを備える。
【００１０】
また、本発明の画像処理装置を例示する一態様は、前記画像内に点在する分光像の各々の輝度分布に基づき、前記被観察物内に点在した蛍光輝点の各々の発光スペクトルを求める演算手段を備える。
【００１１】
また、本発明の画像処理方法を例示する一態様は、前記画像内に点在する分光像の各々の輝度分布に基づき、前記被観察物内に点在した蛍光輝点の各々の発光スペクトルを求める演算手順を含む。
【発明の効果】
【００１２】
本発明によれば、蛍光波長域の互いに重複する複数種類の光活性化蛍光物質が被観察物に含まれていたとしても同時励起観察を行うことが可能な顕微鏡、それに好適な画像処理装置及び画像処理方法が実現する。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態のＰＡＬＭ装置の構成図である。
【図２】リファレンススペクトルＳ１〜ＳＭの概念図である。
【図３】観察視野の非分光像ＩＦＰ及び分光像ＩＦＳを示す図である。
【図４】発光元蛍光輝点が共通する点像ＩＰｋ及び分光像ＩＳｋのＸ方向の輝度分布の例である。
【図５】コントロールユニット３０による測定処理のフローチャートである。以下、図５の各ステップを順に説明する。
【図６】コントロールユニット３０によるスペクトル抽出処理のフローチャートである。
【図７】コントロールユニット３０によるスペクトル解析処理のフローチャートである。
【図８】第２実施形態のＰＡＬＭ装置の構成図である。
【図９】或る蛍光蛋白質に関する対応表を説明する図である。
【発明を実施するための形態】
【００１４】
［第１実施形態］
以下、本発明に係るＰＡＬＭ装置を第１実施形態として説明する。
【００１５】
図１は、本実施形態のＰＡＬＭ装置の構成図である。図１に示されているとおり、本装置には活性化レーザ光源１２１と、励起レーザ光源１２２と、ダイクロイックミラー１０１と、レンズ１３と、ダイクロイックミラー１５と、対物レンズ１７と、サンプルステージ１１と、リレー光学系１４と、回折格子１８と、レンズ２０と、ＥＭ−ＣＣＤ(Electron Multiplying CCD)２１と、コントロールユニット３０とが備えられる。
【００１６】
サンプルステージ１１には、標本１０Ａが配置される。標本１０Ａは、複数種類の光活性化蛍光蛋白質で標識された生体細胞である。標本１０Ａの標識に使用された光活性化蛍光蛋白質は、例えばＰＡ−ＧＦＰ、Ｄｒｏｎｐａの２種類である。ＰＡ−ＧＦＰ及びＤｒｏｎｐａの活性化波長は、４００ｎｍの近傍であり、ＰＡ−ＧＦＰ及びＤｒｏｎｐａの励起波長は、５００ｎｍの近傍であり、ＰＡ−ＧＦＰ及びＤｒｏｎｐａの蛍光波長は６００ｎｍの近傍である。
【００１７】
コントロールユニット３０のメモリには、様々な種類の蛍光蛋白質（ここではＭ種類の蛍光蛋白質）に固有の蛍光スペクトルの情報として、リファレンススペクトルＳ１〜ＳＭ（図２参照）が予め格納されており、リファレンススペクトルＳ１〜ＳＭの中には、標本１０Ａに使用されたＰＡ−ＧＦＰ及びＤｒｏｎｐａの各々のリファレンススペクトルも含まれている。
【００１８】
活性化レーザ光源１２１から射出する活性化レーザ光の波長は、ＰＡ−ＧＦＰ及びＤｒｏｎｐａを活性化する約４００ｎｍに設定されており、励起レーザ光源１２２から射出する励起レーザ光の波長は、ＰＡ−ＧＦＰ及びＤｒｏｎｐａを励起する約５００ｎｍに設定されている。また、ダイクロイックミラー１０１の波長特性は、５００ｎｍ及びその近傍の波長に対して透過性を示し、４００ｎｍ及びその近傍に対して反射性を示すように設定されている。
【００１９】
活性化レーザ光源１２１から射出した活性化レーザ光は、ダイクロイックミラー１０１を反射し、励起レーザ光源１２２から射出した励起レーザ光は、ダイクロイックミラー１０１を透過し、両者は同一の光路へ導かれる。同一の光路へ導かれた活性化レーザ光及び励起レーザ光は、レンズ１３によって緩やかに集光されながら、ダイクロイックミラー１５へ入射する。なお、ダイクロイックミラー１５の波長特性は、５００ｎｍ以下の波長に対して反射性を示し、５００ｎｍを超過する波長に対して透過性を示すように設定されている。
【００２０】
ダイクロイックミラー１５へ入射した活性化レーザ光及び励起レーザ光は、ダイクロイックミラー１５を反射し、対物レンズ１７の瞳面上に集光する。対物レンズ１７の瞳面上に集光した励起レーザ光及び活性化レーザ光は、対物レンズ１７の先端から射出し、標本１０Ａ上の円形領域へ照射される。標本１０Ａの観察視野内に存在する幾つかの蛍光分子が光り活性化レーザ光の照射により活性化される。
【００２１】
ここで、活性化レーザ光源１２１のパワー（活性化レーザ光の強度）は、標本１０Ａ上で活性化される蛍光分子の配置密度（活性化密度）が適切になるよう予め設定されている。本実施形態では、観察視野中で同時に活性化される蛍光分子が数個（１〜５個）となるようその設定が行われる。
【００２２】
観察視野内で活性化中の蛍光分子は、励起レーザ光の照射により励起され、蛍光輝点となり、それぞれ蛍光（５００〜７００ｎｍの波長範囲の蛍光）を発する。観察視野で発生した蛍光は、先端側から対物レンズ１７へ入射し、対物レンズ１７を通過した後、ダイクロイックミラー１５へ入射する。ダイクロイックミラー１５へ入射した蛍光は、そのダイクロイックミラー１５を透過し、リレー光学系１４へ入射する。
【００２３】
リレー光学系１４へ入射した蛍光は、リレー光学系１４の一方のレンズ１４ａにより集光され、観察視野の蛍光像（中間像）を形成する。図１において、符号１４ｃで示したのは、中間像の形成面に配置された視野絞りである。視野絞り１４ｃを通過した蛍光は、発散しながらリレー光学系１４の他方のレンズ１４ｂへ入射し、平行光束となる。
【００２４】
平行光束となった蛍光は、対物レンズ１７の瞳面に配置された回折格子１８へ入射し、各次数の回折光に分離される。なお、回折格子１８は、０次回折光及び＋１次回折光の回折効率が、その他の回折光と比べて十分に高くなるように設計されているものとする。よって以下では、その他の回折光を無視する。回折格子１８で０次回折光及び１次回折光は、レンズ２０によって集光され、ＥＭ−ＣＣＤ２１の撮像面上に観察視野の蛍光像を形成する。なお、本実施形態では、０次回折光と１次回折光との双方が撮像面上に到達するので、撮像面上に形成される蛍光像には、０次回折光による蛍光像（非分光像）と、１次回折光による蛍光像（分光像）との２種類がある（詳細は後述）。
【００２５】
ＥＭ−ＣＣＤ２１は、撮像面上の輝度分布を示す画像を取得し、その画像をコントロールユニット３０へ出力する。なお、ＥＭ−ＣＣＤ２１による画像取得のタイミングは、コントロールユニット３０によって制御される。
【００２６】
コントロールユニット３０は、ＥＭ−ＣＣＤ２１、活性化レーザ光源１２１、励起レーザ光源１２２を同期駆動する制御装置としての機能と、ＥＭ−ＣＣＤ２１が取得した画像を処理する画像処理装置としての機能とを有する。例えば、制御装置としてのコントロールユニット３０は、画像を取得する測定処理を実行し、画像処理装置としてのコントロールユニット３０は、その画像からスペクトルデータを抽出するスペクトル抽出処理や、そのスペクトルデータを解析するスペクトル解析処理などを実行する。これら各処理のプログラムは、コントロールユニット３０のメモリに予め格納され、必要に応じて実行される。コントロールユニット３０による各処理の詳細は、後述する。
【００２７】
なお、コントロールユニット３０の画像処理装置として機能は、コントロールユニット３０に接続された不図示のコンピュータに付加されてもよい。
【００２８】
図３は、撮像面上に形成された、観察視野の非分光像ＩＦＰ及び分光像ＩＦＳを示す図である。図３において符号Ｘで示す方向が回折による蛍光の分離方向である。
【００２９】
図３では、観察視野内に点在した蛍光輝点の個数が３であったときの様子を示している。この場合、観察視野の非分光像ＩＦＰには３つの蛍光輝点の非分光像ＩＰ１〜ＩＰ３が現れており、観察視野の分光像ＩＦＳには３つの蛍光輝点の分光像ＩＳ１〜ＩＳ３が現れている。
【００３０】
図３に示すとおり、蛍光輝点の非分光像ＩＰｋ（１〜３）の各々は点状であり、蛍光輝点の分光像ＩＳｋ（１〜３）の各々はＸ方向に長い線分状である。よって、以下では、蛍光輝点の非分光像を「点像」と称し、蛍光輝点の分光像を「線像」と称す。なお、前述した活性化密度と、１次回折光の拡がり量との関係は、適切に設定されているので、互いに異なる２つの線像ＩＳが重なることは無い。
【００３１】
図３に示した点像ＩＰｋ（１〜３）及び線像ＩＳｋ（１〜３）のうち、共通の添え字ｋが付与されているもの同士の間では、発光元蛍光輝点が共通する。発生元蛍光輝点が共通するもの点像ＩＰｋと線像ＩＳｋとの間では、ＣＣＤ座標Ｘのみが異なり、ＣＣＤ座標Ｙは共通である。
【００３２】
また、３つの点像ＩＰ１、ＩＰ２、ＩＰ３の位置関係は、それら点像ＩＰ１、ＩＰ２、ＩＰ３の発生元となった３つの蛍光輝点の位置関係（＝線像ＩＳ１、ＩＳ２、ＩＳ３の発生元となった３つの蛍光輝点の位置関係）を示している。
【００３３】
また、３つの線像ＩＳ１、ＩＳ２、ＩＳ３の各々の輝度分布は、点像ＩＰ１、ＩＰ２、ＩＰ３の各々のスペクトル、すなわち点像ＩＰ１、ＩＰ２、ＩＰ３の発生元（＝線像ＩＳ１、ＩＳ２、ＩＳ３の発生元）となった３つの蛍光輝点の各々の発光スペクトルを示している。
【００３４】
図４には、発生元蛍光輝点が共通する点像ＩＰ及び線像ＩＳのＸ方向の輝度分布の例を示した。点像ＩＰの輝度最大値は、線像ＩＳの輝度最大値よりも大きい。本実施形態では、このうち点像ＩＰを検出し、その点像ＩＰのＣＣＤ座標（Ｘ，ｙ）を変換することにより、蛍光輝点の標本座標（ｘ，ｙ）を取得し、その点像ＩＰに対応する線像ＩＳの輝度分布のＣＣＤ座標（Ｘ）を変換することにより、蛍光輝点の発光スペクトルＩ（λ）を取得する（詳細は後述）。
【００３５】
以下、本装置の各部の設計例を説明する。
【００３６】
先ず、標本１０Ａにおける観察視野の径は、８０μｍであり、対物レンズ１７から撮像面までのトータルの倍率は１００倍であり、レンズ１４ｂ及びレンズ２０からなる光学系の倍率は１倍である。よって、観察視野の非分光像ＩＦＰの径は８ｍｍとなり、観察視野の分光像ＩＦＳの径は８ｍｍ＋αとなる。
【００３７】
また、回折格子１８は、溝本数が１００本／ｍｍの透過型回折格子である。中心波長が５３０ｎｍであり、半値全幅が約５０ｎｍであるスペクトルを有した蛍光を入射角度０度で回折格子１８へ入射させたとき、その回折格子１８で発生する０次回折光と１次回折光との角度差は、約３度であり、その１次回折光の拡がり角度は約０．３度である。
【００３８】
また、レンズ２０の焦点距離は、１００ｍｍである。よって、その０次回折光が撮像面上に形成する点像ＩＰと、その１次回折光が撮像面に形成する線像ＩＳとの分離量は、約５ｍｍであり、その線像ＩＳのＸ方向の拡がり幅は、約０．５ｍｍである。
【００３９】
したがって、前述した活性化密度（観察視野内に点在する蛍光輝点は１〜５個）によると、互いに異なる線像ＩＳ同士が撮像面上で重なる虞は無い。なお、本実施形態では簡単のため、活性化密度は十分に低いもの（観察視野内に点在する蛍光輝点は１〜３個）と仮定し、撮像面上の同一ライン上に形成される線像ＩＳの個数は、多くても１個とする。なお、ここでいう「ライン」は、撮像面上でＸ方向に延びる各ラインのことを指す。
【００４０】
また、撮像面は、観察視野の非分光像ＩＦＰと観察視野の分光像ＩＦＳとの双方を最小限の面積でカバーできるようＸ方向に長い長方形状をしている。撮像面の画素ピッチは８μmであり、撮像面のＸ方向の画素数は２０４８であり、Ｘ方向に垂直なＹ方向の画素数は１０２４である。よって、撮像面のＸ方向のサイズは約１６ｍｍ、撮像面のＹ方向のサイズは約８ｍｍとなる。
【００４１】
したがって、本実施形態のＥＭ−ＣＣＤ２１は、観察視野の非分光像ＩＦＰと観察視野の分光像ＩＦＳとの双方を一括で検出することができる。
【００４２】
図５は、コントロールユニット３０による測定処理のフローチャートである。以下、図５の各ステップを順に説明する。
【００４３】
ステップＳ１１：コントロールユニット３０は、画像番号ｊを初期値１に設定する。
【００４４】
ステップＳ１２：コントロールユニット３０は、活性化レーザ光源１２１を適当なパワーでオンすることにより観察視野内に存在する蛍光蛋白質を前述した活性化密度で活性化し、その後、活性化レーザ光源１２１をオフする。
【００４５】
ステップＳ１３：コントロールユニット３０は、励起レーザ光源１２２を適当なパワーでオンし、その状態でＥＭ−ＣＣＤ２１を駆動して画像を取り込み、取り込んだ画像を、画像番号ｊに対応する画像Ｉｊとしてメモリへ格納する。なお、本ステップにおける励起レーザ光源１２２のパワーは、活性化中の蛍光分子を励起するのに必要な最小限の値に設定される。また、励起レーザ光源１２２をオンするタイミングは、活性化レーザ光源１２１をオンするタイミングと同じであっても構わない。
【００４６】
ステップＳ１４：コントロールユニット３０は、励起レーザ光源１２２のパワーを高い値に切り換えてから所定期間が経過するのを待機し、その後、励起レーザ光源１２２をオフする。なお、本ステップにおける励起レーザ光源１２３のパワー及び待機期間は、活性化中の蛍光分子を褪色させるのに必要な十分に高い値に設定される。
【００４７】
ステップＳ１５：コントロールユニット３０は、画像番号ｊが最終値に達しているか否かを判別する。コントロールユニット３０は、画像番号ｊが最終値に達していない場合にはステップＳ１６へ移行し、画像番号ｊが最終値に達していた場合には、フローを終了する。なお、ここでは、画像の取得枚数を１００とするために、画像番号ｊの最終値は、１００に設定されたと仮定する。
【００４８】
ステップＳ１６：コントロールユニット３０は、画像番号ｊをインクリメントしてからステップＳ１２に戻り、次の画像の取得を開始する。
【００４９】
以上の結果、コントロールユニット３０のメモリには、１００枚の画像Ｉｊ（ｊ＝１〜１００）が格納される。
【００５０】
図６は、コントロールユニット３０によるスペクトル抽出処理のフローチャートである。なお、スペクトル抽出処理の実行に先立ち、コントロールユニット３０のメモリには前述した１００枚の画像Ｉｊ（ｊ＝１〜１００）が格納されており、かつ、それら１００枚の画像Ｉｊ（ｊ＝１〜１００）に対応する１００個のスペクトル画像Ｉｊ’（ｊ’＝１〜１００）の記憶領域が用意されているものと仮定する。なお、ｊ番目のスペクトル画像Ｉｊ’は、ｊ回目の画像取得時に標本１０Ａで発生した蛍光のスペクトルを、標本座標（ｘ，ｙ）毎に示すものである。
【００５１】
以下、図６の各ステップを順に説明する。
【００５２】
ステップＳ２１：コントロールユニット３０は、画像番号ｊを初期値１に設定する。
【００５３】
ステップＳ２２：コントロールユニット３０は、ライン番号ｍを初期値１に設定する。なお、ライン番号ｍとは、画像Ｉｊ上のｍ番目のラインＬｍの番号である。
【００５４】
ステップＳ２３：コントロールユニット３０は、画像番号ｊに対応する画像Ｉｊをメモリから読み出し、その画像Ｉｊにおけるｍ番目のラインＬｍの各位置の輝度を閾値と比較することにより、そのラインＬｍ上に点像ＩＰが存在しているか否かを判別し、存在していたならばステップＳ２４へ移行し、存在していなければステップＳ２６へ移行する。なお、本ステップの閾値は、例えば、比較的暗い点像の輝度と比較的明るい線像の輝度との間の値（例えば、図４の符号Ｔｈで示す値。）に設定される。なお、ラインＬｍ上の点像ＩＰが存在しているか否かの判別は、他の方法で行われてもよい。例えば、ラインＬｍの微分データ中に閾値を超える画素が存在するか否かによって判別が行われてもよい。
【００５５】
ステップＳ２４：コントロールユニット３０は、ラインＬｍ上で輝度が最大となる画素のＣＣＤ座標を、点像ＩＰの存在しているＣＣＤ座標（Ｘ０，Ｙ０）として認識し、ラインＬｍのうち、そのＣＣＤ座標（Ｘ０，Ｙ０）の＋Ｘ側に延在する所定画素分（例えば６３０画素分）の部分ラインＬｍ’を参照する。この部分ラインＬｍ’は、その点像ＩＰと発生元蛍光輝点が共通する線像ＩＳの輝度分布を示している。
【００５６】
ステップＳ２５：コントロールユニット３０は、部分ラインＬｍ’に含まれる各画素のＣＣＤ座標Ｘを波長λへ変換することにより、点像ＩＰ及び線像ＩＳの発光元となった蛍光輝点の発光スペクトルＩ（λ）を取得する。また、コントロールユニット３０は、点像ＩＰのＣＣＤ座標（Ｘ０，Ｙ０）を蛍光輝点の標本座標（ｘ，ｙ）へ変換する。そして、コントロールユニット３０は、メモリ上に用意されたスペクトル画像Ｉｊ’の標本座標（ｘ，ｙ）に対し、本ステップで取得したスペクトルＩ（λ）を対応付ける。
【００５７】
なお、本ステップにおけるＣＣＤ座標Ｘから波長λへの変換には、次式が使用される。但し、ｆはレンズ１４ｂの焦点距離であり、Ｐｇは回折格子１８の格子ピッチであり、Ｐｃｃｄは画素ピッチである。
【００５８】
【数１】
【００５９】
また、本ステップにおけるＣＣＤ座標（Ｘ０，Ｙ０）から標本座標（ｘ，ｙ）への変換には、次式が使用される。但し、Ｍは標本面から視野絞り面までの倍率である。
【００６０】
ｘ＝Ｘ０Ｐｃｃｄ／Ｍ
ｙ＝Ｙ０Ｐｃｃｄ／Ｍ
ステップＳ２６：コントロールユニット３０は、ライン番号ｍが最終値に達したか否かを判別し、達していなかった場合にはステップＳ２７へ移行し、達していた場合にはステップＳ２８へ移行する。
【００６１】
ステップＳ２７：コントロールユニット３０は、ライン番号ｍをインクリメントしてからステップＳ２３に戻り、次のラインの処理を開始する。
【００６２】
ステップＳ２８：コントロールユニット３０は、画像番号ｊが最終値（１００）に達したか否かを判別し、達していなかった場合にはステップＳ２９へ移行し、達していた場合にはフローを終了する。
【００６３】
ステップＳ２９：コントロールユニット３０は、画像番号ｊをインクリメントしてからステップＳ２２に戻り、次の画像の処理を開始する。
【００６４】
以上の結果、コントロールユニット３０のメモリには、１００個のスペクトル画像Ｉｊ’（ｊ’＝１〜１００）が蓄積されることになる。
【００６５】
図７は、コントロールユニット３０によるスペクトル解析処理のフローチャートである。なお、スペクトル解析処理の実行に先立ち、コントロールユニット３０のメモリには、前述した１００個のスペクトル画像Ｉｊ’（ｊ’＝１〜１００）と、Ｍ種類の蛍光蛋白質のリファレンススペクトルＳ１〜ＳＭとが格納されているものと仮定する。なお、リファレンススペクトルＳ１〜ＳＭの各々は、次式のとおり列ベクトルで表される。列ベクトルの各成分は、リファレンススペクトルの各波長における強度を示す。
【００６６】
【数２】
【００６７】
以下、図７の各ステップを順に説明する。
【００６８】
ステップＳ３１：コントロールユニット３０は、画像番号ｊを初期値１に設定する。
【００６９】
ステップＳ３２：コントロールユニット３０は、画像番号ｊに対応するスペクトル画像Ｉｊ’をメモリから読み出し、そのスペクトル画像Ｉｊ’の個々の標本座標（ｘ，ｙ）に対応付けられたスペクトルＩ（λ）をそれぞれアンミックスする。なお、個々の標本座標（ｘ，ｙ）に関するアンミックスは、例えば次の手順（ａ）〜（ｄ）によって行われる。なお、このアンミックスは、線形最小二乗法によるアンミックスである。
【００７０】
（ａ）コントロールユニット３０は、Ｍ個のリファレンススペクトルＳ１〜ＳＭを、纏めて次式のとおり１つの行列Ｓで表す。
【００７１】
【数３】
【００７２】
（ｂ）コントロールユニット３０は、標本座標（ｘ，ｙ）のスペクトルＩ（λ）（以下、「観測スペクトルＩ（λ）」と称す。）を次式のとおり１つの列ベクトルＩで表す。列ベクトルＩの各成分は、観測スペクトルＩ（λ）の各波長における強度を示す。また、列ベクトルＩの成分数Ｎは、蛍光蛋白質の種類数Ｍより十分に多く設定される。
【００７３】
【数４】
【００７４】
（ｃ）コントロールユニット３０は、標本座標（ｘ，ｙ）に対するＭ種類の蛍光蛋白質の寄与率ｐ１〜ｐＭを、次式のとおり１つの列ベクトルＰで表す。
【００７５】
【数５】
【００７６】
この場合、以下の関係が成り立つ。
【００７７】
Ｉ＝Ｓ・Ｐ …（１）
よって、以下の関係が成り立つ（但し、［Ａ］ｔはＡの転置行列である。）。
【００７８】
Ｐ＝（ＳｔＳ）−１ＳｔＩ …（１’）
（ｄ）コントロールユニット３０は、行列Ｓと、列ベクトルＩと、式（１’）とに基づく最小二乗法により、列ベクトルＰの各成分ｐ１〜ｐＭを既知とする（以上、手順（ｄ））。
【００７９】
したがって、本ステップによれば、全ての標本座標（ｘ，ｙ）の各々に関するＭ種類の蛍光蛋白質の寄与率ｐ１〜ｐＭが既知となる（以上、ステップＳ３２）。
【００８０】
ステップＳ３３：コントロールユニット３０は、ステップＳ３２で取得した全ての標本座標（ｘ，ｙ）の各々に関するＭ種類の寄与率ｐ１〜ｐＭを、蛍光蛋白質の種類毎に纏めることにより、画像番号ｊに関するＭ枚の寄与率画像Ｐｊ１〜ＰｊＭを作成する。
【００８１】
ステップＳ３４：コントロールユニット３０は、画像番号ｊが最終値（１００）に達したか否かを判別し、達していなかった場合にはステップＳ３５へ移行し、達していた場合にはステップＳ３６へ移行する。
【００８２】
ステップＳ３５：コントロールユニット３０は、画像番号ｊをインクリメントしてからステップＳ３２へ戻る。したがって、Ｍ枚の寄与率画像Ｐｊ１〜ＰｊＭは、トータルで１００組分作成されることになる。
【００８３】
ステップＳ３６：コントロールユニット３０は、１００組の寄与率画像Ｐｊ１〜ＰｊＭ（ｊ＝１〜１００）を、蛍光蛋白質の種類毎に合成することにより、Ｍ枚の合成寄与率画像Ｐ１〜ＰＭを作成し、それらＭ枚の合成寄与率画像Ｐ１〜ＰＭを、標本１０Ａの観察データとしてメモリへ格納する。
【００８４】
以上、本実施形態の装置は、対物レンズ１７の瞳面に分光素子（ここでは回折格子１８）を配することにより、撮像面上に点在する蛍光輝点像の各々を、拡がりを持った分光像とするので（図３参照）、標本１０Ａ内に点在していた蛍光輝点の各々の発光スペクトルを、撮像面上に点在する線像として一括に取得することができる。
【００８５】
したがって、本実施形態の標本１０Ａには蛍光波長域の互いに重複する複数の光活性化蛍光蛋白質（ＰＡ−ＧＦＰ、Ｄｒｏｎｐａ）が使用されているにも拘わらず、同時励起観察が可能である。
【００８６】
また、本実施形態の装置は、線像の拡がり量と、活性化密度との関係を、前述したとおり適切に設定しているので、互いに異なる２つの線像同士が撮像面上で重なる可能性は無い。したがって、本実施形態のコントロールユニット３０は、観察視野に点在していた蛍光輝点の各々の発光スペクトルを上述したとおり簡単に求めることができる。
【００８７】
また、本実施形態の装置は、分光素子として回折格子１８を使用することにより、撮像面上に線像と点像との双方を形成する。したがって、本実施形態のコントロールユニット３０は、線像及び点像の発生元となった共通の蛍光輝点の標本座標（ｘ，ｙ）を、点像のＣＣＤ座標（Ｘ０，Ｙ０）のみから簡単に算出することができる。
【００８８】
また、本実施形態のコントロールユニット３０は、個々の蛍光輝点の発光スペクトルに対してスペクトルアンミックスの処理を施すので、蛍光輝点に寄与する蛍光蛋白質の種類を同定したり、蛍光輝点に対する複数の蛍光蛋白質の寄与率を既知としたりすることができる。
【００８９】
［第２実施形態］
以下、本発明に係るＰＡＬＭ装置の第２実施形態を説明する。ここでは、第１実施形態との相違点のみを説明する。
【００９０】
図８は、本実施形態のＰＡＬＭ装置の構成図である。図８に示すとおり、本実施形態では回折格子１８の代わりにプリズム２２１が使用される。また、本実施形態では、プリズム２２１の生成する線像が撮像面から外れないよう、レンズ２０及びＥＭ−ＣＣＤ２１は、図８に示すとおり傾斜した姿勢で配置される。
【００９１】
ここで、プリズム２２１の材質がＳＦ１０であったとすると、プリズム２２１の頂角を４５度に設定すれば、撮像面上に蛍光輝点の線像を形成する各蛍光の拡がり角度（スペクトル拡がり）を、第１実施形態のそれと同じにすることができる。
【００９２】
なお、プリズム２２１は回折格子１８とは異なり０次回折光に相当する光が発生しないので、撮像面上に蛍光輝点の点像は生起しない。このため、本実施形態のコントロールユニット３０は、蛍光輝点の標本座標（ｘ，ｙ）の算出を、蛍光輝点の線像に基づき行う必要がある。
【００９３】
ここで、プリズム２２１の頂角をαとおき、波長λにおけるプリズム２２１の屈折率をｎ（λ）とおき、基準波長（５３０ｎｍ）におけるプリズム２２１の屈折率をｎ０とおくと、標本座標（ｘ，ｙ）に位置する蛍光輝点から射出した波長λの蛍光が到達するＣＣＤ座標（Ｘ，Ｙ）は、次式（２）で表される。
【００９４】
【数６】
【００９５】
よって、本実施形態のコントロールユニット３０は、この式（２）に基づくことにより、蛍光輝点の線像から蛍光輝点の標本座標（ｘ，ｙ）を算出することができる。
【００９６】
但し、標本座標（ｘ，ｙ）のうち、特に標本座標ｘの算出には式（２）をそのまま使用することが難しいので、式（２）の代わりに、式（２）から導出される対応表を使用することが望ましい。この対応表は、蛍光蛋白質の種類毎に用意され、コントロールユニット３０のメモリに予め記憶される。メモリに予め記憶される対応表の個数は、蛍光蛋白質の種類数と同じくＭである。
【００９７】
Ｍ個の対応表の各々には、図９に示すとおり、蛍光輝点の標本座標ｘと、その蛍光輝点が撮像面上の対応ラインに与える輝度分布Ｌｘ（以下、「リファレンスラインＬｘ」と称す。）とが、互いに対応づけられて格納されている。この対応表において、リファレンスラインＬｘは、全ての標本座標ｘの各々について格納されている。上述したとおり、撮像面のＸ方向の画素数は２０４８なので、ここでは、１つの対応表に含まれるリファレンスラインＬｘの個数を、２０４８個とする。なお、図９では、分かりやすくするためにリファレンスラインＬｘに含まれる各画素の輝度を濃度で表したが、実際の対応表では、各画素の輝度は数値によって表される。また、個々のリファレンスラインＬｘは、本装置から実測されたもの、或いは、本装置の設計データに基づくシミュレーションによって取得されたものである。
【００９８】
本実施形態のコントロールユニット３０は、Ｍ個の対応表に基づくスペクトルアンミックス（以下、「拡張スペクトルアンミックス」と称す。）により、線像の存在するラインＬｍから、その線像の発光元となった蛍光輝点の標本座標（ｘ，ｙ）と、その蛍光輝点に対するＭ種類の蛍光蛋白質の寄与率とを、一緒に算出する。
【００９９】
先ず、蛍光輝点に寄与する蛍光蛋白質の種類数が１である場合に適用可能な拡張スペクトルアンミックスは、次の手順（ａ’）〜（ｃ’）からなる。
【０１００】
（ａ’）コントロールユニット３０は、Ｍ個の対応表の中から、ラインＬｍの輝度分布と最も類似した輝度分布を持つリファレンスラインＬｘを見出し、そのリファレンスラインＬｘに対応づけられた標本座標を、蛍光輝点の標本座標ｘとみなす。
【０１０１】
（ｂ’）コントロールユニット３０は、ラインＬｍのＣＣＤ座標Ｙを式（２）へ当てはめることにより、蛍光輝点の標本座標ｙを算出する。これによって、蛍光輝点の標本座標（ｘ，ｙ）が既知となる。
【０１０２】
（ｃ’）コントロールユニット３０は、リファレンスラインＬｘの属していた対応表の種類により、蛍光輝点に寄与した蛍光蛋白質の種類を同定し、リファレンスラインＬｘに対するラインＬｍの輝度比を、その蛍光輝点に対するその蛍光蛋白質の寄与率として求める（以上、種類数が１である場合に適用可能な拡張スペクトルアンミックスの手順）。
【０１０３】
一方、蛍光輝点に寄与する蛍光蛋白質の種類数が２以上である場合に適用される拡張スペクトルアンミックスは、次の手順（ａ”）〜（ｇ”）からなる。
【０１０４】
（ａ”）コントロールユニット３０は、Ｍ種類の対応表に含まれるＭ×２０４８個のリファレンスラインＬｘ１〜Ｌｘ２０４８を、それぞれ列ベクトルで表す。なお、Ｍ×２０４８個のリファレンスラインＬｘ１〜Ｌｘ２０４８の各々は、列ベクトルで表され、列ベクトルの各成分は、リファレンスラインの各ＣＣＤ座標Ｘにおける輝度を示す。なお、個々の列ベクトルの成分数Ｎは、蛍光蛋白質の種類数Ｍより十分に多く設定される。
【０１０５】
（ｂ”）コントロールユニット３０は、Ｍ×２０４８個のリファレンスラインＬｘ１〜Ｌｘ２０４８を、纏めて１つの行列Ｓで表す。
【０１０６】
（ｃ”）コントロールユニット３０は、ラインＬｍの輝度分布（以下、「観測輝度分布Ｌｍ（Ｘ）」と称す。）を、１つの列ベクトルＩで表す。列ベクトルＩの各成分は、観測輝度分布Ｌｍ（Ｘ）の各ＣＣＤ座標Ｘにおける輝度を示す。また、列ベクトルＩの成分数Ｎは、蛍光蛋白質の種類数Ｍより十分に多く設定される。
【０１０７】
（ｄ”）コントロールユニット３０は、ラインＬｍ上の２０４８個のＸ座標の各々に対するＭ種類の蛍光蛋白質の寄与率ｐ１１〜ｐＭ２０４８を、１つの列ベクトルＰで表す。この場合、上述した式（１），（１’）が成り立つ。
【０１０８】
（ｅ”）コントロールユニット３０は、行列Ｓと、列ベクトルＩと、式（１’）とに基づく最小二乗法により、列ベクトルＰの各成分ｐ１１〜ｐＭ２０４８を既知とする。
【０１０９】
（ｆ”）コントロールユニット３０は、手順（ｄ”）で既知とした成分ｐ１１〜ｐＭ２０４８によって表される列ベクトルＰと、行列Ｓとを、式（１）へ当てはめることにより、列ベクトルＩを合成する。そして、コントロールユニット３０は、合成された列ベクトルＩと、観測輝度分布Ｌｍ（Ｘ）の列ベクトルＩとを比較し、両者の差（残差）が最小となるような標本座標ｘを見出し、その標本座標ｘを、蛍光輝点の標本座標ｘとみなす。
【０１１０】
（ｇ”）コントロールユニット３０は、ラインＬｍのＣＣＤ座標Ｙを式（２）へ当てはめることにより、蛍光輝点の標本座標ｙを算出する。これによって、蛍光輝点の標本座標（ｘ，ｙ）が既知となる（以上、種類数が２以上である場合に適用される拡張スペクトルアンミックスの手順）。
【０１１１】
なお、以上の拡張スペクトルアンミックスは、第１実施形態へ適用することも可能である。拡張スペクトルアンミックスを適用すれば、点像が撮像面から外れたり、互いに異なる線像同士が撮像面上で重複したりすることを許容できる。
【０１１２】
また、本実施形態の装置は、次のように変形することも可能である。
【０１１３】
すなわち、プリズム２２１へ向かう蛍光をプリズム２２１の直前で二つに分岐する分岐素子を配置し、分岐された蛍光の一方については、プリズム２２１を介して撮像面上に結像させ、他方については、プリズム２２１を介さずに撮像面上に結像させる。このうち、プリズム２２１を介して結像する蛍光は、撮像面上に分光像を形成し、プリズム２２１を介さずに結像する蛍光は、撮像面上に非分光像を形成する。
【０１１４】
このようにして非分光像を形成した場合、本実施形態のコントロールユニット３０は、蛍光輝点の標本座標（ｘ，ｙ）と、その蛍光輝点の発光スペクトルＩ（λ）とを、第１実施形態のコントロールユニット３０と同様の手順で算出することができる。
【０１１５】
但し、本実施形態の装置では、回折格子１８の代わりにプリズム２２１が使用されているので、ＣＣＤ座標Ｘから波長λへの変換には、次式が使用される。
【０１１６】
【数７】
【０１１７】
具体的には、本実施形態のコントロールユニット３０は、この式による反復計算等により屈折率ｎ（λ）を算出してから、波長λを求めることになる。
［蛍光蛋白質の種類の補足］
上述した何れかの実施形態では、標本１０Ａに使用される蛍光蛋白質を、ＰＡ−ＧＦＰとＤｒｏｎｐａとの組み合わせとした。ＰＡ−ＧＦＰとＤｒｏｎｐａとは、互いの励起波長がほぼ等しいため同時励起が可能であるという利点があるのに対し、互いの蛍光波長の極大波長が１ｎｍ程度しか離れていないため、従来は同時励起観察が困難とされていた。しかし、上述した何れかの実施形態によると、確実に同時励起観察を行うことが可能である。
【０１１８】
なお、ＰＡ−ＧＦＰとＤｒｏｎｐａとの組み合わせ以外に、ＰＳ−ＣＦＰ２とＤｒｏｎｐａの組み合わせや、ＰＳ−ＣＦＰ２とＰＡ−ＧＦＰとの組み合わせも採用することが可能である。これらの組み合わせは、互いの励起波長はやや離れているが、４９０ｎｍ〜５００ｎｍの波長で同時励起が可能であり、蛍光の極大波長が６〜７ｎｍ離れているので、使い易い。因みに、ここで挙げた各種の蛍光蛋白質は、何れも４００ｎｍ前後の光により活性化することが可能である。
【符号の説明】
【０１１９】
１２１…活性化レーザ光源、１２２…励起レーザ光源、１０１…ダイクロイックミラー、１３…レンズ、１５…ダイクロイックミラー、１７…対物レンズ、１１…サンプルステージ、１４…リレー光学系、１８…回折格子、２０…レンズ、２１…ＥＭ−ＣＣＤ、３０…コントロールユニット
【技術分野】
【０００１】
本発明は、ＰＡＬＭ（Photoactivation Localization Microscopy）又はＳＴＯＲＭ（Stochastic Optical Reconstruction Microscopy）の原理を利用した顕微鏡、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
近年提案されたＰＡＬＭあるいはＳＴＯＲＭは、通常の共焦点顕微鏡よりも分解能の高い顕微鏡として知られている（非特許文献１、２等を参照）。ＰＡＬＭとＳＴＯＲＭは原理的にはほぼ同一の技術なので、以下ＰＡＬＭを例に説明する。
【０００３】
ＰＡＬＭの被観察物である細胞は、活性化されているときにのみ蛍光を発することが可能な蛍光蛋白質（光活性化蛍光蛋白質）で標識される。ＰＡＬＭは、その被観察物へ適当な強度の活性化光を照射することにより、被観察物に含まれる蛍光分子を適当な活性化密度で活性化し、さらに被観察物へ励起光を照射することにより、被観察物に含まれる蛍光分子の分布を画像として検出し、さらに被観察物へ不活性化光（又は高強度の励起光）を照射することにより、活性化中の蛍光分子を不活性化（又は褪色）させる。
【０００４】
ＰＡＬＭは、これらの活性化、励起、検出、不活性化（又は褪色）を繰り返すことにより複数の画像を取得する。これらの画像には、互いに近接していた複数の蛍光分子の像が個別に反映されることになる。よって、これら複数の画像を適切に合成すれば、被観察物上の蛍光強度分布を高い分解能（例えば１０ｎｍの分解能）で観察することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Samuel T. Hess et al. "Ultra-High Resolution Imaging by Fluorescence Photoactivation Localization Microscopy", Biophysical Journal, December 2006, Vol. 91, pp. 4258-4272
【非特許文献２】Eric Betzig et al. "Imaging Intracellular Flourescent Proteins at Nanometer Resolution" SCIENCE, Vol. 313, 15 September 2006, pp. 1642-1645
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ＰＡＬＭにおいても通常の共焦点顕微鏡と同様、複数種類の光活性化蛍光蛋白質を使用し、被観察物に含まれる複数種類の蛍光分子を同時に励起して観察すること（同時励起観察）が望まれる。
【０００７】
しかしながら、従来のＰＡＬＭで同時励起観察を行おうとしたならば、被観察物で発生する他種類の蛍光を分離可能とするために、複数種類の光活性化蛍光蛋白質として蛍光波長域がなるべく重複していないもの同士を選定しなければならなかった。
【０００８】
そこで本発明は、蛍光波長域の互いに重複する複数種類の光活性化蛍光物質が被観察物に含まれていたとしても同時励起観察を行うことが可能な顕微鏡、それに好適な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の顕微鏡を例示する一態様は、被観察物に含まれる光活性化蛍光物質を所定の活性化密度で活性化する活性化手段と、前記被観察物に含まれる活性化中の光活性化蛍光物質を励起することにより、前記被観察物内に蛍光輝点を点在させる励起手段と、前記被観察物の蛍光像を所定の撮像面上に形成することにより、前記撮像面内に蛍光輝点像を点在させる結像光学系と、前記被観察物から前記撮像面へ向かう蛍光を所定の分光量で分光することにより、前記撮像面内に点在する蛍光輝点像の各々を、空間的拡がりを持った分光像とする分光手段と、前記蛍光像の輝度分布を示す画像を取得する撮像手段とを備える。
【００１０】
また、本発明の画像処理装置を例示する一態様は、前記画像内に点在する分光像の各々の輝度分布に基づき、前記被観察物内に点在した蛍光輝点の各々の発光スペクトルを求める演算手段を備える。
【００１１】
また、本発明の画像処理方法を例示する一態様は、前記画像内に点在する分光像の各々の輝度分布に基づき、前記被観察物内に点在した蛍光輝点の各々の発光スペクトルを求める演算手順を含む。
【発明の効果】
【００１２】
本発明によれば、蛍光波長域の互いに重複する複数種類の光活性化蛍光物質が被観察物に含まれていたとしても同時励起観察を行うことが可能な顕微鏡、それに好適な画像処理装置及び画像処理方法が実現する。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態のＰＡＬＭ装置の構成図である。
【図２】リファレンススペクトルＳ１〜ＳＭの概念図である。
【図３】観察視野の非分光像ＩＦＰ及び分光像ＩＦＳを示す図である。
【図４】発光元蛍光輝点が共通する点像ＩＰｋ及び分光像ＩＳｋのＸ方向の輝度分布の例である。
【図５】コントロールユニット３０による測定処理のフローチャートである。以下、図５の各ステップを順に説明する。
【図６】コントロールユニット３０によるスペクトル抽出処理のフローチャートである。
【図７】コントロールユニット３０によるスペクトル解析処理のフローチャートである。
【図８】第２実施形態のＰＡＬＭ装置の構成図である。
【図９】或る蛍光蛋白質に関する対応表を説明する図である。
【発明を実施するための形態】
【００１４】
［第１実施形態］
以下、本発明に係るＰＡＬＭ装置を第１実施形態として説明する。
【００１５】
図１は、本実施形態のＰＡＬＭ装置の構成図である。図１に示されているとおり、本装置には活性化レーザ光源１２１と、励起レーザ光源１２２と、ダイクロイックミラー１０１と、レンズ１３と、ダイクロイックミラー１５と、対物レンズ１７と、サンプルステージ１１と、リレー光学系１４と、回折格子１８と、レンズ２０と、ＥＭ−ＣＣＤ(Electron Multiplying CCD)２１と、コントロールユニット３０とが備えられる。
【００１６】
サンプルステージ１１には、標本１０Ａが配置される。標本１０Ａは、複数種類の光活性化蛍光蛋白質で標識された生体細胞である。標本１０Ａの標識に使用された光活性化蛍光蛋白質は、例えばＰＡ−ＧＦＰ、Ｄｒｏｎｐａの２種類である。ＰＡ−ＧＦＰ及びＤｒｏｎｐａの活性化波長は、４００ｎｍの近傍であり、ＰＡ−ＧＦＰ及びＤｒｏｎｐａの励起波長は、５００ｎｍの近傍であり、ＰＡ−ＧＦＰ及びＤｒｏｎｐａの蛍光波長は６００ｎｍの近傍である。
【００１７】
コントロールユニット３０のメモリには、様々な種類の蛍光蛋白質（ここではＭ種類の蛍光蛋白質）に固有の蛍光スペクトルの情報として、リファレンススペクトルＳ１〜ＳＭ（図２参照）が予め格納されており、リファレンススペクトルＳ１〜ＳＭの中には、標本１０Ａに使用されたＰＡ−ＧＦＰ及びＤｒｏｎｐａの各々のリファレンススペクトルも含まれている。
【００１８】
活性化レーザ光源１２１から射出する活性化レーザ光の波長は、ＰＡ−ＧＦＰ及びＤｒｏｎｐａを活性化する約４００ｎｍに設定されており、励起レーザ光源１２２から射出する励起レーザ光の波長は、ＰＡ−ＧＦＰ及びＤｒｏｎｐａを励起する約５００ｎｍに設定されている。また、ダイクロイックミラー１０１の波長特性は、５００ｎｍ及びその近傍の波長に対して透過性を示し、４００ｎｍ及びその近傍に対して反射性を示すように設定されている。
【００１９】
活性化レーザ光源１２１から射出した活性化レーザ光は、ダイクロイックミラー１０１を反射し、励起レーザ光源１２２から射出した励起レーザ光は、ダイクロイックミラー１０１を透過し、両者は同一の光路へ導かれる。同一の光路へ導かれた活性化レーザ光及び励起レーザ光は、レンズ１３によって緩やかに集光されながら、ダイクロイックミラー１５へ入射する。なお、ダイクロイックミラー１５の波長特性は、５００ｎｍ以下の波長に対して反射性を示し、５００ｎｍを超過する波長に対して透過性を示すように設定されている。
【００２０】
ダイクロイックミラー１５へ入射した活性化レーザ光及び励起レーザ光は、ダイクロイックミラー１５を反射し、対物レンズ１７の瞳面上に集光する。対物レンズ１７の瞳面上に集光した励起レーザ光及び活性化レーザ光は、対物レンズ１７の先端から射出し、標本１０Ａ上の円形領域へ照射される。標本１０Ａの観察視野内に存在する幾つかの蛍光分子が光り活性化レーザ光の照射により活性化される。
【００２１】
ここで、活性化レーザ光源１２１のパワー（活性化レーザ光の強度）は、標本１０Ａ上で活性化される蛍光分子の配置密度（活性化密度）が適切になるよう予め設定されている。本実施形態では、観察視野中で同時に活性化される蛍光分子が数個（１〜５個）となるようその設定が行われる。
【００２２】
観察視野内で活性化中の蛍光分子は、励起レーザ光の照射により励起され、蛍光輝点となり、それぞれ蛍光（５００〜７００ｎｍの波長範囲の蛍光）を発する。観察視野で発生した蛍光は、先端側から対物レンズ１７へ入射し、対物レンズ１７を通過した後、ダイクロイックミラー１５へ入射する。ダイクロイックミラー１５へ入射した蛍光は、そのダイクロイックミラー１５を透過し、リレー光学系１４へ入射する。
【００２３】
リレー光学系１４へ入射した蛍光は、リレー光学系１４の一方のレンズ１４ａにより集光され、観察視野の蛍光像（中間像）を形成する。図１において、符号１４ｃで示したのは、中間像の形成面に配置された視野絞りである。視野絞り１４ｃを通過した蛍光は、発散しながらリレー光学系１４の他方のレンズ１４ｂへ入射し、平行光束となる。
【００２４】
平行光束となった蛍光は、対物レンズ１７の瞳面に配置された回折格子１８へ入射し、各次数の回折光に分離される。なお、回折格子１８は、０次回折光及び＋１次回折光の回折効率が、その他の回折光と比べて十分に高くなるように設計されているものとする。よって以下では、その他の回折光を無視する。回折格子１８で０次回折光及び１次回折光は、レンズ２０によって集光され、ＥＭ−ＣＣＤ２１の撮像面上に観察視野の蛍光像を形成する。なお、本実施形態では、０次回折光と１次回折光との双方が撮像面上に到達するので、撮像面上に形成される蛍光像には、０次回折光による蛍光像（非分光像）と、１次回折光による蛍光像（分光像）との２種類がある（詳細は後述）。
【００２５】
ＥＭ−ＣＣＤ２１は、撮像面上の輝度分布を示す画像を取得し、その画像をコントロールユニット３０へ出力する。なお、ＥＭ−ＣＣＤ２１による画像取得のタイミングは、コントロールユニット３０によって制御される。
【００２６】
コントロールユニット３０は、ＥＭ−ＣＣＤ２１、活性化レーザ光源１２１、励起レーザ光源１２２を同期駆動する制御装置としての機能と、ＥＭ−ＣＣＤ２１が取得した画像を処理する画像処理装置としての機能とを有する。例えば、制御装置としてのコントロールユニット３０は、画像を取得する測定処理を実行し、画像処理装置としてのコントロールユニット３０は、その画像からスペクトルデータを抽出するスペクトル抽出処理や、そのスペクトルデータを解析するスペクトル解析処理などを実行する。これら各処理のプログラムは、コントロールユニット３０のメモリに予め格納され、必要に応じて実行される。コントロールユニット３０による各処理の詳細は、後述する。
【００２７】
なお、コントロールユニット３０の画像処理装置として機能は、コントロールユニット３０に接続された不図示のコンピュータに付加されてもよい。
【００２８】
図３は、撮像面上に形成された、観察視野の非分光像ＩＦＰ及び分光像ＩＦＳを示す図である。図３において符号Ｘで示す方向が回折による蛍光の分離方向である。
【００２９】
図３では、観察視野内に点在した蛍光輝点の個数が３であったときの様子を示している。この場合、観察視野の非分光像ＩＦＰには３つの蛍光輝点の非分光像ＩＰ１〜ＩＰ３が現れており、観察視野の分光像ＩＦＳには３つの蛍光輝点の分光像ＩＳ１〜ＩＳ３が現れている。
【００３０】
図３に示すとおり、蛍光輝点の非分光像ＩＰｋ（１〜３）の各々は点状であり、蛍光輝点の分光像ＩＳｋ（１〜３）の各々はＸ方向に長い線分状である。よって、以下では、蛍光輝点の非分光像を「点像」と称し、蛍光輝点の分光像を「線像」と称す。なお、前述した活性化密度と、１次回折光の拡がり量との関係は、適切に設定されているので、互いに異なる２つの線像ＩＳが重なることは無い。
【００３１】
図３に示した点像ＩＰｋ（１〜３）及び線像ＩＳｋ（１〜３）のうち、共通の添え字ｋが付与されているもの同士の間では、発光元蛍光輝点が共通する。発生元蛍光輝点が共通するもの点像ＩＰｋと線像ＩＳｋとの間では、ＣＣＤ座標Ｘのみが異なり、ＣＣＤ座標Ｙは共通である。
【００３２】
また、３つの点像ＩＰ１、ＩＰ２、ＩＰ３の位置関係は、それら点像ＩＰ１、ＩＰ２、ＩＰ３の発生元となった３つの蛍光輝点の位置関係（＝線像ＩＳ１、ＩＳ２、ＩＳ３の発生元となった３つの蛍光輝点の位置関係）を示している。
【００３３】
また、３つの線像ＩＳ１、ＩＳ２、ＩＳ３の各々の輝度分布は、点像ＩＰ１、ＩＰ２、ＩＰ３の各々のスペクトル、すなわち点像ＩＰ１、ＩＰ２、ＩＰ３の発生元（＝線像ＩＳ１、ＩＳ２、ＩＳ３の発生元）となった３つの蛍光輝点の各々の発光スペクトルを示している。
【００３４】
図４には、発生元蛍光輝点が共通する点像ＩＰ及び線像ＩＳのＸ方向の輝度分布の例を示した。点像ＩＰの輝度最大値は、線像ＩＳの輝度最大値よりも大きい。本実施形態では、このうち点像ＩＰを検出し、その点像ＩＰのＣＣＤ座標（Ｘ，ｙ）を変換することにより、蛍光輝点の標本座標（ｘ，ｙ）を取得し、その点像ＩＰに対応する線像ＩＳの輝度分布のＣＣＤ座標（Ｘ）を変換することにより、蛍光輝点の発光スペクトルＩ（λ）を取得する（詳細は後述）。
【００３５】
以下、本装置の各部の設計例を説明する。
【００３６】
先ず、標本１０Ａにおける観察視野の径は、８０μｍであり、対物レンズ１７から撮像面までのトータルの倍率は１００倍であり、レンズ１４ｂ及びレンズ２０からなる光学系の倍率は１倍である。よって、観察視野の非分光像ＩＦＰの径は８ｍｍとなり、観察視野の分光像ＩＦＳの径は８ｍｍ＋αとなる。
【００３７】
また、回折格子１８は、溝本数が１００本／ｍｍの透過型回折格子である。中心波長が５３０ｎｍであり、半値全幅が約５０ｎｍであるスペクトルを有した蛍光を入射角度０度で回折格子１８へ入射させたとき、その回折格子１８で発生する０次回折光と１次回折光との角度差は、約３度であり、その１次回折光の拡がり角度は約０．３度である。
【００３８】
また、レンズ２０の焦点距離は、１００ｍｍである。よって、その０次回折光が撮像面上に形成する点像ＩＰと、その１次回折光が撮像面に形成する線像ＩＳとの分離量は、約５ｍｍであり、その線像ＩＳのＸ方向の拡がり幅は、約０．５ｍｍである。
【００３９】
したがって、前述した活性化密度（観察視野内に点在する蛍光輝点は１〜５個）によると、互いに異なる線像ＩＳ同士が撮像面上で重なる虞は無い。なお、本実施形態では簡単のため、活性化密度は十分に低いもの（観察視野内に点在する蛍光輝点は１〜３個）と仮定し、撮像面上の同一ライン上に形成される線像ＩＳの個数は、多くても１個とする。なお、ここでいう「ライン」は、撮像面上でＸ方向に延びる各ラインのことを指す。
【００４０】
また、撮像面は、観察視野の非分光像ＩＦＰと観察視野の分光像ＩＦＳとの双方を最小限の面積でカバーできるようＸ方向に長い長方形状をしている。撮像面の画素ピッチは８μmであり、撮像面のＸ方向の画素数は２０４８であり、Ｘ方向に垂直なＹ方向の画素数は１０２４である。よって、撮像面のＸ方向のサイズは約１６ｍｍ、撮像面のＹ方向のサイズは約８ｍｍとなる。
【００４１】
したがって、本実施形態のＥＭ−ＣＣＤ２１は、観察視野の非分光像ＩＦＰと観察視野の分光像ＩＦＳとの双方を一括で検出することができる。
【００４２】
図５は、コントロールユニット３０による測定処理のフローチャートである。以下、図５の各ステップを順に説明する。
【００４３】
ステップＳ１１：コントロールユニット３０は、画像番号ｊを初期値１に設定する。
【００４４】
ステップＳ１２：コントロールユニット３０は、活性化レーザ光源１２１を適当なパワーでオンすることにより観察視野内に存在する蛍光蛋白質を前述した活性化密度で活性化し、その後、活性化レーザ光源１２１をオフする。
【００４５】
ステップＳ１３：コントロールユニット３０は、励起レーザ光源１２２を適当なパワーでオンし、その状態でＥＭ−ＣＣＤ２１を駆動して画像を取り込み、取り込んだ画像を、画像番号ｊに対応する画像Ｉｊとしてメモリへ格納する。なお、本ステップにおける励起レーザ光源１２２のパワーは、活性化中の蛍光分子を励起するのに必要な最小限の値に設定される。また、励起レーザ光源１２２をオンするタイミングは、活性化レーザ光源１２１をオンするタイミングと同じであっても構わない。
【００４６】
ステップＳ１４：コントロールユニット３０は、励起レーザ光源１２２のパワーを高い値に切り換えてから所定期間が経過するのを待機し、その後、励起レーザ光源１２２をオフする。なお、本ステップにおける励起レーザ光源１２３のパワー及び待機期間は、活性化中の蛍光分子を褪色させるのに必要な十分に高い値に設定される。
【００４７】
ステップＳ１５：コントロールユニット３０は、画像番号ｊが最終値に達しているか否かを判別する。コントロールユニット３０は、画像番号ｊが最終値に達していない場合にはステップＳ１６へ移行し、画像番号ｊが最終値に達していた場合には、フローを終了する。なお、ここでは、画像の取得枚数を１００とするために、画像番号ｊの最終値は、１００に設定されたと仮定する。
【００４８】
ステップＳ１６：コントロールユニット３０は、画像番号ｊをインクリメントしてからステップＳ１２に戻り、次の画像の取得を開始する。
【００４９】
以上の結果、コントロールユニット３０のメモリには、１００枚の画像Ｉｊ（ｊ＝１〜１００）が格納される。
【００５０】
図６は、コントロールユニット３０によるスペクトル抽出処理のフローチャートである。なお、スペクトル抽出処理の実行に先立ち、コントロールユニット３０のメモリには前述した１００枚の画像Ｉｊ（ｊ＝１〜１００）が格納されており、かつ、それら１００枚の画像Ｉｊ（ｊ＝１〜１００）に対応する１００個のスペクトル画像Ｉｊ’（ｊ’＝１〜１００）の記憶領域が用意されているものと仮定する。なお、ｊ番目のスペクトル画像Ｉｊ’は、ｊ回目の画像取得時に標本１０Ａで発生した蛍光のスペクトルを、標本座標（ｘ，ｙ）毎に示すものである。
【００５１】
以下、図６の各ステップを順に説明する。
【００５２】
ステップＳ２１：コントロールユニット３０は、画像番号ｊを初期値１に設定する。
【００５３】
ステップＳ２２：コントロールユニット３０は、ライン番号ｍを初期値１に設定する。なお、ライン番号ｍとは、画像Ｉｊ上のｍ番目のラインＬｍの番号である。
【００５４】
ステップＳ２３：コントロールユニット３０は、画像番号ｊに対応する画像Ｉｊをメモリから読み出し、その画像Ｉｊにおけるｍ番目のラインＬｍの各位置の輝度を閾値と比較することにより、そのラインＬｍ上に点像ＩＰが存在しているか否かを判別し、存在していたならばステップＳ２４へ移行し、存在していなければステップＳ２６へ移行する。なお、本ステップの閾値は、例えば、比較的暗い点像の輝度と比較的明るい線像の輝度との間の値（例えば、図４の符号Ｔｈで示す値。）に設定される。なお、ラインＬｍ上の点像ＩＰが存在しているか否かの判別は、他の方法で行われてもよい。例えば、ラインＬｍの微分データ中に閾値を超える画素が存在するか否かによって判別が行われてもよい。
【００５５】
ステップＳ２４：コントロールユニット３０は、ラインＬｍ上で輝度が最大となる画素のＣＣＤ座標を、点像ＩＰの存在しているＣＣＤ座標（Ｘ０，Ｙ０）として認識し、ラインＬｍのうち、そのＣＣＤ座標（Ｘ０，Ｙ０）の＋Ｘ側に延在する所定画素分（例えば６３０画素分）の部分ラインＬｍ’を参照する。この部分ラインＬｍ’は、その点像ＩＰと発生元蛍光輝点が共通する線像ＩＳの輝度分布を示している。
【００５６】
ステップＳ２５：コントロールユニット３０は、部分ラインＬｍ’に含まれる各画素のＣＣＤ座標Ｘを波長λへ変換することにより、点像ＩＰ及び線像ＩＳの発光元となった蛍光輝点の発光スペクトルＩ（λ）を取得する。また、コントロールユニット３０は、点像ＩＰのＣＣＤ座標（Ｘ０，Ｙ０）を蛍光輝点の標本座標（ｘ，ｙ）へ変換する。そして、コントロールユニット３０は、メモリ上に用意されたスペクトル画像Ｉｊ’の標本座標（ｘ，ｙ）に対し、本ステップで取得したスペクトルＩ（λ）を対応付ける。
【００５７】
なお、本ステップにおけるＣＣＤ座標Ｘから波長λへの変換には、次式が使用される。但し、ｆはレンズ１４ｂの焦点距離であり、Ｐｇは回折格子１８の格子ピッチであり、Ｐｃｃｄは画素ピッチである。
【００５８】
【数１】
【００５９】
また、本ステップにおけるＣＣＤ座標（Ｘ０，Ｙ０）から標本座標（ｘ，ｙ）への変換には、次式が使用される。但し、Ｍは標本面から視野絞り面までの倍率である。
【００６０】
ｘ＝Ｘ０Ｐｃｃｄ／Ｍ
ｙ＝Ｙ０Ｐｃｃｄ／Ｍ
ステップＳ２６：コントロールユニット３０は、ライン番号ｍが最終値に達したか否かを判別し、達していなかった場合にはステップＳ２７へ移行し、達していた場合にはステップＳ２８へ移行する。
【００６１】
ステップＳ２７：コントロールユニット３０は、ライン番号ｍをインクリメントしてからステップＳ２３に戻り、次のラインの処理を開始する。
【００６２】
ステップＳ２８：コントロールユニット３０は、画像番号ｊが最終値（１００）に達したか否かを判別し、達していなかった場合にはステップＳ２９へ移行し、達していた場合にはフローを終了する。
【００６３】
ステップＳ２９：コントロールユニット３０は、画像番号ｊをインクリメントしてからステップＳ２２に戻り、次の画像の処理を開始する。
【００６４】
以上の結果、コントロールユニット３０のメモリには、１００個のスペクトル画像Ｉｊ’（ｊ’＝１〜１００）が蓄積されることになる。
【００６５】
図７は、コントロールユニット３０によるスペクトル解析処理のフローチャートである。なお、スペクトル解析処理の実行に先立ち、コントロールユニット３０のメモリには、前述した１００個のスペクトル画像Ｉｊ’（ｊ’＝１〜１００）と、Ｍ種類の蛍光蛋白質のリファレンススペクトルＳ１〜ＳＭとが格納されているものと仮定する。なお、リファレンススペクトルＳ１〜ＳＭの各々は、次式のとおり列ベクトルで表される。列ベクトルの各成分は、リファレンススペクトルの各波長における強度を示す。
【００６６】
【数２】
【００６７】
以下、図７の各ステップを順に説明する。
【００６８】
ステップＳ３１：コントロールユニット３０は、画像番号ｊを初期値１に設定する。
【００６９】
ステップＳ３２：コントロールユニット３０は、画像番号ｊに対応するスペクトル画像Ｉｊ’をメモリから読み出し、そのスペクトル画像Ｉｊ’の個々の標本座標（ｘ，ｙ）に対応付けられたスペクトルＩ（λ）をそれぞれアンミックスする。なお、個々の標本座標（ｘ，ｙ）に関するアンミックスは、例えば次の手順（ａ）〜（ｄ）によって行われる。なお、このアンミックスは、線形最小二乗法によるアンミックスである。
【００７０】
（ａ）コントロールユニット３０は、Ｍ個のリファレンススペクトルＳ１〜ＳＭを、纏めて次式のとおり１つの行列Ｓで表す。
【００７１】
【数３】
【００７２】
（ｂ）コントロールユニット３０は、標本座標（ｘ，ｙ）のスペクトルＩ（λ）（以下、「観測スペクトルＩ（λ）」と称す。）を次式のとおり１つの列ベクトルＩで表す。列ベクトルＩの各成分は、観測スペクトルＩ（λ）の各波長における強度を示す。また、列ベクトルＩの成分数Ｎは、蛍光蛋白質の種類数Ｍより十分に多く設定される。
【００７３】
【数４】
【００７４】
（ｃ）コントロールユニット３０は、標本座標（ｘ，ｙ）に対するＭ種類の蛍光蛋白質の寄与率ｐ１〜ｐＭを、次式のとおり１つの列ベクトルＰで表す。
【００７５】
【数５】
【００７６】
この場合、以下の関係が成り立つ。
【００７７】
Ｉ＝Ｓ・Ｐ …（１）
よって、以下の関係が成り立つ（但し、［Ａ］ｔはＡの転置行列である。）。
【００７８】
Ｐ＝（ＳｔＳ）−１ＳｔＩ …（１’）
（ｄ）コントロールユニット３０は、行列Ｓと、列ベクトルＩと、式（１’）とに基づく最小二乗法により、列ベクトルＰの各成分ｐ１〜ｐＭを既知とする（以上、手順（ｄ））。
【００７９】
したがって、本ステップによれば、全ての標本座標（ｘ，ｙ）の各々に関するＭ種類の蛍光蛋白質の寄与率ｐ１〜ｐＭが既知となる（以上、ステップＳ３２）。
【００８０】
ステップＳ３３：コントロールユニット３０は、ステップＳ３２で取得した全ての標本座標（ｘ，ｙ）の各々に関するＭ種類の寄与率ｐ１〜ｐＭを、蛍光蛋白質の種類毎に纏めることにより、画像番号ｊに関するＭ枚の寄与率画像Ｐｊ１〜ＰｊＭを作成する。
【００８１】
ステップＳ３４：コントロールユニット３０は、画像番号ｊが最終値（１００）に達したか否かを判別し、達していなかった場合にはステップＳ３５へ移行し、達していた場合にはステップＳ３６へ移行する。
【００８２】
ステップＳ３５：コントロールユニット３０は、画像番号ｊをインクリメントしてからステップＳ３２へ戻る。したがって、Ｍ枚の寄与率画像Ｐｊ１〜ＰｊＭは、トータルで１００組分作成されることになる。
【００８３】
ステップＳ３６：コントロールユニット３０は、１００組の寄与率画像Ｐｊ１〜ＰｊＭ（ｊ＝１〜１００）を、蛍光蛋白質の種類毎に合成することにより、Ｍ枚の合成寄与率画像Ｐ１〜ＰＭを作成し、それらＭ枚の合成寄与率画像Ｐ１〜ＰＭを、標本１０Ａの観察データとしてメモリへ格納する。
【００８４】
以上、本実施形態の装置は、対物レンズ１７の瞳面に分光素子（ここでは回折格子１８）を配することにより、撮像面上に点在する蛍光輝点像の各々を、拡がりを持った分光像とするので（図３参照）、標本１０Ａ内に点在していた蛍光輝点の各々の発光スペクトルを、撮像面上に点在する線像として一括に取得することができる。
【００８５】
したがって、本実施形態の標本１０Ａには蛍光波長域の互いに重複する複数の光活性化蛍光蛋白質（ＰＡ−ＧＦＰ、Ｄｒｏｎｐａ）が使用されているにも拘わらず、同時励起観察が可能である。
【００８６】
また、本実施形態の装置は、線像の拡がり量と、活性化密度との関係を、前述したとおり適切に設定しているので、互いに異なる２つの線像同士が撮像面上で重なる可能性は無い。したがって、本実施形態のコントロールユニット３０は、観察視野に点在していた蛍光輝点の各々の発光スペクトルを上述したとおり簡単に求めることができる。
【００８７】
また、本実施形態の装置は、分光素子として回折格子１８を使用することにより、撮像面上に線像と点像との双方を形成する。したがって、本実施形態のコントロールユニット３０は、線像及び点像の発生元となった共通の蛍光輝点の標本座標（ｘ，ｙ）を、点像のＣＣＤ座標（Ｘ０，Ｙ０）のみから簡単に算出することができる。
【００８８】
また、本実施形態のコントロールユニット３０は、個々の蛍光輝点の発光スペクトルに対してスペクトルアンミックスの処理を施すので、蛍光輝点に寄与する蛍光蛋白質の種類を同定したり、蛍光輝点に対する複数の蛍光蛋白質の寄与率を既知としたりすることができる。
【００８９】
［第２実施形態］
以下、本発明に係るＰＡＬＭ装置の第２実施形態を説明する。ここでは、第１実施形態との相違点のみを説明する。
【００９０】
図８は、本実施形態のＰＡＬＭ装置の構成図である。図８に示すとおり、本実施形態では回折格子１８の代わりにプリズム２２１が使用される。また、本実施形態では、プリズム２２１の生成する線像が撮像面から外れないよう、レンズ２０及びＥＭ−ＣＣＤ２１は、図８に示すとおり傾斜した姿勢で配置される。
【００９１】
ここで、プリズム２２１の材質がＳＦ１０であったとすると、プリズム２２１の頂角を４５度に設定すれば、撮像面上に蛍光輝点の線像を形成する各蛍光の拡がり角度（スペクトル拡がり）を、第１実施形態のそれと同じにすることができる。
【００９２】
なお、プリズム２２１は回折格子１８とは異なり０次回折光に相当する光が発生しないので、撮像面上に蛍光輝点の点像は生起しない。このため、本実施形態のコントロールユニット３０は、蛍光輝点の標本座標（ｘ，ｙ）の算出を、蛍光輝点の線像に基づき行う必要がある。
【００９３】
ここで、プリズム２２１の頂角をαとおき、波長λにおけるプリズム２２１の屈折率をｎ（λ）とおき、基準波長（５３０ｎｍ）におけるプリズム２２１の屈折率をｎ０とおくと、標本座標（ｘ，ｙ）に位置する蛍光輝点から射出した波長λの蛍光が到達するＣＣＤ座標（Ｘ，Ｙ）は、次式（２）で表される。
【００９４】
【数６】
【００９５】
よって、本実施形態のコントロールユニット３０は、この式（２）に基づくことにより、蛍光輝点の線像から蛍光輝点の標本座標（ｘ，ｙ）を算出することができる。
【００９６】
但し、標本座標（ｘ，ｙ）のうち、特に標本座標ｘの算出には式（２）をそのまま使用することが難しいので、式（２）の代わりに、式（２）から導出される対応表を使用することが望ましい。この対応表は、蛍光蛋白質の種類毎に用意され、コントロールユニット３０のメモリに予め記憶される。メモリに予め記憶される対応表の個数は、蛍光蛋白質の種類数と同じくＭである。
【００９７】
Ｍ個の対応表の各々には、図９に示すとおり、蛍光輝点の標本座標ｘと、その蛍光輝点が撮像面上の対応ラインに与える輝度分布Ｌｘ（以下、「リファレンスラインＬｘ」と称す。）とが、互いに対応づけられて格納されている。この対応表において、リファレンスラインＬｘは、全ての標本座標ｘの各々について格納されている。上述したとおり、撮像面のＸ方向の画素数は２０４８なので、ここでは、１つの対応表に含まれるリファレンスラインＬｘの個数を、２０４８個とする。なお、図９では、分かりやすくするためにリファレンスラインＬｘに含まれる各画素の輝度を濃度で表したが、実際の対応表では、各画素の輝度は数値によって表される。また、個々のリファレンスラインＬｘは、本装置から実測されたもの、或いは、本装置の設計データに基づくシミュレーションによって取得されたものである。
【００９８】
本実施形態のコントロールユニット３０は、Ｍ個の対応表に基づくスペクトルアンミックス（以下、「拡張スペクトルアンミックス」と称す。）により、線像の存在するラインＬｍから、その線像の発光元となった蛍光輝点の標本座標（ｘ，ｙ）と、その蛍光輝点に対するＭ種類の蛍光蛋白質の寄与率とを、一緒に算出する。
【００９９】
先ず、蛍光輝点に寄与する蛍光蛋白質の種類数が１である場合に適用可能な拡張スペクトルアンミックスは、次の手順（ａ’）〜（ｃ’）からなる。
【０１００】
（ａ’）コントロールユニット３０は、Ｍ個の対応表の中から、ラインＬｍの輝度分布と最も類似した輝度分布を持つリファレンスラインＬｘを見出し、そのリファレンスラインＬｘに対応づけられた標本座標を、蛍光輝点の標本座標ｘとみなす。
【０１０１】
（ｂ’）コントロールユニット３０は、ラインＬｍのＣＣＤ座標Ｙを式（２）へ当てはめることにより、蛍光輝点の標本座標ｙを算出する。これによって、蛍光輝点の標本座標（ｘ，ｙ）が既知となる。
【０１０２】
（ｃ’）コントロールユニット３０は、リファレンスラインＬｘの属していた対応表の種類により、蛍光輝点に寄与した蛍光蛋白質の種類を同定し、リファレンスラインＬｘに対するラインＬｍの輝度比を、その蛍光輝点に対するその蛍光蛋白質の寄与率として求める（以上、種類数が１である場合に適用可能な拡張スペクトルアンミックスの手順）。
【０１０３】
一方、蛍光輝点に寄与する蛍光蛋白質の種類数が２以上である場合に適用される拡張スペクトルアンミックスは、次の手順（ａ”）〜（ｇ”）からなる。
【０１０４】
（ａ”）コントロールユニット３０は、Ｍ種類の対応表に含まれるＭ×２０４８個のリファレンスラインＬｘ１〜Ｌｘ２０４８を、それぞれ列ベクトルで表す。なお、Ｍ×２０４８個のリファレンスラインＬｘ１〜Ｌｘ２０４８の各々は、列ベクトルで表され、列ベクトルの各成分は、リファレンスラインの各ＣＣＤ座標Ｘにおける輝度を示す。なお、個々の列ベクトルの成分数Ｎは、蛍光蛋白質の種類数Ｍより十分に多く設定される。
【０１０５】
（ｂ”）コントロールユニット３０は、Ｍ×２０４８個のリファレンスラインＬｘ１〜Ｌｘ２０４８を、纏めて１つの行列Ｓで表す。
【０１０６】
（ｃ”）コントロールユニット３０は、ラインＬｍの輝度分布（以下、「観測輝度分布Ｌｍ（Ｘ）」と称す。）を、１つの列ベクトルＩで表す。列ベクトルＩの各成分は、観測輝度分布Ｌｍ（Ｘ）の各ＣＣＤ座標Ｘにおける輝度を示す。また、列ベクトルＩの成分数Ｎは、蛍光蛋白質の種類数Ｍより十分に多く設定される。
【０１０７】
（ｄ”）コントロールユニット３０は、ラインＬｍ上の２０４８個のＸ座標の各々に対するＭ種類の蛍光蛋白質の寄与率ｐ１１〜ｐＭ２０４８を、１つの列ベクトルＰで表す。この場合、上述した式（１），（１’）が成り立つ。
【０１０８】
（ｅ”）コントロールユニット３０は、行列Ｓと、列ベクトルＩと、式（１’）とに基づく最小二乗法により、列ベクトルＰの各成分ｐ１１〜ｐＭ２０４８を既知とする。
【０１０９】
（ｆ”）コントロールユニット３０は、手順（ｄ”）で既知とした成分ｐ１１〜ｐＭ２０４８によって表される列ベクトルＰと、行列Ｓとを、式（１）へ当てはめることにより、列ベクトルＩを合成する。そして、コントロールユニット３０は、合成された列ベクトルＩと、観測輝度分布Ｌｍ（Ｘ）の列ベクトルＩとを比較し、両者の差（残差）が最小となるような標本座標ｘを見出し、その標本座標ｘを、蛍光輝点の標本座標ｘとみなす。
【０１１０】
（ｇ”）コントロールユニット３０は、ラインＬｍのＣＣＤ座標Ｙを式（２）へ当てはめることにより、蛍光輝点の標本座標ｙを算出する。これによって、蛍光輝点の標本座標（ｘ，ｙ）が既知となる（以上、種類数が２以上である場合に適用される拡張スペクトルアンミックスの手順）。
【０１１１】
なお、以上の拡張スペクトルアンミックスは、第１実施形態へ適用することも可能である。拡張スペクトルアンミックスを適用すれば、点像が撮像面から外れたり、互いに異なる線像同士が撮像面上で重複したりすることを許容できる。
【０１１２】
また、本実施形態の装置は、次のように変形することも可能である。
【０１１３】
すなわち、プリズム２２１へ向かう蛍光をプリズム２２１の直前で二つに分岐する分岐素子を配置し、分岐された蛍光の一方については、プリズム２２１を介して撮像面上に結像させ、他方については、プリズム２２１を介さずに撮像面上に結像させる。このうち、プリズム２２１を介して結像する蛍光は、撮像面上に分光像を形成し、プリズム２２１を介さずに結像する蛍光は、撮像面上に非分光像を形成する。
【０１１４】
このようにして非分光像を形成した場合、本実施形態のコントロールユニット３０は、蛍光輝点の標本座標（ｘ，ｙ）と、その蛍光輝点の発光スペクトルＩ（λ）とを、第１実施形態のコントロールユニット３０と同様の手順で算出することができる。
【０１１５】
但し、本実施形態の装置では、回折格子１８の代わりにプリズム２２１が使用されているので、ＣＣＤ座標Ｘから波長λへの変換には、次式が使用される。
【０１１６】
【数７】
【０１１７】
具体的には、本実施形態のコントロールユニット３０は、この式による反復計算等により屈折率ｎ（λ）を算出してから、波長λを求めることになる。
［蛍光蛋白質の種類の補足］
上述した何れかの実施形態では、標本１０Ａに使用される蛍光蛋白質を、ＰＡ−ＧＦＰとＤｒｏｎｐａとの組み合わせとした。ＰＡ−ＧＦＰとＤｒｏｎｐａとは、互いの励起波長がほぼ等しいため同時励起が可能であるという利点があるのに対し、互いの蛍光波長の極大波長が１ｎｍ程度しか離れていないため、従来は同時励起観察が困難とされていた。しかし、上述した何れかの実施形態によると、確実に同時励起観察を行うことが可能である。
【０１１８】
なお、ＰＡ−ＧＦＰとＤｒｏｎｐａとの組み合わせ以外に、ＰＳ−ＣＦＰ２とＤｒｏｎｐａの組み合わせや、ＰＳ−ＣＦＰ２とＰＡ−ＧＦＰとの組み合わせも採用することが可能である。これらの組み合わせは、互いの励起波長はやや離れているが、４９０ｎｍ〜５００ｎｍの波長で同時励起が可能であり、蛍光の極大波長が６〜７ｎｍ離れているので、使い易い。因みに、ここで挙げた各種の蛍光蛋白質は、何れも４００ｎｍ前後の光により活性化することが可能である。
【符号の説明】
【０１１９】
１２１…活性化レーザ光源、１２２…励起レーザ光源、１０１…ダイクロイックミラー、１３…レンズ、１５…ダイクロイックミラー、１７…対物レンズ、１１…サンプルステージ、１４…リレー光学系、１８…回折格子、２０…レンズ、２１…ＥＭ−ＣＣＤ、３０…コントロールユニット
【特許請求の範囲】
【請求項１】
被観察物に含まれる光活性化蛍光物質を所定の活性化密度で活性化する活性化手段と、
前記被観察物に含まれる活性化中の光活性化蛍光物質を励起することにより、前記被観察物内に蛍光輝点を点在させる励起手段と、
前記被観察物の蛍光像を所定の撮像面上に形成することにより、前記撮像面内に蛍光輝点像を点在させる結像光学系と、
前記被観察物から前記撮像面へ向かう蛍光を所定の分光量で分光することにより、前記撮像面内に点在する蛍光輝点像の各々を、空間的拡がりを持った分光像とする分光手段と、
前記撮像面上の輝度分布を示す画像を取得する撮像手段と、
を備えることを特徴とする顕微鏡。
【請求項２】
請求項１に記載の顕微鏡において、
前記所定の活性化密度と前記所定の分光量との関係は、
前記撮像面内に点在する分光像同士が互いに重ならないように設定される
ことを特徴とする顕微鏡。
【請求項３】
請求項１又は請求項２に記載の顕微鏡において、
前記分光手段は、
前記結像光学系の瞳面に配置された回折格子である
ことを特徴とする顕微鏡。
【請求項４】
請求項１又は請求項２に記載の顕微鏡において、
前記分光手段は、
前記結像光学系の瞳面に配置されたプリズムである
ことを特徴とする顕微鏡。
【請求項５】
請求項１〜請求項４の何れか１項に記載の顕微鏡が取得した画像を処理する画像処理装置であって、
前記画像内に点在する分光像の各々の輝度分布に基づき、前記被観察物内に点在した蛍光輝点の各々の発光スペクトルを求める演算手段を備えた
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記演算手段は、
前記被観察物内に点在した蛍光輝点の各々の発光スペクトルと、複数種類の光活性化蛍光物質の発光特性情報とに基づき、それら蛍光輝点の各々に対する前記複数種類の光活性化蛍光物質の寄与率を算出する
ことを特徴とする画像処理装置。
【請求項７】
請求項１〜請求項４の何れか一項に記載の顕微鏡が取得した画像を処理する画像処理装置であって、
前記画像内に点在する分光像の各々の輝度分布と、複数種類の光活性化蛍光物質の発光特性情報とに基づき、前記被観察物内に点在した蛍光輝点の各々の位置を算出する演算手段を備えた
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記演算手段は、
前記画像内に点在する分光像の各々の輝度分布と、複数種類の光活性化蛍光物質の発光特性情報とに基づき、前記被観察物内に点在した蛍光輝点の各々に対する前記複数種類の光活性化蛍光物質の寄与率を算出する
ことを特徴とする画像処理装置。
【請求項９】
請求項１〜請求項４の何れか１項に記載の顕微鏡が取得した画像を処理する画像処理方法であって、
前記画像内に点在する分光像の各々の輝度分布に基づき、前記被観察物内に点在した蛍光輝点の各々の発光スペクトルを求める演算手順を含む
ことを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法において、
前記演算手順では、
前記被観察物内に点在した蛍光輝点の各々の発光スペクトルと、複数種類の光活性化蛍光物質の発光特性情報とに基づき、それら蛍光輝点の各々に対する前記複数種類の光活性化蛍光物質の寄与率を算出する
ことを特徴とする画像処理方法。
【請求項１１】
請求項１〜請求項４の何れか１項に記載の顕微鏡が取得した画像を処理する画像処理方法であって、
前記画像内に点在する分光像の各々の輝度分布と、複数種類の光活性化蛍光物質の発光特性情報とに基づき、前記被観察物内に点在した蛍光輝点の各々の位置を算出する演算手順を含む
ことを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法において、
前記演算手順では、
前記画像内に点在する分光像の各々の輝度分布と、複数種類の光活性化蛍光物質の発光特性情報とに基づき、前記被観察物内に点在した蛍光輝点の各々に対する前記複数種類の光活性化蛍光物質の寄与率を算出する
ことを特徴とする画像処理方法。
【請求項１】
被観察物に含まれる光活性化蛍光物質を所定の活性化密度で活性化する活性化手段と、
前記被観察物に含まれる活性化中の光活性化蛍光物質を励起することにより、前記被観察物内に蛍光輝点を点在させる励起手段と、
前記被観察物の蛍光像を所定の撮像面上に形成することにより、前記撮像面内に蛍光輝点像を点在させる結像光学系と、
前記被観察物から前記撮像面へ向かう蛍光を所定の分光量で分光することにより、前記撮像面内に点在する蛍光輝点像の各々を、空間的拡がりを持った分光像とする分光手段と、
前記撮像面上の輝度分布を示す画像を取得する撮像手段と、
を備えることを特徴とする顕微鏡。
【請求項２】
請求項１に記載の顕微鏡において、
前記所定の活性化密度と前記所定の分光量との関係は、
前記撮像面内に点在する分光像同士が互いに重ならないように設定される
ことを特徴とする顕微鏡。
【請求項３】
請求項１又は請求項２に記載の顕微鏡において、
前記分光手段は、
前記結像光学系の瞳面に配置された回折格子である
ことを特徴とする顕微鏡。
【請求項４】
請求項１又は請求項２に記載の顕微鏡において、
前記分光手段は、
前記結像光学系の瞳面に配置されたプリズムである
ことを特徴とする顕微鏡。
【請求項５】
請求項１〜請求項４の何れか１項に記載の顕微鏡が取得した画像を処理する画像処理装置であって、
前記画像内に点在する分光像の各々の輝度分布に基づき、前記被観察物内に点在した蛍光輝点の各々の発光スペクトルを求める演算手段を備えた
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記演算手段は、
前記被観察物内に点在した蛍光輝点の各々の発光スペクトルと、複数種類の光活性化蛍光物質の発光特性情報とに基づき、それら蛍光輝点の各々に対する前記複数種類の光活性化蛍光物質の寄与率を算出する
ことを特徴とする画像処理装置。
【請求項７】
請求項１〜請求項４の何れか一項に記載の顕微鏡が取得した画像を処理する画像処理装置であって、
前記画像内に点在する分光像の各々の輝度分布と、複数種類の光活性化蛍光物質の発光特性情報とに基づき、前記被観察物内に点在した蛍光輝点の各々の位置を算出する演算手段を備えた
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記演算手段は、
前記画像内に点在する分光像の各々の輝度分布と、複数種類の光活性化蛍光物質の発光特性情報とに基づき、前記被観察物内に点在した蛍光輝点の各々に対する前記複数種類の光活性化蛍光物質の寄与率を算出する
ことを特徴とする画像処理装置。
【請求項９】
請求項１〜請求項４の何れか１項に記載の顕微鏡が取得した画像を処理する画像処理方法であって、
前記画像内に点在する分光像の各々の輝度分布に基づき、前記被観察物内に点在した蛍光輝点の各々の発光スペクトルを求める演算手順を含む
ことを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法において、
前記演算手順では、
前記被観察物内に点在した蛍光輝点の各々の発光スペクトルと、複数種類の光活性化蛍光物質の発光特性情報とに基づき、それら蛍光輝点の各々に対する前記複数種類の光活性化蛍光物質の寄与率を算出する
ことを特徴とする画像処理方法。
【請求項１１】
請求項１〜請求項４の何れか１項に記載の顕微鏡が取得した画像を処理する画像処理方法であって、
前記画像内に点在する分光像の各々の輝度分布と、複数種類の光活性化蛍光物質の発光特性情報とに基づき、前記被観察物内に点在した蛍光輝点の各々の位置を算出する演算手順を含む
ことを特徴とする画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法において、
前記演算手順では、
前記画像内に点在する分光像の各々の輝度分布と、複数種類の光活性化蛍光物質の発光特性情報とに基づき、前記被観察物内に点在した蛍光輝点の各々に対する前記複数種類の光活性化蛍光物質の寄与率を算出する
ことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−３９２４７（Ｐ２０１１−３９２４７Ａ）
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願番号】特願２００９−１８５９９７（Ｐ２００９−１８５９９７）
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年２月２４日（２０１１．２．２４）
【国際特許分類】
【出願日】平成２１年８月１０日（２００９．８．１０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]