説明

画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム

【課題】非蛍光色素によって染色された標本において、非蛍光色素が発する自家蛍光波長帯域を特定することができる画像処理装置等を提供する。
【解決手段】画像処理装置30は、非蛍光染色が施された標本を互いに異なる複数の波長帯域で撮像することにより取得された複数の画像を入力する画像入力部32と、入力された複数の画像に基づいて、標本が発する自家蛍光を表す特徴量としての蛍光強度を算出する蛍光強度算出部351とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顕微鏡を用いて取得された画像を処理する画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【0002】
従来、顕微鏡による標本観察においては、観察対象や観察目的に応じて種々の染色手法や観察法が選択して用いられる。例えば、組織や細胞の形態を観察するための形態観察染色として、ヘマトキシリン及びエオジンの2つの色素を用いるヘマトキシリン・エオジン染色(以下、「HE染色」と記す)や、パパニコロウ染色(Pap染色)等の非蛍光染色が知られている。このような形態観察染色がなされた標本に対しては、通常、光学顕微鏡において透過照明による明視野観察が行われる。
【0003】
また、例えば病理観察においては、形態情報に基づく形態診断を補完する目的で、標本に分子情報の発現を確認するための分子標的染色を施し、標的分子(特定の遺伝子やタンパク)の発現異常といった機能異常を診断する分子学的病理検査が行われることもある。この場合、例えば、IHC(immunohistochemistry:免疫組織化学)法、ICC(immunocytochemistry:免疫細胞化学)法、ISH(in situ hybridization)法等で標本に蛍光標識(染色)を施し、落射照明による蛍光観察を行ったり、酵素標識を施して明視野観察を行ったりする。
【0004】
顕微鏡観察に関連する技術として、例えば特許文献1には、主成分分析法と多変量カーブ分解法を組み合わせた方法を繰り返すことにより主成分数を減じ、顕微鏡画像のノイズを除去する方法が開示されている。
【0005】
また、特許文献2には、互いに波長が異なるレーザ光に基づいて取得された複数枚の画像について、画像内において指定された観察領域に対応するデータとして、例えば輝度分布をグラフ表示する蛍光観察装置が開示されている。
【0006】
また、特許文献3には、複数の染色色素によって多重染色された標本を載置した電動ステージをXY平面内で移動させながら、標本領域を部分毎に撮像した複数の標本領域区画画像を取得する顕微鏡システムが開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2010−257025号公報
【特許文献2】特開2010−286565号公報
【特許文献3】特開2011−2341号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
ところで、病理観察においては、上述した手法を併用して診断を行うことも検討されている。例えば、HE染色を施した標本(以下、HE染色標本ともいう)に蛍光色素で標識された抗体(以下、蛍光標識抗体という)を重畳した標本(多重染色標本ともいう)に対し、明視野観察により形態異常の診断を行うと共に、FISH法(fluorescence in situ hybridization)、蛍光抗体法などの蛍光観察により分子発現異常といった機能異常の診断を行う。
【0009】
しかしながら、HE染色標本は、本来、蛍光顕微鏡において蛍光観察するものではない。このため、多重染色標本に対し、蛍光観察を行うために落射照明を照射すると、HE染色標本から自家蛍光が発生し、蛍光標識抗体が発する蛍光の検出の妨げになる場合がある。
【0010】
本発明は、上記に鑑みてなされたものであって、非蛍光色素によって染色された標本において、非蛍光色素が発する自家蛍光波長帯域を特定することができる画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、非蛍光染色が施された標本を互いに異なる複数の波長帯域で撮像することにより取得された複数の画像を入力する画像入力部と、入力された前記複数の画像に基づいて、前記標本が発する自家蛍光を表す特徴量を算出する特徴量算出部とを備えることを特徴とする。
【0012】
上記画像処理装置は、前記特徴量に基づいて、前記非蛍光染色が施された標本に対して蛍光標識抗体を重畳可能又は重畳不可能な蛍光の波長帯域を判定する判定部をさらに備えることを特徴とする。
【0013】
上記画像処理装置において、前記特徴量は、前記複数の画像の各々に対して、各画像内の画素の画素値から算出された蛍光強度であり、前記判定部は、前記蛍光強度を所定の閾値と比較することにより、前記重畳可能又は重畳不可能な蛍光の波長帯域を判定することを特徴とする。
【0014】
上記画像処理装置において、前記特徴量算出部は、前記複数の画像内の画素の画素値に基づいて、波長に応じて定まる強度スペクトルを抽出し、前記判定部は、前記強度スペクトルと、既知の蛍光の強度スペクトルとの相関に基づいて、前記重畳可能又は重畳不可能な蛍光の波長帯域を判定することを特徴とする。
【0015】
上記画像処理装置において、前記特徴量算出部は、前記複数の画像内の画素の画素値に基づく量に対する主成分分析演算により固有ベクトルを算出し、前記判定部は、前記固有ベクトルと前記既知の蛍光の強度スペクトルに対応する特徴ベクトルとの相関を表す評価値を算出する評価値算出部と、前記評価値を所定の閾値と比較する評価値判定部とを有することを特徴とする。
【0016】
上記画像処理装置において、前記評価値は、前記固有ベクトルと前記特徴ベクトルとの内積を正規化した値であり、前記評価値判定部は、前記評価値が所定の閾値よりも大きい場合に、前記特徴ベクトルに対応する波長帯域の蛍光は、重畳が不可能であると判定することを特徴とする。
【0017】
上記画像処理装置において、前記評価値は、前記固有ベクトルを前記特徴ベクトルの方向に射影したベクトルと前記特徴ベクトルとの差分ベクトル同士の内積であり、前記評価値判定部は、前記評価値が所定の閾値よりも小さい場合に、前記特徴ベクトルに対応する波長帯域の蛍光は、重畳が不可能であると判定することを特徴とする。
【0018】
上記画像処理装置は、前記複数の画像内の画素の画素値に基づいて、波長に応じて定まる強度スペクトルを抽出する第2の特徴量算出部と、前記強度スペクトルと、既知の蛍光の強度スペクトルとの相関に基づいて、前記重畳可能又は重畳不可能な蛍光の波長帯域を判定する第2の判定部とをさらに備え、前記第2の判定部は、前記判定部において重畳可能と判定された蛍光の波長帯域に対して、さらに、前記重畳可能又は重畳不可能な蛍光の波長帯域を判定することを特徴とする。
【0019】
上記画像処理装置は、前記既知の蛍光に関する情報を記憶する記憶部をさらに備えることを特徴とする。
【0020】
本発明に係る顕微鏡システムは、上記画像処理装置と、前記標本に対する蛍光観察が可能な顕微鏡装置と、前記顕微鏡装置に設けられ、互いに異なる複数の波長帯域において撮像を行うことにより、複数の画像を取得する画像取得部とを備えることを特徴とする。
【0021】
上記顕微鏡システムにおいて、前記画像取得部は、可視領域及び近赤外領域を含む波長領域で撮像可能であることを特徴とする。
【0022】
本発明に係る画像処理方法は、非蛍光染色が施された標本を互いに異なる複数の波長帯域で撮像することにより取得された複数の画像を入力する画像入力ステップと、入力された前記複数の画像に基づいて、前記標本が発する自家蛍光を表す特徴量を算出する特徴量算出ステップとを含むことを特徴とする。
【0023】
本発明に係る画像処理プログラムは、非蛍光染色が施された標本を互いに異なる複数の波長帯域で撮像することにより取得された複数の画像を入力する画像入力ステップと、入力された前記複数の画像に基づいて、前記標本が発する自家蛍光を表す特徴量を算出する特徴量算出ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【0024】
本発明によれば、非蛍光染色が施された標本を互いに異なる複数の波長帯域で撮像することにより取得された複数の顕微鏡画像に基づいて、上記標本が発する自家蛍光を表す特徴量を算出するので、非蛍光色素が発する自家蛍光波長帯域を容易に特定することが可能となる。
【図面の簡単な説明】
【0025】
【図1】図1は、本発明の実施の形態1に係る顕微鏡システムの構成を示すブロック図である。
【図2】図2は、図1に示す顕微鏡装置の構成例を示す模式図である。
【図3】図3は、図1に示す顕微鏡システムの動作を示すフローチャートである。
【図4】図4は、波長帯域毎に取得された一連の顕微鏡画像を概念的に示す模式図である。
【図5】図5は、本発明の実施の形態2に係る顕微鏡システムの構成を示すブロック図である。
【図6】図6は、図4に示す一連の顕微鏡画像間で対応する画素における強度スペクトルと、既知の蛍光の強度スペクトルとを示すグラフである。
【図7】図7は、本発明の実施の形態2に係る顕微鏡システムの動作を示すフローチャートである。
【図8】図8は、評価値S1が表す量を説明する図である。
【図9】図9は、本発明の実施の形態3に係る顕微鏡システムの動作を示すフローチャートである。
【図10】図10は、評価値S2が表す量を説明する図である。
【図11】図11は、本発明の実施の形態4に係る顕微鏡システムの構成を示すブロック図である。
【図12】図12は、図11に示す顕微鏡システムの動作を示すフローチャートである。
【図13】図13は、本発明の実施の形態5に係る顕微鏡システムの構成を示すブロック図である。
【図14】図14は、図13に示す顕微鏡システムの動作を示すフローチャートである。
【図15】図15は、変形例3に係る顕微鏡システムの構成例を示す模式図である。
【図16】図16は、液晶チューナブルフィルタの構成を説明する図である。
【図17】図17は、変形例4に係る顕微鏡システムの構成例を示す模式図である。
【図18】図18は、音響光学式波長可変フィルタにおける波長分離の原理を説明する図である。
【発明を実施するための形態】
【0026】
以下、本発明に係る画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【0027】
(実施の形態1)
図1は、本発明の実施の形態1に係る顕微鏡システムの構成を示すブロック図である。図1に示すように、実施の形態1に係る顕微鏡システム1は、顕微鏡装置10と、該顕微鏡装置10において観察している標本の画像(顕微鏡画像)を取得する画像取得部20と、画像取得部20によって取得された顕微鏡画像を処理する画像処理装置30とを備える。
【0028】
図2は、顕微鏡装置10の構成を概略的に示す模式図である。図2に示すように、顕微鏡装置10は、略C字形のアーム部100と、該アーム部100に取り付けられた標本ステージ101と、該標本ステージ101と対向して配置された対物レンズ102と、アーム部100に取り付けられた三眼鏡筒ユニット103と、該三眼鏡筒ユニット103を介して設けられた接眼レンズユニット104と、三眼鏡筒ユニット103に連結された結像レンズユニット105とを有する。結像レンズユニット105の端部には、画像取得部20が設けられている。また、アーム部100には、照明系として、透過照明光源106a及び透過照明光学系106bと、落射照明光源107a及び落射照明光学系107bと、複数の光学キューブ108a、108bを切換可能に保持するキューブユニット108とが設けられている。
【0029】
対物レンズ102は、倍率が互いに異なる複数の対物レンズ(例えば、対物レンズ102’)を保持可能なレボルバ109に取り付けられている。このレボルバ109を回転させて、標本ステージ101と対向する対物レンズ102、102’を変更することにより、画像取得部20が撮像する画像の倍率を変化させることができる。
【0030】
三眼鏡筒ユニット103は、対物レンズ102から入射した標本SPの観察光を、画像取得部20の方向と接眼レンズユニット104の方向とに分岐する。接眼レンズユニット104は、ユーザが標本SPを直接観察するためのものである。
【0031】
結像レンズユニット105には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部(いずれも図示せず)とを含むズーム部が設けられている。ズーム部は、ズームレンズの位置を調整することにより、撮像視野内の撮像対象を拡大又は縮小させる。
【0032】
透過照明光学系106bは、透過照明用光源106aから出射した透過照明光を集光して観察光路Lの方向に導く種々の光学部材(コレクタレンズ、フィルタユニット、視野絞り、シャッタ、開口絞り、コンデンサ光学素子ユニット、トップレンズユニット等)を含む。一方、落射照明光学系107bは、落射照明用光源107aから出射した落射照明光を集光して観察光路Lの方向に導く種々の光学部材(フィルタユニット、シャッタ、視野絞り、開口絞り等)を含む。
【0033】
キューブユニット108は、内部に複数の光学キューブ108a、108bを備え、例えば透過明視野観察や蛍光観察といった各種検鏡法に応じて、観察光路L上に配置される光学キューブを切り替える。例えば、顕微鏡装置10において蛍光観察を行う場合には、落射照明光学系107bから出射した光の内、特定の波長帯域の光(励起光)を選択的に透過させる励起フィルタと、励起フィルタによって選択された励起光を反射し、標本SPにおいて発生した蛍光を透過させるダイクロイックミラーと、標本SPにおいて発生した蛍光の内、特定の波長帯域の光のみを選択的に透過させる吸収フィルタとをキューブ状に組み合わせた光学キューブ(蛍光キューブ)が用いられる。
【0034】
画像取得部20は、例えばCCD等の撮像素子を含み、各画素において互いに異なる複数の波長帯域(バンド)における画素レベル(画素値)を持つカラー画像を撮像可能なマルチバンドカメラによって実現される。実施の形態1においては、画像取得部20として、可視領域から近赤外領域の範囲である約400nm〜約900nmにおいて、少なくとも3バンドで撮像可能なマルチバンドカメラを用いる。画像取得部20は、対物レンズ102にから出射し、結像レンズユニット105を介して入射した光(観察光)を受光し、観察光に対応する画像データを生成して画像処理装置30に出力する。
【0035】
画像処理装置30は、当該画像処理装置30に対する指示や情報の入力を受け付ける入力部31と、画像取得部20から出力された顕微鏡画像の入力を受け付けるインタフェースである画像入力部32と、顕微鏡画像やその他の情報を表示する表示部33と、記憶部34と、顕微鏡画像に対して所定の画像処理を施す演算部35と、これらの各部の動作及び画像取得部20の動作を制御する制御部36とを備える。
【0036】
入力部31は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、これらのデバイスを介して入力された信号を受け付けて制御部36に入力する。
【0037】
表示部33は、例えば、LCD(Liquid Crystal Display)やEL(Electro Luminescence)ディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等の表示装置によって実現され、制御部36から出力された制御信号に従って、各種画面を表示する。
【0038】
記憶部34は、更新記録可能なフラッシュメモリ、RAM、ROM等の半導体メモリや、内蔵若しくはデータ通信端子で接続されたハードディスク、MO、CD−R、DVD−R等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置等によって実現される。記憶部34は、画像取得部20から出力された画像データや、演算部35及び制御部36がそれぞれ実行する各種プログラムや各種設定情報を記憶する。具体的には、記憶部34は、顕微鏡画像から自家蛍光を検出し、この自家蛍光に基づき、非蛍光染色標本に蛍光標識抗体を重畳して蛍光観察を行う際に使用を避けるべき蛍光染色を判別する画像処理プログラム341を記憶する。また、記憶部34は、この画像処理プログラム341の実行に際して使用される情報として、例えば、市販の蛍光色素に関する情報(蛍光色素の名称、蛍光色素が発する蛍光の波長帯域、中心波長、蛍光強度、蛍光の強度スペクトル等)を記憶する。
【0039】
演算部35及び制御部36は、例えば、CPU等のハードウェアに、記憶部34に記憶された各種プログラムを読み込むことにより実現される。
演算部35は、記憶部34に記憶された画像データに対応する顕微鏡画像に基づいて、HE染色等の非蛍光染色が施された標本(以下、非蛍光染色標本という)が発する自家蛍光を検出し、この自家蛍光に基づき、非蛍光染色標本に蛍光標識抗体を重畳して蛍光観察を行う際に重畳可能又は重畳不可能な蛍光の波長帯域を判別する画像処理を実行する。より詳細には、演算部35は、複数の顕微鏡画像の各々の特徴量として蛍光強度を算出する特徴量算出部としての蛍光強度算出部351と、各顕微鏡画像の蛍光強度を所定の閾値と比較した比較結果に基づいて、重畳可能又は重畳不可能な蛍光の波長帯域を判定する蛍光強度比較判定部352とを有する。
【0040】
制御部36は、記憶部34に記憶された各種データや入力部31から入力される各種情報に基づき、顕微鏡装置10、画像取得部20、及び画像処理装置30の各部に指示やデータの転送を行うことにより、顕微鏡システム1全体の動作を統括的に制御する。
このような画像処理装置30は、例えばパーソナルコンピュータやワークステーション等の汎用の装置によって実現される。
【0041】
次に、顕微鏡システム1の動作について説明する。図3は、顕微鏡システム1の動作を示すフローチャートである。
本実施の形態1に係る顕微鏡システム1は、非蛍光染色標本に蛍光標識抗体を重畳して蛍光観察する際に、非蛍光染色標本が発する自家蛍光が、蛍光標識抗体が発する蛍光の検出に与える影響を抑制するために、蛍光標識抗体を染色する前の非蛍光染色標本において自家蛍光が生じる波長帯域を把握し、自家蛍光の波長帯域を除く波長帯域の蛍光(以下、重畳可能な蛍光ともいう)を発する蛍光色素をユーザが選択できるようにするためのものである。
【0042】
まず、ステップS10において、顕微鏡システム1は、標本ステージ101に載置された非蛍光染色標本を、互いに異なる複数の波長帯域において撮像した複数の顕微鏡画像を取得する。より詳細には、顕微鏡装置10の観察光軸L上に所定の蛍光キューブ(例えば光学キューブ108a)を配置し、落射照明光学系107bを介して落射照明光を非蛍光染色標本に照射する。画像取得部20は、蛍光キューブに応じた蛍光光の検出が可能な複数の波長帯域で撮像を行い、複数の顕微鏡画像を取得する。このような操作を、蛍光光の波長帯域が異なる種類の蛍光キューブに交換しつつ複数回行う。それによって取得された波長帯域毎の顕微鏡画像の画像データは画像処理装置30に出力され、画像入力部32を介して記憶部34に記憶される。
【0043】
ステップS11において、蛍光強度算出部351は、記憶部34に記憶された画像データに基づき、各顕微鏡画像内の各画素の画素値を取得する。具体的には、蛍光強度算出部351は、図4に示すように、波長λn(n=1〜N)を中心波長とする波長帯域毎の顕微鏡画像G(λn)から、各画素Pk(k=1〜K)を取得する。
【0044】
ステップS12において、蛍光強度算出部351は、各顕微鏡画像G(λn)に対し、自家蛍光を表す蛍光強度Fnを特徴量として算出する。蛍光強度Fnは、顕微鏡画像G(λn)内の画素の画素値に基づく量x(n,k)から算出される。ここで、画素値に基づく量x(n,k)とは、画素値そのものであっても良いし、画素値に所定の演算処理を施した値(例えば、輝度値)であっても良い。また、蛍光強度Fnとしては、画素値に基づく量x(n,k)の最大値、最小値、最頻値、平均値、合計値等が用いられる。各顕微鏡画像G(λn)は、異なる波長帯域毎に撮像されている為、該波長帯域毎の蛍光強度(自家蛍光の強さ)が算出されることになる。
【0045】
また、本実施形態では、次に以下のステップS13に進むが、この特徴量としての蛍光強度を算出した段階で、処理を終了しても良い。これは、経験がある者であれば、自家蛍光の強さの値が分かれば、蛍光標識抗体を重畳することが可能か否か判断できる為である。
【0046】
ステップS13において、蛍光強度比較判定部352は、顕微鏡画像G(λn)の蛍光強度Fnを、予め設定された所定の閾値aと比較する。この閾値aは、例えば、記憶部34が情報を保有する既知の蛍光(例えば、市販の蛍光色素が発する蛍光)の強度情報に基づいて設定される。
【0047】
蛍光強度比較判定部352は、蛍光強度Fnが閾値aよりも大きい場合(ステップS13:Yes)、判定対象である顕微鏡画像G(λn)の波長帯域は、自家蛍光が強く蛍光標識抗体に影響を及ぼす波長帯域であるため、非蛍光染色標本に蛍光標識抗体を重畳した蛍光観察を行う際に、蛍光を重畳する波長帯域として適切ではない(重畳不可能)と判定する(ステップS14)。言い換えると、このような波長帯域の蛍光を発する蛍光色素を用いて抗体を標識し、非蛍光染色標本に重畳するのは適切でない。以下、このような波長帯域のことを、重畳不可能な蛍光の波長帯域、又は単に、重畳不可能な波長帯域という。
【0048】
一方、蛍光強度Fnが閾値a以下であった場合(ステップS13:No)、判定対象である顕微鏡画像G(λn)の波長帯域は、自家蛍光が弱い若しくは自家蛍光が無く、蛍光標識抗体に影響を及ぼさない波長帯域であるため、非蛍光染色標本に蛍光標識抗体を重畳した蛍光観察を行う際に、蛍光を重畳する波長帯域として適切である(重畳可能)と判定する(ステップS15)。言い換えると、このような波長帯域の蛍光を発する蛍光色素を用いて抗体を標識し、非蛍光染色標本に重畳して蛍光観察を行うことができる。以下、このような波長帯域のことを、重畳可能な蛍光の波長帯域、又は単に重畳可能な波長帯域という。
【0049】
ステップS16において、演算部35は、ステップS14又はS15において判定した結果を制御部36に出力する。これに応じて、制御部36は、判定結果を記憶部34に記憶させると共に、表示部33に表示させる。
【0050】
ステップS17において、制御部36は、全ての顕微鏡画像G(λn)に対する判定が終了したか否かを判断する。全ての顕微鏡画像G(λn)に対する判定が終了した場合(ステップS17:Yes)、顕微鏡システム1の動作は終了する。一方、未だ判定がなされていない顕微鏡画像G(λn)が残っている場合(ステップS17:No)、顕微鏡システム1の動作はステップS13に戻る。
【0051】
以上説明したように、実施の形態1によれば、波長帯域毎に非蛍光染色標本を撮像した顕微鏡画像の蛍光強度を所定の閾値と比較することにより、蛍光強度が強い波長帯域を判定する。従って、ユーザは、この判定結果を参照することにより、非蛍光染色標本が発する自家蛍光の波長帯域を把握して、非蛍光染色標本に重畳する蛍光標識抗体を染色する蛍光色素を容易に選択することが可能となる。従って、ユーザは、非蛍光染色標本に蛍光標識抗体を重畳した標本を蛍光観察する際に、自家蛍光の影響が低減された正確な観察結果を得ることが可能となる。
【0052】
また、実施の形態1においては、波長帯域毎の顕微鏡画像から算出された蛍光強度を閾値と比較するという比較的簡単な処理により、各波長帯域における蛍光の使用の可否を判定するので、簡易且つ高速な処理により、幅広い波長帯域に対する判定結果を取得することができる。
【0053】
また、実施の形態1によれば、画像取得部20として3バンド以上のマルチバンドカメラを用いるので、自家蛍光が生じる波長帯域を精密に特定することが可能となる。
また、実施の形態1によれば、可視領域から近赤外領域の範囲である約400nm〜約900nmにおいて撮像可能なマルチバンドカメラを用いるので、自家蛍光が可視領域を含む広帯域に渡って出現している場合においても、ユーザは、近赤外蛍光の波長帯域における自家蛍光の有無を確認することができ、自家蛍光の影響が少ない蛍光色素を選択することが可能となる。
【0054】
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図5は、実施の形態2に係る顕微鏡システムの構成を示すブロック図である。図5に示すように、実施の形態2に係る顕微鏡システム2は、図1に示す画像処理装置30の代わりに、演算部41を有する画像処理装置40を備える。
【0055】
演算部41は、図2に示す蛍光強度比較判定部352の代わりに、一連の顕微鏡画像G(λn)に基づいて、非蛍光染色標本が発する自家蛍光の特徴量を算出する特徴量算出部としての主成分分析演算部411と、自家蛍光の特徴量と既知の蛍光(例えば、市販の蛍光色素が発する蛍光)の特徴量との相関に基づいて、該既知の蛍光が非蛍光染色標本に蛍光標識抗体を重畳して蛍光観察する際の蛍光として使用可能であるか否かを判定する特徴量判定部412とを備える。
【0056】
この内、特徴量判定部412は、自家蛍光の特徴量と既知の蛍光の特徴量とを用いて評価値を算出する評価値算出部412aと、該評価値に基づいて当該既知の蛍光の使用の可否を判定する評価値判定部412bとを有する。
なお、主成分分析演算部411及び特徴量判定部412以外の画像処理装置40の構成及び顕微鏡システム全体の構成については、実施の形態1と同様である。
【0057】
次に、本実施の形態2における演算処理の原理について説明する。
図6は、図4に示す一連の顕微鏡画像G(λn)間で対応する画素Pkにおける光の強度をプロットして得られた波形(強度スペクトル)Ikに、既知の蛍光(例えば、Cy3等の市販の蛍光色素が発する蛍光)の強度スペクトルICを重ねたものである。なお、図6において、横軸は波長λnを示し、縦軸は光の強度を示す。各画素Pkにおける光の強度は、所定の演算により画素値を変換することにより算出される。
【0058】
一連の顕微鏡画像G(λn)から、波長に応じて定まる強度スペクトルIkが検出された場合、その強度スペクトルIkは、非蛍光染色標本が発する自家蛍光に対応すると考えることができる。このため、既知の蛍光の強度スペクトルICとの相関が高い強度スペクトルIkが検出された場合、その既知の蛍光は自家蛍光の影響を受けてしまう可能性がある。そこで、実施の形態2においては、各画素Pkに対応する強度スペクトルIkを非蛍光染色標本が発する自家蛍光の特徴量として扱い、この強度スペクトルIkに基づいて各波長帯域における蛍光の使用の可否を判定する。
【0059】
ここで、強度スペクトルIkは、顕微鏡画像G(λn)の画素数Kの分だけ得られる。そこで、実施の形態2においては、主成分分析演算を実行することにより、K個の強度スペクトルIkの内から注目すべき強度スペクトルIkのみを抽出することとしている。
【0060】
次に、顕微鏡システム2の動作について説明する。図7は、顕微鏡システム2の動作を示すフローチャートである。なお、図7に示すステップS10及びS11の動作は、実施の形態1と共通である。
【0061】
ステップS11に続くステップS21において、主成分分析演算部411は、蛍光強度算出部351が算出した一連の顕微鏡画像G(λn)(n=1〜N)内の各画素Pk(k=1〜K)の画素値に基づく量x(n,k)に対して主成分分析演算を実行する。
【0062】
具体的には、主成分分析演算部411は、まず、次式(1)に示すように、画素Pkごとに、画素値に基づく量x(n,k)を成分とする特徴ベクトルXkを作製する(k=1〜K)。
k=(x(1,k),x(2,k),…,x(N,K)t …(1)
式(1)において、特徴ベクトルの肩のtは転置ベクトルであることを示す。なお、この特徴ベクトルXkが、図6に示す強度スペクトルIkに対応する。
【0063】
より詳細には、各特徴ベクトルXkは以下のように表される。
【数1】

【0064】
また、主成分分析演算部411は、次式(2)に示すように、画素値に基づく量x(n,k)の画素Pkごとの平均値を成分とする平均ベクトルMを算出する。
【数2】

【0065】
さらに、主成分分析演算部411は、特徴ベクトルXk及び平均ベクトルMを用いて、次式(3)に示す分散共分散行列Sを算出する。
【数3】

【0066】
主成分分析演算部411は、この分散共分散行列Sに対し、Su=λuを満たす固有ベクトルuを算出する。この固有ベクトルuが、非蛍光染色標本が発する自家蛍光の特徴量(特徴ベクトル)として用いられる。
【0067】
続くステップS22において、評価値算出部412aは、固有ベクトルuを用いて、次式(4)によって与えられる評価値S1を算出する。
【数4】

式(4)において、ベクトルvは、既知の蛍光の特徴ベクトルであり、例えば図6に示すような蛍光の強度スペクトルICから取得した各波長λnにおける蛍光強度を成分とする。このようなベクトルvは、記憶部34に記憶されている蛍光色素に関する情報から順次作成される。
【0068】
式(4)に示すように、評価値S1は、ベクトルvと固有ベクトルuとの内積を正規化した値の絶対値である。
なお、ステップS21において複数の固有ベクトルが算出された場合には、式(4)において、1つのベクトルvに対して固有ベクトルが順次代入されて、複数の評価値S1が算出される。
【0069】
続くステップS23において、評価値判定部412bは、評価値S1を、予め設定された所定の閾値bと比較する。なお、ステップS22において複数の評価値S1が算出された場合には、各評価値S1に対して判定が行われる。
【0070】
ここで、図8に示すように、固有ベクトルuとベクトルvとの相関は、両者のなす角度θが小さいほど、即ち、cosθの値が大きいほど高くなる。このとき、自家蛍光が既知の蛍光に対して与える影響が大きくなる。そこで、評価値判定部412bは、評価値S1が閾値bよりも大きい場合(ステップS23:Yes)、その既知の蛍光が分布する波長帯域は重畳不可能と判定する(ステップS24)。一方、評価値判定部412bは、評価値S1が閾値b以下である場合(ステップS23:No)、その波長帯域は重畳可能と判定する(ステップS25)。なお、複数の評価値S1が算出された場合、その内の1つでも閾値bより大きい評価値S1が存在するときには、その波長帯域は重畳不可能と判定される。
【0071】
ステップS26において、演算部35は、ステップS24又はS25における判定結果を制御部36に出力する。これに応じて、制御部36は、判定結果を記憶部34に記憶させると共に、表示部33に表示させる。表示形式としては、全ての波長帯域λ1〜λNに対して使用の可否を表示する形式であっても良いし、重畳可能と判定された波長帯域のみを表示する形式でも良いし、重畳可能と判定された波長帯域に分布する蛍光を発する蛍光色素名を表示する形式でも良い。
【0072】
ステップS27において、制御部36は、記憶部34が情報を保有する全ての蛍光に対する判定が終了したか否かを判断する。全ての蛍光に対する判定が終了した場合(ステップS27:Yes)、顕微鏡システム2の動作は終了する。一方、未だ判定がなされていない蛍光が残っている場合、顕微鏡システム2の動作はステップS22に戻る。
【0073】
以上説明したように、実施の形態2においては、一連の顕微鏡画像内の全画素の画素値に基づく量を用いて演算を行うので、より高精度な判定結果を取得することができる。従って、ユーザは、この判定結果に基づいて、自家蛍光の影響が少ない蛍光色素をより確実に選択することが可能となる。それにより、ユーザは、非蛍光色素標本に蛍光標識抗体が重畳された標本を蛍光観察する際に、自家蛍光による影響が抑制された、より正確な観察結果を得ることが可能となる。
【0074】
(実施の形態3)
次に、本発明の実施の形態3について説明する。
実施の形態3に係る顕微鏡システムの構成は図5に示すものと同様であり、特徴量判定部412における動作の内容が実施の形態2とは異なっている。
【0075】
図9は、実施の形態3に係る顕微鏡システムの動作を示すフローチャートである。図9に示すように、実施の形態3に係る顕微鏡システムの動作の内、ステップS10、S11、S21、及びS26〜S27の動作は実施の形態2と共通である。
【0076】
ステップS21に続くステップS31において、評価値算出部412aは、特徴量として算出された固有ベクトルuを用いて、次式(5)によって与えられる評価値S2を算出する。
【数5】

式(5)において、ベクトルvは、既知の蛍光の特徴ベクトルであり、各波長λnにおける強度を成分とする。このようなベクトルvは、記憶部34に記憶されている蛍光色素に関する情報から、順次作成される。
【0077】
式(5)に示すように、評価値S2は、固有ベクトルuをベクトルvの方向に射影したベクトルとベクトルvとの差分ベクトル同士の内積に相当する。
なお、ステップS31において複数の固有ベクトルが算出された場合には、式(5)において、1つのベクトルvに対して固有ベクトルが順次代入されて、複数の評価値S2が算出される。
【0078】
続くステップS32において、評価値判定部412bは、評価値S2を予め設定された所定の閾値cと比較する。なお、ステップS31において複数の評価値S2が算出された場合には、各評価値S2に対して判定が行われる。
【0079】
ここで、図10に示すように、固有ベクトルuとベクトルvとの相関は、両者の差分が小さいほど高くなる。即ち、自家蛍光が既知の蛍光に対して与える影響が大きくなる。そこで、評価値判定部412bは、評価値S2が閾値cよりも小さい場合(ステップS32:Yes)、その既知の蛍光が分布する波長帯域は重畳不可能であると判定する(ステップS33)。一方、評価値判定部412bは、評価値S2が閾値c以上である場合(ステップS32:No)、その波長帯域は重畳可能であると判定する(ステップS34)。
その後の動作については、実施の形態2と同様である。
【0080】
以上説明したように、実施の形態3によれば、自家蛍光の特徴ベクトルである固有ベクトルuと既知の蛍光の特徴ベクトルvとの相関をより忠実に表す評価値に基づいて、既知の蛍光が分布する波長帯域の使用の可否を判定するので、ユーザは、この判定結果に基づいて、自家蛍光の影響が少ない蛍光色素を容易且つ確実に選択することが可能となる。
【0081】
(実施の形態4)
次に、本発明の実施の形態4について説明する。
図11は、実施の形態4に係る顕微鏡システムの構成を示すブロック図である。図11に示すように、実施の形態4に係る顕微鏡システム4は、図1に示す画像処理装置30の代わりに、演算部51を有する画像処理装置50を備える。
【0082】
演算部51は、図1に示す演算部35の構成に加えて、主成分分析演算部411及び特徴量判定部412とを有する。これらの主成分分析演算部411及び特徴量判定部412動作は、実施の形態2において説明したものと同様である。
【0083】
次に、顕微鏡システム4の動作について説明する。図12は、顕微鏡システム4の動作を示すフローチャートである。なお、図12に示すステップS10〜S15の動作は、実施の形態1と共通である。
【0084】
ステップS14又はS15に続くステップS41において、演算部51は判定結果を出力し、記憶部34に一時的に記憶させる。
ステップS42において、演算部51は、全ての顕微鏡画像G(λn)について判定を行ったか否かを判断する。未だ判定を行っていない顕微鏡画像G(λn)が残っている場合(ステップS42:No)、動作はステップS13に戻る。
【0085】
一方、全ての顕微鏡画像G(λn)について判定が終了した場合(ステップS42:Yes)、主成分分析演算部411は、一連の顕微鏡画像G(λn)内の画素Pkの画素値に基づく量x(n,k)に対して主成分分析演算を実行し、自家蛍光の特徴ベクトルである固有ベクトルuを算出する(ステップS43)。なお、固有ベクトルuの算出方法の詳細は、実施の形態2において説明したものと同様である。
【0086】
ステップS44において、演算部51は、ステップS15において重畳可能と判定された波長帯域の情報を記憶部34から抽出する。
ステップS45において、演算部51は、ステップS44において抽出された波長帯域に分布する既知の蛍光(例えば、市販の蛍光色素が発する蛍光)に関する情報を記憶部34から取得する。
【0087】
ステップS46において、評価値算出部412aは、ステップS43において算出された固有ベクトルuと、ステップS45において取得された既知の蛍光に関する情報から作成した特徴ベクトルvとを用いて、式(4)によって与えられる評価値S1を算出する。なお、ステップS43において複数の固有ベクトルが算出された場合には、式(4)において、1つの特徴ベクトルvに対して固有ベクトルが順次代入されて、複数の評価値S1が算出される。
【0088】
ステップS47において、評価値判定部412bは、評価値S1を予め設定された所定の閾値bと比較する。なお、ステップS46において複数の評価値S1が算出された場合には、各評価値S1に対して判定が行われる。
【0089】
評価値判定部412bは、評価値S1が閾値bよりも大きい場合(ステップS47:Yes)、その既知の蛍光が分布する波長帯域は重畳不可能と判定する(ステップS48)。一方、評価値判定部412bは、評価値S1が閾値b以下である場合(ステップS47:No)、その波長帯域は重畳可能と判定する(ステップS49)。なお、複数の評価値S1が算出された場合、その内の1つでも閾値bより大きい評価値S1が存在するときには、その波長帯域は重畳不可能と判定される。
【0090】
ステップS50において、演算部51は、ステップS14、及びステップS48又はS49の判定結果を出力する。これに応じて、制御部36は、判定結果を記憶部34に記憶させると共に、表示部33に表示させる。表示形式としては、全ての波長帯域λ1〜λNに対する使用の可否を表示する形式であっても良いし、重畳可能と判定された波長帯域のみを表示する形式でも良いし、重畳可能と判定された波長帯域に分布する蛍光を発する蛍光色素名を表示する形式でも良い。
【0091】
ステップS51において、制御部36は、ステップS45において情報を取得した全ての蛍光に対する判定が終了したか否かを判断する。全ての蛍光に対する判定が終了した場合(ステップS51:Yes)、顕微鏡システム4の動作は終了する。一方、未だ判定がなされていない蛍光が残っている場合(ステップS51:No)、顕微鏡システム4の動作はステップS46に戻る。
【0092】
以上説明したように、実施の形態4においては、各顕微鏡画像の蛍光強度に基づいて、自家蛍光の強度が大きい波長帯域を除外した後、残った波長帯域について、主成分分析法により算出された固有ベクトルと、既知の蛍光の特徴ベクトルとの相関に基づいて、各波長帯域の使用の可否を判断する。従って、演算処理を効率化しつつ、高精度な判定結果を取得することが可能となる。
【0093】
なお、上記実施の形態4においては、式(4)によって与えられる評価値S1の代わりに、式(5)によって与えられる評価値S2を算出して判定を行っても良い。
【0094】
(実施の形態5)
次に、本発明の実施の形態5について説明する。
図13は、実施の形態5に係る顕微鏡システムの構成を示すブロック図である。図13に示すように、実施の形態5に係る顕微鏡システム5は、図11に示す画像処理装置50の代わりに、演算部61を有する画像処理装置60を備える。
【0095】
演算部61は、図11に示す演算部51の構成に加えて、蛍光色素情報取得部611をさらに有する。蛍光色素情報取得部611は、入力部31が入力受け付けた信号に従って、記憶部34が保有する既知の蛍光(例えば、市販の蛍光色素が発する蛍光)に関する情報の内から、所定の蛍光に関する情報を取得する。
なお、蛍光色素情報取得部611以外の画像処理装置60の構成及び顕微鏡システム5全体の構成については、実施の形態4において説明したものと同様である。
【0096】
次に、顕微鏡システム5の動作について説明する。顕微鏡システム5においては、非蛍光染色標本に重畳する蛍光標識抗体を染色する蛍光色素としてユーザが使用を検討している蛍光色素の使用の可否を判定することを特徴とする。なお、ユーザが使用を検討している蛍光色素は、入力部31を用いてユーザが入力した選択信号により特定される。
図14は、顕微鏡システム5の動作を示すフローチャートである。なお、図14に示すステップS10及びS11の動作は、実施の形態1と共通である。
【0097】
ステップS11に続くステップS60において、入力部31が蛍光色素の選択信号の入力を受け付けると、蛍光色素情報取得部611は、記憶部34が保有する蛍光に関する情報の内から、当該蛍光色素が発する蛍光(以下、使用候補の蛍光という)に関する情報(波長帯域及び各波長における蛍光強度)を取得する(ステップS61)。
【0098】
ステップS62において、蛍光強度比較判定部352は、使用候補の蛍光が分布する波長帯域で撮像された顕微鏡画像G(λn)について、蛍光強度Fnを算出する。なお、蛍光強度Fnの算出方法は、実施の形態1において説明したものと同様である。
【0099】
ステップS63において、蛍光強度比較判定部352は、ステップS62において算出された各蛍光強度Fnを、予め設定された所定の閾値aと比較する。
蛍光強度比較判定部352は、閾値aよりも値が大きい蛍光強度Fnが1つでも存在する場合(ステップS63:Yes)、選択された蛍光色素は使用不可能と判定する(ステップS64)。
【0100】
一方、閾値aよりも値が大きい蛍光色素Fnは存在しない場合(ステップS63:No)、主成分分析演算部411は、一連の顕微鏡画像G(λn)内の画素Pkの画素値に基づく量x(n,k)に対して主成分分析演算を実行し、自家蛍光の特徴ベクトルである固有ベクトルuを算出する(ステップS65)。なお、固有ベクトルuの算出方法の詳細は、実施の形態2において説明したものと同様である。
【0101】
ステップS66において、評価値算出部412aは、使用候補の蛍光に関する情報から当該蛍光の特徴ベクトルvを作成し、この特徴ベクトルvと、ステップS65において算出された固有ベクトルuとを用いて、式(4)によって与えられる評価値S1を算出する。なお、ステップS65において複数の固有ベクトルuが算出された場合には、各固有ベクトルuを用いて複数の評価値S1が算出される。
【0102】
ステップS67において、評価値判定部412bは、評価値S1を予め設定された所定の閾値bと比較する。なお、ステップS66において複数の評価値S1が算出された場合には、各評価値S1に対して判定が行われる。
【0103】
評価値判定部412bは、閾値bよりも値が大きい評価値S1が1つでも存在する場合(ステップS67:Yes)、選択された蛍光色素は使用不可能と判定する(ステップS64)。一方、閾値bよりも値が大きい評価値S1は存在しない場合(ステップS67:No)、選択された蛍光色素は使用可能と判定する(ステップS68)。
ステップS69において、演算部61は、ステップS64又はS68の判定結果を出力する。これに応じて、制御部36は、判定結果を表示部33に表示させる。
【0104】
以上説明したように、実施の形態5によれば、ユーザは、表示部33に表示された判定結果を参照して、非蛍光染色標本に重畳する蛍光標識抗体を染色する蛍光色素を容易に決定することができる。従って、ユーザは、そのような蛍光色素を用いて多重染色を施した標本を蛍光観察することにより、自家蛍光の影響の少ない正確な観察結果を得ることができる。
【0105】
なお、ユーザが使用を検討している蛍光色素に関する情報が記憶部34に記憶されていない場合、その蛍光色素に関する情報を画像処理装置60において作成することとしても良い。具体的には、顕微鏡装置10及び画像取得部20により、当該蛍光色素のみで染色した標本を複数の波長帯域で撮像することにより、波長帯域毎の一連の顕微鏡画像G(λn)を取得する。続いて、一連の顕微鏡画像G(λn)内の各画素Pkの画素値に基づく量x(n,k)を取得し、これらの画素値に基づく量x(n,k)に対して主成分分析演算を行うことにより、固有ベクトルを算出する。この固有ベクトルが、当該蛍光色素が発する蛍光の特徴ベクトルとなる。
【0106】
(変形例1)
次に、実施の形態1〜5の変形例1について説明する。
顕微鏡装置10としては、好ましくは、共焦点レーザ顕微鏡を用いると良い。この場合、標本SPを照射する励起光の波長を厳密に限定することが可能となり、自家蛍光が生じる波長帯域を画像処理装置30等において正確に把握することが可能となる。また、共焦点レーザ顕微鏡においては、厚みのある標本に対して光学的連続切片における画像を撮像して再構築することにより、3次元情報をイメージ化することができるので、厚みのある標本に対しても、厚み方向の各位置において自家蛍光が生じる波長帯域を、画像処理装置30等において正確に把握することが可能となる。
【0107】
(変形例2)
次に、実施の形態1〜5の変形例2について説明する。
顕微鏡装置10は、好ましくは、2光子レーザ顕微鏡を用いても良い。2光子レーザ顕微鏡においては、脳スライスのように、例えば100μm以上の厚い標本に対しても、深部における観察像を得ることができるので、厚い標本から発生する自家蛍光の波長帯域を画像処理装置30等において正確に把握することが可能となる。
【0108】
(変形例3)
次に、実施の形態1〜5の変形例3について説明する。
波長帯域毎の顕微鏡画像を取得する画像取得部の構成としては、マルチバンドカメラを用いる代わりに、広帯域な撮像が可能なカメラと、カメラに入射する光を波長毎に分離するフィルタ部とを組み合わせて用いても良い。
【0109】
図15は、変形例3に係る顕微鏡システムの構成例を示す模式図である。図15に示すように変形例3に係る顕微鏡システム6は、図2に示す画像取得部20の代わりに、結像レンズユニット105の端部に設けられた液晶チューナブルフィルタ71と、該液晶チューナブルフィルタ71に取り付けられたカメラ72とを有する画像取得部70を備える。なお、画像取得部70以外の顕微鏡システム2の構成については、図2に示すものと同様である。
【0110】
液晶チューナブルフィルタ71は、画像処理装置30の制御の下で動作し、結像レンズユニット105を介して入射した光(観察光)から任意の波長成分を抽出する。
図16に示すように、液晶チューナブルフィルタ71は、偏光子71aと複屈折フィルタ71bと液晶(ネマティック液晶)セル71cとを複数段に渡って繰り返し積層した構造を有し、各段の液晶セル71cに印加する電圧を変化させることにより、抽出する波長成分を、例えば1nm単位で変化させることができる。このような液晶チューナブルフィルタ71としては、例えば、CRI社(米国)製のバリスペック(VariSpec)液晶チューナブルフィルタが知られている。
【0111】
カメラ72は、例えばCCD等の撮像素子を含み、少なくとも可視領域から近赤外領域である約400nm〜約900nmを含む広帯域において撮像可能な撮像機器である。カメラ72は、画像処理装置30の制御の下で動作し、液晶チューナブルフィルタ71が抽出した波長成分を入射させ、この波長成分に対応する画像データを出力する。
【0112】
このような構成を有する画像取得部70を用いて標本SPを撮像することによって、より狭帯域に分離させた複数の顕微鏡画像を取得することができる。それにより、画像処理装置30において、自家蛍光が生じる波長帯域をより精密に特定することができる。従って、ユーザは、画像処理装置30における判定結果に基づいて、自家蛍光の影響の少ない蛍光色素を確実に選択することが可能となる。
【0113】
(変形例4)
次に、実施の形態1〜5の変形例4として、波長帯域毎の顕微鏡画像を取得する画像取得部の別の構成を説明する。
図17は、変形例4に係る顕微鏡システムの構成例を示す模式図である。図17に示すように、変形例4に係る顕微鏡システム7は、図2に示す画像取得部20の代わりに、結像レンズユニット105の端部に設けられた音響光学式波長可変フィルタ81と、該音響光学式波長可変フィルタ81に取り付けられたカメラ82とを有する画像取得部80を備える。なお、画像取得部80以外の顕微鏡システム3の構成については、図2に示すものと同様である。
【0114】
音響光学式波長可変フィルタ81は、画像処理装置30の制御の下で動作し、結像レンズユニット105を介して入射した光(観察光)から任意の波長成分を抽出する。
図18に示すように、音響光学式波長可変フィルタ81は、例えば二酸化テルル結晶のように異方性の高い結晶からなり、入射光から印加される音波(超音波)の振動数及び振幅に応じた波長成分を抽出して出射する音響光学素子81aと、印加される電圧に応じて伸縮することにより音響光学素子81aに音波を印加する振動子(圧電素子)81bと、振動子81bに電圧を印加する高周波発振器81cと、音響光学素子81aの振動を吸収するダンパー81dとを有する。このような音響光学式波長可変フィルタ81においては、高周波発振器81cにおける発振周波数及び振幅を調整して、振動子81bが音響光学素子81aに印加する超音波を制御することにより、音響光学素子81aが抽出する波長成分を制御することができる。
【0115】
カメラ82は、例えばCCD等の撮像素子を含み、少なくとも可視領域から近赤外領域である約400nm〜約900nmを含む広帯域において撮像可能な撮像機器である。カメラ82は、画像処理装置30の制御の下で動作し、音響光学式波長可変フィルタ81が抽出した波長成分を入射させ、この波長成分に対応する画像データを出力する。
【0116】
このような構成を有する画像取得部80を用いて標本SPを撮像することによって、より狭帯域に分離させた複数の顕微鏡画像を取得することができる。また、音響光学式波長可変フィルタ81は温度変化による影響を受け難いため、例えば、高温又は温度変化が激しい環境下においても非蛍光染色標本から生じる自家蛍光を正確に反映した顕微鏡画像を取得することができる。このため、そのような環境下においても、画像処理装置30において、自家蛍光が生じる波長帯域を精密に特定することができる。従って、ユーザは、画像処理装置30における判定結果に基づいて、自家蛍光の影響の少ない蛍光色素を確実に選択することが可能となる。
【0117】
以上説明した実施の形態1〜5及びこれらの変形例1〜4においては、1種類以上の非蛍光染色に対して1種類以上の蛍光標識抗体を重畳する場合にも適用することができる。
また、本発明は、上述した各実施の形態1〜5及びこれらの変形例1〜4はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
【符号の説明】
【0118】
1〜5 顕微鏡システム
10 顕微鏡装置
20、70、80 画像取得部
30、40、50、60 画像処理装置
100 アーム部
101 標本ステージ
102、102’ 対物レンズ
103 三眼鏡筒ユニット
104 接眼レンズユニット
105 結像レンズユニット
106a 透過照明用光源
106b 透過照明光学系
107a 落射照明用光源
107b 落射照明光学系
108 キューブユニット
108a、108b 光学キューブ
109 レボルバ
31 入力部
32 画像入力部
33 表示部
34 記憶部
341 画像処理プログラム
35、41、51、61 演算部
36 制御部
351 蛍光強度算出部
352 蛍光強度比較判定部
411 主成分分析演算部
412 特徴量判定部
412a 評価値算出部
412b 評価値判定部
611 蛍光色素情報取得部
71 液晶チューナブルフィルタ
72、82 カメラ
71a 偏光子
71b 複屈折フィルタ
71c 液晶セル
81 音響光学式波長可変フィルタ
81a 音響光学素子
81b 振動子
81c 高周波発振器
81d ダンパー

【特許請求の範囲】
【請求項1】
非蛍光染色が施された標本を互いに異なる複数の波長帯域で撮像することにより取得された複数の画像を入力する画像入力部と、
入力された前記複数の画像に基づいて、前記標本が発する自家蛍光を表す特徴量を算出する特徴量算出部と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記特徴量に基づいて、前記非蛍光染色が施された標本に対して蛍光標識抗体を重畳可能又は重畳不可能な蛍光の波長帯域を判定する判定部をさらに備えることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記特徴量は、前記複数の画像の各々に対して、各画像内の画素の画素値から算出された蛍光強度であり、
前記判定部は、前記蛍光強度を所定の閾値と比較することにより、前記重畳可能又は重畳不可能な蛍光の波長帯域を判定することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記特徴量算出部は、前記複数の画像内の画素の画素値に基づいて、波長に応じて定まる強度スペクトルを抽出し、
前記判定部は、前記強度スペクトルと、既知の蛍光の強度スペクトルとの相関に基づいて、前記重畳可能又は重畳不可能な蛍光の波長帯域を判定することを特徴とする請求項2に記載の画像処理装置。
【請求項5】
前記特徴量算出部は、前記複数の画像内の画素の画素値に基づく量に対する主成分分析演算により固有ベクトルを算出し、
前記判定部は、
前記固有ベクトルと前記既知の蛍光の強度スペクトルに対応する特徴ベクトルとの相関を表す評価値を算出する評価値算出部と、
前記評価値を所定の閾値と比較する評価値判定部と、
を有することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記評価値は、前記固有ベクトルと前記特徴ベクトルとの内積を正規化した値であり、
前記評価値判定部は、前記評価値が所定の閾値よりも大きい場合に、前記特徴ベクトルに対応する波長帯域の蛍光は、重畳が不可能であると判定することを特徴とする請求項5に記載の画像処理装置。
【請求項7】
前記評価値は、前記固有ベクトルを前記特徴ベクトルの方向に射影したベクトルと前記特徴ベクトルとの差分ベクトル同士の内積であり、
前記評価値判定部は、前記評価値が所定の閾値よりも小さい場合に、前記特徴ベクトルに対応する波長帯域の蛍光は、重畳が不可能であると判定することを特徴とする請求項5に記載の画像処理装置。
【請求項8】
前記複数の画像内の画素の画素値に基づいて、波長に応じて定まる強度スペクトルを抽出する第2の特徴量算出部と、
前記強度スペクトルと、既知の蛍光の強度スペクトルとの相関に基づいて、前記重畳可能又は重畳不可能な蛍光の波長帯域を判定する第2の判定部と、
をさらに備え、
前記第2の判定部は、前記判定部において重畳可能と判定された蛍光の波長帯域に対して、さらに、前記重畳可能又は重畳不可能な蛍光の波長帯域を判定することを特徴とする請求項3に記載の画像処理装置。
【請求項9】
前記既知の蛍光に関する情報を記憶する記憶部をさらに備えることを特徴とする請求項4〜8のいずれか1項に記載の画像処理装置。
【請求項10】
請求項1〜9のいずれか1項に記載の画像処理装置と、
前記標本に対する蛍光観察が可能な顕微鏡装置と、
前記顕微鏡装置に設けられ、互いに異なる複数の波長帯域において撮像を行うことにより、複数の画像を取得する画像取得部と、
を備えることを特徴とする顕微鏡システム。
【請求項11】
前記画像取得部は、可視領域及び近赤外領域を含む波長領域で撮像可能であることを特徴とする請求項10に記載の顕微鏡システム。
【請求項12】
非蛍光染色が施された標本を互いに異なる複数の波長帯域で撮像することにより取得された複数の画像を入力する画像入力ステップと、
入力された前記複数の画像に基づいて、前記標本が発する自家蛍光を表す特徴量を算出する特徴量算出ステップと、
を含むことを特徴とする画像処理方法。
【請求項13】
非蛍光染色が施された標本を互いに異なる複数の波長帯域で撮像することにより取得された複数の画像を入力する画像入力ステップと、
入力された前記複数の画像に基づいて、前記標本が発する自家蛍光を表す特徴量を算出する特徴量算出ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公開番号】特開2013−114233(P2013−114233A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−263131(P2011−263131)
【出願日】平成23年11月30日(2011.11.30)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】