説明

顕微鏡、領域判定方法、及びプログラム

【課題】プレパラート内に空気が含まれる場合でも、当該空気の領域以外の領域を、合焦処理等の対象となる領域として判定することができる顕微鏡、領域判定方法、プログラムを提供すること。
【解決手段】本発明に係る顕微鏡は、スライドガラスとカバーガラスとの間に封入剤を用いて試料が封入されたプレパラートに暗視野照明を照射する暗視野照明系と、前記暗視野照明が照射された前記プレパラートの暗視野画像を撮像する撮像部と、前記撮像された暗視野画像をもとに、前記スライドガラス及び前記カバーガラスの間に含まれる空気と前記封入剤との境界を検出し、前記空気の領域以外の領域を前記試料に対する関心領域として判定する領域判定部とを具備する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像された試料画像に対し領域判定処理を行うことが可能な顕微鏡、領域判定方法、及びプログラムに関する。
【背景技術】
【0002】
近年、光学顕微鏡により得られる生体の細胞や組織等の拡大画像がデジタル化され、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を治療したりするシステムが知られている。例えばバーチャルスライド装置により、生体の組織等が封入されたプレパラートがスキャンされ、組織等のデジタル画像が作成される。
【0003】
例えば特許文献1には、病理細胞等の検体を顕微鏡で観察するために用いられるプレパラートについて記載されている。特許文献1の段落[0021]や図5に記載されているように、スライドガラス(3)上に検体(4)が載せられ、封入剤(5)を介してカバーガラス(1)が被せられる。これによりプレパラート(6)が作成される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−197425号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記したように生体の組織等のデジタル画像が作成される際には、プレパラートに封入された検体にフォーカスを合わせることが重要である。しかしながら、プレパラート作成時に、スライドガラスとカバーガラスとの間に気泡が発生してしまうことがある。そうすると、プレパラートをスキャンするときに検体に対してフォーカスを合わせることが難しくなる。また例えば撮像されたデジタルデータから自動診断が行われる場合に、気泡の部分が診察対象の領域に含まれてしまい、正確な診断が妨げられる可能性もある。
【0006】
以上のような事情に鑑み、本発明の目的は、プレパラート内に空気が含まれる場合でも、当該空気の領域以外の領域を、合焦処理等の対象となる領域として判定することができる顕微鏡、領域判定方法、プログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明の一形態に係る顕微鏡は、暗視野照明系と、撮像部と、領域判定部とを具備する。
暗視野照明系は、スライドガラスとカバーガラスとの間に封入剤を用いて試料が封入されたプレパラートに暗視野照明を照射する。
前記撮像部は、前記暗視野照明が照射された前記プレパラートの暗視野画像を撮像する。
前記領域判定部は、前記撮像された暗視野画像をもとに、前記スライドガラス及び前記カバーガラスの間に含まれる空気と前記封入剤との境界を検出し、前記空気の領域以外の領域を前記試料に対する関心領域として判定する。
【0008】
この顕微鏡では、試料が封入されたプレパラートに暗視野照明が照射され、当該プレパラートの暗視野画像が撮像される。暗視野画像は、暗視野照明により生じる散乱光等の画像であり、これをもとにプレパラート内の空気と封入剤との境界が検出される。この結果、プレパラート内における空気の領域以外の領域を、合焦処理等の対象となる関心領域として判定することができる。
【0009】
前記領域判定部は、前記暗視野画像において閉領域を形成する領域線を前記境界として検出してもよい。
この顕微鏡では、閉領域を形成する領域線が境界として検出される。これにより空気と封入剤との境界を容易に検出することができる。
【0010】
前記領域判定部は、前記閉領域の内部領域及び外部領域を比較し、いずれか一方の領域を前記関心領域として判定してもよい。
この顕微鏡では、閉領域の内部領域及び外部領域を比較し、その結果をもとに関心領域が判定される。これにより、確実に関心領域を判定することができる。
【0011】
前記顕微鏡は、前記内部領域における合焦位置と、前記外部領域における合焦位置とをそれぞれ算出する合焦処理部をさらに具備してもよい。この場合、前記領域判定部は、前記算出された領域ごとの合焦位置を比較し、前記関心領域を判定してもよい。
このように内部領域における合焦位置と、外部領域における合焦位置とが比較され、その結果をもとに関心領域が判定されてもよい。
【0012】
前記顕微鏡は、照射部と、反射光検出部とをさらに具備してもよい。前記照射部は、前記内部領域及び前記外部領域のそれぞれに検出光を照射する。前記反射光検出部は、前記各領域に照射された前記検出光の反射光を検出する。
この場合、前記領域判定部は、前記反射光検出部により検出された前記領域ごとの反射光に、前記空気の領域で反射した反射光が含まれるかを判定し、その判定結果をもとに前記関心領域を判定してもよい。
このように内部領域及び外部領域に検出光がそれぞれ照射され、その反射光に基づいて関心領域が判定されてもよい。
【0013】
本発明の一形態に係る領域判定方法は、スライドガラスとカバーガラスとの間に封入剤を用いて試料が封入されたプレパラートに暗視野照明を照射することを含む。
前記暗視野照明が照射された前記プレパラートの暗視野画像が撮像される。
前記撮像された暗視野画像をもとに、前記スライドガラス及び前記カバーガラスの間に含まれる空気と前記封入剤との境界が検出され、前記空気の領域以外の領域が前記試料に対する関心領域として判定される。
【0014】
本発明の一形態に係るプログラムは、照射ステップと、撮像ステップと、判定ステップとを、コンピュータを搭載した顕微鏡に実行させる。
前記照射ステップは、スライドガラスとカバーガラスとの間に封入剤を用いて試料が封入されたプレパラートに暗視野照明を照射する。
前記撮像ステップは、前記暗視野照明が照射された前記プレパラートの暗視野画像を撮像する。
前記判定ステップは、前記撮像された暗視野画像をもとに、前記スライドガラス及び前記カバーガラスの間に含まれる空気と前記封入剤との境界を検出し、前記空気の領域以外の領域を前記試料に対する関心領域として判定する。
前記プログラムは、記録媒体に記録されていてもよい。
【発明の効果】
【0015】
以上のように、本発明によれば、プレパラート内に空気が含まれる場合でも、当該空気の領域以外の領域を、合焦処理等の対象となる領域として判定することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の第1の実施形態に係る顕微鏡の構成例を示す模式的な図である。
【図2】図1に示すプレパラートの構成例を示す模式的な図である。
【図3】図1に示すステージを模式的に示す平面図である。
【図4】図3に示すステージにプレパラートが載置された状態を示す図である。
【図5】第1の実施形態に係る暗視野照明系としての境界検出用照明系を示す模式的な斜視図である。
【図6】スライドガラス及びカバーガラスの間に空気が混入した状態のプレパラートを示す平面図である。
【図7】図6に示すプレパラートに明視野照明による透過光を照射して撮像されたサムネイル画像の写真である。
【図8】図6に示すプレパラートに染色用暗視野照明による透過光を照射して撮像されたサムネイル画像の写真である。
【図9】図6に示すプレパラートに、本実施形態に係る境界検出用照明系により暗視野照明光が照射されて撮像されたサムネイル画像の写真である。
【図10】図1に示す統括制御部の構成例を模式的に示すブロック図である。
【図11】図1に示す顕微鏡の動作例を示すフローチャートである。
【図12】気泡を含むプレパラートの模式的な断面図である。
【図13】気泡を含むプレパラートの拡大画像の一部を示す写真である。
【図14】本実施形態に係る関心領域の設定処理、及び関心領域の拡大画像の撮像処理を示すフローチャートである。
【図15】プレパラートの暗視野画像の別の例を示す平面図である。
【図16】図1に示す統括制御部として機能するコンピュータの構成例を模式的に示すブロック図である。
【図17】本発明の第2の実施形態に係る関心領域の設定処理、及び関心領域の拡大画像の撮像処理を示すフローチャートである。
【図18】図17に示す関心領域の設定処理について説明するための図である。
【図19】図14に示す顕微鏡の処理の変形例を示すフローチャートである。
【図20】図17に示す第2の実施形態に係る顕微鏡の処理の変形例を示すフローチャートである。
【図21】図5に示す境界検出用照明系の変形例を示す模式的な斜視図である。
【発明を実施するための形態】
【0017】
以下、図面を参照しながら、本発明の実施形態を説明する。
【0018】
<第1の実施形態>
[顕微鏡]
図1は、本発明の第1の実施形態に係る顕微鏡100の構成例を示す模式的な図である。顕微鏡100は、試料としての生体サンプルが封入されたプレパラート180全体のサムネイル画像を撮像するサムネイル画像撮像部110を有する。また顕微鏡100は、所定の倍率で拡大された生体サンプルの拡大画像を撮像する拡大画像撮像部120を有する。本実施形態では、サムネイル画像撮像部110が、撮像部として機能する。
【0019】
図2は、プレパラート180の構成例を示す模式的な図である。図2(A)はプレパラート180の平面図である。図2(B)はプレパラート180の短手方向に沿う線での断面図(A−A線での断面図)である。
【0020】
プレパラート180は、生体サンプル190が所定の固定手法によりスライドガラス160に固定されたものである。本実施形態では、スライドガラス160とカバーガラス161との間に封入剤165を用いて生体サンプル190が封入されている。
【0021】
生体サンプル190は、例えば血液等の結合組織、上皮組織又はそれら双方の組織等の組織切片又は塗抹細胞からなる。これらの組織切片又は塗抹細胞には、必要に応じて各種の染色が施される。この染色には、HE(ヘマトキシリン・エオシン)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、FISH(Fluorescence In-Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。
【0022】
封入剤165としては、例えば高分子ポリマーを芳香族系有機溶剤に溶解させたものが用いられる。しかしながら封入剤165の種類は、特に限定されない。染色剤を含む封入剤が用いられてもよい。
【0023】
図2(A)に示すように、プレパラート180に、対応する生体サンプル190を特定するための付帯情報(例えば、サンプルを採取した人の氏名、採取日時、染色の種類等)が記載されたラベル162が貼付されていてもよい。
【0024】
図1に示すように顕微鏡100は、プレパラート180が載置されるステージ130を有する。図3は、ステージ130を模式的に示す平面図である。図4は、ステージ130にプレパラート180が載置された状態を示す図である。
【0025】
図3に示すように、ステージ130には、プレパラート180よりも略1回り面積が小さい開口部131が設けられている。ステージ130の開口部131の周囲には、プレパラート180の周辺181を固定する突起部132a〜132cが設けられる。
【0026】
突起部132aは、開口部131に対応した位置でステージ130に載置されるプレパラート180の短辺181aを支持する。突起部132b、132cは、プレパラート180の長辺181bを支持する。またステージ130には、短辺181a及び長辺181bの間の角182の対角となる角183を指示する抑止部133が設けられる。図3及び図4に示すように、抑止部133は、支点133aを中心として回転可能に設けられ、かつ開口部131側に付勢されている。
【0027】
ステージ130のプレパラート180が載置される載置面138には、ステージ130の位置を認識するためのマーク134a〜134dが付されている。例えばステージ130の画像がサムネイル画像撮像部等により撮像される。そのときのマーク134a〜134dの撮像位置に基づいて、ステージ130の位置が調整される。マーク134a〜134dとしては、例えばそれぞれ異なる位置関係で配置された「○」及び「△」のマーク等が用いられる。
【0028】
図1に示すように、顕微鏡100は、ステージ130を所定の方向に移動させるステージ駆動機構135を有する。ステージ駆動機構135により、ステージ130を、ステージ面に対して平行となる方向(X軸−Y軸方向)と、直交する方向(Z軸方向)とに自由に移動させることができる。
【0029】
拡大画像撮像部120は、光源121と、コンデンサレンズ122と、対物レンズ123と、撮像素子124とを有する。また拡大画像撮像部120は、図示しない視野絞り等を有する。
【0030】
本実施形態に係る光源121は、ステージ130の載置面138とは逆の面139側に設けられる。光源121により、例えば一般染色が施された生体サンプル190を照明する光(以下、明視野照明光、又は、単に照明光ともいう)が照射される。又は光源111により、特殊染色が施された生体サンプル190を照明する光(以下、染色用暗視野照明光ともいう)が照射されてもよい。
【0031】
あるいは、光源121として、明視野照明光及び染色用暗視野照明光を切り換えて照射可能なものが用いられてもよい。この場合、光源121として、明視野照明光を照射する光源と、染色用暗視野照明光を照射する光源の2種類の光源が設けられる。なお光源121は、ステージ130の載置面138側に設けられてもよい。
【0032】
コンデンサレンズ122は、光源121から照射された明視野照明光や、染色用暗視野照明用の光源から照射された暗視野照明光を集光して、ステージ130上のプレパラート180に導くレンズである。このコンデンサレンズ122は、ステージ130の載置面138における拡大画像撮像部120の基準位置の法線を光軸ERAとして、光源121とステージ130との間に配置される。
【0033】
所定倍率の対物レンズ123は、ステージ130の載置面138における拡大画像撮像部120の基準位置の法線を光軸ERAとして、ステージ130の載置面138側に配置される。ステージ130に載置されたプレパラート180を透過した透過光は、この対物レンズ123によって集光されて、対物レンズ123の後方(すなわち、照明光の進行方向)に設けられた撮像素子124に結像する。なお拡大画像撮像部120では、対物レンズ123を適宜交換することで、生体サンプル190を様々な倍率に拡大して撮像することが可能である。
【0034】
撮像素子124には、ステージ130の載置面138における所定の横幅及び縦幅からなる撮像範囲の像が結像される。すなわち対物レンズ123により、生体サンプル190の一部が拡大されて撮像される。撮像範囲の大きさは、撮像素子124の画素サイズ及び対物レンズ123の倍率等に応じて定められる。撮像範囲の大きさは、サムネイル画像撮像部110により撮像される撮像範囲と比べて十分に小さい範囲となる。
【0035】
サムネイル画像撮像部110は、光源111と、対物レンズ112と、撮像素子113とを有する。またサムネイル画像撮像部110は、図1には図示しない本実施形態に係る暗視野照明系としての、境界検出用照明系を有する。この境界検出用照明系については後述する。
【0036】
光源111は、ステージ130の載置面138とは逆の面139側に設けられる。光源111として、明視野照明光を照射するもの又は染色用暗視野照明光を照射するものが用いられてもよい。あるいは双方の照明光を切り換えて照明するものが用いられてもよい。また光源111は、ステージ130の載置面138側に設けられてもよい。
【0037】
所定倍率の対物レンズ112は、プレパラート180が載置される載置面138におけるサムネイル画像撮像部110の基準位置の法線を光軸SRAとして、ステージ130の載置面138側に配置される。ステージ130に載置されたプレパラート180を透過した透過光は、この対物レンズ112によって集光されて、対物レンズ112の後方(すなわち、照明光の進行方向)に設けられた撮像素子113に結像する。
【0038】
撮像素子113には、載置面138に載置されたプレパラート180全体を包括する撮像範囲の光(プレパラート180略全体を透過した透過光)が結像する。この撮像素子113上に結像した像が、プレパラート180全体を撮像した顕微鏡画像であるサムネイル画像となる。また撮像素子113により、後述する境界検出用照明系により暗視野照明が照射されたプレパラート180のサムネイル画像が撮像される。
【0039】
図1に示すように、拡大画像撮像部120及びサムネイル画像撮像部110は、それぞれの基準位置の法線である光軸SRAと光軸ERAとがY軸方向に距離Dだけ離れるように配置される。この距離Dは、撮像素子113の撮像範囲に拡大画像撮像部120の対物レンズ123を保持する図示しない鏡筒が写り込むことがないように設定される。一方、距離Dは、顕微鏡100の小型化のために可能な限り小さく設定される。
【0040】
上記した撮像素子124及び113は、1次元撮像素子であってもよく、2次元撮像素子であってもよい。
【0041】
図5は、本実施形態に係る暗視野照明系としての境界検出用照明系を示す模式的な斜視図である。境界検出用照明系500は、プレパラート180に暗視野照明光を照射するLED(Light Emitting Diode)リング照明114を有する。LEDリング照明114は、ステージ130に載置されたプレパラート180と撮像素子113との間に配置される。すなわち光源111とは逆側に設けられる。またLEDリング照明114は、プレパラート180の縁部184側から斜めに暗視野照明を照射可能なように、その位置及び形状が設定されている。
【0042】
暗視野照明光の照射角度は適宜設定可能である。例えばLEDリング照明114が、プレパラート180の略同一面上に、リング内にプレパラート180を含むように設けられる。そしてプレパラート180の略真横から暗視野照明光が照射されてもよい。
【0043】
ここで本実施形態に係る境界検出用照明系500により暗視野照明光が照射されたプレパラート180のサムネイル画像について説明する。図6〜図9は、その説明のための図である。
【0044】
図6に示すように、プレパラート180に生体サンプル190が封入されるときに、スライドガラス160及びカバーガラス161の間に空気が混入し、気泡50が発生してしまう場合がある。
【0045】
図7は、このプレパラート180に明視野照明による透過光を照射して撮像されたサムネイル画像210の写真である。図7に示すように、封入剤165と気泡50の境界55におけるコントラストは低い。従って当該境界55を検出することが困難である。
【0046】
図8は、このプレパラート180に染色用暗視野照明による透過光を照射して撮像されたサムネイル画像220の写真である。図8に示すように、このサムネイル画像220においても、封入剤165と気泡50の境界55におけるコントラスト低く、当該境界55を検出することは困難である。
【0047】
図9は、本実施形態に係る境界検出用照明系500により暗視野照明光が照射されて撮像されたサムネイル画像200の写真である。このサムネイル画像200は暗視野画像として撮像される。図9に示すように、サムネイル画像200では、封入剤165と気泡50の境界55におけるコントラストが強調されて撮像される。これは封入剤165と気泡50との境界55において、暗視野照明光が散乱し、その散乱光等が撮像素子113に結像されるからである。
【0048】
一般的な光の特性として、短波長の光は散乱されやすく(すなわち散乱率が高く)、長波長の光は散乱されにくい(すなわち散乱率が低い)。波長によって散乱率の異なる散乱をレーリー散乱という。レーリー散乱による散乱率は、波長の4乗に反比例する。光が大きく散乱するほど散乱率の変化の差分を光の濃淡差として撮像することができるので、境界55を明確に検出することが可能となる。従って散乱率の高い、短波長の光(例えば、青色、紫糸、白色等)が暗視野照明光として用いられてもよい。しかしながら、暗視野照明光の波長は適宜設定可能である。
【0049】
なお、本実施形態としては、境界検出用照明系として、LED照明が用いられた。しかしながらこれに限られず、例えば、暗視野照明系としてレーザ光が用いられてもよい。
【0050】
図1に示すように顕微鏡100には、顕微鏡100の各プロックを制御するための制御部が接続されている。例えば顕微鏡100には、光源111、光源121及びLEDリング照明114を含む、顕微鏡100が備える各種の光源を制御するための照明制御部141が接続されている。ステージ駆動機構135にはステージ駆動制御部142が接続されている。
【0051】
サムネイル画像を撮像するための撮像素子113には、サムネイル画像撮像制御部143が接続されており、生体サンプル190の拡大画像を撮像するための撮像素子124には、拡大画像撮像制御部144が接続されている。これらの制御部は、各種のデータ通信路を介して顕微鏡100の各ブロックに接続される。
【0052】
また図1に示すように、顕微鏡100には、顕微鏡100全体の制御を行う統括制御部150が別途設けられている。上記した各種の制御部は、各種のデータ通信路を介して、統括制御部150に接続される。統括制御部150は、領域判定部等として機能する。
【0053】
各制御部及び統括制御部150は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、例えばHDD(Hard disk drive)等のストレージ装置、通信装置及び演算回路等により実現されるものである。
【0054】
照明制御部141は、統括制御部150から生体サンプル190の照明方法を示す情報が出力されると、その情報に基づいて、対応する光源の照射制御を行う。例えばサムネイル画像撮像部110の光源111により照明光が照射される場合、照明制御部141は照明方法の情報を参照し、撮像モードを判定する。すなわち照明制御部141は、明視野画像を取得すべきモード(以下、明視野モードともいう)又は暗視野像を取得すべきモード(以下、暗視野モードともいう)のどちらが実行されるかを判定する。
【0055】
照明制御部141は、各モードに応じたパラメータを光源111に対して設定し、光源111に各モードに適した照明光を照射させる。これにより光源111から照射された照明光が、ステージ130の開口部131を介して、生体サンプル190に照射される。なお、照明制御部141が設定するパラメータとしては、例えば照明光の強度や光源種類の選択等がある。
【0056】
拡大画像撮像部120の光源121により照明光が照射される場合、照明制御部141は照明方法の情報を参照し、明視野モード又は暗視野モードのどちらが実行されるかを判定する。照明制御部141は、各モードに応じたパラメータを光源121に対して設定し、光源121から、各モードに適した照明光を照射させる。これにより、光源121から照射された照明光が、ステージ130の開口部131を介して、生体サンプル190に照射される。
【0057】
明視野モードにおける照射光は、典型的には可視光である。暗視野モードにおける照射光は、典型的には、特殊染色で用いられる蛍光マーカを励起可能な波長を含む光である。暗視野モードでは、蛍光マーカに対する背景部分はカットアウトされる。
【0058】
ステージ駆動制御部142は、統括制御部150から生体サンプル190の撮像方法を示す情報が出力されると、その情報に基づいて、ステージ駆動機構135を制御する。例えば統括制御部150からステージ駆動制御部142に生体サンプル190のサムネイル画像を撮像する旨の情報が出力される。そうするとステージ駆動制御部142はステージ駆動機構135を駆動制御し、ステージ面方向(X―Y軸方向)でステージ130を移動させる。ステージ130は、プレパラート180全体が撮像素子113の撮像範囲に入るように移動される。またステージ駆動制御部142は、対物レンズ112の合焦処理のために、ステージ130をステージ面に直交する方向(Z軸方向、生体サンプル190の奥行方向)に移動させる。
【0059】
統括制御部150から生体サンプル190の拡大画像を撮像する旨の情報が出力されると、ステージ駆動制御部142は、サムネイル画像撮像部110から拡大画像撮像部120へステージを移動させる。ステージ130は、コンデンサレンズ122と対物レンズ123との間の位置に生体サンプル190が配置されるように、ステージ面方向に移動される。またステージ130は、撮像素子124により撮像される撮像範囲に生体サンプル190の所定の部位が配置されるように移動される。さらにステージ駆動制御部142は、対物レンズ112の合焦処理のために、ステージ130をZ軸方向に移動させる。
【0060】
サムネイル画像撮像制御部143は、明視野モード又は暗視野モードに応じたパラメータを撮像素子113に設定する。またサムネイル画像撮像制御部143は、撮像素子113の結像面に結像した像についての出力信号をもとに、サムネイル画像についての画像データを出力する。なおサムネイル画像撮像制御部143が設定するパラメータとして、例えば露光の開始タイミング及び終了タイミングがある。
【0061】
拡大画像撮像制御部144は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子124に設定する。また拡大画像撮像制御部144は、撮像素子124の結像面に結像した像についての出力信号をもとに、拡大画像についての画像データを出力する。当該画像データは、統括制御部150に出力される。
【0062】
図10は、統括制御部150の構成例を模式的に示すブロック図である。統括制御部150は、位置制御部151と、画像処理部152と、サムネイル画像取得部153と、拡大画像取得部154とを備える。
【0063】
位置制御部151は位置制御処理を実行し、ステージ130を、目標とする位置に移動させる。位置制御部151は、目標位置決定部151aと、ステージ画像取得部151bと、ステージ位置検出部151cとを有する。
【0064】
サムネイル画像が取得される場合、目標位置決定部151aにより、ステージ130の目標位置が決定される。ステージ130の目標位置は、撮像素子113の撮像範囲にプレパラート180全体が入る位置に定められる。
【0065】
ステージ画像取得部151bは、照明制御部141を介して光源111やマーク134a〜134dを照明する光源等を駆動させる。そしてサムネイル画像撮像制御部143を介して撮像素子113により撮像される撮像範囲全体のステージ画像を所定のタイミング間隔で取得する。
【0066】
ステージ位置検出部151cは、取得されたステージ画像の各画素と、予めHDD(ストレージ装置)に格納されたマーク134a〜134dの形状データとの相関値を算出する。そしてステージ画像におけるマーク134a〜134dの位置を算出する。これらステージ画像における各マークの位置に基づいて、例えばHDDに格納された対応テーブル等を利用することで、実際のステージ130の位置が検出される。
【0067】
位置制御部151は、目標位置決定部151aにより決定された目標位置と、ステージ位置検出部151cにより検出されたステージ130の位置との差分を算出する。そして該差分をステージ駆動制御部142に出力する。
【0068】
ステージ駆動制御部142は、位置制御部151から供給される差分に応じてステージ駆動機構135を制御し、ステージ130を目標位置へと移動させる。位置制御部151は、撮像素子113により撮像されるステージ画像を取得するたびに、上記差分の情報をステージ駆動制御部142に出力することが可能である。
【0069】
本実施形態に係る画像処理部152は、サムネイル画像撮像制御部143から出力されたサムネイル画像に基づいて種々の処理を実行する。例えば図9に示すような境界検出用照明系500により照明されたサムネイル画像200をもとに、気泡50と封入剤165との境界55を検出する。また気泡50の領域である空気層領域51以外の領域を生体サンプル190に対する関心領域(ROI:Region Of Interest)195として判定する(図6参照)。これらの処理については、後に詳述する。
【0070】
また画像処理部152により、複数の拡大画像が撮像される対象領域が設定されてもよい。あるいは、画像処理部152により、プレパラート180に付されたラベル162の画像が取得されたり、プレパラート180内の異物等によるノイズが除去されてもよい。画像処理部152により生成されたデータやパラメータ等は、サムネイル画像取得部153及び拡大画像取得部154に出力される。
【0071】
サムネイル画像取得部153は、例えば顕微鏡100に対するユーザの操作に基づいて、サムネイル画像撮像制御部143に、各種設定条件でのサムネイル画像の撮像を要求する。ステージ130にプレパラート180が載置されたときに、自動的にサムネイル画像の撮像の要求が行われてもよい。
【0072】
またサムネイル画像取得部153は、画像処理部152から出力されたサムネイル画像のデータを所定の記憶部に格納させてもよい。またはサムネイル画像取得部153により、サムネイル画像データが、図示しない通信部を介して、外部に設けられた画像データ格納サーバ等に出力されてもよい。
【0073】
拡大画像取得部154は、例えば顕微鏡100に対するユーザの操作に基づいて、拡大画像撮像制御部144に、各種設定条件での拡大画像の撮像を要求する。プレパラート180のサムネイル画像が撮像された後に、自動的に拡大画像の撮像の要求が行われてもよい。
【0074】
また拡大画像取得部154は、拡大画像撮像制御部144から出力された拡大画像のデータを所定の記憶部に格納させてもよい。または拡大画像取得部154により、拡大画像データが、図示しない通信部を介して、外部に設けられた画像データ格納サーバ等に出力されてもよい。
【0075】
<顕微鏡の動作>
図11は、本実施形態に係る顕微鏡100の動作例を示すフローチャートである。サムネイル画像撮像部110の、光源111と対物レンズ112との間の位置に、ステージ130が移動する(ステップ101)。境界検出用照明系500のLEDリング照明114により、プレパラート180に暗視野照明光が照射される(ステップ102)。プレパラートの暗視野画像が撮像される(ステップ103)。これにより図9に示すようなサムネイル画像200が生成される。なお、サムネイル画像200が撮像された後に、暗視野照明光の照射がOFFとなってもよい。
【0076】
撮像されたサムネイル画像200において、コントラストが強調されている強調部分56が検出される(ステップ104)。この強調部分56が、プレパラート180における、封入剤165と気泡50の境界55として検出される。
【0077】
強調部分56は、例えばサムネイル画像200の各画素の輝度値に基づいて検出される。例えば、予め設定された閾値よりも輝度値が大きい部分が、強調部分56として検出されてもよい。又は周波数成分や標準偏差値を用いて強調部分56が検出されてもよい。その他、コントラストの強調部分56を検出する方法は適宜設定可能である。
【0078】
検出された封入剤165と気泡50の境界55の情報をもとに、気泡50の領域である空気層領域51以外の領域が生体サンプル190に対する関心領域195として判定される。そして関心領域195に対して適宜合焦処理等が行われ、プレパラート180がスキャンされる(ステップ105)。
【0079】
図12及び図13は、プレパラート180に対する合焦処理について説明するための図である。図12は、気泡50を含むプレパラート180の模式的な断面図である。図13は、気泡50を含むプレパラート180の拡大画像の一部を示す写真である。
【0080】
本実施形態では、サムネイル画像撮像部110及び拡大画像撮像部120は、合焦処理部としてのオートフォーカス機構を有する。オートフォーカス機構により合焦位置が算出され、当該合焦位置を基準としてフォーカスが合わせられる。
【0081】
図12に示すように、スライドガラス160とカバーガラス161の間に、封入剤165により生体サンプル190が封入されている。そしてスライドガラス160とカバーガラス161の間に気泡が生じている。ここでプレパラート180の外部(空気)、及び気泡50内の屈折率N4の値を1とする。スライドガラス160の屈折率N1、封入剤165の屈折率N2、及びカバーガラス161の屈折率N3はそれぞれ略等しいものとする。そしてその値は空気の屈折率よいも大きい、例えば1.5程度の値とする。
【0082】
図12に示すように、気泡50が存在しない関心領域195に対して合焦処理が実行される場合、合焦位置F1を基準としてフォーカスが合わせられる。図13(A)には、関心領域195に対して合焦処理が実行されたときの写真が示されている。
【0083】
一方、気泡50内の空気層領域51に対して合焦処理が実行される場合、合焦位置F2を基準としてフォーカスが合わせられる。空気層領域51での屈折率N4の値と、カバーガラス等の屈折率N1〜N3の値との相違により、合焦位置F2は合焦位置F1と異なる位置となる。図12に示すように、合焦位置F2は、合焦位置F1よりも深い位置、すなわちZ軸方向において対物レンズ112から遠ざかる位置となる。図13(B)には、気泡50内の空気層領域51に対して合焦処理が実行されたときの写真が示されている。
【0084】
このように、プレパラート180に気泡50が混入すると、プレパラート180がスキャンされるときに、診察等の対象となる関心領域195にフォーカスを合わせることが難しくなる。また例えば撮像された拡大画像をもとに自動診断が行われる場合に、気泡50の部分が診察対象の領域に含まれてしまうことで、正確な診断が妨げられる可能性もある。また気泡50内の意味のない部分の撮影により、生成される拡大画像等のデジタルデータの容量が無駄に大きくなってしまう、といった悪影響が考えられる。
【0085】
本実施形態に係る顕微鏡100では、境界検出用照明系500により、生体サンプル190が封入されたプレパラート180に暗視野照明光が照射される。そしてプレパラート180のサムネイル画像200が暗視野画像として撮像される。暗視野画像には、プレパラート180内の気泡50と封入剤165との境界55における散乱光による強調部分56が写される。従って強調部分56を境界55として検出することが可能となる。この結果、プレパラート180内における気泡50内の空気層領域51以外の領域を、合焦処理等の対象となる関心領域195として判定することができる。また空気層領域51を自動診断の診断対象から除き、関心領域195を診断対象とすることで、正確な診断が実現される。また空気層領域51の撮像を省くことができるので、生成されるデジタルデータの容量を削減し、処理リソースへの負担を軽減することができる。
【0086】
以下、境界検出用照明系500により暗視野照明光が照射されたプレパラート180のサムネイル画像200(以下、暗視野画像200ともいう)から、関心領域195を設定する方法について詳しく説明する。図14は、関心領域195の設定処理、及び関心領域195の拡大画像の撮像処理を示すフローチャートである。
【0087】
プレパラート180の暗視野画像200より閉領域及び開領域とが検出される(ステップ201)。図9に示すように、強調部分56は閉領域57を形成する領域線となっている。すなわち本実施形態では、暗視野画像200内において閉領域57を形成する強調部分56が、気泡50と封入剤165との境界55として検出される。そして閉領域57でない領域が開領域58として検出される。
【0088】
例えばプレパラート180に塵等が付着している場合、その付着部分で散乱光が発生する可能性がある。そうすると暗視野画像200において、気泡50と封入剤165との境界55ではない部分が強調部分56として写される可能性がある。しかしながら本実施形態では、閉領域57を形成する強調部分56が境界55として検出される。これにより気泡50と封入剤165との境界55を、容易に検出することができる。
【0089】
図15は、プレパラート180の暗視野画像200の別の例を示す平面図である。図15(A)では、カバーガラス161の略全体に封入剤165が設けられ、複数の気泡50が発生している。すなわち強調部分56により形成された閉領域57が気泡50であり、開領域58が関心領域195となる。
【0090】
図15(B)では、カバーガラス161内の一部分に対応する領域に封入剤165が滴下されている。すなわち図15(B)では、強調部分56により形成された閉領域57が関心領域195である。そして開領域58が空気層領域51となる。
【0091】
なお図15に示すように、ここでいう閉領域57は、強調部分56と、スライドガラス160又はカバーガラス161の縁部159とにより形成されるものも含む。その場合、閉領域57を形成する強調部分56と縁部159との割合が算出されてもよい。例えば縁部159の割合が所定の値より大きい場合、その領域は閉領域57ではないと判定されてもよい。その他、強調部分56の形状や強調部分56の長さ等に基づいて閉領域57が判定されてもよい。
【0092】
このように封入剤165の設け方により、閉領域57と開領域58とのいずれかの領域が関心領域195に該当するかが異なってくる。従って本実施形態では、設定された閉領域57及び開領域58のそれぞれの合焦位置が測定される(ステップ202)。
【0093】
合焦位置が対物レンズ112に近い方(図12に示す合焦位置F1)の領域が関心領域195に設定される(ステップ203)。合焦位置が対物レンズ112から遠い方(図12に示す合焦位置F2)の領域が空気層領域51に設定される(ステップ204)。
【0094】
このように本実施形態では、閉領域57及び開領域58、換言すると閉領域57の内部領域及び外部領域が比較される。そしてその結果をもとにいずれか一方の領域が関心領域195として設定される。これにより関心領域195を確実に判定することができる。
【0095】
プレパラート180全体が、拡大画像の視野の大きさで区分される。すなわち拡大画像を撮像するための撮像範囲の大きさで、プレパラート180がメッシュ状に区切られる。(ステップ205)。これにより拡大画像撮像部120により撮像される複数の撮影領域が定められる。
【0096】
各撮影領域(各メッシュ)について、撮影領域内に関心領域195と空気層領域51とが混在するか否かが判定される(ステップ206)。双方の領域195及び51が混在すると判定された場合(ステップ206のYes)、合焦処理の対象となるフォーカス検出領域から、空気層領域51が除外される(ステップ207)。すなわち関心領域195がフォーカス検出領域として設定される。
【0097】
フォーカス検出領域として設定された関心領域195を基準としてオートフォーカス処理が実行される(ステップ208)。算出された合焦位置に基づいて、撮影領域の拡大画像が撮像される(ステップ209)。
【0098】
ステップ206で、撮影領域内に関心領域195と空気層領域51とが混在しないと判定された場合、ステップ210において撮影領域内に関心領域195のみが存在するか判定される。撮影領域内に関心領域195が存在しないと判定された場合(ステップ210のNo)、当該撮影領域の拡大画像は撮像されない(ステップ211)。
【0099】
ステップ210で、撮影領域内に関心領域195のみが存在すると判定された場合、当該関心領域195を基準としてオートフォーカス処理が実行される(ステップ212)。算出された合焦位置に基づいて、撮影領域の拡大画像が撮像される(ステップ213)。
【0100】
全ての撮影領域について図14に示す処理が実行されると、生体サンプル190を封入したプレパラート180の拡大画像の撮像処理は終了となる。
【0101】
図16は、本実施形態に係る統括制御部150として機能するコンピュータの構成例を模式的に示すブロック図である。なお統括制御部150による処理は、ハードウェアにより実行されてもよいし、ソフトウェアにより実行されもよい。
【0102】
統括制御部150は、CPU101と、ROM102と、RAM103と、ホストバス104aとを備える。また統括制御部150は、ブリッジ104と、外部バス104bと、インタフェース105と、入力装置106と、出力装置107と、ストレージ装置(HDD)108と、ドライブ109と、接続ポート115と、通信装置116とを備える。
【0103】
CPU101は、演算処理装置および制御装置として機能し、各種プログラムに従って統括制御部150内の動作全般を制御する。CPU101は、マイクロプロセッサであってもよい。
【0104】
ROM102は、CPU101が使用するプログラムや演算パラメータ等を記憶する。RAM103は、CPU101の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス104aにより相互に接続されている。
【0105】
ホストバス104aは、ブリッジ104を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス104bに接続されている。なお、必ずしもホストバス104a、ブリッジ104および外部バス104bを分離構成する必要はなく、1つのバスにこれらの機能が実装されてもよい。
【0106】
入力装置106は、マウス、キーボード、タッチパネル又はボタン等の、ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成しCPU101に出力する入力制御回路等から構成される。
【0107】
出力装置107は、例えば液晶ディスプレイ(LCD)装置やOLED(Organic Light Emitting Diode)装置等の表示装置や、スピーカなどの音声出力装置を含む。
【0108】
ストレージ装置108は、統括制御部150の記憶部の一例であり、データ格納用の装置である。ストレージ装置108は、例えば記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、又は記憶媒体に記録されたデータを削除する削除装置等を含む。ストレージ装置108は、ハードディスクを駆動し、CPU101が実行するプログラムや各種データを格納する。
【0109】
ドライブ109は、記憶媒体用リーダライタであり、統括制御部150に内蔵、あるいは外付けされる。ドライブ109は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、RAM103に出力する。
【0110】
接続ポート115は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)等によりデータ伝送可能な外部機器との接続口である。
【0111】
通信装置116は、例えば通信網10に接続するための通信デバイス等で構成された通信インタフェースである。また通信装置116は、無線LAN(Local Area Network)対応通信装置であっても、ワイヤレスUSB対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0112】
<第2の実施形態>
本発明の第2の実施形態に係る顕微鏡について説明する。これ以降の説明では、第1の実施形態で説明した顕微鏡100の構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【0113】
図17は、本実施形態に係る関心領域の設定処理、及び関心領域の拡大画像の撮像処理を示すフローチャートである。図18は、図17に示す関心領域の設定処理について説明するための図である。
【0114】
本実施形態に係る顕微鏡は、図17に示すステップ302〜ステップ304で実行される関心領域の設定処理が、第1の実施形態に係る顕微鏡100による処理と異なる。図17に示すステップ301、ステップ305〜ステップ313は、図14に示すステップ201、ステップ205〜ステップ213と同様である。
【0115】
図18に示すように、本実施形態に係る顕微鏡は、ステージの載置面を基準としたプレパラート180の高さ(Z軸方向での大きさ)、すなわちプレパラート180の厚みを検出する高さ検出部290を有する。高さ検出部290は、プレパラート180のカバーガラスにレーザ光を照射する照射部291と、カバーガラス161により反射された反射光L1を検出する反射光検出センサ292とを有する。カバーガラス161で反射された反射光L1が検出されるまでの時間や照射角度等をもとに、プレパラート180の高さが検出される。
【0116】
ステップ301にて検出された閉領域57及び開領域58に、高さ検出用のレーザ光がそれぞれ照射される(ステップ302)。図18に示すように、スライドガラス160及びカバーガラス161の間に空気層領域51が存在する場合、高さ検出部290の反射光検出センサ292により、空気層領域51での反射光L2が検出される。当該反射光L2が検出された閉領域57又は開領域58は、空気層領域51として設定される(ステップ303)。当該反射光が検出されない閉領域57又は開領域58は、関心領域195として設定される(ステップ304)。
【0117】
このように本実施形態では、空気層領域51からの反射光L2の有無に基づいて、関心領域195が設定される。関心領域195の設定のための機構して個別にレーザ光照射部等が設けられてもよい。本実施形態では、プレパラート180の高さを検出するための高さ検出部290により、空気層領域51における反射光L2が検出される。これにより新たな機構を設ける必要がなくコストを抑えることができる。また顕微鏡の小型化に有利である。
【0118】
<変形例>
本発明に係る実施形態は、以上説明した実施形態に限定されず種々変形される。
【0119】
図19は、図14に示す顕微鏡100の処理の変形例を示すフローチャートである。この変形例では、図19に示すステップ405及び406の処理が、図14に示す処理と異なる。その他のステップは図14に示すステップと同様である。
【0120】
ステップ405において、自動領域検出処理が実行される。そして拡大画像撮像部120により撮像される撮影領域の候補が決定される。例えば明視野照明光が照射されたプレパラート180のサムネイル画像に基づいて、生体サンプルの位置する領域が自動的に検出される。そして生体サンプルが位置する領域が、複数の撮像領域に区分けされることで、上記撮影候補領域が決定される。その他、生体サンプルの位置情報の算出方法や、撮影候補領域の決定方法等は適宜設定されてよい。
【0121】
ステップ405で決定された各撮影候補領域内に、関心領域と空気層領域とが混在するか否かが判定される(ステップ406)。以下上記したステップ207〜ステップ213の処理が行われる。
【0122】
図20は、図17に示す第2の実施形態に係る顕微鏡の処理の変形例を示すフローチャートである。この変形例においても、ステップ505にて自動領域検出処理が実行され、撮影候補領域が決定される。そしてステップ506において、各撮影候補領域内に関心領域と空気層領域とが混在するか否かが判定される。他のステップの処理は、図17に示す処理と同様である。
【0123】
図19及び図20に示す、自動領域検出処理及び撮影候補領域決定処理により、生体サンプルが現れていない部分の拡大画像の撮像を省くことができる。この結果、拡大画像の取得処理の負荷が軽減され、拡大画像の取得の効率化を図ることができる。
【0124】
図21は、図5に示す境界検出用照明系500の変形例を示す模式的な斜視図である。この境界検出用照明系600は、図5に示すLEDリング照明114の代わりに、4つのLEDバー照明614を有する。このLEDバー照明614により、プレパラート180に暗視野照明光が照射される。このように、1つ又は複数のLEDバー照明614が用いられてもよい。また境界検出用照明系として、他の構成が採用されてもよい。
【0125】
第1の実施形態では、閉領域57及び開領域58におけるそれぞれ合焦位置F1及びF2に基づいて関心領域195が設定された。第2の実施形態では、閉領域57及び開領域58にそれぞれ照射された検出光の反射状況により空気層領域51の有無が判定され、関心領域195が判定された。これらの方法に限られず、関心領域195の判定方法は適宜設定されてよい。例えば各領域57又は58の明視野画像が撮像され、各画像の輝度値の平均値や標準偏差値等に基づいて関心領域195が判定されてもよい。あるいは各領域57又は58の明視野画像の周波数成分をもとに関心領域195が判定されてもよい。
【0126】
上記では、判定された関心領域195を基準として合焦処理が実行され、これにより適正な拡大画像が撮像された。しかしながら判定された関心領域195を利用した処理は、合焦処理に限られない。例えば関心領域195が診断対象の領域として利用されてもよい。又は、関心領域195がプレパラート180の厚みを検出するための検出光照射領域として利用されてもよい。その他、本実施形態に係る顕微鏡により、関心領域195を利用した処理が適宜実行される。またプレパラート180内の空気層領域51と封入剤165との境界55の情報が、種々の処理のために適宜利用されてもよい。
【符号の説明】
【0127】
1,F2…合焦位置
1,L2…反射光
50…気泡
51…空気層領域
55…境界
57…閉領域
58…開領域
100…顕微鏡
110…サムネイル画像撮像部
150…統括制御部
160…スライドガラス
161…カバーガラス
165…封入剤
180…プレパラート
190…生体サンプル
195…関心領域
200…サムネイル画像、暗視野画像
290…高さ検出部
291…照射部
292…反射光検出センサ
500、600…境界検出用照明系

【特許請求の範囲】
【請求項1】
スライドガラスとカバーガラスとの間に封入剤を用いて試料が封入されたプレパラートに暗視野照明を照射する暗視野照明系と、
前記暗視野照明が照射された前記プレパラートの暗視野画像を撮像する撮像部と、
前記撮像された暗視野画像をもとに、前記スライドガラス及び前記カバーガラスの間に含まれる空気と前記封入剤との境界を検出し、前記空気の領域以外の領域を前記試料に対する関心領域として判定する領域判定部と
を具備する顕微鏡。
【請求項2】
請求項1に記載の顕微鏡であって、
前記領域判定部は、前記暗視野画像において閉領域を形成する領域線を前記境界として検出する顕微鏡。
【請求項3】
請求項2に記載の顕微鏡であって、
前記領域判定部は、前記閉領域の内部領域及び外部領域を比較し、いずれか一方の領域を前記関心領域として判定する顕微鏡。
【請求項4】
請求項3に記載の顕微鏡であって、
前記内部領域における合焦位置と、前記外部領域における合焦位置とをそれぞれ算出する合焦処理部をさらに具備し、
前記領域判定部は、前記算出された領域ごとの合焦位置を比較し、前記関心領域を判定する
顕微鏡。
【請求項5】
請求項3に記載の顕微鏡であって、
前記内部領域及び前記外部領域のそれぞれに検出光を照射する照射部と、前記各領域に照射された前記検出光の反射光を検出する反射光検出部とをさらに具備し、
前記領域判定部は、前記反射光検出部により検出された前記領域ごとの反射光に、前記空気の領域で反射した反射光が含まれるかを判定し、その判定結果をもとに前記関心領域を判定する
顕微鏡。
【請求項6】
スライドガラスとカバーガラスとの間に封入剤を用いて試料が封入されたプレパラートに暗視野照明を照射し、
前記暗視野照明が照射された前記プレパラートの暗視野画像を撮像し、
前記撮像された暗視野画像をもとに、前記スライドガラス及び前記カバーガラスの間に含まれる空気と前記封入剤との境界を検出し、前記空気の領域以外の領域を前記試料に対する関心領域として判定する
領域判定方法。
【請求項7】
スライドガラスとカバーガラスとの間に封入剤を用いて試料が封入されたプレパラートに暗視野照明を照射するステップと、
前記暗視野照明が照射された前記プレパラートの暗視野画像を撮像するステップと、
前記撮像された暗視野画像をもとに、前記スライドガラス及び前記カバーガラスの間に含まれる空気と前記封入剤との境界を検出し、前記空気の領域以外の領域を前記試料に対する関心領域として判定するステップと
をコンピュータを搭載した顕微鏡に実行させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図13】
image rotate


【公開番号】特開2012−123039(P2012−123039A)
【公開日】平成24年6月28日(2012.6.28)
【国際特許分類】
【出願番号】特願2010−271355(P2010−271355)
【出願日】平成22年12月6日(2010.12.6)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】