説明

顕微鏡及び領域判定方法

【課題】サムネイル画像から高倍率画像を取得する領域を正確に認識することが可能な、顕微鏡を提供する。
【解決手段】本発明の顕微鏡は、スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを照明する暗視野照明および明視野照明と、暗視野照明により照射されたプレパラートを撮像して暗視野画像を取得し、明視野照明により照射されたプレパラートを撮像して明視野画像を取得する撮像部と、撮像部により取得された暗視野画像および明視野画像に基づいて、プレパラートにおけるカバーガラスのエッジを検出し、検出されたカバーガラスのエッジの内部領域を、サンプルの拡大部位像取得領域として決定する拡大部位像取得領域決定部と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データ中の処理領域を判定する画像処理部を備えた顕微鏡及び画像データ中の処理領域を判定する領域判定方法に関する。
【背景技術】
【0002】
インターネットの出現により、ネットワークを用いて遠隔地の医師が病理診断を行うテレパソロジー(telepathology)が行われている。テレパソロジーによって、遠隔地の病理医師は体組織の顕微鏡の映像を操作し、診断を下すことが可能となった。近年では、ブロードバンド化、大容量ストレージの実現により、スライドガラス上の組織全体をデジタルデータ化して、病理情報を管理したり解釈したりするデジタルパソロジーが導入され、病理業務の品質や効率の改善が期待されている。例えば、デジタルパソロジーによってスライドガラスをデジタルデータ化したバーチャルスライドは、病理医師間で交換される情報としてのみならず、教材等としても利用することができる。また、デジタルパソロジーにおいては、バーチャルスライドをバーチャルスライド装置によって自動的に作成することができ、作業の効率化を図ることもできる。
【0003】
バーチャルスライド装置は、例えば図24に示すように、生体サンプルが載置されているスライドガラス16全体を、撮像素子13と反対側に設置されたバックライト15で照明する。そして、結像レンズ12を介して、撮像素子13によりスライドガラス16全体を撮影して、デジタル画像(バーチャルスライド)とする。スライドガラス16には、当該スライドガラス16上の生体サンプルの名称等の情報が記載されたラベル16aや、生体サンプルを覆うカバーガラス16b等が設けられている。作成されたスライドガラス16全体のデジタル画像は、ハードディスクドライブやリムーバブルメディア等に蓄積される。ユーザは、パーソナルコンピュータ11等を用いてこれらの蓄積画像を観察することができる。生体サンプルをデジタル画像として管理することで、莫大な生体サンプルから所望の生体サンプルを容易に見つけて観察することができ、遠隔地においても生体サンプルを観察することができる(例えば、特許文献1)。
【0004】
バーチャルスライドを作成する際、バーチャルスライド装置は、まず、サムネイル画像(弱拡大像)を撮影して、高倍率画像(強拡大像)を取得する撮像領域を決定する。撮像領域は周知の自動領域検出アルゴリズムを用いて検出することができ、例えば図25に示すように、サムネイル画像から生体サンプル(以下、「サンプル」ともいう。)21を含む一部の領域が撮像領域22として決定される。そして、バーチャルスライド装置は、決定された撮像領域に対して高倍率画像の取得を行う。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平11−133311号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、従来のバーチャルスライド装置では、カバーガラス16bのエッジをサンプル21と誤認識してしまい、図26に示すように、サムネイル画像の周囲の、サンプル21を含まない領域23を撮像領域として認識してしまうという問題があった。サンプル21以外の画像も取得してしまうのでスライドのスキャン時間が増大し、バーチャルスライドを蓄積するために大容量のストレージが必要となる。このため、スライド内のサンプル21の置かれた領域のみを正確に認識できるようにすることが望まれる。
【0007】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、サムネイル画像から高倍率画像を取得する領域を正確に認識することが可能な、新規かつ改良された顕微鏡及び領域判定方法を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明のある観点によれば、スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを照明する暗視野照明および明視野照明と、暗視野照明により照射されたプレパラートを撮像して暗視野画像を取得し、明視野照明により照射されたプレパラートを撮像して明視野画像を取得する撮像部と、撮像部により取得された暗視野画像および明視野画像に基づいて、プレパラートにおけるカバーガラスのエッジを検出し、検出されたカバーガラスのエッジの内部領域を、サンプルの拡大部位像取得領域として決定する拡大部位像取得領域決定部と、を備える、顕微鏡が提供される。
【0009】
ここで、拡大部位像取得領域決定部は、暗視野画像に現れるカバーガラスのエッジの位置を算出し、暗視野画像から算出されたエッジの位置に対応する明視野画像内の位置の内部領域全面を拡大部位像取得領域として決定してもよい。
【0010】
また、拡大部位像取得領域決定部は、暗視野画像に現れるカバーガラスのエッジの位置を算出し、暗視野画像から算出されたエッジの位置に対応する明視野画像内の位置の内部領域において領域判定を行い、領域判定された結果を拡大部位像取得領域として決定してもよい。
【0011】
本発明の顕微鏡は、暗視野画像から、スライドガラスに付された、サンプルに関する情報を示すラベルのラベル画像を取得するラベル画像取得部と、明視野画像のサンプル取得領域内の画像と、ラベル画像とを関連付けて出力するサムネイル像出力部と、をさらに備えてもよい。
【0012】
また、本発明の顕微鏡は、暗視野画像と明視野画像との差分情報に基づき、拡大部位像取得領域内のノイズを除去するノイズ除去部をさらに備えてもよい。
【0013】
暗視野照明には、LED照明やレーザを用いてもよい。
【0014】
また、上記課題を解決するために、本発明の別の観点によれば、暗視野照明により照射された、スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを撮像して暗視野画像を取得するステップと、明視野照明により照射されたプレパラートを撮像して明視野画像を取得するステップと、暗視野画像に基づいて、プレパラートにおけるカバーガラスのエッジを検出するステップと、明視野画像において、検出されたカバーガラスのエッジの内部領域全面を、サンプルの拡大部位像取得領域として決定するステップと、を備える、領域判定方法が提供される。
【0015】
さらに、上記課題を解決するために、本発明の別の観点によれば、暗視野照明により照射された、スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを撮像して暗視野画像を取得するステップと、明視野照明により照射されたプレパラートを撮像して明視野画像を取得するステップと、暗視野画像に基づいて、プレパラートにおけるカバーガラスのエッジを検出するステップと、明視野画像において、検出されたカバーガラスのエッジの内部領域において領域判定を行い、サンプルの拡大部位像取得領域として決定するステップと、を備える、領域判定方法が提供される。
【0016】
また、上記課題を解決するために、本発明の別の観点によれば、スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを照明する暗視野照明および明視野照明と、暗視野照明により照射されたプレパラートを撮像して暗視野画像を取得し、明視野照明により照射されたプレパラートを撮像して明視野画像を取得する撮像部と、撮像部により取得された暗視野画像および明視野画像に基づいて、プレパラートにおけるカバーガラスのノイズ成分を検出し、検出されたノイズ成分を明視野画像から差し引き、サンプル拡大部位像取得領域として決定する拡大部位像取得領域決定部と、を備える顕微鏡が提供される。
【0017】
ノイズ成分は、例えば、カバーガラスのエッジや封入剤、付着異物等である。
【0018】
さらに、上記課題を解決するために、本発明の別の観点によれば、スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを照明する暗視野照明および明視野照明と、暗視野照明により照射されたプレパラートを撮像して暗視野画像を取得し、明視野照明により照射されたプレパラートを撮像して明視野画像を取得する撮像部と、撮像部により取得された暗視野画像および明視野画像に基づいて、プレパラートにおけるカバーガラスからの封入剤はみ出し領域を検出し、検出された封入剤はみ出し領域の内部領域を、サンプルの拡大部位像取得領域として決定する拡大部位像取得領域決定部と、を備える顕微鏡が提供される。
【0019】
拡大部位像取得領域決定部は、暗視野画像に現れる封入剤はみ出し領域の位置を算出し、暗視野画像から算出された封入剤はみ出し領域の位置に対応する明視野画像内の位置の内部領域全面を拡大部位像取得領域として決定してもよい。
【0020】
また、拡大部位像取得領域決定部は、暗視野画像に現れる封入剤はみ出し領域の位置を算出し、暗視野画像から算出された封入剤はみ出し領域の位置に対応する明視野画像内の位置の内部領域において領域判定を行い、その結果を拡大部位像取得領域として決定してもよい。
【0021】
本発明の顕微鏡は、暗視野画像から、スライドガラスに付された、サンプルに関する情報を示すラベルのラベル画像を取得するラベル画像取得部と、明視野画像のサンプル取得領域内の画像と、ラベル画像とを関連付けて出力するサムネイル像出力部と、をさらに備えてもよい。
【0022】
また、本発明の顕微鏡は、暗視野画像と明視野画像との差分情報に基づき、拡大部位像取得領域内のノイズを除去するノイズ除去部をさらに備えてもよい。
【0023】
暗視野照明には、LED照明やレーザを用いてもよい。
【0024】
また、上記課題を解決するために、本発明の別の観点によれば、暗視野照明により照射された、スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを撮像して暗視野画像を取得するステップと、明視野照明により照射されたプレパラートを撮像して明視野画像を取得するステップと、暗視野画像に基づいて、プレパラートにおける封入剤はみ出し領域を検出するステップと、明視野画像において、検出された封入剤はみ出し領域の内部領域全面を、サンプルの拡大部位像取得領域として決定するステップと、を備える、領域判定方法が提供される。
【0025】
さらに、上記課題を解決するために、本発明の別の観点によれば、暗視野照明により照射された、スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを撮像して暗視野画像を取得するステップと、明視野照明により照射されたプレパラートを撮像して明視野画像を取得するステップと、暗視野画像に基づいて、プレパラートにおける封入剤のはみ出し領域を検出するステップと、明視野画像において、検出された封入剤のはみ出し領域の内部領域において領域判定を行い、サンプルの拡大部位像取得領域として決定するステップと、を備える、領域判定方法が提供される。
【発明の効果】
【0026】
以上説明したように本発明によれば、サムネイル画像から高倍率画像を取得する領域を正確に認識することが可能な顕微鏡及び領域判定方法を提供することができる。
【図面の簡単な説明】
【0027】
【図1】本発明の実施形態に係る顕微鏡の構成を示した説明図である。
【図2】同実施形態に係るステージの構成を示す説明図である。
【図3】プレパラートが載置されたステージを示す説明図である。
【図4】統括制御部の機能構成を示す機能ブロック図である。
【図5】同実施形態に係る顕微鏡によるバーチャルスライド作成処理を示すフローチャートである。
【図6】同実施形態に係る顕微鏡によるカバーガラスのエッジ検出の概要を示す説明図である。
【図7】サムネイル像撮像部により取得された暗視野画像の一例を示す説明図である。
【図8】暗視野照明としてLEDリング照明を用いる場合のサムネイル像撮像部の構成を示す説明図である。
【図9】暗視野照明としてLEDバー照明を用いる場合のサムネイル像撮像部の構成を示す説明図である。
【図10】カバーガラスのエッジにおける光の散乱についての説明図である。
【図11】同実施形態に係るサムネイル像の生成処理を示すフローチャートである。
【図12】サムネイル像撮像部において、スライドガラスの傾斜を計測可能な計測機の一構成例を示す説明図である。
【図13】サムネイル像撮像部において、スライドガラスの厚みを計測可能な計測機の一構成例を示す説明図である。
【図14】スライドガラス上の異物が現れている暗視野画像データの一例を示す説明図である。
【図15】図7に示す暗視野画像を用いて特定される拡大部位像取得領域の一例を示す説明図である。
【図16】ケガキ文字が付されたプレパラートの一例を示す説明図である。
【図17】拡大像撮像部において、スライドガラスの傾斜を計測可能な計測機の一構成例を示す説明図である。
【図18】拡大像撮像部において、スライドガラスの厚みを計測可能な計測機の一構成例を示す説明図である。
【図19】結像レンズの切り替えと照明系の連動とを説明する説明図である。
【図20】撮像素子の傾斜を計測可能な計測機の一構成例を示す説明図である。
【図21】撮像素子の位置を計測可能な計測機の一構成例を示す説明図である。
【図22】撮像素子の傾斜および位置を計測可能な計測機の一構成例を示す説明図である。
【図23】統括制御部のハードウェア構成例を示すブロック図である。
【図24】従来のバーチャルスライド装置の概略構成を示す説明図である。
【図25】自動領域検出アルゴリズムを用いて、サムネイル画像から自動的に高倍率画像を取得する領域が検出された状態を示す説明図である。
【図26】サムネイル画像にあるカバーガラスのエッジが高倍率画像を取得する領域として誤認識された状態を示す説明図である。
【発明を実施するための形態】
【0028】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0029】
なお、説明は以下の順序で行うものとする。
1.顕微鏡の構成
2.バーチャルスライド作成処理
3.ハードウェア構成例
【0030】
<1.顕微鏡の構成>
まず、図1を参照しながら、本発明の実施形態に係る顕微鏡100の構成について説明する。図1は、本実施形態に係る顕微鏡100の構成を示した説明図である。
【0031】
[全体構成]
本実施形態に係る顕微鏡100は、図1に例示したように、生体サンプルが配設されるプレパラートPRT全体の像(以下、この像をサムネイル像とも称する。)を撮像するサムネイル像撮像部110と、生体サンプルが所定倍率で拡大された像(以下、この像を拡大像とも称する。)を撮像する拡大像撮像部120と、を有する。
【0032】
プレパラートPRTは、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプルを、所定の固定手法によりスライドガラス160に固定したものである。これらの組織切片又は塗抹細胞には、必要に応じて各種の染色が施される。この染色には、HE(ヘマトキシリン・エオシン)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、FISH(Fluorescence In−Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。
【0033】
また、プレパラートPRTには、対応する生体サンプルを特定するための付帯情報(例えば、サンプルを採取した人の氏名、採取日時、染色の種類等)が記載されたラベル(図3の符号162)が貼付されていてもよい。なお、プレパラートPRTは、生体サンプルが載置されたスライドガラス160、生体サンプルを覆うカバーガラス161、ラベル162等から構成されている。
【0034】
本実施形態に係る顕微鏡100には、上述のようなプレパラートPRTが載置されるステージ130が設けられている。ステージ130は、図2に示すように、プレパラートPRTよりも一回り小さい開口部131が設けられている。ステージ130の開口部131の周囲には、プレパラートPRTの側面を固定する突起部132a〜132cが設けられる。突起部132aは、開口部131に対応してステージ130に設けられるプレパラートPRTの一の短辺を支持し、突起部132b、132cは、プレパラートPRTの一の長辺を支持する。また、突起部132a〜132cにより支持された2辺が形成する角の対角側に、支点133aを中心として回転可能に開口部側に付勢される抑止部133が設けられる。これにより、プレパラートPRTを、図3に示すように、突起部132a〜132cおよび抑止部133によりステージ130に固定することができる。
【0035】
ステージ130のプレパラートPRTが載置される載置面には、撮像素子113、124により撮影された画像からステージ130の位置を認識するためのマーク134a〜134dが付されている。マーク134a〜134dは、例えば、図2に示すように、それぞれ「○」および「△」がそれぞれ異なる位置関係で配置されたものとすることができる。
【0036】
ステージ駆動機構135は、ステージ130を様々な方向に移動させるための機構である。このステージ駆動機構135により、ステージ130を、ステージ面に対して平行となる方向(X軸−Y軸方向)と、直交する方向(Z軸方向)に自由に移動させることができる。
【0037】
[サムネイル像撮像部]
サムネイル像撮像部110は、図1に示したように、光源111と、対物レンズ112と、撮像素子113と、を主に備える。
【0038】
光源111は、ステージ130のプレパラート配置面とは逆の面側に設けられる。光源111は、一般染色が施された生体サンプルを照明する光(以下、明視野照明光、又は、単に照明光とも称する。)と、特殊染色が施された生体サンプルを照明する光(以下、暗視野照明光とも称する。)とを切り換えて照射可能である。また、光源111は、明視野照明光又は暗視野照明光のいずれか一方だけを照射可能なものであってもよい。この場合、光源111として、明視野照明光を照射する光源と、暗視野照明光を照射する光源の2種類の光源が設けられることとなる。また、暗視野照明光を照射する光源は、ステージ130のプレパラート配置面とは同一の面側に設けることも可能である。
【0039】
所定倍率の対物レンズ112は、プレパラート配置面におけるサムネイル像撮像部110の基準位置の法線を光軸SRAとして、ステージ130のプレパラート配置面側に配設される。ステージ130上に配設されたプレパラートPRTを透過した透過光は、この対物レンズ112によって集光されて、対物レンズ112の後方(すなわち、照明光の進行方向)に設けられた撮像素子113に結像する。
【0040】
撮像素子113には、ステージ130のプレパラート配置面に載置されたプレパラートPRT全体を包括する撮像範囲の光(換言すれば、プレパラートPRT全体を透過した透過光)が結像する。この撮像素子113上に結像した像が、プレパラートPRT全体を撮像した顕微鏡画像であるサムネイル像となる。
【0041】
[拡大像撮像部]
拡大像撮像部120は、図1に示したように、光源121と、コンデンサレンズ122と、対物レンズ123と、撮像素子124と、を主に備える。また、拡大像撮像部120には、更に、視野絞り(図示せず。)を設けることもできる。
【0042】
光源121は、明視野照明光を照射するものであり、ステージ130のプレパラート配置面とは逆の面側に設けられる。また、光源121とは異なる位置(例えばプレパラート配置面側)には、暗視野照明光を照射する光源(図示せず。)が設けられる。
【0043】
コンデンサレンズ122は、光源121から照射された明視野照明光や、暗視野照明用の光源から照射された暗視野照明光を集光して、ステージ130上のプレパラートPRTに導くレンズである。このコンデンサレンズ122は、プレパラート配置面における拡大像撮像部120の基準位置の法線を光軸ERAとして、光源121とステージ130との間に配設される。
【0044】
所定倍率の対物レンズ123は、プレパラート配置面における拡大像撮像部120の基準位置の法線を光軸ERAとして、ステージ130のプレパラート配置面側に配設される。拡大像撮像部120では、この対物レンズ123を適宜交換することで、生体サンプルを様々な倍率に拡大して撮像することが可能となる。ステージ130上に配設されたプレパラートPRTを透過した透過光は、この対物レンズ123によって集光されて、対物レンズ123の後方(すなわち、照明光の進行方向)に設けられた撮像素子124に結像する。
【0045】
撮像素子124には、撮像素子124の画素サイズ及び対物レンズ123の倍率に応じて、ステージ130のプレパラート配置面上における所定の横幅及び縦幅からなる撮像範囲の像が結像される。なお、対物レンズ123により生体サンプルの一部が拡大されるため、上述の撮像範囲は、サムネイル像撮像部110の撮像素子113の撮像範囲に比べて十分に狭い範囲となる。
【0046】
ここで、サムネイル像撮像部110及び拡大像撮像部120は、図1に示したように、それぞれの基準位置の法線である光軸SRAと光軸ERAとがY軸方向に距離Dだけ離れるように配置される。この距離Dは、撮像素子113の撮像範囲に拡大像撮像部120の対物レンズ123を保持する鏡筒(図示せず)が写り込むことなく、かつ小型化のために近い距離に設定される。
【0047】
以上の説明では、サムネイル像撮像部110、拡大像撮像部120それぞれに設けられる撮像素子は、1次元撮像素子であってもよく、2次元撮像素子であってもよい。
【0048】
[制御部]
本実施形態に係る顕微鏡100には、図1に示したように、顕微鏡の様々な部位を制御するための制御部が接続されている。具体的には、本実施形態に係る顕微鏡100には、光源111及び光源121を含む、顕微鏡100が備える各種の光源を制御するための照明制御部141が接続されており、ステージ駆動機構135には、ステージ駆動機構135を制御するステージ駆動制御部142が接続されている。また、サムネイル像を撮像するための撮像素子113には、サムネイル像撮像制御部143が接続されており、生体サンプルの拡大像を撮像するための撮像素子124には、拡大像撮像制御部144が接続されている。これらの制御部は、各種のデータ通信路を介して制御を行う部位に対して接続されている。
【0049】
また、本実施形態に係る顕微鏡100には、顕微鏡全体の制御を行う制御部(以下、統括制御部150と称する。)が別途設けられており、上述の各種の制御部に、各種のデータ通信路を介して接続されている。
【0050】
これらの制御部は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ストレージ装置、通信装置及び演算回路等により実現されるものである。以下では、上記制御部について、その機能を簡単に説明するものとする。
【0051】
照明制御部141は、本実施形態に係る顕微鏡100が備える各種の光源を制御する処理部である。照明制御部141は、統括制御部150から生体サンプルの照明方法を示す情報が出力されると、取得した照明方法を示す情報に基づいて、対応する光源の照射制御を行う。
【0052】
例えば、照明制御部141が、サムネイル像撮像部110に設けられた光源111の制御を行う場合について着目する。かかる場合、照明制御部141は、照明方法を示す情報を参照して、明視野像を取得すべきモード(以下、明視野モードとも称する。)又は暗視野像を取得すべきモード(以下、暗視野モードとも称する。)のどちらを実行するかを判断する。その後、照明制御部141は、各モードに応じたパラメータを光源111に対して設定し、光源111から、各モードに適した照明光を照射させる。これにより、光源111から照射された照明光が、ステージ130の開口部を介して、生体サンプル全体に照射されることとなる。なお、照明制御部141が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
【0053】
また、照明制御部141が、拡大像撮像部120に設けられた光源121の制御を行う場合について着目する。かかる場合、照明制御部141は、照明方法を示す情報を参照して、明視野モード又は暗視野モードのどちらを実行するかを判断する。その後、照明制御部141は、各モードに応じたパラメータを光源121に対して設定し、光源121から、各モードに適した照明光を照射させる。これにより、光源121から照射された照明光が、ステージ130の開口部を介して、生体サンプル全体に照射されることとなる。なお、照明制御部141が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
【0054】
なお、明視野モードにおける照射光は、可視光とすることが好ましい。また、暗視野モードにおける照射光は、特殊染色で用いられる蛍光マーカを励起可能な波長を含む光とすることが好ましい。また、暗視野モードでは、蛍光マーカに対する背景部分はカットアウトされることとなる。
【0055】
ステージ駆動制御部142は、本実施形態に係る顕微鏡100に設けられたステージを駆動するためのステージ駆動機構135を制御する処理部である。ステージ駆動制御部142は、統括制御部150から生体サンプルの撮像方法を示す情報が出力されると、取得した撮像方法を示す情報に基づいて、ステージ駆動機構41の制御を行う。
【0056】
例えば、本実施形態に係る顕微鏡100により、サムネイル像を撮像する場合に着目する。ステージ駆動制御部142は、統括制御部150から、生体サンプルのサムネイル像を撮像する旨の情報が出力されると、プレパラートPRT全体が撮像素子113の撮像範囲に入るように、ステージ面方向(X―Y軸方向)にステージ130を移動させる。また、ステージ駆動制御部142は、プレパラートPRT全体に対物レンズ112の焦点が合うように、ステージ130をZ軸方向に移動させる。
【0057】
また、本実施形態に係る顕微鏡100により、拡大像を撮像する場合について着目する。ステージ駆動制御部142は、統括制御部150から、生体サンプルの拡大像を撮像する旨の情報が出力されると、ステージ駆動制御部142は、ステージ駆動機構135を駆動制御し、光源111と対物レンズ112との間からコンデンサレンズ122と対物レンズ123との間に生体サンプルが位置するよう、ステージ面方向にステージ40を移動させる。
【0058】
また、ステージ駆動制御部142は、撮像素子124に撮像される撮像範囲に生体サンプルの所定の部位が位置するように、ステージ面方向(X−Y軸方向)にステージ130を移動させる。
【0059】
更に、ステージ駆動制御部142は、ステージ駆動機構135を駆動制御して、所定の撮影範囲内に位置する生体サンプルの部位が対物レンズ123の焦点に合うように、ステージ面に直交する方向(Z軸方向、組織切片の奥行方向)にステージ130を移動させる。
【0060】
サムネイル像撮像制御部143は、サムネイル像撮像部100に設けられた撮像素子113の制御を行う処理部である。サムネイル像撮像制御部143は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子113に設定する。また、サムネイル像撮像制御部143は、撮像素子113から出力される、撮像素子113の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、サムネイル像に対応する出力信号とする。サムネイル像撮像制御部143は、サムネイル像に対応する出力信号を取得すると、取得した信号に対応するデータを統括制御部150に出力する。なお、サムネイル像撮像制御部143が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
【0061】
拡大像撮像制御部144は、拡大像撮像部120に設けられた撮像素子124の制御を行う処理部である。拡大像撮像制御部144は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子124に設定する。また、拡大像撮像制御部144は、撮像素子124から出力される、撮像素子124の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、拡大像に対応する出力信号とする。拡大像撮像制御部144は、拡大像に対応する出力信号を取得すると、取得した信号に対応するデータを統括制御部150に出力する。なお、拡大像撮像制御部144が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
【0062】
統括制御部150は、上述の各種制御部を含む顕微鏡全体の制御を行う処理部である。統括制御部150は、図4に示すように、位置制御部151と、画像処理部152と、サムネイル像取得部153と、拡大像取得部154とを備える。
【0063】
位置制御部151は、位置制御処理を実行し、ステージ130を目標とする位置(以下、「目標位置」ともいう。)に移動させる。位置制御部151は、図4に示すように、目標位置決定部151aと、ステージ像取得部151bと、ステージ位置検出部151cとからなる。
【0064】
目標位置決定部151aは、サムネイル像を取得する場合、撮像素子113の撮像範囲SPRにプレパラートPRT全体が入るステージ130の目標位置を決定する。
【0065】
ステージ像取得部151bは、照明制御部141を介して光源111、マーク134a〜134dを照射する光源を駆動させ、サムネイル像撮像制御部143を介して撮像素子113により撮像される撮像範囲SPR全体のステージ像を所定のタイミング間隔で取得する。
【0066】
ステージ位置検出部151cは、予めHDDに格納されたマーク134a〜134dの形状データに対する、ステージ像取得部151bにより取得されるステージ像の各画素の相関値を算出する。ステージ位置検出部151cは、例えば算出された相関値が最大となる画素とその前後の画素とを通る2次曲線を算出し、該2次曲線の極値の位置をステージ像におけるマーカ134a〜134dの位置として検出する。例えば、ステージ位置検出部151cは、ステージ像におけるマーク134a〜134dの位置と実際のステージ130におけるマーク134a〜134dの位置との対応テーブルをHDDから読み出す。そしてステージ位置検出部151cは、該対応テーブルからステージ像におけるマーク134a〜134dの位置に対応する実際のステージ130の位置を検出する。
【0067】
位置制御部151は、目標位置決定部151aにより決定された目標位置と、ステージ位置検出部151cにより検出されたステージ130の位置との差分を算出し、該差分をステージ駆動制御部142に出力する。ステージ駆動制御部142は、位置制御部151から供給される差分に応じてステージ駆動機構135を介してステージ130を目標位置へと移動させる。このようにして位置制御部151は、撮像素子113により撮像されるステージ像を取得するたびに、該ステージ像に写るマーク134a〜134dを検出し、その結果からステージ130の位置を検出して目標位置との差分を算出し、ステージ130を目標位置に移動させる。
【0068】
画像処理部152は、サムネイル像撮像制御部143から入力された、撮像素子113により撮影された画像から、拡大像を取得する拡大部位像取得領域を決定し、サムネイル像153を生成する。撮像素子113により撮影された画像には、生体サンプルのみならず、当該サンプルを覆うカバーガラスのエッジやスライド上の異物等も写っている場合もある。そこで、本実施形態では、画像処理部152により、撮像素子113により撮影された画像から、生体サンプル以外が表示されている領域を除去し、生体サンプルが表示された領域を拡大部位像取得領域として、サムネイル像取得部153へ出力する。すなわち、画像処理部152は、画像中のカバーガラスのエッジを検出し、拡大部位像取得領域を決定する拡大部位像取得領域決定部として機能する。さらに、画像処理部152は、スライドガラス160に付されたラベル161の画像を取得するラベル画像取得部としても機能し、スライドガラス160上の異物等のノイズを除去するノイズ除去部としても機能する。
【0069】
サムネイル像取得部153は、例えば、CPU、ROM、RAM、通信装置等により実現される。顕微鏡100に対して所定のユーザ操作がなされた場合や、ステージ130にプレパラートPRTが載置された場合等に、サムネイル像取得部153は、サムネイル像撮像制御部143に対して、各種設定条件とともにサムネイル像を撮像するように要請する。
【0070】
また、サムネイル像取得部153は、サムネイル像撮像制御部143から画像処理部152に出力されて加工された、サムネイル像に対応するデータ(以下、サムネイル像データとも称する。)を、画像処理部152から取得する。サムネイル像取得部153は、取得したサムネイル像データを、記憶部(図示せず。)に格納してもよい。また、サムネイル像取得部153は、取得したサムネイル像データを、通信部(図示せず。)を介して、外部に設けられた画像データ格納サーバ等に出力してもよい。すなわち、サムネイル像取得部153は、サムネイル像出力部としても機能する。
【0071】
拡大像取得部154は、例えば、CPU、ROM、RAM、通信装置等により実現される。顕微鏡100に対して所定のユーザ操作がなされた場合や、あるプレパラートPRTのサムネイル像の撮像が終了した場合等に、拡大像取得部154は、拡大像撮像制御部144に対して、各種設定条件とともに拡大像を撮像するように要請する。
【0072】
また、拡大像取得部154は、拡大像撮像制御部144から出力される、拡大像に対応するデータ(以下、拡大像データとも称する。)を取得する。拡大像取得部154は、取得した拡大像データを、記憶部(図示せず。)に格納してもよい。また、拡大像取得部154は、取得した拡大像データを、通信部(図示せず。)を介して、外部に設けられた画像データ格納サーバ等に出力してもよい。
【0073】
以上、本実施形態に係る顕微鏡100の概略構成について説明した。本実施形態に係る顕微鏡100では、サムネイル像取得部153が取得したサムネイル像データに基づき、拡大像を取得する拡大部位像取得領域を画像処理部152によって決定する際に、生体サンプル以外が表示されている領域を拡大部位像取得領域から除去する。これにより、生体サンプルが表示されている必要な領域に対してのみ拡大像を取得することができ、拡大像の取得に要する時間やバーチャルスライドを記憶する記憶部の容量を低減することができる。以下、図5に基づいて、顕微鏡100によるバーチャルスライド作成処理について詳細に説明していく。
【0074】
<2.バーチャルスライド作成処理>
図5は、顕微鏡100によるバーチャルスライド作成処理を示すフローチャートである。図5に示すように、まず、統括制御部150は、サムネイル像を取得するために、プレパラートPRTをサムネイル像撮像部110へ移動させる位置制御処理を行う(S100)。位置制御処理では、まず、位置制御部151の目標位置決定部151aにより、プレパラートPRT全体が撮像素子113の撮像範囲に入る位置が目標位置に決定される。次いで、ステージ像取得部151bは、サムネイル像撮像制御部143を介して撮像素子113により撮像される撮像範囲全体のステージ像を所定のタイミング間隔で取得し、ステージ位置検出部151cへ出力する。
【0075】
ステージ位置検出部151cは、ステージ像取得部151bから入力されたステージ像からマーカ134a〜134dの位置を検出する。そして、ステージ位置検出部151cは、目標位置とステージ130との差分を算出し、当該差分をステージ駆動制御部142に出力することにより、差分に応じてステージ駆動機構135を介してステージ130を移動させることができる。
【0076】
ステップS100にてプレパラートPRTがサムネイル像撮像部110へ移動されると、サムネイル像撮像部110によりサムネイル像の取得が行われる(S110)。本実施形態におけるサムネイル像の取得では、画像処理部152により、撮像素子113により撮影して取得された画像から、カバーガラスのエッジを検出し、当該エッジの表示された領域を除く画像の領域が拡大部位像取得領域として決定される。そして、サムネイル像取得部153は、拡大部位像取得領域と当該サンプルに関する情報が記述されたラベルとを関連付けたデータをサムネイル像とする。
【0077】
図6〜図11に基づき、サムネイル像の取得処理をより具体的に説明する。サムネイル像撮像部110は、上述したように、光源111として明視野照明と暗視野照明とを備えている。それぞれの照明を用いて撮影した画像から得られる情報には、図6に示すような差異がある。明視野照明を用いる場合、プレパラートPRTの下方(プレパラートPRTに対して撮像素子113と反対側)からプレパラートPRTに光が照射される。したがって、光を透過する部分についてはプレパラートPRT上にある物体(例えば、生体サンプル214やカバーガラス、異物等)の形状を取得することができる。しかし、光を透過しない部分(例えばラベル212)については黒く現れるので、ラベル212の記載内容を視認することはできない。
【0078】
一方、暗視野照明を用いる場合、上方側からプレパラートPRTが照明される。このとき、撮像素子113により撮影された画像からは、プレパラートPRTにおいて光が散乱された部分の情報を取得することができる。光の散乱は例えばカバーガラスのエッジ等で生ずるので、暗視野画像220には、例えば図6の左側下図のように、スライド上の生体サンプルを覆うように載置されたカバーガラスのエッジ224が白く現れる。また、図7のように封入剤がはみ出している場合は、封入剤はみ出し領域が白く現れる。また、プレパラートPRTの上方側から照明するので、ラベル222の記載内容も取得することができる。
【0079】
暗視野照明は、例えば、図8に示すように、LEDリング照明114を用いることができる。LEDリング照明114は、プレパラートPRTと撮像素子113との間に配置され、プレパラートPRTの上方側からプレパラートPRTに対して光を照射する。あるいは、暗視野照明には、1または複数のLEDバー照明を用いることもできる。例えば図9に示すように、プレパラートPRTと撮像素子113との間に、プレパラートPRTの外周に沿って4つのLEDバー照明116a〜116dを配置し、プレパラートPRTの上方側からプレパラートPRTに対して光を照射する。これにより、プレパラートPRTの上面側に光が照射され、カバーガラスのエッジ、さらにはラベルの記載内容を認識することができる。
【0080】
ここで、光には、短波長の光は散乱されやすく(すなわち散乱率が高く)、長波長の光は散乱されにくい(すなわち散乱率が低い)という特性がある。波長によって散乱率の異なる散乱をレーリー散乱という。レーリー散乱による散乱率は、波長の4乗に反比例する。図10に示すように、カバーガラスのエッジ部に暗視野照明からの光が入射すると、当該エッジ部において入射光は散乱する。光が大きく散乱するほど散乱率の変化の差分を光の濃淡差として撮像することができるので、エッジ部を明確に検出することが可能となる。このように、散乱率の違いによって表面状態やエッジ部の状態の検出できる程度が変化するため、散乱率の高い、短波長の光(例えば、青色、紫糸、白色等)で暗視野照明するのがよい。なお、暗視野照明としてLED照明を用いる例を説明したが、本発明はかかる例に限定されない。例えば、暗視野照明としてレーザを用いることもできる。
【0081】
本実施形態の画像処理部152では、サムネイル像撮像部110によって取得された明視野画像210と暗視野画像220とを用いて、サムネイル像を生成する。サムネイル像の生成処理を図11に示す。
【0082】
サムネイル像の生成処理では、図11に示すように、まず、暗視野照明により暗視野画像を取得する(S111)。ステージ駆動制御部142によりステージ130上に載置されたプレパラートPRTがサムネイル像取得部110の撮像位置へ移動されると、統括制御部150は、照明制御部141に対して、暗視野照明をオンにする指示を行う。暗視野照明がオンになると、撮像素子113により暗視野画像が取得される。その後、照明制御部141は、暗視野照明をオフにする。サムネイル像撮像制御部143は、撮像素子113から出力された暗視野画像データを、統括制御部150の画像処理部152へ出力する。
【0083】
ここで、暗視野画像を取得する際に、スライドが傾斜していたり、スライドの厚みにムラがあったりする場合、フォーカス調整が困難であり、バーチャルスライドを作成するスライドを変更する度にフォーカス調整を行う必要がある。そこで、本実施形態のサムネイル像撮像部110に、スライドの傾斜や厚みを計測する計測機を備えることもできる。
【0084】
例えば、計測機によりスライドのチルト角を計測する場合を考える。サムネイル像撮像部110には、図12に示すように、撮像素子113と、カバーガラス161が載置されたスライドガラス160との間に、2つの結像レンズ116a、116bが配置されているとする。また、サムネイル像撮像部110の結像レンズ116a、116bの間には、ミラー114が配置されている。そして、サムネイル像撮像部110には、結像レンズ116a、116bの光軸に対して略直交する方向からミラー114に対して光を照射する光源(例えば、レーザダイオード)119と、光源119から出射された光を平行光にするレンズ118が設けられている。
【0085】
スライドガラス160のチルト角を計測するには、図12に示すように、結像レンズ116aを、撮像素子113とスライドガラス160とを結ぶ直線上から一時的に退避させた状態で、撮像素子113によりスライドガラス160を撮像する。撮像して取得された画像データをモニタすると、スライドガラス160が傾斜している場合には、スライドガラス160における結像レンズ116aのスポット位置が基準位置からずれていることがわかる(d=fθ)。これより、スライドのチルト角を算出し、例えば当該チルト角を打ち消す方向にステージ130を傾けることでスライドガラス160の傾きを補正し、高コントラストな観察像を取得することが可能となる。
【0086】
また、例えば、当該計測機によりスライドガラス160とカバーガラス161との合計厚みを計測する場合には、計測機は、図13に示すように、例えば結像レンズ116aを光軸方向に移動させ、スポット径が最小となったときの結像レンズ116aの位置を計測する。カバーガラス161の表面に合焦したとき、スポット径が最小となることから、スポット径が最小となったときの結像レンズ116aの位置を計測し、かかる位置に対応するスライドガラス160とカバーガラス161との合計厚みを算出する。結像レンズ116aの位置と合計厚みとの関係は、予め記憶部(図示せず。)に記憶されており、計測機は、記憶部を参照して、計測した結像レンズ116aの位置よりスライドガラス160とカバーガラス161との合計厚みを取得することができる。
【0087】
このような計測機によりスライドガラス160の傾斜や厚みを計測することで、統括制御部150は、高コントラストな像を取得することのできる基準位置からのスライドガラス160のずれを算出し、補正することが可能となる。
【0088】
図11に戻り、画像処理部152は、サムネイル像撮像制御部143から入力された暗視野画像データから、カバーガラスのエッジを検出する(S112)。ステップS111にて暗視野照明によりプレパラートPRTを照明すると、カバーガラスのエッジで光が散乱される。このため、暗視野画像データでは、カバーガラスのエッジが光って見える。画像処理部152は、暗視野画像データに光って現れる部分をカバーガラスのエッジとして検出する。
【0089】
また、画像処理部152は、暗視野画像データから、プレパラートPRTに付されたラベルの記載内容(ラベル情報)を取得するとこもできる(S113)。暗視野照明では散乱光を観察するので、ラベルに対して上方から照射された光の散乱によって、ラベル情報が暗視野画像データに現れる。そこで、画像処理部152は、暗視野画像データからラベル情報を取得する。
【0090】
暗視野画像データよりカバーガラスのエッジおよびラベル情報が取得されると、次に、明視野照明により明視野画像が取得される(S114)。まず、統括制御部150は、照明制御部141に対して明視野照明をオンにする指示を行う。明視野照明がオンになると、撮像素子113により明視野画像が取得される。その後、照明制御部141は、明視野照明をオフにする。サムネイル像撮像制御部143は、撮像素子113から出力された明視野画像データを、統括制御部150の画像処理部152へ出力する。
【0091】
明視野画像データからは、例えば図6の左上に示すように、生体サンプル214やカバーガラス216のエッジなどの、スライドガラス上にある物体を認識することができる。認識される物体のうち、拡大像として画像を取得しなければならない物体は、生体サンプル214のみである。カバーガラス216のエッジなどの他の物体はノイズであり、拡大像を取得して、バーチャルスライドとして保管する物体ではない。そこで、画像処理部152は、明視野画像データと暗視野画像データとを用いて、拡大像を取得する拡大部位像取得領域を決定する処理を行う(S115)。
【0092】
具体的には、画像処理部152は、暗視野画像データから検出されたカバーガラスのエッジの位置より、明視野画像データ中におけるカバーガラスのエッジの位置を算出する。そして、画像処理部152は、明視野画像データ中におけるカバーガラスのエッジの位置の内部領域で領域判定を行い、拡大部位像取得領域に決定する。また、領域判定がうまく働かない場合やカバーガラス内部全面を測定したい場合は、明視野画像データ中におけるカバーガラスのエッジの位置の内部領域全体を拡大部位像取得領域に決定する方法もある。
【0093】
その後、画像処理部152は、サムネイル像を生成する(S116)。画像処理部152は、明視野画像データのうち拡大部位像取得領域内の画像(すなわち、生体サンプル214を含む画像)と、暗視野画像データ中のラベル222の画像とを関連付けて、サムネイル像とする。生成されたサムネイル像は、記憶部(図示せず。)に記憶させておいてもよい。このように、ステップS110において統括制御部150は、ステージ130が目標位置に移動された状態で、サムネイル像撮像制御部144及び撮像素子113を介してサムネイル像を取得し、次のステップS120に移る。
【0094】
なお、暗視野画像データからは、カバーガラス161のエッジのみならず、スライドガラス160上の異物も検出することができる。図14に、サムネイル像撮像部110により取得された暗視野画像の一例を示す。図14に示す暗視野画像220には、ラベル222、カバーガラスのエッジ224に加えて、異物225が現れている。異物225も、生体サンプルではなく、ノイズであって、サムネイル像を作成する上で除去した方がよい情報である。そこで、本実施形態に係る画像処理部152は、明視野画像データと暗視野画像データとの差分をとることで、生体サンプルとともに明視野画像データに現れている異物を取り除くことができ、サムネイル像の生体サンプルをより明瞭に表すことが可能となる。また、画像処理部152に異物の数量をカウントする機能を設け、予め設定したしきい値以上の異物を検出した場合は、警告を発し、再撮影を促す処理を導入することも可能である。
【0095】
なお、暗視野画像データからは、カバーガラス161のエッジのみならず、カバーガラス161からはみ出た封入剤も検出することができる。図7に、サムネイル像撮像部110により取得された暗視野画像の一例を示す。図7に示す暗視野画像220には、ラベル222、カバーガラス161のエッジ224に加えて、封入剤227が現れている。カバーガラス161がスライドガラス160に対して、相対的にずれている場合や封入剤227の量が多い場合に封入剤227がはみ出ることがある。このような場合、特にカバーガラス161がずれている場合、図15に示すように、カバーガラス161のエッジ224とはみ出した封入剤領域に囲まれた閉領域228の内部領域を拡大部位像取得領域とすることも可能である。
【0096】
なお、暗視野画像データからは、カバーガラス161のエッジ224のみならず、カバーガラス161およびスライドガラス160のキズも検出することができる。キズも、生体サンプルではなく、ノイズであって、サムネイル像を作成する上で除去した方がよい情報である。そこで、本実施形態に係る画像処理部152は、明視野画像データと暗視野画像データとの差分をとることで、生体サンプルとともに明視野画像データに現れているキズを取り除くことができ、サムネイル像の生体サンプルをより明瞭に表すことが可能となる。また、検出されたキズが意図的に付与されたものである場合、例えば、図16のようなケガキ文字229がある場合は、この情報を積極的に利用することも可能である。ケガキ文字229がラベル222情報の代わりとなっている場合もあるため、ケガキ文字229をラベル情報として取得し、サムネイル画像を生成することも可能である。
【0097】
図5の説明に戻り、ステップS110にてサムネイル像を取得すると、サムネイル像に基づいて、生体サンプルに分割領域を割り当てる(S120)。統括制御部150は、サムネイル像に基づいてステージ130における生体サンプルの位置を検出し、該生体サンプルを分割領域に割り当てる。分割領域は、拡大部位像を撮像素子124により取得する撮像単位領域である。
【0098】
次いで、拡大部位像を取得するため、統括制御部150は、プレパラートPRTを拡大像撮像部120へ移動させる位置制御処理を行う(S130)。ステップS130の位置制御処理では、まず、位置制御部151の目標位置決定部151aにより、サムネイル像を基に生体サンプルに対して割り当てられた分割領域の位置が目標位置に決定される。次いで、ステージ像取得部151bは、拡大像撮像制御部144を介して撮像素子124により撮像される各分割領域の拡大部位像を所定のタイミング間隔で取得し、ステージ位置検出部151cへ出力する(S140)。
【0099】
ここで、拡大部位像を取得する際においても、スライドが傾斜していたり、スライドの厚みにムラがあったりすると、フォーカス調整が困難で、バーチャルスライドを作成するスライドを変更する度にフォーカス調整を行う必要がでてくる。そこで、本実施形態の拡大像撮像部120にもサムネイル像撮像部110と同様に、スライドの傾斜や厚みを計測する計測機を備えることもできる。
【0100】
例えば、計測機によりスライドのチルト角を計測する場合を考える。拡大像撮像部120には、図17に示すように、撮像素子124と、カバーガラス161が載置されたスライドガラス160との間に、対物レンズ123と結像レンズ126とが配置されている。また、拡大像撮像部120の対物レンズ123と結像レンズ126との間には、ミラー125cが配置されている。そして、拡大像撮像部120には、対物レンズ123と結像レンズ126との光軸に対して略直交する方向からミラー125cに対して光を照射する光源(例えば、レーザダイオード)125aと、光源125aから出射された光を平行光にするレンズ125bが設けられている。
【0101】
スライドガラス160のチルト角を計測するには、図12と同様、図17に示すように、対物レンズ123を、撮像素子124とスライドガラス160とを結ぶ直線上から一時的に退避させた状態で、撮像素子124によりスライドガラス160を撮像する。撮像して取得された画像データをモニタすると、スライドガラス160が傾斜している場合には、スライドガラス160における結像レンズ116aのスポット位置が基準位置からずれていることがわかる(d=fθ)。これより、スライドガラス160のチルト角を算出し、例えば当該チルト角を打ち消す方向にステージ130を傾けることでスライドガラス160の傾きを補正し、高コントラストな観察像を取得することが可能となる。
【0102】
また、例えば、当該計測機によりスライドガラス160とカバーガラス161との合計厚みを計測する場合には、計測機は、図18に示すように、例えば対物レンズ123を光軸方向に移動させ、スポット径が最小となったときの対物レンズ123の位置を計測する。カバーガラス161の表面に合焦したとき、スポット径が最小となることから、スポット径が最小となったときの対物レンズ123の位置を計測し、かかる位置に対応するスライドガラス160とカバーガラス161との合計厚みを算出する。対物レンズ123の位置と合計厚みとの関係は、予め記憶部(図示せず。)に記憶されており、計測機は、記憶部を参照して、計測した対物レンズ123の位置よりスライドガラス160とカバーガラス161との合計厚みを取得することができる。
【0103】
このような計測機によりスライドガラス160の傾斜や厚みを計測することで、統括制御部150は、高コントラストな像を取得することのできる基準位置からのスライドガラス160のずれを算出し、補正することが可能となる。
【0104】
図5の説明に戻り、1つの分割領域の拡大部位像を取得すると、統括制御部150は、拡大部位像取得領域内のすべての分割領域に対する拡大部位像を取得したか否かを判定する(S150)。そして、すべての拡大部位像がまだ取得されていない場合には、ステップS130からの処理を繰り返す。一方、ステップS150にてすべての各分割領域に対する拡大部位像を取得されたと判定された場合には、これらの拡大部位像を結像して拡大像を生成し(S160)、処理を終了する。
【0105】
[結像レンズの切り替えと照明系の連動]
ここで、拡大像撮像部120にて拡大像を取得する際、照明光学系の視野絞りにおいて光源のパワーをロスしてしまうという問題があった。図19に示すように、光源121から出射した光は、コレクタレンズ122aで平行光とされ、視野絞り128aを通過し、フィールドレンズ127、コンデンサレンズ122を通過して、スライドガラス160を照射する。そして、撮像素子124は、スライドガラス160を透過し、対物レンズ123を通り、結像レンズ126aで撮像素子124の撮像面124に結像された光を検出することで、画像データを生成する。
【0106】
拡大像撮像部120では、通常、対物レンズを交換して、取得する拡大像の倍率の切り替えを行っていた。これに対して、本実施形態の拡大像撮像制御部144は、結像レンズの切り換えを認識して、照明光学系の視野絞りおよびコレクタレンズの焦点距離を変更し、視野絞りの絞り量を変更する。これにより、視野絞りを通過できない光量を最小限にして、光源121のパワーを有効利用できるようにする。また、視野絞りの開口形状は撮像素子サイズ、アスペクト比に対応した矩形形状であることが望ましい。
【0107】
具体的には、ユーザの指示により、例えば結像レンズ126aから結像レンズ126bに交換され、取得する拡大像の倍率の切り替えられると、拡大像撮像制御部144は、照明光学系の視野絞り128aを交換後の結像レンズ126bに対応する視野絞り128bに交換する。さらに、拡大像撮像制御部144は、視野絞り128bの径に対応する平行光に変換できるように、交換後の結像レンズ126bおよび視野絞り128bに応じて、コレクタレンズ121aを当該レンズの光軸方向に移動させ、光源121のコレクタレンズ121aの焦点距離を変更する。
【0108】
結像レンズ、視野絞り、およびコレクタレンズの焦点距離の組合せは予め設定されており、記憶部(図示せず。)に記憶されている。拡大像撮像制御部144は、結像レンズが交換されると、記憶部を参照して、交換後の結像レンズに対応する視野絞りとコレクタレンズ121aの焦点距離を取得し、視野絞りの交換およびコレクタレンズ121aの移動を行う。
【0109】
高スループット化には露光時間を極力短縮する必要があり、光源121のパワーを有効利用するシステムが必要となる。本実施形態のように、結像レンズに応じて視野絞りおよびコレクタレンズの位置を変更することで、倍率によらず光源121のパワーを有効利用することができ、高スループットな撮像が可能となる。
【0110】
以上、本実施形態に係る顕微鏡におけるバーチャルスライドの作成処理について説明した。本実施形態によれば、拡大像を取得する拡大部位像取得領域を決定する際に、明視野画像データと暗視野画像データとを用いて、生体サンプル以外の他の物体を拡大部位像取得領域から除外し、拡大部位像を取得する領域を制限することができる。これにより、生体サンプルが現れていない部分の拡大部位像を取得する量を低減することができるので、拡大部位像の取得処理の負荷が軽減され、拡大像の取得の効率化を図ることができる。
【0111】
[撮像素子の傾斜、位置の計測]
上記説明において、スライドガラス160の傾きや厚みを計測する計測機を顕微鏡100に備えることができると説明したが、同様に、撮像素子の傾きや位置を計測機によって計測することも可能である。以下、図20〜図22に基づいて、計測機による撮像素子の傾きや位置の計測方法について説明する。なお、図20は、撮像素子のチルト角を計測する場合を示す説明図である。図21は、撮像素子の位置を計測する場合を示す説明図である。図22は、撮像素子のチルト角および位置を同時に計測する場合を示す説明図である。図20〜図22では、拡大像撮像部120の撮像素子124の傾きや位置を計測する場合について説明するが、サムネイル像撮像部110の撮像素子113についても、同様の方法により撮像素子113の傾きや位置を計測することができる。
【0112】
まず、撮像素子124のチルト角を計測する場合を考える。図20に示すように、拡大像撮像部120の撮像素子124とカバーガラス161が載置されたスライドガラス160との間に、対物レンズ123と結像レンズ126とが配置されている。また、拡大像撮像部120の対物レンズ123と結像レンズ126との間には、ミラー125cが配置されている。そして、拡大像撮像部120には、光源(例えば、レーザダイオード)125aと、光源125aから出射された光を平行光にするレンズ125bが設けられている、レンズ125bにより平行光とされた光は、ビームスプリッタ125dによって、対物レンズ123と結像レンズ126との光軸に対して略直交する方向からミラー125cに対して光を照射する。また、ビームスプリッタ125dに対してミラー125cと反対側には、撮像素子129と、当該撮像素子129に光を結像させる結像レンズ125eが設けられている。
【0113】
撮像素子124のチルト角を計測するには、図20に示すように、結像レンズ126を、撮像素子124とスライドガラス160とを結ぶ直線上から一時的に退避させた状態で、撮像素子124によりスライドガラス160を撮像する。撮像して取得された画像データをモニタすると、スライドガラス160が傾斜している場合には、スライドガラス160における結像レンズ116aのスポット位置が基準位置からずれていることがわかる(d=fθ)。これより、結像レンズ126のチルト角を算出し、例えば当該チルト角を打ち消す方向に撮像素子124を傾けることでこれを補正することで、高コントラストな観察像を取得することが可能となる。
【0114】
また、例えば、当該計測機により撮像素子124の光軸方向における位置を計測する場合には、計測機は、図21に示すように、例えば結像レンズ126あるいは撮像素子124自体を光軸方向に移動させる。そして、カバーガラス161の表面に合焦したとき、スポット径が最小となることから、スポット径が最小となったときの撮像素子123の位置を計測する。このスポット径が最小となる位置に、結像レンズ126や撮像素子124を移動させることで、統括制御部150は、高コントラストな像を取得することのできる基準位置からの撮像素子123のずれを算出し、補正することが可能となる。
【0115】
さらに、図22に示すように、撮像素子124の傾きおよび位置を同時に計測することも可能である。この場合、図22に示すように、撮像素子124とミラー125cとの間の光路上に、結像レンズ126c、126dとビームスプリッタ126e、126fとが設けられている。ミラー125cによって案内された光源125aからの光は、一部がビームスプリッタ126fによって結像レンズ126dへ案内され、撮像素子124に結像される。また、他の光は、ビームスプリッタ126fによってビームスプリッタ126eへ案内され、さらにビームスプリッタ126eによって結像レンズ126cへ案内され、撮像素子124に結像される。
【0116】
このような構成の拡大像撮像部120において、例えば結像レンズ126c、126dのいずれか一方(例えば結像レンズ126c)を光路上から退避させた後、撮像素子124を光軸方向に移動させる。こうして取得された画像データからは、スポット径の基準位置からのずれと、スポット径の大きさとを合わせて確認することができる。これにより、撮像素子124の傾きや位置を同時に計測することができるので、作業の効率化を図ることができる。
【0117】
<3.ハードウェア構成例>
本実施形態に係る顕微鏡100の統括制御部150による処理は、ハードウェアにより実行させることもでき、ソフトウェアによって実行させることもできる。この場合、統括制御部150は、図23に示すようなコンピュータとして構成することもできる。以下、図23に基づいて、本実施形態に係る統括制御部150の一ハードウェア構成例について説明する。
【0118】
本実施形態に係る統括制御部150は、上述したように、コンピュータ等の処理装置により実現することができる。統括制御部150は、図3に示すように、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、ホストバス104aとを備える。また、統括制御部150は、ブリッジ104と、外部バス104bと、インタフェース105と、入力装置106と、出力装置107と、ストレージ装置(HDD)108と、ドライブ109と、接続ポート111と、通信装置113とを備える。
【0119】
CPU101は、演算処理装置および制御装置として機能し、各種プログラムに従って統括制御部150内の動作全般を制御する。また、CPU101は、マイクロプロセッサであってもよい。ROM102は、CPU101が使用するプログラムや演算パラメータ等を記憶する。RAM103は、CPU101の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス104aにより相互に接続されている。
【0120】
ホストバス104aは、ブリッジ104を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス104bに接続されている。なお、必ずしもホストバス104a、ブリッジ104および外部バス104bを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【0121】
入力装置106は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU101に出力する入力制御回路などから構成されている。出力装置107は、例えば、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。
【0122】
ストレージ装置108は、統括制御部150の記憶部の一例であり、データ格納用の装置である。ストレージ装置108は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置108は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置108は、ハードディスクを駆動し、CPU101が実行するプログラムや各種データを格納する。
【0123】
ドライブ109は、記憶媒体用リーダライタであり、統括制御部150に内蔵、あるいは外付けされる。ドライブ109は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、RAM103に出力する。
【0124】
接続ポート111は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。また、通信装置113は、例えば、通信網10に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置113は、無線LAN(Local Area Network)対応通信装置であっても、ワイヤレスUSB対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0125】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0126】
例えば、上記実施形態では、サムネイル像を生成する際に、暗視野画像データを取得した後、明視野画像データを取得としたが、本発明はかかる例に限定されない。例えば、明視野画像データを取得した後、暗視野画像データを取得してもよい。
【符号の説明】
【0127】
100 顕微鏡
110 サムネイル像撮像部
111、121 光源
112、123 対物レンズ
113、124 撮像素子
120 拡大像撮像部
122 コンデンサレンズ
130 ステージ
135 ステージ駆動機構
141 照明制御部
142 ステージ駆動制御部
143 サムネイル像撮像制御部
144 拡大像撮像制御部
150 統括制御部
160 スライドガラス
161 カバーガラス
162 ラベル


【特許請求の範囲】
【請求項1】
スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを照明する暗視野照明および明視野照明と、
前記暗視野照明により照射された前記プレパラートを撮像して暗視野画像を取得し、前記明視野照明により照射された前記プレパラートを撮像して明視野画像を取得する撮像部と、
前記撮像部により取得された前記暗視野画像および前記明視野画像に基づいて、前記プレパラートにおける前記カバーガラスのエッジを検出し、検出された前記カバーガラスのエッジの内部領域を、前記サンプルの拡大部位像取得領域として決定する拡大部位像取得領域決定部と、
を備える、顕微鏡。
【請求項2】
前記拡大部位像取得領域決定部は、
前記暗視野画像に現れる前記カバーガラスのエッジの位置を算出し、
前記暗視野画像から算出されたエッジの位置に対応する前記明視野画像内の位置の内部領域全面を前記拡大部位像取得領域として決定する、請求項1に記載の顕微鏡。
【請求項3】
前記拡大部位像取得領域決定部は、
前記暗視野画像に現れる前記カバーガラスのエッジの位置を算出し、
前記暗視野画像から算出されたエッジの位置に対応する前記明視野画像内の位置の内部領域において領域判定を行い、領域判定された結果を前記拡大部位像取得領域として決定する、請求項1に記載の顕微鏡。
【請求項4】
前記暗視野画像から、前記スライドガラスに付された、前記サンプルに関する情報を示すラベルのラベル画像を取得するラベル画像取得部と、
前記明視野画像の前記サンプル取得領域内の画像と、前記ラベル画像とを関連付けて出力するサムネイル像出力部と、
をさらに備える、請求項1に記載の顕微鏡。
【請求項5】
前記暗視野画像と前記明視野画像との差分情報に基づき、前記拡大部位像取得領域内のノイズを除去するノイズ除去部をさらに備える、請求項1に記載の顕微鏡。
【請求項6】
前記暗視野照明は、LED照明である、請求項1に記載の顕微鏡。
【請求項7】
前記暗視野照明は、レーザである、請求項1に記載の顕微鏡。
【請求項8】
暗視野照明により照射された、スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを撮像して暗視野画像を取得するステップと、
明視野照明により照射された前記プレパラートを撮像して明視野画像を取得するステップと、
前記暗視野画像に基づいて、前記プレパラートにおける前記カバーガラスのエッジを検出するステップと、
前記明視野画像において、検出された前記カバーガラスのエッジの内部領域全面を、前記サンプルの拡大部位像取得領域として決定するステップと、
を備える、領域判定方法。
【請求項9】
暗視野照明により照射された、スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを撮像して暗視野画像を取得するステップと、
明視野照明により照射された前記プレパラートを撮像して明視野画像を取得するステップと、
前記暗視野画像に基づいて、前記プレパラートにおける前記カバーガラスのエッジを検出するステップと、
前記明視野画像において、検出された前記カバーガラスのエッジの内部領域において領域判定を行い、前記サンプルの拡大部位像取得領域として決定するステップと、
を備える、領域判定方法。
【請求項10】
スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを照明する暗視野照明および明視野照明と、
前記暗視野照明により照射された前記プレパラートを撮像して暗視野画像を取得し、前記明視野照明により照射された前記プレパラートを撮像して明視野画像を取得する撮像部と、
前記撮像部により取得された前記暗視野画像および前記明視野画像に基づいて、前記プレパラートにおける前記カバーガラスのノイズ成分を検出し、検出された前記ノイズ成分を前記明視野画像から差し引き、前記サンプル拡大部位像取得領域として決定する拡大部位像取得領域決定部と、
を備える、顕微鏡。
【請求項11】
前記ノイズ成分は、カバーガラスのエッジである、請求項10に記載の顕微鏡。
【請求項12】
前記ノイズ成分は、封入剤である、請求項10に記載の顕微鏡。
【請求項13】
前記ノイズ成分は、付着異物である、請求項10に記載の顕微鏡。
【請求項14】
スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを照明する暗視野照明および明視野照明と、
前記暗視野照明により照射された前記プレパラートを撮像して暗視野画像を取得し、前記明視野照明により照射された前記プレパラートを撮像して明視野画像を取得する撮像部と、
前記撮像部により取得された前記暗視野画像および前記明視野画像に基づいて、前記プレパラートにおける前記カバーガラスからの封入剤はみ出し領域を検出し、検出された前記封入剤はみ出し領域の内部領域を、前記サンプルの拡大部位像取得領域として決定する拡大部位像取得領域決定部と、
を備える、顕微鏡。
【請求項15】
前記拡大部位像取得領域決定部は、
前記暗視野画像に現れる前記封入剤はみ出し領域の位置を算出し、
前記暗視野画像から算出された封入剤はみ出し領域の位置に対応する前記明視野画像内の位置の内部領域全面を前記拡大部位像取得領域として決定する、請求項14に記載の顕微鏡。
【請求項16】
前記拡大部位像取得領域決定部は、
前記暗視野画像に現れる前記封入剤はみ出し領域の位置を算出し、
前記暗視野画像から算出された封入剤はみ出し領域の位置に対応する前記明視野画像内の位置の内部領域において領域判定を行い、その結果を前記拡大部位像取得領域として決定する、請求項14に記載の顕微鏡。
【請求項17】
前記暗視野画像から、前記スライドガラスに付された、前記サンプルに関する情報を示すラベルのラベル画像を取得するラベル画像取得部と、
前記明視野画像の前記サンプル取得領域内の画像と、前記ラベル画像とを関連付けて出力するサムネイル像出力部と、
をさらに備える、請求項14に記載の顕微鏡。
【請求項18】
前記暗視野画像と前記明視野画像との差分情報に基づき、前記拡大部位像取得領域内のノイズを除去するノイズ除去部をさらに備える、請求項14に記載の顕微鏡。
【請求項19】
前記暗視野照明は、LED照明である、請求項14に記載の顕微鏡。
【請求項20】
前記暗視野照明は、レーザである、請求項14に記載の顕微鏡。
【請求項21】
暗視野照明により照射された、スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを撮像して暗視野画像を取得するステップと、
明視野照明により照射された前記プレパラートを撮像して明視野画像を取得するステップと、
前記暗視野画像に基づいて、前記プレパラートにおける前記封入剤はみ出し領域を検出するステップと、
前記明視野画像において、検出された前記封入剤はみ出し領域の内部領域全面を、前記サンプルの拡大部位像取得領域として決定するステップと、
を備える、領域判定方法。
【請求項22】
暗視野照明により照射された、スライドガラス上に載置されたサンプルをカバーガラスおよび封入剤で覆ってなるプレパラートを撮像して暗視野画像を取得するステップと、
明視野照明により照射された前記プレパラートを撮像して明視野画像を取得するステップと、
前記暗視野画像に基づいて、前記プレパラートにおける前記封入剤のはみ出し領域を検出するステップと、
前記明視野画像において、検出された前記封入剤のはみ出し領域の内部領域において領域判定を行い、前記サンプルの拡大部位像取得領域として決定するステップと、
を備える、領域判定方法。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate


【公開番号】特開2012−14078(P2012−14078A)
【公開日】平成24年1月19日(2012.1.19)
【国際特許分類】
【出願番号】特願2010−152367(P2010−152367)
【出願日】平成22年7月2日(2010.7.2)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】