説明

顕微鏡及びフィルタ挿入方法

【課題】焦点位置合わせをサンプルの色の違いに応じてより正確に実施することが可能な顕微鏡及びフィルタ挿入方法を提供すること。
【解決手段】本発明に係る顕微鏡は、ステージ上に載置された細胞組織サンプルからの光を撮像する第1の結像光学系と、第1の結像光学系から細胞組織サンプルからの光の一部を分岐する光線分岐素子と、分岐された細胞組織サンプルからの光の一部の位相差像を撮像する撮像素子と、当該撮像素子に位相差像を結像させる1又は複数の光学素子と、を有する第2の結像光学系と、第2の結像光学系の光路上に、所定波長の光を吸収する光学フィルタを挿入するフィルタ挿入部と、を備え、フィルタ挿入部は、細胞組織サンプルにおける観察対象物の色に応じて、当該観察対象物の色の補色に対応する波長の光を吸収する光学フィルタを挿入する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顕微鏡及びフィルタ挿入方法に関する。
【背景技術】
【0002】
細胞組織スライド等のサンプルを観察する顕微鏡を用いて、サンプルの顕微鏡による観察像をデジタル画像として保存し、保存したデジタル画像をインターネットやイントラネット上に設けられた他の装置で観察する技術が提案されている(例えば、以下の特許文献1を参照。)。このような技術を用いることで、ネットワークを用いて遠隔地の医師が病理診断を行う、いわゆるテレパソロジー(telepathology)の発展を促すことが可能となる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003−222801号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、上述のような顕微鏡において、膨大な数のサンプルの顕微鏡観察像をデジタル画像化する場合には、特にオートフォーカスの観察対象への合焦精度が求められることとなる。
【0005】
その一方で、細胞組織などのサンプルは、各種生体部位から採取した状態のままで観察される以外にも、各種の染色方法を利用して観察対象とする構造物が特定の色となるように染色されることが多い。この際、球面収差の影響のために、サンプル内の色の違いによって、観察(すなわち、撮像)に最良となる焦点位置が1μm程度変化することとなる。このような焦点位置のズレは、被写界深度が浅い顕微鏡にとっては、画像の明瞭化を妨げる要因となりうるものである。
【0006】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、焦点位置合わせをサンプルの色の違いに応じてより正確に実施することが可能な、顕微鏡及びフィルタ挿入方法を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある観点によれば、ステージ上に載置された細胞組織サンプルからの光を撮像する第1の結像光学系と、前記第1の結像光学系から前記細胞組織サンプルからの光の一部を分岐する光線分岐素子と、分岐された前記細胞組織サンプルからの光の一部の位相差像を撮像する第2の撮像素子と、当該第2の撮像素子に前記位相差像を結像させる1又は複数の光学素子と、を有する第2の結像光学系と、前記第2の結像光学系の光路上に、所定波長の光を吸収する光学フィルタを挿入するフィルタ挿入部と、を備え、前記フィルタ挿入部は、前記細胞組織サンプルにおける観察対象物の色に応じて、当該観察対象物の色の補色に対応する波長の光を吸収する前記光学フィルタを挿入する、顕微鏡が提供される。
【0008】
前記第2の結像光学系は、前記光線分岐素子により分岐された前記細胞組織サンプルからの光の一部を集光する集光レンズと、前記集光レンズにより集光された前記細胞組織サンプルからの光の一部の位相差像を生成するセパレータレンズと、を少なくとも有し、前記フィルタ挿入部は、前記光学フィルタを、前記光線分岐素子と、前記集光レンズとの間に挿入してもよい。
【0009】
前記第2の結像光学系は、前記光線分岐素子により分岐された前記細胞組織サンプルからの光の一部を集光する集光レンズと、前記集光レンズにより集光された前記細胞組織サンプルからの光の一部の位相差像を生成するセパレータレンズと、を少なくとも有し、前記フィルタ挿入部は、前記光学フィルタを、前記集光レンズの後段に挿入してもよい。
【0010】
前記細胞組織サンプルには、細胞組織の染色方法及び細胞組織の部位の少なくともいずれかに関するサンプル情報が含まれており、前記フィルタ挿入部は、前記サンプル情報に基づいて、挿入する前記光学フィルタを自動的に選択してもよい。
【0011】
前記サンプル情報は、前記細胞組織サンプルのラベルとして記載されていてもよい。
【0012】
前記サンプル情報は、前記細胞組織サンプルにバーコードとして記載されていてもよい。
【0013】
前記サンプル情報は、前記細胞組織サンプルに内蔵されたRFタグに記録されていてもよい。
【0014】
また、上記課題を解決するために、本発明の別の観点によれば、ステージ上に載置された細胞組織サンプルからの光を撮像する第1の結像光学系から、光線分岐素子により前記細胞組織サンプルからの光の一部を分岐するステップと、分岐された前記細胞組織サンプルからの光の一部の光路上に、所定波長の光を吸収する光学フィルタを挿入するステップと、前記光学フィルタを透過した前記細胞組織サンプルからの光の一部の位相差像を撮像するステップと、を含み、前記光学フィルタを挿入するステップでは、前記細胞組織サンプルにおける観察対象物の色に応じて、当該観察対象物の色の補色に対応する波長の光を吸収する前記光学フィルタを挿入する、フィルタ挿入方法が提供される。
【発明の効果】
【0015】
以上説明したように本発明によれば、焦点位置合わせをサンプルの色の違いに応じてより正確に実施することが可能である。
【図面の簡単な説明】
【0016】
【図1】本発明の第1の実施形態に係る顕微鏡画像管理システムを示した説明図である。
【図2】同実施形態に係る顕微鏡及び顕微鏡制御装置の全体構成を示した説明図である。
【図3】サンプルの拡大像及び位相差像の一例を示した説明図である。
【図4】位相差像に基づいて生成される位相差情報の一例を示した説明図である。
【図5】同実施形態に係る顕微鏡制御装置が備える統括制御部の構成を示したブロック図である。
【図6】同実施形態に係る顕微鏡が備えるデフォーカス量検出部について説明するための説明図である。
【図7】同実施形態に係る顕微鏡が備えるデフォーカス量検出部について説明するための説明図である。
【図8】同実施形態に係る顕微鏡が備えるデフォーカス量検出部について説明するための説明図である。
【図9】デフォーカス量の検出結果の一例について示した説明図である。
【図10】デフォーカス量の検出結果の一例について示した説明図である。
【図11A】同実施形態に係るサンプル情報について説明するための説明図である。
【図11B】同実施形態に係るサンプル情報について説明するための説明図である。
【図11C】同実施形態に係るサンプル情報について説明するための説明図である。
【図12】同実施形態に係るフィルタ挿入方法の流れの一例を示した流れ図である。
【図13】本発明の実施形態に係る顕微鏡制御装置のハードウェア構成を示したブロック図である。
【発明を実施するための形態】
【0017】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0018】
なお、説明は、以下の順序で行うものとする。
(1)第1の実施形態
(1−1)顕微鏡画像管理システムについて
(1−2)顕微鏡の全体構成について
(1−3)顕微鏡制御装置の全体構成について
(1−4)統括制御部の構成について
(1−5)細胞組織サンプルに対するオートフォーカス処理について
(1−6)デフォーカス量検出部の詳細な構成について
(1−8)フィルタ挿入方法の流れについて
(2)本発明の実施形態に係る顕微鏡制御装置のハードウェア構成について
(3)まとめ
【0019】
なお、以下では、顕微鏡が撮像するサンプルとして、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプル(細胞組織サンプル)を例に挙げて説明を行うが、かかる場合に限定されるわけではない。
【0020】
(第1の実施形態)
<顕微鏡画像管理システムについて>
まず、図1を参照しながら、本発明の第1の実施形態に係る顕微鏡画像管理システム1の構成について説明する。図1は、本実施形態に係る顕微鏡画像管理システム1の構成を示した説明図である。
【0021】
本実施形態に係る顕微鏡画像管理システム1は、図1に示したように、顕微鏡10と、顕微鏡制御装置20と、画像管理サーバ30と、画像表示装置40とを有する。また、顕微鏡制御装置20、画像管理サーバ30及び画像表示装置40は、ネットワーク3を介して接続されている。
【0022】
ネットワーク3は、本実施形態に係る顕微鏡制御装置20、画像管理サーバ30及び画像表示装置40を互いに双方向通信可能に接続する通信回線網である。このネットワーク3は、例えば、インターネット、電話回線網、衛星通信網、同報通信路等の公衆回線網や、WAN(Wide Area Network)、LAN(Local Area Network)、IP−VPN(Internet Protocol−Virtual Private Network)、Ethernet(登録商標)、ワイヤレスLAN等の専用回線網などで構成されており、有線/無線を問わない。また、このネットワーク3は、本実施形態に係る顕微鏡画像管理システム1に専用に設けられた通信回線網であってもよい。
【0023】
顕微鏡10は、当該顕微鏡10のステージ上に載置されたサンプル(例えば生体サンプル)に対して所定の照明光を照射して、このサンプルを透過した光、又は、サンプルからの発光等を撮像する。本実施形態に係る顕微鏡10の全体構成については、以下で改めて詳細に説明する。
【0024】
顕微鏡10は、顕微鏡制御装置20によって駆動制御されており、顕微鏡10が撮像したサンプル画像は、顕微鏡制御装置20を介して画像管理サーバ30に格納される。
【0025】
顕微鏡制御装置20は、サンプルを撮像する顕微鏡10の駆動制御を行う装置である。顕微鏡制御装置20は、顕微鏡10を制御して、サンプルのデジタル画像を撮像するとともに、得られたサンプルのデジタル画像データに対して、所定のデジタル加工処理を実施する。また、顕微鏡制御装置20は、得られたサンプルのデジタル画像データを、画像管理サーバ30にアップロードする。
【0026】
画像管理サーバ30は、顕微鏡10によって撮像されたサンプルのデジタル画像データを格納するとともに、これらデジタル画像データの管理を行う装置である。画像管理サーバ30は、顕微鏡制御装置20からサンプルのデジタル画像データが出力されると、取得したサンプルのデジタル画像データを所定の格納領域に格納して、閲覧者が利用可能なようにする。また、画像管理サーバ30は、閲覧者が操作する画像表示装置40(すなわち、ビューワーに対応する装置)から、あるサンプルのデジタル画像データの閲覧を要請されると、該当するサンプルのデジタル画像データを画像表示装置40に提供する。
【0027】
画像表示装置40は、サンプルのデジタル画像データの閲覧を希望する閲覧希望者が操作する端末(すなわち、ビューワーに対応する装置)である。デジタル画像データの閲覧希望者は、画像管理サーバ30に格納されているデジタル画像データの一覧等を参照して、閲覧を希望するデジタル画像データを特定するとともに、特定したデジタル画像データを提供するように、画像管理サーバ30に対して要請する。画像管理サーバ30からデジタル画像データが提供されると、提供されたデジタル画像データに対応する画像を、画像表示装置40のディスプレイ等に表示して、閲覧希望者が閲覧できるようにする。
【0028】
なお、本実施形態に係る顕微鏡制御装置20及び画像管理サーバ30の詳細な構成については、以下で改めて説明する。
【0029】
また、図1では、システム1に属する顕微鏡10、顕微鏡制御装置20及び画像管理サーバ30がそれぞれ1台ずつ存在する場合について図示しているが、顕微鏡画像管理システム1に属する顕微鏡10、顕微鏡制御装置20及び画像管理サーバ30の台数は図1の例に限定されるわけではなく、それぞれ複数台ずつ存在していてもよい。
【0030】
<顕微鏡の全体構成について>
続いて、図2を参照しながら、本実施形態に係る顕微鏡10の全体構成について説明する。図2は、本実施形態に係る顕微鏡10及び顕微鏡制御装置20の全体構成を示した説明図である。
【0031】
[全体構成]
本実施形態に係る顕微鏡1は、図2に例示したように、生体サンプルSPLが配設されるプレパラートPRT全体の像(以下、この像をサムネイル像とも称する。)を撮像するサムネイル像撮像部110と、生体サンプルSPLが所定倍率で拡大された像(以下、この像を拡大像とも称する。)を撮像する拡大像撮像部120と、を有する。また、拡大像撮像部120には、拡大像撮像部120中に存在する照明視野絞りのデフォーカス(defocus)量を検出するためのデフォーカス量検出部130が設けられている。
【0032】
プレパラートPRTは、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプルSPLを、所定の固定手法によりスライドガラスに固定したものである。これらの組織切片又は塗抹細胞には、必要に応じて各種の染色が施される。この染色には、HE(ヘマトキシリン・エオシン)染色、ギムザ染色、パパニコロウ染色、チール・ネールゼン染色、グラム染色等に代表される一般染色のみならず、FISH(Fluorescence In−Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。
【0033】
本実施形態に係る顕微鏡10には、上述のようなプレパラートPRTが載置されるステージ140が設けられており、更に、ステージ140を様々な方向に移動させるためのステージ駆動機構141が設けられている。このステージ駆動機構141により、ステージ140を、ステージ面に対して平行となる方向(X軸−Y軸方向)と、直交する方向(Z軸方向)に自由に移動させることができる。
【0034】
また、拡大像撮像部120には、照明視野絞りピント調整部の一例であるコンデンサレンズ駆動機構142が設けられている。
【0035】
更に、本実施形態に係る顕微鏡10には、サンプルSPLを含むプレパラートPRTをステージ140に搬送するサンプル搬送装置150が設けられていても良い。かかる搬送装置150を設けることで、ステージ140に、撮像予定のサンプルが自動的に設置されるようになり、サンプルSPLの入れ替えを自動化することが可能となる。
【0036】
[サムネイル像撮像部]
サムネイル像撮像部110は、図2に示したように、光源111と、対物レンズ112と、撮像素子113と、を主に備える。
【0037】
光源111は、ステージ140のプレパラート配置面とは逆の面側に設けられる。光源111は、一般染色が施された生体サンプルSPLを照明する光(以下、明視野照明光、又は、単に照明光とも称する。)と、特殊染色が施された生体サンプルSPLを照明する光(以下、暗視野照明光とも称する。)とを切り換えて照射可能である。また、光源111は、明視野照明光又は暗視野照明光のいずれか一方だけを照射可能なものであってもよい。この場合、光源111として、明視野照明光を照射する光源と、暗視野照明光を照射する光源の2種類の光源が設けられることとなる。
【0038】
更に、サムネイル像撮像部110には、プレパラートPRTに貼付されたラベルに記載されている付帯情報を撮像するための光を照射するラベル光源(図示せず。)が別途設けられていてもよい。
【0039】
所定倍率の対物レンズ112は、プレパラート配置面におけるサムネイル像撮像部110の基準位置の法線を光軸SRAとして、ステージ140のプレパラート配置面側に配設される。ステージ140上に配設されたプレパラートPRTを透過した透過光は、この対物レンズ112によって集光されて、対物レンズ112の後方(すなわち、照明光の進行方向)に設けられた撮像素子113に結像する。
【0040】
撮像素子113には、ステージ140のプレパラート配置面に載置されたプレパラートPRT全体を包括する撮像範囲の光(換言すれば、プレパラートPRT全体を透過した透過光)が結像する。この撮像素子113上に結像した像が、プレパラートPRT全体を撮像した顕微鏡画像であるサムネイル像となる。
【0041】
[拡大像撮像部]
拡大像撮像部120は、図2に示したように、光源21と、コンデンサレンズ122と、対物レンズ123と、撮像素子124と、を主に備える。また、拡大像撮像部120には、更に、照明視野絞り(図示せず。)が設けられている。
【0042】
光源121は、明視野照明光を照射するものであり、ステージ140のプレパラート配置面とは逆の面側に設けられる。また、光源121とは異なる位置(例えばプレパラート配置面側)には、暗視野照明光を照射する光源(図示せず。)が設けられる。
【0043】
コンデンサレンズ122は、光源121から照射された明視野照明光や、暗視野照明用の光源から照射された暗視野照明光を集光して、ステージ140上のプレパラートPRTに導くレンズである。このコンデンサレンズ122は、プレパラート配置面における拡大像撮像部120の基準位置の法線を光軸ERAとして、光源121とステージ140との間に配設される。また、コンデンサレンズ駆動機構142は、このコンデンサレンズ122を光軸ERA方向に沿って駆動することが可能である。コンデンサレンズ122は、コンデンサレンズ駆動機構142によって、光軸ERA上の位置を変えることができる。
【0044】
所定倍率の対物レンズ123は、プレパラート配置面における拡大像撮像部120の基準位置の法線を光軸ERAとして、ステージ140のプレパラート配置面側に配設される。拡大像撮像部120では、この対物レンズ123を適宜交換することで、生体サンプルSPLを様々な倍率に拡大して撮像することが可能となる。ステージ140上に配設されたプレパラートPRTを透過した透過光は、この対物レンズ123によって集光されて、対物レンズ123の後方(すなわち、照明光の進行方向)に設けられた撮像素子124に結像する。
【0045】
なお、対物レンズ123と撮像素子124との間の光軸ERA上には、ビームスプリッター131が設けられていてもよい。かかるビームスプリッター131が設けられている場合には、対物レンズ123を透過した透過光の一部が、後述するデフォーカス量検出部130へと導かれる。
【0046】
撮像素子124には、撮像素子124の画素サイズ及び対物レンズ123の倍率に応じて、ステージ140のプレパラート配置面上における所定の横幅及び縦幅からなる撮像範囲の像が結像される。なお、対物レンズ123により生体サンプルSPLの一部が拡大されるため、上述の撮像範囲は、撮像素子113の撮像範囲に比べて十分に狭い範囲となる。
【0047】
ここで、サムネイル像撮像部110及び拡大像撮像部120は、図2に示したように、それぞれの基準位置の法線である光軸SRAと光軸ERAとがY軸方向に距離Dだけ離れるように配置される。この距離Dは、撮像素子113の撮像範囲に拡大像撮像部120の対物レンズ123を保持する鏡筒(図示せず)が写りこむことなく、かつ小型化のために近い距離に設定される。
【0048】
[デフォーカス量検出部]
デフォーカス量検出部130は、図2に示したように、ビームスプリッター131と、フィールドレンズ132と、セパレータレンズ133と、撮像素子134と、を主に備える。また、デフォーカス量検出部130には、後述するフィルタ挿入機構(図2では、図示せず。)が設けられており、デフォーカス量検出部130の光路上に、所定波長の光を吸収する光学フィルタを挿入する。
【0049】
ビームスプリッター131は、先に説明したように、拡大像撮像部120の対物レンズ123と撮像素子124との間の光軸ERA上に設けられており、対物レンズ123を透過した透過光の一部を反射させる。換言すれば、ビームスプリッター131によって、対物レンズ123を透過した透過光は、撮像素子124へと向かう透過光と、後述するデフォーカス量検出部130内のフィールドレンズ132へと向かう反射光とに分岐される。
【0050】
ビームスプリッター131によって分岐された反射光の進行方向側には、フィールドレンズ132が設けられる。このフィールドレンズ132は、ビームスプリッター131によって分岐された反射光を集光して、フィールドレンズ132の後方(反射光の進行方向側)に設けられたセパレータレンズ133へと導く。
【0051】
セパレータレンズ133は、フィールドレンズ132から導光された光束を2つの光束へと分割する。分割された光束は、セパレータレンズ133の後方(反射光の進行方向側)に設けられた撮像素子134の結像面に対して、1組の被写体像を形成する。
【0052】
撮像素子134には、セパレータレンズ133を透過した光がそれぞれ結像する。その結果、撮像素子134の撮像面には、1組の被写体像が形成されることとなる。セパレータレンズ133には、フィールドレンズ132を射出した様々な方向の光束が入射するため、形成される1組の被写体像間には、位相差が存在する。以下では、この1組の被写体像を、位相差像と称することとする。
【0053】
次に、図3を参照しながら、拡大像撮像部120により撮像される拡大像と、デフォーカス量検出部130により撮像される位相差像の一例について、簡単に説明する。図3は、サンプルの拡大像及び位相差像の一例を示した説明図である。
【0054】
本実施形態に係る顕微鏡10では、対物レンズ123の後方にビームスプリッター131が設けられ、対物レンズ123を透過した光束が、拡大像撮像部120に設けられた撮像素子124と、デフォーカス量検出部130に設けられた撮像素子134とに結像する。ここで、撮像素子134に結像する位相差像は、図3に示したように、例えば右目で見た画像と左目で見た画像に対応するような一組の画像であり、これら画像間には、位相差が存在している。そのため、位相差が小さくなると、位相差像の2つの画像は互いに離れる方向にシフトし、位相差が大きくなると、位相差像の2つの画像は互いに近づく方向にシフトする。
【0055】
ここで、以下の説明では、位相差像を構成する一組の画像のうち一方を、基準画像と称することとし、他方の画像を、比較画像と称することとする。基準画像は、位相差像における位相差を特定する際の基準として用いられる画像であり、比較画像は、位相差像における位相差を特定する際に、基準画像と比較される画像である。
【0056】
このような位相差を、位相差像を構成する各画素について特定することにより、図4に示したような、位相差像全体における位相差の分布を示した位相差情報を生成することができる。ここで、2つの画像間の位相差は、サンプルの凹凸に換算可能な物性値であるため、位相差情報を得ることで、サンプルの凹凸に関する情報を得ることができる。
【0057】
以上、本実施形態に係るデフォーカス量検出部130について、簡単に説明した。なお、本実施形態に係るデフォーカス量検出部130については、以下で改めて詳細に説明する。
【0058】
なお、以上の説明では、対物レンズ123と撮像素子124との間にビームスプリッター131が設けられる場合について説明したが、光線を分岐するための光線分岐手段はビームスプリッターに限定されるわけではなく、可動式ミラー等を利用することも可能である。
【0059】
また、前述の説明では、デフォーカス量検出部130内の位相差AF光学系としてフィールドレンズ、セパレータレンズ及び撮像素子を有する構成を示したが、かかる例に限定されるわけではない。かかる位相差AF光学系は、例えば、フィールドレンズ及びセパレータレンズの代わりにコンデンサレンズ及び2眼レンズを利用したりするなど、同等の機能を実現可能なものであれば、他の光学系であってもよい。
【0060】
以上、図2を参照しながら、本実施形態に係る顕微鏡10の全体的な構成について、詳細に説明した。
【0061】
なお、サムネイル像撮像部110、拡大像撮像部120及びデフォーカス量検出部130それぞれに設けられる撮像素子は、1次元撮像素子であってもよく、2次元撮像素子であってもよい。
【0062】
また、前述の例では、ビームスプリッター131にて反射した光が進行する方向にデフォーカス量検出部130が設置される場合について示したが、ビームスプリッター131を透過した光が進行する方向にデフォーカス量検出部130を設置してもよい。
【0063】
<顕微鏡制御装置の全体構成について>
本実施形態に係る顕微鏡10には、図2に示したように、顕微鏡の様々な部位を制御するための顕微鏡制御装置20が接続されている。この顕微鏡制御装置20は、図2に示したように、統括制御部201と、照明制御部203と、ステージ駆動制御部205と、コンデンサレンズ駆動制御部207と、位相差像撮像制御部209と、サムネイル像撮像制御部211と、拡大像撮像制御部213と、フィルタ駆動制御部215と、記憶部217と、を主に備える。
【0064】
ここで、照明制御部203は、光源111及び光源121を含む、顕微鏡10が備える各種の光源を制御する処理部であり、ステージ駆動制御部205は、ステージ駆動機構135を制御する処理部である。また、コンデンサレンズ駆動制御部207は、コンデンサレンズ駆動機構142を制御する処理部であり、位相差像撮像制御部209は、位相差像を撮像するための撮像素子134を制御する処理部である。また、サムネイル像撮像制御部211は、サムネイル像を撮像するための撮像素子113を制御する処理部であり、拡大像撮像制御部213は、生体サンプルSPLの拡大像を撮像するための撮像素子124を制御する処理部である。また、フィルタ駆動制御部215は、後述するように、デフォーカス量検出部130の光路上に所定波長の光を吸収するフィルタを挿入するフィルタ挿入機構(図2では、図示せず。)を制御する制御部である。これらの制御部は、各種のデータ通信路を介して制御を行う部位に対して接続されている。
【0065】
また、本実施形態に係る顕微鏡制御装置20には、顕微鏡全体の制御を行う制御部(統括制御部201)が別途設けられており、上述の各種の制御部に、各種のデータ通信路を介して接続されている。
【0066】
これらの制御部は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ストレージ装置、通信装置及び演算回路等により実現されるものである。
【0067】
記憶部217は、本実施形態に係る顕微鏡制御装置20が備えるストレージ装置の一例である。記憶部217には、本実施形態に係る顕微鏡10を制御するための各種設定情報や、各種のデータベースやルックアップテーブル等が格納される。また、記憶部217には、顕微鏡10におけるサンプルの撮像履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部217には、本実施形態に係る顕微鏡制御装置20が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。
【0068】
この記憶部217は、顕微鏡制御装置20が備える各処理部が自由に読み書きを行うことが可能である。
【0069】
以下では、上記制御部について、その機能を簡単に説明するものとする。
【0070】
[照明制御部]
照明制御部203は、本実施形態に係る顕微鏡10が備える各種の光源を制御する処理部である。照明制御部203は、統括制御部201から生体サンプルSPLの照明方法を示す情報が出力されると、取得した照明方法を示す情報に基づいて、対応する光源の照射制御を行う。
【0071】
例えば、照明制御部203が、サムネイル像撮像部110に設けられた光源111の制御を行う場合について着目する。かかる場合、照明制御部203は、照明方法を示す情報を参照して、明視野像を取得すべきモード(以下、明視野モードとも称する。)又は暗視野像を取得すべきモード(以下、暗視野モードとも称する。)のどちらを実行するかを判断する。その後、照明制御部203は、各モードに応じたパラメータを光源111に対して設定し、光源111から、各モードに適した照明光を照射させる。これにより、光源111から照射された照明光が、ステージ140の開口部を介して、生体サンプルSPL全体に照射されることとなる。なお、照明制御部203が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
【0072】
また、照明制御部203が、拡大像撮像部120に設けられた光源121の制御を行う場合について着目する。かかる場合、照明制御部203は、照明方法を示す情報を参照して、明視野モード又は暗視野モードのどちらを実行するかを判断する。その後、照明制御部203は、各モードに応じたパラメータを光源121に対して設定し、光源121から、各モードに適した照明光を照射させる。これにより、光源121から照射された照明光が、ステージ140の開口部を介して、生体サンプルSPL全体に照射されることとなる。なお、照明制御部203が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
【0073】
なお、明視野モードにおける照射光は、可視光とすることが好ましい。また、暗視野モードにおける照射光は、特殊染色で用いられる蛍光マーカを励起可能な波長を含む光とすることが好ましい。また、暗視野モードでは、蛍光マーカに対する背景部分はカットアウトされることとなる。
【0074】
[ステージ駆動制御部]
ステージ駆動制御部205は、本実施形態に係る顕微鏡10に設けられたステージを駆動するためのステージ駆動機構141を制御する処理部である。ステージ駆動制御部205は、統括制御部201から生体サンプルSPLの撮像方法を示す情報が出力されると、取得した撮像方法を示す情報に基づいて、ステージ駆動機構141の制御を行う。
【0075】
例えば、本実施形態に係る顕微鏡10により、サムネイル像を撮像する場合に着目する。ステージ駆動制御部205は、統括制御部201から、生体サンプルSPLのサムネイル像を撮像する旨の情報が出力されると、プレパラートPRT全体が撮像素子113の撮像範囲に入るように、ステージ面方向(X―Y軸方向)にステージ140を移動させる。また、ステージ駆動制御部205は、プレパラートPRT全体に対物レンズ112の焦点が合うように、ステージ140をZ軸方向に移動させる。
【0076】
また、本実施形態に係る顕微鏡10により、拡大像を撮像する場合について着目する。ステージ駆動制御部205は、統括制御部201から、生体サンプルSPLの拡大像を撮像する旨の情報が出力されると、ステージ駆動制御部205は、ステージ駆動機構141を駆動制御し、光源111と対物レンズ112との間からコンデンサレンズ122と対物レンズ123との間に生体サンプルSPLが位置するよう、ステージ面方向にステージ140を移動させる。
【0077】
また、ステージ駆動制御部205は、撮像素子124に撮像される撮像範囲に生体サンプルの所定の部位が位置するように、ステージ面方向(X−Y軸方向)にステージ140を移動させる。
【0078】
更に、ステージ駆動制御部205は、ステージ駆動機構141を駆動制御して、所定の撮影範囲内に位置する生体サンプルSPLの部位が対物レンズ123の焦点に合うように、ステージ面に直交する方向(Z軸方向、組織切片の奥行方向)にステージ140を移動させる。
【0079】
[コンデンサレンズ駆動制御部]
コンデンサレンズ駆動制御部207は、本実施形態に係る顕微鏡10の拡大像撮像部120に設けられたコンデンサレンズ122を駆動するためのコンデンサレンズ駆動機構142を制御する処理部である。コンデンサレンズ駆動制御部207は、統括制御部201から、照明視野絞りのデフォーカス量に関する情報が出力されると、取得したデフォーカス量に関する情報に基づいて、コンデンサレンズ駆動機構142の制御を行う。
【0080】
拡大像撮像部120内に設けられた照明視野絞りが適切に合焦していない場合には、生成される拡大像のコントラストが低下してしまう。かかるコントラストの低下を防止するために、統括制御部201において、デフォーカス量検出部130により生成される位相差像に基づく照明視野絞りのデフォーカス量の特定処理が行われてもよい。統括制御部201は、特定した照明視野絞りのデフォーカス量を表す情報をコンデンサレンズ駆動制御部207に出力して、照明視野絞りが合焦するようにコンデンサレンズ122の位置を変更させる。
【0081】
コンデンサレンズ駆動制御部207は、コンデンサレンズ駆動機構142の駆動制御を行って、照明視野絞りが合焦するように、コンデンサレンズ122の位置(光軸ERA上の位置)を修正する。
【0082】
[位相差像撮像制御部]
位相差像撮像制御部209は、デフォーカス量検出部130に設けられた撮像素子134の制御を行う処理部である。位相差像撮像制御部209は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子134に設定する。また、位相差像撮像制御部209は、撮像素子134から出力される、撮像素子134の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、位相差像に対応する出力信号とする。位相差像撮像制御部209は、位相差像に対応する出力信号を取得すると、取得した信号に対応するデータを統括制御部201に出力する。なお、位相差像撮像制御部209が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング(換言すれば、露光時間)等を挙げることができる。
【0083】
[サムネイル像撮像制御部]
サムネイル像撮像制御部211は、サムネイル像撮像部110に設けられた撮像素子113の制御を行う処理部である。サムネイル像撮像制御部211は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子113に設定する。また、サムネイル像撮像制御部211は、撮像素子113から出力される、撮像素子113の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、サムネイル像に対応する出力信号とする。サムネイル像撮像制御部211は、サムネイル像に対応する出力信号を取得すると、取得した信号に対応するデータを統括制御部201に出力する。なお、サムネイル像撮像制御部211が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
【0084】
[拡大像撮像制御部]
拡大像撮像制御部213は、拡大像撮像部120に設けられた撮像素子124の制御を行う処理部である。拡大像撮像制御部213は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子124に設定する。また、拡大像撮像制御部213は、撮像素子124から出力される、撮像素子124の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、拡大像に対応する出力信号とする。拡大像撮像制御部213は、拡大像に対応する出力信号を取得すると、取得した信号に対応するデータを統括制御部201に出力する。なお、拡大像撮像制御部213が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
【0085】
[フィルタ駆動制御部]
フィルタ駆動制御部215は、デフォーカス量検出部130の光路上に所定波長の光を吸収する光学フィルタを挿入するフィルタ挿入機構(図2では、図示せず。)の制御を行う処理部である。フィルタ駆動制御部215は、フィルタ挿入機構に対して、挿入する光学フィルタの種別を設定する。また、フィルタ駆動制御部215は、フィルタ挿入機構を制御して、挿入されている光学フィルタの取り出しや切り替え等を実施させることができる。
【0086】
[統括制御部]
統括制御部201は、上述の各種制御部を含む顕微鏡全体の制御を行う処理部である。
統括制御部201は、顕微鏡10により撮像された位相差像に関するデータを取得し、この位相差像データに基づいて、照明視野絞りのデフォーカス量や、スライドガラスの厚み変化量などを算出することができる。かかるデフォーカス量やスライドガラスの厚み変化量等を利用することで、統括制御部201は、顕微鏡10の拡大像撮像部120内に存在する光学系のピント調整を実施し、得られる拡大像のピント精度を更に向上させることができる。
【0087】
また、統括制御部201は、顕微鏡10により撮像された位相差像に関するデータに基づいて、サンプルのデフォーカス位置やデフォーカス量を算出することも可能である。統括制御部201は、算出したサンプルのデフォーカス位置やデフォーカス量に基づいて顕微鏡10のステージ位置等を制御することにより、顕微鏡10におけるオートフォーカス機能を実現することができる。
【0088】
この統括制御部201におけるサンプルのデフォーカス量等の算出処理については、以下で改めて詳細に説明する。
【0089】
また、統括制御部201は、顕微鏡10により撮像されたサムネイル像及び拡大像に関する顕微鏡画像データを顕微鏡10から取得して、これらのデータを現像したり、所定のデジタル加工処理を施したりする。その後、統括制御部201は、サムネイル像及び拡大像からなる顕微鏡画像データを、ネットワーク3を介して画像管理サーバ30にアップロードする。これにより、顕微鏡10によって撮像されたサンプルの顕微鏡画像が、ネットワーク3に接続されたクライアント機器である画像表示装置40によって閲覧可能となる。
【0090】
以上、図2を参照しながら、本実施形態に係る顕微鏡制御装置20の全体構成について説明した。
【0091】
<統括制御部の構成について>
以下では、図5を参照しながら、本実施形態に係る顕微鏡制御装置20が有する統括制御部201の構成について、詳細に説明する。図5は、本実施形態に係る統括制御部の構成を示したブロック図である。
【0092】
本実施形態に係る統括制御部201は、図5に示したように、統括駆動制御部221と、顕微鏡画像取得部223と、画像処理部225と、特徴量算出部227と、顕微鏡画像出力部229と、通信制御部231と、を主に備える。
【0093】
統括駆動制御部221は、例えば、CPU、ROM、RAM等により実現される。統括駆動制御部221は、顕微鏡10の各部位を制御する制御部(照明制御部203、ステージ駆動制御部205、コンデンサレンズ駆動制御部207、位相差像撮像制御部209、サムネイル像撮像制御部211、拡大像撮像制御部213及びフィルタ駆動制御部215)を統括的に制御する駆動制御部である。統括駆動制御部221は、顕微鏡10の各部位に対して、各種の情報(例えば各種の設定パラメータ等)を設定したり、顕微鏡10の各部位から各種の情報を取得したりする。統括駆動制御部221は、顕微鏡10の各部位から取得した各種の情報を、後述する特徴量算出部227等に出力することができる。
【0094】
また、統括駆動制御部221は、顕微鏡画像を撮像したサンプルに、バーコード記載されていたり、いわゆるRFタグが装着されていたりした場合に、かかるバーコードやRFタグに記載されている各種情報を取得することができる。統括駆動制御部221は、取得した情報を、顕微鏡10の各部位を制御する制御部の制御に利用したり、後述する特徴量算出部227等の処理部に出力したりすることができる。
【0095】
顕微鏡画像取得部223は、例えば、CPU、ROM、RAM、通信装置等により実現される。顕微鏡画像取得部223は、サムネイル像撮像部110が撮像したサムネイル像に対応するデータ、拡大像撮像部120が撮像した拡大像に対応するデータ及びデフォーカス量検出部130が撮像した位相差像に対応するデータを、各撮像制御部を介して取得する。
【0096】
顕微鏡画像取得部223は、各撮像制御部を介して画像データを取得すると、取得した画像データを、後述する画像処理部225に出力する。
【0097】
なお、顕微鏡画像取得部223は、取得したこれらの画像データ(顕微鏡画像データ)を、取得した日時に関する情報等と関連付けて記憶部217等に格納してもよい。
【0098】
画像処理部225は、例えば、CPU、GPU、ROM、RAM等により実現される。画像処理部225は、顕微鏡画像取得部223から出力された顕微鏡画像に対して、所定の画像処理を実施する。
【0099】
具体的には、画像処理部225は、顕微鏡画像取得部223から出力された位相差像データ、サムネイル像データ及び拡大像データ(より詳細には、これらの像のRAWデータ)を取得すると、これらRAWデータの現像処理を行う。また、画像処理部225は、画像データの現像処理とともに、これらの像を構成する複数の画像をつなぎ合わせる処理(スティッチング処理)を実施する。
【0100】
また、画像処理部225は、必要に応じて、得られたデジタル画像データの変換処理(トランスコード)等を実施することも可能である。デジタル画像の変換処理としては、デジタル画像を圧縮してJPEG画像等を生成したり、JPEG画像等に圧縮されたデータを、異なる形式の圧縮画像(例えば、GIF形式等)に変換したりする処理を挙げることができる。また、デジタル画像の変換処理には、圧縮された画像データを一度解凍した上でエッジ強調などの処理を実施して、再度圧縮する処理や、圧縮画像の圧縮率を変更する処理等も含まれる。
【0101】
画像処理部225は、前述のような画像処理を位相差像データに対して実施した場合、画像処理後の位相差像データを、後述する特徴量算出部227に出力する。また、画像処理部225は、前述のような画像処理をサムネイル像データ及び拡大像データに実施した場合、これらの画像からなる顕微鏡画像と、当該顕微鏡画像を特徴づける各種のメタデータとを、後述する顕微鏡画像出力部229に出力する。
【0102】
また、顕微鏡画像を生成したサンプルに、当該サンプルを特定するための情報(例えば、サンプルを採取した人の氏名、採取日時、染色の種類等)が記載されたラベルが貼付されている場合もある。かかる場合に、画像処理部225は、例えばサムネイル画像におけるラベルに対応する部分に対して文字認識処理等を実施し、記載されている事柄を把握することが可能である。画像処理部225は、ラベルに記載されている事柄を特定すると、特定した情報を統括駆動制御部221等に出力することが可能である。
【0103】
特徴量算出部227は、例えば、CPU、GPU、ROM、RAM等により実現される。特徴量算出部227は、顕微鏡10により撮像された位相差像に関するデータを取得し、この位相差像データに基づいて、顕微鏡1のステージに載置されたサンプルのデフォーカス量を算出する。また、特徴量算出部227は、位相差像データに基づいて、照明視野絞りのデフォーカス量や、スライドガラスの厚み変化量などを算出することも可能である。かかるデフォーカス量やスライドガラスの厚み変化量等を利用することで、統括制御部201は、顕微鏡10の拡大像撮像部20内に存在する光学系のピント調整を実施し、得られる拡大像のピント精度を更に向上させることができる。
【0104】
特徴量算出部227により算出された、上述のような各種の特徴量は、統括駆動制御部221へと出力される。
【0105】
顕微鏡画像出力部229は、例えば、CPU、ROM、RAM等により実現される。顕微鏡画像出力部229は、画像処理部225から出力された顕微鏡画像及び当該顕微鏡画像に付随するメタデータ等の各種の情報を、後述する通信制御部231を介して画像管理サーバに出力する。これにより、顕微鏡10によって撮像されたサンプルの顕微鏡画像(デジタル顕微鏡画像)が、画像管理サーバ30によって管理されることとなる。
【0106】
通信制御部231は、例えば、CPU、ROM、RAM、通信装置等により実現される。通信制御部231は、統括制御部201と、顕微鏡制御装置20の外部に設けられた画像管理サーバ30との間で、インターネットや専用回線等といったネットワーク3を介して行われる通信の制御を行う。
【0107】
以上、本実施形態に係る顕微鏡制御装置20の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【0108】
なお、上述のような本実施形態に係る顕微鏡制御装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【0109】
<細胞組織サンプルに対するオートフォーカス処理について>
次に、本実施形態に係る顕微鏡10が備えるデフォーカス量検出部130の詳細な構成について説明するに先立ち、細胞組織サンプルに対するオートフォーカス処理について、簡単に説明する。
【0110】
先に述べたように、細胞組織サンプルを顕微鏡観察する場合、採取したままの状態の細胞組織を観察することもあるが、採取した細胞組織に対して各種の染色処理を実施し、細胞組織内の観察対象物を所定の色に染色することが多い。例えば、細胞組織に対してHE(ヘマトキシリン・エオシン)染色を実施した場合、細胞組織内の細胞核は青色に染まり、細胞膜や赤血球などの構造物は、ピンク色〜赤色に染まることとなる。
【0111】
かかる染色後の細胞組織サンプルを顕微鏡により撮像した場合、撮像素子との物理的な位置関係が同じであっても、青色の構造物(細胞核)と赤色の構造物(細胞膜や赤血球)では、観察に最良となる焦点位置が約1μmほどズレることとなる。このような焦点位置のズレは、球面収差に起因するものである。
【0112】
細胞核を観察対象物とする染色後の細胞組織サンプルに対して焦点調整を行うために、観察画像を用いた、いわゆる山登り方式のオートフォーカス方式を適用する場合を考える。かかる場合において、オートフォーカス処理の検波枠が、観察対象物である細胞核を含まない位置に配置されたものとする。このような場合、山登り方式のオートフォーカス方式では、目的とする細胞核がボケた画像しか撮影することができない。従って、山登り方式のオートフォーカス方式を用いる場合、検波枠内の構造物の色や大きさなどを反映した合焦度の評価値を用いることとなる。
【0113】
しかしながら、前述のような山登り方式では高速な焦点位置合わせが難しいという問題がある。また、前述のような山登り方式においてパーシャルスキャン(撮像素子から画像を帯状に読み出す)などの高速化を行う場合、撮影保存画面に対して焦点評価対象となる検波枠が非常に狭くなり、焦点位置精度が損なわれるなどの問題がある。
【0114】
そこで、本実施形態に係る顕微鏡10では、主撮影光学系(すなわち、本実施形態に係る拡大像撮像部120)とは異なる位相差光学系(すなわち、デフォーカス量検出部130)を用いた焦点調整方式(以下、位相差方式とも称する。)を利用する。位相差方式では、位相差光学系を通して得られた一組の位相差画像を、図4に示したように、それぞれ基準画像及び比較画像として利用する。そのうえで、基準画像の各ピクセルについて、着目しているピクセルとその周辺に位置する周辺ピクセルを用いた微小画像を考慮して、当該微小画像と相関の高い画像領域を比較画像から探索する。その後、探索の結果得られた2つの画像領域間の距離を用いて、デフォーカス量を算出する。
【0115】
位相差方式は、以上のような処理を実施するため、相関処理を行う各ピクセル周辺の微小画像サイズよりも大きい構造物(すなわち、周波数の低い成分)に対しては、この大きい構造物を検出しにくくなるハイパスフィルタとして機能する。顕微鏡は、一般的に、非常に微細な構造物を観測するものであるため、ハイパスフィルタの特性をもつ位相差方式は、顕微鏡という光学装置に対して相性が良いものであることがわかる。
【0116】
かかる位相差方式において、相関処理に利用する微小領域の大きさは、焦点を合わせたい構造物の大きさの倍程度とすることが好適である。また、相関処理における微小領域サイズが極端に小さくなると、相関処理での誤検出が増大してしまうため、好ましくない。
【0117】
また、類似サイズの構造物に対して、その色に応じて選択的に焦点位置合わせ処理に重み付けを行うためには、位相差光学系の撮像素子をカラーセンサとして、色相などを用いて焦点位置の評価値に重み付けを行うような方法も採用しうる。しかしながら、位相差検出の精度維持には画素密度の高い撮像素子が適しており、読み出しや画像処理の高速化という観点では、より画素数の少ない素子が適している。そのため、一般的に用いられるベイヤー配列の画像センサは、輝度に関する画素密度が低く、読出しが遅くなるため、位相差検出用途に用いることは、デメリットが大きい。
【0118】
本発明者らは、以上のような知見をもとに、位相差方式での焦点位置合わせをサンプルの色の違いに応じてより正確に実施することが可能な方法について鋭意検討を行った結果、以下で説明するような、位相差光学系の光路上にフィルタを挿入する方法に想到した。
【0119】
<デフォーカス量検出部の詳細な構成について>
次に、図6〜図11Cを参照しながら、本実施形態に係る顕微鏡10が備えるデフォーカス量検出部130の詳細な構成について、説明する。
【0120】
図6は、本実施形態に係る拡大像撮像部120及びデフォーカス量検出部130の光学系を概略的に示した説明図である。図6に示したように、本実施形態に係るデフォーカス量検出部130が備える位相差光学系は、拡大像撮像部120の後段(ステージ140から撮像素子124に該当する部分)である結像光学系から分岐したものとなっている。
【0121】
ステージ140上に載置されたプレパラートPRT中のサンプルを透過したサンプル透過光は、図6に示したように、結像光学系内に設けられたコンデンサレンズ等の光学素子を透過して、拡大像撮像部120に設けられた撮像素子124の撮像面に結像する。
【0122】
また、図6に示したように、結像光学系の光路上には、ビームスプリッター131が設けられており、このビームスプリッター131によってサンプル透過光の一部が分岐され、分岐されたサンプル透過光が、位相差光学系へと導かれることとなる。
【0123】
このように、本実施形態に係る顕微鏡10では、サンプルの拡大像を撮像する結像光学系が設けられた主鏡筒から、サンプルの位相差像を撮像する位相差光学系が設けられた位相差鏡筒が分岐している。そのため、本実施形態に係る顕微鏡10では、焦点検出のための位相差像の撮像と拡大像の撮像とを連続して行う場合に、光学系の機械的な切り替え動作が不要なものとなる。
【0124】
また、位相差像を撮像するための位相差光学系が、サンプルの拡大像を撮像するための結像光学系から分岐しているため、分岐後の位相差光学系の光路上に、絞りやフィルタを自由に挿入することが可能となる。その結果、本実施形態に係る顕微鏡10では、結像光学系で撮像される拡大像に影響を与えることなく、位相差光学系において被写界深度や波長特性を自由に変化させることができる。
【0125】
本発明者らは、本実施形態に係る位相差光学系の上述のような特徴に着目し、位相差光学系の光路上に所定波長の光を吸収する光学フィルタを挿入することで、サンプル内の色の違いによって生じる焦点位置のズレを考慮した焦点位置合わせの方法を実現した。
【0126】
より詳細には、本実施形態に係る位相差光学系では、細胞組織サンプルに行われた染色方法において観察対象物が染まっている色の補色に対応する波長帯域を吸収する光学フィルタが、フィルタ挿入機構135により位相差光学系の光路上に挿入される。かかる光学フィルタを光路上に挿入することにより、観察対象物以外の染色組織が位相差像上に描く像の強度が弱められ、観察対象物である染色組織が位相差像上に描く像の強度が、相対的に強くなる。その結果、観察対象物である染色組織の焦点位置が、位相差像を利用したデフォーカス量検出処理において優先的に選択されることとなる。
【0127】
例えば、HE(ヘマトキシリン・エオシン)染色された細胞組織切片について考える。HE染色がなされた細胞組織は、ヘマトキシリン色素により細胞核、骨組織、軟骨組織の一部、漿液成分等が青く染色され、エオシン色素により細胞質、軟部組織のうちの結合組織、赤血球、線維素、内分泌顆粒等が赤く染色される。このような染色される色の差によって球面収差が生じ、それぞれの色に染まった構造物が明瞭に画像上に結像する焦点位置に違いが生じることとなる。具体的には、赤色に染まった構造物は、同じ場所に位置する青色の構造物に比べて、約1μm焦点位置が近くなってしまう。このため、例えば細胞核を観察対象物とする細胞組織スライドにおいて、焦点位置合わせが主に細胞質の組織に対して機能した場合、細胞核に対して最適な焦点位置となっていない画像が生成されてしまうという事態が生じることとなる。
【0128】
そこで、細胞核を観察対象物(又は、観察の主目的)としている場合、フィルタ挿入機構135が位相差光学系の光路上に青色の補色である赤色の光学フィルタを挿入することで、赤に染まった細胞質組織が位相差像上に描く像の強度が弱くなる。その結果、青く染まった細胞核組織の焦点位置が、優先的に選択されることとなる。
【0129】
逆に、細胞質や赤血球など、赤く染色される構造物が観察の主目的である場合、フィルタ挿入機構135が位相差光学系の光路上に青色の光学フィルタを挿入することで、青に染まった細胞核組織が位相差像上に描く像の強度が弱くなる。その結果、赤く染まった細胞質組織や赤血球の焦点位置が、優先的に選択されることとなる。
【0130】
なお、上述の例では、HE染色を例にとって説明を行ったが、他の染色方法においても、同様にして観察対象物の焦点位置を優先的に選択することが可能である。
【0131】
例えば、グラム染色(Gram staining)は、細菌がグラム陽性であるか陰性であるかを決定するために使用される染色方法であり、グラム陽性菌は、青色〜青紫色に染色され、グラム陰性菌は、ピンク色〜赤色に染色される。従って、グラム陽性菌を観察対象物とする場合には、赤色の光学フィルタを挿入することで、グラム陽性菌の焦点位置を優先的に選択することが可能となる。逆に、グラム陰性菌を観察対称物とする場合には、青色の光学フィルタを挿入することで、グラム陰性菌の焦点位置を優先的に選択することが可能となる。
【0132】
また、チール・ネールゼン(Ziehl−Neelsen)染色は、結核菌などの菌体を観察するために使用される染色方法であり、菌体が赤く染色され、菌体以外の部分が青色〜緑色に染色される。従って、青色〜緑色の光学フィルタを位相差光学系に挿入することで、菌体の焦点位置を優先的に選択することが可能となる。
【0133】
なお、ここで挙げた染色方法はあくまでも一例であって、上記以外の染色方法であっても、観察対象物の色と補色の関係にある色の光学フィルタを挿入することで、観察対象物の焦点位置を優先的に選択することが可能となる。
【0134】
ここで、フィルタ挿入機構135の一例として、例えば図7に示したようなリボルバーを挙げることができる。図7は、本実施形態に係るフィルタ挿入機構の一例を示した説明図である。
【0135】
フィルタ挿入機構135の一例であるリボルバーは、例えば円板状の基板に1又は複数の貫通孔が形成されたものであり、形成された貫通孔に、所定波長の光を吸収する光学フィルタが装着されている。リボルバーの略中央には回転軸が設けられており、フィルタ駆動制御部215が回転軸の回転量を制御することで、周波数特性(すなわち、吸収波長帯域)の互いに異なる光学フィルタを、選択的に位相差光学系の光路上に挿入することができる。また、リボルバーに設けられた貫通孔のうち光学フィルタが装着されていないものを設けることで、位相差光学系に光学フィルタを挿入しない状態を選択することも可能となる。
【0136】
例えば図7に示した例では、周波数特性の異なる光学フィルタとして、赤色フィルタ、青色フィルタ及び緑色フィルタの3種類の光学フィルタが装着されており、更に、光学フィルタが装着されていない貫通孔が設けられている。フィルタ駆動制御部215は、リボルバーの回転軸の回転量を制御することで、光学フィルタを挿入しないという状態を含む4種類のフィルタ挿入状態を選択することが可能である。
【0137】
ここで、リボルバーに設けられた貫通孔の大きさは、光学フィルタが挿入される位相差光学系の部位での光束径に応じて、光学フィルタが光束径を全て包含するように適宜決定すればよい。
【0138】
なお、位相差光学系への光学フィルタの挿入位置は、例えば図6に示したように、フィールドレンズ132の手前(ビームスプリッター131側)であってもよく、図8に示したように、フィールドレンズ132の後方(撮像素子134側)であってもよい。なお、フィールドレンズ132の手前に光学フィルタを挿入する場合には、結像光学系で撮像される拡大像に影響を与えないようにするため、結像光学系を伝播する光束に影響を与えない部位に光学フィルタを挿入する。また、フィールドレンズ132の後方に光学フィルタを挿入する場合には、図8のように、フィールドレンズ132とセパレータレンズ133との間に光学フィルタを挿入してもよく、セパレータレンズ133と撮像素子134との間に光学フィルタを挿入してもよい。
【0139】
また、光学フィルタをフィールドレンズ132の手前に挿入する場合には、光学フィルタに対する主光線軸(Chief Ray Axis:CRA)のバラつきが小さくなる。そのため、位相差像を撮像する画像の部位によって、光学フィルタにより選択される波長のバラつきの影響が小さくなる。一方で、光学フィルタの口径は大きなものが必要となるため、光学フィルタのコストの増加や、フィルタ挿入機構135の大型化が生じることとなる。
【0140】
他方、光学フィルタをフィールドレンズ132の後方に挿入する場合には、口径の小さな光学フィルタを使用することが可能となる。一方で、かかる場合には、主光線軸(CRA)が撮像素子134の各部位で大きくばらつき、撮像素子134の各部位に結像する画像の波長特性にバラつきが生じる可能性がある。
【0141】
図9は、以上説明したような光学フィルタを用いてHE染色された細胞組織サンプルを撮像した顕微鏡画像である。図9に示した顕微鏡画像のうち、拡大像撮像部120で撮像したサンプルの拡大像を見ると、この細胞組織サンプルには、細胞核が少ない領域や、赤血球が多く存在する領域があることがわかった。かかるサンプルにはHE染色が施されているため、細胞核は青く染色されており、細胞質や赤血球は赤く染色されている。
【0142】
このような細胞組織サンプルについて、カラーフィルタを挿入しないで撮像した位相差像、赤色フィルタを挿入して撮像した位相差像、及び、青色フィルタを挿入して撮像した位相差像の3種類を撮像し、各位相差像について、デフォーカス量検出処理を実施した。図9には、それぞれ得られた位相差像の片方と、対応するデフォーカス検出面とをあわせて示している。
【0143】
また、図10は、図9に示した3種類の位相差像を利用して検出したデフォーカス量に関するグラフ図である。図10に示したグラフ図は、赤色フィルタを挿入した場合(すなわち、細胞核を強調するように撮像した場合)のデフォーカス量を基準として示した相対的なデフォーカス量を示している。図10から明らかなように、光学フィルタを挿入しないで撮像した位相差像のデフォーカス量は0.3μmとなっており、細胞核には焦点が合っていないことがわかる。また、青色フィルタを挿入して(細胞質や赤血球を好調するようにして)撮像した位相差像のデフォーカス量は、1.7μmとなっており、細胞核には全く焦点が合っていないことがわかる。
【0144】
このように、位相差光学系に所定の光学フィルタを挿入することで、撮像された位相差像と画像処理とを用いて観察面全域のデフォーカス量及び形状を瞬時に取得する際に、染色された細胞組織の構造に着目した焦点位置合わせが可能となる。これにより、本実施形態に係る顕微鏡10及び顕微鏡制御装置20では、観察対象物に適した明瞭な画像(拡大像)を撮像することが可能となる。
【0145】
なお、フィルタ挿入機構135は、統括駆動制御部221が取得したユーザ入力に関する情報に基づいて統括駆動制御部221が回転量を決定し、統括駆動制御部221がフィルタ駆動制御部215を介して制御を行ってもよい。また、顕微鏡10の利用者が、リボルバー等のフィルタ挿入機構135を直接手動で制御してもよい。
【0146】
また、挿入する光学フィルタの選択は、顕微鏡10の利用者がスライド観察前又はスライド観察中に観察目的に応じて手動で行ってもよいし、顕微鏡制御装置20(より詳細には、統括駆動制御部221)が自動的に選択するようにしてもよい。統括駆動制御部221が挿入する光学フィルタを自動で選択する場合には、統括駆動制御部221は、細胞組織サンプルに付随するサンプル情報を利用することが可能である。
【0147】
このサンプル情報は、例えば、サンプルを採取した人の氏名、採取日時、採取部位、染色の種類等といった、細胞組織サンプルを特徴づける個々の細胞組織サンプルに固有の情報である。
【0148】
このサンプル情報は、図11Aに示したように、細胞組織サンプルのプレパラートPRTに、ラベル(すなわち、文字情報)として記載されていてもよいし、図11Bに示したように、バーコードとして記載されていてもよい。また、このようなサンプル情報は、図11Cに示したように、プレパラートPRTに内蔵されたRFタグに格納されていてもよい。
【0149】
図11A又は図11Bに示したように、サンプル情報が文字情報又はバーコードとしてプレパラートPRTに付随する場合には、画像処理部225が例えば細胞組織サンプルのサムネイル像を画像処理することで、記載されている情報を取得可能である。また、図11Cに示したようにサンプル情報がRFタグに格納されている場合には、統括制御部201や統括駆動制御部221がRFタグに格納されている情報を所定の方法で読み出すことにより取得することが可能である。
【0150】
統括駆動制御部221は、取得したサンプル情報により染色方法の種別や観察対象物を把握し、記憶部217等に格納された染色方法と観察対象物との対応関係が記載されたデータベース等を利用することで、挿入する光学フィルタを選択することができる。
【0151】
<フィルタ挿入方法の流れについて>
続いて、図12を参照しながら、本実施形態に係るフィルタ挿入方法の流れについて、その一例を簡単に説明する。図12は、本実施形態に係るフィルタ挿入方法の流れの一例を示した流れ図である。
【0152】
まず、顕微鏡制御装置20の統括駆動制御部221は、細胞組織サンプルに添付された染色の種別等に関する情報を含むサンプル情報を取得する(ステップS101)。サンプル情報の取得は、サンプル情報が細胞組織サンプルに添付されている態様に応じて、各態様に適した方法を用いて行われる。その後、統括駆動制御部221は、取得したサンプル情報に基づいて、挿入する光学フィルタを選択する(ステップS103)。
【0153】
統括駆動制御部221は、挿入する光学フィルタを決定すると、決定した光学フィルタに関する情報を、フィルタ駆動制御部215に伝送する。フィルタ駆動制御部215は、統括駆動制御部221から伝送された光学フィルタに関する情報に基づいて、指定された光学フィルタを位相差光学系の光路上に挿入するための制御信号を生成し、フィルタ挿入機構135を制御する。
【0154】
フィルタ挿入機構135は、フィルタ駆動制御部215の制御のもとで、選択された光学フィルタを、位相差光学系の光路上に挿入する(ステップS105)。
【0155】
選択された光学フィルタが位相差光学系の光路上に挿入されると、統括駆動制御部221は、位相差像撮像制御部209に対して位相差像の撮像を要請する。すると、位相差像撮像制御部209は、デフォーカス量検出部130(特に撮像素子134)を制御して、位相差像を撮像する(ステップS107)。
【0156】
顕微鏡制御装置20の統括制御部201は、撮像された位相差像を解析することで、ステージ140上に載置された細胞組織サンプルの焦点位置を的確に算出する。これにより、本実施形態に係る顕微鏡10及び顕微鏡制御装置20では、染色された細胞組織の構造に注目した焦点位置合わせを実施することが可能となる。
【0157】
(ハードウェア構成について)
次に、図13を参照しながら、本発明の実施形態に係る顕微鏡制御装置20のハードウェア構成について、詳細に説明する。図13は、本発明の実施形態に係る顕微鏡制御装置20のハードウェア構成を説明するためのブロック図である。
【0158】
顕微鏡制御装置20は、主に、CPU901と、ROM903と、RAM905と、GPU(Graphics Processing Unit)906と、を備える。また、顕微鏡制御装置20は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
【0159】
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、顕微鏡制御装置20内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。また、GPU906は、顕微鏡制御装置20内で実施される各種の画像処理に関する演算処理を実施する演算処理装置及び制御装置として機能する。GPU906は、ROM903、RAM905、ストレージ装置919、又はリムーバブル記録媒体927に記録された各種プログラムに従って、顕微鏡制御装置20内の画像処理の動作全般又はその一部を制御する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
【0160】
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
【0161】
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、顕微鏡制御装置20の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。顕微鏡制御装置20のユーザは、この入力装置915を操作することにより、顕微鏡制御装置20に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0162】
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、顕微鏡制御装置20が行った各種処理により得られた結果を出力する。具体的には、表示装置は、顕微鏡制御装置20が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
【0163】
ストレージ装置919は、顕微鏡制御装置20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種データなどを格納する。
【0164】
ドライブ921は、記録媒体用リーダライタであり、顕微鏡制御装置20に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−rayメディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
【0165】
接続ポート923は、機器を顕微鏡制御装置20に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、顕微鏡制御装置20は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。
【0166】
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信、各種の専用通信又は衛星通信等であってもよい。
【0167】
以上、本発明の実施形態に係る顕微鏡制御装置20の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【0168】
(まとめ)
以上説明したように、本発明の実施形態に係る顕微鏡及び顕微鏡制御装置では、観察対象物の染色状態に応じて位相差光学系の光路上に所定の光学フィルタを挿入することで、観察対象物に注目した焦点位置合わせを実施することが可能となる。これにより、本発明の実施形態に係る顕微鏡及び顕微鏡制御装置では、観察対象物に適した明瞭な画像(拡大像)を撮像することができる。
【0169】
なお、一般的な一眼レフカメラやテレビ放送用のカメラにおいて、AF撮像素子の前にIRカットフィルタを出し入れ可能な構成とし、撮像に要する光量を確保しながら焦点検出を行う技術があるが、本発明の実施形態に係る顕微鏡及び顕微鏡制御装置は、かかる技術とは異なり、被写界深度の浅い顕微鏡という環境下で観察対象物に対して的確に焦点を合わせるために光学フィルタを挿入するものであって、上述のようなカメラに用いられる技術とは全く異なるものである。
【0170】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0171】
1 顕微鏡画像管理システム
10 顕微鏡
20 顕微鏡制御装置
30 画像管理サーバ
40 画像表示装置
110 サムネイル像撮像部
120 拡大像撮像部
130 デフォーカス量検出部
131 ビームスプリッター
132 フィールドレンズ
133 セパレートレンズ
134 撮像素子
135 フィルタ挿入機構
140 ステージ
150 サンプル搬送装置
201 統括制御部
203 照明制御部
205 ステージ駆動制御部
207 コンデンサレンズ駆動制御部
209 位相差像撮像制御部
211 サムネイル像撮像制御部
213 拡大像撮像制御部
215 フィルタ駆動制御部
217 記憶部
221 統括駆動制御部
223 顕微鏡画像取得部
225 画像処理部
227 特徴量算出部
229 顕微鏡画像出力部
231 通信制御部


【特許請求の範囲】
【請求項1】
ステージ上に載置された細胞組織サンプルからの光を撮像する第1の結像光学系と、
前記第1の結像光学系から前記細胞組織サンプルからの光の一部を分岐する光線分岐素子と、分岐された前記細胞組織サンプルからの光の一部の位相差像を撮像する撮像素子と、当該撮像素子に前記位相差像を結像させる1又は複数の光学素子と、を有する第2の結像光学系と、
前記第2の結像光学系の光路上に、所定波長の光を吸収する光学フィルタを挿入するフィルタ挿入部と、
を備え、
前記フィルタ挿入部は、前記細胞組織サンプルにおける観察対象物の色に応じて、当該観察対象物の色の補色に対応する波長の光を吸収する前記光学フィルタを挿入する、顕微鏡。
【請求項2】
前記第2の結像光学系は、
前記光線分岐素子により分岐された前記細胞組織サンプルからの光の一部を集光する集光レンズと、
前記集光レンズにより集光された前記細胞組織サンプルからの光の一部の位相差像を生成するセパレータレンズと、
を少なくとも備え、
前記フィルタ挿入部は、前記光学フィルタを、前記光線分岐素子と、前記集光レンズとの間に挿入する、請求項1に記載の顕微鏡。
【請求項3】
前記第2の結像光学系は、
前記光線分岐素子により分岐された前記細胞組織サンプルからの光の一部を集光する集光レンズと、
前記集光レンズにより集光された前記細胞組織サンプルからの光の一部の位相差像を生成するセパレータレンズと、
を少なくとも備え、
前記フィルタ挿入部は、前記光学フィルタを、前記集光レンズの後段に挿入する、請求項1に記載の顕微鏡。
【請求項4】
前記細胞組織サンプルには、細胞組織の染色方法及び細胞組織の部位の少なくともいずれかに関するサンプル情報が含まれており、
前記フィルタ挿入部は、前記サンプル情報に基づいて、挿入する前記光学フィルタを自動的に選択する、請求項1に記載の顕微鏡。
【請求項5】
前記サンプル情報は、前記細胞組織サンプルのラベルとして記載されている、請求項4に記載の顕微鏡。
【請求項6】
前記サンプル情報は、前記細胞組織サンプルにバーコードとして記載されている、請求項4に記載の顕微鏡。
【請求項7】
前記サンプル情報は、前記細胞組織サンプルに内蔵されたRFタグに記録されている、請求項4に記載の顕微鏡。
【請求項8】
ステージ上に載置された細胞組織サンプルからの光を撮像する第1の結像光学系から、光線分岐素子により前記細胞組織サンプルからの光の一部を分岐するステップと、
分岐された前記細胞組織サンプルからの光の一部の光路上に、所定波長の光を吸収する光学フィルタを挿入するステップと、
前記光学フィルタを透過した前記細胞組織サンプルからの光の一部の位相差像を撮像するステップと、
を含み、
前記光学フィルタを挿入するステップでは、前記細胞組織サンプルにおける観察対象物の色に応じて、当該観察対象物の色の補色に対応する波長の光を吸収する前記光学フィルタを挿入する、フィルタ挿入方法。


【図1】
image rotate

【図2】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図10】
image rotate

【図11A】
image rotate

【図11B】
image rotate

【図11C】
image rotate

【図12】
image rotate

【図13】
image rotate

【図3】
image rotate

【図4】
image rotate

【図9】
image rotate