説明

顕微鏡制御装置及び光学的歪み補正方法

【課題】位相差光学系を用いたデフォーカス検出処理において、ディストーション補正処理に要する演算負荷を抑制することが可能な顕微鏡制御装置及び光学的歪み補正方法を提供すること。
【解決手段】本発明に係る顕微鏡制御装置は、顕微鏡により撮像されたサンプルの一組の位相差像に基づいて生成された、当該位相差像間の位相差に関する位相差情報を、前記顕微鏡に固有な光学的歪みに起因する位相差のオフセット情報に基づいて補正するオフセット処理部と、オフセット補正後の前記位相差情報に基づいて、前記サンプルのデフォーカス量を算出するデフォーカス量算出部と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顕微鏡制御装置及び光学的歪み補正方法に関する。
【背景技術】
【0002】
細胞組織スライド等のサンプルを観察する顕微鏡を用いて、サンプルの顕微鏡による観察像をデジタル画像として保存し、保存したデジタル画像をインターネットやイントラネット上に設けられた他の装置で観察する技術が提案されている(例えば、以下の特許文献1を参照。)。このような技術を用いることで、ネットワークを用いて遠隔地の医師が病理診断を行う、いわゆるテレパソロジー(telepathology)の発展を促すことが可能となる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003−222801号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上記特許文献1に記載されている顕微鏡のように、レンズを用いて拡大・縮小画像を撮像素子に投影する場合には、ディストーション(歪曲収差)と呼ばれる像の歪みが生じる。このため、カメラなどの一般的な撮像装置では、事前に個別のレンズセットで格子模様を撮像し、理想的な格子点と実際に撮像される格子位置とのズレを用いて画像の歪み矯正を行うといった、ディストーション補正処理が行われる。
【0005】
しかしながら、このようなディストーション補正処理は、画像を構成する全ての画素に対して、各画素位置での歪み量を推定した上で、各画素に対して歪み補正を実施する演算となるため、非常に膨大な演算量及びリソースを必要とするという問題があった。
【0006】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、位相差光学系を用いたデフォーカス検出処理において、ディストーション補正処理に要する演算負荷を抑制することが可能な、顕微鏡制御装置及び光学的歪み補正方法を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある観点によれば、顕微鏡により撮像されたサンプルの一組の位相差像に基づいて生成された、当該位相差像間の位相差に関する位相差情報を、前記顕微鏡に固有な光学的歪みに起因する位相差のオフセット情報に基づいて補正するオフセット処理部と、オフセット補正後の前記位相差情報に基づいて、前記サンプルのデフォーカス量を算出するデフォーカス量算出部と、を備える顕微鏡制御装置が提供される。
【0008】
前記オフセット処理部によるオフセット処理は、前記位相差情報から前記オフセット情報を減算する処理であることが好ましい。
【0009】
前記オフセット情報は、オフセット処理の基準となる基準オフセット情報と、前記サンプルのデフォーカス量毎に設定された複数のオフセット情報とからなり、前記オフセット処理部は、前記基準オフセット情報に基づいて、前記位相差情報に対してオフセット処理を実施し、前記デフォーカス量算出部は、前記基準オフセット情報に基づくオフセット補正後の前記位相差情報に基づいて前記デフォーカス量を算出し、前記オフセット処理部は、算出された前記デフォーカス量に応じたオフセット情報を利用して、再度前記位相差情報に対してオフセット処理を実施してもよい。
【0010】
前記サンプルを覆うカバーガラスの厚みを算出し、算出した当該カバーガラスの厚みに基づいて、前記デフォーカス量を補正するデフォーカス量補正部を更に備えてもよい。
【0011】
また、上記課題を解決するために、本発明の別の観点によれば、顕微鏡により撮像されたサンプルの一組の位相差像に基づいて生成された、当該位相差像間の位相差に関する位相差情報を、前記顕微鏡に固有な光学的歪みに起因する位相差のオフセット情報に基づいて補正するステップと、オフセット補正後の前記位相差情報に基づいて、前記サンプルのデフォーカス量を算出するステップと、を含む光学的歪み補正方法が提供される。
【発明の効果】
【0012】
以上説明したように本発明によれば、位相差光学系を用いたデフォーカス検出処理において、ディストーション補正処理に要する演算負荷を抑制することが可能である。
【図面の簡単な説明】
【0013】
【図1】本発明の第1の実施形態に係る顕微鏡画像管理システムを示した説明図である。
【図2】同実施形態に係る顕微鏡及び顕微鏡制御装置の全体構成を示した説明図である。
【図3】サンプルの拡大像及び位相差像の一例を示した説明図である。
【図4】位相差像に基づいて生成される位相差情報の一例を示した説明図である。
【図5】ディストーションについて説明するための説明図である。
【図6】同実施形態に係る顕微鏡制御装置が備える統括制御部の構成を示したブロック図である。
【図7】同実施形態に係る統括制御部が備えるディストーション補正部の構成を示したブロック図である。
【図8】同実施形態に係るオフセットパターンについて示した説明図である。
【図9】同実施形態に係るオフセット補正処理について示した説明図である。
【図10】同実施形態に係るオフセット補正処理について示した説明図である。
【図11】同実施形態に係るディストーション補正部の第1変形例を示したブロック図である。
【図12】カバーガラスの厚みの算出処理を説明するための説明図である。
【図13】カバーガラスの厚みの算出処理を説明するための説明図である。
【図14】カバーガラスの厚みの算出処理について説明するための説明図である。
【図15】本発明の実施形態に係るディストーション補正方法の流れを示した流れ図である。
【図16】本発明の実施形態に係る顕微鏡制御装置のハードウェア構成を示したブロック図である。
【発明を実施するための形態】
【0014】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0015】
なお、説明は、以下の順序で行うものとする。
(1)第1の実施形態
(1−1)顕微鏡画像管理システムの構成について
(1−2)顕微鏡の全体構成について
(1−3)顕微鏡制御装置の全体構成について
(1−4)位相差算出処理の概略について
(1−5)統括制御部の構成について
(1−6)ディストーション補正部の構成について
(1−7)第1変形例
(1−8)光学的歪み補正方法について
(2)本発明の実施形態に係る顕微鏡制御装置のハードウェア構成について
(3)まとめ
【0016】
なお、以下では、顕微鏡が撮像するサンプルとして、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプル(細胞組織サンプル)を例に挙げて説明を行うが、かかる場合に限定されるわけではない。
【0017】
(第1の実施形態)
<顕微鏡画像管理システムの構成について>
まず、図1を参照しながら、本発明の第1の実施形態に係る顕微鏡画像管理システム1の構成について説明する。図1は、本実施形態に係る顕微鏡画像管理システム1の構成を示した説明図である。
【0018】
本実施形態に係る顕微鏡画像管理システム1は、図1に示したように、顕微鏡10と、顕微鏡制御装置20と、画像管理サーバ30と、画像表示装置40とを有する。また、顕微鏡制御装置20、画像管理サーバ30及び画像表示装置40は、ネットワーク3を介して接続されている。
【0019】
ネットワーク3は、本実施形態に係る顕微鏡制御装置20、画像管理サーバ30及び画像表示装置40を互いに双方向通信可能に接続する通信回線網である。このネットワーク3は、例えば、インターネット、電話回線網、衛星通信網、同報通信路等の公衆回線網や、WAN(Wide Area Network)、LAN(Local Area Network)、IP−VPN(Internet Protocol−Virtual Private Network)、Ethernet(登録商標)、ワイヤレスLAN等の専用回線網などで構成されており、有線/無線を問わない。また、このネットワーク3は、本実施形態に係る顕微鏡画像管理システム1に専用に設けられた通信回線網であってもよい。
【0020】
顕微鏡10は、当該顕微鏡10のステージ上に載置されたサンプル(例えば生体サンプル)に対して所定の照明光を照射して、このサンプルを透過した光、又は、サンプルからの発光等を撮像する。本実施形態に係る顕微鏡10の全体構成については、以下で改めて詳細に説明する。
【0021】
顕微鏡10は、顕微鏡制御装置20によって駆動制御されており、顕微鏡10が撮像したサンプル画像は、顕微鏡制御装置20を介して画像管理サーバ30に格納される。
【0022】
顕微鏡制御装置20は、サンプルを撮像する顕微鏡10の駆動制御を行う装置である。顕微鏡制御装置20は、顕微鏡10を制御して、サンプルのデジタル画像を撮像するとともに、得られたサンプルのデジタル画像データに対して、所定のデジタル加工処理を実施する。また、顕微鏡制御装置20は、得られたサンプルのデジタル画像データを、画像管理サーバ30にアップロードする。
【0023】
画像管理サーバ30は、顕微鏡10によって撮像されたサンプルのデジタル画像データを格納するとともに、これらデジタル画像データの管理を行う装置である。画像管理サーバ30は、顕微鏡制御装置20からサンプルのデジタル画像データが出力されると、取得したサンプルのデジタル画像データを所定の格納領域に格納して、閲覧者が利用可能なようにする。また、画像管理サーバ30は、閲覧者が操作する画像表示装置40(すなわち、ビューワーに対応する装置)から、あるサンプルのデジタル画像データの閲覧を要請されると、該当するサンプルのデジタル画像データを画像表示装置40に提供する。
【0024】
画像表示装置40は、サンプルのデジタル画像データの閲覧を希望する閲覧希望者が操作する端末(すなわち、ビューワーに対応する装置)である。デジタル画像データの閲覧希望者は、画像管理サーバ30に格納されているデジタル画像データの一覧等を参照して、閲覧を希望するデジタル画像データを特定するとともに、特定したデジタル画像データを提供するように、画像管理サーバ30に対して要請する。画像管理サーバ30からデジタル画像データが提供されると、提供されたデジタル画像データに対応する画像を、画像表示装置40のディスプレイ等に表示して、閲覧希望者が閲覧できるようにする。
【0025】
なお、本実施形態に係る顕微鏡制御装置20及び画像管理サーバ30の詳細な構成については、以下で改めて説明する。
【0026】
また、図1では、システム1に属する顕微鏡10、顕微鏡制御装置20及び画像管理サーバ30がそれぞれ1台ずつ存在する場合について図示しているが、顕微鏡画像管理システム1に属する顕微鏡10、顕微鏡制御装置20及び画像管理サーバ30の台数は図1の例に限定されるわけではなく、それぞれ複数台ずつ存在していてもよい。
【0027】
<顕微鏡の全体構成について>
続いて、図2を参照しながら、本実施形態に係る顕微鏡10の全体構成について説明する。図2は、本実施形態に係る顕微鏡10及び顕微鏡制御装置20の全体構成を示した説明図である。
【0028】
[全体構成]
本実施形態に係る顕微鏡1は、図2に例示したように、生体サンプルSPLが配設されるプレパラートPRT全体の像(以下、この像をサムネイル像とも称する。)を撮像するサムネイル像撮像部110と、生体サンプルSPLが所定倍率で拡大された像(以下、この像を拡大像とも称する。)を撮像する拡大像撮像部120と、を有する。また、拡大像撮像部120には、拡大像撮像部120中に存在する照明視野絞りのデフォーカス(defocus)量を検出するためのデフォーカス量検出部130が設けられている。
【0029】
プレパラートPRTは、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片又は塗抹細胞からなる生体サンプルSPLを、所定の固定手法によりスライドガラスに固定したものである。これらの組織切片又は塗抹細胞には、必要に応じて各種の染色が施される。この染色には、HE(ヘマトキシリン・エオシン)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、FISH(Fluorescence In−Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。
【0030】
また、プレパラートPRTには、対応する生体サンプルSPLを特定するための付帯情報(例えば、サンプルを採取した人の氏名、採取日時、染色の種類等)が記載されたラベルが貼付されていてもよい。
【0031】
本実施形態に係る顕微鏡10には、上述のようなプレパラートPRTが載置されるステージ140が設けられており、更に、ステージ140を様々な方向に移動させるためのステージ駆動機構141が設けられている。このステージ駆動機構141により、ステージ140を、ステージ面に対して平行となる方向(X軸−Y軸方向)と、直交する方向(Z軸方向)に自由に移動させることができる。
【0032】
また、拡大像撮像部120には、照明視野絞りピント調整部の一例であるコンデンサレンズ駆動機構142が設けられている。
【0033】
更に、本実施形態に係る顕微鏡10には、サンプルSPLを含むプレパラートPRTをステージ140に搬送するサンプル搬送装置150が設けられていても良い。かかる搬送装置150を設けることで、ステージ140に、撮像予定のサンプルが自動的に設置されるようになり、サンプルSPLの入れ替えを自動化することが可能となる。
【0034】
[サムネイル像撮像部]
サムネイル像撮像部110は、図2に示したように、光源111と、対物レンズ112と、撮像素子113と、を主に備える。
【0035】
光源111は、ステージ140のプレパラート配置面とは逆の面側に設けられる。光源111は、一般染色が施された生体サンプルSPLを照明する光(以下、明視野照明光、又は、単に照明光とも称する。)と、特殊染色が施された生体サンプルSPLを照明する光(以下、暗視野照明光とも称する。)とを切り換えて照射可能である。また、光源111は、明視野照明光又は暗視野照明光のいずれか一方だけを照射可能なものであってもよい。この場合、光源111として、明視野照明光を照射する光源と、暗視野照明光を照射する光源の2種類の光源が設けられることとなる。
【0036】
更に、サムネイル像撮像部110には、プレパラートPRTに貼付されたラベルに記載されている付帯情報を撮像するための光を照射するラベル光源(図示せず。)が別途設けられていてもよい。
【0037】
所定倍率の対物レンズ112は、プレパラート配置面におけるサムネイル像撮像部110の基準位置の法線を光軸SRAとして、ステージ140のプレパラート配置面側に配設される。ステージ140上に配設されたプレパラートPRTを透過した透過光は、この対物レンズ112によって集光されて、対物レンズ112の後方(すなわち、照明光の進行方向)に設けられた撮像素子113に結像する。
【0038】
撮像素子113には、ステージ140のプレパラート配置面に載置されたプレパラートPRT全体を包括する撮像範囲の光(換言すれば、プレパラートPRT全体を透過した透過光)が結像する。この撮像素子113上に結像した像が、プレパラートPRT全体を撮像した顕微鏡画像であるサムネイル像となる。
【0039】
[拡大像撮像部]
拡大像撮像部120は、図2に示したように、光源21と、コンデンサレンズ122と、対物レンズ123と、撮像素子124と、を主に備える。また、拡大像撮像部120には、更に、照明視野絞り(図示せず。)が設けられている。
【0040】
光源121は、明視野照明光を照射するものであり、ステージ140のプレパラート配置面とは逆の面側に設けられる。また、光源121とは異なる位置(例えばプレパラート配置面側)には、暗視野照明光を照射する光源(図示せず。)が設けられる。
【0041】
コンデンサレンズ122は、光源121から照射された明視野照明光や、暗視野照明用の光源から照射された暗視野照明光を集光して、ステージ140上のプレパラートPRTに導くレンズである。このコンデンサレンズ122は、プレパラート配置面における拡大像撮像部120の基準位置の法線を光軸ERAとして、光源121とステージ140との間に配設される。また、コンデンサレンズ駆動機構142は、このコンデンサレンズ122を光軸ERA方向に沿って駆動することが可能である。コンデンサレンズ122は、コンデンサレンズ駆動機構142によって、光軸ERA上の位置を変えることができる。
【0042】
所定倍率の対物レンズ123は、プレパラート配置面における拡大像撮像部120の基準位置の法線を光軸ERAとして、ステージ140のプレパラート配置面側に配設される。拡大像撮像部120では、この対物レンズ123を適宜交換することで、生体サンプルSPLを様々な倍率に拡大して撮像することが可能となる。ステージ140上に配設されたプレパラートPRTを透過した透過光は、この対物レンズ123によって集光されて、対物レンズ123の後方(すなわち、照明光の進行方向)に設けられた撮像素子124に結像する。
【0043】
なお、対物レンズ123と撮像素子124との間の光軸ERA上には、ビームスプリッター131が設けられていてもよい。かかるビームスプリッター131が設けられている場合には、対物レンズ123を透過した透過光の一部が、後述するデフォーカス量検出部130へと導かれる。
【0044】
撮像素子124には、撮像素子124の画素サイズ及び対物レンズ123の倍率に応じて、ステージ140のプレパラート配置面上における所定の横幅及び縦幅からなる撮像範囲の像が結像される。なお、対物レンズ123により生体サンプルSPLの一部が拡大されるため、上述の撮像範囲は、撮像素子113の撮像範囲に比べて十分に狭い範囲となる。
【0045】
ここで、サムネイル像撮像部110及び拡大像撮像部120は、図2に示したように、それぞれの基準位置の法線である光軸SRAと光軸ERAとがY軸方向に距離Dだけ離れるように配置される。この距離Dは、撮像素子113の撮像範囲に拡大像撮像部120の対物レンズ123を保持する鏡筒(図示せず)が写りこむことなく、かつ小型化のために近い距離に設定される。
【0046】
[デフォーカス量検出部]
デフォーカス量検出部130は、図2に示したように、ビームスプリッター131と、コンデンサレンズ132と、2眼レンズ133と、撮像素子134と、を主に備える。
【0047】
ビームスプリッター131は、先に説明したように、拡大像撮像部120の対物レンズ123と撮像素子124との間の光軸ERA上に設けられており、対物レンズ123を透過した透過光の一部を反射させる。換言すれば、ビームスプリッター131によって、対物レンズ123を透過した透過光は、撮像素子124へと向かう透過光と、後述するデフォーカス量検出部130内のコンデンサレンズ132へと向かう反射光とに分岐される。
【0048】
ビームスプリッター131によって分岐された反射光の進行方向側には、コンデンサレンズ132が設けられる。このコンデンサレンズ132は、ビームスプリッター131によって分岐された反射光を集光して、コンデンサレンズ132の後方(反射光の進行方向側)に設けられた2眼レンズ133へと導く。
【0049】
2眼レンズ133は、コンデンサレンズ132から導光された光束を2つの光束へと分割する。分割された光束は、2眼レンズ133の後方(反射光の進行方向側)に設けられた撮像素子134の結像面に対して、1組の被写体像を形成する。
【0050】
撮像素子134には、2眼レンズ133を透過した光がそれぞれ結像する。その結果、撮像素子134の撮像面には、1組の被写体像が形成されることとなる。2眼レンズ133には、コンデンサレンズ132を射出した様々な方向の光束が入射するため、形成される1組の被写体像間には、位相差が存在する。以下では、この1組の被写体像を、位相差像と称することとする。
【0051】
次に、図3を参照しながら、拡大像撮像部120により撮像される拡大像と、デフォーカス量検出部130により撮像される位相差像の一例について、簡単に説明する。図3は、サンプルの拡大像及び位相差像の一例を示した説明図である。
【0052】
本実施形態に係る顕微鏡10では、対物レンズ123の後方にビームスプリッター131が設けられ、対物レンズ123を透過した光束が、拡大像撮像部120に設けられた撮像素子124と、デフォーカス量検出部130に設けられた撮像素子134とに結像する。ここで、撮像素子134に結像する位相差像は、図3に示したように、例えば右目で見た画像と左目で見た画像に対応するような一組の画像であり、これら画像間には、位相差が存在している。そのため、位相差が小さくなると、位相差像の2つの画像は互いに離れる方向にシフトし、位相差が大きくなると、位相差像の2つの画像は互いに近づく方向にシフトする。
【0053】
ここで、以下の説明では、位相差像を構成する一組の画像のうち一方を、基準画像と称することとし、他方の画像を、比較画像と称することとする。基準画像は、位相差像における位相差を特定する際の基準として用いられる画像であり、比較画像は、位相差像における位相差を特定する際に、基準画像と比較される画像である。
【0054】
このような位相差を、位相差像を構成する各画素について特定することにより、図4に示したような、位相差像全体における位相差の分布を示した位相差情報を生成することができる。ここで、2つの画像間の位相差は、サンプルの凹凸に換算可能な物性値であるため、位相差情報を得ることで、サンプルの凹凸に関する情報を得ることができる。
【0055】
以上、本実施形態に係るデフォーカス量検出部130について説明した。
なお、以上の説明では、対物レンズ123と撮像素子124との間にビームスプリッター131が設けられる場合について説明したが、光線を分岐するための光線分岐手段はビームスプリッターに限定されるわけではなく、可動式ミラー等を利用することも可能である。
【0056】
また、前述の説明では、デフォーカス量検出部130内の位相差AF光学系としてコンデンサレンズ、2眼レンズ及び撮像素子を有する構成を示したが、かかる例に限定されるわけではない。かかる位相差AF光学系は、例えば、コンデンサレンズ及び2眼レンズの代わりにフィールドレンズ及びセパレータレンズを利用したりするなど、同等の機能を実現可能なものであれば、他の光学系であってもよい。
【0057】
以上、図2を参照しながら、本実施形態に係る顕微鏡10の全体的な構成について、詳細に説明した。
【0058】
なお、サムネイル像撮像部110、拡大像撮像部120及びデフォーカス量検出部130それぞれに設けられる撮像素子は、1次元撮像素子であってもよく、2次元撮像素子であってもよい。
【0059】
また、前述の例では、ビームスプリッター131にて反射した光が進行する方向にデフォーカス量検出部130が設置される場合について示したが、ビームスプリッター131を透過した光が進行する方向にデフォーカス量検出部130を設置してもよい。
【0060】
<顕微鏡制御装置の全体構成について>
本実施形態に係る顕微鏡10には、図2に示したように、顕微鏡の様々な部位を制御するための顕微鏡制御装置20が接続されている。この顕微鏡制御装置20は、図2に示したように、統括制御部201と、照明制御部203と、ステージ駆動制御部205と、コンデンサレンズ駆動制御部207と、位相差像撮像制御部209と、サムネイル像撮像制御部211と、拡大像撮像制御部213と、記憶部215と、を主に備える。
【0061】
ここで、照明制御部203は、光源111及び光源121を含む、顕微鏡10が備える各種の光源を制御する処理部であり、ステージ駆動制御部205は、ステージ駆動機構135を制御する処理部である。また、コンデンサレンズ駆動制御部207は、コンデンサレンズ駆動機構142を制御する処理部であり、位相差像撮像制御部209は、位相差像を撮像するための撮像素子134を制御する処理部である。また、サムネイル像撮像制御部211は、サムネイル像を撮像するための撮像素子113を制御する処理部であり、拡大像撮像制御部213は、生体サンプルSPLの拡大像を撮像するための撮像素子124を制御する処理部である。これらの制御部は、各種のデータ通信路を介して制御を行う部位に対して接続されている。
【0062】
また、本実施形態に係る顕微鏡制御装置20には、顕微鏡全体の制御を行う制御部(統括制御部201)が別途設けられており、上述の各種の制御部に、各種のデータ通信路を介して接続されている。
【0063】
これらの制御部は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、ストレージ装置、通信装置及び演算回路等により実現されるものである。
【0064】
記憶部215は、本実施形態に係る顕微鏡制御装置20が備えるストレージ装置の一例である。記憶部215には、本実施形態に係る顕微鏡10を制御するための各種設定情報や、各種のデータベースやルックアップテーブル等が格納される。また、記憶部215には、顕微鏡10におけるサンプルの撮像履歴など、各種の履歴情報が記録されていてもよい。さらに、記憶部215には、本実施形態に係る顕微鏡制御装置20が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。
【0065】
この記憶部215は、顕微鏡制御装置20が備える各処理部が自由に読み書きを行うことが可能である。
【0066】
以下では、上記制御部について、その機能を簡単に説明するものとする。
【0067】
[照明制御部]
照明制御部203は、本実施形態に係る顕微鏡10が備える各種の光源を制御する処理部である。照明制御部203は、統括制御部201から生体サンプルSPLの照明方法を示す情報が出力されると、取得した照明方法を示す情報に基づいて、対応する光源の照射制御を行う。
【0068】
例えば、照明制御部203が、サムネイル像撮像部110に設けられた光源111の制御を行う場合について着目する。かかる場合、照明制御部203は、照明方法を示す情報を参照して、明視野像を取得すべきモード(以下、明視野モードとも称する。)又は暗視野像を取得すべきモード(以下、暗視野モードとも称する。)のどちらを実行するかを判断する。その後、照明制御部203は、各モードに応じたパラメータを光源111に対して設定し、光源111から、各モードに適した照明光を照射させる。これにより、光源111から照射された照明光が、ステージ140の開口部を介して、生体サンプルSPL全体に照射されることとなる。なお、照明制御部203が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
【0069】
また、照明制御部203が、拡大像撮像部120に設けられた光源121の制御を行う場合について着目する。かかる場合、照明制御部203は、照明方法を示す情報を参照して、明視野モード又は暗視野モードのどちらを実行するかを判断する。その後、照明制御部203は、各モードに応じたパラメータを光源121に対して設定し、光源121から、各モードに適した照明光を照射させる。これにより、光源121から照射された照明光が、ステージ140の開口部を介して、生体サンプルSPL全体に照射されることとなる。なお、照明制御部203が設定するパラメータとしては、例えば、照明光の強度や光源種類の選択等を挙げることができる。
【0070】
なお、明視野モードにおける照射光は、可視光とすることが好ましい。また、暗視野モードにおける照射光は、特殊染色で用いられる蛍光マーカを励起可能な波長を含む光とすることが好ましい。また、暗視野モードでは、蛍光マーカに対する背景部分はカットアウトされることとなる。
【0071】
[ステージ駆動制御部]
ステージ駆動制御部205は、本実施形態に係る顕微鏡10に設けられたステージを駆動するためのステージ駆動機構141を制御する処理部である。ステージ駆動制御部205は、統括制御部201から生体サンプルSPLの撮像方法を示す情報が出力されると、取得した撮像方法を示す情報に基づいて、ステージ駆動機構141の制御を行う。
【0072】
例えば、本実施形態に係る顕微鏡10により、サムネイル像を撮像する場合に着目する。ステージ駆動制御部205は、統括制御部201から、生体サンプルSPLのサムネイル像を撮像する旨の情報が出力されると、プレパラートPRT全体が撮像素子113の撮像範囲に入るように、ステージ面方向(X―Y軸方向)にステージ140を移動させる。また、ステージ駆動制御部205は、プレパラートPRT全体に対物レンズ112の焦点が合うように、ステージ140をZ軸方向に移動させる。
【0073】
また、本実施形態に係る顕微鏡10により、拡大像を撮像する場合について着目する。ステージ駆動制御部205は、統括制御部201から、生体サンプルSPLの拡大像を撮像する旨の情報が出力されると、ステージ駆動制御部205は、ステージ駆動機構141を駆動制御し、光源111と対物レンズ112との間からコンデンサレンズ122と対物レンズ123との間に生体サンプルSPLが位置するよう、ステージ面方向にステージ140を移動させる。
【0074】
また、ステージ駆動制御部205は、撮像素子124に撮像される撮像範囲に生体サンプルの所定の部位が位置するように、ステージ面方向(X−Y軸方向)にステージ140を移動させる。
【0075】
更に、ステージ駆動制御部205は、ステージ駆動機構141を駆動制御して、所定の撮影範囲内に位置する生体サンプルSPLの部位が対物レンズ123の焦点に合うように、ステージ面に直交する方向(Z軸方向、組織切片の奥行方向)にステージ140を移動させる。
【0076】
[コンデンサレンズ駆動制御部]
コンデンサレンズ駆動制御部207は、本実施形態に係る顕微鏡10の拡大像撮像部120に設けられたコンデンサレンズ122を駆動するためのコンデンサレンズ駆動機構142を制御する処理部である。コンデンサレンズ駆動制御部207は、統括制御部201から、照明視野絞りのデフォーカス量に関する情報が出力されると、取得したデフォーカス量に関する情報に基づいて、コンデンサレンズ駆動機構142の制御を行う。
【0077】
拡大像撮像部120内に設けられた照明視野絞りが適切に合焦していない場合には、生成される拡大像のコントラストが低下してしまう。かかるコントラストの低下を防止するために、統括制御部201において、デフォーカス量検出部130により生成される位相差像に基づく照明視野絞りのデフォーカス量の特定処理が行われてもよい。統括制御部201は、特定した照明視野絞りのデフォーカス量を表す情報をコンデンサレンズ駆動制御部207に出力して、照明視野絞りが合焦するようにコンデンサレンズ122の位置を変更させる。
【0078】
コンデンサレンズ駆動制御部207は、コンデンサレンズ駆動機構142の駆動制御を行って、照明視野絞りが合焦するように、コンデンサレンズ122の位置(光軸ERA上の位置)を修正する。
【0079】
[位相差像撮像制御部]
位相差像撮像制御部209は、デフォーカス量検出部130に設けられた撮像素子134の制御を行う処理部である。位相差像撮像制御部209は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子134に設定する。また、位相差像撮像制御部209は、撮像素子134から出力される、撮像素子134の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、位相差像に対応する出力信号とする。位相差像撮像制御部209は、位相差像に対応する出力信号を取得すると、取得した信号に対応するデータを統括制御部201に出力する。なお、位相差像撮像制御部209が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング(換言すれば、露光時間)等を挙げることができる。
【0080】
[サムネイル像撮像制御部]
サムネイル像撮像制御部211は、サムネイル像撮像部110に設けられた撮像素子113の制御を行う処理部である。サムネイル像撮像制御部211は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子113に設定する。また、サムネイル像撮像制御部211は、撮像素子113から出力される、撮像素子113の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、サムネイル像に対応する出力信号とする。サムネイル像撮像制御部211は、サムネイル像に対応する出力信号を取得すると、取得した信号に対応するデータを統括制御部201に出力する。なお、サムネイル像撮像制御部211が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
【0081】
[拡大像撮像制御部]
拡大像撮像制御部213は、拡大像撮像部120に設けられた撮像素子124の制御を行う処理部である。拡大像撮像制御部213は、明視野モード又は暗視野モードに応じたパラメータを、撮像素子124に設定する。また、拡大像撮像制御部213は、撮像素子124から出力される、撮像素子124の結像面に結像した像に対応する出力信号を取得すると、取得した出力信号を、拡大像に対応する出力信号とする。拡大像撮像制御部213は、拡大像に対応する出力信号を取得すると、取得した信号に対応するデータを統括制御部201に出力する。なお、拡大像撮像制御部213が設定するパラメータとして、例えば、露光の開始タイミング及び終了タイミング等を挙げることができる。
【0082】
[統括制御部]
統括制御部201は、上述の各種制御部を含む顕微鏡全体の制御を行う処理部である。
統括制御部201は、顕微鏡10により撮像された位相差像に関するデータを取得し、この位相差像データに基づいて、照明視野絞りのデフォーカス量や、スライドガラスの厚み変化量などを算出することができる。かかるデフォーカス量やスライドガラスの厚み変化量等を利用することで、統括制御部201は、顕微鏡10の拡大像撮像部120内に存在する光学系のピント調整を実施し、得られる拡大像のピント精度を更に向上させることができる。
【0083】
また、統括制御部201は、以下で詳細に説明する方法を用いて、位相差像に含まれるディストーションの補正を実施する。
【0084】
図5は、ディストーションについて説明するための説明図である。前述のように、レンズを用いてサンプルの撮像を行う場合、ディストーションと呼ばれる像の歪みが生じる。図5(a)に示したようなディストーション(歪み)の無い格子模様を、レンズを用いて撮像した場合、図5(b)〜図5(d)に示したようなディストーションが生じ、実際の格子模様が歪んで観測されることとなる。図5(b)は、格子模様が樽型にゆがんで観測される、樽型のディストーションを示しており、図5(c)は、格子模様が糸巻きのように歪んで観測される、糸巻型のディストーションを示している。また、図5(d)に示したように、樽型及び糸巻型のディストーションを含むような、複雑な歪みが観測されることもある。
【0085】
本実施形態に係る顕微鏡10のデフォーカス量検出部130も、位相差光学系を用いた撮像装置であるため、かかるデフォーカス量検出部130により撮像された位相差像にも、前述のようなディストーションが含まれている。位相差光学系におけるディストーションは、位相差像に基づいて算出される位相差(デフォーカス量)に対して、各画素位置に固有の位相差面のズレとなって生じる。従って、このようなディストーションに起因する誤差成分を除去することにより、より正確な位相差(ひいてはデフォーカス量)に関する知見を得ることが可能となる。
【0086】
この統括制御部201におけるディストーション補正処理については、以下で改めて詳細に説明する。
【0087】
また、統括制御部201は、顕微鏡10により撮像されたサムネイル像及び拡大像に関する顕微鏡画像データを顕微鏡10から取得して、これらのデータを現像したり、所定のデジタル加工処理を施したりする。その後、統括制御部201は、サムネイル像及び拡大像からなる顕微鏡画像データを、ネットワーク3を介して画像管理サーバ30にアップロードする。これにより、顕微鏡10によって撮像されたサンプルの顕微鏡画像が、ネットワーク3に接続されたクライアント機器である画像表示装置40によって閲覧可能となる。
【0088】
以上、図2を参照しながら、本実施形態に係る顕微鏡制御装置20の全体構成について説明した。
【0089】
<統括制御部の構成について>
以下では、図6及び図7を参照しながら、本実施形態に係る顕微鏡制御装置20が有する統括制御部201の構成について、詳細に説明する。図6は、本実施形態に係る統括制御部の構成を示したブロック図であり、図7は、統括制御部が備えるディストーション補正部の構成を示したブロック図である。
【0090】
本実施形態に係る統括制御部201は、例えば図6に示したように、統括駆動制御部221と、顕微鏡画像取得部223と、画像処理部225と、ディストーション補正部227と、顕微鏡画像出力部229と、通信制御部231と、を主に備える。
【0091】
統括駆動制御部221は、例えば、CPU、ROM、RAM等により実現される。統括駆動制御部221は、顕微鏡10の各部位を制御する制御部(照明制御部203、ステージ駆動制御部205、コンデンサレンズ駆動制御部207、位相差像撮像制御部209、サムネイル像撮像制御部211及び拡大像撮像制御部213)を統括的に制御する駆動制御部である。統括駆動制御部221は、顕微鏡10の各部位に対して、各種の情報(例えば各種の設定パラメータ等)を設定したり、顕微鏡10の各部位から各種の情報を取得したりする。統括駆動制御部221は、顕微鏡10の各部位から取得した各種の情報を、後述するディストーション補正部227等に出力することができる。
【0092】
顕微鏡画像取得部223は、例えば、CPU、ROM、RAM、通信装置等により実現される。顕微鏡画像取得部223は、サムネイル像撮像部110が撮像したサムネイル像に対応するデータ、拡大像撮像部120が撮像した拡大像に対応するデータ及びデフォーカス量検出部130が撮像した位相差像に対応するデータを、各撮像制御部を介して取得する。
【0093】
顕微鏡画像取得部223は、各撮像制御部を介して画像データを取得すると、取得した画像データを、後述する画像処理部225に出力する。
【0094】
なお、顕微鏡画像取得部223は、取得したこれらの画像データ(顕微鏡画像データ)を、取得した日時に関する情報等と関連付けて記憶部215等に格納してもよい。
【0095】
画像処理部225は、例えば、CPU、GPU、ROM、RAM等により実現される。画像処理部225は、顕微鏡画像取得部223から出力された顕微鏡画像に対して、所定の画像処理を実施する。
【0096】
具体的には、画像処理部225は、顕微鏡画像取得部223から出力された位相差像データ、サムネイル像データ及び拡大像データ(より詳細には、これらの像のRAWデータ)を取得すると、これらRAWデータの現像処理を行う。また、画像処理部225は、画像データの現像処理とともに、これらの像を構成する複数の画像をつなぎ合わせる処理(スティッチング処理)を実施する。
【0097】
また、画像処理部225は、必要に応じて、得られたデジタル画像データの変換処理(トランスコード)等を実施することも可能である。デジタル画像の変換処理としては、デジタル画像を圧縮してJPEG画像等を生成したり、JPEG画像等に圧縮されたデータを、異なる形式の圧縮画像(例えば、GIF形式等)に変換したりする処理を挙げることができる。また、デジタル画像の変換処理には、圧縮された画像データを一度解凍した上でエッジ強調などの処理を実施して、再度圧縮する処理や、圧縮画像の圧縮率を変更する処理等も含まれる。
【0098】
画像処理部225は、前述のような画像処理を位相差像データに対して実施した場合、画像処理後の位相差像データを、後述するディストーション補正部227に出力する。また、画像処理部225は、前述のような画像処理をサムネイル像データ及び拡大像データに実施した場合、これらの画像からなる顕微鏡画像と、当該顕微鏡画像を特徴づける各種のメタデータとを、後述する顕微鏡画像出力部229に出力する。
【0099】
ディストーション補正部227は、例えば、CPU、GPU、ROM、RAM等により実現される。ディストーション補正部227は、光学的な歪みの一つであるディストーション(歪曲収差)に対する補正処理を、対象となる画像に対して直接実施するのではなく、平面のサンプルを撮像した際に得られる位相差面を、任意のサンプルを撮像した場合に検出される位相差面に対してオフセット処理することで実施する。ディストーション補正部227は、かかるディストーション補正処理を実施することで、算出されるデフォーカス量が画像を撮像する際に利用した光学系のディストーションに起因して歪む影響を、軽減することができる。
【0100】
本実施形態に係るディストーション補正部227の詳細な構成及び機能については、以下で改めて説明する。
【0101】
顕微鏡画像出力部229は、例えば、CPU、ROM、RAM等により実現される。顕微鏡画像出力部229は、画像処理部225から出力された顕微鏡画像及び当該顕微鏡画像に付随するメタデータ等の各種の情報を、後述する通信制御部231を介して画像管理サーバ30に出力する。これにより、顕微鏡10によって撮像されたサンプルの顕微鏡画像(デジタル顕微鏡画像)が、画像管理サーバ30によって管理されることとなる。
【0102】
通信制御部231は、例えば、CPU、ROM、RAM、通信装置等により実現される。通信制御部231は、顕微鏡制御装置20と、顕微鏡制御装置20の外部に設けられた画像管理サーバ30との間で、ネットワーク3を介して行われる通信の制御を行う。
【0103】
<ディストーション補正部の構成について>
次に、図7を参照しながら、本実施形態に係るディストーション補正部227の構成について、詳細に説明する。図7は、本実施形態に係るディストーション補正部227の構成を示したブロック図である。
【0104】
顕微鏡10においてサンプルのデフォーカス量及びデフォーカス位置を取得する位相差光学系を用いたデフォーカス量検出部130から出力される位相差像から直接的に得られる情報は、位相差像間の位相差に関する情報である。しかしながら、顕微鏡10においてオートフォーカス機構を実現するために必要な情報は、位相差情報ではなく、位相差情報を用いて算出されるデフォーカス量に関する情報である。そのため、最終的な出力情報であるデフォーカス量に関する情報からディストーションに起因する誤差成分を除去することができれば、位相差画像のそのもの対してディストーション補正を実施しなくてもよいこととなる。
【0105】
位相差光学系におけるディストーションは、前述のように、検出する位相差(デフォーカス量)に対して、各画素位置に固有の位相差面のズレとなる。そこで、顕微鏡10のデフォーカス量検出部130により、精度の高い平面上に位相差検出の容易なテクスチャを配したキャリブレーション用のスライドを用いて、拡大像撮像部120に対して合焦状態にある平面の位相差像を事前に撮影する。この位相差像を用いて、合焦状態にある平面の位相差面を算出する。このようにして求められる位相差面は、顕微鏡10の製造誤差や設計仕様に起因する光学系のディストーションに固有の位相差のオフセット面である。そこで、任意のサンプルを撮像することで得られる位相差像から生成される位相差面の各画素に対して、このオフセット面との差を算出することで、容易に位相差光学系におけるディストーションに起因するデフォーカス量への影響を排除することができる。また、かかる処理における演算量は、画像サイズ×減算処理の演算量で規定されるため、各画素に対して歪み補正のベクトル演算を行う従来のディストーション補正に比べると、演算量やリソースといった演算負荷を格段に小さくすることが可能となる。
【0106】
かかる処理を実施する本実施形態に係るディストーション補正部227は、図7に示したように、オフセットパターン生成部251と、オフセット処理部253と、デフォーカス量算出部255と、パターン選択部257と、を主に備える。
【0107】
オフセットパターン生成部251は、例えば、CPU、GPU、ROM、RAM等により実現される。オフセットパターン生成部251は、キャリブレーション用のサンプルを撮像することで生成された位相差像を取得し、このキャリブレーション用の位相差像を解析することで、取得したキャリブレーション用の位相差像の位相差を算出する。
【0108】
このキャリブレーション用のサンプルは、精度の高い平面上に位相差検出の容易なテクスチャ(例えば、図8に示したような格子状の模様)を配したものである。キャリブレーション用の位相差像は、顕微鏡10の拡大像撮像部120に対して合焦状態にある平面を、デフォーカス量検出部130によって撮像することで生成される。
【0109】
このようにして得られたキャリブレーション用の位相差像の位相差を表す面は、本来平面上に存在するサンプルを撮像したにも関わらず、図8に示したように、湾曲した面となる。平面上に配設された格子模様を撮像した位相差像から算出される位相差面は、前述のように、顕微鏡10の製造誤差や設計仕様に起因する光学系のディストーションに固有の位相差を示すものである。また、かかる位相差面は、位相差像の画素の位置と、当該画素における位相差とが関連付けられた情報であるともいえる。この合焦状態にあるキャリブレーション用のサンプルを撮像することで得られた位相差面は、ディストーション補正処理を実施する際の基準となるオフセットパターン(基準オフセットパターン)として利用可能である。
【0110】
また、位相差像のディストーションの形状は、顕微鏡10におけるステージ140と対物レンズ123の位置関係に応じて形状が変化する。拡大像撮像部120は、撮像対象の合焦状態における映像を記録し、また非常に薄い被写界深度に設定されているため、固有のディストーション形状に対する補正を行うだけで良い。一方で、焦点調整装置(オートフォーカス機構)として用いられる位相差光学系(デフォーカス量検出部130)は、広い被写界深度をもち、合焦位置に対して広い動作範囲でデフォーカス量を計測するように設計されている。そのため、デフォーカス状態によっては、ディストーション起因のオフセット量は変化することとなる。そこで、本実施形態に係るオフセットパターン生成部251は、前述のディストーションに固有の位相差のオフセット面を、複数のデフォーカス状態毎に、個別に準備する。
【0111】
従って、本実施形態に係るオフセットパターン生成部251は、合焦状態でのオフセットパターン(基準オフセットパターン)と、デフォーカス状態毎の複数のオフセットパターンと、を生成することとなる。
【0112】
なお、ディストーションは、位相差像を撮像する際に利用するレンズ等の光学素子の組み合わせに依存する。そのため、オフセットパターン生成部251は、例えば顕微鏡10において利用する対物レンズの組み合わせ毎に、基準オフセットパターン及びデフォーカス状態毎の複数のオフセットパターンを生成する。
【0113】
オフセットパターン生成部251は、このようにして生成した複数のオフセットパターンを、記憶部215等に格納する。
【0114】
なお、オフセットパターン生成部251によるオフセットパターンの生成処理は、顕微鏡10の出荷時、顕微鏡10のメンテナンスの実行時、ユーザによってオフセットパターンの生成開始を要請されたときなど、任意のタイミングで実施可能である。
【0115】
オフセット処理部253は、例えば、CPU、GPU、ROM、RAM等により実現される。オフセット処理部253は、画像処理部225から、あるサンプルの位相差像が出力されると、まず、取得した一組の位相差像に基づいて位相差像間の位相差を算出する。
【0116】
位相差像に基づいて位相差を算出する方法は、特に限定されるわけではなく、公知の方法を利用可能であるが、例えば、以下のような方法で位相差像間の位相差を算出することが可能である。
【0117】
すなわち、オフセット処理部253は、位相差像の何れか一方の画像を基準画像とし、他方を比較画像として取り扱い、基準画像を局所的なサブ領域に区分する。その後、オフセット処理部253は、基準画像の各サブ領域にマッチングする画像領域を、比較画像の中から探索し、2つの画像(基準画像及び比較画像)の視差を、位相差像間の位相差(位相差情報)とする。
【0118】
オフセット処理部253は、取得した位相差像から位相差を算出すると、記憶部215等に格納されているオフセットパターンの中から、基準オフセットパターン(合焦状態でのオフセットパターン)を取得する。その後、オフセット処理部253は、算出した位相差情報から、取得した基準オフセットパターンを減算する(具体的には、算出した位相差情報における各画素の位相差の値から、基準オフセットパターンの対応する画素の位相差の値を減算する)。これにより、算出された位相差情報から、ディストーションに起因する量が除去されることとなる。
【0119】
オフセット処理部253は、基準オフセットパターンを用いたオフセット処理が終了すると、オフセット処理後の位相差情報を、後述するデフォーカス量算出部255に出力する。
【0120】
また、オフセット処理部253は、デフォーカス量算出部255にオフセット処理後の位相差情報を出力した後に、後述するパターン選択部257からオフセット処理に利用するオフセットパターンを指定されると、指定されたオフセットパターンを用いて、再度上述のようなオフセット処理を実施する。
【0121】
デフォーカス量算出部255は、例えば、CPU、GPU、ROM、RAM等により実現される。デフォーカス量算出部255は、オフセット処理部253から出力された、オフセット補正後の位相差情報に基づいて、サンプルのデフォーカス量(すなわち、サンプルの焦点位置からの距離)を算出する。
【0122】
例えば、位相差像における位相差とデフォーカス量とは相関関係があるため、デフォーカス量算出部255は、事前に決定しておいた位相差とデフォーカス量との相関関係と、算出した位相差とを利用することで、サンプルのデフォーカス量を算出できる。
【0123】
また、デフォーカス量算出部255が位相差からサンプルのデフォーカス量を算出する方法は、特に限定されるわけではなく、公知のあらゆる方法を利用可能である。
【0124】
図9は、上述のようなオフセット処理の有無により、算出されるデフォーカス量がどのように変化するかを示したものである。図9に示したグラフ図のように、オフセット補正をせずにデフォーカス量の算出処理を実施した場合、複数のピークが観測されてしまい、正確なデフォーカス量を特定することは困難である。しかしながら、上述のようなオフセット補正処理を実施することで、補正後の結果を示したグラフ図では、−1.5μm付近に明瞭なピークが観測され、デフォーカス量を正確に特定することが可能となる。
【0125】
デフォーカス量算出部255は、このようにして算出したデフォーカス量を、統括駆動制御部221に出力する。統括駆動制御部221は、このようにして算出されたデフォーカス量を利用して、例えばステージ駆動制御部205を制御することで、顕微鏡10におけるオートフォーカス機能を実現することができる。
【0126】
また、デフォーカス量算出部255は、算出したデフォーカス量を、後述するパターン選択部257に出力して、算出したデフォーカス量の精度を更に向上させるようにしてもよい。
【0127】
パターン選択部257は、例えば、CPU、ROM、RAM等により実現される。パターン選択部257は、デフォーカス量算出部255から出力されたデフォーカス量に基づいて、当該デフォーカス量に最も近い条件(デフォーカス量)にて生成されたオフセットパターンを、記憶部215等の中から選択する。
【0128】
前述のように、オートフォーカス機構として用いられる位相差光学系は、広い被写界深度をもち、合焦位置に対して広い動作範囲でデフォーカス量を計測するように設計されている。そのため、デフォーカス状態によっては、ディストーション起因のオフセット量は変化することとなる。そこで、パターン選択部257は、デフォーカス量算出部255から出力されたデフォーカス量が、オフセット処理部253で用いられたオフセットパターンと適合しているか否かを判断する。また、適切なオフセットパターンが用いられていない場合には、算出されたデフォーカス量に最も近いオフセット面を、予め登録されている複数のオフセットパターンの中から選択する。
【0129】
本実施形態に係るディストーション補正部227では、算出されたデフォーカス量が取り得る値の範囲全体をいくつかの部分に区分し、各部分について、少なくとも一つのオフセットパターンを準備しておく。このようにすることで、本実施形態に係るディストーション補正部227では、広範なデフォーカス範囲について、ディストーションに起因する誤差がより生じにくいオフセット補正処理を実現できる。
【0130】
例えば図10に示した例では、デフォーカス量が取り得る値の範囲を、−100μm〜+100μmとし、この範囲を5つの部分に区分している。更に、各部分について、範囲の中間値近傍のオフセットパターンが予め登録されている。また、図10に示した例では、各部分に1つのオフセットパターンしか設定されていないが、各部分に設定されるオフセットパターンは複数存在してもよい。また、図10に示した例では、デフォーカス量が取り得る値の範囲を5つに区分しているが、区分数は図示した例に限定されるわけではない。区分数を増やしたり、各部分に登録されているオフセットパターンの個数を増やしたりすることで、より正確なオフセット補正処理が可能となる。
【0131】
ここで、算出されたデフォーカス量が例えば−20μm〜+20μmの範囲にある場合、パターン選択部257は、−20μm〜+20μmの範囲に適したオフセットパターン(図10の場合には、デフォーカス量0μmのオフセットパターン)が用いられていたか否かを判断する。オフセット処理部253では、まず、基準オフセットパターン(デフォーカス量0μmのオフセットパターン)が用いられるため、かかる場合には、適切なオフセットパターンが選択されていると判断し、パターン選択部257は、新たなオフセットパターンの選択は行わない。
【0132】
他方、算出されたデフォーカス量が、例えば、+60μm〜+100μmの範囲にある場合、かかる場合における適切なオフセットパターンは、図10では、デフォーカス量+80μmで測定したオフセットパターンである。しかしながら、オフセット処理部253では、基準オフセットパターンを用いてオフセット処理がなされているため、パターン選択部257は、図10に基づいて、デフォーカス量+80μmで測定したオフセットパターンを選択する。
【0133】
パターン選択部257は、このようにして選択したオフセットパターンを特定する情報を、オフセット処理部253に通知する。通知を受けたオフセット処理部253は、指定されたオフセットパターンを記憶部215等から取得して、取得したオフセットパターンに基づくオフセット処理を再度実施する。
【0134】
以上、図7を参照しながら、本実施形態に係るディストーション補正部227の構成について、詳細に説明した。
【0135】
以上、本実施形態に係る顕微鏡制御装置20の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【0136】
なお、上述のような本実施形態に係る顕微鏡制御装置20の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【0137】
<第1変形例>
続いて、図11を参照しながら、本実施形態に係るディストーション補正部227の第1変形例について、簡単に説明する。図11は、本実施形態に係るディストーション補正部の第1変形例を示したブロック図である。
【0138】
本実施形態に係る顕微鏡10の拡大像撮像部120(より詳細には、光源121からステージ140までの間)には、照明視野絞り(図示せず。)が設けられており、位相差像を利用して、この照明視野絞りの位置合わせを行うことが可能である。また、照明視野絞りの位置合わせを行う際の処理では、ステージに載置されたサンプル(より詳細には、スライドガラス上に載置されたサンプル及びカバーガラス)の厚み変化量や厚みそのものを算出することも可能である。
【0139】
他方、サンプルを覆うように設けられているカバーガラスは、ある規格に沿った規格品であったとしても、0.01mmのオーダーで厚みの変化がある。その結果、球面収差のために、カバーガラスの厚み変化0.01mmについて、位相差像で観察される焦点位置が、0.1μm程度変化してしまうことがある。
【0140】
そこで、以下で説明する第1変形例では、位相差像を解析することでカバーガラスの厚みを算出し、算出された焦点位置(デフォーカス量)を、算出したカバーガラスの厚みを用いてオフセット調整することで、デフォーカス量の算出精度を更に向上させる。
【0141】
本変形例に係るディストーション補正部227は、例えば図11に示したように、オフセットパターン生成部251と、オフセット処理部253と、デフォーカス量算出部255と、パターン選択部257と、デフォーカス量補正部261と、を主に備える。
【0142】
ここで、本変形例に係るオフセットパターン生成部251、オフセット処理部253及びデフォーカス量算出部255は、第1の実施形態に係る各処理部と同様であり、同様の効果を奏するものである。従って、以下では詳細な説明は省略する。
【0143】
また、本変形例に係るパターン選択部257は、後述するデフォーカス量補正部261から出力されたデフォーカス量に基づいてオフセットパターンを選択する以外は、第1の実施形態に係るパターン選択部257と同様であり、同様の効果を奏するものである。従って、以下では、詳細な説明は省略する。
【0144】
デフォーカス量補正部261は、例えば、CPU、ROM、RAM等により実現される。デフォーカス量補正部261は、位相差像を解析することで、サンプルを覆うカバーガラスの厚みを算出する。また、デフォーカス量補正部261は、算出したカバーガラスの厚みに基づいて、デフォーカス量算出部255により算出されたデフォーカス量を補正する。
【0145】
以下では、まず、カバーガラスの厚みの算出処理について、図12〜図14を参照しながら説明する。
【0146】
本実施形態に係るデフォーカス量検出部130では、図12に例示したように、位相差像として2つの被写体像(像B及び像C)が撮像素子134上に結像される。ここで、照明121からステージ140までの間に設けられる照明視野絞りとコンデンサレンズとが適切な位置関係にあって、照明が適切にスライドガラスに照射されている場合を考える。かかる場合、位相差像において視野領域を表す窓は、2眼レンズ133の左目に対応する画像と右目に対応する画像とで同じ位置となる。しかし、コンデンサレンズが適切な位置に存在せず、照明位置が適正位置よりも下側(光源121側)になると、視野領域を表す窓は、撮像素子134の中央寄り(図12に示したx軸方向に沿って撮像素子134の中央寄り)に移動する。逆に、照明位置が適正位置よりも上側になると、視野領域を表す窓は、撮像素子134のx軸方向に沿った端部方向へと移動する。従って、撮像素子134に結像する窓の位置関係に着目することで、照明位置を特定することができる。
【0147】
ここで、予め照明位置(例えば、照明視野絞りとコンデンサレンズとの間の距離)を様々に変化させながら、位相差像における左右の窓位置の間隔を測定しておき、窓位置の間隔と照明位置との相関関係を把握しておく。この相関関係において、照明位置を適正位置からの差として表すことで、窓位置の間隔から、適正照明位置からの差を算出することが可能となる。
【0148】
この際、位相差像における左右の窓位置の間隔は、図13に示したようにして特定することができる。すなわち、撮像素子134の中央を通過する、撮像素子134の幅方向に対応する軸をx軸とした場合に、x軸上の撮像素子134の出力信号値(すなわち、輝度値)の分布に着目する。撮像素子134には、左目に対応する画像と右目に対応する画像の2つの像が結像しているため、図13(a)に示したように、左目の画像に対応する輝度値の分布と、右目に対応する輝度値の分布とが検出される。
【0149】
まず、デフォーカス量補正部261は、左目及び右目に対応する画像の輝度値を移動平均で平滑化し、左右それぞれの輝度の最大値(Lmax及びRmax)と最小値(Lmin及びRmin)とを検出する。その後、デフォーカス量補正部261は、左右それぞれの輝度値を、左右独立に正規化する。その結果、デフォーカス量補正部261は、図13(b)に示したような輝度分布を得ることができる。デフォーカス量補正部261は、この正規化輝度分布において所定の閾値を超える輝度値となる画素位置を、左目に対応する画像は輝度分布の左側端部から、右目に対応する画像は輝度分布の右側端部から、それぞれ探索していく。ここで、図13(b)に示したように、左目に対応する画像は、座標Lposにて所定の輝度値となり、右目に対応する画像は、座標Rposにて所定の輝度値となったとする。この場合、デフォーカス量補正部261は、図13(c)に示したように、座標LposとRposとの差を、位相差像における左右の窓位置の間隔とする。
【0150】
このようにして窓位置の間隔と照明位置との相関関係を予め特定しておくことで、デフォーカス量補正部261は、実際に計測される窓位置の間隔と、この相関関係とに基づいて、照明位置を特定することが可能となる。また、デフォーカス量補正部261は、サンプル全体の厚みが既知のサンプルを利用して、照明位置とサンプル全体の厚みとの相関関係を予め測定しておくことで、特定した照明位置に基づいて、サンプル全体の厚みTを算出することができる。
【0151】
他方、図14に示したように、それぞれの厚みを表すこととする。
L:空気中での焦点距離
s:サンプルに食い込んだ空気中での焦点距離の一部
t:撮像位置でのカバーガラスの厚み+包埋剤の厚み
T:サンプル全体の厚み
Z:ステージ位置
【0152】
ここで、空気中での焦点位置は、対物レンズの種別等によって決まる固定値であり、サンプル全体の厚みTは、前述のような処理によって算出可能な値であり、ステージ位置は、統括駆動制御部221から取得可能な値である。
【0153】
また、図14において、ガラスの屈折率をδと表すこととすると、δs=tという関係が成立し、また、L−s+T+Z=一定値(値をCと表すこととする。)という関係が成立する。
【0154】
従って、撮像位置でのカバーガラス+包埋剤の厚みtは、以下の式151のように表すことができる。
【0155】
t=δ(L+T+Z−C) ・・・(式151)
【0156】
そこで、デフォーカス量補正部261は、位相差像を解析することで得られるサンプル全体の厚みTと、設計値であるパラメータL及びCと、統括駆動制御部221から取得したステージ位置Zと、ガラスの屈折率δとを利用して、カバーガラスの厚み(より詳細には、カバーガラスの厚み及び撮像位置での包埋剤の厚みの和)を算出することができる。
【0157】
本変形例に係るデフォーカス量補正部261は、デフォーカス量算出部255から出力されたデフォーカス量を、算出したカバーガラスの厚みを用いてオフセット調整する。これにより、駆動回数を変えることなく、カバーガラス厚によって焦点ボケが発生することを防ぐことが可能となり、焦点検出精度を更に高めることが可能となる。
【0158】
デフォーカス量補正部261は、オフセット処理後のデフォーカス量を表す情報を、パターン選択部257に出力する。これにより、パターン選択部257は、カバーガラス厚による焦点ボケを補正したデフォーカス量に基づいて、オフセットパターンの選択を行うことが可能となる。
【0159】
以上、本変形例に係る顕微鏡制御装置20の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【0160】
<光学的歪み補正方法について>
続いて、図15を参照しながら、本実施形態に係る光学的歪み補正方法(より詳細には、ディストーション補正方法)について、その流れを説明する。図15は、本実施形態に係る光学的歪み補正方法の流れを示した流れ図である。
【0161】
なお、以下の説明に先立ち、オフセットパターン生成部251により、デフォーカス量0μmにおけるオフセットパターン(基準オフセットパターン)を含む、デフォーカス量毎の複数のオフセットパターンが生成されているものとする。
【0162】
ディストーション補正部227のオフセット処理部253は、画像処理部225から位相差像が出力されると、取得した位相差像を解析して、位相差像間の位相差を算出する。続いて、オフセット処理部253は、基準となるオフセットパターン(デフォーカス量0μmでのオフセットパターン)を記憶部215等から取得して、算出した位相差から、基準となるオフセットパターンに記載されている位相差を減算する。その後、オフセット処理部253は、オフセット処理後の位相差を、デフォーカス量算出部255に出力する。
【0163】
デフォーカス量算出部255は、オフセット処理部253から通知された、オフセット処理後の位相差に関する情報を利用して、デフォーカス量を算出する(ステップS101)。その後、デフォーカス量算出部255は、算出したデフォーカス量を、パターン選択部257に出力する。
【0164】
パターン選択部257は、算出したデフォーカス量が、用いたオフセットパターンと適合しているか否かを判断する(ステップS103)。適切なオフセットパターンが用いられていた場合には、ディストーション補正部227は、ディストーション補正処理を終了し、算出されたデフォーカス量を、統括駆動制御部221に出力する。
【0165】
他方、適切なオフセットパターンが用いられていなかった場合には、パターン選択部257は、算出したデフォーカス量に最も近いオフセットパターンを選択し、オフセット処理部253に出力する。
【0166】
オフセット処理部253及びデフォーカス量算出部255は、パターン選択部257から通知されたオフセットパターンを用いて、再度オフセット処理及びデフォーカス量算出処理を実施する(ステップS105)。その後、パターン選択部257は、デフォーカス量算出部255から再度出力されたデフォーカス量に対して、ステップS103の処理を再度実施する。
【0167】
本実施形態に係る光学的歪み補正処理(ディストーション補正処理)では、以上のような処理を行うことで、算出されるデフォーカス量が光学系のディストーションに起因して歪む影響を、非常に少ない演算負荷で排除することができる。
【0168】
(ハードウェア構成について)
次に、図16を参照しながら、本発明の実施形態に係る顕微鏡制御装置20のハードウェア構成について、詳細に説明する。図16は、本発明の実施形態に係る顕微鏡制御装置20のハードウェア構成を説明するためのブロック図である。
【0169】
顕微鏡制御装置20は、主に、CPU901と、ROM903と、RAM905と、GPU(Graphics Processing Unit)906と、を備える。また、顕微鏡制御装置20は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
【0170】
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、顕微鏡制御装置20内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。また、GPU906は、顕微鏡制御装置20内で実施される各種の画像処理に関する演算処理を実施する演算処理装置及び制御装置として機能する。GPU906は、ROM903、RAM905、ストレージ装置919、又はリムーバブル記録媒体927に記録された各種プログラムに従って、顕微鏡制御装置20内の画像処理の動作全般又はその一部を制御する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
【0171】
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
【0172】
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、顕微鏡制御装置20の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。顕微鏡制御装置20のユーザは、この入力装置915を操作することにより、顕微鏡制御装置20に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0173】
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、顕微鏡制御装置20が行った各種処理により得られた結果を出力する。具体的には、表示装置は、顕微鏡制御装置20が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
【0174】
ストレージ装置919は、顕微鏡制御装置20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種データなどを格納する。
【0175】
ドライブ921は、記録媒体用リーダライタであり、顕微鏡制御装置20に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−rayメディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
【0176】
接続ポート923は、機器を顕微鏡制御装置20に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、顕微鏡制御装置20は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。
【0177】
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信、各種の専用通信又は衛星通信等であってもよい。
【0178】
以上、本発明の実施形態に係る顕微鏡制御装置20の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【0179】
(まとめ)
以上説明したように、本発明の実施形態に係る顕微鏡制御装置20では、位相差像に基づいてサンプルの観察面の全域のデフォーカス量及び形状を瞬時に取得する際、ディストーションと呼ばれる光学的な歪みの補正を、入力画像に対して直接行うかわりに、平面対象を観察した場合に観測される位相差面を任意の対象を観測した場合に検出される位相差面に対してオフセット処理することで実施する。これにより、算出されるデフォーカス量が光学系のディストーションに起因して歪む影響を、非常に少ない演算負荷で排除することができる。
【0180】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0181】
例えば、上記実施形態では、本発明の実施形態に係る光学的歪みの補正処理を顕微鏡制御装置20が実施している場合について説明したが、本発明はかかる例に限定されない。例えば、本発明の実施形態に係る光学的歪みの補正処理を、顕微鏡自体が実施してもよい。
【符号の説明】
【0182】
1 顕微鏡画像管理システム
10 顕微鏡
20 顕微鏡制御装置
30 画像管理サーバ
40 画像表示装置
201 統括制御部
203 照明制御部
205 ステージ駆動制御部
207 コンデンサレンズ駆動制御部
209 位相差像撮像制御部
211 サムネイル像撮像制御部
213 拡大像撮像制御部
215 記憶部
221 統括駆動制御部
223 顕微鏡画像取得部
225 画像処理部
227 ディストーション補正部
229 顕微鏡画像出力部
231 通信制御部
251 オフセットパターン生成部
253 オフセット処理部
255 デフォーカス量算出部
257 パターン選択部
261 デフォーカス量補正部


【特許請求の範囲】
【請求項1】
顕微鏡により撮像されたサンプルの一組の位相差像に基づいて生成された、当該位相差像間の位相差に関する位相差情報を、前記顕微鏡に固有な光学的歪みに起因する位相差のオフセット情報に基づいて補正するオフセット処理部と、
オフセット補正後の前記位相差情報に基づいて、前記サンプルのデフォーカス量を算出するデフォーカス量算出部と、
を備える、顕微鏡制御装置。
【請求項2】
前記オフセット処理部によるオフセット処理は、前記位相差情報から前記オフセット情報を減算する処理である、請求項1に記載の顕微鏡制御装置。
【請求項3】
前記オフセット情報は、オフセット処理の基準となる基準オフセット情報と、前記サンプルのデフォーカス量毎に設定された複数のオフセット情報とからなり、
前記オフセット処理部は、前記基準オフセット情報に基づいて、前記位相差情報に対してオフセット処理を実施し、
前記デフォーカス量算出部は、前記基準オフセット情報に基づくオフセット補正後の前記位相差情報に基づいて前記デフォーカス量を算出し、
前記オフセット処理部は、算出された前記デフォーカス量に応じたオフセット情報を利用して、再度前記位相差情報に対してオフセット処理を実施する、請求項1又は2に記載の顕微鏡制御装置。
【請求項4】
前記サンプルを覆うカバーガラスの厚みを算出し、算出した当該カバーガラスの厚みに基づいて、前記デフォーカス量を補正するデフォーカス量補正部を更に備える、請求項1に記載の顕微鏡制御装置。
【請求項5】
顕微鏡により撮像されたサンプルの一組の位相差像に基づいて生成された、当該位相差像間の位相差に関する位相差情報を、前記顕微鏡に固有な光学的歪みに起因する位相差のオフセット情報に基づいて補正するステップと、
オフセット補正後の前記位相差情報に基づいて、前記サンプルのデフォーカス量を算出するステップと、
を含む、光学的歪み補正方法。


【図1】
image rotate

【図2】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図3】
image rotate

【図4】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−42669(P2012−42669A)
【公開日】平成24年3月1日(2012.3.1)
【国際特許分類】
【出願番号】特願2010−183152(P2010−183152)
【出願日】平成22年8月18日(2010.8.18)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】