説明

厚み情報取得装置、厚み情報取得方法、厚み情報取得プログラム及び顕微鏡

【課題】本発明は、サンプルの厚み情報を短時間で精度よく取得する。
【解決手段】本発明は、取得した位相差像の基準像に対する相関状態を算出し、該相関状態に応じて組織切片TSの厚み情報を取得するようにしたことにより、1つの位相差像から組織切片TSの厚み情報が取得でき、またサンプルの厚み方向の分布を反映した厚み情報を取得することができ、かくして厚み情報を短時間で精度よく取得することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は厚み情報取得装置、厚み情報取得方法、厚み情報取得プログラム及び顕微鏡に関し、例えば生体サンプルを拡大して観察する分野に適用して好適なものである。
【背景技術】
【0002】
病理診では、組織切片などの生体サンプルはスライドガラスに固定され、染色過程及び封入過程を経てプレパラートとして作製される。一般に、プレパラートの保管期間が長期間となると、生体サンプルの劣化や退色等によりプレパラートに対する顕微鏡での視認性が悪くなる。また、プレパラートはそれを作製した病院等の施設以外の施設で鏡検されることもあるが、該プレパラートの受け渡しは一般に郵送であり、一定の時間を要する。
【0003】
このような実情等に鑑み、生体サンプルを画像データとして保存する装置が提案されている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−175334公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで生体サンプルは厚みを有するものである。このため、例えば、生体サンプルの厚み方向の全領域を撮像する場合、該生体サンプルに集光する光学レンズの被写体深度と生体サンプルの厚みに基づいて、厚み方向の撮像する枚数を決定する。
【0006】
このような場合、撮像枚数に応じてデータ量と撮像時間が決定するという観点から、生体サンプルの厚みに関する情報(以下、これを厚み情報とも呼ぶ)を取得することが望まれる。
【0007】
そこで、例えば、生体サンプルの厚み方向へ所定間隔ごとに光学レンズの焦点をずらしていき、それぞれの位置で生体サンプルの像を撮像して生体サンプルの有無を判断することにより、生体サンプルの厚み情報を取得する方法が考えられる。
【0008】
この方法では、例えば光学レンズの被写体深度が1[μm]で、生体サンプルの厚み方向に100[μm]を検索する場合、100枚の撮像画像から生体サンプルの厚み情報を取得することになり、その検出精度は1[μm]単位となる。
【0009】
一方、例えば光学レンズの被写体深度が2[μm]で、生体サンプルの厚み方向に100[μm]を検索する場合、50枚の撮像画像から生体サンプルの厚み情報を取得することになり、その検出精度は2[μm]単位となる。
【0010】
従って、この方法では、被写体深度を浅くすれば検出精度は高くなるが処理時間が長くなり、被写体深度を深くすれば検出精度は低くなるが処理時間は短くなるといったように、検出時間を短時間にして検出精度を高くすることが困難である。
【0011】
本発明は以上の点を考慮してなされたもので、サンプルの厚み情報を短時間で精度よく取得し得る厚み情報取得装置、厚み情報取得方法及び厚み情報取得プログラムを提案しようとするものである。
【課題を解決するための手段】
【0012】
かかる課題を解決するため本発明においては、厚み情報取得装置であって、サンプルの位相差像を取得する像取得部と、位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出部と、相関分布に応じてサンプルの厚みに関する情報を取得する厚み情報取得部とを有する。
【0013】
また本発明においては、厚み情報取得方法であって、サンプルの位相差像を取得する像取得ステップと、位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出ステップと、相関分布に応じてサンプルの厚みに関する情報を取得する厚み情報取得ステップとを有する。
【0014】
さらに本発明においては、厚み情報取得プログラムであって、コンピュータに対して、サンプルの位相差像を取得する像取得ステップと、位相差像における一方の像の各画素に対する他方の像の相関状態を算出する算出ステップと、相関分布に応じてサンプルの厚みに関する情報を取得する厚み情報取得ステップとを実行させる。
【0015】
さらに本発明においては、顕微鏡であって、対物レンズから入射する光を直進又は反射させるミラーと、対物レンズに結像され、ミラーの直進側又は反射側の一方に投影される被写体像を撮像するための第1の撮像素子と、ミラーの直進側又は反射側の他方の後方に一対を単位として設けられ、対物レンズの被写体深度よりも広い被写体深度となる大きさとされる開口と、開口の後方にそれぞれ設けられ、ミラーの透過側又は反射側の他方に投影される被写体像の予定結像面に対して位相差像を形成するためのセパレータレンズと、予定結像面を撮像面として設けられる第2の撮像素子と、第2の撮像素子から、サンプルの位相差像を取得する像取得部と、位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出部と、相関分布に応じてサンプルの厚みに関する情報を取得する厚み情報取得部とを有する。
【0016】
これにより、取得した位相差像の基準像に対する相関状態を算出し、該相関状態に応じてサンプルの厚み情報を取得するようにしたことにより、1つの位相差像から撮像範囲におけるサンプルの厚みを取得できると共に、サンプルの厚さを反映した相関分布に応じた厚み情報を取得することができる。
【発明の効果】
【0017】
以上のように本発明によれば、取得した位相差像の基準像に対する相関状態を算出し、該相関状態に応じてサンプルの厚み情報を取得するようにしたことにより、1つの位相差像から撮像範囲におけるサンプルの厚みを取得できると共に、サンプルの厚さを反映した相関分布に応じた厚み情報を取得することができ、かくして厚み情報を短時間で精度よく取得することができる。
【図面の簡単な説明】
【0018】
【図1】顕微鏡の構成を示す概略図である。
【図2】組織切片の撮影対象像と位相差像を示す写真である。
【図3】統括制御部の機能的構成を示す概略図である。
【図4】検出窓及び検出範囲の設定を示す概略図である。
【図5】組織切片における検出面の位置を示す概略図である。
【図6】組織切片の厚みに応じた相関分布を示す概略図である。
【図7】相関値の分布及び相関値が最大となる位置での2次曲線を示す概略図である。
【図8】演算結果を示す概略図である。
【図9】厚み情報処理手順を示すフローチャートである。
【図10】一般的なステレオカメラを示す概略図である。
【発明を実施するための形態】
【0019】
以下、発明を実施するための形態について説明する。なお、説明は以下の順序とする。
<1.実施の形態>
<2.他の実施の形態>
【0020】
<1.実施の形態>
[1−1.顕微鏡の構成]
図1において、本一実施の形態による顕微鏡1を示す。この顕微鏡1は、プレパラートPRTが配される板状のステージ11を有する。
【0021】
プレパラートPRTは、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片TSを、所定の固定手法によりスライドガラスに固定し封入したものであり、該組織切片TSには必要に応じて染色が施される。この染色には、HE(ヘマトキシリン・エオジン)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色と呼ばれる染色のみならず、FISH(Fluorescence In-Situ Hybridization)や酵素抗体法等の特殊染色と呼ばれる染色が含まれる。
【0022】
ステージ11にはステージ駆動機構12が設けられる。このステージ駆動機構12は、ステージ面に対して平行となる方向(X軸−Y軸方向)と、直交する方向(Z軸方向)にステージ11を駆動するものとされる。ちなみに、プレパラートPRTが配される側のステージ面(以下、これをプレパラート配置面とも呼ぶ)には、一般に、プレパラートPRTを定位置に抑止する抑止部(図示せず)が設けられる。
【0023】
ステージ11のプレパラート配置面とは逆の面側には光源13が配される。光源13は、一般染色が施された組織切片TSを照明する光(以下、これを明視野照明光とも呼ぶ)と、特殊染色が施された組織切片TSを照明する光(以下、これを暗視野照明光とも呼ぶ)とを切り換えて照射可能なものとされる。ただし、明視野照明光又は暗視野照射光のいずれか一方だけが照射可能なものであってもよい。光源13とステージ11との間には、プレパラート配置面における基準位置の法線を光軸とするコンデンサレンズ14が配される。
【0024】
ステージ11のプレパラート配置面側には、ステージ面における基準位置の法線を光軸とする所定倍率の対物レンズ15が配される。この対物レンズ15の後方には、該対物レンズ15の主結像面となる面を撮像面とする撮像素子16が配される。
【0025】
また顕微鏡1には、プレパラート配置面側における基準位置の法線上の対物レンズ15と撮像素子16との間にハーフミラー17が設けられる。ハーフミラー17は、対物レンズ15から入射する光を透過光と反射光とに分割する。
【0026】
フィールドレンズ18は、ハーフミラー17の例えば反射側に投影される対物レンズ15の被写体像を後方(予定される結像面)にリレーする。このフィールドレンズ18では、ハーフミラー17で反射される被写体光が集められるため、視野周辺における明度の低下が抑制される。
【0027】
絞りマスク19は、フィールドレンズ18の後方に配され、該フィールドレンズ18の光軸と直交する面のうちその光軸を境界として対称となる位置に一対の開口19A、19Bを有する。これら開口19A、19Bの大きさは、対物レンズ15の被写体深度よりもセパレータレンズ20A、20Bの被写体深度が広くなるよう調整される。
【0028】
絞りマスク19は、これら開口19A、19Bによって、フィールドレンズ18から入射する被写体光束を分割する。分割光束は、被写体光束の結像面で交差し、該結像面の前後で位置関係が入れ換わる光束となる。
【0029】
セパレータレンズ20A、20Bは、一対の開口19A、19Bの後方にそれぞれ個別に配される。このセパレータレンズ20A、20Bは、対応する開口19A、19Bによって分割される分割光束をアオリ結像(シフト)させ、フィールドレンズ18によってリレーされる予定結像面に対して1組の被写体像(以下、これを位相差像とも呼ぶ)を形成する。
【0030】
なお、セパレータレンズ20A、20Bがフィールドレンズ18の口径蝕(ケラレ)に掛かると、分割光束の一部が欠損する。このためセパレータレンズ20A、20Bは、口径蝕に掛からないようフィールドレンズ18の中央側に寄せて配置される。
【0031】
撮像素子21は、ラインセンサではなく、フィールドレンズ18によってリレーされる被写体像の予定結像面を撮像面とするエリアセンサとされる。
【0032】
ここで、対物レンズ15の主結像面に配される撮像素子16で撮像される明視野像(撮影対象像)と、該対物レンズ15の予定結像面に配される撮像素子21で撮像される位相差像との写真を図2に示す。この図2からも分かるように、撮像素子16の撮像面(主結像面)に結像される明視野像は、セパレータレンズ20A、20Bによって位相差像として撮像素子21の撮像面(予定結像面)に結像される。
【0033】
この顕微鏡1における制御系として、ステージ駆動機構12にはステージ駆動制御部31が、光源13には照明制御部32が、撮像素子16には撮像制御部33が、撮像素子21には位相差像撮像制御部34がデータ通信路を介して接続される。
【0034】
これら制御系は、CPU(Central Processing Unit)、ROM(Read Only Memory)、CPUのワークメモリとなるRAM(Random Access Memory)及び演算回路などを含むコンピュータとされる。
【0035】
ステージ駆動制御部31は、ステージ駆動機構12を駆動制御し、コンデンサレンズ14によって集められる集光部分にプレパラートPRTの組織切片TSが割り当てられるようステージ面方向(X軸−Y軸方向)にステージ11を移動させる(走査させる)。
【0036】
またステージ駆動制御部31は、ステージ駆動機構12を駆動制御し、集光部分に割り当てられる組織切片TSの部位が対物レンズ15の焦点に合うようステージ面の直交方向(Z軸方向(つまり組織切片の奥行方向))にステージ11を移動させる。
【0037】
照明制御部32は、明視野像を取得すべきモード(以下、これを明視野モードとも呼ぶ)又は暗視野像を取得すべきモード(以下、これを暗視野モードとも呼ぶ)に応じたパラメータを光源13に設定し、該光源13から照明光を照射させる。このパラメータは例えば照明光の強度や光源種類の選択などである。
【0038】
なお、明視野モードにおける照射光は一般に可視光とされる。一方、暗視野モードにおける照射光は、特殊染色で用いられる蛍光マーカを励起する波長を含む光とされる。また暗視野モードでは蛍光マーカに対する背景部分はカットアウトされる。
【0039】
光源13から照明光が照射された場合、その照明光はコンデンサレンズ14によって、ステージ11におけるプレパラート配置面の基準位置に集められる。対物レンズ15の結像面には、プレパラートPRTにおける組織切片TSのうち、コンデンサレンズ14によって集光される集光部分の像が拡大されて結像され、その拡大像が対物レンズ15によって撮像素子16の撮像面に被写体像として結像される。またハーフミラー17により反射された被写体像は、セパレータレンズ20A、20Bによって位相差像として撮像素子21の撮像面(予定結像面)に結像される。
【0040】
撮像制御部33は、明視野モード又は暗視野モードに応じたパラメータを撮像素子16に設定し、該撮像素子16の撮像面に結像される被写体像のデータを取得する。このパラメータは例えば露光の開始タイミング及び終了タイミングなどである。
【0041】
位相差像撮像制御部34は、明視野モード又は暗視野モードに応じたパラメータを撮像素子21に設定し、該撮像素子21の撮像面に結像される位相差像のデータを取得する。このパラメータは例えば露光の開始タイミング及び終了タイミングなどである。
【0042】
ところでこの顕微鏡1には、該顕微鏡1の全体の制御を司る制御部(以下、これを統括制御部とも呼ぶ)30があり、これはステージ駆動制御部31、照明制御部32、撮像制御部33及び位相差像撮像制御部34それぞれにデータ通信路を介して接続される。この統括制御部30は、CPU、ROM、RAM、演算回路及びHDD(Hard Disc Drive)などを含むコンピュータとされる。
【0043】
統括制御部30は、明視野モード又は暗視野モードの開始命令を待ち受け、該開始命令を受けた場合、その開始命令に対応するモードで制御を開始すべき指令をステージ駆動制御部31、照明制御部32、撮像制御部33及び位相差像撮像制御部34に与える。
【0044】
また統括制御部30は、ステージ駆動制御部21においてプレパラートPRTの組織切片TS部位が割り当てられるたびに、撮像素子16によって取得される組織切片TS部位における拡大像のデータを記憶媒体に記憶する。
【0045】
そして統括制御部30は、表示命令を待ち受け、該表示命令を受けた場合、その表示命令で指定される拡大像に対応するデータを記憶媒体から読み出し、これを表示命令の送出元に与える。
【0046】
このようにこの顕微鏡1は、プレパラートPRTの組織切片TSを鏡検状態の画像として記憶することで、プレパラートPRT自体を保存する場合に比べて、固定や染色等の状態を劣化させることなく長期にわたって組織切片TSに関する情報を保存できるようになされている。
【0047】
[1−2.厚み情報取得処理]
統括制御部30は、組織切片TSの厚み情報を取得するプログラム(以下、これを厚み情報取得プログラムとも呼ぶ)がHDDに格納されている。
【0048】
統括制御部30は、厚み情報取得プログラムを実行する指示を受けた場合、該厚み情報取得プログラムをHDDに展開して厚み情報取得処理を実行する。
【0049】
統括制御部30は、厚み情報取得プログラムに従って、図3に示すように、位相差像取得部41、相関分布算出部42及び厚み情報取得部43として機能する。
【0050】
位相差像取得部41は、ステージ駆動制御部31を介して、プレパラートPRTの組織切片TS部位が撮像範囲として割り当てられるようステージ面方向(X軸−Y軸方向)にステージ11を移動させる。また位相差像取得部41は、組織切片TS部位が対物レンズ15の焦点に合うようZ軸方向にステージ11を移動させる。
【0051】
位相差像取得部41は、照明制御部32を介して、明視野モード又は暗視野モードに応じたパラメータを光源13に設定し、該光源13から照明光を照射させる。
【0052】
位相差像取得部41は、位相差像撮像制御部34を介して、組織切片TS部位の拡大像が撮像素子21に結像された位相差像のデータを取得する。
【0053】
ここで顕微鏡1では、セパレータレンズ20A、20Bの被写体深度がプレパラートPRTに固定される組織切片TSの厚みより十分に厚くなるよう、開口19A、19Bが設定される。従って位相差像取得部41は、組織切片TS部位における厚み方向の全体に合焦された状態の位相差像を取得する。
【0054】
相関分布算出部42は、図4に示すように、位相差像のうち基準とすべき一方の像(以下、これを基準像とも呼ぶ)SGにおける各画素を順に注目対象の画素(以下、これを注目画素と呼ぶ)NPとして選択する。
【0055】
相関分布算出部42は、所定の画素(例えば、注目画素NP)を中心として該画素周辺の輝度平均値を算出する際に用いられる画素群を抽出するため、所定の横幅WX及び縦幅WYの比較窓CWを設定する。
【0056】
また相関分布算出部42は、基準像SGにおける注目画素NPの位置と対応する比較像CGの画素(以下、これを比較画素と呼ぶ)CPを中心としてX軸方向の所定の検索範囲Dを設定する。
【0057】
因みに、検索範囲Dは、基準像SGの注目画素NPに対する比較像CGの視差を検出する範囲であり、最大でも100[μm]未満の視差しか発生しないと仮定し、また視差が5[μm/pixel]で検出される場合、比較画素CPを中心としてX軸方向に±20[pixel]に設定される。
【0058】
相関分布算出部42は、正規化相関の演算式
【0059】
【数1】

【0060】
により注目画素NPに対する検出範囲D内における各画素の相関値Cを算出する。
【0061】
ところで半透明で厚みのある組織切片TSの像に対して正規化相関を算出する場合、該組織切片TSの奥行方向(厚み方向)において明瞭な部分、すなわち明瞭に染色された部分が基準像SG及び比較像CGにおいて明瞭な像として写るため、その明瞭な部分が正規化相関の検出対象となる。
【0062】
従って例えば組織切片TSがHE染色されている場合、図5に示すように、正規化相関では、明瞭に染色された細胞核CRを通る面(以下、これを検出面と呼ぶ)DPが検出対象になる。
【0063】
また組織切片TSの奥行方向に複数の細胞核CRが並ぶ場合、正規化相関では、基準像SG及び比較像CGにより明瞭な特徴として写る奥行方向に並ぶ複数の細胞核CRの重心が検出対象となるため、検出面DPがその重心を通ることになる。
【0064】
図6(A)に示すように、組織切片TSの奥行方向に細胞核CRが1つのみ存在する位置(x=x1)と、奥行方向に細胞核CRが2つ存在する位置(x=x2)では、基準像SG及び比較像CGがそれぞれ図6(B)及び(C)に示すように撮像される。
【0065】
x=x1における正規化相関は、図6(D)に示すように、基準像SG及び比較像CGに細胞核CRが1つだけ写っているため、基準像SGの細胞核CRに対して比較像CGの細胞核CRが写る位置において相関値Cが高くなり、他の部分において相関値Cが低くなる。従ってこのような場合、検出範囲(−D/2〜D/2)の各画素に対する相関値Cの分布形状は、相関値Cが最大となる位置の前後で急激に変化する。
【0066】
一方x=x2では、基準像SGにおいて2つの細胞核CRがほぼ重なっているのに対して比較像CGにおいては2つの細胞核CRが若干ずれて撮像される。このような場合、基準像SGの細胞核CRが写る位置に対する相関値Cは、図6(E)に示すように、比較像CGにおける2つの細胞核CRの中間で最大となる。また2つの細胞核CRが若干離れて写るために相関値Cが最大となる位置の前後でも相関値Cが高くなるため、各画素に対する相関値Cの分布形状は、相関値Cが最大となる位置の前後で緩やかに変化する。
【0067】
因みに、実際の組織切片TSの厚みは概ね数[μm]から20[μm]程度であり、仮に視差が5[μm/pixel]で検出される場合、視差が最大で4[pixel]程度となる。従って、奥行方向に2つの細胞核CRが離れて並んでいる場合であっても、各画素に対する相関値Cの分布形状は、2山波形のような変化特性は表れない。
【0068】
相関分布算出部42は、図7に示すように、(1)式により算出された相関値Cが最大となる点(C(k))とその前後の点(C(kn−1)及びC(kn+1))を抽出する。
【0069】
そして相関分布算出部42は、抽出した3点(C(kn−1)、C(k)、C(kn+1))を通る2次曲線LFを次式
【0070】
【数2】

【0071】
により算出する。因みに、「a」は2次の定数、すなわち曲率に相当し、「b」は1次の定数を示し、「c」は0次の定数を示す。
【0072】
ここで相関値Cが最大となる位置(kmax)は(2)式の極値となることから、相関分布算出部42は、次式
【0073】
【数3】

【0074】
を満たす次式
【0075】
【数4】

【0076】
により(2)式の極値を算出する。相関分布算出部42は、注目画素NPに対応する比較画素CPの中心から極値までの距離を該注目画素NPの視差として算出する。
【0077】
相関分布算出部42は、注目画素NPが選択されるたびに、(1)式、(2)式及び(4)式を用いて該注目画素NPの視差を算出し、視差情報として取得する。
【0078】
この視差は大きいほど組織切片TSが対物レンズ15側(前方)に位置し、これに対して小さいほど後方に位置する関係にある。したがって、基準像SGの各画素に対する視差は、プレパラートPRTにおける組織切片TSのうち、撮影範囲(対物レンズ15の結像面に映る領域)の凹凸状態を示す情報に相当するものとなる。
【0079】
ところで(1)式により算出される相関値Cは、注目画素NPに対して検索範囲D内の画素に対して計算されるので、画素単位の離散的な値をとる。従って(1)式により算出された相関値Cが最大となる画素を注目画素NPに対応する位置として決定した場合、注目画素NPに対する相関値Cが最大となる画素の距離(視差)が画素単位で検出されることになる。仮に視差が5[μm/pixel]で検出される場合、注目画素NPに対する相関値Cが最大となる画素の距離(視差)の検出間隔が5[μm]単位となる。
【0080】
これに対して例えば2次曲線LFの極値から注目画素NPの視差を算出する場合、(1)式の正規化相関により注目画素NPの視差を算出する場合と比して、検出精度が約100倍となり、より精度よく視差を算出することができる。
【0081】
因みに視差が5[μm/pixel]で検出される場合、2次曲線LFの極値から注目画素NPの視差を算出すると、注目画素NPに対する視差の検出間隔が0.05[μm]程度となる。
【0082】
次に厚み情報取得部43は、(2)式における曲率aを次式
【0083】
【数5】

【0084】
により算出する。
【0085】
ここで、上述したように、組織切片TSの厚みに応じて相関値Cが最大となる位置での曲率が変化する。従って相関値Cが最大となる位置での曲率aは、組織切片TSの厚みを反映するものである。
【0086】
そこで厚み情報取得部43は、相関値Cが最大となる点(C(k))とその前後の点(C(kn−1)及びC(kn+1))を通る2次曲線LFは必ず2次の定数(曲率a)が負の値をとることから、基準像SGにおける注目画素NPの厚み係数θを次式
【0087】
【数6】

【0088】
により算出する。
【0089】
厚み情報取得部43は、注目画素NPが選択されるたびに、(5)式及び(6)式を用いて該注目画素NPの厚み係数θを算出し、基準像SGの各画素に対する厚み係数θを厚み情報として取得する。
【0090】
この厚み係数θは、組織切片TSが厚いほど小さくなり、該組織切片TSが薄くなるほど大きくなる。
【0091】
ここで図8(A)に示すようなX軸方向の所定の2箇所で折れ重なった組織切片TSの位相差像と、該位相差像に対して算出されたデフォーカスマップ、y=yにおけるデフォーカス量変化及び厚み係数マップを図8(B)に示す。
【0092】
図8(B)におけるデフォーカスマップは、基準像SGの各画素に対する(4)式を用いて算出された視差を、所定位置からの距離に応じて色付けして示したものであり、色が濃くなるにつれZ軸方向(手前側)に検出面があることを示す。図8(B)におけるy=yにおけるデフォーカス量変化は、y=yにおけるX軸に沿った視差を示したものである。図8(B)における厚み係数マップは、基準像SGの各画素に対する(6)式により算出された厚み係数θを示したものであり、色が濃くなるにつれて厚み係数θが小さくなることを示す。
【0093】
図8(B)からも分かるように、組織切片TSが折り重なっている位置では該組織切片TSが厚いため、検出面が手前側に移動していると共に、厚み係数θも小さな値となる。
【0094】
このように顕微鏡1は、(4)式及び(6)式を用いることで、位相差像における基準像SGの各画素での視差(デフォーカス量)及び厚み係数θを、1枚の位相差像から取得することができる。
【0095】
因みに図8(B)において、デフォーカスマップでの外側の黒色の部分は、エラーにより視差が算出されなかった領域であり、厚み係数マップにおいても対応する部分はエラーにより厚み係数θは算出されていない。
【0096】
統括制御部30は、視差情報に基づいて、検出面に対する対物レンズ15の焦点を合わせるべき位置(以下、これを合焦位置とも呼ぶ)を決定する。
【0097】
統括制御部30は、合焦位置をステージ駆動制御部31に与え、該ステージ駆動制御部31によって、合焦位置に対する対物レンズ15の焦点の移動量が計算されステージ11が移動される。
【0098】
また統括制御部30は、厚み情報に基づいた、例えば撮像範囲における組織切片TSの厚みに応じて、対物レンズ15の被写体深度に納まる複数の層(以下、これを撮影層とも呼ぶ)を決定する。
【0099】
統括制御部30は、撮影層をステージ駆動制御部31に与え、該ステージ駆動制御部31によって、撮影層のそれぞれに対する対物レンズ15の焦点の移動量が計算されステージ11が移動される。
【0100】
統括制御部30は、ステージ駆動制御部31によって撮影層のそれぞれに対物レンズ15の焦点が移動されるたびに、撮像制御部23を介して組織切片TS部位を撮像する。
【0101】
従って統括制御部30は、厚み情報に基づいて撮影範囲における撮像枚数を決定するので、その位置での組織切片TSが厚い場合には撮像枚数を増やし、薄い場合には撮像枚数を減らす。これにより統括制御部30は、組織切片TSの厚みに応じて該組織切片TSを取りこぼすことなく、かつ不必要に多く撮像することない最適な撮像枚数を決定することができるので、撮像時間を高速化することができると共に、データ量を圧縮することができる。
【0102】
[1−3.厚み情報取得処理手順]
次に、上述した厚み情報取得処理の手順について、図9に示すフローチャートに従って説明する。
【0103】
実際上、統括制御部30は、ルーチンRT1の開始ステップから入って次のステップSP1へ移る。ステップSP1において統括制御部30は、撮像素子21により撮像された位相差像を位相差撮像制御部34を介して取得し、次のステップSP2に移る。
【0104】
ステップSP2において統括制御部30は、位相差像から、基準像SGの各画素に対する相関値Cを(1)式を用いて算出し、次のステップSP3に移る。
【0105】
ステップSP3において統括制御部30は、(1)式により算出された相関値Cが最大となる点(C(k))とその前後の点(C(kn−1)及びC(kn+1))を抽出し、次のステップSP4に移る。
【0106】
ステップSP4において統括制御部30は、抽出した3点を通る2次曲線LF((2)式)を算出し、ステップSP5に移る。ステップSP5において統括制御部30は、2次曲線LFの極値を(4)式を用いて算出し、該極値を視差情報として取得し、次のステップSP6に移る。
【0107】
ステップSP6において統括制御部30は、2次曲線LFの曲率aを(5)式を用いて算出し、次のステップSP7に移る。ステップSP7において統括制御部30は、2次曲線LFの曲率aから、厚み係数θを(6)式を用いて算出し、該厚み係数θを厚み情報として取得し、次のステップに移って処理を終了する。
【0108】
[1−4.動作及び効果]
以上の構成において、顕微鏡1は、撮像素子21により撮像された組織切片TSの位相差像における基準像SGの各画素に対する比較像CGの検出範囲Dの相関値Cを算出し、該相関値Cの分布状態に基づいて組織切片TSの厚み情報を取得する。
【0109】
これにより顕微鏡1は、例えばHE染色された組織切片TSの場合、奥行方向に存在する染色された組織に応じた厚み情報を、1つの位相差像、すなわち1回の撮像で取得できる。従って顕微鏡1は、組織切片TSの厚み情報を短時間で取得することができる。
【0110】
また顕微鏡1は、染色された組織の分布を反映した厚み情報を取得することができるので、精度よく厚み情報を取得することができる。
【0111】
この顕微鏡1は、組織切片TSの奥行方向へ光学レンズの焦点をずらして該組織切片TSの厚み情報を取得する場合と比して、離散的な値をとることないため、精度よく厚み情報を取得することができる。
【0112】
ところで一般的なステレオカメラでは、図10に示すように、一方のカメラで撮像することができる物体(障害物)でも、他方のカメラでは手前にある物体(障害物)の陰になって撮像することができない場合がある。
【0113】
このような場合、一方のカメラで撮像された像と、他方のカメラで撮像された像とで異なる像が写り、これら像を用いて相関を算出したとしても精度よく相関が取れない。また一般的なステレオカメラでは、該ステレオカメラから物体(障害物)までの距離(視差)は取得できるものの、物体(障害物)の厚み情報を取得することができない。
【0114】
これに対して顕微鏡1では、組織切片TSが半透明であるため、位相差像における基準像SGと比較像CGには同一の対象が写るので相関が精度よく取れ、また組織切片TSの厚み情報も取得できる。
【0115】
また顕微鏡1は、正規化相関によって得られた相関値Cが最大となる点とその前後の点を通る2次曲線LFを算出し、その2次曲線LFの曲率aに応じた厚み情報を取得するようにした。
【0116】
従って顕微鏡1は、2次曲線LFを算出したことにより相関値Cの分解能が高くなり、その分解能が高い2次曲線LFの曲率aに応じた厚み情報を取得するので、より精度よく厚み情報を取得することができる。
【0117】
以上の構成によれば、取得した位相差像の基準像に対する相関分布を算出し、該相関分布に応じて組織切片TSの厚み情報を取得するようにした。これにより、1つの位相差像から組織切片TSの厚み情報が取得でき、またサンプルの厚み方向の分布を反映した厚み情報を取得することができ、かくして厚み情報を短時間で精度よく取得することができる。
【0118】
<2.他の実施の形態>
上述の実施の形態においては、組織切片TSがサンプルとされた。しかしながらサンプルはこの実施の形態に限定されるものではない。例えば生物に関するサンプル(生体サンプル)として細胞や染色体等が適応されてもよい。但しサンプルは、可視光を透過する半透明なものであるか、蛍光染色された生体サンプルのように、サンプル内で発生した光が該サンプル内を透過するものである。
【0119】
上述の実施の形態においては、2枚のセパレータレンズ20A、20Bが用いられた。しかしながらセパレータレンズ20の数はこの実施の形態に限定されるものではない。1対のセパレータレンズ20A、20Bを単位(組)として、複数枚のセパレータレンズ20を用いることができる。なおこの場合、絞りマスク19に対して各組のセパレータレンズ20に対応する開口を設けることを要する。
【0120】
上述した実施の形態においては、撮像素子21により撮像された位相差像のデータを取得するようにした場合について述べた。本発明はこれに限らず、位相差像のデータを、例えばインターネットを介して取得したり、所定の記憶媒体を介して取得するようにしてもよい。
【0121】
上述した実施の形態においては、HE染色が施された組織切片TSの厚み情報を取得するようにした場合について述べた。この場合、(1)式により相関値Cが算出される際、明瞭に染色された組織が検出対象になる。本発明はこれに限らず、例えば細胞膜が明瞭に染色された組織切片TSにおいて該細胞膜を検出対象として相関値Cを算出するようにしてもよい。すなわち、染色の種類を選択的に決定することにより、検出対象を選択的に決定することができる。
【0122】
上述した実施の形態においては、変曲点の前後で曲率が一致する2次曲線LFの曲率aを用いて厚み情報を取得するようにした場合について述べた。本発明はこれに限らず、正規化相関により得られた相関値Cを通る他の近似曲線を算出し、該近似曲線における極値の前後でそれぞれ独立した曲率を算出し、該曲率に応じて検出面の前方向及び後方向の厚み情報をそれぞれ独立に取得するようにしてもよい。
【0123】
上述した実施の形態においては、正規化相関により得られた相関値Cが最大となる点及びその前後の点を通る2次曲線LFの曲率aに応じた厚み情報を取得するようにした場合について述べた。本発明はこれに限らず、正規化相関により得られた点を他の近似曲線で補間し、その曲率に応じた厚み情報を取得するようにしてもよい。
【0124】
上述した実施の形態においては、相関演算として正規化相関を用いるようにした場合について述べた。本発明はこれに限らず、相関演算としてSAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)などの相関演算を用いるようにしてもよい。
【0125】
上述した実施の形態においては、厚み情報に基づいて撮像範囲における撮像層を決定し、該撮像層ごとに組織切片像を撮像するようにした場合について述べた。本発明はこれに限らず、厚み情報に基づいて、撮像範囲における組織切片TSの厚みを算出し、該組織切片TSの全てが収まるように、対物レンズ15の被写体深度を調節して、1枚の組織切片像を撮像するようにしてもよい。
【0126】
上述した実施の形態においては、所定倍率の対物レンズ15が1つ設けられている場合について述べた。本発明はこれに限らず、倍率の異なる複数の対物レンズが設けられ、複数の対物レンズのなかからレンズ切換機構又は手動により選択するようにしてもよい。
【0127】
上述した実施の形態においては、対物レンズ15から入射する光をハーフミラー17により透過光と反射光とに分割し、撮像素子16及び21にそれぞれ透過光と反射光を導くようにした場合について述べた。本発明はこれに限らず、ハーフミラー17の代わりにミラー及びミラーアップ機構が設けるようにしてもよい。
【0128】
この場合、撮像素子21に位相差像を結像する際には、ミラーを対物レンズ15と撮像素子16との間の光路上に配置し、ミラーで反射した反射光を撮像素子21に導く。一方、撮像素子16に被写体像を結像する際には、ミラーアップ機構によりミラーを対物レンズ15と撮像素子16との間の光路から外して対物レンズ15からの光を撮像素子16に導く。
【0129】
上述した実施の形態においては、統括制御部30がHDDに格納されている厚み情報取得処理プログラムに従い、上述した厚み情報取得処理を行うようにした場合について述べた。本発明はこれに限らず、厚み情報取得処理プログラムがROMに格納されていてもよく、また記憶媒体からインストールしたり、インターネットからダウンロードした厚み情報取得処理プログラムに従って上述した厚み情報取得処理を行うようにしても良い。またその他種々のルートによってインストールした厚み情報取得処理ログラムに従って上述した厚み情報取得処理を行うようにしても良い。
【0130】
上述した実施の形態においては、像取得部として位相差像取得部41、算出部として相対状態算出部42、厚み情報取得部として厚み情報取得部43が設けられるようにした場合について述べた。本発明はこれに限らず、その他種々の構成でなる像取得部、算出部、厚み情報取得部を設けるようにしても良い。
【産業上の利用可能性】
【0131】
本発明は、生物実験、医薬の創製又は患者の経過観察などのバイオ産業上において利用可能である。
【符号の説明】
【0132】
1……顕微鏡、11……ステージ、12……ステージ駆動機構、13……光源、14……コンデンサレンズ、15……対物レンズ、16、21……撮像素子、17……ハーフミラー、18……フィールドレンズ、19……絞りマスク、19A,19B……開口、20A、20B……セパレータレンズ、30……統括制御部、31……ステージ駆動制御部、32……照明制御部、33……撮像制御部、34……位相差像撮像制御部、41……位相差像取得部、42……相関分布算出部、43……厚み情報取得部、CG……比較像、PRT……プレパラート、SG……基準像。

【特許請求の範囲】
【請求項1】
サンプルの位相差像を取得する像取得部と、
上記位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出部と、
上記相関分布に応じて上記サンプルの厚みに関する情報を取得する厚み情報取得部と
を有する厚み情報取得装置。
【請求項2】
上記厚み情報取得部は、
上記相関分布における相関が最大となる位置での曲率を算出し、該曲率の程度に応じた上記サンプルの厚みに関する情報を取得する
請求項1に記載の厚み情報取得装置。
【請求項3】
上記厚み情報取得部は、
上記相関分布における相関が最大となる位置の前後での曲率をそれぞれ算出し、該曲率に応じた該相関値が最大となる位置の前後の厚みに関する情報を別々に算出する
請求項1に記載の厚み情報取得装置。
【請求項4】
上記位相差像は、生体サンプルの像である
請求項1乃至3に記載の厚み情報取得装置。
【請求項5】
サンプルの位相差像を取得する像取得ステップと、
上記位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出ステップと、
上記相関分布に応じて上記サンプルの厚みに関する情報を取得する厚み情報取得ステップと
を有する厚み情報取得方法。
【請求項6】
コンピュータに対して、
サンプルの位相差像を取得する像取得ステップと、
上記位相差像における一方の像の各画素に対する他方の像の相関状態を算出する算出ステップと、
上記相関分布に応じて上記サンプルの厚みに関する情報を取得する厚み情報取得ステップと
を実行させる厚み情報取得プログラム。
【請求項7】
対物レンズから入射する光を直進又は反射させるミラーと、
上記対物レンズに結像され、上記ミラーの直進側又は反射側の一方に投影される被写体像を撮像するための第1の撮像素子と、
上記ミラーの直進側又は反射側の他方の後方に一対を単位として設けられ、上記対物レンズの被写体深度よりも広い被写体深度となる大きさとされる開口と、
上記開口の後方にそれぞれ設けられ、上記ミラーの直進側又は反射側の他方に投影される被写体像の予定結像面に対して位相差像を形成するためのセパレータレンズと、
上記予定結像面を撮像面として設けられる第2の撮像素子と、
上記第2の撮像素子から、サンプルの位相差像を取得する像取得部と、
上記位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出部と、
上記相関分布に応じて上記サンプルの厚みに関する情報を取得する厚み情報取得部と
を有する顕微鏡。

【図1】
image rotate

【図3】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図9】
image rotate

【図10】
image rotate

【図2】
image rotate

【図4】
image rotate

【図8】
image rotate


【公開番号】特開2011−133438(P2011−133438A)
【公開日】平成23年7月7日(2011.7.7)
【国際特許分類】
【出願番号】特願2009−295380(P2009−295380)
【出願日】平成21年12月25日(2009.12.25)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】