説明

画像取得装置、画像取得方法及び画像取得プログラム

【課題】蛍光標識が付された生体サンプルを効率よく撮影することが可能となる画像取得装置、画像取得方法及び画像取得プログラムを提供する。
【解決手段】本技術の一形態に係る画像取得装置は、光源と、光学系と、撮像素子と、移動制御部と、データ処理部とを具備する。前記光源は、蛍光標識が付された生体サンプルに当該蛍光標識に対する励起光を照射する。前記光学系は、前記生体サンプルの撮像対象を拡大する対物レンズを含む。前記撮像素子は、前記対物レンズにより拡大される撮像対象の像が結像される。前記移動制御部は、前記撮像対象の厚さの範囲を少なくとも含む撮影範囲で、前記光学系の焦点位置を移動させる。前記データ処理部は、前記焦点位置を前記撮影範囲で移動させる間前記撮像素子を露光させて前記生体サンプルの蛍光像を取得し、当該蛍光像をもとに前記撮像対象の厚さ方向における前記蛍光標識の分布情報を算出する。

【発明の詳細な説明】
【技術分野】
【0001】
本技術は、顕微鏡を用いて画像を取得する画像取得装置、画像取得方法及び画像取得プログラムに関する。
【背景技術】
【0002】
従来、例えば乳がんの治療等において、手術により摘出された組織切片が解析され、その解析結果をもとに手術後に患者に投与される薬剤が選択されるという方式が用いられている。
【0003】
例えば手術により摘出された組織切片が、アボット社のHER−2DNAプローブキットが用いられて蛍光染色される。組織切片に励起光が照射されると、HER2/neu遺伝子から赤色を呈する蛍光が発せられ、アルファサテライトDNA配列から緑色を呈する蛍光が発せられる。従ってHER2/neu遺伝子は赤色を呈する輝点により標識され、アルファサテライトDNA配列は緑色を呈する輝点により標識される。
【0004】
蛍光顕微鏡を用いた診断により赤色の輝点の数と緑色の輝点の数とがそれぞれ数えられる。そして緑色の輝点の数と比べて、赤色の輝点の数が2.2倍以上であれば、HER2陽性反応と判定される。この場合、ロシュ社のハーセプチンという分子標的薬剤が投与されることで、患者の手術後の予後が大幅に良くなると言われている。(非特許文献1参照)。
【0005】
また、特許文献1には、生体サンプルの蛍光像から細胞を標識する輝点を検出する技術が記載されている。特許文献1に記載の生体サンプル像取得装置では、生体サンプルの対象とすべき部位が対物レンズにより拡大されて撮影される。その撮影の際に対物レンズの焦点を適宜移動させることで輝点の検出精度の向上が図られている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2011−107669公報
【非特許文献】
【0007】
【非特許文献1】HER2検査ガイド、第3版、トラスツズマブ病理部会作成、2009年9月、第10頁<FISH法判定方法>
【発明の概要】
【発明が解決しようとする課題】
【0008】
上記したような蛍光顕微鏡を用いた診断等においては、光学系の焦点位置を適切に設定することが重要となる。例えばスライドガラス上に組織切片等の試料が配置され、封入剤を介してカバーガラスが載せられる。このようにして作成されたプレパラートが蛍光顕微鏡のステージ上にセットされる。この際、試料の厚さが一定でないこと、スライドガラスの厚さが一定でないこと、スライドガラスとステージとの間にゴミが挟まってしまうこと等の様々な理由により、ステージに載置されるプレパラートごとに焦点位置の調整が必要となる。
【0009】
一方、蛍光顕微鏡で観察される像の解像度および輝点の輝度は、光学系の開口数(NA)が高いほど高くなる。従って開口数(NA)が高い光学系を用いた顕微鏡のほうが、上記の診断の正確性が高められる傾向にある。しかし、光学系の開口数(NA)を高くすると、焦点深度が狭くなってしまうので、焦点位置を見失いやすい。すなわち上記した焦点位置の調整が困難となる。
【0010】
そこで、例えば焦点深度よりも小さい間隔で焦点位置を変えてその都度画像を撮影し、各撮影画像を分析することで焦点位置を探し出す方法が考えられる。しかし、この方法では多数の画像を撮影する必要があり、撮影枚数分の画像データを保存するための大容量のメモリが必要となる。また焦点位置を算出するために複数の画像データを参照しなければならず、多くの工数がかかり非効率である。
【0011】
以上のような事情に鑑み、本技術の目的は、蛍光標識が付された生体サンプルを効率よく撮影することが可能となる画像取得装置、画像取得方法及び画像取得プログラムを提供することにある。
【課題を解決するための手段】
【0012】
上記目的を達成するため、本技術の一形態に係る画像取得装置は、光源と、光学系と、撮像素子と、移動制御部と、データ処理部とを具備する。
前記光源は、蛍光標識が付された生体サンプルに当該蛍光標識に対する励起光を照射する。
前記光学系は、前記生体サンプルの撮像対象を拡大する対物レンズを含む。
前記撮像素子は、前記対物レンズにより拡大される撮像対象の像が結像される。
前記移動制御部は、前記撮像対象の厚さの範囲を少なくとも含む撮影範囲で、前記光学系の焦点位置を移動させる。
前記データ処理部は、前記焦点位置を前記撮影範囲で移動させる間前記撮像素子を露光させて前記生体サンプルの蛍光像を取得し、当該蛍光像をもとに前記撮像対象の厚さ方向における前記蛍光標識の分布情報を算出する。
【0013】
この画像取得装置では、撮像対象の厚さの範囲を少なくとも含む撮影範囲で光学系の焦点位置が移動させられる。当該移動の間撮像素子が露光され生体サンプルの蛍光像が取得される。そして生体サンプルの蛍光像をもとに、撮像対象の厚さ方向における蛍光標識の分布情報が算出される。これにより例えば蛍光標識を適切に撮影するための焦点位置を容易に算出することが可能となる。この結果、蛍光標識が付された生体サンプルを効率よく撮影することが可能となる。
【0014】
前記移動制御部は、前記撮像対象の厚さ方向に前記焦点位置を移動させるとともに、前記厚さ方向に垂直な面方向に前記焦点位置を移動させてもよい。
【0015】
前記データ処理部は、前記蛍光像の前記蛍光標識の形状をもとに前記分布情報を算出してもよい。
【0016】
前記移動制御部は、前記撮影範囲を前記撮像対象の厚さ方向に分割する複数の分割撮影範囲のそれぞれにおいて、前記光学系の焦点位置を移動させてもよい。その場合、前記データ処理部は、前記複数の分割撮影範囲のそれぞれで取得された複数の蛍光像をもとに前記分布情報を算出してもよい。
【0017】
前記データ処理部は、前記複数の蛍光像のそれぞれの周波数成分を算出し、最大周波数成分が最も高い蛍光像をもとに前記分布情報を算出してもよい。
【0018】
前記データ処理部は、前記複数の蛍光像のそれぞれの輝度を算出し、最大輝度を有する蛍光像をもとに前記分布情報を算出してもよい。
【0019】
前記画像取得装置は、前記算出された分布情報をもとに、前記生体サンプルに対する撮影モードを決定する撮影モード決定部をさらに具備してもよい。
【0020】
本技術の一形態に係る画像取得方法は、蛍光標識が付された生体サンプルに当該蛍光標識に対する励起光を照射することを含む。
前記生体サンプルの撮影対象の厚さの範囲を少なくとも含む撮影範囲で、前記撮像対象を拡大する対物レンズを含む光学系の焦点位置が移動される。
前記焦点位置を前記撮影範囲で移動させる間前記対物レンズにより拡大される撮像対象の像が結像される撮像素子を露光させて、前記生体サンプルの蛍光像が取得される。
前記取得された蛍光像をもとに前記撮像対象の厚さ方向における前記蛍光標識の分布情報が算出される。
【0021】
本技術の一形態に係る画像取得プログラムは、コンピュータに以下の工程を実行させる。
蛍光標識が付された生体サンプルに光源より当該蛍光標識に対する励起光を照射させる。
前記生体サンプルの撮影対象の厚さの範囲を少なくとも含む撮影範囲で、前記撮像対象を拡大する対物レンズを含む光学系の焦点位置を移動させる。
前記焦点位置を前記撮影範囲で移動させる間前記対物レンズにより拡大される撮像対象の像が結像される撮像素子を露光させて、前記生体サンプルの蛍光像を取得する。
前記取得された蛍光像をもとに前記撮像対象の厚さ方向における前記蛍光標識の分布情報を算出する。
【発明の効果】
【0022】
以上のように、本技術によれば、蛍光標識が付された生体サンプルを効率よく撮影することが可能となる。
【図面の簡単な説明】
【0023】
【図1】本技術の一実施形態に係る画像取得装置を示す模式図である。
【図2】図1に示すステージに載置される生体サンプルを側面方向から示した図である。
【図3】図1に示すデータ処理部のハードウェアの構成を示すブロック図である。
【図4】本実施形態に係る生体サンプル像取得処理のための機能ブロック図である。
【図5】図1の画像取得装置による撮像対象の領域を示す図である。
【図6】図1に示すステージが移動した場合の光学系の焦点位置の移動を示す模式的な図である。
【図7】本実施形態に係る焦点位置の移動範囲について詳しく説明するための模式的な図である。
【図8】図7に示す分割撮影範囲のそれぞれにおいて撮影されたサンプル部位の蛍光像を示す模式的な図である。
【図9】本実施形態の実施例として撮影された写真であり、図8に示すそれぞれの蛍光像に相当するものである。
【図10】図4に示す分布情報算出部による算出処理の一例を示すフローチャートである。
【図11】本実施形態の開始位置から合焦像までの角度θを算出する処理の一例を示す図である。
【図12】本実施形態に係る複数の蛍光マーカの分布情報の一例を示すグラフである。
【図13】本実施形態に係る複数の蛍光マーカの分布情報の一例を示すグラフである。
【図14】本実施形態に係る複数の蛍光マーカの分布情報の一例を示すグラフである。
【図15】スライドガラスとステージとの間にゴミ等が挟まってしまう状態を示す模式図である。
【図16】図10に示す分布情報算出部による算出処理の変形例を示すフローチャートである。
【発明を実施するための形態】
【0024】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【0025】
[画像取得装置の構成]
図1は、本技術の一実施形態に係る画像取得装置を示す模式図である。同図に示すように、本実施形態における画像取得装置100は、顕微鏡10と、データ処理部20とを有する。
【0026】
[顕微鏡の構成]
顕微鏡10は、ステージ11、光学系12、光源13及び撮像素子14を有する。ステージ11は、例えば組織切片、細胞、染色体等の生体高分子等の生体サンプルSPLを載置可能な載置面を有し、当該載置面に対してその平行方向(x−y平面方向)及び垂直方向(z軸方向)へ移動可能とされている。
【0027】
載置面の垂直方向(z軸方向)は、生体サンプルSPLの厚さ方向に相当する。載置面の平行方向(x−y平面方向)は、上記厚さ方向に垂直な面方向に相当する。
【0028】
図2は、上記ステージ11に載置される生体サンプルSPLをステージ11の側面方向から示した図である。同図に示すように、生体サンプルSPLは、Z方向に例えば数μmから数十μmの厚さを有し、スライドガラスSG及びカバーガラスCGに挟まれて所定の固定手法により固定されている。スライドガラスSGの厚さは例えば約1mmである。カバーガラスCGの厚さは例えば約0.15〜0.17mmである。
【0029】
生体サンプルSPLは蛍光染色剤によって染色されている。蛍光染色剤は同一の光源から照射される励起光によって蛍光を発する染色剤である。蛍光染色剤としては、例えば、DAPI(4',6-diamidino-2-phenylindole)、SpAqua、SpGreenなどを挙げることができる。
【0030】
生体サンプルSPLが染色されることにより、生体サンプルSPLのターゲットとなる生体組織50に蛍光標識が付されることになる。蛍光標識に対して所定の励起光が照射されると、蛍光標識から所定の蛍光が発せられる。従って生体サンプルSPLが撮影されて蛍光像が生成された場合、ターゲットの生体組織50は所定の色を呈する輝点(以下、「蛍光マーカ55」という)により標識される。
【0031】
図1に戻り、ステージ11の上方には光学系12が配置される。光学系12は、対物レンズ12A、結像レンズ12B、ダイクロイックミラー12C、エミッションフィルタ12D及び励起フィルタ12Eを有する。光源13は、例えば水銀ランプ等の電球やLED(Light Emitting Diode)など、蛍光標識が付された生体サンプルSPLに当該蛍光標識に対する励起光を照射するものである。
【0032】
励起フィルタ12Eは、生体サンプルSPLの蛍光像を得る場合に、光源13から出射された光のうち蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー12Cは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ12Aへ導く。対物レンズ12Aは、当該励起光を生体サンプルSPLへ集光する。そして対物レンズ12A及び結像レンズ12Bは、生体サンプルSPLの像を所定の倍率に拡大し、当該拡大像を撮像素子14の撮像面に結像させる。
【0033】
生体サンプルSPLに励起光が照射されると、生体サンプルSPLの各組織に結合している染色剤が蛍光を発する。この蛍光は、対物レンズ12Aを介してダイクロイックミラー12Cを透過し、エミッションフィルタ12Dを介して結像レンズ12Bへ到達する。エミッションフィルタ12Dは、上記対物レンズ12Aによって拡大された、励起フィルタ12Eを透過した光を吸収し発色光の一部のみが透過する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ12Bにより拡大され、撮像素子14上に結像される。
【0034】
撮像素子14としては、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等が用いられる。撮像素子14は、RGB(Red、Green、Blue)の色別に光を受けて電気信号に変換する光電変換素子を有し、入射光からカラー画像を得るカラーイメージャである。
【0035】
データ処理部20は、光源13を駆動させ、撮像素子14を用いて生体サンプルSPLの蛍光像を取得し、これをサンプルデータとして保存する。
【0036】
[データ処理部の構成]
図3は、データ処理部20のハードウェアの構成を示すブロック図である。データ処理部20は、例えばPC(Personal Computer)等のコンピュータにより構成される。データ処理部20は、撮像素子14より取得した生体サンプルSPLの蛍光像を、例えばJPEG(Joint Photographic Experts Group)等の任意形式のデジタル画像データとして保存する。
【0037】
同図に示すようにデータ処理部20は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、操作入力部24、インターフェイス部25、表示部26及び記憶部27を有し、これら各ブロックがバス28を介して接続されている。
【0038】
ROM22は、各種の処理を実行するためのファームウェア等の複数のプログラムやデータを固定的に記憶する。RAM23は、CPU21の作業用領域として用いられ、OS(Operating System)、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【0039】
記憶部27は、例えばHDD(Hard Disk Drive)や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部27には、OSや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部27には、撮像素子14から取り込まれた蛍光画像データや、蛍光画像データを画像処理する画像処理アプリケーションも記憶される。
【0040】
インターフェイス部25は、顕微鏡10のステージ11、光源13及び撮像素子14をそれぞれ駆動するコントロール基板(ステージ駆動部15、光源駆動部16、撮像制御部17)とそれぞれ接続され、所定の通信規格により当該コントロール基板とデータ処理部20との間で信号のやり取りを行う。
【0041】
CPU21は、ROM22や記憶部27に格納された複数のプログラムのうち、操作入力部24から与えられる命令に対応するプログラムをRAM23に展開し、当該展開されたプログラムにしたがって、表示部26及び記憶部27を適宜制御する。
【0042】
操作入力部24は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。
【0043】
表示部26は、例えば液晶ディスプレイ、EL(Electro-Luminescence)ディスプレイ、プラズマディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等である。当該表示部26は、データ処理部20に内蔵されていてもよいし、データ処理部20に外部接続されていてもよい。
【0044】
[生体サンプル像取得処理]
本実施形態では、生体サンプルSPLのうち撮像対象となる部分の厚さの範囲を含む撮影範囲で、光学系12の焦点位置が移動される。焦点位置が移動する間撮像素子14が露光されることで生体サンプルSPLの蛍光像が取得される。この蛍光像をもとに撮像対象の厚さ方向における蛍光標識の分布情報が算出される。蛍光標識の分布情報は、蛍光マーカ55により標識されるターゲットの生体組織50の分布情報に相当する。
【0045】
算出された分布情報をもとに、例えば蛍光マーカ55を適切に撮影するための焦点位置を容易に算出すること等が可能となる。この結果、蛍光マーカ55が付された生体サンプルSPLを効率よく撮影することが可能となる。以下、詳しく説明する。
【0046】
データ処理部20のCPU21はROM22や記憶部27に格納された複数のプログラムのうち、操作入力部24から与えられる命令に対応するプログラムをRAM23に展開する。CPU21は、この展開されたプログラム(画像取得プログラム)に基づいて生体サンプル像取得処理を実行する。
【0047】
図4はこの生体サンプル像取得処理のための機能ブロック図である。同図において、ステージ制御部31(移動制御部)は、生体サンプルSPLの撮像対象とすべき部位(以下、これをサンプル部位とも呼ぶ)が撮像範囲に位置するようステージ11を順次移動させて、例えば図5に示すように、該撮像範囲ARに対して生体サンプルSPLを割り当てる。なお、図5では、撮像範囲ARに割り当てるべき生体サンプルSPLの領域が重ならない態様となっているが、隣接する領域の一部が重なる態様であってもよい。
【0048】
また、ステージ制御部31は、対象とすべきサンプル部位が撮像範囲ARに移動されるごとに、ステージ11を移動する。これによりサンプル部位に対する光学系の焦点が移動する。本実施形態ではステージ11の移動が制御されることで、サンプル部位の厚さ方向(z軸方向(対物レンズ12Aの光軸方向)に焦点が移動するとともに、当該厚さ方向に垂直な面方向(x−y平面方向)に焦点が移動する。
【0049】
具体的な例として、ステージ制御部31は、ステージ11の位置を次式に従って移動させる。
【0050】
【数1】

【0051】
式(1)及び式(2)に示すように、ステージ11は、x−y平面上において座標(x0,y0)を中心とした半径Lの円に沿って移動させられる。中心座標(x0,y0)の位置及び半径Lの大きさは、撮像範囲ARが撮影可能であるのなら任意に設定されてよい。
【0052】
式(1)及び(2)中のtexは露光時間を示す。すなわちステージ11は、撮像素子14により露光されている間、円移動させられる。言い換えれば、本実施形態では、ステージ11を円移動させている間撮像素子14が露光される。
【0053】
式(3)に示すように、ステージ11は、z軸方向に沿っても移動させられる。ステージ11は、撮像素子14の露光時間に合わせて移動開始位置であるzstartから、移動終了位置であるzendまで等速で移動される。
【0054】
図6は、ステージ11が移動させられた場合の光学系の焦点位置の移動を示す模式的な図である。図6(A)及び(B)に示すように、焦点位置を含む焦点面FPは、z軸方向に沿ってzstartからzendまで移動させられる。それとともに、x−y平面上では中心座標(x0,y0)を中心として円移動させられる。
【0055】
画像取得部32(露光制御部)は、対象とすべきサンプル部位をステージ制御部31が撮像範囲ARに移動するごとに、ステージ11の移動が開始された時点から終了する時点まで撮像素子14を露光させるように撮像制御部17に指令を送る。
【0056】
画像取得部32は、ステージ11の移動が終了する時点で、当該移動終了時点と移動開始時点との間の露光により得られるサンプル部位の像を撮像制御部17を介して撮像素子14から取得する。そして画像取得部32は、各撮像範囲ARに割り当てられるサンプル部位の像を、所定の連結アルゴリズムを用いて連結することによって全体の生体サンプル像を生成する。
【0057】
図7は、本実施形態に係る焦点位置の移動範囲について詳しく説明するための模式的な図である。図7に示すように、本実施形態では、サンプル部位の厚さの範囲Tを少なくとも含む撮影範囲Lをz軸方向に分割する複数の分割撮影範囲(Zscan_1〜3)が設定される。これらの分割撮影範囲のそれぞれにおいて、上記した焦点位置の移動制御が行われる。すなわちそれぞれの分割撮影範囲において、zstart(1〜3)とzend(1〜3)とが設定される(図7(B)参照)。
【0058】
分割撮影範囲のz軸方向における大きさは、例えば20μm〜50μmである。しかしながらこの数値に限定されない。また分割撮影範囲の数も限定されない。またサンプル部位の厚さの範囲Tを少なくとも含む撮影範囲Lの大きさも限定されない。
【0059】
撮像範囲ARに対して所定のサンプル部位が割り当てられた状態で、複数の分割撮影範囲のそれぞれにて焦点位置が移動させられる。そして分割撮影範囲ごとに蛍光像が取得される。従って所定のサンプル部位に対して3つの蛍光像が取得されることになる。
【0060】
例えば所定のサンプル部位が割り当てられた状態で連続して3つの蛍光像が撮影されてもよい。あるいは、1つの分割撮影範囲にて生体サンプルSPLの全体の撮影が行われ、その後に他の分割撮影範囲での撮影が実行されてもよい。
【0061】
図8は、図7に示すZscan_1〜3のそれぞれにおいて撮影されたサンプル部位の蛍光像を示す模式的な図である。図9は、本実施形態の実施例として撮影された写真であり、図8に示すそれぞれの蛍光像に相当するものである。図9に示す写真は、半径Lが15μm、z軸方向の移動量(zend−zstart)が20μm、撮像素子14を露光させて画像を取り込む時間が1secの条件で撮影された蛍光像である。その他、ガンマ値等の撮影条件も適宜調整される。
【0062】
図7に示すように、Zscan_1及び3は、z軸方向において蛍光マーカ55を含まない範囲である。従ってこの範囲で撮影された蛍光像であるimage_Zscan1及び3では、図8及び図9に示すように、蛍光マーカ55の像は非常のぼやけてしまっている(それぞれの図の(A)と(C))。
【0063】
一方、Zscan_2にて撮像された蛍光像であるimage_Zscan2では、蛍光マーカ55の位置から近い範囲で焦点位置が移動される。従って撮影されたimage_Zscan2では、図8及び図9の(B)に示すように、焦点位置の移動にともなう蛍光マーカ55の軌跡の像が写されている。
【0064】
分布情報算出部33は、画像取得部32により生成された生体サンプルSPLの蛍光像をもとに、サンプル部位の厚さ方向における蛍光マーカ55の分布情報を算出する。本実施形態では、図8及び図9に示す、Zscan_1〜3のそれぞれにおいて撮影された複数の蛍光像をもとに分布情報が算出される。
【0065】
図10は、分布情報算出部33による算出処理の一例を示すフローチャートである。本実施形態では、Zscan_1〜3のそれぞれにおいて撮影された複数の蛍光像に対して周波数解析が実行される(ステップ101)。これにより、複数の蛍光像(image_Zscan1〜3)のそれぞれ空間周波数が算出される。
【0066】
各蛍光像の最大周波数成分が比較され、最大周波数成分が最も高い蛍光像が選択される(ステップ102)。図8及び図9に示すように、image_Zscan1及び3では蛍光マーカ55の像がぼやけている。一方、image_Zscan2には蛍光マーカ55の軌跡の像が写されている。従って、ステップ102において、最大周波数が最も高い蛍光像としてimage_Zscan2が選択される。
【0067】
最大周波数が最も高いimage_Zscan2の蛍光マーカ55の軌跡の像が解析される(ステップ103)。すなわち本実施形態では、image_Zscan2の蛍光マーカ55の形状が解析される。
【0068】
分布情報算出部33は、画像取得部32により生成されたimage_Zscan2から、ターゲットとされる生体組織50を標識する蛍光マーカ55(以下「標的マーカ」とも呼ぶ。また蛍光マーカ55aと記載する)を検出する。
【0069】
分布情報算出部33には、例えば、設定情報として、標的マーカが呈する色(以下「標的マーカ色」と呼ぶ。)と、細胞核を標識する蛍光マーカ55(以下「核マーカ」と呼ぶ。)が呈する色(以下「核マーカ色」と呼ぶ。)とが設定される。
【0070】
また、対照とすべき遺伝子を標識する蛍光マーカ55(以下「対照マーカ」と呼ぶ。また蛍光マーカ55bと記載する)が用いられている場合、該対照とすべき遺伝子が正常の細胞核内に存在する数が設定される。またこの場合、対照遺伝子を標識する蛍光マーカが呈する色(以下「対照マーカ色」と呼ぶ。)も設定される。
【0071】
これら設定情報は、蛍光染色に使用すべきプローブの製造元や、蛍光マーカの種などの使用条件によって一義的に決まる。具体的には、例えばアボット社のHER−2DNAプローブキットの場合、HER2遺伝子の標的マーカ色は「赤」として設定され、核マーカ色は「青」として設定される。またこの場合、染色体上のHER2遺伝子の隣に位置する遺伝子が対照遺伝子とされ、該対照遺伝子の対照マーカ色は「緑」として設定される。
【0072】
分布情報算出部33は、設定された各マーカ色を呈し、かつ閾値以上の輝度を検出することで、蛍光マーカ55の形状(面積)や数等を検出する。そして当該蛍光マーカ55の形状を解析することで、複数の蛍光マーカ55の分布情報を算出する。
【0073】
図8(B)には、例として2つの蛍光マーカ55a及び55bが図示されている。上記したように光学系12の焦点位置が移動される間、撮像素子14が露光されることでimage_Zscan2が生成される。ステージ11の面方向であるx−y平面において焦点位置は円移動されるので、蛍光マーカ55a及び55bは円Oに沿って移動する。すなわち焦点移動の開始位置zstartから終了位置zendまで蛍光マーカ55a及び55bの軌跡は半円を描く(ここでは露光時間の間焦点位置が半円上を移動する場合が図示されている)。
【0074】
光学系12の焦点位置は、z軸方向にも上方に向けてZscan_2の範囲で移動される。その移動の間のいずれかの焦点位置で、蛍光マーカ55a及び55bのそれぞれに対する焦点が最も合うことになる。最も焦点が合っている状態では、蛍光マーカ55a及び55bの像の面積は最も小さくなり、輝度が最も高くなる。この面積が最も小さい像を合焦像60と記載する。
【0075】
本実施形態では、開始位置zstartから合焦像60までの角度θが算出され、この角度θをもとにサンプル部位の厚さ方向における蛍光マーカ55の分布情報が算出される。
【0076】
例えば図(B)に示す蛍光マーカ55bでは、半円を描く蛍光マーカ55bの軌跡の中間位置に合焦像60が存在する。角度θは約90度となる。この場合、焦点位置がZscan_2の中間に移動したときに最も焦点が合っていることになる。従って蛍光マーカ55bが、Zscan_2の中間に位置していることが分かる。
【0077】
もう一方の蛍光マーカ55aを見ると、半円を描く蛍光マーカ55aの軌跡の中間位置から終了位置zendに近い位置に合焦像60が存在する。角度θは約135度となる。この場合、焦点位置がZscan_2の中間をこえて上部に移動したときに最も焦点が合っていることになる。従って蛍光マーカ55aが、Zscan_2の上部側に位置していることが分かる。
【0078】
開始位置zstartから合焦像60までの角度θが小さいほど、蛍光マーカ55は、開始位置zstartに近い位置に存在することになる。すなわち蛍光マーカ55は、生体サンプルSPL内のステージ11に近い側に位置することになる。
【0079】
一方、角度θが大きいほど、蛍光マーカ55は、終了位置zendに近い位置に存在することになる。すなわち蛍光マーカ55は、生体サンプルSPL内のステージ11から離れた側に位置することになる。
【0080】
図11は、本実施形態の開始位置zstartから合焦像60までの角度θを算出する処理の一例を示す図である。
【0081】
撮影された画像70から解析対象となる蛍光マーカ55の像がトリミング処理により切り取られる(ステップ201)。切り取られたトリミング画像75は、理論的な画像とマッチング処理される。
【0082】
図11に示すように、本実施形態では、理論的な画像のファイルが記憶部27等に記憶されている。このファイルには、0度から359度までの角度にそれぞれ紐付けられた複数の理論的な画像80が格納されている。本実施形態では、紐付けられた角度の大きさがその理論的な画像80の識別番号となっている。
【0083】
理論的な画像80を作成するための、波長、開口数、倍率、画素ピッチ等は適宜設定されてよい。またどの角度を0度として設定するか、また何度ごとに理論的な画像を準備するか等も適宜設定可能である。例えば1度ごとに理論的な画像80を準備する場合、359枚の理論的な画像80が作成されることになる。
【0084】
これら複数の理論的な画像80と、トリミング画像75との相関係数が計算される(ステップ202)。そして最も相関係数が高い理論的な画像80の識別番号が算出される(図11のグラフ参照)。撮影画像70の複数の蛍光マーカ55について、最も相関係数が高くなる理論的な画像80の識別番号がそれぞれ算出される。複数の蛍光マーカ55に対応付けられた識別番号のリストが生成されそのファイルが記憶部27等に記憶される(ステップ203)。
【0085】
それぞれの蛍光マーカ55に応じて算出された理論的な画像80の識別番号(角度)をもとに、上記した開始位置zstartから合焦像60までの角度θが適宜算出される。例えば当該角度θが識別番号としての角度と一致するように理論的な画像80が準備されてもよい。あるいは識別番号としての角度により、蛍光マーカ55の形状が判別され、そこから改めて開始位置zstartから合焦像60までの角度θが算出されてもよい。なお、開始位置zstartから合焦像60までの角度θを算出する方法は図11に示すものに限定されず、他の方法が用いられてもよい。
【0086】
複数の蛍光マーカ55のそれぞれについて算出された開始位置zstartから合焦像60までの角度θをもとに、サンプル部位の厚さ方向における蛍光マーカ55の分布情報が算出される(ステップ104)。すなわち本実施形態では、蛍光マーカ55ごとにz軸方向での位置情報が算出されるので、複数の蛍光マーカ55の分布情報が算出可能となる。
【0087】
図12から図14は、複数の蛍光マーカ55の分布情報の一例を示すグラフである。このように蛍光マーカ55の分布情報は、ヒストグラム形式のデータとして生成可能である。これらのグラフでは、横軸がz軸方向での位置、縦軸が蛍光マーカ55の数を示している。
【0088】
本実施形態では、横軸を対物レンズの焦点深度Fの半分の大きさ(F/2)で区切り、各範囲に含まれる蛍光マーカ55の数がカウントされている。横軸の分解能は、F/2に限定されず、焦点深度よりも小さい値が適宜設定されればよい。また焦点深度よりも大きい値が設定されてもかまわない。
【0089】
すなわち光学系12の焦点位置を横軸のある範囲内に設定すると、その範囲に含まれる蛍光マーカ55の合焦像が撮影される。その他の範囲に含まれる蛍光マーカ55は、焦点位置から遠い位置にあるものほど、ぼけて撮影される。
【0090】
このような蛍光マーカ55の分布情報をもとに、生体サンプルSPLの撮影が行われる。蛍光マーカ55の分布情報が参照可能であるので、撮影モードや撮影目的に合わせた効率のよい高精度の撮影が可能となる。
【0091】
例えば生体サンプルSPLに存在する複数の蛍光マーカ55のうち、ある程度の数の蛍光マーカ55にピントが合っていればよいような蛍光像を撮影することが目的であるとする。この場合、図12に示すように、最も蛍光マーカ55の数が多い範囲に含まれる位置Aに焦点位置を合わせた撮影を1回行えばよいと判断される。これにより高精度の蛍光像を撮影することが可能となる。
【0092】
生体サンプルSPLに含まれる蛍光マーカ55全体の数や種類等を定量的に観察することが目的であるとする。この場合、分布情報より蛍光マーカ55が位置する全体範囲Bを算出し、全体範囲Bをスキャンすることで、全ての蛍光マーカ55がもれなく撮影された蛍光像を撮像することが可能である。
【0093】
例えば焦点位置を全体範囲Bの始点と終点まで移動させる間、撮像素子14を露出することで、1つの蛍光像が撮影されてもよい。または、図13に示すように、全体範囲Bの両側に所定のマージンMを加えた延長範囲Cにて焦点位置が移動されてもよい。これにより全体範囲Bの中間に位置する蛍光マーカ55の像と、端に位置する蛍光マーカ55の像とが、略同様にぼけて撮影される。すなわち全体の蛍光マーカ55が略同様の大きさ及び輝度で撮影されるので、蛍光マーカ55の測定精度を向上させることができる。
【0094】
1つのサンプル部位に対して、z軸方向における異なる焦点位置で複数の蛍光像を撮影する、いわゆるZ-stackと呼ばれる撮影モードがある。このZ-stackが行われる場合でも、分布情報が適宜利用可能である。例えば図13に示す全体範囲Bを参照することで、Z-stackを実行する範囲が定められる。またグラフを参照することで、異なる焦点位置の間隔や撮影枚数等を適宜設定することできる。例えば横軸を区切る範囲に合わせてZ-stackが実行されてもよい。このように分布情報を参照することで高精度の蛍光像を撮影することができる。
【0095】
図14に示すように、蛍光マーカ55の分布が2つの山に分かれるようなグラフとなる場合も考えられる。すなわち異なる2つの位置の付近に、それぞれ蛍光マーカ55が集中している場合等である。このような場合に、ある程度の数の蛍光マーカ55にピントが合っていればよいということで、中間位置にて1回の撮影を行ってしまうと撮影が失敗してしまう可能性がある。
【0096】
分布情報が参照されることで、各山に含まれる位置D及び位置Eが焦点位置として算出される。それらの位置に焦点位置が合わせられ、計2回の撮影が実行されることで、撮影失敗のない、高精度の蛍光像を撮影することができる。
【0097】
図4に示すデータ記録部34は、画像取得部32により生成されたサンプル部位毎の生体サンプル像を連結して1つの生体サンプル画像を生成し、JPEG(Joint Photographic Experts Group)など所定の圧縮形式のサンプルデータに符号化してデータ記憶部35に記録する。この処理は分布情報算出部33による分布情報の算出の前に行われてもよい。
【0098】
またデータ記録部34は、分布情報算出部33により算出された分布情報を受けて、そのデータをデータ記憶部35にサンプルデータと関連付けて記録する。
【0099】
その他データ記憶部35には、例えば分布情報算出部33による蛍光マーカ55の測定結果データ(蛍光マーカの面積、数、種類等)、生体サンプルSPLの採取者名、採取者性別、採取者年齢及び採取日付などの情報が記録されてもよい。
【0100】
以上、本実施形態に係る画像取得装置100は、サンプル部位の厚さの範囲Tを少なくとも含む撮影範囲Lで光学系12の焦点位置が移動させられる。当該移動の間撮像素子14が露光され生体サンプルSPLの蛍光像が取得される。そして生体サンプルSPLの蛍光像をもとに、サンプル部位の厚さ方向(z軸方向)における蛍光マーカ55の分布情報が算出される。これにより例えば撮影モードや撮影目的に合った、蛍光マーカ55を適切に撮影するための焦点位置を容易に算出することが可能となる。この結果、蛍光マーカ55が付された生体サンプルSPLを効率よく撮影することが可能となる。
【0101】
例えば焦点深度よりも小さい間隔で焦点位置を変えてその都度画像を撮影し、各撮影画像を分析することで焦点位置を探し出す方法を想定する。この方法では多数の画像を撮影する必要があり、撮影枚数分の画像データを保存するための大容量のメモリが必要となる。また焦点位置を算出するために複数の画像データを参照しなければならず、多くの工数がかかり非効率である。
【0102】
具体的には、NAを0.8とした場合においては、焦点深度は約1μm程度となる。そして焦点位置を捜すために、焦点位置を例えば1μmずつ変えながら複数枚の画像撮影を行い、その画像を分析することにより焦点位置を捜すこととする。その場合50μmをこえる範囲を1μmずつ焦点位置を変化させた測定を行うと50枚以上の画像を撮影し、記録する必要がある。イメージャに14bitで24Mpixのイメージャを用いた場合においては、1枚の画像ファイルがtif方式で約100MBの容量となる。従って50枚以上の画像を処理する場合には、5GB以上のメモリを要することとなるので、工程が煩雑となる。
【0103】
本実施形態では、図7に示すように、3つの分割撮影範囲としてZscan_1〜3が設定された。このように焦点深度よりも大きい範囲が設定され、少ない回数の撮影により分布情報が算出される。これにより大幅に撮影枚数を削減した焦点位置の探索が可能となる。
【0104】
図7では、生体サンプルSPLが位置しない範囲も含めて撮影範囲Lが設定されている(Zscan_1及び3)。例えば図15に示すように、スライドガラスSGとステージ11との間に毛髪等のゴミ90(例えば約20μm〜50μmの大きさ)等が挟まってしまう場合がある。このような場合に、例えばスライドガラスSGの厚さのみを考慮して撮影範囲Lを設定すると焦点位置を見失ってしまう可能性が高い。従って生体サンプルSPLが位置しない範囲も含めて撮影範囲Lを適宜設定することで、蛍光マーカ55の分布情報を高精度に算出することが可能となる。上記したように少ない撮影枚数で焦点位置を探索することが可能なので、撮像範囲Lを大きく設定することが可能である。
【0105】
自動的に焦点位置を探索及び調整する場合においては、イメージャ上のゴミ、イメージャの欠陥と、スライドガラスGS上の蛍光の輝点とを誤認識してしまい、焦点位置が異なる位置を合焦点位置であると判断してしまうというエラー発生もあり得る。
【0106】
本実施形態では、図10に示すステップ101及び102にて、image_Zscan1〜3のそれぞれの空間周波数が算出され、最大周波数が最も高い画像が選択された。このように周波数成分が解析され比較されることで、イメージャ(撮像素子14)上のゴミやイメージャの欠陥等の影響を受けずに、蛍光マーカ55の合焦像60を含む画像(image_Zscan2)を選択することが可能となる。
【0107】
<変形例>
本技術に係る実施形態は、上記で説明した実施形態に限定されず種々変形される。
【0108】
図16は、図10に示す分布情報算出部33による算出処理の変形例を示すフローチャートである。本変形例では、image_Zscan1〜3のそれぞれにおいて輝度が算出される(ステップ301)。そして最大輝度を有する蛍光像が選択され(ステップ302)、その蛍光像に対して蛍光マーカ解析処理が実行される(ステップ303)。このように複数の分割撮影範囲にてそれぞれ撮影された蛍光像の輝度をもとに、分布情報の算出処理の対象となる蛍光像が選択されてもよい。これにより演算量を抑えることができる。
【0109】
上記の実施形態では、図7に示すように、撮影範囲Lを分割する複数の分割撮影範囲が設定され、当該分割撮影範囲ごとに蛍光像が撮影された。しかしながら撮影範囲L全体でステージを移動させて、1回の撮影で蛍光像が生成されてもよい。そしてその蛍光像をもとに蛍光マーカ55の分布情報が算出されてもよい。
【0110】
例えば100μm程度の撮影範囲Lに対して1回の撮影が実行されてもよい。これにより演算量の軽減、処理速度の向上等を図ることができる。分割撮影範囲の設定の有無は、例えば撮影範囲Lの大きさや撮像素子14の精度等をもとに判断されればよい。
【0111】
上記では、撮影モードや撮影目的に合わせて適宜分布情報を利用することができることを説明した。逆に分布情報に基づいて、最適な撮影モードや撮影目的が選択されてもよい例えば複数の蛍光マーカ55が焦点深度の範囲内に集まっている場合は、焦点位置が固定された1回の撮影が選択される。複数の蛍光マーカ55が分散している場合は、Z-stackによる撮影が選択されるといった等の判断処理が実行されてもよい。この際、例えばデータ処理部20が、撮影モード決定部として機能する。
【0112】
また蛍光マーカ55のうち、標的マーカ(赤色)のみ、あるいは対照マーカ(緑)のみが、分布情報算出の対象として設定されてもよい。これらの設定は、例えばユーザの操作により入力されてもよい。
【0113】
また蛍光像に写されている蛍光マーカ55の全てにおいて位置情報が算出されなくてもよい。すなわち蛍光マーカ55が間引かれて選択され、その位置情報をもとに分布情報が算出されてもよい。
【0114】
なお、上述の実施形態の顕微鏡10の構成において、対物レンズ12Aは接眼レンズとすることもできる。
【0115】
また、上述の実施形態では、焦点位置を移動させるためにステージ11を移動させることとしたが、光学系12の対物レンズ12Aを移動させるようにしてもよい。
【0116】
上述の実施の形態では、データ処理部20にデータ記憶部35を設けて、これに生体サンプル像と蛍光マーカ55の分布情報等を記録することとしたが、外部の記憶装置に記録するようにしてもよい。
【0117】
顕微鏡10とデータ処理部20との接続には、バス伝送路の他、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線又は無線の伝送媒体を用いることができる。
【0118】
なお、本技術は以下のような構成も採ることができる。
【0119】
(1)蛍光標識が付された生体サンプルに当該蛍光標識に対する励起光を照射する光源と、
前記生体サンプルの撮像対象を拡大する対物レンズを含む光学系と、
前記対物レンズにより拡大される撮像対象の像が結像される撮像素子と、
前記撮像対象の厚さの範囲を少なくとも含む撮影範囲で、前記光学系の焦点位置を移動させる移動制御部と、
前記焦点位置を前記撮影範囲で移動させる間前記撮像素子を露光させて前記生体サンプルの蛍光像を取得し、当該蛍光像をもとに前記撮像対象の厚さ方向における前記蛍光標識の分布情報を算出するデータ処理部と
を具備する画像取得装置。
(2)前記(1)に記載の画像取得装置であって、
前記移動制御部は、前記撮像対象の厚さ方向に前記焦点位置を移動させるとともに、前記厚さ方向に垂直な面方向に前記焦点位置を移動させる
画像取得装置。
(3)前記(1)又は(2)に記載の画像取得装置であって、
前記データ処理部は、前記蛍光像の前記蛍光標識の形状をもとに前記分布情報を算出する
画像取得装置。
(4)前記(1)から(3)のうちいずれか1つに記載の画像取得装置であって、
前記移動制御部は、前記撮影範囲を前記撮像対象の厚さ方向に分割する複数の分割撮影範囲のそれぞれにおいて、前記光学系の焦点位置を移動させ、
前記データ処理部は、前記複数の分割撮影範囲のそれぞれで取得された複数の蛍光像をもとに前記分布情報を算出する
画像取得装置。
(5)前記(4)に記載の画像取得装置であって、
前記データ処理部は、前記複数の蛍光像のそれぞれの周波数成分を算出し、最大周波数成分が最も高い蛍光像をもとに前記分布情報を算出する
画像取得装置。
(6)前記(4)に記載の画像取得装置であって、
前記データ処理部は、前記複数の蛍光像のそれぞれの輝度を算出し、最大輝度を有する蛍光像をもとに前記分布情報を算出する
画像取得装置。
(7)前記(1)から(6)のうちいずれか1つに記載の画像取得装置であって、
前記算出された分布情報をもとに、前記生体サンプルに対する撮影モードを決定する撮影モード決定部を
さらに具備する画像取得装置。
【符号の説明】
【0120】
SPL…生体サンプル
FP…焦点面
T…サンプル部位の厚さの範囲範囲
L…撮影範囲
Zscan_1〜3…分割撮影範囲
image_Zscan1〜3…蛍光像
10…顕微鏡
12…光学系
13…光源
14…撮像素子
20…データ処理部
31…ステージ制御部
32…画像取得部
33…分布情報算出部
50…生体組織
55…蛍光マーカ
100…画像取得装置

【特許請求の範囲】
【請求項1】
蛍光標識が付された生体サンプルに当該蛍光標識に対する励起光を照射する光源と、
前記生体サンプルの撮像対象を拡大する対物レンズを含む光学系と、
前記対物レンズにより拡大される撮像対象の像が結像される撮像素子と、
前記撮像対象の厚さの範囲を少なくとも含む撮影範囲で、前記光学系の焦点位置を移動させる移動制御部と、
前記焦点位置を前記撮影範囲で移動させる間前記撮像素子を露光させて前記生体サンプルの蛍光像を取得し、当該蛍光像をもとに前記撮像対象の厚さ方向における前記蛍光標識の分布情報を算出するデータ処理部と
を具備する画像取得装置。
【請求項2】
請求項1に記載の画像取得装置であって、
前記移動制御部は、前記撮像対象の厚さ方向に前記焦点位置を移動させるとともに、前記厚さ方向に垂直な面方向に前記焦点位置を移動させる
画像取得装置。
【請求項3】
請求項1に記載の画像取得装置であって、
前記データ処理部は、前記蛍光像の前記蛍光標識の形状をもとに前記分布情報を算出する
画像取得装置。
【請求項4】
請求項1に記載の画像取得装置であって、
前記移動制御部は、前記撮影範囲を前記撮像対象の厚さ方向に分割する複数の分割撮影範囲のそれぞれにおいて、前記光学系の焦点位置を移動させ、
前記データ処理部は、前記複数の分割撮影範囲のそれぞれで取得された複数の蛍光像をもとに前記分布情報を算出する
画像取得装置。
【請求項5】
請求項4に記載の画像取得装置であって、
前記データ処理部は、前記複数の蛍光像のそれぞれの周波数成分を算出し、最大周波数成分が最も高い蛍光像をもとに前記分布情報を算出する
画像取得装置。
【請求項6】
請求項4に記載の画像取得装置であって、
前記データ処理部は、前記複数の蛍光像のそれぞれの輝度を算出し、最大輝度を有する蛍光像をもとに前記分布情報を算出する
画像取得装置。
【請求項7】
請求項1に記載の画像取得装置であって、
前記算出された分布情報をもとに、前記生体サンプルに対する撮影モードを決定する撮影モード決定部を
さらに具備する画像取得装置。
【請求項8】
蛍光標識が付された生体サンプルに当該蛍光標識に対する励起光を照射し、
前記生体サンプルの撮影対象の厚さの範囲を少なくとも含む撮影範囲で、前記撮像対象を拡大する対物レンズを含む光学系の焦点位置を移動させ、
前記焦点位置を前記撮影範囲で移動させる間前記対物レンズにより拡大される撮像対象の像が結像される撮像素子を露光させて、前記生体サンプルの蛍光像を取得し、
前記取得された蛍光像をもとに前記撮像対象の厚さ方向における前記蛍光標識の分布情報を算出する
画像取得方法。
【請求項9】
蛍光標識が付された生体サンプルに光源より当該蛍光標識に対する励起光を照射させ、
前記生体サンプルの撮影対象の厚さの範囲を少なくとも含む撮影範囲で、前記撮像対象を拡大する対物レンズを含む光学系の焦点位置を移動させ、
前記焦点位置を前記撮影範囲で移動させる間前記対物レンズにより拡大される撮像対象の像が結像される撮像素子を露光させて、前記生体サンプルの蛍光像を取得し、
前記取得された蛍光像をもとに前記撮像対象の厚さ方向における前記蛍光標識の分布情報を算出する
ことをコンピュータに実行させる画像取得プログラム。

【図1】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図10】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図2】
image rotate

【図8】
image rotate

【図9】
image rotate

【図11】
image rotate


【公開番号】特開2013−114042(P2013−114042A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−260271(P2011−260271)
【出願日】平成23年11月29日(2011.11.29)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】