画像処理装置、画像処理システム、画像処理方法及びプログラム
【課題】試料中のターゲットの深さ位置を、大容量のメモリを必要とすることなく検出すること。
【解決手段】画像処理装置２０は、ステージ１１をＺ方向へ移動させながら撮像素子３０を露光させることで、蛍光マーカＭを示す第１の輝点を含む試料ＳＰＬの第１の画像を取得し、ステージ１１をＺ方向へ第１の速度で等速移動させるとともにＸ方向へ第２の速度で等速移動させながら撮像素子３０を露光させることで、上記蛍光マーカＭを示す第２の輝点を含む第２の画像を取得し、第１の画像と第２の画像の合成画像内で、第１の輝点と第２の輝点との間の距離Ｄを算出し、当該距離Ｄと、上記第１の速度及び第２の速度とを基に、試料ＳＰＬ中の蛍光マーカＭの高さｈを算出する。
【解決手段】画像処理装置２０は、ステージ１１をＺ方向へ移動させながら撮像素子３０を露光させることで、蛍光マーカＭを示す第１の輝点を含む試料ＳＰＬの第１の画像を取得し、ステージ１１をＺ方向へ第１の速度で等速移動させるとともにＸ方向へ第２の速度で等速移動させながら撮像素子３０を露光させることで、上記蛍光マーカＭを示す第２の輝点を含む第２の画像を取得し、第１の画像と第２の画像の合成画像内で、第１の輝点と第２の輝点との間の距離Ｄを算出し、当該距離Ｄと、上記第１の速度及び第２の速度とを基に、試料ＳＰＬ中の蛍光マーカＭの高さｈを算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像情報を処理する画像処理装置、当該画像処理装置を有する画像処理システム、当該画像処理装置における画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
医療または病理の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の試料の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。このようなシステムは一般にバーチャル顕微鏡と呼ばれている。
【０００３】
例えば下記特許文献１に記載の方法では、顕微鏡のステージ上に載置されたスライド標本から光学的に得られた画像が、ＣＣＤ（Charge Coupled Device）を搭載したビデオカメラによりデジタル化され、そのデジタル信号がＰＣ（Personal Computer）に入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３７２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記バーチャル顕微鏡システムにおいては、試料の深さ方向（焦点方向）に所定間隔毎に焦点を移動させて画像データを取得することで、例えば１つの細胞核中に存在する蛍光染色されたターゲット（蛍光マーカ）の深さ方向の位置を検出することも行われる。しかしながら、この方法では、上記所定間隔毎に複数枚の画像データを保存する必要があり（スライドガラスのほぼ一面に試料が存在する場合、一枚の画像データあたりのデータ量は４ＧＢ程度）、データ容量が大きくなってしまうため、大容量のメモリが必要となる。
【０００６】
以上のような事情に鑑み、本発明の目的は、試料中のターゲットの深さ位置を、大容量のメモリを必要とすることなく容易に検出可能な画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一形態に係る画像処理装置は、インターフェイス部と、制御部と、メモリとを有する。上記インターフェイス部は、顕微鏡と接続する。当該顕微鏡は、マーキングされたターゲットを含む試料が載置される載置面を有するステージと、上記試料の像を拡大する対物レンズと、上記対物レンズで拡大された上記試料の像を結像する撮像素子とを有する。上記制御部は、上記インターフェイス部を介して、上記対物レンズの焦点を、所定の基準位置から上記載置面の垂直方向へ移動させるとともに、上記焦点の上記垂直方向への移動の間、上記撮像素子を露光させることで、上記ターゲットを表す第１の輝点を含む第１の画像を取得する。また制御部は、上記インターフェイス部を介して、上記焦点を、上記基準位置から上記垂直方向へ第１の速度で等速移動させながら上記載置面の平行方向へ第２の速度で等速直線移動させるとともに、上記焦点の上記垂直方向及び上記平行方向への移動の間、上記撮像素子を露光させることで、上記ターゲットを表す第２の輝点を含む第２の画像を取得する。さらに制御部は、上記取得された第１の画像及び第２の画像を基に、上記試料中の上記垂直方向における上記ターゲットの位置を算出する。上記メモリは、上記取得された上記第１の画像及び上記第２の画像を保持する。
【０００８】
本発明では、上記焦点が上記垂直方向及び平行方向に移動されながら撮像素子が露光されることで、上記第２の画像においては、異なる焦点毎に、ターゲットの像がぼやけた状態から徐々にはっきりした状態へと変化する様子が表れることになる。そして、この第２の画像において、ターゲットに最も焦点が合った位置では、ターゲットの像の輝度が最も大きくなり、上記第２の輝点として表れる。
【０００９】
この構成により、画像処理装置は、２回の露光により第１の画像と第２の画像を取得するだけで、メモリの容量を削減しながら、試料中のターゲットの垂直方向における位置を高精度かつ容易に検出することができる。
【００１０】
上記制御部は、上記第１の画像及び第２の画像を基に、上記平行方向における上記第１の輝点と上記第２の輝点との間の距離を算出し、当該距離と上記第１の速度と上記第２の速度とを基に、上記ターゲットの位置を算出してもよい。
【００１１】
これにより画像処理装置は、第１の画像及び第２の画像から上記平行方向における第１の輝点と第２の輝点との距離を算出するだけで、ターゲットの垂直方向における位置を高精度かつ容易に検出することができる。
【００１２】
上記第１の速度は、上記第２の速度よりも大きくてもよい。
【００１３】
これにより、第２の画像において、異なる焦点毎のターゲットの像が重なる範囲が小さくなるため、上記第２の輝点の位置がより容易に検出される。
【００１４】
上記制御部は、上記第１の画像と上記第２の画像とを合成した合成画像を生成し、当該合成画像を用いて上記距離を算出してもよい。
【００１５】
これにより画像処理装置は、合成画像上で第１の輝点と第２の輝点との間の距離を計測することで、ターゲットの垂直方向における位置を容易に検出することができる。
【００１６】
本発明の他の形態に係る画像処理システムは、顕微鏡と、画像処理装置とを有する。上記顕微鏡は、マーキングされたターゲットを含む試料が載置される載置面を有するステージと、上記試料の像を拡大する対物レンズと、上記対物レンズで拡大された上記試料の像を結像する撮像素子とを有する。上記画像処理装置は、インターフェイス部と、制御部と、メモリとを有する。上記インターフェイス部は、上記顕微鏡と接続する。上記制御部は、上記インターフェイス部を介して、上記対物レンズの焦点を、所定の基準位置から上記載置面の垂直方向へ移動させるとともに、上記焦点の上記垂直方向への移動の間、上記撮像素子を露光させることで、上記ターゲットを表す第１の輝点を含む第１の画像を取得する。また制御部は、上記インターフェイス部を介して、上記焦点を、上記基準位置から上記垂直方向へ第１の速度で等速移動させながら上記載置面の平行方向へ第２の速度で等速直線移動させるとともに、上記焦点の上記垂直方向及び上記平行方向への移動の間、上記撮像素子を露光させることで、上記ターゲットを表す第２の輝点を含む第２の画像を取得する。さらに制御部は、上記取得された第１の画像及び第２の画像を基に、上記試料中の上記垂直方向における上記ターゲットの位置を算出する。上記メモリは、上記取得された上記第１の画像及び上記第２の画像を保持する。
【００１７】
本発明のまた別の形態に係る画像処理方法は、マーキングされたターゲットを含む試料が載置される載置面を有するステージと、上記試料の像を拡大する対物レンズと、上記対物レンズで拡大された上記試料の像を結像する撮像素子とを有する顕微鏡と接続することを含む。上記対物レンズの焦点が、所定の基準位置から上記載置面の垂直方向へ移動されるとともに、上記焦点の上記垂直方向への移動の間、上記撮像素子が露光されることで、上記ターゲットを表す第１の輝点を含む第１の画像が取得される。また上記焦点が、上記基準位置から上記垂直方向へ第１の速度で等速移動させられながら上記載置面の平行方向へ第２の速度で等速直線移動されるとともに、上記焦点の上記垂直方向及び上記平行方向への移動の間、上記撮像素子が露光されることで、上記ターゲットを表す第２の輝点を含む第２の画像が取得される。上記取得された上記第１の画像及び上記第２の画像はメモリに保持される。上記保持された第１の画像及び第２の画像を基に、上記試料中の上記垂直方向における上記ターゲットの位置が算出される。
【００１８】
本発明のまた別の形態に係るプログラムは、画像処理装置に、接続ステップと、第１の取得ステップと、第２の取得ステップと、保持ステップと、第１の算出ステップと、第２の算出ステップとを実行させる。上記接続ステップでは、マーキングされたターゲットを含む試料が載置される載置面を有するステージと、上記試料の像を拡大する対物レンズと、上記対物レンズで拡大された上記試料の像を結像する撮像素子とを有する顕微鏡と接続される。上記第１の取得ステップでは、上記対物レンズの焦点が、所定の基準位置から上記載置面の垂直方向へ移動されるとともに、上記焦点の上記垂直方向への移動の間、上記撮像素子が露光されることで、上記ターゲットを表す第１の輝点を含む第１の画像が取得される。また上記焦点が、上記基準位置から上記垂直方向へ第１の速度で等速移動されながら上記載置面の平行方向へ第２の速度で等速直線移動されるとともに、上記焦点の上記垂直方向及び上記平行方向への移動の間、上記撮像素子が露光されることで、上記ターゲットを表す第２の輝点を含む第２の画像が取得される。上記保持ステップでは、取得された上記第１の画像及び上記第２の画像がメモリに保持される。上記第１の算出ステップでは、上記保持された第１の画像及び第２の画像を基に、上記試料中の上記垂直方向における上記ターゲットの位置が算出される。
【発明の効果】
【００１９】
以上のように、本発明によれば、試料中のターゲットの深さ位置を、大容量のメモリを必要とすることなく容易に検出することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る画像処理システムを示す図である。
【図２】本発明の一実施形態において撮影される試料ＳＰＬをステージの側面方向から示した図である。
【図３】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図４】本発明の一実施形態における画像処理装置の、試料中におけるターゲットの深さ位置の算出処理の流れを示したフローチャートである。
【図５】本発明の一実施形態におけるＺ方向への焦点の移動の様子を示した図である。
【図６】本発明の一実施形態において焦点がＺ方向へ移動されながら露光処理が行われることで取得された試料の画像（第１の画像）を示した図である。
【図７】本発明の一実施形態におけるＺ方向及びＸ方向への焦点の移動の様子を示した図である。
【図８】本発明の一実施形態において焦点がＺ方向及びＸ方向へ移動されながら露光処理が行われることで取得された試料の画像（第２の画像）を示した図である。
【図９】図６の第１の画像と図８の第２の画像とが合成された合成画像を示した図である。
【図１０】図９の合成画像を用いたターゲットの深さ位置の算出処理を示した図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２２】
［画像処理システムの構成］
図１は、本発明の一実施形態に係る画像処理システムを示す図である。同図に示すように、本実施形態における画像処理システム１は、顕微鏡（蛍光顕微鏡）１０と、当該顕微鏡１０に接続された画像処理装置２０とを有する。
【００２３】
顕微鏡１０は、ステージ１１、光学系１２、明視野撮影用照明灯１３、光源１４及び撮像素子３０を有する。
【００２４】
ステージ１１は、例えば組織切片、細胞、染色体等の生体高分子等の試料（サンプル）ＳＰＬを載置可能な載置面を有し、当該載置面に対してその平行方向及び垂直方向（ＸＹＺ軸方向）へ移動可能とされている。
【００２５】
図２は、上記ステージ１１に載置される試料ＳＰＬをステージ１１の側面方向から示した図である。
【００２６】
同図に示すように、試料ＳＰＬは、Ｚ方向に約４〜８μｍの厚さ（深さ）を有し、スライドガラスＳＧ及びカバーガラスＣＧに挟まれて所定の固定手法により固定され、必要に応じて染色を施される。この染色方法としては、例えばＨＥ（ヘマトキシリン・エオジン）染色、ギムザ染色またはパパニコロウ染色等の一般的な染色法のほか、ＦＩＳＨ（Fluorescence In Situ Hybridization）や酵素抗体法等の蛍光染色も含まれる。当該蛍光染色は、例えば試料中の特定のターゲットをマーキングするために行われる。蛍光染色されたターゲットは、同図では、蛍光マーカＭ（Ｍ１、Ｍ２）として表され、当該蛍光マーカＭは、顕微鏡で取得された像では、輝点として表れる。
【００２７】
図１に戻り、光学系１２は、ステージ１１の上方に設けられ、対物レンズ１２Ａ、結像レンズ１２Ｂ、ダイクロイックミラー１２Ｃ、エミッションフィルタ１２Ｄ及び励起フィルタ１２Ｅを有する。光源１４は、例えばＬＥＤ（Light Emitting Diode）等からなる。
【００２８】
対物レンズ１２Ａ及び結像レンズ１２Ｂは、上記明視野撮影用照明灯１３により得られた試料ＳＰＬの像を所定の倍率に拡大し、当該拡大像を撮像素子３０の撮像面に結像させる。
【００２９】
励起フィルタ１２Ｅは、光源１４から出射された光のうち、蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１２Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１２Ａへ導く。対物レンズ１２Ａは、当該励起光を試料ＳＰＬへ集光する。
【００３０】
スライドガラスＳＧに固定された試料ＳＰＬに蛍光染色が施されている場合、上記励起光により蛍光色素が発光する。この発光により得られた光（発色光）は、対物レンズ１２Ａを介してダイクロイックミラー１２Ｃを透過し、エミッションフィルタ１２Ｄを介して結像レンズ１２Ｂへ到達する。
【００３１】
エミッションフィルタ１２Ｄは、上記対物レンズ１２Ａによって拡大された発色光以外の光（外光）を吸収する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１２Ｂにより拡大され、撮像素子３０上に結像される。
【００３２】
明視野撮影用照明灯１３は、ステージ１１の下方に設けられ、ステージ１１に設けられた開口（図示せず）を介して、上記載置面に載置された試料ＳＰＬへ照明光を照射する。
【００３３】
撮像素子３０としては、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等が用いられる。当該撮像素子３０は、顕微鏡１０と一体的に設けられていてもよいし、顕微鏡１０に接続可能な別個の撮像装置（デジタルカメラ等）内に設けられていてもよい。
【００３４】
画像処理装置２０は、例えばＰＣ（Personal Computer）により構成され、撮像素子３０により生成された試料ＳＰＬの像を、例えばＪＰＥＧ（Joint Photographic Experts Group）等の所定形式のデジタル画像データ（バーチャルスライド）として保存する。
【００３５】
［画像処理装置の構成］
図３は、上記画像処理装置２０の構成を示したブロック図である。
【００３６】
同図に示すように画像処理装置２０は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、操作入力部２４、インターフェイス部２５、表示部２６及び記憶部２７を有し、これら各ブロックがバス２８を介して接続されている。
【００３７】
ＲＯＭ２２は、各種の処理を実行するためのファームウェア等の複数のプログラムやデータを固定的に記憶する。ＲＡＭ２３は、ＣＰＵ２１の作業用領域として用いられ、ＯＳ（Operating System）、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【００３８】
記憶部２７は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部２７には、ＯＳや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部２７には、顕微鏡１０から取り込まれた画像データや、当該画像データを処理して試料ＳＰＬにおけるターゲットの輝点の深さ（高さ）位置を算出するための画像処理アプリケーションも記憶される。
【００３９】
インターフェイス部２５は、当該画像処理装置２０を、上記顕微鏡１０のステージ１１、光源１４及び撮像素子３０とそれぞれ接続し、所定の通信規格により顕微鏡１０との間で信号をやり取りする。
【００４０】
ＣＰＵ２１は、ＲＯＭ２２や記憶部２７に格納された複数のプログラムのうち、操作入力部２４から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、当該展開されたプログラムにしたがって、表示部２６及び記憶部２７を適宜制御する。特に本実施形態においては、ＣＰＵ２１は、上記画像処理アプリケーションにより、上記試料ＳＰＬにおけるターゲットの深さ位置の算出処理を実行する。この際、ＣＰＵ２１は、上記インターフェイス部２５を介して、ステージ１１、光源１４及び撮像素子３０を適宜制御する。
【００４１】
操作入力部２４は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。
【００４２】
表示部２６は、例えば液晶ディスプレイ、ＥＬ（Electro-Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等である。当該表示部２６は、画像処理装置２０に内蔵されていてもよいし、画像処理装置２０に外部接続されていてもよい。
【００４３】
［画像処理システムの動作］
次に、以上のように構成された画像処理システム１の動作について説明する。以下では、画像処理装置２０のＣＰＵ２１を動作主体として説明がなされるが、当該動作は、画像処理装置２０のその他のハードウェア及び上記画像処理アプリケーション等のソフトウェアとも協働して実行される。
【００４４】
図４は、本実施形態における画像処理装置２０の、上記試料ＳＰＬ中におけるターゲットの深さ位置の算出処理の流れを示したフローチャートである。また図５は、図４のステップ４１及び４２に対応して、Ｚ方向への焦点の移動の様子を示した図である。
【００４５】
図４に示すように、まずＣＰＵ２１は、ステージ１１に試料ＳＰＬが載置され、画像処理装置２０が顕微鏡１０と接続された状態で、上記ステージ１１の垂直（Ｚ）方向における初期位置を設定する（ステップ４１）。図５に示すように、当該初期位置ＤＰ（Default Position）は、対物レンズ１２Ａの焦点面ＦＰの位置が、深さ方向において、試料ＳＰＬが存在する範囲の外（上方または下方）となるように、すなわち、次の露光（スキャン）工程において、焦点の移動範囲（スキャン範囲）が試料ＳＰＬの全ての面に亘るような位置に設定される。
【００４６】
続いてＣＰＵ２１は、図５に矢印で示すように、ステージ１１（すなわち焦点）を、上記初期位置ＤＰから垂直方向（Ｚ方向）へ所定速度で等速移動させながら撮像素子３０を露光させることで、試料ＳＰＬを撮影する（ステップ４２）。ここでＣＰＵ２１は、焦点の移動範囲が試料ＳＰＬの全ての面に亘るような位置を当該移動の終了位置ＥＰ（End Point）として設定する。すなわち、初期位置ＤＰから終了位置ＥＰまでの範囲に試料ＳＰＬが全て収まるように（試料ＳＰＬの厚みよりも焦点の移動距離が長くなるように）初期位置ＤＰ及び終了位置ＥＰが設定される。
【００４７】
図６は、上記のように焦点がＺ方向へ移動されながら露光処理が行われることで取得された試料ＳＰＬの画像（第１の画像）を示した図である。同図に示すように、第１の画像６０においては、上記蛍光マーカＭ１が輝点Ａの像として表れ、上記蛍光マーカＭ２が輝点Ｂの像として表れる。
【００４８】
ここで、第１の画像６０は、試料ＳＰＬのＺ方向への焦点の移動を伴いながら露光され撮影された画像であるため、蛍光マーカＭ１及びＭ２に焦点が合っている焦点面ＦＰにおける像とそうでない像とが重なった画像となる。したがって輝点Ａ及びＢの像は、周囲が多少ぼやけた画像となるが、それらの位置は明確に把握可能な程度に表れる。
【００４９】
ＣＰＵ２１は、上記第１の画像６０を撮像素子３０から上記インターフェイス部２５を介して取得し、ＲＡＭ２３に一旦保存する（ステップ４３）。
【００５０】
続いてＣＰＵ２１は、ステージ１１のＺ方向の位置を上記初期位置ＤＰに戻す（ステップ４４）。
【００５１】
図７は、図４のステップ４５及び４６に対応して、Ｚ方向及びＸ方向への焦点の移動の様子を示した図である。
【００５２】
続いてＣＰＵ２１は、図７に示すように、ステージ１１（焦点）を、上記初期位置ＤＰから上記終了位置ＥＰまで、Ｚ方向へ上記第１の速度（ＶＺ）で等速移動させるとともにＸ方向へ第２の速度（ＶＸ）で等速移動させながら、撮像素子３０を露光させることで、試料ＳＰＬを撮影する（ステップ４５）。
【００５３】
図８は、上記のように焦点がＺ方向及びＸ方向へ移動されながら露光処理が行われることで取得された試料ＳＰＬの画像（第２の画像）を示した図である。同図に示すように、第２の画像８０においては、試料ＳＰＬにおける焦点位置の変化毎の像の軌跡が１枚の画像中に表れる。すなわち、蛍光マーカＭ１及びＭ２を表す輝点Ａ及び輝点Ｂの像はそれぞれ、上記Ｘ方向への焦点の移動に伴い、ぼやけた大きな状態から、焦点が合いはっきりとした小さな状態へと変化していき、その後またぼやけた状態へと変化するように表れる。
【００５４】
ＣＰＵ２１は、上記第２の画像８０を撮像素子３０から上記インターフェイス部２５を介して取得し、ＲＡＭ２３に一旦保存する（ステップ４６）。
【００５５】
続いてＣＰＵ２１は、上記第１の画像６０と、第２の画像８０とを合成して合成画像を生成する（ステップ４７）。
【００５６】
図９は、上記合成画像を示した図である。同図に示すように、合成画像９０においては、上記ステップ４２において取得された第１の画像６０に表れた輝点Ａ及び輝点Ｂ（輝点Ａ１及び輝点Ｂ１）の像と、上記ステップ４５において取得された第２の画像８０に表れた輝点Ａ及び輝点Ｂ（輝点Ａ２及び輝点Ｂ２）の像とが１枚の画像内で、それぞれ同一直線上に表れている。
【００５７】
続いてＣＰＵ２１は、上記合成画像９０から、上記第１の画像６０における輝点Ａ１及びＢ１（第１の輝点）の各位置座標（Ａ１：（ＸＡ１，ＹＡ）、Ｂ１：（ＸＢ１，ＹＢ））と、上記第２の画像８０における輝点Ａ２及びＢ２（第２の輝点）の各位置座標（Ａ２：（ＸＡ２，ＹＡ）、Ｂ２：（ＸＢ２，ＹＢ））を検出する（ステップ４８）。ここで、各輝点の検出は、ＣＰＵ２１が、例えば、所定閾値以上の輝度値（蛍光強度）を有する複数の画素のまとまりを抽出し、そのうち最も輝度が高い画素の位置を検出することで行われる。ターゲットに応じて異なる色の蛍光染色が施されている場合には、ＣＰＵ２１は、当該異なる色毎に輝度を検出する。
【００５８】
続いてＣＰＵ２１は、上記検出した第１の輝点の座標と第２の輝点の座標との間の距離Ｄを算出する（ステップ４９）。すなわち、図９において、ＣＰＵ２１は、第１の輝点Ａ１（ＸＡ１，ＹＡ）と第２の輝点Ａ２（ＸＡ２，ＹＡ）との間の距離ＤＡ（ＸＡ１−ＸＡ２）と、第１の輝点Ｂ１（ＸＢ１，ＹＢ）と第２の輝点Ｂ２（ＸＢ２，ＹＢ）との間の距離ＤＢ（ＸＢ１−ＸＢ２）とをそれぞれ算出する。
【００５９】
そして、ＣＰＵ２１は、上記距離Ｄと、上記Ｚ方向への焦点の移動速度である上記第１の速度ＶＺと、Ｘ方向への焦点の移動速度である上記第２の速度ＶＸとを基に、上記各蛍光マーカＭの試料ＳＰＬ中における深さ（高さ）ｈを算出する（ステップ５０）。
【００６０】
図１０は、図９の合成画像９０を用いた蛍光マーカＭの高さの算出処理を示した図である。ここで、ステージ１１が移動し始めてから輝点Ａに焦点が合うまでの時間ｔＡは、ｔＡ＝ｈＡ／ＶＺにより算出される（ｈＡは試料ＳＰＬにおける輝点Ａの高さ）。
そして、上記距離ＤＡ及び距離ＤＢは、以下の式によっても表される。
ＤＡ＝ｔＡ・ＶＸ＝ＶＸ・ｈＡ／ＶＺ＝ｈＡ・ＶＸ／ＶＺ
ＤＢ＝ｈＢ・ＶＸ／ＶＺ
これを変形すると、輝点Ａ及びＢの各高さｈＡ及びｈＢは、以下の式により算出できることになる。
ｈＡ＝ＤＡ・ＶＺ／ＶＸ
ｈＢ＝ＤＢ・ＶＺ／ＶＸ
【００６１】
ＣＰＵ２１は、当該各式に基づいて輝点Ａ及びＢの各高さｈＡ及びｈＢを算出し、当該算出結果を輝点毎に例えば表示部２６へ出力する。各輝点の高さが算出されることで、例えば輝点Ａにより表される蛍光マーカＭ１と、輝点Ｂにより表される蛍光マーカＭ２とが同一組織（細胞）内に存在するのか否かが判別可能となる。また、当該蛍光マーカＭ１と蛍光マーカＭ２との３次元距離も検出可能となる。上記画像処理システムのオペレータは、当該算出結果を、例えば各種の病理診断材料や新薬研究等に利用することができる。
【００６２】
ここで、上記第２の速度ＶＸは、上記第１の速度ＶＺよりも大きく設定される。これは、合成画像９０において、第２の画像８０由来の輝点Ａの像及び輝点Ｂの像からそれぞれ焦点が合った位置の座標（Ａ２及びＢ２）を特定する際に、ぼやけた像の重複範囲が大きいと、各像の分離が困難になり、上記座標（Ａ２及びＢ２）の特定が容易ではなくなるからである。
【００６３】
また、図１０に示すように、輝点Ａ及びＢの各高さｈＡ及びｈＢは、焦点の初期位置ＤＰから輝点までの距離として算出される。したがって、試料ＳＰＬ内のみを基準にした正確な高さを算出するには、当該初期位置ＤＰから、スライドガラスＳＧと試料ＳＰＬとの境界線までの距離に相当する長さを、上記算出された各高さｈＡ及びｈＢから減じればよい。
【００６４】
［まとめ］
以上説明したように、本実施形態によれば、画像処理装置２０は、焦点をＺ方向のみに移動させながら露光することで撮影した蛍光マーカＭ（ターゲット）の画像（第１の画像）と、焦点をＺ方向及びＸ方向に移動させながら露光することで撮影した蛍光マーカＭの画像（第２の画像）を取得し、当該第１の画像における第１の輝点と第２の画像における第２の輝点との距離を算出する。したがって画像処理装置２０は、２枚の画像のみを用いて、ＲＡＭ２３の容量を削減しながら、試料ＳＰＬ中のターゲット（蛍光マーカＭ）の垂直方向における位置（高さ）を高精度かつ容易に検出することができる。
【００６５】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【００６６】
上述の実施形態においては、第１の輝点から第２の輝点までの距離Ｄを算出するために、第１の画像６０と第２の画像８０とが合成された合成画像９０が作成されたが、当該合成画像９０によらなくとも距離Ｄは算出可能である。すなわち、ＣＰＵ２１は、第１の画像６０及び第２の画像８０においてそれぞれ輝点の座標を検出しておき、第１の画像６０にて検出された第１の輝点の座標を、第２の画像８０中に当てはめ、または、第２の画像８０に検出された第２の輝点の座標を、第１の画像６０中に当てはめて、距離Ｄを算出してもよい。
【００６７】
上述の実施形態においては、第２の速度Ｖｘは第１の速度Ｖｚよりも大きく設定されたが、これは必須ではない。ＣＰＵ２１は、例えば、上記光源１４の強度を弱くすることで、Ｘ方向への移動に伴う輝点の各像の分離を可能とし、同様の効果を得ることができる。
【００６８】
上述の実施形態において、上記第２の画像８０の取得にあたり、焦点はＺ方向とともにＸ方向へ移動されたが、もちろん、Ｘ方向ではなくＹ方向へ移動されてもよいし、ＸＹ平面における直線移動であれば、Ｘ軸またはＹ軸の平行方向以外のどの方向へ移動されてもよい。
【００６９】
上述の実施形態においては、画像処理装置２０は、第１の画像６０及び第２の画像８０の取得に際し、Ｚ方向にステージ１１を移動させることで焦点を移動させた。しかし、画像処理装置２０は、例えば対物レンズ１２ＡをＺ方向へ移動させる機構を設けて、当該機構を用いて、ステージ１１ではなく対物レンズ１２Ａの移動により焦点を移動させてもよい。
【００７０】
上述の実施形態においては、画像処理装置２０は、第２の画像８０の取得に際し、ステージ１１をＸ（Ｙ）方向に移動させることで焦点を移動させた。しかし、画像処理装置２０は、撮像素子３０をＸ（Ｙ）方向に移動させる機構を設けて、当該機構を用いて、ステージ１１ではなく撮像素子３０の移動により焦点を移動させてもよい。
【００７１】
上述の実施形態においては、本発明を蛍光顕微鏡に適用した例を示したが、傾向顕微鏡以外の顕微鏡に本発明が適用されても構わない。この場合、ターゲットは蛍光染色されていなくともよく、何らかのマーキング手法でマーキングされ、輝点として観察可能であればよい。
【符号の説明】
【００７２】
ＳＰＬ…試料
ＳＧ…スライドガラス
ＣＧ…カバーガラス
Ｍ（Ｍ１，Ｍ２）…蛍光マーカ
ＤＰ…初期位置
ＦＰ…焦点面
ＥＰ…終了位置
Ｄ（ＤＡ，ＤＢ）…距離
Ａ１，Ｂ１…第１の輝点
Ａ２，Ｂ２…第２の輝点
ＶＺ…第１の速度
ＶＸ…第２の速度
１…画像処理システム
１０…顕微鏡
１１…ステージ
１２…光学系
１２Ａ…対物レンズ
１４…光源
２０…画像処理装置
２１…ＣＰＵ
２３…ＲＡＭ
２５…インターフェイス部
３０…撮像素子
６０…第１の画像
８０…第２の画像
９０…合成画像
【技術分野】
【０００１】
本発明は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像情報を処理する画像処理装置、当該画像処理装置を有する画像処理システム、当該画像処理装置における画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
医療または病理の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の試料の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。このようなシステムは一般にバーチャル顕微鏡と呼ばれている。
【０００３】
例えば下記特許文献１に記載の方法では、顕微鏡のステージ上に載置されたスライド標本から光学的に得られた画像が、ＣＣＤ（Charge Coupled Device）を搭載したビデオカメラによりデジタル化され、そのデジタル信号がＰＣ（Personal Computer）に入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３７２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記バーチャル顕微鏡システムにおいては、試料の深さ方向（焦点方向）に所定間隔毎に焦点を移動させて画像データを取得することで、例えば１つの細胞核中に存在する蛍光染色されたターゲット（蛍光マーカ）の深さ方向の位置を検出することも行われる。しかしながら、この方法では、上記所定間隔毎に複数枚の画像データを保存する必要があり（スライドガラスのほぼ一面に試料が存在する場合、一枚の画像データあたりのデータ量は４ＧＢ程度）、データ容量が大きくなってしまうため、大容量のメモリが必要となる。
【０００６】
以上のような事情に鑑み、本発明の目的は、試料中のターゲットの深さ位置を、大容量のメモリを必要とすることなく容易に検出可能な画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一形態に係る画像処理装置は、インターフェイス部と、制御部と、メモリとを有する。上記インターフェイス部は、顕微鏡と接続する。当該顕微鏡は、マーキングされたターゲットを含む試料が載置される載置面を有するステージと、上記試料の像を拡大する対物レンズと、上記対物レンズで拡大された上記試料の像を結像する撮像素子とを有する。上記制御部は、上記インターフェイス部を介して、上記対物レンズの焦点を、所定の基準位置から上記載置面の垂直方向へ移動させるとともに、上記焦点の上記垂直方向への移動の間、上記撮像素子を露光させることで、上記ターゲットを表す第１の輝点を含む第１の画像を取得する。また制御部は、上記インターフェイス部を介して、上記焦点を、上記基準位置から上記垂直方向へ第１の速度で等速移動させながら上記載置面の平行方向へ第２の速度で等速直線移動させるとともに、上記焦点の上記垂直方向及び上記平行方向への移動の間、上記撮像素子を露光させることで、上記ターゲットを表す第２の輝点を含む第２の画像を取得する。さらに制御部は、上記取得された第１の画像及び第２の画像を基に、上記試料中の上記垂直方向における上記ターゲットの位置を算出する。上記メモリは、上記取得された上記第１の画像及び上記第２の画像を保持する。
【０００８】
本発明では、上記焦点が上記垂直方向及び平行方向に移動されながら撮像素子が露光されることで、上記第２の画像においては、異なる焦点毎に、ターゲットの像がぼやけた状態から徐々にはっきりした状態へと変化する様子が表れることになる。そして、この第２の画像において、ターゲットに最も焦点が合った位置では、ターゲットの像の輝度が最も大きくなり、上記第２の輝点として表れる。
【０００９】
この構成により、画像処理装置は、２回の露光により第１の画像と第２の画像を取得するだけで、メモリの容量を削減しながら、試料中のターゲットの垂直方向における位置を高精度かつ容易に検出することができる。
【００１０】
上記制御部は、上記第１の画像及び第２の画像を基に、上記平行方向における上記第１の輝点と上記第２の輝点との間の距離を算出し、当該距離と上記第１の速度と上記第２の速度とを基に、上記ターゲットの位置を算出してもよい。
【００１１】
これにより画像処理装置は、第１の画像及び第２の画像から上記平行方向における第１の輝点と第２の輝点との距離を算出するだけで、ターゲットの垂直方向における位置を高精度かつ容易に検出することができる。
【００１２】
上記第１の速度は、上記第２の速度よりも大きくてもよい。
【００１３】
これにより、第２の画像において、異なる焦点毎のターゲットの像が重なる範囲が小さくなるため、上記第２の輝点の位置がより容易に検出される。
【００１４】
上記制御部は、上記第１の画像と上記第２の画像とを合成した合成画像を生成し、当該合成画像を用いて上記距離を算出してもよい。
【００１５】
これにより画像処理装置は、合成画像上で第１の輝点と第２の輝点との間の距離を計測することで、ターゲットの垂直方向における位置を容易に検出することができる。
【００１６】
本発明の他の形態に係る画像処理システムは、顕微鏡と、画像処理装置とを有する。上記顕微鏡は、マーキングされたターゲットを含む試料が載置される載置面を有するステージと、上記試料の像を拡大する対物レンズと、上記対物レンズで拡大された上記試料の像を結像する撮像素子とを有する。上記画像処理装置は、インターフェイス部と、制御部と、メモリとを有する。上記インターフェイス部は、上記顕微鏡と接続する。上記制御部は、上記インターフェイス部を介して、上記対物レンズの焦点を、所定の基準位置から上記載置面の垂直方向へ移動させるとともに、上記焦点の上記垂直方向への移動の間、上記撮像素子を露光させることで、上記ターゲットを表す第１の輝点を含む第１の画像を取得する。また制御部は、上記インターフェイス部を介して、上記焦点を、上記基準位置から上記垂直方向へ第１の速度で等速移動させながら上記載置面の平行方向へ第２の速度で等速直線移動させるとともに、上記焦点の上記垂直方向及び上記平行方向への移動の間、上記撮像素子を露光させることで、上記ターゲットを表す第２の輝点を含む第２の画像を取得する。さらに制御部は、上記取得された第１の画像及び第２の画像を基に、上記試料中の上記垂直方向における上記ターゲットの位置を算出する。上記メモリは、上記取得された上記第１の画像及び上記第２の画像を保持する。
【００１７】
本発明のまた別の形態に係る画像処理方法は、マーキングされたターゲットを含む試料が載置される載置面を有するステージと、上記試料の像を拡大する対物レンズと、上記対物レンズで拡大された上記試料の像を結像する撮像素子とを有する顕微鏡と接続することを含む。上記対物レンズの焦点が、所定の基準位置から上記載置面の垂直方向へ移動されるとともに、上記焦点の上記垂直方向への移動の間、上記撮像素子が露光されることで、上記ターゲットを表す第１の輝点を含む第１の画像が取得される。また上記焦点が、上記基準位置から上記垂直方向へ第１の速度で等速移動させられながら上記載置面の平行方向へ第２の速度で等速直線移動されるとともに、上記焦点の上記垂直方向及び上記平行方向への移動の間、上記撮像素子が露光されることで、上記ターゲットを表す第２の輝点を含む第２の画像が取得される。上記取得された上記第１の画像及び上記第２の画像はメモリに保持される。上記保持された第１の画像及び第２の画像を基に、上記試料中の上記垂直方向における上記ターゲットの位置が算出される。
【００１８】
本発明のまた別の形態に係るプログラムは、画像処理装置に、接続ステップと、第１の取得ステップと、第２の取得ステップと、保持ステップと、第１の算出ステップと、第２の算出ステップとを実行させる。上記接続ステップでは、マーキングされたターゲットを含む試料が載置される載置面を有するステージと、上記試料の像を拡大する対物レンズと、上記対物レンズで拡大された上記試料の像を結像する撮像素子とを有する顕微鏡と接続される。上記第１の取得ステップでは、上記対物レンズの焦点が、所定の基準位置から上記載置面の垂直方向へ移動されるとともに、上記焦点の上記垂直方向への移動の間、上記撮像素子が露光されることで、上記ターゲットを表す第１の輝点を含む第１の画像が取得される。また上記焦点が、上記基準位置から上記垂直方向へ第１の速度で等速移動されながら上記載置面の平行方向へ第２の速度で等速直線移動されるとともに、上記焦点の上記垂直方向及び上記平行方向への移動の間、上記撮像素子が露光されることで、上記ターゲットを表す第２の輝点を含む第２の画像が取得される。上記保持ステップでは、取得された上記第１の画像及び上記第２の画像がメモリに保持される。上記第１の算出ステップでは、上記保持された第１の画像及び第２の画像を基に、上記試料中の上記垂直方向における上記ターゲットの位置が算出される。
【発明の効果】
【００１９】
以上のように、本発明によれば、試料中のターゲットの深さ位置を、大容量のメモリを必要とすることなく容易に検出することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る画像処理システムを示す図である。
【図２】本発明の一実施形態において撮影される試料ＳＰＬをステージの側面方向から示した図である。
【図３】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図４】本発明の一実施形態における画像処理装置の、試料中におけるターゲットの深さ位置の算出処理の流れを示したフローチャートである。
【図５】本発明の一実施形態におけるＺ方向への焦点の移動の様子を示した図である。
【図６】本発明の一実施形態において焦点がＺ方向へ移動されながら露光処理が行われることで取得された試料の画像（第１の画像）を示した図である。
【図７】本発明の一実施形態におけるＺ方向及びＸ方向への焦点の移動の様子を示した図である。
【図８】本発明の一実施形態において焦点がＺ方向及びＸ方向へ移動されながら露光処理が行われることで取得された試料の画像（第２の画像）を示した図である。
【図９】図６の第１の画像と図８の第２の画像とが合成された合成画像を示した図である。
【図１０】図９の合成画像を用いたターゲットの深さ位置の算出処理を示した図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２２】
［画像処理システムの構成］
図１は、本発明の一実施形態に係る画像処理システムを示す図である。同図に示すように、本実施形態における画像処理システム１は、顕微鏡（蛍光顕微鏡）１０と、当該顕微鏡１０に接続された画像処理装置２０とを有する。
【００２３】
顕微鏡１０は、ステージ１１、光学系１２、明視野撮影用照明灯１３、光源１４及び撮像素子３０を有する。
【００２４】
ステージ１１は、例えば組織切片、細胞、染色体等の生体高分子等の試料（サンプル）ＳＰＬを載置可能な載置面を有し、当該載置面に対してその平行方向及び垂直方向（ＸＹＺ軸方向）へ移動可能とされている。
【００２５】
図２は、上記ステージ１１に載置される試料ＳＰＬをステージ１１の側面方向から示した図である。
【００２６】
同図に示すように、試料ＳＰＬは、Ｚ方向に約４〜８μｍの厚さ（深さ）を有し、スライドガラスＳＧ及びカバーガラスＣＧに挟まれて所定の固定手法により固定され、必要に応じて染色を施される。この染色方法としては、例えばＨＥ（ヘマトキシリン・エオジン）染色、ギムザ染色またはパパニコロウ染色等の一般的な染色法のほか、ＦＩＳＨ（Fluorescence In Situ Hybridization）や酵素抗体法等の蛍光染色も含まれる。当該蛍光染色は、例えば試料中の特定のターゲットをマーキングするために行われる。蛍光染色されたターゲットは、同図では、蛍光マーカＭ（Ｍ１、Ｍ２）として表され、当該蛍光マーカＭは、顕微鏡で取得された像では、輝点として表れる。
【００２７】
図１に戻り、光学系１２は、ステージ１１の上方に設けられ、対物レンズ１２Ａ、結像レンズ１２Ｂ、ダイクロイックミラー１２Ｃ、エミッションフィルタ１２Ｄ及び励起フィルタ１２Ｅを有する。光源１４は、例えばＬＥＤ（Light Emitting Diode）等からなる。
【００２８】
対物レンズ１２Ａ及び結像レンズ１２Ｂは、上記明視野撮影用照明灯１３により得られた試料ＳＰＬの像を所定の倍率に拡大し、当該拡大像を撮像素子３０の撮像面に結像させる。
【００２９】
励起フィルタ１２Ｅは、光源１４から出射された光のうち、蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１２Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１２Ａへ導く。対物レンズ１２Ａは、当該励起光を試料ＳＰＬへ集光する。
【００３０】
スライドガラスＳＧに固定された試料ＳＰＬに蛍光染色が施されている場合、上記励起光により蛍光色素が発光する。この発光により得られた光（発色光）は、対物レンズ１２Ａを介してダイクロイックミラー１２Ｃを透過し、エミッションフィルタ１２Ｄを介して結像レンズ１２Ｂへ到達する。
【００３１】
エミッションフィルタ１２Ｄは、上記対物レンズ１２Ａによって拡大された発色光以外の光（外光）を吸収する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１２Ｂにより拡大され、撮像素子３０上に結像される。
【００３２】
明視野撮影用照明灯１３は、ステージ１１の下方に設けられ、ステージ１１に設けられた開口（図示せず）を介して、上記載置面に載置された試料ＳＰＬへ照明光を照射する。
【００３３】
撮像素子３０としては、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等が用いられる。当該撮像素子３０は、顕微鏡１０と一体的に設けられていてもよいし、顕微鏡１０に接続可能な別個の撮像装置（デジタルカメラ等）内に設けられていてもよい。
【００３４】
画像処理装置２０は、例えばＰＣ（Personal Computer）により構成され、撮像素子３０により生成された試料ＳＰＬの像を、例えばＪＰＥＧ（Joint Photographic Experts Group）等の所定形式のデジタル画像データ（バーチャルスライド）として保存する。
【００３５】
［画像処理装置の構成］
図３は、上記画像処理装置２０の構成を示したブロック図である。
【００３６】
同図に示すように画像処理装置２０は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、操作入力部２４、インターフェイス部２５、表示部２６及び記憶部２７を有し、これら各ブロックがバス２８を介して接続されている。
【００３７】
ＲＯＭ２２は、各種の処理を実行するためのファームウェア等の複数のプログラムやデータを固定的に記憶する。ＲＡＭ２３は、ＣＰＵ２１の作業用領域として用いられ、ＯＳ（Operating System）、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【００３８】
記憶部２７は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部２７には、ＯＳや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部２７には、顕微鏡１０から取り込まれた画像データや、当該画像データを処理して試料ＳＰＬにおけるターゲットの輝点の深さ（高さ）位置を算出するための画像処理アプリケーションも記憶される。
【００３９】
インターフェイス部２５は、当該画像処理装置２０を、上記顕微鏡１０のステージ１１、光源１４及び撮像素子３０とそれぞれ接続し、所定の通信規格により顕微鏡１０との間で信号をやり取りする。
【００４０】
ＣＰＵ２１は、ＲＯＭ２２や記憶部２７に格納された複数のプログラムのうち、操作入力部２４から与えられる命令に対応するプログラムをＲＡＭ２３に展開し、当該展開されたプログラムにしたがって、表示部２６及び記憶部２７を適宜制御する。特に本実施形態においては、ＣＰＵ２１は、上記画像処理アプリケーションにより、上記試料ＳＰＬにおけるターゲットの深さ位置の算出処理を実行する。この際、ＣＰＵ２１は、上記インターフェイス部２５を介して、ステージ１１、光源１４及び撮像素子３０を適宜制御する。
【００４１】
操作入力部２４は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。
【００４２】
表示部２６は、例えば液晶ディスプレイ、ＥＬ（Electro-Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等である。当該表示部２６は、画像処理装置２０に内蔵されていてもよいし、画像処理装置２０に外部接続されていてもよい。
【００４３】
［画像処理システムの動作］
次に、以上のように構成された画像処理システム１の動作について説明する。以下では、画像処理装置２０のＣＰＵ２１を動作主体として説明がなされるが、当該動作は、画像処理装置２０のその他のハードウェア及び上記画像処理アプリケーション等のソフトウェアとも協働して実行される。
【００４４】
図４は、本実施形態における画像処理装置２０の、上記試料ＳＰＬ中におけるターゲットの深さ位置の算出処理の流れを示したフローチャートである。また図５は、図４のステップ４１及び４２に対応して、Ｚ方向への焦点の移動の様子を示した図である。
【００４５】
図４に示すように、まずＣＰＵ２１は、ステージ１１に試料ＳＰＬが載置され、画像処理装置２０が顕微鏡１０と接続された状態で、上記ステージ１１の垂直（Ｚ）方向における初期位置を設定する（ステップ４１）。図５に示すように、当該初期位置ＤＰ（Default Position）は、対物レンズ１２Ａの焦点面ＦＰの位置が、深さ方向において、試料ＳＰＬが存在する範囲の外（上方または下方）となるように、すなわち、次の露光（スキャン）工程において、焦点の移動範囲（スキャン範囲）が試料ＳＰＬの全ての面に亘るような位置に設定される。
【００４６】
続いてＣＰＵ２１は、図５に矢印で示すように、ステージ１１（すなわち焦点）を、上記初期位置ＤＰから垂直方向（Ｚ方向）へ所定速度で等速移動させながら撮像素子３０を露光させることで、試料ＳＰＬを撮影する（ステップ４２）。ここでＣＰＵ２１は、焦点の移動範囲が試料ＳＰＬの全ての面に亘るような位置を当該移動の終了位置ＥＰ（End Point）として設定する。すなわち、初期位置ＤＰから終了位置ＥＰまでの範囲に試料ＳＰＬが全て収まるように（試料ＳＰＬの厚みよりも焦点の移動距離が長くなるように）初期位置ＤＰ及び終了位置ＥＰが設定される。
【００４７】
図６は、上記のように焦点がＺ方向へ移動されながら露光処理が行われることで取得された試料ＳＰＬの画像（第１の画像）を示した図である。同図に示すように、第１の画像６０においては、上記蛍光マーカＭ１が輝点Ａの像として表れ、上記蛍光マーカＭ２が輝点Ｂの像として表れる。
【００４８】
ここで、第１の画像６０は、試料ＳＰＬのＺ方向への焦点の移動を伴いながら露光され撮影された画像であるため、蛍光マーカＭ１及びＭ２に焦点が合っている焦点面ＦＰにおける像とそうでない像とが重なった画像となる。したがって輝点Ａ及びＢの像は、周囲が多少ぼやけた画像となるが、それらの位置は明確に把握可能な程度に表れる。
【００４９】
ＣＰＵ２１は、上記第１の画像６０を撮像素子３０から上記インターフェイス部２５を介して取得し、ＲＡＭ２３に一旦保存する（ステップ４３）。
【００５０】
続いてＣＰＵ２１は、ステージ１１のＺ方向の位置を上記初期位置ＤＰに戻す（ステップ４４）。
【００５１】
図７は、図４のステップ４５及び４６に対応して、Ｚ方向及びＸ方向への焦点の移動の様子を示した図である。
【００５２】
続いてＣＰＵ２１は、図７に示すように、ステージ１１（焦点）を、上記初期位置ＤＰから上記終了位置ＥＰまで、Ｚ方向へ上記第１の速度（ＶＺ）で等速移動させるとともにＸ方向へ第２の速度（ＶＸ）で等速移動させながら、撮像素子３０を露光させることで、試料ＳＰＬを撮影する（ステップ４５）。
【００５３】
図８は、上記のように焦点がＺ方向及びＸ方向へ移動されながら露光処理が行われることで取得された試料ＳＰＬの画像（第２の画像）を示した図である。同図に示すように、第２の画像８０においては、試料ＳＰＬにおける焦点位置の変化毎の像の軌跡が１枚の画像中に表れる。すなわち、蛍光マーカＭ１及びＭ２を表す輝点Ａ及び輝点Ｂの像はそれぞれ、上記Ｘ方向への焦点の移動に伴い、ぼやけた大きな状態から、焦点が合いはっきりとした小さな状態へと変化していき、その後またぼやけた状態へと変化するように表れる。
【００５４】
ＣＰＵ２１は、上記第２の画像８０を撮像素子３０から上記インターフェイス部２５を介して取得し、ＲＡＭ２３に一旦保存する（ステップ４６）。
【００５５】
続いてＣＰＵ２１は、上記第１の画像６０と、第２の画像８０とを合成して合成画像を生成する（ステップ４７）。
【００５６】
図９は、上記合成画像を示した図である。同図に示すように、合成画像９０においては、上記ステップ４２において取得された第１の画像６０に表れた輝点Ａ及び輝点Ｂ（輝点Ａ１及び輝点Ｂ１）の像と、上記ステップ４５において取得された第２の画像８０に表れた輝点Ａ及び輝点Ｂ（輝点Ａ２及び輝点Ｂ２）の像とが１枚の画像内で、それぞれ同一直線上に表れている。
【００５７】
続いてＣＰＵ２１は、上記合成画像９０から、上記第１の画像６０における輝点Ａ１及びＢ１（第１の輝点）の各位置座標（Ａ１：（ＸＡ１，ＹＡ）、Ｂ１：（ＸＢ１，ＹＢ））と、上記第２の画像８０における輝点Ａ２及びＢ２（第２の輝点）の各位置座標（Ａ２：（ＸＡ２，ＹＡ）、Ｂ２：（ＸＢ２，ＹＢ））を検出する（ステップ４８）。ここで、各輝点の検出は、ＣＰＵ２１が、例えば、所定閾値以上の輝度値（蛍光強度）を有する複数の画素のまとまりを抽出し、そのうち最も輝度が高い画素の位置を検出することで行われる。ターゲットに応じて異なる色の蛍光染色が施されている場合には、ＣＰＵ２１は、当該異なる色毎に輝度を検出する。
【００５８】
続いてＣＰＵ２１は、上記検出した第１の輝点の座標と第２の輝点の座標との間の距離Ｄを算出する（ステップ４９）。すなわち、図９において、ＣＰＵ２１は、第１の輝点Ａ１（ＸＡ１，ＹＡ）と第２の輝点Ａ２（ＸＡ２，ＹＡ）との間の距離ＤＡ（ＸＡ１−ＸＡ２）と、第１の輝点Ｂ１（ＸＢ１，ＹＢ）と第２の輝点Ｂ２（ＸＢ２，ＹＢ）との間の距離ＤＢ（ＸＢ１−ＸＢ２）とをそれぞれ算出する。
【００５９】
そして、ＣＰＵ２１は、上記距離Ｄと、上記Ｚ方向への焦点の移動速度である上記第１の速度ＶＺと、Ｘ方向への焦点の移動速度である上記第２の速度ＶＸとを基に、上記各蛍光マーカＭの試料ＳＰＬ中における深さ（高さ）ｈを算出する（ステップ５０）。
【００６０】
図１０は、図９の合成画像９０を用いた蛍光マーカＭの高さの算出処理を示した図である。ここで、ステージ１１が移動し始めてから輝点Ａに焦点が合うまでの時間ｔＡは、ｔＡ＝ｈＡ／ＶＺにより算出される（ｈＡは試料ＳＰＬにおける輝点Ａの高さ）。
そして、上記距離ＤＡ及び距離ＤＢは、以下の式によっても表される。
ＤＡ＝ｔＡ・ＶＸ＝ＶＸ・ｈＡ／ＶＺ＝ｈＡ・ＶＸ／ＶＺ
ＤＢ＝ｈＢ・ＶＸ／ＶＺ
これを変形すると、輝点Ａ及びＢの各高さｈＡ及びｈＢは、以下の式により算出できることになる。
ｈＡ＝ＤＡ・ＶＺ／ＶＸ
ｈＢ＝ＤＢ・ＶＺ／ＶＸ
【００６１】
ＣＰＵ２１は、当該各式に基づいて輝点Ａ及びＢの各高さｈＡ及びｈＢを算出し、当該算出結果を輝点毎に例えば表示部２６へ出力する。各輝点の高さが算出されることで、例えば輝点Ａにより表される蛍光マーカＭ１と、輝点Ｂにより表される蛍光マーカＭ２とが同一組織（細胞）内に存在するのか否かが判別可能となる。また、当該蛍光マーカＭ１と蛍光マーカＭ２との３次元距離も検出可能となる。上記画像処理システムのオペレータは、当該算出結果を、例えば各種の病理診断材料や新薬研究等に利用することができる。
【００６２】
ここで、上記第２の速度ＶＸは、上記第１の速度ＶＺよりも大きく設定される。これは、合成画像９０において、第２の画像８０由来の輝点Ａの像及び輝点Ｂの像からそれぞれ焦点が合った位置の座標（Ａ２及びＢ２）を特定する際に、ぼやけた像の重複範囲が大きいと、各像の分離が困難になり、上記座標（Ａ２及びＢ２）の特定が容易ではなくなるからである。
【００６３】
また、図１０に示すように、輝点Ａ及びＢの各高さｈＡ及びｈＢは、焦点の初期位置ＤＰから輝点までの距離として算出される。したがって、試料ＳＰＬ内のみを基準にした正確な高さを算出するには、当該初期位置ＤＰから、スライドガラスＳＧと試料ＳＰＬとの境界線までの距離に相当する長さを、上記算出された各高さｈＡ及びｈＢから減じればよい。
【００６４】
［まとめ］
以上説明したように、本実施形態によれば、画像処理装置２０は、焦点をＺ方向のみに移動させながら露光することで撮影した蛍光マーカＭ（ターゲット）の画像（第１の画像）と、焦点をＺ方向及びＸ方向に移動させながら露光することで撮影した蛍光マーカＭの画像（第２の画像）を取得し、当該第１の画像における第１の輝点と第２の画像における第２の輝点との距離を算出する。したがって画像処理装置２０は、２枚の画像のみを用いて、ＲＡＭ２３の容量を削減しながら、試料ＳＰＬ中のターゲット（蛍光マーカＭ）の垂直方向における位置（高さ）を高精度かつ容易に検出することができる。
【００６５】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
【００６６】
上述の実施形態においては、第１の輝点から第２の輝点までの距離Ｄを算出するために、第１の画像６０と第２の画像８０とが合成された合成画像９０が作成されたが、当該合成画像９０によらなくとも距離Ｄは算出可能である。すなわち、ＣＰＵ２１は、第１の画像６０及び第２の画像８０においてそれぞれ輝点の座標を検出しておき、第１の画像６０にて検出された第１の輝点の座標を、第２の画像８０中に当てはめ、または、第２の画像８０に検出された第２の輝点の座標を、第１の画像６０中に当てはめて、距離Ｄを算出してもよい。
【００６７】
上述の実施形態においては、第２の速度Ｖｘは第１の速度Ｖｚよりも大きく設定されたが、これは必須ではない。ＣＰＵ２１は、例えば、上記光源１４の強度を弱くすることで、Ｘ方向への移動に伴う輝点の各像の分離を可能とし、同様の効果を得ることができる。
【００６８】
上述の実施形態において、上記第２の画像８０の取得にあたり、焦点はＺ方向とともにＸ方向へ移動されたが、もちろん、Ｘ方向ではなくＹ方向へ移動されてもよいし、ＸＹ平面における直線移動であれば、Ｘ軸またはＹ軸の平行方向以外のどの方向へ移動されてもよい。
【００６９】
上述の実施形態においては、画像処理装置２０は、第１の画像６０及び第２の画像８０の取得に際し、Ｚ方向にステージ１１を移動させることで焦点を移動させた。しかし、画像処理装置２０は、例えば対物レンズ１２ＡをＺ方向へ移動させる機構を設けて、当該機構を用いて、ステージ１１ではなく対物レンズ１２Ａの移動により焦点を移動させてもよい。
【００７０】
上述の実施形態においては、画像処理装置２０は、第２の画像８０の取得に際し、ステージ１１をＸ（Ｙ）方向に移動させることで焦点を移動させた。しかし、画像処理装置２０は、撮像素子３０をＸ（Ｙ）方向に移動させる機構を設けて、当該機構を用いて、ステージ１１ではなく撮像素子３０の移動により焦点を移動させてもよい。
【００７１】
上述の実施形態においては、本発明を蛍光顕微鏡に適用した例を示したが、傾向顕微鏡以外の顕微鏡に本発明が適用されても構わない。この場合、ターゲットは蛍光染色されていなくともよく、何らかのマーキング手法でマーキングされ、輝点として観察可能であればよい。
【符号の説明】
【００７２】
ＳＰＬ…試料
ＳＧ…スライドガラス
ＣＧ…カバーガラス
Ｍ（Ｍ１，Ｍ２）…蛍光マーカ
ＤＰ…初期位置
ＦＰ…焦点面
ＥＰ…終了位置
Ｄ（ＤＡ，ＤＢ）…距離
Ａ１，Ｂ１…第１の輝点
Ａ２，Ｂ２…第２の輝点
ＶＺ…第１の速度
ＶＸ…第２の速度
１…画像処理システム
１０…顕微鏡
１１…ステージ
１２…光学系
１２Ａ…対物レンズ
１４…光源
２０…画像処理装置
２１…ＣＰＵ
２３…ＲＡＭ
２５…インターフェイス部
３０…撮像素子
６０…第１の画像
８０…第２の画像
９０…合成画像
【特許請求の範囲】
【請求項１】
マーキングされたターゲットを含む試料が載置される載置面を有するステージと、前記試料の像を拡大する対物レンズと、前記対物レンズで拡大された前記試料の像を結像する撮像素子とを有する顕微鏡に接続するインターフェイス部と、
前記インターフェイス部を介して、前記対物レンズの焦点を、所定の基準位置から前記載置面の垂直方向へ移動させるとともに、前記焦点の前記垂直方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第１の輝点を含む第１の画像を取得し、
前記インターフェイス部を介して、前記焦点を、前記基準位置から前記垂直方向へ第１の速度で等速移動させながら前記載置面の平行方向へ第２の速度で等速直線移動させるとともに、前記焦点の前記垂直方向及び前記平行方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第２の輝点を含む第２の画像を取得し、
前記取得された第１の画像及び第２の画像を基に、前記試料中の前記垂直方向における前記ターゲットの位置を算出する制御部と、
取得された前記第１の画像及び前記第２の画像を保持するメモリと
を具備する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記制御部は、前記第１の画像及び第２の画像を基に、前記平行方向における前記第１の輝点と前記第２の輝点との間の距離を算出し、当該距離と前記第１の速度と前記第２の速度とを基に、前記ターゲットの位置を算出する
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記第１の速度は、前記第２の速度よりも大きい
画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記制御部は、前記第１の画像と前記第２の画像とを合成した合成画像を生成し、当該合成画像を用いて前記距離を算出する
画像処理装置。
【請求項５】
マーキングされたターゲットを含む試料が載置される載置面を有するステージと、
前記試料の像を拡大する対物レンズと、
前記対物レンズで拡大された前記試料の像を結像する撮像素子と
を有する顕微鏡と、
前記顕微鏡に接続するインターフェイス部と、
前記インターフェイス部を介して、前記対物レンズの焦点を、所定の基準位置から前記載置面の垂直方向へ移動させるとともに、前記焦点の前記垂直方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第１の輝点を含む第１の画像を取得し、
前記インターフェイス部を介して、前記焦点を、前記基準位置から前記垂直方向へ第１の速度で等速移動させながら前記載置面の平行方向へ第２の速度で等速直線移動させるとともに、前記焦点の前記垂直方向及び前記平行方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第２の輝点を含む第２の画像を取得し、
前記取得された第１の画像及び第２の画像を基に、前記試料中の前記垂直方向における前記ターゲットの位置を算出する制御部と、
取得された前記第１の画像及び前記第２の画像を保持するメモリと
を有する画像処理装置と、
を具備する画像処理システム。
【請求項６】
マーキングされたターゲットを含む試料が載置される載置面を有するステージと、前記試料の像を拡大する対物レンズと、前記対物レンズで拡大された前記試料の像を結像する撮像素子とを有する顕微鏡と接続し、
前記対物レンズの焦点を、所定の基準位置から前記載置面の垂直方向へ移動させるとともに、前記焦点の前記垂直方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第１の輝点を含む第１の画像を取得し、
前記焦点を、前記基準位置から前記垂直方向へ第１の速度で等速移動させながら前記載置面の平行方向へ第２の速度で等速直線移動させるとともに、前記焦点の前記垂直方向及び前記平行方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第２の輝点を含む第２の画像を取得し、
取得された前記第１の画像及び前記第２の画像をメモリに保持し、
前記保持された第１の画像及び第２の画像を基に、前記試料中の前記垂直方向における前記ターゲットの位置を算出する
画像処理方法。
【請求項７】
画像処理装置に、
マーキングされたターゲットを含む試料が載置される載置面を有するステージと、前記試料の像を拡大する対物レンズと、前記対物レンズで拡大された前記試料の像を結像する撮像素子とを有する顕微鏡と接続するステップと、
前記対物レンズの焦点を、所定の基準位置から前記載置面の垂直方向へ移動させるとともに、前記焦点の前記垂直方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第１の輝点を含む第１の画像を取得するステップと、
前記焦点を、前記基準位置から前記垂直方向へ第１の速度で等速移動させながら前記載置面の平行方向へ第２の速度で等速直線移動させるとともに、前記焦点の前記垂直方向及び前記平行方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第２の輝点を含む第２の画像を取得するステップと、
取得された前記第１の画像及び前記第２の画像をメモリに保持するステップと、
前記保持された第１の画像及び第２の画像を基に、前記試料中の前記垂直方向における前記ターゲットの位置を算出するステップと
を実行させるプログラム。
【請求項１】
マーキングされたターゲットを含む試料が載置される載置面を有するステージと、前記試料の像を拡大する対物レンズと、前記対物レンズで拡大された前記試料の像を結像する撮像素子とを有する顕微鏡に接続するインターフェイス部と、
前記インターフェイス部を介して、前記対物レンズの焦点を、所定の基準位置から前記載置面の垂直方向へ移動させるとともに、前記焦点の前記垂直方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第１の輝点を含む第１の画像を取得し、
前記インターフェイス部を介して、前記焦点を、前記基準位置から前記垂直方向へ第１の速度で等速移動させながら前記載置面の平行方向へ第２の速度で等速直線移動させるとともに、前記焦点の前記垂直方向及び前記平行方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第２の輝点を含む第２の画像を取得し、
前記取得された第１の画像及び第２の画像を基に、前記試料中の前記垂直方向における前記ターゲットの位置を算出する制御部と、
取得された前記第１の画像及び前記第２の画像を保持するメモリと
を具備する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記制御部は、前記第１の画像及び第２の画像を基に、前記平行方向における前記第１の輝点と前記第２の輝点との間の距離を算出し、当該距離と前記第１の速度と前記第２の速度とを基に、前記ターゲットの位置を算出する
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記第１の速度は、前記第２の速度よりも大きい
画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記制御部は、前記第１の画像と前記第２の画像とを合成した合成画像を生成し、当該合成画像を用いて前記距離を算出する
画像処理装置。
【請求項５】
マーキングされたターゲットを含む試料が載置される載置面を有するステージと、
前記試料の像を拡大する対物レンズと、
前記対物レンズで拡大された前記試料の像を結像する撮像素子と
を有する顕微鏡と、
前記顕微鏡に接続するインターフェイス部と、
前記インターフェイス部を介して、前記対物レンズの焦点を、所定の基準位置から前記載置面の垂直方向へ移動させるとともに、前記焦点の前記垂直方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第１の輝点を含む第１の画像を取得し、
前記インターフェイス部を介して、前記焦点を、前記基準位置から前記垂直方向へ第１の速度で等速移動させながら前記載置面の平行方向へ第２の速度で等速直線移動させるとともに、前記焦点の前記垂直方向及び前記平行方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第２の輝点を含む第２の画像を取得し、
前記取得された第１の画像及び第２の画像を基に、前記試料中の前記垂直方向における前記ターゲットの位置を算出する制御部と、
取得された前記第１の画像及び前記第２の画像を保持するメモリと
を有する画像処理装置と、
を具備する画像処理システム。
【請求項６】
マーキングされたターゲットを含む試料が載置される載置面を有するステージと、前記試料の像を拡大する対物レンズと、前記対物レンズで拡大された前記試料の像を結像する撮像素子とを有する顕微鏡と接続し、
前記対物レンズの焦点を、所定の基準位置から前記載置面の垂直方向へ移動させるとともに、前記焦点の前記垂直方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第１の輝点を含む第１の画像を取得し、
前記焦点を、前記基準位置から前記垂直方向へ第１の速度で等速移動させながら前記載置面の平行方向へ第２の速度で等速直線移動させるとともに、前記焦点の前記垂直方向及び前記平行方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第２の輝点を含む第２の画像を取得し、
取得された前記第１の画像及び前記第２の画像をメモリに保持し、
前記保持された第１の画像及び第２の画像を基に、前記試料中の前記垂直方向における前記ターゲットの位置を算出する
画像処理方法。
【請求項７】
画像処理装置に、
マーキングされたターゲットを含む試料が載置される載置面を有するステージと、前記試料の像を拡大する対物レンズと、前記対物レンズで拡大された前記試料の像を結像する撮像素子とを有する顕微鏡と接続するステップと、
前記対物レンズの焦点を、所定の基準位置から前記載置面の垂直方向へ移動させるとともに、前記焦点の前記垂直方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第１の輝点を含む第１の画像を取得するステップと、
前記焦点を、前記基準位置から前記垂直方向へ第１の速度で等速移動させながら前記載置面の平行方向へ第２の速度で等速直線移動させるとともに、前記焦点の前記垂直方向及び前記平行方向への移動の間、前記撮像素子を露光させることで、前記ターゲットを表す第２の輝点を含む第２の画像を取得するステップと、
取得された前記第１の画像及び前記第２の画像をメモリに保持するステップと、
前記保持された第１の画像及び第２の画像を基に、前記試料中の前記垂直方向における前記ターゲットの位置を算出するステップと
を実行させるプログラム。
【図１】
【図３】
【図４】
【図６】
【図８】
【図９】
【図２】
【図５】
【図７】
【図１０】
【図３】
【図４】
【図６】
【図８】
【図９】
【図２】
【図５】
【図７】
【図１０】
【公開番号】特開２０１２−１３８０４（Ｐ２０１２−１３８０４Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１４８２８０（Ｐ２０１０−１４８２８０）
【出願日】平成２２年６月２９日（２０１０．６．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年６月２９日（２０１０．６．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]