説明

画像処理装置、画像処理方法及び画像処理プログラム

【課題】輝点の染色に用いられた染色剤を判別することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供すること
【解決手段】本開示の画像処理装置は、画像取得部と、輝点検出部と、判別部とを具備する。画像取得部は、第1の蛍光色を有する第1の蛍光染色剤と第2の蛍光色を有する第2の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得する。輝点検出部は、蛍光画像の画素値に基づいて輝点を検出する。判別部は、輝点の複数の焦点深度における画素値の変化から、輝点が第1の蛍光染色剤によって染色されたものか第2の蛍光染色剤によって染色されたものかを判別する。

【発明の詳細な説明】
【技術分野】
【0001】
本技術は、蛍光染色における輝点の染色剤判別に用いられる画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【0002】
病理診断等の分野において、生物組織の観察に用いられる手法として蛍光染色法がある。蛍光染色法は、予めサンプルに染色剤による染色を施し、それに励起光を照射して励起された染色剤から放射される蛍光を蛍光顕微鏡を用いて観察する方法である。適切な染色剤を選択することにより、染色剤が化学的特異性を有する特定の組織(例えば細胞内小器官等)を観察することが可能である。染色剤は一種類が用いられる場合もあるが、化学的特異性及び蛍光色が異なる複数種の染色剤を用いることで複数の組織を異なる蛍光色で観察することが可能となる。
【0003】
蛍光顕微鏡によって取得された画像(以下、蛍光画像とする)の分析として、蛍光画像に含まれる「輝点」と呼ばれる点状の領域をカウントする方法がよく行われる。輝点は、特定の染色剤によって染色された領域であり、例えば、ひとつの細胞に含まれる輝点の数が幾つ未満であれば正常な細胞であり、幾つ以上であれば異常な細胞であるというような判断に用いることができる。このため、検出された輝点がいずれの染色剤によって染色されたものであるかは正確に特定される必要がある。
【0004】
例えば、特許文献1に記載の「微生物計量装置」は、サンプルから放射される蛍光を分光する分光フィルタを備え、モノクロイメージャを用いて所定の色毎に蛍光画像を取得するものである。蛍光画像に含まれる輝点は分光フィルタの透過波長に限定されるため、複数の染色剤を用いた場合であっても色毎に輝点を計数することが可能とされている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2008−22776号公報(段落[0043]、図3)
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載の装置では、上述のように、ひとつのサンプルに対して透過波長の異なる分光フィルタの毎に複数回の露光が必要であり、計数処理に時間を要する。また、同一の焦点面への複数回の露光により、サンプルが退色してしまうおそれもある。さらに、蛍光画像の視覚的な観察には、各蛍光色の輝点が同一画像に表されるカラー画像のほうがモノクロ画像より好適であり、カラーイメージャを用いた輝点の色の特定手段が望まれている。
【0007】
以上のような事情に鑑み、本開示の目的は、輝点の染色に用いられた染色剤を判別することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【0008】
上述の課題を解決するため、本開示の一形態に係る画像処理装置は、画像取得部と、輝点検出部と、判別部とを具備する。
上記画像取得部は、第1の蛍光色を有する第1の蛍光染色剤と第2の蛍光色を有する第2の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得する。
上記輝点検出部は、上記蛍光画像の画素値に基づいて輝点を検出する。
上記判別部は、上記輝点の上記複数の焦点深度における画素値の変化から、上記輝点が上記第1の蛍光染色剤によって染色されたものか上記第2の蛍光染色剤によって染色されたものかを判別する。
【0009】
画像取得部によって取得された蛍光画像は、各画素毎に画素値(RGB値)を有し、輝点検出部はこの画素値を用いて輝点を検出することが可能である。検出された輝点を染色している染色剤は、輝点の画素値と予め登録されている染色剤の画素値を比較することによって特定することができる。しかしながら、輝点として検出された領域(以下、輝点領域)の画素値は、輝点自体の画素値に観察対象物の画素値がバックグラウンドとして重畳された画素値となる。このため、輝点を染色している染色剤を特定するためには、輝点領域の画素値から観察対象物の画素値を除いた輝点自体の画素値を求める必要がある。ここで、輝点は観察対象物に比べて厚さ(焦点深度方向の大きさ)が小さいことが一般的である。したがって、観察対象物が複数の焦点深度で撮像された蛍光画像において、焦点深度が合っている輝点はピントが合った像として現れ、焦点深度が合っていない輝点はピントが合っていない像として現れる。このため、ある輝点について異なる焦点深度間で比較すると、輝点に由来する画素値は変化する。これに対し、輝点のバックグラウンドである観察対象物は輝点より厚さが大きいため、異なる焦点深度間であっても画素値は変化しない(あるいは小さい)。したがって、異なる焦点深度の蛍光画像における輝点の画素値の変化量はバックグラウンドを除いた輝点自体の画素値であると判断することができ、輝点自体の画素値と染色剤の予め登録されている画素値のを比較することじよって、染色剤を特定することが可能となる。
【0010】
上記画像処理装置は、上記第1の蛍光染色剤の画素値の範囲として規定される第1の画素値範囲と、上記第2の蛍光色染色剤の画素値の範囲として規定される第2の画素値範囲とを記憶する記憶部と、上記輝点を、上記第1の画素値範囲に含まれる画素値を有する第1の輝点と、上記第2の画素値範囲に含まれる画素値を有する第2の輝点と、上記第1の画素値範囲及び上記第2の画素値範囲に含まれない画素値を有する第3の輝点とに分別する分別部とをさらに具備してもよい。
【0011】
分別部が、蛍光染色剤の画素値範囲に基づいて輝点を第1の輝点、第2の輝点及び第3の輝点に分別することにより、判別部が判別する必要がある輝点は第3の輝点のみとなり、判別処理の高速化が可能となる。
【0012】
上記判別部は、上記第1の輝点の画素値の焦点深度による変化量である第1の画素値変化量と、上記第2の輝点の画素値の焦点深度による変化量である第2の画素値変化量と、上記第3の輝点の画素値の焦点深度による変化量である第3の画素値変化量とをそれぞれ算出し、上記第3の画素値変化量が上記第1の画素値変化量に近い場合には上記第3の輝点は上記第1の蛍光染色剤によって染色されたものと判別し、上記第3の画素値変化量が上記第2の画素値変化量に近い場合には上記第3の輝点は上記第2の蛍光染色剤によって染色されたものと判別してもよい。
【0013】
判別部が、分別部によっては染色剤が特定されていない第3の輝点について、画素値変化量を第1の輝点及び第2の輝点と比較することにより、染色剤を判別することが可能となる。
【0014】
上記蛍光画像は、上記観察対象物を異なる焦点深度でそれぞれ撮像した複数の蛍光画像であってもよい。
【0015】
観察対象物を異なる焦点深度でそれぞれ撮像した複数の蛍光画像には、画像毎に異なる焦点深度で撮像された第3の輝点の像が現れており、画像間で第3の画素値変化量を算出することが可能である。
【0016】
上記蛍光画像は、上記観察対象物を焦点深度を変更しつつ露光を継続して撮像した蛍光画像であってもよい。
【0017】
観察対象物を焦点深度を変更しつつ露光を継続して撮像した蛍光画像には、各焦点深度いおける第3の輝点の像が重畳的に現れており、当該画像において画素値を抽出する位置により第3の画素値変化量を算出することが可能である。
【0018】
上述の課題を解決するため、本開示の一形態に係る画像処理方法は、画像取得部が、第1の蛍光色を有する第1の蛍光染色剤と第2の蛍光色を有する第2の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得する。
輝点検出部が、上記蛍光画像の画素値に基づいて輝点を検出する。
判別部が、上記輝点の上記複数の焦点深度における画素値の変化から、上記輝点が上記第1の蛍光染色剤によって染色されたものか上記第2の蛍光染色剤によって染色されたものかを判別する。
【0019】
上述の課題を解決するため、本開示の一形態に係る画像処理プログラムは、画像取得部と、輝点検出部と、判別部とを具備する。
上記画像取得部は、第1の蛍光色を有する第1の蛍光染色剤と第2の蛍光色を有する第2の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得する。
上記輝点検出部は、上記蛍光画像の画素値に基づいて輝点を検出する。
上記判別部は、上記輝点の上記複数の焦点深度における画素値の変化から、上記輝点が上記第1の蛍光染色剤によって染色されたものか上記第2の蛍光染色剤によって染色されたものかを判別する。
【発明の効果】
【0020】
以上のように本開示によれば、輝点の染色に用いられた染色剤を判別することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することが可能である。
【図面の簡単な説明】
【0021】
【図1】本開示の第1の実施形態に係る画像処理システムを示す模式図である。
【図2】同画像処理システムの観察対象物である試料を示す模式図である。
【図3】同画像処理システムの撮像素子によって撮像される蛍光画像を示す図である。
【図4】同画像処理システムが判別対象とする染色剤による発光スペクトルの一例を示す図である。
【図5】同画像処理システムのエミッションフィルタ12の透過スペクトルの一例を示す図である。
【図6】同画像処理システムの撮像素子の各カラーフィルタの透過波長を示す図である。
【図7】同画像処理システムのエミッションフィルタによるスペクトルの変化を示す図である。
【図8】同画像処理システムのカラーフィルタによるスペクトルの変化を示す図である
【図9】同画像処理システムによって撮像された各染色剤の蛍光色についての画素値の例を示す表である。
【図10】同画像処理システムの画像処理装置の構成を示すブロック図である。
【図11】同画像処理システムの画像処理装置の機能的構成を示すブロック図である。
【図12】同画像処理システムの画像処理装置の動作を示すフローチャートである。
【図13】同画像処理システムの輝点検出部が検出した輝点を示す模式図である。
【図14】同画像処理システムの分別部が分別した輝点を示す模式図である。
【図15】同画像処理システムの判別部による染色剤を判別する方法を概念的に示す図である。
【図16】同画像処理システムの判別部が用いる蛍光画像毎の輝点の画素値の例を示す表である。
【図17】同画像処理システムのエミッションフィルタとしてカラーフィルタ又は単色フィルタを用いて撮像された試料の蛍光画像である。
【図18】各染色剤の蛍光色についてのカラーバランス補正後の画素値の例を示す表である。
【図19】本開示の第2の実施形態に係る同画像処理システムによって撮像される露光画像を説明するための図である。
【発明を実施するための形態】
【0022】
(第1の実施形態)
第1の実施形態について説明する。
【0023】
[画像処理システムの構成]
図1は、第1の実施形態に係る画像処理システム1を示す模式図である。同図に示すように、本実施形態における画像処理システム1は、顕微鏡(蛍光顕微鏡)10と、当該顕微鏡10に接続された画像処理装置20とを有する。
【0024】
[顕微鏡の構成]
顕微鏡10は、ステージ11、光学系12、明視野撮影用照明灯13、光源14及び撮像素子30を有する。
【0025】
ステージ11は、例えば組織切片、細胞、染色体等の生体高分子等の試料Sを載置可能な載置面を有し、当該載置面に対してその平行方向(X−Y平面方向)及び垂直方向(Z軸方向)へ移動可能とされている。
【0026】
図2は、上記ステージ11に載置される試料Sをステージ11の側面方向から示した図である。
【0027】
同図に示すように、試料Sは、Z方向に例えば約4〜8μmの厚さを有し、スライドガラスSG及びカバーガラスCGに挟まれて所定の固定手法により固定されている。試料Sは、複数種の染色剤によって染色されている。染色剤は、同一の光源から照射される励起光によって、異なる蛍光を発する複数の染色剤から選択することができる。染色剤はその化学的特異性により、細胞内小器官等の特定の組織に結合するため、例えば試料Sを各染色材に浸漬して洗浄することにより特定の組織を染色することが可能である。図4は、各染色剤による発光スペクトルの一例である。
【0028】
図2に示すように、試料Sは、特定の蛍光染色剤、例えばDAPI(4',6-diamidino-2-phenylindole)によって染色される細胞核等の組織R1と、別の蛍光染色剤、例えばSpAqua(青色系)によって染色される染色体等の組織R2と、さらに別の蛍光染色剤、例えばSpGreen(緑色系)によって染色される染色体等の組織R3を含むものとする。組織R2と組織R3は組織R1に比べて十分小さいものとする。
【0029】
図1に戻り、光学系12は、ステージ11の上方に設けられ、対物レンズ12A、結像レンズ12B、ダイクロイックミラー12C、エミッションフィルタ12D及び励起フィルタ12Eを有する。光源14は、例えば水銀ランプ等の電球やLED(Light Emitting Diode)等である。
【0030】
対物レンズ12A及び結像レンズ12Bは、試料Sの像を所定の倍率に拡大し、当該拡大像を撮像素子30の撮像面に結像させる。
【0031】
試料Sの蛍光観察画像を得る場合は、光源14により照明を行う。励起フィルタ12Eは、光源14から出射された光のうち、蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー12Cは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ12Aへ導く。対物レンズ12Aは、当該励起光を試料Sへ集光する。
【0032】
試料Sに励起光が照射されると、試料Sの各組織に結合している染色剤が蛍光を発する。この蛍光は、対物レンズ12Aを介してダイクロイックミラー12Cを透過し、エミッションフィルタ12Dを介して結像レンズ12Bへ到達する。
【0033】
エミッションフィルタ12Dは、上記対物レンズ12Aによって拡大された、発色光以外の光(外光)を吸収する。図5は、エミッションフィルタ12Dの透過スペクトルの一例である。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ12Bにより拡大され、撮像素子30上に結像される。
【0034】
また顕微鏡10において試料Sの明視野観察画像を得る場合は、明視野撮影用照明灯13により照明を行う。明視野撮影用照明灯13は、ステージ11の下方に設けられ、ステージ11に設けられた開口(図示せず)を介して、上記載置面に載置された試料Sへ照明光を照射する。
【0035】
撮像素子30としては、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサー等が用いられる。なお、撮像素子30は、RGB(Red、Green、Blue)各色カラーフィルターが設けられたRGB各色を検出する光電変換素子を有し、入射光をカラー画像として出力するカラーイメージャである。図6は、撮像素子30の各カラーフィルタの透過波長を示す。
【0036】
試料Sから放出され、撮像素子30によって撮像される蛍光のスペクトルの変化について説明する。ここでは、例として図4に示すDAPIによる蛍光について説明する。図7は、エミッションフィルタ12Dによるスペクトルの変化を示す図である。図7(a)に示すように、試料Sから放出されたDAPIの蛍光は、図7(b)に示す透過波長を有するエミッションフィルタ12Dを透過する。この際、エミッションフィルタ12Dの透過波長領域以外の波長領域は透過を遮られるため、エミッションフィルタ12Dの透過光のスペクトルは図7(c)に示すようになる。
【0037】
次に、エミッションフィルタ12Dの透過光は、撮像素子30のRGBの各カラーフィルタを透過する。図8は、カラーフィルタによるスペクトルの変化を示す図である。図8(a)に示すエミッションフィルタ12Dの透過光は、図8(b)、図8(c)及び図8(d)に示す透過波長をそれぞれ有する各色のカラーフィルタを透過する。これにより、各色のカラーフィルタの透過光のスペクトルは図8(e)、図8(f)及び図8(g)に示すようになる。即ち、試料Sから放出されたDAPIの蛍光は、図8(e)、図8(f)及び図8(g)に示すスペクトルとしてRGB各色に対応する光電変換素子に入射し、「蛍光画像」として撮像される。図9は、このようにして撮像された、各染色剤の蛍光色についての画素値(RGB値;RGB各成分の輝度値)の例である。
【0038】
[蛍光画像について]
撮像素子30によって撮像される蛍光画像の例について説明する。図3は、撮像素子30によって撮像される蛍光画像を示す図である。同図に示すようにこの画像には、組織R1、組織R2及び組織R3が示されている。
【0039】
ここで、本実施形態では、画像処理システム1は「Zスタック画像」を取得するものとする。Zスタック画像とは、焦点深度をZ方向に移動させながら撮像された複数の画像であり、平面(X−Y平面)位置を基準として順次表示されることにより仮想的な試料Sの3次元バーチャルスライドを表すことが可能である。焦点深度は光学系12もしくはステージ12のZ方向の変位により調整される。図3に示す蛍光画像は、Zスタック画像のうちの1枚とすることができる。なお、本実施形態の画像処理システム1は必ずしもZスタック画像を撮像するためものでなくても、異なる焦点深度で試料Sを撮像することが可能なものであればよい。
【0040】
[画像処理装置の構成]
図10は、画像処理装置20の構成を示したブロック図である。
画像処理装置20は、例えばPC(Personal Computer)により構成され、撮像素子3
0により生成された試料Sの像を、例えばJPEG(Joint Photographic Experts G
roup)等の任意の形式のデジタル画像データとして保存する。
【0041】
同図に示すように画像処理装置20は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、操作入力部24、インターフェイス部25、表示部26及び記憶部27を有し、これら各ブロックがバス28を介して接続されている。
【0042】
ROM22は、各種の処理を実行するためのファームウェア等の複数のプログラムやデータを固定的に記憶する。RAM23は、CPU21の作業用領域として用いられ、OS(Operating System)、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【0043】
記憶部27は、例えばHDD(Hard Disk Drive)や、フラッシュメモリ、その他の固体メモリ等の不揮発性メモリである。当該記憶部27には、OSや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部27には、撮像素子30から取り込まれた蛍光画像データや、蛍光画像データを画像処理する画像処理アプリケーションも記憶される。
【0044】
インターフェイス部25は、当該画像処理装置20を、上記顕微鏡10のステージ11、光源14及び撮像素子30とそれぞれ接続し、所定の通信規格により顕微鏡10との間で信号をやり取りする。
【0045】
CPU21は、ROM22や記憶部27に格納された複数のプログラムのうち、操作入力部24から与えられる命令に対応するプログラムをRAM23に展開し、当該展開されたプログラムにしたがって、表示部26及び記憶部27を適宜制御する。
【0046】
操作入力部24は、例えばマウス等のポインティングデバイス、キーボード、タッチパ
ネル、その他の操作装置である。
【0047】
表示部26は、例えば液晶ディスプレイ、EL(Electro-Luminescence)ディスプレイ
、プラズマディスプレイ、CRT(Cathode Ray Tube)ディスプレイ等である。当該表示
部26は、画像処理装置20に内蔵されていてもよいし、画像処理装置20に外部接続さ
れていてもよい。
【0048】
[画像処理装置の機能的構成]
図11は画像処理装置20の機能的構成を示すブロック図である。画像処理装置20は上述のようなハードウェア構成により図11に示す機能的構成を実現する。以下、この画像処理装置20の機能的構成について説明する。
【0049】
画像処理装置20は、画像取得部101、輝点検出部102、分別部103、判定部104、計数部105を有する。これらの構成はこの順に接続されている。各構成の説明は後述する画像処理装置の動作において併せて説明する。
【0050】
[画像処理装置の動作]
画像処理装置20の動作について説明する。図12は、画像処理装置20の動作を示すフローチャートである。同図には、画像処理装置20の動作が各ステップ(St)毎に示されている。
【0051】
画像取得部101は、蛍光画像(本実施形態ではZスタック画像)を取得する(St1)。画像取得部101は、撮像素子30から直接蛍光画像を取得してもよく、予め撮像され、記憶部27に保存されている蛍光画像を読み出してもよい。
【0052】
次に輝点検出部102は、蛍光画像から輝点を検出する(St2)。図13は、輝点検出部102が検出した輝点Pxを示す模式図である。輝点検出部102は、各蛍光画像において、周囲と画素値が異なる点状の領域を輝点として検出することができる。また、輝点検出部102は、画素値が閾値を超えたら輝点と判断することができる。また、輝点検出部102は、既存の輝点検出アルゴリズムを用いて輝点を検出してもよい。
【0053】
次に分別部103は、輝点検出ステップ(St2)において検出した各輝点Pxについて、いずれの染色剤によって染色された輝点であるかの分別を行う(St3)。図14は、分別部103が分別した輝点を示す図である。分別部103は、各輝点の画素値と、記憶部27に予め記憶されている染色剤毎の取り得る画素値とを比較する。分別部103は、輝点の画素値が特定の染色剤の画素値範囲に含まれれば、その輝点は当該染色剤によって染色された輝点であると判断する。
【0054】
例えば分別部103は、図14に示すように、染色剤SpAquaの画素値範囲に含まれる輝点を輝点P1とし、染色剤SpGreenの画素値範囲に含まれる輝点を輝点P2とする。また、いずれの染色剤の画素値範囲にも含まれない輝点Pxは特定不能として分別する。
【0055】
例えば、図14に例示した蛍光画像では、輝点Pxはバックグラウンドである組織R1の像と重畳している。このような輝点は、その画素値に組織R1の画素値が加算されるため、輝点自体の画素値とは異なる画素値として撮像素子30に撮像される。このため、予め染色剤SpAqua又は染色剤SpGreenの蛍光色として記憶部27に記憶されている画素値範囲から外れ、この時点では特定不能と判断される。
【0056】
次に、判別部104は、輝点分別ステップ(St3)において特定不能とされた輝点Pxについて、複数の焦点深度における画素値の変化から、SpAquaによって染色された輝点であるか、SpGreenによって染色された輝点であるかを判別する(St4)。図15は、異なる焦点深度における画素値の変化から染色剤を判別する方法を概念的に示す図である。
【0057】
図15(a)は、仮想的な試料Tを示す図である。同図は一様な蛍光色を有する試料T中に、それとは異なる蛍光色で発光する輝点Qが存在する状態を示す。同図は、試料Tを断面(ステージ側面)方向からみた図であり、試料Tの厚みは輝点Qの厚みに比べて十分大きいものとする。焦点深度が試料の厚み方向に沿って可変される場合を想定する。
【0058】
図15(a)に線F1として示すように焦点深度が輝点Qに一致する場合、蛍光画像の画素値分布は図15(b)に示すようになる。図15(b)及び図15(c)は輝点Q近傍の座標を横軸に、蛍光画像の画素値分布を縦軸にとったものである。図15(b)に示すように、試料Tの画素値分布Cと輝点Qの画素値分布Cが重畳されている。
【0059】
次に、図15(a)に線F2として示すように焦点深度が輝点Qから離れている場合、撮像素子の画素値分布は図15(c)に示すようになる。焦点が輝点Qに合っていない場合、輝点Qはピントが合っていない状態であるので、輝点Qの画素値分布は図15(b)に比べて減衰する。一方、試料Tには焦点が合っているので、試料Tの画素値分布Cは変化しない。
【0060】
このように、輝点Qの画素値分布は焦点深度によって変化するのに対し、試料Tの画素値分布は変化しない。したがって、焦点深度を変更した場合に変化する画素値が、輝点Qの画素値であると判断することが可能である。
【0061】
本実施形態に係る判別部104は、この焦点深度による画素値の変化に基づいて輝点Pxの色を判別するものである。具体的には、判別部104は輝点Pxの、Zスタック画像における複数の蛍光画像間の画素値の変化、即ち焦点深度による画素値の変化を計算する。
【0062】
図16は、蛍光画像毎の輝点の画素値の例を示す表である。図16に示す表のうち、「画像番号」は、焦点深度をずらしながら連続的に撮像されたZスタック画像の番号であり、例えば「62」は62番目に撮像された画像を示す。隣接する番号の画像との間で焦点深度は0.2μmずつ異なっている。ここでは画像番号が小さい方が焦点深度が浅いものとするが、その逆でもよい。焦点深度の変更幅は0.2μmに限られず、試料の大きさ等に応じて適宜変更される。
【0063】
図16において「画素値」は、輝点分別ステップ(St3)において分別した輝点P1、輝点P2及び輝点Pxの各画像における画素値である。図16に示す表では、輝点P1及び輝点P2は画像番号62〜74において画素値が示され、輝点Pxは画像番号65〜78において画素値が示されている。これは輝点P1及び輝点P2と輝点Pxの試料Sにおける深度が異なるためであり、画素値が示されていない画像番号の画像では、その輝点に焦点が合わず、輝点として検出されなかったことを示す。
【0064】
各輝点の「E1」はその輝点が検出可能な最も浅い焦点深度の画像における画素値を示し、「E2」はその輝点が検出可能な最も深い焦点深度の画像における画素値を示す。各輝点の「Peak」は和が最大となる画素値を示し、このときの画像番号が当該輝点の焦点が最も合っている画像の番号である。「画素値変化量」はR値、G値、B値それぞの変化量であり、画素値変化量vは下記の式(1)によって算出される値である。
【0065】
v=|(Peak)−(E1)|+|(Peak)−(E2)| (1)
【0066】
このようにして算出された輝点Pxの画素値変化量と、輝点P1及び輝点P2の画素値変化量とを比較して、輝点Pxはより近い画素値変化量を有する輝点と同一の染色剤によって染色されたものであると判別することが可能である。これは例えば、判別したい染色剤の色に応じて、R値、G値、B値のいずれか2色の変化量の比を比較することによってすることができる。本実施形態では、輝点Pxが染色剤SpAqua(青色系)及び染色剤SpGreen(緑色系)のいずれによって染色されたものかを判別すればよいので、各輝点のG値変化量/B値変化量の値を比較すればよい。
【0067】
例えば図16に示した例では、各基点の画素値変化量が、輝点P1:(51(R)、68(G)、76(B))、輝点P2:(30(R)、66(G)、37(B))、輝点Px:(63(R)、69(G)、40(B))である。このため、各輝点のG値変化量/B値変化量はP1:0.89、P2:1.78、Px:1.73となる。輝点PxのG値変化量/B値変化量は輝点P1より輝点P2のG値変化量/B値変化量に近いので、輝点Pxは輝点P2と同一の染色剤、即ちSpGreenによって染色されたものと判別することができる。
【0068】
以上のようにして、輝点Pxがいずれの染色剤によって染色されたものであるかが判別される。判別部104は、輝点分別ステップ(St3)において特定不能とされた全ての輝点Pxについて染色剤が判別されるまで、上記処理を繰り返す。このようにして画像処理装置20は、試料Sに含まれる全ての輝点Pxについて染色剤を特定する。
【0069】
染色剤判別ステップ(St4)における輝点色の判別の有効性について説明する。上述した顕微鏡10のエミッションフィルタ12DはRGBのそれぞれに透過領域を有する(図5参照)ものであるが、比較としてRGBいずれかの単色の透過領域を有するエミッションフィルタを用いる。
【0070】
図17は、エミッションフィルタとしてカラーフィルタ又は単色フィルタを用いて撮像された試料Sの蛍光画像である。図17(a)はカラーフィルタ、図17(b)は緑色の単色フィルタ、図17(c)は赤色の単色フィルタである。図17(b)に示す蛍光画像から、矢印で示すような他の染色剤による影響が小さい輝点を選択しその画素値を取得する。次にその色相値からG値/B値比を算出する。
【0071】
例えば、図17(b)に示す3点の色相値とそのG値/B値比はそれぞれ(58,182,101)について1.80、(42,179,87)について2.06、(50,164,88)について1.86であったとする。これらのG値/B値比を平均すると1.91である。一方、染色剤(SpGreen)の蛍光スペクトル、緑色の単色フィルタの透過領域及び撮像素子30のRGBカラーフィルタの透過領域から算出したG値/B値比は4.40である。つまり、B値は2.12(=4.04/1.91)倍強く現像されている。
【0072】
また、図17(c)に示す3点の画素値とそのG値/R値比はそれぞれ(226、41、0)について0.181、(177、26、0)について0.146、(126、18、1)について0.143であったとする。これらのG値/R値比を平均すると0.155である。一方、染色剤(SpRed)の蛍光スペクトル、赤色の単色フィルタの透過領域及び撮像素子30のRGBカラーフィルタの透過領域から算出したG値/R値比は0.152である。つまりR値は0.98(=0.152/0.155)倍強く現像されている。
【0073】
以上から、図9に示した各染色剤の蛍光色の画素値に対して、B値について2.12倍し、R値について0.98倍すると、図18に示すカラーバランス補正後の画素値が得られる。図18において、SpAquaの場合G値/B値比は0.89(=54.22/60.84)でありSpGreenの場合のG値/B値比は1.85(=86.72/46.75)である。染色剤判別ステップ(St4)において算出した、焦点深度の変動に伴なうG値変化量/B値変化量は、輝点P1が0.89(=68/76)、輝点P2が1.78(=66/37)、輝点Pxが1.73(=69/40)である。輝点P1のG値変化量/B値変化量はSpAquaのG値/B値比と一致し、輝点P2と輝点PxのG値変化量/B値変化量はSpGreenのG値/B値比に近い。このため、輝点PxはSpGreenによって染色されていると判断することができ、焦点深度を変動することにより変化する色が染色剤の色であることを確認することができる。
【0074】
次に画像処理装置20は、染色剤が特定された輝点について計数処理を施す(St5)。画像処理システム1は、SpAquaによって染色された輝点の数とSpGreenによって染色された輝点の数を計数して出力する。これにより、例えば特定の染色剤によって染色された輝点の数が一定数以上である場合には「陽性」であるとして警告メッセージを表示する、あるいはより高倍率での撮像を実行する等の処理が可能となる。
【0075】
以上のように、本実施形態では、焦点深度の違いによる輝点の色の変化から、当該輝点の染色に用いられた染色剤を特定することが可能である。これにより、特定の染色剤によって染色される輝点、即ち、当該染色剤に化学的特異性を有する組織の存在を自動的に検知することが可能となる。
【0076】
(第2の実施形態)
第2の実施形態について説明する。第1の実施形態と同様の構成については説明を省略する。第2の実施形態では、第1の実施形態に記載した画像処理システム1を用いることができる。
【0077】
[露光画像について]
本実施形態に係る画像処理システム1は、Zスタック画像に替え、染色剤判別用の「露光画像」を取得する。露光画像は、光学系12の焦点深度を固定した状態でステージ11を移動させながら、所定時間にわたって撮像素子30の露光(受光)を継続させて撮像させた画像である。
【0078】
ステージ11の移動は、平行方向(X−Y平面方向)及び垂直方向(Z軸方向)を共に含む移動とする。例えば、ステージ11を、ステージ11上の一点が円を描くように移動させつつZ軸方向に移動させるものとすることができる。ステージ11をこのように移動させながら、所定時間にわたって撮像素子30を露光させることにより、輝点の露光画像を撮像することが可能となる。
【0079】
図19は露光画像を説明するための図である。
図19(a)は、ステージ11を垂直方向にのみ移動させて撮像した場合の輝点V1及び輝点V2を示す図である。ステージ11の移動の間、撮像素子30の露光は継続されている。同図に示すように、輝点V1及び輝点V2は、蛍光の大きい(濃色)中央部と蛍光の小さい(薄色)周縁部を有する。中央部は光学系12の焦点深度が輝点に一致しているときの輝点の像であり、周縁部は光学系12の焦点深度が輝点に一致していないときの輝点の像である。ステージ11は平行方向には移動していないため、これらの像は重畳して撮像されている。
【0080】
図19(b)はステージ11を垂直方向及び平行方向に移動させて撮像した場合に輝点P1及び輝点P2を示す図である。ステージ11の移動の間、撮像素子30の露光は継続されている。同図はステージ11を円周状に移動させた場合の露光画像であるが、ステージ11の移動方向はこれに限られず、例えば直線状であってもよい。同図に示すように、露光画像では、輝点V1及び輝点V2の軌跡が示されている。
【0081】
輝点V1及び輝点V2の軌跡は、円弧状であり、薄色で太い一方の端部から、濃色で細い中央部まで次第に細くなり、再び薄色で太い他方端部まで次第に太くなる形状を有する。端部は光学系12の焦点深度が輝点に一致していないときの輝点の像であり、中央部は光学系12の焦点深度が輝点に一致しているときの輝点の像である。輝点V1の軌跡と輝点V2の軌跡の円弧が異なる方向を向いているのは、試料における輝点V1及び輝点V2の高さ(Z軸方向)が異なるためである。
【0082】
本実施形態では、光学系12の焦点深度の違いによる輝点の色を認識するすることが可能な、図19(b)に示す露光画像を利用して、染色剤の判定を行う。
【0083】
[画像処理システムの動作]
画像処理システム1の動作について説明する。第2の実施形態に係る画像処理システム1の動作は、第1の実施形態に係る第1の画像処理システム1の動作と、染色剤判別ステップ(St4)を除き同一である。したがって以下では、染色剤判別ステップ(St4)についてのみ説明する。
【0084】
第1の実施形態と同様に、輝点分別ステップ(St3)において、染色剤SpAquaによって染色された輝点P1、染色剤SpGreenによって染色された輝点P2及びいずれの染色剤によって染色されたか特定されていない輝点Pxに分別されている。
【0085】
判別部104は、輝点Pxについて、複数の焦点深度における画素値の変化から、輝点Pxが染色剤SpAquaによって染色された輝点であるか、染色剤SpGreenによって染色された輝点であるかを判別する(St4)。
【0086】
具体的には、判別部104は露光画像における輝点Pxの軌跡の、端部と中央部の画素値を抽出する。ここで、上述のように輝点Pxの軌跡は、焦点深度による輝点Pxの像の変化を示しているため、端部の画素値と中央部の画素値の差は、焦点深度による画素値変化量を示している。このため、第1の実施形態と同様に、輝点Pxの画素値変化量と、輝点P1及び輝点P2の画素値変化量とを比較して、輝点Pxはより近い画素値変化量を有する輝点と同一の染色剤によって染色されたものであると判別することが可能である。
【0087】
このようにして、輝点Pxがいずれの染色剤によって染色されたものであるかが判別される。判別部104は、輝点分別ステップ(St3)において特定不能とされた全ての輝点Pxについて染色剤が判別されるまで、上記処理を繰り返す。このようにして画像処理装置20は、試料Sに含まれる全ての輝点について染色剤を特定する。
【0088】
以上のように、本実施形態においても、焦点深度の違いによる輝点の色の変化から、当該輝点の染色に用いられた染色剤を特定することが可能である。これにより、特定の染色剤によって染色される輝点、即ち、当該染色剤に化学的特異性を有する組織の存在を自動的に検知することが可能となる。
【0089】
(第3の実施形態)
第3の実施形態について説明する。第1の実施形態と同様の構成については説明を省略する。第3の実施形態では、第1の実施形態に記載した画像処理システム1を用いることができる。
【0090】
[画像処理システムの動作]
画像処理システム1の動作について説明する。第3の実施形態に係る画像処理システム1の動作は、第1の実施形態に係る第1の画像処理システム1の動作と、染色剤判別ステップ(St4)を除き同一である。したがって以下では、染色剤判別ステップ(St4)についてのみ説明する。
【0091】
第1の実施形態と同様に、輝点分別ステップ(St3)において、染色剤SpAquaによって染色された輝点P1、染色剤SpGreenによって染色された輝点P2及びいずれの染色剤によって染色されたか特定されていない輝点Pxに分別されている。
【0092】
判別部104は、輝点Pxについて、染色剤SpAquaによって染色された輝点であるか、染色剤SpGreenによって染色された輝点であるかを判別する(St4)。
【0093】
具体的には、判別部104は、Zスタック画像のうち、最も輝点Pxの画素値が大きい画像の輝点Pxの画素値を抽出する。例えば、図16に示す例では、輝点PxのRGB値が最大となる画像73番では、R:94、G:178、B:194となる。
【0094】
ここで、輝点Pxの画素値は以下の式(2)、式(3)及び式(4)によって記述することができる。
【0095】
R=XRR1+YRPx (2)
G=XGR1+YGPx (3)
B=XBR1+YBPx (4)
【0096】
式(2)、式(3)及び式(4)において、R、G、Bはそれぞれ輝点の画素値であり輝点Pxの画素値が最大となる場合、(R,G,B)=(94,178,194)である。RR1、GR1、BR1はそれぞれ組織R1の染色に用いられた染色剤の画素値であり、組織R1の染色に用いられた染色剤がDAPIであるとすると(PR1,GR1,BR1)=(7.18,33.33,50.76)である。
【0097】
ここで、輝点Pxの染色剤がSpGreenであると仮定すると、(RPx,GPx,BPx)=(25.86,86.72,22.05)である。式(2)及び式(3)から(X,Y)=(−15.56,8.03)、式(3)及び式(4)から(X,Y)=(1.10,1.63)となる。
【0098】
一方、輝点Pxの染色剤がSpAquaであると仮定すると、(RPx,GPx,BPx)=(8.58,54.22,28.70)である。式(2)及び式(3)から(X,Y)=(35.50,−18.54)、式(3)及び式(4)から(X,Y)=(−0.08,3,33)となる。
【0099】
輝点Pxの染色剤がSpAquaであると仮定した場合の(X,Y)=(35.50,−18.54)と輝点Pxの染色剤がSpGreenであると仮定した場合の(X,Y)=(−15.56,8.03)とを比較する。本来X及びYは正の数値であることから、(X,Y)=(−15.56,8.03)のほうが現実的な数値に近い。つまり、輝点Pxの染色剤はSpGreenであると判別することができる。
【0100】
このようにして、輝点Pxがいずれの染色剤によって染色されたものであるかが判別される。判別部104は、輝点分別ステップ(St3)において特定不能とされた全ての輝点Pxについて染色剤が判別されるまで、上記処理を繰り返す。このようにして画像処理装置20は、試料Sに含まれる全ての輝点について染色剤を特定する。
【0101】
以上のように、本実施形態においても輝点の染色に用いられた染色剤を特定することが可能である。これにより、特定の染色剤によって染色される輝点、即ち、当該染色剤に化学的特異性を有する組織の存在を自動的に検知することが可能となる。
【0102】
本発明はこの実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更され得る。
【符号の説明】
【0103】
20…画像処理装置
101…画像取得部
102…輝点検出部
103…分別部
104…判別部

【特許請求の範囲】
【請求項1】
第1の蛍光色を有する第1の蛍光染色剤と第2の蛍光色を有する第2の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得する画像取得部と、
前記蛍光画像の画素値に基づいて輝点を検出する輝点検出部と、
前記輝点の前記複数の焦点深度における画素値の変化から、前記輝点が前記第1の蛍光染色剤によって染色されたものか前記第2の蛍光染色剤によって染色されたものかを判別する判別部と
を具備する画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記第1の蛍光染色剤の画素値の範囲として規定される第1の画素値範囲と、前記第2の蛍光色染色剤の画素値の範囲として規定される第2の画素値範囲とを記憶する記憶部と、
前記輝点を、前記第1の画素値範囲に含まれる画素値を有する第1の輝点と、前記第2の画素値範囲に含まれる画素値を有する第2の輝点と、前記第1の画素値範囲及び前記第2の画素値範囲に含まれない画素値を有する第3の輝点とに分別する分別部と
をさらに具備する画像処理装置。
【請求項3】
請求項2に記載の画像処理装置であって、
前記判別部は、前記第1の輝点の画素値の焦点深度による変化量である第1の画素値変化量と、前記第2の輝点の画素値の焦点深度による変化量である第2の画素値変化量と、前記第3の輝点の画素値の焦点深度による変化量である第3の画素値変化量とをそれぞれ算出し、前記第3の画素値変化量が前記第1の画素値変化量に近い場合には前記第3の輝点は前記第1の蛍光染色剤によって染色されたものと判別し、前記第3の画素値変化量が前記第2の画素値変化量に近い場合には前記第3の輝点は前記第2の蛍光染色剤によって染色されたものと判別する
画像処理装置。
【請求項4】
請求項3に記載の画像処理装置であって、
前記蛍光画像は、前記観察対象物を異なる焦点深度でそれぞれ撮像した複数の蛍光画像である
画像処理装置。
【請求項5】
請求項3に記載の画像処理装置であって、
前記蛍光画像は、前記観察対象物を焦点深度を変更しつつ露光を継続して撮像した蛍光画像である
画像処理装置。
【請求項6】
画像取得部が、第1の蛍光色を有する第1の蛍光染色剤と第2の蛍光色を有する第2の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得し、
輝点検出部が、前記蛍光画像の画素値に基づいて輝点を検出し、
判別部が、前記輝点の前記複数の焦点深度における画素値の変化から、前記輝点が前記第1の蛍光染色剤によって染色されたものか前記第2の蛍光染色剤によって染色されたものかを判別する
画像処理方法。
【請求項7】
第1の蛍光色を有する第1の蛍光染色剤と第2の蛍光色を有する第2の蛍光染色剤を含む複数の蛍光染色剤によって染色された観察対象物が複数の焦点深度で撮像された蛍光画像を取得する画像取得部と、
前記蛍光画像の画素値に基づいて輝点を検出する輝点検出部と、
前記輝点の前記複数の焦点深度における画素値の変化から、前記輝点が前記第1の蛍光染色剤によって染色されたものか前記第2の蛍光染色剤によって染色されたものかを判別する判別部と
として機能する画像処理プログラム。

【図1】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図15】
image rotate

【図16】
image rotate

【図18】
image rotate

【図2】
image rotate

【図3】
image rotate

【図13】
image rotate

【図14】
image rotate

【図17】
image rotate

【図19】
image rotate


【公開番号】特開2012−173087(P2012−173087A)
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願番号】特願2011−34435(P2011−34435)
【出願日】平成23年2月21日(2011.2.21)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】