画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
【課題】対象標本の現象に即して、対象標本画像を高精度で解析できる画像処理装置を提供する。
【解決手段】ヘマトキシリン染色を含む染色標本画像を処理する画像処理装置であって、染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部233と、色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の変化特性を算出する変化特性算出部2501と、色素のスペクトルと変化特性とに基づいて、染色標本画像の各画素における少なくともヘマトキシリン染色の色素量および波長方向のシフト量を推定する色素量・波長シフト量推定部2505と、推定された波長方向のシフト量に基づいて染色標本画像の細胞核領域を抽出する細胞核抽出部2507と、を有する。
【解決手段】ヘマトキシリン染色を含む染色標本画像を処理する画像処理装置であって、染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部233と、色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の変化特性を算出する変化特性算出部2501と、色素のスペクトルと変化特性とに基づいて、染色標本画像の各画素における少なくともヘマトキシリン染色の色素量および波長方向のシフト量を推定する色素量・波長シフト量推定部2505と、推定された波長方向のシフト量に基づいて染色標本画像の細胞核領域を抽出する細胞核抽出部2507と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システムに関するものである。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の一つに、分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、照明光の変化に依存するＲＧＢ値等の色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率が利用されている。以下、病理診断における分光透過率の利用例について、さらに詳細に説明する。
【０００３】
病理診断における病理検査の一つとして、病変部位の組織を採取して顕微鏡で観察することにより、病気の診断または病変の拡大の程度を調べる組織診が知られている。この組織診は、生検（バイオプシー）とも呼ばれ、臓器摘出によって得たブロック標本や針生検によって得た病理標本を、厚さ数ミクロン程度に薄切りした後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。なかでも、光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切りされた標本は、光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては、種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「ＨＥ染色」と称す）が標準的に用いられている。
【０００５】
ヘマトキシリンは、植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは、好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００６】
一方、エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかは、ｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００７】
ＨＥ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。その結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。
【０００８】
染色された標本の観察は、観察者の目視によるものの他、この染色された標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率をもとに標本を染色している色素の色素量を推定する処理等が行われ、表示用の標本のＲＧＢ画像である表示画像が合成される。
【０００９】
標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法や、ウィナー（Wiener）推定による推定法等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には、何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【００１０】
以下、標本のマルチバンド画像から表示画像を合成する従来の方法について説明する。
【００１１】
先ず、標本のマルチバンド画像を撮像する。例えば、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来、観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１２】
ここで、撮像されたマルチバンド画像の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【００１３】
【数１】
【００１４】
式（１）において、λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した次式（２）が用いられる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
【００１５】
式（２）において、波長方向のサンプル点数をＤ、バンド数をＢ（ここではＢ＝１６）とすれば、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。
【００１６】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。この行列Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
【００１７】
よって、式（２）は、次式（４）に置き換えられる。
Ｇ（ｘ）＝ＨＴ（ｘ）＋Ｎ ・・・（４）
【００１８】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。
【００１９】
【数２】
【００２０】
ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。
Ｗ＝ＲＳＳＨｔ（ＨＲＳＳＨｔ＋ＲＮＮ）−１ ・・・（６）
ただし、（）ｔ：転置行列、（）−１：逆行列
【００２１】
式（６）において、ＲＳＳは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、ＲＮＮは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。
【００２２】
このようにして分光透過率データＴ＾（ｘ）を推定したら、次に、このＴ＾（ｘ）をもとに対応する標本上の点（標本点）における色素量を推定する。推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素の３種類であり、それぞれ色素Ｈ，色素Ｅ，色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても、赤血球はそれ自身特有の色を有しており、ＨＥ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。
【００２３】
一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ（λ）との間に、次式（７）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。
【００２４】
【数３】
【００２５】
式（７）において、ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。
【００２６】
ここで、式（７）の左辺は、分光透過率ｔ（λ）を意味している。したがって、式（７）は次式（８）に置き換えられる。
ｔ（λ）＝ｅ−ｋ（λ）・ｄ ・・・（８）
【００２７】
また、分光吸光度ａ（λ）は次式（９）で表される。
ａ（λ）＝ｋ（λ）・ｄ ・・・（９）
【００２８】
したがって、式（８）は次式（１０）に置き換えられる。
ｔ（λ）＝ｅ−ａ（λ） ・・・（１０）
【００２９】
ここで、ＨＥ染色された標本が、色素Ｈ，色素Ｅ，色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（１１）が成立する。
【００３０】
【数４】
【００３１】
式（１１）において、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、それぞれ色素Ｈ，色素Ｅ，色素Ｒに対応するｋ（λ）を表し、例えば、標本を染色している各色素のスペクトルである。また、ｄＨ，ｄＥ，ｄＲは、マルチバンド画像の各画像位置に対応する標本各点における色素Ｈ，色素Ｅ，色素Ｒの仮想的な厚さを表す。なお、色素は標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄＨ，ｄＥ，ｄＲは、それぞれ色素Ｈ，色素Ｅ，色素Ｒの色素量を表していると言える。なお、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
【００３２】
ここで、位置ｘにおける分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とすると、式（９）は次式（１２）に置き換えられる。
ａ（ｘ，λ）＝ｋＨ（λ）・ｄＨ＋ｋＥ（λ）・ｄＥ＋ｋＲ（λ）・ｄＲ ・・・（１２）
【００３３】
そして、式（５）を用いて推定された分光透過率Ｔ＾（ｘ）の波長λにおける推定分光吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。なお、ａ＾は、ａの上に記号「＾」が付いていることを示す。
【００３４】
【数５】
【００３５】
式（１３）において、未知変数は、ｄＨ，ｄＥ，ｄＲの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ１，λ２，λ３について式（１３）を連立させた場合、次式（１４）のように行列表記できる。
【００３６】
【数６】
【００３７】
ここで、式（１４）を次式（１５）に置き換える。
【００３８】
【数７】
【００３９】
式（１５）において、波長方向のサンプル点数をＤとすれば、Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するＤ行１列の行列であり、Ｋは、ｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は、点ｘにおけるｄＨ，ｄＥ，ｄＲに対応する３行１列の行列である。なお、Ａ＾は、Ａの上に記号「＾」が付いていることを示す。
【００４０】
そして、式（１５）に従い、最小二乗法を用いて色素量ｄＨ，ｄＥ，ｄＲを算出する。最小二乗法とは、単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、次式（１６）で算出できる。なお、式（１６）において、ｄ＾（ｘ）は、推定された色素量である。
【００４１】
【数８】
【００４２】
さらに、式（１６）により推定された色素量ｄ＾Ｈ，ｄ＾Ｅ，ｄ＾Ｒを、式（１２）に代入すれば、復元した分光吸光度ａ~（ｘ，λ）は、次式（１７）で求められる。なお、ａ~は、ａの上に記号「~（チルダ）」が付いていることを示す。
【数９】
【００４３】
したがって、色素量推定における推定誤差ｅ（λ）は、推定分光吸光度ａ＾（ｘ，λ）と復元した分光吸光度ａ~（ｘ，λ）とから次式（１８）で求められる。以下、ｅ（λ）を残差スペクトルと称す。
【００４４】
【数１０】
【００４５】
また、推定分光吸光度ａ＾（ｘ，λ）は、式（１７）および式（１８）を用いて、次式（１９）で表される。
【００４６】
【数１１】
【００４７】
ランベルト・ベールの法則は、屈折や散乱が無いと仮定した場合に、半透明物体を透過する光の減衰を定式化したものである。しかし、実際の染色標本では、屈折も散乱も起こり得る。そのため、染色標本による光の減衰を、ランベルト・ベールの法則のみでモデル化すると、モデル化に伴った誤差が生じることになる。
【００４８】
しかしながら、生体標本内での屈折や散乱を含めたモデルの構築は極めて困難であり、実用上は実行不可能である。そこで、屈折や散乱の影響を含めたモデル化の誤差である残差スペクトルを加えることで、物理モデルによる不自然な色変動を引き起こさないようにすることができる。
【００４９】
つまり、色素量ｄ＾Ｈ，ｄ＾Ｅ，ｄ＾Ｒが求まれば、それらを修正することにより、標本における色素量の変化をシミュレートすることができる。以下の説明では、染色法によって染色された色素量ｄ＾Ｈ，ｄ＾Ｅを修正し、赤血球本来の色であるｄ＾Ｒは修正しないものとする。色素量ｄ＾Ｈ，ｄ＾Ｅの補正色素量をｄ＾Ｈ＊，ｄ＾Ｅ＊とすると、補正色素量ｄ＾Ｈ＊，ｄ＾Ｅ＊は、適当な係数αＨ，αＥを用いて次式（２０）で求められる。
【００５０】
【数１２】
【００５１】
式（２０）の補正色素量ｄ＾Ｈ＊，ｄ＾Ｅ＊を式（１２）に代入すれば、新たな分光吸光度ａ~＊（ｘ，λ）は、次式（２１）から求められる。
【００５２】
【数１３】
【００５３】
また、残差スペクトルを含めると、新たな分光吸光度ａ＾＊（ｘ，λ）は、次式（２２）から求められる。
【００５４】
【数１４】
【００５５】
式（２１）の分光吸光度ａ~＊（ｘ，λ）または式（２２）分光吸光度ａ＾＊（ｘ，λ）を、式（１０）に代入すれば、新たな分光透過率ｔ＊（ｘ，λ）は、次式（２３）から求められる。なお、次式（２３）において、分光吸光度ａ＊（ｘ，λ）は、ａ~＊（ｘ，λ）またはａ＾＊（ｘ，λ）のいずれかである。
【００５６】
【数１５】
【００５７】
式（２３）を式（１）に代入すると、新たな画素値ｇ＊（ｘ，ｂ）は、次式（２４）から求めることができる。この場合、観測ノイズｎ（ｂ）をゼロとして計算することができる。
【００５８】
【数１６】
【００５９】
また、式（４）は、次式（２５）に置き換えられる。
【数１７】
【００６０】
ここで、Ｇ＊（ｘ）は、ｇ＊（ｘ，ｂ）に対応するＢ行１列の行列であり、Ｔ＊（ｘ）は、ｔ＊（ｘ，λ）に対応するＤ行１列の行列である。これにより、色素量を仮想的に変化させた標本の画素値Ｇ＊（ｘ）を合成することができる。以上の処理により、染色標本の色素量を仮想的に調整することができる。
【００６１】
一方、ＨＥ染色の染色標本画像から細胞核を抽出する方法として、Ｈ染色の色素量に基づいて細胞核領域を抽出する方法が知られている（例えば、特許文献１参照）。この特許文献１に開示の方法では、Ｈ色素量が閾値より多い画素を細胞核と判別している。
【００６２】
また、染色標本画像における色素量の補正方法として、染色標本画像の染色状態を標準的に補正する方法が知られている（例えば、特許文献２参照）。この特許文献２に開示の方法では、染色標本画像の各画素を色素量に基づいて複数のクラスに分類し、各クラスの色素量を標準的な染色状態における色素量に補正することで、染色標本画像の染色状態を標準的に補正している。
【００６３】
また、Ｅ染色の色素のスペクトルは、組織の違いによって、高波長または低波長にシフトする現象が実験的に確認されている。そこで、Ｅ染色の色素のスペクトルのシフト量を算出し、その算出したシフト量に基づいて細胞質と線維とを分類する方法も提案されている（例えば、非特許文献１参照）。この非特許文献１に開示の方法では、色素量推定時にＥ染色のシフトを１次近似することで、シフト量を算出している。
【先行技術文献】
【特許文献】
【００６４】
【特許文献１】特開２００４−２８６６６６号公報
【特許文献２】特開２００９−１４３５５号公報
【非特許文献】
【００６５】
【非特許文献１】宮澤 知克他「ＨＥ染色標本の吸光度スペクトルのシフトを用いた線維組織の領域抽出」Optics & Photonics Japan 2008 講演予稿集,P354-355,Nov.2008.
【発明の概要】
【発明が解決しようとする課題】
【００６６】
しかしながら、上述した公知文献開示の技術では、Ｈ染色の色素のスペクトルのシフト量については考慮されていないため、対象標本画像を対象標本の現象に即して解析することができない。その結果、特許文献１に開示のように細胞核を抽出する場合は、Ｈ色素量の少ないＨ染色の薄い核が細胞核と判別されない場合があり、対象標本の解析精度が低下することが懸念される。また、特許文献２に開示のように染色標本画像を標準的な染色状態に補正する場合は、精度良く補正できない場合がある。
【００６７】
したがって、かかる点に鑑みてなされた本発明の目的は、対象標本の現象に即して、対象標本画像を高精度で解析できる画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システムを提供することにある。
【課題を解決するための手段】
【００６８】
上記目的を達成する第１の観点に係る画像処理装置の発明は、
ヘマトキシリン染色を含む染色標本画像を処理する画像処理装置であって、
染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトルに基づいて当該色素のスペクトルの波長方向の変化特性を算出する変化特性算出部と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定する色素量・波長シフト量推定部と、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出する細胞核抽出部と、
【００６９】
第２の観点に係る発明は、第１の観点に係る画像処理装置において、
細胞核の色素量基準値を記憶する色素量基準値記憶部と、
前記細胞核抽出部により抽出された細胞核領域の色素量を前記色素量基準値に補正する細胞核の色素量補正係数を算出する色素量補正係数算出部と、
前記色素量補正係数に基づいて各画素の色素量を補正する色素量補正部と、
をさらに有することを特徴とするものである。
【００７０】
第３の観点に係る発明は、第１または２の観点に係る画像処理装置において、
前記染色標本画像の各画素の画素値からスペクトルを推定するスペクトル推定部をさらに有し、
前記色素量・波長シフト量推定部は、さらに前記スペクトル推定部により推定されたスペクトルに基づいて前記波長方向のシフト量を推定する、
ことを特徴とするものである。
【００７１】
第４の観点に係る発明は、第１，２または３の観点に係る画像処理装置において、
前記細胞核抽出部で抽出された前記細胞核領域の情報に基づいて表示用画像を作成する表示用画像作成部をさらに有する、
ことを特徴とするものである。
【００７２】
さらに、上記目的を達成する第５の観点に係る画像処理方法の発明は、
ヘマトキシリン染色を含む染色標本画像を処理する画像処理方法であって、
染色に使用される色素のスペクトルを取得するステップと、
取得された前記色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の変化特性を算出するステップと、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定するステップと、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出するステップと、
を含むことを特徴とするものである。
【００７３】
さらに、上記目的を達成する第６の観点に係る画像処理プログラムの発明は、
ヘマトキシリン染色を含む染色標本画像を処理する画像処理プログラムであって、
染色に使用される色素のスペクトルを取得する処理と、
取得された前記色素のスペクトルに基づいて当該色素のスペクトルの波長方向の変化特性を算出する処理と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定する処理と、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出する処理と、
をコンピュータに実行させることを特徴とするものである。
【００７４】
さらに、上記目的を達成する第７の観点に係るバーチャル顕微鏡システムの発明は、
染色標本のバーチャルスライド画像を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記染色標本を撮像して染色標本画像を取得する画像取得部と、
染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトルに基づいて当該色素のスペクトルの波長方向の変化特性を算出する変化特性算出部と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定する色素量・波長シフト量推定部と、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出する細胞核抽出部と、を有し、
前記細胞核抽出部で抽出された前記細胞核領域の情報に基づいて前記染色標本のバーチャルスライド画像を取得するように構成した、ことを特徴とするものである。
【発明の効果】
【００７５】
本発明によると、対象標本の現象に即して、対象標本画像を高精度で解析することが可能となる。
【図面の簡単な説明】
【００７６】
【図１】本発明の第１実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。
【図２】図１に示した画像取得部の概略構成を示す図である。
【図３】図２に示したＲＧＢカメラの分光感度特性を示す図である。
【図４】図２に示したフィルタ部を構成する各光学フィルタの分光透過率特性を示す図である。
【図５】Ｈ単染色標本における細胞核・細胞質のそれぞれの吸光度スペクトルを示す図である。
【図６】図１に示した画像処理装置の動作の概要を示すフローチャートである。
【図７】図１の色素のスペクトル記憶部に記憶されるＨ染色の色素のスペクトルと、その１次微分である変化特性とを示す図である。
【図８】図６の画像解析処理の概要を示すフローチャートである。
【図９】従来の細胞核抽出処理を説明するための図である。
【図１０】図１に示した画像処理装置による細胞核抽出処理の一例を説明するための図である。
【図１１】本発明の第２実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。
【図１２】図１１に示した画像処理装置の動作の概要を示すフローチャートである。
【図１３】本発明の第３実施の形態に係るバーチャル顕微鏡システムの要部の機能構成を示すブロック図である。
【発明を実施するための形態】
【００７７】
以下、本発明の好適実施の形態について、図を参照して詳細に説明する。なお、本発明は、以下の実施の形態によって限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００７８】
（第１実施の形態）
図１は、本発明の第１実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、顕微鏡とパーソナルコンピュータ等のコンピュータとから構成されるもので、画像取得部１１０、入力部２７０、表示部２９０、演算部２５０、記憶部２３０、および各部を制御する制御部２１０を備える。
【００７９】
画像取得部１１０は、マルチバンド画像（ここでは、６バンド画像）を取得するもので、例えば図２に示すように、ＲＧＢカメラ１１１と、該ＲＧＢカメラ１１１に結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１３とを備える。
【００８０】
ＲＧＢカメラ１１１は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子等を備え、例えば図３に示すようなＲ（赤），Ｇ（緑），Ｂ（青）の各バンドの分光感度特性を有する。フィルタ部１１３は、ＲＧＢカメラ１１１に結像する光の波長帯域を所定範囲に制限するもので、回転式のフィルタ切り替え部１１３１を備える。フィルタ切り替え部１１３１は、Ｒ，Ｇ，Ｂの各バンドの透過波長領域を２分するように、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１３３ａ，１１３３ｂを保持する。図４（ａ）は、一方の光学フィルタ１１３３ａの分光透過率特性を示し、図４（ｂ）は、他方の光学フィルタ１１３３ｂの分光透過率特性を示す。
【００８１】
そして、制御部２１０により、先ず、例えば光学フィルタ１１３３ａを、照明部１４０からＲＧＢカメラ１１１に至る光路上に位置させて、照明部１４０により受光位置移動部１３０上に載置された対象標本１３１を照明し、その透過光を結像レンズ１２０および光学フィルタ１１３３ａを経てＲＧＢカメラ１１１に結像させて第１の撮像を行う。次いで、制御部２１０により、フィルタ切り替え部１１３１を回転させて、光学フィルタ１１３３ｂを照明部１４０からＲＧＢカメラ１１１に至る光路上に位置させて、同様にして第２の撮像を行う。
【００８２】
これにより、第１の撮像および第２の撮像でそれぞれ異なる３バンドの画像を得て、合計で６バンドのマルチバンド画像を得る。取得された対象標本１３１の画像は、記憶部２３０に格納される。
【００８３】
なお、フィルタ部１１３に設ける光学フィルタの数は、２枚に限られるものではなく、３枚以上の光学フィルタを用いて、さらに多くのバンドの画像を得ることも可能である。また、画像取得部１１０は、フィルタ部１１３を省略して、ＲＧＢカメラ１１１によりＲＧＢ画像のみを取得するように構成してもよい。また、画像取得部１１０は、例えば液晶チューナブルフィルタや音響チューナブルフィルタを備えるマルチスペクトルカメラを用いて構成し、これにより対象標本（染色標本）のマルチスペクトル画像を取得するようにしてもよい。
【００８４】
図１において、入力部２７０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部２１０に出力する。
【００８５】
表示部２９０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現されるものであり、制御部２１０から入力される表示信号をもとに各種画面を表示する。
【００８６】
演算部２５０は、変化特性算出部２５０１、スペクトル推定部２５０３、色素量・波長シフト量推定部２５０５、細胞核抽出部２５０７、および、解析部２５０９を備える。この演算部２５０は、ＣＰＵ等のハードウェアによって実現される。
【００８７】
記憶部２３０は、画像処理装置を動作させる画像処理プログラムを記憶するプログラム記憶部２３１と、対象標本の染色に用いる染色方法による各色素のスペクトルｋＨ（λ），ｋＥ（λ），ｋＲ（λ）を記憶する色素のスペクトル記憶部２３３とを含み、画像処理プログラムの実行中に使用されるデータ等を格納する。この記憶部２３０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現される。
【００８８】
制御部２１０は、画像取得部１１０の動作を制御して対象標本の画像を取得する画像取得制御部２１１を含み、入力部２７０から入力される入力信号や画像取得部１１０から入力される画像、記憶部２３０に格納されているプログラムやデータ等に基づいて画像処理装置を構成する各部への指示やデータの転送等を行い、全体の動作を統括的に制御する。この制御部２１０は、ＣＰＵ等のハードウェアによって実現される。
【００８９】
上記構成において、記憶部２３０の色素のスペクトル記憶部２３３に記憶される各色素のスペクトルｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、上述したように、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本から測定された分光透過率に基づいて、例えばランベルト・ベールの法則により算出される。そして、その色素のスペクトルは、組織の違いによって波長方向にシフトしていることが知られている。
【００９０】
図５は、Ｈ単染色標本における細胞核・細胞質のそれぞれの吸光度スペクトルを示す図である。図５において、実線は細胞核の吸光度スペクトルを表し、破線は細胞質の吸光度スペクトルを表す。図５から明らかなように、Ｈ単染色標本の場合、波長６００〜７２０ｎｍにおいて、細胞核の吸光度スペクトルが、細胞質の吸光度スペクトルに対して１０ｎｍ程度長波長にシフトしている。これは、組織の違いによる何らかの要因によって、色素のスペクトルが波長方向にシフトしていることを示している。
【００９１】
以下、本実施の形態に係る画像処理装置の動作について説明する。
【００９２】
図６は、本実施の形態に係る画像処理装置の動作の概要を示すフローチャートである。本実施の形態に係る画像処理装置では、先ず、変化特性算出処理を実行して、色素のスペクトルの波長方向の変化特性を算出する（ステップＳ６０１）。その後、画像解析処理を実行して、変化特性算出処理で算出された変化特性に基づいて対象標本画像（染色標本画像）を解析する（ステップＳ６０３）。
【００９３】
変化特性算出処理においては、制御部２１０は、記憶部２３０の色素のスペクトル記憶部２３３に記憶されているＨ染色の色素のスペクトルｋＨ（λ）を読み出し、その読み出した色素のスペクトルｋＨ（λ）を、演算部２５０の変化特性算出部２５０１において微分して、波長方向の変化特性ｋＨ’（λ）を算出する。ここで、他の染色の変化特性を求めたい場合は、その色素のスペクトルを微分してもよい。この変化特性算出処理での算出結果は、記憶部２３０に記憶する。
【００９４】
図７は、色素のスペクトル記憶部２３３に記憶されるＨ染色の色素のスペクトルｋＨ（λ）と、その１次微分である変化特性ｋＨ’（λ）とを示すものである。
【００９５】
図８は、図２の画像解析処理の概要を示すフローチャートである。先ず、制御部２１０は、画像取得制御部２１１により画像取得部１１０の動作を制御して対象標本１３１の画像を取得する（ステップＳ８０１）。次に、制御部２１０は、取得された対象標本画像の画素値に基づいて、演算部２５０のスペクトル推定部２５０３によりスペクトルを推定する（ステップＳ８０３）。つまり、上述した式（５）により推定対象画素の画素値Ｇ（ｘ）から対応する対象標本の標本点における分光透過率の推定値Ｔ＾（ｘ）を推定する。式（５）を再掲する。
【００９６】
【数２】
【００９７】
次に、制御部２１０は、推定された分光透過率Ｔ＾（ｘ）に基づいて、演算部２５０の色素量・波長シフト量推定部２５０５により色素量と波長シフト量とを推定する（ステップＳ８０５）。つまり、色素量・波長シフト量推定部２５０５は、色素のスペクトル記憶部２３３に記憶されている対象標本の染色に用いた染色方法の各色素のスペクトルｋＨ（λ），ｋＥ（λ），ｋＲ（λ）と変化特性ｋＨ’（λ）とに基づいて、対象標本画像の任意の点ｘに対応する標本点における各染色方法の色素量と波長シフト量とを推定する。具体的には、対象標本画像の点ｘにおける分光透過率の推定値Ｔ＾（ｘ）に基づいて、点ｘに対応する対象標本の標本点に固定された色素量ｄ＾Ｈを、次式（２６）に基づいて推定する。
【００９８】
【数１８】
【００９９】
ここで、ｄ＾ＨΔλＨを次式（２７）に基づいて置き換える。
【数１９】
【０１００】
そして、次式（２８）に基づいて波長シフト量ΔλＨを算出する。これにより、各変化の相関を反映して色素量、波長シフト量を推定することができる。
【数２０】
【０１０１】
その後、制御部２１０は、推定された波長シフト量ΔλＨに基づいて、演算部２５０の細胞核抽出部２５０７により細胞核領域を抽出する（ステップＳ８０７）。例えば、Ｈ染色の波長シフト量ΔλＨが所定範囲（例えば、−５ｎｍ〜５ｎｍ）の画像を、例えば、k-means法によりクラス分類処理して細胞核領域を抽出する。あるいは、波長シフト量ΔλＨの画像の各画素を好適な閾値（波長シフト量）と比較することにより、細胞核領域を抽出する。
【０１０２】
次に、制御部２１０は、抽出された細胞核領域の情報に基づいて、演算部２５０の解析部２５０９により、対象標本画像を解析する（ステップＳ８０９）。ここで、対象標本画像の解析方法は、様々な方法が想定される。例えば、上述した特許文献１に開示の技術を応用して、抽出された細胞核領域の画像特徴量を算出し、その画像特徴量に基づいて病理診断に有用な情報を提供する。
【０１０３】
このように、本実施の形態に係る画像処理装置によれば、Ｈ染色の波長シフト量に基づいて細胞核を抽出するので、Ｈ色素量の少ないＨ染色の薄い核も細胞核領域として確実に抽出することができ、対象標本画像を対象標本の現象に即して高精度で解析することが可能となる。
【０１０４】
例えば、上述した特許文献１に開示のように、Ｈ染色の色素量に基づいて細胞核領域を抽出する場合、色素量に基づく画像は、図９（ａ）に示すようになり、破線で囲まれた領域にある薄い細胞核のＨ色素量は少なくなる。そのため、Ｈ色素量が閾値より多い画素を細胞核と判別すると、細胞核領域は、図９（ｂ）に示すようになり、Ｈ色素量の少ない細胞核は判別精度が低下することになる。なお、図９（ｃ）は、細胞核領域以外の領域の画像を示している。
【０１０５】
これに対し、本実施の形態におけるように、Ｈ染色の波長シフト量に基づいて細胞核を抽出するようにすれば、Ｈ染色の波長シフト量に基づく画像は、図１０（ａ）に示すようになり、破線で囲まれた領域にある薄い細胞核も顕著に現れる。したがって、例えば、図１０（ａ）の画像の各画素を好適な閾値（波長シフト量）と比較して細胞核領域を抽出すれば、図１０（ｂ）に示すように、薄い細胞核も細胞核領域として抽出することができ、細胞核の判別精度が向上することになる。なお、図１０（ｃ）は、細胞核領域以外の領域の画像を示している。
【０１０６】
また、本実施の形態においては、スペクトル推定部２５０３において、対象標本画像の画素値に基づいて分光スペクトルを推定するので、多バンド画像だけでなく、ＲＧＢ画像のような対象標本画像でも精度よく解析することが可能となる。この場合は、画像取得部１１０をより簡単に構成することができる。
【０１０７】
（第２実施の形態）
図１１は、本発明の第２実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、第１実施の形態に示した構成において、細胞核領域の情報に基づいて色素量を補正して、その補正された色素量に基づいて対象標本画像を表示部２９０に表示するものである。そのため、演算部２５０は、図１の解析部２５０９に代えて、色素量補正係数算出部２５０９ａ、色素量補正部２５１１、表示用画像作成部２５１３を有している。また、記憶部２３０は、細胞核領域の色素量基準値ｄｓｔｄ（ｉ）を記憶する色素量基準値記憶部２３５を備える。その他の構成は、第１実施の形態と同様であるので説明を省略する。
【０１０８】
図１２は、本実施の形態に係る画像処理装置の動作の概要を示すフローチャートである。図１２において、ステップＳ８０１〜Ｓ８０７の処理は、図８のステップＳ８０１〜Ｓ８０７の処理と同じであるので説明を省略する。本実施の形態においては、ステップＳ８０７において細胞核抽出部２５０７により細胞核領域が抽出されると、制御部２１０は、その抽出された細胞核領域の情報に基づいて、色素量補正係数算出部２５０９ａにより、対象標本画像における細胞核領域の色素量補正係数ｃｏｅｆｉを算出する（ステップＳ１２０１）。
【０１０９】
そのため、色素量補正係数算出部２５０９ａは、先ず、細胞核抽出部２５０７で抽出された細胞核領域の各染色の色素量平均値ｄ＾（ｉ）を算出する。次に、色素量補正係数算出部２５０９ａは、算出した色素量平均値ｄ＾（ｉ）と、記憶部２３０の色素量基準値記憶部２３５に記憶されている細胞核領域の色素量基準値ｄｓｔｄ（ｉ）とに基づいて、次式（２９）により色素量補正係数ｃｏｅｆｉを算出する。
【０１１０】
【数２１】
【０１１１】
その後、制御部２１０は、算出された色素量補正係数ｃｏｅｆｉを用いて、色素量補正部２５１１により次式（３０）に基づいて補正された色素量ｄ＾＊（ｘ）を算出する（ステップＳ１２０３）。
【０１１２】
【数２２】
【０１１３】
次に、制御部２１０は、補正された色素量ｄ＾＊（ｘ）に基づいて、表示用画像作成部２５１３により表示用画像を作成する（ステップＳ１２０５）。そのため、表示用画像作成部２５１３は、先ず、算出された補正色素量ｄ＾Ｈ＊、ｄ＾Ｅ＊およびｄ＾Ｒに基づいて、補正スペクトルを合成する。つまり、上述した式（２１）に従って、各点ｘにおける新しい分光吸光度ａ~＊（ｘ，λ）を求める。式（２１）を再掲する。
【０１１４】
【数１３】
【０１１５】
その後、上述した式（２３）に従って、各点ｘにおける新しい分光透過率ｔ＊（ｘ，ｂ）を求める。式（２３）を再掲する。
【０１１６】
【数１５】
【０１１７】
表示用画像作成部２５１３は、上記の処理を波長方向にＤ回繰返して、Ｔ＊（ｘ）を得る。Ｔ＊（ｘ）はｔ＊（ｘ，λ）に対応するＤ行１列の行列である。次に、表示用画像作成部２５１３は、合成した分光透過率Ｔ＊（ｘ）に基づいて補正画像を合成する。つまり、上述した式（２５）に従って、各点ｘにおける新しい画素値Ｇ＊（ｘ）を求める。これにより、色素量を仮想的に変化させた標本の画素値Ｇ＊（ｘ）を合成することができる。式（２５）を再掲する。
【０１１８】
【数１７】
【０１１９】
その後、制御部２１０は、上述したようにして表示用画像作成部２５１３により合成された表示用画像を表示部２９０に表示する。
【０１２０】
このように、本実施の形態に係る画像処理装置によれば、Ｈ染色の染色量と関わらず抽出された細胞核領域の色を正規化して対象標本画像の表示用画像を作成して表示するので、染色状態のばらつきのない細胞核領域の画像を表示することができる。これにより、目視によって対象標本画像を高精度で、かつ容易に解析することが可能となる。
【０１２１】
（第３実施の形態）
図１３は、本発明の第３実施の形態に係るバーチャル顕微鏡システムの要部の機能構成を示すブロック図である。このバーチャル顕微鏡システムは、染色標本のバーチャルスライド画像を取得するもので、顕微鏡装置４００とホストシステム６００とを備える。
【０１２２】
顕微鏡装置４００は、対象標本Ｓが載置される電動ステージ４１０と、側面視略コの字状を有し、電動ステージ４１０を支持するとともにレボルバ４６０を介して対物レンズ４７０を保持する顕微鏡本体４４０と、顕微鏡本体４４０の底部後方に配設された光源４８０と、顕微鏡本体４４０の上部に載置された鏡筒４９０とを備える。また、鏡筒４９０には、対象標本Ｓの標本像を目視観察するための双眼部５１０と、対象標本Ｓの標本像を撮像するためのＴＶカメラ５２０とが取り付けられている。すなわち、顕微鏡装置４００は、図１および図１１の画像取得部１１０に相当する。ここで、対物レンズ４７０の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【０１２３】
電動ステージ４１０は、ＸＹＺ方向に移動自在に構成されている。すなわち、電動ステージ４１０は、モータ４２１およびこのモータ４２１の駆動を制御するＸＹ駆動制御部４２３によってＸＹ平面内で移動自在である。ＸＹ駆動制御部４２３は、顕微鏡コントローラ５３０の制御のもと、図示しないＸＹ位置の原点センサによって電動ステージ４１０のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ４２１の駆動量を制御することによって、対象標本Ｓ上の観察箇所を移動させる。そして、ＸＹ駆動制御部４２３は、観察時の電動ステージ４１０のＸ位置およびＹ位置を適宜顕微鏡コントローラ５３０に出力する。
【０１２４】
また、電動ステージ４１０は、モータ４３１およびこのモータ４３１の駆動を制御するＺ駆動制御部４３３によってＺ方向に移動自在である。Ｚ駆動制御部４３３は、顕微鏡コントローラ５３０の制御のもと、図示しないＺ位置の原点センサによって電動ステージ４１０のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ４３１の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に対象標本Ｓを焦準移動させる。そして、Ｚ駆動制御部４３３は、観察時の電動ステージ４１０のＺ位置を適宜顕微鏡コントローラ５３０に出力する。
【０１２５】
レボルバ４６０は、顕微鏡本体４４０に対して回転自在に保持され、対物レンズ４７０を対象標本Ｓの上方に配置する。対物レンズ４７０は、レボルバ４６０に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ４６０の回転に応じて観察光の光路上に挿入されて対象標本Ｓの観察に用いる対物レンズ４７０が択一的に切り換えられるようになっている。
【０１２６】
顕微鏡本体４４０は、底部において対象標本Ｓを透過照明するための照明光学系を内設している。この照明光学系は、光源４８０から射出された照明光を集光するコレクタレンズ４５１、照明系フィルタユニット４５２、視野絞り４５３、開口絞り４５４、照明光の光路を対物レンズ４７０の光軸に沿って偏向させる折曲げミラー４５５、コンデンサ光学素子ユニット４５６、トップレンズユニット４５７等が、照明光の光路に沿って適所に配置されて構成される。光源４８０から射出された照明光は、照明光学系によって対象標本Ｓに照射され、その透過光が観察光として対物レンズ４７０に入射する。
【０１２７】
また、顕微鏡本体４４０は、その上部においてフィルタユニット５００を内設している。フィルタユニット５００は、標本像として結像する光の波長帯域を所定範囲に制限するための２枚以上の光学フィルタ５０３を回転自在に保持し、この光学フィルタ５０３を、適宜対物レンズ４７０後段において観察光の光路上に挿入する。このフィルタユニット５００は、図２に示したフィルタ部１１３に相当する。なお、ここでは、光学フィルタ５０３を対物レンズ４７０の後段に配置する場合を例示したが、これに限定されずるものではなく、光源４８０からＴＶカメラ５２０に至る光路上のいずれかの位置に配置することとしてよい。対物レンズ４７０を経た観察光は、このフィルタユニット５００を経由して鏡筒４９０に入射する。
【０１２８】
鏡筒４９０は、フィルタユニット５００を経た観察光の光路を切り換えて双眼部５１０またはＴＶカメラ５２０へと導くビームスプリッタ４９１を内設している。対象標本Ｓの標本像は、ビームスプリッタ４９１によって双眼部５１０内に導入され、接眼レンズ５１１を介して検鏡者に目視観察される。あるいはＴＶカメラ５２０によって撮像される。ＴＶカメラ５２０は、標本像（詳細には対物レンズ４７０の視野範囲の標本像）を撮像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、撮像した標本像の画像データをホストシステム６００に出力する。すなわち、ＴＶカメラ５２０は、図２に示したＲＧＢカメラ１１１に相当する。
【０１２９】
さらに、顕微鏡装置４００は、顕微鏡コントローラ５３０とＴＶカメラコントローラ５４０とを備える。顕微鏡コントローラ５３０は、ホストシステム６００の制御のもと、顕微鏡装置４００を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ５３０は、レボルバ４６０を回転させて観察光の光路上に配置する対物レンズ４７０を切り換える処理や、切り換えた対物レンズ４７０の倍率等に応じた光源４８０の調光制御や各種光学素子の切り換え、あるいはＸＹ駆動制御部４２３やＺ駆動制御部４３３に対する電動ステージ４１０の移動指示等、対象標本Ｓの観察に伴う顕微鏡装置４００の各部の調整を行うとともに、各部の状態を適宜ホストシステム６００に通知する。
【０１３０】
ＴＶカメラコントローラ５４０は、ホストシステム６００の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＴＶカメラ５２０を駆動し、ＴＶカメラ５２０の撮像動作を制御する。
【０１３１】
一方、ホストシステム６００は、第１または２実施の形態のいずれかに示した、入力部２７０、表示部２９０、演算部２５０、記憶部２３０および制御部２１０を含んでいる。このホストシステム６００は、ＣＰＵやビデオボード、メインメモリ（ＲＡＭ）等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【０１３２】
本実施の形態に係るバーチャル顕微鏡システムは、ホストシステム６００の記憶部に記憶されている画像処理プログラムを含むＶＳ画像生成プログラムに従って、顕微鏡装置４００を含む各部の動作を制御する。これにより、顕微鏡装置４００のＴＶカメラ５２０によって部分的にマルチバンド撮像された対象標本Ｓの複数の対象標本画像が、上記第１または２実施の形態で説明したようにそれぞれ処理されて、ＶＳ（Virtual Slide）画像が生成される。このＶＳ画像データ（マルチバンド画像データ）は、ホストシステム６００の記憶部に格納される。
【０１３３】
ここで、ＶＳ画像生成プログラムとは、対象標本のＶＳ画像を生成する処理を実現するためのプログラムである。また、ＶＳ画像とは、顕微鏡装置４００によってマルチバンド撮像された１枚以上の画像を繋ぎ合せて生成される画像であり、例えば高倍率の対物レンズ４７０を用いて対象標本Ｓを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成された画像であって、対象標本Ｓの全域を映した広視野でかつ高精細のマルチバンド画像のことを言う。
【０１３４】
ホストシステム６００は、第１または２実施の形態に示した入力部２７０から入力される入力信号や、顕微鏡コントローラ５３０から入力される顕微鏡装置４００の各部の状態、ＴＶカメラ５２０から入力される画像データ、第１または２実施の形態に示した記憶部２３０に記録されているプログラムやデータ等をもとにホストシステム６００を構成する各部への指示やデータの転送等を行う。また、ホストシステム６００は、顕微鏡コントローラ５３０やＴＶカメラコントローラ５４０に対する顕微鏡装置４００の各部の動作指示を行い、バーチャル顕微鏡システム全体の動作を統括的に制御する。
【０１３５】
したがって、本実施の形態に係るバーチャル顕微鏡システムによれば、第１または２実施の形態で説明した画像処理装置と同様の効果を奏することができる。
【０１３６】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、第１または２実施の形態において、スペクトル推定部２５０３を省略することもできる。また、画像取得部１１０は、撮像機能を設けることなく、別途撮像して得られた対象標本の染色画像データを、記録媒体を介して、あるいは通信回線を介して取り込むように構成してもよい。
【０１３７】
また、本発明は、上述した画像処理装置やバーチャル顕微鏡システムに限らず、これらの処理を実質的に実行する画像処理方法、画像処理プログラム、プログラムを記録した記憶媒体としても実現し得るものである。したがって、本発明は、これらも包含するものと理解されたい。
【符号の説明】
【０１３８】
１１０ 画像取得部
２１０ 制御部
２３０ 記憶部
２３３ 色素のスペクトル記憶部
２３５ 色素量基準値記憶部
２５０ 演算部
２５０１ 変化特性算出部
２５０３ スペクトル推定部
２５０５ 色素量・波長シフト量推定部
２５０７ 細胞核抽出部
２５０９ 解析部
２５０９ａ 色素量補正係数算出部
２５１１ 色素量補正部
２５１３ 表示用画像作成部
２７０ 入力部
２９０ 表示部
４００ 顕微鏡装置
６００ ホストシステム
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システムに関するものである。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の一つに、分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、照明光の変化に依存するＲＧＢ値等の色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率が利用されている。以下、病理診断における分光透過率の利用例について、さらに詳細に説明する。
【０００３】
病理診断における病理検査の一つとして、病変部位の組織を採取して顕微鏡で観察することにより、病気の診断または病変の拡大の程度を調べる組織診が知られている。この組織診は、生検（バイオプシー）とも呼ばれ、臓器摘出によって得たブロック標本や針生検によって得た病理標本を、厚さ数ミクロン程度に薄切りした後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。なかでも、光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切りされた標本は、光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては、種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「ＨＥ染色」と称す）が標準的に用いられている。
【０００５】
ヘマトキシリンは、植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは、好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００６】
一方、エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかは、ｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００７】
ＨＥ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。その結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。
【０００８】
染色された標本の観察は、観察者の目視によるものの他、この染色された標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率をもとに標本を染色している色素の色素量を推定する処理等が行われ、表示用の標本のＲＧＢ画像である表示画像が合成される。
【０００９】
標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法や、ウィナー（Wiener）推定による推定法等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には、何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【００１０】
以下、標本のマルチバンド画像から表示画像を合成する従来の方法について説明する。
【００１１】
先ず、標本のマルチバンド画像を撮像する。例えば、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来、観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１２】
ここで、撮像されたマルチバンド画像の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【００１３】
【数１】
【００１４】
式（１）において、λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した次式（２）が用いられる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
【００１５】
式（２）において、波長方向のサンプル点数をＤ、バンド数をＢ（ここではＢ＝１６）とすれば、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。
【００１６】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。この行列Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
【００１７】
よって、式（２）は、次式（４）に置き換えられる。
Ｇ（ｘ）＝ＨＴ（ｘ）＋Ｎ ・・・（４）
【００１８】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。
【００１９】
【数２】
【００２０】
ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。
Ｗ＝ＲＳＳＨｔ（ＨＲＳＳＨｔ＋ＲＮＮ）−１ ・・・（６）
ただし、（）ｔ：転置行列、（）−１：逆行列
【００２１】
式（６）において、ＲＳＳは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、ＲＮＮは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。
【００２２】
このようにして分光透過率データＴ＾（ｘ）を推定したら、次に、このＴ＾（ｘ）をもとに対応する標本上の点（標本点）における色素量を推定する。推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素の３種類であり、それぞれ色素Ｈ，色素Ｅ，色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても、赤血球はそれ自身特有の色を有しており、ＨＥ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。
【００２３】
一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ（λ）との間に、次式（７）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。
【００２４】
【数３】
【００２５】
式（７）において、ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。
【００２６】
ここで、式（７）の左辺は、分光透過率ｔ（λ）を意味している。したがって、式（７）は次式（８）に置き換えられる。
ｔ（λ）＝ｅ−ｋ（λ）・ｄ ・・・（８）
【００２７】
また、分光吸光度ａ（λ）は次式（９）で表される。
ａ（λ）＝ｋ（λ）・ｄ ・・・（９）
【００２８】
したがって、式（８）は次式（１０）に置き換えられる。
ｔ（λ）＝ｅ−ａ（λ） ・・・（１０）
【００２９】
ここで、ＨＥ染色された標本が、色素Ｈ，色素Ｅ，色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（１１）が成立する。
【００３０】
【数４】
【００３１】
式（１１）において、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、それぞれ色素Ｈ，色素Ｅ，色素Ｒに対応するｋ（λ）を表し、例えば、標本を染色している各色素のスペクトルである。また、ｄＨ，ｄＥ，ｄＲは、マルチバンド画像の各画像位置に対応する標本各点における色素Ｈ，色素Ｅ，色素Ｒの仮想的な厚さを表す。なお、色素は標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄＨ，ｄＥ，ｄＲは、それぞれ色素Ｈ，色素Ｅ，色素Ｒの色素量を表していると言える。なお、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
【００３２】
ここで、位置ｘにおける分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とすると、式（９）は次式（１２）に置き換えられる。
ａ（ｘ，λ）＝ｋＨ（λ）・ｄＨ＋ｋＥ（λ）・ｄＥ＋ｋＲ（λ）・ｄＲ ・・・（１２）
【００３３】
そして、式（５）を用いて推定された分光透過率Ｔ＾（ｘ）の波長λにおける推定分光吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。なお、ａ＾は、ａの上に記号「＾」が付いていることを示す。
【００３４】
【数５】
【００３５】
式（１３）において、未知変数は、ｄＨ，ｄＥ，ｄＲの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ１，λ２，λ３について式（１３）を連立させた場合、次式（１４）のように行列表記できる。
【００３６】
【数６】
【００３７】
ここで、式（１４）を次式（１５）に置き換える。
【００３８】
【数７】
【００３９】
式（１５）において、波長方向のサンプル点数をＤとすれば、Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するＤ行１列の行列であり、Ｋは、ｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は、点ｘにおけるｄＨ，ｄＥ，ｄＲに対応する３行１列の行列である。なお、Ａ＾は、Ａの上に記号「＾」が付いていることを示す。
【００４０】
そして、式（１５）に従い、最小二乗法を用いて色素量ｄＨ，ｄＥ，ｄＲを算出する。最小二乗法とは、単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、次式（１６）で算出できる。なお、式（１６）において、ｄ＾（ｘ）は、推定された色素量である。
【００４１】
【数８】
【００４２】
さらに、式（１６）により推定された色素量ｄ＾Ｈ，ｄ＾Ｅ，ｄ＾Ｒを、式（１２）に代入すれば、復元した分光吸光度ａ~（ｘ，λ）は、次式（１７）で求められる。なお、ａ~は、ａの上に記号「~（チルダ）」が付いていることを示す。
【数９】
【００４３】
したがって、色素量推定における推定誤差ｅ（λ）は、推定分光吸光度ａ＾（ｘ，λ）と復元した分光吸光度ａ~（ｘ，λ）とから次式（１８）で求められる。以下、ｅ（λ）を残差スペクトルと称す。
【００４４】
【数１０】
【００４５】
また、推定分光吸光度ａ＾（ｘ，λ）は、式（１７）および式（１８）を用いて、次式（１９）で表される。
【００４６】
【数１１】
【００４７】
ランベルト・ベールの法則は、屈折や散乱が無いと仮定した場合に、半透明物体を透過する光の減衰を定式化したものである。しかし、実際の染色標本では、屈折も散乱も起こり得る。そのため、染色標本による光の減衰を、ランベルト・ベールの法則のみでモデル化すると、モデル化に伴った誤差が生じることになる。
【００４８】
しかしながら、生体標本内での屈折や散乱を含めたモデルの構築は極めて困難であり、実用上は実行不可能である。そこで、屈折や散乱の影響を含めたモデル化の誤差である残差スペクトルを加えることで、物理モデルによる不自然な色変動を引き起こさないようにすることができる。
【００４９】
つまり、色素量ｄ＾Ｈ，ｄ＾Ｅ，ｄ＾Ｒが求まれば、それらを修正することにより、標本における色素量の変化をシミュレートすることができる。以下の説明では、染色法によって染色された色素量ｄ＾Ｈ，ｄ＾Ｅを修正し、赤血球本来の色であるｄ＾Ｒは修正しないものとする。色素量ｄ＾Ｈ，ｄ＾Ｅの補正色素量をｄ＾Ｈ＊，ｄ＾Ｅ＊とすると、補正色素量ｄ＾Ｈ＊，ｄ＾Ｅ＊は、適当な係数αＨ，αＥを用いて次式（２０）で求められる。
【００５０】
【数１２】
【００５１】
式（２０）の補正色素量ｄ＾Ｈ＊，ｄ＾Ｅ＊を式（１２）に代入すれば、新たな分光吸光度ａ~＊（ｘ，λ）は、次式（２１）から求められる。
【００５２】
【数１３】
【００５３】
また、残差スペクトルを含めると、新たな分光吸光度ａ＾＊（ｘ，λ）は、次式（２２）から求められる。
【００５４】
【数１４】
【００５５】
式（２１）の分光吸光度ａ~＊（ｘ，λ）または式（２２）分光吸光度ａ＾＊（ｘ，λ）を、式（１０）に代入すれば、新たな分光透過率ｔ＊（ｘ，λ）は、次式（２３）から求められる。なお、次式（２３）において、分光吸光度ａ＊（ｘ，λ）は、ａ~＊（ｘ，λ）またはａ＾＊（ｘ，λ）のいずれかである。
【００５６】
【数１５】
【００５７】
式（２３）を式（１）に代入すると、新たな画素値ｇ＊（ｘ，ｂ）は、次式（２４）から求めることができる。この場合、観測ノイズｎ（ｂ）をゼロとして計算することができる。
【００５８】
【数１６】
【００５９】
また、式（４）は、次式（２５）に置き換えられる。
【数１７】
【００６０】
ここで、Ｇ＊（ｘ）は、ｇ＊（ｘ，ｂ）に対応するＢ行１列の行列であり、Ｔ＊（ｘ）は、ｔ＊（ｘ，λ）に対応するＤ行１列の行列である。これにより、色素量を仮想的に変化させた標本の画素値Ｇ＊（ｘ）を合成することができる。以上の処理により、染色標本の色素量を仮想的に調整することができる。
【００６１】
一方、ＨＥ染色の染色標本画像から細胞核を抽出する方法として、Ｈ染色の色素量に基づいて細胞核領域を抽出する方法が知られている（例えば、特許文献１参照）。この特許文献１に開示の方法では、Ｈ色素量が閾値より多い画素を細胞核と判別している。
【００６２】
また、染色標本画像における色素量の補正方法として、染色標本画像の染色状態を標準的に補正する方法が知られている（例えば、特許文献２参照）。この特許文献２に開示の方法では、染色標本画像の各画素を色素量に基づいて複数のクラスに分類し、各クラスの色素量を標準的な染色状態における色素量に補正することで、染色標本画像の染色状態を標準的に補正している。
【００６３】
また、Ｅ染色の色素のスペクトルは、組織の違いによって、高波長または低波長にシフトする現象が実験的に確認されている。そこで、Ｅ染色の色素のスペクトルのシフト量を算出し、その算出したシフト量に基づいて細胞質と線維とを分類する方法も提案されている（例えば、非特許文献１参照）。この非特許文献１に開示の方法では、色素量推定時にＥ染色のシフトを１次近似することで、シフト量を算出している。
【先行技術文献】
【特許文献】
【００６４】
【特許文献１】特開２００４−２８６６６６号公報
【特許文献２】特開２００９−１４３５５号公報
【非特許文献】
【００６５】
【非特許文献１】宮澤 知克他「ＨＥ染色標本の吸光度スペクトルのシフトを用いた線維組織の領域抽出」Optics & Photonics Japan 2008 講演予稿集,P354-355,Nov.2008.
【発明の概要】
【発明が解決しようとする課題】
【００６６】
しかしながら、上述した公知文献開示の技術では、Ｈ染色の色素のスペクトルのシフト量については考慮されていないため、対象標本画像を対象標本の現象に即して解析することができない。その結果、特許文献１に開示のように細胞核を抽出する場合は、Ｈ色素量の少ないＨ染色の薄い核が細胞核と判別されない場合があり、対象標本の解析精度が低下することが懸念される。また、特許文献２に開示のように染色標本画像を標準的な染色状態に補正する場合は、精度良く補正できない場合がある。
【００６７】
したがって、かかる点に鑑みてなされた本発明の目的は、対象標本の現象に即して、対象標本画像を高精度で解析できる画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システムを提供することにある。
【課題を解決するための手段】
【００６８】
上記目的を達成する第１の観点に係る画像処理装置の発明は、
ヘマトキシリン染色を含む染色標本画像を処理する画像処理装置であって、
染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトルに基づいて当該色素のスペクトルの波長方向の変化特性を算出する変化特性算出部と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定する色素量・波長シフト量推定部と、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出する細胞核抽出部と、
【００６９】
第２の観点に係る発明は、第１の観点に係る画像処理装置において、
細胞核の色素量基準値を記憶する色素量基準値記憶部と、
前記細胞核抽出部により抽出された細胞核領域の色素量を前記色素量基準値に補正する細胞核の色素量補正係数を算出する色素量補正係数算出部と、
前記色素量補正係数に基づいて各画素の色素量を補正する色素量補正部と、
をさらに有することを特徴とするものである。
【００７０】
第３の観点に係る発明は、第１または２の観点に係る画像処理装置において、
前記染色標本画像の各画素の画素値からスペクトルを推定するスペクトル推定部をさらに有し、
前記色素量・波長シフト量推定部は、さらに前記スペクトル推定部により推定されたスペクトルに基づいて前記波長方向のシフト量を推定する、
ことを特徴とするものである。
【００７１】
第４の観点に係る発明は、第１，２または３の観点に係る画像処理装置において、
前記細胞核抽出部で抽出された前記細胞核領域の情報に基づいて表示用画像を作成する表示用画像作成部をさらに有する、
ことを特徴とするものである。
【００７２】
さらに、上記目的を達成する第５の観点に係る画像処理方法の発明は、
ヘマトキシリン染色を含む染色標本画像を処理する画像処理方法であって、
染色に使用される色素のスペクトルを取得するステップと、
取得された前記色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の変化特性を算出するステップと、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定するステップと、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出するステップと、
を含むことを特徴とするものである。
【００７３】
さらに、上記目的を達成する第６の観点に係る画像処理プログラムの発明は、
ヘマトキシリン染色を含む染色標本画像を処理する画像処理プログラムであって、
染色に使用される色素のスペクトルを取得する処理と、
取得された前記色素のスペクトルに基づいて当該色素のスペクトルの波長方向の変化特性を算出する処理と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定する処理と、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出する処理と、
をコンピュータに実行させることを特徴とするものである。
【００７４】
さらに、上記目的を達成する第７の観点に係るバーチャル顕微鏡システムの発明は、
染色標本のバーチャルスライド画像を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記染色標本を撮像して染色標本画像を取得する画像取得部と、
染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトルに基づいて当該色素のスペクトルの波長方向の変化特性を算出する変化特性算出部と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定する色素量・波長シフト量推定部と、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出する細胞核抽出部と、を有し、
前記細胞核抽出部で抽出された前記細胞核領域の情報に基づいて前記染色標本のバーチャルスライド画像を取得するように構成した、ことを特徴とするものである。
【発明の効果】
【００７５】
本発明によると、対象標本の現象に即して、対象標本画像を高精度で解析することが可能となる。
【図面の簡単な説明】
【００７６】
【図１】本発明の第１実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。
【図２】図１に示した画像取得部の概略構成を示す図である。
【図３】図２に示したＲＧＢカメラの分光感度特性を示す図である。
【図４】図２に示したフィルタ部を構成する各光学フィルタの分光透過率特性を示す図である。
【図５】Ｈ単染色標本における細胞核・細胞質のそれぞれの吸光度スペクトルを示す図である。
【図６】図１に示した画像処理装置の動作の概要を示すフローチャートである。
【図７】図１の色素のスペクトル記憶部に記憶されるＨ染色の色素のスペクトルと、その１次微分である変化特性とを示す図である。
【図８】図６の画像解析処理の概要を示すフローチャートである。
【図９】従来の細胞核抽出処理を説明するための図である。
【図１０】図１に示した画像処理装置による細胞核抽出処理の一例を説明するための図である。
【図１１】本発明の第２実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。
【図１２】図１１に示した画像処理装置の動作の概要を示すフローチャートである。
【図１３】本発明の第３実施の形態に係るバーチャル顕微鏡システムの要部の機能構成を示すブロック図である。
【発明を実施するための形態】
【００７７】
以下、本発明の好適実施の形態について、図を参照して詳細に説明する。なお、本発明は、以下の実施の形態によって限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００７８】
（第１実施の形態）
図１は、本発明の第１実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、顕微鏡とパーソナルコンピュータ等のコンピュータとから構成されるもので、画像取得部１１０、入力部２７０、表示部２９０、演算部２５０、記憶部２３０、および各部を制御する制御部２１０を備える。
【００７９】
画像取得部１１０は、マルチバンド画像（ここでは、６バンド画像）を取得するもので、例えば図２に示すように、ＲＧＢカメラ１１１と、該ＲＧＢカメラ１１１に結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１３とを備える。
【００８０】
ＲＧＢカメラ１１１は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子等を備え、例えば図３に示すようなＲ（赤），Ｇ（緑），Ｂ（青）の各バンドの分光感度特性を有する。フィルタ部１１３は、ＲＧＢカメラ１１１に結像する光の波長帯域を所定範囲に制限するもので、回転式のフィルタ切り替え部１１３１を備える。フィルタ切り替え部１１３１は、Ｒ，Ｇ，Ｂの各バンドの透過波長領域を２分するように、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１３３ａ，１１３３ｂを保持する。図４（ａ）は、一方の光学フィルタ１１３３ａの分光透過率特性を示し、図４（ｂ）は、他方の光学フィルタ１１３３ｂの分光透過率特性を示す。
【００８１】
そして、制御部２１０により、先ず、例えば光学フィルタ１１３３ａを、照明部１４０からＲＧＢカメラ１１１に至る光路上に位置させて、照明部１４０により受光位置移動部１３０上に載置された対象標本１３１を照明し、その透過光を結像レンズ１２０および光学フィルタ１１３３ａを経てＲＧＢカメラ１１１に結像させて第１の撮像を行う。次いで、制御部２１０により、フィルタ切り替え部１１３１を回転させて、光学フィルタ１１３３ｂを照明部１４０からＲＧＢカメラ１１１に至る光路上に位置させて、同様にして第２の撮像を行う。
【００８２】
これにより、第１の撮像および第２の撮像でそれぞれ異なる３バンドの画像を得て、合計で６バンドのマルチバンド画像を得る。取得された対象標本１３１の画像は、記憶部２３０に格納される。
【００８３】
なお、フィルタ部１１３に設ける光学フィルタの数は、２枚に限られるものではなく、３枚以上の光学フィルタを用いて、さらに多くのバンドの画像を得ることも可能である。また、画像取得部１１０は、フィルタ部１１３を省略して、ＲＧＢカメラ１１１によりＲＧＢ画像のみを取得するように構成してもよい。また、画像取得部１１０は、例えば液晶チューナブルフィルタや音響チューナブルフィルタを備えるマルチスペクトルカメラを用いて構成し、これにより対象標本（染色標本）のマルチスペクトル画像を取得するようにしてもよい。
【００８４】
図１において、入力部２７０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部２１０に出力する。
【００８５】
表示部２９０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現されるものであり、制御部２１０から入力される表示信号をもとに各種画面を表示する。
【００８６】
演算部２５０は、変化特性算出部２５０１、スペクトル推定部２５０３、色素量・波長シフト量推定部２５０５、細胞核抽出部２５０７、および、解析部２５０９を備える。この演算部２５０は、ＣＰＵ等のハードウェアによって実現される。
【００８７】
記憶部２３０は、画像処理装置を動作させる画像処理プログラムを記憶するプログラム記憶部２３１と、対象標本の染色に用いる染色方法による各色素のスペクトルｋＨ（λ），ｋＥ（λ），ｋＲ（λ）を記憶する色素のスペクトル記憶部２３３とを含み、画像処理プログラムの実行中に使用されるデータ等を格納する。この記憶部２３０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現される。
【００８８】
制御部２１０は、画像取得部１１０の動作を制御して対象標本の画像を取得する画像取得制御部２１１を含み、入力部２７０から入力される入力信号や画像取得部１１０から入力される画像、記憶部２３０に格納されているプログラムやデータ等に基づいて画像処理装置を構成する各部への指示やデータの転送等を行い、全体の動作を統括的に制御する。この制御部２１０は、ＣＰＵ等のハードウェアによって実現される。
【００８９】
上記構成において、記憶部２３０の色素のスペクトル記憶部２３３に記憶される各色素のスペクトルｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、上述したように、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本から測定された分光透過率に基づいて、例えばランベルト・ベールの法則により算出される。そして、その色素のスペクトルは、組織の違いによって波長方向にシフトしていることが知られている。
【００９０】
図５は、Ｈ単染色標本における細胞核・細胞質のそれぞれの吸光度スペクトルを示す図である。図５において、実線は細胞核の吸光度スペクトルを表し、破線は細胞質の吸光度スペクトルを表す。図５から明らかなように、Ｈ単染色標本の場合、波長６００〜７２０ｎｍにおいて、細胞核の吸光度スペクトルが、細胞質の吸光度スペクトルに対して１０ｎｍ程度長波長にシフトしている。これは、組織の違いによる何らかの要因によって、色素のスペクトルが波長方向にシフトしていることを示している。
【００９１】
以下、本実施の形態に係る画像処理装置の動作について説明する。
【００９２】
図６は、本実施の形態に係る画像処理装置の動作の概要を示すフローチャートである。本実施の形態に係る画像処理装置では、先ず、変化特性算出処理を実行して、色素のスペクトルの波長方向の変化特性を算出する（ステップＳ６０１）。その後、画像解析処理を実行して、変化特性算出処理で算出された変化特性に基づいて対象標本画像（染色標本画像）を解析する（ステップＳ６０３）。
【００９３】
変化特性算出処理においては、制御部２１０は、記憶部２３０の色素のスペクトル記憶部２３３に記憶されているＨ染色の色素のスペクトルｋＨ（λ）を読み出し、その読み出した色素のスペクトルｋＨ（λ）を、演算部２５０の変化特性算出部２５０１において微分して、波長方向の変化特性ｋＨ’（λ）を算出する。ここで、他の染色の変化特性を求めたい場合は、その色素のスペクトルを微分してもよい。この変化特性算出処理での算出結果は、記憶部２３０に記憶する。
【００９４】
図７は、色素のスペクトル記憶部２３３に記憶されるＨ染色の色素のスペクトルｋＨ（λ）と、その１次微分である変化特性ｋＨ’（λ）とを示すものである。
【００９５】
図８は、図２の画像解析処理の概要を示すフローチャートである。先ず、制御部２１０は、画像取得制御部２１１により画像取得部１１０の動作を制御して対象標本１３１の画像を取得する（ステップＳ８０１）。次に、制御部２１０は、取得された対象標本画像の画素値に基づいて、演算部２５０のスペクトル推定部２５０３によりスペクトルを推定する（ステップＳ８０３）。つまり、上述した式（５）により推定対象画素の画素値Ｇ（ｘ）から対応する対象標本の標本点における分光透過率の推定値Ｔ＾（ｘ）を推定する。式（５）を再掲する。
【００９６】
【数２】
【００９７】
次に、制御部２１０は、推定された分光透過率Ｔ＾（ｘ）に基づいて、演算部２５０の色素量・波長シフト量推定部２５０５により色素量と波長シフト量とを推定する（ステップＳ８０５）。つまり、色素量・波長シフト量推定部２５０５は、色素のスペクトル記憶部２３３に記憶されている対象標本の染色に用いた染色方法の各色素のスペクトルｋＨ（λ），ｋＥ（λ），ｋＲ（λ）と変化特性ｋＨ’（λ）とに基づいて、対象標本画像の任意の点ｘに対応する標本点における各染色方法の色素量と波長シフト量とを推定する。具体的には、対象標本画像の点ｘにおける分光透過率の推定値Ｔ＾（ｘ）に基づいて、点ｘに対応する対象標本の標本点に固定された色素量ｄ＾Ｈを、次式（２６）に基づいて推定する。
【００９８】
【数１８】
【００９９】
ここで、ｄ＾ＨΔλＨを次式（２７）に基づいて置き換える。
【数１９】
【０１００】
そして、次式（２８）に基づいて波長シフト量ΔλＨを算出する。これにより、各変化の相関を反映して色素量、波長シフト量を推定することができる。
【数２０】
【０１０１】
その後、制御部２１０は、推定された波長シフト量ΔλＨに基づいて、演算部２５０の細胞核抽出部２５０７により細胞核領域を抽出する（ステップＳ８０７）。例えば、Ｈ染色の波長シフト量ΔλＨが所定範囲（例えば、−５ｎｍ〜５ｎｍ）の画像を、例えば、k-means法によりクラス分類処理して細胞核領域を抽出する。あるいは、波長シフト量ΔλＨの画像の各画素を好適な閾値（波長シフト量）と比較することにより、細胞核領域を抽出する。
【０１０２】
次に、制御部２１０は、抽出された細胞核領域の情報に基づいて、演算部２５０の解析部２５０９により、対象標本画像を解析する（ステップＳ８０９）。ここで、対象標本画像の解析方法は、様々な方法が想定される。例えば、上述した特許文献１に開示の技術を応用して、抽出された細胞核領域の画像特徴量を算出し、その画像特徴量に基づいて病理診断に有用な情報を提供する。
【０１０３】
このように、本実施の形態に係る画像処理装置によれば、Ｈ染色の波長シフト量に基づいて細胞核を抽出するので、Ｈ色素量の少ないＨ染色の薄い核も細胞核領域として確実に抽出することができ、対象標本画像を対象標本の現象に即して高精度で解析することが可能となる。
【０１０４】
例えば、上述した特許文献１に開示のように、Ｈ染色の色素量に基づいて細胞核領域を抽出する場合、色素量に基づく画像は、図９（ａ）に示すようになり、破線で囲まれた領域にある薄い細胞核のＨ色素量は少なくなる。そのため、Ｈ色素量が閾値より多い画素を細胞核と判別すると、細胞核領域は、図９（ｂ）に示すようになり、Ｈ色素量の少ない細胞核は判別精度が低下することになる。なお、図９（ｃ）は、細胞核領域以外の領域の画像を示している。
【０１０５】
これに対し、本実施の形態におけるように、Ｈ染色の波長シフト量に基づいて細胞核を抽出するようにすれば、Ｈ染色の波長シフト量に基づく画像は、図１０（ａ）に示すようになり、破線で囲まれた領域にある薄い細胞核も顕著に現れる。したがって、例えば、図１０（ａ）の画像の各画素を好適な閾値（波長シフト量）と比較して細胞核領域を抽出すれば、図１０（ｂ）に示すように、薄い細胞核も細胞核領域として抽出することができ、細胞核の判別精度が向上することになる。なお、図１０（ｃ）は、細胞核領域以外の領域の画像を示している。
【０１０６】
また、本実施の形態においては、スペクトル推定部２５０３において、対象標本画像の画素値に基づいて分光スペクトルを推定するので、多バンド画像だけでなく、ＲＧＢ画像のような対象標本画像でも精度よく解析することが可能となる。この場合は、画像取得部１１０をより簡単に構成することができる。
【０１０７】
（第２実施の形態）
図１１は、本発明の第２実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、第１実施の形態に示した構成において、細胞核領域の情報に基づいて色素量を補正して、その補正された色素量に基づいて対象標本画像を表示部２９０に表示するものである。そのため、演算部２５０は、図１の解析部２５０９に代えて、色素量補正係数算出部２５０９ａ、色素量補正部２５１１、表示用画像作成部２５１３を有している。また、記憶部２３０は、細胞核領域の色素量基準値ｄｓｔｄ（ｉ）を記憶する色素量基準値記憶部２３５を備える。その他の構成は、第１実施の形態と同様であるので説明を省略する。
【０１０８】
図１２は、本実施の形態に係る画像処理装置の動作の概要を示すフローチャートである。図１２において、ステップＳ８０１〜Ｓ８０７の処理は、図８のステップＳ８０１〜Ｓ８０７の処理と同じであるので説明を省略する。本実施の形態においては、ステップＳ８０７において細胞核抽出部２５０７により細胞核領域が抽出されると、制御部２１０は、その抽出された細胞核領域の情報に基づいて、色素量補正係数算出部２５０９ａにより、対象標本画像における細胞核領域の色素量補正係数ｃｏｅｆｉを算出する（ステップＳ１２０１）。
【０１０９】
そのため、色素量補正係数算出部２５０９ａは、先ず、細胞核抽出部２５０７で抽出された細胞核領域の各染色の色素量平均値ｄ＾（ｉ）を算出する。次に、色素量補正係数算出部２５０９ａは、算出した色素量平均値ｄ＾（ｉ）と、記憶部２３０の色素量基準値記憶部２３５に記憶されている細胞核領域の色素量基準値ｄｓｔｄ（ｉ）とに基づいて、次式（２９）により色素量補正係数ｃｏｅｆｉを算出する。
【０１１０】
【数２１】
【０１１１】
その後、制御部２１０は、算出された色素量補正係数ｃｏｅｆｉを用いて、色素量補正部２５１１により次式（３０）に基づいて補正された色素量ｄ＾＊（ｘ）を算出する（ステップＳ１２０３）。
【０１１２】
【数２２】
【０１１３】
次に、制御部２１０は、補正された色素量ｄ＾＊（ｘ）に基づいて、表示用画像作成部２５１３により表示用画像を作成する（ステップＳ１２０５）。そのため、表示用画像作成部２５１３は、先ず、算出された補正色素量ｄ＾Ｈ＊、ｄ＾Ｅ＊およびｄ＾Ｒに基づいて、補正スペクトルを合成する。つまり、上述した式（２１）に従って、各点ｘにおける新しい分光吸光度ａ~＊（ｘ，λ）を求める。式（２１）を再掲する。
【０１１４】
【数１３】
【０１１５】
その後、上述した式（２３）に従って、各点ｘにおける新しい分光透過率ｔ＊（ｘ，ｂ）を求める。式（２３）を再掲する。
【０１１６】
【数１５】
【０１１７】
表示用画像作成部２５１３は、上記の処理を波長方向にＤ回繰返して、Ｔ＊（ｘ）を得る。Ｔ＊（ｘ）はｔ＊（ｘ，λ）に対応するＤ行１列の行列である。次に、表示用画像作成部２５１３は、合成した分光透過率Ｔ＊（ｘ）に基づいて補正画像を合成する。つまり、上述した式（２５）に従って、各点ｘにおける新しい画素値Ｇ＊（ｘ）を求める。これにより、色素量を仮想的に変化させた標本の画素値Ｇ＊（ｘ）を合成することができる。式（２５）を再掲する。
【０１１８】
【数１７】
【０１１９】
その後、制御部２１０は、上述したようにして表示用画像作成部２５１３により合成された表示用画像を表示部２９０に表示する。
【０１２０】
このように、本実施の形態に係る画像処理装置によれば、Ｈ染色の染色量と関わらず抽出された細胞核領域の色を正規化して対象標本画像の表示用画像を作成して表示するので、染色状態のばらつきのない細胞核領域の画像を表示することができる。これにより、目視によって対象標本画像を高精度で、かつ容易に解析することが可能となる。
【０１２１】
（第３実施の形態）
図１３は、本発明の第３実施の形態に係るバーチャル顕微鏡システムの要部の機能構成を示すブロック図である。このバーチャル顕微鏡システムは、染色標本のバーチャルスライド画像を取得するもので、顕微鏡装置４００とホストシステム６００とを備える。
【０１２２】
顕微鏡装置４００は、対象標本Ｓが載置される電動ステージ４１０と、側面視略コの字状を有し、電動ステージ４１０を支持するとともにレボルバ４６０を介して対物レンズ４７０を保持する顕微鏡本体４４０と、顕微鏡本体４４０の底部後方に配設された光源４８０と、顕微鏡本体４４０の上部に載置された鏡筒４９０とを備える。また、鏡筒４９０には、対象標本Ｓの標本像を目視観察するための双眼部５１０と、対象標本Ｓの標本像を撮像するためのＴＶカメラ５２０とが取り付けられている。すなわち、顕微鏡装置４００は、図１および図１１の画像取得部１１０に相当する。ここで、対物レンズ４７０の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【０１２３】
電動ステージ４１０は、ＸＹＺ方向に移動自在に構成されている。すなわち、電動ステージ４１０は、モータ４２１およびこのモータ４２１の駆動を制御するＸＹ駆動制御部４２３によってＸＹ平面内で移動自在である。ＸＹ駆動制御部４２３は、顕微鏡コントローラ５３０の制御のもと、図示しないＸＹ位置の原点センサによって電動ステージ４１０のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ４２１の駆動量を制御することによって、対象標本Ｓ上の観察箇所を移動させる。そして、ＸＹ駆動制御部４２３は、観察時の電動ステージ４１０のＸ位置およびＹ位置を適宜顕微鏡コントローラ５３０に出力する。
【０１２４】
また、電動ステージ４１０は、モータ４３１およびこのモータ４３１の駆動を制御するＺ駆動制御部４３３によってＺ方向に移動自在である。Ｚ駆動制御部４３３は、顕微鏡コントローラ５３０の制御のもと、図示しないＺ位置の原点センサによって電動ステージ４１０のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ４３１の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に対象標本Ｓを焦準移動させる。そして、Ｚ駆動制御部４３３は、観察時の電動ステージ４１０のＺ位置を適宜顕微鏡コントローラ５３０に出力する。
【０１２５】
レボルバ４６０は、顕微鏡本体４４０に対して回転自在に保持され、対物レンズ４７０を対象標本Ｓの上方に配置する。対物レンズ４７０は、レボルバ４６０に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ４６０の回転に応じて観察光の光路上に挿入されて対象標本Ｓの観察に用いる対物レンズ４７０が択一的に切り換えられるようになっている。
【０１２６】
顕微鏡本体４４０は、底部において対象標本Ｓを透過照明するための照明光学系を内設している。この照明光学系は、光源４８０から射出された照明光を集光するコレクタレンズ４５１、照明系フィルタユニット４５２、視野絞り４５３、開口絞り４５４、照明光の光路を対物レンズ４７０の光軸に沿って偏向させる折曲げミラー４５５、コンデンサ光学素子ユニット４５６、トップレンズユニット４５７等が、照明光の光路に沿って適所に配置されて構成される。光源４８０から射出された照明光は、照明光学系によって対象標本Ｓに照射され、その透過光が観察光として対物レンズ４７０に入射する。
【０１２７】
また、顕微鏡本体４４０は、その上部においてフィルタユニット５００を内設している。フィルタユニット５００は、標本像として結像する光の波長帯域を所定範囲に制限するための２枚以上の光学フィルタ５０３を回転自在に保持し、この光学フィルタ５０３を、適宜対物レンズ４７０後段において観察光の光路上に挿入する。このフィルタユニット５００は、図２に示したフィルタ部１１３に相当する。なお、ここでは、光学フィルタ５０３を対物レンズ４７０の後段に配置する場合を例示したが、これに限定されずるものではなく、光源４８０からＴＶカメラ５２０に至る光路上のいずれかの位置に配置することとしてよい。対物レンズ４７０を経た観察光は、このフィルタユニット５００を経由して鏡筒４９０に入射する。
【０１２８】
鏡筒４９０は、フィルタユニット５００を経た観察光の光路を切り換えて双眼部５１０またはＴＶカメラ５２０へと導くビームスプリッタ４９１を内設している。対象標本Ｓの標本像は、ビームスプリッタ４９１によって双眼部５１０内に導入され、接眼レンズ５１１を介して検鏡者に目視観察される。あるいはＴＶカメラ５２０によって撮像される。ＴＶカメラ５２０は、標本像（詳細には対物レンズ４７０の視野範囲の標本像）を撮像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、撮像した標本像の画像データをホストシステム６００に出力する。すなわち、ＴＶカメラ５２０は、図２に示したＲＧＢカメラ１１１に相当する。
【０１２９】
さらに、顕微鏡装置４００は、顕微鏡コントローラ５３０とＴＶカメラコントローラ５４０とを備える。顕微鏡コントローラ５３０は、ホストシステム６００の制御のもと、顕微鏡装置４００を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ５３０は、レボルバ４６０を回転させて観察光の光路上に配置する対物レンズ４７０を切り換える処理や、切り換えた対物レンズ４７０の倍率等に応じた光源４８０の調光制御や各種光学素子の切り換え、あるいはＸＹ駆動制御部４２３やＺ駆動制御部４３３に対する電動ステージ４１０の移動指示等、対象標本Ｓの観察に伴う顕微鏡装置４００の各部の調整を行うとともに、各部の状態を適宜ホストシステム６００に通知する。
【０１３０】
ＴＶカメラコントローラ５４０は、ホストシステム６００の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＴＶカメラ５２０を駆動し、ＴＶカメラ５２０の撮像動作を制御する。
【０１３１】
一方、ホストシステム６００は、第１または２実施の形態のいずれかに示した、入力部２７０、表示部２９０、演算部２５０、記憶部２３０および制御部２１０を含んでいる。このホストシステム６００は、ＣＰＵやビデオボード、メインメモリ（ＲＡＭ）等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【０１３２】
本実施の形態に係るバーチャル顕微鏡システムは、ホストシステム６００の記憶部に記憶されている画像処理プログラムを含むＶＳ画像生成プログラムに従って、顕微鏡装置４００を含む各部の動作を制御する。これにより、顕微鏡装置４００のＴＶカメラ５２０によって部分的にマルチバンド撮像された対象標本Ｓの複数の対象標本画像が、上記第１または２実施の形態で説明したようにそれぞれ処理されて、ＶＳ（Virtual Slide）画像が生成される。このＶＳ画像データ（マルチバンド画像データ）は、ホストシステム６００の記憶部に格納される。
【０１３３】
ここで、ＶＳ画像生成プログラムとは、対象標本のＶＳ画像を生成する処理を実現するためのプログラムである。また、ＶＳ画像とは、顕微鏡装置４００によってマルチバンド撮像された１枚以上の画像を繋ぎ合せて生成される画像であり、例えば高倍率の対物レンズ４７０を用いて対象標本Ｓを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成された画像であって、対象標本Ｓの全域を映した広視野でかつ高精細のマルチバンド画像のことを言う。
【０１３４】
ホストシステム６００は、第１または２実施の形態に示した入力部２７０から入力される入力信号や、顕微鏡コントローラ５３０から入力される顕微鏡装置４００の各部の状態、ＴＶカメラ５２０から入力される画像データ、第１または２実施の形態に示した記憶部２３０に記録されているプログラムやデータ等をもとにホストシステム６００を構成する各部への指示やデータの転送等を行う。また、ホストシステム６００は、顕微鏡コントローラ５３０やＴＶカメラコントローラ５４０に対する顕微鏡装置４００の各部の動作指示を行い、バーチャル顕微鏡システム全体の動作を統括的に制御する。
【０１３５】
したがって、本実施の形態に係るバーチャル顕微鏡システムによれば、第１または２実施の形態で説明した画像処理装置と同様の効果を奏することができる。
【０１３６】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、第１または２実施の形態において、スペクトル推定部２５０３を省略することもできる。また、画像取得部１１０は、撮像機能を設けることなく、別途撮像して得られた対象標本の染色画像データを、記録媒体を介して、あるいは通信回線を介して取り込むように構成してもよい。
【０１３７】
また、本発明は、上述した画像処理装置やバーチャル顕微鏡システムに限らず、これらの処理を実質的に実行する画像処理方法、画像処理プログラム、プログラムを記録した記憶媒体としても実現し得るものである。したがって、本発明は、これらも包含するものと理解されたい。
【符号の説明】
【０１３８】
１１０ 画像取得部
２１０ 制御部
２３０ 記憶部
２３３ 色素のスペクトル記憶部
２３５ 色素量基準値記憶部
２５０ 演算部
２５０１ 変化特性算出部
２５０３ スペクトル推定部
２５０５ 色素量・波長シフト量推定部
２５０７ 細胞核抽出部
２５０９ 解析部
２５０９ａ 色素量補正係数算出部
２５１１ 色素量補正部
２５１３ 表示用画像作成部
２７０ 入力部
２９０ 表示部
４００ 顕微鏡装置
６００ ホストシステム
【特許請求の範囲】
【請求項１】
ヘマトキシリン染色を含む染色標本画像を処理する画像処理装置であって、
染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトルに基づいて当該色素のスペクトルの波長方向の変化特性を算出する変化特性算出部と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定する色素量・波長シフト量推定部と、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出する細胞核抽出部と、
を有することを特徴とする画像処理装置。
【請求項２】
細胞核の色素量基準値を記憶する色素量基準値記憶部と、
前記細胞核抽出部により抽出された細胞核領域の色素量を前記色素量基準値に補正する細胞核の色素量補正係数を算出する色素量補正係数算出部と、
前記色素量補正係数に基づいて各画素の色素量を補正する色素量補正部と、
をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記染色標本画像の各画素の画素値からスペクトルを推定するスペクトル推定部をさらに有し、
前記色素量・波長シフト量推定部は、さらに前記スペクトル推定部により推定されたスペクトルに基づいて前記波長方向のシフト量を推定する、
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記細胞核抽出部で抽出された前記細胞核領域の情報に基づいて表示用画像を作成する表示用画像作成部をさらに有する、
ことを特徴とする請求項１，２または３に記載の画像処理装置。
【請求項５】
ヘマトキシリン染色を含む染色標本画像を処理する画像処理方法であって、
染色に使用される色素のスペクトルを取得するステップと、
取得された前記色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の変化特性を算出するステップと、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定するステップと、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出するステップと、
を含むことを特徴とする画像処理方法。
【請求項６】
ヘマトキシリン染色を含む染色標本画像を処理する画像処理プログラムであって、
染色に使用される色素のスペクトルを取得する処理と、
取得された前記色素のスペクトルに基づいて当該色素のスペクトルの波長方向の変化特性を算出する処理と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定する処理と、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出する処理と、
をコンピュータに実行させるための画像処理プログラム。
【請求項７】
染色標本のバーチャルスライド画像を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記染色標本を撮像して染色標本画像を取得する画像取得部と、
染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトルに基づいて当該色素のスペクトルの波長方向の変化特性を算出する変化特性算出部と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定する色素量・波長シフト量推定部と、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出する細胞核抽出部と、を有し、
前記細胞核抽出部で抽出された前記細胞核領域の情報に基づいて前記染色標本のバーチャルスライド画像を取得するように構成した、ことを特徴とするバーチャル顕微鏡システム。
【請求項１】
ヘマトキシリン染色を含む染色標本画像を処理する画像処理装置であって、
染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトルに基づいて当該色素のスペクトルの波長方向の変化特性を算出する変化特性算出部と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定する色素量・波長シフト量推定部と、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出する細胞核抽出部と、
を有することを特徴とする画像処理装置。
【請求項２】
細胞核の色素量基準値を記憶する色素量基準値記憶部と、
前記細胞核抽出部により抽出された細胞核領域の色素量を前記色素量基準値に補正する細胞核の色素量補正係数を算出する色素量補正係数算出部と、
前記色素量補正係数に基づいて各画素の色素量を補正する色素量補正部と、
をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記染色標本画像の各画素の画素値からスペクトルを推定するスペクトル推定部をさらに有し、
前記色素量・波長シフト量推定部は、さらに前記スペクトル推定部により推定されたスペクトルに基づいて前記波長方向のシフト量を推定する、
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記細胞核抽出部で抽出された前記細胞核領域の情報に基づいて表示用画像を作成する表示用画像作成部をさらに有する、
ことを特徴とする請求項１，２または３に記載の画像処理装置。
【請求項５】
ヘマトキシリン染色を含む染色標本画像を処理する画像処理方法であって、
染色に使用される色素のスペクトルを取得するステップと、
取得された前記色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の変化特性を算出するステップと、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定するステップと、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出するステップと、
を含むことを特徴とする画像処理方法。
【請求項６】
ヘマトキシリン染色を含む染色標本画像を処理する画像処理プログラムであって、
染色に使用される色素のスペクトルを取得する処理と、
取得された前記色素のスペクトルに基づいて当該色素のスペクトルの波長方向の変化特性を算出する処理と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定する処理と、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出する処理と、
をコンピュータに実行させるための画像処理プログラム。
【請求項７】
染色標本のバーチャルスライド画像を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記染色標本を撮像して染色標本画像を取得する画像取得部と、
染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトルに基づいて当該色素のスペクトルの波長方向の変化特性を算出する変化特性算出部と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素における少なくとも前記ヘマトキシリン染色の色素量および波長方向のシフト量を推定する色素量・波長シフト量推定部と、
推定された前記波長方向のシフト量に基づいて前記染色標本画像の細胞核領域を抽出する細胞核抽出部と、を有し、
前記細胞核抽出部で抽出された前記細胞核領域の情報に基づいて前記染色標本のバーチャルスライド画像を取得するように構成した、ことを特徴とするバーチャル顕微鏡システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【図１２】
【図１３】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１１】
【図１２】
【図１３】
【図９】
【図１０】
【公開番号】特開２０１２−２３３７８４（Ｐ２０１２−２３３７８４Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０２４７７（Ｐ２０１１−１０２４７７）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]