画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
【課題】対象標本の現象に即して、対象標本画像を高精度で解析できる画像処理装置を提供する。
【解決手段】染色標本の染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部233と、記憶された色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する変化特性算出部2501と、記憶された色素のスペクトルと算出された変化特性とに基づいて、染色標本画像の各画素の画素値から色素量および変化特性に基づく変化量を推定する色素量・変化量推定部2503とを有し、少なくとも変化量に基づいて染色標本画像を解析する演算部250と、を備える。
【解決手段】染色標本の染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部233と、記憶された色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する変化特性算出部2501と、記憶された色素のスペクトルと算出された変化特性とに基づいて、染色標本画像の各画素の画素値から色素量および変化特性に基づく変化量を推定する色素量・変化量推定部2503とを有し、少なくとも変化量に基づいて染色標本画像を解析する演算部250と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システムに関するものである。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の一つに、分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、照明光の変化に依存するＲＧＢ値等の色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率が利用されている。以下、病理診断における分光透過率の利用例について、さらに詳細に説明する。
【０００３】
病理診断における病理検査の一つとして、病変部位の組織を採取して顕微鏡で観察することにより、病気の診断または病変の拡大の程度を調べる組織診が知られている。この組織診は、生検（バイオプシー）とも呼ばれ、臓器摘出によって得たブロック標本や針生検によって得た病理標本を、厚さ数ミクロン程度に薄切りした後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。なかでも、光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切りされた標本は、光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては、種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「ＨＥ染色」と称す）が標準的に用いられている。
【０００５】
ヘマトキシリンは、植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは、好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００６】
一方、エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかは、ｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００７】
ＨＥ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。その結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。
【０００８】
染色された標本の観察は、観察者の目視によるものの他、この染色された標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率をもとに標本を染色している色素の色素量を推定する処理等が行われ、表示用の標本のＲＧＢ画像である表示画像が合成される。
【０００９】
標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法や、ウィナー（Wiener）推定による推定法等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には、何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【００１０】
以下、標本のマルチバンド画像から表示画像を合成する従来の方法について説明する。
【００１１】
先ず、標本のマルチバンド画像を撮像する。例えば、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来、観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１２】
ここで、撮像されたマルチバンド画像の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【００１３】
【数１】
【００１４】
式（１）において、λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した次式（２）が用いられる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
【００１５】
式（２）において、波長方向のサンプル点数をＤ、バンド数をＢ（ここではＢ＝１６）とすれば、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。
【００１６】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。この行列Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
【００１７】
よって、式（２）は、次式（４）に置き換えられる。
Ｇ（ｘ）＝ＨＴ（ｘ）＋Ｎ ・・・（４）
【００１８】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。
【００１９】
【数２】
【００２０】
ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。
Ｗ＝ＲＳＳＨｔ（ＨＲＳＳＨｔ＋ＲＮＮ）−１ ・・・（６）
ただし、（）ｔ：転置行列、（）−１：逆行列
【００２１】
式（６）において、ＲＳＳは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、ＲＮＮは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。
【００２２】
このようにして分光透過率データＴ＾（ｘ）を推定したら、次に、このＴ＾（ｘ）をもとに対応する標本上の点（標本点）における色素量を推定する。推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素の３種類であり、それぞれ色素Ｈ，色素Ｅ，色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても、赤血球はそれ自身特有の色を有しており、ＨＥ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。
【００２３】
一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ（λ）との間に、次式（７）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。
【００２４】
【数３】
【００２５】
式（７）において、ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。
【００２６】
ここで、式（７）の左辺は、分光透過率ｔ（λ）を意味している。したがって、式（７）は次式（８）に置き換えられる。
ｔ（λ）＝ｅ−ｋ（λ）・ｄ ・・・（８）
【００２７】
また、分光吸光度ａ（λ）は次式（９）で表される。
ａ（λ）＝ｋ（λ）・ｄ ・・・（９）
【００２８】
したがって、式（８）は次式（１０）に置き換えられる。
ｔ（λ）＝ｅ−ａ（λ） ・・・（１０）
【００２９】
ここで、ＨＥ染色された標本が、色素Ｈ，色素Ｅ，色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（１１）が成立する。
【００３０】
【数４】
【００３１】
式（１１）において、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、それぞれ色素Ｈ，色素Ｅ，色素Ｒに対応するｋ（λ）を表し、例えば、標本を染色している各色素のスペクトルである。また、ｄＨ，ｄＥ，ｄＲは、マルチバンド画像の各画像位置に対応する標本各点における色素Ｈ，色素Ｅ，色素Ｒの仮想的な厚さを表す。なお、色素は標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄＨ，ｄＥ，ｄＲは、それぞれ色素Ｈ，色素Ｅ，色素Ｒの色素量を表していると言える。なお、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
【００３２】
ここで、位置ｘにおける分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とすると、式（９）は次式（１２）に置き換えられる。
ａ（ｘ，λ）＝ｋＨ（λ）・ｄＨ＋ｋＥ（λ）・ｄＥ＋ｋＲ（λ）・ｄＲ ・・・（１２）
【００３３】
そして、式（５）を用いて推定された分光透過率Ｔ＾（ｘ）の波長λにおける推定分光透過率をｔ＾（ｘ，λ）、推定分光吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。なお、ｔ＾は、ｔの上に記号「＾」が付いていることを示し、ａ＾は、ａの上に記号「＾」が付いていることを示す。
【００３４】
【数５】
【００３５】
式（１３）において、未知変数は、ｄＨ，ｄＥ，ｄＲの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ１，λ２，λ３について式（１３）を連立させた場合、次式（１４）のように行列表記できる。
【００３６】
【数６】
【００３７】
ここで、式（１４）を次式（１５）に置き換える。
【００３８】
【数７】
【００３９】
式（１５）において、波長方向のサンプル点数をＤとすれば、Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するＤ行１列の行列であり、Ｋは、ｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は、点ｘにおけるｄＨ，ｄＥ，ｄＲに対応する３行１列の行列である。なお、Ａ＾は、Ａの上に記号「＾」が付いていることを示す。
【００４０】
そして、式（１５）に従い、最小二乗法を用いて色素量ｄＨ，ｄＥ，ｄＲを算出する。最小二乗法とは、単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、次式（１６）で算出できる。なお、式（１６）において、ｄ＾（ｘ）は、推定された色素量である。
【００４１】
【数８】
【００４２】
さらに、式（１６）により推定された色素量ｄ＾Ｈ，ｄ＾Ｅ，ｄ＾Ｒを、式（１２）に代入すれば、復元した分光吸光度ａ〜（ｘ，λ）は、次式（１７）で求められる。なお、ａ〜は、ａの上に記号「〜（チルダ）」が付いていることを示す。
【００４３】
【数９】
【００４４】
したがって、色素量推定における推定誤差ｅ（λ）は、推定分光吸光度ａ＾（ｘ，λ）と復元した分光吸光度ａ〜（ｘ，λ）とから次式（１８）で求められる。以下、ｅ（λ）を残差スペクトルと称す。
【００４５】
【数１０】
【００４６】
また、推定分光吸光度ａ＾（ｘ，λ）は、式（１７）および式（１８）を用いて、次式（１９）で表される。
【００４７】
【数１１】
【００４８】
ランベルト・ベールの法則は、屈折や散乱が無いと仮定した場合に、半透明物体を透過する光の減衰を定式化したものである。しかし、実際の染色標本では、屈折も散乱も起こり得る。そのため、染色標本による光の減衰を、ランベルト・ベールの法則のみでモデル化すると、モデル化に伴った誤差が生じることになる。
【００４９】
しかしながら、生体標本内での屈折や散乱を含めたモデルの構築は、極めて困難であり、実用上は実行不可能である。そこで、屈折や散乱の影響を含めたモデル化の誤差である残差スペクトルを加えることで、物理モデルによる不自然な色変動を引き起こさないようにしている。
【００５０】
また、Ｅ染色の色素のスペクトルは、組織の違いによって、高波長または低波長にシフトする現象が実験的に確認されており、そのシフト量を算出する方法も提案されている（例えば、非特許文献１参照）。この非特許文献１に開示の方法では、色素量推定時にＥ染色のシフトを１次近似することで、シフト量を算出している。そして、算出したシフト量に基づいて、細胞質と線維とを分類している。
【先行技術文献】
【非特許文献】
【００５１】
【非特許文献１】宮澤 知克他「ＨＥ染色標本の吸光度スペクトルのシフトを用いた線維組織の領域抽出」Optics & Photonics Japan 2008 講演予稿集,P354-355,Nov.2008.
【発明の概要】
【発明が解決しようとする課題】
【００５２】
ところが、色素のスペクトルは、組織の違いによって、高波長または低波長にシフトする現象の他にも、波長方向に鮮鋭または緩慢に変化するという現象が実験的に確認されている。図１５（ａ）および（ｂ）は、色素のスペクトルがシフトする場合と、色素のスペクトルが波長方向に鮮鋭または緩慢に変化する場合とを模式的に示したもので、横軸は波長を示し、縦軸は吸光度を示す。このように、色素のスペクトルが波長方向に鮮鋭または緩慢に変化すると、色素量の推定値が変化して、標本の解析精度が低下することになる。
【００５３】
図１６（ａ）および（ｂ）は、ＨＥ染色標本における筋線維およびコラーゲン線維のそれぞれの吸光度スペクトルの一例を示す図で、横軸は波長を示し、縦軸は吸光度を示す。図１６（ａ），（ｂ）において、実線は計測値を示し、破線はランベルト・ベールの法則に基づいて従来の方法で色素量を推定した場合の吸光度スペクトルの推定値を示す。
【００５４】
図１６（ａ），（ｂ）から明らかなように、吸光度スペクトルの推定値は、Ｅ染色のピーク波長である５１０ｎｍ〜５５０ｎｍにおいて、筋線維では計測値より多くなり、また、コラーゲン線維では計測値より小さくなる。図１７（ａ），（ｂ）は、図１６（ａ），（ｂ）に示した筋線維およびコラーゲン線維における吸光度スペクトルの実測値と推定値との残差スペクトルを示す。これは、何らかの要因によって、組織の違いにより色素のスペクトルが波長方向に鮮鋭または緩慢に変化していることを表す。
【００５５】
そのため、上記の非特許文献１に開示のように、色素のスペクトルのシフト量を算出し、そのシフト量に基づいて細胞質と線維とを分類すると、分類の精度つまり標本の解析精度が低下する場合がある。その結果、染色標本のバーチャルスライド画像を取得するバーチャル顕微鏡システムにおいても、同様に標本の解析精度が低下することになる。
【００５６】
したがって、かかる点に鑑みてなされた本発明の目的は、対象標本の現象に即して、対象標本画像を高精度で解析できる画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システムを提供することにある。
【課題を解決するための手段】
【００５７】
上記目的を達成する第１の観点に係る画像処理装置の発明は、
染色標本を撮像した染色標本画像を処理する画像処理装置であって、
前記染色標本の染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトル記憶部に記憶された前記色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する変化特性算出部と、前記色素のスペクトル記憶部に記憶された前記色素のスペクトルと前記変化特性算出部で算出された前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定する色素量・変化量推定部とを有し、少なくとも前記変化量に基づいて前記染色標本画像を解析する演算部と、
【００５８】
第２の観点に係る発明は、第１の観点に係る画像処理装置において、
前記変化特性算出部は、
前記色素のスペクトルを２階微分した２階微分スペクトルを前記変化特性として算出する、ことを特徴とするものである。
【００５９】
第３の観点に係る発明は、第１または２の観点に係る画像処理装置において、
前記色素のスペクトル、前記変化特性、前記色素量および前記変化量に基づいて、前記色素のスペクトルおよび前記色素量をそれぞれ補正する色素のスペクトル・色素量補正部と、をさらに備え、
前記補正された色素のスペクトルおよび前記補正された色素量に基づいて前記染色標本画像を解析するように構成したことを特徴とするものである。
【００６０】
第４の観点に係る発明は、第１または２の観点に係る画像処理装置において、
前記変化量に基づいて前記染色標本画像の各画素を分類する分類部をさらに備え、
前記分類部による分類結果に基づいて前記染色標本画像を解析するように構成したことを特徴とするものである。
【００６１】
第５の観点に係る発明は、第４の観点に係る画像処理装置において、
前記染色標本は、ＨＥ染色標本であり、
前記色素のスペクトルは、Ｅ色素のスペクトルであり、
前記分類部は、前記変化量に基づいて筋線維またはコラーゲン繊維の少なくとも一つを分類する、
ことを特徴とするものである。
【００６２】
第６の観点に係る発明は、第４または５の観点に係る画像処理装置において、
前記分類部による分類結果に基づいて表示用画像を作成する表示用画像作成部をさらに備える、ことを特徴とするものである。
【００６３】
第７の観点に係る発明は、第１〜６のいずれか一の観点に係る画像処理装置において、
前記演算部は、
前記染色標本画像の各画素の画素値に基づいて分光スペクトルを推定するスペクトル推定部をさらに備え、
前記色素量・変化量推定部は、前記スペクトル推定部で推定された前記分光スペクトルに基づいて前記色素量および前記変化量を推定する、ことを特徴とするものである。
【００６４】
第８の観点に係る発明は、第１〜７のいずれか一の観点に係る画像処理装置において、
前記変化特性算出部は、前記色素のスペクトルに基づいて前記変化特性とは異なる変化を表す変化特性を含む複数の変化特性を算出し、
前記色素量・変化量推定部は、前記色素のスペクトルと前記変化特性算出部で算出された前記複数の変化特性とに基づいて、前記変化量を含む複数の異なる変化量を推定し、
前記演算部は、前記複数の変化量に基づいて前記染色標本画像を解析する、ことを特徴とするものである。
【００６５】
さらに、上記目的を達成する第９の観点に係る画像処理方法の発明は、
染色標本を撮像した染色標本画像を処理する画像処理方法であって、
前記染色標本の染色に使用される色素のスペクトルを取得するステップと、
取得された前記色素のスペクトルに基づいて、少なくとも当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出するステップと、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定するステップと、
少なくとも前記変化量に基づいて前記染色標本画像を解析するステップと、
を含むことを特徴とするものである。
【００６６】
さらに、上記目的を達成する第１０の観点に係る画像処理プログラムの発明は、
染色標本を撮像した染色標本画像を処理する画像処理プログラムであって、
前記染色標本の染色に使用される色素のスペクトルを取得する処理と、
取得された前記色素のスペクトルに基づいて、少なくとも当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する処理と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定する処理と、
少なくとも前記変化量に基づいて前記染色標本画像を解析する処理と、
をコンピュータに実行させることを特徴とするものである。
【００６７】
さらに、上記目的を達成する第１１の観点に係るバーチャル顕微鏡システムの発明は、
染色標本のバーチャルスライド画像を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記染色標本を撮像して染色標本画像を取得する画像取得部と、
前記染色標本の染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトル記憶部に記憶された前記色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する変化特性算出部と、前記色素のスペクトル記憶部に記憶された前記色素のスペクトルと前記変化特性算出部で算出された前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定する色素量・変化量推定部とを有し、少なくとも前記変化量に基づいて前記染色標本を解析する演算部と、を備え、
前記演算部で解析された染色標本画像に基づいて前記染色標本のバーチャルスライド画像を取得するように構成した、ことを特徴とするものである。
【発明の効果】
【００６８】
本発明によると、対象標本の現象に即して、対象標本画像を高精度で解析することが可能となる。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。
【図２】図１に示した画像処理装置の動作の概要を示すフローチャートである。
【図３】図１の色素のスペクトル記憶部に記憶されるＥ染色の色素のスペクトルにおける正規化吸光度特性と、１次微分スペクトルおよび２次微分スペクトルの各変化特性との関係を示す図である。
【図４】図２の画像解析処理の概要を示すフローチャートである。
【図５】本発明の第２実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。
【図６】図５に示した画像処理装置の動作の概要を示すフローチャートである。
【図７】本発明の第３実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。
【図８】図７に示した画像処理装置の動作の概要を示すフローチャートである。
【図９】本発明の第４実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。
【図１０】図９に示した画像取得部の概略構成を示す図である。
【図１１】図１０に示したＲＧＢカメラの分光感度特性を示す図である。
【図１２】図１０に示したフィルタ部を構成する各光学フィルタの分光透過率特性を示す図である。
【図１３】図９に示した画像処理装置の動作の概要を示すフローチャートである。
【図１４】本発明の第５実施の形態に係るバーチャル顕微鏡システムの要部の機能構成を示すブロック図である。
【図１５】色素のスペクトルがシフトする場合と、色素のスペクトルが波長方向に鮮鋭または緩慢に変化する場合とを模式的に示す図である。
【図１６】ＨＥ染色標本における筋線維およびコラーゲン線維のそれぞれの吸光度スペクトルの実測値と、従来の方法で色素量を推定した場合の吸光度スペクトルの推定値との一例を示す図である。
【図１７】図１６に示した筋線維およびコラーゲン線維における吸光度スペクトルの実測値と推定値との残差スペクトルを示す図である。
【発明を実施するための形態】
【００７０】
以下、本発明の好適実施の形態について、図を参照して詳細に説明する。なお、本発明は、以下の実施の形態によって限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００７１】
（第１実施の形態）
図１は、本発明の第１実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、顕微鏡とパーソナルコンピュータ等のコンピュータから構成されるもので、画像取得部１１０、入力部２７０、表示部２９０、演算部２５０、記憶部２３０、および各部を制御する制御部２１０を備える。
【００７２】
画像取得部１１０は、例えば液晶チューナブルフィルタや音響チューナブルフィルタを備えるマルチスペクトルカメラを用いて構成され、対象標本（染色標本）をマルチスペクトルカメラにより撮像して、対象標本のマルチスペクトル画像を取得する。
【００７３】
入力部２７０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部２１０に出力する。
【００７４】
表示部２９０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現されるものであり、制御部２１０から入力される表示信号をもとに各種画面を表示する。
【００７５】
演算部２５０は、変化特性算出部２５０１、色素量・変化量推定部２５０３および解析部２５０５を有し、ＣＰＵ等のハードウェアによって実現される。
【００７６】
記憶部２３０は、画像処理装置を動作させる画像処理プログラムを記憶するプログラム記憶部２３１と、対象標本の染色に用いる染色方法による各色素のスペクトルｋＨ（λ），ｋＥ（λ），ｋＲ（λ）を記憶する色素のスペクトル記憶部２３３とを含み、画像処理プログラムの実行中に使用されるデータ等を格納する。なお、色素のスペクトル記憶部２３３に記憶される各色素のスペクトルｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、上述したように、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本から測定された分光透過率に基づいて、例えばランベルト・ベールの法則により算出される。この記憶部２３０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現される。
【００７７】
制御部２１０は、画像取得部１１０の動作を制御して対象標本の画像を取得する画像取得制御部２１１を含み、入力部２７０から入力される入力信号や画像取得部１１０から入力される画像、記憶部２３０に格納されているプログラムやデータ等に基づいて画像処理装置を構成する各部への指示やデータの転送等を行い、全体の動作を統括的に制御する。この制御部２１０は、ＣＰＵ等のハードウェアによって実現される。
【００７８】
以下、本実施の形態に係る画像処理装置の動作について説明する。
【００７９】
図２は、本実施の形態に係る画像処理装置の動作の概要を示すフローチャートである。本実施の形態に係る画像処理装置では、先ず、変化特性算出処理を実行して、色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する（ステップＳ２０１）。その後、画像解析処理を実行して、変化特性算出処理で算出された変化特性に基づいて対象標本画像（染色標本画像）を解析する（ステップＳ２０３）。
【００８０】
変化特性算出処理においては、制御部２１０は、記憶部２３０の色素のスペクトル記憶部２３３に記憶されているＥ染色の色素のスペクトルｋＥ（λ）を読み出し、その読み出した色素のスペクトルｋＥ（λ）を、演算部２５０の変化特性算出部２５０１において、例えばラプラシアンフィルタを用いて２階微分して変化特性ｋＥ″（λ）を算出する。つまり、色素のスペクトルｋＥ（λ）を２階微分して算出した２階微分スペクトルを、変化特性ｋＥ″（λ）とする。ここで、他の染色の変化特性を求めたい場合は、変化特性算出部２５０１において、その色素のスペクトルを２階微分してもよい。また、同時に、色素のスペクトルｋＥ（λ）を１階微分してｋＥ′（λ）を算出する等、異なる変化を表す複数の変化特性を算出してもよい。この変化特性算出処理での算出結果は、記憶部２３０に記憶する。
【００８１】
図３は、色素のスペクトル記憶部２３３に記憶されるＥ染色の色素のスペクトルにおける正規化吸光度特性と、当該色素のスペクトルに関して変化特性算出部２５０１において算出される１次微分スペクトルおよび２次微分スペクトルの各変化特性との関係を示す図である。
【００８２】
図４は、図２の画像解析処理の概要を示すフローチャートである。画像解析処理においては、制御部２１０は、先ず、画像取得制御部２１１により画像取得部１１０の動作を制御して対象標本を撮像し、対象標本のスペクトルＴ＾（ｘ）を取得する（ステップＳ４０１）。次に、制御部２１０は、演算部２５０の色素量・変化量推定部２５０３において、画素毎にスペクトルＴ＾（ｘ）に基づいて、色素量と変化量とを推定する（ステップＳ４０３）。ここで、変化量とは、色素のスペクトルが波長方向に鮮鋭または緩慢に変化する度合いを表している。
【００８３】
この際に、対象標本の染色に用いた染色方法の各色素のスペクトルｋＨ（λ），ｋＥ（λ），ｋＲ（λ）と変化特性ｋＥ″（λ）とに基づいて、対象標本画像の任意の点ｘに対応する標本点における各染色方法の色素量と変化量とを推定する。具体的には、対象標本画像の点ｘにおける分光透過率の推定値Ｔ＾（ｘ）に基づいて、点ｘに対応する対象標本の標本点に固定された色素量ｄ＾Ｅを、次式（２０）に基づいて推定する。なお、ｄ＾は、ｄの上に記号「＾」が付いていることを示す。
【００８４】
【数１２】
【００８５】
次に、ｄ＾ＥΔ２λＥを、次式（２１）に基づいて置き換える。
【００８６】
【数１３】
【００８７】
そして、次式（２２）に基づいて、変化量Δ２λＥを算出する。
【００８８】
【数１４】
【００８９】
また、色素のスペクトルの波長方向のシフト量ΔλＥを同時に推定してもよい。この場合は、次式（２３）に基づいて、色素量ｄ＾Ｅを推定する。
【００９０】
【数１５】
【００９１】
次に、ｄ＾ＥΔλＥを、次式（２４）に基づいて置き換える。
【００９２】
【数１６】
【００９３】
そして、次式（２５）に基づいて、シフト量ΔλＥを算出する。
【００９４】
【数１７】
【００９５】
これにより、各変化の相関を反映して色素量、シフト量、変化量を推定することができる。
【００９６】
その後、制御部２１０は、演算部２５０の解析部２５０５において、変化量Δ２λＥに基づいて対象標本画像を解析する（ステップＳ４０５）。ここで、解析方法は、様々な方法が想定される。例えば、変化特性ｋＥ″（λ）と変化量Δ２λＥとに基づいて、後述するように、色素量推定の精度を向上させる。また、変化量Δ２λＥに基づいて、クラス分類処理により画像を複数の領域に分類する。
【００９７】
このように、本実施の形態に係る画像処理装置によれば、色素のスペクトルが鮮鋭または緩慢に変化する現象である色素のスペクトルの変化特性を定量化して対象標本画像の解析に反映するようにしたので、対象標本の現象に即した定量的な値に基づいて対象標本画像を高精度で解析することが可能となる。また、複数の変化量を同時に算出する場合は、各変化の相関を反映して、各変化量を推定できるので、対象標本画像をより高精度で解析することが可能となる。
【００９８】
（第２実施の形態）
図５は、本発明の第２実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、第１実施の形態に示した構成において、変化量に基づいて色素量および色素のスペクトルを補正して対象標本画像を解析するものである。そのため、演算部２５０には、図１の解析部１５０５に代えて、色素のスペクトル・色素量補正部２５０５ａが設けられている。その他の構成は、第１実施の形態と同様であるので説明を省略する。
【００９９】
図６は、本実施の形態に係る画像処理装置の動作の概要を示すフローチャートであり、図２における画像解析処理の概要を示すものである。本実施の形態による画像解析処理においては、第１実施の形態と同様にして、対象標本を撮像してスペクトルＴ＾（ｘ）を取得し（ステップＳ４０１）、さらに、色素量と変化量とを推定したら（ステップＳ４０３）、次に、色素のスペクトル・色素量補正部２５０５ａにおいて、色素のスペクトルと、変化特性と、色素量と、変化量とに基づいて、補正された色素のスペクトルと補正された色素量（補正色素量）とを算出する（ステップＳ４０５ａ）。
【０１００】
以下、ステップＳ４０５ａの処理について説明する。先ず、色素のスペクトルｋＥ（λ）と、変化特性ｋＥ″（λ）と、色素量ｄ＾Ｅと、変化量Δ２λＥとに基づいて対象画像の任意の点ｘにおけるＥ染色のスペクトルａ〜Ｅ（ｘ,λ）を、次式（２６）に基づいて算出（補正）する。
【０１０１】
【数１８】
【０１０２】
さらに、シフトの変化特性ｋＥ′（λ）およびシフト量ΔλＥを算出した場合は、ｋＥ′（λ）およびΔλＥに基づいて、Ｅ染色のスペクトルａ〜Ｅ（ｘ,λ）を、次式（２７）に基づいて算出してもよい。
【０１０３】
【数１９】
【０１０４】
なお、シフト量ΔλＥは、波長方向のシフトを表すので、Ｅ染色のスペクトルａ〜Ｅ（ｘ,λ）は、次式（２８）に基づいて算出してもよい。
【０１０５】
【数２０】
【０１０６】
次に、Ｅ色素のスペクトルｋＥ（λ）とＥ染色のスペクトルａ〜Ｅ（ｘ,λ）とに基づいて、補正した色素量（補正色素量）ｄ〜Ｅを次式（２９）から算出する。
【０１０７】
【数２１】
【０１０８】
上式（２９）は、点ｘにおけるＥ染色のスペクトルａ〜Ｅ（ｘ,λ）を波長方向に積分した値を、色素のスペクトルｋＥ（λ）を波長方向に積分した値で割ることで、吸光度空間における相対的な量を算出することを意味している。
【０１０９】
次に、Ｅ染色のスペクトルａ〜Ｅ（ｘ,λ）と補正色素量ｄ〜Ｅとに基づいて、補正したＥ色素のスペクトルｋ〜Ｅ（λ）を次式（３０）から算出する。なお、ｋ〜は、ｋの上に記号「〜」が付いていることを示す。
【０１１０】
【数２２】
【０１１１】
こうすることで、補正したＥ色素のスペクトルｋ〜Ｅ（λ）とＥ色素のスペクトルｋＥ（λ）とを、吸光度空間において等価としている。
【０１１２】
このように、本実施の形態に係る画像処理装置によれば、対処標本の色素のスペクトルが変化する現象に即して、色素量および色素のスペクトルを補正することができる。これにより、対象標本画像を高精度で解析することが可能となる。
【０１１３】
（第３実施の形態）
図７は、本発明の第３実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、第１実施の形態に示した構成において、変化量に基づいて画素を分類するものである。そのため、演算部２５０には、図１の解析部１５０５に代えて、変化量に基づいて画素を分類する分類部２５０５ｂが設けられている。また、演算部２５０には、分類部２５０５ｂによる画素の分類結果に基づいて表示用の画像を作成する表示用画像作成部２５０７が設けられている。その他の構成は、第１実施の形態と同様であるので説明を省略する。
【０１１４】
図８は、本実施の形態に係る画像処理装置の動作の概要を示すフローチャートであり、図２の画像解析処理の概要を示すものである。本実施の形態による画像解析処理においては、第１実施の形態と同様にして、対象標本を撮像してスペクトルＴ＾（ｘ）を取得し（ステップＳ４０１）、さらに、色素量と変化量とを推定したら（ステップＳ４０３）、次に、分類部２５０５ｂにおいて、変化量Δ２λＥに基づいて画素を判別する（ステップＳ４０５ｂ）。
【０１１５】
ここで、Ｅ染色の変化量は。筋線維とコラーゲン線維とを比較すると、相対的に筋線維の方が大きい。したがって、例えば、変化量Δ２λＥが閾値以上の場合、当該画素は筋線維と判別し、変化量Δ２λＥが閾値未満の場合、当該画素はコラーゲン線維と判別する。なお、クラス分類処理、例えば、K-means法で、画素を分類してもよい。また、色素量ｄ＾Ｈやｄ＾Ｅと変化量Δ２λＥとに基づいて、画素を分類してもよい。こうすることで、ｄ＾Ｈが多い細胞核や色素量ｄ＾Ｅが少ない腔の画素を除くことができる。
【０１１６】
ここで、K-means法は、非階層型クラスタリング手法の単純な手法であり、Ｋ平均法とも呼ばれている。K-means法は、一般に、以下の流れで実行され、クラスタの平均を用いて、データを与えられたクラスタ数Ｋ個に分類する。
（１）データの数をｎ、クラスタの数をＫとしておく。
（２）各データに対してランダムにクラスタを割り振る。
（３）割り振ったデータをもとに各クラスタの中心を計算する。計算は通常割り当てられたデータの各要素の平均が使用される。
（４）各データと各クラスタの中心との距離を求めて、当該データを最も近い中心のクラスタに割り当て直す。
（５）上記の処理で全てのデータのクラスタの割り当てが変化しなかった場合は処理を終了する。それ以外の場合は新しく割り振られたクラスタから各クラスタの中心を再計算して上記の処理を繰り返す。
【０１１７】
K-means法による分類結果は、最初のクラスタのランダムな割り振りに大きく依存するので、例えば、データの最小値から最大値の範囲を均等に分割してクラスタを割り振ってもよい。これにより、結果を常に同等の値に収束させることができる。
【０１１８】
次に、制御部２１０は、分類部２５０５ｂによる画素の分類結果に基づいて、表示用画像作成部２５０７により表示用画像を作成して、表示部２９０に表示する（ステップＳ４０７）。具体的には、分類結果に基づいて、筋線維とコラーゲン線維とをそれぞれ目視で判別できるように、例えば、異なる色で色付けしたり、異なるテクスチャを重畳したりして、表示用画像を作成して表示する。
【０１１９】
このように、本実施の形態に係る画像処理装置によれば、変化量に基づいて画素を分類するので、色素量以外で、かつ、対象標本の現象に即した特徴量で画素を分類できる。具体的には、筋線維またはコラーゲン繊維を分類することができる。しかも、分類結果を画像として表示するので、目視で分類結果を確認することができる。これにより、対象標本画像を高精度で、かつ容易に解析することが可能となる。
【０１２０】
（第４実施の形態）
図９は、本発明の第４実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、第１実施の形態に示した構成において、画素値からスペクトルを推定するものである。そのため、演算部２５０には、スペクトル推定部２５０９が付加されている。また、画像取得部１１０ａは、後述するようにＲＧＢカメラおよびフィルタ部を用いて構成されている。その他の構成は、第１実施の形態と同様であるので説明を省略する。
【０１２１】
図１０は、画像取得部１１０ａの概略構成図である。画像取得部１１０ａは、マルチバンド画像（ここでは、６バンド画像）を取得するもので、ＲＧＢカメラ１１１と、該ＲＧＢカメラ１１１に結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１３とを備える。
【０１２２】
ＲＧＢカメラ１１１は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子等を備え、例えば図１１に示すようなＲ（赤），Ｇ（緑），Ｂ（青）の各バンドの分光感度特性を有する。フィルタ部１１３は、ＲＧＢカメラ１１１に結像する光の波長帯域を所定範囲に制限するもので、回転式のフィルタ切り替え部１１３１を備える。フィルタ切り替え部１１３１は、Ｒ，Ｇ，Ｂの各バンドの透過波長領域を２分するように、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１３３ａ，１１３３ｂを保持する。図１２（ａ）は、一方の光学フィルタ１１３３ａの分光透過率特性を示し、図１２（ｂ）は、他方の光学フィルタ１１３３ｂの分光透過率特性を示す。
【０１２３】
そして、制御部２１０により、先ず、例えば光学フィルタ１１３３ａを、照明部１４０からＲＧＢカメラ１１１に至る光路上に位置させて、照明部１４０により受光位置移動部１３０上に載置された対象標本１３１を照明し、その透過光を結像レンズ１２０および光学フィルタ１１３３ａを経てＲＧＢカメラ１１１に結像させて第１の撮像を行う。次いで、制御部２１０により、フィルタ切り替え部１１３１を回転させて、光学フィルタ１１３３ｂを照明部１４０からＲＧＢカメラ１１１に至る光路上に位置させて、同様にして第２の撮像を行う。
【０１２４】
これにより、第１の撮像および第２の撮像でそれぞれ異なる３バンドの画像を得て、合計で６バンドのマルチバンド画像を得る。取得された対象標本１３１の画像は、記憶部２３０に格納される。なお、フィルタ部１１３に設ける光学フィルタの数は、２枚に限定されるものではなく、３枚以上の光学フィルタを用いて、さらに多くのバンドの画像を得ることも可能である。また、画像取得部１１０は、フィルタ部１１３を省略して、ＲＧＢカメラ１１１によりＲＧＢ画像のみを取得するように構成しもよい。
【０１２５】
図１３は、本実施の形態に係る画像処理装置の動作の概要を示すフローチャートであり、図２の画像解析処理の概要を示すものである。本実施の形態による画像解析処理においては、第１実施の形態と同様にして、対象標本を撮像してスペクトルＴ＾（ｘ）を取得したら（ステップＳ４０１）、次に、演算部２５０のスペクトル推定部２５０９において、画素値に基づいてスペクトルを推定する（ステップＳ４０９）。つまり、上述した式（５）により、推定対象画素の画素値Ｇ（ｘ）から、対応する対象標本の標本点における分光透過率の推定値Ｔ＾（ｘ）を算出する。式（５）を再掲する。
【０１２６】
【数２３】
【０１２７】
その後、スペクトル推定部２５０９で推定した分光透過率の推定値Ｔ＾（ｘ）に基づいて、色素量・変化量推定部２５０３において、第１実施の形態の場合と同様に、色素量と変化量とを推定し（ステップＳ４０３）、さらに、解析部２５０５において、変化量Δ２λＥに基づいて対象標本画像を解析する（ステップＳ４０５）。
【０１２８】
このように、本実施の形態に係る画像処理装置によれば、対象標本１３１を撮像した対象標本画像の各画素の画素値から分光スペクトルを推定するようにしたので、多バンド画像だけでなく、ＲＧＢ画像のような対象標本画像でも精度よく解析することが可能となる。したがって、画像取得部１１０ａを簡単に構成できる利点もある。
【０１２９】
（第５実施の形態）
図１４は、本発明の第５実施の形態に係るバーチャル顕微鏡システムの要部の機能構成を示すブロック図である。このバーチャル顕微鏡システムは、染色標本のバーチャルスライド画像を取得するもので、顕微鏡装置４００とホストシステム６００とを備える。
【０１３０】
顕微鏡装置４００は、対象標本Ｓが載置される電動ステージ４１０と、側面視略コの字状を有し、電動ステージ４１０を支持するとともにレボルバ４６０を介して対物レンズ４７０を保持する顕微鏡本体４４０と、顕微鏡本体４４０の底部後方に配設された光源４８０と、顕微鏡本体４４０の上部に載置された鏡筒４９０とを備える。また、鏡筒４９０には、対象標本Ｓの標本像を目視観察するための双眼部５１０と、対象標本Ｓの標本像を撮像するためのＴＶカメラ５２０とが取り付けられている。すなわち、顕微鏡装置４００は、図９の画像取得部１１０ａに相当する。ここで、対物レンズ４７０の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【０１３１】
電動ステージ４１０は、ＸＹＺ方向に移動自在に構成されている。すなわち、電動ステージ４１０は、モータ４２１およびこのモータ４２１の駆動を制御するＸＹ駆動制御部４２３によってＸＹ平面内で移動自在である。ＸＹ駆動制御部４２３は、顕微鏡コントローラ５３０の制御のもと、図示しないＸＹ位置の原点センサによって電動ステージ４１０のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ４２１の駆動量を制御することによって、対象標本Ｓ上の観察箇所を移動させる。そして、ＸＹ駆動制御部４２３は、観察時の電動ステージ４１０のＸ位置およびＹ位置を適宜顕微鏡コントローラ５３０に出力する。
【０１３２】
また、電動ステージ４１０は、モータ４３１およびこのモータ４３１の駆動を制御するＺ駆動制御部４３３によってＺ方向に移動自在である。Ｚ駆動制御部４３３は、顕微鏡コントローラ５３０の制御のもと、図示しないＺ位置の原点センサによって電動ステージ４１０のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ４３１の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に対象標本Ｓを焦準移動させる。そして、Ｚ駆動制御部４３３は、観察時の電動ステージ４１０のＺ位置を適宜顕微鏡コントローラ５３０に出力する。
【０１３３】
レボルバ４６０は、顕微鏡本体４４０に対して回転自在に保持され、対物レンズ４７０を対象標本Ｓの上方に配置する。対物レンズ４７０は、レボルバ４６０に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ４６０の回転に応じて観察光の光路上に挿入されて対象標本Ｓの観察に用いる対物レンズ４７０が択一的に切り換えられるようになっている。
【０１３４】
顕微鏡本体４４０は、底部において対象標本Ｓを透過照明するための照明光学系を内設している。この照明光学系は、光源４８０から射出された照明光を集光するコレクタレンズ４５１、照明系フィルタユニット４５２、視野絞り４５３、開口絞り４５４、照明光の光路を対物レンズ４７０の光軸に沿って偏向させる折曲げミラー４５５、コンデンサ光学素子ユニット４５６、トップレンズユニット４５７等が、照明光の光路に沿って適所に配置されて構成される。光源４８０から射出された照明光は、照明光学系によって対象標本Ｓに照射され、その透過光が観察光として対物レンズ４７０に入射する。
【０１３５】
また、顕微鏡本体４４０は、その上部においてフィルタユニット５００を内設している。フィルタユニット５００は、標本像として結像する光の波長帯域を所定範囲に制限するための２枚以上の光学フィルタ５０３を回転自在に保持し、この光学フィルタ５０３を、適宜対物レンズ４７０後段において観察光の光路上に挿入する。このフィルタユニット５００は、図１０に示したフィルタ部１１３に相当する。なお、ここでは、光学フィルタ５０３を対物レンズ４７０の後段に配置する場合を例示したが、これに限定されずるものではなく、光源４８０からＴＶカメラ５２０に至る光路上のいずれかの位置に配置することとしてよい。対物レンズ４７０を経た観察光は、このフィルタユニット５００を経由して鏡筒４９０に入射する。
【０１３６】
鏡筒４９０は、フィルタユニット５００を経た観察光の光路を切り換えて双眼部５１０またはＴＶカメラ５２０へと導くビームスプリッタ４９１を内設している。対象標本Ｓの標本像は、ビームスプリッタ４９１によって双眼部５１０内に導入され、接眼レンズ５１１を介して検鏡者に目視観察される。あるいはＴＶカメラ５２０によって撮像される。ＴＶカメラ５２０は、標本像（詳細には対物レンズ４７０の視野範囲の標本像）を撮像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、撮像した標本像の画像データをホストシステム６００に出力する。すなわち、ＴＶカメラ５２０は、図１０に示したＲＧＢカメラ１１１に相当する。
【０１３７】
さらに、顕微鏡装置４００は、顕微鏡コントローラ５３０とＴＶカメラコントローラ５４０とを備える。顕微鏡コントローラ５３０は、ホストシステム６００の制御のもと、顕微鏡装置４００を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ５３０は、レボルバ４６０を回転させて観察光の光路上に配置する対物レンズ４７０を切り換える処理や、切り換えた対物レンズ４７０の倍率等に応じた光源４８０の調光制御や各種光学素子の切り換え、あるいはＸＹ駆動制御部４２３やＺ駆動制御部４３３に対する電動ステージ４１０の移動指示等、対象標本Ｓの観察に伴う顕微鏡装置４００の各部の調整を行うとともに、各部の状態を適宜ホストシステム６００に通知する。
【０１３８】
ＴＶカメラコントローラ５４０は、ホストシステム６００の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＴＶカメラ５２０を駆動し、ＴＶカメラ５２０の撮像動作を制御する。
【０１３９】
一方、ホストシステム６００は、第１〜４実施の形態のいずれかに示した、入力部２７０、表示部２９０、演算部２５０、記憶部２３０および制御部２１０を含んでいる。このホストシステム６００は、ＣＰＵやビデオボード、メインメモリ（ＲＡＭ）等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【０１４０】
本実施の形態に係るバーチャル顕微鏡システムは、ホストシステム６００の記憶部に記憶されている画像処理プログラムを含むＶＳ画像生成プログラムに従って、顕微鏡装置４００を含む各部の動作を制御する。これにより、顕微鏡装置４００のＴＶカメラ５２０によって部分的にマルチバンド撮像された対象標本Ｓの複数の対象標本画像が、上記第１〜４実施の形態で説明したようにそれぞれ処理されて、ＶＳ（Virtual Slide）画像が生成される。このＶＳ画像データ（マルチバンド画像データ）は、ホストシステム６００の記憶部に格納される。
【０１４１】
ここで、ＶＳ画像生成プログラムとは、対象標本のＶＳ画像を生成する処理を実現するためのプログラムである。また、ＶＳ画像とは、顕微鏡装置４００によってマルチバンド撮像された１枚以上の画像を繋ぎ合せて生成される画像であり、例えば高倍率の対物レンズ４７０を用いて対象標本Ｓを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成された画像であって、対象標本Ｓの全域を映した広視野でかつ高精細のマルチバンド画像のことを言う。
【０１４２】
ホストシステム６００は、第１〜４実施の形態に示した入力部２７０から入力される入力信号や、顕微鏡コントローラ５３０から入力される顕微鏡装置４００の各部の状態、ＴＶカメラ５２０から入力される画像データ、第１〜４実施の形態に示した記憶部２３０に記録されているプログラムやデータ等をもとにホストシステム６００を構成する各部への指示やデータの転送等を行う。また、ホストシステム６００は、顕微鏡コントローラ５３０やＴＶカメラコントローラ５４０に対する顕微鏡装置４００の各部の動作指示を行い、バーチャル顕微鏡システム全体の動作を統括的に制御する。
【０１４３】
したがって、本実施の形態に係るバーチャル顕微鏡システムによれば、第１〜４実施の形態で説明した画像処理装置と同様の効果を奏することができる。
【０１４４】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、第１〜４実施の形態では、画像取得部に対象標本の撮像機能を持たせて、対象標本の画像を取得するようにしたが、撮像機能を設けることなく、別途撮像して得られた対象標本の染色画像データを、記録媒体を介して、あるいは通信回線を介して取り込むようにしてもよい。
【０１４５】
また、本発明は、上述した画像処理装置やバーチャル顕微鏡システムに限らず、これらの処理を実質的に実行する画像処理方法、画像処理プログラム、プログラムを記録した記憶媒体としても実現し得るものである。したがって、本発明は、これらも包含するものと理解されたい。
【符号の説明】
【０１４６】
１１０，１１０ａ 画像取得部
２１０ 制御部
２３０ 記憶部
２３３ 色素のスペクトル記憶部
２５０ 演算部
２５０１ 変化特性算出部
２５０３ 色素量・変化量推定部
２５０５ 解析部
２５０５ａ 色素のスペクトル・色素量補正部
２５０５ｂ 分類部
２５０７ 表示用画像作成部
２５０９ スペクトル推定部
２７０ 入力部
２９０ 表示部
４００ 顕微鏡装置
６００ ホストシステム
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システムに関するものである。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の一つに、分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、照明光の変化に依存するＲＧＢ値等の色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率が利用されている。以下、病理診断における分光透過率の利用例について、さらに詳細に説明する。
【０００３】
病理診断における病理検査の一つとして、病変部位の組織を採取して顕微鏡で観察することにより、病気の診断または病変の拡大の程度を調べる組織診が知られている。この組織診は、生検（バイオプシー）とも呼ばれ、臓器摘出によって得たブロック標本や針生検によって得た病理標本を、厚さ数ミクロン程度に薄切りした後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。なかでも、光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切りされた標本は、光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては、種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「ＨＥ染色」と称す）が標準的に用いられている。
【０００５】
ヘマトキシリンは、植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは、好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００６】
一方、エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかは、ｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００７】
ＨＥ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。その結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。
【０００８】
染色された標本の観察は、観察者の目視によるものの他、この染色された標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率をもとに標本を染色している色素の色素量を推定する処理等が行われ、表示用の標本のＲＧＢ画像である表示画像が合成される。
【０００９】
標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法や、ウィナー（Wiener）推定による推定法等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には、何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【００１０】
以下、標本のマルチバンド画像から表示画像を合成する従来の方法について説明する。
【００１１】
先ず、標本のマルチバンド画像を撮像する。例えば、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来、観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１２】
ここで、撮像されたマルチバンド画像の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【００１３】
【数１】
【００１４】
式（１）において、λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した次式（２）が用いられる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
【００１５】
式（２）において、波長方向のサンプル点数をＤ、バンド数をＢ（ここではＢ＝１６）とすれば、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。
【００１６】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。この行列Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
【００１７】
よって、式（２）は、次式（４）に置き換えられる。
Ｇ（ｘ）＝ＨＴ（ｘ）＋Ｎ ・・・（４）
【００１８】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。
【００１９】
【数２】
【００２０】
ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。
Ｗ＝ＲＳＳＨｔ（ＨＲＳＳＨｔ＋ＲＮＮ）−１ ・・・（６）
ただし、（）ｔ：転置行列、（）−１：逆行列
【００２１】
式（６）において、ＲＳＳは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、ＲＮＮは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。
【００２２】
このようにして分光透過率データＴ＾（ｘ）を推定したら、次に、このＴ＾（ｘ）をもとに対応する標本上の点（標本点）における色素量を推定する。推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素の３種類であり、それぞれ色素Ｈ，色素Ｅ，色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても、赤血球はそれ自身特有の色を有しており、ＨＥ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。
【００２３】
一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ（λ）との間に、次式（７）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。
【００２４】
【数３】
【００２５】
式（７）において、ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。
【００２６】
ここで、式（７）の左辺は、分光透過率ｔ（λ）を意味している。したがって、式（７）は次式（８）に置き換えられる。
ｔ（λ）＝ｅ−ｋ（λ）・ｄ ・・・（８）
【００２７】
また、分光吸光度ａ（λ）は次式（９）で表される。
ａ（λ）＝ｋ（λ）・ｄ ・・・（９）
【００２８】
したがって、式（８）は次式（１０）に置き換えられる。
ｔ（λ）＝ｅ−ａ（λ） ・・・（１０）
【００２９】
ここで、ＨＥ染色された標本が、色素Ｈ，色素Ｅ，色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（１１）が成立する。
【００３０】
【数４】
【００３１】
式（１１）において、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、それぞれ色素Ｈ，色素Ｅ，色素Ｒに対応するｋ（λ）を表し、例えば、標本を染色している各色素のスペクトルである。また、ｄＨ，ｄＥ，ｄＲは、マルチバンド画像の各画像位置に対応する標本各点における色素Ｈ，色素Ｅ，色素Ｒの仮想的な厚さを表す。なお、色素は標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄＨ，ｄＥ，ｄＲは、それぞれ色素Ｈ，色素Ｅ，色素Ｒの色素量を表していると言える。なお、ｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
【００３２】
ここで、位置ｘにおける分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とすると、式（９）は次式（１２）に置き換えられる。
ａ（ｘ，λ）＝ｋＨ（λ）・ｄＨ＋ｋＥ（λ）・ｄＥ＋ｋＲ（λ）・ｄＲ ・・・（１２）
【００３３】
そして、式（５）を用いて推定された分光透過率Ｔ＾（ｘ）の波長λにおける推定分光透過率をｔ＾（ｘ，λ）、推定分光吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。なお、ｔ＾は、ｔの上に記号「＾」が付いていることを示し、ａ＾は、ａの上に記号「＾」が付いていることを示す。
【００３４】
【数５】
【００３５】
式（１３）において、未知変数は、ｄＨ，ｄＥ，ｄＲの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ１，λ２，λ３について式（１３）を連立させた場合、次式（１４）のように行列表記できる。
【００３６】
【数６】
【００３７】
ここで、式（１４）を次式（１５）に置き換える。
【００３８】
【数７】
【００３９】
式（１５）において、波長方向のサンプル点数をＤとすれば、Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するＤ行１列の行列であり、Ｋは、ｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は、点ｘにおけるｄＨ，ｄＥ，ｄＲに対応する３行１列の行列である。なお、Ａ＾は、Ａの上に記号「＾」が付いていることを示す。
【００４０】
そして、式（１５）に従い、最小二乗法を用いて色素量ｄＨ，ｄＥ，ｄＲを算出する。最小二乗法とは、単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、次式（１６）で算出できる。なお、式（１６）において、ｄ＾（ｘ）は、推定された色素量である。
【００４１】
【数８】
【００４２】
さらに、式（１６）により推定された色素量ｄ＾Ｈ，ｄ＾Ｅ，ｄ＾Ｒを、式（１２）に代入すれば、復元した分光吸光度ａ〜（ｘ，λ）は、次式（１７）で求められる。なお、ａ〜は、ａの上に記号「〜（チルダ）」が付いていることを示す。
【００４３】
【数９】
【００４４】
したがって、色素量推定における推定誤差ｅ（λ）は、推定分光吸光度ａ＾（ｘ，λ）と復元した分光吸光度ａ〜（ｘ，λ）とから次式（１８）で求められる。以下、ｅ（λ）を残差スペクトルと称す。
【００４５】
【数１０】
【００４６】
また、推定分光吸光度ａ＾（ｘ，λ）は、式（１７）および式（１８）を用いて、次式（１９）で表される。
【００４７】
【数１１】
【００４８】
ランベルト・ベールの法則は、屈折や散乱が無いと仮定した場合に、半透明物体を透過する光の減衰を定式化したものである。しかし、実際の染色標本では、屈折も散乱も起こり得る。そのため、染色標本による光の減衰を、ランベルト・ベールの法則のみでモデル化すると、モデル化に伴った誤差が生じることになる。
【００４９】
しかしながら、生体標本内での屈折や散乱を含めたモデルの構築は、極めて困難であり、実用上は実行不可能である。そこで、屈折や散乱の影響を含めたモデル化の誤差である残差スペクトルを加えることで、物理モデルによる不自然な色変動を引き起こさないようにしている。
【００５０】
また、Ｅ染色の色素のスペクトルは、組織の違いによって、高波長または低波長にシフトする現象が実験的に確認されており、そのシフト量を算出する方法も提案されている（例えば、非特許文献１参照）。この非特許文献１に開示の方法では、色素量推定時にＥ染色のシフトを１次近似することで、シフト量を算出している。そして、算出したシフト量に基づいて、細胞質と線維とを分類している。
【先行技術文献】
【非特許文献】
【００５１】
【非特許文献１】宮澤 知克他「ＨＥ染色標本の吸光度スペクトルのシフトを用いた線維組織の領域抽出」Optics & Photonics Japan 2008 講演予稿集,P354-355,Nov.2008.
【発明の概要】
【発明が解決しようとする課題】
【００５２】
ところが、色素のスペクトルは、組織の違いによって、高波長または低波長にシフトする現象の他にも、波長方向に鮮鋭または緩慢に変化するという現象が実験的に確認されている。図１５（ａ）および（ｂ）は、色素のスペクトルがシフトする場合と、色素のスペクトルが波長方向に鮮鋭または緩慢に変化する場合とを模式的に示したもので、横軸は波長を示し、縦軸は吸光度を示す。このように、色素のスペクトルが波長方向に鮮鋭または緩慢に変化すると、色素量の推定値が変化して、標本の解析精度が低下することになる。
【００５３】
図１６（ａ）および（ｂ）は、ＨＥ染色標本における筋線維およびコラーゲン線維のそれぞれの吸光度スペクトルの一例を示す図で、横軸は波長を示し、縦軸は吸光度を示す。図１６（ａ），（ｂ）において、実線は計測値を示し、破線はランベルト・ベールの法則に基づいて従来の方法で色素量を推定した場合の吸光度スペクトルの推定値を示す。
【００５４】
図１６（ａ），（ｂ）から明らかなように、吸光度スペクトルの推定値は、Ｅ染色のピーク波長である５１０ｎｍ〜５５０ｎｍにおいて、筋線維では計測値より多くなり、また、コラーゲン線維では計測値より小さくなる。図１７（ａ），（ｂ）は、図１６（ａ），（ｂ）に示した筋線維およびコラーゲン線維における吸光度スペクトルの実測値と推定値との残差スペクトルを示す。これは、何らかの要因によって、組織の違いにより色素のスペクトルが波長方向に鮮鋭または緩慢に変化していることを表す。
【００５５】
そのため、上記の非特許文献１に開示のように、色素のスペクトルのシフト量を算出し、そのシフト量に基づいて細胞質と線維とを分類すると、分類の精度つまり標本の解析精度が低下する場合がある。その結果、染色標本のバーチャルスライド画像を取得するバーチャル顕微鏡システムにおいても、同様に標本の解析精度が低下することになる。
【００５６】
したがって、かかる点に鑑みてなされた本発明の目的は、対象標本の現象に即して、対象標本画像を高精度で解析できる画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システムを提供することにある。
【課題を解決するための手段】
【００５７】
上記目的を達成する第１の観点に係る画像処理装置の発明は、
染色標本を撮像した染色標本画像を処理する画像処理装置であって、
前記染色標本の染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトル記憶部に記憶された前記色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する変化特性算出部と、前記色素のスペクトル記憶部に記憶された前記色素のスペクトルと前記変化特性算出部で算出された前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定する色素量・変化量推定部とを有し、少なくとも前記変化量に基づいて前記染色標本画像を解析する演算部と、
【００５８】
第２の観点に係る発明は、第１の観点に係る画像処理装置において、
前記変化特性算出部は、
前記色素のスペクトルを２階微分した２階微分スペクトルを前記変化特性として算出する、ことを特徴とするものである。
【００５９】
第３の観点に係る発明は、第１または２の観点に係る画像処理装置において、
前記色素のスペクトル、前記変化特性、前記色素量および前記変化量に基づいて、前記色素のスペクトルおよび前記色素量をそれぞれ補正する色素のスペクトル・色素量補正部と、をさらに備え、
前記補正された色素のスペクトルおよび前記補正された色素量に基づいて前記染色標本画像を解析するように構成したことを特徴とするものである。
【００６０】
第４の観点に係る発明は、第１または２の観点に係る画像処理装置において、
前記変化量に基づいて前記染色標本画像の各画素を分類する分類部をさらに備え、
前記分類部による分類結果に基づいて前記染色標本画像を解析するように構成したことを特徴とするものである。
【００６１】
第５の観点に係る発明は、第４の観点に係る画像処理装置において、
前記染色標本は、ＨＥ染色標本であり、
前記色素のスペクトルは、Ｅ色素のスペクトルであり、
前記分類部は、前記変化量に基づいて筋線維またはコラーゲン繊維の少なくとも一つを分類する、
ことを特徴とするものである。
【００６２】
第６の観点に係る発明は、第４または５の観点に係る画像処理装置において、
前記分類部による分類結果に基づいて表示用画像を作成する表示用画像作成部をさらに備える、ことを特徴とするものである。
【００６３】
第７の観点に係る発明は、第１〜６のいずれか一の観点に係る画像処理装置において、
前記演算部は、
前記染色標本画像の各画素の画素値に基づいて分光スペクトルを推定するスペクトル推定部をさらに備え、
前記色素量・変化量推定部は、前記スペクトル推定部で推定された前記分光スペクトルに基づいて前記色素量および前記変化量を推定する、ことを特徴とするものである。
【００６４】
第８の観点に係る発明は、第１〜７のいずれか一の観点に係る画像処理装置において、
前記変化特性算出部は、前記色素のスペクトルに基づいて前記変化特性とは異なる変化を表す変化特性を含む複数の変化特性を算出し、
前記色素量・変化量推定部は、前記色素のスペクトルと前記変化特性算出部で算出された前記複数の変化特性とに基づいて、前記変化量を含む複数の異なる変化量を推定し、
前記演算部は、前記複数の変化量に基づいて前記染色標本画像を解析する、ことを特徴とするものである。
【００６５】
さらに、上記目的を達成する第９の観点に係る画像処理方法の発明は、
染色標本を撮像した染色標本画像を処理する画像処理方法であって、
前記染色標本の染色に使用される色素のスペクトルを取得するステップと、
取得された前記色素のスペクトルに基づいて、少なくとも当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出するステップと、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定するステップと、
少なくとも前記変化量に基づいて前記染色標本画像を解析するステップと、
を含むことを特徴とするものである。
【００６６】
さらに、上記目的を達成する第１０の観点に係る画像処理プログラムの発明は、
染色標本を撮像した染色標本画像を処理する画像処理プログラムであって、
前記染色標本の染色に使用される色素のスペクトルを取得する処理と、
取得された前記色素のスペクトルに基づいて、少なくとも当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する処理と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定する処理と、
少なくとも前記変化量に基づいて前記染色標本画像を解析する処理と、
をコンピュータに実行させることを特徴とするものである。
【００６７】
さらに、上記目的を達成する第１１の観点に係るバーチャル顕微鏡システムの発明は、
染色標本のバーチャルスライド画像を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記染色標本を撮像して染色標本画像を取得する画像取得部と、
前記染色標本の染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトル記憶部に記憶された前記色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する変化特性算出部と、前記色素のスペクトル記憶部に記憶された前記色素のスペクトルと前記変化特性算出部で算出された前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定する色素量・変化量推定部とを有し、少なくとも前記変化量に基づいて前記染色標本を解析する演算部と、を備え、
前記演算部で解析された染色標本画像に基づいて前記染色標本のバーチャルスライド画像を取得するように構成した、ことを特徴とするものである。
【発明の効果】
【００６８】
本発明によると、対象標本の現象に即して、対象標本画像を高精度で解析することが可能となる。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。
【図２】図１に示した画像処理装置の動作の概要を示すフローチャートである。
【図３】図１の色素のスペクトル記憶部に記憶されるＥ染色の色素のスペクトルにおける正規化吸光度特性と、１次微分スペクトルおよび２次微分スペクトルの各変化特性との関係を示す図である。
【図４】図２の画像解析処理の概要を示すフローチャートである。
【図５】本発明の第２実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。
【図６】図５に示した画像処理装置の動作の概要を示すフローチャートである。
【図７】本発明の第３実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。
【図８】図７に示した画像処理装置の動作の概要を示すフローチャートである。
【図９】本発明の第４実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。
【図１０】図９に示した画像取得部の概略構成を示す図である。
【図１１】図１０に示したＲＧＢカメラの分光感度特性を示す図である。
【図１２】図１０に示したフィルタ部を構成する各光学フィルタの分光透過率特性を示す図である。
【図１３】図９に示した画像処理装置の動作の概要を示すフローチャートである。
【図１４】本発明の第５実施の形態に係るバーチャル顕微鏡システムの要部の機能構成を示すブロック図である。
【図１５】色素のスペクトルがシフトする場合と、色素のスペクトルが波長方向に鮮鋭または緩慢に変化する場合とを模式的に示す図である。
【図１６】ＨＥ染色標本における筋線維およびコラーゲン線維のそれぞれの吸光度スペクトルの実測値と、従来の方法で色素量を推定した場合の吸光度スペクトルの推定値との一例を示す図である。
【図１７】図１６に示した筋線維およびコラーゲン線維における吸光度スペクトルの実測値と推定値との残差スペクトルを示す図である。
【発明を実施するための形態】
【００７０】
以下、本発明の好適実施の形態について、図を参照して詳細に説明する。なお、本発明は、以下の実施の形態によって限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。
【００７１】
（第１実施の形態）
図１は、本発明の第１実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、顕微鏡とパーソナルコンピュータ等のコンピュータから構成されるもので、画像取得部１１０、入力部２７０、表示部２９０、演算部２５０、記憶部２３０、および各部を制御する制御部２１０を備える。
【００７２】
画像取得部１１０は、例えば液晶チューナブルフィルタや音響チューナブルフィルタを備えるマルチスペクトルカメラを用いて構成され、対象標本（染色標本）をマルチスペクトルカメラにより撮像して、対象標本のマルチスペクトル画像を取得する。
【００７３】
入力部２７０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部２１０に出力する。
【００７４】
表示部２９０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現されるものであり、制御部２１０から入力される表示信号をもとに各種画面を表示する。
【００７５】
演算部２５０は、変化特性算出部２５０１、色素量・変化量推定部２５０３および解析部２５０５を有し、ＣＰＵ等のハードウェアによって実現される。
【００７６】
記憶部２３０は、画像処理装置を動作させる画像処理プログラムを記憶するプログラム記憶部２３１と、対象標本の染色に用いる染色方法による各色素のスペクトルｋＨ（λ），ｋＥ（λ），ｋＲ（λ）を記憶する色素のスペクトル記憶部２３３とを含み、画像処理プログラムの実行中に使用されるデータ等を格納する。なお、色素のスペクトル記憶部２３３に記憶される各色素のスペクトルｋＨ（λ），ｋＥ（λ），ｋＲ（λ）は、上述したように、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本から測定された分光透過率に基づいて、例えばランベルト・ベールの法則により算出される。この記憶部２３０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現される。
【００７７】
制御部２１０は、画像取得部１１０の動作を制御して対象標本の画像を取得する画像取得制御部２１１を含み、入力部２７０から入力される入力信号や画像取得部１１０から入力される画像、記憶部２３０に格納されているプログラムやデータ等に基づいて画像処理装置を構成する各部への指示やデータの転送等を行い、全体の動作を統括的に制御する。この制御部２１０は、ＣＰＵ等のハードウェアによって実現される。
【００７８】
以下、本実施の形態に係る画像処理装置の動作について説明する。
【００７９】
図２は、本実施の形態に係る画像処理装置の動作の概要を示すフローチャートである。本実施の形態に係る画像処理装置では、先ず、変化特性算出処理を実行して、色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する（ステップＳ２０１）。その後、画像解析処理を実行して、変化特性算出処理で算出された変化特性に基づいて対象標本画像（染色標本画像）を解析する（ステップＳ２０３）。
【００８０】
変化特性算出処理においては、制御部２１０は、記憶部２３０の色素のスペクトル記憶部２３３に記憶されているＥ染色の色素のスペクトルｋＥ（λ）を読み出し、その読み出した色素のスペクトルｋＥ（λ）を、演算部２５０の変化特性算出部２５０１において、例えばラプラシアンフィルタを用いて２階微分して変化特性ｋＥ″（λ）を算出する。つまり、色素のスペクトルｋＥ（λ）を２階微分して算出した２階微分スペクトルを、変化特性ｋＥ″（λ）とする。ここで、他の染色の変化特性を求めたい場合は、変化特性算出部２５０１において、その色素のスペクトルを２階微分してもよい。また、同時に、色素のスペクトルｋＥ（λ）を１階微分してｋＥ′（λ）を算出する等、異なる変化を表す複数の変化特性を算出してもよい。この変化特性算出処理での算出結果は、記憶部２３０に記憶する。
【００８１】
図３は、色素のスペクトル記憶部２３３に記憶されるＥ染色の色素のスペクトルにおける正規化吸光度特性と、当該色素のスペクトルに関して変化特性算出部２５０１において算出される１次微分スペクトルおよび２次微分スペクトルの各変化特性との関係を示す図である。
【００８２】
図４は、図２の画像解析処理の概要を示すフローチャートである。画像解析処理においては、制御部２１０は、先ず、画像取得制御部２１１により画像取得部１１０の動作を制御して対象標本を撮像し、対象標本のスペクトルＴ＾（ｘ）を取得する（ステップＳ４０１）。次に、制御部２１０は、演算部２５０の色素量・変化量推定部２５０３において、画素毎にスペクトルＴ＾（ｘ）に基づいて、色素量と変化量とを推定する（ステップＳ４０３）。ここで、変化量とは、色素のスペクトルが波長方向に鮮鋭または緩慢に変化する度合いを表している。
【００８３】
この際に、対象標本の染色に用いた染色方法の各色素のスペクトルｋＨ（λ），ｋＥ（λ），ｋＲ（λ）と変化特性ｋＥ″（λ）とに基づいて、対象標本画像の任意の点ｘに対応する標本点における各染色方法の色素量と変化量とを推定する。具体的には、対象標本画像の点ｘにおける分光透過率の推定値Ｔ＾（ｘ）に基づいて、点ｘに対応する対象標本の標本点に固定された色素量ｄ＾Ｅを、次式（２０）に基づいて推定する。なお、ｄ＾は、ｄの上に記号「＾」が付いていることを示す。
【００８４】
【数１２】
【００８５】
次に、ｄ＾ＥΔ２λＥを、次式（２１）に基づいて置き換える。
【００８６】
【数１３】
【００８７】
そして、次式（２２）に基づいて、変化量Δ２λＥを算出する。
【００８８】
【数１４】
【００８９】
また、色素のスペクトルの波長方向のシフト量ΔλＥを同時に推定してもよい。この場合は、次式（２３）に基づいて、色素量ｄ＾Ｅを推定する。
【００９０】
【数１５】
【００９１】
次に、ｄ＾ＥΔλＥを、次式（２４）に基づいて置き換える。
【００９２】
【数１６】
【００９３】
そして、次式（２５）に基づいて、シフト量ΔλＥを算出する。
【００９４】
【数１７】
【００９５】
これにより、各変化の相関を反映して色素量、シフト量、変化量を推定することができる。
【００９６】
その後、制御部２１０は、演算部２５０の解析部２５０５において、変化量Δ２λＥに基づいて対象標本画像を解析する（ステップＳ４０５）。ここで、解析方法は、様々な方法が想定される。例えば、変化特性ｋＥ″（λ）と変化量Δ２λＥとに基づいて、後述するように、色素量推定の精度を向上させる。また、変化量Δ２λＥに基づいて、クラス分類処理により画像を複数の領域に分類する。
【００９７】
このように、本実施の形態に係る画像処理装置によれば、色素のスペクトルが鮮鋭または緩慢に変化する現象である色素のスペクトルの変化特性を定量化して対象標本画像の解析に反映するようにしたので、対象標本の現象に即した定量的な値に基づいて対象標本画像を高精度で解析することが可能となる。また、複数の変化量を同時に算出する場合は、各変化の相関を反映して、各変化量を推定できるので、対象標本画像をより高精度で解析することが可能となる。
【００９８】
（第２実施の形態）
図５は、本発明の第２実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、第１実施の形態に示した構成において、変化量に基づいて色素量および色素のスペクトルを補正して対象標本画像を解析するものである。そのため、演算部２５０には、図１の解析部１５０５に代えて、色素のスペクトル・色素量補正部２５０５ａが設けられている。その他の構成は、第１実施の形態と同様であるので説明を省略する。
【００９９】
図６は、本実施の形態に係る画像処理装置の動作の概要を示すフローチャートであり、図２における画像解析処理の概要を示すものである。本実施の形態による画像解析処理においては、第１実施の形態と同様にして、対象標本を撮像してスペクトルＴ＾（ｘ）を取得し（ステップＳ４０１）、さらに、色素量と変化量とを推定したら（ステップＳ４０３）、次に、色素のスペクトル・色素量補正部２５０５ａにおいて、色素のスペクトルと、変化特性と、色素量と、変化量とに基づいて、補正された色素のスペクトルと補正された色素量（補正色素量）とを算出する（ステップＳ４０５ａ）。
【０１００】
以下、ステップＳ４０５ａの処理について説明する。先ず、色素のスペクトルｋＥ（λ）と、変化特性ｋＥ″（λ）と、色素量ｄ＾Ｅと、変化量Δ２λＥとに基づいて対象画像の任意の点ｘにおけるＥ染色のスペクトルａ〜Ｅ（ｘ,λ）を、次式（２６）に基づいて算出（補正）する。
【０１０１】
【数１８】
【０１０２】
さらに、シフトの変化特性ｋＥ′（λ）およびシフト量ΔλＥを算出した場合は、ｋＥ′（λ）およびΔλＥに基づいて、Ｅ染色のスペクトルａ〜Ｅ（ｘ,λ）を、次式（２７）に基づいて算出してもよい。
【０１０３】
【数１９】
【０１０４】
なお、シフト量ΔλＥは、波長方向のシフトを表すので、Ｅ染色のスペクトルａ〜Ｅ（ｘ,λ）は、次式（２８）に基づいて算出してもよい。
【０１０５】
【数２０】
【０１０６】
次に、Ｅ色素のスペクトルｋＥ（λ）とＥ染色のスペクトルａ〜Ｅ（ｘ,λ）とに基づいて、補正した色素量（補正色素量）ｄ〜Ｅを次式（２９）から算出する。
【０１０７】
【数２１】
【０１０８】
上式（２９）は、点ｘにおけるＥ染色のスペクトルａ〜Ｅ（ｘ,λ）を波長方向に積分した値を、色素のスペクトルｋＥ（λ）を波長方向に積分した値で割ることで、吸光度空間における相対的な量を算出することを意味している。
【０１０９】
次に、Ｅ染色のスペクトルａ〜Ｅ（ｘ,λ）と補正色素量ｄ〜Ｅとに基づいて、補正したＥ色素のスペクトルｋ〜Ｅ（λ）を次式（３０）から算出する。なお、ｋ〜は、ｋの上に記号「〜」が付いていることを示す。
【０１１０】
【数２２】
【０１１１】
こうすることで、補正したＥ色素のスペクトルｋ〜Ｅ（λ）とＥ色素のスペクトルｋＥ（λ）とを、吸光度空間において等価としている。
【０１１２】
このように、本実施の形態に係る画像処理装置によれば、対処標本の色素のスペクトルが変化する現象に即して、色素量および色素のスペクトルを補正することができる。これにより、対象標本画像を高精度で解析することが可能となる。
【０１１３】
（第３実施の形態）
図７は、本発明の第３実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、第１実施の形態に示した構成において、変化量に基づいて画素を分類するものである。そのため、演算部２５０には、図１の解析部１５０５に代えて、変化量に基づいて画素を分類する分類部２５０５ｂが設けられている。また、演算部２５０には、分類部２５０５ｂによる画素の分類結果に基づいて表示用の画像を作成する表示用画像作成部２５０７が設けられている。その他の構成は、第１実施の形態と同様であるので説明を省略する。
【０１１４】
図８は、本実施の形態に係る画像処理装置の動作の概要を示すフローチャートであり、図２の画像解析処理の概要を示すものである。本実施の形態による画像解析処理においては、第１実施の形態と同様にして、対象標本を撮像してスペクトルＴ＾（ｘ）を取得し（ステップＳ４０１）、さらに、色素量と変化量とを推定したら（ステップＳ４０３）、次に、分類部２５０５ｂにおいて、変化量Δ２λＥに基づいて画素を判別する（ステップＳ４０５ｂ）。
【０１１５】
ここで、Ｅ染色の変化量は。筋線維とコラーゲン線維とを比較すると、相対的に筋線維の方が大きい。したがって、例えば、変化量Δ２λＥが閾値以上の場合、当該画素は筋線維と判別し、変化量Δ２λＥが閾値未満の場合、当該画素はコラーゲン線維と判別する。なお、クラス分類処理、例えば、K-means法で、画素を分類してもよい。また、色素量ｄ＾Ｈやｄ＾Ｅと変化量Δ２λＥとに基づいて、画素を分類してもよい。こうすることで、ｄ＾Ｈが多い細胞核や色素量ｄ＾Ｅが少ない腔の画素を除くことができる。
【０１１６】
ここで、K-means法は、非階層型クラスタリング手法の単純な手法であり、Ｋ平均法とも呼ばれている。K-means法は、一般に、以下の流れで実行され、クラスタの平均を用いて、データを与えられたクラスタ数Ｋ個に分類する。
（１）データの数をｎ、クラスタの数をＫとしておく。
（２）各データに対してランダムにクラスタを割り振る。
（３）割り振ったデータをもとに各クラスタの中心を計算する。計算は通常割り当てられたデータの各要素の平均が使用される。
（４）各データと各クラスタの中心との距離を求めて、当該データを最も近い中心のクラスタに割り当て直す。
（５）上記の処理で全てのデータのクラスタの割り当てが変化しなかった場合は処理を終了する。それ以外の場合は新しく割り振られたクラスタから各クラスタの中心を再計算して上記の処理を繰り返す。
【０１１７】
K-means法による分類結果は、最初のクラスタのランダムな割り振りに大きく依存するので、例えば、データの最小値から最大値の範囲を均等に分割してクラスタを割り振ってもよい。これにより、結果を常に同等の値に収束させることができる。
【０１１８】
次に、制御部２１０は、分類部２５０５ｂによる画素の分類結果に基づいて、表示用画像作成部２５０７により表示用画像を作成して、表示部２９０に表示する（ステップＳ４０７）。具体的には、分類結果に基づいて、筋線維とコラーゲン線維とをそれぞれ目視で判別できるように、例えば、異なる色で色付けしたり、異なるテクスチャを重畳したりして、表示用画像を作成して表示する。
【０１１９】
このように、本実施の形態に係る画像処理装置によれば、変化量に基づいて画素を分類するので、色素量以外で、かつ、対象標本の現象に即した特徴量で画素を分類できる。具体的には、筋線維またはコラーゲン繊維を分類することができる。しかも、分類結果を画像として表示するので、目視で分類結果を確認することができる。これにより、対象標本画像を高精度で、かつ容易に解析することが可能となる。
【０１２０】
（第４実施の形態）
図９は、本発明の第４実施の形態に係る画像処理装置の要部の機能構成を示すブロック図である。この画像処理装置は、第１実施の形態に示した構成において、画素値からスペクトルを推定するものである。そのため、演算部２５０には、スペクトル推定部２５０９が付加されている。また、画像取得部１１０ａは、後述するようにＲＧＢカメラおよびフィルタ部を用いて構成されている。その他の構成は、第１実施の形態と同様であるので説明を省略する。
【０１２１】
図１０は、画像取得部１１０ａの概略構成図である。画像取得部１１０ａは、マルチバンド画像（ここでは、６バンド画像）を取得するもので、ＲＧＢカメラ１１１と、該ＲＧＢカメラ１１１に結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１３とを備える。
【０１２２】
ＲＧＢカメラ１１１は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子等を備え、例えば図１１に示すようなＲ（赤），Ｇ（緑），Ｂ（青）の各バンドの分光感度特性を有する。フィルタ部１１３は、ＲＧＢカメラ１１１に結像する光の波長帯域を所定範囲に制限するもので、回転式のフィルタ切り替え部１１３１を備える。フィルタ切り替え部１１３１は、Ｒ，Ｇ，Ｂの各バンドの透過波長領域を２分するように、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１３３ａ，１１３３ｂを保持する。図１２（ａ）は、一方の光学フィルタ１１３３ａの分光透過率特性を示し、図１２（ｂ）は、他方の光学フィルタ１１３３ｂの分光透過率特性を示す。
【０１２３】
そして、制御部２１０により、先ず、例えば光学フィルタ１１３３ａを、照明部１４０からＲＧＢカメラ１１１に至る光路上に位置させて、照明部１４０により受光位置移動部１３０上に載置された対象標本１３１を照明し、その透過光を結像レンズ１２０および光学フィルタ１１３３ａを経てＲＧＢカメラ１１１に結像させて第１の撮像を行う。次いで、制御部２１０により、フィルタ切り替え部１１３１を回転させて、光学フィルタ１１３３ｂを照明部１４０からＲＧＢカメラ１１１に至る光路上に位置させて、同様にして第２の撮像を行う。
【０１２４】
これにより、第１の撮像および第２の撮像でそれぞれ異なる３バンドの画像を得て、合計で６バンドのマルチバンド画像を得る。取得された対象標本１３１の画像は、記憶部２３０に格納される。なお、フィルタ部１１３に設ける光学フィルタの数は、２枚に限定されるものではなく、３枚以上の光学フィルタを用いて、さらに多くのバンドの画像を得ることも可能である。また、画像取得部１１０は、フィルタ部１１３を省略して、ＲＧＢカメラ１１１によりＲＧＢ画像のみを取得するように構成しもよい。
【０１２５】
図１３は、本実施の形態に係る画像処理装置の動作の概要を示すフローチャートであり、図２の画像解析処理の概要を示すものである。本実施の形態による画像解析処理においては、第１実施の形態と同様にして、対象標本を撮像してスペクトルＴ＾（ｘ）を取得したら（ステップＳ４０１）、次に、演算部２５０のスペクトル推定部２５０９において、画素値に基づいてスペクトルを推定する（ステップＳ４０９）。つまり、上述した式（５）により、推定対象画素の画素値Ｇ（ｘ）から、対応する対象標本の標本点における分光透過率の推定値Ｔ＾（ｘ）を算出する。式（５）を再掲する。
【０１２６】
【数２３】
【０１２７】
その後、スペクトル推定部２５０９で推定した分光透過率の推定値Ｔ＾（ｘ）に基づいて、色素量・変化量推定部２５０３において、第１実施の形態の場合と同様に、色素量と変化量とを推定し（ステップＳ４０３）、さらに、解析部２５０５において、変化量Δ２λＥに基づいて対象標本画像を解析する（ステップＳ４０５）。
【０１２８】
このように、本実施の形態に係る画像処理装置によれば、対象標本１３１を撮像した対象標本画像の各画素の画素値から分光スペクトルを推定するようにしたので、多バンド画像だけでなく、ＲＧＢ画像のような対象標本画像でも精度よく解析することが可能となる。したがって、画像取得部１１０ａを簡単に構成できる利点もある。
【０１２９】
（第５実施の形態）
図１４は、本発明の第５実施の形態に係るバーチャル顕微鏡システムの要部の機能構成を示すブロック図である。このバーチャル顕微鏡システムは、染色標本のバーチャルスライド画像を取得するもので、顕微鏡装置４００とホストシステム６００とを備える。
【０１３０】
顕微鏡装置４００は、対象標本Ｓが載置される電動ステージ４１０と、側面視略コの字状を有し、電動ステージ４１０を支持するとともにレボルバ４６０を介して対物レンズ４７０を保持する顕微鏡本体４４０と、顕微鏡本体４４０の底部後方に配設された光源４８０と、顕微鏡本体４４０の上部に載置された鏡筒４９０とを備える。また、鏡筒４９０には、対象標本Ｓの標本像を目視観察するための双眼部５１０と、対象標本Ｓの標本像を撮像するためのＴＶカメラ５２０とが取り付けられている。すなわち、顕微鏡装置４００は、図９の画像取得部１１０ａに相当する。ここで、対物レンズ４７０の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【０１３１】
電動ステージ４１０は、ＸＹＺ方向に移動自在に構成されている。すなわち、電動ステージ４１０は、モータ４２１およびこのモータ４２１の駆動を制御するＸＹ駆動制御部４２３によってＸＹ平面内で移動自在である。ＸＹ駆動制御部４２３は、顕微鏡コントローラ５３０の制御のもと、図示しないＸＹ位置の原点センサによって電動ステージ４１０のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ４２１の駆動量を制御することによって、対象標本Ｓ上の観察箇所を移動させる。そして、ＸＹ駆動制御部４２３は、観察時の電動ステージ４１０のＸ位置およびＹ位置を適宜顕微鏡コントローラ５３０に出力する。
【０１３２】
また、電動ステージ４１０は、モータ４３１およびこのモータ４３１の駆動を制御するＺ駆動制御部４３３によってＺ方向に移動自在である。Ｚ駆動制御部４３３は、顕微鏡コントローラ５３０の制御のもと、図示しないＺ位置の原点センサによって電動ステージ４１０のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ４３１の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に対象標本Ｓを焦準移動させる。そして、Ｚ駆動制御部４３３は、観察時の電動ステージ４１０のＺ位置を適宜顕微鏡コントローラ５３０に出力する。
【０１３３】
レボルバ４６０は、顕微鏡本体４４０に対して回転自在に保持され、対物レンズ４７０を対象標本Ｓの上方に配置する。対物レンズ４７０は、レボルバ４６０に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ４６０の回転に応じて観察光の光路上に挿入されて対象標本Ｓの観察に用いる対物レンズ４７０が択一的に切り換えられるようになっている。
【０１３４】
顕微鏡本体４４０は、底部において対象標本Ｓを透過照明するための照明光学系を内設している。この照明光学系は、光源４８０から射出された照明光を集光するコレクタレンズ４５１、照明系フィルタユニット４５２、視野絞り４５３、開口絞り４５４、照明光の光路を対物レンズ４７０の光軸に沿って偏向させる折曲げミラー４５５、コンデンサ光学素子ユニット４５６、トップレンズユニット４５７等が、照明光の光路に沿って適所に配置されて構成される。光源４８０から射出された照明光は、照明光学系によって対象標本Ｓに照射され、その透過光が観察光として対物レンズ４７０に入射する。
【０１３５】
また、顕微鏡本体４４０は、その上部においてフィルタユニット５００を内設している。フィルタユニット５００は、標本像として結像する光の波長帯域を所定範囲に制限するための２枚以上の光学フィルタ５０３を回転自在に保持し、この光学フィルタ５０３を、適宜対物レンズ４７０後段において観察光の光路上に挿入する。このフィルタユニット５００は、図１０に示したフィルタ部１１３に相当する。なお、ここでは、光学フィルタ５０３を対物レンズ４７０の後段に配置する場合を例示したが、これに限定されずるものではなく、光源４８０からＴＶカメラ５２０に至る光路上のいずれかの位置に配置することとしてよい。対物レンズ４７０を経た観察光は、このフィルタユニット５００を経由して鏡筒４９０に入射する。
【０１３６】
鏡筒４９０は、フィルタユニット５００を経た観察光の光路を切り換えて双眼部５１０またはＴＶカメラ５２０へと導くビームスプリッタ４９１を内設している。対象標本Ｓの標本像は、ビームスプリッタ４９１によって双眼部５１０内に導入され、接眼レンズ５１１を介して検鏡者に目視観察される。あるいはＴＶカメラ５２０によって撮像される。ＴＶカメラ５２０は、標本像（詳細には対物レンズ４７０の視野範囲の標本像）を撮像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、撮像した標本像の画像データをホストシステム６００に出力する。すなわち、ＴＶカメラ５２０は、図１０に示したＲＧＢカメラ１１１に相当する。
【０１３７】
さらに、顕微鏡装置４００は、顕微鏡コントローラ５３０とＴＶカメラコントローラ５４０とを備える。顕微鏡コントローラ５３０は、ホストシステム６００の制御のもと、顕微鏡装置４００を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ５３０は、レボルバ４６０を回転させて観察光の光路上に配置する対物レンズ４７０を切り換える処理や、切り換えた対物レンズ４７０の倍率等に応じた光源４８０の調光制御や各種光学素子の切り換え、あるいはＸＹ駆動制御部４２３やＺ駆動制御部４３３に対する電動ステージ４１０の移動指示等、対象標本Ｓの観察に伴う顕微鏡装置４００の各部の調整を行うとともに、各部の状態を適宜ホストシステム６００に通知する。
【０１３８】
ＴＶカメラコントローラ５４０は、ホストシステム６００の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＴＶカメラ５２０を駆動し、ＴＶカメラ５２０の撮像動作を制御する。
【０１３９】
一方、ホストシステム６００は、第１〜４実施の形態のいずれかに示した、入力部２７０、表示部２９０、演算部２５０、記憶部２３０および制御部２１０を含んでいる。このホストシステム６００は、ＣＰＵやビデオボード、メインメモリ（ＲＡＭ）等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【０１４０】
本実施の形態に係るバーチャル顕微鏡システムは、ホストシステム６００の記憶部に記憶されている画像処理プログラムを含むＶＳ画像生成プログラムに従って、顕微鏡装置４００を含む各部の動作を制御する。これにより、顕微鏡装置４００のＴＶカメラ５２０によって部分的にマルチバンド撮像された対象標本Ｓの複数の対象標本画像が、上記第１〜４実施の形態で説明したようにそれぞれ処理されて、ＶＳ（Virtual Slide）画像が生成される。このＶＳ画像データ（マルチバンド画像データ）は、ホストシステム６００の記憶部に格納される。
【０１４１】
ここで、ＶＳ画像生成プログラムとは、対象標本のＶＳ画像を生成する処理を実現するためのプログラムである。また、ＶＳ画像とは、顕微鏡装置４００によってマルチバンド撮像された１枚以上の画像を繋ぎ合せて生成される画像であり、例えば高倍率の対物レンズ４７０を用いて対象標本Ｓを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成された画像であって、対象標本Ｓの全域を映した広視野でかつ高精細のマルチバンド画像のことを言う。
【０１４２】
ホストシステム６００は、第１〜４実施の形態に示した入力部２７０から入力される入力信号や、顕微鏡コントローラ５３０から入力される顕微鏡装置４００の各部の状態、ＴＶカメラ５２０から入力される画像データ、第１〜４実施の形態に示した記憶部２３０に記録されているプログラムやデータ等をもとにホストシステム６００を構成する各部への指示やデータの転送等を行う。また、ホストシステム６００は、顕微鏡コントローラ５３０やＴＶカメラコントローラ５４０に対する顕微鏡装置４００の各部の動作指示を行い、バーチャル顕微鏡システム全体の動作を統括的に制御する。
【０１４３】
したがって、本実施の形態に係るバーチャル顕微鏡システムによれば、第１〜４実施の形態で説明した画像処理装置と同様の効果を奏することができる。
【０１４４】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、第１〜４実施の形態では、画像取得部に対象標本の撮像機能を持たせて、対象標本の画像を取得するようにしたが、撮像機能を設けることなく、別途撮像して得られた対象標本の染色画像データを、記録媒体を介して、あるいは通信回線を介して取り込むようにしてもよい。
【０１４５】
また、本発明は、上述した画像処理装置やバーチャル顕微鏡システムに限らず、これらの処理を実質的に実行する画像処理方法、画像処理プログラム、プログラムを記録した記憶媒体としても実現し得るものである。したがって、本発明は、これらも包含するものと理解されたい。
【符号の説明】
【０１４６】
１１０，１１０ａ 画像取得部
２１０ 制御部
２３０ 記憶部
２３３ 色素のスペクトル記憶部
２５０ 演算部
２５０１ 変化特性算出部
２５０３ 色素量・変化量推定部
２５０５ 解析部
２５０５ａ 色素のスペクトル・色素量補正部
２５０５ｂ 分類部
２５０７ 表示用画像作成部
２５０９ スペクトル推定部
２７０ 入力部
２９０ 表示部
４００ 顕微鏡装置
６００ ホストシステム
【特許請求の範囲】
【請求項１】
染色標本を撮像した染色標本画像を処理する画像処理装置であって、
前記染色標本の染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトル記憶部に記憶された前記色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する変化特性算出部と、前記色素のスペクトル記憶部に記憶された前記色素のスペクトルと前記変化特性算出部で算出された前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定する色素量・変化量推定部とを有し、少なくとも前記変化量に基づいて前記染色標本画像を解析する演算部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記変化特性算出部は、
前記色素のスペクトルを２階微分した２階微分スペクトルを前記変化特性として算出する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記演算部は、
前記色素のスペクトル、前記変化特性、前記色素量および前記変化量に基づいて、前記色素のスペクトルおよび前記色素量をそれぞれ補正する色素のスペクトル・色素量補正部と、をさらに備え、
前記補正された色素のスペクトルおよび前記補正された色素量に基づいて前記染色標本画像を解析するように構成したことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記演算部は、
前記変化量に基づいて前記染色標本画像の各画素を分類する分類部をさらに備え、
前記分類部による分類結果に基づいて前記染色標本画像を解析するように構成したことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記染色標本は、ＨＥ染色標本であり、
前記色素のスペクトルは、Ｅ色素のスペクトルであり、
前記分類部は、前記変化量に基づいて筋線維またはコラーゲン繊維の少なくとも一つを分類する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記分類部による分類結果に基づいて表示用画像を作成する表示用画像作成部をさらに備える、ことを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記演算部は、
前記染色標本画像の各画素の画素値に基づいて分光スペクトルを推定するスペクトル推定部をさらに備え、
前記色素量・変化量推定部は、前記スペクトル推定部で推定された前記分光スペクトルに基づいて前記色素量および前記変化量を推定する、ことを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
【請求項８】
前記変化特性算出部は、前記色素のスペクトルに基づいて前記変化特性とは異なる変化を表す変化特性を含む複数の変化特性を算出し、
前記色素量・変化量推定部は、前記色素のスペクトルと前記変化特性算出部で算出された前記複数の変化特性とに基づいて、前記変化量を含む複数の異なる変化量を推定し、
前記演算部は、前記複数の変化量に基づいて前記染色標本画像を解析する、ことを特徴とする請求項１〜７のいずれか一項に記載の画像処理装置。
【請求項９】
染色標本を撮像した染色標本画像を処理する画像処理方法であって、
前記染色標本の染色に使用される色素のスペクトルを取得するステップと、
取得された前記色素のスペクトルに基づいて、少なくとも当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出するステップと、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定するステップと、
少なくとも前記変化量に基づいて前記染色標本画像を解析するステップと、
を含むことを特徴とする画像処理方法。
【請求項１０】
染色標本を撮像した染色標本画像を処理する画像処理プログラムであって、
前記染色標本の染色に使用される色素のスペクトルを取得する処理と、
取得された前記色素のスペクトルに基づいて、少なくとも当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する処理と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定する処理と、
少なくとも前記変化量に基づいて前記染色標本画像を解析する処理と、
をコンピュータに実行させるための画像処理プログラム。
【請求項１１】
染色標本のバーチャルスライド画像を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記染色標本を撮像して染色標本画像を取得する画像取得部と、
前記染色標本の染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトル記憶部に記憶された前記色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する変化特性算出部と、前記色素のスペクトル記憶部に記憶された前記色素のスペクトルと前記変化特性算出部で算出された前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定する色素量・変化量推定部とを有し、少なくとも前記変化量に基づいて前記染色標本を解析する演算部と、を備え、
前記演算部で解析された染色標本画像に基づいて前記染色標本のバーチャルスライド画像を取得するように構成した、ことを特徴とするバーチャル顕微鏡システム。
【請求項１】
染色標本を撮像した染色標本画像を処理する画像処理装置であって、
前記染色標本の染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトル記憶部に記憶された前記色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する変化特性算出部と、前記色素のスペクトル記憶部に記憶された前記色素のスペクトルと前記変化特性算出部で算出された前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定する色素量・変化量推定部とを有し、少なくとも前記変化量に基づいて前記染色標本画像を解析する演算部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記変化特性算出部は、
前記色素のスペクトルを２階微分した２階微分スペクトルを前記変化特性として算出する、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記演算部は、
前記色素のスペクトル、前記変化特性、前記色素量および前記変化量に基づいて、前記色素のスペクトルおよび前記色素量をそれぞれ補正する色素のスペクトル・色素量補正部と、をさらに備え、
前記補正された色素のスペクトルおよび前記補正された色素量に基づいて前記染色標本画像を解析するように構成したことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記演算部は、
前記変化量に基づいて前記染色標本画像の各画素を分類する分類部をさらに備え、
前記分類部による分類結果に基づいて前記染色標本画像を解析するように構成したことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記染色標本は、ＨＥ染色標本であり、
前記色素のスペクトルは、Ｅ色素のスペクトルであり、
前記分類部は、前記変化量に基づいて筋線維またはコラーゲン繊維の少なくとも一つを分類する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記分類部による分類結果に基づいて表示用画像を作成する表示用画像作成部をさらに備える、ことを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記演算部は、
前記染色標本画像の各画素の画素値に基づいて分光スペクトルを推定するスペクトル推定部をさらに備え、
前記色素量・変化量推定部は、前記スペクトル推定部で推定された前記分光スペクトルに基づいて前記色素量および前記変化量を推定する、ことを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
【請求項８】
前記変化特性算出部は、前記色素のスペクトルに基づいて前記変化特性とは異なる変化を表す変化特性を含む複数の変化特性を算出し、
前記色素量・変化量推定部は、前記色素のスペクトルと前記変化特性算出部で算出された前記複数の変化特性とに基づいて、前記変化量を含む複数の異なる変化量を推定し、
前記演算部は、前記複数の変化量に基づいて前記染色標本画像を解析する、ことを特徴とする請求項１〜７のいずれか一項に記載の画像処理装置。
【請求項９】
染色標本を撮像した染色標本画像を処理する画像処理方法であって、
前記染色標本の染色に使用される色素のスペクトルを取得するステップと、
取得された前記色素のスペクトルに基づいて、少なくとも当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出するステップと、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定するステップと、
少なくとも前記変化量に基づいて前記染色標本画像を解析するステップと、
を含むことを特徴とする画像処理方法。
【請求項１０】
染色標本を撮像した染色標本画像を処理する画像処理プログラムであって、
前記染色標本の染色に使用される色素のスペクトルを取得する処理と、
取得された前記色素のスペクトルに基づいて、少なくとも当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する処理と、
前記色素のスペクトルと前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定する処理と、
少なくとも前記変化量に基づいて前記染色標本画像を解析する処理と、
をコンピュータに実行させるための画像処理プログラム。
【請求項１１】
染色標本のバーチャルスライド画像を取得するバーチャル顕微鏡システムであって、
顕微鏡を用いて前記染色標本を撮像して染色標本画像を取得する画像取得部と、
前記染色標本の染色に使用される色素のスペクトルを記憶する色素のスペクトル記憶部と、
前記色素のスペクトル記憶部に記憶された前記色素のスペクトルに基づいて、当該色素のスペクトルの波長方向の鮮鋭または緩慢な変化を表す変化特性を算出する変化特性算出部と、前記色素のスペクトル記憶部に記憶された前記色素のスペクトルと前記変化特性算出部で算出された前記変化特性とに基づいて、前記染色標本画像の各画素の画素値から色素量および前記変化特性に基づく変化量を推定する色素量・変化量推定部とを有し、少なくとも前記変化量に基づいて前記染色標本を解析する演算部と、を備え、
前記演算部で解析された染色標本画像に基づいて前記染色標本のバーチャルスライド画像を取得するように構成した、ことを特徴とするバーチャル顕微鏡システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−２０７９６１（Ｐ２０１２−２０７９６１Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７２４３７（Ｐ２０１１−７２４３７）
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月２９日（２０１１．３．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]