画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
【課題】染色状態を想定した教師データテーブルを予め用意することなく精度良く染色標本のスペクトルを推定すること。
【解決手段】本発明のある実施形態において、スペクトル推定部１４２は、予め用意される教師データである標準教師データ１４２を用い、対象標本画像を構成する推定対象画素に対応する対象標本画像上の標本点におけるスペクトル（分光透過率）を第１のスペクトルとして推定する。また、適応教師データ生成部１４３は、第１のスペクトルをもとに適応教師データを生成する。そして、スペクトル推定部１４２は、適応教師データを用い、推定対象画素に対応する対象標本画像上の標本点におけるスペクトルを第２のスペクトルとして推定する。
【解決手段】本発明のある実施形態において、スペクトル推定部１４２は、予め用意される教師データである標準教師データ１４２を用い、対象標本画像を構成する推定対象画素に対応する対象標本画像上の標本点におけるスペクトル（分光透過率）を第１のスペクトルとして推定する。また、適応教師データ生成部１４３は、第１のスペクトルをもとに適応教師データを生成する。そして、スペクトル推定部１４２は、適応教師データを用い、推定対象画素に対応する対象標本画像上の標本点におけるスペクトルを第２のスペクトルとして推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、染色標本を撮像した染色標本画像から染色標本のスペクトルを推定する画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システムに関する。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の一つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率が利用されている。
【０００３】
病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された標本は光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。
【０００５】
ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。一方エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００６】
Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。
【０００７】
標本の観察は、観察者の目視によるものの他、この標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本の分光透過率を推定する処理や、推定した分光透過率をもとに標本を染色している色素の色素量を推定する処理、推定した色素量をもとに画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の標本のＲＧＢ画像である表示画像が合成される。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。
【０００８】
標本のマルチバンド画像から標本の分光透過率を推定する手法としては、例えば、主成分分析による推定法（例えば、非特許文献１参照）や、ウィナー（Wiener）推定による推定法（例えば、非特許文献２参照）等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【０００９】
ここで、標本のマルチバンド画像から表示画像を合成する方法について説明する。直、詳細な手法については、例えば特許文献１や特許文献２等に開示されている。先ず、標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本上の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点（標本点）を意味している。
【００１０】
撮像されたマルチバンド画像の任意の標本点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【数１】
λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。
【００１１】
実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、位置ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
【００１２】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
【００１３】
よって、式（３）は、次式（４）に置き換えられる。
Ｇ（ｘ）＝ＨＴ（ｘ）＋Ｎ ・・・（４）
【００１４】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本上の標本点における分光透過率を推定する。分光透過率の推定値Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。
【数２】
【００１５】
ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。以下の説明では、Ｗを単に「推定オペレータ」と称す。
【数３】
ＲSSは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、ＲNNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。
【００１６】
このようにして分光透過率Ｔ＾（ｘ）を推定したならば、次に、このＴ＾（ｘ）をもとに対応する標本上の標本点における色素量を推定する。推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素の３種類であり、それぞれ色素Ｈ，色素Ｅ，色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても赤血球はそれ自身特有の色を有しており、Ｈ＆Ｅ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。
【００１７】
一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ(λ)との間に、次式（７）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。
【数４】
ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。
【００１８】
ここで、式（７）の左辺は分光透過率ｔ（λ）を意味しており、式（７）は次式（８）に置き換えられる。
【数５】
【００１９】
また、分光吸光度ａ（λ）は次式（９）で表される。
【数６】
【００２０】
よって、式（８）は次式（１０）に置き換えられる。
【数７】
【００２１】
Ｈ＆Ｅ染色された標本が、色素Ｈ，色素Ｅ，色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（１１）が成立する。
【数８】
ｋH（λ），ｋE（λ），ｋR（λ）は、それぞれ色素Ｈ，色素Ｅ，色素Ｒに対応するｋ（λ）を表し、例えば、標本を染色している各色素の色素スペクトル（以下、「基準色素スペクトル」と称す。）である。またｄH，ｄE，ｄRは、マルチバンド画像の各画像位置に対応する標本点における色素Ｈ，色素Ｅ，色素Ｒの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄH，ｄE，ｄRはそれぞれ色素Ｈ，色素Ｅ，色素Ｒの色素量を表しているといえる。なお、ｋH（λ），ｋE（λ），ｋR（λ）は、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光計で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
【００２２】
ここで、位置ｘにおける分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とすると、式（９）は次式（１２）に置き換えられる。
【数９】
【００２３】
そして、式（５）を用いて推定された分光透過率Ｔ＾（ｘ）の波長λにおける推定分光透過率をｔ＾（ｘ，λ）、推定吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。なお、ｔ＾は、ｔの上に記号「＾」が付いていることを示し、ａ＾は、ａの上に記号「＾」が付いていることを示す。
【数１０】
【００２４】
式（１３）において未知変数はｄH，ｄE，ｄRの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ1，λ2，λ3について式（１３）を連立させた場合、次式（１４）のように行列表記できる。
【数１１】
【００２５】
ここで、式（１４）を次式（１５）に置き換える。
【数１２】
波長方向のサンプル点数をＤとすれば、Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するＤ行１列の行列であり、Ｋは、ｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は、位置ｘにおけるｄH，ｄE，ｄRに対応する３行１列の行列である。なお、Ａ＾は、Ａの上に記号「＾」が付いていることを示す。
【００２６】
そして、式（１５）に従い、最小二乗法を用いて色素量ｄH，ｄE，ｄRを算出する。最小二乗法とは単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、次式（１６）で算出できる。
【数１３】
ｄ＾（ｘ）は、推定された色素量である。
【００２７】
色素Ｈ，色素Ｅ，色素Ｒについて色素量ｄ＾H，ｄ＾E，ｄ＾Rを推定し、式（１２）に代入すれば、復元した復元分光吸光度ａ〜（ｘ，λ）は次式（１７）で求められる。なお、ｄ＾は、ｄの上に記号「＾」が付いていることを示し、ａ〜は、ａの上に記号「〜」が付いていることを示す。
【数１４】
【００２８】
ここで、色素量推定における推定誤差ｅ（λ）は、推定分光吸光度ａ＾（ｘ，λ）と復元分光吸光度ａ〜（ｘ，λ）とをもとに、次式（１８）で求められる。
【数１５】
【００２９】
そして、推定分光吸光度ａ＾（ｘ，λ）は、式（１７）,（１８）から次式（１９）で表すことができる。
【数１６】
【００３０】
ランベルト・ベールの法則は、屈折や散乱がないと仮定した場合に半透明物体を透過する光の減衰を定式化したものである。しかしながら、実際の標本では屈折や散乱が起こり得る。このため、標本による光の減衰をランベルト・ベールの法則のみでモデル化した場合、この屈折や散乱に起因する誤差が生じる。しかしながら、屈折や散乱を含めたモデルの構築は極めて困難である。そこで、屈折や散乱の影響を含めたモデル化の誤差である推定誤差ｅ（λ）を考慮することで、物理モデルによる不自然な色変動を引き起こさないようにすることができる。
【００３１】
以上のようにして、色素量ｄ＾H，ｄ＾E，ｄ＾Rが求まれば、これを修正する事で、標本における色素量の変化をシミュレートする事ができる。ここで、染色法によって染色された色素量ｄ＾H，ｄ＾Eを修正する。赤血球本来の色であるｄ＾Rは修正しない。すなわち、補正色素量ｄ＾H*，ｄ＾E*は、適当な色素量補正係数αH，αEを用いて次式（２０），（２１）で求められる。
【数１７】
【００３２】
求めた補正色素量ｄ＾H*，ｄ＾E*を式（１２）に代入すれば、次式（２２）によって、分光吸光度ａ〜*（ｘ，λ）が得られる。なお、ａ〜*は、ａ*の上に記号「〜」が付いていることを示す。
【数１８】
【００３３】
また、推定誤差ｅ（λ）を含める場合には、新たな分光吸光度ａ＾*（ｘ，λ）は、式（２３）によって求められる。なお、ａ＾*は、ａ*の上に記号「＾」が付いていることを示す。
【数１９】
【００３４】
この分光吸光度ａ〜*（ｘ，λ）または分光吸光度ａ＾*（ｘ，λ）を式（１０）に代入すれば、式（２４）によって、新たな分光透過率ｔ*（ｘ，λ）が得られる。分光吸光度ａ*（ｘ，λ）は、分光吸光度ａ〜*（ｘ，λ）または分光吸光度ａ＾*（ｘ，λ）のいずれかの値である。
【数２０】
【００３５】
そして、式（２４）を式（１）に代入すれば、新たな画素値ｇ*（ｘ，ｂ）は、次式（２５）によって求めることができる。この場合、観測ノイズn(b)をゼロとして計算してよい。
【数２１】
【００３６】
ここで、式（４）を、次式（２６）に置き換える。
Ｇ*（ｘ）＝ＨＴ*（ｘ）・・・（２６）
Ｇ*（ｘ）は、ｇ*（ｘ，ｂ）に対応するＢ行１列の行列であり、Ｔ*（ｘ）は、ｔ*（ｘ，λ）に対応するＤ行１列の行列である。これによって、色素量を仮想的に変化させた標本の画素値Ｇ*（ｘ）を合成することができる。
【００３７】
以上説明したように、マルチバンド画像の任意の位置ｘにおける色素量を推定して標本上の標本点における色素量を仮想的に調整し、調整後の標本の画像を合成することによって、標本の色素量を補正することができる。このとき、自動的に色正規化処理を行い、標本各点における色素量を適正な染色状態に調整することも可能である。また、適当なユーザインターフェースを用意すれば、ユーザは、この色素量の調整を手動で行うことができる。表示用に合成された表示画像は、例えば表示装置に画面表示され、医師等による病理診断等に利用される。これによれば、標本に染色ばらつきがあったとしても、適正な染色状態に調整された画像を観察することが可能となる。
【００３８】
ところで、非特許文献１に開示されている手法に従い、推定オペレータＷを用いてマルチバンド画像から標本各点の分光透過率（スペクトル）を推定する場合、式（５）で示したシステム行列Ｈを構成する光学フィルタの分光透過率Ｆ、カメラの分光感度特性Ｓおよび照明の分光放射特性Ｅと、観測対象の統計的性質を表す項ＲSSと、撮像ノイズの特性を表す項ＲNNとを事前に取得しておく必要がある。このうち、観測対象の統計的性質を表す項である自己相関行列ＲSSは、例えばヘマトキシリンおよびエオジンによって標準的に染色された典型的な標本（標準染色標本）を用意し、分光計によって複数の点のスペクトルを測定して自己相関行列を求めることによって得られる。
【００３９】
しかしながら、標本の染色を均一に行うことは難しく、同じ染色方法であっても、標本を染色する施設によって、あるいは染色を施す技師によって染色状態（染色の程度）が異なる場合がある。また、標本の厚さの違いによって染色状態が変わってしまう場合もある。このため、分光特性を推定する染色標本の染色状態が、自己相関行列ＲSSの算出時に使用した標準染色標本の染色状態と異なるといった事態が生じてしまい、スペクトルの推定精度が低下するという問題があった。
【００４０】
この種の問題を解決するための技術として、例えば特許文献３には、被写体の色を推定する際に用いる複数の分光反射率の統計データを予め用意しておき、被写体撮影信号に応じて推定に用いる分光反射率の統計データを切り換える手法が開示されている。
【００４１】
【特許文献１】特開平７−１２０３２４号公報
【特許文献２】特開２００８−５１６５４号公報
【特許文献３】特開２００１−８２２０号公報
【非特許文献１】“Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions”，Proceedings of SPIE，Vol.4684，2002，p.1516-1523
【非特許文献２】“Color Correction of Pathological Images Based on Dye Amount Quantification”，OPTICAL REVIEW，Vol.12，No.4，2005，p.293-300
【発明の開示】
【発明が解決しようとする課題】
【００４２】
特許文献３の技術を適用し、事前に自己相関行列ＲSSを算出するための教師データを染色状態毎に生成しておけば、スペクトルを推定する画素毎に教師データを切り換えて用いることができ、精度良くスペクトルを推定できる。しかしながら、教師データを生成するためには、該当する染色状態で染色した標準染色標本を用意しなければならないため、実際に全ての染色状態を想定して教師データを用意しておくのは困難である。このため、染色標本の染色状態と教師データを生成する際に用いた標準染色標本の染色状態とが異なるといった事態が生じてしまい、スペクトルの推定精度が低下するという問題があった。
【００４３】
本発明は、上記した従来の問題点に鑑みて為されたものであり、染色状態を想定した教師データテーブルを予め用意することなく精度良く染色標本のスペクトルを推定することができる画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システムを提供することを目的とする。
【課題を解決するための手段】
【００４４】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、染色標本を撮像した染色標本画像から前記染色標本のスペクトルを推定する画像処理装置であって、前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用いて前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定手段と、前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成手段と、前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定手段と、を備えることを特徴とする。
【００４５】
この態様にかかる画像処理装置によれば、染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用いて推定対象画素に対応する染色標本上の標本点における第１のスペクトルを推定し、推定した第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成することができる。そして、推定対象画素の画素値をもとに、適応教師データを用いて標本点における第２のスペクトルを推定することができる。したがって、推定対象画素の画素値をもとに、推定対象画素に適応するのに適切な教師データをその都度動的に生成することができる。これによれば、染色標本のあらゆる染色状態を事前に想定して教師データを用意しておくことなくスペクトルの推定誤差を低減でき、精度良くかつ簡単に染色標本のスペクトルを推定することができるという効果を奏する。
【００４６】
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、染色標本を撮像した染色標本画像から前記染色標本のスペクトルを推定させるための画像処理プログラムであって、前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用い、前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定ステップと、前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成ステップと、前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定ステップと、を前記コンピュータに実行させることを特徴とする。
【００４７】
また、本発明の別の態様にかかる画像処理方法は、染色標本を撮像した染色標本画像から前記染色標本のスペクトルを推定する画像処理方法であって、前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用い、前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定工程と、前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成工程と、前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定工程と、を含むことを特徴とする。
【００４８】
また、本発明の別の態様にかかるバーチャル顕微鏡システムは、顕微鏡を用い、染色標本を撮像して染色標本画像を取得する画像取得手段と、前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用いて前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定手段と、前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成手段と、前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定手段と、を備えることを特徴とする。
【発明の効果】
【００４９】
本発明によれば、染色状態を想定した教師データテーブルを予め用意することなく精度良く染色標本のスペクトルを推定することができる。
【発明を実施するための最良の形態】
【００５０】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、Ｈ＆Ｅ染色された生体組織標本（染色標本）を撮像対象としてマルチバンド撮像し、得られたマルチバンド画像をもとに、染色標本の各点（標本点）のスペクトルとして分光透過率を推定する場合を例にとって説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００５１】
図１〜図３は、本実施の形態における染色標本のスペクトル推定原理を説明する図である。本実施の形態のスペクトル推定では先ず、図１に示すように、染色標本をマルチバンド撮像した６バンドのマルチバンド画像１１をもとに、予め用意される標準的な教師データ１２を用いてスペクトル推定を行い、染色標本の第１のスペクトル１３を推定する。
【００５２】
続いて、図２に示すように、第１のスペクトルをもとに色素量推定を行い、染色標本を染色している色素Ｈ，色素Ｅ，色素Ｒの推定色素量１４を得る。続いて、推定色素量をもとに１つ以上の近傍色素量を算出する。例えば、色素Ｈの推定色素量の値を中心とした矢印ＡHで示す所定範囲の値を色素Ｈについての近傍色素量とし、色素Ｅの推定色素量の値を中心とした矢印ＡEで示す所定範囲の値を色素Ｅについての近傍色素量とし、色素Ｒの推定色素量の値を中心とした矢印ＡRで示す所定範囲の値を色素Ｒについての近傍色素量とする。そして、算出した近傍色素量をもとにスペクトルを合成することによって、適応教師データ１５を動的に生成する。
【００５３】
続いて、図３に示すように、染色標本をマルチバンド撮像した６バンドのマルチバンド画像１１をもとに、生成した適応教師データ１５を用いて再度スペクトル推定を行い、染色標本の第２のスペクトル１６を推定する。
【００５４】
（実施の形態１）
先ず、実施の形態１について説明する。図４は、実施の形態１の画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、パソコン等のコンピュータで構成され、染色標本のマルチバンド画像を取得する画像取得部１１０を備える。
【００５５】
画像取得部１１０は、スペクトル（分光透過率）の推定対象の染色標本（以下、「対象標本」と称す。）を撮像して６バンドのマルチバンド画像を取得する。図５は、画像取得部１１０の構成を示す模式図である。図５に示すように、画像取得部１１０は、画像取得動作を行って対象標本Ｓを撮像し、６バンドのマルチバンド画像を取得する。この画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象標本Ｓが載置される標本保持部１１３、標本保持部１１３上の対象標本Ｓを透過照明する照明部１１５、対象標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。
【００５６】
ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図６は、カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。
【００５７】
フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図７は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図８は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像および第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いることができる。取得された対象標本Ｓのマルチバンド画像（以下、「対象標本画像」と称す。）は、マルチバンド画像データ１５２として画像処理装置１の記憶部１５０に格納される。
【００５８】
この画像取得部１１０において、照明部１１５によって照射された照明光は、標本保持部１１３上に載置された対象標本Ｓを透過する。そして、対象標本Ｓを透過した透過光は、光学系１１７および光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図９に示す。
【００５９】
また、図４に示すように、画像処理装置１は、入力部１２０と、表示部１３０と、演算部１４０、記憶部１５０と、装置各部を制御する制御部１６０とを備える。
【００６０】
入力部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部１６０に出力する。表示部１３０は、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号をもとに各種画面を表示する。
【００６１】
演算部１４０は、ＣＰＵ等のハードウェアによって実現される。この演算部１４０は、推定オペレータ算出手段としての推定オペレータ算出部１４１と、第１のスペクトル推定手段および第２のスペクトル推定手段としてのスペクトル推定部１４２と、教師データ生成手段としての適応教師データ生成部１４３と、スペクトル評価手段としてのスペクトル評価部１４７とを含む。推定オペレータ算出部１４１は、予め用意される教師データである標準教師データまたはその都度適応的に生成される教師データである適応教師データを用いて推定オペレータＷを算出する。スペクトル推定部１４２は、対象標本画像を構成する推定対象画素に対応する対象標本画像上の標本点におけるスペクトルとして、分光透過率を推定する。適応教師データ生成部１４３は、色素量推定手段としての色素量推定部１４４と、近傍色素量算出手段としての近傍色素量算出部１４５と、スペクトル合成手段としてのスペクトル合成部１４６とを含み、適応教師データを生成する。色素量推定部１４４は、推定対象画素について推定した第１のスペクトルをもとに、対応する標本点の色素量（推定色素量）を推定する。近傍色素量算出部１４５は、推定色素量をもとに、各色素Ｈ、色素Ｅ，色素Ｒそれぞれの近傍色素量を算出する。スペクトル合成部１４６は、色素Ｈ、色素Ｅおよび色素Ｒの近傍色素量をもとにスペクトルを合成する。以下、スペクトル合成部１４６によって合成されるスペクトルを「合成スペクトル」と称す。スペクトル評価部１４７は、適応教師データを用いて行ったスペクトル（第２のスペクトル）の推定精度を評価する。
【００６２】
記憶部１５０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部１５０には、画像処理装置１０を動作させ、この画像処理装置１０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。
【００６３】
例えば、記憶部１５０には、画像処理プログラム１５１と、マルチバンド画像データ１５２と、スペクトル推定用データ１５３とが格納される。画像処理プログラム１５１は、対象標本画像から対象標本のスペクトルを推定する処理を実現するためのプログラムである。マルチバンド画像データ１５２は、画像取得部１１０によって取得された対象標本画像の画像データである。スペクトル推定用データ１５３は、標準教師データ１５４と、フィルタ分光透過率（Ｆ）１５５と、カメラ分光感度特性（Ｓ）１５６と、照明分光放射特性（Ｅ）１５７と、基準色素スペクトル（色素Ｈ，Ｅ，Ｒ）１５８とを含む。
【００６４】
標準教師データ１５４は、ヘマトキシリンおよびエオジンによって標準的に染色された典型的な標本（標準染色標本）を用意して取得した標準染色標本のスペクトルデータと色データとを記憶する。スペクトルデータは、標準染色標本上の例えば複数の点について分光計で測定したスペクトル（分光透過率）のデータである。色データは、例えば、標準染色標本をマルチバンド撮像した標準標本画像から取得した色のデータであり、１つの画素値であってもよいし、複数の画素の画素値、例えば前述の複数の点に対応する画素の画素値の平均値や最大値、最小値、分光情報等であってもよい。この他、記憶部１５０には、適応教師データ生成部１４３によって生成される適応教師データ等が格納される。
【００６５】
制御部１６０は、ＣＰＵ等のハードウェアによって実現される。この制御部１６０は、入力部１２０から入力される入力信号や画像取得部１１０から入力される画像データ、記憶部１５０に格納されるプログラムやデータ等をもとに画像処理装置１０を構成する各部への指示やデータの転送等を行い、画像処理装置１０全体の動作を統括的に制御する。また、制御部１６０は、マルチバンド画像取得制御部１６１を含む。マルチバンド画像取得制御部１６１は、画像取得部１１０の動作を制御して対象標本画像を取得する。
【００６６】
図１０は、実施の形態１の画像処理装置１が行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１５０に格納された画像処理プログラム１５１に従って画像処理装置１の各部が動作することによって実現される。また、以下では、対象標本画像の任意の位置ｘを推定対象画素とし、この推定対象画素に着目した処理として説明するが、対象標本画像上の全ての画素についてスペクトルを推定する場合には、各画素を順次推定対象画素として処理を行えばよい。
【００６７】
図１０に示すように、先ず、マルチバンド画像取得制御部１６１が画像取得部１１０の動作を制御して対象標本をマルチバンド撮像し、対象標本画像を取得する（ステップｓ１）。取得した対象標本画像の画像データは、記憶部１５０に格納される。
【００６８】
続いて、推定オペレータ算出部１４１が、標準教師データ１５４を用いて自己相関行列ＲSSを算出する（ステップｓ３）。ここで、ある染色状態に含まれるスペクトルが１つの場合、自己相関行列ＲSSは次式（２７）に従って算出できる。行列式Ｖは、スペクトルの平均ベクトルを表す。また、Ｔは行列式の転置を表す。
【数２２】
【００６９】
実際には、標準教師データ１５４は、標準染色標本上の例えば複数の点について分光計で測定したスペクトル（分光透過率）のデータであり、複数のスペクトルが含まれる。このため、標準染色標本の染色状態と対象標本の染色状態との類似度ｄiをもとに、次式（２８）に示す重み付き平均ベクトルＶ´を算出する。ｉは、標準教師データ１５４に含まれるスペクトルの識別番号を表す。
【数２３】
【００７０】
ここで、類似度ｄiは、例えば次のように算出する。すなわち、先ず、対象標本画像の色データを取得する。例えば、推定対象画素の画素値を色データとして取得する。そして、標準教師データ１５４の色データと取得した対象標本画像の色データとを特徴空間に写像し、各写像点間の距離を算出して類似度ｄiとする。
【００７１】
続いて、算出した重み付き平均ベクトルＶ´を用い、次式（２９）に従って自己相関行列ＲSSを算出する。
【数２４】
【００７２】
以上のようにして自己相関行列ＲSSを算出したならば、図１０に示すように、推定オペレータ算出部１４１は、位置ｘ（スペクトルの推定対象画素）の画素値をもとに、算出した自己相関行列ＲSSを用いて推定オペレータＷを算出する（ステップｓ５）。具体的には、推定オペレータＷは、背景技術で示した次式（６）に従って算出する。
【数２５】
【００７３】
ここで、背景技術で示したように、次式（３）で定義されるシステム行列Ｈを導入する。
Ｈ＝ＦＳＥ ・・・（３）
【００７４】
なお、光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓおよび単位時間当たりの照明の分光放射特性Ｅ（＾）の各値は、画像取得部１１０を構成する各部に用いる機器を選定した後、分光計等を用いて測定しておく。そして、フィルタ分光透過率（Ｆ）１５５、カメラ分光感度特性（Ｓ）１５６、照明分光放射特性（Ｅ）１５７として記憶部１５０に格納しておく。また、ＲＧＢカメラ１１１のノイズの自己相関行列ＲNNについては、推定対象画素の画素値を用いて算出する。すなわち、予め標本を設置せずに標本無しの状態で画像取得部１１０によってマルチバンド画像を取得しておく。そして、得られたマルチバンド画像の各バンドについて画素値に対する画素値の分散を求め、この画素値と画素値の分散とから近似式を算出する。そして、算出した近似式を用いて推定対象画素の画素値に対する画素値の分散を求め、これを対角成分とする行列を生成することによって、ノイズの自己相関行列ＲNNを算出する。ただし、バンド間でノイズの相関は無いと仮定している。ここで算出した推定オペレータＷは、第１の推定オペレータとして記憶部１５０に格納される。
【００７５】
続いて、図１０に示すように、スペクトル推定部１４２が、ステップｓ５で算出した第１の推定オペレータを用いて、推定対象画素に対応する対象標本上の標本点における第１のスペクトルを推定する（ステップｓ７）。具体的には、背景技術で示した次式（５）に従い、推定対象画素である対象標本画像の位置ｘにおける画素の画素値の行列表現Ｇ（ｘ）から、対応する標本点におけるスペクトルＴ＾（ｘ）を算出する。得られたスペクトルＴ＾（ｘ）は、第１のスペクトルとして記憶部１５０に格納される。
【数２６】
【００７６】
続いて、適応教師データの算出に移る。すなわち、図１０に示すように先ず、適応教師データ生成部１４３の色素量推定部１４４が、第１のスペクトルをもとに、予め測定されて記憶部１５０に格納されている色素Ｈ，色素Ｅ，色素Ｒの基準色素スペクトルを用いて対象標本の色素量を推定する（ステップｓ９）。ここで、色素Ｈ，色素Ｅ，色素Ｒの基準色素スペクトルは、予め算出しておく。そして、基準色素スペクトル（色素Ｈ，Ｅ，Ｒ）１５８として記憶部１５０に格納しておく。
【００７７】
具体的には、推定対象画素である染色標本画像の位置ｘの第１のスペクトルをもとに、対応する標本点に固定された色素Ｈ，色素Ｅ，色素Ｒそれぞれの色素量（推定色素量）を推定する。ここで推定の対象とする色素は、ヘマトキシリン（色素Ｈ）と、細胞質を染色したエオジン（色素Ｅ）と、染色されていない赤血球の色（色素Ｒ）である。すなわち、背景技術で示した次式（１６）に従って、ｄ＾H，ｄ＾E，ｄ＾Rについて解く。推定された推定色素量ｄ＾H，ｄ＾E，ｄ＾Rは、記憶部１５０に格納される。
【数２７】
【００７８】
なお、本実施の形態ではＨ＆Ｅ染色された染色標本を対象としているため、ここでは色素Ｈ，色素Ｅ，色素Ｒの色素量を推定した。これに対し、他の染色色素で染色された標本を対象とする場合も、同様の処理を適用することでその色素量を推定できる。また、標本自体が有する固有の色についても同様に扱うことができる。例えばここでは、赤血球が有する色である色素Ｒが該当する。
【００７９】
続いて、図１０に示すように、近傍色素量算出部１４５が、ステップｓ９で推定した推定色素量ｄ＾H，ｄ＾E，ｄ＾Rをもとに近傍色素量を算出する（ステップｓ１１）。例えば、色素Ｈ，色素Ｅ，色素Ｒそれぞれについて、推定色素量ｄ＾H，ｄ＾E，ｄ＾Rの値を中心とした所定範囲の値を近傍色素量として算出する。具体的には、近傍色素量は、所定の色素量補正係数を用いた補正色素量として算出できる。すなわち、色素量ｄ＾H，ｄ＾Eと色素量補正係数αH，αEとから、背景技術で示した次式（２０），（２１）に従って色素Ｈ，色素Ｅの補正色素量（すなわち近傍色素量）ｄ＾H*，ｄ＾E*を算出するとともに、色素量ｄ＾Rと色素量補正係数αRとから、次式（３０）に従って色素Ｒの近傍色素量ｄ＾R*を算出する。
【数２８】
【００８０】
より詳細にはこのとき、近傍色素量算出部１４５は、次式（３１），（３２），（３３）に従って色素量補正係数αH，αE，αRを算出する。
【数２９】
【００８１】
ｓｔｅｐαH，ｓｔｅｐαE，ｓｔｅｐαEは、各色素量補正係数αH，αE，αRの刻み幅を表し、例えばそれぞれ“０．１”が設定される。この刻み幅は、予め固定値として設定しておく構成としてもよいし、ユーザ操作に従って可変に設定する構成としてもよい。また、ｉｎｄｅｘαH，ｉｎｄｅｘαE，ｉｎｄｅｘαEは、近傍色素量の各データを識別するための識別番号を表し、例えばそれぞれに｛−３，−２，−１， ０，１，２，３｝が設定される。このｉｎｄｅｘαH，ｉｎｄｅｘαE，ｉｎｄｅｘαEは、算出する近傍色素量の数に応じて適宜設定すればよく、ここでは、推定色素量ｄ＾H，ｄ＾E，ｄ＾Rを中心とした７個の近傍色素量（推定色素量ｄ＾H，ｄ＾E，ｄ＾Rを含む）が算出される。算出した近傍色素量ｄ＾H*，ｄ＾E*，ｄ＾R*は、記憶部１５０に格納される。
【００８２】
なお、近傍色素量ｄ＾H*，ｄ＾E*，ｄ＾R*の算出は、式（２０），（２１），（３０）に示す推定色素量ｄ＾H，ｄ＾E，ｄ＾Rに色素量補正係数αH，αE，αRを乗じる形式に限定されるものではなく、これらを加算あるいは減算して算出することとしてもよい。また、推定色素量ｄ＾H，ｄ＾E，ｄ＾Rを近傍色素量として以下説明する後段の処理を行うこととしてもよい。
【００８３】
続いて、図１０に示すように、スペクトル合成部１４６が、ステップｓ１１で算出した近傍色素量毎に、色素Ｈ，色素Ｅ，色素Ｒの基準色素スペクトルを用いてスペクトル（合成スペクトル）を合成する（ステップｓ１３）。具体的には、先ず、近傍色素量ｄ＾H*，ｄ＾E*，ｄ＾R*をもとに、背景技術で示した式（２２）と同様の算出式である次式（３４）に従って分光吸光度ａ〜*（ｘ，λ）を求める。ｋH（λ），ｋE（λ），ｋR（λ）は、各色素Ｈ，色素Ｅ，色素Ｒの基準色素スペクトルである。
【数３０】
【００８４】
続いて、背景技術で示した次式（２４）に従い、求めた分光吸光度ａ〜*（ｘ，λ）から位置ｘにおける新たな分光透過率ｔ*（ｘ，λ）を求める。
【数３１】
【００８５】
そして、波長方向にＤ回繰り返して分光透過率ｔ*（ｘ，λ）を求め、合成スペクトルＴ*（ｘ）を得る。合成スペクトルＴ*（ｘ）は、ｔ*（ｘ，λ）に対応するＤ行１列の行列である。
【００８６】
そして、図１０に示すように、適応教師データ生成部１４３が、ステップｓ１３で合成した合成スペクトルＴ*（ｘ）をもとに適応教師データを生成する（ステップｓ１５）。生成した適応教師データは、記憶部１５０に格納される。例えば、適応教師データ生成部１４３は、近傍色素量毎の合成スペクトルＴ*（ｘ）から色データを取得する。そして、近傍色素量毎の合成スペクトルＴ*（ｘ）をスペクトルデータとし、このスペクトルと取得した色データとを適応教師データとする。色データは、例えば近傍色素量毎の合成スペクトルＴ*（ｘ）をそれぞれＲＧＢ値に変換する処理を行い、画素値を算出することで取得する。具体的には、背景技術で示した次式（２６）に従って新しい画素値Ｇ*（ｘ）を算出し、各合成スペクトルＴ*（ｘ）に対応する色データとする。
Ｇ*（ｘ）＝ＨＴ*（ｘ） ・・・（２６）
【００８７】
続いて、図１０に示すように、推定オペレータ算出部１４１が、ステップｓ１５で生成した適応教師データを用いて自己相関行列ＲSSを算出する（ステップｓ１７）。算出手順は、ステップｓ３と同様に行う。すなわち、次式（２８）に示す重み付き平均ベクトルＶ´を算出する。ｉは、適応教師データに含まれる合成スペクトルＴ*（ｘ）の識別番号を表す。
【数３２】
【００８８】
このときの類似度ｄiは、例えば次のように算出する。すなわち、先ず、対象標本画像の色データとして推定対象画素の画素値を取得する。そして、適応教師データの色データと取得した対象標本画像の色データとを特徴空間に写像し、各写像点間の距離を算出して類似度ｄiとする。
【００８９】
続いて、算出した重み付き平均ベクトルＶ´を用い、次式（２９）に従って自己相関行列ＲSSを算出する。
【数３３】
【００９０】
以上のようにして自己相関行列ＲSSを算出したならば、続いて図１０に示すように、推定オペレータ算出部１４１は、位置ｘ（スペクトルの推定対象画素）の画素値をもとに、算出した自己相関行列ＲSSを用いて推定オペレータＷを算出する（ステップｓ１９）。具体的には、推定オペレータＷは、背景技術で示した次式（６）に従って算出する。ここで算出した推定オペレータＷは、第２の推定オペレータとして記憶部１５０に格納される。
【数３４】
【００９１】
続いて、図１０に示すように、スペクトル推定部１４２が、ステップｓ１９で算出した第２の推定オペレータを用いて、推定対象画素に対応する対象標本上の標本点における第２のスペクトルを推定する（ステップｓ２１）。具体的には、背景技術で示した次式（５）に従い、推定対象画素である対象標本画像の任意の位置ｘにおける画素の画素値の行列表現Ｇ（ｘ）から、対応する標本点におけるスペクトルＴ＾（ｘ）を算出する。得られたスペクトルＴ＾（ｘ）は、第２のスペクトルとして記憶部１５０に格納される。
【数３５】
【００９２】
続いて、スペクトル評価部１４７が、第１のスペクトルと第２のスペクトルとの差分をもとに第２のスペクトルの推定精度を評価し（ステップｓ２３）、第２のスペクトルの推定精度の評価結果が終了条件を満足するか否かを判定する（ステップｓ２５）。例えば先ず、次式（３４）に従って第１のスペクトルと第２のスペクトルとの差分Ｔdiffを算出する。
【数３６】
【００９３】
続いて、次式（３５）に従って、算出した第１のスペクトルと第２のスペクトルとの差分Ｔdiffの変動量を求め、この値が収束しているか否かを判定する。ｄｉｆｆthresholdは閾値を表し、適当な値が設定される。なお、閾値ｄｉｆｆthresholdの値は、固定値として設定しておく構成としてもよいし、例えばユーザ操作に従って可変に設定する構成としてもよい。また、ｎは、第２のスペクトルを推定した回数（試行数）を表す。
【数３７】
【００９４】
そして、図１０に示すように、スペクトル評価部１４７は、式（３５）を満たした場合、すなわち第１のスペクトルと第２のスペクトルとの差分Ｔdiffが収束している場合に終了条件を満たすと判定し（ステップｓ２５：Ｙｅｓ）、処理を終える。一方、式（３５）を満たさない場合、すなわち第１のスペクトルと第２のスペクトルとの差分Ｔdiffが収束していない場合は終了条件を満たさないと判定する（ステップｓ２５：Ｎｏ）。この場合には、演算部１４０が、第１のスペクトルを第２のスペクトルで更新し（ステップｓ２７）、再推定処理手段として、ステップｓ９からの処理を再度行わせる。ここでの処理によって、更新した第１のスペクトルから新たに適応教師データが生成され、生成された適応教師データをもとに再度第２のスペクトルが推定される。
【００９５】
なお、ここでは、第２のスペクトルの評価結果をもとに適応教師データの生成および第２のスペクトルの推定を再度行うか否かを判定することとしたが、予め処理の繰り返し数を設定しておき、この繰り返し数に従って適応教師データの生成および第２のスペクトルの推定を繰り返し行う構成としてもよい。また、ここでの処理は必須ではなく、第２のスペクトルの評価や再推定を行わない構成としてもよい。すなわち、図１０のステップｓ２３〜ステップｓ２７の処理を行わない構成としてもよい。
【００９６】
以上のようにして推定されたスペクトル（分光透過率）は、例えば、対象標本を染色している色素の色素量の推定に用いられる。そして、推定された色素量に基づいて画像の色が補正され、カメラの特性や染色状態のばらつき等が補正されて、表示用のＲＧＢ画像が合成される。このＲＧＢ画像は、表示部１３０に画面表示されて病理診断に利用される。
【００９７】
この実施の形態１によれば、先ず、予め用意される標準的な教師データを用いて自己相関行列ＲSSを算出し、第１の推定オペレータを算出する。そして、この第１の推定オペレータを用いてスペクトル推定を行い、得られたスペクトルを第１のスペクトルとして適応教師データを生成することができる。そして、生成した適応教師データを用いて自己相関行列ＲSSを算出し、第２の推定オペレータを算出する。そして、この第２の推定オペレータを用いてスペクトル推定を行うことができる。したがって、推定対象画素の画素値をもとに、推定対象画素に適応するのに適切な教師データをその都度動的に生成し、スペクトル推定に用いることができる。これによれば、染色標本のあらゆる染色状態を事前に想定して教師データを用意しておくことなくスペクトルの推定誤差を低減でき、精度良くかつ簡単に染色標本のスペクトルを推定することができるという効果を奏する。
【００９８】
また、第２のスペクトルを評価し、評価結果が終了条件を満たすまで適応教師データの生成および第２のスペクトルの推定を繰り返し行うことができるので、適応教師データを最適化でき、スペクトルの推定精度をより向上させることができる。
【００９９】
なお、上記した実施の形態１では、第１のスペクトルと第２のスペクトルとの差分の変動量を求めて第２のスペクトルを評価する場合を例示したが、第１のスペクトルから推定した色素量と第２のスペクトルから推定した色素量との差分の変動量を求めて第２のスペクトルを評価することとしてもよい。
【０１００】
図１１は、本変形例において画像処理装置１が行う処理手順を示すフローチャートである。なお、図１１では、実施の形態１と同様の処理工程には、同一の符号を付している。
【０１０１】
実施の形態２では、図１１に示すように、ステップｓ７でスペクトル推定部１４２が第１のスペクトルを推定した後、色素量推定部１４４が、実施の形態１と同様にして、第１のスペクトルをもとに対象標本の色素量を推定し、第１の推定色素量とする（ステップｓ１０）。その後、ステップｓ１１に移る。
【０１０２】
そして、ステップｓ２１でスペクトル推定部１４２が第２のスペクトルを推定した後、続いて色素量推定部１４４が、第２のスペクトルをもとに対象標本の色素量を推定し、第２の推定色素量とする（ステップｓ２２）。色素量の推定手法は、第１の推定色素量の推定（実施の形態１で図１０のステップｓ９に示して説明した色素量の推定）と同様の処理で実現できる。
【０１０３】
続いて、スペクトル評価部１４７が、第１の推定色素量と第２の推定色素量との差分をもとに第２のスペクトルの推定精度を評価し（ステップｓ２４）、第２のスペクトルの推定精度の評価結果が終了条件を満足するか否かを判定する（ステップｓ２６）。例えば、第１の推定色素量と第２の推定色素量との差分を算出し、算出した第１の推定色素量と第２の推定色素量との差分の変動量を求め、この値が収束しているか否かを判定する。
【０１０４】
そして、スペクトル評価部１４７は、第１の推定色素量と第２の推定色素量との差分が収束している場合に終了条件を満たすと判定し（ステップｓ２６：Ｙｅｓ）、処理を終える。一方、第１の推定色素量と第２の推定色素量との差分が収束していない場合は終了条件を満たさないと判定する（ステップｓ２６：Ｎｏ）。この場合には、演算部１４０が、第１のスペクトルを第２のスペクトルで更新し（ステップｓ２７）、再推定処理手段として、ステップｓ１０からの処理を再度行わせる。ここでの処理によって、更新した第１のスペクトルから新たに適応教師データが生成され、生成された適応教師データをもとに再度第２のスペクトルが推定される。
【０１０５】
なお、本変形例では、第１の推定色素量と第２の推定色素量との差分の変動量を求めて第２のスペクトルを評価する場合を例示した。また、上記した実施の形態１では、第１のスペクトルと第２のスペクトルとの差分の変動量を求めて第２のスペクトルを評価する場合を例示したが、これに限定されるものではない。例えば、第１のスペクトルと第２のスペクトルとの差分を閾値処理して第２のスペクトルの推定精度を評価する構成としてもよいし、第１の推定色素量と第２の推定色素量との差分を閾値処理して第２のスペクトルの推定精度を評価する構成としてもよい。あるいは、第２のスペクトルをもとに２次的に算出されるその他の値を適宜評価に用いることができる。例えば、第１のスペクトルと第２のスペクトルとの２乗差を求めて閾値処理し、第２のスペクトルの推定精度を評価する構成としてもよい。
【０１０６】
（実施の形態２）
次に、実施の形態２について説明する。図１２は、実施の形態２の画像処理装置１０ｂの機能構成を示すブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図１２に示すように、画像処理装置１０ｂは、画像取得部１１０と、入力部１２０と、表示部１３０と、演算部１４０ｂと、記憶部１５０ｂと、装置各部を制御する制御部１６０とを備える。
【０１０７】
演算部１４０ｂは、推定オペレータ算出部１４１と、スペクトル推定部１４２と、適応教師データ生成部１４３ｂと、スペクトル評価部１４７とを含む。実施の形態２では、適応教師データ生成部１４３ｂは、色素量推定部１４４と、近傍色素量算出部１４５と、スペクトル合成部１４６ｂとを含み、スペクトル合成部１４６ｂは、差分スペクトル算出手段としての差分スペクトル算出部１４８ｂを含む。差分スペクトル算出部１４８ｂは、第１のスペクトルと、近傍色素量をもとに合成した合成スペクトルとの差分スペクトルを算出する。
【０１０８】
図１３は、実施の形態２の画像処理装置１ｂが行う処理手順を示すフローチャートである。なお、図１３では、実施の形態１と同様の処理工程には、同一の符号を付している。
【０１０９】
実施の形態２では、ステップｓ１１において近傍色素量算出部１４５が近傍色素量ｄ＾H*，ｄ＾E*，ｄ＾R*を算出した後、スペクトル合成部１４６ｂの差分スペクトル算出部１４８ｂが、近傍色素量ｄ＾H*，ｄ＾E*，ｄ＾R*から分光吸光度を算出し、標準教師データ１５４を用いてステップｓ７で算出した第１のスペクトルの推定吸光度との差分スペクトルを算出する（ステップｓ１３１）。
【０１１０】
すなわち先ず、差分スペクトル算出部１４８ｂは、近傍色素量ｄ＾H*，ｄ＾E*，ｄ＾R*をもとに、次式（３４）に従って分光吸光度ａ〜*（ｘ，λ）を求める。
【数３８】
【０１１１】
続いて、差分スペクトル算出部１４８ｂは、背景技術で推定誤差と称して説明したｅ（λ）の算出手順と同様に、次式（３５）に従って、第１のスペクトルの推定吸光度ａ＾と算出した分光吸光度ａ〜*（ｘ，λ）との差分スペクトルを算出する。以下、ｅ（λ）を「差分スペクトル」と称す。
【数３９】
【０１１２】
ここで、第１のスペクトルの推定吸光度ａ＾（ｘ，λ）は、背景技術で示した次式（１３）に従って算出される。
【数４０】
【０１１３】
そして、図１３に示すように、スペクトル合成部１４６ｂは、上記のようにして近傍色素量毎に算出した差分スペクトルを用いてスペクトルを合成し（ステップｓ１３３）、ステップｓ１５に移る。すなわち先ず、スペクトル合成部１４６ｂは、次式（３６）に従って、ステップｓ１３１で算出した差分スペクトルｅ（λ）を加えて分光吸光度ａ〜*（ｘ，λ）を再度算出する。
【数４１】
【０１１４】
その後は、上記した実施の形態１と同様に、スペクトル合成部１４６ｂは、背景技術で示した次式（２４）に従い、求めた分光吸光度ａ〜*（ｘ，λ）から位置ｘにおける新たな分光透過率ｔ*（ｘ，λ）を求める。
【数４２】
【０１１５】
そして、スペクトル合成部１４６ｂは、波長方向にＤ回繰り返して分光透過率ｔ*（ｘ，λ）を求め、合成スペクトルＴ*（ｘ）を得る。合成スペクトルＴ*（ｘ）は、ｔ*（ｘ，λ）に対応するＤ行１列の行列である。
【０１１６】
実施の形態２によれば、実施の形態１と同様の効果を奏する。また、第１のスペクトルと合成スペクトルとの差分スペクトルを算出し、この差分スペクトルを用いて適応教師データを生成することができる。
【０１１７】
なお、上記した実施の形態１では、第１のスペクトルをもとに色素量を推定してスペクトルを合成し、適応教師データを生成することとした。また、実施の形態２では、第１のスペクトルと合成スペクトルとの差分スペクトルを算出し、この差分スペクトルを合成スペクトルに加えて適応教師データを生成することとした。これに対し、第１のスペクトルの全バンドに対してランダムに発生させたノイズを加えてスペクトルデータとし、適応教師データを生成することとしてもよい。これによれば、色素量を推定する必要がなく、処理負荷を軽減できる。
【０１１８】
（実施の形態３）
顕微鏡を用いて標本を観察する場合、１度に観察可能な範囲（視野範囲）は、主に対物レンズの倍率によって決定される。ここで、対物レンズの倍率が高いほど高精細な画像が得られる反面、視野範囲が狭くなる。この種の問題を解決するため、従来から、標本を載置する電動ステージを動かす等して視野範囲を移動させながら倍率の高い対物レンズを用いて標本像を部分毎に撮像し、撮像した部分毎の画像を繋ぎ合わせることによって高精細でかつ広視野の標本画像を生成するといったことが行われており、バーチャル顕微鏡システムと呼ばれている。以下、バーチャル顕微鏡システムで生成される標本画像を、「ＶＳ画像」と称す。このバーチャル顕微鏡システムによれば、実際に標本が存在しない環境であっても観察が行える。
【０１１９】
実施の形態３は、本発明を上記したバーチャル顕微鏡システムに適用したものである。図１４は、実施の形態３のバーチャル顕微鏡システム２の概観例を示す概略斜視図である。図１４に示すように、バーチャル顕微鏡システム２は、顕微鏡装置２０とホストシステム４０とがデータの送受可能に接続されて構成されている。ホストシステム４０は、例えばキーボードやマウス等の入力部４１と、表示部４２とを備えている。
【０１２０】
図１５は、実施の形態３のバーチャル顕微鏡システム２の全体構成例を示す模式図である。また、図１６は、実施の形態３のホストシステム４０の機能構成を示すブロック図である。ここで、図１５に示す対物レンズ２７の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【０１２１】
顕微鏡装置２０は、対象標本Ｓが載置される電動ステージ２１と、側面視略コの字状を有し、電動ステージ２１を支持するとともにレボルバ２６を介して対物レンズ２７を保持する顕微鏡本体２４と、顕微鏡本体２４の底部後方（図１５の右方）に配設された光源２８と、顕微鏡本体２４の上部に載置された鏡筒２９とを備える。また、鏡筒２９には、対象標本Ｓの標本像を目視観察するための双眼部３１と、対象標本Ｓの標本像を撮像するためのＴＶカメラ３２が取り付けられている。なお、対象標本Ｓは、実施の形態１と同様に、Ｈ＆Ｅ染色された生体組織標本（染色標本）である。
【０１２２】
電動ステージ２１は、ＸＹＺ方向に移動自在に構成されている。すなわち、電動ステージ２１は、モータ２２１およびこのモータ２２１の駆動を制御するＸＹ駆動制御部２２３によってＸＹ平面内で移動自在である。ＸＹ駆動制御部２２３は、顕微鏡コントローラ３３の制御のもと、図示しないＸＹ位置の原点センサによって電動ステージ２１のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ２２１の駆動量を制御することによって、対象標本Ｓ上の観察箇所を移動させる。そして、ＸＹ駆動制御部２２３は、観察時の電動ステージ２１のＸ位置およびＹ位置を適宜顕微鏡コントローラ３３に出力する。また、電動ステージ２１は、モータ２３１およびこのモータ２３１の駆動を制御するＺ駆動制御部２３３によってＺ方向に移動自在である。Ｚ駆動制御部２３３は、顕微鏡コントローラ３３の制御のもと、図示しないＺ位置の原点センサによって電動ステージ２１のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ２３１の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に対象標本Ｓを焦準移動させる。そして、Ｚ駆動制御部２３３は、観察時の電動ステージ２１のＺ位置を適宜顕微鏡コントローラ３３に出力する。
【０１２３】
レボルバ２６は、顕微鏡本体２４に対して回転自在に保持され、対物レンズ２７を対象標本Ｓの上方に配置する。対物レンズ２７は、レボルバ２６に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ２６の回転に応じて観察光の光路上に挿入されて対象標本Ｓの観察に用いる対物レンズ２７が択一的に切り換えられるようになっている。
【０１２４】
顕微鏡本体２４は、底部において対象標本Ｓを透過照明するための照明光学系を内設している。この照明光学系は、光源２８から射出された照明光を集光するコレクタレンズ２５１、照明系フィルタユニット２５２、視野絞り２５３、開口絞り２５４、照明光の光路を対物レンズ２７の光軸に沿って偏向させる折曲げミラー２５５、コンデンサ光学素子ユニット２５６、トップレンズユニット２５７等が、照明光の光路に沿って適所に配置されて構成される。光源２８から射出された照明光は、照明光学系によって対象標本Ｓに照射され、観察光として対物レンズ２７に入射する。
【０１２５】
また、顕微鏡本体２４は、その上部においてフィルタユニット３０を内設している。フィルタユニット３０は、標本像として結像する光の波長帯域を所定範囲に制限するための２枚以上の光学フィルタ３０３を回転自在に保持し、この光学フィルタ３０３を、適宜対物レンズ２７後段において観察光の光路上に挿入する。このフィルタユニット３０は、図５に示して説明したフィルタ部１１９と同様に構成される。なお、ここでは、光学フィルタ３０３を対物レンズ２７の後段に配置する場合を例示したが、これに限定されずるものではなく、光源２８からＴＶカメラ３２に至る光路上のいずれかの位置に配置することとしてよい。対物レンズ２７を経た観察光は、このフィルタユニット３０を経由して鏡筒２９に入射する。
【０１２６】
鏡筒２９は、フィルタユニット３０を経た観察光の光路を切り換えて双眼部３１またはＴＶカメラ３２へと導くビームスプリッタ２９１を内設している。対象標本Ｓの標本像は、このビームスプリッタ２９１によって双眼部３１内に導入され、接眼レンズ３１１を介して検鏡者に目視観察される。あるいはＴＶカメラ３２によって撮像される。ＴＶカメラ３２は、標本像（詳細には対物レンズ２７の視野範囲の標本像）を結像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム４０に出力する。
【０１２７】
そして、顕微鏡装置２０は、顕微鏡コントローラ３３とＴＶカメラコントローラ３４とを備える。顕微鏡コントローラ３３は、ホストシステム４０の制御のもと、顕微鏡装置２０を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ３３は、レボルバ２６を回転させて観察光の光路上に配置する対物レンズ２７を切り換える処理や、切り換えた対物レンズ２７の倍率等に応じた光源２８の調光制御や各種光学素子の切り換え、あるいはＸＹ駆動制御部２２３やＺ駆動制御部２３３に対する電動ステージ２１の移動指示等、対象標本Ｓの観察に伴う顕微鏡装置２０の各部の調整を行うとともに、各部の状態を適宜ホストシステム４０に通知する。ＴＶカメラコントローラ３４は、ホストシステム４０の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＴＶカメラ３２を駆動し、ＴＶカメラ３２の撮像動作を制御する。
【０１２８】
一方、図１６に示すように、ホストシステム４０は、入力部４１と、表示部４２と、演算部４３と、記憶部５０と、装置各部を制御する制御部５４とを備える。なお、図１６では、ホストシステム４０の機能構成を示したが、実際のホストシステム４０は、ＣＰＵやビデオボード、メインメモリ（ＲＡＭ）等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【０１２９】
ここで、実施の形態３のバーチャル顕微鏡システム２は、実施の形態１の画像処理装置１の構成をもとに構成したものであり、演算部４３は、推定オペレータ算出部４５と、スペクトル推定部４６と、適応教師データ生成部４７と、スペクトル評価部４８と、画像合成部４９とを含むＶＳ画像生成部４４を備える。なお、実施の形態１の変形例や実施の形態２の構成を適用することも可能である。
【０１３０】
ＶＳ画像生成部４４は、顕微鏡装置２０が対象標本Ｓを部分的にマルチバンド撮像することによって得られる複数の対象標本画像をそれぞれ処理し、ＶＳ画像を生成する。ここで、ＶＳ画像とは、顕微鏡装置２０によってマルチバンド撮像した１枚以上の画像を繋ぎ合せて生成した画像のことである。実施の形態３でいうＶＳ画像とは、例えば高倍率の対物レンズを用いて対象標本Ｓを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、対象標本Ｓの全域を映した広視野で且つ高精細のマルチバンド画像のことをいう。
【０１３１】
推定オペレータ算出部４５は、実施の形態１の推定オペレータ算出部１４１と同様の要領で、標準教師データまたは適応教師データを用いて推定オペレータＷを算出する。スペクトル推定部４６は、実施の形態１のスペクトル推定部１４２と同様の要領で、対象標本画像を構成する各画素に対応する対象標本画像上の標本点におけるスペクトルとして、分光透過率を推定する。適応教師データ生成部４７は、色素量推定部４７１と、近傍色素量算出部４７２と、スペクトル合成部４７３とを含み、実施の形態１の適応教師データ生成部１４３ｂと同様の要領で適応教師データを生成する。すなわち、色素量推定部４７１は、各画素について推定した第１のスペクトルをもとに対応する各標本点の色素量（第１の推定色素量）を推定するとともに、第２のスペクトルをもとに対応する各標本点の色素量（第２の推定色素量）を推定する。近傍色素量算出部４７２は、推定色素量をもとに、各色素Ｈ、色素Ｅ，色素Ｒそれぞれの近傍色素量を算出する。スペクトル合成部４７３は、色素Ｈ、色素Ｅおよび色素Ｒの近傍色素量または第２の推定色素量をもとにスペクトルを合成する。スペクトル評価部４８は、適応教師データを用いて行ったスペクトル（第２のスペクトル）の推定精度を評価する。また、画像合成部４９は、第２の推定色素量をもとに各画素について合成したスペクトルを用いて画素値を算出し、対象標本画像（ＶＳ画像）の表示用のＲＧＢ画像（表示画像）を合成する。
【０１３２】
記憶部５０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部５０には、ホストシステム４０を動作させ、このホストシステム４０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。
【０１３３】
例えば、記憶部５０には、画像処理プログラム５１１を含むＶＳ画像生成プログラム５１と、ＶＳ画像データ（マルチバンド画像データ）５２と、スペクトル推定用データ５３とが格納される。ＶＳ画像生成プログラム５１は、対象標本のＶＳ画像を生成する処理を実現するためのプログラムであり、画像処理プログラム５１１は、対象標本画像から対象標本のスペクトルを推定する処理を実現するためのプログラムである。ＶＳ画像データは、例えば、顕微鏡装置２０によって部分毎に取得された対象標本画像の画像データを繋ぎ合せて生成した対象標本Ｓの全域の画像データである。スペクトル推定用データ５３は、標準教師データ５３１と、フィルタ分光透過率（Ｆ）５３２と、カメラ分光感度特性（Ｓ）５３３と、照明分光放射特性（Ｅ）５３４と、基準色素スペクトル（色素Ｈ，Ｅ，Ｒ）５３５とを含む。
【０１３４】
制御部５４は、ＣＰＵ等のハードウェアによって実現される。この制御部５４は、入力部４１から入力される入力信号や、顕微鏡コントローラ３３から入力される顕微鏡装置２０各部の状態、ＴＶカメラ３２から入力される画像データ、記憶部５０に記録されるプログラムやデータ等をもとにホストシステム４０を構成する各部への指示やデータの転送等を行い、あるいは顕微鏡コントローラ３３やＴＶカメラコントローラ３４に対する顕微鏡装置２０各部の動作指示を行い、バーチャル顕微鏡システム２全体の動作を統括的に制御する。また、制御部５４は、画像取得手段としてのマルチバンド画像取得制御部５５を含む。マルチバンド画像取得制御部５５は、顕微鏡装置２０各部の動作指示を行って対象標本Ｓを部分毎に撮像した対象標本画像を取得する。
【０１３５】
この実施の形態３によれば、実施の形態１と同様の効果を奏することができるバーチャル顕微鏡システムが実現できる。
【０１３６】
なお、上記の実施の形態では、染色標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定する場合について説明したが、分光反射率や吸光度等のスペクトル特徴値を推定する場合にも同様に適用できる。
【０１３７】
また、上記した実施の形態では、Ｈ＆Ｅ染色された染色標本をスペクトルの推定対象として説明したが、他の染色色素で染色された染色標本を扱う場合にも同様に適用できる。
【図面の簡単な説明】
【０１３８】
【図１】染色標本のスペクトル推定原理を説明する図である。
【図２】染色標本のスペクトル推定原理を説明する他の図である。
【図３】染色標本のスペクトル推定原理を説明する他の図である。
【図４】実施の形態１の画像処理装置の機能構成を示すブロック図である。
【図５】画像取得部の構成を示す模式図である。
【図６】画像取得部を構成するＲＧＢカメラのカラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。
【図７】画像取得部を構成する一方の光学フィルタの分光透過率特性を示す図である。
【図８】画像取得部を構成する他方の光学フィルタの分光透過率特性を示す図である。
【図９】Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。
【図１０】実施の形態１の画像処理装置が行う処理手順を示すフローチャートである。
【図１１】変形例の画像処理装置が行う処理手順を示すフローチャートである。
【図１２】実施の形態２の画像処理装置の機能構成を示すブロック図である。
【図１３】実施の形態２の画像処理装置が行う処理手順を示すフローチャートである。
【図１４】実施の形態３のバーチャル顕微鏡システムの概観例を示す概略斜視図である。
【図１５】実施の形態３のバーチャル顕微鏡システムの全体構成例を示す模式図である。
【図１６】実施の形態３のホストシステムの機能構成を示すブロック図である。
【符号の説明】
【０１３９】
１０，１０ｂ 画像処理装置
１１０ 画像取得部
１２０ 入力部
１３０ 表示部
１４０，１４０ｂ 演算部
１４１ 推定オペレータ算出部
１４２ スペクトル推定部
１４３，１４３ｂ 適応教師データ生成部
１４４ 色素量推定部
１４５ 近傍色素量推定部
１４６，１４６ｂ スペクトル合成部
１４７ スペクトル評価部
１４８ｂ 差分スペクトル算出部
１５０，１５０ｂ 記憶部
１５１，１５１ｂ 画像処理プログラム
１５２ マルチバンド画像データ
１５３ スペクトル推定用データ
１５４ 標準教師データ
１５５ フィルタ分光透過率（Ｆ）
１５６ カメラ分光感度特性（Ｓ）
１５７ 照明分光放射特性（Ｅ）
１５８ 基準色素スペクトル（色素Ｈ，Ｅ，Ｒ）
１６０ 制御部
１６１ マルチバンド画像取得制御部
２ バーチャル顕微鏡システム
２０ 顕微鏡装置
４０ ホストシステム
【技術分野】
【０００１】
本発明は、染色標本を撮像した染色標本画像から染色標本のスペクトルを推定する画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システムに関する。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の一つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率が利用されている。
【０００３】
病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された標本は光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。
【０００５】
ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。一方エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００６】
Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。
【０００７】
標本の観察は、観察者の目視によるものの他、この標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本の分光透過率を推定する処理や、推定した分光透過率をもとに標本を染色している色素の色素量を推定する処理、推定した色素量をもとに画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の標本のＲＧＢ画像である表示画像が合成される。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。
【０００８】
標本のマルチバンド画像から標本の分光透過率を推定する手法としては、例えば、主成分分析による推定法（例えば、非特許文献１参照）や、ウィナー（Wiener）推定による推定法（例えば、非特許文献２参照）等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【０００９】
ここで、標本のマルチバンド画像から表示画像を合成する方法について説明する。直、詳細な手法については、例えば特許文献１や特許文献２等に開示されている。先ず、標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本上の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点（標本点）を意味している。
【００１０】
撮像されたマルチバンド画像の任意の標本点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【数１】
λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。
【００１１】
実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、位置ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
【００１２】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
【００１３】
よって、式（３）は、次式（４）に置き換えられる。
Ｇ（ｘ）＝ＨＴ（ｘ）＋Ｎ ・・・（４）
【００１４】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本上の標本点における分光透過率を推定する。分光透過率の推定値Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。
【数２】
【００１５】
ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。以下の説明では、Ｗを単に「推定オペレータ」と称す。
【数３】
ＲSSは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、ＲNNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。
【００１６】
このようにして分光透過率Ｔ＾（ｘ）を推定したならば、次に、このＴ＾（ｘ）をもとに対応する標本上の標本点における色素量を推定する。推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素の３種類であり、それぞれ色素Ｈ，色素Ｅ，色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても赤血球はそれ自身特有の色を有しており、Ｈ＆Ｅ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。
【００１７】
一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ(λ)との間に、次式（７）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。
【数４】
ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。
【００１８】
ここで、式（７）の左辺は分光透過率ｔ（λ）を意味しており、式（７）は次式（８）に置き換えられる。
【数５】
【００１９】
また、分光吸光度ａ（λ）は次式（９）で表される。
【数６】
【００２０】
よって、式（８）は次式（１０）に置き換えられる。
【数７】
【００２１】
Ｈ＆Ｅ染色された標本が、色素Ｈ，色素Ｅ，色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（１１）が成立する。
【数８】
ｋH（λ），ｋE（λ），ｋR（λ）は、それぞれ色素Ｈ，色素Ｅ，色素Ｒに対応するｋ（λ）を表し、例えば、標本を染色している各色素の色素スペクトル（以下、「基準色素スペクトル」と称す。）である。またｄH，ｄE，ｄRは、マルチバンド画像の各画像位置に対応する標本点における色素Ｈ，色素Ｅ，色素Ｒの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄH，ｄE，ｄRはそれぞれ色素Ｈ，色素Ｅ，色素Ｒの色素量を表しているといえる。なお、ｋH（λ），ｋE（λ），ｋR（λ）は、色素Ｈ，色素Ｅ，色素Ｒを用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光計で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
【００２２】
ここで、位置ｘにおける分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とすると、式（９）は次式（１２）に置き換えられる。
【数９】
【００２３】
そして、式（５）を用いて推定された分光透過率Ｔ＾（ｘ）の波長λにおける推定分光透過率をｔ＾（ｘ，λ）、推定吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。なお、ｔ＾は、ｔの上に記号「＾」が付いていることを示し、ａ＾は、ａの上に記号「＾」が付いていることを示す。
【数１０】
【００２４】
式（１３）において未知変数はｄH，ｄE，ｄRの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ1，λ2，λ3について式（１３）を連立させた場合、次式（１４）のように行列表記できる。
【数１１】
【００２５】
ここで、式（１４）を次式（１５）に置き換える。
【数１２】
波長方向のサンプル点数をＤとすれば、Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するＤ行１列の行列であり、Ｋは、ｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は、位置ｘにおけるｄH，ｄE，ｄRに対応する３行１列の行列である。なお、Ａ＾は、Ａの上に記号「＾」が付いていることを示す。
【００２６】
そして、式（１５）に従い、最小二乗法を用いて色素量ｄH，ｄE，ｄRを算出する。最小二乗法とは単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、次式（１６）で算出できる。
【数１３】
ｄ＾（ｘ）は、推定された色素量である。
【００２７】
色素Ｈ，色素Ｅ，色素Ｒについて色素量ｄ＾H，ｄ＾E，ｄ＾Rを推定し、式（１２）に代入すれば、復元した復元分光吸光度ａ〜（ｘ，λ）は次式（１７）で求められる。なお、ｄ＾は、ｄの上に記号「＾」が付いていることを示し、ａ〜は、ａの上に記号「〜」が付いていることを示す。
【数１４】
【００２８】
ここで、色素量推定における推定誤差ｅ（λ）は、推定分光吸光度ａ＾（ｘ，λ）と復元分光吸光度ａ〜（ｘ，λ）とをもとに、次式（１８）で求められる。
【数１５】
【００２９】
そして、推定分光吸光度ａ＾（ｘ，λ）は、式（１７）,（１８）から次式（１９）で表すことができる。
【数１６】
【００３０】
ランベルト・ベールの法則は、屈折や散乱がないと仮定した場合に半透明物体を透過する光の減衰を定式化したものである。しかしながら、実際の標本では屈折や散乱が起こり得る。このため、標本による光の減衰をランベルト・ベールの法則のみでモデル化した場合、この屈折や散乱に起因する誤差が生じる。しかしながら、屈折や散乱を含めたモデルの構築は極めて困難である。そこで、屈折や散乱の影響を含めたモデル化の誤差である推定誤差ｅ（λ）を考慮することで、物理モデルによる不自然な色変動を引き起こさないようにすることができる。
【００３１】
以上のようにして、色素量ｄ＾H，ｄ＾E，ｄ＾Rが求まれば、これを修正する事で、標本における色素量の変化をシミュレートする事ができる。ここで、染色法によって染色された色素量ｄ＾H，ｄ＾Eを修正する。赤血球本来の色であるｄ＾Rは修正しない。すなわち、補正色素量ｄ＾H*，ｄ＾E*は、適当な色素量補正係数αH，αEを用いて次式（２０），（２１）で求められる。
【数１７】
【００３２】
求めた補正色素量ｄ＾H*，ｄ＾E*を式（１２）に代入すれば、次式（２２）によって、分光吸光度ａ〜*（ｘ，λ）が得られる。なお、ａ〜*は、ａ*の上に記号「〜」が付いていることを示す。
【数１８】
【００３３】
また、推定誤差ｅ（λ）を含める場合には、新たな分光吸光度ａ＾*（ｘ，λ）は、式（２３）によって求められる。なお、ａ＾*は、ａ*の上に記号「＾」が付いていることを示す。
【数１９】
【００３４】
この分光吸光度ａ〜*（ｘ，λ）または分光吸光度ａ＾*（ｘ，λ）を式（１０）に代入すれば、式（２４）によって、新たな分光透過率ｔ*（ｘ，λ）が得られる。分光吸光度ａ*（ｘ，λ）は、分光吸光度ａ〜*（ｘ，λ）または分光吸光度ａ＾*（ｘ，λ）のいずれかの値である。
【数２０】
【００３５】
そして、式（２４）を式（１）に代入すれば、新たな画素値ｇ*（ｘ，ｂ）は、次式（２５）によって求めることができる。この場合、観測ノイズn(b)をゼロとして計算してよい。
【数２１】
【００３６】
ここで、式（４）を、次式（２６）に置き換える。
Ｇ*（ｘ）＝ＨＴ*（ｘ）・・・（２６）
Ｇ*（ｘ）は、ｇ*（ｘ，ｂ）に対応するＢ行１列の行列であり、Ｔ*（ｘ）は、ｔ*（ｘ，λ）に対応するＤ行１列の行列である。これによって、色素量を仮想的に変化させた標本の画素値Ｇ*（ｘ）を合成することができる。
【００３７】
以上説明したように、マルチバンド画像の任意の位置ｘにおける色素量を推定して標本上の標本点における色素量を仮想的に調整し、調整後の標本の画像を合成することによって、標本の色素量を補正することができる。このとき、自動的に色正規化処理を行い、標本各点における色素量を適正な染色状態に調整することも可能である。また、適当なユーザインターフェースを用意すれば、ユーザは、この色素量の調整を手動で行うことができる。表示用に合成された表示画像は、例えば表示装置に画面表示され、医師等による病理診断等に利用される。これによれば、標本に染色ばらつきがあったとしても、適正な染色状態に調整された画像を観察することが可能となる。
【００３８】
ところで、非特許文献１に開示されている手法に従い、推定オペレータＷを用いてマルチバンド画像から標本各点の分光透過率（スペクトル）を推定する場合、式（５）で示したシステム行列Ｈを構成する光学フィルタの分光透過率Ｆ、カメラの分光感度特性Ｓおよび照明の分光放射特性Ｅと、観測対象の統計的性質を表す項ＲSSと、撮像ノイズの特性を表す項ＲNNとを事前に取得しておく必要がある。このうち、観測対象の統計的性質を表す項である自己相関行列ＲSSは、例えばヘマトキシリンおよびエオジンによって標準的に染色された典型的な標本（標準染色標本）を用意し、分光計によって複数の点のスペクトルを測定して自己相関行列を求めることによって得られる。
【００３９】
しかしながら、標本の染色を均一に行うことは難しく、同じ染色方法であっても、標本を染色する施設によって、あるいは染色を施す技師によって染色状態（染色の程度）が異なる場合がある。また、標本の厚さの違いによって染色状態が変わってしまう場合もある。このため、分光特性を推定する染色標本の染色状態が、自己相関行列ＲSSの算出時に使用した標準染色標本の染色状態と異なるといった事態が生じてしまい、スペクトルの推定精度が低下するという問題があった。
【００４０】
この種の問題を解決するための技術として、例えば特許文献３には、被写体の色を推定する際に用いる複数の分光反射率の統計データを予め用意しておき、被写体撮影信号に応じて推定に用いる分光反射率の統計データを切り換える手法が開示されている。
【００４１】
【特許文献１】特開平７−１２０３２４号公報
【特許文献２】特開２００８−５１６５４号公報
【特許文献３】特開２００１−８２２０号公報
【非特許文献１】“Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions”，Proceedings of SPIE，Vol.4684，2002，p.1516-1523
【非特許文献２】“Color Correction of Pathological Images Based on Dye Amount Quantification”，OPTICAL REVIEW，Vol.12，No.4，2005，p.293-300
【発明の開示】
【発明が解決しようとする課題】
【００４２】
特許文献３の技術を適用し、事前に自己相関行列ＲSSを算出するための教師データを染色状態毎に生成しておけば、スペクトルを推定する画素毎に教師データを切り換えて用いることができ、精度良くスペクトルを推定できる。しかしながら、教師データを生成するためには、該当する染色状態で染色した標準染色標本を用意しなければならないため、実際に全ての染色状態を想定して教師データを用意しておくのは困難である。このため、染色標本の染色状態と教師データを生成する際に用いた標準染色標本の染色状態とが異なるといった事態が生じてしまい、スペクトルの推定精度が低下するという問題があった。
【００４３】
本発明は、上記した従来の問題点に鑑みて為されたものであり、染色状態を想定した教師データテーブルを予め用意することなく精度良く染色標本のスペクトルを推定することができる画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システムを提供することを目的とする。
【課題を解決するための手段】
【００４４】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、染色標本を撮像した染色標本画像から前記染色標本のスペクトルを推定する画像処理装置であって、前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用いて前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定手段と、前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成手段と、前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定手段と、を備えることを特徴とする。
【００４５】
この態様にかかる画像処理装置によれば、染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用いて推定対象画素に対応する染色標本上の標本点における第１のスペクトルを推定し、推定した第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成することができる。そして、推定対象画素の画素値をもとに、適応教師データを用いて標本点における第２のスペクトルを推定することができる。したがって、推定対象画素の画素値をもとに、推定対象画素に適応するのに適切な教師データをその都度動的に生成することができる。これによれば、染色標本のあらゆる染色状態を事前に想定して教師データを用意しておくことなくスペクトルの推定誤差を低減でき、精度良くかつ簡単に染色標本のスペクトルを推定することができるという効果を奏する。
【００４６】
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、染色標本を撮像した染色標本画像から前記染色標本のスペクトルを推定させるための画像処理プログラムであって、前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用い、前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定ステップと、前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成ステップと、前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定ステップと、を前記コンピュータに実行させることを特徴とする。
【００４７】
また、本発明の別の態様にかかる画像処理方法は、染色標本を撮像した染色標本画像から前記染色標本のスペクトルを推定する画像処理方法であって、前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用い、前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定工程と、前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成工程と、前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定工程と、を含むことを特徴とする。
【００４８】
また、本発明の別の態様にかかるバーチャル顕微鏡システムは、顕微鏡を用い、染色標本を撮像して染色標本画像を取得する画像取得手段と、前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用いて前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定手段と、前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成手段と、前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定手段と、を備えることを特徴とする。
【発明の効果】
【００４９】
本発明によれば、染色状態を想定した教師データテーブルを予め用意することなく精度良く染色標本のスペクトルを推定することができる。
【発明を実施するための最良の形態】
【００５０】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、Ｈ＆Ｅ染色された生体組織標本（染色標本）を撮像対象としてマルチバンド撮像し、得られたマルチバンド画像をもとに、染色標本の各点（標本点）のスペクトルとして分光透過率を推定する場合を例にとって説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００５１】
図１〜図３は、本実施の形態における染色標本のスペクトル推定原理を説明する図である。本実施の形態のスペクトル推定では先ず、図１に示すように、染色標本をマルチバンド撮像した６バンドのマルチバンド画像１１をもとに、予め用意される標準的な教師データ１２を用いてスペクトル推定を行い、染色標本の第１のスペクトル１３を推定する。
【００５２】
続いて、図２に示すように、第１のスペクトルをもとに色素量推定を行い、染色標本を染色している色素Ｈ，色素Ｅ，色素Ｒの推定色素量１４を得る。続いて、推定色素量をもとに１つ以上の近傍色素量を算出する。例えば、色素Ｈの推定色素量の値を中心とした矢印ＡHで示す所定範囲の値を色素Ｈについての近傍色素量とし、色素Ｅの推定色素量の値を中心とした矢印ＡEで示す所定範囲の値を色素Ｅについての近傍色素量とし、色素Ｒの推定色素量の値を中心とした矢印ＡRで示す所定範囲の値を色素Ｒについての近傍色素量とする。そして、算出した近傍色素量をもとにスペクトルを合成することによって、適応教師データ１５を動的に生成する。
【００５３】
続いて、図３に示すように、染色標本をマルチバンド撮像した６バンドのマルチバンド画像１１をもとに、生成した適応教師データ１５を用いて再度スペクトル推定を行い、染色標本の第２のスペクトル１６を推定する。
【００５４】
（実施の形態１）
先ず、実施の形態１について説明する。図４は、実施の形態１の画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、パソコン等のコンピュータで構成され、染色標本のマルチバンド画像を取得する画像取得部１１０を備える。
【００５５】
画像取得部１１０は、スペクトル（分光透過率）の推定対象の染色標本（以下、「対象標本」と称す。）を撮像して６バンドのマルチバンド画像を取得する。図５は、画像取得部１１０の構成を示す模式図である。図５に示すように、画像取得部１１０は、画像取得動作を行って対象標本Ｓを撮像し、６バンドのマルチバンド画像を取得する。この画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象標本Ｓが載置される標本保持部１１３、標本保持部１１３上の対象標本Ｓを透過照明する照明部１１５、対象標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。
【００５６】
ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図６は、カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。
【００５７】
フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図７は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図８は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像および第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いることができる。取得された対象標本Ｓのマルチバンド画像（以下、「対象標本画像」と称す。）は、マルチバンド画像データ１５２として画像処理装置１の記憶部１５０に格納される。
【００５８】
この画像取得部１１０において、照明部１１５によって照射された照明光は、標本保持部１１３上に載置された対象標本Ｓを透過する。そして、対象標本Ｓを透過した透過光は、光学系１１７および光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図９に示す。
【００５９】
また、図４に示すように、画像処理装置１は、入力部１２０と、表示部１３０と、演算部１４０、記憶部１５０と、装置各部を制御する制御部１６０とを備える。
【００６０】
入力部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部１６０に出力する。表示部１３０は、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号をもとに各種画面を表示する。
【００６１】
演算部１４０は、ＣＰＵ等のハードウェアによって実現される。この演算部１４０は、推定オペレータ算出手段としての推定オペレータ算出部１４１と、第１のスペクトル推定手段および第２のスペクトル推定手段としてのスペクトル推定部１４２と、教師データ生成手段としての適応教師データ生成部１４３と、スペクトル評価手段としてのスペクトル評価部１４７とを含む。推定オペレータ算出部１４１は、予め用意される教師データである標準教師データまたはその都度適応的に生成される教師データである適応教師データを用いて推定オペレータＷを算出する。スペクトル推定部１４２は、対象標本画像を構成する推定対象画素に対応する対象標本画像上の標本点におけるスペクトルとして、分光透過率を推定する。適応教師データ生成部１４３は、色素量推定手段としての色素量推定部１４４と、近傍色素量算出手段としての近傍色素量算出部１４５と、スペクトル合成手段としてのスペクトル合成部１４６とを含み、適応教師データを生成する。色素量推定部１４４は、推定対象画素について推定した第１のスペクトルをもとに、対応する標本点の色素量（推定色素量）を推定する。近傍色素量算出部１４５は、推定色素量をもとに、各色素Ｈ、色素Ｅ，色素Ｒそれぞれの近傍色素量を算出する。スペクトル合成部１４６は、色素Ｈ、色素Ｅおよび色素Ｒの近傍色素量をもとにスペクトルを合成する。以下、スペクトル合成部１４６によって合成されるスペクトルを「合成スペクトル」と称す。スペクトル評価部１４７は、適応教師データを用いて行ったスペクトル（第２のスペクトル）の推定精度を評価する。
【００６２】
記憶部１５０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部１５０には、画像処理装置１０を動作させ、この画像処理装置１０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。
【００６３】
例えば、記憶部１５０には、画像処理プログラム１５１と、マルチバンド画像データ１５２と、スペクトル推定用データ１５３とが格納される。画像処理プログラム１５１は、対象標本画像から対象標本のスペクトルを推定する処理を実現するためのプログラムである。マルチバンド画像データ１５２は、画像取得部１１０によって取得された対象標本画像の画像データである。スペクトル推定用データ１５３は、標準教師データ１５４と、フィルタ分光透過率（Ｆ）１５５と、カメラ分光感度特性（Ｓ）１５６と、照明分光放射特性（Ｅ）１５７と、基準色素スペクトル（色素Ｈ，Ｅ，Ｒ）１５８とを含む。
【００６４】
標準教師データ１５４は、ヘマトキシリンおよびエオジンによって標準的に染色された典型的な標本（標準染色標本）を用意して取得した標準染色標本のスペクトルデータと色データとを記憶する。スペクトルデータは、標準染色標本上の例えば複数の点について分光計で測定したスペクトル（分光透過率）のデータである。色データは、例えば、標準染色標本をマルチバンド撮像した標準標本画像から取得した色のデータであり、１つの画素値であってもよいし、複数の画素の画素値、例えば前述の複数の点に対応する画素の画素値の平均値や最大値、最小値、分光情報等であってもよい。この他、記憶部１５０には、適応教師データ生成部１４３によって生成される適応教師データ等が格納される。
【００６５】
制御部１６０は、ＣＰＵ等のハードウェアによって実現される。この制御部１６０は、入力部１２０から入力される入力信号や画像取得部１１０から入力される画像データ、記憶部１５０に格納されるプログラムやデータ等をもとに画像処理装置１０を構成する各部への指示やデータの転送等を行い、画像処理装置１０全体の動作を統括的に制御する。また、制御部１６０は、マルチバンド画像取得制御部１６１を含む。マルチバンド画像取得制御部１６１は、画像取得部１１０の動作を制御して対象標本画像を取得する。
【００６６】
図１０は、実施の形態１の画像処理装置１が行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１５０に格納された画像処理プログラム１５１に従って画像処理装置１の各部が動作することによって実現される。また、以下では、対象標本画像の任意の位置ｘを推定対象画素とし、この推定対象画素に着目した処理として説明するが、対象標本画像上の全ての画素についてスペクトルを推定する場合には、各画素を順次推定対象画素として処理を行えばよい。
【００６７】
図１０に示すように、先ず、マルチバンド画像取得制御部１６１が画像取得部１１０の動作を制御して対象標本をマルチバンド撮像し、対象標本画像を取得する（ステップｓ１）。取得した対象標本画像の画像データは、記憶部１５０に格納される。
【００６８】
続いて、推定オペレータ算出部１４１が、標準教師データ１５４を用いて自己相関行列ＲSSを算出する（ステップｓ３）。ここで、ある染色状態に含まれるスペクトルが１つの場合、自己相関行列ＲSSは次式（２７）に従って算出できる。行列式Ｖは、スペクトルの平均ベクトルを表す。また、Ｔは行列式の転置を表す。
【数２２】
【００６９】
実際には、標準教師データ１５４は、標準染色標本上の例えば複数の点について分光計で測定したスペクトル（分光透過率）のデータであり、複数のスペクトルが含まれる。このため、標準染色標本の染色状態と対象標本の染色状態との類似度ｄiをもとに、次式（２８）に示す重み付き平均ベクトルＶ´を算出する。ｉは、標準教師データ１５４に含まれるスペクトルの識別番号を表す。
【数２３】
【００７０】
ここで、類似度ｄiは、例えば次のように算出する。すなわち、先ず、対象標本画像の色データを取得する。例えば、推定対象画素の画素値を色データとして取得する。そして、標準教師データ１５４の色データと取得した対象標本画像の色データとを特徴空間に写像し、各写像点間の距離を算出して類似度ｄiとする。
【００７１】
続いて、算出した重み付き平均ベクトルＶ´を用い、次式（２９）に従って自己相関行列ＲSSを算出する。
【数２４】
【００７２】
以上のようにして自己相関行列ＲSSを算出したならば、図１０に示すように、推定オペレータ算出部１４１は、位置ｘ（スペクトルの推定対象画素）の画素値をもとに、算出した自己相関行列ＲSSを用いて推定オペレータＷを算出する（ステップｓ５）。具体的には、推定オペレータＷは、背景技術で示した次式（６）に従って算出する。
【数２５】
【００７３】
ここで、背景技術で示したように、次式（３）で定義されるシステム行列Ｈを導入する。
Ｈ＝ＦＳＥ ・・・（３）
【００７４】
なお、光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓおよび単位時間当たりの照明の分光放射特性Ｅ（＾）の各値は、画像取得部１１０を構成する各部に用いる機器を選定した後、分光計等を用いて測定しておく。そして、フィルタ分光透過率（Ｆ）１５５、カメラ分光感度特性（Ｓ）１５６、照明分光放射特性（Ｅ）１５７として記憶部１５０に格納しておく。また、ＲＧＢカメラ１１１のノイズの自己相関行列ＲNNについては、推定対象画素の画素値を用いて算出する。すなわち、予め標本を設置せずに標本無しの状態で画像取得部１１０によってマルチバンド画像を取得しておく。そして、得られたマルチバンド画像の各バンドについて画素値に対する画素値の分散を求め、この画素値と画素値の分散とから近似式を算出する。そして、算出した近似式を用いて推定対象画素の画素値に対する画素値の分散を求め、これを対角成分とする行列を生成することによって、ノイズの自己相関行列ＲNNを算出する。ただし、バンド間でノイズの相関は無いと仮定している。ここで算出した推定オペレータＷは、第１の推定オペレータとして記憶部１５０に格納される。
【００７５】
続いて、図１０に示すように、スペクトル推定部１４２が、ステップｓ５で算出した第１の推定オペレータを用いて、推定対象画素に対応する対象標本上の標本点における第１のスペクトルを推定する（ステップｓ７）。具体的には、背景技術で示した次式（５）に従い、推定対象画素である対象標本画像の位置ｘにおける画素の画素値の行列表現Ｇ（ｘ）から、対応する標本点におけるスペクトルＴ＾（ｘ）を算出する。得られたスペクトルＴ＾（ｘ）は、第１のスペクトルとして記憶部１５０に格納される。
【数２６】
【００７６】
続いて、適応教師データの算出に移る。すなわち、図１０に示すように先ず、適応教師データ生成部１４３の色素量推定部１４４が、第１のスペクトルをもとに、予め測定されて記憶部１５０に格納されている色素Ｈ，色素Ｅ，色素Ｒの基準色素スペクトルを用いて対象標本の色素量を推定する（ステップｓ９）。ここで、色素Ｈ，色素Ｅ，色素Ｒの基準色素スペクトルは、予め算出しておく。そして、基準色素スペクトル（色素Ｈ，Ｅ，Ｒ）１５８として記憶部１５０に格納しておく。
【００７７】
具体的には、推定対象画素である染色標本画像の位置ｘの第１のスペクトルをもとに、対応する標本点に固定された色素Ｈ，色素Ｅ，色素Ｒそれぞれの色素量（推定色素量）を推定する。ここで推定の対象とする色素は、ヘマトキシリン（色素Ｈ）と、細胞質を染色したエオジン（色素Ｅ）と、染色されていない赤血球の色（色素Ｒ）である。すなわち、背景技術で示した次式（１６）に従って、ｄ＾H，ｄ＾E，ｄ＾Rについて解く。推定された推定色素量ｄ＾H，ｄ＾E，ｄ＾Rは、記憶部１５０に格納される。
【数２７】
【００７８】
なお、本実施の形態ではＨ＆Ｅ染色された染色標本を対象としているため、ここでは色素Ｈ，色素Ｅ，色素Ｒの色素量を推定した。これに対し、他の染色色素で染色された標本を対象とする場合も、同様の処理を適用することでその色素量を推定できる。また、標本自体が有する固有の色についても同様に扱うことができる。例えばここでは、赤血球が有する色である色素Ｒが該当する。
【００７９】
続いて、図１０に示すように、近傍色素量算出部１４５が、ステップｓ９で推定した推定色素量ｄ＾H，ｄ＾E，ｄ＾Rをもとに近傍色素量を算出する（ステップｓ１１）。例えば、色素Ｈ，色素Ｅ，色素Ｒそれぞれについて、推定色素量ｄ＾H，ｄ＾E，ｄ＾Rの値を中心とした所定範囲の値を近傍色素量として算出する。具体的には、近傍色素量は、所定の色素量補正係数を用いた補正色素量として算出できる。すなわち、色素量ｄ＾H，ｄ＾Eと色素量補正係数αH，αEとから、背景技術で示した次式（２０），（２１）に従って色素Ｈ，色素Ｅの補正色素量（すなわち近傍色素量）ｄ＾H*，ｄ＾E*を算出するとともに、色素量ｄ＾Rと色素量補正係数αRとから、次式（３０）に従って色素Ｒの近傍色素量ｄ＾R*を算出する。
【数２８】
【００８０】
より詳細にはこのとき、近傍色素量算出部１４５は、次式（３１），（３２），（３３）に従って色素量補正係数αH，αE，αRを算出する。
【数２９】
【００８１】
ｓｔｅｐαH，ｓｔｅｐαE，ｓｔｅｐαEは、各色素量補正係数αH，αE，αRの刻み幅を表し、例えばそれぞれ“０．１”が設定される。この刻み幅は、予め固定値として設定しておく構成としてもよいし、ユーザ操作に従って可変に設定する構成としてもよい。また、ｉｎｄｅｘαH，ｉｎｄｅｘαE，ｉｎｄｅｘαEは、近傍色素量の各データを識別するための識別番号を表し、例えばそれぞれに｛−３，−２，−１， ０，１，２，３｝が設定される。このｉｎｄｅｘαH，ｉｎｄｅｘαE，ｉｎｄｅｘαEは、算出する近傍色素量の数に応じて適宜設定すればよく、ここでは、推定色素量ｄ＾H，ｄ＾E，ｄ＾Rを中心とした７個の近傍色素量（推定色素量ｄ＾H，ｄ＾E，ｄ＾Rを含む）が算出される。算出した近傍色素量ｄ＾H*，ｄ＾E*，ｄ＾R*は、記憶部１５０に格納される。
【００８２】
なお、近傍色素量ｄ＾H*，ｄ＾E*，ｄ＾R*の算出は、式（２０），（２１），（３０）に示す推定色素量ｄ＾H，ｄ＾E，ｄ＾Rに色素量補正係数αH，αE，αRを乗じる形式に限定されるものではなく、これらを加算あるいは減算して算出することとしてもよい。また、推定色素量ｄ＾H，ｄ＾E，ｄ＾Rを近傍色素量として以下説明する後段の処理を行うこととしてもよい。
【００８３】
続いて、図１０に示すように、スペクトル合成部１４６が、ステップｓ１１で算出した近傍色素量毎に、色素Ｈ，色素Ｅ，色素Ｒの基準色素スペクトルを用いてスペクトル（合成スペクトル）を合成する（ステップｓ１３）。具体的には、先ず、近傍色素量ｄ＾H*，ｄ＾E*，ｄ＾R*をもとに、背景技術で示した式（２２）と同様の算出式である次式（３４）に従って分光吸光度ａ〜*（ｘ，λ）を求める。ｋH（λ），ｋE（λ），ｋR（λ）は、各色素Ｈ，色素Ｅ，色素Ｒの基準色素スペクトルである。
【数３０】
【００８４】
続いて、背景技術で示した次式（２４）に従い、求めた分光吸光度ａ〜*（ｘ，λ）から位置ｘにおける新たな分光透過率ｔ*（ｘ，λ）を求める。
【数３１】
【００８５】
そして、波長方向にＤ回繰り返して分光透過率ｔ*（ｘ，λ）を求め、合成スペクトルＴ*（ｘ）を得る。合成スペクトルＴ*（ｘ）は、ｔ*（ｘ，λ）に対応するＤ行１列の行列である。
【００８６】
そして、図１０に示すように、適応教師データ生成部１４３が、ステップｓ１３で合成した合成スペクトルＴ*（ｘ）をもとに適応教師データを生成する（ステップｓ１５）。生成した適応教師データは、記憶部１５０に格納される。例えば、適応教師データ生成部１４３は、近傍色素量毎の合成スペクトルＴ*（ｘ）から色データを取得する。そして、近傍色素量毎の合成スペクトルＴ*（ｘ）をスペクトルデータとし、このスペクトルと取得した色データとを適応教師データとする。色データは、例えば近傍色素量毎の合成スペクトルＴ*（ｘ）をそれぞれＲＧＢ値に変換する処理を行い、画素値を算出することで取得する。具体的には、背景技術で示した次式（２６）に従って新しい画素値Ｇ*（ｘ）を算出し、各合成スペクトルＴ*（ｘ）に対応する色データとする。
Ｇ*（ｘ）＝ＨＴ*（ｘ） ・・・（２６）
【００８７】
続いて、図１０に示すように、推定オペレータ算出部１４１が、ステップｓ１５で生成した適応教師データを用いて自己相関行列ＲSSを算出する（ステップｓ１７）。算出手順は、ステップｓ３と同様に行う。すなわち、次式（２８）に示す重み付き平均ベクトルＶ´を算出する。ｉは、適応教師データに含まれる合成スペクトルＴ*（ｘ）の識別番号を表す。
【数３２】
【００８８】
このときの類似度ｄiは、例えば次のように算出する。すなわち、先ず、対象標本画像の色データとして推定対象画素の画素値を取得する。そして、適応教師データの色データと取得した対象標本画像の色データとを特徴空間に写像し、各写像点間の距離を算出して類似度ｄiとする。
【００８９】
続いて、算出した重み付き平均ベクトルＶ´を用い、次式（２９）に従って自己相関行列ＲSSを算出する。
【数３３】
【００９０】
以上のようにして自己相関行列ＲSSを算出したならば、続いて図１０に示すように、推定オペレータ算出部１４１は、位置ｘ（スペクトルの推定対象画素）の画素値をもとに、算出した自己相関行列ＲSSを用いて推定オペレータＷを算出する（ステップｓ１９）。具体的には、推定オペレータＷは、背景技術で示した次式（６）に従って算出する。ここで算出した推定オペレータＷは、第２の推定オペレータとして記憶部１５０に格納される。
【数３４】
【００９１】
続いて、図１０に示すように、スペクトル推定部１４２が、ステップｓ１９で算出した第２の推定オペレータを用いて、推定対象画素に対応する対象標本上の標本点における第２のスペクトルを推定する（ステップｓ２１）。具体的には、背景技術で示した次式（５）に従い、推定対象画素である対象標本画像の任意の位置ｘにおける画素の画素値の行列表現Ｇ（ｘ）から、対応する標本点におけるスペクトルＴ＾（ｘ）を算出する。得られたスペクトルＴ＾（ｘ）は、第２のスペクトルとして記憶部１５０に格納される。
【数３５】
【００９２】
続いて、スペクトル評価部１４７が、第１のスペクトルと第２のスペクトルとの差分をもとに第２のスペクトルの推定精度を評価し（ステップｓ２３）、第２のスペクトルの推定精度の評価結果が終了条件を満足するか否かを判定する（ステップｓ２５）。例えば先ず、次式（３４）に従って第１のスペクトルと第２のスペクトルとの差分Ｔdiffを算出する。
【数３６】
【００９３】
続いて、次式（３５）に従って、算出した第１のスペクトルと第２のスペクトルとの差分Ｔdiffの変動量を求め、この値が収束しているか否かを判定する。ｄｉｆｆthresholdは閾値を表し、適当な値が設定される。なお、閾値ｄｉｆｆthresholdの値は、固定値として設定しておく構成としてもよいし、例えばユーザ操作に従って可変に設定する構成としてもよい。また、ｎは、第２のスペクトルを推定した回数（試行数）を表す。
【数３７】
【００９４】
そして、図１０に示すように、スペクトル評価部１４７は、式（３５）を満たした場合、すなわち第１のスペクトルと第２のスペクトルとの差分Ｔdiffが収束している場合に終了条件を満たすと判定し（ステップｓ２５：Ｙｅｓ）、処理を終える。一方、式（３５）を満たさない場合、すなわち第１のスペクトルと第２のスペクトルとの差分Ｔdiffが収束していない場合は終了条件を満たさないと判定する（ステップｓ２５：Ｎｏ）。この場合には、演算部１４０が、第１のスペクトルを第２のスペクトルで更新し（ステップｓ２７）、再推定処理手段として、ステップｓ９からの処理を再度行わせる。ここでの処理によって、更新した第１のスペクトルから新たに適応教師データが生成され、生成された適応教師データをもとに再度第２のスペクトルが推定される。
【００９５】
なお、ここでは、第２のスペクトルの評価結果をもとに適応教師データの生成および第２のスペクトルの推定を再度行うか否かを判定することとしたが、予め処理の繰り返し数を設定しておき、この繰り返し数に従って適応教師データの生成および第２のスペクトルの推定を繰り返し行う構成としてもよい。また、ここでの処理は必須ではなく、第２のスペクトルの評価や再推定を行わない構成としてもよい。すなわち、図１０のステップｓ２３〜ステップｓ２７の処理を行わない構成としてもよい。
【００９６】
以上のようにして推定されたスペクトル（分光透過率）は、例えば、対象標本を染色している色素の色素量の推定に用いられる。そして、推定された色素量に基づいて画像の色が補正され、カメラの特性や染色状態のばらつき等が補正されて、表示用のＲＧＢ画像が合成される。このＲＧＢ画像は、表示部１３０に画面表示されて病理診断に利用される。
【００９７】
この実施の形態１によれば、先ず、予め用意される標準的な教師データを用いて自己相関行列ＲSSを算出し、第１の推定オペレータを算出する。そして、この第１の推定オペレータを用いてスペクトル推定を行い、得られたスペクトルを第１のスペクトルとして適応教師データを生成することができる。そして、生成した適応教師データを用いて自己相関行列ＲSSを算出し、第２の推定オペレータを算出する。そして、この第２の推定オペレータを用いてスペクトル推定を行うことができる。したがって、推定対象画素の画素値をもとに、推定対象画素に適応するのに適切な教師データをその都度動的に生成し、スペクトル推定に用いることができる。これによれば、染色標本のあらゆる染色状態を事前に想定して教師データを用意しておくことなくスペクトルの推定誤差を低減でき、精度良くかつ簡単に染色標本のスペクトルを推定することができるという効果を奏する。
【００９８】
また、第２のスペクトルを評価し、評価結果が終了条件を満たすまで適応教師データの生成および第２のスペクトルの推定を繰り返し行うことができるので、適応教師データを最適化でき、スペクトルの推定精度をより向上させることができる。
【００９９】
なお、上記した実施の形態１では、第１のスペクトルと第２のスペクトルとの差分の変動量を求めて第２のスペクトルを評価する場合を例示したが、第１のスペクトルから推定した色素量と第２のスペクトルから推定した色素量との差分の変動量を求めて第２のスペクトルを評価することとしてもよい。
【０１００】
図１１は、本変形例において画像処理装置１が行う処理手順を示すフローチャートである。なお、図１１では、実施の形態１と同様の処理工程には、同一の符号を付している。
【０１０１】
実施の形態２では、図１１に示すように、ステップｓ７でスペクトル推定部１４２が第１のスペクトルを推定した後、色素量推定部１４４が、実施の形態１と同様にして、第１のスペクトルをもとに対象標本の色素量を推定し、第１の推定色素量とする（ステップｓ１０）。その後、ステップｓ１１に移る。
【０１０２】
そして、ステップｓ２１でスペクトル推定部１４２が第２のスペクトルを推定した後、続いて色素量推定部１４４が、第２のスペクトルをもとに対象標本の色素量を推定し、第２の推定色素量とする（ステップｓ２２）。色素量の推定手法は、第１の推定色素量の推定（実施の形態１で図１０のステップｓ９に示して説明した色素量の推定）と同様の処理で実現できる。
【０１０３】
続いて、スペクトル評価部１４７が、第１の推定色素量と第２の推定色素量との差分をもとに第２のスペクトルの推定精度を評価し（ステップｓ２４）、第２のスペクトルの推定精度の評価結果が終了条件を満足するか否かを判定する（ステップｓ２６）。例えば、第１の推定色素量と第２の推定色素量との差分を算出し、算出した第１の推定色素量と第２の推定色素量との差分の変動量を求め、この値が収束しているか否かを判定する。
【０１０４】
そして、スペクトル評価部１４７は、第１の推定色素量と第２の推定色素量との差分が収束している場合に終了条件を満たすと判定し（ステップｓ２６：Ｙｅｓ）、処理を終える。一方、第１の推定色素量と第２の推定色素量との差分が収束していない場合は終了条件を満たさないと判定する（ステップｓ２６：Ｎｏ）。この場合には、演算部１４０が、第１のスペクトルを第２のスペクトルで更新し（ステップｓ２７）、再推定処理手段として、ステップｓ１０からの処理を再度行わせる。ここでの処理によって、更新した第１のスペクトルから新たに適応教師データが生成され、生成された適応教師データをもとに再度第２のスペクトルが推定される。
【０１０５】
なお、本変形例では、第１の推定色素量と第２の推定色素量との差分の変動量を求めて第２のスペクトルを評価する場合を例示した。また、上記した実施の形態１では、第１のスペクトルと第２のスペクトルとの差分の変動量を求めて第２のスペクトルを評価する場合を例示したが、これに限定されるものではない。例えば、第１のスペクトルと第２のスペクトルとの差分を閾値処理して第２のスペクトルの推定精度を評価する構成としてもよいし、第１の推定色素量と第２の推定色素量との差分を閾値処理して第２のスペクトルの推定精度を評価する構成としてもよい。あるいは、第２のスペクトルをもとに２次的に算出されるその他の値を適宜評価に用いることができる。例えば、第１のスペクトルと第２のスペクトルとの２乗差を求めて閾値処理し、第２のスペクトルの推定精度を評価する構成としてもよい。
【０１０６】
（実施の形態２）
次に、実施の形態２について説明する。図１２は、実施の形態２の画像処理装置１０ｂの機能構成を示すブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図１２に示すように、画像処理装置１０ｂは、画像取得部１１０と、入力部１２０と、表示部１３０と、演算部１４０ｂと、記憶部１５０ｂと、装置各部を制御する制御部１６０とを備える。
【０１０７】
演算部１４０ｂは、推定オペレータ算出部１４１と、スペクトル推定部１４２と、適応教師データ生成部１４３ｂと、スペクトル評価部１４７とを含む。実施の形態２では、適応教師データ生成部１４３ｂは、色素量推定部１４４と、近傍色素量算出部１４５と、スペクトル合成部１４６ｂとを含み、スペクトル合成部１４６ｂは、差分スペクトル算出手段としての差分スペクトル算出部１４８ｂを含む。差分スペクトル算出部１４８ｂは、第１のスペクトルと、近傍色素量をもとに合成した合成スペクトルとの差分スペクトルを算出する。
【０１０８】
図１３は、実施の形態２の画像処理装置１ｂが行う処理手順を示すフローチャートである。なお、図１３では、実施の形態１と同様の処理工程には、同一の符号を付している。
【０１０９】
実施の形態２では、ステップｓ１１において近傍色素量算出部１４５が近傍色素量ｄ＾H*，ｄ＾E*，ｄ＾R*を算出した後、スペクトル合成部１４６ｂの差分スペクトル算出部１４８ｂが、近傍色素量ｄ＾H*，ｄ＾E*，ｄ＾R*から分光吸光度を算出し、標準教師データ１５４を用いてステップｓ７で算出した第１のスペクトルの推定吸光度との差分スペクトルを算出する（ステップｓ１３１）。
【０１１０】
すなわち先ず、差分スペクトル算出部１４８ｂは、近傍色素量ｄ＾H*，ｄ＾E*，ｄ＾R*をもとに、次式（３４）に従って分光吸光度ａ〜*（ｘ，λ）を求める。
【数３８】
【０１１１】
続いて、差分スペクトル算出部１４８ｂは、背景技術で推定誤差と称して説明したｅ（λ）の算出手順と同様に、次式（３５）に従って、第１のスペクトルの推定吸光度ａ＾と算出した分光吸光度ａ〜*（ｘ，λ）との差分スペクトルを算出する。以下、ｅ（λ）を「差分スペクトル」と称す。
【数３９】
【０１１２】
ここで、第１のスペクトルの推定吸光度ａ＾（ｘ，λ）は、背景技術で示した次式（１３）に従って算出される。
【数４０】
【０１１３】
そして、図１３に示すように、スペクトル合成部１４６ｂは、上記のようにして近傍色素量毎に算出した差分スペクトルを用いてスペクトルを合成し（ステップｓ１３３）、ステップｓ１５に移る。すなわち先ず、スペクトル合成部１４６ｂは、次式（３６）に従って、ステップｓ１３１で算出した差分スペクトルｅ（λ）を加えて分光吸光度ａ〜*（ｘ，λ）を再度算出する。
【数４１】
【０１１４】
その後は、上記した実施の形態１と同様に、スペクトル合成部１４６ｂは、背景技術で示した次式（２４）に従い、求めた分光吸光度ａ〜*（ｘ，λ）から位置ｘにおける新たな分光透過率ｔ*（ｘ，λ）を求める。
【数４２】
【０１１５】
そして、スペクトル合成部１４６ｂは、波長方向にＤ回繰り返して分光透過率ｔ*（ｘ，λ）を求め、合成スペクトルＴ*（ｘ）を得る。合成スペクトルＴ*（ｘ）は、ｔ*（ｘ，λ）に対応するＤ行１列の行列である。
【０１１６】
実施の形態２によれば、実施の形態１と同様の効果を奏する。また、第１のスペクトルと合成スペクトルとの差分スペクトルを算出し、この差分スペクトルを用いて適応教師データを生成することができる。
【０１１７】
なお、上記した実施の形態１では、第１のスペクトルをもとに色素量を推定してスペクトルを合成し、適応教師データを生成することとした。また、実施の形態２では、第１のスペクトルと合成スペクトルとの差分スペクトルを算出し、この差分スペクトルを合成スペクトルに加えて適応教師データを生成することとした。これに対し、第１のスペクトルの全バンドに対してランダムに発生させたノイズを加えてスペクトルデータとし、適応教師データを生成することとしてもよい。これによれば、色素量を推定する必要がなく、処理負荷を軽減できる。
【０１１８】
（実施の形態３）
顕微鏡を用いて標本を観察する場合、１度に観察可能な範囲（視野範囲）は、主に対物レンズの倍率によって決定される。ここで、対物レンズの倍率が高いほど高精細な画像が得られる反面、視野範囲が狭くなる。この種の問題を解決するため、従来から、標本を載置する電動ステージを動かす等して視野範囲を移動させながら倍率の高い対物レンズを用いて標本像を部分毎に撮像し、撮像した部分毎の画像を繋ぎ合わせることによって高精細でかつ広視野の標本画像を生成するといったことが行われており、バーチャル顕微鏡システムと呼ばれている。以下、バーチャル顕微鏡システムで生成される標本画像を、「ＶＳ画像」と称す。このバーチャル顕微鏡システムによれば、実際に標本が存在しない環境であっても観察が行える。
【０１１９】
実施の形態３は、本発明を上記したバーチャル顕微鏡システムに適用したものである。図１４は、実施の形態３のバーチャル顕微鏡システム２の概観例を示す概略斜視図である。図１４に示すように、バーチャル顕微鏡システム２は、顕微鏡装置２０とホストシステム４０とがデータの送受可能に接続されて構成されている。ホストシステム４０は、例えばキーボードやマウス等の入力部４１と、表示部４２とを備えている。
【０１２０】
図１５は、実施の形態３のバーチャル顕微鏡システム２の全体構成例を示す模式図である。また、図１６は、実施の形態３のホストシステム４０の機能構成を示すブロック図である。ここで、図１５に示す対物レンズ２７の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【０１２１】
顕微鏡装置２０は、対象標本Ｓが載置される電動ステージ２１と、側面視略コの字状を有し、電動ステージ２１を支持するとともにレボルバ２６を介して対物レンズ２７を保持する顕微鏡本体２４と、顕微鏡本体２４の底部後方（図１５の右方）に配設された光源２８と、顕微鏡本体２４の上部に載置された鏡筒２９とを備える。また、鏡筒２９には、対象標本Ｓの標本像を目視観察するための双眼部３１と、対象標本Ｓの標本像を撮像するためのＴＶカメラ３２が取り付けられている。なお、対象標本Ｓは、実施の形態１と同様に、Ｈ＆Ｅ染色された生体組織標本（染色標本）である。
【０１２２】
電動ステージ２１は、ＸＹＺ方向に移動自在に構成されている。すなわち、電動ステージ２１は、モータ２２１およびこのモータ２２１の駆動を制御するＸＹ駆動制御部２２３によってＸＹ平面内で移動自在である。ＸＹ駆動制御部２２３は、顕微鏡コントローラ３３の制御のもと、図示しないＸＹ位置の原点センサによって電動ステージ２１のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ２２１の駆動量を制御することによって、対象標本Ｓ上の観察箇所を移動させる。そして、ＸＹ駆動制御部２２３は、観察時の電動ステージ２１のＸ位置およびＹ位置を適宜顕微鏡コントローラ３３に出力する。また、電動ステージ２１は、モータ２３１およびこのモータ２３１の駆動を制御するＺ駆動制御部２３３によってＺ方向に移動自在である。Ｚ駆動制御部２３３は、顕微鏡コントローラ３３の制御のもと、図示しないＺ位置の原点センサによって電動ステージ２１のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ２３１の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に対象標本Ｓを焦準移動させる。そして、Ｚ駆動制御部２３３は、観察時の電動ステージ２１のＺ位置を適宜顕微鏡コントローラ３３に出力する。
【０１２３】
レボルバ２６は、顕微鏡本体２４に対して回転自在に保持され、対物レンズ２７を対象標本Ｓの上方に配置する。対物レンズ２７は、レボルバ２６に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ２６の回転に応じて観察光の光路上に挿入されて対象標本Ｓの観察に用いる対物レンズ２７が択一的に切り換えられるようになっている。
【０１２４】
顕微鏡本体２４は、底部において対象標本Ｓを透過照明するための照明光学系を内設している。この照明光学系は、光源２８から射出された照明光を集光するコレクタレンズ２５１、照明系フィルタユニット２５２、視野絞り２５３、開口絞り２５４、照明光の光路を対物レンズ２７の光軸に沿って偏向させる折曲げミラー２５５、コンデンサ光学素子ユニット２５６、トップレンズユニット２５７等が、照明光の光路に沿って適所に配置されて構成される。光源２８から射出された照明光は、照明光学系によって対象標本Ｓに照射され、観察光として対物レンズ２７に入射する。
【０１２５】
また、顕微鏡本体２４は、その上部においてフィルタユニット３０を内設している。フィルタユニット３０は、標本像として結像する光の波長帯域を所定範囲に制限するための２枚以上の光学フィルタ３０３を回転自在に保持し、この光学フィルタ３０３を、適宜対物レンズ２７後段において観察光の光路上に挿入する。このフィルタユニット３０は、図５に示して説明したフィルタ部１１９と同様に構成される。なお、ここでは、光学フィルタ３０３を対物レンズ２７の後段に配置する場合を例示したが、これに限定されずるものではなく、光源２８からＴＶカメラ３２に至る光路上のいずれかの位置に配置することとしてよい。対物レンズ２７を経た観察光は、このフィルタユニット３０を経由して鏡筒２９に入射する。
【０１２６】
鏡筒２９は、フィルタユニット３０を経た観察光の光路を切り換えて双眼部３１またはＴＶカメラ３２へと導くビームスプリッタ２９１を内設している。対象標本Ｓの標本像は、このビームスプリッタ２９１によって双眼部３１内に導入され、接眼レンズ３１１を介して検鏡者に目視観察される。あるいはＴＶカメラ３２によって撮像される。ＴＶカメラ３２は、標本像（詳細には対物レンズ２７の視野範囲の標本像）を結像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム４０に出力する。
【０１２７】
そして、顕微鏡装置２０は、顕微鏡コントローラ３３とＴＶカメラコントローラ３４とを備える。顕微鏡コントローラ３３は、ホストシステム４０の制御のもと、顕微鏡装置２０を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ３３は、レボルバ２６を回転させて観察光の光路上に配置する対物レンズ２７を切り換える処理や、切り換えた対物レンズ２７の倍率等に応じた光源２８の調光制御や各種光学素子の切り換え、あるいはＸＹ駆動制御部２２３やＺ駆動制御部２３３に対する電動ステージ２１の移動指示等、対象標本Ｓの観察に伴う顕微鏡装置２０の各部の調整を行うとともに、各部の状態を適宜ホストシステム４０に通知する。ＴＶカメラコントローラ３４は、ホストシステム４０の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＴＶカメラ３２を駆動し、ＴＶカメラ３２の撮像動作を制御する。
【０１２８】
一方、図１６に示すように、ホストシステム４０は、入力部４１と、表示部４２と、演算部４３と、記憶部５０と、装置各部を制御する制御部５４とを備える。なお、図１６では、ホストシステム４０の機能構成を示したが、実際のホストシステム４０は、ＣＰＵやビデオボード、メインメモリ（ＲＡＭ）等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。
【０１２９】
ここで、実施の形態３のバーチャル顕微鏡システム２は、実施の形態１の画像処理装置１の構成をもとに構成したものであり、演算部４３は、推定オペレータ算出部４５と、スペクトル推定部４６と、適応教師データ生成部４７と、スペクトル評価部４８と、画像合成部４９とを含むＶＳ画像生成部４４を備える。なお、実施の形態１の変形例や実施の形態２の構成を適用することも可能である。
【０１３０】
ＶＳ画像生成部４４は、顕微鏡装置２０が対象標本Ｓを部分的にマルチバンド撮像することによって得られる複数の対象標本画像をそれぞれ処理し、ＶＳ画像を生成する。ここで、ＶＳ画像とは、顕微鏡装置２０によってマルチバンド撮像した１枚以上の画像を繋ぎ合せて生成した画像のことである。実施の形態３でいうＶＳ画像とは、例えば高倍率の対物レンズを用いて対象標本Ｓを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、対象標本Ｓの全域を映した広視野で且つ高精細のマルチバンド画像のことをいう。
【０１３１】
推定オペレータ算出部４５は、実施の形態１の推定オペレータ算出部１４１と同様の要領で、標準教師データまたは適応教師データを用いて推定オペレータＷを算出する。スペクトル推定部４６は、実施の形態１のスペクトル推定部１４２と同様の要領で、対象標本画像を構成する各画素に対応する対象標本画像上の標本点におけるスペクトルとして、分光透過率を推定する。適応教師データ生成部４７は、色素量推定部４７１と、近傍色素量算出部４７２と、スペクトル合成部４７３とを含み、実施の形態１の適応教師データ生成部１４３ｂと同様の要領で適応教師データを生成する。すなわち、色素量推定部４７１は、各画素について推定した第１のスペクトルをもとに対応する各標本点の色素量（第１の推定色素量）を推定するとともに、第２のスペクトルをもとに対応する各標本点の色素量（第２の推定色素量）を推定する。近傍色素量算出部４７２は、推定色素量をもとに、各色素Ｈ、色素Ｅ，色素Ｒそれぞれの近傍色素量を算出する。スペクトル合成部４７３は、色素Ｈ、色素Ｅおよび色素Ｒの近傍色素量または第２の推定色素量をもとにスペクトルを合成する。スペクトル評価部４８は、適応教師データを用いて行ったスペクトル（第２のスペクトル）の推定精度を評価する。また、画像合成部４９は、第２の推定色素量をもとに各画素について合成したスペクトルを用いて画素値を算出し、対象標本画像（ＶＳ画像）の表示用のＲＧＢ画像（表示画像）を合成する。
【０１３２】
記憶部５０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部５０には、ホストシステム４０を動作させ、このホストシステム４０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。
【０１３３】
例えば、記憶部５０には、画像処理プログラム５１１を含むＶＳ画像生成プログラム５１と、ＶＳ画像データ（マルチバンド画像データ）５２と、スペクトル推定用データ５３とが格納される。ＶＳ画像生成プログラム５１は、対象標本のＶＳ画像を生成する処理を実現するためのプログラムであり、画像処理プログラム５１１は、対象標本画像から対象標本のスペクトルを推定する処理を実現するためのプログラムである。ＶＳ画像データは、例えば、顕微鏡装置２０によって部分毎に取得された対象標本画像の画像データを繋ぎ合せて生成した対象標本Ｓの全域の画像データである。スペクトル推定用データ５３は、標準教師データ５３１と、フィルタ分光透過率（Ｆ）５３２と、カメラ分光感度特性（Ｓ）５３３と、照明分光放射特性（Ｅ）５３４と、基準色素スペクトル（色素Ｈ，Ｅ，Ｒ）５３５とを含む。
【０１３４】
制御部５４は、ＣＰＵ等のハードウェアによって実現される。この制御部５４は、入力部４１から入力される入力信号や、顕微鏡コントローラ３３から入力される顕微鏡装置２０各部の状態、ＴＶカメラ３２から入力される画像データ、記憶部５０に記録されるプログラムやデータ等をもとにホストシステム４０を構成する各部への指示やデータの転送等を行い、あるいは顕微鏡コントローラ３３やＴＶカメラコントローラ３４に対する顕微鏡装置２０各部の動作指示を行い、バーチャル顕微鏡システム２全体の動作を統括的に制御する。また、制御部５４は、画像取得手段としてのマルチバンド画像取得制御部５５を含む。マルチバンド画像取得制御部５５は、顕微鏡装置２０各部の動作指示を行って対象標本Ｓを部分毎に撮像した対象標本画像を取得する。
【０１３５】
この実施の形態３によれば、実施の形態１と同様の効果を奏することができるバーチャル顕微鏡システムが実現できる。
【０１３６】
なお、上記の実施の形態では、染色標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定する場合について説明したが、分光反射率や吸光度等のスペクトル特徴値を推定する場合にも同様に適用できる。
【０１３７】
また、上記した実施の形態では、Ｈ＆Ｅ染色された染色標本をスペクトルの推定対象として説明したが、他の染色色素で染色された染色標本を扱う場合にも同様に適用できる。
【図面の簡単な説明】
【０１３８】
【図１】染色標本のスペクトル推定原理を説明する図である。
【図２】染色標本のスペクトル推定原理を説明する他の図である。
【図３】染色標本のスペクトル推定原理を説明する他の図である。
【図４】実施の形態１の画像処理装置の機能構成を示すブロック図である。
【図５】画像取得部の構成を示す模式図である。
【図６】画像取得部を構成するＲＧＢカメラのカラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。
【図７】画像取得部を構成する一方の光学フィルタの分光透過率特性を示す図である。
【図８】画像取得部を構成する他方の光学フィルタの分光透過率特性を示す図である。
【図９】Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。
【図１０】実施の形態１の画像処理装置が行う処理手順を示すフローチャートである。
【図１１】変形例の画像処理装置が行う処理手順を示すフローチャートである。
【図１２】実施の形態２の画像処理装置の機能構成を示すブロック図である。
【図１３】実施の形態２の画像処理装置が行う処理手順を示すフローチャートである。
【図１４】実施の形態３のバーチャル顕微鏡システムの概観例を示す概略斜視図である。
【図１５】実施の形態３のバーチャル顕微鏡システムの全体構成例を示す模式図である。
【図１６】実施の形態３のホストシステムの機能構成を示すブロック図である。
【符号の説明】
【０１３９】
１０，１０ｂ 画像処理装置
１１０ 画像取得部
１２０ 入力部
１３０ 表示部
１４０，１４０ｂ 演算部
１４１ 推定オペレータ算出部
１４２ スペクトル推定部
１４３，１４３ｂ 適応教師データ生成部
１４４ 色素量推定部
１４５ 近傍色素量推定部
１４６，１４６ｂ スペクトル合成部
１４７ スペクトル評価部
１４８ｂ 差分スペクトル算出部
１５０，１５０ｂ 記憶部
１５１，１５１ｂ 画像処理プログラム
１５２ マルチバンド画像データ
１５３ スペクトル推定用データ
１５４ 標準教師データ
１５５ フィルタ分光透過率（Ｆ）
１５６ カメラ分光感度特性（Ｓ）
１５７ 照明分光放射特性（Ｅ）
１５８ 基準色素スペクトル（色素Ｈ，Ｅ，Ｒ）
１６０ 制御部
１６１ マルチバンド画像取得制御部
２ バーチャル顕微鏡システム
２０ 顕微鏡装置
４０ ホストシステム
【特許請求の範囲】
【請求項１】
染色標本を撮像した染色標本画像から前記染色標本のスペクトルを推定する画像処理装置であって、
前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用いて前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定手段と、
前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成手段と、
前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記教師データ生成手段は、前記第１のスペクトルをもとに前記標本点における色素量を推定する色素量推定手段を有し、前記色素量推定手段によって推定された色素量から前記適応教師データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記教師データ生成手段は、前記色素量推定手段によって推定された色素量をもとにスペクトルを合成するスペクトル合成手段を有し、前記スペクトル合成手段によって合成されたスペクトルを前記適応教師データとすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記教師データ生成手段は、前記色素量推定手段によって推定された色素量をもとに１つ以上の近傍色素量を算出する近傍色素量算出手段を有し、
前記スペクトル合成手段は、前記近傍色素量毎にスペクトルを合成して前記適応教師データとすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記教師データ生成手段は、前記第１のスペクトルと前記合成スペクトルとの差分スペクトルを算出する差分スペクトル算出手段を有し、前記合成スペクトルに前記差分スペクトルを加算して前記適応教師データとすることを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記第２のスペクトルを前記第１のスペクトルに置き換え、前記教師データ生成手段による前記適応教師データの生成および前記第２のスペクトル推定手段による前記第２のスペクトルの推定を再度行わせる再推定処理手段を備えることを特徴とする請求項１〜５のいずれか１つに記載の画像処理装置。
【請求項７】
前記第２のスペクトルの推定精度を評価するスペクトル評価手段を備え、
前記再推定処理手段は、前記スペクトル評価手段による評価結果をもとに、前記適応教師データの生成および前記第２のスペクトルの推定を再度行わせるか否かを判定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記スペクトル評価手段は、前記第１のスペクトルと前記第２のスペクトルとの差分をもとに前記第２のスペクトルの推定精度を評価することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記スペクトル評価手段は、前記第１のスペクトルと前記第２のスペクトルとの差分の変動量をもとに前記第２のスペクトルの推定精度を評価することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記スペクトル評価手段は、前記色素量推定手段によって推定された色素量をもとに前記第２のスペクトルの推定精度を評価することを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記第２のスペクトル推定手段は、前記適応教師データを用いて自己相関行列を算出し、該算出した自己相関行列をもとに推定オペレータを算出する推定オペレータ算出手段を有し、前記推定オペレータ算出手段によって算出された推定オペレータを用いて前記第２のスペクトルを推定することを特徴とする請求項１〜１０のいずれか１つに記載の画像処理装置。
【請求項１２】
コンピュータに、染色標本を撮像した染色標本画像から前記染色標本のスペクトルを推定させるための画像処理プログラムであって、
前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用い、前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定ステップと、
前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成ステップと、
前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定ステップと、
を前記コンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１３】
染色標本を撮像した染色標本画像から前記染色標本のスペクトルを推定する画像処理方法であって、
前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用い、前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定工程と、
前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成工程と、
前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定工程と、
を含むことを特徴とする画像処理装置。
【請求項１４】
顕微鏡を用い、染色標本を撮像して染色標本画像を取得する画像取得手段と、
前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用いて前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定手段と、
前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成手段と、
前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定手段と、
を備えることを特徴とするバーチャル顕微鏡システム。
【請求項１】
染色標本を撮像した染色標本画像から前記染色標本のスペクトルを推定する画像処理装置であって、
前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用いて前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定手段と、
前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成手段と、
前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記教師データ生成手段は、前記第１のスペクトルをもとに前記標本点における色素量を推定する色素量推定手段を有し、前記色素量推定手段によって推定された色素量から前記適応教師データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記教師データ生成手段は、前記色素量推定手段によって推定された色素量をもとにスペクトルを合成するスペクトル合成手段を有し、前記スペクトル合成手段によって合成されたスペクトルを前記適応教師データとすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記教師データ生成手段は、前記色素量推定手段によって推定された色素量をもとに１つ以上の近傍色素量を算出する近傍色素量算出手段を有し、
前記スペクトル合成手段は、前記近傍色素量毎にスペクトルを合成して前記適応教師データとすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記教師データ生成手段は、前記第１のスペクトルと前記合成スペクトルとの差分スペクトルを算出する差分スペクトル算出手段を有し、前記合成スペクトルに前記差分スペクトルを加算して前記適応教師データとすることを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記第２のスペクトルを前記第１のスペクトルに置き換え、前記教師データ生成手段による前記適応教師データの生成および前記第２のスペクトル推定手段による前記第２のスペクトルの推定を再度行わせる再推定処理手段を備えることを特徴とする請求項１〜５のいずれか１つに記載の画像処理装置。
【請求項７】
前記第２のスペクトルの推定精度を評価するスペクトル評価手段を備え、
前記再推定処理手段は、前記スペクトル評価手段による評価結果をもとに、前記適応教師データの生成および前記第２のスペクトルの推定を再度行わせるか否かを判定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記スペクトル評価手段は、前記第１のスペクトルと前記第２のスペクトルとの差分をもとに前記第２のスペクトルの推定精度を評価することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記スペクトル評価手段は、前記第１のスペクトルと前記第２のスペクトルとの差分の変動量をもとに前記第２のスペクトルの推定精度を評価することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記スペクトル評価手段は、前記色素量推定手段によって推定された色素量をもとに前記第２のスペクトルの推定精度を評価することを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記第２のスペクトル推定手段は、前記適応教師データを用いて自己相関行列を算出し、該算出した自己相関行列をもとに推定オペレータを算出する推定オペレータ算出手段を有し、前記推定オペレータ算出手段によって算出された推定オペレータを用いて前記第２のスペクトルを推定することを特徴とする請求項１〜１０のいずれか１つに記載の画像処理装置。
【請求項１２】
コンピュータに、染色標本を撮像した染色標本画像から前記染色標本のスペクトルを推定させるための画像処理プログラムであって、
前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用い、前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定ステップと、
前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成ステップと、
前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定ステップと、
を前記コンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１３】
染色標本を撮像した染色標本画像から前記染色標本のスペクトルを推定する画像処理方法であって、
前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用い、前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定工程と、
前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成工程と、
前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定工程と、
を含むことを特徴とする画像処理装置。
【請求項１４】
顕微鏡を用い、染色標本を撮像して染色標本画像を取得する画像取得手段と、
前記染色標本画像を構成する推定対象画素の画素値をもとに、予め設定される標準教師データを用いて前記推定対象画素に対応する前記染色標本上の標本点におけるスペクトルを第１のスペクトルとして推定する第１のスペクトル推定手段と、
前記第１のスペクトルをもとに、前記推定対象画素に適応する適応教師データを生成する教師データ生成手段と、
前記推定対象画素の画素値をもとに、前記適応教師データを用いて前記標本点におけるスペクトルを第２のスペクトルとして推定する第２のスペクトル推定手段と、
を備えることを特徴とするバーチャル顕微鏡システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−１５６６１２（Ｐ２０１０−１５６６１２Ａ）
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願番号】特願２００８−３３５１２２（Ｐ２００８−３３５１２２）
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願日】平成２０年１２月２６日（２００８．１２．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]