画像処理装置および画像処理プログラム
【課題】染色標本画像の色素量分布を標準標本画像の色素量分布に近似させ、染色標本画像の各画像位置における色素量を適切に補正すること。
【解決手段】標準標本クラス情報１４１は、標準標本画像の各画像位置の色素量分布に基づいて、各画像位置を標準標本クラスに分類した分類に係るデータを記憶する。クラス分類部１５３は、対象染色標本画像における各画像位置の色素量分布を算出し、この色素量分布に基づいて各画像位置を染色標本クラスにクラス分類する。分布形状特徴算出部１５４は、各染色標本クラスの部分色素量分布の重心位置および分散共分散行列を算出する。クラス特定部１５５は、各染色標本クラスに対応する標準標本クラスを特定する。色素量補正部１５６は、各染色標本クラスの部分色素量分布の分布形状を、対応する標準標本クラスの部分色素量分布の分布形状特徴に基づいて分布形状変換し、各画像位置の推定色素量を補正する。
【解決手段】標準標本クラス情報１４１は、標準標本画像の各画像位置の色素量分布に基づいて、各画像位置を標準標本クラスに分類した分類に係るデータを記憶する。クラス分類部１５３は、対象染色標本画像における各画像位置の色素量分布を算出し、この色素量分布に基づいて各画像位置を染色標本クラスにクラス分類する。分布形状特徴算出部１５４は、各染色標本クラスの部分色素量分布の重心位置および分散共分散行列を算出する。クラス特定部１５５は、各染色標本クラスに対応する標準標本クラスを特定する。色素量補正部１５６は、各染色標本クラスの部分色素量分布の分布形状を、対応する標準標本クラスの部分色素量分布の分布形状特徴に基づいて分布形状変換し、各画像位置の推定色素量を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の色素によって染色された染色標本を撮像した染色標本画像を処理する画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
生体組織標本、特に病理標本では、臓器摘出によって得たブロック標本や針生検によって得た標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された生体標本は光を殆ど吸収及び散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００３】
染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。
【０００４】
ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００５】
エオジンは好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００６】
Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、染色標本の状態を形態学的に判断することが可能となる。
【０００７】
標本の染色は、元々個体差を有する生体組織に対し、化学反応を用いて色素を固定する作業であるため、常に均一な結果を得ることが難しい。具体的には、同一濃度の染色液に同一時間標本を反応させた場合でも、固定される色素の量が同程度であるとは限らない。標本によっては比較的多くの色素が固定される場合や、比較的少ない色素しか固定されない場合がある。前者の場合には通常より濃く染色された標本となり、後者の場合には薄く染色された標本となる。このような染色のばらつきを抑えるため、専門の技能を有する染色技師を配置した施設もある。このような施設においては、染色技師の職人的な調整作業によって同一施設内での染色ばらつきをある程度軽減できるが、他の施設との間の染色ばらつきまで軽減することはできない。
【０００８】
この染色ばらつきには、２つの問題がある。第１に、人間が目視観察する場合、観察対象の状態が不揃いであることが観察者のストレスに繋がる可能性がある。重度のばらつきが生じている場合には、決定的な所見を見落とす可能性も否定できない。第２に、染色標本をカメラで撮像して画像処理する場合、染色ばらつきが処理精度に悪影響を及ぼす可能性がある。例えば、ある病変が特定の色を呈することが判っていたとしても、画像から自動的にそれを抽出することが難しくなる。病変による色変化を染色ばらつきが撹乱してしまうからである。
【０００９】
このような染色ばらつきの問題点を解決するために、画像処理によって染色状態を定量化・標準化しようとする試みがなされている。例えば、非特許文献１には、物理モデルに基づいて染色標本に固定された色素の相対的な量を推定する手法や、推定した色素の量を仮想的に増減させ、増減後の色素量を用いて仮想的な標本のＲＧＢ画像を合成する手法が開示されている。図１２は、合成されたＲＧＢ画像の一例を示す図である。色素量の増減を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。
【００１０】
ここで、染色標本のマルチバンド画像からＲＧＢ画像を合成する方法について説明する。先ず、観察対象の標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚の光学フィルタ（バンドパスフィルタ）をフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１１】
撮像されたマルチバンド画像の位置ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【数１】
λは波長、ｆ（ｂ，λ）はｂ番目の光学フィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける撮像ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。
【００１２】
実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
ここで、波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、位置ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
【００１３】
次に、撮像したマルチバンド画像から標本各点における分光透過率を推定する。推定手法としては、例えばウィナー（Wiener）推定を用いる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られている。このウィナー推定を用いた場合、分光透過率の推定値Ｔ＾（ｘ）は、次式（３）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表すハット「＾」が付いていることを示す。
【数２】
ＲSSは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、ＲNNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。
【００１４】
このようにして分光透過率Ｔ＾（ｘ）を推定したならば、次に、このＴ＾（ｘ）に基づいて標本の各点ｘにおける色素量を推定する。推定の対象とする色素は、第１の色素量に相当する細胞核を染色したヘマトキシリン、第２の色素量に相当する細胞質を染色したエオジン、第３の色素量に相当する赤血球を染色したエオジンの３種類である。ここで、ヘマトキシリンを色素Ｈ、細胞質を染色したエオジンを色素Ｅ、赤血球を染色したエオジンを色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても赤血球はそれ自身特有の色を有しており、Ｈ＆Ｅ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。
【００１５】
一般に、光を透過する物質では、波長λ毎の入射光の強度I0（λ）と射出光の強度I(λ)との間に、次式（４）で表されるLambert-Beer則が成り立つことが知られている。
【数３】
ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。また、式（４）の左辺は分光透過率を意味している。
【００１６】
ここで、Ｈ＆Ｅ染色された対象染色標本が、色素Ｈ、色素Ｅ、色素Ｒの３種類の色素で染色されている場合、Lambert-Beer則により各波長λにおいて次式（５）が成立する。
【数４】
ここでｋH（λ），ｋE（λ），ｋR（λ）は、それぞれ色素Ｈ、色素Ｅ、色素Ｒに対応したｋ（λ）を表す。またｄH，ｄE，ｄRは、マルチバンド画像の各画像位置における色素Ｈ、色素Ｅ、色素Ｒの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄH，ｄE，ｄRはそれぞれ色素Ｈ、色素Ｅ、色素Ｒの色素量を表しているといえる。なお、ｋH（λ），ｋE（λ），ｋR（λ）は、単一の色素で染色した標本を予め用意し、その分光透過率を分光計で測定することによって、Lambert-Beer則から容易に求めることができる。
【００１７】
式（５）の両辺の対数を取ると、次式（６）となる。
【数５】
【００１８】
式（３）を用いて推定された分光透過率データＴ＾（ｘ）の波長λに対応する要素をｔ＾（ｘ，λ）とし、これを式（６）に代入すると、次式（７）を得る。
【数６】
ここで、式（７）において未知変数はｄH，ｄE，ｄRの３つであるから、少なくとも３つの異なる波長λに対して式（７）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（７）を連立させ、重回帰分析を行ってもよい。
【００１９】
マルチバンド画像の各位置における色素量ｄH，ｄE，ｄRが一度求まれば、これらを修正することで、標本における色素量の変化をシミュレートすることができる。すなわち、適当な係数αH，αE，αRを各色素量ｄH，ｄE，ｄRにそれぞれ乗じて調整し、式（５）に代入すれば、次式（８）によって新たな分光透過率ｔ*（ｘ，λ）が得られる。係数αH，αE，αRは、例えば、標準的に染色された標準染色標本を用意し、この標準染色標本を撮像した標準標本画像の各画像位置における色素量を推定した結果から決定することができる。具体的には、観察対象の標本の色素Ｈ，色素Ｅ，色素Ｒそれぞれの平均色素量を算出する。そして、算出した色素Ｈ，色素Ｅ，色素Ｒそれぞれの平均色素量の、標準標本画像の該当色素の平均色素量に対する比率を係数αH，αE，αRとして決定する。
【数７】
【００２０】
そして、式（８）を式（１）に代入すれば、色素量を仮想的に変化させた標本の画像を合成することができる。ただしこの場合は、ノイズｎ（ｂ）をゼロとして計算してよい。
【００２１】
以上の手順により、標本の各点ｘにおける色素量を推定することにより、各点における色素量を仮想的に調整し、調整後の標本の画像を合成することで染色標本の色素量を補正することができる。したがって、例えば、染色標本に染色ばらつきがあっても、ユーザは、適正な染色状態に調整された画像を観察することができ、染色ばらつきの問題が解決できる。
【００２２】
【特許文献１】特開平７−１２０３２４号公報
【非特許文献１】“Color Correction of Pathological Images Based on Dye Amount Quantification”，OPTICAL REVIEW，Vol.12，Ｎｏ.4，2005，p.293-300
【発明の開示】
【発明が解決しようとする課題】
【００２３】
染色ばらつきの問題を解決するためには、観察対象の標本を撮像したマルチバンド画像の色素量の調整を適切に行い、標準的な染色状態にある標本の色素量に近づけることが望ましい。特許文献１の技術では、マルチバンド画像の各画像位置において推定された色素量を定数倍することによって、色素量を仮想的に調整している。しかしながら、マルチバンド画像の各画像位置を推定された色素量に基づいて変換した色素量の分布空間において、その分布形状が、標準染色標本を撮像した標準標本画像における色素量の分布空間での分布形状と比較して異なる場合や、マルチバンド画像の色素量分布において推定誤差等によって分布から大きく外れた値が存在する場合は、その違いが定数倍によって強調されてしまうという問題が生じる。このため、例えば、調整後の色素量を用いて標本のマルチバンド画像から表示用の画像を合成した場合に、不自然な発色となって現れてしまうという問題もある。
【００２４】
本発明は、上記した従来の問題点に鑑みて為されたものであり、染色標本を撮像した染色標本画像の色素量分布を標準標本画像の色素量分布に精度よく近似させることができる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２５】
上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置は、複数種類の色素によって染色された染色標本を撮像した染色標本画像を処理する画像処理装置において、前記複数種類の色素によって標準的に染色された標準染色標本を撮像した標準標本画像の各画像位置を、該各画像位置における色素量の色素量分布に基づいて分類した標準標本クラスの色素量分布を記憶する標準データ記憶手段と、前記染色標本画像の各画像位置における色素量を推定する色素量推定手段と、前記色素量推定手段によって推定された各画像位置における色素量に基づいて、前記染色標本画像での前記各画像位置の色素量分布を算出し、算出した色素量分布に基づいて、前記染色標本画像での前記各画像位置を染色標本クラスに分類するクラス分類手段と、前記クラス分類手段によって分類された前記染色標本クラスの色素量分布の分布形状特徴と、前記標準標本クラスの色素量分布の分布形状特徴とを比較し、該比較結果をもとに前記染色標本クラスに属する各画像位置における色素量を補正する色素量補正手段と、を備えることを特徴とする。
【００２６】
また、本発明に係る画像処理プログラムは、複数種類の色素によって染色された染色標本を撮像した染色標本画像を処理するコンピュータに、前記複数種類の色素によって標準的に染色された標準染色標本を撮像した標準標本画像の各画像位置を、該各画像位置における色素量の色素量分布に基づいて分類した標準標本クラスの色素量分布を記憶する標準データ記憶ステップ、前記染色標本画像の各画像位置における色素量を推定する色素量推定ステップ、前記色素量推定ステップによって推定された各画像位置における色素量に基づいて、前記染色標本画像での前記各画像位置の色素量分布を算出し、算出した色素量分布に基づいて、前記染色標本画像での前記各画像位置を染色標本クラスに分類するクラス分類ステップ、前記クラス分類ステップによって分類された前記染色標本クラスの色素量分布の分布形状特徴と、前記標準標本クラスの色素量分布の分布形状特徴とを比較し、該比較結果をもとに前記染色標本クラスに属する各画像位置における色素量を補正する色素量補正ステップ、を実行させることを特徴とする。
【発明の効果】
【００２７】
本発明によれば、染色標本を撮像した染色標本画像の色素量分布を、標準標本画像の色素量分布に近似させることができる。したがって、染色標本画像の各画像位置における色素量を、標準染色標本の標準的な染色状態に合わせて適切に補正することができ、不自然な発色を抑えることができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、細胞核、細胞質、赤血球および背景の４つの主要要素を含むＨ＆Ｅ染色された病理標本を撮像対象とし、撮像したマルチバンド画像から、表示用のＲＧＢ画像を合成する場合について説明する。なお、主要要素の数および種類は一例であって、適宜設定できる。例えば、細胞核や細胞質、赤血球の他、例えばヘマトキシリンによって染色される骨組織や、エオジンによって染色される結合組織等を分類対象としてもよい。
【００２９】
先ず、本実施の形態に係る画像処理装置の構成について説明する。図１は、画像処理装置の機能構成を示すブロック図である。本実施の形態では、画像処理装置１０は、画像取得部１１０と、操作部１２０と、表示部１３０と、記憶部１４０と、画像処理部１５０と、装置各部を制御する制御部１６０とを備える。
【００３０】
画像取得部１１０は、Ｈ＆Ｅ染色された観察対象の病理標本（以下、「対象染色標本」と称す。）を撮像して６バンドのマルチバンド画像を取得する。図２は、画像取得部１１０の構成を示す図である。図２に示すように、画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象染色標本Ｓが載置される標本保持部１１３、標本保持部１１３上の対象染色標本Ｓを透過照明する照明部１１５、対象染色標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。
【００３１】
ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図３は、カラーフィルタの配列例を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。
【００３２】
フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図４−１は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図４−２は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像及び第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、２枚以上の光学フィルタを用いることができる。取得されたマルチバンド画像は制御部１６０に出力され、対象染色標本画像として記憶部１４０に保持される。
【００３３】
この画像取得部１１０において、照明部１１５から照射された照明光は、標本保持部１１３上に載置された対象染色標本Ｓを透過する。そして、対象染色標本Ｓを透過した透過光は、光学系１１７及び光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図５に示す。
【００３４】
操作部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部１６０に出力する。
【００３５】
表示部１３０は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号に基づいて各種画面を表示する。
【００３６】
記憶部１４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体及びその読取装置等によって実現されるものであり、画像処理装置１０の動作に係るプログラムや、画像処理装置１０の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。また、標準標本クラス情報１４１が格納される。この標準標本クラス情報１４１は、後述する標準標本画像の各画像位置における推定色素量の色素量分布に基づいて、各画像位置を主要要素数で分類した標準標本クラスに係るデータを記憶する。また、対象染色標本の色素量分布を標準標本画像の色素量分布に近似させ、対象染色標本の各画像位置の推定色素量を補正するための画像処理プログラム１４３が格納される。
【００３７】
画像処理部１５０は、ＣＰＵ等のハードウェアによって実現される。この画像処理部１５０は、スペクトル推定部１５１と、色素量推定部１５２と、クラス分類部１５３と、分布形状特徴算出部１５４と、クラス特定部１５５と、色素量補正部１５６と、スペクトル算出部１５７と、ＲＧＢ画像合成部１５８とを含む。スペクトル推定部１５１は、対象染色標本画像の画素値に基づいて、対象染色標本画像の各画像位置の分光特性を推定する。色素量推定部１５２は、対象染色標本の染色に用いたヘマトキシリンおよびエオジンの各色素の基準分光特性をもとに、対象染色標本画像の各画像位置における細胞核を染色したヘマトキシリン（色素Ｈ）の色素量、細胞質を染色したエオジン（色素Ｅ）の色素量、および赤血球を染色したエオジン（色素Ｒ）の色素量を推定する。クラス分類部１５３は、推定された各推定色素量に基づいて、対象染色標本画像の各画像位置の色素量分布を算出し、算出した色素量分布に基づいて、各画像位置を染色標本クラスにクラス分類する。分布形状特徴算出部１５４は、各染色標本クラスの部分色素量分布の分布形状特徴として、重心位置および分散共分散行列の各値を算出する。クラス特定部１５５は、標準標本クラス情報１４１に記憶された各標準標本クラスの部分色素量分布に基づいて、各染色標本クラスに対応する標準標本クラスを特定し、各染色標本クラスと各標準標本クラスとの対応関係を設定する。色素量補正部１５６は、各染色標本クラスの部分色素量分布を、対応する標準標本クラスの部分色素量分布の分布形状特徴に基づいて分布形状変換し、各画像位置における推定色素量を補正する。スペクトル算出部１５７は、補正後の各画像位置における補正色素量を用いて分光透過率特性を算出する。ＲＧＢ画像合成部１５８は、スペクトル算出部１５７によって算出された分光透過率特性を用いて表示用のＲＧＢ画像を合成する。
【００３８】
制御部１６０は、ＣＰＵ等のハードウェアによって実現される。この制御部１６０は、操作部１２０から入力される操作信号や画像取得部１１０から入力される画像データ、記憶部１４０に格納されるプログラムやデータ等に基づいて画像処理装置１０を構成する各部への指示やデータの転送等を行い、画像処理装置１０全体の動作を統括的に制御する。また、この制御部１６０は、画像取得部１１０の動作を制御して対象染色標本画像を取得する標本画像取得制御部１６１と、ＲＧＢ画像合成部１５８によって合成されたＲＧＢ画像を表示部１３０に表示する制御を行うＲＧＢ画像表示制御部１６３とを含む。
【００３９】
図６は、画像処理装置１０における処理の手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１４０に格納された画像処理プログラム１４３に従って画像処理装置１０の各部が動作することによって実現される。
【００４０】
画像処理装置１０では、先ず、標本画像取得制御部１６１が、画像取得部１１０の動作を制御して対象染色標本をマルチバンド撮像し、対象染色標本画像を取得する（ステップＳ１１）。
【００４１】
続いて、スペクトル推定部１５１が、ステップＳ１１で取得した対象染色標本画像の画素値に基づいて、対象染色標本のスペクトル（分光透過率）を推定する（ステップＳ１３）。具体的には、スペクトル推定部１５１は、ウィナー推定を用い、背景技術で示した次式（３）に従って、対象染色標本画像の点ｘにおける画素値の行列表現Ｇ（ｘ）から、この画像位置における分光透過率の推定値Ｔ＾（ｘ）を推定する。
【数８】
【００４２】
光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓおよび照明の分光放射特性Ｅは、使用する機器を選定の後、分光計等を用いて予め測定しておく。なお、ここでは、光学系１１７の分光透過率は１.０と近似しているが、この近似値１.０からの乖離が許容できない場合には、光学系１１７の分光透過率も予め測定し、照明の分光放射特性Ｅに乗じればよい。また、標本の分光透過率の自己相関行列ＲSSおよびＲＧＢカメラ１１１の撮像ノイズの自己相関行列ＲNNについても、事前に測定しておく。ＲSSは、Ｈ＆Ｅ染色された典型的な標本を用意し、分光計によって複数の点の分光透過率を測定して自己相関行列を求めることによって得られる。統計的な精度を高めるために、標本内での偏り無く１００点程度の測定を行った方がよい。一方、ＲNNは、標本無しの状態で画像取得部１１０によってマルチバンド画像を取得し、得られた６バンドのマルチバンド画像の各バンドについて画素値の分散を求め、これを対角成分とする行列を生成することによって得られる。得られた分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）は、記憶部１４０に格納される。
【００４３】
続いて、色素量推定部１５２が、ステップＳ１３で推定した分光透過率データに基づいて、対象染色標本の色素量を推定する（ステップＳ１５）。具体的には、色素量推定部１５２は、対象染色標本画像の各画像位置における分光透過率データに基づいて、各画素に対応する対象染色標本の標本各点に固定された色素Ｈ，色素Ｅ，色素Ｒそれぞれの色素量を推定して推定色素量を求める。すなわち、背景技術で示した次式（７）を複数の波長λに関して連立させ、ｄH，ｄE，ｄRについて解く。
【数９】
【００４４】
例として、３つの波長λ1，λ2，λ3について式（７）を連立させた場合を考えると、次式（９）のように行列表記できる。
【数１０】
【００４５】
したがって、ｄH，ｄE，ｄRは、次式（１０）に従って推定できる。
【数１１】
このようにして推定された各画像位置における色素Ｈ、色素Ｅ、色素Ｒの各推定色素量ｄH，ｄE，ｄRは、記憶部１４０に格納される。
【００４６】
続いて、クラス分類部１５３が、対象染色標本画像の各画像位置を染色標本クラスにクラス分類する。すなわち先ず、クラス分類部１５３は、ステップＳ１５で推定した各画像位置における色素Ｈの推定色素量ｄHおよび色素Ｅの推定色素量ｄEに基づいて、各画像位置の色素量分布（以下、「ＨＥ色素量分布」と称す。）を算出する（ステップＳ１７）。図７は、対象染色標本画像の各画像位置のＨＥ色素量分布図の一例を示す図である。図７に示すように、ＨＥ色素量分布は、横軸を色素Ｈの推定色素量ｄH、縦軸を色素Ｅの推定色素量ｄEとし、各画像位置を、その色素Ｈの推定色素量ｄHおよび色素Ｅの推定色素量ｄEに基づいてプロットして得られる。以下、この各画像位置に対応するプロットデータそれぞれを、「ＨＥ分布データ」と称す。そして、クラス分類部１５３は、算出したＨＥ色素量分布に基づいて、各画像位置（実際には、各ＨＥ分布データ）を所定数ｋの染色標本クラスｃi（ｉ＝１，２，・・・，ｋ）にクラス分類する（ステップＳ１８）。分類する染色標本クラスの数ｋは、例えば、対象染色標本画像に含まれる主要要素の数とする。本実施の形態では、対象染色標本画像に含まれる主要要素の数は、細胞核、細胞質、赤血球および背景領域の４種類であり、各各ＨＥ分布データを４つの染色標本クラスに分類する。すなわちｋ＝４とし、例えばk-means法を用いて分類する。k-means法は、分類するクラス数を予め設定し、所定の判定基準に基づいて分類結果を修正しながら分類処理を繰り返し行うことにより、よりよい分類を探索する手法として広く知られている。なお、分類する染色標本クラスの数ｋは、ユーザ操作に従って設定することとしても構わない。
【００４７】
ここで、分類処理の手順について説明する。先ず、ＨＥ色素量分布からｋ個のＨＥ分布データを代表点として選出し、選出したｋ個の代表点を各染色標本クラスｃi（ｉ＝１，２，３，４）の重心位置とする。この重心位置のベクトルは、次式（１１）で表される。
【数１２】
【００４８】
なお、重心位置の初期値となるｋ個の代表点は、例えば、ランダムに選出することとしてもよいし、ユーザ操作に従って選出することとしてもよい。ユーザ操作に従って選出する場合には、制御部１６０が、例えば、図７に例示したＨＥ色素量分布図を表示部１３０に表示する制御を行うとともに、ｋ個の代表点の選出依頼の通知を表示する制御を行う。そして、これに応答して操作部１２０から入力された操作信号に従ってｋ個の代表点を選出する。これによれば、ユーザは、ＨＥ色素量分布の分布状態に応じて代表点を直接指定することができる。また、各染色標本クラスｃiを代表するような平均ベクトルを予め算出しておき、これを重心位置の初期値としてもよい。例えば、適切に染色された各主要要素を含む標本のマルチバンド画像をもとに算出したＨＥ色素量分布から、各主要要素の標準的なベクトルを求める。そして、求めた各値を、各染色標本クラスｃiの重心位置の初期値として用いることとしてもよい。
【００４９】
各染色標本クラスｃiの重心位置を決定したならば、各ＨＥ分布データを、最も近い距離にある重心位置の染色標本クラスｃiに帰属するものとして分類する。次いで、分類結果に基づいて、各染色標本クラスｃiの重心位置を再計算して更新する。そして、得られた新たな重心位置に従って各ＨＥ分布データを分類する処理を繰り返し行い、全ての染色標本クラスｃiの重心位置が変化しなくなった時点で処理を終了する。これにより、ＨＥ色素量分布における各ＨＥ分布データが、いずれかの染色標本クラスｃiにクラス分類される。図８は、図７に示したＨＥ色素量分布における各ＨＥ分布データを染色標本クラスｃiにクラス分類した結果を示す図である。図８では、ＨＥ色素量分布における各ＨＥ分布データは、破線で囲まれた各領域それぞれに対応する４つの染色標本クラスｃ1〜ｃ4にクラス分類されている。後述のステップＳ１９では、染色標本クラスｃi毎に、その染色標本クラスｃiに分類された各ＨＥ分布データのＨＥ色素量分布（以下、「部分ＨＥ色素量分布」と称す。）の分布形状特徴を算出する。このクラス分類結果は、記憶部１４０に格納される。
【００５０】
なお、クラス分類の仕方はこれに限定されるものではなく、例えばユーザ操作に従って各ＨＥ分布データを染色標本クラスｃiにクラス分類することもできる。例えば、制御部１６０が、図７に例示したＨＥ色素量分布図を表示部１３０に表示する制御を行うとともに、ＨＥ色素量分布中の境界線の指定依頼の通知を表示する制御を行う。この場合には、クラス分類部１５３は、境界線の指定依頼の通知に応答して操作部１２０から入力された操作信号に従って、ＨＥ色素量分布をｋ個の領域に分割し、各ＨＥ分布データを染色標本クラスｃiにクラス分類する。これによれば、ユーザは、ＨＥ色素量分布を、その分布状態に応じて領域分割することによって、各ＨＥ分布データのクラス分類を直接指定することができる。
【００５１】
続いて、分布形状特徴算出部１５４が、ステップＳ１７でクラス分類した各染色標本クラスｃiの部分ＨＥ色素量分布の分布形状特徴を算出する（ステップＳ１９）。例えば、分布形状特徴として、染色標本クラスｃi毎に、その染色標本クラスｃiの部分ＨＥ色素量分布の重心位置および分散共分散行列を求める。
【００５２】
ここで、染色標本クラスｃiに属する各ＨＥ分布データの数をそれぞれｎi（ｉ＝１，２，３，４）とすると、染色標本クラスｃiに属する各ＨＥ分布データのベクトルは、次式（１２）によって表される。
【数１３】
【００５３】
そして、染色標本クラスｃiの部分ＨＥ色素量分布の重心ベクトルは、次式（１３）によって表される。
【数１４】
【００５４】
また、染色標本クラスｃiの部分ＨＥ色素量分布の分散共分散行列は、次式（１４）によって表される。
【数１５】
【００５５】
分布形状特徴算出部１５４は、各染色標本クラスｃiを処理対象とし、式（１３）〜（１５）を用いてそれぞれの重心位置および分散共分散行列を算出する。算出された各染色標本クラスｃiの部分ＨＥ色素量分布の重心位置および分散共分散行列は、記憶部１４０に格納される。
【００５６】
続いて、クラス特定部１５５が、記憶部１４０から標準標本クラス情報１４１を読み出し、各染色標本クラスｃiに対応する標準標本クラスｓｔｄ＿ｃj（ｊ＝１，２，３，４）を特定し、各染色標本クラスｃiと各標準標本クラスｓｔｄ＿ｃjとの対応関係を設定する（ステップＳ２１）。
【００５７】
ここで、標準標本クラス情報１４１は、標準標本画像の各画像位置のＨＲ色素量分布を主要要素数である４つにクラス分類した標準標本クラスに係るデータであるが、先ず、この標準標本クラス情報１４１の取得方法について説明する。この標準標本クラス情報１４１の取得に際しては、予め標準染色標本を用意する。ここでいう標準染色標本とは、Ｈ＆Ｅ染色された標本であって、４つの主要要素である、ヘマトキシリンで染色された細胞核、エオジンで染色された細胞質、エオジンで染色された赤血球、および背景を全て含む標本を意味する。
【００５８】
先ず、この標準染色標本を対象として、図６のステップＳ１１〜ステップＳ１５と同様の処理を行う。画像取得部１１０を用いて標準染色標本をマルチバンド撮像し、標準標本画像を取得する。そして、取得した標準標本画像の画素値に基づいて、標準染色標本の各画像位置の分光透過率データを推定し、推定した分光透過率データに基づいて、各画像位置における色素Ｈ，色素Ｅ，色素Ｒの各推定色素量を求める。
【００５９】
次に、標準標本画像の各画像位置を、そのＨＥ色素量分布に基づいて標準標本クラスにクラス分類する。例えば、ステップＳ１７の処理と同様にして、推定された標準染色標本の各画像位置における色素Ｈの推定色素量および色素Ｅの推定色素量に基づいて、各画像位置のＨＥ色素量分布を算出する。図９は、標準標本画像の各画像位置のＨＥ色素量分布図の一例を示す図である。次いで、ステップＳ１８の処理と同様に、算出した各画像位置のＨＥ色素量分布に基づいて、各画像位置を主要要素数ｋ（ｋ＝４）の標準標本クラスｓｔｄ＿ｃj（ｊ＝１，２，３，４）にクラス分類する。図１０は、図９に示したＨＥ色素量分布を標準標本クラスｓｔｄ＿ｃjにクラス分類した結果を示す図である。図１０では、ＨＥ色素量分布における各画像位置（ＨＥ分布データ）は、実線で囲まれた各領域それぞれに対応する４つの標準標本クラスｓｔｄ＿ｃ1〜ｓｔｄ＿ｃ4にクラス分類されている。なお、クラス分類の仕方はこれに限定されるものではなく、例えばユーザによるＨＥ色素量分布中の境界線の指定操作に従って各ＨＥ分布データを染色標本クラスｃiにクラス分類することもできる。
【００６０】
そして、ステップＳ１９の処理と同様に、分類された各標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の分布形状特徴を算出する。すなわち、各標準標本クラスｓｔｄ＿ｃjを処理対象とし、式（１３）〜（１５）を用いてそれぞれの重心位置および分散共分散行列を算出する。そして、クラス分類結果と、この分類結果に従って算出した各標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の分布形状特徴である重心位置および分散共分散行列とを対応付けて、標準標本クラス情報１４１として記憶部１４０に格納する。
【００６１】
クラス特定部１５５は、このようにして得られた標準標本クラス情報１４１を用いて、各染色標本クラスｃiと各標準標本クラスｓｔｄ＿ｃjとの対応関係を設定する。設定された対応関係は、記憶部１４０に格納される。具体的には、クラス特定部１５５は、各染色標本クラスｃiをそれぞれ処理対象とし、処理対象の染色標本クラスｃiの部分ＨＥ色素量分布の重心位置と、標準標本クラス情報１４１に設定されている各標準標本クラスｓｔｄ＿ｃjそれぞれの部分ＨＥ色素量分布の重心位置とを比較する。そして、クラス特定部１５５は、重心位置間の距離が最小となる処理対象の染色標本クラスｃiと標準標本クラスｓｔｄ＿ｃjとの組み合わせを特定することによって、各染色標本クラスｃiと各標準標本クラスｓｔｄ＿ｃjとの対応関係を設定する。図１１は、この対応関係の設定処理を、染色標本クラスｃ1に対応する標準標本クラスｓｔｄ＿ｃjを特定する場合を例にとって説明するための説明図である。図１１では、染色標本クラスｃ1と各標準標本クラスｓｔｄ＿ｃjそれぞれとの重心距離Δ１〜Δ４から、最小の重心間距離Δ１に従って、染色標本クラスｃ1に対応する標準標本クラスｓｔｄ＿ｃ1が特定される。
【００６２】
染色標本クラスｃiの部分ＨＥ色素量分布の重心位置と、標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の重心位置との重心位置間の距離は、次式（１５）で表される。
【数１６】
【００６３】
続いて、色素量補正部１５６が、ステップＳ２１で特定した染色標本クラスｃiと標準標本クラスｓｔｄ＿ｃjとの対応関係に基づいて、各画像位置の推定色素量ｄE，ｄH，ｄRを補正する。具体的には、色素量補正部１５６は、先ず、各染色標本クラスｃiの部分ＨＥ色素量分布の分布形状特徴を、対応する標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の分布形状特徴に合わせて変換し、各画像位置における色素量を補正する（ステップＳ２３）。ここでは、色素量補正部１５６は、各染色標本クラスｃiを順次処理対象として、それぞれ以下の処理を行う。すなわち先ず、標準標本クラス情報１４１から、処理対象の染色標本クラスｃiに対応する標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の重心位置および分散共分散行列を読み出す。そして、読み出した分布形状特徴に基づいて、処理対象の染色標本クラスｃiの部分ＨＥ色素量分布をアフィン変換することで分布形状変換を行う。
【００６４】
染色標本クラスｃiに属する各ＨＥ分布データについて、重心位置からの偏差を標準偏差により正規化すると、次式（１６）となる。
【数１７】
ここで、τk(ci)は染色標本クラスｃiについての部分ＨＥ色素量分布の重心位置をＨＥ色素量分布の原点、標準偏差を１に正規化した結果となる。なお、τk(ci)は、τの右下に「ｋ」、右上に「（ｃi）」が付いていることを示す。
【００６５】
このτk(ci)を、読み出した処理対象の染色標本クラスｃiに対応する標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の分布形状特徴に基づいて分布形状変換する分布形状変換処理を行い、処理対象の染色標本クラスｃiに属する各ＨＥ分布データを変換する。変換後の染色標本クラスｃiの各ＨＥ分布データは、次式（１７）によって表される。
【数１８】
【００６６】
各染色標本クラスｃiそれぞれについて同様の処理を行って、染色標本クラスｃi毎に、その染色標本クラスｃiのＨＥ部分色素量分布を、対応する標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の分布形状特徴に基づいて分布形状変換することによって、ステップＳ１５で推定した対象染色標本画像の各ＨＥ分布データ、すなわち色素Ｈ及び色素Ｅの推定色素量ｄH，ｄEを、補正色素量ｄH´，ｄE´に変換して補正する。補正した補正色素量ｄH´，ｄE´の各値は、記憶部１４０に格納される。
【００６７】
続いて、スペクトル算出部１５７が、ステップＳ２３で補正された補正色素量ｄH´，ｄE´と、ステップＳ１５で推定した各画像位置における色素Ｒの推定色素量ｄRとから第２の分光透過率データを算出する（ステップＳ２５）。具体的には、背景技術で示した式（５）に補正色素量ｄH´，ｄE´および推定色素量ｄRを代入し、次式（１８）によって新たな分光透過率ｔ**（ｘ，λ）を得る。ｔ**（ｘ，λ）は、第２の分光透過率データのうち、波長λに対応する成分である。
【数１９】
そして、式（１８）によって算出した複数の波長に対するｔ**（ｘ，λ）を行列形式にまとめたものをＴ**（ｘ）と記述すると、Ｔ**（ｘ）は第２の分光透過率データを表す。この第２の分光透過率データＴ**（ｘ）は、記憶部１４０に格納される。
【００６８】
続いて、ＲＧＢ画像合成部１５８が、第２の分光透過率データＴ**（ｘ）を用いて表示用のＲＧＢ画像を合成する（ステップＳ２７）。Ｔ**（ｘ）をＲＧＢ値ＧRGB（ｘ）に変換するには、背景技術で示した式（２）におけるノイズ成分Ｎを除外した次式（１９）を用いる。
ＧRGB（ｘ）＝ＦＳＥＴ**（ｘ） ・・・（１９）
ここで行列Ｓは、ＲＧＢカメラ１１１の分光感度特性に対応している。なお、この分光感度特性は、ＲＧＢカメラ１１１のものを用いるのが簡便であるが、他のＲＧＢカメラのものであっても構わない。対象染色標本画像の全ての画像位置ｘについての第２の分光透過率データＴ**（ｘ）が算出されているので、画像位置ｘについてＴ**（ｘ）をＲＧＢ値に変換する処理を画像全体に渡って反復すれば、撮像したマルチバンド画像と同じ幅と高さを有するＲＧＢ画像が得られる。合成された表示用のＲＧＢ画像に係るデータは、記憶部１４０に格納される。
【００６９】
そして、ＲＧＢ画像表示制御部１６３が、ＲＧＢ画像合成部１５８によって合成されたＲＧＢ画像を表示部１３０に表示する制御を行う（ステップＳ２９）。
【００７０】
以上説明した本実施の形態によれば、標準的な染色状態にある標準染色標本を撮像した標準標本画像の各画像位置における色素量の色素量分布に基づいて、各画像位置を主要要素数で分類した標準標本クラスに係るデータを予め設定しておく。そして、対象染色標本を撮像した対象染色標本画像の各画像位置における推定色素量の色素量分布に基づいて各画像位置を染色標本クラスに分類し、各染色標本クラスに対応する標準標本クラスをそれぞれ特定することによって、各染色標本クラスと各標準標本クラスとを対応付けることができる。そして、各染色標本クラスの部分色素量分布の分布形状を、対応する標準標本クラスの部分色素量分布の分布形状特徴に基づいて分布形状変換する分布形状変換処理を行い、染色標本クラスに属する各画像位置における推定色素量を変換して補正することができる。これによれば、染色標本画像の各画像位置の色素量分布を、標準標本画像の各画像位置の色素量分布に近似させることができる。さらに、補正した色素Ｈおよび色素Ｅの補正色素量と、色素Ｒの推定色素量とを用いて表示用のＲＧＢ画像を合成することができる。これによれば、対象染色標本画像の色素量分布と標準標本画像の色素量分布とが大きく異なる場合や、対象染色標本画像の色素量分布において推定誤差等によって分布から大きく外れた値が存在する場合であっても、染色標本画像の各画像位置における推定色素量を、標準染色標本の標準的な染色状態に合わせて適切に補正することができ、不自然な発色を抑えることができる。
【００７１】
なお、上記の実施の形態では、推定された色素Ｈおよび色素Ｅの色素量ｄH，ｄEについて補正色素量ｄH´，ｄE´を求めることとしたが、色素Ｒについても、同様にして補正色素量ｄR´を算出することとしてもよい。ただし、色素Ｒは、染色状態による影響を受け難く、常に鮮やかな赤色に発色しているため、実用上変換・補正の必要がない場合が多い。
【００７２】
また、上記した実施の形態では、染色標本クラスｃiのＨＥ色素量分布の重心位置と標準標本クラスｓｔｄ＿ｃjのＨＥ色素量分布の重心位置との間の距離が最小となる組み合わせを特定することによって、各染色標本クラスｃiと各標準標本クラスｓｔｄ＿ｃjとの対応関係を設定することとしたが、これに限定されるものではない。例えば、上記した実施の形態のように、対象染色標本に含まれる主要要素の数と標準標本に含まれる主要要素の数とが同じ場合、すなわち染色標本クラスｃiの数と標準標本クラスｓｔｄ＿ｃjの数とが同じ場合には、各染色標本クラスｃiの部分色素量分布の重心位置を、対象染色標本画像の各画像位置の色素量分布の原点からの距離に従って順序付けるとともに、各標準標本クラスｓｔｄ＿ｃjの部分色素量分布の重心位置を、標準標本画像の各画像位置の色素量分布の原点からの距離に従って順序付け、各順序付けに従って各染色標本クラスｃiと各標準標本クラスｓｔｄ＿ｃjとの対応関係を設定することとしてもよい。あるいは、各染色標本クラスｃiの部分色素量分布の重心位置を、該重心位置における所定の色素（例えば、色素Ｈ）の色素量に従って順序付けるとともに、各標準標本クラスｓｔｄ＿ｃjの部分色素量分布の重心位置を、該重心位置における所定の色素（例えば、色素Ｈ）の色素量に従って順序付け、各順序付けに従って各染色標本クラスｃiと各標準標本クラスｓｔｄ＿ｃjとの対応関係を設定することとしてもよい。
【００７３】
また、観測対象の染色標本から表示用のＲＧＢ画像を合成する際に算出したＨＲ色素量分布を、図７に例示したようなＨＲ色素量分布図として表示部１３０に表示させることとしてもよい。また、最終的に合成された表示用のＲＧＢ画像を記憶部１４０に蓄積・記憶しておき、これらをユーザ操作に従って表示部１３０に表示させることとしてもよい。例えば、全てのＲＧＢ画像を一覧で表示させたり、ユーザ操作に従って選択されたＲＧＢ画像を表示させる制御が可能である。また、ＲＧＢ画像と対応付けて、この表示用のＲＧＢ画像を合成する際に算出したＨＲ色素量分布のデータを記憶部１４０に格納しておくこととしてもよい。この場合には、ユーザ操作に従って、選択されたＲＧＢ画像あるいはＨＲ色素量分布図を表示させることができる。
【００７４】
また、上記の実施の形態では、Ｈ＆Ｅ染色された病理標本を透過観察する場合について説明したが、他の染色法を用いて染色した生体標本に対しても適用することができる。また、透過光の観察だけでなく、反射光、蛍光、発光の観察においても、同様に適用することができる。
【図面の簡単な説明】
【００７５】
【図１】画像処理装置の機能構成を示すブロック図である。
【図２】画像取得部の構成を示す図である。
【図３】カラーフィルタの配列例を模式的に示す図である。
【図４−１】一の光学フィルタの分光透過率特性を示す図である。
【図４−２】他の光学フィルタの分光透過率特性を示す図である。
【図５】Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。
【図６】画像処理装置における処理の手順を示すフローチャートである。
【図７】対象染色標本画像の各画像位置のＨＥ色素量分布図の一例を示す図である。
【図８】図７に示したＨＥ色素量分布における各画像位置のクラス分類結果を示す図である。
【図９】標準標本画像の各画像位置のＨＥ色素量分布図の一例を示す図である。
【図１０】図９に示したＨＥ色素量分布における各画像位置のクラス分類結果を示す図である。
【図１１】染色標本クラスと標準標本クラスとの対応関係の設定処理を説明するための説明図である。
【図１２】染色標本を撮像したマルチバンド画像の一例を示す図である。
【符号の説明】
【００７６】
１０ 画像処理装置
１１０ 画像取得部
１２０ 操作部
１３０ 表示部
１４０ 記憶部
１４１ 標準標本クラス情報
１４３ 画像処理プログラム
１５０ 画像処理部
１５１ スペクトル推定部
１５２ 色素量推定部
１５３ クラス分類部
１５４ 分布形状特徴算出部
１５５ クラス特定部
１５６ 色素量補正部
１５７ スペクトル算出部
１５８ ＲＧＢ画像合成部
１６０ 制御部
１６１ 標本画像取得制御部
１６３ ＲＧＢ画像表示制御部
【技術分野】
【０００１】
本発明は、複数の色素によって染色された染色標本を撮像した染色標本画像を処理する画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
生体組織標本、特に病理標本では、臓器摘出によって得たブロック標本や針生検によって得た標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された生体標本は光を殆ど吸収及び散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００３】
染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。
【０００４】
ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００５】
エオジンは好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００６】
Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、染色標本の状態を形態学的に判断することが可能となる。
【０００７】
標本の染色は、元々個体差を有する生体組織に対し、化学反応を用いて色素を固定する作業であるため、常に均一な結果を得ることが難しい。具体的には、同一濃度の染色液に同一時間標本を反応させた場合でも、固定される色素の量が同程度であるとは限らない。標本によっては比較的多くの色素が固定される場合や、比較的少ない色素しか固定されない場合がある。前者の場合には通常より濃く染色された標本となり、後者の場合には薄く染色された標本となる。このような染色のばらつきを抑えるため、専門の技能を有する染色技師を配置した施設もある。このような施設においては、染色技師の職人的な調整作業によって同一施設内での染色ばらつきをある程度軽減できるが、他の施設との間の染色ばらつきまで軽減することはできない。
【０００８】
この染色ばらつきには、２つの問題がある。第１に、人間が目視観察する場合、観察対象の状態が不揃いであることが観察者のストレスに繋がる可能性がある。重度のばらつきが生じている場合には、決定的な所見を見落とす可能性も否定できない。第２に、染色標本をカメラで撮像して画像処理する場合、染色ばらつきが処理精度に悪影響を及ぼす可能性がある。例えば、ある病変が特定の色を呈することが判っていたとしても、画像から自動的にそれを抽出することが難しくなる。病変による色変化を染色ばらつきが撹乱してしまうからである。
【０００９】
このような染色ばらつきの問題点を解決するために、画像処理によって染色状態を定量化・標準化しようとする試みがなされている。例えば、非特許文献１には、物理モデルに基づいて染色標本に固定された色素の相対的な量を推定する手法や、推定した色素の量を仮想的に増減させ、増減後の色素量を用いて仮想的な標本のＲＧＢ画像を合成する手法が開示されている。図１２は、合成されたＲＧＢ画像の一例を示す図である。色素量の増減を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。
【００１０】
ここで、染色標本のマルチバンド画像からＲＧＢ画像を合成する方法について説明する。先ず、観察対象の標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚の光学フィルタ（バンドパスフィルタ）をフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１１】
撮像されたマルチバンド画像の位置ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【数１】
λは波長、ｆ（ｂ，λ）はｂ番目の光学フィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける撮像ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。
【００１２】
実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
ここで、波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、位置ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
【００１３】
次に、撮像したマルチバンド画像から標本各点における分光透過率を推定する。推定手法としては、例えばウィナー（Wiener）推定を用いる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られている。このウィナー推定を用いた場合、分光透過率の推定値Ｔ＾（ｘ）は、次式（３）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表すハット「＾」が付いていることを示す。
【数２】
ＲSSは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、ＲNNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。
【００１４】
このようにして分光透過率Ｔ＾（ｘ）を推定したならば、次に、このＴ＾（ｘ）に基づいて標本の各点ｘにおける色素量を推定する。推定の対象とする色素は、第１の色素量に相当する細胞核を染色したヘマトキシリン、第２の色素量に相当する細胞質を染色したエオジン、第３の色素量に相当する赤血球を染色したエオジンの３種類である。ここで、ヘマトキシリンを色素Ｈ、細胞質を染色したエオジンを色素Ｅ、赤血球を染色したエオジンを色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても赤血球はそれ自身特有の色を有しており、Ｈ＆Ｅ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。
【００１５】
一般に、光を透過する物質では、波長λ毎の入射光の強度I0（λ）と射出光の強度I(λ)との間に、次式（４）で表されるLambert-Beer則が成り立つことが知られている。
【数３】
ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。また、式（４）の左辺は分光透過率を意味している。
【００１６】
ここで、Ｈ＆Ｅ染色された対象染色標本が、色素Ｈ、色素Ｅ、色素Ｒの３種類の色素で染色されている場合、Lambert-Beer則により各波長λにおいて次式（５）が成立する。
【数４】
ここでｋH（λ），ｋE（λ），ｋR（λ）は、それぞれ色素Ｈ、色素Ｅ、色素Ｒに対応したｋ（λ）を表す。またｄH，ｄE，ｄRは、マルチバンド画像の各画像位置における色素Ｈ、色素Ｅ、色素Ｒの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄH，ｄE，ｄRはそれぞれ色素Ｈ、色素Ｅ、色素Ｒの色素量を表しているといえる。なお、ｋH（λ），ｋE（λ），ｋR（λ）は、単一の色素で染色した標本を予め用意し、その分光透過率を分光計で測定することによって、Lambert-Beer則から容易に求めることができる。
【００１７】
式（５）の両辺の対数を取ると、次式（６）となる。
【数５】
【００１８】
式（３）を用いて推定された分光透過率データＴ＾（ｘ）の波長λに対応する要素をｔ＾（ｘ，λ）とし、これを式（６）に代入すると、次式（７）を得る。
【数６】
ここで、式（７）において未知変数はｄH，ｄE，ｄRの３つであるから、少なくとも３つの異なる波長λに対して式（７）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（７）を連立させ、重回帰分析を行ってもよい。
【００１９】
マルチバンド画像の各位置における色素量ｄH，ｄE，ｄRが一度求まれば、これらを修正することで、標本における色素量の変化をシミュレートすることができる。すなわち、適当な係数αH，αE，αRを各色素量ｄH，ｄE，ｄRにそれぞれ乗じて調整し、式（５）に代入すれば、次式（８）によって新たな分光透過率ｔ*（ｘ，λ）が得られる。係数αH，αE，αRは、例えば、標準的に染色された標準染色標本を用意し、この標準染色標本を撮像した標準標本画像の各画像位置における色素量を推定した結果から決定することができる。具体的には、観察対象の標本の色素Ｈ，色素Ｅ，色素Ｒそれぞれの平均色素量を算出する。そして、算出した色素Ｈ，色素Ｅ，色素Ｒそれぞれの平均色素量の、標準標本画像の該当色素の平均色素量に対する比率を係数αH，αE，αRとして決定する。
【数７】
【００２０】
そして、式（８）を式（１）に代入すれば、色素量を仮想的に変化させた標本の画像を合成することができる。ただしこの場合は、ノイズｎ（ｂ）をゼロとして計算してよい。
【００２１】
以上の手順により、標本の各点ｘにおける色素量を推定することにより、各点における色素量を仮想的に調整し、調整後の標本の画像を合成することで染色標本の色素量を補正することができる。したがって、例えば、染色標本に染色ばらつきがあっても、ユーザは、適正な染色状態に調整された画像を観察することができ、染色ばらつきの問題が解決できる。
【００２２】
【特許文献１】特開平７−１２０３２４号公報
【非特許文献１】“Color Correction of Pathological Images Based on Dye Amount Quantification”，OPTICAL REVIEW，Vol.12，Ｎｏ.4，2005，p.293-300
【発明の開示】
【発明が解決しようとする課題】
【００２３】
染色ばらつきの問題を解決するためには、観察対象の標本を撮像したマルチバンド画像の色素量の調整を適切に行い、標準的な染色状態にある標本の色素量に近づけることが望ましい。特許文献１の技術では、マルチバンド画像の各画像位置において推定された色素量を定数倍することによって、色素量を仮想的に調整している。しかしながら、マルチバンド画像の各画像位置を推定された色素量に基づいて変換した色素量の分布空間において、その分布形状が、標準染色標本を撮像した標準標本画像における色素量の分布空間での分布形状と比較して異なる場合や、マルチバンド画像の色素量分布において推定誤差等によって分布から大きく外れた値が存在する場合は、その違いが定数倍によって強調されてしまうという問題が生じる。このため、例えば、調整後の色素量を用いて標本のマルチバンド画像から表示用の画像を合成した場合に、不自然な発色となって現れてしまうという問題もある。
【００２４】
本発明は、上記した従来の問題点に鑑みて為されたものであり、染色標本を撮像した染色標本画像の色素量分布を標準標本画像の色素量分布に精度よく近似させることができる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２５】
上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置は、複数種類の色素によって染色された染色標本を撮像した染色標本画像を処理する画像処理装置において、前記複数種類の色素によって標準的に染色された標準染色標本を撮像した標準標本画像の各画像位置を、該各画像位置における色素量の色素量分布に基づいて分類した標準標本クラスの色素量分布を記憶する標準データ記憶手段と、前記染色標本画像の各画像位置における色素量を推定する色素量推定手段と、前記色素量推定手段によって推定された各画像位置における色素量に基づいて、前記染色標本画像での前記各画像位置の色素量分布を算出し、算出した色素量分布に基づいて、前記染色標本画像での前記各画像位置を染色標本クラスに分類するクラス分類手段と、前記クラス分類手段によって分類された前記染色標本クラスの色素量分布の分布形状特徴と、前記標準標本クラスの色素量分布の分布形状特徴とを比較し、該比較結果をもとに前記染色標本クラスに属する各画像位置における色素量を補正する色素量補正手段と、を備えることを特徴とする。
【００２６】
また、本発明に係る画像処理プログラムは、複数種類の色素によって染色された染色標本を撮像した染色標本画像を処理するコンピュータに、前記複数種類の色素によって標準的に染色された標準染色標本を撮像した標準標本画像の各画像位置を、該各画像位置における色素量の色素量分布に基づいて分類した標準標本クラスの色素量分布を記憶する標準データ記憶ステップ、前記染色標本画像の各画像位置における色素量を推定する色素量推定ステップ、前記色素量推定ステップによって推定された各画像位置における色素量に基づいて、前記染色標本画像での前記各画像位置の色素量分布を算出し、算出した色素量分布に基づいて、前記染色標本画像での前記各画像位置を染色標本クラスに分類するクラス分類ステップ、前記クラス分類ステップによって分類された前記染色標本クラスの色素量分布の分布形状特徴と、前記標準標本クラスの色素量分布の分布形状特徴とを比較し、該比較結果をもとに前記染色標本クラスに属する各画像位置における色素量を補正する色素量補正ステップ、を実行させることを特徴とする。
【発明の効果】
【００２７】
本発明によれば、染色標本を撮像した染色標本画像の色素量分布を、標準標本画像の色素量分布に近似させることができる。したがって、染色標本画像の各画像位置における色素量を、標準染色標本の標準的な染色状態に合わせて適切に補正することができ、不自然な発色を抑えることができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、細胞核、細胞質、赤血球および背景の４つの主要要素を含むＨ＆Ｅ染色された病理標本を撮像対象とし、撮像したマルチバンド画像から、表示用のＲＧＢ画像を合成する場合について説明する。なお、主要要素の数および種類は一例であって、適宜設定できる。例えば、細胞核や細胞質、赤血球の他、例えばヘマトキシリンによって染色される骨組織や、エオジンによって染色される結合組織等を分類対象としてもよい。
【００２９】
先ず、本実施の形態に係る画像処理装置の構成について説明する。図１は、画像処理装置の機能構成を示すブロック図である。本実施の形態では、画像処理装置１０は、画像取得部１１０と、操作部１２０と、表示部１３０と、記憶部１４０と、画像処理部１５０と、装置各部を制御する制御部１６０とを備える。
【００３０】
画像取得部１１０は、Ｈ＆Ｅ染色された観察対象の病理標本（以下、「対象染色標本」と称す。）を撮像して６バンドのマルチバンド画像を取得する。図２は、画像取得部１１０の構成を示す図である。図２に示すように、画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象染色標本Ｓが載置される標本保持部１１３、標本保持部１１３上の対象染色標本Ｓを透過照明する照明部１１５、対象染色標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。
【００３１】
ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図３は、カラーフィルタの配列例を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。
【００３２】
フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図４−１は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図４−２は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像及び第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、２枚以上の光学フィルタを用いることができる。取得されたマルチバンド画像は制御部１６０に出力され、対象染色標本画像として記憶部１４０に保持される。
【００３３】
この画像取得部１１０において、照明部１１５から照射された照明光は、標本保持部１１３上に載置された対象染色標本Ｓを透過する。そして、対象染色標本Ｓを透過した透過光は、光学系１１７及び光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図５に示す。
【００３４】
操作部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部１６０に出力する。
【００３５】
表示部１３０は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号に基づいて各種画面を表示する。
【００３６】
記憶部１４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体及びその読取装置等によって実現されるものであり、画像処理装置１０の動作に係るプログラムや、画像処理装置１０の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。また、標準標本クラス情報１４１が格納される。この標準標本クラス情報１４１は、後述する標準標本画像の各画像位置における推定色素量の色素量分布に基づいて、各画像位置を主要要素数で分類した標準標本クラスに係るデータを記憶する。また、対象染色標本の色素量分布を標準標本画像の色素量分布に近似させ、対象染色標本の各画像位置の推定色素量を補正するための画像処理プログラム１４３が格納される。
【００３７】
画像処理部１５０は、ＣＰＵ等のハードウェアによって実現される。この画像処理部１５０は、スペクトル推定部１５１と、色素量推定部１５２と、クラス分類部１５３と、分布形状特徴算出部１５４と、クラス特定部１５５と、色素量補正部１５６と、スペクトル算出部１５７と、ＲＧＢ画像合成部１５８とを含む。スペクトル推定部１５１は、対象染色標本画像の画素値に基づいて、対象染色標本画像の各画像位置の分光特性を推定する。色素量推定部１５２は、対象染色標本の染色に用いたヘマトキシリンおよびエオジンの各色素の基準分光特性をもとに、対象染色標本画像の各画像位置における細胞核を染色したヘマトキシリン（色素Ｈ）の色素量、細胞質を染色したエオジン（色素Ｅ）の色素量、および赤血球を染色したエオジン（色素Ｒ）の色素量を推定する。クラス分類部１５３は、推定された各推定色素量に基づいて、対象染色標本画像の各画像位置の色素量分布を算出し、算出した色素量分布に基づいて、各画像位置を染色標本クラスにクラス分類する。分布形状特徴算出部１５４は、各染色標本クラスの部分色素量分布の分布形状特徴として、重心位置および分散共分散行列の各値を算出する。クラス特定部１５５は、標準標本クラス情報１４１に記憶された各標準標本クラスの部分色素量分布に基づいて、各染色標本クラスに対応する標準標本クラスを特定し、各染色標本クラスと各標準標本クラスとの対応関係を設定する。色素量補正部１５６は、各染色標本クラスの部分色素量分布を、対応する標準標本クラスの部分色素量分布の分布形状特徴に基づいて分布形状変換し、各画像位置における推定色素量を補正する。スペクトル算出部１５７は、補正後の各画像位置における補正色素量を用いて分光透過率特性を算出する。ＲＧＢ画像合成部１５８は、スペクトル算出部１５７によって算出された分光透過率特性を用いて表示用のＲＧＢ画像を合成する。
【００３８】
制御部１６０は、ＣＰＵ等のハードウェアによって実現される。この制御部１６０は、操作部１２０から入力される操作信号や画像取得部１１０から入力される画像データ、記憶部１４０に格納されるプログラムやデータ等に基づいて画像処理装置１０を構成する各部への指示やデータの転送等を行い、画像処理装置１０全体の動作を統括的に制御する。また、この制御部１６０は、画像取得部１１０の動作を制御して対象染色標本画像を取得する標本画像取得制御部１６１と、ＲＧＢ画像合成部１５８によって合成されたＲＧＢ画像を表示部１３０に表示する制御を行うＲＧＢ画像表示制御部１６３とを含む。
【００３９】
図６は、画像処理装置１０における処理の手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１４０に格納された画像処理プログラム１４３に従って画像処理装置１０の各部が動作することによって実現される。
【００４０】
画像処理装置１０では、先ず、標本画像取得制御部１６１が、画像取得部１１０の動作を制御して対象染色標本をマルチバンド撮像し、対象染色標本画像を取得する（ステップＳ１１）。
【００４１】
続いて、スペクトル推定部１５１が、ステップＳ１１で取得した対象染色標本画像の画素値に基づいて、対象染色標本のスペクトル（分光透過率）を推定する（ステップＳ１３）。具体的には、スペクトル推定部１５１は、ウィナー推定を用い、背景技術で示した次式（３）に従って、対象染色標本画像の点ｘにおける画素値の行列表現Ｇ（ｘ）から、この画像位置における分光透過率の推定値Ｔ＾（ｘ）を推定する。
【数８】
【００４２】
光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓおよび照明の分光放射特性Ｅは、使用する機器を選定の後、分光計等を用いて予め測定しておく。なお、ここでは、光学系１１７の分光透過率は１.０と近似しているが、この近似値１.０からの乖離が許容できない場合には、光学系１１７の分光透過率も予め測定し、照明の分光放射特性Ｅに乗じればよい。また、標本の分光透過率の自己相関行列ＲSSおよびＲＧＢカメラ１１１の撮像ノイズの自己相関行列ＲNNについても、事前に測定しておく。ＲSSは、Ｈ＆Ｅ染色された典型的な標本を用意し、分光計によって複数の点の分光透過率を測定して自己相関行列を求めることによって得られる。統計的な精度を高めるために、標本内での偏り無く１００点程度の測定を行った方がよい。一方、ＲNNは、標本無しの状態で画像取得部１１０によってマルチバンド画像を取得し、得られた６バンドのマルチバンド画像の各バンドについて画素値の分散を求め、これを対角成分とする行列を生成することによって得られる。得られた分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）は、記憶部１４０に格納される。
【００４３】
続いて、色素量推定部１５２が、ステップＳ１３で推定した分光透過率データに基づいて、対象染色標本の色素量を推定する（ステップＳ１５）。具体的には、色素量推定部１５２は、対象染色標本画像の各画像位置における分光透過率データに基づいて、各画素に対応する対象染色標本の標本各点に固定された色素Ｈ，色素Ｅ，色素Ｒそれぞれの色素量を推定して推定色素量を求める。すなわち、背景技術で示した次式（７）を複数の波長λに関して連立させ、ｄH，ｄE，ｄRについて解く。
【数９】
【００４４】
例として、３つの波長λ1，λ2，λ3について式（７）を連立させた場合を考えると、次式（９）のように行列表記できる。
【数１０】
【００４５】
したがって、ｄH，ｄE，ｄRは、次式（１０）に従って推定できる。
【数１１】
このようにして推定された各画像位置における色素Ｈ、色素Ｅ、色素Ｒの各推定色素量ｄH，ｄE，ｄRは、記憶部１４０に格納される。
【００４６】
続いて、クラス分類部１５３が、対象染色標本画像の各画像位置を染色標本クラスにクラス分類する。すなわち先ず、クラス分類部１５３は、ステップＳ１５で推定した各画像位置における色素Ｈの推定色素量ｄHおよび色素Ｅの推定色素量ｄEに基づいて、各画像位置の色素量分布（以下、「ＨＥ色素量分布」と称す。）を算出する（ステップＳ１７）。図７は、対象染色標本画像の各画像位置のＨＥ色素量分布図の一例を示す図である。図７に示すように、ＨＥ色素量分布は、横軸を色素Ｈの推定色素量ｄH、縦軸を色素Ｅの推定色素量ｄEとし、各画像位置を、その色素Ｈの推定色素量ｄHおよび色素Ｅの推定色素量ｄEに基づいてプロットして得られる。以下、この各画像位置に対応するプロットデータそれぞれを、「ＨＥ分布データ」と称す。そして、クラス分類部１５３は、算出したＨＥ色素量分布に基づいて、各画像位置（実際には、各ＨＥ分布データ）を所定数ｋの染色標本クラスｃi（ｉ＝１，２，・・・，ｋ）にクラス分類する（ステップＳ１８）。分類する染色標本クラスの数ｋは、例えば、対象染色標本画像に含まれる主要要素の数とする。本実施の形態では、対象染色標本画像に含まれる主要要素の数は、細胞核、細胞質、赤血球および背景領域の４種類であり、各各ＨＥ分布データを４つの染色標本クラスに分類する。すなわちｋ＝４とし、例えばk-means法を用いて分類する。k-means法は、分類するクラス数を予め設定し、所定の判定基準に基づいて分類結果を修正しながら分類処理を繰り返し行うことにより、よりよい分類を探索する手法として広く知られている。なお、分類する染色標本クラスの数ｋは、ユーザ操作に従って設定することとしても構わない。
【００４７】
ここで、分類処理の手順について説明する。先ず、ＨＥ色素量分布からｋ個のＨＥ分布データを代表点として選出し、選出したｋ個の代表点を各染色標本クラスｃi（ｉ＝１，２，３，４）の重心位置とする。この重心位置のベクトルは、次式（１１）で表される。
【数１２】
【００４８】
なお、重心位置の初期値となるｋ個の代表点は、例えば、ランダムに選出することとしてもよいし、ユーザ操作に従って選出することとしてもよい。ユーザ操作に従って選出する場合には、制御部１６０が、例えば、図７に例示したＨＥ色素量分布図を表示部１３０に表示する制御を行うとともに、ｋ個の代表点の選出依頼の通知を表示する制御を行う。そして、これに応答して操作部１２０から入力された操作信号に従ってｋ個の代表点を選出する。これによれば、ユーザは、ＨＥ色素量分布の分布状態に応じて代表点を直接指定することができる。また、各染色標本クラスｃiを代表するような平均ベクトルを予め算出しておき、これを重心位置の初期値としてもよい。例えば、適切に染色された各主要要素を含む標本のマルチバンド画像をもとに算出したＨＥ色素量分布から、各主要要素の標準的なベクトルを求める。そして、求めた各値を、各染色標本クラスｃiの重心位置の初期値として用いることとしてもよい。
【００４９】
各染色標本クラスｃiの重心位置を決定したならば、各ＨＥ分布データを、最も近い距離にある重心位置の染色標本クラスｃiに帰属するものとして分類する。次いで、分類結果に基づいて、各染色標本クラスｃiの重心位置を再計算して更新する。そして、得られた新たな重心位置に従って各ＨＥ分布データを分類する処理を繰り返し行い、全ての染色標本クラスｃiの重心位置が変化しなくなった時点で処理を終了する。これにより、ＨＥ色素量分布における各ＨＥ分布データが、いずれかの染色標本クラスｃiにクラス分類される。図８は、図７に示したＨＥ色素量分布における各ＨＥ分布データを染色標本クラスｃiにクラス分類した結果を示す図である。図８では、ＨＥ色素量分布における各ＨＥ分布データは、破線で囲まれた各領域それぞれに対応する４つの染色標本クラスｃ1〜ｃ4にクラス分類されている。後述のステップＳ１９では、染色標本クラスｃi毎に、その染色標本クラスｃiに分類された各ＨＥ分布データのＨＥ色素量分布（以下、「部分ＨＥ色素量分布」と称す。）の分布形状特徴を算出する。このクラス分類結果は、記憶部１４０に格納される。
【００５０】
なお、クラス分類の仕方はこれに限定されるものではなく、例えばユーザ操作に従って各ＨＥ分布データを染色標本クラスｃiにクラス分類することもできる。例えば、制御部１６０が、図７に例示したＨＥ色素量分布図を表示部１３０に表示する制御を行うとともに、ＨＥ色素量分布中の境界線の指定依頼の通知を表示する制御を行う。この場合には、クラス分類部１５３は、境界線の指定依頼の通知に応答して操作部１２０から入力された操作信号に従って、ＨＥ色素量分布をｋ個の領域に分割し、各ＨＥ分布データを染色標本クラスｃiにクラス分類する。これによれば、ユーザは、ＨＥ色素量分布を、その分布状態に応じて領域分割することによって、各ＨＥ分布データのクラス分類を直接指定することができる。
【００５１】
続いて、分布形状特徴算出部１５４が、ステップＳ１７でクラス分類した各染色標本クラスｃiの部分ＨＥ色素量分布の分布形状特徴を算出する（ステップＳ１９）。例えば、分布形状特徴として、染色標本クラスｃi毎に、その染色標本クラスｃiの部分ＨＥ色素量分布の重心位置および分散共分散行列を求める。
【００５２】
ここで、染色標本クラスｃiに属する各ＨＥ分布データの数をそれぞれｎi（ｉ＝１，２，３，４）とすると、染色標本クラスｃiに属する各ＨＥ分布データのベクトルは、次式（１２）によって表される。
【数１３】
【００５３】
そして、染色標本クラスｃiの部分ＨＥ色素量分布の重心ベクトルは、次式（１３）によって表される。
【数１４】
【００５４】
また、染色標本クラスｃiの部分ＨＥ色素量分布の分散共分散行列は、次式（１４）によって表される。
【数１５】
【００５５】
分布形状特徴算出部１５４は、各染色標本クラスｃiを処理対象とし、式（１３）〜（１５）を用いてそれぞれの重心位置および分散共分散行列を算出する。算出された各染色標本クラスｃiの部分ＨＥ色素量分布の重心位置および分散共分散行列は、記憶部１４０に格納される。
【００５６】
続いて、クラス特定部１５５が、記憶部１４０から標準標本クラス情報１４１を読み出し、各染色標本クラスｃiに対応する標準標本クラスｓｔｄ＿ｃj（ｊ＝１，２，３，４）を特定し、各染色標本クラスｃiと各標準標本クラスｓｔｄ＿ｃjとの対応関係を設定する（ステップＳ２１）。
【００５７】
ここで、標準標本クラス情報１４１は、標準標本画像の各画像位置のＨＲ色素量分布を主要要素数である４つにクラス分類した標準標本クラスに係るデータであるが、先ず、この標準標本クラス情報１４１の取得方法について説明する。この標準標本クラス情報１４１の取得に際しては、予め標準染色標本を用意する。ここでいう標準染色標本とは、Ｈ＆Ｅ染色された標本であって、４つの主要要素である、ヘマトキシリンで染色された細胞核、エオジンで染色された細胞質、エオジンで染色された赤血球、および背景を全て含む標本を意味する。
【００５８】
先ず、この標準染色標本を対象として、図６のステップＳ１１〜ステップＳ１５と同様の処理を行う。画像取得部１１０を用いて標準染色標本をマルチバンド撮像し、標準標本画像を取得する。そして、取得した標準標本画像の画素値に基づいて、標準染色標本の各画像位置の分光透過率データを推定し、推定した分光透過率データに基づいて、各画像位置における色素Ｈ，色素Ｅ，色素Ｒの各推定色素量を求める。
【００５９】
次に、標準標本画像の各画像位置を、そのＨＥ色素量分布に基づいて標準標本クラスにクラス分類する。例えば、ステップＳ１７の処理と同様にして、推定された標準染色標本の各画像位置における色素Ｈの推定色素量および色素Ｅの推定色素量に基づいて、各画像位置のＨＥ色素量分布を算出する。図９は、標準標本画像の各画像位置のＨＥ色素量分布図の一例を示す図である。次いで、ステップＳ１８の処理と同様に、算出した各画像位置のＨＥ色素量分布に基づいて、各画像位置を主要要素数ｋ（ｋ＝４）の標準標本クラスｓｔｄ＿ｃj（ｊ＝１，２，３，４）にクラス分類する。図１０は、図９に示したＨＥ色素量分布を標準標本クラスｓｔｄ＿ｃjにクラス分類した結果を示す図である。図１０では、ＨＥ色素量分布における各画像位置（ＨＥ分布データ）は、実線で囲まれた各領域それぞれに対応する４つの標準標本クラスｓｔｄ＿ｃ1〜ｓｔｄ＿ｃ4にクラス分類されている。なお、クラス分類の仕方はこれに限定されるものではなく、例えばユーザによるＨＥ色素量分布中の境界線の指定操作に従って各ＨＥ分布データを染色標本クラスｃiにクラス分類することもできる。
【００６０】
そして、ステップＳ１９の処理と同様に、分類された各標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の分布形状特徴を算出する。すなわち、各標準標本クラスｓｔｄ＿ｃjを処理対象とし、式（１３）〜（１５）を用いてそれぞれの重心位置および分散共分散行列を算出する。そして、クラス分類結果と、この分類結果に従って算出した各標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の分布形状特徴である重心位置および分散共分散行列とを対応付けて、標準標本クラス情報１４１として記憶部１４０に格納する。
【００６１】
クラス特定部１５５は、このようにして得られた標準標本クラス情報１４１を用いて、各染色標本クラスｃiと各標準標本クラスｓｔｄ＿ｃjとの対応関係を設定する。設定された対応関係は、記憶部１４０に格納される。具体的には、クラス特定部１５５は、各染色標本クラスｃiをそれぞれ処理対象とし、処理対象の染色標本クラスｃiの部分ＨＥ色素量分布の重心位置と、標準標本クラス情報１４１に設定されている各標準標本クラスｓｔｄ＿ｃjそれぞれの部分ＨＥ色素量分布の重心位置とを比較する。そして、クラス特定部１５５は、重心位置間の距離が最小となる処理対象の染色標本クラスｃiと標準標本クラスｓｔｄ＿ｃjとの組み合わせを特定することによって、各染色標本クラスｃiと各標準標本クラスｓｔｄ＿ｃjとの対応関係を設定する。図１１は、この対応関係の設定処理を、染色標本クラスｃ1に対応する標準標本クラスｓｔｄ＿ｃjを特定する場合を例にとって説明するための説明図である。図１１では、染色標本クラスｃ1と各標準標本クラスｓｔｄ＿ｃjそれぞれとの重心距離Δ１〜Δ４から、最小の重心間距離Δ１に従って、染色標本クラスｃ1に対応する標準標本クラスｓｔｄ＿ｃ1が特定される。
【００６２】
染色標本クラスｃiの部分ＨＥ色素量分布の重心位置と、標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の重心位置との重心位置間の距離は、次式（１５）で表される。
【数１６】
【００６３】
続いて、色素量補正部１５６が、ステップＳ２１で特定した染色標本クラスｃiと標準標本クラスｓｔｄ＿ｃjとの対応関係に基づいて、各画像位置の推定色素量ｄE，ｄH，ｄRを補正する。具体的には、色素量補正部１５６は、先ず、各染色標本クラスｃiの部分ＨＥ色素量分布の分布形状特徴を、対応する標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の分布形状特徴に合わせて変換し、各画像位置における色素量を補正する（ステップＳ２３）。ここでは、色素量補正部１５６は、各染色標本クラスｃiを順次処理対象として、それぞれ以下の処理を行う。すなわち先ず、標準標本クラス情報１４１から、処理対象の染色標本クラスｃiに対応する標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の重心位置および分散共分散行列を読み出す。そして、読み出した分布形状特徴に基づいて、処理対象の染色標本クラスｃiの部分ＨＥ色素量分布をアフィン変換することで分布形状変換を行う。
【００６４】
染色標本クラスｃiに属する各ＨＥ分布データについて、重心位置からの偏差を標準偏差により正規化すると、次式（１６）となる。
【数１７】
ここで、τk(ci)は染色標本クラスｃiについての部分ＨＥ色素量分布の重心位置をＨＥ色素量分布の原点、標準偏差を１に正規化した結果となる。なお、τk(ci)は、τの右下に「ｋ」、右上に「（ｃi）」が付いていることを示す。
【００６５】
このτk(ci)を、読み出した処理対象の染色標本クラスｃiに対応する標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の分布形状特徴に基づいて分布形状変換する分布形状変換処理を行い、処理対象の染色標本クラスｃiに属する各ＨＥ分布データを変換する。変換後の染色標本クラスｃiの各ＨＥ分布データは、次式（１７）によって表される。
【数１８】
【００６６】
各染色標本クラスｃiそれぞれについて同様の処理を行って、染色標本クラスｃi毎に、その染色標本クラスｃiのＨＥ部分色素量分布を、対応する標準標本クラスｓｔｄ＿ｃjの部分ＨＥ色素量分布の分布形状特徴に基づいて分布形状変換することによって、ステップＳ１５で推定した対象染色標本画像の各ＨＥ分布データ、すなわち色素Ｈ及び色素Ｅの推定色素量ｄH，ｄEを、補正色素量ｄH´，ｄE´に変換して補正する。補正した補正色素量ｄH´，ｄE´の各値は、記憶部１４０に格納される。
【００６７】
続いて、スペクトル算出部１５７が、ステップＳ２３で補正された補正色素量ｄH´，ｄE´と、ステップＳ１５で推定した各画像位置における色素Ｒの推定色素量ｄRとから第２の分光透過率データを算出する（ステップＳ２５）。具体的には、背景技術で示した式（５）に補正色素量ｄH´，ｄE´および推定色素量ｄRを代入し、次式（１８）によって新たな分光透過率ｔ**（ｘ，λ）を得る。ｔ**（ｘ，λ）は、第２の分光透過率データのうち、波長λに対応する成分である。
【数１９】
そして、式（１８）によって算出した複数の波長に対するｔ**（ｘ，λ）を行列形式にまとめたものをＴ**（ｘ）と記述すると、Ｔ**（ｘ）は第２の分光透過率データを表す。この第２の分光透過率データＴ**（ｘ）は、記憶部１４０に格納される。
【００６８】
続いて、ＲＧＢ画像合成部１５８が、第２の分光透過率データＴ**（ｘ）を用いて表示用のＲＧＢ画像を合成する（ステップＳ２７）。Ｔ**（ｘ）をＲＧＢ値ＧRGB（ｘ）に変換するには、背景技術で示した式（２）におけるノイズ成分Ｎを除外した次式（１９）を用いる。
ＧRGB（ｘ）＝ＦＳＥＴ**（ｘ） ・・・（１９）
ここで行列Ｓは、ＲＧＢカメラ１１１の分光感度特性に対応している。なお、この分光感度特性は、ＲＧＢカメラ１１１のものを用いるのが簡便であるが、他のＲＧＢカメラのものであっても構わない。対象染色標本画像の全ての画像位置ｘについての第２の分光透過率データＴ**（ｘ）が算出されているので、画像位置ｘについてＴ**（ｘ）をＲＧＢ値に変換する処理を画像全体に渡って反復すれば、撮像したマルチバンド画像と同じ幅と高さを有するＲＧＢ画像が得られる。合成された表示用のＲＧＢ画像に係るデータは、記憶部１４０に格納される。
【００６９】
そして、ＲＧＢ画像表示制御部１６３が、ＲＧＢ画像合成部１５８によって合成されたＲＧＢ画像を表示部１３０に表示する制御を行う（ステップＳ２９）。
【００７０】
以上説明した本実施の形態によれば、標準的な染色状態にある標準染色標本を撮像した標準標本画像の各画像位置における色素量の色素量分布に基づいて、各画像位置を主要要素数で分類した標準標本クラスに係るデータを予め設定しておく。そして、対象染色標本を撮像した対象染色標本画像の各画像位置における推定色素量の色素量分布に基づいて各画像位置を染色標本クラスに分類し、各染色標本クラスに対応する標準標本クラスをそれぞれ特定することによって、各染色標本クラスと各標準標本クラスとを対応付けることができる。そして、各染色標本クラスの部分色素量分布の分布形状を、対応する標準標本クラスの部分色素量分布の分布形状特徴に基づいて分布形状変換する分布形状変換処理を行い、染色標本クラスに属する各画像位置における推定色素量を変換して補正することができる。これによれば、染色標本画像の各画像位置の色素量分布を、標準標本画像の各画像位置の色素量分布に近似させることができる。さらに、補正した色素Ｈおよび色素Ｅの補正色素量と、色素Ｒの推定色素量とを用いて表示用のＲＧＢ画像を合成することができる。これによれば、対象染色標本画像の色素量分布と標準標本画像の色素量分布とが大きく異なる場合や、対象染色標本画像の色素量分布において推定誤差等によって分布から大きく外れた値が存在する場合であっても、染色標本画像の各画像位置における推定色素量を、標準染色標本の標準的な染色状態に合わせて適切に補正することができ、不自然な発色を抑えることができる。
【００７１】
なお、上記の実施の形態では、推定された色素Ｈおよび色素Ｅの色素量ｄH，ｄEについて補正色素量ｄH´，ｄE´を求めることとしたが、色素Ｒについても、同様にして補正色素量ｄR´を算出することとしてもよい。ただし、色素Ｒは、染色状態による影響を受け難く、常に鮮やかな赤色に発色しているため、実用上変換・補正の必要がない場合が多い。
【００７２】
また、上記した実施の形態では、染色標本クラスｃiのＨＥ色素量分布の重心位置と標準標本クラスｓｔｄ＿ｃjのＨＥ色素量分布の重心位置との間の距離が最小となる組み合わせを特定することによって、各染色標本クラスｃiと各標準標本クラスｓｔｄ＿ｃjとの対応関係を設定することとしたが、これに限定されるものではない。例えば、上記した実施の形態のように、対象染色標本に含まれる主要要素の数と標準標本に含まれる主要要素の数とが同じ場合、すなわち染色標本クラスｃiの数と標準標本クラスｓｔｄ＿ｃjの数とが同じ場合には、各染色標本クラスｃiの部分色素量分布の重心位置を、対象染色標本画像の各画像位置の色素量分布の原点からの距離に従って順序付けるとともに、各標準標本クラスｓｔｄ＿ｃjの部分色素量分布の重心位置を、標準標本画像の各画像位置の色素量分布の原点からの距離に従って順序付け、各順序付けに従って各染色標本クラスｃiと各標準標本クラスｓｔｄ＿ｃjとの対応関係を設定することとしてもよい。あるいは、各染色標本クラスｃiの部分色素量分布の重心位置を、該重心位置における所定の色素（例えば、色素Ｈ）の色素量に従って順序付けるとともに、各標準標本クラスｓｔｄ＿ｃjの部分色素量分布の重心位置を、該重心位置における所定の色素（例えば、色素Ｈ）の色素量に従って順序付け、各順序付けに従って各染色標本クラスｃiと各標準標本クラスｓｔｄ＿ｃjとの対応関係を設定することとしてもよい。
【００７３】
また、観測対象の染色標本から表示用のＲＧＢ画像を合成する際に算出したＨＲ色素量分布を、図７に例示したようなＨＲ色素量分布図として表示部１３０に表示させることとしてもよい。また、最終的に合成された表示用のＲＧＢ画像を記憶部１４０に蓄積・記憶しておき、これらをユーザ操作に従って表示部１３０に表示させることとしてもよい。例えば、全てのＲＧＢ画像を一覧で表示させたり、ユーザ操作に従って選択されたＲＧＢ画像を表示させる制御が可能である。また、ＲＧＢ画像と対応付けて、この表示用のＲＧＢ画像を合成する際に算出したＨＲ色素量分布のデータを記憶部１４０に格納しておくこととしてもよい。この場合には、ユーザ操作に従って、選択されたＲＧＢ画像あるいはＨＲ色素量分布図を表示させることができる。
【００７４】
また、上記の実施の形態では、Ｈ＆Ｅ染色された病理標本を透過観察する場合について説明したが、他の染色法を用いて染色した生体標本に対しても適用することができる。また、透過光の観察だけでなく、反射光、蛍光、発光の観察においても、同様に適用することができる。
【図面の簡単な説明】
【００７５】
【図１】画像処理装置の機能構成を示すブロック図である。
【図２】画像取得部の構成を示す図である。
【図３】カラーフィルタの配列例を模式的に示す図である。
【図４−１】一の光学フィルタの分光透過率特性を示す図である。
【図４−２】他の光学フィルタの分光透過率特性を示す図である。
【図５】Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。
【図６】画像処理装置における処理の手順を示すフローチャートである。
【図７】対象染色標本画像の各画像位置のＨＥ色素量分布図の一例を示す図である。
【図８】図７に示したＨＥ色素量分布における各画像位置のクラス分類結果を示す図である。
【図９】標準標本画像の各画像位置のＨＥ色素量分布図の一例を示す図である。
【図１０】図９に示したＨＥ色素量分布における各画像位置のクラス分類結果を示す図である。
【図１１】染色標本クラスと標準標本クラスとの対応関係の設定処理を説明するための説明図である。
【図１２】染色標本を撮像したマルチバンド画像の一例を示す図である。
【符号の説明】
【００７６】
１０ 画像処理装置
１１０ 画像取得部
１２０ 操作部
１３０ 表示部
１４０ 記憶部
１４１ 標準標本クラス情報
１４３ 画像処理プログラム
１５０ 画像処理部
１５１ スペクトル推定部
１５２ 色素量推定部
１５３ クラス分類部
１５４ 分布形状特徴算出部
１５５ クラス特定部
１５６ 色素量補正部
１５７ スペクトル算出部
１５８ ＲＧＢ画像合成部
１６０ 制御部
１６１ 標本画像取得制御部
１６３ ＲＧＢ画像表示制御部
【特許請求の範囲】
【請求項１】
複数種類の色素によって染色された染色標本を撮像した染色標本画像を処理する画像処理装置において、
前記複数種類の色素によって標準的に染色された標準染色標本を撮像した標準標本画像の各画像位置を、該各画像位置における色素量の色素量分布に基づいて分類した標準標本クラスの色素量分布を記憶する標準データ記憶手段と、
前記染色標本画像の各画像位置における色素量を推定する色素量推定手段と、
前記色素量推定手段によって推定された各画像位置における色素量に基づいて、前記染色標本画像での前記各画像位置の色素量分布を算出し、算出した色素量分布に基づいて、前記染色標本画像での前記各画像位置を染色標本クラスに分類するクラス分類手段と、
前記クラス分類手段によって分類された前記染色標本クラスの色素量分布の分布形状特徴と、前記標準標本クラスの色素量分布の分布形状特徴とを比較し、該比較結果をもとに前記染色標本クラスに属する各画像位置における色素量を補正する色素量補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記色素量補正手段は、前記染色標本クラスを前記標準標本クラスと対応付ける対応関係設定手段を有し、前記対応関係設定手段によって設定された対応付けに従って、前記染色標本クラスの色素量分布の分布形状特徴と、対応する前記標準標本クラスの色素量分布の分布形状特徴とを比較した比較結果をもとに、前記染色標本クラスに属する各画像位置における色素量を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対応関係設定手段は、前記染色標本クラスの色素量分布の重心位置と、前記標準標本クラスの色素量分布の重心位置それぞれとを比較し、重心位置間の距離が最小となる前記染色標本クラスと前記標準標本クラスとの組み合わせを特定することによって、前記染色標本クラスを前記標準標本クラスと対応付けることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記標準データ記憶手段は、前記標準標本画像の各画像位置を、所定のカテゴリーの数で分類して前記標準標本クラスの色素量分布を記憶し、
前記クラス分類手段は、前記染色標本画像の各画像位置を、前記所定のカテゴリーの数で分類し、
前記対応関係設定手段は、各染色標本クラスの色素量分布の重心位置を、前記染色標本画像の各画像位置の色素量分布の原点からの距離に従って順序付けるとともに、各標準標本クラスの色素量分布の重心位置を、前記標準標本画像の各画像位置の色素量分布の原点からの距離に従って順序付け、各順序付けに従って前記各染色標本クラスを前記各標準標本クラスと対応付けることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記標準データ記憶手段は、前記標準標本画像の各画像位置を、所定のカテゴリーの数で分類して前記標準標本クラスの色素量分布を記憶し、
前記クラス分類手段は、前記染色標本画像の各画像位置を、前記所定のカテゴリーの数で分類し、
前記対応関係設定手段は、各染色標本クラスの色素量分布の重心位置を、該重心位置における所定の色素の色素量に従って順序付けるとともに、各標準標本クラスの色素量分布の重心位置を、該重心位置における前記所定の色素の色素量に従って順序付け、各順序付けに従って前記各染色標本クラスを前記各標準標本クラスと対応付けることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記色素量補正手段は、前記対応関係設定手段によって設定された対応付けに従って、前記染色標本クラスの色素量分布を、対応する前記標準標本クラスの色素量分布の分布形状特徴に基づいて分布形状変換することで、前記染色標本クラスに属する各画像位置における色素量を変換することを特徴とする請求項２〜５のいずれか一つに記載の画像処理装置。
【請求項７】
前記色素量分布の分布形状特徴は、少なくともその重心位置と分散共分散行列とによって定義されることを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項８】
前記標準染色標本は、予め定められた複数の主要要素を含み、
前記標準データ記憶手段は、前記標準標本画像の各画像位置を、前記複数の主要要素の数で分類して前記標準標本クラスの色素量分布を記憶し、
前記クラス分類手段は、前記染色標本画像の各画像位置を、前記染色標本に含まれる前記主要要素の数の染色標本クラスに分類することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記色素量補正手段によって補正された色素量に基づいて、表示用画像を生成する表示画像生成手段を備えることを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
【請求項１０】
前記色素量補正手段によって補正された色素量をもとに分光特性値を算出する分光特性値算出手段を備え、
前記表示画像生成手段は、前記分光特性値算出手段によって算出された分光特性値から前記表示用画像を生成することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
複数種類の色素によって染色された染色標本を撮像した染色標本画像を処理するコンピュータに、
前記複数種類の色素によって標準的に染色された標準染色標本を撮像した標準標本画像の各画像位置を、該各画像位置における色素量の色素量分布に基づいて分類した標準標本クラスの色素量分布を記憶する標準データ記憶ステップ、
前記染色標本画像の各画像位置における色素量を推定する色素量推定ステップ、
前記色素量推定ステップによって推定された各画像位置における色素量に基づいて、前記染色標本画像での前記各画像位置の色素量分布を算出し、算出した色素量分布に基づいて、前記染色標本画像での前記各画像位置を染色標本クラスに分類するクラス分類ステップ、
前記クラス分類ステップによって分類された前記染色標本クラスの色素量分布の分布形状特徴と、前記標準標本クラスの色素量分布の分布形状特徴とを比較し、該比較結果をもとに前記染色標本クラスに属する各画像位置における色素量を補正する色素量補正ステップ、
を実行させることを特徴とする画像処理プログラム。
【請求項１】
複数種類の色素によって染色された染色標本を撮像した染色標本画像を処理する画像処理装置において、
前記複数種類の色素によって標準的に染色された標準染色標本を撮像した標準標本画像の各画像位置を、該各画像位置における色素量の色素量分布に基づいて分類した標準標本クラスの色素量分布を記憶する標準データ記憶手段と、
前記染色標本画像の各画像位置における色素量を推定する色素量推定手段と、
前記色素量推定手段によって推定された各画像位置における色素量に基づいて、前記染色標本画像での前記各画像位置の色素量分布を算出し、算出した色素量分布に基づいて、前記染色標本画像での前記各画像位置を染色標本クラスに分類するクラス分類手段と、
前記クラス分類手段によって分類された前記染色標本クラスの色素量分布の分布形状特徴と、前記標準標本クラスの色素量分布の分布形状特徴とを比較し、該比較結果をもとに前記染色標本クラスに属する各画像位置における色素量を補正する色素量補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記色素量補正手段は、前記染色標本クラスを前記標準標本クラスと対応付ける対応関係設定手段を有し、前記対応関係設定手段によって設定された対応付けに従って、前記染色標本クラスの色素量分布の分布形状特徴と、対応する前記標準標本クラスの色素量分布の分布形状特徴とを比較した比較結果をもとに、前記染色標本クラスに属する各画像位置における色素量を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対応関係設定手段は、前記染色標本クラスの色素量分布の重心位置と、前記標準標本クラスの色素量分布の重心位置それぞれとを比較し、重心位置間の距離が最小となる前記染色標本クラスと前記標準標本クラスとの組み合わせを特定することによって、前記染色標本クラスを前記標準標本クラスと対応付けることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記標準データ記憶手段は、前記標準標本画像の各画像位置を、所定のカテゴリーの数で分類して前記標準標本クラスの色素量分布を記憶し、
前記クラス分類手段は、前記染色標本画像の各画像位置を、前記所定のカテゴリーの数で分類し、
前記対応関係設定手段は、各染色標本クラスの色素量分布の重心位置を、前記染色標本画像の各画像位置の色素量分布の原点からの距離に従って順序付けるとともに、各標準標本クラスの色素量分布の重心位置を、前記標準標本画像の各画像位置の色素量分布の原点からの距離に従って順序付け、各順序付けに従って前記各染色標本クラスを前記各標準標本クラスと対応付けることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記標準データ記憶手段は、前記標準標本画像の各画像位置を、所定のカテゴリーの数で分類して前記標準標本クラスの色素量分布を記憶し、
前記クラス分類手段は、前記染色標本画像の各画像位置を、前記所定のカテゴリーの数で分類し、
前記対応関係設定手段は、各染色標本クラスの色素量分布の重心位置を、該重心位置における所定の色素の色素量に従って順序付けるとともに、各標準標本クラスの色素量分布の重心位置を、該重心位置における前記所定の色素の色素量に従って順序付け、各順序付けに従って前記各染色標本クラスを前記各標準標本クラスと対応付けることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記色素量補正手段は、前記対応関係設定手段によって設定された対応付けに従って、前記染色標本クラスの色素量分布を、対応する前記標準標本クラスの色素量分布の分布形状特徴に基づいて分布形状変換することで、前記染色標本クラスに属する各画像位置における色素量を変換することを特徴とする請求項２〜５のいずれか一つに記載の画像処理装置。
【請求項７】
前記色素量分布の分布形状特徴は、少なくともその重心位置と分散共分散行列とによって定義されることを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項８】
前記標準染色標本は、予め定められた複数の主要要素を含み、
前記標準データ記憶手段は、前記標準標本画像の各画像位置を、前記複数の主要要素の数で分類して前記標準標本クラスの色素量分布を記憶し、
前記クラス分類手段は、前記染色標本画像の各画像位置を、前記染色標本に含まれる前記主要要素の数の染色標本クラスに分類することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記色素量補正手段によって補正された色素量に基づいて、表示用画像を生成する表示画像生成手段を備えることを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
【請求項１０】
前記色素量補正手段によって補正された色素量をもとに分光特性値を算出する分光特性値算出手段を備え、
前記表示画像生成手段は、前記分光特性値算出手段によって算出された分光特性値から前記表示用画像を生成することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
複数種類の色素によって染色された染色標本を撮像した染色標本画像を処理するコンピュータに、
前記複数種類の色素によって標準的に染色された標準染色標本を撮像した標準標本画像の各画像位置を、該各画像位置における色素量の色素量分布に基づいて分類した標準標本クラスの色素量分布を記憶する標準データ記憶ステップ、
前記染色標本画像の各画像位置における色素量を推定する色素量推定ステップ、
前記色素量推定ステップによって推定された各画像位置における色素量に基づいて、前記染色標本画像での前記各画像位置の色素量分布を算出し、算出した色素量分布に基づいて、前記染色標本画像での前記各画像位置を染色標本クラスに分類するクラス分類ステップ、
前記クラス分類ステップによって分類された前記染色標本クラスの色素量分布の分布形状特徴と、前記標準標本クラスの色素量分布の分布形状特徴とを比較し、該比較結果をもとに前記染色標本クラスに属する各画像位置における色素量を補正する色素量補正ステップ、
を実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４−１】
【図４−２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４−１】
【図４−２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１４３５５（Ｐ２００９−１４３５５Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７３２４６（Ｐ２００７−１７３２４６）
【出願日】平成１９年６月２９日（２００７．６．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年６月２９日（２００７．６．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]