画像処理装置および画像処理プログラム
【課題】染色標本の染色状態の個体差に起因する分光特性の推定誤差を軽減し、染色標本の分光特性の推定精度を向上させること。
【解決手段】画像処理装置１は、染色標本を撮像した染色標本画像を処理し、染色標本の分光特性を推定するものであり、染色標本画像の色情報を取得する色情報取得部１５２と、色情報取得部１５２によって取得された色情報をもとに対象標本の染色状態を評価する染色状態評価部１５３と、染色状態評価部１５３による評価結果に応じて染色標本の分光特性を推定する分光透過率推定部１５８とを備える。
【解決手段】画像処理装置１は、染色標本を撮像した染色標本画像を処理し、染色標本の分光特性を推定するものであり、染色標本画像の色情報を取得する色情報取得部１５２と、色情報取得部１５２によって取得された色情報をもとに対象標本の染色状態を評価する染色状態評価部１５３と、染色状態評価部１５３による評価結果に応じて染色標本の分光特性を推定する分光透過率推定部１５８とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも１つの色素で染色された染色標本を撮像した染色標本画像を処理して染色標本の分光特性を推定する画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の１つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光透過率の推定技術が利用されている。
【０００３】
病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の１つである。この場合、薄切された標本は光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。
【０００５】
ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性は無い。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。一方エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００６】
Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、染色標本の状態を形態学的に判断することが可能となる。
【０００７】
染色標本の観察は、観察者の目視によるものの他、この染色標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率に基づいて標本を染色している色素の色素量を推定する処理、推定した色素量に基づいて画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の染色標本のＲＧＢ画像が合成される。図１５は、合成されたＲＧＢ画像の一例を示す図である。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。したがって、染色標本の分光透過率を高精度に推定することが、染色標本に固定された色素量の推定や、染色ばらつきの補正等の高精度化に繋がる。
【０００８】
染色標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法（例えば、非特許文献１参照）や、ウィナー（Wiener）推定による推定法（例えば、非特許文献２参照）等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の１つとして広く知られており、観測対象の統計的性質と撮像ノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【０００９】
ここで、ウィナー推定法によって染色標本のマルチバンド画像から標本各点の分光透過率を推定する方法について説明する。
【００１０】
先ず、染色標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、染色標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる染色標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、染色標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する染色標本上の点を意味している。
【００１１】
撮像されたマルチバンド画像の位置ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する染色標本上の点（対応点）の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【数１】
λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける撮像ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。
【００１２】
実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、位置ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
【００１３】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
【００１４】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値Ｔ＾（ｘ）は、次式（４）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表すハット（＾）が付いていることを示す。
【数２】
【００１５】
ここで、Ｗは次式（５）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。以下の説明では、Ｗを単に「推定オペレータ」と称す。
【数３】
ＲSSは、Ｄ行Ｄ列の行列であり、染色標本の分光透過率の自己相関行列を表す。ＲNNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。このように、推定オペレータＷは、システム行列Ｈと、観測対象の統計的性質を表す項ＲSSと、撮像ノイズの特性を表す項ＲNNから構成され、それぞれの特性を高精度に表す事が、分光透過率の推定精度の向上に繋がる。
【００１６】
【特許文献１】特開平７−１２０３２４号公報
【非特許文献１】“Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions”，Proceedings of SPIE，Vol.4684，2002，p.1516-1523
【非特許文献２】“Color Correction of Pathological Images Based on Dye Amount Quantification”，OPTICAL REVIEW，Vol.12，No.4，2005，p.293-300
【発明の開示】
【発明が解決しようとする課題】
【００１７】
非特許文献１に開示されている手法に従い、推定オペレータＷを用いてマルチバンド画像から標本各点の分光透過率を推定する場合、式（５）で示したシステム行列Ｈを構成する光学フィルタの分光透過率Ｆ、カメラの分光感度特性Ｓおよび照明の分光放射特性Ｅと、観測対象の統計的性質を表す項ＲSSと、撮像ノイズの特性を表す項ＲNNとを事前に取得しておく必要がある。このうち、観測対象の統計的性質を表す項である自己相関行列ＲSSは、例えばヘマトキシリンおよびエオジンによって標準的に染色された典型的な標本（標準染色標本）を用意し、分光計によって複数の点の分光スペクトル（分光透過率）を測定して自己相関行列を求めることによって得られる。
【００１８】
ところで、標本の染色を均一に行うことは難しく、同じ染色方法であっても、標本を染色する施設によって、あるいは染色を施す技師によって染色状態（染色の程度）が異なる場合がある。また、標本の厚さの違いによって染色状態が変わってしまう場合もある。このため、分光特性を推定する染色標本の染色状態が、自己相関行列ＲSSの算出時に使用した標準染色標本の染色状態と異なるといった事態が生じてしまい、分光透過率等の分光特性の推定精度が低下するという問題があった。
【００１９】
本発明は、上記した従来の問題点に鑑みて為されたものであり、染色標本の染色状態の個体差に起因する分光特性の推定誤差を軽減し、染色標本の分光特性の推定精度を向上させることができる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記した課題を解決し、目的を達成するため、本発明にかかる画像処理装置は、少なくとも１つの色素で染色された染色標本を撮像した染色標本画像を処理し、前記染色標本の分光特性を推定する画像処理装置であって、前記染色標本画像の色情報を取得する取得手段と、前記取得手段によって取得された前記染色標本画像の色情報をもとに、前記染色標本の染色状態を評価する評価手段と、前記評価手段によって評価された前記染色標本の染色状態に応じて前記染色標本の分光特性を推定する分光特性推定手段と、を備えるものである。
【００２１】
また、本発明にかかる画像処理プログラムは、少なくとも１つの色素で染色された染色標本を撮像した染色標本画像を処理し、前記染色標本の分光特性を推定するコンピュータに、前記染色標本画像の色情報を取得する取得手順と、前記取得手順で取得された前記染色標本画像の色情報をもとに、前記染色標本の染色状態を評価する評価手順と、前記評価手順で評価された前記染色標本の染色状態に応じて前記染色標本の分光特性を推定する分光特性推定手順と、を実行させるためのものである。
【発明の効果】
【００２２】
本発明によれば、染色標本の染色状態によって生じる分光特性の推定誤差を軽減でき、染色標本の分光特性の推定精度が向上するという効果を奏する。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、Ｈ＆Ｅ染色された染色標本（生体組織標本）を被写体とし、この染色標本を撮像した染色標本画像であるマルチバンド画像から被写体の分光スペクトルとして分光透過率スペクトルを推定する場合について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００２４】
（実施の形態）
図１は、本実施の形態の画像処理装置の構成を説明する模式図である。図１に示すように、画像処理装置１は、パーソナル・コンピュータ（パソコン）等のコンピュータで構成され、標本のマルチバンド画像を取得する画像取得部１１０を備える。
【００２５】
画像取得部１１０は、画像取得動作を行ってＨ＆Ｅ染色された分光特性の推定対象の染色標本（以下、「対象標本」と称す。）を撮像し、６バンドのマルチバンド画像を取得する。この画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象標本Ｓが載置される標本保持部１１３、標本保持部１１３上の対象標本Ｓを透過照明する照明部１１５、対象標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。
【００２６】
ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図２は、カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。
【００２７】
フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図３−１は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図３−２は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像および第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いることができる。取得されたマルチバンド画像は、対象標本画像として画像処理装置１の記憶部１４０に保持される。
【００２８】
この画像取得部１１０において、照明部１１５によって照射された照明光は、標本保持部１１３上に載置された対象標本Ｓを透過する。そして、対象標本Ｓを透過した透過光は、光学系１１７および光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図４に示す。
【００２９】
図５は、画像処理装置１の機能構成を説明するブロック図である。本実施の形態では、画像処理装置１は、図１に示して説明した画像取得部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、画像処理部１５０と、装置各部を制御する制御部１６０とを備える。
【００３０】
入力部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた操作信号を制御部１６０に出力する。表示部１３０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号に基づいて各種画面を表示する。
【００３１】
記憶部１４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部１４０には、画像処理装置１を動作させ、この画像処理装置１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。例えば、対象標本画像の画像データ等が格納される。この記憶部１４０は、対象標本画像から取得した色情報をもとに対象標本の染色状態を評価し、評価結果に応じて対象標本の分光特性を推定するための画像処理プログラム１４１を記憶する。また、記憶部１４０は、データセット記憶手段として、主要要素別データセット１４３を記憶する。このデータセット情報主要要素別データセット１４３は、細胞核、細胞質、赤血球および背景の各主要要素別に予め用意された染色状態毎のデータセットを記憶する。
【００３２】
ここで、データセットについて説明する。データセットは、ヘマトキシリンとエオジンとを用いて例えば段階的に異なる染色状態で染色した複数の標準染色標本を用意し、各標準染色標本を用いて取得した色情報および分光情報を対応付けたものであり、予め生成される。図６は、染色状態の異なる各標準染色標本の標準染色標本画像の色情報を、ＲＧＢの各色成分を座標軸としたＲＧＢ空間に写像した様子を示す概念図である。このように、異なる染色状態Ｌ１〜Ｌ３で染色された複数の標準染色標本を用意し、この標準染色標本から取得した色情報および分光情報をデータセットとして記憶部１４０に記憶しておく。より具体的には、標準染色標本画像から色情報を取得するとともに、分光計等を用いて標準染色標本の分光スペクトルを測定することによって分光情報を取得する。そして、対象標本画像の色情報と一致するまたは類似する色情報を持つデータセットが選出され、対象標本の染色状態とデータセットの染色状態とが対応付けられる。
【００３３】
図７は、データセットＤのデータ構成例を示す図である。図７に示すように、データセットＤは、データセットを識別するためのデータセット番号Ｄ１と、標本番号Ｄ３と、色情報Ｄ５と、分光情報Ｄ７とを含む。標本番号Ｄ３は、色情報Ｄ５および分光情報Ｄ７の取得に用いた標準染色標本を識別するための情報であり、その標準染色標本に割り当てられた識別番号が設定される。色情報Ｄ５は、標準染色標本をマルチバンド撮像した標準染色標本画像から取得した１つの画素の画素値であってもよいし、複数の画素の画素値の平均値や最大値、最小値、分布情報であってもよい。また、これらのうちのいずれか１つを色情報Ｄ５として用いてもよいし、複数の情報を色情報Ｄ５として用いることとしてもよい。さらに、この色情報Ｄ５として、ＲＧＢ成分の信号値を用いることとしてもよいし、このＲＧＢ成分の信号値を用いて変換した別の色成分の値を用いることとしてもよい。一方、分光情報Ｄ７としては、分光計等を用いて取得した標準染色標本の分光スペクトルや、この分光スペクトルの平均ベクトル、分光スペクトルから算出した自己相関行列、分光スペクトルから算出した共分散行列、この自己相関行列または共分散行列を用いて算出した推定オペレータＷ、この推定オペレータＷから算出した推定スペクトル等を用いることができる。そして、これらのうちのいずれか１つを分光情報Ｄ７として用いてもよいし、複数の情報を分光情報Ｄ７として用いることとしてもよい。
【００３４】
本実施の形態では、例えば、４つの主要要素である細胞核、細胞質、赤血球および背景を全て含む複数の標本を標準染色標本として用意し、各々を異なる染色状態で染色する。そして、得られた染色状態の異なる複数の標準染色標本を用いて主要要素毎にそれぞれ色情報および分光情報を取得することによって、染色状態毎のデータセットを主要要素別に生成する。
【００３５】
具体的な生成方法としては、例えば先ず、各染色状態の標準染色標本を撮像した標準染色標本画像をその画素値をもとに主要要素毎の領域に分割する。続いて、各主要要素の領域毎に色情報を取得する。本実施の形態では、例えば、予め標本無しの状態で背景を撮像しておく。そして、標準染色標本の各主要要素の領域毎の画素値の平均値を、標本無しの画像の画素値を用いて正規化した値を、その標準染色標本の染色状態についての対応する主要要素の色情報とする。続いて、各主要要素の領域に対応する標準染色標本上の点で分光計等を用いて測定した分光スペクトルをもとに分光情報を取得する。本実施の形態では、例えば、主要要素の領域毎に分光スペクトルを測定し、この分光スペクトルから平均ベクトルを求めて分光情報とする。そして、取得した色情報と分光情報とを対応付けてデータセットとすることによって、染色状態毎のデータセットを主要要素別に生成し、主要要素別データセット１４３とする。なお、主要要素別データセット１４３のデータは、画像処理装置１で生成することとしてもよいし、別の装置で生成されたものを所定の記憶媒体や通信媒体等を介して取得する構成としてもよい。また、この主要要素別データセット１４３のデータは、色情報と分光情報とを対応付けたルックアップテーブルとして記憶部１４０に記憶することができる。
【００３６】
画像処理部１５０は、図５に示すように、ＣＰＵ等のハードウェアによって実現される。この画像処理部１５０は、領域分割手段としての領域分割処理部１５１と、取得手段としての色情報取得部１５２と、評価手段としての染色状態評価部１５３と、自己相関行列算出部１５６と、推定オペレータ算出部１５７と、分光透過率推定部１５８とを含む。自己相関行列算出部１５６、推定オペレータ算出部１５７および分光透過率推定部１５８は、分光特性推定手段に相当する機能部である。
【００３７】
領域分割処理部１５１は、対象標本画像を主要要素毎の領域に分割する。具体的には、領域分割処理部１５１は、対象標本画像を構成する各画素を、その画素値に基づいて主要要素毎の領域に分割する。色情報取得部１５２は、領域分割処理部１５１によって分割された各主要要素の領域毎に色情報を取得する。
【００３８】
染色状態評価部１５３は、色情報取得部１５２によって取得された色情報をもとに、対象標本の染色状態を主要要素毎に評価する。この染色状態評価部１５３は、類似度算出手段としての類似度算出部１５４と、対応付け手段としての染色状態対応付け部１５５とを含む。類似度算出部１５４は、対象標本画像の各主要要素の領域から取得した色情報と、対応する主要要素別の染色状態毎の各データセットの色情報との類似度を算出する。染色状態対応付け部１５５は、対象標本の各主要要素の染色状態を、主要要素別データセット１４３に記憶されている対応する主要要素別の染色状態毎のデータセットの染色状態と対応付ける。
【００３９】
自己相関行列算出部１５６は、染色状態評価部１５３によって評価された対象標本の染色状態に応じて染色標本の分光透過率の自己相関行列ＲSS（以下、単に「自己相関行列ＲSS」と称す。）を算出する。本実施の形態では、自己相関行列算出部１５６は、染色状態対応付け部１５５によって対象標本の各主要要素と染色状態が対応付けられたデータセットの分光情報を用い、主要要素毎に自己相関行列ＲSSを算出する。推定オペレータ算出部１５７は、自己相関行列算出部１５６によって算出された主要要素毎の自己相関行列ＲSSを用いて推定オペレータＷを算出する。分光透過率推定部１５８は、推定オペレータ算出部１５７によって算出された推定オペレータＷを用いて推定対象画素に対応する対応点（以下、「対象標本点」と称す。）の分光透過率を推定する。
【００４０】
制御部１６０は、ＣＰＵ等のハードウェアによって実現される。この制御部１６０は、入力部１２０から入力される操作信号や画像取得部１１０から入力される画像データ、記憶部１４０に格納されるプログラムやデータ等に基づいて画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。また、制御部１６０は、マルチバンド画像取得制御部１６１を含む。マルチバンド画像取得制御部１６１は、画像取得部１１０の動作を制御して対象標本画像を取得する。
【００４１】
図８は、画像処理装置１が行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１４０に格納された画像処理プログラム１４１に従って画像処理装置１の各部が動作することによって実現される。
【００４２】
先ず、マルチバンド画像取得制御部１６１が、画像取得部１１０の動作を制御して対象標本をマルチバンド撮像し、対象標本画像を取得する（ステップＳ１）。
【００４３】
続いて、領域分割処理部１５１が領域分割処理を行って、対象標本画像を主要要素毎の領域に分割する（ステップＳ３）。ここでは、細胞核、細胞質、赤血球および背景の４つの主要要素毎の領域に分割する。図９は、細胞核、細胞質、赤血球および背景の４つの主要要素それぞれの分光スペクトルの一例を示す図である。各主要要素は、それぞれ染色状態の特徴が異なる。このため、対象標本画像を主要要素毎に分割し、各主要要素の領域毎に染色状態を評価するとより好ましい。
【００４４】
そこで領域分割処理部１５１は、例えば、対象標本画像を構成する全ての画素をその画素値に従って４つのクラスＣi（ｉ＝１，２，３，４）に分類することによって領域分割を行う。クラスＣiは、例えば主要要素毎に用意され、ｉをクラスの識別番号とする。ここで、クラス数“４”は、主要要素の数と等しくなるように設定しており、各クラスに分類された画素を対応する主要要素の領域とする。例えば、Ｃ1は細胞核、Ｃ2は細胞質、Ｃ3は赤血球、Ｃ4は背景にそれぞれ対応する。クラス分類の分類手法としては、例えばｋ−平均法を用いる。ｋ−平均法は、教師なしクラスタリングの手法の１つとして広く知られており、クラスの代表ベクトルを反復処理によって逐次更新するものである。
【００４５】
ここで、ｋ−平均法によるクラス分類手順について説明する。ここで、説明のため、対象標本画像を構成する全画素数をＮ、位置ｘの画素の属するクラスの識別番号ｉをＣ（ｘ）、クラスＣiの代表ベクトルをｍi、クラスＣiに属する画素の数をＮiとする。また、ｔ回目の反復処理における変数値を、変数名の右肩に（ｔ）を付けて表す。
【００４６】
先ず、各クラスの代表ベクトルｍiを次式（６）〜（９）に従って初期化する。
ｍ１＝ＧN ・・・（６）
ｍ２＝ＧC ・・・（７）
ｍ３＝ＧR ・・・（８）
ｍ４＝ＧB ・・・（９）
【００４７】
ＧNは、クラスＣ1に割り当てられた主要要素である細胞核領域の標準的な画素値ベクトルであり、予め算出されて記憶部１４０に格納される。例えば、適切な濃度で染色された細胞核を含むＨ＆Ｅ染色された標本を用意する。そして、この標本のマルチバンド画像を画像取得部１１０によって取得し、取得したマルチバンド画像を画面表示して細胞核の領域の指定操作を依頼する。操作者は、目視によってマルチバンド画像中の細胞核の領域を指定する。マルチバンド画像中の細胞核の領域が指定されたならば、例えばその領域内の画素値ベクトルの平均値を算出することによってＧNを求める。同様にして、ＧCはクラスＣ2に割り当てられた主要要素である細胞質領域の標準的な画素値ベクトルであり、ＧRはクラスＣ3に割り当てられた主要要素である赤血球領域の標準的な画素値ベクトルであり、ＧBはクラスＣ4に割り当てられた主要要素である背景領域の標準的な画素値ベクトルであり、それぞれ予め算出されて記憶部１４０に格納される。
【００４８】
続いて、各画素の属するクラスを、例えば次式（１０）に従って初期化する。これにより、画素Ｘjの属するクラスがＣ1に初期化される。ここで、ｊは画素を識別するための添字であり、１≦ｊ≦Ｎを満たす整数である。
【数４】
【００４９】
続いて、次式（１１），（１２），（１３）に従って各値をそれぞれ更新する。ただし、次式（１１）は、対象標本画像を構成する全ての画素Ｘj（ｊ＝１，２，・・・，Ｎ）についてそれぞれ処理を行うことを意味する。
【数５】
【００５０】
すなわち、先ず、各画素それぞれについて、その画素値ベクトルとの差が最小となる代表ベクトルを選出し、当該画素を選出した代表ベクトルのクラスに分類する処理を行い、各画素をクラスＣ1〜Ｃ4へ振り分ける。次いで、分類結果に基づいて各クラスの代表ベクトルを再計算する。そして、この処理を繰り返し行い、全ての画素について属するクラスが変更されなくなり、次式（１４）が成立した場合に、処理を終了する。
【数６】
【００５１】
このように、領域分割処理の結果、対象標本画像を構成する全ての画素がクラスＣi（ｉ＝１，２，３，４）のいずれかに分類される。クラス分類結果は記憶部１４０に保持され、以降の処理は、分類された各主要要素の領域毎に行われる。なお、主要要素の数に従ってクラス数を“４”とした場合について説明したが、このクラス数は、主要要素の数に応じて適宜設定できる。例えば、主要要素の数を１つとする場合には、クラス数を“１”とすることとしてもよい。この場合には、対象標本画像を１つの領域として以降の処理が行われる。あるいは、主要要素数を対象標本画像の全画素数とし、クラス数を全画素数とすることもできる。この場合には、各画素をそれぞれ１つの領域として以降の処理が行われる。また、クラス分類の手法としてｋ−平均法を用いることとしたが、別の手法を採用して領域分割処理を行うこととしてもよい。ここで、クラス数を全画素数とし、各画素を１つの領域として扱う場合には、色情報取得部１５２は、推定対象画素の画素値を取得する。そしてこの場合には、データセットの色情報として推定対象画素の色情報を用い、分光情報として推定対象画素の分光スペクトルを用いることができる。例えば、推定対象画素に対応する色情報の分光透過率データを分光スペクトルとして用いることができる。
【００５２】
続いて図８に示すように、色情報取得部１５２が、領域分割処理された対象標本画像中の主要要素毎に色情報を取得する（ステップＳ４）。色情報は、データセットに含まれる色情報と同様の手法で取得することができる。ここでは、色情報取得部１５２は、各主要要素の領域毎に画素値の平均値を算出し、標本無しの画像の画素値を用いて正規化した値を主要要素毎の色情報として取得する。そして、染色状態評価部１５３が染色状態評価処理を行って、対象標本画像の染色状態を各主要要素の領域毎に評価する（ステップＳ５）。図１０は、染色状態評価処理の詳細な処理手順を示すフローチャートである。
【００５３】
染色状態評価処理では、４つの各主要要素を順次処理主要要素としてループＡの処理を行う（ステップＳ５１〜ステップＳ５６）。すなわち先ず、染色状態評価部１５３は、色情報取得部１５２が処理主要要素の領域から取得した色情報を、特徴空間に写像する（ステップＳ５２）。続いて、染色状態評価部１５３は、主要要素別データセット１４３を参照し、処理主要要素についての染色状態毎の各データセットの色情報を特徴空間に写像する（ステップＳ５３）。
【００５４】
続いて、類似度算出部１５４が、処理主要要素の領域から取得した色情報と、処理主要要素についての染色状態毎の各データセットの色情報との類似度を算出する（ステップＳ５４）。具体的には、次式（１５）に従って、ステップＳ５２で写像した処理主要要素の領域の色情報の写像点と、ステップＳ５３で写像した各データセットの色情報の写像点との距離を特徴空間距離Ｄkとして算出し、算出した値を類似度とする。ｋは、標準染色標本の識別番号を表し、ｂは、バンド番号を表す。また、ｘkは、該当する標本番号のデータセットの色情報の写像点であり、ｘは、処理主要要素の領域の色情報の写像点である。
【数７】
【００５５】
そして、染色状態対応付け部１５５が、類似度算出部１５４によって算出された類似度をもとに、処理主要要素の領域の色情報と色情報が一致するデータセットまたは色情報が類似するデータセットを選出することによって、処理主要要素の染色状態を対応する主要要素についての少なくともいずれか１つのデータセットの染色状態と対応付ける（ステップＳ５５）。
【００５６】
具体的には、各データセットの色情報について算出した類似度をもとに、色情報が一致するデータセットの有無を判定する。例えば、類似度が０として得られた色情報があれば、この色情報のデータセットを色情報が一致するとして選出する。あるいは、色情報が一致しているか否かを判定するための第１の閾値を予め設定しておき、類似度がこの第１の閾値以下である色情報のデータセットを選出することとしてもよい。第１の閾値以下である色情報が複数あった場合には、最も類似度の値が小さい色情報のデータセットを選出するようにしてもよい。
【００５７】
一方、一致する色情報が無い場合には、色情報が類似するデータセットを選出する。本実施の形態では、色情報が類似しているか否かを判定するための第２の閾値を予め設定しておき、類似度がこの第２の閾値以下である色情報のデータセットを、色情報が類似するとして選出する。なお、類似度が小さいものから順に所定数個の色情報のデータセットを選出することとしてもよいし、類似度が最も小さい１つの色情報のデータセットを選出することとしてもよい。処理主要要素について選出したデータセットの情報は、このデータセットの色情報について類似度算出部１５４が算出した類似度のデータとともに、評価結果として記憶部１４０に保持される。
【００５８】
図１１は、処理主要要素の領域の色情報と、対応する主要要素についての染色状態毎の各データセットの色情報とを写像した特徴空間の一例を示す図であり、処理主要要素の染色状態をデータセットの染色状態と対応付ける様子を示している。例えば、図１１の例では、各データセットの色情報の写像点の中から、４つの写像点２〜５が抽出される。すなわち、処理主要要素の領域の色情報の写像点１との特徴空間距離である類似度が、第２の閾値を示す破線の領域内に含まれる４つの写像点２〜５が抽出されており、各写像点２〜５の色情報のデータセットが類似するデータセットとして選出される。
【００５９】
このようにして行われる染色状態評価処理によって、対象標本の各主要要素の染色状態を、それぞれ対応する主要要素についての少なくともいずれか１つのデータセットの染色状態と対応付けることができ、対象標本の染色状態を主要要素毎に評価することができる。
【００６０】
そして、各主要要素をそれぞれ処理主要要素としてループＡの処理を行ったならば、染色状態評価処理を終了して図８のステップＳ５にリターンし、その後ステップＳ７に移る。
【００６１】
ステップＳ７では、自己相関行列算出部１５６が自己相関行列算出処理を行い、図１０の染色状態評価処理によって各主要要素と染色状態が対応付けられたデータセットの分光特性を用いて自己相関行列ＲSSを主要要素毎に算出する。
【００６２】
このとき、図１０の染色状態評価処理のステップＳ５５で色情報が一致する１つのデータセットが選出された場合には、このデータセットの分光情報を用い、次式（１６）に従って自己相関行列ＲSSを算出する。行列式Ｖは、分光情報である分光スペクトルの平均ベクトルを表す。また、Ｔは行列式の転置を表す。
【数８】
【００６３】
一方、図１０の染色状態評価処理のステップＳ５５で色情報が類似するとして複数のデータセットが選出された場合であれば、各データセットの分光情報をもとに自己相関行列ＲSSを算出する。具体的には、色情報が類似するとして選出された各データセットの色情報について図１０のステップＳ５４で類似度算出部１５４が算出した類似度ｄmを用い、次式（１７）に示す重み付き平均ベクトルＶ´を算出する。ｍは、類似するとして選出されたデータセットのデータセット番号を表す。
【数９】
【００６４】
続いて、算出した重み付き平均ベクトルＶ´を用い、自己相関行列ＲSSを次式（１８）に従って算出する。
【数１０】
【００６５】
このようにして行われる自己相関行列算出処理によって、データセットの色情報が、色情報取得部１５２によって取得された色情報と一致するまたは類似するとして選出されたデータセットの分光情報をもとに、自己相関行列ＲSSを算出することができる。したがって、分光特性を推定する染色標本の染色状態と自己相関行列ＲSSの算出に用いる標準染色標本の染色状態との違いを軽減することができる。なお、この自己相関行列算出処理によって分光スペクトルから自己相関行列ＲSSを求め、この自己相関行列ＲSSをデータセットの分光情報として用いることもできる。
【００６６】
以上のようにして主要要素毎に自己相関行列を算出したならば、対象標本の分光特性の推定に移り、対象標本画像の任意の点ｘ（分光特性の推定対象画素）に対応する対象標本上の対象標本点における分光透過率を推定する。すなわち先ず、図８に示すように、推定オペレータ算出部１５７が推定オペレータ算出処理を行い、ステップＳ７で算出した主要要素毎の自己相関行列ＲSSを用いてウィナー推定に用いる推定オペレータＷを算出する（ステップＳ９）。具体的には、背景技術で示した次式（５）に従って算出する。
【数１１】
【００６７】
ここで、背景技術で示したように、次式（３）で定義されるシステム行列Ｈを導入する。
Ｈ＝ＦＳＥ ・・・（３）
【００６８】
光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓおよび単位時間当たりの照明の分光放射特性Ｅ（＾）の各値は、画像取得部１１０を構成する各部に用いる機器を選定した後、分光計等を用いて測定しておく。自己相関行列ＲSSについては、ステップＳ７で算出した主要要素毎の自己相関行列ＲSSのうち、推定対象画素が属する主要要素の自己相関行列ＲSSを用いる。また、ＲＧＢカメラ１１１のノイズの自己相関行列ＲNNについては、推定対象画素の画素値を用いて算出する。すなわち、予め標本を設置せずに標本無しの状態で画像取得部１１０によってマルチバンド画像を取得しておく。そして、得られたマルチバンド画像の各バンドについて画素値に対する画素値の分散を求め、この画素値と画素値の分散とから近似式を算出する。そして、算出した近似式を用いて推定対象画素の画素値に対する画素値の分散を求め、これを対角成分とする行列を生成することによって、ノイズの自己相関行列ＲNNを算出する。ただし、バンド間でノイズの相関は無いと仮定している。
【００６９】
このようにして行われる推定オペレータ算出処理によって、自己相関行列算出部１５６が算出した主要要素毎の自己相関行列ＲSSのうち、推定対象画素が属する主要要素の自己相関行列ＲSSを用いて推定オペレータＷを算出することができる。これにより、推定対象画素が属する主要要素の染色状態に応じて適切な推定オペレータＷを算出することができる。なお、推定オペレータＷは、推定対象画素の分光透過率を推定する際に算出する必要はなく、事前に主要要素毎の自己相関行列ＲSSを用いて主要要素毎に算出しておくこととしてもよい。また、上記した自己相関行列算出処理と推定オペレータ算出処理によって分光スペクトルから推定オペレータＷを求め、この推定オペレータＷをデータセットの分光情報として用いることもできる。
【００７０】
続いて、分光透過率推定部１５８が、ステップＳ９で算出した推定オペレータＷを用いて、推定対象画素に対応する対象標本上の対象標本点における分光透過率データを算出する（ステップＳ１１）。具体的には、背景技術で示した次式（４）に従い、推定対象画素である対象標本画像の任意の点ｘにおける画素の画素値の行列表現Ｇ（ｘ）から、対応する対象標本点における分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）を推定する。得られた分光透過率の推定値Ｔ＾（ｘ）は、記憶部１４０に格納される。
【数１２】
【００７１】
このようにすれば、分光透過率データの算出に際し、推定対象画素が属する主要要素の領域に応じて、その主要要素について推定オペレータ算出部１５７が算出した推定オペレータＷを用いることができる。したがって、対象標本の染色状態の個体差に起因する分光透過率の推定誤差を軽減することができ、染色標本の分光透過率の推定精度を向上させることができる。
【００７２】
本画像処理装置１によって推定された分光透過率は、例えば、対象標本を染色している色素の色素量の推定に用いられる。そして、推定された色素量に基づいて画像の色が補正され、カメラの特性や染色状態のばらつき等が補正されて、表示用のＲＧＢ画像が合成される。このＲＧＢ画像は、表示部１３０に画面表示されて病理診断に利用される。
【００７３】
なお、上記した実施の形態では、対象標本画像から取得した色情報とデータセットの色情報との類似度を算出し、この類似度に従って対象標本画像の染色状態とデータセットの染色状態と対応付ける場合について説明したが、これに限定されない。例えば、対象標本画像から取得した色情報とデータセットの色情報とをユーザに視覚的に提示し、ユーザ操作に従って対象標本の染色状態と対応付ける染色状態のデータセットを決定することとしてもよい。この場合には、制御部１６０が、図１１に例示したような特徴空間での対象標本画像の色情報と染色状態毎の各データセットの色情報との写像点の位置関係を表示部１３０に表示する制御を行うとともに、１つまたは複数のデータセットの選択依頼の通知を表示する制御を行って、表示制御手段およびデータセット選択依頼手段として機能する。図１２は、データセットの選択依頼の通知画面Ｗ１１の一例を示す図である。通知画面Ｗ１１には、データセットの選択を依頼する旨のメッセージＭ１１が表示されている。ユーザは、入力部１２０を介して１つまたは複数のデータセットの色情報を指定することによって、染色状態を対応付けるデータセットを選択する。
【００７４】
また、上記の実施の形態では、病理標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定する場合について説明したが、分光スペクトルとして、分光反射率のスペクトル特徴値を推定する場合にも同様に適用できる。
【００７５】
また、上記の実施の形態では、Ｈ＆Ｅ染色された病理標本を透過観察する場合について説明したが、他の染色法を用いて染色した生体標本に対しても適用することができる。また、透過光の観察だけでなく、反射光、蛍光、発光の観察においても、同様に適用することができる。
【００７６】
また、画像処理装置１は、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、実施の形態で説明した画像処理装置１と同様の機能を有し、画像処理プログラム１４１を実行するコンピュータシステムについて説明する。
【００７７】
図１３は、コンピュータシステム２０の構成を示すシステム構成図であり、図１４は、このコンピュータシステム２０における本体部２１の構成を示すブロック図である。図１３に示すように、コンピュータシステム２０は、本体部２１と、本体部２１からの指示によって表示画面２２１に画像等の情報を表示するためのディスプレイ２２と、このコンピュータシステム２０に種々の情報を入力するためのキーボード２３と、ディスプレイ２２の表示画面２２１上の任意の位置を指定するためのマウス２４とを備える。
【００７８】
また、このコンピュータシステム２０における本体部２１は、図１４に示すように、ＣＰＵ２１１と、ＲＡＭ２１２と、ＲＯＭ２１３と、ハードディスクドライブ（ＨＤＤ）２１４と、ＣＤ−ＲＯＭ２６を受け入れるＣＤ−ＲＯＭドライブ２１５と、ＵＳＢメモリ２７を着脱可能に接続するＵＳＢポート２１６と、ディスプレイ２２、キーボード２３およびマウス２４を接続するＩ／Ｏインターフェース２１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース２１８とを備える。
【００７９】
さらに、このコンピュータシステム２０には、インターネット等の公衆回線Ｎ３に接続するためのモデム２５が接続される。また、コンピュータシステム２０には、ＬＡＮインターフェース２１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）２８１、サーバ２８２、プリンタ２８３等が接続される。
【００８０】
そして、このコンピュータシステム２０は、所定の記憶媒体に記憶された画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記憶媒体とは、ＣＤ−ＲＯＭ２６やＵＳＢメモリ２７の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム２０の内外に備えられるＨＤＤ２１４やＲＡＭ２１２、ＲＯＭ２１３等の「固定用の物理媒体」、モデム２５を介して接続される公衆回線Ｎ３や、ＰＣ（他のコンピュータシステム）２８１またはサーバ２８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」等、コンピュータシステム２０によって読み取り可能な画像処理プログラムを記憶するあらゆる記憶媒体を含む。
【００８１】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記憶媒体にコンピュータ読み取り可能に記憶されるものであり、コンピュータシステム２０は、このような記憶媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム２０によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）２８１またはサーバ２８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【図面の簡単な説明】
【００８２】
【図１】画像処理装置の構成を示す図である。
【図２】カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。
【図３−１】一方の光学フィルタの分光透過率特性を示す図である。
【図３−２】他方の光学フィルタの分光透過率特性を示す図である。
【図４】Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。
【図５】画像処理装置の機能構成を示すブロック図である。
【図６】染色状態の異なる各標準染色標本の標準染色標本画像の色情報をＲＧＢ空間に写像した様子を示す概念図である。
【図７】データセットのデータ構成例を示す図である。
【図８】画像処理装置が行う処理手順を示すフローチャートである。
【図９】細胞核、細胞質、赤血球および背景の各主要要素の分光スペクトルの一例を示す図である。
【図１０】染色状態評価処理の詳細な処理手順を示すフローチャートである。
【図１１】処理主要要素について取得された色情報と、対応する主要要素別の各データセットの色情報とを写像した特徴空間の一例を示す図である。
【図１２】データセットの選択依頼の通知画面の一例を示す図である。
【図１３】実施の形態を適用したコンピュータシステムの構成を示すシステム構成図である。
【図１４】図１２のコンピュータシステムにおける本体部の構成を示すブロック図である。
【図１５】ＲＧＢ画像の一例を示す図である。
【符号の説明】
【００８３】
１ 画像処理装置
１１０ 画像取得部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 画像処理プログラム
１４３ 主要要素別データセット
１５０ 画像処理部
１５１ 領域分割処理部
１５２ 色情報取得部
１５３ 染色状態評価部
１５４ 類似度算出部
１５５ 染色状態対応付け部
１５６ 自己相関行列算出部
１５７ 推定オペレータ算出部
１５８ 分光透過率推定部
１６０ 制御部
１６１ マルチバンド画像取得制御部
【技術分野】
【０００１】
本発明は、少なくとも１つの色素で染色された染色標本を撮像した染色標本画像を処理して染色標本の分光特性を推定する画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の１つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光透過率の推定技術が利用されている。
【０００３】
病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の１つである。この場合、薄切された標本は光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。
【０００５】
ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性は無い。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。一方エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００６】
Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、染色標本の状態を形態学的に判断することが可能となる。
【０００７】
染色標本の観察は、観察者の目視によるものの他、この染色標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率に基づいて標本を染色している色素の色素量を推定する処理、推定した色素量に基づいて画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の染色標本のＲＧＢ画像が合成される。図１５は、合成されたＲＧＢ画像の一例を示す図である。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。したがって、染色標本の分光透過率を高精度に推定することが、染色標本に固定された色素量の推定や、染色ばらつきの補正等の高精度化に繋がる。
【０００８】
染色標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法（例えば、非特許文献１参照）や、ウィナー（Wiener）推定による推定法（例えば、非特許文献２参照）等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の１つとして広く知られており、観測対象の統計的性質と撮像ノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【０００９】
ここで、ウィナー推定法によって染色標本のマルチバンド画像から標本各点の分光透過率を推定する方法について説明する。
【００１０】
先ず、染色標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、染色標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる染色標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、染色標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する染色標本上の点を意味している。
【００１１】
撮像されたマルチバンド画像の位置ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する染色標本上の点（対応点）の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【数１】
λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける撮像ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。
【００１２】
実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、位置ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
【００１３】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
【００１４】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値Ｔ＾（ｘ）は、次式（４）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表すハット（＾）が付いていることを示す。
【数２】
【００１５】
ここで、Ｗは次式（５）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。以下の説明では、Ｗを単に「推定オペレータ」と称す。
【数３】
ＲSSは、Ｄ行Ｄ列の行列であり、染色標本の分光透過率の自己相関行列を表す。ＲNNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。このように、推定オペレータＷは、システム行列Ｈと、観測対象の統計的性質を表す項ＲSSと、撮像ノイズの特性を表す項ＲNNから構成され、それぞれの特性を高精度に表す事が、分光透過率の推定精度の向上に繋がる。
【００１６】
【特許文献１】特開平７−１２０３２４号公報
【非特許文献１】“Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions”，Proceedings of SPIE，Vol.4684，2002，p.1516-1523
【非特許文献２】“Color Correction of Pathological Images Based on Dye Amount Quantification”，OPTICAL REVIEW，Vol.12，No.4，2005，p.293-300
【発明の開示】
【発明が解決しようとする課題】
【００１７】
非特許文献１に開示されている手法に従い、推定オペレータＷを用いてマルチバンド画像から標本各点の分光透過率を推定する場合、式（５）で示したシステム行列Ｈを構成する光学フィルタの分光透過率Ｆ、カメラの分光感度特性Ｓおよび照明の分光放射特性Ｅと、観測対象の統計的性質を表す項ＲSSと、撮像ノイズの特性を表す項ＲNNとを事前に取得しておく必要がある。このうち、観測対象の統計的性質を表す項である自己相関行列ＲSSは、例えばヘマトキシリンおよびエオジンによって標準的に染色された典型的な標本（標準染色標本）を用意し、分光計によって複数の点の分光スペクトル（分光透過率）を測定して自己相関行列を求めることによって得られる。
【００１８】
ところで、標本の染色を均一に行うことは難しく、同じ染色方法であっても、標本を染色する施設によって、あるいは染色を施す技師によって染色状態（染色の程度）が異なる場合がある。また、標本の厚さの違いによって染色状態が変わってしまう場合もある。このため、分光特性を推定する染色標本の染色状態が、自己相関行列ＲSSの算出時に使用した標準染色標本の染色状態と異なるといった事態が生じてしまい、分光透過率等の分光特性の推定精度が低下するという問題があった。
【００１９】
本発明は、上記した従来の問題点に鑑みて為されたものであり、染色標本の染色状態の個体差に起因する分光特性の推定誤差を軽減し、染色標本の分光特性の推定精度を向上させることができる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記した課題を解決し、目的を達成するため、本発明にかかる画像処理装置は、少なくとも１つの色素で染色された染色標本を撮像した染色標本画像を処理し、前記染色標本の分光特性を推定する画像処理装置であって、前記染色標本画像の色情報を取得する取得手段と、前記取得手段によって取得された前記染色標本画像の色情報をもとに、前記染色標本の染色状態を評価する評価手段と、前記評価手段によって評価された前記染色標本の染色状態に応じて前記染色標本の分光特性を推定する分光特性推定手段と、を備えるものである。
【００２１】
また、本発明にかかる画像処理プログラムは、少なくとも１つの色素で染色された染色標本を撮像した染色標本画像を処理し、前記染色標本の分光特性を推定するコンピュータに、前記染色標本画像の色情報を取得する取得手順と、前記取得手順で取得された前記染色標本画像の色情報をもとに、前記染色標本の染色状態を評価する評価手順と、前記評価手順で評価された前記染色標本の染色状態に応じて前記染色標本の分光特性を推定する分光特性推定手順と、を実行させるためのものである。
【発明の効果】
【００２２】
本発明によれば、染色標本の染色状態によって生じる分光特性の推定誤差を軽減でき、染色標本の分光特性の推定精度が向上するという効果を奏する。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、Ｈ＆Ｅ染色された染色標本（生体組織標本）を被写体とし、この染色標本を撮像した染色標本画像であるマルチバンド画像から被写体の分光スペクトルとして分光透過率スペクトルを推定する場合について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００２４】
（実施の形態）
図１は、本実施の形態の画像処理装置の構成を説明する模式図である。図１に示すように、画像処理装置１は、パーソナル・コンピュータ（パソコン）等のコンピュータで構成され、標本のマルチバンド画像を取得する画像取得部１１０を備える。
【００２５】
画像取得部１１０は、画像取得動作を行ってＨ＆Ｅ染色された分光特性の推定対象の染色標本（以下、「対象標本」と称す。）を撮像し、６バンドのマルチバンド画像を取得する。この画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象標本Ｓが載置される標本保持部１１３、標本保持部１１３上の対象標本Ｓを透過照明する照明部１１５、対象標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。
【００２６】
ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図２は、カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。
【００２７】
フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図３−１は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図３−２は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像および第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いることができる。取得されたマルチバンド画像は、対象標本画像として画像処理装置１の記憶部１４０に保持される。
【００２８】
この画像取得部１１０において、照明部１１５によって照射された照明光は、標本保持部１１３上に載置された対象標本Ｓを透過する。そして、対象標本Ｓを透過した透過光は、光学系１１７および光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図４に示す。
【００２９】
図５は、画像処理装置１の機能構成を説明するブロック図である。本実施の形態では、画像処理装置１は、図１に示して説明した画像取得部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、画像処理部１５０と、装置各部を制御する制御部１６０とを備える。
【００３０】
入力部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた操作信号を制御部１６０に出力する。表示部１３０は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号に基づいて各種画面を表示する。
【００３１】
記憶部１４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部１４０には、画像処理装置１を動作させ、この画像処理装置１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。例えば、対象標本画像の画像データ等が格納される。この記憶部１４０は、対象標本画像から取得した色情報をもとに対象標本の染色状態を評価し、評価結果に応じて対象標本の分光特性を推定するための画像処理プログラム１４１を記憶する。また、記憶部１４０は、データセット記憶手段として、主要要素別データセット１４３を記憶する。このデータセット情報主要要素別データセット１４３は、細胞核、細胞質、赤血球および背景の各主要要素別に予め用意された染色状態毎のデータセットを記憶する。
【００３２】
ここで、データセットについて説明する。データセットは、ヘマトキシリンとエオジンとを用いて例えば段階的に異なる染色状態で染色した複数の標準染色標本を用意し、各標準染色標本を用いて取得した色情報および分光情報を対応付けたものであり、予め生成される。図６は、染色状態の異なる各標準染色標本の標準染色標本画像の色情報を、ＲＧＢの各色成分を座標軸としたＲＧＢ空間に写像した様子を示す概念図である。このように、異なる染色状態Ｌ１〜Ｌ３で染色された複数の標準染色標本を用意し、この標準染色標本から取得した色情報および分光情報をデータセットとして記憶部１４０に記憶しておく。より具体的には、標準染色標本画像から色情報を取得するとともに、分光計等を用いて標準染色標本の分光スペクトルを測定することによって分光情報を取得する。そして、対象標本画像の色情報と一致するまたは類似する色情報を持つデータセットが選出され、対象標本の染色状態とデータセットの染色状態とが対応付けられる。
【００３３】
図７は、データセットＤのデータ構成例を示す図である。図７に示すように、データセットＤは、データセットを識別するためのデータセット番号Ｄ１と、標本番号Ｄ３と、色情報Ｄ５と、分光情報Ｄ７とを含む。標本番号Ｄ３は、色情報Ｄ５および分光情報Ｄ７の取得に用いた標準染色標本を識別するための情報であり、その標準染色標本に割り当てられた識別番号が設定される。色情報Ｄ５は、標準染色標本をマルチバンド撮像した標準染色標本画像から取得した１つの画素の画素値であってもよいし、複数の画素の画素値の平均値や最大値、最小値、分布情報であってもよい。また、これらのうちのいずれか１つを色情報Ｄ５として用いてもよいし、複数の情報を色情報Ｄ５として用いることとしてもよい。さらに、この色情報Ｄ５として、ＲＧＢ成分の信号値を用いることとしてもよいし、このＲＧＢ成分の信号値を用いて変換した別の色成分の値を用いることとしてもよい。一方、分光情報Ｄ７としては、分光計等を用いて取得した標準染色標本の分光スペクトルや、この分光スペクトルの平均ベクトル、分光スペクトルから算出した自己相関行列、分光スペクトルから算出した共分散行列、この自己相関行列または共分散行列を用いて算出した推定オペレータＷ、この推定オペレータＷから算出した推定スペクトル等を用いることができる。そして、これらのうちのいずれか１つを分光情報Ｄ７として用いてもよいし、複数の情報を分光情報Ｄ７として用いることとしてもよい。
【００３４】
本実施の形態では、例えば、４つの主要要素である細胞核、細胞質、赤血球および背景を全て含む複数の標本を標準染色標本として用意し、各々を異なる染色状態で染色する。そして、得られた染色状態の異なる複数の標準染色標本を用いて主要要素毎にそれぞれ色情報および分光情報を取得することによって、染色状態毎のデータセットを主要要素別に生成する。
【００３５】
具体的な生成方法としては、例えば先ず、各染色状態の標準染色標本を撮像した標準染色標本画像をその画素値をもとに主要要素毎の領域に分割する。続いて、各主要要素の領域毎に色情報を取得する。本実施の形態では、例えば、予め標本無しの状態で背景を撮像しておく。そして、標準染色標本の各主要要素の領域毎の画素値の平均値を、標本無しの画像の画素値を用いて正規化した値を、その標準染色標本の染色状態についての対応する主要要素の色情報とする。続いて、各主要要素の領域に対応する標準染色標本上の点で分光計等を用いて測定した分光スペクトルをもとに分光情報を取得する。本実施の形態では、例えば、主要要素の領域毎に分光スペクトルを測定し、この分光スペクトルから平均ベクトルを求めて分光情報とする。そして、取得した色情報と分光情報とを対応付けてデータセットとすることによって、染色状態毎のデータセットを主要要素別に生成し、主要要素別データセット１４３とする。なお、主要要素別データセット１４３のデータは、画像処理装置１で生成することとしてもよいし、別の装置で生成されたものを所定の記憶媒体や通信媒体等を介して取得する構成としてもよい。また、この主要要素別データセット１４３のデータは、色情報と分光情報とを対応付けたルックアップテーブルとして記憶部１４０に記憶することができる。
【００３６】
画像処理部１５０は、図５に示すように、ＣＰＵ等のハードウェアによって実現される。この画像処理部１５０は、領域分割手段としての領域分割処理部１５１と、取得手段としての色情報取得部１５２と、評価手段としての染色状態評価部１５３と、自己相関行列算出部１５６と、推定オペレータ算出部１５７と、分光透過率推定部１５８とを含む。自己相関行列算出部１５６、推定オペレータ算出部１５７および分光透過率推定部１５８は、分光特性推定手段に相当する機能部である。
【００３７】
領域分割処理部１５１は、対象標本画像を主要要素毎の領域に分割する。具体的には、領域分割処理部１５１は、対象標本画像を構成する各画素を、その画素値に基づいて主要要素毎の領域に分割する。色情報取得部１５２は、領域分割処理部１５１によって分割された各主要要素の領域毎に色情報を取得する。
【００３８】
染色状態評価部１５３は、色情報取得部１５２によって取得された色情報をもとに、対象標本の染色状態を主要要素毎に評価する。この染色状態評価部１５３は、類似度算出手段としての類似度算出部１５４と、対応付け手段としての染色状態対応付け部１５５とを含む。類似度算出部１５４は、対象標本画像の各主要要素の領域から取得した色情報と、対応する主要要素別の染色状態毎の各データセットの色情報との類似度を算出する。染色状態対応付け部１５５は、対象標本の各主要要素の染色状態を、主要要素別データセット１４３に記憶されている対応する主要要素別の染色状態毎のデータセットの染色状態と対応付ける。
【００３９】
自己相関行列算出部１５６は、染色状態評価部１５３によって評価された対象標本の染色状態に応じて染色標本の分光透過率の自己相関行列ＲSS（以下、単に「自己相関行列ＲSS」と称す。）を算出する。本実施の形態では、自己相関行列算出部１５６は、染色状態対応付け部１５５によって対象標本の各主要要素と染色状態が対応付けられたデータセットの分光情報を用い、主要要素毎に自己相関行列ＲSSを算出する。推定オペレータ算出部１５７は、自己相関行列算出部１５６によって算出された主要要素毎の自己相関行列ＲSSを用いて推定オペレータＷを算出する。分光透過率推定部１５８は、推定オペレータ算出部１５７によって算出された推定オペレータＷを用いて推定対象画素に対応する対応点（以下、「対象標本点」と称す。）の分光透過率を推定する。
【００４０】
制御部１６０は、ＣＰＵ等のハードウェアによって実現される。この制御部１６０は、入力部１２０から入力される操作信号や画像取得部１１０から入力される画像データ、記憶部１４０に格納されるプログラムやデータ等に基づいて画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。また、制御部１６０は、マルチバンド画像取得制御部１６１を含む。マルチバンド画像取得制御部１６１は、画像取得部１１０の動作を制御して対象標本画像を取得する。
【００４１】
図８は、画像処理装置１が行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１４０に格納された画像処理プログラム１４１に従って画像処理装置１の各部が動作することによって実現される。
【００４２】
先ず、マルチバンド画像取得制御部１６１が、画像取得部１１０の動作を制御して対象標本をマルチバンド撮像し、対象標本画像を取得する（ステップＳ１）。
【００４３】
続いて、領域分割処理部１５１が領域分割処理を行って、対象標本画像を主要要素毎の領域に分割する（ステップＳ３）。ここでは、細胞核、細胞質、赤血球および背景の４つの主要要素毎の領域に分割する。図９は、細胞核、細胞質、赤血球および背景の４つの主要要素それぞれの分光スペクトルの一例を示す図である。各主要要素は、それぞれ染色状態の特徴が異なる。このため、対象標本画像を主要要素毎に分割し、各主要要素の領域毎に染色状態を評価するとより好ましい。
【００４４】
そこで領域分割処理部１５１は、例えば、対象標本画像を構成する全ての画素をその画素値に従って４つのクラスＣi（ｉ＝１，２，３，４）に分類することによって領域分割を行う。クラスＣiは、例えば主要要素毎に用意され、ｉをクラスの識別番号とする。ここで、クラス数“４”は、主要要素の数と等しくなるように設定しており、各クラスに分類された画素を対応する主要要素の領域とする。例えば、Ｃ1は細胞核、Ｃ2は細胞質、Ｃ3は赤血球、Ｃ4は背景にそれぞれ対応する。クラス分類の分類手法としては、例えばｋ−平均法を用いる。ｋ−平均法は、教師なしクラスタリングの手法の１つとして広く知られており、クラスの代表ベクトルを反復処理によって逐次更新するものである。
【００４５】
ここで、ｋ−平均法によるクラス分類手順について説明する。ここで、説明のため、対象標本画像を構成する全画素数をＮ、位置ｘの画素の属するクラスの識別番号ｉをＣ（ｘ）、クラスＣiの代表ベクトルをｍi、クラスＣiに属する画素の数をＮiとする。また、ｔ回目の反復処理における変数値を、変数名の右肩に（ｔ）を付けて表す。
【００４６】
先ず、各クラスの代表ベクトルｍiを次式（６）〜（９）に従って初期化する。
ｍ１＝ＧN ・・・（６）
ｍ２＝ＧC ・・・（７）
ｍ３＝ＧR ・・・（８）
ｍ４＝ＧB ・・・（９）
【００４７】
ＧNは、クラスＣ1に割り当てられた主要要素である細胞核領域の標準的な画素値ベクトルであり、予め算出されて記憶部１４０に格納される。例えば、適切な濃度で染色された細胞核を含むＨ＆Ｅ染色された標本を用意する。そして、この標本のマルチバンド画像を画像取得部１１０によって取得し、取得したマルチバンド画像を画面表示して細胞核の領域の指定操作を依頼する。操作者は、目視によってマルチバンド画像中の細胞核の領域を指定する。マルチバンド画像中の細胞核の領域が指定されたならば、例えばその領域内の画素値ベクトルの平均値を算出することによってＧNを求める。同様にして、ＧCはクラスＣ2に割り当てられた主要要素である細胞質領域の標準的な画素値ベクトルであり、ＧRはクラスＣ3に割り当てられた主要要素である赤血球領域の標準的な画素値ベクトルであり、ＧBはクラスＣ4に割り当てられた主要要素である背景領域の標準的な画素値ベクトルであり、それぞれ予め算出されて記憶部１４０に格納される。
【００４８】
続いて、各画素の属するクラスを、例えば次式（１０）に従って初期化する。これにより、画素Ｘjの属するクラスがＣ1に初期化される。ここで、ｊは画素を識別するための添字であり、１≦ｊ≦Ｎを満たす整数である。
【数４】
【００４９】
続いて、次式（１１），（１２），（１３）に従って各値をそれぞれ更新する。ただし、次式（１１）は、対象標本画像を構成する全ての画素Ｘj（ｊ＝１，２，・・・，Ｎ）についてそれぞれ処理を行うことを意味する。
【数５】
【００５０】
すなわち、先ず、各画素それぞれについて、その画素値ベクトルとの差が最小となる代表ベクトルを選出し、当該画素を選出した代表ベクトルのクラスに分類する処理を行い、各画素をクラスＣ1〜Ｃ4へ振り分ける。次いで、分類結果に基づいて各クラスの代表ベクトルを再計算する。そして、この処理を繰り返し行い、全ての画素について属するクラスが変更されなくなり、次式（１４）が成立した場合に、処理を終了する。
【数６】
【００５１】
このように、領域分割処理の結果、対象標本画像を構成する全ての画素がクラスＣi（ｉ＝１，２，３，４）のいずれかに分類される。クラス分類結果は記憶部１４０に保持され、以降の処理は、分類された各主要要素の領域毎に行われる。なお、主要要素の数に従ってクラス数を“４”とした場合について説明したが、このクラス数は、主要要素の数に応じて適宜設定できる。例えば、主要要素の数を１つとする場合には、クラス数を“１”とすることとしてもよい。この場合には、対象標本画像を１つの領域として以降の処理が行われる。あるいは、主要要素数を対象標本画像の全画素数とし、クラス数を全画素数とすることもできる。この場合には、各画素をそれぞれ１つの領域として以降の処理が行われる。また、クラス分類の手法としてｋ−平均法を用いることとしたが、別の手法を採用して領域分割処理を行うこととしてもよい。ここで、クラス数を全画素数とし、各画素を１つの領域として扱う場合には、色情報取得部１５２は、推定対象画素の画素値を取得する。そしてこの場合には、データセットの色情報として推定対象画素の色情報を用い、分光情報として推定対象画素の分光スペクトルを用いることができる。例えば、推定対象画素に対応する色情報の分光透過率データを分光スペクトルとして用いることができる。
【００５２】
続いて図８に示すように、色情報取得部１５２が、領域分割処理された対象標本画像中の主要要素毎に色情報を取得する（ステップＳ４）。色情報は、データセットに含まれる色情報と同様の手法で取得することができる。ここでは、色情報取得部１５２は、各主要要素の領域毎に画素値の平均値を算出し、標本無しの画像の画素値を用いて正規化した値を主要要素毎の色情報として取得する。そして、染色状態評価部１５３が染色状態評価処理を行って、対象標本画像の染色状態を各主要要素の領域毎に評価する（ステップＳ５）。図１０は、染色状態評価処理の詳細な処理手順を示すフローチャートである。
【００５３】
染色状態評価処理では、４つの各主要要素を順次処理主要要素としてループＡの処理を行う（ステップＳ５１〜ステップＳ５６）。すなわち先ず、染色状態評価部１５３は、色情報取得部１５２が処理主要要素の領域から取得した色情報を、特徴空間に写像する（ステップＳ５２）。続いて、染色状態評価部１５３は、主要要素別データセット１４３を参照し、処理主要要素についての染色状態毎の各データセットの色情報を特徴空間に写像する（ステップＳ５３）。
【００５４】
続いて、類似度算出部１５４が、処理主要要素の領域から取得した色情報と、処理主要要素についての染色状態毎の各データセットの色情報との類似度を算出する（ステップＳ５４）。具体的には、次式（１５）に従って、ステップＳ５２で写像した処理主要要素の領域の色情報の写像点と、ステップＳ５３で写像した各データセットの色情報の写像点との距離を特徴空間距離Ｄkとして算出し、算出した値を類似度とする。ｋは、標準染色標本の識別番号を表し、ｂは、バンド番号を表す。また、ｘkは、該当する標本番号のデータセットの色情報の写像点であり、ｘは、処理主要要素の領域の色情報の写像点である。
【数７】
【００５５】
そして、染色状態対応付け部１５５が、類似度算出部１５４によって算出された類似度をもとに、処理主要要素の領域の色情報と色情報が一致するデータセットまたは色情報が類似するデータセットを選出することによって、処理主要要素の染色状態を対応する主要要素についての少なくともいずれか１つのデータセットの染色状態と対応付ける（ステップＳ５５）。
【００５６】
具体的には、各データセットの色情報について算出した類似度をもとに、色情報が一致するデータセットの有無を判定する。例えば、類似度が０として得られた色情報があれば、この色情報のデータセットを色情報が一致するとして選出する。あるいは、色情報が一致しているか否かを判定するための第１の閾値を予め設定しておき、類似度がこの第１の閾値以下である色情報のデータセットを選出することとしてもよい。第１の閾値以下である色情報が複数あった場合には、最も類似度の値が小さい色情報のデータセットを選出するようにしてもよい。
【００５７】
一方、一致する色情報が無い場合には、色情報が類似するデータセットを選出する。本実施の形態では、色情報が類似しているか否かを判定するための第２の閾値を予め設定しておき、類似度がこの第２の閾値以下である色情報のデータセットを、色情報が類似するとして選出する。なお、類似度が小さいものから順に所定数個の色情報のデータセットを選出することとしてもよいし、類似度が最も小さい１つの色情報のデータセットを選出することとしてもよい。処理主要要素について選出したデータセットの情報は、このデータセットの色情報について類似度算出部１５４が算出した類似度のデータとともに、評価結果として記憶部１４０に保持される。
【００５８】
図１１は、処理主要要素の領域の色情報と、対応する主要要素についての染色状態毎の各データセットの色情報とを写像した特徴空間の一例を示す図であり、処理主要要素の染色状態をデータセットの染色状態と対応付ける様子を示している。例えば、図１１の例では、各データセットの色情報の写像点の中から、４つの写像点２〜５が抽出される。すなわち、処理主要要素の領域の色情報の写像点１との特徴空間距離である類似度が、第２の閾値を示す破線の領域内に含まれる４つの写像点２〜５が抽出されており、各写像点２〜５の色情報のデータセットが類似するデータセットとして選出される。
【００５９】
このようにして行われる染色状態評価処理によって、対象標本の各主要要素の染色状態を、それぞれ対応する主要要素についての少なくともいずれか１つのデータセットの染色状態と対応付けることができ、対象標本の染色状態を主要要素毎に評価することができる。
【００６０】
そして、各主要要素をそれぞれ処理主要要素としてループＡの処理を行ったならば、染色状態評価処理を終了して図８のステップＳ５にリターンし、その後ステップＳ７に移る。
【００６１】
ステップＳ７では、自己相関行列算出部１５６が自己相関行列算出処理を行い、図１０の染色状態評価処理によって各主要要素と染色状態が対応付けられたデータセットの分光特性を用いて自己相関行列ＲSSを主要要素毎に算出する。
【００６２】
このとき、図１０の染色状態評価処理のステップＳ５５で色情報が一致する１つのデータセットが選出された場合には、このデータセットの分光情報を用い、次式（１６）に従って自己相関行列ＲSSを算出する。行列式Ｖは、分光情報である分光スペクトルの平均ベクトルを表す。また、Ｔは行列式の転置を表す。
【数８】
【００６３】
一方、図１０の染色状態評価処理のステップＳ５５で色情報が類似するとして複数のデータセットが選出された場合であれば、各データセットの分光情報をもとに自己相関行列ＲSSを算出する。具体的には、色情報が類似するとして選出された各データセットの色情報について図１０のステップＳ５４で類似度算出部１５４が算出した類似度ｄmを用い、次式（１７）に示す重み付き平均ベクトルＶ´を算出する。ｍは、類似するとして選出されたデータセットのデータセット番号を表す。
【数９】
【００６４】
続いて、算出した重み付き平均ベクトルＶ´を用い、自己相関行列ＲSSを次式（１８）に従って算出する。
【数１０】
【００６５】
このようにして行われる自己相関行列算出処理によって、データセットの色情報が、色情報取得部１５２によって取得された色情報と一致するまたは類似するとして選出されたデータセットの分光情報をもとに、自己相関行列ＲSSを算出することができる。したがって、分光特性を推定する染色標本の染色状態と自己相関行列ＲSSの算出に用いる標準染色標本の染色状態との違いを軽減することができる。なお、この自己相関行列算出処理によって分光スペクトルから自己相関行列ＲSSを求め、この自己相関行列ＲSSをデータセットの分光情報として用いることもできる。
【００６６】
以上のようにして主要要素毎に自己相関行列を算出したならば、対象標本の分光特性の推定に移り、対象標本画像の任意の点ｘ（分光特性の推定対象画素）に対応する対象標本上の対象標本点における分光透過率を推定する。すなわち先ず、図８に示すように、推定オペレータ算出部１５７が推定オペレータ算出処理を行い、ステップＳ７で算出した主要要素毎の自己相関行列ＲSSを用いてウィナー推定に用いる推定オペレータＷを算出する（ステップＳ９）。具体的には、背景技術で示した次式（５）に従って算出する。
【数１１】
【００６７】
ここで、背景技術で示したように、次式（３）で定義されるシステム行列Ｈを導入する。
Ｈ＝ＦＳＥ ・・・（３）
【００６８】
光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓおよび単位時間当たりの照明の分光放射特性Ｅ（＾）の各値は、画像取得部１１０を構成する各部に用いる機器を選定した後、分光計等を用いて測定しておく。自己相関行列ＲSSについては、ステップＳ７で算出した主要要素毎の自己相関行列ＲSSのうち、推定対象画素が属する主要要素の自己相関行列ＲSSを用いる。また、ＲＧＢカメラ１１１のノイズの自己相関行列ＲNNについては、推定対象画素の画素値を用いて算出する。すなわち、予め標本を設置せずに標本無しの状態で画像取得部１１０によってマルチバンド画像を取得しておく。そして、得られたマルチバンド画像の各バンドについて画素値に対する画素値の分散を求め、この画素値と画素値の分散とから近似式を算出する。そして、算出した近似式を用いて推定対象画素の画素値に対する画素値の分散を求め、これを対角成分とする行列を生成することによって、ノイズの自己相関行列ＲNNを算出する。ただし、バンド間でノイズの相関は無いと仮定している。
【００６９】
このようにして行われる推定オペレータ算出処理によって、自己相関行列算出部１５６が算出した主要要素毎の自己相関行列ＲSSのうち、推定対象画素が属する主要要素の自己相関行列ＲSSを用いて推定オペレータＷを算出することができる。これにより、推定対象画素が属する主要要素の染色状態に応じて適切な推定オペレータＷを算出することができる。なお、推定オペレータＷは、推定対象画素の分光透過率を推定する際に算出する必要はなく、事前に主要要素毎の自己相関行列ＲSSを用いて主要要素毎に算出しておくこととしてもよい。また、上記した自己相関行列算出処理と推定オペレータ算出処理によって分光スペクトルから推定オペレータＷを求め、この推定オペレータＷをデータセットの分光情報として用いることもできる。
【００７０】
続いて、分光透過率推定部１５８が、ステップＳ９で算出した推定オペレータＷを用いて、推定対象画素に対応する対象標本上の対象標本点における分光透過率データを算出する（ステップＳ１１）。具体的には、背景技術で示した次式（４）に従い、推定対象画素である対象標本画像の任意の点ｘにおける画素の画素値の行列表現Ｇ（ｘ）から、対応する対象標本点における分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）を推定する。得られた分光透過率の推定値Ｔ＾（ｘ）は、記憶部１４０に格納される。
【数１２】
【００７１】
このようにすれば、分光透過率データの算出に際し、推定対象画素が属する主要要素の領域に応じて、その主要要素について推定オペレータ算出部１５７が算出した推定オペレータＷを用いることができる。したがって、対象標本の染色状態の個体差に起因する分光透過率の推定誤差を軽減することができ、染色標本の分光透過率の推定精度を向上させることができる。
【００７２】
本画像処理装置１によって推定された分光透過率は、例えば、対象標本を染色している色素の色素量の推定に用いられる。そして、推定された色素量に基づいて画像の色が補正され、カメラの特性や染色状態のばらつき等が補正されて、表示用のＲＧＢ画像が合成される。このＲＧＢ画像は、表示部１３０に画面表示されて病理診断に利用される。
【００７３】
なお、上記した実施の形態では、対象標本画像から取得した色情報とデータセットの色情報との類似度を算出し、この類似度に従って対象標本画像の染色状態とデータセットの染色状態と対応付ける場合について説明したが、これに限定されない。例えば、対象標本画像から取得した色情報とデータセットの色情報とをユーザに視覚的に提示し、ユーザ操作に従って対象標本の染色状態と対応付ける染色状態のデータセットを決定することとしてもよい。この場合には、制御部１６０が、図１１に例示したような特徴空間での対象標本画像の色情報と染色状態毎の各データセットの色情報との写像点の位置関係を表示部１３０に表示する制御を行うとともに、１つまたは複数のデータセットの選択依頼の通知を表示する制御を行って、表示制御手段およびデータセット選択依頼手段として機能する。図１２は、データセットの選択依頼の通知画面Ｗ１１の一例を示す図である。通知画面Ｗ１１には、データセットの選択を依頼する旨のメッセージＭ１１が表示されている。ユーザは、入力部１２０を介して１つまたは複数のデータセットの色情報を指定することによって、染色状態を対応付けるデータセットを選択する。
【００７４】
また、上記の実施の形態では、病理標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定する場合について説明したが、分光スペクトルとして、分光反射率のスペクトル特徴値を推定する場合にも同様に適用できる。
【００７５】
また、上記の実施の形態では、Ｈ＆Ｅ染色された病理標本を透過観察する場合について説明したが、他の染色法を用いて染色した生体標本に対しても適用することができる。また、透過光の観察だけでなく、反射光、蛍光、発光の観察においても、同様に適用することができる。
【００７６】
また、画像処理装置１は、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、実施の形態で説明した画像処理装置１と同様の機能を有し、画像処理プログラム１４１を実行するコンピュータシステムについて説明する。
【００７７】
図１３は、コンピュータシステム２０の構成を示すシステム構成図であり、図１４は、このコンピュータシステム２０における本体部２１の構成を示すブロック図である。図１３に示すように、コンピュータシステム２０は、本体部２１と、本体部２１からの指示によって表示画面２２１に画像等の情報を表示するためのディスプレイ２２と、このコンピュータシステム２０に種々の情報を入力するためのキーボード２３と、ディスプレイ２２の表示画面２２１上の任意の位置を指定するためのマウス２４とを備える。
【００７８】
また、このコンピュータシステム２０における本体部２１は、図１４に示すように、ＣＰＵ２１１と、ＲＡＭ２１２と、ＲＯＭ２１３と、ハードディスクドライブ（ＨＤＤ）２１４と、ＣＤ−ＲＯＭ２６を受け入れるＣＤ−ＲＯＭドライブ２１５と、ＵＳＢメモリ２７を着脱可能に接続するＵＳＢポート２１６と、ディスプレイ２２、キーボード２３およびマウス２４を接続するＩ／Ｏインターフェース２１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース２１８とを備える。
【００７９】
さらに、このコンピュータシステム２０には、インターネット等の公衆回線Ｎ３に接続するためのモデム２５が接続される。また、コンピュータシステム２０には、ＬＡＮインターフェース２１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）２８１、サーバ２８２、プリンタ２８３等が接続される。
【００８０】
そして、このコンピュータシステム２０は、所定の記憶媒体に記憶された画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記憶媒体とは、ＣＤ−ＲＯＭ２６やＵＳＢメモリ２７の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム２０の内外に備えられるＨＤＤ２１４やＲＡＭ２１２、ＲＯＭ２１３等の「固定用の物理媒体」、モデム２５を介して接続される公衆回線Ｎ３や、ＰＣ（他のコンピュータシステム）２８１またはサーバ２８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」等、コンピュータシステム２０によって読み取り可能な画像処理プログラムを記憶するあらゆる記憶媒体を含む。
【００８１】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記憶媒体にコンピュータ読み取り可能に記憶されるものであり、コンピュータシステム２０は、このような記憶媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム２０によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）２８１またはサーバ２８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【図面の簡単な説明】
【００８２】
【図１】画像処理装置の構成を示す図である。
【図２】カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。
【図３−１】一方の光学フィルタの分光透過率特性を示す図である。
【図３−２】他方の光学フィルタの分光透過率特性を示す図である。
【図４】Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。
【図５】画像処理装置の機能構成を示すブロック図である。
【図６】染色状態の異なる各標準染色標本の標準染色標本画像の色情報をＲＧＢ空間に写像した様子を示す概念図である。
【図７】データセットのデータ構成例を示す図である。
【図８】画像処理装置が行う処理手順を示すフローチャートである。
【図９】細胞核、細胞質、赤血球および背景の各主要要素の分光スペクトルの一例を示す図である。
【図１０】染色状態評価処理の詳細な処理手順を示すフローチャートである。
【図１１】処理主要要素について取得された色情報と、対応する主要要素別の各データセットの色情報とを写像した特徴空間の一例を示す図である。
【図１２】データセットの選択依頼の通知画面の一例を示す図である。
【図１３】実施の形態を適用したコンピュータシステムの構成を示すシステム構成図である。
【図１４】図１２のコンピュータシステムにおける本体部の構成を示すブロック図である。
【図１５】ＲＧＢ画像の一例を示す図である。
【符号の説明】
【００８３】
１ 画像処理装置
１１０ 画像取得部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 画像処理プログラム
１４３ 主要要素別データセット
１５０ 画像処理部
１５１ 領域分割処理部
１５２ 色情報取得部
１５３ 染色状態評価部
１５４ 類似度算出部
１５５ 染色状態対応付け部
１５６ 自己相関行列算出部
１５７ 推定オペレータ算出部
１５８ 分光透過率推定部
１６０ 制御部
１６１ マルチバンド画像取得制御部
【特許請求の範囲】
【請求項１】
少なくとも１つの色素で染色された染色標本を撮像した染色標本画像を処理し、前記染色標本の分光特性を推定する画像処理装置であって、
前記染色標本画像の色情報を取得する取得手段と、
前記取得手段によって取得された前記染色標本画像の色情報をもとに、前記染色標本の染色状態を評価する評価手段と、
前記評価手段によって評価された前記染色標本の染色状態に応じて前記染色標本の分光特性を推定する分光特性推定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
予め前記色素によって異なる染色状態で染色された標準染色標本を用いて取得した染色状態毎の色情報および分光情報を、染色状態毎のデータセットとして記憶するデータセット記憶手段を備え、
前記評価手段は、前記染色標本画像の色情報と前記データセット記憶手段に記憶された前記染色状態毎の各データセットの色情報とをもとに、前記染色標本の染色状態を少なくともいずれか１つのデータセットの染色状態と対応付ける対応付け手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記分光特性推定手段は、前記対応付け手段によって前記染色標本と染色状態が対応付けられたデータセットの分光情報をもとに、前記染色標本の分光特性を推定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記対応付け手段は、前記染色状態毎の各データセットの中から色情報が前記染色標本画像の色情報と一致するデータセットを選出することによって、前記染色状態の対応付けを行うことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記対応付け手段は、前記染色状態毎の各データセットの中から色情報が前記染色標本画像の色情報と類似する１つまたは複数のデータセットを選出することによって、前記染色状態の対応付けを行うことを特徴とする請求項２または３に記載の画像処理装置。
【請求項６】
前記評価手段は、前記染色標本画像の色情報と前記染色状態毎の各データセットの色情報との類似度を算出する類似度算出手段を有し、
前記対応付け手段は、前記類似度算出手段によって算出された類似度をもとに、前記類似する１つまたは複数のデータセットを選出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記評価手段は、前記染色標本画像の色情報を特徴空間に写像した写像点と、前記染色状態毎の各データセットの色情報を前記特徴空間に写像した写像点との距離を前記類似度として算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記分光特性推定手段は、前記対応付け手段によって前記染色標本と染色状態が対応付けられたデータセットの分光情報をもとに、該データセットについて前記類似度算出手段が算出した類似度を用いて前記染色標本の分光特性を推定することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記染色標本画像を１つ以上の領域に分割する領域分割手段を備え、
前記取得手段は、前記領域分割手段によって分割された前記領域毎に色情報を取得し、
前記対応付け手段は、前記取得手段によって前記領域毎に取得された色情報をもとに、前記領域毎に前記染色状態の対応付けを行うことを特徴とする請求項２〜７のいずれか１つに記載の画像処理装置。
【請求項１０】
前記分光特性推定手段は、前記染色標本画像の画素に対応する前記染色標本上の対応点の分光特性値を、前記対応付け手段によって前記染色標本画像の画素が属する領域について染色状態が対応付けられたデータセットの分光情報をもとに推定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記データセット記憶手段は、予め定められた複数の主要要素別に前記染色状態毎のデータセットを記憶しており、
前記領域分割手段は、前記染色対象画像を前記主要要素毎の領域に分割し、
前記対応付け手段は、前記領域分割手段によって分割された前記主要要素毎の領域をもとに、前記主要要素の染色状態を、対応する主要要素についてのデータセットの染色状態と対応付けることを特徴とする請求項９または１０に記載の画像処理装置。
【請求項１２】
少なくとも前記取得手段によって取得された前記染色標本画像の色情報と前記データセット記憶手段に記憶された前記染色状態毎の各データセットの色情報とを表示部に表示する制御を行う表示制御手段と、
前記染色標本の染色状態と対応付ける染色状態のデータセットの選択を依頼するデータセット選択依頼手段と、
を備え、
前記対応付け手段は、前記染色標本の染色状態を、前記データセット選択依頼手段による依頼に応答して選択されたデータセットの染色状態と対応付けることを特徴とする請求項２〜１１のいずれか１つに記載の画像処理装置。
【請求項１３】
前記データセット記憶手段は、
前記色情報として、少なくとも、前記標準染色標本を撮像した標準染色標本画像から取得した１つの画素の画素値、または、複数の画素の画素値の平均値、最大値、最小値および分布情報のいずれかを記憶しており、
前記分光情報として、少なくとも、前記標準染色標本から取得した分光スペクトル、該分光スペクトルの平均ベクトル、前記分光スペクトルから算出した自己相関行列、前記分光スペクトルから算出した共分散行列、前記自己相関行列または前記共分散行列を用いて算出した推定オペレータおよび該推定オペレータから算出した推定スペクトルのいずれか１つを記憶していることを特徴とする請求項２〜１２のいずれか１つに記載の画像処理装置。
【請求項１４】
前記データセット記憶手段は、前記染色状態毎のデータセットを、前記色情報と前記分光情報とを対応付けたルックアップテーブルとして記憶することを特徴とする請求項２〜１３のいずれか１つに記載の画像処理装置。
【請求項１５】
前記取得手段は、少なくとも、前記染色標本画像から取得した１つの画素の画素値、または、複数の画素の画素値の平均値、最大値、最小値および分布情報のいずれかを前記色情報として取得することを特徴とする請求項１〜１４のいずれか１つに記載の画像処理装置。
【請求項１６】
少なくとも１つの色素で染色された染色標本を撮像した染色標本画像を処理し、前記染色標本の分光特性を推定するコンピュータに、
前記染色標本画像の色情報を取得する取得手順と、
前記取得手順で取得された前記染色標本画像の色情報をもとに、前記染色標本の染色状態を評価する評価手順と、
前記評価手順で評価された前記染色標本の染色状態に応じて前記染色標本の分光特性を推定する分光特性推定手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項１】
少なくとも１つの色素で染色された染色標本を撮像した染色標本画像を処理し、前記染色標本の分光特性を推定する画像処理装置であって、
前記染色標本画像の色情報を取得する取得手段と、
前記取得手段によって取得された前記染色標本画像の色情報をもとに、前記染色標本の染色状態を評価する評価手段と、
前記評価手段によって評価された前記染色標本の染色状態に応じて前記染色標本の分光特性を推定する分光特性推定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
予め前記色素によって異なる染色状態で染色された標準染色標本を用いて取得した染色状態毎の色情報および分光情報を、染色状態毎のデータセットとして記憶するデータセット記憶手段を備え、
前記評価手段は、前記染色標本画像の色情報と前記データセット記憶手段に記憶された前記染色状態毎の各データセットの色情報とをもとに、前記染色標本の染色状態を少なくともいずれか１つのデータセットの染色状態と対応付ける対応付け手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記分光特性推定手段は、前記対応付け手段によって前記染色標本と染色状態が対応付けられたデータセットの分光情報をもとに、前記染色標本の分光特性を推定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記対応付け手段は、前記染色状態毎の各データセットの中から色情報が前記染色標本画像の色情報と一致するデータセットを選出することによって、前記染色状態の対応付けを行うことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記対応付け手段は、前記染色状態毎の各データセットの中から色情報が前記染色標本画像の色情報と類似する１つまたは複数のデータセットを選出することによって、前記染色状態の対応付けを行うことを特徴とする請求項２または３に記載の画像処理装置。
【請求項６】
前記評価手段は、前記染色標本画像の色情報と前記染色状態毎の各データセットの色情報との類似度を算出する類似度算出手段を有し、
前記対応付け手段は、前記類似度算出手段によって算出された類似度をもとに、前記類似する１つまたは複数のデータセットを選出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記評価手段は、前記染色標本画像の色情報を特徴空間に写像した写像点と、前記染色状態毎の各データセットの色情報を前記特徴空間に写像した写像点との距離を前記類似度として算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記分光特性推定手段は、前記対応付け手段によって前記染色標本と染色状態が対応付けられたデータセットの分光情報をもとに、該データセットについて前記類似度算出手段が算出した類似度を用いて前記染色標本の分光特性を推定することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記染色標本画像を１つ以上の領域に分割する領域分割手段を備え、
前記取得手段は、前記領域分割手段によって分割された前記領域毎に色情報を取得し、
前記対応付け手段は、前記取得手段によって前記領域毎に取得された色情報をもとに、前記領域毎に前記染色状態の対応付けを行うことを特徴とする請求項２〜７のいずれか１つに記載の画像処理装置。
【請求項１０】
前記分光特性推定手段は、前記染色標本画像の画素に対応する前記染色標本上の対応点の分光特性値を、前記対応付け手段によって前記染色標本画像の画素が属する領域について染色状態が対応付けられたデータセットの分光情報をもとに推定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記データセット記憶手段は、予め定められた複数の主要要素別に前記染色状態毎のデータセットを記憶しており、
前記領域分割手段は、前記染色対象画像を前記主要要素毎の領域に分割し、
前記対応付け手段は、前記領域分割手段によって分割された前記主要要素毎の領域をもとに、前記主要要素の染色状態を、対応する主要要素についてのデータセットの染色状態と対応付けることを特徴とする請求項９または１０に記載の画像処理装置。
【請求項１２】
少なくとも前記取得手段によって取得された前記染色標本画像の色情報と前記データセット記憶手段に記憶された前記染色状態毎の各データセットの色情報とを表示部に表示する制御を行う表示制御手段と、
前記染色標本の染色状態と対応付ける染色状態のデータセットの選択を依頼するデータセット選択依頼手段と、
を備え、
前記対応付け手段は、前記染色標本の染色状態を、前記データセット選択依頼手段による依頼に応答して選択されたデータセットの染色状態と対応付けることを特徴とする請求項２〜１１のいずれか１つに記載の画像処理装置。
【請求項１３】
前記データセット記憶手段は、
前記色情報として、少なくとも、前記標準染色標本を撮像した標準染色標本画像から取得した１つの画素の画素値、または、複数の画素の画素値の平均値、最大値、最小値および分布情報のいずれかを記憶しており、
前記分光情報として、少なくとも、前記標準染色標本から取得した分光スペクトル、該分光スペクトルの平均ベクトル、前記分光スペクトルから算出した自己相関行列、前記分光スペクトルから算出した共分散行列、前記自己相関行列または前記共分散行列を用いて算出した推定オペレータおよび該推定オペレータから算出した推定スペクトルのいずれか１つを記憶していることを特徴とする請求項２〜１２のいずれか１つに記載の画像処理装置。
【請求項１４】
前記データセット記憶手段は、前記染色状態毎のデータセットを、前記色情報と前記分光情報とを対応付けたルックアップテーブルとして記憶することを特徴とする請求項２〜１３のいずれか１つに記載の画像処理装置。
【請求項１５】
前記取得手段は、少なくとも、前記染色標本画像から取得した１つの画素の画素値、または、複数の画素の画素値の平均値、最大値、最小値および分布情報のいずれかを前記色情報として取得することを特徴とする請求項１〜１４のいずれか１つに記載の画像処理装置。
【請求項１６】
少なくとも１つの色素で染色された染色標本を撮像した染色標本画像を処理し、前記染色標本の分光特性を推定するコンピュータに、
前記染色標本画像の色情報を取得する取得手順と、
前記取得手順で取得された前記染色標本画像の色情報をもとに、前記染色標本の染色状態を評価する評価手順と、
前記評価手順で評価された前記染色標本の染色状態に応じて前記染色標本の分光特性を推定する分光特性推定手順と、
を実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３−１】
【図３−２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３−１】
【図３−２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−１６９５９２（Ｐ２０１０−１６９５９２Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−１３６２２（Ｐ２００９−１３６２２）
【出願日】平成２１年１月２３日（２００９．１．２３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年１月２３日（２００９．１．２３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]