画像処理装置および画像処理プログラム
【課題】照明光の照明放射分布の不均一性に起因する分光特性値の推定誤差を軽減し、被写体の分光特性の推定精度を向上させること。
【解決手段】領域分割部１５１は、照明光を照射した状態で標本無しの背景を撮像した照明画像を複数の分割領域に分割する。代表点抽出部１５３は、各分割領域の中から分割領域代表点を抽出する。照明分光放射特性推定部１５５は、カラーフィルタ分光特性データ１４１に記憶された各カラーフィルタそれぞれの分光透過率と、カラーフィルタ標本に含まれる各カラーフィルタを通過した各分割領域代表点のＲＧＢ成分とに基づいて、各分割領域代表点における照明の分光放射特性を推定する。分光特性推定部１５７は、対象標本画像を構成する所定の画素に対応する対象標本点の分光透過率を推定する際に、この所定の画素の属する分割領域の照明の分光放射特性Ｅを用いる。
【解決手段】領域分割部１５１は、照明光を照射した状態で標本無しの背景を撮像した照明画像を複数の分割領域に分割する。代表点抽出部１５３は、各分割領域の中から分割領域代表点を抽出する。照明分光放射特性推定部１５５は、カラーフィルタ分光特性データ１４１に記憶された各カラーフィルタそれぞれの分光透過率と、カラーフィルタ標本に含まれる各カラーフィルタを通過した各分割領域代表点のＲＧＢ成分とに基づいて、各分割領域代表点における照明の分光放射特性を推定する。分光特性推定部１５７は、対象標本画像を構成する所定の画素に対応する対象標本点の分光透過率を推定する際に、この所定の画素の属する分割領域の照明の分光放射特性Ｅを用いる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像した対象画像の画素値をもとに、前記被写体の分光特性を推定する画像処理装置および画像処理プログラムに関する。
【０００２】
被写体に固有の物理的性質を表す物理量の一つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光透過率の推定技術が利用されている。
【０００３】
病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された標本は光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。
【０００５】
ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００６】
エオジンは好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００７】
Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、染色標本の状態を形態学的に判断することが可能となる。
【０００８】
染色された標本の観察は、観察者の目視によるものの他、この染色された標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率に基づいて標本を染色している色素の色素量を推定する処理、推定した色素量に基づいて画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の標本のＲＧＢ画像が合成される。図１９は、合成されたＲＧＢ画像の一例を示す図である。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。したがって、染色標本の分光透過率を高精度に推定することが、染色標本に固定された色素量の推定や、染色ばらつきの補正等の高精度化に繋がる。
【０００９】
標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法（例えば、非特許文献１参照）や、ウィナー（Wiener）推定による推定法（例えば、非特許文献２参照）等が挙げられる。
【００１０】
ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質と観測ノイズの特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【００１１】
ここで、ウィナー推定法によって標本のマルチバンド画像から標本各点の分光透過率を推定する方法について説明する。
【００１２】
先ず、標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる染色標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１３】
撮像されたマルチバンド画像の位置ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【数１】
λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける撮像ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。
【００１４】
実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、位置ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
【００１５】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。Ｈはシステム行列と呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
【００１６】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値Ｔ＾（ｘ）は、次式（４）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表すハット（＾）が付いていることを示す。
【数２】
【００１７】
ここで、Ｗは、ウィナー推定行列と呼ばれ、次式（５）で表される。
【数３】
ＲSSは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。ＲNNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラの撮像ノイズの自己相関行列を表す。このように、ウィナー推定行列は、システム行列Ｈと、観測対象の統計的性質を表す項ＲSSと、観測ノイズの特性を表す項ＲNNから構成され、それぞれの特性を高精度に表す事が、分光透過率の推定精度の向上に繋がる。
【００１８】
【特許文献１】特開平７−１２０３２４号公報
【非特許文献１】“Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions”，Proceedings of SPIE，Vol.4684，2002，p.1516-1523
【非特許文献２】“Color Correction of Pathological Images Based on Dye Amount Quantification”，OPTICAL REVIEW，Vol.12，No.4，2005，p.293-300
【発明の開示】
【発明が解決しようとする課題】
【００１９】
ところで、非特許文献１に開示されている手法に従い、ウィナー推定を用いてマルチバンド画像から標本各点の分光透過率を推定する場合には、式（１）に示すカメラの応答システムの関係性に基づき、式（３）に示す光学フィルタの分光透過率Ｆ、カメラの分光感度特性Ｓ、および照明の分光放射特性Ｅと、式（５）に示す観測対象の統計的性質を表す自己相関行列ＲSS、および観測ノイズの特性を表す自己相関行列ＲNNを事前に測定する必要がある。
【００２０】
このうち、式（３）に含まれる照明の分光放射特性Ｅは、分光計を用いて複数の画素からなる所定範囲の領域（測定領域）における照明の分光放射特性を測定し、得られた測定値を代表値として用いていた。すなわち、所定の測定領域における照明の分光放射特性の測定値を、同一視野内の画素に一様に適用していた。しかしながら、照明光には照明放射分布の不均一性が存在し、同一視野内を均一な照明強度で照射することは技術的に難しい。このため、実際の照明の分光放射特性Ｅは、照明光の照明放射分布の不均一性の影響をうけて同一視野内の各点で特性が異なる場合があり、各画素に同じ照明の分光放射特性Ｅを適用して分光透過率の推定を行うと、推定精度が低下するという問題があった。
【００２１】
また、照明光を照射するランプには寿命があり、その分光放射特性は、累積使用時間に伴って変化する。このため、照明の分光放射特性については、マルチバンド画像の取得前に毎回測定する、あるいは定期的に測定することが好ましい。しかしながら、この照明の分光放射特性は分光計によって測定するため、ユーザにとっては、分光計の設置や調整等の作業が手間であった。また、装置に分光計を設ける必要があり、コストの増加にも繋がる。
【００２２】
本発明は、上記した従来の問題点に鑑みて為されたものであり、照明光の照明放射分布の不均一性に起因する分光特性値の推定誤差を軽減し、被写体の分光特性の推定精度を向上させることができる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２３】
上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置は、照明光を照射して被写体を撮像した対象画像の画素値をもとに、前記被写体の分光特性を推定する画像処理装置において、前記照明光を照射した状態で背景を撮像した照明画像を、複数の分割領域に分割する領域分割処理を実行する領域分割手段と、前記領域分割手段によって分割された各分割領域それぞれの中から、少なくとも一つの分割領域代表点を抽出する分割領域代表点抽出手段と、少なくとも照明の分光放射特性を含む前記分割領域代表点抽出手段によって抽出された分割領域代表点のシステム行列を、複数のカラーフィルタを撮像することで得た画像データを用いて推定するシステム行列推定手段と、前記対象画像を構成する画素に対応する被写体位置の分光特性値を、前記画素の属する分割領域の分割領域代表点におけるシステム行列を用いて推定する分光特性推定手段と、を備えることを特徴とする。
【００２４】
また、本発明に係る画像処理装置は、照明光を照射して被写体を撮像した対象画像の画素値をもとに、前記被写体の分光特性を推定する画像処理装置において、複数のカラーフィルタそれぞれの分光特性を記憶するフィルタ特性記憶手段と、前記複数のカラーフィルタを備えたカラーフィルタ標本を保持する標本保持部と、前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を、前記各分割領域代表点の位置に順次移動させる移動制御手段と、前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を撮像したときの前記分割領域代表点の画像データである標本データをフィルタデータとして取得するフィルタデータ取得手段と、前記フィルタデータ取得手段によって取得された前記フィルタデータに基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定するフィルタ特定手段と、前記フィルタ特性記憶手段に記憶されたカラーフィルタの分光特性と、前記フィルタデータ取得手段によって取得され、前記フィルタ特定手段によって前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかが特定された前記フィルタデータとに基づいて、前記分割領域代表点のシステム行列を推定するシステム行列推定手段と、を備えることを特徴とする。
【００２５】
また、本発明に係る画像処理プログラムは、照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定するコンピュータに、前記照明光を照射した状態で背景を撮像した照明画像を、複数の分割領域に分割する領域分割処理を実行する領域分割ステップと、前記領域分割ステップによって分割された各分割領域それぞれの中から、少なくとも一つの分割領域代表点を抽出する分割領域代表点抽出ステップと、少なくとも照明の分光放射特性を含む前記分割領域代表点抽出ステップによって抽出された分割領域代表点のシステム行列を、複数のカラーフィルタを撮像することで得た画像データを用いて推定するシステム行列推定ステップと、前記対象画像を構成する画素に対応する被写体位置の分光特性値を、前記画素の属する分割領域の分割領域代表点におけるシステム行列を用いて推定する分光特性推定ステップと、を実行させることを特徴とする。
【００２６】
また、本発明に係る画像処理プログラムは、複数のカラーフィルタを備えたカラーフィルタ標本を保持する標本保持部と接続され、照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定するコンピュータに、複数のカラーフィルタそれぞれの分光特性を記憶するフィルタ特性記憶ステップと、前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を、前記各分割領域代表点の位置に順次移動させる移動制御ステップと、前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を撮像したときの前記分割領域代表点の画像データである標本データをフィルタデータとして取得するフィルタデータ取得ステップと、前記フィルタデータ取得ステップによって取得された前記フィルタデータに基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定するフィルタ特定ステップと、前記フィルタ特性記憶ステップに記憶されたカラーフィルタの分光特性と、前記フィルタデータ取得ステップによって取得され、前記フィルタ特定ステップによって前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかが特定された前記フィルタデータとに基づいて、前記分割領域代表点のシステム行列を推定するシステム行列推定ステップと、を実行させることを特徴とする。
【発明の効果】
【００２７】
本発明によれば、照明の分光放射特性を含むシステム行列を、分光計を用いずに推定することができる。また、照明画像から取得した分割領域毎に適用する照明の分光放射特性を含むシステム行列を推定することができるので、照明光の照明放射分布の不均一性に起因する分光特性の推定誤差を軽減することができ、被写体の分光特性の推定精度を向上させることができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、本実施の形態では、Ｈ＆Ｅ染色された病理標本を被写体とし、病理標本を撮像したマルチバンド画像から、分光特性値として分光透過率のスペクトル特徴値を推定する場合について説明する。
【００２９】
図１は、本実施の形態に係る画像処理装置の構成を説明する模式図である。図１に示すように、画像処理装置１は、画像取得部１１０を備え、パソコン等のコンピュータ１０と接続されて構成されている。
【００３０】
画像取得部１１０は、Ｈ＆Ｅ染色された分光透過率の推定対象の標本（以下、「対象標本」という。）を撮像して６バンドのマルチバンド画像を取得する。この画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象標本Ｓや後述するカラーフィルタ標本を保持する標本保持部１１３、標本保持部１１３に保持される対象標本Ｓを透過照明する照明部１１５、対象標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。
【００３１】
ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図２は、カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。
【００３２】
標本保持部１１３は、対象標本Ｓやカラーフィルタ標本が載置される標本載置ステージ１１３１と、標本載置ステージ１１３１の移動を制御するステージ制御部１１３３とを備える。標本載置ステージ１１３１は、定常状態では、そのステージ中心が照明光の光軸上に位置するように設置され、後述の照明画像や対象標本画像の撮像は、この定常状態で行われる。一方、カラーフィルタ標本を用いて複数のカラーフィルタのＲＧＢ成分を測定する場合には、ステージ制御部１１３３が、標本載置ステージ１１３１の位置をＸＹ平面上で移動させる。このステージ制御部１１３３は、移動制御手段に相当する。
【００３３】
フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図３−１は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図３−２は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像および第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いることができる。取得されたマルチバンド画像は、対象標本画像として後述の記憶部１４０に保持される。
【００３４】
この画像取得部１１０において、照明部１１５によって照射された照明光は、標本保持部１１３の標本載置ステージ１１３１に載置された対象標本Ｓを透過する。そして、対象標本Ｓを透過した透過光は、光学系１１７および光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図４に示す。
【００３５】
また、本実施の形態では、この画像取得部１１０を利用し、照明光を照射した状態で標本無しの背景を撮像することによって、照明光の反射画像である照明画像を取得する。取得された照明画像は、記憶部１４０に保持される。この照明画像は、標本載置ステージ１１３１に標本を載置せずに撮像を行うことで取得できる。なお、照明画像を取得する際には光学フィルタ１１９１ａ，１１９１ｂは必要ないため、例えばフィルタ部１１９を取り外して使用する。
【００３６】
また、この画像取得部１１０を利用し、予め用意されるカラーフィルタ標本を用いて複数のカラーフィルタのＲＧＢ成分を取得する。この場合には、カラーフィルタ標本を標本載置ステージ１１３１に載置し、このカラーフィルタ標本に含まれる複数のカラーフィルタのＲＧＢ成分をＲＧＢカメラ１１１によって測定する。図５は、カラーフィルタ標本の一例を示す図である。図５に示すように、カラーフィルタ標本ＦＳは、それぞれ分光透過率の異なる複数のカラーフィルタＦがランダムに配置されて構成される。このカラーフィルタ標本ＦＳに配置される各カラーフィルタＦのサイズや形状、配置位置は特に限定されない。なお、このカラーフィルタ標本ＦＳを標本載置ステージ１１３１に載置して各カラーフィルタＦのＲＧＢ成分を測定する際には光学フィルタ１１９１ａ，１１９１ｂは必要ないため、例えばフィルタ部１１９を取り外して使用する。
【００３７】
図６は、画像処理装置１の機能構成を説明するブロック図である。本実施の形態では、画像処理装置１は、図１に示して説明した画像取得部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、画像処理部１５０と、装置各部を制御する制御部１６０とを備える。
【００３８】
入力部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部１６０に出力する。
【００３９】
表示部１３０は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号に基づいて各種画面を表示する。
【００４０】
記憶部１４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものであり、画像処理装置１の動作に係るプログラムや、画像処理装置１の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。例えば、照明画像や対象標本画像の画像データ、カラーフィルタ標本ＦＳを用いて測定したＲＧＢ成分のデータ、照明画像の領域分割結果等が格納される。また、カラーフィルタ分光特性データ１４１と、分割領域別照明分光放射特性データ１４３と、画像処理プログラム１４５とが格納される。カラーフィルタ分光特性データ１４１は、フィルタ特性記憶手段に相当し、カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦそれぞれの分光透過率を記憶する。分割領域別照明分光放射特性データ１４３は、分割領域毎の照明の分光放射特性Ｅを記憶する。また、画像処理プログラム１４５は、照明画像をその画素値に基づいて分割した各分割領域の分割領域代表点毎に照明の分光放射特性Ｅを推定し、推定した分割領域代表点毎の照明の分光放射特性Ｅを用いて対象標本の分光特性を推定するためのプログラムである。
【００４１】
画像処理部１５０は、ＣＰＵ等のハードウェアによって実現される。この画像処理部１５０は、領域分割手段、画素値分布算出手段、分割判定手段、階調変換分割手段、二値化手段、ラベリング処理手段としての領域分割部１５１と、分割領域代表点抽出手段としての代表点抽出部１５３と、システム行列推定手段、フィルタデータ取得手段、標本データ取得手段、フィルタ特定手段、フィルタデータ比較手段、色差算出手段、閾値処理手段としての照明分光放射特性推定部１５５と、分光特性推定手段としての分光特性推定部１５７とを含む。領域分割部１５１は、照明画像を複数の分割領域に分割する。代表点抽出部１５３は、各分割領域の中からそれぞれ一つまたは複数の代表点（分割領域代表点）を抽出する。照明分光放射特性推定部１５５は、カラーフィルタ分光特性データ１４１に記憶された各カラーフィルタＦそれぞれの分光透過率と、カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分とに基づいて、各分割領域代表点における照明の分光放射特性を推定する。ここで、各分割領域代表点のＲＧＢ成分は、標本保持部１１３に保持されたカラーフィルタ標本ＦＳに含まれる各カラーフィルタＦを撮像したときの分割領域代表点の画像データであって、フィルタデータに相当するものである。より詳細には、各カラーフィルタＦを分割領域代表点に移動させて撮像した分割領域代表点の画像データであり、標本データに相当する。分光特性推定部１５７は、対象標本画像を構成する所定の画素に対応する対象標本点の分光透過率を推定する。
【００４２】
制御部１６０は、ＣＰＵ等のハードウェアによって実現される。この制御部１６０は、入力部１２０から入力される操作信号や画像取得部１１０から入力される画像データ、記憶部１４０に格納されるプログラムやデータ等に基づいて画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。また、制御部１６０は、画像取得部１１０の動作を制御して照明画像を取得する照明画像取得制御部１６１と、画像取得部１１０の動作を制御してカラーフィルタ標本ＦＳに含まれる各カラーフィルタＦのＲＧＢ成分を取得するフィルタＲＧＢ成分取得制御部１６３と、画像取得部１１０の動作を制御して対象標本画像を取得する標本画像取得制御部１６５とを含む。
【００４３】
次に、画像処理装置１における処理の手順について説明する。なお、ここで説明する処理は、記憶部１４０に格納された画像処理プログラム１４５に従って画像処理装置１の各部が動作することによって実現される。また、本処理を行うタイミングは適宜設定することができ、例えば定期的に行う。
【００４４】
先ず、照明画像を領域分割した各分割領域から抽出した分割領域代表点毎の照明の分光放射特性Ｅを推定する処理について、図７に示すフローチャートを参照して説明する。この処理では、先ず、照明画像取得制御部１６１が、画像取得部１１０の動作を制御し、照明光を照射した状態で被写体無しの背景を撮像した照明画像を取得する（ステップＳ１０１）。
【００４５】
次に、領域分割部１５１が、照明画像をグレースケールに変換し、横軸を画素値、縦軸を画素の個数としたヒストグラムを作成する（ステップＳ１０３）。図８に、作成されたヒストグラムの一例を示す。領域分割部１５１は、このヒストグラムから得られる画素値の分布幅に応じて、領域分割処理を実行するか否かを判定する。すなわち、領域分割部１５１は、作成したヒストグラムから画素値の分布幅を算出する（ステップＳ１０５）。そして、領域分割部１５１は、算出した分布幅と事前に閾値として設定される基準分布幅とを比較し、領域分割処理を実行するか否かを判定する。
【００４６】
算出した分布幅が基準分布幅より小さい場合には（ステップＳ１０７：Ｎｏ）、領域分割部１５１は、領域分割処理を実行しないと判定する。この場合には、領域分割部１５１は、照明画像の全域を一つの分割領域とし、例えば照明画像の中心画素を分割領域代表点としてステップＳ１１３に移行する。これにより、照明光の照明放射分布の不均一性の程度によっては、照明画像中の任意の画素（この場合は照明画像の中心画素）が分割領域代表点とされ、後述するステップＳ１１３の照明分光放射特性推定処理によって推定される照明画像の中心画素における照明の分光放射特性の推定値が、照明の分光放射特性Ｅとされる。そして、従来と同様に、同一視野内の分光透過率の推定に一様に用いられる。
【００４７】
一方、領域分割部１５１は、分布幅が基準分布幅以上の場合には（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０９に移行し、領域分割処理を実行する。なお、ステップＳ１０３で作成したヒストグラムをユーザに視覚的に提示し、ユーザ操作に従って領域分割処理を実行するか否かを判定してもよい。この場合には、制御部１６０は、図８に例示したような領域分割部１５１によって作成されたヒストグラムを表示部１３０に表示する制御を行うとともに、照明画像を分割領域に分割するか否かの判定依頼の通知を表示する制御を行って、画素値分布表示制御手段および判定入力依頼手段として機能する。図９は、照明画像を分割するか否かの判定依頼の通知画面の一例を示す図である。通知画面Ｗ１０には、分割を行うか否かの判定を依頼する旨のメッセージが表示されるとともに、分割を行う／行わないの何れかを選択するためのボタンＢ１１，Ｂ１３が配置されている。ユーザは、入力部１２０を介してボタンＢ１１またはボタンＢ１３の押下操作を行い、分割指示または非分割指示を入力する。この判定依頼の通知に対する応答に従い、領域分割部１５１は、領域分割処理を実行するか否かを判定する。
【００４８】
ここで、ステップＳ１０９による領域分割処理について説明する。図１０は、領域分割処理の手順を示すフローチャートである。この領域分割処理では、領域分割部１５１は、先ず、階調変換処理を行って照明画像を複数の分割領域に分割する（ステップＳ２０１）。このとき、階調変換処理の結果得られた各分割領域を特定するためのデータが、記憶部１４０に保持される。
【００４９】
この階調変換処理は、事前に指定される分割パラメータに基づいて行われる。本実施の形態では、分割パラメータとして、照明放射強度幅（画素値の強度幅）Ｉを用いる。具体的には、領域分割部１５１は、ステップＳ１０３で作成したヒストグラムに基づいて画素の最大値および最小値を算出する。次いで、領域分割部１５１は、照明放射強度幅Ｉに基づいて、算出した最大値と最小値との間に含まれる各画素の階調変換を行い、階調変換画像を得る。例えば、最大値をＭ、最小値をｍとし、各画素を階調区間である画素値幅［ｍ，Ｍ−ｎＩ］，［Ｍ−２Ｉ＋１，Ｍ−１］，・・・［Ｍ−Ｉ＋１，Ｍ］でそれぞれカテゴリー化する。そして、階調区間の最大値を変換値とし、各カテゴリーに分類された画素を階調変換する。このようにして、領域分割部１５１は、照明放射強度幅Ｉに応じた階調区間毎に照明画像を階調変換することにより、照明画像を複数の分割領域に分割する。図１１は、照明画像の分割領域の一例を示す図である。図１１に示す例では、照明画像Ｇ１０が、三つの分割領域Ａ１１，Ａ１３，Ａ１５に分割されている。
【００５０】
次に、領域分割部１５１は、階調変換結果に基づいて二値化処理を行い、分割領域毎に二値画像を取得する（ステップＳ２０３）。続いて、領域分割部１５１は、得られた各二値画像に対してそれぞれラベリング処理を行い、各二値画像中の連結成分（連結している画素群）に固有の値（ラベル）を付ける（ステップＳ２０５）。このラベリング処理によって、各分割領域からそれぞれ少なくとも一つの二値画像分割領域を取得することができる。このとき、二値化処理およびラベリング処理の結果得られた各二値画像分割領域を特定するためのデータが、記憶部１４０に保持される。なお、ステップＳ２０１の二値化処理およびステップＳ２０５のラベリング処理の具体的な処理方法は、本発明の特徴から限定する必要はなく、公知の処理を用いることにより実施できる。図１２は、二値画像の二値画像分割領域の一例を示す図である。この図１２は、図１１に示す照明画像Ｇ１０の分割領域Ａ１１を対象とした二値化処理およびラベリング処理の結果得られた二値画像分割領域を示しており、この二値画像Ｇ２０によれば、分割領域Ａ１１について４つの二値画像分割領域Ａ２１，Ａ２３，Ａ２５，Ａ２７が取得されている。ラベリング処理の後、図７のステップＳ１０９にリターンし、その後ステップＳ１１１に移行する。
【００５１】
ステップＳ１１１では、代表点抽出部１５３が、ステップＳ１０９の領域分割処理の結果得られた分割領域の中から一つまたは複数の分割領域代表点を抽出する。具体的には、代表点抽出部１５３は、照明画像を分割した各分割領域をそれぞれ処理対象として、次の処理を行う。先ず、処理対象の分割領域から取得した二値画像分割領域の中から、最大面積の二値画像分割領域を選出する。ここでの処理により、例えば、図１２の例では、二値画像分割領域Ａ２７が選出される。次いで、選出した二値画像分割領域に基づいて、横軸を画素値、縦軸を画素の個数としたヒストグラムを作成する。次いで、作成したヒストグラムに基づいて、その個数が予め設定された所定の閾値以下である画素値をノイズとして除去し、除去した画素値以外の画素値の最小値と最大値とに基づいて、その中心値を算出する。そして、選出した二値画像分割領域に含まれる画素の中から、算出した中心値を画素値とする画素を一つまたは複数個無作為に選出し、処理対象の分割領域における分割領域代表点とする。このようにして抽出された分割領域毎の分割領域代表点は、記憶部１４０に格納される。これにより、分割領域内の画素の中から、その分割領域において平均的な照明放射強度の画素を分割領域代表点として抽出することができる。分割領域代表点は、何点抽出することとしても構わないが、複数抽出する場合には、抽出済みの分割領域代表点を中心とした所定範囲内に存在する画素を抽出対象から除外し、所定範囲の領域内から複数の分割領域代表点を抽出しないようにする。
【００５２】
なお、領域分割処理の結果をユーザに視覚的に提示し、ユーザ操作に従って分割領域代表点を抽出してもよい。この場合には、制御部１６０は、図１１に例示したような照明画像の分割領域を表示部１３０に表示する制御を行うとともに、分割領域毎に分割領域代表点の選出依頼の通知を表示する制御を行って、分割領域表示制御手段および代表点選出依頼手段として機能する。図１３は、分割領域代表点の選出依頼の通知画面の一例を示す図である。通知画面Ｗ２０には、分割領域毎に分割領域代表点の選出を依頼する旨のメッセージＭ２０が表示されている。ユーザは、入力部１２０を介して各分割領域からそれぞれ一つまたは複数の分割領域代表点の位置を指定することによって、分割領域毎の分割領域代表点を選出する。また、取消ボタンＢ２１の押下操作によって指定操作を取り消し、あるいは決定ボタンＢ２３の押下操作によって指定操作を確定する。この通知画面Ｗ２０では、分割領域代表点の指定操作に応じてその選出位置が識別表示されるようになっており、図１３の例では、分割領域Ａ１１の中から選出された分割領域代表点の位置Ｐ１０が識別表示されている。この選出依頼の通知に対する応答に従い、代表点抽出部１５３は、各分割領域の分割領域代表点を抽出する。あるいは、図１２に例示したような分割領域から取得した二値画像分割領域を分割領域毎に表示部１３０に表示する制御を行い、最大面積の二値画像分割領域の中からその分割領域における分割領域代表点を選択させるようにしてもよい。
【００５３】
続いて、図７に示すように、照明分光放射特性推定部１５５が照明分光放射特性推定処理を行う（ステップＳ１１３）。この照明分光放射特性推定処理によって、各分割領域代表点における照明の分光放射特性が推定され、分割領域毎の照明の分光放射特性Ｅが決定される。図１４は、ステップ１１３による照明分光放射特性推定処理の手順を示すフローチャートである。なお、この照明分光放射特性推定処理を行う前に、カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦそれぞれの分光透過率を測定し、測定データをカラーフィルタ分光特性データ１４１として記憶部１４０に格納しておく。また、ＲＧＢカメラ１１１の分光感度特性を測定し、測定データを記憶部１４０に格納しておく。各カラーフィルタＦおよびＲＧＢカメラ１１１の分光特性は経時変化しないため、一度測定した値を継続して使用できる。
【００５４】
そして、照明分光放射特性推定処理では、ステップ１１１で抽出された各分割領域代表点を処理対象とし、ループＡの処理を各分割領域代表点それぞれについて実行する（ステップＳ３０１〜ステップＳ３２３）。ここで、ループＡ内の処理の説明において、処理対象の分割領域代表点を「処理対象代表点Ｘ」と称す。
【００５５】
ループＡでは、先ず、フィルタＲＧＢ成分取得制御部１６３が画像取得部１１０の動作を制御し、被写体無しの状態で、処理対象代表点ＸのＲＧＢ成分（Ｒ0，Ｇ0，Ｂ0）をＲＧＢカメラ１１１を用いて測定する（ステップＳ３０３）。得られたＲＧＢ成分（Ｒ0，Ｇ0，Ｂ0）は、参照値として記憶部１４０に格納される。参照値（Ｒ0，Ｇ0，Ｂ0）を取得したならばステップＳ３０５に移るが、このステップＳ３０５以降の処理は、画像取得部１１０の標本載置ステージ１１３１にカラーフィルタ標本ＦＳが載置された状態で行われる。例えば、このステップＳ３０５に移る前に、表示部１３０に対するメッセージ表示等によってカラーフィルタ標本ＦＳの載置をユーザに促し、標本載置ステージ１１３１にカラーフィルタ標本ＦＳを載置させる。
【００５６】
ステップＳ３０５では、ステージ制御部１１３３が、標本載置ステージ１１３１の移動を制御し、処理対象代表点Ｘの位置において、カラーフィルタ標本ＦＳの位置を例えばカラーフィルタ標本ＦＳの左上位置から順番にラスタスキャンさせる。ここでいう処理対象代表点Ｘの位置は、処理対象代表点Ｘに対応する標本載置ステージ１１３１の移動平面上の位置のことであり、定常状態における標本載置ステージ１１３１の位置に基づいて算出される。そして、カラーフィルタ標本ＦＳを通過した処理対象代表点ＸのＲＧＢ成分（Ｒx，Ｇx，Ｂx）を、ＲＧＢカメラ１１１によって測定する（ステップＳ３０７）。ここで、ラスタスキャンの移動間隔は、ＲＧＢカメラ１１１によって撮像される画像の１画素分に相当する距離でもよいし、カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦのうち、最も小さいカラーフィルタＦのサイズに従って移動間隔を設定してもよい。
【００５７】
図１５−１は、処理対象代表点Ｘの標本載置ステージ１１３１の移動平面上の位置を、照明画像の視野Ｒ１０とともに示した図である。また、図１５−２は、この処理対象代表点Ｘの位置におけるカラーフィルタ標本ＦＳの位置のラスタスキャンの様子を示している。図１５−２に示すように、ステージ制御部１１３３によって、処理対象代表点Ｘの位置におけるカラーフィルタ標本ＦＳの位置を所定量ずつずらしながら、その都度処理対象代表点ＸのＲＧＢ成分をＲＧＢカメラ１１１によって測定する。
【００５８】
続いて、照明分光放射特性推定部１５５が、ＲＧＢ成分判定処理として、ステップＳ３０９〜ステップＳ３１５の各処理を実行する。このＲＧＢ成分判定処理では、先ず、照明分光放射特性推定部１５５は、色差算出処理を行い、照明の分光放射特性の基準値Ｅとフィルタの分光透過率Ｆとカメラの分光感度特性Ｓの積で算出される比較値（ＲB，ＧB，ＢB）とステップＳ３０７で取得した測定値（Ｒx，Ｇx，Ｂx）とから色差△Ｅを算出する（ステップＳ３０９）。次いで、照明分光放射特性推定部１５５は、算出した色差△Ｅに基づいて、閾値処理を行う（ステップＳ３１１）。そして、照明分光放射特性推定部１５５は、閾値処理の結果に基づいて、カラーフィルタ標本ＦＳに含まれるいずれかのカラーフィルタＦのＲＧＢ成分を探索する。このとき、ステップＳ３０９で求めた色差△Ｅが事前に閾値として設定される基準色差よりも小さい、もしくは最も小さくなる場合に、ステップＳ３０７で得た測定値（Ｒx，Ｇx，Ｂx）が、カラーフィルタ標本ＦＳに含まれるいずれかのカラーフィルタＦのＲＧＢ成分であると判定し、いずれかのカラーフィルタＦのＲＧＢ成分を探索したと判定する（ステップＳ３１３：ＹＥＳ）。照明分光放射特性推定部１５５は、いずれかのカラーフィルタＦのＲＧＢ成分と判定された測定値（Ｒx，Ｇx，Ｂx）を、カラーフィルタ測定データとして登録し、記憶部１４０に格納する（ステップＳ３１５）。
【００５９】
図１６−１，２は、ＲＧＢ成分判定処理の原理を説明する図である。例えば、処理対象代表点Ｘとカラーフィルタ標本ＦＳとが図１６−１に示す位置関係にある場合、比較値と測定値とから求めた色差が基準色差より小さくなるため、カラーフィルタ標本ＦＳに含まれるいずれかのカラーフィルタＦのＲＧＢ成分を探索したと判定する。実際には、カラーフィルタＦ１１のＲＧＢ成分を測定したのであるが、カラーフィルタ標本ＦＳにおける各カラーフィルタＦのサイズや形状、配置位置が未知であるため、この時点では、取得した測定値がいずれかのカラーフィルタＦのＲＧＢ成分であることは判別できるものの、それがどのカラーフィルタＦなのか（ここでは、カラーフィルタＦ１１）を特定することはできない。
【００６０】
また、このようにしていずれかのカラーフィルタＦが探索された場合には、比較値（ＲB，ＧB，ＢB）およびカラーフィルタ測定データを用いて、未探索のカラーフィルタＦを探索する。すなわち、ステップＳ３０９では、比較値（ＲB，ＧB，ＢB）と測定値（Ｒx，Ｇx，Ｂx）との色差△Ｅ、およびカラーフィルタ測定データと測定値（Ｒx，Ｇx，Ｂx）との色差△Ｅをそれぞれ算出する。カラーフィルタ測定データとして複数の測定値が登録されている場合には、各カラーフィルタ測定データとの色差△Ｅをそれぞれ算出する。そして、ステップＳ３１１，３１３では、比較値（ＲB，ＧB，ＢB）との色差△Ｅおよびカラーフィルタ測定データとの色差△Ｅそれぞれについて閾値処理を行い、未探索のカラーフィルタＦを探索する。いずれかの未探索のカラーフィルタＦのＲＧＢ成分と判定された測定値（Ｒx，Ｇx，Ｂx）は、カラーフィルタ測定データとして追加登録されて、記憶部１４０に格納される。
【００６１】
例えば、カラーフィルタ標本ＦＳが図１６−２に示す位置に移動した場合、比較値と測定値とから求めた色差が基準色差より小さくなるため、いずれかのカラーフィルタＦを探索したと判定するが、この場合には、さらに、カラーフィルタ測定データ（図１６−１の位置で取得したカラーフィルタＦ１１のＲＧＢ成分）と測定値とから求めた色差と基準色差とを比較し、このＲＧＢ成分が未探索のカラーフィルタＦのＲＧＢ成分か否かを判定する。基準色差より小さい場合には、新たにいずれかの未探索のカラーフィルタＦ（実際には、カラーフィルタＦ１３）のＲＧＢ成分を探索したと判定する。
【００６２】
ここで、色差△Ｅは、比較値（ＲB，ＧB，ＢB）を標準白色のＲＧＢ成分として、比較値（ＲB，ＧB，ＢB）からＬ*ａ*ｂ*値（Ｌ*B，ａ*B，ｂ*B）を求め、測定値（Ｒx，Ｇx，Ｂx）からＬ*ａ*ｂ*値（Ｌ*x，ａ*x，ｂ*x）を求めて、求めた各値を用いて算出する。色差△Ｅの算出式を次式（６）に示す。
【数４】
【００６３】
以上のようにして、カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦのＲＧＢ成分をラスタスキャンで探索し、終了条件を満足するまでステップＳ３０５〜３１５の処理を繰り返し実行する。例えば、カラーフィルタ標本ＦＳ上の全ての位置を探索した場合を終了条件とし、この終了条件を満足したならば（ステップＳ３１７：Ｙｅｓ）、ステップＳ３１９に移行する。あるいは、カラーフィルタ測定データに登録された測定値の数が、事前に指定した個数（カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦの個数）に達した場合を終了条件として終了判定を行うこととしてもよい。
【００６４】
続いて、ステップＳ３１９では、照明分光放射特性推定部１５５は、カラーフィルタ特定処理を行い、各カラーフィルタ測定データに基づいて、これらがどのカラーフィルタＦのＲＧＢ成分なのかの対応付けを行う。
【００６５】
ここで、ステップＳ３０３で算出した参照値（Ｒ0，Ｇ0，Ｂ0）とカラーフィルタ測定データである測定値（Ｒx，Ｇx，Ｂx）とから、Ｒ成分の透過率Ｒx／Ｒ0は、次式（７）で定義される。
【数５】
ｆ（ｎ，λ）はカラーフィルタ標本ＦＳに含まれるＮ個のカラーフィルタＦのうちの、ｎ番目のカラーフィルタＦの分光透過率を表す。ここで、照明の分光放射特性ｅ（λ）に関し、全ての可視光波長で１．０の強度を持つ照明光と仮定すると、式（７）は、次式（８）によって表すことができる。
【数６】
さらにここで、ＲＧＢカメラ１１１の撮像ノイズをノイズフリーと仮定すると、参照値（Ｒ0，Ｇ0，Ｂ0）と測定値（Ｒx，Ｇx，Ｂx）から求まるＲ成分の透過率Ｒx／Ｒ0は、次式（９）によって表すことができる。
【数７】
参照値（Ｒ0，Ｇ0，Ｂ0）と測定値（Ｒx，Ｇx，Ｂx）から求まるＧ成分の透過率Ｇx／Ｇ0およびＢ成分の透過率Ｂx／Ｂ0についても、同様に定義することができる。したがって、参照値（Ｒ0，Ｇ0，Ｂ0）および各カラーフィルタ測定データから求まるＲＧＢ各成分の透過率と、予め測定される各カラーフィルタＦの分光透過率ｆ（ｎ，λ）およびＲＧＢカメラ１１１の分光感度特性ｓ（λ）とによって定まる各カラーフィルタＦのＲＧＢ成分の透過率とを比較して、最も値の近いＲＧＢ成分の透過率の組み合わせを特定することによって、カラーフィルタ測定データとカラーフィルタＦとを対応付けることができる。
【００６６】
次に、照明分光放射特性推定部１５５は、各カラーフィルタ測定データと、そのカラーフィルタＦの分光透過率ｆ（ｎ，λ）とに基づいて、処理対象代表点Ｘにおける照明の分光放射特性を推定する（ステップＳ３２１）。
【００６７】
先ず、ｎ番目に測定された測定値（Ｒx（ｎ），Ｇx（ｎ），Ｂx（ｎ））の内、Ｒ成分は次式（１０）で算出される。
【数８】
ここで、ｆn（λ）はｎ番目の測定値に対応付けられたカラーフィルタＦの波長λにおける分光透過率、ｓR（λ）はＲＧＢカメラ１１１のＲ値に対する波長における分光感度特性、ｎ（Ｒx（ｎ））は測定値Ｒx（ｎ）におけるＲＧＢカメラ１１１の撮像ノイズを表す。波長λの次元数をｍ、カラーフィルタ標本ＦＳに含まれるカラーフィルタＦをｎ個とすると、式（１０）は、行列式を用いて次式（１１）で表すことができる。
【数９】
【００６８】
ここで、ＲＧＢカメラ１１１の撮像ノイズをノイズフリーと仮定すると、式（１１）は次式（１２）で表すことができる。
【数１０】
【００６９】
そして、測定値のＧ成分およびＢ成分についても同様に表現できる。照明分光放射特性推定部１５５は、この関係式を用いて、予め測定される各カラーフィルタＦの分光透過率およびＲＧＢカメラ１１１の分光感度特性と、ｎ個の測定値との関係から、最小二乗法を用いて処理対象代表点Ｘの照明の分光放射特性ｅ（λ）を推定する。推定された処理対象代表点Ｘの照明の分光放射特性ｅ（λ）は、処理対象代表点の識別情報とともに記憶部１４０に格納される。ここで、最小二乗法の具体的な処理方法は、本発明の特徴から限定する必要はなく、一般的に公知の処理を用いることで実施できる。また、ＲＧＢカメラ１１１の撮像ノイズをノイズフリーと仮定して説明したが、ノイズを考慮した重み付き最小二乗法を用いることでノイズの影響を考慮することができる。
【００７０】
以上の手順に従い、全ての分割領域代表点を処理対象代表点ＸとしてループＡの処理を実行したならば、ステップＳ３２５に移行する。すなわち、ステップＳ３２５では、照明分光放射特性推定部１５５は、分割領域毎の照明の分光放射特性Ｅを決定する。このとき、一の分割領域の中から抽出された分割領域代表点が一つの場合には、この分割領域代表点における推定値を当該分割領域における照明の分光放射特性Ｅとする。一方、一の分割領域の中から抽出された分割領域代表点が複数個ある場合には、各分割領域代表点における推定値から平均値を算出し、算出した平均値を当該分割領域における照明の分光放射特性Ｅとする。そして、照明分光放射特性推定部１５５は、決定した各分割領域の照明の分光放射特性Ｅを対応する分割領域の識別情報と関連付け、分割領域別照明分光放射特性データ１４３として記憶部１４０に格納する。そして、図７のステップＳ１１３にリターンし、処理を終了する。
【００７１】
以上のようにすれば、カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦのサイズや形状、配置位置に関係なく、各カラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分を取得し、各分割領域代表点における照明の分光放射特性を推定することができる。このため、カラーフィルタ標本の加工に高度な技術を必要とせず、カラーフィルタ標本を容易に加工することができる。
【００７２】
なお、上記の処理では、簡明な説明のため、分割領域代表点毎にカラーフィルタ標本ＦＳの位置をラスタスキャンさせ、カラーフィルタ標本ＦＳの各点を通過した分割領域代表点のＲＧＢ成分を測定することとしたが、一度のスキャンでカラーフィルタ標本ＦＳの各点を通過した各分割領域代表点のＲＧＢ成分を測定することも勿論可能である。
【００７３】
次に、対象標本の分光特性を推定する処理について、図１７に示すフローチャートを参照して説明する。この処理では、先ず、標本画像取得制御部１６５が、画像取得部１１０の動作を制御して、分光透過率の推定対象の対象標本をマルチバンド撮像し、対象標本画像を取得する（ステップＳ４０１）。
【００７４】
続いて、分光特性推定部１５７が、対象標本画像の任意の点ｘにおける画素に対応する対象標本点における分光透過率を推定する。すなわち、分光特性推定部１５７は、先ず、点ｘの画素の属する分割領域を特定し、この分割領域における照明の分光放射特性Ｅを記憶部１４０に格納された分割領域別照明分光放射特性データ１４３から読み出して取得する（ステップＳ４０３）。
【００７５】
また、分光特性推定部１５７は、光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓ、標本の分光透過率の自己相関行列ＲSS、およびＲＧＢカメラ１１１の撮像ノイズの自己相関行列ＲNNの各分光特性推定パラメータを取得する（ステップＳ４０５）。
【００７６】
ここで、光学フィルタ１１９１ａ，１１９１ｂの分光透過率ＦおよびＲＧＢカメラ１１１の分光感度特性Ｓは、使用する機器を選定の後、分光計等を用いて予め測定しておく。なお、ここでは、光学系１１７の分光透過率は１.０と近似しているが、この近似値１.０からの乖離が許容できない場合には、光学系１１７の分光透過率も予め測定し、照明の分光放射特性Ｅに乗じればよい。
【００７７】
また、標本の分光透過率の自己相関行列ＲSSおよびＲＧＢカメラ１１１の撮像ノイズの自己相関行列ＲNNについても、事前に測定しておく。ＲSSは、Ｈ＆Ｅ染色された典型的な標本を用意し、分光計によって複数の点の分光透過率を測定して自己相関行列を求めることによって得られる。一方、ＲNNは、標本無しの状態で画像取得部１１０によってマルチバンド画像を取得し、得られた６バンドのマルチバンド画像の各バンドについて画素値の分散を求め、これを対角成分とする行列を生成することによって得られる。ただし、バンド間でノイズの相関はないと仮定している。
【００７８】
そして、分光特性推定部１５７は、ステップＳ４０３で取得した照明の分光放射特性ＥとステップＳ４０５で取得した光学フィルタ１１９１ａ，１１９１ｂの分光透過率ＦおよびＲＧＢカメラ１１１の分光感度特性Ｓとを用い、背景技術で示した式（３）に従ってシステム行列Ｈを算出し、算出したシステム行列ＨとステップＳ４０５で取得した標本の分光透過率の自己相関行列ＲSSおよびＲＧＢカメラ１１１の撮像ノイズの自己相関行列ＲNNとを用い、式（５）に従ってウィナー推定行列Ｗを算出する（ステップＳ４０７）。そして、分光特性推定部１５７は、対象標本画像の点ｘに対応する対象標本点における分光透過率を、ウィナー推定によって推定する（ステップＳ４０９）。具体的には、背景技術で示した式（４）に従い、対象標本画像の点ｘにおける画素値の行列表現Ｇ（ｘ）から、対応する対象標本点における分光透過率の推定値Ｔ＾（ｘ）を推定する。得られた分光透過率の推定値Ｔ＾（ｘ）は、記憶部１４０に格納される。
【００７９】
本画像処理装置１によって推定された分光透過率は、例えば、対象標本を染色している色素の色素量の推定に用いられる。そして、推定された色素量に基づいて画像の色が補正され、カメラの特性や染色状態のばらつき等が補正されて、表示用のＲＧＢ画像が合成される。このＲＧＢ画像は、表示部１３０に画面表示されて病理診断に利用される。
【００８０】
本実施の形態によれば、照明光を照射した状態で被写体無しの背景を撮像した照明画像を取得し、この照明画像を照明放射強度幅Ｉに基づいて分割した分割領域毎に、照明の分光放射特性Ｅを推定することができる。具体的には、各分割領域の中からそれぞれ分割領域代表点を抽出する。そして、複数のカラーフィルタＦを備えたカラーフィルタ標本ＦＳを用い、各カラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分を取得して、このＲＧＢ成分をもとに各分割領域代表点の照明の分光放射特性を推定することができる。また、対象標本画像を構成する画素に対応する対象標本点の分光透過率を推定する際には、この画素の属する分割領域に応じた照明の分光放射特性Ｅを用いることができる。これによれば、同一視野内の照明放射分布の不均一性による推定精度の低下問題は、同一分割領域内の照明放射分布の不均一性による推定精度の低下問題となる。したがって、照明光の照明放射分布の不均一性に起因する分光特性の推定誤差を軽減することができ、被写体の分光特性の推定精度を向上させることができる。また、カラーフィルタ標本ＦＳの各点を通過した各分割領域代表点のＲＧＢ成分から、このカラーフィルタ標本ＦＳに含まれる各カラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分を自動的に探索して取得し、各分割領域代表点における照明の分光放射特性を推定することができるので、従来照明の分光放射特性の測定に使用していた分光計が必要ない。したがって、ユーザは、カラーフィルタ標本ＦＳを標本載置ステージ１１３１に載置するだけでよく、分光計を設置・調製等する手間が軽減できる。また、分光計が必要ないため、コストを削減できる。
【００８１】
なお、照明画像を領域分割するための分割パラメータである照明放射強度幅Ｉは、ユーザ操作に従って設定することとしてもよい。この場合には、制御部１６０は、例えば、図１８に例示したような領域分割部１５１によって作成されたヒストグラムを表示部１３０に表示する制御を行うとともに、照明放射強度幅Ｉの入力依頼の通知を表示する制御を行って、パラメータ入力依頼手段として機能する。図１８は、照明放射強度幅Ｉの入力依頼の通知画面の一例を示す図である。通知画面Ｗ３０には、照明放射強度幅Ｉの入力操作を受け付ける入力ボックスＢ３０が配置されている。ユーザは、入力部１２０を介して所望の照明放射強度幅Ｉの値を入力ボックスＢ３０に入力することにより、照明放射強度幅Ｉを指定する。領域分割部１５１は、この入力依頼の通知に応答して入力された値を照明放射強度幅Ｉとし、階調変換処理を行う。このように、ユーザ操作によって指定された照明放射強度幅Ｉに基づいて領域分割処理を行うようにすれば、ユーザが照明放射分布の不均一性の許容量を指定することができ、照明光の照明放射分布の不均一性による分光特性の推定精度への影響を許容内に軽減することができる。したがって、ユーザは、指定する照明放射強度幅Ｉの値によって、照明放射分布の不均一性による分光特性の推定誤差の軽減と領域分割に伴う分光特性の推定処理時間の増加とのバランスを適宜調整できる。例えば、照明放射強度幅Ｉを狭く指定すれば、推定処理時間は増大するものの、分光特性の推定誤差は小さくなり、分光特性の推定精度を向上させることができる。一方、照明放射強度幅Ｉを広く指定した場合には、分光特性の推定精度はある程度低下するが、推定処理時間を短縮することができる。
【００８２】
また、上記した実施形態では、照明放射強度幅Ｉを分割パラメータとして用い、照明画像を分割する場合について説明したが、分割数を分割パラメータとして用い、照明画像を分割することとしてもよい。この場合には、例えば、分割数に従って照明画像をマス目状に分割して、複数の分割領域に分割することとしてもよい。また、この分割数をユーザ操作に従って設定してもよい。あるいは、照明放射強度幅Ｉおよび分割数の両方を分割パラメータとして用い、照明画像を分割することとしてもよい。この場合には、例えば、分割数に従って照明放射強度幅Ｉを決定し、決定した照明放射強度幅Ｉに従って照明画像を複数の分割領域に分割する。
【００８３】
また、上記の実施の形態では、照明画像を領域分割した分割領域からそれぞれ抽出した各分割領域代表点における照明の分光放射特性を推定する場合について説明したが、照明の分光放射特性Ｅ、光学フィルタの分光透過率Ｆおよびカメラの分光感度特性Ｓとによって定まるシステム行列Ｈの値を推定することも可能である。
【００８４】
また、上記の実施形態では、サイズや形状の異なる複数のカラーフィルタＦがランダムに配置されたカラーフィルタ標本ＦＳを用いて照明の分光放射特性を推定することとしたが、例えばマス目状に複数のカラーフィルタが配列したカラーフィルタ標本を用いることとしても構わない。あるいは、複数のカラーフィルタを各分割領域代表点の位置で切り替えることにより、各カラーフィルタを通過した各分割領域代表点のＲＧＢ成分を取得することとしてもよい。また、カラーフィルタ標本に含まれる各カラーフィルタのサイズや形状、位置等が既知の場合には、各カラーフィルタのＲＧＢ成分を探索する必要はなく、これらの情報を用いて各分割領域代表点の位置にカラーフィルタを移動させることができる。
【００８５】
また、上記の実施形態では、カラーフィルタ標本ＦＳのカラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分を取得するため、標本載置ステージ１１３１を移動させ、カラーフィルタ標本ＦＳの各点のＲＧＢ成分を測定することとしたが、各カラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分の取得方法は、これに限定されるものではない。例えば、光学系１１７の倍率（開口数）を低くしてカラーフィルタ標本ＦＳを撮像し、得られた画像からカラーフィルタ標本ＦＳの各カラーフィルタＦの中心位置をＲＧＢ成分に基づいて算出することとしてもよい。そして、標本載置ステージ１１３１を移動制御し、各分割領域代表点の位置に算出した各カラーフィルタＦの中心位置を順次移動させて、各カラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分を測定してもよい。ただし、この方法を用いた場合、光学系１１７の分光透過率の変動を考慮する必要がある。
【００８６】
また、上記した実施の形態では、ステージ制御部１１３３によって標本載置ステージ１１３１の移動を制御することによってカラーフィルタ標本ＦＳの位置をスキャンさせ、カラーフィルタ標本ＦＳを通過した分割領域代表点のＲＧＢ成分を自動的に取得し、取得したＲＧＢ成分であるカラーフィルタ測定データとカラーフィルタＦとを対応付ける場合について説明したが、次のようにしてもよい。すなわち、ユーザが、標本載置ステージ１１３１を手動で移動させて分割領域代表点の位置にカラーフィルタ標本を構成する各カラーフィルタを順次配置し、カラーフィルタ測定データを取得する構成としてもよい。またこのときに、標本載置ステージ１１３１の位置をもとに現在のカラーフィルタ標本の位置を算出し、分割領域代表点と併せて表示部１３０に表示する制御を行ってこれらの位置関係をユーザに視覚的に提示することとしてもよい。この場合には、制御部１６０は、図１５−１や図１５−２に例示したような分割領域代表点と現在のカラーフィルタ標本との位置関係を表示部１３０に表示する制御を行って、代表点表示制御手段および測定位置表示制御手段として機能する。このようにすれば、ユーザは、分割領域代表点とカラーフィルタ標本との位置関係を画面上で確認しながら標本載置ステージ１１３１を手動で移動させ、カラーフィルタ測定データを取得することができる。
【００８７】
また、上記の実施の形態では、病理標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定する場合について説明したが、分光特性値として、分光反射率のスペクトル特徴値を推定する場合にも、同様に適用できる。
【００８８】
また、上記の実施の形態では、Ｈ＆Ｅ染色された病理標本を透過観察する場合について説明したが、他の染色法を用いて染色した生体標本に対しても適用することができる。また、透過光の観察だけでなく、反射光、蛍光、発光の観察においても、同様に適用することができる。
【図面の簡単な説明】
【００８９】
【図１】画像処理装置の構成を示す図である。
【図２】カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。
【図３−１】一方の光学フィルタの分光透過率特性を示す図である。
【図３−２】他方の光学フィルタの分光透過率特性を示す図である。
【図４】Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。
【図５】カラーフィルタ標本の一例を示す図である。
【図６】画像処理装置の機能構成を示すブロック図である。
【図７】画像処理装置における処理の手順を示すフローチャートである
【図８】照明画像をグレースケールに変換して作成したヒストグラムの一例を示す図である。
【図９】照明画像を分割するか否かの判定依頼の通知画面の一例を示す図である。
【図１０】領域分割処理の手順を示すフローチャートである。
【図１１】照明画像を分割した分割領域の一例を示す図である。
【図１２】二値画像を分割した二値画像分割領域の一例を示す図である。
【図１３】分割領域代表点の選出依頼の通知画面の一例を示す図である。
【図１４】照明分光放射特性推定処理の手順を示すフローチャートである。
【図１５−１】カラーフィルタ標本の各点のＲＧＢ成分の測定について説明するための図である。
【図１５−２】カラーフィルタ標本の各点のＲＧＢ成分の測定について説明するための図である。
【図１６−１】ＲＧＢ成分判定処理について説明するための図である。
【図１６−２】ＲＧＢ成分判定処理について説明するための図である。
【図１７】画像処理装置における処理の手順を示すフローチャートである
【図１８】照明放射強度幅Ｉの入力依頼の通知画面の一例を示す図である。
【図１９】ＲＧＢ画像の一例を示す図である。
【００９０】
１ 画像処理装置
１１０ 画像取得部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ カラーフィルタ分光特性データ
１４３ 分割領域別照明分光放射特性データ
１４５ 画像処理プログラム
１５０ 画像処理部
１５１ 領域分割部
１５３ 代表点抽出部
１５５ 照明分光放射特性推定部
１５７ 分光特性推定部
１６０ 制御部
１６１ 照明画像取得制御部
１６３ フィルタＲＧＢ成分取得制御部
１６５ 標本画像取得制御部
【技術分野】
【０００１】
本発明は、被写体を撮像した対象画像の画素値をもとに、前記被写体の分光特性を推定する画像処理装置および画像処理プログラムに関する。
【０００２】
被写体に固有の物理的性質を表す物理量の一つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光透過率の推定技術が利用されている。
【０００３】
病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された標本は光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。
【０００５】
ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００６】
エオジンは好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００７】
Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、染色標本の状態を形態学的に判断することが可能となる。
【０００８】
染色された標本の観察は、観察者の目視によるものの他、この染色された標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率に基づいて標本を染色している色素の色素量を推定する処理、推定した色素量に基づいて画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の標本のＲＧＢ画像が合成される。図１９は、合成されたＲＧＢ画像の一例を示す図である。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。したがって、染色標本の分光透過率を高精度に推定することが、染色標本に固定された色素量の推定や、染色ばらつきの補正等の高精度化に繋がる。
【０００９】
標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法（例えば、非特許文献１参照）や、ウィナー（Wiener）推定による推定法（例えば、非特許文献２参照）等が挙げられる。
【００１０】
ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質と観測ノイズの特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【００１１】
ここで、ウィナー推定法によって標本のマルチバンド画像から標本各点の分光透過率を推定する方法について説明する。
【００１２】
先ず、標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる染色標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１３】
撮像されたマルチバンド画像の位置ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。
【数１】
λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける撮像ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。
【００１４】
実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、位置ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
【００１５】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。Ｈはシステム行列と呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
【００１６】
次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値Ｔ＾（ｘ）は、次式（４）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表すハット（＾）が付いていることを示す。
【数２】
【００１７】
ここで、Ｗは、ウィナー推定行列と呼ばれ、次式（５）で表される。
【数３】
ＲSSは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。ＲNNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラの撮像ノイズの自己相関行列を表す。このように、ウィナー推定行列は、システム行列Ｈと、観測対象の統計的性質を表す項ＲSSと、観測ノイズの特性を表す項ＲNNから構成され、それぞれの特性を高精度に表す事が、分光透過率の推定精度の向上に繋がる。
【００１８】
【特許文献１】特開平７−１２０３２４号公報
【非特許文献１】“Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions”，Proceedings of SPIE，Vol.4684，2002，p.1516-1523
【非特許文献２】“Color Correction of Pathological Images Based on Dye Amount Quantification”，OPTICAL REVIEW，Vol.12，No.4，2005，p.293-300
【発明の開示】
【発明が解決しようとする課題】
【００１９】
ところで、非特許文献１に開示されている手法に従い、ウィナー推定を用いてマルチバンド画像から標本各点の分光透過率を推定する場合には、式（１）に示すカメラの応答システムの関係性に基づき、式（３）に示す光学フィルタの分光透過率Ｆ、カメラの分光感度特性Ｓ、および照明の分光放射特性Ｅと、式（５）に示す観測対象の統計的性質を表す自己相関行列ＲSS、および観測ノイズの特性を表す自己相関行列ＲNNを事前に測定する必要がある。
【００２０】
このうち、式（３）に含まれる照明の分光放射特性Ｅは、分光計を用いて複数の画素からなる所定範囲の領域（測定領域）における照明の分光放射特性を測定し、得られた測定値を代表値として用いていた。すなわち、所定の測定領域における照明の分光放射特性の測定値を、同一視野内の画素に一様に適用していた。しかしながら、照明光には照明放射分布の不均一性が存在し、同一視野内を均一な照明強度で照射することは技術的に難しい。このため、実際の照明の分光放射特性Ｅは、照明光の照明放射分布の不均一性の影響をうけて同一視野内の各点で特性が異なる場合があり、各画素に同じ照明の分光放射特性Ｅを適用して分光透過率の推定を行うと、推定精度が低下するという問題があった。
【００２１】
また、照明光を照射するランプには寿命があり、その分光放射特性は、累積使用時間に伴って変化する。このため、照明の分光放射特性については、マルチバンド画像の取得前に毎回測定する、あるいは定期的に測定することが好ましい。しかしながら、この照明の分光放射特性は分光計によって測定するため、ユーザにとっては、分光計の設置や調整等の作業が手間であった。また、装置に分光計を設ける必要があり、コストの増加にも繋がる。
【００２２】
本発明は、上記した従来の問題点に鑑みて為されたものであり、照明光の照明放射分布の不均一性に起因する分光特性値の推定誤差を軽減し、被写体の分光特性の推定精度を向上させることができる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２３】
上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置は、照明光を照射して被写体を撮像した対象画像の画素値をもとに、前記被写体の分光特性を推定する画像処理装置において、前記照明光を照射した状態で背景を撮像した照明画像を、複数の分割領域に分割する領域分割処理を実行する領域分割手段と、前記領域分割手段によって分割された各分割領域それぞれの中から、少なくとも一つの分割領域代表点を抽出する分割領域代表点抽出手段と、少なくとも照明の分光放射特性を含む前記分割領域代表点抽出手段によって抽出された分割領域代表点のシステム行列を、複数のカラーフィルタを撮像することで得た画像データを用いて推定するシステム行列推定手段と、前記対象画像を構成する画素に対応する被写体位置の分光特性値を、前記画素の属する分割領域の分割領域代表点におけるシステム行列を用いて推定する分光特性推定手段と、を備えることを特徴とする。
【００２４】
また、本発明に係る画像処理装置は、照明光を照射して被写体を撮像した対象画像の画素値をもとに、前記被写体の分光特性を推定する画像処理装置において、複数のカラーフィルタそれぞれの分光特性を記憶するフィルタ特性記憶手段と、前記複数のカラーフィルタを備えたカラーフィルタ標本を保持する標本保持部と、前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を、前記各分割領域代表点の位置に順次移動させる移動制御手段と、前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を撮像したときの前記分割領域代表点の画像データである標本データをフィルタデータとして取得するフィルタデータ取得手段と、前記フィルタデータ取得手段によって取得された前記フィルタデータに基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定するフィルタ特定手段と、前記フィルタ特性記憶手段に記憶されたカラーフィルタの分光特性と、前記フィルタデータ取得手段によって取得され、前記フィルタ特定手段によって前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかが特定された前記フィルタデータとに基づいて、前記分割領域代表点のシステム行列を推定するシステム行列推定手段と、を備えることを特徴とする。
【００２５】
また、本発明に係る画像処理プログラムは、照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定するコンピュータに、前記照明光を照射した状態で背景を撮像した照明画像を、複数の分割領域に分割する領域分割処理を実行する領域分割ステップと、前記領域分割ステップによって分割された各分割領域それぞれの中から、少なくとも一つの分割領域代表点を抽出する分割領域代表点抽出ステップと、少なくとも照明の分光放射特性を含む前記分割領域代表点抽出ステップによって抽出された分割領域代表点のシステム行列を、複数のカラーフィルタを撮像することで得た画像データを用いて推定するシステム行列推定ステップと、前記対象画像を構成する画素に対応する被写体位置の分光特性値を、前記画素の属する分割領域の分割領域代表点におけるシステム行列を用いて推定する分光特性推定ステップと、を実行させることを特徴とする。
【００２６】
また、本発明に係る画像処理プログラムは、複数のカラーフィルタを備えたカラーフィルタ標本を保持する標本保持部と接続され、照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定するコンピュータに、複数のカラーフィルタそれぞれの分光特性を記憶するフィルタ特性記憶ステップと、前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を、前記各分割領域代表点の位置に順次移動させる移動制御ステップと、前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を撮像したときの前記分割領域代表点の画像データである標本データをフィルタデータとして取得するフィルタデータ取得ステップと、前記フィルタデータ取得ステップによって取得された前記フィルタデータに基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定するフィルタ特定ステップと、前記フィルタ特性記憶ステップに記憶されたカラーフィルタの分光特性と、前記フィルタデータ取得ステップによって取得され、前記フィルタ特定ステップによって前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかが特定された前記フィルタデータとに基づいて、前記分割領域代表点のシステム行列を推定するシステム行列推定ステップと、を実行させることを特徴とする。
【発明の効果】
【００２７】
本発明によれば、照明の分光放射特性を含むシステム行列を、分光計を用いずに推定することができる。また、照明画像から取得した分割領域毎に適用する照明の分光放射特性を含むシステム行列を推定することができるので、照明光の照明放射分布の不均一性に起因する分光特性の推定誤差を軽減することができ、被写体の分光特性の推定精度を向上させることができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、本実施の形態では、Ｈ＆Ｅ染色された病理標本を被写体とし、病理標本を撮像したマルチバンド画像から、分光特性値として分光透過率のスペクトル特徴値を推定する場合について説明する。
【００２９】
図１は、本実施の形態に係る画像処理装置の構成を説明する模式図である。図１に示すように、画像処理装置１は、画像取得部１１０を備え、パソコン等のコンピュータ１０と接続されて構成されている。
【００３０】
画像取得部１１０は、Ｈ＆Ｅ染色された分光透過率の推定対象の標本（以下、「対象標本」という。）を撮像して６バンドのマルチバンド画像を取得する。この画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象標本Ｓや後述するカラーフィルタ標本を保持する標本保持部１１３、標本保持部１１３に保持される対象標本Ｓを透過照明する照明部１１５、対象標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。
【００３１】
ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図２は、カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。本実施の形態では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。
【００３２】
標本保持部１１３は、対象標本Ｓやカラーフィルタ標本が載置される標本載置ステージ１１３１と、標本載置ステージ１１３１の移動を制御するステージ制御部１１３３とを備える。標本載置ステージ１１３１は、定常状態では、そのステージ中心が照明光の光軸上に位置するように設置され、後述の照明画像や対象標本画像の撮像は、この定常状態で行われる。一方、カラーフィルタ標本を用いて複数のカラーフィルタのＲＧＢ成分を測定する場合には、ステージ制御部１１３３が、標本載置ステージ１１３１の位置をＸＹ平面上で移動させる。このステージ制御部１１３３は、移動制御手段に相当する。
【００３３】
フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図３−１は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図３−２は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像および第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いることができる。取得されたマルチバンド画像は、対象標本画像として後述の記憶部１４０に保持される。
【００３４】
この画像取得部１１０において、照明部１１５によって照射された照明光は、標本保持部１１３の標本載置ステージ１１３１に載置された対象標本Ｓを透過する。そして、対象標本Ｓを透過した透過光は、光学系１１７および光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図４に示す。
【００３５】
また、本実施の形態では、この画像取得部１１０を利用し、照明光を照射した状態で標本無しの背景を撮像することによって、照明光の反射画像である照明画像を取得する。取得された照明画像は、記憶部１４０に保持される。この照明画像は、標本載置ステージ１１３１に標本を載置せずに撮像を行うことで取得できる。なお、照明画像を取得する際には光学フィルタ１１９１ａ，１１９１ｂは必要ないため、例えばフィルタ部１１９を取り外して使用する。
【００３６】
また、この画像取得部１１０を利用し、予め用意されるカラーフィルタ標本を用いて複数のカラーフィルタのＲＧＢ成分を取得する。この場合には、カラーフィルタ標本を標本載置ステージ１１３１に載置し、このカラーフィルタ標本に含まれる複数のカラーフィルタのＲＧＢ成分をＲＧＢカメラ１１１によって測定する。図５は、カラーフィルタ標本の一例を示す図である。図５に示すように、カラーフィルタ標本ＦＳは、それぞれ分光透過率の異なる複数のカラーフィルタＦがランダムに配置されて構成される。このカラーフィルタ標本ＦＳに配置される各カラーフィルタＦのサイズや形状、配置位置は特に限定されない。なお、このカラーフィルタ標本ＦＳを標本載置ステージ１１３１に載置して各カラーフィルタＦのＲＧＢ成分を測定する際には光学フィルタ１１９１ａ，１１９１ｂは必要ないため、例えばフィルタ部１１９を取り外して使用する。
【００３７】
図６は、画像処理装置１の機能構成を説明するブロック図である。本実施の形態では、画像処理装置１は、図１に示して説明した画像取得部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、画像処理部１５０と、装置各部を制御する制御部１６０とを備える。
【００３８】
入力部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部１６０に出力する。
【００３９】
表示部１３０は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号に基づいて各種画面を表示する。
【００４０】
記憶部１４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものであり、画像処理装置１の動作に係るプログラムや、画像処理装置１の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。例えば、照明画像や対象標本画像の画像データ、カラーフィルタ標本ＦＳを用いて測定したＲＧＢ成分のデータ、照明画像の領域分割結果等が格納される。また、カラーフィルタ分光特性データ１４１と、分割領域別照明分光放射特性データ１４３と、画像処理プログラム１４５とが格納される。カラーフィルタ分光特性データ１４１は、フィルタ特性記憶手段に相当し、カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦそれぞれの分光透過率を記憶する。分割領域別照明分光放射特性データ１４３は、分割領域毎の照明の分光放射特性Ｅを記憶する。また、画像処理プログラム１４５は、照明画像をその画素値に基づいて分割した各分割領域の分割領域代表点毎に照明の分光放射特性Ｅを推定し、推定した分割領域代表点毎の照明の分光放射特性Ｅを用いて対象標本の分光特性を推定するためのプログラムである。
【００４１】
画像処理部１５０は、ＣＰＵ等のハードウェアによって実現される。この画像処理部１５０は、領域分割手段、画素値分布算出手段、分割判定手段、階調変換分割手段、二値化手段、ラベリング処理手段としての領域分割部１５１と、分割領域代表点抽出手段としての代表点抽出部１５３と、システム行列推定手段、フィルタデータ取得手段、標本データ取得手段、フィルタ特定手段、フィルタデータ比較手段、色差算出手段、閾値処理手段としての照明分光放射特性推定部１５５と、分光特性推定手段としての分光特性推定部１５７とを含む。領域分割部１５１は、照明画像を複数の分割領域に分割する。代表点抽出部１５３は、各分割領域の中からそれぞれ一つまたは複数の代表点（分割領域代表点）を抽出する。照明分光放射特性推定部１５５は、カラーフィルタ分光特性データ１４１に記憶された各カラーフィルタＦそれぞれの分光透過率と、カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分とに基づいて、各分割領域代表点における照明の分光放射特性を推定する。ここで、各分割領域代表点のＲＧＢ成分は、標本保持部１１３に保持されたカラーフィルタ標本ＦＳに含まれる各カラーフィルタＦを撮像したときの分割領域代表点の画像データであって、フィルタデータに相当するものである。より詳細には、各カラーフィルタＦを分割領域代表点に移動させて撮像した分割領域代表点の画像データであり、標本データに相当する。分光特性推定部１５７は、対象標本画像を構成する所定の画素に対応する対象標本点の分光透過率を推定する。
【００４２】
制御部１６０は、ＣＰＵ等のハードウェアによって実現される。この制御部１６０は、入力部１２０から入力される操作信号や画像取得部１１０から入力される画像データ、記憶部１４０に格納されるプログラムやデータ等に基づいて画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。また、制御部１６０は、画像取得部１１０の動作を制御して照明画像を取得する照明画像取得制御部１６１と、画像取得部１１０の動作を制御してカラーフィルタ標本ＦＳに含まれる各カラーフィルタＦのＲＧＢ成分を取得するフィルタＲＧＢ成分取得制御部１６３と、画像取得部１１０の動作を制御して対象標本画像を取得する標本画像取得制御部１６５とを含む。
【００４３】
次に、画像処理装置１における処理の手順について説明する。なお、ここで説明する処理は、記憶部１４０に格納された画像処理プログラム１４５に従って画像処理装置１の各部が動作することによって実現される。また、本処理を行うタイミングは適宜設定することができ、例えば定期的に行う。
【００４４】
先ず、照明画像を領域分割した各分割領域から抽出した分割領域代表点毎の照明の分光放射特性Ｅを推定する処理について、図７に示すフローチャートを参照して説明する。この処理では、先ず、照明画像取得制御部１６１が、画像取得部１１０の動作を制御し、照明光を照射した状態で被写体無しの背景を撮像した照明画像を取得する（ステップＳ１０１）。
【００４５】
次に、領域分割部１５１が、照明画像をグレースケールに変換し、横軸を画素値、縦軸を画素の個数としたヒストグラムを作成する（ステップＳ１０３）。図８に、作成されたヒストグラムの一例を示す。領域分割部１５１は、このヒストグラムから得られる画素値の分布幅に応じて、領域分割処理を実行するか否かを判定する。すなわち、領域分割部１５１は、作成したヒストグラムから画素値の分布幅を算出する（ステップＳ１０５）。そして、領域分割部１５１は、算出した分布幅と事前に閾値として設定される基準分布幅とを比較し、領域分割処理を実行するか否かを判定する。
【００４６】
算出した分布幅が基準分布幅より小さい場合には（ステップＳ１０７：Ｎｏ）、領域分割部１５１は、領域分割処理を実行しないと判定する。この場合には、領域分割部１５１は、照明画像の全域を一つの分割領域とし、例えば照明画像の中心画素を分割領域代表点としてステップＳ１１３に移行する。これにより、照明光の照明放射分布の不均一性の程度によっては、照明画像中の任意の画素（この場合は照明画像の中心画素）が分割領域代表点とされ、後述するステップＳ１１３の照明分光放射特性推定処理によって推定される照明画像の中心画素における照明の分光放射特性の推定値が、照明の分光放射特性Ｅとされる。そして、従来と同様に、同一視野内の分光透過率の推定に一様に用いられる。
【００４７】
一方、領域分割部１５１は、分布幅が基準分布幅以上の場合には（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０９に移行し、領域分割処理を実行する。なお、ステップＳ１０３で作成したヒストグラムをユーザに視覚的に提示し、ユーザ操作に従って領域分割処理を実行するか否かを判定してもよい。この場合には、制御部１６０は、図８に例示したような領域分割部１５１によって作成されたヒストグラムを表示部１３０に表示する制御を行うとともに、照明画像を分割領域に分割するか否かの判定依頼の通知を表示する制御を行って、画素値分布表示制御手段および判定入力依頼手段として機能する。図９は、照明画像を分割するか否かの判定依頼の通知画面の一例を示す図である。通知画面Ｗ１０には、分割を行うか否かの判定を依頼する旨のメッセージが表示されるとともに、分割を行う／行わないの何れかを選択するためのボタンＢ１１，Ｂ１３が配置されている。ユーザは、入力部１２０を介してボタンＢ１１またはボタンＢ１３の押下操作を行い、分割指示または非分割指示を入力する。この判定依頼の通知に対する応答に従い、領域分割部１５１は、領域分割処理を実行するか否かを判定する。
【００４８】
ここで、ステップＳ１０９による領域分割処理について説明する。図１０は、領域分割処理の手順を示すフローチャートである。この領域分割処理では、領域分割部１５１は、先ず、階調変換処理を行って照明画像を複数の分割領域に分割する（ステップＳ２０１）。このとき、階調変換処理の結果得られた各分割領域を特定するためのデータが、記憶部１４０に保持される。
【００４９】
この階調変換処理は、事前に指定される分割パラメータに基づいて行われる。本実施の形態では、分割パラメータとして、照明放射強度幅（画素値の強度幅）Ｉを用いる。具体的には、領域分割部１５１は、ステップＳ１０３で作成したヒストグラムに基づいて画素の最大値および最小値を算出する。次いで、領域分割部１５１は、照明放射強度幅Ｉに基づいて、算出した最大値と最小値との間に含まれる各画素の階調変換を行い、階調変換画像を得る。例えば、最大値をＭ、最小値をｍとし、各画素を階調区間である画素値幅［ｍ，Ｍ−ｎＩ］，［Ｍ−２Ｉ＋１，Ｍ−１］，・・・［Ｍ−Ｉ＋１，Ｍ］でそれぞれカテゴリー化する。そして、階調区間の最大値を変換値とし、各カテゴリーに分類された画素を階調変換する。このようにして、領域分割部１５１は、照明放射強度幅Ｉに応じた階調区間毎に照明画像を階調変換することにより、照明画像を複数の分割領域に分割する。図１１は、照明画像の分割領域の一例を示す図である。図１１に示す例では、照明画像Ｇ１０が、三つの分割領域Ａ１１，Ａ１３，Ａ１５に分割されている。
【００５０】
次に、領域分割部１５１は、階調変換結果に基づいて二値化処理を行い、分割領域毎に二値画像を取得する（ステップＳ２０３）。続いて、領域分割部１５１は、得られた各二値画像に対してそれぞれラベリング処理を行い、各二値画像中の連結成分（連結している画素群）に固有の値（ラベル）を付ける（ステップＳ２０５）。このラベリング処理によって、各分割領域からそれぞれ少なくとも一つの二値画像分割領域を取得することができる。このとき、二値化処理およびラベリング処理の結果得られた各二値画像分割領域を特定するためのデータが、記憶部１４０に保持される。なお、ステップＳ２０１の二値化処理およびステップＳ２０５のラベリング処理の具体的な処理方法は、本発明の特徴から限定する必要はなく、公知の処理を用いることにより実施できる。図１２は、二値画像の二値画像分割領域の一例を示す図である。この図１２は、図１１に示す照明画像Ｇ１０の分割領域Ａ１１を対象とした二値化処理およびラベリング処理の結果得られた二値画像分割領域を示しており、この二値画像Ｇ２０によれば、分割領域Ａ１１について４つの二値画像分割領域Ａ２１，Ａ２３，Ａ２５，Ａ２７が取得されている。ラベリング処理の後、図７のステップＳ１０９にリターンし、その後ステップＳ１１１に移行する。
【００５１】
ステップＳ１１１では、代表点抽出部１５３が、ステップＳ１０９の領域分割処理の結果得られた分割領域の中から一つまたは複数の分割領域代表点を抽出する。具体的には、代表点抽出部１５３は、照明画像を分割した各分割領域をそれぞれ処理対象として、次の処理を行う。先ず、処理対象の分割領域から取得した二値画像分割領域の中から、最大面積の二値画像分割領域を選出する。ここでの処理により、例えば、図１２の例では、二値画像分割領域Ａ２７が選出される。次いで、選出した二値画像分割領域に基づいて、横軸を画素値、縦軸を画素の個数としたヒストグラムを作成する。次いで、作成したヒストグラムに基づいて、その個数が予め設定された所定の閾値以下である画素値をノイズとして除去し、除去した画素値以外の画素値の最小値と最大値とに基づいて、その中心値を算出する。そして、選出した二値画像分割領域に含まれる画素の中から、算出した中心値を画素値とする画素を一つまたは複数個無作為に選出し、処理対象の分割領域における分割領域代表点とする。このようにして抽出された分割領域毎の分割領域代表点は、記憶部１４０に格納される。これにより、分割領域内の画素の中から、その分割領域において平均的な照明放射強度の画素を分割領域代表点として抽出することができる。分割領域代表点は、何点抽出することとしても構わないが、複数抽出する場合には、抽出済みの分割領域代表点を中心とした所定範囲内に存在する画素を抽出対象から除外し、所定範囲の領域内から複数の分割領域代表点を抽出しないようにする。
【００５２】
なお、領域分割処理の結果をユーザに視覚的に提示し、ユーザ操作に従って分割領域代表点を抽出してもよい。この場合には、制御部１６０は、図１１に例示したような照明画像の分割領域を表示部１３０に表示する制御を行うとともに、分割領域毎に分割領域代表点の選出依頼の通知を表示する制御を行って、分割領域表示制御手段および代表点選出依頼手段として機能する。図１３は、分割領域代表点の選出依頼の通知画面の一例を示す図である。通知画面Ｗ２０には、分割領域毎に分割領域代表点の選出を依頼する旨のメッセージＭ２０が表示されている。ユーザは、入力部１２０を介して各分割領域からそれぞれ一つまたは複数の分割領域代表点の位置を指定することによって、分割領域毎の分割領域代表点を選出する。また、取消ボタンＢ２１の押下操作によって指定操作を取り消し、あるいは決定ボタンＢ２３の押下操作によって指定操作を確定する。この通知画面Ｗ２０では、分割領域代表点の指定操作に応じてその選出位置が識別表示されるようになっており、図１３の例では、分割領域Ａ１１の中から選出された分割領域代表点の位置Ｐ１０が識別表示されている。この選出依頼の通知に対する応答に従い、代表点抽出部１５３は、各分割領域の分割領域代表点を抽出する。あるいは、図１２に例示したような分割領域から取得した二値画像分割領域を分割領域毎に表示部１３０に表示する制御を行い、最大面積の二値画像分割領域の中からその分割領域における分割領域代表点を選択させるようにしてもよい。
【００５３】
続いて、図７に示すように、照明分光放射特性推定部１５５が照明分光放射特性推定処理を行う（ステップＳ１１３）。この照明分光放射特性推定処理によって、各分割領域代表点における照明の分光放射特性が推定され、分割領域毎の照明の分光放射特性Ｅが決定される。図１４は、ステップ１１３による照明分光放射特性推定処理の手順を示すフローチャートである。なお、この照明分光放射特性推定処理を行う前に、カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦそれぞれの分光透過率を測定し、測定データをカラーフィルタ分光特性データ１４１として記憶部１４０に格納しておく。また、ＲＧＢカメラ１１１の分光感度特性を測定し、測定データを記憶部１４０に格納しておく。各カラーフィルタＦおよびＲＧＢカメラ１１１の分光特性は経時変化しないため、一度測定した値を継続して使用できる。
【００５４】
そして、照明分光放射特性推定処理では、ステップ１１１で抽出された各分割領域代表点を処理対象とし、ループＡの処理を各分割領域代表点それぞれについて実行する（ステップＳ３０１〜ステップＳ３２３）。ここで、ループＡ内の処理の説明において、処理対象の分割領域代表点を「処理対象代表点Ｘ」と称す。
【００５５】
ループＡでは、先ず、フィルタＲＧＢ成分取得制御部１６３が画像取得部１１０の動作を制御し、被写体無しの状態で、処理対象代表点ＸのＲＧＢ成分（Ｒ0，Ｇ0，Ｂ0）をＲＧＢカメラ１１１を用いて測定する（ステップＳ３０３）。得られたＲＧＢ成分（Ｒ0，Ｇ0，Ｂ0）は、参照値として記憶部１４０に格納される。参照値（Ｒ0，Ｇ0，Ｂ0）を取得したならばステップＳ３０５に移るが、このステップＳ３０５以降の処理は、画像取得部１１０の標本載置ステージ１１３１にカラーフィルタ標本ＦＳが載置された状態で行われる。例えば、このステップＳ３０５に移る前に、表示部１３０に対するメッセージ表示等によってカラーフィルタ標本ＦＳの載置をユーザに促し、標本載置ステージ１１３１にカラーフィルタ標本ＦＳを載置させる。
【００５６】
ステップＳ３０５では、ステージ制御部１１３３が、標本載置ステージ１１３１の移動を制御し、処理対象代表点Ｘの位置において、カラーフィルタ標本ＦＳの位置を例えばカラーフィルタ標本ＦＳの左上位置から順番にラスタスキャンさせる。ここでいう処理対象代表点Ｘの位置は、処理対象代表点Ｘに対応する標本載置ステージ１１３１の移動平面上の位置のことであり、定常状態における標本載置ステージ１１３１の位置に基づいて算出される。そして、カラーフィルタ標本ＦＳを通過した処理対象代表点ＸのＲＧＢ成分（Ｒx，Ｇx，Ｂx）を、ＲＧＢカメラ１１１によって測定する（ステップＳ３０７）。ここで、ラスタスキャンの移動間隔は、ＲＧＢカメラ１１１によって撮像される画像の１画素分に相当する距離でもよいし、カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦのうち、最も小さいカラーフィルタＦのサイズに従って移動間隔を設定してもよい。
【００５７】
図１５−１は、処理対象代表点Ｘの標本載置ステージ１１３１の移動平面上の位置を、照明画像の視野Ｒ１０とともに示した図である。また、図１５−２は、この処理対象代表点Ｘの位置におけるカラーフィルタ標本ＦＳの位置のラスタスキャンの様子を示している。図１５−２に示すように、ステージ制御部１１３３によって、処理対象代表点Ｘの位置におけるカラーフィルタ標本ＦＳの位置を所定量ずつずらしながら、その都度処理対象代表点ＸのＲＧＢ成分をＲＧＢカメラ１１１によって測定する。
【００５８】
続いて、照明分光放射特性推定部１５５が、ＲＧＢ成分判定処理として、ステップＳ３０９〜ステップＳ３１５の各処理を実行する。このＲＧＢ成分判定処理では、先ず、照明分光放射特性推定部１５５は、色差算出処理を行い、照明の分光放射特性の基準値Ｅとフィルタの分光透過率Ｆとカメラの分光感度特性Ｓの積で算出される比較値（ＲB，ＧB，ＢB）とステップＳ３０７で取得した測定値（Ｒx，Ｇx，Ｂx）とから色差△Ｅを算出する（ステップＳ３０９）。次いで、照明分光放射特性推定部１５５は、算出した色差△Ｅに基づいて、閾値処理を行う（ステップＳ３１１）。そして、照明分光放射特性推定部１５５は、閾値処理の結果に基づいて、カラーフィルタ標本ＦＳに含まれるいずれかのカラーフィルタＦのＲＧＢ成分を探索する。このとき、ステップＳ３０９で求めた色差△Ｅが事前に閾値として設定される基準色差よりも小さい、もしくは最も小さくなる場合に、ステップＳ３０７で得た測定値（Ｒx，Ｇx，Ｂx）が、カラーフィルタ標本ＦＳに含まれるいずれかのカラーフィルタＦのＲＧＢ成分であると判定し、いずれかのカラーフィルタＦのＲＧＢ成分を探索したと判定する（ステップＳ３１３：ＹＥＳ）。照明分光放射特性推定部１５５は、いずれかのカラーフィルタＦのＲＧＢ成分と判定された測定値（Ｒx，Ｇx，Ｂx）を、カラーフィルタ測定データとして登録し、記憶部１４０に格納する（ステップＳ３１５）。
【００５９】
図１６−１，２は、ＲＧＢ成分判定処理の原理を説明する図である。例えば、処理対象代表点Ｘとカラーフィルタ標本ＦＳとが図１６−１に示す位置関係にある場合、比較値と測定値とから求めた色差が基準色差より小さくなるため、カラーフィルタ標本ＦＳに含まれるいずれかのカラーフィルタＦのＲＧＢ成分を探索したと判定する。実際には、カラーフィルタＦ１１のＲＧＢ成分を測定したのであるが、カラーフィルタ標本ＦＳにおける各カラーフィルタＦのサイズや形状、配置位置が未知であるため、この時点では、取得した測定値がいずれかのカラーフィルタＦのＲＧＢ成分であることは判別できるものの、それがどのカラーフィルタＦなのか（ここでは、カラーフィルタＦ１１）を特定することはできない。
【００６０】
また、このようにしていずれかのカラーフィルタＦが探索された場合には、比較値（ＲB，ＧB，ＢB）およびカラーフィルタ測定データを用いて、未探索のカラーフィルタＦを探索する。すなわち、ステップＳ３０９では、比較値（ＲB，ＧB，ＢB）と測定値（Ｒx，Ｇx，Ｂx）との色差△Ｅ、およびカラーフィルタ測定データと測定値（Ｒx，Ｇx，Ｂx）との色差△Ｅをそれぞれ算出する。カラーフィルタ測定データとして複数の測定値が登録されている場合には、各カラーフィルタ測定データとの色差△Ｅをそれぞれ算出する。そして、ステップＳ３１１，３１３では、比較値（ＲB，ＧB，ＢB）との色差△Ｅおよびカラーフィルタ測定データとの色差△Ｅそれぞれについて閾値処理を行い、未探索のカラーフィルタＦを探索する。いずれかの未探索のカラーフィルタＦのＲＧＢ成分と判定された測定値（Ｒx，Ｇx，Ｂx）は、カラーフィルタ測定データとして追加登録されて、記憶部１４０に格納される。
【００６１】
例えば、カラーフィルタ標本ＦＳが図１６−２に示す位置に移動した場合、比較値と測定値とから求めた色差が基準色差より小さくなるため、いずれかのカラーフィルタＦを探索したと判定するが、この場合には、さらに、カラーフィルタ測定データ（図１６−１の位置で取得したカラーフィルタＦ１１のＲＧＢ成分）と測定値とから求めた色差と基準色差とを比較し、このＲＧＢ成分が未探索のカラーフィルタＦのＲＧＢ成分か否かを判定する。基準色差より小さい場合には、新たにいずれかの未探索のカラーフィルタＦ（実際には、カラーフィルタＦ１３）のＲＧＢ成分を探索したと判定する。
【００６２】
ここで、色差△Ｅは、比較値（ＲB，ＧB，ＢB）を標準白色のＲＧＢ成分として、比較値（ＲB，ＧB，ＢB）からＬ*ａ*ｂ*値（Ｌ*B，ａ*B，ｂ*B）を求め、測定値（Ｒx，Ｇx，Ｂx）からＬ*ａ*ｂ*値（Ｌ*x，ａ*x，ｂ*x）を求めて、求めた各値を用いて算出する。色差△Ｅの算出式を次式（６）に示す。
【数４】
【００６３】
以上のようにして、カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦのＲＧＢ成分をラスタスキャンで探索し、終了条件を満足するまでステップＳ３０５〜３１５の処理を繰り返し実行する。例えば、カラーフィルタ標本ＦＳ上の全ての位置を探索した場合を終了条件とし、この終了条件を満足したならば（ステップＳ３１７：Ｙｅｓ）、ステップＳ３１９に移行する。あるいは、カラーフィルタ測定データに登録された測定値の数が、事前に指定した個数（カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦの個数）に達した場合を終了条件として終了判定を行うこととしてもよい。
【００６４】
続いて、ステップＳ３１９では、照明分光放射特性推定部１５５は、カラーフィルタ特定処理を行い、各カラーフィルタ測定データに基づいて、これらがどのカラーフィルタＦのＲＧＢ成分なのかの対応付けを行う。
【００６５】
ここで、ステップＳ３０３で算出した参照値（Ｒ0，Ｇ0，Ｂ0）とカラーフィルタ測定データである測定値（Ｒx，Ｇx，Ｂx）とから、Ｒ成分の透過率Ｒx／Ｒ0は、次式（７）で定義される。
【数５】
ｆ（ｎ，λ）はカラーフィルタ標本ＦＳに含まれるＮ個のカラーフィルタＦのうちの、ｎ番目のカラーフィルタＦの分光透過率を表す。ここで、照明の分光放射特性ｅ（λ）に関し、全ての可視光波長で１．０の強度を持つ照明光と仮定すると、式（７）は、次式（８）によって表すことができる。
【数６】
さらにここで、ＲＧＢカメラ１１１の撮像ノイズをノイズフリーと仮定すると、参照値（Ｒ0，Ｇ0，Ｂ0）と測定値（Ｒx，Ｇx，Ｂx）から求まるＲ成分の透過率Ｒx／Ｒ0は、次式（９）によって表すことができる。
【数７】
参照値（Ｒ0，Ｇ0，Ｂ0）と測定値（Ｒx，Ｇx，Ｂx）から求まるＧ成分の透過率Ｇx／Ｇ0およびＢ成分の透過率Ｂx／Ｂ0についても、同様に定義することができる。したがって、参照値（Ｒ0，Ｇ0，Ｂ0）および各カラーフィルタ測定データから求まるＲＧＢ各成分の透過率と、予め測定される各カラーフィルタＦの分光透過率ｆ（ｎ，λ）およびＲＧＢカメラ１１１の分光感度特性ｓ（λ）とによって定まる各カラーフィルタＦのＲＧＢ成分の透過率とを比較して、最も値の近いＲＧＢ成分の透過率の組み合わせを特定することによって、カラーフィルタ測定データとカラーフィルタＦとを対応付けることができる。
【００６６】
次に、照明分光放射特性推定部１５５は、各カラーフィルタ測定データと、そのカラーフィルタＦの分光透過率ｆ（ｎ，λ）とに基づいて、処理対象代表点Ｘにおける照明の分光放射特性を推定する（ステップＳ３２１）。
【００６７】
先ず、ｎ番目に測定された測定値（Ｒx（ｎ），Ｇx（ｎ），Ｂx（ｎ））の内、Ｒ成分は次式（１０）で算出される。
【数８】
ここで、ｆn（λ）はｎ番目の測定値に対応付けられたカラーフィルタＦの波長λにおける分光透過率、ｓR（λ）はＲＧＢカメラ１１１のＲ値に対する波長における分光感度特性、ｎ（Ｒx（ｎ））は測定値Ｒx（ｎ）におけるＲＧＢカメラ１１１の撮像ノイズを表す。波長λの次元数をｍ、カラーフィルタ標本ＦＳに含まれるカラーフィルタＦをｎ個とすると、式（１０）は、行列式を用いて次式（１１）で表すことができる。
【数９】
【００６８】
ここで、ＲＧＢカメラ１１１の撮像ノイズをノイズフリーと仮定すると、式（１１）は次式（１２）で表すことができる。
【数１０】
【００６９】
そして、測定値のＧ成分およびＢ成分についても同様に表現できる。照明分光放射特性推定部１５５は、この関係式を用いて、予め測定される各カラーフィルタＦの分光透過率およびＲＧＢカメラ１１１の分光感度特性と、ｎ個の測定値との関係から、最小二乗法を用いて処理対象代表点Ｘの照明の分光放射特性ｅ（λ）を推定する。推定された処理対象代表点Ｘの照明の分光放射特性ｅ（λ）は、処理対象代表点の識別情報とともに記憶部１４０に格納される。ここで、最小二乗法の具体的な処理方法は、本発明の特徴から限定する必要はなく、一般的に公知の処理を用いることで実施できる。また、ＲＧＢカメラ１１１の撮像ノイズをノイズフリーと仮定して説明したが、ノイズを考慮した重み付き最小二乗法を用いることでノイズの影響を考慮することができる。
【００７０】
以上の手順に従い、全ての分割領域代表点を処理対象代表点ＸとしてループＡの処理を実行したならば、ステップＳ３２５に移行する。すなわち、ステップＳ３２５では、照明分光放射特性推定部１５５は、分割領域毎の照明の分光放射特性Ｅを決定する。このとき、一の分割領域の中から抽出された分割領域代表点が一つの場合には、この分割領域代表点における推定値を当該分割領域における照明の分光放射特性Ｅとする。一方、一の分割領域の中から抽出された分割領域代表点が複数個ある場合には、各分割領域代表点における推定値から平均値を算出し、算出した平均値を当該分割領域における照明の分光放射特性Ｅとする。そして、照明分光放射特性推定部１５５は、決定した各分割領域の照明の分光放射特性Ｅを対応する分割領域の識別情報と関連付け、分割領域別照明分光放射特性データ１４３として記憶部１４０に格納する。そして、図７のステップＳ１１３にリターンし、処理を終了する。
【００７１】
以上のようにすれば、カラーフィルタ標本ＦＳに含まれる各カラーフィルタＦのサイズや形状、配置位置に関係なく、各カラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分を取得し、各分割領域代表点における照明の分光放射特性を推定することができる。このため、カラーフィルタ標本の加工に高度な技術を必要とせず、カラーフィルタ標本を容易に加工することができる。
【００７２】
なお、上記の処理では、簡明な説明のため、分割領域代表点毎にカラーフィルタ標本ＦＳの位置をラスタスキャンさせ、カラーフィルタ標本ＦＳの各点を通過した分割領域代表点のＲＧＢ成分を測定することとしたが、一度のスキャンでカラーフィルタ標本ＦＳの各点を通過した各分割領域代表点のＲＧＢ成分を測定することも勿論可能である。
【００７３】
次に、対象標本の分光特性を推定する処理について、図１７に示すフローチャートを参照して説明する。この処理では、先ず、標本画像取得制御部１６５が、画像取得部１１０の動作を制御して、分光透過率の推定対象の対象標本をマルチバンド撮像し、対象標本画像を取得する（ステップＳ４０１）。
【００７４】
続いて、分光特性推定部１５７が、対象標本画像の任意の点ｘにおける画素に対応する対象標本点における分光透過率を推定する。すなわち、分光特性推定部１５７は、先ず、点ｘの画素の属する分割領域を特定し、この分割領域における照明の分光放射特性Ｅを記憶部１４０に格納された分割領域別照明分光放射特性データ１４３から読み出して取得する（ステップＳ４０３）。
【００７５】
また、分光特性推定部１５７は、光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓ、標本の分光透過率の自己相関行列ＲSS、およびＲＧＢカメラ１１１の撮像ノイズの自己相関行列ＲNNの各分光特性推定パラメータを取得する（ステップＳ４０５）。
【００７６】
ここで、光学フィルタ１１９１ａ，１１９１ｂの分光透過率ＦおよびＲＧＢカメラ１１１の分光感度特性Ｓは、使用する機器を選定の後、分光計等を用いて予め測定しておく。なお、ここでは、光学系１１７の分光透過率は１.０と近似しているが、この近似値１.０からの乖離が許容できない場合には、光学系１１７の分光透過率も予め測定し、照明の分光放射特性Ｅに乗じればよい。
【００７７】
また、標本の分光透過率の自己相関行列ＲSSおよびＲＧＢカメラ１１１の撮像ノイズの自己相関行列ＲNNについても、事前に測定しておく。ＲSSは、Ｈ＆Ｅ染色された典型的な標本を用意し、分光計によって複数の点の分光透過率を測定して自己相関行列を求めることによって得られる。一方、ＲNNは、標本無しの状態で画像取得部１１０によってマルチバンド画像を取得し、得られた６バンドのマルチバンド画像の各バンドについて画素値の分散を求め、これを対角成分とする行列を生成することによって得られる。ただし、バンド間でノイズの相関はないと仮定している。
【００７８】
そして、分光特性推定部１５７は、ステップＳ４０３で取得した照明の分光放射特性ＥとステップＳ４０５で取得した光学フィルタ１１９１ａ，１１９１ｂの分光透過率ＦおよびＲＧＢカメラ１１１の分光感度特性Ｓとを用い、背景技術で示した式（３）に従ってシステム行列Ｈを算出し、算出したシステム行列ＨとステップＳ４０５で取得した標本の分光透過率の自己相関行列ＲSSおよびＲＧＢカメラ１１１の撮像ノイズの自己相関行列ＲNNとを用い、式（５）に従ってウィナー推定行列Ｗを算出する（ステップＳ４０７）。そして、分光特性推定部１５７は、対象標本画像の点ｘに対応する対象標本点における分光透過率を、ウィナー推定によって推定する（ステップＳ４０９）。具体的には、背景技術で示した式（４）に従い、対象標本画像の点ｘにおける画素値の行列表現Ｇ（ｘ）から、対応する対象標本点における分光透過率の推定値Ｔ＾（ｘ）を推定する。得られた分光透過率の推定値Ｔ＾（ｘ）は、記憶部１４０に格納される。
【００７９】
本画像処理装置１によって推定された分光透過率は、例えば、対象標本を染色している色素の色素量の推定に用いられる。そして、推定された色素量に基づいて画像の色が補正され、カメラの特性や染色状態のばらつき等が補正されて、表示用のＲＧＢ画像が合成される。このＲＧＢ画像は、表示部１３０に画面表示されて病理診断に利用される。
【００８０】
本実施の形態によれば、照明光を照射した状態で被写体無しの背景を撮像した照明画像を取得し、この照明画像を照明放射強度幅Ｉに基づいて分割した分割領域毎に、照明の分光放射特性Ｅを推定することができる。具体的には、各分割領域の中からそれぞれ分割領域代表点を抽出する。そして、複数のカラーフィルタＦを備えたカラーフィルタ標本ＦＳを用い、各カラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分を取得して、このＲＧＢ成分をもとに各分割領域代表点の照明の分光放射特性を推定することができる。また、対象標本画像を構成する画素に対応する対象標本点の分光透過率を推定する際には、この画素の属する分割領域に応じた照明の分光放射特性Ｅを用いることができる。これによれば、同一視野内の照明放射分布の不均一性による推定精度の低下問題は、同一分割領域内の照明放射分布の不均一性による推定精度の低下問題となる。したがって、照明光の照明放射分布の不均一性に起因する分光特性の推定誤差を軽減することができ、被写体の分光特性の推定精度を向上させることができる。また、カラーフィルタ標本ＦＳの各点を通過した各分割領域代表点のＲＧＢ成分から、このカラーフィルタ標本ＦＳに含まれる各カラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分を自動的に探索して取得し、各分割領域代表点における照明の分光放射特性を推定することができるので、従来照明の分光放射特性の測定に使用していた分光計が必要ない。したがって、ユーザは、カラーフィルタ標本ＦＳを標本載置ステージ１１３１に載置するだけでよく、分光計を設置・調製等する手間が軽減できる。また、分光計が必要ないため、コストを削減できる。
【００８１】
なお、照明画像を領域分割するための分割パラメータである照明放射強度幅Ｉは、ユーザ操作に従って設定することとしてもよい。この場合には、制御部１６０は、例えば、図１８に例示したような領域分割部１５１によって作成されたヒストグラムを表示部１３０に表示する制御を行うとともに、照明放射強度幅Ｉの入力依頼の通知を表示する制御を行って、パラメータ入力依頼手段として機能する。図１８は、照明放射強度幅Ｉの入力依頼の通知画面の一例を示す図である。通知画面Ｗ３０には、照明放射強度幅Ｉの入力操作を受け付ける入力ボックスＢ３０が配置されている。ユーザは、入力部１２０を介して所望の照明放射強度幅Ｉの値を入力ボックスＢ３０に入力することにより、照明放射強度幅Ｉを指定する。領域分割部１５１は、この入力依頼の通知に応答して入力された値を照明放射強度幅Ｉとし、階調変換処理を行う。このように、ユーザ操作によって指定された照明放射強度幅Ｉに基づいて領域分割処理を行うようにすれば、ユーザが照明放射分布の不均一性の許容量を指定することができ、照明光の照明放射分布の不均一性による分光特性の推定精度への影響を許容内に軽減することができる。したがって、ユーザは、指定する照明放射強度幅Ｉの値によって、照明放射分布の不均一性による分光特性の推定誤差の軽減と領域分割に伴う分光特性の推定処理時間の増加とのバランスを適宜調整できる。例えば、照明放射強度幅Ｉを狭く指定すれば、推定処理時間は増大するものの、分光特性の推定誤差は小さくなり、分光特性の推定精度を向上させることができる。一方、照明放射強度幅Ｉを広く指定した場合には、分光特性の推定精度はある程度低下するが、推定処理時間を短縮することができる。
【００８２】
また、上記した実施形態では、照明放射強度幅Ｉを分割パラメータとして用い、照明画像を分割する場合について説明したが、分割数を分割パラメータとして用い、照明画像を分割することとしてもよい。この場合には、例えば、分割数に従って照明画像をマス目状に分割して、複数の分割領域に分割することとしてもよい。また、この分割数をユーザ操作に従って設定してもよい。あるいは、照明放射強度幅Ｉおよび分割数の両方を分割パラメータとして用い、照明画像を分割することとしてもよい。この場合には、例えば、分割数に従って照明放射強度幅Ｉを決定し、決定した照明放射強度幅Ｉに従って照明画像を複数の分割領域に分割する。
【００８３】
また、上記の実施の形態では、照明画像を領域分割した分割領域からそれぞれ抽出した各分割領域代表点における照明の分光放射特性を推定する場合について説明したが、照明の分光放射特性Ｅ、光学フィルタの分光透過率Ｆおよびカメラの分光感度特性Ｓとによって定まるシステム行列Ｈの値を推定することも可能である。
【００８４】
また、上記の実施形態では、サイズや形状の異なる複数のカラーフィルタＦがランダムに配置されたカラーフィルタ標本ＦＳを用いて照明の分光放射特性を推定することとしたが、例えばマス目状に複数のカラーフィルタが配列したカラーフィルタ標本を用いることとしても構わない。あるいは、複数のカラーフィルタを各分割領域代表点の位置で切り替えることにより、各カラーフィルタを通過した各分割領域代表点のＲＧＢ成分を取得することとしてもよい。また、カラーフィルタ標本に含まれる各カラーフィルタのサイズや形状、位置等が既知の場合には、各カラーフィルタのＲＧＢ成分を探索する必要はなく、これらの情報を用いて各分割領域代表点の位置にカラーフィルタを移動させることができる。
【００８５】
また、上記の実施形態では、カラーフィルタ標本ＦＳのカラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分を取得するため、標本載置ステージ１１３１を移動させ、カラーフィルタ標本ＦＳの各点のＲＧＢ成分を測定することとしたが、各カラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分の取得方法は、これに限定されるものではない。例えば、光学系１１７の倍率（開口数）を低くしてカラーフィルタ標本ＦＳを撮像し、得られた画像からカラーフィルタ標本ＦＳの各カラーフィルタＦの中心位置をＲＧＢ成分に基づいて算出することとしてもよい。そして、標本載置ステージ１１３１を移動制御し、各分割領域代表点の位置に算出した各カラーフィルタＦの中心位置を順次移動させて、各カラーフィルタＦを通過した各分割領域代表点のＲＧＢ成分を測定してもよい。ただし、この方法を用いた場合、光学系１１７の分光透過率の変動を考慮する必要がある。
【００８６】
また、上記した実施の形態では、ステージ制御部１１３３によって標本載置ステージ１１３１の移動を制御することによってカラーフィルタ標本ＦＳの位置をスキャンさせ、カラーフィルタ標本ＦＳを通過した分割領域代表点のＲＧＢ成分を自動的に取得し、取得したＲＧＢ成分であるカラーフィルタ測定データとカラーフィルタＦとを対応付ける場合について説明したが、次のようにしてもよい。すなわち、ユーザが、標本載置ステージ１１３１を手動で移動させて分割領域代表点の位置にカラーフィルタ標本を構成する各カラーフィルタを順次配置し、カラーフィルタ測定データを取得する構成としてもよい。またこのときに、標本載置ステージ１１３１の位置をもとに現在のカラーフィルタ標本の位置を算出し、分割領域代表点と併せて表示部１３０に表示する制御を行ってこれらの位置関係をユーザに視覚的に提示することとしてもよい。この場合には、制御部１６０は、図１５−１や図１５−２に例示したような分割領域代表点と現在のカラーフィルタ標本との位置関係を表示部１３０に表示する制御を行って、代表点表示制御手段および測定位置表示制御手段として機能する。このようにすれば、ユーザは、分割領域代表点とカラーフィルタ標本との位置関係を画面上で確認しながら標本載置ステージ１１３１を手動で移動させ、カラーフィルタ測定データを取得することができる。
【００８７】
また、上記の実施の形態では、病理標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定する場合について説明したが、分光特性値として、分光反射率のスペクトル特徴値を推定する場合にも、同様に適用できる。
【００８８】
また、上記の実施の形態では、Ｈ＆Ｅ染色された病理標本を透過観察する場合について説明したが、他の染色法を用いて染色した生体標本に対しても適用することができる。また、透過光の観察だけでなく、反射光、蛍光、発光の観察においても、同様に適用することができる。
【図面の簡単な説明】
【００８９】
【図１】画像処理装置の構成を示す図である。
【図２】カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。
【図３−１】一方の光学フィルタの分光透過率特性を示す図である。
【図３−２】他方の光学フィルタの分光透過率特性を示す図である。
【図４】Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。
【図５】カラーフィルタ標本の一例を示す図である。
【図６】画像処理装置の機能構成を示すブロック図である。
【図７】画像処理装置における処理の手順を示すフローチャートである
【図８】照明画像をグレースケールに変換して作成したヒストグラムの一例を示す図である。
【図９】照明画像を分割するか否かの判定依頼の通知画面の一例を示す図である。
【図１０】領域分割処理の手順を示すフローチャートである。
【図１１】照明画像を分割した分割領域の一例を示す図である。
【図１２】二値画像を分割した二値画像分割領域の一例を示す図である。
【図１３】分割領域代表点の選出依頼の通知画面の一例を示す図である。
【図１４】照明分光放射特性推定処理の手順を示すフローチャートである。
【図１５−１】カラーフィルタ標本の各点のＲＧＢ成分の測定について説明するための図である。
【図１５−２】カラーフィルタ標本の各点のＲＧＢ成分の測定について説明するための図である。
【図１６−１】ＲＧＢ成分判定処理について説明するための図である。
【図１６−２】ＲＧＢ成分判定処理について説明するための図である。
【図１７】画像処理装置における処理の手順を示すフローチャートである
【図１８】照明放射強度幅Ｉの入力依頼の通知画面の一例を示す図である。
【図１９】ＲＧＢ画像の一例を示す図である。
【００９０】
１ 画像処理装置
１１０ 画像取得部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ カラーフィルタ分光特性データ
１４３ 分割領域別照明分光放射特性データ
１４５ 画像処理プログラム
１５０ 画像処理部
１５１ 領域分割部
１５３ 代表点抽出部
１５５ 照明分光放射特性推定部
１５７ 分光特性推定部
１６０ 制御部
１６１ 照明画像取得制御部
１６３ フィルタＲＧＢ成分取得制御部
１６５ 標本画像取得制御部
【特許請求の範囲】
【請求項１】
照明光を照射して被写体を撮像した対象画像の画素値をもとに、前記被写体の分光特性を推定する画像処理装置において、
前記照明光を照射した状態で背景を撮像した照明画像を、複数の分割領域に分割する領域分割処理を実行する領域分割手段と、
前記領域分割手段によって分割された各分割領域それぞれの中から、少なくとも一つの分割領域代表点を抽出する分割領域代表点抽出手段と、
少なくとも照明の分光放射特性を含む前記分割領域代表点抽出手段によって抽出された分割領域代表点のシステム行列を、複数のカラーフィルタを撮像することで得た画像データを用いて推定するシステム行列推定手段と、
前記対象画像を構成する画素に対応する被写体位置の分光特性値を、前記画素の属する分割領域の分割領域代表点におけるシステム行列を用いて推定する分光特性推定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数のカラーフィルタそれぞれの分光特性を記憶するフィルタ特性記憶手段と、
前記複数のカラーフィルタを撮像したときの前記分割領域代表点の画像データであるフィルタデータを取得するフィルタデータ取得手段と、
を備え、
前記システム行列推定手段は、前記フィルタ特性記憶手段に記憶された前記複数のカラーフィルタの分光特性と、前記フィルタデータ取得手段によって取得された前記複数のカラーフィルタのフィルタデータとに基づいて、前記分割領域代表点のシステム行列を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数のカラーフィルタを備えたカラーフィルタ標本を保持する標本保持部と、
前記標本保持部の移動を制御し、前記カラーフィルタ標本に含まれる前記複数のカラーフィルタを、前記分割領域代表点の位置に移動させる移動制御手段と、
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記複数のカラーフィルタを備えたカラーフィルタ標本を保持する標本保持部と、
前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を、前記各分割領域代表点の位置に順次移動させる移動制御手段と、
を備え、
前記フィルタデータ取得手段は、
前記フィルタデータとして、前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を撮像したときの前記分割領域代表点の画像データである標本データを取得する標本データ取得手段と、
前記標本データ取得手段によって取得された前記標本データに基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定するフィルタ特定手段と、
を有し、
前記システム行列推定手段は、前記フィルタ特性記憶手段に記憶された前記複数のカラーフィルタの分光特性と、前記フィルタデータ取得手段によって取得された前記複数のカラーフィルタのフィルタデータとに基づいて、前記分割領域代表点のシステム行列を推定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記フィルタデータ取得手段は、前記標本データ取得手段によって前記フィルタデータとして新たに取得された前記標本データと、前記標本データ取得手段によって前記フィルタデータとして既に取得された前記標本データとを比較するフィルタデータ比較手段を備え、
前記フィルタ特定手段は、前記フィルタデータ比較手段による比較結果に基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記フィルタデータ比較手段は、
前記標本データ取得手段によって前記フィルタデータとして新たに取得された前記標本データと、前記標本データ取得手段によって前記フィルタデータとして既に取得された前記標本データとの色差を算出する色差算出手段と、
前記色差算出手段によって算出された色差に基づいて所定の閾値処理を行う閾値処理手段と、
を有し、
前記フィルタ特定手段は、前記閾値処理の結果に基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記分割領域代表点抽出手段によって抽出された前記分割領域代表点を表示部に表示する制御を行う代表点表示制御手段と、
前記代表点表示制御手段によって前記表示部に表示制御された分割領域代表点と併せて、前記カラーフィルタ標本の位置を表示する制御を行う測定位置表示制御手段と、
を備えることを特徴とする請求項３〜６のいずれか一つに記載の画像処理装置。
【請求項８】
前記システム行列推定手段は、前記フィルタ特性記憶手段に記憶された各カラーフィルタそれぞれの分光特性と、前記フィルタデータ取得手段によって取得された前記複数のカラーフィルタそれぞれのフィルタデータとをもとに、最小二乗法を用いて前記分割領域代表点のシステム行列を推定することを特徴とする請求項２〜７のいずれか一つに記載の画像処理装置。
【請求項９】
前記領域分割手段は、
前記照明画像を構成する画素の画素値の分布を算出する画素値分布算出手段と、
前記画素値分布算出手段によって算出された画素値の分布に基づいて、前記領域分割処理を実行するか否かを判定する分割判定手段と、
を有することを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
【請求項１０】
画素値分布算出手段によって算出された画素値の分布を表示部に表示する制御を行う画素値分布表示制御手段と、
前記照明画像を前記分割領域に分割するか否かの判定を依頼する判定入力依頼手段と、
を備え、
前記分割判定手段は、前記判定入力依頼手段による判定の依頼に応答して分割指示が入力された場合には前記領域分割処理を実行すると判定し、非分割指示が入力された場合には前記領域分割処理を実行しないと判定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記領域分割手段は、照明放射強度幅および／または分割数を分割パラメータとし、該分割パラメータを用いて前記照明画像を前記分割領域に分割することを特徴とする請求項１〜１０の何れか一つに記載の画像処理装置。
【請求項１２】
前記分割パラメータの入力を依頼するパラメータ入力依頼手段を備え、
前記領域分割手段は、前記パラメータ入力依頼手段による入力の依頼に応答して入力された分割パラメータを用いて、前記照明画像を領域分割することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記領域分割手段は、
前記照明画像を、前記分割パラメータに応じた階調区間毎に階調変換し、階調変換結果に基づいて前記照明画像を前記分割領域に分割する階調変換分割手段と、
前記階調変換結果に基づいて二値化処理を行い、前記分割領域毎の二値画像を取得する二値化手段と、
前記二値化手段による二値化結果に基づいて、前記分割領域毎の二値画像それぞれにラベリング処理を行うラベリング処理手段と、
を有し、
前記分割領域代表点抽出手段は、前記ラベリング処理手段の結果に基づいて、前記各分割領域から前記分割領域代表点を抽出することを特徴とする請求項１１または１２に記載の画像処理装置。
【請求項１４】
前記領域分割処理の結果を表示部に表示する制御を行う分割領域表示制御手段と、
前記分割領域毎に、前記分割領域代表点の選出を依頼する代表点選出依頼手段と、
を備え、
前記分割領域代表点抽出手段は、前記代表点選出依頼手段による選出の依頼に応答して選出された分割領域代表点に基づいて、前記各分割領域における前記分割領域代表点を抽出することを特徴とする請求項１〜１３のいずれか一つに記載の画像処理装置。
【請求項１５】
照明光を照射して被写体を撮像した対象画像の画素値をもとに、前記被写体の分光特性を推定する画像処理装置において、
複数のカラーフィルタそれぞれの分光特性を記憶するフィルタ特性記憶手段と、
前記複数のカラーフィルタを備えたカラーフィルタ標本を保持する標本保持部と、
前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を、前記各分割領域代表点の位置に順次移動させる移動制御手段と、
前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を撮像したときの前記分割領域代表点の画像データである標本データをフィルタデータとして取得するフィルタデータ取得手段と、
前記フィルタデータ取得手段によって取得された前記フィルタデータに基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定するフィルタ特定手段と、
前記フィルタ特性記憶手段に記憶されたカラーフィルタの分光特性と、前記フィルタデータ取得手段によって取得され、前記フィルタ特定手段によって前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかが特定された前記フィルタデータとに基づいて、前記分割領域代表点のシステム行列を推定するシステム行列推定手段と、
を備えることを特徴とする画像処理装置。
【請求項１６】
前記分光特性値は、分光透過率または分光反射率のスペクトル特徴値であることを特徴とする請求項１〜１５のいずれか一つに記載の画像処理装置。
【請求項１７】
照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定するコンピュータに、
前記照明光を照射した状態で背景を撮像した照明画像を、複数の分割領域に分割する領域分割処理を実行する領域分割ステップと、
前記領域分割ステップによって分割された各分割領域それぞれの中から、少なくとも一つの分割領域代表点を抽出する分割領域代表点抽出ステップと、
少なくとも照明の分光放射特性を含む前記分割領域代表点抽出ステップによって抽出された分割領域代表点のシステム行列を、複数のカラーフィルタを撮像することで得た画像データを用いて推定するシステム行列推定ステップと、
前記対象画像を構成する画素に対応する被写体位置の分光特性値を、前記画素の属する分割領域の分割領域代表点におけるシステム行列を用いて推定する分光特性推定ステップと、
を実行させることを特徴とする画像処理プログラム。
【請求項１８】
複数のカラーフィルタを備えたカラーフィルタ標本を保持する標本保持部と接続され、照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定するコンピュータに、
複数のカラーフィルタそれぞれの分光特性を記憶するフィルタ特性記憶ステップと、
前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を、前記各分割領域代表点の位置に順次移動させる移動制御ステップと、
前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を撮像したときの前記分割領域代表点の画像データである標本データをフィルタデータとして取得するフィルタデータ取得ステップと、
前記フィルタデータ取得ステップによって取得された前記フィルタデータに基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定するフィルタ特定ステップと、
前記フィルタ特性記憶ステップに記憶されたカラーフィルタの分光特性と、前記フィルタデータ取得ステップによって取得され、前記フィルタ特定ステップによって前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかが特定された前記フィルタデータとに基づいて、前記分割領域代表点のシステム行列を推定するシステム行列推定ステップと、
を実行させることを特徴とする画像処理プログラム。
【請求項１】
照明光を照射して被写体を撮像した対象画像の画素値をもとに、前記被写体の分光特性を推定する画像処理装置において、
前記照明光を照射した状態で背景を撮像した照明画像を、複数の分割領域に分割する領域分割処理を実行する領域分割手段と、
前記領域分割手段によって分割された各分割領域それぞれの中から、少なくとも一つの分割領域代表点を抽出する分割領域代表点抽出手段と、
少なくとも照明の分光放射特性を含む前記分割領域代表点抽出手段によって抽出された分割領域代表点のシステム行列を、複数のカラーフィルタを撮像することで得た画像データを用いて推定するシステム行列推定手段と、
前記対象画像を構成する画素に対応する被写体位置の分光特性値を、前記画素の属する分割領域の分割領域代表点におけるシステム行列を用いて推定する分光特性推定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数のカラーフィルタそれぞれの分光特性を記憶するフィルタ特性記憶手段と、
前記複数のカラーフィルタを撮像したときの前記分割領域代表点の画像データであるフィルタデータを取得するフィルタデータ取得手段と、
を備え、
前記システム行列推定手段は、前記フィルタ特性記憶手段に記憶された前記複数のカラーフィルタの分光特性と、前記フィルタデータ取得手段によって取得された前記複数のカラーフィルタのフィルタデータとに基づいて、前記分割領域代表点のシステム行列を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数のカラーフィルタを備えたカラーフィルタ標本を保持する標本保持部と、
前記標本保持部の移動を制御し、前記カラーフィルタ標本に含まれる前記複数のカラーフィルタを、前記分割領域代表点の位置に移動させる移動制御手段と、
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記複数のカラーフィルタを備えたカラーフィルタ標本を保持する標本保持部と、
前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を、前記各分割領域代表点の位置に順次移動させる移動制御手段と、
を備え、
前記フィルタデータ取得手段は、
前記フィルタデータとして、前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を撮像したときの前記分割領域代表点の画像データである標本データを取得する標本データ取得手段と、
前記標本データ取得手段によって取得された前記標本データに基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定するフィルタ特定手段と、
を有し、
前記システム行列推定手段は、前記フィルタ特性記憶手段に記憶された前記複数のカラーフィルタの分光特性と、前記フィルタデータ取得手段によって取得された前記複数のカラーフィルタのフィルタデータとに基づいて、前記分割領域代表点のシステム行列を推定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記フィルタデータ取得手段は、前記標本データ取得手段によって前記フィルタデータとして新たに取得された前記標本データと、前記標本データ取得手段によって前記フィルタデータとして既に取得された前記標本データとを比較するフィルタデータ比較手段を備え、
前記フィルタ特定手段は、前記フィルタデータ比較手段による比較結果に基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記フィルタデータ比較手段は、
前記標本データ取得手段によって前記フィルタデータとして新たに取得された前記標本データと、前記標本データ取得手段によって前記フィルタデータとして既に取得された前記標本データとの色差を算出する色差算出手段と、
前記色差算出手段によって算出された色差に基づいて所定の閾値処理を行う閾値処理手段と、
を有し、
前記フィルタ特定手段は、前記閾値処理の結果に基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記分割領域代表点抽出手段によって抽出された前記分割領域代表点を表示部に表示する制御を行う代表点表示制御手段と、
前記代表点表示制御手段によって前記表示部に表示制御された分割領域代表点と併せて、前記カラーフィルタ標本の位置を表示する制御を行う測定位置表示制御手段と、
を備えることを特徴とする請求項３〜６のいずれか一つに記載の画像処理装置。
【請求項８】
前記システム行列推定手段は、前記フィルタ特性記憶手段に記憶された各カラーフィルタそれぞれの分光特性と、前記フィルタデータ取得手段によって取得された前記複数のカラーフィルタそれぞれのフィルタデータとをもとに、最小二乗法を用いて前記分割領域代表点のシステム行列を推定することを特徴とする請求項２〜７のいずれか一つに記載の画像処理装置。
【請求項９】
前記領域分割手段は、
前記照明画像を構成する画素の画素値の分布を算出する画素値分布算出手段と、
前記画素値分布算出手段によって算出された画素値の分布に基づいて、前記領域分割処理を実行するか否かを判定する分割判定手段と、
を有することを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
【請求項１０】
画素値分布算出手段によって算出された画素値の分布を表示部に表示する制御を行う画素値分布表示制御手段と、
前記照明画像を前記分割領域に分割するか否かの判定を依頼する判定入力依頼手段と、
を備え、
前記分割判定手段は、前記判定入力依頼手段による判定の依頼に応答して分割指示が入力された場合には前記領域分割処理を実行すると判定し、非分割指示が入力された場合には前記領域分割処理を実行しないと判定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記領域分割手段は、照明放射強度幅および／または分割数を分割パラメータとし、該分割パラメータを用いて前記照明画像を前記分割領域に分割することを特徴とする請求項１〜１０の何れか一つに記載の画像処理装置。
【請求項１２】
前記分割パラメータの入力を依頼するパラメータ入力依頼手段を備え、
前記領域分割手段は、前記パラメータ入力依頼手段による入力の依頼に応答して入力された分割パラメータを用いて、前記照明画像を領域分割することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記領域分割手段は、
前記照明画像を、前記分割パラメータに応じた階調区間毎に階調変換し、階調変換結果に基づいて前記照明画像を前記分割領域に分割する階調変換分割手段と、
前記階調変換結果に基づいて二値化処理を行い、前記分割領域毎の二値画像を取得する二値化手段と、
前記二値化手段による二値化結果に基づいて、前記分割領域毎の二値画像それぞれにラベリング処理を行うラベリング処理手段と、
を有し、
前記分割領域代表点抽出手段は、前記ラベリング処理手段の結果に基づいて、前記各分割領域から前記分割領域代表点を抽出することを特徴とする請求項１１または１２に記載の画像処理装置。
【請求項１４】
前記領域分割処理の結果を表示部に表示する制御を行う分割領域表示制御手段と、
前記分割領域毎に、前記分割領域代表点の選出を依頼する代表点選出依頼手段と、
を備え、
前記分割領域代表点抽出手段は、前記代表点選出依頼手段による選出の依頼に応答して選出された分割領域代表点に基づいて、前記各分割領域における前記分割領域代表点を抽出することを特徴とする請求項１〜１３のいずれか一つに記載の画像処理装置。
【請求項１５】
照明光を照射して被写体を撮像した対象画像の画素値をもとに、前記被写体の分光特性を推定する画像処理装置において、
複数のカラーフィルタそれぞれの分光特性を記憶するフィルタ特性記憶手段と、
前記複数のカラーフィルタを備えたカラーフィルタ標本を保持する標本保持部と、
前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を、前記各分割領域代表点の位置に順次移動させる移動制御手段と、
前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を撮像したときの前記分割領域代表点の画像データである標本データをフィルタデータとして取得するフィルタデータ取得手段と、
前記フィルタデータ取得手段によって取得された前記フィルタデータに基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定するフィルタ特定手段と、
前記フィルタ特性記憶手段に記憶されたカラーフィルタの分光特性と、前記フィルタデータ取得手段によって取得され、前記フィルタ特定手段によって前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかが特定された前記フィルタデータとに基づいて、前記分割領域代表点のシステム行列を推定するシステム行列推定手段と、
を備えることを特徴とする画像処理装置。
【請求項１６】
前記分光特性値は、分光透過率または分光反射率のスペクトル特徴値であることを特徴とする請求項１〜１５のいずれか一つに記載の画像処理装置。
【請求項１７】
照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定するコンピュータに、
前記照明光を照射した状態で背景を撮像した照明画像を、複数の分割領域に分割する領域分割処理を実行する領域分割ステップと、
前記領域分割ステップによって分割された各分割領域それぞれの中から、少なくとも一つの分割領域代表点を抽出する分割領域代表点抽出ステップと、
少なくとも照明の分光放射特性を含む前記分割領域代表点抽出ステップによって抽出された分割領域代表点のシステム行列を、複数のカラーフィルタを撮像することで得た画像データを用いて推定するシステム行列推定ステップと、
前記対象画像を構成する画素に対応する被写体位置の分光特性値を、前記画素の属する分割領域の分割領域代表点におけるシステム行列を用いて推定する分光特性推定ステップと、
を実行させることを特徴とする画像処理プログラム。
【請求項１８】
複数のカラーフィルタを備えたカラーフィルタ標本を保持する標本保持部と接続され、照明光を照射して被写体を撮像した対象画像の画素値をもとに前記被写体の分光特性を推定するコンピュータに、
複数のカラーフィルタそれぞれの分光特性を記憶するフィルタ特性記憶ステップと、
前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を、前記各分割領域代表点の位置に順次移動させる移動制御ステップと、
前記標本保持部に保持された前記カラーフィルタ標本の任意の位置を撮像したときの前記分割領域代表点の画像データである標本データをフィルタデータとして取得するフィルタデータ取得ステップと、
前記フィルタデータ取得ステップによって取得された前記フィルタデータに基づいて、撮像した前記任意の位置が前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかを特定するフィルタ特定ステップと、
前記フィルタ特性記憶ステップに記憶されたカラーフィルタの分光特性と、前記フィルタデータ取得ステップによって取得され、前記フィルタ特定ステップによって前記カラーフィルタ標本に含まれるいずれのカラーフィルタに対応するかが特定された前記フィルタデータとに基づいて、前記分割領域代表点のシステム行列を推定するシステム行列推定ステップと、
を実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３−１】
【図３−２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５−１】
【図１５−２】
【図１６−１】
【図１６−２】
【図１７】
【図１８】
【図１９】
【図２】
【図３−１】
【図３−２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５−１】
【図１５−２】
【図１６−１】
【図１６−２】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００９−７４９３７（Ｐ２００９−７４９３７Ａ）
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願番号】特願２００７−２４４３６７（Ｐ２００７−２４４３６７）
【出願日】平成１９年９月２０日（２００７．９．２０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２１年４月９日（２００９．４．９）
【国際特許分類】
【出願日】平成１９年９月２０日（２００７．９．２０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]