画像処理システム
【課題】標本を染色している色素の分光特性を染色工程の増加を招くことなく高精度に取得すること。
【解決手段】本発明のある実施の形態の画像処理システム１は、Ｈ＆Ｅ染色された対象標本の多バンド信号値を取得する多バンド信号取得部１２と、予め設定される標準的な色素Ｈおよび色素Ｅの分光特性を分光特性変化モデルに従って変化させることで新たな色素Ｈおよび色素Ｅの分光特性を生成し、生成した新たな色素Ｈおよび色素Ｅの分光特性と多バンド信号値とをもとに色素Ｈおよび色素Ｅの分光特性を決定する色素分光特性決定部２５１とを備える。
【解決手段】本発明のある実施の形態の画像処理システム１は、Ｈ＆Ｅ染色された対象標本の多バンド信号値を取得する多バンド信号取得部１２と、予め設定される標準的な色素Ｈおよび色素Ｅの分光特性を分光特性変化モデルに従って変化させることで新たな色素Ｈおよび色素Ｅの分光特性を生成し、生成した新たな色素Ｈおよび色素Ｅの分光特性と多バンド信号値とをもとに色素Ｈおよび色素Ｅの分光特性を決定する色素分光特性決定部２５１とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、標本を染色している色素の分光特性を取得する画像処理システムに関するものである。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の一つに透過率がある。透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮影した画像の解析に透過率が利用されている。
【０００３】
病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された標本は光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。一方エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。
【０００５】
標本の観察は、観察者の目視によるものの他、この標本を多バンド撮影して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮影した多バンド画像から標本上の点（標本点）の透過率を推定する処理や、推定した透過率をもとに標本を染色している色素の色素量を推定する処理、推定した色素量をもとに画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の標本のＲＧＢ画像である表示画像が合成される。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。
【０００６】
標本の多バンド画像から標本点の透過率を推定する手法としては、例えば、主成分分析による推定法（例えば、非特許文献１参照）や、ウィナー（Wiener）推定による推定法（例えば、非特許文献２参照）等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【０００７】
ここで、標本の多バンド画像から表示画像を合成する方法について説明する。先ず、標本の多バンド画像を撮影する。例えば、最も簡易的に撮影する方法として、市販されているＲＧＢカメラを用いて多バンド画像を撮影する。この場合のバンド数は、Ｒ，Ｇ，Ｂの３バンドである。なお、色素は、本来観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう標本点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【０００８】
撮影された多バンド画像の任意の画像位置（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本点の透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦３を満たす整数値である。
【数１】
【０００９】
実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝３）、Ｇ（ｘ）は、画素ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、次式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂを次式（２）中に明示していない。また、波長λに関する積分は行列の積に置き換えられている。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
【００１０】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
【００１１】
よって、式（３）は、次式（４）に置き換えられる。
Ｇ（ｘ）＝ＨＴ（ｘ）＋Ｎ ・・・（４）
【００１２】
次に、ウィナー推定を用いて、撮影した多バンド画像から標本点における透過率を推定する。透過率の推定値（透過率データ）Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。
【数２】
【００１３】
ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。以下の説明では、Ｗを単に「推定オペレータ」と称す。ＲSSは、Ｄ行Ｄ列の行列であり、標本の透過率の自己相関行列を表す。また、ＲNNは、Ｂ行Ｂ列の行列であり、撮影に使用するカメラのノイズの自己相関行列を表す。なお、式（５）で示したシステム行列Ｈを構成する光学フィルタの透過率Ｆ、カメラの分光感度特性Ｓおよび照明の分光放射特性Ｅと、観測対象の統計的性質を表す項ＲSSと、撮像ノイズの特性を表す項ＲNNとは予め取得しておく。
【数３】
【００１４】
このようにして透過率データＴ＾（ｘ）を推定したならば、次に、このＴ＾（ｘ）をもとに対応する標本点における色素量を推定する。推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、その他の染色成分、例えば、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素等が考えられ、それぞれ色素Ｈ，色素Ｅ，色素Ｒと略記する。ここで、厳密には、赤血球は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。なお、ヘマトキシリンを１つの色素として扱う場合に限らず、同じヘマトキシリンでも、染まる組織によって、あるいは染まる組織の状態によって、別の色素として扱うようにしてもよい。エオジンにおいても同様である。
【００１５】
一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ（λ）との間に、次式（７）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。
【数４】
【００１６】
ここで、式（７）の左辺は透過率ｔ（λ）を意味しており、式（７）は次式（８）に置き換えられる。
【数５】
【００１７】
また、吸光度ａ（λ）は次式（９）で表される。
【数６】
【００１８】
よって、式（８）は次式（１０）に置き換えられる。
【数７】
【００１９】
Ｈ＆Ｅ染色された標本が、色素Ｈ，色素Ｅ，色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（１１）が成立する。
【数８】
【００２０】
ｋH（λ），ｋE（λ），ｋR（λ）は、それぞれ色素Ｈ，色素Ｅ，色素Ｒに対応するｋ（λ）を表し、例えば、標本を染色している各色素の分光特性である。またｄH，ｄE，ｄRは、多バンド画像の各画素に対応する各標本点における色素Ｈ，色素Ｅ，色素Ｒの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄH，ｄE，ｄRはそれぞれ色素Ｈ，色素Ｅ，色素Ｒの色素量を表しているといえる。なお、ｋH（λ），ｋE（λ），ｋR（λ）は、例えば色素Ｈ，色素Ｅ，色素Ｒによって個別に染色された標本（以下、「単一染色標本」と呼ぶ。）を予め用意してその分光特性を分光計で測定し、ランベルト・ベールの法則を用いて求めている。
【００２１】
ここで、位置ｘにおける透過率をｔ（ｘ，λ）とし、吸光度をａ（ｘ，λ）とすると、式（９）は次式（１２）に置き換えられる。
【数９】
【００２２】
そして、式（５）を用いて推定された透過率Ｔ＾（ｘ）の波長λにおける推定透過率をｔ＾（ｘ，λ）、推定吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。なお、ｔ＾は、ｔの上に記号「＾」が付いていることを示し、ａ＾は、ａの上に記号「＾」が付いていることを示す。
【数１０】
【００２３】
式（１３）において未知変数はｄH，ｄE，ｄRの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ1，λ2，λ3について式（１３）を連立させた場合、次式（１４）のように行列表記できる。
【数１１】
【００２４】
ここで、式（１４）を次式（１５）に置き換える。波長方向のサンプル点数をＤとすれば、Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するＤ行１列の行列であり、Ｋは、ｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は、画素ｘにおけるｄH，ｄE，ｄRに対応する３行１列の行列である。なお、Ａ＾は、Ａの上に記号「＾」が付いていることを示す。
【数１２】
【００２５】
そして、式（１５）に従い、最小二乗法を用いて色素量ｄH，ｄE，ｄRを算出する。最小二乗法とは単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、次式（１６）で算出できる。ｄ＾（ｘ）は、推定された色素量である。
【数１３】
【００２６】
色素Ｈ，色素Ｅ，色素Ｒについて色素量ｄ＾H，ｄ＾E，ｄ＾Rを推定し、式（１２）に代入すれば、復元した復元吸光度ａ~（ｘ，λ）は次式（１７）で求められる。なお、ｄ＾は、ｄの上に記号「＾」が付いていることを示し、ａ~は、ａの上に記号「〜」が付いていることを示す。
【数１４】
【００２７】
ここで、色素量推定における推定誤差ｅ（λ）は、推定吸光度ａ＾（ｘ，λ）と復元吸光度ａ~（ｘ，λ）とをもとに、次式（１８）で求められる。
【数１５】
【００２８】
そして、推定吸光度ａ＾（ｘ，λ）は、式（１７）,（１８）から次式（１９）で表すことができる。
【数１６】
【００２９】
ランベルト・ベールの法則は、屈折や散乱がないと仮定した場合に半透明物体を透過する光の減衰を定式化したものである。しかしながら、実際の標本では屈折や散乱が起こり得る。このため、標本による光の減衰をランベルト・ベールの法則のみでモデル化した場合、この屈折や散乱に起因する誤差が生じる。しかしながら、屈折や散乱を含めたモデルの構築は極めて困難である。そこで、屈折や散乱の影響を含めたモデル化の誤差である推定誤差ｅ（λ）を考慮することで、物理モデルによる不自然な色変動を引き起こさないようにすることができる。
【００３０】
以上のようにして、色素量ｄ＾H，ｄ＾E，ｄ＾Rが求まれば、これを修正することで、標本における色素量の変化をシミュレートすることができる。ここで、染色法によって染色された色素量ｄ＾H，ｄ＾Eを修正する。赤血球本来の色であるｄ＾Rは修正しない。すなわち、補正色素量ｄ＾H*，ｄ＾E*は、適当な色素量補正係数αH，αEを用いて次式（２０），（２１）で求められる。
【数１７】
【００３１】
求めた補正色素量ｄ＾H*，ｄ＾E*を式（１２）に代入すれば、次式（２２）によって、吸光度ａ~*（ｘ，λ）が得られる。
【数１８】
【００３２】
また、推定誤差ｅ（λ）を含める場合には、新たな吸光度ａ＾*（ｘ，λ）は、式（２３）によって求められる。
【数１９】
【００３３】
この吸光度ａ~*（ｘ，λ）または吸光度ａ＾*（ｘ，λ）を式（１０）に代入すれば、式（２４）によって、新たな透過率ｔ*（ｘ，λ）が得られる。吸光度ａ*（ｘ，λ）は、吸光度ａ~*（ｘ，λ）または吸光度ａ＾*（ｘ，λ）のいずれかの値である。
【数２０】
【００３４】
そして、式（２４）を式（１）に代入すれば、新たな画素値ｇ*（ｘ，ｂ）は、次式（２５）によって求めることができる。この場合、観測ノイズｎ（ｂ）をゼロとして計算してよい。
【数２１】
【００３５】
ここで、式（４）を、次式（２６）に置き換える。Ｇ*（ｘ）は、ｇ*（ｘ，ｂ）に対応するＢ行１列の行列であり、Ｔ*（ｘ）は、ｔ*（ｘ，λ）に対応するＤ行１列の行列である。これによって、色素量を仮想的に変化させた標本の画素値Ｇ*（ｘ）を合成することができる。
Ｇ*（ｘ）＝ＨＴ*（ｘ）・・・（２６）
【００３６】
以上説明したように、多バンド画像の各画素における色素量を推定して対応する各標本点における色素量を仮想的に調整し、調整後の標本の画像を合成することによって、標本の色素量を補正することができる。このとき、自動的に色正規化処理を行い、各標本点における色素量を適正な染色状態に調整することも可能である。また、適当なユーザインターフェースを用意すれば、ユーザは、この色素量の調整を手動で行うことができる。表示用に合成された表示画像は、例えば表示装置に画面表示され、医師等による病理診断等に利用される。これによれば、標本に染色ばらつきがあったとしても、適正な染色状態に調整された画像を観察することが可能となる。
【００３７】
また、標本の染色設備がない小規模な医療施設では、染色設備をもつ医療施設に標本の染色を依頼するといったことも行われている。依頼先の医療施設では、その標本を染色して多バンド撮影し、撮影した標本の多バンド画像を色正規化処理して表示画像を合成する。一方、依頼元の医療施設では、所定のネットワークを介して依頼先の医療施設で合成された表示画像のデータを取得し、病理診断等に用いる。表示画像の染色状態（色素量）を調整したい場合には、依頼元の医療施設は、改めて依頼先の医療施設に表示画像の合成を依頼し、ネットワークを介して色素量が補正された表示画像のデータを再度取得する。
【先行技術文献】
【非特許文献】
【００３８】
【非特許文献１】“Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions”，Proceedings of SPIE，Vol.4684，2002，p.1516-1523
【非特許文献２】“Color Correction of Pathological Images Based on Dye Amount Quantification”，OPTICAL REVIEW，Vol.12，No.4，2005，p.293-300
【発明の概要】
【発明が解決しようとする課題】
【００３９】
ところで、標本を染色している色素の分光特性は、上記したように、該当する色素によって個別に染色された単一染色標本を予め用意し、分光計を用いてその色素の分光特性を測定することで取得していた。しかしながら、実際に標本を染色している色素の分光特性は、観察対象とする標本によって変動する場合があった。例えば、標本を採取した被検者の人種や性別、臓器種等の標本種、部位といった標本に関する属性、あるいは、標本の染色に使用する染色液の種類や使用する染色液の組み合わせ、染色手順、染色場所等の染色時の環境といった染色工程（作製工程）に関する属性の違いによって変動する場合があった。このため、観察対象の標本を染色している色素の分光特性が事前に取得した色素の分光特性と異なる場合が生じ、例えば、この事前に取得した色素の分光特性を用いて色素量の推定を行うと推定精度が低下するという問題があった。
【００４０】
ここで、観察対象とする標本と同じ被検者から採取した標本を用いて単一染色標本を用意すれば、観察対象の標本と単一染色標本とで標本に関する属性を一致させることができる。しかしながら、この場合、観察対象の標本毎に単一染色標本を作製しなければならないため、染色工程の増加を招き、手間であった。また、単一染色標本から該当する色素の分光特性を取得する手法では、観察対象の標本と単一染色標本とで染色工程に関する属性が一致せず、色素の分光特性が変動する場合があった。例えば、Ｈ＆Ｅ染色された標本を観察対象とする場合において、色素Ｅの単一染色標本は、染色が施されていない無染色標本にエオジン染色を施すことで作製する。一方、観察対象の標本は、無染色標本に先ずヘマトキシリン染色を施し、続いてエオジン染色を施すことで作製する。このように、対象標本に対しては、エオジン染色に加えてヘマトキシリン染色を施すため、観察対象の標本における色素Ｅの分光特性は、エオジン染色のみが施された単一染色標本から取得した色素Ｅの分光特性と異なる場合があった。
【００４１】
本発明は、上記に鑑み為されたものであって、標本を染色している色素の分光特性を染色工程の増加を招くことなく高精度に取得することができる画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【００４２】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理システムは、複数の色素で染色された標本の多バンド信号値を取得する多バンド信号取得部と、予め設定される標準的な前記色素の分光特性を所定の変化モデルに従って変化させることで新たな色素の分光特性を生成し、該生成した前記新たな色素の分光特性と前記多バンド信号値とをもとに前記色素の分光特性を決定する色素分光特性決定部と、を備えることを特徴とする。
【発明の効果】
【００４３】
本発明によれば、予め設定される標準的な色素の分光特性を所定の変化モデルに従って変化させることで新たな色素の分光特性を生成し、生成した新たな色素の分光特性と標本の多バンド信号値とをもとに色素の分光特性を決定することができる。したがって、標本を染色している色素の分光特性を染色工程の増加を招くことなく高精度に取得することができる。
【図面の簡単な説明】
【００４４】
【図１】図１は、実施の形態１における画像処理システムの全体構成例を示す模式図である。
【図２】図２は、実施の形態１におけるＲＧＢ撮影範囲およびこのＲＧＢ撮影範囲内の多バンド信号取得視野を示す図である。
【図３】図３は、実施の形態１における画像処理システムの機能構成例を示すブロック図である。
【図４】図４は、色素Ｈおよび色素Ｅの標準色素分光特性を示す図である。
【図５】図５は、実施の形態１の画像処理システムが行う処理手順を示す全体フローチャートである。
【図６】図６は、実施の形態１における撮影処理の詳細な処理手順を示すフローチャートである。
【図７】図７は、実施の形態１における色素分光特性決定処理の詳細な処理手順を示すフローチャートである。
【図８】図８は、色素Ｅの標準色素分光特性を波長シフトさせた様子を示す図である。
【図９】図９は、評価値算出処理の詳細な処理手順を示すフローチャートである。
【図１０】図１０は、標本データのデータ構成例を示す図である。
【図１１】図１１は、標本データの他のデータ構成例を示す図である。
【図１２】図１２は、変形例１における色素分光特性決定処理の詳細な処理手順を示すフローチャートである。
【図１３】図１３は、変形例２におけるＲＧＢ撮影範囲およびこのＲＧＢ撮影範囲内の多バンド信号取得視野を示す図である。
【図１４】図１４は、変形例２における撮影処理の詳細な処理手順を示すフローチャートである。
【図１５】図１５は、実施の形態２における画像処理システムの機能構成例を示すブロック図である。
【図１６】図１６は、実施の形態２における多バンド信号取得位置を示す図である。
【図１７】図１７は、実施の形態２における撮影処理の詳細な処理手順を示すフローチャートである。
【図１８】図１８は、変形例３における多バンド信号取得位置を示す図である。
【図１９】図１９は、変形例４における多バンド信号取得位置を示す図である。
【図２０】図２０は、実施の形態３における画像処理システム１ｂの機能構成例を示すブロック図である。
【図２１】図２１は、実施の形態３におけるＲＧＢ撮影範囲およびこのＲＧＢ撮影範囲内の多バンド信号取得視野を示す図である。
【図２２】図２２は、実施の形態３における撮影処理の詳細な処理手順を示すフローチャートである。
【図２３】図２３は、変形例５における撮影処理の詳細な処理手順を示すフローチャートである。
【図２４】図２４は、実施の形態４のバーチャル顕微鏡システムの概観例を示す概略斜視図である。
【図２５】図２５は、実施の形態４のバーチャル顕微鏡システムの全体構成例を示す模式図である。
【発明を実施するための形態】
【００４５】
以下、図面を参照し、本発明の好適な実施の形態について説明する。本実施の形態では、Ｈ＆Ｅ染色された標本（生体組織標本）を観察対象とする。そして、この標本（被写体）を例えばＲＧＢ撮影して得たＲＧＢ画像を標本の多バンド画像とし、この標本の多バンド画像としてのＲＧＢ画像から標本の各点（標本点）における色素Ｈ，色素Ｅ，色素Ｒの色素量を算出（推定）する場合を例にとって説明する。以下、観察対象の標本を「対象標本」と呼び、対象標本のＲＧＢ画像を「対象標本画像」と呼ぶ。算出の対象とする色素は、ヘマトキシリン（色素Ｈ）と、細胞質を染色したエオジン（色素Ｅ）と、赤血球を染色したエオジンまたは染色されていない赤血球の色（色素Ｒ）であり、対象標本画像の各画素に対応する各標本点に固定された色素Ｈ、色素Ｅおよび色素Ｒの色素量をそれぞれ算出する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００４６】
（実施の形態１）
図１は、実施の形態１における画像処理システム１の全体構成例を示す模式図である。図１に示すように、画像処理システム１は、顕微鏡撮影システム１０と、パソコン等のコンピュータ２０とがデータの送受可能に接続されて構成される。
【００４７】
顕微鏡撮影システム１０は、対象標本の一部の領域または全域（以下、「ＲＧＢ撮影範囲」と呼ぶ。）をＲＧＢ撮影してＲＧＢ信号値を取得するとともに、このＲＧＢ撮影範囲内の所定視野（以下、「多バンド信号取得視野」と呼ぶ。）を多バンド撮影して多バンド信号値を取得する。この顕微鏡撮影システム１０は、ＲＧＢ信号値を取得する多バンド画像取得部としてのＲＧＢ信号取得部１１や多バンド信号値を取得する多バンド信号取得部１２の他、対象標本Ｓが載置されるステージ１３、ステージ１３上の対象標本Ｓを透過照明する照明部１４、対物レンズや対象標本Ｓからの透過光を集光して結像させる結像レンズ等の複数の光学レンズ１５、透過光の光路を分岐させてＲＧＢ信号取得部１１および多バンド信号取得部１２に入射させるハーフミラー１６、ハーフミラー１６と多バンド信号取得部１２との間に配設された拡散光学系１７、ステージ１３をＸＹ平面内で移動させるステージ駆動部１８等を備える。
【００４８】
ＲＧＢ信号取得部１１は、ＣＣＤ等の撮像素子を備えたＲＧＢカメラで構成され、対物レンズの倍率に応じて定まる視野（ＲＧＢ撮影範囲）のＲＧＢ画像を対象標本画像として取得する。ＲＧＢカメラは、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にＲＧＢの各色のカラーフィルタをベイヤー配列した単板方式のＲＧＢカメラであってもよいし、３板構成のものでもよい。このＲＧＢカメラは、撮影されるＲＧＢ画像の中心が照明光の光軸上に位置するように設置される。なお、ＲＧＢカメラにかえて、Ｎバンド（Ｎ＞１）の多バンド画像を撮影する多バンドカメラを用いてもよい。
【００４９】
多バンド信号取得部１２は、ＲＧＢ撮影範囲内の所定範囲を多バンド信号取得視野とし、ＲＧＢ信号取得部１１によるＲＧＢ信号値の取得と同期して多バンド信号取得視野における多バンド信号値を取得する。この多バンド信号取得部１２は、例えば、分光特性（観測波長）の異なるＭ個（Ｍ≧Ｎ；図１ではＭは９個）のセンサ１２１が配列された多バンドセンサで構成され、多バンド信号取得視野の中心が照明光の光軸上に位置するように設置される。図２は、実施の形態１における多バンド信号取得視野Ｖ１１を対象標本画像のＲＧＢ撮影範囲（ＲＧＢカメラの視野）Ｖ１３とともに示す図である。実施の形態１では、図２に示すように、多バンド信号取得部１２は、ＲＧＢ撮影範囲Ｖ１３（対象標本画像内）の中心位置を多バンド信号取得視野Ｖ１１として多バンド信号値を取得する。
【００５０】
ここで、ハーフミラー１６と多バンド信号取得部１２との間に配設された拡散光学系１７は、対象標本Ｓの多バンド信号取得視野内の領域を透過した透過光を均質な拡散光として多バンド信号取得部１２に入射させる。多バンド信号取得部１２によって取得される多バンド信号値は、入射する透過光を拡散光学系１７によって拡散光としているため、ＲＧＢ信号取得部１１によって取得されるＲＧＢ信号値と比較して空間解像度が劣るものの、バンド数（センサ１２１の数）をＲＧＢカメラのバンド数以上（Ｍ≧Ｎ；実施の形態１ではＮはＲ，Ｇ，Ｂの３バンド）とすることで、波長方向に高分解能な信号値として取得することができる。
【００５１】
なお、多バンド信号取得部１２の構成は、多バンドセンサを用いた構成に限定されるものではない。例えば、透過光の光路内に分光特性の異なるＭ枚のバンドパスフィルタを切り換えて配置することで多バンド信号値を取得する構成としてもよい。また、異なる波長の光を射出する複数の光源を切り換えながら照明光を照射することで多バンド信号値を取得する構成としてもよい。あるいは、透過光を複数に分岐させる光学系を配置するとともに、分岐先のそれぞれに分光特性の異なるセンサを配置することで多バンド信号値を取得する構成としてもよい。また、ＲＧＢ信号取得部１１と多バンド信号取得部１２とを１つの多バンドセンサで構成し、この１つの多バンドセンサによってＲＧＢ信号値および多バンド信号値を取得する構成としてもよい。
【００５２】
図３は、実施の形態１における画像処理システム１の機能構成例を示すブロック図である。図３に示すように、画像処理システム１は、図１に示して説明した顕微鏡撮影システム１０と、入力部２１と、画像表示部としての表示部２２と、通信部２３と、記憶部２４と、信号処理部２５と、装置各部を制御する制御部２６とを備える。
【００５３】
入力部２１は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部２６に出力する。表示部２２は、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって実現されるものであり、制御部２６から入力される表示信号をもとに各種画面を表示する。通信部２３は、所定の通信回線を介して外部とのデータ通信を行う。この通信部２３は、モデムやＴＡ、通信ケーブルのジャックや制御回路等によって実現される。
【００５４】
記憶部２４は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものである。この記憶部２４には、画像処理システム１を動作させ、この画像処理システム１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が予め記憶され、あるいは処理の都度一時的に記憶される。例えば、記憶部２４には、実施の形態１の処理を実現して対象標本を染色している色素（実施の形態１では色素Ｈおよび色素Ｅ）の分光特性を取得するための画像処理プログラム２４１が記憶される。また、記憶部２４には、標準色素分光特性データ２４２と、分光特性変化モデルデータ２４３と、標本データ２４４とが記憶される。
【００５５】
標準色素分光特性データ２４２は、色素Ｈ，色素Ｅ，色素Ｒそれぞれの標準的な色素の分光特性（以下、標準的な色素の分光特性を「標準色素分光特性」と呼ぶ。）を記憶する。ここで、色素Ｈの標準色素分光特性は、例えば、色素Ｈを用いて染色した標本（単一染色標本）を用意して分光計を用いてその分光特性を測定し、ランベルト・ベールの法則を用いて例えば吸光度を求めることで取得する。色素Ｅの標準色素分光特性についても同様に、色素Ｅを用いて染色した標本（単一染色標本）を用意して分光計で分光特性を測定し、例えば吸光度を求めることで取得する。図４は、標準色素分光特性データ２４２として記憶部２４に記憶される色素Ｈの標準色素分光特性の変化曲線および色素Ｅの標準色素分光特性の変化曲線を示す図であり、横軸を波長とし、縦軸を吸光度として各波長における標準色素分光特性の値を色素毎にプロットして示している。
【００５６】
一方、色素Ｒの標準色素分光特性については、例えば次のようにして取得する。すなわち、無染色標本を用意し、ＲＧＢ信号取得部１１によってＲＧＢ信号値を取得する。そして、得られたＲＧＢ画像をもとに、ランベルト・ベールの法則を用いて無染色標本上の複数の標本点における透過率ｔ（ｘ，λ）を算出し、これを吸光度ａ（ｘ，λ）に変換する処理を行う。このとき、サンプリングする標本点は、赤血球の領域を選ぶこととする。そして、得られた複数の標本点における吸光度ａ（ｘ，λ）の平均を算出し、色素Ｒの標準色素分光特性とする。ここで、色素Ｒの分光特性は、変化しないと考える。
【００５７】
分光特性変化モデルデータ２４３は、後述する色素分光特性生成処理で色素Ｈおよび色素Ｅの標準色素分光特性を変化させる際の変化のさせ方をモデル化して定義した分光特性変化モデルを記憶する。また、標本データ２４４は、対象標本に関するデータを記憶する。この標本データ２４４の詳細については後述するが、例えば、対象標本画像を用いて算出した色素量のデータや、算出した色素量を用いて合成した表示画像の画像データ（表示画像データ）、色素量の算出に用いた各色素の分光特性のデータ等を適宜記憶する。
【００５８】
信号処理部２５は、色素分光特性決定部、色素分光特性評価部および色素分光特性判定部としての色素分光特性決定部２５１と、被写体分光特性算出部２５２と、色素量算出部２５３と、補正係数設定部２５４と、色素量補正部２５５と、信号値変換処理部２５６とを含む。
【００５９】
色素分光特性決定部２５１は、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定する。この色素分光特性決定部２５１には、顕微鏡撮影システム１０において多バンド信号取得部１２が取得した多バンド信号値が入力されるようになっている。色素分光特性決定部２５１は、色素Ｈおよび色素Ｅの標準色素分光特性をそれぞれ変化させて新たな色素Ｈの分光特性および新たな色素Ｅの分光特性を生成する処理（色素分光特性生成処理）を行い、多バンド信号値を用いて色素Ｈおよび色素Ｅの分光特性を決定する。
【００６０】
被写体分光特性算出部２５２には、顕微鏡撮影システム１０においてＲＧＢ信号取得部１１が取得したＲＧＢ信号値が入力されるようになっている。被写体分光特性算出部２５２は、入力されるＲＧＢ信号値を各画素の画素値とした対象標本画像をもとに、対象標本の分光特性、具体的には、各画素に対応する対象標本上の標本点における透過率を算出（推定）する。
【００６１】
色素量算出部２５３は、対象標本画像の各画素についてそれぞれ算出した対象標本の分光特性をもとに、対応する各標本点の色素量を算出する。この色素量を算出する際、色素量算出部２５３は、色素Ｈおよび色素Ｅの分光特性として色素分光特性決定部２５１が決定したものを用いる。
【００６２】
補正係数設定部２５４は、色素量算出部２５３が算出した色素Ｈおよび色素Ｅの色素量を補正するための色素量補正係数を設定する。色素量補正部２５５は、補正係数設定部２５４が設定した色素量補正係数を用い、色素量算出部２５３が画素毎に算出した色素Ｈおよび色素Ｅの色素量を補正する。以下、色素量補正部２５５によって補正された色素量を「補正色素量」と呼ぶ。
【００６３】
信号値変換処理部２５６は、各画素について算出した色素量と、色素量の算出に用いた各色素の分光特性とをもとに、対象標本画像の各画素のＲＧＢ信号値を変換する。実施の形態１では、信号値変換処理部２５６は、色素量の算出に用いた各色素の分光特性を用い、各画素における色素Ｈおよび色素Ｅの補正色素量と色素Ｒの色素量とを画像信号値（例えばＲＧＢ値）に変換する。例えば、信号値変換処理部２５６は、色素Ｈおよび色素Ｅの補正色素量と色素Ｒの色素量とをもとに透過率を合成し、合成した透過率をＲＧＢ値に変換する処理を画素毎に行う。この信号値変換処理部２５６は、分光情報付加部２５７を備える。分光情報付加部２５７は、信号値変換処理部２５６が変換した各画素の画像信号値（表示画像データ）に色素量の算出に用いた各色素の分光特性のデータを付加し、標本データ２４４として記憶部２４に記憶する。
【００６４】
制御部２６は、入力部２１から入力される入力信号や、記憶部２４に記憶されるプログラムやデータ等をもとに画像処理システム１を構成する各部への指示やデータの転送等を行い、画像処理システム１全体の動作を統括的に制御する。
【００６５】
なお、図３の画像処理システム１において、顕微鏡撮影システム１０を除く構成が図１のコンピュータ２０に相当し、ＣＰＵ、メインメモリ等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現できる。
【００６６】
次に、実施の形態１の画像処理システム１が行う具体的な処理手順について説明する。図５は、実施の形態１の画像処理システム１が行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記憶部２４に記録された画像処理プログラム２４１に従って画像処理システム１の各部が動作することで実現される。
【００６７】
先ず、制御部２６が、顕微鏡撮影システム１０の動作を制御して撮影処理を実行し、対象標本のＲＧＢ信号値および多バンド信号値を取得する（ステップａ１）。図６は、実施の形態１における撮影処理の詳細な処理手順を示すフローチャートである。
【００６８】
図６に示すように、撮影処理では、制御部２６は、顕微鏡撮影システム１０のＲＧＢ信号取得部１１の動作を制御して対象標本をＲＧＢ撮影し、ＲＧＢ信号値を取得する（ステップｂ１）。ここでの処理によってＲＧＢ撮影範囲内の各画素のＲＧＢ信号値（対象標本画像）が取得され、被写体分光特性算出部２５２に出力される。また、制御部２６は、ステップｂ１でのＲＧＢ信号値の取得と同期して多バンド信号取得部１２の動作を制御し、ＲＧＢ撮影範囲内の多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する（ステップｂ３）。ここで取得した多バンド信号取得視野内の多バンド信号値は、色素分光特性決定部２５１に出力される。その後、図５のステップａ１にリターンしてステップａ３に移行する。
【００６９】
なお、多バンド信号取得視野内の多バンド信号値は、その値に応じて色素分光特性決定部２５１に出力するか否かを選択するようにしてもよい。具体的には、予め各色素の分光特性から特徴となる波長帯域を定めておき、その波長帯域に感度を持つバンドの信号値に応じて選択するようにしてもよい。例えば、該当するバンドの信号値が大きい場合には、対象とする色素の染色が薄いため色素分光特性決定部２５１に出力しない。逆に、該当するバンドの信号値が小さい場合には、対象とする色素の染色が濃いため色素分光特性決定部２５１に出力する。また、さらに、前述のように予め定めておいた波長帯域に感度を持つバンドの信号値をもとに、ステップａ３の色素分光特性決定処理等の後段の処理に重み付けを行ってもよい。例えば、該当するバンドの信号値が大きい場合には重みを弱く、該当するバンドの信号値が小さい場合には重みを強くする。これによれば、出力値の信頼性を後段の処理に反映させることができるので、色素分光特性決定部２５１による処理の精度が向上する。その他にも、例えば、予め複数の各色素の分光特性から多バンド信号値の主成分を生成しておき、この主成分の強度を色素分光特性決定部２５１に出力するようにしてもよい。このように、色素分光特性決定部２５１に出力する出力値は上記のいずれの値であってもよく、その値の信頼性を検証する工程を踏まえ、決定することとしてよい。
【００７０】
そして、ステップａ３では、色素分光特性決定部２５１が、色素分光特性決定処理を実行する。この色素分光特性決定処理では、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を、多バンド信号取得視野における多バンド信号値を用いて決定する。ここで決定した色素Ｈおよび色素Ｅの分光特性は、後段の処理において対象標本画像の各画素に対応する対象標本上の各標本点における色素量を算出する処理等で用いる。図７は、色素分光特性決定処理の詳細な処理手順を示すフローチャートである。
【００７１】
図７に示すように、色素分光特性決定処理では、色素分光特性決定部２５１は、先ず、標準色素分光特性データ２４２から色素Ｈおよび色素Ｅの標準色素分光特性を読み込み、分光特性変化モデルデータ２４３から分光特性変化モデルを読み込む（ステップｃ１）。
【００７２】
続いて、色素分光特性決定部２５１は、色素分光特性生成処理を実行する（ステップｃ３）。この色素分光特性生成処理では、色素分光特性決定部２５１は、分光特性変化モデルを用い、色素Ｈおよび色素Ｅの標準色素分光特性をそれぞれ変化させて新たな色素Ｈおよび色素Ｅの分光特性を生成する。ここで、分光特性変化モデルは、色素Ｈおよび色素Ｅによるものに限定されるものではなく、例えば色素Ｒを加味して定義したものを用いてもよい。また、この分光特性変化モデルは、その他の色素を対象とする場合も、同様にモデル化して定義しておくことができる。また、複数の分光特性変化モデルを用意しておき、標本種や標本の染色工程（作製工程）に応じた分光特性変化モデルを選択して用いるようにしてもよい。ここで、標本種には、人種、臓器、部位、疑われる症例等の標本を特定する項目が挙げられ、染色工程には、固定、包埋、染色等の標本の作製工程に関わる項目が挙げられる。例えば、色素の組み合わせや染色順序は染色工程によって異なる場合があるが、この色素の組み合わせや染色順序は、分光特性変化モデルに寄与することがわかっている。実施の形態１では、例えば、分光特性の波長シフトと拡がり関数とによって標準色素分光特性の変化のさせ方をモデル化したものを分光特性変化モデルとして用いる。具体的には、分光特性変化モデルは、次式（２７），（２８）に示す色素の分光特性ｋ（λ）の変換式によって表される。
【数２２】
【００７３】
ここで、αは波長シフトを示す変数であり、標準色素分光特性をαｎｍ波長シフトさせる。λ１は拡がり関数を適用する短波長端、λ２は拡がり関数を適用する長波長短、γは拡がり変数を示し、式（２８）に示すように、λ１＜λ＜λ２を満たす波長λに対して標準色素分光特性をγ変換する。
【００７４】
ステップｃ３では、分光特性変化モデルを表す変換式（２７），（２８）に各変数（α，γ，λ１，λ２）の値を与えることで、色素Ｈおよび色素Ｅの標準色素分光特性をそれぞれ変化させた新たな色素Ｈおよび色素Ｅの分光特性を生成する。具体的には、各変数（α，γ，λ１，λ２）の範囲および変化量を予め設定しておき、この範囲および変化量に従って各変数（α，γ，λ１，λ２）の値を算出する。そして、各変数（α，γ，λ１，λ２）の値の全通りの組み合わせ毎に新たな色素Ｈおよび色素Ｅの分光特性を複数生成する。すなわち、組み合わせ毎に各変数（α，γ，λ１，λ２）の値を変換式（２７），（２８）に与え、各組み合わせのそれぞれについて色素Ｈおよび色素Ｅの標準色素分光特性を変化させた新たな色素Ｈおよび色素Ｅの分光特性を生成する。
【００７５】
例えば、波長シフトの変数であるαの範囲は、−１０ｎｍ〜＋１０ｎｍとして設定する。また、αの変化量は、例えば０．５ｎｍに設定する。図８は、αの範囲を−１０ｎｍ〜＋１０ｎｍとし、変化量を０．５ｎｍとして色素Ｅの標準色素分光特性を波長シフトさせた様子を示す図である。
【００７６】
また、拡がり変数を示すγは、例えば、その範囲を０．５〜２．０とし、変化量を０．０２として設定する。λ１およびλ２は、例えば、色素毎に個別に設定する。すなわち、色素Ｈは、広い波長帯域で色素の分光特性の値が変化する（図４を参照）。このため、λ１およびλ２を設定せずに全ての波長について上記した式（２８）を適用し、新たな色素Ｈの分光特性を生成する。一方、色素Ｅは、４２０ｎｍよりも短波長側の帯域と、６００ｎｍよりも長波長側の帯域とで色素の分光特性の値がほとんど変化しない（図４を参照）。このため、λ１を４２０ｎｍとし、λ２を６００ｎｍとして設定し、４２０ｎｍより短波長側および６００ｎｍよりも長波長側の波長には式（２７）を適用し、４２０ｎｍ〜６００ｎｍの波長には式（２８）を適用して、新たな色素Ｅの分光特性を生成する。
【００７７】
続く図７のステップｃ５では、色素分光特性決定部２５１は、評価値算出処理を実行する。この評価値算出処理では、色素分光特性決定部２５１は、多バンド信号値を用い、ステップｃ３で生成した全ての色素Ｈおよび色素Ｅの分光特性について評価値を算出する。図９は、評価値算出処理の詳細な処理手順を示すフローチャートである。
【００７８】
図９に示すように、ステップｃ３において各変数（α，γ，λ１，λ２）の値の全通りの組み合わせ毎に生成した全ての色素Ｈおよび色素Ｅの分光特性を順次処理対象として、ループＡの処理を行う（ステップｄ１〜ステップｄ１３）。なお、ループＡの処理の説明において、処理対象の色素Ｈおよび色素Ｅの分光特性を「処理色素分光特性」と呼ぶ。
【００７９】
ループＡでは、色素分光特性決定部２５１は、先ず、図６のステップｂ３で取得した多バンド信号値Ｇ（λ）をもとに、多バンド信号取得視野における対象標本の透過率Ｔ（λ）、詳細には、多バンド信号取得視野の各画素に対応する対象標本上の各標本点の透過率Ｔ（λ）を算出する（ステップｄ３）。具体的には、背景技術で説明したのと同様の要領で、次式（２９）に従い、多バンド信号取得視野の各画素を順次注目画素とし、注目画素である多バンド信号取得視野の画素ｘにおける多バンド信号値の行列表現Ｇ（ｘ）から対応する対象標本上の標本点における透過率Ｔ（λ）を算出する。
【数２３】
【００８０】
続いて、色素分光特性決定部２５１は、処理色素分光特性と、ステップｄ３で算出した透過率Ｔ（λ）とをもとに、多バンド信号取得視野における対象標本の各色素の色素量ｄH，ｄE，ｄRを算出する（ステップｄ５）。
【００８１】
なお、透過率Ｔ（λ）は、多バンド信号取得視野における多バンド信号値もしくは透過率Ｔ（λ）の値に応じてステップｄ５で用いる値とする否かを選択するようにしてもよい。具体的には、予め各色素の分光特性から特徴となる波長帯域を定めておき、その波長帯域の透過率、もしくはその波長帯域に感度を持つバンドの信号値に応じてステップｄ５で用いる値とするか否かを選択するようにしてもよい。例えば、透過率が１に近い、もしくは該当するバンドの信号値が大きい場合は、対象とする色素の染色が薄いためステップｄ５で用いる値としない。逆に、透過率が０に近い、もしくは該当するバンドの信号値が小さい場合には、対象とする色素の染色が濃いためステップｄ５で用いる値とする。また、さらに、前述のように予め定めておいた波長帯域の透過率、もしくはこの定めておいた波長帯域に感度を持つバンドの信号値の値をもとに、ステップｄ５で用いる例えば透過率Ｔ（λ）等の値に重み付けを行ってもよい。例えば、透過率が１に近い、もしくは該当するバンドの信号値が大きい場合には重みを弱くする。一方、透過率が０に近い、もしくは該当するバンドの信号値が小さい場合には重みを強くする。これによれば、ステップｄ５で用いる値の信頼性をステップｄ５以降の処理に反映させることができるので、色素分光特性決定部２５１による処理の精度が向上する。その他にも、例えば、予め複数の各色素の分光特性もしくは多バンド信号値から主成分を生成しておき、この主成分の強度をステップｄ５で用いる値としてもよい。このように、ステップｄ５で用いる値は上記のいずれの値であってもよく、その値の信頼性を検証する工程を踏まえ、決定することとしてよい。
【００８２】
ステップｄ５の処理の説明に戻る。背景技術で式（７）に示して説明したように、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ（λ）との間には、ランベルト・ベールの法則が成り立つ。また、透過率ｔ（ｘ，λ）は、背景技術で示した式（１２）を用いて吸光度ａ（ｘ，λ）に変換できる。ステップｄ５においてもこれらの式を適用して色素量を算出する。すなわち、透過率Ｔ（λ）の波長λにおける透過率をｔ（ｘ，λ）とすると、多バンド信号取得視野の各画素（ｘ，ｙ）に対応する対象標本上の各標本点における吸光度ａ（ｘ，λ）は次式（３０）によって算出できる。ただし、このとき、色素Ｈの分光特性ｋHおよび色素Ｅの分光特性ｋEとして、処理色素分光特性を用いる。また、色素Ｒの分光特性ｋRは、上記したように変化しないと考えられるので、標準色素分光特性データ２４２から色素Ｒの標準色素分光特性を読み出して用いる。
【数２４】
【００８３】
その後、式（３０）を少なくとも３つの異なる波長λについて連立させることで、各色素の色素量ｄH，ｄE，ｄRについて解く。
【００８４】
続いて、色素分光特性決定部２５１は、処理色素分光特性と、ステップｄ５で算出した各色素の色素量ｄH，ｄE，ｄRとをもとに、次式（３１）に従って透過率Ｔ´（λ）を算出する（ステップｄ７）。色素Ｒの分光特性ｋRは、その標準色素分光特性を用いる。
【数２５】
【００８５】
続いて、色素分光特性決定部２５１は、ステップｄ７で算出した透過率Ｔ´（λ）をもとに、次式（３２）に従って多バンド信号値Ｇ´（λ）を合成する（ステップｄ９）。Ｈは、背景技術で式（３）に示したシステム行列である。
【数２６】
【００８６】
続いて、色素分光特性決定部２５１は、図６のステップｂ３で取得した多バンド信号値Ｇ（λ）と、図９のステップｄ９で算出した多バンド信号値Ｇ´（λ）との差分ΔＧを多バンド信号取得視野の画素毎に算出し、その合計値ΣΔＧを処理色素分光特性の評価値とする（ステップｄ１１）。評価値ΣΔＧが小さく、０に近づくほど多バンド信号値Ｇ（λ）と多バンド信号値Ｇ´（λ）との差が小さいため、その処理色素分光特性の評価が高くなる。
【００８７】
以上のようにして評価値を算出したならば、処理色素分光特性についてのループＡの処理を終える。そして、図７のステップｃ３で生成した全ての色素Ｈおよび色素Ｅの分光特性を処理色素分光特性としてループＡの処理を行ったならば、図７のステップｃ７にリターンする。
【００８８】
そして、ステップｃ７では、色素分光特性決定部２５１は、ステップｃ５の評価値算出処理で算出した評価値ΣΔＧが最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性を選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する。決定した色素Ｈおよび色素Ｅの分光特性は、記憶部２４に記憶しておく。なお、決定した色素Ｈおよび色素Ｅの分光特性を生成した際に変換式（２７），（２８）に与えた各変数（α、γ、λ１、λ２）の値を記憶部２４に記憶しておく構成としてもよい。この場合には、後段の処理（図５のステップａ７やステップａ１３等）で決定した色素Ｈおよび色素Ｅの分光特性を用いるときに、変換式（２７），（２８）に各変数（α、γ、λ１、λ２）の値を与えて色素Ｈおよび色素Ｅの標準色素分光特性を変化させればよい。その後、図５のステップａ３にリターンしてステップａ５に移行する。
【００８９】
そして、ステップａ５では、被写体分光特性算出部２５２が、図６のステップｂ１で取得した対象標本画像の各画素のＲＧＢ信号値をもとに、対象標本の分光特性を画素毎に算出（推定）する。具体的には、背景技術で示した式（５）に従って、対象標本画像の各画素を順次注目画素とし、注目画素である対象標本画像内の画素ｘにおけるＲＧＢ信号値の行列表現Ｇ（ｘ）から対応する対象標本上の標本点における推定透過率Ｔ＾（ｘ）を対象標本の分光特性として算出する。
【００９０】
続いて、色素量算出部２５３が、各色素の分光特性と、ステップａ５で算出した対象標本の分光特性（推定透過率Ｔ＾（ｘ））とをもとに、対象標本の色素量を画素毎に算出（推定）する（ステップａ７）。処理手順は、背景技術で説明したのと同様に行う。すなわち、推定透過率Ｔ＾（ｘ）の波長λにおける推定透過率をｔ＾（ｘ，λ）とすると、対象標本画像の各画素（ｘ，ｙ）に対応する対象標本上の各標本点における推定吸光度ａ＾（ｘ，λ）は、背景技術で示した次式（１３）によって算出できる。ただし、このとき、色素Ｈの分光特性ｋHおよび色素Ｅの分光特性ｋEとして、図７のステップｃ７で決定した色素Ｈおよび色素Ｅの分光特性を用いる。色素Ｒの分光特性ｋRは、標準色素分光特性データ２４２から色素Ｒの標準色素分光特性を読み出して用いる。
【数２７】
【００９１】
その後、式（１３）を少なくとも３つの異なる波長λについて連立させることで、各色素の色素量ｄ＾H，ｄ＾E，ｄ＾Rについて解く。
【００９２】
続く図５のステップａ９では、補正係数設定部２５４が、色素Ｈおよび色素Ｅの色素量補正係数の入力依頼の通知を表示部２２に表示する処理を行い、例えばユーザ操作に従って色素Ｈおよび色素Ｅの色素量補正係数を設定する。具体的には、例えば、色素量補正係数の入力を依頼する旨のメッセージの表示とともに色素Ｈの色素量補正係数αHおよび色素Ｅの色素量補正係数αEの各値を入力するための入力ボックス等を配置した通知画面を表示部２２に表示する処理を行う。ユーザは、入力部２１を介して所望の色素量補正係数αHの値を入力するとともに、所望の色素量補正係数αEの値を入力する。色素量を補正する必要がない場合には、色素量補正係数αH，αEの値を入力しなければよい。この場合には、後段のステップａ１１の処理は実行しない。
【００９３】
なお、ここでは、ユーザ操作に従って色素Ｈおよび色素Ｅの色素量補正係数を設定する場合について説明したが、これに限定されるものではない。例えば、対象標本の各標本点における色素量を適正な染色状態に調整するための値を算出し、色素量補正係数αH，αEとして設定することとしてもよい。この場合には、基準とする標本、例えば標準的な染色状態の標本（標準染色標本）を予め用意し、そのＲＧＢ画像を取得して対応する各標本点における色素量を算出しておく。また、算出した色素Ｈの色素量の平均値および色素Ｅの色素量の平均値を算出しておく。そして、ステップａ７で算出した対象標本の色素Ｈの色素量の平均値および色素Ｅの色素量の平均値を算出し、例えば、対象標本の色素Ｈおよび色素Ｅについて算出した色素量の平均値を標準染色標本の対応する色素の色素量の平均値で除算し、得られた値を色素量補正係数αH，αEとする。
【００９４】
また、このとき、標準染色標本のＲＧＢ画像の各画素を、例えば細胞核、細胞質、赤血球といった組織毎にクラス分類し、分類したクラス毎に色素Ｈおよび色素Ｅそれぞれの色素量の平均値を算出するようにしてもよい。この場合には、対象標本画像の各画素についても同様にクラス分類し、クラス毎に色素Ｈおよび色素Ｅそれぞれの色素量の平均値を算出することで、クラス毎に色素量補正係数αH，αEを算出する。そして、各画素に適用する色素量補正係数を、その画素が属するクラスについて算出した色素量補正係数αH，αEとする。これによれば、色素量を補正（色正規化）するためのより適切な色素量補正係数を算出することができる。
【００９５】
続いて、色素量補正部２５５が、ステップａ７で算出した色素Ｈおよび色素Ｅの色素量ｄ＾H，ｄ＾Eとステップａ９で設定した色素量補正係数αH，αEとから、背景技術で示した次式（２０），（２１）に従って色素Ｈ，色素Ｅの補正色素量ｄ＾H*，ｄ＾E*を画素毎に算出する（ステップａ１１）。
【数２８】
【００９６】
続いて、信号値変換処理部２５６が、色素量の算出に用いた各色素の分光特性ｋH（λ），ｋE（λ），ｋR（λ）（図７のステップｃ７で決定した色素Ｈおよび色素Ｅの分光特性と色素Ｒの標準色素分光特性）を用い、ステップａ１１での補正後の各色素の色素量を画像信号値（表示画像データ）に変換する（ステップａ１３）。
【００９７】
具体的には、信号値変換処理部２５６は、先ず、色素Ｈ，色素Ｅの補正色素量ｄ＾H*，ｄ＾E*および色素Ｒの色素量ｄ＾Rをもとに、各色素の分光特性ｋH（λ），ｋE（λ），ｋR（λ）を用いて合成した透過率を画素毎に合成する。処理手順としては、先ず、背景技術で示した次式（２２）に従い、各画素ｘにおける吸光度ａ~*（ｘ，λ）を求める。なお、推定誤差ｅ（λ）を含める場合には、背景技術で示した式（２３）に従って吸光度ａ＾*（ｘ，λ）を求めればよい。
【数２９】
【００９８】
続いて、背景技術で示した次式（２４）に従い、求めた吸光度ａ~*（ｘ，λ）から各画素ｘにおける新たな透過率ｔ*（ｘ，λ）を求める。
【数３０】
【００９９】
そして、波長方向にＤ回繰り返して透過率ｔ*（ｘ，λ）を求め、合成した透過率である補正透過率Ｔ*（ｘ）を得る。補正透過率Ｔ*（ｘ）は、ｔ*（ｘ，λ）に対応するＤ行１列の行列である。
【０１００】
続いて、信号値変換処理部２５６は、画素毎に合成した透過率（補正透過率Ｔ*（ｘ））をＲＧＢ値に変換する処理を画像全体に亘って反復して行い、各画素の画像信号値を算出して表示画像を合成する。処理手順としては、背景技術で示した次式（２６）に従い、画素ｘにおける新しい画素値Ｇ*（ｘ）を画素毎に求め、画像信号値とする。
Ｇ*（ｘ）＝ＨＴ*（ｘ） ・・・（２６）
【０１０１】
以上のようにして変換された画像信号値（表示画像データ）は、例えばユーザが指示したタイミング等の任意のタイミングで表示部２２に表示処理し、医師等のユーザに提示する。医師等のユーザは、この表示画像を観察し、病理診断等に利用する。
【０１０２】
その後、図５に示すように、分光情報付加部２５７が、ステップａ１３で変換した画像信号値（表示画像データ）に、ステップａ７での色素量の算出に用いた各色素の分光特性ｋH（λ），ｋE（λ），ｋR（λ）を付加して保存する（ステップａ１５）。
【０１０３】
具体的には、分光情報付加部２５７は、変換した画像信号値（表示画像データ）を、各色素の分光特性ｋH（λ），ｋE（λ），ｋR（λ）（図７のステップｃ７で決定した色素Ｈおよび色素Ｅの分光特性と色素Ｒの標準色素分光特性）とともに対象標本の標本ＩＤ等と対応付けた標本データ２４４として記憶部２４に記憶する。図１０は、標本データ２４４のデータ構成例を示す図である。図１０に示す標本データ２４４は、標本ＩＤＤ２１と、変換した画像信号値を記憶する画像信号値（表示画像データ）Ｄ２２と、各色素の分光特性ｋH（λ），ｋE（λ），ｋR（λ）を記憶する色素分光特性データＤ２３と含む。標本ＩＤＤ２１は、標本を特定するために標本に割り当てられた固有のＩＤである。
【０１０４】
以上のようにして標本データ２４４を記憶部２４に記憶しておけば、例えば、外部の装置から要求されたタイミング等の任意のタイミングで、通信部２３を介して標本データ２４４を外部装置に送信することができる。これによれば、標本データ２４４を受信した外部装置の表示装置に色正規化処理された対象標本の表示画像を表示することができるので、遠隔地等の医師が対象標本の表示画像を観察し、病理診断等に利用するといったことが可能となる。また、このとき、外部装置では、画像信号値（表示画像データ）Ｄ２２を読み込んで表示処理するだけでよく、対象標本の色素量を表した表示画像を外部装置のユーザに迅速に提示することができる。
【０１０５】
さらに、画像信号値（表示画像データ）Ｄ２２に色素分光特性データＤ２３を付加した標本データ２４４を外部装置との間で送受することとしたので、受信側の外部装置は、一旦標本データ２４４を取得してしまえば、画像信号値（表示画像データ）Ｄ２２と色素分光特性データＤ２３とから対象標本の色素量を算出することができる。したがって、色素量を補正して表示画像を新たに合成することが可能となる。これによれば、外部装置側で色素量を自由に調整しながら表示画像を観察することができるので、診断効率が向上する。
【０１０６】
なお、ここでは、画像信号値（表示画像データ）に色素分光特性データを付加して保存することとしたが、ステップａ７で算出した色素量を色素分光特性データに付加して保存するようにしてもよい。図１１は、この場合の標本データのデータ構成例を示す図である。図１１に示す標本データは、標本ＩＤＤ２１と、色素分光特性データＤ２３と、色素Ｈ，色素Ｅの補正色素量ｄ＾H*，ｄ＾E*および色素Ｒの色素量ｄ＾Rのデータを記憶する色素量データＤ２４とを含む。本構成の標本データを外部装置との間で送受する場合には、受信側の外部装置は、色素分光特性データＤ２３を用いて色素量データＤ２４を画像信号値に変換し、表示画像を合成すればよい。
【０１０７】
以上説明したように、実施の形態１によれば、予め色素Ｈおよび色素Ｅの標準色素分光特性の変化のさせ方をモデル化して定義した分光特性変化モデルを用いて色素Ｈおよび色素Ｅの標準色素分光特性を変化させ、生成した色素Ｈおよび色素Ｅの分光特性を多バンド信号取得視野における多バンド信号値を用いて評価することで、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。したがって、色素Ｈおよび色素Ｅの標準色素分光特性を対象標本に適した色素Ｈおよび色素Ｅの分光特性に最適化することができる。これによれば、対象標本を染色している色素の分光特性を含む対象標本の分光情報を、染色工程の増加を招くことなく高精度に取得することができる。また、決定した色素Ｈおよび色素Ｅの分光特性を用いることで、対象標本の色素量を精度良く算出することができる。さらに、色素量補正係数を設定し、色素量を補正することができるので、対象標本の色素量を所望の染色状態に調整した表示画像を合成することができ、高精度な色変換が実現できる。
【０１０８】
（変形例１）
実施の形態１では、分光特性変化モデルを用いて色素Ｈおよび色素Ｅの分光特性を複数生成し、生成したものの中から１つを選んで対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することとした。具体的には、色素の分光特性ｋ（λ）の変換式（２７），（２８）に各変数（α、γ、λ１、λ２）の値を複数組与えることで色素Ｈおよび色素Ｅの標準色素分光特性を変化させて新たな色素Ｈおよび色素Ｅの分光特性を複数生成し、評価が最も高いものを色素Ｈおよび色素Ｅの分光特性として決定することとした。この場合、各変数（α、γ、λ１、λ２）の値の組み合わせの数に比例して処理時間が増大してしまう。そこで、公知の遺伝的アルゴリズム（ＧＡ）を用いて色素Ｈおよび色素Ｅの分光特性を生成し、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定するようにしてもよい。
【０１０９】
ここで、遺伝的アルゴリズムは、ある世代を形成している個体の集合を基本単位とした進化型の計算を行うアルゴリズムである。この遺伝的アルゴリズムを適用した処理の概要を説明すると、先ず初期集団を生成し、初期集団の中から個体を選択する。続いて、選択した個体に対して交叉や突然変異を行って次世代集団を形成する。その後、次世代集団について処理を繰り返し、最終的に適応度の高い個体を選ぶことで対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定するものである。
【０１１０】
変形例１では、例えば、分光特性変化モデルを表す変換式（２７），（２８）に与える各変数（α、γ、λ１、λ２）の値の組み合わせを解候補として用いる。各個体は、この解候補を数値列で示した遺伝子によって特徴付けられる。具体的には、各個体を特徴付ける遺伝子は、各変数（α、γ、λ１、λ２）の値の組み合わせをビットパターン（ビット列）によって表したものである。ビットパターンのビット数や各変数（α、γ、λ１、λ２）を表すビットパターンの区画位置は、各変数（α、γ、λ１、λ２）の範囲に応じて予め設定しておく。
【０１１１】
図１２は、変形例１における色素分光特性決定処理の詳細な処理手順を示すフローチャートである。なお、以下の説明において、実施の形態１と同様の構成には同一の符号を付する。変形例１の色素分光特性決定処理では、色素分光特性決定部２５１は、図１２に示すように先ず、標準色素分光特性データ２４２から色素Ｈおよび色素Ｅの標準色素分光特性を読み込み、分光特性変化モデルデータ２４３から分光特性変化モデルを読み込む（ステップｅ１）。
【０１１２】
続いて、色素分光特性決定部２５１は、各変数（α、γ、λ１、λ２）の値をランダムに発生させて初期集団を生成する（ステップｅ３）。具体的には、“０”または“１”をビットパターンのビット数分ランダムに発生させてビットパターンを生成し、その個体の遺伝子として生成する。これを予め設定されている個体数繰り返し行い、初期集団を得る。集団を構成する個体の数は、任意に設定できる。また、ビットパターンは乱数によって生成する場合に限定されるものではない。例えば、予め所定の中心初期値およびこの中心初期値の周辺の値を生成する確率変数の分散を定義しておき、この確率変数に従ってビットパターンを生成するようにしてもよい。このようにすれば、解が中心初期値付近に存在する場合に後述する処理回数（繰り返し数）を低減でき、色素Ｈおよび色素Ｅの分光特性を決定する処理の高速化が図れる。
【０１１３】
そして、初期集団を対象としたステップｅ５以降の処理に移る。すなわち、ステップｅ５では、色素分光特性決定部２５１は、選択処理を行い、対象の集団から個体を２つ選択する。この選択は、例えば乱数を発生させてランダムに行う。なお、ここでは、２つの個体を選択することとしたが、予め交叉確率を設定しておき、この交叉確率に従って交叉させる個体を選択することとしてもよい。
【０１１４】
そして、色素分光特性決定部２５１は、選択した２つの個体を親として交叉処理を行い、これら２つの親の遺伝子を受け継ぐ新たな個体を２つ生成する（ステップｅ７）。この交叉処理で用いる交叉方法は、一点交叉や二点交叉等、適宜選択できる。例えば、一点交叉を用いる場合には、交叉点を１つランダムに決定し、各親の決定した交叉点より後の遺伝子をそれぞれ入れ替えることによって、新たな２つの個体を得る。また二点交叉を用いる場合には、交叉点を２つランダムに決定する。そして、各親の決定した２点の交叉点で挟まれる遺伝子をそれぞれ入れ替えることによって、新たな２つの個体を得る。ここでの交叉処理によって、対象の集団の個体のうち、ステップｅ５で選択した親の個体が生成された新たな個体で置き換えられる。
【０１１５】
続いて、色素分光特性決定部２５１は、交叉処理後の集団をもとに、各変数（α、γ、λ１、λ２）の値の組み合わせパターン（変数パターン）を生成する（ステップｅ９）。具体的には、各個体を特徴付けている遺伝子であるビットパターンを変数（α、γ、λ１、λ２）毎の区画位置で分割し、各変数の値を得る。この処理を各個体について行い、得られた各変数（α、γ、λ１、λ２）の値を各個体の変数パターンとする。その後、色素分光特性決定部２５１は、色素分光特性生成処理を実行し、個体毎に新たな色素Ｈの分光特性および新たな色素Ｅの分光特性を生成する（ステップｅ１１）。すなわち、変数パターンに従って各変数（α，γ，λ１，λ２）の値を変換式（２７），（２８）に与え、色素Ｈおよび色素Ｅの標準色素分光特性を変化させた新たな色素Ｈおよび色素Ｅの分光特性を生成する。この処理を各個体について行い、色素Ｈおよび色素Ｅの分光特性を得る。
【０１１６】
続いて、実施の形態１と同様の処理手順で評価値算出処理（図９を参照）を実行し、ステップｅ１１で個体毎に生成した全ての色素Ｈおよび色素Ｅの分光特性の評価値を多バンド信号値を用いて算出する（ステップｅ１３）。
【０１１７】
その後、色素分光特性決定部２５１は、ステップｅ１３の評価値算出処理で個体毎に算出した評価値を予め設定される所定の閾値を用いて閾値処理する。そして、色素分光特性決定部２５１は、いずれかの個体の評価値が閾値を超えている場合に閾値条件を満足しないと判定し（ステップｅ１５：Ｎｏ）、ステップｅ１７に移行する。そして、ステップｅ１７では、ステップｅ３〜ステップｅ１３の一連の処理を行った処理回数（繰り返し数）を判定し、処理回数が予め設定されている所定の回数を超えない間は（ステップｅ１７：Ｎｏ）、ステップｅ１９に移行する。
【０１１８】
ステップｅ１９では、色素分光特性決定部２５１は、突然変異処理を行う。具体的には、例えば予め設定される所定の確率（突然変異率）で乱数を発生させて交叉処理後の集団を構成する各個体の中から突然変異を起こさせる個体を選び、その遺伝子のビットパターンを変更する。例えば、選んだ個体の遺伝子のビットパターンから突然変異を起こさせる一部分（１ビットでもよいし複数ビットでもよい）を例えば乱数を発生させて選択し、選択した一部分のビットを反転させる。ここで、突然変異率は固定としてもよいし、ステップｅ１３で算出した評価値に応じて動的に設定してもよい。例えば、評価値が低ければ（値が大きければ）、突然変異率を高く設定する。一方、評価値が高い場合には（値が小さい場合には）、突然変異率を低く設定する。これによれば、評価値が低い段階では早期に最適解に近付き易くすることができ、また、局所解に陥る事態を防止することができる。そして、最適解に近付いて評価値が高くなった段階では、突然変異によって評価値が急激に低下する事態を防止できる。
【０１１９】
そして、ステップｅ１９の突然変異処理後の集団を次世代集団とし、ステップｅ５に戻ってこの次世代集団について処理を繰り返す。
【０１２０】
一方、全ての個体の評価値が閾値以下の場合（ステップｅ１５：Ｙｅｓ）、あるいは処理回数が所定の回数を超えた場合には（ステップｅ１７：Ｙｅｓ）、色素分光特性決定部２５１は、最終的な集団を構成する個体の中から評価が最も高い（ステップｅ１３で算出した評価値が最も小さい）色素Ｈおよび色素Ｅの分光特性を選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する（ステップｅ２１）。なお、処理回数が所定の回数を超えた場合に色素分光特性生成処理を終了させているのは、ステップｅ３〜ステップｅ１３の一連の処理を繰り返しても評価値が所定の閾値以下とならず、処理が完了しなくなることを避けるためである。
【０１２１】
以上説明したように、変形例１によれば、実施の形態１と同様の効果を奏することができるとともに、遺伝的アルゴリズムを適用することとしたので、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を高速かつ高精度に決定することができる。なお、この遺伝的アルゴリズムについては様々な分野で種々の改善が行われており、上記したアルゴリズムに限らず、改善されたアルゴリズムを適用することとしてよい。これによれば、より高速かつ高精度に対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。
【０１２２】
（変形例２）
実施の形態１では、対象標本のＲＧＢ撮影範囲をＲＧＢ撮影して取得した１枚の対象標本画像を処理する場合について説明したが、顕微鏡撮影システム１０のステージ１３をＸＹ平面内で移動させながら対象標本の異なる箇所をＲＧＢ撮影した複数枚の対象標本画像を処理する場合にも同様に適用できる。
【０１２３】
図１３は、ＲＧＢ撮影する複数枚の対象標本画像のＲＧＢ撮影範囲Ｖ３１とともに、各ＲＧＢ撮影範囲Ｖ３１内の多バンド信号取得視野Ｖ３３を示す図である。変形例２では、ステージ１３をＸＹ平面内でＲＧＢ撮影範囲Ｖ３１ずつ移動させながら各位置（撮影位置）でＲＧＢ撮影を行い、隣接するＲＧＢ撮影範囲Ｖ３１をＲＧＢ撮影した複数枚（図１３では１５枚）の対象標本画像を取得することで全体として対象標本Ｓの広範囲を映した全体画像Ｉ３を得る。また、多バンド信号取得部１２が、各撮影位置でのＲＧＢ撮影範囲Ｖ３１のＲＧＢ信号値の取得と同期して、そのＲＧＢ撮影範囲Ｖ３１内の多バンド信号取得視野Ｖ３３における多バンド信号値を取得する。この変形例２では、各ＲＧＢ撮影範囲Ｖ３１の対象標本画像に対し、対応する多バンド信号取得視野Ｖ３３の多バンド信号値を用いて決定した色素Ｈおよび色素Ｅの分光特性を適用する。例えば、ＲＧＢ撮影範囲Ｖ３１−１の対象標本画像に対しては、多バンド信号取得視野Ｖ３３−１内の多バンド信号値を用いて決定した色素Ｈおよび色素Ｅの分光特性を適用し、色素量の算出等の処理を行う。
【０１２４】
図１４は、変形例２における撮影処理の詳細な処理手順を示すフローチャートである。なお、以下の説明において、実施の形態１と同様の構成には同一の符号を付する。
【０１２５】
図１４に示すように、変形例２の撮影処理では、先ず、制御部２６がステージ駆動部１８を駆動してステージ１３の移動を制御し、最初の撮影位置にＲＧＢ信号取得部１１のＲＧＢ撮影範囲を移動させる（ステップｆ１）。続いて、制御部２６は、顕微鏡撮影システム１０のＲＧＢ信号取得部１１の動作を制御して対象標本をＲＧＢ撮影し、ＲＧＢ信号値を取得する（ステップｆ３）。また、制御部２６は、ステップｆ３でのＲＧＢ信号値の取得と同期して多バンド信号取得部１２の動作を制御し、ＲＧＢ撮影範囲内の多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する（ステップｆ５）。
【０１２６】
続いて、制御部２６は、現在の撮影位置が最後の撮影位置か否かを判定する。そして、最後の撮影位置に移動するまでの間は（ステップｆ７：Ｎｏ）、制御部２６は、ステージ駆動部１８を駆動してステージ１３の移動を制御し、次の撮影位置にＲＧＢ信号取得部１１のＲＧＢ撮影範囲を移動させた後（ステップｆ９）、ステップｆ３に戻って上記した処理を繰り返す。現在の撮影位置が最後の撮影位置の場合には（ステップｆ７：Ｙｅｓ）、撮影処理を終える。
【０１２７】
（実施の形態２）
図１５は、実施の形態２における画像処理システム１ａの機能構成例を示すブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図１５に示すように、画像処理システム１ａは、顕微鏡撮影システム１０と、入力部２１と、表示部２２と、通信部２３と、記憶部２４ａと、信号処理部２５と、装置各部を制御する制御部２６ａとを備える。
【０１２８】
記憶部２４ａには、実施の形態２の処理を実現して対象標本を染色している色素Ｈおよび色素Ｅの分光特性を取得するための画像処理プログラム２４１ａが記録される。
【０１２９】
また、制御部２６ａは、多バンド信号取得位置設定部２６１ａと、多バンド信号取得制御部２６２ａとを含む。多バンド信号取得位置設定部２６１ａは、入力部２１を介してＲＧＢ撮影範囲内の多バンド信号取得位置の選択操作を受け付け、入力された選択操作に従って多バンド信号取得位置を設定する。多バンド信号取得制御部２６２ａは、顕微鏡撮影システム１０のステージ１３をＸＹ平面内で移動させて多バンド信号取得位置に多バンド信号取得部１２の多バンド信号取得視野を移動させるとともに、多バンド信号取得部１２の動作を制御して多バンド信号値を取得する。
【０１３０】
図１６は、実施の形態２における多バンド信号取得位置Ｐ４を示す図である。実施の形態２では、ユーザ操作に従い、ＲＧＢ撮影範囲Ｖ４をＲＧＢ撮影して取得した対象標本画像内の１つ以上の位置（図１６では６箇所）に対応するステージ１３上の位置を多バンド信号取得位置Ｐ４として設定し、設定した多バンド信号取得位置Ｐ４のそれぞれを多バンド信号取得視野とした多バンド信号値を取得する。なお、図１６では６箇所の多バンド信号取得位置Ｐ４を図示したが、実際には、各色素によって十分に染色されている位置を例えば２０箇所程度選択するのが好ましい。
【０１３１】
次に、実施の形態２の画像処理システム１ａが行う具体的な処理手順について説明する。なお、ここで説明する処理は、記憶部２４ａに記録された画像処理プログラム２４１ａに従って画像処理システム１ａの各部が動作することで実現される。実施の形態２では、図５の全体フローチャートにおいて、ステップａ１の撮影処理が実施の形態１と異なる。図１７は、実施の形態２における撮影処理の詳細な処理手順を示すフローチャートである。
【０１３２】
図１７に示すように、実施の形態２の撮影処理では、先ず、制御部２６ａは、顕微鏡撮影システム１０のＲＧＢ信号取得部１１の動作を制御して対象標本をＲＧＢ撮影し、ＲＧＢ信号値を取得する（ステップｇ１）。
【０１３３】
続いて、制御部２６ａは、取得したＲＧＢ信号値をもとに、対象標本のＲＧＢ画像を表示部２２に表示する処理を行い、併せて多バンド信号取得位置の選択を依頼する旨のメッセージを表示して多バンド信号取得位置の選択依頼を通知する（ステップｇ３）。そして、制御部２６ａは、この選択依頼の通知に応答してユーザが選択操作したＲＧＢ画像内の位置に対応するステージ１３上の位置を多バンド信号取得位置として設定する（ステップｇ５）。例えば、ユーザは、表示されたＲＧＢ画像内の任意の位置を例えば入力部２１を構成するマウスでクリックする等して選択操作を行う。
【０１３４】
続いて、制御部２６ａは、ステージ駆動部１８を駆動してステージ１３の移動を制御し、多バンド信号取得部１２の多バンド信号取得視野にステップｇ５で設定した多バンド信号取得位置を位置付ける（ステップｇ７）。その後、制御部２６ａは、多バンド信号取得部１２の動作を制御し、多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する（ステップｇ９）。
【０１３５】
続いて、制御部２６ａは、ステップｇ５で設定した全ての多バンド信号取得位置について多バンド信号値を取得したか否かを判定する。そして、制御部２６ａは、全ての多バンド信号取得位置について多バンド信号値を取得していない場合には（ステップｇ１１：Ｎｏ）、ステップｇ７に戻り、ステージ駆動部１８を駆動して多バンド信号取得部１２の多バンド信号取得視野に次の多バンド信号取得位置を位置付ける。その後、制御部２６ａは、ステップｇ９において多バンド信号取得部１２の動作を制御し、多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する。ここでの処理によって、多バンド信号取得位置毎にステップｇ７〜ステップｇ９の処理が繰り返され、ステップｇ５で複数の多バンド信号取得位置を設定した場合には、各多バンド信号取得位置の多バンド信号値が取得される。全ての多バンド信号取得位置について多バンド信号値を取得した場合には（ステップｇ１１：Ｙｅｓ）、撮影処理を終える。
【０１３６】
以上説明したように、実施の形態２によれば、実施の形態１と同様の効果を奏することができるとともに、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定する際に用いる多バンド信号値の取得位置（多バンド信号取得位置）をユーザ操作に従って設定することができる。
【０１３７】
ここで、実施の形態２の色素分光特性決定処理では、多バンド信号取得位置毎に図９に示して説明した評価値算出処理を行う。具体的には、色素Ｈおよび色素Ｅの標準色素分光特性を変化させた新たな色素Ｈおよび色素Ｅの分光特性を生成した後、各多バンド信号取得位置の多バンド信号値をそれぞれ用いて生成した新たな色素Ｈおよび色素Ｅの分光特性についての評価値の和を算出する。そして、全ての新たな色素Ｈおよび色素Ｅの分光特性の評価値の和の中からその値が最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性を１つ選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する。
【０１３８】
これによれば、ユーザが多バンド信号を取得する位置として適切と判断した対象標本画像内の位置、具体的には、例えば各色素によって十分に染色されている位置を選択することができるので、対象標本を染色している色素Ｈおよび色素Ｅの分光特性をより高精度に取得することができる。
【０１３９】
（変形例３）
実施の形態２では、ユーザ操作に従ってＲＧＢ撮影範囲内の１つまたは複数の多バンド信号取得位置を設定し、設定した多バンド信号取得位置の多バンド信号値を取得することとした。これに対し、変形例２のように対象標本の異なる箇所をＲＧＢ撮影した複数枚の対象標本画像を取得する場合に実施の形態２を適用し、ユーザ操作に従って多バンド信号取得位置を設定することとしてよい。
【０１４０】
図１８は、変形例３における多バンド信号取得位置Ｐ５を示す図である。変形例３では、変形例２と同様に、ステージ１３をＸＹ平面内でＲＧＢ撮影範囲Ｖ５ずつ移動させながら各撮影位置でＲＧＢ撮影を行い、隣接するＲＧＢ撮影範囲Ｖ５をＲＧＢ撮影した複数枚（図１８では１５枚）の対象標本画像を取得することで全体として対象標本Ｓの広範囲を映した全体画像Ｉ５を得る。そして、変形例３では、この全体画像Ｉ５内の１つ以上の位置（図１８では６箇所）に対応するステージ１３上の位置を多バンド信号取得位置Ｐ５として設定し、設定した多バンド信号取得位置Ｐ５のそれぞれを多バンド信号取得視野とした多バンド信号値を取得する。
【０１４１】
この場合の処理手順は、例えば先ず、全ての撮影位置でＲＧＢ撮影範囲Ｖ５をＲＧＢ撮影し、全体画像Ｉ５を構成する複数の対象標本画像を取得する。続いて、取得した複数の対象標本画像を並べて表示部２２に表示する処理を行って多バンド信号取得位置の選択依頼を通知し、この選択依頼の通知に応答してユーザが選択操作した対象標本画像内の位置に対応するステージ１３上の位置を多バンド信号取得位置として設定する。その後、設定した多バンド信号取得位置のそれぞれを多バンド信号取得部１２の多バンド信号取得視野に順次位置付けながら、多バンド信号値を取得する。
【０１４２】
なお、変形例３の色素分光特性決定処理では、実施の形態２と同様に、図９に示して説明した評価値算出処理を行う。そして、各多バンド信号取得位置の多バンド信号値をそれぞれ用いて生成した新たな色素Ｈおよび色素Ｅの分光特性についての評価値の和の中からその値が最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性を１つ選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する。
【０１４３】
実施の形態１では、ＲＧＢ信号取得部１１によるＲＧＢ信号値の取得と同期して多バンド信号取得部１２が多バンド信号値を取得することとした。このため、対象標本画像の取得数に比例して多バンド信号値の取得数も増加する。ここで、多バンド信号値の取得数が増加すれば、この多バンド信号値を用いて行う色素分光特性決定処理（図７を参照）の処理時間が増大する。また、多バンド信号値を取得する位置が固定（実施の形態１ではＲＧＢ撮影範囲の中心位置）であるため、対応する対象標本上の位置が色素Ｈや色素Ｅによって十分染色されていない、あるいは対応する対象標本上の位置に標本が存在しないといった事態が生じ得る。
【０１４４】
これに対し、変形例３によれば、対象標本画像を取得する全てのＲＧＢ撮影範囲について多バンド信号値を取得するのではなく、例えばユーザが対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定するのに必要と判断した位置、具体的には、例えば各色素によって十分に染色されている位置を多バンド信号取得位置として設定することができる。したがって、多バンド信号取得位置を適切に設定することができ、取得する多バンド信号値の数を無駄に増大させることがない。これによれば、より高速かつ高精度に対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。
【０１４５】
（変形例４）
実施の形態２では、ユーザ操作に従ってＲＧＢ撮影範囲内の１つまたは複数の多バンド信号取得位置を設定し、設定した多バンド信号取得位置の多バンド信号値を取得することとした。これに対し、対象標本画像内を例えば等間隔に区切って複数の多バンド信号取得位置を自動的に設定するようにしてもよい。
【０１４６】
図１９は、変形例４における多バンド信号取得位置Ｐ６を示す図である。変形例４では、図１９中に破線で示すように、ＲＧＢ撮影範囲Ｖ６をＲＧＢ撮影して取得した対象標本画像内を複数の領域に等分割し、各領域の例えば中心位置（実際には、この中心位置に対応するステージ１３上の位置）をそれぞれ多バンド信号取得位置Ｐ６として設定する。この場合には、図１７のステップｇ３およびステップｇ５の処理に換えて対象標本画像内を等分割した各領域の中心位置に対応するステージ１３上の位置を算出する処理を行えばよい。
【０１４７】
なお、変形例４の色素分光特性決定処理では、実施の形態２と同様に、図９に示して説明した評価値算出処理を行う。そして、新たな色素Ｈおよび色素Ｅの分光特性の評価値の和の中からその値が最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性を１つ選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する。なお、各多バンド信号取得位置における新たな色素Ｈおよび色素Ｅの分光特性の評価値の中からその値が最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性をそれぞれ１つずつ選び、多バンド信号取得位置毎に色素Ｈおよび色素Ｅの分光特性を決定するようにしてもよい。そして、対象標本画像を等分割した各領域に対し、対応する多バンド信号取得位置の多バンド信号値を用いて決定した色素Ｈおよび色素Ｅの分光特性を適用して色素量の算出等の処理を行うようにしてもよい。
【０１４８】
（実施の形態３）
図２０は、実施の形態３における画像処理システム１ｂの機能構成例を示すブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図２０に示すように、画像処理システム１ｂは、顕微鏡撮影システム１０と、入力部２１と、表示部２２と、通信部２３と、記憶部２４ｂと、信号処理部２５ｂと、装置各部を制御する制御部２６とを備える。
【０１４９】
記憶部２４ｂには、実施の形態３の処理を実現して対象標本を染色している色素Ｈおよび色素Ｅの分光特性を取得するための画像処理プログラム２４１ｂが記録される。
【０１５０】
信号処理部２５ｂは、多バンド信号選択部２５８ｂと、色素分光特性決定部２５１ｂと、被写体分光特性算出部２５２と、色素量算出部２５３と、補正係数設定部２５４と、色素量補正部２５５と、信号値変換処理部２５６とを含む。
【０１５１】
多バンド信号選択部２５８ｂには、顕微鏡撮影システム１０において多バンド信号取得部１２が取得した多バンド信号値が入力されるようになっている。多バンド信号選択部２５８ｂは、多バンド信号取得部１２から入力される複数の多バンド信号値の中から、例えば所定数の多バンド信号値を選択する。
【０１５２】
色素分光特性決定部２５１ｂは、実施の形態１と同様の処理手順で色素Ｈおよび色素Ｅの標準色素分光特性を変化させて色素Ｈの分光特性及び色素Ｅの分光特性を生成する処理（色素分光特性生成処理）を行い、多バンド信号選択部２５８ｂで選択された所定数の多バンド信号値を用いて対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定する。
【０１５３】
図２１は、実施の形態３におけるＲＧＢ撮影範囲Ｖ７１およびこのＲＧＢ撮影範囲内の多バンド信号取得視野Ｖ７３を示す図である。実施の形態３では、変形例２と同様に、ステージ１３をＸＹ平面内でＲＧＢ撮影範囲Ｖ７１ずつ移動させながら各撮影位置でＲＧＢ撮影を行い、隣接するＲＧＢ撮影範囲Ｖ７１をＲＧＢ撮影した複数枚（図２１（ａ）では１５枚）の対象標本画像を取得することで全体として対象標本Ｓの広範囲を映した全体画像Ｉ７を得る。また、多バンド信号取得部１２が、各撮影位置でのＲＧＢ撮影範囲Ｖ７１のＲＧＢ信号値の取得と同期して、そのＲＧＢ撮影範囲Ｖ７１内の多バンド信号取得視野Ｖ７３における多バンド信号値を取得する。
【０１５４】
そして、実施の形態３では、例えば、各多バンド信号取得視野Ｖ７３における多バンド信号値の中から、その信号強度をもとに所定数の多バンド信号取得視野Ｖ７３（図２１（ｂ）では９箇所）における多バンド信号値を選択する。例えば、図２１（ｂ）の例では、ＲＧＢ撮影範囲Ｖ７１−１内の多バンド信号取得視野Ｖ７３−１における多バンド信号値は選択している一方、ＲＧＢ撮影範囲Ｖ７１−２内の多バンド信号取得視野Ｖ７３−２における多バンド信号値については選択していない。
【０１５５】
次に、実施の形態３の画像処理システム１ｂが行う具体的な処理手順について説明する。なお、ここで説明する処理は、記憶部２４ｂに記録された画像処理プログラム２４１ｂに従って画像処理システム１ｂの各部が動作することで実現される。実施の形態３では、図５の全体フローチャートにおいて、ステップａ１の撮影処理が実施の形態１と異なる。図２２は、実施の形態３における撮影処理の詳細な処理手順を示すフローチャートである。
【０１５６】
図２２に示すように、実施の形態３の撮影処理では、制御部２６は、ステップｆ１〜ステップｆ９の処理を行って全ての撮影位置においてＲＧＢ撮影範囲をＲＧＢ撮影し、多バンド信号取得視野を多バンド撮影する。なお、実施の形態３の撮影処理では、ステップｆ５で取得した多バンド信号取得視野内の多バンド信号値が、多バンド信号選択部２５８ｂに出力される。
【０１５７】
そして、続くステップｈ１１では、多バンド信号選択部２５８ｂが、ステップｆ５で取得した多バンド信号値の信号強度をもとに、後段の処理において対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定する際に用いる所定数の多バンド信号値を選択する。例えば、ＲＧＢ撮影範囲毎に取得した多バンド信号値のうち、その信号強度が予め設定される所定範囲内である多バンド信号値を所定数選択する。ここで、選択する多バンド信号値の数は、適宜設定することとしてよい。なお、信号強度が予め設定される所定範囲内である多バンド信号値を全て選択することとしてもよい。また、多バンド信号値を選択する信号強度の範囲（値の幅）は、複数設定しておくこととしてもよい。例えば、比較的低い信号強度の範囲、中程度の信号強度の範囲、比較的高い信号強度の範囲を設定しておくこととしてもよい。そして、信号強度が各範囲内である多バンド信号値を所定数ずつ選択するようにしてもよい。
【０１５８】
なお、実施の形態３の色素分光特性決定処理では、実施の形態２と同様に、図９に示して説明した評価値算出処理を行う。そして、各多バンド信号取得位置の多バンド信号値をそれぞれ用いて生成した新たな色素Ｈおよび色素Ｅの分光特性についての評価値の和の中からその値が最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性を１つ選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する。
【０１５９】
以上説明したように、実施の形態３によれば、ＲＧＢ撮影範囲毎に取得した多バンド信号値のうち、信号強度が所定範囲内である所定数の多バンド信号値を選択することができる。そして、選択した多バンド信号値を用いて対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。したがって、色素の分光特性を決定するのに適切な信号強度の多バンド信号値を選択できるとともに、選択する多バンド信号値の数を適宜調整することで、色素分光特性決定処理（図７を参照）の処理時間（色素Ｈおよび色素Ｅの分光特性を決定するのに要する時間）の短縮化を図ることができ、より高速かつ高精度に対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。
【０１６０】
（変形例５）
実施の形態３では、多バンド信号値の信号強度をもとに、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定する際に用いる多バンド信号値を選択することとした。これに対し、ＲＧＢ撮影範囲をＲＧＢ撮影して取得したＲＧＢ信号値の信号強度をもとに多バンド信号取得位置を設定し、設定した多バンド信号取得位置の多バンド信号値を用いて色素Ｈおよび色素Ｅの分光特性を決定することとしてもよい。
【０１６１】
図２３は、変形例５における撮影処理の詳細な処理手順を示すフローチャートである。なお、以下の説明において、実施の形態１と同様の構成には同一の符号を付する。
【０１６２】
図２３に示すように、変形例５の撮影処理では、先ず、制御部２６がステージ駆動部１８を駆動してステージ１３の移動を制御し、最初の撮影位置にＲＧＢ信号取得部１１のＲＧＢ撮影範囲を移動させる（ステップｉ１）。続いて、制御部２６は、顕微鏡撮影システム１０のＲＧＢ信号取得部１１の動作を制御して対象標本をＲＧＢ撮影し、ＲＧＢ信号値を取得する（ステップｉ３）。その後、制御部２６は、現在の撮影位置が最後の撮影位置か否かを判定する。そして、最後の撮影位置に移動するまでの間は（ステップｉ５：Ｎｏ）、制御部２６は、ステージ駆動部１８を駆動してステージ１３の移動を制御し、次の撮影位置にＲＧＢ信号取得部１１のＲＧＢ撮影範囲を移動させた後（ステップｉ７）、ステップｉ３に戻って上記した処理を繰り返す。
【０１６３】
一方、現在の撮影位置が最後の撮影位置の場合には（ステップｉ５：Ｙｅｓ）、制御部２６は、ステップｉ３で取得したＲＧＢ信号値の信号強度をもとに、多バンド信号取得位置を設定する（ステップｉ９）。例えば、ＲＧＢ信号値の信号強度が予め設定される所定範囲内である対象標本画像内の画素位置の中から所定数の画素位置を選択し、対応するステージ１３上の位置を多バンド信号取得位置として設定する。具体的な処理手順としては、例えば、ステップｉ３において各撮影位置で取得したＲＧＢ信号値の信号強度分布を生成し、生成した信号強度分布の中から、信号強度が所定範囲内であるＲＧＢ信号値をランダムに所定数（例えば２０箇所）選択する。その後、選択したＲＧＢ信号値の座標（画素位置）に対応するステージ１３上の位置を多バンド信号取得位置として設定する。ここで、設定する多バンド信号取得位置の数は、適宜設定することとしてよい。なお、上記した実施の形態３と同様に、対象標本画像内の画素位置を選択する信号強度の範囲（値の幅）は、複数設定しておくこととしてもよい。例えば、比較的低い信号強度の範囲、中程度の信号強度の範囲、比較的高い信号強度の範囲を設定しておくこととしてもよい。そして、各撮影位置で取得したＲＧＢ信号値の信号強度分布の中から、信号強度が各範囲内であるＲＧＢ信号値をそれぞれ所定数ずつランダムに選択するようにしてもよい。
【０１６４】
続いて、制御部２６は、ステージ駆動部１８を駆動してステージ１３の移動を制御し、多バンド信号取得部１２の多バンド信号取得視野にステップｉ９で設定した多バンド信号取得位置を位置付ける（ステップｉ１１）。その後、制御部２６は、多バンド信号取得部１２の動作を制御し、多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する（ステップｉ１３）。
【０１６５】
続いて、制御部２６は、ステップｉ９で設定した全ての多バンド信号取得位置について多バンド信号値を取得したか否かを判定する。そして、制御部２６は、全ての多バンド信号取得位置について多バンド信号値を取得していない場合には（ステップｉ１５：Ｎｏ）、ステップｉ１１に戻り、ステージ駆動部１８を駆動して多バンド信号取得部１２の多バンド信号取得視野に次の多バンド信号取得位置を位置付ける。その後、制御部２６は、ステップｉ１３において多バンド信号取得部１２の動作を制御し、多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する。全ての多バンド信号取得位置について多バンド信号値を取得した場合には（ステップｉ１５：Ｙｅｓ）、撮影処理を終える。
【０１６６】
なお、変形例５の色素分光特性決定処理では、実施の形態２と同様に、図９に示して説明した評価値算出処理を行う。そして、各多バンド信号取得位置の多バンド信号値をそれぞれ用いて生成した新たな色素Ｈおよび色素Ｅの分光特性についての評価値の和の中からその値が最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性を１つ選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する。
【０１６７】
以上説明したように、変形例５によれば、ＲＧＢ撮影範囲毎に取得したＲＧＢ信号値の中から信号強度が所定範囲内である所定数のＲＧＢ信号値を選択し、選択したＲＧＢ信号値の座標（画素位置）を多バンド信号取得位置として設定することができる。そして、設定した多バンド信号取得位置における多バンド信号値を取得し、取得した多バンド信号値を用いて対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。したがって、ＲＧＢ信号値が所望の信号強度である画素位置の中から多バンド信号取得位置を選択できるとともに、多バンド信号取得位置の数を適宜調整することで、色素分光特性決定処理（図７を参照）の処理時間（色素Ｈおよび色素Ｅの分光特性を決定するのに要する時間）の短縮化を図ることができ、より高速かつ高精度に対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。
【０１６８】
（実施の形態４）
顕微鏡を用いて標本を観察する場合、１度に観察可能な範囲（視野範囲）は、主に対物レンズの倍率によって決定される。ここで、対物レンズの倍率が高いほど高精細な画像が得られる反面、視野範囲が狭くなる。この種の問題を解決するため、従来から、標本を載置する電動ステージを動かす等して視野範囲を移動させながら倍率の高い対物レンズを用いて標本像を部分毎に撮像し、撮像した部分毎の画像を繋ぎ合わせることによって高精細でかつ広視野の標本画像（対象標本画像）を生成するといったことが行われており、バーチャル顕微鏡システムと呼ばれている。以下、バーチャル顕微鏡システムで生成される標本画像を、「ＶＳ画像」と称す。このバーチャル顕微鏡システムによれば、実際に標本が存在しない環境であっても観察が行える。
【０１６９】
実施の形態４は、本発明を上記したバーチャル顕微鏡システムに適用したものである。図２４は、実施の形態４のバーチャル顕微鏡システム３の概観例を示す概略斜視図である。図２４に示すように、バーチャル顕微鏡システム３は、顕微鏡装置４０とホストシステム６０とがデータの送受可能に接続されて構成されている。ホストシステム６０は、例えばキーボードやマウス等の入力部６１と、表示部６２とを備えている。
【０１７０】
図２５は、実施の形態４のバーチャル顕微鏡システム３の全体構成例を示す模式図である。ここで、図２５に示す対物レンズ４７の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【０１７１】
顕微鏡装置４０は、対象標本Ｓが載置される電動ステージ４１と、側面視略コの字状を有し、電動ステージ４１を支持するとともにレボルバ４６を介して対物レンズ４７を保持する顕微鏡本体４４と、顕微鏡本体４４の底部後方（図２５の右方）に配設された光源４８と、顕微鏡本体４４の上部に載置された鏡筒４９とを備える。また、鏡筒４９には、対象標本Ｓの標本像を目視観察するための双眼部５１と、対象標本Ｓの標本像を撮像するためのＴＶカメラ５２が取り付けられている。なお、対象標本Ｓは、実施の形態１等と同様に、Ｈ＆Ｅ染色された標本（生体組織標本）である。
【０１７２】
電動ステージ４１は、ＸＹＺ方向に移動自在に構成されている。すなわち、電動ステージ４１は、モータ４２１およびこのモータ４２１の駆動を制御するＸＹ駆動制御部４２３によってＸＹ平面内で移動自在である。ＸＹ駆動制御部４２３は、顕微鏡コントローラ５３の制御のもと、図示しないＸＹ位置の原点センサによって電動ステージ４１のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ４２１の駆動量を制御することによって、対象標本Ｓ上の観察箇所を移動させる。そして、ＸＹ駆動制御部４２３は、観察時の電動ステージ４１のＸ位置およびＹ位置を適宜顕微鏡コントローラ５３に出力する。また、電動ステージ４１は、モータ４３１およびこのモータ４３１の駆動を制御するＺ駆動制御部４３３によってＺ方向に移動自在である。Ｚ駆動制御部４３３は、顕微鏡コントローラ５３の制御のもと、図示しないＺ位置の原点センサによって電動ステージ４１のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ４３１の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に対象標本Ｓを焦準移動させる。そして、Ｚ駆動制御部４３３は、観察時の電動ステージ４１のＺ位置を適宜顕微鏡コントローラ５３に出力する。
【０１７３】
レボルバ４６は、顕微鏡本体４４に対して回転自在に保持され、対物レンズ４７を対象標本Ｓの上方に配置する。対物レンズ４７は、レボルバ４６に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ４６の回転に応じて観察光の光路上に挿入されて対象標本Ｓの観察に用いる対物レンズ４７が択一的に切り換えられるようになっている。
【０１７４】
顕微鏡本体４４は、底部において対象標本Ｓを透過照明するための照明光学系を内設している。この照明光学系は、光源４８から射出された照明光を集光するコレクタレンズ４５１、照明系フィルタユニット４５２、視野絞り４５３、開口絞り４５４、照明光の光路を対物レンズ４７の光軸に沿って偏向させる折曲げミラー４５５、コンデンサ光学素子ユニット４５６、トップレンズユニット４５７等が、照明光の光路に沿って適所に配置されて構成される。光源４８から射出された照明光は、照明光学系によって対象標本Ｓに照射され、観察光として対物レンズ４７に入射する。
【０１７５】
また、顕微鏡本体４４は、その上部においてフィルタユニット５０を内設している。フィルタユニット５０は、分光特性の異なるバンドパスフィルタ５０３を回転自在に保持し、このバンドパスフィルタ５０３を、適宜対物レンズ４７後段において観察光の光路上に挿入する。実施の形態１では、多バンドセンサによって多バンド信号値を取得することとしたが、実施の形態４では、フィルタユニット５０によって多バンド信号値を取得する。具体的には、例えば、フィルタユニット５０は、３つ以上の装着孔を備え、１つの穴が空穴とされ、残りの２つ以上の装着穴にバンドパスフィルタ５０３が装着されて構成される。そして、多バンド撮影時には、フィルタユニット５０を回転させることで２枚以上のバンドパスフィルタ５０３を順次観察光の光路上に挿入し、ＴＶカメラ５２によって多バンド信号値を取得する。一方、ＲＧＢ撮影時には、前述の空穴を観察光の光路上に配置し、ＴＶカメラ５２によってＲＧＢ信号値を取得する。なお、ここでは、バンドパスフィルタ５０３を対物レンズ４７の後段に配置する場合を例示したが、これに限定されるものではなく、光源４８からＴＶカメラ５２に至る光路上のいずれかの位置に配置することとしてよい。対物レンズ４７を経た観察光は、このフィルタユニット５０を経由して鏡筒４９に入射する。
【０１７６】
鏡筒４９は、フィルタユニット５０を経た観察光の光路を切り換えて双眼部５１またはＴＶカメラ５２へと導くビームスプリッタ４９１を内設している。対象標本Ｓの標本像は、このビームスプリッタ４９１によって双眼部５１内に導入され、接眼レンズ５１１を介して検鏡者に目視観察される。あるいはＴＶカメラ５２によって撮像される。ＴＶカメラ５２は、標本像（詳細には対物レンズ４７の視野範囲の標本像）を結像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム６０に出力する。
【０１７７】
そして、顕微鏡装置４０は、顕微鏡コントローラ５３とＴＶカメラコントローラ５４とを備える。顕微鏡コントローラ５３は、ホストシステム６０の制御のもと、顕微鏡装置４０を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ５３は、レボルバ４６を回転させて観察光の光路上に配置する対物レンズ４７を切り換える処理や、切り換えた対物レンズ４７の倍率等に応じた光源４８の調光制御や各種光学素子の切り換え、あるいはＸＹ駆動制御部４２３やＺ駆動制御部４３３に対する電動ステージ４１の移動指示等、対象標本Ｓの観察に伴う顕微鏡装置４０の各部の調整を行うとともに、各部の状態を適宜ホストシステム６０に通知する。ＴＶカメラコントローラ５４は、ホストシステム６０の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＴＶカメラ５２を駆動し、ＴＶカメラ５２の撮像動作を制御する。
【０１７８】
一方、ホストシステム６０は、実施の形態１の画像処理システム１の顕微鏡撮影システム１０を除く構成をもとに構成したものであり、図２４に示す入力部６１や表示部６２の他、図３に示した通信部２３、記憶部２４、信号処理部２５、制御部２６に相当する機能部を含む。なお、実施の形態２や実施の形態３、変形例１〜変形例５の構成を適用することも可能である。
【０１７９】
このホストシステム６０は、入力部６１から入力される入力信号や、顕微鏡コントローラ５３から入力される顕微鏡装置４０各部の状態、ＴＶカメラ５２から入力される画像データ、ホストシステム６０を構成する記憶部に記録されるプログラムやデータ等をもとにホストシステム６０を構成する各部への指示やデータの転送等を行い、あるいは顕微鏡コントローラ５３やＴＶカメラコントローラ５４に対する顕微鏡装置４０各部の動作指示を行い、バーチャル顕微鏡システム３全体の動作を統括的に制御する。そして、ホストシステム６０は、顕微鏡装置４０が対象標本Ｓを部分的にＲＧＢ撮影することによって得られる複数の対象標本画像をそれぞれ処理し、ＶＳ画像を生成する。ここで、ＶＳ画像とは、顕微鏡装置４０によってＲＧＢ撮影した１枚以上の画像を繋ぎ合せて生成した画像のことである。実施の形態４でいうＶＳ画像とは、例えば高倍率の対物レンズを用いて対象標本Ｓを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、対象標本Ｓの全域を映した広視野で且つ高精細のマルチバンド画像のことをいう。
【０１８０】
この実施の形態３によれば、実施の形態１と同様の効果を奏することが可能なバーチャル顕微鏡システムが実現できる。
【０１８１】
なお、上記した各実施の形態や各変形例では、Ｈ＆Ｅ染色された標本を対象標本とした場合について説明したが、Ｈ＆Ｅ染色以外にも様々な染色法が知られている。これらの染色法は、一般染色、特殊染色および免疫生体組織化学的染色に大別されるが、本発明は、いずれの染色法で染色された標本に対しても同様に適用可能である。
【０１８２】
また、本発明は、上記した各実施の形態やその変形例そのままに限定されるものではなく、各実施の形態や各変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や各変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成してもよい。
【０１８３】
例えば、実施の形態２と実施の形態３とを組み合わせ、ユーザが選択した多バンド信号取得位置における多バンド信号値の中から、信号強度が所定範囲内である所定数の多バンド信号値を選択するようにしてもよい。また、実施の形態１等では、被写体分光特性算出部２５２において対象標本の分光特性を推定し、色素量算出部２５３において推定した分光特性をもとに対象標本の色素量を推定することとした。これに対し、分光特性の推定は必ずしも行う必要はなく、対象標本画像から対象標本の色素量を推定することも可能である。この場合には、被写体分光特性算出部２５２を除外して信号処理部２５（図３），２５ｂ（図２０）を構成するとともに、ＲＧＢ信号取得部１１が取得したＲＧＢ信号値を色素量算出部２５３に入力するようにし、色素量算出部２５３がＲＧＢ信号値をもとに対象標本の色素量を推定する処理を行えばよい。
【産業上の利用可能性】
【０１８４】
以上のように、本発明の画像処理システムは、標本を染色している色素の分光特性を染色工程の増加を招くことなく高精度に取得するのに適している。
【符号の説明】
【０１８５】
１，１ａ，１ｂ 画像処理システム
１０ 顕微鏡撮影システム
１１ ＲＧＢ信号取得部
１２ 多バンド信号取得部
２１ 入力部
２２ 表示部
２３ 通信部
２４，２４ａ，２４ｂ 記憶部
２４１，２４１ａ，２４１ｂ 画像処理プログラム
２４２ 標準色素分光特性データ
２４３ 分光特性変化モデルデータ
２４４ 標本データ
２５，２５ｂ 信号処理部
２５１，２５１ｂ 色素分光特性決定部
２５２ 被写体分光特性算出部
２５３ 色素量算出部
２５４ 補正係数設定部
２５５ 色素量補正部
２５６ 信号値変換処理部
２５７ 分光情報付加部
２５８ｂ 多バンド信号選択部
２６，２６ａ 制御部
２６１ａ 多バンド信号取得位置設定部
２６２ａ 多バンド信号取得制御部
【技術分野】
【０００１】
本発明は、標本を染色している色素の分光特性を取得する画像処理システムに関するものである。
【背景技術】
【０００２】
被写体に固有の物理的性質を表す物理量の一つに透過率がある。透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮影した画像の解析に透過率が利用されている。
【０００３】
病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された標本は光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
【０００４】
染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。一方エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。
【０００５】
標本の観察は、観察者の目視によるものの他、この標本を多バンド撮影して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮影した多バンド画像から標本上の点（標本点）の透過率を推定する処理や、推定した透過率をもとに標本を染色している色素の色素量を推定する処理、推定した色素量をもとに画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の標本のＲＧＢ画像である表示画像が合成される。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。
【０００６】
標本の多バンド画像から標本点の透過率を推定する手法としては、例えば、主成分分析による推定法（例えば、非特許文献１参照）や、ウィナー（Wiener）推定による推定法（例えば、非特許文献２参照）等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。
【０００７】
ここで、標本の多バンド画像から表示画像を合成する方法について説明する。先ず、標本の多バンド画像を撮影する。例えば、最も簡易的に撮影する方法として、市販されているＲＧＢカメラを用いて多バンド画像を撮影する。この場合のバンド数は、Ｒ，Ｇ，Ｂの３バンドである。なお、色素は、本来観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう標本点は、投影された撮像素子の各画素に対応する標本上の点を意味している。
【０００８】
撮影された多バンド画像の任意の画像位置（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本点の透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦３を満たす整数値である。
【数１】
【０００９】
実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝３）、Ｇ（ｘ）は、画素ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、次式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂを次式（２）中に明示していない。また、波長λに関する積分は行列の積に置き換えられている。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
【００１０】
ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）
【００１１】
よって、式（３）は、次式（４）に置き換えられる。
Ｇ（ｘ）＝ＨＴ（ｘ）＋Ｎ ・・・（４）
【００１２】
次に、ウィナー推定を用いて、撮影した多バンド画像から標本点における透過率を推定する。透過率の推定値（透過率データ）Ｔ＾（ｘ）は、次式（５）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表す記号「＾（ハット）」が付いていることを示す。
【数２】
【００１３】
ここで、Ｗは次式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。以下の説明では、Ｗを単に「推定オペレータ」と称す。ＲSSは、Ｄ行Ｄ列の行列であり、標本の透過率の自己相関行列を表す。また、ＲNNは、Ｂ行Ｂ列の行列であり、撮影に使用するカメラのノイズの自己相関行列を表す。なお、式（５）で示したシステム行列Ｈを構成する光学フィルタの透過率Ｆ、カメラの分光感度特性Ｓおよび照明の分光放射特性Ｅと、観測対象の統計的性質を表す項ＲSSと、撮像ノイズの特性を表す項ＲNNとは予め取得しておく。
【数３】
【００１４】
このようにして透過率データＴ＾（ｘ）を推定したならば、次に、このＴ＾（ｘ）をもとに対応する標本点における色素量を推定する。推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、その他の染色成分、例えば、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素等が考えられ、それぞれ色素Ｈ，色素Ｅ，色素Ｒと略記する。ここで、厳密には、赤血球は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。なお、ヘマトキシリンを１つの色素として扱う場合に限らず、同じヘマトキシリンでも、染まる組織によって、あるいは染まる組織の状態によって、別の色素として扱うようにしてもよい。エオジンにおいても同様である。
【００１５】
一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ（λ）との間に、次式（７）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。
【数４】
【００１６】
ここで、式（７）の左辺は透過率ｔ（λ）を意味しており、式（７）は次式（８）に置き換えられる。
【数５】
【００１７】
また、吸光度ａ（λ）は次式（９）で表される。
【数６】
【００１８】
よって、式（８）は次式（１０）に置き換えられる。
【数７】
【００１９】
Ｈ＆Ｅ染色された標本が、色素Ｈ，色素Ｅ，色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（１１）が成立する。
【数８】
【００２０】
ｋH（λ），ｋE（λ），ｋR（λ）は、それぞれ色素Ｈ，色素Ｅ，色素Ｒに対応するｋ（λ）を表し、例えば、標本を染色している各色素の分光特性である。またｄH，ｄE，ｄRは、多バンド画像の各画素に対応する各標本点における色素Ｈ，色素Ｅ，色素Ｒの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄH，ｄE，ｄRはそれぞれ色素Ｈ，色素Ｅ，色素Ｒの色素量を表しているといえる。なお、ｋH（λ），ｋE（λ），ｋR（λ）は、例えば色素Ｈ，色素Ｅ，色素Ｒによって個別に染色された標本（以下、「単一染色標本」と呼ぶ。）を予め用意してその分光特性を分光計で測定し、ランベルト・ベールの法則を用いて求めている。
【００２１】
ここで、位置ｘにおける透過率をｔ（ｘ，λ）とし、吸光度をａ（ｘ，λ）とすると、式（９）は次式（１２）に置き換えられる。
【数９】
【００２２】
そして、式（５）を用いて推定された透過率Ｔ＾（ｘ）の波長λにおける推定透過率をｔ＾（ｘ，λ）、推定吸光度をａ＾（ｘ，λ）とすると、式（１２）は次式（１３）に置き換えられる。なお、ｔ＾は、ｔの上に記号「＾」が付いていることを示し、ａ＾は、ａの上に記号「＾」が付いていることを示す。
【数１０】
【００２３】
式（１３）において未知変数はｄH，ｄE，ｄRの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ1，λ2，λ3について式（１３）を連立させた場合、次式（１４）のように行列表記できる。
【数１１】
【００２４】
ここで、式（１４）を次式（１５）に置き換える。波長方向のサンプル点数をＤとすれば、Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するＤ行１列の行列であり、Ｋは、ｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は、画素ｘにおけるｄH，ｄE，ｄRに対応する３行１列の行列である。なお、Ａ＾は、Ａの上に記号「＾」が付いていることを示す。
【数１２】
【００２５】
そして、式（１５）に従い、最小二乗法を用いて色素量ｄH，ｄE，ｄRを算出する。最小二乗法とは単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、次式（１６）で算出できる。ｄ＾（ｘ）は、推定された色素量である。
【数１３】
【００２６】
色素Ｈ，色素Ｅ，色素Ｒについて色素量ｄ＾H，ｄ＾E，ｄ＾Rを推定し、式（１２）に代入すれば、復元した復元吸光度ａ~（ｘ，λ）は次式（１７）で求められる。なお、ｄ＾は、ｄの上に記号「＾」が付いていることを示し、ａ~は、ａの上に記号「〜」が付いていることを示す。
【数１４】
【００２７】
ここで、色素量推定における推定誤差ｅ（λ）は、推定吸光度ａ＾（ｘ，λ）と復元吸光度ａ~（ｘ，λ）とをもとに、次式（１８）で求められる。
【数１５】
【００２８】
そして、推定吸光度ａ＾（ｘ，λ）は、式（１７）,（１８）から次式（１９）で表すことができる。
【数１６】
【００２９】
ランベルト・ベールの法則は、屈折や散乱がないと仮定した場合に半透明物体を透過する光の減衰を定式化したものである。しかしながら、実際の標本では屈折や散乱が起こり得る。このため、標本による光の減衰をランベルト・ベールの法則のみでモデル化した場合、この屈折や散乱に起因する誤差が生じる。しかしながら、屈折や散乱を含めたモデルの構築は極めて困難である。そこで、屈折や散乱の影響を含めたモデル化の誤差である推定誤差ｅ（λ）を考慮することで、物理モデルによる不自然な色変動を引き起こさないようにすることができる。
【００３０】
以上のようにして、色素量ｄ＾H，ｄ＾E，ｄ＾Rが求まれば、これを修正することで、標本における色素量の変化をシミュレートすることができる。ここで、染色法によって染色された色素量ｄ＾H，ｄ＾Eを修正する。赤血球本来の色であるｄ＾Rは修正しない。すなわち、補正色素量ｄ＾H*，ｄ＾E*は、適当な色素量補正係数αH，αEを用いて次式（２０），（２１）で求められる。
【数１７】
【００３１】
求めた補正色素量ｄ＾H*，ｄ＾E*を式（１２）に代入すれば、次式（２２）によって、吸光度ａ~*（ｘ，λ）が得られる。
【数１８】
【００３２】
また、推定誤差ｅ（λ）を含める場合には、新たな吸光度ａ＾*（ｘ，λ）は、式（２３）によって求められる。
【数１９】
【００３３】
この吸光度ａ~*（ｘ，λ）または吸光度ａ＾*（ｘ，λ）を式（１０）に代入すれば、式（２４）によって、新たな透過率ｔ*（ｘ，λ）が得られる。吸光度ａ*（ｘ，λ）は、吸光度ａ~*（ｘ，λ）または吸光度ａ＾*（ｘ，λ）のいずれかの値である。
【数２０】
【００３４】
そして、式（２４）を式（１）に代入すれば、新たな画素値ｇ*（ｘ，ｂ）は、次式（２５）によって求めることができる。この場合、観測ノイズｎ（ｂ）をゼロとして計算してよい。
【数２１】
【００３５】
ここで、式（４）を、次式（２６）に置き換える。Ｇ*（ｘ）は、ｇ*（ｘ，ｂ）に対応するＢ行１列の行列であり、Ｔ*（ｘ）は、ｔ*（ｘ，λ）に対応するＤ行１列の行列である。これによって、色素量を仮想的に変化させた標本の画素値Ｇ*（ｘ）を合成することができる。
Ｇ*（ｘ）＝ＨＴ*（ｘ）・・・（２６）
【００３６】
以上説明したように、多バンド画像の各画素における色素量を推定して対応する各標本点における色素量を仮想的に調整し、調整後の標本の画像を合成することによって、標本の色素量を補正することができる。このとき、自動的に色正規化処理を行い、各標本点における色素量を適正な染色状態に調整することも可能である。また、適当なユーザインターフェースを用意すれば、ユーザは、この色素量の調整を手動で行うことができる。表示用に合成された表示画像は、例えば表示装置に画面表示され、医師等による病理診断等に利用される。これによれば、標本に染色ばらつきがあったとしても、適正な染色状態に調整された画像を観察することが可能となる。
【００３７】
また、標本の染色設備がない小規模な医療施設では、染色設備をもつ医療施設に標本の染色を依頼するといったことも行われている。依頼先の医療施設では、その標本を染色して多バンド撮影し、撮影した標本の多バンド画像を色正規化処理して表示画像を合成する。一方、依頼元の医療施設では、所定のネットワークを介して依頼先の医療施設で合成された表示画像のデータを取得し、病理診断等に用いる。表示画像の染色状態（色素量）を調整したい場合には、依頼元の医療施設は、改めて依頼先の医療施設に表示画像の合成を依頼し、ネットワークを介して色素量が補正された表示画像のデータを再度取得する。
【先行技術文献】
【非特許文献】
【００３８】
【非特許文献１】“Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions”，Proceedings of SPIE，Vol.4684，2002，p.1516-1523
【非特許文献２】“Color Correction of Pathological Images Based on Dye Amount Quantification”，OPTICAL REVIEW，Vol.12，No.4，2005，p.293-300
【発明の概要】
【発明が解決しようとする課題】
【００３９】
ところで、標本を染色している色素の分光特性は、上記したように、該当する色素によって個別に染色された単一染色標本を予め用意し、分光計を用いてその色素の分光特性を測定することで取得していた。しかしながら、実際に標本を染色している色素の分光特性は、観察対象とする標本によって変動する場合があった。例えば、標本を採取した被検者の人種や性別、臓器種等の標本種、部位といった標本に関する属性、あるいは、標本の染色に使用する染色液の種類や使用する染色液の組み合わせ、染色手順、染色場所等の染色時の環境といった染色工程（作製工程）に関する属性の違いによって変動する場合があった。このため、観察対象の標本を染色している色素の分光特性が事前に取得した色素の分光特性と異なる場合が生じ、例えば、この事前に取得した色素の分光特性を用いて色素量の推定を行うと推定精度が低下するという問題があった。
【００４０】
ここで、観察対象とする標本と同じ被検者から採取した標本を用いて単一染色標本を用意すれば、観察対象の標本と単一染色標本とで標本に関する属性を一致させることができる。しかしながら、この場合、観察対象の標本毎に単一染色標本を作製しなければならないため、染色工程の増加を招き、手間であった。また、単一染色標本から該当する色素の分光特性を取得する手法では、観察対象の標本と単一染色標本とで染色工程に関する属性が一致せず、色素の分光特性が変動する場合があった。例えば、Ｈ＆Ｅ染色された標本を観察対象とする場合において、色素Ｅの単一染色標本は、染色が施されていない無染色標本にエオジン染色を施すことで作製する。一方、観察対象の標本は、無染色標本に先ずヘマトキシリン染色を施し、続いてエオジン染色を施すことで作製する。このように、対象標本に対しては、エオジン染色に加えてヘマトキシリン染色を施すため、観察対象の標本における色素Ｅの分光特性は、エオジン染色のみが施された単一染色標本から取得した色素Ｅの分光特性と異なる場合があった。
【００４１】
本発明は、上記に鑑み為されたものであって、標本を染色している色素の分光特性を染色工程の増加を招くことなく高精度に取得することができる画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【００４２】
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理システムは、複数の色素で染色された標本の多バンド信号値を取得する多バンド信号取得部と、予め設定される標準的な前記色素の分光特性を所定の変化モデルに従って変化させることで新たな色素の分光特性を生成し、該生成した前記新たな色素の分光特性と前記多バンド信号値とをもとに前記色素の分光特性を決定する色素分光特性決定部と、を備えることを特徴とする。
【発明の効果】
【００４３】
本発明によれば、予め設定される標準的な色素の分光特性を所定の変化モデルに従って変化させることで新たな色素の分光特性を生成し、生成した新たな色素の分光特性と標本の多バンド信号値とをもとに色素の分光特性を決定することができる。したがって、標本を染色している色素の分光特性を染色工程の増加を招くことなく高精度に取得することができる。
【図面の簡単な説明】
【００４４】
【図１】図１は、実施の形態１における画像処理システムの全体構成例を示す模式図である。
【図２】図２は、実施の形態１におけるＲＧＢ撮影範囲およびこのＲＧＢ撮影範囲内の多バンド信号取得視野を示す図である。
【図３】図３は、実施の形態１における画像処理システムの機能構成例を示すブロック図である。
【図４】図４は、色素Ｈおよび色素Ｅの標準色素分光特性を示す図である。
【図５】図５は、実施の形態１の画像処理システムが行う処理手順を示す全体フローチャートである。
【図６】図６は、実施の形態１における撮影処理の詳細な処理手順を示すフローチャートである。
【図７】図７は、実施の形態１における色素分光特性決定処理の詳細な処理手順を示すフローチャートである。
【図８】図８は、色素Ｅの標準色素分光特性を波長シフトさせた様子を示す図である。
【図９】図９は、評価値算出処理の詳細な処理手順を示すフローチャートである。
【図１０】図１０は、標本データのデータ構成例を示す図である。
【図１１】図１１は、標本データの他のデータ構成例を示す図である。
【図１２】図１２は、変形例１における色素分光特性決定処理の詳細な処理手順を示すフローチャートである。
【図１３】図１３は、変形例２におけるＲＧＢ撮影範囲およびこのＲＧＢ撮影範囲内の多バンド信号取得視野を示す図である。
【図１４】図１４は、変形例２における撮影処理の詳細な処理手順を示すフローチャートである。
【図１５】図１５は、実施の形態２における画像処理システムの機能構成例を示すブロック図である。
【図１６】図１６は、実施の形態２における多バンド信号取得位置を示す図である。
【図１７】図１７は、実施の形態２における撮影処理の詳細な処理手順を示すフローチャートである。
【図１８】図１８は、変形例３における多バンド信号取得位置を示す図である。
【図１９】図１９は、変形例４における多バンド信号取得位置を示す図である。
【図２０】図２０は、実施の形態３における画像処理システム１ｂの機能構成例を示すブロック図である。
【図２１】図２１は、実施の形態３におけるＲＧＢ撮影範囲およびこのＲＧＢ撮影範囲内の多バンド信号取得視野を示す図である。
【図２２】図２２は、実施の形態３における撮影処理の詳細な処理手順を示すフローチャートである。
【図２３】図２３は、変形例５における撮影処理の詳細な処理手順を示すフローチャートである。
【図２４】図２４は、実施の形態４のバーチャル顕微鏡システムの概観例を示す概略斜視図である。
【図２５】図２５は、実施の形態４のバーチャル顕微鏡システムの全体構成例を示す模式図である。
【発明を実施するための形態】
【００４５】
以下、図面を参照し、本発明の好適な実施の形態について説明する。本実施の形態では、Ｈ＆Ｅ染色された標本（生体組織標本）を観察対象とする。そして、この標本（被写体）を例えばＲＧＢ撮影して得たＲＧＢ画像を標本の多バンド画像とし、この標本の多バンド画像としてのＲＧＢ画像から標本の各点（標本点）における色素Ｈ，色素Ｅ，色素Ｒの色素量を算出（推定）する場合を例にとって説明する。以下、観察対象の標本を「対象標本」と呼び、対象標本のＲＧＢ画像を「対象標本画像」と呼ぶ。算出の対象とする色素は、ヘマトキシリン（色素Ｈ）と、細胞質を染色したエオジン（色素Ｅ）と、赤血球を染色したエオジンまたは染色されていない赤血球の色（色素Ｒ）であり、対象標本画像の各画素に対応する各標本点に固定された色素Ｈ、色素Ｅおよび色素Ｒの色素量をそれぞれ算出する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００４６】
（実施の形態１）
図１は、実施の形態１における画像処理システム１の全体構成例を示す模式図である。図１に示すように、画像処理システム１は、顕微鏡撮影システム１０と、パソコン等のコンピュータ２０とがデータの送受可能に接続されて構成される。
【００４７】
顕微鏡撮影システム１０は、対象標本の一部の領域または全域（以下、「ＲＧＢ撮影範囲」と呼ぶ。）をＲＧＢ撮影してＲＧＢ信号値を取得するとともに、このＲＧＢ撮影範囲内の所定視野（以下、「多バンド信号取得視野」と呼ぶ。）を多バンド撮影して多バンド信号値を取得する。この顕微鏡撮影システム１０は、ＲＧＢ信号値を取得する多バンド画像取得部としてのＲＧＢ信号取得部１１や多バンド信号値を取得する多バンド信号取得部１２の他、対象標本Ｓが載置されるステージ１３、ステージ１３上の対象標本Ｓを透過照明する照明部１４、対物レンズや対象標本Ｓからの透過光を集光して結像させる結像レンズ等の複数の光学レンズ１５、透過光の光路を分岐させてＲＧＢ信号取得部１１および多バンド信号取得部１２に入射させるハーフミラー１６、ハーフミラー１６と多バンド信号取得部１２との間に配設された拡散光学系１７、ステージ１３をＸＹ平面内で移動させるステージ駆動部１８等を備える。
【００４８】
ＲＧＢ信号取得部１１は、ＣＣＤ等の撮像素子を備えたＲＧＢカメラで構成され、対物レンズの倍率に応じて定まる視野（ＲＧＢ撮影範囲）のＲＧＢ画像を対象標本画像として取得する。ＲＧＢカメラは、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にＲＧＢの各色のカラーフィルタをベイヤー配列した単板方式のＲＧＢカメラであってもよいし、３板構成のものでもよい。このＲＧＢカメラは、撮影されるＲＧＢ画像の中心が照明光の光軸上に位置するように設置される。なお、ＲＧＢカメラにかえて、Ｎバンド（Ｎ＞１）の多バンド画像を撮影する多バンドカメラを用いてもよい。
【００４９】
多バンド信号取得部１２は、ＲＧＢ撮影範囲内の所定範囲を多バンド信号取得視野とし、ＲＧＢ信号取得部１１によるＲＧＢ信号値の取得と同期して多バンド信号取得視野における多バンド信号値を取得する。この多バンド信号取得部１２は、例えば、分光特性（観測波長）の異なるＭ個（Ｍ≧Ｎ；図１ではＭは９個）のセンサ１２１が配列された多バンドセンサで構成され、多バンド信号取得視野の中心が照明光の光軸上に位置するように設置される。図２は、実施の形態１における多バンド信号取得視野Ｖ１１を対象標本画像のＲＧＢ撮影範囲（ＲＧＢカメラの視野）Ｖ１３とともに示す図である。実施の形態１では、図２に示すように、多バンド信号取得部１２は、ＲＧＢ撮影範囲Ｖ１３（対象標本画像内）の中心位置を多バンド信号取得視野Ｖ１１として多バンド信号値を取得する。
【００５０】
ここで、ハーフミラー１６と多バンド信号取得部１２との間に配設された拡散光学系１７は、対象標本Ｓの多バンド信号取得視野内の領域を透過した透過光を均質な拡散光として多バンド信号取得部１２に入射させる。多バンド信号取得部１２によって取得される多バンド信号値は、入射する透過光を拡散光学系１７によって拡散光としているため、ＲＧＢ信号取得部１１によって取得されるＲＧＢ信号値と比較して空間解像度が劣るものの、バンド数（センサ１２１の数）をＲＧＢカメラのバンド数以上（Ｍ≧Ｎ；実施の形態１ではＮはＲ，Ｇ，Ｂの３バンド）とすることで、波長方向に高分解能な信号値として取得することができる。
【００５１】
なお、多バンド信号取得部１２の構成は、多バンドセンサを用いた構成に限定されるものではない。例えば、透過光の光路内に分光特性の異なるＭ枚のバンドパスフィルタを切り換えて配置することで多バンド信号値を取得する構成としてもよい。また、異なる波長の光を射出する複数の光源を切り換えながら照明光を照射することで多バンド信号値を取得する構成としてもよい。あるいは、透過光を複数に分岐させる光学系を配置するとともに、分岐先のそれぞれに分光特性の異なるセンサを配置することで多バンド信号値を取得する構成としてもよい。また、ＲＧＢ信号取得部１１と多バンド信号取得部１２とを１つの多バンドセンサで構成し、この１つの多バンドセンサによってＲＧＢ信号値および多バンド信号値を取得する構成としてもよい。
【００５２】
図３は、実施の形態１における画像処理システム１の機能構成例を示すブロック図である。図３に示すように、画像処理システム１は、図１に示して説明した顕微鏡撮影システム１０と、入力部２１と、画像表示部としての表示部２２と、通信部２３と、記憶部２４と、信号処理部２５と、装置各部を制御する制御部２６とを備える。
【００５３】
入力部２１は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部２６に出力する。表示部２２は、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって実現されるものであり、制御部２６から入力される表示信号をもとに各種画面を表示する。通信部２３は、所定の通信回線を介して外部とのデータ通信を行う。この通信部２３は、モデムやＴＡ、通信ケーブルのジャックや制御回路等によって実現される。
【００５４】
記憶部２４は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものである。この記憶部２４には、画像処理システム１を動作させ、この画像処理システム１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が予め記憶され、あるいは処理の都度一時的に記憶される。例えば、記憶部２４には、実施の形態１の処理を実現して対象標本を染色している色素（実施の形態１では色素Ｈおよび色素Ｅ）の分光特性を取得するための画像処理プログラム２４１が記憶される。また、記憶部２４には、標準色素分光特性データ２４２と、分光特性変化モデルデータ２４３と、標本データ２４４とが記憶される。
【００５５】
標準色素分光特性データ２４２は、色素Ｈ，色素Ｅ，色素Ｒそれぞれの標準的な色素の分光特性（以下、標準的な色素の分光特性を「標準色素分光特性」と呼ぶ。）を記憶する。ここで、色素Ｈの標準色素分光特性は、例えば、色素Ｈを用いて染色した標本（単一染色標本）を用意して分光計を用いてその分光特性を測定し、ランベルト・ベールの法則を用いて例えば吸光度を求めることで取得する。色素Ｅの標準色素分光特性についても同様に、色素Ｅを用いて染色した標本（単一染色標本）を用意して分光計で分光特性を測定し、例えば吸光度を求めることで取得する。図４は、標準色素分光特性データ２４２として記憶部２４に記憶される色素Ｈの標準色素分光特性の変化曲線および色素Ｅの標準色素分光特性の変化曲線を示す図であり、横軸を波長とし、縦軸を吸光度として各波長における標準色素分光特性の値を色素毎にプロットして示している。
【００５６】
一方、色素Ｒの標準色素分光特性については、例えば次のようにして取得する。すなわち、無染色標本を用意し、ＲＧＢ信号取得部１１によってＲＧＢ信号値を取得する。そして、得られたＲＧＢ画像をもとに、ランベルト・ベールの法則を用いて無染色標本上の複数の標本点における透過率ｔ（ｘ，λ）を算出し、これを吸光度ａ（ｘ，λ）に変換する処理を行う。このとき、サンプリングする標本点は、赤血球の領域を選ぶこととする。そして、得られた複数の標本点における吸光度ａ（ｘ，λ）の平均を算出し、色素Ｒの標準色素分光特性とする。ここで、色素Ｒの分光特性は、変化しないと考える。
【００５７】
分光特性変化モデルデータ２４３は、後述する色素分光特性生成処理で色素Ｈおよび色素Ｅの標準色素分光特性を変化させる際の変化のさせ方をモデル化して定義した分光特性変化モデルを記憶する。また、標本データ２４４は、対象標本に関するデータを記憶する。この標本データ２４４の詳細については後述するが、例えば、対象標本画像を用いて算出した色素量のデータや、算出した色素量を用いて合成した表示画像の画像データ（表示画像データ）、色素量の算出に用いた各色素の分光特性のデータ等を適宜記憶する。
【００５８】
信号処理部２５は、色素分光特性決定部、色素分光特性評価部および色素分光特性判定部としての色素分光特性決定部２５１と、被写体分光特性算出部２５２と、色素量算出部２５３と、補正係数設定部２５４と、色素量補正部２５５と、信号値変換処理部２５６とを含む。
【００５９】
色素分光特性決定部２５１は、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定する。この色素分光特性決定部２５１には、顕微鏡撮影システム１０において多バンド信号取得部１２が取得した多バンド信号値が入力されるようになっている。色素分光特性決定部２５１は、色素Ｈおよび色素Ｅの標準色素分光特性をそれぞれ変化させて新たな色素Ｈの分光特性および新たな色素Ｅの分光特性を生成する処理（色素分光特性生成処理）を行い、多バンド信号値を用いて色素Ｈおよび色素Ｅの分光特性を決定する。
【００６０】
被写体分光特性算出部２５２には、顕微鏡撮影システム１０においてＲＧＢ信号取得部１１が取得したＲＧＢ信号値が入力されるようになっている。被写体分光特性算出部２５２は、入力されるＲＧＢ信号値を各画素の画素値とした対象標本画像をもとに、対象標本の分光特性、具体的には、各画素に対応する対象標本上の標本点における透過率を算出（推定）する。
【００６１】
色素量算出部２５３は、対象標本画像の各画素についてそれぞれ算出した対象標本の分光特性をもとに、対応する各標本点の色素量を算出する。この色素量を算出する際、色素量算出部２５３は、色素Ｈおよび色素Ｅの分光特性として色素分光特性決定部２５１が決定したものを用いる。
【００６２】
補正係数設定部２５４は、色素量算出部２５３が算出した色素Ｈおよび色素Ｅの色素量を補正するための色素量補正係数を設定する。色素量補正部２５５は、補正係数設定部２５４が設定した色素量補正係数を用い、色素量算出部２５３が画素毎に算出した色素Ｈおよび色素Ｅの色素量を補正する。以下、色素量補正部２５５によって補正された色素量を「補正色素量」と呼ぶ。
【００６３】
信号値変換処理部２５６は、各画素について算出した色素量と、色素量の算出に用いた各色素の分光特性とをもとに、対象標本画像の各画素のＲＧＢ信号値を変換する。実施の形態１では、信号値変換処理部２５６は、色素量の算出に用いた各色素の分光特性を用い、各画素における色素Ｈおよび色素Ｅの補正色素量と色素Ｒの色素量とを画像信号値（例えばＲＧＢ値）に変換する。例えば、信号値変換処理部２５６は、色素Ｈおよび色素Ｅの補正色素量と色素Ｒの色素量とをもとに透過率を合成し、合成した透過率をＲＧＢ値に変換する処理を画素毎に行う。この信号値変換処理部２５６は、分光情報付加部２５７を備える。分光情報付加部２５７は、信号値変換処理部２５６が変換した各画素の画像信号値（表示画像データ）に色素量の算出に用いた各色素の分光特性のデータを付加し、標本データ２４４として記憶部２４に記憶する。
【００６４】
制御部２６は、入力部２１から入力される入力信号や、記憶部２４に記憶されるプログラムやデータ等をもとに画像処理システム１を構成する各部への指示やデータの転送等を行い、画像処理システム１全体の動作を統括的に制御する。
【００６５】
なお、図３の画像処理システム１において、顕微鏡撮影システム１０を除く構成が図１のコンピュータ２０に相当し、ＣＰＵ、メインメモリ等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現できる。
【００６６】
次に、実施の形態１の画像処理システム１が行う具体的な処理手順について説明する。図５は、実施の形態１の画像処理システム１が行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記憶部２４に記録された画像処理プログラム２４１に従って画像処理システム１の各部が動作することで実現される。
【００６７】
先ず、制御部２６が、顕微鏡撮影システム１０の動作を制御して撮影処理を実行し、対象標本のＲＧＢ信号値および多バンド信号値を取得する（ステップａ１）。図６は、実施の形態１における撮影処理の詳細な処理手順を示すフローチャートである。
【００６８】
図６に示すように、撮影処理では、制御部２６は、顕微鏡撮影システム１０のＲＧＢ信号取得部１１の動作を制御して対象標本をＲＧＢ撮影し、ＲＧＢ信号値を取得する（ステップｂ１）。ここでの処理によってＲＧＢ撮影範囲内の各画素のＲＧＢ信号値（対象標本画像）が取得され、被写体分光特性算出部２５２に出力される。また、制御部２６は、ステップｂ１でのＲＧＢ信号値の取得と同期して多バンド信号取得部１２の動作を制御し、ＲＧＢ撮影範囲内の多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する（ステップｂ３）。ここで取得した多バンド信号取得視野内の多バンド信号値は、色素分光特性決定部２５１に出力される。その後、図５のステップａ１にリターンしてステップａ３に移行する。
【００６９】
なお、多バンド信号取得視野内の多バンド信号値は、その値に応じて色素分光特性決定部２５１に出力するか否かを選択するようにしてもよい。具体的には、予め各色素の分光特性から特徴となる波長帯域を定めておき、その波長帯域に感度を持つバンドの信号値に応じて選択するようにしてもよい。例えば、該当するバンドの信号値が大きい場合には、対象とする色素の染色が薄いため色素分光特性決定部２５１に出力しない。逆に、該当するバンドの信号値が小さい場合には、対象とする色素の染色が濃いため色素分光特性決定部２５１に出力する。また、さらに、前述のように予め定めておいた波長帯域に感度を持つバンドの信号値をもとに、ステップａ３の色素分光特性決定処理等の後段の処理に重み付けを行ってもよい。例えば、該当するバンドの信号値が大きい場合には重みを弱く、該当するバンドの信号値が小さい場合には重みを強くする。これによれば、出力値の信頼性を後段の処理に反映させることができるので、色素分光特性決定部２５１による処理の精度が向上する。その他にも、例えば、予め複数の各色素の分光特性から多バンド信号値の主成分を生成しておき、この主成分の強度を色素分光特性決定部２５１に出力するようにしてもよい。このように、色素分光特性決定部２５１に出力する出力値は上記のいずれの値であってもよく、その値の信頼性を検証する工程を踏まえ、決定することとしてよい。
【００７０】
そして、ステップａ３では、色素分光特性決定部２５１が、色素分光特性決定処理を実行する。この色素分光特性決定処理では、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を、多バンド信号取得視野における多バンド信号値を用いて決定する。ここで決定した色素Ｈおよび色素Ｅの分光特性は、後段の処理において対象標本画像の各画素に対応する対象標本上の各標本点における色素量を算出する処理等で用いる。図７は、色素分光特性決定処理の詳細な処理手順を示すフローチャートである。
【００７１】
図７に示すように、色素分光特性決定処理では、色素分光特性決定部２５１は、先ず、標準色素分光特性データ２４２から色素Ｈおよび色素Ｅの標準色素分光特性を読み込み、分光特性変化モデルデータ２４３から分光特性変化モデルを読み込む（ステップｃ１）。
【００７２】
続いて、色素分光特性決定部２５１は、色素分光特性生成処理を実行する（ステップｃ３）。この色素分光特性生成処理では、色素分光特性決定部２５１は、分光特性変化モデルを用い、色素Ｈおよび色素Ｅの標準色素分光特性をそれぞれ変化させて新たな色素Ｈおよび色素Ｅの分光特性を生成する。ここで、分光特性変化モデルは、色素Ｈおよび色素Ｅによるものに限定されるものではなく、例えば色素Ｒを加味して定義したものを用いてもよい。また、この分光特性変化モデルは、その他の色素を対象とする場合も、同様にモデル化して定義しておくことができる。また、複数の分光特性変化モデルを用意しておき、標本種や標本の染色工程（作製工程）に応じた分光特性変化モデルを選択して用いるようにしてもよい。ここで、標本種には、人種、臓器、部位、疑われる症例等の標本を特定する項目が挙げられ、染色工程には、固定、包埋、染色等の標本の作製工程に関わる項目が挙げられる。例えば、色素の組み合わせや染色順序は染色工程によって異なる場合があるが、この色素の組み合わせや染色順序は、分光特性変化モデルに寄与することがわかっている。実施の形態１では、例えば、分光特性の波長シフトと拡がり関数とによって標準色素分光特性の変化のさせ方をモデル化したものを分光特性変化モデルとして用いる。具体的には、分光特性変化モデルは、次式（２７），（２８）に示す色素の分光特性ｋ（λ）の変換式によって表される。
【数２２】
【００７３】
ここで、αは波長シフトを示す変数であり、標準色素分光特性をαｎｍ波長シフトさせる。λ１は拡がり関数を適用する短波長端、λ２は拡がり関数を適用する長波長短、γは拡がり変数を示し、式（２８）に示すように、λ１＜λ＜λ２を満たす波長λに対して標準色素分光特性をγ変換する。
【００７４】
ステップｃ３では、分光特性変化モデルを表す変換式（２７），（２８）に各変数（α，γ，λ１，λ２）の値を与えることで、色素Ｈおよび色素Ｅの標準色素分光特性をそれぞれ変化させた新たな色素Ｈおよび色素Ｅの分光特性を生成する。具体的には、各変数（α，γ，λ１，λ２）の範囲および変化量を予め設定しておき、この範囲および変化量に従って各変数（α，γ，λ１，λ２）の値を算出する。そして、各変数（α，γ，λ１，λ２）の値の全通りの組み合わせ毎に新たな色素Ｈおよび色素Ｅの分光特性を複数生成する。すなわち、組み合わせ毎に各変数（α，γ，λ１，λ２）の値を変換式（２７），（２８）に与え、各組み合わせのそれぞれについて色素Ｈおよび色素Ｅの標準色素分光特性を変化させた新たな色素Ｈおよび色素Ｅの分光特性を生成する。
【００７５】
例えば、波長シフトの変数であるαの範囲は、−１０ｎｍ〜＋１０ｎｍとして設定する。また、αの変化量は、例えば０．５ｎｍに設定する。図８は、αの範囲を−１０ｎｍ〜＋１０ｎｍとし、変化量を０．５ｎｍとして色素Ｅの標準色素分光特性を波長シフトさせた様子を示す図である。
【００７６】
また、拡がり変数を示すγは、例えば、その範囲を０．５〜２．０とし、変化量を０．０２として設定する。λ１およびλ２は、例えば、色素毎に個別に設定する。すなわち、色素Ｈは、広い波長帯域で色素の分光特性の値が変化する（図４を参照）。このため、λ１およびλ２を設定せずに全ての波長について上記した式（２８）を適用し、新たな色素Ｈの分光特性を生成する。一方、色素Ｅは、４２０ｎｍよりも短波長側の帯域と、６００ｎｍよりも長波長側の帯域とで色素の分光特性の値がほとんど変化しない（図４を参照）。このため、λ１を４２０ｎｍとし、λ２を６００ｎｍとして設定し、４２０ｎｍより短波長側および６００ｎｍよりも長波長側の波長には式（２７）を適用し、４２０ｎｍ〜６００ｎｍの波長には式（２８）を適用して、新たな色素Ｅの分光特性を生成する。
【００７７】
続く図７のステップｃ５では、色素分光特性決定部２５１は、評価値算出処理を実行する。この評価値算出処理では、色素分光特性決定部２５１は、多バンド信号値を用い、ステップｃ３で生成した全ての色素Ｈおよび色素Ｅの分光特性について評価値を算出する。図９は、評価値算出処理の詳細な処理手順を示すフローチャートである。
【００７８】
図９に示すように、ステップｃ３において各変数（α，γ，λ１，λ２）の値の全通りの組み合わせ毎に生成した全ての色素Ｈおよび色素Ｅの分光特性を順次処理対象として、ループＡの処理を行う（ステップｄ１〜ステップｄ１３）。なお、ループＡの処理の説明において、処理対象の色素Ｈおよび色素Ｅの分光特性を「処理色素分光特性」と呼ぶ。
【００７９】
ループＡでは、色素分光特性決定部２５１は、先ず、図６のステップｂ３で取得した多バンド信号値Ｇ（λ）をもとに、多バンド信号取得視野における対象標本の透過率Ｔ（λ）、詳細には、多バンド信号取得視野の各画素に対応する対象標本上の各標本点の透過率Ｔ（λ）を算出する（ステップｄ３）。具体的には、背景技術で説明したのと同様の要領で、次式（２９）に従い、多バンド信号取得視野の各画素を順次注目画素とし、注目画素である多バンド信号取得視野の画素ｘにおける多バンド信号値の行列表現Ｇ（ｘ）から対応する対象標本上の標本点における透過率Ｔ（λ）を算出する。
【数２３】
【００８０】
続いて、色素分光特性決定部２５１は、処理色素分光特性と、ステップｄ３で算出した透過率Ｔ（λ）とをもとに、多バンド信号取得視野における対象標本の各色素の色素量ｄH，ｄE，ｄRを算出する（ステップｄ５）。
【００８１】
なお、透過率Ｔ（λ）は、多バンド信号取得視野における多バンド信号値もしくは透過率Ｔ（λ）の値に応じてステップｄ５で用いる値とする否かを選択するようにしてもよい。具体的には、予め各色素の分光特性から特徴となる波長帯域を定めておき、その波長帯域の透過率、もしくはその波長帯域に感度を持つバンドの信号値に応じてステップｄ５で用いる値とするか否かを選択するようにしてもよい。例えば、透過率が１に近い、もしくは該当するバンドの信号値が大きい場合は、対象とする色素の染色が薄いためステップｄ５で用いる値としない。逆に、透過率が０に近い、もしくは該当するバンドの信号値が小さい場合には、対象とする色素の染色が濃いためステップｄ５で用いる値とする。また、さらに、前述のように予め定めておいた波長帯域の透過率、もしくはこの定めておいた波長帯域に感度を持つバンドの信号値の値をもとに、ステップｄ５で用いる例えば透過率Ｔ（λ）等の値に重み付けを行ってもよい。例えば、透過率が１に近い、もしくは該当するバンドの信号値が大きい場合には重みを弱くする。一方、透過率が０に近い、もしくは該当するバンドの信号値が小さい場合には重みを強くする。これによれば、ステップｄ５で用いる値の信頼性をステップｄ５以降の処理に反映させることができるので、色素分光特性決定部２５１による処理の精度が向上する。その他にも、例えば、予め複数の各色素の分光特性もしくは多バンド信号値から主成分を生成しておき、この主成分の強度をステップｄ５で用いる値としてもよい。このように、ステップｄ５で用いる値は上記のいずれの値であってもよく、その値の信頼性を検証する工程を踏まえ、決定することとしてよい。
【００８２】
ステップｄ５の処理の説明に戻る。背景技術で式（７）に示して説明したように、波長λ毎の入射光の強度Ｉ0（λ）と射出光の強度Ｉ（λ）との間には、ランベルト・ベールの法則が成り立つ。また、透過率ｔ（ｘ，λ）は、背景技術で示した式（１２）を用いて吸光度ａ（ｘ，λ）に変換できる。ステップｄ５においてもこれらの式を適用して色素量を算出する。すなわち、透過率Ｔ（λ）の波長λにおける透過率をｔ（ｘ，λ）とすると、多バンド信号取得視野の各画素（ｘ，ｙ）に対応する対象標本上の各標本点における吸光度ａ（ｘ，λ）は次式（３０）によって算出できる。ただし、このとき、色素Ｈの分光特性ｋHおよび色素Ｅの分光特性ｋEとして、処理色素分光特性を用いる。また、色素Ｒの分光特性ｋRは、上記したように変化しないと考えられるので、標準色素分光特性データ２４２から色素Ｒの標準色素分光特性を読み出して用いる。
【数２４】
【００８３】
その後、式（３０）を少なくとも３つの異なる波長λについて連立させることで、各色素の色素量ｄH，ｄE，ｄRについて解く。
【００８４】
続いて、色素分光特性決定部２５１は、処理色素分光特性と、ステップｄ５で算出した各色素の色素量ｄH，ｄE，ｄRとをもとに、次式（３１）に従って透過率Ｔ´（λ）を算出する（ステップｄ７）。色素Ｒの分光特性ｋRは、その標準色素分光特性を用いる。
【数２５】
【００８５】
続いて、色素分光特性決定部２５１は、ステップｄ７で算出した透過率Ｔ´（λ）をもとに、次式（３２）に従って多バンド信号値Ｇ´（λ）を合成する（ステップｄ９）。Ｈは、背景技術で式（３）に示したシステム行列である。
【数２６】
【００８６】
続いて、色素分光特性決定部２５１は、図６のステップｂ３で取得した多バンド信号値Ｇ（λ）と、図９のステップｄ９で算出した多バンド信号値Ｇ´（λ）との差分ΔＧを多バンド信号取得視野の画素毎に算出し、その合計値ΣΔＧを処理色素分光特性の評価値とする（ステップｄ１１）。評価値ΣΔＧが小さく、０に近づくほど多バンド信号値Ｇ（λ）と多バンド信号値Ｇ´（λ）との差が小さいため、その処理色素分光特性の評価が高くなる。
【００８７】
以上のようにして評価値を算出したならば、処理色素分光特性についてのループＡの処理を終える。そして、図７のステップｃ３で生成した全ての色素Ｈおよび色素Ｅの分光特性を処理色素分光特性としてループＡの処理を行ったならば、図７のステップｃ７にリターンする。
【００８８】
そして、ステップｃ７では、色素分光特性決定部２５１は、ステップｃ５の評価値算出処理で算出した評価値ΣΔＧが最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性を選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する。決定した色素Ｈおよび色素Ｅの分光特性は、記憶部２４に記憶しておく。なお、決定した色素Ｈおよび色素Ｅの分光特性を生成した際に変換式（２７），（２８）に与えた各変数（α、γ、λ１、λ２）の値を記憶部２４に記憶しておく構成としてもよい。この場合には、後段の処理（図５のステップａ７やステップａ１３等）で決定した色素Ｈおよび色素Ｅの分光特性を用いるときに、変換式（２７），（２８）に各変数（α、γ、λ１、λ２）の値を与えて色素Ｈおよび色素Ｅの標準色素分光特性を変化させればよい。その後、図５のステップａ３にリターンしてステップａ５に移行する。
【００８９】
そして、ステップａ５では、被写体分光特性算出部２５２が、図６のステップｂ１で取得した対象標本画像の各画素のＲＧＢ信号値をもとに、対象標本の分光特性を画素毎に算出（推定）する。具体的には、背景技術で示した式（５）に従って、対象標本画像の各画素を順次注目画素とし、注目画素である対象標本画像内の画素ｘにおけるＲＧＢ信号値の行列表現Ｇ（ｘ）から対応する対象標本上の標本点における推定透過率Ｔ＾（ｘ）を対象標本の分光特性として算出する。
【００９０】
続いて、色素量算出部２５３が、各色素の分光特性と、ステップａ５で算出した対象標本の分光特性（推定透過率Ｔ＾（ｘ））とをもとに、対象標本の色素量を画素毎に算出（推定）する（ステップａ７）。処理手順は、背景技術で説明したのと同様に行う。すなわち、推定透過率Ｔ＾（ｘ）の波長λにおける推定透過率をｔ＾（ｘ，λ）とすると、対象標本画像の各画素（ｘ，ｙ）に対応する対象標本上の各標本点における推定吸光度ａ＾（ｘ，λ）は、背景技術で示した次式（１３）によって算出できる。ただし、このとき、色素Ｈの分光特性ｋHおよび色素Ｅの分光特性ｋEとして、図７のステップｃ７で決定した色素Ｈおよび色素Ｅの分光特性を用いる。色素Ｒの分光特性ｋRは、標準色素分光特性データ２４２から色素Ｒの標準色素分光特性を読み出して用いる。
【数２７】
【００９１】
その後、式（１３）を少なくとも３つの異なる波長λについて連立させることで、各色素の色素量ｄ＾H，ｄ＾E，ｄ＾Rについて解く。
【００９２】
続く図５のステップａ９では、補正係数設定部２５４が、色素Ｈおよび色素Ｅの色素量補正係数の入力依頼の通知を表示部２２に表示する処理を行い、例えばユーザ操作に従って色素Ｈおよび色素Ｅの色素量補正係数を設定する。具体的には、例えば、色素量補正係数の入力を依頼する旨のメッセージの表示とともに色素Ｈの色素量補正係数αHおよび色素Ｅの色素量補正係数αEの各値を入力するための入力ボックス等を配置した通知画面を表示部２２に表示する処理を行う。ユーザは、入力部２１を介して所望の色素量補正係数αHの値を入力するとともに、所望の色素量補正係数αEの値を入力する。色素量を補正する必要がない場合には、色素量補正係数αH，αEの値を入力しなければよい。この場合には、後段のステップａ１１の処理は実行しない。
【００９３】
なお、ここでは、ユーザ操作に従って色素Ｈおよび色素Ｅの色素量補正係数を設定する場合について説明したが、これに限定されるものではない。例えば、対象標本の各標本点における色素量を適正な染色状態に調整するための値を算出し、色素量補正係数αH，αEとして設定することとしてもよい。この場合には、基準とする標本、例えば標準的な染色状態の標本（標準染色標本）を予め用意し、そのＲＧＢ画像を取得して対応する各標本点における色素量を算出しておく。また、算出した色素Ｈの色素量の平均値および色素Ｅの色素量の平均値を算出しておく。そして、ステップａ７で算出した対象標本の色素Ｈの色素量の平均値および色素Ｅの色素量の平均値を算出し、例えば、対象標本の色素Ｈおよび色素Ｅについて算出した色素量の平均値を標準染色標本の対応する色素の色素量の平均値で除算し、得られた値を色素量補正係数αH，αEとする。
【００９４】
また、このとき、標準染色標本のＲＧＢ画像の各画素を、例えば細胞核、細胞質、赤血球といった組織毎にクラス分類し、分類したクラス毎に色素Ｈおよび色素Ｅそれぞれの色素量の平均値を算出するようにしてもよい。この場合には、対象標本画像の各画素についても同様にクラス分類し、クラス毎に色素Ｈおよび色素Ｅそれぞれの色素量の平均値を算出することで、クラス毎に色素量補正係数αH，αEを算出する。そして、各画素に適用する色素量補正係数を、その画素が属するクラスについて算出した色素量補正係数αH，αEとする。これによれば、色素量を補正（色正規化）するためのより適切な色素量補正係数を算出することができる。
【００９５】
続いて、色素量補正部２５５が、ステップａ７で算出した色素Ｈおよび色素Ｅの色素量ｄ＾H，ｄ＾Eとステップａ９で設定した色素量補正係数αH，αEとから、背景技術で示した次式（２０），（２１）に従って色素Ｈ，色素Ｅの補正色素量ｄ＾H*，ｄ＾E*を画素毎に算出する（ステップａ１１）。
【数２８】
【００９６】
続いて、信号値変換処理部２５６が、色素量の算出に用いた各色素の分光特性ｋH（λ），ｋE（λ），ｋR（λ）（図７のステップｃ７で決定した色素Ｈおよび色素Ｅの分光特性と色素Ｒの標準色素分光特性）を用い、ステップａ１１での補正後の各色素の色素量を画像信号値（表示画像データ）に変換する（ステップａ１３）。
【００９７】
具体的には、信号値変換処理部２５６は、先ず、色素Ｈ，色素Ｅの補正色素量ｄ＾H*，ｄ＾E*および色素Ｒの色素量ｄ＾Rをもとに、各色素の分光特性ｋH（λ），ｋE（λ），ｋR（λ）を用いて合成した透過率を画素毎に合成する。処理手順としては、先ず、背景技術で示した次式（２２）に従い、各画素ｘにおける吸光度ａ~*（ｘ，λ）を求める。なお、推定誤差ｅ（λ）を含める場合には、背景技術で示した式（２３）に従って吸光度ａ＾*（ｘ，λ）を求めればよい。
【数２９】
【００９８】
続いて、背景技術で示した次式（２４）に従い、求めた吸光度ａ~*（ｘ，λ）から各画素ｘにおける新たな透過率ｔ*（ｘ，λ）を求める。
【数３０】
【００９９】
そして、波長方向にＤ回繰り返して透過率ｔ*（ｘ，λ）を求め、合成した透過率である補正透過率Ｔ*（ｘ）を得る。補正透過率Ｔ*（ｘ）は、ｔ*（ｘ，λ）に対応するＤ行１列の行列である。
【０１００】
続いて、信号値変換処理部２５６は、画素毎に合成した透過率（補正透過率Ｔ*（ｘ））をＲＧＢ値に変換する処理を画像全体に亘って反復して行い、各画素の画像信号値を算出して表示画像を合成する。処理手順としては、背景技術で示した次式（２６）に従い、画素ｘにおける新しい画素値Ｇ*（ｘ）を画素毎に求め、画像信号値とする。
Ｇ*（ｘ）＝ＨＴ*（ｘ） ・・・（２６）
【０１０１】
以上のようにして変換された画像信号値（表示画像データ）は、例えばユーザが指示したタイミング等の任意のタイミングで表示部２２に表示処理し、医師等のユーザに提示する。医師等のユーザは、この表示画像を観察し、病理診断等に利用する。
【０１０２】
その後、図５に示すように、分光情報付加部２５７が、ステップａ１３で変換した画像信号値（表示画像データ）に、ステップａ７での色素量の算出に用いた各色素の分光特性ｋH（λ），ｋE（λ），ｋR（λ）を付加して保存する（ステップａ１５）。
【０１０３】
具体的には、分光情報付加部２５７は、変換した画像信号値（表示画像データ）を、各色素の分光特性ｋH（λ），ｋE（λ），ｋR（λ）（図７のステップｃ７で決定した色素Ｈおよび色素Ｅの分光特性と色素Ｒの標準色素分光特性）とともに対象標本の標本ＩＤ等と対応付けた標本データ２４４として記憶部２４に記憶する。図１０は、標本データ２４４のデータ構成例を示す図である。図１０に示す標本データ２４４は、標本ＩＤＤ２１と、変換した画像信号値を記憶する画像信号値（表示画像データ）Ｄ２２と、各色素の分光特性ｋH（λ），ｋE（λ），ｋR（λ）を記憶する色素分光特性データＤ２３と含む。標本ＩＤＤ２１は、標本を特定するために標本に割り当てられた固有のＩＤである。
【０１０４】
以上のようにして標本データ２４４を記憶部２４に記憶しておけば、例えば、外部の装置から要求されたタイミング等の任意のタイミングで、通信部２３を介して標本データ２４４を外部装置に送信することができる。これによれば、標本データ２４４を受信した外部装置の表示装置に色正規化処理された対象標本の表示画像を表示することができるので、遠隔地等の医師が対象標本の表示画像を観察し、病理診断等に利用するといったことが可能となる。また、このとき、外部装置では、画像信号値（表示画像データ）Ｄ２２を読み込んで表示処理するだけでよく、対象標本の色素量を表した表示画像を外部装置のユーザに迅速に提示することができる。
【０１０５】
さらに、画像信号値（表示画像データ）Ｄ２２に色素分光特性データＤ２３を付加した標本データ２４４を外部装置との間で送受することとしたので、受信側の外部装置は、一旦標本データ２４４を取得してしまえば、画像信号値（表示画像データ）Ｄ２２と色素分光特性データＤ２３とから対象標本の色素量を算出することができる。したがって、色素量を補正して表示画像を新たに合成することが可能となる。これによれば、外部装置側で色素量を自由に調整しながら表示画像を観察することができるので、診断効率が向上する。
【０１０６】
なお、ここでは、画像信号値（表示画像データ）に色素分光特性データを付加して保存することとしたが、ステップａ７で算出した色素量を色素分光特性データに付加して保存するようにしてもよい。図１１は、この場合の標本データのデータ構成例を示す図である。図１１に示す標本データは、標本ＩＤＤ２１と、色素分光特性データＤ２３と、色素Ｈ，色素Ｅの補正色素量ｄ＾H*，ｄ＾E*および色素Ｒの色素量ｄ＾Rのデータを記憶する色素量データＤ２４とを含む。本構成の標本データを外部装置との間で送受する場合には、受信側の外部装置は、色素分光特性データＤ２３を用いて色素量データＤ２４を画像信号値に変換し、表示画像を合成すればよい。
【０１０７】
以上説明したように、実施の形態１によれば、予め色素Ｈおよび色素Ｅの標準色素分光特性の変化のさせ方をモデル化して定義した分光特性変化モデルを用いて色素Ｈおよび色素Ｅの標準色素分光特性を変化させ、生成した色素Ｈおよび色素Ｅの分光特性を多バンド信号取得視野における多バンド信号値を用いて評価することで、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。したがって、色素Ｈおよび色素Ｅの標準色素分光特性を対象標本に適した色素Ｈおよび色素Ｅの分光特性に最適化することができる。これによれば、対象標本を染色している色素の分光特性を含む対象標本の分光情報を、染色工程の増加を招くことなく高精度に取得することができる。また、決定した色素Ｈおよび色素Ｅの分光特性を用いることで、対象標本の色素量を精度良く算出することができる。さらに、色素量補正係数を設定し、色素量を補正することができるので、対象標本の色素量を所望の染色状態に調整した表示画像を合成することができ、高精度な色変換が実現できる。
【０１０８】
（変形例１）
実施の形態１では、分光特性変化モデルを用いて色素Ｈおよび色素Ｅの分光特性を複数生成し、生成したものの中から１つを選んで対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することとした。具体的には、色素の分光特性ｋ（λ）の変換式（２７），（２８）に各変数（α、γ、λ１、λ２）の値を複数組与えることで色素Ｈおよび色素Ｅの標準色素分光特性を変化させて新たな色素Ｈおよび色素Ｅの分光特性を複数生成し、評価が最も高いものを色素Ｈおよび色素Ｅの分光特性として決定することとした。この場合、各変数（α、γ、λ１、λ２）の値の組み合わせの数に比例して処理時間が増大してしまう。そこで、公知の遺伝的アルゴリズム（ＧＡ）を用いて色素Ｈおよび色素Ｅの分光特性を生成し、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定するようにしてもよい。
【０１０９】
ここで、遺伝的アルゴリズムは、ある世代を形成している個体の集合を基本単位とした進化型の計算を行うアルゴリズムである。この遺伝的アルゴリズムを適用した処理の概要を説明すると、先ず初期集団を生成し、初期集団の中から個体を選択する。続いて、選択した個体に対して交叉や突然変異を行って次世代集団を形成する。その後、次世代集団について処理を繰り返し、最終的に適応度の高い個体を選ぶことで対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定するものである。
【０１１０】
変形例１では、例えば、分光特性変化モデルを表す変換式（２７），（２８）に与える各変数（α、γ、λ１、λ２）の値の組み合わせを解候補として用いる。各個体は、この解候補を数値列で示した遺伝子によって特徴付けられる。具体的には、各個体を特徴付ける遺伝子は、各変数（α、γ、λ１、λ２）の値の組み合わせをビットパターン（ビット列）によって表したものである。ビットパターンのビット数や各変数（α、γ、λ１、λ２）を表すビットパターンの区画位置は、各変数（α、γ、λ１、λ２）の範囲に応じて予め設定しておく。
【０１１１】
図１２は、変形例１における色素分光特性決定処理の詳細な処理手順を示すフローチャートである。なお、以下の説明において、実施の形態１と同様の構成には同一の符号を付する。変形例１の色素分光特性決定処理では、色素分光特性決定部２５１は、図１２に示すように先ず、標準色素分光特性データ２４２から色素Ｈおよび色素Ｅの標準色素分光特性を読み込み、分光特性変化モデルデータ２４３から分光特性変化モデルを読み込む（ステップｅ１）。
【０１１２】
続いて、色素分光特性決定部２５１は、各変数（α、γ、λ１、λ２）の値をランダムに発生させて初期集団を生成する（ステップｅ３）。具体的には、“０”または“１”をビットパターンのビット数分ランダムに発生させてビットパターンを生成し、その個体の遺伝子として生成する。これを予め設定されている個体数繰り返し行い、初期集団を得る。集団を構成する個体の数は、任意に設定できる。また、ビットパターンは乱数によって生成する場合に限定されるものではない。例えば、予め所定の中心初期値およびこの中心初期値の周辺の値を生成する確率変数の分散を定義しておき、この確率変数に従ってビットパターンを生成するようにしてもよい。このようにすれば、解が中心初期値付近に存在する場合に後述する処理回数（繰り返し数）を低減でき、色素Ｈおよび色素Ｅの分光特性を決定する処理の高速化が図れる。
【０１１３】
そして、初期集団を対象としたステップｅ５以降の処理に移る。すなわち、ステップｅ５では、色素分光特性決定部２５１は、選択処理を行い、対象の集団から個体を２つ選択する。この選択は、例えば乱数を発生させてランダムに行う。なお、ここでは、２つの個体を選択することとしたが、予め交叉確率を設定しておき、この交叉確率に従って交叉させる個体を選択することとしてもよい。
【０１１４】
そして、色素分光特性決定部２５１は、選択した２つの個体を親として交叉処理を行い、これら２つの親の遺伝子を受け継ぐ新たな個体を２つ生成する（ステップｅ７）。この交叉処理で用いる交叉方法は、一点交叉や二点交叉等、適宜選択できる。例えば、一点交叉を用いる場合には、交叉点を１つランダムに決定し、各親の決定した交叉点より後の遺伝子をそれぞれ入れ替えることによって、新たな２つの個体を得る。また二点交叉を用いる場合には、交叉点を２つランダムに決定する。そして、各親の決定した２点の交叉点で挟まれる遺伝子をそれぞれ入れ替えることによって、新たな２つの個体を得る。ここでの交叉処理によって、対象の集団の個体のうち、ステップｅ５で選択した親の個体が生成された新たな個体で置き換えられる。
【０１１５】
続いて、色素分光特性決定部２５１は、交叉処理後の集団をもとに、各変数（α、γ、λ１、λ２）の値の組み合わせパターン（変数パターン）を生成する（ステップｅ９）。具体的には、各個体を特徴付けている遺伝子であるビットパターンを変数（α、γ、λ１、λ２）毎の区画位置で分割し、各変数の値を得る。この処理を各個体について行い、得られた各変数（α、γ、λ１、λ２）の値を各個体の変数パターンとする。その後、色素分光特性決定部２５１は、色素分光特性生成処理を実行し、個体毎に新たな色素Ｈの分光特性および新たな色素Ｅの分光特性を生成する（ステップｅ１１）。すなわち、変数パターンに従って各変数（α，γ，λ１，λ２）の値を変換式（２７），（２８）に与え、色素Ｈおよび色素Ｅの標準色素分光特性を変化させた新たな色素Ｈおよび色素Ｅの分光特性を生成する。この処理を各個体について行い、色素Ｈおよび色素Ｅの分光特性を得る。
【０１１６】
続いて、実施の形態１と同様の処理手順で評価値算出処理（図９を参照）を実行し、ステップｅ１１で個体毎に生成した全ての色素Ｈおよび色素Ｅの分光特性の評価値を多バンド信号値を用いて算出する（ステップｅ１３）。
【０１１７】
その後、色素分光特性決定部２５１は、ステップｅ１３の評価値算出処理で個体毎に算出した評価値を予め設定される所定の閾値を用いて閾値処理する。そして、色素分光特性決定部２５１は、いずれかの個体の評価値が閾値を超えている場合に閾値条件を満足しないと判定し（ステップｅ１５：Ｎｏ）、ステップｅ１７に移行する。そして、ステップｅ１７では、ステップｅ３〜ステップｅ１３の一連の処理を行った処理回数（繰り返し数）を判定し、処理回数が予め設定されている所定の回数を超えない間は（ステップｅ１７：Ｎｏ）、ステップｅ１９に移行する。
【０１１８】
ステップｅ１９では、色素分光特性決定部２５１は、突然変異処理を行う。具体的には、例えば予め設定される所定の確率（突然変異率）で乱数を発生させて交叉処理後の集団を構成する各個体の中から突然変異を起こさせる個体を選び、その遺伝子のビットパターンを変更する。例えば、選んだ個体の遺伝子のビットパターンから突然変異を起こさせる一部分（１ビットでもよいし複数ビットでもよい）を例えば乱数を発生させて選択し、選択した一部分のビットを反転させる。ここで、突然変異率は固定としてもよいし、ステップｅ１３で算出した評価値に応じて動的に設定してもよい。例えば、評価値が低ければ（値が大きければ）、突然変異率を高く設定する。一方、評価値が高い場合には（値が小さい場合には）、突然変異率を低く設定する。これによれば、評価値が低い段階では早期に最適解に近付き易くすることができ、また、局所解に陥る事態を防止することができる。そして、最適解に近付いて評価値が高くなった段階では、突然変異によって評価値が急激に低下する事態を防止できる。
【０１１９】
そして、ステップｅ１９の突然変異処理後の集団を次世代集団とし、ステップｅ５に戻ってこの次世代集団について処理を繰り返す。
【０１２０】
一方、全ての個体の評価値が閾値以下の場合（ステップｅ１５：Ｙｅｓ）、あるいは処理回数が所定の回数を超えた場合には（ステップｅ１７：Ｙｅｓ）、色素分光特性決定部２５１は、最終的な集団を構成する個体の中から評価が最も高い（ステップｅ１３で算出した評価値が最も小さい）色素Ｈおよび色素Ｅの分光特性を選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する（ステップｅ２１）。なお、処理回数が所定の回数を超えた場合に色素分光特性生成処理を終了させているのは、ステップｅ３〜ステップｅ１３の一連の処理を繰り返しても評価値が所定の閾値以下とならず、処理が完了しなくなることを避けるためである。
【０１２１】
以上説明したように、変形例１によれば、実施の形態１と同様の効果を奏することができるとともに、遺伝的アルゴリズムを適用することとしたので、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を高速かつ高精度に決定することができる。なお、この遺伝的アルゴリズムについては様々な分野で種々の改善が行われており、上記したアルゴリズムに限らず、改善されたアルゴリズムを適用することとしてよい。これによれば、より高速かつ高精度に対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。
【０１２２】
（変形例２）
実施の形態１では、対象標本のＲＧＢ撮影範囲をＲＧＢ撮影して取得した１枚の対象標本画像を処理する場合について説明したが、顕微鏡撮影システム１０のステージ１３をＸＹ平面内で移動させながら対象標本の異なる箇所をＲＧＢ撮影した複数枚の対象標本画像を処理する場合にも同様に適用できる。
【０１２３】
図１３は、ＲＧＢ撮影する複数枚の対象標本画像のＲＧＢ撮影範囲Ｖ３１とともに、各ＲＧＢ撮影範囲Ｖ３１内の多バンド信号取得視野Ｖ３３を示す図である。変形例２では、ステージ１３をＸＹ平面内でＲＧＢ撮影範囲Ｖ３１ずつ移動させながら各位置（撮影位置）でＲＧＢ撮影を行い、隣接するＲＧＢ撮影範囲Ｖ３１をＲＧＢ撮影した複数枚（図１３では１５枚）の対象標本画像を取得することで全体として対象標本Ｓの広範囲を映した全体画像Ｉ３を得る。また、多バンド信号取得部１２が、各撮影位置でのＲＧＢ撮影範囲Ｖ３１のＲＧＢ信号値の取得と同期して、そのＲＧＢ撮影範囲Ｖ３１内の多バンド信号取得視野Ｖ３３における多バンド信号値を取得する。この変形例２では、各ＲＧＢ撮影範囲Ｖ３１の対象標本画像に対し、対応する多バンド信号取得視野Ｖ３３の多バンド信号値を用いて決定した色素Ｈおよび色素Ｅの分光特性を適用する。例えば、ＲＧＢ撮影範囲Ｖ３１−１の対象標本画像に対しては、多バンド信号取得視野Ｖ３３−１内の多バンド信号値を用いて決定した色素Ｈおよび色素Ｅの分光特性を適用し、色素量の算出等の処理を行う。
【０１２４】
図１４は、変形例２における撮影処理の詳細な処理手順を示すフローチャートである。なお、以下の説明において、実施の形態１と同様の構成には同一の符号を付する。
【０１２５】
図１４に示すように、変形例２の撮影処理では、先ず、制御部２６がステージ駆動部１８を駆動してステージ１３の移動を制御し、最初の撮影位置にＲＧＢ信号取得部１１のＲＧＢ撮影範囲を移動させる（ステップｆ１）。続いて、制御部２６は、顕微鏡撮影システム１０のＲＧＢ信号取得部１１の動作を制御して対象標本をＲＧＢ撮影し、ＲＧＢ信号値を取得する（ステップｆ３）。また、制御部２６は、ステップｆ３でのＲＧＢ信号値の取得と同期して多バンド信号取得部１２の動作を制御し、ＲＧＢ撮影範囲内の多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する（ステップｆ５）。
【０１２６】
続いて、制御部２６は、現在の撮影位置が最後の撮影位置か否かを判定する。そして、最後の撮影位置に移動するまでの間は（ステップｆ７：Ｎｏ）、制御部２６は、ステージ駆動部１８を駆動してステージ１３の移動を制御し、次の撮影位置にＲＧＢ信号取得部１１のＲＧＢ撮影範囲を移動させた後（ステップｆ９）、ステップｆ３に戻って上記した処理を繰り返す。現在の撮影位置が最後の撮影位置の場合には（ステップｆ７：Ｙｅｓ）、撮影処理を終える。
【０１２７】
（実施の形態２）
図１５は、実施の形態２における画像処理システム１ａの機能構成例を示すブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図１５に示すように、画像処理システム１ａは、顕微鏡撮影システム１０と、入力部２１と、表示部２２と、通信部２３と、記憶部２４ａと、信号処理部２５と、装置各部を制御する制御部２６ａとを備える。
【０１２８】
記憶部２４ａには、実施の形態２の処理を実現して対象標本を染色している色素Ｈおよび色素Ｅの分光特性を取得するための画像処理プログラム２４１ａが記録される。
【０１２９】
また、制御部２６ａは、多バンド信号取得位置設定部２６１ａと、多バンド信号取得制御部２６２ａとを含む。多バンド信号取得位置設定部２６１ａは、入力部２１を介してＲＧＢ撮影範囲内の多バンド信号取得位置の選択操作を受け付け、入力された選択操作に従って多バンド信号取得位置を設定する。多バンド信号取得制御部２６２ａは、顕微鏡撮影システム１０のステージ１３をＸＹ平面内で移動させて多バンド信号取得位置に多バンド信号取得部１２の多バンド信号取得視野を移動させるとともに、多バンド信号取得部１２の動作を制御して多バンド信号値を取得する。
【０１３０】
図１６は、実施の形態２における多バンド信号取得位置Ｐ４を示す図である。実施の形態２では、ユーザ操作に従い、ＲＧＢ撮影範囲Ｖ４をＲＧＢ撮影して取得した対象標本画像内の１つ以上の位置（図１６では６箇所）に対応するステージ１３上の位置を多バンド信号取得位置Ｐ４として設定し、設定した多バンド信号取得位置Ｐ４のそれぞれを多バンド信号取得視野とした多バンド信号値を取得する。なお、図１６では６箇所の多バンド信号取得位置Ｐ４を図示したが、実際には、各色素によって十分に染色されている位置を例えば２０箇所程度選択するのが好ましい。
【０１３１】
次に、実施の形態２の画像処理システム１ａが行う具体的な処理手順について説明する。なお、ここで説明する処理は、記憶部２４ａに記録された画像処理プログラム２４１ａに従って画像処理システム１ａの各部が動作することで実現される。実施の形態２では、図５の全体フローチャートにおいて、ステップａ１の撮影処理が実施の形態１と異なる。図１７は、実施の形態２における撮影処理の詳細な処理手順を示すフローチャートである。
【０１３２】
図１７に示すように、実施の形態２の撮影処理では、先ず、制御部２６ａは、顕微鏡撮影システム１０のＲＧＢ信号取得部１１の動作を制御して対象標本をＲＧＢ撮影し、ＲＧＢ信号値を取得する（ステップｇ１）。
【０１３３】
続いて、制御部２６ａは、取得したＲＧＢ信号値をもとに、対象標本のＲＧＢ画像を表示部２２に表示する処理を行い、併せて多バンド信号取得位置の選択を依頼する旨のメッセージを表示して多バンド信号取得位置の選択依頼を通知する（ステップｇ３）。そして、制御部２６ａは、この選択依頼の通知に応答してユーザが選択操作したＲＧＢ画像内の位置に対応するステージ１３上の位置を多バンド信号取得位置として設定する（ステップｇ５）。例えば、ユーザは、表示されたＲＧＢ画像内の任意の位置を例えば入力部２１を構成するマウスでクリックする等して選択操作を行う。
【０１３４】
続いて、制御部２６ａは、ステージ駆動部１８を駆動してステージ１３の移動を制御し、多バンド信号取得部１２の多バンド信号取得視野にステップｇ５で設定した多バンド信号取得位置を位置付ける（ステップｇ７）。その後、制御部２６ａは、多バンド信号取得部１２の動作を制御し、多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する（ステップｇ９）。
【０１３５】
続いて、制御部２６ａは、ステップｇ５で設定した全ての多バンド信号取得位置について多バンド信号値を取得したか否かを判定する。そして、制御部２６ａは、全ての多バンド信号取得位置について多バンド信号値を取得していない場合には（ステップｇ１１：Ｎｏ）、ステップｇ７に戻り、ステージ駆動部１８を駆動して多バンド信号取得部１２の多バンド信号取得視野に次の多バンド信号取得位置を位置付ける。その後、制御部２６ａは、ステップｇ９において多バンド信号取得部１２の動作を制御し、多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する。ここでの処理によって、多バンド信号取得位置毎にステップｇ７〜ステップｇ９の処理が繰り返され、ステップｇ５で複数の多バンド信号取得位置を設定した場合には、各多バンド信号取得位置の多バンド信号値が取得される。全ての多バンド信号取得位置について多バンド信号値を取得した場合には（ステップｇ１１：Ｙｅｓ）、撮影処理を終える。
【０１３６】
以上説明したように、実施の形態２によれば、実施の形態１と同様の効果を奏することができるとともに、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定する際に用いる多バンド信号値の取得位置（多バンド信号取得位置）をユーザ操作に従って設定することができる。
【０１３７】
ここで、実施の形態２の色素分光特性決定処理では、多バンド信号取得位置毎に図９に示して説明した評価値算出処理を行う。具体的には、色素Ｈおよび色素Ｅの標準色素分光特性を変化させた新たな色素Ｈおよび色素Ｅの分光特性を生成した後、各多バンド信号取得位置の多バンド信号値をそれぞれ用いて生成した新たな色素Ｈおよび色素Ｅの分光特性についての評価値の和を算出する。そして、全ての新たな色素Ｈおよび色素Ｅの分光特性の評価値の和の中からその値が最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性を１つ選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する。
【０１３８】
これによれば、ユーザが多バンド信号を取得する位置として適切と判断した対象標本画像内の位置、具体的には、例えば各色素によって十分に染色されている位置を選択することができるので、対象標本を染色している色素Ｈおよび色素Ｅの分光特性をより高精度に取得することができる。
【０１３９】
（変形例３）
実施の形態２では、ユーザ操作に従ってＲＧＢ撮影範囲内の１つまたは複数の多バンド信号取得位置を設定し、設定した多バンド信号取得位置の多バンド信号値を取得することとした。これに対し、変形例２のように対象標本の異なる箇所をＲＧＢ撮影した複数枚の対象標本画像を取得する場合に実施の形態２を適用し、ユーザ操作に従って多バンド信号取得位置を設定することとしてよい。
【０１４０】
図１８は、変形例３における多バンド信号取得位置Ｐ５を示す図である。変形例３では、変形例２と同様に、ステージ１３をＸＹ平面内でＲＧＢ撮影範囲Ｖ５ずつ移動させながら各撮影位置でＲＧＢ撮影を行い、隣接するＲＧＢ撮影範囲Ｖ５をＲＧＢ撮影した複数枚（図１８では１５枚）の対象標本画像を取得することで全体として対象標本Ｓの広範囲を映した全体画像Ｉ５を得る。そして、変形例３では、この全体画像Ｉ５内の１つ以上の位置（図１８では６箇所）に対応するステージ１３上の位置を多バンド信号取得位置Ｐ５として設定し、設定した多バンド信号取得位置Ｐ５のそれぞれを多バンド信号取得視野とした多バンド信号値を取得する。
【０１４１】
この場合の処理手順は、例えば先ず、全ての撮影位置でＲＧＢ撮影範囲Ｖ５をＲＧＢ撮影し、全体画像Ｉ５を構成する複数の対象標本画像を取得する。続いて、取得した複数の対象標本画像を並べて表示部２２に表示する処理を行って多バンド信号取得位置の選択依頼を通知し、この選択依頼の通知に応答してユーザが選択操作した対象標本画像内の位置に対応するステージ１３上の位置を多バンド信号取得位置として設定する。その後、設定した多バンド信号取得位置のそれぞれを多バンド信号取得部１２の多バンド信号取得視野に順次位置付けながら、多バンド信号値を取得する。
【０１４２】
なお、変形例３の色素分光特性決定処理では、実施の形態２と同様に、図９に示して説明した評価値算出処理を行う。そして、各多バンド信号取得位置の多バンド信号値をそれぞれ用いて生成した新たな色素Ｈおよび色素Ｅの分光特性についての評価値の和の中からその値が最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性を１つ選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する。
【０１４３】
実施の形態１では、ＲＧＢ信号取得部１１によるＲＧＢ信号値の取得と同期して多バンド信号取得部１２が多バンド信号値を取得することとした。このため、対象標本画像の取得数に比例して多バンド信号値の取得数も増加する。ここで、多バンド信号値の取得数が増加すれば、この多バンド信号値を用いて行う色素分光特性決定処理（図７を参照）の処理時間が増大する。また、多バンド信号値を取得する位置が固定（実施の形態１ではＲＧＢ撮影範囲の中心位置）であるため、対応する対象標本上の位置が色素Ｈや色素Ｅによって十分染色されていない、あるいは対応する対象標本上の位置に標本が存在しないといった事態が生じ得る。
【０１４４】
これに対し、変形例３によれば、対象標本画像を取得する全てのＲＧＢ撮影範囲について多バンド信号値を取得するのではなく、例えばユーザが対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定するのに必要と判断した位置、具体的には、例えば各色素によって十分に染色されている位置を多バンド信号取得位置として設定することができる。したがって、多バンド信号取得位置を適切に設定することができ、取得する多バンド信号値の数を無駄に増大させることがない。これによれば、より高速かつ高精度に対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。
【０１４５】
（変形例４）
実施の形態２では、ユーザ操作に従ってＲＧＢ撮影範囲内の１つまたは複数の多バンド信号取得位置を設定し、設定した多バンド信号取得位置の多バンド信号値を取得することとした。これに対し、対象標本画像内を例えば等間隔に区切って複数の多バンド信号取得位置を自動的に設定するようにしてもよい。
【０１４６】
図１９は、変形例４における多バンド信号取得位置Ｐ６を示す図である。変形例４では、図１９中に破線で示すように、ＲＧＢ撮影範囲Ｖ６をＲＧＢ撮影して取得した対象標本画像内を複数の領域に等分割し、各領域の例えば中心位置（実際には、この中心位置に対応するステージ１３上の位置）をそれぞれ多バンド信号取得位置Ｐ６として設定する。この場合には、図１７のステップｇ３およびステップｇ５の処理に換えて対象標本画像内を等分割した各領域の中心位置に対応するステージ１３上の位置を算出する処理を行えばよい。
【０１４７】
なお、変形例４の色素分光特性決定処理では、実施の形態２と同様に、図９に示して説明した評価値算出処理を行う。そして、新たな色素Ｈおよび色素Ｅの分光特性の評価値の和の中からその値が最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性を１つ選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する。なお、各多バンド信号取得位置における新たな色素Ｈおよび色素Ｅの分光特性の評価値の中からその値が最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性をそれぞれ１つずつ選び、多バンド信号取得位置毎に色素Ｈおよび色素Ｅの分光特性を決定するようにしてもよい。そして、対象標本画像を等分割した各領域に対し、対応する多バンド信号取得位置の多バンド信号値を用いて決定した色素Ｈおよび色素Ｅの分光特性を適用して色素量の算出等の処理を行うようにしてもよい。
【０１４８】
（実施の形態３）
図２０は、実施の形態３における画像処理システム１ｂの機能構成例を示すブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図２０に示すように、画像処理システム１ｂは、顕微鏡撮影システム１０と、入力部２１と、表示部２２と、通信部２３と、記憶部２４ｂと、信号処理部２５ｂと、装置各部を制御する制御部２６とを備える。
【０１４９】
記憶部２４ｂには、実施の形態３の処理を実現して対象標本を染色している色素Ｈおよび色素Ｅの分光特性を取得するための画像処理プログラム２４１ｂが記録される。
【０１５０】
信号処理部２５ｂは、多バンド信号選択部２５８ｂと、色素分光特性決定部２５１ｂと、被写体分光特性算出部２５２と、色素量算出部２５３と、補正係数設定部２５４と、色素量補正部２５５と、信号値変換処理部２５６とを含む。
【０１５１】
多バンド信号選択部２５８ｂには、顕微鏡撮影システム１０において多バンド信号取得部１２が取得した多バンド信号値が入力されるようになっている。多バンド信号選択部２５８ｂは、多バンド信号取得部１２から入力される複数の多バンド信号値の中から、例えば所定数の多バンド信号値を選択する。
【０１５２】
色素分光特性決定部２５１ｂは、実施の形態１と同様の処理手順で色素Ｈおよび色素Ｅの標準色素分光特性を変化させて色素Ｈの分光特性及び色素Ｅの分光特性を生成する処理（色素分光特性生成処理）を行い、多バンド信号選択部２５８ｂで選択された所定数の多バンド信号値を用いて対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定する。
【０１５３】
図２１は、実施の形態３におけるＲＧＢ撮影範囲Ｖ７１およびこのＲＧＢ撮影範囲内の多バンド信号取得視野Ｖ７３を示す図である。実施の形態３では、変形例２と同様に、ステージ１３をＸＹ平面内でＲＧＢ撮影範囲Ｖ７１ずつ移動させながら各撮影位置でＲＧＢ撮影を行い、隣接するＲＧＢ撮影範囲Ｖ７１をＲＧＢ撮影した複数枚（図２１（ａ）では１５枚）の対象標本画像を取得することで全体として対象標本Ｓの広範囲を映した全体画像Ｉ７を得る。また、多バンド信号取得部１２が、各撮影位置でのＲＧＢ撮影範囲Ｖ７１のＲＧＢ信号値の取得と同期して、そのＲＧＢ撮影範囲Ｖ７１内の多バンド信号取得視野Ｖ７３における多バンド信号値を取得する。
【０１５４】
そして、実施の形態３では、例えば、各多バンド信号取得視野Ｖ７３における多バンド信号値の中から、その信号強度をもとに所定数の多バンド信号取得視野Ｖ７３（図２１（ｂ）では９箇所）における多バンド信号値を選択する。例えば、図２１（ｂ）の例では、ＲＧＢ撮影範囲Ｖ７１−１内の多バンド信号取得視野Ｖ７３−１における多バンド信号値は選択している一方、ＲＧＢ撮影範囲Ｖ７１−２内の多バンド信号取得視野Ｖ７３−２における多バンド信号値については選択していない。
【０１５５】
次に、実施の形態３の画像処理システム１ｂが行う具体的な処理手順について説明する。なお、ここで説明する処理は、記憶部２４ｂに記録された画像処理プログラム２４１ｂに従って画像処理システム１ｂの各部が動作することで実現される。実施の形態３では、図５の全体フローチャートにおいて、ステップａ１の撮影処理が実施の形態１と異なる。図２２は、実施の形態３における撮影処理の詳細な処理手順を示すフローチャートである。
【０１５６】
図２２に示すように、実施の形態３の撮影処理では、制御部２６は、ステップｆ１〜ステップｆ９の処理を行って全ての撮影位置においてＲＧＢ撮影範囲をＲＧＢ撮影し、多バンド信号取得視野を多バンド撮影する。なお、実施の形態３の撮影処理では、ステップｆ５で取得した多バンド信号取得視野内の多バンド信号値が、多バンド信号選択部２５８ｂに出力される。
【０１５７】
そして、続くステップｈ１１では、多バンド信号選択部２５８ｂが、ステップｆ５で取得した多バンド信号値の信号強度をもとに、後段の処理において対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定する際に用いる所定数の多バンド信号値を選択する。例えば、ＲＧＢ撮影範囲毎に取得した多バンド信号値のうち、その信号強度が予め設定される所定範囲内である多バンド信号値を所定数選択する。ここで、選択する多バンド信号値の数は、適宜設定することとしてよい。なお、信号強度が予め設定される所定範囲内である多バンド信号値を全て選択することとしてもよい。また、多バンド信号値を選択する信号強度の範囲（値の幅）は、複数設定しておくこととしてもよい。例えば、比較的低い信号強度の範囲、中程度の信号強度の範囲、比較的高い信号強度の範囲を設定しておくこととしてもよい。そして、信号強度が各範囲内である多バンド信号値を所定数ずつ選択するようにしてもよい。
【０１５８】
なお、実施の形態３の色素分光特性決定処理では、実施の形態２と同様に、図９に示して説明した評価値算出処理を行う。そして、各多バンド信号取得位置の多バンド信号値をそれぞれ用いて生成した新たな色素Ｈおよび色素Ｅの分光特性についての評価値の和の中からその値が最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性を１つ選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する。
【０１５９】
以上説明したように、実施の形態３によれば、ＲＧＢ撮影範囲毎に取得した多バンド信号値のうち、信号強度が所定範囲内である所定数の多バンド信号値を選択することができる。そして、選択した多バンド信号値を用いて対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。したがって、色素の分光特性を決定するのに適切な信号強度の多バンド信号値を選択できるとともに、選択する多バンド信号値の数を適宜調整することで、色素分光特性決定処理（図７を参照）の処理時間（色素Ｈおよび色素Ｅの分光特性を決定するのに要する時間）の短縮化を図ることができ、より高速かつ高精度に対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。
【０１６０】
（変形例５）
実施の形態３では、多バンド信号値の信号強度をもとに、対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定する際に用いる多バンド信号値を選択することとした。これに対し、ＲＧＢ撮影範囲をＲＧＢ撮影して取得したＲＧＢ信号値の信号強度をもとに多バンド信号取得位置を設定し、設定した多バンド信号取得位置の多バンド信号値を用いて色素Ｈおよび色素Ｅの分光特性を決定することとしてもよい。
【０１６１】
図２３は、変形例５における撮影処理の詳細な処理手順を示すフローチャートである。なお、以下の説明において、実施の形態１と同様の構成には同一の符号を付する。
【０１６２】
図２３に示すように、変形例５の撮影処理では、先ず、制御部２６がステージ駆動部１８を駆動してステージ１３の移動を制御し、最初の撮影位置にＲＧＢ信号取得部１１のＲＧＢ撮影範囲を移動させる（ステップｉ１）。続いて、制御部２６は、顕微鏡撮影システム１０のＲＧＢ信号取得部１１の動作を制御して対象標本をＲＧＢ撮影し、ＲＧＢ信号値を取得する（ステップｉ３）。その後、制御部２６は、現在の撮影位置が最後の撮影位置か否かを判定する。そして、最後の撮影位置に移動するまでの間は（ステップｉ５：Ｎｏ）、制御部２６は、ステージ駆動部１８を駆動してステージ１３の移動を制御し、次の撮影位置にＲＧＢ信号取得部１１のＲＧＢ撮影範囲を移動させた後（ステップｉ７）、ステップｉ３に戻って上記した処理を繰り返す。
【０１６３】
一方、現在の撮影位置が最後の撮影位置の場合には（ステップｉ５：Ｙｅｓ）、制御部２６は、ステップｉ３で取得したＲＧＢ信号値の信号強度をもとに、多バンド信号取得位置を設定する（ステップｉ９）。例えば、ＲＧＢ信号値の信号強度が予め設定される所定範囲内である対象標本画像内の画素位置の中から所定数の画素位置を選択し、対応するステージ１３上の位置を多バンド信号取得位置として設定する。具体的な処理手順としては、例えば、ステップｉ３において各撮影位置で取得したＲＧＢ信号値の信号強度分布を生成し、生成した信号強度分布の中から、信号強度が所定範囲内であるＲＧＢ信号値をランダムに所定数（例えば２０箇所）選択する。その後、選択したＲＧＢ信号値の座標（画素位置）に対応するステージ１３上の位置を多バンド信号取得位置として設定する。ここで、設定する多バンド信号取得位置の数は、適宜設定することとしてよい。なお、上記した実施の形態３と同様に、対象標本画像内の画素位置を選択する信号強度の範囲（値の幅）は、複数設定しておくこととしてもよい。例えば、比較的低い信号強度の範囲、中程度の信号強度の範囲、比較的高い信号強度の範囲を設定しておくこととしてもよい。そして、各撮影位置で取得したＲＧＢ信号値の信号強度分布の中から、信号強度が各範囲内であるＲＧＢ信号値をそれぞれ所定数ずつランダムに選択するようにしてもよい。
【０１６４】
続いて、制御部２６は、ステージ駆動部１８を駆動してステージ１３の移動を制御し、多バンド信号取得部１２の多バンド信号取得視野にステップｉ９で設定した多バンド信号取得位置を位置付ける（ステップｉ１１）。その後、制御部２６は、多バンド信号取得部１２の動作を制御し、多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する（ステップｉ１３）。
【０１６５】
続いて、制御部２６は、ステップｉ９で設定した全ての多バンド信号取得位置について多バンド信号値を取得したか否かを判定する。そして、制御部２６は、全ての多バンド信号取得位置について多バンド信号値を取得していない場合には（ステップｉ１５：Ｎｏ）、ステップｉ１１に戻り、ステージ駆動部１８を駆動して多バンド信号取得部１２の多バンド信号取得視野に次の多バンド信号取得位置を位置付ける。その後、制御部２６は、ステップｉ１３において多バンド信号取得部１２の動作を制御し、多バンド信号取得視野を多バンド撮影して多バンド信号値を取得する。全ての多バンド信号取得位置について多バンド信号値を取得した場合には（ステップｉ１５：Ｙｅｓ）、撮影処理を終える。
【０１６６】
なお、変形例５の色素分光特性決定処理では、実施の形態２と同様に、図９に示して説明した評価値算出処理を行う。そして、各多バンド信号取得位置の多バンド信号値をそれぞれ用いて生成した新たな色素Ｈおよび色素Ｅの分光特性についての評価値の和の中からその値が最も小さく評価が最も高い色素Ｈおよび色素Ｅの分光特性を１つ選び、対象標本を染色している色素Ｈおよび色素Ｅの分光特性として決定する。
【０１６７】
以上説明したように、変形例５によれば、ＲＧＢ撮影範囲毎に取得したＲＧＢ信号値の中から信号強度が所定範囲内である所定数のＲＧＢ信号値を選択し、選択したＲＧＢ信号値の座標（画素位置）を多バンド信号取得位置として設定することができる。そして、設定した多バンド信号取得位置における多バンド信号値を取得し、取得した多バンド信号値を用いて対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。したがって、ＲＧＢ信号値が所望の信号強度である画素位置の中から多バンド信号取得位置を選択できるとともに、多バンド信号取得位置の数を適宜調整することで、色素分光特性決定処理（図７を参照）の処理時間（色素Ｈおよび色素Ｅの分光特性を決定するのに要する時間）の短縮化を図ることができ、より高速かつ高精度に対象標本を染色している色素Ｈおよび色素Ｅの分光特性を決定することができる。
【０１６８】
（実施の形態４）
顕微鏡を用いて標本を観察する場合、１度に観察可能な範囲（視野範囲）は、主に対物レンズの倍率によって決定される。ここで、対物レンズの倍率が高いほど高精細な画像が得られる反面、視野範囲が狭くなる。この種の問題を解決するため、従来から、標本を載置する電動ステージを動かす等して視野範囲を移動させながら倍率の高い対物レンズを用いて標本像を部分毎に撮像し、撮像した部分毎の画像を繋ぎ合わせることによって高精細でかつ広視野の標本画像（対象標本画像）を生成するといったことが行われており、バーチャル顕微鏡システムと呼ばれている。以下、バーチャル顕微鏡システムで生成される標本画像を、「ＶＳ画像」と称す。このバーチャル顕微鏡システムによれば、実際に標本が存在しない環境であっても観察が行える。
【０１６９】
実施の形態４は、本発明を上記したバーチャル顕微鏡システムに適用したものである。図２４は、実施の形態４のバーチャル顕微鏡システム３の概観例を示す概略斜視図である。図２４に示すように、バーチャル顕微鏡システム３は、顕微鏡装置４０とホストシステム６０とがデータの送受可能に接続されて構成されている。ホストシステム６０は、例えばキーボードやマウス等の入力部６１と、表示部６２とを備えている。
【０１７０】
図２５は、実施の形態４のバーチャル顕微鏡システム３の全体構成例を示す模式図である。ここで、図２５に示す対物レンズ４７の光軸方向をＺ方向とし、Ｚ方向と垂直な平面をＸＹ平面として定義する。
【０１７１】
顕微鏡装置４０は、対象標本Ｓが載置される電動ステージ４１と、側面視略コの字状を有し、電動ステージ４１を支持するとともにレボルバ４６を介して対物レンズ４７を保持する顕微鏡本体４４と、顕微鏡本体４４の底部後方（図２５の右方）に配設された光源４８と、顕微鏡本体４４の上部に載置された鏡筒４９とを備える。また、鏡筒４９には、対象標本Ｓの標本像を目視観察するための双眼部５１と、対象標本Ｓの標本像を撮像するためのＴＶカメラ５２が取り付けられている。なお、対象標本Ｓは、実施の形態１等と同様に、Ｈ＆Ｅ染色された標本（生体組織標本）である。
【０１７２】
電動ステージ４１は、ＸＹＺ方向に移動自在に構成されている。すなわち、電動ステージ４１は、モータ４２１およびこのモータ４２１の駆動を制御するＸＹ駆動制御部４２３によってＸＹ平面内で移動自在である。ＸＹ駆動制御部４２３は、顕微鏡コントローラ５３の制御のもと、図示しないＸＹ位置の原点センサによって電動ステージ４１のＸＹ平面における所定の原点位置を検知し、この原点位置を基点としてモータ４２１の駆動量を制御することによって、対象標本Ｓ上の観察箇所を移動させる。そして、ＸＹ駆動制御部４２３は、観察時の電動ステージ４１のＸ位置およびＹ位置を適宜顕微鏡コントローラ５３に出力する。また、電動ステージ４１は、モータ４３１およびこのモータ４３１の駆動を制御するＺ駆動制御部４３３によってＺ方向に移動自在である。Ｚ駆動制御部４３３は、顕微鏡コントローラ５３の制御のもと、図示しないＺ位置の原点センサによって電動ステージ４１のＺ方向における所定の原点位置を検知し、この原点位置を基点としてモータ４３１の駆動量を制御することによって、所定の高さ範囲内の任意のＺ位置に対象標本Ｓを焦準移動させる。そして、Ｚ駆動制御部４３３は、観察時の電動ステージ４１のＺ位置を適宜顕微鏡コントローラ５３に出力する。
【０１７３】
レボルバ４６は、顕微鏡本体４４に対して回転自在に保持され、対物レンズ４７を対象標本Ｓの上方に配置する。対物レンズ４７は、レボルバ４６に対して倍率（観察倍率）の異なる他の対物レンズとともに交換自在に装着されており、レボルバ４６の回転に応じて観察光の光路上に挿入されて対象標本Ｓの観察に用いる対物レンズ４７が択一的に切り換えられるようになっている。
【０１７４】
顕微鏡本体４４は、底部において対象標本Ｓを透過照明するための照明光学系を内設している。この照明光学系は、光源４８から射出された照明光を集光するコレクタレンズ４５１、照明系フィルタユニット４５２、視野絞り４５３、開口絞り４５４、照明光の光路を対物レンズ４７の光軸に沿って偏向させる折曲げミラー４５５、コンデンサ光学素子ユニット４５６、トップレンズユニット４５７等が、照明光の光路に沿って適所に配置されて構成される。光源４８から射出された照明光は、照明光学系によって対象標本Ｓに照射され、観察光として対物レンズ４７に入射する。
【０１７５】
また、顕微鏡本体４４は、その上部においてフィルタユニット５０を内設している。フィルタユニット５０は、分光特性の異なるバンドパスフィルタ５０３を回転自在に保持し、このバンドパスフィルタ５０３を、適宜対物レンズ４７後段において観察光の光路上に挿入する。実施の形態１では、多バンドセンサによって多バンド信号値を取得することとしたが、実施の形態４では、フィルタユニット５０によって多バンド信号値を取得する。具体的には、例えば、フィルタユニット５０は、３つ以上の装着孔を備え、１つの穴が空穴とされ、残りの２つ以上の装着穴にバンドパスフィルタ５０３が装着されて構成される。そして、多バンド撮影時には、フィルタユニット５０を回転させることで２枚以上のバンドパスフィルタ５０３を順次観察光の光路上に挿入し、ＴＶカメラ５２によって多バンド信号値を取得する。一方、ＲＧＢ撮影時には、前述の空穴を観察光の光路上に配置し、ＴＶカメラ５２によってＲＧＢ信号値を取得する。なお、ここでは、バンドパスフィルタ５０３を対物レンズ４７の後段に配置する場合を例示したが、これに限定されるものではなく、光源４８からＴＶカメラ５２に至る光路上のいずれかの位置に配置することとしてよい。対物レンズ４７を経た観察光は、このフィルタユニット５０を経由して鏡筒４９に入射する。
【０１７６】
鏡筒４９は、フィルタユニット５０を経た観察光の光路を切り換えて双眼部５１またはＴＶカメラ５２へと導くビームスプリッタ４９１を内設している。対象標本Ｓの標本像は、このビームスプリッタ４９１によって双眼部５１内に導入され、接眼レンズ５１１を介して検鏡者に目視観察される。あるいはＴＶカメラ５２によって撮像される。ＴＶカメラ５２は、標本像（詳細には対物レンズ４７の視野範囲の標本像）を結像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データをホストシステム６０に出力する。
【０１７７】
そして、顕微鏡装置４０は、顕微鏡コントローラ５３とＴＶカメラコントローラ５４とを備える。顕微鏡コントローラ５３は、ホストシステム６０の制御のもと、顕微鏡装置４０を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ５３は、レボルバ４６を回転させて観察光の光路上に配置する対物レンズ４７を切り換える処理や、切り換えた対物レンズ４７の倍率等に応じた光源４８の調光制御や各種光学素子の切り換え、あるいはＸＹ駆動制御部４２３やＺ駆動制御部４３３に対する電動ステージ４１の移動指示等、対象標本Ｓの観察に伴う顕微鏡装置４０の各部の調整を行うとともに、各部の状態を適宜ホストシステム６０に通知する。ＴＶカメラコントローラ５４は、ホストシステム６０の制御のもと、自動ゲイン制御のＯＮ／ＯＦＦ切換、ゲインの設定、自動露出制御のＯＮ／ＯＦＦ切換、露光時間の設定等を行ってＴＶカメラ５２を駆動し、ＴＶカメラ５２の撮像動作を制御する。
【０１７８】
一方、ホストシステム６０は、実施の形態１の画像処理システム１の顕微鏡撮影システム１０を除く構成をもとに構成したものであり、図２４に示す入力部６１や表示部６２の他、図３に示した通信部２３、記憶部２４、信号処理部２５、制御部２６に相当する機能部を含む。なお、実施の形態２や実施の形態３、変形例１〜変形例５の構成を適用することも可能である。
【０１７９】
このホストシステム６０は、入力部６１から入力される入力信号や、顕微鏡コントローラ５３から入力される顕微鏡装置４０各部の状態、ＴＶカメラ５２から入力される画像データ、ホストシステム６０を構成する記憶部に記録されるプログラムやデータ等をもとにホストシステム６０を構成する各部への指示やデータの転送等を行い、あるいは顕微鏡コントローラ５３やＴＶカメラコントローラ５４に対する顕微鏡装置４０各部の動作指示を行い、バーチャル顕微鏡システム３全体の動作を統括的に制御する。そして、ホストシステム６０は、顕微鏡装置４０が対象標本Ｓを部分的にＲＧＢ撮影することによって得られる複数の対象標本画像をそれぞれ処理し、ＶＳ画像を生成する。ここで、ＶＳ画像とは、顕微鏡装置４０によってＲＧＢ撮影した１枚以上の画像を繋ぎ合せて生成した画像のことである。実施の形態４でいうＶＳ画像とは、例えば高倍率の対物レンズを用いて対象標本Ｓを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、対象標本Ｓの全域を映した広視野で且つ高精細のマルチバンド画像のことをいう。
【０１８０】
この実施の形態３によれば、実施の形態１と同様の効果を奏することが可能なバーチャル顕微鏡システムが実現できる。
【０１８１】
なお、上記した各実施の形態や各変形例では、Ｈ＆Ｅ染色された標本を対象標本とした場合について説明したが、Ｈ＆Ｅ染色以外にも様々な染色法が知られている。これらの染色法は、一般染色、特殊染色および免疫生体組織化学的染色に大別されるが、本発明は、いずれの染色法で染色された標本に対しても同様に適用可能である。
【０１８２】
また、本発明は、上記した各実施の形態やその変形例そのままに限定されるものではなく、各実施の形態や各変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や各変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成してもよい。
【０１８３】
例えば、実施の形態２と実施の形態３とを組み合わせ、ユーザが選択した多バンド信号取得位置における多バンド信号値の中から、信号強度が所定範囲内である所定数の多バンド信号値を選択するようにしてもよい。また、実施の形態１等では、被写体分光特性算出部２５２において対象標本の分光特性を推定し、色素量算出部２５３において推定した分光特性をもとに対象標本の色素量を推定することとした。これに対し、分光特性の推定は必ずしも行う必要はなく、対象標本画像から対象標本の色素量を推定することも可能である。この場合には、被写体分光特性算出部２５２を除外して信号処理部２５（図３），２５ｂ（図２０）を構成するとともに、ＲＧＢ信号取得部１１が取得したＲＧＢ信号値を色素量算出部２５３に入力するようにし、色素量算出部２５３がＲＧＢ信号値をもとに対象標本の色素量を推定する処理を行えばよい。
【産業上の利用可能性】
【０１８４】
以上のように、本発明の画像処理システムは、標本を染色している色素の分光特性を染色工程の増加を招くことなく高精度に取得するのに適している。
【符号の説明】
【０１８５】
１，１ａ，１ｂ 画像処理システム
１０ 顕微鏡撮影システム
１１ ＲＧＢ信号取得部
１２ 多バンド信号取得部
２１ 入力部
２２ 表示部
２３ 通信部
２４，２４ａ，２４ｂ 記憶部
２４１，２４１ａ，２４１ｂ 画像処理プログラム
２４２ 標準色素分光特性データ
２４３ 分光特性変化モデルデータ
２４４ 標本データ
２５，２５ｂ 信号処理部
２５１，２５１ｂ 色素分光特性決定部
２５２ 被写体分光特性算出部
２５３ 色素量算出部
２５４ 補正係数設定部
２５５ 色素量補正部
２５６ 信号値変換処理部
２５７ 分光情報付加部
２５８ｂ 多バンド信号選択部
２６，２６ａ 制御部
２６１ａ 多バンド信号取得位置設定部
２６２ａ 多バンド信号取得制御部
【特許請求の範囲】
【請求項１】
複数の色素で染色された標本の多バンド信号値を取得する多バンド信号取得部と、
予め設定される標準的な前記色素の分光特性を所定の変化モデルに従って変化させることで新たな色素の分光特性を生成し、該生成した前記新たな色素の分光特性と前記多バンド信号値とをもとに前記色素の分光特性を決定する色素分光特性決定部と、
を備えることを特徴とする画像処理システム。
【請求項２】
前記色素分光特性決定部は、前記多バンド信号値を用いて前記新たな色素の分光特性を評価する色素分光特性評価部を備え、前記色素分光特性評価部による評価結果に従って前記新たな色素の分光特性を前記色素の分光特性として決定することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記色素分光特性決定部は、前記色素分光特性評価部による評価結果に従って前記新たな色素の分光特性を前記色素の分光特性とするか否かを判定する色素分光特性判定部を備え、前記色素分光特性判定部による判定結果に従って前記新たな色素の分光特性の生成を繰り返し行うことを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記標本の多バンド画像を取得する多バンド画像取得部と、
前記色素分光特性決定部によって決定された前記色素の分光特性を前記多バンド画像に付加して保存する分光情報付加部と、
を備えることを特徴とする請求項１に記載の画像処理システム。
【請求項５】
前記標本の多バンド画像を取得する多バンド画像取得部と、
前記多バンド画像と、前記色素分光特性決定部によって決定された前記色素の分光特性とをもとに、前記標本を染色している前記複数の色素の色素量を算出する色素量算出部と、
前記色素の分光特性と前記色素量算出部によって算出された色素量とをもとに前記多バンド画像の画像信号値を変換する信号値変換処理部と、
を備えることを特徴とする請求項１に記載の画像処理システム。
【請求項６】
前記色素量算出部によって算出された色素量を補正するための色素量補正係数を設定する補正係数設定部と、
前記色素量補正係数を用いて前記色素量を補正する色素量補正部と、
を備えることを特徴とする請求項５に記載の画像処理システム。
【請求項７】
前記標本の多バンド画像を取得する多バンド画像取得部と、
前記多バンド画像を表示する画像表示部と、
前記画像表示部に表示された前記多バンド画像内の位置の選択依頼を通知し、該選択依頼の通知に応答して選択操作された前記多バンド画像内の位置を多バンド信号取得位置として設定する多バンド信号取得位置設定部と、
前記多バンド信号取得部の視野を前記多バンド信号取得位置に順次移動させて、前記多バンド信号取得位置において前記多バンド信号値を取得する多バンド信号取得制御部と、
を備え、
前記色素分光特性決定部は、前記多バンド信号取得位置における前記多バンド信号値を用いて前記色素の分光特性を決定することを特徴とする請求項１に記載の画像処理システム。
【請求項８】
前記標本の多バンド画像を取得する多バンド画像取得部と、
前記多バンド画像の画像信号値の信号強度をもとに、前記多バンド信号値を取得する前記多バンド画像内の位置を多バンド信号取得位置として設定する多バンド信号取得位置設定部と、
前記多バンド信号取得部の視野を前記多バンド信号取得位置に順次移動させて、前記多バンド信号取得位置において前記多バンド信号値を取得する多バンド信号取得制御部と、
を備え、
前記色素分光特性決定部は、前記多バンド信号取得位置における前記多バンド信号値を用いて前記色素の分光特性を決定することを特徴とする請求項１に記載の画像処理システム。
【請求項９】
前記標本の多バンド画像を取得する多バンド画像取得部と、
前記前記多バンド画像内の複数の位置を多バンド信号取得位置として設定する多バンド信号取得位置設定部と、
前記多バンド信号取得部の視野を前記多バンド信号取得位置に順次移動させて、前記多バンド信号取得位置において前記多バンド信号値を取得する多バンド信号取得制御部と、
前記多バンド信号取得位置における前記多バンド信号値の中から、信号強度が所定条件を満たす多バンド信号値を選択する多バンド信号選択部と、
を備え、
前記色素分光特性決定部は、前記多バンド信号選択部によって選択された前記多バンド信号値を用いて前記色素の分光特性を決定することを特徴とする請求項１に記載の画像処理システム。
【請求項１０】
前記変化モデルは、前記標準的な前記色素の分光特性を複数の変数を用いて変換する変換式によって表され、
前記色素分光特性決定部は、前記複数の変数の組み合わせを示すビットパターンによって遺伝子を表し、遺伝的アルゴリズムを用いて最適な前記変数の組み合わせを探索することで前記色素の分光特性を決定することを特徴とする請求項２に記載の画像処理システム。
【請求項１】
複数の色素で染色された標本の多バンド信号値を取得する多バンド信号取得部と、
予め設定される標準的な前記色素の分光特性を所定の変化モデルに従って変化させることで新たな色素の分光特性を生成し、該生成した前記新たな色素の分光特性と前記多バンド信号値とをもとに前記色素の分光特性を決定する色素分光特性決定部と、
を備えることを特徴とする画像処理システム。
【請求項２】
前記色素分光特性決定部は、前記多バンド信号値を用いて前記新たな色素の分光特性を評価する色素分光特性評価部を備え、前記色素分光特性評価部による評価結果に従って前記新たな色素の分光特性を前記色素の分光特性として決定することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記色素分光特性決定部は、前記色素分光特性評価部による評価結果に従って前記新たな色素の分光特性を前記色素の分光特性とするか否かを判定する色素分光特性判定部を備え、前記色素分光特性判定部による判定結果に従って前記新たな色素の分光特性の生成を繰り返し行うことを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記標本の多バンド画像を取得する多バンド画像取得部と、
前記色素分光特性決定部によって決定された前記色素の分光特性を前記多バンド画像に付加して保存する分光情報付加部と、
を備えることを特徴とする請求項１に記載の画像処理システム。
【請求項５】
前記標本の多バンド画像を取得する多バンド画像取得部と、
前記多バンド画像と、前記色素分光特性決定部によって決定された前記色素の分光特性とをもとに、前記標本を染色している前記複数の色素の色素量を算出する色素量算出部と、
前記色素の分光特性と前記色素量算出部によって算出された色素量とをもとに前記多バンド画像の画像信号値を変換する信号値変換処理部と、
を備えることを特徴とする請求項１に記載の画像処理システム。
【請求項６】
前記色素量算出部によって算出された色素量を補正するための色素量補正係数を設定する補正係数設定部と、
前記色素量補正係数を用いて前記色素量を補正する色素量補正部と、
を備えることを特徴とする請求項５に記載の画像処理システム。
【請求項７】
前記標本の多バンド画像を取得する多バンド画像取得部と、
前記多バンド画像を表示する画像表示部と、
前記画像表示部に表示された前記多バンド画像内の位置の選択依頼を通知し、該選択依頼の通知に応答して選択操作された前記多バンド画像内の位置を多バンド信号取得位置として設定する多バンド信号取得位置設定部と、
前記多バンド信号取得部の視野を前記多バンド信号取得位置に順次移動させて、前記多バンド信号取得位置において前記多バンド信号値を取得する多バンド信号取得制御部と、
を備え、
前記色素分光特性決定部は、前記多バンド信号取得位置における前記多バンド信号値を用いて前記色素の分光特性を決定することを特徴とする請求項１に記載の画像処理システム。
【請求項８】
前記標本の多バンド画像を取得する多バンド画像取得部と、
前記多バンド画像の画像信号値の信号強度をもとに、前記多バンド信号値を取得する前記多バンド画像内の位置を多バンド信号取得位置として設定する多バンド信号取得位置設定部と、
前記多バンド信号取得部の視野を前記多バンド信号取得位置に順次移動させて、前記多バンド信号取得位置において前記多バンド信号値を取得する多バンド信号取得制御部と、
を備え、
前記色素分光特性決定部は、前記多バンド信号取得位置における前記多バンド信号値を用いて前記色素の分光特性を決定することを特徴とする請求項１に記載の画像処理システム。
【請求項９】
前記標本の多バンド画像を取得する多バンド画像取得部と、
前記前記多バンド画像内の複数の位置を多バンド信号取得位置として設定する多バンド信号取得位置設定部と、
前記多バンド信号取得部の視野を前記多バンド信号取得位置に順次移動させて、前記多バンド信号取得位置において前記多バンド信号値を取得する多バンド信号取得制御部と、
前記多バンド信号取得位置における前記多バンド信号値の中から、信号強度が所定条件を満たす多バンド信号値を選択する多バンド信号選択部と、
を備え、
前記色素分光特性決定部は、前記多バンド信号選択部によって選択された前記多バンド信号値を用いて前記色素の分光特性を決定することを特徴とする請求項１に記載の画像処理システム。
【請求項１０】
前記変化モデルは、前記標準的な前記色素の分光特性を複数の変数を用いて変換する変換式によって表され、
前記色素分光特性決定部は、前記複数の変数の組み合わせを示すビットパターンによって遺伝子を表し、遺伝的アルゴリズムを用いて最適な前記変数の組み合わせを探索することで前記色素の分光特性を決定することを特徴とする請求項２に記載の画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１２−７８１７６（Ｐ２０１２−７８１７６Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２２８０３（Ｐ２０１０−２２２８０３）
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]