画像処理装置、画像処理方法、および画像処理プログラム
【課題】画像内に不自然な色変動を引き起こすことがなく、染色色素量を仮想的に調整する機能を含めた画像処理を用いて染色ばらつきを補正することができる画像処理装置、画像処理方法、および画像処理プログラムを提供する。
【解決手段】撮像した画像に関する画像情報をもとに対象の分光スペクトルを推定し、推定された対象の分光スペクトルから前記対象に含まれる複数の色素量を推定し、この複数の色素量を用いて第１の分光スペクトルを合成し、合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出する一方、推定された複数の色素量の少なくとも一部を補正し、この補正された色素量を用いて第２の分光スペクトルを合成した後、合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成し、この合成された第３の分光スペクトルから表示用画像を合成する。
【解決手段】撮像した画像に関する画像情報をもとに対象の分光スペクトルを推定し、推定された対象の分光スペクトルから前記対象に含まれる複数の色素量を推定し、この複数の色素量を用いて第１の分光スペクトルを合成し、合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出する一方、推定された複数の色素量の少なくとも一部を補正し、この補正された色素量を用いて第２の分光スペクトルを合成した後、合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成し、この合成された第３の分光スペクトルから表示用画像を合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色素によって染色された生体標本の画像処理技術に関連し、具体的には、透過照明を用いて病理標本をマルチバンドで撮像した画像データから表示用画像を形成する画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
生体標本、特に病理標本では、臓器摘出によって得たブロック標本や針生検によって得た標本を厚さ数ミクロン程度に薄切した後、様々な所見を得る為に顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきた経緯もあって、最も普及している観察方法の一つである。この場合、薄切された生体標本は光を殆ど吸収したり散乱したりせず無色透明に近い為、観察に先立って色素による染色を施すのが一般的である。
【０００３】
従来、染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称する）が標準的に用いられている。
【０００４】
ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性がない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述した通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００５】
エオジンは好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液には酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００６】
Ｈ＆Ｅ染色後の標本では、細胞核、骨組織等が青紫色に、細胞質、結合織、赤血球等が赤色にそれぞれ染色され、容易に視認できるようになる。その結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握することができ、標本の状態を形態学的に判断することが可能となる。
【０００７】
生体標本の染色は、元々個体差を有する生体組織に対し、化学反応を用いて色素を固定する作業であるため、常に均一な結果を得ることが難しい。具体的には、同一濃度の染色液に同一時間標本を反応させた場合でも、固定される色素の量が同程度であるとは限らない。標本によっては比較的多くの色素が固定される場合や、比較的少ない色素しか固定されない場合がある。前者の場合には通常より濃く染色された標本となる一方、後者の場合には薄く染色された標本となる。このような染色のばらつきを抑えるため、専門の技能を有した染色技師を配置している施設もある。このような施設においては、染色技師の職人的な調整作業によって同一施設内での染色ばらつきをある程度軽減することはできるが、他の異なる施設との間の染色ばらつきまで軽減することはできない。
【０００８】
上述した染色ばらつきには、２つの問題がある。第１の問題は、人間が目視観察する場合、観察対象の状態が不揃いであることが観察者のストレスに繋がる可能性がある点である。特に重度のばらつきが生じている場合には、決定的な所見を見落とす可能性も否定できない。
【０００９】
第２の問題は、染色標本をカメラで撮像して画像処理する場合、染色ばらつきが処理精度に悪影響を及ぼす可能性がある点である。例えば、ある病変が特定の色を呈することが判っていたとしても、画像から自動的にそれを抽出することが難しくなる。病変による色変化を染色ばらつきが撹乱してしまうからである。
【００１０】
このような染色ばらつきの問題を、マルチバンド画像を用いた画像処理によって解決する手法が、下記非特許文献１に開示されている。この非特許文献１では、マルチバンド画像から染色標本に固定された色素の相対的な量（色素量）を所定の物理モデルに基づいて推定する。次に、推定された色素量を仮想的に増減させ、更に増減後の色素量を用いて仮想的な標本のカラー画像を合成する。色素量の増減を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。以下、非特許文献１で開示されている画像の補正技術についてより詳しく説明する。
【００１１】
先ず、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。このような撮像方式は、例えば下記特許文献１で開示されている。この撮像方式により、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。
【００１２】
色素は、本来観察対象となる染色標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることは出来ず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。従って、上述した標本の各点とは、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１３】
撮像された画像の位置（ｘ,ｙ）、バンドｂにおける画素値ｇ（ｘ,ｙ,ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ,ｙ,λ）の間には、次式（１）の関係が成り立つ。
【数１】
ここで、λは波長、ｆ（ｂ,λ）はｂ番目のフィルタの分光透過率、ｓ（λ） はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける撮像ノイズをそれぞれ表す。なお、ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。
【００１４】
実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
【数２】
ここで、波長方向のサンプル点数をＤ、バンド数をＢとすれば（但しＢ＝１６)、
Ｇ（ｘ,ｙ）は位置（ｘ,ｙ）における画素値ｇ（ｘ,ｙ,ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ,ｙ）はｔ（ｘ,ｙ,λ）に対応するＤ行１列の行列、Ｆは
ｆ（ｂ,λ）に対応するＢ行Ｄ列の行列である。ＳはＤ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。ＥもＤ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎはｎ（ｂ）に対応するＢ行１列の行列である。式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
【００１５】
次に、撮像したマルチバンド画像から、標本の各点における分光透過率を推定する。この際の推定手法としては、Wiener推定を用いる。
【数３】
【００１６】
次に、推定された分光透過率Ｔ^（ｘ,ｙ）に基づいて、標本の各点（ｘ,ｙ）における色素量を推定する。ここで推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンの３種類である。以後、簡単のため、前述した３種類の色素を順に色素Ｈ、色素Ｅ、色素Ｒと略記する。なお、厳密に言えば、染色を施さない状態であっても赤血球はそれ自身特有の色を有しており、Ｈ＆Ｅ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。よって、正確には赤血球自身の色と赤血球を染色したエオジンの色とを重畳して両者を併せたものを色素Ｒと呼称する。
【００１７】
一般に、光を透過する物質では、波長λ毎に入射光の強度Ｉ0（λ）と射出光の強度
Ｉ（λ）との間に、次式（４）で表されるLambert-Beerの法則が成り立つことが知られている。
【数４】
ここでｋ（λ）は、波長λに依存して決まる物質固有の値、ｄは物質の厚さを表す。また、式（４）の左辺は分光透過率を意味している。
【００１８】
Ｈ＆Ｅ染色標本が色素Ｈ、色素Ｅ、色素Ｒの３種類の色素で染色されている場合、Lambert-Beerの法則により各波長λにおいて次式（５）が成り立つ。
【数５】
ここで、ｋH（λ）,ｋE（λ）,ｋR（λ）は、それぞれ色素Ｈ、色素Ｅ、色素Ｒに対応したｋ（λ）を表す。またｄH、ｄE、ｄRは、それぞれ色素Ｈ、色素Ｅ、色素Ｒに対応した仮想的な厚さを表す。本来、色素は標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、相対的にどの程度の量の色素が存在しているか、という相対的な色素量を表す指標となる。即ち、ｄH、ｄE、ｄRは、それぞれ色素Ｈ、色素Ｅ、色素Ｒの色素量を表していると言える。
ｋH（λ）,ｋE（λ）,ｋR（λ）は、単一の色素で染色した標本を予め作成し、その分光透過率を分光計で測定すれば、式（４）から容易に求めることができる。
【００１９】
式（５）の両辺の自然対数を取ると、次式（６）が得られる。
【数６】
式（３）を用いて求めた標本上の位置（ｘ,ｙ）における分光透過率の推定値
Ｔ^（ｘ,ｙ）の波長λに対応する要素をｔ^（ｘ,ｙ,λ）と表記し、このｔ^（ｘ,ｙ,λ）を式（６）に代入することによって次式（７）を得る。
【数７】
この式（７）において、未知変数はｄH, ｄE, ｄRの３つであるから、少なくとも３つの異なる波長λに対して式（７）を連立させて解くことができる。より精度を高める為に、４つ以上の異なる波長λに対して式（７）を連立させ、重回帰分析を行っても良い。
【００２０】
色素量ｄH, ｄE, ｄRが一度求まれば、これを修正することによって標本における色素量の変化をシミュレートすることができる。即ち、適当な係数αH, αE, αRをそれぞれｄH, ｄE, ｄRに乗じて式（５）に代入すれば、新たな分光透過率ｔ*（ｘ,ｙ,λ）として次式（８）を得る。
【数８】
この式（８）を式（１）に代入すれば、色素量を仮想的に変化させた標本の画像を合成することができる。ただしこの場合には、ノイズｎ（ｂ）をゼロとして計算して良い。
【００２１】
以上の手順により、染色標本の色素量を仮想的に調整することが可能となる。適当なユーザーインターフェースを用意すれば、ユーザーが自ら色素量の調整を行い、その結果を画像で確認できるようになる。従って、染色標本に染色ばらつきがあっても、ユーザーは適正な染色状態に調整してから観察することが可能となり、染色ばらつきの問題を解決することができる。
【００２２】
【特許文献１】特開平７−１２０３２４号公報
【非特許文献１】Tokiya Abe et al.,“Color Correction of Pathological Images Based on Dye Amount Quantification", OPTICAL REVIEW Vol.12, No.4 (2005) 293-300.
【発明の開示】
【発明が解決しようとする課題】
【００２３】
ところで、上述した非特許文献１に記載の手法を実在するＨ＆Ｅ染色された多数の病理標本に適用してみたところ、以下のような問題があることが判明した。
【００２４】
第１に、標本内に固定された２種類の色素、ヘマトキシリンとエオジンの空間色素量分布を推定してみると、細胞核におけるヘマトキシリンの色素量や細胞質におけるエオジンの色素量は問題無く推定できる一方、赤血球におけるエオジンの色素量が不自然に大きな値として推定されることが判った。これは、染色時の化学反応により、赤血球内のエオジンが本来とは異なる色を呈するためであり、視覚的には本来のエオジンとは異なる分光特性を有する別の色素であるかのように振る舞うためである。従って、赤血球以外の細胞質に含まれるエオジンと赤血球に含まれるエオジンとは分けて考える必要があることが判明した。
【００２５】
第２に、色素をヘマトキシリン、赤血球以外の細胞質に含まれる通常のエオジン、赤血球に含まれる変化したエオジンの３種類として、色素量の空間分布を推定したところ、一見して３種それぞれの色素量が問題なく推定でき、結果にも不自然さがないように感じられた。しかしながら、実際に推定された色素量分布上の点でLambert-Beerの法則を用いてその色素量に対応する分光透過率特性を導出し、更に撮像系の分光感度特性を用いてＲＧＢ値に変換してみると、赤血球領域が本来の赤色とは異なった、不自然な赤橙色を呈することが判明した。推定された色素量分布を係数補正した上で、上記手順によってＲＧＢ値に変換すると、赤血球領域の色の不自然さは更に強調される傾向があることも判った。図１０に、非特許文献１の手法によって生成した画像の例を示す。同図に示すＲＧＢ画像５１では、赤血球領域５１Ｒが上記の如く不自然な赤橙色を呈している。
【００２６】
上述した非特許文献１は、マルチバンド画像を用いた画像処理によって染色ばらつきの問題を解決することを目的としていた。この手法は、対象の観察範囲に赤血球が含まれない場合は問題なく機能し、良好な結果が得られる。しかしながら、実際には、観察範囲に赤血球が含まれることは珍しいことではなく、このような場合には不自然な色を呈する赤血球が画像内に含まれることとなる。これは、細胞核や細胞質での染色ばらつきが補正されたにも関わらず、赤血球領域が新たな色の変動要因となることを意味し、上述した手法で改善が必要な点であると言える。
【００２７】
本発明は、上記に鑑みてなされたものであって、画像内に不自然な色変動を引き起こすことがなく、染色色素量を仮想的に調整する機能を含めた画像処理を用いて染色ばらつきを補正することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２８】
上述した課題を解決し、目的を達成するために、請求項１記載の発明は、撮像された画像に対して画像処理を施す画像処理装置であって、前記画像に関する画像情報を記憶する記憶部と、前記画像情報を前記記憶部から読み出し、この読み出した前記画像情報をもとに対象の分光スペクトルを推定する第１のスペクトル推定部と、前記第１のスペクトル推定部で推定された対象の分光スペクトルを用いて前記対象に含まれる複数の色素量を推定する色素量推定部と、前記色素量推定部で推定された複数の色素量を用いて第１の分光スペクトルを合成する第２のスペクトル推定部と、前記第２のスペクトル推定部で合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出するスペクトル減算部と、前記色素量推定部で推定された複数の色素量の少なくとも一部を補正する色素量補正部と、前記色素量補正部で補正された色素量を用いて第２の分光スペクトルを合成する第３のスペクトル推定部と、前記第３のスペクトル推定部で合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成するスペクトル加算部と、前記スペクトル加算部で合成された第３の分光スペクトルから表示用画像を合成する画像合成部と、を備えたことを特徴とする。
【００２９】
請求項２に記載の発明は、請求項１に記載の発明において、前記表示用画像はＲＧＢ画像であることを特徴とする。
【００３０】
請求項３に記載の発明は、請求項１または２に記載の発明において、前記対象の分光スペクトルから推定される色素量の数が、前記第１の分光スペクトルの合成に使用される色素量の数より多いことを特徴とする。
【００３１】
請求項４に記載の発明は、請求項１または２に記載の発明において、前記対象の分光スペクトルから推定される色素量の数が、前記第１の分光スペクトルの合成に使用される色素量の数と等しいことを特徴とする。
【００３２】
請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の発明において、前記第１の分光スペクトルの合成に使用される色素量の数と前記第２の分光スペクトルの合成に使用される色素量の数とが等しいことを特徴とする。
【００３３】
請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の発明において、前記表示用画像を表示する表示部をさらに備えたことを特徴とする。
【００３４】
請求項７に記載の発明は、請求項１〜６のいずれか一項に記載の発明において、色素量の補正を指示する補正指示信号が入力される操作部をさらに備えたことを特徴とする。
【００３５】
請求項８に記載の発明は、請求項７に記載の発明において、前記補正指示信号には、前記色素量を補正する際に用いる係数に関する情報が含まれることを特徴とする。
【００３６】
請求項９に記載の発明は、請求項７または８に記載の発明において、前記操作部は、スライダー、ダイヤル、およびプッシュボタンのうちいずれか一つを含むことを特徴とする。
【００３７】
請求項１０に記載の発明は、請求項７または８に記載の発明において、前記操作部は、スライダー、ダイヤル、およびプッシュボタンのいずれか一つを模したグラフィカルユーザーインターフェースを含むことを特徴とする。
【００３８】
請求項１１に記載の発明は、請求項１０に記載の発明において、前記グラフィカルユーザーインターフェースは、前記表示用画像と同一の画面内に表示されることを特徴とする。
【００３９】
請求項１２に記載の発明は、請求項１〜１１のいずれか一項に記載の発明において、前記色素量補正部は、第１の係数を前記色素量に乗じることによって前記色素量を補正することを特徴とする。
【００４０】
請求項１３に記載の発明は、請求項１〜１２のいずれか一項に記載の発明において、前記色素量補正部は、第２の係数を前記色素量に加えることによって前記色素量を補正することを特徴とする。
【００４１】
請求項１４に記載の発明は、請求項７〜１３のいずれか一項に記載の発明において、前記色素量補正部、前記第３のスペクトル推定部、前記スペクトル加算部、および前記画像合成部は、前記操作部によって入力された前記補正指示信号の内容に基づく処理を行い、前記表示部は、前記補正指示信号の内容に基づく処理が反映された前記表示用画像を表示することを特徴とする。
【００４２】
請求項１５に記載の発明は、請求項１〜１４のいずれか一項に記載の発明において、前記対象は染色された生体標本であることを特徴とする。
【００４３】
請求項１６に記載の発明は、請求項１５に記載の発明において、前記対象は病理標本であることを特徴とする。
【００４４】
請求項１７に記載の発明は、請求項１６に記載の発明において、前記色素量推定部で推定される色素量は、ヘマトキシリンおよびエオジンを含むことを特徴とする。
【００４５】
請求項１８に記載の発明は、請求項１７に記載の発明において、前記色素量推定部で推定される色素量は、赤血球を染色したエオジンをさらに含むことを特徴とする。
【００４６】
請求項１９に記載の発明は、請求項１〜１８のいずれか一項に記載の発明において、前記第１のスペクトル推定部は、前記対象の分光スペクトルを推定する際にWiener推定を用いることを特徴とする。
【００４７】
請求項２０に記載の発明は、請求項１〜１９のいずれか一項に記載の発明において、前記第１のスペクトル推定部は、前記対象に含まれる複数の色素量を推定する際にLambert-Beerの法則を用いることを特徴とする。
【００４８】
請求項２１に記載の発明は、撮像された画像に対して画像処理を施すことが可能であり、前記画像に関する画像情報を記憶する記憶部を備えたコンピュータが行う画像処理方法であって、前記画像情報を前記記憶部から読み出し、この読み出した前記画像情報をもとに対象の分光スペクトルを推定する第１のスペクトル推定ステップと、前記第１のスペクトル推定ステップで推定された対象の分光スペクトルを用いて前記対象に含まれる複数の色素量を推定する色素量推定ステップと、前記色素量推定ステップで推定された複数の色素量を用いて第１の分光スペクトルを合成する第２のスペクトル推定ステップと、前記第２のスペクトル推定ステップで合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出するスペクトル減算ステップと、前記色素量推定ステップで推定された複数の色素量の少なくとも一部を補正する色素量補正ステップと、前記色素量補正ステップで補正された色素量を用いて第２の分光スペクトルを合成する第３のスペクトル推定ステップと、前記第３のスペクトル推定ステップで合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成するスペクトル加算ステップと、前記スペクトル加算ステップで合成された第３の分光スペクトルから表示用画像を合成する画像合成ステップと、を有することを特徴とする。
【００４９】
請求項２２に記載の発明に係る画像処理プログラムは、撮像された画像に対して画像処理を施すことが可能であり、前記画像に関する画像情報を記憶する記憶部を備えたコンピュータに、前記画像情報を前記記憶部から読み出し、この読み出した前記画像情報をもとに対象の分光スペクトルを推定する第１のスペクトル推定ステップ、前記第１のスペクトル推定ステップで推定された対象の分光スペクトルを用いて前記対象に含まれる複数の色素量を推定する色素量推定ステップ、前記色素量推定ステップで推定された複数の色素量を用いて第１の分光スペクトルを合成する第２のスペクトル推定ステップ、前記第２のスペクトル推定ステップで合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出するスペクトル減算ステップ、前記色素量推定ステップで推定された複数の色素量の少なくとも一部を補正する色素量補正ステップ、前記色素量補正ステップで補正された色素量を用いて第２の分光スペクトルを合成する第３のスペクトル推定ステップ、前記第３のスペクトル推定ステップで合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成するスペクトル加算ステップ、前記スペクトル加算ステップで合成された第３の分光スペクトルから表示用画像を合成する画像合成ステップ、を実行させることを特徴とする。
【発明の効果】
【００５０】
本発明によれば、撮像した画像に関する画像情報をもとに対象の分光スペクトルを推定し、推定された対象の分光スペクトルから前記対象に含まれる複数の色素量を推定し、この推定された複数の色素量を用いて第１の分光スペクトルを合成し、合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出する一方、推定された複数の色素量の少なくとも一部を補正し、この補正された色素量を用いて第２の分光スペクトルを合成した後、合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成し、この合成された第３の分光スペクトルから表示用画像を合成することにより、画像内に不自然な色変動を引き起こすことがなく、染色色素量を仮想的に調整する機能を含めた画像処理を用いて染色ばらつきを補正することができる。
【発明を実施するための最良の形態】
【００５１】
以下、添付図面を参照して本発明を実施するための最良の形態（以後、「実施の形態」と称する）を説明する。
【００５２】
本実施の形態では、２種類の光学フィルタとＲＧＢカメラとを用いて、Ｈ＆Ｅ染色された病理標本の６バンド画像を撮像し、対象の各点に対して分光透過率特性と色素量とを推定する。その後、推定された色素量を補正し、補正後の色素量を用いて再度分光透過率特性に変換し、ＲＧＢ値に変換する。本実施の形態においては、色素量から分光透過率への変換の際にヘマトキシリンと赤血球以外の細胞質に含まれるエオジンの色素量のみを用い、他の成分は差分スペクトルとして処理する点が特徴的である。
【００５３】
図１は、本実施の形態に係る画像処理装置１の構成を示す図である。同図に示す画像処理装置１は、マルチバンド画像撮像部１０１、第１のスペクトル推定部１０２、色素量推定部１０３、第２のスペクトル推定部１０４、スペクトル減算部１０５、色素量補正部１０６、第３のスペクトル推定部１０７、スペクトル加算部１０８、画像合成部１０９、表示部１１０、操作部１１１、記憶部１１２、およびこれら全体の動作を制御する制御部１１３を備える。なお、図１において、制御部１１３から各部への接続は省略している。この画像処理装置１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータによって構成される。
【００５４】
図２は、本実施の形態に係る画像処理方法の概要を示す図である。以下、図１および図２を用いて、画像処理装置１の機能構成および画像処理方法の概要を説明する。
【００５５】
先ず、マルチバンド画像撮像部１０１において、対象となる標本を６バンドのマルチバンド画像として撮像する（ステップＳ１）。マルチバンド画像撮像部１０１は、図３に示すように、標本保持部１０１０、照明部１０１１、光学系１０１２、光学フィルタ１０１３、光学フィルタ切り替え部１０１４、ＲＧＢカメラ１０１５から構成される。
【００５６】
ここで使用するＲＧＢカメラ１０１５は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢフィルタを配置したものである。図４は、ＲＧＢフィルタの構成例を模式的に示す図である。同図に示すＲＧＢフィルタ２００を用いる場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することができないが、各々の近傍の画素値を利用することにより、不足するＲ，Ｇ，Ｂ成分を補間する手法が採用される。なお、この手法は、例えば特許第３５１００３７号公報で開示されている。
【００５７】
これに対して、３ＣＣＤタイプのカメラを用いて撮像することも可能である。この場合には、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得することができる。
【００５８】
本実施の形態では、上述したうちいずれの撮像方法を用いても構わないが、以下に説明する処理では、ＲＧＢカメラ１０１５で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。
【００５９】
照明部１０１１によって照射された光は、標本保持部１０１０に設置された標本Ｏを透過する。透過光は光学系１０１２及び光学フィルタ１０１３を経由した後、ＲＧＢカメラ１０１５の撮像素子上に結像する。光学フィルタ１０１３は、照明部１０１１からＲＧＢカメラ１０１５に至る光路上のいずれかの位置に設置されていれば良い。照明部１０１１からの照明光を、光学系１０１２を経由しＲＧＢカメラ１０１５で撮像する際のＲ，Ｇ，Ｂ各バンドの分光感度の例を図５に示す。
【００６０】
光学フィルタ１０１３は、図６Ａに示す分光透過率特性を有する第１の光学フィルタ１０１３ａおよび図６Ｂに示す分光透過率特性を有する第２の光学フィルタ１０１３ｂから構成されており、例えば最初に第１の光学フィルタ１０１３ａを用いて第１の撮像を行った後、光学フィルタ切り替え部１０１４によって第２の光学フィルタ１０１３ｂへ切り替えられ、第２の撮像を行う。第１および第２の撮像ではそれぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。撮像されたマルチバンド画像は、記憶部１１２に記憶される。
【００６１】
次に、第１のスペクトル推定部１０２が、マルチバンド画像撮像部１０１で撮像された６バンドのマルチバンド画像に関する画像情報を記憶部１１２から読み出し、この読み出した画像情報をもとに第１の分光透過率（対象の分光スペクトル）を推定する（ステップＳ２）。以後の処理は、上述した非特許文献１に記載されたのと同様の手順に従って行い、このステップＳ２における推定手法として、非特許文献１と同様にWiener推定を用いる。具体的には、まず背景技術でも説明した式（３）
【数９】
を用いてマルチバンド画像上の点（ｘ,ｙ）における画素値の行列表現Ｇ（ｘ,ｙ）を変換することで対応する標本上の点における分光透過率の行列表現Ｔ^（ｘ,ｙ）を推定する。このとき、Ｔ^（ｘ,ｙ）は第１の分光透過率の推定値を表す。以後、分光透過率の推定値のことを単に「分光透過率」と称する。なお、式（３）の各記号の意味は、背景技術の項で説明した通りである。
【００６２】
ここで、光学フィルタ１０１３の分光透過率Ｆ、ＲＧＢカメラ１０１５の分光感度特性Ｓ、照明部１０１１の分光放射特性Ｅは、使用する機器を選定の後、分光計を用いて予め測定しておく。なお、ここでは光学系１０１２の分光透過率は１.０と近似しているが、この近似値１.０からの乖離が許容できない場合には、光学系１０１２の分光透過率も予め測定し、照明の分光放射特性Ｅに乗じておけばよい。
【００６３】
標本の分光透過率の共分散行列ＲSSは、Ｈ＆Ｅ染色された典型的な病理標本を用意し、複数の点の分光透過率を分光計で測定し、共分散行列を求めることによって得られる。この際には、統計的な精度を高める為に、標本内での偏り無く１００点程度の測定を行った方が良い。これに対して、カメラのノイズの共分散行列ＲNNは、標本を設置しない状態でマルチバンド画像撮像部１０１による第１および第２の撮像を行い、得られた６バンドの画像の各バンドについて画素値の分散を求め、これを対角成分とする行列を生成することによって得られる。但し、バンド間でノイズの相関は無いと仮定している。このようにして得られた第１の分光透過率Ｔ^（ｘ,ｙ）は、記憶部１１２に記憶される。
【００６４】
続いて、色素量推定部１０３は、第１のスペクトル推定部１０２で推定された第１の分光透過率Ｔ^（ｘ,ｙ）を記憶部１１２から読み出し、この読み出した第１の分光透過率
Ｔ^（ｘ,ｙ）を変換することで色素量の推定を行う（ステップＳ３）。ここで処理の対象とする色素は、非特許文献１と同様、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンであり、それぞれ色素Ｈ、色素Ｅ、色素Ｒと略記する。具体的な処理は、Lambert-Beerの法則より導かれた次式（７）
【数１０】
を複数の波長λに関して連立させ、これをｄH, ｄE, ｄRについて解く。式（７）の各記号の意味は上述した通りであり、特にｔ^（ｘ,ｙ,λ）は行列Ｔ^（ｘ,ｙ,λ）の波長 λに対応する要素である。
【００６５】
一例として、３つの波長λ1、λ2、λ3について式（７）を連立させた場合を考えると、次式（９）のように行列表記できる。
【数１１】
【００６６】
従って、ｄH, ｄE, ｄRは、次式（１０）のように計算される。
【数１２】
このようにして推定された色素量ｄH, ｄE, ｄRは、記憶部１１２に記憶される。
【００６７】
この後、第２のスペクトル推定部１０４は、色素量推定部１０３で推定された色素量を記憶部１１２から読み出し、この読み出した色素量を変換して第２の分光透過率（第１の分光スペクトル）を合成する（ステップＳ４）。このステップＳ４では、式（８）から色素Ｒに関する項を除去し、係数αHおよびαEをともに１とおくことにより得た次式（１１）を用いる。
【数１３】
ここでｔ**（ｘ,ｙ,λ）は、第２の分光透過率のうち、波長λに対応する成分である。式（１１）を用いて求めた複数の波長λに対するｔ**（ｘ,ｙ,λ）を行列形式にまとめたものをＴ**（ｘ,ｙ,λ）と記述すると、このＴ**（ｘ,ｙ,λ）は第２の分光透過率を表す。このようにして求められた第２の分光透過率Ｔ**（ｘ,ｙ,λ）は、記憶部１１２に記憶される。
【００６８】
次に、スペクトル減算部１０５は、第１の分光透過率Ｔ^（ｘ,ｙ）および第２の分光透過率Ｔ***（ｘ,ｙ）を記憶部１１２から読み出し、第１の分光透過率Ｔ^（ｘ,ｙ）から第２の分光透過率Ｔ***（ｘ,ｙ）を減算することにより、差分スペクトル
【数１４】
を算出する（ステップＳ５）。式（１２）によって求めた差分スペクトルＴdiff（ｘ,ｙ）は、記憶部１１２に記憶される。
【００６９】
ここで、差分スペクトルＴdiff（ｘ,ｙ）を求める理由は以下の通りである。色素量推定部１０３は、第１のスペクトル推定部１０２で推定された第１の分光透過率Ｔ^（ｘ,ｙ）を色素量に変換するが、この際に用いる物理モデルはLambert-Beerの法則のみである。Lambert-Beerの法則は、屈折や散乱が無いと仮定した場合に半透明物体を透過する光の減衰を定式化したものであるが、実際の染色標本では屈折も散乱も起こり得る。そのため、染色標本による光の減衰をLambert-Beerの法則のみでモデル化した場合、このモデル化に伴った誤差が発生し、第１の分光透過率Ｔ^（ｘ,ｙ）から推定された色素量を再度Lambert-Beerの法則に当てはめて染色標本の分光透過率を算出したとしても、一般に第１の分光透過率Ｔ^（ｘ,ｙ）とは一致しない。しかしながら、生体標本内での屈折や散乱を含めたモデルの構築は極めて困難であり、実用上は実行不可能である。そこで、本実施の形態においては、屈折や散乱の影響を含めたモデル化の誤差を差分スペクトルとして取り出し、モデル化が可能な情報と組み合わせることにより、全体的な精度を向上させる構成としている。
【００７０】
ところで、本実施の形態では、第２の分光透過率Ｔ**（ｘ,ｙ）を算出する際に、色素Ｒ（赤血球を染色したエオジン）に関する項を除外していた（式（１１）を参照）。このため、第２の分光透過率Ｔ**（ｘ,ｙ）には、色素Ｒによる減衰分が含まれていない。その代わり、第１の分光透過率Ｔ^（ｘ,ｙ）に含まれていた色素Ｒに起因する光の減衰分は、差分スペクトルＴdiff（ｘ,ｙ）の方に含まれた状態で後の処理に渡されることとなる。
【００７１】
続いて、色素量補正部１０６は、色素量ｄHおよびｄEに係数（第１の係数）αHおよび
αEをそれぞれ乗じる補正を行う（ステップＳ６）。補正後の色素量は、それぞれαHｄHおよびαEｄEとなる。係数αHおよびαEの初期値はともに１であるが、後述するように操作部１１１からの入力によってそれらの値を変更することができる。なお、係数（第２の係数）βHおよびβEをさらに導入し、色素量をそれぞれαHｄH＋βHおよびαEｄE＋βEの形式で補正しても良い。この形式では、推定された色素量にバイアス成分を加えることができるので、係数を乗じるだけの場合とは異なる強調効果が得られる。係数βHおよびβEの初期値は、ともに０としておくと良い。このようにして補正された色素量は、記憶部１１２に記憶される。
【００７２】
上述したステップＳ６において色素Ｒの色素量ｄRを補正対象から除外するのは、色素Ｒが染色状態による影響を受け難く、通常鮮やかな赤色を呈し、実用上補正の必要性がないためである。加えて、色素Ｒは色素Ｈや色素Ｅと比較して色の彩度が高く、モデル化や計算過程において発生する誤差の影響で、最終的に出力されるＲＧＢ画像での発色が不自然になり易く、この傾向は色素量の補正を行うことによって更に強調される。従って、色素Ｒの色素量ｄRを補正したい何らかの積極的な理由がない限り、補正対象からは除外した方が好ましい。
【００７３】
本実施の形態では、色素Ｒを補正対象から除外するだけでなく、上記のごとく差分スペクトルＴdiff（ｘ,ｙ）に含めて処理することで、色素Ｒを含む領域（即ち赤血球領域）での誤差が最終的に出力されるＲＧＢ画像に及ぼす影響を軽減させている。
【００７４】
続いて、第３のスペクトル推定部１０７は、色素量補正部１０６で補正された色素量を記憶部１１２から読み出し、この読み出した色素量を変換して第３の分光透過率（第２の分光スペクトル）を合成する（ステップＳ７）。このステップＳ７では、背景技術の項で示した式（８）から色素Ｒに関する項を除去することによって次式（１３）を得る。
【数１５】
ここでｔ***（ｘ,ｙ,λ） は、第３の分光透過率のうち、波長λに対応する成分である。式（１３）を用いて求めた複数の波長に対するｔ***（ｘ,ｙ,λ）を行列形式にまとめたものをＴ***（ｘ,ｙ,λ）と記述すると、このＴ***（ｘ,ｙ,λ）は第３の分光透過率を表す。このようにして求められた第３の分光透過率データ は、記憶部１１２に記憶される。
【００７５】
この後、スペクトル加算部１０８は、第３のスペクトル推定部１０７で求めた第３の分光透過率Ｔ***（ｘ,ｙ,λ）と、スペクトル減算部１０５で求めた差分スペクトル
Ｔdiff（ｘ,ｙ,λ） とを記憶部１１２から読み出して加算し、第４の分光透過率（第３の分光スペクトル）
【数１６】
【００７６】
上述したように、差分スペクトルＴdiff（ｘ,ｙ）には、散乱や拡散の影響によるモデル化誤差、および色素Ｒ（赤血球を染色したエオジン）による光の減衰分が含まれている。これをLambert-Beerの法則でモデル化された色素Ｈおよび色素Ｅによる光の減衰分に加えることで、モデル化誤差の影響を抑えた精度の高い分光透過率データを算出することが可能となる。
【００７７】
次に、画像合成部１０９は、第４の分光透過率Ｔ~（ｘ,ｙ）を記憶部１１２から読み出し、この読み出した第４の分光透過率Ｔ~（ｘ,ｙ）を用いて表示用画像であるＲＧＢ画像を合成する（ステップＳ９）。具体的には、Ｔ~（ｘ,ｙ）をＲＧＢ値ＧRGB（ｘ,ｙ） に変換する際、式（２）におけるノイズ成分Ｎを除外した次式（１５）を用いる。
【数１７】
ここで行列Ｓは、ＲＧＢカメラ１０１５の分光感度特性に対応している。この分光感度特性は、マルチバンド画像を撮像したＲＧＢカメラ１０１５のものを用いるのが簡便であるが、他のＲＧＢカメラのものであっても構わない。このステップＳ９では、第４の分光透過率Ｔ~（ｘ,ｙ）をＲＧＢ値に変換する処理を全ての点（ｘ,ｙ）に対して反復して行うことにより、撮像したマルチバンド画像と同じ幅および高さを有するＲＧＢ画像が得られる。このようにして合成されたＲＧＢ画像は、記憶部１１２に記憶される。
【００７８】
表示部１１０は、画像合成部１０９で生成された後、記憶部１１２に記憶されているＲＧＢ画像を表示する。図７は、表示部１１０におけるＲＧＢ画像の表示例を示す図である。同図に示すＲＧＢ画像４１は、背景技術の項で説明した図１０のＲＧＢ画像５１と同じ箇所を撮像したものに本実施の形態に係る画像処理方法を実行することによって得られた画像である。このＲＧＢ画像４１をＲＧＢ画像５１とを比較した場合、ＲＧＢ画像４１の赤血球領域４１Ｒの方がＲＧＢ画像５１の赤血球領域５１Ｒよりも赤味を帯びており、画像内に不自然な色変動を生じることなく、より自然な色合いを呈している。また、ＲＧＢ画像４１では、それ以外の領域についても、全体的に自然な色合いを呈している。
【００７９】
なお、表示部１１０は、一般的なフラットパネルディスプレイ（液晶、有機ＥＬ等）またはＣＲＴディスプレイを使用すればよい。記憶部１１２に複数のＲＧＢ画像が記憶されている場合、表示するＲＧＢ画像をユーザーが選択できるような機構を加えても良い。
【００８０】
以上説明した画像処理方法において、ユーザー自身が調整可能な色素量の補正機能を提供することも可能である。この場合、ユーザーは、表示部１１０に表示されたＲＧＢ画像を観察しながら操作部１１１を操作することによって色素量を補正を指示する補正指示信号を入力する。この補正指示信号としては、例えば色素量補正部１０６で使用される係数
αHおよびαEを変更する指示が含まれる。操作部１１１は、スライダー２１（図８Ａ）、ダイヤル２２（図８Ｂ）、およびプッシュボタン２３（図８Ｃ）等の機器によって実現することができる。また、これらの機器を画面上で模擬的に表示するグラフィカルユーザーインターフェース３１（図９Ａ）、３２（図９Ｂ）、および３３（図９Ｃ）のいずれかを表示部１１０の画面に表示し、マウスやタッチパネルによって操作する構成としてもよい。このような操作部１１１を具備することにより、ユーザーは係数αHおよびαEの変更を含む補正指示信号の入力を簡便に行うことができる。
【００８１】
なお、図８Ａ〜図８Ｃ、および図９Ａ〜図９Ｃでは、一つ分の色素を補正する為の機器やグラフィカルユーザーインターフェースが図示されているが、これらを複数個または組み合わせたものを構成し、一または複数の色素の補正指示信号の入力を同時に行うことができるようにしてもよい。
【００８２】
このようにして操作部１１１から入力された補正指示信号に応じて、色素量補正部１０６において使用される係数αHおよびαE は直ちに変更され、色素量補正部１０６では色素量の補正処理（ステップＳ６）が再実行される。この色素量補正処理に続いて、第３のスペクトル推定部１０７、スペクトル加算部１０８、画像合成部１０９がそれぞれ上述した処理（ステップＳ７〜Ｓ９）を行い、再度合成されたＲＧＢ画像が表示部１１０に表示される（ステップＳ１０）。
【００８３】
ここで説明したユーザー自身による色素量の補正機能を画像処理装置１に具備させる場合には、高速なプロセッサを画像処理装置１に搭載することにより、色素量の補正操作の結果を直ちにＲＧＢ画像として反映させることができるので、ユーザーは操作内容を確認しながら色素量の補正を行うことができ、操作性を大きく向上させることができる。
【００８４】
以上説明した本発明の一実施の形態によれば、Lambert-Beerの法則を生体標本に適用する際の屈折や散乱等に起因するモデル化誤差を差分スペクトルとして処理することにより、モデル化誤差の影響を受け難い、精度の高い分光データ処理を行うことが可能となる。その結果、視覚的な提示を行う上でより好適なＲＧＢ画像を得ることができる。
【００８５】
なお、本実施の形態では、第２のスペクトル推定部１０４、色素量補正部１０６、第３のスペクトル推定部１０７において色素Ｒを色素量補正の対象から除外しているが、敢えて補正対象に加えたい場合は、式（１１）および（１３）の代わりに、それぞれ次式（１１）'および（１３）'を用いれば良い。
【数１８】
この場合、色素Ｒの色素量ｄRは、第１の係数αRや第２の係数βRを用いることにより、
αRｄRまたはαRｄR＋βRの形式で補正する。係数αRおよびβRの初期値はそれぞれ１および０であるが、操作部１１１からの入力によってそれらの値を変更可能な構成としてもよい。
【００８６】
また、本実施の形態では、第２のスペクトル推定部１０４および第３のスペクトル推定部１０７は別体としているが、第３のスペクトル推定部１０７において係数αHおよびαEをともに１とおけば、第２のスペクトル推定部１０４と同一の処理となる。従って、第２のスペクトル推定部１０４及び第３のスペクトル推定部１０７を同体とし、係数を切り替えて使い分ける構成にしても良い。このようにすることで装置構成を簡略化し、低コスト化を実現することができる。
【００８７】
画像処理装置１が備えるＣＰＵは、本実施の形態に係る画像処理方法を実行するための画像処理プログラムを記憶部１１２から読み出すことによってその画像処理方法に関する演算処理を実行する。なお、本実施の形態に係る画像処理プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。この意味で、画像処理装置１は、前述した各種記録媒体のいずれかを読み取り可能な補助記憶装置を具備してもよい。
【００８８】
以上、本発明を実施するための最良の形態を詳述してきたが、本発明は上述した一実施の形態によってのみ限定されるべきものではない。すなわち、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。
【図面の簡単な説明】
【００８９】
【図１】本発明の一実施の形態に係る画像処理装置の構成を示す図である。
【図２】本発明の実施の形態に係る画像処理方法の処理の概要を示す図である。
【図３】マルチバンド画像撮像部の構成を示す図である。
【図４】ＲＧＢフィルタの構成例を模式的に示す図である。
【図５】Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。
【図６Ａ】第１の光学フィルタの分光透過率特性を示す図である。
【図６Ｂ】第２の光学フィルタの分光透過率特性を示す図である。
【図７】表示部におけるＲＧＢ画像の表示例を示す図である。
【図８Ａ】操作部の構成例（第１例）を示す図である。
【図８Ｂ】操作部の構成例（第２例）を示す図である。
【図８Ｃ】操作部の構成例（第３例）を示す図である。
【図９Ａ】グラフィカルユーザーインターフェースの構成例（第１例）を示す図である。
【図９Ｂ】グラフィカルユーザーインターフェースの構成例（第２例）を示す図である。
【図９Ｃ】グラフィカルユーザーインターフェースの構成例（第３例）を示す図である。
【図１０】従来法によるＲＧＢ画像の表示例を示す図である。
【符号の説明】
【００９０】
１ 画像処理装置
２１ スライダー
２２ ダイヤル
２３ プッシュボタン
３１、３２、３３ グラフィカルユーザーインターフェース
４１、５１ ＲＧＢ画像
４１Ｒ、５１Ｒ 赤血球領域
１０１ マルチバンド画像撮像部
１０２ 第１のスペクトル推定部
１０３ 色素量推定部
１０４ 第２のスペクトル推定部
１０５ スペクトル減算部
１０６ 色素量補正部
１０７ 第３のスペクトル推定部
１０８ スペクトル加算部
１０９ 画像合成部
１１０ 表示部
１１１ 操作部
１１２ 記憶部
１１３ 制御部
２００ ＲＧＢフィルタ
１０１０ 標本保持部
１０１１ 照明部
１０１２ 光学系
１０１３ 光学フィルタ
１０１３ａ 第１の光学フィルタ
１０１３ｂ 第２の光学フィルタ
１０１４ 光学フィルタ切り替え部
１０１５ ＲＧＢカメラ
【技術分野】
【０００１】
本発明は、色素によって染色された生体標本の画像処理技術に関連し、具体的には、透過照明を用いて病理標本をマルチバンドで撮像した画像データから表示用画像を形成する画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
生体標本、特に病理標本では、臓器摘出によって得たブロック標本や針生検によって得た標本を厚さ数ミクロン程度に薄切した後、様々な所見を得る為に顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきた経緯もあって、最も普及している観察方法の一つである。この場合、薄切された生体標本は光を殆ど吸収したり散乱したりせず無色透明に近い為、観察に先立って色素による染色を施すのが一般的である。
【０００３】
従来、染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称する）が標準的に用いられている。
【０００４】
ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性がない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述した通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
【０００５】
エオジンは好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液には酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
【０００６】
Ｈ＆Ｅ染色後の標本では、細胞核、骨組織等が青紫色に、細胞質、結合織、赤血球等が赤色にそれぞれ染色され、容易に視認できるようになる。その結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握することができ、標本の状態を形態学的に判断することが可能となる。
【０００７】
生体標本の染色は、元々個体差を有する生体組織に対し、化学反応を用いて色素を固定する作業であるため、常に均一な結果を得ることが難しい。具体的には、同一濃度の染色液に同一時間標本を反応させた場合でも、固定される色素の量が同程度であるとは限らない。標本によっては比較的多くの色素が固定される場合や、比較的少ない色素しか固定されない場合がある。前者の場合には通常より濃く染色された標本となる一方、後者の場合には薄く染色された標本となる。このような染色のばらつきを抑えるため、専門の技能を有した染色技師を配置している施設もある。このような施設においては、染色技師の職人的な調整作業によって同一施設内での染色ばらつきをある程度軽減することはできるが、他の異なる施設との間の染色ばらつきまで軽減することはできない。
【０００８】
上述した染色ばらつきには、２つの問題がある。第１の問題は、人間が目視観察する場合、観察対象の状態が不揃いであることが観察者のストレスに繋がる可能性がある点である。特に重度のばらつきが生じている場合には、決定的な所見を見落とす可能性も否定できない。
【０００９】
第２の問題は、染色標本をカメラで撮像して画像処理する場合、染色ばらつきが処理精度に悪影響を及ぼす可能性がある点である。例えば、ある病変が特定の色を呈することが判っていたとしても、画像から自動的にそれを抽出することが難しくなる。病変による色変化を染色ばらつきが撹乱してしまうからである。
【００１０】
このような染色ばらつきの問題を、マルチバンド画像を用いた画像処理によって解決する手法が、下記非特許文献１に開示されている。この非特許文献１では、マルチバンド画像から染色標本に固定された色素の相対的な量（色素量）を所定の物理モデルに基づいて推定する。次に、推定された色素量を仮想的に増減させ、更に増減後の色素量を用いて仮想的な標本のカラー画像を合成する。色素量の増減を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。以下、非特許文献１で開示されている画像の補正技術についてより詳しく説明する。
【００１１】
先ず、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。このような撮像方式は、例えば下記特許文献１で開示されている。この撮像方式により、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。
【００１２】
色素は、本来観察対象となる染色標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることは出来ず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。従って、上述した標本の各点とは、投影された撮像素子の各画素に対応する標本上の点を意味している。
【００１３】
撮像された画像の位置（ｘ,ｙ）、バンドｂにおける画素値ｇ（ｘ,ｙ,ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ,ｙ,λ）の間には、次式（１）の関係が成り立つ。
【数１】
ここで、λは波長、ｆ（ｂ,λ）はｂ番目のフィルタの分光透過率、ｓ（λ） はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける撮像ノイズをそれぞれ表す。なお、ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。
【００１４】
実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
【数２】
ここで、波長方向のサンプル点数をＤ、バンド数をＢとすれば（但しＢ＝１６)、
Ｇ（ｘ,ｙ）は位置（ｘ,ｙ）における画素値ｇ（ｘ,ｙ,ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ,ｙ）はｔ（ｘ,ｙ,λ）に対応するＤ行１列の行列、Ｆは
ｆ（ｂ,λ）に対応するＢ行Ｄ列の行列である。ＳはＤ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。ＥもＤ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎはｎ（ｂ）に対応するＢ行１列の行列である。式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
【００１５】
次に、撮像したマルチバンド画像から、標本の各点における分光透過率を推定する。この際の推定手法としては、Wiener推定を用いる。
【数３】
【００１６】
次に、推定された分光透過率Ｔ^（ｘ,ｙ）に基づいて、標本の各点（ｘ,ｙ）における色素量を推定する。ここで推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンの３種類である。以後、簡単のため、前述した３種類の色素を順に色素Ｈ、色素Ｅ、色素Ｒと略記する。なお、厳密に言えば、染色を施さない状態であっても赤血球はそれ自身特有の色を有しており、Ｈ＆Ｅ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。よって、正確には赤血球自身の色と赤血球を染色したエオジンの色とを重畳して両者を併せたものを色素Ｒと呼称する。
【００１７】
一般に、光を透過する物質では、波長λ毎に入射光の強度Ｉ0（λ）と射出光の強度
Ｉ（λ）との間に、次式（４）で表されるLambert-Beerの法則が成り立つことが知られている。
【数４】
ここでｋ（λ）は、波長λに依存して決まる物質固有の値、ｄは物質の厚さを表す。また、式（４）の左辺は分光透過率を意味している。
【００１８】
Ｈ＆Ｅ染色標本が色素Ｈ、色素Ｅ、色素Ｒの３種類の色素で染色されている場合、Lambert-Beerの法則により各波長λにおいて次式（５）が成り立つ。
【数５】
ここで、ｋH（λ）,ｋE（λ）,ｋR（λ）は、それぞれ色素Ｈ、色素Ｅ、色素Ｒに対応したｋ（λ）を表す。またｄH、ｄE、ｄRは、それぞれ色素Ｈ、色素Ｅ、色素Ｒに対応した仮想的な厚さを表す。本来、色素は標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、相対的にどの程度の量の色素が存在しているか、という相対的な色素量を表す指標となる。即ち、ｄH、ｄE、ｄRは、それぞれ色素Ｈ、色素Ｅ、色素Ｒの色素量を表していると言える。
ｋH（λ）,ｋE（λ）,ｋR（λ）は、単一の色素で染色した標本を予め作成し、その分光透過率を分光計で測定すれば、式（４）から容易に求めることができる。
【００１９】
式（５）の両辺の自然対数を取ると、次式（６）が得られる。
【数６】
式（３）を用いて求めた標本上の位置（ｘ,ｙ）における分光透過率の推定値
Ｔ^（ｘ,ｙ）の波長λに対応する要素をｔ^（ｘ,ｙ,λ）と表記し、このｔ^（ｘ,ｙ,λ）を式（６）に代入することによって次式（７）を得る。
【数７】
この式（７）において、未知変数はｄH, ｄE, ｄRの３つであるから、少なくとも３つの異なる波長λに対して式（７）を連立させて解くことができる。より精度を高める為に、４つ以上の異なる波長λに対して式（７）を連立させ、重回帰分析を行っても良い。
【００２０】
色素量ｄH, ｄE, ｄRが一度求まれば、これを修正することによって標本における色素量の変化をシミュレートすることができる。即ち、適当な係数αH, αE, αRをそれぞれｄH, ｄE, ｄRに乗じて式（５）に代入すれば、新たな分光透過率ｔ*（ｘ,ｙ,λ）として次式（８）を得る。
【数８】
この式（８）を式（１）に代入すれば、色素量を仮想的に変化させた標本の画像を合成することができる。ただしこの場合には、ノイズｎ（ｂ）をゼロとして計算して良い。
【００２１】
以上の手順により、染色標本の色素量を仮想的に調整することが可能となる。適当なユーザーインターフェースを用意すれば、ユーザーが自ら色素量の調整を行い、その結果を画像で確認できるようになる。従って、染色標本に染色ばらつきがあっても、ユーザーは適正な染色状態に調整してから観察することが可能となり、染色ばらつきの問題を解決することができる。
【００２２】
【特許文献１】特開平７−１２０３２４号公報
【非特許文献１】Tokiya Abe et al.,“Color Correction of Pathological Images Based on Dye Amount Quantification", OPTICAL REVIEW Vol.12, No.4 (2005) 293-300.
【発明の開示】
【発明が解決しようとする課題】
【００２３】
ところで、上述した非特許文献１に記載の手法を実在するＨ＆Ｅ染色された多数の病理標本に適用してみたところ、以下のような問題があることが判明した。
【００２４】
第１に、標本内に固定された２種類の色素、ヘマトキシリンとエオジンの空間色素量分布を推定してみると、細胞核におけるヘマトキシリンの色素量や細胞質におけるエオジンの色素量は問題無く推定できる一方、赤血球におけるエオジンの色素量が不自然に大きな値として推定されることが判った。これは、染色時の化学反応により、赤血球内のエオジンが本来とは異なる色を呈するためであり、視覚的には本来のエオジンとは異なる分光特性を有する別の色素であるかのように振る舞うためである。従って、赤血球以外の細胞質に含まれるエオジンと赤血球に含まれるエオジンとは分けて考える必要があることが判明した。
【００２５】
第２に、色素をヘマトキシリン、赤血球以外の細胞質に含まれる通常のエオジン、赤血球に含まれる変化したエオジンの３種類として、色素量の空間分布を推定したところ、一見して３種それぞれの色素量が問題なく推定でき、結果にも不自然さがないように感じられた。しかしながら、実際に推定された色素量分布上の点でLambert-Beerの法則を用いてその色素量に対応する分光透過率特性を導出し、更に撮像系の分光感度特性を用いてＲＧＢ値に変換してみると、赤血球領域が本来の赤色とは異なった、不自然な赤橙色を呈することが判明した。推定された色素量分布を係数補正した上で、上記手順によってＲＧＢ値に変換すると、赤血球領域の色の不自然さは更に強調される傾向があることも判った。図１０に、非特許文献１の手法によって生成した画像の例を示す。同図に示すＲＧＢ画像５１では、赤血球領域５１Ｒが上記の如く不自然な赤橙色を呈している。
【００２６】
上述した非特許文献１は、マルチバンド画像を用いた画像処理によって染色ばらつきの問題を解決することを目的としていた。この手法は、対象の観察範囲に赤血球が含まれない場合は問題なく機能し、良好な結果が得られる。しかしながら、実際には、観察範囲に赤血球が含まれることは珍しいことではなく、このような場合には不自然な色を呈する赤血球が画像内に含まれることとなる。これは、細胞核や細胞質での染色ばらつきが補正されたにも関わらず、赤血球領域が新たな色の変動要因となることを意味し、上述した手法で改善が必要な点であると言える。
【００２７】
本発明は、上記に鑑みてなされたものであって、画像内に不自然な色変動を引き起こすことがなく、染色色素量を仮想的に調整する機能を含めた画像処理を用いて染色ばらつきを補正することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２８】
上述した課題を解決し、目的を達成するために、請求項１記載の発明は、撮像された画像に対して画像処理を施す画像処理装置であって、前記画像に関する画像情報を記憶する記憶部と、前記画像情報を前記記憶部から読み出し、この読み出した前記画像情報をもとに対象の分光スペクトルを推定する第１のスペクトル推定部と、前記第１のスペクトル推定部で推定された対象の分光スペクトルを用いて前記対象に含まれる複数の色素量を推定する色素量推定部と、前記色素量推定部で推定された複数の色素量を用いて第１の分光スペクトルを合成する第２のスペクトル推定部と、前記第２のスペクトル推定部で合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出するスペクトル減算部と、前記色素量推定部で推定された複数の色素量の少なくとも一部を補正する色素量補正部と、前記色素量補正部で補正された色素量を用いて第２の分光スペクトルを合成する第３のスペクトル推定部と、前記第３のスペクトル推定部で合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成するスペクトル加算部と、前記スペクトル加算部で合成された第３の分光スペクトルから表示用画像を合成する画像合成部と、を備えたことを特徴とする。
【００２９】
請求項２に記載の発明は、請求項１に記載の発明において、前記表示用画像はＲＧＢ画像であることを特徴とする。
【００３０】
請求項３に記載の発明は、請求項１または２に記載の発明において、前記対象の分光スペクトルから推定される色素量の数が、前記第１の分光スペクトルの合成に使用される色素量の数より多いことを特徴とする。
【００３１】
請求項４に記載の発明は、請求項１または２に記載の発明において、前記対象の分光スペクトルから推定される色素量の数が、前記第１の分光スペクトルの合成に使用される色素量の数と等しいことを特徴とする。
【００３２】
請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の発明において、前記第１の分光スペクトルの合成に使用される色素量の数と前記第２の分光スペクトルの合成に使用される色素量の数とが等しいことを特徴とする。
【００３３】
請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の発明において、前記表示用画像を表示する表示部をさらに備えたことを特徴とする。
【００３４】
請求項７に記載の発明は、請求項１〜６のいずれか一項に記載の発明において、色素量の補正を指示する補正指示信号が入力される操作部をさらに備えたことを特徴とする。
【００３５】
請求項８に記載の発明は、請求項７に記載の発明において、前記補正指示信号には、前記色素量を補正する際に用いる係数に関する情報が含まれることを特徴とする。
【００３６】
請求項９に記載の発明は、請求項７または８に記載の発明において、前記操作部は、スライダー、ダイヤル、およびプッシュボタンのうちいずれか一つを含むことを特徴とする。
【００３７】
請求項１０に記載の発明は、請求項７または８に記載の発明において、前記操作部は、スライダー、ダイヤル、およびプッシュボタンのいずれか一つを模したグラフィカルユーザーインターフェースを含むことを特徴とする。
【００３８】
請求項１１に記載の発明は、請求項１０に記載の発明において、前記グラフィカルユーザーインターフェースは、前記表示用画像と同一の画面内に表示されることを特徴とする。
【００３９】
請求項１２に記載の発明は、請求項１〜１１のいずれか一項に記載の発明において、前記色素量補正部は、第１の係数を前記色素量に乗じることによって前記色素量を補正することを特徴とする。
【００４０】
請求項１３に記載の発明は、請求項１〜１２のいずれか一項に記載の発明において、前記色素量補正部は、第２の係数を前記色素量に加えることによって前記色素量を補正することを特徴とする。
【００４１】
請求項１４に記載の発明は、請求項７〜１３のいずれか一項に記載の発明において、前記色素量補正部、前記第３のスペクトル推定部、前記スペクトル加算部、および前記画像合成部は、前記操作部によって入力された前記補正指示信号の内容に基づく処理を行い、前記表示部は、前記補正指示信号の内容に基づく処理が反映された前記表示用画像を表示することを特徴とする。
【００４２】
請求項１５に記載の発明は、請求項１〜１４のいずれか一項に記載の発明において、前記対象は染色された生体標本であることを特徴とする。
【００４３】
請求項１６に記載の発明は、請求項１５に記載の発明において、前記対象は病理標本であることを特徴とする。
【００４４】
請求項１７に記載の発明は、請求項１６に記載の発明において、前記色素量推定部で推定される色素量は、ヘマトキシリンおよびエオジンを含むことを特徴とする。
【００４５】
請求項１８に記載の発明は、請求項１７に記載の発明において、前記色素量推定部で推定される色素量は、赤血球を染色したエオジンをさらに含むことを特徴とする。
【００４６】
請求項１９に記載の発明は、請求項１〜１８のいずれか一項に記載の発明において、前記第１のスペクトル推定部は、前記対象の分光スペクトルを推定する際にWiener推定を用いることを特徴とする。
【００４７】
請求項２０に記載の発明は、請求項１〜１９のいずれか一項に記載の発明において、前記第１のスペクトル推定部は、前記対象に含まれる複数の色素量を推定する際にLambert-Beerの法則を用いることを特徴とする。
【００４８】
請求項２１に記載の発明は、撮像された画像に対して画像処理を施すことが可能であり、前記画像に関する画像情報を記憶する記憶部を備えたコンピュータが行う画像処理方法であって、前記画像情報を前記記憶部から読み出し、この読み出した前記画像情報をもとに対象の分光スペクトルを推定する第１のスペクトル推定ステップと、前記第１のスペクトル推定ステップで推定された対象の分光スペクトルを用いて前記対象に含まれる複数の色素量を推定する色素量推定ステップと、前記色素量推定ステップで推定された複数の色素量を用いて第１の分光スペクトルを合成する第２のスペクトル推定ステップと、前記第２のスペクトル推定ステップで合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出するスペクトル減算ステップと、前記色素量推定ステップで推定された複数の色素量の少なくとも一部を補正する色素量補正ステップと、前記色素量補正ステップで補正された色素量を用いて第２の分光スペクトルを合成する第３のスペクトル推定ステップと、前記第３のスペクトル推定ステップで合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成するスペクトル加算ステップと、前記スペクトル加算ステップで合成された第３の分光スペクトルから表示用画像を合成する画像合成ステップと、を有することを特徴とする。
【００４９】
請求項２２に記載の発明に係る画像処理プログラムは、撮像された画像に対して画像処理を施すことが可能であり、前記画像に関する画像情報を記憶する記憶部を備えたコンピュータに、前記画像情報を前記記憶部から読み出し、この読み出した前記画像情報をもとに対象の分光スペクトルを推定する第１のスペクトル推定ステップ、前記第１のスペクトル推定ステップで推定された対象の分光スペクトルを用いて前記対象に含まれる複数の色素量を推定する色素量推定ステップ、前記色素量推定ステップで推定された複数の色素量を用いて第１の分光スペクトルを合成する第２のスペクトル推定ステップ、前記第２のスペクトル推定ステップで合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出するスペクトル減算ステップ、前記色素量推定ステップで推定された複数の色素量の少なくとも一部を補正する色素量補正ステップ、前記色素量補正ステップで補正された色素量を用いて第２の分光スペクトルを合成する第３のスペクトル推定ステップ、前記第３のスペクトル推定ステップで合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成するスペクトル加算ステップ、前記スペクトル加算ステップで合成された第３の分光スペクトルから表示用画像を合成する画像合成ステップ、を実行させることを特徴とする。
【発明の効果】
【００５０】
本発明によれば、撮像した画像に関する画像情報をもとに対象の分光スペクトルを推定し、推定された対象の分光スペクトルから前記対象に含まれる複数の色素量を推定し、この推定された複数の色素量を用いて第１の分光スペクトルを合成し、合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出する一方、推定された複数の色素量の少なくとも一部を補正し、この補正された色素量を用いて第２の分光スペクトルを合成した後、合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成し、この合成された第３の分光スペクトルから表示用画像を合成することにより、画像内に不自然な色変動を引き起こすことがなく、染色色素量を仮想的に調整する機能を含めた画像処理を用いて染色ばらつきを補正することができる。
【発明を実施するための最良の形態】
【００５１】
以下、添付図面を参照して本発明を実施するための最良の形態（以後、「実施の形態」と称する）を説明する。
【００５２】
本実施の形態では、２種類の光学フィルタとＲＧＢカメラとを用いて、Ｈ＆Ｅ染色された病理標本の６バンド画像を撮像し、対象の各点に対して分光透過率特性と色素量とを推定する。その後、推定された色素量を補正し、補正後の色素量を用いて再度分光透過率特性に変換し、ＲＧＢ値に変換する。本実施の形態においては、色素量から分光透過率への変換の際にヘマトキシリンと赤血球以外の細胞質に含まれるエオジンの色素量のみを用い、他の成分は差分スペクトルとして処理する点が特徴的である。
【００５３】
図１は、本実施の形態に係る画像処理装置１の構成を示す図である。同図に示す画像処理装置１は、マルチバンド画像撮像部１０１、第１のスペクトル推定部１０２、色素量推定部１０３、第２のスペクトル推定部１０４、スペクトル減算部１０５、色素量補正部１０６、第３のスペクトル推定部１０７、スペクトル加算部１０８、画像合成部１０９、表示部１１０、操作部１１１、記憶部１１２、およびこれら全体の動作を制御する制御部１１３を備える。なお、図１において、制御部１１３から各部への接続は省略している。この画像処理装置１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータによって構成される。
【００５４】
図２は、本実施の形態に係る画像処理方法の概要を示す図である。以下、図１および図２を用いて、画像処理装置１の機能構成および画像処理方法の概要を説明する。
【００５５】
先ず、マルチバンド画像撮像部１０１において、対象となる標本を６バンドのマルチバンド画像として撮像する（ステップＳ１）。マルチバンド画像撮像部１０１は、図３に示すように、標本保持部１０１０、照明部１０１１、光学系１０１２、光学フィルタ１０１３、光学フィルタ切り替え部１０１４、ＲＧＢカメラ１０１５から構成される。
【００５６】
ここで使用するＲＧＢカメラ１０１５は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢフィルタを配置したものである。図４は、ＲＧＢフィルタの構成例を模式的に示す図である。同図に示すＲＧＢフィルタ２００を用いる場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することができないが、各々の近傍の画素値を利用することにより、不足するＲ，Ｇ，Ｂ成分を補間する手法が採用される。なお、この手法は、例えば特許第３５１００３７号公報で開示されている。
【００５７】
これに対して、３ＣＣＤタイプのカメラを用いて撮像することも可能である。この場合には、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得することができる。
【００５８】
本実施の形態では、上述したうちいずれの撮像方法を用いても構わないが、以下に説明する処理では、ＲＧＢカメラ１０１５で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。
【００５９】
照明部１０１１によって照射された光は、標本保持部１０１０に設置された標本Ｏを透過する。透過光は光学系１０１２及び光学フィルタ１０１３を経由した後、ＲＧＢカメラ１０１５の撮像素子上に結像する。光学フィルタ１０１３は、照明部１０１１からＲＧＢカメラ１０１５に至る光路上のいずれかの位置に設置されていれば良い。照明部１０１１からの照明光を、光学系１０１２を経由しＲＧＢカメラ１０１５で撮像する際のＲ，Ｇ，Ｂ各バンドの分光感度の例を図５に示す。
【００６０】
光学フィルタ１０１３は、図６Ａに示す分光透過率特性を有する第１の光学フィルタ１０１３ａおよび図６Ｂに示す分光透過率特性を有する第２の光学フィルタ１０１３ｂから構成されており、例えば最初に第１の光学フィルタ１０１３ａを用いて第１の撮像を行った後、光学フィルタ切り替え部１０１４によって第２の光学フィルタ１０１３ｂへ切り替えられ、第２の撮像を行う。第１および第２の撮像ではそれぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。撮像されたマルチバンド画像は、記憶部１１２に記憶される。
【００６１】
次に、第１のスペクトル推定部１０２が、マルチバンド画像撮像部１０１で撮像された６バンドのマルチバンド画像に関する画像情報を記憶部１１２から読み出し、この読み出した画像情報をもとに第１の分光透過率（対象の分光スペクトル）を推定する（ステップＳ２）。以後の処理は、上述した非特許文献１に記載されたのと同様の手順に従って行い、このステップＳ２における推定手法として、非特許文献１と同様にWiener推定を用いる。具体的には、まず背景技術でも説明した式（３）
【数９】
を用いてマルチバンド画像上の点（ｘ,ｙ）における画素値の行列表現Ｇ（ｘ,ｙ）を変換することで対応する標本上の点における分光透過率の行列表現Ｔ^（ｘ,ｙ）を推定する。このとき、Ｔ^（ｘ,ｙ）は第１の分光透過率の推定値を表す。以後、分光透過率の推定値のことを単に「分光透過率」と称する。なお、式（３）の各記号の意味は、背景技術の項で説明した通りである。
【００６２】
ここで、光学フィルタ１０１３の分光透過率Ｆ、ＲＧＢカメラ１０１５の分光感度特性Ｓ、照明部１０１１の分光放射特性Ｅは、使用する機器を選定の後、分光計を用いて予め測定しておく。なお、ここでは光学系１０１２の分光透過率は１.０と近似しているが、この近似値１.０からの乖離が許容できない場合には、光学系１０１２の分光透過率も予め測定し、照明の分光放射特性Ｅに乗じておけばよい。
【００６３】
標本の分光透過率の共分散行列ＲSSは、Ｈ＆Ｅ染色された典型的な病理標本を用意し、複数の点の分光透過率を分光計で測定し、共分散行列を求めることによって得られる。この際には、統計的な精度を高める為に、標本内での偏り無く１００点程度の測定を行った方が良い。これに対して、カメラのノイズの共分散行列ＲNNは、標本を設置しない状態でマルチバンド画像撮像部１０１による第１および第２の撮像を行い、得られた６バンドの画像の各バンドについて画素値の分散を求め、これを対角成分とする行列を生成することによって得られる。但し、バンド間でノイズの相関は無いと仮定している。このようにして得られた第１の分光透過率Ｔ^（ｘ,ｙ）は、記憶部１１２に記憶される。
【００６４】
続いて、色素量推定部１０３は、第１のスペクトル推定部１０２で推定された第１の分光透過率Ｔ^（ｘ,ｙ）を記憶部１１２から読み出し、この読み出した第１の分光透過率
Ｔ^（ｘ,ｙ）を変換することで色素量の推定を行う（ステップＳ３）。ここで処理の対象とする色素は、非特許文献１と同様、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンであり、それぞれ色素Ｈ、色素Ｅ、色素Ｒと略記する。具体的な処理は、Lambert-Beerの法則より導かれた次式（７）
【数１０】
を複数の波長λに関して連立させ、これをｄH, ｄE, ｄRについて解く。式（７）の各記号の意味は上述した通りであり、特にｔ^（ｘ,ｙ,λ）は行列Ｔ^（ｘ,ｙ,λ）の波長 λに対応する要素である。
【００６５】
一例として、３つの波長λ1、λ2、λ3について式（７）を連立させた場合を考えると、次式（９）のように行列表記できる。
【数１１】
【００６６】
従って、ｄH, ｄE, ｄRは、次式（１０）のように計算される。
【数１２】
このようにして推定された色素量ｄH, ｄE, ｄRは、記憶部１１２に記憶される。
【００６７】
この後、第２のスペクトル推定部１０４は、色素量推定部１０３で推定された色素量を記憶部１１２から読み出し、この読み出した色素量を変換して第２の分光透過率（第１の分光スペクトル）を合成する（ステップＳ４）。このステップＳ４では、式（８）から色素Ｒに関する項を除去し、係数αHおよびαEをともに１とおくことにより得た次式（１１）を用いる。
【数１３】
ここでｔ**（ｘ,ｙ,λ）は、第２の分光透過率のうち、波長λに対応する成分である。式（１１）を用いて求めた複数の波長λに対するｔ**（ｘ,ｙ,λ）を行列形式にまとめたものをＴ**（ｘ,ｙ,λ）と記述すると、このＴ**（ｘ,ｙ,λ）は第２の分光透過率を表す。このようにして求められた第２の分光透過率Ｔ**（ｘ,ｙ,λ）は、記憶部１１２に記憶される。
【００６８】
次に、スペクトル減算部１０５は、第１の分光透過率Ｔ^（ｘ,ｙ）および第２の分光透過率Ｔ***（ｘ,ｙ）を記憶部１１２から読み出し、第１の分光透過率Ｔ^（ｘ,ｙ）から第２の分光透過率Ｔ***（ｘ,ｙ）を減算することにより、差分スペクトル
【数１４】
を算出する（ステップＳ５）。式（１２）によって求めた差分スペクトルＴdiff（ｘ,ｙ）は、記憶部１１２に記憶される。
【００６９】
ここで、差分スペクトルＴdiff（ｘ,ｙ）を求める理由は以下の通りである。色素量推定部１０３は、第１のスペクトル推定部１０２で推定された第１の分光透過率Ｔ^（ｘ,ｙ）を色素量に変換するが、この際に用いる物理モデルはLambert-Beerの法則のみである。Lambert-Beerの法則は、屈折や散乱が無いと仮定した場合に半透明物体を透過する光の減衰を定式化したものであるが、実際の染色標本では屈折も散乱も起こり得る。そのため、染色標本による光の減衰をLambert-Beerの法則のみでモデル化した場合、このモデル化に伴った誤差が発生し、第１の分光透過率Ｔ^（ｘ,ｙ）から推定された色素量を再度Lambert-Beerの法則に当てはめて染色標本の分光透過率を算出したとしても、一般に第１の分光透過率Ｔ^（ｘ,ｙ）とは一致しない。しかしながら、生体標本内での屈折や散乱を含めたモデルの構築は極めて困難であり、実用上は実行不可能である。そこで、本実施の形態においては、屈折や散乱の影響を含めたモデル化の誤差を差分スペクトルとして取り出し、モデル化が可能な情報と組み合わせることにより、全体的な精度を向上させる構成としている。
【００７０】
ところで、本実施の形態では、第２の分光透過率Ｔ**（ｘ,ｙ）を算出する際に、色素Ｒ（赤血球を染色したエオジン）に関する項を除外していた（式（１１）を参照）。このため、第２の分光透過率Ｔ**（ｘ,ｙ）には、色素Ｒによる減衰分が含まれていない。その代わり、第１の分光透過率Ｔ^（ｘ,ｙ）に含まれていた色素Ｒに起因する光の減衰分は、差分スペクトルＴdiff（ｘ,ｙ）の方に含まれた状態で後の処理に渡されることとなる。
【００７１】
続いて、色素量補正部１０６は、色素量ｄHおよびｄEに係数（第１の係数）αHおよび
αEをそれぞれ乗じる補正を行う（ステップＳ６）。補正後の色素量は、それぞれαHｄHおよびαEｄEとなる。係数αHおよびαEの初期値はともに１であるが、後述するように操作部１１１からの入力によってそれらの値を変更することができる。なお、係数（第２の係数）βHおよびβEをさらに導入し、色素量をそれぞれαHｄH＋βHおよびαEｄE＋βEの形式で補正しても良い。この形式では、推定された色素量にバイアス成分を加えることができるので、係数を乗じるだけの場合とは異なる強調効果が得られる。係数βHおよびβEの初期値は、ともに０としておくと良い。このようにして補正された色素量は、記憶部１１２に記憶される。
【００７２】
上述したステップＳ６において色素Ｒの色素量ｄRを補正対象から除外するのは、色素Ｒが染色状態による影響を受け難く、通常鮮やかな赤色を呈し、実用上補正の必要性がないためである。加えて、色素Ｒは色素Ｈや色素Ｅと比較して色の彩度が高く、モデル化や計算過程において発生する誤差の影響で、最終的に出力されるＲＧＢ画像での発色が不自然になり易く、この傾向は色素量の補正を行うことによって更に強調される。従って、色素Ｒの色素量ｄRを補正したい何らかの積極的な理由がない限り、補正対象からは除外した方が好ましい。
【００７３】
本実施の形態では、色素Ｒを補正対象から除外するだけでなく、上記のごとく差分スペクトルＴdiff（ｘ,ｙ）に含めて処理することで、色素Ｒを含む領域（即ち赤血球領域）での誤差が最終的に出力されるＲＧＢ画像に及ぼす影響を軽減させている。
【００７４】
続いて、第３のスペクトル推定部１０７は、色素量補正部１０６で補正された色素量を記憶部１１２から読み出し、この読み出した色素量を変換して第３の分光透過率（第２の分光スペクトル）を合成する（ステップＳ７）。このステップＳ７では、背景技術の項で示した式（８）から色素Ｒに関する項を除去することによって次式（１３）を得る。
【数１５】
ここでｔ***（ｘ,ｙ,λ） は、第３の分光透過率のうち、波長λに対応する成分である。式（１３）を用いて求めた複数の波長に対するｔ***（ｘ,ｙ,λ）を行列形式にまとめたものをＴ***（ｘ,ｙ,λ）と記述すると、このＴ***（ｘ,ｙ,λ）は第３の分光透過率を表す。このようにして求められた第３の分光透過率データ は、記憶部１１２に記憶される。
【００７５】
この後、スペクトル加算部１０８は、第３のスペクトル推定部１０７で求めた第３の分光透過率Ｔ***（ｘ,ｙ,λ）と、スペクトル減算部１０５で求めた差分スペクトル
Ｔdiff（ｘ,ｙ,λ） とを記憶部１１２から読み出して加算し、第４の分光透過率（第３の分光スペクトル）
【数１６】
【００７６】
上述したように、差分スペクトルＴdiff（ｘ,ｙ）には、散乱や拡散の影響によるモデル化誤差、および色素Ｒ（赤血球を染色したエオジン）による光の減衰分が含まれている。これをLambert-Beerの法則でモデル化された色素Ｈおよび色素Ｅによる光の減衰分に加えることで、モデル化誤差の影響を抑えた精度の高い分光透過率データを算出することが可能となる。
【００７７】
次に、画像合成部１０９は、第４の分光透過率Ｔ~（ｘ,ｙ）を記憶部１１２から読み出し、この読み出した第４の分光透過率Ｔ~（ｘ,ｙ）を用いて表示用画像であるＲＧＢ画像を合成する（ステップＳ９）。具体的には、Ｔ~（ｘ,ｙ）をＲＧＢ値ＧRGB（ｘ,ｙ） に変換する際、式（２）におけるノイズ成分Ｎを除外した次式（１５）を用いる。
【数１７】
ここで行列Ｓは、ＲＧＢカメラ１０１５の分光感度特性に対応している。この分光感度特性は、マルチバンド画像を撮像したＲＧＢカメラ１０１５のものを用いるのが簡便であるが、他のＲＧＢカメラのものであっても構わない。このステップＳ９では、第４の分光透過率Ｔ~（ｘ,ｙ）をＲＧＢ値に変換する処理を全ての点（ｘ,ｙ）に対して反復して行うことにより、撮像したマルチバンド画像と同じ幅および高さを有するＲＧＢ画像が得られる。このようにして合成されたＲＧＢ画像は、記憶部１１２に記憶される。
【００７８】
表示部１１０は、画像合成部１０９で生成された後、記憶部１１２に記憶されているＲＧＢ画像を表示する。図７は、表示部１１０におけるＲＧＢ画像の表示例を示す図である。同図に示すＲＧＢ画像４１は、背景技術の項で説明した図１０のＲＧＢ画像５１と同じ箇所を撮像したものに本実施の形態に係る画像処理方法を実行することによって得られた画像である。このＲＧＢ画像４１をＲＧＢ画像５１とを比較した場合、ＲＧＢ画像４１の赤血球領域４１Ｒの方がＲＧＢ画像５１の赤血球領域５１Ｒよりも赤味を帯びており、画像内に不自然な色変動を生じることなく、より自然な色合いを呈している。また、ＲＧＢ画像４１では、それ以外の領域についても、全体的に自然な色合いを呈している。
【００７９】
なお、表示部１１０は、一般的なフラットパネルディスプレイ（液晶、有機ＥＬ等）またはＣＲＴディスプレイを使用すればよい。記憶部１１２に複数のＲＧＢ画像が記憶されている場合、表示するＲＧＢ画像をユーザーが選択できるような機構を加えても良い。
【００８０】
以上説明した画像処理方法において、ユーザー自身が調整可能な色素量の補正機能を提供することも可能である。この場合、ユーザーは、表示部１１０に表示されたＲＧＢ画像を観察しながら操作部１１１を操作することによって色素量を補正を指示する補正指示信号を入力する。この補正指示信号としては、例えば色素量補正部１０６で使用される係数
αHおよびαEを変更する指示が含まれる。操作部１１１は、スライダー２１（図８Ａ）、ダイヤル２２（図８Ｂ）、およびプッシュボタン２３（図８Ｃ）等の機器によって実現することができる。また、これらの機器を画面上で模擬的に表示するグラフィカルユーザーインターフェース３１（図９Ａ）、３２（図９Ｂ）、および３３（図９Ｃ）のいずれかを表示部１１０の画面に表示し、マウスやタッチパネルによって操作する構成としてもよい。このような操作部１１１を具備することにより、ユーザーは係数αHおよびαEの変更を含む補正指示信号の入力を簡便に行うことができる。
【００８１】
なお、図８Ａ〜図８Ｃ、および図９Ａ〜図９Ｃでは、一つ分の色素を補正する為の機器やグラフィカルユーザーインターフェースが図示されているが、これらを複数個または組み合わせたものを構成し、一または複数の色素の補正指示信号の入力を同時に行うことができるようにしてもよい。
【００８２】
このようにして操作部１１１から入力された補正指示信号に応じて、色素量補正部１０６において使用される係数αHおよびαE は直ちに変更され、色素量補正部１０６では色素量の補正処理（ステップＳ６）が再実行される。この色素量補正処理に続いて、第３のスペクトル推定部１０７、スペクトル加算部１０８、画像合成部１０９がそれぞれ上述した処理（ステップＳ７〜Ｓ９）を行い、再度合成されたＲＧＢ画像が表示部１１０に表示される（ステップＳ１０）。
【００８３】
ここで説明したユーザー自身による色素量の補正機能を画像処理装置１に具備させる場合には、高速なプロセッサを画像処理装置１に搭載することにより、色素量の補正操作の結果を直ちにＲＧＢ画像として反映させることができるので、ユーザーは操作内容を確認しながら色素量の補正を行うことができ、操作性を大きく向上させることができる。
【００８４】
以上説明した本発明の一実施の形態によれば、Lambert-Beerの法則を生体標本に適用する際の屈折や散乱等に起因するモデル化誤差を差分スペクトルとして処理することにより、モデル化誤差の影響を受け難い、精度の高い分光データ処理を行うことが可能となる。その結果、視覚的な提示を行う上でより好適なＲＧＢ画像を得ることができる。
【００８５】
なお、本実施の形態では、第２のスペクトル推定部１０４、色素量補正部１０６、第３のスペクトル推定部１０７において色素Ｒを色素量補正の対象から除外しているが、敢えて補正対象に加えたい場合は、式（１１）および（１３）の代わりに、それぞれ次式（１１）'および（１３）'を用いれば良い。
【数１８】
この場合、色素Ｒの色素量ｄRは、第１の係数αRや第２の係数βRを用いることにより、
αRｄRまたはαRｄR＋βRの形式で補正する。係数αRおよびβRの初期値はそれぞれ１および０であるが、操作部１１１からの入力によってそれらの値を変更可能な構成としてもよい。
【００８６】
また、本実施の形態では、第２のスペクトル推定部１０４および第３のスペクトル推定部１０７は別体としているが、第３のスペクトル推定部１０７において係数αHおよびαEをともに１とおけば、第２のスペクトル推定部１０４と同一の処理となる。従って、第２のスペクトル推定部１０４及び第３のスペクトル推定部１０７を同体とし、係数を切り替えて使い分ける構成にしても良い。このようにすることで装置構成を簡略化し、低コスト化を実現することができる。
【００８７】
画像処理装置１が備えるＣＰＵは、本実施の形態に係る画像処理方法を実行するための画像処理プログラムを記憶部１１２から読み出すことによってその画像処理方法に関する演算処理を実行する。なお、本実施の形態に係る画像処理プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。この意味で、画像処理装置１は、前述した各種記録媒体のいずれかを読み取り可能な補助記憶装置を具備してもよい。
【００８８】
以上、本発明を実施するための最良の形態を詳述してきたが、本発明は上述した一実施の形態によってのみ限定されるべきものではない。すなわち、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。
【図面の簡単な説明】
【００８９】
【図１】本発明の一実施の形態に係る画像処理装置の構成を示す図である。
【図２】本発明の実施の形態に係る画像処理方法の処理の概要を示す図である。
【図３】マルチバンド画像撮像部の構成を示す図である。
【図４】ＲＧＢフィルタの構成例を模式的に示す図である。
【図５】Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。
【図６Ａ】第１の光学フィルタの分光透過率特性を示す図である。
【図６Ｂ】第２の光学フィルタの分光透過率特性を示す図である。
【図７】表示部におけるＲＧＢ画像の表示例を示す図である。
【図８Ａ】操作部の構成例（第１例）を示す図である。
【図８Ｂ】操作部の構成例（第２例）を示す図である。
【図８Ｃ】操作部の構成例（第３例）を示す図である。
【図９Ａ】グラフィカルユーザーインターフェースの構成例（第１例）を示す図である。
【図９Ｂ】グラフィカルユーザーインターフェースの構成例（第２例）を示す図である。
【図９Ｃ】グラフィカルユーザーインターフェースの構成例（第３例）を示す図である。
【図１０】従来法によるＲＧＢ画像の表示例を示す図である。
【符号の説明】
【００９０】
１ 画像処理装置
２１ スライダー
２２ ダイヤル
２３ プッシュボタン
３１、３２、３３ グラフィカルユーザーインターフェース
４１、５１ ＲＧＢ画像
４１Ｒ、５１Ｒ 赤血球領域
１０１ マルチバンド画像撮像部
１０２ 第１のスペクトル推定部
１０３ 色素量推定部
１０４ 第２のスペクトル推定部
１０５ スペクトル減算部
１０６ 色素量補正部
１０７ 第３のスペクトル推定部
１０８ スペクトル加算部
１０９ 画像合成部
１１０ 表示部
１１１ 操作部
１１２ 記憶部
１１３ 制御部
２００ ＲＧＢフィルタ
１０１０ 標本保持部
１０１１ 照明部
１０１２ 光学系
１０１３ 光学フィルタ
１０１３ａ 第１の光学フィルタ
１０１３ｂ 第２の光学フィルタ
１０１４ 光学フィルタ切り替え部
１０１５ ＲＧＢカメラ
【特許請求の範囲】
【請求項１】
撮像された画像に対して画像処理を施す画像処理装置であって、
前記画像に関する画像情報を記憶する記憶部と、
前記画像情報を前記記憶部から読み出し、この読み出した前記画像情報をもとに対象の分光スペクトルを推定する第１のスペクトル推定部と、
前記第１のスペクトル推定部で推定された対象の分光スペクトルを用いて前記対象に含まれる複数の色素量を推定する色素量推定部と、
前記色素量推定部で推定された複数の色素量を用いて第１の分光スペクトルを合成する第２のスペクトル推定部と、
前記第２のスペクトル推定部で合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出するスペクトル減算部と、
前記色素量推定部で推定された複数の色素量の少なくとも一部を補正する色素量補正部と、
前記色素量補正部で補正された色素量を用いて第２の分光スペクトルを合成する第３のスペクトル推定部と、
前記第３のスペクトル推定部で合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成するスペクトル加算部と、
前記スペクトル加算部で合成された第３の分光スペクトルから表示用画像を合成する画像合成部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記表示用画像はＲＧＢ画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対象の分光スペクトルから推定される色素量の数が、前記第１の分光スペクトルの合成に使用される色素量の数より多いことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記対象の分光スペクトルから推定される色素量の数が、前記第１の分光スペクトルの合成に使用される色素量の数と等しいことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記第１の分光スペクトルの合成に使用される色素量の数と前記第２の分光スペクトルの合成に使用される色素量の数とが等しいことを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記表示用画像を表示する表示部をさらに備えたことを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
【請求項７】
色素量の補正を指示する補正指示信号が入力される操作部をさらに備えたことを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
【請求項８】
前記補正指示信号には、前記色素量を補正する際に用いる係数に関する情報が含まれることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記操作部は、スライダー、ダイヤル、およびプッシュボタンのうちいずれか一つを含むことを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
前記操作部は、スライダー、ダイヤル、およびプッシュボタンのいずれか一つを模したグラフィカルユーザーインターフェースを含むことを特徴とする請求項７または８に記載の画像処理装置。
【請求項１１】
前記グラフィカルユーザーインターフェースは、前記表示用画像と同一の画面内に表示されることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記色素量補正部は、第１の係数を前記色素量に乗じることによって前記色素量を補正することを特徴とする請求項１〜１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記色素量補正部は、第２の係数を前記色素量に加えることによって前記色素量を補正することを特徴とする請求項１〜１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記色素量補正部、前記第３のスペクトル推定部、前記スペクトル加算部、および前記画像合成部は、前記操作部によって入力された前記補正指示信号の内容に基づく処理を行い、
前記表示部は、前記補正指示信号の内容に基づく処理が反映された前記表示用画像を表示することを特徴とする請求項７〜１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記対象は染色された生体標本であることを特徴とする請求項１〜１４のいずれか一項に記載の画像処理装置。
【請求項１６】
前記対象は病理標本であることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記色素量推定部で推定される色素量は、ヘマトキシリンおよびエオジンを含むことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記色素量推定部で推定される色素量は、赤血球を染色したエオジンをさらに含むことを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記第１のスペクトル推定部は、前記対象の分光スペクトルを推定する際にWiener推定を用いることを特徴とする請求項１〜１８のいずれか一項に記載の画像処理装置。
【請求項２０】
前記第１のスペクトル推定部は、前記対象に含まれる複数の色素量を推定する際にLambert-Beerの法則を用いることを特徴とする請求項１〜１９のいずれか一項に記載の画像処理装置。
【請求項２１】
撮像された画像に対して画像処理を施すことが可能であり、前記画像に関する画像情報を記憶する記憶部を備えたコンピュータが行う画像処理方法であって、
前記画像情報を前記記憶部から読み出し、この読み出した前記画像情報をもとに対象の分光スペクトルを推定する第１のスペクトル推定ステップと、
前記第１のスペクトル推定ステップで推定された対象の分光スペクトルを用いて前記対象に含まれる複数の色素量を推定する色素量推定ステップと、
前記色素量推定ステップで推定された複数の色素量を用いて第１の分光スペクトルを合成する第２のスペクトル推定ステップと、
前記第２のスペクトル推定ステップで合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出するスペクトル減算ステップと、
前記色素量推定ステップで推定された複数の色素量の少なくとも一部を補正する色素量補正ステップと、
前記色素量補正ステップで補正された色素量を用いて第２の分光スペクトルを合成する第３のスペクトル推定ステップと、
前記第３のスペクトル推定ステップで合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成するスペクトル加算ステップと、
前記スペクトル加算ステップで合成された第３の分光スペクトルから表示用画像を合成する画像合成ステップと、
を有することを特徴とする画像処理方法。
【請求項２２】
撮像された画像に対して画像処理を施すことが可能であり、前記画像に関する画像情報を記憶する記憶部を備えたコンピュータに、
前記画像情報を前記記憶部から読み出し、この読み出した前記画像情報をもとに対象の分光スペクトルを推定する第１のスペクトル推定ステップ、
前記第１のスペクトル推定ステップで推定された対象の分光スペクトルを用いて前記対象に含まれる複数の色素量を推定する色素量推定ステップ、
前記色素量推定ステップで推定された複数の色素量を用いて第１の分光スペクトルを合成する第２のスペクトル推定ステップ、
前記第２のスペクトル推定ステップで合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出するスペクトル減算ステップ、
前記色素量推定ステップで推定された複数の色素量の少なくとも一部を補正する色素量補正ステップ、
前記色素量補正ステップで補正された色素量を用いて第２の分光スペクトルを合成する第３のスペクトル推定ステップ、
前記第３のスペクトル推定ステップで合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成するスペクトル加算ステップ、
前記スペクトル加算ステップで合成された第３の分光スペクトルから表示用画像を合成する画像合成ステップ、
を実行させることを特徴とする画像処理プログラム。
【請求項１】
撮像された画像に対して画像処理を施す画像処理装置であって、
前記画像に関する画像情報を記憶する記憶部と、
前記画像情報を前記記憶部から読み出し、この読み出した前記画像情報をもとに対象の分光スペクトルを推定する第１のスペクトル推定部と、
前記第１のスペクトル推定部で推定された対象の分光スペクトルを用いて前記対象に含まれる複数の色素量を推定する色素量推定部と、
前記色素量推定部で推定された複数の色素量を用いて第１の分光スペクトルを合成する第２のスペクトル推定部と、
前記第２のスペクトル推定部で合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出するスペクトル減算部と、
前記色素量推定部で推定された複数の色素量の少なくとも一部を補正する色素量補正部と、
前記色素量補正部で補正された色素量を用いて第２の分光スペクトルを合成する第３のスペクトル推定部と、
前記第３のスペクトル推定部で合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成するスペクトル加算部と、
前記スペクトル加算部で合成された第３の分光スペクトルから表示用画像を合成する画像合成部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記表示用画像はＲＧＢ画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対象の分光スペクトルから推定される色素量の数が、前記第１の分光スペクトルの合成に使用される色素量の数より多いことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記対象の分光スペクトルから推定される色素量の数が、前記第１の分光スペクトルの合成に使用される色素量の数と等しいことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記第１の分光スペクトルの合成に使用される色素量の数と前記第２の分光スペクトルの合成に使用される色素量の数とが等しいことを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記表示用画像を表示する表示部をさらに備えたことを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
【請求項７】
色素量の補正を指示する補正指示信号が入力される操作部をさらに備えたことを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
【請求項８】
前記補正指示信号には、前記色素量を補正する際に用いる係数に関する情報が含まれることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記操作部は、スライダー、ダイヤル、およびプッシュボタンのうちいずれか一つを含むことを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
前記操作部は、スライダー、ダイヤル、およびプッシュボタンのいずれか一つを模したグラフィカルユーザーインターフェースを含むことを特徴とする請求項７または８に記載の画像処理装置。
【請求項１１】
前記グラフィカルユーザーインターフェースは、前記表示用画像と同一の画面内に表示されることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記色素量補正部は、第１の係数を前記色素量に乗じることによって前記色素量を補正することを特徴とする請求項１〜１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記色素量補正部は、第２の係数を前記色素量に加えることによって前記色素量を補正することを特徴とする請求項１〜１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記色素量補正部、前記第３のスペクトル推定部、前記スペクトル加算部、および前記画像合成部は、前記操作部によって入力された前記補正指示信号の内容に基づく処理を行い、
前記表示部は、前記補正指示信号の内容に基づく処理が反映された前記表示用画像を表示することを特徴とする請求項７〜１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記対象は染色された生体標本であることを特徴とする請求項１〜１４のいずれか一項に記載の画像処理装置。
【請求項１６】
前記対象は病理標本であることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記色素量推定部で推定される色素量は、ヘマトキシリンおよびエオジンを含むことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記色素量推定部で推定される色素量は、赤血球を染色したエオジンをさらに含むことを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記第１のスペクトル推定部は、前記対象の分光スペクトルを推定する際にWiener推定を用いることを特徴とする請求項１〜１８のいずれか一項に記載の画像処理装置。
【請求項２０】
前記第１のスペクトル推定部は、前記対象に含まれる複数の色素量を推定する際にLambert-Beerの法則を用いることを特徴とする請求項１〜１９のいずれか一項に記載の画像処理装置。
【請求項２１】
撮像された画像に対して画像処理を施すことが可能であり、前記画像に関する画像情報を記憶する記憶部を備えたコンピュータが行う画像処理方法であって、
前記画像情報を前記記憶部から読み出し、この読み出した前記画像情報をもとに対象の分光スペクトルを推定する第１のスペクトル推定ステップと、
前記第１のスペクトル推定ステップで推定された対象の分光スペクトルを用いて前記対象に含まれる複数の色素量を推定する色素量推定ステップと、
前記色素量推定ステップで推定された複数の色素量を用いて第１の分光スペクトルを合成する第２のスペクトル推定ステップと、
前記第２のスペクトル推定ステップで合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出するスペクトル減算ステップと、
前記色素量推定ステップで推定された複数の色素量の少なくとも一部を補正する色素量補正ステップと、
前記色素量補正ステップで補正された色素量を用いて第２の分光スペクトルを合成する第３のスペクトル推定ステップと、
前記第３のスペクトル推定ステップで合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成するスペクトル加算ステップと、
前記スペクトル加算ステップで合成された第３の分光スペクトルから表示用画像を合成する画像合成ステップと、
を有することを特徴とする画像処理方法。
【請求項２２】
撮像された画像に対して画像処理を施すことが可能であり、前記画像に関する画像情報を記憶する記憶部を備えたコンピュータに、
前記画像情報を前記記憶部から読み出し、この読み出した前記画像情報をもとに対象の分光スペクトルを推定する第１のスペクトル推定ステップ、
前記第１のスペクトル推定ステップで推定された対象の分光スペクトルを用いて前記対象に含まれる複数の色素量を推定する色素量推定ステップ、
前記色素量推定ステップで推定された複数の色素量を用いて第１の分光スペクトルを合成する第２のスペクトル推定ステップ、
前記第２のスペクトル推定ステップで合成された第１の分光スペクトルを前記対象の分光スペクトルから減算することによって差分スペクトルを算出するスペクトル減算ステップ、
前記色素量推定ステップで推定された複数の色素量の少なくとも一部を補正する色素量補正ステップ、
前記色素量補正ステップで補正された色素量を用いて第２の分光スペクトルを合成する第３のスペクトル推定ステップ、
前記第３のスペクトル推定ステップで合成された第２の分光スペクトルと前記差分スペクトルとを加算することによって第３の分光スペクトルを合成するスペクトル加算ステップ、
前記スペクトル加算ステップで合成された第３の分光スペクトルから表示用画像を合成する画像合成ステップ、
を実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図１０】
【公開番号】特開２００８−５１６５４（Ｐ２００８−５１６５４Ａ）
【公開日】平成２０年３月６日（２００８．３．６）
【国際特許分類】
【出願番号】特願２００６−２２８２６９（Ｐ２００６−２２８２６９）
【出願日】平成１８年８月２４日（２００６．８．２４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年３月６日（２００８．３．６）
【国際特許分類】
【出願日】平成１８年８月２４日（２００６．８．２４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]