説明

スペクトルを用いた解析方法

【課題】
色素で色がついているような物体の分光特性をスペクトル計測あるいはスペクトルを画像として撮影した場合のスペクトル空間での解析方法を提供する。
【解決手段】
スペクトル空間から色素量空間では表せない残差スペクトル空間を抽出し、残差スペクトル空間で解析する。また、色素量空間と残差スペクトルを合わせて解析してもよい。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、色素で彩色されている物体(対象物)の特徴をスペクトルを用いて解析して分類する方法に関する。
【背景技術】
【0002】
生体の薄切り切片を染色して作成された病理標本や生体皮膚等から計測されるスペクトルデータを解析することで、生体を構成する組織要素への分類や、生体内色素の含有量を推定する方法がある。
病理標本に関して言えば、染色した生体組織の分光特性をRGB空間において解析する方法(下記特許文献1参照)、色素量空間で解析する方法(下記特許文献2参照)、スペクトル空間において解析する方法(下記特許文献3参照)がある。
RGB空間における解析では、RGB信号値が撮影装置のシステム特性に依存するため、生体の持つ分光特性を反映した特徴量を抽出することが難しい。
また、色素量空間における解析では、染色色素の配合が異なっている組織要素に対しては分類可能であるが、染色色素の配合に差が無いような組織要素に対しては分類することが困難である。RGB空間や色素量空間における解析とスペクトル空間における解析とを比較すると、スペクトル空間では生体の分光特性自体を解析することになるため、組織要素を分類する特徴空間として適していると考えられる。
しかし、スペクトル空間はRGB空間や色素量空間と比較して多次元空間(N次元>3次元)であるため、多数の組織要素へ分類することが難しいという問題がある。
一方、生体の分光特性を画像として取得できるマルチスペクトル画像システムが開発されており、このシステムを利用して病理標本のマルチスペクトル画像を取得することは可能であるが、画像容量の巨大さが問題点として挙げられている。また、病理標本のマルチスペクトル画像から得られた組織要素の分光透過率は、病理標本の染色状態に依存して変動するため、染色状態が異なる標本に対して安定して組織分類を行うことが難しいという問題もある。
【特許文献1】特開平11-295150号公報
【特許文献2】特開2005-331394号公報
【特許文献3】特表2001-523334号公報
【非特許文献1】三井正法、村上百合、小尾高史、山口雅浩、大山永昭、窪田泰夫、福田弘之、菅野好史:「マルチスペクトル画像を用いた皮膚病変部の強調と定量化」,メディカル イメージング テクノロジー,23巻、2号
【発明の開示】
【発明が解決しようとする課題】
【0003】
スペクトル空間は多次元(N次元>3次元)の情報を使用するため、解析する際には情報量を落として解析する方法が取られている。主成分分析などはその代表例であるが、色素により彩色された物体のスペクトルを解析することを目的とした特徴量空間とはいえない。色素によって色がついている物体に対する解析方法として、色素の吸収特性で表せられる空間(色素量空間)で解析する方法が取られているが、モデル化誤差や計測誤差により、色素の吸収特性で表せない分光特性に対する情報は欠落している。モデル化誤差には物体を特徴付ける散乱特性等が含まれており、色素の吸収特性で表される空間のみの解析では、物体の特徴量が除かれてしまい、物体のわずかなスペクトル変化を捉えることが難しくなるという問題がある。
また、使用するスペクトルデータの情報量が膨大になるため、解析を考慮した圧縮方法を考慮する必要もある。
【0004】
本発明は上述のような事情に鑑み為されたものであり、本発明の目的は、マルチスペクトル画像から得られた分光情報を、色素の特徴と色素以外の特徴とに分けて解析することにより、染色状態に依存せずに安定した組織分類を行うことを可能にするとともに、大幅なデータ圧縮を可能とすることにある。
【課題を解決するための手段】
【0005】
本発明は、色素で彩色されている対象物の特徴をスペクトルを用いて解析して分類する方法に関し、本発明の上記目的は、波長方向に特徴をもつ前記対象物を被写体として、波長方向にMチャネル(Mは2以上の自然数)を持つマルチスペクトル画像をマルチスペクトル撮像システムで撮影するステップA1と、前記ステップA1で撮影して得られた前記対象物のk(k=1,2,・・・,M)チャネル目のマルチスペクトル画像の位置

における画素信号(M次元ベクトル)から分光透過率

を推定するステップA2と、前記ステップA2で推定された前記分光透過率

から各チャネルの分光吸光度

を求めるステップA3と、前記対象物中の色素i(i=1,2,…,n)の色素量aを推定するステップA4と、前記推定された色素量

と前記色素iの分光吸収係数

とから、ランバート・ベール法則を用いて位置

における分光吸光度

を推定するステップA5と、前記各チャネルの分光吸光度

を要素に持つ位置

における分光吸光度

から前記分光吸光度

を減じて残差スペクトル

を求めるステップA6と、前記推定された色素量

が所定の条件式によって特定される範囲に含まれる領域を、前記残差スペクトル

によって分類するステップA7とを具備することによって達成される。
【0006】
さらに、前記推定された色素量

が所定の条件式によって特定される範囲に含まれる前記領域以外の領域については、前記分光吸光度

によって分類するステップA8を具備することによって、さらに効果的に達成される。
これにより、上記残差スペクトル空間における分類と、色素量空間における分類とを組み合わせることが可能となり、より適切な分類が出来る。
【発明の効果】
【0007】
本発明に係るスペクトルを用いた解析方法によれば、残差スペクトル空間を解析することにより、ランバート・ベール則などでモデル化できない物体の分光特性を解析することができる。
また、残差スペクトル空間と色素量空間を分けて解析することで、それぞれの空間で解析した結果を出力することが可能になり、またそれらの解析結果を組み合わせた結果を出力することが可能となる。
さらには、色が複数の色素で構成される場合は、色素のスペクトルが複雑であっても、色素の分光吸収係数を持っていればデータ量の大幅な圧縮に繋がるという効果もある。
例えば、波長次元数が60次元のマルチスペクトル画像があり、色素の次元数(種類)が3次元である場合は圧縮率を5%にすることができる。
このような色素の種類に応じた次元数に圧縮することはしばしば行われるが、そうすると色素で表現できない成分が失われてしまうが、残差スペクトル空間を主成分分析などの手段により低次元で表現(例えば3次元)すると、色素の次元数(3)と残差スペクトルの次元数(3)の合計(6次元)により、色素で表現できない成分も含めて圧縮(10%)することができる。
【発明を実施するための最良の形態】
【0008】
残差スペクトルは生体の分光特性をモデル化する場合に、モデル化誤差や計測誤差によるスペクトルを表し、物体の吸収特性をモデル化したランバート・ベール則では生体の散乱や吸収特性が含まれていると考えられ、物体の吸収と散乱特性をモデル化した修正ランバート・ベール則においては深さの違いが残差スペクトルに含まれると考えられる。
本発明では、残差スペクトルには生体組織固有の情報が残されていると考え、この残差スペクトルを解析することで、生体組織要素の分類や組織構造の把握に利用する。
【0009】
本発明は、マルチスペクトル画像から得られる病理標本の分光吸光度と、複数の染色色素の分光吸収係数からランバート・ベール則に基づいて色素量を画像として推定する。
そして、求めた色素量と色素の分光吸収係数からランバート・ベール則を用いて推定される分光吸光度と、撮影された画像から求めた分光吸光度との差分を取ったものを残差スペクトルと定義する。残差スペクトルは組織要素間での色素の結合状態による吸収係数の違いや組織自体の吸収や散乱を表すと考えられることから、組織分類を行う際に染色状態に依存しない特徴量として利用できる可能性がある。
実施例では、16バンドで撮影したHE染色標本の画像を対象とした。核、細胞質、赤血球などは色素量で容易に区別できるので、色素量での分類が困難な膠原線維、筋線維、内膜に対して残差スペクトルを用いて分類した。残差スペクトル空間上での分類にはフィッシャーの線形識別を用いた。後述の図6はHE染色標本に対して適用した結果である。図8から分かるように連続切片のMT染色標本と分類画像を比較した結果、MT染色標本によって染め分けられた領域に対応しており、残差スペクトルを用いた組織分類の有効性を確認できた。
【実施例1】
【0010】
本発明を実施するための好適な実施例について説明する。解析対象物としては、生体組織のHE染色標本を用いた。
【0011】
まず、解析処理の大きな流れを図1に示す。大きく分けると二つのケースがある。すなわち、ケース1は、残差スペクトルによる解析のみを出力する場合であり、色素量空間での解析が困難な領域のみについて解析結果を出力するようなケースである。色素量空間での解析結果が出ている領域をマスキングすることによって、残差スペクトル空間での解析を必要とする領域を絞り込むことができる。
また、ケース2は、色素量空間における解析結果と、残差スペクトル空間での解析結果を組み合わせて一つの結果画像を出力するものであり、本実施例ではケース2の場合を実施した。
【0012】
図2は上記ケース2の流れをさらに詳細に示した図である。この図2に示す手順に従って各ステップにおける処理を詳細に説明する。
[ステップ1]
まず、生体組織のHE染色標本のマルチスペクトル画像を、図3に示すマルチスペクトル撮像システムを用いて撮影して取得する。図3のシステムは公知のものであり、例えば上記特許文献2に記載の多バンド画像の撮像装置が利用可能である。
【0013】
次に、取得したマルチスペクトル画像から分光透過率を推定する。ここでは、対象の信号値を白の信号値で割って求める場合を示す。
Mバンドのマルチスペクトル画像において、画像中の位置

におけるkバンド目のマルチスペクトル画像信号値を

と表すとき、病理標本を撮影したマルチスペクトル画像信号値を

病理標本を置かないで白色を撮影した場合の画像信号値を

とすると、画像中の位置

における推定分光透過率

は数1式により求めることができる。
【数1】

また、Mバンドの推定分光透過率は各バンドの分光透過率を要素に持つM次元ベクトル

として表せる。
【0014】
本実施例では分光透過率を推定するのに、病理標本のマルチスペクトル画像信号値を白色のマルチスペクトル画像信号値で割ったものを使用したが、正確な分光透過率を推定する方法としてWiener推定法によって求めても良い。
すなわち、位置

における波長次元数Lの分光透過率をL次元ベクトル

で与えるとき,推定分光透過率

はWiener推定法によって

から求められる。
【数2】

ここで、

はL×MのWiener推定行列を表す。

の作成には分光透過率の相関行列を用意する必要があるが、実用上は染色の種類ごとに同一の相関行列を用いても問題ないと考えられる。実施例では、予め該当する染色方法により作成された標本の分光透過率を多数測定して求めている。
【0015】
[ステップ2]
次に、画像中の位置

における分光吸光度を推定する。すなわち、分光吸光度を

と表すとき、数1で求めた各バンドの推定分光透過率

から各バンドの分光吸光度

へは常用対数の負を取ることで求められる(数3式)。
【数3】

また、推定分光透過率と同様に分光吸光度をM次元ベクトル

として表す。
【0016】
[ステップ3]
次に、HE染色標本中の色素量の定量方法の概要を説明する。以下では,n種類の色素がHE染色標本に含まれるときに,i(=1,2,・・・,n)色素の分光吸収係数を

で表すと、ランバート・ベール則が成り立つときに染色標本中の位置

における分光吸光度

は色素量と分光吸収係数により以下の数4のように表すことができる。
【数4】

ここで、

は位置

におけるi色素の色素量を示す。しかし、病理標本中の生体を構成する組織要素は散乱特性を持っているためランバート・ベール則では表せないモデル化誤差や計測の誤差が生じるため、それらの誤差を残差スペクトル

として表すと、分光吸光度

は数4式と残差スペクトルを用いて次のように表せる。
【数5】

本実施例では病理標本中の色素量

を求めるために、重回帰分析を利用して残差成分を小さくする最小二乗推定法を用いることにより色素量

を推定した。
【数6】

数6式により推定した色素量

を用いて残差スペクトルは以下のように求められる。
【数7】

実施例では、ヘマトキシリン(H)色素、エオジン(E)色素、赤血球(R)の色素が染色標本に含まれているため、数5式は以下のように表せる。
【数8】

【0017】
[ステップ4]
<色素量空間での組織分類>
マルチスペクトル画像から推定した各組織要素におけるヘマトキシリン・エオジン・赤血球の色素量空間における分布を図4に示す。二つの色素量平面において、各組織要素の色素量分布が異なるため、下の表1に示す境界を設定して、各組織要素へ分類した。残りの部分は線維領域となる。
図4(A)は組織分類のためのHE色素量平面における境界を示し、図4(B)はRH色素量平面における境界を示している。
【表1】

ここで、線維領域に存在する膠原線維、筋線維、内膜においては色素量分布が重なっており、このままでは分類することができないため、三つの組織要素(膠原線維、筋線維、内膜)を一つの組織要素として抽出した。図5はHE色素量平面における線維領域の分布を表した図である。この図を見れば分かるように各組織要素の色素量分布が近いため、明確な分類ができない。図6はHE染色された生体組織標本の色素量による組織分類結果を示す画像である。これによると、中央部の緑色で示される線維領域が三つの組織要素(膠原線維、筋線維、内膜)に分類できていないことが分かる。
なお、図6においては色素量の違いによって細胞核に分類された領域を青色、細胞質に分類された領域をピンク色、血清に分類された領域を水色、空白に分類された領域を白色、赤血球に分類された領域を赤色、線維領域に分類された領域を黄緑色に割り当てている。
【0018】
[ステップ5]
<残差スペクトル空間での組織分類>
色素量空間では明確に分類できなかった線維領域を残差スペクトル空間で膠原線維、内膜、筋線維(3クラス)へ分類する。3クラスに分類するために2クラスに対する線形識別関数を組み合わせる方法を利用した。
線形識別関数はフィッシャーの線形識別法より、(1)膠原線維と内膜を識別する軸、(2)膠原線維と筋線維を識別する軸、(3)筋線維と内膜を識別する軸を求めた。図7はそれを図示したものである。
それぞれの識別軸上に2クラスを分類するための閾値を設定することで、多次元空間において2クラスを分類することが可能になる。これら3つの識別軸を用いて分類した結果を下の表2のように組み合わせる事により、残差スペクトル空間でそれぞれの組織要素へ分類した。今回はリジェクト領域は膠原線維に割り当てた。
【表2】

図8は、残差スペクトルによる組織分類結果を示すものであり、右側のMT染色標本と比較すれば分かるように、MT染色標本によって染め分けられた領域に対応しており、残差スペクトルを用いた組織分類の有効性を確認できた。
なお、図8では内膜に分類された領域を黄色、筋線維に分類された領域を茶色、膠原線維に分類された領域を黄緑色に割り当てている。
【0019】
[ステップ6]
<色素量空間と残差スペクトル空間での組織分類結果の統合>
上記ステップ4及びステップ5で求めた組織分類結果を統合することで適切な組織分類を行う事ができる。
すなわち、色素量空間での分類結果画像のうちの線維領域に関する部分を、残差スペクトル空間で行った組織分類結果画像で置換える(画像合成する)ものである。
図9は色素量空間での組織分類結果と残差スペクトル空間での組織分類結果の統合の概念を示す図であり、左側の色素量空間における分類結果の画像の中に中央部分(線維領域)を、右側の残差スペクトル空間における線維領域の分類結果(図の中央部分)で置き換えるところを示すものである。図10は本発明に係る方法による統合した組織分類結果を示した図であり、細胞核に分類された領域を青色、細胞質に分類された領域をピンク色、血清に分類された領域を水色、空白に分類された領域を白色、赤血球に分類された領域を赤色、膠原線維に分類された領域を黄緑色、内膜に分類された領域を黄色、筋線維に分類された領域を茶色に割り当てたものである。
これを見れば分かるように、色素量空間での分類と残差スペクトル空間での分類とを統合させることにより、MT染色標本での組織構造にほぼ対応していることが分かる。
【0020】
上記各ステップにおける処理は、図3に示されたコンピュータに格納された所定のプログラムによって実行される。
【産業上の利用可能性】
【0021】
以上の通り、本発明に係る方法を主として染色された生体組織の病理標本の分類に適用する場合について説明したが、本発明に係る方法は、色素で色がついている対象物のスペクトルに対して適用可能であり、病理標本(染色色素:代表例ヘマトキシリン色素、エオジン色素)や生体皮膚(生体内色素:ヘモグロビン、メラニン)のほか、カラー印刷されたもの、絵画の分析、リモートセンシング分野(衛星画像)にも適用可能である。
また、上記非特許文献1において、正常皮膚の主成分ベクトルによって求めた差分スペクトルを、色素の吸収スペクトルによって求めた残差スペクトルで置き換えることによって色強調を行う方法にも応用が可能である。
【図面の簡単な説明】
【0022】
【図1】本発明に係る方法の解析手順の大きな流れを示す図である。
【図2】実施例における手順を示す図である。
【図3】マルチスペクトル撮像システムの一例を示す図である。
【図4】マルチスペクトル画像から推定した各組織要素におけるヘマトキシリン・エオジン・赤血球の色素量空間における分布を示す図である。
【図5】HE色素量平面における線維領域の分布を示す図である。
【図6】色素量による組織分類結果を示す図である。
【図7】線形識別法を用いた組織分類の概念を表す図である。
【図8】残差スペクトルによる組織分類結果を示す図である。
【図9】色素量空間での組織分類結果と残差スペクトル空間での組織分類結果の統合の概念を示す図である。
【図10】本発明に係る方法による統合した組織分類結果を示した図である。

【特許請求の範囲】
【請求項1】
色素で彩色されている対象物の特徴をスペクトルを用いて解析して分類する方法であって、該方法は、
波長方向に特徴をもつ前記対象物を被写体として、波長方向にMチャネル(Mは2以上の自然数)を持つマルチスペクトル画像をマルチスペクトル撮像システムで撮影するステップA1と、
前記ステップA1で撮影して得られた前記対象物のk(k=1,2,・・・,M)チャネル目のマルチスペクトル画像の位置

における画素信号(M次元ベクトル)から分光透過率

を推定するステップA2と、
前記ステップA2で推定された前記分光透過率

から各チャネルの分光吸光度

を求めるステップA3と、
前記対象物中の色素i(i=1,2,…,n)の色素量aを推定するステップA4と、
前記推定された色素量

と前記色素iの分光吸収係数

とから、ランバート・ベール法則を用いて位置

における分光吸光度

を推定するステップA5と、
前記各チャネルの分光吸光度

を要素に持つ位置

における分光吸光度

から前記分光吸光度

を減じて残差スペクトル

を求めるステップA6と、
前記推定された色素量

が所定の条件式によって特定される範囲に含まれる領域を、前記残差スペクトル

によって分類するステップA7とを具備することを特徴とする方法。
【請求項2】
さらに、前記推定された色素量

が所定の条件式によって特定される範囲に含まれる前記領域以外の領域については、前記分光吸光度

によって分類するステップA8を具備することを特徴とする請求項1に記載の方法。
【請求項3】
前記分類された各領域に対して所定の表示色を割り当て、該割り当てた色を用いて前記分類結果をモニタ表示又はプリンタ出力するステップA9をさらに具備したことを特徴とする請求項1又は2に記載の方法。
【請求項4】
前記分光透過率

の推定にWiener推定法を用いたことを特徴とする請求項1乃至3のいずれかに記載の方法。
【請求項5】
前記色素量aの推定は、重回帰分析を利用した最小二乗法を用いて行うことを特徴とする請求項1乃至4のいずれかに記載の方法。
【請求項6】
前記対象物は生体組織であり、前記色素は染色色素又は生体内色素である請求項1乃至5のいずれかに記載の方法。
【請求項7】
前記染色色素は、ヘマトキシリン色素及びエオジン色素である請求項6に記載の方法。
【請求項8】
前記生体内色素はヘモグロビンである請求項6に記載の方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2008−215820(P2008−215820A)
【公開日】平成20年9月18日(2008.9.18)
【国際特許分類】
【出願番号】特願2007−49208(P2007−49208)
【出願日】平成19年2月28日(2007.2.28)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 2006年8月29日 社団法人 応用物理学会発行の「2006年(平成18年)秋季 第67回応用物理学会学術講演会講演予稿集 第3分冊」に発表
【出願人】(304021417)国立大学法人東京工業大学 (1,821)
【Fターム(参考)】