説明

顕微鏡画像の自動解析法

【課題】細胞の蛍光画像等の生物被写体の顕微鏡画像の自動解析法を提供する。
【解決手段】本発明の方法は、a)試料から少なくとも2個の顕微鏡画像を撮影工程と、b)抜粋画像から正の訓練セットを決定する工程と、c)一連の抜粋画像から負の訓練セットを決定する工程と、d)分類値に訓練セットの特性を割り当てる工程と、e)一連の画像の分類値をd)で決定した割り当てを用いて自動的に決定する工程と、f)分類値を閾値と比較することにより生物被写体の位置を認識する工程と、を含む。上記試料は特に生体組織であり、生物被写体は特に細胞である。生物被写体は、顕微鏡画像撮影に先立って1または複数の化学マーカーで標識付けされる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は生物被写体の顕微鏡画像の自動解析法、特に細胞の蛍光画像の解析法に関する。
【背景技術】
【0002】
現代の生物医学研究の分野における様々な実験において、生物学的に重要な被写体を顕微鏡下で見るために蛍光技術が他の方法に増して使用されている。この様な被写体は例えばあるタイプ、またはある状態の細胞である。近年、この様な実験の自動化技術の進歩により、生物実験室で多数のこの様な画像作成実験を完全に自動的に行うことが可能になった。
【0003】
例えば、特許文献1には、n個の異なった蛍光色素マーカーを有するリンパ球試料を調製することにより、1個の試料のn個の画像のセットを作成する蛍光顕微鏡技術が記載されている。各画像では異なったリンパ球のサブセットが蛍光を発し、光った輪郭を有するように見える。試料中の各リンパ球は、画像セット中でそれぞれ特異的な蛍光挙動を有する。ある画像サブセット中では蛍光を示すが、他の画像セット中では眼にみえない。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】独国特許第19709348号明細書
【非特許文献】
【0005】
【非特許文献1】Mardia et al., 1997, In: IEEE Transactions of Pattern Analysis and Machine Intelligence, 19: 1035-1042
【非特許文献2】Hanahara and Hiyane, 1990, In: Machine Visions and Applications, 3: 97-111
【非特許文献3】Gerig and Klein, 1986, In: Proc. Int. Conf. on Pattern Recognition, 8: 498-500
【非特許文献4】Galbraith et al.; 1991, In: Cytometry, 12: 579-596
【非特許文献5】Ritter, 1991: In: Artificial Neural Networks, Elsevier Science Publishers B.V.
【発明の概要】
【発明が解決しようとする課題】
【0006】
画像セットから蛍光パターンを抽出するため、蛍光リンパ球をまず最初にn個の画像中で検出しなければならない。蛍光色素で標識付けされたリンパ球はその数、位置および強度が異なる。この様に莫大な数の画像と画像データが得られ、その中から以後に行われる生物学的解釈のための情報をまず最初に抽出しなければならないので、実験の評価に障害を生じる。技術者による画像解析は労力を要し、その結果が信用できないことが多いので実用的でない。これは疲労を伴う目視検査作業のためであり、ごく短時間しか注意を集中することができない。その上、検出される被写体はその数、位置および強度が異なる。従って、コントラストと雑音等の画像パラメーターが画像によって異なる。さらに、例えば組織試料中の細胞等の被写体はその形状と大きさが異なる。
【0007】
従って、1個の画像中で検出される被写体の位置を定め得る自動評価法が必要である。
【0008】
細胞検出の自動化に関する初期の研究はいずれも、基本的にモデルに基づくアプローチに集中していた。これらに番号を付けることも、傾斜集団に対して幾何学的モデルを採用するためのアイデアである(非特許文献1)。これには波の伝播(非特許文献2)、または円形被写体を検出するためのHough変換(非特許文献3)の利用も含まれる。しかしながら、これらのアプローチは被写体の形の変化に影響される場合が多く、熟練していない技術者が採用することが容易でないという欠点を有する。さらに、照明条件が均一でないために画像にはしばしば雑音が含まれ、細胞がぼやけ、境界走査による検出には向いていない(非特許文献4)。
【課題を解決するための手段】
【0009】
従って、迅速で容易に採用することのできる簡単な細胞検出法を包含する上記の方法を提供することが本発明の目的である。
この目的は請求項1記載の方法により達成される。
有利な実施態様はサブクレームに記載される。
【発明を実施するための形態】
【0010】
本発明は生物被写体の顕微鏡画像、特に細胞の蛍光画像の自動解析法に関し、以下の工程を包含する:
a)複数の生物被写体を含む少なくとも2個の試料画像を撮影する工程;
b)第1の顕微鏡画像を選び、第1顕微鏡画像中で識別し得るn個の個々の画像の質量中心位置に印を付け、この工程で標識付けされた被写体それぞれに標識付けされた被写体を完全に取り囲む所定の第1画像抜粋記号を割り当て、標識付けされた被写体を含む第1抜粋画像に価1を割り当て、この様な標識付けされた第1抜粋画像のn個で正の訓練セットを構成する工程;
c)上記第1抜粋画像から所定の最小距離だけ離れたm個の第2抜粋画像を選んで標識付けし、第2抜粋画像の寸法と形が上記第1抜粋画像に相当し、この工程で第2抜粋画像それぞれに価0を割り当て、この様な標識付けされた第2抜粋画像のm個で負の訓練セットを構成する工程;
d)正および負の訓練セットの特徴および/または特徴の組み合せを決定し、その特徴または特徴の組み合せに0と1の間の分類値を割り当て、その分類値は標識被写体の存在確率を表し、決定された特徴および/または特徴の組み合せを記憶する工程;
e)第2およびそれ以後の各顕微鏡画像の画像データを上記工程d)で決定された特徴および/または特徴の組み合せと比較することにより第2およびそれ以後の各顕微鏡画像のすべての画像点の分類値を自動的に決定し、この工程で第2およびそれ以後の顕微鏡画像それぞれの各画像点に対し、画像点を取り囲む抜粋画像に対する分類値を決定し、この抜粋画像の寸法と形状が第1または第2抜粋画像に相当する工程;および
f)決定された分類値を評価して第2またはそれ以後の顕微鏡画像それぞれにおける生物被写体の位置を認識し、この工程で決定された分類値を生物被写体の存在を与える与えられた閾値と比較する工程。
【0011】
顕微鏡画像中の細胞等の生物被写体を検出するための本発明の方法では、与えられた寸法と形状の抜粋画像に0と1の間の価を割り当て、この抜粋画像中に(1)であるか、または(0)でない生物被写体のいずれがこの抜粋画像中に見えるかを示す分類値を用いることが有利である。しかしながら、相互に異なる任意の他の数値を用いることも可能である。ある画像中で全ての画像領域に1個の分類値を割り当てることにより、全ての細胞を見出すことができる。従って、例えば高い値に対する単純な自動検索(閾値解析)により、生物被写体の位置を自動的に位置決めし、ファイルに記憶し、さらに処理することができる。この様な分類値、または分類子を備え、それらを顕微鏡の変更、異なった試料、異なった蛍光マーカーまたは異なった細胞型により顕微鏡画像がかなり変化する場合に適用することが、人工神経網を構成する本発明の方法を使用することで可能になる。
【0012】
本発明の方法は、細胞陽性抜粋像のセットを提供することによりユーザーを訓練した後では、顕微鏡画像中の細胞等の生物被写体の自動検出を可能にする。ユーザーは実験室業務で日常作業である細胞の標識付けのみを訓練用スクリーン上で要求されるので、この方法を使用することは特に容易である。従ってこのシステムは、細胞の位置決めのための膨大な顕微鏡画像の迅速評価に適している。使用し易いため、本発明の方法を容易に応用、実行することができる。この方法は莫大な試料を処理し、客観的で再現性のある評価が必要である大学や企業において、生物被写体の顕微鏡画像を用いる任意の種類の実験作業を支援するのに適している。
【0013】
本発明の方法の別の有利な実施態様では、試料は組織試料であり、生物被写体は細胞である。自動細胞検出では特に、本発明の方法が先行技術の従来法に比較して有利であることが示されている。
【0014】
本発明の方法のさらに別の有利な実施態様では、測定される生物被写体が顕微鏡画像を撮影する前に1種または複数の化学マーカーで標識付けされる。この工程では、個々の顕微鏡画像を撮影する間に漂白またはリンス操作が行われる。化学マーカーは蛍光マーカーであり、顕微鏡画像は蛍光画像である。
【0015】
例えば、リンパ球表面のタンパク質の存在を測定するために、リンパ球に蛍光染料マーカーが使用される。各マーカーはリンパ球表面膜の個々のタンパク質の存在により、リンパ球サブセットに結合する。蛍光励起により、高い強度で結合リンパ球が出現する様になる。対応する顕微鏡画像がCCDカメラで撮影される。次いでマーカーが漂白により細胞から除去され、異なったマーカーを用いてこの操作を繰り返す。本明細書に記載の実施態様では、標識付け、画像生成および漂白を包含する工程を9個のマーカーまで繰り返すことが可能である。各繰り返し中、リンパ球の位置は不変であるので、異なった画像間での位置照合比較が可能である。この実験設定は特に、類肉腫の臨床例における筋肉組織に侵入したTリンパ球の解析に用いられる。リンパ球はn=7のマーカーを用いて調製され、7個の蛍光画像が撮影され、細胞の異なったサブセットが蛍光を発する。n個の工程が完了すると、ことなったリンパ球のサブセットを有するn個の顕微鏡画像の組を評価することができる。このn個の顕微鏡画像が本発明の方法によって評価される。
【0016】
この場合、先行工程b)で標識付けされた個々の生物被写体、特に細胞の数nは50より大きいか等しい。各標識点に対し、これらの点が細胞の中心にあるかどうかが決定される。例えばリンパ球は侵入する状況中は有機繊維状物質であるので円形でなく不規則な長方形であり、凸型が優先している。生物被写体の分類のためには特別な形の神経網、いわゆる「局所線形マップ(LLM)」が用いられる(非特許文献5)。LLM分類子は細胞を含む画像のセットで訓練される。LLM分類子を訓練するためには、先行工程b)により画像セットから1個の画像が選択される。さらに、例えばコンピューターマウスにより蛍光細胞の群が標識付けされる。これらの細胞を取り囲むN×Nサイズの抜粋画像群が正の訓練試料、または正の訓練セットを構成する。本発明の方法の有利な実施態様によれば、第1の抜粋画像の形は第1抜粋画像のN×Nサイズ、または一辺の長さNの正方形であり、第1顕微鏡画像中の生物被写体の最大直径に対応する。
【0017】
第2抜粋画像の別なセットが、先行工程c)に従って同じ画像から完全に自動的に選ばれ、既に標識付けされた第1抜粋画像から最小距離、例えば3〜5画素が保たれる。この第2セットは負の訓練例のセット、すなわち負の訓練セットを構成する。本発明の有利な実施態様によれば、第2抜粋画像の数は50より大きいか等しく、第2抜粋画像は自動的に定義され、同時に第1抜粋画像それぞれから最小の距離を保つ。
【0018】
一実施態様では、din次元の特性ベクターxが各抜粋訓練例に対して計算される。選ばれた抜粋画像セットに基本成分解析(PCA)を行う。これはコンピューター画像における分類の公知の技術である。PCAの基本概念は、高次元抜粋画像が比較的小さい次元(din=約6)の特性空間にマッピングされるということである。これらの特性はいわゆる入力特性ベクトルxを与える。特性ベクターは明らかに、実際の抜粋画像より少ない数のデータを有する。正および負の入力例に対する特性ベクターの計算から、(入力,出力)対の訓練セットが得られる。
Γ={(Xα,Yα)}α
【0019】
正の訓練セットではyαは1に等しく、負の訓練セットでは、yαは0に等しい。
LLMは以下の式で定義される
{win∈Rin,wout∈Rout,・A∈Rinxdout,i=1…l}
【0020】
三重のv=(win,wout,A)は節(node)と呼ばれる。LLMを訓練するためには、対(xα,yα)がΓから無作為に選択され、以下の学習則が実行される。
△win=∈in(x−win) (1)
△wout=∈out(y−y(x))+A△win (2)
【0021】
【数1】

【0022】
in、∈out、∈⊂]0、1[は下降学習ステップサイズであり、k=arg min{||x−win||}に対しkは真である。従って、winは入力Xに近接している。これは1*10,000回繰り返される。
【0023】
訓練されたLLM分類子は蛍光画像点を(0;1)中の分類または実証値にマッピングする。例えば、画像点における蛍光細胞に対する分類値を計算するために、それを取り巻く領域に対する特性ベクターxが計算される。入力xに対するLLM出力は下記の式で計算される。
y(x)=wout×A(x−win) (4)
ここでk=arg min{||x−win||}
上記実施態様では、節の数はi=5であり、抜粋画像サイズはN=15画素である。
【0024】
第2またはそれ以降の画像の画像セットにおいて全ての生物被写体、例えば蛍光細胞を検出するためには、式(4)により各画像点をその分類値にマッピングする。入力を取り巻く画像領域が分類子に供給され、次いでその分類値が計算される。ある画像中の各点に対する分類値を計算することにより、画像のいわゆる分類または実証マップが得られる。高い分類または実証値を有する領域は、問題とする蛍光画像中の蛍光細胞等の生物被写体を示す。例えば0.5より分類値が高く、その近辺に主要な実体のない全ての点が、画像中の蛍光細胞等の生物被写体の位置のセットを形成する。画像セットの更に別な顕微鏡画像に対し、同様なアプローチが行われる。
【0025】
本発明の有利な実施態様によれば、第2およびそれ以降の顕微鏡画像のすべての画像点の分類値が、第2およびそれ以降の各顕微鏡画像の画像表面を走査することにより、先行工程e)に従って自動的に決定される。
【0026】
本発明の方法の他の有利な実施態様では、先行工程a)〜f)で決定された被写体の位置が、顕微鏡画像全体で比較され、試料中の個々の被写体の空間位置と分布が決定される。
【0027】
これにより、例えば細胞の蛍光パターンを決定することができる。その様にして、全ての画像における細胞決定プロセス後、局部的に対応する蛍光部位が異なった画像中で見出され、同じ細胞の蛍光をそのマーカーの組み合せパターン中にマッピングすることができる。この符合解析は画像中の細胞の位置のみに基づくものであり、ある1個の細胞について特定された位置は異なる画像中で必ずしも正確に一致しないので困難な仕事である。さらに、画像中の蛍光細胞の数がかなり変動する。この双方の特徴は、検出された細胞の位置のみに基づく単純な位置合わせを不可能にする。本発明の方法は、画像セット中の全ての画像について分類値または実証値を評価することにより、この様な問題を回避するものである。
【0028】
上記の様にn個の画像全ての分類値または実証値を決定することにより、各点に対するn個の分類または実証値を得ることができる。次に、各点に対する最大実証値を選び、その座標における新しい実証マップに入る。画像中の少なくとも一つで生じた各生物被写体、例えば細胞がこのマップ中の高い実証値で表されるので、このマップは「マスター実証マップ」と呼ばれる。この「マスター実証マップ」に先行工程f)を適用することにより、生物被写体の全ての位置が得られる。このM個の細胞の位置{(x,y)}は「マスターセット」と呼ばれる。次に2進蛍光値f(i)が「マスターセット」から各生物被写体に対して集められる。画像中のj番目の蛍光画像中の細胞等の生物被写体がその座標(x、y)に近接して検出された場合、p=(f(i),・・・,f(i))のfを1にセットする。マスターセットと、全ての蛍光画像に対して検出された生物被写体の位置、または細胞の位置の分類値の間の単純な整合手順により、全ての検出された被写体または細胞の2進蛍光パターンが得られる。
【0029】
本発明によれば、生物被写体の顕微鏡画像の新しい自動解析法の一つの用途は、蛍光細胞の自動細胞分類である。例えば、本発明の方法に従って7セットの蛍光画像を撮影する。7個の異なったマーカーはcd2、cd3、cd4、cd8、cd11b、cd19およびcd26であり、これらは蛍光顕微鏡法で普通に用いられる抗体マーカーである。抜粋細胞の訓練セットがcd4像から正確に手動で選ばれた。各画像中で蛍光細胞がLLM分類子を用いて検出された。LLMで計算された分類値または実証値の最大条件を用い、「マスター実証マップ」を作成した。次いでM=550蛍光細胞の位置を「マスター実証マップ」から抽出した。最後に局所整合法によりマーカー組み合せパターンp、j=1,・・・,550を作成した。
【0030】
リンパ球群内のマーカー組み合せパターンの分布を調べるため、その2進パターン(f(i),・・・,f(i))を2進系から10進系中の数値にマッピングした。パターン頻度を計数し、ヒストグラムの形(2=128バーを含むヒストグラム)で表示した。これにより、全リンパ球群中の128の可能なパターンのうち24個のみが見出されたことが示されている。番号(1000000)(=1)、(0010000)(=8)、および(1010000)(=9)の3つのパターンが多く見られる。これらはcd2またはcd4、または両者にのみに結合した細胞である。残りの頻度は30未満である。
【0031】
あるマーカーが残りのマーカーと比較して同一かどうかを判断するために、各マーカーに対し対応するヒストグラムを計算した。この選ばれたマーカーにより蛍光を発する様になった細胞の数が示された。蛍光細胞の絶対数が激しく変動することを測定することが可能であった。最も頻繁に現れるのはマーカーcd2およびcd4である。cd19で標識付けされた蛍光リンパ球は殆ど見られず、他のマーカー(cd2)と一度だけ符合する。このことは、このマーカーが高度に選択性であることを意味する。例えば、(cd2,cd8)、(cd3,cd8)および(cd2,cd3)対の間でも強い符合が観察される。
【0032】
上記実施態様においては、1視野中の顕微鏡画像の記録及び解析を行った。しかしながら、本発明の方法は、莫大な数、例えば数百の可視像に当面する場合、組織部位中に侵入したこれらの免疫細胞サブセットを、比較的短時間で正確に統計解析を行うことを可能にする。

【特許請求の範囲】
【請求項1】
生物被写体の顕微鏡画像の自動解析法、特に細胞の蛍光画像を解析するための自動解析法であって、
a)複数の生物被写体を含む少なくとも2個の試料画像を撮影する工程と;
b)第1の顕微鏡画像を選び、第1顕微鏡画像中で識別し得るn個の個々の画像の質量中心位置に印を付け、この工程で標識付けされた被写体それぞれに標識付けされた被写体を完全に取り囲む所定の第1画像抜粋記号を割り当て、標識付けされた被写体を含む第1抜粋画像に価1を割り当て、この様な標識付けされた第1抜粋画像のn個で正の訓練セットを構成する工程と;
c)上記第1抜粋画像から所定の最小距離だけ離れたm個の第2抜粋画像を選んで標識付けし、第2抜粋画像の寸法と形が上記第1抜粋画像に相当し、この工程で第2抜粋画像それぞれに価0を割り当て、この様な標識付けされた第2抜粋画像のm個で負の訓練セットを構成する工程と;
d)正および負の訓練セットの特徴および/または特徴の組み合せを決定し、その特徴または特徴の組み合せに0と1の間の分類値を割り当て、その分類値は標識被写体の存在確率を表し、決定された特徴および/または特徴の組み合せを記憶する工程と;
e)第2およびそれ以後の各顕微鏡画像の画像データを上記工程d)で決定された特徴および/または特徴の組み合せと比較することにより第2およびそれ以後の各顕微鏡画像のすべての画像点の分類値を決定し、この工程で第2およびそれ以後の顕微鏡画像それぞれの各画像点に対し、画像点を取り囲む抜粋画像に対する分類値を決定し、この抜粋画像の寸法と形状が第1または第2抜粋画像に相当する工程と;
f)決定された分類値を評価して第2またはそれ以後の顕微鏡画像それぞれにおける生物被写体の位置を認識し、この工程で決定された分類値を生物被写体の存在を与える与えられた閾値と比較する工程と;を包含することを特徴とする方法。
【請求項2】
試料が組織であり、生物被写体が細胞であることを特徴とする請求項1に記載の方法。
【請求項3】
測定する生物被写体を顕微鏡画像を撮影する前に1種または複数の化学マーカーで標識付けすることを特徴とする請求項1または2に記載の方法。
【請求項4】
測定する被写体を、顕微鏡画像を撮影する前に1種または複数の化学マーカーで標識付けするに当り、個々の顕微鏡画像を撮影する間に漂白またはリンス工程を行うことを特徴とする請求項3に記載の方法。
【請求項5】
上記化学マーカーが蛍光染料マーカーであり、顕微鏡画像が蛍光画像であることを特徴とする請求項3または4に記載の方法。
【請求項6】
顕微鏡画像がCCDカメラで撮影され、デジタル化されることを特徴とする請求項1から5のいずれか1項に記載の方法。
【請求項7】
先行工程b)で標識付けされた個々の生物被写体の数nが50以上であることを特徴とする請求項1から6のいずれか1項に記載の方法。
【請求項8】
第1抜粋画像が正方形であり、第1抜粋画像の寸法および/または一辺の長さが第1顕微鏡画像の生物被写体の少なくとも最大直径に相当することを特徴とする請求項1から7のいずれか1項に記載の方法。
【請求項9】
第2抜粋画像の数nが50以上であり、第2抜粋画像が自動的に定義され、個々の第1抜粋画像から最小の距離を保つことを特徴とする請求項1から8のいずれか1項に記載の方法。
【請求項10】
第2およびそれ以後の顕微鏡画像それぞれの画像表面を走査することにより、先行工程e)により第2およびそれ以後の顕微鏡画像それぞれの分類値が自動的に決定されることを特徴とする請求項1から9のいずれか1項に記載の方法。
【請求項11】
生物被写体の存在を表す分類値の閾値が少なくとも0.5であることを特徴とする請求項1から10のいずれか1項に記載の方法。
【請求項12】
先行工程a)〜f)で決定される被写体の位置を顕微鏡画像の全数で比較し、試料中の個々の被写体の空間位置および分布を得ることを特徴とする請求項1から11のいずれか1項に記載の方法。
【請求項13】
蛍光細胞の自動細胞分類のための請求項1に記載の方法の応用。

【公開番号】特開2011−7800(P2011−7800A)
【公開日】平成23年1月13日(2011.1.13)
【国際特許分類】
【出願番号】特願2010−173657(P2010−173657)
【出願日】平成22年8月2日(2010.8.2)
【分割の表示】特願2001−538778(P2001−538778)の分割
【原出願日】平成12年11月3日(2000.11.3)
【出願人】(501219529)エム・ペー・ベー・メルテック・パテント−ウント・ベタイリグングスゲゼルシャフト・エム・ベー・ハー (1)
【Fターム(参考)】