説明

量子ドットで染色された組織試料の定量的マルチ・スペクトル画像の分析

組織の部分のような生物学的サンプルが1以上の量子ドット及び多分他の蛍光体(蛍光体の全数がN)により着色されている。顕微鏡に結合したカメラがN個の蛍光体の放射スペクトル・バンド内の複数の波長で試料の画像を生じる。分析モジュールがN個の蛍光体に対する画像と基準スペクトル・データのセットから各画素での係数C1・・・を計算する。係数C1・・・は、各画素の位置での個別蛍光体のそれぞれの濃度に関係している。形態学的処理の説明書で、例えば、試料の画像内の細胞、細胞成分、遺伝子等の生物学的構成を発見する。定量分析を、特定された生物学的構成について行う。表示モジュールが、試料の画像と共に定量分析の結果をユーザーに表示する。画像には、1以上の係数C1・・・から構成された画像を含めることができる。定量分析の表示には、生物学的構成のヒストグラム、蛍光体濃度の離散性プロット、統計的データ、スペクトル・データその他についても含まれる。

【発明の詳細な説明】
【優先権主張】
【0001】
本出願は以前の米国暫定特許出願番号第60/876,493号(2006年12月20日)(特許文献1)の優先権を主張している。その内容は参考用に本出願書に組込まれている。
【技術分野】
【0002】
本発明は組織セクション、血液、細胞培地等のような生物学的試料分析のシステムと方法の分野に関する。より特定すれば、本発明は当業では「量子ドット」として知られている少なくとも1件のナノ結晶性発光半導体材料である1以上の蛍光体で染色される生物学的試料の画像分析をするためのシステム、方法、及び装置に関する。さらに、本発明はそのような分析から得られた定量的データをユーザーに提示する方法にも関する。
【背景技術】
【0003】
人体からの組織セクションのような生物学的試料を、蛋白、蛋白の破片、又は、試料内の他のターゲットに結合する抗体と共役させた有機蛍光体を含む染料と共に処理できることは当業で知られている。そして、染色された試料を光と染料蛍光体で照らす。それで、顕微鏡に取付けられたデジタル・カメラが、試料の画像を捕捉するのに用いられる。蛍光体/抗体の組合わせを。対象ターゲット(例えば、がん細胞により生じた増殖蛋白)と結合状態になる領域は、試料に加えられる蛍光体の蛍光スペクトルにより示された領域の色により、試料の画像内の染色領域として見える。可視スペクトルに加えて、蛍光信号が特定蛍光体の放射スペクトルにより赤外線又は紫外線領域内で検出される。2以上の蛍光体を含む染料も試料に加えることができる。これらの方法は種々の用途を有し、それには病気の診断、治療対応の評価、疾病と戦う新薬の開発が含まれる。
【0004】
より最近になって量子ドットが組織の染色、及び、画像処理用の染色材料として開発されている。量子ドットの使用は生物学的染色用として使用するのに伝統的有機蛍光体を上回る利点がある。これらの利点には、狭い放射バンドのピーク、広い吸収スペクトル、強い信号、漂白又は他の劣化への強い抵抗が含まれる。
【0005】
量子ドット及び生化学の画像処理への応用までの従来技術の参考文献は特許文献2、3、4を含む。代表的な画像捕捉・分析のシステム及び関連方法は特許文献5、6、7、8、9で開示されている。他の対象となる従来技術は、特許文献10、11、非特許文献1、2を含む。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国暫定特許出願番号第60/876,493号明細書
【特許文献2】米国特許第6,322,901号明細書
【特許文献3】米国特許第5,990,749号明細書
【特許文献4】米国特許第6,274,323号明細書
【特許文献5】米国特許第6,215,892号明細書
【特許文献6】米国特許第6,403,947号明細書
【特許文献7】PCT出願第WO 00/31534号明細書
【特許文献8】PCT出願第WO 00/17808号明細書
【特許文献9】PCT出願第WO 98/43042号明細書
【特許文献10】米国特許出願第2001/0033374 A1号明細書
【特許文献11】米国特許出願第2002/0001080 Al号明細書
【特許文献12】米国特許出願第2004/0101210号明細書
【特許文献13】米国特許第5,926,283号明細書
【非特許文献】
【0007】
【非特許文献1】Fountaine et al.,Multispectral imaging of clinically relevant cellular targets in tonsil and lymphoid tissue using semiconductor quantum dots,Modern Pathology(2006)1−11,
【非特許文献2】Huth et al.,Fourier Transformed Spectral Bio−Imaging for Studying the Intracellular Fate of Liposomes,Cytometry Part A,vol.57A pp.10−21(2004).
【非特許文献3】Examples include a multi−scale approach,such as described in Kriete,A et al.,Automated quantification of quantum−dot−labeled epidermal growth factor receptor internalization via multiscale image segmentation,Journal of Microscopy,v.222(1)22−27(April 2006);
【非特許文献4】An active contour(snake)approach,described in Kass,A.Witkin,and D.Terzopoulos.Snakes:Active contour models.International Journal of Computer Vision 1:321−332,1988;
【非特許文献5】A level set approach described in J.A.Sethian,Level Set Methods:Evolving Interfaces in Geometry,Fluid Mechanics,Computer Vision and Materials Sciences,Cambridge Univ.Press,1996;
【非特許文献6】A contour closure approach described in Mahamud,S et al.,Segmentation of Multiple Salient Closed Contours from Real Images,IEEE Transactions On Pattern Analysis And Machine Intelligence,Vol.25,No.4,April 2003,
【非特許文献7】A Watershed approach(currently used in the illustrated embodiment),described in Vincent,L.et al.,Watersheds in digital spaces:An efficient algorithm based on immersion simulations,IEEE Transactions on Patttern Analysis and Machine Intelligence v.13(6)June 1991 pp.583−598,see also the review article on Watershed:Roerdink,J.and Meijster A.,The Watershed Transform:Definitions,Algorithms and Parallelization Strategies,Fundamenta Informatica v.41,2001,IOS Press pp.187−228.;
【非特許文献8】Thouis R.Jones et al.,Voroni−Based Segmentation of Cells on Image Manifolds,in CVBIA,ser.Lecture Notes in Computer Science,Y.Liu et al.Eds.,vol.3765 Springer−Verlag,2005 pp.535−543;
【非特許文献9】The poster paper of Thouis R,Jones et al.,Methods for High−Content,High−Throughput Image−Based Cell Screening,Proceedings of MIAAB 2006 available on−line at www.broad.mit.edu/−thouis/MLAABPoster.pdf;
【非特許文献10】Gang Lin et al.,A Hybrid 3D Watershed Algorithm Incorporating Gradient Cues and Object odels for Automatic Segmentation aof Nuclei in Confocal Image Stacks,Cytometry Part A,56A:23−26(2003).
【非特許文献11】Y.Garini,A.Gil,I.Bar−Am,D.Cabib,and N.Katzir,Signal to Noise Analysis of Multiple Color Fluorescence Imaging Microscopy,Cytometry vol.35 pp.214−226(1999).Pixels with an intensity signal equal to the maximum signal produced by the camera may not behave according to this model and should be either ignored or treated separately.The details of this treatment are discussed in the ‘Constraints’ portion of the Further examples and implementation details section.
【非特許文献12】D.A.Agard,“Optical Sectioning Microscopy:Cellular Architecture in Three Dimensions,”Annual Reviews in Biophysics and Bioengineering,vol.13,pp.191−219,1984.
【非特許文献13】S.Joshi and M.I.Miller,“Maximum a Posteriori Estimate with Good’s Roughness for Three−Dimensional Optical−Sectioning Microscopy,”Journal of Optical Society of America,vol.1 0,no.5,pp.1 078−1085,1993
【非特許文献14】Enhanced Resolution from Three dimensional Imaging:W.A.Carrington,R.M.Lynch,E.D.Moore,G.Isenberg,K.E.Fogarty,and F.S.Fay,“Superresolution Three−Dimensional Images of Fluorescence in Cells with minimal Light Exposure,”Science,vol.268,pp.1483−1487,June 9,1995.
【非特許文献15】Pak Chung Wong,R.D.Bergeron,“Brushing techniques for exploring volume datasets,”vis,p.429,Eighth IEEE Visualization 1997(VIS’97),1997.
【非特許文献16】Interactive Data Exploration with Multiple Views(Data Linking and Data Brushing):Sigma−Olaf Tergan(Editor),Tanja Keller(Editor),Knowledge and Information Visualization:Searching for Synergies(Lecture Notes in Computer Science)Springer−Verlag,Berlin,1998.
【非特許文献17】Battifora,H.The multitumer(sausage)tissue block:novel method for immunohistochemical antibody testing Lab Invest 1986,55:244−248;
【非特許文献18】Battifora,H.et al.,The checkerboard tissue block.An improved multitissue control block.Lab Invest 1998,63:722−724;
【非特許文献19】Kononen J,et al.,Tissue microarrays for high throughput molecular profiling of tumor specimens.Nt Med 1998,4:844−847/
【発明の概要】
【0008】
以下の実施例及びその側面は、システム、ツール、方法と関連させて記述され、又、図示されていて、例示的、図示的であることを意味し、範囲を限定することを意味しない。本発明の範囲に関する全ての問題は添付請求項及び出願書に導入された以後の請求項を参
照して決定すべきである。
【0009】
第一の側面で、システムは生物学的試料の分析のために開示されている。例えば、試料は人又は動物の被験者から得た組織セクションの形をとる。試料は、生きている細胞組織、凍結細胞、腫瘍細胞、血液、のどの培地又は他のタイプでありうる。試料のタイプ又は性質は特に重要で無い。典型的に、分析のために試料はスライドに取付けられる。その分析は、増殖蛋白又は腫瘍細胞、又は、遺伝子DNA検出、メッセンジャーRNA検出、蛋白検出その他の目的のような他の目的で提示するためにサンプルの識別と検査をする目的で良い。生物学的試料は試料に加えられる1からNまでの離散性の蛍光体を有している。その蛍光体は少なくとも1件の量子ドットを含む。例えば、試料は2、3又は5件の量子ドットで処理される(これらの例ではN=2、3又は5)。試料に加えられた1以上の蛍光体は有機蛍光体としうる。
【0010】
システムは顕微鏡及び試料の画像を捕捉する付属デジタルカメラを含む。各画像は、デジタルカメラの個別の画の要素(画素)に対応した複数の画素から成っている。カメラは複数の離散性波長で試料の画像を捕捉する。波長の数(ここではM)は5、10、20以上でよい。波長は1・・・Nの蛍光体が入射光に応答して発光を生じる離散性波長を含む。Mの波長での2次元画素データを代表するデータ・セットがここでは時として「画像キューブ」と呼ばれる。
【0011】
さらに、システムは、カメラにより生じた画像について特定の処理ステップを実行するソフトウエアの説明書を実行する処理ユニットを含むワークステーションを含む。これらの処理ステップには以下が含まれる。
a)非混合プロセス、1・・・Nの蛍光体と関連する基準スペクトル・データと関連して複数の画像を処理する。そして応答可能に各画素位置で係数C1・・・を計算する。係数C1・・・は、各画素位置でサンプル内に存在する1・・・N蛍光体の濃度に関連付ける。
b)少なくとも1件の形態学的処理プロセス、試料内で少なくとも1件の生物学的構成を特定する。
c)定量分析プロセス、係数C1・・・からプロセスb)により特定された生物学的構成に対する蛍光体の濃度を計算する。
d)表示プロセス、ワークステーションと関連する表示装置上で定量分析プロセスc)の結果を表示する。
【0012】
種々の表示ツールが開示されていて、それにより、ユーザーがシステムと対話し、かつ、試料からの定量的結果の表示を得られる。1実施例で、形態学的処理プロセスにより特定される生物学的構成は細胞又は細胞成分である。形態学的処理プロセスは生物学的構成のサイズを測定し、試料内で特定された生物学的構成の数をカウントする。定量分析プロセスの結果が生物学的構成のサイズにより分類された生物学的構成の数のヒストグラムとして提示される。そのヒストグラムには、試料に加えられる1・・・N件の蛍光体のそれぞれに対して陽性の信号を有する細胞のサイズ分布のヒストグラムも含む。
【0013】
他の実施例で、表示プロセスには、ユーザーが表示部上に表示された試料の画像部分を選択できるようにする機能が含まれる。(例えば、高い蛍光信号と共に高濃度の細胞を有するサンプル領域)及び、表示プロセスが、選択した画像部分についての定量的結果を表示する。別の改善として、定量的結果が、両方の量子ドットに対して陽性の細胞に対して第二の量子ドットの濃度の関数として、第一の量子ドットの濃度のプロットとして表示される。そのようなプロットは離散性プロットとして視覚的に表示できる。離散性プロットは、画像全体か又はスライドから選択した部分に対して表示できる。
【0014】
他の実施例では、係数C1・・・が試料内の蛍光体の絶対濃度にサイズを合わせる。(例えば、リットル当たりナノモル、細胞当たり量子ドット数、又は他の系統の単位)、さらに、蛍光体の濃度プロットを絶対濃度の単位で表示できる。
【0015】
定量的結果の表示は、同じ表示上での試料の画像の表示を含む。その画像は、1以上のMの画像又は好ましくはそれより多くから、1以上の係数C1・・・から製作できる。その係数は非混合プロセスにより得られ、各画素について知られていることを想起されたい。例えば、放射スペクトルのピークが625nmである量子ドットの蛍光体に対して陽性の信号を有する細胞のサイズ分布のヒストグラムを検討している場合、表示は、625nmの量子ドットの蛍光体に相当する係数Cから生じた画像と共に試料の画像を同時に示す。言い換えると、画像は、サンプル内に存在する他の全ての蛍光体からの信号の寄与分を隠し(抹消する)、625nmの蛍光体からの信号のみを示す。さらに、その定量的結果は、ユーザーが選択した画像の部分についての統計的データを含められる。
【0016】
1実施例では、さらに、表示プロセスは、1以上の選択された蛍光体に対する色強度をユーザーがそれにより表示部の画像の外観を変更することにより選択的に重み付けを行なえる。例えば、ユーザーは、試料内の605nmと625nmの量子ドット分布を示す試料の画像を見ることを希望する。そのような画像が表示された時、ツールが示され、それにより、ユーザーは、605nmの量子ドット信号又は625nmの量子ドット信号に選択的に重み付け(又は減衰)を行なえる。例えば、重み付けは、弱い蛍光体信号を強化するのに使用でき、ユーザーが試料内の生物学的構成(例えば、細胞)内の蛍光体分布の感知が容易になる。
【0017】
表示プロセスは種々の分析機能を結合し、試料分析用の種々のツールを提供する。例えば、表示プロセスは表示のための以下のプロセスを含む。i)試料の画像が、1以上の係数C1・・・から作られる(試料全体の画像又は試料の若干の部分セグメント)、ii)サンプルに加えられる少なくとも1件の蛍光体について生物学的構成のサイズにより分類される、iii)他の蛍光体のひとつの濃度の関数として蛍光体のひとつの濃度の離散性プロットが1以上で、生物学的構成が両方の蛍光体に対する陽性の信号を有している。これらの機能は、追加の統計的データ、さらに定量分析を行う画像部分を選択するためツール、さらに別の機能と組合わされる。
【0018】
さらに、別の実施例では、表示プロセスは、ユーザーが、離散性プロット、ヒストグラム、定量的データの他の可視化の部分も選択し、さらに、離散性プロット、ヒストグラム、又は、他の可視化の選択した部分に相当する試料の部分について、さらに定量解析を実施する機能を含む。例えば、ユーザーは、比較的高い濃度の特別な蛍光体(例えば、625nm量子ドット)を伴う大きな細胞に対応するヒストグラムの部分を選択しうる。その表示プロセスは、ユーザーが選択したヒストグラム内の大きな細胞に対する追加の定量的データを表示する新しい表示部を作る。そのような定量的データは、種々の形をとれて、例えば、ユーザーが選択したヒストグラムの部分に対応した細胞に対して625nmの量子ドットの濃度の関数として605nmの量子ドットの濃度を示す新しい離散性プロットを有する。追加的に、表示プロセスは、例えば、対称色内で強調表示された生物学的構成を伴って、ヒストグラム、離散性プロット又は他の可視化の選択した部分と関連する生物学的構成を伴う試料の画像を表示しうる。その画像は、サンプル例えば自己蛍光、その組合わせ、その他に存在する625nmの量子ドット、605nmの量子ドット、他の蛍光体に対応する濃度係数から作成できる。
【0019】
さらに、本開示の他の側面で、1・・・Nの量子ドットの間で試料に加えられる生物学的試料の分析のために方法が提供されている。
【0020】
その方法には以下のステップが含まれる:
(a)Mの波長で顕微鏡に結合されたカメラを用いて試料の画像1セットを捕捉する。ここでMは2より大きな整数で画素のアレーとして配置された画像。
(b)Mの画像セット、各画素に対する係数C1・・・のセットから決定すること。ここで、係数C1・・・は各画素により画像処理された試料内に存在する1・・・Nの量子ドットに関係している。
(c)試料内の細胞又は細胞成分を特定するために、1以上の係数C1・・・から作られた画像を形態学的に処理する。
(d)係数C1・・・からステップ(c)で特定された細胞又は細胞成分の定量分析を行う。
(e)ワークステーションの表示上で定量分析プロセス(d)の結果を表示する。
【0021】
定量分析及び表示のステップが、本発明のシステムの側面に関する議論中に上記で強調した定量分析及び表示の機能を1以上組み込める。
【0022】
さらに本開示の別の側面で、本発明は、処理装置例えばコンピューター・ワークステーションにより実行するために、1セットのソフトウエア説明書を含む機械が読み取れる記憶媒体(例えば、ハードディスク、CD又は他の媒体)の形をとる生物学的試料分析装置として特徴付けられる。その処理装置は1以上の量子ドットで染色され、又、顕微鏡に結合したカメラを用いて、画像処理された試料の画像キューブへのアクセスを行なえる。その画像キューブはMの波長で取られたサンプルの1セットのMの画像でありうる。ここでMは2より大きな整数である。その画像は画素のアレーとして配置される。その画像セットを処理装置上に現地で記憶でき、ネットワーク上で入手され、又は、機械が読み取れる記憶媒体にも記憶できる。説明書は以下の説明書セットから成っている。
(a)各画素について、Mの画像係数C1・・・のセットから決定すること、ここで、係数C1・・・は、各画素により画像処理された試料内に存在する1以上の量子ドットの濃度に関連する。
(b)試料内の細胞又は細胞成分を特定するために試料の画像を形態学的に処理する。
(c)係数C1・・・からステップ(b)で特定された細胞又は細胞成分について量子ドットの濃度を計算することを含めて試料の定量分析を実施する、
(d)処理装置と関連する表示上で定量分析プロセス(c)の結果を表示するためにデータを作成すること。
【0023】
本発明の方法の側面と同様に、ソフトウエアの説明書は、本発明のシステムの側面の議論で上記の強調表示をされた1以上の定量分析及び表示の機能を組み込める。
【0024】
画像分析、定量分析及び表示の方法が、種々の市販された画像処理プラットフォーム、染色システム及びワークステーションを用いるように好ましく設計されている。従って、1件の可能な実施例で、ソフトウエア説明書は高価な新ハードウエアの購入を必要とせずに本発明を実施するために既存の画像処理設備及びコンピューター・ワークステーションを可能にする別個の製品として提供できる。それで、機械が読み取れる媒体(例えば、CD)に記憶されたソフトウエア説明書がそれ自身の特別な有用性と利点を有している。
【0025】
上記の例示的な側面及び実施例に加えて、別の側面及び実施例が、図面を参照し、かつ、以下の詳細記述を、検討することにより明らかになる。
【図面の簡単な説明】
【0026】
【図1】生物学的試料分析のためのシステムのブロック線図である。システムにはデジタルカメラ、顕微鏡、表示部を有するワークステーション、カメラが捕捉した試料の画像を処理するためのソフトウエアの説明書を記憶するメモリーが含まれる。
【図2】図1のワークステーションのより詳細なブロック線図で、そのワークステーションのメモリーに記憶されたソフトウエア・モジュールを示している。
【図3】図2による初期化及び設定モジュールにより行われる処理ステップの手順を示すフローチャートである、
【図4】図2の分析モジュールにより実施される処理ステップの手順を示すフローチャートである。
【図5】生物学的試料を含むスライドの1セットの画像(M=22)の図面で、各画像は図1のカメラにより図5の画像セットからの離散波長データで捕捉され、ここでは時として「画像キューブ」として参照される。
【図6】7個の量子ドットの基準放射スペクトルのグラフであり、その1以上が試料に加えられる。図6のスペクトルがワークステーションに記憶され、適用する。かつ、各画素位置で係数C1・・・を計算するためにスペクトルの不混合アルゴリズムで図5の画像キューブに適用される。係数C1・・・は各画素位置でサンプル内に存在する1・・・Nの蛍光体(量子ドット)の濃度に関連している。
【図7】生物学的試料の典型的画像であり、その中に、マルチプル量子ドットからの発光の放射が、細胞又は核又は細胞膜のような他の細胞構成を強調するのに役立つ。図7の画像を1以上の係数C1・・・から生じうる。
【図8】画像内に存在する蛍光体を選択し、ユーザーがその蛍光体に情報ラベルを割当てること、個々の蛍光体を代表して用いる色を選択することを示すワークステーション上で示す表示部の図である。
【図9】2件の係数C1・・・から成る生物学的標本の別の画像である。
【図10】図9の画像発生で1個の蛍光体又は他の貢献をユーザーが評価(即ち、強化又は減衰)できることにより、機能を示すワークステーション上で示す表示部の図である。蛍光体の一種は試料からの自己蛍光から成ることを図10から認識されたい。
【図11】ヒストグラム、散布性プロット、統計的データ及び画像データを含む試料のためにユーザーが提示する定量性データのセットを示すワークステーション上の表示部の図である。
【図12】試料の2種の別個の画像を示すワークステーション上の表示部の図である。1種は自己蛍光からであり、他は625nmで放出される量子ドットからであり、又、画像内で選択されたポイント又は領域である。
【図13】定量性データを示し、又、ユーザーがヒストグラムの一方で細胞の部分母集団を選択でき、細胞の選択された部分母集団について追加の定性的・定量性分析を行なえる機能を示す2本のヒストグラムの図である。
【図14】図13でユーザーが選択した細胞の部分母集団を選択する追加の定量分析を行なえる散布性プロットを示すワークステーションの表示部の図である。
【図15】ワークステーション上に示された表示部の図で、画像の離散的部分領域をユーザーが選択でき、その選択された部分領域上で実行できる追加の定量分析を有する試料と特徴を示している。
【図16】ワークステーション上に示された表示部の図で、図15で示す手順で選択された試料の領域について、試料の同じ部分の2枚の画像を示す。1枚は自己蛍光を示し、他は625nmの量子ドットの強度及びスペクトルである。
【図17】ワークステーション上に示された表示部の図で、試料の同じ領域の3枚の画像を示す。1枚の画像が試料からの自己蛍光を示し、1枚は605nmの量子ドットからの信号を示し、1枚は655nmの量子ドットからの信号を示す。図17は3枚の画像に示された試料の領域に対するスペクトルも示す。
【図18】ワークステーション上に示された表示部の図で、ヒストグラム、離散プロット、統計データ、画像データの形の試料からの統計データを示す。
【詳細記述】
【0027】
“システム及びソフトウエアの概要”
図1は生物学的試料10の解析のためのシステムのブロック線図である。例えば、試料10が、ホルマリン固定、パラフィン埋込みの組織サンプルのようにヒト又は動物の被験者から得た組織セクションの形を取る。その試料は生きている細胞組織、凍結細胞、腫瘍細胞、血液、のど部の培地その他でありうる。試料のタイプ又は性質は特に重要でない。
【0028】
典型的に、試料はカメラ・システムのプラットフォーム22による画像処理の目的に合わせて、スライド18又は他の装置に取付けられる。試料画像のコンピューターによる分析が今回の開示に基づいてワークステーション34内で行われる。その分析は、蛋白、蛋白の破片、又は、癌又は他の病気を示す他のマーカーの存在について、又は、他の目的、例えば、遺伝子DNAの検出、メッセンジャーRNAの検出、蛋白の検出、ウイルスの検出、遺伝子の検出その他でサンプルの識別及び研究のためにある。
【0029】
生物学的試料10は1以上の種類の蛍光体を含む染色剤を用いることにより染色される。試料に加えられる蛍光体の数Nは変更できるが典型的には2から10くらいの間にある。蛍光体は1以上のナノ結晶性半導体の蛍光体(即ち、量子ドット)12から成り、それぞれが、異なる範囲の波長のピーク発光応答を生じる。量子ドットは特許及び技術文献に示されていて、例えば、特許文献2、3、4を参照されたい。用語“量子ドット”は一般的にそのような構成を含むように広く読まれることを意図している。量子ドットはInvitrogen Corp.,Evident Technologies.その他から市販されている。
【0030】
例えば、試料10が2、3又は5種の異なる量子ドット(この例ではN=2、3又は5)を用いて処理される。例えば、量子ドットは525、600、625nmでピークの発光応答を生じる。試料に加えられる1以上の蛍光体は有機蛍光体14としうる(例えば、DAPI,Texas Red)。これは当業でよく知られている。それゆえ、図1のシステムを量子ドットだけで染色された、従来の有機蛍光体又は最近の有機蛍光体と組合わせた量子ドットで染色された試料と共に使用できる。量子ドットは従来の有機蛍光体を上回るいくつかの重要な利点を有することに留意されたい。実際に、量子ドット又は他の蛍光体が抗体と結合し、蛋白のような試料内のターゲットと結合するように設計されている。
【0031】
典型的な方法で、試料は自動化された染色/分析のプラットフォーム16で処理され、量子ドットを含む染色剤及び(又は)有機蛍光体を試料に加える。染色/分析用プラットフォームとして使用するのに適当な種々の市販製品がある。一例は譲渡人のVentana Medical Systems,Inc.のDiscovery(TM)製品である。
【0032】
プラットフォーム16で予備的に組織の処理及び染色をした後で、試料10を含むスライド18がカメラシステムのプラットフォーム22に用いられる。プラットフォーム22にはその試料10に加えられた蛍光体から照明応答を生じることを意図した波長で試料10を照明するための光源が含まれる。量子ドットの場合、光源は広いスペクトルの光源でよい。代わりにその光源はレーザーのような狭帯域の光源から成っていてもよい。さらに、カメラ用プラットフォームが1以上の対物レンズを有する顕微鏡24及びデジタル画像処理装置(カメラ)26も含む。カメラ26がその試料の高い解像度と拡大されたデジタル画像を記録するために顕微鏡24に結合される。以下に説明するように、試料10が、複数の異なる波長でカメラ26により画像処理される。複数の異なる波長で画像を捕捉するために、カメラ用プラットフォーム22は1セットのスペクトル・フィルター28を含む。異なる波長で画像を捕捉する他の技術を使用できる。カメラ26は電荷結合素子の形をとり、例えば、400及び900nmの間の蛍光体の発光応答のスペクトルをカバーする帯域内の光に画像処理部が感じる。染色された生物学的試料の画像処理に適するカメラ用プラットフォームが当業で知られていて、Zeiss,Canon,Applied Spectral Imagingその他のような会社から商用的に入手できる。そのようなプラットフォームは本発明のシステム、方法、装置で使用するのに適合しやすい。
【0033】
カメラ26が複数(M)の離散性波長で試料の画像処理を行う。又、Mの波長のそれぞれで試料の画像を応答可能に発生する。画像のそれぞれがデジタル画像処理部26内の個別画像要素(画素)に応じる複数の画素から成っている。試料が画像処理される波長は、サンプル内に存在する1・・・Nの蛍光体が入射光に対応した発光を生じる波長を含む。例えば、試料が2件の量子ドットで染色され、625nmと605nmでのピーク発光応答を有していると想像されたい。さらに。そのような量子ドットの名目(基準)スペクトル575及び750nmの間でかなりの応答によるガウス分布を有すると想像されたい(例えば、図6及び以下の議論内の基準量子ドットのスペゥトル参照)。それゆえ、カメラ26を操作して、575nmと750nmの間の約10、15又は20の異なる波長で試料の画像処理をする。一例として、カメラ(及び付属スペクトル・フィルター28)を操作して、575、600、625、650、675、700、725、750nmで試料の画像を捕捉する。そのような波長が、蛍光体が有意な発光応答を生じる波長で、605及び625nmの量子ドット蛍光体の基準スペクトルに重なる。この例ではM=8。
【0034】
試料のMの画像の1セットから得られたデータ(Mの波長のそれぞれでとられたもの)が、ここで“画像キューブ”と呼ばれる。再度図1を参照すると、画像キューブがワークステーション34に供給される。カメラの画像処理プラットフォーム22とワークステーション34の間のケーブル接続(46と表示)経由で、又は、ワークステーション34にカメラの画像処理プラットフォーム22を接続するコンピューター・ネットワーク30を介して、又は、コンピューター間でデジタル情報を伝送するのに通常用いている他の媒体を用いる。画像キューブは保存のためにネットワーク・サーバー32又はデータベースにネットワーク30上を記憶のために供給でき、その後にワークステーション34により検索できる。
【0035】
ワークステーション34は、中央処理装置36及びメモリー38、キーボード40及びマウス42の形でのユーザー入力装置及び表示部44を含む。以下の議論で説明するように、プロセッサー36はメモリー38に記憶されたプログラム指令を実行し、画像キューブの分析を実行し、そのような画像から得られた画像又は画像データの形態学的処理、定量分析、ワークステーション34を操作するユーザーに定量的結果を表示する。
【0036】
図2は図1のワークステーションのより詳細な図であり、メモリー38に記憶された特定のソフトウエア・モジュール及びデータを非常に詳細に示している。メモリーには3種の主要なソフトウエア説明書モジュールを含む。即ち、初期化及び設定モジュール50(図3に示されるステップ)、分析モジュール52(図4に示すステップ)及び表示モジュール54で、その操作は図7−18と関連して示されている。さらに、メモリー38は特定の他のデータを記憶している。モジュール50、52、54により用いられるか又は操作される。即ちランタイム・ライブラリー60、コンフィギュレーション・ファイル62、サンプルに適用される1・・・N蛍光体に対する基準スペクトル・データ64である。7種類の量子データ(Qdot 1・・・Qdot 7)を用いた分析のための基準スペクトル64の例を図6に示す。基準スペクトル64を以下で非常に詳細に説明するように、分析モジュール52内のスペクトル非混合アルゴリズム内で用いられる。図6のスペクトル64が、異なる量子ドットが異なるスペクトルを有することを示すだけの例示用に提供されていて、同じ照明条件でピーク発光応答の異なる波長と異なるピーク強度を含む。それゆえ、スペクトル・データ64が分析に用いられる特定の量子ドットにより変化しうる。図6のスペクトル・データは量子ドットの生産者から得られる。又は代わりに、適当の設備を用いて、量子ドットの試験例により得られる。
【0037】
さらに、メモリー38はMの異なる波長で採取したスペクトルのMの画像から成る画像キューブ70を記憶する。さらに、そのメモリーは試料が画像処理される波長のリスト72を、又、各波長の露出時間のリスト74を記憶する。画像キューブ及びリスト72及び74は分析モジュール52への入力である。
【0038】
さらに、メモリーは計算された濃度係数C1・・・(項目80)を記憶する。その係数は分析モジュール52からの出力であり、モジュール52内の定量分析ルーティンにより用いられる。さらにモジュール52はメモリー内に記憶された追加出力の定量的データ82として生じる。濃度係数80と定量的データ82を表示モジュール54が用いて、以下に説明する従来のユーザーが扱いやすい方法で定量的データをユーザーに表示する。ワークステーション34内で分析モジュール52が実施した処理の1側面は、画素の各位置で係数C1・・・の算定値を生じるように、1・・・Nの蛍光体(図6)と関連する基準スペクトル・データ64で処理される。係数C1・・・は各画素位置でサンプル内に存在する1・・・N蛍光体の濃度と関連する。係数C1・・・は蛍光体の絶対濃度に大きさを合わせられる。さらにその係数が任意の単位に寸法を合わせて、相対値又は絶対値で照明強度に対して濃度を示すのに使用できる。
【0039】
係数C1・・・に合せて「画素位置」の用語は、デジタルカメラ26の個別画素にも対応して各画像内の個別位置を言っていると理解されたい。例えば、デジタルカメラ26が画素の1・・・i行と1・・・j列に配置された画素のアレーとして作成された場合、カメラの各画素が試料をM回画像を処理する。
【0040】
各画素の場合、スペクトル非混合プロセスが、その画素に対するMの画像の全てに対して各蛍光体の濃度に対する係数C1・・・を計算する。画像キューブ全体に適用する時、スペクトル非混合プロセスが、相対値で、又は、絶対値で適当な伸縮をして、得られた画像に対してサンプル内に存在する1・・・Nの蛍光体のそれぞれについて相対的寄与を全体的立場で決定する。スペクトル非混合プロセスはそれぞれの画素についてそのような計算を行う。種々の非混合プロセスを使用でき、非特許文献2に示すように線形スペクトル非混合プロセスが好ましいと考えられている。このプロセスは以下で詳細に論じられている。
【0041】
さらに、ワークステーションは試料内で1以上の生物学的構成を特定するために少なくとも1件の形態学的プロセスを実行する分析モジュール52の一部としてソフトウエアの説明書を含む。そのような構成は、細胞全体(図1に20として表示)又は、細胞膜、核、シトゾル、ミトコンドリア、遺伝子、DNAの部品、RNA、メッセンジャーRNAの実態部その他としうる。既知の形態学的又は類似の画像処理技術を用いることにより決定できる形状又は他の特性により特定される。そのような構成を特定するための形態学的処理をどれかひとつの画像、全ての画像、又は、より好ましくは1以上の特定された係数C1・・・について行なえる。なお他の可能性のある変形で、試料はヘマトキシリンとエオシン(H and E)で染色される。又、形態学的プロセスがH及びEで染色されたサンプルの画像から問題となる生物学的構成を特定する。
【0042】
種々の形態学的処理技術が当業の技術者に知られている。その技術がサンプルの画像で生物学的構成を特定するのに使用できる。例には、非特許文献3に記載されているようにマルチ・スケール法が含まれている。活性輪郭(スネーク)法が非特許文献4に、レベル設定法が非特許文献4及び5に記載されている。非特許文献5には幾何学、流体力学、コンピューター・ビジョン、材料科学でのインターフェース進展に触れている。非特許文献6は輪郭閉鎖法、パターン解析及び機械インテリジェンスに触れている。非特許文献7はウオーターシェッド法に触れている。以下の論文で開示されているものを含めて、他の技術も使用できるとして、非特許部文献8、9、10が紹介されている。
【0043】
生物学的構成がこれらのプロセスを用いて試料内で特定されると、分析モジュール52のルーティンが試料全体でその構成を計数し、その試料に加えられた蛍光体のそれぞれに対して陽性の構成を計数し、その寸法を測定し、そのような構成のそれぞれについて画像内の位置を記憶する。そのような定量データの記憶が図2に82で代表されている。
【0044】
分析モジュール52の一部が他の事項の中で、定量分析プロセスを含み、生物学的構成20(図1)に対する蛍光体の濃度を計算するが、スペクトル非混合プロセスで得られる係数C1・・・を用いる。例えば、特定された生物学的構成20(例えば、細胞)のそれぞれについて、その生物学的構成を代表する画素に対し、N件の蛍光体のそれぞれについて全体的蛍光体濃度を定量分析が合計する。例えば、6件の量子ドットで染色されたがん細胞を含む試料が、その試料内で発見される6件の増殖蛋白に取付けられるように設計された抗体と結合すると考えられたい。さらに、2件の量子ドット(605nm及び625nm)が試料内の細胞に結合したが残りの4件の量子ドットが試料内の細胞に結合していないと考えられたい。形態学的処理プロセスが605及び625量子ドットに対して、非ゼロの発光応答を生じる試料内の全細胞を特定する。(もちろんカメラ26からの信号レベルの8ビット定量化により0−255のスケール上の10又は30のようにゼロ以外のしきい値を指定できる。)そのような細胞に対する画素の座標を特定する。605及び625の量子ドットと関連する係数C、Cの値がそのような画素座標に対して記録される。選択肢として、強度、絶対濃度その他の値の目盛付けをする。得られた定量データをその細胞の画素のアドレスと共にワークステーション内のメモリーに記憶される。
【0045】
さらに、定量分析モジュールが、サンプルに対する他の統計についても計算する。それには、(a)細胞数のカウント、(b)蛍光体のそれぞれについて、陽性の信号を有する細胞数のカウント、c)サイズ、1以上の蛍光体の存在,又は、他の特性により分類したヒストグラムに細胞を分類、(d)細胞のサイズから平均、中央値、標準偏差を計算、(e)特定した生物学的構成、さらに他に対して,蛍光体の濃度(強度)を測定。そのような追加の定量的データを図2で82として表示もされている。
【0046】
さらに、ワークステーションは、そのワークステーションと関連する表示部44上に定量分析プロセスc)の結果を表示するために表示プロセス又はモジュール54を含む。試料から定量的データを表示することを想定し、以下の議論で図11−18を参照して説明されている。一例として図11に示すように、定量分析プロセスの結果がヒストグラムとして示され、そのヒストグラムは試料に加えられる1・・・Nの蛍光体のそれぞれについて生物学的構成のサイズにより分類された生物学的構成の数である。
【0047】
図15及び16との関連で後で示す他の実施例で、表示プロセスは、表示部上に表示された試料の画像の部分をユーザーが選択できる機能を含む。(例えば、特に高い蛍光体を有する細胞領域)。又、表示プロセスはその画像の選択された部分に対する定量的結果を表示する。他の例として、図11及び14に示すように、表示される定量的結果は、選択された画像部分内で,又は、全体的画像内で、両方の蛍光体に対して陽性の細胞に対して、第2の蛍光体(例えば、625量子ドット)の濃度の関数として1件の蛍光体(例えば、605量子ドット)の濃度プロットの形をとることができる。そのようなプロットを、例えば図18に離散性プロットとして視覚的に表示できる。
【0048】
他の実施例で、係数C1・・・は試料内の蛍光体の絶対濃度の寸法に合せる。(例えば、立方ミクロン当たりナノモル、細胞当たりの量子ドットの数又は他の単位系統)。さらに、蛍光体の濃度のプロット又はヒストグラム又は試料に対する定量的データの他の報告又はフォーマットを、試料又は試料の選ばれた部分内に存在する蛍光体の絶対濃度にもとずいて表示できる。
【0049】
例えば、図11及び18に示すように、定量的結果の表示が同じ表示部での試料画像の表示を含む。その画像は1以上のMの画像から作られる。より好ましくは、定量的データと同時に表示される画像は、1以上の係数C1・・・から作られる。そのような係数は非混合プロセス内で得られ、各画素について決定されることを想起されたい。例えば、ユーザーが細胞のサイズ分布のヒストグラムを研究したが、625nmの量子ドットの蛍光体について陽性信号を有する場合、その表示は、625nm量子ドットの蛍光体に相当する係数Cから生じた画像を用いて試料の画像を同時に示す。そのような画像は試料全体又はその試料の選択した部分としうる。言い換えると、画像が、試料内に存在する他の全ての蛍光体からの発光応答をマスクし(抹消する)及び625nm蛍光体の寄与を明らかにするだけである。さらに、定量的結果には、ユーザーが選択した画像の部分に対する統計データを含められる。
【0050】
さらに、別の例では、表示プロセスが、その表示部上の画像の外観を変更するために、ユーザーが1以上の選択された蛍光体に選択的に色強度の重み付けをできるツールを提供する。例えば、ユーザーが試料内の605nm及び625nmの量子ドットに陽性の細胞の分布を明らかにする試料の画像を見ることを希望しうる。そのような画像を表示する時、605nm量子ドット信号又は625nm量子ドット信号でユーザーが選択的に重み付け(又は減衰)できるツールが提示される。例えば、弱い蛍光体信号を強化するのに重み付けを使用する。又、ユーザーが試料内の生物学的構成(例えば、細胞)内の蛍光体分布を容易に関知できる。
【0051】
表示プロセスは種々の解析機能を結合し、試料を解析するために種々のツールを提供する。例えば、表示プロセスが、
i)各画素について1以上の係数C1・・・から作られる試料の画像、
ii)サンプルに加えられる少なくとも1件の蛍光体に対して、生物学的構成のサイズにより分類されたi)内の画像に特定された生物学的構成のヒストグラム。
iii)両方の蛍光体に対して陽性の細胞、又は、他の生物学的構成に対して他の蛍光体のひとつの濃度の関数としての蛍光体のひとつの濃度の1以上の離散性プロット、
を表示するためのプロセスを含む。そのような表示の例は図11及び18に示されている。これらの機能を、追加の統計データ、別の定量分析を実施する画像の部分を選択するためのツール、さらに他の機能と結合しうる。
【0052】
さらに別の実施例で、表示プロセスはさらに離散性プロット又はヒストグラムの一部を選択し、例えば、マウスを用いてヒストグラム又は離散性プロットの一部の回りにボックスを描くことにより、又、離散性プロット又はヒストグラムの選択した部分に対応した試料の部分(例えば、特定の細胞)についてさらに定量分析を行うことによりユーザーが選択をする機能を含む。例えば、ユーザーは、比較的高濃度の特定蛍光体(例えば、625nmの量子ドット)を持つ大型細胞に対応してヒストグラムの部分を選択しうる。その表示プロセスが、ユーザーが選択したヒストグラム内の大型細胞のための追加の定量的データを表示する新表示部を創造する。そのような定量的データは、ユーザーが選択したヒストグラムの部分に対応した細胞に対して、625nm量子ドットの濃度の関数として605nm量子ドットの濃度を示す新しい離散性プロットを有する多様な形をとりうる。さらに、表示プロセスは画像及び強調表示された、例えば、対称色で表示されたヒストグラムの選択された部分でその細胞と関係する生物学的構成を持つ試料の画像を表示しうる。そのような画像は625nm量子ドット、605nm量子ドット、サンプル内に存在する他の蛍光体、自己蛍光、その組合わせ、その他に対応する濃度係数Cから作られる。
【0053】
ここで、上記ソフトウエア・プロセスを図3−18を参照して詳細に示す。最初のステップとして、試料が処理されて、かつ、1以上の蛍光体(例えば、Nまでの量子ドット、ここで例えばNは2、5、10以上)で染色される。そして、上記のようにMの波長で画像処理される。得られた画像キューブ、波長のリスト、各波長での露出回数をワークステーション34のメモリー38に記憶される。
【0054】
図5は、種々の波長で試料の22種の離散性画像150、152、154・・・(M=22)から成る1個の画像キューブ70の事例の図面である。画像キューブ70を代表するデータが図1のカメラ26により得られる。波長λ1・・・λMを、それらが、蛍光体から有意な発光応答があるサンプルに加えられた蛍光体用基準スペクトルの一部に重なるように選択する。例えば、画像150が505nmの画像であり、画像152が515nmの試料画像であり、画像154が525nmの試料画像であり、残りの19の画像が10nm刻みで715nmまでで得られる。22種の波長が図6の基準スペクトルのQdot 1・・ Qdot 5に対する基準スペクトルと実質的に重なる。
【0055】
カメラ26(図1)が画像キューブを形成するスペクトル画像を取得するのに便利なフィルタリング技術を使用でき、それには、物理的フィルター28、液晶ディスプレー(LCD)スペクトル・フィルター又は他のタイプのフィルターの使用が含まれる。
【0056】
各画像が、カメラの感度及び照明源の強度により、適当な露出間隔で捕捉される。例えば、そのような露出間隔は、サンプル波長当たり100ミリ秒から5秒の間である。各波長の露出間隔は記憶され、ワークステーションに供給される。
【0057】
A.初期化・設定モジュール50(図3)
図2の初期化・設定モジュール50、分析モジュール52、及び、表示プロセス54が、ワークステーション表示部の卓上アプリケーションと関連したアイコン上をユーザーがクリックする時に開始されるアプリケーションの一部である。図3で100として示すように、アプリケーションが開始される時、初期化・設定モジュール50も開始する。初期化・設定モジュールがユーザーの関与を必要としない最初の動作を実行する。そのモジュールの詳細は本発明と特に関係しない。それゆえ、簡潔にするために多くの細部を省略する。基本的に、図3を参照して、モジュール50はステップ102を含み、ランタイム・ライブラリー60(図2)をロードする。これはメモリー内に記憶され、又、画像処理サブルーチンを含み、システムの動作を補助する及び他のコード・モジュールを含む。ステップ104で、モジュール104がコンフィギュレーション・ファイルをロードする。これは用いられる特別画像処理システムに関係するデータ、分析する試料に関係するデータ、及び他のコンフィギュレーション・ファイルを含む。ステップ106で、既知の蛍光体のための基準スペクトル・データのライブラリー(図2、64)がロードされる。ステップ108で、最初のスクリーンがユーザーの表示部44上に提示され、ユーザーがアプリケーションと対話をできるように、又、定量的データを見るために最初のステップをとるようにする。例えば、ドロップ・ダウン型メニュー又は他のツールを用いて、個別の蛍光体のために色を選択し、サンプルに加えられた蛍光体を特定し、試料の画像を見て、定量的データを見る等のような定量的データを見る。
【0058】
B.分析モジュール52(図4)
図2の分析モジュール52が、図4、及び、図5、6及び8のフローチャートと関連して詳細に示されている。図4は個々のサブルーチン又はステップ(処理命令)のシーケンスを示していて、ワークステーションに表示するために試料の画像から定量的データを抽出するためにモジュール52内で実行される。
【0059】
ステップ110で、ワークステーション上のスクリーンを用いてユーザーに提示する。それにより、例えば、ボックスをチェックすることにより、又は、ドロップ・ダウン型リストから選択することにより、試料に加えられた蛍光体を特定する。一例を図8に示す。図8はワークステーションの表示部上に提示された表示202を示しているが、量子ドット又は他の有機蛍光体のリスト204を示す。そして、ユーザーは蛍光体の名前に隣接したボックスをチェックするが、それは試料に加えられたことを示している。ユーザーは自己蛍光に隣接したボックスをチェックするが、それはユーザーが研究中の組織のタイプに適当な自己蛍光に対する基準スペクトルを用いたサンプル解析を希望していることを示している。自己蛍光とは、サンプル内に存在する分子から自然発生の蛍光を言う。自己蛍光データを抽出するための試料分析が、自己蛍光のスペクトルを含む別個のファイルを利用する。このファイルのスペクトルが外部の(追加された)蛍光体を含まないサンプルを別個に計算することにより、このサンプルから集めたスペクトル情報を最適表示するするために1以上の基準スペクトルを最適化することにより計算される。その後、自己蛍光が、システム内の他の蛍光体と、即ち、試料に加えられた蛍光体と同様に扱われる。
【0060】
ステップ112で、ユーザーが、表示目的のために試料内に存在する個別の蛍光体に用いられるラベルと色を選択する。図8を参照すると、ユーザーが表示202上でツール206を提供され、それにより、試料の画像内表示に用いるためにサンプル内に存在する蛍光体のそれぞれのタイプに対してユーザーが色を選択できる。例えば、ユーザーは蛍光体の隣にある「設定色」のボックスをチェックし、選択された蛍光体に適用する色のシーケンスをトグル操作する。例えば、自己蛍光に対してユーザーが青を選択できる。605nm量子ドットの蛍光体“Qdot 605”のためにユーザーが赤を選択できる。655量子ドットの蛍光体“Qdot 655”のために、ユーザーが第三の色例えば黄色を選択できる。
【0061】
ステップ114で、図2及び4を参照すると、上記図5との関連で、モジュール52が画像キューブ70と、波長のリスト72と、露出時間のリスト74をロードする。
【0062】
ステップ116で、選択的露出補償動作が、波長の範囲に亘って応答を正規化するためにMの画像について行われる。有意に異なるピーク強度の蛍光体信号を生じることは蛍光体を変えることは異常ではない。例えば、“Qdot 655”は、同じ光源を用いて励起されたとき、“Qdot 525”より非常に強い信号を生じて、“Qdot 655”スペクトルにより支配された画像キューブになる。この状況を補償するために、又、両方の蛍光体から選択的信号を実現するために、カメラ・プラットフォームに共通な自動露出機能が、各波長でサンプルにカメラが露出するための期間を自動的に選択するのに使用できる。これにより、全ての波長に亘って類似の信号出力レベルになるが、定量分析中に修正を加える必要がある。なぜなら、蛍光信号の強度は露出時間の関数であり、露出時間が長ければ、高い信号強度になる。露出時間への信号強度の依存性を記したひとつのモデルは、非特許文献11に記載されているようにリニア・モデルであり、強度は露出時間に対して直線的目盛になる。
【0063】
ステップ118で、プロセス52が追加画像の前処理機能を実行する。それには、背景信号(これはMの画像全部に亘って均一ではなく、装置依存性である)の減算、及び、スペクトル・フィルター、顕微鏡、又はカメラの光学系の不完全又はノイズに対する他の改善、入射光の出力及びカメラの応答が含まれる。これらの詳細は特に関係があるとは思われず、簡潔化のためにこれ以上の議論を省略する。
【0064】
ステップ120で、モジュール52は画像キューブ内でM個のサンプルした波長に蛍光体の基準スペクトル(図2では64)の内挿を行う。この動作では、以下の式(1)で各蛍光体のマトリックスIに対し、各波長での照明強度マトリックスになる。マトリックスの各列はM個の波長で1個の蛍光体に対するスペクトル強度の値を示す。それゆえ、各列がM行を有する。マトリックス内のN列があり、蛍光体当たり1個になる。さらに、内挿アルゴリズムが、露出時間に対して基準スペクトルを修正する。丁度ステップ116での露出補償動作のようである。
【0065】
ステップ122で、分析モジュール52は画像キューブのM個の画像上のスペクトルの非混合プロセスを実施する。種々のスペクトルの非混合プロセスが当業内で知られていて、この計算に適していると考えられている。ひとつの方法で、このスペクトルの非混合プロセスは、種々の濃度係数C1・・・のベクトルを計算するために、M個の波長のそれぞれで(式(1)内のベクトルSで)トータル蛍光体強度のベクトルによりのMoore−Penroseの疑似逆行列I(式(1)内の[I]−1により示された)に乗算をする。nxmマトリックスのMoore−Penroseの疑似逆行列の計算法は当業内で公知である。この動作が以下のように式(1)で示される。
【0066】
【数1】

【0067】
式(1)のこの動作は各画素位置で行われ、各画素に対する係数C1・・・のベクトルを生じる。係数C1・・・が各画素位置でサンプル内に存在する1・・・Nの蛍光体の濃度に関係する。その係数C1・・・が絶対濃度に換算できる。又は、1・・・Nの蛍光体に対する相対強度又は相対濃度を示すと考えられる。例えば、画像強度の8ビット定量化で、0−255の目盛上に示す。
【0068】
ステップ124で、分析モジュールが、細胞、細胞膜、核、ウイルス、その他のような試料内に存在する生物学的構成を特定する1以上の形態学的処理プロセスを実行する。そのようなプロセスが基本的に、特定寸法の閉回路のような試料の画像内に存在するパターン及び形状を特定することにより、細胞又は他の構成を特定する。形態学的処理動作がM個の画像のひとつ、M個の画像の2以上の組合わせ、係数C1・・・の1以上から作られる画像、試料の明視野画像、その他となる。好ましい実施例では、形態学的処理が係数C1・・・から作られた画像上で実行される。形態学的処理ステップは以前に記されている。ステップ126で定量分析が、ステップ124により特定された生物学的構成例えば細胞又は核に対して実施される。
【0069】
ステップ128で、得られた定量的データが、表示モジュール又はプロセス54により使用するためにワークステーションのメモリー38内に記憶される。
【0070】
C.表示モジュール54(図2)
表示モジュールの動作が図7及び9−18と関連して記される。基本的に、このモジュールは、ワークステーションの表示上でユーザーに試料の画像及び定量的データの表示のためのデータを生じる。定量的データを表示するための種々のツールと方法を記述する。
【0071】
図7はワークステーション上の表示部200に示された試料の画像を示す。その画像がスライド全体、又は、その部分である。その画像は典型的に多色であり、ユーザーが図8のスクリーンと対話を行う結果として種々の色を与える各蛍光体からの蛍光体応答を伴う。図7に示された画像が係数C1・・・により好ましく生じて、スペクトル非混合プロセスで計算された。
【0072】
図9は試料の第2画像である。図9の画像210は自己蛍光信号と共に、係数Cのひとつから発生させる。この場合、係数Cが細胞膜の表面上で蛋白と結合する抗体が結合した量子ドットに対応する。そこで、画像の中で係数Cにより蛍光信号は細胞膜の形に対応してループのように見える。表示プロセスはサンプル内に存在する他の蛍光体からの蛍光信号を画像に加える機会をユーザーに与える。2個の蛍光体が存在する時、一方の信号が他よりずっと強いことがある。それゆえ、データの視覚化を支援するように、蛍光体のバランスを好ましく調節できる。図10で、サンプル内の2個の蛍光要素を示す表示部220及びその一部222をユーザーに提示される。この例では、自己蛍光とQdot 625である。表示部にはスライダー・バー224を含み、それにより、ユーザーが各蛍光体の減衰又は強化を行なえる。例えば、ユーザーがボックス226内に示されている伸縮率6によって、Qdot 625信号をユーザーが強化する。さらに、ユーザーは蛍光体の色を再設定するためにボックス228を使用できる。ユーザーがクローズ・ボタン230をクリックする時、設定を保存し、新色選択と重み付けの両方の蛍光体の画像をワークステーションの表示部に表示できる。
【0073】
表示目的のために各蛍光体にユーザーが色を割当てる、図8の以前の議論を想起されたい。又、図10はその色を後でユーザーが変更できることを示している。例えば、Qdot 525が黄色に割当てられる。それはRGB空間内で(255,255,0)を黄色に割当てられる。即ち、純粋の赤と純粋の緑の混合体である。一般に、蛍光体の種類iは色(赤、緑、青)を有する。重複したスペクトルを含む原始データの画像キューブが個々のスペクトル(係数C1・・・)に分離されると、各画素で、各蛍光体に対する強度が知られている(0−255の目盛で)。混合し合った多数の蛍光体を示す画像を生じるために、色はRGB空間内で線形的に混合される。他の同等の方法を混合し合うために利用可能である。しかしながら、直線的混合をこの実行に用いられる。全ての蛍光体からの貢献を示している画像を表示する時(係数(C1・・・)の全てから作られた画像)、ソフトウエアが、各蛍光体から貢献した赤の量を採用し、又、各画素に対する全体的強度又は濃度の重み付けをした赤の値を計算する。これは、各蛍光体iの強度を用いることにより(又は“強度”未満の式で)その蛍光体の赤の赤成分の倍数(又は“赤”未満の式で)全ての蛍光体に亘ってこの動作を合計。
【0074】
【数2】

【0075】
同様の計算が緑及び青の寄与分について行われる。
【0076】
図10のインターフェースにより、ユーザーが人工的に他よりも1個の蛍光体を強化できる。そして、強度の値の前に乗算器を加えることによりこれを実現する。それにより、ユーザーが蛍光体κを2倍だけ高める場合(多分、他のより明るい蛍光体により隠されるので)、i=κが(2intensκredκ)になるとき、上記式の分子条件になる。この乗算方式が単に1件の改善実施になる。他の方法が可能である。
【0077】
図11は例えばワークステーションの表示部に示された試料について定量的データの表示例を示す。表示部250はいくつかのヒストグラム252、254、256を、いくつかの離散性プロット260、262を、試料の画像266を含む。ヒストグラム252は、試料内の全ての細胞のサイズ分布を示す。ヒストグラム254が細胞のサイズにより分類され、陽性の自己蛍光信号を示す細胞の分布を示している。ヒストグラム256が、細胞のサイズにより分類され、Qdot 655に対して陽性を示す細胞の分布を示す。離散性プロット260は、両方の蛍光体に対して陽性である細胞又は他の生物学的構成について他の蛍光体のひとつの強度(又は濃度)の関数としてひとつの蛍光体の相対的強度(又は濃度)の関数としてひとつの蛍光体の相対的強度(又は濃度)を示すポイントを離散性プロット260する。例えば、離散性プロット260で、そのプロットが自己蛍光の値の関数として、Qdot 625の値を示す。それは、相対的に低い自己蛍光の信号を生じる細胞がQdot 625の蛍光体からの相対的に高い信号を(領域258)も生じることを示す。
【0078】
ユーザーは、ヒストグラム252、254、256の任意の部分を、又は、離散性プロット260、262を選択でき、ヒストグラムの選択された部分上でさらに定量分析を行なえる。例えば、ユーザーはヒストグラムC(プロット256)の細胞の特定母集団についてボックス257を描く。そのボックスはヒストグラム内の大型細胞を含む。離散性プロット262(プロットE)はヒストグラム256内のボックス257内で選択された細胞の部分母集団に対して、自己蛍光信号の関数としてQdot 625信号の強度を示す。画像266は、強調表示された離散性プロット262から選択された細胞264を伴う試料を示す。例えば、ヒストグラム内のボックス257により示された大型細胞が対称色で示される。(図1で白として表示)
【0079】
さらに、図11の表示は追加の統計的出力データ270を含む。そのようなデータが、例えば、生物学的構成、強度、平均、中央値及び標準偏差の統計値等のそれぞれについて示している。ユーザーはスライダー・バー274及び272を用いてスクロールダウンをして全ての統計データを見る。
【0080】
図12はワークステーション上に置かれた他のスクリーン表示を示す。表示には2枚の画像300及び302が含まれ、そのそれぞれがサンプルに存在する蛍光体のひとつからの信号を示す。この例では、画像300が自己蛍光信号及び画像302がQdot 625信号を示す。さらに、その表示では、ユーザーが選択した画像の部分に対して、スペクトル・データ304を含む。例えば、ユーザーが画像300又は302上をクリックでき、その中のポイント又は領域を選択できる。又、スペクトル・データ304が自己蛍光のための相対的蛍光データ625の量子ドット、実験データ312、モデル・サム314を示す。モデル・サムは、I マトリックス及び計算された係数C1・・・に基づいて計算された式(3)から値Smodel(λ)のセットである。実験データはS(λ)の値で、C係数を計算するために式(1)で用いられる。領域306によりユーザーはスペクトル・プロット304に存在するデータ・セットを選択できる。
【0081】
【数3】

【0082】
図13は定量的データ表示の別の例を示す。表示はQdot 625信号に陽性の細胞に対して細胞のサイズ分布を示すヒストグラム254を示す。そして、Qdot 625信号に対して陽性となる細胞に対して細胞のサイズ分布をヒストグラム256が示す。その表示によりユーザーがヒストグラム256の中で領域を選択できる。陽性のQdot 625信号を有する細胞に対し、細胞のサイズ分布を示す。ここで、ユーザーは細胞のグループの回りにボックス257を描くことにより領域を示す。この動作で、対話ボックス330が飛び出し、選んだポイントで、何をしたいかをユーザーに尋ねる。画像(332)上で強調表示し、又は、257で選択した細胞のみを示す別のプロットを重ねる。.図13で、ユーザーが図11からプロットD(強度のプロット)を再プロット希望であることを示して、プロットC(図23内の257)で選択したポイントを含めるだけである。その結果を図14内に新プロット340として示され、両方の蛍光信号への非ゼロ応答を有する細胞に対する自己蛍光の関数としてQdot 625の強度を示す257からの細胞の部分母集団に対応するデータ・ポイント342を示す離散性プロットを伴う。
【0083】
次ぎに、図15で示すように、選択したポイントを結合した画像350上で強調表示された細胞として示される。図15で白で示した細胞オブジェクトを(図14の)ボックス257によりヒストグラム256内で選択した細胞である。図15の画像は625nm量子ドットに対応する自己蛍光信号及び係数Cから作られる。
【0084】
さらに、ユーザーはマウスを用いて結合された画像ウインドウ上に対象領域(ROI)352の領域を描くことにより、対象細胞が図15の結合画像上になる。図16に示すように視覚的結果のウインドウ内で領域352のためのスペクトル情報又は他の定量的データを検査できる。図15に示すように画像上の領域を選択する時、視覚的結果のウインドウ(図16)の下にあるプロット内の曲線が更新される。このテクニックはさらに以下に詳細に示されているデータの結合及びデータのブラシングの利点を利用しうる。
【0085】
図16は2種の蛍光体からの2要素を有する画像350の例を示す。この例では、自己蛍光画像300、及び、625nmのQdot画像302である。
【0086】
ツール・メニューは図16で拡張されて、サブ・オプションを示す。強度/対照356がツールを開始して、結合した画像内でこれらの量をユーザーが変化できる。カラー・イコライザーが図10で示したツールを開始して表示目的専用のために1以上の蛍光体を強化できる。さらに、図16は、図15で選択された領域352内のスペクトルの別の例を示すが自己蛍光スペクトル308、625量子ドット・スペクトル310、実験データ312、モデル・サム314を含む。
【0087】
図17は試料から画像を表示する別の例を示す。図17の事例の中で、3件の画像がある、即ち、自己蛍光画像370、605蛍光体のための係数Cから作られる605量子ドット画像605、625蛍光体のための係数Cから作られる625量子ドット画像である。蛍光体のためのスペクトル308、376、310が画像の下のプロットで示される。画像370、372、374を試料全体の画像、又は試料の一部のみの画像、例えば、図15内で示されるように、ユーザーが選択した部分領域としうる。
【0088】
図18は表示400の別の例で、離散性プロット、ヒストグラム、画像、及び、試料のための統計的データの組合わせを示している。離散性プロット402は、両タイプの蛍光に対して陽性の信号を有する細胞の自己蛍光の関数として605nm Qdotの強度をプロットする。自己蛍光と605 Qdotの値を便宜上0から255までの目盛上にプロットする。そして、離散性プロット402を拡大縮小をして、データを含む領域を拡大する。離散性プロットのX軸及びY軸に対する単位が適当な拡大縮小率を用いて、絶対濃度値に目盛付けできる。
【0089】
同様に離散性プロット410は、両方の蛍光体に対して陽性の細胞に対し、Qdot 605の値の関数として、Qdot 655の値の分布を示す。X軸とY軸、412及び414の倍率は相対的強度又は濃度又は絶対的強度又は濃度としうる。
【0090】
統計的出力422は試料内にある特定対象の全てに対して統計データを提示する。それには、対象の面積又はサイズ、各対象に対する強度の値が含まれるが、平均、中央値、標準偏差の値のような対象の追加統計も示せる。
【0091】
“別の例と実施の詳細”
(Zスタックの画像処理)
光学的分割は、縦方向で焦点面を変えること、及び、各面で画像を取得することにより三次元サンプルの“スライス”で光学的画像処理する技術である。非特許文献12及び13を参照されたい。
【0092】
図1のカメラは視野の多数の深度で機能するためにこの技術を使用できる(即ち、組織サンプルの中へZ方向での焦点設定)、視野の各深度でM件の画像が得られる。.得られたデータ・セットは各深さで画像キューブを含む。このデータ・セットから、試料からの三次元の定量的データが得られる。ユーザーに定量的データと共に提示された時、そのユーザーが見て,分析することを希望する視野の深さを選択するための選択肢が与えられる。さらに、組織セクションの三次元体積のために定量的データが得られる。そのような定量的データがユーザーに提示される。
【0093】
別個の2次元画像は、細胞と組織の3次元表示に数学的に登録できる。光学的切断のひとつの追加用途は2次元画像の解像度向上である。非特許文献14を参照されたい。データの結合/ブラシングの概念が3次元表示までに拡張されている。非特許文献15を参照されたい。さらに本発明は蛍光及び濃度の領域内に3次元スペクトル画像を含めるように拡張する。
【0094】
(制約)
画像解析ソフトウエアはデータのエラーを扱う制約アルゴリズムを用いている。例えば、蛍光体X、Y、Zの存在について定量分析モジュールが画素を分析することを想定している。もし、モジュールが、陰性の値Y(非物的状況)を有する画素と遭遇する場合、そのモジュールが、蛍光体X及びZのみに対する画素を再分析して、又、X及びZに対して新しい結果を用いて、Yをゼロに設定する。もし、どれかの蛍光体がカメラにより検出される最大値を超える濃度になる場合、アルゴリズムが最大許容値に設定する。分析からそのような画素を抹消するような特異な結果を扱う他の方法が可能であり、又、上記アルゴリズムがひとつの可能な実施例である。
【0095】
(データの結合/ブラシング)
多次元のデータの結合及びデータのブラシングは高次元データと対話をするために十分受け入れられる手段である。非特許文献16を参照されたい。この開示の分析モジュールが、データの結合及びデータのブラシングの概念を培地又は組織内の細胞の画像の形である場合に拡張する。その画像が生の蛍光の表現又は合成画像例えば上記の濃度係数から生じた画像でありうる。
【0096】
(スライド全域のインテリジェント画像処理)
現在の方法で用いられたシステムで、生物学的試料の画像処理が、典型的には、スライド上に配置された多数のサンプルで行われる。例えば、組織の微小配列が、長方形のスライド上に配置された1000個という多くの組織サンプルを含むパラフィン・ブロックである。スライドの調製は手作業又は自動装置を用いて、パラフィン材料の薄いスライスを得て、スライド上に薄いスライスを取付ける。非特許文献17−19を参照されたい。
【0097】
画像取得は典型的に対話型で行われる。病理学者又は技術者は低解像度でスライド全体の画像処理をし、高解像度で見るために組織サンプルを含む領域を選択する。例えば、もし、病理学者が後の処理のために又は専門家による見直しをするために高解像度で(例えば組織のタイプ又は正常対癌により分類された)特定タイプの細胞を含む画像の記録を希望する場合、選択した対象領域を高解像度(拡大)で画像処理をする。
【0098】
この方法で、小さい、手で選んだ領域のみを高解像度で画像処理を行う。特定の対象領域の詳細分析が典型的には後日行われる。スライド上の多数のサンプルにより、又、このプロセスがユーザー集約的であり、時間がかかる。あるサンプルは同時には画像処理をしない。サンプルは遅延の間に劣化する。さらに病理学者又は研究者の経験と能力がどの領域を選択するかに影響して再生不能になり、多分、誤った結果になる。
【0099】
これらの問題に対するひとつの解決策が高解像で単一画像を記録することである。例えば、DMetrix,Inc.が顕微鏡とカメラの配置を用いた走査システムを開発している。(例えば、特許文献12を参照されたい。)この方法には2件の欠陥がある。第一は高解像度でスライド全体の画像処理をするデータ保存要件は多くの用途で禁止されていることである。例えば、DMetrixシステムが単一の12ギガビットのグレースケール画像を記録する。この技術は本発明の方法と共に使用できるけれども、100以上の画像を種々の波長で集める場合、単一スライドに対して1.2テラバイト以上の画像キューブに、本文書内の他で述べている3次元画像処理アプリケーション(Zスタック、視野の多数の深さ)に対して数百テラバイトになる。既存の方法に伴う第2の欠点は、標準カメラでは一度にスライド全体の高解像度の画像を取得できないことである。十分な視野に欠けるからであり、カメラの画像処理アレーが十分大きくないからである。
【0100】
スライド全体の画像処理への知的アプローチの目標に近づくひとつの方法はスライド全体に低解像度の画像を生じることであり、(又は、多分スライド全体での低解像度の画像キューブ)、次ぎに、スライド上の重要領域を特定するために形態学的処理プロセスの自動画像分割及び分類の機能を用いる(例えば、1以上の蛍光体に対して高信号を伴う生物学的構成)、次ぎに、スライド上のこれらの重要領域のみの高解像度画像キューブを好ましくは自動的に集める。一実施例で、スライドの重要領域の高解像度画像キューブを、低解像度画像が得られた後で短時間に、例えば、数分後、形態学的処理ステップが実行され、スライドの重要領域を特定した後で集める。しかしながら、量子ドットの蛍光体は劣化の影響を受けにくく、有機蛍光体と、ある実施例では、高解像度の画像キューブを後で得られる。
【0101】
この自動化方式の後に従う手順には以下のステップを含む。
【0102】
1)1以上の低解像度の画像、又は、代わりに、スライド全体の画像キューブを取得する、
2)自動化した画像の分割及び分類のアルゴリズム(即ち、上記の形態学的処理プロセス)を用いて、組織スポットのような対象となる領域を含むスライドの領域を1以上の低解像度の画像、画像キューブ又はその画像キューブから得られた画像(例えば、濃度係数から作られた画像)から特定する。そのような位置に目印を付ける。そのような組織スポットの位置を低解像度画像内の画素位置を基準とするか又は低解像度画像の取得中にカメラと顕微鏡の光学系に対してスライドを動かす移動ステージのXY座標としうる。
3)基本的に、スライドの重要領域の画像キューブを取得して、多数の波長で組織スポットの高解像度画像を取得する。ステップ2)からの位置座標を用いて、カメラ顕微鏡の視野内でスライドの正しい部分の位置決めをする。その顕微鏡は高解像度の画像処理のための位置で、高拡大率の対物レンズを有している。組織スポットの高解像度画像を得られるけれども、カメラ・システムは同時に各画像をまとめるメタデータ例えばスライド識別子、組織サンプル識別子、画像倍率及び画像位置(又はスライドの位置)を記録する。
4)もしカメラの制限、保存の要件、又は、他の制約が組織スポット全体の高解像度取得を妨げている場合、形態学的処理が、自動化された画像分割・分類のアルゴリズムを用いて、組織スポット内の小さな対象領域を特定するために、組織スポットを処理する。そのような小さな対象領域を細胞、細胞成分、遺伝子、DNAの破片、メッセンジャーRNAエンティティ、ウイルス、又は、一定の分析で対象となる他の構成を含む領域としうる。代わりに、そのような小さな領域を1以上の蛍光体信号が存在する領域のみとしうる。
5)各対象領域に対して高解像度スペクトル画像(画像キューブ)を取得し、記録する。
【0103】
係数C1・・・を、1以上の対象領域又は高解像度画像キューブ内の組織スポットの画像処理をする各画素について計算する。対象領域の定量分析が以前に説明したように実行されるが、組織スポット又は係数C1・・・からの対象領域内の生物学的構成のための蛍光体濃度の計算を含む。対象領域又は組織スポットの定量分析を上記のように進める。定量分析の結果、対象領域の画像、組織スポットの結果の表示を前記の例を用いて進める。
【0104】
自動化された対象領域の選択プロセス(ステップ3−5)が、必要解像度に達する前にサンプリングをした多数の中間解像度を用いて、任意の回数繰り返せる。これには画像解析ソフトウエア・システムが、顕微鏡の視野と倍率を制御する必要がある。又、デジタル・カメラも制御する。多くの商用的に入手できる設定が、顕微鏡とカメラのこの種のソフトウエア制御を可能にするプログラミング・インターフェースを提供する。この方式は、スライド全体の完全な自動分析を行なえる。さらに、その後の対話型の観察とデータ探索のためにスライド全体の自動化された画像処理も行なえる。
【0105】
例えば、培養した細胞を含むマルチ・ウエル・プレートのようなスライドを除いて生物学的試料のために、同様の方式を使用して他のタイプの支援を行なえる。
【0106】
(同等の画像処理法)
画像キューブを代表するデータ(行、列及びMの波長に対する画素の信号レベル)を種々の異なるオーダーで入手できる。例えば、Mの波長で試料の2次元画像の発生について述べている。代わりに、特許文献13に示すようなカメラを使用でき、画像のひとつの行/列に対して多数の波長でデータを捕捉でき、他の行/列に対するデータを集める。その最終結果は依然として種々のオーダーで集め、及び(又は)、記憶した情報と共に、行/列/波長を有するキューブである。
【0107】
他の例として、画像キューブを形成する画像を、いわゆるライン走査タイプのデジタル画像処理器により捕捉できる。その中で、カメラの画素がa1xNの直線的画像アレーに配置される。この種の画像処理器では、1行の画像データが得られ、画像処理器とスライドの間で相対的移動を生じる。そして、スライド全体の画像処理されるまで、第2行の画像データが得られる等である。画像キューブを得るために1波長で得られた画像データの行が、第一波長で2次元の試料又はスライドの全体の画像処理を順番に得られる。別個のスペクトル・フィルターがカメラの前に置かれ、画像データの行が第2波長で順番に得られる。別個のフィルターがカメラの前に順番に置かれ、画像データの行が第3波長で順番に得られる。そのプロセスを全てのM波長で、スライドの画像が得られるまで、続ける。
【0108】
(一般的ワークステーションのためのソフトウエア製品)
上記ソフトウエアは、初期化・設定モジュール、分析モジュール、表示モジュールを含めて、デスク、又は、他の機械が読み取れる媒体に記憶でき、ここで述べたように機能するようにワークステーションを強化するために、市販のワークステーションのためにスタンドアロン製品として提供できる。
【0109】
1実施例で、説明書には以下の1セットの説明書が含まれる。
(a)上記各画素に対する係数C1・・・を、Mの画像を1セット決定すること、
(b)試料内の細胞又は制帽成分を特定するために、試料の画像を形態学的に処理すること、
(c)係数C1・・・からステップ(b)で特定された細胞又は細胞成分に対する量子ドットの濃度の計算を含めて試料の定量分析を行うこと、
(d)処理装置と関連する表示上の定量分析プロセス(c)の結果を表示するためにデータを発生すること、
さらに、初期化・設定モジュール、分析モジュール、表示モジュールを含むソフトウエアがネットワーク・サーバーに保存でき、ネットワーク・サーバー内の処理装置により実行される。この場合、ユーザーはソフトウエアと、別個の計算プラットフォーム上で実行するクライアント・アプリケーションを介して、対話する。そのプラットフォームは例えばパーソナル・コンピューター又はワークステーションで、ネットワーク・サーバーを含むネットワークに結合する。例えば、ソフトウエアにはウエッブ・インターフェースを含めて、遠方のクライアントが、試料の定量データ及び画像の表示にアクセスし、見ることができる。しかし、ソフトウエアが係数の計算、試料の画像の形態学的処理、定量分析の実施、及び、表示データの発生をネットワーク・サーバーが実行する。
【0110】
(量子ドット)
請求項内で、「量子ドット」の用語を用いる時、CdTe又は他の発光性半導体のナノ粒子だけでなく、CdSeナノ粒子を含むように全体として、発光性半導体のナノ結晶をカバーするように広義に読むことを意図している。そのような粒子は球体、棒、線その他を含む任意の幾何学形状としうる。金粒子も用いられている。
【0111】
上記の全ての参照文献及び論文をこの中で参照するように特に組込まれている。
【0112】
いくつかの事例の側面及び実施例が論じられているけれども、当業の技術者であれば、開示内に存在するとして、特定の修正、置換、追加、部分的組合わせを理解するであろう。それゆえ、以下に添付したクレーム、その後に導入されたクレームは真の精神と範囲内にあるとして、そのような修正、置換、追加、部分的組合わせを含むように解釈することを意図している。

【特許請求の範囲】
【請求項1】
試料に加えられる1からNの間の異なる蛍光体を有する生物学的試料の分析のためのシステムで、蛍光体は少なくとも1個の量子ドットを含み、
画像のそれぞれが複数の画素、1・・・Nの蛍光体が入射光への発光応答を生じる複数の離散性波長を含む複数の離散性波長である、複数の離散性波長で試料を画像処理し且つ複数の画像を応答可能に生じるための、顕微鏡および関連するカメラ、および、
処理ステップを実行するための処理ユニットを含むワークステーションであって、
a)1・・・Nの蛍光体と関連するスペクトルデータを伴う複数の画像を処理する、及び、各画素位置で係数C1・・・を応答可能に決定する非混合プロセス、この場合、係数C1・・・が各画素位置でサンプル内に存在する1・・・Nの蛍光体の濃度に関連すること、
b)試料内の少なくとも1の生物学的構成を特定する少なくとも1の形態学的処理プロセス、
c)係数C1・・・からステップb)内で特定された生物学的構成のために蛍光体濃度を計算する定量分析プロセス、
d)ワークステーションと関連する表示部上で定量分析プロセスc)の結果を表示するための表示プロセス、を含んで成る上記ワークステーション、
の組合わせを含んで成る、上記システム。
【請求項2】
その生物学的構成が、細胞又は細胞成分から成り、少なくとも1の形態学的処理プロセスが生物学的構成のサイズを測定し、少なくとも1の形態学的処理プロセスが試料内で特定された生物学的構成の数を数えることを特徴とする請求項1のシステム。
【請求項3】
その試料に加えられた1以上で1・・・Nの蛍光体に対して生物学的構成のサイズにより分類された生物学的構成の数のヒストグラムとして、定量分析プロセスの結果を提示することを特徴とする請求項2の方法。
【請求項4】
表示部上に表示された試料画像の選択された部分をユーザーが選択できる機能をその表示プロセスを含み、その場合、画像の選択された部分の定量的結果を、表示プロセスが表示することを特徴とする請求項1のシステム。
【請求項5】
第一及び第二の両方の蛍光体に対して陽性の信号を有する試料内で特定された生物学的構成のための第二の蛍光体の濃度の関数として、第一の蛍光体の濃度のプロットが、定量的結果に含まれることを特徴とする請求項1のシステム。
【請求項6】
係数C1・・・が、サンプル内の蛍光体の絶対濃度に目盛を合わせ、その場合、濃度のプロットが絶対濃度で表示することを特徴とする請求項5のシステム。
【請求項7】
表示プロセスが、定量的結果の表示と同じ表示上に試料の少なくとも1の画像を表示することを特徴とする請求項4のシステム。
【請求項8】
さらに、定量結果が、ユーザーにより選択された画像の部分のための統計的データから成る請求項4のシステム。
【請求項9】
表示プロセスが、各画素のための1以上の係数C1・・・から作られた試料の画像を表示することを特徴とする請求項1のシステム。
【請求項10】
さらに、表示プロセスが、ツールを提供し、それにより、選択された蛍光体のための色輝度をユーザーが選択的に重み付けできて、それにより表示上の画像の外観を変えること
ができることを特徴とする請求項9のシステム。
【請求項11】
さらに、表示プロセスが、ツールを提供し、それにより、1・・・Nの蛍光体の表示のためにユーザーが色を選択できることを特徴とする請求項10のシステム。
【請求項12】
2からNの間の蛍光体が試料に加えられ、又、その場合、離散性プロット内の両方の蛍光体に対する陽性信号を有している試料内で特定できた生物学的構成のための別の2・・・Nの蛍光体のひとつの濃度の関数として、2・・・Nの蛍光体のひとつの濃度の1以上の離散性プロットとして、表示プロセスが定量的結果を表示することを特徴とする請求項1のシステム。
【請求項13】
表示プロセスが、ユーザーが離散性プロットの一部を選択できる機能を含み、画像内で強調表示を示した離散性プロットの選択された部分と関係する生物学的構成を示す試料の画像を生じることを特徴とする請求項12のシステム。
【請求項14】
i)各画素に対して、1以上の係数C1・・・から作られた試料の画像、
ii)サンプルに加えられた2・・・Nの蛍光体の少なくとも1に対する生物学的構成のサイズにより分類されたi)の画像で特定された生物学的構成のヒストグラム、
iii)離散的プロット内の両方の蛍光体に対して陽性信号を有する試料内で特定された生物学的構成のために他の2・・・N蛍光体の一方の濃度の関数として2・・・N蛍光体の一方の濃度の1以上の離散性プロット、
を表示するための処理を、表示プロセスが含むことを特徴とする請求項12のシステム。
【請求項15】
さらに、表示プロセスが、試料からの自己蛍光のための定量的データを表示することを特徴とする請求項1のシステム。
【請求項16】
複数の視野の深さで、複数の離散性波長で複数の画像を生じるために、カメラが操作されることを特徴とする請求項1のシステム。
【請求項17】
表示プロセスが、特定された生物学的構成の関数としての蛍光体濃度のヒストグラム、第二の蛍光体輝度の関数としての蛍光体輝度の離散性プロット、または両方、のいずれかで定量分析の結果を表示する機能を含み、さらに、その表示プロセスがさらに、それによりユーザーが離散性プロット又はヒストグラムの一部を選び且つ離散性プロット又はヒストグラムの選択した部分に対応した試料の部分でのさらなる定量分析を実施することができる特徴を含む、請求項1のシステム。
【請求項18】
1からNの間の離散性蛍光体が2以上の別々の量子ドットから成ることを特徴とする請求項1のシステム。
【請求項19】
2以上の別々の量子ドットがそれぞれ抗体に結合していることを特徴とする請求項18のシステム。
【請求項20】
1からNの間の離散性蛍光体が2以上の別々の量子ドット及び有機蛍光体を含む染色材料から成っていることを特徴とする請求項1のシステム。
【請求項21】
各画素に対して、1以上の係数C1・・・から作られて画像から少なくとも1の生物学的構成を、形態学的処理プロセスが特定することを特徴とする請求項1のシステム。
【請求項22】
ユーザーがヒストグラムの一部を選択でき、画像中に提示されているヒストグラムから選ばれた部分と関連した生物学的構成と共に試料の画像を応答可能に表示するソフトウエ
ア機能をワークステーションが含むことを特徴とする請求項3のシステム。
【請求項23】
(a)Mの異なる波長で多数の画素のための画像データから成る試料の画像キューブを
集めること、この場合、Mは2より大きな整数である、
(b)各画素に対する画像キューブの係数C1・・・から決定すること、この場合、係数C1・・・が、各画素により画像処理された試料内に存在する1・・・Nの量子ドットの濃度に関連している、
(c)試料内の細胞又は細胞成分を特定するために係数C1・・・から作られた画像を形態学的に処理すること、
(d)係数C1・・・からステップ(c)内で特定されている細胞又は細胞成分のための蛍光体濃度を計算することを含めて、試料の定量分析を実施すること、
(e)ワークステーションの表示部上に定量分析プロセス(d)の結果を表示すること、のステップを含んで成り、ここで1・・・Nの間で量子ドットが試料に加えられる、生物学的試料を分析する方法。
【請求項24】
Mが10より大きな整数であることを特徴とする請求項23の方法。
【請求項25】
Mが20より大きな整数であることを特徴とする請求項23の方法。
【請求項26】
形態学的処理ステップが、細胞又は細胞成分のサイズを測定し、試料内で特定された細胞又は細胞成分の数を数えることを特徴とする請求項23の方法。
【請求項27】
ステップ(e)で定量分析プロセス(d)の結果を、サンプルに加えられた1・・・Nの1以上の量子ドットに対してサイズにより分類された細胞又は細胞成分の数のヒストグラムとして示されることを特徴とする請求項23の方法。
【請求項28】
さらに、ステップ(e)が、ユーザーが試料の画像の部分を選択できて、かつ、画像の選択された部分に対して定量的結果を表示できる機能を提供するステップから成ることを特徴とする請求項23のシステム。
【請求項29】
定量的結果が、両方の量子ドットのための陽性信号を有する試料内で特定された生物学的構成に対する第二の量子ドットの濃度の関数として、1の定量ドットの濃度のプロットから成ることを特徴とする請求項23の方法。
【請求項30】
係数C1・・・がサンプル内の量子ドットの絶対濃度に目盛を合わせ、その場合、濃度のプロットを絶対濃度として表示されることを特徴とする請求項29の方法。
【請求項31】
さらに、ステップ(e)が、ユーザーが離散性プロットの一部を選択でき、提示された画像を離散性プロットの選択された部分に対応する生物学的機能を示すことを特徴とする請求項28の方法。
【請求項32】
さらに、ステップ(e)が、ユーザーがヒストグラムの一部を選択でき、提示された画像がそのヒストグラムの選択された部分に対応した生物学的構成を示すことを特徴とする請求項27の方法。
【請求項33】
さらに、ステップ(e)が試料の画像を示すステップから成り、その場合、各画素に対する係数C1・・・の1以上から画像が作られることを特徴とする請求項28の方法。
【請求項34】
さらに、ステップ(e)が表示部上に試料の画像を提示し、選ばれた量子ドットに対して色輝度を選択的にユーザーが重み付けをでき、それにより、その表示部上の試料画像の
外観を変更できるツールを提供できることを特徴とする請求項23の方法。
【請求項35】
さらに、表示プロセスが、1・・・Nの量子ドットの表示用にユーザーが色を選択できるツールを提供することを特徴とする請求項34の方法。
【請求項36】
2からNの間の量子ドットが試料に加えられ、又、その場合、1以上の離散性プロット内に示された両方の量子ドットに対して、陽性反応を示す試料内の生物学的構成のための他の2・・・Nの量子ドットのひとつの濃度の関数としての、2・・・Nの量子ドットのひとつの濃度を1以上の離散性プロットとしての定量的結果を、表示ステップ(e)が表示したことを特徴とする請求項35の方法。
【請求項37】
さらに、ステップ(e)が、ユーザーが試料の画像の部分を選択できる機能を提供し、ユーザーが選択した画像の部分に対してスペクトル・データのグラフを提供するステップから成ることを特徴とする請求項23の方法。
【請求項38】
i)各画素で係数C1・・・の1以上から作られた試料の画像、
ii)サンプルに加えられた2・・・Nの量子ドットに対してサイズによりい分類された試料から特定された細胞又は細胞成分のヒストグラム、および、
iii)離散型プロット内で示された量子ドットに対して陽性信号を有する試料内で特定された生物学的構成に対する別の2・・・Nの量子ドットのひとつの濃度の関数として、2・・・Nの量子ドットのひとつの濃度の1以上の離散性プロット、
を表示するステップが表示ステップ(e)に含まれ、ここで2からNまでの量子ドットが試料に加えられる、請求項23の方法。
【請求項39】
さらに、複数の視野の深さで、複数の離散性波長で、試料の複数の画像を生じるステップから成ることを特徴とする請求項23の方法。
【請求項40】
表示ステップ(e)が、特定された生物学的構成の関数としての蛍光体濃度のヒストグラム、第一及び第二の蛍光体の陽性信号を有する生物学的構成のための第二の蛍光体の輝度の関数としての第一の蛍光体の輝度の離散性プロット、または両方、のいずれかで定量分析の結果を表示するステップを含み、表示プロセスはさらに、それによりユーザーが離散性プロット又はヒストグラムの部分を選択し且つ離散性プロット又はヒストグラムの選択された部分に対応した試料の一部について定量分析を行うことができる特徴を含む、請求項23の方法。
【請求項41】
さらに、Mの画像を生じた時、光の状態への量子ドットの応答を正規化するために、Mの画像の調節を行うステップを特徴とする請求項23の方法。
【請求項42】
Mの波長に1・・・Nの量子ドットを関連付けたスペクトル・データを補間し、そこで、試料の画像処理が行われ、各画素に対して、係数C1・・・を決定するために補間されたスペクトル・データを用いたステップを含むことを特徴とする請求項23の方法。
【請求項43】
ユーザーが、定量データの、ヒストグラム、散乱性プロット又は他の可視化の一部を選択することを可能とし、且つ、画像内に示された、ヒストグラム、離散性プロット又は他の可視化の、選択された部分と関連した生物学的構成を伴う試料の画像を応答可能に表示する、特徴を提供するステップを含んで成る請求項27の方法。
【請求項44】
試料分析装置であって、機械が読み取れる媒体を含み、その媒体が処理ユニットによる実行のための説明書1セットを含み、その処理ユニットが1以上の量子ドットにより着色された試料のMの画像1セットにアクセスし且つ画素アレーとして配置されたカメラによ
り画像処理され、M画像のセットがMの異なる波長で試料の画像を含んで成り、ここでMは2より大きな整数であり、説明書が、
(a)各画素のためのMの画像係数C1・・・のセットから決定すること、その場合、係数C1・・・が各画素による画像処理をされた試料内に存在する1以上の量子ドットの濃度に関連すること、
(b)試料内の細胞又は細胞成分を特定するために試料の画像を形態学的に処理すること、
(c)係数C1・・・からステップ(b)内で特定された細胞又は細胞成分のための量子ドットの濃度を計算することを含めて、試料の定量分析を実施すること、
(d)処理ユニットと関連する表示上の定量分析プロセス(c)の結果を表示するためにデータを発生すること、
のための説明書のセットを含んで成る、上記試料分析装置。
【請求項45】
1以上の係数C1・・・から作られた画像上で、形態学的処理を実行することを特徴とする請求項44の装置。
【請求項46】
サンプルに加えられた1以上の量子ドットのそれぞれについてサイズ別に分類された細胞又は細胞成分の数のヒストグラムとして定量分析の結果を説明書(d)に示すことを特徴とする請求項44の装置。
【請求項47】
ユーザーが試料の画像の部分を選択でき、かつ、その画像の選択された部分に対する定量的結果を表示する機能を提供する説明書(d)を特徴とする請求項44の装置。
【請求項48】
画像の選んだ部分内の第二の量子ドットの濃度の関数として1の量子ドットの濃度のプロットで表示上に説明書(d)が示されたことを特徴とする請求項44の装置。
【請求項49】
係数C1・・・が、試料内の量子ドットの絶対濃度に目盛合せをして、かつ定量データが絶対濃度で表示されていることを特徴としている請求項44の装置。
【請求項50】
説明書(d)が、各画素に対して1以上の係数C1・・・から作られた表示画像上に画像を示すことを特徴とする請求項48の装置。
【請求項51】
説明書(d)が表示上に試料の画像を提示し、さらに、画像内に提示され、選択された量子ドットに対する色輝度を、ユーザーが選択的に重み付けできて、それにより表示上の試料の画像の外観を変更できることを特徴とする請求項44の装置。
【請求項52】
2からNまでの量子ドットが試料に加えられ、その場合、説明書(d)がツールを提供し、そのツールにより、別の2・・・Nの量子ドットのひとつの濃度の関数として、2・・・N量子ドットのひとつの濃度の1以上の離散性プロットとして、定量的結果を表示できることを特徴とする請求項44の装置。
【請求項53】
さらに、説明書(d)が、ユーザーが試料の画像の部分を選択できる機能を提供するステップを含み、その場合、説明書(d)が、ユーザーにより選択された画像の部分に対して、別の2・・・Nの量子ドットのひとつの濃度の関数として2・・・Nの量子ドットのひとつの濃度の1以上の離散性プロットを表示するための説明書を含むことを特徴とする請求項52の方法。
【請求項54】
さらに、試料の画像の解像度を高めるために、複数の深さの視野で生じた画像を用いるステップを含むことを特徴とする請求項39の方法。
【請求項55】
さらに、試料の画像処理をする間に露出時間を調節するための、基準スペクトル・データで、露出補償動作を実行するステップから成る請求項42の方法。
【請求項56】
説明書がネットワーク・サーバーに保存されていて、ネットワーク・サーバーとの通信で、リモート・クライアント・ワークステーションに表示データを伝送することを特徴とする請求項44の装置。
【請求項57】
表示データがコンピューター・ネットワーク上をリモート・ワークステーションに伝送されることを特徴とする請求項44の装置。
【請求項58】
生物学的試料の分析システムであって、
Mの異なる波長での画像データから成る画素アレーとして配置されたデジタルカメラにより得られた試料の画像キューブを記憶するメモリーであって、ここでMは2より大きな整数であり、試料がその試料に存在して1・・・Nの蛍光体を有し、少なくともその内の少なくともひとつが量子ドットである、上記メモリー;および
メモリーにアクセスし、そして、
1)各画素に対して、画像キューブの係数C1・・・から決定すること、その場合、各画素により画像処理された試料内に存在する1・・・Nの蛍光体の濃度に係数C1・・・が関連し、
2)試料内に存在する生物学的構成を特定するために、係数C1・・・から作られる画像を形態学的に処理し、
3)係数C1・・・から(2)で特定された生物学的構成について蛍光体の濃度計算を含めて試料の定量分析を実行し、そして
4)ネットワーク・サーバーから離れたワークステーションの表示上に定量分析プロセス(3)の結果を表示するための表示データを生じるためのソフトウエアの説明書を実行する処理ユニットを有する、ネットワーク・サーバー;および
ワークステーションに表示データを送るためのネットワーク・インターフェース、
を含んで成る生物学的試料の分析システム。
【請求項59】
生物学的構成が、細胞、細胞成分、遺伝子、DNAの破片、メッセンジャーRNA実体部及びウイルスの少なくともひとつから成ることを特徴とする請求項58のシステム。
【請求項60】
a)低解像度デジタルカメラにより試料の1以上の画像を得ること、
b)そこから得られた1以上の画像を形態学的に処理すること、及び、試料内に存在する生物学的構成を含む1以上の対象領域を自動的に特定すること、
c)高解像度のカメラにより1以上の対象領域の画像キューブを自動的に得ること、その画像キューブはMの異なる波長で対象領域の画像データから成っていて、Mは2より大きな整数である、
d)1以上の対象領域の画像処理を各画素について画像キューブから係数C1・・・を決定すること、その場合、係数C1・・・は、各画素により画像処理された試料内に存在した1・・・Nの蛍光体の濃度に関連する、
e)係数C1・・・から生物学的構成のための蛍光体濃度の計算を含む対象領域の定量分析を行うこと、
f)ワークステーションの表示のために定量分析の結果の表示データを生じること、
のステップを含んで成り、試料内に1・・・Nの蛍光体が存在し、その少なくともひとつが量子ドットである、生物学的試料の画像処理をスライド全体で行う方法。
【請求項61】
生物学的構成が、細胞、細胞成分、遺伝子、DNAの破片、メッセンジャーRNA実体部、ウイルスの少なくともひとつから成ることを特徴とする請求項60のシステム。
【請求項62】
試料が1以上の量子ドットで着色されることを特徴とする請求項60の方法。
【請求項63】
さらに、1を超える深さの視野で1以上の対象領域の画像キューブを得るステップから成ることを特徴とする請求項60の方法。
【請求項64】
その方法はネットワークサーバーにより実施され、さらに、その方法は表示データをコンピューターネットワーク上を遠方に位置しているワークステーションに表示データを伝送するステップを含むことを特徴とする請求項60の方法。
【請求項65】
試料が有機蛍光体及び1以上の量子ドットの両方により着色されることを特徴とする請求項62の方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate


【公表番号】特表2010−512508(P2010−512508A)
【公表日】平成22年4月22日(2010.4.22)
【国際特許分類】
【出願番号】特願2009−540323(P2009−540323)
【出願日】平成19年12月7日(2007.12.7)
【国際出願番号】PCT/US2007/025128
【国際公開番号】WO2008/133666
【国際公開日】平成20年11月6日(2008.11.6)
【出願人】(599075070)ベンタナ・メデイカル・システムズ・インコーポレーテツド (31)
【Fターム(参考)】