色原体分離に基づく画像解析の方法
色原体分離に基づく画像解析の方法が提供される。このような方法は、細胞生物学および細胞病理学用途における定量的ビデオ顕微鏡技法を対象とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像解析に関し、特に、細胞生物学および細胞病理学用途における定量的ビデオ顕微鏡技法に関連する、色原体分離に基づく画像解析の方法に関する。
【背景技術】
【0002】
組織の評価および解析は、病理学の領域である。最近では、方法論的開発および技術的開発により、デジタル画像解析が、高精度で画像を解釈する際の病理学者の助けとなる最も効率的なツールの1つとなっている。このような画像解析技術は、正確で再現可能な客観性のある細胞解析を細胞学者に提供するために大いに貢献するが、組織学的解釈の技法は、依然として標本の主観的解析に依存する傾向にある。このような組織学的解釈の技法では、観察者内(intra−observer)ならびに観察者間(inter−observer)の一致度が変化することもあり、これによりさらに、正確さがより低く、再現可能性がより低く、かつ客観性がより低い結果がもたらされる傾向がある。このような理由により、組織の画像解析は当初、細胞学的標本の解析のために開発された技術に限られていた。
【0003】
高性能コンピュータの進化および入手可能性、ローカルエリア通信および広域通信、費用効果の高いデータベースソリューション、ストレージ技術の向上、ならびに費用効果の高い高解像度デジタルカメラおよび/またはスキャナにより、状況は今や変化した。CPU出力の不足により以前は有効ではなかったより高度なアルゴリズムは、今まで日常的な環境における組織切片には適用することができなかった。しかしながら、今はこのようなアルゴリズムを使用して、マーカ定量化および細胞内局在に関連する組織特有の特徴を評価し定量化することができる。同時に、組織切片の再現可能でより標準化された視覚的評価のためのより包括的なサポートが、画像解析における最初のステップ、すなわち、デジタル画像の作成および管理に基づいて利用可能となっている。このことは、品質管理、品質保証および標準化の分野で特に当てはまる。難しい症例のデジタル画像をテレパソロジーにより参考の病理学者と交換して、セカンドオピニオンを得ることができる。このような画像は、熟達度試験に効果的に使用することもできる。デジタル画像は、ネットワークを介してアクセスすることができる強力な画像リファレンスデータベースの基礎にもなり、症例および評価結果の文書化において、特に包括的な電子または印刷報告書においてますます重要な役割を担う。
【0004】
組織スライドを用意したら、病理学者は組織標本を顕微鏡で視診する。このスライドに対して画像解析を適用すべき場合には、顕微鏡は、インターフェースを介してコンピュータシステムに接続されるカメラまたは他の画像取込み装置を少なくとも備えていなければならない。カメラは、顕微鏡を介して組織試料の光学顕微鏡画像をサンプリングする。結果として、デジタル画像はコンピュータのメモリに収集され、またコンピュータのモニタに表示することができる。しかしながら、これらのデジタル画像の収集は、視像の重要な詳細が格納されたデータによってやはり正しく表されるように行わなければならない。
【0005】
一般に、デジタル化画像の定量的評価のための次のステップは、セグメンテーションであり、このセグメンテーションは、時として追加の中間前処理ステップを含む。セグメンテーション時には、細胞を互いに、また画像背景から分離する。場合によっては、アルゴリズムの進歩により、細胞を細胞内成分レベル(すなわち、細胞核、細胞質および細胞膜)にまでセグメンテーションすることが可能となっている。これは容易な仕事のように見えるかもしれないが、セグメンテーションは多くの場合、画像解析における困難でエラーが起こりやすいステップである。細胞がうまく分離され、デジタル化画像に良好なコントラストが生じるようなやり方で染色されたスライドでは、多くの場合セグメンテーションを極めて確実に行うことができる。しかしながら、上記条件が1つでも満たされないとすぐに、細胞およびそれらの互いの関係についての、あるいはマーカおよび対比染色の細胞内局在についての追加の演繹的知識を用いた非常に高度で時間のかかるセグメンテーションアルゴリズムを適用しなければならない。たとえば、細胞の大部分がもはやスライド上でうまく分離されず、互いに接触し重なり合っている傾向にある湿潤腫瘍の組織切片の例がこの例である。
【0006】
マーカに基づくアルゴリズムを用いると、関心領域に自動的に境界線を引くこと、また病理学者に、提示された領域が十分であるかまたは手動で精密化される必要があるかどうかを、病理学者自身の主観的な専門知識を用いて決定させることが可能である。画像の意味のある領域が決定されると、特徴抽出が行われる。各細胞(およびその細胞内成分)について、濃度特徴、形態学的特徴、テクスチャ特徴および状況的特徴の一式を、個々の細胞およびそれらの相互作用を可能な限り包括的に特徴付けることを目標に測定することができる。
【0007】
最後のステップは、生データの提示ならびに意味のある結果および/またはスコアへの生データ編集である。画像解析システムの得られる出力は、一貫性が促進されて容易に適用化能となるまたは日常的な使用において解釈することができるように、病理学者によってすでに使用されている視覚的および/または半定量的格付け(grading)システムの形式に望ましくは適合させるべきである。
【0008】
画像解析による組織試料の評価のためのプラットフォームは、汎用画像解析器から、日常業務用に構成されている特殊化した専用の「病理学用ワークステーション」へとますます移行しつつある。このようなワークステーションでは、可能な限り最善の結果が得られるように、必要な情報を病理学者に提供するために必要とされるツールを組み合わせる。このようなワークステーションの中心となるのは顕微鏡であり、電動式ステージ、オートフォーカス装置、対物レンズ切換器および光強度調整装置を含むロボット部分を場合により備えている。高速自動焦点および高解像度画像の収集が可能なカメラなど異なる入力装置が、ワークステーションに接続されている。このワークステーションは、ローカルエリアネットワーク(LAN)の一部であってもよい。このワークステーションは、利用可能な通信チャネルを使用してワークステーションを世界の他の場所と接続することができるように(ワイドエリアネットワークまたはWAN)、異なる通信プロトコルをサポートすることもできる。
【0009】
LANおよび/またはWAN内に統合されると、ワークステーションは既存の参考データベースおよび病院情報システム(HIS)へのアクセスを認められ、検査すべき任意の新たな症例を、時間をかけて蓄積されてきた参考症例の画像および付随情報と比較することができるようになる。加えて、検討中のスライドから取得した画像を、患者病歴で補完することもできる。
【0010】
この病理学用ワークステーションは、好ましくは包括的な組織評価に適している。最初の組織試料の情報およびデジタル画像をはじめとして、組織から作成したスライドの画像を取り込むことができる。患者および症例の情報、画像自体、および組織試料の細胞成分についての任意の定量的情報はすべて、同じデータベースに保存することができる。
【0011】
画像、測定結果、患者データ、調製データなど、ある症例についてのワークステーションによって蓄積された情報はすべて、ネットワークを介して印刷することができるまたは電子署名することができる報告書の一部となるように選択することができる。この報告書により、評価段階にある症例の包括的画像が提供され、品質保証および標準化が容易になる。
【0012】
取り込んだ画像の前処理/セグメンテーション時に、画像解析向けに、特に、細胞生物学および細胞病理学用途の分野における定量的なビデオ顕微鏡法のために、カラーカメラ(すなわち、RGBの3CCDカメラ)に適合しているマルチスペクトル画像化を用いることによって多くの異なる技法/アルゴリズムを実行することができる。
【0013】
細胞生物学および細胞病理学では、特に、遺伝物質(遺伝子、メッセンジャーRNA)、またはこの遺伝情報のタンパク質の形での発現、たとえば、遺伝子増幅、遺伝子欠失、遺伝子突然変異、メッセンジャーRNA分子の数またはタンパク質発現解析における検出および定量化のためには、顕微鏡画像の有効な解析が不可欠である。細胞は通常、同じ遺伝子の別名対立遺伝子として知られている2つのコピーを含むが、遺伝子増幅とは、1つの細胞内に同じ遺伝子の多過ぎるコピーが存在することである。遺伝子欠失は、細胞内で遺伝子のコピーを2つ未満しか見つけることができないことを示す。遺伝子突然変異は、不完全なまたは機能しない遺伝子の存在を示す。メッセンジャーRNA(mRNA)は、遺伝子を読むことで合成される遺伝子情報分子であり、タンパク質合成用テンプレートとして働く。タンパク質発現とは、細胞による所与のタンパク質の生成である。このタンパク質についての遺伝子コード化を上方に調整する、あるいは遺伝子またはmRNAの多過ぎるコピーが存在する場合には、タンパク質が過剰に発現することがある。遺伝子を下方に調整するまたは削除する場合には、タンパク質発現レベルが低いまたはないことがある。
【0014】
正常な細胞挙動は、多くのタンパク質、mRNAおよび遺伝子を含む分子機構によって正確に制御される。遺伝子増幅、遺伝子欠失および遺伝子突然変異は、異常なタンパク質発現による異常な細胞挙動において主要な役割を担うことが知られている。関心のある細胞挙動の範囲には、多様な挙動、たとえば、増殖または分化調節が含まれる。したがって、有用なリサーチ、診断および予後診断ツールを容易にするためには、遺伝子増幅、遺伝子欠失および遺伝子突然変異、mRNAレベルまたはタンパク質発現解析の有効な検出および定量化が必要である。
【0015】
遺伝子増幅、遺伝子欠失および遺伝子突然変異、mRNAレベルまたはタンパク質発現解析の検出および定量化専用の実験技法が数多くある。たとえば、このような技法には、ウエスタン、ノーザンおよびサザンブロット、ポリメラーゼ連鎖反応(「PCR」)、酵素免疫測定(「ELISA」)および比較ゲノムハイブリダイゼーション(「CGH」)技法が含まれる。しかしながら、顕微鏡法は、情報を与える技法であるため日常的に利用され、それにより比較的低コストで実施することができる細胞および細胞内レベルでの迅速な調査が可能となる。
【0016】
顕微鏡法が選択した実験技法である場合、生体試料は通常、まず特異的な検出および解明のために調製される。試料が調製されると、人間の専門家が顕微鏡だけで、またはカメラおよびコンピュータと結合させた顕微鏡で試料を解析し、それにより、より標準化されていると共に定量的な研究が可能となる。顕微鏡は、完全自動解析用に構成することができ、電動式ステージおよびフォーカス、電動式対物レンズ切換器、自動光強度制御器等で自動化される。
【0017】
検出用試料の調製は、たとえばハイブリダイゼーションに基づく調製技法や免疫標識に基づく調製技法など、顕微イメージング解析に適した異なるタイプの調製技法を伴うことができる。このような検出技法は、たとえば蛍光に基づく技法や目に見える呈色反応に基づく技法など、適切な解明技法と合わせることができる。
【0018】
インサイチュハイブリダイゼーション(「ISH」)および蛍光インサイチュハイブリダイゼーション(「FISH」)は、たとえば、遺伝情報の増幅および突然変異についての解析の検出および定量化に使用される検出および解明技法である。ISHもFISHも共に、組織学的または細胞学的試料に適用することができる。これらの技法では、対応する正確な配列を認識するために、特定の相補的プローブを使用する。使用する技法に応じて、特定のプローブは化学的(ISH)マーカまたは蛍光(FISH)マーカを含むことができ、その場合試料は、それぞれ透過型顕微鏡または蛍光顕微鏡を用いて解析される。化学的マーカを使用するか蛍光マーカを使用するかはユーザの目標次第であり、各タイプのマーカが特定の例において他方に勝る対応する利点を有する。
【0019】
タンパク質発現解析の場合、たとえば、さらに免疫組織化学(「IHC」)および免疫細胞化学(「ICC」)技法を使用することができる。IHCは組織切片への免疫化学の適用であるのに対して、ICCは特定の細胞学的調製、たとえば、液体をベースとする調製を施した後の培養細胞または組織インプリントへの免疫化学の適用である。免疫化学は、特定の抗体の使用に基づく技法群であり、抗体を使用して細胞の内部また表面の分子を明確に標的にする。抗体は通常、生化学反応を受け、それにより標的分子に遭遇すると変色することになるマーカを含む。場合によっては、信号増幅を特定のプロトコルに統合することができ、マーカ色素を含む二次抗体が特定のモノクローナル一次抗体の適用に続く。
【0020】
ハイブリダイゼーションの研究においても免疫標識の研究においても、異なる色の色原体を使用して異なるマーカを区別する。これらのマーカは細胞成分に特有であってもよいため、この演繹的知識を使用して自動的に細胞をセグメンテーションする(すなわち、細胞核マスクを細胞質マスクおよび/または細胞膜マスクから分離する)ことができる。全般に、「比色」アルゴリズムは、特定の症例の診断および/または予後診断を容易にするために試料情報を提供することを目標とする。例としては、胸部のER、PRおよびHER2タンパク質発現レベルの検出および定量化を、免疫組織化学(IHC)技法に適用される定量的顕微鏡法アルゴリズムを用いて提供することができる。
【発明の開示】
【発明が解決しようとする課題】
【0021】
しかしながら、このような画像解析技術の点から見て、病理学者が適切な診断および/または予後診断を下すことを可能にするために正確で有用な情報を病理学者に提供しながらこのような解析における柔軟性を容易にする改善が必要である。
【課題を解決するための手段】
【0022】
上記および他の必要は本発明によって満たされる。本発明は一実施形態において、顕微鏡像用に試料を染色する方法を提供し、それにより染色された試料の画像は、病理学者による診断用に細胞内成分間で最適なコントラストを示すように構成される。このような方法は、試料を色素で染色すること、試料の顕微鏡像から色素の透過率値を決定すること、色素の決定済み透過率値から試料の人工画像を形成すること、一連の人工画像を形成するために色素の透過率値を変えること、この一連の画像から1つの画像を選択し、色素について細胞内成分間の最適なコントラストを示し、上記1つの画像における色素の対応する透過率値を決定すること、および細胞内成分間の最適なコントラストに対応する色素の透過率値を有する染色された試料を提供するために、色素による試料の染色を変えることを含む。
【0023】
本発明の別の態様は、試料を人工的に染色する方法を含む。このような方法は、試料を第1の色素で染色すること、試料の顕微鏡像から第1の色素の透過率値および消散係数を決定すること、第1の色素の決定済み透過率値から試料の人工画像を形成すること、および試料を第2の色素で人工的に染色するために、第1の色素の消散係数を第2の色素の消散係数に置換することを含む。
【0024】
本発明のさらに別の態様は、試料の測定値をその画像から得る方法を含む。このような方法は、試料中の関心領域をそのRGB画像から選択すること、RGB画像中の関心領域をセグメンテーションして、その中の任意の関心対象を識別すること、識別された関心対象の測定値を決定するために特徴抽出を実行すること、ならびにマーカ局在化および信号対雑音比の少なくとも一方に対して細胞スコアを決定することを含む。
【0025】
本発明のさらなる態様は、スライド上の関心領域を選択する方法を含み、この領域は、試料のRGB画像に対応するマーカのみの画像においてその周囲から正に対比され、正に対比された領域は、周囲よりも比較的大きい核および比較的高い細胞密度の少なくとも一方を含む。このような方法は、試料のRGB画像の色原体分離により得られる試料のマーカのみの画像にローパスフィルタを適用すること、マーカのみの画像中の画素のマーカのみのヒストグラムを決定すること、および試料の負の領域と正の領域とを区別するためのマスクを形成するために、マーカのみのヒストグラムにおけるしきい値に従ってマーカのみの画像を2値化することを含む。
【0026】
本発明の別の態様は、試料をその画像からセグメンテーションする方法を含む。このような方法は、しきい値化プロセスにより試料のRGB画像の背景成分を決定すること、細胞膜、細胞質および細胞核のうち少なくとも1つの成分画像を作成することによって画像をセグメンテーションすること、セグメンテーションされた画像を精密化すること、および画像からどんな不要な対象もフィルタリングすることを含む。
【0027】
本発明のさらに別の態様は、低ビット解像度画像装置により得られる画像から、試料を染色する少なくとも1種類の色素の高色素濃度についての光学密度データを決定する方法を含む。このような方法は、異なる積分時間で試料の一連の画像を取り込むこと、画像装置の赤、緑および青チャネルの各々における最高不飽和強度を選択すること、ならびに試料の最適化画像を、最適化画像が色原体分離に適切なものとなるように赤、緑および青チャネルにおける最高不飽和強度レベルを用いて再構築することを含む。
【0028】
本発明の別の態様は、3チャネル画像装置により得られる、4種類の色素で染色された生体試料の画像についての色原体分離方法を含む。このような方法は、生体試料内に空間的に配置された4種類の色素からなる演繹的に公知の重要な3種類の色素の組合せを定義すること、赤、緑および青チャネルを有する画像装置により4種類の色素で染色された試料の画像を得ることにより、対応するRGBトリプレットを各々が有する複数の画素を画像が含むようにすること、Ecr+Ecg+Ecb=1である消散係数平面上に各RGBトリプレットを投影すること、各RGBトリプレットに対応する消散係数平面における4種類の色素からなる3種類の色素の組合せを決定すること、ならびに消散係数平面における各3種類の色素の組合せに対応する画像中の画素の量を一覧表にすることによって、試料の画像を分離することを含む。
【0029】
したがって、本発明の諸実施形態は本明細書中に特定されている必要を満たし、本明細書中にさらに詳しく述べられている重大な利点を提供する。
【0030】
このように本発明を概括的に説明してきたが、これから添付の図面について言及する。これらの図面は、必ずしも原寸に比例して描かれてはいない。
【発明を実施するための最良の形態】
【0031】
これから本発明を、添付の図面を参照して以下により十分に説明する。図面には、本発明のすべてではないが一部の諸実施形態が示してある。実際には、これらの発明を多くの異なる形態で具体化することができ、本明細書中に記載されている諸実施形態に限定されると解釈すべきではない。正しくは、これらの諸実施形態は、本開示が適用可能な法的要件を満たすように提供される。同じ番号は、本願を通して同じ要素を指す。
【0032】
顕微イメージングプラットフォーム
画像収集および画像処理用の典型的な顕微鏡装置では、試料の拡大像をカメラでまず取り込み、デジタル化しなければならない。一般に、電荷結合素子(CCD)デジタルカメラが、定量的な光学または蛍光顕微鏡法で使用されている。分光光度計を除いて、2つの異なる技法が通常、このような顕微鏡による比色研究を行うために使用される。一方の技法では、白黒(BW)CCDカメラを使用することができる。このような例では、解析しようとする試料の染色に特有の波長を有する単色光に対応する試料の階調画像が得られる。光の特定波長は、手動制御または電子制御を用いて、特定の狭帯域幅フィルタにより白色光源をフィルタリングすることによって、あるいは光源の波長を直接制御することによって得られる。したがって、この技法を用いると、色の数が増加するにつれて解析時間が増大する。というのは、異なる試料染色ごとにまたは異なる波長ごとに、光源またはフィルタを選択しなければならないからである。そのため、解析を容易にするためには、異なる波長での試料のスペクトル応答を示す試料の多くの異なる画像を、順次個別に取り込まなければならない。複数の情景または視野を解析しなければならない場合、典型的なプロトコルは、処理時間を保存するためにバッチモードにおけるシーケンスを自動化することである。
【0033】
第2の技法によれば、カラーCCDデジタルカメラが使用され、試料の3枚の階調画像が同時に取り込まれ得られる。各階調画像は、カラーCCDカメラの赤、緑および青チャネル(RGB)各々における階調画像に対応する。試料の3枚の階調画像が同時に取り込まれ得られる(各階調画像が、赤、緑および青チャネル(RGB)各々における階調画像に対応する)カラーCCDデジタルカメラを使用する場合、色原体分離技法を適用することができる。この技法により、各分子種(それらの関連する色原体または色素によって明らかとなる)の光学密度を画像(画素)の任意の位置で評価することが可能となることがある。生体試料については、マーカおよび対比染色が通常、検出し定量化すべき色素を示す。
【0034】
(たとえば、Lumiere TechnologyによるJUMBOSCANマルチスペクトルカメラを使用する)もたらされた第3の技法によれば、試料の階調画像を最大13枚同時に取り込み得ることができる。このタイプのカメラ/スキャナは、所与の試料に対して同時に溶解させることができる色素の数を増やすことによって、将来色原体分離技法の可能性を増大させることができる。
【0035】
それとは関係なく、分子種の濃度は試料のカラー画像から決定することができ、このカラー画像は3つ以上のチャネルを含む。3CCDカメラを備えたビデオ顕微鏡システムでは、画像を望ましくは、空視野白基準(empty field white reference)および黒視野像(black field image)に従って均衡化し正規化すべきであり、次いでシェーディング補正すべきである。さらに、この画像を望ましくは、チャネルごとに色収差について空間的に補正すべきである。次いで、測定した透過光から、画像中の特定の画素で、RGB画像の赤、緑および青チャネルの各々における試料の光学密度を計算することができる。その後対応する光学密度ベクトルが、その画素について形成される。次いでこの光学密度ベクトルに、各色素からの光学密度寄与率画素についての合成ベクトルを形成するために、試料中に存在する色素の相対吸収係数行列の逆数を乗じる。この相対吸収係数行列は、赤、緑および青チャネルの各々における、試料調製プロトコルで使用する色素(マーカおよび対比染色)各々についての相対吸収係数を含む。したがって、合成ベクトルは、マーカによって示される、また対比染色によって示されるその画素についての分子種の濃度を含む。
【0036】
マルチスペクトル画像化技術としても知られているこのような画像化技術により、カラー画像化(RGBカメラ)に適応させた場合、試料の実時間(ビデオレート)処理(通常、フレーム当たり40ミリ秒)が可能となり、このことは相当の利点を提供する。実際には、速度の問題および実時間処理のために、あるいはRGBカメラを使用する場合には表示目的で、異なるチャネルを介しての収集を並行して行い、またルックアップテーブル(LUT)を生成することができる。このルックアップテーブルにより、関与している色素各々の事前計算した濃度および/または透過率にRGBカラー入力値がマッピングされる。
【0037】
このような技術は、たとえば、本発明の譲受人でもあるTripath Imaging,Inc.に譲渡された共にMarcelpoilらの米国公開特許公報第2003/0091221号(Method for quantitative video−microscopy and associated system and computer software program product)および米国公開特許公報第2003/0138140号(Method for quantitative video−microscopy and associated system and computer software program product)に、より詳細に論じられている。これらの公報の内容は、それら全体を本願に引用して援用する。
【0038】
ランベルト−ベールの法則
顕微イメージングプラットフォームは、ランベルト−ベールの法則に従って試料を解析するために構成される。ランベルト−ベールの法則は一般に、溶液中の分子の濃度(「分子種」または「試料」の濃度)とこの溶液を通して測定された光強度との間に観測することができる比例関係を表している。ランベルト−ベールの法則は通常以下の式で表される。
【0039】
[数1]
OD=ε・l・C (1)
ODは溶液の光学密度、εはモル吸光係数またはモル吸収係数と呼ばれる比例定数、lは試料の厚さ、Cは分子種の濃度である。吸収係数εは分子種に特有であり、通常L・mol−1・cm−1の単位で表される。
【0040】
ランベルト−ベールの法則によって定義される比例関係は、たとえば、試料を照射する単色光、試料中の低分子濃度、試料の蛍光性または光応答の不均一性が通常ないこと(無視できる蛍光および拡散)、試料の化学的な感光性の欠如を含むいくつかの条件下で実証されている。しかしながら、ランベルト−ベールの法則は、たとえば、顕微鏡下での試料の正確なケーラー照明など、追加の要件を有することがある。
【0041】
ケーラー照明は、ほとんどすべての最新式顕微鏡に提供されており、効果的なコントラスト制御を可能にしながら像平面内に均一な照明を提供する。ケーラー照明は通常、デンシトメトリー解析に欠かせない。正確なケーラー照明は、たとえば、顕微鏡用の2段階の照明系によって提供され、この照明系では、補助コンデンサによってサブステージコンデンサ(substage conndenser)の開口で光源が結像される。サブステージコンデンサは、対象上で補助コンデンサの像を形成する。各コンデンサにアイリス絞りを設置することもでき、第1のアイリスは照射しようとする対象の面積を制御し、第2のアイリスは照射ビームの開口数を変化させる。
【0042】
ランベルト−ベールの法則は、試料がいくつかの光吸収分子種、たとえば、それぞれ濃度がC1およびC2であるs1およびs2を含む場合に、厚さl(溶液中ではl1=l2=l)の試料のODを以下の式で表すことができるように加成性を有する。
【0043】
[数2]
OD=ε1・l1・C1+ε2・l2・C2 (2)
この状況は、たとえば、試料の「情景」または視野または一部が、関心のある分子種を標的にするためのマーカ色素と、試料の残りを染色するための対比染色とからなる2種類の色素で染色されている生物学的解析で起こることがある。
【0044】
色収差の補正
顕微鏡下で結像される所与の種の濃度を正確に測定するために、異なる波長で行われる光学密度の測定は、試料の同じ部分に対応すべきである。すなわち、色収差について系を物理的に補正することができ、またはそうでなければ、ソフトウエアなど別の方法論により補正を行うことができる。
【0045】
ガラスの自然分散能により、単体レンズが赤色光よりも短い距離で青色光の焦点を合わせる。すなわち、単体レンズは、異なる波長(異なる色)の光に対して異なる焦点距離を有する。2つの現象が直接の結果として起こる。
1)異なる波長の光についての縦軸に沿った焦点位置の差を、軸上色収差と呼ぶ。すなわち、所与の色(たとえば、緑)について像の焦点を合わせると、他の色に対応する画像はわずかに焦点がずれる傾向にある(この例では青および赤の焦点がずれているように見えることになる)。
2)異なる波長の光についての倍率(焦点距離)の差を、倍率色収差と呼ぶ。すなわち、青色の(短い)波長の像は、赤色の(長い)波長の像よりも大きく見えることになる。
【0046】
高品質対物レンズ(アポクロマート対物レンズ)を有する系では、色収差が補正される。色収差が構造的にうまく補正されない場合には、倍率色収差を補正するためのソフトウエアに基づく方法を以下のように実施することができる。
1)カメラチップの中心と比較して、対物レンズの中心の座標を決定し、
2)任意の選択波長(通常は中心波長、すなわち、RGBカメラを使用する場合には緑)と比較して、各波長について観測された拡大係数を評価し、
3)各画像を、その相対倍率および対物レンズの中心の座標に従ってリサンプリングする。
【0047】
色原体分離の実施
画像収集のために顕微鏡をケーラー照明モードに設定し、いずれの色収差にも対処するまたはアポクロマート対物レンズを使用すると、ランベルト−ベールの法則の加成性を使用して線形代数方程式を用いた色原体分離を実施することができる。
【0048】
より詳細には、ランベルト−ベールの法則の加成性を、たとえば別々の赤、緑および青チャネルを有するRGBカメラによって生成されるカラー画像環境などにおいて情景を解析する状況にまで拡張することもできる。このような例では、マーカ色素(すなわち「色素1」)は、赤、緑および青チャネルにおいて、それぞれ吸収係数ε1r、ε1gおよびε1bを示すはずである。赤、緑および青チャネル各々における画像の解析は、赤色スペクトルにわたって画像の赤色表示を解析すること、緑色スペクトルにわたって画像の緑色表示を解析すること、および青色スペクトルにわたって画像の青色表示を解析することを基本的に含むことに留意されたい。したがって、対比染色(すなわち「色素2」)は、赤、緑および青チャネルにおいて、それぞれ吸収係数ε2r、ε2gおよびε2bを示すはずである。そのため、ランベルト−ベールの法則の加成性に従って、RGB環境における試料の解析により、その光学密度についての3つの方程式の系がもたらされるはずである。
【0049】
[数3]
ODr=ε1r・l1・C1+ε2r・l2・C2 (3)
ODg=ε1g・l1・C1+ε2g・l2・C2 (4)
ODb=ε1b・l1・C1+ε2b・l2・C2 (5)
ODr、ODgおよびODbは、それぞれ赤、緑および青チャネルにおいて測定した試料の光学密度を示す。さらに、たとえば3種類の異なる色素で試料を処理するなど、試料調製の複雑さが増した場合には、方程式(3)、(4)および(5)は以下のようになる。
【0050】
[数4]
ODr=ε1r・l1・C1+ε2r・l2・C2+ε3r・l3・C3 (6)
ODg=ε1g・l1・C1+ε2g・l2・C2+ε3g・l3・C3 (7)
ODb=ε1b・l1・C1+ε2b・l2・C2+ε3b・l3・C3 (8)
【0051】
このような状況においては、3種類の色素は、たとえば、1種類のマーカ色素および2種類の対比染色を、あるいは2種類のマーカ色素および1種類の対比染色を、あるいは3種類の別々のマーカ色素でさえ含むことができる。ランベルト−ベールの法則のこの特性は、さらにより多くの色素の組合せを含むように拡張することもできる。しかしながら、本明細書中に記載の色原体分離手順は、生物学的マーカのマルチスペクトル画像化のために、たとえば3CCDのRGBカメラなど3つのチャネルを有する高速カラー画像取込み装置を利用することに焦点を当てている。したがって、3つの別個の情報チャネル(R、G、B)であるため、たった3つの方程式をどこででも使用することができる。
【0052】
ランベルト−ベールの法則をデジタル顕微鏡システムに適用する際、試料の厚さlを測定することは困難で手間がかかる、不正確である、あるいは時として不可能である。したがって、分子種の濃度Cを、lとCとの積(l・C)として拡張し検討することができ、それに応じて結果を処理することができる。たとえば、特定の試料においてある色素の濃度を別の色素の濃度と比較する場合、試料の厚さの項は両方の濃度に共通であり、したがって試料の厚さを正確な絶対値として決定することはそれほど重要にはならない。そのため、通常厚さを正確に決定する必要はなく、一定であると仮定するため、本明細書中に開示されている解析では一般に無視できることが理解されよう。
【0053】
デジタル顕微鏡システムへのランベルト−ベールの法則の適用により、ランベルト−ベールの法則を試料のデジタル画像について以下のように表すことができることも認識される。
【0054】
[数5]
OD(x,y)=log I0(x,y)−log I(x,y) (9)
式中、(x,y)は画像中の特定の画素を示し、OD(x,y)はその画素での試料の光学密度であり、I(x,y)はその画素での試料の測定光強度または測定光透過率であり、I0(x,y)は光吸収試料なしで測定した光源の光強度である。したがって、
【数6】
式中、IODは、試料のデジタル画像の積分光学密度であり、Nは試料の表面画像中のピクセル数である。光強度の相対比較を行う場合には、比例定数を適宜考慮することができる。さらに、ランベルト−ベールの法則に従った定量的な顕微鏡法では、試料の光学密度ODと色素濃度との間の比例関係が保たれる。
【0055】
したがって、デジタル顕微鏡システムによって試験する調製試料について、適切な関係は以下のように表される。
【0056】
[数7]
ln I0−ln I=ln I0/I=OD=ε・l・C (11)
たとえば、8ビットのRGBカメラをこのシステムで使用する場合、試料を透過する光強度は、0と255との間の28(=256)個の値で表されることになる。たとえば、透過率100%に相当する光源の初期強度I0は、赤、緑および青チャネルの各々において、255(可能な最も明るい値を示す)に近い値で表されることになる。実際には、試料がない場合の透過率100%に相当する純粋な「白色」光が、赤、緑および青チャネルの各々において255に近い強度値を有するように、一方光がない場合には、透過率0%に相当する「黒画像」が赤、緑および青チャネルの各々において0に近い強度値を有するように、作業者がカメラフレームグラバ(camera frame grabber)/光源を調節する。したがって、任意の画素において、透過率100%、すなわちI0は、赤、緑および青チャネルの各々について、光源の存在下でカメラによって測定した値から光源がない場合にカメラによって測定した値を引いた差として表される。光源の強度は測定した視野にわたって空間的に異なることがあるため、また光学系が不均一に光を吸収することがあるため、透過率100%は測定した視野にわたって異なるダイナミックレンジに相当することがある。試料のODは、試料がない場合の透過率(I0)と試料の存在下の透過率(I)との比の対数として表され(11)、したがって、大部分は透過率100%で測定した実際のダイナミックレンジの小さな変動とは空間的には無関係である。
【0057】
光源の強度は時間が経ってもほぼ一定のままである、または容易に再評価することができるため、任意の画素における光強度の読取り値を、赤、緑および青チャネルの各々についての画素位置における相対透過率の測定値に換算することができる。I0およびIがわかると、対応するODを計算することができる。
【0058】
固有の色素が存在する視野上の任意の位置(唯一の吸収材料)により、色素の相対消散係数を異なるRGBチャネルについて測定することが可能となる。方程式(1)において、l・Cは、所与の位置でRGBチャネル各々について等しいため、この特定の位置でのlおよびCが共に既知である場合には、正確な消散係数をOD/(l・C)として計算することができる。したがって、赤、緑および青チャネルの各々における吸収係数εを、結果的に以下のように抽出することができる。
【0059】
[数8]
εr=ODr/(l・C)=(ln(I0r/Ir))/(l・C) (12)
εg=ODg/(l・C)=(ln(I0g/Ig))/(l・C) (13)
εb=ODb/(l・C)=(ln(I0b/Ib))/(l・C) (14)
残念なことに、(l・C)は通常未知であり、したがって消散係数εを、考慮するチャネルにおいて所与の画素で測定したODと、RGBチャネルのいずれかについてこの位置で測定した最大ODとの比として任意に計算する((l・C)に関する演繹的知識がない場合の赤、緑および青チャネルの各々における吸収係数εの決定は、lおよびCを任意に1に設定した場合に相対的な解を実現するための、一次方程式の操作の問題である)。
【0060】
[数9]
εr=ODr/l=ODr=ln(I0r/Ir) (13)
εg=ODg/l=ODg=ln(I0g/Ig) (14)
εb=ODb/l=ODb=ln(I0b/Ib) (15)
【0061】
したがって、色素の絶対濃度が未知のままである場合でも、(l・C)に等しい既知の絶対誤差要因を用いて、任意の画素における任意(または相対)色素濃度を計算することがやはり可能である。
【0062】
lは所与の画素位置で固有なものであり、任意に1に設定することができるため、C1、C2およびC3がlに関係する方程式6、7および8を以下のように書き換えることができる。
【0063】
[数10]
ODr=ε1r・C1+ε2r・C2+ε3r・C3 (16)
ODg=ε1g・C1+ε2g・C2+ε3g・C3 (17)
ODb=ε1b・C1+ε2b・C2+ε3b・C3 (18)
【0064】
異なる色素についての消散係数の値がすべて求められていて、かつ画像データの読取り値から光学密度が既知である場合、C1、C2およびC3を抽出するためにこれらの方程式を解くことは、一組の一次方程式を解くことを伴うだけである。
【0065】
線形代数方程式の解/行列
一組の線形代数方程式は、たとえば、以下のように現れる。 (19)
【数11】
ここでは、N個の未知数xj(j=1,2,…,N)が、M個の方程式によって関係付けられている。i=1,2,…,Mおよびj=1,2,…,Nである係数aijは、右辺の数bi(i=1,2,…,M)と同様に既知数である。
【0066】
M<Nである場合、事実上未知数より少ない方程式しか存在しない。この場合、解がないことも、または2つ以上の解ベクトルxが存在することもある。
【0067】
N=Mである場合、未知数と同じ数の方程式が存在し、一意解の集合xjが求められる可能性が高い。
【0068】
M>Nである場合、方程式が未知数よりも多く存在し、一般に方程式(1)の解ベクトルxはなく、これら一組の方程式は優決定であると言われる。このような場合、最も適切な解が、これらの方程式すべてに最も適合するもの(すなわち、再構成誤差の合計を最小限に抑える解)と一般に見なされることになる。
【0069】
したがって、方程式(19)を以下のように行列方式に書き換えることができる。
【0070】
[数12]
A・x=b (20)
ここで、(・)は行列乗算を示し、Aは係数の行列であり、bは列ベクトルとして書かれた右辺である。慣例により、要素aijに関する第1の指数はその行を示し、第2の指数はその列を示す。aiまたはa[i]は、行全体a[i][j](j=1,…,N)を示す。
【0071】
Aが係数の正方行列であり、かつbが既知の右辺ベクトルである行列方程式A・x=bの未知のベクトルxについての解には、行列Aの逆行列であるA−1の決定が通常必要となる。
【0072】
[数13]
x=A−1・b (21)
A−1は行列Aの逆行列である、すなわち、A・A−1=A−1・A=1であり、式中1は恒等行列である。ある特定の事例では、方程式が未知数よりも多く(または未知数と同数)存在する、M≧Nとなるように実験条件を設定する。M>Nとなる場合、一般に方程式(19)の解ベクトルxはなく、これら一組の方程式は優決定であると言われる。しかしながら、多くの場合、最良の「妥協」解は、すべての方程式を同時に満たすことに最も接近する解である。接近が最小二乗の意味で定義される(すなわち、方程式(19)の左辺と右辺との差の二乗和が最小化される)場合、優決定の線形問題は、線形最小二乗問題とも称される、特異値分解(SVD)を用いて解くことができる(通常)可解の線形問題に帰着する。SVDは、データのパラメトリックモデリングを含み、大部分の線形最小二乗問題を解くための1つの方法である(Cambridge University PressによるNUMERICAL RECIPES IN C:THE ART OF SCIENTIFIC COMPUTING(ISBN 0−521−43108−5)Copyright(C)1988−1992。Numerical Recipes SoftwareによるPrograms Copyright(C)1988−1992)。
【0073】
これらの概念を本事例に適用する際、異なる色素についての吸収係数εの行列の決定は、試料評価とは関係なく行うことができ、それぞれの色素のうち少なくとも1つで処理された試料へのさらなる適用のために保存する。可能な画素値すべてについて解を計算することにより、ほぼ実時間の処理が可能となる。8ビットの3CCDカラー画像収集装置を選択した例では、試料の測定光強度Iが、赤、緑および青チャネルの各々において0と255との限界間に及ぶため、可能な濃淡値(最初の光強度I0に対する)はすべて事前に計算し(8ビットのRGBシステムの場合2563)、たとえばコンピュータ内に保存することができる。したがって、特定の色素で染色した試料について、赤、緑および青チャネルの各々における画素での透過光強度I(または光学密度OD)を測定し、次いで、前もって保存した濃淡値およびその特定の色素についての吸収係数ε行列と比較して、それによりその画素での色素濃度C(または積l・Cとしてのその推定値)を決定することができる。この件について、[256(赤)×256(緑)×256(青)]=2563個の計算解が存在し、それにより色素の各々について16メガバイト(生データ)のルックアップテーブル(LUT)が生じる。チャネル当たり8ビットを超える濃淡値の解像度により、より大きなLUT(すなわち、チャネル当たり10ビットである場合、>1ギガバイト)がもたらされることになる。
【0074】
電子染色
本発明の一態様によれば、前もって試験した色素の任意の組合せにより生じる人工画像の階調またはRGB透過率値を生成することができる。というのは、もはや未知の変数はないからである。たとえば、特定の画素およびその解かれた色素濃度について、単一色素画像は以下の白黒(BW)またはRGB画素強度に対応するはずである。
【0075】
[数14]
ODBW=CおよびIBW=Exp(ln(I0)−ODBW) (22)
ODr=εr・CおよびIr=Exp(ln(I0)−ODr) (23)
ODg=εg・CおよびIg=Exp(ln(I0)−ODg) (24)
ODb=εb・CおよびIb=Exp(ln(I0)−ODb) (25)
【0076】
このプロセスを取り込んだデジタル画像の各画素に適用した場合、構成色素のいずれかの各寄与率のみを用いて同じ視野の人工画像を生成することができる。たとえば、ある色素の消散係数を別の色素の消散係数と交換した場合、所与のマーカのみに対応する同じ人工画像がどのように顕微鏡で見られるのかをシミュレートすることが、このマーカを明らかにするために使用する色素を二次色素に変更した場合に可能である。
【0077】
さらに、ランベルト−ベールの法則の加成性を用いると、図1に示すように、たとえば、絶対重み係数または相対重み係数を用いて各色素の相対寄与率を変更した人工画像を生成することも可能である(重み係数w1およびw2によって色素1と色素2の比率を変更した後でRGB画像を再構成した、2種類の色素で電子染色した(「e−stained」)画像についての方程式26〜28を参照のこと。
【0078】
【数15】
【0079】
より詳細には、図1はエストロゲン受容体(ER)の例、同じ細胞の一連の画像(約32%の所定透過率での原画像は、赤で囲んで示してある)を示し、これら一連の画像において、マーカ(Brown DAB)の量は、色原体分離後、ヘマトキシリン含有量を変更することなく透過率約22%から透過率約40%に電子的に(人工的に)変更されている。このようにして、これらの人工画像から、細胞内成分間の最適なコントラスト、ならびにマーカに特有の標的成分と標的ではない細胞内成分との間の最適なコントラストに対応する透過率値を提供するために必要な色素の量を決定することができる。
【0080】
測定戦略
本発明の別の態様によれば、測定戦略は、関心マーカのみを特異的に測定することを可能にすることから、セグメンテーションが最適化され対比された画像を生成することを可能にする電子染色(e−staining)能力までの多くの側面において、上述の色原体分離技法に基づき、また色原体分離技法を利用することができる。
【0081】
取得した画像から測定結果を得ることは、いくつかのステップ、1)関心領域(腫瘍領域)を選択すること、2)画像中の関心対象を識別するためのセグメンテーション、および3)識別された対象について様々な測定特徴を計算し、細胞スコアに、たとえばそれらのマーカ局在化および信号対雑音比に基づいて影響を与えるための特徴抽出を含む。
【0082】
1)関心領域の事前選択
病理学者の仕事量を低減するために、解析に使用する領域となる視野内の潜在的関心領域の輪郭を自動的に描写するための、事前選択方法論を開発した。したがって、この方法論においては、排除されたどんな部分も解析から除外される。このような事前選択方法論は通常、2つの演繹的因子を必要とする。
・関心領域は、マーカのみの画像を見たときに周囲から正に対比されている。
・癌は、たとえば、より大きな細胞核およびより高い細胞密度によって、間質細胞とは異なる上皮細胞を標的としている。
【0083】
したがって、RGB視野に適用される色原体分離技法により生じるマーカのみの画像に、大型ローパスフィルタを適用することができる。マーカのみのヒストグラムを測定し(輝度画像に基づき背景領域を避ける)、次いで、2つの階級(負の領域と正の領域と)を区別することができるヒストグラム中の最適しきい値に従って画像を2値化する。どんな小さな穴も埋めて最終的なマスクを平滑化する。図2Aおよび図2Bに示すように、病理学者による合否判定を可能にするために、元のRGB視野画像の上にこのマスクの輪郭を描く。より詳細には、本明細書中に開示されている事前選択方法論の一実施形態による関心領域の自動定義の、図2AがPSMB9の例を示し、図2BがHER2の例を示す。関心領域を自動的に計算し、またはそうでなければ決定し、最終的な精密化および/または承認のために病理学者に提示することができる。提案されたマスクを病理学者が拒絶した場合には、描画ツールにより病理学者が適切な関心領域を手動で選択することが可能となる。
【0084】
2)セグメンテーション戦略
セグメンテーション戦略は、以下のステップを含む。
・背景決定
・細胞成分画像作成
・細胞膜セグメンテーション*
・細胞核セグメンテーション
・細胞質セグメンテーション
・セグメンテーション精密化
・不要な対象のフィルタリング
*Her2など細胞膜マーカの場合には、細胞膜セグメンテーションという追加の特定ステップが行われる。
【0085】
このようなセグメンテーションの様々な例を、たとえば、それぞれ図3A1〜図3A2および図3B1〜3B2に示す。より詳細には、図3A1は、関心領域の自動定義のPSMB9(細胞質マーカ)の例を示し、その後、図3A2の細胞内セグメンテーションが続く。関心領域内では、自動的に定義された細胞がセグメンテーションされており、細胞核マスクが青色で現れ、細胞質の境界線が赤色で現れる一方、背景画素が黒色で示されるようになっている。図3B1は、関心領域の自動定義のHER2(細胞膜マーカ)の例を示し、その後図3B2の細胞内セグメンテーションが続く。自動的に定義された領域内では、細胞がセグメンテーションされており、細胞核マスクが青色で現れ、細胞質が緑色で現れる一方、背景画素が黒色で示されるようになっている。しかしながら、組織またはマーカの特異性にこのような一般的アルゴリズムを適合させるためには、追加の画像処理ステップまたは精密化が場合によっては必要とされることがあることが当業者には理解されよう。
【0086】
2a)背景決定
最初のセグメンテーションステップは、画像内容を前景と背景とに分割することである。イメージングプラットフォームは、明視野顕微鏡法を支持するように設計されているため、対象は明るい背景よりも暗く見えることになる。画像用の背景マスクを作成するために、画像を輝度画像に変換し、背景しきい値レベルを計算する。背景しきい値レベルを上回る輝度値を有する画素はすべて、背景に属すると見なされる。逆に、このしきい値未満の輝度を有するどんな画素も、以下のステップにおいてさらに処理しなければならない前景に属する。
【0087】
この背景しきい値レベルを決定することは、輝度画像を平滑化すること、および平滑化した画像のヒストグラムを計算することを含む。次いで、このヒストグラムをより大きい終点から走査して、極小をしきい値に使用する。この調査は、任意の透過率90%に到達する場合に限定され、この透過率は、8ビットの画像の場合には、230という値になる。
【0088】
2b)細胞成分画像作成
次のセグメンテーションステップでは、先に説明した色原体分離技法を用いて、細胞核および細胞質についての細胞成分画像を作成する。この分離を、特定の細胞成分に対する各色素の光学密度寄与率の仕様に従って開始する。次いで、それらの成分画像を、後の細胞核セグメンテーションステップおよび細胞質セグメンテーションステップ用の入力として使用する。これらの成分画像は電子染色能力に基づいており、標的細胞成分を隣接領域から最も良く対比させる画像を生成する。
【0089】
2c)細胞膜セグメンテーション
細胞膜セグメンテーションは、以下のステップを用いて行われる。
・背景ではない画像全体にわたる平均値を求める。
・画像中の任意の位置を、局所値がより明るい場合には、この平均値で埋める。
・大小の平滑化コンボリューションカーネル(convolution kernel)間の画像差分を生成することによって、細胞膜を見つける。
・測定した局所コントラストに基づき得られるコントラスト画像を2値化する。
・候補細胞膜マスクの骨格を抽出する。
・要求された最小限の長さよりも小さいどんな骨格断片も削除する。
・1つの画素によって任意の方向に細胞膜マスクの骨格を拡張し、骨格に該当する細胞膜マスクのみを保持する。
【0090】
細胞膜は一般に細胞核を互いに分離すると期待されるため、さらなる細胞核セグメンテーションを容易にするためにまず細胞膜セグメンテーションを行う。
【0091】
2d)細胞核セグメンテーション
細胞核セグメンテーションプロセスの始めに、細胞核成分画像の平均およびメジアン画素値を、共に背景マスクを考慮して計算する。それらの値のうち大きい方を使用して、この値での細胞核成分画像のしきい値化により最初の細胞核マスクを作成する。より低い値を有する画素だけがこの最初の細胞核マスク中に元の値で残るように、このしきい値よりも高い値を有するどんな画素も、このしきい値に設定する。細胞膜マスクが入手可能な場合には、細胞膜マスク内に含まれるどんな潜在的な細胞核マスク画素も削除する。
【0092】
次いで、予備的なまたは最初の細胞核マスクを、期待される細胞核寸法の1.5倍のカーネルでローパスして、流域変形(watershed transformation)または流域セグメンテーション手順用の最初の細胞核マスクを用意する。流域画像が集水域を有し、かつ最初の細胞核マスクがしきい値を下回る画素値を有するマスク画素のみが設定されるように、流域セグメンテーション手順の出力を最初の細胞核マスクと組み合わせる。次いで、得られる細胞核マスクを、期待される細胞核寸法の約5分の1未満の面積を有する穴を埋めること、および期待される細胞核寸法の約4分の1よりも小さい対象を取り除くことを含むクリーンアップステップによって仕上げる。
【0093】
2e)細胞質セグメンテーション
細胞質セグメンテーションプロセスでは、2方向の手法を使用して細胞質マスクを作成する。両方とも、出発点として前のステップで作成した細胞核マスクを使用する。まず、細胞核マスクを反転させ距離変換する。第1の潜在的な細胞質マスクを、期待される細胞寸法内にあるすべての画素が得られるマスクに含まれるように、距離変換の出力を2値化することによって作成する。次いで、前景のみをマスクするために、得られる第1の潜在的な細胞質マスクを背景マスクと組み合わせる。第2の潜在的な細胞質マスク向けに、細胞核マスクを再度反転させ、次いで流域変形する。次いで、第1および第2の潜在的な細胞質マスクの両マスクを組み合わせて、最終的な細胞質マスクを作成する。
【0094】
2f)セグメンテーション精密化
細胞核および細胞質セグメンテーションマスクを共に確立したら、組み合わせたマスクの知識を用いてそれらのマスクをさらに精密化する。細胞質マスクから始めて、細胞質マスク内のセグメンテーションされた各対象を識別し、標識画像と関連付ける。各対象は固有の画素値によって識別される。細胞質セグメンテーションにおける流域変形により、標識対象が互いに分離される。たとえば、標識対象を再結合するために、標識画像を一度拡張する。
【0095】
次いで、標識画像を使用して細胞核マスクを精密化する。すなわち、個々のしきい値を用いて各標識対象を2値化する。各標識対象について、プロセスは以下のとおりである。
・標識対象に属する各画素についてのヒストグラムを計算し、平均画素値を決定する。
・しきい値調査のために上方および下方境界を決定する。上方境界は、対象の面積の20%が累積されるまでヒストグラムを上限から積分することによって決定される。下方境界は、期待される細胞核寸法のやはり20%が累積されるまでヒストグラムを下限から積分することによって、同様にして決定される。
・下方境界が上方境界未満である場合には、これら境界間のヒストグラムにおける値域にフィッシャー判別分析を適用することによってしきい値を計算し、そうでなければ、しきい値は上方および下方境界との平均値である。
・決定したばかりのしきい値を用いて細胞核成分画像を2値化することによって、対象を細胞核マスクに描き直す。
【0096】
次に、期待される細胞核寸法の約5分の1よりも小さい面積を有する、細胞核マスク中の穴を埋める。不十分なセグメンテーションを避けるために、このマスクをまず距離変換し、次いで流域変形して、潜在的に融合している細胞核を切り離す。
【0097】
最後に、期待される細胞核寸法の約3分の1よりも小さいすべての対象を取り除くことによって、細胞核マスクをアーチファクト除去する。精密化された細胞核マスクが決定されると、細胞質セグメンテーション手順が繰り返され、精密化された細胞質マスクをもたらす。
【0098】
Her2neuのセグメンテーションでは、細胞膜と核膜との区別を容易にするために、細胞核マスクの約3個の画素内に位置するどんな細胞膜マスクも除去する細胞膜除去の追加ステップを行う。
【0099】
2g)不要な細胞のフィルタリング
セグメンテーション手順における最後の処理ステップは、不要な細胞のフィルタリングを含む。この手順では、精密化された細胞質マスクにおける各対象を標識する。また、収集したFOV画像を、マーカおよび対比染色についての色素画像に色原体分離する。識別された各対象については、境界矩形を決定し、一定の距離よりも任意の画像境界線の近くに対象が位置する場合には、画像境界線を越えて広がる細胞の処理を避けるためにその対象をもはや考慮せずに破棄する。細胞がこの判定基準に合格している場合には、デンシトメトリー、テクスチャ、形状、状況情報など、その重要な測定特徴を計算する。さらなる例(排他的)には、以下が含まれる。
・面積
・全周
・重心(CoG)
・最小OD
・平均OD
・最大OD
各特徴を、細胞核、細胞質および/または細胞全体について、ならびに輝度、マーカ色素および対比染色色素について計算する。
【0100】
平均ODから決定される平均透過率を用いて、別の合否判定基準を細胞に適用する。すなわち、細胞の平均透過率がセグメンテーション設定で特定したしきい値よりも高い場合には、その細胞はそれ以上考慮されず破棄される。
【0101】
3a)細胞のスコアリング
各細胞について評価した特徴に基づき、標的とする区画におけるマーカ強度およびその信号対雑音比に応じてその細胞にスコアを帰属させることができる。マーカに特有の標的区画の光学密度(強度)における細胞のマーカ量が隣接する区画における量よりもはるかに多い場合、その細胞は陽性であると見なされる。たとえば、マーカが細胞核マーカである場合には、コントラスト、すなわち信号対雑音比を、細胞核におけるマーカに特有の光学密度の測定値対細胞質にわたって測定した残りの光学密度から計算する。暗騒音(ダークノイズ)は定義により特定されていないため、全背景の平均光学密度は、選択した関心領域内の細胞の細胞質区画すべてにわたって測定する。
【0102】
[数16]
細胞核マーカ:
細胞SNR=細胞核MOD/細胞質MOD (28)
【0103】
病理学者のノウハウとの最適な相関を容易に得るために、細胞を陽性であると指定するために必要とされるコントラストを強くも弱くも適合させることができる。というのは、一部の病理学者は非常に濃い細胞核だけが陽性であると考え、一方他の病理学者はどんな薄い正の染色も陽性であると考えるからである。コントラストレベルに基づくこのような主観的な陽性決定は、考慮される特定の病理学の影響を受けることもある。
【0104】
以下の場合、細胞核マーカについて細胞は陽性である。
【0105】
[数17]
細胞核MOD>細胞質MOD+max[ε,k(1−細胞質MOD)] (29)
・ER(エストロゲン受容体)については、ε=0.02およびk=0.11であることがわかった。
・PR(プロゲステロン受容体)については、ε=0.02およびk=0.20であることがわかった。
【0106】
したがって、図4に示すように、曲線よりも下にある細胞はどれも陰性であり、そうでなければ陽性である。すなわち、図4は、細胞の陰性および陽性の状態をERおよびPRについて定義する、SNR−細胞核OD曲線を示している。このような細胞核マーカでは、信号対雑音比(SNR)が細胞質マーカODに対する細胞核ODの比として評価される。細胞が曲線よりも上(右上隅)にある場合、その細胞は陽性であると見なされ、そうでなければ陰性であると見なされる。一般に、細胞核の強度が強くなるほど、細胞を陽性であると判定するためにはSNRは小さくならなければならない(逆もまた同じ)。
【0107】
3b)全スコア
病理学者が診断/予後診断を確立するために要求する情報をある症例について反映するその症例には、全スコアを帰属させることができる。
【0108】
[数18]
全スコア=100*#陽性の細胞/#ROI中の細胞 (30)
【0109】
ERおよび/またはPR試験の場合、病理学者によって要求される全スコアは、腫瘍領域内の陽性の細胞の百分率である。したがって、病理学者が提案されている関心領域(自動的に提案されたまたは手動で描かれた)の診断/予後診断に自信があると、陽性とスコアリングされた細胞の百分率が報告される。
【0110】
積分概念
濃度が非常に高くカメラのビット限界が達成されている場合に異なる色素のOD寄与率をさらに調査するために、カメラの時間積分(シャッター速度)に基づく戦略を実行することができる。すなわち、同じ視野を同じカメラで撮像するが、異なる積分時間で撮像する。図5Aおよび図5Bに示すように、測定したODを積分時間で正規化し、各チャネルにおける最大積分時間に対応する不飽和測定値を保持する。より詳細には、図5Aは、最も暗い領域におけるビット解像度を向上させるために異なる積分時間(4000s−1〜250s−1)を用いて画像取込みを行った、高いマーカ強度を有する特定の細胞を示す。このような方法論によれば、細胞核(ヘマトキシリンのみ)における色原体分離された画像のピクセレーション(pixelation)は、適切なビット解像度を使用すると実質的に消失する。図5Bは、RGB透過光強度、ならびに図5Aに示す画像の最も暗い領域におけるビット解像度を向上させるために異なる積分時間(4000s−1〜250s−1)を用いて取り込んだある代表画素についての時間で正規化したOD値を示す。ビット解像度の向上は、飽和前に積分時間についてRGBチャネルの各々において選択されるRGB透過光強度の値に由来する。
【0111】
RGB入力を用いた3D限界の打破:4D色原体分離
4D色原体分離のためのこのような手順の一例は、図6A〜図6B、すなわち、ヘマトキシリン(図6A)、エオシン(図6B)、グリーン(図6C)およびDAB(図6D)に示すように、修正されたPAP手順用の4種類の色素の組合せによって提供される。この例では、3つのチャネル(R、GおよびB)が入力チャネルを4つの未知数(色素)と共に含む。このような例では、演繹的知識を使用することができる。これらの色素は、EcR+EcG+EcB=1である消散係数平面を含むマックスウエル等価平面(Maxwell equivalent plane)内に表される。この平面内では、色素は固有のXY位置によって表される。この平面の各XY位置では、異なる透過率(所与の色素の異なる強度)を示す異なるRGBトリプレットを表すことができ、本例では、透過率50%に最も近いRGBトリプレットが図7Aに示してある。より詳細には、図7Aは、透過率50%に最も近いRGBトリプレットなど異なるRGBトリプレットを示している。各色素は、画像取込み装置(カメラ)の赤、緑および青チャネルにおけるその消散係数に基づきEc平面上に投影される。各色素はその頭文字で表されている。
【0112】
各色素の性質に関して、それぞれ図7B1および図7B2に示すように、3種類の色素からなる4つの可能な構成の中で、受け入れられる3色素構成が2つある。これら2つの3色素構成はそれぞれ、取り囲んでいる三角形によって強調表示されている。演繹的知識から、試料に対して4種類の色素が同じ地理的な位置に実質的に存在する可能性は低いことが知られている。したがって、この例における色原体分離では、試料に対して3種類の色素が共に位置することができる3色素構成のみを考慮する。より詳細には、エオシンおよびグリーンが、細胞質の属性が異なる細胞を染色する主に細胞質の色素である。したがって、この消散係数平面内ではエオシン色素とグリーン色素との間にヘマトキシリンが位置することにより、エロシンとグリーンとの混合物がヘマトキシリンと間違われる可能性はあるが(しかし、DABと間違われる可能性は極めて低い)、これらの色素が試料に対して同じ位置に存在する可能性は低い。
【0113】
したがって、4Dの問題を解くために、このFOVの各RGBトリプレットを探すことによって色原体分離手順を適用する。このFOVでは、EcR+EcG+EcB=1である消散係数平面内の位置であるXY位置に、対応する染色が位置するはずである。この平面内で、取り囲む3D構成、すなわちデフォルトで最も近い3D構成を決定し、この3D構成を使用して3種類の対応する色素の光学密度について方程式を解くが、残りの色素の光学密度を0に設定する。調査されるRGBトリプレットのXY位置の大部分が、受け入れられる2つの3色素構成の1つのうちに位置すべきことに当業者は留意されたい。図8Aは、4種類の色素すべてが表されている視野を示す(すなわち、4種類の色素がすべて表されている典型的な修正PAP視野であり、図8Cに示すように中央の暗い細胞がDAB陽性である)。図8B〜図8Eは、これら4種類の色素各々についての同じ視野を示す。
【0114】
修正PAP環境における陽性(DAB)の細胞を探索するためのスキャナ超高速適応
4D色原体分離および電子染色の議論されている態様を、場合によっては組み合わせて、本発明の別の態様を形成することができる。より詳細には、DABおよびヘマトキシリンの使用を対象とする上記の例に継続して、図9A(元の視野のRGB画像)に示すように、修正PAPスライド(DAB陽性の珍しい事象の解)を読み取ることができるスキャナを実行することができる。次いで、4D色原体分離および電子染色の手順に基づき、4色素の状況を解くことができる。解けたら、図9Bに示すように、DABおよびヘマトキシリンの寄与率のみを含むよう「電子染色」プロセスを用いてシミュレーション画像を再構成することができる。加えて、ヘマトキシリンおよびDABのみのチャネルをスキャナへの入力として使用することができ、それによりスキャナが「ヘマトキシリンおよびDABのみの」画像を取り込むように構成され、図9Bに示す画像とほぼ同じ画像が生成されるようにする。さらに、図9Cに示すように、ヘマトキシリン、エオシンおよびグリーンの寄与率のみを用いて、PAPのみのシミュレーション画像を再構成することができる。
【0115】
RGBのひずみの考慮
画像経路、電子機器および/または染色のばらつきによるRGBのひずみを受け入れかつ/または補償するために、色原体分離の修正を考慮することができる。すなわち、1種類の色素のみで染色した生体物質を画像化することにより、元のFOV内の各RGBトリプレットから計算することができる消散係数モデルは受け入れられる平均測定値の当たりでわずかに変動することが実証されている。したがって、色素混合物が存在する場合に、色素混合物の複数の解を事実上受け入れることができる、または受け入れ可能である。異なる雑音源が、このようなRGBのひずみに関与していることがある。たとえば、3CCDカメラの代わりにCMOSカメラで画像を収集することが、1つの要因となることがある。
【0116】
これらのひずみを補償するために、所与のRGBトリプレットおよび所与の複数色素モデルについての色素それぞれの寄与率の解を、わずかに異なるやり方で計算する。より詳細には、調査中のRGBトリプレットを、所与の半径rを有するRGB空間における球の中心と見なす。この球内のすべてのトリプレットをそれらの色素寄与率の解について調査し、これらの解を、色素組合せモデルを満たすRGBトリプレットすべてについて色素ごとに平均する。どのRGBトリプレットも色素組合せモデルに属さない場合には、色素組合せモデルに最も近い球内のRGBトリプレットを最も可能性のある候補解として保持する。
【0117】
動的手順
従来から、定量的顕微鏡法のアプリケーションで使用されるアルゴリズムまたは計算手順はすべて、ソフトウエアエンジニアによって実行されるまたはシステムに組み込まれる。たとえば、各ソフトウエアリリースには通常限定された一組のアルゴリズムが含まれ、この一組のアルゴリズムは、ソフトウエアの修正(「ソフトウエアのアップグレード」)なしでは変更することができない。
【0118】
たとえば、あるアプリケーションは、スライド上の細胞の総数に対する、細胞核にあるマーカ染色の平均光学密度(MOD)がしきい値を超える細胞数の比を計算することによって、スライド上の陽性細胞の百分率を計算することができる。従来のアプリケーションでは、しきい値が設定可能であることがあるが、比を計算するために使用される式は固定されたままであり、このアプリケーションは、一定のしきい値を超える細胞の数を細胞総数と常に比較することになる。たとえある手順またはアルゴリズムにより、他の抽出された特徴に基づいてしきい値が変動することが可能となる場合であっても、しきい値を決定するために使用される式はやはり固定されている。
【0119】
したがって、本発明の別の態様は、それによりアルゴリズムまたは手順が動的になる(すなわち、ユーザによって入力された式に基づいて結果を出す)ように構成される方法論を含む。すなわち、直接ソフトウエアに符号化されるアルゴリズムまたは手順の代わりに、ソフトウエアが、実際の解析ランタイムで使用しようとする式を評価することができる。より詳細には、このような動的アルゴリズムを実行する定量的顕微鏡法のアプリケーションが、スライドレベル、TMAのコアレベル、視野レベルおよび細胞レベルを含むいくつかのレベルで一般的な一組の特徴をまず計算する、またはそうでなければ決定する。次いで、このような一般的な特徴をエイリアシングすることができ、したがって異なる「変数」を定義することができる。これらの変数は、たとえば標準的な数学演算を用いて様々な形で互いに組み合わせて、より高レベルの特徴を形成するまたは機能を定義することができる。たとえば、解析ランタイムで、アプリケーションがエイリアシングした特徴および適用可能な式のリストをロードする。ある式が解析で必要とされる場合には、その式を動的に評価し、必要に応じエイリアシングした特徴を使用して式を変更する。式が頻繁に再計算される、または十分に複雑である場合、このような式またはその一部を事前コンパイルして実行を加速することができる。
【0120】
したがって、このような方法により、アプリケーションによって実行されるアルゴリズムまたは手順一式を、ソフトウエアの外部修正を何ら必要とすることなく現場でアップグレードする、追加するまたはそうでなければ修正することが可能となる。たとえば、アプリケーションによりユーザに柔軟性が提供される。というのは、複雑な外部ソフトウエアの開発を何ら必要とすることなく必要に応じてかつ/または要望どおりに新たな機能を創出することができるからである。このような機能は、たとえば、スライド、コア、視野または細胞についての数値スコアを生成することができる。加えて、または代わりに、このような機能はフィルタリングの能力を提供することもできる。このような機能の用途の例として、ユーザは、上述のように陽性百分率を計算する機能を定義することができ、この動的な式を使用して、表示が「陽性の」細胞、視野またはコアを強調表示することを可能にする機能を定義することもできる。このような動的な式を使用して、たとえば、期待される正常値範囲、すなわち「0」、「1+」、「2+」等など瓶と名づけられた範囲を定義することもできる。
【0121】
本明細書中に記載されている本発明の多くの変形形態および他の諸実施形態は、これらの発明が属する技術分野において、前述の説明および関連する図面に提示されている教示を利用できる当業者に発想をもたらすことになろう。したがって、本発明は開示されている特定の諸実施形態に限定されるものではなく、また変形形態および他の実施形態が添付の特許請求の範囲内に含まれることを意図していることを理解されたい。本明細書において特定の用語が採用されているが、これらの用語は一般的かつ説明的な意味でのみ使用されており、限定を目的としてはいない。
【図面の簡単な説明】
【0122】
【図1】試料の電子染色された一連の画像を模式的に示す図であり、細胞核に示すように、最適なマーカ強度を決定するために試料を染色する色素のうちの1つの透過率を変え、病理学者による形態学的な読取りおよびマーカ発現に基づく細胞の陽性決定を共に可能にする図である。
【図2A】本発明の一態様による自動的に選択された関心領域の一部の例を示す図である。
【図2B】本発明の一態様による自動的に選択された関心領域の一部の例を示す図である。
【図3A1】本発明の一態様による自動的に選択された関心領域および後の細胞内セグメンテーションの例を示す図である。
【図3A2】本発明の一態様による自動的に選択された関心領域および後の細胞内セグメンテーションの例を示す図である。
【図3B1】本発明の一態様による自動的に選択された関心領域および後の細胞内セグメンテーションの例を示す図である。
【図3B2】本発明の一態様による自動的に選択された関心領域および後の細胞内セグメンテーションの例を示す図である。
【図4】本発明の一態様による細胞スコアリングの方法を模式的示す図である。
【図5A】本発明の一態様による時間積分手法を用いて高色素濃度を含む試料を解析する方法を示す図である。
【図5B】本発明の一態様による時間積分手法を用いて高色素濃度を含む試料を解析する方法を示す図である。
【図6A】本発明の一態様による4色素色原体分離手順について、試料を染色するための4種類の色素の各々に関するデータを示す図である。
【図6B】本発明の一態様による4色素色原体分離手順について、試料を染色するための4種類の色素の各々に関するデータを示す図である。
【図6C】本発明の一態様による4色素色原体分離手順について、試料を染色するための4種類の色素の各々に関するデータを示す図である。
【図6D】本発明の一態様による4色素色原体分離手順について、試料を染色するための4種類の色素の各々に関するデータを示す図である。
【図7A】本発明の一態様による、マックスウエル等価消散係数平面内に示される図6A〜図6Dの4種類の色素およびそれらの受け入れられる2つの3色素構成をそれぞれ模式的に示す図である。
【図7B1】本発明の一態様による、マックスウエル等価消散係数平面内に示される図6A〜図6Dの4種類の色素およびそれらの受け入れられる2つの3色素構成をそれぞれ模式的に示す図である。
【図7B2】本発明の一態様による、マックスウエル等価消散係数平面内に示される図6A〜図6Dの4種類の色素およびそれらの受け入れられる2つの3色素構成をそれぞれ模式的に示す図である。
【図8A】図6の4種類の色素で染色された修正PAP視野を示す図である。
【図8B】拡張された色原体分離を用いて、他の色素から切り離して4種類の色素各々についての図8Aの修正PAP視野を示す図である。
【図8C】拡張された色原体分離を用いて、他の色素から切り離して4種類の色素各々についての図8Aの修正PAP視野を示す図である。
【図8D】拡張された色原体分離を用いて、他の色素から切り離して4種類の色素各々についての図8Aの修正PAP視野を示す図である。
【図8E】拡張された色原体分離を用いて、他の色素から切り離して4種類の色素各々についての図8Aの修正PAP視野を示す図である。
【図9A】試料の元の(RGB)視野を示す図である。
【図9B】4種類の色素成分のうち2種類についての電子染色したシミュレーション試料を示す図である。
【図9C】DABを除くすべての色素成分で再構成した試料の、電子染色したPAPのみのシミュレーション画像を示す図である。
【技術分野】
【0001】
本発明は画像解析に関し、特に、細胞生物学および細胞病理学用途における定量的ビデオ顕微鏡技法に関連する、色原体分離に基づく画像解析の方法に関する。
【背景技術】
【0002】
組織の評価および解析は、病理学の領域である。最近では、方法論的開発および技術的開発により、デジタル画像解析が、高精度で画像を解釈する際の病理学者の助けとなる最も効率的なツールの1つとなっている。このような画像解析技術は、正確で再現可能な客観性のある細胞解析を細胞学者に提供するために大いに貢献するが、組織学的解釈の技法は、依然として標本の主観的解析に依存する傾向にある。このような組織学的解釈の技法では、観察者内(intra−observer)ならびに観察者間(inter−observer)の一致度が変化することもあり、これによりさらに、正確さがより低く、再現可能性がより低く、かつ客観性がより低い結果がもたらされる傾向がある。このような理由により、組織の画像解析は当初、細胞学的標本の解析のために開発された技術に限られていた。
【0003】
高性能コンピュータの進化および入手可能性、ローカルエリア通信および広域通信、費用効果の高いデータベースソリューション、ストレージ技術の向上、ならびに費用効果の高い高解像度デジタルカメラおよび/またはスキャナにより、状況は今や変化した。CPU出力の不足により以前は有効ではなかったより高度なアルゴリズムは、今まで日常的な環境における組織切片には適用することができなかった。しかしながら、今はこのようなアルゴリズムを使用して、マーカ定量化および細胞内局在に関連する組織特有の特徴を評価し定量化することができる。同時に、組織切片の再現可能でより標準化された視覚的評価のためのより包括的なサポートが、画像解析における最初のステップ、すなわち、デジタル画像の作成および管理に基づいて利用可能となっている。このことは、品質管理、品質保証および標準化の分野で特に当てはまる。難しい症例のデジタル画像をテレパソロジーにより参考の病理学者と交換して、セカンドオピニオンを得ることができる。このような画像は、熟達度試験に効果的に使用することもできる。デジタル画像は、ネットワークを介してアクセスすることができる強力な画像リファレンスデータベースの基礎にもなり、症例および評価結果の文書化において、特に包括的な電子または印刷報告書においてますます重要な役割を担う。
【0004】
組織スライドを用意したら、病理学者は組織標本を顕微鏡で視診する。このスライドに対して画像解析を適用すべき場合には、顕微鏡は、インターフェースを介してコンピュータシステムに接続されるカメラまたは他の画像取込み装置を少なくとも備えていなければならない。カメラは、顕微鏡を介して組織試料の光学顕微鏡画像をサンプリングする。結果として、デジタル画像はコンピュータのメモリに収集され、またコンピュータのモニタに表示することができる。しかしながら、これらのデジタル画像の収集は、視像の重要な詳細が格納されたデータによってやはり正しく表されるように行わなければならない。
【0005】
一般に、デジタル化画像の定量的評価のための次のステップは、セグメンテーションであり、このセグメンテーションは、時として追加の中間前処理ステップを含む。セグメンテーション時には、細胞を互いに、また画像背景から分離する。場合によっては、アルゴリズムの進歩により、細胞を細胞内成分レベル(すなわち、細胞核、細胞質および細胞膜)にまでセグメンテーションすることが可能となっている。これは容易な仕事のように見えるかもしれないが、セグメンテーションは多くの場合、画像解析における困難でエラーが起こりやすいステップである。細胞がうまく分離され、デジタル化画像に良好なコントラストが生じるようなやり方で染色されたスライドでは、多くの場合セグメンテーションを極めて確実に行うことができる。しかしながら、上記条件が1つでも満たされないとすぐに、細胞およびそれらの互いの関係についての、あるいはマーカおよび対比染色の細胞内局在についての追加の演繹的知識を用いた非常に高度で時間のかかるセグメンテーションアルゴリズムを適用しなければならない。たとえば、細胞の大部分がもはやスライド上でうまく分離されず、互いに接触し重なり合っている傾向にある湿潤腫瘍の組織切片の例がこの例である。
【0006】
マーカに基づくアルゴリズムを用いると、関心領域に自動的に境界線を引くこと、また病理学者に、提示された領域が十分であるかまたは手動で精密化される必要があるかどうかを、病理学者自身の主観的な専門知識を用いて決定させることが可能である。画像の意味のある領域が決定されると、特徴抽出が行われる。各細胞(およびその細胞内成分)について、濃度特徴、形態学的特徴、テクスチャ特徴および状況的特徴の一式を、個々の細胞およびそれらの相互作用を可能な限り包括的に特徴付けることを目標に測定することができる。
【0007】
最後のステップは、生データの提示ならびに意味のある結果および/またはスコアへの生データ編集である。画像解析システムの得られる出力は、一貫性が促進されて容易に適用化能となるまたは日常的な使用において解釈することができるように、病理学者によってすでに使用されている視覚的および/または半定量的格付け(grading)システムの形式に望ましくは適合させるべきである。
【0008】
画像解析による組織試料の評価のためのプラットフォームは、汎用画像解析器から、日常業務用に構成されている特殊化した専用の「病理学用ワークステーション」へとますます移行しつつある。このようなワークステーションでは、可能な限り最善の結果が得られるように、必要な情報を病理学者に提供するために必要とされるツールを組み合わせる。このようなワークステーションの中心となるのは顕微鏡であり、電動式ステージ、オートフォーカス装置、対物レンズ切換器および光強度調整装置を含むロボット部分を場合により備えている。高速自動焦点および高解像度画像の収集が可能なカメラなど異なる入力装置が、ワークステーションに接続されている。このワークステーションは、ローカルエリアネットワーク(LAN)の一部であってもよい。このワークステーションは、利用可能な通信チャネルを使用してワークステーションを世界の他の場所と接続することができるように(ワイドエリアネットワークまたはWAN)、異なる通信プロトコルをサポートすることもできる。
【0009】
LANおよび/またはWAN内に統合されると、ワークステーションは既存の参考データベースおよび病院情報システム(HIS)へのアクセスを認められ、検査すべき任意の新たな症例を、時間をかけて蓄積されてきた参考症例の画像および付随情報と比較することができるようになる。加えて、検討中のスライドから取得した画像を、患者病歴で補完することもできる。
【0010】
この病理学用ワークステーションは、好ましくは包括的な組織評価に適している。最初の組織試料の情報およびデジタル画像をはじめとして、組織から作成したスライドの画像を取り込むことができる。患者および症例の情報、画像自体、および組織試料の細胞成分についての任意の定量的情報はすべて、同じデータベースに保存することができる。
【0011】
画像、測定結果、患者データ、調製データなど、ある症例についてのワークステーションによって蓄積された情報はすべて、ネットワークを介して印刷することができるまたは電子署名することができる報告書の一部となるように選択することができる。この報告書により、評価段階にある症例の包括的画像が提供され、品質保証および標準化が容易になる。
【0012】
取り込んだ画像の前処理/セグメンテーション時に、画像解析向けに、特に、細胞生物学および細胞病理学用途の分野における定量的なビデオ顕微鏡法のために、カラーカメラ(すなわち、RGBの3CCDカメラ)に適合しているマルチスペクトル画像化を用いることによって多くの異なる技法/アルゴリズムを実行することができる。
【0013】
細胞生物学および細胞病理学では、特に、遺伝物質(遺伝子、メッセンジャーRNA)、またはこの遺伝情報のタンパク質の形での発現、たとえば、遺伝子増幅、遺伝子欠失、遺伝子突然変異、メッセンジャーRNA分子の数またはタンパク質発現解析における検出および定量化のためには、顕微鏡画像の有効な解析が不可欠である。細胞は通常、同じ遺伝子の別名対立遺伝子として知られている2つのコピーを含むが、遺伝子増幅とは、1つの細胞内に同じ遺伝子の多過ぎるコピーが存在することである。遺伝子欠失は、細胞内で遺伝子のコピーを2つ未満しか見つけることができないことを示す。遺伝子突然変異は、不完全なまたは機能しない遺伝子の存在を示す。メッセンジャーRNA(mRNA)は、遺伝子を読むことで合成される遺伝子情報分子であり、タンパク質合成用テンプレートとして働く。タンパク質発現とは、細胞による所与のタンパク質の生成である。このタンパク質についての遺伝子コード化を上方に調整する、あるいは遺伝子またはmRNAの多過ぎるコピーが存在する場合には、タンパク質が過剰に発現することがある。遺伝子を下方に調整するまたは削除する場合には、タンパク質発現レベルが低いまたはないことがある。
【0014】
正常な細胞挙動は、多くのタンパク質、mRNAおよび遺伝子を含む分子機構によって正確に制御される。遺伝子増幅、遺伝子欠失および遺伝子突然変異は、異常なタンパク質発現による異常な細胞挙動において主要な役割を担うことが知られている。関心のある細胞挙動の範囲には、多様な挙動、たとえば、増殖または分化調節が含まれる。したがって、有用なリサーチ、診断および予後診断ツールを容易にするためには、遺伝子増幅、遺伝子欠失および遺伝子突然変異、mRNAレベルまたはタンパク質発現解析の有効な検出および定量化が必要である。
【0015】
遺伝子増幅、遺伝子欠失および遺伝子突然変異、mRNAレベルまたはタンパク質発現解析の検出および定量化専用の実験技法が数多くある。たとえば、このような技法には、ウエスタン、ノーザンおよびサザンブロット、ポリメラーゼ連鎖反応(「PCR」)、酵素免疫測定(「ELISA」)および比較ゲノムハイブリダイゼーション(「CGH」)技法が含まれる。しかしながら、顕微鏡法は、情報を与える技法であるため日常的に利用され、それにより比較的低コストで実施することができる細胞および細胞内レベルでの迅速な調査が可能となる。
【0016】
顕微鏡法が選択した実験技法である場合、生体試料は通常、まず特異的な検出および解明のために調製される。試料が調製されると、人間の専門家が顕微鏡だけで、またはカメラおよびコンピュータと結合させた顕微鏡で試料を解析し、それにより、より標準化されていると共に定量的な研究が可能となる。顕微鏡は、完全自動解析用に構成することができ、電動式ステージおよびフォーカス、電動式対物レンズ切換器、自動光強度制御器等で自動化される。
【0017】
検出用試料の調製は、たとえばハイブリダイゼーションに基づく調製技法や免疫標識に基づく調製技法など、顕微イメージング解析に適した異なるタイプの調製技法を伴うことができる。このような検出技法は、たとえば蛍光に基づく技法や目に見える呈色反応に基づく技法など、適切な解明技法と合わせることができる。
【0018】
インサイチュハイブリダイゼーション(「ISH」)および蛍光インサイチュハイブリダイゼーション(「FISH」)は、たとえば、遺伝情報の増幅および突然変異についての解析の検出および定量化に使用される検出および解明技法である。ISHもFISHも共に、組織学的または細胞学的試料に適用することができる。これらの技法では、対応する正確な配列を認識するために、特定の相補的プローブを使用する。使用する技法に応じて、特定のプローブは化学的(ISH)マーカまたは蛍光(FISH)マーカを含むことができ、その場合試料は、それぞれ透過型顕微鏡または蛍光顕微鏡を用いて解析される。化学的マーカを使用するか蛍光マーカを使用するかはユーザの目標次第であり、各タイプのマーカが特定の例において他方に勝る対応する利点を有する。
【0019】
タンパク質発現解析の場合、たとえば、さらに免疫組織化学(「IHC」)および免疫細胞化学(「ICC」)技法を使用することができる。IHCは組織切片への免疫化学の適用であるのに対して、ICCは特定の細胞学的調製、たとえば、液体をベースとする調製を施した後の培養細胞または組織インプリントへの免疫化学の適用である。免疫化学は、特定の抗体の使用に基づく技法群であり、抗体を使用して細胞の内部また表面の分子を明確に標的にする。抗体は通常、生化学反応を受け、それにより標的分子に遭遇すると変色することになるマーカを含む。場合によっては、信号増幅を特定のプロトコルに統合することができ、マーカ色素を含む二次抗体が特定のモノクローナル一次抗体の適用に続く。
【0020】
ハイブリダイゼーションの研究においても免疫標識の研究においても、異なる色の色原体を使用して異なるマーカを区別する。これらのマーカは細胞成分に特有であってもよいため、この演繹的知識を使用して自動的に細胞をセグメンテーションする(すなわち、細胞核マスクを細胞質マスクおよび/または細胞膜マスクから分離する)ことができる。全般に、「比色」アルゴリズムは、特定の症例の診断および/または予後診断を容易にするために試料情報を提供することを目標とする。例としては、胸部のER、PRおよびHER2タンパク質発現レベルの検出および定量化を、免疫組織化学(IHC)技法に適用される定量的顕微鏡法アルゴリズムを用いて提供することができる。
【発明の開示】
【発明が解決しようとする課題】
【0021】
しかしながら、このような画像解析技術の点から見て、病理学者が適切な診断および/または予後診断を下すことを可能にするために正確で有用な情報を病理学者に提供しながらこのような解析における柔軟性を容易にする改善が必要である。
【課題を解決するための手段】
【0022】
上記および他の必要は本発明によって満たされる。本発明は一実施形態において、顕微鏡像用に試料を染色する方法を提供し、それにより染色された試料の画像は、病理学者による診断用に細胞内成分間で最適なコントラストを示すように構成される。このような方法は、試料を色素で染色すること、試料の顕微鏡像から色素の透過率値を決定すること、色素の決定済み透過率値から試料の人工画像を形成すること、一連の人工画像を形成するために色素の透過率値を変えること、この一連の画像から1つの画像を選択し、色素について細胞内成分間の最適なコントラストを示し、上記1つの画像における色素の対応する透過率値を決定すること、および細胞内成分間の最適なコントラストに対応する色素の透過率値を有する染色された試料を提供するために、色素による試料の染色を変えることを含む。
【0023】
本発明の別の態様は、試料を人工的に染色する方法を含む。このような方法は、試料を第1の色素で染色すること、試料の顕微鏡像から第1の色素の透過率値および消散係数を決定すること、第1の色素の決定済み透過率値から試料の人工画像を形成すること、および試料を第2の色素で人工的に染色するために、第1の色素の消散係数を第2の色素の消散係数に置換することを含む。
【0024】
本発明のさらに別の態様は、試料の測定値をその画像から得る方法を含む。このような方法は、試料中の関心領域をそのRGB画像から選択すること、RGB画像中の関心領域をセグメンテーションして、その中の任意の関心対象を識別すること、識別された関心対象の測定値を決定するために特徴抽出を実行すること、ならびにマーカ局在化および信号対雑音比の少なくとも一方に対して細胞スコアを決定することを含む。
【0025】
本発明のさらなる態様は、スライド上の関心領域を選択する方法を含み、この領域は、試料のRGB画像に対応するマーカのみの画像においてその周囲から正に対比され、正に対比された領域は、周囲よりも比較的大きい核および比較的高い細胞密度の少なくとも一方を含む。このような方法は、試料のRGB画像の色原体分離により得られる試料のマーカのみの画像にローパスフィルタを適用すること、マーカのみの画像中の画素のマーカのみのヒストグラムを決定すること、および試料の負の領域と正の領域とを区別するためのマスクを形成するために、マーカのみのヒストグラムにおけるしきい値に従ってマーカのみの画像を2値化することを含む。
【0026】
本発明の別の態様は、試料をその画像からセグメンテーションする方法を含む。このような方法は、しきい値化プロセスにより試料のRGB画像の背景成分を決定すること、細胞膜、細胞質および細胞核のうち少なくとも1つの成分画像を作成することによって画像をセグメンテーションすること、セグメンテーションされた画像を精密化すること、および画像からどんな不要な対象もフィルタリングすることを含む。
【0027】
本発明のさらに別の態様は、低ビット解像度画像装置により得られる画像から、試料を染色する少なくとも1種類の色素の高色素濃度についての光学密度データを決定する方法を含む。このような方法は、異なる積分時間で試料の一連の画像を取り込むこと、画像装置の赤、緑および青チャネルの各々における最高不飽和強度を選択すること、ならびに試料の最適化画像を、最適化画像が色原体分離に適切なものとなるように赤、緑および青チャネルにおける最高不飽和強度レベルを用いて再構築することを含む。
【0028】
本発明の別の態様は、3チャネル画像装置により得られる、4種類の色素で染色された生体試料の画像についての色原体分離方法を含む。このような方法は、生体試料内に空間的に配置された4種類の色素からなる演繹的に公知の重要な3種類の色素の組合せを定義すること、赤、緑および青チャネルを有する画像装置により4種類の色素で染色された試料の画像を得ることにより、対応するRGBトリプレットを各々が有する複数の画素を画像が含むようにすること、Ecr+Ecg+Ecb=1である消散係数平面上に各RGBトリプレットを投影すること、各RGBトリプレットに対応する消散係数平面における4種類の色素からなる3種類の色素の組合せを決定すること、ならびに消散係数平面における各3種類の色素の組合せに対応する画像中の画素の量を一覧表にすることによって、試料の画像を分離することを含む。
【0029】
したがって、本発明の諸実施形態は本明細書中に特定されている必要を満たし、本明細書中にさらに詳しく述べられている重大な利点を提供する。
【0030】
このように本発明を概括的に説明してきたが、これから添付の図面について言及する。これらの図面は、必ずしも原寸に比例して描かれてはいない。
【発明を実施するための最良の形態】
【0031】
これから本発明を、添付の図面を参照して以下により十分に説明する。図面には、本発明のすべてではないが一部の諸実施形態が示してある。実際には、これらの発明を多くの異なる形態で具体化することができ、本明細書中に記載されている諸実施形態に限定されると解釈すべきではない。正しくは、これらの諸実施形態は、本開示が適用可能な法的要件を満たすように提供される。同じ番号は、本願を通して同じ要素を指す。
【0032】
顕微イメージングプラットフォーム
画像収集および画像処理用の典型的な顕微鏡装置では、試料の拡大像をカメラでまず取り込み、デジタル化しなければならない。一般に、電荷結合素子(CCD)デジタルカメラが、定量的な光学または蛍光顕微鏡法で使用されている。分光光度計を除いて、2つの異なる技法が通常、このような顕微鏡による比色研究を行うために使用される。一方の技法では、白黒(BW)CCDカメラを使用することができる。このような例では、解析しようとする試料の染色に特有の波長を有する単色光に対応する試料の階調画像が得られる。光の特定波長は、手動制御または電子制御を用いて、特定の狭帯域幅フィルタにより白色光源をフィルタリングすることによって、あるいは光源の波長を直接制御することによって得られる。したがって、この技法を用いると、色の数が増加するにつれて解析時間が増大する。というのは、異なる試料染色ごとにまたは異なる波長ごとに、光源またはフィルタを選択しなければならないからである。そのため、解析を容易にするためには、異なる波長での試料のスペクトル応答を示す試料の多くの異なる画像を、順次個別に取り込まなければならない。複数の情景または視野を解析しなければならない場合、典型的なプロトコルは、処理時間を保存するためにバッチモードにおけるシーケンスを自動化することである。
【0033】
第2の技法によれば、カラーCCDデジタルカメラが使用され、試料の3枚の階調画像が同時に取り込まれ得られる。各階調画像は、カラーCCDカメラの赤、緑および青チャネル(RGB)各々における階調画像に対応する。試料の3枚の階調画像が同時に取り込まれ得られる(各階調画像が、赤、緑および青チャネル(RGB)各々における階調画像に対応する)カラーCCDデジタルカメラを使用する場合、色原体分離技法を適用することができる。この技法により、各分子種(それらの関連する色原体または色素によって明らかとなる)の光学密度を画像(画素)の任意の位置で評価することが可能となることがある。生体試料については、マーカおよび対比染色が通常、検出し定量化すべき色素を示す。
【0034】
(たとえば、Lumiere TechnologyによるJUMBOSCANマルチスペクトルカメラを使用する)もたらされた第3の技法によれば、試料の階調画像を最大13枚同時に取り込み得ることができる。このタイプのカメラ/スキャナは、所与の試料に対して同時に溶解させることができる色素の数を増やすことによって、将来色原体分離技法の可能性を増大させることができる。
【0035】
それとは関係なく、分子種の濃度は試料のカラー画像から決定することができ、このカラー画像は3つ以上のチャネルを含む。3CCDカメラを備えたビデオ顕微鏡システムでは、画像を望ましくは、空視野白基準(empty field white reference)および黒視野像(black field image)に従って均衡化し正規化すべきであり、次いでシェーディング補正すべきである。さらに、この画像を望ましくは、チャネルごとに色収差について空間的に補正すべきである。次いで、測定した透過光から、画像中の特定の画素で、RGB画像の赤、緑および青チャネルの各々における試料の光学密度を計算することができる。その後対応する光学密度ベクトルが、その画素について形成される。次いでこの光学密度ベクトルに、各色素からの光学密度寄与率画素についての合成ベクトルを形成するために、試料中に存在する色素の相対吸収係数行列の逆数を乗じる。この相対吸収係数行列は、赤、緑および青チャネルの各々における、試料調製プロトコルで使用する色素(マーカおよび対比染色)各々についての相対吸収係数を含む。したがって、合成ベクトルは、マーカによって示される、また対比染色によって示されるその画素についての分子種の濃度を含む。
【0036】
マルチスペクトル画像化技術としても知られているこのような画像化技術により、カラー画像化(RGBカメラ)に適応させた場合、試料の実時間(ビデオレート)処理(通常、フレーム当たり40ミリ秒)が可能となり、このことは相当の利点を提供する。実際には、速度の問題および実時間処理のために、あるいはRGBカメラを使用する場合には表示目的で、異なるチャネルを介しての収集を並行して行い、またルックアップテーブル(LUT)を生成することができる。このルックアップテーブルにより、関与している色素各々の事前計算した濃度および/または透過率にRGBカラー入力値がマッピングされる。
【0037】
このような技術は、たとえば、本発明の譲受人でもあるTripath Imaging,Inc.に譲渡された共にMarcelpoilらの米国公開特許公報第2003/0091221号(Method for quantitative video−microscopy and associated system and computer software program product)および米国公開特許公報第2003/0138140号(Method for quantitative video−microscopy and associated system and computer software program product)に、より詳細に論じられている。これらの公報の内容は、それら全体を本願に引用して援用する。
【0038】
ランベルト−ベールの法則
顕微イメージングプラットフォームは、ランベルト−ベールの法則に従って試料を解析するために構成される。ランベルト−ベールの法則は一般に、溶液中の分子の濃度(「分子種」または「試料」の濃度)とこの溶液を通して測定された光強度との間に観測することができる比例関係を表している。ランベルト−ベールの法則は通常以下の式で表される。
【0039】
[数1]
OD=ε・l・C (1)
ODは溶液の光学密度、εはモル吸光係数またはモル吸収係数と呼ばれる比例定数、lは試料の厚さ、Cは分子種の濃度である。吸収係数εは分子種に特有であり、通常L・mol−1・cm−1の単位で表される。
【0040】
ランベルト−ベールの法則によって定義される比例関係は、たとえば、試料を照射する単色光、試料中の低分子濃度、試料の蛍光性または光応答の不均一性が通常ないこと(無視できる蛍光および拡散)、試料の化学的な感光性の欠如を含むいくつかの条件下で実証されている。しかしながら、ランベルト−ベールの法則は、たとえば、顕微鏡下での試料の正確なケーラー照明など、追加の要件を有することがある。
【0041】
ケーラー照明は、ほとんどすべての最新式顕微鏡に提供されており、効果的なコントラスト制御を可能にしながら像平面内に均一な照明を提供する。ケーラー照明は通常、デンシトメトリー解析に欠かせない。正確なケーラー照明は、たとえば、顕微鏡用の2段階の照明系によって提供され、この照明系では、補助コンデンサによってサブステージコンデンサ(substage conndenser)の開口で光源が結像される。サブステージコンデンサは、対象上で補助コンデンサの像を形成する。各コンデンサにアイリス絞りを設置することもでき、第1のアイリスは照射しようとする対象の面積を制御し、第2のアイリスは照射ビームの開口数を変化させる。
【0042】
ランベルト−ベールの法則は、試料がいくつかの光吸収分子種、たとえば、それぞれ濃度がC1およびC2であるs1およびs2を含む場合に、厚さl(溶液中ではl1=l2=l)の試料のODを以下の式で表すことができるように加成性を有する。
【0043】
[数2]
OD=ε1・l1・C1+ε2・l2・C2 (2)
この状況は、たとえば、試料の「情景」または視野または一部が、関心のある分子種を標的にするためのマーカ色素と、試料の残りを染色するための対比染色とからなる2種類の色素で染色されている生物学的解析で起こることがある。
【0044】
色収差の補正
顕微鏡下で結像される所与の種の濃度を正確に測定するために、異なる波長で行われる光学密度の測定は、試料の同じ部分に対応すべきである。すなわち、色収差について系を物理的に補正することができ、またはそうでなければ、ソフトウエアなど別の方法論により補正を行うことができる。
【0045】
ガラスの自然分散能により、単体レンズが赤色光よりも短い距離で青色光の焦点を合わせる。すなわち、単体レンズは、異なる波長(異なる色)の光に対して異なる焦点距離を有する。2つの現象が直接の結果として起こる。
1)異なる波長の光についての縦軸に沿った焦点位置の差を、軸上色収差と呼ぶ。すなわち、所与の色(たとえば、緑)について像の焦点を合わせると、他の色に対応する画像はわずかに焦点がずれる傾向にある(この例では青および赤の焦点がずれているように見えることになる)。
2)異なる波長の光についての倍率(焦点距離)の差を、倍率色収差と呼ぶ。すなわち、青色の(短い)波長の像は、赤色の(長い)波長の像よりも大きく見えることになる。
【0046】
高品質対物レンズ(アポクロマート対物レンズ)を有する系では、色収差が補正される。色収差が構造的にうまく補正されない場合には、倍率色収差を補正するためのソフトウエアに基づく方法を以下のように実施することができる。
1)カメラチップの中心と比較して、対物レンズの中心の座標を決定し、
2)任意の選択波長(通常は中心波長、すなわち、RGBカメラを使用する場合には緑)と比較して、各波長について観測された拡大係数を評価し、
3)各画像を、その相対倍率および対物レンズの中心の座標に従ってリサンプリングする。
【0047】
色原体分離の実施
画像収集のために顕微鏡をケーラー照明モードに設定し、いずれの色収差にも対処するまたはアポクロマート対物レンズを使用すると、ランベルト−ベールの法則の加成性を使用して線形代数方程式を用いた色原体分離を実施することができる。
【0048】
より詳細には、ランベルト−ベールの法則の加成性を、たとえば別々の赤、緑および青チャネルを有するRGBカメラによって生成されるカラー画像環境などにおいて情景を解析する状況にまで拡張することもできる。このような例では、マーカ色素(すなわち「色素1」)は、赤、緑および青チャネルにおいて、それぞれ吸収係数ε1r、ε1gおよびε1bを示すはずである。赤、緑および青チャネル各々における画像の解析は、赤色スペクトルにわたって画像の赤色表示を解析すること、緑色スペクトルにわたって画像の緑色表示を解析すること、および青色スペクトルにわたって画像の青色表示を解析することを基本的に含むことに留意されたい。したがって、対比染色(すなわち「色素2」)は、赤、緑および青チャネルにおいて、それぞれ吸収係数ε2r、ε2gおよびε2bを示すはずである。そのため、ランベルト−ベールの法則の加成性に従って、RGB環境における試料の解析により、その光学密度についての3つの方程式の系がもたらされるはずである。
【0049】
[数3]
ODr=ε1r・l1・C1+ε2r・l2・C2 (3)
ODg=ε1g・l1・C1+ε2g・l2・C2 (4)
ODb=ε1b・l1・C1+ε2b・l2・C2 (5)
ODr、ODgおよびODbは、それぞれ赤、緑および青チャネルにおいて測定した試料の光学密度を示す。さらに、たとえば3種類の異なる色素で試料を処理するなど、試料調製の複雑さが増した場合には、方程式(3)、(4)および(5)は以下のようになる。
【0050】
[数4]
ODr=ε1r・l1・C1+ε2r・l2・C2+ε3r・l3・C3 (6)
ODg=ε1g・l1・C1+ε2g・l2・C2+ε3g・l3・C3 (7)
ODb=ε1b・l1・C1+ε2b・l2・C2+ε3b・l3・C3 (8)
【0051】
このような状況においては、3種類の色素は、たとえば、1種類のマーカ色素および2種類の対比染色を、あるいは2種類のマーカ色素および1種類の対比染色を、あるいは3種類の別々のマーカ色素でさえ含むことができる。ランベルト−ベールの法則のこの特性は、さらにより多くの色素の組合せを含むように拡張することもできる。しかしながら、本明細書中に記載の色原体分離手順は、生物学的マーカのマルチスペクトル画像化のために、たとえば3CCDのRGBカメラなど3つのチャネルを有する高速カラー画像取込み装置を利用することに焦点を当てている。したがって、3つの別個の情報チャネル(R、G、B)であるため、たった3つの方程式をどこででも使用することができる。
【0052】
ランベルト−ベールの法則をデジタル顕微鏡システムに適用する際、試料の厚さlを測定することは困難で手間がかかる、不正確である、あるいは時として不可能である。したがって、分子種の濃度Cを、lとCとの積(l・C)として拡張し検討することができ、それに応じて結果を処理することができる。たとえば、特定の試料においてある色素の濃度を別の色素の濃度と比較する場合、試料の厚さの項は両方の濃度に共通であり、したがって試料の厚さを正確な絶対値として決定することはそれほど重要にはならない。そのため、通常厚さを正確に決定する必要はなく、一定であると仮定するため、本明細書中に開示されている解析では一般に無視できることが理解されよう。
【0053】
デジタル顕微鏡システムへのランベルト−ベールの法則の適用により、ランベルト−ベールの法則を試料のデジタル画像について以下のように表すことができることも認識される。
【0054】
[数5]
OD(x,y)=log I0(x,y)−log I(x,y) (9)
式中、(x,y)は画像中の特定の画素を示し、OD(x,y)はその画素での試料の光学密度であり、I(x,y)はその画素での試料の測定光強度または測定光透過率であり、I0(x,y)は光吸収試料なしで測定した光源の光強度である。したがって、
【数6】
式中、IODは、試料のデジタル画像の積分光学密度であり、Nは試料の表面画像中のピクセル数である。光強度の相対比較を行う場合には、比例定数を適宜考慮することができる。さらに、ランベルト−ベールの法則に従った定量的な顕微鏡法では、試料の光学密度ODと色素濃度との間の比例関係が保たれる。
【0055】
したがって、デジタル顕微鏡システムによって試験する調製試料について、適切な関係は以下のように表される。
【0056】
[数7]
ln I0−ln I=ln I0/I=OD=ε・l・C (11)
たとえば、8ビットのRGBカメラをこのシステムで使用する場合、試料を透過する光強度は、0と255との間の28(=256)個の値で表されることになる。たとえば、透過率100%に相当する光源の初期強度I0は、赤、緑および青チャネルの各々において、255(可能な最も明るい値を示す)に近い値で表されることになる。実際には、試料がない場合の透過率100%に相当する純粋な「白色」光が、赤、緑および青チャネルの各々において255に近い強度値を有するように、一方光がない場合には、透過率0%に相当する「黒画像」が赤、緑および青チャネルの各々において0に近い強度値を有するように、作業者がカメラフレームグラバ(camera frame grabber)/光源を調節する。したがって、任意の画素において、透過率100%、すなわちI0は、赤、緑および青チャネルの各々について、光源の存在下でカメラによって測定した値から光源がない場合にカメラによって測定した値を引いた差として表される。光源の強度は測定した視野にわたって空間的に異なることがあるため、また光学系が不均一に光を吸収することがあるため、透過率100%は測定した視野にわたって異なるダイナミックレンジに相当することがある。試料のODは、試料がない場合の透過率(I0)と試料の存在下の透過率(I)との比の対数として表され(11)、したがって、大部分は透過率100%で測定した実際のダイナミックレンジの小さな変動とは空間的には無関係である。
【0057】
光源の強度は時間が経ってもほぼ一定のままである、または容易に再評価することができるため、任意の画素における光強度の読取り値を、赤、緑および青チャネルの各々についての画素位置における相対透過率の測定値に換算することができる。I0およびIがわかると、対応するODを計算することができる。
【0058】
固有の色素が存在する視野上の任意の位置(唯一の吸収材料)により、色素の相対消散係数を異なるRGBチャネルについて測定することが可能となる。方程式(1)において、l・Cは、所与の位置でRGBチャネル各々について等しいため、この特定の位置でのlおよびCが共に既知である場合には、正確な消散係数をOD/(l・C)として計算することができる。したがって、赤、緑および青チャネルの各々における吸収係数εを、結果的に以下のように抽出することができる。
【0059】
[数8]
εr=ODr/(l・C)=(ln(I0r/Ir))/(l・C) (12)
εg=ODg/(l・C)=(ln(I0g/Ig))/(l・C) (13)
εb=ODb/(l・C)=(ln(I0b/Ib))/(l・C) (14)
残念なことに、(l・C)は通常未知であり、したがって消散係数εを、考慮するチャネルにおいて所与の画素で測定したODと、RGBチャネルのいずれかについてこの位置で測定した最大ODとの比として任意に計算する((l・C)に関する演繹的知識がない場合の赤、緑および青チャネルの各々における吸収係数εの決定は、lおよびCを任意に1に設定した場合に相対的な解を実現するための、一次方程式の操作の問題である)。
【0060】
[数9]
εr=ODr/l=ODr=ln(I0r/Ir) (13)
εg=ODg/l=ODg=ln(I0g/Ig) (14)
εb=ODb/l=ODb=ln(I0b/Ib) (15)
【0061】
したがって、色素の絶対濃度が未知のままである場合でも、(l・C)に等しい既知の絶対誤差要因を用いて、任意の画素における任意(または相対)色素濃度を計算することがやはり可能である。
【0062】
lは所与の画素位置で固有なものであり、任意に1に設定することができるため、C1、C2およびC3がlに関係する方程式6、7および8を以下のように書き換えることができる。
【0063】
[数10]
ODr=ε1r・C1+ε2r・C2+ε3r・C3 (16)
ODg=ε1g・C1+ε2g・C2+ε3g・C3 (17)
ODb=ε1b・C1+ε2b・C2+ε3b・C3 (18)
【0064】
異なる色素についての消散係数の値がすべて求められていて、かつ画像データの読取り値から光学密度が既知である場合、C1、C2およびC3を抽出するためにこれらの方程式を解くことは、一組の一次方程式を解くことを伴うだけである。
【0065】
線形代数方程式の解/行列
一組の線形代数方程式は、たとえば、以下のように現れる。 (19)
【数11】
ここでは、N個の未知数xj(j=1,2,…,N)が、M個の方程式によって関係付けられている。i=1,2,…,Mおよびj=1,2,…,Nである係数aijは、右辺の数bi(i=1,2,…,M)と同様に既知数である。
【0066】
M<Nである場合、事実上未知数より少ない方程式しか存在しない。この場合、解がないことも、または2つ以上の解ベクトルxが存在することもある。
【0067】
N=Mである場合、未知数と同じ数の方程式が存在し、一意解の集合xjが求められる可能性が高い。
【0068】
M>Nである場合、方程式が未知数よりも多く存在し、一般に方程式(1)の解ベクトルxはなく、これら一組の方程式は優決定であると言われる。このような場合、最も適切な解が、これらの方程式すべてに最も適合するもの(すなわち、再構成誤差の合計を最小限に抑える解)と一般に見なされることになる。
【0069】
したがって、方程式(19)を以下のように行列方式に書き換えることができる。
【0070】
[数12]
A・x=b (20)
ここで、(・)は行列乗算を示し、Aは係数の行列であり、bは列ベクトルとして書かれた右辺である。慣例により、要素aijに関する第1の指数はその行を示し、第2の指数はその列を示す。aiまたはa[i]は、行全体a[i][j](j=1,…,N)を示す。
【0071】
Aが係数の正方行列であり、かつbが既知の右辺ベクトルである行列方程式A・x=bの未知のベクトルxについての解には、行列Aの逆行列であるA−1の決定が通常必要となる。
【0072】
[数13]
x=A−1・b (21)
A−1は行列Aの逆行列である、すなわち、A・A−1=A−1・A=1であり、式中1は恒等行列である。ある特定の事例では、方程式が未知数よりも多く(または未知数と同数)存在する、M≧Nとなるように実験条件を設定する。M>Nとなる場合、一般に方程式(19)の解ベクトルxはなく、これら一組の方程式は優決定であると言われる。しかしながら、多くの場合、最良の「妥協」解は、すべての方程式を同時に満たすことに最も接近する解である。接近が最小二乗の意味で定義される(すなわち、方程式(19)の左辺と右辺との差の二乗和が最小化される)場合、優決定の線形問題は、線形最小二乗問題とも称される、特異値分解(SVD)を用いて解くことができる(通常)可解の線形問題に帰着する。SVDは、データのパラメトリックモデリングを含み、大部分の線形最小二乗問題を解くための1つの方法である(Cambridge University PressによるNUMERICAL RECIPES IN C:THE ART OF SCIENTIFIC COMPUTING(ISBN 0−521−43108−5)Copyright(C)1988−1992。Numerical Recipes SoftwareによるPrograms Copyright(C)1988−1992)。
【0073】
これらの概念を本事例に適用する際、異なる色素についての吸収係数εの行列の決定は、試料評価とは関係なく行うことができ、それぞれの色素のうち少なくとも1つで処理された試料へのさらなる適用のために保存する。可能な画素値すべてについて解を計算することにより、ほぼ実時間の処理が可能となる。8ビットの3CCDカラー画像収集装置を選択した例では、試料の測定光強度Iが、赤、緑および青チャネルの各々において0と255との限界間に及ぶため、可能な濃淡値(最初の光強度I0に対する)はすべて事前に計算し(8ビットのRGBシステムの場合2563)、たとえばコンピュータ内に保存することができる。したがって、特定の色素で染色した試料について、赤、緑および青チャネルの各々における画素での透過光強度I(または光学密度OD)を測定し、次いで、前もって保存した濃淡値およびその特定の色素についての吸収係数ε行列と比較して、それによりその画素での色素濃度C(または積l・Cとしてのその推定値)を決定することができる。この件について、[256(赤)×256(緑)×256(青)]=2563個の計算解が存在し、それにより色素の各々について16メガバイト(生データ)のルックアップテーブル(LUT)が生じる。チャネル当たり8ビットを超える濃淡値の解像度により、より大きなLUT(すなわち、チャネル当たり10ビットである場合、>1ギガバイト)がもたらされることになる。
【0074】
電子染色
本発明の一態様によれば、前もって試験した色素の任意の組合せにより生じる人工画像の階調またはRGB透過率値を生成することができる。というのは、もはや未知の変数はないからである。たとえば、特定の画素およびその解かれた色素濃度について、単一色素画像は以下の白黒(BW)またはRGB画素強度に対応するはずである。
【0075】
[数14]
ODBW=CおよびIBW=Exp(ln(I0)−ODBW) (22)
ODr=εr・CおよびIr=Exp(ln(I0)−ODr) (23)
ODg=εg・CおよびIg=Exp(ln(I0)−ODg) (24)
ODb=εb・CおよびIb=Exp(ln(I0)−ODb) (25)
【0076】
このプロセスを取り込んだデジタル画像の各画素に適用した場合、構成色素のいずれかの各寄与率のみを用いて同じ視野の人工画像を生成することができる。たとえば、ある色素の消散係数を別の色素の消散係数と交換した場合、所与のマーカのみに対応する同じ人工画像がどのように顕微鏡で見られるのかをシミュレートすることが、このマーカを明らかにするために使用する色素を二次色素に変更した場合に可能である。
【0077】
さらに、ランベルト−ベールの法則の加成性を用いると、図1に示すように、たとえば、絶対重み係数または相対重み係数を用いて各色素の相対寄与率を変更した人工画像を生成することも可能である(重み係数w1およびw2によって色素1と色素2の比率を変更した後でRGB画像を再構成した、2種類の色素で電子染色した(「e−stained」)画像についての方程式26〜28を参照のこと。
【0078】
【数15】
【0079】
より詳細には、図1はエストロゲン受容体(ER)の例、同じ細胞の一連の画像(約32%の所定透過率での原画像は、赤で囲んで示してある)を示し、これら一連の画像において、マーカ(Brown DAB)の量は、色原体分離後、ヘマトキシリン含有量を変更することなく透過率約22%から透過率約40%に電子的に(人工的に)変更されている。このようにして、これらの人工画像から、細胞内成分間の最適なコントラスト、ならびにマーカに特有の標的成分と標的ではない細胞内成分との間の最適なコントラストに対応する透過率値を提供するために必要な色素の量を決定することができる。
【0080】
測定戦略
本発明の別の態様によれば、測定戦略は、関心マーカのみを特異的に測定することを可能にすることから、セグメンテーションが最適化され対比された画像を生成することを可能にする電子染色(e−staining)能力までの多くの側面において、上述の色原体分離技法に基づき、また色原体分離技法を利用することができる。
【0081】
取得した画像から測定結果を得ることは、いくつかのステップ、1)関心領域(腫瘍領域)を選択すること、2)画像中の関心対象を識別するためのセグメンテーション、および3)識別された対象について様々な測定特徴を計算し、細胞スコアに、たとえばそれらのマーカ局在化および信号対雑音比に基づいて影響を与えるための特徴抽出を含む。
【0082】
1)関心領域の事前選択
病理学者の仕事量を低減するために、解析に使用する領域となる視野内の潜在的関心領域の輪郭を自動的に描写するための、事前選択方法論を開発した。したがって、この方法論においては、排除されたどんな部分も解析から除外される。このような事前選択方法論は通常、2つの演繹的因子を必要とする。
・関心領域は、マーカのみの画像を見たときに周囲から正に対比されている。
・癌は、たとえば、より大きな細胞核およびより高い細胞密度によって、間質細胞とは異なる上皮細胞を標的としている。
【0083】
したがって、RGB視野に適用される色原体分離技法により生じるマーカのみの画像に、大型ローパスフィルタを適用することができる。マーカのみのヒストグラムを測定し(輝度画像に基づき背景領域を避ける)、次いで、2つの階級(負の領域と正の領域と)を区別することができるヒストグラム中の最適しきい値に従って画像を2値化する。どんな小さな穴も埋めて最終的なマスクを平滑化する。図2Aおよび図2Bに示すように、病理学者による合否判定を可能にするために、元のRGB視野画像の上にこのマスクの輪郭を描く。より詳細には、本明細書中に開示されている事前選択方法論の一実施形態による関心領域の自動定義の、図2AがPSMB9の例を示し、図2BがHER2の例を示す。関心領域を自動的に計算し、またはそうでなければ決定し、最終的な精密化および/または承認のために病理学者に提示することができる。提案されたマスクを病理学者が拒絶した場合には、描画ツールにより病理学者が適切な関心領域を手動で選択することが可能となる。
【0084】
2)セグメンテーション戦略
セグメンテーション戦略は、以下のステップを含む。
・背景決定
・細胞成分画像作成
・細胞膜セグメンテーション*
・細胞核セグメンテーション
・細胞質セグメンテーション
・セグメンテーション精密化
・不要な対象のフィルタリング
*Her2など細胞膜マーカの場合には、細胞膜セグメンテーションという追加の特定ステップが行われる。
【0085】
このようなセグメンテーションの様々な例を、たとえば、それぞれ図3A1〜図3A2および図3B1〜3B2に示す。より詳細には、図3A1は、関心領域の自動定義のPSMB9(細胞質マーカ)の例を示し、その後、図3A2の細胞内セグメンテーションが続く。関心領域内では、自動的に定義された細胞がセグメンテーションされており、細胞核マスクが青色で現れ、細胞質の境界線が赤色で現れる一方、背景画素が黒色で示されるようになっている。図3B1は、関心領域の自動定義のHER2(細胞膜マーカ)の例を示し、その後図3B2の細胞内セグメンテーションが続く。自動的に定義された領域内では、細胞がセグメンテーションされており、細胞核マスクが青色で現れ、細胞質が緑色で現れる一方、背景画素が黒色で示されるようになっている。しかしながら、組織またはマーカの特異性にこのような一般的アルゴリズムを適合させるためには、追加の画像処理ステップまたは精密化が場合によっては必要とされることがあることが当業者には理解されよう。
【0086】
2a)背景決定
最初のセグメンテーションステップは、画像内容を前景と背景とに分割することである。イメージングプラットフォームは、明視野顕微鏡法を支持するように設計されているため、対象は明るい背景よりも暗く見えることになる。画像用の背景マスクを作成するために、画像を輝度画像に変換し、背景しきい値レベルを計算する。背景しきい値レベルを上回る輝度値を有する画素はすべて、背景に属すると見なされる。逆に、このしきい値未満の輝度を有するどんな画素も、以下のステップにおいてさらに処理しなければならない前景に属する。
【0087】
この背景しきい値レベルを決定することは、輝度画像を平滑化すること、および平滑化した画像のヒストグラムを計算することを含む。次いで、このヒストグラムをより大きい終点から走査して、極小をしきい値に使用する。この調査は、任意の透過率90%に到達する場合に限定され、この透過率は、8ビットの画像の場合には、230という値になる。
【0088】
2b)細胞成分画像作成
次のセグメンテーションステップでは、先に説明した色原体分離技法を用いて、細胞核および細胞質についての細胞成分画像を作成する。この分離を、特定の細胞成分に対する各色素の光学密度寄与率の仕様に従って開始する。次いで、それらの成分画像を、後の細胞核セグメンテーションステップおよび細胞質セグメンテーションステップ用の入力として使用する。これらの成分画像は電子染色能力に基づいており、標的細胞成分を隣接領域から最も良く対比させる画像を生成する。
【0089】
2c)細胞膜セグメンテーション
細胞膜セグメンテーションは、以下のステップを用いて行われる。
・背景ではない画像全体にわたる平均値を求める。
・画像中の任意の位置を、局所値がより明るい場合には、この平均値で埋める。
・大小の平滑化コンボリューションカーネル(convolution kernel)間の画像差分を生成することによって、細胞膜を見つける。
・測定した局所コントラストに基づき得られるコントラスト画像を2値化する。
・候補細胞膜マスクの骨格を抽出する。
・要求された最小限の長さよりも小さいどんな骨格断片も削除する。
・1つの画素によって任意の方向に細胞膜マスクの骨格を拡張し、骨格に該当する細胞膜マスクのみを保持する。
【0090】
細胞膜は一般に細胞核を互いに分離すると期待されるため、さらなる細胞核セグメンテーションを容易にするためにまず細胞膜セグメンテーションを行う。
【0091】
2d)細胞核セグメンテーション
細胞核セグメンテーションプロセスの始めに、細胞核成分画像の平均およびメジアン画素値を、共に背景マスクを考慮して計算する。それらの値のうち大きい方を使用して、この値での細胞核成分画像のしきい値化により最初の細胞核マスクを作成する。より低い値を有する画素だけがこの最初の細胞核マスク中に元の値で残るように、このしきい値よりも高い値を有するどんな画素も、このしきい値に設定する。細胞膜マスクが入手可能な場合には、細胞膜マスク内に含まれるどんな潜在的な細胞核マスク画素も削除する。
【0092】
次いで、予備的なまたは最初の細胞核マスクを、期待される細胞核寸法の1.5倍のカーネルでローパスして、流域変形(watershed transformation)または流域セグメンテーション手順用の最初の細胞核マスクを用意する。流域画像が集水域を有し、かつ最初の細胞核マスクがしきい値を下回る画素値を有するマスク画素のみが設定されるように、流域セグメンテーション手順の出力を最初の細胞核マスクと組み合わせる。次いで、得られる細胞核マスクを、期待される細胞核寸法の約5分の1未満の面積を有する穴を埋めること、および期待される細胞核寸法の約4分の1よりも小さい対象を取り除くことを含むクリーンアップステップによって仕上げる。
【0093】
2e)細胞質セグメンテーション
細胞質セグメンテーションプロセスでは、2方向の手法を使用して細胞質マスクを作成する。両方とも、出発点として前のステップで作成した細胞核マスクを使用する。まず、細胞核マスクを反転させ距離変換する。第1の潜在的な細胞質マスクを、期待される細胞寸法内にあるすべての画素が得られるマスクに含まれるように、距離変換の出力を2値化することによって作成する。次いで、前景のみをマスクするために、得られる第1の潜在的な細胞質マスクを背景マスクと組み合わせる。第2の潜在的な細胞質マスク向けに、細胞核マスクを再度反転させ、次いで流域変形する。次いで、第1および第2の潜在的な細胞質マスクの両マスクを組み合わせて、最終的な細胞質マスクを作成する。
【0094】
2f)セグメンテーション精密化
細胞核および細胞質セグメンテーションマスクを共に確立したら、組み合わせたマスクの知識を用いてそれらのマスクをさらに精密化する。細胞質マスクから始めて、細胞質マスク内のセグメンテーションされた各対象を識別し、標識画像と関連付ける。各対象は固有の画素値によって識別される。細胞質セグメンテーションにおける流域変形により、標識対象が互いに分離される。たとえば、標識対象を再結合するために、標識画像を一度拡張する。
【0095】
次いで、標識画像を使用して細胞核マスクを精密化する。すなわち、個々のしきい値を用いて各標識対象を2値化する。各標識対象について、プロセスは以下のとおりである。
・標識対象に属する各画素についてのヒストグラムを計算し、平均画素値を決定する。
・しきい値調査のために上方および下方境界を決定する。上方境界は、対象の面積の20%が累積されるまでヒストグラムを上限から積分することによって決定される。下方境界は、期待される細胞核寸法のやはり20%が累積されるまでヒストグラムを下限から積分することによって、同様にして決定される。
・下方境界が上方境界未満である場合には、これら境界間のヒストグラムにおける値域にフィッシャー判別分析を適用することによってしきい値を計算し、そうでなければ、しきい値は上方および下方境界との平均値である。
・決定したばかりのしきい値を用いて細胞核成分画像を2値化することによって、対象を細胞核マスクに描き直す。
【0096】
次に、期待される細胞核寸法の約5分の1よりも小さい面積を有する、細胞核マスク中の穴を埋める。不十分なセグメンテーションを避けるために、このマスクをまず距離変換し、次いで流域変形して、潜在的に融合している細胞核を切り離す。
【0097】
最後に、期待される細胞核寸法の約3分の1よりも小さいすべての対象を取り除くことによって、細胞核マスクをアーチファクト除去する。精密化された細胞核マスクが決定されると、細胞質セグメンテーション手順が繰り返され、精密化された細胞質マスクをもたらす。
【0098】
Her2neuのセグメンテーションでは、細胞膜と核膜との区別を容易にするために、細胞核マスクの約3個の画素内に位置するどんな細胞膜マスクも除去する細胞膜除去の追加ステップを行う。
【0099】
2g)不要な細胞のフィルタリング
セグメンテーション手順における最後の処理ステップは、不要な細胞のフィルタリングを含む。この手順では、精密化された細胞質マスクにおける各対象を標識する。また、収集したFOV画像を、マーカおよび対比染色についての色素画像に色原体分離する。識別された各対象については、境界矩形を決定し、一定の距離よりも任意の画像境界線の近くに対象が位置する場合には、画像境界線を越えて広がる細胞の処理を避けるためにその対象をもはや考慮せずに破棄する。細胞がこの判定基準に合格している場合には、デンシトメトリー、テクスチャ、形状、状況情報など、その重要な測定特徴を計算する。さらなる例(排他的)には、以下が含まれる。
・面積
・全周
・重心(CoG)
・最小OD
・平均OD
・最大OD
各特徴を、細胞核、細胞質および/または細胞全体について、ならびに輝度、マーカ色素および対比染色色素について計算する。
【0100】
平均ODから決定される平均透過率を用いて、別の合否判定基準を細胞に適用する。すなわち、細胞の平均透過率がセグメンテーション設定で特定したしきい値よりも高い場合には、その細胞はそれ以上考慮されず破棄される。
【0101】
3a)細胞のスコアリング
各細胞について評価した特徴に基づき、標的とする区画におけるマーカ強度およびその信号対雑音比に応じてその細胞にスコアを帰属させることができる。マーカに特有の標的区画の光学密度(強度)における細胞のマーカ量が隣接する区画における量よりもはるかに多い場合、その細胞は陽性であると見なされる。たとえば、マーカが細胞核マーカである場合には、コントラスト、すなわち信号対雑音比を、細胞核におけるマーカに特有の光学密度の測定値対細胞質にわたって測定した残りの光学密度から計算する。暗騒音(ダークノイズ)は定義により特定されていないため、全背景の平均光学密度は、選択した関心領域内の細胞の細胞質区画すべてにわたって測定する。
【0102】
[数16]
細胞核マーカ:
細胞SNR=細胞核MOD/細胞質MOD (28)
【0103】
病理学者のノウハウとの最適な相関を容易に得るために、細胞を陽性であると指定するために必要とされるコントラストを強くも弱くも適合させることができる。というのは、一部の病理学者は非常に濃い細胞核だけが陽性であると考え、一方他の病理学者はどんな薄い正の染色も陽性であると考えるからである。コントラストレベルに基づくこのような主観的な陽性決定は、考慮される特定の病理学の影響を受けることもある。
【0104】
以下の場合、細胞核マーカについて細胞は陽性である。
【0105】
[数17]
細胞核MOD>細胞質MOD+max[ε,k(1−細胞質MOD)] (29)
・ER(エストロゲン受容体)については、ε=0.02およびk=0.11であることがわかった。
・PR(プロゲステロン受容体)については、ε=0.02およびk=0.20であることがわかった。
【0106】
したがって、図4に示すように、曲線よりも下にある細胞はどれも陰性であり、そうでなければ陽性である。すなわち、図4は、細胞の陰性および陽性の状態をERおよびPRについて定義する、SNR−細胞核OD曲線を示している。このような細胞核マーカでは、信号対雑音比(SNR)が細胞質マーカODに対する細胞核ODの比として評価される。細胞が曲線よりも上(右上隅)にある場合、その細胞は陽性であると見なされ、そうでなければ陰性であると見なされる。一般に、細胞核の強度が強くなるほど、細胞を陽性であると判定するためにはSNRは小さくならなければならない(逆もまた同じ)。
【0107】
3b)全スコア
病理学者が診断/予後診断を確立するために要求する情報をある症例について反映するその症例には、全スコアを帰属させることができる。
【0108】
[数18]
全スコア=100*#陽性の細胞/#ROI中の細胞 (30)
【0109】
ERおよび/またはPR試験の場合、病理学者によって要求される全スコアは、腫瘍領域内の陽性の細胞の百分率である。したがって、病理学者が提案されている関心領域(自動的に提案されたまたは手動で描かれた)の診断/予後診断に自信があると、陽性とスコアリングされた細胞の百分率が報告される。
【0110】
積分概念
濃度が非常に高くカメラのビット限界が達成されている場合に異なる色素のOD寄与率をさらに調査するために、カメラの時間積分(シャッター速度)に基づく戦略を実行することができる。すなわち、同じ視野を同じカメラで撮像するが、異なる積分時間で撮像する。図5Aおよび図5Bに示すように、測定したODを積分時間で正規化し、各チャネルにおける最大積分時間に対応する不飽和測定値を保持する。より詳細には、図5Aは、最も暗い領域におけるビット解像度を向上させるために異なる積分時間(4000s−1〜250s−1)を用いて画像取込みを行った、高いマーカ強度を有する特定の細胞を示す。このような方法論によれば、細胞核(ヘマトキシリンのみ)における色原体分離された画像のピクセレーション(pixelation)は、適切なビット解像度を使用すると実質的に消失する。図5Bは、RGB透過光強度、ならびに図5Aに示す画像の最も暗い領域におけるビット解像度を向上させるために異なる積分時間(4000s−1〜250s−1)を用いて取り込んだある代表画素についての時間で正規化したOD値を示す。ビット解像度の向上は、飽和前に積分時間についてRGBチャネルの各々において選択されるRGB透過光強度の値に由来する。
【0111】
RGB入力を用いた3D限界の打破:4D色原体分離
4D色原体分離のためのこのような手順の一例は、図6A〜図6B、すなわち、ヘマトキシリン(図6A)、エオシン(図6B)、グリーン(図6C)およびDAB(図6D)に示すように、修正されたPAP手順用の4種類の色素の組合せによって提供される。この例では、3つのチャネル(R、GおよびB)が入力チャネルを4つの未知数(色素)と共に含む。このような例では、演繹的知識を使用することができる。これらの色素は、EcR+EcG+EcB=1である消散係数平面を含むマックスウエル等価平面(Maxwell equivalent plane)内に表される。この平面内では、色素は固有のXY位置によって表される。この平面の各XY位置では、異なる透過率(所与の色素の異なる強度)を示す異なるRGBトリプレットを表すことができ、本例では、透過率50%に最も近いRGBトリプレットが図7Aに示してある。より詳細には、図7Aは、透過率50%に最も近いRGBトリプレットなど異なるRGBトリプレットを示している。各色素は、画像取込み装置(カメラ)の赤、緑および青チャネルにおけるその消散係数に基づきEc平面上に投影される。各色素はその頭文字で表されている。
【0112】
各色素の性質に関して、それぞれ図7B1および図7B2に示すように、3種類の色素からなる4つの可能な構成の中で、受け入れられる3色素構成が2つある。これら2つの3色素構成はそれぞれ、取り囲んでいる三角形によって強調表示されている。演繹的知識から、試料に対して4種類の色素が同じ地理的な位置に実質的に存在する可能性は低いことが知られている。したがって、この例における色原体分離では、試料に対して3種類の色素が共に位置することができる3色素構成のみを考慮する。より詳細には、エオシンおよびグリーンが、細胞質の属性が異なる細胞を染色する主に細胞質の色素である。したがって、この消散係数平面内ではエオシン色素とグリーン色素との間にヘマトキシリンが位置することにより、エロシンとグリーンとの混合物がヘマトキシリンと間違われる可能性はあるが(しかし、DABと間違われる可能性は極めて低い)、これらの色素が試料に対して同じ位置に存在する可能性は低い。
【0113】
したがって、4Dの問題を解くために、このFOVの各RGBトリプレットを探すことによって色原体分離手順を適用する。このFOVでは、EcR+EcG+EcB=1である消散係数平面内の位置であるXY位置に、対応する染色が位置するはずである。この平面内で、取り囲む3D構成、すなわちデフォルトで最も近い3D構成を決定し、この3D構成を使用して3種類の対応する色素の光学密度について方程式を解くが、残りの色素の光学密度を0に設定する。調査されるRGBトリプレットのXY位置の大部分が、受け入れられる2つの3色素構成の1つのうちに位置すべきことに当業者は留意されたい。図8Aは、4種類の色素すべてが表されている視野を示す(すなわち、4種類の色素がすべて表されている典型的な修正PAP視野であり、図8Cに示すように中央の暗い細胞がDAB陽性である)。図8B〜図8Eは、これら4種類の色素各々についての同じ視野を示す。
【0114】
修正PAP環境における陽性(DAB)の細胞を探索するためのスキャナ超高速適応
4D色原体分離および電子染色の議論されている態様を、場合によっては組み合わせて、本発明の別の態様を形成することができる。より詳細には、DABおよびヘマトキシリンの使用を対象とする上記の例に継続して、図9A(元の視野のRGB画像)に示すように、修正PAPスライド(DAB陽性の珍しい事象の解)を読み取ることができるスキャナを実行することができる。次いで、4D色原体分離および電子染色の手順に基づき、4色素の状況を解くことができる。解けたら、図9Bに示すように、DABおよびヘマトキシリンの寄与率のみを含むよう「電子染色」プロセスを用いてシミュレーション画像を再構成することができる。加えて、ヘマトキシリンおよびDABのみのチャネルをスキャナへの入力として使用することができ、それによりスキャナが「ヘマトキシリンおよびDABのみの」画像を取り込むように構成され、図9Bに示す画像とほぼ同じ画像が生成されるようにする。さらに、図9Cに示すように、ヘマトキシリン、エオシンおよびグリーンの寄与率のみを用いて、PAPのみのシミュレーション画像を再構成することができる。
【0115】
RGBのひずみの考慮
画像経路、電子機器および/または染色のばらつきによるRGBのひずみを受け入れかつ/または補償するために、色原体分離の修正を考慮することができる。すなわち、1種類の色素のみで染色した生体物質を画像化することにより、元のFOV内の各RGBトリプレットから計算することができる消散係数モデルは受け入れられる平均測定値の当たりでわずかに変動することが実証されている。したがって、色素混合物が存在する場合に、色素混合物の複数の解を事実上受け入れることができる、または受け入れ可能である。異なる雑音源が、このようなRGBのひずみに関与していることがある。たとえば、3CCDカメラの代わりにCMOSカメラで画像を収集することが、1つの要因となることがある。
【0116】
これらのひずみを補償するために、所与のRGBトリプレットおよび所与の複数色素モデルについての色素それぞれの寄与率の解を、わずかに異なるやり方で計算する。より詳細には、調査中のRGBトリプレットを、所与の半径rを有するRGB空間における球の中心と見なす。この球内のすべてのトリプレットをそれらの色素寄与率の解について調査し、これらの解を、色素組合せモデルを満たすRGBトリプレットすべてについて色素ごとに平均する。どのRGBトリプレットも色素組合せモデルに属さない場合には、色素組合せモデルに最も近い球内のRGBトリプレットを最も可能性のある候補解として保持する。
【0117】
動的手順
従来から、定量的顕微鏡法のアプリケーションで使用されるアルゴリズムまたは計算手順はすべて、ソフトウエアエンジニアによって実行されるまたはシステムに組み込まれる。たとえば、各ソフトウエアリリースには通常限定された一組のアルゴリズムが含まれ、この一組のアルゴリズムは、ソフトウエアの修正(「ソフトウエアのアップグレード」)なしでは変更することができない。
【0118】
たとえば、あるアプリケーションは、スライド上の細胞の総数に対する、細胞核にあるマーカ染色の平均光学密度(MOD)がしきい値を超える細胞数の比を計算することによって、スライド上の陽性細胞の百分率を計算することができる。従来のアプリケーションでは、しきい値が設定可能であることがあるが、比を計算するために使用される式は固定されたままであり、このアプリケーションは、一定のしきい値を超える細胞の数を細胞総数と常に比較することになる。たとえある手順またはアルゴリズムにより、他の抽出された特徴に基づいてしきい値が変動することが可能となる場合であっても、しきい値を決定するために使用される式はやはり固定されている。
【0119】
したがって、本発明の別の態様は、それによりアルゴリズムまたは手順が動的になる(すなわち、ユーザによって入力された式に基づいて結果を出す)ように構成される方法論を含む。すなわち、直接ソフトウエアに符号化されるアルゴリズムまたは手順の代わりに、ソフトウエアが、実際の解析ランタイムで使用しようとする式を評価することができる。より詳細には、このような動的アルゴリズムを実行する定量的顕微鏡法のアプリケーションが、スライドレベル、TMAのコアレベル、視野レベルおよび細胞レベルを含むいくつかのレベルで一般的な一組の特徴をまず計算する、またはそうでなければ決定する。次いで、このような一般的な特徴をエイリアシングすることができ、したがって異なる「変数」を定義することができる。これらの変数は、たとえば標準的な数学演算を用いて様々な形で互いに組み合わせて、より高レベルの特徴を形成するまたは機能を定義することができる。たとえば、解析ランタイムで、アプリケーションがエイリアシングした特徴および適用可能な式のリストをロードする。ある式が解析で必要とされる場合には、その式を動的に評価し、必要に応じエイリアシングした特徴を使用して式を変更する。式が頻繁に再計算される、または十分に複雑である場合、このような式またはその一部を事前コンパイルして実行を加速することができる。
【0120】
したがって、このような方法により、アプリケーションによって実行されるアルゴリズムまたは手順一式を、ソフトウエアの外部修正を何ら必要とすることなく現場でアップグレードする、追加するまたはそうでなければ修正することが可能となる。たとえば、アプリケーションによりユーザに柔軟性が提供される。というのは、複雑な外部ソフトウエアの開発を何ら必要とすることなく必要に応じてかつ/または要望どおりに新たな機能を創出することができるからである。このような機能は、たとえば、スライド、コア、視野または細胞についての数値スコアを生成することができる。加えて、または代わりに、このような機能はフィルタリングの能力を提供することもできる。このような機能の用途の例として、ユーザは、上述のように陽性百分率を計算する機能を定義することができ、この動的な式を使用して、表示が「陽性の」細胞、視野またはコアを強調表示することを可能にする機能を定義することもできる。このような動的な式を使用して、たとえば、期待される正常値範囲、すなわち「0」、「1+」、「2+」等など瓶と名づけられた範囲を定義することもできる。
【0121】
本明細書中に記載されている本発明の多くの変形形態および他の諸実施形態は、これらの発明が属する技術分野において、前述の説明および関連する図面に提示されている教示を利用できる当業者に発想をもたらすことになろう。したがって、本発明は開示されている特定の諸実施形態に限定されるものではなく、また変形形態および他の実施形態が添付の特許請求の範囲内に含まれることを意図していることを理解されたい。本明細書において特定の用語が採用されているが、これらの用語は一般的かつ説明的な意味でのみ使用されており、限定を目的としてはいない。
【図面の簡単な説明】
【0122】
【図1】試料の電子染色された一連の画像を模式的に示す図であり、細胞核に示すように、最適なマーカ強度を決定するために試料を染色する色素のうちの1つの透過率を変え、病理学者による形態学的な読取りおよびマーカ発現に基づく細胞の陽性決定を共に可能にする図である。
【図2A】本発明の一態様による自動的に選択された関心領域の一部の例を示す図である。
【図2B】本発明の一態様による自動的に選択された関心領域の一部の例を示す図である。
【図3A1】本発明の一態様による自動的に選択された関心領域および後の細胞内セグメンテーションの例を示す図である。
【図3A2】本発明の一態様による自動的に選択された関心領域および後の細胞内セグメンテーションの例を示す図である。
【図3B1】本発明の一態様による自動的に選択された関心領域および後の細胞内セグメンテーションの例を示す図である。
【図3B2】本発明の一態様による自動的に選択された関心領域および後の細胞内セグメンテーションの例を示す図である。
【図4】本発明の一態様による細胞スコアリングの方法を模式的示す図である。
【図5A】本発明の一態様による時間積分手法を用いて高色素濃度を含む試料を解析する方法を示す図である。
【図5B】本発明の一態様による時間積分手法を用いて高色素濃度を含む試料を解析する方法を示す図である。
【図6A】本発明の一態様による4色素色原体分離手順について、試料を染色するための4種類の色素の各々に関するデータを示す図である。
【図6B】本発明の一態様による4色素色原体分離手順について、試料を染色するための4種類の色素の各々に関するデータを示す図である。
【図6C】本発明の一態様による4色素色原体分離手順について、試料を染色するための4種類の色素の各々に関するデータを示す図である。
【図6D】本発明の一態様による4色素色原体分離手順について、試料を染色するための4種類の色素の各々に関するデータを示す図である。
【図7A】本発明の一態様による、マックスウエル等価消散係数平面内に示される図6A〜図6Dの4種類の色素およびそれらの受け入れられる2つの3色素構成をそれぞれ模式的に示す図である。
【図7B1】本発明の一態様による、マックスウエル等価消散係数平面内に示される図6A〜図6Dの4種類の色素およびそれらの受け入れられる2つの3色素構成をそれぞれ模式的に示す図である。
【図7B2】本発明の一態様による、マックスウエル等価消散係数平面内に示される図6A〜図6Dの4種類の色素およびそれらの受け入れられる2つの3色素構成をそれぞれ模式的に示す図である。
【図8A】図6の4種類の色素で染色された修正PAP視野を示す図である。
【図8B】拡張された色原体分離を用いて、他の色素から切り離して4種類の色素各々についての図8Aの修正PAP視野を示す図である。
【図8C】拡張された色原体分離を用いて、他の色素から切り離して4種類の色素各々についての図8Aの修正PAP視野を示す図である。
【図8D】拡張された色原体分離を用いて、他の色素から切り離して4種類の色素各々についての図8Aの修正PAP視野を示す図である。
【図8E】拡張された色原体分離を用いて、他の色素から切り離して4種類の色素各々についての図8Aの修正PAP視野を示す図である。
【図9A】試料の元の(RGB)視野を示す図である。
【図9B】4種類の色素成分のうち2種類についての電子染色したシミュレーション試料を示す図である。
【図9C】DABを除くすべての色素成分で再構成した試料の、電子染色したPAPのみのシミュレーション画像を示す図である。
【特許請求の範囲】
【請求項1】
顕微鏡像用に試料を染色する方法であって、前記染色された試料の画像は、病理学者による診断用に細胞内成分間で最適なコントラストを示すように構成され、
試料を色素で染色する工程と、
前記試料の顕微鏡像から前記色素の透過率値を決定する工程と、
前記色素の前記決定済み透過率値から前記試料の人工画像を形成する工程と、
一連の人工画像を形成するために前記色素の前記透過率値を変える工程と、
前記一連の画像から1つの画像を選択し、前記色素について細胞内成分間の前記最適なコントラストを示し、前記1つの画像における前記色素の対応する透過率値を決定する工程と、
細胞内成分間の前記最適なコントラストに対応する前記色素の前記透過率値を有する染色された試料を提供するために、前記色素による前記試料の染色を変える工程と、を含むことを特徴とする方法。
【請求項2】
請求項1に記載の方法であって、前記透過率値を変化させる工程は、絶対重み係数および相対重み係数の一方をそれに対応する光学密度に適用することによって前記色素の前記透過率値を変化させる工程をさらに含むことを特徴とする方法。
【請求項3】
請求項1に記載の方法であって、細胞内成分間の最適なコントラストに対応する前記色素の前記透過率値を有する染色された試料を提供するために、前記試料を染色するために必要とされる前記色素の量を決定する工程をさらに含むことを特徴とする方法。
【請求項4】
請求項1に記載の方法であって、前記色素の透過率値を決定する工程は、前記試料の前記顕微鏡像から赤チャネル、緑チャネルおよび青チャネルの各々における前記色素の透過率値を決定する工程をさらに含むことを特徴とする方法。
【請求項5】
試料を人工的に染色する方法であって、
試料を第1の色素で染色する工程と、
前記試料の顕微鏡像から前記第1の色素の透過率値および消散係数を決定する工程と、
前記第1の色素の前記決定済み透過率値から前記試料の人工画像を形成する工程と、
前記試料を第2の色素で人工的に染色するために、前記第1の色素の前記消散係数を前記第2の色素の消散係数に置換する工程と、を含むことを特徴とする方法。
【請求項6】
請求項5に記載の方法であって、第1の色素の透過率値および消散係数を決定する工程は、前記試料の前記顕微鏡像から赤チャネル、緑チャネルおよび青チャネルの各々における前記第1の色素の透過率値および消散係数を決定する工程をさらに含むことを特徴とする方法。
【請求項7】
請求項6に記載の方法であって、前記第1の色素の前記消散係数を第2の色素の消散係数に置換する工程は、赤、緑および青チャネルの各々における前記第1の色素の前記消散係数を第2の色素の消散係数に置換する工程をさらに含むことを特徴とする方法。
【請求項8】
試料の測定値をその画像から得る方法であって、
前記試料中の関心領域をそのRGB画像から選択する工程と、
前記RGB画像中の前記関心領域をセグメンテーションして、その中の任意の関心対象を識別する工程と、
前記識別された関心対象についての測定値を決定するために特徴抽出を実行する工程と、
マーカ局在化および信号対雑音比の少なくとも一方に対して細胞スコアを決定する工程と、を含むことを特徴とする方法。
【請求項9】
請求項8に記載の方法であって、前記試料中の関心領域をそのRGB画像から選択する工程は、前記RGB画像に対応するマーカのみの画像において、周囲よりも比較的大きい核および比較的高い細胞密度の少なくとも一方を含む前記周囲から正に対比された領域を選択する工程をさらに含むことを特徴とする方法。
【請求項10】
請求項8に記載の方法であって、前記試料の前記RGB画像の色原体分離により得られる前記試料の前記マーカのみの画像にローパスフィルタを適用する工程と、
前記マーカのみの画像中の画素のマーカのみのヒストグラムを決定する工程と、
前記試料の負の領域と正の領域とを区別するためのマスクが形成されるように、前記マーカのみのヒストグラム中のしきい値に従って前記マーカのみの画像を2値化する工程と、をさらに含むことを特徴とする方法。
【請求項11】
請求項10に記載の方法であって、マーカのみのヒストグラムを決定する工程は、前記マーカのみの画像の非背景領域についてのマーカのみのヒストグラムを決定する工程をさらに含み、前記非背景領域は前記試料の輝度画像から決定されることを特徴とする方法。
【請求項12】
請求項10に記載の方法であって、前記試料の正の領域に対応する開口を画定する平滑マスクを形成するために、前記マーカのみの画像の2値化に続いて、前記マスク中のどんな不定形の穴も埋める工程をさらに含むことを特徴とする方法。
【請求項13】
請求項12に記載の方法であって、前記RGB画像における前記試料の前記正の領域が前記平滑マスクを通して現れるように、前記試料の前記RGB画像上に前記平滑マスクを重ね合わせる工程をさらに含むことを特徴とする方法。
【請求項14】
スライド上の関心領域を選択する方法であって、前記領域は、試料のRGB画像に対応するマーカのみの画像においてその周囲から正に対比され、前記正に対比された領域は、前記周囲よりも比較的大きい核および比較的高い細胞密度の少なくとも一方を含み、
前記試料の前記RGB画像の色原体分離により得られる前記試料のマーカのみの画像に、ローパスフィルタを適用する工程と、
前記マーカのみの画像中の画素のマーカのみのヒストグラムを決定する工程と、
前記試料の負の領域と正の領域とを区別するためのマスクを形成するために、前記マーカのみのヒストグラムにおけるしきい値に従って前記マーカのみの画像を2値化する工程と、を含むことを特徴とする方法。
【請求項15】
請求項14に記載の方法であって、マーカのみのヒストグラムを決定する工程は、前記マーカのみの画像の非背景領域についてのマーカのみのヒストグラムを決定する工程をさらに含み、前記非背景領域は前記試料の輝度画像から決定されることを特徴とする方法。
【請求項16】
請求項14に記載の方法であって、前記試料の正の領域に対応する開口を画定する平滑マスクが形成されるように、前記マーカのみの画像の2値化に続いて、前記マスク中のどんな不定形の穴も埋める工程をさらに含むことを特徴とする方法。
【請求項17】
請求項16に記載の方法であって、前記RGB画像における前記試料の前記正の領域が前記平滑マスクを通して現れるように、前記RGB画像上に前記平滑マスクを重ね合わせる工程をさらに含むことを特徴とする方法。
【請求項18】
試料をその画像からセグメンテーションする方法であって、
しきい値化プロセスにより前記試料のRGB画像の背景成分を決定する工程と、
細胞膜、細胞質および細胞核のうち少なくとも1つの成分画像を作成することによって前記画像をセグメンテーションする工程と、
前記セグメンテーションされた画像を精密化する工程と、
前記画像からどんな不要な対象もフィルタリングする工程と、を含むことを特徴とする方法。
【請求項19】
請求項18に記載の方法であって、しきい値化プロセスにより前記画像の背景成分を決定する工程は、
前記RGB画像を対応する輝度画像に変換する工程と、
前記輝度画像から背景しきい値輝度レベルを決定する工程と、をさらに含み、
前記輝度画像中のしきい値を上回る画素は前記背景成分に対応し、前記輝度画像中のしきい値を下回る画素は非背景成分に対応することを特徴とする方法。
【請求項20】
請求項19に記載の方法であって、前記輝度画像から背景しきい値輝度レベルを決定する工程は、
前記輝度画像を平滑化する工程と、
前記平滑化した輝度画像について、より高い部分およびより低い部分を有する画素のヒストグラムを決定する工程と、
前記ヒストグラムをそのより大きい終点辺りから走査して、前記しきい値輝度レベルに対応する極小を決定する工程と、をさらに含むことを特徴とする方法。
【請求項21】
請求項20に記載の方法であって、前記ヒストグラムの前記走査を、約90%未満の透過率を有する画素に限定することをさらに含むことを特徴とする方法。
【請求項22】
請求項18に記載の方法であって、成分画像を作成することは、前記細胞膜、前記細胞質および前記細胞核のうちの1つを示す少なくとも1種類の色素について前記試料の前記RGB画像に色原体分離手順を適用することをさらに含むことを特徴とする方法。
【請求項23】
請求項18に記載の方法であって、前記画像をセグメンテーションする工程は、
細胞膜成分画像の非背景成分の画素の平均強度を決定する工程と、
細胞膜マスクを形成するために、前記平均強度を超える強度を有するどんな画素も前記平均強度に置き換える工程と、
前記細胞膜成分画像の大小の平滑化コンボリューションカーネル間の差分画像を生成してコントラスト画像を形成する工程と、
局部コントラストしきい値を用いて前記コントラスト画像を2値化する工程と、
前記2値化したコントラスト画像から細胞膜マスクの骨格を形成する工程と、
最小限の寸法よりも小さい前記骨格のどんな部分も削除する工程と、
少なくとも1つの画素によって各方向に細胞膜マスクの前記骨格を拡張する工程と、
前記骨格に対応していないどんな細胞膜マスクも削除する工程と、をさらに含むことを特徴とする方法。
【請求項24】
請求項18に記載の方法であって、前記画像をセグメンテーションする工程は、
細胞核成分画像の非背景成分の画素の平均強度およびメジアン強度を決定する工程と、
最初の細胞核マスクを形成するために、前記平均強度および前記メジアン強度のうち大きい方を含むしきい値強度を超える強度を有するどんな画素も、前記しきい値強度に置き換える工程と、
期待される細胞核寸法の1.5倍のカーネルで前記最初の細胞核マスクをローパスフィルタリングする工程と、
出力画像が生成されるように、前記最初の細胞核マスクを流域変形セグメンテーションする工程と、
前記流域変形セグメンテーション出力画像を前記最初の細胞核マスクと組み合わせて、得られる細胞核マスクを形成し、また前記流域変形セグメンテーション出力画像が集水域を有し、かつ前記最初の細胞核マスクが前記しきい値強度を下回る画素強度を有するマスク画素が設定されるようにする工程と、をさらに含むことを特徴とする方法。
【請求項25】
請求項24に記載の方法であって、細胞膜マスクが入手可能な場合には、細胞膜マスク内の前記得られる細胞核マスクのどんな画素も削除することをさらに含むことを特徴とする方法。
【請求項26】
請求項24に記載の方法であって、前期期待される細胞核寸法の約5分の1未満の面積を有する、前記得られる細胞核マスクの不定形の部分を埋める工程こと、および前記期待される細胞核寸法の約4分の1よりも小さい対象を削除することによって、前記得られる細胞核マスクをクリーニングする工程をさらに含むことを特徴とする方法。
【請求項27】
請求項24に記載の方法であって、前記画像をセグメンテーションする工程は、
前記得られる細胞核マスクを反転させ距離変換する工程と、
期待される細胞寸法内の画素が第1の潜在的な細胞質マスクに含まれるように、反転させ距離変換した前記得られる細胞核マスクを2値化する工程と、
前記第1の潜在的な細胞質マスクの非背景成分のマスクを形成するために、前記第1の潜在的な細胞質マスクを前記細胞核成分画像の背景成分と組み合わせる工程と、をさらに含むことを特徴とする方法。
【請求項28】
請求項27に記載の方法であって、前記得られる細胞核マスクを反転させ距離変換して、第2の潜在的な細胞質マスクを形成する工程と、
前記第1の潜在的な細胞質マスクと前記第2の潜在的な細胞質マスクを組み合わせて、得られる細胞質マスクを形成する工程と、をさらに含むことを特徴とする方法。
【請求項29】
請求項28に記載の方法であって、前記セグメンテーションされた画像を精密化する工程は、
前記得られる細胞質マスク中のセグメンテーションされた各対象を識別する工程と、
固有の画素値によって識別されているセグメンテーションおよび識別後の各対象を、標識画像を拡張させることによって前記標識画像中の標識対象と関連付ける工程と、
前記得られる細胞核マスクを精密化するために、各標識対象をそれと関連付けられた個々のしきい値を用いて2値化する工程と、をさらに含むことを特徴とする方法。
【請求項30】
請求項29に記載の方法であって、前記得られる細胞核マスクを精密化するために各標識対象を2値化する工程は、
前記標識対象の画素について上限および下限を有するヒストグラムを決定し、前記画素の平均強度を決定する工程と、
前記標識対象の面積の約20%について前記ヒストグラムをその前記上限から積分することによって決定される上方境界と、前記期待される細胞核寸法の約20%について前記ヒストグラムをその前記下限から積分することによって決定される下方境界とをしきい値に対して決定する工程と、
前記下方境界が前記上方境界未満である場合には、前記上方境界と前記下方境界との間のヒストグラムにフィッシャー判別分析を適用して前記しきい値を決定する工程と、
前記下方境界が前記上方境界未満でない場合には、前記しきい値として前記上方境界と前記下方境界との平均値を指定する工程と、
前記しきい値を用いて前記細胞核成分画像を2値化することによって、前記標識対象を前記得られる細胞核マスクに再挿入する工程と、をさらに含むことを特徴とする方法。
【請求項31】
請求項30に記載の方法であって、前記得られる細胞核マスクを距離変換する工程と、
融合しているどんな細胞核も分離し、不十分なセグメンテーションを最小限にするために、前記得られる細胞核マスクをその距離変換に続いて流域変形する工程と、をさらに含むことを特徴とする方法。
【請求項32】
請求項31に記載の方法であって、前記期待される細胞核寸法の約5分の1未満の面積を有する、前記得られる細胞核マスクの不定形な部分を埋める工程をさらに含むことを特徴とする方法。
【請求項33】
請求項32に記載の方法であって、精密化された細胞核マスクを生成するために、前記期待される細胞核寸法の約3分の1未満のどんな対象も前記得られる細胞核マスクから取り除くことをさらに含むことを特徴とする方法。
【請求項34】
請求項33に記載の方法であって、前記精密化された細胞核マスクを反転させ距離変換する工程と、
期待される細胞寸法内の画素が第1の潜在的な精密化された細胞質マスクに含まれるように、反転および距離変換後の前記精密化された細胞核マスクを2値化する工程と、
前記第1の潜在的な精密化された細胞質マスクの非背景成分のマスクを形成するために、前記第1の潜在的な精密化された細胞質マスクを前記細胞核成分画像の背景成分と組み合わせる工程と、をさらに含むことを特徴とする方法。
【請求項35】
請求項34に記載の方法であって、前記精密化された細胞核マスクを反転させ距離変換して、第2の潜在的な精密化された細胞質マスクを形成する工程と、
前記第1の潜在的な精密化された細胞質マスクと前記第2の潜在的な精密化された細胞質マスクを組み合わせて、精密化された細胞質マスクを形成する工程と、をさらに含むことを特徴とする方法。
【請求項36】
低ビット解像度画像装置により得られる画像から、試料を染色する少なくとも1種類の色素の高色素濃度についての光学密度データを決定する方法であって、
異なる積分時間で前記試料の一連の画像を取り込む工程と、
前記画像装置の赤、緑および青チャネルの各々における最高不飽和強度を選択する工程と、
前記試料の最適化画像を、前記最適化画像が色原体分離に適切なものとなるように前記赤、緑および青チャネルにおける前記最高不飽和強度レベルを用いて再構築する工程と、を含むことを特徴とする方法。
【請求項37】
請求項36に記載の方法であって、前記赤、緑および青チャネルの各々における前記一連の画像の各々についての測定光学密度を、前記各画像についての前記対応する積分時間に対して正規化する工程をさらに含み、前記最高不飽和強度は前記正規化した測定光学密度から選択されることを特徴とする方法。
【請求項38】
3チャネル画像装置により得られる、4種類の色素で染色された生体試料の画像についての色原体分離方法であって、
前記生体試料内に空間的に配置された前記4種類の色素からなる演繹的に既知の重要な3種類の色素の組合せを定義する工程と、
赤、緑および青チャネルを有する画像装置により4種類の色素で染色された試料の画像を得ることにより、対応するRGBトリプレットを各々が有する複数の画素を前記画像が含むようにする工程と、
Ecr+Ecg+Ecb=1である消散係数平面上に各RGBトリプレットを投影する工程と、
各RGBトリプレットに対応する、前記消散係数平面における前記4種類の色素からなる前記3種類の色素の組合せを決定する工程と、
前記消散係数平面における各3種類の色素の組合せに対応する前記画像中の画素の量を一覧表にすることによって、前記試料の前記画像を分離する工程と、を含むことを特徴とする方法。
【請求項1】
顕微鏡像用に試料を染色する方法であって、前記染色された試料の画像は、病理学者による診断用に細胞内成分間で最適なコントラストを示すように構成され、
試料を色素で染色する工程と、
前記試料の顕微鏡像から前記色素の透過率値を決定する工程と、
前記色素の前記決定済み透過率値から前記試料の人工画像を形成する工程と、
一連の人工画像を形成するために前記色素の前記透過率値を変える工程と、
前記一連の画像から1つの画像を選択し、前記色素について細胞内成分間の前記最適なコントラストを示し、前記1つの画像における前記色素の対応する透過率値を決定する工程と、
細胞内成分間の前記最適なコントラストに対応する前記色素の前記透過率値を有する染色された試料を提供するために、前記色素による前記試料の染色を変える工程と、を含むことを特徴とする方法。
【請求項2】
請求項1に記載の方法であって、前記透過率値を変化させる工程は、絶対重み係数および相対重み係数の一方をそれに対応する光学密度に適用することによって前記色素の前記透過率値を変化させる工程をさらに含むことを特徴とする方法。
【請求項3】
請求項1に記載の方法であって、細胞内成分間の最適なコントラストに対応する前記色素の前記透過率値を有する染色された試料を提供するために、前記試料を染色するために必要とされる前記色素の量を決定する工程をさらに含むことを特徴とする方法。
【請求項4】
請求項1に記載の方法であって、前記色素の透過率値を決定する工程は、前記試料の前記顕微鏡像から赤チャネル、緑チャネルおよび青チャネルの各々における前記色素の透過率値を決定する工程をさらに含むことを特徴とする方法。
【請求項5】
試料を人工的に染色する方法であって、
試料を第1の色素で染色する工程と、
前記試料の顕微鏡像から前記第1の色素の透過率値および消散係数を決定する工程と、
前記第1の色素の前記決定済み透過率値から前記試料の人工画像を形成する工程と、
前記試料を第2の色素で人工的に染色するために、前記第1の色素の前記消散係数を前記第2の色素の消散係数に置換する工程と、を含むことを特徴とする方法。
【請求項6】
請求項5に記載の方法であって、第1の色素の透過率値および消散係数を決定する工程は、前記試料の前記顕微鏡像から赤チャネル、緑チャネルおよび青チャネルの各々における前記第1の色素の透過率値および消散係数を決定する工程をさらに含むことを特徴とする方法。
【請求項7】
請求項6に記載の方法であって、前記第1の色素の前記消散係数を第2の色素の消散係数に置換する工程は、赤、緑および青チャネルの各々における前記第1の色素の前記消散係数を第2の色素の消散係数に置換する工程をさらに含むことを特徴とする方法。
【請求項8】
試料の測定値をその画像から得る方法であって、
前記試料中の関心領域をそのRGB画像から選択する工程と、
前記RGB画像中の前記関心領域をセグメンテーションして、その中の任意の関心対象を識別する工程と、
前記識別された関心対象についての測定値を決定するために特徴抽出を実行する工程と、
マーカ局在化および信号対雑音比の少なくとも一方に対して細胞スコアを決定する工程と、を含むことを特徴とする方法。
【請求項9】
請求項8に記載の方法であって、前記試料中の関心領域をそのRGB画像から選択する工程は、前記RGB画像に対応するマーカのみの画像において、周囲よりも比較的大きい核および比較的高い細胞密度の少なくとも一方を含む前記周囲から正に対比された領域を選択する工程をさらに含むことを特徴とする方法。
【請求項10】
請求項8に記載の方法であって、前記試料の前記RGB画像の色原体分離により得られる前記試料の前記マーカのみの画像にローパスフィルタを適用する工程と、
前記マーカのみの画像中の画素のマーカのみのヒストグラムを決定する工程と、
前記試料の負の領域と正の領域とを区別するためのマスクが形成されるように、前記マーカのみのヒストグラム中のしきい値に従って前記マーカのみの画像を2値化する工程と、をさらに含むことを特徴とする方法。
【請求項11】
請求項10に記載の方法であって、マーカのみのヒストグラムを決定する工程は、前記マーカのみの画像の非背景領域についてのマーカのみのヒストグラムを決定する工程をさらに含み、前記非背景領域は前記試料の輝度画像から決定されることを特徴とする方法。
【請求項12】
請求項10に記載の方法であって、前記試料の正の領域に対応する開口を画定する平滑マスクを形成するために、前記マーカのみの画像の2値化に続いて、前記マスク中のどんな不定形の穴も埋める工程をさらに含むことを特徴とする方法。
【請求項13】
請求項12に記載の方法であって、前記RGB画像における前記試料の前記正の領域が前記平滑マスクを通して現れるように、前記試料の前記RGB画像上に前記平滑マスクを重ね合わせる工程をさらに含むことを特徴とする方法。
【請求項14】
スライド上の関心領域を選択する方法であって、前記領域は、試料のRGB画像に対応するマーカのみの画像においてその周囲から正に対比され、前記正に対比された領域は、前記周囲よりも比較的大きい核および比較的高い細胞密度の少なくとも一方を含み、
前記試料の前記RGB画像の色原体分離により得られる前記試料のマーカのみの画像に、ローパスフィルタを適用する工程と、
前記マーカのみの画像中の画素のマーカのみのヒストグラムを決定する工程と、
前記試料の負の領域と正の領域とを区別するためのマスクを形成するために、前記マーカのみのヒストグラムにおけるしきい値に従って前記マーカのみの画像を2値化する工程と、を含むことを特徴とする方法。
【請求項15】
請求項14に記載の方法であって、マーカのみのヒストグラムを決定する工程は、前記マーカのみの画像の非背景領域についてのマーカのみのヒストグラムを決定する工程をさらに含み、前記非背景領域は前記試料の輝度画像から決定されることを特徴とする方法。
【請求項16】
請求項14に記載の方法であって、前記試料の正の領域に対応する開口を画定する平滑マスクが形成されるように、前記マーカのみの画像の2値化に続いて、前記マスク中のどんな不定形の穴も埋める工程をさらに含むことを特徴とする方法。
【請求項17】
請求項16に記載の方法であって、前記RGB画像における前記試料の前記正の領域が前記平滑マスクを通して現れるように、前記RGB画像上に前記平滑マスクを重ね合わせる工程をさらに含むことを特徴とする方法。
【請求項18】
試料をその画像からセグメンテーションする方法であって、
しきい値化プロセスにより前記試料のRGB画像の背景成分を決定する工程と、
細胞膜、細胞質および細胞核のうち少なくとも1つの成分画像を作成することによって前記画像をセグメンテーションする工程と、
前記セグメンテーションされた画像を精密化する工程と、
前記画像からどんな不要な対象もフィルタリングする工程と、を含むことを特徴とする方法。
【請求項19】
請求項18に記載の方法であって、しきい値化プロセスにより前記画像の背景成分を決定する工程は、
前記RGB画像を対応する輝度画像に変換する工程と、
前記輝度画像から背景しきい値輝度レベルを決定する工程と、をさらに含み、
前記輝度画像中のしきい値を上回る画素は前記背景成分に対応し、前記輝度画像中のしきい値を下回る画素は非背景成分に対応することを特徴とする方法。
【請求項20】
請求項19に記載の方法であって、前記輝度画像から背景しきい値輝度レベルを決定する工程は、
前記輝度画像を平滑化する工程と、
前記平滑化した輝度画像について、より高い部分およびより低い部分を有する画素のヒストグラムを決定する工程と、
前記ヒストグラムをそのより大きい終点辺りから走査して、前記しきい値輝度レベルに対応する極小を決定する工程と、をさらに含むことを特徴とする方法。
【請求項21】
請求項20に記載の方法であって、前記ヒストグラムの前記走査を、約90%未満の透過率を有する画素に限定することをさらに含むことを特徴とする方法。
【請求項22】
請求項18に記載の方法であって、成分画像を作成することは、前記細胞膜、前記細胞質および前記細胞核のうちの1つを示す少なくとも1種類の色素について前記試料の前記RGB画像に色原体分離手順を適用することをさらに含むことを特徴とする方法。
【請求項23】
請求項18に記載の方法であって、前記画像をセグメンテーションする工程は、
細胞膜成分画像の非背景成分の画素の平均強度を決定する工程と、
細胞膜マスクを形成するために、前記平均強度を超える強度を有するどんな画素も前記平均強度に置き換える工程と、
前記細胞膜成分画像の大小の平滑化コンボリューションカーネル間の差分画像を生成してコントラスト画像を形成する工程と、
局部コントラストしきい値を用いて前記コントラスト画像を2値化する工程と、
前記2値化したコントラスト画像から細胞膜マスクの骨格を形成する工程と、
最小限の寸法よりも小さい前記骨格のどんな部分も削除する工程と、
少なくとも1つの画素によって各方向に細胞膜マスクの前記骨格を拡張する工程と、
前記骨格に対応していないどんな細胞膜マスクも削除する工程と、をさらに含むことを特徴とする方法。
【請求項24】
請求項18に記載の方法であって、前記画像をセグメンテーションする工程は、
細胞核成分画像の非背景成分の画素の平均強度およびメジアン強度を決定する工程と、
最初の細胞核マスクを形成するために、前記平均強度および前記メジアン強度のうち大きい方を含むしきい値強度を超える強度を有するどんな画素も、前記しきい値強度に置き換える工程と、
期待される細胞核寸法の1.5倍のカーネルで前記最初の細胞核マスクをローパスフィルタリングする工程と、
出力画像が生成されるように、前記最初の細胞核マスクを流域変形セグメンテーションする工程と、
前記流域変形セグメンテーション出力画像を前記最初の細胞核マスクと組み合わせて、得られる細胞核マスクを形成し、また前記流域変形セグメンテーション出力画像が集水域を有し、かつ前記最初の細胞核マスクが前記しきい値強度を下回る画素強度を有するマスク画素が設定されるようにする工程と、をさらに含むことを特徴とする方法。
【請求項25】
請求項24に記載の方法であって、細胞膜マスクが入手可能な場合には、細胞膜マスク内の前記得られる細胞核マスクのどんな画素も削除することをさらに含むことを特徴とする方法。
【請求項26】
請求項24に記載の方法であって、前期期待される細胞核寸法の約5分の1未満の面積を有する、前記得られる細胞核マスクの不定形の部分を埋める工程こと、および前記期待される細胞核寸法の約4分の1よりも小さい対象を削除することによって、前記得られる細胞核マスクをクリーニングする工程をさらに含むことを特徴とする方法。
【請求項27】
請求項24に記載の方法であって、前記画像をセグメンテーションする工程は、
前記得られる細胞核マスクを反転させ距離変換する工程と、
期待される細胞寸法内の画素が第1の潜在的な細胞質マスクに含まれるように、反転させ距離変換した前記得られる細胞核マスクを2値化する工程と、
前記第1の潜在的な細胞質マスクの非背景成分のマスクを形成するために、前記第1の潜在的な細胞質マスクを前記細胞核成分画像の背景成分と組み合わせる工程と、をさらに含むことを特徴とする方法。
【請求項28】
請求項27に記載の方法であって、前記得られる細胞核マスクを反転させ距離変換して、第2の潜在的な細胞質マスクを形成する工程と、
前記第1の潜在的な細胞質マスクと前記第2の潜在的な細胞質マスクを組み合わせて、得られる細胞質マスクを形成する工程と、をさらに含むことを特徴とする方法。
【請求項29】
請求項28に記載の方法であって、前記セグメンテーションされた画像を精密化する工程は、
前記得られる細胞質マスク中のセグメンテーションされた各対象を識別する工程と、
固有の画素値によって識別されているセグメンテーションおよび識別後の各対象を、標識画像を拡張させることによって前記標識画像中の標識対象と関連付ける工程と、
前記得られる細胞核マスクを精密化するために、各標識対象をそれと関連付けられた個々のしきい値を用いて2値化する工程と、をさらに含むことを特徴とする方法。
【請求項30】
請求項29に記載の方法であって、前記得られる細胞核マスクを精密化するために各標識対象を2値化する工程は、
前記標識対象の画素について上限および下限を有するヒストグラムを決定し、前記画素の平均強度を決定する工程と、
前記標識対象の面積の約20%について前記ヒストグラムをその前記上限から積分することによって決定される上方境界と、前記期待される細胞核寸法の約20%について前記ヒストグラムをその前記下限から積分することによって決定される下方境界とをしきい値に対して決定する工程と、
前記下方境界が前記上方境界未満である場合には、前記上方境界と前記下方境界との間のヒストグラムにフィッシャー判別分析を適用して前記しきい値を決定する工程と、
前記下方境界が前記上方境界未満でない場合には、前記しきい値として前記上方境界と前記下方境界との平均値を指定する工程と、
前記しきい値を用いて前記細胞核成分画像を2値化することによって、前記標識対象を前記得られる細胞核マスクに再挿入する工程と、をさらに含むことを特徴とする方法。
【請求項31】
請求項30に記載の方法であって、前記得られる細胞核マスクを距離変換する工程と、
融合しているどんな細胞核も分離し、不十分なセグメンテーションを最小限にするために、前記得られる細胞核マスクをその距離変換に続いて流域変形する工程と、をさらに含むことを特徴とする方法。
【請求項32】
請求項31に記載の方法であって、前記期待される細胞核寸法の約5分の1未満の面積を有する、前記得られる細胞核マスクの不定形な部分を埋める工程をさらに含むことを特徴とする方法。
【請求項33】
請求項32に記載の方法であって、精密化された細胞核マスクを生成するために、前記期待される細胞核寸法の約3分の1未満のどんな対象も前記得られる細胞核マスクから取り除くことをさらに含むことを特徴とする方法。
【請求項34】
請求項33に記載の方法であって、前記精密化された細胞核マスクを反転させ距離変換する工程と、
期待される細胞寸法内の画素が第1の潜在的な精密化された細胞質マスクに含まれるように、反転および距離変換後の前記精密化された細胞核マスクを2値化する工程と、
前記第1の潜在的な精密化された細胞質マスクの非背景成分のマスクを形成するために、前記第1の潜在的な精密化された細胞質マスクを前記細胞核成分画像の背景成分と組み合わせる工程と、をさらに含むことを特徴とする方法。
【請求項35】
請求項34に記載の方法であって、前記精密化された細胞核マスクを反転させ距離変換して、第2の潜在的な精密化された細胞質マスクを形成する工程と、
前記第1の潜在的な精密化された細胞質マスクと前記第2の潜在的な精密化された細胞質マスクを組み合わせて、精密化された細胞質マスクを形成する工程と、をさらに含むことを特徴とする方法。
【請求項36】
低ビット解像度画像装置により得られる画像から、試料を染色する少なくとも1種類の色素の高色素濃度についての光学密度データを決定する方法であって、
異なる積分時間で前記試料の一連の画像を取り込む工程と、
前記画像装置の赤、緑および青チャネルの各々における最高不飽和強度を選択する工程と、
前記試料の最適化画像を、前記最適化画像が色原体分離に適切なものとなるように前記赤、緑および青チャネルにおける前記最高不飽和強度レベルを用いて再構築する工程と、を含むことを特徴とする方法。
【請求項37】
請求項36に記載の方法であって、前記赤、緑および青チャネルの各々における前記一連の画像の各々についての測定光学密度を、前記各画像についての前記対応する積分時間に対して正規化する工程をさらに含み、前記最高不飽和強度は前記正規化した測定光学密度から選択されることを特徴とする方法。
【請求項38】
3チャネル画像装置により得られる、4種類の色素で染色された生体試料の画像についての色原体分離方法であって、
前記生体試料内に空間的に配置された前記4種類の色素からなる演繹的に既知の重要な3種類の色素の組合せを定義する工程と、
赤、緑および青チャネルを有する画像装置により4種類の色素で染色された試料の画像を得ることにより、対応するRGBトリプレットを各々が有する複数の画素を前記画像が含むようにする工程と、
Ecr+Ecg+Ecb=1である消散係数平面上に各RGBトリプレットを投影する工程と、
各RGBトリプレットに対応する、前記消散係数平面における前記4種類の色素からなる前記3種類の色素の組合せを決定する工程と、
前記消散係数平面における各3種類の色素の組合せに対応する前記画像中の画素の量を一覧表にすることによって、前記試料の前記画像を分離する工程と、を含むことを特徴とする方法。
【図1】
【図2A】
【図2B】
【図3A1】
【図3A2】
【図3B1】
【図3B2】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B1】
【図7B2】
【図8A】
【図8C】
【図9A】
【図9B】
【図9C】
【図4】
【図5A】
【図5B】
【図8B】
【図8D】
【図8E】
【図2A】
【図2B】
【図3A1】
【図3A2】
【図3B1】
【図3B2】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B1】
【図7B2】
【図8A】
【図8C】
【図9A】
【図9B】
【図9C】
【図4】
【図5A】
【図5B】
【図8B】
【図8D】
【図8E】
【公表番号】特表2008−539763(P2008−539763A)
【公表日】平成20年11月20日(2008.11.20)
【国際特許分類】
【出願番号】特願2008−511426(P2008−511426)
【出願日】平成18年5月12日(2006.5.12)
【国際出願番号】PCT/US2006/018516
【国際公開番号】WO2006/124651
【国際公開日】平成18年11月23日(2006.11.23)
【出願人】(507374701)トリパス イメージング インコーポレイテッド (1)
【Fターム(参考)】
【公表日】平成20年11月20日(2008.11.20)
【国際特許分類】
【出願日】平成18年5月12日(2006.5.12)
【国際出願番号】PCT/US2006/018516
【国際公開番号】WO2006/124651
【国際公開日】平成18年11月23日(2006.11.23)
【出願人】(507374701)トリパス イメージング インコーポレイテッド (1)
【Fターム(参考)】
[ Back to top ]