自動顕微鏡スライド組織サンプルマッピング及び画像取得
この方法は、組織サンプルセットの画像を受け入れる工程（６２０）を備える。少なくとも１つの他の組織サンプルに対する各組織サンプルの画像中の位置は、電子的に識別される（６４０）。各組織サンプルは、組織サンプル位置の識別に基づいて電子的に識別される（６６０）。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願との相互参照］
この出願は、２００３年１０月８日に出願された米国仮出願第６０／５０９，６７１号からの優先権を主張し、その全体を全ての目的に対し参照によってここに組み入れる。
【背景技術】
【０００２】
医療研究及び処置は、組織タイプ、組織構造、組織下部構造、及び細胞タイプの迅速且つ精密な識別を必要とする。この識別は、ヒトゲノム、医薬品と組織の相互作用を理解すること、そして疾病を処置することに使用される。病理学者は、歴史的に個別の組織サンプルを顕微鏡を通して検査して各組織サンプル内で関心のある構造の位置を決定し、そして位置決定された関心のある構造の特徴的形状に部分的に基づいて識別決定をしている。しかしながら、病理学者は、識別を必要とする組織サンプルの今日の量を取り扱うことできない。更には、病理学者は人間であるため、時間のかかる目視組織分析にたよる現在のプロセスは本質的に遅く、高価であって、正常な人間のばらつきや不一致に影響される。
【０００３】
識別を必要とする組織サンプルの量に対して一助となるものは、高スループットのスクリーニング用組織マイクロアレイ並びに単一顕微鏡スライド上の数１００の組織標本の分析を使用する近年の改革である。組織マイクロアレイは、数１００の顕微鏡スライドを処理及び染色する伝統的な方法にない利益を与える。これは、多数の標本が１つのマスター顕微鏡スライド上に収容され得るからである。このアプローチは、時間、費用、及び実験的エラーを著しく低減する。組織マイクロアレイの全潜在能力を高スループットのスクリーニング及び分析で実現するためには、顕微鏡で作業する一人の病理学者の能力に匹敵するかそれを超える全自動システムが必要とされる。既存の組織識別用システムは、意味ある出力を与える前に、全組織サンプルの高倍率又は高解像度の画像を必要とする。高解像度画像に対する要求は、画像の捕捉を遅いものとし、また有意なメモリ及び記憶装置を必要とし、更に識別プロセスを遅いものとする。全自動システムに対する有利な１つの要素は、組織サンプルの関心のある構造部分に限定された各組織サンプルの高解像度画像を捕捉するための装置及び方法である。全自動システムに対する有利なもう１つの要素は、スループットの汎用性と速度を制限する特殊な染色や特殊な抗体マーカーの使用を必要とせずに作業する手腕である。
【０００４】
前記したことを考慮すると、組織サンプル内で関心のある構造の自動識別をするための、並びに実質的にそれらの構造に限定された高解像度画像を捕捉するための新規で改良された装置及び方法に対する必要性がある。本発明は、装置、システム、及び方法に向けられている。
【０００５】
［発明の要約］
この発明の一実施形態に係る方法は、組織サンプルセットの画像を受け入れる工程を備える。少なくとも１つの他の組織サンプルに対する各組織サンプルの画像中の位置は、電子的に識別される。各組織サンプルは、組織サンプル位置の識別に基づいて電子的に識別される。
【０００６】
この発明は、その異なる目的及び利点と共に、添付図面に関連してなされる以下の論述を参照することによって最も良く理解され得る。図面の複数の図では、同様の参照符号が同様の要素を識別している。
【０００７】
［詳細な説明］
この発明の例示的実施形態の以下の詳細な論述では、その一部を形成する添付図面が参照される。詳細な論述及び図面は、それによって発明が実施され得る特定の例示的実施形態を示している。発明の範囲及び精神を逸脱することなく、他の実施形態が利用され、また他の変化もなされ得る。それ故、以下の詳細な論述は、限定する意味でとられるべきではなく、また発明の範囲は、請求の範囲によって規定される。単数への言及は、そうでないと表明されたり、ここでの開示と矛盾しない限り、複数への言及を含む。
【０００８】
後続する論述のいくつかの部分は、コンピュータ計算システム内のデータビットに関する動作のアルゴリズム及び記号表現に関して与えられる。１つのアルゴリズムは、ここでは、また一般的には、所望の結果に導くステップの自己矛盾のないシーケンスであると考えられる。これらのステップは、物理的量の物理的操作を必要とする。必要とされるものではないが、通常これらの量は、格納され、転送され、組み合わされ、そして別の操作を受けることが可能な電子的又は磁気的信号の形態をとる。主として一般的使用の理由について、これらの信号をビット、値、要素、記号、文字、用語、又は番号等として言及することが、時には便利であることが証明されている。しかしながら、これら及び同様の用語の全ては適切な物理的量に関連付けられるべきであり、またこれらの量に適用された単に便利なラベルであるということが、心に留められるべきである。以下の論述から明らかなように具体的に別の形で表明されない限り、本論述を通して、「処理」又は「計算」又は「算定」又は「決定」又は「表示」又は「電子的」等の用語は、電子的コンピュータ計算装置のアクション及びプロセスに言及している。この計算装置は、例えばコンピュータシステムや同様の装置であって、コンピュータシステムのレジスタ及びメモリ内で物理的（電子的）量として表されたデータを操作し、コンピュータシステムのメモリ又はレジスタ又は他のそのような情報記録装置、伝送装置、又は表示装置で物理的量として同様に表された他のデータに変換するものである。
【０００９】
追加的な記載は、２００３年９月１９日の印刷データを有する「自動寿命撮像及び分析システム（ＡＬＩＡＳ）」に、また２００３年１０月７日の印刷データを有する「顕微鏡スライド組織マッピング」に含まれており、両者は添付されると共に、それらの全体について全ての目的に対し参照によりここに組み入れられる。
【００１０】
組織学者及び病理学者によって使用されるプロセスは、互いに固定された関係を持つ細胞を含んだ組織サンプルを可視的に検査すること、そして組織内で起こるパターンを識別することを含む。異なる組織タイプは、検査者にとって関心のある異なる構造及び下部構造（以下では集合的に「関心のある構造」）を有する。関心のある１つの構造は典型的に、特有のパターンを有する。このパターンは、１つの細胞内の構成要素（細胞内）、単一タイプの複数の細胞を含むか、又は複数の細胞の構成要素、細胞のグループ、及び／又は複数の細胞タイプ（細胞間）を含む。
【００１１】
特有の細胞パターンは、組織タイプ、組織構造、組織下部構造、及び細胞タイプを１つの組織内で識別することに使用される。これらの特徴の認識は、同じサンプル内で個別の細胞核、細胞、又は細胞タイプの識別を必要としないが、識別は、そのような方法の使用によって助成され得る。組織サンプル内の個別の細胞タイプは、多くの細胞にわたるそれらの相互の関係から、他のタイプの細胞とのそれらの関係から、それらの細胞核、又は他の細胞内成分の外観から識別され得る。
【００１２】
組織は、特徴的な形態学的形状、機能、及び／又は他の細胞との配置を、それらの遺伝学的プログラミングの力によって提示する特異な細胞タイプを含む。正常細胞は、特別な細胞タイプを特別な数又は率で含み、互いの予測可能な空間的関係を持つ。これらの特徴的形状は、異なる固体間の同じ正常組織内で適切な狭い範囲内に入る傾向がある。その独得な機能を供する能力を持つ特別な器官又は組織を与える細胞タイプ（例えば、上皮又は柔組織細胞）に加えて、正常組織はまた、複数の器官に共通の機能を果たす細胞を有する。例えば、血液細胞を含む血管や、ニューロン及びシュワン細胞を含む神経や、中枢神経系外の繊維芽細胞（ストロマ細胞）のような構造細胞や、いくつかの炎症性細胞、及び器官（例えば、平滑筋）の運動や収縮に対する能力を与える細胞である。これらの細胞はまた、特別な器官又は組織等について異なる固体間の適正な狭い範囲内で再生される傾向をもつパターンを形成する。
【００１３】
組織学者及び病理学者は、典型的に各細胞タイプ内で関心のある特異な構造を検査する。これは、その構造が組織サンプル内の異常な状態を最も含み易いからである。関心のある構造は、典型的に特別な器官又は組織にその独得な機能を与える細胞タイプを含む。関心のある構造は、最も医薬品の処置の標的となりやすい組織の部分と、遺伝子発現のパターンについて検査される部分とを含むこともできる。異なる組織タイプは、一般的に関心のある異なる構造を有する。しかしながら、関心のある構造は、検査者にとって関心のある組織の構造又は下部構造であり得る。
【００１４】
この書類で使用されているように、「固定された関係にある細胞」という言及は、一般的に有機体内で正常に固定された関係にある細胞、例えば組織塊を意味する。刺激に応答して凝集した細胞、例えば凝固した血液やべとついた組織は、固定された関係にあるとは考えられない。
【００１５】
典型的な顕微鏡スライドは、約１８７５ｍｍ２の組織表面積を有する。２０Ｘの対物レンズを使用して、この面積をカバーするに必要なデジタル画像のおよその数は、１２，５００であって、約５０ギガバイトのデータ格納空間を必要とする。加えて、単一スライドが、おそらくは異なる器官タイプからの、及び／又は異なる患者からの、複数の組織標本を含む場合は、マルチ組織アレイ（ＭＴＡ）が日常的に使用される。組織スライドの分析を自動化に導くと共に経済的に可能とするためには、決定をなすに要する画像の数を低減することが必要になる。組織撮像プロセス及び分析プロセスのアプリケーション用に、組織を位置決定すると共に互いに区別することも必要である。また、プロセスは、ユーザの干渉が最小化されるか消去されるように、影響を受けない手法で進められなければならない。
【００１６】
自動顕微鏡スライド組織マッピングは、上記の要求を達成することを助ける。マッピングは、ハードウエア要素とソフトウエア要素の双方を必要とする。ソフトウエアは、顕微鏡スライド上の組織標本の物理的特徴を規定する撮像情報を決定することに適用されるプロセスを有して、この情報をそのスライドの組織識別データベース記述に関連付ける。このプロセスは、広範な種々の顕微鏡スライドアレイ構成、例えば１つの組織標本を含む構成から多数の組織標本を含む構成に適用可能である。組織マッピングプロセスは、スライド上の特定組織の標的化された撮像を高スループットのロボット式顕微鏡環境で可能にする。
【００１７】
この発明の形態は、固定された関係にある構造の多細胞型細胞の組織サンプルから選択された画像を、生体源、特に動物組織から捕捉することに良く適している。これらの組織サンプルは、外科手術、生体組織検査、又は塊組織が取得される同様の状況から取得され得る。加えて、この発明の形態はまた、塗抹の組織サンプル、細胞塗抹、及び体液から選択された画像を捕捉することに適している。
【００１８】
組織が配置されたスライドの面積の全視野（ＦＯＶ）を与えるカメラ画像データセットが捕捉される。次に、組織は、背景及び人工品、例えば塵、気泡、ラベル、及び顕微鏡スライド上で通常見出される他の異形からセグメント化される。予測される組織の数及び組織ブロックのフォーマット（ブロック、行、列等）を知見しているデータベースを使用して、プロセスは、見出された組織の配置を、スライドに割り当てられたレイアウトに適合する。ソフトウエアは、組織の歪み、引き裂き、フラグメント化についての訂正を適合実習の一部として行う。ソフトウエアはまた、予測されるアレイから外れる組織をアレイ中の正しい位置に関連付ける。組織マッピングプロセスによって、組織位置、半径、境界、光学的濃度、及び集団マップを各組織について含んだスライド画像組織情報が決定及び記録される。
【００１９】
この発明の一実施形態に係る自動顕微鏡スライド組織マッピング用システムは、以下の繰り返しステップを含んでいる。
・全スライド撮像：ロボット式顕微鏡とデジタルカメラを使用して全スライド表面の画像を低倍率で捕捉する。
・組織区間マッピング：スライド表面の画像から、小塊を、存在する人工品から区別される組織であると識別し、識別された組織の位置を記録し、そしてスライド上のそれらの位置をデータベースに記録されている組織自体に訂正する。
・低倍率の組織画像取得：各マップ化された組織区間についてタイル張りされた画像を取得する。個別の画像タイルは、重複した視野をカバーして画像の縫い合わせを容易にする。
・低倍率の関心領域（ＲＯＩ）標的化：画像タイルの縫い合わされた複合画像を分析して、組織内で関心のある指示された組織構造及び細胞タイプを位置決定する。特定の関心のある細胞タイプが低倍率で検出可能でない場合、所望の細胞タイプが存在することが既知である領域が位置決定され、その座標が記録される。
・標的化ＲＯＩの画像取得：低倍率標的化から記録された座標を使用して、ロボット式顕微鏡は、より高い指示された倍率で、特定の関心のある構造及び細胞タイプを取得することに向けられる。
・高倍率のＲＯＩ標的化：高倍率画像は、構造及び細胞タイプの内容について分析される。構造の座標は記録され、そして組織は、より高い指示された倍率で、もう１つの繰り返しの撮像を経る。あるいは画像は、マーカープローブの局在性及び強度について更に分析される。
【００２０】
このシステムは、全スライドスキャン動作に対して重要な利点を有する。この動作は一般に、全スライド表面についてタイル張りされた画像を取得すること、並びに別の二次プロセスで各画像について画像分析を行うことを含んでいる。このシステムで使用される標的化された撮像手法は、分析的決定をなすために取得されなければならない画像の数を最小化する。このことは、分析処理するに必要な時間と、デジタル画像を保存するに必要な格納空間の量に相当な節約を与える。デジタル画像捕捉の自動化は、より矛盾のない診断、有意なコスト節約、及び／又は増加したスループットを手助けする。
【００２１】
［全スライド撮像］
モータ式ステージを装備したロボット式顕微鏡と、デジタルカメラとを使用して、スライド表面の画像が低倍率で捕捉される。１つの画像は、その上にバーコードラベルが刷り込まれたスライドの一部分に集中する。バーコード画像は、市販のバーコードソフトウエアによって分析され、そしてスライド識別は復号される。残りの画像は、スライド上に包含された組織の全てを含む視野を有する。これらの画像は、組織区間の位置をマップすること、並びに組織タイプを識別することに使用される。
【００２２】
［組織マッピング］
組織区間の画像は、マッピングソフトウエアへの入力として使用される。このソフトウエアは、組織区間を画像中で位置決定すると共に、それらを人工品、例えば、塵、気泡、油小滴、及び他の一般に顕微鏡スライド上で見出される異形から区別する。このソフトウエアはまた、見出された組織の配置を、スライドに割り当てられたレイアウトに適合する。特別なスライドについてのレイアウト情報は、そのスライドに対するバーコードデータを使用して、スライドデータベースから受け取られる。このデータは、行及び列の数、並びにアレイ中の各組織要素の予測される直径に関する情報を含んでいる。このソフトウエアは、組織の歪み、引き裂き、フラグメント化についての訂正を適合実習の一部として行う。各組織を所定のレイアウト位置へ適合させるときに、スライドデータベースから得られた情報から組織タイプが決定され、そして次にその組織タイプに対して指示された撮像プロトコルが行われる。マッピングソフトウエアは、ピクセル座標を組織の境界について記録する。区間がセグメント化される場合、境界は、予測された直径内に全ての見出されたフラグメントを包含する領域から算出される。このソフトウエアはまた、ユーザが手動操作で座標記録用の組織位置を選ぶことができるようにする。このことにより、システムは、小さなサブセットの面積が分析用に望まれる大きな単一組織、例えば脳を収容することができる。
【００２３】
［低倍率画像取得］
マッピングソフトウエアによって生成されたピクセル座標を使用して、各区間に対するステージ座標が算出され、ロボット式顕微鏡の方向付けに使用される。異なる顕微鏡からステージ座標が生成できるようにするステージ座標システムが利用され、組織のＸＹ位置がどの顕微鏡上でも精密に再生される。制御ソフトウエアは、顕微鏡にスライドの位置決めを命令し、撮像される第１の組織区間が対物レンズの下方に配置されるようにする。５Ｘのような低倍率の対物レンズを使用して、このシステムは、タイル張りされた画像を重複が最小の範囲率で取得する。組織マップ画像から求められたデータに基づいて、このシステムは、非組織の空スペースが最小面積である場合の画像を獲得する。このことは、特別な組織をカバーするに必要な画像の数を減少するためになされ、かくしてディスク格納空間及び処理時間を節約する。
【００２４】
スライド上の各組織区間に対する画像捕捉は、モータ式ステージによる長距離移動の数を最小化するように進行して、組織の全てをタイル張りするに必要な時間量を低減する。顕微鏡及びカメラの全機能、例えば位置決め、オートフォーカス、ホワイトバランス及び露光は、この制御ソフトウエアによって行われる。
【００２５】
［低倍率標的化］
各組織区間について低倍率のタイル張りされた画像のセットは縫い合わされて、全組織区間の表現となる単一の複合画像になる。縫い合わせソフトウエアは、Ｎ×Ｍフォーマットのタイル張りされた画像を１００２画像まで収容する。このソフトウエアはまた、まばらな占有のモザイク（画像が抜けている）を処理し、また垂直及び水平の位相調整を自動的に計算して、ステージオフセットを収容する。これらの特徴は、大きな組織区間及び小さなフラグメント化された組織芯に典型的である不規則な形状の組織区間の処理を可能にする。画像の不連続性は、画像の境界で全境界モーフィングと３次元マッチングを使用することにより消去される。
【００２６】
縫い合わされた画像は、それから分析される。これは、その区間に関連した組織に特異な特徴的形状のリストに従って、関心のある構造及び細胞タイプの存在を決定するためである。そのようなリストの一実施形態は（表Ａ）に示されている。関心のある特別な構造または細胞タイプがこの倍率で視認できない場合、これらの特徴的形状が関連する上で既知である領域が標的化される（例えば、精巣内のライディッヒ細胞）。ピクセル座標のリストは、顕微鏡を方向付けして関心のある所望領域のより高倍率の画像を取得することに使用されるソフトウエアによって生成される。関心のある構造及び細胞タイプの存在は、組織特定フィルタセットからなる一組のＲＯＩセレクタツールを使用して決定される。このソフトウエアは、複合画像内のＲＯＩを識別し、それからピクセル位置を、ソート動作の目的に使用される最小感度を伴って生成する。最小感度に対して最高値を有するｎ個の領域位置は、ユーザ定義パラメータによって特定されるように、次に高い倍率で撮像するためにロボット式顕微鏡に送られる。
【００２７】
【表１】
【００２８】
［標的化画像取得及び高倍率標的化］
ロボット式顕微鏡の制御ソフトウエアは、ＲＯＩセレクタソフトウエアによって生成された領域座標のリストを利用する。また顕微鏡は、新規画像をより高い指示された倍率で取得することに向けられて、各新規画像に対する視野が一次的に関心のある構造又は細胞タイプを含むようにする。前区間と同様の手法で、認識ソフトウエアは、関心のある所望領域の存在について新規画像を分析する。ＲＯＩが前回の倍率で視認可能である場合、より高い倍率画像がＲＯＩセグメント化及びプローブマーカの局在性、及び／又は発表について処理される。関連した領域だけが所望ＲＯＩについて前回の倍率で視認可能である場合、新規画像は、二次認識アルゴリズムで所望ＲＯＩについて分析され、そしてプロセスは、二回目の繰り返しを経る。この取得及び分析の益々高い倍率（解像度）への繰り返しプロセスは、所望の構造が位置決定されるか、あるいはその構造が特別な標本中には存在しないことが決定されるまで継続する。
【００２９】
［特定構造セグメント化及びプローブマーカの局在性］
標的化された取得の結果生ずる高倍率画像は、認識ソフトウエアを使用して所望ＲＯＩの存在について分析される。関心のある特徴的形状は、画像中で識別され、残りの要素から分離される。セグメント化された特徴的形状は、蛋白質かＲＮＡ発現生成物である求められた成分に対するプローブマーカの同時存在について分析される。このマーカは通常、組織中に存在する他の染料から明瞭に区別される染料である。マーカと関心のある特徴的形状との共存は、求められた成分の局在性を構造又は細胞タイプに対して示すものである。プローブマーカはまた、定量化される。これは、構造又は細胞タイプ内で成分の発現の相対量を測定するためである。
【００３０】
［作業例］
自動顕微鏡スライド組織サンプルマッピング用システムの作業例に使用されるハードウエア及びソフトウエア要素が、以下で説明される。この説明は単なる例証であって、制限的であると考えられるべきではない。ハードウエア要素は、
−ライカ社の２．５Ｘ、５Ｘ、１０Ｘ、２０Ｘ及び４０Ｘ付きＤＭＬＡ自動顕微鏡と、
−顕微鏡画像捕捉用診断機器であるスポットインサイト４型カメラと、
−３色ＬＥＤ光源と、
−３００スライド自動装填及びモータ式ステージと、
−少なくとも５１２ＭＢのメモリと大型（３０＋ＭＢ）のハードドライブ、表示画面、及びＭＳ−ウインドウズＯＳ（２０００、ＮＴ又は９８）を備えた２＋ＧＨｚのＰＣを含んだコンピュータハードウエアと、を有する。そのようなコンピュータ１６台の列は、全てソフトウエアを装填されている。それらは、ＭＡＭＱ（マイクロソフト社のメッセージングキュー）及びＸＭＬフォーマットで記載されたメッセージを使用して、ネットワーク上で互いに交信する。ソフトウエアは、このＰＣの処理能力の全てを利用するので、マシンはこの１つの目的専用とされる。１つのバージョンのソフトウエアはまた、単一のデスクトップ型ＰＣ上で実行され、バッチ式の画像処理が可能である。
【００３１】
このシステムはまた、ツアイス社のアキシオプランＩＩ型顕微鏡に取り付けられたＲＧＢフィルタ輪を有するＤＶＣ１３１０カメラを使用すると、うまく機能する。ソフトウエアは、成分セットに対し感度がある。
【００３２】
ソフトウエア要素は、オートフォーカス、自動校正、運動制御、画像調整、及びホワイトバランス用のハードウエア制御ソフトウエアを含む。ソフトウエア要素はまた、システムが標的化された撮像をなすことができるようにする組織マッピングソフトウエアを含む。システムは、スライド全体ではなく、組織を含んだ領域だけを撮像する。解像度は、２０Ｘ対物レンズで０．３３５ミクロン／ピクセルである。細胞核の特徴的形状のような下部細胞的詳細は、２０Ｘ対物レンズ付きシステムによって取得された画像中で容易に理解可能である。これら２０Ｘ画像の適切な細胞及び構造についての分析は、より高い倍率の画像が必要時にのみデータ分析用に捕捉されることを可能にし、それ故スループットを増加する。バーコード読み取りソフトウエアは、スライド及び組織に関係したデータが、外部データベースに対し検索及びファイルされることを可能にする。
【００３３】
図１Ａ−Ｄ及び２は、この発明の一実施形態に係る画像捕捉システム２０を示している。このシステムは、組織マイクロアレイの組織サンプルの画像を第１の解像度で表す第１のピクセルデータセットを捕捉すると共に、この第１のピクセルデータセットをコンピュータ計算装置１００に与える。図１Ａは、顕微鏡スライド２８上に搭載された組織マイクロアレイ２４の組織サンプル区間２６に合焦されたレンズ２２を持つロボット式病理顕微鏡２１を示している。ロボット式顕微鏡２１は、ロボット式顕微鏡を動作させるコンピュータ（図示せず）を含んでいる。顕微鏡スライド２８は、スライドの識別用に取り付けられたラベル（図示せず）、例えば市販のバーコード又はＲＦＩＤ（無線周波数識別）ラベルを有する。このラベルは、以下では便宜上バーコードラベルと称されるが、これはデータベースをスライド上の組織サンプルに関連付けることに使用される。
【００３４】
組織サンプル、例えば組織サンプル２６は、任意の方法によって顕微鏡スライド２８上に搭載される。組織は、新鮮なものであるか、又は組織及び組織抗原を保存し且つ死後劣化を回避するために定着剤に浸漬される。例えば、新鮮冷凍されたものか、あるいは定着剤に浸漬された後冷凍された組織は、クロスタット又はスライド式ミクロトーム上で区分され、そして顕微鏡スライド上に搭載される。定着剤に浸漬された組織は、ヴィブラトーム上で区分され、そして顕微鏡スライド上に搭載される。定着剤に浸漬され、且つある物質、例えばパラフィン、プラスチック、エポキシ樹脂、又はセロイジン内に埋設された組織は、ミクロトームで区分され、そして顕微鏡スライド上に搭載される。
【００３５】
ロボット式顕微鏡２１は、高解像度並進ステージ（図示せず）を含んでいる。組織マイクロアレイ２４を含んだ顕微鏡スライド２８は、手動操作で又は自動的にロボット式顕微鏡２１のステージ上に装填される。以下で更に詳細に説明されるように、コンピュータ計算装置１００内に駐在することがある撮像システム１１０は、全顕微鏡スライド２８の単一の補助デジタル画像を取得し、そして補助デジタル画像をマップして、顕微鏡スライド２８上の組織マイクロアレイ２４の個別組織サンプル標本を位置決定する。
【００３６】
図２を参照すると、本発明の一実施形態に係るコンピュータ計算装置１００は、ソフトウエア実施型撮像システム１１０がその中に駐在するメモリ１２０と、撮像システムが構成される命令を実行可能な中央処理ユニット（ＣＰＵ）１３０と、プロセッサと例えば顕微鏡２１の間の通信を可能にするためのインターフェース１４０とを含む。
【００３７】
図３を参照すると、例示的アレイ２４の構成要素サンプル２６は、一般的に３×３アレイを形成する。しかしながら、典型的なことだが図示されているように、組織サンプルをスライド２８上に配置する際の不注意なエラーの結果、サンプル２６のいくつかは水平方向に及び／又は垂直方向に不揃いにされる（即ち、アレイ２４が「歪められる」）。
【００３８】
アレイ２４は歪められているが、例えば人間の技術者は、アレイが３×３構成を持つことを認識できる。従って、その技術者は、各サンプル２６の識別を、将来の参照のために、データベースに登録することが可能である。これは、アレイ２４内における各サンプルのそれぞれの位置及び識別をデータベースに入力する（また、そのようにすることによって、暗にアレイのサイズも入力する）ことによって行われる。この場合、例えばコード２５に関連付けられ且つスライド２８を識別する参照番号も同時に入力される。
【００３９】
しかしながら、歪みのために、人間以外によるアレイ２４の検査は、３×３アレイ内で特別なサンプル２６が特別な位置を有するという決定を本質的に生ずることになり、従ってサンプルの自動識別はできない。
【００４０】
以下で論議されるように、撮像システム１１０は、組織アレイ２４内の各サンプル２６を、上述したデータベースに登録された対応する位置にマップするように動作して、各サンプルの自動識別を可能にする。このマッピング機能は、ここで論議される組織サンプルの自動分析に重要な動作である。
【００４１】
この発明の一実施形態では、カメラ画像データセットは、カメラ２３によって捕捉される。このカメラは、組織アレイ２４及びバーコード２５が置かれるスライド２８の面積の全視野（ＦＯＶ）を与える。画像は、低い（例えば巨視的な）倍率で取得された単一のＲＧＢカラー画像である。このカラー画像は、コンピュータ計算装置１００によって受け取られ、その画像は、以下の論議で説明されるように、撮像システム１１０を使用して分析され、マップされる。
【００４２】
ＦＯＶ画像は、ＲＧＢカラーモデルからＨＩＳ（色相、強度及び飽和）フォーマットに変換され更に反転されて、撮像された組織サンプルを信号ドメインの正のスケール上に配置する。全ての後続する処理は、画像の強度成分から求められる。
【００４３】
画像は、繰り返し検査されて、スライド基準（即ち、境界や他のスライド位置マーカ）及び／又は非照射領域を位置決定すると共にマスクする。このことは、例えば全てのピクセルを全ダイナミックレンジの１８％未満の範囲で隔離し、それからこれらピクセルの各接続されたグルーピングを検査することによって達成される。１つのグルーピングが境界上（画像ＦＯＶの幅又は高さの最小値の１０％内）にあり、且つそのピクセル濃度が画像中の総数の０．０４パーセント未満である場合、そのグルーピングは、基準又は非照射領域であると推定され、全ての後続工程について非処理領域としてタグ付けされると共にマスクされる。
【００４４】
中間フィルタはそれから、有意なデータ取得ノイズを除去するために残りの画像に対して適用され、またその統計的特性を決定するために調べられる。それから、３×３ボックスのカーネル間隔上の各点におけるピクセル強度の局部近隣信号分散を計算することによって、二地点間の分散マッピングに変換される。この動作の結果は、信号ダイナミックレンジの２５パーセントだけ位相シフトされ、そして図４に示される応答関数によって非線形伸長される。この動作は、画像背景を効果的に平坦化し、また存在するかもしれない縫い合わせパネル効果の大半を除去する。
【００４５】
結果として得られた画像は、それからスキャンされて、伸長分散信号の内容の最小、最大、中間、及び標準偏差を決定する。それからしきい値が、中間値に標準偏差の３／４をプラスした値に設定される。このレベルより低い全ての信号はゼロに設定され、またこのレベル以上の全ての信号は２５５に設定されて、組織が撮像される関心のある領域を表す二値組織マスクを創生する。それから種々の既知の形態学的領域充填及び平滑演算子が適用されて、結果として生ずる関心のある組織マスク領域を塞ぐ。
【００４６】
カバースリップ線の人工品は、ＦＯＶ画像内にしばしば現れる。この人工品を消去する処置は、画像組織境界に対する繰り返しスキャン並びに密集したピクセルの各グループに対するテストと共に開始され、それらが線形の形状であるか、また境界と交差しているか否かを決定する。幅がＦＯＶの少なくとも３３％であるか、高さがＦＯＶの５０％であると見出され、且つ真に狭く且つ線形の形状であるものは、組織マスクから除去される。
【００４７】
最後に、組織マスク内のピクセルの各個別接続されたグルーピングが検出され、独得なタグに割り当てられる。このグルーピングは、それからエッジ追跡ユーティリティにかけられ、またピクセルの外側境界はタグの負値としてタグ付けされる。この動作中に、組織密集の重心座標、境界限度、偏心率及び真円度の測度が計算され、そして位置割り当てされた対象物と関連した後の使用のために、無秩序のリストに格納される。対象物は、スライド上の組織の頻繁な不規則配置故に、無秩序に残される。製造プロセスの結果、複数の組織アレイは、僅かに傾いてスライド上に配置される。それらは、歪められ、例えばスライドエッジによって規定されるＸ−Ｙ軸に対し回転させられている。以下で更に詳細に論議されるように、組織歪み及び回転の効果は、標的化処置の間に斟酌される。
【００４８】
各対象物に対する位置属性及び強度ＦＯＶ画像を使用して、対象物サイズ、テクスチャー及び濃度の分析が行われる。サイズ、テクスチャー及び濃度のしきい値に一致しない対象物は、二値画像から除去される。これは、不注意に組織視野内に現れる外来の対象物、例えばスライドラベル及び人工品を消去するために行われる。処理された二値画像は、標的化処置で使用されるために保存される。
【００４９】
以下で更に詳細に説明されるように、標的化処置は、理論的スライドアレイグリッドの創生を含む。それから理論的アレイは、最も適した最適化処置を使用して、二値組織画像に重ね合わされる。これは、スライド上への組織配置の結果生ずる歪み及び回転分散に配慮するためである。一度グリッドが最適配置されると、セグメント化工程で見出された組織対象物は、行−列位置に割り当てられる。組織対象物とアレイ内の位置との関連は、組織タイプの識別をスライドデータベースへの質問によって可能にする。
【００５０】
標的化処置の第１工程は、組織アレイ２４の回転角を決定することである。この角度は、スライド製造プロセスの結果生ずることがある。図５を参照すると、アレイ２４の二値画像４００のＸ及びＹ軸に沿ったヒストグラム分析が実施され、最大強度（組織対象物；白）及び最小強度（背景；黒）を測定する。アレイ２４中の各行及び列について、対応する強度曲線４１０，４２０が各軸上にある。例えば、４行及び６列がアレイ中にある場合、４本の対応する曲線がＹ軸上に、また６本の対応する曲線がＸ軸上あることになる。各曲線４１０，４２０下の面積は、決定され、各軸について加えられる。ピーク最小値及び最大値が記録される。
【００５１】
それから画像は、再マッピングピクセルによって画像の中心の回りを０．５°ずつ回転される。ヒストラム分析及び曲線面積データの累積のプロセスは、ある角度範囲にわたって繰り返される。組織の最大累積分離及びＸ及びＹ軸下の空スペースに対応する回転の角度は、アレイ２４に対する回転角として記録される。
【００５２】
二値画像内の組織対象物の中間サイズと、対象物間の中間Ｘ及びＹ距離とが決定される。このデータは、例えばＦＯＶ画像に関連したバーコード２５の読み取り値によって取得されたアレイ２４内の行及び列の数に関する前知識と共に、図５に示されている理論的アレイ５１０を生成することに使用される。アレイ５１０内の各要素５２０は、スキャン分析によって決定された中間値に対応する直径を持つ放射状サンプラーである。要素５２０間の距離５３０もこの中間値を反映している。各アレイ要素５２０は、既知の行／列位置（即ち、Ａ１，Ｄ３）に対応する。この位置は、例えばメモリ１２０に格納される上述したスライド２８の組織濃度データベースの記述で言及されたものである。理論的アレイ５１０は、二値画像の形態で記録される。
【００５３】
図６に更に示されているように、理論的アレイ５１０は、二値組織画像４００の上に重ねられる。理論的スポット５２０と組織スポット６２０との間の一致の尺度が作られる。理論的アレイ５１０は、アレイ２４に対しＸ及びＹ軸に沿ってピクセル式に移動される。理論的スポット５２０と組織スポット６２０との間の一致の測定は、各繰り返しを使ってなされ、そして前回の繰り返しと比較される。理論的アレイ５１０は、一致の尺度が最大値に達するときに、重ね合わせに最適位置となる。２つの二値画像４００，５１０上でＡＮＤ演算子を使用して、一致の尺度は作られ、組織と空スペースとに等しい重みを与える。
【００５４】
それから、各理論的スポット５２０に対する重心が算出される。距離ベクターは、重心の回りを、各理論的スポット５２０に対する重心から０．５半径の距離へ引かれる。スポット５２０の回りで拡張された面積と二値画像４００内の組織対象物２６は、比較される。０．５半径内に配置された組織対象物２６は、理論的スポット５２０用の行及び／又は列の識別子に割り当てられる。このプロセスは、漸進的に広くなる半径を使用して、無秩序リスト内の修飾対象物の全てが行及び／又は列の識別子に割り当てられるまで繰り返される。１．５半径内で一致しない対象物は、識別子に割り当てられず、結果的にアウトライアーとみなされる。適合プロセスの繰り返し性は、小さく且つ悪くフラグメント化された組織対象物２６や整合不良の組織対象物２６を、システムが斟酌できるようにする。
【００５５】
割り当てプロセスでは、無秩序組織対象物リスト内の組織対象物記載事項は、対象物２６が割り当てられるときに、除去される。前工程における比較プロセスの後の全繰り返しは、リストに対してチェックされる。これは、リスト内の対象物２６だけに位置識別子が割り当てられていることを確かめるためである。このことで、各組織対象物２６が１つの位置だけに割り当てられることを確実にする。大きな組織フラグメントは、この修飾なしに、複数のアレイ位置に割り当てられる。
【００５６】
各組織位置に対する新規の境界は、左上、右下及び重心ピクセル座標として算出され、新規の組織ＩＤマップを創生する。各新規境界内のピクセルは、組織又は空スペースによる占有を示すようにマークされる。この新規マップは、顕微鏡制御ソフトウエアが組織の画像をより離散的な手法で取得して、組織内及び組織間の空スペースを回避できるようにする。この新規マップはまた、種々のスケールで画像の取得を案内することに使用される。
【００５７】
図７を参照すると、この発明の一実施形態に係る、例えばスライド上に搭載された組織のアレイをマッピングするためのプロセス６００が描かれている。第１のステップ６１０において、マップされる組織サンプルのセットが搭載されたスライドが顕微鏡２１上に置かれる。ステップ６２０において、カメラ２３は、組織セットの画像を捕捉し、その画像をコンピュータ計算装置１００に送信する。ステップ６３０において、撮像システム１１０は、画像上に存在することのある人工品から組織サンプルを上述した手法で区別する。ステップ６４０において、撮像システム１１０は、画像内の各サンプルの位置を識別するように動作する。ステップ６５０において、組織サンプルは手動操作で識別され、各組織サンプル識別は対応するアレイ位置でデータベースに格納される。ステップ６６０において、撮像システム１１０は、上述した論理的アレイ内における組織サンプルのそれぞれの位置を、格納されたアレイ位置と比較することによって、各組織サンプルを識別するように動作する。
【００５８】
図１Ｂは、組織マイクロアレイ２４の補助デジタル画像３０を示す。この画像は、組織マイクロアレイ２４内の各組織サンプルの補助レベル画像、例えば組織サンプル２６及びバーコードの補助組織サンプル画像３６を含んでいる。画像３０は、ロボット式顕微鏡によってマップされ、組織区間の位置を顕微鏡スライド２８内で決定する。バーコード画像は市販のバーコードソフトウエアによって分析され、また識別情報は復号される。
【００５９】
システム２０は、各組織サンプルの微視的画像の取得を第１の解像度で可能にする一連のステージ位置を自動的に生成する。必要であれば、組織サンプルの複数の重なった画像が取得され、一緒に縫い合わされて、組織サンプル全体をカバーする単一の画像を形成する。組織サンプルの各微視的画像はデジタル化されて、組織サンプルの画像を第１の解像度で表す第１のピクセルデータセットになる。このデータセットは、コンピュータシステムで処理可能である。各画像に対する第１のピクセルデータセットは、それから分析のために専用のコンピュータシステムに転送される。顕微鏡スライド２８の組織サンプルを含む領域だけを撮像することによって、システムは実質的にスループットを増加する。ある点で、システム２０は、組織サンプルの組織タイプの識別を取得する。この識別は、組織マイクロアレイ２４に関連したデータであって、上述したマッピングプロセスを使用してシステム２０により決定されたデータによって与えられる。この場合、論議の範囲外の方法、又は他の手段を使用する。
【００６０】
図１Ｃは、ロボット式顕微鏡２１によって第１の解像度で取得された組織サンプル２６の組織サンプル画像４６を示している。繰り返し多細胞パターンに基づいて組織構成要素を認識するコンピュータシステム及び方法にとって、組織サンプルの画像は十分な倍率又は解像度を有すべきである。これは、多数の細胞を跨ぐ特徴的形状が組織内で発生したときに、それらが画像内で検出可能となるようにするためである。典型的なロボット式病理顕微鏡２１は、カラーデジタル画像を５ｘ〜６０ｘの範囲の倍率で生じる。画像は、デジタル電荷結合素子（ＣＣＤ）カメラによって捕捉され、そして２４ビットのタグ付き画像ファイルフォーマット（ＴＩＦＦ）のファイルとして格納される。各ピクセルの色及び輝度は、赤、緑及び青チャネル（ＲＧＢ）の強度のそれぞれに対応した０〜２２５（８ビット）の範囲内の３整数値によって特定される。組織サンプル画像４６は、システム２０内での使用に適した任意の倍率及びピクセル濃度と、組織サンプル２６内の関心のある構造を識別するために選択されたアルゴリズムとによって捕捉される。ここで使用されているように、関心のある構造の識別は、構造自体、又は構造プラスその構造を囲む領域を所定公差内で識別することによって達成される。倍率とピクセル濃度は、関連していると考えられる。例えば、相対的に低い倍率と相対的に高いピクセル濃度は、相対的に高い倍率と相対的に低いピクセル濃度のように、接近して配置された対象物間を区別する同様の能力を生じる。この発明の一実施形態は、５ｘの倍率と、１０２４行×１２８０列の単一画像のピクセル寸法とを使用してテストされている。このことにより、第１の解像度の有用な第１ピクセルデータセットを与えて、関心のある構造を識別する。この場合、構造識別アルゴリズムを実行するコンピュータ計算装置に対して過剰なメモリ及び記憶装置を要求することはない。上述したように、複数の重なった画像（タイル）を集め、それらタイルを一緒に縫い合わせて単一の組織サンプル画像４６を処理用に形成することによって、組織サンプル画像４６は組織サンプル２６から取得される。
【００６１】
その代わりに、組織サンプル画像４６は、任意の方法又は装置を使用して取得される。十分に高い解像度で画像を捕捉するプロセスが使用される。例えば、可視光以外の電磁放射の他の周波数を利用する方法や、Ｘ線ビームのように高度に合焦されたビーム又は電子の顕微鏡によるスキャン技術である。例えば、１つの代替実施形態では、組織を有機体から採取することなく、組織サンプル内の多細胞の画像が捕捉される。細胞組織を採取することなく、人間の皮膚の細胞構造を示すことができる顕微鏡がある。組織サンプル画像４６は、人の皮膚のデジタル写真を撮るための可搬型デジタルカメラを使用して取得される。内視鏡技術の継続的な進歩は、胃腸管、肺、血管及び内視鏡に接近可能な他の内部領域の壁面の細胞構造を示す組織サンプル画像の内視鏡的取得を可能にする。同様に、侵襲性プローブは人間の組織内に挿入され、インビボ組織画像撮像に使用される。画像分析用の同じ方法は、これらの方法を使用して集められた画像に適用される。他のインビボ画像生成法が使用できるのは、それらが多細胞画像中の特徴的形状を区別できる場合、あるいは細胞核の表面上のパターンを十分な解像度で区別できる場合である。これらは、画像生成法、例えばＣＴスキャン、ＭＲＩ、超音波、又はＰＥＴスキャンを含んでいる。
【００６２】
図１Ｄは、第１の解像度の第１のピクセルデータセットの形態の組織画像４６をコンピュータ計算装置１００へ与えるシステム２０を示している。コンピュータ計算装置１００は、通信リンク１１８を通して第１のピクセルデータセットをメモリに取り込む。システム２０はまた、バーコードラベルを使用して、組織画像４６に関連したデータベースから組織タイプの識別を与える。
【００６３】
コンピュータ計算装置１００上で走るアプリケーションは、複数の構造識別アルゴリズムを含んでいる。複数のアルゴリズム中の構造識別アルゴリズムの少なくとも２つは、異なる組織タイプに反応する。また、各構造識別アルゴリズムは、与えられた組織タイプについて関心のある構造の存在下で、その与えられた組織タイプ内の少なくとも１つの細胞パターンと相関する。このアプリケーションは、組織タイプに反応する少なくとも１つの構造識別アルゴリズムを選択し、そして選択されたアルゴリズムを適用して、組織タイプについて関心のある構造の存在を決定する。
【００６４】
コンピュータ計算装置１００上で走るアプリケーションとシステム２０は、通信リンク１１８を通して交信し、そして協力してロボット式顕微鏡２１を調整し、第２のピクセルデータセットを第２の解像度で捕捉する。第２のピクセルデータセットは、関心のある構造の画像５０を表す。第２の解像度は、第１の解像度に比べて一段階増加され、画像内で接近して配置された対象物を互いに区別する。調整は、ロボット式顕微鏡２１の高解像度並進ステージを関心のある構造の画像捕捉用の位置へ移動させることを含む。調整はまた、適切な倍率を有するレンズ２２を選択すること、又は適切なピクセル濃度を有するＣＣＤカメラを選択すること、あるいは双方を、より高い第２の解像度で第２のピクセルデータセットを取得するために含んでいる。
【００６５】
コンピュータ計算装置１００上で走るアプリケーションとシステム２０は、協力して第２のデータセットを捕捉する。関心のある複数の構造が組織サンプル２６中に存在する場合、複数の第２ピクセルデータセットが組織画像４６から捕捉される。第２のピクセルデータセットは、システム２０により通信リンク１１８を通してコンピュータ計算装置１００に与えられる。第２のピクセルデータセットは、関心のある構造の位置決定用に適用された構造識別アルゴリズムを有するか、あるいは組織タイプ及び構造識別アルゴリズムによって生成された情報と共に、コンピュータ計算装置１００内に格納されてもよい。この代わりに、関心のある構造５０を表す第２のピクセルデータセットは、明確な可視的媒体、例えばカメラ内の感光性フィルム又はコンピュータモニタ上で捕捉されるか、あるいはコンピュータ計算装置１００から任意のタイプの可視的ディスプレイ、例えばモニタやインクプリンタに印刷するか、他の好適な手法で与えられてもよい。第１のピクセルデータセットは、その後廃棄される。捕捉された画像は、全自動プロセスで使用することができる。このプロセスでは、遺伝子発現を正常及び病的組織内で局在化すると共に、疾病を種々の発達段階で識別する。捕捉された画像のそのような更なる用途は、この論議の範囲外である。
【００６６】
関心のある構造５０の高解像度画像（第２のピクセルデータセット）の捕捉と、低解像度画像（第１のピクセルデータセット）の廃棄は、自動化処理に必要な記憶装置の量を最小化する。組織サンプル２６の関心のある構造を有する部分は、格納される。低解像度画像（第１のピクセルデータセット）を保存する必要はない。何故ならば、関連した関心のある構造は、高解像度画像（第２のピクセルデータセット）に捕捉されているからである。
【００６７】
図８は、この発明の一実施形態に係る、組織サンプル内の関心のある構造の画像を自動的に捕捉する画像捕捉アプリケーションにおける複数の対象物クラスファミリーを示す分類図である。対象物クラスファミリー１５０は、組織クラス１６０と、ユーティリティクラス１７０と、フィルタクラス１８０とを含む。フィルタクラス１８０は、ここでは「複数の構造識別アルゴリズム」とも呼ばれる。関心のある構造の画像を自動的に捕捉するアプリケーション及び方法の形態は対象物重視の状態で論議されているが、この形態は、コンピュータ計算装置、例えば図１Ｄのコンピュータ計算装置１００上で走ることが可能な任意の手法で実施することもできる。対象物クラスファミリー１５０に加えて、図８はまた、構築されテストされたインプリメンテーションの一部である対象物クラスCVPObject及びCLSBImageを示している。この代わりに、構造識別アルゴリズムは、コンピュータシステムによって、人工知能法、例えばニューラルネットワークを使用して自動的に開発される。これは、「有機材料中の画像パターン認識用コンピュータ法」なる名称で２００２年４月９日に出願された米国特許第１０／１２０，２０６に開示されている。
【００６８】
図８は、表１に掲載された組織タイプ又は組織サブクラスについて構築及びテストされた、この発明の一実施形態を示している。組織クラス１６０は、複数の組織タイプサブクラスを含む。各組織タイプに対する１つのサブクラスは、画像捕捉アプリケーションによって処理される。図８に示された組織タイプサブクラスの一部分は、胸部１６１、結腸１６２、心臓１６３、及び腎臓皮質１６４である。
【００６９】
【表２】
【００７０】
表１の組織タイプについて、各組織タイプに対して関心のある構造は、中間の欄に掲載された組織構成要素の少なくとも１つからなり、また組織成分のいくつか又は全てを含むこともできる。この発明の１つの形態は、どの組織構成要素が関心のある構造を構成するかを、ユーザが指定できるようにする。加えて、表１の組織タイプについて、右側の欄は、与えられた組織タイプに反応するフィルタクラス１８０（複数の構造識別アルゴリズム）の１以上のメンバー（構造識別アルゴリズム）を掲載している。例えば、結腸１６２の組織タイプに対して関心のある構造は、上皮、筋肉粘板、平滑筋、粘膜下組織の組織構成要素の少なくとも１つであり、また反応フィルタクラスは、FilterColonZoneである。表１によって示されているように、このアプリケーションは、FilterColonZoneをコールして、上皮、筋肉粘板、平滑筋、粘膜下組織の組織構成要素によって形成される少なくとも１つの細胞パターンと相関させ、結腸組織１６２中で関心のある構造の存在を決定する。
【００７１】
フィルタクラス１８０のフィルタサブクラスは、図８にFilterMedian１８１、FilterNuclei１８２、FilterGlomDetector１８３、及びFilterBreatMap１８４として示されている。表２は、フィルタクラス１８０のフィルタサブクラスのより完全な論議を提供し、各フィルタサブクラスのいくつかの特徴を論議する。フィルタクラス１８０は、特定組織タイプフィルタ及び汎用フィルタの双方を含む。「フィルタ中間マスクフォーマット」の欄は、二値構造マスクを生成することに適用される演算子に先行した中間マスクを記述している。
【００７２】
【表３】
【表４】
【表５】
【表６】
【表７】
【表８】
【表９】
【表１０】
【００７３】
例えば、結腸１６２の組織タイプについて関心のある構造の存在を決定するとき、このアプリケーションは、反応フィルタクラスFilterColonZoneをコールする。表２が確立しているものは、FilterColonZoneが、５Ｘの解像度画像倍率で組織サンプルを表す第１のピクセルデータセットを使用して、３２ｂｐｐで結腸の領域をマップすると共に、グレイレベルによって符号化された３２ｂｐｐ（Ｒ＝Ｇ＝Ｂ）で中間マスクを計算することである。この発明の一形態は、フィルタクラス１８０のサブフィルタが、各組織タイプに固有な特徴的形状を利用するが、特定の染料や特定の抗体マーカの使用を必要としない点である。
【００７４】
表２のフィルタのより詳細な論議は、「組織サンプル内で関心のある構造のコンピュータ式画像捕捉」なる名称で２００３年６月１７日に出願された共有のＰＣＴ特許出願ＰＣＴ／ＵＳ２００３／０１９２０６に見出すことができ、その全体は全ての目的に対して参照によりここに組み入れられる。
【００７５】
図９は、この発明の一実施形態に係る、組織サンプル内の関心のある構造の画像を自動的に捕捉するコンピュータ式方法の論理フロー２００を示す図である。組織サンプルは、典型的に論理フロー２００を開始する前に染色されている。組織サンプルは、細胞核を可視化するための細胞核対照染料、例えばＤＮＡ／ＲＮＡ含有構造に対して強い親和性を有する紫−青系染料ヘマトキシリンで染色される。組織サンプルはまた、一般的には「ファーストレッド」染料として知られるベクター研究所製のベクターレッド（ＶＲ）（登録商標）のような赤色アルカリ性ホスファターゼ基質で染色されていてもよい。ファーストレッド染料は、既知の抗体付近に沈殿して、関心のある蛋白質が発現された場所を可視化する。そのような組織内の領域は時々、「ベクターレッドポジティブ」領域又は「ファーストレッドポジティブ」領域と呼ばれる。ある位置のファーストレッド信号強度は、その位置に結合したプローブの量を示している。組織サンプルはしばしば、ファーストレッドで染色されている。これは、組織サンプルを、関心のある構造の存在の決定以外に使用するためである。ファーストレッドサインは通常、この発明の構造識別アルゴリズムによって抑制される。その代わりに、組織サンプルは、組織対照染料、例えばエオシンで染色されることもあり、またファーストレッドの代替染料、例えばジアミノベンジジン（ＤＡＢ）、あるいはテトラゾジウム塩、例えばＢＣＩＰ／ＮＢＴを使用してもよい。
【００７６】
開始ブロックＳ後に、論理フローはブロック２０５に移動し、ここで組織サンプル２６の微視的画像が第１の解像度で捕捉される。ブロック２０５ではまた、第１の解像度で捕捉された組織サンプルの捕捉されたカラー画像を表す第１のピクセルデータセットが生成される。さらにブロック２０５では、画像捕捉装置を調整して、第１のピクセルデータセットを第１の解像度で捕捉することもできる。
【００７７】
論理フローはブロック２１０に移動し、ここで第１のピクセルデータセットと組織サンプルの組織タイプの識別とがコンピュータ計算装置のメモリ、例えばコンピュータ計算装置１００のメモリ１０４内に取り込まれる。それから論理フローはブロック２１５に移動し、ここで関心のある構造のユーザ指示が受け取られる。例えば、ユーザは、結腸組織の上皮組織構成要素に関心を持つことがある。ブロック２１５において、論理フローは、上皮が関心のある構造であるとするユーザの指示を受け取る。
【００７８】
次に、論理フローはブロック２２０に移動し、ここで組織タイプに反応する少なくとも１つの構造識別アルゴリズムが、コンピュータ計算装置に格納されている複数の構造識別アルゴリズムから選択される。複数のアルゴリズム中の構造識別アルゴリズムの少なくとも２つは、異なる組織タイプに反応する。また、各構造識別アルゴリズムは、与えられた組織タイプについて関心のある構造の存在下で、その与えられた組織タイプ内の少なくとも１つの細胞パターンと相関する。構造識別アルゴリズムは、データのフィルタ処理用にコンピュータシステム上で走らせられる任意のタイプのアルゴリズム、例えば図８のフィルタクラス１８０でよい。
【００７９】
論理フローは次にブロック２２５に移動し、ここで少なくとも１つの選択された構造識別アルゴリズムが、画像を表す第１のピクセルデータセットに適用される。組織タイプが結腸組織である前の例を使用すると、適用された構造識別アルゴリズムはFilterColonZoneである。そのFilterColonZoneアルゴリズムは、第１のピクセルデータセットを３つのクラスの領域、即ち細胞核、細胞質、及び白色スペースにセグメント化する。セグメント化の結果に基づいて各クラスの「濃度マップ」が算出される。この濃度マップを使用して、アルゴリズムは、「標的域」又は関心のある細胞構成要素の潜在的位置、即ち表１の上皮、平滑筋、粘膜下組織、筋肉粘板を見出す。それから各潜在的標的域は、局部統計値用ツールと、その位置及び境界のより精密な推定を得るために行われる形態学的動作とによって分析される。中間マスク内の領域は、次の４つの細胞構成要素に対するグレイレベル、即ち上皮---５０、平滑筋---１００、粘膜下組織---１５０、筋肉粘板---２００でラベル付けされる。４つの細胞構成要素をセグメント化することに使用されるアルゴリズムのより詳細な論議は、前述したＰＣＴ特許出願ＰＣＴ／ＵＳ２００３／０１９２０６に見出すことができる。
【００８０】
二値構造マスクが、第１のピクセルデータセットに適用された構造識別アルゴリズムにより生成されたフィルタ中間マスクから計算される。この二値構造マスクは、ピクセルが関心のある構造内にある場合はピクセル値がゼロよりも大きく、そうでなければピクセル値がゼロの二値画像である。フィルタ中間マスクがユーザ指定の関心のある構造のマップを含む場合、二値構造マスクは、そのフィルタ中間マスクから直接生成され得る。関心のある構造の存在を決定するために相関を必要とする細胞成分をフィルタ中間マスクが含む場合、共配置演算子が中間マスクに適用され、中間マスクの細胞成分間に一致、交差、接近等があるか否かを決定する。更なる例として、結腸組織サンプルに対して指定された関心のある構造が表１に掲載された４つの組織構成要素の全てを含んでいる場合、二値構造マスクは、関心のある構造の存在を、関心のある構造を構成する４つの組織構成要素の少なくとも１つの細胞パターンの位置の交差又は一致によって記述し決定することになる。
【００８１】
二値構造マスクは典型的に、第１のデータセット内で細胞パターンが一致又は交差するピクセルに対しては“１”を、また他のピクセルに対しては“０”を含む。二値構造マスク内の最小数のピクセルが１”を含むときは、関心のある構造が存在すると決定される。一致又は交差する領域がない場合、関心のある構造は存在しないので、論理フローは、終了ブロックＥへ移動する。そうでない場合、論理フローはブロック２３０へ移動し、ここで関心のある構造を有する少なくとも１つの関心のある領域（ＲＯＩ）が第２の解像度画像の捕捉用に選択される。
【００８２】
フィルタ、例えば表２で論議されたFilterROISelectorは、関心のある構造を備えた細胞構成要素の位置をマーキングするためにブロック２２５で生成された二値構造マスクを使用して、関心のある領域を決定する。関心のある領域は、関心のある構造の第２の解像度画像を捕捉するための組織サンプル内の位置である。関心のある領域マスクを生成する方法では、二値構造マスク画像を、所定数の関心のある領域よりも数で大きい多数のほぼ等しいサイズの区間に分割して、関心のある候補領域を決定する。次に、関心のある各候補領域に対する中心について最適位置が選択される。それから、関心のある各候補領域は、マスクが負の値を有する場合は関心のある領域内のピクセルの部分を計算し、所望の構造が存在する程度を示すことによって採点される。次に、関心のある候補領域は、重複制約付きの採点によってソートされる。それから、最上位得点の関心のある候補領域が関心のある領域として選択される。
【００８３】
ブロック２３０における関心のある領域の選択には、前述したＰＣＴ特許出願ＰＣＴ／ＵＳ２００３／０１９２０６で論議されているように、最小感度プロセスに応答して第２のピクセルデータセットを捕捉するために関心のある各領域内の最適位置を選択することも含まれる。最小感度に応答して最適位置を選択する方法では、関心のある各領域を複数の小区間に分割する。次に、各小区間に対する最小感度を計算することによって、「最良」小区間が選択される。最小感度は、次のようにして計算される。先ず、二値構造マスクを平均化窓でフィルタ処理する。この平均化窓は、平均化窓内の正のマスクピクセルの割合に依存して０〜１の範囲の値を持つ最終最小感度画像に対して関心のある領域に一致するサイズを有する。加えて、最小感度画像を小区間内の全てのピクセルにわたって平均化することによって、与えられた小区間について最小感度を獲得する。この場合、高い数は低い数よりも良好である。最後に、分割及び選択工程を小区間がピクセルサイズになるまで繰り返す。
【００８４】
論理フローはそれからブロック２３５に移動し、ここで画像捕捉装置が調整されて、第２のピクセルデータセットを第２の解像度で捕捉する。この画像捕捉装置は、図１のロボット式顕微鏡２１であり得る。調整する工程では、組織サンプルを画像捕捉装置に対して移動させ、第２のピクセルデータセットを捕捉するためのアラインメントにする。調整する工程では、画像捕捉装置のレンズ倍率を変更して、第２の解像度を与えてもよい。調整する工程では更に、画像捕捉装置のピクセル濃度を変更して、第２の解像度を与えてもよい。
【００８５】
論理フローはそれからブロック２４０に移動し、ここで画像捕捉装置は、カラーの第２のピクセルデータセットを第２の解像度で捕捉する。関心のある複数の領域が選択された場合、論理フローはブロック２３５及び２４０を繰り返して画像捕捉装置を調整し、関心のある各領域について第２のピクセルデータセットを捕捉する。論理フローはブロック２４５に移動し、ここで第２のピクセルデータセットは、記憶装置、例えばコンピュータメモリ又はハードドライブに保存される。この代わりに、第２のピクセルデータセットは、例えば紙への印刷あるいは感光性フィルムへの露光によって、明確な可視的媒体上に保存される。
【００８６】
論理フロー２００は、第２のピクセルデータセットが顕微鏡スライド上の各組織サンプルについて捕捉されるまで繰り返される。第２のピクセルデータセットの捕捉後に、論理フローは終了ブロックＥへ移動する。
【００８７】
組織タイプに反応する構造識別アルゴリズムが、第１の解像度では関心のある構造の存在を決定することはできないが、関心のある構造が配置されているかもしれない領域の存在を決定することはできる状況について、１つの代替実施形態の論理フロー２００は、第２のピクセルデータセットを捕捉する繰り返しプロセスを含む。この代替実施形態では、ブロック２２０，２２５及び２３０において、選択されたアルゴリズムが第１のピクセルデータセットに適用され、そして関心のある構造が配置されているかもしれない関心のある領域が選択される。画像捕捉装置は、ブロック２３５において調整され、中間ピクセルデータセットを第１の解像度よりも高い解像度で捕捉する。プロセスはブロック２１０に戻り、ここで中間ピクセルデータセットはメモリ内に取り込まれ、そして選択されたアルゴリズムが中間ピクセルデータセットに適用されて関心のある構造の存在をブロック２２５において決定する。この繰り返しプロセスは、関心のある構造の第２の解像度画像を捕捉するために、必要に応じて繰り返してもよい。この代替実施形態の繰り返しプロセスは、典型的に第１の解像度画像の捕捉に使用される５Ｘ倍率ではしばしば識別できないライディッヒ細胞やハッサル小体を検出することに使用できる。中間ピクセルデータセットは２０Ｘ倍率で捕捉され、そして更なるピクセルデータセットは、関心のある構造が存在しているか否かを決定するために４０Ｘ倍率で捕捉される。
【００８８】
いくつかの状況では、既存の組織画像データベースは、関心のある構造の選出、並びに関心のある構造を含まない画像の全て又は部分の可能な廃棄を必要とすることがある。論理フロー２００と同様なこの発明の一実施形態は、関心のある構造を有した組織サンプルの画像を表すピクセルデータセットを自動的に選出するコンピュータ式方法を提供する。ピクセルデータセットを選出するための論理フローでは、ブロック２０５と同様にピクセルデータセット及び組織サンプルの組織タイプの識別をコンピュータメモリに取り込む。論理フローはそれから、ブロック２２０及び２２５に移動して、組織サンプル内の関心のある構造の存在を決定する。ブロック２２５の完了時に、組織画像はその全体がブロック２４５で保存されるか、あるいは組織サンプル内の関心のある構造の位置が保存される。この位置は、関心のある構造を含んだ画像を表すピクセルデータセットのサブセットであり得る。論理フローは、関心のある領域を選択するためのブロック２３０を含んでも良い。また、ピクセルデータセットのサブセットは、関心のある領域のピクセルデータサブセットを保存することによって保存される。
【００８９】
この発明の種々の実施形態は、コンピュータシステム上を走る一連のコンピュータ実施型工程又はプログラムモジュールとして及び／又はコンピュータシステム内で相互接続された機械論理回路又は回路モジュールとして実施され得る。この実施は、この発明を実施するコンピュータ計算システムの性能要求に依存した選択の問題である。この開示に照らして、開示された種々の実施形態の機能及び動作は、本発明の精神又は範囲からそれることなしに、ソフトウエア、ファームウエア、専用デジタルロジック、あるいはそれらの組み合わせで実施され得る。
【００９０】
本発明は、所定の好ましい実施形態を参照して相当詳細に論議されてきたが、他の実施形態も可能である。それ故、添付した請求の範囲の精神又は範囲は、ここに含まれた実施形態の論議に限定されるべきではない。発明は以下に添付された請求の範囲に存することが意図されている。
【図面の簡単な説明】
【００９１】
【図１Ａ】この発明の一実施形態に係る、顕微鏡スライド上に搭載された組織マイクロアレイの組織サンプルに合焦されたレンズを持つロボット式病理顕微鏡を示す。
【図１Ｂ】この発明の一実施形態に係る、組織マイクロアレイ内の各組織サンプルのアレイレベルのデジタル画像を含んだ組織マイクロアレイの補助デジタル画像を示す。
【図１Ｃ】この発明の一実施形態に係る、ロボット式顕微鏡によって第１の解像度で取得された組織サンプルのデジタル組織サンプル画像を示す。
【図１Ｄ】この発明の一実施形態に係る、第１の解像度の第１のピクセルデータセットの形態のデジタル組織画像をコンピュータ計算装置へ与えるコンピュータ式画像捕捉システムを示す。
【図２】この発明の一実施形態に係る電子システムのブロック図である。
【図３】組織サンプルアレイが搭載された顕微鏡スライドの模式図である。
【図４】この発明の一実施形態に係る組織マッピングプロセス中に使用される伸縮関数を示す図である。
【図５】この発明の一実施形態に係る組織サンプル画像のヒストグラム分析の模式的及び機能的な図である。
【図６】この発明の一実施形態に係る図３の組織アレイに重ね合わされた生成理論的アレイの重ね合わせの模式的及び機能的な図である。
【図７】この発明の一実施形態に係る方法を示すフローチャートである。
【図８】この発明の一実施形態に係る、組織サンプル内の関心のある構造の画像を自動的に捕捉する画像捕捉アプリケーションにおける複数の対象物クラスファミリーを示す分類図である。
【図９】この発明の一実施形態に係る、組織サンプル内の関心のある構造の画像を自動的に捕捉するコンピュータ式方法の論理フローを示す図である。
【技術分野】
【０００１】
［関連出願との相互参照］
この出願は、２００３年１０月８日に出願された米国仮出願第６０／５０９，６７１号からの優先権を主張し、その全体を全ての目的に対し参照によってここに組み入れる。
【背景技術】
【０００２】
医療研究及び処置は、組織タイプ、組織構造、組織下部構造、及び細胞タイプの迅速且つ精密な識別を必要とする。この識別は、ヒトゲノム、医薬品と組織の相互作用を理解すること、そして疾病を処置することに使用される。病理学者は、歴史的に個別の組織サンプルを顕微鏡を通して検査して各組織サンプル内で関心のある構造の位置を決定し、そして位置決定された関心のある構造の特徴的形状に部分的に基づいて識別決定をしている。しかしながら、病理学者は、識別を必要とする組織サンプルの今日の量を取り扱うことできない。更には、病理学者は人間であるため、時間のかかる目視組織分析にたよる現在のプロセスは本質的に遅く、高価であって、正常な人間のばらつきや不一致に影響される。
【０００３】
識別を必要とする組織サンプルの量に対して一助となるものは、高スループットのスクリーニング用組織マイクロアレイ並びに単一顕微鏡スライド上の数１００の組織標本の分析を使用する近年の改革である。組織マイクロアレイは、数１００の顕微鏡スライドを処理及び染色する伝統的な方法にない利益を与える。これは、多数の標本が１つのマスター顕微鏡スライド上に収容され得るからである。このアプローチは、時間、費用、及び実験的エラーを著しく低減する。組織マイクロアレイの全潜在能力を高スループットのスクリーニング及び分析で実現するためには、顕微鏡で作業する一人の病理学者の能力に匹敵するかそれを超える全自動システムが必要とされる。既存の組織識別用システムは、意味ある出力を与える前に、全組織サンプルの高倍率又は高解像度の画像を必要とする。高解像度画像に対する要求は、画像の捕捉を遅いものとし、また有意なメモリ及び記憶装置を必要とし、更に識別プロセスを遅いものとする。全自動システムに対する有利な１つの要素は、組織サンプルの関心のある構造部分に限定された各組織サンプルの高解像度画像を捕捉するための装置及び方法である。全自動システムに対する有利なもう１つの要素は、スループットの汎用性と速度を制限する特殊な染色や特殊な抗体マーカーの使用を必要とせずに作業する手腕である。
【０００４】
前記したことを考慮すると、組織サンプル内で関心のある構造の自動識別をするための、並びに実質的にそれらの構造に限定された高解像度画像を捕捉するための新規で改良された装置及び方法に対する必要性がある。本発明は、装置、システム、及び方法に向けられている。
【０００５】
［発明の要約］
この発明の一実施形態に係る方法は、組織サンプルセットの画像を受け入れる工程を備える。少なくとも１つの他の組織サンプルに対する各組織サンプルの画像中の位置は、電子的に識別される。各組織サンプルは、組織サンプル位置の識別に基づいて電子的に識別される。
【０００６】
この発明は、その異なる目的及び利点と共に、添付図面に関連してなされる以下の論述を参照することによって最も良く理解され得る。図面の複数の図では、同様の参照符号が同様の要素を識別している。
【０００７】
［詳細な説明］
この発明の例示的実施形態の以下の詳細な論述では、その一部を形成する添付図面が参照される。詳細な論述及び図面は、それによって発明が実施され得る特定の例示的実施形態を示している。発明の範囲及び精神を逸脱することなく、他の実施形態が利用され、また他の変化もなされ得る。それ故、以下の詳細な論述は、限定する意味でとられるべきではなく、また発明の範囲は、請求の範囲によって規定される。単数への言及は、そうでないと表明されたり、ここでの開示と矛盾しない限り、複数への言及を含む。
【０００８】
後続する論述のいくつかの部分は、コンピュータ計算システム内のデータビットに関する動作のアルゴリズム及び記号表現に関して与えられる。１つのアルゴリズムは、ここでは、また一般的には、所望の結果に導くステップの自己矛盾のないシーケンスであると考えられる。これらのステップは、物理的量の物理的操作を必要とする。必要とされるものではないが、通常これらの量は、格納され、転送され、組み合わされ、そして別の操作を受けることが可能な電子的又は磁気的信号の形態をとる。主として一般的使用の理由について、これらの信号をビット、値、要素、記号、文字、用語、又は番号等として言及することが、時には便利であることが証明されている。しかしながら、これら及び同様の用語の全ては適切な物理的量に関連付けられるべきであり、またこれらの量に適用された単に便利なラベルであるということが、心に留められるべきである。以下の論述から明らかなように具体的に別の形で表明されない限り、本論述を通して、「処理」又は「計算」又は「算定」又は「決定」又は「表示」又は「電子的」等の用語は、電子的コンピュータ計算装置のアクション及びプロセスに言及している。この計算装置は、例えばコンピュータシステムや同様の装置であって、コンピュータシステムのレジスタ及びメモリ内で物理的（電子的）量として表されたデータを操作し、コンピュータシステムのメモリ又はレジスタ又は他のそのような情報記録装置、伝送装置、又は表示装置で物理的量として同様に表された他のデータに変換するものである。
【０００９】
追加的な記載は、２００３年９月１９日の印刷データを有する「自動寿命撮像及び分析システム（ＡＬＩＡＳ）」に、また２００３年１０月７日の印刷データを有する「顕微鏡スライド組織マッピング」に含まれており、両者は添付されると共に、それらの全体について全ての目的に対し参照によりここに組み入れられる。
【００１０】
組織学者及び病理学者によって使用されるプロセスは、互いに固定された関係を持つ細胞を含んだ組織サンプルを可視的に検査すること、そして組織内で起こるパターンを識別することを含む。異なる組織タイプは、検査者にとって関心のある異なる構造及び下部構造（以下では集合的に「関心のある構造」）を有する。関心のある１つの構造は典型的に、特有のパターンを有する。このパターンは、１つの細胞内の構成要素（細胞内）、単一タイプの複数の細胞を含むか、又は複数の細胞の構成要素、細胞のグループ、及び／又は複数の細胞タイプ（細胞間）を含む。
【００１１】
特有の細胞パターンは、組織タイプ、組織構造、組織下部構造、及び細胞タイプを１つの組織内で識別することに使用される。これらの特徴の認識は、同じサンプル内で個別の細胞核、細胞、又は細胞タイプの識別を必要としないが、識別は、そのような方法の使用によって助成され得る。組織サンプル内の個別の細胞タイプは、多くの細胞にわたるそれらの相互の関係から、他のタイプの細胞とのそれらの関係から、それらの細胞核、又は他の細胞内成分の外観から識別され得る。
【００１２】
組織は、特徴的な形態学的形状、機能、及び／又は他の細胞との配置を、それらの遺伝学的プログラミングの力によって提示する特異な細胞タイプを含む。正常細胞は、特別な細胞タイプを特別な数又は率で含み、互いの予測可能な空間的関係を持つ。これらの特徴的形状は、異なる固体間の同じ正常組織内で適切な狭い範囲内に入る傾向がある。その独得な機能を供する能力を持つ特別な器官又は組織を与える細胞タイプ（例えば、上皮又は柔組織細胞）に加えて、正常組織はまた、複数の器官に共通の機能を果たす細胞を有する。例えば、血液細胞を含む血管や、ニューロン及びシュワン細胞を含む神経や、中枢神経系外の繊維芽細胞（ストロマ細胞）のような構造細胞や、いくつかの炎症性細胞、及び器官（例えば、平滑筋）の運動や収縮に対する能力を与える細胞である。これらの細胞はまた、特別な器官又は組織等について異なる固体間の適正な狭い範囲内で再生される傾向をもつパターンを形成する。
【００１３】
組織学者及び病理学者は、典型的に各細胞タイプ内で関心のある特異な構造を検査する。これは、その構造が組織サンプル内の異常な状態を最も含み易いからである。関心のある構造は、典型的に特別な器官又は組織にその独得な機能を与える細胞タイプを含む。関心のある構造は、最も医薬品の処置の標的となりやすい組織の部分と、遺伝子発現のパターンについて検査される部分とを含むこともできる。異なる組織タイプは、一般的に関心のある異なる構造を有する。しかしながら、関心のある構造は、検査者にとって関心のある組織の構造又は下部構造であり得る。
【００１４】
この書類で使用されているように、「固定された関係にある細胞」という言及は、一般的に有機体内で正常に固定された関係にある細胞、例えば組織塊を意味する。刺激に応答して凝集した細胞、例えば凝固した血液やべとついた組織は、固定された関係にあるとは考えられない。
【００１５】
典型的な顕微鏡スライドは、約１８７５ｍｍ２の組織表面積を有する。２０Ｘの対物レンズを使用して、この面積をカバーするに必要なデジタル画像のおよその数は、１２，５００であって、約５０ギガバイトのデータ格納空間を必要とする。加えて、単一スライドが、おそらくは異なる器官タイプからの、及び／又は異なる患者からの、複数の組織標本を含む場合は、マルチ組織アレイ（ＭＴＡ）が日常的に使用される。組織スライドの分析を自動化に導くと共に経済的に可能とするためには、決定をなすに要する画像の数を低減することが必要になる。組織撮像プロセス及び分析プロセスのアプリケーション用に、組織を位置決定すると共に互いに区別することも必要である。また、プロセスは、ユーザの干渉が最小化されるか消去されるように、影響を受けない手法で進められなければならない。
【００１６】
自動顕微鏡スライド組織マッピングは、上記の要求を達成することを助ける。マッピングは、ハードウエア要素とソフトウエア要素の双方を必要とする。ソフトウエアは、顕微鏡スライド上の組織標本の物理的特徴を規定する撮像情報を決定することに適用されるプロセスを有して、この情報をそのスライドの組織識別データベース記述に関連付ける。このプロセスは、広範な種々の顕微鏡スライドアレイ構成、例えば１つの組織標本を含む構成から多数の組織標本を含む構成に適用可能である。組織マッピングプロセスは、スライド上の特定組織の標的化された撮像を高スループットのロボット式顕微鏡環境で可能にする。
【００１７】
この発明の形態は、固定された関係にある構造の多細胞型細胞の組織サンプルから選択された画像を、生体源、特に動物組織から捕捉することに良く適している。これらの組織サンプルは、外科手術、生体組織検査、又は塊組織が取得される同様の状況から取得され得る。加えて、この発明の形態はまた、塗抹の組織サンプル、細胞塗抹、及び体液から選択された画像を捕捉することに適している。
【００１８】
組織が配置されたスライドの面積の全視野（ＦＯＶ）を与えるカメラ画像データセットが捕捉される。次に、組織は、背景及び人工品、例えば塵、気泡、ラベル、及び顕微鏡スライド上で通常見出される他の異形からセグメント化される。予測される組織の数及び組織ブロックのフォーマット（ブロック、行、列等）を知見しているデータベースを使用して、プロセスは、見出された組織の配置を、スライドに割り当てられたレイアウトに適合する。ソフトウエアは、組織の歪み、引き裂き、フラグメント化についての訂正を適合実習の一部として行う。ソフトウエアはまた、予測されるアレイから外れる組織をアレイ中の正しい位置に関連付ける。組織マッピングプロセスによって、組織位置、半径、境界、光学的濃度、及び集団マップを各組織について含んだスライド画像組織情報が決定及び記録される。
【００１９】
この発明の一実施形態に係る自動顕微鏡スライド組織マッピング用システムは、以下の繰り返しステップを含んでいる。
・全スライド撮像：ロボット式顕微鏡とデジタルカメラを使用して全スライド表面の画像を低倍率で捕捉する。
・組織区間マッピング：スライド表面の画像から、小塊を、存在する人工品から区別される組織であると識別し、識別された組織の位置を記録し、そしてスライド上のそれらの位置をデータベースに記録されている組織自体に訂正する。
・低倍率の組織画像取得：各マップ化された組織区間についてタイル張りされた画像を取得する。個別の画像タイルは、重複した視野をカバーして画像の縫い合わせを容易にする。
・低倍率の関心領域（ＲＯＩ）標的化：画像タイルの縫い合わされた複合画像を分析して、組織内で関心のある指示された組織構造及び細胞タイプを位置決定する。特定の関心のある細胞タイプが低倍率で検出可能でない場合、所望の細胞タイプが存在することが既知である領域が位置決定され、その座標が記録される。
・標的化ＲＯＩの画像取得：低倍率標的化から記録された座標を使用して、ロボット式顕微鏡は、より高い指示された倍率で、特定の関心のある構造及び細胞タイプを取得することに向けられる。
・高倍率のＲＯＩ標的化：高倍率画像は、構造及び細胞タイプの内容について分析される。構造の座標は記録され、そして組織は、より高い指示された倍率で、もう１つの繰り返しの撮像を経る。あるいは画像は、マーカープローブの局在性及び強度について更に分析される。
【００２０】
このシステムは、全スライドスキャン動作に対して重要な利点を有する。この動作は一般に、全スライド表面についてタイル張りされた画像を取得すること、並びに別の二次プロセスで各画像について画像分析を行うことを含んでいる。このシステムで使用される標的化された撮像手法は、分析的決定をなすために取得されなければならない画像の数を最小化する。このことは、分析処理するに必要な時間と、デジタル画像を保存するに必要な格納空間の量に相当な節約を与える。デジタル画像捕捉の自動化は、より矛盾のない診断、有意なコスト節約、及び／又は増加したスループットを手助けする。
【００２１】
［全スライド撮像］
モータ式ステージを装備したロボット式顕微鏡と、デジタルカメラとを使用して、スライド表面の画像が低倍率で捕捉される。１つの画像は、その上にバーコードラベルが刷り込まれたスライドの一部分に集中する。バーコード画像は、市販のバーコードソフトウエアによって分析され、そしてスライド識別は復号される。残りの画像は、スライド上に包含された組織の全てを含む視野を有する。これらの画像は、組織区間の位置をマップすること、並びに組織タイプを識別することに使用される。
【００２２】
［組織マッピング］
組織区間の画像は、マッピングソフトウエアへの入力として使用される。このソフトウエアは、組織区間を画像中で位置決定すると共に、それらを人工品、例えば、塵、気泡、油小滴、及び他の一般に顕微鏡スライド上で見出される異形から区別する。このソフトウエアはまた、見出された組織の配置を、スライドに割り当てられたレイアウトに適合する。特別なスライドについてのレイアウト情報は、そのスライドに対するバーコードデータを使用して、スライドデータベースから受け取られる。このデータは、行及び列の数、並びにアレイ中の各組織要素の予測される直径に関する情報を含んでいる。このソフトウエアは、組織の歪み、引き裂き、フラグメント化についての訂正を適合実習の一部として行う。各組織を所定のレイアウト位置へ適合させるときに、スライドデータベースから得られた情報から組織タイプが決定され、そして次にその組織タイプに対して指示された撮像プロトコルが行われる。マッピングソフトウエアは、ピクセル座標を組織の境界について記録する。区間がセグメント化される場合、境界は、予測された直径内に全ての見出されたフラグメントを包含する領域から算出される。このソフトウエアはまた、ユーザが手動操作で座標記録用の組織位置を選ぶことができるようにする。このことにより、システムは、小さなサブセットの面積が分析用に望まれる大きな単一組織、例えば脳を収容することができる。
【００２３】
［低倍率画像取得］
マッピングソフトウエアによって生成されたピクセル座標を使用して、各区間に対するステージ座標が算出され、ロボット式顕微鏡の方向付けに使用される。異なる顕微鏡からステージ座標が生成できるようにするステージ座標システムが利用され、組織のＸＹ位置がどの顕微鏡上でも精密に再生される。制御ソフトウエアは、顕微鏡にスライドの位置決めを命令し、撮像される第１の組織区間が対物レンズの下方に配置されるようにする。５Ｘのような低倍率の対物レンズを使用して、このシステムは、タイル張りされた画像を重複が最小の範囲率で取得する。組織マップ画像から求められたデータに基づいて、このシステムは、非組織の空スペースが最小面積である場合の画像を獲得する。このことは、特別な組織をカバーするに必要な画像の数を減少するためになされ、かくしてディスク格納空間及び処理時間を節約する。
【００２４】
スライド上の各組織区間に対する画像捕捉は、モータ式ステージによる長距離移動の数を最小化するように進行して、組織の全てをタイル張りするに必要な時間量を低減する。顕微鏡及びカメラの全機能、例えば位置決め、オートフォーカス、ホワイトバランス及び露光は、この制御ソフトウエアによって行われる。
【００２５】
［低倍率標的化］
各組織区間について低倍率のタイル張りされた画像のセットは縫い合わされて、全組織区間の表現となる単一の複合画像になる。縫い合わせソフトウエアは、Ｎ×Ｍフォーマットのタイル張りされた画像を１００２画像まで収容する。このソフトウエアはまた、まばらな占有のモザイク（画像が抜けている）を処理し、また垂直及び水平の位相調整を自動的に計算して、ステージオフセットを収容する。これらの特徴は、大きな組織区間及び小さなフラグメント化された組織芯に典型的である不規則な形状の組織区間の処理を可能にする。画像の不連続性は、画像の境界で全境界モーフィングと３次元マッチングを使用することにより消去される。
【００２６】
縫い合わされた画像は、それから分析される。これは、その区間に関連した組織に特異な特徴的形状のリストに従って、関心のある構造及び細胞タイプの存在を決定するためである。そのようなリストの一実施形態は（表Ａ）に示されている。関心のある特別な構造または細胞タイプがこの倍率で視認できない場合、これらの特徴的形状が関連する上で既知である領域が標的化される（例えば、精巣内のライディッヒ細胞）。ピクセル座標のリストは、顕微鏡を方向付けして関心のある所望領域のより高倍率の画像を取得することに使用されるソフトウエアによって生成される。関心のある構造及び細胞タイプの存在は、組織特定フィルタセットからなる一組のＲＯＩセレクタツールを使用して決定される。このソフトウエアは、複合画像内のＲＯＩを識別し、それからピクセル位置を、ソート動作の目的に使用される最小感度を伴って生成する。最小感度に対して最高値を有するｎ個の領域位置は、ユーザ定義パラメータによって特定されるように、次に高い倍率で撮像するためにロボット式顕微鏡に送られる。
【００２７】
【表１】
【００２８】
［標的化画像取得及び高倍率標的化］
ロボット式顕微鏡の制御ソフトウエアは、ＲＯＩセレクタソフトウエアによって生成された領域座標のリストを利用する。また顕微鏡は、新規画像をより高い指示された倍率で取得することに向けられて、各新規画像に対する視野が一次的に関心のある構造又は細胞タイプを含むようにする。前区間と同様の手法で、認識ソフトウエアは、関心のある所望領域の存在について新規画像を分析する。ＲＯＩが前回の倍率で視認可能である場合、より高い倍率画像がＲＯＩセグメント化及びプローブマーカの局在性、及び／又は発表について処理される。関連した領域だけが所望ＲＯＩについて前回の倍率で視認可能である場合、新規画像は、二次認識アルゴリズムで所望ＲＯＩについて分析され、そしてプロセスは、二回目の繰り返しを経る。この取得及び分析の益々高い倍率（解像度）への繰り返しプロセスは、所望の構造が位置決定されるか、あるいはその構造が特別な標本中には存在しないことが決定されるまで継続する。
【００２９】
［特定構造セグメント化及びプローブマーカの局在性］
標的化された取得の結果生ずる高倍率画像は、認識ソフトウエアを使用して所望ＲＯＩの存在について分析される。関心のある特徴的形状は、画像中で識別され、残りの要素から分離される。セグメント化された特徴的形状は、蛋白質かＲＮＡ発現生成物である求められた成分に対するプローブマーカの同時存在について分析される。このマーカは通常、組織中に存在する他の染料から明瞭に区別される染料である。マーカと関心のある特徴的形状との共存は、求められた成分の局在性を構造又は細胞タイプに対して示すものである。プローブマーカはまた、定量化される。これは、構造又は細胞タイプ内で成分の発現の相対量を測定するためである。
【００３０】
［作業例］
自動顕微鏡スライド組織サンプルマッピング用システムの作業例に使用されるハードウエア及びソフトウエア要素が、以下で説明される。この説明は単なる例証であって、制限的であると考えられるべきではない。ハードウエア要素は、
−ライカ社の２．５Ｘ、５Ｘ、１０Ｘ、２０Ｘ及び４０Ｘ付きＤＭＬＡ自動顕微鏡と、
−顕微鏡画像捕捉用診断機器であるスポットインサイト４型カメラと、
−３色ＬＥＤ光源と、
−３００スライド自動装填及びモータ式ステージと、
−少なくとも５１２ＭＢのメモリと大型（３０＋ＭＢ）のハードドライブ、表示画面、及びＭＳ−ウインドウズＯＳ（２０００、ＮＴ又は９８）を備えた２＋ＧＨｚのＰＣを含んだコンピュータハードウエアと、を有する。そのようなコンピュータ１６台の列は、全てソフトウエアを装填されている。それらは、ＭＡＭＱ（マイクロソフト社のメッセージングキュー）及びＸＭＬフォーマットで記載されたメッセージを使用して、ネットワーク上で互いに交信する。ソフトウエアは、このＰＣの処理能力の全てを利用するので、マシンはこの１つの目的専用とされる。１つのバージョンのソフトウエアはまた、単一のデスクトップ型ＰＣ上で実行され、バッチ式の画像処理が可能である。
【００３１】
このシステムはまた、ツアイス社のアキシオプランＩＩ型顕微鏡に取り付けられたＲＧＢフィルタ輪を有するＤＶＣ１３１０カメラを使用すると、うまく機能する。ソフトウエアは、成分セットに対し感度がある。
【００３２】
ソフトウエア要素は、オートフォーカス、自動校正、運動制御、画像調整、及びホワイトバランス用のハードウエア制御ソフトウエアを含む。ソフトウエア要素はまた、システムが標的化された撮像をなすことができるようにする組織マッピングソフトウエアを含む。システムは、スライド全体ではなく、組織を含んだ領域だけを撮像する。解像度は、２０Ｘ対物レンズで０．３３５ミクロン／ピクセルである。細胞核の特徴的形状のような下部細胞的詳細は、２０Ｘ対物レンズ付きシステムによって取得された画像中で容易に理解可能である。これら２０Ｘ画像の適切な細胞及び構造についての分析は、より高い倍率の画像が必要時にのみデータ分析用に捕捉されることを可能にし、それ故スループットを増加する。バーコード読み取りソフトウエアは、スライド及び組織に関係したデータが、外部データベースに対し検索及びファイルされることを可能にする。
【００３３】
図１Ａ−Ｄ及び２は、この発明の一実施形態に係る画像捕捉システム２０を示している。このシステムは、組織マイクロアレイの組織サンプルの画像を第１の解像度で表す第１のピクセルデータセットを捕捉すると共に、この第１のピクセルデータセットをコンピュータ計算装置１００に与える。図１Ａは、顕微鏡スライド２８上に搭載された組織マイクロアレイ２４の組織サンプル区間２６に合焦されたレンズ２２を持つロボット式病理顕微鏡２１を示している。ロボット式顕微鏡２１は、ロボット式顕微鏡を動作させるコンピュータ（図示せず）を含んでいる。顕微鏡スライド２８は、スライドの識別用に取り付けられたラベル（図示せず）、例えば市販のバーコード又はＲＦＩＤ（無線周波数識別）ラベルを有する。このラベルは、以下では便宜上バーコードラベルと称されるが、これはデータベースをスライド上の組織サンプルに関連付けることに使用される。
【００３４】
組織サンプル、例えば組織サンプル２６は、任意の方法によって顕微鏡スライド２８上に搭載される。組織は、新鮮なものであるか、又は組織及び組織抗原を保存し且つ死後劣化を回避するために定着剤に浸漬される。例えば、新鮮冷凍されたものか、あるいは定着剤に浸漬された後冷凍された組織は、クロスタット又はスライド式ミクロトーム上で区分され、そして顕微鏡スライド上に搭載される。定着剤に浸漬された組織は、ヴィブラトーム上で区分され、そして顕微鏡スライド上に搭載される。定着剤に浸漬され、且つある物質、例えばパラフィン、プラスチック、エポキシ樹脂、又はセロイジン内に埋設された組織は、ミクロトームで区分され、そして顕微鏡スライド上に搭載される。
【００３５】
ロボット式顕微鏡２１は、高解像度並進ステージ（図示せず）を含んでいる。組織マイクロアレイ２４を含んだ顕微鏡スライド２８は、手動操作で又は自動的にロボット式顕微鏡２１のステージ上に装填される。以下で更に詳細に説明されるように、コンピュータ計算装置１００内に駐在することがある撮像システム１１０は、全顕微鏡スライド２８の単一の補助デジタル画像を取得し、そして補助デジタル画像をマップして、顕微鏡スライド２８上の組織マイクロアレイ２４の個別組織サンプル標本を位置決定する。
【００３６】
図２を参照すると、本発明の一実施形態に係るコンピュータ計算装置１００は、ソフトウエア実施型撮像システム１１０がその中に駐在するメモリ１２０と、撮像システムが構成される命令を実行可能な中央処理ユニット（ＣＰＵ）１３０と、プロセッサと例えば顕微鏡２１の間の通信を可能にするためのインターフェース１４０とを含む。
【００３７】
図３を参照すると、例示的アレイ２４の構成要素サンプル２６は、一般的に３×３アレイを形成する。しかしながら、典型的なことだが図示されているように、組織サンプルをスライド２８上に配置する際の不注意なエラーの結果、サンプル２６のいくつかは水平方向に及び／又は垂直方向に不揃いにされる（即ち、アレイ２４が「歪められる」）。
【００３８】
アレイ２４は歪められているが、例えば人間の技術者は、アレイが３×３構成を持つことを認識できる。従って、その技術者は、各サンプル２６の識別を、将来の参照のために、データベースに登録することが可能である。これは、アレイ２４内における各サンプルのそれぞれの位置及び識別をデータベースに入力する（また、そのようにすることによって、暗にアレイのサイズも入力する）ことによって行われる。この場合、例えばコード２５に関連付けられ且つスライド２８を識別する参照番号も同時に入力される。
【００３９】
しかしながら、歪みのために、人間以外によるアレイ２４の検査は、３×３アレイ内で特別なサンプル２６が特別な位置を有するという決定を本質的に生ずることになり、従ってサンプルの自動識別はできない。
【００４０】
以下で論議されるように、撮像システム１１０は、組織アレイ２４内の各サンプル２６を、上述したデータベースに登録された対応する位置にマップするように動作して、各サンプルの自動識別を可能にする。このマッピング機能は、ここで論議される組織サンプルの自動分析に重要な動作である。
【００４１】
この発明の一実施形態では、カメラ画像データセットは、カメラ２３によって捕捉される。このカメラは、組織アレイ２４及びバーコード２５が置かれるスライド２８の面積の全視野（ＦＯＶ）を与える。画像は、低い（例えば巨視的な）倍率で取得された単一のＲＧＢカラー画像である。このカラー画像は、コンピュータ計算装置１００によって受け取られ、その画像は、以下の論議で説明されるように、撮像システム１１０を使用して分析され、マップされる。
【００４２】
ＦＯＶ画像は、ＲＧＢカラーモデルからＨＩＳ（色相、強度及び飽和）フォーマットに変換され更に反転されて、撮像された組織サンプルを信号ドメインの正のスケール上に配置する。全ての後続する処理は、画像の強度成分から求められる。
【００４３】
画像は、繰り返し検査されて、スライド基準（即ち、境界や他のスライド位置マーカ）及び／又は非照射領域を位置決定すると共にマスクする。このことは、例えば全てのピクセルを全ダイナミックレンジの１８％未満の範囲で隔離し、それからこれらピクセルの各接続されたグルーピングを検査することによって達成される。１つのグルーピングが境界上（画像ＦＯＶの幅又は高さの最小値の１０％内）にあり、且つそのピクセル濃度が画像中の総数の０．０４パーセント未満である場合、そのグルーピングは、基準又は非照射領域であると推定され、全ての後続工程について非処理領域としてタグ付けされると共にマスクされる。
【００４４】
中間フィルタはそれから、有意なデータ取得ノイズを除去するために残りの画像に対して適用され、またその統計的特性を決定するために調べられる。それから、３×３ボックスのカーネル間隔上の各点におけるピクセル強度の局部近隣信号分散を計算することによって、二地点間の分散マッピングに変換される。この動作の結果は、信号ダイナミックレンジの２５パーセントだけ位相シフトされ、そして図４に示される応答関数によって非線形伸長される。この動作は、画像背景を効果的に平坦化し、また存在するかもしれない縫い合わせパネル効果の大半を除去する。
【００４５】
結果として得られた画像は、それからスキャンされて、伸長分散信号の内容の最小、最大、中間、及び標準偏差を決定する。それからしきい値が、中間値に標準偏差の３／４をプラスした値に設定される。このレベルより低い全ての信号はゼロに設定され、またこのレベル以上の全ての信号は２５５に設定されて、組織が撮像される関心のある領域を表す二値組織マスクを創生する。それから種々の既知の形態学的領域充填及び平滑演算子が適用されて、結果として生ずる関心のある組織マスク領域を塞ぐ。
【００４６】
カバースリップ線の人工品は、ＦＯＶ画像内にしばしば現れる。この人工品を消去する処置は、画像組織境界に対する繰り返しスキャン並びに密集したピクセルの各グループに対するテストと共に開始され、それらが線形の形状であるか、また境界と交差しているか否かを決定する。幅がＦＯＶの少なくとも３３％であるか、高さがＦＯＶの５０％であると見出され、且つ真に狭く且つ線形の形状であるものは、組織マスクから除去される。
【００４７】
最後に、組織マスク内のピクセルの各個別接続されたグルーピングが検出され、独得なタグに割り当てられる。このグルーピングは、それからエッジ追跡ユーティリティにかけられ、またピクセルの外側境界はタグの負値としてタグ付けされる。この動作中に、組織密集の重心座標、境界限度、偏心率及び真円度の測度が計算され、そして位置割り当てされた対象物と関連した後の使用のために、無秩序のリストに格納される。対象物は、スライド上の組織の頻繁な不規則配置故に、無秩序に残される。製造プロセスの結果、複数の組織アレイは、僅かに傾いてスライド上に配置される。それらは、歪められ、例えばスライドエッジによって規定されるＸ−Ｙ軸に対し回転させられている。以下で更に詳細に論議されるように、組織歪み及び回転の効果は、標的化処置の間に斟酌される。
【００４８】
各対象物に対する位置属性及び強度ＦＯＶ画像を使用して、対象物サイズ、テクスチャー及び濃度の分析が行われる。サイズ、テクスチャー及び濃度のしきい値に一致しない対象物は、二値画像から除去される。これは、不注意に組織視野内に現れる外来の対象物、例えばスライドラベル及び人工品を消去するために行われる。処理された二値画像は、標的化処置で使用されるために保存される。
【００４９】
以下で更に詳細に説明されるように、標的化処置は、理論的スライドアレイグリッドの創生を含む。それから理論的アレイは、最も適した最適化処置を使用して、二値組織画像に重ね合わされる。これは、スライド上への組織配置の結果生ずる歪み及び回転分散に配慮するためである。一度グリッドが最適配置されると、セグメント化工程で見出された組織対象物は、行−列位置に割り当てられる。組織対象物とアレイ内の位置との関連は、組織タイプの識別をスライドデータベースへの質問によって可能にする。
【００５０】
標的化処置の第１工程は、組織アレイ２４の回転角を決定することである。この角度は、スライド製造プロセスの結果生ずることがある。図５を参照すると、アレイ２４の二値画像４００のＸ及びＹ軸に沿ったヒストグラム分析が実施され、最大強度（組織対象物；白）及び最小強度（背景；黒）を測定する。アレイ２４中の各行及び列について、対応する強度曲線４１０，４２０が各軸上にある。例えば、４行及び６列がアレイ中にある場合、４本の対応する曲線がＹ軸上に、また６本の対応する曲線がＸ軸上あることになる。各曲線４１０，４２０下の面積は、決定され、各軸について加えられる。ピーク最小値及び最大値が記録される。
【００５１】
それから画像は、再マッピングピクセルによって画像の中心の回りを０．５°ずつ回転される。ヒストラム分析及び曲線面積データの累積のプロセスは、ある角度範囲にわたって繰り返される。組織の最大累積分離及びＸ及びＹ軸下の空スペースに対応する回転の角度は、アレイ２４に対する回転角として記録される。
【００５２】
二値画像内の組織対象物の中間サイズと、対象物間の中間Ｘ及びＹ距離とが決定される。このデータは、例えばＦＯＶ画像に関連したバーコード２５の読み取り値によって取得されたアレイ２４内の行及び列の数に関する前知識と共に、図５に示されている理論的アレイ５１０を生成することに使用される。アレイ５１０内の各要素５２０は、スキャン分析によって決定された中間値に対応する直径を持つ放射状サンプラーである。要素５２０間の距離５３０もこの中間値を反映している。各アレイ要素５２０は、既知の行／列位置（即ち、Ａ１，Ｄ３）に対応する。この位置は、例えばメモリ１２０に格納される上述したスライド２８の組織濃度データベースの記述で言及されたものである。理論的アレイ５１０は、二値画像の形態で記録される。
【００５３】
図６に更に示されているように、理論的アレイ５１０は、二値組織画像４００の上に重ねられる。理論的スポット５２０と組織スポット６２０との間の一致の尺度が作られる。理論的アレイ５１０は、アレイ２４に対しＸ及びＹ軸に沿ってピクセル式に移動される。理論的スポット５２０と組織スポット６２０との間の一致の測定は、各繰り返しを使ってなされ、そして前回の繰り返しと比較される。理論的アレイ５１０は、一致の尺度が最大値に達するときに、重ね合わせに最適位置となる。２つの二値画像４００，５１０上でＡＮＤ演算子を使用して、一致の尺度は作られ、組織と空スペースとに等しい重みを与える。
【００５４】
それから、各理論的スポット５２０に対する重心が算出される。距離ベクターは、重心の回りを、各理論的スポット５２０に対する重心から０．５半径の距離へ引かれる。スポット５２０の回りで拡張された面積と二値画像４００内の組織対象物２６は、比較される。０．５半径内に配置された組織対象物２６は、理論的スポット５２０用の行及び／又は列の識別子に割り当てられる。このプロセスは、漸進的に広くなる半径を使用して、無秩序リスト内の修飾対象物の全てが行及び／又は列の識別子に割り当てられるまで繰り返される。１．５半径内で一致しない対象物は、識別子に割り当てられず、結果的にアウトライアーとみなされる。適合プロセスの繰り返し性は、小さく且つ悪くフラグメント化された組織対象物２６や整合不良の組織対象物２６を、システムが斟酌できるようにする。
【００５５】
割り当てプロセスでは、無秩序組織対象物リスト内の組織対象物記載事項は、対象物２６が割り当てられるときに、除去される。前工程における比較プロセスの後の全繰り返しは、リストに対してチェックされる。これは、リスト内の対象物２６だけに位置識別子が割り当てられていることを確かめるためである。このことで、各組織対象物２６が１つの位置だけに割り当てられることを確実にする。大きな組織フラグメントは、この修飾なしに、複数のアレイ位置に割り当てられる。
【００５６】
各組織位置に対する新規の境界は、左上、右下及び重心ピクセル座標として算出され、新規の組織ＩＤマップを創生する。各新規境界内のピクセルは、組織又は空スペースによる占有を示すようにマークされる。この新規マップは、顕微鏡制御ソフトウエアが組織の画像をより離散的な手法で取得して、組織内及び組織間の空スペースを回避できるようにする。この新規マップはまた、種々のスケールで画像の取得を案内することに使用される。
【００５７】
図７を参照すると、この発明の一実施形態に係る、例えばスライド上に搭載された組織のアレイをマッピングするためのプロセス６００が描かれている。第１のステップ６１０において、マップされる組織サンプルのセットが搭載されたスライドが顕微鏡２１上に置かれる。ステップ６２０において、カメラ２３は、組織セットの画像を捕捉し、その画像をコンピュータ計算装置１００に送信する。ステップ６３０において、撮像システム１１０は、画像上に存在することのある人工品から組織サンプルを上述した手法で区別する。ステップ６４０において、撮像システム１１０は、画像内の各サンプルの位置を識別するように動作する。ステップ６５０において、組織サンプルは手動操作で識別され、各組織サンプル識別は対応するアレイ位置でデータベースに格納される。ステップ６６０において、撮像システム１１０は、上述した論理的アレイ内における組織サンプルのそれぞれの位置を、格納されたアレイ位置と比較することによって、各組織サンプルを識別するように動作する。
【００５８】
図１Ｂは、組織マイクロアレイ２４の補助デジタル画像３０を示す。この画像は、組織マイクロアレイ２４内の各組織サンプルの補助レベル画像、例えば組織サンプル２６及びバーコードの補助組織サンプル画像３６を含んでいる。画像３０は、ロボット式顕微鏡によってマップされ、組織区間の位置を顕微鏡スライド２８内で決定する。バーコード画像は市販のバーコードソフトウエアによって分析され、また識別情報は復号される。
【００５９】
システム２０は、各組織サンプルの微視的画像の取得を第１の解像度で可能にする一連のステージ位置を自動的に生成する。必要であれば、組織サンプルの複数の重なった画像が取得され、一緒に縫い合わされて、組織サンプル全体をカバーする単一の画像を形成する。組織サンプルの各微視的画像はデジタル化されて、組織サンプルの画像を第１の解像度で表す第１のピクセルデータセットになる。このデータセットは、コンピュータシステムで処理可能である。各画像に対する第１のピクセルデータセットは、それから分析のために専用のコンピュータシステムに転送される。顕微鏡スライド２８の組織サンプルを含む領域だけを撮像することによって、システムは実質的にスループットを増加する。ある点で、システム２０は、組織サンプルの組織タイプの識別を取得する。この識別は、組織マイクロアレイ２４に関連したデータであって、上述したマッピングプロセスを使用してシステム２０により決定されたデータによって与えられる。この場合、論議の範囲外の方法、又は他の手段を使用する。
【００６０】
図１Ｃは、ロボット式顕微鏡２１によって第１の解像度で取得された組織サンプル２６の組織サンプル画像４６を示している。繰り返し多細胞パターンに基づいて組織構成要素を認識するコンピュータシステム及び方法にとって、組織サンプルの画像は十分な倍率又は解像度を有すべきである。これは、多数の細胞を跨ぐ特徴的形状が組織内で発生したときに、それらが画像内で検出可能となるようにするためである。典型的なロボット式病理顕微鏡２１は、カラーデジタル画像を５ｘ〜６０ｘの範囲の倍率で生じる。画像は、デジタル電荷結合素子（ＣＣＤ）カメラによって捕捉され、そして２４ビットのタグ付き画像ファイルフォーマット（ＴＩＦＦ）のファイルとして格納される。各ピクセルの色及び輝度は、赤、緑及び青チャネル（ＲＧＢ）の強度のそれぞれに対応した０〜２２５（８ビット）の範囲内の３整数値によって特定される。組織サンプル画像４６は、システム２０内での使用に適した任意の倍率及びピクセル濃度と、組織サンプル２６内の関心のある構造を識別するために選択されたアルゴリズムとによって捕捉される。ここで使用されているように、関心のある構造の識別は、構造自体、又は構造プラスその構造を囲む領域を所定公差内で識別することによって達成される。倍率とピクセル濃度は、関連していると考えられる。例えば、相対的に低い倍率と相対的に高いピクセル濃度は、相対的に高い倍率と相対的に低いピクセル濃度のように、接近して配置された対象物間を区別する同様の能力を生じる。この発明の一実施形態は、５ｘの倍率と、１０２４行×１２８０列の単一画像のピクセル寸法とを使用してテストされている。このことにより、第１の解像度の有用な第１ピクセルデータセットを与えて、関心のある構造を識別する。この場合、構造識別アルゴリズムを実行するコンピュータ計算装置に対して過剰なメモリ及び記憶装置を要求することはない。上述したように、複数の重なった画像（タイル）を集め、それらタイルを一緒に縫い合わせて単一の組織サンプル画像４６を処理用に形成することによって、組織サンプル画像４６は組織サンプル２６から取得される。
【００６１】
その代わりに、組織サンプル画像４６は、任意の方法又は装置を使用して取得される。十分に高い解像度で画像を捕捉するプロセスが使用される。例えば、可視光以外の電磁放射の他の周波数を利用する方法や、Ｘ線ビームのように高度に合焦されたビーム又は電子の顕微鏡によるスキャン技術である。例えば、１つの代替実施形態では、組織を有機体から採取することなく、組織サンプル内の多細胞の画像が捕捉される。細胞組織を採取することなく、人間の皮膚の細胞構造を示すことができる顕微鏡がある。組織サンプル画像４６は、人の皮膚のデジタル写真を撮るための可搬型デジタルカメラを使用して取得される。内視鏡技術の継続的な進歩は、胃腸管、肺、血管及び内視鏡に接近可能な他の内部領域の壁面の細胞構造を示す組織サンプル画像の内視鏡的取得を可能にする。同様に、侵襲性プローブは人間の組織内に挿入され、インビボ組織画像撮像に使用される。画像分析用の同じ方法は、これらの方法を使用して集められた画像に適用される。他のインビボ画像生成法が使用できるのは、それらが多細胞画像中の特徴的形状を区別できる場合、あるいは細胞核の表面上のパターンを十分な解像度で区別できる場合である。これらは、画像生成法、例えばＣＴスキャン、ＭＲＩ、超音波、又はＰＥＴスキャンを含んでいる。
【００６２】
図１Ｄは、第１の解像度の第１のピクセルデータセットの形態の組織画像４６をコンピュータ計算装置１００へ与えるシステム２０を示している。コンピュータ計算装置１００は、通信リンク１１８を通して第１のピクセルデータセットをメモリに取り込む。システム２０はまた、バーコードラベルを使用して、組織画像４６に関連したデータベースから組織タイプの識別を与える。
【００６３】
コンピュータ計算装置１００上で走るアプリケーションは、複数の構造識別アルゴリズムを含んでいる。複数のアルゴリズム中の構造識別アルゴリズムの少なくとも２つは、異なる組織タイプに反応する。また、各構造識別アルゴリズムは、与えられた組織タイプについて関心のある構造の存在下で、その与えられた組織タイプ内の少なくとも１つの細胞パターンと相関する。このアプリケーションは、組織タイプに反応する少なくとも１つの構造識別アルゴリズムを選択し、そして選択されたアルゴリズムを適用して、組織タイプについて関心のある構造の存在を決定する。
【００６４】
コンピュータ計算装置１００上で走るアプリケーションとシステム２０は、通信リンク１１８を通して交信し、そして協力してロボット式顕微鏡２１を調整し、第２のピクセルデータセットを第２の解像度で捕捉する。第２のピクセルデータセットは、関心のある構造の画像５０を表す。第２の解像度は、第１の解像度に比べて一段階増加され、画像内で接近して配置された対象物を互いに区別する。調整は、ロボット式顕微鏡２１の高解像度並進ステージを関心のある構造の画像捕捉用の位置へ移動させることを含む。調整はまた、適切な倍率を有するレンズ２２を選択すること、又は適切なピクセル濃度を有するＣＣＤカメラを選択すること、あるいは双方を、より高い第２の解像度で第２のピクセルデータセットを取得するために含んでいる。
【００６５】
コンピュータ計算装置１００上で走るアプリケーションとシステム２０は、協力して第２のデータセットを捕捉する。関心のある複数の構造が組織サンプル２６中に存在する場合、複数の第２ピクセルデータセットが組織画像４６から捕捉される。第２のピクセルデータセットは、システム２０により通信リンク１１８を通してコンピュータ計算装置１００に与えられる。第２のピクセルデータセットは、関心のある構造の位置決定用に適用された構造識別アルゴリズムを有するか、あるいは組織タイプ及び構造識別アルゴリズムによって生成された情報と共に、コンピュータ計算装置１００内に格納されてもよい。この代わりに、関心のある構造５０を表す第２のピクセルデータセットは、明確な可視的媒体、例えばカメラ内の感光性フィルム又はコンピュータモニタ上で捕捉されるか、あるいはコンピュータ計算装置１００から任意のタイプの可視的ディスプレイ、例えばモニタやインクプリンタに印刷するか、他の好適な手法で与えられてもよい。第１のピクセルデータセットは、その後廃棄される。捕捉された画像は、全自動プロセスで使用することができる。このプロセスでは、遺伝子発現を正常及び病的組織内で局在化すると共に、疾病を種々の発達段階で識別する。捕捉された画像のそのような更なる用途は、この論議の範囲外である。
【００６６】
関心のある構造５０の高解像度画像（第２のピクセルデータセット）の捕捉と、低解像度画像（第１のピクセルデータセット）の廃棄は、自動化処理に必要な記憶装置の量を最小化する。組織サンプル２６の関心のある構造を有する部分は、格納される。低解像度画像（第１のピクセルデータセット）を保存する必要はない。何故ならば、関連した関心のある構造は、高解像度画像（第２のピクセルデータセット）に捕捉されているからである。
【００６７】
図８は、この発明の一実施形態に係る、組織サンプル内の関心のある構造の画像を自動的に捕捉する画像捕捉アプリケーションにおける複数の対象物クラスファミリーを示す分類図である。対象物クラスファミリー１５０は、組織クラス１６０と、ユーティリティクラス１７０と、フィルタクラス１８０とを含む。フィルタクラス１８０は、ここでは「複数の構造識別アルゴリズム」とも呼ばれる。関心のある構造の画像を自動的に捕捉するアプリケーション及び方法の形態は対象物重視の状態で論議されているが、この形態は、コンピュータ計算装置、例えば図１Ｄのコンピュータ計算装置１００上で走ることが可能な任意の手法で実施することもできる。対象物クラスファミリー１５０に加えて、図８はまた、構築されテストされたインプリメンテーションの一部である対象物クラスCVPObject及びCLSBImageを示している。この代わりに、構造識別アルゴリズムは、コンピュータシステムによって、人工知能法、例えばニューラルネットワークを使用して自動的に開発される。これは、「有機材料中の画像パターン認識用コンピュータ法」なる名称で２００２年４月９日に出願された米国特許第１０／１２０，２０６に開示されている。
【００６８】
図８は、表１に掲載された組織タイプ又は組織サブクラスについて構築及びテストされた、この発明の一実施形態を示している。組織クラス１６０は、複数の組織タイプサブクラスを含む。各組織タイプに対する１つのサブクラスは、画像捕捉アプリケーションによって処理される。図８に示された組織タイプサブクラスの一部分は、胸部１６１、結腸１６２、心臓１６３、及び腎臓皮質１６４である。
【００６９】
【表２】
【００７０】
表１の組織タイプについて、各組織タイプに対して関心のある構造は、中間の欄に掲載された組織構成要素の少なくとも１つからなり、また組織成分のいくつか又は全てを含むこともできる。この発明の１つの形態は、どの組織構成要素が関心のある構造を構成するかを、ユーザが指定できるようにする。加えて、表１の組織タイプについて、右側の欄は、与えられた組織タイプに反応するフィルタクラス１８０（複数の構造識別アルゴリズム）の１以上のメンバー（構造識別アルゴリズム）を掲載している。例えば、結腸１６２の組織タイプに対して関心のある構造は、上皮、筋肉粘板、平滑筋、粘膜下組織の組織構成要素の少なくとも１つであり、また反応フィルタクラスは、FilterColonZoneである。表１によって示されているように、このアプリケーションは、FilterColonZoneをコールして、上皮、筋肉粘板、平滑筋、粘膜下組織の組織構成要素によって形成される少なくとも１つの細胞パターンと相関させ、結腸組織１６２中で関心のある構造の存在を決定する。
【００７１】
フィルタクラス１８０のフィルタサブクラスは、図８にFilterMedian１８１、FilterNuclei１８２、FilterGlomDetector１８３、及びFilterBreatMap１８４として示されている。表２は、フィルタクラス１８０のフィルタサブクラスのより完全な論議を提供し、各フィルタサブクラスのいくつかの特徴を論議する。フィルタクラス１８０は、特定組織タイプフィルタ及び汎用フィルタの双方を含む。「フィルタ中間マスクフォーマット」の欄は、二値構造マスクを生成することに適用される演算子に先行した中間マスクを記述している。
【００７２】
【表３】
【表４】
【表５】
【表６】
【表７】
【表８】
【表９】
【表１０】
【００７３】
例えば、結腸１６２の組織タイプについて関心のある構造の存在を決定するとき、このアプリケーションは、反応フィルタクラスFilterColonZoneをコールする。表２が確立しているものは、FilterColonZoneが、５Ｘの解像度画像倍率で組織サンプルを表す第１のピクセルデータセットを使用して、３２ｂｐｐで結腸の領域をマップすると共に、グレイレベルによって符号化された３２ｂｐｐ（Ｒ＝Ｇ＝Ｂ）で中間マスクを計算することである。この発明の一形態は、フィルタクラス１８０のサブフィルタが、各組織タイプに固有な特徴的形状を利用するが、特定の染料や特定の抗体マーカの使用を必要としない点である。
【００７４】
表２のフィルタのより詳細な論議は、「組織サンプル内で関心のある構造のコンピュータ式画像捕捉」なる名称で２００３年６月１７日に出願された共有のＰＣＴ特許出願ＰＣＴ／ＵＳ２００３／０１９２０６に見出すことができ、その全体は全ての目的に対して参照によりここに組み入れられる。
【００７５】
図９は、この発明の一実施形態に係る、組織サンプル内の関心のある構造の画像を自動的に捕捉するコンピュータ式方法の論理フロー２００を示す図である。組織サンプルは、典型的に論理フロー２００を開始する前に染色されている。組織サンプルは、細胞核を可視化するための細胞核対照染料、例えばＤＮＡ／ＲＮＡ含有構造に対して強い親和性を有する紫−青系染料ヘマトキシリンで染色される。組織サンプルはまた、一般的には「ファーストレッド」染料として知られるベクター研究所製のベクターレッド（ＶＲ）（登録商標）のような赤色アルカリ性ホスファターゼ基質で染色されていてもよい。ファーストレッド染料は、既知の抗体付近に沈殿して、関心のある蛋白質が発現された場所を可視化する。そのような組織内の領域は時々、「ベクターレッドポジティブ」領域又は「ファーストレッドポジティブ」領域と呼ばれる。ある位置のファーストレッド信号強度は、その位置に結合したプローブの量を示している。組織サンプルはしばしば、ファーストレッドで染色されている。これは、組織サンプルを、関心のある構造の存在の決定以外に使用するためである。ファーストレッドサインは通常、この発明の構造識別アルゴリズムによって抑制される。その代わりに、組織サンプルは、組織対照染料、例えばエオシンで染色されることもあり、またファーストレッドの代替染料、例えばジアミノベンジジン（ＤＡＢ）、あるいはテトラゾジウム塩、例えばＢＣＩＰ／ＮＢＴを使用してもよい。
【００７６】
開始ブロックＳ後に、論理フローはブロック２０５に移動し、ここで組織サンプル２６の微視的画像が第１の解像度で捕捉される。ブロック２０５ではまた、第１の解像度で捕捉された組織サンプルの捕捉されたカラー画像を表す第１のピクセルデータセットが生成される。さらにブロック２０５では、画像捕捉装置を調整して、第１のピクセルデータセットを第１の解像度で捕捉することもできる。
【００７７】
論理フローはブロック２１０に移動し、ここで第１のピクセルデータセットと組織サンプルの組織タイプの識別とがコンピュータ計算装置のメモリ、例えばコンピュータ計算装置１００のメモリ１０４内に取り込まれる。それから論理フローはブロック２１５に移動し、ここで関心のある構造のユーザ指示が受け取られる。例えば、ユーザは、結腸組織の上皮組織構成要素に関心を持つことがある。ブロック２１５において、論理フローは、上皮が関心のある構造であるとするユーザの指示を受け取る。
【００７８】
次に、論理フローはブロック２２０に移動し、ここで組織タイプに反応する少なくとも１つの構造識別アルゴリズムが、コンピュータ計算装置に格納されている複数の構造識別アルゴリズムから選択される。複数のアルゴリズム中の構造識別アルゴリズムの少なくとも２つは、異なる組織タイプに反応する。また、各構造識別アルゴリズムは、与えられた組織タイプについて関心のある構造の存在下で、その与えられた組織タイプ内の少なくとも１つの細胞パターンと相関する。構造識別アルゴリズムは、データのフィルタ処理用にコンピュータシステム上で走らせられる任意のタイプのアルゴリズム、例えば図８のフィルタクラス１８０でよい。
【００７９】
論理フローは次にブロック２２５に移動し、ここで少なくとも１つの選択された構造識別アルゴリズムが、画像を表す第１のピクセルデータセットに適用される。組織タイプが結腸組織である前の例を使用すると、適用された構造識別アルゴリズムはFilterColonZoneである。そのFilterColonZoneアルゴリズムは、第１のピクセルデータセットを３つのクラスの領域、即ち細胞核、細胞質、及び白色スペースにセグメント化する。セグメント化の結果に基づいて各クラスの「濃度マップ」が算出される。この濃度マップを使用して、アルゴリズムは、「標的域」又は関心のある細胞構成要素の潜在的位置、即ち表１の上皮、平滑筋、粘膜下組織、筋肉粘板を見出す。それから各潜在的標的域は、局部統計値用ツールと、その位置及び境界のより精密な推定を得るために行われる形態学的動作とによって分析される。中間マスク内の領域は、次の４つの細胞構成要素に対するグレイレベル、即ち上皮---５０、平滑筋---１００、粘膜下組織---１５０、筋肉粘板---２００でラベル付けされる。４つの細胞構成要素をセグメント化することに使用されるアルゴリズムのより詳細な論議は、前述したＰＣＴ特許出願ＰＣＴ／ＵＳ２００３／０１９２０６に見出すことができる。
【００８０】
二値構造マスクが、第１のピクセルデータセットに適用された構造識別アルゴリズムにより生成されたフィルタ中間マスクから計算される。この二値構造マスクは、ピクセルが関心のある構造内にある場合はピクセル値がゼロよりも大きく、そうでなければピクセル値がゼロの二値画像である。フィルタ中間マスクがユーザ指定の関心のある構造のマップを含む場合、二値構造マスクは、そのフィルタ中間マスクから直接生成され得る。関心のある構造の存在を決定するために相関を必要とする細胞成分をフィルタ中間マスクが含む場合、共配置演算子が中間マスクに適用され、中間マスクの細胞成分間に一致、交差、接近等があるか否かを決定する。更なる例として、結腸組織サンプルに対して指定された関心のある構造が表１に掲載された４つの組織構成要素の全てを含んでいる場合、二値構造マスクは、関心のある構造の存在を、関心のある構造を構成する４つの組織構成要素の少なくとも１つの細胞パターンの位置の交差又は一致によって記述し決定することになる。
【００８１】
二値構造マスクは典型的に、第１のデータセット内で細胞パターンが一致又は交差するピクセルに対しては“１”を、また他のピクセルに対しては“０”を含む。二値構造マスク内の最小数のピクセルが１”を含むときは、関心のある構造が存在すると決定される。一致又は交差する領域がない場合、関心のある構造は存在しないので、論理フローは、終了ブロックＥへ移動する。そうでない場合、論理フローはブロック２３０へ移動し、ここで関心のある構造を有する少なくとも１つの関心のある領域（ＲＯＩ）が第２の解像度画像の捕捉用に選択される。
【００８２】
フィルタ、例えば表２で論議されたFilterROISelectorは、関心のある構造を備えた細胞構成要素の位置をマーキングするためにブロック２２５で生成された二値構造マスクを使用して、関心のある領域を決定する。関心のある領域は、関心のある構造の第２の解像度画像を捕捉するための組織サンプル内の位置である。関心のある領域マスクを生成する方法では、二値構造マスク画像を、所定数の関心のある領域よりも数で大きい多数のほぼ等しいサイズの区間に分割して、関心のある候補領域を決定する。次に、関心のある各候補領域に対する中心について最適位置が選択される。それから、関心のある各候補領域は、マスクが負の値を有する場合は関心のある領域内のピクセルの部分を計算し、所望の構造が存在する程度を示すことによって採点される。次に、関心のある候補領域は、重複制約付きの採点によってソートされる。それから、最上位得点の関心のある候補領域が関心のある領域として選択される。
【００８３】
ブロック２３０における関心のある領域の選択には、前述したＰＣＴ特許出願ＰＣＴ／ＵＳ２００３／０１９２０６で論議されているように、最小感度プロセスに応答して第２のピクセルデータセットを捕捉するために関心のある各領域内の最適位置を選択することも含まれる。最小感度に応答して最適位置を選択する方法では、関心のある各領域を複数の小区間に分割する。次に、各小区間に対する最小感度を計算することによって、「最良」小区間が選択される。最小感度は、次のようにして計算される。先ず、二値構造マスクを平均化窓でフィルタ処理する。この平均化窓は、平均化窓内の正のマスクピクセルの割合に依存して０〜１の範囲の値を持つ最終最小感度画像に対して関心のある領域に一致するサイズを有する。加えて、最小感度画像を小区間内の全てのピクセルにわたって平均化することによって、与えられた小区間について最小感度を獲得する。この場合、高い数は低い数よりも良好である。最後に、分割及び選択工程を小区間がピクセルサイズになるまで繰り返す。
【００８４】
論理フローはそれからブロック２３５に移動し、ここで画像捕捉装置が調整されて、第２のピクセルデータセットを第２の解像度で捕捉する。この画像捕捉装置は、図１のロボット式顕微鏡２１であり得る。調整する工程では、組織サンプルを画像捕捉装置に対して移動させ、第２のピクセルデータセットを捕捉するためのアラインメントにする。調整する工程では、画像捕捉装置のレンズ倍率を変更して、第２の解像度を与えてもよい。調整する工程では更に、画像捕捉装置のピクセル濃度を変更して、第２の解像度を与えてもよい。
【００８５】
論理フローはそれからブロック２４０に移動し、ここで画像捕捉装置は、カラーの第２のピクセルデータセットを第２の解像度で捕捉する。関心のある複数の領域が選択された場合、論理フローはブロック２３５及び２４０を繰り返して画像捕捉装置を調整し、関心のある各領域について第２のピクセルデータセットを捕捉する。論理フローはブロック２４５に移動し、ここで第２のピクセルデータセットは、記憶装置、例えばコンピュータメモリ又はハードドライブに保存される。この代わりに、第２のピクセルデータセットは、例えば紙への印刷あるいは感光性フィルムへの露光によって、明確な可視的媒体上に保存される。
【００８６】
論理フロー２００は、第２のピクセルデータセットが顕微鏡スライド上の各組織サンプルについて捕捉されるまで繰り返される。第２のピクセルデータセットの捕捉後に、論理フローは終了ブロックＥへ移動する。
【００８７】
組織タイプに反応する構造識別アルゴリズムが、第１の解像度では関心のある構造の存在を決定することはできないが、関心のある構造が配置されているかもしれない領域の存在を決定することはできる状況について、１つの代替実施形態の論理フロー２００は、第２のピクセルデータセットを捕捉する繰り返しプロセスを含む。この代替実施形態では、ブロック２２０，２２５及び２３０において、選択されたアルゴリズムが第１のピクセルデータセットに適用され、そして関心のある構造が配置されているかもしれない関心のある領域が選択される。画像捕捉装置は、ブロック２３５において調整され、中間ピクセルデータセットを第１の解像度よりも高い解像度で捕捉する。プロセスはブロック２１０に戻り、ここで中間ピクセルデータセットはメモリ内に取り込まれ、そして選択されたアルゴリズムが中間ピクセルデータセットに適用されて関心のある構造の存在をブロック２２５において決定する。この繰り返しプロセスは、関心のある構造の第２の解像度画像を捕捉するために、必要に応じて繰り返してもよい。この代替実施形態の繰り返しプロセスは、典型的に第１の解像度画像の捕捉に使用される５Ｘ倍率ではしばしば識別できないライディッヒ細胞やハッサル小体を検出することに使用できる。中間ピクセルデータセットは２０Ｘ倍率で捕捉され、そして更なるピクセルデータセットは、関心のある構造が存在しているか否かを決定するために４０Ｘ倍率で捕捉される。
【００８８】
いくつかの状況では、既存の組織画像データベースは、関心のある構造の選出、並びに関心のある構造を含まない画像の全て又は部分の可能な廃棄を必要とすることがある。論理フロー２００と同様なこの発明の一実施形態は、関心のある構造を有した組織サンプルの画像を表すピクセルデータセットを自動的に選出するコンピュータ式方法を提供する。ピクセルデータセットを選出するための論理フローでは、ブロック２０５と同様にピクセルデータセット及び組織サンプルの組織タイプの識別をコンピュータメモリに取り込む。論理フローはそれから、ブロック２２０及び２２５に移動して、組織サンプル内の関心のある構造の存在を決定する。ブロック２２５の完了時に、組織画像はその全体がブロック２４５で保存されるか、あるいは組織サンプル内の関心のある構造の位置が保存される。この位置は、関心のある構造を含んだ画像を表すピクセルデータセットのサブセットであり得る。論理フローは、関心のある領域を選択するためのブロック２３０を含んでも良い。また、ピクセルデータセットのサブセットは、関心のある領域のピクセルデータサブセットを保存することによって保存される。
【００８９】
この発明の種々の実施形態は、コンピュータシステム上を走る一連のコンピュータ実施型工程又はプログラムモジュールとして及び／又はコンピュータシステム内で相互接続された機械論理回路又は回路モジュールとして実施され得る。この実施は、この発明を実施するコンピュータ計算システムの性能要求に依存した選択の問題である。この開示に照らして、開示された種々の実施形態の機能及び動作は、本発明の精神又は範囲からそれることなしに、ソフトウエア、ファームウエア、専用デジタルロジック、あるいはそれらの組み合わせで実施され得る。
【００９０】
本発明は、所定の好ましい実施形態を参照して相当詳細に論議されてきたが、他の実施形態も可能である。それ故、添付した請求の範囲の精神又は範囲は、ここに含まれた実施形態の論議に限定されるべきではない。発明は以下に添付された請求の範囲に存することが意図されている。
【図面の簡単な説明】
【００９１】
【図１Ａ】この発明の一実施形態に係る、顕微鏡スライド上に搭載された組織マイクロアレイの組織サンプルに合焦されたレンズを持つロボット式病理顕微鏡を示す。
【図１Ｂ】この発明の一実施形態に係る、組織マイクロアレイ内の各組織サンプルのアレイレベルのデジタル画像を含んだ組織マイクロアレイの補助デジタル画像を示す。
【図１Ｃ】この発明の一実施形態に係る、ロボット式顕微鏡によって第１の解像度で取得された組織サンプルのデジタル組織サンプル画像を示す。
【図１Ｄ】この発明の一実施形態に係る、第１の解像度の第１のピクセルデータセットの形態のデジタル組織画像をコンピュータ計算装置へ与えるコンピュータ式画像捕捉システムを示す。
【図２】この発明の一実施形態に係る電子システムのブロック図である。
【図３】組織サンプルアレイが搭載された顕微鏡スライドの模式図である。
【図４】この発明の一実施形態に係る組織マッピングプロセス中に使用される伸縮関数を示す図である。
【図５】この発明の一実施形態に係る組織サンプル画像のヒストグラム分析の模式的及び機能的な図である。
【図６】この発明の一実施形態に係る図３の組織アレイに重ね合わされた生成理論的アレイの重ね合わせの模式的及び機能的な図である。
【図７】この発明の一実施形態に係る方法を示すフローチャートである。
【図８】この発明の一実施形態に係る、組織サンプル内の関心のある構造の画像を自動的に捕捉する画像捕捉アプリケーションにおける複数の対象物クラスファミリーを示す分類図である。
【図９】この発明の一実施形態に係る、組織サンプル内の関心のある構造の画像を自動的に捕捉するコンピュータ式方法の論理フローを示す図である。
【特許請求の範囲】
【請求項１】
組織サンプルセットの画像を受け入れる工程と、
少なくとも１つの他の組織サンプルに対する各組織サンプルの画像中の位置を電子的に識別する工程と、
組織サンプル位置の識別に基づいて各組織サンプルを電子的に識別する工程と
を備えることを特徴とする方法。
【請求項２】
サンプルセットが搭載されたスライドを拡大装置上に乗せる工程を更に備える請求項１に記載の方法。
【請求項３】
スライドは自動的に乗せられる請求項２に記載の方法。
【請求項４】
画像は、少なくとも１つの人工品を含み、
各組織サンプルを少なくとも１つの人工品から電子的に区別する工程を更に備える請求項１に記載の方法。
【請求項５】
各組織サンプルを識別する工程は、組織サンプルセットをアレイグリッドと電子的に比較する工程を含む請求項１に記載の方法。
【請求項６】
セットは、アレイ状に配置されている請求項５に記載の方法。
【請求項７】
各組織サンプルを電子的に識別する工程に先行して、セットアレイのサイズをメモリに格納する工程を更に備える請求項６に記載の方法。
【請求項８】
アレイグリッドは、メモリ内のセットアレイに基づいて生成される請求項７に記載の方法。
【請求項９】
各組織サンプルを識別する工程は、セットの識別を受け入れる工程を含む請求項１に記載の方法。
【請求項１０】
識別を受け入れる工程は、セットが搭載されたスライド上のバーコードラベルを読み取る工程を含む請求項９に記載の方法。
【請求項１１】
機械読み取り可能な媒体を備えた製造品であって、この媒体は、
組織サンプルセットの画像を受け入れ、
少なくとも１つの他の組織サンプルに対する各組織サンプルの画像中の位置を電子的に識別し、そして
組織サンプル位置の識別に基づいて各組織サンプルを識別する
ための実行可能な命令を有することを特徴とする製造品。
【請求項１２】
媒体は、変調されたキャリア信号を含む請求項１１に記載の製造品。
【請求項１３】
インターフェースと、
このインターフェースに結合され、そして組織サンプルセットの画像を受け入れ、少なくとも１つの他の組織サンプルに対する各組織サンプルの画像中の位置を電子的に識別し、そして組織サンプル位置の識別に基づいて電子的に各組織サンプルを識別することが可能なプロセッサと
備えることを特徴とする電子システム。
【請求項１４】
第１の解像度で捕捉された第１の組織サンプルの画像を取得する工程と、
画像の所定の位置を電子的に識別する工程と、
第２の解像度で画像の部分を捕捉する工程と
を備えることを特徴とする方法。
【請求項１５】
第１の解像度で画像を捕捉する工程を更に備える請求項１４に記載の方法。
【請求項１６】
画像を捕捉する工程は、サンプルの位置を示す信号を受信する工程を含む請求項１５に記載の方法。
【請求項１７】
信号は、媒体によって保持された組織サンプルアレイ内でサンプルの位置を示す請求項１６に記載の方法。
【請求項１８】
媒体上のサンプルの位置を電子的に決定する工程を更に備える請求項１７に記載の方法。
【請求項１９】
画像を取得する工程は、第１の組織サンプルの組織タイプを識別する信号を受信する工程を含む請求項１４に記載の方法。
【請求項２０】
部分を識別する工程は、識別された組織タイプに基づいて、識別アルゴリズムを選択する工程を含む請求項１９に記載の方法。
【請求項２１】
所定部分の選択を受け入れる工程を更に備える請求項１４に記載の方法。
【請求項２２】
部分は、部分の選択に基づいて識別される請求項２１に記載の方法。
【請求項２３】
画像の部分は、画像の部分の識別に応答して捕捉される請求項１４に記載の方法。
【請求項２４】
画像の部分を捕捉する工程は、画像の部分の位置を示す信号を受信する工程を含む請求項１４に記載の方法。
【請求項２５】
所定部分は、第１の組織サンプルの構造によって規定される請求項１４に記載の方法。
【請求項２６】
構造は、異常細胞の特徴的形状を含む請求項２５に記載の方法。
【請求項２７】
第２の解像度は、第１の解像度よりも高い請求項１４に記載の方法。
【請求項２８】
インターフェースと、
このインターフェースに結合され、そして第１の解像度で捕捉された、第１の組織サンプルの画像の所定部分を識別し、第２の解像度で画像の部分を捕捉することが可能なプロセッサと
備えることを特徴とする電子システム。
【請求項２９】
コンピュータ読み取り可能な媒体を備えた装置であって、この媒体は、
第１の解像度で捕捉された第１の組織サンプルの画像の所定部分を識別し、
第２の解像度で画像の部分を捕捉する
ための実行可能な命令を有することを特徴とする装置。
【請求項３０】
自動顕微鏡スライド組織マッピング及び画像取得システムであって、
（ａ）複数の拡大対物レンズを有し、またモータ式ステージ及びデジタル画像取得手段を装備したロボット式顕微鏡と、
（ｂ）ロボット式顕微鏡を制御可能であり、またそれぞれが複数の搭載された組織サンプルを有する複数の顕微鏡スライドに関連する情報を含んだデータベースを格納可能な記憶部を有するコンピュータ計算システムと、
（ｃ）コンピュータ実行可能な命令と
を備え、この命令は、
（ｉ）各スライドが機械読み取り可能なスライド識別子及び複数の搭載された組織サンプル区間を持つ表面を有する複数の顕微鏡スライド中の第１の顕微鏡スライドをロボット式顕微鏡の第１の拡大対物レンズに対し位置決めして、第１の顕微鏡スライドの表面画像を捕捉し、
（ii）第１の顕微鏡スライドの表面の全表面画像を取得し、
（iii）第１のスライド上の複数の搭載された組織区間中の第１の搭載された組織区間の位置をマッピングし、
（iv）第１のスライド上の識別子を取得して読み取り、
（v）読み取った識別子に応答して、読み取った識別子に関連するデータベースから、第１のスライドの表面上の組織区間の多数の行及び列を含む情報を獲得し、
（vi）第１の組織区間の境界を規定し、
（vii）第２の顕微鏡対物レンズを第１のスライドに対して位置決めして、第１の組織区間の第１の解像度画像を第１の組織区間の規定された境界に応答して捕捉し、
（viii）第１の解像度画像を取得し、
（ix）第３の顕微鏡対物レンズを第１のスライドに対して位置決めして、第１の組織区間の第２の解像度画像を規定された境界に応答して捕捉し、
（x）第２の解像度画像を取得し、
（xi）工程（ａ）〜（ｘ）を第１のスライドの第２の組織区間に対して繰り返し、
（xii）工程（ａ）〜（xi）を複数の顕微鏡スライド内の第２のスライドに対して繰り返す
ものであることを特徴とするシステム。
【請求項３１】
自動顕微鏡スライド組織マッピング及び画像取得方法であって、
（ａ）各スライドが機械読み取り可能なスライド識別子及び複数の搭載された組織サンプル区間を持つ表面を有する複数の顕微鏡スライドを受け入れる工程と、
（ｂ）複数のスライド中の第１の顕微鏡スライドを第１の顕微鏡対物レンズに対し位置決めして、第１のスライドの全表面画像を捕捉する工程と、
（ｃ）複数のスライド中の第１の顕微鏡スライドの全表面の画像を獲得する工程と、
（ｄ）第１のスライド上の複数の搭載された組織区間中の第１の搭載された組織区間の位置をマッピングする工程と、
（ｅ）第１のスライド上の識別子を取得して読み取る工程と、
（ｆ）読み取った識別子に応答して、読み取った識別子に関連するデータベースから、第１のスライドの表面上の組織区間の多数の行及び列を含む情報を獲得する工程と、
（ｇ）第１の組織区間の境界を規定する工程と、
（ｈ）第１の組織区間を第２の顕微鏡対物レンズに対して位置決めして、第１の組織区間の決定された境界に応答して第１の組織区間の第１の解像度画像を取得する工程と、
（ｉ）第１の解像度画像を取得する工程と、
（ｊ）第１の組織区間を第３の顕微鏡対物レンズに対して位置決めして、第１の組織区間の決定された境界に応答して第１の組織区間の第２の解像度画像を捕捉する工程と、
（ｋ）第２の解像度画像を取得する工程と、
（ｌ）工程（ａ）〜（ｋ）を第１のスライドの第２の組織区間に対して繰り返す工程と、
（ｍ）工程（ａ）〜（ｌ）を複数の顕微鏡スライド内の第２のスライドに対して繰り返す工程と、
を備えることを特徴とする方法。
【請求項１】
組織サンプルセットの画像を受け入れる工程と、
少なくとも１つの他の組織サンプルに対する各組織サンプルの画像中の位置を電子的に識別する工程と、
組織サンプル位置の識別に基づいて各組織サンプルを電子的に識別する工程と
を備えることを特徴とする方法。
【請求項２】
サンプルセットが搭載されたスライドを拡大装置上に乗せる工程を更に備える請求項１に記載の方法。
【請求項３】
スライドは自動的に乗せられる請求項２に記載の方法。
【請求項４】
画像は、少なくとも１つの人工品を含み、
各組織サンプルを少なくとも１つの人工品から電子的に区別する工程を更に備える請求項１に記載の方法。
【請求項５】
各組織サンプルを識別する工程は、組織サンプルセットをアレイグリッドと電子的に比較する工程を含む請求項１に記載の方法。
【請求項６】
セットは、アレイ状に配置されている請求項５に記載の方法。
【請求項７】
各組織サンプルを電子的に識別する工程に先行して、セットアレイのサイズをメモリに格納する工程を更に備える請求項６に記載の方法。
【請求項８】
アレイグリッドは、メモリ内のセットアレイに基づいて生成される請求項７に記載の方法。
【請求項９】
各組織サンプルを識別する工程は、セットの識別を受け入れる工程を含む請求項１に記載の方法。
【請求項１０】
識別を受け入れる工程は、セットが搭載されたスライド上のバーコードラベルを読み取る工程を含む請求項９に記載の方法。
【請求項１１】
機械読み取り可能な媒体を備えた製造品であって、この媒体は、
組織サンプルセットの画像を受け入れ、
少なくとも１つの他の組織サンプルに対する各組織サンプルの画像中の位置を電子的に識別し、そして
組織サンプル位置の識別に基づいて各組織サンプルを識別する
ための実行可能な命令を有することを特徴とする製造品。
【請求項１２】
媒体は、変調されたキャリア信号を含む請求項１１に記載の製造品。
【請求項１３】
インターフェースと、
このインターフェースに結合され、そして組織サンプルセットの画像を受け入れ、少なくとも１つの他の組織サンプルに対する各組織サンプルの画像中の位置を電子的に識別し、そして組織サンプル位置の識別に基づいて電子的に各組織サンプルを識別することが可能なプロセッサと
備えることを特徴とする電子システム。
【請求項１４】
第１の解像度で捕捉された第１の組織サンプルの画像を取得する工程と、
画像の所定の位置を電子的に識別する工程と、
第２の解像度で画像の部分を捕捉する工程と
を備えることを特徴とする方法。
【請求項１５】
第１の解像度で画像を捕捉する工程を更に備える請求項１４に記載の方法。
【請求項１６】
画像を捕捉する工程は、サンプルの位置を示す信号を受信する工程を含む請求項１５に記載の方法。
【請求項１７】
信号は、媒体によって保持された組織サンプルアレイ内でサンプルの位置を示す請求項１６に記載の方法。
【請求項１８】
媒体上のサンプルの位置を電子的に決定する工程を更に備える請求項１７に記載の方法。
【請求項１９】
画像を取得する工程は、第１の組織サンプルの組織タイプを識別する信号を受信する工程を含む請求項１４に記載の方法。
【請求項２０】
部分を識別する工程は、識別された組織タイプに基づいて、識別アルゴリズムを選択する工程を含む請求項１９に記載の方法。
【請求項２１】
所定部分の選択を受け入れる工程を更に備える請求項１４に記載の方法。
【請求項２２】
部分は、部分の選択に基づいて識別される請求項２１に記載の方法。
【請求項２３】
画像の部分は、画像の部分の識別に応答して捕捉される請求項１４に記載の方法。
【請求項２４】
画像の部分を捕捉する工程は、画像の部分の位置を示す信号を受信する工程を含む請求項１４に記載の方法。
【請求項２５】
所定部分は、第１の組織サンプルの構造によって規定される請求項１４に記載の方法。
【請求項２６】
構造は、異常細胞の特徴的形状を含む請求項２５に記載の方法。
【請求項２７】
第２の解像度は、第１の解像度よりも高い請求項１４に記載の方法。
【請求項２８】
インターフェースと、
このインターフェースに結合され、そして第１の解像度で捕捉された、第１の組織サンプルの画像の所定部分を識別し、第２の解像度で画像の部分を捕捉することが可能なプロセッサと
備えることを特徴とする電子システム。
【請求項２９】
コンピュータ読み取り可能な媒体を備えた装置であって、この媒体は、
第１の解像度で捕捉された第１の組織サンプルの画像の所定部分を識別し、
第２の解像度で画像の部分を捕捉する
ための実行可能な命令を有することを特徴とする装置。
【請求項３０】
自動顕微鏡スライド組織マッピング及び画像取得システムであって、
（ａ）複数の拡大対物レンズを有し、またモータ式ステージ及びデジタル画像取得手段を装備したロボット式顕微鏡と、
（ｂ）ロボット式顕微鏡を制御可能であり、またそれぞれが複数の搭載された組織サンプルを有する複数の顕微鏡スライドに関連する情報を含んだデータベースを格納可能な記憶部を有するコンピュータ計算システムと、
（ｃ）コンピュータ実行可能な命令と
を備え、この命令は、
（ｉ）各スライドが機械読み取り可能なスライド識別子及び複数の搭載された組織サンプル区間を持つ表面を有する複数の顕微鏡スライド中の第１の顕微鏡スライドをロボット式顕微鏡の第１の拡大対物レンズに対し位置決めして、第１の顕微鏡スライドの表面画像を捕捉し、
（ii）第１の顕微鏡スライドの表面の全表面画像を取得し、
（iii）第１のスライド上の複数の搭載された組織区間中の第１の搭載された組織区間の位置をマッピングし、
（iv）第１のスライド上の識別子を取得して読み取り、
（v）読み取った識別子に応答して、読み取った識別子に関連するデータベースから、第１のスライドの表面上の組織区間の多数の行及び列を含む情報を獲得し、
（vi）第１の組織区間の境界を規定し、
（vii）第２の顕微鏡対物レンズを第１のスライドに対して位置決めして、第１の組織区間の第１の解像度画像を第１の組織区間の規定された境界に応答して捕捉し、
（viii）第１の解像度画像を取得し、
（ix）第３の顕微鏡対物レンズを第１のスライドに対して位置決めして、第１の組織区間の第２の解像度画像を規定された境界に応答して捕捉し、
（x）第２の解像度画像を取得し、
（xi）工程（ａ）〜（ｘ）を第１のスライドの第２の組織区間に対して繰り返し、
（xii）工程（ａ）〜（xi）を複数の顕微鏡スライド内の第２のスライドに対して繰り返す
ものであることを特徴とするシステム。
【請求項３１】
自動顕微鏡スライド組織マッピング及び画像取得方法であって、
（ａ）各スライドが機械読み取り可能なスライド識別子及び複数の搭載された組織サンプル区間を持つ表面を有する複数の顕微鏡スライドを受け入れる工程と、
（ｂ）複数のスライド中の第１の顕微鏡スライドを第１の顕微鏡対物レンズに対し位置決めして、第１のスライドの全表面画像を捕捉する工程と、
（ｃ）複数のスライド中の第１の顕微鏡スライドの全表面の画像を獲得する工程と、
（ｄ）第１のスライド上の複数の搭載された組織区間中の第１の搭載された組織区間の位置をマッピングする工程と、
（ｅ）第１のスライド上の識別子を取得して読み取る工程と、
（ｆ）読み取った識別子に応答して、読み取った識別子に関連するデータベースから、第１のスライドの表面上の組織区間の多数の行及び列を含む情報を獲得する工程と、
（ｇ）第１の組織区間の境界を規定する工程と、
（ｈ）第１の組織区間を第２の顕微鏡対物レンズに対して位置決めして、第１の組織区間の決定された境界に応答して第１の組織区間の第１の解像度画像を取得する工程と、
（ｉ）第１の解像度画像を取得する工程と、
（ｊ）第１の組織区間を第３の顕微鏡対物レンズに対して位置決めして、第１の組織区間の決定された境界に応答して第１の組織区間の第２の解像度画像を捕捉する工程と、
（ｋ）第２の解像度画像を取得する工程と、
（ｌ）工程（ａ）〜（ｋ）を第１のスライドの第２の組織区間に対して繰り返す工程と、
（ｍ）工程（ａ）〜（ｌ）を複数の顕微鏡スライド内の第２のスライドに対して繰り返す工程と、
を備えることを特徴とする方法。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図１Ｄ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１Ｂ】
【図１Ｃ】
【図１Ｄ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２００７−５１０１９９（Ｐ２００７−５１０１９９Ａ）
【公表日】平成１９年４月１９日（２００７．４．１９）
【国際特許分類】
【出願番号】特願２００６−５３４４０７（Ｐ２００６−５３４４０７）
【出願日】平成１６年１０月８日（２００４．１０．８）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０３３３２８
【国際公開番号】ＷＯ２００５／０３６４５１
【国際公開日】平成１７年４月２１日（２００５．４．２１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ウィンドウズ
【出願人】（５０４４６２４９０）ライフスパン バイオサイエンス，インク． (1)
【Ｆターム（参考）】
【公表日】平成１９年４月１９日（２００７．４．１９）
【国際特許分類】
【出願日】平成１６年１０月８日（２００４．１０．８）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０３３３２８
【国際公開番号】ＷＯ２００５／０３６４５１
【国際公開日】平成１７年４月２１日（２００５．４．２１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ウィンドウズ
【出願人】（５０４４６２４９０）ライフスパン バイオサイエンス，インク． (1)
【Ｆターム（参考）】
[ Back to top ]