有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法
少なくとも１つの染料で染色された生検標本の画像内の有糸分裂像を検出して計数する方法およびシステムは、画像をコンピュータ処理で色濾過し、該画像内の有糸分裂像を示す有色の画素を特定すること、画像内の互いに連結された有糸分裂の画素をコンピュータ処理で抽出し、それによって有糸分裂の画素の塊を生成すること、有糸分裂の画素の塊をコンピュータ処理で形状濾過および群化して、有糸分裂像の候補を生成すること、塊の位置で生検標本画像をトリミングすることによって、有糸分裂像のサブ画像を抽出すること、有糸分裂像の候補から２つの特徴群を２つの個別のコンピュータ処理で抽出すること、抽出された２つの特徴群に基づいて、有糸分裂像の候補のどれが有糸分裂像かをコンピュータ分類処理で決定すること、生検標本組織の平方単位当たりの有糸分裂像の数を計数すること、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示はデジタル病理学に関する。より詳細には、本開示は、有糸分裂像検出装置および計数システム、および組織試料の有糸分裂像を検出して計数する方法に関する。
（関連出願）
本出願は２００８年７月３日に出願された米国特許仮出願番号第６１／０７７，９６６号の利益を主張し、その全開示は参照によりここに組み込まれている。
【０００２】
本出願は、２００８年７月３日に出願された米国特許仮出願番号第６１／０７７，９６９号の利益を主張する、「印環細胞検出装置および関連方法」と題する２００９年７月２日に出願された米国特許出願番号第＿号（代理人整理番号０８０３２）、および２００８年７月３日に出願された米国特許仮出願第６１／０７７，９７４号の利益を主張する、「上皮層検出装置および関連方法」と題する２００９年７月２日に出願された米国特許出願番号第＿号（代理人整理番号０８０３３）に関連する。「印環細胞検出装置および関連方法」と題する２００９年７月２日に出願された米国特許出願番号第＿号（代理人整理番号０８０３２）、および「上皮層検出装置および関連方法」と題する２００９年７月２日に出願された米国特許出願番号第＿号（代理人整理番号０８０３３）の全開示は、参照によりここに組み込まれている。
【背景技術】
【０００３】
有糸分裂像は分裂を行っている細胞核である。有糸分裂には、前期、中期、後期、および終期の４段階がある。有糸分裂像の計数は、Ｎｏｔｔｉｎｇｈａｍ−Ｂｌｏｏｍ−Ｒｉｃｈａｒｄｓｏｎ（ＮＢＲ）グレードを算出するのに使用される３つの基準（多形性および環状性と共に）の１つである。いずれにしても、組織が癌化している場合、ヒトまたは動物の組織の単位面積当たりの有糸分裂像の計数は、癌の進行度合いに関する情報を提供する。ＮＢＲグレードとは乳癌を等級分けする基準の悪性度である。通常、トレーニングされた病理医は有糸分裂像を手作業で計数するが、これには時間がかかり費用が高くつく。
【０００４】
デジタル病理学は、病理医が組織標本を等級分けするのを支援するコンピュータの使用を含んでいる。例えば、専門家が乳癌診断用の組織試料を等級分けするのに通常５分以上はかかる。いくつかの調査によれば、同一事例について病理医の格付けが一致することは低いことが実証されており、それらの診断の客観性が問題になっている。優れたシステムは、診断時に病理医を支援することができるので、より再現可能な結果をより低いコストで達成するのを支援することができる。
【０００５】
先行技術のシステムは、像からある単純な特徴を抽出することによって有糸分裂像を自動的に検出して計数する。次に、該特徴の値にユーザ定義の閾値を適用し、その後、フィッシャーの線形判別分析を使用することによって、像は有糸分裂／非有糸分裂として分類される。都合の悪いことに、先行技術のシステムによって生成された分類結果は、該先行技術のシステムが自動診断ツールとして使用されることを可能にするほどの信頼性はなかった。
【０００６】
したがって、有糸分裂像を自動的に確実に検出して計数する装置および方法の必要性が残存する。
【発明の概要】
【０００７】
少なくとも１つの染料で染色された生検標本の画像内の有糸分裂像を検出して計数する方法がここに開示される。該方法は、画像をコンピュータ処理で色濾過し、該画像内の有糸分裂像を示す有色の画素を特定すること、画像内の互いに連結された有糸分裂の画素をコンピュータ処理で抽出し、それによって有糸分裂の画素の塊を生成すること、有糸分裂の画素の塊をコンピュータ処理で形状濾過し、有糸分裂像の候補を生成すること、候補の隣接する画素をコンピュータ処理で群化し、正確な有糸分裂像の候補を生成すること、塊の位置で生検標本画像をトリミングすることによって、正確な有糸分裂像の候補のサブ画像を抽出すること、正確な有糸分裂像の候補のサブ画像から２つの特徴群を２つの個別のコンピュータ処理で抽出すること、抽出された２つの特徴群に基づいて、前記有糸分裂像の候補のどれが有糸分裂像かをコンピュータ分類処理で決定すること、生検標本組織の平方単位当たりの有糸分裂像の数を計数すること、を含む。
【０００８】
少なくとも１つの染料で染色された生検標本の画像の有糸分裂像を自動的に検出して計数するシステムもここに開示される。該システムは、有糸分裂像の候補を選択する前処理装置と、候補となる有糸分裂像から個別の特徴群を算出する２つの特徴抽出装置と、有糸分裂像の候補のどれが有糸分裂像であるかを決定する分類装置と、生検標本組織の平方単位当たりの肯定的に分類された有糸分裂像の数を計数する計数装置と、を有する。
【図面の簡単な説明】
【０００９】
【図１】有糸分裂像検出および計数システムの例示的な実施形態のブロックダイアグラム
【図２】有糸分裂像検出および計数システムの前処理装置によって行われる、候補となる有糸分裂像の前処理方法の実施形態を示すフローチャート
【図３】有糸分裂像検出および計数システムの前処理装置のカラーフィルタによって行われる色濾過法の実施形態を示すフローチャート
【図４】有糸分裂像検出および計数システムの前処理装置の形状フィルタによって行われる形状濾過法の実施形態を示すフローチャート
【図５】有糸分裂像検出および計数システムの分類装置によって行われる候補となる有糸分裂像の分類法の実施形態を示すフローチャート
【図６】従来の畳み込みニューラルネットワークの概略図
【図７】ここに説明される有糸分裂像検出装置／計数装置を実装したコンピュータシステム、および対応する有糸分裂像検出および計数の方法の典型的な実施形態のブロックダイアグラム
【発明を実施するための形態】
【００１０】
有糸分裂細胞（像）の場所を自動的に特定または検出し、ヘマトキシリンおよびエオジンで染色された組織（例えばヒトの乳房組織、動物の組織等）の生検標本の画像内に検出された有糸分裂像を計数するシステムおよび方法がここに開示される。有糸分裂像は細胞分裂が行われている細胞核小体である。組織の単位面積当たりの有糸分裂像の数は、万一癌化している組織があった場合に癌化の度合いに関する情報を提供する。有糸分裂像検出および計数システム／方法は、同一の入力が与えられた場合に同一の出力を常に提供する。
【００１１】
図１は、有糸分裂像検出および計数システム１００の例示的な実施形態のブロックダイアグラムである。該システム１００は、一般に前処理装置１１０と、分類装置１２０と、計数装置１３０とを有している。前処理装置１１０は、カラーフィルタ１１２と、連結画素抽出部１１４と、形状フィルタ１１６とを有している。分類装置１２０は、サブ画像抽出部１２１と、ヒューリスティック特徴抽出部１２２と、畳み込みニューラルネットワーク（ＣＮＮ）１２４と、特徴ベクトル正規化部１２６と、２、３例を挙げるとサポートベクトルマシン（ＳＶＭ）、多層パーセプトロン（ＭＬＰ）、およびｋ最近傍分類装置（ｋＮＮ）のような分類部１２８とを有している。計数装置１３０は、腫瘍増殖速度を示す組織の平方単位当たりの有糸分裂像数を計数する計数部１３２を含んでいる。
【００１２】
前処理装置１１０は、全体画像に色閾値を適用することによって候補となる有糸分裂像を特定する。分類装置１２０は２つまたは３つ以上の異なる機械学習法を使用して、候補となる有糸分裂像を分類する。システムによって有糸分裂であると見なされた像は、両方の機械学習法により有糸分裂として分類された像である。
【００１３】
システム１００は十分に正確な結果を達成するが、このことは該システムを診断ツールとして使用することを可能にするものである。有糸分裂像を計数するヒトの病理医に代わってシステム１００を使用する利点として、高速動作および低いコストが挙げられるが、これらに限定されるものではない。さらに、ヒトの病理医は再現可能な結果を生成することができない。該システムは同一の入力に対して同一の有糸分裂像数を返すので、その結果は再現可能である。最後に、システムはユーザ定義のパラメータ値をほとんど必要としない。
【００１４】
分類装置１２０のＣＮＮ１２４の使用は、どの機能に基づいて核が分類されるべきであるかを決定する必要がない。ＣＮＮ１２４は、トレーニングされた病理医によって提供されたラベル付けされたデータ（トレーニング群）からこれらの特徴を自動的に学習する。より具体的には、ＣＮＮ１２４はラベル付けされた事例によってトレーニングされているので、ＣＮＮ１２４の内部重みは分類誤りを逆伝播することによってゆるやかに調整される。いったんＣＮＮ１２４がこのような方法でトレーニングされると、新たな入力が示される限り、その出力は該入力が有糸分裂像かどうか示す。ＣＮＮ１２４の最後（十分に連結している層）を取り除き、ＳＶＭまたは類似の分類部でそのベクトル値を使用することが、たまに性能を改善することが立証されている。さらに、最後の層を露出することは、特徴をヒューリスティック特徴抽出部１２２から簡単に付加することを可能にしている。こうして、ＣＮＮ１２４は、分類を提供する代わりに、簡単に他の特徴と連結され、その後、分類部１２８によって分類可能な特徴ベクトルを出力する。したがって、ＣＮＮ１２４は単なる特徴抽出部になり、該ＣＮＮが抽出する特徴はデータ例から「学習される」が、一方ヒューリスティックな特徴は設計者／ユーザによって手動で構築される。いくつかの応用例では、データのどの特徴が分類にとって重要であるかをシステムに学習させる方が好ましく、いくつかの他の応用例では、データの性質に関する知識を活用して、ＣＮＮ１２４が恐らく自動的に学習することができない非常に特有の特徴を手動で構築することは意味のあることである。本開示では、組み合わされた特徴が個々に得られた特徴よりも優れているので、両方の手法からの長所が使用される。
【００１５】
トレーニングされた病理医によって提供されるトレーニング群は小さいので、分類される必要のある有糸分裂像の候補数を制限するために前処理装置１１０が提供され、これにより多くの潜在的な偽陽性が回避される。さらに、システム１００の実行時間は、入力画像のすべてに対してはＣＮＮ１２４を実行しないようにすることによる非常に大きな要因によって低減される。
【００１６】
分類装置１２０のＣＮＮ１２４および分類部１２８はいずれもトレーニングされていなければならず、これはトレーニングされた病理医によって特定された有糸分裂像の小さな集合を使用して達成される。より具体的には、肯定的トレーニング例はトレーニングされた病理医によって提供され、否定的例は前処理装置によって提供される。トレーニングされた病理医によって有糸分裂としてラベル付けされていなかった、前処理装置によって返された像は、否定的トレーニング例を示している。
【００１７】
ＳＶＭまたは他の分類部１２８は特徴ベクトルに基づいた分類を行う。抽出される特徴は、トレーニングされた病理医が有糸分裂像を認識する方法によって呼び出される。ＣＮＮ１２４は特徴検出部および分類部と見なすことができる。ＣＮＮ１２４は、トレーニングデータに基づいて、自動的に検出する特徴を学習する。
【００１８】
図２は、有糸分裂像検出および計数システムの前処理装置によって行われる、候補となる有糸分裂像の前処理方法の実施形態を示すフローチャートである。前処理方法は、ヘマトキシリンおよびエオジンで染色された組織のＲＧＢ画像が前処理装置の入力に提供される、ボックス２００で始まる。前処理装置のカラーフィルタは、ボックス２１０で非有糸分裂像を示す有色のＲＧＢ入力画像のＲＧＢ画素を色濾過して除去し、それによって有糸分裂像を示す１つまたは２つ以上の色を持つＲＧＢ画像の画素を発生させる。カラーフィルタは、ボックス２２０で有糸分裂の着色画素のみを有するＲＧＢ画像を出力する。
【００１９】
図３は、前処理装置のカラーフィルタによって行われる色濾過法の実施形態を示すフローチャートである。ヒストグラム抽出部が、ボックス３００で組織のＲＧＢ入力画像についてヒストグラム処理を行い、ボックス３１０でＲＧＢ画像の画像色ヒストグラムを出力する。ヒストグラム処理では、ＲＧＢ画像の画素の各々は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の色チャネルの各々の強度値に対応する赤（Ｒ）、緑（Ｇ）、および青（Ｂ）のヒストグラムビンの計数にそれぞれ寄与する。各チャネルのビン数がシステムのパラメータである。１つの典型的な実施形態では、３０個のビンが各チャネルに使用される。他の実施形態では、３０個より多くのビンまたは３０個未満のビンが各チャネルに使用されてもよい。
【００２０】
図３をなお参照して、ボックス３２０で、すべての画像色ヒストグラムから有糸分裂の色閾値を予測するために、サポートベクトル回帰（ＳＶＲ）が画像色ヒストグラムについて行われる。ＳＶＲはＳＶＭ法を使用して計算される入力データの回帰である。したがって、入力ベクトルに対して、出力データベクトルが得られる。本方法では、Ｒ、Ｇ、およびＢのヒストグラムは、入力ベクトルをＳＶＲに役立てる。ＳＶＲは、順に、その画像に対する予測された有糸分裂色を表すＲ、Ｇ、およびＢの色ヒストグラムを出力する。その後、ヒストグラム範囲選択部がボックス３４０で該ヒストグラムを処理し、Ｒ、Ｇ、およびＢチャネルの各々の閾値群を得てどの画素が有糸分裂か否かを判定する。ヒストグラム範囲選択部は、肯定的（有糸分裂）として考慮されるべき有糸分裂のヒストグラム曲線下で百分率領域を表すパラメータを定義する。該パラメータは、バリデーション集合の受信者動作特性（ＲＯＣ）解析を使用して決定される。有糸分裂像を示す１つまたは２つ以上の色を持つＲＧＢ画像の画素が、ボックス２２０（図２）で、有糸分裂の着色画素のみを有するＲＧＢ画像としてカラーフィルタの出力で生成される。
【００２１】
形状濾過法はアルゴリズムとして自動的に行われるが、濾過パラメータは、ＣＮＮで行われたようにトレーニングされたデータから得られる代わりに手動で構築される。該パラメータは通常物理的な制約を有するが、それに制限されるものではない。例えば、しかし制限されるものではないが、有糸分裂像の大きさは２０ミクロンより大きくはなりえない。
【００２２】
図２を再び参照して、連結画素抽出部は、ボックス２３０で、ＲＧＢ画像内の互いに連結している有糸分裂の着色画素を抽出する。ＲＧＢ画像内の連結した（接触している）有糸分裂の着色画素は、有糸分裂像を形成する可能性が最もありそうな画像の画素である。ボックス２４０で、連結画素抽出部は、連結した有糸分裂画素によって形成される有糸分裂の塊のＲＧＢ画像を出力する。形状フィルタは、ボックス２５０で、該有糸分裂の塊のＲＧＢ画像を濾過し、一定の塊の形状および質量（塊の中のピクセル数）パラメータを満たさない有糸分裂の塊を取り除く。該パラメータは、有糸分裂像をとても表すことができない有糸分裂の塊が廃棄されるように選ばれる。有糸分裂像が連結された画素の２つまたは３つ以上の塊によって表されてもよい（有糸分裂過程の終期段階でのような）ことはよくあることである。そのような事例を考慮して、クラスタリングステップがボックス２６０で行われる。連結した画素の隣接の塊は、単一の有糸分裂候補を表すように一緒に群化される。そのようなクラスタリングステップの可能な実施形態は、塊の間の質量中心距離に基づいたリーダクラスタリング処理である。この実施形態の１つの典型的な実施では、５ミクロン未満の距離で分離されている２つの塊は、単一の有糸分裂候補に一緒に群化されることになる。
【００２３】
図４は、前処理装置の形状フィルタによって行われる形状濾過法の実施形態を示すフローチャートである。ボックス４００で、形状フィルタの入力でのＲＧＢ画像内の、あまりにも軽い（少ない連結した画素を持つ塊、すなわち質量が小さく、恐らく単にノイズである）有糸分裂の塊２４０（図２）は廃棄される。形状フィルタの入力でのＲＧＢ画像内の、あまりにも重たい（非常に多くの連結した画素を持つ塊、すなわち質量が非常に大きく、恐らく有糸分裂像ではない）有糸分裂の塊２４０（図２）は、ボックス４１０で廃棄される。ボックス４２０で、形状フィルタの入力でのＲＧＢ画像内の、長すぎる有糸分裂の塊２４０（図２）は廃棄される。形状フィルタの入力でのＲＧＢ画像内の、短すぎる有糸分裂の塊２４０（図２）は、ボックス４３０で廃棄される。
【００２４】
図５は、有糸分裂像検出および計数システムの分類装置によって行われる、候補となる有糸分裂像の分類法の実施形態を示すフローチャートである。該分類法は、有糸分裂の候補の１つがサブ画像抽出部装置（ボックス５１０）の入力で提供される、ボックス５００で始まる。サブ画像抽出部装置は、位置情報および形状情報を使用して、有糸分裂の候補から固定サイズの、候補となるＲＧＢサブ画像５２０を抽出する。該抽出処理の一実施形態では、１つの有糸分裂の候補の塊の質量中心が、簡易画像のトリミング処理の座標点を提供するのに使用される。その後、候補となるサブ画像５２０が、ボックス５４０で畳み込みニューラルネットワーク（ＣＮＮ）に、ボックス５３０でヒューリスティック特徴抽出部（ＨＦＥ）に加えられる。
【００２５】
ＣＮＮは当技術分野においてよく知られていて、通常空間像畳み込みを効率的に実行する方法で配置された接続を持つ、従来のニューラルネットワークを有している。本開示におけるＣＮＮは有糸分裂の候補画像の特徴を学習し、ＣＮＮの特徴またはＣＮＮの特徴ベクトルを出力する。図６は従来のＣＮＮ６００を概略的に示している。ＣＮＮ６００の構成および機能は当技術分野においてよく知られている。ＣＮＮは、特徴マップと呼ばれる入力６０１（入力層）の積み重ねを小さなフィルタ６０２で畳み込んで、内層または第１の内層６０３と呼ばれる特徴マップの新たな積み重ねを得る。この第１の内層６０３の特徴マップの各々は、トレーニングされたカーネル（通常異なる重みを持つ）によって１つまたは２つ以上の入力マップを畳み込み、結果を一緒に加算することによって得られる。次に、結果として生じた値は非線形伝達関数６０４を通して渡され、第２の内層６０５を得る。第３の内層６０７がサブサンプリング６０６によって得られ、ここで、各値は、前の内層（例えば第２の内層６０５）からの隣接値群を一緒に平均化することによって得られる。該群は重複しないので、結果として得られた内層は前の内層よりも実質的に小さい。いくつかの内層の後、出力層６０８の各値６０９が入力層６０１の隣接値の入力ウィンドウ６１０に依存することは明らかである。さらに、これらのウィンドウは互いに重複する。
【００２６】
ＣＮＮは、該ＣＮＮの出力が、像が有糸分裂か非有糸分裂かどうかを示すような、分類部として機能する。ラベル付けされた肯定の（有糸分裂）および否定の（非有糸分裂）像の例（例えば６０×６０画素の入力サブ画像）を入力で示すことによって、およびＣＮＮが生成した誤りを出力で逆伝播することによって、該ＣＮＮは分類部としてトレーニングされる。単一の値の代わりにＣＮＮの特徴ベクトルを出力で得るために、ＣＮＮの最後の層（例えば、最後の層が１つの出力に十分に連結された２０個の値のベクトルだった）は、トレーニング段階が完了したとき取り除かれる。したがって、候補となるサブ画像がＣＮＮの入力で示されると、大きさ２０の特徴ベクトル（前の例を使用して）がＣＮＮの出力で生成される。ＣＮＮの特徴は、ユーザが通常認識しない特徴、または明示的に算出することがかなり高価である可能性がある特徴を取得することを目指している。
【００２７】
ＨＦＥの構成および動作は当技術分野においてよく知られている。該ＨＦＥは入力候補のサブ画像を特徴または特徴ベクトルの簡約表現に変換する。ヒューリスティックな特徴は、データから自動的にトレーニングされることはないが、その代りに、ヒューリスティックな特徴が有糸分裂像と非有糸分裂像とをどれくらいよく区別するかに基づいて、ユーザによって手動で構築される。例えば、有糸分裂像は形状で畳み込まれるので、有糸分裂の候補を表す画素の塊の輪郭の平均曲率（曲率ヒストグラム）の基準が、抽出するのによい特徴であることが期待される。ＨＦＥを使用して抽出することができる他の特徴は、平均半径（半径ヒストグラム）、質量、輪郭長、凹面、細胞質の色、有糸分裂色、染色体毛、および粒度を含んでいるが、それらに限定されるものではない。
【００２８】
図５を再び参照して、ＣＮＮおよびヒューリスティックな特徴ベクトルが正規化され、その後ボックス５７０で、分類部が正規化されたＣＮＮおよびヒューリスティックな特徴ベクトルに適用される。分類部は正規化されたＣＮＮおよびヒューリスティックな特徴ベクトルを処理し、ボックス５８０で、像が有糸分裂か非有糸分裂かどうかについての最終決定をその出力で生成する。組み合わされた特徴が有糸分裂と非有糸分裂像とを区別する点においてより強力になるように、ＣＮＮの特徴はヒューリスティックな特徴を補完する。１つの典型的な実施形態では、ボックス５７０で正規化されたＣＮＮおよびヒューリスティックな特徴ベクトルに適用された分類部は、サポートベクトルマシンを有してもよい。
【００２９】
システムの計数装置は、生検標本の画像内に検出された有糸分裂像の数を分類装置によって計数する。他の実施形態では、システム１００によって生成された結果は、ユーザに、または有糸分裂像の最終計数を行う病理医に提供されてもよい。
【００３０】
当業者には、ここで説明している有糸分裂像検出装置および対応する方法は、任意の適切に適応したコンピュータシステムを用いて実現できることが認識されよう。コンピュータシステムは、メインフレームコンピュータシステム、ワークステーション、パーソナルコンピュータシステム、携帯情報端末（ＰＤＡ）、または、記憶媒体からの命令を実行する少なくとも１つのプロセッサを持つ他のデバイスまたは装置を含んでいてもよいが、それらに限定されるものではない。
【００３１】
コンピュータシステムは、１つまたは２つ以上のコンピュータプログラムまたはソフトウエアコンポーネントを格納できる、１つまたは２つ以上の記憶媒体を含んでいてもよい。ここで説明している方法を行うのに実行可能な１つまたは２つ以上のソフトウェアプログラムは、記憶媒体に格納されてもよい。該１つまたは２つ以上の記憶媒体は、ＣＤ−ＲＯＭ、フロッピーディスク、テープ装置、ＤＲＡＭ、ＳＲＡＭ、ＥＤＯ ＲＡＭ、およびＲａｍｂｕｓ ＲＡＭ（しかしこれらに限定されるものではない）のようなランダムアクセスメモリ、ハードディスクドライブおよび光記憶装置（しかしこれらに限定されるものではない）のような不揮発性メモリ、およびそれらの組み合わせを含んでいてもよいが、それらに限定されるものではない。さらに、記憶媒体は、インターネットのようなネットワーク上のコンピュータシステムに接続した、１つまたは２つ以上の関連するコンピュータまたはコンピュータシステムに完全にまたは部分的に配置されていてもよい。
【００３２】
ここに説明した有糸分裂像検出装置／計数装置および対応する有糸分裂像を検出して計数する方法（有糸分裂検出装置／方法）も、ハードウェア、ソフトウェアとハードウェアとの組み合わせ、または他の適切な実行可能な実施で実行することができる。ソフトウェアで実行される有糸分裂検出装置／方法は、コンピュータシステムのプロセッサ、または、コンピュータシステムに接続された１つまたは２つ以上の関連するコンピュータまたはコンピュータシステムの１つまたは２つ以上のプロセッサによって実行されてもよい。
【００３３】
図７は、ここで説明している有糸分裂検出装置／方法を実現するコンピュータシステム７００の典型的な実施形態のブロックダイアグラムである。コンピュータシステム７００は、プロセッサ７２０と、ここに説明している有糸分裂検出装置／方法を実施するプロセッサ７２０によって実行可能な１つまたは２つ以上のプログラムを格納するメモリ７３０と、入力データ（例えば処理用のラベル付されていないサブ画像、トレーニング用のラベル付けされたサブ画像、およびトレーニングおよび処理パラメータ）を受け取る入力７４０と、データ（例えば有糸分裂像および非有糸分裂像を示す１つまたは２つ以上の予測ラベル）を出力する出力７６０と、を含んでいる。
【００３４】
本開示の例示的図面および特定の実施形態を説明し例示したが、本発明の範囲は説明した特定の実施形態に限定されないことが理解されよう。したがって、実施形態は限定的であるよりも例示的と見なすべきであり、添付の特許請求の範囲に記載された本発明の範囲ならびに構造的等価物および機能的等価物から逸脱することなくこれらの実施形態に変更を加えることができることが当業者には理解されよう。
【技術分野】
【０００１】
本開示はデジタル病理学に関する。より詳細には、本開示は、有糸分裂像検出装置および計数システム、および組織試料の有糸分裂像を検出して計数する方法に関する。
（関連出願）
本出願は２００８年７月３日に出願された米国特許仮出願番号第６１／０７７，９６６号の利益を主張し、その全開示は参照によりここに組み込まれている。
【０００２】
本出願は、２００８年７月３日に出願された米国特許仮出願番号第６１／０７７，９６９号の利益を主張する、「印環細胞検出装置および関連方法」と題する２００９年７月２日に出願された米国特許出願番号第＿号（代理人整理番号０８０３２）、および２００８年７月３日に出願された米国特許仮出願第６１／０７７，９７４号の利益を主張する、「上皮層検出装置および関連方法」と題する２００９年７月２日に出願された米国特許出願番号第＿号（代理人整理番号０８０３３）に関連する。「印環細胞検出装置および関連方法」と題する２００９年７月２日に出願された米国特許出願番号第＿号（代理人整理番号０８０３２）、および「上皮層検出装置および関連方法」と題する２００９年７月２日に出願された米国特許出願番号第＿号（代理人整理番号０８０３３）の全開示は、参照によりここに組み込まれている。
【背景技術】
【０００３】
有糸分裂像は分裂を行っている細胞核である。有糸分裂には、前期、中期、後期、および終期の４段階がある。有糸分裂像の計数は、Ｎｏｔｔｉｎｇｈａｍ−Ｂｌｏｏｍ−Ｒｉｃｈａｒｄｓｏｎ（ＮＢＲ）グレードを算出するのに使用される３つの基準（多形性および環状性と共に）の１つである。いずれにしても、組織が癌化している場合、ヒトまたは動物の組織の単位面積当たりの有糸分裂像の計数は、癌の進行度合いに関する情報を提供する。ＮＢＲグレードとは乳癌を等級分けする基準の悪性度である。通常、トレーニングされた病理医は有糸分裂像を手作業で計数するが、これには時間がかかり費用が高くつく。
【０００４】
デジタル病理学は、病理医が組織標本を等級分けするのを支援するコンピュータの使用を含んでいる。例えば、専門家が乳癌診断用の組織試料を等級分けするのに通常５分以上はかかる。いくつかの調査によれば、同一事例について病理医の格付けが一致することは低いことが実証されており、それらの診断の客観性が問題になっている。優れたシステムは、診断時に病理医を支援することができるので、より再現可能な結果をより低いコストで達成するのを支援することができる。
【０００５】
先行技術のシステムは、像からある単純な特徴を抽出することによって有糸分裂像を自動的に検出して計数する。次に、該特徴の値にユーザ定義の閾値を適用し、その後、フィッシャーの線形判別分析を使用することによって、像は有糸分裂／非有糸分裂として分類される。都合の悪いことに、先行技術のシステムによって生成された分類結果は、該先行技術のシステムが自動診断ツールとして使用されることを可能にするほどの信頼性はなかった。
【０００６】
したがって、有糸分裂像を自動的に確実に検出して計数する装置および方法の必要性が残存する。
【発明の概要】
【０００７】
少なくとも１つの染料で染色された生検標本の画像内の有糸分裂像を検出して計数する方法がここに開示される。該方法は、画像をコンピュータ処理で色濾過し、該画像内の有糸分裂像を示す有色の画素を特定すること、画像内の互いに連結された有糸分裂の画素をコンピュータ処理で抽出し、それによって有糸分裂の画素の塊を生成すること、有糸分裂の画素の塊をコンピュータ処理で形状濾過し、有糸分裂像の候補を生成すること、候補の隣接する画素をコンピュータ処理で群化し、正確な有糸分裂像の候補を生成すること、塊の位置で生検標本画像をトリミングすることによって、正確な有糸分裂像の候補のサブ画像を抽出すること、正確な有糸分裂像の候補のサブ画像から２つの特徴群を２つの個別のコンピュータ処理で抽出すること、抽出された２つの特徴群に基づいて、前記有糸分裂像の候補のどれが有糸分裂像かをコンピュータ分類処理で決定すること、生検標本組織の平方単位当たりの有糸分裂像の数を計数すること、を含む。
【０００８】
少なくとも１つの染料で染色された生検標本の画像の有糸分裂像を自動的に検出して計数するシステムもここに開示される。該システムは、有糸分裂像の候補を選択する前処理装置と、候補となる有糸分裂像から個別の特徴群を算出する２つの特徴抽出装置と、有糸分裂像の候補のどれが有糸分裂像であるかを決定する分類装置と、生検標本組織の平方単位当たりの肯定的に分類された有糸分裂像の数を計数する計数装置と、を有する。
【図面の簡単な説明】
【０００９】
【図１】有糸分裂像検出および計数システムの例示的な実施形態のブロックダイアグラム
【図２】有糸分裂像検出および計数システムの前処理装置によって行われる、候補となる有糸分裂像の前処理方法の実施形態を示すフローチャート
【図３】有糸分裂像検出および計数システムの前処理装置のカラーフィルタによって行われる色濾過法の実施形態を示すフローチャート
【図４】有糸分裂像検出および計数システムの前処理装置の形状フィルタによって行われる形状濾過法の実施形態を示すフローチャート
【図５】有糸分裂像検出および計数システムの分類装置によって行われる候補となる有糸分裂像の分類法の実施形態を示すフローチャート
【図６】従来の畳み込みニューラルネットワークの概略図
【図７】ここに説明される有糸分裂像検出装置／計数装置を実装したコンピュータシステム、および対応する有糸分裂像検出および計数の方法の典型的な実施形態のブロックダイアグラム
【発明を実施するための形態】
【００１０】
有糸分裂細胞（像）の場所を自動的に特定または検出し、ヘマトキシリンおよびエオジンで染色された組織（例えばヒトの乳房組織、動物の組織等）の生検標本の画像内に検出された有糸分裂像を計数するシステムおよび方法がここに開示される。有糸分裂像は細胞分裂が行われている細胞核小体である。組織の単位面積当たりの有糸分裂像の数は、万一癌化している組織があった場合に癌化の度合いに関する情報を提供する。有糸分裂像検出および計数システム／方法は、同一の入力が与えられた場合に同一の出力を常に提供する。
【００１１】
図１は、有糸分裂像検出および計数システム１００の例示的な実施形態のブロックダイアグラムである。該システム１００は、一般に前処理装置１１０と、分類装置１２０と、計数装置１３０とを有している。前処理装置１１０は、カラーフィルタ１１２と、連結画素抽出部１１４と、形状フィルタ１１６とを有している。分類装置１２０は、サブ画像抽出部１２１と、ヒューリスティック特徴抽出部１２２と、畳み込みニューラルネットワーク（ＣＮＮ）１２４と、特徴ベクトル正規化部１２６と、２、３例を挙げるとサポートベクトルマシン（ＳＶＭ）、多層パーセプトロン（ＭＬＰ）、およびｋ最近傍分類装置（ｋＮＮ）のような分類部１２８とを有している。計数装置１３０は、腫瘍増殖速度を示す組織の平方単位当たりの有糸分裂像数を計数する計数部１３２を含んでいる。
【００１２】
前処理装置１１０は、全体画像に色閾値を適用することによって候補となる有糸分裂像を特定する。分類装置１２０は２つまたは３つ以上の異なる機械学習法を使用して、候補となる有糸分裂像を分類する。システムによって有糸分裂であると見なされた像は、両方の機械学習法により有糸分裂として分類された像である。
【００１３】
システム１００は十分に正確な結果を達成するが、このことは該システムを診断ツールとして使用することを可能にするものである。有糸分裂像を計数するヒトの病理医に代わってシステム１００を使用する利点として、高速動作および低いコストが挙げられるが、これらに限定されるものではない。さらに、ヒトの病理医は再現可能な結果を生成することができない。該システムは同一の入力に対して同一の有糸分裂像数を返すので、その結果は再現可能である。最後に、システムはユーザ定義のパラメータ値をほとんど必要としない。
【００１４】
分類装置１２０のＣＮＮ１２４の使用は、どの機能に基づいて核が分類されるべきであるかを決定する必要がない。ＣＮＮ１２４は、トレーニングされた病理医によって提供されたラベル付けされたデータ（トレーニング群）からこれらの特徴を自動的に学習する。より具体的には、ＣＮＮ１２４はラベル付けされた事例によってトレーニングされているので、ＣＮＮ１２４の内部重みは分類誤りを逆伝播することによってゆるやかに調整される。いったんＣＮＮ１２４がこのような方法でトレーニングされると、新たな入力が示される限り、その出力は該入力が有糸分裂像かどうか示す。ＣＮＮ１２４の最後（十分に連結している層）を取り除き、ＳＶＭまたは類似の分類部でそのベクトル値を使用することが、たまに性能を改善することが立証されている。さらに、最後の層を露出することは、特徴をヒューリスティック特徴抽出部１２２から簡単に付加することを可能にしている。こうして、ＣＮＮ１２４は、分類を提供する代わりに、簡単に他の特徴と連結され、その後、分類部１２８によって分類可能な特徴ベクトルを出力する。したがって、ＣＮＮ１２４は単なる特徴抽出部になり、該ＣＮＮが抽出する特徴はデータ例から「学習される」が、一方ヒューリスティックな特徴は設計者／ユーザによって手動で構築される。いくつかの応用例では、データのどの特徴が分類にとって重要であるかをシステムに学習させる方が好ましく、いくつかの他の応用例では、データの性質に関する知識を活用して、ＣＮＮ１２４が恐らく自動的に学習することができない非常に特有の特徴を手動で構築することは意味のあることである。本開示では、組み合わされた特徴が個々に得られた特徴よりも優れているので、両方の手法からの長所が使用される。
【００１５】
トレーニングされた病理医によって提供されるトレーニング群は小さいので、分類される必要のある有糸分裂像の候補数を制限するために前処理装置１１０が提供され、これにより多くの潜在的な偽陽性が回避される。さらに、システム１００の実行時間は、入力画像のすべてに対してはＣＮＮ１２４を実行しないようにすることによる非常に大きな要因によって低減される。
【００１６】
分類装置１２０のＣＮＮ１２４および分類部１２８はいずれもトレーニングされていなければならず、これはトレーニングされた病理医によって特定された有糸分裂像の小さな集合を使用して達成される。より具体的には、肯定的トレーニング例はトレーニングされた病理医によって提供され、否定的例は前処理装置によって提供される。トレーニングされた病理医によって有糸分裂としてラベル付けされていなかった、前処理装置によって返された像は、否定的トレーニング例を示している。
【００１７】
ＳＶＭまたは他の分類部１２８は特徴ベクトルに基づいた分類を行う。抽出される特徴は、トレーニングされた病理医が有糸分裂像を認識する方法によって呼び出される。ＣＮＮ１２４は特徴検出部および分類部と見なすことができる。ＣＮＮ１２４は、トレーニングデータに基づいて、自動的に検出する特徴を学習する。
【００１８】
図２は、有糸分裂像検出および計数システムの前処理装置によって行われる、候補となる有糸分裂像の前処理方法の実施形態を示すフローチャートである。前処理方法は、ヘマトキシリンおよびエオジンで染色された組織のＲＧＢ画像が前処理装置の入力に提供される、ボックス２００で始まる。前処理装置のカラーフィルタは、ボックス２１０で非有糸分裂像を示す有色のＲＧＢ入力画像のＲＧＢ画素を色濾過して除去し、それによって有糸分裂像を示す１つまたは２つ以上の色を持つＲＧＢ画像の画素を発生させる。カラーフィルタは、ボックス２２０で有糸分裂の着色画素のみを有するＲＧＢ画像を出力する。
【００１９】
図３は、前処理装置のカラーフィルタによって行われる色濾過法の実施形態を示すフローチャートである。ヒストグラム抽出部が、ボックス３００で組織のＲＧＢ入力画像についてヒストグラム処理を行い、ボックス３１０でＲＧＢ画像の画像色ヒストグラムを出力する。ヒストグラム処理では、ＲＧＢ画像の画素の各々は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の色チャネルの各々の強度値に対応する赤（Ｒ）、緑（Ｇ）、および青（Ｂ）のヒストグラムビンの計数にそれぞれ寄与する。各チャネルのビン数がシステムのパラメータである。１つの典型的な実施形態では、３０個のビンが各チャネルに使用される。他の実施形態では、３０個より多くのビンまたは３０個未満のビンが各チャネルに使用されてもよい。
【００２０】
図３をなお参照して、ボックス３２０で、すべての画像色ヒストグラムから有糸分裂の色閾値を予測するために、サポートベクトル回帰（ＳＶＲ）が画像色ヒストグラムについて行われる。ＳＶＲはＳＶＭ法を使用して計算される入力データの回帰である。したがって、入力ベクトルに対して、出力データベクトルが得られる。本方法では、Ｒ、Ｇ、およびＢのヒストグラムは、入力ベクトルをＳＶＲに役立てる。ＳＶＲは、順に、その画像に対する予測された有糸分裂色を表すＲ、Ｇ、およびＢの色ヒストグラムを出力する。その後、ヒストグラム範囲選択部がボックス３４０で該ヒストグラムを処理し、Ｒ、Ｇ、およびＢチャネルの各々の閾値群を得てどの画素が有糸分裂か否かを判定する。ヒストグラム範囲選択部は、肯定的（有糸分裂）として考慮されるべき有糸分裂のヒストグラム曲線下で百分率領域を表すパラメータを定義する。該パラメータは、バリデーション集合の受信者動作特性（ＲＯＣ）解析を使用して決定される。有糸分裂像を示す１つまたは２つ以上の色を持つＲＧＢ画像の画素が、ボックス２２０（図２）で、有糸分裂の着色画素のみを有するＲＧＢ画像としてカラーフィルタの出力で生成される。
【００２１】
形状濾過法はアルゴリズムとして自動的に行われるが、濾過パラメータは、ＣＮＮで行われたようにトレーニングされたデータから得られる代わりに手動で構築される。該パラメータは通常物理的な制約を有するが、それに制限されるものではない。例えば、しかし制限されるものではないが、有糸分裂像の大きさは２０ミクロンより大きくはなりえない。
【００２２】
図２を再び参照して、連結画素抽出部は、ボックス２３０で、ＲＧＢ画像内の互いに連結している有糸分裂の着色画素を抽出する。ＲＧＢ画像内の連結した（接触している）有糸分裂の着色画素は、有糸分裂像を形成する可能性が最もありそうな画像の画素である。ボックス２４０で、連結画素抽出部は、連結した有糸分裂画素によって形成される有糸分裂の塊のＲＧＢ画像を出力する。形状フィルタは、ボックス２５０で、該有糸分裂の塊のＲＧＢ画像を濾過し、一定の塊の形状および質量（塊の中のピクセル数）パラメータを満たさない有糸分裂の塊を取り除く。該パラメータは、有糸分裂像をとても表すことができない有糸分裂の塊が廃棄されるように選ばれる。有糸分裂像が連結された画素の２つまたは３つ以上の塊によって表されてもよい（有糸分裂過程の終期段階でのような）ことはよくあることである。そのような事例を考慮して、クラスタリングステップがボックス２６０で行われる。連結した画素の隣接の塊は、単一の有糸分裂候補を表すように一緒に群化される。そのようなクラスタリングステップの可能な実施形態は、塊の間の質量中心距離に基づいたリーダクラスタリング処理である。この実施形態の１つの典型的な実施では、５ミクロン未満の距離で分離されている２つの塊は、単一の有糸分裂候補に一緒に群化されることになる。
【００２３】
図４は、前処理装置の形状フィルタによって行われる形状濾過法の実施形態を示すフローチャートである。ボックス４００で、形状フィルタの入力でのＲＧＢ画像内の、あまりにも軽い（少ない連結した画素を持つ塊、すなわち質量が小さく、恐らく単にノイズである）有糸分裂の塊２４０（図２）は廃棄される。形状フィルタの入力でのＲＧＢ画像内の、あまりにも重たい（非常に多くの連結した画素を持つ塊、すなわち質量が非常に大きく、恐らく有糸分裂像ではない）有糸分裂の塊２４０（図２）は、ボックス４１０で廃棄される。ボックス４２０で、形状フィルタの入力でのＲＧＢ画像内の、長すぎる有糸分裂の塊２４０（図２）は廃棄される。形状フィルタの入力でのＲＧＢ画像内の、短すぎる有糸分裂の塊２４０（図２）は、ボックス４３０で廃棄される。
【００２４】
図５は、有糸分裂像検出および計数システムの分類装置によって行われる、候補となる有糸分裂像の分類法の実施形態を示すフローチャートである。該分類法は、有糸分裂の候補の１つがサブ画像抽出部装置（ボックス５１０）の入力で提供される、ボックス５００で始まる。サブ画像抽出部装置は、位置情報および形状情報を使用して、有糸分裂の候補から固定サイズの、候補となるＲＧＢサブ画像５２０を抽出する。該抽出処理の一実施形態では、１つの有糸分裂の候補の塊の質量中心が、簡易画像のトリミング処理の座標点を提供するのに使用される。その後、候補となるサブ画像５２０が、ボックス５４０で畳み込みニューラルネットワーク（ＣＮＮ）に、ボックス５３０でヒューリスティック特徴抽出部（ＨＦＥ）に加えられる。
【００２５】
ＣＮＮは当技術分野においてよく知られていて、通常空間像畳み込みを効率的に実行する方法で配置された接続を持つ、従来のニューラルネットワークを有している。本開示におけるＣＮＮは有糸分裂の候補画像の特徴を学習し、ＣＮＮの特徴またはＣＮＮの特徴ベクトルを出力する。図６は従来のＣＮＮ６００を概略的に示している。ＣＮＮ６００の構成および機能は当技術分野においてよく知られている。ＣＮＮは、特徴マップと呼ばれる入力６０１（入力層）の積み重ねを小さなフィルタ６０２で畳み込んで、内層または第１の内層６０３と呼ばれる特徴マップの新たな積み重ねを得る。この第１の内層６０３の特徴マップの各々は、トレーニングされたカーネル（通常異なる重みを持つ）によって１つまたは２つ以上の入力マップを畳み込み、結果を一緒に加算することによって得られる。次に、結果として生じた値は非線形伝達関数６０４を通して渡され、第２の内層６０５を得る。第３の内層６０７がサブサンプリング６０６によって得られ、ここで、各値は、前の内層（例えば第２の内層６０５）からの隣接値群を一緒に平均化することによって得られる。該群は重複しないので、結果として得られた内層は前の内層よりも実質的に小さい。いくつかの内層の後、出力層６０８の各値６０９が入力層６０１の隣接値の入力ウィンドウ６１０に依存することは明らかである。さらに、これらのウィンドウは互いに重複する。
【００２６】
ＣＮＮは、該ＣＮＮの出力が、像が有糸分裂か非有糸分裂かどうかを示すような、分類部として機能する。ラベル付けされた肯定の（有糸分裂）および否定の（非有糸分裂）像の例（例えば６０×６０画素の入力サブ画像）を入力で示すことによって、およびＣＮＮが生成した誤りを出力で逆伝播することによって、該ＣＮＮは分類部としてトレーニングされる。単一の値の代わりにＣＮＮの特徴ベクトルを出力で得るために、ＣＮＮの最後の層（例えば、最後の層が１つの出力に十分に連結された２０個の値のベクトルだった）は、トレーニング段階が完了したとき取り除かれる。したがって、候補となるサブ画像がＣＮＮの入力で示されると、大きさ２０の特徴ベクトル（前の例を使用して）がＣＮＮの出力で生成される。ＣＮＮの特徴は、ユーザが通常認識しない特徴、または明示的に算出することがかなり高価である可能性がある特徴を取得することを目指している。
【００２７】
ＨＦＥの構成および動作は当技術分野においてよく知られている。該ＨＦＥは入力候補のサブ画像を特徴または特徴ベクトルの簡約表現に変換する。ヒューリスティックな特徴は、データから自動的にトレーニングされることはないが、その代りに、ヒューリスティックな特徴が有糸分裂像と非有糸分裂像とをどれくらいよく区別するかに基づいて、ユーザによって手動で構築される。例えば、有糸分裂像は形状で畳み込まれるので、有糸分裂の候補を表す画素の塊の輪郭の平均曲率（曲率ヒストグラム）の基準が、抽出するのによい特徴であることが期待される。ＨＦＥを使用して抽出することができる他の特徴は、平均半径（半径ヒストグラム）、質量、輪郭長、凹面、細胞質の色、有糸分裂色、染色体毛、および粒度を含んでいるが、それらに限定されるものではない。
【００２８】
図５を再び参照して、ＣＮＮおよびヒューリスティックな特徴ベクトルが正規化され、その後ボックス５７０で、分類部が正規化されたＣＮＮおよびヒューリスティックな特徴ベクトルに適用される。分類部は正規化されたＣＮＮおよびヒューリスティックな特徴ベクトルを処理し、ボックス５８０で、像が有糸分裂か非有糸分裂かどうかについての最終決定をその出力で生成する。組み合わされた特徴が有糸分裂と非有糸分裂像とを区別する点においてより強力になるように、ＣＮＮの特徴はヒューリスティックな特徴を補完する。１つの典型的な実施形態では、ボックス５７０で正規化されたＣＮＮおよびヒューリスティックな特徴ベクトルに適用された分類部は、サポートベクトルマシンを有してもよい。
【００２９】
システムの計数装置は、生検標本の画像内に検出された有糸分裂像の数を分類装置によって計数する。他の実施形態では、システム１００によって生成された結果は、ユーザに、または有糸分裂像の最終計数を行う病理医に提供されてもよい。
【００３０】
当業者には、ここで説明している有糸分裂像検出装置および対応する方法は、任意の適切に適応したコンピュータシステムを用いて実現できることが認識されよう。コンピュータシステムは、メインフレームコンピュータシステム、ワークステーション、パーソナルコンピュータシステム、携帯情報端末（ＰＤＡ）、または、記憶媒体からの命令を実行する少なくとも１つのプロセッサを持つ他のデバイスまたは装置を含んでいてもよいが、それらに限定されるものではない。
【００３１】
コンピュータシステムは、１つまたは２つ以上のコンピュータプログラムまたはソフトウエアコンポーネントを格納できる、１つまたは２つ以上の記憶媒体を含んでいてもよい。ここで説明している方法を行うのに実行可能な１つまたは２つ以上のソフトウェアプログラムは、記憶媒体に格納されてもよい。該１つまたは２つ以上の記憶媒体は、ＣＤ−ＲＯＭ、フロッピーディスク、テープ装置、ＤＲＡＭ、ＳＲＡＭ、ＥＤＯ ＲＡＭ、およびＲａｍｂｕｓ ＲＡＭ（しかしこれらに限定されるものではない）のようなランダムアクセスメモリ、ハードディスクドライブおよび光記憶装置（しかしこれらに限定されるものではない）のような不揮発性メモリ、およびそれらの組み合わせを含んでいてもよいが、それらに限定されるものではない。さらに、記憶媒体は、インターネットのようなネットワーク上のコンピュータシステムに接続した、１つまたは２つ以上の関連するコンピュータまたはコンピュータシステムに完全にまたは部分的に配置されていてもよい。
【００３２】
ここに説明した有糸分裂像検出装置／計数装置および対応する有糸分裂像を検出して計数する方法（有糸分裂検出装置／方法）も、ハードウェア、ソフトウェアとハードウェアとの組み合わせ、または他の適切な実行可能な実施で実行することができる。ソフトウェアで実行される有糸分裂検出装置／方法は、コンピュータシステムのプロセッサ、または、コンピュータシステムに接続された１つまたは２つ以上の関連するコンピュータまたはコンピュータシステムの１つまたは２つ以上のプロセッサによって実行されてもよい。
【００３３】
図７は、ここで説明している有糸分裂検出装置／方法を実現するコンピュータシステム７００の典型的な実施形態のブロックダイアグラムである。コンピュータシステム７００は、プロセッサ７２０と、ここに説明している有糸分裂検出装置／方法を実施するプロセッサ７２０によって実行可能な１つまたは２つ以上のプログラムを格納するメモリ７３０と、入力データ（例えば処理用のラベル付されていないサブ画像、トレーニング用のラベル付けされたサブ画像、およびトレーニングおよび処理パラメータ）を受け取る入力７４０と、データ（例えば有糸分裂像および非有糸分裂像を示す１つまたは２つ以上の予測ラベル）を出力する出力７６０と、を含んでいる。
【００３４】
本開示の例示的図面および特定の実施形態を説明し例示したが、本発明の範囲は説明した特定の実施形態に限定されないことが理解されよう。したがって、実施形態は限定的であるよりも例示的と見なすべきであり、添付の特許請求の範囲に記載された本発明の範囲ならびに構造的等価物および機能的等価物から逸脱することなくこれらの実施形態に変更を加えることができることが当業者には理解されよう。
【特許請求の範囲】
【請求項１】
少なくとも１つの染料で染色された生検標本の画像内の有糸分裂像を検出して計数する方法であって、
前記画像をコンピュータ処理で色濾過し、該画像内の有糸分裂像を示す有色の画素を特定するステップと、
前記画像内の互いに連結された前記有糸分裂の画素をコンピュータ処理で抽出し、それによって有糸分裂の画素の塊を生成するステップと、
前記有糸分裂の画素の塊をコンピュータ処理で形状濾過し、有糸分裂像の候補を生成するステップと、
前記候補の隣接する画素をコンピュータ処理で群化し、正確な有糸分裂像の候補を生成するステップと、
前記塊の位置で前記生検標本画像をトリミングすることによって、前記正確な有糸分裂像の候補のサブ画像をコンピュータ処理で抽出するステップと、
前記正確な有糸分裂像の候補のサブ画像から２つの特徴群を２つの個別のコンピュータ処理で抽出するステップと、
前記抽出された２つの特徴群に基づいて、前記有糸分裂像の候補のどれが有糸分裂像かをコンピュータ分類処理で決定するステップと、
生検標本組織の平方単位当たりの有糸分裂像の数を計数するステップと、
を含む方法。
【請求項２】
前記色濾過ステップは、前記画像から色ヒストグラムを抽出し画像色ヒストグラムを生成するステップを含む、請求項１に記載の方法。
【請求項３】
前記色濾過ステップは、サポートベクトル回帰（ＳＶＲ）を使用して前記画像色ヒストグラムから色閾値を予測するステップをさらに含む、請求項２に記載の方法。
【請求項４】
前記色濾過ステップは、前記色閾値を使用して、前記有糸分裂像を示す有色の画像の画素を選択するステップをさらに含む、請求項３に記載の方法。
【請求項５】
前記２つの特徴抽出コンピュータ処理の１つは畳み込みニューラルネットワーク（ＣＮＮ）コンピュータ処理を含む、請求項１に記載の方法。
【請求項６】
前記特徴抽出ステップは、前記有糸分裂像の候補のサブ画像に前記ＣＮＮコンピュータ処理を適用し、前記有糸分裂像の候補のＣＮＮの特徴を得るステップを含む、請求項５に記載の方法。
【請求項７】
前記２つの特徴抽出コンピュータ処理の１つは、前記有糸分裂像の候補の塊および前記サブ画像からヒューリスティックな特徴を抽出するステップを含む、請求項１に記載の方法。
【請求項８】
前記特徴抽出ステップは、前記有糸分裂の候補の塊の輪郭から１つまたは２つ以上の特徴を抽出するステップを含み、該１つまたは２つ以上の特徴は、曲率ヒストグラム、質量中心半径ヒストグラムおよびスペクトル、塊の質量、輪郭長、質量中心からの輪郭対称性、輪郭の凹面を含む、請求項７に記載の方法。
【請求項９】
前記特徴抽出ステップは、前記有糸分裂の候補のサブ画像から１つまたは２つ以上のヒューリスティックな特徴を抽出するステップをさらに含み、該１つまたは２つ以上のヒューリスティックな特徴は、細胞質の色のヒストグラム、有糸分裂色のヒストグラム、染色体毛の有無、および画像の粒度の大きさ（質感の粗さ）を含む、請求項８に記載の方法。
【請求項１０】
前記コンピュータ分類処理はサポートベクトルマシン（ＳＶＭ）分類部を含む、請求項１に記載の方法。
【請求項１１】
少なくとも１つの染料で染色された生検標本の画像内の有糸分裂像を自動的に検出して計数するシステムであって、
有糸分裂像の候補を選択する前処理装置と、
候補となる有糸分裂像から個別の特徴群を算出する２つの特徴抽出装置と、
前記有糸分裂像の候補のどれが有糸分裂像であるかを決定する分類装置と、
生検標本組織の平方単位当たりの肯定的に分類された有糸分裂像の数を計数する計数装置と、
を有するシステム。
【請求項１２】
前記前処理装置は、
前記画像を色濾過し、該画像内の有糸分裂像を示す有色の画素を特定するカラーフィルタと、
前記画像内の互いに連結された有糸分裂の画素をグループ化し、それによって有糸分裂の画素の塊を生成する連結画素抽出部と、
前記候補となる有糸分裂の画素の塊を該塊の形状によって形状濾過する形状フィルタと、
前記候補となる塊の隣接する塊を該塊の距離に基づいて群化し、１つまたは２つ以上の塊の群を生成する塊群化部と、
前記塊の位置で前記生検標本画像をトリミングすることによって、前記有糸分裂像の候補の画像のサブ画像を抽出するサブ画像抽出部と、
を有する、請求項１１に記載のシステム。
【請求項１３】
前記特徴抽出装置の１つは、前記有糸分裂像の候補のサブ画像から畳み込みニューラルネットワーク（ＣＮＮ）の特徴を特定する畳み込みニューラルネットワーク（ＣＮＮ）を有する、請求項１１に記載のシステム。
【請求項１４】
前記特徴抽出装置の１つは、前記有糸分裂像の候補の塊およびサブ画像からヒューリスティックな特徴を抽出するヒューリスティック特徴抽出部を有する、請求項１１に記載のシステム。
【請求項１５】
前記特徴抽出装置は、前記有糸分裂の候補の塊の輪郭から１つまたは２つ以上の特徴を抽出する抽出部をさらに有し、該１つまたは２つ以上の特徴は、曲率ヒストグラム、質量中心半径ヒストグラムおよびスペクトル、塊の質量、輪郭長、質量中心からの輪郭対称性、輪郭の凹面を含む、請求項１４に記載のシステム。
【請求項１６】
前記特徴抽出装置は、前記有糸分裂の候補のサブ画像から１つまたは２つ以上のヒューリスティックな特徴を抽出する抽出部をさらに有し、該１つまたは２つ以上のヒューリスティックな特徴は、細胞質の色のヒストグラム、有糸分裂色のヒストグラム、染色体毛の有無、および画像の粒度の大きさ（質感の粗さ）を含む、請求項１４に記載のシステム。
【請求項１７】
前記分類装置はサポートベクトルマシン（ＳＶＭ）分類部を有する、請求項１１に記載のシステム。
【請求項１８】
前記計数装置は、生検標本組織の平方単位当たりの肯定的に分類された有糸分裂像の数を計数する計数部を有する、請求項１１に記載のシステム。
【請求項１】
少なくとも１つの染料で染色された生検標本の画像内の有糸分裂像を検出して計数する方法であって、
前記画像をコンピュータ処理で色濾過し、該画像内の有糸分裂像を示す有色の画素を特定するステップと、
前記画像内の互いに連結された前記有糸分裂の画素をコンピュータ処理で抽出し、それによって有糸分裂の画素の塊を生成するステップと、
前記有糸分裂の画素の塊をコンピュータ処理で形状濾過し、有糸分裂像の候補を生成するステップと、
前記候補の隣接する画素をコンピュータ処理で群化し、正確な有糸分裂像の候補を生成するステップと、
前記塊の位置で前記生検標本画像をトリミングすることによって、前記正確な有糸分裂像の候補のサブ画像をコンピュータ処理で抽出するステップと、
前記正確な有糸分裂像の候補のサブ画像から２つの特徴群を２つの個別のコンピュータ処理で抽出するステップと、
前記抽出された２つの特徴群に基づいて、前記有糸分裂像の候補のどれが有糸分裂像かをコンピュータ分類処理で決定するステップと、
生検標本組織の平方単位当たりの有糸分裂像の数を計数するステップと、
を含む方法。
【請求項２】
前記色濾過ステップは、前記画像から色ヒストグラムを抽出し画像色ヒストグラムを生成するステップを含む、請求項１に記載の方法。
【請求項３】
前記色濾過ステップは、サポートベクトル回帰（ＳＶＲ）を使用して前記画像色ヒストグラムから色閾値を予測するステップをさらに含む、請求項２に記載の方法。
【請求項４】
前記色濾過ステップは、前記色閾値を使用して、前記有糸分裂像を示す有色の画像の画素を選択するステップをさらに含む、請求項３に記載の方法。
【請求項５】
前記２つの特徴抽出コンピュータ処理の１つは畳み込みニューラルネットワーク（ＣＮＮ）コンピュータ処理を含む、請求項１に記載の方法。
【請求項６】
前記特徴抽出ステップは、前記有糸分裂像の候補のサブ画像に前記ＣＮＮコンピュータ処理を適用し、前記有糸分裂像の候補のＣＮＮの特徴を得るステップを含む、請求項５に記載の方法。
【請求項７】
前記２つの特徴抽出コンピュータ処理の１つは、前記有糸分裂像の候補の塊および前記サブ画像からヒューリスティックな特徴を抽出するステップを含む、請求項１に記載の方法。
【請求項８】
前記特徴抽出ステップは、前記有糸分裂の候補の塊の輪郭から１つまたは２つ以上の特徴を抽出するステップを含み、該１つまたは２つ以上の特徴は、曲率ヒストグラム、質量中心半径ヒストグラムおよびスペクトル、塊の質量、輪郭長、質量中心からの輪郭対称性、輪郭の凹面を含む、請求項７に記載の方法。
【請求項９】
前記特徴抽出ステップは、前記有糸分裂の候補のサブ画像から１つまたは２つ以上のヒューリスティックな特徴を抽出するステップをさらに含み、該１つまたは２つ以上のヒューリスティックな特徴は、細胞質の色のヒストグラム、有糸分裂色のヒストグラム、染色体毛の有無、および画像の粒度の大きさ（質感の粗さ）を含む、請求項８に記載の方法。
【請求項１０】
前記コンピュータ分類処理はサポートベクトルマシン（ＳＶＭ）分類部を含む、請求項１に記載の方法。
【請求項１１】
少なくとも１つの染料で染色された生検標本の画像内の有糸分裂像を自動的に検出して計数するシステムであって、
有糸分裂像の候補を選択する前処理装置と、
候補となる有糸分裂像から個別の特徴群を算出する２つの特徴抽出装置と、
前記有糸分裂像の候補のどれが有糸分裂像であるかを決定する分類装置と、
生検標本組織の平方単位当たりの肯定的に分類された有糸分裂像の数を計数する計数装置と、
を有するシステム。
【請求項１２】
前記前処理装置は、
前記画像を色濾過し、該画像内の有糸分裂像を示す有色の画素を特定するカラーフィルタと、
前記画像内の互いに連結された有糸分裂の画素をグループ化し、それによって有糸分裂の画素の塊を生成する連結画素抽出部と、
前記候補となる有糸分裂の画素の塊を該塊の形状によって形状濾過する形状フィルタと、
前記候補となる塊の隣接する塊を該塊の距離に基づいて群化し、１つまたは２つ以上の塊の群を生成する塊群化部と、
前記塊の位置で前記生検標本画像をトリミングすることによって、前記有糸分裂像の候補の画像のサブ画像を抽出するサブ画像抽出部と、
を有する、請求項１１に記載のシステム。
【請求項１３】
前記特徴抽出装置の１つは、前記有糸分裂像の候補のサブ画像から畳み込みニューラルネットワーク（ＣＮＮ）の特徴を特定する畳み込みニューラルネットワーク（ＣＮＮ）を有する、請求項１１に記載のシステム。
【請求項１４】
前記特徴抽出装置の１つは、前記有糸分裂像の候補の塊およびサブ画像からヒューリスティックな特徴を抽出するヒューリスティック特徴抽出部を有する、請求項１１に記載のシステム。
【請求項１５】
前記特徴抽出装置は、前記有糸分裂の候補の塊の輪郭から１つまたは２つ以上の特徴を抽出する抽出部をさらに有し、該１つまたは２つ以上の特徴は、曲率ヒストグラム、質量中心半径ヒストグラムおよびスペクトル、塊の質量、輪郭長、質量中心からの輪郭対称性、輪郭の凹面を含む、請求項１４に記載のシステム。
【請求項１６】
前記特徴抽出装置は、前記有糸分裂の候補のサブ画像から１つまたは２つ以上のヒューリスティックな特徴を抽出する抽出部をさらに有し、該１つまたは２つ以上のヒューリスティックな特徴は、細胞質の色のヒストグラム、有糸分裂色のヒストグラム、染色体毛の有無、および画像の粒度の大きさ（質感の粗さ）を含む、請求項１４に記載のシステム。
【請求項１７】
前記分類装置はサポートベクトルマシン（ＳＶＭ）分類部を有する、請求項１１に記載のシステム。
【請求項１８】
前記計数装置は、生検標本組織の平方単位当たりの肯定的に分類された有糸分裂像の数を計数する計数部を有する、請求項１１に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公表番号】特表２０１１−５２７０５５（Ｐ２０１１−５２７０５５Ａ）
【公表日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１１−５１６８６７（Ｐ２０１１−５１６８６７）
【出願日】平成２１年７月２日（２００９．７．２）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０４９４８４
【国際公開番号】ＷＯ２０１０／００３０４１
【国際公開日】平成２２年１月７日（２０１０．１．７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５０４０８０６６３）エヌイーシー ラボラトリーズ アメリカ インク (68)
【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．
【Ｆターム（参考）】
【公表日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２１年７月２日（２００９．７．２）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０４９４８４
【国際公開番号】ＷＯ２０１０／００３０４１
【国際公開日】平成２２年１月７日（２０１０．１．７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５０４０８０６６３）エヌイーシー ラボラトリーズ アメリカ インク (68)
【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．
【Ｆターム（参考）】
[ Back to top ]