上皮層検出器およびそれに関連する方法
組織試料の上皮部分を自動的に同定する上皮組織検出器および方法は、組織試料を少なくとも２つの染料で染色することと、組織試料のカラー画像に色変換を適用して１つまたは２つ以上のカラーチャネルを得ることと、カラーチャネルにトレーニングされた畳み込みニューラルネットワークを適用して、組織の位置について、該位置が上皮層内または上皮層外であるのかどうかについての決定を得ることとを含んでいる。畳み込みニューラルネットワークをトレーニングする方法も提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、デジタル病理学に関する。より詳細には、本開示は、組織試料の上皮部分を自動的に同定する上皮層検出器および対応する方法に関する。
【０００２】
本出願は２００８年７月０３日に出願された米国特許仮出願番号第６１／０７７，９７４号の利益を主張し、その全開示は参照によりここに組み込まれている。
【０００３】
本出願は、２００８年７月０３日に出願された米国特許仮出願番号第６１／０７７，９６９号の利益を主張する、「印環細胞検出器および関連方法（Signet Ring Cell Detector and Related Methods）」と題する２００９年７月２日に出願された米国特許出願番号第 号（代理人整理番号０８０３２）、および２００８年７月０３日に出願された米国特許仮出願第６１／０７７，９６６号の利益を主張する、「有糸分裂像検出器およびカウンターシステム、および有糸分裂像を検出、計数する方法（Mitotic Figure Detector and Counter System and Method for Detecting and Counting Mitotic Figures）」と題する２００９年７月２日に出願された米国特許出願番号第 号（代理人整理番号０８０３１）に関連する。「印環細胞検出器および関連方法」と題する２００９年７月２日に出願された米国特許出願番号第 号（代理人整理番号０８０３２）および「有糸分裂像検出器およびカウンターシステム、および有糸分裂像を検出、計数する方法」と題する２００９年７月２日に出願された米国特許出願番号第 号（代理人整理番号０８０３１）の全開示は参照によりここに組み込まれている。
【背景技術】
【０００４】
デジタル病理学は、病理医が組織標本を類別するのを支援するコンピュータの使用を含んでいる。例えば、専門家が乳癌診断用の組織試料を類別するのに通常５分以上はかかる。いくつかの調査によれば、同一事例についての病理医の類別の間の一致は低いことが実証されており、それらの診断の客観性が問題になっている。優れたシステムは診断の際に病理医を支援することができるので、より再現可能な結果をより低いコストで達成することを助けることができる。
【０００５】
上皮組織の同定は、上皮組織周辺の細胞核密度が高レベルに達するので（悪性腫瘍に関する誤った警告を与える原因となる）、乳癌および胃癌の診断にとって重要である。診断値の組織学的統計量を生成するために、これらの領域は核の密度推定から取り除かれる必要がある。
【０００６】
乳癌および胃癌の場合には、組織試料は患者から取り出され、スライスされ、ヘマトキシリン・エオシン染料により染色され、微視的な分解能を持つデジタルスキャナで画像化することができる。問題は、上皮層内にある組織部を上皮層内にない組織部から識別することである。
【０００７】
先行技術では、２、３の方法で組織部を識別する問題が取り扱われている。１つの方法では、スキャンされた画像の各画素を、該画素の色に応じて４つの組織カテゴリのうちの１つに分類する、線形分類器（線形ニューラルネットワークによりトレーニングされた）が用いられる。次に、手動設計の発見的問題解決法を用いて上皮組織の境界を見つける。他の方法では、まずカラーセグメンテーションが画像に適用される。次に、各セグメントは、該セグメントの色、いくつかの基本的形状特徴、および近傍のセグメントの以前の分類に基づき、手動設計の発見的問題解決法に従って、いくつかの異なる物体の１つとして分類される。利用可能な種類のうちの１つは、ヘマトキシリン色を持つセグメントとして定義され、「間質核」のように見えるほど十分に円形でなくまた大きくもなく、「アポトーシス核」のように見えるほど黒っぽい、「上皮核」である。
【０００８】
都合の悪いことに、上述の方法の適応性は限られている。手動設計の発見的問題解決法に基づいた方法は、認識されるべき各パターンに適用される新たな規則群を必要とする。加えて、上記カラーセグメンテーションの方法は、上皮層の一部として核物質を認識できるのみである。該方法は、上皮層の一部と適正に見なされるべき、ゴブレット細胞のムチン性細胞体のような、他の物質を認識することができない。
【０００９】
したがって、上皮層内にある組織部を上皮層内にない組織部から自動的に識別するのに、改善された、より適応性のある装置および方法が必要とされる。
【発明の概要】
【００１０】
組織試料の上皮部分を自動的に同定する方法が提供される。本方法は、組織試料を１つまたは２つ以上の染料で染色すること、色変換計算機処理を適用して、染色された組織試料のカラー画像を１つまたは２つ以上のカラーチャネルに分離すること、カラーチャネルに畳み込みニューラルネットワーク計算機処理を適用して、組織試料の各位置について、該位置が上皮層内または上皮層外であるのかどうかについての決定を得ることを含む。
【００１１】
さらに、組織試料の上皮部分を自動的に同定する方法がここに開示される。本方法は、組織試料を少なくとも２つの染料で染色すること、組織試料のカラー画像に色変換計算機処理を適用して、各色組織画像の各画素が該画像の対応する画素において対応する染料の推定濃度を示す色の濃さを持つ、複数の画素で形成された少なくとも２つの個別の色組織画像を得ること、色組織画像に畳み込みニューラルネットワーク計算機処理を適用して、画素群について、該群の中心が上皮層内または上皮層外にあるのかどうかについての決定を得ることを含む。
【００１２】
組織試料の上皮部分を同定するのに使用される上皮層検出器の畳み込みニューラルネットワーク計算機処理の１つまたは２つ以上のパラメータをトレーニングする方法もここに開示される。本方法は、１つまたは２つ以上の組織試料を少なくとも２つの染料で染色すること、１つまたは２つ以上の組織試料をスキャンして、該１つまたは２つ以上の組織試料のカラー画像を生成すること、各マスクが、複数の画像のうちの対応する１つの画像の各画素について、該画素が上皮層内または上皮層外であるのかを示す、マスク群を生成すること、組織試料の各画像に色変換計算機処理を適用して、各カラーチャネルの各画素が走査内の対応する画素において対応する染料の推定濃度を示す色の濃さを持つカラーチャネルに、画像を分離すること、個別の色組織画像群からトレーニングデータとして使用するパッチ群を選択することであって、各パッチは該パッチ群のすべての色組織画像からの画素の連続的収集を含み、いくつかのパッチは上皮層内に中心があり、その他のパッチは上皮層外に中心がある、パッチ群を選択すること、畳み込みニューラルネットワーク計算機処理のパラメータを任意の値に初期化すること、畳み込みニューラルネットワーク計算機処理をパッチ群に反復して適用すること、前記パラメータを調整し、畳み込みニューラルネットワーク計算機処理の予測と各パッチの正しいラベルとの間の一致を改善することを含む。
【００１３】
さらに、組織試料の上皮部分を自動的に同定する上皮層検出器がここに開示される。本検出器は、１つまたは２つ以上の染料で染色された組織試料のカラースキャンに色変換処理を適用して、画像をカラーチャネルに分離する色変換装置であって、各カラーチャネルの各画素が走査の対応する画素において対応する染料の推定濃度を示す色の濃さを持つ、色変換装置と、カラーチャネルに畳み込みニューラルネットワーク処理を適用して、組織の各位置について、該位置が上皮層内または上皮層外であるのかどうかについての決定を得る、畳み込みニューラルネットワーク装置とを有する。
【図面の簡単な説明】
【００１４】
【図１】組織試料の上皮部分を同定する上皮組織検出器の典型的な実施形態の機能ブロックダイアグラムである。
【図２】従来のＣＮＮを概略的に示す図である。
【図３】上皮組織検出器のＣＮＮの典型的な実施形態を概略的に示す図である。
【図４】上皮組織検出器をトレーニングする方法の典型的な実施形態を示すフローチャートである。
【図５】図４のフローチャートに示した方法を概略的に示す図である。
【図６】ここで説明している上皮組織検出器および方法を実現するためのコンピュータシステムの典型的な実施形態のブロックダイアグラムである。
【発明を実施するための形態】
【００１５】
組織試料の上皮部分を自動的に同定する畳み込みニューラルネットワークを用いた、上皮組織検出器および方法がここに開示される。畳み込みニューラルネットワークをトレーニングして組織試料の上皮部分を同定する方法もここに開示される。畳み込みニューラルネットワークは、一連の畳み込みと、複数の非線形伝達関数と、各サブサンプリングが重み群で管理された複数のサブサンプリングとを含んでいる。該重み群は、手動でラベル付けされた生検画像の収集について好結果を得る確率的勾配降下法を用いてトレーニングされる。
【００１６】
図１は、組織試料の上皮部分を自動的に同定する上皮組織検出器１００の典型的な実施形態の機能ブロックダイアグラムである。組織試料は、該組織試料を各染料が異なる色を持つ複数の染料で染色することによって準備されてもよく、次に、撮像装置が、組織試料の１つまたは２つ以上のデジタル高分解能カラースキャンまたは画像１０１を得るのに使用されてもよい。組織試料の１つまたは２つ以上の高解像度カラースキャンまたは画像１０１は、色変換器１０２の入力に加えられる。色変換器１０２は、スキャンまたは画像の各画素に、該画素の位置における各染料の濃度を推定するために、色変換処理を実行する。色変換処理は、色変換器１０２の出力として、各画素の色の濃さが染料の推定濃度を示す染色チャネル群１０３を各染料に対して１つ生成する。そのような色変換処理に関するより詳細については、例えば、２００８年６月２日に出願された米国特許番号第１２／１３１，３４６号を参照されたい。米国特許番号第１２／１３１，３４６号の開示は、該開示が色変換処理に関連するものとして、参照によりここに組み込まれている。他の非限定的な実施形態では、赤、緑、および青のカラーチャネルへの簡単な分離（色分離器により実行される）が、色変換器１０２により行われた染色チャネルへの分離の代わりに適用されてもよい。
【００１７】
１つの典型的な実施形態では、色変換器１０２は、３次元色空間のベクトルとして染料の各々に対する主調色（dominant color）を推定する。次に、画素の各染料の濃度が、画素の色と染料の主調色との間の相関関係を算出することによって推定される。
【００１８】
１つの典型的な実施形態では、組織試料は、通常黒っぽいシアン色で画像化されるヘマトキシリンおよび通常明るいマジェンタ色で画像化されるエオシンの２つの染料で染色されてもよい。しかしながら、サンプルの古さ、全体的色素濃度、および撮像装置の諸特性が染料の正確な色調の変化をもたらす可能性がある。それゆえ、染料がすべての画像において同一色を持つと仮定することはできない。したがって、この実施形態では、画像内の基本シアン色は、画素のシアン含有量に基づいた各画素の重みを持つ、すべての画素の加重平均として次式のように推定される。
【００１９】
【数１】
【００２０】
なおここで、Ｃは基本シアン色、Ｐiは画素ｉの３つの構成色、ｗiは画素ｉの重み、ＰiCyanは、シアン・マジェンタ・イエロー（ＣＭＹ）色空間の画素ｉのシアン値である。次に、基本マジェンタ色Ｍがもう一つの加重平均として算出され、ここで、今回は、該重みは、基本シアン色で記述されない各色ベクトルの大きさから算出され、次式が得られる（これらの重みの使用は、画像が主にシアンおよびマジェンタから構成されているという仮定に基づいている）。
【００２１】
【数２】
【００２２】
次に、画素が主にヘマトキシリンである場合、該画素はエオシンをほとんど持っておらずその逆も成立すると仮定すると、ヘマトキシリンＨの主調色は、基本シアンＣ色内の任意の基本マジェンタＭの寄与を取り除くことにより推定され、エオシンの主調色は、基本マジェンタＭ色の中の任意の基本シアンＣの寄与を取り除くことによって推定され、次式が得られる。
【００２３】
【数３】
【００２４】
【数４】
【００２５】
よって、画素ｉ内のヘマトキシリンＨの推定濃度はＰi・Ｈ、エオシンＥの推定濃度はＰi・Ｅとなる。
【００２６】
他の実施形態では、色変換器は、ヘマトキシリンＨ染料およびエオシンＥ染料に対する束縛ベクトルを用いて、１つまたは２つ以上のスキャンまたは画像に色変換処理を行う。大きな色変化が画像間で推測されない場合、色変換処理のこの実施形態は適切である。ヘマトキシリンＨ染料およびエオシンＥ染料の３次元色空間のベクトルは、いくつかの試料画像に上述の計算を適用して結果を一緒に平均化することによって選ぶことができる。
【００２７】
図１をなお参照して、染色チャネル群１０３は、組織部が上皮層内または上皮層外であるのかどうかを判断する畳み込みニューラルネットワーク（ＣＮＮ）１０４の入力に加えられる。通常、ＣＮＮは、畳み込みカーネル（convolution kernel）のトレーニングされた値を用いて、畳み込み、非線形伝達関数、およびサブサンプリングを連続して該ＣＮＮの入力に適用することによって進行し、いくつかの入力特性を記述する多くの出力１０５を得る。上皮組織検出器１００では、入力１０３は色素濃度画像であり、出力１０５は、対応する組織部が上皮層内または上皮層外であるのかどうかを示す指標である。
【００２８】
図２は、従来のＣＮＮ２００を概略的に示す図である。ＣＮＮ２００の構成および機能は当技術分野においてよく知られている。ＣＮＮは、特徴マップと呼ばれる入力２０１（入力層）の積み重ねを小さなフィルター２０２で畳み込んで、内層または第１の内層２０３と呼ばれる特徴マップの新たな積み重ねを得る。この第１の内層２０３の特徴マップの各々は、トレーニングされたカーネル（通常異なる重みを持つ）によって１つまたは２つ以上の入力マップを畳み込み、結果を一緒に加算することによって得られる。次に、結果として生じた値は非線形伝達関数２０４を通して渡され、第２の内層２０５を得る。第３の内層２０７がサブサンプリング２０６によって得られ、ここで、各値は、前の内層（例えば第２の内層２０５）からの隣接値群を一緒に平均化することによって得られる。該群は重複しないので、結果として得られた内層は前の内層よりも実質的に小さい。いくつかの内層の後、出力層２０８の各値２０９が入力層２０１の隣接値の入力ウィンドウ２１０に依存することは明らかである。さらに、これらのウィンドウは互いに重複する。
【００２９】
図１の上皮組織検出器１００に用いられるＣＮＮ１０４は、入力ウィンドウの中心が上皮層内にあるのかどうかを、該ＣＮＮ１０４の出力層の各値が示すように構成されている。図３は、上皮組織検出器１００のＣＮＮ１０４の典型的な実施形態を概略的に示す図である。ＣＮＮ１０４は、入力層３０１と、それぞれ第１、第２、第３、第４、第５および第６の内層である３０２，３０３，３０４，３０５，３０６および３０７と、出力層３０８とを含んでいる。
【００３０】
入力層３０１は２つの特徴マップを含んでいる。２つの特徴マップのうちの１つはヘマトキシリン濃度を推定し、２つの特徴マップの他の１つはエオシン濃度を推定する。
【００３１】
第１の内層３０２は、５×５個のカーネルを持つ２つの入力特徴マップを畳み込み、一定の補正値を加算し、該計算結果の双曲正接を算出することによって得られる、９つの特徴マップを含んでいる。該カーネルの値および一定の補正値は、後で説明するトレーニング処理によって得られる。第１の内層３０２には９つの特徴マップがあるので、トレーニングされるに違いない１８個のカーネルと９つの一定の補正値とがある。５×５の畳み込みのために、第１の内層３０２の９つの特徴マップの各々は、入力層３０１の２つの特徴マップの各々よりも、ｘおよびｙの両方でより小さい４つの画素となる。
【００３２】
第２の内層３０３はサブサンプリングによって得られる。第１の内層３０２から出力された９つの特徴マップの各々のすべての２×２群の値は一緒に平均化され、定数を掛けられ、他の定数によって相殺され、双曲正接関数を通して渡される。これは、第１の内層３０２の出力において、９つの特徴マップの各々について別々に行われる。したがって、第２の内層３０３は、各特徴マップが第１の内層３０２の出力において９個の特徴マップのうちの１つから算出された、９個の特徴マップを含んでいる。対応する９個の乗算値および９個の補正値が、トレーニングによって得られる。第２の内層３０３の９個の特徴マップの各々は、第１の内層３０２のそれらの対応する９個の特徴マップの半分の幅および半分の高さである。
【００３３】
第３の内層３０４は、第１の内層３０２に関して説明した方法と同一の方法で、５×５個のカーネルで畳み込み、定数で相殺し、双曲正接関数を通して結果を渡すことによって得られる、１６個の特徴マップを持っている。１６個の特徴マップの各々は、第２の内層３０３から出力された９個の特徴マップから算出されるので、１４４個のカーネルをトレーニングする必要がある。
【００３４】
第４の内層３０５は、第２の内層３０３に関して説明した方法と同一の方法で、サブサンプリングによって算出される。したがって、第４の内層は、各特徴マップが第３の内層３０４の出力において１６個の特徴マップのうちの１つから得られる、１６個の特徴マップを含んでいる。
【００３５】
第５の内層３０６は、第１の内層３０２に関して説明した方法と同一の方法で、５×５個のカーネルで畳み込み、定数で相殺し、双曲正接関数を通して結果を渡すことによって得られる、３２個の特徴マップを持っている。３２個の特徴マップの各々は、第４の内層３０５の出力において１６個の特徴マップから算出されるので、５１２個のカーネルをトレーニングする必要がある。
【００３６】
第６の内層３０７は、第１の内層３０２と同一の方法で、５×５個のカーネルで畳み込み、定数で相殺し、双曲正接関数を通して結果を渡すことによって得られる、６４個の特徴マップを持っている。６４の特徴マップの各々は、第５の内層３０７の出力において３２個の特徴マップから算出されるので、２０４８個のカーネルをトレーニングする必要がある。
【００３７】
出力層３０８は２つの特徴マップを含んでいる。入力層３０１の２つの特徴マップのうちの１つの隣接値の入力ウィンドウの中心が上皮層内にある場合、該２つの出力層特徴マップのうちの１つは、大きな値を持つようにトレーニングされ、入力層３０１の２つの特徴マップのうちの１つの隣接値の入力ウィンドウの中心が上皮層内にない場合、該２つの出力層特徴マップうちの他の１つは、大きな値を持つようにトレーニングされる。２つの出力層特徴マップは１×１個のカーネルによる畳み込みによって得られ、その結果、出力層３０８の各出力は、トレーニングによって得られた重みにより、第６の内層３０７の出力においてすべての６４個の特徴マップの対応する値のちょうど加重和になる。このアーキテクチャにより、各出力値は４８×４８個のウィンドウに依存する。ウィンドウはｘおよびｙの４４個の画素だけ重複する。
【００３８】
図４および図５は、組織試料の上皮部分を同定する上皮組織検出器をトレーニングする方法の典型的な実施形態を集合的に示す図である。図４は該方法のフローチャートであり、図５はトレーニング方法の対応する概略図である。ボックス４０１（図４）で、Ｎ個の染料により染色された組織試料の高解像度カラースキャン５０１のコーパス（図５）が、対応する複数のユーザ生成のマスク５０２（２値画像）（図５）と共に提供され、該マスクの各々は、対応する１つのスキャンの各画素について、該画素が上皮層内または上皮層外であるのかどうかを示している。そのようなマスクは当技術分野においてよく知られている。マスクに関する２進情報は、内在する画素の任意のブール特性を符号化することができる。ここで、マスクは、画像中の各位置が上皮層に属するかどうかを符号化する。この実施形態では、組織試料はヘマトキシリンとエオシン（したがって、Ｎ＝２）とにより染色され、各画像のマスクはデータタブレットを持つ画像を手動でラベル付けすることにより得られる。
【００３９】
ボックス４０２（図４）で、検出器１００の色変換１０２（図１）が各カラースキャン５０３（図５）に適用される。これは、各カラースキャンについてＮ個の染色チャネル５０４（図５）を生み出す。
【００４０】
ボックス４０３（図４）で、パッチ５０５（図５）がトレーニング群として働くように染色チャネルから選択される。各パッチ５０５は、ＣＮＮ１０４（図１）の１つの入力ウィンドウに対応し、パッチが生じた画像に対応するマスクに応じて、パッチの中心画素が上皮層内または上皮層外であるのかどうかを示すラベル５０６（図５）に関連づけられている。図５に示すように、「１」のラベルはパッチが上皮層内であることを示し、「０」はパッチが上皮層内でないことを示している。
【００４１】
１つの典型的な実施形態では、上皮層内および上皮層外であるようにラベル付けされた数と等しい数のパッチがボックス４０３で選択される。同数のパッチが各画像から選択され、白色領域（すなわち組織がない領域）からのパッチは選択されない。これらの制約に加えて、トレーニングパッチがボックス４０３で任意に選択される。
【００４２】
ボックス４０４（図４）で、ＣＮＮ１０４の重み値が、浮動小数点数の分布から選択された乱数値で初期化される。もう１つの選択肢として、ＣＮＮ１０４は、ボックス４０３でパッチを選択する前に初期化されてもよい。ボックス４０５で、ＣＮＮ１０４は、確率的勾配降下法および逆伝播法５０７（図５）のよく知られている原理に従ってパッチでトレーニングされ、組織試料の上皮部分を同定可能なＣＮＮ１０のトレーニングされたバージョン５０８（図５）を生成する。
【００４３】
当業者には、ここで説明している上皮組織検出器および方法が、任意の適切に適応されたコンピュータシステムを用いて実現できることが認識されよう。コンピュータシステムは、メインフレームコンピュータシステム、ワークステーション、パーソナルコンピュータシステム、携帯情報端末（ＰＤＡ）、または、記憶媒体からの命令を実行する少なくとも１つのプロセッサを持つ他のデバイスまたは装置を含んでいてもよいが、それらに限定されるものではない。
【００４４】
コンピュータシステムは、１つまたは２つ以上のコンピュータプログラムまたはソフトウエアコンポーネントを格納できる、１つまたは２つ以上の記憶媒体を含んでいてもよい。ここで説明している方法を行うのに実行可能な１つまたは２つ以上のソフトウェアプログラムは、記憶媒体に格納されてもよい。該１つまたは２つ以上の記憶媒体は、ＣＤ−ＲＯＭ、フロッピーディスク、テープ装置、ＤＲＡＭ、ＳＲＡＭ、ＥＤＯ ＲＡＭ、およびＲａｍｂｕｓ ＲＡＭ（しかしこれらに限定されるものではない）のようなランダムアクセスメモリ、ハードディスクドライブおよび光記憶装置（しかしこれらに限定されるものではない）のような不揮発性メモリ、およびそれらの組み合わせを含んでいてもよいが、それらに限定されるものではない。加えて、記憶媒体は、インターネットのようなネットワーク上のコンピュータシステムに接続した、１つまたは２つ以上の関連するコンピュータまたはコンピュータシステムに完全にまたは部分的に配置されていてもよい。
【００４５】
ここで説明している上皮組織検出器および方法は、ハードウェア、ソフトウェアとハードウェアとの組み合わせ、または他の適切な実行可能な実装において実行されてもよい。ソフトウェアで実行される方法は、コンピュータシステムのプロセッサ、または、コンピュータシステムに接続された１つまたは２つ以上の関連するコンピュータまたはコンピュータシステムの１つまたは２つ以上のプロセッサによって実行されてもよい。
【００４６】
図６は、ここで説明している上皮組織検出器および方法を実現するコンピュータシステム６００の典型的な実施形態のブロックダイアグラムである。コンピュータシステム６００は、プロセッサ６２０と、ここで説明している上皮組織検出器および方法を実現するプロセッサ６２０によって実行可能な、１つまたは２つ以上のプログラムを格納するメモリ６３０と、入力データ、例えばラベル付されていないカラースキャンデータおよびラベル付けされたカラースキャンデータ（トレーニングデータ）を受け取る入力６４０と、データ（例えば、群の中心が上皮層内にあることを示す１つまたは２つ以上の予測ラベル、および群の中心が上皮層外にあることを示す１つまたは２つ以上の予測ラベル）を出力する出力６６０とを含んでいる。
【００４７】
本開示の例示的図面および特定の実施形態を説明および例示したが、本発明の範囲は説明した特定の実施形態に限定されないことが理解されるべきである。したがって、実施形態は限定的であるよりも例示的と見なすべきであり、添付の特許請求の範囲に記載された本発明の範囲ならびに構造的等価物および機能的等価物から逸脱することなくこれらの実施形態に変更を加えることができることが当業者には理解されよう。
【技術分野】
【０００１】
本開示は、デジタル病理学に関する。より詳細には、本開示は、組織試料の上皮部分を自動的に同定する上皮層検出器および対応する方法に関する。
【０００２】
本出願は２００８年７月０３日に出願された米国特許仮出願番号第６１／０７７，９７４号の利益を主張し、その全開示は参照によりここに組み込まれている。
【０００３】
本出願は、２００８年７月０３日に出願された米国特許仮出願番号第６１／０７７，９６９号の利益を主張する、「印環細胞検出器および関連方法（Signet Ring Cell Detector and Related Methods）」と題する２００９年７月２日に出願された米国特許出願番号第 号（代理人整理番号０８０３２）、および２００８年７月０３日に出願された米国特許仮出願第６１／０７７，９６６号の利益を主張する、「有糸分裂像検出器およびカウンターシステム、および有糸分裂像を検出、計数する方法（Mitotic Figure Detector and Counter System and Method for Detecting and Counting Mitotic Figures）」と題する２００９年７月２日に出願された米国特許出願番号第 号（代理人整理番号０８０３１）に関連する。「印環細胞検出器および関連方法」と題する２００９年７月２日に出願された米国特許出願番号第 号（代理人整理番号０８０３２）および「有糸分裂像検出器およびカウンターシステム、および有糸分裂像を検出、計数する方法」と題する２００９年７月２日に出願された米国特許出願番号第 号（代理人整理番号０８０３１）の全開示は参照によりここに組み込まれている。
【背景技術】
【０００４】
デジタル病理学は、病理医が組織標本を類別するのを支援するコンピュータの使用を含んでいる。例えば、専門家が乳癌診断用の組織試料を類別するのに通常５分以上はかかる。いくつかの調査によれば、同一事例についての病理医の類別の間の一致は低いことが実証されており、それらの診断の客観性が問題になっている。優れたシステムは診断の際に病理医を支援することができるので、より再現可能な結果をより低いコストで達成することを助けることができる。
【０００５】
上皮組織の同定は、上皮組織周辺の細胞核密度が高レベルに達するので（悪性腫瘍に関する誤った警告を与える原因となる）、乳癌および胃癌の診断にとって重要である。診断値の組織学的統計量を生成するために、これらの領域は核の密度推定から取り除かれる必要がある。
【０００６】
乳癌および胃癌の場合には、組織試料は患者から取り出され、スライスされ、ヘマトキシリン・エオシン染料により染色され、微視的な分解能を持つデジタルスキャナで画像化することができる。問題は、上皮層内にある組織部を上皮層内にない組織部から識別することである。
【０００７】
先行技術では、２、３の方法で組織部を識別する問題が取り扱われている。１つの方法では、スキャンされた画像の各画素を、該画素の色に応じて４つの組織カテゴリのうちの１つに分類する、線形分類器（線形ニューラルネットワークによりトレーニングされた）が用いられる。次に、手動設計の発見的問題解決法を用いて上皮組織の境界を見つける。他の方法では、まずカラーセグメンテーションが画像に適用される。次に、各セグメントは、該セグメントの色、いくつかの基本的形状特徴、および近傍のセグメントの以前の分類に基づき、手動設計の発見的問題解決法に従って、いくつかの異なる物体の１つとして分類される。利用可能な種類のうちの１つは、ヘマトキシリン色を持つセグメントとして定義され、「間質核」のように見えるほど十分に円形でなくまた大きくもなく、「アポトーシス核」のように見えるほど黒っぽい、「上皮核」である。
【０００８】
都合の悪いことに、上述の方法の適応性は限られている。手動設計の発見的問題解決法に基づいた方法は、認識されるべき各パターンに適用される新たな規則群を必要とする。加えて、上記カラーセグメンテーションの方法は、上皮層の一部として核物質を認識できるのみである。該方法は、上皮層の一部と適正に見なされるべき、ゴブレット細胞のムチン性細胞体のような、他の物質を認識することができない。
【０００９】
したがって、上皮層内にある組織部を上皮層内にない組織部から自動的に識別するのに、改善された、より適応性のある装置および方法が必要とされる。
【発明の概要】
【００１０】
組織試料の上皮部分を自動的に同定する方法が提供される。本方法は、組織試料を１つまたは２つ以上の染料で染色すること、色変換計算機処理を適用して、染色された組織試料のカラー画像を１つまたは２つ以上のカラーチャネルに分離すること、カラーチャネルに畳み込みニューラルネットワーク計算機処理を適用して、組織試料の各位置について、該位置が上皮層内または上皮層外であるのかどうかについての決定を得ることを含む。
【００１１】
さらに、組織試料の上皮部分を自動的に同定する方法がここに開示される。本方法は、組織試料を少なくとも２つの染料で染色すること、組織試料のカラー画像に色変換計算機処理を適用して、各色組織画像の各画素が該画像の対応する画素において対応する染料の推定濃度を示す色の濃さを持つ、複数の画素で形成された少なくとも２つの個別の色組織画像を得ること、色組織画像に畳み込みニューラルネットワーク計算機処理を適用して、画素群について、該群の中心が上皮層内または上皮層外にあるのかどうかについての決定を得ることを含む。
【００１２】
組織試料の上皮部分を同定するのに使用される上皮層検出器の畳み込みニューラルネットワーク計算機処理の１つまたは２つ以上のパラメータをトレーニングする方法もここに開示される。本方法は、１つまたは２つ以上の組織試料を少なくとも２つの染料で染色すること、１つまたは２つ以上の組織試料をスキャンして、該１つまたは２つ以上の組織試料のカラー画像を生成すること、各マスクが、複数の画像のうちの対応する１つの画像の各画素について、該画素が上皮層内または上皮層外であるのかを示す、マスク群を生成すること、組織試料の各画像に色変換計算機処理を適用して、各カラーチャネルの各画素が走査内の対応する画素において対応する染料の推定濃度を示す色の濃さを持つカラーチャネルに、画像を分離すること、個別の色組織画像群からトレーニングデータとして使用するパッチ群を選択することであって、各パッチは該パッチ群のすべての色組織画像からの画素の連続的収集を含み、いくつかのパッチは上皮層内に中心があり、その他のパッチは上皮層外に中心がある、パッチ群を選択すること、畳み込みニューラルネットワーク計算機処理のパラメータを任意の値に初期化すること、畳み込みニューラルネットワーク計算機処理をパッチ群に反復して適用すること、前記パラメータを調整し、畳み込みニューラルネットワーク計算機処理の予測と各パッチの正しいラベルとの間の一致を改善することを含む。
【００１３】
さらに、組織試料の上皮部分を自動的に同定する上皮層検出器がここに開示される。本検出器は、１つまたは２つ以上の染料で染色された組織試料のカラースキャンに色変換処理を適用して、画像をカラーチャネルに分離する色変換装置であって、各カラーチャネルの各画素が走査の対応する画素において対応する染料の推定濃度を示す色の濃さを持つ、色変換装置と、カラーチャネルに畳み込みニューラルネットワーク処理を適用して、組織の各位置について、該位置が上皮層内または上皮層外であるのかどうかについての決定を得る、畳み込みニューラルネットワーク装置とを有する。
【図面の簡単な説明】
【００１４】
【図１】組織試料の上皮部分を同定する上皮組織検出器の典型的な実施形態の機能ブロックダイアグラムである。
【図２】従来のＣＮＮを概略的に示す図である。
【図３】上皮組織検出器のＣＮＮの典型的な実施形態を概略的に示す図である。
【図４】上皮組織検出器をトレーニングする方法の典型的な実施形態を示すフローチャートである。
【図５】図４のフローチャートに示した方法を概略的に示す図である。
【図６】ここで説明している上皮組織検出器および方法を実現するためのコンピュータシステムの典型的な実施形態のブロックダイアグラムである。
【発明を実施するための形態】
【００１５】
組織試料の上皮部分を自動的に同定する畳み込みニューラルネットワークを用いた、上皮組織検出器および方法がここに開示される。畳み込みニューラルネットワークをトレーニングして組織試料の上皮部分を同定する方法もここに開示される。畳み込みニューラルネットワークは、一連の畳み込みと、複数の非線形伝達関数と、各サブサンプリングが重み群で管理された複数のサブサンプリングとを含んでいる。該重み群は、手動でラベル付けされた生検画像の収集について好結果を得る確率的勾配降下法を用いてトレーニングされる。
【００１６】
図１は、組織試料の上皮部分を自動的に同定する上皮組織検出器１００の典型的な実施形態の機能ブロックダイアグラムである。組織試料は、該組織試料を各染料が異なる色を持つ複数の染料で染色することによって準備されてもよく、次に、撮像装置が、組織試料の１つまたは２つ以上のデジタル高分解能カラースキャンまたは画像１０１を得るのに使用されてもよい。組織試料の１つまたは２つ以上の高解像度カラースキャンまたは画像１０１は、色変換器１０２の入力に加えられる。色変換器１０２は、スキャンまたは画像の各画素に、該画素の位置における各染料の濃度を推定するために、色変換処理を実行する。色変換処理は、色変換器１０２の出力として、各画素の色の濃さが染料の推定濃度を示す染色チャネル群１０３を各染料に対して１つ生成する。そのような色変換処理に関するより詳細については、例えば、２００８年６月２日に出願された米国特許番号第１２／１３１，３４６号を参照されたい。米国特許番号第１２／１３１，３４６号の開示は、該開示が色変換処理に関連するものとして、参照によりここに組み込まれている。他の非限定的な実施形態では、赤、緑、および青のカラーチャネルへの簡単な分離（色分離器により実行される）が、色変換器１０２により行われた染色チャネルへの分離の代わりに適用されてもよい。
【００１７】
１つの典型的な実施形態では、色変換器１０２は、３次元色空間のベクトルとして染料の各々に対する主調色（dominant color）を推定する。次に、画素の各染料の濃度が、画素の色と染料の主調色との間の相関関係を算出することによって推定される。
【００１８】
１つの典型的な実施形態では、組織試料は、通常黒っぽいシアン色で画像化されるヘマトキシリンおよび通常明るいマジェンタ色で画像化されるエオシンの２つの染料で染色されてもよい。しかしながら、サンプルの古さ、全体的色素濃度、および撮像装置の諸特性が染料の正確な色調の変化をもたらす可能性がある。それゆえ、染料がすべての画像において同一色を持つと仮定することはできない。したがって、この実施形態では、画像内の基本シアン色は、画素のシアン含有量に基づいた各画素の重みを持つ、すべての画素の加重平均として次式のように推定される。
【００１９】
【数１】
【００２０】
なおここで、Ｃは基本シアン色、Ｐiは画素ｉの３つの構成色、ｗiは画素ｉの重み、ＰiCyanは、シアン・マジェンタ・イエロー（ＣＭＹ）色空間の画素ｉのシアン値である。次に、基本マジェンタ色Ｍがもう一つの加重平均として算出され、ここで、今回は、該重みは、基本シアン色で記述されない各色ベクトルの大きさから算出され、次式が得られる（これらの重みの使用は、画像が主にシアンおよびマジェンタから構成されているという仮定に基づいている）。
【００２１】
【数２】
【００２２】
次に、画素が主にヘマトキシリンである場合、該画素はエオシンをほとんど持っておらずその逆も成立すると仮定すると、ヘマトキシリンＨの主調色は、基本シアンＣ色内の任意の基本マジェンタＭの寄与を取り除くことにより推定され、エオシンの主調色は、基本マジェンタＭ色の中の任意の基本シアンＣの寄与を取り除くことによって推定され、次式が得られる。
【００２３】
【数３】
【００２４】
【数４】
【００２５】
よって、画素ｉ内のヘマトキシリンＨの推定濃度はＰi・Ｈ、エオシンＥの推定濃度はＰi・Ｅとなる。
【００２６】
他の実施形態では、色変換器は、ヘマトキシリンＨ染料およびエオシンＥ染料に対する束縛ベクトルを用いて、１つまたは２つ以上のスキャンまたは画像に色変換処理を行う。大きな色変化が画像間で推測されない場合、色変換処理のこの実施形態は適切である。ヘマトキシリンＨ染料およびエオシンＥ染料の３次元色空間のベクトルは、いくつかの試料画像に上述の計算を適用して結果を一緒に平均化することによって選ぶことができる。
【００２７】
図１をなお参照して、染色チャネル群１０３は、組織部が上皮層内または上皮層外であるのかどうかを判断する畳み込みニューラルネットワーク（ＣＮＮ）１０４の入力に加えられる。通常、ＣＮＮは、畳み込みカーネル（convolution kernel）のトレーニングされた値を用いて、畳み込み、非線形伝達関数、およびサブサンプリングを連続して該ＣＮＮの入力に適用することによって進行し、いくつかの入力特性を記述する多くの出力１０５を得る。上皮組織検出器１００では、入力１０３は色素濃度画像であり、出力１０５は、対応する組織部が上皮層内または上皮層外であるのかどうかを示す指標である。
【００２８】
図２は、従来のＣＮＮ２００を概略的に示す図である。ＣＮＮ２００の構成および機能は当技術分野においてよく知られている。ＣＮＮは、特徴マップと呼ばれる入力２０１（入力層）の積み重ねを小さなフィルター２０２で畳み込んで、内層または第１の内層２０３と呼ばれる特徴マップの新たな積み重ねを得る。この第１の内層２０３の特徴マップの各々は、トレーニングされたカーネル（通常異なる重みを持つ）によって１つまたは２つ以上の入力マップを畳み込み、結果を一緒に加算することによって得られる。次に、結果として生じた値は非線形伝達関数２０４を通して渡され、第２の内層２０５を得る。第３の内層２０７がサブサンプリング２０６によって得られ、ここで、各値は、前の内層（例えば第２の内層２０５）からの隣接値群を一緒に平均化することによって得られる。該群は重複しないので、結果として得られた内層は前の内層よりも実質的に小さい。いくつかの内層の後、出力層２０８の各値２０９が入力層２０１の隣接値の入力ウィンドウ２１０に依存することは明らかである。さらに、これらのウィンドウは互いに重複する。
【００２９】
図１の上皮組織検出器１００に用いられるＣＮＮ１０４は、入力ウィンドウの中心が上皮層内にあるのかどうかを、該ＣＮＮ１０４の出力層の各値が示すように構成されている。図３は、上皮組織検出器１００のＣＮＮ１０４の典型的な実施形態を概略的に示す図である。ＣＮＮ１０４は、入力層３０１と、それぞれ第１、第２、第３、第４、第５および第６の内層である３０２，３０３，３０４，３０５，３０６および３０７と、出力層３０８とを含んでいる。
【００３０】
入力層３０１は２つの特徴マップを含んでいる。２つの特徴マップのうちの１つはヘマトキシリン濃度を推定し、２つの特徴マップの他の１つはエオシン濃度を推定する。
【００３１】
第１の内層３０２は、５×５個のカーネルを持つ２つの入力特徴マップを畳み込み、一定の補正値を加算し、該計算結果の双曲正接を算出することによって得られる、９つの特徴マップを含んでいる。該カーネルの値および一定の補正値は、後で説明するトレーニング処理によって得られる。第１の内層３０２には９つの特徴マップがあるので、トレーニングされるに違いない１８個のカーネルと９つの一定の補正値とがある。５×５の畳み込みのために、第１の内層３０２の９つの特徴マップの各々は、入力層３０１の２つの特徴マップの各々よりも、ｘおよびｙの両方でより小さい４つの画素となる。
【００３２】
第２の内層３０３はサブサンプリングによって得られる。第１の内層３０２から出力された９つの特徴マップの各々のすべての２×２群の値は一緒に平均化され、定数を掛けられ、他の定数によって相殺され、双曲正接関数を通して渡される。これは、第１の内層３０２の出力において、９つの特徴マップの各々について別々に行われる。したがって、第２の内層３０３は、各特徴マップが第１の内層３０２の出力において９個の特徴マップのうちの１つから算出された、９個の特徴マップを含んでいる。対応する９個の乗算値および９個の補正値が、トレーニングによって得られる。第２の内層３０３の９個の特徴マップの各々は、第１の内層３０２のそれらの対応する９個の特徴マップの半分の幅および半分の高さである。
【００３３】
第３の内層３０４は、第１の内層３０２に関して説明した方法と同一の方法で、５×５個のカーネルで畳み込み、定数で相殺し、双曲正接関数を通して結果を渡すことによって得られる、１６個の特徴マップを持っている。１６個の特徴マップの各々は、第２の内層３０３から出力された９個の特徴マップから算出されるので、１４４個のカーネルをトレーニングする必要がある。
【００３４】
第４の内層３０５は、第２の内層３０３に関して説明した方法と同一の方法で、サブサンプリングによって算出される。したがって、第４の内層は、各特徴マップが第３の内層３０４の出力において１６個の特徴マップのうちの１つから得られる、１６個の特徴マップを含んでいる。
【００３５】
第５の内層３０６は、第１の内層３０２に関して説明した方法と同一の方法で、５×５個のカーネルで畳み込み、定数で相殺し、双曲正接関数を通して結果を渡すことによって得られる、３２個の特徴マップを持っている。３２個の特徴マップの各々は、第４の内層３０５の出力において１６個の特徴マップから算出されるので、５１２個のカーネルをトレーニングする必要がある。
【００３６】
第６の内層３０７は、第１の内層３０２と同一の方法で、５×５個のカーネルで畳み込み、定数で相殺し、双曲正接関数を通して結果を渡すことによって得られる、６４個の特徴マップを持っている。６４の特徴マップの各々は、第５の内層３０７の出力において３２個の特徴マップから算出されるので、２０４８個のカーネルをトレーニングする必要がある。
【００３７】
出力層３０８は２つの特徴マップを含んでいる。入力層３０１の２つの特徴マップのうちの１つの隣接値の入力ウィンドウの中心が上皮層内にある場合、該２つの出力層特徴マップのうちの１つは、大きな値を持つようにトレーニングされ、入力層３０１の２つの特徴マップのうちの１つの隣接値の入力ウィンドウの中心が上皮層内にない場合、該２つの出力層特徴マップうちの他の１つは、大きな値を持つようにトレーニングされる。２つの出力層特徴マップは１×１個のカーネルによる畳み込みによって得られ、その結果、出力層３０８の各出力は、トレーニングによって得られた重みにより、第６の内層３０７の出力においてすべての６４個の特徴マップの対応する値のちょうど加重和になる。このアーキテクチャにより、各出力値は４８×４８個のウィンドウに依存する。ウィンドウはｘおよびｙの４４個の画素だけ重複する。
【００３８】
図４および図５は、組織試料の上皮部分を同定する上皮組織検出器をトレーニングする方法の典型的な実施形態を集合的に示す図である。図４は該方法のフローチャートであり、図５はトレーニング方法の対応する概略図である。ボックス４０１（図４）で、Ｎ個の染料により染色された組織試料の高解像度カラースキャン５０１のコーパス（図５）が、対応する複数のユーザ生成のマスク５０２（２値画像）（図５）と共に提供され、該マスクの各々は、対応する１つのスキャンの各画素について、該画素が上皮層内または上皮層外であるのかどうかを示している。そのようなマスクは当技術分野においてよく知られている。マスクに関する２進情報は、内在する画素の任意のブール特性を符号化することができる。ここで、マスクは、画像中の各位置が上皮層に属するかどうかを符号化する。この実施形態では、組織試料はヘマトキシリンとエオシン（したがって、Ｎ＝２）とにより染色され、各画像のマスクはデータタブレットを持つ画像を手動でラベル付けすることにより得られる。
【００３９】
ボックス４０２（図４）で、検出器１００の色変換１０２（図１）が各カラースキャン５０３（図５）に適用される。これは、各カラースキャンについてＮ個の染色チャネル５０４（図５）を生み出す。
【００４０】
ボックス４０３（図４）で、パッチ５０５（図５）がトレーニング群として働くように染色チャネルから選択される。各パッチ５０５は、ＣＮＮ１０４（図１）の１つの入力ウィンドウに対応し、パッチが生じた画像に対応するマスクに応じて、パッチの中心画素が上皮層内または上皮層外であるのかどうかを示すラベル５０６（図５）に関連づけられている。図５に示すように、「１」のラベルはパッチが上皮層内であることを示し、「０」はパッチが上皮層内でないことを示している。
【００４１】
１つの典型的な実施形態では、上皮層内および上皮層外であるようにラベル付けされた数と等しい数のパッチがボックス４０３で選択される。同数のパッチが各画像から選択され、白色領域（すなわち組織がない領域）からのパッチは選択されない。これらの制約に加えて、トレーニングパッチがボックス４０３で任意に選択される。
【００４２】
ボックス４０４（図４）で、ＣＮＮ１０４の重み値が、浮動小数点数の分布から選択された乱数値で初期化される。もう１つの選択肢として、ＣＮＮ１０４は、ボックス４０３でパッチを選択する前に初期化されてもよい。ボックス４０５で、ＣＮＮ１０４は、確率的勾配降下法および逆伝播法５０７（図５）のよく知られている原理に従ってパッチでトレーニングされ、組織試料の上皮部分を同定可能なＣＮＮ１０のトレーニングされたバージョン５０８（図５）を生成する。
【００４３】
当業者には、ここで説明している上皮組織検出器および方法が、任意の適切に適応されたコンピュータシステムを用いて実現できることが認識されよう。コンピュータシステムは、メインフレームコンピュータシステム、ワークステーション、パーソナルコンピュータシステム、携帯情報端末（ＰＤＡ）、または、記憶媒体からの命令を実行する少なくとも１つのプロセッサを持つ他のデバイスまたは装置を含んでいてもよいが、それらに限定されるものではない。
【００４４】
コンピュータシステムは、１つまたは２つ以上のコンピュータプログラムまたはソフトウエアコンポーネントを格納できる、１つまたは２つ以上の記憶媒体を含んでいてもよい。ここで説明している方法を行うのに実行可能な１つまたは２つ以上のソフトウェアプログラムは、記憶媒体に格納されてもよい。該１つまたは２つ以上の記憶媒体は、ＣＤ−ＲＯＭ、フロッピーディスク、テープ装置、ＤＲＡＭ、ＳＲＡＭ、ＥＤＯ ＲＡＭ、およびＲａｍｂｕｓ ＲＡＭ（しかしこれらに限定されるものではない）のようなランダムアクセスメモリ、ハードディスクドライブおよび光記憶装置（しかしこれらに限定されるものではない）のような不揮発性メモリ、およびそれらの組み合わせを含んでいてもよいが、それらに限定されるものではない。加えて、記憶媒体は、インターネットのようなネットワーク上のコンピュータシステムに接続した、１つまたは２つ以上の関連するコンピュータまたはコンピュータシステムに完全にまたは部分的に配置されていてもよい。
【００４５】
ここで説明している上皮組織検出器および方法は、ハードウェア、ソフトウェアとハードウェアとの組み合わせ、または他の適切な実行可能な実装において実行されてもよい。ソフトウェアで実行される方法は、コンピュータシステムのプロセッサ、または、コンピュータシステムに接続された１つまたは２つ以上の関連するコンピュータまたはコンピュータシステムの１つまたは２つ以上のプロセッサによって実行されてもよい。
【００４６】
図６は、ここで説明している上皮組織検出器および方法を実現するコンピュータシステム６００の典型的な実施形態のブロックダイアグラムである。コンピュータシステム６００は、プロセッサ６２０と、ここで説明している上皮組織検出器および方法を実現するプロセッサ６２０によって実行可能な、１つまたは２つ以上のプログラムを格納するメモリ６３０と、入力データ、例えばラベル付されていないカラースキャンデータおよびラベル付けされたカラースキャンデータ（トレーニングデータ）を受け取る入力６４０と、データ（例えば、群の中心が上皮層内にあることを示す１つまたは２つ以上の予測ラベル、および群の中心が上皮層外にあることを示す１つまたは２つ以上の予測ラベル）を出力する出力６６０とを含んでいる。
【００４７】
本開示の例示的図面および特定の実施形態を説明および例示したが、本発明の範囲は説明した特定の実施形態に限定されないことが理解されるべきである。したがって、実施形態は限定的であるよりも例示的と見なすべきであり、添付の特許請求の範囲に記載された本発明の範囲ならびに構造的等価物および機能的等価物から逸脱することなくこれらの実施形態に変更を加えることができることが当業者には理解されよう。
【特許請求の範囲】
【請求項１】
組織試料の上皮部分を自動的に同定する方法であって、
前記組織試料を１つまたは２つ以上の染料で染色するステップと、
色変換計算機処理を適用して、前記染色された組織試料のカラー画像を１つまたは２つ以上のカラーチャネルに分離するステップと、
前記カラーチャネルに畳み込みニューラルネットワーク計算機処理を適用して、前記組織試料の各位置について、該位置が上皮層内または上皮層外であるのかどうかについての決定を得るステップとを含む方法。
【請求項２】
請求項１に記載の方法において、
前記色変換計算機処理を適用するステップによって生成された前記カラーチャネルが染色チャネルである方法。
【請求項３】
請求項２に記載の方法において、
前記各カラー画像は複数の画素で形成されており、
前記色変換適用ステップが、
前記画像の各染料の主調色を推定して複数の染料色ベクトルを得ることと、
各画素の色と前記各染料色ベクトルとの間の相関関係を決定して前記各カラー画像内の対応する画素の色の濃さを得ることとによって行われる方法。
【請求項４】
請求項３に記載の方法において、
前記少なくとも２つの染料はヘマトキシリンとエオシンとを含んでおり、
前記主調色推定ステップが、
前記各画素の重みがシアン・マジェンタ・イエロー色体系の該画素のシアン値に基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本シアン成分の推定を得ることと、
前記各画素の重みが前記推定された基本シアン成分を取り除いた後の重みの大きさに基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本マジェンタ成分の推定を得ることと、
前記基本シアン成分の推定から前記推定された基本マジェンタ成分を取り除き、前記複数の染料色ベクトルのうちの１つである、ヘマトキシリンの染料色ベクトルを得ることと、
前記推定された基本マジェンタ成分から前記推定された基本シアン成分を取り除き、前記複数の染料色ベクトルの他の１つである、エオシンの染料色ベクトルを得ることとによって行われる方法。
【請求項５】
請求項２に記載の方法において、
Ｌ１、Ｌ２、Ｌ３、およびＬ４が正の整数であり、
前記畳み込みニューラルネットワーク計算機処理適用ステップが、
前記各カラーチャネルを、該チャネルに対して指定されたＬ１個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、Ｌ１個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ１個の特徴マップ層を生成することと、
第１の層からの前記Ｌ１個の特徴マップの各々の隣接値群を一緒に平均化して前記Ｌ１個の特徴マップの平均隣接値を生成し、その結果にトレーニングされた定数を掛け、前記Ｌ１個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ１個の特徴マップの第２の層を生成することと、
それらのＬ１個の特徴マップを、該特徴マップに対して指定されたＬ２個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、前記Ｌ２個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ２個の特徴マップの第３の層を生成することと、
前記Ｌ２個の特徴マップの各々の隣接値群を一緒に平均化して前記Ｌ２個の特徴マップの平均隣接値を生成し、その結果にトレーニングされた定数を掛け、前記Ｌ２個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ２個の特徴マップの第４の層を生成することと、
前記第４の層のＬ２個の特徴マップを、該特徴マップに対して指定されたＬ３個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、前記Ｌ３個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ３個の特徴マップの第５の層を生成することと、
前記第５の層のＬ３個の特徴マップを、該特徴マップに対して指定されたＬ４個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、前記Ｌ４個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ４個の特徴マップの第６の層を生成することと、
前記第６の層のＬ４個の特徴マップの各々に第１のトレーニングされた重みを掛け、その結果を一緒に加算して第１の出力マップを生成することと、
前記第６の層のＬ４個の特徴マップの各々に第２のトレーニングされた重みを掛け、その結果を一緒に加算して第２の出力マップを生成することと、
前記第１の出力マップと第２の出力マップとを互いに比較して、どの位置が上皮層にあるかおよびどの位置が上皮層にないかを決定することとによって行われる方法。
【請求項６】
請求項５に記載の方法において、
畳み込むステップが各々５×５個のカーネルで行われる方法。
【請求項７】
請求項６に記載の方法において、
Ｌ１は９、Ｌ２は１６、Ｌ３は３２、Ｌ４は６４である方法。
【請求項８】
組織試料の上皮部分を同定するのに使用される上皮層検出器の畳み込みニューラルネットワーク計算機処理の１つまたは２つ以上のパラメータをトレーニングする方法であって、
１つまたは２つ以上の組織試料を少なくとも２つの染料で染色するステップと、
前記１つまたは２つ以上の組織試料をスキャンして、該１つまたは２つ以上の組織試料のカラー画像を生成するステップと、
各マスクが、複数の画像のうちの対応する１つの画像の各画素について、該画素が上皮層内または上皮層外であるのかを示すマスク群を生成するステップと、
前記組織試料の各画像に色変換計算機処理を適用して、前記画像を、各カラーチャネルの各画素が前記組織の対応する位置で対応する染料の推定濃度を示す色の濃さを持つカラーチャネルに分離するステップと、
個別の色組織画像群からトレーニングデータとして使用するパッチ群を選択することであって、各パッチは該パッチ群のすべての色組織画像からの画素の連続的収集を含み、いくつかのパッチは上皮層内に中心があり、その他のパッチは上皮層外に中心がある、パッチ群を選択するステップと、
計算機処理において、前記畳み込みニューラルネットワーク計算機処理のパラメータを任意の値に初期化するステップと、
前記畳み込みニューラルネットワーク計算機処理を前記パッチ群に反復して適用するステップと、
計算機処理において前記パラメータを調整し、前記畳み込みニューラルネットワーク計算機処理の予測と前記各パッチの正しいラベルとの間の一致を改善するステップとを含む方法。
【請求項９】
請求項８に記載の方法において、
前記色変換適用ステップが、
前記画像の各染料の主調色を推定して複数の染料色ベクトルを得ることと、
各画素の色と前記各染料色ベクトルとの間の相関関係を決定して前記各色組織画像内の対応する画素の色の濃さを得ることとによって行われる方法。
【請求項１０】
請求項９に記載の方法において、
前記少なくとも２つの染料はヘマトキシリンとエオシンとを含んでおり、
前記主調色推定ステップが、
前記各画素の重みがシアン・マジェンタ・イエロー色体系の該画素のシアン値に基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本シアン成分の推定を得ることと、
前記各画素の重みが前記推定された基本シアン成分を取り除いた後の重みの大きさに基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本マジェンタ成分の推定を得ることと、
前記基本シアン成分の推定から前記推定された基本マジェンタ成分を取り除き、前記複数の染料色ベクトルのうちの１つである、ヘマトキシリンの染料色ベクトルを得ることと、
前記推定された基本マジェンタ成分から前記推定された基本シアン成分を取り除き、前記複数の染料色ベクトルの他の１つである、エオシンの染料色ベクトルを得ることとによって行われる方法。
【請求項１１】
請求項８に記載の方法において、
前記パッチ群を選択するステップが無作為に行われる方法。
【請求項１２】
請求項８に記載の方法において、
前記パッチ群を選択するステップが、該パッチ群が内部上皮層および外部上皮層と等しい数を持つように行われる方法。
【請求項１３】
請求項８に記載の方法において、
前記パラメータ初期化ステップで初期化された前記パラメータが無作為に初期化される方法。
【請求項１４】
請求項８に記載の方法において、
前記畳み込みニューラルネットワーク計算機処理を適用するステップが逆伝播法を用いて行われる方法。
【請求項１５】
組織試料の上皮部分を自動的に同定する上皮層検出器であって、
色変換計算機処理を適用して、染色された組織試料のカラー画像を１つまたは２つ以上のカラーチャネルに分離する色変換装置と、
前記カラーチャネルに畳み込みニューラルネットワーク計算機処理を適用して、前記組織試料の各位置について、該位置が上皮層内または上皮層外であるのかどうかについての決定を得る畳み込みニューラルネットワーク装置とを有する検出器。
【請求項１６】
請求項１５に記載の検出器において、
前記色変換処理で生成されたカラーチャネルは染色チャネルである検出器。
【請求項１７】
請求項１６に記載の検出器において、
前記各カラー画像は複数の画素で形成されており、
前記色変換装置が、
前記画像の各染料の主調色を推定して複数の染料色ベクトルを得ることと、
各画素の色と前記各染料色ベクトルとの間の相関関係を決定して前記各色組織画像内の対応する画素の色の濃さを得ることとによって色変換処理を行う検出器。
【請求項１８】
請求項１７に記載の検出器において、
前記少なくとも２つの染料はヘマトキシリンとエオシンとを含んでおり、
前記主調色が、
前記各画素の重みがシアン・マジェンタ・イエロー色体系の該画素のシアン値に基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本シアン成分の推定を得ることと、
前記各画素の重みが前記推定された基本シアン成分を取り除いた後の重みの大きさに基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本マジェンタ成分の推定を得ることと、
前記基本シアン成分の推定から前記推定された基本マジェンタ成分を取り除き、前記複数の染料色ベクトルのうちの１つである、ヘマトキシリンの染料色ベクトルを得ることと、
前記推定された基本マジェンタ成分から前記推定された基本シアン成分を取り除き、前記複数の染料色ベクトルの他の１つである、エオシンの染料色ベクトルを得ることとによって推定される検出器。
【請求項１９】
請求項１６に記載の検出器において、
Ｌ１、Ｌ２、Ｌ３、Ｌ４が正の整数であり、
前記畳み込みニューラルネットワーク装置が、
前記各カラーチャネルを、該チャネルに対して指定されたＬ１個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、前記Ｌ１個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ１個の特徴マップ層を生成することと、
第１の層からの前記Ｌ１個の特徴マップの各々の隣接値群を一緒に平均化して前記Ｌ１個の特徴マップの平均隣接値を生成し、その結果にトレーニングされた定数を掛け、前記Ｌ１個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ１個の特徴マップの第２の層を生成することと、
それらのＬ１個の特徴マップを、該特徴マップに対して指定されたＬ２個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、前記Ｌ２個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ２個の特徴マップの第３の層を生成することと、
前記Ｌ２個の特徴マップの各々の隣接値群を一緒に平均化して前記Ｌ２個の特徴マップの平均隣接値を生成し、その結果にトレーニングされた定数を掛け、前記Ｌ２個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ２個の特徴マップの第４の層を生成することと、
前記第４の層のＬ２個の特徴マップを、該特徴マップに対して指定されたＬ３個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、前記Ｌ３個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ３個の特徴マップの第５の層を生成することと、
前記第５の層のＬ３個の特徴マップを、該特徴マップに対して指定されたＬ４個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、Ｌ４個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ４個の特徴マップの第６の層を生成することと、
前記第６の層のＬ４個の特徴マップの各々に第１のトレーニングされた重みを掛け、その結果を一緒に加算して第１の出力マップを生成することと、
前記第６の層のＬ４個の特徴マップの各々に第２のトレーニングされた重みを掛け、その結果を一緒に加算して第２の出力マップを生成することと、
前記第１の出力マップと第２の出力マップとを互いに比較して、どの位置が上皮層にあるかおよびどの位置が上皮層にないかを決定することとによって前記畳み込みニューラルネットワーク処理を行う検出器。
【請求項２０】
請求項１９に記載の検出器において、
前記畳み込みステップが各々５×５個のカーネルで行われる検出器。
【請求項２１】
請求項１９に記載の検出器において、
Ｌ１は９、Ｌ２は１６、Ｌ３は３２、Ｌ４は６４である検出器。
【請求項１】
組織試料の上皮部分を自動的に同定する方法であって、
前記組織試料を１つまたは２つ以上の染料で染色するステップと、
色変換計算機処理を適用して、前記染色された組織試料のカラー画像を１つまたは２つ以上のカラーチャネルに分離するステップと、
前記カラーチャネルに畳み込みニューラルネットワーク計算機処理を適用して、前記組織試料の各位置について、該位置が上皮層内または上皮層外であるのかどうかについての決定を得るステップとを含む方法。
【請求項２】
請求項１に記載の方法において、
前記色変換計算機処理を適用するステップによって生成された前記カラーチャネルが染色チャネルである方法。
【請求項３】
請求項２に記載の方法において、
前記各カラー画像は複数の画素で形成されており、
前記色変換適用ステップが、
前記画像の各染料の主調色を推定して複数の染料色ベクトルを得ることと、
各画素の色と前記各染料色ベクトルとの間の相関関係を決定して前記各カラー画像内の対応する画素の色の濃さを得ることとによって行われる方法。
【請求項４】
請求項３に記載の方法において、
前記少なくとも２つの染料はヘマトキシリンとエオシンとを含んでおり、
前記主調色推定ステップが、
前記各画素の重みがシアン・マジェンタ・イエロー色体系の該画素のシアン値に基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本シアン成分の推定を得ることと、
前記各画素の重みが前記推定された基本シアン成分を取り除いた後の重みの大きさに基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本マジェンタ成分の推定を得ることと、
前記基本シアン成分の推定から前記推定された基本マジェンタ成分を取り除き、前記複数の染料色ベクトルのうちの１つである、ヘマトキシリンの染料色ベクトルを得ることと、
前記推定された基本マジェンタ成分から前記推定された基本シアン成分を取り除き、前記複数の染料色ベクトルの他の１つである、エオシンの染料色ベクトルを得ることとによって行われる方法。
【請求項５】
請求項２に記載の方法において、
Ｌ１、Ｌ２、Ｌ３、およびＬ４が正の整数であり、
前記畳み込みニューラルネットワーク計算機処理適用ステップが、
前記各カラーチャネルを、該チャネルに対して指定されたＬ１個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、Ｌ１個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ１個の特徴マップ層を生成することと、
第１の層からの前記Ｌ１個の特徴マップの各々の隣接値群を一緒に平均化して前記Ｌ１個の特徴マップの平均隣接値を生成し、その結果にトレーニングされた定数を掛け、前記Ｌ１個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ１個の特徴マップの第２の層を生成することと、
それらのＬ１個の特徴マップを、該特徴マップに対して指定されたＬ２個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、前記Ｌ２個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ２個の特徴マップの第３の層を生成することと、
前記Ｌ２個の特徴マップの各々の隣接値群を一緒に平均化して前記Ｌ２個の特徴マップの平均隣接値を生成し、その結果にトレーニングされた定数を掛け、前記Ｌ２個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ２個の特徴マップの第４の層を生成することと、
前記第４の層のＬ２個の特徴マップを、該特徴マップに対して指定されたＬ３個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、前記Ｌ３個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ３個の特徴マップの第５の層を生成することと、
前記第５の層のＬ３個の特徴マップを、該特徴マップに対して指定されたＬ４個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、前記Ｌ４個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ４個の特徴マップの第６の層を生成することと、
前記第６の層のＬ４個の特徴マップの各々に第１のトレーニングされた重みを掛け、その結果を一緒に加算して第１の出力マップを生成することと、
前記第６の層のＬ４個の特徴マップの各々に第２のトレーニングされた重みを掛け、その結果を一緒に加算して第２の出力マップを生成することと、
前記第１の出力マップと第２の出力マップとを互いに比較して、どの位置が上皮層にあるかおよびどの位置が上皮層にないかを決定することとによって行われる方法。
【請求項６】
請求項５に記載の方法において、
畳み込むステップが各々５×５個のカーネルで行われる方法。
【請求項７】
請求項６に記載の方法において、
Ｌ１は９、Ｌ２は１６、Ｌ３は３２、Ｌ４は６４である方法。
【請求項８】
組織試料の上皮部分を同定するのに使用される上皮層検出器の畳み込みニューラルネットワーク計算機処理の１つまたは２つ以上のパラメータをトレーニングする方法であって、
１つまたは２つ以上の組織試料を少なくとも２つの染料で染色するステップと、
前記１つまたは２つ以上の組織試料をスキャンして、該１つまたは２つ以上の組織試料のカラー画像を生成するステップと、
各マスクが、複数の画像のうちの対応する１つの画像の各画素について、該画素が上皮層内または上皮層外であるのかを示すマスク群を生成するステップと、
前記組織試料の各画像に色変換計算機処理を適用して、前記画像を、各カラーチャネルの各画素が前記組織の対応する位置で対応する染料の推定濃度を示す色の濃さを持つカラーチャネルに分離するステップと、
個別の色組織画像群からトレーニングデータとして使用するパッチ群を選択することであって、各パッチは該パッチ群のすべての色組織画像からの画素の連続的収集を含み、いくつかのパッチは上皮層内に中心があり、その他のパッチは上皮層外に中心がある、パッチ群を選択するステップと、
計算機処理において、前記畳み込みニューラルネットワーク計算機処理のパラメータを任意の値に初期化するステップと、
前記畳み込みニューラルネットワーク計算機処理を前記パッチ群に反復して適用するステップと、
計算機処理において前記パラメータを調整し、前記畳み込みニューラルネットワーク計算機処理の予測と前記各パッチの正しいラベルとの間の一致を改善するステップとを含む方法。
【請求項９】
請求項８に記載の方法において、
前記色変換適用ステップが、
前記画像の各染料の主調色を推定して複数の染料色ベクトルを得ることと、
各画素の色と前記各染料色ベクトルとの間の相関関係を決定して前記各色組織画像内の対応する画素の色の濃さを得ることとによって行われる方法。
【請求項１０】
請求項９に記載の方法において、
前記少なくとも２つの染料はヘマトキシリンとエオシンとを含んでおり、
前記主調色推定ステップが、
前記各画素の重みがシアン・マジェンタ・イエロー色体系の該画素のシアン値に基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本シアン成分の推定を得ることと、
前記各画素の重みが前記推定された基本シアン成分を取り除いた後の重みの大きさに基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本マジェンタ成分の推定を得ることと、
前記基本シアン成分の推定から前記推定された基本マジェンタ成分を取り除き、前記複数の染料色ベクトルのうちの１つである、ヘマトキシリンの染料色ベクトルを得ることと、
前記推定された基本マジェンタ成分から前記推定された基本シアン成分を取り除き、前記複数の染料色ベクトルの他の１つである、エオシンの染料色ベクトルを得ることとによって行われる方法。
【請求項１１】
請求項８に記載の方法において、
前記パッチ群を選択するステップが無作為に行われる方法。
【請求項１２】
請求項８に記載の方法において、
前記パッチ群を選択するステップが、該パッチ群が内部上皮層および外部上皮層と等しい数を持つように行われる方法。
【請求項１３】
請求項８に記載の方法において、
前記パラメータ初期化ステップで初期化された前記パラメータが無作為に初期化される方法。
【請求項１４】
請求項８に記載の方法において、
前記畳み込みニューラルネットワーク計算機処理を適用するステップが逆伝播法を用いて行われる方法。
【請求項１５】
組織試料の上皮部分を自動的に同定する上皮層検出器であって、
色変換計算機処理を適用して、染色された組織試料のカラー画像を１つまたは２つ以上のカラーチャネルに分離する色変換装置と、
前記カラーチャネルに畳み込みニューラルネットワーク計算機処理を適用して、前記組織試料の各位置について、該位置が上皮層内または上皮層外であるのかどうかについての決定を得る畳み込みニューラルネットワーク装置とを有する検出器。
【請求項１６】
請求項１５に記載の検出器において、
前記色変換処理で生成されたカラーチャネルは染色チャネルである検出器。
【請求項１７】
請求項１６に記載の検出器において、
前記各カラー画像は複数の画素で形成されており、
前記色変換装置が、
前記画像の各染料の主調色を推定して複数の染料色ベクトルを得ることと、
各画素の色と前記各染料色ベクトルとの間の相関関係を決定して前記各色組織画像内の対応する画素の色の濃さを得ることとによって色変換処理を行う検出器。
【請求項１８】
請求項１７に記載の検出器において、
前記少なくとも２つの染料はヘマトキシリンとエオシンとを含んでおり、
前記主調色が、
前記各画素の重みがシアン・マジェンタ・イエロー色体系の該画素のシアン値に基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本シアン成分の推定を得ることと、
前記各画素の重みが前記推定された基本シアン成分を取り除いた後の重みの大きさに基づいている、前記各カラー画像内のすべての画素の加重平均を決定し、基本マジェンタ成分の推定を得ることと、
前記基本シアン成分の推定から前記推定された基本マジェンタ成分を取り除き、前記複数の染料色ベクトルのうちの１つである、ヘマトキシリンの染料色ベクトルを得ることと、
前記推定された基本マジェンタ成分から前記推定された基本シアン成分を取り除き、前記複数の染料色ベクトルの他の１つである、エオシンの染料色ベクトルを得ることとによって推定される検出器。
【請求項１９】
請求項１６に記載の検出器において、
Ｌ１、Ｌ２、Ｌ３、Ｌ４が正の整数であり、
前記畳み込みニューラルネットワーク装置が、
前記各カラーチャネルを、該チャネルに対して指定されたＬ１個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、前記Ｌ１個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ１個の特徴マップ層を生成することと、
第１の層からの前記Ｌ１個の特徴マップの各々の隣接値群を一緒に平均化して前記Ｌ１個の特徴マップの平均隣接値を生成し、その結果にトレーニングされた定数を掛け、前記Ｌ１個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ１個の特徴マップの第２の層を生成することと、
それらのＬ１個の特徴マップを、該特徴マップに対して指定されたＬ２個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、前記Ｌ２個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ２個の特徴マップの第３の層を生成することと、
前記Ｌ２個の特徴マップの各々の隣接値群を一緒に平均化して前記Ｌ２個の特徴マップの平均隣接値を生成し、その結果にトレーニングされた定数を掛け、前記Ｌ２個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ２個の特徴マップの第４の層を生成することと、
前記第４の層のＬ２個の特徴マップを、該特徴マップに対して指定されたＬ３個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、前記Ｌ３個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ３個の特徴マップの第５の層を生成することと、
前記第５の層のＬ３個の特徴マップを、該特徴マップに対して指定されたＬ４個のトレーニングされたカーネル群で畳み込み、同一の特徴マップに対応する結果を加算し、Ｌ４個の結果の各々にトレーニングされた定数を加算し、その結果を、非線形伝達関数を通して渡し、Ｌ４個の特徴マップの第６の層を生成することと、
前記第６の層のＬ４個の特徴マップの各々に第１のトレーニングされた重みを掛け、その結果を一緒に加算して第１の出力マップを生成することと、
前記第６の層のＬ４個の特徴マップの各々に第２のトレーニングされた重みを掛け、その結果を一緒に加算して第２の出力マップを生成することと、
前記第１の出力マップと第２の出力マップとを互いに比較して、どの位置が上皮層にあるかおよびどの位置が上皮層にないかを決定することとによって前記畳み込みニューラルネットワーク処理を行う検出器。
【請求項２０】
請求項１９に記載の検出器において、
前記畳み込みステップが各々５×５個のカーネルで行われる検出器。
【請求項２１】
請求項１９に記載の検出器において、
Ｌ１は９、Ｌ２は１６、Ｌ３は３２、Ｌ４は６４である検出器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公表番号】特表２０１１−５２７１７８（Ｐ２０１１−５２７１７８Ａ）
【公表日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１１−５１６８６９（Ｐ２０１１−５１６８６９）
【出願日】平成２１年７月２日（２００９．７．２）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０４９４８７
【国際公開番号】ＷＯ２０１０／００３０４４
【国際公開日】平成２２年１月７日（２０１０．１．７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５０４０８０６６３）エヌイーシー ラボラトリーズ アメリカ インク (68)
【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．
【Ｆターム（参考）】
【公表日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２１年７月２日（２００９．７．２）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０４９４８７
【国際公開番号】ＷＯ２０１０／００３０４４
【国際公開日】平成２２年１月７日（２０１０．１．７）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５０４０８０６６３）エヌイーシー ラボラトリーズ アメリカ インク (68)
【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．
【Ｆターム（参考）】
[ Back to top ]