改良された画像セグメンテーション方法
【課題】
【解決手段】画像内の各対象物を識別する改良された画像セグメンテーションアルゴリズムが提供される。画像のピクセルは画像の属性値範囲に基づいてソートされる。次いでこれらのピクセルは、属性値範囲の端点から始めて一づつラベルイメージに追加される。配置された対象物ごとに特徴が算出され、これらの特徴が所定の受入基準と照合される。合致した場合は、対象物が出力画像に出力される。ストップポイントに達するまで、ピクセルをラベルイメージに追加するステップ、生成された対象物の特徴を評価するステップ、対象物を出力するステップが繰り返される。
【解決手段】画像内の各対象物を識別する改良された画像セグメンテーションアルゴリズムが提供される。画像のピクセルは画像の属性値範囲に基づいてソートされる。次いでこれらのピクセルは、属性値範囲の端点から始めて一づつラベルイメージに追加される。配置された対象物ごとに特徴が算出され、これらの特徴が所定の受入基準と照合される。合致した場合は、対象物が出力画像に出力される。ストップポイントに達するまで、ピクセルをラベルイメージに追加するステップ、生成された対象物の特徴を評価するステップ、対象物を出力するステップが繰り返される。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、全体を参照して本明細書に組み込まれている２００５年１月１０日に出願された米国暫定出願第６０／６４２，１１０の優先権を主張し、この出願の非仮出願である。
【０００２】
本発明は一般に画像を解析する分野に関する。特に、本発明は新しい画像セグメンテーション方法に関する。
【背景技術】
【０００３】
病理学または細胞学では、自動化または半自動化された機器を利用して、細胞や細胞核の位置を特定し、測定することがしばしば所望されている。このような機器は調査やスクリーニングに利用されている。後者の一例は、パパニコロー試験（またはＰａｐ試験）による子宮頚がんのスクーリングである。これらの機器は、デジタル画像を取得および解析して、関心のある細胞を特定し、スライドを正常または疑わしいものに分類する。
【０００４】
デジタル画像内の対象物の解析では、対象物が画像の背景と区別されることが必要不可欠である。細胞または対象物を特徴づけるために、最初に対象物が特定されなければならない。デジタル画像内の対象物の特定する処理は、「セグメンテーション」として知られている。セグメンテーション技術では、様々な技術が、関心のある対象物を特定するのに用いられ、後続のコンピュータ解析により対象物を特徴づけることができる。例えば、細胞を含む画像のセグメンテーションにより、細胞核および／または細胞質の特定することができる。
【０００５】
画像内の対象物を特定および分類する課題に対する従来の解決方法は、様々な段階を含み、すなわち初めに、画像をセグメント化して対象物のバイナリマスクを生成し、次に、連結するピクセルのセットごとに、異なるラベルを割り当てることにより、このマスク内の対象物にラベルを付し、最後に、ラベルが付された対象物の様々な特徴を測定する。
【０００６】
画像をセグメント化するのに用いられる技術の一つは「閾値」である。この技術では、画像の輝度の閾値が選択され、画像内の各ピクセルがこの閾値と比較される。この閾値よりも高い輝度値のピクセルは背景ピクセルとみなされ、この閾値よりも低い値のピクセルは対象物のピクセルとみなされる。対象物を特定する閾値は、画像内の暗さの値の度数分布である画像のヒストグラムに基づいて選択される。閾値のアルゴリズムは、これらのヒストグラムを利用して単一の閾値を得ることができる。例えば、閾値は最も暗いピクセルと最も明るいピクセルとの間の中間にすることができる。代替的に、閾値を多量の「背景」ピクセルと非常に希な「対象物」ピクセルとの変曲点として選択してもよい。画像内の各対象物の理想的な閾値を見つけることは難しい課題である。単一の閾値はしばしば、画像全体で暗さの値が異なる複数の対象物には最適ではない。
【０００７】
閾値が選択され閾値処理が完了すると、「対象物」ピクセルは、画像内の対象物のバイナリマスクを形成できる。このマスク周囲の境界は、各対象物を表示するのに利用できる。この境界により対象物を正確に表示してもよいし、表示しなくてもよい。境界が特定された後に境界を明瞭にする多くの方法が開発されている。このような方法は、境界近くの暗さの情報、または階調度、曲率（curvature）、もしくは「円への近似(closeness to a circle)」などの制限を利用して境界を明瞭にしてもよい。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
現在知られている画像のセグメンテーションは、しばしば複雑で時間がかかる。これらの技術は、特に、特定された対象物とこの対象物の周りの背景とのコントラストが小さい場合に、セグメンテーション処理における高い精度を常に提供するのではない。したがって、現在のセグメンテーションアルゴリズムは、しばしば対象物を正確に特定できない。細胞画像の解析では、例えば、特定される境界が非常に大きくまたは非常に小さいために、細胞核が不正確にセグメント化されてしまう。これにより、偽陽性の事象（機器が正常な対象物を疑いがあるものと誤って判断する）または偽陰性の事象（機器が真に疑いのある対象物を見逃す）が起こり得る。
【０００９】
自動化されたイメージングおよび自動化されたイメージング装置、特に対象物の境界を正確に識別する改良されたセグメンテーションの必要性がある。
【００１０】
本発明の目的は、従来のセグメンテーション技術の正確な長所、特徴、および利点の総て、ならびにこれら以外のものを達成または実現することである。
【課題を解決するための手段】
【００１１】
本発明は画像内の各対象物を識別する方法を提供し、当該方法は、（ａ）前記画像の属性値範囲に基づいてピクセルをソートするステップと、（ｂ）ラベルイメージ内に対象物を配置するために、前記属性値範囲の端点から始めて、前記ソートされたピクセルを一つずつ「ラベルイメージ」に追加するステップと、（ｃ）前記対象物の特徴が所定の受入基準と合致する場合に、前記対象物を出力画像に出力するステップと、（ｄ）前記属性値範囲の別の端点を示すストップポイントに達するまで、ステップｂおよびｃを繰り返し実行するステップとを含む。
【００１２】
本発明は画像内の各対象物を識別するコンピュータ読み取り可能なプログラムコードが実装されたコンピュータ読み取り可能な媒体を具える製品を提供し、当該媒体は、（ａ）前記画像の属性値範囲に基づいてピクセルをソートするコンピュータ読み取り可能なプログラムコードと、（ｂ）ラベルイメージ内に対象物を配置するために、前記属性値範囲の端点から始めて、前記ソートされたピクセルを一つずつラベルイメージに追加するコンピュータ読み取り可能なプログラムコードと、（ｃ）前記対象物の特徴が所定の受入基準と合致する場合に、前記対象物を出力画像に出力するコンピュータ読み取り可能なプログラムコードと、（ｄ）前記属性値範囲の別の端点を示すストップポイントに達するまで、ステップｂおよびｃを繰り返し実行するコンピュータ読み取り可能なプログラムコードとを具える。
【００１３】
本発明は、複数の閾値の下に画像内の各対象物を識別する方法を提供し、当該方法は、（ａ）前記複数の閾値に対応するピクセルの属性値範囲に基づいてピクセルをソートするステップと、（ｂ）新しい対象物を生成しまたは古い対象物を更新するために、前記属性値範囲の端点から始めて、ピクセルを一つずつラベルイメージに追加するステップと、（ｃ）前記新しく生成された対象物および前記更新された古い対象物の特徴を算出するステップと、（ｄ）前記新しく生成された対象物および前記更新された古い対象物の算出された特徴を、所定の基準と照合するステップと、（ｅ）前記特徴が受入基準を満たす場合に、前記新しく生成された対象物および前記更新された古い対象物を出力画面に出力するステップと、（ｆ）ストップポイントに達するまで、ステップｂ−ｅを繰り返し実行するステップとを含み、前記ストップポイントは、前記値の範囲の別の端点、前記属性値内の背景ピクセルの値を示すポイント、または前記新しい対象物および前記更新された古い対象物に関係ないピクセルの値を示すポイントのうちのいずれかから選択される。
【発明を実施するための最良の形態】
【００１４】
本発明は好適な実施例により図示され説明されているが、本発明は多くの異なる構成で適用および提供してもよい。本発明の好適な実施例が図示され、ここに詳細に説明されているが、本開示は、本発明の原理や本発明の構成に関連する機能的な仕様を例示するものであり、図示されている実施例に本発明を限定する意図ではないと理解すべきである。当業者であれば、本発明の目的の範囲内において、他の多くの可能な変更例を想像できるであろう。
【００１５】
デジタル２次元画像内の対象物の境界を識別する改良された自動化画像セグメンテーション技術が、ここに記載されている。ここに記載されている画像セグメンテーシ技術は細胞核を識別するが、この技術自体は、生物学的な応用例における細胞質または組織構造、または回路基板上の異なる構成部材もしくは人工衛星画像の人工および自然の地形などの非生物学的な応用例における対象物などの、デジタル画像内の任意の対象物を識別するのに応用できる。この技術は、Ｘ線、ＣＡＴ（コンピューター断層撮影）スキャン、またはＭＲＩ（磁気共鳴像）などにより生成される３次元画像に拡大することができる。このような３次元画像の３次元ピクセル構成要素は「ボクセル」として知られている。ボクセルの集合物により、３次元の臓器や腫瘍を表わすことができる。
【００１６】
デジタル２次元画像は３次元の表面として考えることができ、高さは各ピクセルのグレーの値（即ち、輝度）で表わす。この表面の輪郭図（contour map）では、細胞核の識別は、特定の大きさの範囲内であって細胞核にとって十分な範囲内の輪郭を見つけることにより行うことができる。ある輪郭が別の輪郭に含まれる場合、２つの内の「より良い」方を選択すべきである。図１は、細胞群の細胞を複層にしたそのような「輪郭図」を示している。この画像の関心のある対象物は、連続したピクセルのセットである。
【００１７】
これらの輪郭の生成は、総ての可能な閾値において総ての対象物を生成するのに等しく、数学的に複雑で時間のかかる作業である。本来の解決手段は、各閾値で画像をセグメント化し、対象物にラベルを割り当て、対象物の特徴を測定し、最良の特徴を有する対象物を維持するだけで、「より良い」対象物のサブセットやスーパーセットである対象物を取り除くことであろう。この解決手段は非常に計算コストが高い。
【００１８】
図２は、本発明の一実施例による画像セグメンテーションアルゴリズムのステップを示し、以下のステップを実行することにより画像内で発見された各対象物を識別する。初めに、アルゴリズムは画像の属性値範囲に基づいてピクセルをソートする（ステップ２０２）。次いで、アルゴリズムはラベルイメージ内に対象物を配置するために、前記属性値範囲の端点から始めて、前記ソートされたピクセルを一つずつ「ラベルイメージ」に追加する（ステップ２０４）。ラベルイメージとは、明瞭な各対象物のピクセルに、固有の値または「ラベル」が割り当てられた画像である。また、初期値として使用される端点は、属性値範囲の最大値または最小値とすることができる。ピクセルは、限定しないが輝度、色相、または階調度（gradient）などの属性に基づいてソートすることができる。次いで、配置された対象物の特徴が所定の基準と比較される。対象物がこの基準と合致する場合、アルゴリズムはステップ２０６に示すように対象物を出力画像に出力する。また、ストップポイントがこの画像のために規定される。このストップポイントは、属性値範囲内のポイントを意味し、アルゴリズムはこのポイントで、ステップ２０４および２０６の繰り返し処理（ステップ２０８）を停止すべきである。このストップポイントは、属性値範囲の他方の端点であってもよい。一実施例では、このストップポイントは、属性値範囲内の背景ピクセルの値を示すポイントである。別の実施例では、ストップポイントは、配置された対象物に関連しないピクセルの値を示すポイントである。
【００１９】
図４は、本発明の一実施例による画像セグメンテーションアルゴリズムのステップを示している。ステップ４０２では、画像内のピクセルが画像の属性値範囲に基づいてソートされる。この属性値範囲は画像内の複数の閾値に対応する。この閾値は、使用される属性値のヒストグラムから決定される。ピクセルは、限定しないが輝度、色相、階調度などの属性に基づいてソートできる。また、ヒストグラムの索引付け（indexing）は、輝度、色相、階調度などにより行うことができる。各閾値で画像をセグメント化する代わりに、ステップ４０４に示すように、ソートされたピクセルが属性値範囲の端点から始めて一つずつ空のラベルイメージに追加され、処理中に新しい対象物が生成され、または古い対象物が更新される。この追加されたピクセルがラベルイメージに既に配置された別のピクセルまたは対象物（古い対象物）に隣接しない場合は、新しい対象物が生成される（図３ａ、３ｂ、および３ｅを参照）。追加されたピクセルが古い対象物に隣接する場合、このピクセルは古い対象物と連結され、古い対象物が更新される（図３ｃ、３ｄ、３ｆ、３ｇ、３ｈ、３ｉ、３ｊ、３ｋ、３ｍ、および３ｎを参照）。さらに、追加されたピクセルが２つの古い対象物を連結する場合、この２つの古い対象物は更新され、一つの対象物に統合される（図３ｌを参照）。ステップ４０６で、これらの新しいまたは更新された対象物の特徴が算出される。これらの特徴はステップ４０８で所定の受入基準と照合される。合致する場合（即ち、受入基準が満たされた場合）、（配置された細胞核を示す）新しいまたは更新された対象物が、ステップ４１０で出力画像に出力される。アルゴリズムは、ストップポイントに達するまでステップ４０４−４１０を繰り返し実行する（ステップ４１２）。閾値（即ち、属性値）の処理中はいつでも対象物を出力画面に出力できることに留意すべきである。また、このストップポイントは、属性値範囲の他方の端点であってもよい。一実施例では、このストップポイントは、属性値範囲内の背景のピクセル値を示すポイントである。別の実施例では、このストップポイントは、配置された対象物に関連しないピクセル値を示すポイントである。
【００２０】
アルゴリズムは、前述したステップで生成または更新された対象物をその特徴によって記録（track）する。また、対象物はラベルが割り当てられる（例えば、図３ａおよび３ｂを参照）。既存の対象物に接するピクセルが追加されたときは常に、当該対象物のラベルがそのピクセルに割り当てられ、当該対象物の特徴は、新しいピクセルが追加されたことを反映するために更新される（例えば、図３ｄおよび３ｇを参照）。２つの対象物を連結するピクセルが追加された場合、この２つの対象物のラベルおよび特徴は一つに統合される（例えば、図３ｌを参照）。図３ａ−３ｎは、どのようにピクセルが、初めは空欄であるマスク／ラベルイメージに一つずつ追加されるのか、どのようにラベルが必要に応じて各ピクセルに割り当てられるかを示している。
【００２１】
この方法を受けてアルゴリズムが設計され、特定の閾値内また所定の時間で画像を処理する間の画像のマスクと、この特定の閾値で発見される総ての対象物のラベルおよび特徴が記録される。しかしながら、これらのデータを閾値ごとに新たに生成する代わりに、アルゴリズムは先の閾値のデータを利用して構築される。これによりアルゴリズムの効率性を一層高める。
【００２２】
本発明の一実施例では、現在の閾値により算出された対象物の現在の特徴が、総ての閾値で算出されたこれまでの対象物の特徴よりも受入基準に合致する場合に限り、対象物が出力画像に出力される。より良い合致を確定するために、これまでに最も合致したデータが使用される。総ての閾値において総ての対象物の中から受入基準に最も合致する最適の対象物のセットを算出するために、ダイナミックプログラミングと呼ばれる方法が用いられる。このプログラムは、これまでに配置された対象物だけを利用して形成可能な最良の対象物のセットの記録（track）を保持しながら、閾値を一つずつ処理（pass）する。各対象物は、これまでに得た最良の状態を「記録している」。図５は、５つの異なる閾値における画像内の対象物の成長を示している。ある閾値で別々であった個々の対象物は、別の閾値で連結される。図の対象物はそれぞれ、それまでの最良の状態を「指し示している」。矢印の無い対象物は、対象物自体を指し示している（図示せず）。即ち、これらの対象物の現在の状態が、以前の状態のいずれよりも良いことを意味している。したがって、矢印が指し示す状態はこれまでに得た最良の状態を意味するため、矢印が指し示す状態と対象物の新しい状態とを比較するだけでよい。所定の閾値において２つの対象物が統合された場合、新たに統合された対象物の矢印は、統合された対象物を形成する２つの対象物のうちのより良い方を指し示す。
【００２３】
総ての閾値を処理する間、プログラムはこれまでに形成された対象物のセットのうちの最良の対象物を含む出力画像を維持する。対象物が、これまでに記録された最良の状態よりも優れている新しい状態に成長したときは必ず、更新された対象物が出力画像に表示される。図６は、対象物が成長するときの出力画像を示している。初めに、出力画像には第１の閾値の対象物が含まれる。次いで、出力画像には第１および第２の閾値の最良の対象物が含まれ、続いて第１から第３の閾値の最良の対象物が含まれ、これが繰り返される。最後に出力画像には、最良の対象物として記録された対象物であって、これ以後、より良い対象物によって退けられることのない総ての対象物が含まれる（図５と比較）。
【００２４】
したがって、対象物が受入基準と合致する場合に直接出力画像に出力する代わりに、アルゴリズムの一実施例のように、対象物の現在の状態と以前の状態とを比較して、条件付で対象物を出力することができる。
【００２５】
ここで説明されている本発明のアルゴリズムは、範囲や輪郭などの特徴に基づいて細胞核を識別し、円形の（circularity）受入基準を満たす対象物（範囲により分割される四角の輪郭）を受け入れるが、他の特徴および基準を用いて対象物を識別してもよい。受入基準は、特定のイメージングの応用例（生物学または非生物学）に応じて変更することができる。対象物が円形以外の受入基準に基づいて識別される場合は、その他の特徴を代わりに用いてもよい。慣性モーメント、離心率（eccentricity）、楕円形の長軸および短軸は、楕円形の適合度、周囲のピクセルとのコントラスト、グレーの値または最適な平均密度または標準偏差、およびテクスチャ特徴は、その他の特徴の例であり、これらは容易に測定でき、最良のセグメンテーションの受入基準を指定するのに用いることができる。また、その他の受入基準は、大きさ、形状、テクスチャ、色、濃度、コントラストなどを利用してもよい。複数の基準を組み合わせることにより、一の画像内の細胞核、異なる形状の細胞核、細胞質、細胞核または細胞質の「封入体」、およびクラスタ細胞などの異なる種類の対象物を同時に配置することができる。しかしながら、本発明はこれらの特徴または受入基準を使用することに限定されないと理解すべきである。
【００２６】
輪郭の妥当な近似だけが必要な場合、ピクセルが追加されたときの対象物の輪郭測定の更新は、そのピクセルに隣接する４つのピクセルのみを使用して行うことできる。したがって、ピクセルが「配置される」度に、どのように対象物の特徴を更新すべきか決定するために、この配置されたピクセルと当該ピクセルに隣接する４つのピクセルのみが調べられる。これらの４つの隣接するピクセルよりも多くのピクセルが影響を受けるのは、２つの対象物が統合されて、２つのうちの一方に他方のラベルが割り当てられるときだけである。しかしながら、統合処理を最適化することにより、アルゴリズムの実行時間をピクセルの数に比例した実行時間に直線的に近付けることができる。したがって、この輪郭の測定は、どのようにして対象物の特徴がこれまでの対象物から算出できるか示しており、即ち、アルゴリズムは、先の閾値のデータを利用して構築され、アルゴリズムの効率性を高めることができる。
【００２７】
別の実施例のように、楕円率（測定された目的物と、慣性マトリックスにより規定される楕円との比率）を特徴として使用して細胞核を識別することができる。楕円率に基づくセグメンテーションは、不規則な形状のアーティファクトから長い細胞核を区別できるため、より良いセグメンテーション結果となり得る。
【００２８】
このように、本発明のアルゴリズムは、画像セグメンテーションの処理時間を短縮し、関心がある潜在的な対象物を特定する時間のかかる事前の処理と第２の処理で目的物をより正確に規定するために関心のある領域を確定することを省略し、偽陰性のケースを最小限にするために暗さやコントラストを変更して画像を処理し、偽陰性のケースを最小限にするために異常なクラスターを有する画像を処理し、複数の受入基準を用いて単一の画像内の複数の対象物を同時に特定する、様々な改良を提供することがわかるだろう。
【００２９】
本発明のアルゴリズムは、領域拡大（region growing）アルゴリズムや能動輪郭（または「ｓｎａｋｅ」と呼ばれる）などのその他の公開された反復型画像解析技術とは異なることに留意すべきである。領域拡大アルゴリズムは、初めに画像を分割して多くの別々の領域（個々のピクセル、ピクセルの小さなグループ、同じグレーレベルの隣接するピクセル等）にすることにより機能する。次に領域は、この領域に接触しかつ同様の特徴を有する他の領域と統合することにより「拡大する」。これは通常、同じような領域の統合がそれ以上できなくなると中断する繰り返し処理である。この技術の目的は、最終的な領域のセットがセグメント化された対象物に一致することである。
【００３０】
本発明のセグメンテーションアルゴリズムでは、対象物が「成長」する方法が事前に規定されており、即ち成長が実行される唯一の経路があり、アルゴリズムは、対象物が当該経路に従って移り変わる（travel）ことに伴い変化する対象物の特徴を単に「監視する」だけである。測定された特徴は、いずれのピクセルが次に追加され、またはいずれの領域が統合されるかについて影響を与えない。画像を１回処理した後に、前記経路で観察された「最良の対象物」が報告される。
【００３１】
領域を拡大する技術では、領域の特徴によって、いずれの領域が拡大または統合されるかが決まる。領域拡大技術は、線形経路を探索する代わりに多くの枝を有する木を探索する。対象物の特徴は、いずれの枝を選択するかを決めるのに用いられる。通常は、画像に対して複数の経路が実行され、領域の最終的な状態が報告される。領域拡大アルゴリズムは、対象物により得た最良の状態を記憶するのではなく、むしろこのアルゴリズムは「バックアップ」をしてより良い状態を戻す。
【００３２】
「snake」と呼ばれる「能動輪郭」は、多角形または助変数方程式のいずれかにより表わされる対象物の輪郭であり、画像のオーバーレイである。能動輪郭画像解析技術では、これらの輪郭を「発展」させて、輪郭の形状や、これの下にある画像の対応部分を改良する。またこれは、さらに輪郭を発展させて改良することができないときに終了する繰り返し処理である。
【００３３】
本発明は、個々のピクセルを操作し、各ピクセルの直近のピクセルだけを利用して処理を行う。能動輪郭技術では、輪郭はピクセルではなく数学的関数により表わされる。本アルゴリズムと能動輪郭技術との違いは、領域拡大技術で記載した違いと同じである。
【００３４】
本発明のアルゴリズムと他のセグメンテーションアルゴリズムを区別する大きな違いは、他のアルゴリズムが、次に移動する方向を選択するために目的物の特徴を利用して、木やグラフにより最良の経路を探索する繰り返し処理を必要とすることである。これは、アルゴリズムが最良の可能な結果を得ると終了するバックトラッキングを必要とする場合がある。本アルゴリズムは、所定の線形経路を進み、途中の総ての「最良の」対象物を処理および記憶する。
【００３５】
さらに、本発明は、画像をセグメント化して対象物の配置する１以上の実装モジュールを含むコンピュータ読み取り可能なプログラムを具える製品を提供する。さらに、本発明は、本発明に関連する方法を実行するようにコンピュータに命令できるプログラムコードが記録された記憶媒体を具えるコンピュータプログラムコードベースの製品を含む。コンピュータの記録媒体は、限定しないが以下の記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、光学ディスク、ハードドライブ、フロッピーディスク、強誘電体メモリ、フラッシュメモリ、強磁性体メモリ、光学記憶装置、電荷連結素子、磁気または光学カード、スマートカード、ＥＥＰＲＯＭ、ＥＰＲＯＭ、ＲＡＭ、ＲＯＭ、ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ、または他の適切な静的または動的なメモリまたはデータ記憶装置を含む。
【００３６】
コンピュータプログラムコードベースの製品は、
ａ）画像の属性値範囲に基づいてピクセルをソートするステップと、
ｂ）ラベルイメージ内に対象物を配置するために、前記属性値範囲の端点から始めて、前記ソートされたピクセルを一つずつラベルイメージに追加するステップと、
ｃ）前記対象物の特徴が所定の受入基準と合致する場合に、前記対象物を出力画像に出力するステップと、
ｄ）前記属性値範囲の別の端点を示すストップポイントに達するまで、ステップ（ｂ）および（ｃ）を繰り返し実行するステップとを有するソフトウェアモジュールが実装される。
【００３７】
結論
改良された画像セグメンテーションの方法の効果的な実施例であるシステムおよび方法が、前述の実施例に示されている。様々な好適な実施例が説明および図示されているが、本発明はこのような開示により限定されることを意味するのでなく、むしろ、添付の請求項に規定するように、本発明の意図および目的の範囲内の総ての変更例を含むことを意図するものであると理解すべきである。例えば本発明は、ソフトウェア／プログラム、コンピュータの環境、特定のコンピュータのハードウェアにより限定されるべきではない。また、本発明のアルゴリズムは、画像の種類（生物学、非生物学、２次元、または３次元等）、画像内の閾値の数、画像内に配置される対象物の種類、または対象物を配置するのに用いられる特徴および受入基準により限定されるべきではない。
【図面の簡単な説明】
【００３８】
【図１】図１は、ある細胞群の細胞を複層にした輝度の「輪郭図」を示している。
【図２】図２は、本発明の一実施例による画像セグメンテーションアルゴリズムのステップを示している。
【図３】図３ａ−３ｎは、本発明の一実施例によるラベルイメージにピクセルを追加する処理を集合的に示している。
【図４】図４は、本発明の一実施例による画像セグメンテーションアルゴリズムのステップを示している。
【図５】図５は、本発明の一実施例による５つの異なる閾値によるある画像内の対象物の成長を示している。
【図６】図６は、本発明の一実施例による異なる閾値により配置された対象物を示す出力画像であり、対象物の最良の状態が維持されている。
【技術分野】
【０００１】
関連出願
本出願は、全体を参照して本明細書に組み込まれている２００５年１月１０日に出願された米国暫定出願第６０／６４２，１１０の優先権を主張し、この出願の非仮出願である。
【０００２】
本発明は一般に画像を解析する分野に関する。特に、本発明は新しい画像セグメンテーション方法に関する。
【背景技術】
【０００３】
病理学または細胞学では、自動化または半自動化された機器を利用して、細胞や細胞核の位置を特定し、測定することがしばしば所望されている。このような機器は調査やスクリーニングに利用されている。後者の一例は、パパニコロー試験（またはＰａｐ試験）による子宮頚がんのスクーリングである。これらの機器は、デジタル画像を取得および解析して、関心のある細胞を特定し、スライドを正常または疑わしいものに分類する。
【０００４】
デジタル画像内の対象物の解析では、対象物が画像の背景と区別されることが必要不可欠である。細胞または対象物を特徴づけるために、最初に対象物が特定されなければならない。デジタル画像内の対象物の特定する処理は、「セグメンテーション」として知られている。セグメンテーション技術では、様々な技術が、関心のある対象物を特定するのに用いられ、後続のコンピュータ解析により対象物を特徴づけることができる。例えば、細胞を含む画像のセグメンテーションにより、細胞核および／または細胞質の特定することができる。
【０００５】
画像内の対象物を特定および分類する課題に対する従来の解決方法は、様々な段階を含み、すなわち初めに、画像をセグメント化して対象物のバイナリマスクを生成し、次に、連結するピクセルのセットごとに、異なるラベルを割り当てることにより、このマスク内の対象物にラベルを付し、最後に、ラベルが付された対象物の様々な特徴を測定する。
【０００６】
画像をセグメント化するのに用いられる技術の一つは「閾値」である。この技術では、画像の輝度の閾値が選択され、画像内の各ピクセルがこの閾値と比較される。この閾値よりも高い輝度値のピクセルは背景ピクセルとみなされ、この閾値よりも低い値のピクセルは対象物のピクセルとみなされる。対象物を特定する閾値は、画像内の暗さの値の度数分布である画像のヒストグラムに基づいて選択される。閾値のアルゴリズムは、これらのヒストグラムを利用して単一の閾値を得ることができる。例えば、閾値は最も暗いピクセルと最も明るいピクセルとの間の中間にすることができる。代替的に、閾値を多量の「背景」ピクセルと非常に希な「対象物」ピクセルとの変曲点として選択してもよい。画像内の各対象物の理想的な閾値を見つけることは難しい課題である。単一の閾値はしばしば、画像全体で暗さの値が異なる複数の対象物には最適ではない。
【０００７】
閾値が選択され閾値処理が完了すると、「対象物」ピクセルは、画像内の対象物のバイナリマスクを形成できる。このマスク周囲の境界は、各対象物を表示するのに利用できる。この境界により対象物を正確に表示してもよいし、表示しなくてもよい。境界が特定された後に境界を明瞭にする多くの方法が開発されている。このような方法は、境界近くの暗さの情報、または階調度、曲率（curvature）、もしくは「円への近似(closeness to a circle)」などの制限を利用して境界を明瞭にしてもよい。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
現在知られている画像のセグメンテーションは、しばしば複雑で時間がかかる。これらの技術は、特に、特定された対象物とこの対象物の周りの背景とのコントラストが小さい場合に、セグメンテーション処理における高い精度を常に提供するのではない。したがって、現在のセグメンテーションアルゴリズムは、しばしば対象物を正確に特定できない。細胞画像の解析では、例えば、特定される境界が非常に大きくまたは非常に小さいために、細胞核が不正確にセグメント化されてしまう。これにより、偽陽性の事象（機器が正常な対象物を疑いがあるものと誤って判断する）または偽陰性の事象（機器が真に疑いのある対象物を見逃す）が起こり得る。
【０００９】
自動化されたイメージングおよび自動化されたイメージング装置、特に対象物の境界を正確に識別する改良されたセグメンテーションの必要性がある。
【００１０】
本発明の目的は、従来のセグメンテーション技術の正確な長所、特徴、および利点の総て、ならびにこれら以外のものを達成または実現することである。
【課題を解決するための手段】
【００１１】
本発明は画像内の各対象物を識別する方法を提供し、当該方法は、（ａ）前記画像の属性値範囲に基づいてピクセルをソートするステップと、（ｂ）ラベルイメージ内に対象物を配置するために、前記属性値範囲の端点から始めて、前記ソートされたピクセルを一つずつ「ラベルイメージ」に追加するステップと、（ｃ）前記対象物の特徴が所定の受入基準と合致する場合に、前記対象物を出力画像に出力するステップと、（ｄ）前記属性値範囲の別の端点を示すストップポイントに達するまで、ステップｂおよびｃを繰り返し実行するステップとを含む。
【００１２】
本発明は画像内の各対象物を識別するコンピュータ読み取り可能なプログラムコードが実装されたコンピュータ読み取り可能な媒体を具える製品を提供し、当該媒体は、（ａ）前記画像の属性値範囲に基づいてピクセルをソートするコンピュータ読み取り可能なプログラムコードと、（ｂ）ラベルイメージ内に対象物を配置するために、前記属性値範囲の端点から始めて、前記ソートされたピクセルを一つずつラベルイメージに追加するコンピュータ読み取り可能なプログラムコードと、（ｃ）前記対象物の特徴が所定の受入基準と合致する場合に、前記対象物を出力画像に出力するコンピュータ読み取り可能なプログラムコードと、（ｄ）前記属性値範囲の別の端点を示すストップポイントに達するまで、ステップｂおよびｃを繰り返し実行するコンピュータ読み取り可能なプログラムコードとを具える。
【００１３】
本発明は、複数の閾値の下に画像内の各対象物を識別する方法を提供し、当該方法は、（ａ）前記複数の閾値に対応するピクセルの属性値範囲に基づいてピクセルをソートするステップと、（ｂ）新しい対象物を生成しまたは古い対象物を更新するために、前記属性値範囲の端点から始めて、ピクセルを一つずつラベルイメージに追加するステップと、（ｃ）前記新しく生成された対象物および前記更新された古い対象物の特徴を算出するステップと、（ｄ）前記新しく生成された対象物および前記更新された古い対象物の算出された特徴を、所定の基準と照合するステップと、（ｅ）前記特徴が受入基準を満たす場合に、前記新しく生成された対象物および前記更新された古い対象物を出力画面に出力するステップと、（ｆ）ストップポイントに達するまで、ステップｂ−ｅを繰り返し実行するステップとを含み、前記ストップポイントは、前記値の範囲の別の端点、前記属性値内の背景ピクセルの値を示すポイント、または前記新しい対象物および前記更新された古い対象物に関係ないピクセルの値を示すポイントのうちのいずれかから選択される。
【発明を実施するための最良の形態】
【００１４】
本発明は好適な実施例により図示され説明されているが、本発明は多くの異なる構成で適用および提供してもよい。本発明の好適な実施例が図示され、ここに詳細に説明されているが、本開示は、本発明の原理や本発明の構成に関連する機能的な仕様を例示するものであり、図示されている実施例に本発明を限定する意図ではないと理解すべきである。当業者であれば、本発明の目的の範囲内において、他の多くの可能な変更例を想像できるであろう。
【００１５】
デジタル２次元画像内の対象物の境界を識別する改良された自動化画像セグメンテーション技術が、ここに記載されている。ここに記載されている画像セグメンテーシ技術は細胞核を識別するが、この技術自体は、生物学的な応用例における細胞質または組織構造、または回路基板上の異なる構成部材もしくは人工衛星画像の人工および自然の地形などの非生物学的な応用例における対象物などの、デジタル画像内の任意の対象物を識別するのに応用できる。この技術は、Ｘ線、ＣＡＴ（コンピューター断層撮影）スキャン、またはＭＲＩ（磁気共鳴像）などにより生成される３次元画像に拡大することができる。このような３次元画像の３次元ピクセル構成要素は「ボクセル」として知られている。ボクセルの集合物により、３次元の臓器や腫瘍を表わすことができる。
【００１６】
デジタル２次元画像は３次元の表面として考えることができ、高さは各ピクセルのグレーの値（即ち、輝度）で表わす。この表面の輪郭図（contour map）では、細胞核の識別は、特定の大きさの範囲内であって細胞核にとって十分な範囲内の輪郭を見つけることにより行うことができる。ある輪郭が別の輪郭に含まれる場合、２つの内の「より良い」方を選択すべきである。図１は、細胞群の細胞を複層にしたそのような「輪郭図」を示している。この画像の関心のある対象物は、連続したピクセルのセットである。
【００１７】
これらの輪郭の生成は、総ての可能な閾値において総ての対象物を生成するのに等しく、数学的に複雑で時間のかかる作業である。本来の解決手段は、各閾値で画像をセグメント化し、対象物にラベルを割り当て、対象物の特徴を測定し、最良の特徴を有する対象物を維持するだけで、「より良い」対象物のサブセットやスーパーセットである対象物を取り除くことであろう。この解決手段は非常に計算コストが高い。
【００１８】
図２は、本発明の一実施例による画像セグメンテーションアルゴリズムのステップを示し、以下のステップを実行することにより画像内で発見された各対象物を識別する。初めに、アルゴリズムは画像の属性値範囲に基づいてピクセルをソートする（ステップ２０２）。次いで、アルゴリズムはラベルイメージ内に対象物を配置するために、前記属性値範囲の端点から始めて、前記ソートされたピクセルを一つずつ「ラベルイメージ」に追加する（ステップ２０４）。ラベルイメージとは、明瞭な各対象物のピクセルに、固有の値または「ラベル」が割り当てられた画像である。また、初期値として使用される端点は、属性値範囲の最大値または最小値とすることができる。ピクセルは、限定しないが輝度、色相、または階調度（gradient）などの属性に基づいてソートすることができる。次いで、配置された対象物の特徴が所定の基準と比較される。対象物がこの基準と合致する場合、アルゴリズムはステップ２０６に示すように対象物を出力画像に出力する。また、ストップポイントがこの画像のために規定される。このストップポイントは、属性値範囲内のポイントを意味し、アルゴリズムはこのポイントで、ステップ２０４および２０６の繰り返し処理（ステップ２０８）を停止すべきである。このストップポイントは、属性値範囲の他方の端点であってもよい。一実施例では、このストップポイントは、属性値範囲内の背景ピクセルの値を示すポイントである。別の実施例では、ストップポイントは、配置された対象物に関連しないピクセルの値を示すポイントである。
【００１９】
図４は、本発明の一実施例による画像セグメンテーションアルゴリズムのステップを示している。ステップ４０２では、画像内のピクセルが画像の属性値範囲に基づいてソートされる。この属性値範囲は画像内の複数の閾値に対応する。この閾値は、使用される属性値のヒストグラムから決定される。ピクセルは、限定しないが輝度、色相、階調度などの属性に基づいてソートできる。また、ヒストグラムの索引付け（indexing）は、輝度、色相、階調度などにより行うことができる。各閾値で画像をセグメント化する代わりに、ステップ４０４に示すように、ソートされたピクセルが属性値範囲の端点から始めて一つずつ空のラベルイメージに追加され、処理中に新しい対象物が生成され、または古い対象物が更新される。この追加されたピクセルがラベルイメージに既に配置された別のピクセルまたは対象物（古い対象物）に隣接しない場合は、新しい対象物が生成される（図３ａ、３ｂ、および３ｅを参照）。追加されたピクセルが古い対象物に隣接する場合、このピクセルは古い対象物と連結され、古い対象物が更新される（図３ｃ、３ｄ、３ｆ、３ｇ、３ｈ、３ｉ、３ｊ、３ｋ、３ｍ、および３ｎを参照）。さらに、追加されたピクセルが２つの古い対象物を連結する場合、この２つの古い対象物は更新され、一つの対象物に統合される（図３ｌを参照）。ステップ４０６で、これらの新しいまたは更新された対象物の特徴が算出される。これらの特徴はステップ４０８で所定の受入基準と照合される。合致する場合（即ち、受入基準が満たされた場合）、（配置された細胞核を示す）新しいまたは更新された対象物が、ステップ４１０で出力画像に出力される。アルゴリズムは、ストップポイントに達するまでステップ４０４−４１０を繰り返し実行する（ステップ４１２）。閾値（即ち、属性値）の処理中はいつでも対象物を出力画面に出力できることに留意すべきである。また、このストップポイントは、属性値範囲の他方の端点であってもよい。一実施例では、このストップポイントは、属性値範囲内の背景のピクセル値を示すポイントである。別の実施例では、このストップポイントは、配置された対象物に関連しないピクセル値を示すポイントである。
【００２０】
アルゴリズムは、前述したステップで生成または更新された対象物をその特徴によって記録（track）する。また、対象物はラベルが割り当てられる（例えば、図３ａおよび３ｂを参照）。既存の対象物に接するピクセルが追加されたときは常に、当該対象物のラベルがそのピクセルに割り当てられ、当該対象物の特徴は、新しいピクセルが追加されたことを反映するために更新される（例えば、図３ｄおよび３ｇを参照）。２つの対象物を連結するピクセルが追加された場合、この２つの対象物のラベルおよび特徴は一つに統合される（例えば、図３ｌを参照）。図３ａ−３ｎは、どのようにピクセルが、初めは空欄であるマスク／ラベルイメージに一つずつ追加されるのか、どのようにラベルが必要に応じて各ピクセルに割り当てられるかを示している。
【００２１】
この方法を受けてアルゴリズムが設計され、特定の閾値内また所定の時間で画像を処理する間の画像のマスクと、この特定の閾値で発見される総ての対象物のラベルおよび特徴が記録される。しかしながら、これらのデータを閾値ごとに新たに生成する代わりに、アルゴリズムは先の閾値のデータを利用して構築される。これによりアルゴリズムの効率性を一層高める。
【００２２】
本発明の一実施例では、現在の閾値により算出された対象物の現在の特徴が、総ての閾値で算出されたこれまでの対象物の特徴よりも受入基準に合致する場合に限り、対象物が出力画像に出力される。より良い合致を確定するために、これまでに最も合致したデータが使用される。総ての閾値において総ての対象物の中から受入基準に最も合致する最適の対象物のセットを算出するために、ダイナミックプログラミングと呼ばれる方法が用いられる。このプログラムは、これまでに配置された対象物だけを利用して形成可能な最良の対象物のセットの記録（track）を保持しながら、閾値を一つずつ処理（pass）する。各対象物は、これまでに得た最良の状態を「記録している」。図５は、５つの異なる閾値における画像内の対象物の成長を示している。ある閾値で別々であった個々の対象物は、別の閾値で連結される。図の対象物はそれぞれ、それまでの最良の状態を「指し示している」。矢印の無い対象物は、対象物自体を指し示している（図示せず）。即ち、これらの対象物の現在の状態が、以前の状態のいずれよりも良いことを意味している。したがって、矢印が指し示す状態はこれまでに得た最良の状態を意味するため、矢印が指し示す状態と対象物の新しい状態とを比較するだけでよい。所定の閾値において２つの対象物が統合された場合、新たに統合された対象物の矢印は、統合された対象物を形成する２つの対象物のうちのより良い方を指し示す。
【００２３】
総ての閾値を処理する間、プログラムはこれまでに形成された対象物のセットのうちの最良の対象物を含む出力画像を維持する。対象物が、これまでに記録された最良の状態よりも優れている新しい状態に成長したときは必ず、更新された対象物が出力画像に表示される。図６は、対象物が成長するときの出力画像を示している。初めに、出力画像には第１の閾値の対象物が含まれる。次いで、出力画像には第１および第２の閾値の最良の対象物が含まれ、続いて第１から第３の閾値の最良の対象物が含まれ、これが繰り返される。最後に出力画像には、最良の対象物として記録された対象物であって、これ以後、より良い対象物によって退けられることのない総ての対象物が含まれる（図５と比較）。
【００２４】
したがって、対象物が受入基準と合致する場合に直接出力画像に出力する代わりに、アルゴリズムの一実施例のように、対象物の現在の状態と以前の状態とを比較して、条件付で対象物を出力することができる。
【００２５】
ここで説明されている本発明のアルゴリズムは、範囲や輪郭などの特徴に基づいて細胞核を識別し、円形の（circularity）受入基準を満たす対象物（範囲により分割される四角の輪郭）を受け入れるが、他の特徴および基準を用いて対象物を識別してもよい。受入基準は、特定のイメージングの応用例（生物学または非生物学）に応じて変更することができる。対象物が円形以外の受入基準に基づいて識別される場合は、その他の特徴を代わりに用いてもよい。慣性モーメント、離心率（eccentricity）、楕円形の長軸および短軸は、楕円形の適合度、周囲のピクセルとのコントラスト、グレーの値または最適な平均密度または標準偏差、およびテクスチャ特徴は、その他の特徴の例であり、これらは容易に測定でき、最良のセグメンテーションの受入基準を指定するのに用いることができる。また、その他の受入基準は、大きさ、形状、テクスチャ、色、濃度、コントラストなどを利用してもよい。複数の基準を組み合わせることにより、一の画像内の細胞核、異なる形状の細胞核、細胞質、細胞核または細胞質の「封入体」、およびクラスタ細胞などの異なる種類の対象物を同時に配置することができる。しかしながら、本発明はこれらの特徴または受入基準を使用することに限定されないと理解すべきである。
【００２６】
輪郭の妥当な近似だけが必要な場合、ピクセルが追加されたときの対象物の輪郭測定の更新は、そのピクセルに隣接する４つのピクセルのみを使用して行うことできる。したがって、ピクセルが「配置される」度に、どのように対象物の特徴を更新すべきか決定するために、この配置されたピクセルと当該ピクセルに隣接する４つのピクセルのみが調べられる。これらの４つの隣接するピクセルよりも多くのピクセルが影響を受けるのは、２つの対象物が統合されて、２つのうちの一方に他方のラベルが割り当てられるときだけである。しかしながら、統合処理を最適化することにより、アルゴリズムの実行時間をピクセルの数に比例した実行時間に直線的に近付けることができる。したがって、この輪郭の測定は、どのようにして対象物の特徴がこれまでの対象物から算出できるか示しており、即ち、アルゴリズムは、先の閾値のデータを利用して構築され、アルゴリズムの効率性を高めることができる。
【００２７】
別の実施例のように、楕円率（測定された目的物と、慣性マトリックスにより規定される楕円との比率）を特徴として使用して細胞核を識別することができる。楕円率に基づくセグメンテーションは、不規則な形状のアーティファクトから長い細胞核を区別できるため、より良いセグメンテーション結果となり得る。
【００２８】
このように、本発明のアルゴリズムは、画像セグメンテーションの処理時間を短縮し、関心がある潜在的な対象物を特定する時間のかかる事前の処理と第２の処理で目的物をより正確に規定するために関心のある領域を確定することを省略し、偽陰性のケースを最小限にするために暗さやコントラストを変更して画像を処理し、偽陰性のケースを最小限にするために異常なクラスターを有する画像を処理し、複数の受入基準を用いて単一の画像内の複数の対象物を同時に特定する、様々な改良を提供することがわかるだろう。
【００２９】
本発明のアルゴリズムは、領域拡大（region growing）アルゴリズムや能動輪郭（または「ｓｎａｋｅ」と呼ばれる）などのその他の公開された反復型画像解析技術とは異なることに留意すべきである。領域拡大アルゴリズムは、初めに画像を分割して多くの別々の領域（個々のピクセル、ピクセルの小さなグループ、同じグレーレベルの隣接するピクセル等）にすることにより機能する。次に領域は、この領域に接触しかつ同様の特徴を有する他の領域と統合することにより「拡大する」。これは通常、同じような領域の統合がそれ以上できなくなると中断する繰り返し処理である。この技術の目的は、最終的な領域のセットがセグメント化された対象物に一致することである。
【００３０】
本発明のセグメンテーションアルゴリズムでは、対象物が「成長」する方法が事前に規定されており、即ち成長が実行される唯一の経路があり、アルゴリズムは、対象物が当該経路に従って移り変わる（travel）ことに伴い変化する対象物の特徴を単に「監視する」だけである。測定された特徴は、いずれのピクセルが次に追加され、またはいずれの領域が統合されるかについて影響を与えない。画像を１回処理した後に、前記経路で観察された「最良の対象物」が報告される。
【００３１】
領域を拡大する技術では、領域の特徴によって、いずれの領域が拡大または統合されるかが決まる。領域拡大技術は、線形経路を探索する代わりに多くの枝を有する木を探索する。対象物の特徴は、いずれの枝を選択するかを決めるのに用いられる。通常は、画像に対して複数の経路が実行され、領域の最終的な状態が報告される。領域拡大アルゴリズムは、対象物により得た最良の状態を記憶するのではなく、むしろこのアルゴリズムは「バックアップ」をしてより良い状態を戻す。
【００３２】
「snake」と呼ばれる「能動輪郭」は、多角形または助変数方程式のいずれかにより表わされる対象物の輪郭であり、画像のオーバーレイである。能動輪郭画像解析技術では、これらの輪郭を「発展」させて、輪郭の形状や、これの下にある画像の対応部分を改良する。またこれは、さらに輪郭を発展させて改良することができないときに終了する繰り返し処理である。
【００３３】
本発明は、個々のピクセルを操作し、各ピクセルの直近のピクセルだけを利用して処理を行う。能動輪郭技術では、輪郭はピクセルではなく数学的関数により表わされる。本アルゴリズムと能動輪郭技術との違いは、領域拡大技術で記載した違いと同じである。
【００３４】
本発明のアルゴリズムと他のセグメンテーションアルゴリズムを区別する大きな違いは、他のアルゴリズムが、次に移動する方向を選択するために目的物の特徴を利用して、木やグラフにより最良の経路を探索する繰り返し処理を必要とすることである。これは、アルゴリズムが最良の可能な結果を得ると終了するバックトラッキングを必要とする場合がある。本アルゴリズムは、所定の線形経路を進み、途中の総ての「最良の」対象物を処理および記憶する。
【００３５】
さらに、本発明は、画像をセグメント化して対象物の配置する１以上の実装モジュールを含むコンピュータ読み取り可能なプログラムを具える製品を提供する。さらに、本発明は、本発明に関連する方法を実行するようにコンピュータに命令できるプログラムコードが記録された記憶媒体を具えるコンピュータプログラムコードベースの製品を含む。コンピュータの記録媒体は、限定しないが以下の記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、光学ディスク、ハードドライブ、フロッピーディスク、強誘電体メモリ、フラッシュメモリ、強磁性体メモリ、光学記憶装置、電荷連結素子、磁気または光学カード、スマートカード、ＥＥＰＲＯＭ、ＥＰＲＯＭ、ＲＡＭ、ＲＯＭ、ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ、または他の適切な静的または動的なメモリまたはデータ記憶装置を含む。
【００３６】
コンピュータプログラムコードベースの製品は、
ａ）画像の属性値範囲に基づいてピクセルをソートするステップと、
ｂ）ラベルイメージ内に対象物を配置するために、前記属性値範囲の端点から始めて、前記ソートされたピクセルを一つずつラベルイメージに追加するステップと、
ｃ）前記対象物の特徴が所定の受入基準と合致する場合に、前記対象物を出力画像に出力するステップと、
ｄ）前記属性値範囲の別の端点を示すストップポイントに達するまで、ステップ（ｂ）および（ｃ）を繰り返し実行するステップとを有するソフトウェアモジュールが実装される。
【００３７】
結論
改良された画像セグメンテーションの方法の効果的な実施例であるシステムおよび方法が、前述の実施例に示されている。様々な好適な実施例が説明および図示されているが、本発明はこのような開示により限定されることを意味するのでなく、むしろ、添付の請求項に規定するように、本発明の意図および目的の範囲内の総ての変更例を含むことを意図するものであると理解すべきである。例えば本発明は、ソフトウェア／プログラム、コンピュータの環境、特定のコンピュータのハードウェアにより限定されるべきではない。また、本発明のアルゴリズムは、画像の種類（生物学、非生物学、２次元、または３次元等）、画像内の閾値の数、画像内に配置される対象物の種類、または対象物を配置するのに用いられる特徴および受入基準により限定されるべきではない。
【図面の簡単な説明】
【００３８】
【図１】図１は、ある細胞群の細胞を複層にした輝度の「輪郭図」を示している。
【図２】図２は、本発明の一実施例による画像セグメンテーションアルゴリズムのステップを示している。
【図３】図３ａ−３ｎは、本発明の一実施例によるラベルイメージにピクセルを追加する処理を集合的に示している。
【図４】図４は、本発明の一実施例による画像セグメンテーションアルゴリズムのステップを示している。
【図５】図５は、本発明の一実施例による５つの異なる閾値によるある画像内の対象物の成長を示している。
【図６】図６は、本発明の一実施例による異なる閾値により配置された対象物を示す出力画像であり、対象物の最良の状態が維持されている。
【特許請求の範囲】
【請求項１】
画像内の各対象物を識別する方法において、当該方法が、
（ａ）前記画像の属性値範囲に基づいてピクセルをソートするステップと、
（ｂ）ラベルイメージ内に対象物を配置するために、前記属性値範囲の端点から始めて、前記ソートされたピクセルを一つずつラベルイメージに追加するステップと、
（ｃ）前記対象物の特徴が所定の受入基準と合致する場合に、前記対象物を出力画像に出力するステップと、
（ｄ）前記属性値範囲の別の端点を示すストップポイントに達するまで、ステップｂおよびｃを繰り返し実行するステップとを含むことを特徴とする方法。
【請求項２】
請求項１に記載の画像内の各対象物を識別する方法において、前記ピクセルは、属性値、輝度、色相、または階調度のうちのいずれかに基づいてソートされることを特徴とする方法。
【請求項３】
請求項１に記載の画像内の各対象物を識別する方法において、前記対象物は、ピクセルを一つずつラベルイメージに追加することにより配置され、新しい対象物または更新された古い対象物が生成されることを特徴とする方法。
【請求項４】
請求項３に記載の画像内の各対象物を識別する方法において、前記追加されたピクセルが前記ラベルイメージに既に配置された別のピクセルまたは対象物に隣接しない場合に、前記新しい対象物が生成されることを特徴とする方法。
【請求項５】
請求項３に記載の画像内の各対象物を識別する方法において、前記追加されたピクセルが既に存在する前記古い対象物に隣接する場合、または前記追加されたピクセルが、前記画像に既に存在する２つの古い対象物を連結する場合に、前記更新された古い対象物が生成されることを特徴とする方法。
【請求項６】
請求項１に記載の画像内の各対象物を識別する方法において、前記対象物はラベルが割り当てられ、当該ラベルは、追加されたピクセルごとに更新されることを特徴とする方法。
【請求項７】
請求項６に記載の画像内の各対象物を識別する方法において、前記対象物のラベルは、前に追加されたピクセルのラベルに基づいて生成されることを特徴する方法。
【請求項８】
請求項１に記載の画像内の各対象物を識別する方法において、前記対象物の特徴は、前にピクセルが追加された時に配置された対象物の特徴から算出されることを特徴とする方法。
【請求項９】
請求項１に記載の画像内の各対象物を識別する方法において、前記対象物は、前記ソートされたピクセルが追加されたときに算出された前記対象物の特徴が、前に追加された総てのピクセルの算出された前記対象物の特徴よりも前記受入基準とよく合致する場合にのみ、前記出力画像に出力されることを特徴とする方法。
【請求項１０】
請求項１に記載の画像内の各対象物を識別する方法において、前記方法が、生物学または非生物学の応用例の２次元または３次元の画像で実行されることを特徴とする方法。
【請求項１１】
請求項１０に記載の画像内の各対象物を識別する方法において、前記生物学の応用例の対象物は、細胞、細胞核、細胞質、細胞核もしくは細胞質の封入体、クラスタ細胞、またはＸ線、ＣＡＴスキャン、もしくは磁気共鳴像などの画像装置により生成される画像内の対象物のうちのいずれかであることを特徴とする方法。
【請求項１２】
請求項１０に記載の画像内の各対象物を識別する方法において、前記非生物学の応用例の対象物は、回路基板の構成部品、または人工衛星画像の人工もしくは自然の対象物のうちのいずれかであることを特徴とする方法。
【請求項１３】
請求項１に記載の画像内の各対象物を識別する方法において、前記特徴は、輪郭、範囲、慣性モーメント、離心率、楕円形の軸、楕円、楕円形の適合度、コントラスト、グレーの値、最適な平均密度、標準偏差、またはテクスチャのうちのいずれかであることを特徴とする方法。
【請求項１４】
請求項１に記載の画像内の各対象物を識別する方法において、前記受入基準は、大きさ、形状、テクスチャ、色、または密度のうちのいずれかであることを特徴とする方法。
【請求項１５】
請求項１に記載の画像内の各対象物を識別する方法において、当該方法は、複数の受入基準を用いて前記画像内の異なる種類の対象物を同時に識別することを特徴とする方法。
【請求項１６】
請求項１に記載の画像内の各対象物を識別する方法において、前記ストップポイントは、前記属性値範囲内の背景ピクセルを示すポイント、または前記配置された対象物に関連しないピクセルの値を示すポイントであることを特徴とする方法。
【請求項１７】
画像内の各対象物を識別するコンピュータ読み取り可能なプログラムコードが実装されたコンピュータ読み取り可能な媒体を具える製品において、当該媒体が、
前記画像の属性値範囲に基づいてピクセルをソートするコンピュータ読み取り可能なプログラムコードと、
ラベルイメージ内に対象物を配置するために、前記属性値範囲の端点から始めて、前記ソートされたピクセルを一つずつラベルイメージに追加するコンピュータ読み取り可能なプログラムコードと、
前記対象物の特徴が所定の受入基準と合致する場合に、前記対象物を出力画像に出力するコンピュータ読み取り可能なプログラムコードと、
前記属性値範囲の別の端点を示すストップポイントに達するまで、ステップｂおよびｃを繰り返し実行するコンピュータ読み取り可能なプログラムコードとを具えることを特徴とする製品。
【請求項１８】
請求項１７に記載の画像内の各対象物を識別するコンピュータ読み取り可能なプログラムコードが実装されたコンピュータ読み取り可能な媒体を具える製品において、前記ストップポイントが、前記属性値範囲内の背景ピクセルを示すポイント、または前記配置された対象物に関連しないピクセルの値を示すポイントであることを特徴とする製品。
【請求項１９】
複数の閾値の下に画像内の各対象物を識別する方法において、当該方法が、
ａ）前記複数の閾値に対応するピクセルの属性値範囲に基づいてピクセルをソートするステップと、
ｂ）新しい対象物を生成しまたは古い対象物を更新するために、前記属性値範囲の端点から始めて、ピクセルを一つずつラベルイメージに追加するステップと、
ｃ）前記新しく生成された対象物および前記更新された古い対象物の特徴を算出するステップと、
ｄ）前記新しく生成された対象物および前記更新された古い対象物の算出された特徴を、所定の基準と照合するステップと、
ｅ）前記特徴が受入基準を満たす場合に、前記新しく生成された対象物および前記更新された古い対象物を出力画面に出力するステップと、
ｆ）ストップポイントに達するまでステップｂ−ｅを繰り返し実行するステップとを含み、前記ストップポイントは、前記値の範囲の別の端点、前記属性値内の背景ピクセルの値を示すポイント、または前記新しい対象物および前記更新された古い対象物に関係ないピクセルの値を示すポイントのうちのいずれかから選択されることを特徴とする方法。
【請求項２０】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記ピクセルが、輝度、色相、または階調度のうちのいずれの属性値に基づいてソートされることを特徴とする方法。
【請求項２１】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記複数の閾値は、輝度、色相、または階調度といった属性値を用いて索引付けされたヒストグラムから決定されることを特徴とする方法。
【請求項２２】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記追加されたピクセルが、前記ラベルイメージに既に配置された別のピクセルまたは対象物に隣接しない場合に、前記新しい対象物が生成されることを特徴とする方法。
【請求項２３】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記追加されたピクセルが既に存在する前記古い対象物に隣接する場合、または前記追加されたピクセルが前記古い対象物のうちのいずれかを連結する場合に、前記更新された古い対象物が生成されることを特徴とする方法。
【請求項２４】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記方法が、生物学または非生物学の応用例の２次元または３次元の画像で実行されることを特徴とする方法。
【請求項２５】
請求項２４に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記生物学の応用例の対象物は、細胞、細胞核、細胞質、細胞核もしくは細胞質の封入体、クラスタ細胞、またはＸ線、ＣＡＴスキャン、もしくは磁気共鳴像などの画像装置により生成される画像内の対象物のうちのいずれかであることを特徴とする方法。
【請求項２６】
請求項２４に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記非生物学の応用例の対象物は、回路基板の構成部品、または人工衛星画像の人工もしくは自然の対象物のうちのいずれかであることを特徴とする方法。
【請求項２７】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記特徴は、輪郭、範囲、慣性モーメント、離心率、楕円形の軸、楕円、楕円形の適合度、コントラスト、グレーの値、最適な平均密度、標準偏差、またはテクスチャのうちのいずれかであることを特徴とする方法。
【請求項２８】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記受入基準は、大きさ、形状、テクスチャ、色、または密度のいずれかであることを特徴とする方法。
【請求項２９】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、当該方法は、複数の受入基準を用いて前記画像内の異なる種類の対象物を同時に識別することを特徴とする方法。
【請求項３０】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記生成された新しい対象物および前記更新された古い対象物はラベルが割り当てられ、当該ラベルは追加されたピクセルごとに更新されることを特徴とする方法。
【請求項３１】
請求項３０に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記ラベルは、前に追加されたピクセルのラベルに基づいて生成されることを特徴する方法。
【請求項３２】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記生成された新しい対象物および前記更新された古い対象物の特徴は、前にピクセルが追加された時に配置された対象物の特徴から算出されることを特徴とする方法。
【請求項３３】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記更新された古い対象物は、前記ソートされたピクセルが追加されたときに算出された前記更新された古い対象物の特徴が、前に追加された総てのピクセルの算出された前記更新された古い対象物の特徴よりも前記受入基準とよく合致する場合にのみ、前記出力画像に出力されることを特徴とする方法。
【請求項１】
画像内の各対象物を識別する方法において、当該方法が、
（ａ）前記画像の属性値範囲に基づいてピクセルをソートするステップと、
（ｂ）ラベルイメージ内に対象物を配置するために、前記属性値範囲の端点から始めて、前記ソートされたピクセルを一つずつラベルイメージに追加するステップと、
（ｃ）前記対象物の特徴が所定の受入基準と合致する場合に、前記対象物を出力画像に出力するステップと、
（ｄ）前記属性値範囲の別の端点を示すストップポイントに達するまで、ステップｂおよびｃを繰り返し実行するステップとを含むことを特徴とする方法。
【請求項２】
請求項１に記載の画像内の各対象物を識別する方法において、前記ピクセルは、属性値、輝度、色相、または階調度のうちのいずれかに基づいてソートされることを特徴とする方法。
【請求項３】
請求項１に記載の画像内の各対象物を識別する方法において、前記対象物は、ピクセルを一つずつラベルイメージに追加することにより配置され、新しい対象物または更新された古い対象物が生成されることを特徴とする方法。
【請求項４】
請求項３に記載の画像内の各対象物を識別する方法において、前記追加されたピクセルが前記ラベルイメージに既に配置された別のピクセルまたは対象物に隣接しない場合に、前記新しい対象物が生成されることを特徴とする方法。
【請求項５】
請求項３に記載の画像内の各対象物を識別する方法において、前記追加されたピクセルが既に存在する前記古い対象物に隣接する場合、または前記追加されたピクセルが、前記画像に既に存在する２つの古い対象物を連結する場合に、前記更新された古い対象物が生成されることを特徴とする方法。
【請求項６】
請求項１に記載の画像内の各対象物を識別する方法において、前記対象物はラベルが割り当てられ、当該ラベルは、追加されたピクセルごとに更新されることを特徴とする方法。
【請求項７】
請求項６に記載の画像内の各対象物を識別する方法において、前記対象物のラベルは、前に追加されたピクセルのラベルに基づいて生成されることを特徴する方法。
【請求項８】
請求項１に記載の画像内の各対象物を識別する方法において、前記対象物の特徴は、前にピクセルが追加された時に配置された対象物の特徴から算出されることを特徴とする方法。
【請求項９】
請求項１に記載の画像内の各対象物を識別する方法において、前記対象物は、前記ソートされたピクセルが追加されたときに算出された前記対象物の特徴が、前に追加された総てのピクセルの算出された前記対象物の特徴よりも前記受入基準とよく合致する場合にのみ、前記出力画像に出力されることを特徴とする方法。
【請求項１０】
請求項１に記載の画像内の各対象物を識別する方法において、前記方法が、生物学または非生物学の応用例の２次元または３次元の画像で実行されることを特徴とする方法。
【請求項１１】
請求項１０に記載の画像内の各対象物を識別する方法において、前記生物学の応用例の対象物は、細胞、細胞核、細胞質、細胞核もしくは細胞質の封入体、クラスタ細胞、またはＸ線、ＣＡＴスキャン、もしくは磁気共鳴像などの画像装置により生成される画像内の対象物のうちのいずれかであることを特徴とする方法。
【請求項１２】
請求項１０に記載の画像内の各対象物を識別する方法において、前記非生物学の応用例の対象物は、回路基板の構成部品、または人工衛星画像の人工もしくは自然の対象物のうちのいずれかであることを特徴とする方法。
【請求項１３】
請求項１に記載の画像内の各対象物を識別する方法において、前記特徴は、輪郭、範囲、慣性モーメント、離心率、楕円形の軸、楕円、楕円形の適合度、コントラスト、グレーの値、最適な平均密度、標準偏差、またはテクスチャのうちのいずれかであることを特徴とする方法。
【請求項１４】
請求項１に記載の画像内の各対象物を識別する方法において、前記受入基準は、大きさ、形状、テクスチャ、色、または密度のうちのいずれかであることを特徴とする方法。
【請求項１５】
請求項１に記載の画像内の各対象物を識別する方法において、当該方法は、複数の受入基準を用いて前記画像内の異なる種類の対象物を同時に識別することを特徴とする方法。
【請求項１６】
請求項１に記載の画像内の各対象物を識別する方法において、前記ストップポイントは、前記属性値範囲内の背景ピクセルを示すポイント、または前記配置された対象物に関連しないピクセルの値を示すポイントであることを特徴とする方法。
【請求項１７】
画像内の各対象物を識別するコンピュータ読み取り可能なプログラムコードが実装されたコンピュータ読み取り可能な媒体を具える製品において、当該媒体が、
前記画像の属性値範囲に基づいてピクセルをソートするコンピュータ読み取り可能なプログラムコードと、
ラベルイメージ内に対象物を配置するために、前記属性値範囲の端点から始めて、前記ソートされたピクセルを一つずつラベルイメージに追加するコンピュータ読み取り可能なプログラムコードと、
前記対象物の特徴が所定の受入基準と合致する場合に、前記対象物を出力画像に出力するコンピュータ読み取り可能なプログラムコードと、
前記属性値範囲の別の端点を示すストップポイントに達するまで、ステップｂおよびｃを繰り返し実行するコンピュータ読み取り可能なプログラムコードとを具えることを特徴とする製品。
【請求項１８】
請求項１７に記載の画像内の各対象物を識別するコンピュータ読み取り可能なプログラムコードが実装されたコンピュータ読み取り可能な媒体を具える製品において、前記ストップポイントが、前記属性値範囲内の背景ピクセルを示すポイント、または前記配置された対象物に関連しないピクセルの値を示すポイントであることを特徴とする製品。
【請求項１９】
複数の閾値の下に画像内の各対象物を識別する方法において、当該方法が、
ａ）前記複数の閾値に対応するピクセルの属性値範囲に基づいてピクセルをソートするステップと、
ｂ）新しい対象物を生成しまたは古い対象物を更新するために、前記属性値範囲の端点から始めて、ピクセルを一つずつラベルイメージに追加するステップと、
ｃ）前記新しく生成された対象物および前記更新された古い対象物の特徴を算出するステップと、
ｄ）前記新しく生成された対象物および前記更新された古い対象物の算出された特徴を、所定の基準と照合するステップと、
ｅ）前記特徴が受入基準を満たす場合に、前記新しく生成された対象物および前記更新された古い対象物を出力画面に出力するステップと、
ｆ）ストップポイントに達するまでステップｂ−ｅを繰り返し実行するステップとを含み、前記ストップポイントは、前記値の範囲の別の端点、前記属性値内の背景ピクセルの値を示すポイント、または前記新しい対象物および前記更新された古い対象物に関係ないピクセルの値を示すポイントのうちのいずれかから選択されることを特徴とする方法。
【請求項２０】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記ピクセルが、輝度、色相、または階調度のうちのいずれの属性値に基づいてソートされることを特徴とする方法。
【請求項２１】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記複数の閾値は、輝度、色相、または階調度といった属性値を用いて索引付けされたヒストグラムから決定されることを特徴とする方法。
【請求項２２】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記追加されたピクセルが、前記ラベルイメージに既に配置された別のピクセルまたは対象物に隣接しない場合に、前記新しい対象物が生成されることを特徴とする方法。
【請求項２３】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記追加されたピクセルが既に存在する前記古い対象物に隣接する場合、または前記追加されたピクセルが前記古い対象物のうちのいずれかを連結する場合に、前記更新された古い対象物が生成されることを特徴とする方法。
【請求項２４】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記方法が、生物学または非生物学の応用例の２次元または３次元の画像で実行されることを特徴とする方法。
【請求項２５】
請求項２４に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記生物学の応用例の対象物は、細胞、細胞核、細胞質、細胞核もしくは細胞質の封入体、クラスタ細胞、またはＸ線、ＣＡＴスキャン、もしくは磁気共鳴像などの画像装置により生成される画像内の対象物のうちのいずれかであることを特徴とする方法。
【請求項２６】
請求項２４に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記非生物学の応用例の対象物は、回路基板の構成部品、または人工衛星画像の人工もしくは自然の対象物のうちのいずれかであることを特徴とする方法。
【請求項２７】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記特徴は、輪郭、範囲、慣性モーメント、離心率、楕円形の軸、楕円、楕円形の適合度、コントラスト、グレーの値、最適な平均密度、標準偏差、またはテクスチャのうちのいずれかであることを特徴とする方法。
【請求項２８】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記受入基準は、大きさ、形状、テクスチャ、色、または密度のいずれかであることを特徴とする方法。
【請求項２９】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、当該方法は、複数の受入基準を用いて前記画像内の異なる種類の対象物を同時に識別することを特徴とする方法。
【請求項３０】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記生成された新しい対象物および前記更新された古い対象物はラベルが割り当てられ、当該ラベルは追加されたピクセルごとに更新されることを特徴とする方法。
【請求項３１】
請求項３０に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記ラベルは、前に追加されたピクセルのラベルに基づいて生成されることを特徴する方法。
【請求項３２】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記生成された新しい対象物および前記更新された古い対象物の特徴は、前にピクセルが追加された時に配置された対象物の特徴から算出されることを特徴とする方法。
【請求項３３】
請求項１９に記載の複数の閾値の下に画像内の各対象物を識別する方法において、前記更新された古い対象物は、前記ソートされたピクセルが追加されたときに算出された前記更新された古い対象物の特徴が、前に追加された総てのピクセルの算出された前記更新された古い対象物の特徴よりも前記受入基準とよく合致する場合にのみ、前記出力画像に出力されることを特徴とする方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公表番号】特表２００８−５２７５４６（Ｐ２００８−５２７５４６Ａ）
【公表日】平成２０年７月２４日（２００８．７．２４）
【国際特許分類】
【出願番号】特願２００７−５５０５４５（Ｐ２００７−５５０５４５）
【出願日】平成１８年１月１０日（２００６．１．１０）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０００７２６
【国際公開番号】ＷＯ２００６／０７６３１２
【国際公開日】平成１８年７月２０日（２００６．７．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５０７１３００１５）サイテック コーポレイション (18)
【Ｆターム（参考）】
【公表日】平成２０年７月２４日（２００８．７．２４）
【国際特許分類】
【出願日】平成１８年１月１０日（２００６．１．１０）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０００７２６
【国際公開番号】ＷＯ２００６／０７６３１２
【国際公開日】平成１８年７月２０日（２００６．７．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５０７１３００１５）サイテック コーポレイション (18)
【Ｆターム（参考）】
[ Back to top ]