画像データセット内のオブジェクトをセグメント化する方法及びシステム
【課題】画像及び画像体積のセグメンテーションを形成する新しい改善された方法及びシステムを提供すること。
【解決手段】オブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化する方法において、オブジェクトの１つ又は複数の先行インスタンスによって張られた部分空間内でオブジェクトの１つ又は複数の先行インスタンスからの特性のノンパラメトリック推定量を求め、前記画像データセットを条件とするベイズ式に前記１つ又は複数のプライアのノンパラメトリック推定量を課し、前記ベイズ式を最適化するレベルセット法を実行することにより前記画像データセット内のオブジェクトのセグメンテーションを選択する。
【解決手段】オブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化する方法において、オブジェクトの１つ又は複数の先行インスタンスによって張られた部分空間内でオブジェクトの１つ又は複数の先行インスタンスからの特性のノンパラメトリック推定量を求め、前記画像データセットを条件とするベイズ式に前記１つ又は複数のプライアのノンパラメトリック推定量を課し、前記ベイズ式を最適化するレベルセット法を実行することにより前記画像データセット内のオブジェクトのセグメンテーションを選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本願明細書に参照として取り入れられた２００５年４月１９日出願のアメリカ合衆国仮出願第６０／６７２，６４９号の便益を主張するものである。
【０００２】
本発明はディジタル画像を処理するシステム及び方法に関する。より詳細には、画像内の関心対象をその画像内オブジェクトの背景から分離する画像セグメンテーションに関する。
【背景技術】
【０００３】
セグメンテーションは画像処理において頻繁に遭遇する問題である。セグメンテーションは、さらなる処理のために器官又は腫瘍のようなオブジェクトを画像から抽出することが要求される医用撮像において特に重要である。
【０００４】
利用できるセグメンテーションプロセスは多く、多様である。すべてのセグメンテーションプロセスの有効性は、画像データの品質、用途、及び他の多くの要因にしたがって変化する。
【０００５】
医用撮像データにおけるセグメンテーションは特に難しい。この分野では、膨大な量のデータがセグメンテーションを困難にしている。さらに、医用撮像装置から得られる画像データの品質はつねに最適というわけではない。その上、セグメンテーションは診断又は治療計画の指針として使用されるので、セグメンテーションの品質は一般に非常に重要である。
【特許文献１】アメリカ合衆国特許出願公開第２００５／０１６９５３３号
【非特許文献１】V. Caselles, F. Catte, T. Coll, and F. Dibos, "A geometric model for active contours in image processing", Numer. Math., 66:1-31, 1993
【非特許文献２】T. F. Chan and L. A. Vese, "Active contours without edges", IEEE Trans. Image Processing, 10(2):266-277, 2001
【非特許文献３】D. Cremers, S. J. Osher, and S. Soatto, "Kernel density estimation and intrinsic alignment for knowledge-driven segmentation: Teaching level sets to walk", Pattern Recognition, volume 3175 of LNCS, pp.36-44, Springer, 2004
【非特許文献４】E. B. Dam, F. T. Fletcher, S. Pizer, C. Tracton, and J. Roseman, "Prostate shape modeling based on principal geodesic analysis bootstrapping", MICCAI, volume 2217 of LNCS, pp.1008-1016, September 2004
【非特許文献５】Dervieux and F. Thomasset, "A finite element method for the simulation of Raleigh-Taylor instability", Springer Lect. Notes in Math. 771, pp.145-158, 1979
【非特許文献６】D. Freedman, R. J. Radke, T. Zhang, Y. Jeong, D. M. Lovelock, and G. T. Chen, "Model-based segmentation of medical imagery by matching distributions", IEEE Trans Med Imaging, 24(3):281-292, March 2005
【非特許文献７】S. Kichenassamy, A. Kumar, P. J. Giver, A. Tannenbaum, and A. J. Yezzi, "Gradient flows and geometric active contour models", Proc. IEEE Intl. Conf. on Comp. Vis, pp.810-815, Boston, USA, 1995
【非特許文献８】M. Leventon, W. Crimson, and O. Faugeras, "Statistical shape influence in geodesic active contours", CVPR, volume1, pp.316-323, Hilton Head Island, SC, 2000
【非特許文献９】R. Malladi, J. A. Sethian, and B. C. Vemuri, "A topology independent shape modeling scheme", SPIE Conference on Geometric Methods in Computer Vision II, volume 2031, pp.246-258, 1994
【非特許文献１０】S. J. Osher and J. A. Sethian, "Fronts propagation with curvature dependent speed: Algorithms based on Hamilton-Jacobi formulation", J. of Comp. Phys.79, pp.12-49, 1988
【非特許文献１１】N. Paragois and R. Deriche, "Geodesic active regions and level set methods for supervised texture segmentation", Int. J. of Computer Vision, 46(3):223-247, 2002
【非特許文献１２】F. Rosenblatt, "Remarks on some nonparametric estimates of a density function", Annals of Mathematical Statistics, 27:832-837, 1956
【非特許文献１３】M. Rousson, N. Paragois, and R. Deriche, "Implicit active shape models for 3rd segmentation in MRI imaging", MICCAI, pp.209-216, 2004
【非特許文献１４】B. W. Silverman, "Density estimation for statistics and data analysis", Chapman and Hall, London, 1992
【非特許文献１５】A. Tsai, A. J. Yezzi, and A. S. Willsky, "A shape-based approach to the segmentation of medical imagery using level sets", IEEE Trans. on Medical Imaging, 22(2):137-154, 2003
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の課題は、画像及び画像体積のセグメンテーションを形成する新しい改善された方法及びシステムを提供することである。
【課題を解決するための手段】
【０００７】
上記課題は、オブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化する方法において、オブジェクトの１つ又は複数の先行インスタンスによって張られた部分空間内でオブジェクトの１つ又は複数の先行インスタンスからの特性のノンパラメトリック推定値を求め、前記画像データセットを条件とするベイズ式に前記１つ又は複数のプライアのノンパラメトリック推定値を課し、前記ベイズ式を最適化するレベルセット法を実行することにより前記画像データセット内のオブジェクトのセグメンテーションを選択するようにすることにより解決される。
【０００８】
同様に、上記課題は、オブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化するシステムにおいて、プロセッサと、該プロセッサ上で動作するコンピュータソフトウェアが含まれており、前記コンピュータソフトウェアが、オブジェクトの１つ又は複数の先行インスタンスによって張られた部分空間内でオブジェクトの１つ又は複数の先行インスタンスからの特性のノンパラメトリック推定値を求めること、前記画像データセットを条件とするベイズ式に前記１つ又は複数のプライアのノンパラメトリック推定値を課すこと、及び、前記ベイズ式を最適化するレベルセット方法を実行することにより前記画像データセット内のオブジェクトのセグメンテーションを選択することができるように構成することにより解決される。
【発明を実施するための最良の形態】
【０００９】
本発明は、オブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化する方法を提供する。本発明の１つの側面によれば、オブジェクトの１つ又は複数の先行インスタンスによって張られた部分空間内でオブジェクトの１つ又は複数の先行インスタンスからの特性のノンパラメトリック推定値を求めるステップ、前記画像データセットを条件とするベイズ式に１つ又は複数のプライアの前記ノンパラメトリック推定値を課すステップ、及び、前記ベイズ式を最適化するレベルセット法を実行することにより前記画像データセット内のオブジェクトのセグメンテーションを選択するステップが含まれる。
【００１０】
特性は輝度であってよい。また、形状であってもよい。オブジェクトの１つ又は複数の先行インスタンスからの特性は、オブジェクトの各先行インスタンスに関連した特性の平均値に基づいていてよい。オブジェクトの１つ又は複数の先行インスタンスからの特性は、距離関数に基づいていてもよい。前記式はエネルギー関数であってよい。オブジェクトの１つ又は複数の先行インスタンスからの特性は、平行移動と回転とに対して不変としてよい。オブジェクトの１つ又は複数の先行インスタンスからの特性は、カーネル密度のような密度関数に基づいていてもよい。
【００１１】
前記式は、
【００１２】
【数１】
であってよい。
【００１３】
本発明の１つの側面は、レベルセットセグメンテーションを用い、かつ、セグメント化すべき画像の事前知識を課す効率的な画像セグメンテーション法を提供することである。
【００１４】
本発明の別の側面は、低次元ＰＣＡに基づいた（主成分分析に基づいた）方法の効率性をノンパラメトリック統計形状モデルの正確性と結び付けた統計的形状プライアを提供することである。
【００１５】
本発明のさらに別の側面は、画像内オブジェクトの統計的特性の推定方法を提供することである。
【００１６】
本発明の別の側面は、ノンパラメトリックなレベルセットセグメンテーションのための距離関数を提供することである。
【００１７】
本発明のさらに別の側面は、オブジェクトの形状分布をカーネル密度推定によりモデル化することである。
【００１８】
本発明の別の側面は、学習したプライアのベイズ推論としてのレベルセットセグメンテーション法を提供することである。
【００１９】
本発明の別の側面は、学習したプライアの以前に観察した輝度分布のカーネル密度推定により得られた確率的輝度モデルを用いて、画像内輝度情報を最適に利用する方法を提供することである。
【００２０】
本発明のさらに別の側面は、本発明の複数の側面を統合することにより、知識駆動レベルセットセグメンテーションのための方法を提供することである。
【実施例】
【００２１】
レベルセット法ははじめ界面を経時的に伝播させる手段として提案された。例えば、非特許文献５及び引用文献１０を参照のこと。
【００２２】
レベルセット法は画像セグメンテーションの枠組みとしてますます普及してきている。基本的なアイデアは、画像領域Ω⊂Ｒ３の界面Γ⊂Ωを陰的に埋込み関数φ：Ｒ３→Ωのゼロレベルセット：
Γ＝｛ｘ∈Ω｜φ（ｘ）＝０｝ （１）
として表し、適切な偏微分方程式に従って埋込み関数φを伝播させることによりΓを発展させることである。画像セグメンテーションの目的でこのレベルセット形式を適用することは、非特許文献１、非特許文献９、及び、非特許文献７で初めて提案された。陽的な界面伝播と比べた場合の２つの基本的な利点は、特定のパラメータ表現に依存しないこと、ならびに、陰的に表された境界Γがスプリッティングやマージングのようなトポロジカルな変化を受けることができることである。これにより、この枠組みは複数のオブジェクト又は多重連結オブジェクトのセグメンテーションに適したものになる。レベルセットオブジェクトセグメント化法に形状の事前知識を含め、画像内オブジェクトを検出するために確率的な事前知識を課す１つの手法は、特許文献１に記載されており、この特許文献は全体的に本願明細書に参照として取り込まれている。次に、レベルセット法の簡単な説明を与える。
【００２３】
本発明におけるセグメンテーションは、好ましくは、フローに従って界面（例えば、曲線）を発展させるレベルセット法により行われる。曲線の伝播を決定するフローは、エネルギー関数のような目的関数を最小化することを通して再現することができる。レベルセットによる表現を導入するためには、曲線の法線方向（例えば、曲率）における所与の運動方程式に従って発展するパラメトリック曲線を考える。このフローはラグランジュ法を用いることで実現することができる。輪郭は基準点の選択により離散的な形で表される。曲線の位置は、曲線と各基準点に関する曲線の動きを記述する方程式を解くことにより更新することができる。一般的には、このような手法では発展する曲線のトポロジーを変化させることはできず、発展する曲線の再パラメトライズが必要になる場合がある。レベルセット法ははじめ流体力学の分野に導入されたが、イメージング、ビジョン、及びグラフィックスにおけるさまざまな応用をうまく処理する新興技術である。レベルセット法は発展する曲線を表面のゼロレベルによって表す。このような表現は陰的かつ内在的であり、パラメータ不要である。知識ベースの形状駆動セグメンテーション法は、プライアモデルと比べて、整合的な幾何学的形をもった構造を再現することを目的としている。プライアのモデル化は形状駆動の大域的制約の導入として必要とされる。これは一連のトレーニング実例から関心構造の表象を抽出することに等しい。表象の選択は導入されるプライアの形に関係している。モデル化は形状駆動セグメンテーション技法の重要な側面である。本開示の１つの実施形態によれば、知識ベースの形状駆動オブジェクト抽出のためのレベルセット法における事前知識を明らかにする定式化が実施される。オブジェクトは確率的な距離関数を用いて表される。プライアモデルにより形成される形状の族に属する画像平面内の幾何学的構造を探し出すために、ベイズ流にセグメンテーションプロセスへの制約が課される。
【００２４】
医用画像をセグメント化するには、一般に、雑音、欠損、又は紛らわしい画像情報を扱わなければならない。超音波又はＣＴのような或る撮像方式の場合、関心構造は輝度分布の点で背景とあまり異ならない。このことの図解例が図１に示されている。したがって、画像情報のみに基づいてオブジェクトを正確にセグメント化することはできない。それゆえ、近年、研究者達はレベルセット法を統計的形状プライアによって強化することを提案している。トレーニング形状の集合が与えられれば、どのセグメンテーションが事前に多少なりとも尤もらしいかについての情報を課すことができる。このような事前形状情報は、雑音や吸蔵が存在する場合のセグメンテーション結果を劇的に改善することが示されている。例えば、非特許文献８、非特許文献１５、非特許文献３、非特許文献１３、非特許文献４、及び、非特許文献６を参照のこと。これらの手法のほとんどは、符号付き距離関数により符号化されたトレーニング形状がガウス分布を形成するという仮定に基づいている。これには２つの欠点がある：第１に、符号付き距離関数の空間は線形空間ではないため、平均形状ならびに固有モードの線形結合は一般にもはや符号付き距離関数ではない。第２に、たとえ前記空間が線形空間であっても、サンプル形状の任意の集合がガウス密度に従って分布すべき理由が明らかでない。実際、本発明の１つの側面として示されるように、サンプル形状は一般にガウス分布しない。最近では、トレーニング形状の非線形分布をモデル化するために、レベルセット関数空間におけるノンパラメトリック密度推定［３］が提案されている（非線形という用語は、許容される形状の集合が単に線形部分空間でないという事実を指している）。これは上記の欠点を解消するものであるが、無限次元最適化の問題のために、低次元部分空間（初めのいくつかの固有モードにより形成される）における作業効率が犠牲になる。
【００２５】
図１の画像１０１は心臓超音波画像を示している。画像１０２は、左心室の内側及び外側の輝度の経験的確率に相応したヒストグラムを示している。画像１０３は前立腺ＣＴを示し、画像１０４は前立腺の内側及び外側の輝度の経験的確率に相応したヒストグラムを示している。オブジェクトと背景が類似したヒストグラムを有しているため、これらの構造の領域ベースのセグメンテーションは難しい問題である。
【００２６】
本発明では、知識駆動セグメンテーション方法及びシステムのための枠組みが提供される。この枠組みは、本発明の１つの側面によれば、レベルセット法に基づいている。この枠組みは、本発明の別の側面によれば、３つの寄与を統合したものである：第１に、この枠組みは、低次元ＰＣＡベースの方法の効率性をノンパラメトリック統計形状モデルの正確性と結び付ける統計的形状プライアを提供する。主要な側面は、すべてのトレーニングデータを埋め込むのに十分な大きさの線形部分空間内でカーネル密度推定を行うことである。第２に、よりデータ駆動な形でポーズを推定し、パラメータを変換するための方法が提供される。第３に、以前に観察された輝度分布のカーネル密度推定により得られる確率的輝度モデルを用いることにより、画像内輝度情報が最適利用される。以下に、本発明が提供する方法によるオブジェクトの効率的なセグメンテーションを実証する実例を示す。
【００２７】
ベイズ推論としてのレベルセットセグメンテーション
レベルセットセグメンテーションの目的は、画像Ｉ：Ω→Ｒが与えられたときに、最適な埋込み関数φ：Ω→Ｒを推定することとして定式化することができる。ベイズ流の枠組みでは、これは事後分布
Ｐ（φ｜Ｉ）∝Ｐ（Ｉ｜φ）Ｐ（φ） （２）
を最大化することによって計算することができる。（２）の最大化は無限次元最適化の問題に帰着する。符号付き距離関数｛φｉ｝ｉ＝１．．．Ｎにより符号化されたトレーニング形状の集合が与えられたとして、Ｔｓａｉ他は、最適化問題をトレーニング形状により張られた有限次元部分空間に制限することにより、セグメンテーション問題を有限次元最適化のうちの１つに還元することを提案した。非特許文献１５を参照のこと。
【００２８】
本発明では、埋込み関数のこのコンパクトな表現が有用である。d２(φ１,φ２)＝∫Ω((φ１(x)−φ２(x))２dxで定義される符号付き距離関数の空間における距離ｄが与えられたとき、本発明は一連のトレーニング形状を平行移動と回転とに関して整列させる。続いて、レベルセット関数φを、
【００２９】
【数２】
パラメータベクトルα＝（α１，…，αｎ）が形状の変形をモデル化する一方で、パラメータｈ∈Ｒ３及びθ∈[0,2π]３はそれぞれの形状の平行移動と回転をモデル化する。プライア又はトレーニングオブジェクトの推定は部分空間内で行われる。ここで、部分空間とは、プライアが占める全空間は本発明の１つの側面によればステップにおいて使用されないということを意味している。部分空間は全空間のＮ次元よりも低いｎ次元で張られる。
【００３０】
したがって、（２）における無限次元ベイズ推論の問題は、形状パラメータαと変換パラメータｈ及びθとに関して条件付き確率
Ｐ（α，ｈ，θ｜Ｉ）∝Ｐ（Ｉ｜α，ｈ，θ）Ｐ（α，ｈ，θ） （４）
の最適化された有限次元ベイズ推論に還元される。以下では、これらの変換パラメータ上で一様なプライアが仮定される、すなわち、Ｐ（α，ｈ，θ）＝Ｐ（α）。次の節では、この形状プライアをモデル化する本発明の１つの側面として、３つの解決法を提示する。
【００３１】
効率的なノンパラメトリック統計形状モデル
整列されたトレーニング形状の集合{φｉ}ｉ＝１．．．Ｎが与えられれば、各トレーニング形状は相応する形状ベクトル{αｉ}ｉ＝１．．．Ｎによって表すことができる。この表記法では、統計的形状学習の目標はこれらのサンプル形状から統計的分布Ｐ（α）を推論することである。今までに提案された２つの解決法は、トレーニング形状は一様分布Ｐ（α）＝ｃｏｎｓｔ．で近似することができる（非特許文献１５，非特許文献１３）、又はガウス分布
【００３２】
【数３】
で近似することができる（非特許文献８を参照のこと）という仮定に基づいている。
【００３３】
本発明では、線形部分空間内で形状分布を近似するために、ノンパラメトリック密度推定が使用される。非特許文献１２を参照のこと。本発明はカーネル密度推定
【００３４】
【数４】
【００３５】
レベルセットに基づいた画像セグメンテーションのコンテクストでは、カーネル密度推定量（６）は一様分布とガウス分布とに比べて２つの利点を有している：
・一様分布又はガウス分布の仮定は一般には満たされない。このことは図３においてサンプル形状の一連のシルエットに関して示されている。他方で、カーネル密度推定量は任意の分布を近似することが知られている。穏やかな仮定の下では、無限のサンプルサイズという極限において真の分布に集束することが示されている。（非特許文献１４を参照のこと）。
・符号付き距離関数の空間は線形空間でないことが知られている。したがって、平均形状φ０も（３）におけるような固有モードの線形結合も一般には符号付き距離関数ではない。その結果、一様分布又はガウス分布にとって好都合な関数φ（ｘ）が符号付き距離関数であると期待することができない。他方で、カーネル密度推定量（６）はサンプル形状ベクトルαｉの近傍にある形状ベクトルαにとって好都合である。構成上、これらのベクトルは符号付き距離関数に相当する。実際、無限のサンプルサイズという極限においては、カーネル密度推定量（６）により推論される分布は符号付き距離関数の集合上での分布に収束する。
【００３６】
図２は、Ｒ３内の２次元部分空間を張るサンプルデータの集合の場合について、３つの方法を概略的にプロットしたものである。明らかに、カーネル密度推定量が最も正確に分布を捉えている。暗い陰影はそれぞれのモデルの確率密度の高い領域を示している。カーネル密度推定量は分布の形状についての特定の仮定に依存していないため、トレーニングデータに比較的に柔軟に順応する。図２において、画像２０１は一様密度の密度推定プロットを示し、画像２０２はガウス分布の密度推定プロットを示し、画像２０３はカーネル密度の密度推定プロットを示している。図３は、歩行者の一連のシルエットについて計算された推定形状密度の３Ｄ投影を示したものである。画像３０３及び３０４には、３０３における一様密度及び３０４におけるカーネル密度の測地線に沿ったサンプリングによる形状モーフィングが示されている。これらは、カーネル密度推定量が最も正確に妥当な形状の分布を捉えていることを示している。図３の画像３０１は４９個のトレーニング形状のうち６つを示している。図３の画像３０２は推定された（４８次元）形状分布の等値面の３Ｄ投影を示している。後者は明らかに一様分布でもガウス分布でもない。図３の画像３０３及び３０４は、画像３０３における一様分布と画像３０４におけるカーネル分布とにより生じた測地線に沿った２つのサンプル形状の間のモーフィングを示している。一様分布の場合のモーフィングでは、脚が消えてはまた現れ、腕の動きが捉えられていない。非線形サンプリングはより現実的な中間的形状を提供する。人間のシルエットが選択されているのは、分析される大抵の医学的構造よりもはっきりとした形状の可変性を示すという理由からである。
【００３７】
形状学習からの類推で、（４）における輝度関数Ｉに関して、類例から条件付き確率を学習するカーネル密度推定が使用される。混合モデルによる輝度分布の同様の事前計算は、非特許文献１１において提案されている。事前にセグメント化されたトレーニング画像の集合が与えられると、オブジェクトと背景の輝度分布ｐｉｎとｐｏｕｔのカーネル密度推定が、相応する平滑化された輝度ヒストグラムによって与えられる。これには２つの利点がある：第１に、カーネル密度推定量は分布の形状についての特定の仮定に依存していない。図１は、超音波画像とＣＴ画像の輝度分布がガウス分布又はラプラス分布によってはうまく近似されないことを示している。第２に、輝度分布の同時推定（非特許文献２）に比べて、これはセグメンテーションプロセスを単純化し、もはや輝度モデルの更新を必要としない。さらに、多くの実験において、セグメンテーションプロセスが初期化に対してよりロバストになることが分かった。
【００３８】
エネルギーによる定式化と最小化
（２）における事後確率の最大化、又は同じことだが（２）における事後確率の負の対数の最小化は、任意の画像の最も蓋然性の高いセグメンテーションを生じさせる。上で紹介した形状と輝度とに関するノンパラメトリックモデルを用いれば、このことは
Ｅ（α，ｈ，θ）＝−ｌｏｇＰ（Ｉ｜α，ｈ，θ）−ｌｏｇＰ（α） （７）
という形のエネルギーに導く。ノンパラメトリック輝度モデルは第１項を表現することができ、式（６）は正確に第２項を与える。へヴィサイドの階段関数Ｈと簡略記法Ｈφ＝Ｈ（φα，ｈ，θ（ｘ））を用いれば、次のようになる：
【００３９】
【数５】
すべての方程式において、ディラックのデルタ関数δは画像領域Ω上の積分項の中に因数として現れている。これにより、すべての計算をφのゼロ交叉の周りの狭帯域に制限することができる。平行移動及びポーズパラメータｈ及びθの発展は単にデータ項ｅ（ｘ）によって駆動されるにすぎないが、形状ベクトルαはさらに、それぞれの形状までの距離に応じて指数関数的に減少する力で各トレーニング形状に向かって引かれる。
【００４０】
実験結果と検証
本発明の方法を医用画像内の種々のオブジェクトのセグメンテーションに適用した。これは本発明の方法を説明に役立ち、また本発明の方法の妥当性を確証するであろう。説明例は超音波画像からの心臓のセグメンテーションと３ＤＣＴ画像からの前立腺のセグメンテーションに属する。
【００４１】
超音波画像からの心臓のセグメンテーション
図４は、手動でセグメント化した２１個のトレーニング画像から形成された形状プライアを用いた２Ｄ心臓超音波シーケンスにおける左心室のセグメンテーションに関して得られた実験結果を示している。一様プライアを用いたセグメンテーション（図４の画像４０２）とは対照的に、ノンパラメトリック統計形状プライアによればセグメンテーションを正確に制限することが可能である（図４の画像４０３）。これはデータ項があまりに弱いエリアにおいて特に顕著となる。定量的な評価として、我々は正しく分類されたオブジェクトピクセルのパーセンテージと誤って分類されたオブジェクトピクセルのパーセンテージを計算した。エネルギー最小化の間、カーネルプライアを使用することにより、偽陽性のパーセンテージが２７％から２．７％に低下するとともに、正しく分類されたオブジェクトピクセルのパーセンテージが５６％から９０％に上昇した。一様プライアを使用した場合には、９２％は正しく分類されたが、偽陽性のパーセンテージは４２％に上昇した。単に境界の発展をトレーニング形状により張られた線形部分空間に制限するだけでは、正確なセグメンテーション結果を得るには不十分である。
【００４２】
３ＤＣＴ画像からの前立腺のセグメンテーション
もう１つの説明例として、異なる２人の患者から収集した手動で（精嚢とともに）抽出された１２個の前立腺画像を用いた前立腺のノンパラメトリック３Ｄ形状モデルを展開した。図５はこの同じモデルを用いた２人の患者の前立腺セグメンテーションを示している。２つの画像から成る列５０１，５０２，５０３，及び５０４の各々は、第１の患者（左の２つの列５０１及び５０２）と第２の患者（最後の２つの列５０３及び５０４）とについて、同じセグメンテーションの冠状スライスと軸方向スライスを示している。第１の列５０１はまた手動セグメンテーション（黒い輪郭）も示している。既存の研究とは対照的に、続いて我々は異なる複数の患者からの画像のセグメンテーションのために単一の形状モデルを使用した。我々はトレーニング段階から関心画像を取り出すことによりleave-one-out法を用いた。図６はこの戦略を用いて得られた幾つかの結果の２Ｄ断面図を示している。図６はカーネルプライア（白線）を用いて得られたセグメンテーションと代替的手法を用いて得られたセグメンテーション（黒線）を示している。器官内での１クリック初期化とともに、本発明の方法は２０秒未満で定常状態解に至った。我々は分類に成功した８６％の器官ボクセルと誤って分類された１１％の器官ボクセルを得た。これは、非特許文献６において報告されている患者内結果に比べて有利である。
【００４３】
図５は、形状分布の一様近似及びガウス近似により得られたセグメンテーションとの定性的比較とともに、手動セグメンテーションとの定性的比較も提供している。
【００４４】
トレーニングデータの集合によって張られた線形部分空間内でのノンパラメトリック密度推定に基づいたレベルセットセグメンテーションのために、効率的で正確な統計的形状プライアを形成し適用するための方法を示した。加えて、本発明の諸側面である提示されたセグメンテーション法は、輝度分布のノンパラメトリック推定とポーズ及び平行移動パラメータの効率的な最適化を利用している。本発明の妥当性を検証する心臓超音波画像と前立腺の３ＤＣＴ画像に対するセグメンテーションの精度及び速度の例示的な定量的評価がここに示されている。示された例は、提案されたノンパラメトリック形状プライアがレベルセットセグメンテーションのためにかつて提案された形状プライアよりも性能が優れていることを示している。
【００４５】
図７は本発明の１つの側面の概要を示している。セグメンテーションプロセスの第１のステップは、レベルセット法の観点から画像を記述することを可能にするノンパラメトリックモデルを形成することである。本発明において使用されるモデルは、形状分布のノンパラメトリック近似としてのカーネル密度推定である。次のステップ７０２は一連のプライアの形状の学習を伴う。その際、事前にセグメント化されたトレーニング画像のカーネル密度推定値は、平滑化された輝度ヒストグラムにより与えられる。ステップ７０３では、セグメント化すべき画像のカーネル密度推定値が形成される。ステップ７０４では、ベイズ流にＥ（α，ｈ，θ）＝−ｌｏｇＰ（Ｉ｜α，ｈ，θ）−ｌｏｇＰ（α）と表現しうるエネルギー関数Ｅ（α，ｈ，θ）が得られる。ステップ７０４で得られたエネルギー式の最小化の事後確率を最大化することにより、最も蓋然性の高いセグメンテーション（プライヤに似た）が得られる。
【００４６】
本発明の一部であるセグメンテーション法は図８に示されているシステムにより実行することができる。このシステムには、先行画像だけでなくセグメント化すべき画像も表すデータ８０１が供給される。本発明の方法を用いて学習及びセグメンテーションの方法を実行する命令セット又はプログラム８０２が供給され、プロセッサ８０３内のデータと結合される。プロセッサ８０３はデータ８０１に適用される８０２の命令を処理し、ディスプレイ８０４にセグメント化された画像を表示することができる。プロセッサは専用ハードウェア、ＧＰＵ、ＣＰＵ、又は、８０２の命令を実行することのできる他の任意の計算デバイスであってよい。マウスやトラックボール又は他の入力デバイスのような入力デバイス８０５により、ユーザは初期オブジェクトを選択し、セグメンテーションプロセスを開始することができる。したがって、図８に示されたシステムは、レベルセット法ならびに形状プライヤ及び輝度プライアを使用して画像からオブジェクトをセグメント化するインタラクティブなシステムを提供する。
【００４７】
本明細書では、ピクセルなる用語への言及はいずれもボクセルへの言及とも見なされる。
【００４８】
以上に、有利な実施形態に適用された本発明の新奇な基本的特徴を示し、説明し、指摘してきたが、当業者には、本発明の趣旨から逸脱することなく、さまざまな省略、置換、及び、図示された装置の形状及び詳細ならびに動作の変更が可能であることは理解されるであろう。それゆえ、添付された請求項の範囲によって示されている通りにのみ限定されることが意図されている。
【図面の簡単な説明】
【００４９】
【図１】関連する輝度グラフとともに医用画像を示す。
【図２】種々の密度グラフを示す。
【図３】線形形状補間の効果と非線形形状補間の効果を対比して示す。
【図４】種々のプライアモデルの効果を示す。
【図５】オブジェクトセグメンテーションの画像を示す。
【図６】オブジェクトセグメンテーションのさらなる画像を示す。
【図７】本発明の１つの側面に従った本発明の方法を示す。
【図８】画像セグメンテーションシステムのダイアグラムを示す。
【技術分野】
【０００１】
本発明は、本願明細書に参照として取り入れられた２００５年４月１９日出願のアメリカ合衆国仮出願第６０／６７２，６４９号の便益を主張するものである。
【０００２】
本発明はディジタル画像を処理するシステム及び方法に関する。より詳細には、画像内の関心対象をその画像内オブジェクトの背景から分離する画像セグメンテーションに関する。
【背景技術】
【０００３】
セグメンテーションは画像処理において頻繁に遭遇する問題である。セグメンテーションは、さらなる処理のために器官又は腫瘍のようなオブジェクトを画像から抽出することが要求される医用撮像において特に重要である。
【０００４】
利用できるセグメンテーションプロセスは多く、多様である。すべてのセグメンテーションプロセスの有効性は、画像データの品質、用途、及び他の多くの要因にしたがって変化する。
【０００５】
医用撮像データにおけるセグメンテーションは特に難しい。この分野では、膨大な量のデータがセグメンテーションを困難にしている。さらに、医用撮像装置から得られる画像データの品質はつねに最適というわけではない。その上、セグメンテーションは診断又は治療計画の指針として使用されるので、セグメンテーションの品質は一般に非常に重要である。
【特許文献１】アメリカ合衆国特許出願公開第２００５／０１６９５３３号
【非特許文献１】V. Caselles, F. Catte, T. Coll, and F. Dibos, "A geometric model for active contours in image processing", Numer. Math., 66:1-31, 1993
【非特許文献２】T. F. Chan and L. A. Vese, "Active contours without edges", IEEE Trans. Image Processing, 10(2):266-277, 2001
【非特許文献３】D. Cremers, S. J. Osher, and S. Soatto, "Kernel density estimation and intrinsic alignment for knowledge-driven segmentation: Teaching level sets to walk", Pattern Recognition, volume 3175 of LNCS, pp.36-44, Springer, 2004
【非特許文献４】E. B. Dam, F. T. Fletcher, S. Pizer, C. Tracton, and J. Roseman, "Prostate shape modeling based on principal geodesic analysis bootstrapping", MICCAI, volume 2217 of LNCS, pp.1008-1016, September 2004
【非特許文献５】Dervieux and F. Thomasset, "A finite element method for the simulation of Raleigh-Taylor instability", Springer Lect. Notes in Math. 771, pp.145-158, 1979
【非特許文献６】D. Freedman, R. J. Radke, T. Zhang, Y. Jeong, D. M. Lovelock, and G. T. Chen, "Model-based segmentation of medical imagery by matching distributions", IEEE Trans Med Imaging, 24(3):281-292, March 2005
【非特許文献７】S. Kichenassamy, A. Kumar, P. J. Giver, A. Tannenbaum, and A. J. Yezzi, "Gradient flows and geometric active contour models", Proc. IEEE Intl. Conf. on Comp. Vis, pp.810-815, Boston, USA, 1995
【非特許文献８】M. Leventon, W. Crimson, and O. Faugeras, "Statistical shape influence in geodesic active contours", CVPR, volume1, pp.316-323, Hilton Head Island, SC, 2000
【非特許文献９】R. Malladi, J. A. Sethian, and B. C. Vemuri, "A topology independent shape modeling scheme", SPIE Conference on Geometric Methods in Computer Vision II, volume 2031, pp.246-258, 1994
【非特許文献１０】S. J. Osher and J. A. Sethian, "Fronts propagation with curvature dependent speed: Algorithms based on Hamilton-Jacobi formulation", J. of Comp. Phys.79, pp.12-49, 1988
【非特許文献１１】N. Paragois and R. Deriche, "Geodesic active regions and level set methods for supervised texture segmentation", Int. J. of Computer Vision, 46(3):223-247, 2002
【非特許文献１２】F. Rosenblatt, "Remarks on some nonparametric estimates of a density function", Annals of Mathematical Statistics, 27:832-837, 1956
【非特許文献１３】M. Rousson, N. Paragois, and R. Deriche, "Implicit active shape models for 3rd segmentation in MRI imaging", MICCAI, pp.209-216, 2004
【非特許文献１４】B. W. Silverman, "Density estimation for statistics and data analysis", Chapman and Hall, London, 1992
【非特許文献１５】A. Tsai, A. J. Yezzi, and A. S. Willsky, "A shape-based approach to the segmentation of medical imagery using level sets", IEEE Trans. on Medical Imaging, 22(2):137-154, 2003
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の課題は、画像及び画像体積のセグメンテーションを形成する新しい改善された方法及びシステムを提供することである。
【課題を解決するための手段】
【０００７】
上記課題は、オブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化する方法において、オブジェクトの１つ又は複数の先行インスタンスによって張られた部分空間内でオブジェクトの１つ又は複数の先行インスタンスからの特性のノンパラメトリック推定値を求め、前記画像データセットを条件とするベイズ式に前記１つ又は複数のプライアのノンパラメトリック推定値を課し、前記ベイズ式を最適化するレベルセット法を実行することにより前記画像データセット内のオブジェクトのセグメンテーションを選択するようにすることにより解決される。
【０００８】
同様に、上記課題は、オブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化するシステムにおいて、プロセッサと、該プロセッサ上で動作するコンピュータソフトウェアが含まれており、前記コンピュータソフトウェアが、オブジェクトの１つ又は複数の先行インスタンスによって張られた部分空間内でオブジェクトの１つ又は複数の先行インスタンスからの特性のノンパラメトリック推定値を求めること、前記画像データセットを条件とするベイズ式に前記１つ又は複数のプライアのノンパラメトリック推定値を課すこと、及び、前記ベイズ式を最適化するレベルセット方法を実行することにより前記画像データセット内のオブジェクトのセグメンテーションを選択することができるように構成することにより解決される。
【発明を実施するための最良の形態】
【０００９】
本発明は、オブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化する方法を提供する。本発明の１つの側面によれば、オブジェクトの１つ又は複数の先行インスタンスによって張られた部分空間内でオブジェクトの１つ又は複数の先行インスタンスからの特性のノンパラメトリック推定値を求めるステップ、前記画像データセットを条件とするベイズ式に１つ又は複数のプライアの前記ノンパラメトリック推定値を課すステップ、及び、前記ベイズ式を最適化するレベルセット法を実行することにより前記画像データセット内のオブジェクトのセグメンテーションを選択するステップが含まれる。
【００１０】
特性は輝度であってよい。また、形状であってもよい。オブジェクトの１つ又は複数の先行インスタンスからの特性は、オブジェクトの各先行インスタンスに関連した特性の平均値に基づいていてよい。オブジェクトの１つ又は複数の先行インスタンスからの特性は、距離関数に基づいていてもよい。前記式はエネルギー関数であってよい。オブジェクトの１つ又は複数の先行インスタンスからの特性は、平行移動と回転とに対して不変としてよい。オブジェクトの１つ又は複数の先行インスタンスからの特性は、カーネル密度のような密度関数に基づいていてもよい。
【００１１】
前記式は、
【００１２】
【数１】
であってよい。
【００１３】
本発明の１つの側面は、レベルセットセグメンテーションを用い、かつ、セグメント化すべき画像の事前知識を課す効率的な画像セグメンテーション法を提供することである。
【００１４】
本発明の別の側面は、低次元ＰＣＡに基づいた（主成分分析に基づいた）方法の効率性をノンパラメトリック統計形状モデルの正確性と結び付けた統計的形状プライアを提供することである。
【００１５】
本発明のさらに別の側面は、画像内オブジェクトの統計的特性の推定方法を提供することである。
【００１６】
本発明の別の側面は、ノンパラメトリックなレベルセットセグメンテーションのための距離関数を提供することである。
【００１７】
本発明のさらに別の側面は、オブジェクトの形状分布をカーネル密度推定によりモデル化することである。
【００１８】
本発明の別の側面は、学習したプライアのベイズ推論としてのレベルセットセグメンテーション法を提供することである。
【００１９】
本発明の別の側面は、学習したプライアの以前に観察した輝度分布のカーネル密度推定により得られた確率的輝度モデルを用いて、画像内輝度情報を最適に利用する方法を提供することである。
【００２０】
本発明のさらに別の側面は、本発明の複数の側面を統合することにより、知識駆動レベルセットセグメンテーションのための方法を提供することである。
【実施例】
【００２１】
レベルセット法ははじめ界面を経時的に伝播させる手段として提案された。例えば、非特許文献５及び引用文献１０を参照のこと。
【００２２】
レベルセット法は画像セグメンテーションの枠組みとしてますます普及してきている。基本的なアイデアは、画像領域Ω⊂Ｒ３の界面Γ⊂Ωを陰的に埋込み関数φ：Ｒ３→Ωのゼロレベルセット：
Γ＝｛ｘ∈Ω｜φ（ｘ）＝０｝ （１）
として表し、適切な偏微分方程式に従って埋込み関数φを伝播させることによりΓを発展させることである。画像セグメンテーションの目的でこのレベルセット形式を適用することは、非特許文献１、非特許文献９、及び、非特許文献７で初めて提案された。陽的な界面伝播と比べた場合の２つの基本的な利点は、特定のパラメータ表現に依存しないこと、ならびに、陰的に表された境界Γがスプリッティングやマージングのようなトポロジカルな変化を受けることができることである。これにより、この枠組みは複数のオブジェクト又は多重連結オブジェクトのセグメンテーションに適したものになる。レベルセットオブジェクトセグメント化法に形状の事前知識を含め、画像内オブジェクトを検出するために確率的な事前知識を課す１つの手法は、特許文献１に記載されており、この特許文献は全体的に本願明細書に参照として取り込まれている。次に、レベルセット法の簡単な説明を与える。
【００２３】
本発明におけるセグメンテーションは、好ましくは、フローに従って界面（例えば、曲線）を発展させるレベルセット法により行われる。曲線の伝播を決定するフローは、エネルギー関数のような目的関数を最小化することを通して再現することができる。レベルセットによる表現を導入するためには、曲線の法線方向（例えば、曲率）における所与の運動方程式に従って発展するパラメトリック曲線を考える。このフローはラグランジュ法を用いることで実現することができる。輪郭は基準点の選択により離散的な形で表される。曲線の位置は、曲線と各基準点に関する曲線の動きを記述する方程式を解くことにより更新することができる。一般的には、このような手法では発展する曲線のトポロジーを変化させることはできず、発展する曲線の再パラメトライズが必要になる場合がある。レベルセット法ははじめ流体力学の分野に導入されたが、イメージング、ビジョン、及びグラフィックスにおけるさまざまな応用をうまく処理する新興技術である。レベルセット法は発展する曲線を表面のゼロレベルによって表す。このような表現は陰的かつ内在的であり、パラメータ不要である。知識ベースの形状駆動セグメンテーション法は、プライアモデルと比べて、整合的な幾何学的形をもった構造を再現することを目的としている。プライアのモデル化は形状駆動の大域的制約の導入として必要とされる。これは一連のトレーニング実例から関心構造の表象を抽出することに等しい。表象の選択は導入されるプライアの形に関係している。モデル化は形状駆動セグメンテーション技法の重要な側面である。本開示の１つの実施形態によれば、知識ベースの形状駆動オブジェクト抽出のためのレベルセット法における事前知識を明らかにする定式化が実施される。オブジェクトは確率的な距離関数を用いて表される。プライアモデルにより形成される形状の族に属する画像平面内の幾何学的構造を探し出すために、ベイズ流にセグメンテーションプロセスへの制約が課される。
【００２４】
医用画像をセグメント化するには、一般に、雑音、欠損、又は紛らわしい画像情報を扱わなければならない。超音波又はＣＴのような或る撮像方式の場合、関心構造は輝度分布の点で背景とあまり異ならない。このことの図解例が図１に示されている。したがって、画像情報のみに基づいてオブジェクトを正確にセグメント化することはできない。それゆえ、近年、研究者達はレベルセット法を統計的形状プライアによって強化することを提案している。トレーニング形状の集合が与えられれば、どのセグメンテーションが事前に多少なりとも尤もらしいかについての情報を課すことができる。このような事前形状情報は、雑音や吸蔵が存在する場合のセグメンテーション結果を劇的に改善することが示されている。例えば、非特許文献８、非特許文献１５、非特許文献３、非特許文献１３、非特許文献４、及び、非特許文献６を参照のこと。これらの手法のほとんどは、符号付き距離関数により符号化されたトレーニング形状がガウス分布を形成するという仮定に基づいている。これには２つの欠点がある：第１に、符号付き距離関数の空間は線形空間ではないため、平均形状ならびに固有モードの線形結合は一般にもはや符号付き距離関数ではない。第２に、たとえ前記空間が線形空間であっても、サンプル形状の任意の集合がガウス密度に従って分布すべき理由が明らかでない。実際、本発明の１つの側面として示されるように、サンプル形状は一般にガウス分布しない。最近では、トレーニング形状の非線形分布をモデル化するために、レベルセット関数空間におけるノンパラメトリック密度推定［３］が提案されている（非線形という用語は、許容される形状の集合が単に線形部分空間でないという事実を指している）。これは上記の欠点を解消するものであるが、無限次元最適化の問題のために、低次元部分空間（初めのいくつかの固有モードにより形成される）における作業効率が犠牲になる。
【００２５】
図１の画像１０１は心臓超音波画像を示している。画像１０２は、左心室の内側及び外側の輝度の経験的確率に相応したヒストグラムを示している。画像１０３は前立腺ＣＴを示し、画像１０４は前立腺の内側及び外側の輝度の経験的確率に相応したヒストグラムを示している。オブジェクトと背景が類似したヒストグラムを有しているため、これらの構造の領域ベースのセグメンテーションは難しい問題である。
【００２６】
本発明では、知識駆動セグメンテーション方法及びシステムのための枠組みが提供される。この枠組みは、本発明の１つの側面によれば、レベルセット法に基づいている。この枠組みは、本発明の別の側面によれば、３つの寄与を統合したものである：第１に、この枠組みは、低次元ＰＣＡベースの方法の効率性をノンパラメトリック統計形状モデルの正確性と結び付ける統計的形状プライアを提供する。主要な側面は、すべてのトレーニングデータを埋め込むのに十分な大きさの線形部分空間内でカーネル密度推定を行うことである。第２に、よりデータ駆動な形でポーズを推定し、パラメータを変換するための方法が提供される。第３に、以前に観察された輝度分布のカーネル密度推定により得られる確率的輝度モデルを用いることにより、画像内輝度情報が最適利用される。以下に、本発明が提供する方法によるオブジェクトの効率的なセグメンテーションを実証する実例を示す。
【００２７】
ベイズ推論としてのレベルセットセグメンテーション
レベルセットセグメンテーションの目的は、画像Ｉ：Ω→Ｒが与えられたときに、最適な埋込み関数φ：Ω→Ｒを推定することとして定式化することができる。ベイズ流の枠組みでは、これは事後分布
Ｐ（φ｜Ｉ）∝Ｐ（Ｉ｜φ）Ｐ（φ） （２）
を最大化することによって計算することができる。（２）の最大化は無限次元最適化の問題に帰着する。符号付き距離関数｛φｉ｝ｉ＝１．．．Ｎにより符号化されたトレーニング形状の集合が与えられたとして、Ｔｓａｉ他は、最適化問題をトレーニング形状により張られた有限次元部分空間に制限することにより、セグメンテーション問題を有限次元最適化のうちの１つに還元することを提案した。非特許文献１５を参照のこと。
【００２８】
本発明では、埋込み関数のこのコンパクトな表現が有用である。d２(φ１,φ２)＝∫Ω((φ１(x)−φ２(x))２dxで定義される符号付き距離関数の空間における距離ｄが与えられたとき、本発明は一連のトレーニング形状を平行移動と回転とに関して整列させる。続いて、レベルセット関数φを、
【００２９】
【数２】
パラメータベクトルα＝（α１，…，αｎ）が形状の変形をモデル化する一方で、パラメータｈ∈Ｒ３及びθ∈[0,2π]３はそれぞれの形状の平行移動と回転をモデル化する。プライア又はトレーニングオブジェクトの推定は部分空間内で行われる。ここで、部分空間とは、プライアが占める全空間は本発明の１つの側面によればステップにおいて使用されないということを意味している。部分空間は全空間のＮ次元よりも低いｎ次元で張られる。
【００３０】
したがって、（２）における無限次元ベイズ推論の問題は、形状パラメータαと変換パラメータｈ及びθとに関して条件付き確率
Ｐ（α，ｈ，θ｜Ｉ）∝Ｐ（Ｉ｜α，ｈ，θ）Ｐ（α，ｈ，θ） （４）
の最適化された有限次元ベイズ推論に還元される。以下では、これらの変換パラメータ上で一様なプライアが仮定される、すなわち、Ｐ（α，ｈ，θ）＝Ｐ（α）。次の節では、この形状プライアをモデル化する本発明の１つの側面として、３つの解決法を提示する。
【００３１】
効率的なノンパラメトリック統計形状モデル
整列されたトレーニング形状の集合{φｉ}ｉ＝１．．．Ｎが与えられれば、各トレーニング形状は相応する形状ベクトル{αｉ}ｉ＝１．．．Ｎによって表すことができる。この表記法では、統計的形状学習の目標はこれらのサンプル形状から統計的分布Ｐ（α）を推論することである。今までに提案された２つの解決法は、トレーニング形状は一様分布Ｐ（α）＝ｃｏｎｓｔ．で近似することができる（非特許文献１５，非特許文献１３）、又はガウス分布
【００３２】
【数３】
で近似することができる（非特許文献８を参照のこと）という仮定に基づいている。
【００３３】
本発明では、線形部分空間内で形状分布を近似するために、ノンパラメトリック密度推定が使用される。非特許文献１２を参照のこと。本発明はカーネル密度推定
【００３４】
【数４】
【００３５】
レベルセットに基づいた画像セグメンテーションのコンテクストでは、カーネル密度推定量（６）は一様分布とガウス分布とに比べて２つの利点を有している：
・一様分布又はガウス分布の仮定は一般には満たされない。このことは図３においてサンプル形状の一連のシルエットに関して示されている。他方で、カーネル密度推定量は任意の分布を近似することが知られている。穏やかな仮定の下では、無限のサンプルサイズという極限において真の分布に集束することが示されている。（非特許文献１４を参照のこと）。
・符号付き距離関数の空間は線形空間でないことが知られている。したがって、平均形状φ０も（３）におけるような固有モードの線形結合も一般には符号付き距離関数ではない。その結果、一様分布又はガウス分布にとって好都合な関数φ（ｘ）が符号付き距離関数であると期待することができない。他方で、カーネル密度推定量（６）はサンプル形状ベクトルαｉの近傍にある形状ベクトルαにとって好都合である。構成上、これらのベクトルは符号付き距離関数に相当する。実際、無限のサンプルサイズという極限においては、カーネル密度推定量（６）により推論される分布は符号付き距離関数の集合上での分布に収束する。
【００３６】
図２は、Ｒ３内の２次元部分空間を張るサンプルデータの集合の場合について、３つの方法を概略的にプロットしたものである。明らかに、カーネル密度推定量が最も正確に分布を捉えている。暗い陰影はそれぞれのモデルの確率密度の高い領域を示している。カーネル密度推定量は分布の形状についての特定の仮定に依存していないため、トレーニングデータに比較的に柔軟に順応する。図２において、画像２０１は一様密度の密度推定プロットを示し、画像２０２はガウス分布の密度推定プロットを示し、画像２０３はカーネル密度の密度推定プロットを示している。図３は、歩行者の一連のシルエットについて計算された推定形状密度の３Ｄ投影を示したものである。画像３０３及び３０４には、３０３における一様密度及び３０４におけるカーネル密度の測地線に沿ったサンプリングによる形状モーフィングが示されている。これらは、カーネル密度推定量が最も正確に妥当な形状の分布を捉えていることを示している。図３の画像３０１は４９個のトレーニング形状のうち６つを示している。図３の画像３０２は推定された（４８次元）形状分布の等値面の３Ｄ投影を示している。後者は明らかに一様分布でもガウス分布でもない。図３の画像３０３及び３０４は、画像３０３における一様分布と画像３０４におけるカーネル分布とにより生じた測地線に沿った２つのサンプル形状の間のモーフィングを示している。一様分布の場合のモーフィングでは、脚が消えてはまた現れ、腕の動きが捉えられていない。非線形サンプリングはより現実的な中間的形状を提供する。人間のシルエットが選択されているのは、分析される大抵の医学的構造よりもはっきりとした形状の可変性を示すという理由からである。
【００３７】
形状学習からの類推で、（４）における輝度関数Ｉに関して、類例から条件付き確率を学習するカーネル密度推定が使用される。混合モデルによる輝度分布の同様の事前計算は、非特許文献１１において提案されている。事前にセグメント化されたトレーニング画像の集合が与えられると、オブジェクトと背景の輝度分布ｐｉｎとｐｏｕｔのカーネル密度推定が、相応する平滑化された輝度ヒストグラムによって与えられる。これには２つの利点がある：第１に、カーネル密度推定量は分布の形状についての特定の仮定に依存していない。図１は、超音波画像とＣＴ画像の輝度分布がガウス分布又はラプラス分布によってはうまく近似されないことを示している。第２に、輝度分布の同時推定（非特許文献２）に比べて、これはセグメンテーションプロセスを単純化し、もはや輝度モデルの更新を必要としない。さらに、多くの実験において、セグメンテーションプロセスが初期化に対してよりロバストになることが分かった。
【００３８】
エネルギーによる定式化と最小化
（２）における事後確率の最大化、又は同じことだが（２）における事後確率の負の対数の最小化は、任意の画像の最も蓋然性の高いセグメンテーションを生じさせる。上で紹介した形状と輝度とに関するノンパラメトリックモデルを用いれば、このことは
Ｅ（α，ｈ，θ）＝−ｌｏｇＰ（Ｉ｜α，ｈ，θ）−ｌｏｇＰ（α） （７）
という形のエネルギーに導く。ノンパラメトリック輝度モデルは第１項を表現することができ、式（６）は正確に第２項を与える。へヴィサイドの階段関数Ｈと簡略記法Ｈφ＝Ｈ（φα，ｈ，θ（ｘ））を用いれば、次のようになる：
【００３９】
【数５】
すべての方程式において、ディラックのデルタ関数δは画像領域Ω上の積分項の中に因数として現れている。これにより、すべての計算をφのゼロ交叉の周りの狭帯域に制限することができる。平行移動及びポーズパラメータｈ及びθの発展は単にデータ項ｅ（ｘ）によって駆動されるにすぎないが、形状ベクトルαはさらに、それぞれの形状までの距離に応じて指数関数的に減少する力で各トレーニング形状に向かって引かれる。
【００４０】
実験結果と検証
本発明の方法を医用画像内の種々のオブジェクトのセグメンテーションに適用した。これは本発明の方法を説明に役立ち、また本発明の方法の妥当性を確証するであろう。説明例は超音波画像からの心臓のセグメンテーションと３ＤＣＴ画像からの前立腺のセグメンテーションに属する。
【００４１】
超音波画像からの心臓のセグメンテーション
図４は、手動でセグメント化した２１個のトレーニング画像から形成された形状プライアを用いた２Ｄ心臓超音波シーケンスにおける左心室のセグメンテーションに関して得られた実験結果を示している。一様プライアを用いたセグメンテーション（図４の画像４０２）とは対照的に、ノンパラメトリック統計形状プライアによればセグメンテーションを正確に制限することが可能である（図４の画像４０３）。これはデータ項があまりに弱いエリアにおいて特に顕著となる。定量的な評価として、我々は正しく分類されたオブジェクトピクセルのパーセンテージと誤って分類されたオブジェクトピクセルのパーセンテージを計算した。エネルギー最小化の間、カーネルプライアを使用することにより、偽陽性のパーセンテージが２７％から２．７％に低下するとともに、正しく分類されたオブジェクトピクセルのパーセンテージが５６％から９０％に上昇した。一様プライアを使用した場合には、９２％は正しく分類されたが、偽陽性のパーセンテージは４２％に上昇した。単に境界の発展をトレーニング形状により張られた線形部分空間に制限するだけでは、正確なセグメンテーション結果を得るには不十分である。
【００４２】
３ＤＣＴ画像からの前立腺のセグメンテーション
もう１つの説明例として、異なる２人の患者から収集した手動で（精嚢とともに）抽出された１２個の前立腺画像を用いた前立腺のノンパラメトリック３Ｄ形状モデルを展開した。図５はこの同じモデルを用いた２人の患者の前立腺セグメンテーションを示している。２つの画像から成る列５０１，５０２，５０３，及び５０４の各々は、第１の患者（左の２つの列５０１及び５０２）と第２の患者（最後の２つの列５０３及び５０４）とについて、同じセグメンテーションの冠状スライスと軸方向スライスを示している。第１の列５０１はまた手動セグメンテーション（黒い輪郭）も示している。既存の研究とは対照的に、続いて我々は異なる複数の患者からの画像のセグメンテーションのために単一の形状モデルを使用した。我々はトレーニング段階から関心画像を取り出すことによりleave-one-out法を用いた。図６はこの戦略を用いて得られた幾つかの結果の２Ｄ断面図を示している。図６はカーネルプライア（白線）を用いて得られたセグメンテーションと代替的手法を用いて得られたセグメンテーション（黒線）を示している。器官内での１クリック初期化とともに、本発明の方法は２０秒未満で定常状態解に至った。我々は分類に成功した８６％の器官ボクセルと誤って分類された１１％の器官ボクセルを得た。これは、非特許文献６において報告されている患者内結果に比べて有利である。
【００４３】
図５は、形状分布の一様近似及びガウス近似により得られたセグメンテーションとの定性的比較とともに、手動セグメンテーションとの定性的比較も提供している。
【００４４】
トレーニングデータの集合によって張られた線形部分空間内でのノンパラメトリック密度推定に基づいたレベルセットセグメンテーションのために、効率的で正確な統計的形状プライアを形成し適用するための方法を示した。加えて、本発明の諸側面である提示されたセグメンテーション法は、輝度分布のノンパラメトリック推定とポーズ及び平行移動パラメータの効率的な最適化を利用している。本発明の妥当性を検証する心臓超音波画像と前立腺の３ＤＣＴ画像に対するセグメンテーションの精度及び速度の例示的な定量的評価がここに示されている。示された例は、提案されたノンパラメトリック形状プライアがレベルセットセグメンテーションのためにかつて提案された形状プライアよりも性能が優れていることを示している。
【００４５】
図７は本発明の１つの側面の概要を示している。セグメンテーションプロセスの第１のステップは、レベルセット法の観点から画像を記述することを可能にするノンパラメトリックモデルを形成することである。本発明において使用されるモデルは、形状分布のノンパラメトリック近似としてのカーネル密度推定である。次のステップ７０２は一連のプライアの形状の学習を伴う。その際、事前にセグメント化されたトレーニング画像のカーネル密度推定値は、平滑化された輝度ヒストグラムにより与えられる。ステップ７０３では、セグメント化すべき画像のカーネル密度推定値が形成される。ステップ７０４では、ベイズ流にＥ（α，ｈ，θ）＝−ｌｏｇＰ（Ｉ｜α，ｈ，θ）−ｌｏｇＰ（α）と表現しうるエネルギー関数Ｅ（α，ｈ，θ）が得られる。ステップ７０４で得られたエネルギー式の最小化の事後確率を最大化することにより、最も蓋然性の高いセグメンテーション（プライヤに似た）が得られる。
【００４６】
本発明の一部であるセグメンテーション法は図８に示されているシステムにより実行することができる。このシステムには、先行画像だけでなくセグメント化すべき画像も表すデータ８０１が供給される。本発明の方法を用いて学習及びセグメンテーションの方法を実行する命令セット又はプログラム８０２が供給され、プロセッサ８０３内のデータと結合される。プロセッサ８０３はデータ８０１に適用される８０２の命令を処理し、ディスプレイ８０４にセグメント化された画像を表示することができる。プロセッサは専用ハードウェア、ＧＰＵ、ＣＰＵ、又は、８０２の命令を実行することのできる他の任意の計算デバイスであってよい。マウスやトラックボール又は他の入力デバイスのような入力デバイス８０５により、ユーザは初期オブジェクトを選択し、セグメンテーションプロセスを開始することができる。したがって、図８に示されたシステムは、レベルセット法ならびに形状プライヤ及び輝度プライアを使用して画像からオブジェクトをセグメント化するインタラクティブなシステムを提供する。
【００４７】
本明細書では、ピクセルなる用語への言及はいずれもボクセルへの言及とも見なされる。
【００４８】
以上に、有利な実施形態に適用された本発明の新奇な基本的特徴を示し、説明し、指摘してきたが、当業者には、本発明の趣旨から逸脱することなく、さまざまな省略、置換、及び、図示された装置の形状及び詳細ならびに動作の変更が可能であることは理解されるであろう。それゆえ、添付された請求項の範囲によって示されている通りにのみ限定されることが意図されている。
【図面の簡単な説明】
【００４９】
【図１】関連する輝度グラフとともに医用画像を示す。
【図２】種々の密度グラフを示す。
【図３】線形形状補間の効果と非線形形状補間の効果を対比して示す。
【図４】種々のプライアモデルの効果を示す。
【図５】オブジェクトセグメンテーションの画像を示す。
【図６】オブジェクトセグメンテーションのさらなる画像を示す。
【図７】本発明の１つの側面に従った本発明の方法を示す。
【図８】画像セグメンテーションシステムのダイアグラムを示す。
【特許請求の範囲】
【請求項１】
オブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化する方法であって、
オブジェクトの１つ又は複数の先行インスタンスによって張られた部分空間内でオブジェクトの１つ又は複数の先行インスタンスからの特性のノンパラメトリック推定値を求め、
前記画像データセットを条件とするベイズ式に前記１つ又は複数のプライアのノンパラメトリック推定値を課し、
前記ベイズ式を最適化するレベルセット法を実行することにより前記画像データセット内のオブジェクトのセグメンテーションを選択する、ことを特徴とするオブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化する方法。
【請求項２】
前記特性が輝度である、請求項１記載の方法。
【請求項３】
前記特性が形状である、請求項１記載の方法。
【請求項４】
オブジェクトの１つ又は複数の先行インスタンスからの特性がオブジェクトの各先行インスタンスに関連した特性の平均値に基づく、請求項１記載の方法。
【請求項５】
オブジェクトの１つ又は複数の先行インスタンスからの特性が距離関数に基づく、請求項１記載の方法。
【請求項６】
前記式はエネルギー関数である、請求項１記載の方法。
【請求項７】
オブジェクトの１つ又は複数の先行インスタンスからの特性が平行移動と回転とに対して不変である、請求項１記載の方法。
【請求項８】
オブジェクトの１つ又は複数の先行インスタンスからの特性が密度関数に基づく、請求項１記載の方法。
【請求項９】
前記密度関数はカーネル密度である、請求項８記載の方法。
【請求項１０】
プライアのカーネル密度推定量は平滑化された輝度ヒストグラムである、請求項９記載の方法。
【請求項１１】
前記式は、
【数１】
で与えられる、請求項１記載の方法。
【請求項１２】
オブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化するシステムであって、
プロセッサと、
前記プロセッサ上で動作するコンピュータソフトウェアを有しており、
前記コンピュータソフトウェアは、
オブジェクトの１つ又は複数の先行インスタンスによって張られた部分空間内でオブジェクトの１つ又は複数の先行インスタンスからの特性のノンパラメトリック推定値を求めること、
前記画像データセットを条件とするベイズ式に前記１つ又は複数のプライアのノンパラメトリック推定値を課すこと、及び、
前記ベイズ式を最適化するレベルセット方法を実行することにより前記画像データセット内のオブジェクトのセグメンテーションを選択することができる、ことを特徴とするオブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化するシステム。
【請求項１３】
前記特性が輝度である、請求項１２記載のシステム。
【請求項１４】
前記特性が形状である、請求項１２記載のシステム。
【請求項１５】
オブジェクトの１つ又は複数の先行インスタンスからの特性がオブジェクトの各先行インスタンスに関連した特性の平均値に基づく、請求項１２記載のシステム。
【請求項１６】
オブジェクトの１つ又は複数の先行インスタンスからの特性が距離関数に基づく、請求項１２記載のシステム。
【請求項１７】
前記式はエネルギー関数である、請求項１２記載のシステム。
【請求項１８】
オブジェクトの１つ又は複数の先行インスタンスからの特性が平行移動と回転とに対して不変である、請求項１２記載のシステム。
【請求項１９】
オブジェクトの１つ又は複数の先行インスタンスからの特性が密度関数に基づく、請求項１２記載のシステム。
【請求項２０】
前記密度関数はカーネル密度である、請求項１９記載のシステム。
【請求項２１】
プライアのカーネル密度推定量は平滑化された輝度ヒストグラムである、請求項２０記載のシステム。
【請求項２２】
前記式は、
【数２】
で与えられる、請求項１２記載のシステム。
【請求項１】
オブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化する方法であって、
オブジェクトの１つ又は複数の先行インスタンスによって張られた部分空間内でオブジェクトの１つ又は複数の先行インスタンスからの特性のノンパラメトリック推定値を求め、
前記画像データセットを条件とするベイズ式に前記１つ又は複数のプライアのノンパラメトリック推定値を課し、
前記ベイズ式を最適化するレベルセット法を実行することにより前記画像データセット内のオブジェクトのセグメンテーションを選択する、ことを特徴とするオブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化する方法。
【請求項２】
前記特性が輝度である、請求項１記載の方法。
【請求項３】
前記特性が形状である、請求項１記載の方法。
【請求項４】
オブジェクトの１つ又は複数の先行インスタンスからの特性がオブジェクトの各先行インスタンスに関連した特性の平均値に基づく、請求項１記載の方法。
【請求項５】
オブジェクトの１つ又は複数の先行インスタンスからの特性が距離関数に基づく、請求項１記載の方法。
【請求項６】
前記式はエネルギー関数である、請求項１記載の方法。
【請求項７】
オブジェクトの１つ又は複数の先行インスタンスからの特性が平行移動と回転とに対して不変である、請求項１記載の方法。
【請求項８】
オブジェクトの１つ又は複数の先行インスタンスからの特性が密度関数に基づく、請求項１記載の方法。
【請求項９】
前記密度関数はカーネル密度である、請求項８記載の方法。
【請求項１０】
プライアのカーネル密度推定量は平滑化された輝度ヒストグラムである、請求項９記載の方法。
【請求項１１】
前記式は、
【数１】
で与えられる、請求項１記載の方法。
【請求項１２】
オブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化するシステムであって、
プロセッサと、
前記プロセッサ上で動作するコンピュータソフトウェアを有しており、
前記コンピュータソフトウェアは、
オブジェクトの１つ又は複数の先行インスタンスによって張られた部分空間内でオブジェクトの１つ又は複数の先行インスタンスからの特性のノンパラメトリック推定値を求めること、
前記画像データセットを条件とするベイズ式に前記１つ又は複数のプライアのノンパラメトリック推定値を課すこと、及び、
前記ベイズ式を最適化するレベルセット方法を実行することにより前記画像データセット内のオブジェクトのセグメンテーションを選択することができる、ことを特徴とするオブジェクトの１つ又は複数の先行インスタンスを用いて画像データセット内のオブジェクトをセグメント化するシステム。
【請求項１３】
前記特性が輝度である、請求項１２記載のシステム。
【請求項１４】
前記特性が形状である、請求項１２記載のシステム。
【請求項１５】
オブジェクトの１つ又は複数の先行インスタンスからの特性がオブジェクトの各先行インスタンスに関連した特性の平均値に基づく、請求項１２記載のシステム。
【請求項１６】
オブジェクトの１つ又は複数の先行インスタンスからの特性が距離関数に基づく、請求項１２記載のシステム。
【請求項１７】
前記式はエネルギー関数である、請求項１２記載のシステム。
【請求項１８】
オブジェクトの１つ又は複数の先行インスタンスからの特性が平行移動と回転とに対して不変である、請求項１２記載のシステム。
【請求項１９】
オブジェクトの１つ又は複数の先行インスタンスからの特性が密度関数に基づく、請求項１２記載のシステム。
【請求項２０】
前記密度関数はカーネル密度である、請求項１９記載のシステム。
【請求項２１】
プライアのカーネル密度推定量は平滑化された輝度ヒストグラムである、請求項２０記載のシステム。
【請求項２２】
前記式は、
【数２】
で与えられる、請求項１２記載のシステム。
【図７】
【図８】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−３０２２９１（Ｐ２００６−３０２２９１Ａ）
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願番号】特願２００６−１１６０７５（Ｐ２００６−１１６０７５）
【出願日】平成１８年４月１９日（２００６．４．１９）
【出願人】（５９３０７８００６）シーメンス コーポレイト リサーチ インコーポレイテツド (47)
【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ｃｏｒｐｏｒａｔｅ Ｒｅｓｅａｒｃｈ，Ｉｎｃ．
【住所又は居所原語表記】７５５ Ｃｏｌｌｅｇｅ Ｒｏａｄ Ｅａｓｔ，Ｐｒｉｎｃｅｔｏｎ， ＮＪ ０８５４０，Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
【Ｆターム（参考）】
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願日】平成１８年４月１９日（２００６．４．１９）
【出願人】（５９３０７８００６）シーメンス コーポレイト リサーチ インコーポレイテツド (47)
【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ｃｏｒｐｏｒａｔｅ Ｒｅｓｅａｒｃｈ，Ｉｎｃ．
【住所又は居所原語表記】７５５ Ｃｏｌｌｅｇｅ Ｒｏａｄ Ｅａｓｔ，Ｐｒｉｎｃｅｔｏｎ， ＮＪ ０８５４０，Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
【Ｆターム（参考）】
[ Back to top ]