説明

画像解析

コンピュータにより実施される画像内の特徴を識別する方法を提供する。方法は、複数の第2のモデルを前記画像に適合させるステップであって、前記複数の第2のモデルは共に関心領域をモデル化し、前記関心領域の各部分は、前記複数の第2のモデルのうちの少なくとも2つによりモデル化される、ステップと、前記複数の第2のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップと、を有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像内の特徴を識別する方法及び装置に関する。より詳細には、しかし限定的ではなく、本発明は、画像にモデルを適合させて画像内の特徴を識別する方法及び装置に関する。
【背景技術】
【0002】
自動画像解析は、画像の特性を決定する際の手動の仕事量を低減するために用いられる。画像解析は、画像の特徴を識別するために、種々の異なる分野で用いられる。画像解析技術が用いられるある分野は、医用画像の処理であり、この分野では、画像内の解剖学的特徴を識別することで有用な情報を開業医に提供できる。多くの画像は、例えばスクリーニングプログラム中に処理する必要があり、各画像は可能な限り正確に処理されるべきである。
【0003】
異なる患者から得られた個々の解剖学的特徴の画像は、かなり異なる。これは、特に、解剖学的特徴が病的状態にあるときに言える。したがって、このような相違がある場合に、画像内の解剖学的特徴を正確に識別することは困難である。画像内の解剖学的特徴を識別する既存のアプローチは、関心のある解剖学的領域の統計的モデリングに基づく。統計的モデルは、関心のある解剖学的領域内の特徴が手動で識別されているトレーニング画像セットから生成され、統計的モデルは、平均モデルと、トレーニングセットにより示されるようにその平均モデルからの変化の許容の程度とを示す。少数のトレーニング画像しか利用可能でない場合、統計的モデルは、特定の解剖学的特徴を未知の画像内で識別できない場合が多い。これは、統計的モデルが許容変動の真の兆候を捕らえることができないためである。
【0004】
さらに、統計的モデルを未知の画像に適合させる既存のアプローチは、特に解剖学的特徴が未知の画像内で病的状態にあるときに、不正確になってしまう。したがって、画像内の構造をモデル化し、このようなモデルを未知の画像に適合させるロバストな且つ正確な方法が望ましい。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の幾つかの実施形態の目的は、上述の問題の少なくとも幾つかを取り除くか軽減することである。
【課題を解決するための手段】
【0006】
本発明の第1の態様によると、コンピュータにより実施される画像内の特徴を識別する方法が提供される。方法は、複数の第2のモデルを前記画像に適合させるステップであって、前記複数の第2のモデルは共に関心領域をモデル化し、前記関心領域の各部分は、前記複数の第2のモデルのうちの少なくとも2つによりモデル化される、ステップと、前記複数の第2のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップと、を有する。
【0007】
複数の第2のモデルを画像に適合するステップは、局所領域を個々にモデル化することを可能にする。第2のモデルの局所的性質は、画像へのより正確な適合を可能にする。モデル化されるべき関心領域の部分を1以上の第2のモデルに含めることにより、第2のモデルのうちの1つの特定領域への適合が許容できない場合に、該特定領域をモデル化する別の第2のモデルを用いることができる。
【0008】
方法は、最初にオブジェクトの第1のモデルを画像に適合させるステップ、を更に有し、前記複数の第2のモデルを適合させるステップは、前記第1のモデルの前記適合に基づいてもよい。
【0009】
前記複数の第2のモデルを前記画像に適合させるステップは、前記第1のモデルの適合に基づき初期化されてもよい。このように、第1のモデル又は複数のモデルの適合に基づきモデルの適合を初期化することは、第1のモデルの適合から決定された情報が次のモデルの適合を導くことを可能にする。代替として又は追加で、前記複数の第2のモデルを適合させるステップは、前記第1のモデルの適合により制限されてもよい。
【0010】
前記複数の第2のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップは、前記複数の第2のモデルの前記適合に基づきデータを結合するステップ、を有してもよい。
【0011】
前記複数の第2のモデルの前記適合に基づきデータを結合するステップは、前記複数のモデルのうちの少なくとも2つに含まれる前記関心領域の各部分について、該部分が含まれる前記複数の第2のモデルの各々から引き出されたデータに関連する重みを適用するステップを有してもよい。 特定の第2のモデルでは、前記関連する重みは、前記特定の第2のモデルに関して定められた点から前記領域の前記部分までの距離に基づいてもよい。前記特定の第2のモデルに関して定められた点は、前記特定の第2のモデルの中心、例えば特定の第2のモデルによりモデル化された領域の中心に関して定められてもよい。
【0012】
特定の特徴は、前記第2のモデルのうちの2つによりモデル化され、前記結合するステップは、前記第2のモデルのうちの前記2つのそれぞれを適合することにより生成された特定の特徴と関連付けられたデータを結合することにより、前記特定の特徴を識別してもよい。前記結合するステップは、複数の関係を示す格納されたデータに基づいてもよく、各関係は、第2のモデルの少なくとも一部と少なくとも1つの他の第2のモデルの少なくとも一部との間のものである。例えば、特定の第2のモデル内の各点は、関心領域内の対応する点を表す任意の他の第2のモデル内の任意の点との関係を有してもよい。複数の関係を示す格納されたデータは、第2のモデルの少なくとも一部と第1のモデルの一部との間の関係を示してもよい。
【0013】
前記結合するステップは、例えば、前記複数の第2のモデルのうちの少なくとも2つに含まれる前記関心領域の各部分について、前記関心領域の前記部分の重み付けされた平均的な適合を、前記複数の第2のモデルのうちの前記少なくとも2つの各々の前記関心領域の前記部分への適合に基づき、決定するステップを有してもよい。
【0014】
前記複数の第2のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップは、前記複数の第2のモデルの前記適合に基づき前記画像内の特徴の位置の推定を決定するステップ、を更に有してもよい。前記画像内の特徴の位置の推定を決定するステップは、前記画像内の前記特徴の位置の初期の推定を得るステップ、前記複数の第2のモデルの適合に基づき、前記初期の推定を更新するステップ、を有してもよい。このように、画像内の特徴の位置の初期の推定は、後続のモデルの適合に基づき精緻化されてもよい。
【0015】
初期の推定を更新するステップは、前記第2のモデルのうちの1つの適合が所定の基準を満たす場合、前記第2のモデルのうちの1つの適合に基づき前記初期の推定を更新するステップを有してもよい。前記所定の基準は、前記特徴の位置の初期の推定と前記第2のモデルのうちの1つの適合との関係であってもよい。
【0016】
前記所定の基準は、幾何学的基準を有してもよい。前記所定の基準は、トレーニング段階中に、トレーニング画像セットに基づき、前記第2のモデルのうちの1つについて決定されてもよい。前記所定の基準は、複数のデータアイテムに基づいてもよく、各データアイテムは、前記第2のモデルのうちの1つの前記トレーニング画像のうちの個々の1つへの適合を表す。前記複数の第2のモデルのうちの各々は、関連付けられた所定の基準を有してもよい。
【0017】
方法は、複数の第3のモデルを前記画像に適合させるステップであって、前記複数の第3のモデルは、前記関心領域の少なくとも一部を共にモデル化し、前記複数の第3のモデルの適合は、前記特徴の位置の推定に基づく、ステップ、前記複数の第3のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップ、を更に有してもよい。前記特徴の位置の推定は、前記画像内の前記第3のモデルを初期化するために用いられてもよい。前記特徴の位置の推定は、前記複数の第3のモデルの適合に基づき更新されてもよい。前記画像内の特徴は、更新された特徴の位置の推定に基づき識別されてもよい。更に複数のモデルは、前記特徴の位置の推定に基づき前記画像に適合されてもよく、前記特徴の位置の推定は、各複数のモデルを適合した後に更新される。
【0018】
前記関心領域の所与の部分は、第1の数の前記第2のモデル及び異なる第2の数の前記第3のモデルによりモデル化されてもよい。第2の数は、第1の数よりも大きくてもよい。前記第3の複数のモデルの中のモデルは、概して、前記第2の複数のモデルの中のモデルよりも小さい領域をモデル化してもよい。このように、画像内の更に局所的な領域がモデル化でき、画像へのより正確な適合が達成できる。
【0019】
方法は、前記複数の第2のモデルを生成するステップを更に有してもよい。トレーニング画像セットが受信されてもよく、前記トレーニング画像セットの中の各画像は、前記関心領域を表し、前記オブジェクトの前記複数の第2のモデルの生成は、前記トレーニング画像セットに基づいてもよい。前記複数の第2のモデルの中の各モデルは、前記トレーニング画像セットの中の画像のサブセットに基づき生成されてもよく、前記サブセットは、前記トレーニング画像セットからの交換によりランダムにサンプリングすることにより選択される。
【0020】
前記複数の第2のモデルを生成するステップは、複数のモデルを生成するステップであって、前記複数のモデルのうちの各々は、前記関心領域の少なくとも一部をモデル化する、ステップ、更なるトレーニング画像セットに関して、前記複数のモデルを処理するステップ、前記関心領域の各部分がモデルのサブセットの中の複数のモデルにより表されるように、前記処理に基づき、前記複数のモデルの前記サブセットを選択するステップ、を有してもよい。
【0021】
前記複数の第2のモデルを生成するステップは、第1の複数の第2のモデルを生成するステップであって、前記関心領域の各部分が前記第1の複数の第2のモデルのうちの複数によりモデル化されるようにする、ステップ、第2の複数の第2のモデルを生成するステップであって、前記関心領域の各部分が前記第2の複数の第2のモデルのうちの複数によりモデル化されるようにする、ステップ、前記第1の複数の第2のモデル及び前記第2の複数の第2のモデルを、前記更なるトレーニング画像セットに関して処理するステップ、前記処理に基づき、前記関心領域の前記第1の複数の第2のモデル及び前記第2の複数の第2のモデルのうちの一方を選択するステップ、を更に有してもよい。前記第1の複数の第2のモデル及び前記第2の複数の第2のモデルを、前記更なるトレーニング画像セットに関して処理するステップは、前記第1の複数の第2のモデルを前記更なるトレーニング画像セットの中の各画像に適合するステップ、前記第2の複数の第2のモデルを前記更なるトレーニング画像セットの中の各画像に適合するステップ、を有してもよく、前記処理に基づき前記関心領域の前記複数の第2のモデルのうちの一方を選択するステップは、前記の2つの適合するステップに基づいてもよい。
【0022】
前記複数の第2のモデルのうちの1つ又は各々を生成するステップは、前記関心領域内の複数の関心点を示すデータを受信するステップ、前記の受信した複数の関心点に基づき、前記複数の第2のモデルの一方又は各々を生成するステップ、を有してもよい。前記の受信したデータに基づき、前記複数の第2のモデルの一方又は各々を生成するステップは、前記の受信した関心点の各々について、前記複数のモデルのうちの1つのための基礎を提供するために、所定の大きさの前記関心領域の一部を選択するステップ、を有してもよい。前記関心領域の各部分は、関心のある特徴を表してもよい。
【0023】
前記画像のトレーニングセットに基づき、前記オブジェクトの前記複数の第2のモデルを生成するステップは、前記複数の点の各々について、前記画像のトレーニングセットの中の各画像内の前記関心領域の対応する部分を処理するステップ、を有してもよい。
【0024】
本発明の第2の態様によると、コンピュータにより実施される画像内の特徴を識別する方法が提供される。方法は、複数の第2のモデルを前記画像に適合させるステップであって、前記複数の第2のモデルは共に関心領域をモデル化する、ステップ、複数の第3のモデルを前記画像に適合させるステップであって、前記複数の第3のモデルは共に前記関心領域の少なくとも一部をモデル化し、前記複数の第3のモデルをするステップは前記複数の第2のモデルの適合に基づく、ステップ、前記複数の第3のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップと、を有する。
【0025】
このように、所与の領域における画像への適合は、異なるモデルセットの適合に基づき変更されてもよい。このような方法は、画像内のオブジェクトの識別を精緻化する方法を提供する。更に複数のモデルが、前の複数のモデルに基づき、識別を更に精緻化するために画像に適合されてもよい。
【0026】
前記関心領域の所与の部分は、第1の数の前記第2のモデル及び異なる第2の数の前記第3のモデルによりモデル化されてもよい。第2の数は、第1の数よりも大きくてもよい。前記第3の数モデルの一部又は全ては、前記第2の数のモデルの一部又は全てのり小さい領域をモデル化してもよく、したがって、前記第3の複数のモデルの各々は、関心領域の更に局所的部分をモデル化してもよい。したがって、関心領域のモデル化の向上が達成できる。
【0027】
方法は、最初に関心領域の第1のモデルを画像に適合させるステップ、を更に有し、前記複数の第2のモデルを適合させるステップは、前記第1のモデルの前記適合に基づいてもよい。前記複数の第2のモデルを前記画像に適合させるステップは、前記第1のモデルの適合に基づき初期化されてもよく、前記複数の第3のモデルを画像に前記適合させるステップは、前記第1のモデルの適合に基づき初期化されてもよい。上述のように、このような前のモデルの適合に基づきモデルを初期化することは、前記前のモデルの適合から決定された情報が次の適合を導くことを可能にする。
【0028】
オブジェクトの各領域は、複数の前記複数の第2のモデルにより表されてもよい。したがって、本発明の第1の態様について記載された利点は、本発明の第2の態様でも達成され得る。
【0029】
本発明の第3の態様によると、コンピュータにより実施される画像内の特徴を識別する方法が提供される。方法は、前記画像内の前記特徴の位置の推定を決定するステップ、前記画像の一部に第2のモデルを適合させるステップ、前記第2のモデルの前記適合が所定の基準を満たす場合、前記第2のモデルに基づき、前記推定を更新するステップ、を有する。
【0030】
概して、画像内の特徴の位置の適度に良好な推定を提供することが可能な場合が多い。第2のモデルを画像の一部に適合させるステップは、前記画像の一部を更に正確にモデル化することを可能にする。しかしながら、前記第2のモデルが、初期の推定は大幅に更新されるべきであると示す場合、前記第2のモデルの適合は失敗しており、したがって前記推定は更新されなくてもよい。したがって、所定の基準は、推定と前記第2のモデルの適合との間の差に基づいてもよい。
【0031】
前記所定の基準は、前記特徴の位置の推定と前記第2のモデルの適合との関係であってもよい。前記所定の基準は、幾何学的基準、例えば適合の後に前記第2のモデルによりモデル化された点と前記特徴の位置の推定内の点との間の最大距離、又は前記第2のモデルによりモデル化された画像の一部の最大回転量、前記位置の推定の対応する部分、又は両者の組合せを有してもよい。前記所定の基準は、トレーニング段階中に、トレーニング画像セットに基づき、前記第2のモデルについて決定されてもよい。前記所定の基準は、複数のデータアイテムに基づいてもよく、各データアイテムは、前記第2のモデルの前記トレーニング画像のうちの個々の1つへの適合を表す。つまり、前記第2のモデルは、複数のトレーニング画像に適合されてもよく、前記第2のモデルの各トレーニング画像への適合は、「良好な」又は「粗悪な」適合として分類されてもよい。分類された適合は、第2のモデルの特定の適合が許容可能な適合か否かを決定するために分類器を訓練するために用いられてもよい。
【0032】
方法は、第1のモデルを前記画像に適合させるステップ、を更に有してもよく、前記画像内の前記特徴の位置の前記推定は、前記第1のモデルの前記適合に基づいてもよい。
【0033】
前記第2のモデルを前記画像の一部に適合させるステップは、前記特徴の位置の推定に基づいてもよい。さらに、前記第2のモデルを前記画像の一部に適合させるステップは、前記特徴の位置の推定に基づき初期化されてもよい。
【0034】
第2のモデルを画像の一部に適合させるステップは、複数の第2のモデルを前記画像に適合させるステップを有してもよく、前記複数の第2のモデルの各々は、関連付けられた所定の基準を有してもよい。つまり、特定の第2のモデルについての基準は、前記特定の第2のモデルが別の第2のモデルに比べて開始点から比較的大きく変化することを可能にし得る。
【0035】
本発明の第4の態様によると、コンピュータにより実施される、関心領域を共にモデル化する複数の第2のモデルを生成する方法が提供される。方法は、前記複数の第2のモデルを生成するステップであって、前記関心領域の各部分が前記複数の第2のモデルのうちの複数によりモデル化されるようにする、ステップを有する。
【0036】
上述のように、モデル化されるべき関心領域の領域を1以上の第2のモデルに含めることにより、前記第2のモデルが前記関心領域をモデル化するのに用いられるとき、第2のモデルのうちの1つの特定領域への適合が許容できない場合に、該特定領域をモデル化する別の第2のモデルを用いることができる。
【0037】
方法は、トレーニング画像セットを受信するステップであって、前記トレーニング画像セットの中の各画像は、前記関心領域を表す、ステップを更に有してもよく、前記被写体の前記複数の第2のモデルの生成は、前記トレーニング画像セットに基づいてもよい。前記複数の第2のモデルの中の各モデルは、前記トレーニング画像セットの中の画像のサブセットに基づき生成されてもよく、前記サブセットは、前記トレーニング画像セットからの交換によりランダムにサンプリングすることにより選択される。
【0038】
前記複数の第2のモデルを生成するステップは、複数のモデルを生成するステップであって、前記複数のモデルのうちの各々は、前記関心領域の少なくとも一部をモデル化する、ステップ、更なるトレーニング画像セットに関して、前記複数のモデルを処理するステップ、前記関心領域の各部分がモデルのサブセットの中の複数のモデルにより表されるように、前記処理に基づき、前記複数のモデルの前記サブセットを選択するステップ、を有してもよい。
【0039】
初期段階でモデルが決定され、通常、特定の関心領域について1回のみ決定される場合、選択されたモデルを最適化するのに比較的長時間が費やされ得る。したがって、多くの異なるモデルは、任意の都合の良い方法で生成でき、各生成されたモデルの関心領域への適合における有効性は、更なるトレーニング画像セットを用いて試験することができる。関心領域に最適に適合すると分かったモデルは、再び訓練され、他のモデルは拒否される。
【0040】
前記複数の第2のモデルを生成するステップは、第1の複数の第2のモデルを生成するステップであって、前記関心領域の各部分が前記第1の複数の第2のモデルのうちの複数によりモデル化されるようにする、ステップ、第2の複数の第2のモデルを生成するステップであって、前記関心領域の各部分が前記第2の複数の第2のモデルのうちの複数によりモデル化されるようにする、ステップ、前記第1の複数の第2のモデル及び前記第2の複数の第2のモデルを、前記更なるトレーニング画像セットに関して処理するステップ、前記処理に基づき、前記関心領域の前記第1の複数の第2のモデル及び前記第2の複数の第2のモデルのうちの一方を選択するステップ、を有してもよい。
【0041】
前記第1の複数の第2のモデル及び前記第2の複数の第2のモデルを、前記更なるトレーニング画像セットに関して処理するステップは、前記第1の複数の第2のモデルを前記オブジェクトに適合するステップ、前記第2の複数の第2のモデルを前記オブジェクトに適合するステップ、を有してもよく、前記処理に基づき前記オブジェクトの前記複数の第2のモデルのうちの一方を選択するステップは、前記の2つの適合するステップに基づいてもよい。
【0042】
前記複数の第2のモデルのうちの1つ又は各々を生成するステップは、前記関心領域内の複数の関心点を示すデータを受信するステップ、前記の受信した複数の関心点に基づき、前記複数の第2のモデルの一方又は各々を生成するステップ、を有してもよい。前記関心点は、任意の都合の良い方法で選択されてもよい。例えば、各関心点は、関心のある特徴、例えば関心領域の特徴及び/又は前記関心領域内の最大曲率のものであると分かっている領域を示してもよい。このように、特に正確にモデル化することが望ましい特定の特徴は、モデルの中心になるように選択でき、したがって、より正確にモデル化できる。
【0043】
前記の受信したデータに基づき、前記複数の第2のモデルの一方又は各々を生成するステップは、前記の受信した関心点の各々について、前記複数のモデルのうちの1つのための基礎を提供するために、所定の大きさの前記関心領域の一部を選択するステップ、を有してもよい。所定の大きさの領域の各部分は、受信した関心点のうちの1つに中心があってもよい。
【0044】
前記トレーニング画像セットに基づき、前記オブジェクトの前記複数の第2のモデルを生成するステップは、前記複数の点の各々について、前記トレーニング画像セットの中の各画像内の前記関心領域の対応する部分を処理するステップ、を有してもよい。
【0045】
各態様において、モデルは、画像に適合することができる形状及び/又は画像の特徴の任意の適切な記述であってもよい。例えば、モデルは、画像への最良の適合を決定するためにモデルの位置及び/又は回転を変化することにより画像に適合され得る剛体モデルであってもよい。代替として、モデルは変形可能なモデルであってもよい。変形可能なモデルは、モデルを画像に効果的に適合させるために、領域の形状が所定の制約の範囲内で変化され得るモデルである。変形可能なモデルの例は、形状モデル又は見えモデル、変形可能なテンプレート及び変形可能なアトラスのような統計的モデルである。モデルが見えモデルの場合、それらは体積又は表面を表し得る。
【0046】
1つの又は各画像は、コンピュータ断層画像、磁気共鳴画像、放射線画像、X線画像及び超音波画像を有するグループから選択された画像であってもよい。適合するステップは、剛体レジストレーション、非剛体レジストレーション、Active Shape Modelling及びActive Appearance Modellingを有するグループから選択された適合技術を適用するステップを有してもよい。前記複数の第2のモデルは、オブジェクトの任意の分解を表してもよい。関心領域は、体の部位であってもよい。
【0047】
用語「特徴」は、本願明細書では、識別されるべき画像の任意の部分を示すために用いられる。例えば、特徴は、画像領域、画像境界、画像表面又は画像内の点であってもよい。関心領域が体の部位である場合、特徴は解剖学的特徴であってもよい。解剖学的画像領域の例は、大腿のような骨を示す領域、臓器又は臓器の一部を示す領域(例えば、前頭葉を示す領域)、変態を示す領域(例えば、嚢胞を示す領域若しくは病理的な骨増殖を示す領域)を含む。解剖学的境界及び表面の例は、骨/軟骨の境界及び/又は表面、並びに室/脳脊髄液の境界及び/又は表面を含む。画像内の解剖学的点の例は、腸骨稜である。
【0048】
本発明の態様は、任意の都合の良い形態で実施できる。例えば、コンピュータプログラムは、本願明細書に記載された方法を実行するために提供されてもよい。このようなコンピュータプログラムは、適切なコンピュータ可読媒体に保持されてもよい。コンピュータ可読媒体の用語は、適切な有形記憶装置(例えば、ディスク)を含む。本発明の態様は、適切にプログラムされたコンピュータを用いても実施できる。
【0049】
ある態様の文脈で記載された特徴は、他の態様の文脈で用いることができる。
【0050】
本発明の実施形態は、単なる例として添付の図面を参照して以下に説明される。
【図面の簡単な説明】
【0051】
【図1】本発明の実施形態による画像の解析のためのシステムの概略図を示す。
【図1A】図1のシステムのコンピュータを更に詳細に示す概略図である。
【図2】図1のシステムを用いた処理に適した画像である。
【図3】図1のシステムで画像を解析するために実行される処理を示すフローチャートである。
【図4】それぞれ対応するモデルによりモデル化された部分に分割された図2の画像を示す。
【図5】図3の処理の一部を更に詳細に示すフローチャートである。
【図6】図5の処理の一部を更に詳細に示すフローチャートである。
【図7】点に適用される重みとモデルの中心からその点までの距離との間の関係を示すグラフである。
【発明を実施するための形態】
【0052】
図1を参照すると、コンピュータ1は、1又は複数のオブジェクトの画像2を受け、モデル3を適用するよう構成される。モデル3が画像2に適合され、モデル4のパラメータ化が生成される。モデル3は、Active Appearance Model又はActive Shape Modelのような統計的モデルであり、画像2の対象であるオブジェクトと同じクラスのオブジェクトのトレーニング画像セットに基づき生成されている。モデル3は、トレーニング画像内の変動の統計的モデルであり、トレーニング画像セットを処理して平均モデル及びトレーニングセットの平均モデルからの変動の範囲を生成することにより生成される。コンピュータ1により生成されたパラメータ化(parameterisation)4は、画像の特徴を識別するために用いることができる。
【0053】
図1Aは、コンピュータ1を更に詳細に示す。コンピュータは、CPU1aを有することが分かる。CPU1aは、揮発性メモリ1bに格納された命令を読み出し実行するよう構成される。揮発性メモリ1bは、ランダムアクセスメモリの形態である。揮発性メモリ1bは、CPU1aによる実行のための命令及びそれらの命令により用いられるデータを格納する。例えば、使用中、画像2及びモデル3は、揮発性メモリ1bに格納される。
【0054】
コンピュータ1は、ハードディスクドライブ1cの形態の不揮発性記憶装置を更に有する。画像2及びモデル3は、ハードディスクドライブ1cに格納されてもよい。コンピュータ1は、I/Oインタフェースを更に有する。I/Oインタフェースには、コンピュータ1との接続に用いられる周辺装置が接続される。より詳細には、ディスプレイ1eは、コンピュータ1からの出力を表示するよう構成される。ディスプレイ1eは、例えば画像2の描写を表示し得る。さらに、ディスプレイ1eは、パラメータ化4を表現するデータをユーザに提供し、入力画像2をパラメータ化4とかぶせて表示してもよい。入力装置も、I/Oインタフェース1dに接続される。このような入力装置は、キーボード1e及びマウス1fを含み、これらはユーザにコンピュータ1と相互作用させる。ネットワークインタフェース1gは、コンピュータ1を適切なコンピュータネットワークに接続させ、他のコンピュータ装置とデータを送受信できるようにする。CPU1a、揮発性メモリ1b、ハードディスクドライブ1c、I/Oインタフェース1d及びネットワークインタフェース1gは、バス1hにより共に接続される。
【0055】
図2を参照すると、図1のシステムによる処理に適した画像が示される。図2は、膝の磁気共鳴(MR)体積(volume)画像による1枚である。図1のシステムは、異なる種類の画像を同じ方法で処理できる。例えば、3次元表面のような注釈付きのデータから引き出された画像又は解剖学的体積画像は、以下の方法で処理できる。
【0056】
以下に記載する処理は、トレーニング画像セットに基づき構築されたモデルMを参照する。モデルMは、上述のように、トレーニング画像セットに基づき構築された統計的モデルであり、画像I内の関心のある特徴のモデルである。以下の本発明の説明の理解を助けるために、先ず、モデルMの生成及びモデルMの画像Iへの適合を説明する。しかしながら、モデルMの生成及び適合は、任意の都合の良い方法で実行することができることが理解されるだろう。例えば、モデルMは、米国特許番号第7584080号明細書に記載されたパラメータ化技術を用いて生成でき、該特許明細書の内容は参照により本願明細書に組み込まれる。
【0057】
モデルMは、先ず、トレーニング画像セット内の各画像内の対応する所定の関心点を手動でマーク付けすることにより、トレーニング画像セットから生成される。関心点のセットは、モデル化されるべきオブジェクトの特徴に基づき選択される。例えば、モデル化されるべきオブジェクトが膝関節である場合、関心点は、膝関節の解剖学的特徴に基づき選択され得る。モデルMは、例えば、形状モデル又は見え(appearance)モデルであり、これらのモデルは以下に説明される。しかしながら、例えば、制約セットの範囲内で変形の許される標準的又は平均的な例の形態である変形可能なテンプレート又は変形可能なアトラスのような他のモデルが用いられてもよいことが理解されるだろう。変形可能なモデルの概説は、Tim Mclnerney、Demetri Terzopoulosの「Deformable Models in Medical Image Analysis: A Survey」、Medical Image Analysis, 1(2):91−108, 1996で与えられる。この文献の内容は参照により本願明細書に組み込まれる。
【0058】
モデルMが形状モデルの場合、上述のように選択された、各トレーニング画像と関連付けられた関心点のセットは、選択された点の座標の連なりを有する形状ベクトルにより表される。特定のトレーニング画像の形状ベクトルxは、次の通りである。
【0059】
【数1】

ここで、nは各画像内の関心点の数である。
平均形状ベクトル バーxは、式(2)により計算できる。
【0060】
【数2】

ここで、Nはトレーニング画像の数である。
は、トレーニング画像iを表すベクトルである。
【0061】
複数の形状ベクトルは、各トレーニング画像について1つあり、各列が形状ベクトルを表す行列Xを生成するために用いることができる。
【0062】
個々のトレーニング画像内で選択された点により表される形状の各々は、変換され、回転され、スケーリングされて、それらの重心が一致し、各画像内の点と平均形状の点との差の二乗和が最小化されるようにする。
【0063】
共分散行列Sは、先ず、式(2)を用いて平均形状ベクトルを計算することにより、位置合わせされた(aligned)形状から生成できる。トレーニングセット内の各画像について、平均形状からの偏差が式(3)から計算できる。
【0064】
【数3】

次に、共分散行列Sは、式(4)と用いて計算される。
【0065】
【数4】

行列Sの固有ベクトルが決定され、t個の最重要固有ベクトルが生成される。
【0066】
このように、任意の形状を、式(5)により与えられる形状モデルに従って表すことができる。
【0067】
【数5】

ここで、xは、形状を表すベクトルである。
バーxは、(式(2)により)トレーニングセット内の画像の形状ベクトルから生成された平均形状ベクトルである。
は、上述の固有ベクトルの行列である。
は、形状のベクトルxを生成するために行列Pの固有ベクトルに適用されるべき重みのt個の要素のベクトルである。
【0068】
の構成要素(b,i=1,...t)は、形状パラメータと称される。固有ベクトルPは、それらの固有値λに従って格納される。固有値λは、各固有ベクトルと関連付けられたトレーニング形状に渡って観察される相違を記述する。つまり、λは、固有ベクトルの各々により記述される平均形状からの変化の割合を表す。t(<N)の値を選択することにより、トレーニング形状で観察される全ての変化のうちの特定の選択された割合を表すモデルを作成できる。
【0069】
行列Pに含まれる各固有ベクトルは、モデル化された形状の変化のモードを表す。ベクトルbの要素の値を変化させることで、トレーニング画像の画像内で観察される範囲に含まれる形状を生成できる。つまり、ベクトルbの1つの要素bの変化は、モデル化された形状の1つの特性に影響を及ぼし、一方で、第2の要素bはモデル化された形状の別の特性に影響を及ぼすだろう。
【0070】
見えモデルは、上述の形状モデルの拡張である。上述のように、それぞれのトレーニング画像内で選択された点が変換され、回転され、スケーリングされて、それらの重心が一致し、各画像内の点と平均形状の点との間の差の二乗和が最小化されるようにした後に、グレイレベルの見え(appearance)の統計的モデルを構築するために、画像を正規化して全体的な明暗の変化の影響を最小化した後に、グレイレベルの情報gimが、平均形状xによりカバーされた領域に渡って画像からサンプリングされる。上述の方法をグレイレベルのデータに適用して、形状モデル(5)を決定するために、式(6)に示されるように、グレイレベルのモデルが得られる。
【0071】
【数6】

ここで、gは、平均された正規化グレイレベルベクトルである。
は、固有ベクトルの行列である。
は、グレイレベルパラメータのセットである。
【0072】
(式(5)中の)ベクトルb及び(式(6)中の)ベクトルbの要素の値を変化させることで、トレーニング画像の画像内で観察される範囲に含まれる形状及びグレイレベル画像を生成できる。
【0073】
トレーニング画像内の形状及びグレイレベルの変動の間の関係を捕らえるために、ベクトルbは、式(7)により各トレーニング画像について生成される。
【0074】
【数7】

ここで、Wは、ベクトルb内の各形状パラメータと関連付けられた重みの対角行列である。
行列Wは、bの値を調整して、形状とグレイレベルモデルとの間のユニットの差を許容する。
【0075】
式(8)に示される更なるモデルは、モデル(5)及び(6)を生成するために、上述の方法を用いて、連結ベクトルのセットbから生成される。
【0076】
【数8】

ここで、Qは、固有ベクトルの行列である。
cは、見えパラメータのベクトルである。
【0077】
式(8)のモデルは線形なので、形状及びグレイレベルは、式(9)によりcの関数として直接的に表すことができる。
【0078】
【数9】

ここで、固有ベクトルの行列は、次の通りである。
【0079】
【数10】

例示的な画像は、cが与えられると、形状に無関係なグレイレベル画像をベクトルgから生成し、それをxにより記述される制御点を用いてラッピングすることにより、合成できる。
【0080】
一般的に、モデルを適合する目的は、モデルを未知の画像に良好に適合させるパラメータのセットcを決定するためである。これを行う1つの方法は、以下に説明するActive Appearance Modelを用いることである。
【0081】
Active Appearance Modelは、モデルにより生成された再構成画像と潜在的な目標画像Iとの間の差を用い、繰り返し、モデルパラメータを良好な値に向けて駆動する。事前学習段階で、見えパラメータのベクトルの既知の変位δcが、既知のモデルインスタンスに適用され、モデルと画像との間の結果として生じた差δI=I−Iが測定される。ここで、Iは画像I内のグレイレベル値のベクトルであり、Iは現在のモデルパラメータcのグレイレベル値のベクトルである。多変数の直線回帰が、このようなトレーニング変位の大きなセットに適用され、近似直線関係δc=AδIが確立される。
【0082】
モデルと画像Iとの間の最良の一致を識別するために、差ベクトルの大きさΔ=|δI|が、学習段階中に学習された直線関係を用いて最小化され、モデルの適合を向上させるモデルパラメータcへ向けた調整を予測する。モデルパラメータcは、もはやΔが改善されなくなるまで、繰り返し調整される。Active Appearance Modelは、T.F.Cootes、C.J.Edwars、C.J.Taylor、「Active Appearance Models」、IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, Volume23, Issue 6に詳細に記載されている。この文献は、参照により本願明細書に組み込まれる。
【0083】
図3を参照すると、モデルを画像に適合させる処理が示される。ステップS1で、画像Iを受ける。ステップS2で、モデルMが画像Iに適用される。モデルMは、トレーニング画像セットに基づき構築された統計的モデルであり、上述のモデルのような画像I内の関心のある特徴のモデルである。
【0084】
ステップS3で、カウンタkは値2に設定される。ステップS4で、モデルセットMの各モデルmは、モデルMの適合に基づき、画像I内で初期化される。モデルセットMは、モデルMによりモデル化された解剖学的領域の分解である。つまり、各モデルmによりモデル化された各点は、モデルMによりモデル化された点に対応し、モデルセットMは、全部で、画像I内のモデルMによりモデル化された全ての関心のある特徴をモデル化する。全ての値kについて、モデルセットMのモデルは重なり合い、モデルMによりモデル化された画像2内のオブジェクトの各点が、モデルセットM内の複数のモデルmによりモデル化されるようにする。モデルセットMを生成するためにモデルMによりモデル化された解剖学的領域の分解は、図4を参照して以下に更に詳細に説明される。
【0085】
各モデルmの初期化は、ステップS2で決定されたモデルMの対応する点の適合に基づき、各モデル内の点を画像Iに適合させることにより実行される。対応する点は、点同士の関係を示す点の対応を用いて決定される。点の対応は、モデルMによりモデル化された各点を、(全てのMについて)各点に対応するモデルm内の点に関連させる。
【0086】
このように、モデルセットM内の各モデルの中の点同士の関係は、モデルセットM内のモデルm及びモデルセットMk+1内のモデルmk+1の中の点同士の関係と共に格納される。
【0087】
ステップS5で、各モデルmの画像Iへの適合は、画像Iの特性及びモデルmの特性に基づき、上述のモデルMの適合と同じ方法で、調整される。各モデルmは、モデルセットM内の他のモデルmと独立に調整され、各モデルmは、mによりモデル化された画像I内の特徴の位置の推定を生成する。ステップS5の調整の後に、ステップS6で、セットM内のモデルの画像Iへの適合が結合され、画像内の関心のある特徴の各々の位置の推定を提供する結合された推定を生成する。結合された推定は、任意の適切なデータの形式をとり得る。例えば、結合された推定は、画像I内の関心のある特徴の各々の位置の幾何学的指示であってもよく、画像I内の関心のある特徴を示す画像Iの説明であってもよく、又は両者の組合せであってもよい。結合された推定を生成するための、モデルMの適合を結合することは、図5を参照して以下に更に詳細に説明される。
【0088】
ステップS7で、画像に適合されるべき更なるモデルセットMがあるか否かを決定するためにチェックが行われる。更なるモデルセットがあると決定されると、ステップS8で、カウンタkがインクリメントされ、処理はステップS4に進む。ステップS4では、更なるモデルセットMk+1が、ステップS6で決定された結合された推定に基づき初期化される。その他の場合、ステップS9で、関心のある特徴の位置の推定は、モデルセットMから生成された結合された推定に基づき出力される。各セットMk+1は、通常、前のセットMよりも多くの数のモデルを含み、通常、セットMk+1内のモデルは、セットM内のモデルよりも少ない数の点を含む。したがって、セットMのうちkの大きいモデルほど、通常、オブジェクトのより局所的領域をモデル化し、通常、オブジェクトのより小さい領域がより高い精度でモデル化される。
【0089】
結合された推定に基づくモデル適合の初期化は、画像Iの部分が実際には関心のある特徴でないときに、モデルが画像Iのその部分を関心のある特徴として誤って識別する危険を最小限に抑える。つまり、モデルが画像の比較的小さい部分をモデル化する場合、このようなモデルは画像の誤った部分を適合してしまう可能性が高くなる。したがって、小さいモデルほど、誤った適合を回避するために、より良好な初期化が必要である。階層的スキームの使用は、異なるサイズの複数のモデルを画像に適用することを可能にし、比較的大きいモデルの適合が比較的小さいモデルの適合を初期化するようにする。階層の各レベルにおけるモデルMi+1は、階層のレベルMにより生成された推定を更新する。
【0090】
以上に、モデルMによりモデル化された解剖学的領域が分解されること、分解されたものを処理してモデルセットMを生成することを記載した。図4は、図2の画像に基づきモデルMによりモデル化された解剖学的領域の分解を示す。図4は、3つの領域10、11、12を示す。各領域10、11、12は、図2の画像の一部に対応する。各領域10、11、12は、モデルMによりモデル化された関心点のサブセットに対応し、モデルセットM内のモデルのうちの1つに対応する図2の画像の領域を示す。領域10、11、12は重なり合い、幾つかの点が領域10、11、12のうちの2つ又は3つに含まれることが分かる。例えば、領域10の画像特徴13は、それぞれ領域11及び12の特徴14及び15に対応する。したがって、モデルMによりモデル化された特徴13、14及び15に対応する任意の点は、画像領域10、11及び12に対応するモデルの各々によりモデル化される。モデルセットM内の5乃至15個のモデルで各画像点をモデル化することが効率的であることが分かった。しかしながら、各画像点は、セットM内の2以上の他の数のモデルでモデル化されてもよい。
【0091】
一般的に、各モデルセットMは、複数の関心点を選択し、選択した点の各々に基づき領域を識別することにより決定される。モデルセットMのモデルmの基礎を形成するために選択した点のセットは、上述のようにモデルmを生成するために、トレーニング画像セットに関して処理される。使用されるトレーニング画像セットはモデルMを生成するために使用されるのと同じトレーニングセットでよいこと、モデルMの生成で用いられた点に対応する点でパラメータ化された別のトレーニング画像セットでもよいことが理解されるだろう。幾つかの実施形態では、トレーニング画像セットのサブセットが、各モデルを生成するために用いられてもよい。ここで、各サブセットは、トレーニング画像セットからの交換によりランダムにサンプリングすることにより選択される。つまり、各モデルは、トレーニング画像のランダムに選択されたサブセットに基づき生成される。ここで、特定のモデルの生成のために選択されたサブセットは、他のモデルの生成のために選択されたサブセットに影響を与えない。
【0092】
モデルセットM内の任意のモデルmによりモデル化された特定の関心点は、任意の都合の良い方法で選択されてよい。例えば、セグメンタは、初期モデルによりモデル化された関心点のセットを重複するサブセットに分割するために用いられてもよい。サブセットは、点をランダムに選択し、モデルのための基礎を提供するために各トレーニング画像内の各選択された点を取り囲む所定の大きさの領域を決定することにより決定されてもよい。つまり、所定の領域内に含まれる任意の点は、モデルセットMのモデルの基礎として用いられる。点は、モデル化されるべき各点について所望の程度の重なりが達成されるまで、同じ方法で選択されてもよい。
【0093】
代替として、点のセットは、最終的に初期モデル全体に分布するように選択され、選択された点同士の距離がほぼ等しくなるようにする。次に、選択された点の各々を囲む領域が選択され、選択された点と関連する領域内に含まれる初期モデルの点は、モデルセットMのモデルの基礎として用いられる。このように、重なりの量は、重なりの均一な分布が達成されるように制御できる。
【0094】
初期モデルは、初期モデルの平均モデルに基づき処理され得る。つまり、初期モデルの平均モデルからの点は、更なるモデルの生成の基礎として用いられ得る。
【0095】
更に別の代替は、特定の画像特徴に関連する関心のある特徴と関連付けられた初期モデル内の点のセットを選択することである。例えば、高い曲率を有する領域内の点が選択され、選択された点の各々について、モデルmが、上述のように、選択された点を囲む領域を選択し、各点がモデルm内の領域に含めることにより決定されてもよい。
【0096】
上述の各実施形態では、通常、モデルmk+1によりモデル化される領域の大きさは、モデルセットMk+1内のモデルの各々が対応するモデルセットM内のモデルmより小さい関心領域をモデル化するように、選択される。モデルによりモデル化される領域の大きさは、例えば、段階kで正確にモデル化されることが望ましい特徴の大きさに基づき選択されてもよい。したがって、幾つかの実施形態では、モデルセットMk+1内の少なくとも幾つかのモデルは、対応するモデルセットM内のモデルより小さい領域をモデル化しない。例えば、特定の特徴が、例えばトレーニング段階中に更なる分解からの利益を示さない場合、それらの特徴をモデル化するために選択された領域は、種々のモデルセットを通じて比較的大きいままであり、比較的小さい他の領域は、モデルの基礎を形成するために選択される。
【0097】
モデルセットMの決定は初期段階で実行されるので、効率的なモデルセットを選択するのに比較的多くの時間が費やされる。例えば、上述の選択方法はそれぞれ繰り返し実行され、生成される各モデルセットMの有効性は、手動でマーク付けされた画像に対してテストされ、特定のモデルセットMがどの程度良好にテスト画像データ内の変動を表すことができるかを決定してもよい。
【0098】
以上に、モデルセットMk+1が、通常、モデルセットMよりも多くの数のモデルを含むこと、モデルセットMk+1内の各モデルが、通常、モデルセットM内のモデルよりも小さい領域の解剖学的領域をモデル化することを記載したが、通常、各モデルセットMは、テスト画像データ内の変動を効率的に表すよう選択されることが理解されるだろう。したがって、幾つかの場合には、モデルセットMk+1は、モデルセットMと同数又はそれより少ない数のモデルを含み、及び/又はモデルセットMk+1内のモデルは、モデルセットM内のパッチと同様の大きさ又はそれより大きい大きさの領域をモデル化してもよく、このような選択肢はテスト画像データ内の変動をより効率的に表すことができる。
【0099】
図5を参照すると、図3のステップS6のモデルMの適合を結合する処理が更に詳細に示される。ステップS15で、モデルセットM内のモデルmが選択される。ステップS16で、選択されたモデルmの適合が、モデルセットMk−1についてステップS6で生成された結合された推定の対応する点の適合に十分近いか否かを決定するために、チェックが実行される。モデル間の対応する点及び結合された推定は、点対応により決定される。
【0100】
選択されたモデルmの適合がモデルセットMk−1から生成された結合された推定の対応する点の適合に十分近いか否かの決定は、任意の都合の良い方法で決定され得る。例えば、幾何学的規則が、モデル化されるべきオブジェクトの各領域について決定されてもよい。幾何学的規則は、(モデルセットMk−1から生成された結合された推定により示されるように)領域を表すモデルがモデルの開始点に対して移動できる最大距離、又はモデルがモデルの開始点に対して回転できる最大度数、又は両者の組合せを示してもよい。モデルが許容最大値を超えない場合、モデルの適合は十分近いと決定される。
【0101】
代替の実施形態では、分類に基づく拒否が用いられてもよい。分類に基づく拒否では、システムは、モデルの良好な適合の例の数(望ましくは大きい数)及びトレーニング段階でのモデルの粗悪な適合の例の数(望ましくは大きい数)で表される。このように、システムは、良好な適合と粗悪な適合の特徴を、モデルにより達成された適合と理想的な適合との間の誤差に基づき「学習」できる。
【0102】
選択されたモデルmの適合が十分近いと決定された場合、ステップS17で、モデルmは許容可能なモデルセットAに追加される。ステップS16で選択されたモデルmの適合が十分近くないと決定された場合、又はステップS17でモデルmが既にAに追加されていた場合、処理はステップS18に進む。ステップS18で、M内に前に選択されていないモデルがあるかどうかが決定される。M内に前に選択されていないモデルがある場合、処理はステップS15に戻り、前に選択されていないモデルが選択される。その他の場合、処理はステップS19に進み、セットA内のモデルが結合され、結合された推定を更新するために用いられる。モデルの結合は、図6及び7を参照して以下に説明される。
【0103】
図5の処理は、各段階で、結合された推定が画像I内の特徴の適度に正確な推定であるという仮定に基づく。ステップS5のモデルセットMの調整の後に、モデルセットM内のモデルmの点が、結合された推定の対応する点に対して所定量より多く調整されていた場合、モデルは大きく移動され過ぎたと考えられ、もはや画像の正しい部分をモデル化していないので、モデルmは拒否される。
【0104】
上述のように、モデルセットMは、結合された推定で示された関心領域の各点がM内の複数のモデルによりモデル化されるように、重なり合う。したがって、結合された推定の各点は、モデルmが拒否されるとき、概して依然としてモデルセットMに基づき調整され得る。
【0105】
図6を参照すると、図5のステップS19のモデルの結合及びモデルの結合に基づく結合された推定の更新が更に詳細に示される。ステップS25で、結合された推定内の点pが選択される。ステップS26で、モデルセットMが決定される。モデルセットMpは、点対応に基づき決定された許容可能なモデルセットAのサブセットである。Aの各モデルは点pをモデル化する。ステップS27で、M内のモデルの数が1以上か否かが決定される。M内のモデル数が1より少ない場合、結合された推定内の点pについて更新が実行できないと決定され、処理はステップS25に戻り、前に選択されていない点が選択される。
【0106】
ステップS27で、M内のモデル数が1以上であると決定された場合、ステップS28で、M内の各モデルmについて点pの重みwが決定される。各重みwは、モデルmの、図3のステップS6で実行された結合された推定内の点pの更新に対する貢献の重みを提供する。モデルセットM内の各モデルは、モデルが調整された後の点pの異なる場所を示す。また、重みwは、特定のモデルmが結合された推定内の点pの全体の調整に与える影響がどれだけ大きいかを決定する。モデルmについての重みwの決定は、図7を参照して以下に説明される。ステップS29で、結合された推定内の点pは、セットM内の各モデルの点pの重み付けされた貢献に基づき更新される。つまり、特定のモデルの点pについて、点pの適合は、モデルセットM内の各モデルの点に関するデータに基づき更新される。
【0107】
図7を参照すると、モデルmによりモデル化された領域の中心からの距離に対する重みwの変動が示される。丸20により示される領域の中心で、線21により示される値の重みは、線22により示される領域の端における値の重みと比べて高い。このように、点pがモデルmによりモデル化された領域の中心の比較的近くにある場合、モデルmに基づく結合された推定内の点pの調整への貢献は、点pがモデルmによりモデル化された領域の端に比較的近くにあるモデルmに基づく結合された推定内の点pの調整への貢献に比べて比較的大きい。したがって、点pがmによりモデル化された領域の中心に比較的近い場合、点pの周囲の比較的多い情報量がmによりモデル化され、モデルm内の点pの適合の決定に用いられるので、重みwは、任意の特定のモデルm内の点pを更新するために用いられた情報量を反映する。点pがモデルmによりモデル化された領域の端にある場合、重みwは小さいがゼロより大きいことが分かる。
【0108】
以上に、先ずモデルMが画像Iに適合され、次にモデルMの適合に基づき、モデルセットMが続いて画像Iに適合されることが記載された。代替の実施形態では、モデルMの適合が回避され、最初に結合された推定がモデルセットMにより確立される。つまり、幾つかの実施形態では、先ず、複数のモデルが画像Iに適合され、結合された推定を生成するために結合され、次にモデルセットMi+1が上述の方法で画像Iに適合される。
【0109】
以上に、点対応が、各関心点pについて、関心点pをモデル化するモデルm内の点と関心点pに対応する結合された推定内の点との間の関係を示すことが記載された。代替の実施形態では、結合された推定は、結合された推定内の各点がその点と関連する構造又は特徴を示すラベルを有するように、ラベル付けされた画像であってもよい。例えば、画像内の大腿のような解剖学的特徴を識別することが望ましい場合、結合された推定内の幾つかの点は、画像I内の対応する点が大腿を表すために現在推定されていることを示す関連付けられたラベルを有してもよい。このように、複数のモデルの画像Iへの適合及び結合された推定の生成は、ラベルに基づき実行できる。例えば、モデルセットMが画像に適合された後、特定の特徴をモデル化する各モデルは、結合された推定の更新に貢献する。したがって、モデルの結合後、画像I内の特定の特徴を表すとして示された各点について、結合された推定内の対応する点が特定の特徴を表すとしてラベル付けされる。
【0110】
以上に本発明の特定の実施形態が記載されたが、本発明の精神と範囲から逸脱することなく、記載された実施形態に対して種々の変更を行うことができることが理解されるだろう。つまり、記載された実施形態は、全ての点において例示的であり非限定的であると見なされる。とくに、特定の形態が特定の処理のために記載された場合、このような処理は適切な出力データをもたらすよう構成された任意の適切な形態で実行され得ることが理解されるだろう。

【特許請求の範囲】
【請求項1】
コンピュータにより実施される画像内の特徴を識別する方法であって、
複数の第2のモデルを前記画像に適合させるステップであって、前記複数の第2のモデルは共に関心領域をモデル化し、前記関心領域の各部分は、前記複数の第2のモデルのうちの少なくとも2つによりモデル化される、ステップ、
前記複数の第2のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップ、
を有する方法。
【請求項2】
最初に前記関心領域の第1のモデルを前記画像に適合させるステップ、
を更に有し、
前記複数の第2のモデルを適合させるステップは、前記第1のモデルの前記適合に基づく、
請求項1に記載の方法。
【請求項3】
前記複数の第2のモデルを前記画像に適合させるステップは、前記第1のモデルの前記適合に基づき初期化される、請求項2に記載の方法。
【請求項4】
前記複数の第2のモデルを適合させるステップは、前記第1のモデルの前記適合により制限される、請求項2又は3に記載の方法。
【請求項5】
前記複数の第2のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップは、前記複数の第2のモデルの前記適合に基づきデータを結合するステップ、
を有する、請求項1乃至4のいずれか一項に記載の方法。
【請求項6】
前記複数の第2のモデルの前記適合に基づきデータを結合するステップは、前記関心領域の各部分について、該部分が含まれる前記複数の第2のモデルの各々から引き出されたデータに関連する重みを適用するステップを有する、請求項5に記載の方法。
【請求項7】
特定の第2のモデルでは、前記関連する重みは、前記特定の第2のモデルに関して定められた点から前記領域の前記部分までの距離に基づく、請求項6に記載の方法。
【請求項8】
前記特定の第2のモデルに関して定められた前記点は、前記特定のモデルの中心に関して定められる、請求項7に記載の方法。
【請求項9】
特定の特徴は、前記第2のモデルのうちの2つによりモデル化され、前記結合は、前記第2のモデルのうちの前記2つの各々を適合させることにより生成された前記特定の特徴と関連するデータを結合することにより、前記特定の特徴を識別する、請求項5乃至8のいずれか一項に記載の方法。
【請求項10】
前記結合は、複数の関係を示す格納されたデータに基づき、各関係は、第2のモデルの少なくとも一部と少なくとも1つの他の第2のモデルの少なくとも一部との間のものである、請求項5乃至9のいずれか一項に記載の方法。
【請求項11】
複数の関係を示す前記格納されたデータは、第2のモデルの少なくとも一部と前記第1のモデルの一部との間の関係を示す、請求項2に従属するときの請求項10に記載の方法。
【請求項12】
前記結合は、例えば、前記複数の第2のモデルのうちの少なくとも2つに含まれる前記関心領域の各部分について、前記関心領域の前記部分の重み付けされた平均的な適合を、前記複数の第2のモデルのうちの前記少なくとも2つの各々の前記関心領域の前記部分への適合に基づき、決定するステップを有する、請求項6乃至11のいずれか一項に記載の方法。
【請求項13】
前記複数の第2のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップは、前記複数の第2のモデルの前記適合に基づき前記画像内の前記特徴の位置の推定を決定するステップ、
を更に有する、請求項1乃至12の何れか一項に記載の方法。
【請求項14】
前記画像内の特徴の位置の推定を決定するステップは、
前記画像内の前記特徴の位置の初期の推定を得るステップ、
前記複数の第2のモデルの適合に基づき、前記初期の推定を更新するステップ、
を有する、請求項13に記載の方法。
【請求項15】
前記初期の推定を更新するステップは、
前記第2のモデルのうちの1つの適合が所定の基準を満たす場合、前記第2のモデルのうちの前記1つの前記適合に基づき初期の推定を更新するステップ、
を有する、前記請求項14に記載の方法。
【請求項16】
前記所定の基準は、前記特徴の位置の前記初期の推定と前記第2のモデルのうちの前記1つの前記適合との間の関係である、請求項15に記載の方法。
【請求項17】
前記所定の基準は、幾何学的基準を有する、請求項15又は16に記載の方法。
【請求項18】
前記所定の基準は、トレーニング段階中に、トレーニング画像のセットに基づき、前記第2のモデルのうちの前記1つについて決定される、請求項15乃至17のいずれか一項に記載の方法。
【請求項19】
前記所定の基準は、複数のデータアイテムに基づき、各データアイテムは、前記第2のモデルのうちの1つの前記トレーニング画像のうちの個々の1つへの適合を表す、請求項18に記載の方法。
【請求項20】
前記複数の第2のモデルの各々は、関連付けられた所定の基準を有する、請求項15乃至19のいずれか一項に記載の方法。
【請求項21】
複数の第3のモデルを前記画像に適合させるステップであって、前記複数の第3のモデルは、前記関心領域の少なくとも一部を共にモデル化し、前記複数の第3のモデルの適合は、前記特徴の位置の前記推定に基づく、ステップ、
前記複数の第3のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップ、
を更に有する請求項13乃至20のいずれか一項に記載の方法。
【請求項22】
前記関心領域の所与の部分は、第1の数の前記第2のモデル及び異なる第2の数の前記第3のモデルによりモデル化される、請求項21に記載の方法。
【請求項23】
前記第2の数は前記第1の数より大きい、請求項22に記載の方法。
【請求項24】
前記複数の第2のモデルは、前記オブジェクトの任意の分解である、請求項1乃至23のいずれか一項に記載の方法。
【請求項25】
前記複数の第2のモデルを生成するステップ、
を更に有する請求項1乃至23のいずれか一項に記載の方法。
【請求項26】
トレーニング画像セットを受信するステップであって、前記トレーニング画像セットの中の各画像は、前記関心領域を表す、ステップ、
を更に有し、
前記オブジェクトの前記複数の第2のモデルを生成するステップは、前記トレーニング画像セットに基づく、
請求項25に記載の方法。
【請求項27】
前記複数の第2のモデルの中の各モデルは、前記トレーニング画像セットの中の画像のサブセットに基づき生成され、前記サブセットは、前記トレーニング画像セットからの交換によりランダムにサンプリングすることにより選択される、
請求項26に記載の方法。
【請求項28】
前記複数の第2のモデルを生成するステップは、
複数のモデルを生成するステップであって、前記複数のモデルのうちの各々は、前記関心領域の少なくとも一部をモデル化する、ステップ、
更なるトレーニング画像セットに関して、前記複数のモデルを処理するステップ、
前記関心領域の各部分がモデルのサブセットの中の複数のモデルにより表されるように、前記処理に基づき、前記複数のモデルの前記サブセットを選択するステップ、
を有する、請求項25乃至27のいずれか一項に記載の方法。
【請求項29】
前記複数の第2のモデルを生成するステップは、
第1の複数の第2のモデルを生成するステップであって、前記関心領域の各部分が前記第1の複数の第2のモデルのうちの複数によりモデル化されるようにする、ステップ、
第2の複数の第2のモデルを生成するステップであって、前記関心領域の各部分が前記第2の複数の第2のモデルのうちの複数によりモデル化されるようにする、ステップ、
前記第1の複数の第2のモデル及び前記第2の複数の第2のモデルを、前記更なるトレーニング画像セットに関して処理するステップ、
前記処理に基づき、前記関心領域の前記第1の複数の第2のモデル及び前記第2の複数の第2のモデルのうちの一方を選択するステップ、
を有する請求項28に記載の方法。
【請求項30】
前記第1の複数の第2のモデル及び前記第2の複数の第2のモデルを、前記更なるトレーニング画像セットに関して処理するステップは、
前記第1の複数の第2のモデルを前記更なるトレーニング画像セットの中の各画像に適合するステップ、
前記第2の複数の第2のモデルを前記更なるトレーニング画像セットの中の各画像に適合するステップ、
を有し、
前記処理に基づき前記関心領域の前記複数の第2のモデルのうちの一方を選択するステップは、前記の2つの適合するステップに基づく、
請求項29に記載の方法。
【請求項31】
前記複数の第2のモデルのうちの1つ又は各々を生成するステップは、
前記関心領域内の複数の関心点を示すデータを受信するステップ、
前記の受信した複数の関心点に基づき、前記複数の第2のモデルの一方又は各々を生成するステップ、を有する、請求項25乃至30のいずれか一項に記載の方法。
【請求項32】
前記の受信したデータに基づき、前記複数の第2のモデルの一方又は各々を生成するステップは、
前記の受信した関心点の各々について、前記複数のモデルのうちの1つのための基礎を提供するために、所定の大きさの前記関心領域の一部を選択するステップ、
を有する、請求項31に記載の方法。
【請求項33】
前記関心領域の各部分は、関心のある特徴を表す、請求項31又は32に記載の方法。
【請求項34】
前記トレーニング画像セットに基づき、前記オブジェクトの前記複数の第2のモデルを生成するステップは、
前記複数の点の各々について、前記トレーニング画像セットの中の各画像内の前記関心領域の対応する部分を処理するステップ、
を有する、請求項26に従属するときの請求項31又は32に記載の方法。
【請求項35】
コンピュータプログラムであって、実行されるとコンピュータに請求項1乃至34のいずれか一項に記載の方法を実行させるコンピュータ可読命令を有する、コンピュータプログラム。
【請求項36】
請求項35に記載のコンピュータプログラムを有するコンピュータ可読媒体。
【請求項37】
画像内の特徴を識別するコンピュータ装置であって、
プロセッサ可読命令を格納するメモリ、
前記メモリに格納された命令を読み出し実行するプロセッサ、
を有し、
前記プロセッサ可読命令は、請求項1乃至34のいずれか一項に記載の方法を実行するよう前記コンピュータを制御する命令を有する、装置。
【請求項38】
画像内の特徴を識別する装置であって、
複数の第2のモデルを前記画像に適合させる手段であって、前記複数の第2のモデルは共に関心領域をモデル化し、前記関心領域の各部分は、前記複数の第2のモデルのうちの少なくとも2つによりモデル化される、手段、
前記複数の第2のモデルの前記適合に基づき、前記画像内の前記特徴を識別する手段と、
を有する装置。
【請求項39】
コンピュータにより実施される画像内の特徴を識別する方法であって、
複数の第2のモデルを前記画像に適合させるステップであって、前記複数の第2のモデルは共に関心領域をモデル化する、ステップ、
複数の第3のモデルを前記画像に適合させるステップであって、前記複数の第3のモデルは共に前記関心領域の少なくとも一部をモデル化し、前記複数の第3のモデルを適合するステップは前記複数の第2のモデルの適合に基づく、ステップ、
前記複数の第3のモデルの前記適合に基づき、前記画像内の前記特徴を識別するステップと、
を有する方法。
【請求項40】
前記関心領域の所与の部分は、第1の数の前記第2のモデル及び異なる第2の数の前記第3のモデルによりモデル化される、請求項39に記載の方法。
【請求項41】
前記第2の数は前記第1の数より大きい、請求項40に記載の方法。
【請求項42】
最初に前記関心領域の第1のモデルを前記画像に適合させるステップ、
を更に有し、
前記複数の第2のモデルを適合させるステップは、前記第1のモデルの前記適合に基づく、
請求項39乃至41のいずれか一項に記載の方法。
【請求項43】
前記複数の第2のモデルを前記画像に適合させるステップは、前記第1のモデルの前記適合に基づき初期化され、前記複数の第3のモデルを前記画像に適合させるステップは、前記第2のモデルの前記適合に基づき初期化される、請求項42に記載の方法。
【請求項44】
前記関心領域の各部分は、前記複数の第2のモデルのうちの複数により表される、請求項39乃至43のいずれか一項に記載の方法。
【請求項45】
コンピュータプログラムであって、実行されるとコンピュータに請求項39乃至44のいずれか一項に記載の方法を実行させるコンピュータ可読命令を有する、コンピュータプログラム。
【請求項46】
請求項45に記載のコンピュータプログラムを有するコンピュータ可読媒体。
【請求項47】
画像内の特徴を識別するコンピュータ装置であって、
プロセッサ可読命令を格納するメモリ、
前記メモリに格納された命令を読み出し実行するプロセッサ、
を有し、
前記プロセッサ可読命令は、請求項39乃至44のいずれか一項に記載の方法を実行するよう前記コンピュータを制御する命令を有する、装置。
【請求項48】
画像内の特徴を識別する装置であって、
複数の第2のモデルを画像に適合させる手段であって、前記複数の第2のモデルは共に関心領域をモデル化する、手段、
複数の第3のモデルを前記画像に適合させるステップであって、前記複数の第3のモデルは共に前記関心領域の少なくとも一部をモデル化し、前記複数の第3のモデルの適合は前記複数の第2のモデルの変更された適合に基づく、手段、
前記複数の第3のモデルの前記適合に基づき、前記画像内の前記特徴を識別する手段と、
を有する装置。
【請求項49】
コンピュータにより実施される画像内の特徴を識別する方法であって、
前記画像内の前記特徴の位置の推定を決定するステップ、
前記画像の一部に第2のモデルを適合させるステップ、
前記第2のモデルの前記適合が所定の基準を満たす場合、前記第2のモデルの前記適合に基づき、前記推定を更新するステップ、
を有する方法。
【請求項50】
前記所定の基準は、前記特徴の位置の前記推定と前記第2のモデルの前記適合との間の関係である、請求項49に記載の方法。
【請求項51】
第1のモデルを前記画像に適合させるステップ、
を更に有し、
前記画像内の前記特徴の位置の前記推定は、前記第1のモデルの前記適合に基づく、
請求項49又は50に記載の方法。
【請求項52】
前記第2のモデルを前記画像の一部に適合させるステップは、前記特徴の位置の前記推定に基づく、請求項49乃至51のいずれか一項に記載の方法。
【請求項53】
前記第2のモデルを前記画像の一部に適合させるステップは、前記特徴の位置の前記推定に基づき初期化される、請求項52に記載の方法。
【請求項54】
前記所定の基準は、幾何学的基準を有する、請求項49乃至53のいずれか一項に記載の方法。
【請求項55】
前記所定の基準は、トレーニング段階中に、トレーニング画像のセットに基づき、前記第2のモデルについて決定される、請求項49乃至54のいずれか一項に記載の方法。
【請求項56】
前記所定の基準は、複数のデータアイテムに基づき、各データアイテムは、前記第2のモデルの前記トレーニング画像のうちの個々の1つへの適合を表す、請求項55に記載の方法。
【請求項57】
前記第2のモデルを前記画像の一部に適合させるステップは、複数の第2のモデルを前記画像に適合させるステップを有し、前記複数の第2のモデルのうちの各々は、関連付けられた所定の基準を有する、請求項49乃至56のいずれか一項に記載の方法。
【請求項58】
コンピュータプログラムであって、実行されるとコンピュータに請求項49乃至57のいずれか一項に記載の方法を実行させるコンピュータ可読命令を有する、コンピュータプログラム。
【請求項59】
請求項58に記載のコンピュータプログラムを有するコンピュータ可読媒体。
【請求項60】
画像内の特徴を識別するコンピュータ装置であって、
プロセッサ可読命令を格納するメモリ、
前記メモリに格納された命令を読み出し実行するプロセッサ、
を有し、
前記プロセッサ可読命令は、請求項49乃至57のいずれか一項に記載の方法を実行するよう前記コンピュータを制御する命令を有する、装置。
【請求項61】
画像内の特徴を識別する装置であって、
前記画像内の前記特徴の位置の推定を決定する手段、
前記画像の一部に第2のモデルを適合させる手段、
前記第2のモデルの前記適合が所定の基準を満たす場合、前記第2のモデルの前記適合に基づき、前記推定を更新する手段、
を有する装置。
【請求項62】
コンピュータにより実施される複数の第2のモデルを生成する方法であって、前記複数の第2のモデルは、共に関心領域をモデル化し、前記方法は、
前記関心領域の各部分が前記複数の第2のモデルのうちの複数によりモデル化されるように、前記複数の第2のモデルを生成するステップ、
を有する方法。
【請求項63】
トレーニング画像セットを受信するステップであって、前記トレーニング画像セットの中の各画像は、前記関心領域を表す、ステップ、
を更に有し、
前記オブジェクトの前記複数の第2のモデルを生成するステップは、前記トレーニング画像セットに基づく、
請求項62に記載の方法。
【請求項64】
前記複数の第2のモデルの中の各モデルは、前記トレーニング画像セットの中の画像のサブセットに基づき生成され、前記サブセットは、前記トレーニング画像セットからの交換によりランダムにサンプリングすることにより選択される、
請求項63に記載の方法。
【請求項65】
前記複数の第2のモデルを生成するステップは、
複数のモデルを生成するステップであって、前記複数のモデルのうちの各々は、前記関心領域の少なくとも一部をモデル化する、ステップ、
更なるトレーニング画像セットに関して、前記複数のモデルを処理するステップ、
前記関心領域の各部分がモデルのサブセットの中の複数のモデルにより表されるように、前記処理に基づき、前記複数のモデルの前記サブセットを選択するステップ、
を有する、請求項62乃至64のいずれか一項に記載の方法。
【請求項66】
前記複数の第2のモデルを生成するステップは、
第1の複数の第2のモデルを生成するステップであって、前記関心領域の各部分が前記第1の複数の第2のモデルのうちの複数によりモデル化されるようにする、ステップ、
第2の複数の第2のモデルを生成するステップであって、前記関心領域の各部分が前記第2の複数の第2のモデルのうちの複数によりモデル化されるようにする、ステップ、
前記第1の複数の第2のモデル及び前記第2の複数の第2のモデルを、前記更なるトレーニング画像セットに関して処理するステップ、
前記処理に基づき、前記関心領域の前記第1の複数の第2のモデル及び前記第2の複数の第2のモデルのうちの一方を選択するステップ、
を有する請求項65に記載の方法。
【請求項67】
前記第1の複数の第2のモデル及び前記第2の複数の第2のモデルを、前記更なるトレーニング画像セットに関して処理するステップは、
前記第1の複数の第2のモデルを前記更なるトレーニング画像セットの中の各画像に適合するステップ、
前記第2の複数の第2のモデルを前記更なるトレーニング画像セットの中の各画像に適合するステップ、
を有し、
前記処理に基づき前記関心領域の前記複数の第2のモデルのうちの一方を選択するステップは、前記の2つの適合するステップに基づく、
請求項66に記載の方法。
【請求項68】
前記複数の第2のモデルのうちの1つ又は各々を生成するステップは、
前記関心領域内の複数の関心点を示すデータを受信するステップ、
前記の受信した複数の関心点に基づき、前記複数の第2のモデルの一方又は各々を生成するステップ、を有する、請求項62乃至67のいずれか一項に記載の方法。
【請求項69】
前記の受信したデータに基づき、前記複数の第2のモデルの一方又は各々を生成するステップは、
前記の受信した関心点の各々について、前記複数のモデルのうちの1つのための基礎を提供するために、所定の大きさの前記関心領域の一部を選択するステップ、
を有する、請求項68に記載の方法。
【請求項70】
所定の大きさの前記関心領域の各部分は、前記の受信した関心点のうちの1つを中心とする、請求項68又は69に記載の方法。
【請求項71】
前記関心領域の各部分は、関心のある特徴を表す、請求項68乃至70のいずれか一項に記載の方法。
【請求項72】
前記トレーニング画像セットに基づき、前記オブジェクトの前記複数の第2のモデルを生成するステップは、
前記複数の点の各々について、前記トレーニング画像セットの中の各画像内の前記関心領域の対応する部分を処理するステップ、
を有する、請求項63に従属するときの請求項68乃至71のいずれか一項に記載の方法。
【請求項73】
コンピュータプログラムであって、実行されるとコンピュータに請求項62乃至72のいずれか一項に記載の方法を実行させるコンピュータ可読命令を有する、コンピュータプログラム。
【請求項74】
請求項73に記載のコンピュータプログラムを有するコンピュータ可読媒体。
【請求項75】
画像内の特徴を識別するコンピュータ装置であって、
プロセッサ可読命令を格納するメモリ、
前記メモリに格納された命令を読み出し実行するプロセッサ、
を有し、
前記プロセッサ可読命令は、請求項62乃至72のいずれか一項に記載の方法を実行するよう前記コンピュータを制御する命令を有する、装置。
【請求項76】
複数の第2のモデルを生成する装置であって、前記複数の第2のモデルは、共に関心領域をモデル化し、前記装置は、
前記関心領域の各部分が前記複数の第2のモデルのうちの複数により表されるように、前記オブジェクトの前記複数の第2のモデルを生成する手段、
を有する装置。
【請求項77】
前記画像又は前記複数の画像のうちの各画像は、コンピュータ断層画像、磁気共鳴画像、放射線画像、X線画像及び超音波画像を有するグループから選択された画像である、請求項1乃至34、39乃至44又は49乃至57又は63乃至72のいずれか一項に記載の方法。
【請求項78】
前記適合するステップは、剛体レジストレーション、非剛体レジストレーション、Active Shape Modelling及びActive Appearance Modellingを有するグループから選択された適合技術を適用するステップを有する、請求項1乃至34、39乃至44、49乃至57、67のいずれか一項、又は請求項1乃至34、39乃至44、49乃至57若しくは67のいずれか一項に従属するときの請求項77に記載の方法。
【請求項79】
前記モデルは、統計的モデル、変形可能なテンプレート及び変形可能なアトラスを有するグループから選択される、請求項1乃至34、39乃至44、49乃至57、62乃至71、77又は78のいずれか一項に記載の方法。
【請求項80】
前記モデルは、形状モデル及び見えモデルを有するグループから選択される、請求項79に記載の方法。
【請求項81】
前記モデルは、体積の又は表面の見えモデルである、請求項79に記載の方法。
【請求項82】
前記複数の第2のモデルは、前記オブジェクトの任意の分解を表す、請求項1乃至34、39乃至44、62乃至72又は77乃至81のいずれか一項に記載の方法。

【図1】
image rotate

【図1A】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公表番号】特表2013−519409(P2013−519409A)
【公表日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2012−552455(P2012−552455)
【出願日】平成23年2月8日(2011.2.8)
【国際出願番号】PCT/GB2011/000157
【国際公開番号】WO2011/098752
【国際公開日】平成23年8月18日(2011.8.18)
【出願人】(512195935)アイモーフィクス リミテッド (1)
【Fターム(参考)】