画像内の解剖学的構造の検出およびマッチング方法、画像内の解剖学的構造のマッチング方法、および、画像内の解剖学的構造の検出およびマッチングシステム
【課題】外観ならびに形状を使用して解剖学的構造のマッチングを行う。
【解決手段】候補解剖学的構造の画像が受取られ、その画像から特徴が抽出され、類似に成形された解剖学的構造に関連付けされた特徴が、候補解剖学的構造と比較され、トレーニングセットから少なくとも１つのもっとも近い近隣の形状を使用することによって候補解剖学的構造の形状が決定される。
【解決手段】候補解剖学的構造の画像が受取られ、その画像から特徴が抽出され、類似に成形された解剖学的構造に関連付けされた特徴が、候補解剖学的構造と比較され、トレーニングセットから少なくとも１つのもっとも近い近隣の形状を使用することによって候補解剖学的構造の形状が決定される。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の引用）
本件出願は、２００３年１１月１９日に出願された米国仮特許出願第６０／５２３，３２８号、２００４年３月９日に出願された米国仮特許出願第６０／５５１，５８５号、２００４年４月２７日に出願された米国仮特許出願第６０／５６５，７８６号、および２００４年６月２１日に出願された米国仮特許出願第６０／５８１，５３５号の恩典を主張するものであり、これらは引用によって完全にここに援用される。
【０００２】
本発明は、画像内の解剖学的構造の検出およびマッチング方法、画像内の解剖学的構造のマッチング方法、および、画像内の解剖学的構造の検出およびマッチングシステム、特に、外観（ａｐｐｅａｒａｎｃｅ；アピアランスまたは"見た目"とも呼ばれている）および形状を使用する対象の検出ならびにマッチングシステムおよび方法に関し、より詳細に述べれば、オフライントレーニング、オンライン検出、および外観ならびに形状マッチングを使用する解剖学的構造の検出およびマッチングシステムおよび方法に関する。
【背景技術】
【０００３】
医療検査の間に解剖学的構造（例えば、心臓等の器官）に関連付けされた異常の検出および診断のために医用画像化システム（例えば、超音波画像化システム）が使用されることは非常に一般的である。これらの画像化は、解剖学的構造に関連付けされた異常または健全な解剖学的構造を示すことができる画像内の特徴を認識できるようにトレーニングされた医療専門家（例えば、内科医または医療技術者）によって多数回にわたって評価される。
【０００４】
コンピュータテクノロジにおける進歩によって、ほとんどのコンピュータが大量のデータを容易に処理することができ、獲得された画像の品質を向上させることのできる大規模な演算を実行できるようになった。さらに、画像の分析を補助するツールとして画像処理を使用することもできる。画像内の解剖学的構造または関心対象の効率的な検出は、その構造のより進んだ分析における重要なツールである。解剖学的構造の形状の異常または形状の時間的な変化（例えば、拍動する心臓または呼吸する肺）が腫瘍もしくは種々の疾病（例えば、心筋の拡張または虚血）を示すことも多い。
【０００５】
このタイプの画像処理は、画像内の人間の顔の検出等のこのほかの応用に使用することができる。異なる顔の特徴に関連付けされる変量（例えば、髪の色および長さ、目の色、顔の形状等）から、顔の検出はトリビアルなタスクではない。顔検出は、ユーザ認識、監視、またはセキュリティ応用等の多様な用途に使用することができる。
【０００６】
種々のタイプのアプローチが関心対象（例えば、解剖学的構造または顔）の検出に使用されてきた。成分に基づく対象検出器（目検出器および口検出器等）は、非常に多様なポーズおよび照明を扱うことが可能であり、部分隠れ（ｏｃｃｌｕｓｉｏｎ；オクルージョンとも呼ばれている）および異分散ノイズの下に、より堅牢である。例えば、超音波心臓検査分析においては、同一の解剖学的構造（例えば、中隔）の局所的な外観は患者を通じて類似になるが、心臓の構造もしくは形状は、例えば観察角度もしくは疾病状態に起因して劇的に異なることがある。同様に顔検出においては、顔の特徴の間の包括的な空間関係にかなりの一致性があるが（例えば、鼻および口に対する目の概略位置）、種々の顔の特徴の構造および形状（例えば、目の形状、口の表情、およびそれらの間の相対的距離）は著しく異なることがある。
【０００７】
局所的外観の変動を捉えるために、多くのソリューションは、ガウスの仮定に頼っている。最近は、この仮定が、ブースティングまたはサポートベクトルマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）（ＳＶＭ）等の非線形学習マシンの使用を通じて和らいできた。もっとも成功しているリアルタイム対象検出方法のいくつかは、簡単な特徴のブーストカスケードを基礎とする。ブースティングを通じて選択された数の簡単な分類器の応答を組み合わせることによって、結果として得られる強い分類器は高い検出率を達成することができ、かつリアルタイムで画像を処理することができる。しかしながら現行の方法は、部分隠れ対象の存在下における検出問題に取り組んでいない。部分隠れに起因する簡単な、あるいは弱い分類器の誤った応答は、検出結果に負の影響を及ぼすことになる。
【０００８】
ほとんどの視覚的追跡応用について、測定データが不確実であり、しばしば欠落している。画像はノイズおよびひずみを伴って獲得され、部分隠れが関心対象の一部を観察不能にすることがあり得る。不確実性は、包括的に一様となり得る。しかし、ほとんどの実世界のシナリオにおいては、本質的にそれは異分散であり、すなわち非等方かつ不均一である。良好な例は、超音波心臓検査（超音波心臓データ）である。超音波は、反射アーティファクト、例えば膜から生じるような鏡面反射を被りやすい。単一の『観察方向』に起因して、鏡面構造の垂直表面は強いエコーを生成するが、傾いたあるいは『軸外』の表面は弱いエコーを生成するか又はエコーを生成しない（音響的『ドロップアウト』）。超音波心臓検査の場は、組織表面が超音波ビームに平行な心臓の範囲においてドロップアウトを生じる可能性がある。
【０００９】
超音波心臓画像は、その可用性、比較的低いコスト、および非侵襲性に起因して心機能の評価に広く使用されている。特に心室の動きの分析は虚血および梗塞の程度を評価する効率的な方法である。心内膜壁のセグメンテーションまたは検出は、左心室の弾性ならびに収縮性の定量化に向けた最初のステップである。いくつかの現行方法の例としては、ピクセルに基づくセグメンテーション／クラスタリングアプローチ（例えば、カラーキネシス）、変形オプティカルフロー、変形可能なテンプレートおよびマルコフのランダムプロセス／フィールド、および動的輪郭法／スネークが挙げられる。いくつかの方法は、２次元、３次元、または４次元（３Ｄ＋時間）空間において採用されている。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、ほとんどの現行のセグメンテーションまたは検出方法は、心内膜壁の正確な局所的動きの再生を試みておらず、ほとんどの場合、壁に沿った動き成分が無視される。この簡単化した処理は輪郭トラッカによっても採用されており、現在の輪郭の法線に沿ってしかサーチを行わない。これは、異常な左心室の局所的な動きが、平行移動または回転（音波検査技師の手の動きもしくは患者の呼吸の動きに起因する）といった包括的な動きはもとより輪郭の法線からも外れる傾向にあり、輪郭上においてもオフノーマルな局所的な動きが生じることから局所的壁の異常検出に適していない。心内膜壁の包括的な形状をはじめ局所的な動きを追跡することは、壁の局所的な動きの異常を検出する上で望ましい。この情報を使用して、虚血および梗塞をさらに診断することができる。このように、外観ならびに形状を使用して解剖学的構造のマッチングを行う検出構想が必要とされている。
【課題を解決するための手段】
【００１１】
本発明は、外観（ａｐｐｅａｒａｎｃｅ）ならびに形状を使用して解剖学的構造のマッチングを行う検出構想に関する。画像内において対象の形状もしくは構造に注釈を付された画像のトレーニングセットが使用される。画像の第２のトレーニングセットは、そのような形状ならびに構造の負の例を表し、言い換えると、そのような対象もしくは構造をまったく含まない画像である。これらのトレーニングセットに対してトレーニングされた分類アルゴリズムが、構造の位置を検出するために使用される。構造が、その構造の形状ならびに外観についての詳細を提供することができるトレーニングセット内の類似物にマッチングされる。
【００１２】
本発明の別の観点は、無効なデータ領域を含む画像内の対象の検出方法に関する。画像内のどのピクセルが有効であるかを示すための画像用のデータマスクが決定される。このデータマスクは、各ピクセルがそのピクセルより上および左にある画像内の有効ピクセルの総数に対応する値を有する積分マスクとして表わされる。画像に、少なくとも１つの正領域および１つの負領域を有する矩形特徴が適用される。積分マスクを使用して矩形特徴内の有効ピクセルについて決定が行われる。無効ピクセルを含む領域について平均強度値が近似される。矩形特徴の正領域および負領域内の強度値の総和の間の重み付け後の差を計算することによって矩形特徴についての特徴値が決定される。特徴値が、対象が検出されたか否かを決定するために使用される。
【００１３】
本発明の別の観点は、画像内の対象の検出方法に関する。画像のウインドウ内の分類器について特徴値が計算される。この特徴値が予め決定された閾値より上にあるか否かが決定される。特徴値が閾値より上にあるときに、画像のウインドウ内の後続の分類器について後続の特徴値が計算される。特徴値の値と後続の特徴とが組み合わされる。組み合わせた特徴値が現在の組み合わせのための組み合わせ閾値より上にあるか否かが決定される。組み合わせた特徴値が組み合わせ閾値より上にあるときには、さらに、後続の分類器がなくなるかあるいは組み合わせた特徴値が組み合わせ閾値より上でなくなるまで、後続分類器を含むように組み合わせた特徴値が計算される。最終的な組み合わせた特徴値を使用して、対象が検出されたか否かが決定される。
【００１４】
本発明の別の観点は、画像内の解剖学的構造を検出し、画像のトレーニングセット内の１つ又は複数の解剖学的構造にマッチングさせるシステムおよび方法に関する。候補画像が受取られ、その候補画像から特徴値が抽出される。分類関数が解剖学的構造の検出に適用される。解剖学的構造が検出された場合には、画像のトレーニングセット内の１つ又は複数の類似画像が、候補画像について抽出した特徴値をトレーニングセット内の類似画像の特徴値にマッチングさせることによって、識別される。トレーニングセットからマッチングしている類似画像内の解剖学的構造の形状を使用して、候補画像内の解剖学的構造の形状が決定される。
【００１５】
従って、本発明による画像内の解剖学的構造の検出およびマッチング方法は、
画像内の解剖学的構造を検出し、画像のトレーニングセット内の１つ又は複数の解剖学的構造にマッチングさせる方法において、
候補画像を受取るステップ、
候補画像から特徴値を抽出するステップ、
解剖学的構造の検出に分類関数を適用するステップ、
解剖学的構造が検出された場合には、画像のトレーニングセット内の１つ又は複数の類似画像を、候補画像について抽出した特徴値をトレーニングセット内の類似画像の特徴値にマッチングさせることによって、識別するステップ、
トレーニングセットからマッチングしている類似画像内の解剖学的構造の１つ又は複数の形状を使用して、候補画像内の解剖学的構造の形状を決定するステップ
を含むことを特徴とする（請求項１）。
なお、本発明による画像内の解剖学的構造の検出およびマッチング方法の実施態様は次の通りである。
（１）特徴値をマッチングさせるステップは、候補解剖学的構造についての特徴ベクトルを生成するステップ、および、候補特徴ベクトルを類似画像に関連付けされた特徴ベクトルと比較するステップを含む（請求項２）。
（２）特徴ベクトルは、複数の弱い分類器出力ｈ'iｓおよび関連付けされた重みα'iｓを含む（請求項３）。
（３）特徴値をマッチングさせるステップは、さらに、ユークリッド距離関数における重み付け行列を使用し異なる距離測定値の使用を含む（請求項４）。
（４）分類関数を適用するステップは、候補画像を通じてウインドウをスキャンするステップを含む（請求項５）。
（５）分類関数を適用するステップは階層的に実行される（請求項６）。
（６）分類関数はブースティングを使用する（請求項７）。
（７）分類関数はアダブースティング（ＡｄａＢｏｏｓｔｉｎｇ）を使用する（請求項８）。
（８）分類関数はランクブースティング（ＲａｎｋＢｏｏｓｔｉｎｇ）を使用する（請求項９）。
（９）分類関数はサポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）を使用する（請求項１０）。
（１０）画像は超音波画像である（請求項１１）。
（１１）解剖学的構造は左心室である（請求項１２）。
（１２）解剖学的構造は顔である（請求項１３）。
【００１６】
同様に、本発明による画像内の解剖学的構造の検出およびマッチングシステムは、
画像内の解剖学的構造を検出し、画像のトレーニングセット内の１つ又は複数の解剖学的構造にマッチングさせるシステムにおいて、
候補画像を受取る手段、
候補画像から特徴値を抽出する手段、
解剖学的構造の検出に分類関数を適用する手段、
画像のトレーニングセット内の１つ又は複数の類似画像を、候補画像について抽出した特徴値をトレーニングセット内の類似画像の特徴値にマッチングさせることによって、識別する手段、
トレーニングセットのマッチングしている類似画像内の解剖学的構造の形状を使用して、候補画像内の解剖学的構造の形状を決定する手段、
を含むことを特徴とする（請求項２３）。
なお、本発明による画像内の解剖学的構造の検出およびマッチングシステムの実施態様は次の通りである。
（１）類似画像を識別する手段は、候補解剖学的構造についての特徴ベクトルを生成する手段、および、候補特徴ベクトルを類似画像に関連付けされた特徴ベクトルと比較する手段を含む（請求項２４）。特徴ベクトルは、複数の弱い分類器出力ｈ'iｓおよび関連付けされた重みα'iｓを含む（請求項２５）。
（２）分類関数を適用する手段は、候補画像を通じてウインドウをスキャンする手段を含む（請求項２６）。
（３）分類関数はブースティングを使用する（請求項２７）。
（４）分類関数はアダブースティング（ＡｄａＢｏｏｓｔｉｎｇ）を使用する（請求項２８）。
（４）分類関数はランクブースティング（ＲａｎｋＢｏｏｓｔｉｎｇ）を使用する（請求項２９）。
（５）分類関数はサポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）を使用する（請求項３０）。
（６）画像は超音波画像である（請求項３１）。解剖学的構造は左心室である（請求項３２）。
（７）解剖学的構造は顔である（請求項３３）。
【００１７】
本発明の別の観点は、画像内の解剖学的構造を、画像のトレーニングセット内の１つ又は複数の類似に成形された解剖学的構造にマッチングさせる方法に関する。候補解剖学的構造の画像が受取られ、その画像から特徴が抽出される。類似に成形された解剖学的構造に関連付けされた特徴が、候補解剖学的構造と比較される。トレーニングセットから少なくとも１つのもっとも近い近隣の形状を使用することによって候補解剖学的構造の形状が決定される。
【００１８】
従って、本発明による画像内の解剖学的構造のマッチング方法は、
画像内の解剖学的構造を、画像のトレーニングセット内の１つ又は複数の類似に成形された解剖学的構造にマッチングさせる方法において、
候補解剖学的構造の画像を受取るステップ、
画像から特徴を抽出するステップ、
類似に成形された解剖学的構造に関連付けされた特徴を候補解剖学的構造と比較するステップ、
トレーニングセットから少なくとも１つのもっとも近い近隣の形状を使用することによって候補解剖学的構造の形状を決定するステップ
を含むことを特徴とする（請求項１４）。
なお、本発明による画像内の解剖学的構造のマッチング方法の実施態様は次の通りである。
（１）候補解剖学的構造は、その輪郭に、一連のコントロールポイントによって注釈を付けられている（請求項１５）。
（２）類似に成形された解剖学的構造の各々は、その輪郭に、一連のコントロールポイントによって注釈を付けられている（請求項１６）。
（３）特徴を比較するステップは、候補解剖学的構造についての特徴ベクトルを生成するステップ、および、候補特徴ベクトルを、類似に成形された解剖学的構造に関連付けされた特徴ベクトルと比較するステップを含む（請求項１７）。
（４）特徴ベクトルは、複数の弱い分類器出力ｈ'iｓおよび関連付けされた重みα'iｓを含む（請求項１８）。
（５）比較するステップは、さらに、ユークリッド距離関数における重み付け行列を使用して異なる距離測定値の使用を含む（請求項１９）。
（６）画像は超音波画像である（請求項２０）。解剖学的構造は左心室である（請求項２１）。
（７）解剖学的構造は顔である（請求項２２）。
【００１９】
本発明の別の観点は、画像内の候補対象の変形可能な形状の検出および追跡システムおよび方法に関する。形状は、複数のラベル付けされたコントロールポイントによって表される。画像枠内の変形可能な形状の少なくとも１つのコントロールポイントが検出される。候補対象に関連付けされた各コントロールポイントについて位置不確実性行列が計算される。後続の画像枠内の変形可能な形状のダイナミクスを表し代表的対象の画像のトレーニングデータセットからの統計的情報を含む形状モデルが生成される。形状モデルが候補対象の変形可能な形状に位置合わせされる。形状モデルが変形可能な形状に融合され、候補対象の現在の形状が評価される。
【図面の簡単な説明】
【００２０】
【図１】図１は本発明に従って左心室の心内膜壁の形状を検出および追跡する方法を使用する超音波心臓検査システムの一例の構成を例示したブロック図
【図２】図２は心臓の代表的な超音波心臓検査画像を例示した説明図
【図３】図３は本発明に従って、弱い分類器を表す矩形特徴の例を示した説明図
【図４】図４は本発明に従って、与えられたウインドウについて強度の総和を決定する積分画像を使用する方法を例示した説明図
【図５】図５は本発明に従って、部分隠れを受けた積分画像内における矩形特徴を例示した説明図
【図６】図６は本発明に従って、図５の積分画像のための部分隠れマスクを例示した説明図
【図７】図７は本発明に従って、Ｈi―1とＨi―1*の関係を示した説明図
【図８】図８は本発明に従って、メモリを有するブーストカスケードの技術を概略で図示した説明図
【図９】図９は本発明に従った左心室の心内膜輪郭検出のための構想を例示した説明図
【図１０】図１０は本発明に従った、３次元データボリュームにおける腫瘍を検出する構想を例示した説明図
【図１１】図１１は本発明に従った形状位置合わせのための不変マニフォールドを例示した説明図
【図１２】図１２は本発明に従った形状整列を例示した説明図
【図１３】図１３は本発明に従って、形状検出および追跡中における不確実性の伝播を例示した説明図
【発明を実施するための最良の形態】
【００２１】
以下において本発明の好ましい実施形態について添付図面を参照してより詳細に説明するが、それにおいて類似の参照番号は類似の要素を示す。
【００２２】
本発明は、解剖学的構造の検出ならびにマッチング方法に関する。その方法が利用される例は、機械の学習を通じた心室の心内膜または心外膜の輪郭の検出ならびにセグメンテーションまたは分類によって、また注釈データベースから類似の事例を識別することによって行う心臓内の局所的な壁の動きの異常の検出である。ここで当業者であれば理解できるように、本発明は、顔の特徴あるいはそのほかの身体の特徴のような人間の特徴を認識するような形状の検出ならびにマッチングが有用であるこのほかの用途に使用することもできるが、これらに限定されない。また本発明は、２次元、３次元、および４次元（３Ｄ＋時間）のデータ分析、例えば心臓、肺または腫瘍の時間的に進化し得る解剖学的構造の医学的分析にも使用することが可能である。
【００２３】
本発明を説明するために、人間の心臓の左心室の心内膜壁の検出についての例を説明する。図１は、本発明に従って形状ならびに外観を使用して左心室の心内膜壁を検出する方法を使用する超音波心臓検査システムの一例の構成を例示している。超音波トランスデューサのような医用センサ１０２が使用され、患者の診察が実施される。センサ１０２は、特定の医療診察と一致する医用測定値を獲得するために使用される。例えば、心臓の問題を経験している患者に超音波心臓検査を実施して特定の心臓疾患の診断の補助とすることができる。超音波システムが、種々の視点から心臓の２、３、および４（３Ｄ＋時間）次元の画像を提供する。
【００２４】
センサ１０２によって獲得された情報は、ワークステーションまたはパーソナルコンピュータであってよいプロセッサ１０４に伝えられる。プロセッサ１０４はセンサデータを画像に変換し、画像がディスプレイ１０８に伝えられる。ディスプレイ１０８はまた、ほかのグラフィック情報または画像に関連する情報のテーブルを伝えることができる。本発明によれば、プロセッサ１０４には心内膜壁の初期輪郭を表すデータも提供される。このデータは、施術者または音波検査技師のようなユーザによってマニュアルで、あるいはプロセッサ１０４によって自動的に提供することができる。輪郭は、一連の個別のポイントを包含し、その動きがプロセッサ１０４によって追跡され、ディスプレイ１０８上に示される。
【００２５】
プロセッサ１０４は、医用センサ１０２からのデータに加えて、ほかのデータ入力を受取ることもできる。例えばプロセッサが、プロセッサ１０４に付設されたデータベース１０６からデータを受取ることがある。その種のデータは、心内膜壁の輪郭形状を表す部分空間モデルを含むことができる。これらの部分空間モデルは、複数の患者を代表する左心室の画像としてもよく、あるいは統計的情報に基づいてコンピュータにより生成された輪郭形状のモデルであってもよい。プロセッサ１０４は、ベイズの核マッチング法またはオプティカルフロー法のような周知の方法を利用して輪郭形状の個々のポイントを追跡する。追跡中のエラー蓄積は、マルチテンプレート適応マッチング構想を使用することによって軽減される。追跡の不確実性は、各ポイントにおいて共分散行列の形式で表され、続いて非直交投影を使用する部分空間の形状の拘束によって完全に利用される。
【００２６】
図２は、心臓の代表的な超音波心臓検査画像を例示している。音響的ドロップアウトを有する左心室の心内膜壁の部分が実線の楕円２０８によってマークされている。局所的な壁の動きの評価は破線の楕円２０２，２０４によって示されている。音響的ドロップアウトに起因して、心内膜壁は常に画像内のもっとも強いエッジにあるとは限らない。超音波心臓検査画像の特徴は、破線の直線２１０，２１２によって示されているとおり、画像の扇形形状である。扇形の外側範囲は有用なデータを含まない。
【００２７】
多くの検出方法は、画像内の対象の検出に弱い分類器または特徴のブースティングを使用する。選択された数の弱い分類器の応答を、ブースティングを通じて結合することによって、結果として得られる強い分類器が高い検出率を達成することができる。しかしながら周知の方法は、他の部分的に隠れている対象（例えば、扇形の外側のデータ）の存在において対象を検出する問題に取り組んでいない。部分隠れ（ｏｃｃｌｕｓｉｏｎ）に起因する弱い分類器の誤った応答は、対象の検出に負の影響を及ぼす。
【００２８】
次に、本発明の１つの観点に従って、対象の検出中における既知の部分隠れの影響を排除する方法を説明する。例えば超音波心臓検査画像を、扇形の外側の画像データ（つまり、有用でないか無効なデータ）が考慮されないように処理することができる。言い換えると、扇形の外側データが部分隠れとして扱われる。
【００２９】
対象の画像に関連付けされた簡単な特徴が、弱い分類器として識別される。その種の特徴の例が、図３Ａ〜３Ｄに示した矩形である。各矩形特徴の値は、各矩形のホワイト（正とも呼ばれる）領域内のピクセル強度の総和とグレイ（負とも呼ばれる）の領域内のピクセル強度の総和との間の差である。図３Ａ内に例示されている矩形特徴について言えば、負領域が３０２であり、正領域が３０４である。図３Ｂ内に例示されている矩形特徴については、負領域が３０８であり、正領域が３０６である。図３Ｃ内に例示されている矩形特徴については、負領域が３１２，３１４であり、正領域が３１０，３１６である。図３Ｄ内に例示されている矩形特徴については、負領域が３２０であり、正領域が３１８，３２２である。
【００３０】
矩形特徴はベース領域に対して過完全な基底を提供する。例えば矩形が２４×２４ピクセルのサイズである場合には、特徴の数が１８０，０００になる。矩形特徴の１つの利点は演算速度である。積分画像（ＩＩ）として知られる図４に示されているような中間表現を使用することによって、小さい固定数の演算を用いて特徴値を計算することが可能になる。
【００３１】
入力画像（例えば、左心室の超音波心臓検査画像）のためのＩＩの予備計算が、矩形特徴の計算に先行して行われる。ＩＩ内の各ピクセル（ｘ，ｙ）について強度値が決定される。これらの強度値は、データベース１０６（図１）内に記憶される。入力画像についてＩＩが計算された後、すべての特徴計算が極めて簡単化される。入力画像内の位置（ｘ0，ｙ0）における各ピクセルについて、強度値は、位置（ｘ0，ｙ0）より上および左にあ
るすべてのピクセルの強度の総和を決定することによって計算することができる。言い換えると、ＩＩ（ｘ0，ｙ0）におけるＩＩの集まりは、次式のように決定することができる。
【００３２】
【数１】
【００３３】
Ｉ（ｘ，ｙ）は、位置（ｘ，ｙ）におけるピクセルの強度である。
【００３４】
図４は、矩形特徴ＲfにおけるＩＩについての強度値の計算がどのように決定されるかを例示している。位置４０８におけるＩＩが計算され、実線４１０の内側範囲に等しい。位置４０８におけるＩＩを規定する別の方法は、矩形（Ａ＋Ｂ＋Ｃ＋Ｒf）についての強度値の総和である。Ｒfについての総和を獲得するためには、追加の計算を行わなければならない。位置４０６についてのＩＩは、線４１２によって画定される範囲についての総和を提供し、矩形（Ａ＋Ｃ）についての強度値の総和に等しい。位置４０６についてのＩＩを位置４０８についてのＩＩから減ずることによって、矩形（Ｂ＋Ｒf）についてのＩＩ'が得られる。次に位置４０４についてのＩＩが計算され、（Ａ＋Ｂ）によって画定される範囲についての総和を提供する。位置４０４についてのＩＩをＩＩ'から減ずることによって、矩形（‐Ａ＋Ｒf）についてのＩＩ"が得られる。最後に、位置４０２についてのＩＩをＩＩ"に加算すれば、Ｒfについての総和が求まる。
【００３５】
しかしながら、Ｒf内のピクセルが部分隠れを含む場合、それらのピクセルについての強度値は無効な値をもたらし、最終的に矩形特徴についての不正確な評価をもたらす。図５は、部分隠れ５０４を含む積分画像５０２の一例を示している。矩形特徴５０６が、部分隠れ５０４の一部を含む位置に置かれている。
【００３６】
本発明によれば、部分隠れマスクが使用され、部分隠れを受けている矩形特徴内に含まれるピクセルの寄与が排除される。図５のＩＩのための部分隠れマスクの一例を図６に示す。部分隠れマスクは、コントロールされた環境内において画像が取り込まれるとき、あるいはデータから推論できるときに使用することができる。例えば監視用途においては、静的な背景（例えば、ドア、壁、家具等の位置）が既知である。その背景内の対象が部分隠れを生じる尤度は決定可能であり、部分隠れマスクの作成に使用することができる。別の例は超音波画像である。超音波画像内においては、扇形の位置が超音波機械によって与えられるかあるいは計算することが可能であり、例えば時間変動の分析は静的に無効な領域をもたらすことができる。扇形が識別された後、部分隠れマスクを作成して、ＩＩの計算において扇形の存在を効果的に排除もしくは無効にすることができる。
【００３７】
部分隠れを受けているかもしくはそのほかの無効ピクセルについての強度値をゼロに設定することによって、矩形についての強度値の総和が正しくない値によって影響を受なくなる。しかしながら、今度は『欠けている』データが存在し、総和が不平衡になる。欠けている値が存在しないとき、矩形の総和はその矩形についての平均強度値に比例する。従って部分隠れが生じているときには、欠けている値を補償するために、有効な強度値を有するピクセルの数を使用することによって平均値が近似される。有効ピクセルの数は、最初に等価マップまたは部分隠れマスクを計算することによって見つけることができる。
【００３８】
部分隠れマスクＭはブール値からなり、ブール値では有効ピクセルに値１が割り当てられ、無効もしくは部分隠れを受けているピクセルに値０が割り当てられる。積分マスクは、現在の位置（ｘ0，ｙ0）より上および左にある有効な数のピクセルを使用して次のように計算することができる。
【００３９】
【数２】
【００４０】
式（１）のＩＩと同様に、矩形内の有効ピクセルの数は、前述と同じ数の演算において積分マスクから計算することができる。
【００４１】
矩形特徴５０６についての等価な特徴値は、正の画像領域内および負の画像領域内の強度の総和の間の重み付け後の差を与える。Ｒ+が正の値を伴ってピクセルの強度が寄与する領域を表し、Ｒ―が負の値でピクセルの強度が寄与する領域を表すとき、特徴値ｆは次のとおりとなる。
【００４２】
【数３】
【００４３】
上式においてｎ―、ｎ+は、それぞれ負および正領域についての有効ピクセルの数を表し、それぞれの領域はＮ個のピクセルを含む。ｎ―およびｎ+がいずれもゼロでないのであれば、最終的な特徴値はＮ／（ｎ―ｎ+）によって正規化される。矩形特徴についての積分画像の計算に部分隠れマスクを使用することによって、より正確な結果が獲得され、より良好な対象検出をもたらす。
【００４４】
特に、顔や解剖学的構造といった複雑な対象の場合には、対象を検出するために計算を必要とする特徴または成分が多数であることから、正確な結果をもたらしつつ必要な計算量を縮小するためのツールが使用される。広く使用されているツールの１つがブースティングである。一般に、ブースティングは複数の弱い分類器または特徴を識別する。それぞれの弱い分類器についての値が計算され、続いて予め定められた閾値と比較される。弱い分類器についての値がその閾値より上にある場合、その分類器は保持される。弱い分類器についての値がその閾値より下にある場合、その分類器は捨てられる。閾値を超えたすべての弱い分類器についての値の重み付け総和を求めることによって、対象検出に使用することのできる強い分類器が得られる。
【００４５】
ブースティングの変形がブーストカスケードである。この技術においては、分類器の優先順位が設定される。あるウインドウについて第１の分類器が計算され、それが閾値を満たさないときには、そのウインドウが別の位置に移される。計算された分類器が閾値を超える位置だけが保持される。閾値は、通常、エラーの寛大なマージンを許容する適度なレベルに設定される。計算が行われる位置の数を縮小することによって、この方法が効率的になる。しかしながら、これらの方法は先行する分類器からの出力を放棄する。次段のためのトレーニングは、新しい例のセットに対する一様な重み付けを伴って開始する。
【００４６】
本発明によれば、計算された各分類器についての値が保持され、より後の段階における分類器の計算を強化するために、将来の分類器の計算において使用される。図７Ａおよび７Ｂに示されているとおり、中間の強い分類器Ｈi―1が、カスケードの先行する段階から直接、現在の段階のための新しいトレーニングセットにわたって新しい閾値Ｔi*および関連パリティｐi*を設定することによって使用される。続いてトレーニングの例が、生の特徴を基礎としたトレーニングの前に新しい分類器Ｈi―1*のエラーによって重み付けされる。現在の段階のための強い分類器は、Ｈi―1*と選択された単一特徴分類器との重み付けされた総和である。検出中、先行する段階からの分類器出力を破棄する代わりに、それが、Ｔi*および関連パリティｐi*を用いる閾値と比較され、そのエラーに従って重み付けされ、現在の段階の単一特徴の弱い分類器からの出力の重み付けされた総和に加えられる。
【００４７】
一般的な『メモリを有するブーストカスケード』（ＢＣＭ）トレーニングアルゴリズムは、次のように記述することができる。
【００４８】
●メモリ内の初期カスケード分類器：Ｈ0*＝ヌル（ＮＵＬＬ）、エラーε＝∞、
●Ｐ＝正の例のセット、Ｎ＝負の例のセット、
●ｉ＝０、
カスケードの段階ｉを通るループ：
ｉ＋＋、
Ｐ，Ｎを使用し、分類器Ｈiを、Ｈi―1*とアダブースト（ＡｄａＢｏｏｓｔ）を使用する特定数の追加特徴とを用いてトレーニングし、その結果、必要な誤った正の検出率および誤った検出率が満たされる。
Ｈiの誤った正を負の例として使用することによってトレーニングセットの再構築、Ｐ→Ｐ*およびＮ→Ｎ*を行い、必要であれば正のセットを調整する。
Ｈiの再トレーニング：（例えば、最適閾値Ｔi*およびパリティｐi*を選択することによって）Ｈiの修正を行い、新しいトレーニングデータＰ*，Ｎ*上のその分類エラーを最小化する。結果として得られるＨi*およびその出力をメモリ内に入れる。
【００４９】
上記アルゴリズムにおいては、Ｈi―1*が使用される場合には、それが最初になることが仮定されている。Ｈi―1*は、ほかの単一特徴の弱い分類器の中間に使用することもできる。必要な変更は、先行する段階の末尾に代えて、現在の段階のトレーニング中に新しい閾値およびパリティの学習を行うことだけである。
【００５０】
Ｈiの評価は、現在のトレーニングセットまたは完全な代表的な有効性セットのうちのいずれかを使用して行うことができる。前者の場合には、Ｈiだけが使用され、現在の段階のパフォーマンス目標を満たすこと（例えば、段階当たり９５％）が目標となる。一方、後者の場合には、全体的なカスケード分類器が使用される必要があり、現在の段階ｉまでの複合パフォーマンス目標（例えば、０．９５i）が目標となる。
【００５１】
メモリを有するブーストカスケードアルゴリズムの別の例を次に示す。
【００５２】
●ユーザがｆについての値、すなわち層当たりの最大許容可能な誤った正の検出率、およびｄについての値、すなわち層当たりの最小許容可能な検出率を選択する。
●ユーザが、ターゲットの誤った正の総合率Ｆtargetを選択する。
●Ｐ＝正の例のセット、Ｎ＝負の例のセット、
●Ｆ0＝１．０、Ｄ0＝１．０、ｉ＝０、
●メモリ内の初期カスケード分類器：Ｈ0*＝ヌル、
Ｆi＞Ｆtargetの間にわたり以下を繰返し実行
ｉ＋＋
ｎi＝０、Ｆi＝Ｆi―1
Ｆi＞ｆ×Ｆi―1の間にわたり以下を繰返し実行
○ｎi＋＋
○ＰおよびＮを使用し、分類器Ｈiを、Ｈi―1*とアダブースト（ＡｄａＢｏｏｓｔ）を使用するｎi個の追加特徴とを用いてトレーニングする（ｉ＞１であれば、Ｈi―1*は、メモリ内に記憶されている結果を用いてすでにトレーニング済みである。それがその特徴より強い場合には、段階ｉについての弱い分類器としてＨi―1*を選択する。Ｈi―1*のエラーを使用し、その特徴に基づいて、残りの弱い分類器の選択のためのトレーニング例の重みを更新する。）。
○有効性セット上において現在のカスケード分類器Ｈiを評価し、Ｆi，Ｄiを決定する。
○現在のカスケード分類器が少なくともｄ×Ｄi―1（これは、Ｆiにも影響する）の検出率を有するまで、ｉ番目の分類器Ｈiのための閾値（Ｔi）を減少させる。
Ｎ＝φ
Ｆi＞Ｆtargetであれば、顔以外の一連の画像について現在のカスケード検出器Ｈiを評価し、誤った検出があればそれをセットＮ内に入れる。
Ｈi*の再トレーニングを行う。Ｈiについて第２の最適閾値Ｔi*およびパリティｐi*を選択し、新しいトレーニングデータＰ，Ｎに関する分類エラーを最小化する、結果として得られたＨi*およびその出力をメモリ内に入れる。
【００５３】
ＢＣＭ構想においては、検出プロセスが、以下の中間の強い分類器をカスケードの各段階について使用する。
【００５４】
段階１‐Ｈ1：α1ｈ1＋α2ｈ2＋．．．αn1ｈn1
段階２‐Ｈ2：αH1ｐ1*（Ｈ1‐Ｔ1*)＋（αn1+1ｈn1+1＋αn1+2ｈn1+2＋．．．αn1+n2
ｈn1+n2）
・・・
【００５５】
すでに先行する段階においてＨiが評価済みであることから、追加計算は、図８に例示されているとおり、現在のテスト標本が通過することになる各追加段階についての減算および乗算だけである。考慮されるそれぞれの追加の分類器について、先行する計算済みの分類器に関連付けされた値が考慮され、追加の値についての値と統合される。続いて結果として得られる値が閾値と比較される。最終結果は、対象検出のより正確な表示を提供する値になる。
【００５６】
対象が検出された後は、その画像に関する追加情報を獲得するためにその先の処理技術を使用することができる。本発明の別の観点によれば、外観および形状の併用を、一連のトレーニング画像に基づいて、テスト画像内の対象の形状または解剖学的構造のマッチングおよび検出に適用することができる。外観は、テスト画像内の対象もしくは構造の位置測定に使用される。その後マッチング技術が使用されて、正のトレーニングデータセットから類似の事例を探し出し、検出された候補についての形状または構造の詳細が提供される。検出、位置測定およびマッチングは階層的に行われ、より高精度の結果を達成することができる。マッチング技術は、演算時間を節約し、かつマッチング性能を向上させるために、検出プロセス中に学習した特徴を使用する。
【００５７】
本発明によれば、対象または解剖学的構造の検出ならびに形状の再生の概略構想が３つの段階、すなわちオフライントレーニング段階、オンライン検出段階およびマッチング段階を含む。
【００５８】
オフライントレーニング段階においては、正のトレーニング例がトレーニングデータセットとして記憶される。例えば超音波心臓検査の場合、トレーニングセットは人間の心臓の左心室の画像を含むことになろう。そのトレーニングセットは、種々の形状の左心室の例をはじめ、異常左心室の例の包括的なセットを含むことになる。好ましくはトレーニングセット内の画像が、最適状態（例えば、左心室が画像の中心に置かれている、画像が正規化されてサイズおよび回転の作用が排除されている、等）で示される。トレーニング段階中に、両ブースティングアルゴリズムが画像に適用される。これらの適用から獲得されたデータは、トレーニングデータとともに記憶され、弱い分類器の出力を示す特徴ベクトルを含むことができる。
【００５９】
すべての可能なトレーニング例が処理されて不変の特性が維持される。例えば全体的な平行移動、回転、およびスケーリングは、人間の心臓の左心室について不変の変換である。正データの整列は、検出器の設計に直接的な影響を与え、言い換えると検出中にそれぞれの整列軸が拡張される必要がある。すなわち、例えばトレーニングデータ内において回転が相殺されるとき、検出器は、検出の間に複数の回転をサーチしなければならない。整列されたトレーニングデータを用いれば、学習アルゴリズムは、正／負の分類器について選択された特徴および対応する決定関数を出力する。本発明によれば、トレーニングデータのすべてを変換して（例えば、スケーリングおよび回転）、変換後の検出器をトレーニングすることが可能である。
【００６０】
変換されたトレーニングデータを含む、トレーニングデータについてのすべての特徴は、データベース１０６（図１）内に記憶される。さらに、弱い分類器出力ならびにそれらに関連する重みを含む各正データ画像について特徴ベクトルが計算される。それぞれの弱い分類器は対象に関連付けされた成分を表す。正データについての特徴ベクトルは、後にテスト画像について計算された特徴ベクトルと比較され、類似の特徴を有する正データの識別を補助することができる。各正データの画像についての対象の輪郭に沿ったポイントに対応する位置ポイントもまた記憶され、形状マッチング段階において使用される。
【００６１】
オンライン検出段階においては、画像またはデータボリュームのためのスキャニングスキームが、テスト画像またはデータボリュームの内側のウインドウまたはキューブの平行移動、回転および／またはスケーリングによって採用され、候補データ部分をもたらす。各候補について、対象の位置、スケーリングおよび／または回転が全スキャンプロセス中または後に達成される。場合によっては、変換された複数の検出器を適用すると、候補を変換するより高速になる。ブースティングに基づく検出器は画像内の対象または候補の位置を示すことができる。
【００６２】
形状マッチング段階においては、対象を含むと見られる候補（勝利候補）が識別される。これらの候補に類似性マッチングアルゴリズムを適用して、対応するトレーニングデータセットからもっとも近い近隣を検索し、それらに関連付けされた形状を候補に適用する。弱い分類器出力ｈ'iｓおよびそれらに関連付けされた重みα'iｓに基づく形状マッチングのために、特徴ベクトルが使用される。マッチングは空間｛α1ｈ1，α2ｈ2，．．．，αKｈK｝内の距離を使用して行われる。Ｋは弱い分類器の特徴の数である。このほかの特徴空間を使用することも可能である。形状マッチングアルゴリズムは、トレーニングデータ内の１つ又は複数の画像に関連付けされた『類似』特徴ベクトルを探す。マッチングが得られた後、トレーニングセット内の関連するマッチング画像からのデータを使用して、対象の形状ならびに構造に関係する詳細を提供することができる。
【００６３】
次に、２次元（２Ｄ）データを使用して一例を説明する。当業者には理解できることであろうが、本発明は、３次元（３Ｄ）データおよび４次元（３Ｄ＋時間）データを処理することも可能である。図９は、左心室（ＬＶ）の心内膜の輪郭を検出する一例を示し、これは原画像および描出された心内膜の輪郭とともに、ＬＶ枠の注釈付きデータセットを使用する学習ならびにマッチングを基礎としている。
【００６４】
この構想は、最初に、位置合わせされたＬＶ部分（モジューロ平行移動、スケーリング、および回転）のデータベースを構築する。ＬＶ部分は例えばランドマークまたはコントロールポイントの順序付きセットの形式で注釈を付けられた輪郭を有する。検出アルゴリズムは、この例のセットおよびそのほかの負の部分を使用して設計され、トレーニングされる。例えば、ブースティングに基づく特徴選択および分類器構築アルゴリズムを使用することが可能である。特徴ベクトルはすべての例について計算される。
【００６５】
続いてこの構想は、ＬＶを位置測定するために学習した検出アルゴリズムを採用する。１つ又は複数の検出された候補は、適切なサイズならびに回転を伴ってＬＶを含む１つ又は複数の局所的部分である。（サイズならびに回転は、複数の可能なスケーリングならびに回転において画像をスキャンすることによって決定される。）
【００６６】
最後に、検出された候補から特徴ベクトルが抽出され、データベースと比較されて１つ又は複数のもっとも近い近隣が見つけ出される。この輪郭は続いて、例えば検出された部分に対するそれらのマッチング距離に逆比例する重みを用いた重み付け総和を使用して結合され、検出された候補部分についての輪郭が形成される。１つの可能な特徴タイプは、サブサンプリングを伴うか又は伴わない部分内側の画像強度である。このほかの特徴には、重み付け係数を伴うか又は伴わない弱い分類器出力が含まれる。その種の特徴の集まりの選択に主成分分析を使用することも可能である。
【００６７】
図１０は、３次元データボリューム内の腫瘍検出の一例を示している。この方法は上記に類似しているが、３Ｄの近隣、３Ｄの特徴、および３Ｄのスキャニングがマッチング検出に使用される点で異なる。
【００６８】
対象が検出され、形状ならびに外観がマッチンチされた後、その対象の形状を時間的に追跡することができる。この種の追跡は、超音波心臓検査において、心筋のリズミックな運動のために重要である。測定の不確実性は形状追跡中に重要な役割を果たす。本発明によれば、個別にトレーニングされた成分検出器が、比較的安定した局所的外観を利用するために画像に適用され、一方、包括的形状モデルが使用されて成分融合プロセスを拘束する。ここで、自動形状検出および追跡中における局所的検出、動きのダイナミクス、および部分空間形状モデリングから最適に融合される不確実性のための一様化された構想について説明する。ブーストされた成分検出器が、超音波心臓検査シーケンスにおける左心室の輪郭の位置測定のために使用される。
【００６９】
平均をｘ、共分散をＣxとする多次元ガウス分布Ｎ（ｘ，Ｃx）によって候補予備形状の検出が示されるとき、第１のステップは、標本の予備形状ｘ0の中から、Ｎ（ｘ，Ｃx）、形状モデルＮ（ｍ，Ｃm）、および先行するステップから予測された形状Ｎ（ｘ―，Ｃx―）によって連帯的に、最適な不変変換の下に生成される尤度がもっとも高い１つを見つけ出すことである。等価公式は、予備形状空間および変換された形状空間におけるマハラノビス距離の総和を最小化するｘ*を見つけ出すことであり、すなわち次式となる。
【００７０】
【数４】
【００７１】
上式においてＴを不変変換とするとき、ｘ0'＝Ｔ（ｘ0）である。
【００７２】
複数の候補予備形状を用いて、検出マップ内の尤度値も考慮して、もっとも高い尤度をもたらす１つが決定時に勝ち残る。式（５）は、位置および変換にわたる同時最適化を要求し、平行移動、回転、およびスケーリングだけを許容する相似変換のような簡単な変換についてさえ、閉じた形の解を持たない。包括的な最適性は、繰返しを通じて数値的に求めることができるが、演算負荷が高すぎる。
【００７３】
困難は、すべての可な変換を通り任意の予備形状によって形成されたマニフォールド（すなわち形状）が、一般に形状の部分空間と、特にその部分空間の次元が比較的小さいときに交差しないことから生じる。本発明においては、形状の部分空間が６〜１２の次元を有し、完全なユークリッド空間の次元は≧３４である。図１１は、形状位置合わせのための不変マニフォールドを例示しており、概念的にこの関係を、予備形状ベクトルＸによって形成されたマニフォールドを示す太い曲線１１０２と、傾斜軸１１０４と、部分空間モデルを表す１次元ガウス分布１１０６とを用いて図示されている。一般に、マニフォールドは、形状モデルの部分空間（すなわち、モデル重心Ｍを含む傾斜付きの軸１１０４）と交差しない。予測は省略するか、検出および予測の融合結果としてＸを考えることができる。本発明は、全体的な解として２ステップの最適化スキームに関し、両ステップについて閉じた形の解を伴う。このスキームは図１１を参照して容易に説明することができる。第１のステップは、Ｃx内の情報を使用してＸからＸ*に移動するか、あるいは言い換えるならば、ＸからＭへの最適変換を見つける。第２のステップは、ＣMからの追加情報を使用して、Ｘ*からＸMに移動する。第１のステップは位置合わせステップと呼ばれ、第２のステップは拘束ステップと呼ばれる。
【００７４】
位置合わせステップの目標は、予備形状の変換中における成分の不確実性およびモデルに向かうその共分散行列を考慮に入れることである。まず、ｄ2を次のようにして最小化する。
ｄ2＝（ｍ‐ｘ'）TＣ'x‐1（ｍ‐ｘ'） （６）
ｘ'＝Ｔ（ｘ）かつＣ'x＝Ｔ（Ｃx）である。表記を簡単化するために、予測Ｎ（ｘ―，Ｃx―）がＮ（ｘ，Ｃx）に融合されているものと仮定している。
【００７５】
Ｔが相似変換であるときには、次式を得る。
ｘ'＝Ｒｘ＋ｔ （７）
ｔは２つの自由パラメータを有する変換ベクトルであり、Ｒは各ブロックが次のとおりとなるブロック対角行列である。
【００７６】
【数５】
【００７７】
簡単な代数を用いて、式（６）を次のように書き直すことができる。
【００７８】
【数６】
【００７９】
Ｒおよびｔ内の４つの自由パラメータについて導関数を取ることによって、閉じた形の解を得ることができる。図１２ａおよび１２ｂに、ポイント位置における不確実性の考慮を含む場合、および含まない場合の形状位置合わせを例示する。図１２ａは、位置測定における不確実性の考慮を伴わない形状位置合わせを示している。図１２ｂは、異分散の不確実性を伴う形状位置合わせを示している。楕円１２０２〜１２１２は、ポイント位置上の共分散を示し、ブロック対角行列Ｃx内の情報を表す。直感は、より高い信頼性を伴ったより多くのポイントを頼ることになる。
【００８０】
予備形状がモデルに位置合わせされた後、２つの競合する情報源、すなわち位置合わせされた検出−予測対（部分空間）モデルによって生成されているということの最大尤度を伴う形状について決定が行われる。全空間モデルを用いて、公式化は、ガウス源との情報融合またはＢＬＵＥ（最良線形不偏推定量（Ｂｅｓｔ Ｌｉｎｅａｒ Ｕｎｂｉａｓｅｄ Ｅｓｔｉｍａｔｏｒ））に直接関係付けされる。
【００８１】
それぞれが多次元ガウス分布によって特徴付けられて記述される同じｎ次元変量ｘの２つのノイズの多い測定値Ｎ（ｘ1，Ｃ1）、Ｎ（ｘ2，Ｃ2）を考えると、ｘの最大尤度評価は、修正マハラノビス距離Ｄ2（ｘ，ｘ2，Ｃ2）の最小和を伴うポイントになる。ここでは、一般性を失うことなくＣ2を特異としている。Ｕ＝［ｕ1，ｕ2，．．．，ｕn］とし、ｕiの正規直交を用い、かつΛ＝ｄｉａｇ｛λ1，λ2，．．．，λp，０，．．．，０｝とするとき、Ｃ2＝ＵΛＵTの特異値分解を用いてｘ2に対するマハラノビス距離は次のとおりとなる。
【００８２】
【数７】
【００８３】
λiが０に向かうとき、Ｄ2（ｘ，ｘ2，Ｃ2）が、ＵT0ｘ＝０でない限り無限大に向かう。Ｕ0＝［ｕp+1，ｕp+2，．．．，ｕn］である。ここで、一般性を失うことなく、部分空間は原空間の原点を通るとする。ｘ2が部分空間内に属することから、Ｕ0Tｘ2＝０である。
【００８４】
Ｕ0Tｘ＝０であることから、ｄ2は次のようになる。
【００８５】
【数８】
【００８６】
ｙは１×ｐのベクトルである。
【００８７】
ｙに関する導関数を取ると、部分空間についての融合推定量がもたらされる。
【００８８】
【数９】
【００８９】
原空間における等価式は次のとおりとなる。
【００９０】
【数１０】
【００９１】
Ｃx*およびＣy*が、ｘ*およびｙ*についての対応する共分散行列であることを示すことができる。
【００９２】
上記に代えて式（１２）および（１３）を次のように表すことができる。
【００９３】
【数１１】
【００９４】
これにおいてｙ2は、Ｕpによって形成される部分空間内のｘ2の変換された座標であり、Λp＝ｄｉａｇ｛λ1，λ2，．．．，λp｝である。式（１６）は、２つのガウス分布の部分空間内のＢＬＵＥ融合として見ることが可能であり、一方はＮ（ｙ2，Λp）、他方は部分空間内のＮ（ｘ1，Ｃ1）の交差つまりＮ（（ＵTpＣ1―1Ｕp）‐1ＵTpＣ1―1ｘ1，（ＵTpＣ1―1Ｕp）―1）である。
【００９５】
上記の部分空間融合は、（部分空間）モデル拘束のための一般公式を提供し、形状測定値（異分散不確実性を伴う）および主成分分析（ＰＣＡ）形状モデルを２つの情報源として扱う。以下においては、追跡から動的予測を表す第３の源が追加される。追跡から得られた非常に重要な利点は、検出に加えて、予測を支配するシステムダイナミクスからの追加情報、および時間にわたる情報の融合である。上記の分析を基礎とすると、式（４）に対する解は、次の形を有する。
【００９６】
【数１２】
【数１３】
【００９７】
この解は、１つの一様化された構想内に検出、形状モデルおよび動的予測からの情報を置く。予測された形状がまた部分空間内に閉じ込められるときには、変換Ｔの内側におけるネスティングされた態様で前述した部分空間のＢＬＵＥ公式化を適用することができる。予測Ｎ（ｘ―，Ｃｘ―）はシステムダイナミクスからの情報を含む。この情報が使用されて、拡張ならびに収縮、および遅い平行移動ならびに回転のような全体的な動きの傾向がエンコードされる。Ｎ（ｘ―，Ｃｘ―）は、カルマンセッティングにおける予測フィルタのような伝統的な方法を使用して獲得することができる。
【００９８】
【数１４】
【００９９】
上式においてシステムダイナミクスの式は次のとおりとなる。
【０１００】
【数１５】
【０１０１】
Ｑはｑの共分散であり、『ｐｒｅｖ』は先行するステップからの情報であることを示す。
【０１０２】
図１３は、検出の不確実性がすべてのステップを通って伝播される分析ステップの概略図を示している。各枠において、複数の検出候補が、形状モデルと先行の枠からのシステムダイナミクスに基づく予測との両関係における検出候補の尤度を比較することによって評価される。１３０２〜１３１６の楕円は不確実性の位置を例示している。不確実性は、位置合わせ中に形状とともに変換され、尤度評価ならびに追跡の間にモデルならびに予測された先行情報と融合される。
【０１０３】
外観ならびに形状を使用する解剖学的構造の検出およびマッチング方法についての実施形態を説明したが、上記の教示に照らせば当業者にとって修正および変形が可能なことに気付く。従って、特許請求の範囲によって規定されるとおりの本発明の精神ならびに範囲内において、開示された本発明の特定の実施形態のなかで変更を行うことができることは理解できることである。このように特に特許法によって要求されるとおりに詳細に本発明を説明しているが、請求項に記載され特許証による保護が望ましいものは特許請求の範囲の中に示されている。
【符号の説明】
【０１０４】
１０２ 医用センサ
１０４ プロセッサ
１０６ データベース
１０８ ディスプレイ
２０２ 楕円
２０４ 楕円
２０８ 楕円
２１０ 直線
２１２ 直線
３０２ 負領域
３０４ 正領域
３０６ 正領域
３０８ 負領域
３１０ 正領域
３１２ 負領域
３１４ 負領域
３１６ 正領域
３１８ 正領域
３２０ 負領域
３２２ 正領域
４０２ 位置
４０４ 位置
４０６ 位置
４０８ 位置
４１０ 実線
４１２ 線
５０２ 積分画像
５０４ 部分隠れ
５０６ 矩形特徴
【技術分野】
【０００１】
（関連出願の引用）
本件出願は、２００３年１１月１９日に出願された米国仮特許出願第６０／５２３，３２８号、２００４年３月９日に出願された米国仮特許出願第６０／５５１，５８５号、２００４年４月２７日に出願された米国仮特許出願第６０／５６５，７８６号、および２００４年６月２１日に出願された米国仮特許出願第６０／５８１，５３５号の恩典を主張するものであり、これらは引用によって完全にここに援用される。
【０００２】
本発明は、画像内の解剖学的構造の検出およびマッチング方法、画像内の解剖学的構造のマッチング方法、および、画像内の解剖学的構造の検出およびマッチングシステム、特に、外観（ａｐｐｅａｒａｎｃｅ；アピアランスまたは"見た目"とも呼ばれている）および形状を使用する対象の検出ならびにマッチングシステムおよび方法に関し、より詳細に述べれば、オフライントレーニング、オンライン検出、および外観ならびに形状マッチングを使用する解剖学的構造の検出およびマッチングシステムおよび方法に関する。
【背景技術】
【０００３】
医療検査の間に解剖学的構造（例えば、心臓等の器官）に関連付けされた異常の検出および診断のために医用画像化システム（例えば、超音波画像化システム）が使用されることは非常に一般的である。これらの画像化は、解剖学的構造に関連付けされた異常または健全な解剖学的構造を示すことができる画像内の特徴を認識できるようにトレーニングされた医療専門家（例えば、内科医または医療技術者）によって多数回にわたって評価される。
【０００４】
コンピュータテクノロジにおける進歩によって、ほとんどのコンピュータが大量のデータを容易に処理することができ、獲得された画像の品質を向上させることのできる大規模な演算を実行できるようになった。さらに、画像の分析を補助するツールとして画像処理を使用することもできる。画像内の解剖学的構造または関心対象の効率的な検出は、その構造のより進んだ分析における重要なツールである。解剖学的構造の形状の異常または形状の時間的な変化（例えば、拍動する心臓または呼吸する肺）が腫瘍もしくは種々の疾病（例えば、心筋の拡張または虚血）を示すことも多い。
【０００５】
このタイプの画像処理は、画像内の人間の顔の検出等のこのほかの応用に使用することができる。異なる顔の特徴に関連付けされる変量（例えば、髪の色および長さ、目の色、顔の形状等）から、顔の検出はトリビアルなタスクではない。顔検出は、ユーザ認識、監視、またはセキュリティ応用等の多様な用途に使用することができる。
【０００６】
種々のタイプのアプローチが関心対象（例えば、解剖学的構造または顔）の検出に使用されてきた。成分に基づく対象検出器（目検出器および口検出器等）は、非常に多様なポーズおよび照明を扱うことが可能であり、部分隠れ（ｏｃｃｌｕｓｉｏｎ；オクルージョンとも呼ばれている）および異分散ノイズの下に、より堅牢である。例えば、超音波心臓検査分析においては、同一の解剖学的構造（例えば、中隔）の局所的な外観は患者を通じて類似になるが、心臓の構造もしくは形状は、例えば観察角度もしくは疾病状態に起因して劇的に異なることがある。同様に顔検出においては、顔の特徴の間の包括的な空間関係にかなりの一致性があるが（例えば、鼻および口に対する目の概略位置）、種々の顔の特徴の構造および形状（例えば、目の形状、口の表情、およびそれらの間の相対的距離）は著しく異なることがある。
【０００７】
局所的外観の変動を捉えるために、多くのソリューションは、ガウスの仮定に頼っている。最近は、この仮定が、ブースティングまたはサポートベクトルマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）（ＳＶＭ）等の非線形学習マシンの使用を通じて和らいできた。もっとも成功しているリアルタイム対象検出方法のいくつかは、簡単な特徴のブーストカスケードを基礎とする。ブースティングを通じて選択された数の簡単な分類器の応答を組み合わせることによって、結果として得られる強い分類器は高い検出率を達成することができ、かつリアルタイムで画像を処理することができる。しかしながら現行の方法は、部分隠れ対象の存在下における検出問題に取り組んでいない。部分隠れに起因する簡単な、あるいは弱い分類器の誤った応答は、検出結果に負の影響を及ぼすことになる。
【０００８】
ほとんどの視覚的追跡応用について、測定データが不確実であり、しばしば欠落している。画像はノイズおよびひずみを伴って獲得され、部分隠れが関心対象の一部を観察不能にすることがあり得る。不確実性は、包括的に一様となり得る。しかし、ほとんどの実世界のシナリオにおいては、本質的にそれは異分散であり、すなわち非等方かつ不均一である。良好な例は、超音波心臓検査（超音波心臓データ）である。超音波は、反射アーティファクト、例えば膜から生じるような鏡面反射を被りやすい。単一の『観察方向』に起因して、鏡面構造の垂直表面は強いエコーを生成するが、傾いたあるいは『軸外』の表面は弱いエコーを生成するか又はエコーを生成しない（音響的『ドロップアウト』）。超音波心臓検査の場は、組織表面が超音波ビームに平行な心臓の範囲においてドロップアウトを生じる可能性がある。
【０００９】
超音波心臓画像は、その可用性、比較的低いコスト、および非侵襲性に起因して心機能の評価に広く使用されている。特に心室の動きの分析は虚血および梗塞の程度を評価する効率的な方法である。心内膜壁のセグメンテーションまたは検出は、左心室の弾性ならびに収縮性の定量化に向けた最初のステップである。いくつかの現行方法の例としては、ピクセルに基づくセグメンテーション／クラスタリングアプローチ（例えば、カラーキネシス）、変形オプティカルフロー、変形可能なテンプレートおよびマルコフのランダムプロセス／フィールド、および動的輪郭法／スネークが挙げられる。いくつかの方法は、２次元、３次元、または４次元（３Ｄ＋時間）空間において採用されている。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、ほとんどの現行のセグメンテーションまたは検出方法は、心内膜壁の正確な局所的動きの再生を試みておらず、ほとんどの場合、壁に沿った動き成分が無視される。この簡単化した処理は輪郭トラッカによっても採用されており、現在の輪郭の法線に沿ってしかサーチを行わない。これは、異常な左心室の局所的な動きが、平行移動または回転（音波検査技師の手の動きもしくは患者の呼吸の動きに起因する）といった包括的な動きはもとより輪郭の法線からも外れる傾向にあり、輪郭上においてもオフノーマルな局所的な動きが生じることから局所的壁の異常検出に適していない。心内膜壁の包括的な形状をはじめ局所的な動きを追跡することは、壁の局所的な動きの異常を検出する上で望ましい。この情報を使用して、虚血および梗塞をさらに診断することができる。このように、外観ならびに形状を使用して解剖学的構造のマッチングを行う検出構想が必要とされている。
【課題を解決するための手段】
【００１１】
本発明は、外観（ａｐｐｅａｒａｎｃｅ）ならびに形状を使用して解剖学的構造のマッチングを行う検出構想に関する。画像内において対象の形状もしくは構造に注釈を付された画像のトレーニングセットが使用される。画像の第２のトレーニングセットは、そのような形状ならびに構造の負の例を表し、言い換えると、そのような対象もしくは構造をまったく含まない画像である。これらのトレーニングセットに対してトレーニングされた分類アルゴリズムが、構造の位置を検出するために使用される。構造が、その構造の形状ならびに外観についての詳細を提供することができるトレーニングセット内の類似物にマッチングされる。
【００１２】
本発明の別の観点は、無効なデータ領域を含む画像内の対象の検出方法に関する。画像内のどのピクセルが有効であるかを示すための画像用のデータマスクが決定される。このデータマスクは、各ピクセルがそのピクセルより上および左にある画像内の有効ピクセルの総数に対応する値を有する積分マスクとして表わされる。画像に、少なくとも１つの正領域および１つの負領域を有する矩形特徴が適用される。積分マスクを使用して矩形特徴内の有効ピクセルについて決定が行われる。無効ピクセルを含む領域について平均強度値が近似される。矩形特徴の正領域および負領域内の強度値の総和の間の重み付け後の差を計算することによって矩形特徴についての特徴値が決定される。特徴値が、対象が検出されたか否かを決定するために使用される。
【００１３】
本発明の別の観点は、画像内の対象の検出方法に関する。画像のウインドウ内の分類器について特徴値が計算される。この特徴値が予め決定された閾値より上にあるか否かが決定される。特徴値が閾値より上にあるときに、画像のウインドウ内の後続の分類器について後続の特徴値が計算される。特徴値の値と後続の特徴とが組み合わされる。組み合わせた特徴値が現在の組み合わせのための組み合わせ閾値より上にあるか否かが決定される。組み合わせた特徴値が組み合わせ閾値より上にあるときには、さらに、後続の分類器がなくなるかあるいは組み合わせた特徴値が組み合わせ閾値より上でなくなるまで、後続分類器を含むように組み合わせた特徴値が計算される。最終的な組み合わせた特徴値を使用して、対象が検出されたか否かが決定される。
【００１４】
本発明の別の観点は、画像内の解剖学的構造を検出し、画像のトレーニングセット内の１つ又は複数の解剖学的構造にマッチングさせるシステムおよび方法に関する。候補画像が受取られ、その候補画像から特徴値が抽出される。分類関数が解剖学的構造の検出に適用される。解剖学的構造が検出された場合には、画像のトレーニングセット内の１つ又は複数の類似画像が、候補画像について抽出した特徴値をトレーニングセット内の類似画像の特徴値にマッチングさせることによって、識別される。トレーニングセットからマッチングしている類似画像内の解剖学的構造の形状を使用して、候補画像内の解剖学的構造の形状が決定される。
【００１５】
従って、本発明による画像内の解剖学的構造の検出およびマッチング方法は、
画像内の解剖学的構造を検出し、画像のトレーニングセット内の１つ又は複数の解剖学的構造にマッチングさせる方法において、
候補画像を受取るステップ、
候補画像から特徴値を抽出するステップ、
解剖学的構造の検出に分類関数を適用するステップ、
解剖学的構造が検出された場合には、画像のトレーニングセット内の１つ又は複数の類似画像を、候補画像について抽出した特徴値をトレーニングセット内の類似画像の特徴値にマッチングさせることによって、識別するステップ、
トレーニングセットからマッチングしている類似画像内の解剖学的構造の１つ又は複数の形状を使用して、候補画像内の解剖学的構造の形状を決定するステップ
を含むことを特徴とする（請求項１）。
なお、本発明による画像内の解剖学的構造の検出およびマッチング方法の実施態様は次の通りである。
（１）特徴値をマッチングさせるステップは、候補解剖学的構造についての特徴ベクトルを生成するステップ、および、候補特徴ベクトルを類似画像に関連付けされた特徴ベクトルと比較するステップを含む（請求項２）。
（２）特徴ベクトルは、複数の弱い分類器出力ｈ'iｓおよび関連付けされた重みα'iｓを含む（請求項３）。
（３）特徴値をマッチングさせるステップは、さらに、ユークリッド距離関数における重み付け行列を使用し異なる距離測定値の使用を含む（請求項４）。
（４）分類関数を適用するステップは、候補画像を通じてウインドウをスキャンするステップを含む（請求項５）。
（５）分類関数を適用するステップは階層的に実行される（請求項６）。
（６）分類関数はブースティングを使用する（請求項７）。
（７）分類関数はアダブースティング（ＡｄａＢｏｏｓｔｉｎｇ）を使用する（請求項８）。
（８）分類関数はランクブースティング（ＲａｎｋＢｏｏｓｔｉｎｇ）を使用する（請求項９）。
（９）分類関数はサポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）を使用する（請求項１０）。
（１０）画像は超音波画像である（請求項１１）。
（１１）解剖学的構造は左心室である（請求項１２）。
（１２）解剖学的構造は顔である（請求項１３）。
【００１６】
同様に、本発明による画像内の解剖学的構造の検出およびマッチングシステムは、
画像内の解剖学的構造を検出し、画像のトレーニングセット内の１つ又は複数の解剖学的構造にマッチングさせるシステムにおいて、
候補画像を受取る手段、
候補画像から特徴値を抽出する手段、
解剖学的構造の検出に分類関数を適用する手段、
画像のトレーニングセット内の１つ又は複数の類似画像を、候補画像について抽出した特徴値をトレーニングセット内の類似画像の特徴値にマッチングさせることによって、識別する手段、
トレーニングセットのマッチングしている類似画像内の解剖学的構造の形状を使用して、候補画像内の解剖学的構造の形状を決定する手段、
を含むことを特徴とする（請求項２３）。
なお、本発明による画像内の解剖学的構造の検出およびマッチングシステムの実施態様は次の通りである。
（１）類似画像を識別する手段は、候補解剖学的構造についての特徴ベクトルを生成する手段、および、候補特徴ベクトルを類似画像に関連付けされた特徴ベクトルと比較する手段を含む（請求項２４）。特徴ベクトルは、複数の弱い分類器出力ｈ'iｓおよび関連付けされた重みα'iｓを含む（請求項２５）。
（２）分類関数を適用する手段は、候補画像を通じてウインドウをスキャンする手段を含む（請求項２６）。
（３）分類関数はブースティングを使用する（請求項２７）。
（４）分類関数はアダブースティング（ＡｄａＢｏｏｓｔｉｎｇ）を使用する（請求項２８）。
（４）分類関数はランクブースティング（ＲａｎｋＢｏｏｓｔｉｎｇ）を使用する（請求項２９）。
（５）分類関数はサポートベクトルマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）を使用する（請求項３０）。
（６）画像は超音波画像である（請求項３１）。解剖学的構造は左心室である（請求項３２）。
（７）解剖学的構造は顔である（請求項３３）。
【００１７】
本発明の別の観点は、画像内の解剖学的構造を、画像のトレーニングセット内の１つ又は複数の類似に成形された解剖学的構造にマッチングさせる方法に関する。候補解剖学的構造の画像が受取られ、その画像から特徴が抽出される。類似に成形された解剖学的構造に関連付けされた特徴が、候補解剖学的構造と比較される。トレーニングセットから少なくとも１つのもっとも近い近隣の形状を使用することによって候補解剖学的構造の形状が決定される。
【００１８】
従って、本発明による画像内の解剖学的構造のマッチング方法は、
画像内の解剖学的構造を、画像のトレーニングセット内の１つ又は複数の類似に成形された解剖学的構造にマッチングさせる方法において、
候補解剖学的構造の画像を受取るステップ、
画像から特徴を抽出するステップ、
類似に成形された解剖学的構造に関連付けされた特徴を候補解剖学的構造と比較するステップ、
トレーニングセットから少なくとも１つのもっとも近い近隣の形状を使用することによって候補解剖学的構造の形状を決定するステップ
を含むことを特徴とする（請求項１４）。
なお、本発明による画像内の解剖学的構造のマッチング方法の実施態様は次の通りである。
（１）候補解剖学的構造は、その輪郭に、一連のコントロールポイントによって注釈を付けられている（請求項１５）。
（２）類似に成形された解剖学的構造の各々は、その輪郭に、一連のコントロールポイントによって注釈を付けられている（請求項１６）。
（３）特徴を比較するステップは、候補解剖学的構造についての特徴ベクトルを生成するステップ、および、候補特徴ベクトルを、類似に成形された解剖学的構造に関連付けされた特徴ベクトルと比較するステップを含む（請求項１７）。
（４）特徴ベクトルは、複数の弱い分類器出力ｈ'iｓおよび関連付けされた重みα'iｓを含む（請求項１８）。
（５）比較するステップは、さらに、ユークリッド距離関数における重み付け行列を使用して異なる距離測定値の使用を含む（請求項１９）。
（６）画像は超音波画像である（請求項２０）。解剖学的構造は左心室である（請求項２１）。
（７）解剖学的構造は顔である（請求項２２）。
【００１９】
本発明の別の観点は、画像内の候補対象の変形可能な形状の検出および追跡システムおよび方法に関する。形状は、複数のラベル付けされたコントロールポイントによって表される。画像枠内の変形可能な形状の少なくとも１つのコントロールポイントが検出される。候補対象に関連付けされた各コントロールポイントについて位置不確実性行列が計算される。後続の画像枠内の変形可能な形状のダイナミクスを表し代表的対象の画像のトレーニングデータセットからの統計的情報を含む形状モデルが生成される。形状モデルが候補対象の変形可能な形状に位置合わせされる。形状モデルが変形可能な形状に融合され、候補対象の現在の形状が評価される。
【図面の簡単な説明】
【００２０】
【図１】図１は本発明に従って左心室の心内膜壁の形状を検出および追跡する方法を使用する超音波心臓検査システムの一例の構成を例示したブロック図
【図２】図２は心臓の代表的な超音波心臓検査画像を例示した説明図
【図３】図３は本発明に従って、弱い分類器を表す矩形特徴の例を示した説明図
【図４】図４は本発明に従って、与えられたウインドウについて強度の総和を決定する積分画像を使用する方法を例示した説明図
【図５】図５は本発明に従って、部分隠れを受けた積分画像内における矩形特徴を例示した説明図
【図６】図６は本発明に従って、図５の積分画像のための部分隠れマスクを例示した説明図
【図７】図７は本発明に従って、Ｈi―1とＨi―1*の関係を示した説明図
【図８】図８は本発明に従って、メモリを有するブーストカスケードの技術を概略で図示した説明図
【図９】図９は本発明に従った左心室の心内膜輪郭検出のための構想を例示した説明図
【図１０】図１０は本発明に従った、３次元データボリュームにおける腫瘍を検出する構想を例示した説明図
【図１１】図１１は本発明に従った形状位置合わせのための不変マニフォールドを例示した説明図
【図１２】図１２は本発明に従った形状整列を例示した説明図
【図１３】図１３は本発明に従って、形状検出および追跡中における不確実性の伝播を例示した説明図
【発明を実施するための最良の形態】
【００２１】
以下において本発明の好ましい実施形態について添付図面を参照してより詳細に説明するが、それにおいて類似の参照番号は類似の要素を示す。
【００２２】
本発明は、解剖学的構造の検出ならびにマッチング方法に関する。その方法が利用される例は、機械の学習を通じた心室の心内膜または心外膜の輪郭の検出ならびにセグメンテーションまたは分類によって、また注釈データベースから類似の事例を識別することによって行う心臓内の局所的な壁の動きの異常の検出である。ここで当業者であれば理解できるように、本発明は、顔の特徴あるいはそのほかの身体の特徴のような人間の特徴を認識するような形状の検出ならびにマッチングが有用であるこのほかの用途に使用することもできるが、これらに限定されない。また本発明は、２次元、３次元、および４次元（３Ｄ＋時間）のデータ分析、例えば心臓、肺または腫瘍の時間的に進化し得る解剖学的構造の医学的分析にも使用することが可能である。
【００２３】
本発明を説明するために、人間の心臓の左心室の心内膜壁の検出についての例を説明する。図１は、本発明に従って形状ならびに外観を使用して左心室の心内膜壁を検出する方法を使用する超音波心臓検査システムの一例の構成を例示している。超音波トランスデューサのような医用センサ１０２が使用され、患者の診察が実施される。センサ１０２は、特定の医療診察と一致する医用測定値を獲得するために使用される。例えば、心臓の問題を経験している患者に超音波心臓検査を実施して特定の心臓疾患の診断の補助とすることができる。超音波システムが、種々の視点から心臓の２、３、および４（３Ｄ＋時間）次元の画像を提供する。
【００２４】
センサ１０２によって獲得された情報は、ワークステーションまたはパーソナルコンピュータであってよいプロセッサ１０４に伝えられる。プロセッサ１０４はセンサデータを画像に変換し、画像がディスプレイ１０８に伝えられる。ディスプレイ１０８はまた、ほかのグラフィック情報または画像に関連する情報のテーブルを伝えることができる。本発明によれば、プロセッサ１０４には心内膜壁の初期輪郭を表すデータも提供される。このデータは、施術者または音波検査技師のようなユーザによってマニュアルで、あるいはプロセッサ１０４によって自動的に提供することができる。輪郭は、一連の個別のポイントを包含し、その動きがプロセッサ１０４によって追跡され、ディスプレイ１０８上に示される。
【００２５】
プロセッサ１０４は、医用センサ１０２からのデータに加えて、ほかのデータ入力を受取ることもできる。例えばプロセッサが、プロセッサ１０４に付設されたデータベース１０６からデータを受取ることがある。その種のデータは、心内膜壁の輪郭形状を表す部分空間モデルを含むことができる。これらの部分空間モデルは、複数の患者を代表する左心室の画像としてもよく、あるいは統計的情報に基づいてコンピュータにより生成された輪郭形状のモデルであってもよい。プロセッサ１０４は、ベイズの核マッチング法またはオプティカルフロー法のような周知の方法を利用して輪郭形状の個々のポイントを追跡する。追跡中のエラー蓄積は、マルチテンプレート適応マッチング構想を使用することによって軽減される。追跡の不確実性は、各ポイントにおいて共分散行列の形式で表され、続いて非直交投影を使用する部分空間の形状の拘束によって完全に利用される。
【００２６】
図２は、心臓の代表的な超音波心臓検査画像を例示している。音響的ドロップアウトを有する左心室の心内膜壁の部分が実線の楕円２０８によってマークされている。局所的な壁の動きの評価は破線の楕円２０２，２０４によって示されている。音響的ドロップアウトに起因して、心内膜壁は常に画像内のもっとも強いエッジにあるとは限らない。超音波心臓検査画像の特徴は、破線の直線２１０，２１２によって示されているとおり、画像の扇形形状である。扇形の外側範囲は有用なデータを含まない。
【００２７】
多くの検出方法は、画像内の対象の検出に弱い分類器または特徴のブースティングを使用する。選択された数の弱い分類器の応答を、ブースティングを通じて結合することによって、結果として得られる強い分類器が高い検出率を達成することができる。しかしながら周知の方法は、他の部分的に隠れている対象（例えば、扇形の外側のデータ）の存在において対象を検出する問題に取り組んでいない。部分隠れ（ｏｃｃｌｕｓｉｏｎ）に起因する弱い分類器の誤った応答は、対象の検出に負の影響を及ぼす。
【００２８】
次に、本発明の１つの観点に従って、対象の検出中における既知の部分隠れの影響を排除する方法を説明する。例えば超音波心臓検査画像を、扇形の外側の画像データ（つまり、有用でないか無効なデータ）が考慮されないように処理することができる。言い換えると、扇形の外側データが部分隠れとして扱われる。
【００２９】
対象の画像に関連付けされた簡単な特徴が、弱い分類器として識別される。その種の特徴の例が、図３Ａ〜３Ｄに示した矩形である。各矩形特徴の値は、各矩形のホワイト（正とも呼ばれる）領域内のピクセル強度の総和とグレイ（負とも呼ばれる）の領域内のピクセル強度の総和との間の差である。図３Ａ内に例示されている矩形特徴について言えば、負領域が３０２であり、正領域が３０４である。図３Ｂ内に例示されている矩形特徴については、負領域が３０８であり、正領域が３０６である。図３Ｃ内に例示されている矩形特徴については、負領域が３１２，３１４であり、正領域が３１０，３１６である。図３Ｄ内に例示されている矩形特徴については、負領域が３２０であり、正領域が３１８，３２２である。
【００３０】
矩形特徴はベース領域に対して過完全な基底を提供する。例えば矩形が２４×２４ピクセルのサイズである場合には、特徴の数が１８０，０００になる。矩形特徴の１つの利点は演算速度である。積分画像（ＩＩ）として知られる図４に示されているような中間表現を使用することによって、小さい固定数の演算を用いて特徴値を計算することが可能になる。
【００３１】
入力画像（例えば、左心室の超音波心臓検査画像）のためのＩＩの予備計算が、矩形特徴の計算に先行して行われる。ＩＩ内の各ピクセル（ｘ，ｙ）について強度値が決定される。これらの強度値は、データベース１０６（図１）内に記憶される。入力画像についてＩＩが計算された後、すべての特徴計算が極めて簡単化される。入力画像内の位置（ｘ0，ｙ0）における各ピクセルについて、強度値は、位置（ｘ0，ｙ0）より上および左にあ
るすべてのピクセルの強度の総和を決定することによって計算することができる。言い換えると、ＩＩ（ｘ0，ｙ0）におけるＩＩの集まりは、次式のように決定することができる。
【００３２】
【数１】
【００３３】
Ｉ（ｘ，ｙ）は、位置（ｘ，ｙ）におけるピクセルの強度である。
【００３４】
図４は、矩形特徴ＲfにおけるＩＩについての強度値の計算がどのように決定されるかを例示している。位置４０８におけるＩＩが計算され、実線４１０の内側範囲に等しい。位置４０８におけるＩＩを規定する別の方法は、矩形（Ａ＋Ｂ＋Ｃ＋Ｒf）についての強度値の総和である。Ｒfについての総和を獲得するためには、追加の計算を行わなければならない。位置４０６についてのＩＩは、線４１２によって画定される範囲についての総和を提供し、矩形（Ａ＋Ｃ）についての強度値の総和に等しい。位置４０６についてのＩＩを位置４０８についてのＩＩから減ずることによって、矩形（Ｂ＋Ｒf）についてのＩＩ'が得られる。次に位置４０４についてのＩＩが計算され、（Ａ＋Ｂ）によって画定される範囲についての総和を提供する。位置４０４についてのＩＩをＩＩ'から減ずることによって、矩形（‐Ａ＋Ｒf）についてのＩＩ"が得られる。最後に、位置４０２についてのＩＩをＩＩ"に加算すれば、Ｒfについての総和が求まる。
【００３５】
しかしながら、Ｒf内のピクセルが部分隠れを含む場合、それらのピクセルについての強度値は無効な値をもたらし、最終的に矩形特徴についての不正確な評価をもたらす。図５は、部分隠れ５０４を含む積分画像５０２の一例を示している。矩形特徴５０６が、部分隠れ５０４の一部を含む位置に置かれている。
【００３６】
本発明によれば、部分隠れマスクが使用され、部分隠れを受けている矩形特徴内に含まれるピクセルの寄与が排除される。図５のＩＩのための部分隠れマスクの一例を図６に示す。部分隠れマスクは、コントロールされた環境内において画像が取り込まれるとき、あるいはデータから推論できるときに使用することができる。例えば監視用途においては、静的な背景（例えば、ドア、壁、家具等の位置）が既知である。その背景内の対象が部分隠れを生じる尤度は決定可能であり、部分隠れマスクの作成に使用することができる。別の例は超音波画像である。超音波画像内においては、扇形の位置が超音波機械によって与えられるかあるいは計算することが可能であり、例えば時間変動の分析は静的に無効な領域をもたらすことができる。扇形が識別された後、部分隠れマスクを作成して、ＩＩの計算において扇形の存在を効果的に排除もしくは無効にすることができる。
【００３７】
部分隠れを受けているかもしくはそのほかの無効ピクセルについての強度値をゼロに設定することによって、矩形についての強度値の総和が正しくない値によって影響を受なくなる。しかしながら、今度は『欠けている』データが存在し、総和が不平衡になる。欠けている値が存在しないとき、矩形の総和はその矩形についての平均強度値に比例する。従って部分隠れが生じているときには、欠けている値を補償するために、有効な強度値を有するピクセルの数を使用することによって平均値が近似される。有効ピクセルの数は、最初に等価マップまたは部分隠れマスクを計算することによって見つけることができる。
【００３８】
部分隠れマスクＭはブール値からなり、ブール値では有効ピクセルに値１が割り当てられ、無効もしくは部分隠れを受けているピクセルに値０が割り当てられる。積分マスクは、現在の位置（ｘ0，ｙ0）より上および左にある有効な数のピクセルを使用して次のように計算することができる。
【００３９】
【数２】
【００４０】
式（１）のＩＩと同様に、矩形内の有効ピクセルの数は、前述と同じ数の演算において積分マスクから計算することができる。
【００４１】
矩形特徴５０６についての等価な特徴値は、正の画像領域内および負の画像領域内の強度の総和の間の重み付け後の差を与える。Ｒ+が正の値を伴ってピクセルの強度が寄与する領域を表し、Ｒ―が負の値でピクセルの強度が寄与する領域を表すとき、特徴値ｆは次のとおりとなる。
【００４２】
【数３】
【００４３】
上式においてｎ―、ｎ+は、それぞれ負および正領域についての有効ピクセルの数を表し、それぞれの領域はＮ個のピクセルを含む。ｎ―およびｎ+がいずれもゼロでないのであれば、最終的な特徴値はＮ／（ｎ―ｎ+）によって正規化される。矩形特徴についての積分画像の計算に部分隠れマスクを使用することによって、より正確な結果が獲得され、より良好な対象検出をもたらす。
【００４４】
特に、顔や解剖学的構造といった複雑な対象の場合には、対象を検出するために計算を必要とする特徴または成分が多数であることから、正確な結果をもたらしつつ必要な計算量を縮小するためのツールが使用される。広く使用されているツールの１つがブースティングである。一般に、ブースティングは複数の弱い分類器または特徴を識別する。それぞれの弱い分類器についての値が計算され、続いて予め定められた閾値と比較される。弱い分類器についての値がその閾値より上にある場合、その分類器は保持される。弱い分類器についての値がその閾値より下にある場合、その分類器は捨てられる。閾値を超えたすべての弱い分類器についての値の重み付け総和を求めることによって、対象検出に使用することのできる強い分類器が得られる。
【００４５】
ブースティングの変形がブーストカスケードである。この技術においては、分類器の優先順位が設定される。あるウインドウについて第１の分類器が計算され、それが閾値を満たさないときには、そのウインドウが別の位置に移される。計算された分類器が閾値を超える位置だけが保持される。閾値は、通常、エラーの寛大なマージンを許容する適度なレベルに設定される。計算が行われる位置の数を縮小することによって、この方法が効率的になる。しかしながら、これらの方法は先行する分類器からの出力を放棄する。次段のためのトレーニングは、新しい例のセットに対する一様な重み付けを伴って開始する。
【００４６】
本発明によれば、計算された各分類器についての値が保持され、より後の段階における分類器の計算を強化するために、将来の分類器の計算において使用される。図７Ａおよび７Ｂに示されているとおり、中間の強い分類器Ｈi―1が、カスケードの先行する段階から直接、現在の段階のための新しいトレーニングセットにわたって新しい閾値Ｔi*および関連パリティｐi*を設定することによって使用される。続いてトレーニングの例が、生の特徴を基礎としたトレーニングの前に新しい分類器Ｈi―1*のエラーによって重み付けされる。現在の段階のための強い分類器は、Ｈi―1*と選択された単一特徴分類器との重み付けされた総和である。検出中、先行する段階からの分類器出力を破棄する代わりに、それが、Ｔi*および関連パリティｐi*を用いる閾値と比較され、そのエラーに従って重み付けされ、現在の段階の単一特徴の弱い分類器からの出力の重み付けされた総和に加えられる。
【００４７】
一般的な『メモリを有するブーストカスケード』（ＢＣＭ）トレーニングアルゴリズムは、次のように記述することができる。
【００４８】
●メモリ内の初期カスケード分類器：Ｈ0*＝ヌル（ＮＵＬＬ）、エラーε＝∞、
●Ｐ＝正の例のセット、Ｎ＝負の例のセット、
●ｉ＝０、
カスケードの段階ｉを通るループ：
ｉ＋＋、
Ｐ，Ｎを使用し、分類器Ｈiを、Ｈi―1*とアダブースト（ＡｄａＢｏｏｓｔ）を使用する特定数の追加特徴とを用いてトレーニングし、その結果、必要な誤った正の検出率および誤った検出率が満たされる。
Ｈiの誤った正を負の例として使用することによってトレーニングセットの再構築、Ｐ→Ｐ*およびＮ→Ｎ*を行い、必要であれば正のセットを調整する。
Ｈiの再トレーニング：（例えば、最適閾値Ｔi*およびパリティｐi*を選択することによって）Ｈiの修正を行い、新しいトレーニングデータＰ*，Ｎ*上のその分類エラーを最小化する。結果として得られるＨi*およびその出力をメモリ内に入れる。
【００４９】
上記アルゴリズムにおいては、Ｈi―1*が使用される場合には、それが最初になることが仮定されている。Ｈi―1*は、ほかの単一特徴の弱い分類器の中間に使用することもできる。必要な変更は、先行する段階の末尾に代えて、現在の段階のトレーニング中に新しい閾値およびパリティの学習を行うことだけである。
【００５０】
Ｈiの評価は、現在のトレーニングセットまたは完全な代表的な有効性セットのうちのいずれかを使用して行うことができる。前者の場合には、Ｈiだけが使用され、現在の段階のパフォーマンス目標を満たすこと（例えば、段階当たり９５％）が目標となる。一方、後者の場合には、全体的なカスケード分類器が使用される必要があり、現在の段階ｉまでの複合パフォーマンス目標（例えば、０．９５i）が目標となる。
【００５１】
メモリを有するブーストカスケードアルゴリズムの別の例を次に示す。
【００５２】
●ユーザがｆについての値、すなわち層当たりの最大許容可能な誤った正の検出率、およびｄについての値、すなわち層当たりの最小許容可能な検出率を選択する。
●ユーザが、ターゲットの誤った正の総合率Ｆtargetを選択する。
●Ｐ＝正の例のセット、Ｎ＝負の例のセット、
●Ｆ0＝１．０、Ｄ0＝１．０、ｉ＝０、
●メモリ内の初期カスケード分類器：Ｈ0*＝ヌル、
Ｆi＞Ｆtargetの間にわたり以下を繰返し実行
ｉ＋＋
ｎi＝０、Ｆi＝Ｆi―1
Ｆi＞ｆ×Ｆi―1の間にわたり以下を繰返し実行
○ｎi＋＋
○ＰおよびＮを使用し、分類器Ｈiを、Ｈi―1*とアダブースト（ＡｄａＢｏｏｓｔ）を使用するｎi個の追加特徴とを用いてトレーニングする（ｉ＞１であれば、Ｈi―1*は、メモリ内に記憶されている結果を用いてすでにトレーニング済みである。それがその特徴より強い場合には、段階ｉについての弱い分類器としてＨi―1*を選択する。Ｈi―1*のエラーを使用し、その特徴に基づいて、残りの弱い分類器の選択のためのトレーニング例の重みを更新する。）。
○有効性セット上において現在のカスケード分類器Ｈiを評価し、Ｆi，Ｄiを決定する。
○現在のカスケード分類器が少なくともｄ×Ｄi―1（これは、Ｆiにも影響する）の検出率を有するまで、ｉ番目の分類器Ｈiのための閾値（Ｔi）を減少させる。
Ｎ＝φ
Ｆi＞Ｆtargetであれば、顔以外の一連の画像について現在のカスケード検出器Ｈiを評価し、誤った検出があればそれをセットＮ内に入れる。
Ｈi*の再トレーニングを行う。Ｈiについて第２の最適閾値Ｔi*およびパリティｐi*を選択し、新しいトレーニングデータＰ，Ｎに関する分類エラーを最小化する、結果として得られたＨi*およびその出力をメモリ内に入れる。
【００５３】
ＢＣＭ構想においては、検出プロセスが、以下の中間の強い分類器をカスケードの各段階について使用する。
【００５４】
段階１‐Ｈ1：α1ｈ1＋α2ｈ2＋．．．αn1ｈn1
段階２‐Ｈ2：αH1ｐ1*（Ｈ1‐Ｔ1*)＋（αn1+1ｈn1+1＋αn1+2ｈn1+2＋．．．αn1+n2
ｈn1+n2）
・・・
【００５５】
すでに先行する段階においてＨiが評価済みであることから、追加計算は、図８に例示されているとおり、現在のテスト標本が通過することになる各追加段階についての減算および乗算だけである。考慮されるそれぞれの追加の分類器について、先行する計算済みの分類器に関連付けされた値が考慮され、追加の値についての値と統合される。続いて結果として得られる値が閾値と比較される。最終結果は、対象検出のより正確な表示を提供する値になる。
【００５６】
対象が検出された後は、その画像に関する追加情報を獲得するためにその先の処理技術を使用することができる。本発明の別の観点によれば、外観および形状の併用を、一連のトレーニング画像に基づいて、テスト画像内の対象の形状または解剖学的構造のマッチングおよび検出に適用することができる。外観は、テスト画像内の対象もしくは構造の位置測定に使用される。その後マッチング技術が使用されて、正のトレーニングデータセットから類似の事例を探し出し、検出された候補についての形状または構造の詳細が提供される。検出、位置測定およびマッチングは階層的に行われ、より高精度の結果を達成することができる。マッチング技術は、演算時間を節約し、かつマッチング性能を向上させるために、検出プロセス中に学習した特徴を使用する。
【００５７】
本発明によれば、対象または解剖学的構造の検出ならびに形状の再生の概略構想が３つの段階、すなわちオフライントレーニング段階、オンライン検出段階およびマッチング段階を含む。
【００５８】
オフライントレーニング段階においては、正のトレーニング例がトレーニングデータセットとして記憶される。例えば超音波心臓検査の場合、トレーニングセットは人間の心臓の左心室の画像を含むことになろう。そのトレーニングセットは、種々の形状の左心室の例をはじめ、異常左心室の例の包括的なセットを含むことになる。好ましくはトレーニングセット内の画像が、最適状態（例えば、左心室が画像の中心に置かれている、画像が正規化されてサイズおよび回転の作用が排除されている、等）で示される。トレーニング段階中に、両ブースティングアルゴリズムが画像に適用される。これらの適用から獲得されたデータは、トレーニングデータとともに記憶され、弱い分類器の出力を示す特徴ベクトルを含むことができる。
【００５９】
すべての可能なトレーニング例が処理されて不変の特性が維持される。例えば全体的な平行移動、回転、およびスケーリングは、人間の心臓の左心室について不変の変換である。正データの整列は、検出器の設計に直接的な影響を与え、言い換えると検出中にそれぞれの整列軸が拡張される必要がある。すなわち、例えばトレーニングデータ内において回転が相殺されるとき、検出器は、検出の間に複数の回転をサーチしなければならない。整列されたトレーニングデータを用いれば、学習アルゴリズムは、正／負の分類器について選択された特徴および対応する決定関数を出力する。本発明によれば、トレーニングデータのすべてを変換して（例えば、スケーリングおよび回転）、変換後の検出器をトレーニングすることが可能である。
【００６０】
変換されたトレーニングデータを含む、トレーニングデータについてのすべての特徴は、データベース１０６（図１）内に記憶される。さらに、弱い分類器出力ならびにそれらに関連する重みを含む各正データ画像について特徴ベクトルが計算される。それぞれの弱い分類器は対象に関連付けされた成分を表す。正データについての特徴ベクトルは、後にテスト画像について計算された特徴ベクトルと比較され、類似の特徴を有する正データの識別を補助することができる。各正データの画像についての対象の輪郭に沿ったポイントに対応する位置ポイントもまた記憶され、形状マッチング段階において使用される。
【００６１】
オンライン検出段階においては、画像またはデータボリュームのためのスキャニングスキームが、テスト画像またはデータボリュームの内側のウインドウまたはキューブの平行移動、回転および／またはスケーリングによって採用され、候補データ部分をもたらす。各候補について、対象の位置、スケーリングおよび／または回転が全スキャンプロセス中または後に達成される。場合によっては、変換された複数の検出器を適用すると、候補を変換するより高速になる。ブースティングに基づく検出器は画像内の対象または候補の位置を示すことができる。
【００６２】
形状マッチング段階においては、対象を含むと見られる候補（勝利候補）が識別される。これらの候補に類似性マッチングアルゴリズムを適用して、対応するトレーニングデータセットからもっとも近い近隣を検索し、それらに関連付けされた形状を候補に適用する。弱い分類器出力ｈ'iｓおよびそれらに関連付けされた重みα'iｓに基づく形状マッチングのために、特徴ベクトルが使用される。マッチングは空間｛α1ｈ1，α2ｈ2，．．．，αKｈK｝内の距離を使用して行われる。Ｋは弱い分類器の特徴の数である。このほかの特徴空間を使用することも可能である。形状マッチングアルゴリズムは、トレーニングデータ内の１つ又は複数の画像に関連付けされた『類似』特徴ベクトルを探す。マッチングが得られた後、トレーニングセット内の関連するマッチング画像からのデータを使用して、対象の形状ならびに構造に関係する詳細を提供することができる。
【００６３】
次に、２次元（２Ｄ）データを使用して一例を説明する。当業者には理解できることであろうが、本発明は、３次元（３Ｄ）データおよび４次元（３Ｄ＋時間）データを処理することも可能である。図９は、左心室（ＬＶ）の心内膜の輪郭を検出する一例を示し、これは原画像および描出された心内膜の輪郭とともに、ＬＶ枠の注釈付きデータセットを使用する学習ならびにマッチングを基礎としている。
【００６４】
この構想は、最初に、位置合わせされたＬＶ部分（モジューロ平行移動、スケーリング、および回転）のデータベースを構築する。ＬＶ部分は例えばランドマークまたはコントロールポイントの順序付きセットの形式で注釈を付けられた輪郭を有する。検出アルゴリズムは、この例のセットおよびそのほかの負の部分を使用して設計され、トレーニングされる。例えば、ブースティングに基づく特徴選択および分類器構築アルゴリズムを使用することが可能である。特徴ベクトルはすべての例について計算される。
【００６５】
続いてこの構想は、ＬＶを位置測定するために学習した検出アルゴリズムを採用する。１つ又は複数の検出された候補は、適切なサイズならびに回転を伴ってＬＶを含む１つ又は複数の局所的部分である。（サイズならびに回転は、複数の可能なスケーリングならびに回転において画像をスキャンすることによって決定される。）
【００６６】
最後に、検出された候補から特徴ベクトルが抽出され、データベースと比較されて１つ又は複数のもっとも近い近隣が見つけ出される。この輪郭は続いて、例えば検出された部分に対するそれらのマッチング距離に逆比例する重みを用いた重み付け総和を使用して結合され、検出された候補部分についての輪郭が形成される。１つの可能な特徴タイプは、サブサンプリングを伴うか又は伴わない部分内側の画像強度である。このほかの特徴には、重み付け係数を伴うか又は伴わない弱い分類器出力が含まれる。その種の特徴の集まりの選択に主成分分析を使用することも可能である。
【００６７】
図１０は、３次元データボリューム内の腫瘍検出の一例を示している。この方法は上記に類似しているが、３Ｄの近隣、３Ｄの特徴、および３Ｄのスキャニングがマッチング検出に使用される点で異なる。
【００６８】
対象が検出され、形状ならびに外観がマッチンチされた後、その対象の形状を時間的に追跡することができる。この種の追跡は、超音波心臓検査において、心筋のリズミックな運動のために重要である。測定の不確実性は形状追跡中に重要な役割を果たす。本発明によれば、個別にトレーニングされた成分検出器が、比較的安定した局所的外観を利用するために画像に適用され、一方、包括的形状モデルが使用されて成分融合プロセスを拘束する。ここで、自動形状検出および追跡中における局所的検出、動きのダイナミクス、および部分空間形状モデリングから最適に融合される不確実性のための一様化された構想について説明する。ブーストされた成分検出器が、超音波心臓検査シーケンスにおける左心室の輪郭の位置測定のために使用される。
【００６９】
平均をｘ、共分散をＣxとする多次元ガウス分布Ｎ（ｘ，Ｃx）によって候補予備形状の検出が示されるとき、第１のステップは、標本の予備形状ｘ0の中から、Ｎ（ｘ，Ｃx）、形状モデルＮ（ｍ，Ｃm）、および先行するステップから予測された形状Ｎ（ｘ―，Ｃx―）によって連帯的に、最適な不変変換の下に生成される尤度がもっとも高い１つを見つけ出すことである。等価公式は、予備形状空間および変換された形状空間におけるマハラノビス距離の総和を最小化するｘ*を見つけ出すことであり、すなわち次式となる。
【００７０】
【数４】
【００７１】
上式においてＴを不変変換とするとき、ｘ0'＝Ｔ（ｘ0）である。
【００７２】
複数の候補予備形状を用いて、検出マップ内の尤度値も考慮して、もっとも高い尤度をもたらす１つが決定時に勝ち残る。式（５）は、位置および変換にわたる同時最適化を要求し、平行移動、回転、およびスケーリングだけを許容する相似変換のような簡単な変換についてさえ、閉じた形の解を持たない。包括的な最適性は、繰返しを通じて数値的に求めることができるが、演算負荷が高すぎる。
【００７３】
困難は、すべての可な変換を通り任意の予備形状によって形成されたマニフォールド（すなわち形状）が、一般に形状の部分空間と、特にその部分空間の次元が比較的小さいときに交差しないことから生じる。本発明においては、形状の部分空間が６〜１２の次元を有し、完全なユークリッド空間の次元は≧３４である。図１１は、形状位置合わせのための不変マニフォールドを例示しており、概念的にこの関係を、予備形状ベクトルＸによって形成されたマニフォールドを示す太い曲線１１０２と、傾斜軸１１０４と、部分空間モデルを表す１次元ガウス分布１１０６とを用いて図示されている。一般に、マニフォールドは、形状モデルの部分空間（すなわち、モデル重心Ｍを含む傾斜付きの軸１１０４）と交差しない。予測は省略するか、検出および予測の融合結果としてＸを考えることができる。本発明は、全体的な解として２ステップの最適化スキームに関し、両ステップについて閉じた形の解を伴う。このスキームは図１１を参照して容易に説明することができる。第１のステップは、Ｃx内の情報を使用してＸからＸ*に移動するか、あるいは言い換えるならば、ＸからＭへの最適変換を見つける。第２のステップは、ＣMからの追加情報を使用して、Ｘ*からＸMに移動する。第１のステップは位置合わせステップと呼ばれ、第２のステップは拘束ステップと呼ばれる。
【００７４】
位置合わせステップの目標は、予備形状の変換中における成分の不確実性およびモデルに向かうその共分散行列を考慮に入れることである。まず、ｄ2を次のようにして最小化する。
ｄ2＝（ｍ‐ｘ'）TＣ'x‐1（ｍ‐ｘ'） （６）
ｘ'＝Ｔ（ｘ）かつＣ'x＝Ｔ（Ｃx）である。表記を簡単化するために、予測Ｎ（ｘ―，Ｃx―）がＮ（ｘ，Ｃx）に融合されているものと仮定している。
【００７５】
Ｔが相似変換であるときには、次式を得る。
ｘ'＝Ｒｘ＋ｔ （７）
ｔは２つの自由パラメータを有する変換ベクトルであり、Ｒは各ブロックが次のとおりとなるブロック対角行列である。
【００７６】
【数５】
【００７７】
簡単な代数を用いて、式（６）を次のように書き直すことができる。
【００７８】
【数６】
【００７９】
Ｒおよびｔ内の４つの自由パラメータについて導関数を取ることによって、閉じた形の解を得ることができる。図１２ａおよび１２ｂに、ポイント位置における不確実性の考慮を含む場合、および含まない場合の形状位置合わせを例示する。図１２ａは、位置測定における不確実性の考慮を伴わない形状位置合わせを示している。図１２ｂは、異分散の不確実性を伴う形状位置合わせを示している。楕円１２０２〜１２１２は、ポイント位置上の共分散を示し、ブロック対角行列Ｃx内の情報を表す。直感は、より高い信頼性を伴ったより多くのポイントを頼ることになる。
【００８０】
予備形状がモデルに位置合わせされた後、２つの競合する情報源、すなわち位置合わせされた検出−予測対（部分空間）モデルによって生成されているということの最大尤度を伴う形状について決定が行われる。全空間モデルを用いて、公式化は、ガウス源との情報融合またはＢＬＵＥ（最良線形不偏推定量（Ｂｅｓｔ Ｌｉｎｅａｒ Ｕｎｂｉａｓｅｄ Ｅｓｔｉｍａｔｏｒ））に直接関係付けされる。
【００８１】
それぞれが多次元ガウス分布によって特徴付けられて記述される同じｎ次元変量ｘの２つのノイズの多い測定値Ｎ（ｘ1，Ｃ1）、Ｎ（ｘ2，Ｃ2）を考えると、ｘの最大尤度評価は、修正マハラノビス距離Ｄ2（ｘ，ｘ2，Ｃ2）の最小和を伴うポイントになる。ここでは、一般性を失うことなくＣ2を特異としている。Ｕ＝［ｕ1，ｕ2，．．．，ｕn］とし、ｕiの正規直交を用い、かつΛ＝ｄｉａｇ｛λ1，λ2，．．．，λp，０，．．．，０｝とするとき、Ｃ2＝ＵΛＵTの特異値分解を用いてｘ2に対するマハラノビス距離は次のとおりとなる。
【００８２】
【数７】
【００８３】
λiが０に向かうとき、Ｄ2（ｘ，ｘ2，Ｃ2）が、ＵT0ｘ＝０でない限り無限大に向かう。Ｕ0＝［ｕp+1，ｕp+2，．．．，ｕn］である。ここで、一般性を失うことなく、部分空間は原空間の原点を通るとする。ｘ2が部分空間内に属することから、Ｕ0Tｘ2＝０である。
【００８４】
Ｕ0Tｘ＝０であることから、ｄ2は次のようになる。
【００８５】
【数８】
【００８６】
ｙは１×ｐのベクトルである。
【００８７】
ｙに関する導関数を取ると、部分空間についての融合推定量がもたらされる。
【００８８】
【数９】
【００８９】
原空間における等価式は次のとおりとなる。
【００９０】
【数１０】
【００９１】
Ｃx*およびＣy*が、ｘ*およびｙ*についての対応する共分散行列であることを示すことができる。
【００９２】
上記に代えて式（１２）および（１３）を次のように表すことができる。
【００９３】
【数１１】
【００９４】
これにおいてｙ2は、Ｕpによって形成される部分空間内のｘ2の変換された座標であり、Λp＝ｄｉａｇ｛λ1，λ2，．．．，λp｝である。式（１６）は、２つのガウス分布の部分空間内のＢＬＵＥ融合として見ることが可能であり、一方はＮ（ｙ2，Λp）、他方は部分空間内のＮ（ｘ1，Ｃ1）の交差つまりＮ（（ＵTpＣ1―1Ｕp）‐1ＵTpＣ1―1ｘ1，（ＵTpＣ1―1Ｕp）―1）である。
【００９５】
上記の部分空間融合は、（部分空間）モデル拘束のための一般公式を提供し、形状測定値（異分散不確実性を伴う）および主成分分析（ＰＣＡ）形状モデルを２つの情報源として扱う。以下においては、追跡から動的予測を表す第３の源が追加される。追跡から得られた非常に重要な利点は、検出に加えて、予測を支配するシステムダイナミクスからの追加情報、および時間にわたる情報の融合である。上記の分析を基礎とすると、式（４）に対する解は、次の形を有する。
【００９６】
【数１２】
【数１３】
【００９７】
この解は、１つの一様化された構想内に検出、形状モデルおよび動的予測からの情報を置く。予測された形状がまた部分空間内に閉じ込められるときには、変換Ｔの内側におけるネスティングされた態様で前述した部分空間のＢＬＵＥ公式化を適用することができる。予測Ｎ（ｘ―，Ｃｘ―）はシステムダイナミクスからの情報を含む。この情報が使用されて、拡張ならびに収縮、および遅い平行移動ならびに回転のような全体的な動きの傾向がエンコードされる。Ｎ（ｘ―，Ｃｘ―）は、カルマンセッティングにおける予測フィルタのような伝統的な方法を使用して獲得することができる。
【００９８】
【数１４】
【００９９】
上式においてシステムダイナミクスの式は次のとおりとなる。
【０１００】
【数１５】
【０１０１】
Ｑはｑの共分散であり、『ｐｒｅｖ』は先行するステップからの情報であることを示す。
【０１０２】
図１３は、検出の不確実性がすべてのステップを通って伝播される分析ステップの概略図を示している。各枠において、複数の検出候補が、形状モデルと先行の枠からのシステムダイナミクスに基づく予測との両関係における検出候補の尤度を比較することによって評価される。１３０２〜１３１６の楕円は不確実性の位置を例示している。不確実性は、位置合わせ中に形状とともに変換され、尤度評価ならびに追跡の間にモデルならびに予測された先行情報と融合される。
【０１０３】
外観ならびに形状を使用する解剖学的構造の検出およびマッチング方法についての実施形態を説明したが、上記の教示に照らせば当業者にとって修正および変形が可能なことに気付く。従って、特許請求の範囲によって規定されるとおりの本発明の精神ならびに範囲内において、開示された本発明の特定の実施形態のなかで変更を行うことができることは理解できることである。このように特に特許法によって要求されるとおりに詳細に本発明を説明しているが、請求項に記載され特許証による保護が望ましいものは特許請求の範囲の中に示されている。
【符号の説明】
【０１０４】
１０２ 医用センサ
１０４ プロセッサ
１０６ データベース
１０８ ディスプレイ
２０２ 楕円
２０４ 楕円
２０８ 楕円
２１０ 直線
２１２ 直線
３０２ 負領域
３０４ 正領域
３０６ 正領域
３０８ 負領域
３１０ 正領域
３１２ 負領域
３１４ 負領域
３１６ 正領域
３１８ 正領域
３２０ 負領域
３２２ 正領域
４０２ 位置
４０４ 位置
４０６ 位置
４０８ 位置
４１０ 実線
４１２ 線
５０２ 積分画像
５０４ 部分隠れ
５０６ 矩形特徴
【特許請求の範囲】
【請求項１】
画像内の解剖学的構造を検出し、画像のトレーニングセット内の１つ又は複数の解剖学的構造にマッチングさせる方法において、
候補画像を受取るステップ、
候補画像から特徴値を抽出するステップ、
解剖学的構造の検出に分類関数を適用するステップ、
解剖学的構造が検出された場合には、画像のトレーニングセット内の１つ又は複数の類似画像を、候補画像について抽出した特徴値をトレーニングセット内の類似画像の特徴値にマッチングさせることによって、識別するステップ、
トレーニングセットからマッチングしている類似画像内の解剖学的構造の１つ又は複数の形状を使用して、候補画像内の解剖学的構造の形状を決定するステップ
を含むことを特徴とする画像内の解剖学的構造の検出およびマッチング方法。
【請求項２】
特徴値をマッチングさせるステップは、
候補解剖学的構造についての特徴ベクトルを生成するステップ、
候補特徴ベクトルを類似画像に関連付けされた特徴ベクトルと比較するステップ
を含むことを特徴とする請求項１記載の方法。
【請求項３】
特徴ベクトルは、複数の弱い分類器出力ｈ'iｓおよび関連付けされた重みα'iｓを含むことを特徴とする請求項２記載の方法。
【請求項４】
特徴値をマッチングさせるステップは、さらに、ユークリッド距離関数における重み付け行列を使用し異なる距離測定値の使用を含むことを特徴とする請求項３記載の方法。
【請求項５】
分類関数を適用するステップは、
候補画像を通じてウインドウをスキャンするステップ
を含むことを特徴とする請求項１記載の方法。
【請求項６】
分類関数を適用するステップは階層的に実行されることを特徴とする請求項１記載の方法。
【請求項７】
分類関数はブースティングを使用することを特徴とする請求項１記載の方法。
【請求項８】
分類関数はアダブースティングを使用することを特徴とする請求項１に記載の方法。
【請求項９】
分類関数はランクブースティングを使用することを特徴とする請求項１記載の方法。
【請求項１０】
分類関数はサポートベクトルマシンを使用することを特徴とする請求項１記載の方法。
【請求項１１】
画像は超音波画像であることを特徴とする請求項１記載の方法。
【請求項１２】
解剖学的構造は左心室であることを特徴とする請求項１１記載の方法。
【請求項１３】
解剖学的構造は顔であることを特徴とする請求項１記載の方法。
【請求項１４】
画像内の解剖学的構造を、画像のトレーニングセット内の１つ又は複数の類似に成形された解剖学的構造にマッチングさせる方法において、
候補解剖学的構造の画像を受取るステップ、
画像から特徴を抽出するステップ、
類似に成形された解剖学的構造に関連付けされた特徴を候補解剖学的構造と比較するステップ、
トレーニングセットから少なくとも１つのもっとも近い近隣の形状を使用することによって候補解剖学的構造の形状を決定するステップ
を含むことを特徴とする画像内の解剖学的構造のマッチング方法。
【請求項１５】
候補解剖学的構造は、その輪郭に、一連のコントロールポイントによって注釈を付けられていることを特徴とする請求項１４記載の方法。
【請求項１６】
類似に成形された解剖学的構造の各々は、その輪郭に、一連のコントロールポイントによって注釈を付けられていることを特徴とする請求項１４記載の方法。
【請求項１７】
特徴を比較するステップは、
候補解剖学的構造についての特徴ベクトルを生成するステップ、
候補特徴ベクトルを、類似に成形された解剖学的構造に関連付けされた特徴ベクトルと比較するステップ、
を含むことを特徴とする請求項１４記載の方法。
【請求項１８】
特徴ベクトルは、複数の弱い分類器出力ｈ'iｓおよび関連付けされた重みα'iｓを含むことを特徴とする請求項１７記載の方法。
【請求項１９】
比較するステップは、さらに、ユークリッド距離関数における重み付け行列を使用して異なる距離測定値の使用を含むことを特徴とする請求項１８記載の方法。
【請求項２０】
画像は超音波画像であることを特徴とする請求項１４記載の方法。
【請求項２１】
解剖学的構造は左心室であることを特徴とする請求項２０記載の方法。
【請求項２２】
解剖学的構造は顔であることを特徴とする請求項１４記載の方法。
【請求項２３】
画像内の解剖学的構造を検出し、画像のトレーニングセット内の１つ又は複数の解剖学的構造にマッチングさせるシステムにおいて、
候補画像を受取る手段、
候補画像から特徴値を抽出する手段、
解剖学的構造の検出に分類関数を適用する手段、
画像のトレーニングセット内の１つ又は複数の類似画像を、候補画像について抽出した特徴値をトレーニングセット内の類似画像の特徴値にマッチングさせることによって、識別する手段、
トレーニングセットのマッチングしている類似画像内の解剖学的構造の形状を使用して、候補画像内の解剖学的構造の形状を決定する手段、
を含むことを特徴とする画像内の解剖学的構造の検出およびマッチングシステム。
【請求項２４】
類似画像を識別する手段は、
候補解剖学的構造についての特徴ベクトルを生成する手段、
候補特徴ベクトルを類似画像に関連付けされた特徴ベクトルと比較する手段
を含むことを特徴とする請求項２３記載のシステム。
【請求項２５】
特徴ベクトルは、複数の弱い分類器出力ｈ'iｓおよび関連付けされた重みα'iｓを含むことを特徴とする請求項２４記載のシステム。
【請求項２６】
分類関数を適用する手段は、
候補画像を通じてウインドウをスキャンする手段
を含むことを特徴とする請求項２３記載のシステム。
【請求項２７】
分類関数はブースティングを使用することを特徴とする請求項２３記載のシステム。
【請求項２８】
分類関数はアダブースティングを使用することを特徴とする請求項２３記載のシステム。
【請求項２９】
分類関数はランクブースティングを使用することを特徴とする請求項２３記載のシステム。
【請求項３０】
分類関数はサポートベクトルマシンを使用することを特徴とする請求項２３記載のシステム。
【請求項３１】
画像は超音波画像であることを特徴とする請求項２３記載のシステム。
【請求項３２】
解剖学的構造は左心室であることを特徴とする請求項３１記載のシステム。
【請求項３３】
解剖学的構造は顔であることを特徴とする請求項２３記載のシステム。
【請求項１】
画像内の解剖学的構造を検出し、画像のトレーニングセット内の１つ又は複数の解剖学的構造にマッチングさせる方法において、
候補画像を受取るステップ、
候補画像から特徴値を抽出するステップ、
解剖学的構造の検出に分類関数を適用するステップ、
解剖学的構造が検出された場合には、画像のトレーニングセット内の１つ又は複数の類似画像を、候補画像について抽出した特徴値をトレーニングセット内の類似画像の特徴値にマッチングさせることによって、識別するステップ、
トレーニングセットからマッチングしている類似画像内の解剖学的構造の１つ又は複数の形状を使用して、候補画像内の解剖学的構造の形状を決定するステップ
を含むことを特徴とする画像内の解剖学的構造の検出およびマッチング方法。
【請求項２】
特徴値をマッチングさせるステップは、
候補解剖学的構造についての特徴ベクトルを生成するステップ、
候補特徴ベクトルを類似画像に関連付けされた特徴ベクトルと比較するステップ
を含むことを特徴とする請求項１記載の方法。
【請求項３】
特徴ベクトルは、複数の弱い分類器出力ｈ'iｓおよび関連付けされた重みα'iｓを含むことを特徴とする請求項２記載の方法。
【請求項４】
特徴値をマッチングさせるステップは、さらに、ユークリッド距離関数における重み付け行列を使用し異なる距離測定値の使用を含むことを特徴とする請求項３記載の方法。
【請求項５】
分類関数を適用するステップは、
候補画像を通じてウインドウをスキャンするステップ
を含むことを特徴とする請求項１記載の方法。
【請求項６】
分類関数を適用するステップは階層的に実行されることを特徴とする請求項１記載の方法。
【請求項７】
分類関数はブースティングを使用することを特徴とする請求項１記載の方法。
【請求項８】
分類関数はアダブースティングを使用することを特徴とする請求項１に記載の方法。
【請求項９】
分類関数はランクブースティングを使用することを特徴とする請求項１記載の方法。
【請求項１０】
分類関数はサポートベクトルマシンを使用することを特徴とする請求項１記載の方法。
【請求項１１】
画像は超音波画像であることを特徴とする請求項１記載の方法。
【請求項１２】
解剖学的構造は左心室であることを特徴とする請求項１１記載の方法。
【請求項１３】
解剖学的構造は顔であることを特徴とする請求項１記載の方法。
【請求項１４】
画像内の解剖学的構造を、画像のトレーニングセット内の１つ又は複数の類似に成形された解剖学的構造にマッチングさせる方法において、
候補解剖学的構造の画像を受取るステップ、
画像から特徴を抽出するステップ、
類似に成形された解剖学的構造に関連付けされた特徴を候補解剖学的構造と比較するステップ、
トレーニングセットから少なくとも１つのもっとも近い近隣の形状を使用することによって候補解剖学的構造の形状を決定するステップ
を含むことを特徴とする画像内の解剖学的構造のマッチング方法。
【請求項１５】
候補解剖学的構造は、その輪郭に、一連のコントロールポイントによって注釈を付けられていることを特徴とする請求項１４記載の方法。
【請求項１６】
類似に成形された解剖学的構造の各々は、その輪郭に、一連のコントロールポイントによって注釈を付けられていることを特徴とする請求項１４記載の方法。
【請求項１７】
特徴を比較するステップは、
候補解剖学的構造についての特徴ベクトルを生成するステップ、
候補特徴ベクトルを、類似に成形された解剖学的構造に関連付けされた特徴ベクトルと比較するステップ、
を含むことを特徴とする請求項１４記載の方法。
【請求項１８】
特徴ベクトルは、複数の弱い分類器出力ｈ'iｓおよび関連付けされた重みα'iｓを含むことを特徴とする請求項１７記載の方法。
【請求項１９】
比較するステップは、さらに、ユークリッド距離関数における重み付け行列を使用して異なる距離測定値の使用を含むことを特徴とする請求項１８記載の方法。
【請求項２０】
画像は超音波画像であることを特徴とする請求項１４記載の方法。
【請求項２１】
解剖学的構造は左心室であることを特徴とする請求項２０記載の方法。
【請求項２２】
解剖学的構造は顔であることを特徴とする請求項１４記載の方法。
【請求項２３】
画像内の解剖学的構造を検出し、画像のトレーニングセット内の１つ又は複数の解剖学的構造にマッチングさせるシステムにおいて、
候補画像を受取る手段、
候補画像から特徴値を抽出する手段、
解剖学的構造の検出に分類関数を適用する手段、
画像のトレーニングセット内の１つ又は複数の類似画像を、候補画像について抽出した特徴値をトレーニングセット内の類似画像の特徴値にマッチングさせることによって、識別する手段、
トレーニングセットのマッチングしている類似画像内の解剖学的構造の形状を使用して、候補画像内の解剖学的構造の形状を決定する手段、
を含むことを特徴とする画像内の解剖学的構造の検出およびマッチングシステム。
【請求項２４】
類似画像を識別する手段は、
候補解剖学的構造についての特徴ベクトルを生成する手段、
候補特徴ベクトルを類似画像に関連付けされた特徴ベクトルと比較する手段
を含むことを特徴とする請求項２３記載のシステム。
【請求項２５】
特徴ベクトルは、複数の弱い分類器出力ｈ'iｓおよび関連付けされた重みα'iｓを含むことを特徴とする請求項２４記載のシステム。
【請求項２６】
分類関数を適用する手段は、
候補画像を通じてウインドウをスキャンする手段
を含むことを特徴とする請求項２３記載のシステム。
【請求項２７】
分類関数はブースティングを使用することを特徴とする請求項２３記載のシステム。
【請求項２８】
分類関数はアダブースティングを使用することを特徴とする請求項２３記載のシステム。
【請求項２９】
分類関数はランクブースティングを使用することを特徴とする請求項２３記載のシステム。
【請求項３０】
分類関数はサポートベクトルマシンを使用することを特徴とする請求項２３記載のシステム。
【請求項３１】
画像は超音波画像であることを特徴とする請求項２３記載のシステム。
【請求項３２】
解剖学的構造は左心室であることを特徴とする請求項３１記載のシステム。
【請求項３３】
解剖学的構造は顔であることを特徴とする請求項２３記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−３１０５３（Ｐ２０１１−３１０５３Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２０１０−２０８２４０（Ｐ２０１０−２０８２４０）
【出願日】平成２２年９月１６日（２０１０．９．１６）
【分割の表示】特願２００６−５４１４０８（Ｐ２００６−５４１４０８）の分割
【原出願日】平成１６年１１月１９日（２００４．１１．１９）
【出願人】（５９３０６３１０５）シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド (156)
【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ ＵＳＡ，Ｉｎｃ．
【住所又は居所原語表記】５１ Ｖａｌｌｅｙ Ｓｔｒｅａｍ Ｐａｒｋｗａｙ，Ｍａｌｖｅｒｎ，ＰＡ １９３５５−１４０６，Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２２年９月１６日（２０１０．９．１６）
【分割の表示】特願２００６−５４１４０８（Ｐ２００６−５４１４０８）の分割
【原出願日】平成１６年１１月１９日（２００４．１１．１９）
【出願人】（５９３０６３１０５）シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド (156)
【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ ＵＳＡ，Ｉｎｃ．
【住所又は居所原語表記】５１ Ｖａｌｌｅｙ Ｓｔｒｅａｍ Ｐａｒｋｗａｙ，Ｍａｌｖｅｒｎ，ＰＡ １９３５５−１４０６，Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]