メッシュ衝突回避
本発明は、モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化するシステム１００に関する。このシステムは、メッシュの現在の位置に基づき上記メッシュの外部エネルギーを計算するため、上記画像データにおける特徴を特定する特徴ユニット１２０を有する。この特徴ユニット１２０は更に、上記画像データにおいて特定される上記特徴に含まれることになる特徴を特定するため、上記画像データにおける複数の候補特徴を選ぶ候補特徴ユニット１２２と、上記画像データの領域に対する上記複数の候補特徴の各候補特徴の位置を決定する位置ユニット１２４と、各候補特徴の強度を計算する特徴関数ユニットであって、上記各候補特徴の強度が、上記領域に対する上記各候補特徴の位置に依存する、特徴関数ユニット１２６と、上記複数の候補特徴の各候補特徴を評価し、上記評価に基づき上記複数の候補特徴における上記特徴を特定する評価ユニット１２８とを有する。回避されるべきである上記領域内部に、例えば、上記画像データにおける別の対象物に対して適合される別のメッシュ内部に、選ばれた候補特徴が配置されるかどうかを決定すると、上記各特徴の強度の上記計算の間、及び従って上記複数の候補特徴の上記評価の間、この候補特徴に罰を科すことが可能になる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像セグメント化に関し、より詳細には、画像データにおける複数の対象物のモデルベースの同時的なセグメント化に関する。
【背景技術】
【０００２】
モデルベースのセグメント化は、例えば放射線療法計画において、介入及びフォローアップ研究での多数の用途を持つ。柔軟なメッシュにより表される変形可能なモデル、例えば三角形メッシュ又は単純なメッシュが、対応する画像構造に適合される。通常、この適合は、２つの競合するエネルギーの加重和を最適化することにより、すべての対象物に対して別々に実施される。２つの競合するエネルギーとは、画像において特徴の方へメッシュ三角形を駆動する外部エネルギーと、モデルの形式を保存する内部のエネルギーとである。この方法の実現は、以下参照文献１として記載される、J. Weese、M. Kaus、C. Lorenz、S. Lobregt、R. Truyen、V. Pekarによる「Shape constrained deformable models for 3D medical Image segmentation」、IPMI 2001、3 pp. 80-387に表される。
【０００３】
複数のメッシュの別々の適合は、複数の対象物間の空間関係を考慮することができず、従って、例えばメッシュと交差するといった間違った適合結果をしばしば生じさせる。この問題を解決するための第１の試みは、国際公開第２００４／０１０３７４Ａ２号「Simultaneous segmentation of multiple or composed objects by mesh adaptation」に記載される。そこでは、２つのメッシュを接続する追加的なエッジが、モデルに導入される。これらの追加的なエッジは、縮重された三角形として考慮され、２つのメッシュの空間関係を保つため、これらの三角形に関して内部エネルギーが拡張される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この手順は、対応するメッシュを事前に配置することにより２つの対象物の空間関係が記述されることができるときのみ適用可能である。なぜなら、追加的なエッジ又は三角形の長さ及び位置は、保存されることになるからである。しかし、多くの医療用途では、互いに対してスライドする可能性がある体内器官が関連する。例えば、腹部領域における器官、肋骨ケージに対する肺、又は脊椎における２つの連続した脊柱などである。斯かる器官に対して、国際公開第２００４／０１０３７４Ａ２号に記載される方法を用いて同時的なセグメント化を行うと、メッシュ交差だけは回避されることができるが、にもかかわらず間違った空間関係を備える適合が生じることになる。
【０００５】
より一般的な観点から言えば、画像データにおける対象物に適合されるメッシュと重複するべきでない画像データの領域は、別のメッシュにより規定されることができない。例えば、脳の右半球を表す画像データにおける対象物にメッシュを適合させるとき、回避されるべき領域は、右半球を左半球から分離する平面により規定されることができる。肺における根粒にメッシュを適合させるとき、回避されるべき領域は、根粒を有する球体により規定されることができる。
【０００６】
適合されるモデルメッシュと画像データの領域との重複の可能性を最小にするか、又は重複を回避しつつ、対象物をセグメント化する手段を提供することが有利である。
【課題を解決するための手段】
【０００７】
こうして、ある側面において、本発明は、モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化するシステムを提供する。このシステムは、メッシュの現在の位置に基づき上記メッシュの外部エネルギーを計算するため、上記画像データにおける特徴を特定する特徴ユニットを有する。この特徴ユニットは更に、
上記画像データにおいて特定される上記特徴に含まれることになる特徴を特定するため、上記画像データにおける複数の候補特徴を選ぶ候補特徴ユニットと、
上記画像データの領域に対する上記複数の候補特徴の各候補特徴の位置を決定する位置ユニットと、
上記各候補特徴の強度を計算する特徴関数ユニットであって、上記各候補特徴の強度が、上記領域に対する上記各候補特徴の位置に依存する、特徴関数ユニットと、
上記複数の候補特徴の各候補特徴を評価し、上記評価に基づき上記複数の候補特徴における上記特徴を特定する評価ユニットとを有する。
【０００８】
回避されるべきである上記領域内部に、例えば、上記画像データにおける別の対象物に適合される別のメッシュ内部に、選ばれた候補特徴が配置されるかどうかを決定すると、上記各特徴の強度の上記計算の間、及び従って上記複数の候補特徴の上記評価の間、この候補特徴に罰を科すことが可能になる。例えば、これは、上記評価ユニットが上記領域の外側で候補特徴を選ぶ確率が高くなるよう、上記特徴の強度を減少させることにより実現されることができる。特に、正しい画像特徴に類似する多くの間違った画像特徴が発生する領域において、例えば、脊椎骨列の場合において、本発明は、上記複数の候補特徴から正しい画像特徴を特定することを助ける。しかしながら、画像の顕著な候補特徴が、領域内部に見つけ出される場合でも、それはまだ考慮されることができる。有利には、上記領域が上記画像における別の対象物に適合される別のメッシュに基づき規定される場合、上記他のメッシュ内部に顕著な特徴を見つけ出すと、上記他のメッシュが上記他の対象物に対してうまく適合されないことが示されることができる。上記メッシュ内部に配置される候補特徴に罰を科しつつ、上記画像データにおける上記他の対象物に上記他のメッシュを反復的に適合させるアルゴリズムを採用すると、上記他のメッシュが、上記適合されたメッシュにより規定される上記領域からはね返されることとなり、こうして、２つのメッシュの衝突（即ち重複）が回避される。
【０００９】
ある実施形態において、このシステムは更に、
上記対象物をセグメント化するため上記メッシュを事前配置し、上記メッシュの現在の位置を初期化する事前配置ユニットと、
上記現在の位置にあるメッシュと上記事前配置されたメッシュとを最も好適に整列配置する変換を計算する変換ユニットと、
少なくとも上記メッシュの上記外部エネルギー及び上記内部エネルギーの加重和を最小化するため、上記メッシュの頂点の現在の位置を更新することにより、上記メッシュ現在の位置を更新する適合ユニットと、
少なくとも上記最小化された加重和又は上記メッシュの上記更新された現在の位置に基づき、収束条件を評価し、上記条件が満たされる場合、上記対象物をセグメント化することを終了し、上記条件が満たされない場合、上記対象物をセグメント化を継続する制御ユニットとを有する。
【００１０】
斯かるシステムは、上記対象物の完全なセグメント化を実行することができる。
【００１１】
このシステムの実施形態では、上記領域内部の上記各候補特徴の強度は、上記領域内部の各候補特徴から上記領域の境界への距離の関数である。例えば、上記候補特徴の強度は積とすることができる。この場合、この積の係数は、上記領域内部の上記候補特徴から上記領域の境界への距離に依存する。これは、上記特徴の強度に関して、上記領域に対する上記候補特徴の位置の効果を考慮する、簡単かつ非常に用途が広い方法を提供する。
【００１２】
このシステムの実施形態において、上記領域境界が、上記画像データにおける第２の対象物に適合されるメッシュにより規定される。こうして本発明は、画像データにおける複数の対象物の同時的な適合のために構成される。
【００１３】
このシステムの実施形態において、上記領域内部の上記各候補特徴の強度が、上記領域内部の各候補特徴から上記領域の境界への距離と共に実質的に減少する。上記領域の奥深くにある候補特徴は、上記領域の境界の近くの候補特徴より、重い罰を受ける。
【００１４】
本発明のある側面によれば、このシステムは、画像データにおける複数の対象物を、上記複数の対象物の各対象物に対してメッシュを適合させることによりセグメント化するのに使用される。この場合、上記複数の対象物における特定の対象物に特定のメッシュを適合させる間、上記領域が、上記特定のメッシュ以外の上記複数の対象物における対象物に適合されるメッシュの現在の位置に基づき規定される。こうして、上記システムは、上記画像データにおける複数の対象物をセグメント化するのに使用される複数のメッシュの重複を検出し、可能であれば防止するよう構成されることができる。
【００１５】
本発明の更なる側面において、本発明によるシステムが、画像取得装置に含まれる。
【００１６】
本発明の更なる側面において、本発明によるシステムが、ワークステーションに含まれる。
【００１７】
更なる側面において、本発明は、モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化する方法を提供する。この方法は、メッシュの現在の位置に基づき上記メッシュの外部エネルギーを計算するため、上記画像データにおける特徴を特定する特徴ステップを有する。この特徴ステップは更に、
上記画像データにおいて特定される上記特徴に含まれることになる特徴を特定するため、上記画像データにおける複数の候補特徴を選ぶ候補特徴ステップと、
上記画像データの領域に対する上記複数の候補特徴の各候補特徴の位置を決定する位置ステップと、
各候補特徴の強度を計算する特徴関数ステップであって、上記各候補特徴の強度が、上記領域に対する上記各候補特徴の位置に依存する、特徴関数ステップと、
上記複数の候補特徴の各候補特徴を評価し、上記評価に基づき上記複数の候補特徴における上記特徴を特定する評価ステップとを有する。
【００１８】
更なる側面において、本発明は、コンピュータによりロードされるコンピュータプログラムを提供する。このコンピュータプログラムは、モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化する命令を有し、上記命令が、メッシュの現在の位置に基づき上記メッシュの外部エネルギーを計算するため、上記画像データにおける特徴を特定する命令を更に有し、上記コンピュータが、処理ユニット及びメモリを有し、上記コンピュータプログラムが、ロードされた後、上記方法のステップを実行する能力を上記処理ユニットに与える。
【００１９】
本発明の上述の実施形態、実現及び／又は側面の２つ又はこれ以上が有益と思われる任意の態様で結合されることができる点を当業者であれば理解するであろう。
【００２０】
システムについて上述された修正及び変形に対応する、画像取得装置の、ワークステーションの、方法の、及び／又はコンピュータプログラムの修正及び変形が、本書の記載に基づき当業者により実施されることができる。
【００２１】
当業者であれば、本方法が、以下に限定されるものではないが、例えばＸ線撮像、コンピュータ断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、超音波（ＵＳ）、陽電子放出断層撮影（ＰＥＴ）、単光子放出断層撮影（ＳＰＥＣＴ）及び核医学（ＮＭ）といった様々な取得モダリティにより取得される、多次元画像データに対して、例えば２次元（２Ｄ）、３次元（３Ｄ）又は４次元（４Ｄ）画像に対して適用されることができる点を理解されたい。
【図面の簡単な説明】
【００２２】
【図１】システムの例示的な実施形態のブロック図を概略的に示す図である。
【図２】システムの医療用途の例を示す図である。
【図３】方法の例示的な実現のフローチャートを示す図である。
【図４】画像取得装置の例示的な実施形態を概略的に示す図である。
【図５】ワークステーションの例示的な実施形態を概略的に示す図である。
【発明を実施するための形態】
【００２３】
本発明のこれら及び他の側面が、本書に記載される実現及び実施形態並びに対応する図面より明らかとなり、これらの実現及び実施形態並びに図面を参照して説明されることになる。
【００２４】
同じ参照番号は、図面を通して類似するパーツを表すために用いられる。
【００２５】
図１は、モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化するシステム１００の例示的な実施形態のブロック図を概略的に示す。このシステムは、メッシュの現在の位置に基づきメッシュの外部エネルギーを計算するため、画像データにおける特徴を特定する特徴ユニット１２０を有する。この特徴ユニット１２０は更に、
画像データにおいて特定される特徴に含まれることになる特徴を特定するため、画像データにおける複数の候補特徴を選ぶ候補特徴ユニット１２２と、
画像データの領域に対して複数の候補特徴の各候補特徴の位置を決定する位置ユニット１２４と、
各候補特徴の強度を計算する特徴関数ユニット１２６であって、各候補特徴の強度が、領域に対する各候補特徴の位置に依存する、特徴関数ユニットと、
複数の候補特徴の各候補特徴を評価し、この評価に基づき複数の候補特徴における特徴を特定する評価ユニット１２８とを有する。
【００２６】
このシステム１００の例示的な実施形態は更に、
対象物をセグメント化するためメッシュを事前配置し、これによりメッシュ現在の位置を初期化する事前配置ユニット１１０と、
現在の位置にあるメッシュと事前配置されたメッシュとを最も好適に整列配置する変換を計算する変換ユニット１３０と、
少なくともメッシュの外部エネルギーと内部エネルギーとの加重和を最小化するため、メッシュの頂点の現在の位置を更新することにより、メッシュ現在の位置を更新する適合ユニット１４０と、
少なくとも最小化された加重和又は更新された現在のメッシュ位置に基づき、収束条件を評価し、条件が満たされる場合対象物のセグメント化を停止し、条件が満たされない場合対象物のセグメント化を継続する制御ユニット１６０と、
ユーザとシステム１００との間の対話のためのユーザインタフェース１６５と、
データを格納するメモリユニット１７０とを有する。
【００２７】
システム１００の実施形態において、入力データに対する３つの入力コネクタ１８１、１８２及び１８３が存在する。第１の入力コネクタ１８１は、以下に限定されるものではないが、例えばハードディスク、磁気テープ、フラッシュメモリ、又は光学ディスクといったデータ記憶手段から入るデータを受信するよう構成される。第２の入力コネクタ１８２は、以下に限定されるものではないが、例えばマウス又はタッチスクリーンといったユーザ入力デバイスから入るデータを受信するよう構成される。第３の入力コネクタ１８３は、例えばキーボードといったユーザ入力デバイスから入るデータを受信するよう構成される。入力コネクタ１８１、１８２及び１８３は、入力制御ユニット１８０に接続される。
【００２８】
システム１００の実施形態において、出力データに関する２つの出力コネクタ１９１及び１９２が存在する。第１の出力コネクタ１９１は、例えばハードディスク、磁気テープ、フラッシュメモリ又は光学ディスクといったデータ記憶手段にデータを出力するよう構成される。第２の出力コネクタ１９２は、ディスプレイデバイスにデータを出力するよう構成される。出力コネクタ１９１及び１９２は、出力制御ユニット１９０を介して個別のデータを受信する。
【００２９】
当業者であれば、入力デバイスをシステム１００の入力コネクタ１８１、１８２及び１８３に、及び出力デバイスを出力コネクタ１９１及び１９２に接続するための多くの方法が存在する点を理解されるであろう。これらの方法は、以下に限定されるものではないが、有線及び無線接続、ローカル・エリア・ネットワーク（ＬＡＮ）及びワイド・エリア・ネットワーク（ＷＡＮ）といったデジタルネットワーク、インターネット、デジタル電話網及びアナログ電話網を有する。
【００３０】
システム１００の実施形態において、システム１００は、メモリユニット１７０を有する。このシステム１００は、入力コネクタ１８１、１８２及び１８３のいずれかを介して外部デバイスから入力データを受信し、メモリユニット１７０にこの受信した入力データを格納するよう構成される。メモリユニット１７０に入力データをロードすることは、システム１００のユニットによる関連データ部分への速いアクセスを可能にする。入力データは、例えば、画像データ及びモデルデータを有することができる。このモデルデータは、メッシュデータ及び領域データを有する。メモリユニット１７０は、以下に限定されるものではないが、ランダムアクセスメモリ（ＲＡＭ）チップ（リードオンリメモリ（ＲＯＭ）チップ並びに／又はハードディスク・ドライブ及びハードディスクといったデバイスにより実現されることができる。メモリユニット１７０は更に、出力データを格納するよう構成されることができる。出力データは、例えば、複数の対象物における対象物に適合されるメッシュの現在位置を有することができる。メモリユニット１７０は、メモリバス１７５を介して、システム１００のユニットからデータを受信し、及び／又はこのユニットへデータを供給するよう構成されることもできる。このシステムは、事前配置ユニット１１０、特徴ユニット１２０、変換ユニット１３０、適合ユニット１４０、制御ユニット１６０及びユーザインタフェース１６５を有する。メモリユニット１７０は更に、出力コネクタ１９１及び１９２のいずれかを介して出力データを外部デバイスに対して利用可能にするよう構成される。システム１００のユニットからのデータをメモリユニット１７０に格納することは有利なことに、システム１００のユニットから外部デバイスへの出力データの転送レートだけでなく、システム１００のユニットのパフォーマンスを向上させることができる。
【００３１】
代替的に、システム１００は、メモリユニット１７０及びメモリバス１７５を有しない場合がある。システム１００により使用される入力データは、システム１００のユニットに接続される例えば外部メモリ又はプロセッサといった少なくとも１つの外部デバイスにより供給されることができる。同様に、システム１００により生み出される出力データは、システム１００のユニットに接続される例えば外部メモリ又はプロセッサといった少なくとも１つの外部デバイスに供給されることができる。システム１００のユニットは、内部接続を介して又はデータバスを介して、互いからデータを受信するよう構成されることができる。
【００３２】
システム１００の実施形態において、システム１００は、ユーザとシステム１００との間の対話のためのユーザインタフェース１６５を有する。ユーザインタフェース１６５は、画像データにおける対象物に適合するメッシュを選択するためのユーザ入力、又は領域を規定するためのユーザ入力を受信するよう構成されることができる。ユーザインタフェースは更に、対象物に適合されるメッシュの画像を表示する手段を提供することができる。オプションで、ユーザインタフェースは、例えば、外部又は内部エネルギー又は事前配置方法の項を規定するといった、システムの動作モードを選ぶためのユーザ入力を受信することができる。当業者であれば、より多くの機能が、システム１００のユーザインタフェース１６５において有利に実現されることができる点を理解されたい。
【００３３】
システム１００の事前配置ユニット１１０は、対応する対象物の近くにメッシュを事前配置するよう構成される。事前配置は、手動又は自動とすることができ、第１及び第２の対象物を検出することを含むことができる。対象物を検出する方法は、例えば、Hauke Schrammらによる「Towards fully automatic object detection and segmentation」、Proc. SPIE、Volume 6144、614402、Medical Imaging 2006：Image Processing；Joseph M. Reinhardt、Josien P. Pluim; Eds.、pp. 11-20に表される。メッシュの事前配置は、メッシュの初期化された現在位置をもたらす。メッシュの現在の位置は、例えば画像データの座標系といった座標系におけるメッシュの各頂点の座標により規定されることができる。
【００３４】
次に、特徴ユニット１２０は、画像データにおける画像特徴に関する検索を行うよう構成される。各画像特徴の検索は、メッシュの現在の位置に基づかれる。システム１００の実施形態において、このメッシュは、対象物の表面に適合される三角形メッシュである。特徴は、このメッシュの各三角形に対して特定される。対象物表面検出は、参照文献１の第２．１節に記載される方法に基づかれる。
【００３５】
第１に、候補特徴ユニット１２２が、画像データにおけるｎ個の候補特徴を選ぶよう構成される。候補特徴は、三角形法線上に分散され、点Ｐｉ（ｉ＝１、...、ｎ）に配置される。即ち、三角形に垂直で、三角形の重心と交差する軸上にある。ｚｉが、この法線と重心とにより規定される座標系における対応する点Ｐｉの座標を表すとする。
【００３６】
第２に、位置ユニット１２４が、画像データの領域に対する各候補特徴の位置を決定するよう構成される。位置ユニット１２４は、領域内部に配置される各候補特徴から領域境界までの距離ｄｉを計算するよう構成されることができる。
【００３７】
第３に、特徴関数ユニット１２６が、各候補特徴の強度
を計算するよう構成される。この場合、候補特徴の強度
は、領域に対する各候補特徴の位置に依存する。ある実施形態において、画像特徴の強度は、距離ｄｉと特徴値Ｆｉとに依存する係数ｃｉの積であり、
となる。対応する特徴が領域内部にない場合、係数ｃｉは１にセットされる。対応する特徴が領域内部にある場合は、以下が成り立つ。距離ｄｉが大きくなるほど、係数ｃｉが小さくなる。メッシュによりモデル化される対象物の表面を検出するため、特徴値Ｆｉが、
として規定されることができる。ここで、
は、三角形の法線ベクトルであり、
は、対応する特徴
の位置での画像グラジエントであり、ｇｍａｘは、グラジエント閾値である。
【００３８】
第４に、評価ユニット１２８が、各候補特徴を評価し、この評価に基づき、複数の候補特徴における特徴を特定するよう構成される。評価ユニット１２８は、最も大きな強度
を持つ候補特徴を選ぶよう構成される。対応する三角形の重心から離れている候補特徴は、追加的に罰が科されることができる。例えば、評価ユニット１２８は、和
の最大に対応する候補特徴を選ぶよう構成されることができる。ここで、δは、特徴強度に対する距離情報の重要性を制御するパラメータである。
【００３９】
次に、システム１００の変換ユニット１３０は、現在の位置にあるメッシュと事前配置されたメッシュとを最も好適に整列配置する変換を計算するよう構成される。変換は通常、特定の種類の変換に制約される。例えば、類似性変換又はアフィン変換（リフレクションなし）に制約される。現在の位置にあるメッシュと対応する事前配置されたメッシュとを最も好適に整列配置する変換を計算する実現は、参考文献１の第２．３及び２．４節に表される。
【００４０】
メッシュの現在の位置は、すべてのメッシュの少なくとも外部エネルギー及び内部エネルギーの加重和を最小化するため、メッシュの頂点の現在の位置を更新する適合ユニット１４０により更新される。外部及び内部エネルギーの加重和は、
として表されることができる。
【００４１】
上記の式において、α及びβは、エネルギー貢献の重みである。外部エネルギーＥｅｘｔは、参考文献１の第２．２節にて説明されるように計算される。内部エネルギーＥｉｎｔは、
として計算される。ここで、
は、事前配置されたメッシュにおいて対応するメッシュ頂点の頂点座標のベクトルを表し、ｘｊ、ｘｋは、現在の位置にあるメッシュの対応するメッシュ頂点の頂点座標のベクトルを表し、Ｒ及びｓは、それぞれ、変換ユニット１３０により計算される回転行列及び類似性変換のスケーリング係数を表す。
【００４２】
システム１００の制御ユニット１６０は、少なくとも最小化された加重和又はメッシュの更新された現在位置に基づき、収束条件を評価するよう構成され、条件が満たされる場合セグメント化を終了し、条件が満たされない場合セグメント化を継続するよう更に構成される。例示的な条件としては、メッシュの現在位置の更新回数が、最大に達した、又は、現在の位置が、最終更新の間明らかに変化しなかった、又は、エネルギーの計算された加重和が、所定の閾値未満である、とすることができる。
【００４３】
システム１００は、複数の対象物における各対象物に対してメッシュを適合させることにより、画像データにおける複数の対象物をセグメント化するのに使用されることができる。この場合、複数の対象物における特定の対象物に特定のメッシュが適合される間、領域が、この特定のメッシュ以外の複数の対象物における対象物に対して適合されるメッシュの現在の位置に基づき規定される。本発明の実施形態において、画像データにおける複数の対象物を詳細に描写するため、複数のメッシュが事前配置される。これにより、複数のメッシュの現在の位置が初期化される。複数のメッシュのうちの第１のメッシュが、複数の対象物における第１の対象物への適合のために選ばれる。残りのメッシュにより覆われる領域は、選ばれたメッシュとは重ならない領域を規定する。一旦第１のメッシュの現在の位置を更新することにより、第１のメッシュが第１の対象物に適合されると、複数の対象物における第２の対象物に対する適合のため第２のメッシュが選ばれる。この場合も、残りのメッシュにより覆われる領域は、第２のメッシュとは重ならない領域を規定する。一方、第２のメッシュは、第２の対象物に適合される。複数の対象物の各対象物に対してメッシュが適合されるまで、この処理は続く。次に、収束条件が評価される。条件が満たされる場合、セグメント化は終了される。他の態様で、セグメント化は、第１の対象物への第１のメッシュの適合、第２の対象物への第２のメッシュの適合等と続く。収束条件は、新しいメッシュ頂点座標が前のものとそれほど違わない、又は複数の対象物への複数のメッシュの適合の最大数が実行された、とすることができる。
【００４４】
図２は、システム１００の医療用途の例を示す。脊椎画像２１において、第３、第４及び第５の胸椎がセグメント化されることになる。３つのメッシュの事前配置が、第２の画像２２に示される。骨皮質からの髄への移行は、骨境界に匹敵する。従って、各脊椎骨の別々の適合は、第３の画像２３に示されるように失敗しがちである。本発明の特徴識別を使用すると、脊椎骨メッシュの空間関係がうまく維持され、それ故、第４の画像２４に示されるように合理的なセグメント化が生じる。
【００４５】
当業者であれば、候補特徴が適合下においてメッシュ内部に配置されるとき、メッシュの自己衝突を検出するのに、本発明のシステムが適用されることができる点を理解されたい。この場合、領域は、適合されるメッシュにより規定される領域の一部を含まなければならない。このオプションは、例えば血管といった長い柔軟な構造をセグメント化するのに特に役立つことができる。
【００４６】
当業者であれば、モデルベースの画像セグメント化を表すために、「エネルギー」アナロジーが、従来技術において広く使われる点を理解されるであろう。しかしながら、例えば目的関数といった他の項（term）が、エネルギー関数の代わりに使用されることができる。同様に、エネルギーを最小化することは、目的関数を最適化する例である。最適化することは、目的関数の最大を見つけ出すこととして規定されることができる。更に、当業者であれば、エネルギーを最小化することが、エネルギーを参照することなしに、力場（force field）を最小化することを用いて実行されることができる点を理解されるであろう。斯かる力場は、画像データにおける対象物に対して適合されるメッシュの頂点に作用する力を有し、例えばシミュレーテッドアニーリングを用いて最小化されることができる。こうして、請求項の範囲は、請求項及び詳細な説明において使用される語及びアルゴリズムの特定の選択により制限されるものとして解釈されるべきでない。
【００４７】
当業者であれば、システム１００が、医師の仕事の多くの側面において医師を支援するのに有益なツールである点を理解されるであろう。更に、本システムの実施形態は、システムの医療用途を用いて説明されるが、このシステムの非医療分野への適用も想定される。
【００４８】
当業者であれば更に、システム１００の他の実施形態も可能である点を理解されたい。とりわけ、システムのユニットを再定義し、それらの機能を再分配することが可能である。上記の実施形態は医療画像に適用されるが、医療用途に関係しない他の用途にこのシステムを適用することも可能である。
【００４９】
システム１００のユニットは、プロセッサを用いて実現されることができる。通常、それらの機能は、ソフトウエアプログラム製品の制御下で実行される。実行の間、ソフトウエアプログラム製品は通常、ＲＡＭといったメモリにロードされ、そこから実行される。プログラムは、例えばＲＯＭといったハードディスク、若しくは磁気及び／又は光学ストレージバックグラウンド・メモリからロードされることができるか、又は、インターネットといったネットワークを介してロードされることができる。オプションで、特定用途向け集積回路が上記の機能を提供することができる。
【００５０】
図３は、モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化する方法３００の例示的な実現のフローチャートを示す。このフローチャートは、例えば、三角形メッシュの１つの表面に関して１つの特徴を特定することを示す。画像データにおいて特定される特徴に含まれることになる特徴を特定するため、この方法３００は、画像データにおいて複数の候補特徴を選ぶ候補特徴ステップ３２２で始まる。候補特徴ステップ３２２の後、方法３００は、画像データの領域に対して複数の候補特徴の各候補特徴の位置を決定する位置ステップ３２４を続ける。位置ステップ３２４の後、この方法３００は、各候補特徴の強度を計算する特徴関数ステップ３２６を続ける。ここで、各候補特徴の強度は、領域に対する各候補特徴の位置に依存する。特徴関数ステップ３２８の後、この方法３００は、複数の候補特徴の各候補特徴を評価し、この評価に基づき複数の候補特徴における特徴を特定する評価ステップ３２８を続ける。評価ステップ３２８の後、この方法３００は終わる。
【００５１】
当業者であれば、本発明により意図される範囲から逸脱することなく、いくつかのステップの順序を変更することができるか、又は、スレッディングモデル、マルチプロセッサシステム若しくはマルチ処理を用いていくつかのステップを同時に実行することができる。オプションで、本発明の方法における２つ又はこれ以上のステップが、１つのステップに結合されることができる。オプションで、本発明の方法のステップは、複数のステップに分割されることができる。有利なことに、上記の特徴ステップは、画像データにおける複数の特徴を特定するのに反復的に使用されることができ、完全なセグメント化方法のステップとすることができる。
【００５２】
図４は、本発明のシステム１００を用いる画像取得装置４００の例示的な実施形態を概略的に示す。上記画像取得装置４００は、内部接続を介してシステム１００と接続される画像取得ユニット４１０と、入力コネクタ４０１と、出力コネクタ４０２とを有する。この構成は有利なことに、上記画像取得装置４００にシステム１００の有利な能力を提供することで、画像取得装置４００の能力を向上させる。
【００５３】
図５は、ワークステーション５００の例示的な実施形態を概略的に示す。ワークステーションは、システムバス５０１を有する。プロセッサ５１０、メモリ５２０、ディスク入出力（Ｉ／Ｏ）アダプタ５３０及びユーザインタフェース（ＵＩ）５４０が、システムバス５０１に動作可能に接続される。ディスクストレージ・デバイス５３１は、ディスクＩ／Ｏアダプタ５３０に動作可能に結合される。キーボード５４１、マウス５４２及びディスプレイ５４３は、ＵＩ５４０に動作可能に結合される。コンピュータプログラムとして実現される本発明のシステム１００は、ディスクストレージ・デバイス５３１に格納される。ワークステーション５００は、プログラム及び入力データをメモリ５２０にロードし、プロセッサ５１０上でこのプログラムを実行するよう構成される。ユーザは、キーボード５４１及び／又はマウス５４２を使用してワークステーション５００に対して情報を入力することができる。ワークステーションは、ディスプレイデバイス５４３に対して及び／又はディスク５３１に対して情報を出力するよう構成される。当業者であれば、従来技術において知られるワークステーション５００の他の多数の実施形態が存在すること、及び本実施形態が本発明を説明する目的で機能し、この特定の実施形態に本発明が限定されるものとして解釈されてはならないことを理解されるであろう。
【００５４】
上述された実施形態は本発明を限定するものではなく、当業者であれば、添付された請求項の範囲から逸脱することなく、代替的な実施形態をデザインすることができることになることに留意されたい。請求項において、括弧内に配置されるいかなる参照符号も請求項を限定するものとして解釈されるべきではない。「有する」という語は、請求項又は明細書にリストされない要素又はステップの存在を除外するものではない。ある要素に先行する「ａ」又は「ａｎ」という語は、斯かる要素が複数存在することを除外するものではない。本発明は、複数の個別の要素を有するハードウェアを用いて、及びプログラムされたコンピュータを用いて実現されることができる。複数のユニットを列挙するシステムクレームにおいて、これらのユニットの複数が、ハードウェア又はソフトウェアの１つの同じアイテムにより実現されることができる。第１、第２、第３等の語の使用は、何らかの順位を表すものではない。これらの語は、ラベルとして解釈されるものである。
【技術分野】
【０００１】
本発明は、画像セグメント化に関し、より詳細には、画像データにおける複数の対象物のモデルベースの同時的なセグメント化に関する。
【背景技術】
【０００２】
モデルベースのセグメント化は、例えば放射線療法計画において、介入及びフォローアップ研究での多数の用途を持つ。柔軟なメッシュにより表される変形可能なモデル、例えば三角形メッシュ又は単純なメッシュが、対応する画像構造に適合される。通常、この適合は、２つの競合するエネルギーの加重和を最適化することにより、すべての対象物に対して別々に実施される。２つの競合するエネルギーとは、画像において特徴の方へメッシュ三角形を駆動する外部エネルギーと、モデルの形式を保存する内部のエネルギーとである。この方法の実現は、以下参照文献１として記載される、J. Weese、M. Kaus、C. Lorenz、S. Lobregt、R. Truyen、V. Pekarによる「Shape constrained deformable models for 3D medical Image segmentation」、IPMI 2001、3 pp. 80-387に表される。
【０００３】
複数のメッシュの別々の適合は、複数の対象物間の空間関係を考慮することができず、従って、例えばメッシュと交差するといった間違った適合結果をしばしば生じさせる。この問題を解決するための第１の試みは、国際公開第２００４／０１０３７４Ａ２号「Simultaneous segmentation of multiple or composed objects by mesh adaptation」に記載される。そこでは、２つのメッシュを接続する追加的なエッジが、モデルに導入される。これらの追加的なエッジは、縮重された三角形として考慮され、２つのメッシュの空間関係を保つため、これらの三角形に関して内部エネルギーが拡張される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この手順は、対応するメッシュを事前に配置することにより２つの対象物の空間関係が記述されることができるときのみ適用可能である。なぜなら、追加的なエッジ又は三角形の長さ及び位置は、保存されることになるからである。しかし、多くの医療用途では、互いに対してスライドする可能性がある体内器官が関連する。例えば、腹部領域における器官、肋骨ケージに対する肺、又は脊椎における２つの連続した脊柱などである。斯かる器官に対して、国際公開第２００４／０１０３７４Ａ２号に記載される方法を用いて同時的なセグメント化を行うと、メッシュ交差だけは回避されることができるが、にもかかわらず間違った空間関係を備える適合が生じることになる。
【０００５】
より一般的な観点から言えば、画像データにおける対象物に適合されるメッシュと重複するべきでない画像データの領域は、別のメッシュにより規定されることができない。例えば、脳の右半球を表す画像データにおける対象物にメッシュを適合させるとき、回避されるべき領域は、右半球を左半球から分離する平面により規定されることができる。肺における根粒にメッシュを適合させるとき、回避されるべき領域は、根粒を有する球体により規定されることができる。
【０００６】
適合されるモデルメッシュと画像データの領域との重複の可能性を最小にするか、又は重複を回避しつつ、対象物をセグメント化する手段を提供することが有利である。
【課題を解決するための手段】
【０００７】
こうして、ある側面において、本発明は、モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化するシステムを提供する。このシステムは、メッシュの現在の位置に基づき上記メッシュの外部エネルギーを計算するため、上記画像データにおける特徴を特定する特徴ユニットを有する。この特徴ユニットは更に、
上記画像データにおいて特定される上記特徴に含まれることになる特徴を特定するため、上記画像データにおける複数の候補特徴を選ぶ候補特徴ユニットと、
上記画像データの領域に対する上記複数の候補特徴の各候補特徴の位置を決定する位置ユニットと、
上記各候補特徴の強度を計算する特徴関数ユニットであって、上記各候補特徴の強度が、上記領域に対する上記各候補特徴の位置に依存する、特徴関数ユニットと、
上記複数の候補特徴の各候補特徴を評価し、上記評価に基づき上記複数の候補特徴における上記特徴を特定する評価ユニットとを有する。
【０００８】
回避されるべきである上記領域内部に、例えば、上記画像データにおける別の対象物に適合される別のメッシュ内部に、選ばれた候補特徴が配置されるかどうかを決定すると、上記各特徴の強度の上記計算の間、及び従って上記複数の候補特徴の上記評価の間、この候補特徴に罰を科すことが可能になる。例えば、これは、上記評価ユニットが上記領域の外側で候補特徴を選ぶ確率が高くなるよう、上記特徴の強度を減少させることにより実現されることができる。特に、正しい画像特徴に類似する多くの間違った画像特徴が発生する領域において、例えば、脊椎骨列の場合において、本発明は、上記複数の候補特徴から正しい画像特徴を特定することを助ける。しかしながら、画像の顕著な候補特徴が、領域内部に見つけ出される場合でも、それはまだ考慮されることができる。有利には、上記領域が上記画像における別の対象物に適合される別のメッシュに基づき規定される場合、上記他のメッシュ内部に顕著な特徴を見つけ出すと、上記他のメッシュが上記他の対象物に対してうまく適合されないことが示されることができる。上記メッシュ内部に配置される候補特徴に罰を科しつつ、上記画像データにおける上記他の対象物に上記他のメッシュを反復的に適合させるアルゴリズムを採用すると、上記他のメッシュが、上記適合されたメッシュにより規定される上記領域からはね返されることとなり、こうして、２つのメッシュの衝突（即ち重複）が回避される。
【０００９】
ある実施形態において、このシステムは更に、
上記対象物をセグメント化するため上記メッシュを事前配置し、上記メッシュの現在の位置を初期化する事前配置ユニットと、
上記現在の位置にあるメッシュと上記事前配置されたメッシュとを最も好適に整列配置する変換を計算する変換ユニットと、
少なくとも上記メッシュの上記外部エネルギー及び上記内部エネルギーの加重和を最小化するため、上記メッシュの頂点の現在の位置を更新することにより、上記メッシュ現在の位置を更新する適合ユニットと、
少なくとも上記最小化された加重和又は上記メッシュの上記更新された現在の位置に基づき、収束条件を評価し、上記条件が満たされる場合、上記対象物をセグメント化することを終了し、上記条件が満たされない場合、上記対象物をセグメント化を継続する制御ユニットとを有する。
【００１０】
斯かるシステムは、上記対象物の完全なセグメント化を実行することができる。
【００１１】
このシステムの実施形態では、上記領域内部の上記各候補特徴の強度は、上記領域内部の各候補特徴から上記領域の境界への距離の関数である。例えば、上記候補特徴の強度は積とすることができる。この場合、この積の係数は、上記領域内部の上記候補特徴から上記領域の境界への距離に依存する。これは、上記特徴の強度に関して、上記領域に対する上記候補特徴の位置の効果を考慮する、簡単かつ非常に用途が広い方法を提供する。
【００１２】
このシステムの実施形態において、上記領域境界が、上記画像データにおける第２の対象物に適合されるメッシュにより規定される。こうして本発明は、画像データにおける複数の対象物の同時的な適合のために構成される。
【００１３】
このシステムの実施形態において、上記領域内部の上記各候補特徴の強度が、上記領域内部の各候補特徴から上記領域の境界への距離と共に実質的に減少する。上記領域の奥深くにある候補特徴は、上記領域の境界の近くの候補特徴より、重い罰を受ける。
【００１４】
本発明のある側面によれば、このシステムは、画像データにおける複数の対象物を、上記複数の対象物の各対象物に対してメッシュを適合させることによりセグメント化するのに使用される。この場合、上記複数の対象物における特定の対象物に特定のメッシュを適合させる間、上記領域が、上記特定のメッシュ以外の上記複数の対象物における対象物に適合されるメッシュの現在の位置に基づき規定される。こうして、上記システムは、上記画像データにおける複数の対象物をセグメント化するのに使用される複数のメッシュの重複を検出し、可能であれば防止するよう構成されることができる。
【００１５】
本発明の更なる側面において、本発明によるシステムが、画像取得装置に含まれる。
【００１６】
本発明の更なる側面において、本発明によるシステムが、ワークステーションに含まれる。
【００１７】
更なる側面において、本発明は、モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化する方法を提供する。この方法は、メッシュの現在の位置に基づき上記メッシュの外部エネルギーを計算するため、上記画像データにおける特徴を特定する特徴ステップを有する。この特徴ステップは更に、
上記画像データにおいて特定される上記特徴に含まれることになる特徴を特定するため、上記画像データにおける複数の候補特徴を選ぶ候補特徴ステップと、
上記画像データの領域に対する上記複数の候補特徴の各候補特徴の位置を決定する位置ステップと、
各候補特徴の強度を計算する特徴関数ステップであって、上記各候補特徴の強度が、上記領域に対する上記各候補特徴の位置に依存する、特徴関数ステップと、
上記複数の候補特徴の各候補特徴を評価し、上記評価に基づき上記複数の候補特徴における上記特徴を特定する評価ステップとを有する。
【００１８】
更なる側面において、本発明は、コンピュータによりロードされるコンピュータプログラムを提供する。このコンピュータプログラムは、モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化する命令を有し、上記命令が、メッシュの現在の位置に基づき上記メッシュの外部エネルギーを計算するため、上記画像データにおける特徴を特定する命令を更に有し、上記コンピュータが、処理ユニット及びメモリを有し、上記コンピュータプログラムが、ロードされた後、上記方法のステップを実行する能力を上記処理ユニットに与える。
【００１９】
本発明の上述の実施形態、実現及び／又は側面の２つ又はこれ以上が有益と思われる任意の態様で結合されることができる点を当業者であれば理解するであろう。
【００２０】
システムについて上述された修正及び変形に対応する、画像取得装置の、ワークステーションの、方法の、及び／又はコンピュータプログラムの修正及び変形が、本書の記載に基づき当業者により実施されることができる。
【００２１】
当業者であれば、本方法が、以下に限定されるものではないが、例えばＸ線撮像、コンピュータ断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）、超音波（ＵＳ）、陽電子放出断層撮影（ＰＥＴ）、単光子放出断層撮影（ＳＰＥＣＴ）及び核医学（ＮＭ）といった様々な取得モダリティにより取得される、多次元画像データに対して、例えば２次元（２Ｄ）、３次元（３Ｄ）又は４次元（４Ｄ）画像に対して適用されることができる点を理解されたい。
【図面の簡単な説明】
【００２２】
【図１】システムの例示的な実施形態のブロック図を概略的に示す図である。
【図２】システムの医療用途の例を示す図である。
【図３】方法の例示的な実現のフローチャートを示す図である。
【図４】画像取得装置の例示的な実施形態を概略的に示す図である。
【図５】ワークステーションの例示的な実施形態を概略的に示す図である。
【発明を実施するための形態】
【００２３】
本発明のこれら及び他の側面が、本書に記載される実現及び実施形態並びに対応する図面より明らかとなり、これらの実現及び実施形態並びに図面を参照して説明されることになる。
【００２４】
同じ参照番号は、図面を通して類似するパーツを表すために用いられる。
【００２５】
図１は、モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化するシステム１００の例示的な実施形態のブロック図を概略的に示す。このシステムは、メッシュの現在の位置に基づきメッシュの外部エネルギーを計算するため、画像データにおける特徴を特定する特徴ユニット１２０を有する。この特徴ユニット１２０は更に、
画像データにおいて特定される特徴に含まれることになる特徴を特定するため、画像データにおける複数の候補特徴を選ぶ候補特徴ユニット１２２と、
画像データの領域に対して複数の候補特徴の各候補特徴の位置を決定する位置ユニット１２４と、
各候補特徴の強度を計算する特徴関数ユニット１２６であって、各候補特徴の強度が、領域に対する各候補特徴の位置に依存する、特徴関数ユニットと、
複数の候補特徴の各候補特徴を評価し、この評価に基づき複数の候補特徴における特徴を特定する評価ユニット１２８とを有する。
【００２６】
このシステム１００の例示的な実施形態は更に、
対象物をセグメント化するためメッシュを事前配置し、これによりメッシュ現在の位置を初期化する事前配置ユニット１１０と、
現在の位置にあるメッシュと事前配置されたメッシュとを最も好適に整列配置する変換を計算する変換ユニット１３０と、
少なくともメッシュの外部エネルギーと内部エネルギーとの加重和を最小化するため、メッシュの頂点の現在の位置を更新することにより、メッシュ現在の位置を更新する適合ユニット１４０と、
少なくとも最小化された加重和又は更新された現在のメッシュ位置に基づき、収束条件を評価し、条件が満たされる場合対象物のセグメント化を停止し、条件が満たされない場合対象物のセグメント化を継続する制御ユニット１６０と、
ユーザとシステム１００との間の対話のためのユーザインタフェース１６５と、
データを格納するメモリユニット１７０とを有する。
【００２７】
システム１００の実施形態において、入力データに対する３つの入力コネクタ１８１、１８２及び１８３が存在する。第１の入力コネクタ１８１は、以下に限定されるものではないが、例えばハードディスク、磁気テープ、フラッシュメモリ、又は光学ディスクといったデータ記憶手段から入るデータを受信するよう構成される。第２の入力コネクタ１８２は、以下に限定されるものではないが、例えばマウス又はタッチスクリーンといったユーザ入力デバイスから入るデータを受信するよう構成される。第３の入力コネクタ１８３は、例えばキーボードといったユーザ入力デバイスから入るデータを受信するよう構成される。入力コネクタ１８１、１８２及び１８３は、入力制御ユニット１８０に接続される。
【００２８】
システム１００の実施形態において、出力データに関する２つの出力コネクタ１９１及び１９２が存在する。第１の出力コネクタ１９１は、例えばハードディスク、磁気テープ、フラッシュメモリ又は光学ディスクといったデータ記憶手段にデータを出力するよう構成される。第２の出力コネクタ１９２は、ディスプレイデバイスにデータを出力するよう構成される。出力コネクタ１９１及び１９２は、出力制御ユニット１９０を介して個別のデータを受信する。
【００２９】
当業者であれば、入力デバイスをシステム１００の入力コネクタ１８１、１８２及び１８３に、及び出力デバイスを出力コネクタ１９１及び１９２に接続するための多くの方法が存在する点を理解されるであろう。これらの方法は、以下に限定されるものではないが、有線及び無線接続、ローカル・エリア・ネットワーク（ＬＡＮ）及びワイド・エリア・ネットワーク（ＷＡＮ）といったデジタルネットワーク、インターネット、デジタル電話網及びアナログ電話網を有する。
【００３０】
システム１００の実施形態において、システム１００は、メモリユニット１７０を有する。このシステム１００は、入力コネクタ１８１、１８２及び１８３のいずれかを介して外部デバイスから入力データを受信し、メモリユニット１７０にこの受信した入力データを格納するよう構成される。メモリユニット１７０に入力データをロードすることは、システム１００のユニットによる関連データ部分への速いアクセスを可能にする。入力データは、例えば、画像データ及びモデルデータを有することができる。このモデルデータは、メッシュデータ及び領域データを有する。メモリユニット１７０は、以下に限定されるものではないが、ランダムアクセスメモリ（ＲＡＭ）チップ（リードオンリメモリ（ＲＯＭ）チップ並びに／又はハードディスク・ドライブ及びハードディスクといったデバイスにより実現されることができる。メモリユニット１７０は更に、出力データを格納するよう構成されることができる。出力データは、例えば、複数の対象物における対象物に適合されるメッシュの現在位置を有することができる。メモリユニット１７０は、メモリバス１７５を介して、システム１００のユニットからデータを受信し、及び／又はこのユニットへデータを供給するよう構成されることもできる。このシステムは、事前配置ユニット１１０、特徴ユニット１２０、変換ユニット１３０、適合ユニット１４０、制御ユニット１６０及びユーザインタフェース１６５を有する。メモリユニット１７０は更に、出力コネクタ１９１及び１９２のいずれかを介して出力データを外部デバイスに対して利用可能にするよう構成される。システム１００のユニットからのデータをメモリユニット１７０に格納することは有利なことに、システム１００のユニットから外部デバイスへの出力データの転送レートだけでなく、システム１００のユニットのパフォーマンスを向上させることができる。
【００３１】
代替的に、システム１００は、メモリユニット１７０及びメモリバス１７５を有しない場合がある。システム１００により使用される入力データは、システム１００のユニットに接続される例えば外部メモリ又はプロセッサといった少なくとも１つの外部デバイスにより供給されることができる。同様に、システム１００により生み出される出力データは、システム１００のユニットに接続される例えば外部メモリ又はプロセッサといった少なくとも１つの外部デバイスに供給されることができる。システム１００のユニットは、内部接続を介して又はデータバスを介して、互いからデータを受信するよう構成されることができる。
【００３２】
システム１００の実施形態において、システム１００は、ユーザとシステム１００との間の対話のためのユーザインタフェース１６５を有する。ユーザインタフェース１６５は、画像データにおける対象物に適合するメッシュを選択するためのユーザ入力、又は領域を規定するためのユーザ入力を受信するよう構成されることができる。ユーザインタフェースは更に、対象物に適合されるメッシュの画像を表示する手段を提供することができる。オプションで、ユーザインタフェースは、例えば、外部又は内部エネルギー又は事前配置方法の項を規定するといった、システムの動作モードを選ぶためのユーザ入力を受信することができる。当業者であれば、より多くの機能が、システム１００のユーザインタフェース１６５において有利に実現されることができる点を理解されたい。
【００３３】
システム１００の事前配置ユニット１１０は、対応する対象物の近くにメッシュを事前配置するよう構成される。事前配置は、手動又は自動とすることができ、第１及び第２の対象物を検出することを含むことができる。対象物を検出する方法は、例えば、Hauke Schrammらによる「Towards fully automatic object detection and segmentation」、Proc. SPIE、Volume 6144、614402、Medical Imaging 2006：Image Processing；Joseph M. Reinhardt、Josien P. Pluim; Eds.、pp. 11-20に表される。メッシュの事前配置は、メッシュの初期化された現在位置をもたらす。メッシュの現在の位置は、例えば画像データの座標系といった座標系におけるメッシュの各頂点の座標により規定されることができる。
【００３４】
次に、特徴ユニット１２０は、画像データにおける画像特徴に関する検索を行うよう構成される。各画像特徴の検索は、メッシュの現在の位置に基づかれる。システム１００の実施形態において、このメッシュは、対象物の表面に適合される三角形メッシュである。特徴は、このメッシュの各三角形に対して特定される。対象物表面検出は、参照文献１の第２．１節に記載される方法に基づかれる。
【００３５】
第１に、候補特徴ユニット１２２が、画像データにおけるｎ個の候補特徴を選ぶよう構成される。候補特徴は、三角形法線上に分散され、点Ｐｉ（ｉ＝１、...、ｎ）に配置される。即ち、三角形に垂直で、三角形の重心と交差する軸上にある。ｚｉが、この法線と重心とにより規定される座標系における対応する点Ｐｉの座標を表すとする。
【００３６】
第２に、位置ユニット１２４が、画像データの領域に対する各候補特徴の位置を決定するよう構成される。位置ユニット１２４は、領域内部に配置される各候補特徴から領域境界までの距離ｄｉを計算するよう構成されることができる。
【００３７】
第３に、特徴関数ユニット１２６が、各候補特徴の強度
を計算するよう構成される。この場合、候補特徴の強度
は、領域に対する各候補特徴の位置に依存する。ある実施形態において、画像特徴の強度は、距離ｄｉと特徴値Ｆｉとに依存する係数ｃｉの積であり、
となる。対応する特徴が領域内部にない場合、係数ｃｉは１にセットされる。対応する特徴が領域内部にある場合は、以下が成り立つ。距離ｄｉが大きくなるほど、係数ｃｉが小さくなる。メッシュによりモデル化される対象物の表面を検出するため、特徴値Ｆｉが、
として規定されることができる。ここで、
は、三角形の法線ベクトルであり、
は、対応する特徴
の位置での画像グラジエントであり、ｇｍａｘは、グラジエント閾値である。
【００３８】
第４に、評価ユニット１２８が、各候補特徴を評価し、この評価に基づき、複数の候補特徴における特徴を特定するよう構成される。評価ユニット１２８は、最も大きな強度
を持つ候補特徴を選ぶよう構成される。対応する三角形の重心から離れている候補特徴は、追加的に罰が科されることができる。例えば、評価ユニット１２８は、和
の最大に対応する候補特徴を選ぶよう構成されることができる。ここで、δは、特徴強度に対する距離情報の重要性を制御するパラメータである。
【００３９】
次に、システム１００の変換ユニット１３０は、現在の位置にあるメッシュと事前配置されたメッシュとを最も好適に整列配置する変換を計算するよう構成される。変換は通常、特定の種類の変換に制約される。例えば、類似性変換又はアフィン変換（リフレクションなし）に制約される。現在の位置にあるメッシュと対応する事前配置されたメッシュとを最も好適に整列配置する変換を計算する実現は、参考文献１の第２．３及び２．４節に表される。
【００４０】
メッシュの現在の位置は、すべてのメッシュの少なくとも外部エネルギー及び内部エネルギーの加重和を最小化するため、メッシュの頂点の現在の位置を更新する適合ユニット１４０により更新される。外部及び内部エネルギーの加重和は、
として表されることができる。
【００４１】
上記の式において、α及びβは、エネルギー貢献の重みである。外部エネルギーＥｅｘｔは、参考文献１の第２．２節にて説明されるように計算される。内部エネルギーＥｉｎｔは、
として計算される。ここで、
は、事前配置されたメッシュにおいて対応するメッシュ頂点の頂点座標のベクトルを表し、ｘｊ、ｘｋは、現在の位置にあるメッシュの対応するメッシュ頂点の頂点座標のベクトルを表し、Ｒ及びｓは、それぞれ、変換ユニット１３０により計算される回転行列及び類似性変換のスケーリング係数を表す。
【００４２】
システム１００の制御ユニット１６０は、少なくとも最小化された加重和又はメッシュの更新された現在位置に基づき、収束条件を評価するよう構成され、条件が満たされる場合セグメント化を終了し、条件が満たされない場合セグメント化を継続するよう更に構成される。例示的な条件としては、メッシュの現在位置の更新回数が、最大に達した、又は、現在の位置が、最終更新の間明らかに変化しなかった、又は、エネルギーの計算された加重和が、所定の閾値未満である、とすることができる。
【００４３】
システム１００は、複数の対象物における各対象物に対してメッシュを適合させることにより、画像データにおける複数の対象物をセグメント化するのに使用されることができる。この場合、複数の対象物における特定の対象物に特定のメッシュが適合される間、領域が、この特定のメッシュ以外の複数の対象物における対象物に対して適合されるメッシュの現在の位置に基づき規定される。本発明の実施形態において、画像データにおける複数の対象物を詳細に描写するため、複数のメッシュが事前配置される。これにより、複数のメッシュの現在の位置が初期化される。複数のメッシュのうちの第１のメッシュが、複数の対象物における第１の対象物への適合のために選ばれる。残りのメッシュにより覆われる領域は、選ばれたメッシュとは重ならない領域を規定する。一旦第１のメッシュの現在の位置を更新することにより、第１のメッシュが第１の対象物に適合されると、複数の対象物における第２の対象物に対する適合のため第２のメッシュが選ばれる。この場合も、残りのメッシュにより覆われる領域は、第２のメッシュとは重ならない領域を規定する。一方、第２のメッシュは、第２の対象物に適合される。複数の対象物の各対象物に対してメッシュが適合されるまで、この処理は続く。次に、収束条件が評価される。条件が満たされる場合、セグメント化は終了される。他の態様で、セグメント化は、第１の対象物への第１のメッシュの適合、第２の対象物への第２のメッシュの適合等と続く。収束条件は、新しいメッシュ頂点座標が前のものとそれほど違わない、又は複数の対象物への複数のメッシュの適合の最大数が実行された、とすることができる。
【００４４】
図２は、システム１００の医療用途の例を示す。脊椎画像２１において、第３、第４及び第５の胸椎がセグメント化されることになる。３つのメッシュの事前配置が、第２の画像２２に示される。骨皮質からの髄への移行は、骨境界に匹敵する。従って、各脊椎骨の別々の適合は、第３の画像２３に示されるように失敗しがちである。本発明の特徴識別を使用すると、脊椎骨メッシュの空間関係がうまく維持され、それ故、第４の画像２４に示されるように合理的なセグメント化が生じる。
【００４５】
当業者であれば、候補特徴が適合下においてメッシュ内部に配置されるとき、メッシュの自己衝突を検出するのに、本発明のシステムが適用されることができる点を理解されたい。この場合、領域は、適合されるメッシュにより規定される領域の一部を含まなければならない。このオプションは、例えば血管といった長い柔軟な構造をセグメント化するのに特に役立つことができる。
【００４６】
当業者であれば、モデルベースの画像セグメント化を表すために、「エネルギー」アナロジーが、従来技術において広く使われる点を理解されるであろう。しかしながら、例えば目的関数といった他の項（term）が、エネルギー関数の代わりに使用されることができる。同様に、エネルギーを最小化することは、目的関数を最適化する例である。最適化することは、目的関数の最大を見つけ出すこととして規定されることができる。更に、当業者であれば、エネルギーを最小化することが、エネルギーを参照することなしに、力場（force field）を最小化することを用いて実行されることができる点を理解されるであろう。斯かる力場は、画像データにおける対象物に対して適合されるメッシュの頂点に作用する力を有し、例えばシミュレーテッドアニーリングを用いて最小化されることができる。こうして、請求項の範囲は、請求項及び詳細な説明において使用される語及びアルゴリズムの特定の選択により制限されるものとして解釈されるべきでない。
【００４７】
当業者であれば、システム１００が、医師の仕事の多くの側面において医師を支援するのに有益なツールである点を理解されるであろう。更に、本システムの実施形態は、システムの医療用途を用いて説明されるが、このシステムの非医療分野への適用も想定される。
【００４８】
当業者であれば更に、システム１００の他の実施形態も可能である点を理解されたい。とりわけ、システムのユニットを再定義し、それらの機能を再分配することが可能である。上記の実施形態は医療画像に適用されるが、医療用途に関係しない他の用途にこのシステムを適用することも可能である。
【００４９】
システム１００のユニットは、プロセッサを用いて実現されることができる。通常、それらの機能は、ソフトウエアプログラム製品の制御下で実行される。実行の間、ソフトウエアプログラム製品は通常、ＲＡＭといったメモリにロードされ、そこから実行される。プログラムは、例えばＲＯＭといったハードディスク、若しくは磁気及び／又は光学ストレージバックグラウンド・メモリからロードされることができるか、又は、インターネットといったネットワークを介してロードされることができる。オプションで、特定用途向け集積回路が上記の機能を提供することができる。
【００５０】
図３は、モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化する方法３００の例示的な実現のフローチャートを示す。このフローチャートは、例えば、三角形メッシュの１つの表面に関して１つの特徴を特定することを示す。画像データにおいて特定される特徴に含まれることになる特徴を特定するため、この方法３００は、画像データにおいて複数の候補特徴を選ぶ候補特徴ステップ３２２で始まる。候補特徴ステップ３２２の後、方法３００は、画像データの領域に対して複数の候補特徴の各候補特徴の位置を決定する位置ステップ３２４を続ける。位置ステップ３２４の後、この方法３００は、各候補特徴の強度を計算する特徴関数ステップ３２６を続ける。ここで、各候補特徴の強度は、領域に対する各候補特徴の位置に依存する。特徴関数ステップ３２８の後、この方法３００は、複数の候補特徴の各候補特徴を評価し、この評価に基づき複数の候補特徴における特徴を特定する評価ステップ３２８を続ける。評価ステップ３２８の後、この方法３００は終わる。
【００５１】
当業者であれば、本発明により意図される範囲から逸脱することなく、いくつかのステップの順序を変更することができるか、又は、スレッディングモデル、マルチプロセッサシステム若しくはマルチ処理を用いていくつかのステップを同時に実行することができる。オプションで、本発明の方法における２つ又はこれ以上のステップが、１つのステップに結合されることができる。オプションで、本発明の方法のステップは、複数のステップに分割されることができる。有利なことに、上記の特徴ステップは、画像データにおける複数の特徴を特定するのに反復的に使用されることができ、完全なセグメント化方法のステップとすることができる。
【００５２】
図４は、本発明のシステム１００を用いる画像取得装置４００の例示的な実施形態を概略的に示す。上記画像取得装置４００は、内部接続を介してシステム１００と接続される画像取得ユニット４１０と、入力コネクタ４０１と、出力コネクタ４０２とを有する。この構成は有利なことに、上記画像取得装置４００にシステム１００の有利な能力を提供することで、画像取得装置４００の能力を向上させる。
【００５３】
図５は、ワークステーション５００の例示的な実施形態を概略的に示す。ワークステーションは、システムバス５０１を有する。プロセッサ５１０、メモリ５２０、ディスク入出力（Ｉ／Ｏ）アダプタ５３０及びユーザインタフェース（ＵＩ）５４０が、システムバス５０１に動作可能に接続される。ディスクストレージ・デバイス５３１は、ディスクＩ／Ｏアダプタ５３０に動作可能に結合される。キーボード５４１、マウス５４２及びディスプレイ５４３は、ＵＩ５４０に動作可能に結合される。コンピュータプログラムとして実現される本発明のシステム１００は、ディスクストレージ・デバイス５３１に格納される。ワークステーション５００は、プログラム及び入力データをメモリ５２０にロードし、プロセッサ５１０上でこのプログラムを実行するよう構成される。ユーザは、キーボード５４１及び／又はマウス５４２を使用してワークステーション５００に対して情報を入力することができる。ワークステーションは、ディスプレイデバイス５４３に対して及び／又はディスク５３１に対して情報を出力するよう構成される。当業者であれば、従来技術において知られるワークステーション５００の他の多数の実施形態が存在すること、及び本実施形態が本発明を説明する目的で機能し、この特定の実施形態に本発明が限定されるものとして解釈されてはならないことを理解されるであろう。
【００５４】
上述された実施形態は本発明を限定するものではなく、当業者であれば、添付された請求項の範囲から逸脱することなく、代替的な実施形態をデザインすることができることになることに留意されたい。請求項において、括弧内に配置されるいかなる参照符号も請求項を限定するものとして解釈されるべきではない。「有する」という語は、請求項又は明細書にリストされない要素又はステップの存在を除外するものではない。ある要素に先行する「ａ」又は「ａｎ」という語は、斯かる要素が複数存在することを除外するものではない。本発明は、複数の個別の要素を有するハードウェアを用いて、及びプログラムされたコンピュータを用いて実現されることができる。複数のユニットを列挙するシステムクレームにおいて、これらのユニットの複数が、ハードウェア又はソフトウェアの１つの同じアイテムにより実現されることができる。第１、第２、第３等の語の使用は、何らかの順位を表すものではない。これらの語は、ラベルとして解釈されるものである。
【特許請求の範囲】
【請求項１】
モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化するシステムであって、
メッシュの現在の位置に基づき前記メッシュの外部エネルギーを計算するため、前記画像データにおける特徴を特定する特徴ユニットを有し、前記特徴ユニットが更に、
前記画像データにおいて特定される前記特徴に含まれることになる特徴を特定するため、前記画像データにおける複数の候補特徴を選ぶ候補特徴ユニットと、
前記画像データの領域に対する前記複数の候補特徴の各候補特徴の位置を決定する位置ユニットと、
前記各候補特徴の強度を計算する特徴関数ユニットであって、前記各候補特徴の強度が、前記領域に対する前記各候補特徴の位置に依存する、特徴関数ユニットと、
前記複数の候補特徴の前記各候補特徴を評価し、前記評価に基づき前記複数の候補特徴における前記特徴を特定する評価ユニットとを有する、システム。
【請求項２】
前記対象物をセグメント化するため前記メッシュを事前配置し、前記メッシュの現在位置を初期化する事前配置ユニットと、
前記現在の位置にあるメッシュと前記事前配置されたメッシュとを整列配置する変換を計算する変換ユニットと、
少なくとも前記メッシュの前記外部エネルギー及び前記内部エネルギーの加重和を最小化するため、前記メッシュの頂点の現在位置を更新することにより、前記メッシュの現在位置を更新する適合ユニットと、
少なくとも前記最小化された加重和又は前記メッシュの前記更新された現在位置に基づき、収束条件を評価し、前記条件が満たされる場合、前記対象物をセグメント化することを終了し、前記条件が満たされない場合、前記対象物をセグメント化することを継続する制御ユニットとを更に有する、請求項１に記載のシステム。
【請求項３】
前記領域内部の前記各候補特徴の強度が、前記領域内部の前記各候補特徴から前記領域の境界への距離の関数である、請求項１に記載のシステム。
【請求項４】
前記領域境界が、前記画像データにおける第２の対象物に対して適合されるメッシュにより規定される、請求項３に記載のシステム。
【請求項５】
前記領域内部の前記各候補特徴の強度が、前記領域内部の前記各候補特徴から前記領域の境界への距離と共に実質的に減少する、請求項３に記載のシステム。
【請求項６】
画像データにおける複数の対象物を、前記複数の対象物の各対象物に対してメッシュを適合させることによりセグメント化する、請求項１乃至５のいずれか一項に記載のシステムの使用であって、前記複数の対象物における特定の対象物を特定のメッシュに適合させる間、前記領域が、前記特定のメッシュ以外の前記複数の対象物における対象物に対して適合されるメッシュの現在の位置に基づき規定される、使用。
【請求項７】
請求項１に記載のシステムを有する画像取得装置。
【請求項８】
請求項１に記載のシステムを有するワークステーション。
【請求項９】
モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化する方法において、
メッシュの現在の位置に基づき前記メッシュの外部エネルギーを計算するため、前記画像データにおける特徴を特定する特徴ステップを有し、前記特徴ステップが更に、
前記画像データにおいて特定される前記特徴に含まれることになる特徴を特定するため、前記画像データにおける複数の候補特徴を選ぶ候補特徴ステップと、
前記画像データの領域に対する前記複数の候補特徴の各候補特徴の位置を決定する位置ステップと、
前記各候補特徴の強度を計算する特徴関数ステップであって、前記各候補特徴の強度が、前記領域に対する前記各候補特徴の位置に依存する、特徴関数ステップと、
前記複数の候補特徴の前記各候補特徴を評価し、前記評価に基づき前記複数の候補特徴における前記特徴を特定する評価ステップとを有する、方法。
【請求項１０】
コンピュータによりロードされるコンピュータプログラムであって、モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化する命令を有し、前記命令が、メッシュの現在の位置に基づき前記メッシュの外部エネルギーを計算するため、前記画像データにおける特徴を特定する命令を更に有し、前記コンピュータが、処理ユニット及びメモリを有し、前記コンピュータプログラムが、ロードされた後、請求項９に記載される方法のステップを実行する能力を前記処理ユニットに与える、コンピュータプログラム。
【請求項１】
モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化するシステムであって、
メッシュの現在の位置に基づき前記メッシュの外部エネルギーを計算するため、前記画像データにおける特徴を特定する特徴ユニットを有し、前記特徴ユニットが更に、
前記画像データにおいて特定される前記特徴に含まれることになる特徴を特定するため、前記画像データにおける複数の候補特徴を選ぶ候補特徴ユニットと、
前記画像データの領域に対する前記複数の候補特徴の各候補特徴の位置を決定する位置ユニットと、
前記各候補特徴の強度を計算する特徴関数ユニットであって、前記各候補特徴の強度が、前記領域に対する前記各候補特徴の位置に依存する、特徴関数ユニットと、
前記複数の候補特徴の前記各候補特徴を評価し、前記評価に基づき前記複数の候補特徴における前記特徴を特定する評価ユニットとを有する、システム。
【請求項２】
前記対象物をセグメント化するため前記メッシュを事前配置し、前記メッシュの現在位置を初期化する事前配置ユニットと、
前記現在の位置にあるメッシュと前記事前配置されたメッシュとを整列配置する変換を計算する変換ユニットと、
少なくとも前記メッシュの前記外部エネルギー及び前記内部エネルギーの加重和を最小化するため、前記メッシュの頂点の現在位置を更新することにより、前記メッシュの現在位置を更新する適合ユニットと、
少なくとも前記最小化された加重和又は前記メッシュの前記更新された現在位置に基づき、収束条件を評価し、前記条件が満たされる場合、前記対象物をセグメント化することを終了し、前記条件が満たされない場合、前記対象物をセグメント化することを継続する制御ユニットとを更に有する、請求項１に記載のシステム。
【請求項３】
前記領域内部の前記各候補特徴の強度が、前記領域内部の前記各候補特徴から前記領域の境界への距離の関数である、請求項１に記載のシステム。
【請求項４】
前記領域境界が、前記画像データにおける第２の対象物に対して適合されるメッシュにより規定される、請求項３に記載のシステム。
【請求項５】
前記領域内部の前記各候補特徴の強度が、前記領域内部の前記各候補特徴から前記領域の境界への距離と共に実質的に減少する、請求項３に記載のシステム。
【請求項６】
画像データにおける複数の対象物を、前記複数の対象物の各対象物に対してメッシュを適合させることによりセグメント化する、請求項１乃至５のいずれか一項に記載のシステムの使用であって、前記複数の対象物における特定の対象物を特定のメッシュに適合させる間、前記領域が、前記特定のメッシュ以外の前記複数の対象物における対象物に対して適合されるメッシュの現在の位置に基づき規定される、使用。
【請求項７】
請求項１に記載のシステムを有する画像取得装置。
【請求項８】
請求項１に記載のシステムを有するワークステーション。
【請求項９】
モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化する方法において、
メッシュの現在の位置に基づき前記メッシュの外部エネルギーを計算するため、前記画像データにおける特徴を特定する特徴ステップを有し、前記特徴ステップが更に、
前記画像データにおいて特定される前記特徴に含まれることになる特徴を特定するため、前記画像データにおける複数の候補特徴を選ぶ候補特徴ステップと、
前記画像データの領域に対する前記複数の候補特徴の各候補特徴の位置を決定する位置ステップと、
前記各候補特徴の強度を計算する特徴関数ステップであって、前記各候補特徴の強度が、前記領域に対する前記各候補特徴の位置に依存する、特徴関数ステップと、
前記複数の候補特徴の前記各候補特徴を評価し、前記評価に基づき前記複数の候補特徴における前記特徴を特定する評価ステップとを有する、方法。
【請求項１０】
コンピュータによりロードされるコンピュータプログラムであって、モデルベースの画像セグメント化を用いて画像データにおける対象物をセグメント化する命令を有し、前記命令が、メッシュの現在の位置に基づき前記メッシュの外部エネルギーを計算するため、前記画像データにおける特徴を特定する命令を更に有し、前記コンピュータが、処理ユニット及びメモリを有し、前記コンピュータプログラムが、ロードされた後、請求項９に記載される方法のステップを実行する能力を前記処理ユニットに与える、コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２０１１−５１６９５７（Ｐ２０１１−５１６９５７Ａ）
【公表日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願番号】特願２０１１−５０２４８７（Ｐ２０１１−５０２４８７）
【出願日】平成２１年４月２日（２００９．４．２）
【国際出願番号】ＰＣＴ／ＩＢ２００９／０５１３９２
【国際公開番号】ＷＯ２００９／１２５３１９
【国際公開日】平成２１年１０月１５日（２００９．１０．１５）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２３年５月２６日（２０１１．５．２６）
【国際特許分類】
【出願日】平成２１年４月２日（２００９．４．２）
【国際出願番号】ＰＣＴ／ＩＢ２００９／０５１３９２
【国際公開番号】ＷＯ２００９／１２５３１９
【国際公開日】平成２１年１０月１５日（２００９．１０．１５）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]