インタラクティブ画像セグメンテーション
診断又は治療計画に対して患者内の解剖学的構造のモデルを適合する場合、所定の解剖学的構造モデル又は画像体積のアトラス２６が、アクセスされることができ、１以上のこのような構造のセグメンテーションが、選択され、患者の臨床画像５２内の対応する構造の３次元画像上に重ねられることができる。ユーザは、患者画像５２上の最初は未承認であるセグメンテーションランドマーク７２をクリックし、前記未承認ランドマークを再配置し、前記再配置されたランドマークを承認することができる。残りの未承認ランドマーク７２は、この場合、前記モデルを前記患者画像にオンザフライで適合するために１以上の補間技術を使用して前記承認されたランドマーク９２の位置の関数として再配置される。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、医療撮像システムにおいて特定の用途を見つける。しかしながら、記載される技術が、他のタイプの撮像システム、スキャンシステム及び／又は他の医療応用において応用を見つけることもありうると理解される。
【背景技術】
【０００２】
インタラクティブセグメンテーションタスクは、一般に、以前に見られていない画像データに対して記憶されたセグメンテーションを適合させることにより実行される。セグメンテーションの複雑さに依存して、これは、ユーザにとって時間のかかる手順である。医療画像データのインタラクティブな手動セグメンテーションを実行する応用は、放射線治療計画における器官及びビーム計画描写、SmartExamのような自動セグメンテーションアルゴリズムを訓練する際のランドマーク規定、及び手動又は半自動定量化（測定）ツールにおける構造識別を含む。
【０００３】
新しい場合に対する複数の同様のセグメンテーションの各々を一から始める代わりに、記憶された（基準）セグメンテーションを用いて開始することが一般的である。基準セグメンテーションは、モデルから得られるか又は以前のセグメンテーションからコピーされることができる。基準セグメンテーションは、対象とする新しいセグメンテーションと位置フィーチャを共有し、フィーチャ間の関係は、通常、ある程度、保存される。しかしながら、フィーチャ関係は、従来の方法の下では考慮されていない。
【０００４】
典型的には、ユーザは、フィーチャの各々に対する基準位置で開始して、基準セグメンテーションの部分を新しい画像データに適合させなければならない。したがって、フィーチャ間の関係は、この手順の間に失われ、これは、少なくとも不所望であるが、中間段階が形態学的に破壊的なセグメンテーションを表示するので基準と新しいセグメンテーションとの間に比較的大きな変化が存在する場合に混乱を生じる可能性がある。
【０００５】
解剖学的アトラスは、多くの臨床的応用に対して有用である。例えば、放射線治療計画における解剖学的構造輪郭形成は、３次元モデルの形式の関連する解剖学的構造描写をアトラスから計画画像に自動的に転送することにより大幅に効率的及び再生可能にされることができる。しかしながら、従来の方法を使用する完全に自動的な解剖学的構造描写は、非線形の変形の必要性、弱い画像コントラスト、正常及び病気の解剖学的可変性、画像アーチファクト等のため、難しいことが証明されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
当技術分野において上に記された欠点を克服することを容易にするシステム及び方法に対する満たされていない要望が存在する。
【課題を解決するための手段】
【０００７】
一態様によると、医療画像セグメンテーションランドマークを補間するシステムは、基準ランドマークのセットを各々含む解剖学的構造の３次元基準画像体積を記憶するメモリと、患者画像体積のビュー及び基準画像体積のビューを提示するディスプレイと、前記基準画像体積の前記基準ランドマークのセット及び前記患者画像体積を重ねるプロセッサとを含む。前記システムは、ユーザが、前記重ねられたランドマークの１以上を前記患者画像上の対応する位置に再配置し、前記１以上の再配置されたランドマークを承認するのに使用するユーザ入力装置を更に含む。前記プロセッサは、前記１以上の承認されたランドマークの再配置の関数として前記基準画像体積と前記患者画像体積との間の補間変換を更新し、前記更新された補間変換によって１以上の未承認の重ねられたランドマークの位置を更新する。
【０００８】
他の態様によると、患者画像体積のセグメンテーションをインタラクティブに更新する方法は、前記基準画像体積上の基準ランドマークのセットを有する基準画像セグメンテーションを取り出すステップと、患者画像体積セグメンテーションにおける未承認ランドマークとして前記基準ランドマークのセットを前記患者画像体積上に転送するステップと、少なくとも１つの未承認ランドマークの再配置に関連した入力を受信するステップとを含む。前記方法は、承認ランドマークとして前記再配置されたランドマークのステータスを更新する入力を受信するステップと、前記承認ランドマークの位置の関数として残りの未承認ランドマークに対する位置更新情報（position updates）を補間するステップと、前記補間の関数として残りの未承認ランドマークの位置を更新するステップとを更に含む。
【０００９】
他の態様によると、インタラクティブ患者画像体積位置合わせ装置は、患者画像体積画像上に重ねられた基準画像体積セグメンテーションをユーザに提示する手段と、前記ユーザが前記患者画像体積上に重ねられた未承認ランドマークを選択し、前記選択された未承認ランドマークを再配置し、前記再配置された未承認ランドマークを承認することを可能にする手段とを含む。前記装置は、各承認されたランドマークの位置の関数として残りの未承認ランドマークに対する新しい位置をインタラクティブに補間し、前記残りの未承認ランドマークの位置を更新する手段を更に含む。前記手段は、更に、ユーザが前記患者画像体積セグメンテーションの適合に満足した場合に前記ユーザが全ての残りの未承認ランドマークを承認することを可能にする。
【００１０】
１つの利点は、画像位置合わせがオンザフライでインタラクティブに実行されることである。
【００１１】
他の利点は、位置合わせプロセスの増大した自動化にある。
【００１２】
このイノベーションの更に他の利点は、以下の詳細な説明を読み、理解すると当業者により理解される。
【００１３】
このイノベーションは、様々な構成要素、構成要素の組み合わせ、並びに様々なステップ及びステップの組み合わせの形を取りうる。図面は、様々な態様を説明する目的のみであり、本発明を限定すると解釈されるべきでない。
【図面の簡単な説明】
【００１４】
【図１】解剖学的構造のアトラスから選択された輪郭を３次元臨床画像に弾性的に位置合わせする手動編集ツールを示す。
【図２】基準画像に対する患者画像の粗い手動位置合わせのスクリーンショットを示す。
【図３】患者画像上に転送された事前に承認された基準ランドマークとともに、選択された基準画像にリンクされた前記患者画像を示すスクリーンショットを示す。
【図４】ユーザがランドマークを患者画像上の所望の位置に移動し、前記ランドマークの位置を承認した後のユーザ承認されたランドマークが示されるスクリーンショットを示す。
【図５】微細な幾何構成で基準画像及び患者画像の例を持つ他のスクリーンショットを示す。
【図６】変形可能な解剖学的アトラスを使用する漸進的画像セグメンテーションに対する方法を示す。
【図７】３次元画像表現を生成するために個別の又は共有される再構成プロセッサにより再構成された撮像データを生成するＣＴ又はＭＲＩ等のような複数の撮像装置を含む典型的な病院システムを示す。
【発明を実施するための形態】
【００１５】
図１は、解剖学的構造のアトラス２６から選択された輪郭を３次元臨床画像に弾性的に位置合わせする手動編集システム１０を示す。この編集ツールは、リアルタイムで動的表示面更新を提供する。前記編集システムは、新しいセグメンテーションを作成するのに使用されるユーザインタフェース１２を増強する補間方法を採用する。前記新しいセグメンテーションの手動更新の後に、修正された位置は、"受け入れ済み"とマークされる。依然として受け入れられていない前記新しいセグメンテーションの全ての部分は、この場合、記憶されたセグメンテーションから自動的に更新される。この更新は、前記記憶されたセグメンテーションと共通している前記新しいセグメンテーションの既に受け入れられた部分から計算された補間を使用して実行される。したがって、前記転送されたセグメンテーションの構造的インテグリティは維持される。加えて、前記記憶された及び新しい画像データの表示幾何構成は、より容易な視覚的相互参照する追加の補間を実行することにより位置合わせされることができる。
【００１６】
一実施例において、ユーザインタフェース１２は、変形可能な解剖学的アトラス２６を使用する漸進的画像セグメンテーションの機能を含む。アトラス適合は、漸進的に実行され、セグメンテーションにより少ないインタラクションを要求する解剖学的構造が、最初に処理される。セグメンテーションの結果は、残りの構造の位置をオンザフライで更新するのに使用される。このプロセスは、全てのセグメンテーションが前記ユーザにより確認されるまで繰り返される。
【００１７】
前記システムは、イメージャ１４に直接的に又は間接的に結合されたユーザインタフェース１２を含む。例えば、イメージャ１４は、コンピュータ断層撮影（ＣＴ）スキャンシステム若しくはその変形、磁気共鳴撮像（ＭＲＩ）システム若しくはその変形、又は患者の若しくは患者の一部の２次元若しくは３次元画像を生成する他の適切なイメージャであることができる。前記画像は、前記イメージャから直接的に又は医療記録データベースから来ることができる。
【００１８】
ユーザインタフェース１２は、プロセッサ１６を含み、プロセッサ１６は、メモリ１８に記憶され、患者の１以上の器官の３次元画像を操作する機械可読命令及び／又はルーチンを実行する。このような画像は、ディスプレイ２０を介してユーザに表示され、前記ユーザは、入力装置２２を使用して前記画像を操作することを可能にされる。メモリ１８は、様々な器官の３次元画像及び／又はマップを含むアトラス２６に関連した情報及び／又はルーチンを追加的に記憶し、これらは、患者の器官又は他の解剖学的構造の対応する画像２４が重ねられるテンプレートとして使用される。加えて、前記メモリは、ディスプレイ２０を介して前記ユーザに患者及びアトラス画像を表示することに関連した情報及び／又はルーチン、並びに入力装置２２を介したユーザ入力に応答してアトラス及び／又は患者画像を操作するルーチンを記憶する。更に、前記メモリは、前記患者の画像に関連した画像データ２４及びランドマーク対を記述するランドマークデータ２８等を記憶する。前記入力装置は、例えば、キーボード及びカーソル、スタイラス、マウス又は他の適切な入力装置であることができる。
【００１９】
アトラス２６は、個別の解剖学的構造（例えば、心臓、肺、脳、脾臓、肝臓、腸、胃、胆嚢等のような器官；骨、筋肉等のような他の構造）又はこれらの組み合わせのモデルを含むことができ、このような構造は、パラメータ化されることができる。更に、複数のモデルが、様々な解剖学的タイプ、例えば、大人、子供、肥満、痩せている、男性、女性等に対応するタイプに対して提供されることができる。例えば、パラメータ化は、メッシュ技術、非一様有理Ｂスプライン（ＮＵＲＢＳ）、又は他のパラメータ化プロトコルを使用して実行されることができる。システム１０は、ユーザに信頼できる直感的なインタラクティブ３次元編集アプリケーションを提供することを容易化する。
【００２０】
システム１０は、輪郭画像体積モデルの３次元操作を可能にし、これは、ユーザが、１つの面だけでなく、複数の面内の画像体積モデルの輪郭を操作することを可能にする。例えば、ユーザは、３次元で前記モデル輪郭を押す、引く又は他の形で調節する電子的に規定されたツールを持つ仮想ツールキット３０にアクセスする。例えば、前記仮想ツールは、単一の点を含む様々な半径、形状及びサイズの表面を規定し、前記輪郭を押して又は引いて前記輪郭の形状を成形することができる。前記ユーザは、表示面に沿って又は前記表示面に対してある角度で前記ツールを押す又は引くことができる。前記輪郭上の点が前記表示面の１以上から離れるように引っ張られる又は押されると、前記ツールは、前記ユーザが、前記輪郭部分が操作されている期間を通して診断画像体積上に重ねられた所望の画像体積輪郭部分を見ることができるように、前記表示面を自動的に変更する。
【００２１】
前記画像体積は、１つ又は複数の解剖学的構造、例えば隣接する器官を有することができる。例えば、ユーザは、輪郭基準モデルの輪郭上の特定の点を患者内の解剖学的構造の画像上の対応する点まで引っ張ることができる。一例において、特異点は、椎骨上の棘突起であることができ、前記ユーザは、前記モデルを実際の画像的により近く位置合わせするように、前記基準モデル上の対応する突起を前記患者の椎骨上の棘突起まで引っ張ることができる。拘束された点又はメッシュの間で、前記モデルは、弾性的に変形する。１以上の解剖学的構造を有することができる基準モデルは、前記構造のスキャン又は他の画像のような患者データから生成される。一実施例において、１以上の対象のいくつかのスキャン又は画像が、前記構造の１以上の平均又は"標準"モデルを生成するのに使用される。
【００２２】
表示されるスライス又は面は、平面である必要はなく、湾曲していてもよい。例えば、輪郭面は、脊柱の湾曲とマッチするように湾曲されることができる。一実施例において、解剖学的構造の外形は、前記アトラスに個別に記憶され、関心領域を形成するように前記ユーザにより結合又はアセンブルされることができる。他の実施例において、共通して撮像された領域内の解剖学的構造に対する外形は、プリアセンブルされることができ、これにより、プリアセンブルされた領域における全ての器官に対する外形は、グループとしてダウンロード、アップロード又は他の形でアクセスされることができる。
【００２３】
一実施例において、前記セグメンテーション（例えば、前記モデル）のフィーチャの間の関係は、表示されるフィーチャの形態学的インテグリティを保存するように維持される。前記ユーザは、システム１０を使用して、前記基準モデル又はセグメンテーションにおける１以上の点又はフィーチャを前記患者画像体積に対応するそれぞれの所望の場所に押す又は引くことにより粗い手動モデル適合を実行する。前記患者画像に対してインタラクティブに適合され、新しい患者セグメンテーションの部分として前記ユーザにより承認された前記基準モデルの部分は、ディスプレイ上の前記基準セグメンテーションの全ての他の（例えば、まだ承認されていない又は受け入れられていない）フィーチャを補間するのに使用される。承認されたフィーチャ及び補間されたフィーチャは、それぞれの状態を示すように明確に異なる形で（例えば異なる色等により）表示される。前記基準セグメンテーションにリンクされた画像データが存在する場合、前記基準画像データ及び前記新しい患者画像データの表示は、第２のサポート手段として、補間によりリンクされることもできる。
【００２４】
他の実施例によると、ランドマークセグメンテーション（体積画像データ内の解剖学的に意味のある点）は、選択された点又はフィーチャのユーザ承認を容易化するのに使用される。しかしながら、記載されたシステム及び方法が、表面メッシュ、体積パッチ、スキャン計画に対する境界ボックス、及びビーム計画に対する境界円錐等のような他のセグメンテーション対象に対しても応用可能であることは理解されるべきである。すなわち、前記新しい（及び基準）画像データは、３次元体積データに限定される必要はない。
【００２５】
加えて、プロセッサ１６は、前記患者画像体積において表現される異なるタイプの組織に対して異なる補間技術を使用することができる。例えば、骨組織に対応する受け入れられていないランドマークの位置を補間する場合、主成分変換（principle component transform）が有利に使用されることができる。剛体変換は、脳組織に対応する受け入れられていないランドマークに対する位置更新情報を補間する場合に有利に使用されることができる。加えて又は代わりに、弾性変換は、柔らかい組織に対応する受け入れられていないランドマークに対する位置更新情報を補間する場合に使用されることができる。
【００２６】
図２は、基準画像５４に対する患者画像５２の粗い手動位置合わせのスクリーンショット５０を示す。例えば、基準セグメンテーション（例えば、点、面メッシュ等のリスト）及び基準画像（例えば、前記点又はメッシュがある空間）を仮定して、インタラクティブセグメンテーションの対象である前記新しい患者画像は、アプリケーションにロードされ、前記基準画像に対して粗く手動で位置合わせされる。前記患者画像及び前記基準画像が大幅に異なるサイズ等を持つ場合、新しいより同様な基準画像が、アトラス２６から手動で選択されることができる。前記ユーザは、両方の画像をリンクすることを選択し、これは、前記基準画像と、最初は解剖学的に意味がある必要はないが、粗い近似である前記新しい患者画像との間の変換を確立する。前記変換を確立するために、回転、スケーリング、及び並進移動（ＲＳＴ）変換、アフィン変換、並びに薄板スプライン等を用いる様々な位置合わせが使用される。基準画像５４は、右上のビューポートにおける前記基準セグメンテーションとともに表示される。一実施例において、前記基準セグメンテーションは、事前に指定された基準ランドマーク５６を示す緑のドット又は点で表示される。インタラクティブセグメンテーションの対象である前記新しい患者画像は、左上のビューポートに示され、前記基準画像と粗く手動で位置合わせされ、前記基準画像とリンクされるように選択される。左下の２つのビューポートは、上のビューポートのサムネイルプレビュー５８である。
【００２７】
図３は、患者画像５２上に転送された（例えば、重ねられた）事前に承認された基準ランドマークとともに、選択された基準画像５４にリンクされた患者画像５２を示すスクリーンショット７０を示す。前記変換によって、前記基準セグメンテーション（例えば、ランドマーク及び／又はメッシュ）は、前記新しい画像データにより占められる空間にコピーされる。事前に指定された基準ランドマーク５６に対応する未承認患者ランドマーク７２は、患者画像５２上に示される。最初は、位置合わせ対象（患者ランドマーク７２）は、承認済みとしてマークされていない。基準画像５４上の事前に承認された基準ランドマーク５６に対応する未承認患者ランドマーク７２は、患者画像５２上に示される。前記基準セグメンテーション画像は、したがって、前記患者画像内に伝えられる。一実施例において、インポートされたランドマークは、事前に承認された基準ランドマーク５６の剛体コピーであり、前記患者画像セグメンテーションにおける未承認患者ランドマーク７２の多く又は全ては、所望の解剖学的に意味のある位置に配置されることができるか、又は所望の解剖学的に意味のある位置に配置されることができない可能性が高い。
【００２８】
図４は、ユーザが前記ランドマークを患者画像５２上の所望の位置に移動し（例えば、引っ張り）、前記ランドマークの位置を承認（例えば承認することを確認）した後のユーザ承認済みランドマーク９２が示されるスクリーンショット９０を示す。ランドマーク７２（例えば、セグメンテーションオブジェクト）を患者画像データ空間内の解剖学的に意味のある位置までインタラクティブに引っ張る又は押すことにより、前記ユーザは、前記適合されたランドマークを承認されたと規定し、これらが他の未承認ランドマーク７２の補間を計算するのに使用されることを受け入れる（例えば、ユーザ承認ランドマーク９２を生成する）。セグメンテーション補間が、前記ユーザインタフェースを通して"アクティブ"に切り換えられる場合、患者画像５２データ内の未承認ランドマーク７２の位置は、前記新しい患者セグメンテーション及び前記基準セグメンテーションからの承認されたランドマークの対応する対の位置の差又は移動に基づいて、事前に選択された位置合わせアルゴリズム（例えば、薄板スプライン等）により更新される。
【００２９】
一実施例において、未承認ランドマーク７２は、第１の色（例えば赤）で表示されるのに対し、手動で移動され、受け入れられたランドマーク９２は、第２の色（例えば緑）で表示される。前記新しいセグメンテーション（左）の前記ランドマークの一部は、手動で適合されている。まだ手動で適合されていない未承認患者ランドマーク７２の薄板スプラインによる補間が、作動されることができ、これは、前記更新された補間変換に基づいて前記受け入れられていないランドマークを移動し、これは、通常は前記受け入れられていないランドマークを前記基準画像に対する前記患者画像内のそれぞれの所望の解剖学的位置の近くに移動する。したがって、容易に再配置されるランドマークを操作し、受け入れることにより、より複雑な未承認ランドマーク位置は、ユーザが全ての所望のランドマークを正確に位置合わせすることにより費やされる時間を減少するように補間されることができる。各方向において面から最も離れているランドマークを再配置することは、より近いランドマークを位置合わせすることができる。
【００３０】
一実施例において、１以上のランドマーク７２は、所定のシーケンスの操作及び承認に対するユーザに推薦されることができ、例えば、前記推薦されたランドマークが非推薦ランドマークの承認より大きな影響を全体的なランドマーク承認複雑さの減少に与えることを前記ユーザに示すように前記患者画像において前記推薦されるランドマークを拡大することにより推薦されることができる。この例において、システム１０（図１）は、前記ランドマークの配置が他の未承認ランドマークの高レベルの再配置を生じるかどうかに部分的に基づいてランドマーク７２を前記ユーザに推薦する。すなわち、（例えば補間後に）所望の位置に近づける他のランドマークの比較的大きな量の移動を引き起こすランドマークは、他のランドマークのより小さな移動を引き起こすランドマークよりも推薦される。
【００３１】
図５は、微細な幾何構成で患者画像５２及び基準画像５４の例を持つ他のスクリーンショット１１０を示す。前記基準画像の表示幾何構成が変更され、画像補間がオンにされる場合、前記患者画像の表示幾何構成は、同じ対の点に基づく位置合わせにより適宜に更新される。基準画像５４の表示幾何構成は、特定の領域（例えば、頭部）における詳細な観察を可能にするように変更される。患者画像５２の表示幾何構成は、前記基準セグメンテーションの対応する部分に対する前記患者セグメンテーションの既に受け入れられた部分の位置合わせに基づいて自動的に位置合わせされ、これは、前記基準画像と前記患者画像データとの間の相互参照を容易化する。このようにして、いくつかのユーザインタラクションは、漸進的アトラス適合に対するユーザインタフェースを構築することにより最小化されることができる。
【００３２】
図６は、変形可能な解剖学的アトラスを使用する漸進的画像セグメンテーションに対する方法を示す。一実施例において、前記変形可能なアトラスは、患者画像内の粗い初期位置に運ばれ、前記アトラスからの選択された構造は、前記画像に対して自動的に、半自動的に又は手動で適合される。残りの構造又はランドマークの初期化は、前記適合された（例えば、受け入れられた）構造又はランドマークの新しい更新された位置を使用してオンザフライで更新される。ランドマーク受け入れ及びオンザフライ更新のステップは、全ての構造のセグメンテーションが前記ユーザにより確認されるまで繰り返される。
【００３３】
他の実施例によると、前記解剖学的構造の変形可能なアトラスは、最初に、１２８において、３次元患者画像内の解剖学的構造に重なる初期位置まで（自動的に又は手動でのいずれかで）運ばれる。前記アトラスは、例えば、三角形メッシュ等により表される１以上の３次元器官（又は他の構造）モデルを含むことができる。前記初期位置において、前記アトラスの全ての構造は、最初は、例えば特定の色、線の太さ等を使用することにより"未確認"としてマークされる。最初のアトラスから画像へのマッピングは、１３０において、例えば、前記画像内の特定の解剖学的ランドマークを手動で配置し、前記モデル内の対応するランドマークを再配置する等により、確立されることができる。
【００３４】
１３２において、体積変形は、例えば、再配置された及び受け入れられたランドマーク対（例えば、それぞれ前記患者画像及び前記選択された基準モデル上の対応するランドマーク）の初期位置と受け入れられた位置との間の３次元距離を決定することにより計算される。前記計算された体積変形は、１３３において、選択された補間変換、例えば半径バイアス関数、弾性体スプライン等を洗練するのに使用される。前記洗練された変換は、１３４において、前記基準モデルに適用され、前記基準モデル及び前記未承認ランドマークを再配置する。１３６において、未承認ランドマーク（例えば、前記基準モデル内の点又は構造）が、選択される。前記未承認ランドマークは、ランドマークの階層的リストから選択されることができるか、又はユーザ選択されることができる。
【００３５】
１３８において、最小のユーザインタラクションで自動的にセグメント化されることができる前記選択された構造（例えばＣＴベースの頭部及び首アトラス内の頭蓋骨、骨及び肺等）のモデルは、例えば、モデルベースのセグメンテーション技術を使用して適合される。適切なモデルベースのセグメンテーション技術の例は、例えば、"Shape Constrained Deformable Models for 3D Medical Image Segmentation,"(J. Weese, M. Kaus et al.; IPMI 2001: 380-387)に記載されている。目視検査及びオプションのローカル補正の後に、これらの構造は、"確認済み"又は"承認済み"としてマークされる。適合の後に、前記適合されたモデルから得られた１以上の点は、１４０において、他のランドマークとして使用され、ランドマークの初期セットに追加されることができる。このようにして、正確なアトラスから画像へのマッピングが、得られ、依然として未確認の構造の再初期化に使用されることができる。
【００３６】
前記モデルランドマーク又は構造が処理される順序は、生体構造及び画像モダリティに関する予備知識を使用して、又は画像勾配を持つモデルの表面法線の位置合わせのような特定の定量的測定を使用してモデル初期化の精度を評価することにより確立されることができる。前記アトラス内の前記モデルの１以上は、補足情報のみを提供するのに使用されることができ、自動的に適合されることができる場合には明示的に表示される必要はない。前記漸進的アトラス適合は、前記アトラス内の全ての構造に対するセグメンテーション結果が前記ユーザにより受け入れられるまでセグメンテーションの複雑さの漸増とともに実行される。すなわち、より単純なセグメンテーションが最初に実行される。加えて、このアプローチは、マルチモダリティ画像セグメンテーションに拡張されることができ、特定のモダリティ（例えば磁気共鳴）においてセグメンテーションされたアトラス構造は、他のモダリティ（例えばコンピュータ断層撮影）の二次画像における残りの構造のモデル初期化及び残りの構造のセグメンテーションをサポートし、逆もまた同様である。
【００３７】
したがって、前記方法によると、体積変形は、インタポレータ（例えば、弾性体スプライン、薄板スプライン又は他の適切なインタポレータ）を使用することによりランドマークのセットから計算される。前記ランドマークのセットは、（例えば、モデルベースのセグメンテーションを使用して）構造又はランドマークを反復的に適合し、追加のランドマークを選択し、変形を再計算し、これを前記基準モデルに適用することにより次第に増加される。構造及び／又はランドマークは、前記ユーザによりインタラクティブに又は所定の階層的モデル若しくはリストから選択されることができる。加えて、所定の構造は、前記ユーザに見える必要はない。
【００３８】
一例によると、腫れた脾臓を持つ患者が撮像されることができ、腹部基準モデルが、（例えば自動的に又は手動で）選択され、前記患者画像モデルに重ねられることができる。ユーザは、前記基準モデル上のランドマークを前記患者画像上の対応するランドマークに位置合わせし、これにより前記モデル内の脾臓構造を拡大する。前記モデル内の近くの器官又は構造は、この場合、前記拡大された脾臓を収容するように自動的に（補間を使用して）調節される。このようにして、前記ユーザは、前記モデルを前記患者画像体積に位置合わせする場合に前記モデル内の解剖学的構造ごとにモデルランドマークを調節する必要はない。
【００３９】
図７を参照すると、典型的な病院システムは、３次元画像表現を生成するために個別の又は共有される再構成プロセッサ１５２により再構成される撮像データを生成するＣＴ又はＭＲＩ等のような複数の撮像装置１５０を含むことができる。前記画像表現は、ネットワーク１５４上で中央メモリ１５６に通信される。
【００４０】
前記ネットワークと接続されたステーション１６０において、オペレータは、選択された３次元患者画像表現を前記中央メモリからローカルメモリ１６４に移動するのに入力装置１６２を使用する。前記選択された３次元患者画像表現に対応する事前に生成された基準モデルセグメンテーション（例えば、ランドマークの集積）は、自動又は手動のいずれかで前記選択された患者画像体積を近似的にマッチするように選択され、前記中央メモリ内の又はステーション１６０におけるアトラス１７２から前記ローカルメモリにインポートされる。ビデオプロセッサ１６６は、前記基準モデルセグメンテーションを前記患者画像表現上に重ね、前記基準モデル及び前記患者画像表現を重ねられたランドマークとともにモニタ１７０上に表示する。前記オペレータは、入力装置１６２により、表示されるべき前記患者画像表現における"承認"されるべき前記ランドマークを選択する。
【００４１】
前記基準モデルセグメンテーションを前記患者画像内の前記解剖学的構造の１以上の形状に適合させるために、前記オペレータは、ランドマークの位置を選択及び操作するのに前記入力装置を使用する。一度前記オペレータが前記ランドマークを前記患者画像体積上の所望の場所に配置すると、前記オペレータは、前記ランドマークを"承認"し、これは、前記補間変換の更新、及び前記更新された変換を使用しての前記患者画像上の他のまだ承認されていないランドマークの更新位置の補間を始動する。ランドマークのユーザ承認及び他のプロセスは、前記ユーザが、前記基準モデルセグメンテーションが前記患者画像体積に十分に適合するまで反復的に繰り返される。前記ユーザは、この場合、承認済みランドマークと位置が前記ユーザに配置された承認済みランドマークに基づいて補間される未承認ランドマークとを含む、前記患者画像体積上の全体的なモデルセグメンテーションの承認を示すことができる。オプションとして、異なる撮像モダリティで生成された同じ患者の同じ領域の他の画像は、前記中央メモリから取り出され、前記補間変換を更に洗練するのに使用されることができる。
【００４２】
前記ユーザ承認済みモデルは、中央メモリ１５６若しくはローカルメモリ１６４に記憶されるか、又は他のプロセスにおいて直接的に使用されることができる。例えば、治療計画（例えば、放射線、アブレーション等）ステーション１８０は、治療セッションを計画するのに前記承認済み患者モデルを使用することができる。一度前記オペレータの満足がいくまで計画されると、前記計画された治療は、前記計画されたセッションを実施する治療装置１８２に転送される。他のステーションは、様々な他の計画プロセスにおいて前記成形された輪郭を使用することができる。
【００４３】
このイノベーションは、複数の実施例を参照して記載されている。修正例及び変更例は、先行する詳細な説明を読み、理解すると他者が思い当たりうる。このイノベーションが、添付の請求項又は同等物の範囲内に入る限り全てのこのような修正例及び変更例を含むと解釈されることが意図される。
【技術分野】
【０００１】
本出願は、医療撮像システムにおいて特定の用途を見つける。しかしながら、記載される技術が、他のタイプの撮像システム、スキャンシステム及び／又は他の医療応用において応用を見つけることもありうると理解される。
【背景技術】
【０００２】
インタラクティブセグメンテーションタスクは、一般に、以前に見られていない画像データに対して記憶されたセグメンテーションを適合させることにより実行される。セグメンテーションの複雑さに依存して、これは、ユーザにとって時間のかかる手順である。医療画像データのインタラクティブな手動セグメンテーションを実行する応用は、放射線治療計画における器官及びビーム計画描写、SmartExamのような自動セグメンテーションアルゴリズムを訓練する際のランドマーク規定、及び手動又は半自動定量化（測定）ツールにおける構造識別を含む。
【０００３】
新しい場合に対する複数の同様のセグメンテーションの各々を一から始める代わりに、記憶された（基準）セグメンテーションを用いて開始することが一般的である。基準セグメンテーションは、モデルから得られるか又は以前のセグメンテーションからコピーされることができる。基準セグメンテーションは、対象とする新しいセグメンテーションと位置フィーチャを共有し、フィーチャ間の関係は、通常、ある程度、保存される。しかしながら、フィーチャ関係は、従来の方法の下では考慮されていない。
【０００４】
典型的には、ユーザは、フィーチャの各々に対する基準位置で開始して、基準セグメンテーションの部分を新しい画像データに適合させなければならない。したがって、フィーチャ間の関係は、この手順の間に失われ、これは、少なくとも不所望であるが、中間段階が形態学的に破壊的なセグメンテーションを表示するので基準と新しいセグメンテーションとの間に比較的大きな変化が存在する場合に混乱を生じる可能性がある。
【０００５】
解剖学的アトラスは、多くの臨床的応用に対して有用である。例えば、放射線治療計画における解剖学的構造輪郭形成は、３次元モデルの形式の関連する解剖学的構造描写をアトラスから計画画像に自動的に転送することにより大幅に効率的及び再生可能にされることができる。しかしながら、従来の方法を使用する完全に自動的な解剖学的構造描写は、非線形の変形の必要性、弱い画像コントラスト、正常及び病気の解剖学的可変性、画像アーチファクト等のため、難しいことが証明されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
当技術分野において上に記された欠点を克服することを容易にするシステム及び方法に対する満たされていない要望が存在する。
【課題を解決するための手段】
【０００７】
一態様によると、医療画像セグメンテーションランドマークを補間するシステムは、基準ランドマークのセットを各々含む解剖学的構造の３次元基準画像体積を記憶するメモリと、患者画像体積のビュー及び基準画像体積のビューを提示するディスプレイと、前記基準画像体積の前記基準ランドマークのセット及び前記患者画像体積を重ねるプロセッサとを含む。前記システムは、ユーザが、前記重ねられたランドマークの１以上を前記患者画像上の対応する位置に再配置し、前記１以上の再配置されたランドマークを承認するのに使用するユーザ入力装置を更に含む。前記プロセッサは、前記１以上の承認されたランドマークの再配置の関数として前記基準画像体積と前記患者画像体積との間の補間変換を更新し、前記更新された補間変換によって１以上の未承認の重ねられたランドマークの位置を更新する。
【０００８】
他の態様によると、患者画像体積のセグメンテーションをインタラクティブに更新する方法は、前記基準画像体積上の基準ランドマークのセットを有する基準画像セグメンテーションを取り出すステップと、患者画像体積セグメンテーションにおける未承認ランドマークとして前記基準ランドマークのセットを前記患者画像体積上に転送するステップと、少なくとも１つの未承認ランドマークの再配置に関連した入力を受信するステップとを含む。前記方法は、承認ランドマークとして前記再配置されたランドマークのステータスを更新する入力を受信するステップと、前記承認ランドマークの位置の関数として残りの未承認ランドマークに対する位置更新情報（position updates）を補間するステップと、前記補間の関数として残りの未承認ランドマークの位置を更新するステップとを更に含む。
【０００９】
他の態様によると、インタラクティブ患者画像体積位置合わせ装置は、患者画像体積画像上に重ねられた基準画像体積セグメンテーションをユーザに提示する手段と、前記ユーザが前記患者画像体積上に重ねられた未承認ランドマークを選択し、前記選択された未承認ランドマークを再配置し、前記再配置された未承認ランドマークを承認することを可能にする手段とを含む。前記装置は、各承認されたランドマークの位置の関数として残りの未承認ランドマークに対する新しい位置をインタラクティブに補間し、前記残りの未承認ランドマークの位置を更新する手段を更に含む。前記手段は、更に、ユーザが前記患者画像体積セグメンテーションの適合に満足した場合に前記ユーザが全ての残りの未承認ランドマークを承認することを可能にする。
【００１０】
１つの利点は、画像位置合わせがオンザフライでインタラクティブに実行されることである。
【００１１】
他の利点は、位置合わせプロセスの増大した自動化にある。
【００１２】
このイノベーションの更に他の利点は、以下の詳細な説明を読み、理解すると当業者により理解される。
【００１３】
このイノベーションは、様々な構成要素、構成要素の組み合わせ、並びに様々なステップ及びステップの組み合わせの形を取りうる。図面は、様々な態様を説明する目的のみであり、本発明を限定すると解釈されるべきでない。
【図面の簡単な説明】
【００１４】
【図１】解剖学的構造のアトラスから選択された輪郭を３次元臨床画像に弾性的に位置合わせする手動編集ツールを示す。
【図２】基準画像に対する患者画像の粗い手動位置合わせのスクリーンショットを示す。
【図３】患者画像上に転送された事前に承認された基準ランドマークとともに、選択された基準画像にリンクされた前記患者画像を示すスクリーンショットを示す。
【図４】ユーザがランドマークを患者画像上の所望の位置に移動し、前記ランドマークの位置を承認した後のユーザ承認されたランドマークが示されるスクリーンショットを示す。
【図５】微細な幾何構成で基準画像及び患者画像の例を持つ他のスクリーンショットを示す。
【図６】変形可能な解剖学的アトラスを使用する漸進的画像セグメンテーションに対する方法を示す。
【図７】３次元画像表現を生成するために個別の又は共有される再構成プロセッサにより再構成された撮像データを生成するＣＴ又はＭＲＩ等のような複数の撮像装置を含む典型的な病院システムを示す。
【発明を実施するための形態】
【００１５】
図１は、解剖学的構造のアトラス２６から選択された輪郭を３次元臨床画像に弾性的に位置合わせする手動編集システム１０を示す。この編集ツールは、リアルタイムで動的表示面更新を提供する。前記編集システムは、新しいセグメンテーションを作成するのに使用されるユーザインタフェース１２を増強する補間方法を採用する。前記新しいセグメンテーションの手動更新の後に、修正された位置は、"受け入れ済み"とマークされる。依然として受け入れられていない前記新しいセグメンテーションの全ての部分は、この場合、記憶されたセグメンテーションから自動的に更新される。この更新は、前記記憶されたセグメンテーションと共通している前記新しいセグメンテーションの既に受け入れられた部分から計算された補間を使用して実行される。したがって、前記転送されたセグメンテーションの構造的インテグリティは維持される。加えて、前記記憶された及び新しい画像データの表示幾何構成は、より容易な視覚的相互参照する追加の補間を実行することにより位置合わせされることができる。
【００１６】
一実施例において、ユーザインタフェース１２は、変形可能な解剖学的アトラス２６を使用する漸進的画像セグメンテーションの機能を含む。アトラス適合は、漸進的に実行され、セグメンテーションにより少ないインタラクションを要求する解剖学的構造が、最初に処理される。セグメンテーションの結果は、残りの構造の位置をオンザフライで更新するのに使用される。このプロセスは、全てのセグメンテーションが前記ユーザにより確認されるまで繰り返される。
【００１７】
前記システムは、イメージャ１４に直接的に又は間接的に結合されたユーザインタフェース１２を含む。例えば、イメージャ１４は、コンピュータ断層撮影（ＣＴ）スキャンシステム若しくはその変形、磁気共鳴撮像（ＭＲＩ）システム若しくはその変形、又は患者の若しくは患者の一部の２次元若しくは３次元画像を生成する他の適切なイメージャであることができる。前記画像は、前記イメージャから直接的に又は医療記録データベースから来ることができる。
【００１８】
ユーザインタフェース１２は、プロセッサ１６を含み、プロセッサ１６は、メモリ１８に記憶され、患者の１以上の器官の３次元画像を操作する機械可読命令及び／又はルーチンを実行する。このような画像は、ディスプレイ２０を介してユーザに表示され、前記ユーザは、入力装置２２を使用して前記画像を操作することを可能にされる。メモリ１８は、様々な器官の３次元画像及び／又はマップを含むアトラス２６に関連した情報及び／又はルーチンを追加的に記憶し、これらは、患者の器官又は他の解剖学的構造の対応する画像２４が重ねられるテンプレートとして使用される。加えて、前記メモリは、ディスプレイ２０を介して前記ユーザに患者及びアトラス画像を表示することに関連した情報及び／又はルーチン、並びに入力装置２２を介したユーザ入力に応答してアトラス及び／又は患者画像を操作するルーチンを記憶する。更に、前記メモリは、前記患者の画像に関連した画像データ２４及びランドマーク対を記述するランドマークデータ２８等を記憶する。前記入力装置は、例えば、キーボード及びカーソル、スタイラス、マウス又は他の適切な入力装置であることができる。
【００１９】
アトラス２６は、個別の解剖学的構造（例えば、心臓、肺、脳、脾臓、肝臓、腸、胃、胆嚢等のような器官；骨、筋肉等のような他の構造）又はこれらの組み合わせのモデルを含むことができ、このような構造は、パラメータ化されることができる。更に、複数のモデルが、様々な解剖学的タイプ、例えば、大人、子供、肥満、痩せている、男性、女性等に対応するタイプに対して提供されることができる。例えば、パラメータ化は、メッシュ技術、非一様有理Ｂスプライン（ＮＵＲＢＳ）、又は他のパラメータ化プロトコルを使用して実行されることができる。システム１０は、ユーザに信頼できる直感的なインタラクティブ３次元編集アプリケーションを提供することを容易化する。
【００２０】
システム１０は、輪郭画像体積モデルの３次元操作を可能にし、これは、ユーザが、１つの面だけでなく、複数の面内の画像体積モデルの輪郭を操作することを可能にする。例えば、ユーザは、３次元で前記モデル輪郭を押す、引く又は他の形で調節する電子的に規定されたツールを持つ仮想ツールキット３０にアクセスする。例えば、前記仮想ツールは、単一の点を含む様々な半径、形状及びサイズの表面を規定し、前記輪郭を押して又は引いて前記輪郭の形状を成形することができる。前記ユーザは、表示面に沿って又は前記表示面に対してある角度で前記ツールを押す又は引くことができる。前記輪郭上の点が前記表示面の１以上から離れるように引っ張られる又は押されると、前記ツールは、前記ユーザが、前記輪郭部分が操作されている期間を通して診断画像体積上に重ねられた所望の画像体積輪郭部分を見ることができるように、前記表示面を自動的に変更する。
【００２１】
前記画像体積は、１つ又は複数の解剖学的構造、例えば隣接する器官を有することができる。例えば、ユーザは、輪郭基準モデルの輪郭上の特定の点を患者内の解剖学的構造の画像上の対応する点まで引っ張ることができる。一例において、特異点は、椎骨上の棘突起であることができ、前記ユーザは、前記モデルを実際の画像的により近く位置合わせするように、前記基準モデル上の対応する突起を前記患者の椎骨上の棘突起まで引っ張ることができる。拘束された点又はメッシュの間で、前記モデルは、弾性的に変形する。１以上の解剖学的構造を有することができる基準モデルは、前記構造のスキャン又は他の画像のような患者データから生成される。一実施例において、１以上の対象のいくつかのスキャン又は画像が、前記構造の１以上の平均又は"標準"モデルを生成するのに使用される。
【００２２】
表示されるスライス又は面は、平面である必要はなく、湾曲していてもよい。例えば、輪郭面は、脊柱の湾曲とマッチするように湾曲されることができる。一実施例において、解剖学的構造の外形は、前記アトラスに個別に記憶され、関心領域を形成するように前記ユーザにより結合又はアセンブルされることができる。他の実施例において、共通して撮像された領域内の解剖学的構造に対する外形は、プリアセンブルされることができ、これにより、プリアセンブルされた領域における全ての器官に対する外形は、グループとしてダウンロード、アップロード又は他の形でアクセスされることができる。
【００２３】
一実施例において、前記セグメンテーション（例えば、前記モデル）のフィーチャの間の関係は、表示されるフィーチャの形態学的インテグリティを保存するように維持される。前記ユーザは、システム１０を使用して、前記基準モデル又はセグメンテーションにおける１以上の点又はフィーチャを前記患者画像体積に対応するそれぞれの所望の場所に押す又は引くことにより粗い手動モデル適合を実行する。前記患者画像に対してインタラクティブに適合され、新しい患者セグメンテーションの部分として前記ユーザにより承認された前記基準モデルの部分は、ディスプレイ上の前記基準セグメンテーションの全ての他の（例えば、まだ承認されていない又は受け入れられていない）フィーチャを補間するのに使用される。承認されたフィーチャ及び補間されたフィーチャは、それぞれの状態を示すように明確に異なる形で（例えば異なる色等により）表示される。前記基準セグメンテーションにリンクされた画像データが存在する場合、前記基準画像データ及び前記新しい患者画像データの表示は、第２のサポート手段として、補間によりリンクされることもできる。
【００２４】
他の実施例によると、ランドマークセグメンテーション（体積画像データ内の解剖学的に意味のある点）は、選択された点又はフィーチャのユーザ承認を容易化するのに使用される。しかしながら、記載されたシステム及び方法が、表面メッシュ、体積パッチ、スキャン計画に対する境界ボックス、及びビーム計画に対する境界円錐等のような他のセグメンテーション対象に対しても応用可能であることは理解されるべきである。すなわち、前記新しい（及び基準）画像データは、３次元体積データに限定される必要はない。
【００２５】
加えて、プロセッサ１６は、前記患者画像体積において表現される異なるタイプの組織に対して異なる補間技術を使用することができる。例えば、骨組織に対応する受け入れられていないランドマークの位置を補間する場合、主成分変換（principle component transform）が有利に使用されることができる。剛体変換は、脳組織に対応する受け入れられていないランドマークに対する位置更新情報を補間する場合に有利に使用されることができる。加えて又は代わりに、弾性変換は、柔らかい組織に対応する受け入れられていないランドマークに対する位置更新情報を補間する場合に使用されることができる。
【００２６】
図２は、基準画像５４に対する患者画像５２の粗い手動位置合わせのスクリーンショット５０を示す。例えば、基準セグメンテーション（例えば、点、面メッシュ等のリスト）及び基準画像（例えば、前記点又はメッシュがある空間）を仮定して、インタラクティブセグメンテーションの対象である前記新しい患者画像は、アプリケーションにロードされ、前記基準画像に対して粗く手動で位置合わせされる。前記患者画像及び前記基準画像が大幅に異なるサイズ等を持つ場合、新しいより同様な基準画像が、アトラス２６から手動で選択されることができる。前記ユーザは、両方の画像をリンクすることを選択し、これは、前記基準画像と、最初は解剖学的に意味がある必要はないが、粗い近似である前記新しい患者画像との間の変換を確立する。前記変換を確立するために、回転、スケーリング、及び並進移動（ＲＳＴ）変換、アフィン変換、並びに薄板スプライン等を用いる様々な位置合わせが使用される。基準画像５４は、右上のビューポートにおける前記基準セグメンテーションとともに表示される。一実施例において、前記基準セグメンテーションは、事前に指定された基準ランドマーク５６を示す緑のドット又は点で表示される。インタラクティブセグメンテーションの対象である前記新しい患者画像は、左上のビューポートに示され、前記基準画像と粗く手動で位置合わせされ、前記基準画像とリンクされるように選択される。左下の２つのビューポートは、上のビューポートのサムネイルプレビュー５８である。
【００２７】
図３は、患者画像５２上に転送された（例えば、重ねられた）事前に承認された基準ランドマークとともに、選択された基準画像５４にリンクされた患者画像５２を示すスクリーンショット７０を示す。前記変換によって、前記基準セグメンテーション（例えば、ランドマーク及び／又はメッシュ）は、前記新しい画像データにより占められる空間にコピーされる。事前に指定された基準ランドマーク５６に対応する未承認患者ランドマーク７２は、患者画像５２上に示される。最初は、位置合わせ対象（患者ランドマーク７２）は、承認済みとしてマークされていない。基準画像５４上の事前に承認された基準ランドマーク５６に対応する未承認患者ランドマーク７２は、患者画像５２上に示される。前記基準セグメンテーション画像は、したがって、前記患者画像内に伝えられる。一実施例において、インポートされたランドマークは、事前に承認された基準ランドマーク５６の剛体コピーであり、前記患者画像セグメンテーションにおける未承認患者ランドマーク７２の多く又は全ては、所望の解剖学的に意味のある位置に配置されることができるか、又は所望の解剖学的に意味のある位置に配置されることができない可能性が高い。
【００２８】
図４は、ユーザが前記ランドマークを患者画像５２上の所望の位置に移動し（例えば、引っ張り）、前記ランドマークの位置を承認（例えば承認することを確認）した後のユーザ承認済みランドマーク９２が示されるスクリーンショット９０を示す。ランドマーク７２（例えば、セグメンテーションオブジェクト）を患者画像データ空間内の解剖学的に意味のある位置までインタラクティブに引っ張る又は押すことにより、前記ユーザは、前記適合されたランドマークを承認されたと規定し、これらが他の未承認ランドマーク７２の補間を計算するのに使用されることを受け入れる（例えば、ユーザ承認ランドマーク９２を生成する）。セグメンテーション補間が、前記ユーザインタフェースを通して"アクティブ"に切り換えられる場合、患者画像５２データ内の未承認ランドマーク７２の位置は、前記新しい患者セグメンテーション及び前記基準セグメンテーションからの承認されたランドマークの対応する対の位置の差又は移動に基づいて、事前に選択された位置合わせアルゴリズム（例えば、薄板スプライン等）により更新される。
【００２９】
一実施例において、未承認ランドマーク７２は、第１の色（例えば赤）で表示されるのに対し、手動で移動され、受け入れられたランドマーク９２は、第２の色（例えば緑）で表示される。前記新しいセグメンテーション（左）の前記ランドマークの一部は、手動で適合されている。まだ手動で適合されていない未承認患者ランドマーク７２の薄板スプラインによる補間が、作動されることができ、これは、前記更新された補間変換に基づいて前記受け入れられていないランドマークを移動し、これは、通常は前記受け入れられていないランドマークを前記基準画像に対する前記患者画像内のそれぞれの所望の解剖学的位置の近くに移動する。したがって、容易に再配置されるランドマークを操作し、受け入れることにより、より複雑な未承認ランドマーク位置は、ユーザが全ての所望のランドマークを正確に位置合わせすることにより費やされる時間を減少するように補間されることができる。各方向において面から最も離れているランドマークを再配置することは、より近いランドマークを位置合わせすることができる。
【００３０】
一実施例において、１以上のランドマーク７２は、所定のシーケンスの操作及び承認に対するユーザに推薦されることができ、例えば、前記推薦されたランドマークが非推薦ランドマークの承認より大きな影響を全体的なランドマーク承認複雑さの減少に与えることを前記ユーザに示すように前記患者画像において前記推薦されるランドマークを拡大することにより推薦されることができる。この例において、システム１０（図１）は、前記ランドマークの配置が他の未承認ランドマークの高レベルの再配置を生じるかどうかに部分的に基づいてランドマーク７２を前記ユーザに推薦する。すなわち、（例えば補間後に）所望の位置に近づける他のランドマークの比較的大きな量の移動を引き起こすランドマークは、他のランドマークのより小さな移動を引き起こすランドマークよりも推薦される。
【００３１】
図５は、微細な幾何構成で患者画像５２及び基準画像５４の例を持つ他のスクリーンショット１１０を示す。前記基準画像の表示幾何構成が変更され、画像補間がオンにされる場合、前記患者画像の表示幾何構成は、同じ対の点に基づく位置合わせにより適宜に更新される。基準画像５４の表示幾何構成は、特定の領域（例えば、頭部）における詳細な観察を可能にするように変更される。患者画像５２の表示幾何構成は、前記基準セグメンテーションの対応する部分に対する前記患者セグメンテーションの既に受け入れられた部分の位置合わせに基づいて自動的に位置合わせされ、これは、前記基準画像と前記患者画像データとの間の相互参照を容易化する。このようにして、いくつかのユーザインタラクションは、漸進的アトラス適合に対するユーザインタフェースを構築することにより最小化されることができる。
【００３２】
図６は、変形可能な解剖学的アトラスを使用する漸進的画像セグメンテーションに対する方法を示す。一実施例において、前記変形可能なアトラスは、患者画像内の粗い初期位置に運ばれ、前記アトラスからの選択された構造は、前記画像に対して自動的に、半自動的に又は手動で適合される。残りの構造又はランドマークの初期化は、前記適合された（例えば、受け入れられた）構造又はランドマークの新しい更新された位置を使用してオンザフライで更新される。ランドマーク受け入れ及びオンザフライ更新のステップは、全ての構造のセグメンテーションが前記ユーザにより確認されるまで繰り返される。
【００３３】
他の実施例によると、前記解剖学的構造の変形可能なアトラスは、最初に、１２８において、３次元患者画像内の解剖学的構造に重なる初期位置まで（自動的に又は手動でのいずれかで）運ばれる。前記アトラスは、例えば、三角形メッシュ等により表される１以上の３次元器官（又は他の構造）モデルを含むことができる。前記初期位置において、前記アトラスの全ての構造は、最初は、例えば特定の色、線の太さ等を使用することにより"未確認"としてマークされる。最初のアトラスから画像へのマッピングは、１３０において、例えば、前記画像内の特定の解剖学的ランドマークを手動で配置し、前記モデル内の対応するランドマークを再配置する等により、確立されることができる。
【００３４】
１３２において、体積変形は、例えば、再配置された及び受け入れられたランドマーク対（例えば、それぞれ前記患者画像及び前記選択された基準モデル上の対応するランドマーク）の初期位置と受け入れられた位置との間の３次元距離を決定することにより計算される。前記計算された体積変形は、１３３において、選択された補間変換、例えば半径バイアス関数、弾性体スプライン等を洗練するのに使用される。前記洗練された変換は、１３４において、前記基準モデルに適用され、前記基準モデル及び前記未承認ランドマークを再配置する。１３６において、未承認ランドマーク（例えば、前記基準モデル内の点又は構造）が、選択される。前記未承認ランドマークは、ランドマークの階層的リストから選択されることができるか、又はユーザ選択されることができる。
【００３５】
１３８において、最小のユーザインタラクションで自動的にセグメント化されることができる前記選択された構造（例えばＣＴベースの頭部及び首アトラス内の頭蓋骨、骨及び肺等）のモデルは、例えば、モデルベースのセグメンテーション技術を使用して適合される。適切なモデルベースのセグメンテーション技術の例は、例えば、"Shape Constrained Deformable Models for 3D Medical Image Segmentation,"(J. Weese, M. Kaus et al.; IPMI 2001: 380-387)に記載されている。目視検査及びオプションのローカル補正の後に、これらの構造は、"確認済み"又は"承認済み"としてマークされる。適合の後に、前記適合されたモデルから得られた１以上の点は、１４０において、他のランドマークとして使用され、ランドマークの初期セットに追加されることができる。このようにして、正確なアトラスから画像へのマッピングが、得られ、依然として未確認の構造の再初期化に使用されることができる。
【００３６】
前記モデルランドマーク又は構造が処理される順序は、生体構造及び画像モダリティに関する予備知識を使用して、又は画像勾配を持つモデルの表面法線の位置合わせのような特定の定量的測定を使用してモデル初期化の精度を評価することにより確立されることができる。前記アトラス内の前記モデルの１以上は、補足情報のみを提供するのに使用されることができ、自動的に適合されることができる場合には明示的に表示される必要はない。前記漸進的アトラス適合は、前記アトラス内の全ての構造に対するセグメンテーション結果が前記ユーザにより受け入れられるまでセグメンテーションの複雑さの漸増とともに実行される。すなわち、より単純なセグメンテーションが最初に実行される。加えて、このアプローチは、マルチモダリティ画像セグメンテーションに拡張されることができ、特定のモダリティ（例えば磁気共鳴）においてセグメンテーションされたアトラス構造は、他のモダリティ（例えばコンピュータ断層撮影）の二次画像における残りの構造のモデル初期化及び残りの構造のセグメンテーションをサポートし、逆もまた同様である。
【００３７】
したがって、前記方法によると、体積変形は、インタポレータ（例えば、弾性体スプライン、薄板スプライン又は他の適切なインタポレータ）を使用することによりランドマークのセットから計算される。前記ランドマークのセットは、（例えば、モデルベースのセグメンテーションを使用して）構造又はランドマークを反復的に適合し、追加のランドマークを選択し、変形を再計算し、これを前記基準モデルに適用することにより次第に増加される。構造及び／又はランドマークは、前記ユーザによりインタラクティブに又は所定の階層的モデル若しくはリストから選択されることができる。加えて、所定の構造は、前記ユーザに見える必要はない。
【００３８】
一例によると、腫れた脾臓を持つ患者が撮像されることができ、腹部基準モデルが、（例えば自動的に又は手動で）選択され、前記患者画像モデルに重ねられることができる。ユーザは、前記基準モデル上のランドマークを前記患者画像上の対応するランドマークに位置合わせし、これにより前記モデル内の脾臓構造を拡大する。前記モデル内の近くの器官又は構造は、この場合、前記拡大された脾臓を収容するように自動的に（補間を使用して）調節される。このようにして、前記ユーザは、前記モデルを前記患者画像体積に位置合わせする場合に前記モデル内の解剖学的構造ごとにモデルランドマークを調節する必要はない。
【００３９】
図７を参照すると、典型的な病院システムは、３次元画像表現を生成するために個別の又は共有される再構成プロセッサ１５２により再構成される撮像データを生成するＣＴ又はＭＲＩ等のような複数の撮像装置１５０を含むことができる。前記画像表現は、ネットワーク１５４上で中央メモリ１５６に通信される。
【００４０】
前記ネットワークと接続されたステーション１６０において、オペレータは、選択された３次元患者画像表現を前記中央メモリからローカルメモリ１６４に移動するのに入力装置１６２を使用する。前記選択された３次元患者画像表現に対応する事前に生成された基準モデルセグメンテーション（例えば、ランドマークの集積）は、自動又は手動のいずれかで前記選択された患者画像体積を近似的にマッチするように選択され、前記中央メモリ内の又はステーション１６０におけるアトラス１７２から前記ローカルメモリにインポートされる。ビデオプロセッサ１６６は、前記基準モデルセグメンテーションを前記患者画像表現上に重ね、前記基準モデル及び前記患者画像表現を重ねられたランドマークとともにモニタ１７０上に表示する。前記オペレータは、入力装置１６２により、表示されるべき前記患者画像表現における"承認"されるべき前記ランドマークを選択する。
【００４１】
前記基準モデルセグメンテーションを前記患者画像内の前記解剖学的構造の１以上の形状に適合させるために、前記オペレータは、ランドマークの位置を選択及び操作するのに前記入力装置を使用する。一度前記オペレータが前記ランドマークを前記患者画像体積上の所望の場所に配置すると、前記オペレータは、前記ランドマークを"承認"し、これは、前記補間変換の更新、及び前記更新された変換を使用しての前記患者画像上の他のまだ承認されていないランドマークの更新位置の補間を始動する。ランドマークのユーザ承認及び他のプロセスは、前記ユーザが、前記基準モデルセグメンテーションが前記患者画像体積に十分に適合するまで反復的に繰り返される。前記ユーザは、この場合、承認済みランドマークと位置が前記ユーザに配置された承認済みランドマークに基づいて補間される未承認ランドマークとを含む、前記患者画像体積上の全体的なモデルセグメンテーションの承認を示すことができる。オプションとして、異なる撮像モダリティで生成された同じ患者の同じ領域の他の画像は、前記中央メモリから取り出され、前記補間変換を更に洗練するのに使用されることができる。
【００４２】
前記ユーザ承認済みモデルは、中央メモリ１５６若しくはローカルメモリ１６４に記憶されるか、又は他のプロセスにおいて直接的に使用されることができる。例えば、治療計画（例えば、放射線、アブレーション等）ステーション１８０は、治療セッションを計画するのに前記承認済み患者モデルを使用することができる。一度前記オペレータの満足がいくまで計画されると、前記計画された治療は、前記計画されたセッションを実施する治療装置１８２に転送される。他のステーションは、様々な他の計画プロセスにおいて前記成形された輪郭を使用することができる。
【００４３】
このイノベーションは、複数の実施例を参照して記載されている。修正例及び変更例は、先行する詳細な説明を読み、理解すると他者が思い当たりうる。このイノベーションが、添付の請求項又は同等物の範囲内に入る限り全てのこのような修正例及び変更例を含むと解釈されることが意図される。
【特許請求の範囲】
【請求項１】
医療画像セグメンテーションランドマークの補間に対するシステムにおいて、前記システムが、
解剖学的構造の３次元基準画像体積であって、基準ランドマークのセットを各々含む前記基準画像体積を記憶するメモリと、
患者画像体積のビュー及び基準画像体積のビューを提示するディスプレイと、
前記基準画像体積の前記基準ランドマークのセット及び前記患者画像体積を重ねるプロセッサと、
ユーザが前記重ねられたランドマークの１以上を前記患者画像上の対応する位置に再配置し、前記１以上の再配置されたランドマークを承認するのに使用するユーザ入力装置と、
を含み、前記プロセッサが、前記１以上の承認されたランドマークの再配置の関数として前記基準画像体積と前記患者画像体積との間の補間変換を更新し、前記更新された補間変換によって１以上の未承認の重ねられたランドマークの位置を更新する、システム。
【請求項２】
骨組織がセグメント化され、前記補間変換が主成分分析変換を含む、請求項１に記載のシステム。
【請求項３】
脳組織がセグメント化され、前記補間変換が剛体変換を含む、請求項１に記載のシステム。
【請求項４】
柔らかい組織がセグメント化され、前記補間変換が弾性変換を含む、請求項１に記載のシステム。
【請求項５】
各３次元基準画像体積が、複数の患者画像体積表現からの解剖学的構造データを使用して構築される、請求項１に記載のシステム。
【請求項６】
前記プロセッサが、前記ユーザによる再配置及び承認に対して未承認ランドマークを推薦する、請求項１に記載のシステム。
【請求項７】
前記プロセッサが、前記未承認ランドマークを推薦し、一度前記推薦されたランドマークが承認されると、前記推薦されたランドマークが他の未承認ランドマークに対する更新位置の補間に対して持つ効果の大きさに少なくとも部分的に基づいて推薦する、請求項６に記載のシステム。
【請求項８】
前記プロセッサが、未承認ランドマークが承認済みランドマークになる場合にはいつでも、全ての残りの未承認ランドマークの位置を更新する、請求項１に記載のシステム。
【請求項９】
前記基準画像体積が、アトラスに記憶され、前記アトラスから選択される、請求項１に記載のシステム。
【請求項１０】
前記プロセッサが、
前記基準ランドマークのセット及び前記基準画像体積を取り出し、
未承認ランドマークとして前記基準ランドマークのセットを前記患者画像体積上に置き換え、
少なくとも１つの未承認ランドマークの再配置に関連した入力を受け取り、
前記再配置されたランドマークのステータスを承認済みランドマークとして更新する入力を受け取り、
前記承認済みランドマークの位置の変化の関数として前記補間変換を調節し、
前記補間変換の関数として残りの未承認ランドマークの位置を更新する、
請求項１に記載のシステム。
【請求項１１】
請求項１に記載のシステムを用いて前記患者画像体積のセグメンテーションをインタラクティブに更新する方法において、
前記基準ランドマークのセット及び前記基準画像体積を取り出すステップと、
未承認ランドマークとして前記基準ランドマークのセットを前記患者画像体積上に転送するステップと、
少なくとも１つの未承認ランドマークの再配置に関連した入力を受け取るステップと、
前記再配置されたランドマークのステータスを承認済みランドマークとして更新する入力を受け取るステップと、
前記承認済みランドマークの位置の変化の関数として前記補間変換を調節するステップと、
前記補間変換の関数として残りの未承認ランドマークの位置を更新するステップと、
を含む方法。
【請求項１２】
患者画像体積のセグメンテーションをインタラクティブに更新する方法において、
基準画像体積上の基準ランドマークのセットを有する基準画像セグメンテーションを取り出すステップと、
患者画像体積セグメンテーション内の未承認ランドマークとして前記基準ランドマークのセットを前記患者画像体積上に転送するステップと、
少なくとも１つの未承認ランドマークの再配置に関連した入力を受け取るステップと、
前記再配置されたランドマークのステータスを承認済みランドマークとして更新する入力を受け取るステップと、
前記承認済みランドマークの位置の関数として残りの未承認ランドマークに対する位置更新情報を補間するステップと、
前記補間の関数として前記残りの未承認ランドマークの位置を更新するステップと、
を有する方法。
【請求項１３】
前記患者画像体積内の骨組織に対応する未承認ランドマークに対して主成分分析変換を使用して位置更新情報を補間するステップを更に含む、請求項１２に記載の方法。
【請求項１４】
前記患者画像体積内の脳組織に対応する未承認ランドマークに対して剛体変換を使用して位置更新情報を補間するステップを更に含む、請求項１２に記載の方法。
【請求項１５】
前記患者画像体積内の柔らかい組織に対応する未承認ランドマークに対して弾性変換を使用して位置更新情報を補間するステップを更に含む、請求項１２に記載の方法。
【請求項１６】
ユーザによる再配置及び承認に対して未承認ランドマークを推薦するステップを更に含む、請求項１２に記載の方法。
【請求項１７】
一度前記推薦されたランドマークが承認されると前記推薦されたランドマークが他の未承認ランドマークに対する更新位置の補間に対して持つ効果の大きさに少なくとも部分的に基づいて前記未承認ランドマークを推薦するステップを更に含む、請求項１６に記載の方法。
【請求項１８】
所定数の承認済みランドマークが達成されるまで反復的に実行される、請求項１２に記載の方法。
【請求項１９】
一度前記所定数の承認済みランドマークが達成されると、全ての残りの未承認ランドマークの受け入れを示す入力を受け取るステップを更に含む、請求項１８に記載の方法。
【請求項２０】
前記更新された患者画像体積セグメンテーションを使用して治療計画を生成するステップを更に含む、請求項１８に記載の方法。
【請求項２１】
アトラスが、複数の異なる解剖学的構造の基準画像体積、１以上の解剖学的構造の異なるサイズの基準画像体積、及び／又は解剖学的構造の１以上の異なる組み合わせの基準画像体積を含む、請求項１２に記載の方法。
【請求項２２】
請求項１２に記載の方法を実行するようにプログラムされたプロセッサ又はコンピュータ可読媒体。
【請求項２３】
前記基準画像体積が、基準画像体積のアトラスから取り出される、請求項１２に記載の方法。
【請求項２４】
インタラクティブ患者画像体積位置合わせ装置において、前記装置が、
患者画像体積上に重ねられた基準画像体積セグメンテーションをユーザに提示する手段と、
前記ユーザが前記患者画像体積上に重ねられた未承認ランドマークを選択し、前記選択された未承認ランドマークを再配置し、前記再配置された未承認ランドマークを承認することを可能にする手段と、
各承認済みランドマークの位置の関数として残りの未承認ランドマークに対する新しい位置を反復的に補間し、前記残りの未承認ランドマークの位置を更新する手段と、
を有し、
前記可能にする手段が、ユーザが前記患者画像体積セグメンテーションの適合に満足した場合に前記ユーザが全ての残りの未承認ランドマークを承認することを可能にする、
装置。
【請求項２５】
前記基準画像体積セグメンテーションが、前記基準画像体積セグメンテーションのアトラスから選択される、請求項２３に記載の装置。
【請求項１】
医療画像セグメンテーションランドマークの補間に対するシステムにおいて、前記システムが、
解剖学的構造の３次元基準画像体積であって、基準ランドマークのセットを各々含む前記基準画像体積を記憶するメモリと、
患者画像体積のビュー及び基準画像体積のビューを提示するディスプレイと、
前記基準画像体積の前記基準ランドマークのセット及び前記患者画像体積を重ねるプロセッサと、
ユーザが前記重ねられたランドマークの１以上を前記患者画像上の対応する位置に再配置し、前記１以上の再配置されたランドマークを承認するのに使用するユーザ入力装置と、
を含み、前記プロセッサが、前記１以上の承認されたランドマークの再配置の関数として前記基準画像体積と前記患者画像体積との間の補間変換を更新し、前記更新された補間変換によって１以上の未承認の重ねられたランドマークの位置を更新する、システム。
【請求項２】
骨組織がセグメント化され、前記補間変換が主成分分析変換を含む、請求項１に記載のシステム。
【請求項３】
脳組織がセグメント化され、前記補間変換が剛体変換を含む、請求項１に記載のシステム。
【請求項４】
柔らかい組織がセグメント化され、前記補間変換が弾性変換を含む、請求項１に記載のシステム。
【請求項５】
各３次元基準画像体積が、複数の患者画像体積表現からの解剖学的構造データを使用して構築される、請求項１に記載のシステム。
【請求項６】
前記プロセッサが、前記ユーザによる再配置及び承認に対して未承認ランドマークを推薦する、請求項１に記載のシステム。
【請求項７】
前記プロセッサが、前記未承認ランドマークを推薦し、一度前記推薦されたランドマークが承認されると、前記推薦されたランドマークが他の未承認ランドマークに対する更新位置の補間に対して持つ効果の大きさに少なくとも部分的に基づいて推薦する、請求項６に記載のシステム。
【請求項８】
前記プロセッサが、未承認ランドマークが承認済みランドマークになる場合にはいつでも、全ての残りの未承認ランドマークの位置を更新する、請求項１に記載のシステム。
【請求項９】
前記基準画像体積が、アトラスに記憶され、前記アトラスから選択される、請求項１に記載のシステム。
【請求項１０】
前記プロセッサが、
前記基準ランドマークのセット及び前記基準画像体積を取り出し、
未承認ランドマークとして前記基準ランドマークのセットを前記患者画像体積上に置き換え、
少なくとも１つの未承認ランドマークの再配置に関連した入力を受け取り、
前記再配置されたランドマークのステータスを承認済みランドマークとして更新する入力を受け取り、
前記承認済みランドマークの位置の変化の関数として前記補間変換を調節し、
前記補間変換の関数として残りの未承認ランドマークの位置を更新する、
請求項１に記載のシステム。
【請求項１１】
請求項１に記載のシステムを用いて前記患者画像体積のセグメンテーションをインタラクティブに更新する方法において、
前記基準ランドマークのセット及び前記基準画像体積を取り出すステップと、
未承認ランドマークとして前記基準ランドマークのセットを前記患者画像体積上に転送するステップと、
少なくとも１つの未承認ランドマークの再配置に関連した入力を受け取るステップと、
前記再配置されたランドマークのステータスを承認済みランドマークとして更新する入力を受け取るステップと、
前記承認済みランドマークの位置の変化の関数として前記補間変換を調節するステップと、
前記補間変換の関数として残りの未承認ランドマークの位置を更新するステップと、
を含む方法。
【請求項１２】
患者画像体積のセグメンテーションをインタラクティブに更新する方法において、
基準画像体積上の基準ランドマークのセットを有する基準画像セグメンテーションを取り出すステップと、
患者画像体積セグメンテーション内の未承認ランドマークとして前記基準ランドマークのセットを前記患者画像体積上に転送するステップと、
少なくとも１つの未承認ランドマークの再配置に関連した入力を受け取るステップと、
前記再配置されたランドマークのステータスを承認済みランドマークとして更新する入力を受け取るステップと、
前記承認済みランドマークの位置の関数として残りの未承認ランドマークに対する位置更新情報を補間するステップと、
前記補間の関数として前記残りの未承認ランドマークの位置を更新するステップと、
を有する方法。
【請求項１３】
前記患者画像体積内の骨組織に対応する未承認ランドマークに対して主成分分析変換を使用して位置更新情報を補間するステップを更に含む、請求項１２に記載の方法。
【請求項１４】
前記患者画像体積内の脳組織に対応する未承認ランドマークに対して剛体変換を使用して位置更新情報を補間するステップを更に含む、請求項１２に記載の方法。
【請求項１５】
前記患者画像体積内の柔らかい組織に対応する未承認ランドマークに対して弾性変換を使用して位置更新情報を補間するステップを更に含む、請求項１２に記載の方法。
【請求項１６】
ユーザによる再配置及び承認に対して未承認ランドマークを推薦するステップを更に含む、請求項１２に記載の方法。
【請求項１７】
一度前記推薦されたランドマークが承認されると前記推薦されたランドマークが他の未承認ランドマークに対する更新位置の補間に対して持つ効果の大きさに少なくとも部分的に基づいて前記未承認ランドマークを推薦するステップを更に含む、請求項１６に記載の方法。
【請求項１８】
所定数の承認済みランドマークが達成されるまで反復的に実行される、請求項１２に記載の方法。
【請求項１９】
一度前記所定数の承認済みランドマークが達成されると、全ての残りの未承認ランドマークの受け入れを示す入力を受け取るステップを更に含む、請求項１８に記載の方法。
【請求項２０】
前記更新された患者画像体積セグメンテーションを使用して治療計画を生成するステップを更に含む、請求項１８に記載の方法。
【請求項２１】
アトラスが、複数の異なる解剖学的構造の基準画像体積、１以上の解剖学的構造の異なるサイズの基準画像体積、及び／又は解剖学的構造の１以上の異なる組み合わせの基準画像体積を含む、請求項１２に記載の方法。
【請求項２２】
請求項１２に記載の方法を実行するようにプログラムされたプロセッサ又はコンピュータ可読媒体。
【請求項２３】
前記基準画像体積が、基準画像体積のアトラスから取り出される、請求項１２に記載の方法。
【請求項２４】
インタラクティブ患者画像体積位置合わせ装置において、前記装置が、
患者画像体積上に重ねられた基準画像体積セグメンテーションをユーザに提示する手段と、
前記ユーザが前記患者画像体積上に重ねられた未承認ランドマークを選択し、前記選択された未承認ランドマークを再配置し、前記再配置された未承認ランドマークを承認することを可能にする手段と、
各承認済みランドマークの位置の関数として残りの未承認ランドマークに対する新しい位置を反復的に補間し、前記残りの未承認ランドマークの位置を更新する手段と、
を有し、
前記可能にする手段が、ユーザが前記患者画像体積セグメンテーションの適合に満足した場合に前記ユーザが全ての残りの未承認ランドマークを承認することを可能にする、
装置。
【請求項２５】
前記基準画像体積セグメンテーションが、前記基準画像体積セグメンテーションのアトラスから選択される、請求項２３に記載の装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公表番号】特表２０１１−５１０４１５（Ｐ２０１１−５１０４１５Ａ）
【公表日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願番号】特願２０１０−５４３５９０（Ｐ２０１０−５４３５９０）
【出願日】平成２１年１月７日（２００９．１．７）
【国際出願番号】ＰＣＴ／ＩＢ２００９／０５００４２
【国際公開番号】ＷＯ２００９／０９３１４６
【国際公開日】平成２１年７月３０日（２００９．７．３０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２３年３月３１日（２０１１．３．３１）
【国際特許分類】
【出願日】平成２１年１月７日（２００９．１．７）
【国際出願番号】ＰＣＴ／ＩＢ２００９／０５００４２
【国際公開番号】ＷＯ２００９／０９３１４６
【国際公開日】平成２１年７月３０日（２００９．７．３０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]