向上した視覚化、ナビゲーション及び検査
【課題】仮想オブジェクトの仮想的なナビゲーション及び検査を、検査すべき表面全体の適切な観察を確実に行う方法を提供する。
【解決手段】ユーザインタフェースは、検査が課されなかった領域を識別するとともに、3次元のこれら領域への道筋をユーザに案内する機構2250を提供する。仮想的な検査は、径、距離及び角度のような量的な測定を向上するために測定ディスク905を使用することによって更に向上する。オブジェクトの仮想的な検査を更に向上させるために、電子的なセグメンテーション又は洗浄を行う方法があり、これによって、オブジェクトに発生する部分的なボリュームの影響を補正する。
【解決手段】ユーザインタフェースは、検査が課されなかった領域を識別するとともに、3次元のこれら領域への道筋をユーザに案内する機構2250を提供する。仮想的な検査は、径、距離及び角度のような量的な測定を向上するために測定ディスク905を使用することによって更に向上する。オブジェクトの仮想的な検査を更に向上させるために、電子的なセグメンテーション又は洗浄を行う方法があり、これによって、オブジェクトに発生する部分的なボリュームの影響を補正する。
【発明の詳細な説明】
【技術分野】
【0001】
この出願の課題は、国立保健研究所の契約番号CA79180及び海軍調査研究所の米国オフィスの譲渡番号N000149710402によって一部資金が提供されている。これらの譲与から、米国政府は、本発明について所定の権利を有する。
【0002】
本発明は、一般に、コンピュータに基づく3次元視覚化に関し、更に詳しくは、ナビゲーション及び電子洗浄中に見失った領域の識別を含む仮想ナビゲーション及び検査の向上した方法に関する。
【背景技術】
【0003】
オブジェクトの仮想的な表示を調べる3次元イメージング技術の使用が知られている。例えば、医療画像データは、結腸のような器官の仮想的な3次元表示に変換して、領域の綿密な検査を許容する。通常の光学的な結腸検査の場合、利用できる視野は、一般に、結腸を通じたナビゲーションの方向に沿ってのみ検出される。図1に示すように、結腸の管腔の折り曲げられた性質のために、光学的な結腸検査中に結腸の大部分が見えなくなるおそれがある。当然、観察者は、ナビゲーション方向を変更することができ、可視的なカメラを任意の方向に向けることができる。このような柔軟性によって放射線技師又は他の観察者は結腸の表面全体を調べることができる間、特定の領域を調べたか否かを観察者が知るのが困難又は不可能となることがしばしばある。したがって、向上したナビゲーションの補助が所望される。
【0004】
仮想的なオブジェクトの観察に使用されるのに加えて、関心のある領域における距離及びボリューム測定のような定量化できる分析を行うために仮想的な3次元環境を用いることもできる。現在のシステムにおいて、そのような測定は、一般に、ボリューム測定に対して手動による領域の輪郭描写を伴う。さらに、3次元光線表面交差が、距離、径及び角度測定を行うのに用いられている。そのような技術は、時間を浪費し又は演算的に不経済なものとなる。したがって、仮想的な環境において量的な測定を向上することが所望されている。
【0005】
仮想的な検査中に出くわす他の問題は、検査に課されるオブジェクトから無関係の構成要素を取り除くことである。例えば、仮想的な結腸検査の場合、結腸から便及び流動体を取り除いて、結腸壁の表面を露出する必要がある。結腸洗浄を行う従来のプレイメージングプロトコルは、不愉快なものであり、そのような検査を行う患者の妨げとなる。電子的な洗浄技術が知られているが、そのような技術は、二つ以上の構成要素のタイプの交差の領域におけるような構成要素の適切な除去に困難を伴う。したがって、仮想的なオブジェクトの向上した電子的な洗浄は、そのような仮想的な検査アプリケーションにおいて有益である。
【発明の開示】
【0006】
発明の要約
本発明によれば、オブジェクトの仮想的な検査を向上する方法は、仮想的な検査を全体に亘って確実に行う。この方法は、画像データセットのボクセルを、描写された画像の一部としてこれらボクセルがユーザディスプレイに表示される際に観察されたものとしてマークされる。観察されたボクセルをマークすることによって、最初の検査の完了の際にマークされていないボクセルを識別することができる。一旦、観察されなかった領域が識別されると、予め設定されたしきい値より大きいサイズを有する識別されたボクセルの全ての領域を識別するユーザディスプレイが提供される。
【0007】
好適には、ユーザディスプレイを、3次元の閉ざされたオブジェクトの2次元平面投影とする。例えば、結腸の管腔を、結腸の内面全体を露出するために2次元平面に「解明する」ことができる。2次元平面投影は、図形的なユーザインタフェースの表示を行うことができ、これによって、ユーザは、観察されなかったボクセルの領域を選択して、選択された領域の3次元の閉じられたオブジェクトの表示を、検査のために行う。
【0008】
本発明による他の方法は、仮想オブジェクトの物理的なパラメータの量的な測定を行う。この方法は、仮想的なオブジェクトの中心線に沿った位置に少なくとも一つの測定ディスクを配置する。測定ディスクを、オブジェクトの中心線に垂直に整列した平面を規定する標準マーカとする。
【0009】
単一の測定ディスクを用いることによって、径の測定を行うことができる。二つの測定ディスクを用いることによって、中心線に沿った距離及び領域のボリュームを測定することができる。三つの測定ディスクを用いて、角度の測定を行うことができる。
【0010】
仮想的な検査を向上する他の方法は、仮想的なオブジェクトの電子的な洗浄を行う。この方法は、画像中の対応する構成要素のタイプの分類を表す複数の密度値範囲を規定する。予測される交差領域に対応する少なくとも1セットの交差状態も規定される。交差状態は、一般に、交差領域の密度プロファイルの観察された繰返し可能な特性に基づいて規定される。構成要素のタイプの分類の少なくとも一部の間の境界領域が、画像データに規定される。境界領域から、セグメンテーション光線が、隣接するボクセルに向かって投影されて、規定された交差状態を満足する領域を検出する。一旦識別されると、交差領域特有の補正が、検出された領域に基づいて実行される。容量測定に関する増強も、任意の残りの部分的なボリュームの影響を更に分析するために行うことができる。
【0011】
境界領域を、セグメンテーションに対する構成要素のタイプを選択することによって識別することができ、選択した構成要素のタイプの領域のシードボクセルを識別し、選択した構成要素のタイプと他の構成要素のタイプとの間の境界が検出されるまで、シードボクセルから領域を増大する。
【0012】
仮想的な結腸検査の場合、仮想的なオブジェクトを結腸とし、構成要素のタイプの分類は、空気、軟らかい組織、及び流動体−便−骨を有する。この場合、この場合、交差領域は、空気−軟らかい組織の領域、空気−便の領域、及び空気−流動体の領域を有する。空気−軟らかい組織の領域を検出する際、交差特有の補正は、光線のボクセルの少なくとも一部に結腸壁のラベルを付し、光線のボクセルの一部に粘液のラベルを付す。空気−流動体の領域を検出する際、交差特有の補正は、領域のボクセルに空気ボクセルのラベルを付す。空気−便の領域を検出する際、交差特有の補正は、便ボクセルの少なくとも一部への流動体ボクセルのラベリング及び光線のボクセルの一部への粘液のラベリングによって領域内のボクセルを再構成する。
【0013】
本発明は、3次元イメージ及び一つ以上の対応する2次元イメージの表示を調整する方法も提供する。この方法は、3次元イメージ上の移動可能なスライスマーカの表示に従った領域の3次元イメージの表示を行う。スライスマーカの位置及び向きに対応する2次元イメージも表示される。ユーザインタフェースの走査によるように互いに相違する2次元イメージが選択されると、3次元イメージのマーカ位置もそれに応じて変化する。2次元イメージは、一般に、矢印状、冠状、軸状、及び中心線に垂直な断面イメージのような断面スライスである。
【0014】
図面中、特に説明しない限り、同一の参照番号及び符号を、図示した実施の形態の同様な形態、素子、構成要素又は部分を示すのに使用する。さらに、本発明を、図面を参照して詳細に説明する間、本発明は、図示した実施の形態に関連して実施される。添付した特許請求の範囲によって規定されたような本発明の範囲及びその精神から逸脱することなく、記載された実施の形態を変更及び変形することができる。
【発明を実施するための最良の形態】
【0015】
発明を実施するための最良の形態
3次元視覚化、ナビゲーション及び検査を実行する複数のシステムが知られている。そのシステムは、一般に、MRIスキャナのような画像データを取得し、かつ、2次元画像データの描写されたオブジェクトの有効な3次元仮想表示への変換を行うコンピュータ処理プラットホームを提供する。例えば、そのようなシステム及び方法は、参照することによってここに完全に組み込まれた発明の名称が”System and method for performing a Virtual Examination”であるKaufmannらによる米国特許番号第5,971,767号に記載されている。本発明は、仮想環境で検査されるオブジェクトのパラメータを検査し及び定量化するためにユーザの機能を増大するそのようなシステムの向上に関する。
【0016】
図2に示すように、仮想的な検査を向上する方法によって、ユーザは、検査されなかった領域を迅速に識別するとともに、仮想的なオブジェクトの全体的な検査を完了するためにこれらの領域を取り出すことができる。このプロセスは、ナビゲーション中に観察されたこれら領域のマーキング(ステップ205)と、観察されなかったこれら領域を識別するためのこのマークされたデータの使用(ステップ210)とを伴う。一旦、観察されなかった領域が識別されると、この情報を、観察者に対して種々の形態で表現することができる(ステップ215)。
【0017】
観察された領域をマーキングするプロセス(ステップ205)を、主画像データの画像レンダリング中にユーザに対してディスプレイに表示されるボリュームの一部をマークすることによって更新される補助ボリュームバッファをコンピュータ読取可能な媒体において格納することによって実行する。マーキングプロセスを、観察されないボクセルに対する観察されたボクセルを示す2値マーキングプロセスとすることができる。また、観察されたこれらの領域のマーキングを、所定のボクセルがナビゲーション中に用いられる方法を取得する量的なマーキングプロセスとすることができる。例えば、表示中の特定のボクセルの関与(participation)に比例する数値を格納することができる。
【0018】
ナビゲーションが完了すると、観察の際にマークされなかったボクセルを識別するために補助ボリュームを分析する。マークされなかったボクセルが識別されると、領域増大アルゴリズムを用いて、シードボクセルが属する「見失った(missed)パッチ」の境界を決定する。オブジェクトの表面を構成するほとんど全てのボクセルが、観察された又は見失ったパッチの一部としてタグが付けられるまで、このプロセスが繰り返される。連続的なマーキングアプリケーションの場合、ユーザは、領域増大に対する停止値としてマーキング範囲の値を規定することができる。連続的にマークされたボクセルの見失ったパッチを、見失ったパッチのボクセルの使用のレベルを示すグレースケール又は多色領域として表示することができる。
【0019】
複数の仮想表示環境において、仮想結腸のような検査されるオブジェクトは、通常のナビゲーション及び検査中にオブジェクトの所定の領域を観察するのが困難な折り畳みや曲線のような特性を有する。したがって、観察されなかったものとしてマークされた表示領域において、結腸のような管腔形状のオブジェト(lumen shaped object)を図3に示すような2次元平面表示に写像することによって、管腔を「解明する」のが望ましい。管や球のような3次元表面を本発明を実施するのに用いることができる2次元空間に写像する複数の既知の技術がある。メルカトルや、斜投影法や、円筒図法や、ステレオ写真写像のようなこれら技術のうちの複数は、写像マーキングの分野において広く使用され、この場合、球体の表面を平坦なマップで表す必要がある。しかしながら、各方法が2次元表示においてある程度のレベルの歪みが生じることが知られている。したがって、2次元表示において、見失ったパッチ305,310,315の可視性を増大する値の全体は、視覚化及び検査における他の目的に適さない。その代わりに、好適には、2次元表示は、グラフィカルユーザインタフェース325を用いることによって消失したパッチ305を可視化し及び選択する有効な方法をユーザに提供する。特定の消失したパッチを選択することによって、システムは、自動的にユーザに対して元の3次元ボリュームの表示を行うことができ、この場合、図4に示すように、仮想的なカメラが、見失ったパッチに対して向けられる。ユーザが、消失したパッチを選択し、これら領域を検査すると、領域を、観察されたものとしてマークするとともに、オブジェクト表面上の消失したパッチの2次元表示から取り除くことができる。
【0020】
見失ったパッチを2次元マップに表示する代わりに、見失ったパッチを、座標のリストにおいて又はテーブル形態の一連の選択可能なブックマークとして識別することができる。ユーザは、指定された領域を順次観察することができ、かつ、ブックマークのリストから種々の領域を手動で選択することができる。いずれの場合も、ユーザには、最初の試験中に観察されなかった領域が表示され、これによって、観察者は、関心のある表面の100パーセントの観察を行うことができる。
【0021】
3次元可視化の所定のアプリケーションにおいて、領域を観察するだけでなく、関心のある領域の量的な測定も行うのが望ましい。この一例を、腹部大動脈瘤(abdominal aortic aneurysm: AAA)治療に対する大動脈の評価のコンテキストで見つけることができる。これに関連して、ステント設計及び配置のような治療計画における病気の程度を決定するために識別された血栓症の量及び位置を決定するのが臨床的に重要である。本発明は、そのような量的な測定を容易にするために測定ディスクと称される概念を用いる。
【0022】
測定ディスクを、ディスクの中心を通過する中心線に沿って延在する仮想オブジェクトの表面を交差する平面とし、それは、局所的な中心線の交差点で垂直のままである。管腔内に配置された複数の測定ディスクの一例を、図5に示す。ディスク形状の使用が好適であるが、それは必須でない。例えば、一般に、中心線上で標準マーカとしての役割を果たすとともにそこから垂直方向に突出する他の任意の形状を用いることができる。
【0023】
測定ディスクの径は、それが存在する構造の寸法に従う点で適合性がある。ユーザの好みに基づいて、ディスクは、中心線に沿った各点における管腔の最大内径又は最小内径に等しい径を有する。最小内径が好適である場合、測定ディスクは、最大径より大きい場所で最小ギャップが生じうる仮想オブジェクト内に十分含まれる。最大径が好適である場合、ディスクの一部は、検査されるオブジェクトの表面を延在する。
【0024】
繰返し可能な量的な測定を行うために、ユーザは、オブジェクトの中心線に沿って関心のある選択されたポイントに1個以上の測定ディスクを配置する。これは、一般に、ディスプレイ上で半透明又は透明に描写されるオブジェクト内にディスクを配置するために、コンピュータディスプレイ上のポインタを制御するマウスのような図形的なユーザインタフェースを用いて実行されるインタラクティブプロセスである。
【0025】
図6に示すように、所定のポイントにおける管腔の径は、単一の測定ディスク605をこの位置に配置することによって決定される。
図7に示すように、長さ測定を、管腔の第1位置に第1測定ディスク705を配置するとともに管腔の第2位置に第2測定ディスク710を配置することによって簡単化することができる。ポイント間のユークリッド長ではなく測定ディスク705,710間の中心線715のセグメントに沿った長さが、関心のあるセグメントの実際の長さとして決定され及び用いられる。これによって、結腸及び大動脈の領域のような捩れるおそれがあるオブジェクトの長さを実際に測定する。
【0026】
図8を参照すると、領域のボリュームを、二つの測定ディスクを用いて決定することもできる。この場合、ボリュームは、関心のある領域の境界805及び測定ディスク805,810によって規定される。ボリュームを、このように取得された領域によって決定することができ、その領域を、取得された領域に含まれるボクセルの個数を計数するとともにこの個数に単一のボクセルの等量のボリュームを乗算することによって決定することができる。
【0027】
図9は、関心のあるオブジェクトの湾曲の角度を決定する3個の測定ディスクの使用を示す。3個のディスクは、2個の終点905,910と、内角及び外角の頂点を規定する。ディスクを、関心のある終点及び頂点を可変に規定するために管腔に沿って独立に配置することができる。角度を、ディスク905,915の原点及びディスク910,915の原点を結合する光線920,925の交差によって規定される内角によって規定することができる。この角度を、外角によって規定することもできる。この場合、光線930,935は、頂点に向かう中心線の正接に沿って各終点ディスク905,910の原点から投影される。3個の測定ディスクの原点は、光線を投影する共通面を規定するのに使用される。このようにして、終点から投影される光線は、収束するよう保証される。
【0028】
セグメンテーション光線を用いる電子洗浄
結腸のようなオブジェクトの仮想的(かつ通常の)検査における共通の問題は、オブジェクトから残留材料を除去することである。結腸の場合、結腸の流動体及び結腸内の便は、それが除去されない場合にはポリープを隠すおそれがある。従来、そのような便及び流動体を除去するには、著しいプレイメージングプロトコル(pre-imaging protocol)を必要とし、それは、多量の流動体及び造影剤の摂取及び結腸の洗浄を完了するためのプレイメージング浣腸を必要とする。参照することによってここに完全に組み込まれる1999年6月29日に出願された発明の名称”がSystem and Method for Performing a Three-Dimensional Virtual Segmentation and Examination”である米国出願番号09/343,012号に開示されているように、画像セグメンテーションのような電子洗浄技術を、仮想オブジェクトを有効に洗浄するのに用いることができる。本発明は、仮想オブジェクトのセグメンテーション及びデジタル洗浄を行う向上した方法を提供し、それは、従来のセグメンテーションによる除去を防止する部分的なボリューム効果を示す領域の有効な処理を提供する。
【0029】
図10は、結腸のCT画像データの密度プロファイルの一例を示すグラフである。この密度グラフにおいて、軟らかい組織1005、空気1010及び流動体ボクセル1015を表す三つの個別の停滞レベルが存在する。高密度の流動体は、イメージング前の造影剤の摂取の結果である。これらの領域が、従来の画像セグメンテーション技術を用いて容易に区別できるのに対して、これら領域の界面を表すグラフの傾斜部は、分類が困難である。これらボクセルは、考察される部分的なボリュームの影響(partial volume effect :PVE)ボクセル1020である。その理由は、交差部を形成する二つの領域のボクセルの混合によって強度に影響が及ぼされるからである。セグメンテーションを用いてPVEボクセルを分類するのが困難であるので、領域間の境界にしばしば歪みが生じ、その領域が関心のある領域を正確に反映しないおそれがある。例えば、セグメンテーションのエイリアジングの影響の結果、結腸の粘液のような材料の中間層を除去する境界が急になるおそれがある。しかしながら、そのような中間領域は、重要な診断の助けになることがあり、セグメント化された画像において保存される必要がある。
本発明は、予め設定された交差特性を用いて交差の領域を識別するために境界ボクセルから投影されたセグメンテーション光線の概念を提供する。交差の領域が識別されると、部分的なボリュームの影響に起因するあいまいさを解決するために交差特有の調整が行われる。
【0030】
図11は、本発明のセグメンテーション光線電子セグメンテーションプロセスの大要を示すフローチャートである。ステップ1105において、画像データは、予測される密度の値に基づいて、予め設定された数のカテゴリー又はビンに分類される。例えば、図12に示した結腸の典型的なCTデータの密度ヒストグラムにおいて、空気(AIR)1205、軟らかい組織(ST)1210及び流動体、便、骨(FSB)1215を表す領域を、密度の値の領域によって規定することができる。さらに、一般に、PVI1220及びPV1225のような部分的なボリュームの影響の一つ以上の領域がある。一般に、イメージされるオブジェクト及びイメージされた材料に対する予測された密度の値の以前の知識に基づいたシステム又はユーザによって、分類が割り当てられる。領域間の互いに相違する交差に対する独自の密度プロファイルは、後の使用のために格納することができる特性のセットを決定するために調べられる。
【0031】
ステップ1110において、シードポイントが、セグメント化すべき領域に配置される。例えば、電子的な結腸洗浄において、結腸内に配置されたAIR領域のシードボクセルを識別し及び選択するのが望ましい。この場合、有効な技術は、FSB密度領域の密度を有するボクセルを識別した後にその真上に配置されたボクセルを検査することである。FSBボクセルが直前にAIRボクセルを有する場合、そのAIRボクセルは、結腸内に存在し、それをシードボクセルとして格納することができる。この状態は、重力が流動体にかかることに起因し、それによって、結腸の折り畳みの下部に収集されるとともに、結腸内の空気とともに滑らかな水平方向の界面を確立する。骨のような結腸の外側のFSBボクセルに対して、これらボクセルは、空気ボクセルではなく軟らかい組織によって境界が設定され、上記状態が満足されない。
【0032】
シードボクセルを検出するプロセスを、状態すなわちFSBの上のAIRが満足されるか否かを決定するために画像データの垂直方向の走査線を横切ることによって実現することができる。満足される場合、AIRボクセルは、アレイのような適切なデータ構造のシードポイントとして格納される。シードポイント検出評価が完了すると、AIRと他の領域との間の境界を決定するために、各シードから領域増大(region growing)を用いることができる(ステップ1115)。
【0033】
領域増大を、洗練されていない拡張及び成長ストラテジを用いて行うことができる。このプロセスを、隣接部が分析されなかったボクセルのデータ構造を維持することによって更に有効に行うことができる。好適な洗練されていない拡張及び増大方法において、最初のシードボクセルがデータ構造から除去され、その隣接部が検査される。隠されていないAIRボクセルが見つけられると、このボクセルが格納される。隠されたAIRボクセルが検出されると、このボクセルは無視される。AIRでないボクセルが見つけられると、このボクセルは、境界ボクセルとしてマークされ、個別のデータ構造(BVキュー)に格納される。全ての隣接部が評価された後、ボクセルは、それが処理されたことを表すためにマークされる。このプロセスは、全てのシードボクセルに対して繰り返される。隣接する隠されていないボクセルを識別するために、6接続分析(評価された6個の隣接部)を用いることができる。しかしながら、境界状態を評価する際に、26接続(現在のボクセルの周辺の26個の隣接部)が、精度を向上するのに好ましい。
【0034】
ステップ1115で識別された境界ボクセルからセグメンテーション光線を投射して、交差の種々の対応する領域を表す交差基準の予め設定されたセットを満足する区域を決定する(ステップ1120)。このステップは、交差の典型的な領域の密度プロファイルの予めの評価と、各交差領域を区別する特性のセットの分離を伴う。このプロセスの一例を、結腸の予測される交差領域の関連で説明する。交差特性の特定のセットが特有のアプリケーションであり、イメージされた材料のような複数の変数に依存する。
【0035】
仮想的な結腸検査に関連して説明した領域増大オペレーションの場合、結腸内のAIR領域が識別され、AIRと他の領域との間の交差の境界が決定される。その交差は、AIR−ST交差、AIR−流動体交差又はAIR−便交差を表す。そのような交差の領域の密度プロファイルで観察される独自の特性を用いてこれらの交差を特徴づけることによって、特定の補正を行って部分的なボリュームの影響を除去することができる。
【0036】
例えば、図13は、AIR−ST交差における密度プロファイルを示すグラフである。このプロファイルの特徴は、次の通りである。密度遷移としての勾配の漸進的な増大は、AIRからPV1を通じた軟らかい組織強度まで、場合によってはPV2領域1310まであり、最初の負又は零の勾配1305の後、密度値はST範囲にあり、強度がFSB領域に入らず、もはや一つのPV2ボクセル1310は負又は零の勾配の前に存在しない。
【0037】
図14は、AIR−流動体交差領域の密度プロファイルのグラフである。この交差のプロファイルは次の通りである。強度値としての勾配の急峻な上昇がAIRからFSBまで移動し、AIR領域とFSB領域との間に出くわす3個以下のPV1ボクセルが存在し、最初の負の勾配に続くボクセルがFSB密度領域に存在したままである。
【0038】
図15は、AIRの密度プロファイル−便交差を示すグラフである。この交差の特徴は、次の通りである。密度値としての勾配の急峻な上昇がAIRからPV2又はFSBまで移動し、最初の負の勾配の後、強度値はPV2領域にある。
これら交差領域、AIR−ST、AIR−流動体、及びAIR−便の各々に対して、上記状態が満足されたときに交差が見つかる傾向にある。したがって、交差の検出は、交差状態の任意のセットに適合するか否かを決定するために投影セグメンテーション光線の検査を必要とする。光線の投影は、識別された境界ボクセルの各々に対して行われる。光線は、シードボクセル(この場合、AIRボクセルでない全ての隣接部。)と同一タイプでない26個の接続された隣接部の各々に対する方向で外側に投射される。ステップ1120の光線投影の簡単化された2次元表示を、図16で図式的に示す。図16において、境界ボクセルにBを付し、AIRボクセルにAを付す。
【0039】
セグメンテーション光線が広がると、交差状態のセットの一つに適合するか否かを決定するために、光線が検査される。交差状態の予め設定されたセットの一つに適合された場合、後に説明する補正プロセスを適用することができる。予め設定された光線の距離内で交差状態のセットが満足されない場合、その光線は降ろされる。
【0040】
交差補正プロセスは、部分的なボリュームの影響によって導入される予測された誤差を補正するために予め設定される。図17のグラフに示すように、検出されたAIR−ST交差に対して、光線の最後の2個のボクセルが結腸壁ボクセルとして示され、光線上の残りのボクセルが粘液ボクセルとしてマークされる。これが結腸壁と粘液との間を正確に区別することを意図しない間、任意のポリープを示す結腸壁の内側の輪郭が正確に保存される。図18のグラフに示すように、AIR−流動体交差のボクセルに対して、これらボクセルは、ボクセルにAIR領域の密度を指定することによって除去される。この動作は、結腸の内側から流動体を除去するプロセスを継続する。AIR−便交差に対して、下にある粘液ボクセルの位置を保持し及び補正する間に便ボクセルを除去することを目的とする。これを、図19に示すように光線に沿って便ボクセルを除去するとともに粘液ボクセルを補正位置に移動させることによって行う。
【0041】
交差領域の特定の補正が行われた後、PVI領域の部分的なボリュームボクセルの全てと、PV領域の一部のものとが除去される。残りのものは、FSB範囲の高密度ボクセルと、流動体−ST交差の部分的なボリュームボクセルである。これら最後の状態を補正するために、ステップ1130の容量測定に関するコントラストの増強を行うことができる。容量的なコントラスト増強は、ST領域と除去すべきFSB領域との間のコントラストを増強するために図20のグラフに示した伝達関数を用いる。したがって、ルックアップテーブルの使用のように、ボクセルの元の密度を、再構成された密度(Y軸)に再構成することによって、ST密度に近接する流動体−ST交差のボクセルが、ST領域に移動されるとともに維持され、それに対して、FSB領域に近接した交差のボクセルは、除去のためにFSB領域に移動される。図20のグラフは、好適であるが、所望のコントラスト増強を行うために用いることができる伝達関数の一例であり、他の曲線や、予め設定された勾配を有する直線を用いることもできる。
【0042】
魚眼投影イメージング
通常のコンピュータグラフックスシミュレーションにおいて、3次元ボクセルをコンピュータディスプレイの2次元画像平面に投影するために透視写像が用いられる。図21に示すように、透視投影の結果、制限された視界からの光線が、光源から、画像面上の等間隔で配置された位置に投影される。この結果、歪みが非常に少ない画像が、通常のカメラによって観察されるものに非常に似たものとなる。しかしながら、所定の場合において、更に広いすなわち60°を超える視野をユーザに与える。しかしながら、視野が広がるに従って、画像が歪み始める傾向にある。さらに、180°の視野は、通常の透視投影によって達成することができない。
【0043】
魚眼投影の本アプリケーションを、仮想結腸検査で検査されるポリープの球面の性質のように重大な特徴を保持するよう視野を増大するために仮想検査において用いることができる。図22に示すように、画像光線を等角度間隔に沿って原点から投影することを目的とする。
【0044】
画像平面上へのボクセル(x,y,z)の投影は、前方の観察方向に対する二つの角度(φ,θ)及び垂直ベクトルをそれぞれ算出することによって行われる。ボクセルは、極方向の写像(polar mapping)によって画像座標(u,v)に写像される。
u=φ*cosθ
v=φ*sinθ
それに対して、画像座標(u,v)は、
φ=sqrt((u−uc)^2+(v−vc)^2)
θ=atan((v−vc)/(u−uc))
によって角度(φ,θ)を最初に算出することによって光線に変換される。
光線は、前方観察光線(view forward ray)を上方観察方向(view up direction)の回りでφだけ回転するとともに前方観察方向(view forward direction)の回りでθだけ回転することによって算出される。結果的に得られる光線は、通常のボリュームレンダリングプロセスと同様にボリュームを通じて投影される。先行する計算を、全画像に対する二つの角度(φ,θ)又は対応する回転マトリックスを予め算出することによって更に有効に行うことができる。
【0045】
本発明による方法を、3次元視覚化、ナビゲーション及び検査を行う既知のシステム及び方法に対する向上とまとめることができる。そのようなシステム及び方法は、例えば、参照することによってここに完全に組み込むことができるKaufmanなどによる発明の名称が”System and Method for Performing a Virtual Examination”である米国特許番号第5,971,767号に記載されている。本発明による方法を、パーソナルコンピュータを含む任意の数のコンピュータ処理プラットホーム上で実施することができる。例えば、Windows(登録商標)2000オペレーティングシステムの下で動作するとともに単一の1GHz CPUを有するIBMコンパチブルWintel PCが、一般的にそのようなアプリケーションに適切である。
【0046】
移動断面マーキング
仮想ナビゲーション及び検査に対する更なる向上は、一つ以上の2次元画像に対して現在のナビゲーションを相互参照できる間に3次元環境でナビゲーションできることである。図23を参照すると、本発明は、3次元環境のマーカの表示及びマーカ位置に対応する一つ以上の2次元画像の同時の表示を行う。結腸の3次元表示2205において、スライスマーカ2210は、矢状の断面イメージ215に対応し、スライスマーカ2220は、冠状の断面イメージ2225に対応し、スライスマーカ2230は、軸状の断面イメージ2235に対応する。軸状、冠状及び矢印状のイメージは、患者の軸線に整列される再フォーマット化された2次元イメージである。さらに、スライスマーカ2240は、オブジェクトの中心線に垂直に整列した断面イメージ2245に対応する。
【0047】
図23に示すように、再フォーマット化された断面イメージの各々は、関連のスクロールバー2250を有する。これは、各マーカを3次元イメージの関心がある領域に配置し及びその逆を行う図形的なユーザインタフェースを提供して、2次元イメージ及び3次元イメージが、同期をとりながら関心のある選択された領域を表示することができる。スクロールバー又は他のユーザインタフェースが移動されると、2次元イメージは、再フォーマット化された2次元イメージを新たに選択した位置に表示するよう変化する。さらに、3次元位置のマーカは、現在表示されている選択された断面イメージを反映するよう移動される。したがって、互いに相違する観察及び観察モードの間で仮想的な座標が設定される。
【0048】
3次元イメージウィンドウのスライスマーカに加えて、好適には、各断面ウィンドウが、現在のナビゲーション位置及び3次元オブジェクトの観察方向に対応するナビゲーションマーカ2255を有する。
【0049】
図23において互いに相違する四つの断面イメージ及び関連のスライスマーカを示す間、これら画像の各々をユーザによって選択でき又は選択できないようにするのが好適である。一般に、任意の所定の動作中に一つの断面イメージのみがユーザによって選択される。
【0050】
好適には、スライスマーカ2210,2220,2230,2240は、カラー又は半透明で表示され、これによって、3次元イメージウィンドウのコンテントを不明確にすることなくスライスマーカ2210,2220,2230,2240を3次元表示で区別することができる。仮想オブジェクトの形状がシェーディングの変動によってわかるので、スライスマーカに対応するボクセルのクロミナンス値(カラー)を変更するとともにそのようなボクセルの輝度値を変更しないことによってスライスマーカを表示するのが好ましい。
【0051】
スライスマーカの着色を、ボリュームレンダリングモジュール内のベースとなるボクセルカラーを変更することによって行うことができる。ボリュームレンダリング中、可視のボクセルの各々の2次元スライス平面の各々からの距離が算出される。これは、各平面の各ボクセルに対する平面等式を直接算出することによって行われる。平面等式は、
Ax+By+Cz+D=距離
として表現される。この場合、A,B,C及びDは、3次元における2次元スライス位置を規定する平面等式の係数である。現在のボクセル位置は、(x,y,z)によって与えられる。係数が予め正規化されると、平面上の正確なボクセルは、零に等しい距離値を有し、同時に、平面から所定の距離のボクセルは、平面からの距離に比例するゼロでない値を有する。したがって、ボクセルに対する平面等式を算出した結果、平面からのボクセルの距離となる。平面からの距離の絶対値が、予め設定されたしきい値未満である場合、ボクセルは平面の一部と考えられる。ボクセルが平面内で考えられる場合、ベースとなるカラーは、ボリュームレンダリング中に変更される。
【0052】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
【図面の簡単な説明】
【0053】
【図1】通常の光学的な結腸検査中の可視表面の領域を示す結腸の管腔の線形的な断面図である。
【図2】ナビゲーション中に見失った領域を決定する方法の簡単化されたブロック図である。
【図3】オブジェクトの見失った領域の視覚化を向上するために2次元平面に写像された管腔オブジェクトの平面表示を示す線形図である。
【図4】観察のために「選択したパッチ」に持ってきた仮想的なカメラを示す結腸の管腔の線形的な断面図である。
【図5】仮想的な視覚化アプリケーションの量的な測定を実行するための「測定ディスク」の使用の一例を示す線形図である。
【図6】関心のある領域の径を決定するための測定ディスクの使用の一例を示す線形図である。
【図7】関心のある領域の長さを決定するための測定ディスクの使用の一例を示す線形図である。
【図8】関心のある領域のボリュームを決定するための測定ディスクの使用の一例を示す線形図である。
【図9】関心のある領域の湾曲の角度を決定するための測定ディスクの使用の一例を示す線形図である。
【図10】結腸のCTイメージデータに対する密度プロファイルの一例を示すグラフである。
【図11】本発明のセグメンテーション光線の電子的なセグメンテーションの大要を示すフローチャートである。
【図12】結腸の典型的なCTデータの密度ヒストグラムを示すグラフである。
【図13】結腸内の空気及び軟らかい組織のボクセルの交差の密度プロファイルを示すグラフである。
【図14】結腸内の空気及び流動体ボクセルの交差の密度プロファイルを示すグラフである。
【図15】結腸内の空気及び便ボクセルの交差の密度プロファイルを示すグラフである。
【図16】交差の領域を配置するための境界ボクセルからセグメンテーション光線の簡単化された2次元図形表示である。
【図17】空気−軟らかい組織の交差を検出する光線上のボクセルの分類の図形的な表示である。
【図18】空気−流動体の交差を検出する光線上のボクセルの分類の図形的な表示である。
【図19】空気−便の交差を検出する光線上のボクセルの分類及び再構成の図形的な表示である。
【図20】容量測定に関するコントラスト増強オペレーション中に元の密度から再構成された密度にボクセルを写像するのに使用することができる伝達関数の一例を示すグラフである。
【図21】通常の透視投影におけるイメージ光線の投影を示す図である。
【図22】視野を増大するために等角度の間隔を用いたイメージ光線の投影を示す図である。
【図23】断面マーキングの移動の使用を示す仮想的な検査システムに対するユーザインタフェースの一例の図形的な表示である。
【技術分野】
【0001】
この出願の課題は、国立保健研究所の契約番号CA79180及び海軍調査研究所の米国オフィスの譲渡番号N000149710402によって一部資金が提供されている。これらの譲与から、米国政府は、本発明について所定の権利を有する。
【0002】
本発明は、一般に、コンピュータに基づく3次元視覚化に関し、更に詳しくは、ナビゲーション及び電子洗浄中に見失った領域の識別を含む仮想ナビゲーション及び検査の向上した方法に関する。
【背景技術】
【0003】
オブジェクトの仮想的な表示を調べる3次元イメージング技術の使用が知られている。例えば、医療画像データは、結腸のような器官の仮想的な3次元表示に変換して、領域の綿密な検査を許容する。通常の光学的な結腸検査の場合、利用できる視野は、一般に、結腸を通じたナビゲーションの方向に沿ってのみ検出される。図1に示すように、結腸の管腔の折り曲げられた性質のために、光学的な結腸検査中に結腸の大部分が見えなくなるおそれがある。当然、観察者は、ナビゲーション方向を変更することができ、可視的なカメラを任意の方向に向けることができる。このような柔軟性によって放射線技師又は他の観察者は結腸の表面全体を調べることができる間、特定の領域を調べたか否かを観察者が知るのが困難又は不可能となることがしばしばある。したがって、向上したナビゲーションの補助が所望される。
【0004】
仮想的なオブジェクトの観察に使用されるのに加えて、関心のある領域における距離及びボリューム測定のような定量化できる分析を行うために仮想的な3次元環境を用いることもできる。現在のシステムにおいて、そのような測定は、一般に、ボリューム測定に対して手動による領域の輪郭描写を伴う。さらに、3次元光線表面交差が、距離、径及び角度測定を行うのに用いられている。そのような技術は、時間を浪費し又は演算的に不経済なものとなる。したがって、仮想的な環境において量的な測定を向上することが所望されている。
【0005】
仮想的な検査中に出くわす他の問題は、検査に課されるオブジェクトから無関係の構成要素を取り除くことである。例えば、仮想的な結腸検査の場合、結腸から便及び流動体を取り除いて、結腸壁の表面を露出する必要がある。結腸洗浄を行う従来のプレイメージングプロトコルは、不愉快なものであり、そのような検査を行う患者の妨げとなる。電子的な洗浄技術が知られているが、そのような技術は、二つ以上の構成要素のタイプの交差の領域におけるような構成要素の適切な除去に困難を伴う。したがって、仮想的なオブジェクトの向上した電子的な洗浄は、そのような仮想的な検査アプリケーションにおいて有益である。
【発明の開示】
【0006】
発明の要約
本発明によれば、オブジェクトの仮想的な検査を向上する方法は、仮想的な検査を全体に亘って確実に行う。この方法は、画像データセットのボクセルを、描写された画像の一部としてこれらボクセルがユーザディスプレイに表示される際に観察されたものとしてマークされる。観察されたボクセルをマークすることによって、最初の検査の完了の際にマークされていないボクセルを識別することができる。一旦、観察されなかった領域が識別されると、予め設定されたしきい値より大きいサイズを有する識別されたボクセルの全ての領域を識別するユーザディスプレイが提供される。
【0007】
好適には、ユーザディスプレイを、3次元の閉ざされたオブジェクトの2次元平面投影とする。例えば、結腸の管腔を、結腸の内面全体を露出するために2次元平面に「解明する」ことができる。2次元平面投影は、図形的なユーザインタフェースの表示を行うことができ、これによって、ユーザは、観察されなかったボクセルの領域を選択して、選択された領域の3次元の閉じられたオブジェクトの表示を、検査のために行う。
【0008】
本発明による他の方法は、仮想オブジェクトの物理的なパラメータの量的な測定を行う。この方法は、仮想的なオブジェクトの中心線に沿った位置に少なくとも一つの測定ディスクを配置する。測定ディスクを、オブジェクトの中心線に垂直に整列した平面を規定する標準マーカとする。
【0009】
単一の測定ディスクを用いることによって、径の測定を行うことができる。二つの測定ディスクを用いることによって、中心線に沿った距離及び領域のボリュームを測定することができる。三つの測定ディスクを用いて、角度の測定を行うことができる。
【0010】
仮想的な検査を向上する他の方法は、仮想的なオブジェクトの電子的な洗浄を行う。この方法は、画像中の対応する構成要素のタイプの分類を表す複数の密度値範囲を規定する。予測される交差領域に対応する少なくとも1セットの交差状態も規定される。交差状態は、一般に、交差領域の密度プロファイルの観察された繰返し可能な特性に基づいて規定される。構成要素のタイプの分類の少なくとも一部の間の境界領域が、画像データに規定される。境界領域から、セグメンテーション光線が、隣接するボクセルに向かって投影されて、規定された交差状態を満足する領域を検出する。一旦識別されると、交差領域特有の補正が、検出された領域に基づいて実行される。容量測定に関する増強も、任意の残りの部分的なボリュームの影響を更に分析するために行うことができる。
【0011】
境界領域を、セグメンテーションに対する構成要素のタイプを選択することによって識別することができ、選択した構成要素のタイプの領域のシードボクセルを識別し、選択した構成要素のタイプと他の構成要素のタイプとの間の境界が検出されるまで、シードボクセルから領域を増大する。
【0012】
仮想的な結腸検査の場合、仮想的なオブジェクトを結腸とし、構成要素のタイプの分類は、空気、軟らかい組織、及び流動体−便−骨を有する。この場合、この場合、交差領域は、空気−軟らかい組織の領域、空気−便の領域、及び空気−流動体の領域を有する。空気−軟らかい組織の領域を検出する際、交差特有の補正は、光線のボクセルの少なくとも一部に結腸壁のラベルを付し、光線のボクセルの一部に粘液のラベルを付す。空気−流動体の領域を検出する際、交差特有の補正は、領域のボクセルに空気ボクセルのラベルを付す。空気−便の領域を検出する際、交差特有の補正は、便ボクセルの少なくとも一部への流動体ボクセルのラベリング及び光線のボクセルの一部への粘液のラベリングによって領域内のボクセルを再構成する。
【0013】
本発明は、3次元イメージ及び一つ以上の対応する2次元イメージの表示を調整する方法も提供する。この方法は、3次元イメージ上の移動可能なスライスマーカの表示に従った領域の3次元イメージの表示を行う。スライスマーカの位置及び向きに対応する2次元イメージも表示される。ユーザインタフェースの走査によるように互いに相違する2次元イメージが選択されると、3次元イメージのマーカ位置もそれに応じて変化する。2次元イメージは、一般に、矢印状、冠状、軸状、及び中心線に垂直な断面イメージのような断面スライスである。
【0014】
図面中、特に説明しない限り、同一の参照番号及び符号を、図示した実施の形態の同様な形態、素子、構成要素又は部分を示すのに使用する。さらに、本発明を、図面を参照して詳細に説明する間、本発明は、図示した実施の形態に関連して実施される。添付した特許請求の範囲によって規定されたような本発明の範囲及びその精神から逸脱することなく、記載された実施の形態を変更及び変形することができる。
【発明を実施するための最良の形態】
【0015】
発明を実施するための最良の形態
3次元視覚化、ナビゲーション及び検査を実行する複数のシステムが知られている。そのシステムは、一般に、MRIスキャナのような画像データを取得し、かつ、2次元画像データの描写されたオブジェクトの有効な3次元仮想表示への変換を行うコンピュータ処理プラットホームを提供する。例えば、そのようなシステム及び方法は、参照することによってここに完全に組み込まれた発明の名称が”System and method for performing a Virtual Examination”であるKaufmannらによる米国特許番号第5,971,767号に記載されている。本発明は、仮想環境で検査されるオブジェクトのパラメータを検査し及び定量化するためにユーザの機能を増大するそのようなシステムの向上に関する。
【0016】
図2に示すように、仮想的な検査を向上する方法によって、ユーザは、検査されなかった領域を迅速に識別するとともに、仮想的なオブジェクトの全体的な検査を完了するためにこれらの領域を取り出すことができる。このプロセスは、ナビゲーション中に観察されたこれら領域のマーキング(ステップ205)と、観察されなかったこれら領域を識別するためのこのマークされたデータの使用(ステップ210)とを伴う。一旦、観察されなかった領域が識別されると、この情報を、観察者に対して種々の形態で表現することができる(ステップ215)。
【0017】
観察された領域をマーキングするプロセス(ステップ205)を、主画像データの画像レンダリング中にユーザに対してディスプレイに表示されるボリュームの一部をマークすることによって更新される補助ボリュームバッファをコンピュータ読取可能な媒体において格納することによって実行する。マーキングプロセスを、観察されないボクセルに対する観察されたボクセルを示す2値マーキングプロセスとすることができる。また、観察されたこれらの領域のマーキングを、所定のボクセルがナビゲーション中に用いられる方法を取得する量的なマーキングプロセスとすることができる。例えば、表示中の特定のボクセルの関与(participation)に比例する数値を格納することができる。
【0018】
ナビゲーションが完了すると、観察の際にマークされなかったボクセルを識別するために補助ボリュームを分析する。マークされなかったボクセルが識別されると、領域増大アルゴリズムを用いて、シードボクセルが属する「見失った(missed)パッチ」の境界を決定する。オブジェクトの表面を構成するほとんど全てのボクセルが、観察された又は見失ったパッチの一部としてタグが付けられるまで、このプロセスが繰り返される。連続的なマーキングアプリケーションの場合、ユーザは、領域増大に対する停止値としてマーキング範囲の値を規定することができる。連続的にマークされたボクセルの見失ったパッチを、見失ったパッチのボクセルの使用のレベルを示すグレースケール又は多色領域として表示することができる。
【0019】
複数の仮想表示環境において、仮想結腸のような検査されるオブジェクトは、通常のナビゲーション及び検査中にオブジェクトの所定の領域を観察するのが困難な折り畳みや曲線のような特性を有する。したがって、観察されなかったものとしてマークされた表示領域において、結腸のような管腔形状のオブジェト(lumen shaped object)を図3に示すような2次元平面表示に写像することによって、管腔を「解明する」のが望ましい。管や球のような3次元表面を本発明を実施するのに用いることができる2次元空間に写像する複数の既知の技術がある。メルカトルや、斜投影法や、円筒図法や、ステレオ写真写像のようなこれら技術のうちの複数は、写像マーキングの分野において広く使用され、この場合、球体の表面を平坦なマップで表す必要がある。しかしながら、各方法が2次元表示においてある程度のレベルの歪みが生じることが知られている。したがって、2次元表示において、見失ったパッチ305,310,315の可視性を増大する値の全体は、視覚化及び検査における他の目的に適さない。その代わりに、好適には、2次元表示は、グラフィカルユーザインタフェース325を用いることによって消失したパッチ305を可視化し及び選択する有効な方法をユーザに提供する。特定の消失したパッチを選択することによって、システムは、自動的にユーザに対して元の3次元ボリュームの表示を行うことができ、この場合、図4に示すように、仮想的なカメラが、見失ったパッチに対して向けられる。ユーザが、消失したパッチを選択し、これら領域を検査すると、領域を、観察されたものとしてマークするとともに、オブジェクト表面上の消失したパッチの2次元表示から取り除くことができる。
【0020】
見失ったパッチを2次元マップに表示する代わりに、見失ったパッチを、座標のリストにおいて又はテーブル形態の一連の選択可能なブックマークとして識別することができる。ユーザは、指定された領域を順次観察することができ、かつ、ブックマークのリストから種々の領域を手動で選択することができる。いずれの場合も、ユーザには、最初の試験中に観察されなかった領域が表示され、これによって、観察者は、関心のある表面の100パーセントの観察を行うことができる。
【0021】
3次元可視化の所定のアプリケーションにおいて、領域を観察するだけでなく、関心のある領域の量的な測定も行うのが望ましい。この一例を、腹部大動脈瘤(abdominal aortic aneurysm: AAA)治療に対する大動脈の評価のコンテキストで見つけることができる。これに関連して、ステント設計及び配置のような治療計画における病気の程度を決定するために識別された血栓症の量及び位置を決定するのが臨床的に重要である。本発明は、そのような量的な測定を容易にするために測定ディスクと称される概念を用いる。
【0022】
測定ディスクを、ディスクの中心を通過する中心線に沿って延在する仮想オブジェクトの表面を交差する平面とし、それは、局所的な中心線の交差点で垂直のままである。管腔内に配置された複数の測定ディスクの一例を、図5に示す。ディスク形状の使用が好適であるが、それは必須でない。例えば、一般に、中心線上で標準マーカとしての役割を果たすとともにそこから垂直方向に突出する他の任意の形状を用いることができる。
【0023】
測定ディスクの径は、それが存在する構造の寸法に従う点で適合性がある。ユーザの好みに基づいて、ディスクは、中心線に沿った各点における管腔の最大内径又は最小内径に等しい径を有する。最小内径が好適である場合、測定ディスクは、最大径より大きい場所で最小ギャップが生じうる仮想オブジェクト内に十分含まれる。最大径が好適である場合、ディスクの一部は、検査されるオブジェクトの表面を延在する。
【0024】
繰返し可能な量的な測定を行うために、ユーザは、オブジェクトの中心線に沿って関心のある選択されたポイントに1個以上の測定ディスクを配置する。これは、一般に、ディスプレイ上で半透明又は透明に描写されるオブジェクト内にディスクを配置するために、コンピュータディスプレイ上のポインタを制御するマウスのような図形的なユーザインタフェースを用いて実行されるインタラクティブプロセスである。
【0025】
図6に示すように、所定のポイントにおける管腔の径は、単一の測定ディスク605をこの位置に配置することによって決定される。
図7に示すように、長さ測定を、管腔の第1位置に第1測定ディスク705を配置するとともに管腔の第2位置に第2測定ディスク710を配置することによって簡単化することができる。ポイント間のユークリッド長ではなく測定ディスク705,710間の中心線715のセグメントに沿った長さが、関心のあるセグメントの実際の長さとして決定され及び用いられる。これによって、結腸及び大動脈の領域のような捩れるおそれがあるオブジェクトの長さを実際に測定する。
【0026】
図8を参照すると、領域のボリュームを、二つの測定ディスクを用いて決定することもできる。この場合、ボリュームは、関心のある領域の境界805及び測定ディスク805,810によって規定される。ボリュームを、このように取得された領域によって決定することができ、その領域を、取得された領域に含まれるボクセルの個数を計数するとともにこの個数に単一のボクセルの等量のボリュームを乗算することによって決定することができる。
【0027】
図9は、関心のあるオブジェクトの湾曲の角度を決定する3個の測定ディスクの使用を示す。3個のディスクは、2個の終点905,910と、内角及び外角の頂点を規定する。ディスクを、関心のある終点及び頂点を可変に規定するために管腔に沿って独立に配置することができる。角度を、ディスク905,915の原点及びディスク910,915の原点を結合する光線920,925の交差によって規定される内角によって規定することができる。この角度を、外角によって規定することもできる。この場合、光線930,935は、頂点に向かう中心線の正接に沿って各終点ディスク905,910の原点から投影される。3個の測定ディスクの原点は、光線を投影する共通面を規定するのに使用される。このようにして、終点から投影される光線は、収束するよう保証される。
【0028】
セグメンテーション光線を用いる電子洗浄
結腸のようなオブジェクトの仮想的(かつ通常の)検査における共通の問題は、オブジェクトから残留材料を除去することである。結腸の場合、結腸の流動体及び結腸内の便は、それが除去されない場合にはポリープを隠すおそれがある。従来、そのような便及び流動体を除去するには、著しいプレイメージングプロトコル(pre-imaging protocol)を必要とし、それは、多量の流動体及び造影剤の摂取及び結腸の洗浄を完了するためのプレイメージング浣腸を必要とする。参照することによってここに完全に組み込まれる1999年6月29日に出願された発明の名称”がSystem and Method for Performing a Three-Dimensional Virtual Segmentation and Examination”である米国出願番号09/343,012号に開示されているように、画像セグメンテーションのような電子洗浄技術を、仮想オブジェクトを有効に洗浄するのに用いることができる。本発明は、仮想オブジェクトのセグメンテーション及びデジタル洗浄を行う向上した方法を提供し、それは、従来のセグメンテーションによる除去を防止する部分的なボリューム効果を示す領域の有効な処理を提供する。
【0029】
図10は、結腸のCT画像データの密度プロファイルの一例を示すグラフである。この密度グラフにおいて、軟らかい組織1005、空気1010及び流動体ボクセル1015を表す三つの個別の停滞レベルが存在する。高密度の流動体は、イメージング前の造影剤の摂取の結果である。これらの領域が、従来の画像セグメンテーション技術を用いて容易に区別できるのに対して、これら領域の界面を表すグラフの傾斜部は、分類が困難である。これらボクセルは、考察される部分的なボリュームの影響(partial volume effect :PVE)ボクセル1020である。その理由は、交差部を形成する二つの領域のボクセルの混合によって強度に影響が及ぼされるからである。セグメンテーションを用いてPVEボクセルを分類するのが困難であるので、領域間の境界にしばしば歪みが生じ、その領域が関心のある領域を正確に反映しないおそれがある。例えば、セグメンテーションのエイリアジングの影響の結果、結腸の粘液のような材料の中間層を除去する境界が急になるおそれがある。しかしながら、そのような中間領域は、重要な診断の助けになることがあり、セグメント化された画像において保存される必要がある。
本発明は、予め設定された交差特性を用いて交差の領域を識別するために境界ボクセルから投影されたセグメンテーション光線の概念を提供する。交差の領域が識別されると、部分的なボリュームの影響に起因するあいまいさを解決するために交差特有の調整が行われる。
【0030】
図11は、本発明のセグメンテーション光線電子セグメンテーションプロセスの大要を示すフローチャートである。ステップ1105において、画像データは、予測される密度の値に基づいて、予め設定された数のカテゴリー又はビンに分類される。例えば、図12に示した結腸の典型的なCTデータの密度ヒストグラムにおいて、空気(AIR)1205、軟らかい組織(ST)1210及び流動体、便、骨(FSB)1215を表す領域を、密度の値の領域によって規定することができる。さらに、一般に、PVI1220及びPV1225のような部分的なボリュームの影響の一つ以上の領域がある。一般に、イメージされるオブジェクト及びイメージされた材料に対する予測された密度の値の以前の知識に基づいたシステム又はユーザによって、分類が割り当てられる。領域間の互いに相違する交差に対する独自の密度プロファイルは、後の使用のために格納することができる特性のセットを決定するために調べられる。
【0031】
ステップ1110において、シードポイントが、セグメント化すべき領域に配置される。例えば、電子的な結腸洗浄において、結腸内に配置されたAIR領域のシードボクセルを識別し及び選択するのが望ましい。この場合、有効な技術は、FSB密度領域の密度を有するボクセルを識別した後にその真上に配置されたボクセルを検査することである。FSBボクセルが直前にAIRボクセルを有する場合、そのAIRボクセルは、結腸内に存在し、それをシードボクセルとして格納することができる。この状態は、重力が流動体にかかることに起因し、それによって、結腸の折り畳みの下部に収集されるとともに、結腸内の空気とともに滑らかな水平方向の界面を確立する。骨のような結腸の外側のFSBボクセルに対して、これらボクセルは、空気ボクセルではなく軟らかい組織によって境界が設定され、上記状態が満足されない。
【0032】
シードボクセルを検出するプロセスを、状態すなわちFSBの上のAIRが満足されるか否かを決定するために画像データの垂直方向の走査線を横切ることによって実現することができる。満足される場合、AIRボクセルは、アレイのような適切なデータ構造のシードポイントとして格納される。シードポイント検出評価が完了すると、AIRと他の領域との間の境界を決定するために、各シードから領域増大(region growing)を用いることができる(ステップ1115)。
【0033】
領域増大を、洗練されていない拡張及び成長ストラテジを用いて行うことができる。このプロセスを、隣接部が分析されなかったボクセルのデータ構造を維持することによって更に有効に行うことができる。好適な洗練されていない拡張及び増大方法において、最初のシードボクセルがデータ構造から除去され、その隣接部が検査される。隠されていないAIRボクセルが見つけられると、このボクセルが格納される。隠されたAIRボクセルが検出されると、このボクセルは無視される。AIRでないボクセルが見つけられると、このボクセルは、境界ボクセルとしてマークされ、個別のデータ構造(BVキュー)に格納される。全ての隣接部が評価された後、ボクセルは、それが処理されたことを表すためにマークされる。このプロセスは、全てのシードボクセルに対して繰り返される。隣接する隠されていないボクセルを識別するために、6接続分析(評価された6個の隣接部)を用いることができる。しかしながら、境界状態を評価する際に、26接続(現在のボクセルの周辺の26個の隣接部)が、精度を向上するのに好ましい。
【0034】
ステップ1115で識別された境界ボクセルからセグメンテーション光線を投射して、交差の種々の対応する領域を表す交差基準の予め設定されたセットを満足する区域を決定する(ステップ1120)。このステップは、交差の典型的な領域の密度プロファイルの予めの評価と、各交差領域を区別する特性のセットの分離を伴う。このプロセスの一例を、結腸の予測される交差領域の関連で説明する。交差特性の特定のセットが特有のアプリケーションであり、イメージされた材料のような複数の変数に依存する。
【0035】
仮想的な結腸検査に関連して説明した領域増大オペレーションの場合、結腸内のAIR領域が識別され、AIRと他の領域との間の交差の境界が決定される。その交差は、AIR−ST交差、AIR−流動体交差又はAIR−便交差を表す。そのような交差の領域の密度プロファイルで観察される独自の特性を用いてこれらの交差を特徴づけることによって、特定の補正を行って部分的なボリュームの影響を除去することができる。
【0036】
例えば、図13は、AIR−ST交差における密度プロファイルを示すグラフである。このプロファイルの特徴は、次の通りである。密度遷移としての勾配の漸進的な増大は、AIRからPV1を通じた軟らかい組織強度まで、場合によってはPV2領域1310まであり、最初の負又は零の勾配1305の後、密度値はST範囲にあり、強度がFSB領域に入らず、もはや一つのPV2ボクセル1310は負又は零の勾配の前に存在しない。
【0037】
図14は、AIR−流動体交差領域の密度プロファイルのグラフである。この交差のプロファイルは次の通りである。強度値としての勾配の急峻な上昇がAIRからFSBまで移動し、AIR領域とFSB領域との間に出くわす3個以下のPV1ボクセルが存在し、最初の負の勾配に続くボクセルがFSB密度領域に存在したままである。
【0038】
図15は、AIRの密度プロファイル−便交差を示すグラフである。この交差の特徴は、次の通りである。密度値としての勾配の急峻な上昇がAIRからPV2又はFSBまで移動し、最初の負の勾配の後、強度値はPV2領域にある。
これら交差領域、AIR−ST、AIR−流動体、及びAIR−便の各々に対して、上記状態が満足されたときに交差が見つかる傾向にある。したがって、交差の検出は、交差状態の任意のセットに適合するか否かを決定するために投影セグメンテーション光線の検査を必要とする。光線の投影は、識別された境界ボクセルの各々に対して行われる。光線は、シードボクセル(この場合、AIRボクセルでない全ての隣接部。)と同一タイプでない26個の接続された隣接部の各々に対する方向で外側に投射される。ステップ1120の光線投影の簡単化された2次元表示を、図16で図式的に示す。図16において、境界ボクセルにBを付し、AIRボクセルにAを付す。
【0039】
セグメンテーション光線が広がると、交差状態のセットの一つに適合するか否かを決定するために、光線が検査される。交差状態の予め設定されたセットの一つに適合された場合、後に説明する補正プロセスを適用することができる。予め設定された光線の距離内で交差状態のセットが満足されない場合、その光線は降ろされる。
【0040】
交差補正プロセスは、部分的なボリュームの影響によって導入される予測された誤差を補正するために予め設定される。図17のグラフに示すように、検出されたAIR−ST交差に対して、光線の最後の2個のボクセルが結腸壁ボクセルとして示され、光線上の残りのボクセルが粘液ボクセルとしてマークされる。これが結腸壁と粘液との間を正確に区別することを意図しない間、任意のポリープを示す結腸壁の内側の輪郭が正確に保存される。図18のグラフに示すように、AIR−流動体交差のボクセルに対して、これらボクセルは、ボクセルにAIR領域の密度を指定することによって除去される。この動作は、結腸の内側から流動体を除去するプロセスを継続する。AIR−便交差に対して、下にある粘液ボクセルの位置を保持し及び補正する間に便ボクセルを除去することを目的とする。これを、図19に示すように光線に沿って便ボクセルを除去するとともに粘液ボクセルを補正位置に移動させることによって行う。
【0041】
交差領域の特定の補正が行われた後、PVI領域の部分的なボリュームボクセルの全てと、PV領域の一部のものとが除去される。残りのものは、FSB範囲の高密度ボクセルと、流動体−ST交差の部分的なボリュームボクセルである。これら最後の状態を補正するために、ステップ1130の容量測定に関するコントラストの増強を行うことができる。容量的なコントラスト増強は、ST領域と除去すべきFSB領域との間のコントラストを増強するために図20のグラフに示した伝達関数を用いる。したがって、ルックアップテーブルの使用のように、ボクセルの元の密度を、再構成された密度(Y軸)に再構成することによって、ST密度に近接する流動体−ST交差のボクセルが、ST領域に移動されるとともに維持され、それに対して、FSB領域に近接した交差のボクセルは、除去のためにFSB領域に移動される。図20のグラフは、好適であるが、所望のコントラスト増強を行うために用いることができる伝達関数の一例であり、他の曲線や、予め設定された勾配を有する直線を用いることもできる。
【0042】
魚眼投影イメージング
通常のコンピュータグラフックスシミュレーションにおいて、3次元ボクセルをコンピュータディスプレイの2次元画像平面に投影するために透視写像が用いられる。図21に示すように、透視投影の結果、制限された視界からの光線が、光源から、画像面上の等間隔で配置された位置に投影される。この結果、歪みが非常に少ない画像が、通常のカメラによって観察されるものに非常に似たものとなる。しかしながら、所定の場合において、更に広いすなわち60°を超える視野をユーザに与える。しかしながら、視野が広がるに従って、画像が歪み始める傾向にある。さらに、180°の視野は、通常の透視投影によって達成することができない。
【0043】
魚眼投影の本アプリケーションを、仮想結腸検査で検査されるポリープの球面の性質のように重大な特徴を保持するよう視野を増大するために仮想検査において用いることができる。図22に示すように、画像光線を等角度間隔に沿って原点から投影することを目的とする。
【0044】
画像平面上へのボクセル(x,y,z)の投影は、前方の観察方向に対する二つの角度(φ,θ)及び垂直ベクトルをそれぞれ算出することによって行われる。ボクセルは、極方向の写像(polar mapping)によって画像座標(u,v)に写像される。
u=φ*cosθ
v=φ*sinθ
それに対して、画像座標(u,v)は、
φ=sqrt((u−uc)^2+(v−vc)^2)
θ=atan((v−vc)/(u−uc))
によって角度(φ,θ)を最初に算出することによって光線に変換される。
光線は、前方観察光線(view forward ray)を上方観察方向(view up direction)の回りでφだけ回転するとともに前方観察方向(view forward direction)の回りでθだけ回転することによって算出される。結果的に得られる光線は、通常のボリュームレンダリングプロセスと同様にボリュームを通じて投影される。先行する計算を、全画像に対する二つの角度(φ,θ)又は対応する回転マトリックスを予め算出することによって更に有効に行うことができる。
【0045】
本発明による方法を、3次元視覚化、ナビゲーション及び検査を行う既知のシステム及び方法に対する向上とまとめることができる。そのようなシステム及び方法は、例えば、参照することによってここに完全に組み込むことができるKaufmanなどによる発明の名称が”System and Method for Performing a Virtual Examination”である米国特許番号第5,971,767号に記載されている。本発明による方法を、パーソナルコンピュータを含む任意の数のコンピュータ処理プラットホーム上で実施することができる。例えば、Windows(登録商標)2000オペレーティングシステムの下で動作するとともに単一の1GHz CPUを有するIBMコンパチブルWintel PCが、一般的にそのようなアプリケーションに適切である。
【0046】
移動断面マーキング
仮想ナビゲーション及び検査に対する更なる向上は、一つ以上の2次元画像に対して現在のナビゲーションを相互参照できる間に3次元環境でナビゲーションできることである。図23を参照すると、本発明は、3次元環境のマーカの表示及びマーカ位置に対応する一つ以上の2次元画像の同時の表示を行う。結腸の3次元表示2205において、スライスマーカ2210は、矢状の断面イメージ215に対応し、スライスマーカ2220は、冠状の断面イメージ2225に対応し、スライスマーカ2230は、軸状の断面イメージ2235に対応する。軸状、冠状及び矢印状のイメージは、患者の軸線に整列される再フォーマット化された2次元イメージである。さらに、スライスマーカ2240は、オブジェクトの中心線に垂直に整列した断面イメージ2245に対応する。
【0047】
図23に示すように、再フォーマット化された断面イメージの各々は、関連のスクロールバー2250を有する。これは、各マーカを3次元イメージの関心がある領域に配置し及びその逆を行う図形的なユーザインタフェースを提供して、2次元イメージ及び3次元イメージが、同期をとりながら関心のある選択された領域を表示することができる。スクロールバー又は他のユーザインタフェースが移動されると、2次元イメージは、再フォーマット化された2次元イメージを新たに選択した位置に表示するよう変化する。さらに、3次元位置のマーカは、現在表示されている選択された断面イメージを反映するよう移動される。したがって、互いに相違する観察及び観察モードの間で仮想的な座標が設定される。
【0048】
3次元イメージウィンドウのスライスマーカに加えて、好適には、各断面ウィンドウが、現在のナビゲーション位置及び3次元オブジェクトの観察方向に対応するナビゲーションマーカ2255を有する。
【0049】
図23において互いに相違する四つの断面イメージ及び関連のスライスマーカを示す間、これら画像の各々をユーザによって選択でき又は選択できないようにするのが好適である。一般に、任意の所定の動作中に一つの断面イメージのみがユーザによって選択される。
【0050】
好適には、スライスマーカ2210,2220,2230,2240は、カラー又は半透明で表示され、これによって、3次元イメージウィンドウのコンテントを不明確にすることなくスライスマーカ2210,2220,2230,2240を3次元表示で区別することができる。仮想オブジェクトの形状がシェーディングの変動によってわかるので、スライスマーカに対応するボクセルのクロミナンス値(カラー)を変更するとともにそのようなボクセルの輝度値を変更しないことによってスライスマーカを表示するのが好ましい。
【0051】
スライスマーカの着色を、ボリュームレンダリングモジュール内のベースとなるボクセルカラーを変更することによって行うことができる。ボリュームレンダリング中、可視のボクセルの各々の2次元スライス平面の各々からの距離が算出される。これは、各平面の各ボクセルに対する平面等式を直接算出することによって行われる。平面等式は、
Ax+By+Cz+D=距離
として表現される。この場合、A,B,C及びDは、3次元における2次元スライス位置を規定する平面等式の係数である。現在のボクセル位置は、(x,y,z)によって与えられる。係数が予め正規化されると、平面上の正確なボクセルは、零に等しい距離値を有し、同時に、平面から所定の距離のボクセルは、平面からの距離に比例するゼロでない値を有する。したがって、ボクセルに対する平面等式を算出した結果、平面からのボクセルの距離となる。平面からの距離の絶対値が、予め設定されたしきい値未満である場合、ボクセルは平面の一部と考えられる。ボクセルが平面内で考えられる場合、ベースとなるカラーは、ボリュームレンダリング中に変更される。
【0052】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
【図面の簡単な説明】
【0053】
【図1】通常の光学的な結腸検査中の可視表面の領域を示す結腸の管腔の線形的な断面図である。
【図2】ナビゲーション中に見失った領域を決定する方法の簡単化されたブロック図である。
【図3】オブジェクトの見失った領域の視覚化を向上するために2次元平面に写像された管腔オブジェクトの平面表示を示す線形図である。
【図4】観察のために「選択したパッチ」に持ってきた仮想的なカメラを示す結腸の管腔の線形的な断面図である。
【図5】仮想的な視覚化アプリケーションの量的な測定を実行するための「測定ディスク」の使用の一例を示す線形図である。
【図6】関心のある領域の径を決定するための測定ディスクの使用の一例を示す線形図である。
【図7】関心のある領域の長さを決定するための測定ディスクの使用の一例を示す線形図である。
【図8】関心のある領域のボリュームを決定するための測定ディスクの使用の一例を示す線形図である。
【図9】関心のある領域の湾曲の角度を決定するための測定ディスクの使用の一例を示す線形図である。
【図10】結腸のCTイメージデータに対する密度プロファイルの一例を示すグラフである。
【図11】本発明のセグメンテーション光線の電子的なセグメンテーションの大要を示すフローチャートである。
【図12】結腸の典型的なCTデータの密度ヒストグラムを示すグラフである。
【図13】結腸内の空気及び軟らかい組織のボクセルの交差の密度プロファイルを示すグラフである。
【図14】結腸内の空気及び流動体ボクセルの交差の密度プロファイルを示すグラフである。
【図15】結腸内の空気及び便ボクセルの交差の密度プロファイルを示すグラフである。
【図16】交差の領域を配置するための境界ボクセルからセグメンテーション光線の簡単化された2次元図形表示である。
【図17】空気−軟らかい組織の交差を検出する光線上のボクセルの分類の図形的な表示である。
【図18】空気−流動体の交差を検出する光線上のボクセルの分類の図形的な表示である。
【図19】空気−便の交差を検出する光線上のボクセルの分類及び再構成の図形的な表示である。
【図20】容量測定に関するコントラスト増強オペレーション中に元の密度から再構成された密度にボクセルを写像するのに使用することができる伝達関数の一例を示すグラフである。
【図21】通常の透視投影におけるイメージ光線の投影を示す図である。
【図22】視野を増大するために等角度の間隔を用いたイメージ光線の投影を示す図である。
【図23】断面マーキングの移動の使用を示す仮想的な検査システムに対するユーザインタフェースの一例の図形的な表示である。
【特許請求の範囲】
【請求項1】
オブジェクトの仮想的な検査を向上する方法であって、
画像データセットのボクセルを、これらボクセルがユーザディスプレイに存在する際に観察されたものとしてマークし、
最初の検査の完了後、観察されたものとしてマークされなかったボクセルを識別し、
予め設定されたしきい値より大きいサイズを有する識別されたボクセルの全ての領域を識別するユーザディスプレイを提供することを特徴とする方法。
【請求項2】
全ての領域を識別するユーザディスプレイを、3次元の閉ざされたオブジェクトの2次元の平坦な投影としたことを特徴とする請求項1記載の方法。
【請求項3】
前記2次元の平坦な投影が、図形的なユーザインタフェースの表示を提供し、ユーザが、観察しなかったボクセルの領域を選択すると、選択された領域における前記3次元の閉ざされたオブジェクトの表示を行うことを特徴とする請求項2記載の方法。
【請求項4】
前記2次元の平坦な投影を、管腔形状の2次元平面へのメルカトル投影とすることを特徴とする請求項2記載の方法。
【請求項5】
全ての見失った領域を識別するユーザディスプレイを、消失した領域のテーブルリストとすることを特徴とする請求項1記載の方法。
【請求項6】
観察されたものとしてのボクセルのマーキングを、ボクセルが表示されたことを表す2値マーキングとすることを特徴とする請求項1記載の方法。
【請求項7】
観察されたものとしてのボクセルのマーキングを、表示された際のボクセルの関与のレベルに対応する複数レベルのマーキングとすることを特徴とする請求項1記載の方法。
【請求項1】
オブジェクトの仮想的な検査を向上する方法であって、
画像データセットのボクセルを、これらボクセルがユーザディスプレイに存在する際に観察されたものとしてマークし、
最初の検査の完了後、観察されたものとしてマークされなかったボクセルを識別し、
予め設定されたしきい値より大きいサイズを有する識別されたボクセルの全ての領域を識別するユーザディスプレイを提供することを特徴とする方法。
【請求項2】
全ての領域を識別するユーザディスプレイを、3次元の閉ざされたオブジェクトの2次元の平坦な投影としたことを特徴とする請求項1記載の方法。
【請求項3】
前記2次元の平坦な投影が、図形的なユーザインタフェースの表示を提供し、ユーザが、観察しなかったボクセルの領域を選択すると、選択された領域における前記3次元の閉ざされたオブジェクトの表示を行うことを特徴とする請求項2記載の方法。
【請求項4】
前記2次元の平坦な投影を、管腔形状の2次元平面へのメルカトル投影とすることを特徴とする請求項2記載の方法。
【請求項5】
全ての見失った領域を識別するユーザディスプレイを、消失した領域のテーブルリストとすることを特徴とする請求項1記載の方法。
【請求項6】
観察されたものとしてのボクセルのマーキングを、ボクセルが表示されたことを表す2値マーキングとすることを特徴とする請求項1記載の方法。
【請求項7】
観察されたものとしてのボクセルのマーキングを、表示された際のボクセルの関与のレベルに対応する複数レベルのマーキングとすることを特徴とする請求項1記載の方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【公開番号】特開2007−236929(P2007−236929A)
【公開日】平成19年9月20日(2007.9.20)
【国際特許分類】
【出願番号】特願2007−35403(P2007−35403)
【出願日】平成19年2月15日(2007.2.15)
【分割の表示】特願2002−533220(P2002−533220)の分割
【原出願日】平成13年10月2日(2001.10.2)
【出願人】(500149094)ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク (3)
【Fターム(参考)】
【公開日】平成19年9月20日(2007.9.20)
【国際特許分類】
【出願日】平成19年2月15日(2007.2.15)
【分割の表示】特願2002−533220(P2002−533220)の分割
【原出願日】平成13年10月2日(2001.10.2)
【出願人】(500149094)ザ リサーチ ファウンデーション オブ ステイト ユニヴァーシティ オブ ニューヨーク (3)
【Fターム(参考)】
[ Back to top ]