ボリュームデータセット内の表面様構造を可視化するための方法及び装置
【課題】デカルト座標系で提供されないボリュームデータセット内の表面様構造を可視化し、それにより既知の照明又はシェーディングモデルの使用を可能にする方法及び装置を提供する。
【解決手段】ボリュームデータセットのサンプル点において局所座標系を定義する段階と、外部パラメータを全体座標系から前記局所座標系に変換する段階と、前記サンプル点の前記局所座標系内の勾配ベクトル成分を計算する段階と、前記勾配ベクトル成分を使用して前記ボリュームデータセットの所定位置における表面法線を計算する段階とを含む。また、前記所定位置における前記全体座標系（ＧＣＳ）からの外部パラメータを、前記サンプル点の前記局所座標系の変換済み外部パラメータを使用することによって計算することが好ましい。
【解決手段】ボリュームデータセットのサンプル点において局所座標系を定義する段階と、外部パラメータを全体座標系から前記局所座標系に変換する段階と、前記サンプル点の前記局所座標系内の勾配ベクトル成分を計算する段階と、前記勾配ベクトル成分を使用して前記ボリュームデータセットの所定位置における表面法線を計算する段階とを含む。また、前記所定位置における前記全体座標系（ＧＣＳ）からの外部パラメータを、前記サンプル点の前記局所座標系の変換済み外部パラメータを使用することによって計算することが好ましい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ボリュームレンダリング等のボリュームデータセット内の表面様構造を可視化し、特に超音波データ取得によるサンプルデータの実時間レンダリングのためにそのような表面様構造を照明するための方法及び装置に関する。本発明は、具体的には、三次元データボリュームから二次元画像をボリュームレンダリングする三次元医用画像化に関する。更に、本発明は、独立クレーム１及び１１に記載された方法及び装置を実施することができるコンピュータプログラム製品に関する。
【背景技術】
【０００２】
三次元超音波イメージングだけなくＣＴ又はＭＲイメージングも、一般にデカルト座標系でない座標系でフォーマットされた三次元データを生成する。そのような非デカルト格子は、例えば人間の心臓の像を取得する例えば超音波プローブの音響格子（acoustic grid）である。体積を表わすそのようなデータは、通常、ボリュームレンダリングされる前にデカルト座標系に沿って走査変換される。走査された物体を表示するときは、物体の表面を表示する必要があり、そのような表面は、「できるだけ自然」に表示されなければならない。それを行う一方法は、仮想外部光源を使用し、そのような外部光源の寄与分をボリュームレンダリング積分に組み込むことである。そのような三次元データセットをレンダリングするためにはそのような三次元シェーディングが使用され、三次元シェーディングにはＯｐｅｎＧＬやＤｉｒｅｃｔＸ等のアプリケーションプログラミングインタフェースが使用される。
【０００３】
Ｂｌｉｎｎ−Ｐｈｏｎｇシェーディングモデル等の照明モデルの場合は、通常、選択された位置におけるシェーディングモデルを評価するために表面法線を定義しなければならない。Ｂｌｉｎｎ−Ｐｈｏｎｇシェーディングモデルは、Ｐｈｏｎｇ反射モデルの改良版であり、表示すべき表面の各点に対して実行される。これや他のシェーディングモデルの場合、通常、拡散反射を計算するために光ベクトルとそのような面の特定位置の表面法線を定義し、また正反射を計算するために更に他のベクトル（視線ベクトル又はカメラベクトル等）を定義しなければならない。
【０００４】
特定位置の表面法線を近似する一般的な方法は、前方差分法、後方差分法、中心差分法等の有限差分法（finite
differencing scheme）を使用することである。ボリュームデータの場合、そのような表面法線は、次のような空間勾配ベクトルとも呼ばれる３つ全ての次元の差分（空間導関数）を使用して計算される。
【０００５】
式１
【０００６】
スカラ場の勾配は、最も大きい変化の方向であり、従って、一定位置における等値面（isosurface）の表面法線は、次のような正規化勾配と等しい。
【０００７】
式２
【０００８】
サンプルデータボリュームの勾配を計算する安価で迅速な方法は、中心差分を計算することであり、隣接格子値（neighbouring grid value）が使用される。これは、本出願の図１に示されている。
【０００９】
図１は、人間の心臓等の走査される物体の二次元断面画像を得るために超音波ビーム等のビーム１を送出している音響プローブの先端Ａを示す。選択されたサンプル点Ｐにおける勾配Ｇを計算するために（ここでは、本発明をよく理解できるように二次元計算だけを示す）、２個の勾配成分Ｇa及びＧbを計算しなければならない。なお、ａとｂは局所（有限）座標系の軸である。
【００１０】
Ｇa＝(ｆ(P+x)−ｆ(Ｐ-x))/２
Ｇb＝(ｆ(P-y)−ｆ(Ｐ+y))/２
式３
【００１１】
三次元ボリュームデータセットでは、６個の位置において、三次元ボリュームデータをサンプリングするｆの値を求めなければならないことは明らかである。シェーディング作業に使用される中心サンプルｆ（Ｐ）を含め、各陰影位置（例えば、三次元ボクセル空間内の各ボクセル）について７個のｆの値を求めなければならない。
【００１２】
先行技術では、各離散位置における勾配ベクトルを事前に計算することによってそのような計算を高速化することは既知である。三次元デカルト座標系において各離散ボクセル位置で差が計算され、元のスカラ値と一緒に４要素ベクトル（Ｇa，Ｇb，Ｇc，ｆ）で記憶される。性能の点では、そのような三次元ボクセル空間内の面をシェーディングするときの参照数が減少する。シェーディングは、勾配ベクトル成分とスカラ値だけを使用することで行われ、事前に計算された４要素ベクトルを使用することによってそれらの位置を照明できる。しかしながら、主な欠点は、データサイズの増大である。ボリュームデータは少なくとも４倍に増え、これは、少ないメモリ量のマシンでは問題になりやすい。
【００１３】
非デカルトデータの場合、空間導関数（勾配）とその結果得られる表面法線の数値計算はもっと複雑になり、照明計算は、全域デカルト座標系に基づき、光源、観察者位置（カメラ位置）等は、そのようなデカルト座標系で与えられる。Ｂｌｉｎｎ−ＰｈｏｎｇやＰｈｏｎｇ等の幾つかのシェーディングモデルは全て、シェーディング計算にデカルト座標系を使用する。
【００１４】
例えばいわゆる音響座標で与えられる超音波データ等の非デカルトデータの場合、Ｂｌｉｎｎ−ＰｈｏｎｇモデルやＰｈｏｎｇ反射モデル等のモデルをそのまま使用することはできず、このために前述のように所定のサンプル位置での勾配ベクトルが使用され、前述の差分法のいずれか使用される。これは座標系がデカルト座標系ではないためである。これは図１にも示されている。軸ａと軸ｂを有する局所座標系は、値ｆ（Ｐ+x）及びｆ（Ｐ-x）がそのような空間内にないため、方向ａの正しい勾配ベクトル成分を提供しない。従って、勾配ベクトルＧを計算するために、最初に三次元データセットを再サンプリングしてデカルト座標系のデータにして勾配成分を計算し、これにより、勾配成分は全域デカルト座標系で提供される。
【００１５】
別の手法が特許文献１に示されており、この特許では、最初に、音響ドメイン内のデータから勾配が決定され、次にデカルト座標又は表示スクリーンドメインに変換される。変換マトリックスは、サンプリングされた三次元音響データ内の各位置ごとに指定される。前述の解決策は、高価なデカルト座標配置（geometry）へのサンプリング段階を必要とする。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】米国特許第７０３７２６３ Ｂ２号
【発明の概要】
【課題を解決するための手段】
【００１７】
従って、本発明の目的は、デカルト座標系で提供されないボリュームデータセット内の表面様構造を可視化し、それにより既知の照明又はシェーディングモデルの使用を可能にする方法及び装置を提供することである。具体的には、本発明は、実時間の画像処理ユニット（ＧＰＵ）を使用した音響格子におけるボリュームレンダリングを行うための高速勾配計算及び表面照明のソリューションを提供するものとする。
【００１８】
本発明は、これらの目的を独立クレーム１及び１１の特徴によって解決する。好ましい利点は、対応するそれぞれの従属クレーム内に定義され請求されている。
【００１９】
本発明の主な利点は、データをデカルト座標配置に再サンプリングしなくてもよいことであり、本発明は、また、計算をより簡単に高速で実行し、それにより既知のシェーディング及び照明モデルの使用を可能にすることである。
【００２０】
本発明の方法は、
ａ）前記ボリュームデータセットのサンプル点（Ｐ）において局所座標系（ＬＣＳi）を定義する段階と、
ｂ）前記サンプル点（Ｐi）の前記局所座標系（ＬＣＳi）内の勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を計算する段階と、
ｃ）前記外部パラメータを全体座標系（ＯＣＳ）から選択されたサンプル点又は基準格子の点における前記局所座標系（ＬＣＳi）に変換する段階と、
ｄ）前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を使用して、前記ボリュームデータセットの所定位置（Ｑ）における表面法線（Ｎ）を計算する段階と、
ｅ）前記選択されたサンプル点又は基準格子の点における前記局所座標系（ＬＣＳi）の変換済み外部パラメータを使用することによって、前記所定位置（Ｑ）における前記全体座標系（ＧＣＳ）からの外部パラメータを計算する段階とを含む。
【００２１】
外部パラメータは、データセットの可視化（ボリュームレンダリング）を決定する位置及び／又は方向をそれぞれ定義する位置座標及び／又はベクトルを含むことが好ましい。外部パラメータは、例えば、１個又は幾つかの光源の位置、観察者位置、レンダリングに使用される光ベクトル、及び／又は観察者のベクトル／方向でよい。
【００２２】
例えば様々な観察者方向から表面構造を可視化するには、これらの外部パラメータを実時間で変更できることが望ましいので、本発明によって提供されるような高速アルゴリズムは重要である。
【００２３】
一実施形態によれば、ボリュームデータセットは、超音波画像診断、コンピュータ断層撮影法、磁気共鳴映像法、ポジトロン放射分光法等の医用画像技術によって取得された。サンプル点は、データセットを構成する点である。
【００２４】
局所座標系は、各サンプル点において、ボリュームデータセットの座標系（例えば、音響座標系）と整合された座標系であることが好ましい。従って、局所座標系は、各サンプル点ごとに僅かに異なり、局所座標系は、サンプル点間で滑らかに変化することが好ましい。
【００２５】
全体座標系は、ボリュームデータセットの位置と向き、並びに１個又は幾つかの光源の位置、観察者の位置、レンダリングに使用される光ベクトル、及び／又は観察者の方向等のボリュームレンダリング段階で必要とされる外部パラメータが全て同一の座標系で定義される座標系である。これは、一般にデカルト座標系であるが、必要条件ではない。
【００２６】
サンプル点の前記局所座標系内の勾配ベクトル成分を計算することによって、サンプル点（及び、対応する勾配ベクトル成分）を全域デカルト座標系に変換する必要はない。実際に、光源又はカメラ若しくは観察者の位置等の外部パラメータは、全体座標系から各サンプル点又は選択されたサンプル点の局所座標系に変換される。外部パラメータのそのような変換は、シェーディングすべき位置でそのような局所座標系を定義することによって可能である。
【００２７】
可能な局所座標系は、接ベクトル空間であり、例えば局所的バンプマッピング計算に使用される。ここで、レンダリングされる物体の表面法線の摂動は、各サンプル点におけるテクスチャマップで参照され、照明計算が行われる前に適用される。それにより、より豊かで細やかな曲面表現が得られる（例えば、Ｐｈｏｎｇシェーディングを参照）。ノーマルマッピングとパララックスマッピングは、最も一般に使用されるバンプマッピング技術である。この場合、局所座標系を定義するために接ベクトル空間がしばしば使用される。
【００２８】
表面の接ベクトル空間を作成するには、３本の垂直軸（即ち、Ｔ，Ｂ，Ｎ）を計算しなければならない。Ｔ（接線ベクトル）は、パラメトリック曲面上でＳ又はＴの増大する方向と平行である。Ｎ（法線ベクトル）は、局所表面と垂直である。Ｂ（従法線）は、ＮとＴの両方に垂直であり、Ｔと同様に表面上にある。これは、表面に付けられ且つシェーディングされるサンプル点と共に移動する「移動座標系」である。
【００２９】
音響座標の場合には、３本の直交軸が、３方向のアジマス、エレベーション及びレンジと位置合わせされることが好ましい。例えば、Ｎはレンジに対応し、Ｔはエレベーションに対応し、Ｓはアジマスに対応する。各サンプル点における局所座標系は、同じように音響座標と整合されることが好ましい。
【００３０】
本発明は、各サンプル点においてそのようなサンプル点の局所座標系内で勾配ベクトル成分が計算される技術を使用する。前記サンプル点は、特殊な座標系である音響格子の格子点であることが好ましく、その理由は、例えば、音響格子の方向の直交軸（例えば、レンジ、エレベーション及びアジマス）を有する少なくとも三次元座標系超音波画像が走査され、次にそのようなサンプル点で局所座標系が定義されるからである。前記局所座標系内の勾配ベクトル成分の計算は、例えば、好ましくは、それぞれの隣接するサンプル点の離散値を用い、サンプル点の有限差分を求めることによって全ての次元の空間導関数を計算することで行うことができる。
【００３１】
前記ボリュームデータセットの所定位置（サンプル点又はそのようなサンプル点間のボクセル）を照明すべき場合は、サンプル点の勾配ベクトル成分を使用することによってそのような所定位置における表面法線を計算することができる。所定位置は、ボリュームレンダリングされた画像を作成するために光反射を計算することが望まれる位置である。可視化又はボリュームレンダリングプロセスが、レイキャスティング法によって行われる場合は、所定位置は、例えばそのような光線上にあり、スライスに基づく方法が使用される場合は、所定位置は、そのようなスライス上の画素位置になる。所定位置の全てではないにしても殆どは、通常、サンプル点と同一でなく、選択されたサンプル点とも基準格子上の点とも同一でない。
【００３２】
本発明の好ましい実施形態によれば、所定位置における前記表面法線は、最初に隣接するサンプル点の非正規化勾配ベクトル成分を補間し、次にその位置の補間された勾配ベクトルを正規化することによって計算される。
【００３３】
次に所定位置における表面法線を計算しなければならないとき、本発明の好ましい実施形態により、例えば８個の隣接するサンプル点の非正規化勾配ベクトル成分を補間することができ、サンプル点は、そのような三次元（ボクセル）空間内のそのような所定位置に隣接している。それにより、計算がサンプル点だけに減少するが、全ての他の（ボクセル）位置は、それぞれの隣接するサンプル点の勾配ベクトル成分を補間することにより計算される。
【００３４】
本発明の重要な様相によれば、所定位置での対応する勾配ベクトルを得るために、これらのサンプル点の正規化勾配ベクトル又は法線ベクトルを補間するのではなく、非正規化勾配ベクトル成分を補間し、後でそのような所定位置で正規化を行なう。
【００３５】
一実施形態によれば、隣接するサンプル点の勾配ベクトル成分間のそのような補間は、勾配ベクトル成分が異なる局所座標系に存在するという事実を考慮せずに行われる。換言すると、補間は、寄与する全てのサンプル点からの勾配ベクトル成分が同一の局所座標系内にあるかのように行われる。この近似は、少なくとも音響座標では座標系の幾何学形状に鋭い変化がなく、即ち隣接するサンプル点の局所座標系の向きは僅かしか相違しないために行うことができる。この状況は、互いに離れたサンプル点を比較しなければならない場合には異なるが、そうでないときは、この手順から生じる不正確さは結果を損なわない。
【００３６】
本発明の別の様相によれば、光源（及び他の外部パラメータ）は、三次元データ格子の幾つかの点における局所座標系に変換される。これらの点は、選択されたサンプル点でもよく、音響格子内で定義されるが音響格子のサンプル点と一致しなくてもよい基準格子の点でもよい。本発明の一実施形態によれば、外部パラメータの局所座標系へ転換／変換は、極めて計算集約的になるので、全てのサンプル点で行われるわけではなく、データセットの幾つかの選択された点（例えば、各次元で３番目〜５０番目ごとサンプル点）又は事前に定義された基準格子の点でのみ行われ、その場合、基準格子は、サンプル点の分解能より低い分解能（例えば、５〜３０分の１）を有する。
【００３７】
外部パラメータのサンプル点又は基準格子上の点の局所座標系への変換は、例えば、全体座標系とそれぞれの局所座標系との間の変換マトリックスを計算し、外部座標をサンプル点又は基準点における局所座標系にマッピングすることによって行われる。
【００３８】
次に、本発明の好ましい実施形態によれば、前記所定位置における前記全体座標系からの外部パラメータを、選択されたサンプル点又は基準格子の点、好ましくは隣接する選択されたサンプル点又は基準格子の隣接する点の前記局所座標系の変換済み外部パラメータを使用することによって計算することもできる。これにより、外部パラメータの各所定位置における局所座標系への変換を計算する必要がなく、前記三次元（音響）データ格子内の選択されたサンプル点に関してそのような計算を行うだけでよいので計算時間が更に短縮される。前述のように、これらのサンプル点は、米国特許出願番号２００５／０２５３８４１ Ａ１に記載されたような事前に定義された基準格子の格子点であってもよい。従って、一実施形態によれば、デカルト（全体座標系）座標配置から音響（局所座標系）座標配置への変換は、全てのサンプル点に関して行われるわけではなく、より粗いレベルで行われる。
【００３９】
一実施形態によれば、所定位置における外部パラメータは、次に、外部パラメータが局所座標系に変換された最も近いサンプル点又は基準格子の点から補間される。これは近似であるが、この場合も、幾何学形状に鋭い変化がないので、補間を使用して十分に滑らかな結果が得られる。
【００４０】
本発明の別の好ましい様相によれば、所定位置のシェーディングは、従来の照明モデルによって行われ、前記所定位置における表面法線は、前記所定位置における前記全体座標系からの計算済み外部パラメータと共に使用される。
【００４１】
本発明によれば、サンプリングされた生の超音波データから導出されたボリュームデータセットを使用することができ、局所座標系内の前記勾配ベクトル成分は、生の超音波データの各サンプル点から計算され、４要素ベクトル（Ｇa，Ｇb，Ｇc，Ｆ）を含む新しいデータセットにサンプル点のスカラ値と一緒に記憶される。任意の所定位置のために、これらの勾配ベクトル成分と隣接するサンプル点のそのようなスカラ値が、次に、所定位置における表面法線を計算するために使用される。その後で、前記サンプル点の局所座標系の変換された外部パラメータは、所定位置における外部パラメータを計算するために使用され、所定位置は、次に、計算済み外部パラメータと計算済み表面法線を使用することによって従来の照明モデルによって照明される。表面法線、光ベクトル、観察者ベクトル（viewers vector）、半正規、反射ベクトル等の関連要素が、各サンプル点の局所座標系内にあり、各所定位置ごとに補間されるので、従来のＢｌｉｎｎ−Ｐｈｏｎｇ照明モデルを使用することができる。
【００４２】
本発明によれば、サンプリングされた生の超音波データは、最初に、グラフィック処理装置（ＧＰＵ）に送られ、次にそこでシェーダー（shader）を使用して計算され、全体座標系から外部パラメータの局所座標系への変換は、例えば、超音波コンピュータシステムのグラフィック処理ユニット（ＧＰＵ）によって実行される。次に、局所座標系内の勾配ベクトル成分が、中心差分、ソーベル演算子又は他の推定量を使用することにより計算される。
【００４３】
本発明は、また、ボリュームデータセット内の表面様構造を可視化するための装置であって、
ａ）前記ボリュームデータセットのサンプル点において局所座標系を定義し、且つ
ｂ）外部パラメータを全体座標系から前記局所座標系に変換するための第１の演算処理装置（ＰＵ１）と、
ｃ）前記サンプル点の前記局所座標系内の勾配ベクトル成分を計算し、且つ
ｄ）前記勾配ベクトル成分を使用して前記ボリュームデータセットの所定位置における表面法線を計算するための第２の演算処理装置（ＰＵ２）とにより可視化するための装置に関する。
【００４４】
両方の演算処理装置（ＰＵ１，ＰＵ２）は、ＣＰＵが照明又はシェーディングに必要な処理時間を最小にするのを支援するグラフィック演算処理装置であることが好ましい。グラフィック処理装置（ＧＰＵ）は、一般に表示スクリーンドメインと同一のデカルト座標系内の計算済み外部パラメータと計算済み表面法線を使用することによって、従来の照明モデルによって照明された所定位置を表示する。この場合、グラフィック処理装置は、一般に、また、所定位置における全体座標系からの外部パラメータを、隣接するサンプル点の局所座標系の変換済み外部パラメータを補間してそのような局所格子点における変換され補間された関連する外部パラメータを得ることによって計算しており、そのような点は、音響格子の点（又は、これらの格子点間の点）、又は米国出願番号２００５／０２５３８４１ Ａ１に記載されたような基準格子の点である。
【００４５】
米国特許出願番号２００５／０２５３８４１ Ａ１は、基準格子（座標系）の変形を三次元データセット内で定義された切断平面の関数として開示している。米国特許出願番号２００５／０２５３８４１ Ａ１は、走査ボリュームを表わす代理幾何学形状（proxy geometry）と切断平面の交点を使用することを提案し、グラフィック処理ユニット（ＧＰＵ）の頂点プロセッサは、次に、基準格子を変形し、デカルト座標とテクスチャ座標を基準格子のそれぞれの格子点に関して決定する。しかしながら、本発明では、格子点をデカルト座標に変換しなくてもよい。
【００４６】
本発明は、また、コンピュータ可読媒体に記憶されたプログラムコードを含むコンピュータプログラム製品であって、そのようなコンピュータプログラム製品がコンピュータ上で実行された場合に前述の方法を実行するコンピュータプログラム製品に関する。
【００４７】
本発明の好ましい実施形態は、添付図面について説明することにより更に詳しく説明される。
【図面の簡単な説明】
【００４８】
【図１】サンプル点Ｐに局所座標系を有する一般的な音響格子を示す図である。
【図２】全体座標系から局所座標系への外部パラメータの変換並びに所定位置Ｑにおける局所光ベクトルＬQの概略計算を示す図である。
【図３】勾配ベクトル成分の補間により表面法線を計算することによって実時間用途のための本発明の実施を示す図である。
【発明を実施するための形態】
【００４９】
図１は、頂点Ａ、ビーム１及びロー２を有する従来の超音波（音響）格子を示し、ビーム１とロー２は、二次元表現の音響座標系（例えば、それぞれレンジとアジマス）を表わす。本発明をよりよく理解するために、図１には第３次元（例えば、球座標系のエレベーション）は示されていない。
【００５０】
前述のように、局所勾配ベクトルＧは、サンプル点Ｐの局所勾配ベクトル成分Ｇa及びＧbによって定義され、これらの成分は、前述のような差分方法によって計算される。
【００５１】
図２は、光源ＬＳ等の外部パラメータの全体座標系ＧＣＳから局所座標系（即ち、第１の局所座標系ＬＣＳ1と第２の局所座標系ＬＣＳ2）への変換を概略的に示し、これらの局所座標系は、図１に示されたような音響格子では第１のサンプル点Ｐ1と第２のサンプル点Ｐ2で定義される。
【００５２】
各サンプル点Ｐiは、局所勾配ベクトル成分Ｇai及びＧbiを有する局所勾配ベクトルＧiを有する。第１のサンプル点Ｐ1は、第１の勾配ベクトル成分Ｇa1と第２の勾配ベクトル成分Ｇb1を有し、第１の局所座標系ＬＣＳ1の軸ｂ1は、ビーム１と平行であり、一方第２の局所座標系軸ａ1は、ロー２の接線ベクトルであり且つ第１の座標系軸ｂ1に垂直である。
【００５３】
第１の局所勾配ベクトルＧ1は、隣接するサンプル点（サンプル点Ｐ2や他のサンプル点等）を使用することにより定義される。この際、中心差分法（式１）等の周知の差分法、ソーベルフィルタ等の離散的畳み込みフィルタリング、又は立方体Ｂスプラインやその派生物等の連続的畳み込みフィルタリング等が使用される（隣接する４ｘ４ｘ４）。
【００５４】
図２は、また、軸ｘ及びｙを有する全体座標系ＧＣＳと、そのような全体座標系ＧＣＳで与えられた光ベクトルＬGを示す。サンプル点Ｐ1，Ｐ2を全体座標系ＧＣＳに再サンプリングする代わりに、光源ＬＳが局所座標系ＬＣＳ1及びＬＣＳ2に変換され、それにより第１の局所光ベクトルＬL1と第２の局所光ベクトルＬL2が得られる。一実施形態によれば、光源等の外部パラメータは、全てのサンプル点の局所座標系に変換されるわけではなく、サンプル点のより粗い格子の局所座標系又は基準格子の点の局所座標系だけに変換される。
【００５５】
図２は、また、所定位置Ｑを示し、そのような所定位置Ｑの局所光ベクトルＬQは、必ずしも光源ＬＳを所定位置Ｑの局所座標系ＬＣＳQに変換することによって計算されるわけではなく、そのような光ベクトルＬQは、サンプル点Ｐ1及びＰ2の第１の局所光ベクトルＬL1及び第２の局所光ベクトルＬL2と、必要に応じて、更に他のサンプル点の更に他の局所光ベクトルを使用することにより計算されることが好ましい。従って、外部パラメータは、音響格子又は前記基準格子の選択された隣接するサンプル点から、既に変換された外部パラメータを補間することによって、所定位置Ｑの局所座標系ＬＣＳQに変換される。
【００５６】
同様に、所定位置Ｑの法線ベクトルＮは、第１のサンプル点Ｐ1の勾配ベクトル成分Ｇa1，Ｇb1及びＧC1並びに第２のサンプル点Ｐ２（図示せず）の勾配ベクトル成分Ｇa2，Ｇb2及びＧc2を使用することによって計算され、従って、座標系又は外部パラメータを変換することにより各所定位置における照明モデルに必要なベクトルを計算しなくてもよく、離散的サンプル点における外部パラメータの変換値を計算し、それぞれのサンプル点Ｐ1の非正規化勾配ベクトル成分を補間することにより所定位置Ｑにおける表面法線Ｎ（及び他のベクトル）を得るだけでよい。この場合も、外部パラメータは、音響格子又は前記基準格子の選択された隣接するサンプル点から、既に変換された外部パラメータを補間することによって、所定位置Ｑの局所座標系ＬＣＳQに変換される。
【００５７】
そのようにして、局所空間内だけで音響格子又は基準格子の格子点でだけの光源ＬＳを計算し、また中間の点又はピクセルについての直線補間を使用することによって、計算コストを削減することができる。それにより、変換計算コストの大部分を削減することができる。何故なら、格子が粗いためである。
【００５８】
本発明は、各所定位置（三次元デカルトボクセル空間内の各ボクセル）における値は補間によって求められることを受け入れることにより、格子（音響格子、基準格子、又はこれらの格子の一部分若しくは組み合わせ）の内の幾つか又は全ての点だけにおいて外部パラメータを変換することによって計算モデルを縮小できる。そのような補間結果は照明計算だけに使用されるので、これは、理にかなった近似であると考えられる。人間の目は、照明の高周波数変化に極めて敏感である（例えば、鋭い縁や硬い切り口は見えやすい）。しかしながら、幾何学形状に鋭い変化がないので、本発明の補間技術を使用することによりかなり滑らかな結果を得ることができる。人間の目は、通常、照明結果の違いに気付かない。
【００５９】
図３は、生命体三次元超音波走査等の実時間用途の本発明の別の好ましい実施形態を示す。実時間用途が必要なとき勾配計算がしばしば障害になる。現在、処理前の（pre-process）勾配がＣＰＵで計算され、後でＧＰＵに転送される。本発明によれば、レンダリング段階で元の生データを転送して予備計算を実行することが可能となった。最新ハードウェアは、三次元ボリュームテクスチャの個別スライスへのそのようなレンダリングを支援する。
【００６０】
図３の段階Ｉに示されたような生データは、最初に、その固有の形式（例えば、１１サンプル当たり８ビット）でＧＰＵに転送される。第２の段階ＩＩで、各サンプルが繰り返され、勾配が計算される。中心差分、ソーベル演算子又は他の推定量を使用することができる。その後で、非正規化勾配成分（Ｇa，Ｇb，Ｇc，Ｆ）が、図３に概略的に示されたような新しい三次元ボリュームで記憶される。ここで、いかなる量子化アーティファクトも回避するために高精度（例えば、１６又は３２ビット浮動）を使用することが好ましい。
【００６１】
本発明によれば、事前計算された勾配をこの段階で正規化するのではなく、その代わりに正規化されていない勾配ベクトル成分を記憶することが有利である。
【００６２】
図３に段階ＩＩＩに示されたように、所定位置Ｑにおける表面法線Ｎは、第１のサンプル点Ｐ1の勾配Ｇ1、第２のサンプル点Ｐ2の勾配Ｇ2、第３のサンプル点Ｐ3の勾配Ｇ3、及び第４のサンプル点Ｐ4の勾配Ｇ4の勾配ベクトル成分を補間することにより計算される。各勾配は、それぞれの勾配ベクトル成分を有し、これらの勾配ベクトル成分は全て所定位置Ｑにおける勾配ベクトルを定義するために使用され、この勾配ベクトルを正規化するだけで表面法線Ｎを得ることができる。
【００６３】
本発明は、使用する方法が基準格子の採用に上手く適合するという利点を有する。何故なら、ピクセルシェーダ段での作業負荷が少なく高性能な実時間勾配レンダリングが得られるためである。更に、全ての照明計算は局所座標系で行われる。音響空間内の勾配ボリュームは、照明が迅速化されるように事前に計算し記憶することが可能である。
【技術分野】
【０００１】
本発明は、ボリュームレンダリング等のボリュームデータセット内の表面様構造を可視化し、特に超音波データ取得によるサンプルデータの実時間レンダリングのためにそのような表面様構造を照明するための方法及び装置に関する。本発明は、具体的には、三次元データボリュームから二次元画像をボリュームレンダリングする三次元医用画像化に関する。更に、本発明は、独立クレーム１及び１１に記載された方法及び装置を実施することができるコンピュータプログラム製品に関する。
【背景技術】
【０００２】
三次元超音波イメージングだけなくＣＴ又はＭＲイメージングも、一般にデカルト座標系でない座標系でフォーマットされた三次元データを生成する。そのような非デカルト格子は、例えば人間の心臓の像を取得する例えば超音波プローブの音響格子（acoustic grid）である。体積を表わすそのようなデータは、通常、ボリュームレンダリングされる前にデカルト座標系に沿って走査変換される。走査された物体を表示するときは、物体の表面を表示する必要があり、そのような表面は、「できるだけ自然」に表示されなければならない。それを行う一方法は、仮想外部光源を使用し、そのような外部光源の寄与分をボリュームレンダリング積分に組み込むことである。そのような三次元データセットをレンダリングするためにはそのような三次元シェーディングが使用され、三次元シェーディングにはＯｐｅｎＧＬやＤｉｒｅｃｔＸ等のアプリケーションプログラミングインタフェースが使用される。
【０００３】
Ｂｌｉｎｎ−Ｐｈｏｎｇシェーディングモデル等の照明モデルの場合は、通常、選択された位置におけるシェーディングモデルを評価するために表面法線を定義しなければならない。Ｂｌｉｎｎ−Ｐｈｏｎｇシェーディングモデルは、Ｐｈｏｎｇ反射モデルの改良版であり、表示すべき表面の各点に対して実行される。これや他のシェーディングモデルの場合、通常、拡散反射を計算するために光ベクトルとそのような面の特定位置の表面法線を定義し、また正反射を計算するために更に他のベクトル（視線ベクトル又はカメラベクトル等）を定義しなければならない。
【０００４】
特定位置の表面法線を近似する一般的な方法は、前方差分法、後方差分法、中心差分法等の有限差分法（finite
differencing scheme）を使用することである。ボリュームデータの場合、そのような表面法線は、次のような空間勾配ベクトルとも呼ばれる３つ全ての次元の差分（空間導関数）を使用して計算される。
【０００５】
式１
【０００６】
スカラ場の勾配は、最も大きい変化の方向であり、従って、一定位置における等値面（isosurface）の表面法線は、次のような正規化勾配と等しい。
【０００７】
式２
【０００８】
サンプルデータボリュームの勾配を計算する安価で迅速な方法は、中心差分を計算することであり、隣接格子値（neighbouring grid value）が使用される。これは、本出願の図１に示されている。
【０００９】
図１は、人間の心臓等の走査される物体の二次元断面画像を得るために超音波ビーム等のビーム１を送出している音響プローブの先端Ａを示す。選択されたサンプル点Ｐにおける勾配Ｇを計算するために（ここでは、本発明をよく理解できるように二次元計算だけを示す）、２個の勾配成分Ｇa及びＧbを計算しなければならない。なお、ａとｂは局所（有限）座標系の軸である。
【００１０】
Ｇa＝(ｆ(P+x)−ｆ(Ｐ-x))/２
Ｇb＝(ｆ(P-y)−ｆ(Ｐ+y))/２
式３
【００１１】
三次元ボリュームデータセットでは、６個の位置において、三次元ボリュームデータをサンプリングするｆの値を求めなければならないことは明らかである。シェーディング作業に使用される中心サンプルｆ（Ｐ）を含め、各陰影位置（例えば、三次元ボクセル空間内の各ボクセル）について７個のｆの値を求めなければならない。
【００１２】
先行技術では、各離散位置における勾配ベクトルを事前に計算することによってそのような計算を高速化することは既知である。三次元デカルト座標系において各離散ボクセル位置で差が計算され、元のスカラ値と一緒に４要素ベクトル（Ｇa，Ｇb，Ｇc，ｆ）で記憶される。性能の点では、そのような三次元ボクセル空間内の面をシェーディングするときの参照数が減少する。シェーディングは、勾配ベクトル成分とスカラ値だけを使用することで行われ、事前に計算された４要素ベクトルを使用することによってそれらの位置を照明できる。しかしながら、主な欠点は、データサイズの増大である。ボリュームデータは少なくとも４倍に増え、これは、少ないメモリ量のマシンでは問題になりやすい。
【００１３】
非デカルトデータの場合、空間導関数（勾配）とその結果得られる表面法線の数値計算はもっと複雑になり、照明計算は、全域デカルト座標系に基づき、光源、観察者位置（カメラ位置）等は、そのようなデカルト座標系で与えられる。Ｂｌｉｎｎ−ＰｈｏｎｇやＰｈｏｎｇ等の幾つかのシェーディングモデルは全て、シェーディング計算にデカルト座標系を使用する。
【００１４】
例えばいわゆる音響座標で与えられる超音波データ等の非デカルトデータの場合、Ｂｌｉｎｎ−ＰｈｏｎｇモデルやＰｈｏｎｇ反射モデル等のモデルをそのまま使用することはできず、このために前述のように所定のサンプル位置での勾配ベクトルが使用され、前述の差分法のいずれか使用される。これは座標系がデカルト座標系ではないためである。これは図１にも示されている。軸ａと軸ｂを有する局所座標系は、値ｆ（Ｐ+x）及びｆ（Ｐ-x）がそのような空間内にないため、方向ａの正しい勾配ベクトル成分を提供しない。従って、勾配ベクトルＧを計算するために、最初に三次元データセットを再サンプリングしてデカルト座標系のデータにして勾配成分を計算し、これにより、勾配成分は全域デカルト座標系で提供される。
【００１５】
別の手法が特許文献１に示されており、この特許では、最初に、音響ドメイン内のデータから勾配が決定され、次にデカルト座標又は表示スクリーンドメインに変換される。変換マトリックスは、サンプリングされた三次元音響データ内の各位置ごとに指定される。前述の解決策は、高価なデカルト座標配置（geometry）へのサンプリング段階を必要とする。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】米国特許第７０３７２６３ Ｂ２号
【発明の概要】
【課題を解決するための手段】
【００１７】
従って、本発明の目的は、デカルト座標系で提供されないボリュームデータセット内の表面様構造を可視化し、それにより既知の照明又はシェーディングモデルの使用を可能にする方法及び装置を提供することである。具体的には、本発明は、実時間の画像処理ユニット（ＧＰＵ）を使用した音響格子におけるボリュームレンダリングを行うための高速勾配計算及び表面照明のソリューションを提供するものとする。
【００１８】
本発明は、これらの目的を独立クレーム１及び１１の特徴によって解決する。好ましい利点は、対応するそれぞれの従属クレーム内に定義され請求されている。
【００１９】
本発明の主な利点は、データをデカルト座標配置に再サンプリングしなくてもよいことであり、本発明は、また、計算をより簡単に高速で実行し、それにより既知のシェーディング及び照明モデルの使用を可能にすることである。
【００２０】
本発明の方法は、
ａ）前記ボリュームデータセットのサンプル点（Ｐ）において局所座標系（ＬＣＳi）を定義する段階と、
ｂ）前記サンプル点（Ｐi）の前記局所座標系（ＬＣＳi）内の勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を計算する段階と、
ｃ）前記外部パラメータを全体座標系（ＯＣＳ）から選択されたサンプル点又は基準格子の点における前記局所座標系（ＬＣＳi）に変換する段階と、
ｄ）前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を使用して、前記ボリュームデータセットの所定位置（Ｑ）における表面法線（Ｎ）を計算する段階と、
ｅ）前記選択されたサンプル点又は基準格子の点における前記局所座標系（ＬＣＳi）の変換済み外部パラメータを使用することによって、前記所定位置（Ｑ）における前記全体座標系（ＧＣＳ）からの外部パラメータを計算する段階とを含む。
【００２１】
外部パラメータは、データセットの可視化（ボリュームレンダリング）を決定する位置及び／又は方向をそれぞれ定義する位置座標及び／又はベクトルを含むことが好ましい。外部パラメータは、例えば、１個又は幾つかの光源の位置、観察者位置、レンダリングに使用される光ベクトル、及び／又は観察者のベクトル／方向でよい。
【００２２】
例えば様々な観察者方向から表面構造を可視化するには、これらの外部パラメータを実時間で変更できることが望ましいので、本発明によって提供されるような高速アルゴリズムは重要である。
【００２３】
一実施形態によれば、ボリュームデータセットは、超音波画像診断、コンピュータ断層撮影法、磁気共鳴映像法、ポジトロン放射分光法等の医用画像技術によって取得された。サンプル点は、データセットを構成する点である。
【００２４】
局所座標系は、各サンプル点において、ボリュームデータセットの座標系（例えば、音響座標系）と整合された座標系であることが好ましい。従って、局所座標系は、各サンプル点ごとに僅かに異なり、局所座標系は、サンプル点間で滑らかに変化することが好ましい。
【００２５】
全体座標系は、ボリュームデータセットの位置と向き、並びに１個又は幾つかの光源の位置、観察者の位置、レンダリングに使用される光ベクトル、及び／又は観察者の方向等のボリュームレンダリング段階で必要とされる外部パラメータが全て同一の座標系で定義される座標系である。これは、一般にデカルト座標系であるが、必要条件ではない。
【００２６】
サンプル点の前記局所座標系内の勾配ベクトル成分を計算することによって、サンプル点（及び、対応する勾配ベクトル成分）を全域デカルト座標系に変換する必要はない。実際に、光源又はカメラ若しくは観察者の位置等の外部パラメータは、全体座標系から各サンプル点又は選択されたサンプル点の局所座標系に変換される。外部パラメータのそのような変換は、シェーディングすべき位置でそのような局所座標系を定義することによって可能である。
【００２７】
可能な局所座標系は、接ベクトル空間であり、例えば局所的バンプマッピング計算に使用される。ここで、レンダリングされる物体の表面法線の摂動は、各サンプル点におけるテクスチャマップで参照され、照明計算が行われる前に適用される。それにより、より豊かで細やかな曲面表現が得られる（例えば、Ｐｈｏｎｇシェーディングを参照）。ノーマルマッピングとパララックスマッピングは、最も一般に使用されるバンプマッピング技術である。この場合、局所座標系を定義するために接ベクトル空間がしばしば使用される。
【００２８】
表面の接ベクトル空間を作成するには、３本の垂直軸（即ち、Ｔ，Ｂ，Ｎ）を計算しなければならない。Ｔ（接線ベクトル）は、パラメトリック曲面上でＳ又はＴの増大する方向と平行である。Ｎ（法線ベクトル）は、局所表面と垂直である。Ｂ（従法線）は、ＮとＴの両方に垂直であり、Ｔと同様に表面上にある。これは、表面に付けられ且つシェーディングされるサンプル点と共に移動する「移動座標系」である。
【００２９】
音響座標の場合には、３本の直交軸が、３方向のアジマス、エレベーション及びレンジと位置合わせされることが好ましい。例えば、Ｎはレンジに対応し、Ｔはエレベーションに対応し、Ｓはアジマスに対応する。各サンプル点における局所座標系は、同じように音響座標と整合されることが好ましい。
【００３０】
本発明は、各サンプル点においてそのようなサンプル点の局所座標系内で勾配ベクトル成分が計算される技術を使用する。前記サンプル点は、特殊な座標系である音響格子の格子点であることが好ましく、その理由は、例えば、音響格子の方向の直交軸（例えば、レンジ、エレベーション及びアジマス）を有する少なくとも三次元座標系超音波画像が走査され、次にそのようなサンプル点で局所座標系が定義されるからである。前記局所座標系内の勾配ベクトル成分の計算は、例えば、好ましくは、それぞれの隣接するサンプル点の離散値を用い、サンプル点の有限差分を求めることによって全ての次元の空間導関数を計算することで行うことができる。
【００３１】
前記ボリュームデータセットの所定位置（サンプル点又はそのようなサンプル点間のボクセル）を照明すべき場合は、サンプル点の勾配ベクトル成分を使用することによってそのような所定位置における表面法線を計算することができる。所定位置は、ボリュームレンダリングされた画像を作成するために光反射を計算することが望まれる位置である。可視化又はボリュームレンダリングプロセスが、レイキャスティング法によって行われる場合は、所定位置は、例えばそのような光線上にあり、スライスに基づく方法が使用される場合は、所定位置は、そのようなスライス上の画素位置になる。所定位置の全てではないにしても殆どは、通常、サンプル点と同一でなく、選択されたサンプル点とも基準格子上の点とも同一でない。
【００３２】
本発明の好ましい実施形態によれば、所定位置における前記表面法線は、最初に隣接するサンプル点の非正規化勾配ベクトル成分を補間し、次にその位置の補間された勾配ベクトルを正規化することによって計算される。
【００３３】
次に所定位置における表面法線を計算しなければならないとき、本発明の好ましい実施形態により、例えば８個の隣接するサンプル点の非正規化勾配ベクトル成分を補間することができ、サンプル点は、そのような三次元（ボクセル）空間内のそのような所定位置に隣接している。それにより、計算がサンプル点だけに減少するが、全ての他の（ボクセル）位置は、それぞれの隣接するサンプル点の勾配ベクトル成分を補間することにより計算される。
【００３４】
本発明の重要な様相によれば、所定位置での対応する勾配ベクトルを得るために、これらのサンプル点の正規化勾配ベクトル又は法線ベクトルを補間するのではなく、非正規化勾配ベクトル成分を補間し、後でそのような所定位置で正規化を行なう。
【００３５】
一実施形態によれば、隣接するサンプル点の勾配ベクトル成分間のそのような補間は、勾配ベクトル成分が異なる局所座標系に存在するという事実を考慮せずに行われる。換言すると、補間は、寄与する全てのサンプル点からの勾配ベクトル成分が同一の局所座標系内にあるかのように行われる。この近似は、少なくとも音響座標では座標系の幾何学形状に鋭い変化がなく、即ち隣接するサンプル点の局所座標系の向きは僅かしか相違しないために行うことができる。この状況は、互いに離れたサンプル点を比較しなければならない場合には異なるが、そうでないときは、この手順から生じる不正確さは結果を損なわない。
【００３６】
本発明の別の様相によれば、光源（及び他の外部パラメータ）は、三次元データ格子の幾つかの点における局所座標系に変換される。これらの点は、選択されたサンプル点でもよく、音響格子内で定義されるが音響格子のサンプル点と一致しなくてもよい基準格子の点でもよい。本発明の一実施形態によれば、外部パラメータの局所座標系へ転換／変換は、極めて計算集約的になるので、全てのサンプル点で行われるわけではなく、データセットの幾つかの選択された点（例えば、各次元で３番目〜５０番目ごとサンプル点）又は事前に定義された基準格子の点でのみ行われ、その場合、基準格子は、サンプル点の分解能より低い分解能（例えば、５〜３０分の１）を有する。
【００３７】
外部パラメータのサンプル点又は基準格子上の点の局所座標系への変換は、例えば、全体座標系とそれぞれの局所座標系との間の変換マトリックスを計算し、外部座標をサンプル点又は基準点における局所座標系にマッピングすることによって行われる。
【００３８】
次に、本発明の好ましい実施形態によれば、前記所定位置における前記全体座標系からの外部パラメータを、選択されたサンプル点又は基準格子の点、好ましくは隣接する選択されたサンプル点又は基準格子の隣接する点の前記局所座標系の変換済み外部パラメータを使用することによって計算することもできる。これにより、外部パラメータの各所定位置における局所座標系への変換を計算する必要がなく、前記三次元（音響）データ格子内の選択されたサンプル点に関してそのような計算を行うだけでよいので計算時間が更に短縮される。前述のように、これらのサンプル点は、米国特許出願番号２００５／０２５３８４１ Ａ１に記載されたような事前に定義された基準格子の格子点であってもよい。従って、一実施形態によれば、デカルト（全体座標系）座標配置から音響（局所座標系）座標配置への変換は、全てのサンプル点に関して行われるわけではなく、より粗いレベルで行われる。
【００３９】
一実施形態によれば、所定位置における外部パラメータは、次に、外部パラメータが局所座標系に変換された最も近いサンプル点又は基準格子の点から補間される。これは近似であるが、この場合も、幾何学形状に鋭い変化がないので、補間を使用して十分に滑らかな結果が得られる。
【００４０】
本発明の別の好ましい様相によれば、所定位置のシェーディングは、従来の照明モデルによって行われ、前記所定位置における表面法線は、前記所定位置における前記全体座標系からの計算済み外部パラメータと共に使用される。
【００４１】
本発明によれば、サンプリングされた生の超音波データから導出されたボリュームデータセットを使用することができ、局所座標系内の前記勾配ベクトル成分は、生の超音波データの各サンプル点から計算され、４要素ベクトル（Ｇa，Ｇb，Ｇc，Ｆ）を含む新しいデータセットにサンプル点のスカラ値と一緒に記憶される。任意の所定位置のために、これらの勾配ベクトル成分と隣接するサンプル点のそのようなスカラ値が、次に、所定位置における表面法線を計算するために使用される。その後で、前記サンプル点の局所座標系の変換された外部パラメータは、所定位置における外部パラメータを計算するために使用され、所定位置は、次に、計算済み外部パラメータと計算済み表面法線を使用することによって従来の照明モデルによって照明される。表面法線、光ベクトル、観察者ベクトル（viewers vector）、半正規、反射ベクトル等の関連要素が、各サンプル点の局所座標系内にあり、各所定位置ごとに補間されるので、従来のＢｌｉｎｎ−Ｐｈｏｎｇ照明モデルを使用することができる。
【００４２】
本発明によれば、サンプリングされた生の超音波データは、最初に、グラフィック処理装置（ＧＰＵ）に送られ、次にそこでシェーダー（shader）を使用して計算され、全体座標系から外部パラメータの局所座標系への変換は、例えば、超音波コンピュータシステムのグラフィック処理ユニット（ＧＰＵ）によって実行される。次に、局所座標系内の勾配ベクトル成分が、中心差分、ソーベル演算子又は他の推定量を使用することにより計算される。
【００４３】
本発明は、また、ボリュームデータセット内の表面様構造を可視化するための装置であって、
ａ）前記ボリュームデータセットのサンプル点において局所座標系を定義し、且つ
ｂ）外部パラメータを全体座標系から前記局所座標系に変換するための第１の演算処理装置（ＰＵ１）と、
ｃ）前記サンプル点の前記局所座標系内の勾配ベクトル成分を計算し、且つ
ｄ）前記勾配ベクトル成分を使用して前記ボリュームデータセットの所定位置における表面法線を計算するための第２の演算処理装置（ＰＵ２）とにより可視化するための装置に関する。
【００４４】
両方の演算処理装置（ＰＵ１，ＰＵ２）は、ＣＰＵが照明又はシェーディングに必要な処理時間を最小にするのを支援するグラフィック演算処理装置であることが好ましい。グラフィック処理装置（ＧＰＵ）は、一般に表示スクリーンドメインと同一のデカルト座標系内の計算済み外部パラメータと計算済み表面法線を使用することによって、従来の照明モデルによって照明された所定位置を表示する。この場合、グラフィック処理装置は、一般に、また、所定位置における全体座標系からの外部パラメータを、隣接するサンプル点の局所座標系の変換済み外部パラメータを補間してそのような局所格子点における変換され補間された関連する外部パラメータを得ることによって計算しており、そのような点は、音響格子の点（又は、これらの格子点間の点）、又は米国出願番号２００５／０２５３８４１ Ａ１に記載されたような基準格子の点である。
【００４５】
米国特許出願番号２００５／０２５３８４１ Ａ１は、基準格子（座標系）の変形を三次元データセット内で定義された切断平面の関数として開示している。米国特許出願番号２００５／０２５３８４１ Ａ１は、走査ボリュームを表わす代理幾何学形状（proxy geometry）と切断平面の交点を使用することを提案し、グラフィック処理ユニット（ＧＰＵ）の頂点プロセッサは、次に、基準格子を変形し、デカルト座標とテクスチャ座標を基準格子のそれぞれの格子点に関して決定する。しかしながら、本発明では、格子点をデカルト座標に変換しなくてもよい。
【００４６】
本発明は、また、コンピュータ可読媒体に記憶されたプログラムコードを含むコンピュータプログラム製品であって、そのようなコンピュータプログラム製品がコンピュータ上で実行された場合に前述の方法を実行するコンピュータプログラム製品に関する。
【００４７】
本発明の好ましい実施形態は、添付図面について説明することにより更に詳しく説明される。
【図面の簡単な説明】
【００４８】
【図１】サンプル点Ｐに局所座標系を有する一般的な音響格子を示す図である。
【図２】全体座標系から局所座標系への外部パラメータの変換並びに所定位置Ｑにおける局所光ベクトルＬQの概略計算を示す図である。
【図３】勾配ベクトル成分の補間により表面法線を計算することによって実時間用途のための本発明の実施を示す図である。
【発明を実施するための形態】
【００４９】
図１は、頂点Ａ、ビーム１及びロー２を有する従来の超音波（音響）格子を示し、ビーム１とロー２は、二次元表現の音響座標系（例えば、それぞれレンジとアジマス）を表わす。本発明をよりよく理解するために、図１には第３次元（例えば、球座標系のエレベーション）は示されていない。
【００５０】
前述のように、局所勾配ベクトルＧは、サンプル点Ｐの局所勾配ベクトル成分Ｇa及びＧbによって定義され、これらの成分は、前述のような差分方法によって計算される。
【００５１】
図２は、光源ＬＳ等の外部パラメータの全体座標系ＧＣＳから局所座標系（即ち、第１の局所座標系ＬＣＳ1と第２の局所座標系ＬＣＳ2）への変換を概略的に示し、これらの局所座標系は、図１に示されたような音響格子では第１のサンプル点Ｐ1と第２のサンプル点Ｐ2で定義される。
【００５２】
各サンプル点Ｐiは、局所勾配ベクトル成分Ｇai及びＧbiを有する局所勾配ベクトルＧiを有する。第１のサンプル点Ｐ1は、第１の勾配ベクトル成分Ｇa1と第２の勾配ベクトル成分Ｇb1を有し、第１の局所座標系ＬＣＳ1の軸ｂ1は、ビーム１と平行であり、一方第２の局所座標系軸ａ1は、ロー２の接線ベクトルであり且つ第１の座標系軸ｂ1に垂直である。
【００５３】
第１の局所勾配ベクトルＧ1は、隣接するサンプル点（サンプル点Ｐ2や他のサンプル点等）を使用することにより定義される。この際、中心差分法（式１）等の周知の差分法、ソーベルフィルタ等の離散的畳み込みフィルタリング、又は立方体Ｂスプラインやその派生物等の連続的畳み込みフィルタリング等が使用される（隣接する４ｘ４ｘ４）。
【００５４】
図２は、また、軸ｘ及びｙを有する全体座標系ＧＣＳと、そのような全体座標系ＧＣＳで与えられた光ベクトルＬGを示す。サンプル点Ｐ1，Ｐ2を全体座標系ＧＣＳに再サンプリングする代わりに、光源ＬＳが局所座標系ＬＣＳ1及びＬＣＳ2に変換され、それにより第１の局所光ベクトルＬL1と第２の局所光ベクトルＬL2が得られる。一実施形態によれば、光源等の外部パラメータは、全てのサンプル点の局所座標系に変換されるわけではなく、サンプル点のより粗い格子の局所座標系又は基準格子の点の局所座標系だけに変換される。
【００５５】
図２は、また、所定位置Ｑを示し、そのような所定位置Ｑの局所光ベクトルＬQは、必ずしも光源ＬＳを所定位置Ｑの局所座標系ＬＣＳQに変換することによって計算されるわけではなく、そのような光ベクトルＬQは、サンプル点Ｐ1及びＰ2の第１の局所光ベクトルＬL1及び第２の局所光ベクトルＬL2と、必要に応じて、更に他のサンプル点の更に他の局所光ベクトルを使用することにより計算されることが好ましい。従って、外部パラメータは、音響格子又は前記基準格子の選択された隣接するサンプル点から、既に変換された外部パラメータを補間することによって、所定位置Ｑの局所座標系ＬＣＳQに変換される。
【００５６】
同様に、所定位置Ｑの法線ベクトルＮは、第１のサンプル点Ｐ1の勾配ベクトル成分Ｇa1，Ｇb1及びＧC1並びに第２のサンプル点Ｐ２（図示せず）の勾配ベクトル成分Ｇa2，Ｇb2及びＧc2を使用することによって計算され、従って、座標系又は外部パラメータを変換することにより各所定位置における照明モデルに必要なベクトルを計算しなくてもよく、離散的サンプル点における外部パラメータの変換値を計算し、それぞれのサンプル点Ｐ1の非正規化勾配ベクトル成分を補間することにより所定位置Ｑにおける表面法線Ｎ（及び他のベクトル）を得るだけでよい。この場合も、外部パラメータは、音響格子又は前記基準格子の選択された隣接するサンプル点から、既に変換された外部パラメータを補間することによって、所定位置Ｑの局所座標系ＬＣＳQに変換される。
【００５７】
そのようにして、局所空間内だけで音響格子又は基準格子の格子点でだけの光源ＬＳを計算し、また中間の点又はピクセルについての直線補間を使用することによって、計算コストを削減することができる。それにより、変換計算コストの大部分を削減することができる。何故なら、格子が粗いためである。
【００５８】
本発明は、各所定位置（三次元デカルトボクセル空間内の各ボクセル）における値は補間によって求められることを受け入れることにより、格子（音響格子、基準格子、又はこれらの格子の一部分若しくは組み合わせ）の内の幾つか又は全ての点だけにおいて外部パラメータを変換することによって計算モデルを縮小できる。そのような補間結果は照明計算だけに使用されるので、これは、理にかなった近似であると考えられる。人間の目は、照明の高周波数変化に極めて敏感である（例えば、鋭い縁や硬い切り口は見えやすい）。しかしながら、幾何学形状に鋭い変化がないので、本発明の補間技術を使用することによりかなり滑らかな結果を得ることができる。人間の目は、通常、照明結果の違いに気付かない。
【００５９】
図３は、生命体三次元超音波走査等の実時間用途の本発明の別の好ましい実施形態を示す。実時間用途が必要なとき勾配計算がしばしば障害になる。現在、処理前の（pre-process）勾配がＣＰＵで計算され、後でＧＰＵに転送される。本発明によれば、レンダリング段階で元の生データを転送して予備計算を実行することが可能となった。最新ハードウェアは、三次元ボリュームテクスチャの個別スライスへのそのようなレンダリングを支援する。
【００６０】
図３の段階Ｉに示されたような生データは、最初に、その固有の形式（例えば、１１サンプル当たり８ビット）でＧＰＵに転送される。第２の段階ＩＩで、各サンプルが繰り返され、勾配が計算される。中心差分、ソーベル演算子又は他の推定量を使用することができる。その後で、非正規化勾配成分（Ｇa，Ｇb，Ｇc，Ｆ）が、図３に概略的に示されたような新しい三次元ボリュームで記憶される。ここで、いかなる量子化アーティファクトも回避するために高精度（例えば、１６又は３２ビット浮動）を使用することが好ましい。
【００６１】
本発明によれば、事前計算された勾配をこの段階で正規化するのではなく、その代わりに正規化されていない勾配ベクトル成分を記憶することが有利である。
【００６２】
図３に段階ＩＩＩに示されたように、所定位置Ｑにおける表面法線Ｎは、第１のサンプル点Ｐ1の勾配Ｇ1、第２のサンプル点Ｐ2の勾配Ｇ2、第３のサンプル点Ｐ3の勾配Ｇ3、及び第４のサンプル点Ｐ4の勾配Ｇ4の勾配ベクトル成分を補間することにより計算される。各勾配は、それぞれの勾配ベクトル成分を有し、これらの勾配ベクトル成分は全て所定位置Ｑにおける勾配ベクトルを定義するために使用され、この勾配ベクトルを正規化するだけで表面法線Ｎを得ることができる。
【００６３】
本発明は、使用する方法が基準格子の採用に上手く適合するという利点を有する。何故なら、ピクセルシェーダ段での作業負荷が少なく高性能な実時間勾配レンダリングが得られるためである。更に、全ての照明計算は局所座標系で行われる。音響空間内の勾配ボリュームは、照明が迅速化されるように事前に計算し記憶することが可能である。
【特許請求の範囲】
【請求項１】
ボリュームデータセット内の表面様構造を可視化する方法であって、可視化は、可視化を定義する位置座標及び／又は方向を含む１組の外部パラメータによって決定され、
ａ）前記ボリュームデータセットのサンプル点（Ｐ）において局所座標系（ＬＣＳi）を定義する段階と、
ｂ）前記サンプル点（Ｐi）の前記局所座標系（ＬＣＳi）内の勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を計算する段階と、
ｃ）前記外部パラメータを全体座標系（ＧＣＳ）から選択されたサンプル点又は基準格子の点における前記局所座標系（ＬＣＳi）に変換する段階と、
ｄ）前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を使用して前記ボリュームデータセットの所定位置（Ｑ）における表面法線（Ｎ）を計算する段階と、
ｅ）前記選択されたサンプル点又は基準格子の点における前記局所座標系（ＬＣＳi）の変形済み外部パラメータを使用することによって、前記所定位置（Ｑ）における前記全体座標系（ＧＣＳ）からの外部パラメータを計算する段階とを含む方法。
【請求項２】
前記所定位置（Ｑ）における前記表面法線（Ｎ）が、最初に隣接するサンプル点（Ｐ）の非正規化勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を補間し、次にそのような位置（Ｑ）における前記補間された勾配ベクトル（Ｇ）を正規化することによって計算される、請求項１に記載の方法。
【請求項３】
前記サンプル点（Ｐ）が、音響格子の格子点であり、前記局所座標系（ＬＣＳi）が少なくとも３本の直交軸を有する、請求項１又は２に記載の方法。
【請求項４】
前記所定位置（Ｑ）が、サンプル点（Ｐ）間の位置であり、前記所定位置（Ｑ）における前記表面法線（Ｎ）が、少なくとも８個の隣接するサンプル点（Ｐ）における非正規化勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を補間することにより計算される、請求項１〜３の何れかに記載の方法。
【請求項５】
空間導関数を好ましくは有限差分法によって全ての次元で計算することによって、前記サンプル点（Ｐi）の前記局所座標系（ＬＣＳi）内の前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を計算する、請求項１〜４の何れかに記載の方法。
【請求項６】
前記所定位置（Ｑ）における前記全体座標系（ＧＣＳ）からの外部パラメータが、最も近い選択されたサンプル点又は基準格子の最も近い点からの変換済み外部パラメータ間で補間することにより計算される、請求項の１〜５の何れかに記載の方法。
【請求項７】
ｇ）前記所定位置（Ｑ）における前記表面法線（Ｎ）と前記所定位置（Ｑ）における前記全体座標系（ＧＣＳ）からの前記計算済み外部パラメータを使用して前記所定位置（Ｑ）を従来の照明モデルによってシェーディングする追加の段階を含む、請求項の１〜６の何れかに記載の方法。
【請求項８】
前記ボリュームデータセットが、サンプリングされた生の超音波データから導出され、前記局所座標系（ＬＣＳi）内の前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）が、前記生の超音波データの各サンプル点（Ｐi）ごとに計算され、前記サンプル点（Ｐi）のスカラ値（Ｆ）と一緒に新しいデータセット（Ｇai，Ｇbi，Ｇci，Ｆ）に記憶され、
任意の所定位置（Ｑ）に関して、前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）と隣接するサンプル点（Ｐ1）の前記スカラ値（Ｆ）が、前記所定位置（Ｑ）における表面法線（Ｎ）を計算するために使用され、
前記選択されたサンプル点又は基準格子の点の前記局所座標系（ＬＣＳｉ）の前記変換済み外部パラメータが、前記所定位置（Ｑ）における外部パラメータを計算するために使用され、前記所定位置（Ｑ）が、前記計算済み外部パラメータと前記計算済み表面法線（Ｎ）を使用することによって従来の照明モデルによって照明される、請求項の１〜７の何れかに記載の方法。
【請求項９】
サンプリングされた生の超音波データが、最初にグラフィック処理装置（ＧＰＵ）に送られ、そこで頂点シェーダ（vertex shader）を使用して計算が行われ、全体座標系（ＧＣＳ）からの外部パラメータの前記局所座標系（ＬＣＳｉ）への前記変換が超音波コンピュータシステムの演算処理装置によって実行される、請求項８に記載の方法。
【請求項１０】
前記局所座標系（ＬＣＳi）内の前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）が、中心差分、ソーベル演算子又は他の推定量を使用して計算される、請求項１〜９のいずれか１項に記載の方法。
【請求項１１】
ボリュームデータセットの表面様構造を可視化するための装置であって、
ａ）前記ボリュームデータセットのサンプル点（Ｐ）において局所座標系（ＬＣＳi）を定義し、且つ
ｂ）外部パラメータを全体座標系（ＧＣＳ）から前記局所座標系（ＬＣＳi）に変換するための第１の演算処理装置（ＰＵ１）と、
ｃ）前記サンプル点（Ｐｉ）の前記局所座標系（ＬＣＳi）内の勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を計算し、且つ、
ｄ）前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を使用して、前記ボリュームデータセットの所定位置（Ｑ）における表面法線（Ｎ）を計算するための第２の演算処理装置（ＰＵ２）とを含む装置。
【請求項１２】
前記グラフィック処理装置（ＧＰＵ）が、前記所定位置（Ｑ）を表示し、前記所定位置（Ｑ）が、前記計算済み外部パラメータと前記計算済み表面法線（Ｎ）を使用することによって、三次元ボリュームレンダリング中に、デカルト座標系で従来の照明モデルによって照明される、請求項１１に記載の装置。
【請求項１３】
前記グラフィック処理装置（ＧＰＵ）が、また、前記所定位置（Ｑ）における前記全体座標系（ＧＣＳ）から外部パラメータを、最も近い選択されたサンプル点又は基準格子の最も近い点の変換された外部パラメータ間を補間することによって計算する、請求項１１又は１２に記載の装置。
【請求項１４】
コンピュータ可読媒体に記憶され且つコンピュータ上で実行された場合に請求項１〜１０の何れかに記載された方法を実行するプログラムコードを含むコンピュータプログラム製品。
【請求項１】
ボリュームデータセット内の表面様構造を可視化する方法であって、可視化は、可視化を定義する位置座標及び／又は方向を含む１組の外部パラメータによって決定され、
ａ）前記ボリュームデータセットのサンプル点（Ｐ）において局所座標系（ＬＣＳi）を定義する段階と、
ｂ）前記サンプル点（Ｐi）の前記局所座標系（ＬＣＳi）内の勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を計算する段階と、
ｃ）前記外部パラメータを全体座標系（ＧＣＳ）から選択されたサンプル点又は基準格子の点における前記局所座標系（ＬＣＳi）に変換する段階と、
ｄ）前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を使用して前記ボリュームデータセットの所定位置（Ｑ）における表面法線（Ｎ）を計算する段階と、
ｅ）前記選択されたサンプル点又は基準格子の点における前記局所座標系（ＬＣＳi）の変形済み外部パラメータを使用することによって、前記所定位置（Ｑ）における前記全体座標系（ＧＣＳ）からの外部パラメータを計算する段階とを含む方法。
【請求項２】
前記所定位置（Ｑ）における前記表面法線（Ｎ）が、最初に隣接するサンプル点（Ｐ）の非正規化勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を補間し、次にそのような位置（Ｑ）における前記補間された勾配ベクトル（Ｇ）を正規化することによって計算される、請求項１に記載の方法。
【請求項３】
前記サンプル点（Ｐ）が、音響格子の格子点であり、前記局所座標系（ＬＣＳi）が少なくとも３本の直交軸を有する、請求項１又は２に記載の方法。
【請求項４】
前記所定位置（Ｑ）が、サンプル点（Ｐ）間の位置であり、前記所定位置（Ｑ）における前記表面法線（Ｎ）が、少なくとも８個の隣接するサンプル点（Ｐ）における非正規化勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を補間することにより計算される、請求項１〜３の何れかに記載の方法。
【請求項５】
空間導関数を好ましくは有限差分法によって全ての次元で計算することによって、前記サンプル点（Ｐi）の前記局所座標系（ＬＣＳi）内の前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を計算する、請求項１〜４の何れかに記載の方法。
【請求項６】
前記所定位置（Ｑ）における前記全体座標系（ＧＣＳ）からの外部パラメータが、最も近い選択されたサンプル点又は基準格子の最も近い点からの変換済み外部パラメータ間で補間することにより計算される、請求項の１〜５の何れかに記載の方法。
【請求項７】
ｇ）前記所定位置（Ｑ）における前記表面法線（Ｎ）と前記所定位置（Ｑ）における前記全体座標系（ＧＣＳ）からの前記計算済み外部パラメータを使用して前記所定位置（Ｑ）を従来の照明モデルによってシェーディングする追加の段階を含む、請求項の１〜６の何れかに記載の方法。
【請求項８】
前記ボリュームデータセットが、サンプリングされた生の超音波データから導出され、前記局所座標系（ＬＣＳi）内の前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）が、前記生の超音波データの各サンプル点（Ｐi）ごとに計算され、前記サンプル点（Ｐi）のスカラ値（Ｆ）と一緒に新しいデータセット（Ｇai，Ｇbi，Ｇci，Ｆ）に記憶され、
任意の所定位置（Ｑ）に関して、前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）と隣接するサンプル点（Ｐ1）の前記スカラ値（Ｆ）が、前記所定位置（Ｑ）における表面法線（Ｎ）を計算するために使用され、
前記選択されたサンプル点又は基準格子の点の前記局所座標系（ＬＣＳｉ）の前記変換済み外部パラメータが、前記所定位置（Ｑ）における外部パラメータを計算するために使用され、前記所定位置（Ｑ）が、前記計算済み外部パラメータと前記計算済み表面法線（Ｎ）を使用することによって従来の照明モデルによって照明される、請求項の１〜７の何れかに記載の方法。
【請求項９】
サンプリングされた生の超音波データが、最初にグラフィック処理装置（ＧＰＵ）に送られ、そこで頂点シェーダ（vertex shader）を使用して計算が行われ、全体座標系（ＧＣＳ）からの外部パラメータの前記局所座標系（ＬＣＳｉ）への前記変換が超音波コンピュータシステムの演算処理装置によって実行される、請求項８に記載の方法。
【請求項１０】
前記局所座標系（ＬＣＳi）内の前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）が、中心差分、ソーベル演算子又は他の推定量を使用して計算される、請求項１〜９のいずれか１項に記載の方法。
【請求項１１】
ボリュームデータセットの表面様構造を可視化するための装置であって、
ａ）前記ボリュームデータセットのサンプル点（Ｐ）において局所座標系（ＬＣＳi）を定義し、且つ
ｂ）外部パラメータを全体座標系（ＧＣＳ）から前記局所座標系（ＬＣＳi）に変換するための第１の演算処理装置（ＰＵ１）と、
ｃ）前記サンプル点（Ｐｉ）の前記局所座標系（ＬＣＳi）内の勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を計算し、且つ、
ｄ）前記勾配ベクトル成分（Ｇai，Ｇbi，Ｇci）を使用して、前記ボリュームデータセットの所定位置（Ｑ）における表面法線（Ｎ）を計算するための第２の演算処理装置（ＰＵ２）とを含む装置。
【請求項１２】
前記グラフィック処理装置（ＧＰＵ）が、前記所定位置（Ｑ）を表示し、前記所定位置（Ｑ）が、前記計算済み外部パラメータと前記計算済み表面法線（Ｎ）を使用することによって、三次元ボリュームレンダリング中に、デカルト座標系で従来の照明モデルによって照明される、請求項１１に記載の装置。
【請求項１３】
前記グラフィック処理装置（ＧＰＵ）が、また、前記所定位置（Ｑ）における前記全体座標系（ＧＣＳ）から外部パラメータを、最も近い選択されたサンプル点又は基準格子の最も近い点の変換された外部パラメータ間を補間することによって計算する、請求項１１又は１２に記載の装置。
【請求項１４】
コンピュータ可読媒体に記憶され且つコンピュータ上で実行された場合に請求項１〜１０の何れかに記載された方法を実行するプログラムコードを含むコンピュータプログラム製品。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−２２１３９５（Ｐ２０１２−２２１３９５Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８８９１０（Ｐ２０１１−８８９１０）
【出願日】平成２３年４月１３日（２０１１．４．１３）
【出願人】（５０６０６５０９１）トムテック イマジング システムズ ゲゼルシャフト ミットべシュレンクテル ハフツンク (8)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１３日（２０１１．４．１３）
【出願人】（５０６０６５０９１）トムテック イマジング システムズ ゲゼルシャフト ミットべシュレンクテル ハフツンク (8)
【Ｆターム（参考）】
[ Back to top ]