医用情報提示装置及び３次元立体モデル製造用の画像処理装置
【課題】対象物の関心領域がその内部にあるときでも、ＲＰモデル表面上の位置指定によってその関心領域が対応する医用画像上で視認できるようにすること。
【解決手段】本発明の医用情報提示装置は、医用情報提示装置１は、ＣＴ装置やＭＲＩ装置その他の医用画像診断装置によって取得された対象物の画像データに基づいて、３次元立体モデルを造形可能な３次元立体モデルデータを生成するボリュームデータ作成部２２と、画像データの画像座標系と、その画像データに基づいて作成された３次元立体モデルの位置の計測座標系とを相互に対応付けるキャリブレーション部４０と、３次元立体モデルの表面上で指定された断面を指定断面とし、前記画像データの中から指定断面に対応する断面を特定するポインティング部５０及びその断面の画像を再構成する画像構成部６０と、指定断面に対応する断面の画像を提示する画像表示部７０とを備えるようにした。
【解決手段】本発明の医用情報提示装置は、医用情報提示装置１は、ＣＴ装置やＭＲＩ装置その他の医用画像診断装置によって取得された対象物の画像データに基づいて、３次元立体モデルを造形可能な３次元立体モデルデータを生成するボリュームデータ作成部２２と、画像データの画像座標系と、その画像データに基づいて作成された３次元立体モデルの位置の計測座標系とを相互に対応付けるキャリブレーション部４０と、３次元立体モデルの表面上で指定された断面を指定断面とし、前記画像データの中から指定断面に対応する断面を特定するポインティング部５０及びその断面の画像を再構成する画像構成部６０と、指定断面に対応する断面の画像を提示する画像表示部７０とを備えるようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医用情報技術に係り、特に、対象物の断面画像情報を提示する医用情報提示装置及び３次元立体モデル製造用の画像処理装置に関する。
【背景技術】
【０００２】
近年、３Ｄ−ＣＡＤ（3D Computer Aided Design）の発達により、製品の内部又は外部のデザインや機構の確認がコンピュータを用いた構造解析で行えるようになっているが、質感や触感などの物理的要素を定量化（再現）するには「３次元立体モデル」が必要となる。
【０００３】
１９９０年代より、3次元ＣＡＤデータから直接的に且つ高速に３次元立体モデルを作成する積層造形法（Rapid Prototyping：RP)の需要が高まり，現在に至っては様々な分野で応用展開されている。
【０００４】
医療の分野においても、ＲＰで作成された３次元立体モデル（ＲＰモデル）が利用されている。ＲＰモデルを用いると、患部の形状や位置を直感的に把握できるようになり、ＣＴ装置やＭＲＩ装置で得られる医用画像のみを用いる場合と比較して術計画をスムーズに行えるからである。
【０００５】
尚、ＣＴ装置やＭＲＩ装置で撮像された医用画像（形体画像）のデータ形式をＲＰで取り扱えるデータ形式に変換するソフトウェアが存在している。又、医用画像データの受領からＲＰモデルの作成といったソリューションサービスの提供のほか、作成したＲＰモデルを術前計画、インフォームドコンセント或いは医療教育に利用することも想定されている。
【０００６】
このＲＰモデルのバリエーションとして、以下に列挙するものが知られている。
１．樹脂や石膏を原料とする有色型のＲＰモデル（非特許文献１参照）。
２．ＲＰモデルを透明素材で作成して内部形状が目で見える透明型のＲＰモデル。
３．ＲＰモデルを部分的に透明素材で作成し且つ用途に応じて部分的な着色を施した部分的有色型のＲＰモデル。
【０００７】
また、ＲＰモデルの観察に利用可能な技術として、以下に列挙する３次元ポインティングの技術が知られている。
１．現実の空間（実空間）を仮想的にボクセル分割し、このボクセル状の実空間にて復数台のカメラで撮像された画像からユーザの位置及びユーザが指し示した方向を抽出し、その指し示した方向のボクセル空間（３次元的な空間）を検出する方法（特許文献１参照）。
２．物体が存在しない実空間と仮想物体が存在する仮想空間を用意しておき、実空間でポインティングデバイスを操作して仮想空間に存在する物体上の各位置を指定する方法（特許文献２参照）。
３．一定方向に磁気モーメントが向くように配置された磁性体を検出対象物体に組み込み、磁性体によって発生する磁界の強さの３次元分布を検知し、その磁界の強さの３次元分布に基づいて対象物体やその対象物体上の各位置を検出する方法（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−３２１９６６号公報
【特許文献２】特開平９−６５２６号公報
【特許文献３】特開平８−２７２５２８号公報
【非特許文献】
【０００９】
【非特許文献１】精密工学会誌 Vol.70, No.2, 2004
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献１の有色型のＲＰモデルは、３次元的な外観形状を正確に把握しやすいが、内部の形状については大まかな把握も難しい。
【００１１】
また、透明型のＲＰモデルは、透明素材で作成された透明のＲＰモデルは、外部の形状把握及び内部の形状把握ともに、大まかな把握は可能であるが正確な把握は難しい。
【００１２】
また、部分的有色型のＲＰモデルは、内部の形状把握が重要であるケースを想定し、ＲＰモデルの外部を透明にして内部を有色にするとともに、その内部については構成パーツごとに異なる色を付けたものである。このＲＰモデルによると、ＲＰモデル内部の各構成パーツの形状が正確に把握できる。但し、このＲＰモデルは、内部の各構成パーツの形状情報以外の情報、例えば、脳外科手術で重要となる脳の運動野や言語野などの機能領域に関わる情報は得られない。又、このＲＰモデルによっても、ＲＰモデル内部の構成パーツの更にその内部、例えば、脳内の腫瘍領域の情報は得られない。
【００１３】
ＲＰモデルの観察に利用可能な技術に関し、特許文献１の方法は、複数台のカメラが必要になるうえ、各カメラのキャリブレーションが難しく且つ実空間のボクセル分割精度も実用的観点から十分でないとされている。
【００１４】
特許文献２の方法は、実空間に物体が存在しないので、物体上の位置（仮想空間内の位置）とポインティング装置で指定した位置（実空間内の位置）の３次元的な関係を直感的に把握することが難しい。仮想空間内の物体と同様の物体を実空間内に用意したとしても、ポインティング装置によって指定した物体断面を確認できないので、物体上の位置とポインティング装置で指定した位置との３次元的な関係を直感的に把握することは難しい。
【００１５】
特許文献３の方法は、位置や形状の把握対象となる物体に磁性体を取り付けるものであり、把握対象が脳やその他の人体である場合は適用困難である。
【００１６】
要するに、各種のＲＰモデル及びその観察技術を如何に組み合わせたとしても、術計画で必要なＲＰモデルの内部情報（腫瘍領域やその周辺の組織性状、言語野などの脳機能的に温存すべき領域など）は、ＲＰモデルを切開し或いはＣＴ撮影することなく把握することができない。特に、組織性状については、何らかの方法でＲＰモデルに組織性状の情報を付加するなどの工夫を必要とし、ＣＴ撮影によっても容易に把握できるものではない。
【００１７】
本発明は上記事情に鑑みてなされたもので、対象物の関心領域がその内部にあるときでも、ＲＰモデル表面上の位置指定によってその関心領域が対応する医用画像上で視認できるようになる医用情報提示装置を提供することを目的とする。
【００１８】
また、本発明は上記事情に鑑みてなされたもので、外部又は内部の領域判別が容易な３次元立体モデルを作成できる３次元立体モデル製造用の画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記課題を解決するため、請求項１記載の本発明に係る医用情報提示装置は、種類の異なる複数の医用画像診断装置によって取得された対象物の３次元画像データに対して、前記３次元画像データに対応する３次元立体モデルを使用して表示領域を指定する第一処理部と、前記３次元画像データの画像座標系と、前記３次元立体モデルに対して定義される計測座標系とを相互に対応付ける第二処理部と、前記３次元立体モデルを用いて指定された領域を指定領域とし、前記３次元画像データの中から前記指定領域に対応する領域を特定し且つその領域の画像を構成する第三処理部と、前記指定領域に対応する領域の画像を提示する第四処理部と、を備えることを特徴とする。
【００２０】
請求項６記載の本発明に係る３次元立体モデル製造用の画像処理装置は、種類の異なる複数の医用画像診断装置によって取得された画像データを用いて対象物のボリュームデータを生成する第一処理部と、前記ボリュームデータのボクセルに対し、対象物の領域種別に応じた固有の識別情報を割り当てる第二処理部と、前記識別情報が割り当てられたボクセルに対し、異なる着色データを割り当てる第三処理部と、前記着色データが割り当てられたボリュームデータに基づいて、対象物の領域種別ごとに異なる色を持つ３次元立体モデルを造形する第四処理部と、を備えることを特徴とする。
【発明の効果】
【００２１】
請求項１記載の本発明によれば、対象物の関心領域がその内部にあるときでも、３次元モデルに対する位置指定によってその関心領域が対応する医用画像を表示して、視認可能にできる。
【００２２】
また、請求項６記載の本発明によれば、外部又は内部の領域判別が容易な３次元立体モデルを作成できる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る医用情報提示装置の実施形態を示す機能ブロック図。
【図２】本発明に係る医用情報提示装置にて実行される医用情報提示処理の流れを示すフローチャート。
【図３】図１のキャリブレーション前処理部にて実行されるマーカーポイント設定処理の説明図。
【図４】図１のキャリブレーション部にて実行されるキャリブレーション処理の説明図。
【図５】図１のポインティング部のバリエーションを示す図。
【図６】図１のポインティング点特定部にて実行されるポインティング点特定処理の説明図。
【図７】図１のポインティング状態提示部にて実行されるポインティング状態提示処理の説明図。
【図８】図１の断面画像構成部にて生成される指定断面画像を示す図。
【図９】図１の画像表示部にて表示されるポインティング支援画像の説明図。
【発明を実施するための形態】
【００２４】
図１は本発明に係る医用情報提示装置の実施形態を示す機能ブロック図であり、図２は本発明に係る医用情報提示装置にて実行される医用情報提示処理の流れを示すフローチャートである。以下、医用情報提示装置１及び医用情報提示処理における各ステップを説明する。
【００２５】
[ステップＳ１０１]
画像入力部１０の形体画像入力部１１は、ＣＴ装置やＭＲＩ装置などの各種医用画像診断装置で撮像された形体画像を読み込み、機能画像入力部１２は、ＭＲＩ装置やＰＥＴ装置で撮像された機能的磁気共鳴画像（Functional MRI）や白質線維化画像（Tractography MRI）などの機能画像を読み込む。
【００２６】
[ステップＳ１０２]
入力画像処理部２０の画像位置合せ部２１は、形体画像入力部１１が読み込んだ形体画像と機能画像入力部１２が読み込んだ機能画像の位置合せを行う。この位置合せは、先ず、形体画像及び機能画像で同様の形状を持って現れる領域（例えば、脳の全体或いは一部）を特徴領域として抽出し、次いで、抽出した特徴領域の方向を画像上で重ね合わせることにより行う。
【００２７】
[ステップＳ１０３]
ボリュームデータ作成部２２は、画像位置合せ部２１で位置合せされた形体画像と機能画像をボクセルに分割し、形体画像と機能画像を３次元立体画像として表示可能なボリュームデータ（Volume Data）を作成する。ボクセルのサイズは、任意に選択でき、例えば画像の解像度維持を重視して、画像撮像時のピクセルサイズと同じ大きさに設定し或いはＲＰモデル作成時に使用する３Ｄ造形プリンタの解像度と同じ大きさに設定する。
【００２８】
[ステップＳ１０４]
形状領域抽出部２３は、ボリュームデータ作成部２２で作成された形体画像のボリュームデータを用い、腫瘍、血管、臓器、その他の形状領域を抽出する。ＲＯＩ（Region Of Interest）やAnnotationも、形状領域と見なして抽出するようにしてもよい。
【００２９】
この形状領域の抽出は、例えば、形体画像のボリュームデータに基づいてＳＶＲ（Shaded Volume Rendering）画像を作成し、ＳＶＲ画像に一般的なSegmentation法を適用することにより、又は、形体画像のボリュームデータの輝度について閾値判定することにより行える。
【００３０】
機能領域抽出部２４は、ボリュームデータ作成部２２で作成された機能画像のボリュームデータを用い、脳の言語野や運動野などの機能領域を抽出する。この機能領域の抽出は、形状領域の抽出と同様の方法で行える。
【００３１】
表面領域抽出部２５は、ボリュームデータ作成部２２で作成された形体画像のボリュームデータを用いて、物体の表面領域を１ボクセル厚で抽出する。この表面領域の抽出は、Segmentation法を用いて物体の全体を抽出し、抽出した領域を１ボクセル単位でErosionし、抽出した領域からErosionした領域を差し引くことにより行える。
【００３２】
[ステップＳ１０５]
表面領域番地付け部２６は、表面領域抽出部２５で抽出された表面領域の各ボクセルに「番地」を割り振る。番地は、表面領域の１つ１つのボクセルの位置を特定できる情報であり、重複しない情報である。
【００３３】
キャリブレーション前処理部２７は、後続するステップで作成されるＲＰモデルの座標系（モデル座標系）と、ＲＰモデル及びこのＲＰモデルの各位置を検出する計測系（後述のポインティング部５０）の座標系（計測座標系）とのキャリブレーションに用いる番地を「マーカーポイント」として設定する。
【００３４】
図３はキャリブレーション前処理部２７にて実行されるマーカーポイント設定処理の説明図である。
マーカーポイントは、表面領域番地付け部２６で割り振られた表面領域の番地のうち、計測座標系においてＲＰモデル設置面と平行な直交２方向（Ｘ軸方向，Ｙ軸方向）と重なる番地とする。マーカーポイントは、ＲＰモデルの設置方向を特定するものであり、例えば、Ｘ軸方向と重なる２つの番地に対して設定されるマーカーポイント（ｘ１，ｘ２）、Ｙ軸方向と重なる２つの番地に対して設定されるマーカーポイント（ｙ１，ｙ２）の計４つである。
【００３５】
[ステップＳ１０６]
ラベリング処理部２８は、先ず、ボリュームデータの形状領域、機能領域、及びマーカーポイント領域（４つのマーカーポイント）に対し、「ラベリング値」を割り振る。
【００３６】
ラベリング値は、血管領域（形状領域）は“１”、腫瘍領域（形状領域）は“２”、正常組織領域（形状領域）は“３”、言語野領域（機能領域）は“４”、運動野領域（機能領域）は“５”、マーカーポイント領域は“６”というように、各領域に対して重複しない固有の値である。但し、同一の領域に対しては、同一の番号が割り振られる。尚、表面領域抽出部２５にて抽出された表面領域もラベリング処理の対象としてもよい。
【００３７】
続いて、ラベリング処理部２８は、形状領域、機能領域、及び表面領域を対照して、互いに重畳している領域（重畳領域）を抽出し、この重畳領域に新たなラベリング値を割り振る。
【００３８】
重畳領域の抽出処理では、ステップＳ１０２の位置合せ処理を経た形体画像及び機能画像で相互に対応している位置のラベリング値を加算し、このラベリング値の加算値が各位置のラベリング値から変化した領域を重畳領域とする。例えば、腫瘍領域（ラベリング値“２”）と言語領域（ラベリング値“４”）が互いに対照されて両ラベリング値が加算され、ラベリング値が“６”となった領域が重畳領域として抽出され新たなラベリング値が割り振られる。一方、加算されたラベリング値が“２”や“４”である領域（ラベリング値が変化しなかった領域）は、重畳領域として抽出されない。尚、このステップＳ１０６において、領域ごとのラベリング値を示すラベリング画像が生成される。
【００３９】
[ステップＳ１０７]
カラー設定部２９は、ラベリング処理部２８で割り当てられたラベリング値で識別される各領域に対して種々の色を設定する。色の設定は、各領域をＲＰモデルとして造形しない領域とＲＰモデルとして造形する領域とに分類し、ＲＰモデルとして造形する領域を対象として行なわれる。色は領域別に異なるものとされ、正常組織領域については透明又は半透明が設定され、その他の領域については領域ごとに透明以外の有色が設定される。
【００４０】
[ステップＳ１０８]
ＲＰモデル作成部３０のＲＰデータ生成部３１は、表面領域番地付け部２６で番地付けされた表面領域、キャリブレーション前処理部２７で設定されたマーカーポイント領域、カラー設定部２９でカラーが設定された各領域（ラベリング値が割り振られた領域）のボリュームデータに基づいてＲＰモデル作成用のデータ（ＲＰデータ）を生成する。即ち、ＲＰデータ生成部３１は、各領域のボリュームデータのデータ形式をＲＰモデル造形部３２（例えば、３次元造形プリンタ）の仕様に応じたデータ形式に変換する。
【００４１】
又、ＲＰデータにあっては、マーカーポイント領域の色が計測座標系の座標軸ごとに異なる色に設定される。例えば、図３に示すマーカーポイント（Ｘ１，Ｘ２）については赤色、マーカーポイント（Ｙ１，Ｙ２）については青色というように色分けされ、キャリブレーションの便宜が図られる。
【００４２】
尚、このＲＰデータは、表面領域番地付け部２６で割り振られた表面領域の番地を保有するものでもよい。加えて、ＲＰデータは、基準位置からの距離が分かる目印（例えば、丸印や突起）がＲＰモデルの表面に付する情報を保有するものでもよい。尚、ステップＳ１０８において、ＲＰデータに基づくＲＰモデルの画像が生成される。ＲＰモデルの画像は、形体画像及び機能画像とは異なり、腫瘍領域、正常組織領域、言語野領域、マーカーポイント領域などの各領域を色分けして表示する。
【００４３】
[ステップＳ１０９]
ＲＰモデル造形部３２は、ＲＰデータ生成部３１で生成されたＲＰデータに基づき、３次元造形プリンタを用いてＲＰモデルを作成する。要するに、ＲＰモデル造形部３２は、腫瘍領域、正常組織領域、言語野領域、マーカーポイント領域などの各領域によって色分けされた対象物の３次元立体モデルを作成する。
【００４４】
[ステップＳ１１０]
このステップＳ１１０に先立ち、先ず、ユーザはＲＰモデル造形部３２で作成されたＲＰモデルを計測系に配置する。即ち、ユーザは、ＲＰモデルに印された計４つのマーカーポイントのうち２つを計測座標系のＸ軸上に重ねて他の２つのマーカーポイントを計測座標系のＹ軸と重ねることによりＲＰモデルの方向を設定して固定する。尚、計測座標系のＸ軸及びＹ軸とで形成される面は、ＲＰモデルの設置面と平行である。
【００４５】
ＲＰモデルが固定された後、キャリブレーション部４０の基準位置取得部４１は、計測座標系に固定されたＲＰモデルのマーカーポイントの計測座標系における座標を取得する。尚、マーカーポイントの座標取得で必要となるマーカーポイントの検出は、磁気センシング手段、その他の一般的な方法でよい。
【００４６】
[ステップＳ１１１]
キャリブレーション実行部４２は、基準位置取得部４１で取得したマーカーポイントの座標を用い、画像座標系（形体画像及び機能画像のボリュームデータの座標系）と計測系の座標系（計測座標系）とを対応づけるキャリブレーションを行う。
【００４７】
図４はキャリブレーションの概念図である。キャリブレーションは、マーカーポイントを指標として、先ず、画像座標系でマーカーポイントから延びる各ボクセルまでの相対的な位置ベクトル（α）を特定する。
【００４８】
次いで、計測座標系において、計測座標系の基準位置からＲＰモデル上のマーカーポイントまで延びる相対的な位置ベクトル（β）を特定する。こうして、画像座標系の位置ベクトル（α）と計測座標系の位置ベクトル（β）の差により、計測座標系において各ボクセルの位置を特定できるようにする。即ち、位置ベクトル（β）は、画像座標系から計測座標系へと変換する座標変化マトリックスとして用いられる。尚、座標変換マトリックスは、その他の方法で作成してもよい。
【００４９】
医用画像診断装置で撮像された画像は、固有の画像座標系を持っている。このステップでは、画像座標系を計測座標系に変換するための変換マトリックスを算出する。
【００５０】
（算出の例）
ＰＩ＝ＩＴＣ・ＰＣ
ＰＣ＝ＩＴ−１Ｃ・ＰＩ
ＩＴＣ：計測座標系から画像座標系への変換マトリックス
ＩＴ−１Ｃ：画像座標系から計測座標系への変換マトリックス
ＰＩ：画像座標系の任意の点の座標（例えば、マーカーポイントの座標：ｘ’1, ｘ’2, ｙ’1, ｙ’2）
ＰＣ：計測座標系の任意の点の座標（例えば、マーカーポイントの座標：ｘ’1, ｘ’2, ｙ’1, ｙ’2）
【００５１】
[ステップＳ１１２]
ポインティング部５０のセンサ部５１は、ユーザの操作を受けてＲＰモデルの任意の点を指示するものである。このセンサ部５１は、ポインタ５１１、センサ５１２、及びトランスミッタ５１３を主要な構成としている。
【００５２】
ポインタ５１１は、ユーザにより操作され、ユーザの意思でＲＰモデルの任意位置を指定できるように構成される。センサ５１２はポインタ５１１によって指定されたＲＰモデルの位置を判断し、トランスミッタ５１３はポインタ５１１の制御信号を生成する。
【００５３】
図５はポインタ５１１のバリエーションを示す図である。
ポインタ５１１は、Ｌｉｎｅ型レーザーポインタ（図５（ａ））、平面型レーザーポインタ（図５（ｂ））、ペン型ポインタ（図５（ｃ））など各種のタイプを採用できる。
【００５４】
Ｌｉｎｅ型レーザーポインタは、平面状に且つ放射状にレーザー光線を放射し、ＲＰモデルを切断するようにレーザー照射する。センサ５１２は、平面状レーザーの照射によって特定されたＲＰモデルの表面上の３点（ＲＰモデルの断面指定可能な点）を検出する。
【００５５】
平面型レーザーポインタは、平面状に且つ放射状にレーザー光線を放射し、ＲＰモデルを切断するように照射する。センサ５１２は、同様に平面状レーザーによって照射されたＲＰモデル表面上の指定３点を検出する。
【００５６】
ペン型ポインタは、ＲＰモデル表面上の指定３点に物理的に触れるものである。センサ５１２は、ペン型ポインタと触れたＲＰモデル表面上の指定３点を検出する。
【００５７】
[ステップＳ１１３]
図６はポインティング点特定部５２にて実行される形体画像及び機能画像のポインティング点特定処理の説明図である。ポインティング点特定部５２は、センサ部５１のセンサ５１２で検出された指定３点と、キャリブレーション部４０で作成した変換マトリクスとを用いて、検出されたＲＰモデル表面上の指定３点に対応する形体画像及び機能画像の座標（ボクセルの位置）を特定する。
【００５８】
ここで、ステップＳ１１２においてユーザにＲＰモデル表面の１点を指定させて且つその１点を通る断面の方向を指定させるようにし、ポインティング点特定部５２は、ユーザが指定した断面上の２点を自動的に算出することで、必要な指定点（計３点）を特定するようにしてもよい。この場合、指定１点を通る断面の方向検出は、例えば、ユーザによって取り扱われるポインタ５１１の位置及び向きや、レーザーの照射位置及び照射方向を用いてもよい。
【００５９】
[ステップＳ１１４]
ポインティング状態提示部５３は、ステップＳ１１３の処理と並行し、ステップＳ１１２で指定された３点で定まるＲＰモデルの断面（位置や方向）の指定状況を視認できるように提示する。
【００６０】
図７はポインティング状態提示部５３にて実行されるポインティング提示処理の説明図である。ポインティング状態提示部５３は、ボリュームレンダリングにより生成された形体画像をモニタ上で３次元立体表示し、ユーザにより行われるポインタ５１１等を用いた断面指定の状況をリアルタイムで且つ任意方向から同モニタに表示するように構成される。この表示は、例えば、ＲＰモデルの画像とレーザーの照射位置や照射方向の画像の合成処理により行われる。
【００６１】
[ステップＳ１１５]
画像構成部６０の断面画像構成部６１は、ポインティング点特定部５２で特定されたＲＰモデル表面上の指定３点の座標に基づき、その指定３点の座標で定まる形体画像及び機能画像（ボリュームデータ）の断面に含まれるボクセル群の座標を特定する。そして、断面画像構成部６１は、特定した指定３点の座標に基づき、形体画像及び機能画像の指定断面の画像（図８参照）を構成する。
【００６２】
[ステップＳ１１６]
ポインティング支援部６２は、断面画像構成部６１と同様に指定３点の座標で定まる形体画像及び機能画像（ボリュームデータ）の断面に含まれるボクセル群の座標を特定する。そして、ポインティング支援部６２は、特定したボクセル群の座標（指定断面）を現状断面とし、この現状断面（現状位置）を目標断面（目標位置）とともに表示するとともに、現状断面と目標断面との差を数値又はグラフィック表示により提示するポインティング支援画像を作成する。目標断面は、ＲＰモデル上に予め設定される断面であり、例えば、腫瘍領域に割り当てられたラベリング値が分布する領域を考慮して設定される。
【００６３】
ポインティング支援画像は、現状断面と目標断面の差を数値で示す場合は、直交３方向（Ｘ，Ｙ，Ｚ）の各方向ごとの差で示し（図９参照）、それをグラフィックで示す場合は、現状断面と目標断面を同時にグラフィック表示することで示す（図９照）。
【００６４】
[ステップＳ１１７〜ステップＳ１２１]
画像表示部７０は、ステップＳ１０６で生成されたラベリング画像、ステップＳ１０８で生成されたＲＰモデル画像、キャリブレーション空間画像、ステップＳ１１５で生成された指定断面画像、ステップＳ１１６で生成されたポインティング支援画像などの各種画像を表示する。尚、キャリブレーション空間画像は、例えばステップＳ１１１で生成され、キャリブレーションを行う計測系の空間及びその空間内でのＲＰモデルの位置を提示する画像である。
【００６５】
（効果）
（１）医用情報提示装置１は、ＣＴ装置やＭＲＩ装置その他の医用画像診断装置によって取得された対象物の画像データに基づいて、３次元立体モデルを造形可能な３次元立体モデルデータを生成するボリュームデータ作成部２２（第一処理部）と、画像データの画像座標系と、その画像データに基づいて作成された３次元立体モデルの位置の計測座標系とを相互に対応付けるキャリブレーション部４０（第二処理部）と、３次元立体モデルの表面上で指定された断面を指定断面とし、前記画像データの中から指定断面に対応する断面を特定するポインティング部５０及びその断面の画像を再構成する画像構成部６０（第三処理部）と、指定断面に対応する断面の画像を提示する画像表示部７０（第四処理部）とを備える。このため、対象物の関心領域がその内部にあるときでも、ＲＰモデル表面上の位置指定によって対象物の関心領域が視認できるようになる。
【００６６】
（２）ボリュームデータ作成部２２は、ユーザの要求に従い、画像表示部７０で表示される画像の提示方向を指定するマーカーポイントを画像データに設定し、キャリブレーション部４０は、ボリュームデータ作成部２２で設定されたマーカーポイントの座標を利用して、画像座標系と計測座標系を相互に変換する変換マトリックスを生成し、画像構成部６０は、その変換マトリックスを用いて、指定断面に対応する断面を特定する。即ち、画像の提示方向の指定に必要となる処理を利用して、画像座標系と計測座標系の変換に必要となる処理が共有化されるので、（１）の効果に加えて、処理の簡素化が図られる。
【００６７】
（３）ポインティング部５０は、ＲＰモデルの表面上で３点が指定されたとき、その３点で定まる断面を指定断面と判断し、ＲＰモデルの表面上で１点が指定され且つ断面方向が指定されたとき、その１点と断面方向で定まる断面を指定断面と判断する。即ち、ユーザがＲＰモデル表面上の３点を指定するだけで、その指定３点で定まる断面が指定断面として自動的に決定される。従って、（１）又は（２）の効果に加えて、断面指定の操作が軽快となり、術計画の負担が緩和される。
【００６８】
（４）レーザー光を用いてＲＰモデルの表面上の点を指定でき、そのレーザー光及びそのレーザー光によって指定されている指定断面の状況を視覚的に提示するポインティング状態提示部５３及びポインティング支援部６２（第五処理部）を備えている。このため、（１）〜（３）の何れかの効果に加え、断面指定の操作を直感的且つ容易に行えるようになり、断面の指定を正確に且つ容易に行えるようになる。
【００６９】
（５）画像表示部７０は、画像データに基づいて対象物の３次元立体画像を表示するとともに、その３次元立体画像と重ね合わせて、指定断面の状況を提示する。このため、（１）〜（４）の何れかの効果に加え、断面の指定を正確に且つ容易に行えるようになる。
【００７０】
（６）ＣＴ装置やＭＲＩ装置その他の医用画像診断装置によって取得された画像データを用いて対象物のボリュームデータを生成するボリュームデータ作成部２２（第一処理部）と、そのボリュームデータのボクセルに対し、対象物の領域種別に応じた固有の識別情報を割り当てるラベリング処理部２８（第二処理部）と、識別情報が割り当てられたボクセルに対し、異なる着色データを割り当てるカラー設定部２９（第三処理部）と、着色データが割り当てられたボリュームデータに基づいて、対象物の領域種別ごとに異なる色を持つ３次元立体モデルを造形するＲＰモデル作成部３０（第四処理部）とを備える。このため、各々の領域を判別しやすいＲＰモデルを作成できる。
【００７１】
（７）ボリュームデータ作成部２２は、対象物の空間的境界を示す形体画像データと機能的境界を示す機能画像データの位置を対応付けて形状−機能画像データを生成するとともに、この形状−機能画像データを用いて対象物のボリュームデータを生成し、ラベリング処理部２８は、このボリュームデータのボクセルに対し、対象物の各形状領域および各機能領域に応じた固有の識別情報を割り当てる。このため、各々の形状領域及び機能領域を判別しやすいＲＰモデルを作成できる。
【符号の説明】
【００７２】
１……医用情報提示装置， １０……画像入力部， １１……形体画像入力部， １２……機能画像入力部， ２０……入力画像処理部， ２１……画像位置合せ部， ２２……ボリュームデータ作成部， ２３……形状領域抽出部， ２４……機能領域抽出部， ２５……表面領域抽出部， ２６……表面領域番地付け部， ２７……キャリブレーション前処理部， ２８……ラベリング処理部， ２９……カラー設定部， ３０……ＲＰモデル作成部， ３１……ＲＰデータ生成部， ３２……ＲＰモデル造形部， ４０……キャリブレーション部， ４１……基準位置取得部， ４２……キャリブレーション実行部， ５０……ポインティング部， ５１……センサ部， ５１１……ポインタ， ５１２……センサ， ５１３……トランスミッタ， ５２……ポインティング点特定部， ５３……ポインティング状態提示部， ６０……画像構成部， ６１……断面画像構成部， ６２……ポインティング支援部， ７０……画像表示部．
【技術分野】
【０００１】
本発明は、医用情報技術に係り、特に、対象物の断面画像情報を提示する医用情報提示装置及び３次元立体モデル製造用の画像処理装置に関する。
【背景技術】
【０００２】
近年、３Ｄ−ＣＡＤ（3D Computer Aided Design）の発達により、製品の内部又は外部のデザインや機構の確認がコンピュータを用いた構造解析で行えるようになっているが、質感や触感などの物理的要素を定量化（再現）するには「３次元立体モデル」が必要となる。
【０００３】
１９９０年代より、3次元ＣＡＤデータから直接的に且つ高速に３次元立体モデルを作成する積層造形法（Rapid Prototyping：RP)の需要が高まり，現在に至っては様々な分野で応用展開されている。
【０００４】
医療の分野においても、ＲＰで作成された３次元立体モデル（ＲＰモデル）が利用されている。ＲＰモデルを用いると、患部の形状や位置を直感的に把握できるようになり、ＣＴ装置やＭＲＩ装置で得られる医用画像のみを用いる場合と比較して術計画をスムーズに行えるからである。
【０００５】
尚、ＣＴ装置やＭＲＩ装置で撮像された医用画像（形体画像）のデータ形式をＲＰで取り扱えるデータ形式に変換するソフトウェアが存在している。又、医用画像データの受領からＲＰモデルの作成といったソリューションサービスの提供のほか、作成したＲＰモデルを術前計画、インフォームドコンセント或いは医療教育に利用することも想定されている。
【０００６】
このＲＰモデルのバリエーションとして、以下に列挙するものが知られている。
１．樹脂や石膏を原料とする有色型のＲＰモデル（非特許文献１参照）。
２．ＲＰモデルを透明素材で作成して内部形状が目で見える透明型のＲＰモデル。
３．ＲＰモデルを部分的に透明素材で作成し且つ用途に応じて部分的な着色を施した部分的有色型のＲＰモデル。
【０００７】
また、ＲＰモデルの観察に利用可能な技術として、以下に列挙する３次元ポインティングの技術が知られている。
１．現実の空間（実空間）を仮想的にボクセル分割し、このボクセル状の実空間にて復数台のカメラで撮像された画像からユーザの位置及びユーザが指し示した方向を抽出し、その指し示した方向のボクセル空間（３次元的な空間）を検出する方法（特許文献１参照）。
２．物体が存在しない実空間と仮想物体が存在する仮想空間を用意しておき、実空間でポインティングデバイスを操作して仮想空間に存在する物体上の各位置を指定する方法（特許文献２参照）。
３．一定方向に磁気モーメントが向くように配置された磁性体を検出対象物体に組み込み、磁性体によって発生する磁界の強さの３次元分布を検知し、その磁界の強さの３次元分布に基づいて対象物体やその対象物体上の各位置を検出する方法（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−３２１９６６号公報
【特許文献２】特開平９−６５２６号公報
【特許文献３】特開平８−２７２５２８号公報
【非特許文献】
【０００９】
【非特許文献１】精密工学会誌 Vol.70, No.2, 2004
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献１の有色型のＲＰモデルは、３次元的な外観形状を正確に把握しやすいが、内部の形状については大まかな把握も難しい。
【００１１】
また、透明型のＲＰモデルは、透明素材で作成された透明のＲＰモデルは、外部の形状把握及び内部の形状把握ともに、大まかな把握は可能であるが正確な把握は難しい。
【００１２】
また、部分的有色型のＲＰモデルは、内部の形状把握が重要であるケースを想定し、ＲＰモデルの外部を透明にして内部を有色にするとともに、その内部については構成パーツごとに異なる色を付けたものである。このＲＰモデルによると、ＲＰモデル内部の各構成パーツの形状が正確に把握できる。但し、このＲＰモデルは、内部の各構成パーツの形状情報以外の情報、例えば、脳外科手術で重要となる脳の運動野や言語野などの機能領域に関わる情報は得られない。又、このＲＰモデルによっても、ＲＰモデル内部の構成パーツの更にその内部、例えば、脳内の腫瘍領域の情報は得られない。
【００１３】
ＲＰモデルの観察に利用可能な技術に関し、特許文献１の方法は、複数台のカメラが必要になるうえ、各カメラのキャリブレーションが難しく且つ実空間のボクセル分割精度も実用的観点から十分でないとされている。
【００１４】
特許文献２の方法は、実空間に物体が存在しないので、物体上の位置（仮想空間内の位置）とポインティング装置で指定した位置（実空間内の位置）の３次元的な関係を直感的に把握することが難しい。仮想空間内の物体と同様の物体を実空間内に用意したとしても、ポインティング装置によって指定した物体断面を確認できないので、物体上の位置とポインティング装置で指定した位置との３次元的な関係を直感的に把握することは難しい。
【００１５】
特許文献３の方法は、位置や形状の把握対象となる物体に磁性体を取り付けるものであり、把握対象が脳やその他の人体である場合は適用困難である。
【００１６】
要するに、各種のＲＰモデル及びその観察技術を如何に組み合わせたとしても、術計画で必要なＲＰモデルの内部情報（腫瘍領域やその周辺の組織性状、言語野などの脳機能的に温存すべき領域など）は、ＲＰモデルを切開し或いはＣＴ撮影することなく把握することができない。特に、組織性状については、何らかの方法でＲＰモデルに組織性状の情報を付加するなどの工夫を必要とし、ＣＴ撮影によっても容易に把握できるものではない。
【００１７】
本発明は上記事情に鑑みてなされたもので、対象物の関心領域がその内部にあるときでも、ＲＰモデル表面上の位置指定によってその関心領域が対応する医用画像上で視認できるようになる医用情報提示装置を提供することを目的とする。
【００１８】
また、本発明は上記事情に鑑みてなされたもので、外部又は内部の領域判別が容易な３次元立体モデルを作成できる３次元立体モデル製造用の画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記課題を解決するため、請求項１記載の本発明に係る医用情報提示装置は、種類の異なる複数の医用画像診断装置によって取得された対象物の３次元画像データに対して、前記３次元画像データに対応する３次元立体モデルを使用して表示領域を指定する第一処理部と、前記３次元画像データの画像座標系と、前記３次元立体モデルに対して定義される計測座標系とを相互に対応付ける第二処理部と、前記３次元立体モデルを用いて指定された領域を指定領域とし、前記３次元画像データの中から前記指定領域に対応する領域を特定し且つその領域の画像を構成する第三処理部と、前記指定領域に対応する領域の画像を提示する第四処理部と、を備えることを特徴とする。
【００２０】
請求項６記載の本発明に係る３次元立体モデル製造用の画像処理装置は、種類の異なる複数の医用画像診断装置によって取得された画像データを用いて対象物のボリュームデータを生成する第一処理部と、前記ボリュームデータのボクセルに対し、対象物の領域種別に応じた固有の識別情報を割り当てる第二処理部と、前記識別情報が割り当てられたボクセルに対し、異なる着色データを割り当てる第三処理部と、前記着色データが割り当てられたボリュームデータに基づいて、対象物の領域種別ごとに異なる色を持つ３次元立体モデルを造形する第四処理部と、を備えることを特徴とする。
【発明の効果】
【００２１】
請求項１記載の本発明によれば、対象物の関心領域がその内部にあるときでも、３次元モデルに対する位置指定によってその関心領域が対応する医用画像を表示して、視認可能にできる。
【００２２】
また、請求項６記載の本発明によれば、外部又は内部の領域判別が容易な３次元立体モデルを作成できる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る医用情報提示装置の実施形態を示す機能ブロック図。
【図２】本発明に係る医用情報提示装置にて実行される医用情報提示処理の流れを示すフローチャート。
【図３】図１のキャリブレーション前処理部にて実行されるマーカーポイント設定処理の説明図。
【図４】図１のキャリブレーション部にて実行されるキャリブレーション処理の説明図。
【図５】図１のポインティング部のバリエーションを示す図。
【図６】図１のポインティング点特定部にて実行されるポインティング点特定処理の説明図。
【図７】図１のポインティング状態提示部にて実行されるポインティング状態提示処理の説明図。
【図８】図１の断面画像構成部にて生成される指定断面画像を示す図。
【図９】図１の画像表示部にて表示されるポインティング支援画像の説明図。
【発明を実施するための形態】
【００２４】
図１は本発明に係る医用情報提示装置の実施形態を示す機能ブロック図であり、図２は本発明に係る医用情報提示装置にて実行される医用情報提示処理の流れを示すフローチャートである。以下、医用情報提示装置１及び医用情報提示処理における各ステップを説明する。
【００２５】
[ステップＳ１０１]
画像入力部１０の形体画像入力部１１は、ＣＴ装置やＭＲＩ装置などの各種医用画像診断装置で撮像された形体画像を読み込み、機能画像入力部１２は、ＭＲＩ装置やＰＥＴ装置で撮像された機能的磁気共鳴画像（Functional MRI）や白質線維化画像（Tractography MRI）などの機能画像を読み込む。
【００２６】
[ステップＳ１０２]
入力画像処理部２０の画像位置合せ部２１は、形体画像入力部１１が読み込んだ形体画像と機能画像入力部１２が読み込んだ機能画像の位置合せを行う。この位置合せは、先ず、形体画像及び機能画像で同様の形状を持って現れる領域（例えば、脳の全体或いは一部）を特徴領域として抽出し、次いで、抽出した特徴領域の方向を画像上で重ね合わせることにより行う。
【００２７】
[ステップＳ１０３]
ボリュームデータ作成部２２は、画像位置合せ部２１で位置合せされた形体画像と機能画像をボクセルに分割し、形体画像と機能画像を３次元立体画像として表示可能なボリュームデータ（Volume Data）を作成する。ボクセルのサイズは、任意に選択でき、例えば画像の解像度維持を重視して、画像撮像時のピクセルサイズと同じ大きさに設定し或いはＲＰモデル作成時に使用する３Ｄ造形プリンタの解像度と同じ大きさに設定する。
【００２８】
[ステップＳ１０４]
形状領域抽出部２３は、ボリュームデータ作成部２２で作成された形体画像のボリュームデータを用い、腫瘍、血管、臓器、その他の形状領域を抽出する。ＲＯＩ（Region Of Interest）やAnnotationも、形状領域と見なして抽出するようにしてもよい。
【００２９】
この形状領域の抽出は、例えば、形体画像のボリュームデータに基づいてＳＶＲ（Shaded Volume Rendering）画像を作成し、ＳＶＲ画像に一般的なSegmentation法を適用することにより、又は、形体画像のボリュームデータの輝度について閾値判定することにより行える。
【００３０】
機能領域抽出部２４は、ボリュームデータ作成部２２で作成された機能画像のボリュームデータを用い、脳の言語野や運動野などの機能領域を抽出する。この機能領域の抽出は、形状領域の抽出と同様の方法で行える。
【００３１】
表面領域抽出部２５は、ボリュームデータ作成部２２で作成された形体画像のボリュームデータを用いて、物体の表面領域を１ボクセル厚で抽出する。この表面領域の抽出は、Segmentation法を用いて物体の全体を抽出し、抽出した領域を１ボクセル単位でErosionし、抽出した領域からErosionした領域を差し引くことにより行える。
【００３２】
[ステップＳ１０５]
表面領域番地付け部２６は、表面領域抽出部２５で抽出された表面領域の各ボクセルに「番地」を割り振る。番地は、表面領域の１つ１つのボクセルの位置を特定できる情報であり、重複しない情報である。
【００３３】
キャリブレーション前処理部２７は、後続するステップで作成されるＲＰモデルの座標系（モデル座標系）と、ＲＰモデル及びこのＲＰモデルの各位置を検出する計測系（後述のポインティング部５０）の座標系（計測座標系）とのキャリブレーションに用いる番地を「マーカーポイント」として設定する。
【００３４】
図３はキャリブレーション前処理部２７にて実行されるマーカーポイント設定処理の説明図である。
マーカーポイントは、表面領域番地付け部２６で割り振られた表面領域の番地のうち、計測座標系においてＲＰモデル設置面と平行な直交２方向（Ｘ軸方向，Ｙ軸方向）と重なる番地とする。マーカーポイントは、ＲＰモデルの設置方向を特定するものであり、例えば、Ｘ軸方向と重なる２つの番地に対して設定されるマーカーポイント（ｘ１，ｘ２）、Ｙ軸方向と重なる２つの番地に対して設定されるマーカーポイント（ｙ１，ｙ２）の計４つである。
【００３５】
[ステップＳ１０６]
ラベリング処理部２８は、先ず、ボリュームデータの形状領域、機能領域、及びマーカーポイント領域（４つのマーカーポイント）に対し、「ラベリング値」を割り振る。
【００３６】
ラベリング値は、血管領域（形状領域）は“１”、腫瘍領域（形状領域）は“２”、正常組織領域（形状領域）は“３”、言語野領域（機能領域）は“４”、運動野領域（機能領域）は“５”、マーカーポイント領域は“６”というように、各領域に対して重複しない固有の値である。但し、同一の領域に対しては、同一の番号が割り振られる。尚、表面領域抽出部２５にて抽出された表面領域もラベリング処理の対象としてもよい。
【００３７】
続いて、ラベリング処理部２８は、形状領域、機能領域、及び表面領域を対照して、互いに重畳している領域（重畳領域）を抽出し、この重畳領域に新たなラベリング値を割り振る。
【００３８】
重畳領域の抽出処理では、ステップＳ１０２の位置合せ処理を経た形体画像及び機能画像で相互に対応している位置のラベリング値を加算し、このラベリング値の加算値が各位置のラベリング値から変化した領域を重畳領域とする。例えば、腫瘍領域（ラベリング値“２”）と言語領域（ラベリング値“４”）が互いに対照されて両ラベリング値が加算され、ラベリング値が“６”となった領域が重畳領域として抽出され新たなラベリング値が割り振られる。一方、加算されたラベリング値が“２”や“４”である領域（ラベリング値が変化しなかった領域）は、重畳領域として抽出されない。尚、このステップＳ１０６において、領域ごとのラベリング値を示すラベリング画像が生成される。
【００３９】
[ステップＳ１０７]
カラー設定部２９は、ラベリング処理部２８で割り当てられたラベリング値で識別される各領域に対して種々の色を設定する。色の設定は、各領域をＲＰモデルとして造形しない領域とＲＰモデルとして造形する領域とに分類し、ＲＰモデルとして造形する領域を対象として行なわれる。色は領域別に異なるものとされ、正常組織領域については透明又は半透明が設定され、その他の領域については領域ごとに透明以外の有色が設定される。
【００４０】
[ステップＳ１０８]
ＲＰモデル作成部３０のＲＰデータ生成部３１は、表面領域番地付け部２６で番地付けされた表面領域、キャリブレーション前処理部２７で設定されたマーカーポイント領域、カラー設定部２９でカラーが設定された各領域（ラベリング値が割り振られた領域）のボリュームデータに基づいてＲＰモデル作成用のデータ（ＲＰデータ）を生成する。即ち、ＲＰデータ生成部３１は、各領域のボリュームデータのデータ形式をＲＰモデル造形部３２（例えば、３次元造形プリンタ）の仕様に応じたデータ形式に変換する。
【００４１】
又、ＲＰデータにあっては、マーカーポイント領域の色が計測座標系の座標軸ごとに異なる色に設定される。例えば、図３に示すマーカーポイント（Ｘ１，Ｘ２）については赤色、マーカーポイント（Ｙ１，Ｙ２）については青色というように色分けされ、キャリブレーションの便宜が図られる。
【００４２】
尚、このＲＰデータは、表面領域番地付け部２６で割り振られた表面領域の番地を保有するものでもよい。加えて、ＲＰデータは、基準位置からの距離が分かる目印（例えば、丸印や突起）がＲＰモデルの表面に付する情報を保有するものでもよい。尚、ステップＳ１０８において、ＲＰデータに基づくＲＰモデルの画像が生成される。ＲＰモデルの画像は、形体画像及び機能画像とは異なり、腫瘍領域、正常組織領域、言語野領域、マーカーポイント領域などの各領域を色分けして表示する。
【００４３】
[ステップＳ１０９]
ＲＰモデル造形部３２は、ＲＰデータ生成部３１で生成されたＲＰデータに基づき、３次元造形プリンタを用いてＲＰモデルを作成する。要するに、ＲＰモデル造形部３２は、腫瘍領域、正常組織領域、言語野領域、マーカーポイント領域などの各領域によって色分けされた対象物の３次元立体モデルを作成する。
【００４４】
[ステップＳ１１０]
このステップＳ１１０に先立ち、先ず、ユーザはＲＰモデル造形部３２で作成されたＲＰモデルを計測系に配置する。即ち、ユーザは、ＲＰモデルに印された計４つのマーカーポイントのうち２つを計測座標系のＸ軸上に重ねて他の２つのマーカーポイントを計測座標系のＹ軸と重ねることによりＲＰモデルの方向を設定して固定する。尚、計測座標系のＸ軸及びＹ軸とで形成される面は、ＲＰモデルの設置面と平行である。
【００４５】
ＲＰモデルが固定された後、キャリブレーション部４０の基準位置取得部４１は、計測座標系に固定されたＲＰモデルのマーカーポイントの計測座標系における座標を取得する。尚、マーカーポイントの座標取得で必要となるマーカーポイントの検出は、磁気センシング手段、その他の一般的な方法でよい。
【００４６】
[ステップＳ１１１]
キャリブレーション実行部４２は、基準位置取得部４１で取得したマーカーポイントの座標を用い、画像座標系（形体画像及び機能画像のボリュームデータの座標系）と計測系の座標系（計測座標系）とを対応づけるキャリブレーションを行う。
【００４７】
図４はキャリブレーションの概念図である。キャリブレーションは、マーカーポイントを指標として、先ず、画像座標系でマーカーポイントから延びる各ボクセルまでの相対的な位置ベクトル（α）を特定する。
【００４８】
次いで、計測座標系において、計測座標系の基準位置からＲＰモデル上のマーカーポイントまで延びる相対的な位置ベクトル（β）を特定する。こうして、画像座標系の位置ベクトル（α）と計測座標系の位置ベクトル（β）の差により、計測座標系において各ボクセルの位置を特定できるようにする。即ち、位置ベクトル（β）は、画像座標系から計測座標系へと変換する座標変化マトリックスとして用いられる。尚、座標変換マトリックスは、その他の方法で作成してもよい。
【００４９】
医用画像診断装置で撮像された画像は、固有の画像座標系を持っている。このステップでは、画像座標系を計測座標系に変換するための変換マトリックスを算出する。
【００５０】
（算出の例）
ＰＩ＝ＩＴＣ・ＰＣ
ＰＣ＝ＩＴ−１Ｃ・ＰＩ
ＩＴＣ：計測座標系から画像座標系への変換マトリックス
ＩＴ−１Ｃ：画像座標系から計測座標系への変換マトリックス
ＰＩ：画像座標系の任意の点の座標（例えば、マーカーポイントの座標：ｘ’1, ｘ’2, ｙ’1, ｙ’2）
ＰＣ：計測座標系の任意の点の座標（例えば、マーカーポイントの座標：ｘ’1, ｘ’2, ｙ’1, ｙ’2）
【００５１】
[ステップＳ１１２]
ポインティング部５０のセンサ部５１は、ユーザの操作を受けてＲＰモデルの任意の点を指示するものである。このセンサ部５１は、ポインタ５１１、センサ５１２、及びトランスミッタ５１３を主要な構成としている。
【００５２】
ポインタ５１１は、ユーザにより操作され、ユーザの意思でＲＰモデルの任意位置を指定できるように構成される。センサ５１２はポインタ５１１によって指定されたＲＰモデルの位置を判断し、トランスミッタ５１３はポインタ５１１の制御信号を生成する。
【００５３】
図５はポインタ５１１のバリエーションを示す図である。
ポインタ５１１は、Ｌｉｎｅ型レーザーポインタ（図５（ａ））、平面型レーザーポインタ（図５（ｂ））、ペン型ポインタ（図５（ｃ））など各種のタイプを採用できる。
【００５４】
Ｌｉｎｅ型レーザーポインタは、平面状に且つ放射状にレーザー光線を放射し、ＲＰモデルを切断するようにレーザー照射する。センサ５１２は、平面状レーザーの照射によって特定されたＲＰモデルの表面上の３点（ＲＰモデルの断面指定可能な点）を検出する。
【００５５】
平面型レーザーポインタは、平面状に且つ放射状にレーザー光線を放射し、ＲＰモデルを切断するように照射する。センサ５１２は、同様に平面状レーザーによって照射されたＲＰモデル表面上の指定３点を検出する。
【００５６】
ペン型ポインタは、ＲＰモデル表面上の指定３点に物理的に触れるものである。センサ５１２は、ペン型ポインタと触れたＲＰモデル表面上の指定３点を検出する。
【００５７】
[ステップＳ１１３]
図６はポインティング点特定部５２にて実行される形体画像及び機能画像のポインティング点特定処理の説明図である。ポインティング点特定部５２は、センサ部５１のセンサ５１２で検出された指定３点と、キャリブレーション部４０で作成した変換マトリクスとを用いて、検出されたＲＰモデル表面上の指定３点に対応する形体画像及び機能画像の座標（ボクセルの位置）を特定する。
【００５８】
ここで、ステップＳ１１２においてユーザにＲＰモデル表面の１点を指定させて且つその１点を通る断面の方向を指定させるようにし、ポインティング点特定部５２は、ユーザが指定した断面上の２点を自動的に算出することで、必要な指定点（計３点）を特定するようにしてもよい。この場合、指定１点を通る断面の方向検出は、例えば、ユーザによって取り扱われるポインタ５１１の位置及び向きや、レーザーの照射位置及び照射方向を用いてもよい。
【００５９】
[ステップＳ１１４]
ポインティング状態提示部５３は、ステップＳ１１３の処理と並行し、ステップＳ１１２で指定された３点で定まるＲＰモデルの断面（位置や方向）の指定状況を視認できるように提示する。
【００６０】
図７はポインティング状態提示部５３にて実行されるポインティング提示処理の説明図である。ポインティング状態提示部５３は、ボリュームレンダリングにより生成された形体画像をモニタ上で３次元立体表示し、ユーザにより行われるポインタ５１１等を用いた断面指定の状況をリアルタイムで且つ任意方向から同モニタに表示するように構成される。この表示は、例えば、ＲＰモデルの画像とレーザーの照射位置や照射方向の画像の合成処理により行われる。
【００６１】
[ステップＳ１１５]
画像構成部６０の断面画像構成部６１は、ポインティング点特定部５２で特定されたＲＰモデル表面上の指定３点の座標に基づき、その指定３点の座標で定まる形体画像及び機能画像（ボリュームデータ）の断面に含まれるボクセル群の座標を特定する。そして、断面画像構成部６１は、特定した指定３点の座標に基づき、形体画像及び機能画像の指定断面の画像（図８参照）を構成する。
【００６２】
[ステップＳ１１６]
ポインティング支援部６２は、断面画像構成部６１と同様に指定３点の座標で定まる形体画像及び機能画像（ボリュームデータ）の断面に含まれるボクセル群の座標を特定する。そして、ポインティング支援部６２は、特定したボクセル群の座標（指定断面）を現状断面とし、この現状断面（現状位置）を目標断面（目標位置）とともに表示するとともに、現状断面と目標断面との差を数値又はグラフィック表示により提示するポインティング支援画像を作成する。目標断面は、ＲＰモデル上に予め設定される断面であり、例えば、腫瘍領域に割り当てられたラベリング値が分布する領域を考慮して設定される。
【００６３】
ポインティング支援画像は、現状断面と目標断面の差を数値で示す場合は、直交３方向（Ｘ，Ｙ，Ｚ）の各方向ごとの差で示し（図９参照）、それをグラフィックで示す場合は、現状断面と目標断面を同時にグラフィック表示することで示す（図９照）。
【００６４】
[ステップＳ１１７〜ステップＳ１２１]
画像表示部７０は、ステップＳ１０６で生成されたラベリング画像、ステップＳ１０８で生成されたＲＰモデル画像、キャリブレーション空間画像、ステップＳ１１５で生成された指定断面画像、ステップＳ１１６で生成されたポインティング支援画像などの各種画像を表示する。尚、キャリブレーション空間画像は、例えばステップＳ１１１で生成され、キャリブレーションを行う計測系の空間及びその空間内でのＲＰモデルの位置を提示する画像である。
【００６５】
（効果）
（１）医用情報提示装置１は、ＣＴ装置やＭＲＩ装置その他の医用画像診断装置によって取得された対象物の画像データに基づいて、３次元立体モデルを造形可能な３次元立体モデルデータを生成するボリュームデータ作成部２２（第一処理部）と、画像データの画像座標系と、その画像データに基づいて作成された３次元立体モデルの位置の計測座標系とを相互に対応付けるキャリブレーション部４０（第二処理部）と、３次元立体モデルの表面上で指定された断面を指定断面とし、前記画像データの中から指定断面に対応する断面を特定するポインティング部５０及びその断面の画像を再構成する画像構成部６０（第三処理部）と、指定断面に対応する断面の画像を提示する画像表示部７０（第四処理部）とを備える。このため、対象物の関心領域がその内部にあるときでも、ＲＰモデル表面上の位置指定によって対象物の関心領域が視認できるようになる。
【００６６】
（２）ボリュームデータ作成部２２は、ユーザの要求に従い、画像表示部７０で表示される画像の提示方向を指定するマーカーポイントを画像データに設定し、キャリブレーション部４０は、ボリュームデータ作成部２２で設定されたマーカーポイントの座標を利用して、画像座標系と計測座標系を相互に変換する変換マトリックスを生成し、画像構成部６０は、その変換マトリックスを用いて、指定断面に対応する断面を特定する。即ち、画像の提示方向の指定に必要となる処理を利用して、画像座標系と計測座標系の変換に必要となる処理が共有化されるので、（１）の効果に加えて、処理の簡素化が図られる。
【００６７】
（３）ポインティング部５０は、ＲＰモデルの表面上で３点が指定されたとき、その３点で定まる断面を指定断面と判断し、ＲＰモデルの表面上で１点が指定され且つ断面方向が指定されたとき、その１点と断面方向で定まる断面を指定断面と判断する。即ち、ユーザがＲＰモデル表面上の３点を指定するだけで、その指定３点で定まる断面が指定断面として自動的に決定される。従って、（１）又は（２）の効果に加えて、断面指定の操作が軽快となり、術計画の負担が緩和される。
【００６８】
（４）レーザー光を用いてＲＰモデルの表面上の点を指定でき、そのレーザー光及びそのレーザー光によって指定されている指定断面の状況を視覚的に提示するポインティング状態提示部５３及びポインティング支援部６２（第五処理部）を備えている。このため、（１）〜（３）の何れかの効果に加え、断面指定の操作を直感的且つ容易に行えるようになり、断面の指定を正確に且つ容易に行えるようになる。
【００６９】
（５）画像表示部７０は、画像データに基づいて対象物の３次元立体画像を表示するとともに、その３次元立体画像と重ね合わせて、指定断面の状況を提示する。このため、（１）〜（４）の何れかの効果に加え、断面の指定を正確に且つ容易に行えるようになる。
【００７０】
（６）ＣＴ装置やＭＲＩ装置その他の医用画像診断装置によって取得された画像データを用いて対象物のボリュームデータを生成するボリュームデータ作成部２２（第一処理部）と、そのボリュームデータのボクセルに対し、対象物の領域種別に応じた固有の識別情報を割り当てるラベリング処理部２８（第二処理部）と、識別情報が割り当てられたボクセルに対し、異なる着色データを割り当てるカラー設定部２９（第三処理部）と、着色データが割り当てられたボリュームデータに基づいて、対象物の領域種別ごとに異なる色を持つ３次元立体モデルを造形するＲＰモデル作成部３０（第四処理部）とを備える。このため、各々の領域を判別しやすいＲＰモデルを作成できる。
【００７１】
（７）ボリュームデータ作成部２２は、対象物の空間的境界を示す形体画像データと機能的境界を示す機能画像データの位置を対応付けて形状−機能画像データを生成するとともに、この形状−機能画像データを用いて対象物のボリュームデータを生成し、ラベリング処理部２８は、このボリュームデータのボクセルに対し、対象物の各形状領域および各機能領域に応じた固有の識別情報を割り当てる。このため、各々の形状領域及び機能領域を判別しやすいＲＰモデルを作成できる。
【符号の説明】
【００７２】
１……医用情報提示装置， １０……画像入力部， １１……形体画像入力部， １２……機能画像入力部， ２０……入力画像処理部， ２１……画像位置合せ部， ２２……ボリュームデータ作成部， ２３……形状領域抽出部， ２４……機能領域抽出部， ２５……表面領域抽出部， ２６……表面領域番地付け部， ２７……キャリブレーション前処理部， ２８……ラベリング処理部， ２９……カラー設定部， ３０……ＲＰモデル作成部， ３１……ＲＰデータ生成部， ３２……ＲＰモデル造形部， ４０……キャリブレーション部， ４１……基準位置取得部， ４２……キャリブレーション実行部， ５０……ポインティング部， ５１……センサ部， ５１１……ポインタ， ５１２……センサ， ５１３……トランスミッタ， ５２……ポインティング点特定部， ５３……ポインティング状態提示部， ６０……画像構成部， ６１……断面画像構成部， ６２……ポインティング支援部， ７０……画像表示部．
【特許請求の範囲】
【請求項１】
種類の異なる複数の医用画像診断装置によって取得された対象物の３次元画像データに対して、前記３次元画像データに対応する３次元立体モデルを使用して表示領域を指定する第一処理部と、
前記３次元画像データの画像座標系と、前記３次元立体モデルに対して定義される計測座標系とを相互に対応付ける第二処理部と、
前記３次元立体モデルを用いて指定された領域を指定領域とし、前記３次元画像データの中から前記指定領域に対応する領域を特定し且つその領域の画像を構成する第三処理部と、
前記指定領域に対応する領域の画像を提示する第四処理部と、
を備えることを特徴とする医用情報提示装置。
【請求項２】
請求項１に記載の医用情報提示装置において、
前記第一処理部は、ユーザの要求に従い、第四処理部で表示される画像の提示方向を指定するマーカーポイントを画像データに設定し、
前記第二処理部は、第一処理部で設定されたマーカーポイントの座標を利用して、前記画像座標系と前記計測座標系を相互に変換する変換マトリックスを生成し、
前記第三処理部は、前記変換マトリックスを用いて、前記指定領域に対応する領域を特定することを特徴とする医用情報提示装置。
【請求項３】
請求項１又は２に記載の医用情報提示装置において、
前記第三処理部は、３次元立体モデルの表面上で３点が指定されたとき、その３点で定まる断面を前記指定領域と判断し、３次元立体モデルの表面上で１点が指定され且つ断面方向が指定されたとき、その１点と前記断面方向で定まる断面を前記指定領域と判断することを特徴とする医用情報提示装置。
【請求項４】
請求項１ないし３の何れか１項に記載の医用情報提示装置において、
前記３次元立体モデルの表面上の点がレーザー光を用いて指定される場合は、そのレーザー光及びそのレーザー光によって指定されている指定断面の状況を視覚的に提示する第五処理部を備えることを特徴とする医用情報提示装置。
【請求項５】
請求項１ないし４の何れか１項に記載の医用情報提示装置において、
前記第四処理部は、前記３次元画像データに基づいて対象物の３次元立体画像を表示するとともに、その３次元立体画像と重ね合わせて、前記指定領域の状況を提示することを特徴とする医用情報提示装置。
【請求項６】
種類の異なる複数の医用画像診断装置によって取得された画像データを用いて対象物のボリュームデータを生成する第一処理部と、
前記ボリュームデータのボクセルに対し、対象物の領域種別に応じた固有の識別情報を割り当てる第二処理部と、
前記識別情報が割り当てられたボクセルに対し、異なる着色データを割り当てる第三処理部と、
前記着色データが割り当てられたボリュームデータに基づいて、対象物の領域種別ごとに異なる色を持つ３次元立体モデルを造形する第四処理部と、
を備えることを特徴とする３次元立体モデル製造用の画像処理装置。
【請求項７】
請求項６に記載の３次元立体モデル製造用の画像処理装置において、
前記第一処理部は、対象物の空間的境界を示す形体画像データと機能的境界を示す機能画像データを用い、対象物の形状領域と機能領域が対応付けられたボリュームデータを生成し、
前記第二処理部は、このボリュームデータのボクセルに対し、対象物の各形状領域および各機能領域に応じた固有の識別情報を割り当てることを特徴とする３次元立体モデル製造用の画像処理装置。
【請求項８】
前記請求項６又は７に記載の３次元立体モデル製造用の画像処理装置において、
前記第二処理部は、ボリュームデータの各ボクセルの中から対象物の表面に相当するボクセルを特定するとともに、この表面のボクセルの幾つかに対して、第四処理部で造形される３次元立体モデルの向き設定の指標と成るマーカーポイントを設定することを特徴とする３次元立体モデル製造用の画像処理装置。
【請求項１】
種類の異なる複数の医用画像診断装置によって取得された対象物の３次元画像データに対して、前記３次元画像データに対応する３次元立体モデルを使用して表示領域を指定する第一処理部と、
前記３次元画像データの画像座標系と、前記３次元立体モデルに対して定義される計測座標系とを相互に対応付ける第二処理部と、
前記３次元立体モデルを用いて指定された領域を指定領域とし、前記３次元画像データの中から前記指定領域に対応する領域を特定し且つその領域の画像を構成する第三処理部と、
前記指定領域に対応する領域の画像を提示する第四処理部と、
を備えることを特徴とする医用情報提示装置。
【請求項２】
請求項１に記載の医用情報提示装置において、
前記第一処理部は、ユーザの要求に従い、第四処理部で表示される画像の提示方向を指定するマーカーポイントを画像データに設定し、
前記第二処理部は、第一処理部で設定されたマーカーポイントの座標を利用して、前記画像座標系と前記計測座標系を相互に変換する変換マトリックスを生成し、
前記第三処理部は、前記変換マトリックスを用いて、前記指定領域に対応する領域を特定することを特徴とする医用情報提示装置。
【請求項３】
請求項１又は２に記載の医用情報提示装置において、
前記第三処理部は、３次元立体モデルの表面上で３点が指定されたとき、その３点で定まる断面を前記指定領域と判断し、３次元立体モデルの表面上で１点が指定され且つ断面方向が指定されたとき、その１点と前記断面方向で定まる断面を前記指定領域と判断することを特徴とする医用情報提示装置。
【請求項４】
請求項１ないし３の何れか１項に記載の医用情報提示装置において、
前記３次元立体モデルの表面上の点がレーザー光を用いて指定される場合は、そのレーザー光及びそのレーザー光によって指定されている指定断面の状況を視覚的に提示する第五処理部を備えることを特徴とする医用情報提示装置。
【請求項５】
請求項１ないし４の何れか１項に記載の医用情報提示装置において、
前記第四処理部は、前記３次元画像データに基づいて対象物の３次元立体画像を表示するとともに、その３次元立体画像と重ね合わせて、前記指定領域の状況を提示することを特徴とする医用情報提示装置。
【請求項６】
種類の異なる複数の医用画像診断装置によって取得された画像データを用いて対象物のボリュームデータを生成する第一処理部と、
前記ボリュームデータのボクセルに対し、対象物の領域種別に応じた固有の識別情報を割り当てる第二処理部と、
前記識別情報が割り当てられたボクセルに対し、異なる着色データを割り当てる第三処理部と、
前記着色データが割り当てられたボリュームデータに基づいて、対象物の領域種別ごとに異なる色を持つ３次元立体モデルを造形する第四処理部と、
を備えることを特徴とする３次元立体モデル製造用の画像処理装置。
【請求項７】
請求項６に記載の３次元立体モデル製造用の画像処理装置において、
前記第一処理部は、対象物の空間的境界を示す形体画像データと機能的境界を示す機能画像データを用い、対象物の形状領域と機能領域が対応付けられたボリュームデータを生成し、
前記第二処理部は、このボリュームデータのボクセルに対し、対象物の各形状領域および各機能領域に応じた固有の識別情報を割り当てることを特徴とする３次元立体モデル製造用の画像処理装置。
【請求項８】
前記請求項６又は７に記載の３次元立体モデル製造用の画像処理装置において、
前記第二処理部は、ボリュームデータの各ボクセルの中から対象物の表面に相当するボクセルを特定するとともに、この表面のボクセルの幾つかに対して、第四処理部で造形される３次元立体モデルの向き設定の指標と成るマーカーポイントを設定することを特徴とする３次元立体モデル製造用の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２２４１９４（Ｐ２０１１−２２４１９４Ａ）
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願番号】特願２０１０−９７７４９（Ｐ２０１０−９７７４９）
【出願日】平成２２年４月２１日（２０１０．４．２１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
【公開日】平成２３年１１月１０日（２０１１．１１．１０）
【国際特許分類】
【出願日】平成２２年４月２１日（２０１０．４．２１）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
[ Back to top ]