説明

展開画像投影方法、展開画像投影プログラム、展開画像投影装置

【課題】 3次元以上の画像データの方向情報を出力させることのできる展開画像投影方法、展開画像投影プログラム、展開画像投影装置を提供する。
【解決手段】 管状組織T1を屈曲円筒投影法により展開した展開画像P3に対して、管状組織T1の方向情報、付加情報を中心線CP1上の点P毎に算出し(ステップS25)、展開画像と方向情報、付加情報とを合成して合成画像CI1を生成した(ステップS80)。そして、その合成画像CI1に対して後処理を行い、展開画像P4を生成し(ステップS85)、その展開画像P4をモニタに出力した(ステップS90)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、展開画像投影方法、展開画像投影プログラム、展開画像投影装置に関する。
【背景技術】
【0002】
従来、診断・治療等の医療行為を行う場で、X線診断装置、X線CT装置、核磁気共鳴イメージング装置(MRI装置)等の医用画像診断装置で作成した臓器に関する医用画像情報を、3次元的な表示ができるように画像処理し、診断若しくは治療の目的として3次元的に観察することが行われていた。例えば、臓器の中でも血管、気管、消化管等の管状臓器についてはこの3次元的な表示方法として、次の方法があった。
【0003】
1つは、管状臓器に対してその外部から平行光線を照射し、管状臓器を2次元平面上に投影する平行投影法(Parallel Projective Method)である。図17に示すように、平行投影法による平行投影画像P1は、管状臓器を外部から観察するのに適しているが、その内部を観察することはできなかった。そこで、管状臓器の内部に視点を設定し、その視点から放射状に光線を照射して管状臓器の内部の画像を2次元平面上に投影する中心投影法(Perspective Projective Method)により、中心投影画像P2を作成していた。図18
に示すように、この中心投影画像P2は、管状臓器の内側を恰も内視鏡による画像のように観察できるため、仮想内視鏡として使用されていた。中心投影画像P2では、管状臓器の内側を見ることはできるが、診断時に管状臓器の内周全てを注意深く見ないと、ポリープ等を見落とす虞があった。また、管状臓器の襞の裏等が見えにくかった。
【0004】
そこで、円筒投影法、屈曲円筒投影法により、管状臓器の周囲に仮想的に配置した円筒投影面に管状臓器を投影し、その投影画像を円筒投影面の側面を切開してできた2次元平面上に展開する展開画像表示が行われていた(例えば、非特許文献1)。図19に示すように、この展開画像P3では、管状臓器の内壁面を2次元平面上で見ることができるので、ポリープ等を発見しやすかった。
【非特許文献1】アー・フィラノヴァ・バルトローリ(A. Vilanova Bartroli),エル・ヴェゲンキットル(R. Wegenkittl),アー・ケニッヒ(A. Konig),エー・グレーレル(E. Groller),「仮想大腸展開方法(Virtual Colon Unfolding)」,米国電気電子学会論文誌(IEEE Visualization ),米国,2001年,p411-420
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、展開画像P3では、その観察位置や観察方向が分かりにくかった。例えば、管状臓器の基端において、管状臓器の下方を展開画像P3上の中心に位置するように展開したとしても、管状臓器にはねじれがあったり、その方向が変わったりするため、展開画像P3上で管状臓器の下方に位置していた領域は移動する。すなわち、展開画像P3上では管状臓器の内壁面の相対的な位置を把握することはできるが、管状臓器の内壁面の絶対的な位置(座標)を把握することができない。そのため、例えば、展開画像P3における観察位置が管状臓器のどこに位置するかを対応付けたり、展開画像P3上で一度診断した箇所を診断しないようにしたり、展開画像P3上においてどの方向を観察しているのか判断したりするのが困難であった。また、管状臓器のうち、左右対称なものについては、その診断や治療のために、特に方向の確認が重要であった。
【0006】
さらに、例えば、管状臓器のうち、大腸には残渣(体内の残留物)(Rinsing)があり
、ポリープと誤認識することが多かった。残渣は、大腸の中でもCT画像撮影時に下側に位置している場所に堆積しているので、展開画像P3においてCT画像撮影時の下側が容
易に認識できれば、残渣とポリープの誤認識を低減することができるため、展開画像P3上で管状臓器における方向を表示する必要があった。
【0007】
本発明は、上記問題点を解消するためになされたものであって、その目的は、3次元以上の画像データの方向情報を出力させることのできる展開画像投影方法、展開画像投影プログラム、展開画像投影装置を提供することにある。
【課題を解決するための手段】
【0008】
上記問題点を解決するために、請求項1に記載の発明は、1つのコンピュータが単独処理でまたは複数のコンピュータが単独処理と分散処理とのうち少なくとも1つの処理で、3次元以上の画像データを円筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開した展開画像を投影する展開画像投影方法において、少なくとも1つのコンピュータが、複数の3次元以上の画素からなる3次元以上の画像データ中の前記各画素の位置データを使って方向情報を算出する方向情報算出段階と、少なくとも1つのコンピュータが、前記展開画像と前記方向情報とを合成して合成画像を生成する合成段階と、少なくとも1つのコンピュータが、前記合成画像に基づいて新たな展開画像を出力部に出力する出力段階とを備えたことを要旨とする。
【0009】
この発明によれば、複数の3次元以上の画素からなる3次元以上の画像データ中の各画素の位置データを使って方向情報を算出し、展開画像と方向情報とを合成して合成画像を生成し、その合成画像に基づいて新たな展開画像を出力部に出力する。この結果、展開画像でありながらも3次元以上の画像データの方向を把握することができる。
【0010】
請求項2に記載の発明は、請求項1に記載の展開画像投影方法において、前記位置データは前記各画素のデカルト座標系の座標データであって、前記方向情報算出段階は、前記各画素のデカルト座標系の座標データを使って方向情報を算出することを要旨とする。
【0011】
この発明によれば、位置データは各画素のデカルト座標系の座標データであって、方向情報算出段階は、各画素のデカルト座標系の座標データを使って方向情報を算出するので、例えば、位置データを出力部に出力して視認できる。また、さらに、その位置データは、デカルト座標系で表現されているため、例えば、複数の3次元以上の画素の座標データを直感的に把握することができる。
【0012】
請求項3に記載の発明は、請求項1に記載の展開画像投影方法において、前記合成段階は、前記方向情報を前記展開画像上で可視化されるように合成することを要旨とする。
この発明によれば、合成段階は、前記方向情報を前記展開画像上で可視化されるように合成するので、展開画像上で方向情報を視認することができる。
【0013】
請求項4に記載の発明は、請求項1に記載の展開画像投影方法において、前記合成段階は、前記方向情報と、前記3次元以上の画像データから任意の一部の領域の3次元以上の画像データを抽出した領域抽出結果とのうち少なくとも前記領域抽出結果を含む一方と前記展開画像とを合成することを要旨とする。
【0014】
この発明によれば、合成段階は、前記方向情報と、前記3次元以上の画像データから任意の一部の領域の3次元以上の画像データを抽出した領域抽出結果とのうち少なくとも領域抽出結果を含む一方と前記展開画像とを合成する。この結果、例えば、展開画像と残渣とを合成したり、展開画像と方向情報と残渣とを合成したりすることができるので、展開画像上でポリープと残渣との区別をつけることができる。従って、誤診を低減することができる。
【0015】
請求項5に記載の発明は、請求項1に記載の展開画像投影方法において、前記3次元以上の画像データは、管体であることを要旨とする。
この発明によれば、3次元以上の画像データは、管体であるため、例えば、展開画像上で管体の内部を把握しながらも方向情報を視認することができるので、展開画像上において観察位置や方向を容易に把握することができる。
【0016】
請求項6に記載の発明は、請求項1乃至5のいずれか1項に記載の展開画像投影方法において、前記方向情報算出段階は、さらに、複数の3次元以上の画素からなる3次元以上の画像データ中の前記各画素の位置データを使って付加情報を算出する段階を備え、その算出した付加情報を前記方向情報に加えることを要旨とする。
【0017】
この発明によれば、方向情報算出段階は、さらに、複数の3次元以上の画素からなる3次元以上の画像データ中の前記各画素の位置データを使って付加情報を算出する段階を備え、その算出した付加情報を前記方向情報に加える。この結果、その付加情報を基に、展開画像上で観察位置や方向を容易に把握することができる。
【0018】
請求項7に記載の発明は、請求項1乃至6のいずれか1項に記載の展開画像投影方法において、前記付加情報は、前記管体の断面積の変化、前記管体の断面の基点位置からの距離、前記管体の断面の座標のうちの少なくとも1つであることを要旨とする。
【0019】
この発明によれば、付加情報は、前記管体の断面積の変化、前記管体の断面の基点位置からの距離、前記管体の断面の座標のうちの少なくとも1つである。この結果、例えば、管体の外観を付加情報として把握することができるので、展開画像上で観察位置や方向を容易に把握することができる。
【0020】
請求項8に記載の発明は、請求項1乃至7のいずれか1項に記載の展開画像投影方法において、前記方向情報算出段階は、前記管体の断面のねじれと前記管体の断面の傾きの変化の少なくとも一方を前記方向情報として算出することを要旨とする。
【0021】
この発明によれば、方向情報算出段階は、前記管体の断面のねじれと前記管体の断面の傾きの変化の少なくとも一方を前記方向情報として算出する。この結果、例えば、展開画像上で管体の断面のねじれや管体の断面の傾きの変化を把握することができるので、展開画像上で観察位置や方向を容易に把握することができる。
【0022】
請求項9に記載の発明は、請求項1乃至8のいずれか1項に記載の展開画像投影方法において、前記方向情報は帯状の画像で表現され、該帯状の画像は、前記各画素の位置データに応じて、幅と向きのうち少なくとも一方が変化することを要旨とする。
【0023】
この発明によれば、方向情報は帯状の画像で表現され、該帯状の画像は、各画素の位置データに応じて、幅と向きのうち少なくとも一方が変化する。この結果、例えば、帯状の画像を展開画像上に重ねることにより、帯状の画像の幅と向きのうち少なくとも一方の変化やその変化の度合いにより、展開画像と各画素(3次元以上の画像データ)との対応を付けることができる。従って、例えば、展開画像上で管体の方向や断面積の変化を示す方向情報を容易に直感的に把握することができる。
【0024】
請求項10に記載の発明は、請求項1乃至8のいずれか1項に記載の展開画像投影方法において、前記方向情報は、数値で表現されることを要旨とする。
この発明によれば、方向情報は、数値で表現されるので、例えば、展開画像上で、管体における数値としての座標を表現することにより、展開画像における方向情報を容易に把握することができる。
【0025】
請求項11に記載の発明は、請求項1乃至8のいずれか1項に記載の展開画像投影方法において、前記方向情報は、色で表現されることを要旨とする。
この発明によれば、方向情報は、色で表現される。この結果、例えば、管体における下方のみ、展開画像上で、他の方向と異なる色で表現することにより、展開画像における方向情報を容易に直感的に把握することができる。
【0026】
請求項12に記載の発明は、請求項1乃至8のいずれか1項に記載の展開画像投影方法において、前記方向情報は、少なくとも1本の線で表現されることを要旨とする。
この発明によれば、方向情報は、少なくとも1本の線で表現されるため、方向情報のデータ量を低減することができる。この結果、方向情報の出力に要する時間を短縮しながらも、例えば、展開画像上で方向情報を容易に直感的に把握することができる。
【0027】
請求項13に記載の発明は、請求項1乃至8のいずれか1項に記載の展開画像投影方法において、前記方向情報は、透明度で表現されることを要旨とする。
この発明によれば、方向情報は、透明度で表現されるので、例えば、管体における下方のみ、展開画像上で、他の方向と異なる透明度で表現することにより、方向情報を容易に直感的に把握することができる。
【0028】
請求項14に記載の発明は、請求項1乃至8のいずれか1項に記載の展開画像投影方法において、前記方向情報は、点滅アニメーションで表現されることを要旨とする。
この発明によれば、方向情報は、点滅アニメーションで表現されるので、例えば、管体における下方のみ、展開画像上で、点滅させることにより、方向情報を容易に直感的に把握することができる。
【0029】
請求項15に記載の発明は、請求項1に記載の展開画像投影方法において、前記展開画像は、ボリュームレンダリングによって、前記3次元以上の画像データを円筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開することにより生成されることを要旨とする。
【0030】
この発明によれば、展開画像は、ボリュームレンダリングによって、3次元以上の画像データを円筒投影面に投影し、円筒投影面を円筒投影面に対応した投影平面に展開することにより生成されるので、3次元以上の画像データを基に正確で滑らかな展開画像を生成することができる。
【0031】
請求項16に記載の発明は、請求項1に記載の展開画像投影方法において、前記展開画像は、サーフィスレンダリングによって、前記3次元以上の画像データを円筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開することにより生成されることを要旨とする。
【0032】
この発明によれば、展開画像は、サーフィスレンダリングによって、3次元以上の画像データを円筒投影面に投影し、円筒投影面をその円筒投影面に対応した投影平面に展開することにより生成されるので、少ない計算量で展開画像を生成することができる。従って、展開画像の出力に要する時間を短縮することができる。
【0033】
請求項17に記載の発明は、1つのコンピュータが単独処理でまたは複数のコンピュータが単独処理と分散処理とのうち少なくとも1つの処理で、3次元以上の画像データを円筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開した展開画像を投影する展開画像投影プログラムであって、前記1つのコンピュータまたは複数のコンピュータを、複数の3次元以上の画素からなる3次元以上の画像データ中の前記各画素
の位置データを使って方向情報を算出する方向情報算出手段と、前記展開画像と前記方向情報とを合成して合成画像を生成する合成手段と、前記合成画像に基づいて新たな展開画像を出力部に出力する出力手段として機能させることを要旨とする。この発明によれば、請求項1に記載の発明と同様の作用効果が得られる。
【0034】
請求項18に記載の発明は、請求項17に記載の展開画像投影プログラムにおいて、前記位置データは前記各画素のデカルト座標系の座標データであって、前記方向情報算出手段は、前記各画素のデカルト座標系の座標データを使って方向情報を算出することを要旨とする。この発明によれば、請求項2に記載の発明と同様の作用効果が得られる。
【0035】
請求項19に記載の発明は、請求項17に記載の展開画像投影プログラムにおいて、前記合成手段は、前記方向情報を前記展開画像上で可視化されるように合成することを要旨とする。この発明によれば、請求項3に記載の発明と同様の作用効果が得られる。
【0036】
請求項20に記載の発明は、請求項17に記載の展開画像投影プログラムにおいて、前記合成手段は、前記方向情報と、前記3次元以上の画像データから任意の一部の領域の3次元以上の画像データを抽出した領域抽出結果とのうち少なくとも前記領域抽出結果を含む一方と前記展開画像とを合成することを要旨とする。この発明によれば、請求項4に記載の発明と同様の作用効果が得られる。
【0037】
請求項21に記載の発明は、請求項17に記載の展開画像投影プログラムにおいて、前記3次元以上の画像データは、管体であることを要旨とする。この発明によれば、請求項5に記載の発明と同様の作用効果が得られる。
【0038】
請求項22に記載の発明は、請求項17乃至21のいずれか1項に記載の展開画像投影プログラムにおいて、前記方向情報算出手段は、さらに、複数の3次元以上の画素からなる3次元以上の画像データ中の前記各画素の位置データを使って付加情報を算出する手段を備え、その算出した付加情報を前記方向情報に加えることを要旨とする。この発明によれば、請求項6に記載の発明と同様の作用効果が得られる。
【0039】
請求項23に記載の発明は、請求項17乃至22のいずれか1項に記載の展開画像投影プログラムにおいて、前記付加情報は、前記管体の断面積の変化、前記管体の断面の基点位置からの距離、前記管体の断面の座標のうちの少なくとも1つであることを要旨とする。この発明によれば、請求項7に記載の発明と同様の作用効果が得られる。
【0040】
請求項24に記載の発明は、請求項17乃至23のいずれか1項に記載の展開画像投影プログラムにおいて、前記方向情報算出手段は、前記管体の断面のねじれと前記管体の断面の傾きの変化の少なくとも一方を前記方向情報として算出することを要旨とする。この発明によれば、請求項8に記載の発明と同様の作用効果が得られる。
【0041】
請求項25に記載の発明は、請求項17乃至24のいずれか1項に記載の展開画像投影プログラムにおいて、前記方向情報は帯状の画像で表現され、該帯状の画像は、前記各画素の位置データに応じて、幅と向きのうち少なくとも一方が変化することを要旨とする。この発明によれば、請求項9に記載の発明と同様の作用効果が得られる。
【0042】
請求項26に記載の発明は、請求項17乃至24のいずれか1項に記載の展開画像投影プログラムにおいて、前記方向情報は、数値で表現されることを要旨とする。この発明によれば、請求項10に記載の発明と同様の作用効果が得られる。
【0043】
請求項27に記載の発明は、請求項17乃至24のいずれか1項に記載の展開画像投影
プログラムにおいて、前記方向情報は、色で表現されることを要旨とする。この発明によれば、請求項11に記載の発明と同様の作用効果が得られる。
【0044】
請求項28に記載の発明は、請求項17乃至24のいずれか1項に記載の展開画像投影プログラムにおいて、前記方向情報は、少なくとも1本の線で表現されることを要旨とする。この発明によれば、請求項12に記載の発明と同様の作用効果が得られる。
【0045】
請求項29に記載の発明は、請求項17乃至24のいずれか1項に記載の展開画像投影プログラムにおいて、前記方向情報は、透明度で表現されることを要旨とする。この発明によれば、請求項13に記載の発明と同様の作用効果が得られる。
【0046】
請求項30に記載の発明は、請求項17乃至24のいずれか1項に記載の展開画像投影プログラムにおいて、前記方向情報は、点滅アニメーションで表現されることを要旨とする。この発明によれば、請求項14に記載の発明と同様の作用効果が得られる。
【0047】
請求項31に記載の発明は、請求項17に記載の展開画像投影プログラムにおいて、前記展開画像は、ボリュームレンダリングによって、前記3次元以上の画像データを円筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開することにより生成されることを要旨とする。この発明によれば、請求項15に記載の発明と同様の作用効果が得られる。
【0048】
請求項32に記載の発明は、請求項17に記載の展開画像投影プログラムにおいて、前記展開画像は、サーフィスレンダリングによって、前記3次元以上の画像データを円筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開することにより生成されることを要旨とする。この発明によれば、請求項16に記載の発明と同様の作用効果が得られる。
【0049】
請求項33に記載の発明は、3次元以上の画像データを円筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開した展開画像を投影する展開画像投影装置であって、複数の3次元以上の画素からなる3次元以上の画像データ中の前記各画素の位置データを使って方向情報を算出する方向情報算出手段と、前記展開画像と前記方向情報とを合成して合成画像を生成する合成手段と、前記合成画像に基づいて新たな展開画像を出力部に出力する出力手段とを備えたことを要旨とする。この発明によれば、請求項1、17に記載の発明と同様の作用効果が得られる。
【0050】
請求項34に記載の発明は、請求項33に記載の展開画像投影装置において、前記位置データは前記各画素のデカルト座標系の座標データであって、前記方向情報算出手段は、前記各画素のデカルト座標系の座標データを使って方向情報を算出することを要旨とする。この発明によれば、請求項2、18に記載の発明と同様の作用効果が得られる。
【0051】
請求項35に記載の発明は、請求項33に記載の展開画像投影装置において、前記合成手段は、前記方向情報を前記展開画像上で可視化されるように合成することを要旨とする。この発明によれば、請求項3、19に記載の発明と同様の作用効果が得られる。
【0052】
請求項36に記載の発明は、請求項33に記載の展開画像投影装置において、前記合成手段は、前記方向情報と、前記3次元以上の画像データから任意の一部の領域の3次元以上の画像データを抽出した領域抽出結果とのうち少なくとも前記領域抽出結果を含む一方と前記展開画像とを合成することを要旨とする。この発明によれば、請求項4、20に記載の発明と同様の作用効果が得られる。
【0053】
請求項37に記載の発明は、請求項33乃至36のいずれか1項に記載の展開画像投影装置において、前記方向情報算出手段、前記合成手段の一部または全部は、GPUであることを要旨とする。
【0054】
この発明によれば、方向情報算出手段、合成手段の一部または全部は、GPUであるので、方向情報算出、合成に要する時間を短縮することができる。
【発明の効果】
【0055】
本発明によれば、3次元以上の画像データの方向情報を出力させることができる。
【発明を実施するための最良の形態】
【0056】
(第1実施形態)
以下、本発明を具体化した第1実施形態を図1〜図11に従って説明する。
図1に示すように、画像表示装置1は、データベース2から例えば、CT(Computerized Tomography )画像撮影装置により撮影されたCT画像データを読み取って、医療診断用の各種画像を生成し画面に表示する。本実施形態では、CT画像データを例に説明するが、これに限定されない。すなわち、使用される画像データは、CTに限らず、MRI(Magnetic Resonance Imaging)等の医用画像処理装置より得られるデータ及びそれらを組み合わせたり加工したりしたものである。
【0057】
画像表示装置1は、計算機(コンピュータ、ワークステーション、パーソナルコンピュータ)3と、モニタ4と、キーボード5及びマウス6などの入力装置とを備えている。計算機3はデータベース2と接続されている。
【0058】
図2は、画像表示装置1の概略構成を示す。計算機(コンピュータ)3にはCPU(中央処理装置)7、ハードディスク等からなるメモリ8が備えられており、メモリ8には、展開画像投影処理を実行するためのプログラム(アプリケーションソフト)9が記憶されている。メモリ8はデータベース2又はハードディスクから読み取ったCT画像データから得られたボクセルデータを一時記憶するメモリ部8aを備えている。また、メモリ部8aは、中心線CP、下方ベクトルz、方向ベクトルh、基準断面積a0、内腔領域面積aを記憶している。また、メモリ8は、管状組織の展開画像を記憶する展開画像記憶部UFと、方向情報及び付加情報を記憶する方向情報記憶部DIとを備えている。
【0059】
CPU7は、このプログラム9を実行することにより、データベース2から取得したCT画像データから得られたボクセルデータを用いて管状組織の展開画像の方向情報及び付加情報を算出する展開画像投影処理を実行する。すなわち、本実施形態では、CPU7(計算機3)が、展開画像投影処理(方向情報算出段階、合成段階、出力段階等)の展開画像投影処理プログラムを実行する。これにより、計算機3は、方向情報算出手段、合成手段、出力手段等として機能する。
【0060】
ここで、3次元以上の画像データとしてのボクセルデータVDとは、図3に示すように、立方体の3次元以上の画素としてのボクセル(Voxel )の集合であり、3次元の格子点にボクセル値として濃度値が割り当てられている。本実施形態では、例えば、CT画像データの画素値、すなわちCT値をそのまま濃度値としている。
【0061】
CT画像データは、患者等の人体を断層撮影したもので、1枚については骨、血管、臓器等の2次元断層画像であるが、多数の隣接するスライス(断層)について得られていることから、これら全体では3次元の画像データと言える。従って、以下、CT画像データは、複数のスライスを含んだ3次元の画像データを意味する。
【0062】
また、CT画像データは、被写体としての組織(骨、血管、臓器等)毎に異なるCT値を持っている。CT値は、水を基準として表現した組織のX線減弱係数であり、CT値により組織や病変の種類等が判断できるようになっている。また、CT画像データには、CT撮影装置によりCTスキャンされた人体の断層画像(スライス画像)の座標データもすべてあり、視線方向(奥行き方向)における異なる組織間の位置関係は、座標データから判別できるようになっている。すなわち、ボクセルデータVDは、CT値(以下、ボクセル値という。)及び座標データを備えている。
【0063】
また、管状組織(Tubular Tissue)とは、例えば、血管、気管、消化管(食道、胃、小腸、大腸)等の管状の臓器である。本実施形態では、例えば、大腸を例に挙げて説明するが、これに限定されない。すなわち、管状組織としては、血管、気管、消化管等の臓器に限らず、管体であればよい。
【0064】
展開画像とは、管状組織の内壁面を2次元平面上に投影した画像であって、本実施形態では、ボリュームレンダリング処理のうち、円筒座標系等を利用する方法である円筒投影法と屈曲円筒投影法により生成される。
【0065】
まず、ボリュームレンダリング処理について説明する。ボリュームレンダリングには一般的にレイキャスティング法が用いられる。レイキャスティング法とは、図3に示すように、観察する側(フレームF側)から光の経路を考えるもので、フレームF側のピクセルPXから光線(レイR)を飛ばし、一定距離を進むごとにその位置での反射光を計算する(図3では「…、V1、V2、V3、…」の符号が各到達位置のボクセルに対応している)。レイ到達位置が格子上にない場合はその周りのボクセルのボクセル値から補間処理を行ってその位置でのボクセル値を計算する。
【0066】
視線方向からボクセルデータに1本のレイRを照射すると、レイRはボクセルデータVDに当たって一部反射しながらボクセルデータVDを構成するボクセルを順次透過して進むことになる。そして、ボクセル毎に光の吸収・反射の離散的な計算をし、その反射光を演算することで2次元平面(フレーム)Fに投影される画像のピクセル値を求めて2次元画像を生成する。
【0067】
図4は、レイキャスティング法の計算方法を説明するもので、図3における1本のレイに対応した処理である。図3におけるブロックはボクセルに相当するもので、これら各ボクセルは光に対する特性パラメータとして不透明度(オパシティ(opacity )値)αnおよびシェーディング係数βnを有する。ここで、不透明度αnは、0≦αn≦1を満たす数値で表され、値(1−αn)は透明度(transparency)を示す。不透明度αn=1は不透明、αn=0は透明、0<αn<1は半透明にそれぞれ対応する。シェーディング係数は色、グラディエントなどシェーディングに関する情報を持つ。
【0068】
初期入射光(光線)I1は、各ボクセルを順次透過してゆくとともに各ボクセルで一部反射および吸収されることによりその残存光(透過光)は徐々に減衰する。各ボクセルにおける部分反射光Rn(n=1,2,…)の積算値(積算反射光)が、フレームF側におけるピクセルPXの輝度に相当する。ここで、減衰光Dn(n=1,2,…)は、n番目のボクセルの入射光Inを用いて、式 Dn=αnIn で表されるため、部分反射光Rnは、式 Rn=βnDn=βnαnIn で表される。また各ボクセルにおける入射光と残存光(透過光)との関係式から、式 In+1=(1−αn)In が成り立つ。よって積算反射光であるピクセル値Pvは、次式により表される。
【0069】
Pv=β1α1I1+β2α2I2+・・・+βnαnIn=ΣβnαnIn
なお、各ボクセル値に対して不透明度αnとの関係付けが予めなされており、その関係
付け情報に基づきボクセル値から不透明度αnを得ている。例えば、大腸のボリュームレンダリング画像を得たい場合、大腸に対応したボクセル値には不透明度「1」を関連付け、他のボクセル値には不透明度「0」を関連付けることで、大腸を表示することができる。
【0070】
図5(a)、図5(b)、図5(c)は、ボクセルデータを用いて円筒投影法にて管状組織の展開画像を作成する処理を示すものである。
円筒投影法は、円筒座標系を仮定し、投影対象11の周囲に配設された円筒投影面12(図5(b)参照)の中心軸14上(紙面と垂直方向)に連続的に分布する視点を仮定する。そして、その視点から、投影対象11内であって円筒投影面の中心軸と直交する平面13内にレイRを放射状に照射し、図5(b)に示すように、投影対象を円筒投影面12に投影する。そして、その円筒投影面12に投影された投影画像に対して、図5(c)に示すように、投影平面としての2次元平面16に座標変換を行うことにより、図19に示すように、管状組織の内部が表示された展開画像(Unfolding Picture )P3を得る。
【0071】
ここで、一般に管状組織は屈曲しているため、屈曲している管状組織全体を円筒投影面に投影すると互いに重なり合ってしまう。このような管状組織を投影する方法として挙げられるのが屈曲円筒投影法である。
【0072】
図6(a)、図6(b)、図6(c)は、ボクセルデータを用いて屈曲円筒投影法にて管状組織の展開画像を作成する処理を示すものである。
屈曲円筒投影法は、図6(a)に示すように、管体としての管状組織20の中心線(Central Path)に沿った中心線CPを仮定する。そして、その中心線CP上に連続的に分布する視点を仮定する。そして、その視点から、中心線CPと直交する平面22内にレイRを照射し、投影対象を投影対象の外側を覆う図示しない円柱投影面に投影する。そして、その円柱投影面に投影された投影画像に対して2次元平面に座標変換を行うことにより、図19に示すように、円筒投影面を切り開いたように管状組織の内部が表示された展開画像P3を得る。このように、中心線CPを管状組織20の屈曲に合わせて屈曲させ、さらにその中心線CPに直交する平面間の距離を短くすることにより、屈曲した管状組織20についても2次元平面上に投影した展開画像を作成することができる。
【0073】
この屈曲円筒投影法において、管状組織20の屈曲が大きいと、図6(b)に示すように、中心線CPと直交する平面23,24,25と平面26とが交差してしまう。この結果、管状組織20の内壁面において、展開画像P3上に複数回表示される部分や、表示し損なう部分ができてしまう。例えば、図6(b)に示すように、ポリープ27については平面24及び平面26において投影されるため、展開画像P3上において2回表示される。また、ポリープ28については直交する平面がないため、管状組織20上に存在しているのにも関わらず、展開画像P3上では1度も表示されない。これを避けるために、非直線レイキャスティングが行われる。
【0074】
非直線レイキャスティングは、屈曲円筒投影法において、中心線CPからレイRを照射する際に、中心線CPと直交する平面上ではなく、図6(c)に示すように、中心線CPに近い側では中心線CPと直交しながらも湾曲している平面31〜36上にレイRを照射する。すなわち、中心線CPから非直線のレイRを照射する。これにより、図6(c)に示すように、ポリープ27を投影する面は1つであるため、展開画像P3上にはポリープ27が1回のみ表示される。また、ポリープ28については、中心線CPと直交する平面の枚数を増やすことにより、展開画像P3上に投影することができる。
【0075】
なお、展開画像P3は、円筒投影面に投影した投影画像を2次元平面上に展開しているため、展開画像P3を構成するそれぞれの画素と対応する座標データは、管状組織(ボク
セルデータVD)の座標データではなく、2次元平面における座標データとなっている。そのため、2次元平面上に展開後の展開画像P3においては、管状組織における方向が把握できない。
【0076】
方向情報とは、展開画像P3において、管状組織における方向を示すものであって、展開画像P3の座標と、位置データ、座標データとしての管状組織の座標とを対応づけるものである。本実施形態では、方向情報は展開画像P3上に表示され、例えば、管状組織のうち物理的に下方に存在する部分を表す。そして、例えば、図7(a)に示すように、管状組織Tの内部に、重力に従って水が流れる水路30が形成されていると仮定する。そして、図7(b)に示すように、その水路30を所定の幅を持つ帯Bで表現する。この結果、管状組織Tがねじれたり屈曲していたりするために展開画像P3上で管状組織Tにおける下方が把握できないときにも、管状組織の下方には恰も水路30が形成されているように、帯Bが方向情報として展開画像P3上に表示されるため、帯Bを基に観察方向や観察位置が直感的にわかりやすくなる。特に、帯Bに幅を持たせることにより、管状組織Tがねじれたり、屈曲したり、幅が狭くなっている箇所は、水路30の幅や位置、すなわち帯Bの幅や位置が変化するように表示されるため、展開画像P3上において観察方向や観察位置を直感的に把握することができる。
【0077】
詳述すると、管状組織Tの断面が鉛直方向に対して傾いたときの帯Bの幅を幅Wd、管状組織Tの断面積が変化したときの帯Bの幅を幅Wsとして表現する。そして、例えば、幅Wdの帯Bの部分と幅Wsの帯Bの部分とをそれぞれ異なる色で表示したり、ある一定の時間毎(例えば、5秒毎等)に幅Wdの帯Bの部分と幅Wsの帯Bの部分とを交互に表示したりすることにより、管状組織Tの断面の方向と断面積の変化の両方を直感的に把握することができる。また、幅Wdの帯Bの部分と幅Wsの帯Bの部分とを同時に同じ色で表示しても、管状組織Tの方向情報の概要を展開画像P3上で直感的に把握することができる。
【0078】
本実施形態では、例えば、帯Bの幅の初期値W0は、管状組織Tの基端であってその断面S0(図7(a)参照)がデカルト座標系におけるxy平面と直交しているときに、その断面S0においてデカルト座標系におけるz方向の円弧であって、ある一定の角度θ0(図7(a)参照)に対する弧の長さである。この初期値W0に対応した断面S0は管状組織Tの基端に限らず、先端でもよいし、管状組織Tの断面積の最小値、最大値、平均値等に対応した位置の断面S0でもよい。そして、図7(c)に示すように、管状組織Tの断面S1が鉛直方向に対して斜めになっていることを表現するときには、方向ベクトルhと下方ベクトルz間の角度を用いる。方向ベクトルhとは、管状組織Tの断面S1の方向を表現するベクトルであり、屈曲円筒投影法において定義した中心線CPに沿った単位ベクトルである。下方ベクトルzとは、下方を表現するベクトルであり、デカルト座標系におけるz方向を示す単位ベクトルである。
【0079】
そして、管状組織Tが鉛直方向に屈曲したときには、方向ベクトルhと下方ベクトルzの間の角度をベクトルの外積(h×z=h・z・sinθ)により求め、その角度の大きさと帯Bの幅Wdを対応づける。つまり、管状組織Tがz方向と平行に近い(管状組織Tが鉛直方向に近い)ほど帯Bの幅Wdは狭く、管状組織Tがz方向と垂直に近い(管状組織Tが水平方向に近い)ほど帯Bの幅Wdは広くなる。例えば、図7(c)において、管状組織Tの断面S1は鉛直方向に対して斜めになっているので、帯の幅Wdはこの角度θ1に対応し、図7(b)に示すように、幅W1の帯Bのように表現される。また、管状組織Tがねじれているときには、方向ベクトルhと下方ベクトルzの角度の大きさと、帯Bの向き(位置)及び帯Bの幅Wdとが対応し、例えば、図7(b)の幅W3の帯Bのように表現される。そのため、本実施形態では、帯Bの幅Wdとして帯Bの位置情報も含むものとする。
【0080】
また、付加情報とは、展開画像P3において、例えば、管状組織の機能や外観から得られる情報を表すものである。本実施形態では、付加情報は展開画像P3上に表示され、例えば、管状組織の断面積の変化を表す。そして、方向情報と同様に、所定の幅を持つ帯Bで表現する。
【0081】
詳述すると、管状組織Tの断面積が変化したときには、基準断面積a0と内腔領域面積aとの比(a/a0)と帯Bの幅Wsを対応づける。基準断面積a0とは、前記帯Bの幅の初期値W0に対応した管状組織の断面積の基準値である。また、内腔領域面積aとは、管状組織Tの内腔領域(Lumen Area)L(図7(a)参照)の面積である。管状組織Tの内部は、例えば、図7(a)に示すように、襞や残渣37等により、その内径が狭くなっているため、管状組織Tの実質的な内腔領域Lの面積は小さくなっている。そして、位置によっては、図7(d)に示すように、管状組織Tの外径が短くなっている箇所もある。このような管状組織Tの内腔領域Lの面積の変化や管状組織Tの外径の変化を把握することにより、管状組織Tの観察位置や観察方向を把握しやすくなる。
【0082】
そして、メモリ部8aに記憶されている内腔領域Lに対応する、すなわちボクセル値が内腔領域Lを表す値であるボクセルデータVDを読み出すことにより、内腔領域Lの領域抽出をすることができる。このとき、領域抽出後の内腔領域Lは、ボクセル値のみならず3次元座標データも含んでいるので、内腔領域Lの3次元座標データを使って内腔領域面積aを算出することができる。
【0083】
ここで、帯Bの幅の初期値W0は、管状組織Tのある角度θ0に対する弧の長さを示している。従って、図7(d)に示すように、管状組織Tの断面S2が小さくなれば、すなわち管状組織Tの円周の長さが短くなれば、それに伴って、図7(a)に示すように、帯の幅の初期値W0に対応した円弧Aが管状組織Tの円周C0に占める割合よりも、図7(d)に示すように、管状組織Tの円周C2に占める割合の方が大きくなる。この結果、例えば、図7(b)の幅W2の帯Bのように、帯Bの幅の初期値W0と比較して帯Bの幅が広くなったように表現される。
【0084】
また、図2に示すように、計算機(コンピュータ)3は、GPU(Graphics Processing Unit)10を備えている。GPU10は、主に3次元の高度なグラフィックス機能をサポートしたグラフィックス用のコントローラ・チップであり、ユーザから与えられたプログラム等に基づいて2次元や3次元のグラフィックス描画を高速化する機能を持つ。本実施形態では、GPU10により後処理が実行される。これにより、方向情報、付加情報の表示に要する時間を短縮することができる。
【0085】
後処理は、算出した方向情報、付加情報をモニタ4等の出力装置に表示するために色、コントラスト及び明るさ等を補正する処理である。詳しくは、多くの医用画像装置の出力(CT画像、MRI画像等)は12bit階調データであるため、展開画像投影処理で算出された方向情報、付加情報を含んだ展開画像P3も12bit階調データであるが、コンピュータ3等のモニタ4はRGB各色を8bitで表現する画像を表示することが多い。そのため、WL変換(Window Level Transformation )やLUT変換(Color Look-Up Table Transformation)等を行い、色、コントラスト及び明るさ等をモニタ4に表示できるように変換する。また、画面の大きさ等に合わせてアフィン変換(Affine Transformation )を行い、それぞれのモニタ4に表示できるように変換する。
【0086】
次に、このように構成された展開画像投影処理の作用について説明する。
本実施形態では、例えば、展開画像算出処理、すなわち屈曲円筒投影法により展開された展開画像を既にメモリ8の展開画像記憶部UFに記憶しているとする。展開画像算出処
理は公知の方法で行われるため、その詳細な作用の説明は省略する。そして、その展開画像P3の方向情報、付加情報を展開画像投影処理によって算出する。
【0087】
図8は、展開画像投影処理の全体のフローチャートを示している。まず、ユーザは、基準断面積a0を決定する(ステップS10)。本実施形態では、例えば、図10(a)に示す管状組織T1の基端の断面積を基準断面積a0とする。そして、この基準断面積をa0は、メモリ部8aに記憶される。次に、ユーザは、下方ベクトルzを決定する(ステップS15)。本実施形態では、例えば、図10(b)に示すように、下方ベクトルzを決定し、その下方ベクトルzをメモリ部8aに記憶する。そして、ユーザは、管状組織T1を表現するパス(中心線CP1)を設定する(ステップS20)。本実施形態では、例えば、図10(b)に示すように、管状組織T1の中心線CP1を設定し、その中心線CP1はメモリ部8aに記憶される。
【0088】
次に、CPU7は、中心線CP1上の点P毎の方向情報、付加情報の決定を行う(ステップS25)。中心線CP1上の点毎の方向情報、付加情報の決定は、中心線CP1上の点毎に図9のステップS30〜ステップS60に示すような処理を行う。
【0089】
まず、中心線CP1上をなぞった点Pを決定する(ステップS30)。本実施形態では、図10(b)に示すように、点Pを決定する。点Pは、中心線CP1上に所定の間隔で並んでいる。この所定の間隔は、固定値でも良いし、可変であってもよい。すなわち、方向情報、付加情報を正確に表示したい場合や、管状組織T1が屈曲している箇所については狭い間隔で点Pを設定し、方向情報、付加情報の概要を短時間で確認したい場合や、管状組織T1が直進している箇所については広い間隔で点Pを設定する。点Pを決定後、CPU7は、点Pを通る断面Sを決定する(ステップS35)。本実施形態では、図10(b)に示すように、断面Sを決定する。次に、CPU7は、断面Sの向きを示す方向ベクトルhを決定する(ステップS40)。本実施形態では、図10(b)に示すように、方向ベクトルhを決定し、メモリ部8aに記憶する。
【0090】
次に、断面Sから内腔領域Lを抽出する(ステップS45)。本実施形態では、メモリ部8aに記憶されている内腔領域L(図10(b)参照)のボクセルデータVDを読み出すことにより、領域抽出をすることができる。次に、内腔領域面積aを決定する(ステップS50)。CPU7は、内腔領域Lの座標を使って内腔領域面積a(10(b)参照)を算出する。
【0091】
次に、断面Sにおける方向情報及び付加情報、すなわち、図11に示すように、帯B1の幅、位置を決定する(ステップS55)。詳しくは、方向情報、すなわち管状組織T1の断面Sが斜めになっていることを表示する帯B1の幅Wdについては、帯B1の幅の初期値W0を基準として、方向ベクトルhと下方ベクトルzとの間の角度を用いて決定し、メモリ8の方向情報記憶部DIに記憶する。
【0092】
また、付加情報、すなわち断面積の変化を表示する帯B1の幅Wsの部分についても、基準断面積a0と内腔領域面積aの比を用いて決定し、方向情報記憶部DIに記憶する。なお、本実施形態では、帯B1の幅Wsの部分も幅Wdの部分と同じ色で表示する。
【0093】
その後、全ての点Pについて帯B1の幅(方向情報、付加情報)を決定したか否か判断する(ステップS60)。本実施形態では、まだ1個目の点Pについてしか方向情報、付加情報を決定していないので(ステップS60でNO)、再度中心線CP1上の点P毎の方向情報、付加情報の決定処理を行う。同様に、ステップS30〜ステップS60の処理を行い、全ての点Pについて帯B1の幅を決定する。全ての点Pについて帯B1の幅を決定すると(ステップS60でYES)、展開画像記憶部UFから展開画像P3を読み出す
。また、方向情報記憶部DIから各点Pでの方向情報(帯B1の幅Wd)、付加情報(帯B1の幅Ws)を読み出す。そして、CPU7は、展開画像P3と方向情報、付加情報とを合成して、展開画像P3上に方向情報、付加情報をオーバレイ表示した合成画像CI1を生成する(図8のステップS80)。
【0094】
その合成画像CI1に対して、GPU10が後処理を行い、新たな展開画像としての展開画像P4(図11参照)を生成する(ステップS85)。後処理が終了すると、展開画像P4をモニタ4の画面4a(図1参照)に出力する(ステップS90)。展開画像投影処理終了後の展開画像P4には方向情報及び付加情報、すなわち帯B1が付加されているため、図11に示すように、管状組織T1の内壁面が観察しやすく、さらにその観察位置や観察方向が直感的に把握しやすい展開画像P4を得ることができる。
【0095】
すなわち、管状組織T1が鉛直方向に近いほど帯B1の幅Wdは狭くなり、一方、管状組織T1が水平方向に近いほど帯B1の幅Wdが広くなる。また、管状組織T1がねじれるにしたがって、帯B1は、展開画像P4の図11における右側、あるいは左側の方向を向く。さらに、管状組織T1の外径が長いほど帯B1の幅Wsは狭くなり、一方、管状組織T1の外径が短いほど帯B1の幅Wsは広くなる。つまり、帯B1の幅、幅の変化、又は幅の変化の度合いにより、展開画像P4上で、管状組織T1の方向や外径の変化を把握することができるため、その変化を基に、展開画像P4と管状組織T1との対応を容易に直感的に付けることができる。
【0096】
上記実施形態によれば、以下のような効果を得ることができる。
(1)本実施形態によれば、屈曲円筒投影法により展開した管状組織T1の展開画像P3における方向情報及び付加情報を、管状組織T1の内部に重力に従って形成される水路を模した幅のある帯B1で表現した。この結果、展開画像でありながらも、観察方向や観察位置等を把握することができる。すなわち、管状組織T1が鉛直方向に近いほど帯B1の幅Wdは狭くなり、一方、管状組織T1が水平方向に近いほど帯B1の幅Wdが広くなる。また、管状組織T1がねじれるにしたがって、帯B1は、展開画像P4の図11における右側、あるいは左側の方向を向く。さらに、管状組織T1の外径が長いほど帯B1の幅Wsは狭くなり、一方、管状組織T1の外径が短いほど帯B1の幅Wsは広くなる。つまり、帯B1の幅、幅の変化、又は幅の変化の度合いにより、展開画像P4上で、管状組織T1の方向や外径の変化を把握することができるため、その変化を基に、展開画像P4と管状組織T1との対応を容易に直感的に付けることができる。
【0097】
(2)本実施形態によれば、管状組織T1の方向情報、付加情報を展開画像P3に重ねて表示し、新たな展開画像P4を生成したので、管状組織T1の内壁面を観察しやすく、さらに、その観察方向や観察位置を直感的に把握することができる。
【0098】
(3)本実施形態によれば、方向情報が管状組織T1の方向、すなわち管状組織T1の断面の傾きを表示し、付加情報が管状組織T1の断面積の変化を表示することができるので、観察方向や観察位置をより正確に把握することができる。
【0099】
(4)本実施形態によれば、方向情報を表現する帯B1の幅Wdは、位置情報も含み、管状組織T1の断面Sの方向を示す方向ベクトルhと、デカルト座標系におけるz方向を示す下方ベクトルzとの間の角度θを用いて算出した。また、付加情報を表現する帯B1の幅Wsは、管状組織T1の内腔領域面積aと基準断面積a0との比を用いて算出した。この結果、簡単な演算で、展開画像における観察方向や観察位置等を示す方向情報、付加情報を算出することができる。
(第2実施形態)
次に、本発明を具体化した第2実施形態を図12及び図13に従って説明する。なお、
第2実施形態は、管状組織T中の残渣を展開画像上に表示することに特徴がある。そのため、第1実施形態と同様の部分については同一の符号を付し、その詳細な説明を省略する。
【0100】
領域抽出結果としての残渣とは、CT画像等の撮影時に人体内に残っている腸液や大便等の残留物であり、CT画像等の撮影時に人体の中で物理的に下方向になっていた箇所に堆積している。また、残渣によりポリープが埋まったり、残渣をポリープと誤認しやすかったりするため、残渣はポリープを発見する際の妨げとなっている。そのため、残渣を展開画像P3上に表示することにより、残渣をポリープと誤認することを低減しながらも管状組織の下方を把握しやすくなる。また、残渣は他の組織(骨、血管、臓器等)とは異なるCT値を持っているため、残渣のみを領域抽出することができる。すなわち、残渣に対応するボクセルのボクセル値に不透明度「1」を関連付けることにより、残渣のみのボクセルデータを表示することができる。
【0101】
次に、このように構成された展開画像投影処理の作用について説明する。
まず、ユーザは、第1実施形態と同様に、例えば、大腸について屈曲円筒投影法により展開された展開画像P3を既に展開画像記憶部UFに記憶しているとする。そして、CPU7は、残渣の領域抽出を行う(ステップS70)。次に、領域抽出した残渣の画像データDPと展開画像記憶部UFから読み出した展開画像P3を合成した合成画像CI2を生成する(ステップS75)。そして、その合成画像CI2に対して、GPU10が後処理を行い、展開画像P5を生成する(ステップS85)。後処理が終了すると、展開画像P5をモニタ4の画面4a(図1参照)に出力する(ステップS90)。このとき、図13に示すように、展開画像P3上に残渣の画像データDPが共に表示されている展開画像P5が表示されるため、残渣をポリープと誤認することを低減しながらも管状組織Tの下方を直感的に把握しやすくなる。
【0102】
上記実施形態によれば、第1実施形態の効果に加えて、以下のような効果を得ることができる。
(1)本実施形態によれば、残渣を領域抽出し、その残渣の画像データDPと展開画像P3とを合成した展開画像P5をモニタ4の画面4aに出力したので、例えば、展開画像P5を見てポリープの有無を診断するとき等に、残渣とポリープとを誤診することがない。
【0103】
(2)本実施形態によれば、管状組織Tの中で物理的に下方に存在する残渣を領域抽出し、その残渣の画像データDPと展開画像P3とを合成した展開画像P5をモニタ4の画面4aに出力したので、管状組織Tの下方を直感的に把握しやすくなる。
(第3実施形態)
前記第1及び第2実施形態では、1台のワークステーションなどの計算機(コンピュータ)3が単独で展開画像投影処理を行ったが、本実施形態では、展開画像投影処理を構成する各処理のうち少なくとも1つの段階を複数のコンピュータが分散処理で行う。以下の実施形態において、前記第1及び第2の実施形態と同様の部分については、同一の符号を付し、その詳細な説明は省略する。
【0104】
例えば、複数台のワークステーションが接続された病院内ネットワークにおいて、少なくとも1つの処理を複数台のワークステーションが分散処理で行う構成を採用できる。以下、展開画像投影処理を分散処理で行う場合の例として、中心線CPの長さを分割する場合と、後処理だけ分割する場合と、展開画像算出処理と方向情報算出処理とで分割する場合の3つを示す。なお、説明の便宜上、図14〜図16に示すように、2台のワークステーションWS1,WS2を用いて、サイズ512×512の画像をつくる場合を例とするが、これを複数台のワークステーションで分散処理を行ってもよい。また、本実施形態で
は、ワークステーションWS2にのみGPU10を搭載しているとする。
【0105】
(例1)例1は、前記中心線CPを中心線CPAと中心線CPBとに分割する場合である。図14に示すように、中心線CPAからレイが照射されるボクセルV1〜Vkと、中心線CPBからレイが照射されるボクセルVk+1〜Vnとに分割する。この場合、それぞれのワークステーションWS1,WS2で展開画像算出処理と方向情報算出処理を行う。このようにすれば、ワークステーション毎の展開画像記憶部UF及び方向情報記憶部DIのメモリ量、転送量が全体の展開画像サイズの半分で済む。処理の手順は以下のようになる。
(1‐1)ワークステーションWS1は、中心線CPA上のボクセルデータVD(ボクセルV1〜Vk)について、展開画像算出処理と方向情報算出処理を行う。そして、算出した展開画像、方向情報及び付加情報を、それぞれ展開画像記憶部UF、方向情報記憶部DIに記憶する。一方、ワークステーションWS2は、中心線CPB上のボクセルデータVD(ボクセルVk+1〜Vn)について、展開画像算出処理と方向情報算出処理を行い、算出した展開画像、方向情報及び付加情報を、それぞれ展開画像記憶部UF、方向情報記憶部DIに記憶する。
(1−2)ワークステーションWS2の展開画像記憶部UF、方向情報記憶部DIにそれぞれ記憶した展開画像、方向情報及び付加情報を合成した合成画像CI1BをワークステーションWS1に転送する。このときの転送サイズは512×256で済む。
(1−3)ワークステーションWS1は、展開画像記憶部UF、方向情報記憶部DIにそれぞれ記憶した展開画像、方向情報及び付加情報を合成した合成画像CI1Aを生成する。そして、ワークステーションWS1は、自身で生成した合成画像CI1AとワークステーションWS2で生成した合成画像CI1Bとを合成(結合)した合成画像CI1に対して後処理を行い、方向情報、付加情報が可視化された展開画像P4を得る。
【0106】
(例2)例2は、後処理だけ分割する場合である。図15に示すように、この場合、ワークステーションWS1でボクセルデータVD全体に対して展開画像算出処理と方向情報算出処理を行う。そして、高速画像処理に適しているGPU10を搭載したワークステーションWS2で後処理を行うようにすれば、後処理に要する時間を短縮できる。処理の手順は以下のようになる。
(2−1)ワークステーションWS1は、ボクセルデータVDについて、展開画像算出処理と方向情報算出処理を行う。そして、算出した展開画像P3、方向情報及び付加情報を、それぞれ展開画像記憶部UF、方向情報記憶部DIに記憶する。
(2−2)ワークステーションWS1の展開画像記憶部UF、方向情報記憶部DIにそれぞれ記憶した展開画像P3、方向情報及び付加情報を合成した合成画像CI1を生成し、その合成画像CI1をワークステーションWS2に転送する。このときの転送サイズは512×512である。
(2−3)ワークステーションWS2は、合成画像CI1に対して後処理を行い、方向情報、付加情報が可視化された展開画像P4を得る。
【0107】
(例3)例3は、展開画像算出処理と方向情報算出処理とで分割する場合である。図16に示すように、この場合、ワークステーションWS1,WS2間でのデータ転送回数が多くなるが、展開画像算出処理と並列して方向情報算出処理を行うことにより、全体の処理速度の向上を図ることができる。
(3−1)ワークステーションWS1は、ボクセルデータVDについて、展開画像算出処理を行う。そして、断面S毎の展開画像P3が算出されると、ワークステーションWS2に転送し、各展開画像P3は、ワークステーションWS2の展開画像記憶部UFに記憶される。
(3−2)ワークステーションWS2は、ワークステーションWS1の展開画像算出処理と並列に方向情報算出処理を行う。そして、展開画像処理、方向情報算出処理が終了した
断面Sについては、展開画像P3と方向情報、付加情報とを合成した合成画像CI1を生成する。
(3−3)ワークステーションWS2は、ボクセルデータVD全体に対応した合成画像CI1を生成すると、その合成画像CI1をワークステーションWS1に転送する。そして、ワークステーションWS1は、その合成画像CI1に対して後処理を行い、方向情報、付加情報が可視化された展開画像P4を得る。このとき、後処理をGPU10を搭載したワークステーションWS2で実行すると、さらに全体の処理速度を向上することができる。
【0108】
上記実施形態によれば、第1及び第2実施形態の効果に加えて、以下のような効果を得ることができる。
(1)本実施形態によれば、複数の計算機(コンピュータ)3による分散処理を採用するため展開画像投影処理の速度向上を図ることができるので、例えば、モニタ4に表示される方向情報、付加情報がオーバレイ表示された展開画像P4のリアルタイム性を確保し易くなる。
【0109】
(2)本実施形態によれば、複数の計算機(コンピュータ)3による分散処理を採用するため、展開画像記憶部UF、方向情報記憶部DIのために使用するメモリ量を低減することができる。
【0110】
なお、上記各実施形態は以下のように変更してもよい。
○上記第1実施形態では、方向情報、付加情報は、幅のある帯B1によって表現した。これを、方向情報、付加情報を展開画像P3とは異なる色で表現したり、方向情報、付加情報を展開画像P3とは異なる透明度で表現したり、点滅させたり(点滅アニメーション)、数値(座標)で表現したり、線で表現したりするようにしてもよい。すなわち、展開画像P3上にオーバレイ表示できて、直感的に方向情報、付加情報を把握できるような出力形態であればよい。
【0111】
○上記第1実施形態では、帯Bの幅の初期値W0は固定値であったが、キーボード5やマウス6等を使ったユーザの操作によって帯Bの幅の初期値W0を変更してもよい。
○上記第1実施形態では、帯Bの幅の初期値W0は角度θ0に対応する弧の長さとして規定していたが、帯Bの所定の幅そのものを初期値W0としたり、視点から管状組織T1までの距離を帯Bの幅の初期値W0としたりしてもよい。
【0112】
○上記第1実施形態では、色をつけた帯Bによって方向情報、付加情報を表現していたが、ハッチング処理、影付け処理、光沢付け処理、半透明処理、3次元隆起処理等の処理を行った帯Bで方向情報、付加情報を表現してもよい。
【0113】
○上記第1実施形態では、方向情報として下方を表示したが、左右対称な臓器を観察する時に左右方向を明らかにする必要がある場合等に、右方、左方を表示してもよい。また、アンギオ撮影のように斜め方向からの画像で観察する場合のために、斜め方向を表示してもよい。すなわち、下方に限らず、方向を表す方向情報であればよい。
【0114】
○上記第1実施形態では、付加情報として管体の断面積の変化を表示した。これを、断面の座標、断面の座標に対して重み付けをした成分、管体の厚さや、血流量、断面の管体上における相対位置、断面のうち基点位置としての管体の端からの距離等の臓器の機能情報や外部より取得された情報、ボクセルデータVDから計算された情報やその組み合わせ等であってもよい。
【0115】
○上記第1実施形態では、方向情報に付加情報を加えて、幅を持った帯Bで表現したが
、これを方向情報のみを幅を持った帯Bで表現してもよい。
○上記第2実施形態では、残渣を抽出していたが、抽出するのは残渣に限らず、脂肪、骨、血管、空気などの臓器や体内に存在する物質であってもよい。
【0116】
○上記第2実施形態では、残渣に色をつけて表現していたが、これを、残渣にハッチング処理、影付け処理、光沢付け処理、半透明処理、3次元隆起処理等の処理を行って表現してもよい。
【0117】
○上記第2実施形態では、残渣を領域抽出し、その残渣の画像データDPと展開画像P3とを合成した。これを残渣と方向情報(付加情報)の両方を展開画像P3と合成してもよい。この結果、残渣とポリープとの誤診を低減できるとともに、方向情報、付加情報をより認識しやすくなる。さらに、残渣の画像データDPと帯Bとを異なる色で表示したり、ある一定の時間毎に交互に表示したりすることにより、残渣と方向情報(付加情報)の両方を展開画像上で認識しやすくなる。
【0118】
○上記第2実施形態では、残渣を領域抽出し、その残渣の画像データDPと展開画像P3とを合成した。このとき、残渣のボクセル値に対応する不透明度αを適宜変更してもよい。例えば、不透明度αを0<αn<1、すなわち半透明とし、半透明の残渣の画像データDPを展開画像P3と合成することにより、残渣のある領域についても、残渣の画像データDPの上から展開画像P3を視認することができる。
【0119】
○上記第3実施形態では、ネットワークを介して接続されたワークステーションWS1,WS2によってネットワーク分散処理を行った。これを、1台のコンピュータに多数のプロセッサを搭載して分散処理を行ってもよい。
【0120】
○上記各実施形態では、ボリュームレンダリングによって展開画像を生成したが、サーフィスレンダリングによって展開画像を生成してもよい。また、ボリュームレンダリング及びサーフィスレンダリングの組み合わせによって展開画像を生成してもよい。
【0121】
○上記各実施形態では、3次元画像データに対して方向情報算出処理を行ったが、これを4次元以上の画像データに対して行ってもよい。
○上記各実施形態では、骨や臓器等の人体の部分について撮影されたCT画像に対して展開画像投影処理を行ったが、CT撮影等が可能であれば、特に人体や動物、植物等の生物の組織に限らず、地質調査、鉱物探査、機械や装置類の構造材、電気回路のパターンを見る画像処理、LSIの故障診断等にも適用することができる。
【図面の簡単な説明】
【0122】
【図1】第1実施形態の画像表示装置の概略構成図。
【図2】同じく、画像表示装置の概略構成を示すブロック図。
【図3】同じく、ボリュームレンダリングを説明する説明図。
【図4】同じく、ボリュームレンダリングを説明するブロック図。
【図5】同じく、(a)〜(c)は、それぞれ円筒投影法を示す説明図。
【図6】同じく、(a)〜(c)は、それぞれ屈曲円筒投影法を示す説明図。
【図7】同じく、(a)〜(d)は、それぞれ方向情報、付加情報について説明する模式図。
【図8】同じく、展開画像投影処理について説明するフローチャート。
【図9】同じく、方向情報算出処理を説明するフローチャート。
【図10】同じく、(a)、(b)は、それぞれ方向情報算出処理について説明する模式図。
【図11】同じく、方向情報、付加情報をオーバレイ表示した展開画像の模式図。
【図12】第2実施形態の、展開画像投影処理について説明するフローチャート。
【図13】同じく、残渣の画像データをオーバレイ表示した展開画像の模式図。
【図14】同じく、展開画像投影処理の分散処理を示すブロック図。
【図15】同じく、展開画像投影処理の分散処理を示すブロック図。
【図16】同じく、展開画像投影処理の分散処理を示すブロック図。
【図17】平行投影法による管状組織の投影画像を説明するための模式図。
【図18】中心投影法による管状組織の投影画像を説明するための模式図。
【図19】管状組織の展開画像を説明するための模式図。
【符号の説明】
【0123】
a…内腔領域面積、a0…基準断面積、h…方向ベクトル、z…下方ベクトル、B,B1…方向情報、付加情報、帯状の画像としての帯、CI1,CI2,CI1A,CI1B…合成画像、DI…方向情報記憶部、P3,P4,P5…展開画像、R…レイ、S,S0,S1,S2…断面、T,T1,20…管状組織、UF…展開情報記憶部、V1〜Vn…ボクセル、VD…ボクセルデータ、W0…初期値、W1〜W3,Wd,Ws…幅、WS1,WS2…ワークステーション、1…画像表示装置、3…計算機(コンピュータ)、4…出力部としてのモニタ、7…CPU、10…GPU。

【特許請求の範囲】
【請求項1】
1つのコンピュータが単独処理でまたは複数のコンピュータが単独処理と分散処理とのうち少なくとも1つの処理で、3次元以上の画像データを円筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開した展開画像を投影する展開画像投影方法において、
少なくとも1つのコンピュータが、複数の3次元以上の画素からなる3次元以上の画像データ中の前記各画素の位置データを使って方向情報を算出する方向情報算出段階と、
少なくとも1つのコンピュータが、前記展開画像と前記方向情報とを合成して合成画像を生成する合成段階と、
少なくとも1つのコンピュータが、前記合成画像に基づいて新たな展開画像を出力部に出力する出力段階と
を備えたことを特徴とする展開画像投影方法。
【請求項2】
請求項1に記載の展開画像投影方法において、
前記位置データは前記各画素のデカルト座標系の座標データであって、前記方向情報算出段階は、前記各画素のデカルト座標系の座標データを使って方向情報を算出することを特徴とする展開画像投影方法。
【請求項3】
請求項1に記載の展開画像投影方法において、
前記合成段階は、前記方向情報を前記展開画像上で可視化されるように合成することを特徴とする展開画像投影方法。
【請求項4】
請求項1に記載の展開画像投影方法において、
前記合成段階は、前記方向情報と、前記3次元以上の画像データから任意の一部の領域の3次元以上の画像データを抽出した領域抽出結果とのうち少なくとも前記領域抽出結果を含む一方と前記展開画像とを合成することを特徴とする展開画像投影方法。
【請求項5】
請求項1に記載の展開画像投影方法において、
前記3次元以上の画像データは、管体であることを特徴とする展開画像投影方法。
【請求項6】
請求項1乃至5のいずれか1項に記載の展開画像投影方法において、
前記方向情報算出段階は、さらに、
複数の3次元以上の画素からなる3次元以上の画像データ中の前記各画素の位置データを使って付加情報を算出する段階を備え、
その算出した付加情報を前記方向情報に加えることを特徴とする展開画像投影方法。
【請求項7】
請求項1乃至6のいずれか1項に記載の展開画像投影方法において、
前記付加情報は、前記管体の断面積の変化、前記管体の断面の基点位置からの距離、前記管体の断面の座標のうちの少なくとも1つであることを特徴とする展開画像投影方法。
【請求項8】
請求項1乃至7のいずれか1項に記載の展開画像投影方法において、
前記方向情報算出段階は、前記管体の断面のねじれと前記管体の断面の傾きの変化の少なくとも一方を前記方向情報として算出することを特徴とする展開画像投影方法。
【請求項9】
請求項1乃至8のいずれか1項に記載の展開画像投影方法において、
前記方向情報は帯状の画像で表現され、該帯状の画像は、前記各画素の位置データに応じて、幅と向きのうち少なくとも一方が変化することを特徴とする展開画像投影方法。
【請求項10】
請求項1乃至8のいずれか1項に記載の展開画像投影方法において、
前記方向情報は、数値で表現されることを特徴とする展開画像投影方法。
【請求項11】
請求項1乃至8のいずれか1項に記載の展開画像投影方法において、
前記方向情報は、色で表現されることを特徴とする展開画像投影方法。
【請求項12】
請求項1乃至8のいずれか1項に記載の展開画像投影方法において、
前記方向情報は、少なくとも1本の線で表現されることを特徴とする展開画像投影方法。
【請求項13】
請求項1乃至8のいずれか1項に記載の展開画像投影方法において、
前記方向情報は、透明度で表現されることを特徴とする展開画像投影方法。
【請求項14】
請求項1乃至8のいずれか1項に記載の展開画像投影方法において、
前記方向情報は、点滅アニメーションで表現されることを特徴とする展開画像投影方法。
【請求項15】
請求項1に記載の展開画像投影方法において、
前記展開画像は、ボリュームレンダリングによって、前記3次元以上の画像データを円筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開することにより生成されることを特徴とする展開画像投影方法。
【請求項16】
請求項1に記載の展開画像投影方法において、
前記展開画像は、サーフィスレンダリングによって、前記3次元以上の画像データを円筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開することにより生成されることを特徴とする展開画像投影方法。
【請求項17】
1つのコンピュータが単独処理でまたは複数のコンピュータが単独処理と分散処理とのうち少なくとも1つの処理で、3次元以上の画像データを円筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開した展開画像を投影する展開画像投影プログラムであって、
前記1つのコンピュータまたは複数のコンピュータを、
複数の3次元以上の画素からなる3次元以上の画像データ中の前記各画素の位置データを使って方向情報を算出する方向情報算出手段と、
前記展開画像と前記方向情報とを合成して合成画像を生成する合成手段と、
前記合成画像に基づいて新たな展開画像を出力部に出力する出力手段と
して機能させることを特徴とする展開画像投影プログラム。
【請求項18】
請求項17に記載の展開画像投影プログラムにおいて、
前記位置データは前記各画素のデカルト座標系の座標データであって、前記方向情報算出手段は、前記各画素のデカルト座標系の座標データを使って方向情報を算出することを特徴とする展開画像投影プログラム。
【請求項19】
請求項17に記載の展開画像投影プログラムにおいて、
前記合成手段は、前記方向情報を前記展開画像上で可視化されるように合成することを特徴とする展開画像投影プログラム。
【請求項20】
請求項17に記載の展開画像投影プログラムにおいて、
前記合成手段は、前記方向情報と、前記3次元以上の画像データから任意の一部の領域の3次元以上の画像データを抽出した領域抽出結果とのうち少なくとも前記領域抽出結果を含む一方と前記展開画像とを合成することを特徴とする展開画像投影プログラム。
【請求項21】
請求項17に記載の展開画像投影プログラムにおいて、
前記3次元以上の画像データは、管体であることを特徴とする展開画像投影プログラム。
【請求項22】
請求項17乃至21のいずれか1項に記載の展開画像投影プログラムにおいて、
前記方向情報算出手段は、さらに、
複数の3次元以上の画素からなる3次元以上の画像データ中の前記各画素の位置データを使って付加情報を算出する手段を備え、
その算出した付加情報を前記方向情報に加えることを特徴とする展開画像投影プログラム。
【請求項23】
請求項17乃至22のいずれか1項に記載の展開画像投影プログラムにおいて、
前記付加情報は、前記管体の断面積の変化、前記管体の断面の基点位置からの距離、前記管体の断面の座標のうちの少なくとも1つであることを特徴とする展開画像投影プログラム。
【請求項24】
請求項17乃至23のいずれか1項に記載の展開画像投影プログラムにおいて、
前記方向情報算出手段は、前記管体の断面のねじれと前記管体の断面の傾きの変化の少なくとも一方を前記方向情報として算出することを特徴とする展開画像投影プログラム。
【請求項25】
請求項17乃至24のいずれか1項に記載の展開画像投影プログラムにおいて、
前記方向情報は帯状の画像で表現され、該帯状の画像は、前記各画素の位置データに応じて、幅と向きのうち少なくとも一方が変化することを特徴とする展開画像投影プログラム。
【請求項26】
請求項17乃至24のいずれか1項に記載の展開画像投影プログラムにおいて、
前記方向情報は、数値で表現されることを特徴とする展開画像投影プログラム。
【請求項27】
請求項17乃至24のいずれか1項に記載の展開画像投影プログラムにおいて、
前記方向情報は、色で表現されることを特徴とする展開画像投影プログラム。
【請求項28】
請求項17乃至24のいずれか1項に記載の展開画像投影プログラムにおいて、
前記方向情報は、少なくとも1本の線で表現されることを特徴とする展開画像投影プログラム。
【請求項29】
請求項17乃至24のいずれか1項に記載の展開画像投影プログラムにおいて、
前記方向情報は、透明度で表現されることを特徴とする展開画像投影プログラム。
【請求項30】
請求項17乃至24のいずれか1項に記載の展開画像投影プログラムにおいて、
前記方向情報は、点滅アニメーションで表現されることを特徴とする展開画像投影プログラム。
【請求項31】
請求項17に記載の展開画像投影プログラムにおいて、
前記展開画像は、ボリュームレンダリングによって、前記3次元以上の画像データを円筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開することにより生成されることを特徴とする展開画像投影プログラム。
【請求項32】
請求項17に記載の展開画像投影プログラムにおいて、
前記展開画像は、サーフィスレンダリングによって、前記3次元以上の画像データを円
筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開することにより生成されることを特徴とする展開画像投影プログラム。
【請求項33】
3次元以上の画像データを円筒投影面に投影し、前記円筒投影面を該円筒投影面に対応した投影平面に展開した展開画像を投影する展開画像投影装置であって、
複数の3次元以上の画素からなる3次元以上の画像データ中の前記各画素の位置データを使って方向情報を算出する方向情報算出手段と、
前記展開画像と前記方向情報とを合成して合成画像を生成する合成手段と、
前記合成画像に基づいて新たな展開画像を出力部に出力する出力手段と
を備えたことを特徴とする展開画像投影装置。
【請求項34】
請求項33に記載の展開画像投影装置において、
前記位置データは前記各画素のデカルト座標系の座標データであって、前記方向情報算出手段は、前記各画素のデカルト座標系の座標データを使って方向情報を算出することを特徴とする展開画像投影装置。
【請求項35】
請求項33に記載の展開画像投影装置において、
前記合成手段は、前記方向情報を前記展開画像上で可視化されるように合成することを特徴とする展開画像投影装置。
【請求項36】
請求項33に記載の展開画像投影装置において、
前記合成手段は、前記方向情報と、前記3次元以上の画像データから任意の一部の領域の3次元以上の画像データを抽出した領域抽出結果とのうち少なくとも前記領域抽出結果を含む一方と前記展開画像とを合成することを特徴とする展開画像投影装置。
【請求項37】
請求項33乃至36のいずれか1項に記載の展開画像投影装置において、
前記方向情報算出手段、前記合成手段の一部または全部は、GPUであることを特徴とする展開画像投影装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2006−18606(P2006−18606A)
【公開日】平成18年1月19日(2006.1.19)
【国際特許分類】
【出願番号】特願2004−196040(P2004−196040)
【出願日】平成16年7月1日(2004.7.1)
【出願人】(500109320)ザイオソフト株式会社 (59)
【Fターム(参考)】