医用画像処理装置及びその制御プログラム
【課題】裸眼3Dディスプレイ装置に対応した立体的な視覚効果を得るえるための画像データを生成することができる医用画像処理装置を提供する。
【解決手段】実施形態に係る医用画像処理装置は、医療用3次元画像データの中の局所領域を設定する設定部と、設定された前記局所領域を、所定の複数の視差方向に投影し、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を前記視差方向の数だけ生成する視差画像生成部と、前記複数の視差画像に対応する前記複数の視差方向に同時に振り分けて出射する裸眼3Dディスプレイ装置に、前記複数の視差画像を出力する視差画像出力部と、を備えたことを特徴とする。
【解決手段】実施形態に係る医用画像処理装置は、医療用3次元画像データの中の局所領域を設定する設定部と、設定された前記局所領域を、所定の複数の視差方向に投影し、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を前記視差方向の数だけ生成する視差画像生成部と、前記複数の視差画像に対応する前記複数の視差方向に同時に振り分けて出射する裸眼3Dディスプレイ装置に、前記複数の視差画像を出力する視差画像出力部と、を備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用画像処理装置及びその制御プログラムに関する。
【背景技術】
【0002】
X線コンピュータ断層撮影装置(以下、CT装置という)や磁気共鳴イメージング装置(以下、MRI装置という)等で得られたボリュームデータ(3次元データ)を観察する方法として、従来からMPR(Multi-Planner Reconstruction)法やCPR(Curved multi-Planner Reconstruction)法と呼ばれる方法が知られている。
【0003】
MPR法は、3次元データを任意方向の平面で切断し、この平面に垂直な方向から見た断面画像を再構成する手法である。一方、CPR法は、主に3次元データ中の管状構造物を観察する場合に用いられる手法であり、管状構造物の芯線に沿って一方向に曲率を有する曲面で3次元データを切断し、この曲面を平面に展開することにより管状構造物の芯線に沿った断面画像を再構成する(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−51730号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
MPR法で得られる断面画像(以下、MPR画像という)は、切断平面に垂直な一方向から見た画像である。また、CPR法で得られる断面画像(以下、CPR画像という)も、管状構造物の芯線に沿った曲面を平面に展開し、その展開平面に垂直な一方向から見た画像である。
【0006】
一方、近時、専用の眼鏡等を用いることなく裸眼でも立体的な視覚効果を得ることが可能な裸眼3Dディスプレイ装置が開発され、市場に出回り始めている。この裸眼3Dディスプレイ装置では、立体物を異なる方向から観察した複数の2次元画像を同時に表示する。これら複数の2次元画像は、水平方向の画素ごと設けられるレンチキュラレンズと呼ばれるシリンドリカルレンズによって、それぞれ異なる複数の水平方向(この方向を視差方向と呼ぶ)に振り分けられる。例えば、9つの異なる方向から観察した9つの2次元画像をディスプレイパネルに同時に表示し、この9つの2次元画像をレンチキュラレンズによって9つの視差方向に振り分ける。そして、視差方向の異なる複数の2次元画像からの光を両眼に入射させることにより、立体的な視覚効果を観察者に与えることができる。また、観察者がディスプレイパネルの左右方向に移動すると、3次元物体をあたかも異なる角度から観察するような立体感を観察者に与えることができる。
【0007】
前述したMPR画像やCPR画像は3次元画像の断面(この断面は厚みをもちうる)という患者全体のうちの局所的な領域を抽出した画像である。しかしながら、局所的領域であっても、その局所的な領域の内部にある患部の形状や形態を、前述した裸眼3Dディスプレイ装置を用いることにより、奥行き感のある立体的な視覚効果をもって観察できれば、より的確で精度の高い診断や治療が可能となると期待される。
【0008】
従来のMPR法やCPR法で得られる画像データは、裸眼3Dディスプレイ装置によって立体的な視覚効果を得るために生成されたものではなく、これらの画像データからは奥行き感のある立体的な視覚効果を得ることはできない。そこで、裸眼3Dディスプレイ装置に対応した立体的な視覚効果を得るえるための画像データを生成することができる医用画像処理装置及びその制御プログラムが要望されている。
【課題を解決するための手段】
【0009】
実施形態に係る医用画像処理装置は、医療用3次元画像データの中の局所領域を設定する設定部と、設定された前記局所領域を、所定の複数の視差方向に投影し、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を前記視差方向の数だけ生成する視差画像生成部と、前記複数の視差画像に対応する前記複数の視差方向に同時に振り分けて出射する裸眼3Dディスプレイ装置に、前記複数の視差画像を出力する視差画像出力部と、を備えたことを特徴とする。
【図面の簡単な説明】
【0010】
【図1】本実施形態に係る医用画像処理装置の基本的な構成例を示すブロック図。
【図2】裸眼3Dディスプレイ装置の動作原理を模式的に示す図。
【図3】第1の実施形態に係る医用画像処理装置の構成例を示すブロック図。
【図4】第1の実施形態に係る医用画像処理装置の処理例を示すフローチャート。
【図5】第1の実施形態におけるMPR画像の生成方法を示す第1の図。
【図6】第1の実施形態におけるMPR画像の生成方法を示す第2の図。
【図7】第1の実施形態におけるMPR画像の生成方法を示す第3の図。
【図8】第1の実施形態の第1の変形例におけるMPR画像の生成方法を示す図。
【図9】第1の実施形態の第2の変形例におけるMPR画像の生成方法を示す図。
【図10】第2の実施形態に係る医用画像処理装置の構成例を示すブロック図。
【図11】第2の実施形態に係る医用画像処理装置の処理例を示すフローチャート。
【図12】第2の実施形態におけるCPR画像の生成方法を示す第1の図。
【図13】第2の実施形態におけるCPR画像の生成方法を示す第2の図。
【図14】第2の実施形態におけるCPR画像の生成方法を示す第3の図。
【図15】第2の実施形態におけるCPR画像の生成方法を示す第4の図。
【図16】第2の実施形態の変形例(厚みなし)のCPR画像の生成方法を示す図。
【図17】異なる視差方向でもCPR画像サイズを同一とする第1の方法の説明図。
【図18】異なる視差方向でもCPR画像サイズを同一とする第2の方法の説明図。
【図19】第3の実施形態におけるSPR画像の生成方法を示す第1の図。
【図20】第3の実施形態におけるSPR画像の生成方法を示す第2の図。
【図21】第3の実施形態に係る医用画像処理装置の構成例を示すブロック図。
【図22】第3の実施形態に係る医用画像処理装置の処理例を示すフローチャート。
【図23】第3の実施形態の変形例におけるSPR画像の生成方法を示す図。
【図24】第4の実施形態におけるVGP画像の生成方法を示す第1の図。
【図25】第4の実施形態におけるVGP画像の生成方法を示す第2の図。
【図26】第4の実施形態に係る医用画像処理装置の構成例を示すブロック図。
【図27】第4の実施形態に係る医用画像処理装置の処理例を示すフローチャート。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態を添付図面に基づいて説明する。
【0012】
図1は、本実施形態に係る医用画像処理装置1の基本的な構成例を示すブロック図である。図1に示す構成は、後述するより具体的な実施形態の夫々に共通するものである。医用画像処理装置1は、3次元画像データ保存部10、局所領域設定部20、視差方向計算部30、視差画像生成部40、視差画像出力部50等を備えて構成される。
【0013】
3次元画像データ保存部10は、モダリティ100から出力される医療用の3次元画像データを一時的に保存する。モダリティ100の種類は特に限定するものではないが、例えば、X線CT装置、MRI装置、超音波診断装置等の医療画像診断装置であり、被検体(患者)の体内の構造を表す信号を取得して3次元画像データ(ボリュームデータ)を再構成することが可能な装置である。
【0014】
局所領域設定部10は、ユーザインタフェースを介した医師や技師等のユーザの指定に基づいて、3次元画像データ保存部10に保存された3次元画像データの中の観察したい局所領域を設定する。ここで、局所領域とは、例えばMPR画像を生成する場合には、3次元画像の切断面に該当する平面領域、或いは厚みをもった平板状領域(スラブ)である。CPR画像を生成する場合には、血管等の管状構造物に沿った曲面、或いは厚みをもった曲板状領域である。また、後述するSPR(Stretched MPR)画像やVGP(Virtual Gross Pathology)画像を生成する場合には、血管や大腸等の管状構造物を所定の長さだけ含んだ管状領域である。局所領域設定部10は、ユーザの指定情報に基づいて、これらの局所領域を規定するためのパラメータ(位置、向き、厚み、曲面や曲線の諸元等)を設定し、視差方向計算部30や視差画像生成部40に出力する。
【0015】
視差方向計算部30は、裸眼3Dディスプレイ装置200上の複数の視差方向(以下、単に視差方向と呼ぶ)を、局所領域設定部20で設定した局所領域の座標上での複数の視差方向に変換する。
【0016】
視差画像生成部40は、局所領域設定部10で設定した局所領域を複数の視差方向に投影し、複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を視差方向の数だけ生成する。投影に使用する視差方向は、視差方向計算部30で変換した局所領域の座標上での視差方向である。
【0017】
視差画像生成部40で生成された複数の視差画像は、視差画像出力部50において所定のデータフォーマットに変換され、裸眼3Dディスプレイ装置200に出力される。
【0018】
図2は、本実施形態に係る医用画像処理装置1で生成された複数の視差画像を表示する裸眼3Dディスプレイ装置200の原理を概略説明する図である。図2は、9つの視差方向に対応する裸眼3Dディスプレイ装置200を例示している。この裸眼3Dディスプレイ装置200は、垂直方向に延びるレンチキュラレンズと呼ばれるシリンドリカルレンズ201を水平方向の画素ごとに配置している。1つのシリンドリカルレンズ201内の水平方向には、さらに9つの画素要素202が配列されている。そして、各画素要素は、図2の上部に示す9つの視差画像内におけるそれぞれの画素に対応しており、9つの視差画像は裸眼3Dディスプレイ装置200のディスプレイパネルに同時に表示される。一方、各画素要素はシリンドリカルレンズ201内においてそれぞれ異なる位置にあるため、シリンドリカルレンズ201の曲率に応じて、9つの視差方向(図2では、簡略化のため5つの視差方向のみ示している)に振り分けられる。つまり、9つの異なる方向から観察した9つの2次元画像(視差画像)をディスプレイパネルに同時に表示すると、この9つの視差画像がシリンドリカルレンズ201によって9つの視差方向に振り分けられる。この結果、視差方向の異なる複数の視差画像からの光が観察者の両眼に入射することになり、奥行き間のある立体的な視覚効果を観察者に与えることができる。また、観察者がディスプレイパネルの左右方向に移動すると、3次元物体をあたかも異なる角度から観察するような立体感を観察者に与えることができる。
【0019】
図1に示す構成のうち3次元画像データ保存部10は、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、RAM等の適宜の記憶デバイスで構成される。また、局所領域設定部20、視差方向計算部30、視差画像生成部40、視差画像出力部50は、それぞれの機能を実現するステップが記述されたプログラムをコンピュータ(CPU)に実行させることで実現するように構成しても良いし、或いはその機能の一部または全部をASIC等のハードウェアで実現しても良い。またソフトウェアとハードウェアを適宜組み合わせて各機能を実現してもよい。また、図1では、裸眼3Dディスプレイ装置200を医用画像処理装置1の構成外としているが、裸眼3Dディスプレイ装置200を医用画像処理装置1に含めた構成としても良い。
【0020】
以下、より具体的な実施形態を説明する。
【0021】
(1)第1の実施形態
第1の実施形態に係る医用画像処理装置1aは、複数の視差方向から見た複数のMPR(Multi-Planner Reconstruction)画像を生成して裸眼3Dディスプレイ装置200に出力する。
【0022】
図3は、第1の実施形態に係る医用画像処理装置1aの構成例を示すブロック図であり、図4はその処理例を示すフローチャートである。
【0023】
第1の実施形態に係る医用画像処理装置1aの局所領域設定部20aは、MPR断面位置・向き設定部21と、MPR厚み設定部22を有する。MPR断面位置・向き設定部21及びMPR厚み設定部22は、医師等の指定に基づき、詳細に観察したい患部(例えば、図4等に示す血管内の血管狭窄部)を含む平板状領域(即ちスラブ)の位置、向き、及び厚みを設定する(図4のフローチャートのステップST1、ST2)。
【0024】
一方、視差方向計算部30は、スラブの正面に垂直な方向を裸眼3Dディスプレイ装置200における中央視差方向に対応付ける。そして、この中央視差方向と、左側の複数の視差方向及び右側の複数の視差方向とを、スラブの座標系における視差方向に変換する。
【0025】
視差画像生成部40aは、これら複数の視差方向に沿って投影し、スラブの奥行き情報が反映された複数(例えば9つ)の視差画像を生成する(図4のフローチャートのステップST3、ST4)。そして、生成された複数の視差画像を裸眼3Dディスプレイ装置200に出力し、ディスプレイパネルに表示する(ステップST5)。
【0026】
図5及び図6は視差画像生成の概念を示す図である。このうち図5(a)は、中央視差方向を例にした、MPR画像の生成方法を示す斜視図であり、図5(b)は上から見た図である。図5(b)に示すように、MPRでは、厚みをもつスラブを視差方向に投影した2次元画像としてMPR画像を生成する。投影の手法として、1)スラブ内の画素値を視差方向に沿って平均し、その平均値をMPR画像の画素値とする方法、2)視差方向に沿ったスラブ内の画素値の最大値を求め、その最大値をMPR画像の画素値とする方法、3)視差方向に沿ったスラブ内の画素値の最小値を求め、その最小値をMPR画像の画素値とする方法、等がある。本実施形態ではいずれの方法を用いてもよい。
【0027】
図6は、中央視差方向、左視差方向、及び右視差方向に対応する3つの視差画像(1)、(5)、(9)を例とした複数の視差画像の生成方法を説明する図である。第1の実施形態では、スラブの向きは固定とし、この1つのスラブを異なる視差方向に投影した複数の視差画像を生成する。したがって、中央視差方向はスラブの主平面(正面)に直交するものの、それ以外の視差方向はスラブの主平面に対して斜めとなる。スラブは厚みをもっており、スラブ内にある血管狭窄部等の立体的な患部を視差方向に投影した形状は、視差方向毎に異なる。この結果、それぞれの視差方向に対応する視差画像は、図7に示すように、立体的形状をもつ血管狭窄部をあたかも実際に異なる角度から観察したような画像となる。これらの複数の視差画像を裸眼3Dディスプレイ装置200に表示すると、この表示を見る観察者は、従来のMPR画像では得ることのできなかった血管狭窄部の奥行き方向の形状や、血管狭窄部の血管内における位置関係を瞬時に認識することができるため、従来に比べてより的確な画像診断が可能となる。
【0028】
(2)第1の実施形態の変形例
図8は、第1の実施形態の第1の変形例による視差画像の生成方法を説明する図である。上述した第1の実施形態では、向きが固定されたスラブに対して異なる視差方向から投影して視差画像を生成している。これに対して、第1の変形例における局所領域設定部20aでは、スラブの主平面(正面)が視差方向に直交するように各視差方向に対応する複数のスラブを設定する。つまり、スラブを上から見たとき、所定の回転軸を中心に回転させた複数のスラブを設定する。図8の例では、スラブ(1)が左視差方向の視差画像(1)に投影され、スラブ(5)が中央視差方向の視差画像(5)に投影され、スラブ(9)が右視差方向の視差画像(9)に投影される。スラブの回転軸は、例えば患部(血管狭窄部等)または患部の近傍(血管の芯線)を通る位置に設定される。
【0029】
この第1の変形例においても、各スラブ内にある血管狭窄部等の立体的な患部を視差方向に投影した形状は視差方向毎に異なり、それぞれの視差方向に対応する視差画像は、立体的形状をもつ血管狭窄部をあたかも実際に異なる角度から観察したような画像となる。
【0030】
図9は、第1の実施形態の第2の変形例による視差画像の生成方法を説明する図である。第2の変形例は、第1の変形例におけるスラブの厚みをゼロとした形態である。この形態では、3次元画像データ中の局所領域は平板状領域ではなく断面(平面)領域となる。しかしながら、局所領域が断面(平面)であっても、図9に示すように、この断面が血管等の患部をそれぞれ異なる角度で切り出すこととなるため、各視差方向に投影された視差画像には患部の形状や奥行き方向の情報が反映されることになる。したがって、これらの複数の視差画像を裸眼3Dディスプレイ装置200に表示すると、奥行き感のある立体的な患部情報を観察者に与えることができる。
【0031】
(2)第2の実施形態
第2の実施形態に係る医用画像処理装置1bは、複数の視差方向から見た複数のCPR(Curved multi-Planner Reconstruction)画像を生成して裸眼3Dディスプレイ装置200に出力する。
【0032】
図10は、第2の実施形態に係る医用画像処理装置1bの構成例を示すブロック図であり、図11はその処理例を示すフローチャートである。
【0033】
第2の実施形態に係る医用画像処理装置1bの局所領域設定部20bは、CPR曲線・向き設定部23と、CPR厚み設定部24を有する。CPR曲線・向き設定部23は、医師等の指定に基づき、詳細に観察したい管状構造物(例えば、血管狭窄部を含む血管等)の芯線を求め、この芯線に沿う曲板状領域を局所領域として設定する。CPRで用いられる曲板状領域は、図12等に示すように、一方向(例えばユーザから見て縦方向であり、図12におけるZ方向)にのみ曲率を有し、これと直交する方向(例えばユーザから見て横方向であり、図12におけるX方向)には曲率をもたない曲板状の領域である。この曲板状領域を観察する主たる方向(以下、主観察方向という)は、曲板状領域を平板に展開したときその展開平板に垂直な方向(図12における厚み方向:Y方向)となる。CPR曲線・向き設定部23は、この主観察方向を設定することにより、曲板状領域の向きを設定する(図11のフローチャートのステップST11)。一方、CPR厚み設定部24は、CPRの曲板状領域の厚みを設定する(図11のフローチャートのステップST12)。
【0034】
視差方向計算部30は、曲板状領域の主観察方向を裸眼3Dディスプレイ装置200における中央視差方向に対応付ける。そして、この中央視差方向と、左側の複数の視差方向及び右側の複数の視差方向とを、曲板状領域の座標系における視差方向に変換する。
【0035】
視差画像生成部40bは、曲板状領域を垂直な平板に展開すると共に展開平板をこれら複数の視差方向に沿って投影し、曲板状領域の奥行き情報が反映された複数(例えば9つ)の視差画像を生成する(図11のフローチャートのステップST13、ST14)。そして、生成された複数の視差画像を裸眼3Dディスプレイ装置200に出力し、ディスプレイパネルに表示する(ステップST15)。
【0036】
図12は、3次元画像データから血管の芯線を含む曲板状領域を切り出す様子を模式的に示す図である。この曲板状領域には血管と、血管の内部の患部(血管狭窄部等)が含まれている。
【0037】
図13の右下には、曲板状領域を上から見た図を示している。この図からも、曲板状領域に血管を主観察方向から見たときに奥行き方向の情報や血管狭窄部の3次元情報が含まれていることがわかる。
【0038】
曲板状領域は、図13の上部に示すように、曲板を縦方向に展開して展開平板とし、この展開平板に垂直な方向(視差方向)に投影してCPR画像が生成される。投影の手法としては、前述したMPR画像の生成と同様に、1)展開平板内の画素値を視差方向に沿って平均し、その平均値をCPR画像の画素値とする方法、2)視差方向に沿った展開平板内の画素値の最大値を求め、その最大値をCPR画像の画素値とする方法、3)視差方向に沿った展開平板内の画素値の最小値を求め、その最小値をMPR画像の画素値とする方法、等を用いることができる。
【0039】
図14及び図15は、異なる視差方向に対するCPR画像を生成する方法を説明する図である。図14に示すように、中央視差方向から切り出した曲板状領域と、右視差方向から切り出した曲板状領域は、いずれも3次元画像データ中の血管を上端から下端まで総て含む曲板状領域であるが、視差方向によって血管の曲がり状態が異なるため、曲板状領域の曲がり状態も夫々異なったものとなる。これらの曲板状領域が夫々垂直方向に展開され、展開平板を視差方向に投影した画像が視差方向に対応したCPRの視差画像である。
【0040】
図15は、3つの曲板状領域(曲板(1)、曲板(5)、曲板(9))を3つの視差方向(左視差方向、中央視差方向、右視差方向)に夫々投影して、3つのCPR画像(視差画像(1)、(5)、(9))を生成する様子を上から見た図である。各視差画像には、血管の形状や患部の形状が視差方向によって異なって投影されており、これらの視差画像を裸眼3Dディスプレイ装置で表示することにより、立体形状や奥行き方向の位置関係を観察者により直感的に把握させることができる。また、CPR画像は、血管の長手方向に沿った広い範囲の血管を投影するため、各視差方向から見たときの奥行き方向の位置関係を広い範囲で提供することができる。
【0041】
ここまでは、厚みのある曲板状領域を投影してCPR画像を生成する方法を説明したが、MPR画像と同様に、厚みのない曲面領域を投影してCPR画像を生成することもできる。図16は、血管の芯線に沿った曲面領域からCPR画像を生成する方法を説明する図である。この方法でも、各曲面は血管や血管内の患部を視差方向に応じた異なった形状で切り出すことになるため、それぞれの視差画像には血管の奥行き情報や形状が反映されている。したがって、これらの視差画像を裸眼3Dディスプレイ装置に表示すると、血管や患部の立体形状や奥行き方向の位置関係を観察者に把握させることができる。
【0042】
ところで、通常のCPR画像は、血管等の管状構造物をその芯線に沿った曲板状領域や曲面で切り出し、これを平面に展開して表示する手法であるため、CPR画像上での血管等の長さは、視差方向に関わらず常に一定となる。一方、縦方向に曲がった血管等を異なる視差方向に投影すると、投影された血管等は視差方向によって異なった曲率をもつ。この結果、通常の手法で視差方向の異なる複数のCPR画像を生成すると、CPR画像の縦方向の画像サイズが視差方向によって異なるという問題が生じる。図17は、この問題とその解決方法を説明する図である。
【0043】
図17の左側の図は、3次元画像データの中に円弧状の曲線が含まれているモデルを例示している。この曲線は血管等の管状構造物の芯線をモデル化したものであり、説明の便宜上、立法形の3次元画像データの上端面の中心から下端面の中心に向かう湾曲した円弧状の曲線を仮定している。湾曲の方向は右45度視差方向である。
【0044】
図17の右側上段は、通常のCPR法で生成したCPR画像であり、左から順に、中央視差方向、右22.5度視差方向、右45度視差方向のCPR画像である。視差方向が右に移るにつれて円弧の極率は小さく投影され、右45度視差方向では直線に見える。図中のLは曲線(芯線)を5等分した長さである。前述したように、通常のCPR法は芯線の長さを忠実に表現する図法であるため、視差方向が中央視差方向から離れるにつれてCPR画像の縦方向の画像サイズは大きくなる。
【0045】
本実施形態では、この問題を解消するため、中央視差方向の縦方向の画像サイズに他の視差方向の画像サイズを強制的に合致させるようにしている。具体的には、図17右下段に示すように、芯線上のサンプリング位置とサンプリング数を各視差画像間で同一としている。この結果、図17右下段に示すように、どの視差方向の視差画像も縦方向の長さが同じとなり、裸眼3Dディスプレイ装置200に対して全て同一サイズの視差画像を出力することができる。
【0046】
図18は、同一サイズのCPR視差画像を得るための他の方法を説明する図である。この方法では、図18右下に示すように、曲板状領域或いは曲面を展開する方向(図18では、図17と同様に縦方向)に沿った軸上でのサンプリング位置とサンプリング数とを各視差画像間で同一としている。この方法によっても、どの視差方向の視差画像も縦方向の長さが同じとなり、裸眼3Dディスプレイ装置200に対して全て同一サイズの視差画像を出力することができる。
【0047】
(3)第3の実施形態
第3の実施形に係る医用画像処理装置1cは、複数の視差方向から見た複数のSPR(Stretched multi-Planner Reconstruction)画像を生成して裸眼3Dディスプレイ装置200に出力する。
【0048】
図19は、1つの視差方向(中央視差方向)のSPR画像の概念を示す図である。図19に示すように、SPR画像は、SPR画像(視差画像)の縦軸方向を、血管等の管状構造物の芯線を直線状に引き伸ばしたときの引伸ばし方向とする。そして、横軸方向に芯線に直交する軸に沿った画素値を配置して生成する。芯線を引き伸ばす方向(即ち、血管等を真っ直ぐ引き伸ばす方向)を上記とは逆にSPR画像の横軸方向としてもよい。
【0049】
複数のSPR画像(視差画像)を生成するときは、図20に示すように、芯線に直交する軸の方向を複数の視差方向に夫々対応させて複数の視差画像を生成する。図20の例では、中央視差方向と、中央から角度θだけ右にずれた右視差方向の2つのSPR画像(視差画像)を生成している。
【0050】
図21は、第3の実施形態に係る医用画像処理装置1cの構成例を示すブロック図であり、図22はその処理例を示すフローチャートである。
【0051】
第3の実施形態では、局所領域設定部20cのSPR曲線・向き設定部25において、管状構造物の領域を局所領域として設定する。また、SPR曲線・向き設定部25は、芯線に直交する面において基準となる方向(中央視差方向に対応付ける方向)を設定する(図22のステップST21)。
【0052】
視差画像生成部40cは、図19及び図20に示した方法によって複数のSPR画像(視差画像)を生成する(ステップST23、24)。全てのSPR画像(視差画像)の生成が終了すると、それらを裸眼3Dディスプレイ装置200に出力する(ステップST25)。
【0053】
図23は、第3の実施形態の変形例を示す図である。この変形例では、芯線に直交する面内において芯線に直交する軸に沿った帯状領域の幅を設定する。この設定は、局所領域設定部20cのSPR厚み設定部26で行う(図22のステップST22)。一方、視差画像生成部40cは、1)帯状領域の幅方法の画素値を平均する、2)幅方向の画素値の最大値を抽出する、3)幅方向の画素値の最小値を抽出する、等の方法によって前記芯線に直交する軸に沿った画素値を求め、これをSPR画像の横軸方向に配置してSPR画像を生成する。
【0054】
SPR画像はCPR画像と同様に血管等の管状構造物等の診断に有効な表示法であるが、従来は一方向に投影した2次元画像であった。第3の実施形態によれば、複数の視差方向のSPR画像を裸眼3Dディスプレイ装置200に表示させることにより、血管などの管状構造物を、立体感をもって観察することができ、血管内の奥行き方向の位置関係も容易に把握することができる。
【0055】
(4)第4の実施形態
第4の実施形に係る医用画像処理装置1dは、複数の視差方向から見た複数のVGP(Virtual Gross Pathology)画像を生成して裸眼3Dディスプレイ装置200に出力する。VGP画像は、Fillet View(フィレ・ビュー画像、或いは仮想切除標本展開像とも呼ばれる。
【0056】
図24は、1つの視差方向(中央視差方向)のVGP画像の概念を示す図である。図24に示すように、VGP画像は、VGP画像(視差画像)の縦軸方向を、大腸等の管状構造物の芯線を直線状に引き伸ばしたときの引伸ばし方向とする。そして、VGP画像の横軸方向を、芯線を中心とする周方向に対応付け、芯線の位置から大腸等の内腔を投影した画像データを横軸方向に配置して視差画像を生成する。芯線を引き伸ばす方向(即ち、大腸等を真っ直ぐ引き伸ばす方向)を上記と逆にVGP画像の横軸としてもよい。
【0057】
異なる視差方向の複数のVGP画像(視差画像)を生成するときは、図25に示すように、内腔の投影方向を視差方向θだけ夫々回転させて複数の視差画像を生成する。図25の例では、中央視差方向と、中央から角度θだけ右にずれた右視差方向の2つのVGP画像(視差画像)を生成している。
【0058】
図26は、第4の実施形態に係る医用画像処理装置1dの構成例を示すブロック図であり、図27はその処理例を示すフローチャートである。
【0059】
第4の実施形態では、局所領域設定部20dのVGP曲線・向き設定部27において、管状構造物の領域を局所領域として設定する。また、VGP曲線・向き設定部27は、芯線に直交する面において基準となる方向(中央視差方向に対応付ける方向)を設定する(図27のステップST31)。
【0060】
視差画像生成部40dは、図24及び図25に示した方法によって複数のVGP画像(視差画像)を生成する(ステップST32、33)。全てのVGP画像(視差画像)の生成が終了すると、それらを裸眼3Dディスプレイ装置200に出力する(ステップST34)。
【0061】
VGP画像は、大腸等の管状構造物を仮想的に切除展開して表示する方法であり、大腸等の内腔の診断に有効な表示法であるが、従来は一つの視差方向から見た2次元画像であった。第4の実施形態によれば、複数の視差方向のVGP画像を裸眼3Dディスプレイ装置200に表示させることにより、大腸などの管状構造物の内腔を立体感をもって観察することができ、内腔の奥行き方向の位置関係も容易に把握することができる。
【0062】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0063】
1 医用画像処理装置
10 3次元画像データ保存部
20 局所領域設定部
30 視差方向計算部
40 視差画像生成部
50 視差画像出力部
【技術分野】
【0001】
本発明は、医用画像処理装置及びその制御プログラムに関する。
【背景技術】
【0002】
X線コンピュータ断層撮影装置(以下、CT装置という)や磁気共鳴イメージング装置(以下、MRI装置という)等で得られたボリュームデータ(3次元データ)を観察する方法として、従来からMPR(Multi-Planner Reconstruction)法やCPR(Curved multi-Planner Reconstruction)法と呼ばれる方法が知られている。
【0003】
MPR法は、3次元データを任意方向の平面で切断し、この平面に垂直な方向から見た断面画像を再構成する手法である。一方、CPR法は、主に3次元データ中の管状構造物を観察する場合に用いられる手法であり、管状構造物の芯線に沿って一方向に曲率を有する曲面で3次元データを切断し、この曲面を平面に展開することにより管状構造物の芯線に沿った断面画像を再構成する(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−51730号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
MPR法で得られる断面画像(以下、MPR画像という)は、切断平面に垂直な一方向から見た画像である。また、CPR法で得られる断面画像(以下、CPR画像という)も、管状構造物の芯線に沿った曲面を平面に展開し、その展開平面に垂直な一方向から見た画像である。
【0006】
一方、近時、専用の眼鏡等を用いることなく裸眼でも立体的な視覚効果を得ることが可能な裸眼3Dディスプレイ装置が開発され、市場に出回り始めている。この裸眼3Dディスプレイ装置では、立体物を異なる方向から観察した複数の2次元画像を同時に表示する。これら複数の2次元画像は、水平方向の画素ごと設けられるレンチキュラレンズと呼ばれるシリンドリカルレンズによって、それぞれ異なる複数の水平方向(この方向を視差方向と呼ぶ)に振り分けられる。例えば、9つの異なる方向から観察した9つの2次元画像をディスプレイパネルに同時に表示し、この9つの2次元画像をレンチキュラレンズによって9つの視差方向に振り分ける。そして、視差方向の異なる複数の2次元画像からの光を両眼に入射させることにより、立体的な視覚効果を観察者に与えることができる。また、観察者がディスプレイパネルの左右方向に移動すると、3次元物体をあたかも異なる角度から観察するような立体感を観察者に与えることができる。
【0007】
前述したMPR画像やCPR画像は3次元画像の断面(この断面は厚みをもちうる)という患者全体のうちの局所的な領域を抽出した画像である。しかしながら、局所的領域であっても、その局所的な領域の内部にある患部の形状や形態を、前述した裸眼3Dディスプレイ装置を用いることにより、奥行き感のある立体的な視覚効果をもって観察できれば、より的確で精度の高い診断や治療が可能となると期待される。
【0008】
従来のMPR法やCPR法で得られる画像データは、裸眼3Dディスプレイ装置によって立体的な視覚効果を得るために生成されたものではなく、これらの画像データからは奥行き感のある立体的な視覚効果を得ることはできない。そこで、裸眼3Dディスプレイ装置に対応した立体的な視覚効果を得るえるための画像データを生成することができる医用画像処理装置及びその制御プログラムが要望されている。
【課題を解決するための手段】
【0009】
実施形態に係る医用画像処理装置は、医療用3次元画像データの中の局所領域を設定する設定部と、設定された前記局所領域を、所定の複数の視差方向に投影し、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を前記視差方向の数だけ生成する視差画像生成部と、前記複数の視差画像に対応する前記複数の視差方向に同時に振り分けて出射する裸眼3Dディスプレイ装置に、前記複数の視差画像を出力する視差画像出力部と、を備えたことを特徴とする。
【図面の簡単な説明】
【0010】
【図1】本実施形態に係る医用画像処理装置の基本的な構成例を示すブロック図。
【図2】裸眼3Dディスプレイ装置の動作原理を模式的に示す図。
【図3】第1の実施形態に係る医用画像処理装置の構成例を示すブロック図。
【図4】第1の実施形態に係る医用画像処理装置の処理例を示すフローチャート。
【図5】第1の実施形態におけるMPR画像の生成方法を示す第1の図。
【図6】第1の実施形態におけるMPR画像の生成方法を示す第2の図。
【図7】第1の実施形態におけるMPR画像の生成方法を示す第3の図。
【図8】第1の実施形態の第1の変形例におけるMPR画像の生成方法を示す図。
【図9】第1の実施形態の第2の変形例におけるMPR画像の生成方法を示す図。
【図10】第2の実施形態に係る医用画像処理装置の構成例を示すブロック図。
【図11】第2の実施形態に係る医用画像処理装置の処理例を示すフローチャート。
【図12】第2の実施形態におけるCPR画像の生成方法を示す第1の図。
【図13】第2の実施形態におけるCPR画像の生成方法を示す第2の図。
【図14】第2の実施形態におけるCPR画像の生成方法を示す第3の図。
【図15】第2の実施形態におけるCPR画像の生成方法を示す第4の図。
【図16】第2の実施形態の変形例(厚みなし)のCPR画像の生成方法を示す図。
【図17】異なる視差方向でもCPR画像サイズを同一とする第1の方法の説明図。
【図18】異なる視差方向でもCPR画像サイズを同一とする第2の方法の説明図。
【図19】第3の実施形態におけるSPR画像の生成方法を示す第1の図。
【図20】第3の実施形態におけるSPR画像の生成方法を示す第2の図。
【図21】第3の実施形態に係る医用画像処理装置の構成例を示すブロック図。
【図22】第3の実施形態に係る医用画像処理装置の処理例を示すフローチャート。
【図23】第3の実施形態の変形例におけるSPR画像の生成方法を示す図。
【図24】第4の実施形態におけるVGP画像の生成方法を示す第1の図。
【図25】第4の実施形態におけるVGP画像の生成方法を示す第2の図。
【図26】第4の実施形態に係る医用画像処理装置の構成例を示すブロック図。
【図27】第4の実施形態に係る医用画像処理装置の処理例を示すフローチャート。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態を添付図面に基づいて説明する。
【0012】
図1は、本実施形態に係る医用画像処理装置1の基本的な構成例を示すブロック図である。図1に示す構成は、後述するより具体的な実施形態の夫々に共通するものである。医用画像処理装置1は、3次元画像データ保存部10、局所領域設定部20、視差方向計算部30、視差画像生成部40、視差画像出力部50等を備えて構成される。
【0013】
3次元画像データ保存部10は、モダリティ100から出力される医療用の3次元画像データを一時的に保存する。モダリティ100の種類は特に限定するものではないが、例えば、X線CT装置、MRI装置、超音波診断装置等の医療画像診断装置であり、被検体(患者)の体内の構造を表す信号を取得して3次元画像データ(ボリュームデータ)を再構成することが可能な装置である。
【0014】
局所領域設定部10は、ユーザインタフェースを介した医師や技師等のユーザの指定に基づいて、3次元画像データ保存部10に保存された3次元画像データの中の観察したい局所領域を設定する。ここで、局所領域とは、例えばMPR画像を生成する場合には、3次元画像の切断面に該当する平面領域、或いは厚みをもった平板状領域(スラブ)である。CPR画像を生成する場合には、血管等の管状構造物に沿った曲面、或いは厚みをもった曲板状領域である。また、後述するSPR(Stretched MPR)画像やVGP(Virtual Gross Pathology)画像を生成する場合には、血管や大腸等の管状構造物を所定の長さだけ含んだ管状領域である。局所領域設定部10は、ユーザの指定情報に基づいて、これらの局所領域を規定するためのパラメータ(位置、向き、厚み、曲面や曲線の諸元等)を設定し、視差方向計算部30や視差画像生成部40に出力する。
【0015】
視差方向計算部30は、裸眼3Dディスプレイ装置200上の複数の視差方向(以下、単に視差方向と呼ぶ)を、局所領域設定部20で設定した局所領域の座標上での複数の視差方向に変換する。
【0016】
視差画像生成部40は、局所領域設定部10で設定した局所領域を複数の視差方向に投影し、複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を視差方向の数だけ生成する。投影に使用する視差方向は、視差方向計算部30で変換した局所領域の座標上での視差方向である。
【0017】
視差画像生成部40で生成された複数の視差画像は、視差画像出力部50において所定のデータフォーマットに変換され、裸眼3Dディスプレイ装置200に出力される。
【0018】
図2は、本実施形態に係る医用画像処理装置1で生成された複数の視差画像を表示する裸眼3Dディスプレイ装置200の原理を概略説明する図である。図2は、9つの視差方向に対応する裸眼3Dディスプレイ装置200を例示している。この裸眼3Dディスプレイ装置200は、垂直方向に延びるレンチキュラレンズと呼ばれるシリンドリカルレンズ201を水平方向の画素ごとに配置している。1つのシリンドリカルレンズ201内の水平方向には、さらに9つの画素要素202が配列されている。そして、各画素要素は、図2の上部に示す9つの視差画像内におけるそれぞれの画素に対応しており、9つの視差画像は裸眼3Dディスプレイ装置200のディスプレイパネルに同時に表示される。一方、各画素要素はシリンドリカルレンズ201内においてそれぞれ異なる位置にあるため、シリンドリカルレンズ201の曲率に応じて、9つの視差方向(図2では、簡略化のため5つの視差方向のみ示している)に振り分けられる。つまり、9つの異なる方向から観察した9つの2次元画像(視差画像)をディスプレイパネルに同時に表示すると、この9つの視差画像がシリンドリカルレンズ201によって9つの視差方向に振り分けられる。この結果、視差方向の異なる複数の視差画像からの光が観察者の両眼に入射することになり、奥行き間のある立体的な視覚効果を観察者に与えることができる。また、観察者がディスプレイパネルの左右方向に移動すると、3次元物体をあたかも異なる角度から観察するような立体感を観察者に与えることができる。
【0019】
図1に示す構成のうち3次元画像データ保存部10は、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、RAM等の適宜の記憶デバイスで構成される。また、局所領域設定部20、視差方向計算部30、視差画像生成部40、視差画像出力部50は、それぞれの機能を実現するステップが記述されたプログラムをコンピュータ(CPU)に実行させることで実現するように構成しても良いし、或いはその機能の一部または全部をASIC等のハードウェアで実現しても良い。またソフトウェアとハードウェアを適宜組み合わせて各機能を実現してもよい。また、図1では、裸眼3Dディスプレイ装置200を医用画像処理装置1の構成外としているが、裸眼3Dディスプレイ装置200を医用画像処理装置1に含めた構成としても良い。
【0020】
以下、より具体的な実施形態を説明する。
【0021】
(1)第1の実施形態
第1の実施形態に係る医用画像処理装置1aは、複数の視差方向から見た複数のMPR(Multi-Planner Reconstruction)画像を生成して裸眼3Dディスプレイ装置200に出力する。
【0022】
図3は、第1の実施形態に係る医用画像処理装置1aの構成例を示すブロック図であり、図4はその処理例を示すフローチャートである。
【0023】
第1の実施形態に係る医用画像処理装置1aの局所領域設定部20aは、MPR断面位置・向き設定部21と、MPR厚み設定部22を有する。MPR断面位置・向き設定部21及びMPR厚み設定部22は、医師等の指定に基づき、詳細に観察したい患部(例えば、図4等に示す血管内の血管狭窄部)を含む平板状領域(即ちスラブ)の位置、向き、及び厚みを設定する(図4のフローチャートのステップST1、ST2)。
【0024】
一方、視差方向計算部30は、スラブの正面に垂直な方向を裸眼3Dディスプレイ装置200における中央視差方向に対応付ける。そして、この中央視差方向と、左側の複数の視差方向及び右側の複数の視差方向とを、スラブの座標系における視差方向に変換する。
【0025】
視差画像生成部40aは、これら複数の視差方向に沿って投影し、スラブの奥行き情報が反映された複数(例えば9つ)の視差画像を生成する(図4のフローチャートのステップST3、ST4)。そして、生成された複数の視差画像を裸眼3Dディスプレイ装置200に出力し、ディスプレイパネルに表示する(ステップST5)。
【0026】
図5及び図6は視差画像生成の概念を示す図である。このうち図5(a)は、中央視差方向を例にした、MPR画像の生成方法を示す斜視図であり、図5(b)は上から見た図である。図5(b)に示すように、MPRでは、厚みをもつスラブを視差方向に投影した2次元画像としてMPR画像を生成する。投影の手法として、1)スラブ内の画素値を視差方向に沿って平均し、その平均値をMPR画像の画素値とする方法、2)視差方向に沿ったスラブ内の画素値の最大値を求め、その最大値をMPR画像の画素値とする方法、3)視差方向に沿ったスラブ内の画素値の最小値を求め、その最小値をMPR画像の画素値とする方法、等がある。本実施形態ではいずれの方法を用いてもよい。
【0027】
図6は、中央視差方向、左視差方向、及び右視差方向に対応する3つの視差画像(1)、(5)、(9)を例とした複数の視差画像の生成方法を説明する図である。第1の実施形態では、スラブの向きは固定とし、この1つのスラブを異なる視差方向に投影した複数の視差画像を生成する。したがって、中央視差方向はスラブの主平面(正面)に直交するものの、それ以外の視差方向はスラブの主平面に対して斜めとなる。スラブは厚みをもっており、スラブ内にある血管狭窄部等の立体的な患部を視差方向に投影した形状は、視差方向毎に異なる。この結果、それぞれの視差方向に対応する視差画像は、図7に示すように、立体的形状をもつ血管狭窄部をあたかも実際に異なる角度から観察したような画像となる。これらの複数の視差画像を裸眼3Dディスプレイ装置200に表示すると、この表示を見る観察者は、従来のMPR画像では得ることのできなかった血管狭窄部の奥行き方向の形状や、血管狭窄部の血管内における位置関係を瞬時に認識することができるため、従来に比べてより的確な画像診断が可能となる。
【0028】
(2)第1の実施形態の変形例
図8は、第1の実施形態の第1の変形例による視差画像の生成方法を説明する図である。上述した第1の実施形態では、向きが固定されたスラブに対して異なる視差方向から投影して視差画像を生成している。これに対して、第1の変形例における局所領域設定部20aでは、スラブの主平面(正面)が視差方向に直交するように各視差方向に対応する複数のスラブを設定する。つまり、スラブを上から見たとき、所定の回転軸を中心に回転させた複数のスラブを設定する。図8の例では、スラブ(1)が左視差方向の視差画像(1)に投影され、スラブ(5)が中央視差方向の視差画像(5)に投影され、スラブ(9)が右視差方向の視差画像(9)に投影される。スラブの回転軸は、例えば患部(血管狭窄部等)または患部の近傍(血管の芯線)を通る位置に設定される。
【0029】
この第1の変形例においても、各スラブ内にある血管狭窄部等の立体的な患部を視差方向に投影した形状は視差方向毎に異なり、それぞれの視差方向に対応する視差画像は、立体的形状をもつ血管狭窄部をあたかも実際に異なる角度から観察したような画像となる。
【0030】
図9は、第1の実施形態の第2の変形例による視差画像の生成方法を説明する図である。第2の変形例は、第1の変形例におけるスラブの厚みをゼロとした形態である。この形態では、3次元画像データ中の局所領域は平板状領域ではなく断面(平面)領域となる。しかしながら、局所領域が断面(平面)であっても、図9に示すように、この断面が血管等の患部をそれぞれ異なる角度で切り出すこととなるため、各視差方向に投影された視差画像には患部の形状や奥行き方向の情報が反映されることになる。したがって、これらの複数の視差画像を裸眼3Dディスプレイ装置200に表示すると、奥行き感のある立体的な患部情報を観察者に与えることができる。
【0031】
(2)第2の実施形態
第2の実施形態に係る医用画像処理装置1bは、複数の視差方向から見た複数のCPR(Curved multi-Planner Reconstruction)画像を生成して裸眼3Dディスプレイ装置200に出力する。
【0032】
図10は、第2の実施形態に係る医用画像処理装置1bの構成例を示すブロック図であり、図11はその処理例を示すフローチャートである。
【0033】
第2の実施形態に係る医用画像処理装置1bの局所領域設定部20bは、CPR曲線・向き設定部23と、CPR厚み設定部24を有する。CPR曲線・向き設定部23は、医師等の指定に基づき、詳細に観察したい管状構造物(例えば、血管狭窄部を含む血管等)の芯線を求め、この芯線に沿う曲板状領域を局所領域として設定する。CPRで用いられる曲板状領域は、図12等に示すように、一方向(例えばユーザから見て縦方向であり、図12におけるZ方向)にのみ曲率を有し、これと直交する方向(例えばユーザから見て横方向であり、図12におけるX方向)には曲率をもたない曲板状の領域である。この曲板状領域を観察する主たる方向(以下、主観察方向という)は、曲板状領域を平板に展開したときその展開平板に垂直な方向(図12における厚み方向:Y方向)となる。CPR曲線・向き設定部23は、この主観察方向を設定することにより、曲板状領域の向きを設定する(図11のフローチャートのステップST11)。一方、CPR厚み設定部24は、CPRの曲板状領域の厚みを設定する(図11のフローチャートのステップST12)。
【0034】
視差方向計算部30は、曲板状領域の主観察方向を裸眼3Dディスプレイ装置200における中央視差方向に対応付ける。そして、この中央視差方向と、左側の複数の視差方向及び右側の複数の視差方向とを、曲板状領域の座標系における視差方向に変換する。
【0035】
視差画像生成部40bは、曲板状領域を垂直な平板に展開すると共に展開平板をこれら複数の視差方向に沿って投影し、曲板状領域の奥行き情報が反映された複数(例えば9つ)の視差画像を生成する(図11のフローチャートのステップST13、ST14)。そして、生成された複数の視差画像を裸眼3Dディスプレイ装置200に出力し、ディスプレイパネルに表示する(ステップST15)。
【0036】
図12は、3次元画像データから血管の芯線を含む曲板状領域を切り出す様子を模式的に示す図である。この曲板状領域には血管と、血管の内部の患部(血管狭窄部等)が含まれている。
【0037】
図13の右下には、曲板状領域を上から見た図を示している。この図からも、曲板状領域に血管を主観察方向から見たときに奥行き方向の情報や血管狭窄部の3次元情報が含まれていることがわかる。
【0038】
曲板状領域は、図13の上部に示すように、曲板を縦方向に展開して展開平板とし、この展開平板に垂直な方向(視差方向)に投影してCPR画像が生成される。投影の手法としては、前述したMPR画像の生成と同様に、1)展開平板内の画素値を視差方向に沿って平均し、その平均値をCPR画像の画素値とする方法、2)視差方向に沿った展開平板内の画素値の最大値を求め、その最大値をCPR画像の画素値とする方法、3)視差方向に沿った展開平板内の画素値の最小値を求め、その最小値をMPR画像の画素値とする方法、等を用いることができる。
【0039】
図14及び図15は、異なる視差方向に対するCPR画像を生成する方法を説明する図である。図14に示すように、中央視差方向から切り出した曲板状領域と、右視差方向から切り出した曲板状領域は、いずれも3次元画像データ中の血管を上端から下端まで総て含む曲板状領域であるが、視差方向によって血管の曲がり状態が異なるため、曲板状領域の曲がり状態も夫々異なったものとなる。これらの曲板状領域が夫々垂直方向に展開され、展開平板を視差方向に投影した画像が視差方向に対応したCPRの視差画像である。
【0040】
図15は、3つの曲板状領域(曲板(1)、曲板(5)、曲板(9))を3つの視差方向(左視差方向、中央視差方向、右視差方向)に夫々投影して、3つのCPR画像(視差画像(1)、(5)、(9))を生成する様子を上から見た図である。各視差画像には、血管の形状や患部の形状が視差方向によって異なって投影されており、これらの視差画像を裸眼3Dディスプレイ装置で表示することにより、立体形状や奥行き方向の位置関係を観察者により直感的に把握させることができる。また、CPR画像は、血管の長手方向に沿った広い範囲の血管を投影するため、各視差方向から見たときの奥行き方向の位置関係を広い範囲で提供することができる。
【0041】
ここまでは、厚みのある曲板状領域を投影してCPR画像を生成する方法を説明したが、MPR画像と同様に、厚みのない曲面領域を投影してCPR画像を生成することもできる。図16は、血管の芯線に沿った曲面領域からCPR画像を生成する方法を説明する図である。この方法でも、各曲面は血管や血管内の患部を視差方向に応じた異なった形状で切り出すことになるため、それぞれの視差画像には血管の奥行き情報や形状が反映されている。したがって、これらの視差画像を裸眼3Dディスプレイ装置に表示すると、血管や患部の立体形状や奥行き方向の位置関係を観察者に把握させることができる。
【0042】
ところで、通常のCPR画像は、血管等の管状構造物をその芯線に沿った曲板状領域や曲面で切り出し、これを平面に展開して表示する手法であるため、CPR画像上での血管等の長さは、視差方向に関わらず常に一定となる。一方、縦方向に曲がった血管等を異なる視差方向に投影すると、投影された血管等は視差方向によって異なった曲率をもつ。この結果、通常の手法で視差方向の異なる複数のCPR画像を生成すると、CPR画像の縦方向の画像サイズが視差方向によって異なるという問題が生じる。図17は、この問題とその解決方法を説明する図である。
【0043】
図17の左側の図は、3次元画像データの中に円弧状の曲線が含まれているモデルを例示している。この曲線は血管等の管状構造物の芯線をモデル化したものであり、説明の便宜上、立法形の3次元画像データの上端面の中心から下端面の中心に向かう湾曲した円弧状の曲線を仮定している。湾曲の方向は右45度視差方向である。
【0044】
図17の右側上段は、通常のCPR法で生成したCPR画像であり、左から順に、中央視差方向、右22.5度視差方向、右45度視差方向のCPR画像である。視差方向が右に移るにつれて円弧の極率は小さく投影され、右45度視差方向では直線に見える。図中のLは曲線(芯線)を5等分した長さである。前述したように、通常のCPR法は芯線の長さを忠実に表現する図法であるため、視差方向が中央視差方向から離れるにつれてCPR画像の縦方向の画像サイズは大きくなる。
【0045】
本実施形態では、この問題を解消するため、中央視差方向の縦方向の画像サイズに他の視差方向の画像サイズを強制的に合致させるようにしている。具体的には、図17右下段に示すように、芯線上のサンプリング位置とサンプリング数を各視差画像間で同一としている。この結果、図17右下段に示すように、どの視差方向の視差画像も縦方向の長さが同じとなり、裸眼3Dディスプレイ装置200に対して全て同一サイズの視差画像を出力することができる。
【0046】
図18は、同一サイズのCPR視差画像を得るための他の方法を説明する図である。この方法では、図18右下に示すように、曲板状領域或いは曲面を展開する方向(図18では、図17と同様に縦方向)に沿った軸上でのサンプリング位置とサンプリング数とを各視差画像間で同一としている。この方法によっても、どの視差方向の視差画像も縦方向の長さが同じとなり、裸眼3Dディスプレイ装置200に対して全て同一サイズの視差画像を出力することができる。
【0047】
(3)第3の実施形態
第3の実施形に係る医用画像処理装置1cは、複数の視差方向から見た複数のSPR(Stretched multi-Planner Reconstruction)画像を生成して裸眼3Dディスプレイ装置200に出力する。
【0048】
図19は、1つの視差方向(中央視差方向)のSPR画像の概念を示す図である。図19に示すように、SPR画像は、SPR画像(視差画像)の縦軸方向を、血管等の管状構造物の芯線を直線状に引き伸ばしたときの引伸ばし方向とする。そして、横軸方向に芯線に直交する軸に沿った画素値を配置して生成する。芯線を引き伸ばす方向(即ち、血管等を真っ直ぐ引き伸ばす方向)を上記とは逆にSPR画像の横軸方向としてもよい。
【0049】
複数のSPR画像(視差画像)を生成するときは、図20に示すように、芯線に直交する軸の方向を複数の視差方向に夫々対応させて複数の視差画像を生成する。図20の例では、中央視差方向と、中央から角度θだけ右にずれた右視差方向の2つのSPR画像(視差画像)を生成している。
【0050】
図21は、第3の実施形態に係る医用画像処理装置1cの構成例を示すブロック図であり、図22はその処理例を示すフローチャートである。
【0051】
第3の実施形態では、局所領域設定部20cのSPR曲線・向き設定部25において、管状構造物の領域を局所領域として設定する。また、SPR曲線・向き設定部25は、芯線に直交する面において基準となる方向(中央視差方向に対応付ける方向)を設定する(図22のステップST21)。
【0052】
視差画像生成部40cは、図19及び図20に示した方法によって複数のSPR画像(視差画像)を生成する(ステップST23、24)。全てのSPR画像(視差画像)の生成が終了すると、それらを裸眼3Dディスプレイ装置200に出力する(ステップST25)。
【0053】
図23は、第3の実施形態の変形例を示す図である。この変形例では、芯線に直交する面内において芯線に直交する軸に沿った帯状領域の幅を設定する。この設定は、局所領域設定部20cのSPR厚み設定部26で行う(図22のステップST22)。一方、視差画像生成部40cは、1)帯状領域の幅方法の画素値を平均する、2)幅方向の画素値の最大値を抽出する、3)幅方向の画素値の最小値を抽出する、等の方法によって前記芯線に直交する軸に沿った画素値を求め、これをSPR画像の横軸方向に配置してSPR画像を生成する。
【0054】
SPR画像はCPR画像と同様に血管等の管状構造物等の診断に有効な表示法であるが、従来は一方向に投影した2次元画像であった。第3の実施形態によれば、複数の視差方向のSPR画像を裸眼3Dディスプレイ装置200に表示させることにより、血管などの管状構造物を、立体感をもって観察することができ、血管内の奥行き方向の位置関係も容易に把握することができる。
【0055】
(4)第4の実施形態
第4の実施形に係る医用画像処理装置1dは、複数の視差方向から見た複数のVGP(Virtual Gross Pathology)画像を生成して裸眼3Dディスプレイ装置200に出力する。VGP画像は、Fillet View(フィレ・ビュー画像、或いは仮想切除標本展開像とも呼ばれる。
【0056】
図24は、1つの視差方向(中央視差方向)のVGP画像の概念を示す図である。図24に示すように、VGP画像は、VGP画像(視差画像)の縦軸方向を、大腸等の管状構造物の芯線を直線状に引き伸ばしたときの引伸ばし方向とする。そして、VGP画像の横軸方向を、芯線を中心とする周方向に対応付け、芯線の位置から大腸等の内腔を投影した画像データを横軸方向に配置して視差画像を生成する。芯線を引き伸ばす方向(即ち、大腸等を真っ直ぐ引き伸ばす方向)を上記と逆にVGP画像の横軸としてもよい。
【0057】
異なる視差方向の複数のVGP画像(視差画像)を生成するときは、図25に示すように、内腔の投影方向を視差方向θだけ夫々回転させて複数の視差画像を生成する。図25の例では、中央視差方向と、中央から角度θだけ右にずれた右視差方向の2つのVGP画像(視差画像)を生成している。
【0058】
図26は、第4の実施形態に係る医用画像処理装置1dの構成例を示すブロック図であり、図27はその処理例を示すフローチャートである。
【0059】
第4の実施形態では、局所領域設定部20dのVGP曲線・向き設定部27において、管状構造物の領域を局所領域として設定する。また、VGP曲線・向き設定部27は、芯線に直交する面において基準となる方向(中央視差方向に対応付ける方向)を設定する(図27のステップST31)。
【0060】
視差画像生成部40dは、図24及び図25に示した方法によって複数のVGP画像(視差画像)を生成する(ステップST32、33)。全てのVGP画像(視差画像)の生成が終了すると、それらを裸眼3Dディスプレイ装置200に出力する(ステップST34)。
【0061】
VGP画像は、大腸等の管状構造物を仮想的に切除展開して表示する方法であり、大腸等の内腔の診断に有効な表示法であるが、従来は一つの視差方向から見た2次元画像であった。第4の実施形態によれば、複数の視差方向のVGP画像を裸眼3Dディスプレイ装置200に表示させることにより、大腸などの管状構造物の内腔を立体感をもって観察することができ、内腔の奥行き方向の位置関係も容易に把握することができる。
【0062】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0063】
1 医用画像処理装置
10 3次元画像データ保存部
20 局所領域設定部
30 視差方向計算部
40 視差画像生成部
50 視差画像出力部
【特許請求の範囲】
【請求項1】
医療用3次元画像データの中の局所領域を設定する設定部と、
設定された前記局所領域を、所定の複数の視差方向に投影し、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を前記視差方向の数だけ生成する視差画像生成部と、
前記複数の視差画像に対応する前記複数の視差方向に同時に振り分けて出射する裸眼3Dディスプレイ装置に、前記複数の視差画像を出力する視差画像出力部と、
を備えたことを特徴とする医用画像処理装置。
【請求項2】
前記設定部は、厚みをもつ平板状領域を前記局所領域として設定すると共に前記平板状領域の向きと前記厚みとを設定し、
前記視差画像生成部は、前記複数の視差方向に沿った前記平板状領域の奥行き情報を反映させて前記複数の視差画像を生成する、
ことを特徴とする、
請求項1に記載の医用画像処理装置。
【請求項3】
前記視差画像生成部は、前記視差方向に沿った前記平板状領域内の画素値を平均する、前記画素値の最大値を抽出する、或いは前記画素値の最小値を抽出する、ことによって前記奥行き情報を反映させる、
ことを特徴とする請求項2に記載の医用画像処理装置。
【請求項4】
前記設定部は、前記複数の視差方向のそれぞれに直交し、かつ同じ厚みをもつ複数の平板状領域を前記局所領域として設定すると共に前記各平板状領域の向きと前記厚みとを設定し、
前記視差画像生成部は、前記複数の視差方向に沿った前記各平板状領域に直交する方向の奥行き情報を反映させて前記複数の視差画像を生成する、
ことを特徴とする、
請求項1に記載の医用画像処理装置。
【請求項5】
前記視差画像生成部は、前記視差方向に沿った前記平板状領域内の画素値を平均する、前記画素値の最大値を抽出する、或いは前記画素値の最小値を抽出する、ことによって前記奥行き情報を反映させる、
ことを特徴とする請求項4に記載の医用画像処理装置。
【請求項6】
前記設定部は、前記複数の視差方向のそれぞれに直交する平面を前記局所領域として設定すると共に前記各平面の向きを設定し、
前記視差画像生成部は、向きの異なる前記複数の平面が前記3次元画像データを切断する複数の断面画像を生成することにより、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
【請求項7】
前記設定部は、
前記3次元画像データ中の管状構造物の芯線に沿い、かつ一方向にのみ曲率を有する複数の曲板状領域を前記局所領域として設定すると共に、前記各曲板状領域を平板に展開したときその展開平板に垂直な方向が、前記複数の視差方向にそれぞれ合致するような前記曲板状領域の夫々の向きと、その厚みを設定し、
前記視差画像生成部は、前記各曲板状領域を前記展開平板に展開すると共に、前記複数の視差方向に沿った前記曲板状領域の奥行き情報を反映させて、前記複数の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
【請求項8】
前記視差画像生成部は、前記視差方向に沿った前記曲板状領域内の画素値を平均する、前記画素値の最大値を抽出する、或いは前記画素値の最小値を抽出する、ことによって前記奥行き情報を反映させる、
ことを特徴とする請求項7に記載の医用画像処理装置。
【請求項9】
前記設定部は、
前記3次元画像データ中の管状構造物の芯線に沿い、かつ一方向にのみ曲率を有する複数の曲面を前記局所領域として設定すると共に、前記各曲面を平面に展開したときその展開平面に垂直な方向が、前記複数の視差方向にそれぞれ合致するような前記曲面の夫々の向きを設定し、
前記視差画像生成部は、向きの異なる前記複数の曲面が前記3次元画像データを切断する複数の断面画像を生成し、これらを平面に展開することにより、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
【請求項10】
前記視差画像生成部は、展開方向における前記視差画像のサイズが、どの視差方向の視差画像においても等しくなるように、前記芯線上のサンプリング位置とサンプリング数を各視差画像間で同一とする、
ことを特徴とする請求項7乃至9の何れかに記載の医用画像処理装置。
【請求項11】
前記視差画像生成部は、展開方向における前記視差画像のサイズが、どの視差方向の視差画像においても等しくなるように、前記展開方向に沿った軸上でのサンプリング位置とサンプリング数を各視差画像間で同一とする、
ことを特徴とする請求項7乃至9の何れかに記載の医用画像処理装置。
【請求項12】
前記設定部は、
前記3次元画像データ中の管状構造物の領域を前記局所領域として設定し、
前記視差画像生成部は、
前記視差画像の横軸方向と縦軸方向のうちのうちの一方の軸方向を、前記管状構造物の芯線を直線状に引き伸ばしたときの引伸ばし方向とし、他方の軸方向に前記芯線に直交する軸に沿った画素値を配置して前記視差画像を生成すると共に、前記芯線に直交する軸の方向を前記複数の視差方向に夫々対応させて前記複数の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
【請求項13】
前記設定部は、
前記芯線に直交する面内において前記芯線に直交する軸に沿った帯状領域の幅を設定し、
前記視差画像生成部は、
前記帯状領域の幅方向の画素値を平均する、前記幅方向の画素値の最大値を抽出する、或いは前記幅方向の画素値の最小値を抽出する、ことによって前記芯線に直交する軸に沿った画素値を求める、
ことを特徴とする請求項12に記載の医用画像処理装置。
【請求項14】
前記設定部は、
前記3次元画像データ中の管状構造物の領域を前記局所領域として設定し、
前記視差画像生成部は、
前記視差画像の横軸方向と縦軸方向のうちの一方の軸方向を、前記管状構造物の芯線を直線状に引き伸ばしたときの引伸ばし方向とし、他方の軸方向を前記芯線を中心とする周方向に対応付け、前記芯線の位置から前記管状構造物の内腔を投影した画像データを前記他方の軸方向に配置して前記視差画像を生成すると共に、前記内腔の投影方向を、前記複数の視差方向だけ夫々回転させて、前記複数の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
【請求項15】
医療用3次元画像データの中の局所領域を設定するステップと、
設定された前記局所領域を、所定の複数の視差方向に投影し、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を前記視差方向の数だけ生成するステップと、
前記複数の視差画像を、裸眼3Dディスプレイに出力するステップと、
をコンピュータに実行させることを特徴とする医用画像処理装置の制御プログラム。
【請求項1】
医療用3次元画像データの中の局所領域を設定する設定部と、
設定された前記局所領域を、所定の複数の視差方向に投影し、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を前記視差方向の数だけ生成する視差画像生成部と、
前記複数の視差画像に対応する前記複数の視差方向に同時に振り分けて出射する裸眼3Dディスプレイ装置に、前記複数の視差画像を出力する視差画像出力部と、
を備えたことを特徴とする医用画像処理装置。
【請求項2】
前記設定部は、厚みをもつ平板状領域を前記局所領域として設定すると共に前記平板状領域の向きと前記厚みとを設定し、
前記視差画像生成部は、前記複数の視差方向に沿った前記平板状領域の奥行き情報を反映させて前記複数の視差画像を生成する、
ことを特徴とする、
請求項1に記載の医用画像処理装置。
【請求項3】
前記視差画像生成部は、前記視差方向に沿った前記平板状領域内の画素値を平均する、前記画素値の最大値を抽出する、或いは前記画素値の最小値を抽出する、ことによって前記奥行き情報を反映させる、
ことを特徴とする請求項2に記載の医用画像処理装置。
【請求項4】
前記設定部は、前記複数の視差方向のそれぞれに直交し、かつ同じ厚みをもつ複数の平板状領域を前記局所領域として設定すると共に前記各平板状領域の向きと前記厚みとを設定し、
前記視差画像生成部は、前記複数の視差方向に沿った前記各平板状領域に直交する方向の奥行き情報を反映させて前記複数の視差画像を生成する、
ことを特徴とする、
請求項1に記載の医用画像処理装置。
【請求項5】
前記視差画像生成部は、前記視差方向に沿った前記平板状領域内の画素値を平均する、前記画素値の最大値を抽出する、或いは前記画素値の最小値を抽出する、ことによって前記奥行き情報を反映させる、
ことを特徴とする請求項4に記載の医用画像処理装置。
【請求項6】
前記設定部は、前記複数の視差方向のそれぞれに直交する平面を前記局所領域として設定すると共に前記各平面の向きを設定し、
前記視差画像生成部は、向きの異なる前記複数の平面が前記3次元画像データを切断する複数の断面画像を生成することにより、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
【請求項7】
前記設定部は、
前記3次元画像データ中の管状構造物の芯線に沿い、かつ一方向にのみ曲率を有する複数の曲板状領域を前記局所領域として設定すると共に、前記各曲板状領域を平板に展開したときその展開平板に垂直な方向が、前記複数の視差方向にそれぞれ合致するような前記曲板状領域の夫々の向きと、その厚みを設定し、
前記視差画像生成部は、前記各曲板状領域を前記展開平板に展開すると共に、前記複数の視差方向に沿った前記曲板状領域の奥行き情報を反映させて、前記複数の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
【請求項8】
前記視差画像生成部は、前記視差方向に沿った前記曲板状領域内の画素値を平均する、前記画素値の最大値を抽出する、或いは前記画素値の最小値を抽出する、ことによって前記奥行き情報を反映させる、
ことを特徴とする請求項7に記載の医用画像処理装置。
【請求項9】
前記設定部は、
前記3次元画像データ中の管状構造物の芯線に沿い、かつ一方向にのみ曲率を有する複数の曲面を前記局所領域として設定すると共に、前記各曲面を平面に展開したときその展開平面に垂直な方向が、前記複数の視差方向にそれぞれ合致するような前記曲面の夫々の向きを設定し、
前記視差画像生成部は、向きの異なる前記複数の曲面が前記3次元画像データを切断する複数の断面画像を生成し、これらを平面に展開することにより、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
【請求項10】
前記視差画像生成部は、展開方向における前記視差画像のサイズが、どの視差方向の視差画像においても等しくなるように、前記芯線上のサンプリング位置とサンプリング数を各視差画像間で同一とする、
ことを特徴とする請求項7乃至9の何れかに記載の医用画像処理装置。
【請求項11】
前記視差画像生成部は、展開方向における前記視差画像のサイズが、どの視差方向の視差画像においても等しくなるように、前記展開方向に沿った軸上でのサンプリング位置とサンプリング数を各視差画像間で同一とする、
ことを特徴とする請求項7乃至9の何れかに記載の医用画像処理装置。
【請求項12】
前記設定部は、
前記3次元画像データ中の管状構造物の領域を前記局所領域として設定し、
前記視差画像生成部は、
前記視差画像の横軸方向と縦軸方向のうちのうちの一方の軸方向を、前記管状構造物の芯線を直線状に引き伸ばしたときの引伸ばし方向とし、他方の軸方向に前記芯線に直交する軸に沿った画素値を配置して前記視差画像を生成すると共に、前記芯線に直交する軸の方向を前記複数の視差方向に夫々対応させて前記複数の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
【請求項13】
前記設定部は、
前記芯線に直交する面内において前記芯線に直交する軸に沿った帯状領域の幅を設定し、
前記視差画像生成部は、
前記帯状領域の幅方向の画素値を平均する、前記幅方向の画素値の最大値を抽出する、或いは前記幅方向の画素値の最小値を抽出する、ことによって前記芯線に直交する軸に沿った画素値を求める、
ことを特徴とする請求項12に記載の医用画像処理装置。
【請求項14】
前記設定部は、
前記3次元画像データ中の管状構造物の領域を前記局所領域として設定し、
前記視差画像生成部は、
前記視差画像の横軸方向と縦軸方向のうちの一方の軸方向を、前記管状構造物の芯線を直線状に引き伸ばしたときの引伸ばし方向とし、他方の軸方向を前記芯線を中心とする周方向に対応付け、前記芯線の位置から前記管状構造物の内腔を投影した画像データを前記他方の軸方向に配置して前記視差画像を生成すると共に、前記内腔の投影方向を、前記複数の視差方向だけ夫々回転させて、前記複数の視差画像を生成する、
ことを特徴とする請求項1に記載の医用画像処理装置。
【請求項15】
医療用3次元画像データの中の局所領域を設定するステップと、
設定された前記局所領域を、所定の複数の視差方向に投影し、前記複数の視差方向のそれぞれの奥行き情報を反映させた2次元の視差画像を前記視差方向の数だけ生成するステップと、
前記複数の視差画像を、裸眼3Dディスプレイに出力するステップと、
をコンピュータに実行させることを特徴とする医用画像処理装置の制御プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図26】
【図27】
【図24】
【図25】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図26】
【図27】
【図24】
【図25】
【公開番号】特開2012−231893(P2012−231893A)
【公開日】平成24年11月29日(2012.11.29)
【国際特許分類】
【出願番号】特願2011−101604(P2011−101604)
【出願日】平成23年4月28日(2011.4.28)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
【公開日】平成24年11月29日(2012.11.29)
【国際特許分類】
【出願日】平成23年4月28日(2011.4.28)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
[ Back to top ]