医用画像表示装置及びX線診断装置
【課題】2次元表示の医用画像と3次元表示の医用画像とを見易く表示することができる医用画像表示装置及びX線診断装置を提供すること。
【解決手段】実施形態に係る医用画像表示装置は、表示部と、生成部と、表示制御部とを備える。前記表示部は、3次元医用画像データから生成された視差画像群を3次元表示する。前記生成部は、前記表示部に3次元表示される前記視差画像群の表示位置であって前記表示部の表示面に対する奥行き方向の表示位置を決定し、決定した表示位置となるように前記3次元医用画像データから前記視差画像群を生成する。前記表示制御部は、前記表示部に前記視差画像群を3次元表示するとともに前記視差画像群とは異なる医用画像を2次元表示する。
【解決手段】実施形態に係る医用画像表示装置は、表示部と、生成部と、表示制御部とを備える。前記表示部は、3次元医用画像データから生成された視差画像群を3次元表示する。前記生成部は、前記表示部に3次元表示される前記視差画像群の表示位置であって前記表示部の表示面に対する奥行き方向の表示位置を決定し、決定した表示位置となるように前記3次元医用画像データから前記視差画像群を生成する。前記表示制御部は、前記表示部に前記視差画像群を3次元表示するとともに前記視差画像群とは異なる医用画像を2次元表示する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、医用画像表示装置及びX線診断装置に関する。
【背景技術】
【0002】
虚血性心疾患は世界を代表する病気であり、その治療方法として、近年は、低侵襲治療である血管内治療が増えている。血管内治療は、通常、X線透視下に行われ、X線診断装置は、イメージガイドの道具として利用される。近年は、ロードマップと呼ばれる手法が頻繁に利用される。ロードマップとは、静止画としての血管造影画像に、透視画像をリアルタイムに重畳表示する手法である。透視画像には、医師によって血管内を進められるガイドワイヤなどが描出される。
【0003】
また、ロードマップのひとつに、3Dロードマップと呼ばれる手法がある。3Dロードマップでは、血管造影画像として、3次元血管画像データから生成される2次元の投影画像が用いられる。すなわち、3Dロードマップとは、X線診断装置の動き(例えば寝台の移動やCアームの回転など)に応じて生成された2次元の投影画像に、透視画像をリアルタイムに重畳表示する手法である。なお、3次元血管画像データは、X線診断装置のCアームを回転させることで収集される場合や、X線CT(Computed Tomography)装置によって収集されたCT画像を用いる場合などがある。
【0004】
もっとも、ロードマップのいずれの手法も、モニタに表示される画像はあくまで2次元の画像に過ぎない。このため、例えばガイドワイヤを進める医師がモニタを観察した場合、2次元の情報は把握できるものの、奥行き方向の情報は失われてしまい、医師は、依然として、例えば血管の分岐部でガイドワイヤを進めるべき方向を十分に把握することができない。
【0005】
一方、近年、3Dモニタの技術が一般化している。3Dモニタとは、観察者が画像を立体視することができるモニタである。例えば、観察者は、画像の飛び出し感や奥行き感を視認することができる。専用の眼鏡を用いる手法と裸眼による手法とが知られている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−229473号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明が解決しようとする課題は、2次元表示の医用画像と3次元表示の医用画像とを見易く表示することができる医用画像表示装置及びX線診断装置を提供することである。
【課題を解決するための手段】
【0008】
実施形態に係る医用画像表示装置は、表示部と、生成部と、表示制御部とを備える。前記表示部は、3次元医用画像データから生成された視差画像群を3次元表示する。前記生成部は、前記表示部に3次元表示される前記視差画像群の表示位置であって前記表示部の表示面に対する奥行き方向の表示位置を決定し、決定した表示位置となるように前記3次元医用画像データから前記視差画像群を生成する。前記表示制御部は、前記表示部に前記視差画像群を3次元表示するとともに前記視差画像群とは異なる医用画像を2次元表示する。
【図面の簡単な説明】
【0009】
【図1】図1は、第1の実施形態に係るX線診断装置の構成例を説明するための図である。
【図2】図2は、第1の実施形態に係るモニタを説明するための図である。
【図3】図3は、第1の実施形態における透視画像及び3次元血管画像を説明するための図である。
【図4】図4は、第1の実施形態における基準点を説明するための図である。
【図5】図5は、第1の実施形態における視差画像群の生成を説明するための図である。
【図6】図6は、第1の実施形態における対応点の推定を説明するための図である。
【図7】図7は、第1の実施形態に係る視差画像群生成処理を示すフローチャートである。
【図8】図8は、第1の実施形態における立体ロードマップ画像の表示例を説明するための図である。
【図9】図9は、第1の実施形態における立体ロードマップ画像の表示例を説明するための図である。
【図10】図10は、第1の実施形態における立体ロードマップ画像の表示例を説明するための図である。
【図11】図11は、第3の実施形態における視差画像群の生成を説明するための図である。
【図12】図12は、第3の実施形態における視差画像群の生成を説明するための図である。
【図13】図13は、第3の実施形態における視差画像群の生成を説明するための図である。
【図14】図14は、第4の実施形態に係る超音波診断装置の構成例を説明するための図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して医用画像表示装置及びX線診断装置の実施形態を詳細に説明する。なお、以下に用いる用語を定義する。「透視画像」は、被検体を透過したX線をX線検出器によって検出することで生成される動画像であり、リアルタイムに2次元表示される。一方、「撮影画像」は、透視画像と同様、被検体を透過したX線をX線検出器によって検出することで生成される動画像であるが、透視画像に比較してX線の線量の多い画像である。なお、X線の線量は、例えば記録の必要に応じて決定される。例えば、記録の必要がある場合には、線量の多い「撮影画像」が収集される。なお、「透視画像」及び「撮影画像」は動画像であるが、広く「X線画像」という場合には、「透視画像」及び「撮影画像」に加え、静止画も含まれる。以下の実施形態においては主に「透視画像」を用いて説明するが、実施形態はこれに限られるものではなく、広く「X線画像」に同様に適用することができる。なお、「透過画像」や「2次元画像」といった用語で一般に表現される画像も、この「X線画像」に含まれる。
【0011】
(第1の実施形態)
図1は、第1の実施形態に係るX線診断装置100の構成例を説明するための図である。図1に示すように、X線診断装置100は、架台部10と、計算機システム20とを備える。図1に示すように、架台部10は、寝台11と、架台12と、Cアーム13と、X線源14と、X線検出器15と、モニタ16とを備える。
【0012】
寝台11は、垂直方向及び水平方向に移動可能であり、被検体Pが載置される。架台12は、Cアーム13を支持する。Cアーム13は、Z軸を中心に矢印R方向に回転可能であり、X線源14及びX線検出器15を対向して保持する。X線源14は、X線を照射するX線管球と、コリメータとを有する。X線検出器15は、X線源14から照射され、被検体Pを透過したX線を検出する。モニタ16は、立体視可能な血管造影画像に透視画像が重畳表示された立体ロードマップ画像などを表示する。なお、後述するように、第1の実施形態において、立体ロードマップ画像とは、3次元血管画像データから生成される2次元の投影画像を2枚以上用いることで立体視可能に3次元表示される立体画像と、透視画像とを重畳表示した画像のことである。
【0013】
ここで、第1の実施形態に係るモニタ16は、観察者が画像を立体視することができる3Dモニタである。例えば、モニタ16は、シャッター方式によって画像を3次元表示する。
【0014】
図2は、第1の実施形態に係るモニタ16を説明するための図である。図2に示すように、モニタ16を観察する医師は、X線防護メガネとの兼用が可能な立体視用メガネとして、シャッターメガネを装着する。この場合、モニタ16は、右目用の画像(以下、右眼画像)と左目用の画像(以下、左眼画像)とを、例えば120Hzで交互に表示する。また、モニタ16は、赤外線出射部を有し、赤外線出射部は、右眼画像と左眼画像とを切り替えるタイミングに合わせて赤外線の出射を制御する。一方、シャッターメガネは、赤外線受光部を有し、赤外線受光部は、赤外線出射部から出射された赤外線を受光し、シャッターメガネの左右それぞれに取り付けられたシャッターの透過状態及び遮光状態を交互に切り替える。
【0015】
なお、3Dモニタはシャッター方式に限られるものではなく、例えば偏光メガネ方式や、レンチキュラーレンズなどの光線制御子を用いることで裸眼による立体視が可能な方式(例えば、特開2005−86414号公報など)などでもよい。
【0016】
図1に戻り、計算機システム20は、操作部21と、医用画像データ記憶部22と、制御部23と、医用画像データ収集部24と、Cアーム制御部25と、視差画像群生成部26と、表示制御部27とを備える。
【0017】
操作部21は、コントロールパネル、フットスイッチなどであり、X線診断装置100に対する各種操作の入力を操作者から受け付ける。具体的には、第1の実施形態に係る操作部21は、透視画像データの収集指示や、立体ロードマップ画像の表示指示などを受け付ける。医用画像データ記憶部22は、立体ロードマップ画像の表示に用いられる3次元血管画像データなどを記憶する。制御部23は、X線診断装置100の全体制御を行う。
【0018】
医用画像データ収集部24は、立体ロードマップ画像の表示に用いられる3次元血管画像データや透視画像データを収集する。なお、第1の実施形態において、3次元血管画像データは、立体ロードマップ画像の表示制御よりも前に予め収集され、透視画像データは、立体ロードマップ画像の表示制御中リアルタイムに収集される。
【0019】
例えば、医用画像データ収集部24は、3次元血管画像データの収集指示を受け付けると、X線源14、X線検出装置15、及びCアーム制御部25を制御し、3次元血管画像データを収集する。医用画像データ収集部24は、収集した3次元血管画像データを医用画像データ記憶部22に格納する。なお、第1の実施形態においては、X線診断装置100のCアーム13を回転させることで3次元血管像データを収集する例を説明したが、実施形態はこれに限られるものではなく、例えば、X線診断装置100とは異なるX線CT装置によって予め収集された3次元血管画像データを用いてもよい。
【0020】
また、医用画像データ収集部24は、表示制御部27から透視画像データの収集指示を受け付けると、X線源14、X線検出装置15、及びCアーム制御部25を制御し、透視画像データを収集する。また、医用画像データ収集部24は、収集した透視画像データを、視差画像群生成部26及び表示制御部27に送る。Cアーム制御部25は、医用画像データ収集部24による制御の下、Cアーム13の回転などを制御する。
【0021】
視差画像群生成部26は、3次元血管画像データから、視差画像群である右眼画像及び左眼画像を生成する。具体的には、視差画像群生成部26は、表示制御部27から、立体ロードマップ画像を表示するための視差画像群の生成指示を受け付けると、医用画像データ記憶部22を参照し、予め収集された3次元血管画像データを取得する。そして、視差画像群生成部26は、取得した3次元血管画像データから右眼画像及び左眼画像を生成し、生成した右眼画像及び左眼画像を表示制御部27に送る。なお、視差画像群生成部26による視差画像群生成処理については後述する。
【0022】
表示制御部27は、3次元血管画像である視差画像群に透視画像が重畳表示された立体ロードマップ画像をモニタ16に表示する。例えば、表示制御部27は、操作部21を介して立体ロードマップ画像の表示指示を受け付けると、透視画像データの収集指示を医用画像データ収集部24に送り、リアルタイムに収集された透視画像データを医用画像データ収集部24から受け取る。また、表示制御部27は、視差画像群の生成指示を視差画像群生成部26に送り、3次元血管画像データから生成された右眼画像及び左眼画像を視差画像群生成部26から受け取る。そして、表示制御部27は、透視画像と、3次元血管画像データから生成された右眼画像及び左眼画像とを、モニタ16に重畳表示する。
【0023】
この場合、モニタ16は、3次元血管画像については、視差画像群を表示することにより立体視可能に3次元表示し、透視画像については、2次元表示する。すなわち、表示制御部27は、右眼画像を表示するタイミングにおいては、医用画像データ収集部24から送られた透視画像と、視差画像群生成部26から送られた右眼画像とを、画素値に重み付けをするなどして重畳し、モニタ16に表示する。一方、表示制御部27は、左眼画像を表示するタイミングにおいては、医用画像データ収集部24から送られた透視画像と、視差画像群生成部26から送られた左眼画像とを、画素値に重み付けをするなどして重畳し、モニタ16に表示する。
【0024】
続いて、第1の実施形態に係る視差画像群生成部26による視差画像群生成処理を詳述する。従来のX線診断装置は、あくまで2次元の投影画像に2次元の透視画像を重畳した3Dロードマップ画像を、3Dモニタでない通常の2Dモニタに表示していた。
【0025】
これに対し、第1の実施形態に係るX線診断装置100は、立体ロードマップ画像を表示する。すなわち、第1の実施形態に係るX線診断装置100は、3次元血管画像データから生成される2次元の投影画像を2枚以上用いることで立体視可能に3次元表示される立体画像と、2次元の透視画像とを重畳表示した立体ロードマップ画像を、3Dモニタに表示する。図3は、第1の実施形態における透視画像及び3次元血管画像を説明するための図である。この場合、図3に示すように、透視画像は、奥行き方向の情報が失われて2次元表示されるが、3次元血管画像は、奥行き方向の情報を保つように3次元表示される。そこで、第1の実施形態に係るX線診断装置100は、3次元表示される3次元血管画像の奥行き方向(モニタ16の表示面に対する奥行き方向)の表示位置を、2次元表示される透視画像に基づいて決定することとする。
【0026】
ここで、立体視することが可能な画像には、左右両眼による視差がゼロとなる「基準点」が存在する。図4は、第1の実施形態における基準点を説明するための図である。例えば、図4(A)に示すように、モニタ16の表示面よりも奥に基準点zが設定されて、右眼画像及び左眼画像が生成される場合がある。また、例えば、図4(B)に示すように、表示面よりも手前に基準点zが設定されて、右眼画像及び左眼画像が生成される場合がある。あるいは、表示面上に基準点zが設定されて、右眼画像及び左眼画像が生成される場合もある。どの位置に基準点を設定するかは任意に決定することができるが、基準点は、上述したように視差がゼロとなる点であり、観察者にとって見易い点である。
【0027】
そこで、第1の実施形態に係るX線診断装置100は、透視画像と3次元血管画像とを3Dモニタに重畳表示するにあたり、透視画像上における注目点に対応する3次元血管画像データ上の対応点が基準点と一致するように(若しくは基準点の近傍に位置付けられるように)、視差画像群を生成する。例えば、基準点が表示面上に設定されている場合には、透視画像上の注目点と3次元血管画像の対応点とは、同じ表示面上で重なることになる。
【0028】
図5は、第1の実施形態における視差画像群の生成を説明するための図である。図5に示すように、透視画像においては奥行き方向の情報が失われているため、透視画像上における注目点が奥行き方向のどの位置に存在するか明らかではない。一方で、3次元血管画像データは奥行き方向の情報を保持しているので、透視画像上における注目点に対応する対応点が奥行き方向のどの位置に存在するかを特定することができる。そこで、この対応点が、観察者にとって見易い基準点と一致するように奥行き方向を位置合わせした上で視差画像群が生成されれば、観察者にとっては、注目点が見易い立体ロードマップ画像となる。なお、対応点と基準点とを厳密に一致させるには、奥行き方向のみならず、奥行き方向と垂直な表示面上の位置合わせも必要になる場合があり、この場合には、更に、透視画像と3次元血管画像との位置合わせが必要になる場合もある。もっとも、対応点と基準点とを厳密に一致させるのではなく、対応点が基準点の近傍に位置づけられるように奥行き方向を位置合わせしてもよい。例えば、対応点が、少なくとも基準点を含む基準面上に位置づけられるように奥行き方向を位置合わせしてもよい。以下、具体的に説明する。
【0029】
第1の実施形態において、視差画像群生成部26は、透視画像から注目点を抽出する『第1段階』と、この注目点に対応する3次元血管画像データ上の対応点を推定する『第2段階』と、推定した対応点が基準点と一致するように視差画像群を生成する『第3段階』とを行う。また、『第1段階』の手法には、「透視画像から自動抽出する手法A1」と、「モニタ16に表示された透視画像を観察する操作者がモニタ16の表示面上で注目点を指定することで、透視画像から注目点を抽出する手法A2」とがある。一方、『第2段階』の手法には、「注目点は血管内に存在するという仮定に基づいて3次元血管画像データ上の対応点を推定する手法B1」と、「注目点は治療計画線(例えば、医師が「ここの血管を治療する」と予め描いたもの)の近傍に存在するという仮定に基づいて3次元血管画像データ上の対応点を推定する手法B2」とがある。いずれの手法を組み合わせて適用することも可能であるが、以下では、主に手法A1と手法B1との組合せを説明する。
【0030】
まず、透視画像から注目点を抽出する『第1段階』の一例として、手法A1を説明する。ここで、「注目点」とは、透視画像上において観察者によって注目される点のことであり、例えば、ガイドワイヤやカテーテルの先端位置、ステント、バルーン、弁の位置などが該当する。第1の実施形態において、視差画像群生成部26は、注目点としてガイドワイヤの先端座標を抽出する。なお、他の注目点も同様に抽出することができる。
【0031】
まず、視差画像群生成部26は、医用画像データ収集部24から透視画像データを受け取る。この透視画像データは、例えば5〜30フレーム/秒程度の動画データである。次に、視差画像群生成部26は、各フレームにおけるガイドワイヤの像を、画像処理技術を用いて特定する。
【0032】
例えば、視差画像群生成部26は、各フレームに対して強調処理を行うことで、ガイドワイヤの像を明瞭にする。例えば、視差画像群生成部26は、非線形明度変換を行ってガイドワイヤの像の濃度ムラを低減させてから、空間周波数の高い成分を抽出する画像フィルタ処理を施す。この画像フィルタ処理は、大域的で滑らかなグラデーションを除去し、局所的で細かな変動成分のみを残すものである。
【0033】
次に、視差画像群生成部26は、各フレームに対してパターン抽出処理を施すことで、ガイドワイヤの像を特定する。例えば、視差画像群生成部26は、画素値の閾値処理や空間フィルタ処理などを施す。そして、視差画像群生成部26は、各フレームからガイドワイヤの像を抽出し、各フレームにおけるガイドワイヤの像の形状を示す2次元曲線を求め、2次元曲線の各点の座標値に基づいて、2次元曲線の端部に位置付けられるガイドワイヤの先端座標を抽出する。
【0034】
次に、3次元血管画像データ上の対応点を推定する『第2段階』の一例として、手法B1を説明する。なお、透視画像と3次元血管画像との間で、表示面上の位置合わせは既に完了していると仮定する。図6は、第1の実施形態における対応点の推定を説明するための図である。図6に示すように、3次元血管画像データと透視画像との位置関係は、3次元血管画像データと、3次元血管画像データから生成される3次元投影画像との位置関係と同様である。すなわち、透視画像上におけるガイドワイヤの先端座標(u、v)には、先端座標(u、v)とX線源14とを結ぶ直線a上であって3次元血管画像データ内を通過する全ての情報が投影される。
【0035】
そこで、視差画像群生成部26は、まず、先端座標(u、v)とX線源14とを結ぶ直線aを求める。X線源14の座標は、例えばCアーム制御部25から取得することができる。次に、視差画像群生成部26は、注目点は血管内に存在するという仮定に基づいて、3次元血管画像データ内を通過する直線aを探索し、直線aと血管とが交差する点を特定する。そして、視差画像群生成部26は、この点の座標を、注目点に対応する対応点の座標(x、y、z)として推定する。なお、X線源14は、医師によって注目点が見易い位置に移動されているはずであるので、一般に、直線aと血管とが交差する座標はひとつであると考えられる。また、視差画像群生成部26は、3次元血管画像データに対して例えば閾値処理などを施すことで、3次元血管画像データから血管を特定することができる。
【0036】
なお、実施形態に係る視差画像群生成部26は、直線aと血管とが交差する点が複数特定された場合にも、対応点の座標を推定することができる。例えば、血管が極端に曲がっている場合や奥行き方向に曲がっている場合などには、直線aと血管とが交差する点(候補点)が複数特定される場合がある。このような場合、視差画像群生成部26は、ガイドワイヤの動きは突然飛躍することはなく、血管に沿って連続的である性質を利用して、対応点の座標を推定する。例えば、視差画像群生成部26は、ガイドワイヤの先端座標、すなわち対応点の座標を、時系列に沿って推定している。そこで、視差画像群生成部26は、3次元血管画像データから血管中心線を抽出し、1つ前の時点において推定された対応点と各候補点との間の距離を、この血管中心線に沿って計算する。そして、視差画像群生成部26は、計算された距離が最も短い候補点を、対応点として特定すればよい。
【0037】
なお、『第2段階』に手法B2を適用する場合には、視差画像群生成部26は、注目点は治療計画線の近傍に存在するという仮定に基づいて、3次元血管画像データ内を通過する直線aを探索し、直線aと血管とが交差する点を特定すればよい。
【0038】
続いて、推定した対応点が基準点と一致するように視差画像群を生成する『第3段階』を説明する。視差画像群生成部26は、3次元血管画像データに対してレンダリング処理を行うことで、右眼画像及び左眼画像を生成する。このレンダリング処理は、設定されたレンダリング条件に従って行われる。このため、視差画像群生成部26は、レンダリング条件として、例えば、右眼用の視点位置及び左眼用の視点位置(若しくは、右眼の視線方向と左眼の視線方向との間の視差角)や投影法を予め設定する。なお、投影法としては、透視投影法や平行投影法などがある。また、レンダリング処理には、例えば、ボリュームレンダリング(volume rendering)処理や、サーフェスレンダリング(surface rendering)処理がある。例えば、ボリュームレンダリング処理は、3次元医用画像データから直接、3次元の情報を反映した2次元画像を生成する手法である。これに対し、サーフェスレンダリング処理は、3次元医用画像データから対象となるデータを抽出してモデルを構築し、構築したモデルに基づいて、3次元の情報を反映した2次元画像を生成する手法である。
【0039】
そして、視差画像群生成部26は、『第2段階』で推定した対応点が右眼画像及び左眼画像上に現れる基準点と一致するように(若しくは対応点が基準面上に位置付けられるように)、レンダリング処理を行う。例えば、視差画像群生成部26は、右眼画像及び左眼画像のいずれにおいても、予め設定された基準点の位置に対応点の画素が位置付けられるように、レンダリング処理を行う。あるいは、例えば、視差画像群生成部26は、対応点の画素上に、右眼画像及び左眼画像の基準点が設定されるように、レンダリング処理を行う。
【0040】
図7は、第1の実施形態に係る視差画像群生成処理を示すフローチャートである。図7に示すように、視差画像群生成部26は、視差画像群の生成指示を表示制御部27から受け付けると(ステップS101肯定)、まず、透視画像からガイドワイヤの先端座標を抽出し(ステップS102)、次に、3次元血管画像データ上の対応点を推定する(ステップS103)。
【0041】
そして、視差画像群生成部26は、推定した対応点が基準点と一致するように視差画像群を生成し(ステップS104)、生成した視差画像群を表示制御部27に送る(ステップS105)。
【0042】
このように生成された視差画像群が表示制御部27に送られると、表示制御部27は、例えば、図8〜10に示すように、立体ロードマップ画像を表示する。図8〜10は、第1の実施形態における立体ロードマップ画像の表示例を説明するための図である。図8は、不整脈アブレーション治療に用いられた立体ロードマップ画像の表示例であり、図9は、心臓冠動脈に用いられた立体ロードマップ画像の表示例であり、図10は、大動脈に用いられた立体ロードマップ画像の表示例である。
【0043】
(第1の実施形態の追加機能1)
第1の実施形態において、視差画像群生成部26は、透視画像上における注目点を追従し、注目点の移動に応じて視差画像群を随時生成する。例えば、医師が血管内でガイドワイヤを進めた場合、透視画像上における注目点も移動する。そこで、視差画像群生成部26は、上述した手法A2を用いてガイドワイヤの先端座標を追従し、新たな先端座標に対応する対応点を推定し、この対応点が基準点と一致するように、視差画像群の生成を随時行う。そして、視差画像群生成部26は、新たに生成した視差画像群を、表示制御部27に随時送信する。この結果、表示制御部27は、例えばガイドワイヤが進められた場合、進められたガイドワイヤの先端が常に視差ゼロに位置付けられる3次元血管画像を、リアルタイムに3次元表示することができる。
【0044】
(第1の実施形態の追加機能2)
第1の実施形態において、視差画像群生成部26は、観察方向の変動に応じて視差画像群を随時生成する。例えばCアームが回転した場合などには、視差画像群生成部26は、新たな観察方向を例えばCアーム制御部25から取得し、この新たな観察方向に基づいて、対応点の推定や、視差画像群の生成を随時行う。そして、視差画像群生成部26は、新たに生成した視差画像群を、表示制御部27に随時送信する。この結果、表示制御部27は、例えばCアームの回転により観察方向が変化した場合、新たな観察方向に対応した3次元血管画像を立体ロードマップ画像として3次元表示することができる。
【0045】
(第1の実施形態の追加機能3)
第1の実施形態において、表示制御部27は、立体ロードマップ画像の表示中、透視画像データの収集が停止された場合には、最後の透視画像データのフレームを、立体ロードマップ画像中に表示したままとする(LIH:Last Image Hold)。
【0046】
(第1の実施形態の効果)
上述したように、第1の実施形態によれば、3次元血管画像データから生成される2次元の投影画像を2枚以上用いて、また、3Dモニタを用いることで、立体ロードマップにおいて3次元血管画像を立体視可能に3次元表示することができる。また、第1の実施形態によれば、3次元表示される3次元血管画像の奥行き方向の表示位置を、2次元表示される透視画像に基づいて決定する。具体的には、第1の実施形態においては、透視画像と3次元血管画像とを3Dモニタに重畳表示するにあたり、透視画像上における注目点に対応する3次元血管画像データ上の点が視差ゼロとなるように、視差画像群を生成する。このようなことから、第1の実施形態によれば、2次元表示される透視画像と3次元表示される3次元血管画像とを適切に重畳表示することができ、2次元表示の医用画像と3次元表示の医用画像とを見易く表示することができる。
【0047】
例えば、医師は、ガイドワイヤの先端付近の血管を立体的に視認することができるので、重要部分の視認性を高めることができる。医師は、例えば血管の分岐部でガイドワイヤを進めるべき方向を把握することが容易になる。
【0048】
すなわち、3次元表示による「ガイドワイヤの進め先の決め易さ」に加えて、視差を与えない基準点は空間分解能も高くなるので、「この先、ガイドワイヤをどちらに進めればよいか」という重要部分の視認性も、より高まることになる。
【0049】
(第2の実施形態)
次に、第2の実施形態を説明する。第1の実施形態と異なる点は、主に視差画像群生成部26による視差画像群生成処理である。具体的には、第1の実施形態においては、『第1段階』として透視画像から注目点を抽出し、『第2段階』としてこの注目点に対応する3次元血管画像データ上の対応点を推定した。この点、第2の実施形態においては、透視画像上の注目点から対応点を推定するのではなく、直接対応点を特定する。なお、『第3の段階』は、第1の実施形態と同様である。また、その他、第1の実施形態において説明した追加機能等は、第2の実施形態においても同様に適用することができる。
【0050】
そこで、第2の実施形態において、直接対応点を特定する手法を説明する。この手法には、例えば、「2方向から撮影された透視画像を用いる手法C1」と、「ガイドワイヤなどの先端に配置された磁気を用いる手法C2」と、「操作者がモニタ16の表示面上で注目点を指定する手法C3」とがある。いずれの手法を組み合わせて適用することも可能である。
【0051】
まず、手法C1を説明する。第1の実施形態において、手法A1として、透視画像からガイドワイヤの先端座標を抽出する手法を説明した。手法C1において、視差画像群生成部26は、2方向から撮影された透視画像について、手法A1と同様に、ガイドワイヤの先端座標を抽出する。ここで、異なる2方向から撮影された透視画像についてそれぞれ先端座標が抽出されるので、視差画像群生成部26は、Epipolar理論を用いることで、2つの先端座標から3次元空間の座標を計算する。こうして、視差画像群生成部26は、計算した3次元空間の座標を、対応点の座標(x、y、z)として取得する。なお、視差画像群生成部26は、必要に応じて、取得した対応点の座標(x、y、z)を、3次元血管画像データの座標系に座標変換すればよい。
【0052】
次に、手法C2を説明する。例えばアブレーション治療時などには「electro-mappingシステム」と呼ばれるシステムが多く用いられる。「electro-mappingシステム」は、ガイドワイヤなどの先端に配置された磁気を用いて、寝台上に発生させた磁場の中で3次元空間の座標を取得するものである。この場合には、視差画像群生成部26は、「electro-mappingシステム」によって取得された3次元空間の座標を、対応点の座標(x、y、z)として取得すればよい。なお、視差画像群生成部26は、必要に応じて、取得した対応点の座標(x、y、z)を、3次元血管画像データの座標系に座標変換すればよい。
【0053】
次に、手法C3を説明する。例えば、奥行き方向の位置合わせを行わない段階で、モニタ16に3次元血管画像が3次元表示されている場合に、操作者がモニタ16の表示面上で注目点を指定したとする。この場合、視差画像群生成部26は、操作部21を介して操作者により指定された視差画像群上の点を3次元血管画像データ上で特定し、その座標を対応点の座標(x、y、z)として取得する。
【0054】
(第3の実施形態)
次に、第3の実施形態を説明する。第1及び第2の実施形態においては、3次元血管画像データ全体の3次元血管画像を立体ロードマップ画像として表示していたが、実施形態はこれに限られるものではない。例えば、3次元血管画像データのうち、一部のみの3次元血管画像を表示してもよい。例えば、3次元血管画像データのうち、注目点近傍のみの3次元血管画像を表示してもよい。
【0055】
図11〜図13は、第3の実施形態における視差画像群の生成を説明するための図である。なお、図11及び図12において上段の2図に対応する下段の2図は、いずれも、上段に示された3次元血管画像データを横方向からみた図である。また、図11及び図12において、注目点は、表示面の奥から手前方向に移動している(図11及び図12において黒線矢印を参照)。
【0056】
この場合、視差画像群生成部26は、例えば、図11に示すように、注目点前後のある一定の幅の領域の3次元血管画像データのみを用いて視差画像群を生成すればよい。注目点が表示面の奥から手前方向に移動した場合には、図11の(B)に示すように、一定の幅の領域も追従して移動する。あるいは、表示制御部27が、視差画像群生成部26から送られた視差画像群のうち、注目点前後のある一定の幅の領域に相当する画像のみ描出されるように、表示を制御してもよい。なお、図11に示すような矩形の領域に限られず、例えば、注目点を中心とした球形の領域などであってもよい。
【0057】
また、視差画像群生成部26は、例えば、図12に示すように、注目点を基準に、注目点の進行方向の領域の3次元血管画像データのみを用いて視差画像群を生成すればよい。注目点が表示面の奥から手前方向に移動した場合には、図12の(B)に示すように、視差画像群の生成に用いられる領域が徐々に少なくなる。あるいは、表示制御部27が、視差画像群生成部26から送られた視差画像群のうち、注目点の進行方向の領域に相当する画像のみ描出されるように、表示を制御してもよい(進行方向とは反対の不要な領域は表示されない)。なお、図12に示すような矩形の領域に限られず、例えば、注目点を中心とした球形の領域などであってもよい。
【0058】
また、視差画像群生成部26は、例えば、図13に示すように、治療計画線の近傍領域の3次元血管画像データのみを用いて視差画像群を生成してもよい。治療計画線は、上述したように、例えば医師が「ここの血管を治療する」と予め描いたものである。また、治療計画線は、ほぼ血管に沿って描かれるものである。そこで、視差画像群生成部26は、例えば、図13に示すように、3次元血管画像データのうち、治療計画線を中心とした円筒領域(例えば治療計画線を中心軸とする直径2〜3cmの円筒領域)のみを用いて視差画像群を生成してもよい。
【0059】
このように、注目点近傍や治療計画線の近傍のみの3次元血管画像を表示することにより、重要部分以外の画像が観察者の目に入らなくなる結果、重要部分の視認性も、更に高まることになる。
【0060】
(第4の実施形態)
次に、第4の実施形態を説明する。上述した実施形態においては、2次元表示される医用画像として「X線画像」を例に挙げて説明し、3次元表示される3次元医用画像データとして、X線診断装置やX線CT装置によって予め収集された「3次元血管画像データ」を例に挙げて説明した。しかしながら、実施形態はこれに限られるものではない。以下に説明する第4の実施形態においては、2次元表示される医用画像として「超音波画像」を想定し、3次元表示される3次元医用画像データとして、X線CT装置やMRI(Magnetic Resonance Imaging)装置によって予め収集された「3次元医用画像データ」を想定する。なお、上述した実施形態において説明した各種処理や追加機能等は、第4の実施形態においても同様に適用することができる。
【0061】
図14は、第4の実施形態に係る超音波診断装置200の構成例を説明するための図である。第4の実施形態において、医用画像表示装置である超音波診断装置200は、他の医用画像診断装置300(例えば、X線CT装置やMRI装置)から3次元医用画像データを取得し、取得した3次元医用画像データから生成した視差画像群と、リアルタイムに収集する2次元の超音波画像とを、モニタ213上に並べて表示する。具体的には、図14に示すように、超音波診断装置200は、装置本体210と、超音波プローブ211と、操作部212と、モニタ213とを備える。
【0062】
超音波プローブ211は、複数の圧電振動子を有する。圧電振動子は、後述する送受信部220から供給される駆動信号に基づき超音波を発生する。また、圧電振動子は、被検体からの反射波を受信して電気信号に変換する。操作部212は、トラックボール、スイッチ、ボタン、タッチコマンドスクリーン等であり、超音波診断装置200に対する各種操作の入力を操作者から受け付ける。モニタ213は、上述した実施形態のモニタ16と同様、観察者が画像を立体視することができる3Dモニタである。例えば、モニタ213は、シャッター方式によって画像を3次元表示する。
【0063】
ここで、第4の実施形態における超音波プローブ211は、磁気センサーを有する。この磁気センサーは、図示しないインタフェースを介して位置情報取得装置400に接続される。また、この磁気センサーは、位置情報取得装置400のトランスミッター(図示を省略)を原点として形成された3次元の磁場を検出し、検出した磁場の情報を信号に変換し、変換した信号を位置情報取得装置400に出力する。位置情報取得装置400は、磁気センサーから受信した信号に基づいて、トランスミッターを原点とする3次元空間における磁気センサーの座標及び向きを算出し、算出した座標及び向きを制御部260に送る。
【0064】
装置本体210は、送受信部220と、Bモード・ドプラ処理部230と、超音波画像生成部240と、医用画像データ記憶部250と、制御部260と、3次元医用画像データ取得部270と、視差画像群生成部280と、表示制御部290とを有する。
【0065】
送受信部220は、トリガ発生回路、遅延回路、及びパルサ回路等を有し、超音波プローブ211に駆動信号を供給する。また、送受信部220は、アンプ回路、A(Analog)/D(Digital)変換器、加算器等を有し、超音波プローブ211が受信した反射波信号に対して各種処理を行い、反射波データを生成する。
【0066】
Bモード・ドプラ処理部230は、送受信部220から受信した反射波データに対して対数増幅、包絡線検波処理等を行い、信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。また、Bモード・ドプラ処理部230は、受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の移動体情報を多点について抽出したデータ(ドプラデータ)を生成する。
【0067】
超音波画像生成部240は、Bモード・ドプラ処理部230によって生成されたBモードデータやドプラデータから超音波画像を生成する。具体的には、超音波画像生成部240は、超音波スキャンの走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)することで、Bモードデータやドプラデータから表示用の超音波画像(Bモード画像やドプラ画像)を生成する。
【0068】
医用画像データ記憶部250は、3次元医用画像データ取得部270によって他の医用画像診断装置300から取得された3次元医用画像データ等を記憶する。制御部260は、超音波診断装置200の全体制御を行う。3次元医用画像データ取得部270は、3次元医用画像データを、他の医用画像診断装置300から、直接、あるいは、ネットワーク経由、あるいは、操作者の入力等を介して取得する。
【0069】
視差画像群生成部280は、3次元医用画像データから、視差画像群である右眼画像及び左眼画像を生成する。なお、視差画像群生成部280による視差画像群生成処理は、第1の実施形態における視差画像群生成部26による視差画像群生成処理と同様である。すなわち、視差画像群生成部280は、超音波画像から注目点(例えば、超音波画像に描出された穿刺針の先端等)を抽出し、この注目点に対応する3次元医用画像データ上の対応点を推定し、推定した対応点が基準点と一致するように視差画像群を生成する。
【0070】
ここで、超音波画像から抽出された注目点に対応する3次元医用画像データ上の対応点を推定するには、他の医用画像診断装置300にて収集された3次元医用画像データと、超音波画像との座標系が関連付けられていることが前提となる。この座標系の関連付けは、3次元医用画像データの3軸と、超音波プローブ211の磁場座標系の3軸との軸合わせに相当する。すなわち、例えば、まず、磁気センサーが取り付けられた超音波プローブ211を被検体に対して垂直にあて、その状態でセットボタンを押下することで、そのときの磁気センサーの向きを垂直としてセットする。次に、3次元医用画像データに描出された特徴部分と同一の特徴部分が描出された超音波画像を選択して、再度セットボタンを押下することで、そのときの磁気センサーの座標と、3次元医用画像データの座標とを関連付ける。特徴部分としては、例えば、血管や、剣状突起等が用いられる。こうして、3次元医用画像データと超音波画像との座標が関連付けられ、超音波画像から抽出された注目点の座標から、3次元医用画像データ上の対応点の座標を推定することができる。
【0071】
表示制御部290は、視差画像群と超音波画像とを、モニタ213に並べて表示する。なお、表示制御部290は、超音波画像については、例えば、右眼画像と左眼画像とを同一にすることで、2次元表示することができる。例えば、表示制御部290は、モニタ213の左半分に、視差画像群であるCT画像を3次元表示し、右半分に、リアルタイムに収集される超音波画像を2次元表示する。すなわち、表示制御部290は、右眼画像を表示するタイミングにおいては、超音波画像生成部240によって生成された超音波画像と、視差画像群生成部280から送られた右眼画像とを、モニタ213に並べて表示する。一方、表示制御部290は、左眼画像を表示するタイミングにおいては、超音波画像生成部240によって生成された超音波画像と、視差画像群生成部280から送られた左眼画像とを、モニタ213に並べて表示する。
【0072】
なお、第4の実施形態においては、視差画像群と超音波画像とをモニタ213に並べて表示する例を説明したが、実施形態はこれに限られるものではなく、第1〜第3の実施形態において説明したように、視差画像群と超音波画像とを重畳表示してもよい。
【0073】
(その他の実施形態)
上述した第1〜第4の実施形態は一例に過ぎず、これらの実施形態は、その他の様々な形態で実施されることが可能である。
【0074】
第1〜第3の実施形態において、透視画像と3次元血管画像との重畳表示を説明したが、例えば、透視画像をグレースケールで表示し、3次元血管画像をカラーで表示してもよい。すなわち、2次元表示されるX線画像をグレースケールで表示し、3次元表示される視差画像群をカラーで表示し、これらを重畳表示してもよい。第4の実施形態においても同様であり、例えば、超音波画像をグレースケールで表示し、3次元血管画像をカラーで表示してもよい。
【0075】
また、上述した実施形態においては、「注目点」として、例えば、ガイドワイヤやカテーテルの先端位置、ステント、バルーン、弁の位置等を例に挙げて説明したが、実施形態はこれに限られるものではない。「注目点」には、例えば、胃カメラや、体腔内プローブ(例えば、経食道プローブ、経直腸プローブ等)、穿刺針等の先端を含む。なお、「注目点」は「特徴点」とも称される。
【0076】
また、上述した実施形態においては、「X線画像」と「X線診断装置やX線CT装置によって収集された3次元血管画像データ」とを重畳表示する例や、「超音波画像」と「X線CT装置やMRI装置によって収集された3次元医用画像データ」とを並べて表示する例を説明したが、実施形態はこれに限られるものではない。すなわち、実施形態は、撮影対象や、医用画像データの収集に用いられた医用画像診断装置に限定されるものではなく、ある対象物が撮影された医用画像を2次元表示するとともに、同じ対象物が撮影された3次元医用画像データを3次元表示する場合(重畳表示、あるいは並列表示を含む)に、同様に適用することができる。
【0077】
また、上述した実施形態においては、リアルタイムに2次元表示される「透視画像」やリアルタイムに2次元表示される「超音波画像」を想定して説明したが、実施形態はこれに限られるものではない。2次元表示される医用画像は、必ずしもリアルタイムに表示される動画像である必要はなく、過去に収集された医用画像や静止画像であってもよい。
【0078】
また、上述した実施形態においては、X線診断装置や超音波診断装置等の医用画像診断装置である医用画像表示装置にて、視差画像群の表示位置の決定や視差画像群の生成、医用画像と視差画像群との重畳表示や並列表示等が行われる例を説明したが、実施形態はこれに限られるものではない。例えば、ワークステーション、PACS(Picture Archiving and Communication System)のビューワ、電子カルテシステムの各種装置等の医用画像表示装置にて、上述した処理が行われてもよい。この場合、医用画像表示装置は、医用画像診断装置から、2次元表示される医用画像や、3次元表示される3次元医用画像データ等を、直接、あるいは、ネットワーク経由、あるいは、操作者の入力等を介して取得すればよい。
【0079】
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0080】
また、上述の実施形態で説明した表示制御方法は、あらかじめ用意された表示制御プログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0081】
以上述べた少なくとも一つの実施形態のX線診断装置によれば、2次元表示される医用画像と3次元表示される医用画像とを適切に重畳表示することができる。
【0082】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0083】
100 X線診断装置
16 モニタ
24 医用画像データ収集部
26 視差画像群生成部
27 表示制御部
【技術分野】
【0001】
本発明の実施形態は、医用画像表示装置及びX線診断装置に関する。
【背景技術】
【0002】
虚血性心疾患は世界を代表する病気であり、その治療方法として、近年は、低侵襲治療である血管内治療が増えている。血管内治療は、通常、X線透視下に行われ、X線診断装置は、イメージガイドの道具として利用される。近年は、ロードマップと呼ばれる手法が頻繁に利用される。ロードマップとは、静止画としての血管造影画像に、透視画像をリアルタイムに重畳表示する手法である。透視画像には、医師によって血管内を進められるガイドワイヤなどが描出される。
【0003】
また、ロードマップのひとつに、3Dロードマップと呼ばれる手法がある。3Dロードマップでは、血管造影画像として、3次元血管画像データから生成される2次元の投影画像が用いられる。すなわち、3Dロードマップとは、X線診断装置の動き(例えば寝台の移動やCアームの回転など)に応じて生成された2次元の投影画像に、透視画像をリアルタイムに重畳表示する手法である。なお、3次元血管画像データは、X線診断装置のCアームを回転させることで収集される場合や、X線CT(Computed Tomography)装置によって収集されたCT画像を用いる場合などがある。
【0004】
もっとも、ロードマップのいずれの手法も、モニタに表示される画像はあくまで2次元の画像に過ぎない。このため、例えばガイドワイヤを進める医師がモニタを観察した場合、2次元の情報は把握できるものの、奥行き方向の情報は失われてしまい、医師は、依然として、例えば血管の分岐部でガイドワイヤを進めるべき方向を十分に把握することができない。
【0005】
一方、近年、3Dモニタの技術が一般化している。3Dモニタとは、観察者が画像を立体視することができるモニタである。例えば、観察者は、画像の飛び出し感や奥行き感を視認することができる。専用の眼鏡を用いる手法と裸眼による手法とが知られている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−229473号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明が解決しようとする課題は、2次元表示の医用画像と3次元表示の医用画像とを見易く表示することができる医用画像表示装置及びX線診断装置を提供することである。
【課題を解決するための手段】
【0008】
実施形態に係る医用画像表示装置は、表示部と、生成部と、表示制御部とを備える。前記表示部は、3次元医用画像データから生成された視差画像群を3次元表示する。前記生成部は、前記表示部に3次元表示される前記視差画像群の表示位置であって前記表示部の表示面に対する奥行き方向の表示位置を決定し、決定した表示位置となるように前記3次元医用画像データから前記視差画像群を生成する。前記表示制御部は、前記表示部に前記視差画像群を3次元表示するとともに前記視差画像群とは異なる医用画像を2次元表示する。
【図面の簡単な説明】
【0009】
【図1】図1は、第1の実施形態に係るX線診断装置の構成例を説明するための図である。
【図2】図2は、第1の実施形態に係るモニタを説明するための図である。
【図3】図3は、第1の実施形態における透視画像及び3次元血管画像を説明するための図である。
【図4】図4は、第1の実施形態における基準点を説明するための図である。
【図5】図5は、第1の実施形態における視差画像群の生成を説明するための図である。
【図6】図6は、第1の実施形態における対応点の推定を説明するための図である。
【図7】図7は、第1の実施形態に係る視差画像群生成処理を示すフローチャートである。
【図8】図8は、第1の実施形態における立体ロードマップ画像の表示例を説明するための図である。
【図9】図9は、第1の実施形態における立体ロードマップ画像の表示例を説明するための図である。
【図10】図10は、第1の実施形態における立体ロードマップ画像の表示例を説明するための図である。
【図11】図11は、第3の実施形態における視差画像群の生成を説明するための図である。
【図12】図12は、第3の実施形態における視差画像群の生成を説明するための図である。
【図13】図13は、第3の実施形態における視差画像群の生成を説明するための図である。
【図14】図14は、第4の実施形態に係る超音波診断装置の構成例を説明するための図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して医用画像表示装置及びX線診断装置の実施形態を詳細に説明する。なお、以下に用いる用語を定義する。「透視画像」は、被検体を透過したX線をX線検出器によって検出することで生成される動画像であり、リアルタイムに2次元表示される。一方、「撮影画像」は、透視画像と同様、被検体を透過したX線をX線検出器によって検出することで生成される動画像であるが、透視画像に比較してX線の線量の多い画像である。なお、X線の線量は、例えば記録の必要に応じて決定される。例えば、記録の必要がある場合には、線量の多い「撮影画像」が収集される。なお、「透視画像」及び「撮影画像」は動画像であるが、広く「X線画像」という場合には、「透視画像」及び「撮影画像」に加え、静止画も含まれる。以下の実施形態においては主に「透視画像」を用いて説明するが、実施形態はこれに限られるものではなく、広く「X線画像」に同様に適用することができる。なお、「透過画像」や「2次元画像」といった用語で一般に表現される画像も、この「X線画像」に含まれる。
【0011】
(第1の実施形態)
図1は、第1の実施形態に係るX線診断装置100の構成例を説明するための図である。図1に示すように、X線診断装置100は、架台部10と、計算機システム20とを備える。図1に示すように、架台部10は、寝台11と、架台12と、Cアーム13と、X線源14と、X線検出器15と、モニタ16とを備える。
【0012】
寝台11は、垂直方向及び水平方向に移動可能であり、被検体Pが載置される。架台12は、Cアーム13を支持する。Cアーム13は、Z軸を中心に矢印R方向に回転可能であり、X線源14及びX線検出器15を対向して保持する。X線源14は、X線を照射するX線管球と、コリメータとを有する。X線検出器15は、X線源14から照射され、被検体Pを透過したX線を検出する。モニタ16は、立体視可能な血管造影画像に透視画像が重畳表示された立体ロードマップ画像などを表示する。なお、後述するように、第1の実施形態において、立体ロードマップ画像とは、3次元血管画像データから生成される2次元の投影画像を2枚以上用いることで立体視可能に3次元表示される立体画像と、透視画像とを重畳表示した画像のことである。
【0013】
ここで、第1の実施形態に係るモニタ16は、観察者が画像を立体視することができる3Dモニタである。例えば、モニタ16は、シャッター方式によって画像を3次元表示する。
【0014】
図2は、第1の実施形態に係るモニタ16を説明するための図である。図2に示すように、モニタ16を観察する医師は、X線防護メガネとの兼用が可能な立体視用メガネとして、シャッターメガネを装着する。この場合、モニタ16は、右目用の画像(以下、右眼画像)と左目用の画像(以下、左眼画像)とを、例えば120Hzで交互に表示する。また、モニタ16は、赤外線出射部を有し、赤外線出射部は、右眼画像と左眼画像とを切り替えるタイミングに合わせて赤外線の出射を制御する。一方、シャッターメガネは、赤外線受光部を有し、赤外線受光部は、赤外線出射部から出射された赤外線を受光し、シャッターメガネの左右それぞれに取り付けられたシャッターの透過状態及び遮光状態を交互に切り替える。
【0015】
なお、3Dモニタはシャッター方式に限られるものではなく、例えば偏光メガネ方式や、レンチキュラーレンズなどの光線制御子を用いることで裸眼による立体視が可能な方式(例えば、特開2005−86414号公報など)などでもよい。
【0016】
図1に戻り、計算機システム20は、操作部21と、医用画像データ記憶部22と、制御部23と、医用画像データ収集部24と、Cアーム制御部25と、視差画像群生成部26と、表示制御部27とを備える。
【0017】
操作部21は、コントロールパネル、フットスイッチなどであり、X線診断装置100に対する各種操作の入力を操作者から受け付ける。具体的には、第1の実施形態に係る操作部21は、透視画像データの収集指示や、立体ロードマップ画像の表示指示などを受け付ける。医用画像データ記憶部22は、立体ロードマップ画像の表示に用いられる3次元血管画像データなどを記憶する。制御部23は、X線診断装置100の全体制御を行う。
【0018】
医用画像データ収集部24は、立体ロードマップ画像の表示に用いられる3次元血管画像データや透視画像データを収集する。なお、第1の実施形態において、3次元血管画像データは、立体ロードマップ画像の表示制御よりも前に予め収集され、透視画像データは、立体ロードマップ画像の表示制御中リアルタイムに収集される。
【0019】
例えば、医用画像データ収集部24は、3次元血管画像データの収集指示を受け付けると、X線源14、X線検出装置15、及びCアーム制御部25を制御し、3次元血管画像データを収集する。医用画像データ収集部24は、収集した3次元血管画像データを医用画像データ記憶部22に格納する。なお、第1の実施形態においては、X線診断装置100のCアーム13を回転させることで3次元血管像データを収集する例を説明したが、実施形態はこれに限られるものではなく、例えば、X線診断装置100とは異なるX線CT装置によって予め収集された3次元血管画像データを用いてもよい。
【0020】
また、医用画像データ収集部24は、表示制御部27から透視画像データの収集指示を受け付けると、X線源14、X線検出装置15、及びCアーム制御部25を制御し、透視画像データを収集する。また、医用画像データ収集部24は、収集した透視画像データを、視差画像群生成部26及び表示制御部27に送る。Cアーム制御部25は、医用画像データ収集部24による制御の下、Cアーム13の回転などを制御する。
【0021】
視差画像群生成部26は、3次元血管画像データから、視差画像群である右眼画像及び左眼画像を生成する。具体的には、視差画像群生成部26は、表示制御部27から、立体ロードマップ画像を表示するための視差画像群の生成指示を受け付けると、医用画像データ記憶部22を参照し、予め収集された3次元血管画像データを取得する。そして、視差画像群生成部26は、取得した3次元血管画像データから右眼画像及び左眼画像を生成し、生成した右眼画像及び左眼画像を表示制御部27に送る。なお、視差画像群生成部26による視差画像群生成処理については後述する。
【0022】
表示制御部27は、3次元血管画像である視差画像群に透視画像が重畳表示された立体ロードマップ画像をモニタ16に表示する。例えば、表示制御部27は、操作部21を介して立体ロードマップ画像の表示指示を受け付けると、透視画像データの収集指示を医用画像データ収集部24に送り、リアルタイムに収集された透視画像データを医用画像データ収集部24から受け取る。また、表示制御部27は、視差画像群の生成指示を視差画像群生成部26に送り、3次元血管画像データから生成された右眼画像及び左眼画像を視差画像群生成部26から受け取る。そして、表示制御部27は、透視画像と、3次元血管画像データから生成された右眼画像及び左眼画像とを、モニタ16に重畳表示する。
【0023】
この場合、モニタ16は、3次元血管画像については、視差画像群を表示することにより立体視可能に3次元表示し、透視画像については、2次元表示する。すなわち、表示制御部27は、右眼画像を表示するタイミングにおいては、医用画像データ収集部24から送られた透視画像と、視差画像群生成部26から送られた右眼画像とを、画素値に重み付けをするなどして重畳し、モニタ16に表示する。一方、表示制御部27は、左眼画像を表示するタイミングにおいては、医用画像データ収集部24から送られた透視画像と、視差画像群生成部26から送られた左眼画像とを、画素値に重み付けをするなどして重畳し、モニタ16に表示する。
【0024】
続いて、第1の実施形態に係る視差画像群生成部26による視差画像群生成処理を詳述する。従来のX線診断装置は、あくまで2次元の投影画像に2次元の透視画像を重畳した3Dロードマップ画像を、3Dモニタでない通常の2Dモニタに表示していた。
【0025】
これに対し、第1の実施形態に係るX線診断装置100は、立体ロードマップ画像を表示する。すなわち、第1の実施形態に係るX線診断装置100は、3次元血管画像データから生成される2次元の投影画像を2枚以上用いることで立体視可能に3次元表示される立体画像と、2次元の透視画像とを重畳表示した立体ロードマップ画像を、3Dモニタに表示する。図3は、第1の実施形態における透視画像及び3次元血管画像を説明するための図である。この場合、図3に示すように、透視画像は、奥行き方向の情報が失われて2次元表示されるが、3次元血管画像は、奥行き方向の情報を保つように3次元表示される。そこで、第1の実施形態に係るX線診断装置100は、3次元表示される3次元血管画像の奥行き方向(モニタ16の表示面に対する奥行き方向)の表示位置を、2次元表示される透視画像に基づいて決定することとする。
【0026】
ここで、立体視することが可能な画像には、左右両眼による視差がゼロとなる「基準点」が存在する。図4は、第1の実施形態における基準点を説明するための図である。例えば、図4(A)に示すように、モニタ16の表示面よりも奥に基準点zが設定されて、右眼画像及び左眼画像が生成される場合がある。また、例えば、図4(B)に示すように、表示面よりも手前に基準点zが設定されて、右眼画像及び左眼画像が生成される場合がある。あるいは、表示面上に基準点zが設定されて、右眼画像及び左眼画像が生成される場合もある。どの位置に基準点を設定するかは任意に決定することができるが、基準点は、上述したように視差がゼロとなる点であり、観察者にとって見易い点である。
【0027】
そこで、第1の実施形態に係るX線診断装置100は、透視画像と3次元血管画像とを3Dモニタに重畳表示するにあたり、透視画像上における注目点に対応する3次元血管画像データ上の対応点が基準点と一致するように(若しくは基準点の近傍に位置付けられるように)、視差画像群を生成する。例えば、基準点が表示面上に設定されている場合には、透視画像上の注目点と3次元血管画像の対応点とは、同じ表示面上で重なることになる。
【0028】
図5は、第1の実施形態における視差画像群の生成を説明するための図である。図5に示すように、透視画像においては奥行き方向の情報が失われているため、透視画像上における注目点が奥行き方向のどの位置に存在するか明らかではない。一方で、3次元血管画像データは奥行き方向の情報を保持しているので、透視画像上における注目点に対応する対応点が奥行き方向のどの位置に存在するかを特定することができる。そこで、この対応点が、観察者にとって見易い基準点と一致するように奥行き方向を位置合わせした上で視差画像群が生成されれば、観察者にとっては、注目点が見易い立体ロードマップ画像となる。なお、対応点と基準点とを厳密に一致させるには、奥行き方向のみならず、奥行き方向と垂直な表示面上の位置合わせも必要になる場合があり、この場合には、更に、透視画像と3次元血管画像との位置合わせが必要になる場合もある。もっとも、対応点と基準点とを厳密に一致させるのではなく、対応点が基準点の近傍に位置づけられるように奥行き方向を位置合わせしてもよい。例えば、対応点が、少なくとも基準点を含む基準面上に位置づけられるように奥行き方向を位置合わせしてもよい。以下、具体的に説明する。
【0029】
第1の実施形態において、視差画像群生成部26は、透視画像から注目点を抽出する『第1段階』と、この注目点に対応する3次元血管画像データ上の対応点を推定する『第2段階』と、推定した対応点が基準点と一致するように視差画像群を生成する『第3段階』とを行う。また、『第1段階』の手法には、「透視画像から自動抽出する手法A1」と、「モニタ16に表示された透視画像を観察する操作者がモニタ16の表示面上で注目点を指定することで、透視画像から注目点を抽出する手法A2」とがある。一方、『第2段階』の手法には、「注目点は血管内に存在するという仮定に基づいて3次元血管画像データ上の対応点を推定する手法B1」と、「注目点は治療計画線(例えば、医師が「ここの血管を治療する」と予め描いたもの)の近傍に存在するという仮定に基づいて3次元血管画像データ上の対応点を推定する手法B2」とがある。いずれの手法を組み合わせて適用することも可能であるが、以下では、主に手法A1と手法B1との組合せを説明する。
【0030】
まず、透視画像から注目点を抽出する『第1段階』の一例として、手法A1を説明する。ここで、「注目点」とは、透視画像上において観察者によって注目される点のことであり、例えば、ガイドワイヤやカテーテルの先端位置、ステント、バルーン、弁の位置などが該当する。第1の実施形態において、視差画像群生成部26は、注目点としてガイドワイヤの先端座標を抽出する。なお、他の注目点も同様に抽出することができる。
【0031】
まず、視差画像群生成部26は、医用画像データ収集部24から透視画像データを受け取る。この透視画像データは、例えば5〜30フレーム/秒程度の動画データである。次に、視差画像群生成部26は、各フレームにおけるガイドワイヤの像を、画像処理技術を用いて特定する。
【0032】
例えば、視差画像群生成部26は、各フレームに対して強調処理を行うことで、ガイドワイヤの像を明瞭にする。例えば、視差画像群生成部26は、非線形明度変換を行ってガイドワイヤの像の濃度ムラを低減させてから、空間周波数の高い成分を抽出する画像フィルタ処理を施す。この画像フィルタ処理は、大域的で滑らかなグラデーションを除去し、局所的で細かな変動成分のみを残すものである。
【0033】
次に、視差画像群生成部26は、各フレームに対してパターン抽出処理を施すことで、ガイドワイヤの像を特定する。例えば、視差画像群生成部26は、画素値の閾値処理や空間フィルタ処理などを施す。そして、視差画像群生成部26は、各フレームからガイドワイヤの像を抽出し、各フレームにおけるガイドワイヤの像の形状を示す2次元曲線を求め、2次元曲線の各点の座標値に基づいて、2次元曲線の端部に位置付けられるガイドワイヤの先端座標を抽出する。
【0034】
次に、3次元血管画像データ上の対応点を推定する『第2段階』の一例として、手法B1を説明する。なお、透視画像と3次元血管画像との間で、表示面上の位置合わせは既に完了していると仮定する。図6は、第1の実施形態における対応点の推定を説明するための図である。図6に示すように、3次元血管画像データと透視画像との位置関係は、3次元血管画像データと、3次元血管画像データから生成される3次元投影画像との位置関係と同様である。すなわち、透視画像上におけるガイドワイヤの先端座標(u、v)には、先端座標(u、v)とX線源14とを結ぶ直線a上であって3次元血管画像データ内を通過する全ての情報が投影される。
【0035】
そこで、視差画像群生成部26は、まず、先端座標(u、v)とX線源14とを結ぶ直線aを求める。X線源14の座標は、例えばCアーム制御部25から取得することができる。次に、視差画像群生成部26は、注目点は血管内に存在するという仮定に基づいて、3次元血管画像データ内を通過する直線aを探索し、直線aと血管とが交差する点を特定する。そして、視差画像群生成部26は、この点の座標を、注目点に対応する対応点の座標(x、y、z)として推定する。なお、X線源14は、医師によって注目点が見易い位置に移動されているはずであるので、一般に、直線aと血管とが交差する座標はひとつであると考えられる。また、視差画像群生成部26は、3次元血管画像データに対して例えば閾値処理などを施すことで、3次元血管画像データから血管を特定することができる。
【0036】
なお、実施形態に係る視差画像群生成部26は、直線aと血管とが交差する点が複数特定された場合にも、対応点の座標を推定することができる。例えば、血管が極端に曲がっている場合や奥行き方向に曲がっている場合などには、直線aと血管とが交差する点(候補点)が複数特定される場合がある。このような場合、視差画像群生成部26は、ガイドワイヤの動きは突然飛躍することはなく、血管に沿って連続的である性質を利用して、対応点の座標を推定する。例えば、視差画像群生成部26は、ガイドワイヤの先端座標、すなわち対応点の座標を、時系列に沿って推定している。そこで、視差画像群生成部26は、3次元血管画像データから血管中心線を抽出し、1つ前の時点において推定された対応点と各候補点との間の距離を、この血管中心線に沿って計算する。そして、視差画像群生成部26は、計算された距離が最も短い候補点を、対応点として特定すればよい。
【0037】
なお、『第2段階』に手法B2を適用する場合には、視差画像群生成部26は、注目点は治療計画線の近傍に存在するという仮定に基づいて、3次元血管画像データ内を通過する直線aを探索し、直線aと血管とが交差する点を特定すればよい。
【0038】
続いて、推定した対応点が基準点と一致するように視差画像群を生成する『第3段階』を説明する。視差画像群生成部26は、3次元血管画像データに対してレンダリング処理を行うことで、右眼画像及び左眼画像を生成する。このレンダリング処理は、設定されたレンダリング条件に従って行われる。このため、視差画像群生成部26は、レンダリング条件として、例えば、右眼用の視点位置及び左眼用の視点位置(若しくは、右眼の視線方向と左眼の視線方向との間の視差角)や投影法を予め設定する。なお、投影法としては、透視投影法や平行投影法などがある。また、レンダリング処理には、例えば、ボリュームレンダリング(volume rendering)処理や、サーフェスレンダリング(surface rendering)処理がある。例えば、ボリュームレンダリング処理は、3次元医用画像データから直接、3次元の情報を反映した2次元画像を生成する手法である。これに対し、サーフェスレンダリング処理は、3次元医用画像データから対象となるデータを抽出してモデルを構築し、構築したモデルに基づいて、3次元の情報を反映した2次元画像を生成する手法である。
【0039】
そして、視差画像群生成部26は、『第2段階』で推定した対応点が右眼画像及び左眼画像上に現れる基準点と一致するように(若しくは対応点が基準面上に位置付けられるように)、レンダリング処理を行う。例えば、視差画像群生成部26は、右眼画像及び左眼画像のいずれにおいても、予め設定された基準点の位置に対応点の画素が位置付けられるように、レンダリング処理を行う。あるいは、例えば、視差画像群生成部26は、対応点の画素上に、右眼画像及び左眼画像の基準点が設定されるように、レンダリング処理を行う。
【0040】
図7は、第1の実施形態に係る視差画像群生成処理を示すフローチャートである。図7に示すように、視差画像群生成部26は、視差画像群の生成指示を表示制御部27から受け付けると(ステップS101肯定)、まず、透視画像からガイドワイヤの先端座標を抽出し(ステップS102)、次に、3次元血管画像データ上の対応点を推定する(ステップS103)。
【0041】
そして、視差画像群生成部26は、推定した対応点が基準点と一致するように視差画像群を生成し(ステップS104)、生成した視差画像群を表示制御部27に送る(ステップS105)。
【0042】
このように生成された視差画像群が表示制御部27に送られると、表示制御部27は、例えば、図8〜10に示すように、立体ロードマップ画像を表示する。図8〜10は、第1の実施形態における立体ロードマップ画像の表示例を説明するための図である。図8は、不整脈アブレーション治療に用いられた立体ロードマップ画像の表示例であり、図9は、心臓冠動脈に用いられた立体ロードマップ画像の表示例であり、図10は、大動脈に用いられた立体ロードマップ画像の表示例である。
【0043】
(第1の実施形態の追加機能1)
第1の実施形態において、視差画像群生成部26は、透視画像上における注目点を追従し、注目点の移動に応じて視差画像群を随時生成する。例えば、医師が血管内でガイドワイヤを進めた場合、透視画像上における注目点も移動する。そこで、視差画像群生成部26は、上述した手法A2を用いてガイドワイヤの先端座標を追従し、新たな先端座標に対応する対応点を推定し、この対応点が基準点と一致するように、視差画像群の生成を随時行う。そして、視差画像群生成部26は、新たに生成した視差画像群を、表示制御部27に随時送信する。この結果、表示制御部27は、例えばガイドワイヤが進められた場合、進められたガイドワイヤの先端が常に視差ゼロに位置付けられる3次元血管画像を、リアルタイムに3次元表示することができる。
【0044】
(第1の実施形態の追加機能2)
第1の実施形態において、視差画像群生成部26は、観察方向の変動に応じて視差画像群を随時生成する。例えばCアームが回転した場合などには、視差画像群生成部26は、新たな観察方向を例えばCアーム制御部25から取得し、この新たな観察方向に基づいて、対応点の推定や、視差画像群の生成を随時行う。そして、視差画像群生成部26は、新たに生成した視差画像群を、表示制御部27に随時送信する。この結果、表示制御部27は、例えばCアームの回転により観察方向が変化した場合、新たな観察方向に対応した3次元血管画像を立体ロードマップ画像として3次元表示することができる。
【0045】
(第1の実施形態の追加機能3)
第1の実施形態において、表示制御部27は、立体ロードマップ画像の表示中、透視画像データの収集が停止された場合には、最後の透視画像データのフレームを、立体ロードマップ画像中に表示したままとする(LIH:Last Image Hold)。
【0046】
(第1の実施形態の効果)
上述したように、第1の実施形態によれば、3次元血管画像データから生成される2次元の投影画像を2枚以上用いて、また、3Dモニタを用いることで、立体ロードマップにおいて3次元血管画像を立体視可能に3次元表示することができる。また、第1の実施形態によれば、3次元表示される3次元血管画像の奥行き方向の表示位置を、2次元表示される透視画像に基づいて決定する。具体的には、第1の実施形態においては、透視画像と3次元血管画像とを3Dモニタに重畳表示するにあたり、透視画像上における注目点に対応する3次元血管画像データ上の点が視差ゼロとなるように、視差画像群を生成する。このようなことから、第1の実施形態によれば、2次元表示される透視画像と3次元表示される3次元血管画像とを適切に重畳表示することができ、2次元表示の医用画像と3次元表示の医用画像とを見易く表示することができる。
【0047】
例えば、医師は、ガイドワイヤの先端付近の血管を立体的に視認することができるので、重要部分の視認性を高めることができる。医師は、例えば血管の分岐部でガイドワイヤを進めるべき方向を把握することが容易になる。
【0048】
すなわち、3次元表示による「ガイドワイヤの進め先の決め易さ」に加えて、視差を与えない基準点は空間分解能も高くなるので、「この先、ガイドワイヤをどちらに進めればよいか」という重要部分の視認性も、より高まることになる。
【0049】
(第2の実施形態)
次に、第2の実施形態を説明する。第1の実施形態と異なる点は、主に視差画像群生成部26による視差画像群生成処理である。具体的には、第1の実施形態においては、『第1段階』として透視画像から注目点を抽出し、『第2段階』としてこの注目点に対応する3次元血管画像データ上の対応点を推定した。この点、第2の実施形態においては、透視画像上の注目点から対応点を推定するのではなく、直接対応点を特定する。なお、『第3の段階』は、第1の実施形態と同様である。また、その他、第1の実施形態において説明した追加機能等は、第2の実施形態においても同様に適用することができる。
【0050】
そこで、第2の実施形態において、直接対応点を特定する手法を説明する。この手法には、例えば、「2方向から撮影された透視画像を用いる手法C1」と、「ガイドワイヤなどの先端に配置された磁気を用いる手法C2」と、「操作者がモニタ16の表示面上で注目点を指定する手法C3」とがある。いずれの手法を組み合わせて適用することも可能である。
【0051】
まず、手法C1を説明する。第1の実施形態において、手法A1として、透視画像からガイドワイヤの先端座標を抽出する手法を説明した。手法C1において、視差画像群生成部26は、2方向から撮影された透視画像について、手法A1と同様に、ガイドワイヤの先端座標を抽出する。ここで、異なる2方向から撮影された透視画像についてそれぞれ先端座標が抽出されるので、視差画像群生成部26は、Epipolar理論を用いることで、2つの先端座標から3次元空間の座標を計算する。こうして、視差画像群生成部26は、計算した3次元空間の座標を、対応点の座標(x、y、z)として取得する。なお、視差画像群生成部26は、必要に応じて、取得した対応点の座標(x、y、z)を、3次元血管画像データの座標系に座標変換すればよい。
【0052】
次に、手法C2を説明する。例えばアブレーション治療時などには「electro-mappingシステム」と呼ばれるシステムが多く用いられる。「electro-mappingシステム」は、ガイドワイヤなどの先端に配置された磁気を用いて、寝台上に発生させた磁場の中で3次元空間の座標を取得するものである。この場合には、視差画像群生成部26は、「electro-mappingシステム」によって取得された3次元空間の座標を、対応点の座標(x、y、z)として取得すればよい。なお、視差画像群生成部26は、必要に応じて、取得した対応点の座標(x、y、z)を、3次元血管画像データの座標系に座標変換すればよい。
【0053】
次に、手法C3を説明する。例えば、奥行き方向の位置合わせを行わない段階で、モニタ16に3次元血管画像が3次元表示されている場合に、操作者がモニタ16の表示面上で注目点を指定したとする。この場合、視差画像群生成部26は、操作部21を介して操作者により指定された視差画像群上の点を3次元血管画像データ上で特定し、その座標を対応点の座標(x、y、z)として取得する。
【0054】
(第3の実施形態)
次に、第3の実施形態を説明する。第1及び第2の実施形態においては、3次元血管画像データ全体の3次元血管画像を立体ロードマップ画像として表示していたが、実施形態はこれに限られるものではない。例えば、3次元血管画像データのうち、一部のみの3次元血管画像を表示してもよい。例えば、3次元血管画像データのうち、注目点近傍のみの3次元血管画像を表示してもよい。
【0055】
図11〜図13は、第3の実施形態における視差画像群の生成を説明するための図である。なお、図11及び図12において上段の2図に対応する下段の2図は、いずれも、上段に示された3次元血管画像データを横方向からみた図である。また、図11及び図12において、注目点は、表示面の奥から手前方向に移動している(図11及び図12において黒線矢印を参照)。
【0056】
この場合、視差画像群生成部26は、例えば、図11に示すように、注目点前後のある一定の幅の領域の3次元血管画像データのみを用いて視差画像群を生成すればよい。注目点が表示面の奥から手前方向に移動した場合には、図11の(B)に示すように、一定の幅の領域も追従して移動する。あるいは、表示制御部27が、視差画像群生成部26から送られた視差画像群のうち、注目点前後のある一定の幅の領域に相当する画像のみ描出されるように、表示を制御してもよい。なお、図11に示すような矩形の領域に限られず、例えば、注目点を中心とした球形の領域などであってもよい。
【0057】
また、視差画像群生成部26は、例えば、図12に示すように、注目点を基準に、注目点の進行方向の領域の3次元血管画像データのみを用いて視差画像群を生成すればよい。注目点が表示面の奥から手前方向に移動した場合には、図12の(B)に示すように、視差画像群の生成に用いられる領域が徐々に少なくなる。あるいは、表示制御部27が、視差画像群生成部26から送られた視差画像群のうち、注目点の進行方向の領域に相当する画像のみ描出されるように、表示を制御してもよい(進行方向とは反対の不要な領域は表示されない)。なお、図12に示すような矩形の領域に限られず、例えば、注目点を中心とした球形の領域などであってもよい。
【0058】
また、視差画像群生成部26は、例えば、図13に示すように、治療計画線の近傍領域の3次元血管画像データのみを用いて視差画像群を生成してもよい。治療計画線は、上述したように、例えば医師が「ここの血管を治療する」と予め描いたものである。また、治療計画線は、ほぼ血管に沿って描かれるものである。そこで、視差画像群生成部26は、例えば、図13に示すように、3次元血管画像データのうち、治療計画線を中心とした円筒領域(例えば治療計画線を中心軸とする直径2〜3cmの円筒領域)のみを用いて視差画像群を生成してもよい。
【0059】
このように、注目点近傍や治療計画線の近傍のみの3次元血管画像を表示することにより、重要部分以外の画像が観察者の目に入らなくなる結果、重要部分の視認性も、更に高まることになる。
【0060】
(第4の実施形態)
次に、第4の実施形態を説明する。上述した実施形態においては、2次元表示される医用画像として「X線画像」を例に挙げて説明し、3次元表示される3次元医用画像データとして、X線診断装置やX線CT装置によって予め収集された「3次元血管画像データ」を例に挙げて説明した。しかしながら、実施形態はこれに限られるものではない。以下に説明する第4の実施形態においては、2次元表示される医用画像として「超音波画像」を想定し、3次元表示される3次元医用画像データとして、X線CT装置やMRI(Magnetic Resonance Imaging)装置によって予め収集された「3次元医用画像データ」を想定する。なお、上述した実施形態において説明した各種処理や追加機能等は、第4の実施形態においても同様に適用することができる。
【0061】
図14は、第4の実施形態に係る超音波診断装置200の構成例を説明するための図である。第4の実施形態において、医用画像表示装置である超音波診断装置200は、他の医用画像診断装置300(例えば、X線CT装置やMRI装置)から3次元医用画像データを取得し、取得した3次元医用画像データから生成した視差画像群と、リアルタイムに収集する2次元の超音波画像とを、モニタ213上に並べて表示する。具体的には、図14に示すように、超音波診断装置200は、装置本体210と、超音波プローブ211と、操作部212と、モニタ213とを備える。
【0062】
超音波プローブ211は、複数の圧電振動子を有する。圧電振動子は、後述する送受信部220から供給される駆動信号に基づき超音波を発生する。また、圧電振動子は、被検体からの反射波を受信して電気信号に変換する。操作部212は、トラックボール、スイッチ、ボタン、タッチコマンドスクリーン等であり、超音波診断装置200に対する各種操作の入力を操作者から受け付ける。モニタ213は、上述した実施形態のモニタ16と同様、観察者が画像を立体視することができる3Dモニタである。例えば、モニタ213は、シャッター方式によって画像を3次元表示する。
【0063】
ここで、第4の実施形態における超音波プローブ211は、磁気センサーを有する。この磁気センサーは、図示しないインタフェースを介して位置情報取得装置400に接続される。また、この磁気センサーは、位置情報取得装置400のトランスミッター(図示を省略)を原点として形成された3次元の磁場を検出し、検出した磁場の情報を信号に変換し、変換した信号を位置情報取得装置400に出力する。位置情報取得装置400は、磁気センサーから受信した信号に基づいて、トランスミッターを原点とする3次元空間における磁気センサーの座標及び向きを算出し、算出した座標及び向きを制御部260に送る。
【0064】
装置本体210は、送受信部220と、Bモード・ドプラ処理部230と、超音波画像生成部240と、医用画像データ記憶部250と、制御部260と、3次元医用画像データ取得部270と、視差画像群生成部280と、表示制御部290とを有する。
【0065】
送受信部220は、トリガ発生回路、遅延回路、及びパルサ回路等を有し、超音波プローブ211に駆動信号を供給する。また、送受信部220は、アンプ回路、A(Analog)/D(Digital)変換器、加算器等を有し、超音波プローブ211が受信した反射波信号に対して各種処理を行い、反射波データを生成する。
【0066】
Bモード・ドプラ処理部230は、送受信部220から受信した反射波データに対して対数増幅、包絡線検波処理等を行い、信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。また、Bモード・ドプラ処理部230は、受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の移動体情報を多点について抽出したデータ(ドプラデータ)を生成する。
【0067】
超音波画像生成部240は、Bモード・ドプラ処理部230によって生成されたBモードデータやドプラデータから超音波画像を生成する。具体的には、超音波画像生成部240は、超音波スキャンの走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)することで、Bモードデータやドプラデータから表示用の超音波画像(Bモード画像やドプラ画像)を生成する。
【0068】
医用画像データ記憶部250は、3次元医用画像データ取得部270によって他の医用画像診断装置300から取得された3次元医用画像データ等を記憶する。制御部260は、超音波診断装置200の全体制御を行う。3次元医用画像データ取得部270は、3次元医用画像データを、他の医用画像診断装置300から、直接、あるいは、ネットワーク経由、あるいは、操作者の入力等を介して取得する。
【0069】
視差画像群生成部280は、3次元医用画像データから、視差画像群である右眼画像及び左眼画像を生成する。なお、視差画像群生成部280による視差画像群生成処理は、第1の実施形態における視差画像群生成部26による視差画像群生成処理と同様である。すなわち、視差画像群生成部280は、超音波画像から注目点(例えば、超音波画像に描出された穿刺針の先端等)を抽出し、この注目点に対応する3次元医用画像データ上の対応点を推定し、推定した対応点が基準点と一致するように視差画像群を生成する。
【0070】
ここで、超音波画像から抽出された注目点に対応する3次元医用画像データ上の対応点を推定するには、他の医用画像診断装置300にて収集された3次元医用画像データと、超音波画像との座標系が関連付けられていることが前提となる。この座標系の関連付けは、3次元医用画像データの3軸と、超音波プローブ211の磁場座標系の3軸との軸合わせに相当する。すなわち、例えば、まず、磁気センサーが取り付けられた超音波プローブ211を被検体に対して垂直にあて、その状態でセットボタンを押下することで、そのときの磁気センサーの向きを垂直としてセットする。次に、3次元医用画像データに描出された特徴部分と同一の特徴部分が描出された超音波画像を選択して、再度セットボタンを押下することで、そのときの磁気センサーの座標と、3次元医用画像データの座標とを関連付ける。特徴部分としては、例えば、血管や、剣状突起等が用いられる。こうして、3次元医用画像データと超音波画像との座標が関連付けられ、超音波画像から抽出された注目点の座標から、3次元医用画像データ上の対応点の座標を推定することができる。
【0071】
表示制御部290は、視差画像群と超音波画像とを、モニタ213に並べて表示する。なお、表示制御部290は、超音波画像については、例えば、右眼画像と左眼画像とを同一にすることで、2次元表示することができる。例えば、表示制御部290は、モニタ213の左半分に、視差画像群であるCT画像を3次元表示し、右半分に、リアルタイムに収集される超音波画像を2次元表示する。すなわち、表示制御部290は、右眼画像を表示するタイミングにおいては、超音波画像生成部240によって生成された超音波画像と、視差画像群生成部280から送られた右眼画像とを、モニタ213に並べて表示する。一方、表示制御部290は、左眼画像を表示するタイミングにおいては、超音波画像生成部240によって生成された超音波画像と、視差画像群生成部280から送られた左眼画像とを、モニタ213に並べて表示する。
【0072】
なお、第4の実施形態においては、視差画像群と超音波画像とをモニタ213に並べて表示する例を説明したが、実施形態はこれに限られるものではなく、第1〜第3の実施形態において説明したように、視差画像群と超音波画像とを重畳表示してもよい。
【0073】
(その他の実施形態)
上述した第1〜第4の実施形態は一例に過ぎず、これらの実施形態は、その他の様々な形態で実施されることが可能である。
【0074】
第1〜第3の実施形態において、透視画像と3次元血管画像との重畳表示を説明したが、例えば、透視画像をグレースケールで表示し、3次元血管画像をカラーで表示してもよい。すなわち、2次元表示されるX線画像をグレースケールで表示し、3次元表示される視差画像群をカラーで表示し、これらを重畳表示してもよい。第4の実施形態においても同様であり、例えば、超音波画像をグレースケールで表示し、3次元血管画像をカラーで表示してもよい。
【0075】
また、上述した実施形態においては、「注目点」として、例えば、ガイドワイヤやカテーテルの先端位置、ステント、バルーン、弁の位置等を例に挙げて説明したが、実施形態はこれに限られるものではない。「注目点」には、例えば、胃カメラや、体腔内プローブ(例えば、経食道プローブ、経直腸プローブ等)、穿刺針等の先端を含む。なお、「注目点」は「特徴点」とも称される。
【0076】
また、上述した実施形態においては、「X線画像」と「X線診断装置やX線CT装置によって収集された3次元血管画像データ」とを重畳表示する例や、「超音波画像」と「X線CT装置やMRI装置によって収集された3次元医用画像データ」とを並べて表示する例を説明したが、実施形態はこれに限られるものではない。すなわち、実施形態は、撮影対象や、医用画像データの収集に用いられた医用画像診断装置に限定されるものではなく、ある対象物が撮影された医用画像を2次元表示するとともに、同じ対象物が撮影された3次元医用画像データを3次元表示する場合(重畳表示、あるいは並列表示を含む)に、同様に適用することができる。
【0077】
また、上述した実施形態においては、リアルタイムに2次元表示される「透視画像」やリアルタイムに2次元表示される「超音波画像」を想定して説明したが、実施形態はこれに限られるものではない。2次元表示される医用画像は、必ずしもリアルタイムに表示される動画像である必要はなく、過去に収集された医用画像や静止画像であってもよい。
【0078】
また、上述した実施形態においては、X線診断装置や超音波診断装置等の医用画像診断装置である医用画像表示装置にて、視差画像群の表示位置の決定や視差画像群の生成、医用画像と視差画像群との重畳表示や並列表示等が行われる例を説明したが、実施形態はこれに限られるものではない。例えば、ワークステーション、PACS(Picture Archiving and Communication System)のビューワ、電子カルテシステムの各種装置等の医用画像表示装置にて、上述した処理が行われてもよい。この場合、医用画像表示装置は、医用画像診断装置から、2次元表示される医用画像や、3次元表示される3次元医用画像データ等を、直接、あるいは、ネットワーク経由、あるいは、操作者の入力等を介して取得すればよい。
【0079】
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0080】
また、上述の実施形態で説明した表示制御方法は、あらかじめ用意された表示制御プログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。この画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0081】
以上述べた少なくとも一つの実施形態のX線診断装置によれば、2次元表示される医用画像と3次元表示される医用画像とを適切に重畳表示することができる。
【0082】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0083】
100 X線診断装置
16 モニタ
24 医用画像データ収集部
26 視差画像群生成部
27 表示制御部
【特許請求の範囲】
【請求項1】
3次元医用画像データから生成された視差画像群を3次元表示する表示部と、
前記表示部に3次元表示される前記視差画像群の表示位置であって前記表示部の表示面に対する奥行き方向の表示位置を決定し、決定した表示位置となるように前記3次元医用画像データから前記視差画像群を生成する生成部と、
前記表示部に前記視差画像群を3次元表示するとともに前記視差画像群とは異なる医用画像を2次元表示する表示制御部と
を備えたことを特徴とする医用画像表示装置。
【請求項2】
前記生成部は、前記視差画像群の表示位置を、前記表示部に2次元表示される医用画像に基づいて決定することを特徴とする請求項1に記載の医用画像表示装置。
【請求項3】
前記生成部は、前記医用画像上における特徴点に対応する前記3次元医用画像データ上の対応点が、前記視差画像群において視差がゼロとなる基準点の近傍に位置付けられるように、前記3次元医用画像データから前記視差画像群を生成することを特徴とする請求項2に記載の医用画像表示装置。
【請求項4】
前記生成部は、前記医用画像上における特徴点に対応する前記3次元医用画像データ上の対応点が、前記視差画像群において視差がゼロとなる基準点と一致するように、前記3次元医用画像データから前記視差画像群を生成することを特徴とする請求項3に記載の医用画像表示装置。
【請求項5】
前記生成部は、前記医用画像上における特徴点に対応する前記3次元医用画像データ上の対応点を求め、求めた対応点に従って前記3次元医用画像データに対するボリュームレンダリング処理を行うことで、前記視差画像群を生成することを特徴とする請求項3又は4に記載の医用画像表示装置。
【請求項6】
前記生成部は、前記医用画像に対して画像処理を施すことで該医用画像から器具の像を抽出し、抽出した像の形状に基づき該器具の先端を抽出することで、前記医用画像上における特徴点を求めることを特徴とする請求項3〜5のいずれか一つに記載の医用画像表示装置。
【請求項7】
前記生成部は、前記表示部の表示面上で操作者の指定を受け付けることで、前記医用画像上における特徴点を求めることを特徴とする請求項3〜5のいずれか一つに記載の医用画像表示装置。
【請求項8】
前記3次元医用画像データ及び前記医用画像は、X線診断装置によって収集されたものであって、
前記生成部は、前記3次元医用画像データについて、前記医用画像上における特徴点の座標とX線源の座標とを結ぶ直線上を探索し、該直線と該3次元医用画像データ内の管腔領域との交差点を特定することで、前記特徴点に対応する前記3次元医用画像データ上の対応点を求めることを特徴とする請求項6又は7に記載の医用画像表示装置。
【請求項9】
前記3次元医用画像データ及び前記医用画像は、X線診断装置によって収集されたものであって、
前記生成部は、異なる2方向から撮影された医用画像それぞれに対して画像処理を施すことで各医用画像から器具の像を抽出し、抽出した像の形状に基づき該器具の先端の座標を各医用画像から求めることで各医用画像上における特徴点を求め、各医用画像から求めた先端の座標それぞれを用いて、各特徴点に対応する前記3次元医用画像データ上の対応点を求めることを特徴とする請求項3〜5のいずれか一つに記載の医用画像表示装置。
【請求項10】
前記生成部は、前記医用画像に描出される器具の先端に配置された磁気を用いて該先端の3次元空間の座標を取得し、取得した3次元空間の座標に基づいて、前記特徴点に対応する前記3次元医用画像データ上の対応点を求めることを特徴とする請求項3〜5のいずれか一つに記載の医用画像表示装置。
【請求項11】
前記生成部は、前記表示部の表示面上で操作者の指定を受け付けることで、前記特徴点に対応する前記3次元医用画像データ上の対応点を求めることを特徴とする請求項3〜5のいずれか一つに記載の医用画像表示装置。
【請求項12】
前記生成部は、前記医用画像上における特徴点を追従し、特徴点の移動に応じて前記視差画像群を随時生成することを特徴とする請求項1〜11のいずれか一つに記載の医用画像表示装置。
【請求項13】
3次元医用画像データから生成された視差画像群を3次元表示する表示部と、
前記表示部に2次元表示されるX線画像を収集する収集部と、
前記表示部に3次元表示される前記視差画像群の表示位置であって前記表示部の表示面に対する奥行き方向の表示位置を決定し、決定した表示位置となるように前記3次元医用画像データから前記視差画像群を生成する生成部と、
前記X線画像と前記視差画像群とを前記表示部に重畳表示する表示制御部と
を備えたことを特徴とするX線診断装置。
【請求項1】
3次元医用画像データから生成された視差画像群を3次元表示する表示部と、
前記表示部に3次元表示される前記視差画像群の表示位置であって前記表示部の表示面に対する奥行き方向の表示位置を決定し、決定した表示位置となるように前記3次元医用画像データから前記視差画像群を生成する生成部と、
前記表示部に前記視差画像群を3次元表示するとともに前記視差画像群とは異なる医用画像を2次元表示する表示制御部と
を備えたことを特徴とする医用画像表示装置。
【請求項2】
前記生成部は、前記視差画像群の表示位置を、前記表示部に2次元表示される医用画像に基づいて決定することを特徴とする請求項1に記載の医用画像表示装置。
【請求項3】
前記生成部は、前記医用画像上における特徴点に対応する前記3次元医用画像データ上の対応点が、前記視差画像群において視差がゼロとなる基準点の近傍に位置付けられるように、前記3次元医用画像データから前記視差画像群を生成することを特徴とする請求項2に記載の医用画像表示装置。
【請求項4】
前記生成部は、前記医用画像上における特徴点に対応する前記3次元医用画像データ上の対応点が、前記視差画像群において視差がゼロとなる基準点と一致するように、前記3次元医用画像データから前記視差画像群を生成することを特徴とする請求項3に記載の医用画像表示装置。
【請求項5】
前記生成部は、前記医用画像上における特徴点に対応する前記3次元医用画像データ上の対応点を求め、求めた対応点に従って前記3次元医用画像データに対するボリュームレンダリング処理を行うことで、前記視差画像群を生成することを特徴とする請求項3又は4に記載の医用画像表示装置。
【請求項6】
前記生成部は、前記医用画像に対して画像処理を施すことで該医用画像から器具の像を抽出し、抽出した像の形状に基づき該器具の先端を抽出することで、前記医用画像上における特徴点を求めることを特徴とする請求項3〜5のいずれか一つに記載の医用画像表示装置。
【請求項7】
前記生成部は、前記表示部の表示面上で操作者の指定を受け付けることで、前記医用画像上における特徴点を求めることを特徴とする請求項3〜5のいずれか一つに記載の医用画像表示装置。
【請求項8】
前記3次元医用画像データ及び前記医用画像は、X線診断装置によって収集されたものであって、
前記生成部は、前記3次元医用画像データについて、前記医用画像上における特徴点の座標とX線源の座標とを結ぶ直線上を探索し、該直線と該3次元医用画像データ内の管腔領域との交差点を特定することで、前記特徴点に対応する前記3次元医用画像データ上の対応点を求めることを特徴とする請求項6又は7に記載の医用画像表示装置。
【請求項9】
前記3次元医用画像データ及び前記医用画像は、X線診断装置によって収集されたものであって、
前記生成部は、異なる2方向から撮影された医用画像それぞれに対して画像処理を施すことで各医用画像から器具の像を抽出し、抽出した像の形状に基づき該器具の先端の座標を各医用画像から求めることで各医用画像上における特徴点を求め、各医用画像から求めた先端の座標それぞれを用いて、各特徴点に対応する前記3次元医用画像データ上の対応点を求めることを特徴とする請求項3〜5のいずれか一つに記載の医用画像表示装置。
【請求項10】
前記生成部は、前記医用画像に描出される器具の先端に配置された磁気を用いて該先端の3次元空間の座標を取得し、取得した3次元空間の座標に基づいて、前記特徴点に対応する前記3次元医用画像データ上の対応点を求めることを特徴とする請求項3〜5のいずれか一つに記載の医用画像表示装置。
【請求項11】
前記生成部は、前記表示部の表示面上で操作者の指定を受け付けることで、前記特徴点に対応する前記3次元医用画像データ上の対応点を求めることを特徴とする請求項3〜5のいずれか一つに記載の医用画像表示装置。
【請求項12】
前記生成部は、前記医用画像上における特徴点を追従し、特徴点の移動に応じて前記視差画像群を随時生成することを特徴とする請求項1〜11のいずれか一つに記載の医用画像表示装置。
【請求項13】
3次元医用画像データから生成された視差画像群を3次元表示する表示部と、
前記表示部に2次元表示されるX線画像を収集する収集部と、
前記表示部に3次元表示される前記視差画像群の表示位置であって前記表示部の表示面に対する奥行き方向の表示位置を決定し、決定した表示位置となるように前記3次元医用画像データから前記視差画像群を生成する生成部と、
前記X線画像と前記視差画像群とを前記表示部に重畳表示する表示制御部と
を備えたことを特徴とするX線診断装置。
【図1】
【図2】
【図4】
【図5】
【図6】
【図7】
【図11】
【図12】
【図13】
【図14】
【図3】
【図8】
【図9】
【図10】
【図2】
【図4】
【図5】
【図6】
【図7】
【図11】
【図12】
【図13】
【図14】
【図3】
【図8】
【図9】
【図10】
【公開番号】特開2013−59609(P2013−59609A)
【公開日】平成25年4月4日(2013.4.4)
【国際特許分類】
【出願番号】特願2012−163877(P2012−163877)
【出願日】平成24年7月24日(2012.7.24)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
【公開日】平成25年4月4日(2013.4.4)
【国際特許分類】
【出願日】平成24年7月24日(2012.7.24)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
[ Back to top ]