画像処理装置
【課題】複雑な構造であっても対応点の指定精度を向上させ得ること。
【解決手段】画像処理装置は、同一対象に関する撮影角度の異なる複数の医用画像のデータを記憶する記憶部117と、記憶部から読み出された医用画像のデータを表示する表示部127と、複数の医用画像を動画像として再生させるとともに、医用画像の再生を一時的に停止させるために、記憶部と表示部とを制御する制御部129とを具備する。
【解決手段】画像処理装置は、同一対象に関する撮影角度の異なる複数の医用画像のデータを記憶する記憶部117と、記憶部から読み出された医用画像のデータを表示する表示部127と、複数の医用画像を動画像として再生させるとともに、医用画像の再生を一時的に停止させるために、記憶部と表示部とを制御する制御部129とを具備する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影角度の異なる複数の医用画像から血管等の立体画像を生成し表示する画像処理装置に関する。
【背景技術】
【0002】
図19に示すように、撮影角度の異なる少なくとも2枚の医用画像、典型的にはX線画像から解剖学的に同一点を複数指定し、それら位置関係から3次元の血管像を構築する技術がある。これら2枚のX線画像は図20に示すように心臓の同じ位相であることが望ましい。心拍位相が異なると、心臓の動きにともない特徴部位の3次元位置が異なるため、幾何学的関係を得る大前提が崩れてしまい、立体構築が正確におこなえない。
【0003】
撮像方法としては、主に次の3手法が知られている。
a) 1方向から撮像し、撮像系を回転させ、異なる時刻にもう1方向から撮像する。
b) 図21A、図21Bに示すように、撮像系を連続回転させながら繰り返し撮像する。
c) 2系統の撮像系を有するバイプレーンシステムを用い、2枚を同時刻に撮像する。
【0004】
方法c)は同時刻の撮像が可能なため最も好ましいが、バイプレーンシステムを保有していない施設では実現不可能である。方法a)は最も一般的な撮像法である。
【0005】
b)は近年注目されるようになった撮像法であり、血管の立体構造と、動きが同時に観察できることから、注目されている。多くの画像から好適な2枚を抽出できる。抽出した2枚の画像を図20に例示するように同画面に並べて表示し、対応する点を指定する。
【0006】
この方法b)では、抽出した画像によっては血管の分岐が重なってしまい、対応部位を指定することが困難な場合がある。特に左冠状動脈のように血管が複雑に分岐走行する場合には、重なりが頻繁に発生してしまう。対応点の指定に誤差が生ずると、空間幾何学関係の構築と誤差となり、立体表示画像の精度が低下してしまう。が参考される。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】米国特許第6501848号明細書
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の目的は、複雑な構造であっても対応点の指定精度を向上させ得ることにある。
【課題を解決するための手段】
【0009】
本発明の画像処理装置は、被検体に関する複数の医用画像のデータを記憶する記憶部と、前記記憶部から読み出された前記医用画像のデータを表示する表示部と、前記複数の医用画像を動画像として再生表示させるとともに、前記複数の医用画像の再生フレームレートを撮影フレームレートと略等価なフレームレートと、前記撮影フレームレートより低いフレームレートとで変化させるために、前記記憶部を制御する制御部とを具備することを特徴とする。
【図面の簡単な説明】
【0010】
【図1】図1は発明の実施形態による作用効果の概略説明図である。
【図2】図2は実施形態によるX線診断装置の構成を示す図である。
【図3】図3は図2のX線診断装置の撮影部の側面図である。
【図4】図4は本実施形態による再生動作手順を示すフローチャートである。
【図5A】図5Aは図4の手順を模式的に示す図である。
【図5B】図5Bは図5Aの動作をフレームレートの変化という観点で示す図である。
【図5C】図5Cは図5Aの他の動作をフレームレートの変化という観点で示す図である。
【図6】図6は図4のS05のクリックマーカを示す図である。
【図7】図7は図4のS08の補足図である。
【図8】図8は本実施形態による他の再生動作手順を示すフローチャートである。
【図9】図9は本実施形態による他の再生ループを示す図である。
【図10】図10は本実施形態による他の再生動作手順を示すフローチャートである。
【図11】図11は本実施形態による他の再生動作手順を示すフローチャートである。
【図12】図12は本実施形態による他の再生動作手順を示すフローチャートである。
【図13】図13は本実施形態による他の再生動作手順を示すフローチャートである。
【図14】図14は本実施形態による他の再生動作手順を示すフローチャートである。
【図15】図15は図14の全体補足図である。
【図16】図16は本実施形態による他の再生動作手順を示すフローチャートである。
【図17A】図17Aは本実施形態による他の画像表示例を示す図である。
【図17B】図17Bは本実施形態による他の画像表示例を示す図である。
【図18】図18は本実施形態による他の画像表示例を示す図である。
【図19】図19は従来の特徴点指定操作の補足図である。
【図20】図20は従来の特徴点指定操作に際して表示される画像を示す図である。
【図21A】図21Aは従来の回転撮影を示す図である。
【図21B】図21Bは従来の回転撮影を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の実施形態による画像処理装置を説明する。なお、ここでは、画像処理装置はX線撮影装置に組み込まれるものとして説明するが、もちろん単独で構成可能である。また、本実施例の画像処理装置は、少なくとも2方向から撮影した画像から3次元画像を再構成する機能を有する装置であり、画像の種類等については特に限定するものではない。
【0012】
本実施形態では、入り組んだ血管等の複雑な構造であっても、画像間で解剖学的に同一の点(対応点)を画像毎に手動で指定するに際してその指定精度を向上させるための独自の特徴を有している。図1に示すように、回転動画像を動画像として撮影時と同じフレームレート(等速)で再生表示し、所定の規則として典型的には特定の心拍位相(例えば80%)に対応するフレームにおいて一時的に停止させ、静止画として表示させる。オペレータが特徴部位をクリックしたら、再び動画像として再生表示を再開し、同心拍位相のフレームおいて一時停止させ、オペレータの特徴部位の指定を待機する。人間は動画像では特徴的な部位を追跡していく能力に優れている。単に静止画として対応する2枚を並べて表示するよりも、それら2枚の画像の間を又はその前後を含めて動画像としてつなぐことにより特徴的な部位の動きを目視で追従することが容易になる。つまり、回転動画像を見ながら特徴部位を目で追っていけるので、例えば血管が重なってしまった場合なども対応する特徴部位指定の精度が、静止画表示の場合より向上し、結果として立体画像の画質向上が期待できる
ここで、以下説明で使用する用語について定義する。
心臓血管立体表示;血管を楕円や多角形と近似(モデル化)して、少数方向の投影情報から立体構築をモデル化するもの。
心拍位相;心臓心拍の周期性を0〜100%の数値であらわしたもの。通常は心電図のR波のタイミングを0とし、次のR波の他ミングを100とし、その間を100等分して計算する。
同心拍位相;心拍位相が同じ(近い)こと。典型的には検出器は30fps(frames/sec)程度のフレームレートで撮像し、心拍を1拍/秒(60拍/分)とすると、30フレーム/拍程度の画像が得られる。よって100/30=3.33%程度の時間分解能で心拍位相を調べることができる。
拡張末期;心拍運動のうち、心臓が拡張して、停止しているように見える時相である。上記心拍位相では70%〜80%程度のあたりが拡張末期と呼ばれる。
回転撮影;ここで使う「回転」は被検体のまわりに撮像系(X線管と検出器のペア)を回転させること。回動ともいう。一般的には、30°/秒でCアームが回転する。1回の撮影で180°を要すると仮定すると、1回の撮影あたり6秒を要する。心拍が1拍/秒、1°ごとに1枚の画像を撮影をすると、1回の撮影あたり、6拍分の医用画像、典型的にはX線画像データとして、180枚のX線画像が収集される。
2D;2次元画像。X線診断装置で得られる画像は2D画像である。
3D;3次元画像。
バイプレーン;撮像系を2系統備えるX線診断装置。2方向から同時撮像が可能である。
【0013】
ECG;心電図。
特徴部位;血管の分岐部や狭窄など、対象の中の特徴的な形態を有する部位をいう。 特徴点;特徴部位上に指定した点。
ループ再生;時間的に連続する一連の画像群を動画像として再生し、それを繰り返すことをいう。撮像後に画像観察する場合、その中の90フレームを何度も繰り返して(ループさせて)見ることが多い。
【0014】
呼吸;呼吸により被検体が動く。呼吸には周期性がある。そこで被験者にセンサーをとりつけて呼吸運動を把握しようとする。MRIの場合は、鼻にセンサーをつけることがある。
IVUS;血管内超音波(Intra-vascular ultrasound)。アイバスと発音する。
3次元画像データ;次のA)、B)の2種を含む。A)種の3次元画像データは、主にCTやMRIにより発生する。X線診断装置でもボリューム再構成されたデータは当該A)種の3次元画像データに該当する。A)種の3次元画像データは、3次元領域内全てのボクセルについてそれぞれ値を有する。具体的には例えば512×512×512の3次元領域では、134,217,728個の値が与えられる。B)種の3次元画像データは、3次元領域を定義するベクトル量(ベクトルデータ)として与えられる。具体的には例えば血管の中心線座標と直径とから構成される。表示装置は中心線座標と直径とに対応する領域を塗りつぶす。B)種の3次元画像データのデータ量は、A)種の3次元画像データのデータ量より断然少ない。
【0015】
図2は本実施例に係る画像処理装置を装備したX線撮影装置を示している。X線撮影装置は、図3に示すガントリを有する。X線管112と、X線管112に被検体Pを挟んで正対するX線検出器114とがCアーム116に搭載される。X線検出器114は、典型的には、入射X線を直接的又は間接的に電荷に変換する複数の検出素子(画素)が2次元状に配列されてなる固体平面検出器である。X線管112は例えば床置型スタンド120に2軸回転自在に支持されたCアーム116の一端に取り付けられ、X線検出器114はCアーム116の他端に取り付けられる。
【0016】
本実施例に係る画像処理装置を装備したX線撮影装置は、被検体の心電図を測定する心電計(ECG)118、架台制御部111を有する。架台制御部111は、インタフェース121を介して接続された操作卓123からの操作者指示にしたがってCアーム116の撮影角度を任意に制御するとともに、その撮影角度に関するデータを図示しないセンサから取得する。撮影角度に関するデータは、X線制御部113からの管電圧印加によりX線管112から発生されるX線に同期してX線検出器114から検出器制御部115を介して繰り返し発生されるX線画像データ及び各X線画像撮影時の心拍位相データとともに、画像記憶部117に記憶される。
【0017】
図21に示したような回転撮影では撮影角度が連続的に変化する複数のX線画像が例えば30fpsで略180°の角度範囲にわたって収集される。この撮影期間は典型的には10心拍程度の時間長を有する。
【0018】
表示部127は、CRT等の表示装置であり、画像表示制御部125を介して接続される。血管抽出部119はX線画像データから、例えば閾値処理により造影された血管の像を抽出する。
【0019】
再生制御部129は、画像記憶部117に記憶されたX線画像データの読み出しを制御して表示部127の動画像表示を制御する。やや具体的には、再生制御部129は、画像記憶部117に記憶されたX線画像データを動画像として撮影時のフレームレート(撮影フレームレート)と等価な30fpsのフレームレート(再生フレームレート)で再生するとともに、その再生期間中において複数のX線画像の中で所定の規則に対応する少なくとも2枚のX線画像が表示された時点でその画像の表示を一時的に停止させる。典型的には、再生制御部129は、特定の心拍位相に対応するとともに、撮影角度の差が略90度である少なくとも2枚のX線画像の表示を一時的に停止させる。なお、再生制御部129は、複数のX線画像を撮影順序と同じ順方向に繰り返し再生(ループ再生)をさせる。
【0020】
立体画像再構成部131は、少なくとも2枚のX線画像上で操作者により指定された複数の特徴点の位置関係に基づいて、各X線画像から血管抽出部119により抽出された血管像の立体画像データを再構成する。
【0021】
次に、再生制御部129による特徴点指定操作を支援するための動画像再生制御について図4、図5Aを参照して説明する。図4に示すように、記憶されたX線画像データファイルの一覧からオペレータが指示した動画像ファイル(静止画像群)を呼び出し再生表示する(S01)。この動画像は90フレームの静止画像の群からなると仮定する。1ループ目は90枚のX線画像を撮影時のレートと同じフレームレート(再生速度(等倍))で一時停止することなく連続的に再生する(S02)。引き続き2ループ目で90枚のX線画像を1枚目から順方向に再生を開始し、最初に到来する特定の心拍位相として例えば心臓拡張末期の心拍位相(例えば80%)に対応するX線画像で再生表示を一時的に停止する(S03、S04)。図6に示すように、オペレータが操作卓123のマウスを操作して当該一時停止されたX線画像上で特徴部位をクリックする(S05)。クリックした画像座標のデータは画像記憶部117又は図示しないメモリに格納される(S06)。クリックをトリガとして、1秒程度の所定のタイムラグを隔てて、再生表示を再開する(S07)。
【0022】
先に一時停止したX線画像と同じ心拍位相であって、先に一時停止したX線画像と撮影角度の差が図7に示すように略90°開いているX線画像で再生表示を一時的に停止する(S08)。実際には、先に一時停止したX線画像と撮影角度の差が90°±10°であるX線画像で再生表示が一時停止される。また、先に一時停止したX線画像と同じ心拍位相であっても、先に一時停止したX線画像と撮影角度の差が略90°から外れているX線画像の一時停止はスキップして、そのまま等倍での再生表示が継続される。
【0023】
オペレータが特徴部位一箇所をマウスクリックする(S09)。クリックした画像座標のデータを格納する(S10)。クリックを受け付けたら再生表示を再開し、S03に戻る。3ループ目では同様に一時停止再生するが、この時取得する座標は、先の特徴部位とは異なる第二の特徴部位座標としてメモリに格納する。所定数、少なくとも2ペアの特徴部位座標が取得されたら再生を終了し、血管抽出部119で抽出された血管領域に関して立体画像再構成部132で立体画像データが構築される。構築された血管の立体画像のデータは立体画像データ記憶部132に記憶される。
【0024】
なお、上記では、再生とその一時停止という観点で説明したが、再生が継続的になされ、そのフレームレートの変化という観点で発明を捉えることができる。図5Bは再生フレームレートの時間変化を示している。図5Bに示すように、撮影時とほぼ同じフレームレート(等速)で動画像として再生表示を開始する。特定の心拍位相(例えば80%)でその再生を一時的に停止され、特徴点がクリックされ、その後に等速再生を再開する。等速再生を停止してからクリックによって等速再生に復帰するまでの期間をΔt1、Δt2…とすると、再生フレームレートは、撮影時と同じフレームレートと、停止期間の逆数として得られる低フレームレート(1/Δt1,1/Δt2…)とで変化する。なお、図5Cに示すように、再生停止から一定時間経過(Δt)の後に自動的に再生に復帰する場合、再生フレームレートは、撮影時と同じフレームレートと、1/Δtとの間で変化する。
【0025】
このように再生/一時停止を繰り返すことで、人間の動画像に対する特徴的な部位を追跡していく能力を活用して、特徴部位を高精度で指定することができ、結果として立体画像の画質向上が期待できる
なお、特定の心拍位相は心臓拡張期である必要は無く、オペレータが指定する任意の心拍位相で良い。また、一回の一時停止で一の特徴点を指定すると説明したが、複数の特徴点を指定するようにしても良い。2個の場合は、2箇所でマウスクリックされたら、一時停止を自動的に終了して、所定のタイムラグ後に再生表示を自動的に再開する。また、マウスクリック後は自動再生開始しなくても、再生開始ボタンが押されたり、キーボードが押されたら再生開始させることでも良い。マウスでなくてもタッチパネルなど任意のデバイスでもよい。また、一時停止するX線画像の撮影角度差は略90°である必要性は無く、任意に指定することができる。ループ数(繰り返し再生回数)は任意であり、欲しい特徴部位のペアだけループを回す。例えばキーボードから特定キーが押されたら再生終了する。
【0026】
また、参照信号は心電波形信号に限らない。「画像上の特徴部位の周期的移動」として例えばX線画像を一方向に投影したラインイメージのピーク点の周期的な移動から同様に心拍位相を同定するようにしても良い。心拍位相に代えて、呼吸位相であっても良い。
【0027】
さらに、一時停止させるのは2方向(2フレーム)に限定する必要はなく、90フレームの中で所定規則を満たした3フレーム、またはそれ以上のX線画像で一時停止するようにしてもよい。また、撮影角度差の条件を除外して、単に特定位相、例えばすべての心臓拡張期(80%)で一時停止させてもよい。また、特定位相は単一である必要はなく、2種類以上、例えばすべての心臓拡張期(80%)とすべての心臓収縮期(15%)で一時停止させてもよい。
【0028】
特定の心拍位相は心臓拡張期(80%)を規定値としても良いし、事前に任意にオペレータが指定してもよいし、さらには図8に示すように2ループ目の再生時に、オペレータが手動で一時停止し(S11)、その心拍位相を特定位相として2ループ目以降で自動的に一時停止するようにしても良い(S12)。
【0029】
また、上述では、動画像を撮影順序と同じ順方向に再生し、それを繰り返すことを説明したが、図9に示すように、動画像を撮影順序と同じ順方向に再生し、続いて逆方向に再生し、このように再生方向を交互に繰り返すようにしても良い。この方法によると特徴部位が重なった場合も、両方向から動きが観察でき、人間は補間しようとするので、より精度があがる。
【0030】
S05やS09で特徴点をクリックし、2ループ目以降の再生に際しては、一時停止する画像上のクリックした場所にクリックマーカを表示するようにしても良い(図6に例示するように例えば白く表示する)。それにより、逆再生したときに、先にクリックした場所が正しくあっていたかどうかを確認しやすくなる。
【0031】
上述では、立体構築を目的とする特徴点指定操作について述べたが、単なる診断のための観察において利用してもよい。この場合は、一時停止解除(再生再開)をオペレーターから指示させてもよいし、図10に示すように、一時停止から所定時間(例えば5秒)が経過した時点で自動的に再生再開させてもよい(S13、S14)。
【0032】
心臓のように動く臓器ではなく、動きが小さい臓器の場合は、心拍信号に依存して一時停止させるのではなく、図11に示すように、撮影角度が所定の角度、例えば10°変化するごとに一時停止させるのもよい(S16)。この手法は、連続する2D画像に限らず、立体構築画像や3次元画像にも適応可能である。
【0033】
回転させて表示する画像データではなく、例えば頭部から足の先まで直線的にX線管112等を移動しながら撮影した画像データにおいては、図12に示すように、心臓等の特定の撮影位置、又は所定の長さ間隔、例えば10cmの移動ごとに一時停止させるものでもよい(S17)。
【0034】
ルーチンの「検査」では、病院ごとにあらかじめ観察する角度を決め、すべての患者さんで同じ観察角度からの撮像をしていることが多い。あらかじめの観察角度は装置に記憶させておくことができるようになっている(オートポジショニング機能)。そこで、図13に示すように、回転撮像データがプリセット角度の画像を含んでいる場合、その(メモリに記憶されている)角度で一時停止させるようにしてもよい(S18)。
【0035】
上述の説明では、特定の心拍位相で一時停止させるものであったが、心拍中の特定の期間に限り、その再生速度(再生フレームレート)を撮影フレームレートよりも低く(速く)するものでもよい。例えば図14、図15に示すように、例えば、A区間は収縮期を含む期間(70〜100%)とし、心臓の運動が比較的大きい期間とする。B区間を心臓拡張期を含む期間(0〜69%)とし、心臓の運動が比較的小さく、観察しやすい期間とする。A区間では、撮影時のレート(30fps)より低いレート(例えば20fps)で低速で再生し、心臓の運動が比較的小さいB区間では等倍速で再生する(S21、S22)。心臓の運動が大きいA区間ではゆっくりと再生させる。
【0036】
以上はX線診断装置で得られた画像の表示について述べてきたが、本実施形態はX線診断装置に限定しない。例えば、図17A、図17Bに示すように、血管内超音波装置(IVUS)での画像表示についても適応可能である。IVUSの一般的な使い方として、例えば1フレーム/秒の収集レートを仮定すると、血管内に入れた後、一定速度(例えば1mm/sec)で移動させて複数の2D超音波画像を表示する。よって超音波画像のフレームと移動距離の対応がとれている。そこで図16、図17Aに示すように、例えば20フレームおきに一時停止させると、2cmおきに一時停止させていることと等価となる(S23)。
【0037】
同様に、X線CTやMRIで得られた再構成画像を図18に示すように血管内で視点を移動しながらその前方視野を動画像表示するいわゆるフライスルー表示する場合にも、ある一定距離ごとに一時停止させることにより、距離感がわかりやすくなる効果がある。
【0038】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0039】
112…X線管、114…X線検出器、116…Cアーム、118…心電計(ECG)、111…架台制御部、121…インタフェース、123…操作卓、113…X線制御部、115…検出器制御部、117…画像記憶部。
【技術分野】
【0001】
本発明は、撮影角度の異なる複数の医用画像から血管等の立体画像を生成し表示する画像処理装置に関する。
【背景技術】
【0002】
図19に示すように、撮影角度の異なる少なくとも2枚の医用画像、典型的にはX線画像から解剖学的に同一点を複数指定し、それら位置関係から3次元の血管像を構築する技術がある。これら2枚のX線画像は図20に示すように心臓の同じ位相であることが望ましい。心拍位相が異なると、心臓の動きにともない特徴部位の3次元位置が異なるため、幾何学的関係を得る大前提が崩れてしまい、立体構築が正確におこなえない。
【0003】
撮像方法としては、主に次の3手法が知られている。
a) 1方向から撮像し、撮像系を回転させ、異なる時刻にもう1方向から撮像する。
b) 図21A、図21Bに示すように、撮像系を連続回転させながら繰り返し撮像する。
c) 2系統の撮像系を有するバイプレーンシステムを用い、2枚を同時刻に撮像する。
【0004】
方法c)は同時刻の撮像が可能なため最も好ましいが、バイプレーンシステムを保有していない施設では実現不可能である。方法a)は最も一般的な撮像法である。
【0005】
b)は近年注目されるようになった撮像法であり、血管の立体構造と、動きが同時に観察できることから、注目されている。多くの画像から好適な2枚を抽出できる。抽出した2枚の画像を図20に例示するように同画面に並べて表示し、対応する点を指定する。
【0006】
この方法b)では、抽出した画像によっては血管の分岐が重なってしまい、対応部位を指定することが困難な場合がある。特に左冠状動脈のように血管が複雑に分岐走行する場合には、重なりが頻繁に発生してしまう。対応点の指定に誤差が生ずると、空間幾何学関係の構築と誤差となり、立体表示画像の精度が低下してしまう。が参考される。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】米国特許第6501848号明細書
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の目的は、複雑な構造であっても対応点の指定精度を向上させ得ることにある。
【課題を解決するための手段】
【0009】
本発明の画像処理装置は、被検体に関する複数の医用画像のデータを記憶する記憶部と、前記記憶部から読み出された前記医用画像のデータを表示する表示部と、前記複数の医用画像を動画像として再生表示させるとともに、前記複数の医用画像の再生フレームレートを撮影フレームレートと略等価なフレームレートと、前記撮影フレームレートより低いフレームレートとで変化させるために、前記記憶部を制御する制御部とを具備することを特徴とする。
【図面の簡単な説明】
【0010】
【図1】図1は発明の実施形態による作用効果の概略説明図である。
【図2】図2は実施形態によるX線診断装置の構成を示す図である。
【図3】図3は図2のX線診断装置の撮影部の側面図である。
【図4】図4は本実施形態による再生動作手順を示すフローチャートである。
【図5A】図5Aは図4の手順を模式的に示す図である。
【図5B】図5Bは図5Aの動作をフレームレートの変化という観点で示す図である。
【図5C】図5Cは図5Aの他の動作をフレームレートの変化という観点で示す図である。
【図6】図6は図4のS05のクリックマーカを示す図である。
【図7】図7は図4のS08の補足図である。
【図8】図8は本実施形態による他の再生動作手順を示すフローチャートである。
【図9】図9は本実施形態による他の再生ループを示す図である。
【図10】図10は本実施形態による他の再生動作手順を示すフローチャートである。
【図11】図11は本実施形態による他の再生動作手順を示すフローチャートである。
【図12】図12は本実施形態による他の再生動作手順を示すフローチャートである。
【図13】図13は本実施形態による他の再生動作手順を示すフローチャートである。
【図14】図14は本実施形態による他の再生動作手順を示すフローチャートである。
【図15】図15は図14の全体補足図である。
【図16】図16は本実施形態による他の再生動作手順を示すフローチャートである。
【図17A】図17Aは本実施形態による他の画像表示例を示す図である。
【図17B】図17Bは本実施形態による他の画像表示例を示す図である。
【図18】図18は本実施形態による他の画像表示例を示す図である。
【図19】図19は従来の特徴点指定操作の補足図である。
【図20】図20は従来の特徴点指定操作に際して表示される画像を示す図である。
【図21A】図21Aは従来の回転撮影を示す図である。
【図21B】図21Bは従来の回転撮影を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明の実施形態による画像処理装置を説明する。なお、ここでは、画像処理装置はX線撮影装置に組み込まれるものとして説明するが、もちろん単独で構成可能である。また、本実施例の画像処理装置は、少なくとも2方向から撮影した画像から3次元画像を再構成する機能を有する装置であり、画像の種類等については特に限定するものではない。
【0012】
本実施形態では、入り組んだ血管等の複雑な構造であっても、画像間で解剖学的に同一の点(対応点)を画像毎に手動で指定するに際してその指定精度を向上させるための独自の特徴を有している。図1に示すように、回転動画像を動画像として撮影時と同じフレームレート(等速)で再生表示し、所定の規則として典型的には特定の心拍位相(例えば80%)に対応するフレームにおいて一時的に停止させ、静止画として表示させる。オペレータが特徴部位をクリックしたら、再び動画像として再生表示を再開し、同心拍位相のフレームおいて一時停止させ、オペレータの特徴部位の指定を待機する。人間は動画像では特徴的な部位を追跡していく能力に優れている。単に静止画として対応する2枚を並べて表示するよりも、それら2枚の画像の間を又はその前後を含めて動画像としてつなぐことにより特徴的な部位の動きを目視で追従することが容易になる。つまり、回転動画像を見ながら特徴部位を目で追っていけるので、例えば血管が重なってしまった場合なども対応する特徴部位指定の精度が、静止画表示の場合より向上し、結果として立体画像の画質向上が期待できる
ここで、以下説明で使用する用語について定義する。
心臓血管立体表示;血管を楕円や多角形と近似(モデル化)して、少数方向の投影情報から立体構築をモデル化するもの。
心拍位相;心臓心拍の周期性を0〜100%の数値であらわしたもの。通常は心電図のR波のタイミングを0とし、次のR波の他ミングを100とし、その間を100等分して計算する。
同心拍位相;心拍位相が同じ(近い)こと。典型的には検出器は30fps(frames/sec)程度のフレームレートで撮像し、心拍を1拍/秒(60拍/分)とすると、30フレーム/拍程度の画像が得られる。よって100/30=3.33%程度の時間分解能で心拍位相を調べることができる。
拡張末期;心拍運動のうち、心臓が拡張して、停止しているように見える時相である。上記心拍位相では70%〜80%程度のあたりが拡張末期と呼ばれる。
回転撮影;ここで使う「回転」は被検体のまわりに撮像系(X線管と検出器のペア)を回転させること。回動ともいう。一般的には、30°/秒でCアームが回転する。1回の撮影で180°を要すると仮定すると、1回の撮影あたり6秒を要する。心拍が1拍/秒、1°ごとに1枚の画像を撮影をすると、1回の撮影あたり、6拍分の医用画像、典型的にはX線画像データとして、180枚のX線画像が収集される。
2D;2次元画像。X線診断装置で得られる画像は2D画像である。
3D;3次元画像。
バイプレーン;撮像系を2系統備えるX線診断装置。2方向から同時撮像が可能である。
【0013】
ECG;心電図。
特徴部位;血管の分岐部や狭窄など、対象の中の特徴的な形態を有する部位をいう。 特徴点;特徴部位上に指定した点。
ループ再生;時間的に連続する一連の画像群を動画像として再生し、それを繰り返すことをいう。撮像後に画像観察する場合、その中の90フレームを何度も繰り返して(ループさせて)見ることが多い。
【0014】
呼吸;呼吸により被検体が動く。呼吸には周期性がある。そこで被験者にセンサーをとりつけて呼吸運動を把握しようとする。MRIの場合は、鼻にセンサーをつけることがある。
IVUS;血管内超音波(Intra-vascular ultrasound)。アイバスと発音する。
3次元画像データ;次のA)、B)の2種を含む。A)種の3次元画像データは、主にCTやMRIにより発生する。X線診断装置でもボリューム再構成されたデータは当該A)種の3次元画像データに該当する。A)種の3次元画像データは、3次元領域内全てのボクセルについてそれぞれ値を有する。具体的には例えば512×512×512の3次元領域では、134,217,728個の値が与えられる。B)種の3次元画像データは、3次元領域を定義するベクトル量(ベクトルデータ)として与えられる。具体的には例えば血管の中心線座標と直径とから構成される。表示装置は中心線座標と直径とに対応する領域を塗りつぶす。B)種の3次元画像データのデータ量は、A)種の3次元画像データのデータ量より断然少ない。
【0015】
図2は本実施例に係る画像処理装置を装備したX線撮影装置を示している。X線撮影装置は、図3に示すガントリを有する。X線管112と、X線管112に被検体Pを挟んで正対するX線検出器114とがCアーム116に搭載される。X線検出器114は、典型的には、入射X線を直接的又は間接的に電荷に変換する複数の検出素子(画素)が2次元状に配列されてなる固体平面検出器である。X線管112は例えば床置型スタンド120に2軸回転自在に支持されたCアーム116の一端に取り付けられ、X線検出器114はCアーム116の他端に取り付けられる。
【0016】
本実施例に係る画像処理装置を装備したX線撮影装置は、被検体の心電図を測定する心電計(ECG)118、架台制御部111を有する。架台制御部111は、インタフェース121を介して接続された操作卓123からの操作者指示にしたがってCアーム116の撮影角度を任意に制御するとともに、その撮影角度に関するデータを図示しないセンサから取得する。撮影角度に関するデータは、X線制御部113からの管電圧印加によりX線管112から発生されるX線に同期してX線検出器114から検出器制御部115を介して繰り返し発生されるX線画像データ及び各X線画像撮影時の心拍位相データとともに、画像記憶部117に記憶される。
【0017】
図21に示したような回転撮影では撮影角度が連続的に変化する複数のX線画像が例えば30fpsで略180°の角度範囲にわたって収集される。この撮影期間は典型的には10心拍程度の時間長を有する。
【0018】
表示部127は、CRT等の表示装置であり、画像表示制御部125を介して接続される。血管抽出部119はX線画像データから、例えば閾値処理により造影された血管の像を抽出する。
【0019】
再生制御部129は、画像記憶部117に記憶されたX線画像データの読み出しを制御して表示部127の動画像表示を制御する。やや具体的には、再生制御部129は、画像記憶部117に記憶されたX線画像データを動画像として撮影時のフレームレート(撮影フレームレート)と等価な30fpsのフレームレート(再生フレームレート)で再生するとともに、その再生期間中において複数のX線画像の中で所定の規則に対応する少なくとも2枚のX線画像が表示された時点でその画像の表示を一時的に停止させる。典型的には、再生制御部129は、特定の心拍位相に対応するとともに、撮影角度の差が略90度である少なくとも2枚のX線画像の表示を一時的に停止させる。なお、再生制御部129は、複数のX線画像を撮影順序と同じ順方向に繰り返し再生(ループ再生)をさせる。
【0020】
立体画像再構成部131は、少なくとも2枚のX線画像上で操作者により指定された複数の特徴点の位置関係に基づいて、各X線画像から血管抽出部119により抽出された血管像の立体画像データを再構成する。
【0021】
次に、再生制御部129による特徴点指定操作を支援するための動画像再生制御について図4、図5Aを参照して説明する。図4に示すように、記憶されたX線画像データファイルの一覧からオペレータが指示した動画像ファイル(静止画像群)を呼び出し再生表示する(S01)。この動画像は90フレームの静止画像の群からなると仮定する。1ループ目は90枚のX線画像を撮影時のレートと同じフレームレート(再生速度(等倍))で一時停止することなく連続的に再生する(S02)。引き続き2ループ目で90枚のX線画像を1枚目から順方向に再生を開始し、最初に到来する特定の心拍位相として例えば心臓拡張末期の心拍位相(例えば80%)に対応するX線画像で再生表示を一時的に停止する(S03、S04)。図6に示すように、オペレータが操作卓123のマウスを操作して当該一時停止されたX線画像上で特徴部位をクリックする(S05)。クリックした画像座標のデータは画像記憶部117又は図示しないメモリに格納される(S06)。クリックをトリガとして、1秒程度の所定のタイムラグを隔てて、再生表示を再開する(S07)。
【0022】
先に一時停止したX線画像と同じ心拍位相であって、先に一時停止したX線画像と撮影角度の差が図7に示すように略90°開いているX線画像で再生表示を一時的に停止する(S08)。実際には、先に一時停止したX線画像と撮影角度の差が90°±10°であるX線画像で再生表示が一時停止される。また、先に一時停止したX線画像と同じ心拍位相であっても、先に一時停止したX線画像と撮影角度の差が略90°から外れているX線画像の一時停止はスキップして、そのまま等倍での再生表示が継続される。
【0023】
オペレータが特徴部位一箇所をマウスクリックする(S09)。クリックした画像座標のデータを格納する(S10)。クリックを受け付けたら再生表示を再開し、S03に戻る。3ループ目では同様に一時停止再生するが、この時取得する座標は、先の特徴部位とは異なる第二の特徴部位座標としてメモリに格納する。所定数、少なくとも2ペアの特徴部位座標が取得されたら再生を終了し、血管抽出部119で抽出された血管領域に関して立体画像再構成部132で立体画像データが構築される。構築された血管の立体画像のデータは立体画像データ記憶部132に記憶される。
【0024】
なお、上記では、再生とその一時停止という観点で説明したが、再生が継続的になされ、そのフレームレートの変化という観点で発明を捉えることができる。図5Bは再生フレームレートの時間変化を示している。図5Bに示すように、撮影時とほぼ同じフレームレート(等速)で動画像として再生表示を開始する。特定の心拍位相(例えば80%)でその再生を一時的に停止され、特徴点がクリックされ、その後に等速再生を再開する。等速再生を停止してからクリックによって等速再生に復帰するまでの期間をΔt1、Δt2…とすると、再生フレームレートは、撮影時と同じフレームレートと、停止期間の逆数として得られる低フレームレート(1/Δt1,1/Δt2…)とで変化する。なお、図5Cに示すように、再生停止から一定時間経過(Δt)の後に自動的に再生に復帰する場合、再生フレームレートは、撮影時と同じフレームレートと、1/Δtとの間で変化する。
【0025】
このように再生/一時停止を繰り返すことで、人間の動画像に対する特徴的な部位を追跡していく能力を活用して、特徴部位を高精度で指定することができ、結果として立体画像の画質向上が期待できる
なお、特定の心拍位相は心臓拡張期である必要は無く、オペレータが指定する任意の心拍位相で良い。また、一回の一時停止で一の特徴点を指定すると説明したが、複数の特徴点を指定するようにしても良い。2個の場合は、2箇所でマウスクリックされたら、一時停止を自動的に終了して、所定のタイムラグ後に再生表示を自動的に再開する。また、マウスクリック後は自動再生開始しなくても、再生開始ボタンが押されたり、キーボードが押されたら再生開始させることでも良い。マウスでなくてもタッチパネルなど任意のデバイスでもよい。また、一時停止するX線画像の撮影角度差は略90°である必要性は無く、任意に指定することができる。ループ数(繰り返し再生回数)は任意であり、欲しい特徴部位のペアだけループを回す。例えばキーボードから特定キーが押されたら再生終了する。
【0026】
また、参照信号は心電波形信号に限らない。「画像上の特徴部位の周期的移動」として例えばX線画像を一方向に投影したラインイメージのピーク点の周期的な移動から同様に心拍位相を同定するようにしても良い。心拍位相に代えて、呼吸位相であっても良い。
【0027】
さらに、一時停止させるのは2方向(2フレーム)に限定する必要はなく、90フレームの中で所定規則を満たした3フレーム、またはそれ以上のX線画像で一時停止するようにしてもよい。また、撮影角度差の条件を除外して、単に特定位相、例えばすべての心臓拡張期(80%)で一時停止させてもよい。また、特定位相は単一である必要はなく、2種類以上、例えばすべての心臓拡張期(80%)とすべての心臓収縮期(15%)で一時停止させてもよい。
【0028】
特定の心拍位相は心臓拡張期(80%)を規定値としても良いし、事前に任意にオペレータが指定してもよいし、さらには図8に示すように2ループ目の再生時に、オペレータが手動で一時停止し(S11)、その心拍位相を特定位相として2ループ目以降で自動的に一時停止するようにしても良い(S12)。
【0029】
また、上述では、動画像を撮影順序と同じ順方向に再生し、それを繰り返すことを説明したが、図9に示すように、動画像を撮影順序と同じ順方向に再生し、続いて逆方向に再生し、このように再生方向を交互に繰り返すようにしても良い。この方法によると特徴部位が重なった場合も、両方向から動きが観察でき、人間は補間しようとするので、より精度があがる。
【0030】
S05やS09で特徴点をクリックし、2ループ目以降の再生に際しては、一時停止する画像上のクリックした場所にクリックマーカを表示するようにしても良い(図6に例示するように例えば白く表示する)。それにより、逆再生したときに、先にクリックした場所が正しくあっていたかどうかを確認しやすくなる。
【0031】
上述では、立体構築を目的とする特徴点指定操作について述べたが、単なる診断のための観察において利用してもよい。この場合は、一時停止解除(再生再開)をオペレーターから指示させてもよいし、図10に示すように、一時停止から所定時間(例えば5秒)が経過した時点で自動的に再生再開させてもよい(S13、S14)。
【0032】
心臓のように動く臓器ではなく、動きが小さい臓器の場合は、心拍信号に依存して一時停止させるのではなく、図11に示すように、撮影角度が所定の角度、例えば10°変化するごとに一時停止させるのもよい(S16)。この手法は、連続する2D画像に限らず、立体構築画像や3次元画像にも適応可能である。
【0033】
回転させて表示する画像データではなく、例えば頭部から足の先まで直線的にX線管112等を移動しながら撮影した画像データにおいては、図12に示すように、心臓等の特定の撮影位置、又は所定の長さ間隔、例えば10cmの移動ごとに一時停止させるものでもよい(S17)。
【0034】
ルーチンの「検査」では、病院ごとにあらかじめ観察する角度を決め、すべての患者さんで同じ観察角度からの撮像をしていることが多い。あらかじめの観察角度は装置に記憶させておくことができるようになっている(オートポジショニング機能)。そこで、図13に示すように、回転撮像データがプリセット角度の画像を含んでいる場合、その(メモリに記憶されている)角度で一時停止させるようにしてもよい(S18)。
【0035】
上述の説明では、特定の心拍位相で一時停止させるものであったが、心拍中の特定の期間に限り、その再生速度(再生フレームレート)を撮影フレームレートよりも低く(速く)するものでもよい。例えば図14、図15に示すように、例えば、A区間は収縮期を含む期間(70〜100%)とし、心臓の運動が比較的大きい期間とする。B区間を心臓拡張期を含む期間(0〜69%)とし、心臓の運動が比較的小さく、観察しやすい期間とする。A区間では、撮影時のレート(30fps)より低いレート(例えば20fps)で低速で再生し、心臓の運動が比較的小さいB区間では等倍速で再生する(S21、S22)。心臓の運動が大きいA区間ではゆっくりと再生させる。
【0036】
以上はX線診断装置で得られた画像の表示について述べてきたが、本実施形態はX線診断装置に限定しない。例えば、図17A、図17Bに示すように、血管内超音波装置(IVUS)での画像表示についても適応可能である。IVUSの一般的な使い方として、例えば1フレーム/秒の収集レートを仮定すると、血管内に入れた後、一定速度(例えば1mm/sec)で移動させて複数の2D超音波画像を表示する。よって超音波画像のフレームと移動距離の対応がとれている。そこで図16、図17Aに示すように、例えば20フレームおきに一時停止させると、2cmおきに一時停止させていることと等価となる(S23)。
【0037】
同様に、X線CTやMRIで得られた再構成画像を図18に示すように血管内で視点を移動しながらその前方視野を動画像表示するいわゆるフライスルー表示する場合にも、ある一定距離ごとに一時停止させることにより、距離感がわかりやすくなる効果がある。
【0038】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0039】
112…X線管、114…X線検出器、116…Cアーム、118…心電計(ECG)、111…架台制御部、121…インタフェース、123…操作卓、113…X線制御部、115…検出器制御部、117…画像記憶部。
【特許請求の範囲】
【請求項1】
被検体に関する複数の医用画像のデータを記憶する記憶部と、
前記記憶部から読み出された前記医用画像のデータを表示する表示部と、
前記複数の医用画像を動画像として再生表示させるとともに、前記複数の医用画像の再生フレームレートを撮影フレームレートと略等価なフレームレートと、前記撮影フレームレートより低いフレームレートとで変化させるために、前記記憶部を制御する制御部とを具備することを特徴とする画像処理装置。
【請求項2】
前記制御部は、心臓収縮期を含む期間の再生フレームレートを他の期間の再生フレームレートよりも低下させることを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記制御部は、前記所定の規則に対応する期間以外の期間を前記撮影フレームレートと等価なフレームレートで再生し、前記所定の規則に対応する期間を撮影フレームレートよりも低いフレームレートで再生させることを特徴とする請求項1記載の画像処理装置。
【請求項4】
前記制御部は、前記再生フレームレートを前記撮影フレームレートよりも低いフレームレートに変化させた後に、操作者による所定操作を契機として前記再生フレームレートを前記撮影フレームレートと等価なフレームレートに戻すことを特徴とする請求項3記載の画像処理装置。
【請求項5】
前記制御部は、前記再生フレームレートを前記撮影フレームレートよりも低いフレームレートに変化させてから所定時間経過後に、前記再生フレームレートを前記撮影フレームレートと等価なフレームレートに戻すことを特徴とする請求項3記載の画像処理装置。
【請求項1】
被検体に関する複数の医用画像のデータを記憶する記憶部と、
前記記憶部から読み出された前記医用画像のデータを表示する表示部と、
前記複数の医用画像を動画像として再生表示させるとともに、前記複数の医用画像の再生フレームレートを撮影フレームレートと略等価なフレームレートと、前記撮影フレームレートより低いフレームレートとで変化させるために、前記記憶部を制御する制御部とを具備することを特徴とする画像処理装置。
【請求項2】
前記制御部は、心臓収縮期を含む期間の再生フレームレートを他の期間の再生フレームレートよりも低下させることを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記制御部は、前記所定の規則に対応する期間以外の期間を前記撮影フレームレートと等価なフレームレートで再生し、前記所定の規則に対応する期間を撮影フレームレートよりも低いフレームレートで再生させることを特徴とする請求項1記載の画像処理装置。
【請求項4】
前記制御部は、前記再生フレームレートを前記撮影フレームレートよりも低いフレームレートに変化させた後に、操作者による所定操作を契機として前記再生フレームレートを前記撮影フレームレートと等価なフレームレートに戻すことを特徴とする請求項3記載の画像処理装置。
【請求項5】
前記制御部は、前記再生フレームレートを前記撮影フレームレートよりも低いフレームレートに変化させてから所定時間経過後に、前記再生フレームレートを前記撮影フレームレートと等価なフレームレートに戻すことを特徴とする請求項3記載の画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【図19】
【図20】
【図21A】
【図21B】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【図19】
【図20】
【図21A】
【図21B】
【公開番号】特開2012−75950(P2012−75950A)
【公開日】平成24年4月19日(2012.4.19)
【国際特許分類】
【出願番号】特願2012−13931(P2012−13931)
【出願日】平成24年1月26日(2012.1.26)
【分割の表示】特願2007−50701(P2007−50701)の分割
【原出願日】平成19年2月28日(2007.2.28)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
【公開日】平成24年4月19日(2012.4.19)
【国際特許分類】
【出願日】平成24年1月26日(2012.1.26)
【分割の表示】特願2007−50701(P2007−50701)の分割
【原出願日】平成19年2月28日(2007.2.28)
【出願人】(000003078)株式会社東芝 (54,554)
【出願人】(594164542)東芝メディカルシステムズ株式会社 (4,066)
【Fターム(参考)】
[ Back to top ]