医療用画像処理装置及び医療用画像処理プログラム
【課題】動き解析情報及びジオメトリ情報に基づき、複数のボリュームデータからそれぞれジオメトリ情報を作成する処理の労力を軽減できる医療用画像処理装置及び医療用画像処理プログラムを提供する。
【解決手段】医療用画像処理装置は、時刻を有する複数のボリュームデータを可視化する医療用画像処理装置であって、前記複数のボリュームデータについて、ジオメトリ情報を生成する第1生成手段と、前記一のボリュームデータと他の少なくとも一つのボリュームデータとの間の動き解析情報を生成する第2生成手段と、前記他の少なくとも一つのボリュームデータについて、前記動き解析情報及び前記ジオメトリ情報に基づき、対応する新たなジオメトリ情報を生成する第3生成手段と、前記他の少なくとも一つのボリュームデータについて、前記対応する新たなジオメトリ情報を含む画像を表示する処理を行う表示処理手段と、を備える。
【解決手段】医療用画像処理装置は、時刻を有する複数のボリュームデータを可視化する医療用画像処理装置であって、前記複数のボリュームデータについて、ジオメトリ情報を生成する第1生成手段と、前記一のボリュームデータと他の少なくとも一つのボリュームデータとの間の動き解析情報を生成する第2生成手段と、前記他の少なくとも一つのボリュームデータについて、前記動き解析情報及び前記ジオメトリ情報に基づき、対応する新たなジオメトリ情報を生成する第3生成手段と、前記他の少なくとも一つのボリュームデータについて、前記対応する新たなジオメトリ情報を含む画像を表示する処理を行う表示処理手段と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療用画像処理装置及び医療用画像処理プログラムに関する。
【背景技術】
【0002】
X線CT装置およびMRI装置等の各種画像診断機器は、被検体のボリュームデータから検査部位の断層像を生成し、モニター画面に表示して診断を行うものである。例えば、心臓や血管等の循環器系およびその他の動きのある臓器の場合、それらを構成する組織の動きを断層像により観察して、それら臓器等の機能を診断することが行なわれている。このような画像診断機器により、高解像度の画像が短時間に得られるようになったことに伴い、取得したボリュームデータから、臓器や腫瘍等の関心領域(Region of Interest)を抽出し、これらを見やすく可視化し、あるいは定量化して面積や体積を量ることにより病変部の診断に役立てている。
【0003】
従来例1として、特許文献1に開示されている医療用画像処理装置は、各フェイズの複数のボリュームデータから新たに一の画像を生成し、各フェイズ現れる組織の変化を一の画像に表示することができる。しかし、各フェイズ間を補うボリュームデータを生成しているものではない。ここで、フェイズ(Phase)とは、同一の対象を同一手法で短時間のうちに撮像した複数のボリュームデータのうちの1つのボリュームデータを指す。
【0004】
従来例2として、特許文献2に開示されている医療用画像処理装置は、各フェイズの抽出領域から構造情報(たとえば、血管の中心線)を求めて、各フェイズの異常個所を比較、検出している。そのため、少ない計算量で領域抽出を行うことができる。しかし、各フェイズ間を補うボリュームデータを生成し、各フェイズの領域抽出を行っていない。
【0005】
従来例3として、非特許文献1では、いわゆる、モーフィングにより、医療画像とは異なる通常の画像で構成される動画像のフレーム間隔(例えば、1/60秒)の中間位置で新たに画像を補間している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2008−35895号公報
【特許文献2】特開2007−68658号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、従来例1では、複数のボリュームデータから高画質な一の画像を生成しているが、複数のボリュームデータそれぞれから作成する個別の画像の画質は改善しない。これは特に動画となったときに顕著である。また、従来例2は複数のボリュームデータに含まれる組織の対応関係を取得するに留まる。また、従来例1及び従来例2で開示されている技術では、各フェイズ間を補うボリュームデータを生成しているものではないので、各フェイズの位置合わせの精度を高めるには別の方法を検討する必要がある。また、従来例3では、新たに画像を補間するタイミングは、動画像(たとえば、テレビ映像)のフレーム間隔(例えば、1/60秒)の中間位置に固定されており、この位置を変更することはまでは示唆されていない。さらに、新たに画像を補間しても画質を改善しているわけではない。また、観察対象の領域を画像としてよりも、その形状や大きさなどのより客観的な指標で把握したい場合がある。この場合は観察対象のジオメトリ情報を作成するが、補間ボリュームを含む多数のボリュームデータそれぞれにジオメトリ情報を作成するには多大な労力がかかる。また、異なるボリュームデータのジオメトリ情報の間の対応関係を設定するのも多大な労力がかかる。
【0008】
本発明の目的は、動き解析情報及びジオメトリ情報に基づき、複数のボリュームデータからそれぞれジオメトリ情報を作成するときの処理やユーザの労力を軽減できる医療用画像処理装置及び医療用画像処理プログラムを提供することである。
【課題を解決するための手段】
【0009】
本発明は、時刻を有する複数のボリュームデータのそれぞれを可視化する医療用画像処理装置であって、前記複数のボリュームデータのうち、一のボリュームデータについて、ジオメトリ情報を生成する第1生成手段と、前記複数のボリュームデータのうち、前記一のボリュームデータと他の少なくとも一のボリュームデータとの間の動き解析情報を生成する第2生成手段と、前記複数のボリュームデータのうち、前記他の少なくとも一のボリュームデータについて、前記動き解析情報及び前記ジオメトリ情報に基づき、対応する新たなジオメトリ情報を生成する第3生成手段と、前記他の少なくとも一のボリュームデータについて、前記対応する新たなジオメトリ情報を含む画像を表示するための処理を行う表示処理手段と、を備える医療用画像処理装置を提供する。
【0010】
上記医療用画像処理装置では、前記動き解析情報に基づき、前記一のボリュームデータに含まれる特定の領域の変異又は変形を取得し、当該取得した変異又は変形、前記ジオメトリ情報、及び前記対応する新たなジオメトリ情報に基づき、ボクセル値の変化を予測し、前記一のボリュームデータのボクセル値を補正する。
【0011】
上記医療用画像処理装置では、さらに、前記一のボリュームデータと前記他の少なくとも一のボリュームデータとの間を補間する補間ボリュームデータを生成する第4生成手段と、前記補間ボリュームデータについて、前記動き解析情報及び前記ジオメトリ情報に基づき、対応する補間ジオメトリ情報を生成する第5生成手段とを備え、前記表示処理手段は、前記補間ボリュームデータについて、前記補間ジオメトリ情報を含む画像を表示するための処理を行う。
【0012】
上記医療用画像処理装置では、前記一のボリュームデータの時刻情報及び前記補間ボリュームデータの時刻情報の間隔と、前記他の少なくとも一のボリュームデータ及び前記補間ボリュームデータの時刻情報の間隔とは非等間隔である。
【0013】
上記医療用画像処理装置では、前記表示処理手段は、前記複数のボリュームデータについて描画する時に、前記ジオメトリ情報と前記新たなジオメトリ情報とを利用して、前記複数のボリュームデータで共通する特定の領域を画像として表示するための処理を行う。
【0014】
また、本発明は、コンピュータを、上記医療用画像処理装置の各手段として機能させるための医療用画像処理プログラムを提供する。
【発明の効果】
【0015】
本発明に係る医療用画像処理装置及び医療用画像処理プログラムによれば、動き解析情報及びジオメトリ情報に基づき、複数のボリュームデータからそれぞれジオメトリ情報を作成するときの処理やユーザの労力を軽減できる。また、客観性を増すことができる。また、ジオメトリ情報に含まれる情報を表示することによって診断に寄与できる。
【図面の簡単な説明】
【0016】
【図1】実施の形態1に係る医療用画像処理装置100の構成を示すブロック図
【図2】動き解析情報生成部103の動作を概念的に説明するための示す図
【図3】補間ボリュームデータ生成部105の動作を概念的に説明するための図
【図4】画像生成部107が生成する画像を模式的に示す図
【図5】時刻tk−1と時刻tkと間の任意の時刻で画像生成部107が生成する画像を模式的に示す図
【図6】心室容量の大きさの経時変化を示すモデルと画像生成部107が作成した補間画像tauxとを比較した図
【図7】画像生成部107が生成した2組の時系列に並んだ3次元画像セットを示す図
【図8】図7に示す2組みの3次元画像セットを同期させた画像のシーケンスを示す図
【図9】等間隔に複数の補間画像を実画像に補った場合の画像のシーケンスを示す図
【図10】実画像に対して一時的に複数の補間画像補い、表示した例を示す図
【図11】医療用画像処理装置100の動作処理フロー
【図12】実施の形態2に係る医療用画像処理装置300の構成を示すブロック図
【図13】補正処理前後の実画像の例(1)を示す図
【図14】医療用画像処理装置300補正処理フローの例(1)
【図15】医療用画像処理装置300補正処理フローの例(2)
【図16】実画像の補正処理の例(2)を説明するための図
【図17】実画像の補正処理の例(3)を説明するための図
【図18】実画像及び補間画像の補正処理の例(4)を説明するための図
【図19】実画像の補正処理の例(5)を説明するための図
【図20】実施の形態3に係る医療用画像処理装置500の構成を示すブロック図
【図21】(a)ジオメトリ情報生成部506での処理1を模式的に示す図、(b)ジオメトリ情報生成部506での処理2を模式的に示す図
【図22】医療用画像処理装置500の画像処理の例(1)を示す図
【図23】医療用画像処理装置500の画像処理の例(2)を示す図
【図24】医療用画像処理装置500の画像処理の例(3)を示す図
【図25】医療用画像処理装置500の画像処理の例(4)を示す図
【図26】医療用画像処理装置500の画像処理の例(5)を示す図
【発明を実施するための形態】
【0017】
以下、本発明の実施形態について、図面を参照して説明する。
【0018】
図1を参照して、実施の形態1に係る医療用画像処理装置について説明する。図1に示す医療用画像処理装置100は、ボリュームデータ生成部101と、動き解析情報生成部103と、補間ボリュームデータ生成部105と、画像生成部107と、表示処理部109と、を備える。医療用画像処理装置100には、医療用画像処理装置100で生成された画像を表示する表示部111と、医療用画像処理装置100の各部を操作するためのユーザインターフェースである操作部113と、が設けられている。
【0019】
図1に示すように、医療用画像処理装置100は、コンピュータ断層撮影装置に接続されている。コンピュータ断層撮影装置は、被検体の組織等を可視化するものである。X線源1からは同図に鎖線で示す縁部ビームを有するピラミッド状のX線ビーム束2が放射される。X線ビーム束2は、例えば患者3である被検体を透過しX線検出器4に照射される。X線源1及びX線検出器4は、本実施形態の場合にはリング状のガントリー5に互いに対向配置されている。リング状のガントリー5は、このガントリーの中心点を通るシステム軸線6に対して、同図に示されていない保持装置に回転可能(矢印a参照)に支持されている。
【0020】
患者3は、X線が透過するテーブル7上に寝ている。このテーブル7は、図示されていない支持装置によりシステム軸線6に沿って移動可能(矢印b参照)に支持されている。従って、X線源1及びX線検出器4は、システム軸線6に対して回転可能でありかつシステム軸線6に沿って患者3に対して相対的に移動可能である測定システムを構成するので、システム軸線6に関して種々の投影角及び種々の位置のもとで患者3にX線を投射する。その際に発生するX線検出器4の出力信号は、ボリュームデータ生成部101に供給され、ボリュームデータに変換される。
【0021】
シーケンス走査の場合、患者3の層毎の走査が行なわれる。その際に、X線源1及びX線検出器4はシステム軸線6を中心に患者3の周りを回転し、X線源1及びX線検出器4を含む測定システムは患者3の2次元断層を走査するために多数の投影を撮影する。その際に取得された測定値から、走査された断層を表示する断層像が再構成される。相連続する断層の走査の間に、患者3はその都度システム軸線6に沿って移動される。この過程は全ての関心断層が捕捉されるまで繰り返される。
【0022】
スパイラル走査中は、X線源1及びX線検出器4を含む測定システムはシステム軸線6を中心に回転し、テーブル7は連続的に矢印bの方向に移動する。すなわち、X線源1及びX線検出器4を含む測定システムは、患者3に対して相対的に連続的にスパイラル軌道上を、患者3の関心領域が全部捕捉されるまで移動する。本実施形態の場合、同図に示されたコンピュータ断層撮影装置により、患者3の診断範囲における多数の相連続する断層信号がボリュームデータ生成部101に供給される。
【0023】
ボリュームデータ生成部101は、コンピュータ断層撮影装置により供給された断層信号から、撮影時刻の異なる複数のボリュームデータを生成し、各ボリュームデータが生成された時刻を表す時刻情報と共に、動き解析情報生成部103及び画像生成部107へ出力する。なお、ボリュームデータ生成部101は、図示しないメモリに、撮影時刻の異なる複数のボリュームデータを保持することができる。
【0024】
ここで、本実施の形態では、ボリュームデータ生成部101は、複数のボリュームデータの各ボリュームデータが、コンピュータ断層撮影装置により撮影された時刻tに基づき、ボリュームデータを生成した時刻情報tn(n=1、2、…、k−1、k、k+1…:自然数)を生成するものとする。
【0025】
以下、説明のため、ボリュームデータ生成部101では、時刻情報tk−1のボリュームデータと、時刻tk−1から所定時間経過後に撮影され、ボリュームデータ生成部101に供給された断層信号に基づき生成された時刻情報tkのボリュームデータと、時刻tkから所定時間経過後に撮影され、ボリュームデータ生成部101に供給された断層信号に基づき生成された時刻情報tk+1のボリュームデータを保持しているものとする。なお、以下、説明のため、時刻情報tkのボリュームデータを、ボリュームデータtkと適宜省略して記載する。
【0026】
動き解析情報生成部103は、ボリュームデータ生成部101から出力されたボリュームデータのうち、ボリュームデータtk−1及びその時刻情報tk−1、並びにボリュームデータtk及びその時刻情報tkから、動き解析情報を生成し(図2参照)、補間ボリュームデータ生成部105に出力する。
【0027】
ここで、動き解析情報とは、複数のボリュームデータ上の対応する位置もしくは対応する物体の対応関係の情報、及び、前記位置及び物体が移動変化する過程の情報を指す。また、各ボリュームデータの画素が、時刻k−1と時刻kとの間の任意の時刻での位置を示す指標となる。
【0028】
図2は、動き解析情報生成部103の動作を概念的に示す図である。図2に示すように、動き解析情報生成部103は、3次元画像の情報を含むボリュームデータtk−1の各画素がどのように変位して、ボリュームデータtkでの画素となっているかを、動き解析情報として生成している。
【0029】
補間ボリュームデータ生成部105は、動き解析情報生成部103から出力された動き解析情報に基づき、ボリュームデータtk−1とボリュームデータtkとの間を補間する、補間ボリュームデータtauxとその時刻情報tauxとを生成し、画像生成部107に出力する。
【0030】
ここで、補間ボリュームデータとは、時刻tk−1と時刻tkとの間の特定の時刻ta
uxにおけるボリュームデータである。つまり、補間ボリュームデータ生成部105が補間ボリュームデータtauxを生成することは、実際はコンピュータ断層撮影装置で撮像されていない時刻tauxにおいて、あたかもコンピュータ断層撮影装置により撮像して、ボリュームデータ生成部101がボリュームデータを生成したことと、同等となる。
【0031】
図3は、補間ボリュームデータ生成部105の動作を概念的に示す図である。図3に示すように、補間ボリュームデータ生成部105は、3次元画像の情報を含むボリュームデータtk−1とボリュームデータtkとの間を補間する、補間ボリュームデータtauxとその時刻情報tauxとを生成する。
【0032】
ここで、本実施の形態では、図3に示すように補間ボリュームデータtauxが有する時刻情報tauxは、時刻情報tk−1と時刻情報tkとの中間の時刻情報ではない。言
い換えると、補間ボリュームデータの時刻情報tauxと直前のタイミングに生成されたボリュームデータtk−1の時刻情報tk−1との間隔Aと、補間ボリュームデータの時刻情報tauxと直後のタイミングに生成されたボリュームデータの時刻情報tkとの間隔Bとが異なる間隔、すなわち、非等間隔となっている。この理由については、後述する。
【0033】
画像生成部107は、ボリュームデータ生成部101から出力されるボリュームデータtk−1、tk、及び時刻情報tk−1、tk、並びに補間ボリュームデータ生成部105から出力される補間ボリュームデータtaux、及びその時刻情報tauxを入力とする。画像生成部107は、各ボリュームデータtk−1、tkから実際の3次元画像を生成する一方、補間ボリュームデータtauxから補間3次元画像を生成し、時系列に並べる。
【0034】
表示処理部109は、画像生成部107で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部111のディスプレイに表示するための各種処理を行う。例えば、画像生成部107で生成された3次元画像のシーケンスを生成して、表示部111で動画像として再生するための処理(再生フレームレートの設定など)を行うことができる。
【0035】
表示部111は、表示処理部109で適宜処理された時系列となった実画像tk−1、
tk及び補間画像tauxを表示する。表示部111は、時系列となった実画像tk−1
、tk及び補間画像taux以外に、各画像の時刻情報も表示する。また、必要に応じて、表示部111は、画像生成部107で生成された3次元画像のシーケンスを、表示処理部109での処理の後、動画像として再生することができる。
【0036】
操作部113は、表示部111に表示された画像を加工するための各種のインターフェースを備えており、例えば、補間画像tauxを生成するための補間パラメータ(時刻情報tauxなど)を設定する。そして、ユーザは、表示部111を見ながら、操作部113により、医療用画像処理装置100の各部を操作することができる。そのため、ユーザは、インタラクティブに補間パラメータを変更できる。したがって、本実施の形態の医療用画像処理装置において、画像生成部107は、操作部113から指示に基づき、インタラクティブに補間画像tauxを修正することができる。
【0037】
ここで、補間パラメータとして、たとえば、(1)位置補間アルゴリズム(リニア/キュービック/スプライン)、(2)ボクセル値の補間のアルゴリズム(リニア/キュービック/スプライン)、(3)補間により生成される3D画像のピッチ(時間間隔)や数、並びに(4)4Dフィルタの方法として、平滑化、エッジ強調、最大値・最小値投影、差分、累積加算、ヒストグラムマッチング、およびそれらの組み合わせなどがある。
【0038】
図4を参照して、画像生成部107が生成する3次元画像について説明する。図4は、画像生成部107が生成した各画像を模式的に示す図である。図4に示すように、実画像tk−1と実画像tkとの間で、時刻情報tauxを有する補間画像tauxが、画像生成部107によって生成される。以下、説明のためボリュームデータtk−1、tkから生成された、時刻tk−1、tkにおける実際の3次元画像を、それぞれ実画像tk−1と実画像tkと称し、補間ボリュームデータtauxから生成された、時刻tauxにお
ける3次元の補間画像を、補間画像tauxと称する。
【0039】
ここで、図4に示すように、補間画像tauxの時刻情報tauxと直前のタイミング
に生成された実画像tk−1の時刻情報tk−1との間隔Cと、補間画像tauxの時刻
情報tauxと直後のタイミングに生成された実画像tkの時刻情報tkとの間隔Dとが非等間隔となっている。本実施の形態において、ボリュームデータtk−1と、時刻情報tk−1の次のタイミングで生成されるボリュームデータtkとの間隔が、およそ0.1秒から数年単位である。これは、画像生成部107で生成される医療画像(実画像tk−1、実画像tk、及び補間画像taux)とは異なる通常の画像で構成される動画像(たとえば、テレビなどの映像)のフレーム間隔(例えば、1/60秒)と比べて非常に大きいことに起因する。
【0040】
つまり、本実施の形態では、実画像tk−1、と実画像tkとの間の間隔(C+D)が、例えば年単位であって、実画像tk−1と実画像tkとの間で発生している被検体である患者3の関心領域の経年変化を観察するのに、その中間位置での補間画像では十分ではないからである。そのため、補間画像tauxの時刻情報tauxと直前のタイミングに生成された実画像tk−1の時刻情報tk−1との間隔Cと、補間画像tauxの時刻情報tauxと直後のタイミングに生成された実画像tkの時刻情報tkとの間隔Dとが非等間隔とし、実画像tk−1、と実画像tkとの間で被検体である患者3の検査部位(関心領域)の経年変化を中間位置とは異なる、実画像tk−1、と実画像tkとの間の様々な位置で補間画像を生成することを可能としている。また、撮影に要する放射線量を最小にする目的で、関心の最も高い時刻では撮影の時間間隔を密にし、それ以外では疎に撮影することが行われている。また、心電図など被検体のリアルタイム情報を取得する別途の機器で指定されるタイミングで撮影することもある。これらによって撮影間隔が非等間隔となりうる。リアルタイム情報には他には例えば、造影剤の注入のタイミングもある。
【0041】
上述のように、本実施の形態では、補間画像tauxの時刻情報tauxと直前のタイ
ミングに生成された実画像tk−1の時刻情報tk−1との間隔Cと、補間画像taux
の時刻情報tauxと直後のタイミングに生成された実画像tkの時刻情報tkとの間隔Dとが、非等間隔であるが、これに限らない。実画像tk−1と実画像tkとの間で発生している被検体である患者3の関心領域の経時変化を観察するのに適したタイミングであれば、補間画像tauxの時刻情報tauxと直前のタイミングに生成された実画像tk−1の時刻情報tk−1との間隔Cと、補間画像tauxの時刻情報tauxと直後のタイミングに生成された実画像tkの時刻情報tkとの間隔Dとが、等間隔に設定されてもよい。すわなち、実画像tk−1と実画像tkとの間で発生している被検体である患者3の検査部位(関心領域)の経時変化を観察するのに適したタイミングであれば、時刻情報tk−1と時刻情報tk−1との間の任意の時刻で画像生成部107が補間画像tauxを生成しても良い。言い換えると、本実施の形態において、ボリュームデータtauxの時刻tauxは、たとえば、被検体(患者3)の検査部位(関心領域)の変化が現れると予測される時間に依存して、適宜設定することができる。これにより、本実施の形態では、X線の線量を削減し、被検体である患者3への影響を極力抑えることができる。
【0042】
(任意の時刻の補間画像)
図5は、時刻tk−1と時刻tk−1との任意の時刻で画像生成部107が補間画像t
auxを生成する一例を模式的に示す図である。図5に示すように、画像生成部107は、実画像tk−1を生成した時刻0.0secと、実画像tkを生成した時刻情報1.5secとの間の任意の時刻情報1.0secの補間画像tauxを生成する。そのため、実画像を生成した時刻の間の任意の時刻で補間画像を生成することができ、実画像tk−1、と実画像tkとの間で発生している患者3の診断範囲の経時変化を観察することができる。
【0043】
(補間画像とモデルとの比較)
図6は、心室容量の大きさの経時変化を示すモデルと画像生成部107が作成した補間画像tauxとを比較した図である。上述のように、時刻情報tk−1と時刻情報tk−1との間の時刻であれば、任意の時刻で画像生成部107が補間画像tauxを生成することが可能なので、たとえば図6に示すように、心室容量の大きさの経時変化を示すモデルの最大容量を示す時刻で、画像生成部107が補間画像tauxを作成し、心室容量の大きさの経時変化を示すモデルと補間画像tauxにあらわれる心室の大きさとを比較することができる。
【0044】
心室容量の大きさの経時変化を示すモデルは、図6に示すように線形的に変化するものではないので、2つの実画像tk−1、tk間の中間位置では、心室容量は最大とならない、したがって、本実施の形態では、モデル上、心室容量が最大となる特徴を有する時刻で、実画像tk−1、tkから補間画像tauxを生成する。図6に示すように、モデル上、心室容量が最大となる時刻はt=0.78secである。したがって、画像生成部107は、時刻情報tauxをモデル上、心室容量が最大となる時刻はt=0.78secとし、補間画像tauxを生成する。
【0045】
上述のように、観察対象となる被検体(患者3)の検査部位(関心領域)の特徴が現れると推定される時刻を補間画像の時刻情報とすることで、画像生成部107は、観察対象となる被検体(患者3)の検査部位(関心領域)の特徴を画像として生成し、表示部111が可視化することができる。
【0046】
なお、心室容量の大きさの経時変化を示すモデルから、観察対象となる被検体(患者3)の検査部位(関心領域)の特徴が現れると推定しているが、観察対象となる被検体(患者3)の検査部位(関心領域)の特徴を推定する手段は当該モデルだけに限らない。例えば、被検体である患者3に対して造影剤などが注入された外的要因が発生した時刻を、画像上に特徴が現れる時刻であると推定することも可能できる。そのため、補間画像tauxを作成し、実画像tk−1、tk、及び補間画像tauxの一連の画像の変化から、被検体(患者3)の検査部位(関心領域)の外的要因による変化を観察することができる。また、時刻情報tauxモデルのみならず外部機器からの入力によって定めることが出来る。これは心電図など被検体のリアルタイム情報を実画像の取得と同時に行い、これを参照することによって求めることが出来る。例えば、心電図上の波形の特徴的な時刻や、造影剤の注入を行ったタイミングなどが考えられる。
【0047】
(異なる画像セットの同期)
また、画像生成部107は、同一の被検体から同一の検査部位を対象として、異なるモードで動作するコンピュータ断層撮影装置又は異なるコンピュータ断層撮影装置により供給された複数のボリュームデータから、時系列の複数の3次元画像セットを生成し、複数の3次元画像セットから正確に同期した画像のシーケンスを生成することができる。図7は、画像生成部107が生成した2組の時系列に並んだ3次元画像セットを示す。また、図8は、図7に示す2組みの3次元画像セットを同期させた画像のシーケンスを示す図である。
【0048】
図7に示す3次元画像セットBでは、第1の時刻情報tk−1(=0.2sec)を有する第1実画像tk−1、及び第2の時刻情報tk(=1.7sec)を有する第2実画像tk、並びに、第1実画像tk−1及び第2実画像tkから生成され、時刻情報taux2を有する第2補間画像taux2が時系列に並んでいる。また、図7に示す3次元画像セットAでは、第3の時刻情報tk−1(=0.0sec)を有する第3実画像tk−1、及び第4の時刻情報tk(=1.5sec)を有する第4実画像tk、並びに第3実画像tk−1及び第4実画像tkから生成され、時刻情報taux1を有する第1補間画像taux1が時系列に並んでいる。
【0049】
そして、図8に示すように、画像生成部107は、各画像の保持する時刻情報に基づき、3次元画像セットBの第2補間画像taux2を有する時刻情報taux2を、3次元画像セットAに時間的に同期させて、新たな画像のシーケンスを生成する。
【0050】
したがって、本実施の形態では、画像生成部107は、同一の被検体から同一の検査部位を対象として、異なるモードで動作するコンピュータ断層撮影装置又は異なるコンピュータ断層撮影装置により供給された複数のボリュームデータから、時系列の複数の3次元画像セットを生成することができる。そして、表示処理部109は、複数の3次元画像セットから正確に時間的に同期した画像のシーケンスを生成することができる。
【0051】
また、本実施の形態では、画像生成部107は、図8に示す3次元画像のシーケンスを用いれば、観察対象部位(心臓)のマルチフェイズデータでの同一フェイズ間のずれの補正も可能となる。また、本実施の形態では、画像生成部107は、図8に示す3次元画像のシーケンスを用いれば、「コンピュータ断層撮影装置から取得した検査の画像取得時間情報」と「表示処理部109で生成される再生フレームレート」を元に、表示部111で正確な実時間で動画再生することができる。
【0052】
さらに、本実施の形態では、画像生成部107は、図7に示す一方の3次元画像セットBにだけ存在する特定の取得時刻(例えば、tk=1.7sec)の実画像tkに合わせて、他方の3次元画像セットAの第3実画像tk−1及び第4実画像tkから新たな補間画像を作成することにより、より正確な3次元画像間の比較を可能にする。
【0053】
図9に、画像生成部107が時間的に等間隔に複数の補間画像を実画像に補った場合の画像のシーケンスを示す。また、画像生成部107は、図9に示すように、同一の被検体から同一の検査部位を対象として、撮影間隔の異なるコンピュータ断層撮影装置により供給された複数のボリュームデータt1(=0.00sec)、t2(=0.17sec)、t3(=0.30sec)から生成された複数の実画像t1、t2、t3のうち実画像t1、t3に対して、時間的に等間隔に補う、時刻情報t4(=0.10sec)を有する補間画像taux4、及び時刻情報t5(=0.20sec)を有する補間画像taux5を生成することができる。そのため、本実施の形態では、時間的に等間隔でない実画像に対して、補間画像を等時間間隔に生成するので、表示部111が表示する医療用画像の表示や解析の質・能力を高めることができる。
【0054】
図10に、実画像に対して一時的に複数の補間画像補い、表示部111に表示した例を示す。画像生成部107は、図10に示すように、表示部111に3次元画像のシーケンスを表示している時のみ、一時的に、画像生成部107が複数の補間画像temp1から補間画像temp3を生成し、各フレームごとに、レンダリング後に複数の補間画像temp1から補間画像temp3を破棄することで、メモリの使用量を削減でき、本実施の形態の医療用画像処理装置100への負荷を軽減することができる。
【0055】
次に、図11を参照して、本実施の形態に係る医療用画像処理装置100の動作処理フローを説明する。図11は、医療用画像処理装置100の動作処理フローである。
【0056】
まず、ステップST1で、ボリュームデータ生成部101は、コンピュータ断層撮影装置により供給された断層信号から、撮影時刻の異なる複数のボリュームデータ、及び各ボリュームデータの時刻情報tnを生成する。そして、ステップST2へ遷移する。
【0057】
次に、ステップST2で、動き解析情報生成部103は、ボリュームデータ生成部101から出力されたボリュームデータのうち、ボリュームデータtk−1及びその時刻情報tk−1、並びにボリュームデータtk及びその時刻情報tkから、動き解析情報を生成する。そして、ステップST3へ遷移する。
【0058】
次に、ステップST3で、補間ボリュームデータ生成部105は、動き解析情報生成部103から出力された動き解析情報に基づき、ボリュームデータtk−1とボリュームデータtkとの間を補間する、補間ボリュームデータtauxとその時刻情報tauxとを生成する。そして、ステップST4へ遷移する。
【0059】
次に、ステップST4で、画像生成部107は、各ボリュームデータtk−1、tkから実際の3次元画像を生成する一方、補間ボリュームデータtauxから補間3次元画像を生成し、時系列に並べる。そして、ステップST5へ遷移する。
【0060】
次に、ステップST5で、表示処理部109は、画像生成部107で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部111のディスプレイに表示するための各種処理を行う。そして、ステップST6へ遷移する。
【0061】
最後に、ステップST6で、表示部111は、表示処理部109で適宜処理された時系列となった実画像tk−1、tk及び補間画像tauxを表示する。そして、動作処理が終了する。
【0062】
以上、本実施の形態に係る医療用画像処理装置100によれば、動き解析情報に基づき補間画像を実画像間に補間することで、画像内の特定の領域の変化を正確に表示することができる。したがって、本実施の形態に係る医療用画像処理装置100によれば、被検体である患者3の検査部位(関心領域)の観察を精度良く行うことができる。
【0063】
例えば、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、従来のレンダリング法でシネ再生するだけでも、心機能の不全等を良好に観察できる。また、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、心臓マルチフェイズデータのような短い時間間隔のものだけでなく、病変の経年変化を観察するような長い時間間隔のデータにも応用できる。
【0064】
さらに、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、ストレイン解析、パフュージョン解析、心機能解析などで、再現性のある全自動化された定量化により、従来よりも安価に正確で結果を誰もが得られる。さらに、また、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、セグメンテーションにより隣接する関心領域(臓器)を設定し、動き解析情報により複数の臓器の動きが同一の部分を推定、臓器間癒着の可能性あり、として表示部111に表示することができる。
【0065】
また、本実施の形態に係る医療用画像処理装置100によれば、動き解析情報に基づき補間画像を実画像間に補間すれば、表示部111のノイズ軽減、ノイズのばらつき調整が可能である。
【0066】
例えば、医療用画像処理装置100が生成した動き解析情報によって、実画像及び補間画像の対応画素を特定することにより、本来の詳細な画像情報を失うことなくノイズを軽減できる。また、医療用画像処理装置100により、CTマルチフェイズ検査において、X線照射量の多いフェイズと少ないフェイズが混在しても、X線照射量の少ないフェイズについては、前後のフェイズの画素値を利用することで、良好な補間画像を得られる。
【0067】
さらに、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、重要なフェイズのみX線照射量を多くして実画像を生成し、それ以外のフェイズについては、補間画像を生成することで、患者3のX線の被ばく量を低減することができる。
【0068】
なお、本実施の形態に係る医療用画像処理装置100では、図1に示すコンピュータ断層撮影装置により、患者3の診断範囲における多数の相連続する断層信号がボリュームデータ生成部101に供給されているが、これに限らない。ボリュームデータ生成部101に供給される信号は、コンピュータ断層撮影装置以外に、たとえば、MRI装置(Magnetic Resonance Imaging)といった、被検体のボリュームデータから検査部位の断層像を生成し、モニター画面に表示して診断を行う装置からの断層信号も含まれる。
【0069】
なお、本実施の形態において、ボリュームデータtkの時刻tkは、ボリュームデータtk−1から所定時間経過した後の時刻であるが、この所定時間は任意の時間であり、たとえば、被検体(患者3)の検査部位(関心領域)の変化が現れると予測される時間に依存して、適宜設定することができる。
【0070】
なお、本実施の形態において、表示処理部109が、画像生成部107で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部111のディスプレイに表示するための各種処理を行う際、以下のような処理が表示部111で可能なように設定されても良い。つまり、(1)動き解析、マスク・パス等の編集、補間画像の生成は、時間・場所・処理装置に関して別々に行え、(2)動き解析情報と、マスク・パス等の編集状態(ワークスペース)を、別のファイルとして保存し、後で組み合わせて補間画像を生成する、(3)動き解析情報と、マスク・パス・レンダリングの情報を含む画像ファイルを、後で組み合わせて補間(増量)画像を生成する、(4)補間画像の生成やジオメトリ情報の伝播の機能があるワークステーション上に、動き解析情報の有無を表示し、ユーザに動き解析が完了したことを即時に知らせる、(5)異なる精度、アルゴリズム、による複数の動き解析情報のマネージメント(削除・コピー・移動)ができる。
【0071】
なお、本実施の形態では、ボリュームデータを生成した時刻情報を、コンピュータ断層撮影装置により供給された時刻tに基づき、生成しているが、これに限らない。
【0072】
なお、本実施の形態の説明に用いた各機能ブロック(図1参照)は、典型的には集積回路であるLSIとして実現される。特に、実画像及び補間画像を生成する計算処理は、GPU(Graphic Processing Unit)により行うことができる。GPUは、汎用のCPU(Central Processing Unit)と比較して画像処理に特化した設計なされている演算処理装置で、通常のCPUとは別個にコンピュータに搭載される。
【0073】
なお、本実施の形態では、心臓の観察に用いる例を示したが、これに限らない。例えば、腫瘍組織の経時変化の観察、血流灌流の観察などに用いることも出来る。
【0074】
(実施の形態2)
上述した実施の形態1に係る医療用画像処理装置100によれば、動き解析情報に基づき、補間画像を実画像間に補間することで、画像内の特定の領域の変化を正確に表示する。しかし、補間画像を実画像間に補間する場合、実画像の画質によっては、単純に補間画像を補間するだけでは、画像内の特定の領域の変化を正確に表示できない場合もある。
【0075】
そこで、実施の形態2に係る医療用画像処理装置300では、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正して、2以上の実画像内の特定の領域(たとえば、被検体(患者3)の検査部位(関心領域))の変化を正確に表示することができる。
【0076】
実施の形態2に係る医療用画像処理装置300では、必ずしも補間画像を生成する必要はない。動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質を補正して、2以上の実画像内の特定の領域の変化を正確に表示することができれば、補間画像を生成する必要はない。
【0077】
図12を参照して、本実施の形態2に係る医療用画像処理装置300の構成について説明する。図12に示す医療用画像処理装置300は、ボリュームデータ生成部301と、動き解析情報生成部303と、補間ボリュームデータ生成部305と、補正処理部306と、画像生成部307と、表示処理部309と、を備える。さらに、医療用画像処理装置300には、医療用画像処理装置300で生成された画像を表示する表示部311と、医療用画像処理装置100の各部を操作するためのユーザインターフェースである操作部313と、が設けられている。
【0078】
ボリュームデータ生成部301は、実施の形態1と同様、コンピュータ断層撮影装置により供給された断層信号から、撮影時刻の異なる複数のボリュームデータを生成し、各ボリュームデータが生成された時刻を表す時刻情報と共に、動き解析情報生成部303と、補正処理部306と、画像生成部307とへ出力する。
【0079】
また、ボリュームデータ生成部301は、コンピュータ断層撮影装置から、装置の撮像条件(例えば、X線量、撮影時間、造影剤の注入の時刻)を取得し、画像生成部307へ出力する。撮像条件により、のちに生成される実画像の画質が大きく変化する。なお、コンピュータ断層撮影装置の撮像条件以外にも、コンピュータ断層撮影装置の撮影対象の条件(患者の動きや、患者の体内に含まれる金属など)により、のちに生成される実画像の画質が大きく変化する。
【0080】
なお、ボリュームデータ生成部301は、図示しないメモリに、撮影時刻の異なる複数のボリュームデータ、コンピュータ断層撮影装置の撮像条件、コンピュータ断層撮影装置の撮影対象の条件を保持することができる。
【0081】
ここで、本実施の形態では、ボリュームデータ生成部301は、実施の形態1と同様、複数のボリュームデータの各ボリュームデータが、コンピュータ断層撮影装置により撮影された時刻tに基づき、ボリュームデータを生成した時刻情報tn(n=1、2、…、k−1、k、k+1…:自然数)を生成するものとする。
【0082】
以下、説明のため、ボリュームデータ生成部301では、時刻情報tk−1のボリュームデータと、時刻tk−1から所定時間経過後に撮影され、ボリュームデータ生成部301に供給された断層信号に基づき生成された時刻情報tkのボリュームデータと、時刻tkから所定時間経過後に撮影され、ボリュームデータ生成部301に供給された断層信号に基づき生成された時刻情報tk+1のボリュームデータを保持しているものとする。また、以下、説明のため、時刻情報tkのボリュームデータを、ボリュームデータtkと適宜省略して記載する。
【0083】
動き解析情報生成部303は、ボリュームデータ生成部301から出力されたボリュームデータのうち、ボリュームデータtk−1及びその時刻情報tk−1、並びにボリュームデータtk及びその時刻情報tkから、動き解析情報を生成する。
【0084】
ここで、動き解析情報とは、複数のボリュームデータ上の対応する位置もしくは対応する物体の対応関係の情報、及び、前記位置及び物体が移動変化する過程の情報を指す。また、各ボリュームデータの画素が、時刻k−1と時刻kとの間の任意の時刻での位置を示す指標となる。
【0085】
そして、動き解析情報生成部303は、生成した動き解析情報を、補間ボリュームデータ生成部305と画像生成部307とに出力する。動き解析情報生成部303が生成する動き解析情報は、実施の形態1の動き解析情報生成部103と同様(図2参照)、3次元画像の情報を含むボリュームデータtk−1の各画素がどのように変位して、ボリュームデータtkでの画素となっているかを示す。
【0086】
補間ボリュームデータ生成部305は、操作部313の入力指示に基づき、必要に応じて、3次元画像の情報を含むボリュームデータtk−1とボリュームデータtkとの間を補間する、補間ボリュームデータtauxとその時刻情報tauxとを生成し、補正処理部306に出力する。
【0087】
ここで、本実施の形態では、実施の形態1と同様、補間ボリュームデータtauxが有する時刻情報tauxは、時刻情報tk−1と時刻情報tkとの中間の時刻情報ではない。言い換えると、補間ボリュームデータの時刻情報tauxと直前のタイミングに生成されたボリュームデータtk−1の時刻情報tk−1との間隔Aと、補間ボリュームデータの時刻情報tauxと直後のタイミングに生成されたボリュームデータの時刻情報tkとの間隔Bとが異なる間隔、すなわち、非等間隔となっている。この理由については、実施の形態1で上述した理由と同じであるため、詳細な説明は省略する。
【0088】
本実施の形態に係る医療用画像処理装置300の一つの特徴として、補正処理部306は、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像(入力画像)の画質、又は2つの実画像間を補間する補間画像の画質を補正する。
【0089】
<補正処理1:画質の均一化>
補正処理の一例として、コンピュータ断層撮影装置の撮影対象の条件などから、補正処理部306の補正処理前の時刻tk−1、tkにおける画像の画質が均一でない場合、補正処理部306は、動き解析情報生成部303からの入力された動き解析情報、ボリュームデータ生成部301から入力されたボリュームデータtkのボクセル及びボリュームデータtk−1のボクセルに基づき、画像生成部307で生成する実画像tk−1、tk、の画素値を求める。詳細は、図13、図14を参照して後述する。
【0090】
図13に、補正処理前後の実画像tk−1、tkの例(1)を示す。なお、補正処理前の実画像(入力画像)は、説明のため示しているが、画像生成部307が実際に生成する画像(出力画像)は、補正処理部306で補正処理が行われた後の実画像tk−1、tkである。図13に示すように、補正処理前の時刻tk−1、tkにおける画像の画質が均一ではないが、補正処理部306で補正処理が行われた後は、実画像tk−1、tkの画質は均一となる。そのため、本実施の形態に係る医療用画像処理装置300は、動き解析情報及び画像の画質情報に基づき、複数のボリュームデータからそれぞれ画像を作成するときの画質を向上させることができる。さらに、本実施の形態に係る医療用画像処理装置300は、補正処理後の各画像の特定の領域(たとえば、被検体(患者3)の検査部位(関心領域))の経時間変化を、正確に表示することができる。なお、必要に応じて、補正処理部306は、補間ボリュームデータ生成部305から出力された補間ボリュームデータtauxを、実画像tk−1、tkと同様に補正処理を行う。
【0091】
次に、図14を参照して、実画像tk−1、tkの画質を均一とするための補正処理について説明する。図14は、本実施の形態に係る医療用画像処理装置300補正処理フローの例(1)である。
【0092】
図14に示すように、ステップST31では、出力フェイズの前後に相当する、2以上の入力フェイズについて、ボリュームデータtk、tk−1を取得する。そして、ステップST32へ遷移する。
【0093】
ステップST32では、ボリュームデータtk、tk−1それぞれについて、ボクセル位置ごとに、信頼度(0〜1)を決定する。ここで、ボリュームデータtk、tk−1についての信頼度(信頼性の高さ)は、出力フェイズとの時間的距離、ボリュームデータtk、tk−1を撮影した時の撮影条件(X線照射量など)、当該ボリュームデータtk、tk−1のS/N比、近傍の領域の移動速度や画素値の特徴などにより、決定することが考えられる。そして、ステップST33へ遷移する。
【0094】
ステップST33では、出力フェイズの全ボクセルについて、ボリュームデータtk、tk−1の画素値を、動き解析情報及びボリュームデータtk、tk−1より求める。
そして、ステップST34へ遷移する。
ステップST34では、出力フェイズの全ボクセルについて、前後の入力フェイズでの対応する位置を、動き解析情報により求める。そして、ステップST35へ遷移する。
【0095】
ステップST35では、各対応位置の画素値を入力画像上でサンプリングし、サンプリングした値を、入力フェイズに対応する入力画素値とする。そして、ステップST36へ遷移する。
ステップST36では、入力フェイズに対応する入力画素値の信頼度を取得する。
そして、ステップST37へ遷移する。
【0096】
ステップST37では、入力フェイズに対応する入力画素値に、取得した信頼度を乗じ、当該入力画素値について、各入力フェイズで加算したものを、出力フェイズで、補正後のボリュームデータtk、tk−1の画素値とする。そして、処理が終了する。
【0097】
ここで、ステップST32における、ボリュームデータtk、tk−1の信頼度(信頼性の高さ)について、画素値の信頼性の高さに応じ、4Dフィルタのパラメータを各実画像tk、tk−1毎、又はボクセル毎に変えることで、全体の適正なS/Nを保ちつつ、元画像の空間分解能を最大限活用することができる。
【0098】
画素値の信頼性は、時刻、ボクセルの位置、画素値、収縮度、速度、加速度、近傍の画素の変位から求めた回転量、変形の度合いなどの関数である。また、近傍の領域の特徴(高画素値の領域の有無、など)が、画素値の信頼性に影響することもある。
【0099】
4Dフィルタの方法として、平滑化、エッジ強調、最大値・最小値投影、差分、累積加算、ヒストグラムマッチング、およびそれらの組み合わせなどがある。
【0100】
<補正処理2:画像の特性の均一>
また、補正処理部306は、動き解析情報生成部303からの入力された動き解析情報、並びにボリュームデータ生成部301から入力されたボリュームデータtk、のボクセル及びボリュームデータtk−1のボクセルに基づき、画像生成部307で生成する実画像tk−1、tkの画素値の値的な歪み量を求める。詳細は、図15を参照して後述する。
【0101】
なお、補正処理部306が画像生成部307で生成する実画像tk−1、tkの画素値の値的な歪み量を求めるのは、たとえば、コンピュータ断層撮影装置の撮影対象の条件(画質情報の元となる条件)などから、生成される画像の特性(明度、ダイナミックレンジ)が均一でない場合が考えられる。
【0102】
ここで、画素値の値的な歪み量とは、対応時刻、変位後の位置、対応位置の入力画素値、変位場の収縮度、変位の大きさ(速度)やその加速度、近傍での最大画素値や、その最大画素値のボクセルから当該ボクセルまでの距離、などの関数である。
【0103】
ボリュームデータ生成部301から入力されたボリュームデータtk、のボクセル及びボリュームデータtk−1のボクセルと、動き解析情報から画素値の歪の量の関数を求める方法としては、対応する位置の画素値の変化量を画像内で統計処理する、などが考えられる。
【0104】
そして、補正処理部306で求めた画素値の値的な歪み量に基づき、実画像tk−1、tkを補正処理すると、生成される画像の特性(明度、ダイナミックレンジ)が均一な画像を作成することができる。
【0105】
<補正処理フロー(2):画像の特性(明度、ダイナミックレンジ)の均一化>
ここで、図15を参照して、実画像tk−1、tkの画質、における特性(明度、ダイナミックレンジ)を均一とするための、補正処理部306で補正処理について説明する。図15は、本実施の形態に係る医療用画像処理装置300補正処理フローの例(2)である。
【0106】
図15に示すように、ステップST41では、出力フェイズの前後に相当する、2以上の入力フェイズについて、ボリュームデータtk、tk−1を取得する。そして、ステップST42へ遷移する。
【0107】
ステップST42では、2以上の入力フェイズについて、ボリュームデータtk、tk−1と動き解析情報から、画素値の値的な歪の量の関数を算出する。そして、ステップST43へ遷移する。
ステップST43では、歪の量の関数から、ボリュームデータtk、tk−1の各ボクセル位置について、画素値の補正係数を算出する。そして、ステップST44へ遷移する。
【0108】
ステップST44では、出力フェイズの全ボクセルについて、動き解析情報及びボリュームデータtk、tk−1から、ボリュームデータtk、tk−1の画素値を算出する。
そして、ステップST45へ遷移する。
ステップST45では、出力フェイズの全ボクセルについて、前後の入力フェイズでの対応する位置を、動き解析情報から算出する。そして、ステップST46へ遷移する。
【0109】
ステップST46では、各対応位置の画素値を入力画像上でサンプリングし、サンプリングした値を、入力フェイズに対応する入力画素値とする。そして、ステップST47へ遷移する。
ステップST47では、上記入力画素値に、対応ボクセル位置の補正係数による変換をし、これをそれぞれの入力フェイズについて加算したものを、出力フェイズの画素値とする。そして、処理が終了する。
【0110】
<補正処理3:変形又は変異による画素値の変化>
また、本実施の形態に係る医療用画像処理装置300の一つの特徴として、補正処理部306は、動き解析情報及び2以上の実画像(入力画像)tk−1、tkの画質情報に基づき、動き解析情報から得られる入力画像内の特定の領域に関する変形又変位による画素値の変化を見込んだ補正処理を行うこともできる。図16を参照して、説明する。
【0111】
図16は、実画像tk−1、tkの補正処理の例(2)を説明するための図である。説明のため、図16では、入力画像tk−1、tk内の特定の領域を領域R1とする。図16に示すように、領域R1は、実画像tk−1から実画像tkへ遷移する間に縮小する。領域Rが縮小すると、領域R1では造影剤などが濃縮され、何も補正処理を実行しなければ、実画像tk上、領域R1の画素値が大きくなってしまう。これは、造影剤の注入の時刻情報を加味すると更に効果的である。
【0112】
そこで、補正処理部306は、動き解析情報生成部303から得られる動き解析情報に基づき、領域R1の変形変異を取得し、実画像tkに対して変形変異を見込んだ補正処理を行う。
【0113】
上述のように、補正処理部306は、動き解析情報及び2以上の実画像(入力画像)tk−1、tkの画質情報などに基づき、動き解析情報から得られる入力画像内の特定の領域R1に関する変形又変位による、画素値の変化を見込んだ補正処理を行うことで、2以上の実画像内の特定の領域(たとえば、被検体(患者3)の検査部位(関心領域))の変化を正確に表示することができる。
【0114】
<補正処理4:代表値での置き換え>
図17は、実画像tk−1、tk、tk+1の補正処理の例(3)を説明するための図
である。説明のため、図17では、実画像(入力画像)tk−1、tk、tk+1内の特
定の領域を領域R2とする。図17に示すように、領域R2は、実画像tk−1から実画像tk+1へ遷移する間に縮小する。領域Rが縮小すると、領域R2では造影剤などが濃縮され、何も補正処理を実行しなければ、実画像(入力画像)tk−1、よりも、実画像tk、tk+1の領域R2の画素値が大きくなってしまう。
【0115】
そこで、補正処理部306は、動き解析情報生成部303から得られる実画像tk−1、tk間、及び実画像tk、tk+1間の動き解析情報に基づき、領域R2の変形変異を取得し、実画像tkについて実画像tk−1、tk、tk+1で対応する画素値を比較し
、もっともS/Nの高い画素の画素値を、実画像tkにおける画素値とする。
【0116】
また、補正処理部306は、動き解析情報生成部303から得られる実画像tk−1、tk間、及び実画像tk、tk+1間の動き解析情報に基づき、領域R2の変形変異を取得し、実画像tkに対して、実画像tk−1、tk、tk+1で対応する画素値で、S/Nを加味した加重平均を取り、それを新しい画素値とすることも可能である。
【0117】
上述のように、補正処理部306は、動き解析情報及び2以上の実画像(入力画像)tk−1、tkの画質情報などに基づき、動き解析情報から得られる入力画像内の特定の領域R2に関する変形又変位による、画素値の変化を見込んだ補正処理を行うことで、2以上の実画像内の特定の領域(たとえば、被検体(患者3)の検査部位(関心領域))の変化を正確に表示することができる。
【0118】
<補正処理5:2以上実画像の画質の均一化>
図18は、実画像及び補間画像の補正処理の例(4)を説明するための図である。補正処理の他の例として、図18に示すように、上述した補正処理を組み合わせて、補正処理部306は、補間ボリュームデータ生成部305で生成した実画像tk−1、tk間の補間画像taux2について、実画像tk−1、tkに関する動き解析情報、及び画質を均一化する補正処理(図13、図14参照)後の実画像tk−1、tkの画質情報などに基づき、補間画像taux2の補正処理を行うことができる。
【0119】
補間画像taux2の補正処理を行う場合、たとえば、図16を参照して説明した方法
を用いると、補正処理部306は、動き解析情報生成部303から得られる実画像tk−1、tkに関する動き解析情報に基づき、図18に示す領域R3の変形変異を取得し、補間画像taux2に対して変形変異を見込んだ補正処理を行う。
【0120】
また、補間画像taux2の補正処理を行う場合、たとえば、図17を参照して説明し
た方法を用いると、補正処理部306は、動き解析情報生成部303から得られる実画像tk−1、補間画像taux2間、及び補間像taux2、実画像tk間の動き解析情報
に基づき、領域R2の変形変異を取得し、補間実画像taux2について実画像tk−1
、tk、及び補間画像taux2で対応する画素値を比較し、もっともS/Nの高い画素
の画素値を、実画像taux2における画素値とする。この場合、比較する補間画像ta
ux2の画素値をゼロとすれば良い。
【0121】
<補正処理6:2番目以降の画像の画素値の差分の保存>
図19は、実画像の補正処理の例(5)を説明するための図である。補正処理の他の例として、図19に示すように、補正処理部306は、補間ボリュームデータ生成部305で生成した実画像tk−1、tkについて、実画像tk−1、tkに関する動き解析情報、及び実画像tk−1、tkの画質情報などに基づき、実画像tkの補正処理を行い、実画像tk−1から数えて2番目の実画像tkについては、実画像tk−1の画素値との差分のみをデータとして保存しておくで、情報量(量子化ビット数)を減らしつつ、画質を維持することができる。同様に、補正処理部306は、補間ボリュームデータ生成部305で生成した実画像tk、tk+1について、実画像tk、tk+1に関する動き解析情報、及び実画像tk、tk+1の画質情報などに基づき、実画像tk+1の補正処理を行い、実画像tk+1については、実画像tkの画素値との差分のみをデータとして保存しておくで、情報量(量子化ビット数)を減らしつつ、画質を維持することができる。
【0122】
画像生成部307は、補正処理部306から出力される補正処理後のボリュームデータtk−1、tk、とその時刻情報tk−1、tk、補正処理後の補間ボリュームデータtaux、及びその時刻情報tauxを入力とする。そして、画像生成部307は、補正処理後の、補間ボリュームデータtaux、各ボリュームデータtk−1、tkから実際の
3次元画像を生成し、時系列に並べる。
【0123】
表示処理部309は、画像生成部307で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部311のディスプレイに表示するための各種処理を行う。例えば、画像生成部307で生成された3次元画像のシーケンスを生成して、表示部311で動画像として再生するための処理(再生フレームレートの設定など)を行う ことができる。
【0124】
表示部311は、表示処理部309で適宜処理された、時系列の実画像tk−1、tk及び補間画像tauxを表示する。表示部111は、時系列となった実画像tk−1、t
k及び補間画像taux以外に、各画像の時刻情報も表示する。また、必要に応じて、表示部111は、画像生成部307で生成された3次元画像のシーケンスを、表示処理部309での処理の後、動画像として再生することができる。
【0125】
以上、実施の形態2に係る医療用画像処理装置300によれば、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正して、2以上の実画像内の特定の領域(たとえば、被検体(患者3)の検査部位(関心領域))の変化を正確に表示することができる。したがって、本実施の形態に係る医療用画像処理装置300によれば、被検体である患者3の検査部位(関心領域)の観察を精度良く行うことができる。
【0126】
例えば、医療用画像処理装置300により、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正すれば、従来のレンダリング法でシネ再生するだけでも、心機能の不全等を良好に観察できる。また、医療用画像処理装置300により、動き解析情報に基づき補間画像を実画像間に補間すれば、心臓マルチフェイズデータのような短い時間間隔のものだけでなく、病変の経年変化を観察するような長い時間間隔のデータにも応用できる。
【0127】
さらに、医療用画像処理装置300により、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正すれば、ストレイン解析、パフュージョン解析、心機能解析などで、再現性のある全自動化された定量化により、従来よりも安価に正確で結果を誰もが得られる。さらに、また、医療用画像処理装置300により、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正すれば、複数のボリュームデータに対してセグメンテーション処理を行うときに処理結果を安定させることが出来る。また、臓器間癒着の判断を自動処理で行う場合も医師等が動画を直接観察する場合も容易になる。
【0128】
また、本実施の形態に係る医療用画像処理装置300によれば、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正すれば、表示部311のノイズ軽減、ノイズのばらつき調整が可能である。
【0129】
例えば、医療用画像処理装置300が生成した動き解析情報によって、実画像又は補間画像の対応画素を特定することにより、本来の詳細な画像情報を失うことなくノイズを軽減できる。また、医療用画像処理装置300により、CTマルチフェイズ検査において、X線照射量の多いフェイズと少ないフェイズが混在しても、X線照射量の少ないフェイズについては、前後のフェイズの画素値を利用することで、良好な補間画像を得られる。
【0130】
さらに、医療用画像処理装置300により、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正すれば、重要なフェイズのみX線照射量を多くして実画像を生成し、それ以外のフェイズについては、補間画像を生成することで、患者3のX線の被ばく量を低減することができる。
【0131】
なお、本実施の形態に係る医療用画像処理装置300では、コンピュータ断層撮影装置により、患者3の診断範囲における多数の相連続する断層信号がボリュームデータ生成部301に供給されているが、これに限らない。ボリュームデータ生成部301に供給される信号は、コンピュータ断層撮影装置以外に、たとえば、MRI装置(Magnetic Resonance Imaging)といった、被検体のボリュームデータから検査部位の断層像を生成し、モニター画面に表示して診断を行う装置からの断層信号も含まれる。
【0132】
なお、本実施の形態において、ボリュームデータtkの時刻tkは、ボリュームデータtk−1から所定時間経過した後の時刻であるが、この所定時間は任意の時間であり、たとえば、被検体(患者3)の検査部位(関心領域)の変化が現れると予測される時間に依存して、適宜設定することができる。
【0133】
なお、本実施の形態において、表示処理部309が、画像生成部307で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部311のディスプレイに表示するための各種処理を行う際、以下のような処理が表示部311で可能なように設定されても良い。つまり、(1)動き解析、マスク・パス等の編集、補間画像の生成は、時間・場所・処理装置に関して別々に行え、(2)動き解析情報と、マスク・パス等の編集状態(ワークスペース)を、別のファイルとして保存し、後で組み合わせて補間画像を生成する、(3)動き解析情報と、マスク・パス・レンダリングの情報を含む画像ファイルを、後で組み合わせて補間(増量)画像を生成する、(4)補間画像の生成やジオメトリ情報の伝播の機能があるワークステーション上に、動き解析情報の有無を表示し、ユーザに動き解析が完了したことを即時に知らせる、(5)異なる精度、アルゴリズム、による複数の動き解析情報のマネージメント(削除・コピー・移動)ができる。
【0134】
なお、本実施の形態では、ボリュームデータを生成した時刻情報を、コンピュータ断層撮影装置により供給された時刻に基づき、生成しているが、これに限らない。
【0135】
なお、本実施の形態の説明に用いた各機能ブロック(図12参照)は、典型的には集積回路であるLSIとして実現される。特に、実画像及び補間画像を生成する計算処理は、GPU(Graphic Processing Unit)により行うことができる。GPUは、汎用のCPU(Central Processing Unit)と比較して画像処理に特化した設計なされている演算処理装置で、通常のCPUとは別個にコンピュータに搭載される。
【0136】
なお、本実施の形態では、心臓の観察に用いる例を示したが、これに限らない。例えば、腫瘍組織の経時変化の観察、血流灌流の観察などに用いることも出来る。
【0137】
(実施の形態3)
上述した実施の形態1に係る医療用画像処理装置100によれば、動き解析情報に基づき、補間画像を実画像間に補間することで、画像内の特定の領域の変化を正確に表示する。その一方で、観察対象の領域を画像としてよりも、その形状や大きさなどのより客観的な指標で把握したい場合がある。この場合は観察対象のジオメトリ情報を作成するが、補間ボリュームを含む多数のボリュームデータそれぞれにジオメトリ情報を作成するには多大な労力がかかる。また、異なるボリュームデータのジオメトリ情報の間の対応関係を設定するのも多大な労力がかかる。
【0138】
そこで、実施の形態3に係る医療用画像処理装置500では、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成することで、個別にジオメトリ情報を生成するのに比較して、セグメンテーションに係る操作の手間、補正処理を減らすことができる。さらに、実施の形態3に係る医療用画像処理装置500では、実画像と他の実画像との画質に差異によって、セグメンテーションの結果の揺らぎを抑止できる。そのため、ユーザは、より客観的な画像解析を行うことができる。
【0139】
さらには、実施の形態3に係る医療用画像処理装置500では、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報から他の実画像のジオメトリ情報を生成しているので、他の実画像のジオメトリ情報は、内在的に実画像のボリュームデータから生成したジオメトリ情報との対応関係を有している。そのため、他の実画像のジオメトリ情報と実画像のジオメトリ情報との対応関係を改めて取得、計算する必要がない。
【0140】
図20を参照して、本実施の形態3に係る医療用画像処理装置500の構成について説明する。図20に示す医療用画像処理装置500は、ボリュームデータ生成部501と、動き解析情報生成部503と、補間ボリュームデータ生成部505と、ジオメトリ情報生成部506と、画像生成部507と、表示処理部509と、を備える。さらに、医療用画像処理装置500には、医療用画像処理装置500で生成された画像を表示する表示部511と、医療用画像処理装置500の各部を操作するためのユーザインターフェースである操作部513と、が設けられている。
【0141】
ボリュームデータ生成部501は、実施の形態1と同様、コンピュータ断層撮影装置により供給された断層信号から、撮影時刻の異なる複数のボリュームデータを生成し、各ボリュームデータが生成された時刻を表す時刻情報と共に、動き解析情報生成部503と、ジオメトリ情報生成部506と、画像生成部507とへ出力する。
【0142】
また、ボリュームデータ生成部501は、コンピュータ断層撮影装置から、装置の撮像条件(例えば、X線量、撮影時間、造影剤の注入の時刻)を取得し、画像生成部507へ出力する。なお、コンピュータ断層撮影装置の撮像条件以外にも、コンピュータ断層撮影装置の撮影対象の条件(患者の動きや、患者の体内に含まれる金属など)により、のちに生成される実画像の画質が大きく変化する。
【0143】
なお、ボリュームデータ生成部501は、図示しないメモリに、撮影時刻の異なる複数のボリュームデータ、コンピュータ断層撮影装置の撮像条件、コンピュータ断層撮影装置の撮影対象の条件を保持することができる。
【0144】
ここで、本実施の形態では、ボリュームデータ生成部501は、実施の形態1と同様、複数のボリュームデータの各ボリュームデータが、コンピュータ断層撮影装置により撮影された時刻tに基づき、ボリュームデータを生成した時刻情報tn(n=1、2、…、k−1、k、k+1…:自然数)を生成するものとする。
【0145】
以下、説明のため、ボリュームデータ生成部501では、時刻情報tk−1のボリュームデータと、時刻tk−1から所定時間経過後に撮影され、ボリュームデータ生成部501に供給された断層信号に基づき生成された時刻情報tkのボリュームデータと、時刻tkから所定時間経過後に撮影され、ボリュームデータ生成部501に供給された断層信号に基づき生成された時刻情報tk+1のボリュームデータを保持しているものとする。また、以下、説明のため、時刻情報tkのボリュームデータを、ボリュームデータtkと適宜省略して記載する。
【0146】
動き解析情報生成部503は、ボリュームデータ生成部501から出力されたボリュームデータのうち、ボリュームデータtk−1及びその時刻情報tk−1、並びにボリュームデータtk及びその時刻情報tkから、動き解析情報を生成する。
【0147】
ここで、動き解析情報とは、複数のボリュームデータ上の対応する位置もしくは対応する物体の対応関係の情報、及び、前記位置及び物体が移動変化する過程の情報を指す。また、各ボリュームデータの画素が、時刻k−1と時刻kとの間の任意の時刻での位置を示す指標となる。
【0148】
そして、動き解析情報生成部503は、生成した動き解析情報を、補間ボリュームデータ生成部505と、ジオメトリ情報生成部506と、画像生成部507とに出力する。動き解析情報生成部503が生成する動き解析情報は、実施の形態1の動き解析情報生成部103と同様(図2参照)、3次元画像の情報を含むボリュームデータtk−1の各画素がどのように変位して、ボリュームデータtkでの画素となっているかを示す。
【0149】
補間ボリュームデータ生成部505は、操作部513の入力指示に基づき、必要に応じて、3次元画像の情報を含むボリュームデータtk−1とボリュームデータtkとの間を補間する、補間ボリュームデータtauxとその時刻情報tauxとを生成し、画像生成部507とに出力する。
【0150】
ジオメトリ情報生成部506は、ボリュームデータ生成部501から出力された、撮影時刻の異なる複数のボリュームデータとその時刻情報に基づき、必要に応じて、1又は複数のボリュームデータのジオメトリ情報を生成し、画像生成部507に出力する。以下、時刻情報tkにおけるボリュームデータtkのジオメトリ情報を、ジオメトリ情報Gtkと称する。
【0151】
ここで、ジオメトリ情報とは、1つの3次元実画像について、中実、表面、線、位置、又はこれらの要素の組み合わせで表現した組織の情報である。特に、ボクセルデータのマスクで表現される領域の中実や表面であることが多く、セグメンテーションなどの従来手法を用いることができる。また、トラッキングなどの従来手法を用いて取得される線であることもある。これらはマスク・パス・点として表現することができる。
【0152】
図21(a)、図21(b)を参照して、ジオメトリ情報生成部506での処理について説明する。図21(a)は、ジオメトリ情報生成部506での処理1を模式的に示す図であり、図21(b)は、ジオメトリ情報生成部506での処理2を模式的に示す図である。
【0153】
図21(a)に示すように、ジオメトリ情報生成部506は、ボリュームデータtk−1における、3次元的に表現されている特定の領域Rについて、ジオメトリ情報Gtk−1を生成する。次に、図21(b)に示すように、ジオメトリ情報生成部506は、特定の領域Rのジオメトリ情報Gtk−1及び、あらかじめ動き解析情報生成部503から取得したボリュームデータtk−1とボリュームデータtk間の動き解析情報から、特定の領域Rのジオメトリ情報Gtkを生成する。ジオメトリ情報Gtkはジオメトリ情報Gtk−1に含まれる座標情報をその座標における動き解析情報による動きを適用して、ジオメトリ情報Gtkにおける座標を取得し、この時に座標情報(例えばノード)の属するマスク・パス・点の関係(例えばリンク)を維持することによって求めることが出来る。
【0154】
また、ジオメトリ情報生成部506は、操作部513の入力指示に基づき、必要に応じて、生成した各ボリュームデータのジオメトリ情報を、補間ボリュームデータ生成部505に出力する。
【0155】
また、補間ボリュームデータ生成部505は、操作部513の入力指示に基づき、必要に応じて、動き解析情報生成部503で生成した動き解析情報、及びジオメトリ情報生成部506で生成したジオメトリ情報Gtkに基づき、補間ボリュームデータtauxとその時刻情報tauxを生成することができる。
【0156】
ここで、本実施の形態では、実施の形態1と同様、補間ボリュームデータtauxが有する時刻情報tauxは、時刻情報tk−1と時刻情報tkとの中間の時刻情報とは限らない。言い換えると、補間ボリュームデータの時刻情報tauxと直前のタイミングに生成されたボリュームデータtk−1の時刻情報tk−1との間隔Aと、補間ボリュームデータの時刻情報tauxと直後のタイミングに生成されたボリュームデータの時刻情報tkとの間隔Bとが異なる間隔、すなわち、非等間隔となっている。この理由については、実施の形態1で上述した理由と同じであるため、詳細な説明は省略する。
【0157】
画像生成部507は、ボリュームデータ生成部501から出力されるボリュームデータtk−1、tk、とその時刻情報tk−1、tk、補間ボリュームデータ生成部505から出力される補間ボリュームデータtauxとその時刻情報taux、を入力とする。そして、画像生成部507は、補間ボリュームデータtaux、各ボリュームデータtk−1、tkから実際の3次元画像、及び、補間ジオメトリ情報Gtaux、各ジオメトリ情報Gtkと重ね合わせた画像を生成し、時系列に並べる。この時に、補間ジオメトリ情報Gtaux、各ジオメトリ情報Gtkに含まれる数値を可視化する。数値は例えば、組織の体積(心室の体積、肺の体積、腫瘍の体積)、表面積(腫瘍が浸潤した面の面積)、長さ(血管の長さ、心壁の厚さ)、位置(弁の座標)が挙げられる。また、補間ジオメトリ情報Gtaux、各ジオメトリ情報Gtkに含まれる数値の変化を可視化する。例えば、肺活量、腫瘍の成長などがある。
【0158】
表示処理部509は、画像生成部507で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部311のディスプレイに表示するための各種処理を行う。例えば、画像生成部507で生成された3次元画像のシーケンスを生成して、表示部511で動画像として再生するための処理(再生フレームレートの設定など)を行うことができる。
【0159】
表示部511は、表示処理部509で適宜処理された、時系列の実画像tk−1、tk及び補間画像tauxを表示する。表示部511は、時系列となった実画像tk−1、t
k及び補間画像taux以外に、各画像の時刻情報も表示する。また、必要に応じて、表示部511は、画像生成部507で生成された3次元画像のシーケンスを、表示処理部509での処理の後、動画像として再生することができる。
【0160】
<画像処理の例(1)>
次に、図22を参照して、本実施の形態3に係る医療用画像処理装置500の画像処理の一例について説明する。図22は、本実施の形態3に係る医療用画像処理装置500の画像処理の例(1)を示す図である。
【0161】
図22に示すように、ユーザが、操作部513を介して、3次元実画像tk−1上で、特定の領域Rについて、ジオメトリ情報Gtk−1に含まれるマスク・パス・点などの編集をすると、ボリュームデータtk−1とボリュームデータtk間の動き解析情報に基づき、インタラクティブに、その編集内容を他の3次元画像tkに伝播させることはできる。これは、あらかじめ、ボリュームデータtk−1とボリュームデータtk間の動き解析情報と、ジオメトリ情報Gtk−1とにより、他の3次元画像tkの特定の領域Rについて、ジオメトリ情報Gtを生成しているからである。また、ユーザが、操作部513を介して、3次元実画像tk−1上で、特定の領域Rについて、ジオメトリ情報Gtk−1に含まれるマスク・パス・点などの編集・保存したものに、後から、ボリュームデータtk−1とボリュームデータtk間の動き解析情報を適用し、その編集内容を他の3次元画像tkに伝播させることができる。これによってジオメトリ情報Gtk−1作成の処理やユーザの労力が軽減される。
【0162】
また、ジオメトリ情報Gtに含まれるマスク・パス・点などの編集をすると、ボリュームデータtk−1とボリュームデータtk間の動き解析情報を修正する事が出来る。これは、ジオメトリ情報Gtとジオメトリ情報Gtk−1との対応関係が定められているからである。これによって動き解析情報を容易に修正することが出来る。
【0163】
<画像処理の例(2)>
次に、図23を参照して、本実施の形態3に係る医療用画像処理装置500の画像処理の一例について説明する。図23は、本実施の形態3に係る医療用画像処理装置500の画像処理の例(2)を示す図である。
【0164】
図23では、まず、ユーザが、操作部513を介して、3次元実画像tk−1上で、特定の領域Rについて、ジオメトリ情報Gtk−1に含まれるマスク・パス・点などの編集をすると、ボリュームデータtk−1とボリュームデータtk間の動き解析情報に基づき、インタラクティブに、その編集内容を他の3次元画像tkに伝播させることができる。さらに、ユーザが、操作部513を介して、3次元実画像tk−1上で、特定の領域Rについて、ジオメトリ情報Gtk−1に含まれるマスク・パス・点などの編集した後に、同じ動き解析情報を用いて、補間ジオメトリ情報Gtaux、及び補間画像taux3を生成成することができる。このとき、補間画像taux3の時刻情報taux3は、時刻情報tk−1と時刻情報tkとの中間の時刻情報ではない、非等間隔な時刻で生成することできる。
なお、補間ジオメトリ情報Gtauxとは、ジオメトリ情報と同様、1つの3次元補間画像について、中実、表面、線、位置、又はこれらの要素の組み合わせで表現した組織の情報である。
【0165】
そして、補間画像taux3の時刻情報taux3を決める際に、あらかじめ生成していたボリュームデータtk−1とボリュームデータtk間の動き解析情報と、ジオメトリ情報Gtk−1を利用する。たとえば、特定の領域Rが心臓である場合、その容積が最大となる時刻を、補間画像taux3の時刻情報taux3に設定すれば、特定の領域Rの時間変化を容易に画像化することができる。
【0166】
ここで、補間ボリュームデータとは、時刻tk−1と時刻tkとの間の特定の時刻tauxにおけるボリュームデータである。つまり、補間ボリュームデータ生成部505が補間ボリュームデータtauxを生成することは、実際はコンピュータ断層撮影装置で撮像されていない時刻tauxにおいて、あたかもコンピュータ断層撮影装置により撮像して、ボリュームデータ生成部501がボリュームデータを生成したことと、同等となる。
【0167】
<画像処理の例(3)>
次に、図24を参照して、本実施の形態3に係る医療用画像処理装置500の画像処理の一例について説明する。図24は、本実施の形態3に係る医療用画像処理装置500の画像処理の例(3)を示す図である。
【0168】
図24に示すように、ボリュームデータtk−1とボリュームデータtk間の動き解析情報から、特定の領域Rについて、時刻情報tk−1から時刻情報tkまでの変形変異を取得し、この変形変異を見込んで、ボリュームデータtk−1について特定の領域Rのボクセル値の変化を予測し補正する補正処理を行う際に、ジオメトリ情報Gtk−1を利用することができる。つまり、図24に示すように、特定の領域Rは、実画像tk−1から実画像tkへ遷移する間に縮小する。特定の領域Rが縮小すると、特定の領域Rでは造影剤などが濃縮され、何も補正処理を実行しなければ、実画像tk上、特定の領域Rの画素値が大きくなってしまう。これは、造影剤の注入の時刻情報を加味すると更に効果的である。
【0169】
そこで、ボリュームデータtk−1とボリュームデータtk間の動き解析情報から、領域Rの変形変異を取得し、実画像tk−1に対して、ジオメトリ情報Gtk−1に基づき、変形変異を見込んだ補正処理を行う。
【0170】
なお、上述した変形変異を見込んだ補正処理は、特定の領域Rに含まれる組織によって、その補正の度合を適宜変更するのが良い。補正の度合とは、例えば、CT検査における、「臓器の収縮」、「近接している高信号の部分の影響」であり、MR検査における、「位置の変化」、超音波検査における、「速度の変化」などがある。
【0171】
<画像処理の例(4)>
次に、図25を参照して、本実施の形態3に係る医療用画像処理装置500の画像処理の一例について説明する。図25は、本実施の形態3に係る医療用画像処理装置500の画像処理の例(4)を示す図である。
【0172】
図25に示すように、ボリュームレンダリング法(VR)、最大値投影法(MIP)、MPR(Multi−Planar Rendering)、CPR(Curved Planar Reformation)、仮想内視鏡法(VE)など、医療用3DWSの既存の種々のレンダリングでの実画像tk−1において、特定の領域Rの注目点を画面上で固定する。そして、ボリュームデータtk−1とボリュームデータtk間の動き解析情報、及び実画像tk−1における特定の領域Rのジオメトリ情報Gtk−1を利用することで、特定の領域R内のある領域又は点に着目して、表示部511上でなるべく動かないように、視点の位置・方向・回転角度・拡大率を、実画像毎に設定することができる。
【0173】
<画像処理の例(5)>
次に、図26を参照して、本実施の形態3に係る医療用画像処理装置500の画像処理の一例について説明する。図26は、本実施の形態3に係る医療用画像処理装置500の画像処理の例(5)を示す図である。
【0174】
図26に示すように、ボリュームデータtk−1とボリュームデータtk間の動き解析情報、及び実画像tk−1における特定の領域Rのジオメトリ情報Gtk−1を利用することで、仮想内視鏡法(VE)で得られる3次元実画像tk−1上で、視点を特定の領域R内で固定し、その視点の位置及び方向を、動き解析情報に従い、各3次元実画像ごとに設定することができる。
【0175】
以上、本実施の形態に係る医療用画像処理装置500によれば、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成することで、観察対象の形状や大きさなどのより客観的な指標で把握することができる。
【0176】
また、本実施の形態に係る医療用画像処理装置500によれば、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成することで、個別にジオメトリ情報を生成するのに比較して、
セグメンテーションに係る操作の手間、補正処理を減らすことができる。さらに、実画像と他の実画像との画質に差異によって、セグメンテーションの結果の揺らぎを抑止できる。そのため、ユーザは、より客観的な画像解析を行うことができる。
【0177】
さらには、本実施の形態に係る医療用画像処理装置500では、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報から他の実画像のジオメトリ情報を生成しているので、他の実画像のジオメトリ情報は、内在的に実画像のボリュームデータから生成したジオメトリ情報との対応関係を有している。そのため、他の実画像のジオメトリ情報と実画像のジオメトリ情報との対応関係を改めて取得、計算する必要がない。
【0178】
本実施の形態に係る医療用画像処理装置500によれば、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成するので、従来のレンダリング法でシネ再生するだけでも、心機能の不全等を良好に観察できる
【0179】
また、本実施の形態に係る医療用画像処理装置500によれば、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成するので、心臓マルチフェイズデータのような短い時間間隔のものだけでなく、病変の経年変化を観察するような長い時間間隔のデータにも応用できる。
【0180】
また、本実施の形態に係る医療用画像処理装置500によれば、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成するので、ストレイン解析、パフュージョン解析、心機能解析などで、再現性のある全自動化された定量化により、従来よりも安価に正確で結果を誰もが得られる。
【0181】
また、本実施の形態に係る医療用画像処理装置500によれば、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成するので、セグメンテーションにより隣接する臓器を設定し、動き解析情報により動きが一緒の部分を推定、癒着の可能性あり、として表示部511に表示することができる。
【0182】
なお、本実施の形態に係る医療用画像処理装置500では、コンピュータ断層撮影装置により、患者3の診断範囲における多数の相連続する断層信号がボリュームデータ生成部501に供給されているが、これに限らない。ボリュームデータ生成部501に供給される信号は、コンピュータ断層撮影装置以外に、たとえば、MRI装置(Magnetic Resonance Imaging)といった、被検体のボリュームデータから検査部位の断層像を生成し、モニター画面に表示して診断を行う装置からの断層信号も含まれる。
【0183】
なお、本実施の形態において、ボリュームデータtkの時刻tkは、ボリュームデータtk−1から所定時間経過した後の時刻であるが、この所定時間は任意の時間であり、たとえば、被検体(患者3)の検査部位(関心領域)の変化が現れると予測される時間に依存して、適宜設定することができる。
【0184】
なお、本実施の形態において、表示処理部509が、画像生成部507で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部511のディスプレイに表示するための各種処理を行う際、以下のような処理が表示部511で可能なように設定されても良い。つまり、(1)動き解析、マスク・パス等の編集、補間画像の生成は、時間・場所・処理装置に関して別々に行え、(2)動き解析情報と、マスク・パス等の編集状態(ワークスペース)を、別のファイルとして保存し、後で組み合わせて補間画像を生成する、(3)動き解析情報と、マスク・パス・レンダリングの情報を含む画像ファイルを、後で組み合わせて補間(増量)画像を生成する、(4)補間画像の生成やジオメトリ情報の伝播の機能があるワークステーション上に、動き解析情報の有無を表示し、ユーザに動き解析が完了したことを即時に知らせる、(5)異なる精度、アルゴリズム、による複数の動き解析情報のマネージメント(削除・コピー・移動)ができる。
【0185】
なお、本実施の形態では、ボリュームデータを生成した時刻情報を、コンピュータ断層撮影装置により供給された時刻に基づき、生成しているが、これに限らない。
【0186】
なお、本実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。特に、実画像及び補間画像を生成する計算処理は、GPU(Graphic Processing Unit)により行うことができる。GPUは、汎用のCPU(Central Processing Unit)と比較して画像処理に特化した設計なされている演算処理装置で、通常のCPUとは別個にコンピュータに搭載される。
【符号の説明】
【0187】
100、300、500 医療用画像処理装置
101、301、501 ボリュームデータ生成部
103、303、503 動き解析情報生成部
105、305、505 補間ボリュームデータ生成部
107、307、507 画像生成部
109、309、509 表示処理部
111、311、511 表示部
113、313、513 操作部
306 補正処理部
506 ジオメトリ情報生成部
【技術分野】
【0001】
本発明は、医療用画像処理装置及び医療用画像処理プログラムに関する。
【背景技術】
【0002】
X線CT装置およびMRI装置等の各種画像診断機器は、被検体のボリュームデータから検査部位の断層像を生成し、モニター画面に表示して診断を行うものである。例えば、心臓や血管等の循環器系およびその他の動きのある臓器の場合、それらを構成する組織の動きを断層像により観察して、それら臓器等の機能を診断することが行なわれている。このような画像診断機器により、高解像度の画像が短時間に得られるようになったことに伴い、取得したボリュームデータから、臓器や腫瘍等の関心領域(Region of Interest)を抽出し、これらを見やすく可視化し、あるいは定量化して面積や体積を量ることにより病変部の診断に役立てている。
【0003】
従来例1として、特許文献1に開示されている医療用画像処理装置は、各フェイズの複数のボリュームデータから新たに一の画像を生成し、各フェイズ現れる組織の変化を一の画像に表示することができる。しかし、各フェイズ間を補うボリュームデータを生成しているものではない。ここで、フェイズ(Phase)とは、同一の対象を同一手法で短時間のうちに撮像した複数のボリュームデータのうちの1つのボリュームデータを指す。
【0004】
従来例2として、特許文献2に開示されている医療用画像処理装置は、各フェイズの抽出領域から構造情報(たとえば、血管の中心線)を求めて、各フェイズの異常個所を比較、検出している。そのため、少ない計算量で領域抽出を行うことができる。しかし、各フェイズ間を補うボリュームデータを生成し、各フェイズの領域抽出を行っていない。
【0005】
従来例3として、非特許文献1では、いわゆる、モーフィングにより、医療画像とは異なる通常の画像で構成される動画像のフレーム間隔(例えば、1/60秒)の中間位置で新たに画像を補間している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2008−35895号公報
【特許文献2】特開2007−68658号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、従来例1では、複数のボリュームデータから高画質な一の画像を生成しているが、複数のボリュームデータそれぞれから作成する個別の画像の画質は改善しない。これは特に動画となったときに顕著である。また、従来例2は複数のボリュームデータに含まれる組織の対応関係を取得するに留まる。また、従来例1及び従来例2で開示されている技術では、各フェイズ間を補うボリュームデータを生成しているものではないので、各フェイズの位置合わせの精度を高めるには別の方法を検討する必要がある。また、従来例3では、新たに画像を補間するタイミングは、動画像(たとえば、テレビ映像)のフレーム間隔(例えば、1/60秒)の中間位置に固定されており、この位置を変更することはまでは示唆されていない。さらに、新たに画像を補間しても画質を改善しているわけではない。また、観察対象の領域を画像としてよりも、その形状や大きさなどのより客観的な指標で把握したい場合がある。この場合は観察対象のジオメトリ情報を作成するが、補間ボリュームを含む多数のボリュームデータそれぞれにジオメトリ情報を作成するには多大な労力がかかる。また、異なるボリュームデータのジオメトリ情報の間の対応関係を設定するのも多大な労力がかかる。
【0008】
本発明の目的は、動き解析情報及びジオメトリ情報に基づき、複数のボリュームデータからそれぞれジオメトリ情報を作成するときの処理やユーザの労力を軽減できる医療用画像処理装置及び医療用画像処理プログラムを提供することである。
【課題を解決するための手段】
【0009】
本発明は、時刻を有する複数のボリュームデータのそれぞれを可視化する医療用画像処理装置であって、前記複数のボリュームデータのうち、一のボリュームデータについて、ジオメトリ情報を生成する第1生成手段と、前記複数のボリュームデータのうち、前記一のボリュームデータと他の少なくとも一のボリュームデータとの間の動き解析情報を生成する第2生成手段と、前記複数のボリュームデータのうち、前記他の少なくとも一のボリュームデータについて、前記動き解析情報及び前記ジオメトリ情報に基づき、対応する新たなジオメトリ情報を生成する第3生成手段と、前記他の少なくとも一のボリュームデータについて、前記対応する新たなジオメトリ情報を含む画像を表示するための処理を行う表示処理手段と、を備える医療用画像処理装置を提供する。
【0010】
上記医療用画像処理装置では、前記動き解析情報に基づき、前記一のボリュームデータに含まれる特定の領域の変異又は変形を取得し、当該取得した変異又は変形、前記ジオメトリ情報、及び前記対応する新たなジオメトリ情報に基づき、ボクセル値の変化を予測し、前記一のボリュームデータのボクセル値を補正する。
【0011】
上記医療用画像処理装置では、さらに、前記一のボリュームデータと前記他の少なくとも一のボリュームデータとの間を補間する補間ボリュームデータを生成する第4生成手段と、前記補間ボリュームデータについて、前記動き解析情報及び前記ジオメトリ情報に基づき、対応する補間ジオメトリ情報を生成する第5生成手段とを備え、前記表示処理手段は、前記補間ボリュームデータについて、前記補間ジオメトリ情報を含む画像を表示するための処理を行う。
【0012】
上記医療用画像処理装置では、前記一のボリュームデータの時刻情報及び前記補間ボリュームデータの時刻情報の間隔と、前記他の少なくとも一のボリュームデータ及び前記補間ボリュームデータの時刻情報の間隔とは非等間隔である。
【0013】
上記医療用画像処理装置では、前記表示処理手段は、前記複数のボリュームデータについて描画する時に、前記ジオメトリ情報と前記新たなジオメトリ情報とを利用して、前記複数のボリュームデータで共通する特定の領域を画像として表示するための処理を行う。
【0014】
また、本発明は、コンピュータを、上記医療用画像処理装置の各手段として機能させるための医療用画像処理プログラムを提供する。
【発明の効果】
【0015】
本発明に係る医療用画像処理装置及び医療用画像処理プログラムによれば、動き解析情報及びジオメトリ情報に基づき、複数のボリュームデータからそれぞれジオメトリ情報を作成するときの処理やユーザの労力を軽減できる。また、客観性を増すことができる。また、ジオメトリ情報に含まれる情報を表示することによって診断に寄与できる。
【図面の簡単な説明】
【0016】
【図1】実施の形態1に係る医療用画像処理装置100の構成を示すブロック図
【図2】動き解析情報生成部103の動作を概念的に説明するための示す図
【図3】補間ボリュームデータ生成部105の動作を概念的に説明するための図
【図4】画像生成部107が生成する画像を模式的に示す図
【図5】時刻tk−1と時刻tkと間の任意の時刻で画像生成部107が生成する画像を模式的に示す図
【図6】心室容量の大きさの経時変化を示すモデルと画像生成部107が作成した補間画像tauxとを比較した図
【図7】画像生成部107が生成した2組の時系列に並んだ3次元画像セットを示す図
【図8】図7に示す2組みの3次元画像セットを同期させた画像のシーケンスを示す図
【図9】等間隔に複数の補間画像を実画像に補った場合の画像のシーケンスを示す図
【図10】実画像に対して一時的に複数の補間画像補い、表示した例を示す図
【図11】医療用画像処理装置100の動作処理フロー
【図12】実施の形態2に係る医療用画像処理装置300の構成を示すブロック図
【図13】補正処理前後の実画像の例(1)を示す図
【図14】医療用画像処理装置300補正処理フローの例(1)
【図15】医療用画像処理装置300補正処理フローの例(2)
【図16】実画像の補正処理の例(2)を説明するための図
【図17】実画像の補正処理の例(3)を説明するための図
【図18】実画像及び補間画像の補正処理の例(4)を説明するための図
【図19】実画像の補正処理の例(5)を説明するための図
【図20】実施の形態3に係る医療用画像処理装置500の構成を示すブロック図
【図21】(a)ジオメトリ情報生成部506での処理1を模式的に示す図、(b)ジオメトリ情報生成部506での処理2を模式的に示す図
【図22】医療用画像処理装置500の画像処理の例(1)を示す図
【図23】医療用画像処理装置500の画像処理の例(2)を示す図
【図24】医療用画像処理装置500の画像処理の例(3)を示す図
【図25】医療用画像処理装置500の画像処理の例(4)を示す図
【図26】医療用画像処理装置500の画像処理の例(5)を示す図
【発明を実施するための形態】
【0017】
以下、本発明の実施形態について、図面を参照して説明する。
【0018】
図1を参照して、実施の形態1に係る医療用画像処理装置について説明する。図1に示す医療用画像処理装置100は、ボリュームデータ生成部101と、動き解析情報生成部103と、補間ボリュームデータ生成部105と、画像生成部107と、表示処理部109と、を備える。医療用画像処理装置100には、医療用画像処理装置100で生成された画像を表示する表示部111と、医療用画像処理装置100の各部を操作するためのユーザインターフェースである操作部113と、が設けられている。
【0019】
図1に示すように、医療用画像処理装置100は、コンピュータ断層撮影装置に接続されている。コンピュータ断層撮影装置は、被検体の組織等を可視化するものである。X線源1からは同図に鎖線で示す縁部ビームを有するピラミッド状のX線ビーム束2が放射される。X線ビーム束2は、例えば患者3である被検体を透過しX線検出器4に照射される。X線源1及びX線検出器4は、本実施形態の場合にはリング状のガントリー5に互いに対向配置されている。リング状のガントリー5は、このガントリーの中心点を通るシステム軸線6に対して、同図に示されていない保持装置に回転可能(矢印a参照)に支持されている。
【0020】
患者3は、X線が透過するテーブル7上に寝ている。このテーブル7は、図示されていない支持装置によりシステム軸線6に沿って移動可能(矢印b参照)に支持されている。従って、X線源1及びX線検出器4は、システム軸線6に対して回転可能でありかつシステム軸線6に沿って患者3に対して相対的に移動可能である測定システムを構成するので、システム軸線6に関して種々の投影角及び種々の位置のもとで患者3にX線を投射する。その際に発生するX線検出器4の出力信号は、ボリュームデータ生成部101に供給され、ボリュームデータに変換される。
【0021】
シーケンス走査の場合、患者3の層毎の走査が行なわれる。その際に、X線源1及びX線検出器4はシステム軸線6を中心に患者3の周りを回転し、X線源1及びX線検出器4を含む測定システムは患者3の2次元断層を走査するために多数の投影を撮影する。その際に取得された測定値から、走査された断層を表示する断層像が再構成される。相連続する断層の走査の間に、患者3はその都度システム軸線6に沿って移動される。この過程は全ての関心断層が捕捉されるまで繰り返される。
【0022】
スパイラル走査中は、X線源1及びX線検出器4を含む測定システムはシステム軸線6を中心に回転し、テーブル7は連続的に矢印bの方向に移動する。すなわち、X線源1及びX線検出器4を含む測定システムは、患者3に対して相対的に連続的にスパイラル軌道上を、患者3の関心領域が全部捕捉されるまで移動する。本実施形態の場合、同図に示されたコンピュータ断層撮影装置により、患者3の診断範囲における多数の相連続する断層信号がボリュームデータ生成部101に供給される。
【0023】
ボリュームデータ生成部101は、コンピュータ断層撮影装置により供給された断層信号から、撮影時刻の異なる複数のボリュームデータを生成し、各ボリュームデータが生成された時刻を表す時刻情報と共に、動き解析情報生成部103及び画像生成部107へ出力する。なお、ボリュームデータ生成部101は、図示しないメモリに、撮影時刻の異なる複数のボリュームデータを保持することができる。
【0024】
ここで、本実施の形態では、ボリュームデータ生成部101は、複数のボリュームデータの各ボリュームデータが、コンピュータ断層撮影装置により撮影された時刻tに基づき、ボリュームデータを生成した時刻情報tn(n=1、2、…、k−1、k、k+1…:自然数)を生成するものとする。
【0025】
以下、説明のため、ボリュームデータ生成部101では、時刻情報tk−1のボリュームデータと、時刻tk−1から所定時間経過後に撮影され、ボリュームデータ生成部101に供給された断層信号に基づき生成された時刻情報tkのボリュームデータと、時刻tkから所定時間経過後に撮影され、ボリュームデータ生成部101に供給された断層信号に基づき生成された時刻情報tk+1のボリュームデータを保持しているものとする。なお、以下、説明のため、時刻情報tkのボリュームデータを、ボリュームデータtkと適宜省略して記載する。
【0026】
動き解析情報生成部103は、ボリュームデータ生成部101から出力されたボリュームデータのうち、ボリュームデータtk−1及びその時刻情報tk−1、並びにボリュームデータtk及びその時刻情報tkから、動き解析情報を生成し(図2参照)、補間ボリュームデータ生成部105に出力する。
【0027】
ここで、動き解析情報とは、複数のボリュームデータ上の対応する位置もしくは対応する物体の対応関係の情報、及び、前記位置及び物体が移動変化する過程の情報を指す。また、各ボリュームデータの画素が、時刻k−1と時刻kとの間の任意の時刻での位置を示す指標となる。
【0028】
図2は、動き解析情報生成部103の動作を概念的に示す図である。図2に示すように、動き解析情報生成部103は、3次元画像の情報を含むボリュームデータtk−1の各画素がどのように変位して、ボリュームデータtkでの画素となっているかを、動き解析情報として生成している。
【0029】
補間ボリュームデータ生成部105は、動き解析情報生成部103から出力された動き解析情報に基づき、ボリュームデータtk−1とボリュームデータtkとの間を補間する、補間ボリュームデータtauxとその時刻情報tauxとを生成し、画像生成部107に出力する。
【0030】
ここで、補間ボリュームデータとは、時刻tk−1と時刻tkとの間の特定の時刻ta
uxにおけるボリュームデータである。つまり、補間ボリュームデータ生成部105が補間ボリュームデータtauxを生成することは、実際はコンピュータ断層撮影装置で撮像されていない時刻tauxにおいて、あたかもコンピュータ断層撮影装置により撮像して、ボリュームデータ生成部101がボリュームデータを生成したことと、同等となる。
【0031】
図3は、補間ボリュームデータ生成部105の動作を概念的に示す図である。図3に示すように、補間ボリュームデータ生成部105は、3次元画像の情報を含むボリュームデータtk−1とボリュームデータtkとの間を補間する、補間ボリュームデータtauxとその時刻情報tauxとを生成する。
【0032】
ここで、本実施の形態では、図3に示すように補間ボリュームデータtauxが有する時刻情報tauxは、時刻情報tk−1と時刻情報tkとの中間の時刻情報ではない。言
い換えると、補間ボリュームデータの時刻情報tauxと直前のタイミングに生成されたボリュームデータtk−1の時刻情報tk−1との間隔Aと、補間ボリュームデータの時刻情報tauxと直後のタイミングに生成されたボリュームデータの時刻情報tkとの間隔Bとが異なる間隔、すなわち、非等間隔となっている。この理由については、後述する。
【0033】
画像生成部107は、ボリュームデータ生成部101から出力されるボリュームデータtk−1、tk、及び時刻情報tk−1、tk、並びに補間ボリュームデータ生成部105から出力される補間ボリュームデータtaux、及びその時刻情報tauxを入力とする。画像生成部107は、各ボリュームデータtk−1、tkから実際の3次元画像を生成する一方、補間ボリュームデータtauxから補間3次元画像を生成し、時系列に並べる。
【0034】
表示処理部109は、画像生成部107で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部111のディスプレイに表示するための各種処理を行う。例えば、画像生成部107で生成された3次元画像のシーケンスを生成して、表示部111で動画像として再生するための処理(再生フレームレートの設定など)を行うことができる。
【0035】
表示部111は、表示処理部109で適宜処理された時系列となった実画像tk−1、
tk及び補間画像tauxを表示する。表示部111は、時系列となった実画像tk−1
、tk及び補間画像taux以外に、各画像の時刻情報も表示する。また、必要に応じて、表示部111は、画像生成部107で生成された3次元画像のシーケンスを、表示処理部109での処理の後、動画像として再生することができる。
【0036】
操作部113は、表示部111に表示された画像を加工するための各種のインターフェースを備えており、例えば、補間画像tauxを生成するための補間パラメータ(時刻情報tauxなど)を設定する。そして、ユーザは、表示部111を見ながら、操作部113により、医療用画像処理装置100の各部を操作することができる。そのため、ユーザは、インタラクティブに補間パラメータを変更できる。したがって、本実施の形態の医療用画像処理装置において、画像生成部107は、操作部113から指示に基づき、インタラクティブに補間画像tauxを修正することができる。
【0037】
ここで、補間パラメータとして、たとえば、(1)位置補間アルゴリズム(リニア/キュービック/スプライン)、(2)ボクセル値の補間のアルゴリズム(リニア/キュービック/スプライン)、(3)補間により生成される3D画像のピッチ(時間間隔)や数、並びに(4)4Dフィルタの方法として、平滑化、エッジ強調、最大値・最小値投影、差分、累積加算、ヒストグラムマッチング、およびそれらの組み合わせなどがある。
【0038】
図4を参照して、画像生成部107が生成する3次元画像について説明する。図4は、画像生成部107が生成した各画像を模式的に示す図である。図4に示すように、実画像tk−1と実画像tkとの間で、時刻情報tauxを有する補間画像tauxが、画像生成部107によって生成される。以下、説明のためボリュームデータtk−1、tkから生成された、時刻tk−1、tkにおける実際の3次元画像を、それぞれ実画像tk−1と実画像tkと称し、補間ボリュームデータtauxから生成された、時刻tauxにお
ける3次元の補間画像を、補間画像tauxと称する。
【0039】
ここで、図4に示すように、補間画像tauxの時刻情報tauxと直前のタイミング
に生成された実画像tk−1の時刻情報tk−1との間隔Cと、補間画像tauxの時刻
情報tauxと直後のタイミングに生成された実画像tkの時刻情報tkとの間隔Dとが非等間隔となっている。本実施の形態において、ボリュームデータtk−1と、時刻情報tk−1の次のタイミングで生成されるボリュームデータtkとの間隔が、およそ0.1秒から数年単位である。これは、画像生成部107で生成される医療画像(実画像tk−1、実画像tk、及び補間画像taux)とは異なる通常の画像で構成される動画像(たとえば、テレビなどの映像)のフレーム間隔(例えば、1/60秒)と比べて非常に大きいことに起因する。
【0040】
つまり、本実施の形態では、実画像tk−1、と実画像tkとの間の間隔(C+D)が、例えば年単位であって、実画像tk−1と実画像tkとの間で発生している被検体である患者3の関心領域の経年変化を観察するのに、その中間位置での補間画像では十分ではないからである。そのため、補間画像tauxの時刻情報tauxと直前のタイミングに生成された実画像tk−1の時刻情報tk−1との間隔Cと、補間画像tauxの時刻情報tauxと直後のタイミングに生成された実画像tkの時刻情報tkとの間隔Dとが非等間隔とし、実画像tk−1、と実画像tkとの間で被検体である患者3の検査部位(関心領域)の経年変化を中間位置とは異なる、実画像tk−1、と実画像tkとの間の様々な位置で補間画像を生成することを可能としている。また、撮影に要する放射線量を最小にする目的で、関心の最も高い時刻では撮影の時間間隔を密にし、それ以外では疎に撮影することが行われている。また、心電図など被検体のリアルタイム情報を取得する別途の機器で指定されるタイミングで撮影することもある。これらによって撮影間隔が非等間隔となりうる。リアルタイム情報には他には例えば、造影剤の注入のタイミングもある。
【0041】
上述のように、本実施の形態では、補間画像tauxの時刻情報tauxと直前のタイ
ミングに生成された実画像tk−1の時刻情報tk−1との間隔Cと、補間画像taux
の時刻情報tauxと直後のタイミングに生成された実画像tkの時刻情報tkとの間隔Dとが、非等間隔であるが、これに限らない。実画像tk−1と実画像tkとの間で発生している被検体である患者3の関心領域の経時変化を観察するのに適したタイミングであれば、補間画像tauxの時刻情報tauxと直前のタイミングに生成された実画像tk−1の時刻情報tk−1との間隔Cと、補間画像tauxの時刻情報tauxと直後のタイミングに生成された実画像tkの時刻情報tkとの間隔Dとが、等間隔に設定されてもよい。すわなち、実画像tk−1と実画像tkとの間で発生している被検体である患者3の検査部位(関心領域)の経時変化を観察するのに適したタイミングであれば、時刻情報tk−1と時刻情報tk−1との間の任意の時刻で画像生成部107が補間画像tauxを生成しても良い。言い換えると、本実施の形態において、ボリュームデータtauxの時刻tauxは、たとえば、被検体(患者3)の検査部位(関心領域)の変化が現れると予測される時間に依存して、適宜設定することができる。これにより、本実施の形態では、X線の線量を削減し、被検体である患者3への影響を極力抑えることができる。
【0042】
(任意の時刻の補間画像)
図5は、時刻tk−1と時刻tk−1との任意の時刻で画像生成部107が補間画像t
auxを生成する一例を模式的に示す図である。図5に示すように、画像生成部107は、実画像tk−1を生成した時刻0.0secと、実画像tkを生成した時刻情報1.5secとの間の任意の時刻情報1.0secの補間画像tauxを生成する。そのため、実画像を生成した時刻の間の任意の時刻で補間画像を生成することができ、実画像tk−1、と実画像tkとの間で発生している患者3の診断範囲の経時変化を観察することができる。
【0043】
(補間画像とモデルとの比較)
図6は、心室容量の大きさの経時変化を示すモデルと画像生成部107が作成した補間画像tauxとを比較した図である。上述のように、時刻情報tk−1と時刻情報tk−1との間の時刻であれば、任意の時刻で画像生成部107が補間画像tauxを生成することが可能なので、たとえば図6に示すように、心室容量の大きさの経時変化を示すモデルの最大容量を示す時刻で、画像生成部107が補間画像tauxを作成し、心室容量の大きさの経時変化を示すモデルと補間画像tauxにあらわれる心室の大きさとを比較することができる。
【0044】
心室容量の大きさの経時変化を示すモデルは、図6に示すように線形的に変化するものではないので、2つの実画像tk−1、tk間の中間位置では、心室容量は最大とならない、したがって、本実施の形態では、モデル上、心室容量が最大となる特徴を有する時刻で、実画像tk−1、tkから補間画像tauxを生成する。図6に示すように、モデル上、心室容量が最大となる時刻はt=0.78secである。したがって、画像生成部107は、時刻情報tauxをモデル上、心室容量が最大となる時刻はt=0.78secとし、補間画像tauxを生成する。
【0045】
上述のように、観察対象となる被検体(患者3)の検査部位(関心領域)の特徴が現れると推定される時刻を補間画像の時刻情報とすることで、画像生成部107は、観察対象となる被検体(患者3)の検査部位(関心領域)の特徴を画像として生成し、表示部111が可視化することができる。
【0046】
なお、心室容量の大きさの経時変化を示すモデルから、観察対象となる被検体(患者3)の検査部位(関心領域)の特徴が現れると推定しているが、観察対象となる被検体(患者3)の検査部位(関心領域)の特徴を推定する手段は当該モデルだけに限らない。例えば、被検体である患者3に対して造影剤などが注入された外的要因が発生した時刻を、画像上に特徴が現れる時刻であると推定することも可能できる。そのため、補間画像tauxを作成し、実画像tk−1、tk、及び補間画像tauxの一連の画像の変化から、被検体(患者3)の検査部位(関心領域)の外的要因による変化を観察することができる。また、時刻情報tauxモデルのみならず外部機器からの入力によって定めることが出来る。これは心電図など被検体のリアルタイム情報を実画像の取得と同時に行い、これを参照することによって求めることが出来る。例えば、心電図上の波形の特徴的な時刻や、造影剤の注入を行ったタイミングなどが考えられる。
【0047】
(異なる画像セットの同期)
また、画像生成部107は、同一の被検体から同一の検査部位を対象として、異なるモードで動作するコンピュータ断層撮影装置又は異なるコンピュータ断層撮影装置により供給された複数のボリュームデータから、時系列の複数の3次元画像セットを生成し、複数の3次元画像セットから正確に同期した画像のシーケンスを生成することができる。図7は、画像生成部107が生成した2組の時系列に並んだ3次元画像セットを示す。また、図8は、図7に示す2組みの3次元画像セットを同期させた画像のシーケンスを示す図である。
【0048】
図7に示す3次元画像セットBでは、第1の時刻情報tk−1(=0.2sec)を有する第1実画像tk−1、及び第2の時刻情報tk(=1.7sec)を有する第2実画像tk、並びに、第1実画像tk−1及び第2実画像tkから生成され、時刻情報taux2を有する第2補間画像taux2が時系列に並んでいる。また、図7に示す3次元画像セットAでは、第3の時刻情報tk−1(=0.0sec)を有する第3実画像tk−1、及び第4の時刻情報tk(=1.5sec)を有する第4実画像tk、並びに第3実画像tk−1及び第4実画像tkから生成され、時刻情報taux1を有する第1補間画像taux1が時系列に並んでいる。
【0049】
そして、図8に示すように、画像生成部107は、各画像の保持する時刻情報に基づき、3次元画像セットBの第2補間画像taux2を有する時刻情報taux2を、3次元画像セットAに時間的に同期させて、新たな画像のシーケンスを生成する。
【0050】
したがって、本実施の形態では、画像生成部107は、同一の被検体から同一の検査部位を対象として、異なるモードで動作するコンピュータ断層撮影装置又は異なるコンピュータ断層撮影装置により供給された複数のボリュームデータから、時系列の複数の3次元画像セットを生成することができる。そして、表示処理部109は、複数の3次元画像セットから正確に時間的に同期した画像のシーケンスを生成することができる。
【0051】
また、本実施の形態では、画像生成部107は、図8に示す3次元画像のシーケンスを用いれば、観察対象部位(心臓)のマルチフェイズデータでの同一フェイズ間のずれの補正も可能となる。また、本実施の形態では、画像生成部107は、図8に示す3次元画像のシーケンスを用いれば、「コンピュータ断層撮影装置から取得した検査の画像取得時間情報」と「表示処理部109で生成される再生フレームレート」を元に、表示部111で正確な実時間で動画再生することができる。
【0052】
さらに、本実施の形態では、画像生成部107は、図7に示す一方の3次元画像セットBにだけ存在する特定の取得時刻(例えば、tk=1.7sec)の実画像tkに合わせて、他方の3次元画像セットAの第3実画像tk−1及び第4実画像tkから新たな補間画像を作成することにより、より正確な3次元画像間の比較を可能にする。
【0053】
図9に、画像生成部107が時間的に等間隔に複数の補間画像を実画像に補った場合の画像のシーケンスを示す。また、画像生成部107は、図9に示すように、同一の被検体から同一の検査部位を対象として、撮影間隔の異なるコンピュータ断層撮影装置により供給された複数のボリュームデータt1(=0.00sec)、t2(=0.17sec)、t3(=0.30sec)から生成された複数の実画像t1、t2、t3のうち実画像t1、t3に対して、時間的に等間隔に補う、時刻情報t4(=0.10sec)を有する補間画像taux4、及び時刻情報t5(=0.20sec)を有する補間画像taux5を生成することができる。そのため、本実施の形態では、時間的に等間隔でない実画像に対して、補間画像を等時間間隔に生成するので、表示部111が表示する医療用画像の表示や解析の質・能力を高めることができる。
【0054】
図10に、実画像に対して一時的に複数の補間画像補い、表示部111に表示した例を示す。画像生成部107は、図10に示すように、表示部111に3次元画像のシーケンスを表示している時のみ、一時的に、画像生成部107が複数の補間画像temp1から補間画像temp3を生成し、各フレームごとに、レンダリング後に複数の補間画像temp1から補間画像temp3を破棄することで、メモリの使用量を削減でき、本実施の形態の医療用画像処理装置100への負荷を軽減することができる。
【0055】
次に、図11を参照して、本実施の形態に係る医療用画像処理装置100の動作処理フローを説明する。図11は、医療用画像処理装置100の動作処理フローである。
【0056】
まず、ステップST1で、ボリュームデータ生成部101は、コンピュータ断層撮影装置により供給された断層信号から、撮影時刻の異なる複数のボリュームデータ、及び各ボリュームデータの時刻情報tnを生成する。そして、ステップST2へ遷移する。
【0057】
次に、ステップST2で、動き解析情報生成部103は、ボリュームデータ生成部101から出力されたボリュームデータのうち、ボリュームデータtk−1及びその時刻情報tk−1、並びにボリュームデータtk及びその時刻情報tkから、動き解析情報を生成する。そして、ステップST3へ遷移する。
【0058】
次に、ステップST3で、補間ボリュームデータ生成部105は、動き解析情報生成部103から出力された動き解析情報に基づき、ボリュームデータtk−1とボリュームデータtkとの間を補間する、補間ボリュームデータtauxとその時刻情報tauxとを生成する。そして、ステップST4へ遷移する。
【0059】
次に、ステップST4で、画像生成部107は、各ボリュームデータtk−1、tkから実際の3次元画像を生成する一方、補間ボリュームデータtauxから補間3次元画像を生成し、時系列に並べる。そして、ステップST5へ遷移する。
【0060】
次に、ステップST5で、表示処理部109は、画像生成部107で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部111のディスプレイに表示するための各種処理を行う。そして、ステップST6へ遷移する。
【0061】
最後に、ステップST6で、表示部111は、表示処理部109で適宜処理された時系列となった実画像tk−1、tk及び補間画像tauxを表示する。そして、動作処理が終了する。
【0062】
以上、本実施の形態に係る医療用画像処理装置100によれば、動き解析情報に基づき補間画像を実画像間に補間することで、画像内の特定の領域の変化を正確に表示することができる。したがって、本実施の形態に係る医療用画像処理装置100によれば、被検体である患者3の検査部位(関心領域)の観察を精度良く行うことができる。
【0063】
例えば、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、従来のレンダリング法でシネ再生するだけでも、心機能の不全等を良好に観察できる。また、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、心臓マルチフェイズデータのような短い時間間隔のものだけでなく、病変の経年変化を観察するような長い時間間隔のデータにも応用できる。
【0064】
さらに、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、ストレイン解析、パフュージョン解析、心機能解析などで、再現性のある全自動化された定量化により、従来よりも安価に正確で結果を誰もが得られる。さらに、また、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、セグメンテーションにより隣接する関心領域(臓器)を設定し、動き解析情報により複数の臓器の動きが同一の部分を推定、臓器間癒着の可能性あり、として表示部111に表示することができる。
【0065】
また、本実施の形態に係る医療用画像処理装置100によれば、動き解析情報に基づき補間画像を実画像間に補間すれば、表示部111のノイズ軽減、ノイズのばらつき調整が可能である。
【0066】
例えば、医療用画像処理装置100が生成した動き解析情報によって、実画像及び補間画像の対応画素を特定することにより、本来の詳細な画像情報を失うことなくノイズを軽減できる。また、医療用画像処理装置100により、CTマルチフェイズ検査において、X線照射量の多いフェイズと少ないフェイズが混在しても、X線照射量の少ないフェイズについては、前後のフェイズの画素値を利用することで、良好な補間画像を得られる。
【0067】
さらに、医療用画像処理装置100により、動き解析情報に基づき補間画像を実画像間に補間すれば、重要なフェイズのみX線照射量を多くして実画像を生成し、それ以外のフェイズについては、補間画像を生成することで、患者3のX線の被ばく量を低減することができる。
【0068】
なお、本実施の形態に係る医療用画像処理装置100では、図1に示すコンピュータ断層撮影装置により、患者3の診断範囲における多数の相連続する断層信号がボリュームデータ生成部101に供給されているが、これに限らない。ボリュームデータ生成部101に供給される信号は、コンピュータ断層撮影装置以外に、たとえば、MRI装置(Magnetic Resonance Imaging)といった、被検体のボリュームデータから検査部位の断層像を生成し、モニター画面に表示して診断を行う装置からの断層信号も含まれる。
【0069】
なお、本実施の形態において、ボリュームデータtkの時刻tkは、ボリュームデータtk−1から所定時間経過した後の時刻であるが、この所定時間は任意の時間であり、たとえば、被検体(患者3)の検査部位(関心領域)の変化が現れると予測される時間に依存して、適宜設定することができる。
【0070】
なお、本実施の形態において、表示処理部109が、画像生成部107で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部111のディスプレイに表示するための各種処理を行う際、以下のような処理が表示部111で可能なように設定されても良い。つまり、(1)動き解析、マスク・パス等の編集、補間画像の生成は、時間・場所・処理装置に関して別々に行え、(2)動き解析情報と、マスク・パス等の編集状態(ワークスペース)を、別のファイルとして保存し、後で組み合わせて補間画像を生成する、(3)動き解析情報と、マスク・パス・レンダリングの情報を含む画像ファイルを、後で組み合わせて補間(増量)画像を生成する、(4)補間画像の生成やジオメトリ情報の伝播の機能があるワークステーション上に、動き解析情報の有無を表示し、ユーザに動き解析が完了したことを即時に知らせる、(5)異なる精度、アルゴリズム、による複数の動き解析情報のマネージメント(削除・コピー・移動)ができる。
【0071】
なお、本実施の形態では、ボリュームデータを生成した時刻情報を、コンピュータ断層撮影装置により供給された時刻tに基づき、生成しているが、これに限らない。
【0072】
なお、本実施の形態の説明に用いた各機能ブロック(図1参照)は、典型的には集積回路であるLSIとして実現される。特に、実画像及び補間画像を生成する計算処理は、GPU(Graphic Processing Unit)により行うことができる。GPUは、汎用のCPU(Central Processing Unit)と比較して画像処理に特化した設計なされている演算処理装置で、通常のCPUとは別個にコンピュータに搭載される。
【0073】
なお、本実施の形態では、心臓の観察に用いる例を示したが、これに限らない。例えば、腫瘍組織の経時変化の観察、血流灌流の観察などに用いることも出来る。
【0074】
(実施の形態2)
上述した実施の形態1に係る医療用画像処理装置100によれば、動き解析情報に基づき、補間画像を実画像間に補間することで、画像内の特定の領域の変化を正確に表示する。しかし、補間画像を実画像間に補間する場合、実画像の画質によっては、単純に補間画像を補間するだけでは、画像内の特定の領域の変化を正確に表示できない場合もある。
【0075】
そこで、実施の形態2に係る医療用画像処理装置300では、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正して、2以上の実画像内の特定の領域(たとえば、被検体(患者3)の検査部位(関心領域))の変化を正確に表示することができる。
【0076】
実施の形態2に係る医療用画像処理装置300では、必ずしも補間画像を生成する必要はない。動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質を補正して、2以上の実画像内の特定の領域の変化を正確に表示することができれば、補間画像を生成する必要はない。
【0077】
図12を参照して、本実施の形態2に係る医療用画像処理装置300の構成について説明する。図12に示す医療用画像処理装置300は、ボリュームデータ生成部301と、動き解析情報生成部303と、補間ボリュームデータ生成部305と、補正処理部306と、画像生成部307と、表示処理部309と、を備える。さらに、医療用画像処理装置300には、医療用画像処理装置300で生成された画像を表示する表示部311と、医療用画像処理装置100の各部を操作するためのユーザインターフェースである操作部313と、が設けられている。
【0078】
ボリュームデータ生成部301は、実施の形態1と同様、コンピュータ断層撮影装置により供給された断層信号から、撮影時刻の異なる複数のボリュームデータを生成し、各ボリュームデータが生成された時刻を表す時刻情報と共に、動き解析情報生成部303と、補正処理部306と、画像生成部307とへ出力する。
【0079】
また、ボリュームデータ生成部301は、コンピュータ断層撮影装置から、装置の撮像条件(例えば、X線量、撮影時間、造影剤の注入の時刻)を取得し、画像生成部307へ出力する。撮像条件により、のちに生成される実画像の画質が大きく変化する。なお、コンピュータ断層撮影装置の撮像条件以外にも、コンピュータ断層撮影装置の撮影対象の条件(患者の動きや、患者の体内に含まれる金属など)により、のちに生成される実画像の画質が大きく変化する。
【0080】
なお、ボリュームデータ生成部301は、図示しないメモリに、撮影時刻の異なる複数のボリュームデータ、コンピュータ断層撮影装置の撮像条件、コンピュータ断層撮影装置の撮影対象の条件を保持することができる。
【0081】
ここで、本実施の形態では、ボリュームデータ生成部301は、実施の形態1と同様、複数のボリュームデータの各ボリュームデータが、コンピュータ断層撮影装置により撮影された時刻tに基づき、ボリュームデータを生成した時刻情報tn(n=1、2、…、k−1、k、k+1…:自然数)を生成するものとする。
【0082】
以下、説明のため、ボリュームデータ生成部301では、時刻情報tk−1のボリュームデータと、時刻tk−1から所定時間経過後に撮影され、ボリュームデータ生成部301に供給された断層信号に基づき生成された時刻情報tkのボリュームデータと、時刻tkから所定時間経過後に撮影され、ボリュームデータ生成部301に供給された断層信号に基づき生成された時刻情報tk+1のボリュームデータを保持しているものとする。また、以下、説明のため、時刻情報tkのボリュームデータを、ボリュームデータtkと適宜省略して記載する。
【0083】
動き解析情報生成部303は、ボリュームデータ生成部301から出力されたボリュームデータのうち、ボリュームデータtk−1及びその時刻情報tk−1、並びにボリュームデータtk及びその時刻情報tkから、動き解析情報を生成する。
【0084】
ここで、動き解析情報とは、複数のボリュームデータ上の対応する位置もしくは対応する物体の対応関係の情報、及び、前記位置及び物体が移動変化する過程の情報を指す。また、各ボリュームデータの画素が、時刻k−1と時刻kとの間の任意の時刻での位置を示す指標となる。
【0085】
そして、動き解析情報生成部303は、生成した動き解析情報を、補間ボリュームデータ生成部305と画像生成部307とに出力する。動き解析情報生成部303が生成する動き解析情報は、実施の形態1の動き解析情報生成部103と同様(図2参照)、3次元画像の情報を含むボリュームデータtk−1の各画素がどのように変位して、ボリュームデータtkでの画素となっているかを示す。
【0086】
補間ボリュームデータ生成部305は、操作部313の入力指示に基づき、必要に応じて、3次元画像の情報を含むボリュームデータtk−1とボリュームデータtkとの間を補間する、補間ボリュームデータtauxとその時刻情報tauxとを生成し、補正処理部306に出力する。
【0087】
ここで、本実施の形態では、実施の形態1と同様、補間ボリュームデータtauxが有する時刻情報tauxは、時刻情報tk−1と時刻情報tkとの中間の時刻情報ではない。言い換えると、補間ボリュームデータの時刻情報tauxと直前のタイミングに生成されたボリュームデータtk−1の時刻情報tk−1との間隔Aと、補間ボリュームデータの時刻情報tauxと直後のタイミングに生成されたボリュームデータの時刻情報tkとの間隔Bとが異なる間隔、すなわち、非等間隔となっている。この理由については、実施の形態1で上述した理由と同じであるため、詳細な説明は省略する。
【0088】
本実施の形態に係る医療用画像処理装置300の一つの特徴として、補正処理部306は、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像(入力画像)の画質、又は2つの実画像間を補間する補間画像の画質を補正する。
【0089】
<補正処理1:画質の均一化>
補正処理の一例として、コンピュータ断層撮影装置の撮影対象の条件などから、補正処理部306の補正処理前の時刻tk−1、tkにおける画像の画質が均一でない場合、補正処理部306は、動き解析情報生成部303からの入力された動き解析情報、ボリュームデータ生成部301から入力されたボリュームデータtkのボクセル及びボリュームデータtk−1のボクセルに基づき、画像生成部307で生成する実画像tk−1、tk、の画素値を求める。詳細は、図13、図14を参照して後述する。
【0090】
図13に、補正処理前後の実画像tk−1、tkの例(1)を示す。なお、補正処理前の実画像(入力画像)は、説明のため示しているが、画像生成部307が実際に生成する画像(出力画像)は、補正処理部306で補正処理が行われた後の実画像tk−1、tkである。図13に示すように、補正処理前の時刻tk−1、tkにおける画像の画質が均一ではないが、補正処理部306で補正処理が行われた後は、実画像tk−1、tkの画質は均一となる。そのため、本実施の形態に係る医療用画像処理装置300は、動き解析情報及び画像の画質情報に基づき、複数のボリュームデータからそれぞれ画像を作成するときの画質を向上させることができる。さらに、本実施の形態に係る医療用画像処理装置300は、補正処理後の各画像の特定の領域(たとえば、被検体(患者3)の検査部位(関心領域))の経時間変化を、正確に表示することができる。なお、必要に応じて、補正処理部306は、補間ボリュームデータ生成部305から出力された補間ボリュームデータtauxを、実画像tk−1、tkと同様に補正処理を行う。
【0091】
次に、図14を参照して、実画像tk−1、tkの画質を均一とするための補正処理について説明する。図14は、本実施の形態に係る医療用画像処理装置300補正処理フローの例(1)である。
【0092】
図14に示すように、ステップST31では、出力フェイズの前後に相当する、2以上の入力フェイズについて、ボリュームデータtk、tk−1を取得する。そして、ステップST32へ遷移する。
【0093】
ステップST32では、ボリュームデータtk、tk−1それぞれについて、ボクセル位置ごとに、信頼度(0〜1)を決定する。ここで、ボリュームデータtk、tk−1についての信頼度(信頼性の高さ)は、出力フェイズとの時間的距離、ボリュームデータtk、tk−1を撮影した時の撮影条件(X線照射量など)、当該ボリュームデータtk、tk−1のS/N比、近傍の領域の移動速度や画素値の特徴などにより、決定することが考えられる。そして、ステップST33へ遷移する。
【0094】
ステップST33では、出力フェイズの全ボクセルについて、ボリュームデータtk、tk−1の画素値を、動き解析情報及びボリュームデータtk、tk−1より求める。
そして、ステップST34へ遷移する。
ステップST34では、出力フェイズの全ボクセルについて、前後の入力フェイズでの対応する位置を、動き解析情報により求める。そして、ステップST35へ遷移する。
【0095】
ステップST35では、各対応位置の画素値を入力画像上でサンプリングし、サンプリングした値を、入力フェイズに対応する入力画素値とする。そして、ステップST36へ遷移する。
ステップST36では、入力フェイズに対応する入力画素値の信頼度を取得する。
そして、ステップST37へ遷移する。
【0096】
ステップST37では、入力フェイズに対応する入力画素値に、取得した信頼度を乗じ、当該入力画素値について、各入力フェイズで加算したものを、出力フェイズで、補正後のボリュームデータtk、tk−1の画素値とする。そして、処理が終了する。
【0097】
ここで、ステップST32における、ボリュームデータtk、tk−1の信頼度(信頼性の高さ)について、画素値の信頼性の高さに応じ、4Dフィルタのパラメータを各実画像tk、tk−1毎、又はボクセル毎に変えることで、全体の適正なS/Nを保ちつつ、元画像の空間分解能を最大限活用することができる。
【0098】
画素値の信頼性は、時刻、ボクセルの位置、画素値、収縮度、速度、加速度、近傍の画素の変位から求めた回転量、変形の度合いなどの関数である。また、近傍の領域の特徴(高画素値の領域の有無、など)が、画素値の信頼性に影響することもある。
【0099】
4Dフィルタの方法として、平滑化、エッジ強調、最大値・最小値投影、差分、累積加算、ヒストグラムマッチング、およびそれらの組み合わせなどがある。
【0100】
<補正処理2:画像の特性の均一>
また、補正処理部306は、動き解析情報生成部303からの入力された動き解析情報、並びにボリュームデータ生成部301から入力されたボリュームデータtk、のボクセル及びボリュームデータtk−1のボクセルに基づき、画像生成部307で生成する実画像tk−1、tkの画素値の値的な歪み量を求める。詳細は、図15を参照して後述する。
【0101】
なお、補正処理部306が画像生成部307で生成する実画像tk−1、tkの画素値の値的な歪み量を求めるのは、たとえば、コンピュータ断層撮影装置の撮影対象の条件(画質情報の元となる条件)などから、生成される画像の特性(明度、ダイナミックレンジ)が均一でない場合が考えられる。
【0102】
ここで、画素値の値的な歪み量とは、対応時刻、変位後の位置、対応位置の入力画素値、変位場の収縮度、変位の大きさ(速度)やその加速度、近傍での最大画素値や、その最大画素値のボクセルから当該ボクセルまでの距離、などの関数である。
【0103】
ボリュームデータ生成部301から入力されたボリュームデータtk、のボクセル及びボリュームデータtk−1のボクセルと、動き解析情報から画素値の歪の量の関数を求める方法としては、対応する位置の画素値の変化量を画像内で統計処理する、などが考えられる。
【0104】
そして、補正処理部306で求めた画素値の値的な歪み量に基づき、実画像tk−1、tkを補正処理すると、生成される画像の特性(明度、ダイナミックレンジ)が均一な画像を作成することができる。
【0105】
<補正処理フロー(2):画像の特性(明度、ダイナミックレンジ)の均一化>
ここで、図15を参照して、実画像tk−1、tkの画質、における特性(明度、ダイナミックレンジ)を均一とするための、補正処理部306で補正処理について説明する。図15は、本実施の形態に係る医療用画像処理装置300補正処理フローの例(2)である。
【0106】
図15に示すように、ステップST41では、出力フェイズの前後に相当する、2以上の入力フェイズについて、ボリュームデータtk、tk−1を取得する。そして、ステップST42へ遷移する。
【0107】
ステップST42では、2以上の入力フェイズについて、ボリュームデータtk、tk−1と動き解析情報から、画素値の値的な歪の量の関数を算出する。そして、ステップST43へ遷移する。
ステップST43では、歪の量の関数から、ボリュームデータtk、tk−1の各ボクセル位置について、画素値の補正係数を算出する。そして、ステップST44へ遷移する。
【0108】
ステップST44では、出力フェイズの全ボクセルについて、動き解析情報及びボリュームデータtk、tk−1から、ボリュームデータtk、tk−1の画素値を算出する。
そして、ステップST45へ遷移する。
ステップST45では、出力フェイズの全ボクセルについて、前後の入力フェイズでの対応する位置を、動き解析情報から算出する。そして、ステップST46へ遷移する。
【0109】
ステップST46では、各対応位置の画素値を入力画像上でサンプリングし、サンプリングした値を、入力フェイズに対応する入力画素値とする。そして、ステップST47へ遷移する。
ステップST47では、上記入力画素値に、対応ボクセル位置の補正係数による変換をし、これをそれぞれの入力フェイズについて加算したものを、出力フェイズの画素値とする。そして、処理が終了する。
【0110】
<補正処理3:変形又は変異による画素値の変化>
また、本実施の形態に係る医療用画像処理装置300の一つの特徴として、補正処理部306は、動き解析情報及び2以上の実画像(入力画像)tk−1、tkの画質情報に基づき、動き解析情報から得られる入力画像内の特定の領域に関する変形又変位による画素値の変化を見込んだ補正処理を行うこともできる。図16を参照して、説明する。
【0111】
図16は、実画像tk−1、tkの補正処理の例(2)を説明するための図である。説明のため、図16では、入力画像tk−1、tk内の特定の領域を領域R1とする。図16に示すように、領域R1は、実画像tk−1から実画像tkへ遷移する間に縮小する。領域Rが縮小すると、領域R1では造影剤などが濃縮され、何も補正処理を実行しなければ、実画像tk上、領域R1の画素値が大きくなってしまう。これは、造影剤の注入の時刻情報を加味すると更に効果的である。
【0112】
そこで、補正処理部306は、動き解析情報生成部303から得られる動き解析情報に基づき、領域R1の変形変異を取得し、実画像tkに対して変形変異を見込んだ補正処理を行う。
【0113】
上述のように、補正処理部306は、動き解析情報及び2以上の実画像(入力画像)tk−1、tkの画質情報などに基づき、動き解析情報から得られる入力画像内の特定の領域R1に関する変形又変位による、画素値の変化を見込んだ補正処理を行うことで、2以上の実画像内の特定の領域(たとえば、被検体(患者3)の検査部位(関心領域))の変化を正確に表示することができる。
【0114】
<補正処理4:代表値での置き換え>
図17は、実画像tk−1、tk、tk+1の補正処理の例(3)を説明するための図
である。説明のため、図17では、実画像(入力画像)tk−1、tk、tk+1内の特
定の領域を領域R2とする。図17に示すように、領域R2は、実画像tk−1から実画像tk+1へ遷移する間に縮小する。領域Rが縮小すると、領域R2では造影剤などが濃縮され、何も補正処理を実行しなければ、実画像(入力画像)tk−1、よりも、実画像tk、tk+1の領域R2の画素値が大きくなってしまう。
【0115】
そこで、補正処理部306は、動き解析情報生成部303から得られる実画像tk−1、tk間、及び実画像tk、tk+1間の動き解析情報に基づき、領域R2の変形変異を取得し、実画像tkについて実画像tk−1、tk、tk+1で対応する画素値を比較し
、もっともS/Nの高い画素の画素値を、実画像tkにおける画素値とする。
【0116】
また、補正処理部306は、動き解析情報生成部303から得られる実画像tk−1、tk間、及び実画像tk、tk+1間の動き解析情報に基づき、領域R2の変形変異を取得し、実画像tkに対して、実画像tk−1、tk、tk+1で対応する画素値で、S/Nを加味した加重平均を取り、それを新しい画素値とすることも可能である。
【0117】
上述のように、補正処理部306は、動き解析情報及び2以上の実画像(入力画像)tk−1、tkの画質情報などに基づき、動き解析情報から得られる入力画像内の特定の領域R2に関する変形又変位による、画素値の変化を見込んだ補正処理を行うことで、2以上の実画像内の特定の領域(たとえば、被検体(患者3)の検査部位(関心領域))の変化を正確に表示することができる。
【0118】
<補正処理5:2以上実画像の画質の均一化>
図18は、実画像及び補間画像の補正処理の例(4)を説明するための図である。補正処理の他の例として、図18に示すように、上述した補正処理を組み合わせて、補正処理部306は、補間ボリュームデータ生成部305で生成した実画像tk−1、tk間の補間画像taux2について、実画像tk−1、tkに関する動き解析情報、及び画質を均一化する補正処理(図13、図14参照)後の実画像tk−1、tkの画質情報などに基づき、補間画像taux2の補正処理を行うことができる。
【0119】
補間画像taux2の補正処理を行う場合、たとえば、図16を参照して説明した方法
を用いると、補正処理部306は、動き解析情報生成部303から得られる実画像tk−1、tkに関する動き解析情報に基づき、図18に示す領域R3の変形変異を取得し、補間画像taux2に対して変形変異を見込んだ補正処理を行う。
【0120】
また、補間画像taux2の補正処理を行う場合、たとえば、図17を参照して説明し
た方法を用いると、補正処理部306は、動き解析情報生成部303から得られる実画像tk−1、補間画像taux2間、及び補間像taux2、実画像tk間の動き解析情報
に基づき、領域R2の変形変異を取得し、補間実画像taux2について実画像tk−1
、tk、及び補間画像taux2で対応する画素値を比較し、もっともS/Nの高い画素
の画素値を、実画像taux2における画素値とする。この場合、比較する補間画像ta
ux2の画素値をゼロとすれば良い。
【0121】
<補正処理6:2番目以降の画像の画素値の差分の保存>
図19は、実画像の補正処理の例(5)を説明するための図である。補正処理の他の例として、図19に示すように、補正処理部306は、補間ボリュームデータ生成部305で生成した実画像tk−1、tkについて、実画像tk−1、tkに関する動き解析情報、及び実画像tk−1、tkの画質情報などに基づき、実画像tkの補正処理を行い、実画像tk−1から数えて2番目の実画像tkについては、実画像tk−1の画素値との差分のみをデータとして保存しておくで、情報量(量子化ビット数)を減らしつつ、画質を維持することができる。同様に、補正処理部306は、補間ボリュームデータ生成部305で生成した実画像tk、tk+1について、実画像tk、tk+1に関する動き解析情報、及び実画像tk、tk+1の画質情報などに基づき、実画像tk+1の補正処理を行い、実画像tk+1については、実画像tkの画素値との差分のみをデータとして保存しておくで、情報量(量子化ビット数)を減らしつつ、画質を維持することができる。
【0122】
画像生成部307は、補正処理部306から出力される補正処理後のボリュームデータtk−1、tk、とその時刻情報tk−1、tk、補正処理後の補間ボリュームデータtaux、及びその時刻情報tauxを入力とする。そして、画像生成部307は、補正処理後の、補間ボリュームデータtaux、各ボリュームデータtk−1、tkから実際の
3次元画像を生成し、時系列に並べる。
【0123】
表示処理部309は、画像生成部307で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部311のディスプレイに表示するための各種処理を行う。例えば、画像生成部307で生成された3次元画像のシーケンスを生成して、表示部311で動画像として再生するための処理(再生フレームレートの設定など)を行う ことができる。
【0124】
表示部311は、表示処理部309で適宜処理された、時系列の実画像tk−1、tk及び補間画像tauxを表示する。表示部111は、時系列となった実画像tk−1、t
k及び補間画像taux以外に、各画像の時刻情報も表示する。また、必要に応じて、表示部111は、画像生成部307で生成された3次元画像のシーケンスを、表示処理部309での処理の後、動画像として再生することができる。
【0125】
以上、実施の形態2に係る医療用画像処理装置300によれば、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正して、2以上の実画像内の特定の領域(たとえば、被検体(患者3)の検査部位(関心領域))の変化を正確に表示することができる。したがって、本実施の形態に係る医療用画像処理装置300によれば、被検体である患者3の検査部位(関心領域)の観察を精度良く行うことができる。
【0126】
例えば、医療用画像処理装置300により、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正すれば、従来のレンダリング法でシネ再生するだけでも、心機能の不全等を良好に観察できる。また、医療用画像処理装置300により、動き解析情報に基づき補間画像を実画像間に補間すれば、心臓マルチフェイズデータのような短い時間間隔のものだけでなく、病変の経年変化を観察するような長い時間間隔のデータにも応用できる。
【0127】
さらに、医療用画像処理装置300により、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正すれば、ストレイン解析、パフュージョン解析、心機能解析などで、再現性のある全自動化された定量化により、従来よりも安価に正確で結果を誰もが得られる。さらに、また、医療用画像処理装置300により、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正すれば、複数のボリュームデータに対してセグメンテーション処理を行うときに処理結果を安定させることが出来る。また、臓器間癒着の判断を自動処理で行う場合も医師等が動画を直接観察する場合も容易になる。
【0128】
また、本実施の形態に係る医療用画像処理装置300によれば、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正すれば、表示部311のノイズ軽減、ノイズのばらつき調整が可能である。
【0129】
例えば、医療用画像処理装置300が生成した動き解析情報によって、実画像又は補間画像の対応画素を特定することにより、本来の詳細な画像情報を失うことなくノイズを軽減できる。また、医療用画像処理装置300により、CTマルチフェイズ検査において、X線照射量の多いフェイズと少ないフェイズが混在しても、X線照射量の少ないフェイズについては、前後のフェイズの画素値を利用することで、良好な補間画像を得られる。
【0130】
さらに、医療用画像処理装置300により、動き解析情報に加えて、2以上の実画像の画質情報に基づき、2以上の実画像の画質又は2つの実画像間を補間する補間画像の画質を補正すれば、重要なフェイズのみX線照射量を多くして実画像を生成し、それ以外のフェイズについては、補間画像を生成することで、患者3のX線の被ばく量を低減することができる。
【0131】
なお、本実施の形態に係る医療用画像処理装置300では、コンピュータ断層撮影装置により、患者3の診断範囲における多数の相連続する断層信号がボリュームデータ生成部301に供給されているが、これに限らない。ボリュームデータ生成部301に供給される信号は、コンピュータ断層撮影装置以外に、たとえば、MRI装置(Magnetic Resonance Imaging)といった、被検体のボリュームデータから検査部位の断層像を生成し、モニター画面に表示して診断を行う装置からの断層信号も含まれる。
【0132】
なお、本実施の形態において、ボリュームデータtkの時刻tkは、ボリュームデータtk−1から所定時間経過した後の時刻であるが、この所定時間は任意の時間であり、たとえば、被検体(患者3)の検査部位(関心領域)の変化が現れると予測される時間に依存して、適宜設定することができる。
【0133】
なお、本実施の形態において、表示処理部309が、画像生成部307で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部311のディスプレイに表示するための各種処理を行う際、以下のような処理が表示部311で可能なように設定されても良い。つまり、(1)動き解析、マスク・パス等の編集、補間画像の生成は、時間・場所・処理装置に関して別々に行え、(2)動き解析情報と、マスク・パス等の編集状態(ワークスペース)を、別のファイルとして保存し、後で組み合わせて補間画像を生成する、(3)動き解析情報と、マスク・パス・レンダリングの情報を含む画像ファイルを、後で組み合わせて補間(増量)画像を生成する、(4)補間画像の生成やジオメトリ情報の伝播の機能があるワークステーション上に、動き解析情報の有無を表示し、ユーザに動き解析が完了したことを即時に知らせる、(5)異なる精度、アルゴリズム、による複数の動き解析情報のマネージメント(削除・コピー・移動)ができる。
【0134】
なお、本実施の形態では、ボリュームデータを生成した時刻情報を、コンピュータ断層撮影装置により供給された時刻に基づき、生成しているが、これに限らない。
【0135】
なお、本実施の形態の説明に用いた各機能ブロック(図12参照)は、典型的には集積回路であるLSIとして実現される。特に、実画像及び補間画像を生成する計算処理は、GPU(Graphic Processing Unit)により行うことができる。GPUは、汎用のCPU(Central Processing Unit)と比較して画像処理に特化した設計なされている演算処理装置で、通常のCPUとは別個にコンピュータに搭載される。
【0136】
なお、本実施の形態では、心臓の観察に用いる例を示したが、これに限らない。例えば、腫瘍組織の経時変化の観察、血流灌流の観察などに用いることも出来る。
【0137】
(実施の形態3)
上述した実施の形態1に係る医療用画像処理装置100によれば、動き解析情報に基づき、補間画像を実画像間に補間することで、画像内の特定の領域の変化を正確に表示する。その一方で、観察対象の領域を画像としてよりも、その形状や大きさなどのより客観的な指標で把握したい場合がある。この場合は観察対象のジオメトリ情報を作成するが、補間ボリュームを含む多数のボリュームデータそれぞれにジオメトリ情報を作成するには多大な労力がかかる。また、異なるボリュームデータのジオメトリ情報の間の対応関係を設定するのも多大な労力がかかる。
【0138】
そこで、実施の形態3に係る医療用画像処理装置500では、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成することで、個別にジオメトリ情報を生成するのに比較して、セグメンテーションに係る操作の手間、補正処理を減らすことができる。さらに、実施の形態3に係る医療用画像処理装置500では、実画像と他の実画像との画質に差異によって、セグメンテーションの結果の揺らぎを抑止できる。そのため、ユーザは、より客観的な画像解析を行うことができる。
【0139】
さらには、実施の形態3に係る医療用画像処理装置500では、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報から他の実画像のジオメトリ情報を生成しているので、他の実画像のジオメトリ情報は、内在的に実画像のボリュームデータから生成したジオメトリ情報との対応関係を有している。そのため、他の実画像のジオメトリ情報と実画像のジオメトリ情報との対応関係を改めて取得、計算する必要がない。
【0140】
図20を参照して、本実施の形態3に係る医療用画像処理装置500の構成について説明する。図20に示す医療用画像処理装置500は、ボリュームデータ生成部501と、動き解析情報生成部503と、補間ボリュームデータ生成部505と、ジオメトリ情報生成部506と、画像生成部507と、表示処理部509と、を備える。さらに、医療用画像処理装置500には、医療用画像処理装置500で生成された画像を表示する表示部511と、医療用画像処理装置500の各部を操作するためのユーザインターフェースである操作部513と、が設けられている。
【0141】
ボリュームデータ生成部501は、実施の形態1と同様、コンピュータ断層撮影装置により供給された断層信号から、撮影時刻の異なる複数のボリュームデータを生成し、各ボリュームデータが生成された時刻を表す時刻情報と共に、動き解析情報生成部503と、ジオメトリ情報生成部506と、画像生成部507とへ出力する。
【0142】
また、ボリュームデータ生成部501は、コンピュータ断層撮影装置から、装置の撮像条件(例えば、X線量、撮影時間、造影剤の注入の時刻)を取得し、画像生成部507へ出力する。なお、コンピュータ断層撮影装置の撮像条件以外にも、コンピュータ断層撮影装置の撮影対象の条件(患者の動きや、患者の体内に含まれる金属など)により、のちに生成される実画像の画質が大きく変化する。
【0143】
なお、ボリュームデータ生成部501は、図示しないメモリに、撮影時刻の異なる複数のボリュームデータ、コンピュータ断層撮影装置の撮像条件、コンピュータ断層撮影装置の撮影対象の条件を保持することができる。
【0144】
ここで、本実施の形態では、ボリュームデータ生成部501は、実施の形態1と同様、複数のボリュームデータの各ボリュームデータが、コンピュータ断層撮影装置により撮影された時刻tに基づき、ボリュームデータを生成した時刻情報tn(n=1、2、…、k−1、k、k+1…:自然数)を生成するものとする。
【0145】
以下、説明のため、ボリュームデータ生成部501では、時刻情報tk−1のボリュームデータと、時刻tk−1から所定時間経過後に撮影され、ボリュームデータ生成部501に供給された断層信号に基づき生成された時刻情報tkのボリュームデータと、時刻tkから所定時間経過後に撮影され、ボリュームデータ生成部501に供給された断層信号に基づき生成された時刻情報tk+1のボリュームデータを保持しているものとする。また、以下、説明のため、時刻情報tkのボリュームデータを、ボリュームデータtkと適宜省略して記載する。
【0146】
動き解析情報生成部503は、ボリュームデータ生成部501から出力されたボリュームデータのうち、ボリュームデータtk−1及びその時刻情報tk−1、並びにボリュームデータtk及びその時刻情報tkから、動き解析情報を生成する。
【0147】
ここで、動き解析情報とは、複数のボリュームデータ上の対応する位置もしくは対応する物体の対応関係の情報、及び、前記位置及び物体が移動変化する過程の情報を指す。また、各ボリュームデータの画素が、時刻k−1と時刻kとの間の任意の時刻での位置を示す指標となる。
【0148】
そして、動き解析情報生成部503は、生成した動き解析情報を、補間ボリュームデータ生成部505と、ジオメトリ情報生成部506と、画像生成部507とに出力する。動き解析情報生成部503が生成する動き解析情報は、実施の形態1の動き解析情報生成部103と同様(図2参照)、3次元画像の情報を含むボリュームデータtk−1の各画素がどのように変位して、ボリュームデータtkでの画素となっているかを示す。
【0149】
補間ボリュームデータ生成部505は、操作部513の入力指示に基づき、必要に応じて、3次元画像の情報を含むボリュームデータtk−1とボリュームデータtkとの間を補間する、補間ボリュームデータtauxとその時刻情報tauxとを生成し、画像生成部507とに出力する。
【0150】
ジオメトリ情報生成部506は、ボリュームデータ生成部501から出力された、撮影時刻の異なる複数のボリュームデータとその時刻情報に基づき、必要に応じて、1又は複数のボリュームデータのジオメトリ情報を生成し、画像生成部507に出力する。以下、時刻情報tkにおけるボリュームデータtkのジオメトリ情報を、ジオメトリ情報Gtkと称する。
【0151】
ここで、ジオメトリ情報とは、1つの3次元実画像について、中実、表面、線、位置、又はこれらの要素の組み合わせで表現した組織の情報である。特に、ボクセルデータのマスクで表現される領域の中実や表面であることが多く、セグメンテーションなどの従来手法を用いることができる。また、トラッキングなどの従来手法を用いて取得される線であることもある。これらはマスク・パス・点として表現することができる。
【0152】
図21(a)、図21(b)を参照して、ジオメトリ情報生成部506での処理について説明する。図21(a)は、ジオメトリ情報生成部506での処理1を模式的に示す図であり、図21(b)は、ジオメトリ情報生成部506での処理2を模式的に示す図である。
【0153】
図21(a)に示すように、ジオメトリ情報生成部506は、ボリュームデータtk−1における、3次元的に表現されている特定の領域Rについて、ジオメトリ情報Gtk−1を生成する。次に、図21(b)に示すように、ジオメトリ情報生成部506は、特定の領域Rのジオメトリ情報Gtk−1及び、あらかじめ動き解析情報生成部503から取得したボリュームデータtk−1とボリュームデータtk間の動き解析情報から、特定の領域Rのジオメトリ情報Gtkを生成する。ジオメトリ情報Gtkはジオメトリ情報Gtk−1に含まれる座標情報をその座標における動き解析情報による動きを適用して、ジオメトリ情報Gtkにおける座標を取得し、この時に座標情報(例えばノード)の属するマスク・パス・点の関係(例えばリンク)を維持することによって求めることが出来る。
【0154】
また、ジオメトリ情報生成部506は、操作部513の入力指示に基づき、必要に応じて、生成した各ボリュームデータのジオメトリ情報を、補間ボリュームデータ生成部505に出力する。
【0155】
また、補間ボリュームデータ生成部505は、操作部513の入力指示に基づき、必要に応じて、動き解析情報生成部503で生成した動き解析情報、及びジオメトリ情報生成部506で生成したジオメトリ情報Gtkに基づき、補間ボリュームデータtauxとその時刻情報tauxを生成することができる。
【0156】
ここで、本実施の形態では、実施の形態1と同様、補間ボリュームデータtauxが有する時刻情報tauxは、時刻情報tk−1と時刻情報tkとの中間の時刻情報とは限らない。言い換えると、補間ボリュームデータの時刻情報tauxと直前のタイミングに生成されたボリュームデータtk−1の時刻情報tk−1との間隔Aと、補間ボリュームデータの時刻情報tauxと直後のタイミングに生成されたボリュームデータの時刻情報tkとの間隔Bとが異なる間隔、すなわち、非等間隔となっている。この理由については、実施の形態1で上述した理由と同じであるため、詳細な説明は省略する。
【0157】
画像生成部507は、ボリュームデータ生成部501から出力されるボリュームデータtk−1、tk、とその時刻情報tk−1、tk、補間ボリュームデータ生成部505から出力される補間ボリュームデータtauxとその時刻情報taux、を入力とする。そして、画像生成部507は、補間ボリュームデータtaux、各ボリュームデータtk−1、tkから実際の3次元画像、及び、補間ジオメトリ情報Gtaux、各ジオメトリ情報Gtkと重ね合わせた画像を生成し、時系列に並べる。この時に、補間ジオメトリ情報Gtaux、各ジオメトリ情報Gtkに含まれる数値を可視化する。数値は例えば、組織の体積(心室の体積、肺の体積、腫瘍の体積)、表面積(腫瘍が浸潤した面の面積)、長さ(血管の長さ、心壁の厚さ)、位置(弁の座標)が挙げられる。また、補間ジオメトリ情報Gtaux、各ジオメトリ情報Gtkに含まれる数値の変化を可視化する。例えば、肺活量、腫瘍の成長などがある。
【0158】
表示処理部509は、画像生成部507で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部311のディスプレイに表示するための各種処理を行う。例えば、画像生成部507で生成された3次元画像のシーケンスを生成して、表示部511で動画像として再生するための処理(再生フレームレートの設定など)を行うことができる。
【0159】
表示部511は、表示処理部509で適宜処理された、時系列の実画像tk−1、tk及び補間画像tauxを表示する。表示部511は、時系列となった実画像tk−1、t
k及び補間画像taux以外に、各画像の時刻情報も表示する。また、必要に応じて、表示部511は、画像生成部507で生成された3次元画像のシーケンスを、表示処理部509での処理の後、動画像として再生することができる。
【0160】
<画像処理の例(1)>
次に、図22を参照して、本実施の形態3に係る医療用画像処理装置500の画像処理の一例について説明する。図22は、本実施の形態3に係る医療用画像処理装置500の画像処理の例(1)を示す図である。
【0161】
図22に示すように、ユーザが、操作部513を介して、3次元実画像tk−1上で、特定の領域Rについて、ジオメトリ情報Gtk−1に含まれるマスク・パス・点などの編集をすると、ボリュームデータtk−1とボリュームデータtk間の動き解析情報に基づき、インタラクティブに、その編集内容を他の3次元画像tkに伝播させることはできる。これは、あらかじめ、ボリュームデータtk−1とボリュームデータtk間の動き解析情報と、ジオメトリ情報Gtk−1とにより、他の3次元画像tkの特定の領域Rについて、ジオメトリ情報Gtを生成しているからである。また、ユーザが、操作部513を介して、3次元実画像tk−1上で、特定の領域Rについて、ジオメトリ情報Gtk−1に含まれるマスク・パス・点などの編集・保存したものに、後から、ボリュームデータtk−1とボリュームデータtk間の動き解析情報を適用し、その編集内容を他の3次元画像tkに伝播させることができる。これによってジオメトリ情報Gtk−1作成の処理やユーザの労力が軽減される。
【0162】
また、ジオメトリ情報Gtに含まれるマスク・パス・点などの編集をすると、ボリュームデータtk−1とボリュームデータtk間の動き解析情報を修正する事が出来る。これは、ジオメトリ情報Gtとジオメトリ情報Gtk−1との対応関係が定められているからである。これによって動き解析情報を容易に修正することが出来る。
【0163】
<画像処理の例(2)>
次に、図23を参照して、本実施の形態3に係る医療用画像処理装置500の画像処理の一例について説明する。図23は、本実施の形態3に係る医療用画像処理装置500の画像処理の例(2)を示す図である。
【0164】
図23では、まず、ユーザが、操作部513を介して、3次元実画像tk−1上で、特定の領域Rについて、ジオメトリ情報Gtk−1に含まれるマスク・パス・点などの編集をすると、ボリュームデータtk−1とボリュームデータtk間の動き解析情報に基づき、インタラクティブに、その編集内容を他の3次元画像tkに伝播させることができる。さらに、ユーザが、操作部513を介して、3次元実画像tk−1上で、特定の領域Rについて、ジオメトリ情報Gtk−1に含まれるマスク・パス・点などの編集した後に、同じ動き解析情報を用いて、補間ジオメトリ情報Gtaux、及び補間画像taux3を生成成することができる。このとき、補間画像taux3の時刻情報taux3は、時刻情報tk−1と時刻情報tkとの中間の時刻情報ではない、非等間隔な時刻で生成することできる。
なお、補間ジオメトリ情報Gtauxとは、ジオメトリ情報と同様、1つの3次元補間画像について、中実、表面、線、位置、又はこれらの要素の組み合わせで表現した組織の情報である。
【0165】
そして、補間画像taux3の時刻情報taux3を決める際に、あらかじめ生成していたボリュームデータtk−1とボリュームデータtk間の動き解析情報と、ジオメトリ情報Gtk−1を利用する。たとえば、特定の領域Rが心臓である場合、その容積が最大となる時刻を、補間画像taux3の時刻情報taux3に設定すれば、特定の領域Rの時間変化を容易に画像化することができる。
【0166】
ここで、補間ボリュームデータとは、時刻tk−1と時刻tkとの間の特定の時刻tauxにおけるボリュームデータである。つまり、補間ボリュームデータ生成部505が補間ボリュームデータtauxを生成することは、実際はコンピュータ断層撮影装置で撮像されていない時刻tauxにおいて、あたかもコンピュータ断層撮影装置により撮像して、ボリュームデータ生成部501がボリュームデータを生成したことと、同等となる。
【0167】
<画像処理の例(3)>
次に、図24を参照して、本実施の形態3に係る医療用画像処理装置500の画像処理の一例について説明する。図24は、本実施の形態3に係る医療用画像処理装置500の画像処理の例(3)を示す図である。
【0168】
図24に示すように、ボリュームデータtk−1とボリュームデータtk間の動き解析情報から、特定の領域Rについて、時刻情報tk−1から時刻情報tkまでの変形変異を取得し、この変形変異を見込んで、ボリュームデータtk−1について特定の領域Rのボクセル値の変化を予測し補正する補正処理を行う際に、ジオメトリ情報Gtk−1を利用することができる。つまり、図24に示すように、特定の領域Rは、実画像tk−1から実画像tkへ遷移する間に縮小する。特定の領域Rが縮小すると、特定の領域Rでは造影剤などが濃縮され、何も補正処理を実行しなければ、実画像tk上、特定の領域Rの画素値が大きくなってしまう。これは、造影剤の注入の時刻情報を加味すると更に効果的である。
【0169】
そこで、ボリュームデータtk−1とボリュームデータtk間の動き解析情報から、領域Rの変形変異を取得し、実画像tk−1に対して、ジオメトリ情報Gtk−1に基づき、変形変異を見込んだ補正処理を行う。
【0170】
なお、上述した変形変異を見込んだ補正処理は、特定の領域Rに含まれる組織によって、その補正の度合を適宜変更するのが良い。補正の度合とは、例えば、CT検査における、「臓器の収縮」、「近接している高信号の部分の影響」であり、MR検査における、「位置の変化」、超音波検査における、「速度の変化」などがある。
【0171】
<画像処理の例(4)>
次に、図25を参照して、本実施の形態3に係る医療用画像処理装置500の画像処理の一例について説明する。図25は、本実施の形態3に係る医療用画像処理装置500の画像処理の例(4)を示す図である。
【0172】
図25に示すように、ボリュームレンダリング法(VR)、最大値投影法(MIP)、MPR(Multi−Planar Rendering)、CPR(Curved Planar Reformation)、仮想内視鏡法(VE)など、医療用3DWSの既存の種々のレンダリングでの実画像tk−1において、特定の領域Rの注目点を画面上で固定する。そして、ボリュームデータtk−1とボリュームデータtk間の動き解析情報、及び実画像tk−1における特定の領域Rのジオメトリ情報Gtk−1を利用することで、特定の領域R内のある領域又は点に着目して、表示部511上でなるべく動かないように、視点の位置・方向・回転角度・拡大率を、実画像毎に設定することができる。
【0173】
<画像処理の例(5)>
次に、図26を参照して、本実施の形態3に係る医療用画像処理装置500の画像処理の一例について説明する。図26は、本実施の形態3に係る医療用画像処理装置500の画像処理の例(5)を示す図である。
【0174】
図26に示すように、ボリュームデータtk−1とボリュームデータtk間の動き解析情報、及び実画像tk−1における特定の領域Rのジオメトリ情報Gtk−1を利用することで、仮想内視鏡法(VE)で得られる3次元実画像tk−1上で、視点を特定の領域R内で固定し、その視点の位置及び方向を、動き解析情報に従い、各3次元実画像ごとに設定することができる。
【0175】
以上、本実施の形態に係る医療用画像処理装置500によれば、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成することで、観察対象の形状や大きさなどのより客観的な指標で把握することができる。
【0176】
また、本実施の形態に係る医療用画像処理装置500によれば、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成することで、個別にジオメトリ情報を生成するのに比較して、
セグメンテーションに係る操作の手間、補正処理を減らすことができる。さらに、実画像と他の実画像との画質に差異によって、セグメンテーションの結果の揺らぎを抑止できる。そのため、ユーザは、より客観的な画像解析を行うことができる。
【0177】
さらには、本実施の形態に係る医療用画像処理装置500では、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報から他の実画像のジオメトリ情報を生成しているので、他の実画像のジオメトリ情報は、内在的に実画像のボリュームデータから生成したジオメトリ情報との対応関係を有している。そのため、他の実画像のジオメトリ情報と実画像のジオメトリ情報との対応関係を改めて取得、計算する必要がない。
【0178】
本実施の形態に係る医療用画像処理装置500によれば、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成するので、従来のレンダリング法でシネ再生するだけでも、心機能の不全等を良好に観察できる
【0179】
また、本実施の形態に係る医療用画像処理装置500によれば、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成するので、心臓マルチフェイズデータのような短い時間間隔のものだけでなく、病変の経年変化を観察するような長い時間間隔のデータにも応用できる。
【0180】
また、本実施の形態に係る医療用画像処理装置500によれば、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成するので、ストレイン解析、パフュージョン解析、心機能解析などで、再現性のある全自動化された定量化により、従来よりも安価に正確で結果を誰もが得られる。
【0181】
また、本実施の形態に係る医療用画像処理装置500によれば、動き解析情報に加えて、実画像のボリュームデータから生成したジオメトリ情報に基づき、他の実画像のジオメトリ情報を生成するので、セグメンテーションにより隣接する臓器を設定し、動き解析情報により動きが一緒の部分を推定、癒着の可能性あり、として表示部511に表示することができる。
【0182】
なお、本実施の形態に係る医療用画像処理装置500では、コンピュータ断層撮影装置により、患者3の診断範囲における多数の相連続する断層信号がボリュームデータ生成部501に供給されているが、これに限らない。ボリュームデータ生成部501に供給される信号は、コンピュータ断層撮影装置以外に、たとえば、MRI装置(Magnetic Resonance Imaging)といった、被検体のボリュームデータから検査部位の断層像を生成し、モニター画面に表示して診断を行う装置からの断層信号も含まれる。
【0183】
なお、本実施の形態において、ボリュームデータtkの時刻tkは、ボリュームデータtk−1から所定時間経過した後の時刻であるが、この所定時間は任意の時間であり、たとえば、被検体(患者3)の検査部位(関心領域)の変化が現れると予測される時間に依存して、適宜設定することができる。
【0184】
なお、本実施の形態において、表示処理部509が、画像生成部507で時系列となった実画像tk−1、tk及び補間画像tauxを、表示部511のディスプレイに表示するための各種処理を行う際、以下のような処理が表示部511で可能なように設定されても良い。つまり、(1)動き解析、マスク・パス等の編集、補間画像の生成は、時間・場所・処理装置に関して別々に行え、(2)動き解析情報と、マスク・パス等の編集状態(ワークスペース)を、別のファイルとして保存し、後で組み合わせて補間画像を生成する、(3)動き解析情報と、マスク・パス・レンダリングの情報を含む画像ファイルを、後で組み合わせて補間(増量)画像を生成する、(4)補間画像の生成やジオメトリ情報の伝播の機能があるワークステーション上に、動き解析情報の有無を表示し、ユーザに動き解析が完了したことを即時に知らせる、(5)異なる精度、アルゴリズム、による複数の動き解析情報のマネージメント(削除・コピー・移動)ができる。
【0185】
なお、本実施の形態では、ボリュームデータを生成した時刻情報を、コンピュータ断層撮影装置により供給された時刻に基づき、生成しているが、これに限らない。
【0186】
なお、本実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。特に、実画像及び補間画像を生成する計算処理は、GPU(Graphic Processing Unit)により行うことができる。GPUは、汎用のCPU(Central Processing Unit)と比較して画像処理に特化した設計なされている演算処理装置で、通常のCPUとは別個にコンピュータに搭載される。
【符号の説明】
【0187】
100、300、500 医療用画像処理装置
101、301、501 ボリュームデータ生成部
103、303、503 動き解析情報生成部
105、305、505 補間ボリュームデータ生成部
107、307、507 画像生成部
109、309、509 表示処理部
111、311、511 表示部
113、313、513 操作部
306 補正処理部
506 ジオメトリ情報生成部
【特許請求の範囲】
【請求項1】
時刻を有する複数のボリュームデータのそれぞれを可視化する医療用画像処理装置であって、
前記複数のボリュームデータのうち、一のボリュームデータについて、ジオメトリ情報を生成する第1生成手段と、
前記複数のボリュームデータのうち、前記一のボリュームデータと他の少なくとも一のボリュームデータとの間の動き解析情報を生成する第2生成手段と、
前記複数のボリュームデータのうち、前記他の少なくとも一のボリュームデータについて、前記動き解析情報及び前記ジオメトリ情報に基づき、対応する新たなジオメトリ情報を生成する第3生成手段と、
前記他の少なくとも一のボリュームデータについて、前記対応する新たなジオメトリ情報を含む画像を表示するための処理を行う表示処理手段と、を備える医療用画像処理装置。
【請求項2】
請求項1に記載の医療用画像処理装置であって、
前記動き解析情報に基づき、前記一のボリュームデータに含まれる特定の領域の変異又は変形を取得し、当該取得した変異又は変形、前記ジオメトリ情報、及び前記対応する新たなジオメトリ情報に基づき、ボクセル値の変化を予測し、前記一のボリュームデータのボクセル値を補正する、医療用画像処理装置。
【請求項3】
請求項1に記載の医療用画像処理装置であって、
さらに、前記一のボリュームデータと前記他の少なくとも一のボリュームデータとの間を補間する補間ボリュームデータを生成する第4生成手段と、
前記補間ボリュームデータについて、前記動き解析情報及び前記ジオメトリ情報に基づき、対応する補間ジオメトリ情報を生成する第5生成手段と、を備え、
前記表示処理手段は、
前記補間ボリュームデータについて、前記補間ジオメトリ情報を含む画像を表示するための処理を行う、医療用画像処理装置。
【請求項4】
請求項3に記載の医療用画像処理装置であって、
前記一のボリュームデータの時刻情報及び前記補間ボリュームデータの時刻情報の間隔と、前記他のボリュームデータ及び前記補間ボリュームデータの時刻情報の間隔とは非等間隔である、医療用画像処理装置。
【請求項5】
請求項1に記載の医療用画像処理装置であって、
前記表示処理手段は、
前記複数のボリュームデータについて描画する時に、前記ジオメトリ情報と前記新たなジオメトリ情報とを利用して、前記複数のボリュームデータで共通する特定の領域を画像として表示するための処理を行う、医療用画像処理装置。
【請求項6】
コンピュータを、請求項1から請求項5のいずれか1項に記載の各手段として機能させるための医療用画像処理プログラム。
【請求項1】
時刻を有する複数のボリュームデータのそれぞれを可視化する医療用画像処理装置であって、
前記複数のボリュームデータのうち、一のボリュームデータについて、ジオメトリ情報を生成する第1生成手段と、
前記複数のボリュームデータのうち、前記一のボリュームデータと他の少なくとも一のボリュームデータとの間の動き解析情報を生成する第2生成手段と、
前記複数のボリュームデータのうち、前記他の少なくとも一のボリュームデータについて、前記動き解析情報及び前記ジオメトリ情報に基づき、対応する新たなジオメトリ情報を生成する第3生成手段と、
前記他の少なくとも一のボリュームデータについて、前記対応する新たなジオメトリ情報を含む画像を表示するための処理を行う表示処理手段と、を備える医療用画像処理装置。
【請求項2】
請求項1に記載の医療用画像処理装置であって、
前記動き解析情報に基づき、前記一のボリュームデータに含まれる特定の領域の変異又は変形を取得し、当該取得した変異又は変形、前記ジオメトリ情報、及び前記対応する新たなジオメトリ情報に基づき、ボクセル値の変化を予測し、前記一のボリュームデータのボクセル値を補正する、医療用画像処理装置。
【請求項3】
請求項1に記載の医療用画像処理装置であって、
さらに、前記一のボリュームデータと前記他の少なくとも一のボリュームデータとの間を補間する補間ボリュームデータを生成する第4生成手段と、
前記補間ボリュームデータについて、前記動き解析情報及び前記ジオメトリ情報に基づき、対応する補間ジオメトリ情報を生成する第5生成手段と、を備え、
前記表示処理手段は、
前記補間ボリュームデータについて、前記補間ジオメトリ情報を含む画像を表示するための処理を行う、医療用画像処理装置。
【請求項4】
請求項3に記載の医療用画像処理装置であって、
前記一のボリュームデータの時刻情報及び前記補間ボリュームデータの時刻情報の間隔と、前記他のボリュームデータ及び前記補間ボリュームデータの時刻情報の間隔とは非等間隔である、医療用画像処理装置。
【請求項5】
請求項1に記載の医療用画像処理装置であって、
前記表示処理手段は、
前記複数のボリュームデータについて描画する時に、前記ジオメトリ情報と前記新たなジオメトリ情報とを利用して、前記複数のボリュームデータで共通する特定の領域を画像として表示するための処理を行う、医療用画像処理装置。
【請求項6】
コンピュータを、請求項1から請求項5のいずれか1項に記載の各手段として機能させるための医療用画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【公開番号】特開2011−110282(P2011−110282A)
【公開日】平成23年6月9日(2011.6.9)
【国際特許分類】
【出願番号】特願2009−270481(P2009−270481)
【出願日】平成21年11月27日(2009.11.27)
【出願人】(500109320)ザイオソフト株式会社 (59)
【Fターム(参考)】
【公開日】平成23年6月9日(2011.6.9)
【国際特許分類】
【出願日】平成21年11月27日(2009.11.27)
【出願人】(500109320)ザイオソフト株式会社 (59)
【Fターム(参考)】
[ Back to top ]