説明

画像処理装置、画像処理方法、及び画像処理プログラム

【課題】医療機器から得られた3次元画像群のデータに対して、複数の局所的なVOIを設定して位置あわせを行うことで、処理時間を大幅に短縮しつつ、精度よく位置あわせを行う画像処理装置等を提供する。
【解決手段】医療機器により得られる3次元画像群の間で位置合わせを行う画像処理装置10において、3次元画像群における複数の局所的な3次元関心領域を設定するVOI設定部342と、設定した3次元関心領域における特徴部を抽出する特徴点抽出部342と、抽出した特徴部について、異なる3次元画像群の間で対応する対応点を決定する対応点決定部343と、異なる3次元画像群の間のそれぞれの対応点が合致するように、対応点の位置を特定して最適なパラメータを決定するパラメータ決定部344と、決定したパラメータに基づいて、3次元画像群の位置あわせを行う最適位置あわせ部345とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療機器により得られた画像群の位置合わせを行う画像処理装置等に関する。
【背景技術】
【0002】
身体にメスを入れることなく体の断面画像を得る、CT(Computed Tomography:コンピュータ断層撮影)やMRI(Magnetic Resonance Imaging:核磁気共鳴画像法)等の画像診断機器が広く普及している。特に、3次元画像は、コンピュータ上での手術シミュレーションや放射線治療ロボット(サイバーナイフ)での治療に不可欠なものであり、病変部の位置を精度よく特定できる画像処理技術が強く望まれている。
【0003】
しかし、CTやMRI等は、モダリティごとにそれぞれ異なる性質を有しているため、鮮明に撮像される情報も異なり、脳手術や脳研究の際には比較読影が必要となる。異なるモダリティごとの画像を並べて比較読影する場合には、内部の正確な位置を判断することが困難になると共に、比較読影に多くの時間を要する。また、比較読影する人の個人差により精度にバラつきが見られる場合も多々ある。
【0004】
同じモダリティにより得られた画像であっても、撮像したタイミングの違いにより、撮像時の体の角度や撮像環境が異なるため、内部の位置関係がずれてしまうことが多く、前記と同様に内部の正確な位置を判断することが困難になると共に、比較読影に多くの時間を要する。そこで、医療機器より得られた、異なる画像群の位置合わせを行ってフュージョン画像を生成する技術が開示されている(非特許文献1、2を参照)。
【0005】
非特許文献1は、3次元画像データに対して相互情報量が最大となるように位置あわせを行う技術であり、画像の読込処理、前処理後にパウエル法によるパラメータの変動と相互情報量の算出を繰り返して行い、最終的に相互情報量が最大となるときのパラメータ(移動量、回転量)を最適解として決定するものである。
【0006】
非特許文献2は、アキシャル面、サジタル面のそれぞれの2次元画像データに対して、ICP法(Iterative Closest Point)により位置あわせを行う技術であり、ランドマークとして眼部を抽出し、対応するスライス画像をおおまかに決定する。そして、頭部の輪郭画像を用いてアキシャル面、サジタル面のそれぞれの2次元画像データについてICP法により位置あわせを行うものである。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】F.MASE, A.Collignon, D.Vandermeulen, G.Marchal and P.Suetens, "Multimodality Image Registration by Maximization of Mutual Information", IEEE Trans. on Medical Imaging, vol.16, no.2, pp.187-198, 1997
【非特許文献2】原田康平,金亨燮,タン ジュークイ,石川聖二,山村雄太郎,山本晃義、“ICP法を用いた頭部CT・MR画像の最適な位置合わせ法”、MEDICAL IMAGING TECHNOLOGY、日本、2008年9月、Vol.26 No.4、pp.246−250
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、非特許文献1に示す技術は、数百枚に及ぶ画像群に対して、3次元画像データでの位置あわせを行うため、演算量が非常に多くなり、処理時間に多くの時間を費やしてしまう(実験値ではCT画像、MR画像各々約350枚に対して約6000秒)という課題を有する。特に、頭部の撮像後、直ちにサイバーナイフ等を用いた治療を行う場合には、撮像から治療までの時間を短縮することは非常に重要であり、非特許文献1に示す技術では、実用性に欠けてしまう。
【0009】
非特許文献2に示す技術は、2次元画像データに対してアキシャル面、サジタル面のそれぞれで位置あわせを行うことで、非特許文献1と比較して処理時間が格段に速くなっている(実験値ではCT画像、MR画像各々約350枚に対して約70秒)が、アキシャル面とサジタル面の2軸のみで位置あわせを行っているため、3次元画像データに対する位置あわせに比べて精度の面で不十分な技術であるという課題を有する。また、アキシャル面、サジタル面のそれぞれで位置あわせを行った後に3次元画像データを剛体変換する必要があるため、処理に多少の時間が掛かってしまうという課題を有する。
【0010】
そこで、医療機器から得られた3次元画像群のデータに対して、複数の局所的なVOI(Volume Of Interest)を設定して位置あわせを行うことで、処理時間を大幅に短縮しつつ、精度よく位置あわせを行う画像処理装置等を提供する。
【課題を解決するための手段】
【0011】
(1)本願に開示する画像処理装置は、医療機器により得られる3次元画像群の間で位置合わせを行う画像処理装置において、前記3次元画像群における複数の局所的な3次元関心領域を設定する関心領域設定手段と、当該関心領域設定手段が設定した3次元関心領域における特徴部を抽出する特徴抽出手段と、当該特徴抽出手段が抽出した特徴部について、異なる3次元画像群の間で対応する対応点を決定する対応点決定手段と、当該対応点決定手段が決定した、異なる3次元画像群の間のそれぞれの対応点が合致するように、前記対応点の位置を特定して最適なパラメータを決定するパラメータ決定手段と、当該パラメータ決定手段が決定したパラメータに基づいて、前記3次元画像群の位置あわせを行う位置あわせ手段とを備えることを特徴とするものである。
【0012】
このように、本願に開示する画像処理装置においては、3次元画像群における複数の局所的な3次元関心領域を設定し、設定された3次元関心領域における異なる3次元画像群の間の対応点を合致させて最適化することで、異なる3次元画像群の間の画像の位置合わせ処理時間を大幅に短縮しつつ、精度よく位置合わせを行うことができるという効果を奏する。
【0013】
(2)本願に開示する画像処理装置は、前記3次元画像群のアキシャル面について投影画像を生成し、当該生成された投影画像の重心を算出する重心算出手段と、前記3次元画像群のサジタル面について頭頂部の高さの差異を算出する差異算出手段とを備え、前記重心算出手段が算出した重心、及び前記差異算出手段が算出した頭頂部の高さの差異に基づいて、前記異なる3次元画像群の間の仮の位置あわせを行う初期位置あわせ手段とを備えることを特徴とするものである。
【0014】
このように、本願に開示する画像処理装置においては、アキシャル面の投影画像での重心を算出し、サジタル面の高さ方向のずれを算出し、算出した重心を一致させると共に高さのずれを解消して位置あわせを行うことで、大まかな初期位置合わせを行うことができるため、以降の厳密な位置あわせ処理における処理範囲を限定して処理時間を短縮することができるという効果を奏する。
【0015】
(3)本願に開示する画像処理装置は、前記重心算出手段が行う処理を、異なる3次元画像群ごとに並列処理で行うことを特徴とするものである。
このように、本願に開示する画像処理装置においては、重心を算出する処理を異なる3次元画像群ごとに並列処理で行うことで、処理時間を短縮することができるという効果を奏する。
【0016】
(4)本願に開示する画像処理装置は、前記3次元画像群が人間の頭部を撮像した画像であり、前記関心領域設定手段が、頭部の方向を特定できる少なくとも3箇所の局所領域を関心領域として設定することを特徴とするものである。
このように、本願に開示する画像処理装置においては、3次元画像群が人間の頭部を撮像した画像である場合に、頭部の方向を特定できる少なくとも3箇所の局所領域を関心領域として設定するため、対称性のある頭部の3次元画像群であっても、正確に方向を特定し、精度よく位置合わせを行うことができるという効果を奏する。
【0017】
(5)本願に開示する画像処理装置は、前記設定された関心領域に、少なくとも鼻領域を含むと共に、歯領域を含まないことを特徴とするものである。
このように、本願に開示する画像処理装置においては、関心領域に、少なくとも鼻領域を含むことで特徴的な領域を捉えやすくなると共に、歯領域を含まないことでCT画像における歯領域の画像の乱れを除外して、正確な位置合わせを行うことができるという効果を奏する。
【0018】
(6)本願に開示する画像処理装置は、前記3次元画像群が、CT、及び/又はMRIで撮像された画像群であり、前記位置あわせ手段により位置あわせが行われた前記CT画像群から頭蓋骨領域を抽出すると共に、当該CT画像群から抽出した頭蓋骨領域に基づいて、前記位置あわせ手段により位置あわせが行われた前記MRI画像群から頭蓋骨領域を抽出する頭蓋骨領域抽出手段と、当該頭蓋骨領域抽出手段が抽出した、前記CT画像群からの頭蓋骨領域と前記MRI画像群からの頭蓋骨領域との位置が合致する最適なパラメータを決定する頭蓋骨パラメータ決定手段と、前記位置あわせ手段により位置あわせが行われた前記MRI画像群から脳領域を抽出すると共に、当該MRI画像群から抽出した脳領域に基づいて、前記位置あわせ手段により位置あわせが行われた前記CT画像群から脳領域を抽出する脳領域抽出手段と、当該脳領域抽出手段が抽出した、前記MRI画像群からの脳領域と前記CT画像群からの脳領域との位置が合致する最適なパラメータを決定する脳パラメータ決定手段とを備え、前記位置あわせ手段が、前記頭蓋骨パラメータ決定手段が決定したパラメータ、及び脳パラメータ決定手段が決定したパラメータに基づいて、再度前記3次元画像群の位置あわせを行うことを特徴とするものである。
【0019】
このように、本願に開示する画像処理装置においては、既に位置あわせを行ったCT画像から抽出した頭蓋骨領域に基づいて、MRIから頭蓋骨領域を抽出し、それぞれの領域の位置あわせを行い、また、既に位置あわせを行ったMRI画像から抽出した脳領域に基づいて、CT画像から脳領域を抽出し、それぞれの領域の位置あわせを行い、それぞれの位置あわせで算出された最適パラメータで再度元画像群の位置あわせを行うため、モダリティごとの長所を活かした処理画像を生成することができるという効果を奏する。
【0020】
また、剛体である頭蓋骨領域と非剛体である脳領域とを別々に位置あわせすることで、頭蓋骨領域は、脳領域の変形や移動等に左右されずに正確な位置あわせを行うことができると共に、脳領域は、頭蓋骨領域との位置関係等に左右されずに正確な位置あわせを行うことができ、最終的により精度の高い位置あわせを行うことができるという効果を奏する。
【0021】
(7)本願に開示する画像処理装置は、前記位置あわせ手段により位置合わせが行われた処理画像における任意の基準点を決定し、当該基準点を中心に前記処理画像を複数領域に分割し、当該分割された複数領域における隣接領域を、それぞれ異なる3次元画像群の画像で表示するものである。
このように、本願に開示する画像処理装置においては、位置合わせが行われた処理画像における任意の基準点を決定し、基準点を中心に処理画像を複数領域に分割し、分割された複数領域における隣接領域を、それぞれ異なる3次元画像群の画像で表示することで、一つの画像上で異なる3次元画像群の画像を比較読影することができ、医師による画像の確認作業を簡略化することができると共に、位置合わせの正確性の評価を容易に行うことができるという効果を奏する。
【0022】
これまで、本発明を装置として示したが、所謂当業者であれば明らかであるように本発明を方法、及び、プログラムとして捉えることもできる。これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。
【図面の簡単な説明】
【0023】
【図1】第1の実施形態に係る画像処理装置を用いたシステムの一例を示す図である。
【図2】第1の実施形態に係る画像処理装置のハードウェア構成図である。
【図3】第1の実施形態に係る画像処理装置の機能ブロック図である。
【図4】第1の実施形態に係る画像処理装置で処理されるCT画像、MRI画像の一例を示す図である。
【図5】第1の実施形態に係る画像処理装置の動作を示すフローチャートである。
【図6】第1の実施形態に係る画像処理装置におけるICP法による位置あわせ処理を示すフローチャートである。
【図7】第1の実施形態に係る画像処理装置においてVOIを設定する処理を示す図である。
【図8】第1の実施形態に係る画像処理装置においてVOIの特徴点を抽出した模式図である。
【図9】第2の実施形態に係る画像処理装置の機能ブロック図である。
【図10】第2の実施形態に係る画像処理装置の動作を示すフローチャートである。
【図11】第2の実施形態に係る画像処理装置の処理結果の一例を示す第1の図である。
【図12】第2の実施形態に係る画像処理装置の処理結果の一例を示す第2の図である。
【図13】第3の実施形態に係る画像処理装置における処理画像の表示態様の一例を示す図である。
【図14】本発明に係る画像処理装置により融合されたフュージョン画像である。
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。従って、本実施形態の記載内容のみで本発明を解釈すべきではない。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。
【0025】
以下の実施の形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明は方法、及び、コンピュータを動作させるためのプログラムとしても実施できる。また、本発明はハードウェア、ソフトウェア、または、ハードウェア及びソフトウェアの実施形態で実施可能である。プログラムは、ハードディスク、CD−ROM、DVD−ROM、光記憶装置、または、磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。
【0026】
なお、以下の各実施形態においては、CTとMRIの頭部の3次元画像群について画像処理を行うものとするが、CTA(CT angiography)、MRA(MR angiography)等の画像郡を用いて画像処理を行ってもよい。また、同じモダリティにより得られた画像群に対して画像処理を行ってもよい。
【0027】
(本発明の第1の実施形態)
本実施形態に係る画像処理装置について、図1ないし図8を用いて説明する。図1は、本実施形態に係る画像処理装置を用いたシステムの一例を示す図である。システム1は、画像処理装置10とCT11とMRI12とを備える。患者2は、CT11やMRI12により体の3次元画像を撮像され、撮像された3次元画像群が画像処理装置10に入力される。画像処理装置10は、CT11で撮像された3次元画像群とMRI12で撮像された3次元画像群との位置合わせを行い、それらをフュージョンした処理画像を生成する。医師3は、フュージョンされた処理画像を、サイバーナイフでの治療や脳手術のシミュレーションや脳研究を行うために利用する。
【0028】
図2は、本実施形態に係る画像処理装置のハードウェア構成図である。画像処理装置10は、CPU21、RAM22、ROM23、ハードディスク(HDとする)24、通信I/F25、及び入出力I/F26を備える。ROM23やHD24には、オペレーティングシステムや各種プログラム(例えば、画像処理プログラム等)が格納されており、必要に応じてRAM22に読み出され、CPU21により各プログラムが実行される。通信I/F25は、他の装置(例えば、各モダリティ、管理サーバ等)と通信を行うためのインタフェースである。入出力I/F26は、キーボードやマウス等の入力機器からの入力を受け付けたり、プリンタやディスプレイ等にデータを出力するためのインタフェースである。この入出力I/F26としてUSBやRS232C等が用いられる。また、必要に応じて、光磁気ディスク、フロッピーディスク(登録商標)、CD−R、DVD−R等のリムーバブルディスクに対応したドライブを接続することができる。
【0029】
図3は、本実施形態に係る画像処理装置の機能ブロック図である。画像処理装置10は、画像入力部310と前処理部320と初期処理部330と位置あわせ部340と処理画像生成部350と表示制御部360とを備える。また、初期処理部330は、重心算出部331と頭頂部差異算出部332と初期位置あわせ部333とを備え、位置あわせ部340は、VOI設定部341と特徴点抽出部342と対応点決定部343とパラメータ決定部344と最適位置あわせ部345とを備える。
【0030】
画像入力部310は、入力情報であるCT11で撮像された3次元画像群(以下、CT画像とする)、及びMRI12で撮像された3次元画像群(以下、MRI画像とする)を画像情報301として入力する。前処理部320は、画像入力部310が入力した画像情報301について、位置あわせを行う前の準備として前処理を行う。前処理は、例えば等法ボクセル処理(CT画像のボクセルサイズとMRI画像のボクセルサイズとの統一化)、診察台の除去、画像の平滑化等の処理である。
【0031】
ここで、CT画像、MRI画像について説明する。図4は、本実施形態に係る画像処理装置で処理されるCT画像、MRI画像の一例を示す図である。図4(A)がCT画像であり、図4(B)がMRI画像である。CT画像は、X線が吸収された度合いを示すものであり、骨、出血、組織の浮腫等を観察することができる。MRI画像は、核磁気共鳴(NMR:Nuclear Magnetic Resonance)を利用したものであり、軟骨、筋肉、脳等の軟部組織を観察することができる。これらの画像が、画像情報301として画像入力部310に入力される。
【0032】
図3に戻って、重心算出部331は、3次元画像群のアキシャル面について投影画像を生成し、生成された投影画像の重心を算出する。頭頂部差異算出部332は、3次元画像群のサジタル面について、頭頂部の位置のずれを算出する。初期位置あわせ部333は、重心算出部331が算出した重心が一致するようにアキシャル面の投影画像を平行移動すると共に、頭頂部差異算出部332が算出したずれがなくなるように(頭頂部の位置が一致するように)サジタル面の画像を平行移動して、仮の位置あわせを行う。アキシャル面とサジタル面のそれぞれで位置あわせを行うことで、3次元におけるxyzの全ての方向について仮の位置あわせを行うことができる。
【0033】
VOI設定部341は、3次元画像群における複数の局所的な関心領域を設定する。頭部の3次元画像の場合は、頭部の対称性を考慮して、少なくとも3箇所(例えば、前後頭部と左右側頭部のいずれか一、左右側頭部と前後頭部のいずれか一等)の局所領域を関心領域として設定する。
【0034】
なお、関心領域を設定する数と位置は、利用者が任意に設定できるようにしてもよいが、前頭部、後頭部、左右の側頭部、及び頭頂部の5箇所を関心領域として設定することが、位置あわせの精度の観点から望ましい。また、特に特徴的な領域である鼻領域を関心領域として設定し、CT画像における画像の乱れが大きい歯領域を関心領域から除外することがさらに望ましい。
【0035】
特徴点抽出部342は、VOIの中の特徴点を抽出する。具体的には輪郭部を特徴点として抽出する。対応点決定部343は、CT画像とMRI画像との対応する対応点を決定する。つまり、特徴点抽出部342が抽出したCT画像、及びMRI画像の特徴点の点群に対して、評価関数が最小となるように対応点を決定する。パラメータ決定部344は、対応点決定部343が決定した対応点について、評価関数が最小となるように最適化を行うためのパラメータを決定する。最適位置あわせ部345は、VOI以外の領域における3次元画像群のデータについて、パラメータ決定部344が決定したパラメータに基づいて最適な位置あわせを行う。
【0036】
処理画像生成部350は、位置あわせが行われたCT画像とMRI画像を融合してフュージョン画像を生成する。表示制御部360は、処理画像生成部350が生成したフュージョン画像をディスプレイ302に表示する。
【0037】
次に、本実施形態に係る画像処理装置の動作について説明する。図5は、本実施形態に係る画像処理装置の動作を示すフローチャートである。まず、画像入力部310が入力したCT画像、及びMRI画像に対して前処理部320が前処理を行う(S51)。ここで、前処理について説明する。前処理は、具体的には等法ボクセル処理、診察台を除去、画像の平滑化である。
【0038】
等法ボクセル処理は、CT画像とMRI画像のピクセルを一致させる処理である。CT画像の1ピクセルは0.683×0.683mmであり、スライス間の幅(高さ方向)が2mmとなっているため、3次元では高さ方向に長い直方体となっている。これを線形補間により立方体(0.683×0.683×0.683mm)に変換する。一方、MRI画像の1ピクセルは0.6836×0.6836mmであり、スライス間の幅(高さ方向)が2mmとなっているため、MRI画像についても同様に、立方体(0.6836×0.6836×0.6836mm)に変換し、さらにCT画像のピクセルと一致させるために、MRI画像を縮小してCT画像のピクセルと一致させる。
なお、本実施形態に係る画像処理装置においては、CT画像を基準としてMRI画像を変換して位置あわせを行うものとするが、どちらを基準の画像にしてもよい。
【0039】
診察台の除去は、図4(A)に示すように、画像中に診察台が撮像されている場合に、誤差として検出されることを防止するために診察台を除去する。診察台は毎回固定された位置に撮像されるため、その位置に撮像された物体を除去することで、診察台を除去することができる。画像の平滑化は、画素値が極端に変化するようなノイズが含まれている場合に、加重平均によりそのノイズを除去して画像を平滑化する。
【0040】
図5に戻って、S51の前処理が完了すると、初期処理部330が初期位置あわせを行う(S52)。初期位置あわせは、後の処理で行う厳密な位置あわせの処理範囲を限定し、処理時間を短縮するための仮の大まかな位置あわせである。まず重心算出部331が、アキシャル面について投影画像を生成し、生成した投影画像の重心を算出する。また、頭頂部差異算出部332が、サジタル面について頭頂部の高さの相違を算出する。そして、初期位置あわせ部333が、算出した重心が一致するようにx−y方向の平行移動を行うと共に、頭頂部の高さが一致するようにz方向の平行移動を行う。それぞれの方向に平行移動を行うことで、3次元画像データとして重心を一致させて、仮の位置あわせを行うことができる。
【0041】
なお、上記S51、S52は、処理の迅速化のために並列で実行されることが望ましい。例えば、複数の画像処理装置を用いて並列処理を行ってもよいし、複数のCPUを有する1つの画像処理装置で並列処理を実現してもよい。
【0042】
初期位置あわせが完了すると、位置あわせ部340が、ICP法による厳密な位置あわせ処理を行う(S53)。ここで、ICP法による位置あわせ処理について詳細に説明する。図6は、本実施形態に係る画像処理装置におけるICP法による位置あわせ処理を示すフローチャートである。
【0043】
まず、VOI設定部341が3次元画像群におけるVOIを設定する(S61)。VOIは、上述したように、頭部の対称性を考慮して、少なくとも3箇所(例えば、前後頭部と左右側頭部のいずれか一、左右側頭部と前後頭部のいずれか一等)の局所領域を関心領域として設定する。
【0044】
図7は、本実施形態に係る画像処理装置においてVOIを設定する処理を示す図である。ここでは、位置あわせの精度をよくするために、前頭部、後頭部、左右の側頭部、及び頭頂部の5箇所を関心領域として設定している。また、特に特徴的な領域である鼻領域を関心領域として設定し、CT画像における画像の乱れが大きい歯領域を関心領域から除外している。
【0045】
図6に戻って、S61でVOIが設定されると、特徴点抽出部342が、設定されたVOIにおける特徴点を抽出する(S62)。図8は、本実施形態に係る画像処理装置においてVOIの特徴点を抽出した模式図である。図8(A)は、CT画像におけるVOIの特徴抽出を示し、図8(B)は、MRI画像におけるVOIの特徴抽出を示している。上段の2図は正面から見た場合の特徴抽出であり、下段の2図は側面から見た場合の特徴抽出である。
【0046】
ここで、CT画像においては18×18ピクセルを抽出し、MRI画像においては6×6ピクセルを抽出している。これは、本実施形態においては、CT画像を基準の画像データとして固定し、MRI画像の変換を行うことで位置あわせをするためであり、発明者らによる繰り返しの実験の結果、このサイズを最適なサイズとして設定している。
【0047】
図6に戻って、各VOIにおける特徴点を抽出すると、対応点決定部343がICP法によりCT画像とMRI画像の対応点を決定し(S63)、パラメータ決定部344が評価関数の最適化を行う(S64)。評価関数が最適値であるかどうかを判定し(S65)、最適値でなければ、最適値になるまでS63、S64の処理を繰り返して行う。最適値になれば、ICP法による位置あわせ処理を終了する。
【0048】
ここで、ICP法によるS63、S64の処理のアルゴリズムを説明する。ICP法は、2つの画像データが最も一致するように変換を行う手法の一つである。本実施形態においては、VOIの特徴点から得られるCT画像の点群とMRIの画像の点群が最も一致するようにMRI画像の変換を行う。2つの点群をそれぞれ
【0049】
【数1】

とし、次式で示す点群間の平均距離dが最小となるように対応点を決定する。
【0050】
【数2】

次にパウエル法を用いて、Fを逐次変換し、Gに一致させる最適値を求める。逐次位置決め計算のm回目のステップにおける変換された点群を
【0051】
【数3】

とする。このときfi(m)に対応する点群Gの点をgkiとし、残差ベクトルei(m)を次式で定義する。
【0052】
【数4】

位置決めにおける評価関数として残差二乗和関数Jを次式により求める。
【0053】
【数5】

終了条件としては、反復回数が所定回数以上になった場合、又は平均距離が所定の値以下になった場合とする。
【0054】
図5に戻って、最適位置あわせ部345が、S53で求めた最適解におけるパラメータの変動量(平行移動量、回転量)を用いて、VOI以外の領域についてMRI画像の変換処理を行う(S54)。処理画像生成部350が、CT画像とMRI画像を融合したフュージョン画像を生成して(S55)、処理を終了する。
【0055】
このように、本実施形態に係る画像処理装置によれば、3次元画像群における複数の局所的な3次元関心領域を設定し、設定された3次元関心領域における異なる3次元画像群の間の対応点を合致させて最適化することで、異なる3次元画像群の間の画像の位置合わせ処理時間を大幅に短縮しつつ、精度よく位置合わせを行うことができる。
【0056】
また、アキシャル面の投影画像での重心を算出し、サジタル面の高さ方向のずれを算出し、算出した重心を一致させると共に高さのずれを解消して位置あわせを行うことで、大まかな初期位置合わせを行うことができるため、処理範囲を限定して処理時間を短縮することができる。
さらに、重心を算出する処理を異なる3次元画像群ごとに並列処理で行うことで、処理時間を短縮することができる。
【0057】
さらにまた、3次元画像群が人間の頭部を撮像した画像である場合に、頭部の方向を特定できる少なくとも3箇所の局所領域を関心領域として設定することで、対称性のある頭部の3次元画像群であっても、正確に方向を特定し、精度よく位置合わせを行うことができる。
さらにまた、関心領域に、少なくとも鼻領域が含まれることで、特徴部を捉えやすくなると共に、正確な位置合わせを行うことができる。
【0058】
(本発明の第2の実施形態)
本実施形態に係る画像処理装置について、図9ないし図12を用いて説明する。本実施形態に係る画像処理装置は、CTが頭蓋骨を容易に抽出でき、脳領域を抽出しにくく、MRIが脳領域を容易に抽出でき、頭蓋骨領域を抽出しにくいという性質を利用して、より精度の高い位置あわせを実現している。
なお、本実施形態においては、前記第1の実施形態と重複する説明については省略する。
【0059】
図9は、本実施形態に係る画像処理装置の機能ブロック図である。前記第1の実施形態と異なるのは、脳領域抽出部370と頭蓋骨領域抽出部380と非剛体位置あわせ部390とを新たに備えることである。脳領域抽出部370は、既に位置あわせが行われているMRI画像から脳領域を抽出すると共に、抽出した脳領域に基づいて、既に位置あわせが行われているCT画像から脳領域を抽出する。頭蓋骨領域抽出部380は、既に位置あわせが行われているCT画像から頭蓋骨領域を抽出すると共に、抽出した頭蓋骨領域に基づいて、既に位置あわせが行われているMRI画像から頭蓋骨領域を抽出する。
【0060】
非剛体位置あわせ部390は、脳領域抽出部370が抽出したMRI画像からの脳領域とCT画像からの脳領域とを位置あわせして、最適なパラメータの変動量を算出し、元の入力画像に対して変換する処理を行う。ここでの脳領域の位置あわせは、非剛体の位置あわせとなるため、ICP法による位置あわせを行うことが困難となる。そのため、最適なパラメータの変動量を算出する際には、例えば相互情報量を算出し、相互情報量が最大となる時のパラメータを最適解として算出する。
【0061】
一方、頭蓋骨領域の位置あわせについては、位置あわせ部340で行うICP法を用いた位置あわせが可能であるため、位置あわせ部340が、頭蓋骨領域抽出部380が抽出したCT画像からの頭蓋骨領域とMRI画像からの頭蓋骨領域とを位置あわせして、最適なパラメータを算出し、元の入力画像に対して変換する処理を行う。
【0062】
処理画像生成部350は、位置あわせ部340にて頭蓋骨領域を用いて変換された画像と、非剛体位置あわせ部390にて脳領域を用いて変換された画像とを融合してフュージョン画像を生成する。
【0063】
次に、本実施形態に係る画像処理装置の動作について説明する。図10は、本実施形態に係る画像処理装置の動作を示すフローチャートである。S101からS104までの処理は、前記第1の実施形態における図5に示す、S51からS54までの処理と同じであるため、説明は省略する。
【0064】
S104で画像の変換が行われると、頭蓋骨領域に関する処理と脳領域に関する処理が並列で行われる(S105)。頭蓋骨領域に関する処理は、まず頭蓋骨領域抽出部380が、CT画像から頭蓋骨領域を抽出する(S106)。頭蓋骨領域を抽出する際には、多重閾値処理により抽出する。つまり、頭蓋骨を示す画素値の範囲を閾値で設定し、その範囲内の画素を頭蓋骨領域として抽出する。
【0065】
抽出した頭蓋骨領域に基づいて、MRI画像から頭蓋骨領域を抽出する(S107)。このとき、既に位置あわせが行われているMRI画像から、CT画像における頭蓋骨領域と同一の領域を抽出することで、MRI画像から頭蓋骨領域を抽出することができる。位置あわせ部340が、S106、及びS107で抽出した頭蓋骨領域について、剛体として位置あわせして、最適なパラメータの変動量を決定する(S108)。このS108の処理は、図6に示す、ICP法による位置あわせと同じ処理で行う。
【0066】
一方、脳領域に関する処理は、まず脳領域抽出部370が、MRI画像から脳領域を抽出する(S109)。脳領域を抽出する際には、領域拡張法により抽出する。つまり、同じ特徴を持つ領域(画素)を1つの領域に統合していき、最終的に脳領域として抽出する。このとき、既に位置あわせが行われているMRI画像から脳領域を抽出する。
【0067】
抽出した脳領域に基づいて、CT画像から脳領域を抽出する(S110)。既に位置あわせが行われているMRI画像から抽出した脳領域と同一の領域を抽出することで、CT画像から脳領域を抽出することができる。非剛体位置あわせ部390が、S109、及びS110で抽出した脳領域を、非剛体として位置あわせして、最適なパラメータの変動量を決定する(S111)。このS111の処理は、非剛体に対して行う処理であるため、ICP法による位置あわせを行わず、相互情報量を用いた位置あわせにより行う。つまり、相互情報量が最大となるように最適なパラメータの変動量を決定する。
【0068】
S108、及びS111で決定した最適なパラメータの変動量を用いて、元の画像群に対して再変換を行う(S112)。処理画像生成部350が、再変換された画像群を融合してフュージョン画像を生成し(S113)、処理を終了する。
【0069】
上記図10に示す処理の結果について図11、及び図12を用いて説明する。図11は、本実施形態に係る画像処理装置の処理結果の一例を示す第1の図、図12は、本実施形態に係る画像処理装置の処理結果の一例を示す第2の図である。図11(A)はCT画像から抽出した頭蓋骨領域を示す図であり、図11(B)はMRI画像から抽出した脳領域を示す図である。図11で抽出された、頭蓋骨領域、及び脳領域ごとにそれぞれCT画像とMRI画像の位置あわせを行い、融合したフュージョン画像が図12である。図12において、左から順に頭部前面図、頭部上面図、頭部側面図を示しており、各画像から頭蓋骨に脳がぴったり収まり、正確に位置あわせが行われていることがわかる。
【0070】
このように、本実施形態に係る画像処理装置によれば、既に位置あわせを行ったCT画像から抽出した頭蓋骨領域に基づいて、MRIから頭蓋骨領域を抽出し、それぞれの領域の位置あわせを行い、また、既に位置あわせを行ったMRI画像から抽出した脳領域に基づいて、CT画像から脳領域を抽出し、それぞれの領域の位置あわせを行い、それぞれの位置あわせで算出された最適パラメータで再度元画像群の位置あわせを行うため、モダリティごとの長所を活かした処理画像を生成することができる。
【0071】
また、剛体である頭蓋骨領域と非剛体である脳領域とを別々に位置あわせすることで、頭蓋骨領域は、脳領域の変形や移動等に左右されずに正確な位置あわせを行うことができると共に、脳領域は、頭蓋骨領域との位置関係等に左右されずに正確な位置あわせを行うことができ、最終的により精度の高い位置あわせを行うことができる。
【0072】
(本発明の第3の実施形態)
本実施形態に係る画像処理装置について、図13を用いて説明する。本実施形態に係る画像処理装置は、位置あわせの処理が施された処理画像について、位置あわせが正確であるかどうかを視認により判定する際に、その表示制御を工夫することで、視認しやすくするものである。
【0073】
具体的には、表示制御部360が、処理画像生成部350にて生成された処理画像における任意の基準点を決定し、その基準点を中心に処理画像を複数領域(例えば、2分割、4分割、8分割等)に分割する。そして、分割された各領域において、CT画像とMRI画像が隣接するように表示制御する。
【0074】
図13は、本実施形態に係る画像処理装置における処理画像の表示態様の一例を示す図である。図13において、領域130には、位置あわせ前の元CT画像132と元MRI画像133が表示されており、領域131には、位置あわせを行った処理画像135が表示されている。基準点134は、利用者により任意に選択された位置であり、カーソルの位置が基準点134となっている。利用者は必要に応じてマウスや十字キーを使ってカーソルを移動させ、基準点134の位置を変更することができる。
【0075】
また、ここでは処理画像135を、基準点134を中心に4分割に分割しており、分割領域ごとに元CT画像132と元MRI画像133とが隣接して表示されている。領域131において、左上と右下の領域が元CT画像であり、右上と左下の領域が元MRI画像である。このように、分割された領域の隣接領域間で元CT画像132と元MRI画像133とを表示することで、それぞれの境界領域において、位置あわせの精度を視認することが可能となる。また、カーソルの位置を自由に変更できるため、位置あわせの確認が必要な箇所をカーソルの移動のみ簡単に確認することが可能となる。
なお、上述したように、処理画像135の分割数は、2分割、4分割、6分割、8分割等偶数個であればいくつでもよい。
【0076】
このように、本実施形態に係る画像処理装置によれば、位置合わせが行われた処理画像における任意の基準点を決定し、基準点を中心に処理画像を複数領域に分割し、分割された複数領域における隣接領域を、それぞれ異なる3次元画像群の画像で表示することで、一つの画像上で異なる3次元画像群の画像を比較読影することができ、医師による画像の確認作業を簡略化することができると共に、位置合わせの正確性の評価を容易に行うことができる。
【0077】
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。
【実施例】
【0078】
前記第1の実施形態に係る画像処理装置を用いて、3次元画像群の位置あわせの実験を行った。
(条件)
3次元画像群としてCT画像とMRI画像を5セット用意し、CT画像を基準とし、MRI画像を移動させて位置あわせを行うものとする。CT画像は、512×512ピクセル、ピクセルサイズ0.683mm、スライス厚2mmの画像120枚を用い、MRI画像は、512×512ピクセル、ピクセルサイズ0.6836mm、スライス厚2mmの画像120枚を用いる。
【0079】
本実験において、それぞれの画像が正しく重なっているかどうかの評価の尺度として、処理時間と相互情報量を用いる。ここで、相互情報量について説明する。相互情報量は、2つの事柄のうち、一方を知ることによってもたらされた他方に関する情報量である。相互情報量I(A,B)は次式で定義される。
【0080】
【数6】

A(a)、pB(b)は確率変数A、Bの確率分布、pA,B(a,b)は結合確率分布を表す。
【0081】
画像で相互情報量を求める際には、2つの画像の対応する画素の画素値aとbとを用いて作成したヒストグラムh(a,b)を画素数Nで割ることにより、確率分布関数と考えることができる。よって、
【0082】
【数7】

を用いて相互情報量を求める。
【0083】
(結果)
上記条件で実験を行った結果を下記の表に示す。表1は相互情報量の結果を示したものであり、表2は処理時間(s)の結果を示したものである。
【0084】
【表1】

【0085】
【表2】

【0086】
表1からわかる通り、相互情報量は、先行技術文献に示す非特許文献1、2とほぼ同じ値であることから、位置あわせの精度については、従来技術と遜色なく行われている。一方、表2の処理時間については、非特許文献1に示す技術と比較して、約1/360にまで短くなり、非特許文献2に示す技術と比較しても約1/4以下にまで短くなっている。さらに、並列処理を採用した場合には、採用していない場合と比較して、3/5程度短くなっている。
【0087】
また、図14に本発明に係る画像処理装置により融合されたフュージョン画像を示す。図面の都合上わかりにくいが、図14(B)、(E)では、2次元画像について2軸により位置あわせを行っているため、一部脳と頭蓋骨が重なっている領域が存在しているが、図14(C)、(F)では、3次元データでの位置あわせを行っているため、それが改善されてCT画像とMRI画像の正確な位置あわせが行われている。
【0088】
つまり、本発明に係る画像処理装置は、高い精度を保ちつつ処理時間を格段に短縮することができるため、今後は実用的な使い方が可能となり、医療の発達に大きく貢献することができるものである。
【符号の説明】
【0089】
1 システム
2 患者
3 医師
10 画像処理装置
11 CT
12 MRI
21 CPU
22 RAM
23 ROM
24 HD
25 通信I/F
26 入出力I/F
301 画像情報
302 ディスプレイ
310 画像入力部
320 前処理部
330 初期処理部
331 重心算出部
332 頭頂部差異算出部
333 初期位置あわせ部
340 位置あわせ部
341 VOI設定部
342 特徴点抽出部
343 対応点決定部
344 パラメータ決定部
345 最適位置あわせ部
350 処理画像生成部
360 表示制御部
370 脳領域抽出部
380 頭蓋骨領域抽出部
390 非剛体位置あわせ部

【特許請求の範囲】
【請求項1】
医療機器により得られる3次元画像群の間で位置合わせを行う画像処理装置において、
前記3次元画像群における複数の局所的な3次元関心領域を設定する関心領域設定手段と、
当該関心領域設定手段が設定した3次元関心領域における特徴部を抽出する特徴抽出手段と、
当該特徴抽出手段が抽出した特徴部について、異なる3次元画像群の間で対応する対応点を決定する対応点決定手段と、
当該対応点決定手段が決定した、異なる3次元画像群の間のそれぞれの対応点が合致するように、前記対応点の位置を特定して最適なパラメータを決定するパラメータ決定手段と、
当該パラメータ決定手段が決定したパラメータに基づいて、前記3次元画像群の位置あわせを行う位置あわせ手段とを備えることを特徴とする画像処理装置。
【請求項2】
請求項1に記載の画像処理装置において、
前記3次元画像群のアキシャル面について投影画像を生成し、当該生成された投影画像の重心を算出する重心算出手段と、
前記3次元画像群のサジタル面について頭頂部の高さの差異を算出する差異算出手段とを備え、
前記重心算出手段が算出した重心、及び前記差異算出手段が算出した頭頂部の高さの差異に基づいて、前記異なる3次元画像群の間の仮の位置あわせを行う初期位置あわせ手段とを備えることを特徴とする画像処理装置。
【請求項3】
請求項2に記載の画像処理装置において、
前記重心算出手段、及び前記差異算出手段が行う処理を、異なる3次元画像群ごとに並列処理で行うことを特徴とする画像処理装置。
【請求項4】
請求項1ないし3のいずれかに記載の画像処理装置において、
前記3次元画像群が人間の頭部を撮像した画像であり、
前記関心領域設定手段が、頭部の方向を特定できる少なくとも3箇所の局所領域を関心領域として設定することを特徴とする画像処理装置。
【請求項5】
請求項4に記載の画像処理装置において、
前記設定された関心領域に、少なくとも鼻領域を含むと共に、歯領域を含まないことを特徴とする画像処理装置。
【請求項6】
請求項1ないし5のいずれかに記載の画像処理装置において、
前記3次元画像群が、CT(Computed Tomography)、及びMRI(Magnetic Resonance Imaging)で撮像された画像群であり、
前記位置あわせ手段により位置あわせが行われた前記CT画像群から頭蓋骨領域を抽出すると共に、当該CT画像群から抽出した頭蓋骨領域に基づいて、前記位置あわせ手段により位置あわせが行われた前記MRI画像群から頭蓋骨領域を抽出する頭蓋骨領域抽出手段と、
当該頭蓋骨領域抽出手段が抽出した、前記CT画像群からの頭蓋骨領域と前記MRI画像群からの頭蓋骨領域との位置が合致する最適なパラメータを決定する頭蓋骨パラメータ決定手段と、
前記位置あわせ手段により位置あわせが行われた前記MRI画像群から脳領域を抽出すると共に、当該MRI画像群から抽出した脳領域に基づいて、前記位置あわせ手段により位置あわせが行われた前記CT画像群から脳領域を抽出する脳領域抽出手段と、
当該脳領域抽出手段が抽出した、前記MRI画像群からの脳領域と前記CT画像群からの脳領域との位置が合致する最適なパラメータを決定する脳パラメータ決定手段とを備え、
前記位置あわせ手段が、前記頭蓋骨パラメータ決定手段が決定したパラメータ、及び脳パラメータ決定手段が決定したパラメータに基づいて、再度前記3次元画像群の位置あわせを行うことを特徴とする画像処理装置。
【請求項7】
請求項1ないし6のいずれかに記載の画像処理装置において、
前記位置あわせ手段により位置合わせが行われた処理画像における任意の基準点を決定し、当該基準点を中心に前記処理画像を複数領域に分割し、当該分割された複数領域における隣接領域を、それぞれ異なる3次元画像群の画像で表示する画像処理装置。
【請求項8】
医療機器により得られる3次元画像群の位置合わせを行う画像処理方法において、
前記3次元画像群における複数の局所的な3次元関心領域を設定する関心領域設定ステップと、
当該関心領域設定ステップが設定した3次元関心領域における特徴部を抽出する特徴抽出ステップと、
当該特徴抽出ステップが抽出した特徴部について、前記異なる3次元画像群の間で対応する対応点を決定する対応点決定ステップと、
当該対応点決定ステップが決定した、異なる3次元画像群の間のそれぞれの対応点が合致するように、前記対応点の位置を特定して最適なパラメータを決定するパラメータ決定ステップと、
当該パラメータ決定ステップが決定したパラメータに基づいて、前記3次元画像群の位置あわせ行う位置あわせステップとを含むことを特徴とする画像処理方法。
【請求項9】
医療機器により得られる3次元画像群の位置合わせを行うようにコンピュータを機能させる画像処理プログラムにおいて、
前記3次元画像群における複数の局所的な3次元関心領域を設定する関心領域設定手段、
当該関心領域設定手段が設定した3次元関心領域における特徴部を抽出する特徴抽出手段、
当該特徴抽出手段が抽出した特徴部について、前記異なる3次元画像群の間で対応する対応点を決定する対応点決定手段、
当該対応点決定手段が決定した、異なる3次元画像群の間のそれぞれの対応点が合致するように、前記対応点の位置を特定して最適なパラメータを決定するパラメータ決定手段、
当該パラメータ決定手段が決定したパラメータに基づいて、前記3次元画像の位置あわせ行う位置あわせ手段としてコンピュータを機能させることを特徴とする画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図4】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2011−19768(P2011−19768A)
【公開日】平成23年2月3日(2011.2.3)
【国際特許分類】
【出願番号】特願2009−168198(P2009−168198)
【出願日】平成21年7月16日(2009.7.16)
【出願人】(504174135)国立大学法人九州工業大学 (489)
【Fターム(参考)】