３次元画像処理装置、３次元画像処理方法、記憶媒体及びプログラム
【課題】画像結合の位置合わせ作業負担の軽減、画像結合の位置合わせ精度の向上、画像結合対象の拡大の実現。
【解決手段】３次元画像処理装置は、第１の３次元画像のデータと第１の３次元画像と結合対象の第２の３次元画像のデータと第１の３次元画像に関連性を有する第３の３次元画像のデータと第２の３次元画像に関連性を有する第４の３次元画像のデータとを記憶する記憶部１２と、第３、４の３次元画像との間の位置ずれを計算する位置ずれ算出部１８と、計算された位置ずれに基づいて第１、第２の３次元画像とを位置合わせして結合する画像合成部１９とを具備する。
【解決手段】３次元画像処理装置は、第１の３次元画像のデータと第１の３次元画像と結合対象の第２の３次元画像のデータと第１の３次元画像に関連性を有する第３の３次元画像のデータと第２の３次元画像に関連性を有する第４の３次元画像のデータとを記憶する記憶部１２と、第３、４の３次元画像との間の位置ずれを計算する位置ずれ算出部１８と、計算された位置ずれに基づいて第１、第２の３次元画像とを位置合わせして結合する画像合成部１９とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体に関する３次元画像を結合する３次元画像処理装置、３次元画像処理方法、記憶媒体及びプログラムに関する。
【背景技術】
【０００２】
同一被検体に関する異種画像の結合(fusion)は、診断精度の向上に有効である。例えば、Ｘ線コンピュータ断層撮影装置(X-ray Computed Tomography apparatus)により発生された骨又は臓器などの解剖学的画像（形態画像）と、ＭＲＩ装置（Magnetic Resonance Imaging apparatus）により発生された機能的画像との結合画像は、外科手術支援に有用である。
【０００３】
異種の画像を結合するには、位置合わせ(registration)が困難である。一般的に、位置合わせは、手作業に頼っている。
【０００４】
特許文献１は、予め被検体にマーカーを取り付けて画像を発生し、マーカー像の整合により画像を結合する方法を記載している。この方法は、結合対象画像が、マーカーが映っていない画像に限定されるという制約がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１３７７１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、画像結合の位置合わせ作業負担の軽減、画像結合の位置合わせ精度の向上、画像結合対象の拡大の実現にある。
【課題を解決するための手段】
【０００７】
本実施形態に係る３次元画像処理装置は、３次元画像処理装置は、第１の３次元画像のデータと第１の３次元画像と結合対象の第２の３次元画像のデータと第１の３次元画像に関連性を有する第３の３次元画像のデータと第２の３次元画像に関連性を有する第４の３次元画像のデータとを記憶する記憶部１２と、第３、４の３次元画像との間の位置ずれを計算する位置ずれ計算部１８と、計算された位置ずれに基づいて第１、第２の３次元画像とを位置合わせして結合する画像結合部１９とを具備する。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態による３次元画像処理装置の構成を示す図。
【図２】本実施形態による位置ずれベクトル計算及び画像結合の一連の処理の手順を示す流れ図。
【図３】本実施形態による画像結合の第１の具体例を示す図。
【図４】本実施形態による画像結合の第２の具体例を示す図。
【図５】本実施形態による画像結合の第３の具体例を示す図。
【図６】本実施形態による画像結合の第４の具体例を示す図。
【図７】本実施形態による画像結合の第５の具体例を示す図。
【図８】本実施形態による画像結合の第６の具体例を示す図。
【図９】本実施形態による画像結合の第７の具体例を示す図。
【図１０】本実施形態による画像結合の第８の具体例を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る３次元画像処理装置の構成を示している。３次元画像処理装置１は、ネットワークカード１３を介して、電子的通信回線網、つまりＬＡＮ又はＷＡＮ等のネットワーク２１に接続される。ネットワーク２１には、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ装置）２、磁気共鳴イメージング装置（ＭＲＩ）３、Ｘ線診断装置４、ＰＥＴ−ＣＴ装置５、その他超音波診断装置等の２次元又は３次元の画像データを発生可能な医用画像発生装置が接続される。また、ネットワーク２１には、それら医用画像発生装置で発生された各種の画像のデータを保管する画像保管装置６が接続される。画像保管装置６は、典型的には医用画像保管通信システム（ＰＡＣＳ）である。ＰＥＴ−ＣＴ装置５は、ＰＥＴ(Positron Emission computed Tomography)装置とＸ線ＣＴ装置とが一体に組み合わされた、寝台を共用する装置であり、ＰＥＴ画像とＣＴ画像との位置整合を容易に図ることができる特性を有している。
【００１０】
３次元画像処理装置１は、マイクロコンピュータからなる制御部１１と、記憶部１２と、ネットワークカード１３と、キーボードやマウスからなる入力デバイス１４と、画像データに対して拡大・移動等の処理を行うアフィン変換部１５と、Ｄ／Ａ（デジタル／アナログ）変換部１６と、表示部１７と、位置ずれ計算部１８と、画像結合部１９と、画像処理部２０を備えている。Ｄ／Ａ変換部１６には表示部１７が接続される。なお、３次元画像処理装置１は、制御部１１等とともに、画像保管装置６を備えても良い。
【００１１】
記憶部１２は、Ｘ線ＣＴ装置２等の医用画像発生装置から直接的に、又は画像保管装置６からネットワークカード１３を介して供給された結合対象とされる複数の３次元の画像（結合対象画像という）のデータと、結合対象画像の間の位置合わせ(registration)を媒介するための少なくとも１つの３次元の画像（媒介画像という）のデータとを記憶する。なお、複数の３次元画像を結合するものであっても良いし、２つ（一対）の３次元画像を結合するものであっても良い。ここでは、２つ（一対）の３次元画像を結合するものとして説明する。
【００１２】
画像処理部２０は、位置ずれ計算の前処理としての例えば画像データの二値化処理、画像結合の後処理としての例えばカラー処理を担う。位置ずれ計算部１８は、結合対象画像間の位置ずれベクトルを、結合対象画像間に媒介画像を媒介させることにより、計算する。位置ずれベクトルは、ＸＹＺ各軸に関する移動距離と、ＸＹＺ各軸に関する回転角度とにより規定される。画像結合部１９は、位置ずれ計算部１８により計算された位置ずれベクトルに基づいて、２つの結合対象画像を位置合わせして結合し、単一の結合画像を発生する。
【００１３】
図２には位置ずれ計算及び画像結合の処理手順を示している。まず、操作者は入力デバイス１４を介して画像結合処理の起動を指示する。それにより制御部１１は、画像結合処理を起動する（Ｓ１１）。操作者は入力デバイス１４を介して画像結合処理の対象となる複数、ここでは２つの結合対象画像を指定する。典型的には、診断対象の被検体に関する未読影の画像であって、診断目的に合致した性質を有する画像が指定される。それにより制御部１１は、指定された２つの結合対象画像のデータを画像保管装置６から選択的に読み出し、記憶部１２に記憶させる（Ｓ１２）。
【００１４】
次に、制御部１１は、結合対象画像各々に対して特定の関係にある２つの画像（媒介画像の候補）を画像保管装置６で検索し、画像保管装置６から選択的に読み出させて、表示部１７に一覧で表示させる（Ｓ１３）。結合対象画像と被検体が同一であって、医用画像発生装置の種類（モダリティ）が同一で、同じ検査期間中に発生（撮影）された画像が媒介画像の候補として検索される。さらに結合対象画像と同じ原画像から派生した画像が媒介画像の候補として検索される。例えば回転ＤＳＡ（ディジタル・サブトラクション・アンギオ）撮影において収集された造影前のマスク画像と造影後のコントラスト画像とを原画像として、マスク画像とコントラスト画像との差分画像から再構成した３次元の血管画像が結合対象画像として指定されたとき、同じマスク画像から骨を抽出して再構成した３次元のマスク画像（３Ｄマスク画像）が媒介画像の候補として選択される。
【００１５】
このように結合対象画像と特定の関係にある媒介画像の候補はそのいずれもが、結合対象画像に対して位置ずれが無い、ほとんど無い、又は医用画像発生装置が撮影時に取得している天板位置等の撮影位置情報から簡易に位置ずれを解消できる関係にある画像と定義され得る。
【００１６】
２つの結合対象画像として例えば解剖学的画像（形態画像）と機能的画像との間では共通部位がないので本質的に位置ずれを求めることができない、又は位置ずれの計算精度が低いが、その場合であっても、結合対象画像と位置ずれの無い解剖学的画像としての媒介画像を媒介させて結合対象画像間の位置ずれを推定することができる。つまり、一方の結合対象画像と位置ずれの無い又は簡易に解消できる媒介画像と、その結合対象画像と結合される他方の結合対象画像との間の位置ずれを求め、その位置ずれに従って結合対象画像の間の位置ずれを実質的に解消することができる。または、一方の結合対象画像と位置ずれの無い又は簡易に解消できる媒介画像と、他方の結合対象画像と位置ずれの無い又は簡易に解消できる媒介画像との間の位置ずれを求め、その位置ずれに従って結合対象画像の間の位置ずれを実質的に解消することができる。
【００１７】
一覧表示された媒介画像の候補から操作者は入力デバイス１４を介して所望の画像を媒介画像として指定する。それにより制御部１１は、指定された媒介画像のデータを画像保管装置６から選択的に読み出し、記憶部１２に記憶させる（Ｓ１４）。なお、複数の結合対象画像各々に対して一つの媒介画像を指定しても良いし、複数の結合対象画像の一部又はいずれか一つに対して一つの媒介画像を指定しても良い。
【００１８】
媒介画像の指定とともに操作者は、結合対象画像に対する媒介画像の関係として、どの結合対象画像に対してどの媒介画像が対応しているのか、対応している結合対象画像と媒介画像とは位置ずれが無い又はほとんど無いのか否か、対応している結合対象画像と媒介画像とは装置情報から位置ずれ解消できるのか否か、結合対象画像間の位置ずれをどの画像とどの画像（結合対象画像と媒介画像、媒介画像どうし）の間の位置ずれから推定するのか等を指定する。それにより制御部１１は当該関係を設定し、位置ずれ処理の対象及び処理手順を設定することができる（Ｓ１５）。
【００１９】
次に、操作者により入力デバイス１４を介して、位置ずれベクトル計算処理の対象部位を例えば脳実質、血管、骨等の領域抽出処理の比較的容易な複数の候補の中から指定すると（Ｓ１６）、画像処理部２０により、指定された部位の領域が、それぞれのモダリティ及び部位に応じて予め決められている閾値によりＳ１５で指定された位置ずれ計算処理の対象とされる結合対象画像、媒介画像から抽出され、二値化される（Ｓ１７）。このように位置ずれベクトル計算処理を任意の部位に限局し、さらに二値化により画素値を規格化することで、位置ずれベクトル計算処理工数を減少させることができ、それとともに位置ずれベクトル計算精度を向上することができる。
【００２０】
なお、脳実質を抽出する方法は骨を抽出する方法よりも難易度が高い。以下にその処理について簡単に説明する。画像Ａ１から脳実質を抽出するための処理では、第１に骨外し処理を行う。骨外しは、ＣＴでは公知の技術である。具体的には骨の位置をＣＴ値で同定し、骨とその外側に位置する軟組織を除去する。第２にマニュアルで頭蓋底部より下部を切り取ることにより脳実質部のみを抽出する。画像Ｂ１から脳実質を抽出するための処理では、第１にマニュアルで頭蓋底部より下部を切り取る。そして第２に脳実質を指定してリージョングローイング法で脳実質部（含む硬膜）だけを抽出する。このようにして抽出された３次元画像それぞれに対し、高周波強調フィルターをかけた結果と、さらにボクセル値によって決まる確率関数をかけることにより、Ｂ２とＡ２とを作成する。Ａ２の場合は以下のように算出される。
【００２１】
A２(x,y,z)=｛Aｅ(x,y,z)*H(x,y,z)｝×P｛Aｅ(x,y,z)｝
ここでAe(x,y,z)は脳実質部をマニュアルでラフに抽出したデータ、H(x,y,z)は高周波強調フィルター、*はコンボリューション演算子を示す。またＰ()は確率関数を示し、任意のＣＴ値に対する脳実質である確率を表す。例えばＣＴ値が-1000や1000であれば確率関数は０と、ＣＴ値が10〜20くらいであれば脳実質レベルなので確率関数は1、その周辺のＣＴ値であれば脳実質に近いので確率関数は1に近い値をとり、その周辺から離れるに従って急激に確率関数は0に近づく。
【００２２】
次に、二値化された結合対象画像と媒介画像との間の位置ベクトル、又は二値化された媒介画像と媒介画像との間の位置ずれベクトルが、位置ずれ計算部１８により計算される（Ｓ１８）。例えば、二値化された結合対象画像と媒介画像との間、又は二値化された媒介画像と媒介画像との間で相互相関演算を行ってその相関値が最小となる位置ずれベクトルを探索する。簡易には画像を差分し、差分値の二乗和を計算し、それを平行移動量及び回転角を変えながら繰り返し、二乗和が最小となるＸＹＺ各軸に関する平行移動量（ｘ１，ｙ１，ｚ１）と、ＸＹＺ各軸まわりの回転角（△θｘ１，△θｙ１，△θｚ１）とを位置ずれベクトルとしては決定する。
【００２３】
画像結合部１９において、計算された位置ずれベクトルに従って２つの結合対象画像の位置が整合され、結合され、それにより単一の結合画像が発生される（Ｓ１９）。
【００２４】
以上の位置ずれ計算及び画像結合処理について具体例を以下説明する。
図３に示すように、一方の結合対象画像として例えばＣＴ画像が指定される。ＣＴ画像はＸ線コンピュータ断層撮影装置により発生された軟部組織、脂肪組織、血管（血液）、骨等の形態を表す解剖学的画像（形態画像）である。他方の結合対象画像として、例えばＭＲＩ装置により発生された髄液等の流れの様子を画像化した拡散強調画像、いわゆるＤＷＩ(Diffusion Weighted Imaging)、脳の活性程度を画像化したｆＭＲＩ(functional MRI)、組織灌流画像、いわゆるパフュージョンＭＲＩ(Perfusion MRI)等の機能的画像が指定される。一方の結合対象画像としてのＣＴ画像と、他方の結合対象画像としてのＭＲＩの機能的画像とは例えば別の検査期間に発生され、しかも異なるモダリティによるものであるので位置ずれが生じている。その位置ずれは、両画像間でマーカーに代替えされ得るような共通する特徴的部位が存在しないので、相互比較で直接的には特定することはできない。そこで媒介画像が必要とされる。
【００２５】
ＭＲＩによる他の結合対象画像に対してその属性情報に基づいて媒介画像の候補が画像保管装置６で検索される。その媒介画像の候補の一覧から、例えば組織の縦緩和時間Ｔ１の相違を画像化した解剖学的画像としてのＴ１強調画像が選択される。
【００２６】
この媒介画像としてのＴ１強調画像は、他方の結合対象画像としてのＤＷＩ等のＭＲＩ機能的画像に対して、同一被検体を同一のＭＲＩ装置により発生されたものであり、しかも単一の検査期間中に被検体が天板に載置された状態のまま連続的に発生された関係にある。従って、被検体の体動を原因とする以外の位置ずれは天板の位置等の情報から簡易に解消することができる。
【００２７】
ＣＴ画像から、位置ずれ計算対象部位として指定された閾値処理により例えば脳実質を抽出してその二値画像を生成し、同様にＴ１強調画像から閾値処理により同じ脳実質を抽出してその二値画像を生成する。ＣＴ画像に由来する二値画像と、Ｔ１強調画像に由来する二値画像との間で位置ずれベクトルが計算される。上述したように、ＣＴ画像に由来する二値画像と、Ｔ１強調画像に由来する二値画像との間で差分し、差分値の二乗和を計算し、それを平行移動量及び回転角を変えながら繰り返し、二乗和が最小となるＸＹＺ各軸に関する平行移動量（ｘ１，ｙ１，ｚ１）と、ＸＹＺ各軸まわりの回転角（△θｘ１，△θｙ１，△θｚ１）とを位置ずれベクトルとして決定する。
【００２８】
この位置ずれベクトルに従ってＣＴ画像とＭＲＩの機能的画像とを位置整合して結合し、結合画像を発生する。結合画像によると、例えばＭＲＩの機能的画像により把握できる機能低下部位を、ＣＴによる骨、臓器、腫瘍のような形態画像上で位置確認すること等の非常に有用な画像を得ることができる。
【００２９】
図４に示すように、一方の結合対象画像として例えばＣＴＡ画像が指定される。ＣＴＡ画像は、造影剤の静脈注入にタイミングを合わせてＸ線コンピュータ断層撮影装置によりヘリカルスキャンして収集された投影データから再構成された軟部組織や骨等とともに造影剤により強調された血管（血液）とを含む解剖学的画像（形態画像）である。
【００３０】
他方の結合対象画像として、例えばＭＲＩ装置により発生されたＴ２＊強調画像等の機能的画像が指定される。図３の例と同様に、一方の結合対象画像としてのＣＴＡ画像と、他方の結合対象画像としてのＭＲＩの機能的画像とは位置ずれが生じているとともに、その位置ずれ計算には媒介画像が必要とされる。
【００３１】
このＴ２＊強調画像に対して位置ずれの無い等の関連する媒介画像としてＭＲＡ画像が選択される。ＭＲＡ画像は、造影剤を使った撮影法、タイムオブフライト（ＴＯＦ）法やフェイズコントラスト(Phase Contrast)法等のフローシーケンスにより取得可能な血管強調された解剖学的画像である。この媒介画像としてのＭＲＡ画像は、他方の結合対象画像としてのＴ２＊強調画像に対して実質的に位置ずれは無い。
【００３２】
ＣＴＡ画像から閾値処理により血管を抽出してその二値画像を生成し、同様にＭＲＡ画像から閾値処理により同じ血管を抽出してその二値画像を生成する。ＣＴＡ画像に由来する二値画像と、ＭＲＡ画像に由来する二値画像との間で位置ずれベクトルが計算される。
【００３３】
この計算された位置ずれベクトルに従ってＣＴＡ画像とＭＲＩのＴ２＊強調画像とを位置整合して結合し、結合画像を発生する。
【００３４】
図５に示すように、一方の結合対象画像として例えばＣＴ画像が指定される。ＣＴ画像は上述したように解剖学的画像（形態画像）である。他方の結合対象画像として、例えばＸ線診断装置により発生された３Ｄ−ＤＳＡ画像が指定される。３Ｄ−ＤＳＡ画像は、造影前に例えばＣアームにより被検体周囲を回転しながら繰り返しＸ線画像（マスク画像）を撮影し、造影後にＣアームにより被検体周囲を回転しながら繰り返しＸ線画像（コントラスト画像）を撮影し、角度を揃えてマスク画像とコントラスト画像とを差分することにより血管抽出画像を生成し、多方向の血管抽出画像からＣＴ再構成と同様の手法で再構成することにより発生される。
【００３５】
ＣＴ画像と３Ｄ−ＤＳＡ画像とはともに解剖学的画像であるが、ＣＴ画像は骨及び軟組織の情報を主に備え、３Ｄ−ＤＳＡ画像は本質的に血管情報のみを備えているので、直接的に位置ずれを計算できない。そこで、媒介画像を利用して、ＣＴ画像と３Ｄ−ＤＳＡ画像との間の位置ずれを計算する。
【００３６】
媒介画像としては、３Ｄ−ＤＳＡ画像の原画像としてのマスク画像３次元画像処理により派生した３Ｄマスク画像が選択される。３Ｄ−ＤＳＡ画像と３Ｄマスク画像とは、原画像（マスク画像）を共通するので、位置ずれは原理的に存在しないで、完全に位置整合している。
【００３７】
ＣＴ画像と３Ｄマスク画像とに共通して含まれる部位として、ここでは特に骨が指定される。ＣＴ画像から閾値処理により骨を抽出してその二値画像を生成する。ＣＴ画像に由来する二値画像と、３Ｄマスク画像との間で位置ずれベクトルが計算される。
【００３８】
この計算された位置ずれベクトルに従ってＣＴ画像と３Ｄ−ＤＳＡ画像とを位置整合して結合し、結合画像を発生する。この結合により、ＣＴ画像の軟組織情報と、３Ｄ−ＤＳＡ画像の精細な血管情報とを関連付けて診断することができる。
【００３９】
図６に示すように、一方の結合対象画像としてＣＴＡ画像が指定される。ＣＴＡ画像は上述したように軟部組織や骨等とともに造影剤により強調された血管（血液）とを含む解剖学的画像（形態画像）である。他方の結合対象画像として、３Ｄ−ＤＳＡ画像が指定される。３Ｄ−ＤＳＡ画像は、上述したように血管に関する解剖学的画像（形態画像）である。
【００４０】
ＣＴＡ画像と３Ｄ−ＤＳＡ画像とはともに解剖学的画像であり、血管を共通して含んでいるので、血管を介して直接的に位置ずれを計算できる可能性はある。しかし、ＣＴＡ画像は動脈の情報と静脈の情報とを有するのに対して、３Ｄ−ＤＳＡ画像は動脈の情報しか有しない。この違いにより大きな誤差が発生する危険がある。そこで媒介画像を利用する。
【００４１】
媒介画像としては、３Ｄ−ＤＳＡ画像の原画像としてのマスク画像から派生した３Ｄマスク画像が選択される。３Ｄ−ＤＳＡ画像と３Ｄマスク画像とは、原画像（マスク画像）を共通するので、当然にして位置ずれは原理的に存在しないで、完全に位置整合している。
【００４２】
ＣＴＡ画像と３Ｄマスク画像とに共通して含まれる部位として、ここでは特に骨が指定される。ＣＴＡ画像に含まれる骨を閾値処理により抽出してその二値画像を生成する。ＣＴＡ画像に由来する二値画像と、３Ｄマスク画像との間で位置ずれベクトルが計算される。
【００４３】
この計算された位置ずれベクトルに従ってＣＴＡ画像と３Ｄ−ＤＳＡ画像とを位置整合して結合し、結合画像を発生する。
【００４４】
なお、ＣＴＡ画像では動脈とともに静脈を含んでいる。一方、３Ｄ−ＤＳＡ画像では動脈を含んでいるが、静脈は含んでいない。従って、動脈と静脈を区別することができる。画像処理部２０において動脈と静脈を色等により区別して表示することができる。
【００４５】
図７に示すように、一方の結合対象画像としてＰＥＴ−ＣＴ装置５によるＰＥＴ画像が指定される。ＰＥＴ画像は臓器の代謝機能等を表す機能的画像である。他方の結合対象画像として、ＭＲＩ装置３により発生されたＤＷＩ、ｆＭＲＩ、パフュージョンＭＲＩ等の機能的画像が指定される。
【００４６】
ＰＥＴ画像に関係する媒介画像として、同じＰＥＴ−ＣＴ装置５で同検査中に発生された解剖学的画像としてのＣＴ画像が選択される。ＰＥＴ画像とＣＴ画像は実質的に位置ずれは生じない。また、ＭＲＩの機能的画像に関係する媒介画像として、同じＭＲＩ装置３で同検査中に発生された解剖学的画像としてのＴ１強調画像が選択される。
【００４７】
ＣＴ画像から、位置ずれ計算対象部位として指定された閾値処理により例えば脳実質を抽出してその二値画像を生成し、同様にＴ１強調画像から閾値処理により同じ脳実質を抽出してその二値画像を生成する。ＣＴ画像に由来する二値画像と、Ｔ１強調画像に由来する二値画像との間で位置ずれベクトルが計算される。
【００４８】
この位置ずれベクトルに従ってＰＥＴ画像とＭＲＩの機能的画像とを位置整合して結合し、結合画像を発生する。結合画像によると、ＰＥＴ画像による機能を、ＭＲＩによる機能とを位置整合して比較診断できるという常に有用な画像を得ることができる。
【００４９】
図８に示すように、一方の結合対象画像としてＰＥＴ−ＣＴ装置５によるＰＥＴ画像が指定される。ＰＥＴ画像は臓器の代謝機能等を表す機能的画像である。他方の結合対象画像として、ＭＲＩ装置３により発生されたＤＷＩ、ｆＭＲＩ、パフュージョンＭＲＩ等の機能的画像が指定される。
【００５０】
ＰＥＴ画像に関係する媒介画像として、同じＰＥＴ−ＣＴ装置５で同検査中に発生された解剖学的画像としてのＣＴＡ画像が選択される。ＰＥＴ画像とＣＴＡ画像は実質的に位置ずれは生じない。また、ＭＲＩの機能的画像に関係する媒介画像として、同じＭＲＩ装置３で同検査中に発生された解剖学的画像としてのＭＲＡ画像が選択される。
【００５１】
ＣＴＡ画像から、位置ずれ計算対象部位として指定された閾値処理により血管を抽出してその二値画像を生成し、同様にＭＲＡ画像から閾値処理により同じ血管を抽出してその二値画像を生成する。ＣＴＡ画像に由来する二値画像と、ＭＲＡ画像に由来する二値画像との間で位置ずれベクトルが計算される。
【００５２】
この位置ずれベクトルに従ってＰＥＴ画像とＭＲＩの機能的画像とを位置整合して結合し、結合画像を発生する。結合画像によると、ＰＥＴ画像による機能を、ＭＲＩによる機能とを位置整合して比較診断できるという常に有用な画像を得ることができる。
【００５３】
図９に示すように、一方の結合対象画像としてＸ線ＣＴ装置２による機能的画像としてのＣＴパフュージョン画像が指定される。他方の結合対象画像として、ＭＲＩ装置３により発生されたＤＷＩ、ｆＭＲＩ、パフュージョンＭＲＩ等の機能的画像が指定される。
【００５４】
ＣＴパフュージョン画像に関係する媒介画像として、ＣＴ装置２で同検査中に発生された解剖学的画像としてのＣＴ画像が選択される。ＣＴパフュージョン画像とＣＴ画像は実質的に位置ずれは生じない。また、ＭＲＩの機能的画像に関係する媒介画像として、同じＭＲＩ装置３で同検査中に発生された解剖学的画像としてのＴ１強調画像が選択される。
【００５５】
ＣＴ画像から、位置ずれ計算対象部位として指定された閾値処理により例えば脳実質を抽出してその二値画像を生成し、同様にＴ１強調画像から閾値処理により同じ脳実質を抽出してその二値画像を生成する。ＣＴ画像に由来する二値画像と、Ｔ１強調画像に由来する二値画像との間で位置ずれベクトルが計算される。
【００５６】
この位置ずれベクトルに従ってＣＴパフュージョン画像とＭＲＩの機能的画像とを位置整合して結合し、結合画像を発生する。結合画像によると、ＣＴパフュージョン画像による機能を、ＭＲＩによる機能とを位置整合して比較診断できるという常に有用な画像を得ることができる。
【００５７】
図１０に示すように、一方の結合対象画像としてＸ線ＣＴ装置２による機能的画像としてのＣＴパフュージョン画像が指定される。他方の結合対象画像として、ＭＲＩ装置３により発生されたＤＷＩ、ｆＭＲＩ、パフュージョンＭＲＩ等の機能的画像が指定される。
【００５８】
ＣＴパフュージョン画像に関係する媒介画像として、ＣＴ装置２で同検査中に発生された解剖学的画像としてのＣＴＡ画像が選択される。ＣＴパフュージョン画像とＣＴＡ画像は実質的に位置ずれは生じない。また、ＭＲＩの機能的画像に関係する媒介画像として、同じＭＲＩ装置３で同検査中に発生された解剖学的画像としてのＭＲＡ画像が選択される。
【００５９】
ＣＴＡ画像から、位置ずれ計算対象部位として指定された閾値処理により例えば血管を抽出してその二値画像を生成し、同様にＭＲＡ画像から閾値処理により同じ血管を抽出してその二値画像を生成する。ＣＴＡ画像に由来する二値画像と、ＭＲＡ画像に由来する二値画像との間で位置ずれベクトルが計算される。
【００６０】
この位置ずれベクトルに従ってＣＴパフュージョン画像とＭＲＩの機能的画像とを位置整合して結合し、結合画像を発生する。結合画像によると、ＣＴパフュージョン画像による機能を、ＭＲＩによる機能とを位置整合して比較診断できるという常に有用な画像を得ることができる。
【００６１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６２】
１…３次元画像処理装置、２…ＣＴ装置、３…ＭＲＩ装置、４…Ｘ線診断装置、５…ＰＥＴ−ＣＴ装置、６…画像保管装置、１１…制御部、１２…記憶部、１３…ネットワークカード、１４…入力デバイス、１５…アフィン変換部、１６…デジタル／アナログ変換部、１７…表示部、１８…位置ずれ計算部、１９…画像結合部、２０…画像処理部。
【技術分野】
【０００１】
本発明は、被検体に関する３次元画像を結合する３次元画像処理装置、３次元画像処理方法、記憶媒体及びプログラムに関する。
【背景技術】
【０００２】
同一被検体に関する異種画像の結合(fusion)は、診断精度の向上に有効である。例えば、Ｘ線コンピュータ断層撮影装置(X-ray Computed Tomography apparatus)により発生された骨又は臓器などの解剖学的画像（形態画像）と、ＭＲＩ装置（Magnetic Resonance Imaging apparatus）により発生された機能的画像との結合画像は、外科手術支援に有用である。
【０００３】
異種の画像を結合するには、位置合わせ(registration)が困難である。一般的に、位置合わせは、手作業に頼っている。
【０００４】
特許文献１は、予め被検体にマーカーを取り付けて画像を発生し、マーカー像の整合により画像を結合する方法を記載している。この方法は、結合対象画像が、マーカーが映っていない画像に限定されるという制約がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１３７７１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、画像結合の位置合わせ作業負担の軽減、画像結合の位置合わせ精度の向上、画像結合対象の拡大の実現にある。
【課題を解決するための手段】
【０００７】
本実施形態に係る３次元画像処理装置は、３次元画像処理装置は、第１の３次元画像のデータと第１の３次元画像と結合対象の第２の３次元画像のデータと第１の３次元画像に関連性を有する第３の３次元画像のデータと第２の３次元画像に関連性を有する第４の３次元画像のデータとを記憶する記憶部１２と、第３、４の３次元画像との間の位置ずれを計算する位置ずれ計算部１８と、計算された位置ずれに基づいて第１、第２の３次元画像とを位置合わせして結合する画像結合部１９とを具備する。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態による３次元画像処理装置の構成を示す図。
【図２】本実施形態による位置ずれベクトル計算及び画像結合の一連の処理の手順を示す流れ図。
【図３】本実施形態による画像結合の第１の具体例を示す図。
【図４】本実施形態による画像結合の第２の具体例を示す図。
【図５】本実施形態による画像結合の第３の具体例を示す図。
【図６】本実施形態による画像結合の第４の具体例を示す図。
【図７】本実施形態による画像結合の第５の具体例を示す図。
【図８】本実施形態による画像結合の第６の具体例を示す図。
【図９】本実施形態による画像結合の第７の具体例を示す図。
【図１０】本実施形態による画像結合の第８の具体例を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る３次元画像処理装置の構成を示している。３次元画像処理装置１は、ネットワークカード１３を介して、電子的通信回線網、つまりＬＡＮ又はＷＡＮ等のネットワーク２１に接続される。ネットワーク２１には、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ装置）２、磁気共鳴イメージング装置（ＭＲＩ）３、Ｘ線診断装置４、ＰＥＴ−ＣＴ装置５、その他超音波診断装置等の２次元又は３次元の画像データを発生可能な医用画像発生装置が接続される。また、ネットワーク２１には、それら医用画像発生装置で発生された各種の画像のデータを保管する画像保管装置６が接続される。画像保管装置６は、典型的には医用画像保管通信システム（ＰＡＣＳ）である。ＰＥＴ−ＣＴ装置５は、ＰＥＴ(Positron Emission computed Tomography)装置とＸ線ＣＴ装置とが一体に組み合わされた、寝台を共用する装置であり、ＰＥＴ画像とＣＴ画像との位置整合を容易に図ることができる特性を有している。
【００１０】
３次元画像処理装置１は、マイクロコンピュータからなる制御部１１と、記憶部１２と、ネットワークカード１３と、キーボードやマウスからなる入力デバイス１４と、画像データに対して拡大・移動等の処理を行うアフィン変換部１５と、Ｄ／Ａ（デジタル／アナログ）変換部１６と、表示部１７と、位置ずれ計算部１８と、画像結合部１９と、画像処理部２０を備えている。Ｄ／Ａ変換部１６には表示部１７が接続される。なお、３次元画像処理装置１は、制御部１１等とともに、画像保管装置６を備えても良い。
【００１１】
記憶部１２は、Ｘ線ＣＴ装置２等の医用画像発生装置から直接的に、又は画像保管装置６からネットワークカード１３を介して供給された結合対象とされる複数の３次元の画像（結合対象画像という）のデータと、結合対象画像の間の位置合わせ(registration)を媒介するための少なくとも１つの３次元の画像（媒介画像という）のデータとを記憶する。なお、複数の３次元画像を結合するものであっても良いし、２つ（一対）の３次元画像を結合するものであっても良い。ここでは、２つ（一対）の３次元画像を結合するものとして説明する。
【００１２】
画像処理部２０は、位置ずれ計算の前処理としての例えば画像データの二値化処理、画像結合の後処理としての例えばカラー処理を担う。位置ずれ計算部１８は、結合対象画像間の位置ずれベクトルを、結合対象画像間に媒介画像を媒介させることにより、計算する。位置ずれベクトルは、ＸＹＺ各軸に関する移動距離と、ＸＹＺ各軸に関する回転角度とにより規定される。画像結合部１９は、位置ずれ計算部１８により計算された位置ずれベクトルに基づいて、２つの結合対象画像を位置合わせして結合し、単一の結合画像を発生する。
【００１３】
図２には位置ずれ計算及び画像結合の処理手順を示している。まず、操作者は入力デバイス１４を介して画像結合処理の起動を指示する。それにより制御部１１は、画像結合処理を起動する（Ｓ１１）。操作者は入力デバイス１４を介して画像結合処理の対象となる複数、ここでは２つの結合対象画像を指定する。典型的には、診断対象の被検体に関する未読影の画像であって、診断目的に合致した性質を有する画像が指定される。それにより制御部１１は、指定された２つの結合対象画像のデータを画像保管装置６から選択的に読み出し、記憶部１２に記憶させる（Ｓ１２）。
【００１４】
次に、制御部１１は、結合対象画像各々に対して特定の関係にある２つの画像（媒介画像の候補）を画像保管装置６で検索し、画像保管装置６から選択的に読み出させて、表示部１７に一覧で表示させる（Ｓ１３）。結合対象画像と被検体が同一であって、医用画像発生装置の種類（モダリティ）が同一で、同じ検査期間中に発生（撮影）された画像が媒介画像の候補として検索される。さらに結合対象画像と同じ原画像から派生した画像が媒介画像の候補として検索される。例えば回転ＤＳＡ（ディジタル・サブトラクション・アンギオ）撮影において収集された造影前のマスク画像と造影後のコントラスト画像とを原画像として、マスク画像とコントラスト画像との差分画像から再構成した３次元の血管画像が結合対象画像として指定されたとき、同じマスク画像から骨を抽出して再構成した３次元のマスク画像（３Ｄマスク画像）が媒介画像の候補として選択される。
【００１５】
このように結合対象画像と特定の関係にある媒介画像の候補はそのいずれもが、結合対象画像に対して位置ずれが無い、ほとんど無い、又は医用画像発生装置が撮影時に取得している天板位置等の撮影位置情報から簡易に位置ずれを解消できる関係にある画像と定義され得る。
【００１６】
２つの結合対象画像として例えば解剖学的画像（形態画像）と機能的画像との間では共通部位がないので本質的に位置ずれを求めることができない、又は位置ずれの計算精度が低いが、その場合であっても、結合対象画像と位置ずれの無い解剖学的画像としての媒介画像を媒介させて結合対象画像間の位置ずれを推定することができる。つまり、一方の結合対象画像と位置ずれの無い又は簡易に解消できる媒介画像と、その結合対象画像と結合される他方の結合対象画像との間の位置ずれを求め、その位置ずれに従って結合対象画像の間の位置ずれを実質的に解消することができる。または、一方の結合対象画像と位置ずれの無い又は簡易に解消できる媒介画像と、他方の結合対象画像と位置ずれの無い又は簡易に解消できる媒介画像との間の位置ずれを求め、その位置ずれに従って結合対象画像の間の位置ずれを実質的に解消することができる。
【００１７】
一覧表示された媒介画像の候補から操作者は入力デバイス１４を介して所望の画像を媒介画像として指定する。それにより制御部１１は、指定された媒介画像のデータを画像保管装置６から選択的に読み出し、記憶部１２に記憶させる（Ｓ１４）。なお、複数の結合対象画像各々に対して一つの媒介画像を指定しても良いし、複数の結合対象画像の一部又はいずれか一つに対して一つの媒介画像を指定しても良い。
【００１８】
媒介画像の指定とともに操作者は、結合対象画像に対する媒介画像の関係として、どの結合対象画像に対してどの媒介画像が対応しているのか、対応している結合対象画像と媒介画像とは位置ずれが無い又はほとんど無いのか否か、対応している結合対象画像と媒介画像とは装置情報から位置ずれ解消できるのか否か、結合対象画像間の位置ずれをどの画像とどの画像（結合対象画像と媒介画像、媒介画像どうし）の間の位置ずれから推定するのか等を指定する。それにより制御部１１は当該関係を設定し、位置ずれ処理の対象及び処理手順を設定することができる（Ｓ１５）。
【００１９】
次に、操作者により入力デバイス１４を介して、位置ずれベクトル計算処理の対象部位を例えば脳実質、血管、骨等の領域抽出処理の比較的容易な複数の候補の中から指定すると（Ｓ１６）、画像処理部２０により、指定された部位の領域が、それぞれのモダリティ及び部位に応じて予め決められている閾値によりＳ１５で指定された位置ずれ計算処理の対象とされる結合対象画像、媒介画像から抽出され、二値化される（Ｓ１７）。このように位置ずれベクトル計算処理を任意の部位に限局し、さらに二値化により画素値を規格化することで、位置ずれベクトル計算処理工数を減少させることができ、それとともに位置ずれベクトル計算精度を向上することができる。
【００２０】
なお、脳実質を抽出する方法は骨を抽出する方法よりも難易度が高い。以下にその処理について簡単に説明する。画像Ａ１から脳実質を抽出するための処理では、第１に骨外し処理を行う。骨外しは、ＣＴでは公知の技術である。具体的には骨の位置をＣＴ値で同定し、骨とその外側に位置する軟組織を除去する。第２にマニュアルで頭蓋底部より下部を切り取ることにより脳実質部のみを抽出する。画像Ｂ１から脳実質を抽出するための処理では、第１にマニュアルで頭蓋底部より下部を切り取る。そして第２に脳実質を指定してリージョングローイング法で脳実質部（含む硬膜）だけを抽出する。このようにして抽出された３次元画像それぞれに対し、高周波強調フィルターをかけた結果と、さらにボクセル値によって決まる確率関数をかけることにより、Ｂ２とＡ２とを作成する。Ａ２の場合は以下のように算出される。
【００２１】
A２(x,y,z)=｛Aｅ(x,y,z)*H(x,y,z)｝×P｛Aｅ(x,y,z)｝
ここでAe(x,y,z)は脳実質部をマニュアルでラフに抽出したデータ、H(x,y,z)は高周波強調フィルター、*はコンボリューション演算子を示す。またＰ()は確率関数を示し、任意のＣＴ値に対する脳実質である確率を表す。例えばＣＴ値が-1000や1000であれば確率関数は０と、ＣＴ値が10〜20くらいであれば脳実質レベルなので確率関数は1、その周辺のＣＴ値であれば脳実質に近いので確率関数は1に近い値をとり、その周辺から離れるに従って急激に確率関数は0に近づく。
【００２２】
次に、二値化された結合対象画像と媒介画像との間の位置ベクトル、又は二値化された媒介画像と媒介画像との間の位置ずれベクトルが、位置ずれ計算部１８により計算される（Ｓ１８）。例えば、二値化された結合対象画像と媒介画像との間、又は二値化された媒介画像と媒介画像との間で相互相関演算を行ってその相関値が最小となる位置ずれベクトルを探索する。簡易には画像を差分し、差分値の二乗和を計算し、それを平行移動量及び回転角を変えながら繰り返し、二乗和が最小となるＸＹＺ各軸に関する平行移動量（ｘ１，ｙ１，ｚ１）と、ＸＹＺ各軸まわりの回転角（△θｘ１，△θｙ１，△θｚ１）とを位置ずれベクトルとしては決定する。
【００２３】
画像結合部１９において、計算された位置ずれベクトルに従って２つの結合対象画像の位置が整合され、結合され、それにより単一の結合画像が発生される（Ｓ１９）。
【００２４】
以上の位置ずれ計算及び画像結合処理について具体例を以下説明する。
図３に示すように、一方の結合対象画像として例えばＣＴ画像が指定される。ＣＴ画像はＸ線コンピュータ断層撮影装置により発生された軟部組織、脂肪組織、血管（血液）、骨等の形態を表す解剖学的画像（形態画像）である。他方の結合対象画像として、例えばＭＲＩ装置により発生された髄液等の流れの様子を画像化した拡散強調画像、いわゆるＤＷＩ(Diffusion Weighted Imaging)、脳の活性程度を画像化したｆＭＲＩ(functional MRI)、組織灌流画像、いわゆるパフュージョンＭＲＩ(Perfusion MRI)等の機能的画像が指定される。一方の結合対象画像としてのＣＴ画像と、他方の結合対象画像としてのＭＲＩの機能的画像とは例えば別の検査期間に発生され、しかも異なるモダリティによるものであるので位置ずれが生じている。その位置ずれは、両画像間でマーカーに代替えされ得るような共通する特徴的部位が存在しないので、相互比較で直接的には特定することはできない。そこで媒介画像が必要とされる。
【００２５】
ＭＲＩによる他の結合対象画像に対してその属性情報に基づいて媒介画像の候補が画像保管装置６で検索される。その媒介画像の候補の一覧から、例えば組織の縦緩和時間Ｔ１の相違を画像化した解剖学的画像としてのＴ１強調画像が選択される。
【００２６】
この媒介画像としてのＴ１強調画像は、他方の結合対象画像としてのＤＷＩ等のＭＲＩ機能的画像に対して、同一被検体を同一のＭＲＩ装置により発生されたものであり、しかも単一の検査期間中に被検体が天板に載置された状態のまま連続的に発生された関係にある。従って、被検体の体動を原因とする以外の位置ずれは天板の位置等の情報から簡易に解消することができる。
【００２７】
ＣＴ画像から、位置ずれ計算対象部位として指定された閾値処理により例えば脳実質を抽出してその二値画像を生成し、同様にＴ１強調画像から閾値処理により同じ脳実質を抽出してその二値画像を生成する。ＣＴ画像に由来する二値画像と、Ｔ１強調画像に由来する二値画像との間で位置ずれベクトルが計算される。上述したように、ＣＴ画像に由来する二値画像と、Ｔ１強調画像に由来する二値画像との間で差分し、差分値の二乗和を計算し、それを平行移動量及び回転角を変えながら繰り返し、二乗和が最小となるＸＹＺ各軸に関する平行移動量（ｘ１，ｙ１，ｚ１）と、ＸＹＺ各軸まわりの回転角（△θｘ１，△θｙ１，△θｚ１）とを位置ずれベクトルとして決定する。
【００２８】
この位置ずれベクトルに従ってＣＴ画像とＭＲＩの機能的画像とを位置整合して結合し、結合画像を発生する。結合画像によると、例えばＭＲＩの機能的画像により把握できる機能低下部位を、ＣＴによる骨、臓器、腫瘍のような形態画像上で位置確認すること等の非常に有用な画像を得ることができる。
【００２９】
図４に示すように、一方の結合対象画像として例えばＣＴＡ画像が指定される。ＣＴＡ画像は、造影剤の静脈注入にタイミングを合わせてＸ線コンピュータ断層撮影装置によりヘリカルスキャンして収集された投影データから再構成された軟部組織や骨等とともに造影剤により強調された血管（血液）とを含む解剖学的画像（形態画像）である。
【００３０】
他方の結合対象画像として、例えばＭＲＩ装置により発生されたＴ２＊強調画像等の機能的画像が指定される。図３の例と同様に、一方の結合対象画像としてのＣＴＡ画像と、他方の結合対象画像としてのＭＲＩの機能的画像とは位置ずれが生じているとともに、その位置ずれ計算には媒介画像が必要とされる。
【００３１】
このＴ２＊強調画像に対して位置ずれの無い等の関連する媒介画像としてＭＲＡ画像が選択される。ＭＲＡ画像は、造影剤を使った撮影法、タイムオブフライト（ＴＯＦ）法やフェイズコントラスト(Phase Contrast)法等のフローシーケンスにより取得可能な血管強調された解剖学的画像である。この媒介画像としてのＭＲＡ画像は、他方の結合対象画像としてのＴ２＊強調画像に対して実質的に位置ずれは無い。
【００３２】
ＣＴＡ画像から閾値処理により血管を抽出してその二値画像を生成し、同様にＭＲＡ画像から閾値処理により同じ血管を抽出してその二値画像を生成する。ＣＴＡ画像に由来する二値画像と、ＭＲＡ画像に由来する二値画像との間で位置ずれベクトルが計算される。
【００３３】
この計算された位置ずれベクトルに従ってＣＴＡ画像とＭＲＩのＴ２＊強調画像とを位置整合して結合し、結合画像を発生する。
【００３４】
図５に示すように、一方の結合対象画像として例えばＣＴ画像が指定される。ＣＴ画像は上述したように解剖学的画像（形態画像）である。他方の結合対象画像として、例えばＸ線診断装置により発生された３Ｄ−ＤＳＡ画像が指定される。３Ｄ−ＤＳＡ画像は、造影前に例えばＣアームにより被検体周囲を回転しながら繰り返しＸ線画像（マスク画像）を撮影し、造影後にＣアームにより被検体周囲を回転しながら繰り返しＸ線画像（コントラスト画像）を撮影し、角度を揃えてマスク画像とコントラスト画像とを差分することにより血管抽出画像を生成し、多方向の血管抽出画像からＣＴ再構成と同様の手法で再構成することにより発生される。
【００３５】
ＣＴ画像と３Ｄ−ＤＳＡ画像とはともに解剖学的画像であるが、ＣＴ画像は骨及び軟組織の情報を主に備え、３Ｄ−ＤＳＡ画像は本質的に血管情報のみを備えているので、直接的に位置ずれを計算できない。そこで、媒介画像を利用して、ＣＴ画像と３Ｄ−ＤＳＡ画像との間の位置ずれを計算する。
【００３６】
媒介画像としては、３Ｄ−ＤＳＡ画像の原画像としてのマスク画像３次元画像処理により派生した３Ｄマスク画像が選択される。３Ｄ−ＤＳＡ画像と３Ｄマスク画像とは、原画像（マスク画像）を共通するので、位置ずれは原理的に存在しないで、完全に位置整合している。
【００３７】
ＣＴ画像と３Ｄマスク画像とに共通して含まれる部位として、ここでは特に骨が指定される。ＣＴ画像から閾値処理により骨を抽出してその二値画像を生成する。ＣＴ画像に由来する二値画像と、３Ｄマスク画像との間で位置ずれベクトルが計算される。
【００３８】
この計算された位置ずれベクトルに従ってＣＴ画像と３Ｄ−ＤＳＡ画像とを位置整合して結合し、結合画像を発生する。この結合により、ＣＴ画像の軟組織情報と、３Ｄ−ＤＳＡ画像の精細な血管情報とを関連付けて診断することができる。
【００３９】
図６に示すように、一方の結合対象画像としてＣＴＡ画像が指定される。ＣＴＡ画像は上述したように軟部組織や骨等とともに造影剤により強調された血管（血液）とを含む解剖学的画像（形態画像）である。他方の結合対象画像として、３Ｄ−ＤＳＡ画像が指定される。３Ｄ−ＤＳＡ画像は、上述したように血管に関する解剖学的画像（形態画像）である。
【００４０】
ＣＴＡ画像と３Ｄ−ＤＳＡ画像とはともに解剖学的画像であり、血管を共通して含んでいるので、血管を介して直接的に位置ずれを計算できる可能性はある。しかし、ＣＴＡ画像は動脈の情報と静脈の情報とを有するのに対して、３Ｄ−ＤＳＡ画像は動脈の情報しか有しない。この違いにより大きな誤差が発生する危険がある。そこで媒介画像を利用する。
【００４１】
媒介画像としては、３Ｄ−ＤＳＡ画像の原画像としてのマスク画像から派生した３Ｄマスク画像が選択される。３Ｄ−ＤＳＡ画像と３Ｄマスク画像とは、原画像（マスク画像）を共通するので、当然にして位置ずれは原理的に存在しないで、完全に位置整合している。
【００４２】
ＣＴＡ画像と３Ｄマスク画像とに共通して含まれる部位として、ここでは特に骨が指定される。ＣＴＡ画像に含まれる骨を閾値処理により抽出してその二値画像を生成する。ＣＴＡ画像に由来する二値画像と、３Ｄマスク画像との間で位置ずれベクトルが計算される。
【００４３】
この計算された位置ずれベクトルに従ってＣＴＡ画像と３Ｄ−ＤＳＡ画像とを位置整合して結合し、結合画像を発生する。
【００４４】
なお、ＣＴＡ画像では動脈とともに静脈を含んでいる。一方、３Ｄ−ＤＳＡ画像では動脈を含んでいるが、静脈は含んでいない。従って、動脈と静脈を区別することができる。画像処理部２０において動脈と静脈を色等により区別して表示することができる。
【００４５】
図７に示すように、一方の結合対象画像としてＰＥＴ−ＣＴ装置５によるＰＥＴ画像が指定される。ＰＥＴ画像は臓器の代謝機能等を表す機能的画像である。他方の結合対象画像として、ＭＲＩ装置３により発生されたＤＷＩ、ｆＭＲＩ、パフュージョンＭＲＩ等の機能的画像が指定される。
【００４６】
ＰＥＴ画像に関係する媒介画像として、同じＰＥＴ−ＣＴ装置５で同検査中に発生された解剖学的画像としてのＣＴ画像が選択される。ＰＥＴ画像とＣＴ画像は実質的に位置ずれは生じない。また、ＭＲＩの機能的画像に関係する媒介画像として、同じＭＲＩ装置３で同検査中に発生された解剖学的画像としてのＴ１強調画像が選択される。
【００４７】
ＣＴ画像から、位置ずれ計算対象部位として指定された閾値処理により例えば脳実質を抽出してその二値画像を生成し、同様にＴ１強調画像から閾値処理により同じ脳実質を抽出してその二値画像を生成する。ＣＴ画像に由来する二値画像と、Ｔ１強調画像に由来する二値画像との間で位置ずれベクトルが計算される。
【００４８】
この位置ずれベクトルに従ってＰＥＴ画像とＭＲＩの機能的画像とを位置整合して結合し、結合画像を発生する。結合画像によると、ＰＥＴ画像による機能を、ＭＲＩによる機能とを位置整合して比較診断できるという常に有用な画像を得ることができる。
【００４９】
図８に示すように、一方の結合対象画像としてＰＥＴ−ＣＴ装置５によるＰＥＴ画像が指定される。ＰＥＴ画像は臓器の代謝機能等を表す機能的画像である。他方の結合対象画像として、ＭＲＩ装置３により発生されたＤＷＩ、ｆＭＲＩ、パフュージョンＭＲＩ等の機能的画像が指定される。
【００５０】
ＰＥＴ画像に関係する媒介画像として、同じＰＥＴ−ＣＴ装置５で同検査中に発生された解剖学的画像としてのＣＴＡ画像が選択される。ＰＥＴ画像とＣＴＡ画像は実質的に位置ずれは生じない。また、ＭＲＩの機能的画像に関係する媒介画像として、同じＭＲＩ装置３で同検査中に発生された解剖学的画像としてのＭＲＡ画像が選択される。
【００５１】
ＣＴＡ画像から、位置ずれ計算対象部位として指定された閾値処理により血管を抽出してその二値画像を生成し、同様にＭＲＡ画像から閾値処理により同じ血管を抽出してその二値画像を生成する。ＣＴＡ画像に由来する二値画像と、ＭＲＡ画像に由来する二値画像との間で位置ずれベクトルが計算される。
【００５２】
この位置ずれベクトルに従ってＰＥＴ画像とＭＲＩの機能的画像とを位置整合して結合し、結合画像を発生する。結合画像によると、ＰＥＴ画像による機能を、ＭＲＩによる機能とを位置整合して比較診断できるという常に有用な画像を得ることができる。
【００５３】
図９に示すように、一方の結合対象画像としてＸ線ＣＴ装置２による機能的画像としてのＣＴパフュージョン画像が指定される。他方の結合対象画像として、ＭＲＩ装置３により発生されたＤＷＩ、ｆＭＲＩ、パフュージョンＭＲＩ等の機能的画像が指定される。
【００５４】
ＣＴパフュージョン画像に関係する媒介画像として、ＣＴ装置２で同検査中に発生された解剖学的画像としてのＣＴ画像が選択される。ＣＴパフュージョン画像とＣＴ画像は実質的に位置ずれは生じない。また、ＭＲＩの機能的画像に関係する媒介画像として、同じＭＲＩ装置３で同検査中に発生された解剖学的画像としてのＴ１強調画像が選択される。
【００５５】
ＣＴ画像から、位置ずれ計算対象部位として指定された閾値処理により例えば脳実質を抽出してその二値画像を生成し、同様にＴ１強調画像から閾値処理により同じ脳実質を抽出してその二値画像を生成する。ＣＴ画像に由来する二値画像と、Ｔ１強調画像に由来する二値画像との間で位置ずれベクトルが計算される。
【００５６】
この位置ずれベクトルに従ってＣＴパフュージョン画像とＭＲＩの機能的画像とを位置整合して結合し、結合画像を発生する。結合画像によると、ＣＴパフュージョン画像による機能を、ＭＲＩによる機能とを位置整合して比較診断できるという常に有用な画像を得ることができる。
【００５７】
図１０に示すように、一方の結合対象画像としてＸ線ＣＴ装置２による機能的画像としてのＣＴパフュージョン画像が指定される。他方の結合対象画像として、ＭＲＩ装置３により発生されたＤＷＩ、ｆＭＲＩ、パフュージョンＭＲＩ等の機能的画像が指定される。
【００５８】
ＣＴパフュージョン画像に関係する媒介画像として、ＣＴ装置２で同検査中に発生された解剖学的画像としてのＣＴＡ画像が選択される。ＣＴパフュージョン画像とＣＴＡ画像は実質的に位置ずれは生じない。また、ＭＲＩの機能的画像に関係する媒介画像として、同じＭＲＩ装置３で同検査中に発生された解剖学的画像としてのＭＲＡ画像が選択される。
【００５９】
ＣＴＡ画像から、位置ずれ計算対象部位として指定された閾値処理により例えば血管を抽出してその二値画像を生成し、同様にＭＲＡ画像から閾値処理により同じ血管を抽出してその二値画像を生成する。ＣＴＡ画像に由来する二値画像と、ＭＲＡ画像に由来する二値画像との間で位置ずれベクトルが計算される。
【００６０】
この位置ずれベクトルに従ってＣＴパフュージョン画像とＭＲＩの機能的画像とを位置整合して結合し、結合画像を発生する。結合画像によると、ＣＴパフュージョン画像による機能を、ＭＲＩによる機能とを位置整合して比較診断できるという常に有用な画像を得ることができる。
【００６１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６２】
１…３次元画像処理装置、２…ＣＴ装置、３…ＭＲＩ装置、４…Ｘ線診断装置、５…ＰＥＴ−ＣＴ装置、６…画像保管装置、１１…制御部、１２…記憶部、１３…ネットワークカード、１４…入力デバイス、１５…アフィン変換部、１６…デジタル／アナログ変換部、１７…表示部、１８…位置ずれ計算部、１９…画像結合部、２０…画像処理部。
【特許請求の範囲】
【請求項１】
第１の３次元画像のデータと、前記第１の３次元画像と結合対象の第２の３次元画像のデータと、前記第１の３次元画像に関連性を有する第３の３次元画像のデータと、前記第２の３次元画像に関連性を有する第４の３次元画像のデータとを記憶する記憶部と、
前記第３の３次元画像と前記第４の３次元画像との間の位置ずれを計算する位置ずれ計算部と、
前記計算された位置ずれに基づいて、前記第１の３次元画像と前記第２の３次元画像とを位置合わせして結合する画像結合部とを具備することを特徴とする３次元画像処理装置。
【請求項２】
同一の被検体に関する第１、第２、第３、第４の３次元画像のデータを記憶する記憶部と、
前記第１の３次元画像と前記第２の３次元画像との間の第１の位置ずれと、前記第２の３次元画像と前記第３の３次元画像との間の第２の位置ずれと、前記第３の３次元画像と前記第４の３次元画像との間の第３の位置ずれとを計算する位置ずれ計算部と、
前記計算された第１、第２、第３の位置ずれに基づいて、前記第１の３次元画像と前記第４の３次元画像とを位置合わせして結合する画像結合部とを具備することを特徴とする３次元画像処理装置。
【請求項３】
前記第３の３次元画像は前記第２の３次元画像と同じ原画像から派生されることを特徴とする請求項１記載の３次元画像処理装置。
【請求項４】
前記第１の３次元画像はＸ線コンピュータ断層撮影装置により発生され、前記第２、第３の３次元画像はＸ線診断装置により発生されることを特徴とする請求項１記載の３次元画像処理装置。
【請求項５】
前記第１の３次元画像はＣＴ画像又はＣＴアンギオ画像であり、前記第２の３次元画像は３Ｄ−ＤＳＡ画像であり、前記第３の３次元画像は３Ｄマスク画像であることを特徴とする請求項１記載の３次元画像処理装置。
【請求項６】
前記第１、第２、第３の３次元画像を含む複数の３次元画像のデータを保管する保管部と、
前記複数の３次元画像から、前記第２の３次元画像の検査情報に基づいて、前記第３の３次元画像に関する複数の候補画像を抽出する候補抽出部と、
前記抽出された複数の候補画像を一覧で表示する表示部とをさらに備えることを特徴とする請求項１記載の３次元画像処理装置。
【請求項７】
前記第１の３次元画像はＰＥＴ−ＣＴ装置により発生されるＰＥＴ画像又はＣＴ画像であり、前記第３の３次元画像は前記ＰＥＴ−ＣＴ装置により発生されるＣＴ画像又はＰＥＴ画像であることを特徴とする請求項２記載の３次元画像処理装置。
【請求項１】
第１の３次元画像のデータと、前記第１の３次元画像と結合対象の第２の３次元画像のデータと、前記第１の３次元画像に関連性を有する第３の３次元画像のデータと、前記第２の３次元画像に関連性を有する第４の３次元画像のデータとを記憶する記憶部と、
前記第３の３次元画像と前記第４の３次元画像との間の位置ずれを計算する位置ずれ計算部と、
前記計算された位置ずれに基づいて、前記第１の３次元画像と前記第２の３次元画像とを位置合わせして結合する画像結合部とを具備することを特徴とする３次元画像処理装置。
【請求項２】
同一の被検体に関する第１、第２、第３、第４の３次元画像のデータを記憶する記憶部と、
前記第１の３次元画像と前記第２の３次元画像との間の第１の位置ずれと、前記第２の３次元画像と前記第３の３次元画像との間の第２の位置ずれと、前記第３の３次元画像と前記第４の３次元画像との間の第３の位置ずれとを計算する位置ずれ計算部と、
前記計算された第１、第２、第３の位置ずれに基づいて、前記第１の３次元画像と前記第４の３次元画像とを位置合わせして結合する画像結合部とを具備することを特徴とする３次元画像処理装置。
【請求項３】
前記第３の３次元画像は前記第２の３次元画像と同じ原画像から派生されることを特徴とする請求項１記載の３次元画像処理装置。
【請求項４】
前記第１の３次元画像はＸ線コンピュータ断層撮影装置により発生され、前記第２、第３の３次元画像はＸ線診断装置により発生されることを特徴とする請求項１記載の３次元画像処理装置。
【請求項５】
前記第１の３次元画像はＣＴ画像又はＣＴアンギオ画像であり、前記第２の３次元画像は３Ｄ−ＤＳＡ画像であり、前記第３の３次元画像は３Ｄマスク画像であることを特徴とする請求項１記載の３次元画像処理装置。
【請求項６】
前記第１、第２、第３の３次元画像を含む複数の３次元画像のデータを保管する保管部と、
前記複数の３次元画像から、前記第２の３次元画像の検査情報に基づいて、前記第３の３次元画像に関する複数の候補画像を抽出する候補抽出部と、
前記抽出された複数の候補画像を一覧で表示する表示部とをさらに備えることを特徴とする請求項１記載の３次元画像処理装置。
【請求項７】
前記第１の３次元画像はＰＥＴ−ＣＴ装置により発生されるＰＥＴ画像又はＣＴ画像であり、前記第３の３次元画像は前記ＰＥＴ−ＣＴ装置により発生されるＣＴ画像又はＰＥＴ画像であることを特徴とする請求項２記載の３次元画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−５０８４４（Ｐ２０１２−５０８４４Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１１−２３３３９０（Ｐ２０１１−２３３３９０）
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【分割の表示】特願２００６−３４０２０２（Ｐ２００６−３４０２０２）の分割
【原出願日】平成１８年１２月１８日（２００６．１２．１８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２３年１０月２４日（２０１１．１０．２４）
【分割の表示】特願２００６−３４０２０２（Ｐ２００６−３４０２０２）の分割
【原出願日】平成１８年１２月１８日（２００６．１２．１８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【出願人】（５９４１６４５４２）東芝メディカルシステムズ株式会社 (4,066)
【Ｆターム（参考）】
[ Back to top ]